CN104423568A - 显示画面的控制***、输入装置及控制方法 - Google Patents
显示画面的控制***、输入装置及控制方法 Download PDFInfo
- Publication number
- CN104423568A CN104423568A CN201310488183.1A CN201310488183A CN104423568A CN 104423568 A CN104423568 A CN 104423568A CN 201310488183 A CN201310488183 A CN 201310488183A CN 104423568 A CN104423568 A CN 104423568A
- Authority
- CN
- China
- Prior art keywords
- display frame
- operation plane
- pseudo operation
- sensing space
- initial sensing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000004364 calculation method Methods 0.000 claims description 61
- 230000005540 biological transmission Effects 0.000 claims description 25
- 238000004458 analytical method Methods 0.000 claims description 12
- 230000009471 action Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 8
- 239000007787 solid Substances 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000006855 networking Effects 0.000 description 2
- 101150012579 ADSL gene Proteins 0.000 description 1
- 102100020775 Adenylosuccinate lyase Human genes 0.000 description 1
- 108700040193 Adenylosuccinate lyases Proteins 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
- G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供一种显示画面的控制***、输入装置及控制方法。通过取像单元往显示装置的第一侧持续获取图像,并藉由处理单元对取像单元所获取的图像执行图像分析程序。上述图像分析程序包括底下步骤。检测是否有物件进入位于上述第一侧的初始感测空间。当检测到物件进入初始感测空间时,依据物件的位置,建立虚拟操作平面,其中虚拟操作平面的尺寸与显示画面的尺寸成一比例。检测物件在虚拟操作平面的移动信息,藉以通过移动信息来控制显示画面的内容。
Description
技术领域
本发明是有关于一种显示画面的控制机制,且特别是有关于一种可于立体空间进行操作的显示画面的控制***、输入装置及控制方法。
背景技术
传统电子产品大多只具备遥控器、键盘、鼠标等输入装置以供使用者利用进行操作。而随着科技的进步,越来越多的开发与研究致力于操作界面的改善。新一代的操作界面越来越人性化且越来越方便。近年来,电子产品的传统输入装置已渐渐被其他输入装置取代,而其中以手势操作来取代传统的输入装置最受欢迎。
手势操作广泛地应用于各式各样的人机互动界面,例如机器人遥控、电器遥控、投影片简报操作等。使用者能够于立体空间中直接以手势来操控使用者界面,而不必接触键盘、滑鼠、遥控器等输入装置,以直觉式的动作就能驱动电子产品。据此,如何于立体空间中使得控制显示画面的方式更为简便并符合多元化的使用情境,则为目前发展的重要一环。
举例来说,美国专利US20120223882公开一种三维使用者界面游标控制的方法,其是获取使用者的图像,并针对使用者的手势(gesture)予以辨识,让使用者能以手势操控电脑。上述美国专利US20120223882公开底下技术:检测使用者的手腕、手肘、肩膀的位置,并依此作为判定手势的参考点,并依据使用者手势位置座标轴与画面中游标座标轴的转换技术,此外还公开了手势误操作的过滤功能与手势自动校正技术。
另外,美国专利US8194038公开一种多方向性远端控制***与游标速度的控制方法,其提供一种图像辨识技术,应用于电视机上盒、多媒体***、网路浏览器等。上述美国专利US8194038所公开的遥控器上具有发光二极管(Light Emitting Diode,LED),并于屏幕上方安置摄影机,在取像后找出LED的位置,检测其像素大小,并作去背景的程序,藉以确认LED位于空间中的位置。而在上述美国专利US8194038还公开一个公式藉此来提高X、Y座标轴的位置数值精确性。
发明内容
本发明提供一种显示画面的控制***、输入装置及控制方法,可藉由图像分析的方式于立体空间中操控显示画面的内容。
本发明的显示画面的控制方法,包括:通过取像单元往显示装置的显示画面所面向的第一侧持续获取图像,并藉由处理单元对取像单元所获取的图像执行图像分析程序。上述图像分析程序包括:检测是否有物件进入初始感测空间,其中初始感测空间位于上述第一侧,且初始感测空间位于取像单元的取像范围内;当检测到物件进入初始感测空间时,依据物件的位置,建立虚拟操作平面,其中虚拟操作平面的尺寸与显示画面的尺寸成一比例;以及检测物件在虚拟操作平面的移动信息,藉以通过移动信息来控制显示画面的内容。
在本发明的一实施例中,当检测到物件进入初始感测空间时,在建立虚拟操作平面之前,可判定是否由物件取得显示画面的控制权。上述判定是否由物件取得显示画面的控制权的步骤包括:基于进入初始感测空间的物件获得一特征区块;判断特征区块的面积是否大于预设面积;若特征区块的面积大于预设面积,判定物件取得显示画面的控制权。
在本发明的一实施例中,上述依据物件的位置,建立虚拟操作平面的步骤包括:以特征区块的边界位置作为基准,并以一指定范围来决定物件的质心计算区块;计算质心计算区块的质心;以及以上述质心为中心点,以与显示画面的尺寸成比例的方式,建立虚拟操作平面。
在本发明的一实施例中,在检测物件在虚拟操作平面的移动信息之后,传送移动信息至显示装置的计算装置,而通过计算装置将质心在虚拟操作平面的虚拟座标转换为显示画面中对应的显示座标。
在本发明的一实施例中,在检测物件在虚拟操作平面的移动信息之后,将质心在虚拟操作平面的虚拟座标转换为显示画面中对应的显示座标。
在本发明的一实施例中,判定是否由物件取得显示画面的控制权的步骤还包括:当同时检测到另一物件进入初始感测空间,且另一物件的特征区块的面积亦大于预设面积时,计算两个物件分别与显示画面之间的距离,藉以判定以距离显示画面最近的一物件取得显示画面的控制权。
在本发明的一实施例中,在建立虚拟操作平面之后,可将显示画面的游标移至显示画面的中央。
在本发明的一实施例中,在建立虚拟操作平面之后,当检测到物件离开虚拟操作平面超过预设时间时,可进一步解除物件的控制权,以移除虚拟操作平面的设定。
在本发明的一实施例中,上述方法还包括依据取像单元的校正信息,定义初始感测空间,并对初始感测空间执行去背动作。
本发明的输入装置,其包括取像单元、处理单元以及传输单元。取像单元用以往显示装置的显示画面所面向的第一侧持续获取图像。处理单元耦接至取像单元,其藉由分析取像单元所获取的图像,检测是否有物件进入初始感测空间;并且,在检测到物件进入初始感测空间时,依据物件的位置,建立虚拟操作平面,以检测物件在虚拟操作平面上的移动信息,其中初始感测空间位于上述第一侧,且初始感测空间位于取像单元的取像范围内,而虚拟操作平面的尺寸与显示画面的尺寸成比例,且虚拟操作平面与显示画面相互平行。传输单元耦接至处理单元,其传送移动信息至显示装置对应的计算装置,藉以控制显示画面的内容。
本发明的显示画面的控制***,包括显示装置、计算装置以及输入装置。显示装置用以显示一显示画面。计算装置耦接至显示装置,其控制显示画面的内容。输入装置耦接至计算装置,其包括取像单元、处理单元以及传输单元。取像单元用以往显示装置的显示画面所面向的第一侧持续获取图像。处理单元耦接至取像单元,藉由分析取像单元所获取的图像,检测是否有物件进入初始感测空间,并且,在检测到物件进入初始感测空间时,依据物件的位置,建立虚拟操作平面,以检测物件在虚拟操作平面上的移动信息,其中初始感测空间位于上述第一侧,且初始感测空间位于取像单元的取像范围内,而虚拟操作平面的尺寸与显示画面的尺寸成比例,且虚拟操作平面与显示画面相互平行。传输单元耦接至处理单元,并传送移动信息至计算装置,使得计算装置依据移动信息来控制显示画面的内容。
本发明的显示画面的控制***,其包括显示装置、取像单元以及计算装置。显示装置用以显示一显示画面。取像单元往显示画面所面向的第一侧持续获取图像。计算装置耦接至取像单元与显示装置,藉由分析取像单元所获取的图像,检测是否有物件进入初始感测空间,并且,在检测到物件进入初始感测空间时,依据物件的位置,建立虚拟操作平面,以检测物件在虚拟操作平面上的移动信息,藉以通过移动信息来控制显示画面的内容。
基于上述,本发明在利用初始感测空间而判定物件取得控制权之后,再依据物件的位置来建立虚拟操作平面。据此,任一使用者皆可利用任一物件而于立体空间中对显示画面的内容进行操控,进而增加了使用上的便利性。
为让本发明的上述特征和优点能更明显易懂,下文特举实施例,并配合所附图式作详细说明如下。
附图说明
图1是依照本发明一实施例的显示画面的控制***的方块图;
图2是依照本发明一实施例的关于输入装置的配置示意图;
图3是依照本发明一实施例的显示画面的控制方法的流程图;
图4是依照本发明一实施例的显示画面的控制方法的立体示意图;
图5A及图5B是依照本发明一实施例的用以说明建立虚拟操作平面的示意图;
图6是依照本发明另一实施例的显示画面的控制方法的流程图;
图7是依照本发明另一实施例的显示画面的控制方法的立体示意图;
图8是依照本发明另一实施例的显示画面的控制***的方块图。
附图标记说明:
11:输入装置;
12、820:计算装置;
13、830:显示装置;
20:初始感测空间;
21、21a~21e:位置;
23:桌面;
24:显示画面;
40、70:虚拟操作平面;
41、72、73:物件;
42:游标;
51:特征区块;
52:边界位置;
53:质心计算区块;
100、800:控制***;
110、810:取像单元;
120、821:处理单元;
130:传输单元;
140:供电单元;
150、823:储存单元;
C:质心;
D、Da~De:取像方向;
N:法线方向;
Ty:指定范围;
S305~S320:显示画面的控制方法各步骤;
S605~S635:另一显示画面的控制方法各步骤。
具体实施方式
因此,本发明提出一种显示画面的控制***、输入装置及控制方法,其利用取像单元获取图像,并利用处理单元对所获取的图像进行图像分析程序,藉由分析结果来控制显示画面的内容。
图1是依照本发明一实施例的显示画面的控制***的方块图。请参照图1,控制***100包括输入装置11、计算装置12以及显示装置13。在此,计算装置12可利用有线或无线的方式与输入装置11及显示装置13进行数据传输与沟通。而在本实施例中,计算装置12可通过输入装置11来控制显示装置13的显示画面。关于各构件的说明如下所述。
计算装置12例如为桌上型电脑、膝上型电脑、平板电脑等具有运算能力的主机,其利用有线或无线方式耦接至显示装置13,藉以将欲显示的内容通过显示装置13进行显示,并且计算装置12具有控制显示内容的能力。
显示装置13可为任一类型的显示器,例如为平面显示器、投影显示器或软性显示器(soft display)等。倘若显示装置13为液晶显示器(Liquid CrystalDisplay,LCD)或发光二极管(Light Emitting Diode,LED)等平面显示器或软性显示器,则显示画面为显示器上的显示区(display area)。若显示装置13为投影显示器,则显示画面例如为投影画面。
输入装置11包括取像单元110、处理单元120、传输单元130、供电单元140以及储存单元150。在本实施例中,输入装置11未设置于计算装置12内,而为独立运算的装置,其通过供电单元140来供电以驱动取像单元110持续获取图像,并使得处理单元120能够针对所获取的图像来进行图像分析程序。上述处理单元120耦接至取像单元110、传输单元130、供电单元140以及储存单元150。
取像单元110例如为深度摄影机(depth camera)或立体摄影机,或任何具有电荷耦合元件(Charge coupled device,CCD)镜头、互补式金氧半晶体管(Complementary metal oxide semiconductor transistors,CMOS)镜头、或红外线镜头的摄影机、照相机。取像单元110用以往显示装置13的显示画面所面向的第一侧持续获取图像。例如,取像单元110是以朝向显示画面的前方来进行设置。而关于取像单元110所朝向的方向(取像方向),随着取像单元110配置的位置不同,取像方向可与显示画面24的法线方向平行,或者取像方向与显示画面24的法线方向垂直,亦或者取像方向与显示画面24的法线方向之间的角度介于角度范围(例如45度至135度)内。底下举一例来说明输入装置11的配置。
图2是依照本发明一实施例的关于输入装置的配置示意图。请同时参照图1及图2,在本实施例中,以输入装置11设置于位置21来进行说明。另外,输入装置11亦可设置于其他位置,例如位置21a~21e等其中一处,只要将取像单元110以朝向显示画面24前方的方式来进行设置即可。而图2中以虚线所绘示的输入装置11是用以说明输入装置11亦可设置于不同位置,而并非同时在位置21、21a~21e中设置输入装置11。
以设置于位置21的输入装置11而言,其取像单元110朝向显示装置13的显示画面24所面向的第一侧来获取图像。取像单元110的镜头的取像方向D是朝向显示画面24的前方来获取图像。在本实施例中,取像方向D与显示画面24的法线方向N之间的角度介于角度范围(例如45度至135度)内。
另外,以位置21c的输入装置11而言,其取像方向Dc是与显示画面24的法线方向N垂直。而以位置21d的输入装置11而言,其取像方向Dd与显示画面24的法线方向N平行。而位置21a、位置21b、位置21e的输入装置11各自的取像方向Da、取像方向Db、取像方向De与显示画面24的法线方向N之间的角度介于45度至135度的角度范围内。然可以知道的是,上述位置21与位置21a~21e即上述各取像方向仅为举例说明,并不以此为限。只要取像单元110可朝向显示画面24所面向的第一侧(显示画面24的前方)来获取图像即可。
处理单元120例如是中央处理单元(Central Processing Unit,CPU),或是其他可程序化的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor,DSP)、可程序化控制器、特殊应用集成电路(Application Specific Integrated Circuits,ASIC)、可程序化逻辑装置(Programmable Logic Device,PLD)或其他类似装置或这些装置的组合。处理单元120藉由分析取像单元110所获取的图像来检测是否有物件进入初始感测空间20,并且,在检测到物件进入初始感测空间20时,依据物件的位置,建立虚拟操作平面,以检测物件在虚拟操作平面上的移动信息。
上述初始感测空间20位于显示画面24所面向的第一侧,且初始感测空间20位于取像单元110的取像范围内。在初次使用输入装置11时,在设定好输入装置11的所在位置以及取像单元110所面向的方向(即,取像方向)之后,处理单元120可先依据取像单元110的校正信息,而在显示画面24的前方建立此初始感测空间20。并且,对初始感测空间20执行去背动作。以图2来说,初始感测空间20以桌面23为基准,并且在与桌面23距离约高度D处而建立。而在其他实施例中,亦可不需桌面23作为基准,而可直接依据取像单元110的校正信息来定义初始感测空间。
上述校正信息例如可事先储存于输入装置11中的储存单元150,或者由使用者进行手动设定。例如,使用者可通过点击欲作为操作区域的多个点(大于或等于4个点)的方式,而令处理单元120获取包含多个选取点的图像,并且以这些图像作为校正信息来定义出适合的初始感测空间20。
储存单元150例如是任意型式的固定式或可移动式随机存取存储器(Random Access Memory,RAM)、只读存储器(Read-Only Memory,ROM)、快闪存储器(Flash memory)、硬盘或其他类似装置或这些装置的组合,而用以记录可由处理单元120执行的多个模块,进而来实现控制显示画面的功能。
传输单元130例如为有线传输接口或无线传输接口。举例来说,有线传输接口例如是能使输入装置11经由非对称数字用户线路(Asymmetric DigitalSubscriber Line,ADSL)连接网络的接口。而无线传输接口例如是能使输入装置11连接第三代移动通信(Third Generation Telecommunication,3G)网络、无线相容认证(Wireless Fidelity,Wi-Fi)网路、全球互通微波存取(Worldwide Interoperability for Microwave Access,WiMAX)网络,以及通用封包无线服务(General Packet Radio Service,GPRS)网络其中之一或其组合者的接口。另外,传输单元130亦可以为蓝芽模块、红外线模块等。而计算装置130中亦具有相对应的传输单元,据此输入装置11可通过传输单元130与计算装置130相互传递数据。
以下即举实施例说明利用输入装置11来控制显示画面的详细步骤。图3是依照本发明一实施例的显示画面的控制方法的流程图。请同时参照图1~图3,在步骤S305中,通过取像单元110往显示画面24所面向的一侧(第一侧)持续获取图像。接着,藉由处理单元120对取像单元110所获取的图像执行图像分析程序。在此,图像分析程序包括步骤S310~S320。
在步骤S310中,处理单元120检测是否有物件进入初始感测空间20。取像单元110持续地获取图像,并将图像传送至处理单元120进行判断是否有物件进入。处理单元120在检测到物件进入初始感测空间20时,执行步骤S315,依据物件的位置,建立虚拟操作平面。在此,虚拟操作平面的尺寸与显示装置13的显示画面的尺寸成比例,并且虚拟操作平面与显示画面20大致相互平行。
举例来说,图4是依照本发明一实施例的显示画面的控制方法的立体示意图。图4例如为图2的立体示意图,在桌面23的上方具有一初始感测空间20。处理单元120在检测到物件41进入初始感测空间20内之后,依据物件41的位置,并且以与显示画面24的尺寸成比例的方式,来建立与显示画面24大致成平行的虚拟操作平面40。
而在建立虚拟操作平面40之后,在步骤S320中,处理单元120检测物件41在虚拟操作平面40的移动信息,藉以通过移动信息来控制显示画面24的内容。例如,输入装置11通过传输单元130传送移动信息至计算装置12,而通过计算装置12将虚拟操作平面40的移动信息转换为显示画面24对应的移动信息。或者,亦可由输入装置11的处理单元120将虚拟操作平面40的移动信息转换为显示画面24对应的移动信息后,再通过传输单元130将转换后的移动信息传送至计算装置12。
另外,在建立虚拟操作平面40之后,计算装置12还可进一步将显示画面24的游标42移至显示画面24的中央,如图4所示。例如,处理单元120在建立虚拟操作平面40之后,可通过传输单元130来通知计算装置12,使得计算装置12移动游标42至显示画面24的中央。而在建立虚拟操作平面40之后,使用者还可通过物件41(如手掌)在虚拟操作平面40上执行各种手势操作。
关于虚拟操作平面40的建立底下再举例来进一步说明。图5A及图5B是依照本发明一实施例的用以说明建立虚拟操作平面的示意图。
参照图5A,在处理单元120判断有物件41进入初始感测空间20时,进一步基于进入初始感测空间20的物件41来获得特征区块51(图5A中以斜线绘制的区块)。例如,处理单元120以区块检测(blob detect)演算法来找出特征区块51。
在获得特征区块51之后,为了避免误判断的情形产生,处理单元120会判断特征区块51的面积是否大于预设面积。在判定特征区块51的面积大于预设面积的情况下,处理单元120会认定使用者要对显示画面24进行操控,因而判定物件41取得显示画面24的控制权。若特征区块51的面积小于预设面积,则认定使用者并未要对显示画面24进行操控,而忽略物件41,藉以避免误动作。
在特征区块51的面积大于预设面积时,如图4B所示,以特征区块51的边界位置52(例如为特征区块51最上方的一点)作为基准,并以指定范围Ty来决定物件41的质心计算区块53(图5B中以斜线绘制的区块)。质心计算区块53属于物件41的其中一部分。在本实施例中,以边界位置52为基准,往下方(物件41的根部)取一指定范围Ty,藉此决定质心计算区块53。之后,处理单元120计算质心计算区块53的质心C。然后,处理单元120以质心C为中心点,以与显示画面24的尺寸成比例的方式,建立虚拟操作平面40。也就是说,质心C为虚拟操作平面40的中心点。在此,虚拟操作平面40的尺寸与显示画面24的尺寸例如为1:5的比例。
而在处理单元120计算出物件41的质心C之后,持续分析取像单元110所获取的图像来获得质心C的移动信息,并通过传输单元130将移动信息传送至计算装置12,而由计算装置12将质心C在虚拟操作平面40的虚拟座标转换为显示画面24中对应的显示座标。另外,亦可由输入装置11来进行座标的转换。即,处理单元120在获得质心C后,便将质心C在虚拟操作平面40的虚拟座标转换为显示画面24中对应的显示座标。
而当处理单元120检测到物件41离开虚拟操作平面40超过一预设时间(例如为2秒)时,便会解除物件41的控制权,并移除虚拟操作平面40的设定。
在上述实施例中,虚拟操作平面40并非完全位于初始感测空间20。而在其他实施例中,根据使用者的操作,虚拟操作平面40亦可完全位于初始感测空间20内。在此并不限定虚拟操作平面40的位置。
另外,倘若在同一时间检测到多个物件进入初始感测空间20时,可依照与显示画面24之间的距离来决定由哪一个物件取得控制权。底下再举另一实施例来详细说明。
图6是依照本发明另一实施例的显示画面的控制方法的流程图。图7是依照本发明另一实施例的显示画面的控制方法的立体示意图。底下实施例搭配图1及图2来进行说明。
在步骤S605,通过取像单元110往显示画面24所面向的一侧(第一侧)持续获取图像。而处理单元120对取像单元110所获取的图像执行图像分析程序。在此,图像分析程序包括步骤S610~S630。
接着,在步骤S610中,处理单元120依据取像单元110的校正信息,定义初始感测空间20。并且,对初始感测空间20执行去背动作。在定义了初始感测空间20之后,取像单元110持续地获取图像,并将图像传送至处理单元120,使得处理单元120检测是否有物件进入初始感测空间,如步骤S615所示。
在此,以图7而言,假设处理单元120检测到物件72与物件73进入初始感测空间20,并且假设物件72与物件73的特征区块的面积亦大于预设面积。藉此,处理单元120进一步计算物件72与物件73分别与显示画面24之间的距离,藉以判定以距离显示画面24最近的一者(即物件72)取得显示画面24的控制权。
之后,在步骤S625中,处理单元120依据取得控制权的物件72的位置,建立虚拟操作平面70。在此,虚拟操作平面70的建立说明可参照图5A及图5B,在此不再赘述。另外,在建立虚拟操作平面70之后,输入装置11会去通知计算装置12,使得计算装置12将显示画面24的游标42移至其中央。
之后,在步骤S630中,处理单元120检测物件72在虚拟操作平面70的移动信息。例如,处理单元120会持续检测物件72的质心的移动信息,而由质心的座标位置来对游标42进行相对应的控制。
最后,在步骤S635中,通过传输单元130传送移动信息至计算装置12,而由计算装置12来控制显示画面24的内容。而依据由计算装置12或由输入装置11来进行座标的转换,上述传送移动信息可以是虚拟操作平面70的座标信息,亦可以是转换后的显示画面24的座标信息。另外,当处理单元120检测到物件72离开虚拟操作平面70超过一预设时间(例如为2秒)时,便会解除物件72的控制权,并移除虚拟操作平面70的设定。
而在其他实施例中,亦可不额外设置独立的输入装置11,而直接利用计算装置12来析取像单元110的图像。底下再举一实施例来说明。
图8是依照本发明另一实施例的显示画面的控制***的方块图。请参照图8,控制***800包括取像单元810、计算装置820以及显示装置830。本实施例是通过计算装置820来分析取像单元810所获取的图像,再依据分析结果来控制显示装置830所显示的内容。
在图8中,取像单元810的功能与上述取像单元110相似。显示装置830可为任一类型的显示器。计算装置820例如为桌上型电脑、膝上型电脑、平板电脑等,其包括处理单元821与储存单元823,其利用有线或无线方式来耦接至显示装置830,藉以将欲显示的内容通过显示装置830进行显示,并且计算装置820具有控制显示内容的能力。而在本实施例中,将可由处理单元120执行的多个模块(其用以实现控制显示画面的功能)记录于计算装置820的储存单元823。而取像单元810负责朝向显示画面24所面向的第一侧持续获取图像,并利用有线或无线的方式将所获取的图像传送至计算装置820,而由计算装置820的处理单元821来对图像执行图像分析程序,藉以控制显示装置830的显示画面的内容。据此,在本实施例中便可不用额外设置独立的输入装置11。关于处理单元821所执行的图像分析程序的说明可参照上述步骤S310~S320或步骤S610~S630,在此省略不提。
综上所述,在上述实施例中,先于初始感测空间来决定是否有物件取得显示画面控制权,之后再依据物件的位置来建立虚拟操作平面,以依据物件在虚拟操作平面上的移动信息来控制显示画面的内容。据此,藉由初始感测空间可避免产生误动作的情形。并且,以与显示画面的尺寸成比例的方式来建立与显示画面大致平行的虚拟操作平面,进而可提供直觉性的操作方式。另外,倘若有多个物件同时进入初始感测空间,还可在这些物件中判断取得控制权的优先权之后,再依据取得控制权的物件的位置来建立虚拟操作平面。据此,通过上述实施方式,可在不限定使用者数量、物件种类的情形下,于立体空间中来控制显示画面的内容。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (18)
1.一种显示画面的控制方法,其特征在于,包括:
通过取像单元往显示装置的显示画面所面向的第一侧持续获取图像;以及
藉由处理单元对该取像单元所获取的该图像执行图像分析程序,其中该图像分析程序包括:
检测是否有物件进入初始感测空间,其中该初始感测空间位于该第一侧,且该初始感测空间位于该取像单元的取像范围内;
当检测到该物件进入该初始感测空间时,依据该物件的位置,建立虚拟操作平面,其中该虚拟操作平面的尺寸与该显示画面的尺寸成比例;以及
检测该物件在该虚拟操作平面的移动信息,藉以通过该移动信息来控制该显示画面的内容。
2.根据权利要求1所述的方法,其特征在于,当检测到该物件进入该初始感测空间时,在建立该虚拟操作平面的步骤之前,还包括:
判定是否由该物件取得该显示画面的控制权,包括:
基于进入该初始感测空间的该物件获得特征区块;
判断该特征区块的面积是否大于预设面积;以及
若该特征区块的面积大于该预设面积,判定该物件取得该显示画面的该控制权。
3.根据权利要求2所述的方法,其特征在于,依据该物件的位置,建立该虚拟操作平面的步骤包括:
以该特征区块的边界位置作为基准,并以指定范围来决定该物件的质心计算区块;
计算该质心计算区块的质心;以及
以该质心为中心点,以与该显示画面的尺寸成该比例的方式,建立该虚拟操作平面。
4.根据权利要求3所述的方法,其特征在于,在检测该物件在该虚拟操作平面的该移动信息的步骤之后,还包括:
传送该移动信息至该显示装置的计算装置,而通过该计算装置将该质心在该虚拟操作平面的虚拟座标转换为该显示画面中对应的显示座标。
5.根据权利要求3所述的方法,其特征在于,在检测该物件在该虚拟操作平面的该移动信息的步骤之后,还包括:
将该质心在该虚拟操作平面的虚拟座标转换为该显示画面中对应的显示座标。
6.根据权利要求2所述的方法,其特征在于,判定是否由该物件取得该显示画面的该控制权的步骤还包括:
当同时检测到另一物件进入该初始感测空间,且该另一物件的该特征区块的面积亦大于该预设面积时,计算该物件及该另一物件分别与该显示画面之间的距离,藉以判定以距离该显示画面最近的一者取得该显示画面的该控制权。
7.根据权利要求1所述的方法,其特征在于,在建立该虚拟操作平面的步骤之后,还包括:
将该显示画面的游标移至该显示画面的中央。
8.根据权利要求1所述的方法,其特征在于,在建立该虚拟操作平面的步骤之后,还包括:
当检测到该物件离开该虚拟操作平面超过预设时间时,解除该物件的控制权,以移除该虚拟操作平面的设定。
9.根据权利要求1所述的方法,其特征在于,还包括;
依据该取像单元的校正信息,定义该初始感测空间;以及
对该初始感测空间执行去背动作。
10.一种输入装置,其特征在于,包括:
取像单元,往显示装置的显示画面所面向的第一侧持续获取图像;
处理单元,耦接至该取像单元,藉由分析该取像单元所获取的该图像,检测是否有物件进入初始感测空间,并且,在检测到该物件进入该初始感测空间时,依据该物件的位置,建立虚拟操作平面,以检测该物件在该虚拟操作平面上的移动信息,其中该初始感测空间位于该第一侧,且该初始感测空间位于该取像单元的取像范围内,而该虚拟操作平面的尺寸与该显示画面的尺寸成比例,且该虚拟操作平面与该显示画面相互平行;以及
传输单元,耦接至该处理单元,传送该移动信息至该显示装置对应的计算装置,藉以控制该显示画面的内容。
11.根据权利要求10所述的输入装置,其特征在于,该处理单元基于进入该初始感测空间的该物件获得特征区块,并在该特征区块的面积大于该预设面积时,判定该物件取得该显示画面的控制权。
12.根据权利要求11所述的输入装置,其特征在于,该处理单元以该特征区块的边界位置作为基准,并以指定范围来决定该物件的质心计算区块,并且计算该质心计算区块的质心,进而以该质心为中心点,以与该显示画面的尺寸成该比例的方式,建立该虚拟操作平面。
13.根据权利要求12所述的输入装置,其特征在于,该处理单元将该质心在该虚拟操作平面的虚拟座标转换为该显示画面中对应的显示座标,而该传输单元传送该显示座标至该计算装置。
14.根据权利要求12所述的输入装置,其特征在于,该传输单元传送该质心在该虚拟操作平面的虚拟座标至该计算装置。
15.根据权利要求11所述的输入装置,其特征在于,当该处理单元在检测到该物件进入该初始感测空间的同时,亦检测到另一物件进入该初始感测空间,且该物件与该另一物件各自的该特征区块的面积大于该预设面积时,计算该物件及该另一物件分别与该显示画面之间的距离,藉以判定以距离该显示画面最近的一者取得该显示画面的该控制权。
16.根据权利要求10所述的输入装置,其特征在于,当该处理单元检测到该物件离开该虚拟操作平面超过预设时间时,解除该物件的控制权,并移除该虚拟操作平面的设定。
17.一种显示画面的控制***,其特征在于,包括:
显示装置,显示显示画面;
计算装置,耦接至该显示装置,控制该显示画面的内容;以及
输入装置,耦接至该计算装置,包括:
取像单元,往该显示装置的该显示画面所面向的第一侧持续获取图像;
处理单元,耦接至该取像单元,藉由分析该取像单元所获取的该图像,检测是否有物件进入初始感测空间,并且,在检测到该物件进入该初始感测空间时,依据该物件的位置,建立虚拟操作平面,以检测该物件在该虚拟操作平面上的移动信息,其中该初始感测空间位于该第一侧,且该初始感测空间位于该取像单元的取像范围内,而该虚拟操作平面的尺寸与该显示画面的尺寸成比例,且该虚拟操作平面与该显示画面相互平行;以及
传输单元,耦接至该处理单元,传送该移动信息至该计算装置,使得该计算装置依据该移动信息来控制该显示画面的内容。
18.一种显示画面的控制***,其特征在于,包括:
显示装置,显示显示画面;
取像单元,往该显示画面所面向的第一侧持续获取图像;以及
计算装置,耦接至该取像单元与该显示装置,藉由分析该取像单元所获取的该图像,检测是否有物件进入初始感测空间,并且,在检测到该物件进入该初始感测空间时,依据该物件的位置,建立虚拟操作平面,以检测该物件在该虚拟操作平面上的移动信息,藉以通过该移动信息来控制该显示画面的内容;
其中,该初始感测空间位于该第一侧,且该初始感测空间位于该取像单元的取像范围内,而该虚拟操作平面的尺寸与该显示画面的尺寸成比例,且该虚拟操作平面与该显示画面相互平行。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW102129870A TWI505135B (zh) | 2013-08-20 | 2013-08-20 | 顯示畫面的控制系統、輸入裝置及控制方法 |
TW102129870 | 2013-08-20 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104423568A true CN104423568A (zh) | 2015-03-18 |
Family
ID=52481577
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310488183.1A Pending CN104423568A (zh) | 2013-08-20 | 2013-10-17 | 显示画面的控制***、输入装置及控制方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20150058811A1 (zh) |
CN (1) | CN104423568A (zh) |
TW (1) | TWI505135B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108139804A (zh) * | 2015-10-15 | 2018-06-08 | 索尼公司 | 信息处理装置与信息处理方法 |
CN114063821A (zh) * | 2021-11-15 | 2022-02-18 | 深圳市海蓝珊科技有限公司 | 一种非接触式屏幕交互方法 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9454235B2 (en) * | 2014-12-26 | 2016-09-27 | Seungman KIM | Electronic apparatus having a sensing unit to input a user command and a method thereof |
CN115016678A (zh) * | 2017-02-02 | 2022-09-06 | 麦克赛尔株式会社 | 显示装置 |
CN113961106A (zh) * | 2020-07-06 | 2022-01-21 | 纬创资通(重庆)有限公司 | 预测控制方法、输入***及计算机可读取记录媒体 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040189720A1 (en) * | 2003-03-25 | 2004-09-30 | Wilson Andrew D. | Architecture for controlling a computer using hand gestures |
US20060095867A1 (en) * | 2004-11-04 | 2006-05-04 | International Business Machines Corporation | Cursor locator on a display device |
CN102141860A (zh) * | 2009-10-20 | 2011-08-03 | 柯斯达公司 | 非接触式指示装置 |
CN102999174A (zh) * | 2011-07-01 | 2013-03-27 | 华硕电脑股份有限公司 | 遥控装置及将其用于校正屏幕的控制***及方法 |
Family Cites Families (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5594469A (en) * | 1995-02-21 | 1997-01-14 | Mitsubishi Electric Information Technology Center America Inc. | Hand gesture machine control system |
US6788809B1 (en) * | 2000-06-30 | 2004-09-07 | Intel Corporation | System and method for gesture recognition in three dimensions using stereo imaging and color vision |
TW554293B (en) * | 2002-03-29 | 2003-09-21 | Ind Tech Res Inst | Method for extracting and matching hand gesture features of image |
US8745541B2 (en) * | 2003-03-25 | 2014-06-03 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
US8560972B2 (en) * | 2004-08-10 | 2013-10-15 | Microsoft Corporation | Surface UI for gesture-based interaction |
US8086971B2 (en) * | 2006-06-28 | 2011-12-27 | Nokia Corporation | Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications |
KR100776801B1 (ko) * | 2006-07-19 | 2007-11-19 | 한국전자통신연구원 | 화상 처리 시스템에서의 제스처 인식 장치 및 방법 |
KR100783552B1 (ko) * | 2006-10-11 | 2007-12-07 | 삼성전자주식회사 | 휴대 단말기의 입력 제어 방법 및 장치 |
EP2613281B1 (en) * | 2006-12-29 | 2014-08-13 | Qualcomm Incorporated | Manipulation of virtual objects using enhanced interactive system |
JP5093523B2 (ja) * | 2007-02-23 | 2012-12-12 | ソニー株式会社 | 撮像装置、表示撮像装置および撮像処理装置 |
WO2008137708A1 (en) * | 2007-05-04 | 2008-11-13 | Gesturetek, Inc. | Camera-based user input for compact devices |
US8181122B2 (en) * | 2007-07-30 | 2012-05-15 | Perceptive Pixel Inc. | Graphical user interface for large-scale, multi-user, multi-touch systems |
WO2009128064A2 (en) * | 2008-04-14 | 2009-10-22 | Pointgrab Ltd. | Vision based pointing device emulation |
US9952673B2 (en) * | 2009-04-02 | 2018-04-24 | Oblong Industries, Inc. | Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control |
EP2327005B1 (en) * | 2008-07-25 | 2017-08-23 | Qualcomm Incorporated | Enhanced detection of waving gesture |
US9459784B2 (en) * | 2008-07-25 | 2016-10-04 | Microsoft Technology Licensing, Llc | Touch interaction with a curved display |
US8624836B1 (en) * | 2008-10-24 | 2014-01-07 | Google Inc. | Gesture-based small device input |
US9317128B2 (en) * | 2009-04-02 | 2016-04-19 | Oblong Industries, Inc. | Remote devices used in a markerless installation of a spatial operating environment incorporating gestural control |
US20100306716A1 (en) * | 2009-05-29 | 2010-12-02 | Microsoft Corporation | Extending standard gestures |
EP2452258B1 (en) * | 2009-07-07 | 2019-01-23 | Elliptic Laboratories AS | Control using movements |
TW201104494A (en) * | 2009-07-20 | 2011-02-01 | J Touch Corp | Stereoscopic image interactive system |
US9244533B2 (en) * | 2009-12-17 | 2016-01-26 | Microsoft Technology Licensing, Llc | Camera navigation for presentations |
US8320621B2 (en) * | 2009-12-21 | 2012-11-27 | Microsoft Corporation | Depth projector system with integrated VCSEL array |
US9477324B2 (en) * | 2010-03-29 | 2016-10-25 | Hewlett-Packard Development Company, L.P. | Gesture processing |
US8488888B2 (en) * | 2010-12-28 | 2013-07-16 | Microsoft Corporation | Classification of posture states |
US20120200486A1 (en) * | 2011-02-09 | 2012-08-09 | Texas Instruments Incorporated | Infrared gesture recognition device and method |
US9182838B2 (en) * | 2011-04-19 | 2015-11-10 | Microsoft Technology Licensing, Llc | Depth camera-based relative gesture detection |
US8937588B2 (en) * | 2011-06-15 | 2015-01-20 | Smart Technologies Ulc | Interactive input system and method of operating the same |
TW201301877A (zh) * | 2011-06-17 | 2013-01-01 | Primax Electronics Ltd | 以影像感測器為基礎之具有多輸入模式之多維度遙控器 |
KR101962445B1 (ko) * | 2011-08-30 | 2019-03-26 | 삼성전자 주식회사 | 터치 스크린을 갖는 휴대 단말기 및 그의 사용자 인터페이스 제공 방법 |
CN103782255B (zh) * | 2011-09-09 | 2016-09-28 | 泰利斯航空电子学公司 | 交通工具娱乐***的眼动追踪控制 |
US8693731B2 (en) * | 2012-01-17 | 2014-04-08 | Leap Motion, Inc. | Enhanced contrast for object detection and characterization by optical imaging |
US8854433B1 (en) * | 2012-02-03 | 2014-10-07 | Aquifi, Inc. | Method and system enabling natural user interface gestures with an electronic system |
EP2639690B1 (en) * | 2012-03-16 | 2017-05-24 | Sony Corporation | Display apparatus for displaying a moving object traversing a virtual display region |
JP6095283B2 (ja) * | 2012-06-07 | 2017-03-15 | キヤノン株式会社 | 情報処理装置、およびその制御方法 |
US9389420B2 (en) * | 2012-06-14 | 2016-07-12 | Qualcomm Incorporated | User interface interaction for transparent head-mounted displays |
US9785228B2 (en) * | 2013-02-11 | 2017-10-10 | Microsoft Technology Licensing, Llc | Detecting natural user-input engagement |
US9829984B2 (en) * | 2013-05-23 | 2017-11-28 | Fastvdo Llc | Motion-assisted visual language for human computer interfaces |
CN110442231A (zh) * | 2013-06-27 | 2019-11-12 | 视力移动科技公司 | 用于与数字设备交互的直接指向检测的***和方法 |
US9377866B1 (en) * | 2013-08-14 | 2016-06-28 | Amazon Technologies, Inc. | Depth-based position mapping |
-
2013
- 2013-08-20 TW TW102129870A patent/TWI505135B/zh not_active IP Right Cessation
- 2013-10-17 CN CN201310488183.1A patent/CN104423568A/zh active Pending
-
2014
- 2014-01-14 US US14/154,190 patent/US20150058811A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040189720A1 (en) * | 2003-03-25 | 2004-09-30 | Wilson Andrew D. | Architecture for controlling a computer using hand gestures |
US20060095867A1 (en) * | 2004-11-04 | 2006-05-04 | International Business Machines Corporation | Cursor locator on a display device |
CN102141860A (zh) * | 2009-10-20 | 2011-08-03 | 柯斯达公司 | 非接触式指示装置 |
CN102999174A (zh) * | 2011-07-01 | 2013-03-27 | 华硕电脑股份有限公司 | 遥控装置及将其用于校正屏幕的控制***及方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108139804A (zh) * | 2015-10-15 | 2018-06-08 | 索尼公司 | 信息处理装置与信息处理方法 |
CN114063821A (zh) * | 2021-11-15 | 2022-02-18 | 深圳市海蓝珊科技有限公司 | 一种非接触式屏幕交互方法 |
Also Published As
Publication number | Publication date |
---|---|
US20150058811A1 (en) | 2015-02-26 |
TWI505135B (zh) | 2015-10-21 |
TW201508546A (zh) | 2015-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI464640B (zh) | 手勢感測裝置及具有手勢輸入功能的電子系統 | |
TWI489317B (zh) | 電子裝置的操作方法及系統 | |
CN104199550B (zh) | 一种虚拟键盘操作装置、***及方法 | |
TWI540461B (zh) | 手勢輸入的方法及系統 | |
Garber | Gestural technology: Moving interfaces in a new direction [technology news] | |
CN105210144B (zh) | 显示控制装置、显示控制方法和记录介质 | |
US20140247216A1 (en) | Trigger and control method and system of human-computer interaction operation command and laser emission device | |
CN104423568A (zh) | 显示画面的控制***、输入装置及控制方法 | |
TWI471755B (zh) | 能操控電氣設備作動模式的操控裝置 | |
US20110216011A1 (en) | Remote control system for electronic device and remote control method thereof | |
US20140104161A1 (en) | Gesture control device and method for setting and cancelling gesture operating region in gesture control device | |
CN102736728A (zh) | 三维立体虚拟物体的操控方法、操控***及处理装置 | |
JP2012238293A (ja) | 入力装置 | |
CN104199548B (zh) | 一种三维人机交互操作装置、***及方法 | |
TWI536211B (zh) | 雙模光學導航裝置及其模式切換方法 | |
JP2014029656A (ja) | 画像処理装置および画像処理方法 | |
TWI499938B (zh) | 觸控系統 | |
CN106201284A (zh) | 用户界面同步***、方法 | |
TWI486815B (zh) | 顯示設備及其控制系統和方法 | |
CN104914985A (zh) | 手势控制方法及***与视频流处理装置 | |
CN103389793B (zh) | 人机交互方法和*** | |
CN102902468A (zh) | 移动终端地图浏览方法和装置 | |
WO2014033722A1 (en) | Computer vision stereoscopic tracking of a hand | |
JP6008904B2 (ja) | 表示制御装置、表示制御方法、及び、プログラム | |
US20140375777A1 (en) | Three-dimensional interactive system and interactive sensing method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150318 |