CN104395872B - 三维图形用户接口 - Google Patents
三维图形用户接口 Download PDFInfo
- Publication number
- CN104395872B CN104395872B CN201380033668.XA CN201380033668A CN104395872B CN 104395872 B CN104395872 B CN 104395872B CN 201380033668 A CN201380033668 A CN 201380033668A CN 104395872 B CN104395872 B CN 104395872B
- Authority
- CN
- China
- Prior art keywords
- drawing object
- display
- preassigned
- processor
- association
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004590 computer program Methods 0.000 claims abstract description 19
- 238000005259 measurement Methods 0.000 claims description 46
- 230000003993 interaction Effects 0.000 claims description 43
- 230000004044 response Effects 0.000 claims description 9
- 241000208340 Araliaceae Species 0.000 claims 3
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 3
- 235000005035 ginseng Nutrition 0.000 claims 3
- 235000008434 ginseng Nutrition 0.000 claims 3
- 230000002452 interceptive Effects 0.000 description 11
- 238000005457 optimization Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010408 sweeping Methods 0.000 description 2
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 210000003205 Muscles Anatomy 0.000 description 1
- 240000001439 Opuntia Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001143 conditioned Effects 0.000 description 1
- 230000001186 cumulative Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001747 exhibiting Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006011 modification reaction Methods 0.000 description 1
- 230000000630 rising Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001052 transient Effects 0.000 description 1
- 230000014616 translation Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Abstract
一种设备,其包括:至少一个处理器和包括计算机程序代码的至少一个存储器,所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备:致使三维图形用户接口的视图被显示在触敏显示器上,所述三维图形用户接口包括多个图形对象的三维布置,每个图形对象在显示时具有关联显示参数;识别关联显示参数满足预定标准的至少一个图形对象;以及,针对识别到的至少一个图形对象启用单独可选择性,其中,每个单独可选择的图形对象可利用触摸输入来选择,以及其中,利用触摸输入单独选择图形对象致使针对所选择的图形对象执行动作。
Description
技术领域
本说明书大体上涉及致使显示三维图形用户接口,更具体地,涉及致使在触敏装置上显示三维图形用户接口。
背景技术
三维(3D)图形用户接口(GUI)的一个主要优势是它们潜在地能够比二维(2D)GUI呈现出更多的图形信息/对象。目前,大多数3D GUI交互是利用游戏机或者个人计算机(PC)来进行的。在这些环境中,可以移动光标或者焦点对GUI中甚至非常小的虚拟项进行高亮,并且随后与这些虚拟项进行交互。这使得可以直接与所有清晰可见项进行交互。然而,触摸屏交互是不同的。在触摸屏交互中,对象通过触摸输入来进行交互,与对象进行交互或者选择对象的能力由手指大小限制。3D GUI可以包括太小而不能准确进行交互的对象。
发明内容
在第一方面中,本说明书描述了一种设备,其包括:至少一个处理器和包括计算机程序代码的至少一个存储器,所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备:致使三维图形用户接口的视图被显示在触敏显示器上,所述三维图形用户接口包括多个图形对象的三维布置,每各个图形对象在显示时具有关联显示参数;识别关联显示参数满足预定标准的至少一个图形对象;以及针对识别到的至少一个图形对象启用单独可选择性,其中,每个单独可选择的图形对象可利用触摸输入来选择,以及其中,利用触摸输入单独选择图形对象致使针对所选择的图形对象执行动作。
所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备:调整识别到的至少一个图形对象的外观,从而向用户指示所述图形对象是单独可选择的。所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备:识别关联显示参数不满足所述预定标准的多个图形对象;以及通过致使将关联显示参数不满足所述预定标准的识别到的多个图形对象移入集群中来致使调整图形对象的所述三维布置。所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备:经由触摸输入来启用所述集群的可选择性。所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备:接收信号,所述信号指示针对所述集群已经接收到触摸输入;通过改变观看调整后的三维布置的视点,直到与所述集群中每个图形对象相关联的显示参数满足所述预定标准为止,来做出响应;以及,启用所述集群中每个图形对象的单独可选择性。
所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备:致使显示与显示参数不满足所述预定标准的每个图形对象相关联的操作柄,其中,与所述操作柄的至少一部分相关联的显示参数满足所述预定标准;以及,启用与每个图形对象相关联的所述操作柄的可选择性。
所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备:接收指示请求改变观看三维图形用户接口接口的视点的信号;通过将所述三维图形用户接口的改变后的视图显示在所述触敏显示器上来做出响应;针对改变后的视图计算交互度量;以及,通过自动调节观看所述三维图形用户接口的视点或者通过调节所述多个图形对象的布置来优化所述交互度量。
所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备:通过计算用于在多个不同调节后的视图处的三维图形用户接口的或者用于多个不同调节后的三维布置的交互度量,来优化交互度量;以及,致使显示具有最高交互度量的视图或布置。
所述关联显示参数包括所述图形对象的显示大小。作为替代方案,所述关联显示参数包括图形对象与所述触敏显示器分隔的虚拟距离。
在第二方面中,本说明书描述了一种方法,其包括:致使三维图形用户接口的视图被显示在触敏显示器上,所述三维图形用户接口包括多个图形对象的三维布置,每个图形对象在显示时具有关联显示参数;识别关联显示参数满足预定标准的至少一个图形对象;以及,针对识别到的至少一个图形对象启用单独可选择性,其中,每个单独可选择的图形对象可利用触摸输入来选择,以及其中,利用触摸输入单独选择图形对象致使针对所选择的图形对象执行动作。
所述方法可以进一步包括:调整识别到的至少一个图形对象的外观,从而向用户指示所述图形对象是单独可选择的。所述方法可以进一步包括:识别关联显示参数不满足所述预定标准的多个图形对象;以及通过致使将关联显示参数不满足所述预定标准的识别到的多个图形对象移入集群中,来致使调整图形对象的所述三维布置。所述方法可以进一步包括:经由触摸输入来启用所述集群的可选择性。所述方法可以进一步包括:接收信号,该信号指示针对所述集群已经接收到触摸输入;通过改变观看调整后的三维布置的视点,直到与所述集群中每个图形对象相关联的显示参数满足所述预定标准为止,来做出响应;以及,启用所述集群中每个图形对象的单独可选择性。
所述方法可以进一步包括:致使显示与所述显示参数不满足所述预定标准的每个图形对象相关联的操作柄,其中,与所述操作柄的至少一部分相关联的显示参数满足所述预定标准;以及,启用与每个图形对象相关联的操作柄的可选择性。
所述方法可以进一步包括:接收指示请求改变观看三维图形用户接口的视点的信号;通过将所述三维图形用户接口的改变后的视图显示在所述触敏显示器上来做出响应;针对改变后的视图计算交互度量;以及,通过自动调节观看所述三维图形用户接口的视点或者通过调节所述多个图形对象的布置来优化所述交互度量。
优化所述交互度量可以包括:计算用于在多个不同的调节后的视图处的三维图形用户接口的或者用于多个不同的调整后三维布置的交互度量;以及,显示具有最高交互度量的视图或布置。
所述关联显示参数包括所述图形对象的显示大小。或者,所述关联显示参数包括图形对象与所述触敏显示器分隔的虚拟距离。
在第三方面中,本说明书描述了一种非暂时性计算机可读存储介质,所述非暂时性计算机可读存储介质上储存有计算机可读指令,所述计算机可读指令在由至少一个处理器执行时使所述至少一个处理器:致使三维图形用户接口的视图被显示在触敏显示器上,所述三维图形用户接口包括多个图形对象的三维布置,每个图形对象在显示时具有关联显示参数;识别关联显示参数满足预定标准的至少一个图形对象;以及启用针对识别到的至少一个图形对象的单独可选择性,其中,每个单独可选择的图形对象可利用触摸输入来选择,以及其中,利用触摸输入单独选择图形对象致使针对所选择的图形对象执行动作。
在第四方面中,本说明书描述了一种计算机可读代码,所述计算机可读代码在由计算设备执行时使所述计算设备执行根据第二方面的方法。
在第五方面中,本说明书描述了一种设备,其包括:用于致使三维图形用户接口的视图被显示在触敏显示器上的装置,所述三维图形用户接口包括多个图形对象的三维布置,每个图形对象在显示时具有关联显示参数;用于识别关联显示参数满足预定标准的至少一个图形对象的装置;以及,用于针对识别到的至少一个图形对象启用单独可选择性的装置,其中,每个单独可选择的图形对象可利用触摸输入来选择,以及其中,利用触摸输入单独选择图形对象致使针对所选择的图形对象执行动作。
在第五方面中,本说明书描述了一种设备,所述设备配置为:致使三维图形用户接口的视图被显示在触敏显示器上,所述三维图形用户接口包括多个图形对象的三维布置,每个图形对象在显示时具有关联显示参数;识别关联显示参数满足预定标准的至少一个图形对象;以及启用针对识别到的至少一个图形对象的单独可选择性,其中,每个单独可选择的图形对象可利用触摸输入来选择,以及其中,利用触摸输入单独选择图形对象致使针对所选择的图形对象执行动作。
附图说明
为了更加全面地理解示例实施例,现在结合附图参考下面的说明,其中:
图1是根据示例实施例的设备的示意图;
图2A示出了显示在触敏显示器上的3D GUI;
图2B是示出了从触敏显示器到图2A所示3D GUI的图形对象的虚拟距离的示意图;
图3A示出了在不同旋转方向上显示时的图2A所示的3D GUI;
图3B是示出了从触敏显示器到图3A所示3D GUI的图形对象的虚拟距离的示意图;
图4是图示了根据示例实施例的方法的流程图;
图5A和图5B以及图6A至图6E图示了图4所示方法的各个步骤;
图7是图示了用于优化3D GUI的显示的示例方法的流程图;
图8A和图8B是用于图示图7所示方法的各个方面的3D GUI的视图;
图9是图示了用于优化3D GUI的显示的另一种方法的示例的流程图;
图10A和图10B是用于图示图9所示方法的各个方面的3D GUI的视图;以及
图11A和图11B图示了根据示例实施例的3D GUI的视图的优化。
具体实施方式
在本说明书和附图中,相似的附图标记始终表示相似的元件。
图1是根据示例实施例的设备1的示意图。设备1包括控制器10、至少一个非瞬时性存储介质12和触敏显示器14。控制器10包括至少一个处理器10A和(可选地)一个或多个专用集成电路(未示出)。该至少一个处理器10A可操作地执行储存在存储器12上的计算机可读代码12A。控制器10在计算机可读代码12A的控制下可操作地控制触敏显示器14的输出。控制器10也在计算机可读代码12A的控制下可操作地响应在触敏显示器14A处接收到的触摸输入并且致使基于该触摸输入执行动作。这类动作包括改变触敏显示器14的输出。控制器10也可操作地致使将数据暂时或者永久地储存在该至少一个存储器12中。
控制器10可操作地致使在触敏显示器14上显示3D GUI。3D GUI包括提供在显示器14上的图形对象的3D布置。3D GUI基于三维数据模型并且包括多个图形对象。图形对象是图形数据的表示。图形数据具有对图形对象在三维空间中的位置进行定义的关联几何数据。几何数据可以包括:例如,一个或多个笛卡尔坐标集合。3D GUI的显示外观取决于观看3D GUI的角度。如此,随着观看角度(也称为“摄像机位置”或者“视点”)改变,3D GUI的外观也发生了改变。
控制器10可操作地致使从许多不同的视点将3D GUI显示在触敏显示器14上。GUI显示的视点可以由用户经由一个或多个触摸输入来选择或者改变。在某些示例中,3D GUI在三维中是可操纵的。例如,轻扫式输入(即,用户的手指在一个方向上沿着触敏显示器14的表面移动)可以用于在该轻扫的移动方向上移动视点。作为替代方案,轻扫式输入可以用于在该轻扫的移动方向上旋转3D GUI。夹捏输入(即,在触敏显示器14上将两个手指朝向彼此移动)可以用于将某个方向上的视点移到显示屏14中。反向夹捏输入(即,在触敏显示器14上将两个手指远离彼此移动)可以用于将某个方向上的视点移出显示屏14。当然,应理解,可以使用任何合适类型的用户输入来通过3D GUI进行操纵。
控制器10也可以可操作地自动改变3D GUI显示的视角。控制器10也可以可操作地通过调节组成3D GUI的图形对象的相对位置来调整3DGUI的外观。
触敏显示器14包括显示部分14A和配置为检测在触敏显示器14上的触摸输入事件的部分14B。显示部分14A可以包括任何合适的显示面板,例如,但不限于,LED显示面板、LCD显示面板、电子墨水显示面板或者等离子体显示面板。配置为检测触摸输入的部分14B可以是任何合适的类型。合适的类型包括电容性触敏面板和电阻式触敏面板。
该至少一个非暂时性存储介质12可以是任何类型,例如,但不限于,ROM、RAM和闪速存储器。其中,设备1包括复数个离散型存储介质,这些离散型存储介质中的一些或全部都可以为不同类型。
设备1可以是触敏装置的一部分。触敏装置可以作为其一部分的设备1包括,但不限于:移动电话、平板计算机、膝上型计算机、台式计算机、个人数字助理(PDA)、定位***(例如,GPS接收器)和便携式媒体播放器。
图2A示出了包括图1所示设备1的触敏装置2的示例。在该示例中,装置2是便携式装置,具体为移动电话。
在图2A中,使简单的3D GUI 20显示在触敏显示器14上。在该示例中,3D GUI 20包括第一至第四图形对象20-1、20-2、20-3、20-4。在该示例中,图形对象是球体20-1、20-2、20-3、20-4。“远离”触敏显示器14所在平面的3D GUI的这些图形对象20-1、20-2、20-3、20-4的尺寸似乎比那些离触敏显示器14所在平面较近的图形对象更小。在图2A的视图中,第一图形对象20-1离显示器14所在平面最近,第二图形对象20-1离显示器14所在平面次近,第三图形对象20-3离显示器14所在平面第三近,而第四图形对象20-4离显示器14所在平面最远。图形对象20-1、20-2、20-3、20-4各自离显示器14所在平面的距离如图2B所示。图2B是当在垂直于显示器14所在平面的平面中的一点处从上方看时3D GUI的图形对象的虚构视图。显示器14所在平面用标记为P的线表示,而用户观看GUI的方向用箭头V表示。当然,应理解,图2A和图2B仅用于图示目的,离显示器不同距离处的对象的尺寸差异可能已经被放大。在该示例中,组成3DGUI的图形对象20-1、20-2、20-3、20-4的中心全都位于同一个平面中。这是为了便于说明,并不一定都是这种情况。
图3A示出了当从不同视点观看时的图2A的3D GUI。在该示例中,图形对象20-1、20-2、20-3、20-4的3D布置已经在顺时针方向上旋转了大约60度。这种视角变化可以是例如响应于从左到右方向上移动的轻扫式输入而发生。从图3B中可以看出,第二图形对象20-2现在离显示器14所在平面最近,而第三图形对象20-3离显示器14所在平面最远。因此,在图3A中,第二图形对象20-2覆盖了最大的显示区域,而第三图形对象20-3覆盖了最小的显示区域。对用户而言,覆盖显示器14的最小显示区域的图形对象可能太小以至于不能用手指准确地进行选择。
图4是描绘了可以由图1所示设备1的控制器10执行的方法的示例的流程图。
在步骤S4-1中,控制器10致使3D图形GUI 20(GUI)的视图将被显示。3D GUI的视图基于储存在存储器12中的3D数据模型。3D GUI 20在显示时包括在三维布置中提供的多个图形对象20-1、20-2、20-3、20-4。图形对象20-1、20-2、20-3、20-4中的每一个均具有关联显示参数。在某些示例中,关联显示参数包括图形对象出现在显示器14上的大小测量值。大小测量值可以是,例如,构成图形对象的像素数量、图形对象的最大长度测量值、或者显示有图形对象的显示区域测量值。在其他示例中,显示参数可以包括图形对象从显示器14所在平面移位的“虚拟距离”。该“虚拟距离”也可以称为是图形对象的“z距离”。z距离可以从对象离显示面板最近的部分测得。
接下来,在步骤S4-2中,控制器10识别关联显示参数满足预定标准的那些图形对象20-1、20-2。应理解,该预定标准取决于关联显示参数的性质。例如,在显示参数是图形对象的显示大小测量值的示例中,预定标准是图形对象的显示大小必须大于预定阈值大小。合适的阈值大小可以是约8mm。如此,在某些示例中,在步骤S4-2中仅识别关联显示参数指示在显示器14上显示的至少一个度量大于或者等于8mm的那些图形对象20-1、20-2。在某些示例中,该标准可以是图形对象的至少一部分必须具有超过阈值大小的两个度量(例如,宽度和长度)。
在显示参数是图形对象20-1、20-2、20-3、20-4与显示器14所在平面之间的虚拟距离的示例中,预定标准是该距离必须小于阈值距离。换言之,为了满足预定标准,图形对象20-1、20-2、20-3、20-4的至少一部分必须位于显示器14所在平面与虚构阈值平面之间,其中该虚构阈值平面平行于显示器14所在平面并且位于显示器14所在平面后方一个阈值距离。
识别满足预定标准的图形对象20-1、20-2、20-3、20-4的步骤S4-2可以包括:将与各个图形对象20-1、20-2、20-3、20-4相关联的显示参数与阈值显示参数进行比较。如果确定关联显示参数在阈值参数的正确侧,那么将图形对象识别为满足预定标准。
接下来,在步骤S4-3中,控制器10启用对关联显示参数满足预定标准的各个图形对象20-1、20-2、20-3、20-4的单独可选择性。当图形对象20-1、20-2、20-3、20-4可以与发生在提供有该图形对象的显示器14位置上的触摸输入进行交互或者由该触摸输入选择时,图形对象20-1、20-2、20-3、20-4是单独可选择的。通过致使针对所选择的图形对象执行动作,控制器10在计算机可读代码12A的控制下可操作地响应图形对象的后续单独选择。
不满足预定标准的图形对象的单独可选择性不被启用。如此,不能单独地选择或者交互这些图形对象。换言之,控制器10被配置为:在计算机可读代码12A的控制下,禁用对关联显示参数不满足预定标准的那些图形对象的单独可选择性。
接着,步骤S4-3中,用户能够选择关联显示参数满足预定标准的图形对象或者与这些图形对象进行交互。阻止单独选择对用户而言太小以至于不能准确地进行选择或者交互的那些图形对象。这就减少了用户错误选择图形对象的概率。
图5A和图5B图示了图4所示方法的各个方面。图5A示出了与图2A所示3D GUI相似的3D GUI的视图。然而,在图5A中,单独可选择的(即,关联显示参数满足预定标准的)图形对象20-1、20-2用粗体轮廓线表示。在该示例中,标准可以是显示的图形对象的至少一部分必须具有至少8mm×8mm的度量。作为替代方案,如图5B(与图2B相似)所示,标准可以是图形对象的至少一部分必须位于与显示器14隔开距离x的虚构阈值平面前面。该虚构平面在图5B中用PT表示。
现在回到图4,在启用对显示参数满足预定标准的图形对象20-1、20-2的单独可选择性之后,该方法进入步骤S4-4。在步骤S4-4中,控制器10调整已经启用了单独可选择性的图形对象的外观。外观的调整允许用户确定哪些图形对象能够被单独地选择或者进行交互。图形对象的外观可以通过任何合适的方式进行调整。在某些示例中,关联参数满足预定标准的3D图形对象可以显示或者呈现为在显示器14所在平面中的二维(2D)对象。这可以例如通过用图形对象的预储存2D图像替换相关的3D图形对象来实施。作为替代方案,相关的3D图形对象可以旋转,直到该对象的主要或首要面平行于显示屏所在平面。此外或作为替代方案,步骤S4-2中识别出的图形对象可以具有视觉高亮效果,诸如,围绕该对象的光晕或者仅仅是加粗的轮廓线(如图5A所示)。
接下来,在步骤S4-5中,控制器10致使修改或者调整已经禁用了单独可选择性的一个或多个图形对象的外观或者位置。例如,如图5C所示,可以将在步骤S4-2中未识别出的图形对象(即,第三和第四图形对象20-3、20-4)成组为显示器上合适位置处的集群60。对集群60进行配置,从而使集群60的整体大小大于可选择性阈值大小。如此,集群60中的图形对象在具有较少数量的图形对象的集群中可以比在具有较多数量图形对象的集群中间隔隔开更远。例如,合适位置可以是无其他图形对象显示的位置。集群60可以通过超过一个阈值距离来与其他图形对象隔开。如果不满足预定标准的图形对象的数量较多,那么可以形成两个或两个以上的集群60。形成超过一个集群的决定可以基于形成集群60的全部图形对象的累加显示区域。在这些示例中,两个或两个以上的集群中的每个集群的显示大小超出可选择性阈值。该两个或两个以上的集群可以并为单个更大集群。作为替代方案,它们可以提供在显示器的分散区域上。应理解,不是所有不满足预定标准的图形对象都可以移到集群中。例如,显示参数不满足第二较宽标准的从而显示为非常小的图形对象不可以移到集群中。
在其他示例中,不为单独可选择的图形对象20-3、20-4的外观可以被修改。例如,如图6D所示,可以将图形对象20-2、20-3的外观修改为包括交互操作柄62。交互操作柄62是与已经禁用了单独可选择性的图形对象20-2、20-3相关联的另一个显示图形对象。通过虚拟地将交互操作柄62与图形对象20-2、20-3链接,可以将交互操作柄62与图形对象20-2、20-3相关联。交互操作柄不形成3D GUI的一部分并且可以呈现在特定基础上。交互操作柄62进行配置,从而使与操作柄62的至少一部分相关联的显示参数(例如,显示大小或者z距离)满足可选择性预定标准。
接下来,在步骤S4-6中,控制器10启用对集群60或者交互操作柄62的可选择性。如此,用户能够通过在显示器14上的显示集群60或者操作柄62的位置处提供触摸输入来选择集群60或者操作柄62。在某些示例中,控制器10可以修改集群62或者操作柄62的外观,从而向用户指示可以对集群60或者操作柄62进行选择或者交互。
接下来,在步骤S4-7中,控制器10从触敏显示器14接收信号,该信号指示针对单独可选择的图形对象20-1、20-2中的一个或者针对步骤S4-5中显示的集群60或者操作柄62已经提供了选择。
接下来,在步骤S4-8,控制器10针对所选择的图形对象20-1、20-2或者集群60执行动作。当选择操作柄62时,控制器10可以针对关联图形对象执行动作。
图6E示出了在选择图形对象20-1、20-1或与图形对象20-3、20-4相关联的操作柄62时可以执行的动作的示例。在该示例中,控制器10仅放大所选择的对象。然而,应理解,针对所选择的图形也可以执行许多不同类型的动作。也应理解,该动作可以取决于图形对象所表示的数字对象的类型。例如,在图形对象表示应用的情况下,选择图形对象可以执行关联的应用。相似地,在图形对象表示媒体文件的情况下,选择图形对象可以将该媒体文件呈现给用户。
在其他示例中,当选择操作柄62时,并非针对与操作柄62相关联的图形对象20-3、20-4执行动作,控制器10而是可以将3D GUI的视图转换为这样的视图,其中在该这样的视图中与所选择的操作柄62相关联的图形对象20-3、20-4成为单独可选择的。
在步骤S4-8中,选择图形对象的集群使控制器10修改3D GUI的视图,直到与集群中的图形对象20-3、20-4相关联的显示参数满足预定标准为止。在某些示例中,控制器10可以将3D GUI恢复到其原来的3D布置(在步骤S4-5对其进行修改之前)。然后,控制器10可以改变观看3D GUI的视点,直到与集群的图形对象20-3、20-4相关联的显示参数满足预定标准为止。随后,控制器10启用对象20-3、20-4的单独可选择性以及关联显示参数满足预定标准的任何其他图形对象的单独可选择性。此外,控制器10禁用关联显示参数不再满足预定标准的任何图形对象的单独可选择性。每当改变观看3D GUI的视点时,都可以执行步骤S4-4至S4-6。
图6B示出了在选择集群60之后的3D GUI的示例视图。控制器60通过使3D GUI旋转直到与第三和第四图形对象20-3、20-4相关联的显示参数满足预定标准为止,来做出响应。3D GUI的旋转导致与第一和第二图形对象20-1、20-2相关联的显示参数不再满足标准。因此,控制器10可以禁用它们的单独可选择性。现在这两个图形对象20-1、20-2均部分地被第三和第四图形对象遮盖。出于说明之目的,它们的位置用虚线表示。
图6C示出了根据其他示例的在选择集群60之后的3D GUI 20的视图。在该示例中,控制器10不致使将3D GUI 20恢复到其原来的3D布置。相反,它对调整后的3D GUI的视图进行改变,直到与该集群中的图形对象20-3、20-4相关联的显示参数满足预定标准为止。在图5C的示例中,控制器10致使将观看调整后的3D GUI的视点直接移向该集群。然而,在其他示例中,控制器10可以使调整后的3D GUI的视图旋转或者转换,直到与集群60中的图形对象20-3、20-4相关联的显示参数满足预定标准为止。
从上面的说明中,应理解,通过对非单独可选择的图形对象集群或者通过提供相关联的可选择操作柄62,示例实施例向设备用户提供了一种简单且具有时效性的方式来选择先前不可选择的图形对象或者与这些图形对象进行交互。
图7是根据示例实施例的由图1所示设备1执行的操作的流程图。如从下面的说明中将理解的,图7所示方法的步骤可以是对图4所示方法的补充。图7的方法是控制器10可以优化3D GUI的视图以便改善用户与3D GUI之间的交互的方式的示例。
在步骤S7-1中,控制器10经由触敏显示器14接收指令以更改观看3D GUI 20的视点。该指令可以使用任何合适的用户输入来提供。例如,在图4所示的步骤S4-3、S4-4和S4-6中的任一步骤之后,可以接收步骤S7-1。如此,3D GUI的初始视图已经显示在触敏显示器14上。
响应于接收到的指令,在步骤S7-2中,控制器10根据接收到的指令致使显示在显示器上的3D GUI 20的视图转换为更改后的视图。接下来,在步骤S7-3中,控制器10基于当前显示在显示器14上的3D GUI 20的视图计算并储存“交互度量”。该交互度量是用户与可能来自当前视角的3DGUI中的图形对象之间的交互量的测量值。交互度量可以基于可由用户单独选择的图形对象20-1、20-2、20-3、20-4的数量与如何可轻易选择这些对象的测量值的结合。可以基于呈现超过最小限定大小的单独可选择区域的图形对象的数量与呈现出的单独可选择区域的大小的加权和,来计算交互度量。在计算交互度量时也可以考虑其他标准。这些标准可以包括针对特定类型的图形对象的优先化加权和两个或两个以上的单独可选择区域的在显示器上的接近度。交互度量是在当前视点处的图形对象3D GUI的可触摸程度的指示。如此,它可以称为可触摸性指示符。
然后,在步骤S7-4中,确定交互度量是否超过预定阈值(即,处于可接受的程度)。如果确定交互度量超过了预定阈值,那么维持30GUI 20的当前视图,并且该方法进入步骤S7-5和S7-6。步骤S7-5和S7-6和参考图4描述的步骤S4-2和S4-3相同,其中控制器10识别显示参数满足标准的图形对象(S4-2),随后启用它们的单独可选择性(S4-3)。在控制器10已经执行了步骤S7-5和步骤S7-6之后,可以继续执行等效于图4所示的步骤S4-4至S4-8的操作。
如果在步骤S7-4中确定交互度量低于预定阈值,那么控制器10进入步骤S7-7。在步骤S7-7中,控制器10计算并储存从当前视图调节得到的3D GUI 20的视图的交互度量。调节后的视图是在特定方向上从当前视图平移或旋转预定步距而得到的视图。
接着,在步骤S7-8中,控制器10计算并储存在该方向上被调节了增加步距的视图的交互度量。该步骤可以重复为与计算机可读代码12A定义的次数一样多的次数。
然后,在步骤S7-9中,控制器10重复步骤S7-7和步骤S7-8预定义的不同平移和/或旋转方向数量。
接着,在步骤S7-10中,控制器10识别产生最高交互度量的调节后的视图并且将3DGUI转换为该视图。随后,控制器10进入步骤S7-5和S7-6。
当然,应理解,在某些示例实施例中,可以按照不同的顺序执行图7所示的步骤。例如,在某些示例中,可以在每次计算调节后的视图的交互度量时执行确定交互度量是否超过预定阈值的步骤S7-4。一旦识别出具有超过阈值的交互度量的视图,控制器10便将3DGUI转换为该视图。如果没有视图产生超过阈值的交互度量,那么控制器10将3D GUI转换为具有最高交互度量的视图。
图8A示出了用户发起视图转换之后的3D GUI的视图的示例。在该示例中,各个图形对象20-5、20-6和20-7以这样的大小显示,从而使它们的关联显示参数不满足预定标准。该事实反映为低于阈值的交互度量。因此,在图7所示方法的步骤S7-7至S7-9之后,识别具有优化的交互度量的调节视图。优化的视图可以从图8B中看出并且由控制器10在朝向图形对象20-5、20-6、20-7的方向上转换视点引起。在优化的视图中,与所有图形对象相关联的显示参数满足预定标准。因此,控制器10针对所有三个图形对象20-5、20-6、20-7启用单独可选择性。
图9是图示了用于优化与3D GUI相关联的交互度量的另一种方法的示例的流程图。该方法解决了图形对象彼此重叠或者太近而使用户不能准确地单独选择每一图形对象的问题。
步骤S9-1至S9-6大体上和图7中的步骤S7-1至S7-6相同。然而,在该示例方法中,在步骤S9-4中确定交互度量低于阈值之后,该方法进入步骤S9-7。在步骤S9-7中,控制器10对重叠的对象或者认为彼此太近的对象进行识别。这可以基于与各个图形对象相关联的显示位置信息。
然后,在步骤S9-8中,控制器10在它们2D中心点之间的线方向上将重叠的或者靠近的对象彼此移开。控制器10继续以这种方式分开图形对象,直到确定这些对象彼此间隔开超过阈值距离为止。当然,应理解,可以使用用于间隔图形对象的替代算法。例如,控制器10可以取通过图形对象的水平切片,然后测量它们之前的最小距离。控制器10于是计算如果将这些对象少量地彼此水平移开的话在这些对象之间的最小距离。利用渐进增加的水平移动距离进行重复,直到计算出的间距超过阈值为止。然后,控制器10在垂直方向上重复该过程(即,通过取垂直切片并垂直移动对象)。随后,控制器确定哪个方向要求用以到达阈值间距的最小的移动,然后在显示器上沿该方向分开对象直到达到该阈值间距为止。随后,该方法进入步骤S9-5和S9-6,控制器10识别显示参数满需标准的图形对象(步骤S9-5)并且随后启用其单独可选择性(步骤S9-6)。
可以在图10A和10B中看出图9的方法的效果。图10A示出了紧接着用户发起的视图转换之后的3D GUI 20的视图。如图可见,图形对象20-8至20-9中的两个图形对象显示为重叠。这是在步骤S9-7中辨认出的,结果,在步骤S9-8中,将重叠的对象彼此移开。可以从图10B中看出该操作的结果。
当然,应理解,图7和图9的示例方法可能并不彼此排斥。例如,可以在图7的步骤S7-10之后执行步骤S9-7和S9-8。同样,如上所述,图7和/或图9的方法也可以并入图4的方法中。
现在将结合图11A和11B对如何可以计算交互度量的工作示例进行描述。
图11A示出了紧接着用户控制的视点变化之后的3D GUI的视图。在该示例中,3DGUI包括两个平面的图形对象110、112。第一个对象110具有实线轮廓线,而第二个对象112具有虚线轮廓线。在图11A中,两个对象所在平面大体上平行于显示器所在平面。
与对象和摄像机有关的笛卡尔坐标(x,y,z)如下:
第一对象110=[-76,1571,162];
第二对象112=[-385,1798,1455];
摄像机位置=[-1043,1917,-4038];以及
摄像机的目标点(即,摄像机的聚焦点)=[-368,1588,289].
x轴是水平的并且从右到左增加。y轴是垂直的并且从下到上增加。z轴垂直于显示器所在平面并且从近到远增加。各个图形对象110、112均具有相同的对象大小。然而,因为第二对象112离显示器所在平面更远(即,具有更大z值),所以第二对象112看起来更小。两个对象均以超过启用单独可选择性的阈值的大小显示。然而,在当前视图中,第一对象110部分地遮盖第二对象112的视图。两个对象均具有相同的优先级(=1)。
提供有对象的显示器的区域测量值如下:
第一对象区域=1156;以及,第二对象区域=396。
在某些示例中,交互度量MI可以利用下列等式来计算(a、b、c和Amin是根据特定实施方式而定义的参数):
MI=a(呈现可视区域>Amin的单独可选择对象的数量)+b(最小可视区域)+c(优先级为1的对象的总显示区域)+d(相邻的单独可选择对象的最近边缘之间的距离)。
假设在该实施方式中这些参数为:a=800,b=1,c=0.1和Amin=500(注意:在某些示例中,Amin也可以是单独可选择性的阈值大小)。如此,交互度量为:
MI=800(1)+1(396)+0.1(1156+396)+100(0)=1351。
如果交互度量MI的阈值是例如4000,那么图7中的步骤S7-4将产生否定确定。如此,控制器10然后进入步骤S7-7至S7-10以识别具有更高交互度量(优选低,超过阈值)的视点。图11B示出了这类视点的示例。
在图11B中,通过1181单元已经将摄像机移到右边。如此,现在摄像机位置的坐标为:[-1043,1917,-4038]。因为改变了摄像机的位置但是没有改变目标点,所以,两个对象110、112所在平面不再大体上平行于显示器所在平面。如此,它们不再呈现为长方形,而是稍稍偏斜。这两个对象的可见区域如下:
第一对象区域=900;以及
第二对象区域=625。
图11B所示视图的交互度量MI现在是4000(=800(2)+1(625)+0.1(900+625)+100(2.5)),超过了阈值。因此,控制器将3D GUI转换为有助于用户与3D GUI进行交互的该视点。
应理解,在本文中描述的示例在触摸屏装置内具有许多不同的用途。例如,它们可以用于提供菜单***,其中在GUI中的各个图形对象表示用于执行的应用。它们也可以用于浏览内容项目,诸如,图片文件、视频文件和/或音频文件,每个图形对象表示内容项目或者内容项目组。在其他应用中,本文的示例可以在游戏环境内使用,例如作为虚拟世界计算机游戏的一部分。当然,应理解,本文中描述的示例并不限于这些具体应用,相反,可以用于许多其他场景中。
应该认识到,上述实施例不应视为限制。在阅读了本申请之后,其他变化和修改对本领域的技术人员来说是显而易见的。此外,本申请的公开应理解为包括任何新颖特征或者本文中显式或隐式公开的特征的任何新颖组合或者其任何概括,并且在本申请或者由此得到的任何申请的起诉期间,可
以制定新的权利要求书以涵盖任何这类特征和/或这类特征的组合。
Claims (20)
1.一种设备,其包括:至少一种处理器和包括计算机程序代码的至少一个存储器,所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备:
致使三维图形用户接口的视图被显示在触敏显示器上,所述三维图形用户接口包括多个图形对象的三维布置,每个图形对象在显示时具有关联显示参数,其中所述关联显示参数包括所述图形对象的显示大小;
通过将与每个图形对象关联的显示大小与阈值进行比较,来识别关联显示大小满足预定标准的至少一个图形对象,所述关联显示大小在所述显示大小在所述阈值的正确侧的情况下满足所述预定标准;
识别关联显示参数不满足所述预定标准的多个图形对象;以及
针对关联显示大小满足所述预定标准的识别到的至少一个图形对象启用单独可选择性,对关联显示大小不满足所述预定标准的任何图形对象禁用单独可选择性,其中,在启用图形对象的单独可选择性的情况下,所述图形对象可单独选择,以及其中,单独选择图形对象致使针对所选择的图形对象执行动作,以及其中,在禁用单独可选择性的情况下,响应于用户输入,不执行动作。
2.如权利要求1所述的设备,其中,所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备:调整识别到的至少一个图形对象的外观,从而向用户指示所述图形对象是单独可选择的。
3.如权利要求1或2所述的设备,其中,所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备:
通过致使将关联显示参数不满足所述预定标准的识别到的多个图形对象移入集群中,来致使调整图形对象的所述三维布置。
4.如权利要求3所述的设备,其中,所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备:经由用户输入来启用所述集群的可选择性。
5.如权利要求4所述的设备,其中,所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备:
接收信号,所述信号指示针对所述集群已经接收到用户输入;
通过改变观看调整后的三维布置的视点,直到与所述集群中每个图形对象相关联的显示参数都满足所述预定标准为止,来做出响应;以及
启用所述集群中每个图形对象的单独可选择性。
6.如权利要求1或2所述的设备,其中,所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备:
致使显示与显示参数不满足所述预定标准的每个图形对象相关联的操作柄,其中,与所述操作柄的至少一部分相关联的显示参数满足所述预定标准;以及
启用与每个图形对象相关联的操作柄的可选择性。
7.如权利要求1或2所述的设备,其中,所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备:
接收指示请求改变观看三维图形用户接口的视点的信号;
通过致使将所述三维图形用户接口的改变后的视图显示在所述触敏显示器上来做出响应;
针对改变后的视图计算交互度量;以及
通过自动调节观看所述三维图形用户接口的视点或者通过调节所述多个图形对象的布置来优化所述交互度量。
8.如权利要求7所述的设备,其中,所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备:
计算用于在多个不同调节后的视图处的三维图形用户接口的或者用于多个不同调节后的三维布置的交互度量;以及
致使显示具有最高交互度量的视图或布置。
9.如权利要求1或2所述的设备,其中,所述关联显示参数包括图形对象与所述触敏显示器分隔的虚拟距离。
10.一种方法,其包括:
致使三维图形用户接口的视图被显示在触敏显示器上,所述三维图形用户接口包括多个图形对象的三维布置,每个图形对象在显示时具有关联显示参数,其中所述关联显示参数包括所述图形对象的显示大小;
通过将与每个图形对象关联的显示大小与阈值进行比较,来识别关联显示大小满足预定标准的至少一个图形对象,所述关联显示大小在所述显示大小在所述阈值的正确侧的情况下满足所述预定标准;
识别关联显示参数不满足所述预定标准的多个图形对象;以及
针对关联显示大小满足所述预定标准的识别到的至少一个图形对象启用单独可选择性,对关联显示大小不满足所述预定标准的任何图形对象禁用单独可选择性,其中,在启用图形对象的单独可选择性的情况下,所述图形对象可单独选择,以及其中,单独选择图形对象致使针对所选择的图形对象执行动作,以及其中,在禁用单独可选择性的情况下,响应于用户输入,不执行动作。
11.如权利要求10所述的方法,其进一步包括:
调整识别到的至少一个图形对象的外观,从而向用户指示所述图形对象是单独可选择的。
12.如权利要求10或11所述的方法,其包括:
通过致使将关联显示参数不满足所述预定标准的识别到的多个图形对象移入集群中,来致使调整图形对象的所述三维布置。
13.如权利要求12所述的方法,其包括:经由用户输入来启用所述集群的可选择性。
14.如权利要求13所述的方法,其进一步包括:
接收信号,所述信号指示针对所述集群已经接收到用户输入;
通过改变观看调整后的三维布置的视点,直到与所述集群中每个图形对象相关联的显示参数都满足所述预定标准为止,来做出响应;以及
启用所述集群中每个图形对象的单独可选择性。
15.如权利要求10或11所述的方法,其包括:
致使显示与显示参数不满足所述预定标准的每个图形对象相关联的操作柄,其中,与所述操作柄的至少一部分相关联的显示参数满足所述预定标准;以及
启用与每个图形对象相关联的操作柄的可选择性。
16.如权利要求10或11所述的方法,其进一步包括:
接收指示请求改变观看三维图形用户接口的视点的信号;
通过致使将所述三维图形用户接口的改变后的视图显示在所述触敏显示器上来做出响应;
针对改变后的视图计算交互度量;以及
通过自动调节观看所述三维图形用户接口的视点或者通过调节所述多个图形对象的布置来优化所述交互度量。
17.如权利要求16所述的方法,其中,优化所述交互度量包括
计算用于在多个不同调节后的视图处的三维图形用户接口的或者用于多个不同调整后的三维布置的交互度量;以及
致使显示具有最高交互度量的视图或布置。
18.如权利要求10或11所述的方法,其中,所述关联显示参数包括图形对象与所述触敏显示器分隔的虚拟距离。
19.一种非暂时性计算机可读存储介质,所述非暂时性计算机可读存储介质上储存有计算机可读指令,所述计算机可读指令在由至少一个处理器执行时使所述至少一个处理器:
致使三维图形用户接口的视图被显示在触敏显示器上,所述三维图形用户接口包括多个图形对象的三维布置,每个图形对象在显示时具有关联显示参数,其中所述关联显示参数包括所述图形对象的显示大小;
通过将与每个图形对象关联的显示大小与阈值进行比较,来识别关联显示大小满足预定标准的至少一个图形对象,所述关联显示大小在所述显示大小在所述阈值的正确侧的情况下满足所述预定标准;
识别关联显示参数不满足所述预定标准的多个图形对象;以及
针对关联显示大小满足所述预定标准的识别到的至少一个图形对象启用单独可选择性,对关联显示大小不满足所述预定标准的任何图形对象禁用单独可选择性,其中,在启用图形对象的单独可选择性的情况下,所述图形对象可单独选择,以及其中,单独选择图形对象致使针对所选择的图形对象执行动作,以及其中,在禁用单独可选择性的情况下,响应于用户输入,不执行动作。
20.如权利要求19所述的非暂时性计算机可读存储介质,其中所述计算机可读指令在由所述至少一个处理器执行时使所述至少一个处理器执行权利要求11-18中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810411090.1A CN108628533A (zh) | 2012-04-25 | 2013-04-23 | 三维图形用户接口 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/455,669 US9904457B2 (en) | 2012-04-25 | 2012-04-25 | Causing display of a three dimensional graphical user interface with dynamic selectability of items |
US13/455,669 | 2012-04-25 | ||
PCT/FI2013/050455 WO2013160551A1 (en) | 2012-04-25 | 2013-04-23 | Three dimensional graphical user interface |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810411090.1A Division CN108628533A (zh) | 2012-04-25 | 2013-04-23 | 三维图形用户接口 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104395872A CN104395872A (zh) | 2015-03-04 |
CN104395872B true CN104395872B (zh) | 2018-06-01 |
Family
ID=
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108628533A (zh) | 三维图形用户接口 | |
TWI690842B (zh) | 基於手勢辨認的互動顯示方法和裝置 | |
CN109564472B (zh) | 用于选取与虚拟对象的交互方法的方法、介质和*** | |
US20190250714A1 (en) | Systems and methods for triggering actions based on touch-free gesture detection | |
EP2681649B1 (en) | System and method for navigating a 3-d environment using a multi-input interface | |
US20170092002A1 (en) | User interface for augmented reality system | |
KR101890459B1 (ko) | 3차원으로 디스플레이된 오브젝트의 사용자 선택 제스쳐에 응답하기 위한 방법 및 시스템 | |
US10591988B2 (en) | Method for displaying user interface of head-mounted display device | |
CN103677240A (zh) | 虚拟触摸交互方法和虚拟触摸交互设备 | |
US20220066620A1 (en) | Transitions between states in a hybrid virtual reality desktop computing environment | |
JP5845969B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US9122346B2 (en) | Methods for input-output calibration and image rendering | |
US20150309681A1 (en) | Depth-based mode switching for touchless gestural interfaces | |
US10175780B2 (en) | Behind-display user interface | |
TW201439813A (zh) | 顯示設備及其控制系統和方法 | |
CN104978018B (zh) | 触控***及触控方法 | |
EP3088991B1 (en) | Wearable device and method for enabling user interaction | |
Yoo et al. | 3D remote interface for smart displays | |
CN104395872B (zh) | 三维图形用户接口 | |
US9465483B2 (en) | Methods for input-output calibration and image rendering | |
KR20140101276A (ko) | 깊이 정보 및 사용자의 공간 제스처에 기초하여 메뉴를 표시하는 방법 | |
WO2023246381A1 (zh) | 一种用于光场显示器的交互方法、装置、光场显示器*** | |
EP3574387A1 (en) | Projecting inputs to three-dimensional object representations | |
CN102479002A (zh) | 光学触控***及其感测方法 | |
JP2016042383A (ja) | ユーザ操作処理装置、ユーザ操作処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20160105 Address after: Espoo, Finland Applicant after: Technology Co., Ltd. of Nokia Address before: Espoo, Finland Applicant before: Nokia Oyj |
|
GR01 | Patent grant |