CN108628533A - 三维图形用户接口 - Google Patents

三维图形用户接口 Download PDF

Info

Publication number
CN108628533A
CN108628533A CN201810411090.1A CN201810411090A CN108628533A CN 108628533 A CN108628533 A CN 108628533A CN 201810411090 A CN201810411090 A CN 201810411090A CN 108628533 A CN108628533 A CN 108628533A
Authority
CN
China
Prior art keywords
drawing object
preassigned
display
processor
association
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810411090.1A
Other languages
English (en)
Inventor
A·科利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Priority claimed from CN201380033668.XA external-priority patent/CN104395872B/zh
Publication of CN108628533A publication Critical patent/CN108628533A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及三维图形用户接口。根据一个实施例，提供了一种设备，其包括：至少一种处理器和包括计算机程序代码的至少一个存储器。至少一个存储器和计算机程序代码配置为与至少一个处理器一起使所述设备：致使三维图形用户接口的视图被显示在触敏显示器上，所述三维图形用户接口包括多个图形对象的三维布置；通过将与每个图形对象关联的虚拟距离与阈值平面进行比较，来识别关联虚拟距离满足预定标准的至少一个图形对象；识别关联虚拟距离不满足预定标准的一个或多个图形对象；以及针对关联虚拟距离满足预定标准的识别到的至少一个图形对象启用单独可选择性，对关联虚拟距离不满足预定标准的任何图形对象禁用单独可选择性。

Description

三维图形用户接口
本申请是分案申请，原申请的申请号为201380033668.X，申请日为2013 年4月23日，发明名称为“三维图形用户接口”。
技术领域
本说明书大体上涉及致使显示三维图形用户接口，更具体地，涉及致使在触敏装置上显示三维图形用户接口。
背景技术
三维(3D)图形用户接口(GUI)的一个主要优势是它们潜在地能够比二维(2D)GUI呈现出更多的图形信息/对象。目前，大多数3D GUI 交互是利用游戏机或者个人计算机(PC)来进行的。在这些环境中，可以移动光标或者焦点对GUI中甚至非常小的虚拟项进行高亮，并且随后与这些虚拟项进行交互。这使得可以直接与所有清晰可见项进行交互。然而，触摸屏交互是不同的。在触摸屏交互中，对象通过触摸输入来进行交互，与对象进行交互或者选择对象的能力由手指大小限制。3D GUI可以包括太小而不能准确进行交互的对象。
发明内容
在第一方面中，本说明书描述了一种设备，其包括：至少一个处理器和包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备：致使三维图形用户接口的视图被显示在触敏显示器上，所述三维图形用户接口包括多个图形对象的三维布置，每各个图形对象在显示时具有关联显示参数；识别关联显示参数满足预定标准的至少一个图形对象；以及针对识别到的至少一个图形对象启用单独可选择性，其中，每个单独可选择的图形对象可利用触摸输入来选择，以及其中，利用触摸输入单独选择图形对象致使针对所选择的图形对象执行动作。
所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备：调整识别到的至少一个图形对象的外观，从而向用户指示所述图形对象是单独可选择的。所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备：识别关联显示参数不满足所述预定标准的多个图形对象；以及通过致使将关联显示参数不满足所述预定标准的识别到的多个图形对象移入集群中来致使调整图形对象的所述三维布置。所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备：经由触摸输入来启用所述集群的可选择性。所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备：接收信号，所述信号指示针对所述集群已经接收到触摸输入；通过改变观看调整后的三维布置的视点，直到与所述集群中每个图形对象相关联的显示参数满足所述预定标准为止，来做出响应；以及，启用所述集群中每个图形对象的单独可选择性。
所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备：致使显示与显示参数不满足所述预定标准的每个图形对象相关联的操作柄，其中，与所述操作柄的至少一部分相关联的显示参数满足所述预定标准；以及，启用与每个图形对象相关联的所述操作柄的可选择性。
所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备：接收指示请求改变观看三维图形用户接口接口的视点的信号；通过将所述三维图形用户接口的改变后的视图显示在所述触敏显示器上来做出响应；针对改变后的视图计算交互度量；以及，通过自动调节观看所述三维图形用户接口的视点或者通过调节所述多个图形对象的布置来优化所述交互度量。
所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备：通过计算用于在多个不同调节后的视图处的三维图形用户接口的或者用于多个不同调节后的三维布置的交互度量，来优化交互度量；以及，致使显示具有最高交互度量的视图或布置。
所述关联显示参数包括所述图形对象的显示大小。作为替代方案，所述关联显示参数包括图形对象与所述触敏显示器分隔的虚拟距离。
在第二方面中，本说明书描述了一种方法，其包括：致使三维图形用户接口的视图被显示在触敏显示器上，所述三维图形用户接口包括多个图形对象的三维布置，每个图形对象在显示时具有关联显示参数；识别关联显示参数满足预定标准的至少一个图形对象；以及，针对识别到的至少一个图形对象启用单独可选择性，其中，每个单独可选择的图形对象可利用触摸输入来选择，以及其中，利用触摸输入单独选择图形对象致使针对所选择的图形对象执行动作。
所述方法可以进一步包括：调整识别到的至少一个图形对象的外观，从而向用户指示所述图形对象是单独可选择的。所述方法可以进一步包括：识别关联显示参数不满足所述预定标准的多个图形对象；以及通过致使将关联显示参数不满足所述预定标准的识别到的多个图形对象移入集群中，来致使调整图形对象的所述三维布置。所述方法可以进一步包括：经由触摸输入来启用所述集群的可选择性。所述方法可以进一步包括：接收信号，该信号指示针对所述集群已经接收到触摸输入；通过改变观看调整后的三维布置的视点，直到与所述集群中每个图形对象相关联的显示参数满足所述预定标准为止，来做出响应；以及，启用所述集群中每个图形对象的单独可选择性。
所述方法可以进一步包括：致使显示与所述显示参数不满足所述预定标准的每个图形对象相关联的操作柄，其中，与所述操作柄的至少一部分相关联的显示参数满足所述预定标准；以及，启用与每个图形对象相关联的操作柄的可选择性。
所述方法可以进一步包括：接收指示请求改变观看三维图形用户接口的视点的信号；通过将所述三维图形用户接口的改变后的视图显示在所述触敏显示器上来做出响应；针对改变后的视图计算交互度量；以及，通过自动调节观看所述三维图形用户接口的视点或者通过调节所述多个图形对象的布置来优化所述交互度量。
优化所述交互度量可以包括：计算用于在多个不同的调节后的视图处的三维图形用户接口的或者用于多个不同的调整后三维布置的交互度量；以及，显示具有最高交互度量的视图或布置。
所述关联显示参数包括所述图形对象的显示大小。或者，所述关联显示参数包括图形对象与所述触敏显示器分隔的虚拟距离。
在第三方面中，本说明书描述了一种非暂时性计算机可读存储介质，所述非暂时性计算机可读存储介质上储存有计算机可读指令，所述计算机可读指令在由至少一个处理器执行时使所述至少一个处理器：致使三维图形用户接口的视图被显示在触敏显示器上，所述三维图形用户接口包括多个图形对象的三维布置，每个图形对象在显示时具有关联显示参数；识别关联显示参数满足预定标准的至少一个图形对象；以及启用针对识别到的至少一个图形对象的单独可选择性，其中，每个单独可选择的图形对象可利用触摸输入来选择，以及其中，利用触摸输入单独选择图形对象致使针对所选择的图形对象执行动作。
在第四方面中，本说明书描述了一种计算机可读代码，所述计算机可读代码在由计算设备执行时使所述计算设备执行根据第二方面的方法。
在第五方面中，本说明书描述了一种设备，其包括：用于致使三维图形用户接口的视图被显示在触敏显示器上的装置，所述三维图形用户接口包括多个图形对象的三维布置，每个图形对象在显示时具有关联显示参数；用于识别关联显示参数满足预定标准的至少一个图形对象的装置；以及，用于针对识别到的至少一个图形对象启用单独可选择性的装置，其中，每个单独可选择的图形对象可利用触摸输入来选择，以及其中，利用触摸输入单独选择图形对象致使针对所选择的图形对象执行动作。
在第五方面中，本说明书描述了一种设备，所述设备配置为：致使三维图形用户接口的视图被显示在触敏显示器上，所述三维图形用户接口包括多个图形对象的三维布置，每个图形对象在显示时具有关联显示参数；识别关联显示参数满足预定标准的至少一个图形对象；以及启用针对识别到的至少一个图形对象的单独可选择性，其中，每个单独可选择的图形对象可利用触摸输入来选择，以及其中，利用触摸输入单独选择图形对象致使针对所选择的图形对象执行动作。
在一个实施例中，提供了一种设备，其包括：至少一种处理器和包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备：致使三维图形用户接口的视图被显示在触敏显示器上，所述三维图形用户接口包括多个图形对象的三维布置，每个图形对象在显示时具有关联显示参数，其中所述关联显示参数包括所述图形对象与表示所述触敏显示器的平面分隔的虚拟距离；通过将与每个图形对象关联的虚拟距离与阈值平面进行比较，来识别关联虚拟距离满足预定标准的至少一个图形对象，所述关联虚拟距离在所述虚拟距离在所述阈值平面的正确侧的情况下满足所述预定标准；识别关联虚拟距离不满足所述预定标准的一个或多个图形对象；以及针对关联虚拟距离满足所述预定标准的识别到的至少一个图形对象启用单独可选择性，对关联虚拟距离不满足所述预定标准的任何图形对象禁用单独可选择性，其中，在启用图形对象的单独可选择性的情况下，所述图形对象可单独选择，以及其中，单独选择图形对象致使针对所选择的图形对象执行动作，以及其中，在禁用单独可选择性的情况下，响应于单独选择所述图形对象，不执行动作。
在一个实施例中，所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备：调整识别到的至少一个图形对象的外观，从而向用户指示所述图形对象是单独可选择的。
在一个实施例中，所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备：通过致使将关联显示参数不满足所述预定标准的识别到的多个图形对象移入集群中，来致使调整图形对象的所述三维布置。
在一个实施例中，所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备：启用所述集群的可选择性。
在一个实施例中，所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备：接收信号，所述信号指示针对所述集群已经接收到用户输入；通过改变观看调整后的三维布置的视点，直到与所述集群中每个图形对象相关联的显示参数都满足所述预定标准为止，来做出响应；以及启用所述集群中每个图形对象的单独可选择性。
在一个实施例中，所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备：致使显示与显示参数不满足所述预定标准的每个图形对象相关联的操作柄，其中，与所述操作柄的至少一部分相关联的显示参数满足所述预定标准；以及启用与每个图形对象相关联的操作柄的可选择性。
在一个实施例中，所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备：接收指示请求改变观看三维图形用户接口的视点的信号；通过致使将所述三维图形用户接口的改变后的视图显示在所述触敏显示器上来做出响应；针对改变后的视图计算交互度量；以及通过自动调节观看所述三维图形用户接口的视点或者通过调节所述多个图形对象的布置来优化所述交互度量。
在一个实施例中，所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备：计算用于在多个不同调节后的视图处的三维图形用户接口的或者用于多个不同调节后的三维布置的交互度量；以及致使显示具有最高交互度量的视图或布置。
在一个实施例中，提供了一种方法，其包括：致使三维图形用户接口的视图被显示在触敏显示器上，所述三维图形用户接口包括多个图形对象的三维布置，每个图形对象在显示时具有关联显示参数，其中所述关联显示参数包括所述图形对象与表示所述触敏显示器的平面分隔的虚拟距离；通过将与每个图形对象关联的虚拟距离与阈值平面进行比较，来识别关联虚拟距离满足预定标准的至少一个图形对象，所述关联虚拟距离在所述虚拟距离在所述阈值平面的正确侧的情况下满足所述预定标准；识别关联虚拟距离不满足所述预定标准的一个或多个图形对象；以及针对关联虚拟距离满足所述预定标准的识别到的至少一个图形对象启用单独可选择性，对关联虚拟距离不满足所述预定标准的任何图形对象禁用单独可选择性，其中，在启用图形对象的单独可选择性的情况下，所述图形对象可单独选择，以及其中，单独选择图形对象致使针对所选择的图形对象执行动作，以及其中，在禁用单独可选择性的情况下，响应于单独选择所述图形对象，不执行动作。
在一个实施例中，所述方法进一步包括：调整识别到的至少一个图形对象的外观，从而向用户指示所述图形对象是单独可选择的。
在一个实施例中，所述方法包括：通过致使将关联显示参数不满足所述预定标准的识别到的多个图形对象移入集群中，来致使调整图形对象的所述三维布置。
在一个实施例中，所述方法包括：启用所述集群的可选择性。
在一个实施例中，所述方法进一步包括：接收信号，所述信号指示针对所述集群已经接收到用户输入；通过改变观看调整后的三维布置的视点，直到与所述集群中每个图形对象相关联的显示参数都满足所述预定标准为止，来做出响应；以及启用所述集群中每个图形对象的单独可选择性。
在一个实施例中，所述方法包括：致使显示与显示参数不满足所述预定标准的每个图形对象相关联的操作柄，其中，与所述操作柄的至少一部分相关联的显示参数满足所述预定标准；以及启用与每个图形对象相关联的操作柄的可选择性。
在一个实施例中，所述方法进一步包括：接收指示请求改变观看三维图形用户接口的视点的信号；通过致使将所述三维图形用户接口的改变后的视图显示在所述触敏显示器上来做出响应；针对改变后的视图计算交互度量；以及通过自动调节观看所述三维图形用户接口的视点或者通过调节所述多个图形对象的布置来优化所述交互度量。
在一个实施例中，优化所述交互度量包括：计算用于在多个不同调节后的视图处的三维图形用户接口的或者用于多个不同调整后的三维布置的交互度量；以及致使显示具有最高交互度量的视图或布置。
在一个实施例中，提供了一种计算机可读存储介质，所述计算机可读存储介质上储存有计算机可读指令，所述计算机可读指令在由至少一个处理器执行时使所述至少一个处理器：致使三维图形用户接口的视图被显示在触敏显示器上，所述三维图形用户接口包括多个图形对象的三维布置，每个图形对象在显示时具有关联显示参数，其中所述关联显示参数包括所述图形对象与表示所述触敏显示器的平面分隔的虚拟距离；通过将与每个图形对象关联的虚拟距离与阈值平面进行比较，来识别关联虚拟距离满足预定标准的至少一个图形对象，所述关联虚拟距离在所述虚拟距离在所述阈值平面的正确侧的情况下满足所述预定标准；识别关联虚拟距离不满足所述预定标准的一个或多个图形对象；以及针对关联虚拟距离满足所述预定标准的识别到的至少一个图形对象启用单独可选择性，对关联虚拟距离不满足所述预定标准的任何图形对象禁用单独可选择性，其中，在启用图形对象的单独可选择性的情况下，所述图形对象可单独选择，以及其中，单独选择图形对象致使针对所选择的图形对象执行动作，以及其中，在禁用单独可选择性的情况下，响应于单独选择所述图形对象，不执行动作。
在一个实施例中，所述计算机可读指令在由所述至少一个处理器执行时使所述至少一个处理器执行上述方法。
附图说明
为了更加全面地理解示例实施例，现在结合附图参考下面的说明，其中：
图1是根据示例实施例的设备的示意图；
图2A示出了显示在触敏显示器上的3D GUI；
图2B是示出了从触敏显示器到图2A所示3D GUI的图形对象的虚拟距离的示意图；
图3A示出了在不同旋转方向上显示时的图2A所示的3D GUI；
图3B是示出了从触敏显示器到图3A所示3D GUI的图形对象的虚拟距离的示意图；
图4是图示了根据示例实施例的方法的流程图；
图5A和图5B以及图6A至图6E图示了图4所示方法的各个步骤；
图7是图示了用于优化3D GUI的显示的示例方法的流程图；
图8A和图8B是用于图示图7所示方法的各个方面的3D GUI的视图；
图9是图示了用于优化3D GUI的显示的另一种方法的示例的流程图；
图10A和图10B是用于图示图9所示方法的各个方面的3D GUI的视图；以及
图11A和图11B图示了根据示例实施例的3D GUI的视图的优化。
具体实施方式
在本说明书和附图中，相似的附图标记始终表示相似的元件。
图1是根据示例实施例的设备1的示意图。设备1包括控制器10、至少一个非瞬时性存储介质12和触敏显示器14。控制器10包括至少一个处理器10A和(可选地)一个或多个专用集成电路(未示出)。该至少一个处理器10A可操作地执行储存在存储器12上的计算机可读代码12A。控制器10在计算机可读代码12A的控制下可操作地控制触敏显示器14的输出。控制器10也在计算机可读代码12A的控制下可操作地响应在触敏显示器14A处接收到的触摸输入并且致使基于该触摸输入执行动作。这类动作包括改变触敏显示器14的输出。控制器10也可操作地致使将数据暂时或者永久地储存在该至少一个存储器12中。
控制器10可操作地致使在触敏显示器14上显示3D GUI。3D GUI包括提供在显示器14上的图形对象的3D布置。3D GUI基于三维数据模型并且包括多个图形对象。图形对象是图形数据的表示。图形数据具有对图形对象在三维空间中的位置进行定义的关联几何数据。几何数据可以包括：例如，一个或多个笛卡尔坐标集合。3D GUI的显示外观取决于观看3D GUI 的角度。如此，随着观看角度(也称为“摄像机位置”或者“视点”)改变，3D GUI的外观也发生了改变。
控制器10可操作地致使从许多不同的视点将3D GUI显示在触敏显示器14上。GUI显示的视点可以由用户经由一个或多个触摸输入来选择或者改变。在某些示例中，3D GUI在三维中是可操纵的。例如，轻扫式输入(即，用户的手指在一个方向上沿着触敏显示器14的表面移动)可以用于在该轻扫的移动方向上移动视点。作为替代方案，轻扫式输入可以用于在该轻扫的移动方向上旋转3D GUI。夹捏输入(即，在触敏显示器14上将两个手指朝向彼此移动)可以用于将某个方向上的视点移到显示屏14 中。反向夹捏输入(即，在触敏显示器14上将两个手指远离彼此移动)可以用于将某个方向上的视点移出显示屏14。当然，应理解，可以使用任何合适类型的用户输入来通过3D GUI进行操纵。
控制器10也可以可操作地自动改变3D GUI显示的视角。控制器10 也可以可操作地通过调节组成3D GUI的图形对象的相对位置来调整3D GUI的外观。
触敏显示器14包括显示部分14A和配置为检测在触敏显示器14上的触摸输入事件的部分14B。显示部分14A可以包括任何合适的显示面板，例如，但不限于，LED显示面板、LCD显示面板、电子墨水显示面板或者等离子体显示面板。配置为检测触摸输入的部分14B可以是任何合适的类型。合适的类型包括电容性触敏面板和电阻式触敏面板。
该至少一个非暂时性存储介质12可以是任何类型，例如，但不限于， ROM、RAM和闪速存储器。其中，设备1包括复数个离散型存储介质，这些离散型存储介质中的一些或全部都可以为不同类型。
设备1可以是触敏装置的一部分。触敏装置可以作为其一部分的设备 1包括，但不限于：移动电话、平板计算机、膝上型计算机、台式计算机、个人数字助理(PDA)、定位***(例如，GPS接收器)和便携式媒体播放器。
图2A示出了包括图1所示设备1的触敏装置2的示例。在该示例中，装置2是便携式装置，具体为移动电话。
在图2A中，使简单的3D GUI 20显示在触敏显示器14上。在该示例中，3D GUI 20包括第一至第四图形对象20-1、20-2、20-3、20-4。在该示例中，图形对象是球体20-1、20-2、20-3、20-4。“远离”触敏显示器14 所在平面的3D GUI的这些图形对象20-1、20-2、20-3、20-4的尺寸似乎比那些离触敏显示器14所在平面较近的图形对象更小。在图2A的视图中，第一图形对象20-1离显示器14所在平面最近，第二图形对象20-1离显示器14所在平面次近，第三图形对象20-3离显示器14所在平面第三近，而第四图形对象20-4离显示器14所在平面最远。图形对象20-1、20-2、20-3、 20-4各自离显示器14所在平面的距离如图2B所示。图2B是当在垂直于显示器14所在平面的平面中的一点处从上方看时3D GUI的图形对象的虚构视图。显示器14所在平面用标记为P的线表示，而用户观看GUI的方向用箭头V表示。当然，应理解，图2A和图2B仅用于图示目的，离显示器不同距离处的对象的尺寸差异可能已经被放大。在该示例中，组成3D GUI的图形对象20-1、20-2、20-3、20-4的中心全都位于同一个平面中。这是为了便于说明，并不一定都是这种情况。
图3A示出了当从不同视点观看时的图2A的3D GUI。在该示例中，图形对象20-1、20-2、20-3、20-4的3D布置已经在顺时针方向上旋转了大约60度。这种视角变化可以是例如响应于从左到右方向上移动的轻扫式输入而发生。从图3B中可以看出，第二图形对象20-2现在离显示器14所在平面最近，而第三图形对象20-3离显示器14所在平面最远。因此，在图3A中，第二图形对象20-2覆盖了最大的显示区域，而第三图形对象20-3 覆盖了最小的显示区域。对用户而言，覆盖显示器14的最小显示区域的图形对象可能太小以至于不能用手指准确地进行选择。
图4是描绘了可以由图1所示设备1的控制器10执行的方法的示例的流程图。
在步骤S4-1中，控制器10致使3D图形GUI 20(GUI)的视图将被显示。3D GUI的视图基于储存在存储器12中的3D数据模型。3D GUI 20 在显示时包括在三维布置中提供的多个图形对象20-1、20-2、20-3、20-4。图形对象20-1、20-2、20-3、20-4中的每一个均具有关联显示参数。在某些示例中，关联显示参数包括图形对象出现在显示器14上的大小测量值。大小测量值可以是，例如，构成图形对象的像素数量、图形对象的最大长度测量值、或者显示有图形对象的显示区域测量值。在其他示例中，显示参数可以包括图形对象从显示器14所在平面移位的“虚拟距离”。该“虚拟距离”也可以称为是图形对象的“z距离”。z距离可以从对象离显示面板最近的部分测得。
接下来，在步骤S4-2中，控制器10识别关联显示参数满足预定标准的那些图形对象20-1、20-2。应理解，该预定标准取决于关联显示参数的性质。例如，在显示参数是图形对象的显示大小测量值的示例中，预定标准是图形对象的显示大小必须大于预定阈值大小。合适的阈值大小可以是约8mm。如此，在某些示例中，在步骤S4-2中仅识别关联显示参数指示在显示器14上显示的至少一个度量大于或者等于8mm的那些图形对象 20-1、20-2。在某些示例中，该标准可以是图形对象的至少一部分必须具有超过阈值大小的两个度量(例如，宽度和长度)。
在显示参数是图形对象20-1、20-2、20-3、20-4与显示器14所在平面之间的虚拟距离的示例中，预定标准是该距离必须小于阈值距离。换言之，为了满足预定标准，图形对象20-1、20-2、20-3、20-4的至少一部分必须位于显示器14所在平面与虚构阈值平面之间，其中该虚构阈值平面平行于显示器14所在平面并且位于显示器14所在平面后方一个阈值距离。
识别满足预定标准的图形对象20-1、20-2、20-3、20-4的步骤S4-2可以包括：将与各个图形对象20-1、20-2、20-3、20-4相关联的显示参数与阈值显示参数进行比较。如果确定关联显示参数在阈值参数的正确侧，那么将图形对象识别为满足预定标准。
接下来，在步骤S4-3中，控制器10启用对关联显示参数满足预定标准的各个图形对象20-1、20-2、20-3、20-4的单独可选择性。当图形对象 20-1、20-2、20-3、20-4可以与发生在提供有该图形对象的显示器14位置上的触摸输入进行交互或者由该触摸输入选择时，图形对象20-1、20-2、20-3、20-4是单独可选择的。通过致使针对所选择的图形对象执行动作，控制器10在计算机可读代码12A的控制下可操作地响应图形对象的后续单独选择。
不满足预定标准的图形对象的单独可选择性不被启用。如此，不能单独地选择或者交互这些图形对象。换言之，控制器10被配置为：在计算机可读代码12A的控制下，禁用对关联显示参数不满足预定标准的那些图形对象的单独可选择性。
接着，步骤S4-3中，用户能够选择关联显示参数满足预定标准的图形对象或者与这些图形对象进行交互。阻止单独选择对用户而言太小以至于不能准确地进行选择或者交互的那些图形对象。这就减少了用户错误选择图形对象的概率。
图5A和图5B图示了图4所示方法的各个方面。图5A示出了与图2A 所示3D GUI相似的3D GUI的视图。然而，在图5A中，单独可选择的(即，关联显示参数满足预定标准的)图形对象20-1、20-2用粗体轮廓线表示。在该示例中，标准可以是显示的图形对象的至少一部分必须具有至少8mm ×8mm的度量。作为替代方案，如图5B(与图2B相似)所示，标准可以是图形对象的至少一部分必须位于与显示器14隔开距离x的虚构阈值平面前面。该虚构平面在图5B中用PT表示。
现在回到图4，在启用对显示参数满足预定标准的图形对象20-1、20-2 的单独可选择性之后，该方法进入步骤S4-4。在步骤S4-4中，控制器10 调整已经启用了单独可选择性的图形对象的外观。外观的调整允许用户确定哪些图形对象能够被单独地选择或者进行交互。图形对象的外观可以通过任何合适的方式进行调整。在某些示例中，关联参数满足预定标准的3D 图形对象可以显示或者呈现为在显示器14所在平面中的二维(2D)对象。这可以例如通过用图形对象的预储存2D图像替换相关的3D图形对象来实施。作为替代方案，相关的3D图形对象可以旋转，直到该对象的主要或首要面平行于显示屏所在平面。此外或作为替代方案，步骤S4-2中识别出的图形对象可以具有视觉高亮效果，诸如，围绕该对象的光晕或者仅仅是加粗的轮廓线(如图5A所示)。
接下来，在步骤S4-5中，控制器10致使修改或者调整已经禁用了单独可选择性的一个或多个图形对象的外观或者位置。例如，如图6A所示，可以将在步骤S4-2中未识别出的图形对象(即，第三和第四图形对象20-3、 20-4)成组为显示器上合适位置处的集群60。对集群60进行配置，从而使集群60的整体大小大于可选择性阈值大小。如此，集群60中的图形对象在具有较少数量的图形对象的集群中可以比在具有较多数量图形对象的集群中间隔隔开更远。例如，合适位置可以是无其他图形对象显示的位置。集群60可以通过超过一个阈值距离来与其他图形对象隔开。如果不满足预定标准的图形对象的数量较多，那么可以形成两个或两个以上的集群60。形成超过一个集群的决定可以基于形成集群60的全部图形对象的累加显示区域。在这些示例中，两个或两个以上的集群中的每个集群的显示大小超出可选择性阈值。该两个或两个以上的集群可以并为单个更大集群。作为替代方案，它们可以提供在显示器的分散区域上。应理解，不是所有不满足预定标准的图形对象都可以移到集群中。例如，显示参数不满足第二较宽标准的从而显示为非常小的图形对象不可以移到集群中。
在其他示例中，不为单独可选择的图形对象20-3、20-4的外观可以被修改。例如，如图6D所示，可以将图形对象20-2、20-3的外观修改为包括交互操作柄62。交互操作柄62是与已经禁用了单独可选择性的图形对象20-2、20-3相关联的另一个显示图形对象。通过虚拟地将交互操作柄62 与图形对象20-2、20-3链接，可以将交互操作柄62与图形对象20-2、20-3 相关联。交互操作柄不形成3D GUI的一部分并且可以呈现在特定基础上。交互操作柄62进行配置，从而使与操作柄62的至少一部分相关联的显示参数(例如，显示大小或者z距离)满足可选择性预定标准。
接下来，在步骤S4-6中，控制器10启用对集群60或者交互操作柄 62的可选择性。如此，用户能够通过在显示器14上的显示集群60或者操作柄62的位置处提供触摸输入来选择集群60或者操作柄62。在某些示例中，控制器10可以修改集群62或者操作柄62的外观，从而向用户指示可以对集群60或者操作柄62进行选择或者交互。
接下来，在步骤S4-7中，控制器10从触敏显示器14接收信号，该信号指示针对单独可选择的图形对象20-1、20-2中的一个或者针对步骤S4-5 中显示的集群60或者操作柄62已经提供了选择。
接下来，在步骤S4-8，控制器10针对所选择的图形对象20-1、20-2 或者集群60执行动作。当选择操作柄62时，控制器10可以针对关联图形对象执行动作。
图6E示出了在选择图形对象20-1、20-1或与图形对象20-3、20-4相关联的操作柄62时可以执行的动作的示例。在该示例中，控制器10仅放大所选择的对象。然而，应理解，针对所选择的图形也可以执行许多不同类型的动作。也应理解，该动作可以取决于图形对象所表示的数字对象的类型。例如，在图形对象表示应用的情况下，选择图形对象可以执行关联的应用。相似地，在图形对象表示媒体文件的情况下，选择图形对象可以将该媒体文件呈现给用户。
在其他示例中，当选择操作柄62时，并非针对与操作柄62相关联的图形对象20-3、20-4执行动作，控制器10而是可以将3D GUI的视图转换为这样的视图，其中在该这样的视图中与所选择的操作柄62相关联的图形对象20-3、20-4成为单独可选择的。
在步骤S4-8中，选择图形对象的集群使控制器10修改3D GUI的视图，直到与集群中的图形对象20-3、20-4相关联的显示参数满足预定标准为止。在某些示例中，控制器10可以将3D GUI恢复到其原来的3D布置 (在步骤S4-5对其进行修改之前)。然后，控制器10可以改变观看3D GUI 的视点，直到与集群的图形对象20-3、20-4相关联的显示参数满足预定标准为止。随后，控制器10启用对象20-3、20-4的单独可选择性以及关联显示参数满足预定标准的任何其他图形对象的单独可选择性。此外，控制器10禁用关联显示参数不再满足预定标准的任何图形对象的单独可选择性。每当改变观看3D GUI的视点时，都可以执行步骤S4-4至S4-6。
图6B示出了在选择集群60之后的3D GUI的示例视图。控制器60 通过使3D GUI旋转直到与第三和第四图形对象20-3、20-4相关联的显示参数满足预定标准为止，来做出响应。3D GUI的旋转导致与第一和第二图形对象20-1、20-2相关联的显示参数不再满足标准。因此，控制器10 可以禁用它们的单独可选择性。现在这两个图形对象20-1、20-2均部分地被第三和第四图形对象遮盖。出于说明之目的，它们的位置用虚线表示。
图6C示出了根据其他示例的在选择集群60之后的3D GUI 20的视图。在该示例中，控制器10不致使将3D GUI 20恢复到其原来的3D布置。相反，它对调整后的3D GUI的视图进行改变，直到与该集群中的图形对象 20-3、20-4相关联的显示参数满足预定标准为止。在图6C的示例中，控制器10致使将观看调整后的3D GUI的视点直接移向该集群。然而，在其他示例中，控制器10可以使调整后的3D GUI的视图旋转或者转换，直到与集群60中的图形对象20-3、20-4相关联的显示参数满足预定标准为止。
从上面的说明中，应理解，通过对非单独可选择的图形对象集群或者通过提供相关联的可选择操作柄62，示例实施例向设备用户提供了一种简单且具有时效性的方式来选择先前不可选择的图形对象或者与这些图形对象进行交互。
图7是根据示例实施例的由图1所示设备1执行的操作的流程图。如从下面的说明中将理解的，图7所示方法的步骤可以是对图4所示方法的补充。图7的方法是控制器10可以优化3D GUI的视图以便改善用户与 3D GUI之间的交互的方式的示例。
在步骤S7-1中，控制器10经由触敏显示器14接收指令以更改观看 3D GUI 20的视点。该指令可以使用任何合适的用户输入来提供。例如，在图4所示的步骤S4-3、S4-4和S4-6中的任一步骤之后，可以接收步骤 S7-1。如此，3D GUI的初始视图已经显示在触敏显示器14上。
响应于接收到的指令，在步骤S7-2中，控制器10根据接收到的指令致使显示在显示器上的3D GUI 20的视图转换为更改后的视图。接下来，在步骤S7-3中，控制器10基于当前显示在显示器14上的3D GUI 20的视图计算并储存“交互度量”。该交互度量是用户与可能来自当前视角的3D GUI中的图形对象之间的交互量的测量值。交互度量可以基于可由用户单独选择的图形对象20-1、20-2、20-3、20-4的数量与如何可轻易选择这些对象的测量值的结合。可以基于呈现超过最小限定大小的单独可选择区域的图形对象的数量与呈现出的单独可选择区域的大小的加权和，来计算交互度量。在计算交互度量时也可以考虑其他标准。这些标准可以包括针对特定类型的图形对象的优先化加权和两个或两个以上的单独可选择区域的在显示器上的接近度。交互度量是在当前视点处的图形对象3D GUI的可触摸程度的指示。如此，它可以称为可触摸性指示符。
然后，在步骤S7-4中，确定交互度量是否超过预定阈值(即，处于可接受的程度)。如果确定交互度量超过了预定阈值，那么维持30GUI 20 的当前视图，并且该方法进入步骤S7-5和S7-6。步骤S7-5和S7-6和参考图4描述的步骤S4-2和S4-3相同，其中控制器10识别显示参数满足标准的图形对象(S4-2)，随后启用它们的单独可选择性(S4-3)。在控制器 10已经执行了步骤S7-5和步骤S7-6之后，可以继续执行等效于图4所示的步骤S4-4至S4-8的操作。
如果在步骤S7-4中确定交互度量低于预定阈值，那么控制器10进入步骤S7-7。在步骤S7-7中，控制器10计算并储存从当前视图调节得到的 3D GUI 20的视图的交互度量。调节后的视图是在特定方向上从当前视图平移或旋转预定步距而得到的视图。
接着，在步骤S7-8中，控制器10计算并储存在该方向上被调节了增加步距的视图的交互度量。该步骤可以重复为与计算机可读代码12A定义的次数一样多的次数。
然后，在步骤S7-9中，控制器10重复步骤S7-7和步骤S7-8预定义的不同平移和/或旋转方向数量。
接着，在步骤S7-10中，控制器10识别产生最高交互度量的调节后的视图并且将3DGUI转换为该视图。随后，控制器10进入步骤S7-5和S7-6。
当然，应理解，在某些示例实施例中，可以按照不同的顺序执行图7 所示的步骤。例如，在某些示例中，可以在每次计算调节后的视图的交互度量时执行确定交互度量是否超过预定阈值的步骤S7-4。一旦识别出具有超过阈值的交互度量的视图，控制器10便将3DGUI转换为该视图。如果没有视图产生超过阈值的交互度量，那么控制器10将3D GUI转换为具有最高交互度量的视图。
图8A示出了用户发起视图转换之后的3D GUI的视图的示例。在该示例中，各个图形对象20-5、20-6和20-7以这样的大小显示，从而使它们的关联显示参数不满足预定标准。该事实反映为低于阈值的交互度量。因此，在图7所示方法的步骤S7-7至S7-9之后，识别具有优化的交互度量的调节视图。优化的视图可以从图8B中看出并且由控制器10在朝向图形对象 20-5、20-6、20-7的方向上转换视点引起。在优化的视图中，与所有图形对象相关联的显示参数满足预定标准。因此，控制器10针对所有三个图形对象20-5、20-6、20-7启用单独可选择性。
图9是图示了用于优化与3D GUI相关联的交互度量的另一种方法的示例的流程图。该方法解决了图形对象彼此重叠或者太近而使用户不能准确地单独选择每一图形对象的问题。
步骤S9-1至S9-6大体上和图7中的步骤S7-1至S7-6相同。然而，在该示例方法中，在步骤S9-4中确定交互度量低于阈值之后，该方法进入步骤S9-7。在步骤S9-7中，控制器10对重叠的对象或者认为彼此太近的对象进行识别。这可以基于与各个图形对象相关联的显示位置信息。
然后，在步骤S9-8中，控制器10在它们2D中心点之间的线方向上将重叠的或者靠近的对象彼此移开。控制器10继续以这种方式分开图形对象，直到确定这些对象彼此间隔开超过阈值距离为止。当然，应理解，可以使用用于间隔图形对象的替代算法。例如，控制器10可以取通过图形对象的水平切片，然后测量它们之前的最小距离。控制器10于是计算如果将这些对象少量地彼此水平移开的话在这些对象之间的最小距离。利用渐进增加的水平移动距离进行重复，直到计算出的间距超过阈值为止。然后，控制器10在垂直方向上重复该过程(即，通过取垂直切片并垂直移动对象)。随后，控制器确定哪个方向要求用以到达阈值间距的最小的移动，然后在显示器上沿该方向分开对象直到达到该阈值间距为止。随后，该方法进入步骤S9-5和S9-6，控制器10识别显示参数满需标准的图形对象(步骤S9-5)并且随后启用其单独可选择性(步骤S9-6)。
可以在图10A和10B中看出图9的方法的效果。图10A示出了紧接着用户发起的视图转换之后的3D GUI 20的视图。如图可见，图形对象20-8 至20-9中的两个图形对象显示为重叠。这是在步骤S9-7中辨认出的，结果，在步骤S9-8中，将重叠的对象彼此移开。可以从图10B中看出该操作的结果。
当然，应理解，图7和图9的示例方法可能并不彼此排斥。例如，可以在图7的步骤S7-10之后执行步骤S9-7和S9-8。同样，如上所述，图7 和/或图9的方法也可以并入图4的方法中。
现在将结合图11A和11B对如何可以计算交互度量的工作示例进行描述。
图11A示出了紧接着用户控制的视点变化之后的3D GUI的视图。在该示例中，3DGUI包括两个平面的图形对象110、112。第一个对象110 具有实线轮廓线，而第二个对象112具有虚线轮廓线。在图11A中，两个对象所在平面大体上平行于显示器所在平面。
与对象和摄像机有关的笛卡尔坐标(x,y,z)如下：
第一对象110＝[-76,1571,162]；
第二对象112＝[-385,1798,1455]；
摄像机位置＝[-1043,1917,-4038]；以及
摄像机的目标点(即，摄像机的聚焦点)＝[-368,1588,289].
x轴是水平的并且从右到左增加。y轴是垂直的并且从下到上增加。z 轴垂直于显示器所在平面并且从近到远增加。各个图形对象110、112均具有相同的对象大小。然而，因为第二对象112离显示器所在平面更远(即，具有更大z值)，所以第二对象112看起来更小。两个对象均以超过启用单独可选择性的阈值的大小显示。然而，在当前视图中，第一对象110部分地遮盖第二对象112的视图。两个对象均具有相同的优先级(＝1)。
提供有对象的显示器的区域测量值如下：
第一对象区域＝1156；以及，第二对象区域＝396。
在某些示例中，交互度量MI可以利用下列等式来计算(a、b、c和 Amin是根据特定实施方式而定义的参数)：
MI＝a(呈现可视区域>Amin的单独可选择对象的数量)+b(最小可视区域)+c(优先级为1的对象的总显示区域)+d(相邻的单独可选择对象的最近边缘之间的距离)。
假设在该实施方式中这些参数为：a＝800,b＝1,c＝0.1和Amin＝500 (注意：在某些示例中，Amin也可以是单独可选择性的阈值大小)。如此，交互度量为：
MI＝800(1)+1(396)+0.1(1156+396)+100(0)＝1351。
如果交互度量MI的阈值是例如4000，那么图7中的步骤S7-4将产生否定确定。如此，控制器10然后进入步骤S7-7至S7-10以识别具有更高交互度量(优选低，超过阈值)的视点。图11B示出了这类视点的示例。
在图11B中，通过1181单元已经将摄像机移到右边。如此，现在摄像机位置的坐标为：[-1043,1917,-4038]。因为改变了摄像机的位置但是没有改变目标点，所以，两个对象110、112所在平面不再大体上平行于显示器所在平面。如此，它们不再呈现为长方形，而是稍稍偏斜。这两个对象的可见区域如下：
第一对象区域＝900；以及
第二对象区域＝625。
图11B所示视图的交互度量MI现在是4000(＝800(2)+1(625)+ 0.1(900+625)+100(2.5))，超过了阈值。因此，控制器将3D GUI转换为有助于用户与3D GUI进行交互的该视点。
应理解，在本文中描述的示例在触摸屏装置内具有许多不同的用途。例如，它们可以用于提供菜单***，其中在GUI中的各个图形对象表示用于执行的应用。它们也可以用于浏览内容项目，诸如，图片文件、视频文件和/或音频文件，每个图形对象表示内容项目或者内容项目组。在其他应用中，本文的示例可以在游戏环境内使用，例如作为虚拟世界计算机游戏的一部分。当然，应理解，本文中描述的示例并不限于这些具体应用，相反，可以用于许多其他场景中。
应该认识到，上述实施例不应视为限制。在阅读了本申请之后，其他变化和修改对本领域的技术人员来说是显而易见的。此外，本申请的公开应理解为包括任何新颖特征或者本文中显式或隐式公开的特征的任何新颖组合或者其任何概括，并且在本申请或者由此得到的任何申请的起诉期间，可以制定新的权利要求书以涵盖任何这类特征和/或这类特征的组合。

Claims (18)

1.一种设备，其包括：至少一种处理器和包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备：
致使三维图形用户接口的视图被显示在触敏显示器上，所述三维图形用户接口包括多个图形对象的三维布置，每个图形对象在显示时具有关联显示参数，其中所述关联显示参数包括所述图形对象与表示所述触敏显示器的平面分隔的虚拟距离；
通过将与每个图形对象关联的虚拟距离与阈值平面进行比较，来识别关联虚拟距离满足预定标准的至少一个图形对象，所述关联虚拟距离在所述虚拟距离在所述阈值平面的正确侧的情况下满足所述预定标准；
识别关联虚拟距离不满足所述预定标准的一个或多个图形对象；以及
针对关联虚拟距离满足所述预定标准的识别到的至少一个图形对象启用单独可选择性，对关联虚拟距离不满足所述预定标准的任何图形对象禁用单独可选择性，
其中，在启用图形对象的单独可选择性的情况下，所述图形对象可单独选择，以及
其中，单独选择图形对象致使针对所选择的图形对象执行动作，以及其中，在禁用单独可选择性的情况下，响应于单独选择所述图形对象，不执行动作。
2.如权利要求1所述的设备，其中，所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备：调整识别到的至少一个图形对象的外观，从而向用户指示所述图形对象是单独可选择的。
3.如权利要求1或2所述的设备，其中，所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备：
通过致使将关联显示参数不满足所述预定标准的识别到的多个图形对象移入集群中，来致使调整图形对象的所述三维布置。
4.如权利要求3所述的设备，其中，所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备：启用所述集群的可选择性。
5.如权利要求4所述的设备，其中，所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备：
接收信号，所述信号指示针对所述集群已经接收到用户输入；
通过改变观看调整后的三维布置的视点，直到与所述集群中每个图形对象相关联的显示参数都满足所述预定标准为止，来做出响应；以及
启用所述集群中每个图形对象的单独可选择性。
6.如权利要求1或2所述的设备，其中，所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备：
致使显示与显示参数不满足所述预定标准的每个图形对象相关联的操作柄，其中，与所述操作柄的至少一部分相关联的显示参数满足所述预定标准；以及
启用与每个图形对象相关联的操作柄的可选择性。
7.如权利要求1或2所述的设备，其中，所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备：
接收指示请求改变观看三维图形用户接口的视点的信号；
通过致使将所述三维图形用户接口的改变后的视图显示在所述触敏显示器上来做出响应；
针对改变后的视图计算交互度量；以及
通过自动调节观看所述三维图形用户接口的视点或者通过调节所述多个图形对象的布置来优化所述交互度量。
8.如权利要求7所述的设备，其中，所述至少一个存储器和所述计算机程序代码配置为与所述至少一个处理器一起使所述设备：
计算用于在多个不同调节后的视图处的三维图形用户接口的或者用于多个不同调节后的三维布置的交互度量；以及
致使显示具有最高交互度量的视图或布置。
9.一种方法，其包括：
致使三维图形用户接口的视图被显示在触敏显示器上，所述三维图形用户接口包括多个图形对象的三维布置，每个图形对象在显示时具有关联显示参数，其中所述关联显示参数包括所述图形对象与表示所述触敏显示器的平面分隔的虚拟距离；
通过将与每个图形对象关联的虚拟距离与阈值平面进行比较，来识别关联虚拟距离满足预定标准的至少一个图形对象，所述关联虚拟距离在所述虚拟距离在所述阈值平面的正确侧的情况下满足所述预定标准；
识别关联虚拟距离不满足所述预定标准的一个或多个图形对象；以及
针对关联虚拟距离满足所述预定标准的识别到的至少一个图形对象启用单独可选择性，对关联虚拟距离不满足所述预定标准的任何图形对象禁用单独可选择性，
其中，在启用图形对象的单独可选择性的情况下，所述图形对象可单独选择，以及
其中，单独选择图形对象致使针对所选择的图形对象执行动作，以及其中，在禁用单独可选择性的情况下，响应于单独选择所述图形对象，不执行动作。
10.如权利要求9所述的方法，其进一步包括：
调整识别到的至少一个图形对象的外观，从而向用户指示所述图形对象是单独可选择的。
11.如权利要求9或10所述的方法，其包括：
通过致使将关联显示参数不满足所述预定标准的识别到的多个图形对象移入集群中，来致使调整图形对象的所述三维布置。
12.如权利要求11所述的方法，其包括：启用所述集群的可选择性。
13.如权利要求12所述的方法，其进一步包括：
接收信号，所述信号指示针对所述集群已经接收到用户输入；
通过改变观看调整后的三维布置的视点，直到与所述集群中每个图形对象相关联的显示参数都满足所述预定标准为止，来做出响应；以及
启用所述集群中每个图形对象的单独可选择性。
14.如权利要求9或10所述的方法，其包括：
致使显示与显示参数不满足所述预定标准的每个图形对象相关联的操作柄，其中，与所述操作柄的至少一部分相关联的显示参数满足所述预定标准；以及
启用与每个图形对象相关联的操作柄的可选择性。
15.如权利要求9或10所述的方法，其进一步包括：
接收指示请求改变观看三维图形用户接口的视点的信号；
通过致使将所述三维图形用户接口的改变后的视图显示在所述触敏显示器上来做出响应；
针对改变后的视图计算交互度量；以及
通过自动调节观看所述三维图形用户接口的视点或者通过调节所述多个图形对象的布置来优化所述交互度量。
16.如权利要求15所述的方法，其中，优化所述交互度量包括
计算用于在多个不同调节后的视图处的三维图形用户接口的或者用于多个不同调整后的三维布置的交互度量；以及
致使显示具有最高交互度量的视图或布置。
17.一种计算机可读存储介质，所述计算机可读存储介质上储存有计算机可读指令，所述计算机可读指令在由至少一个处理器执行时使所述至少一个处理器：
致使三维图形用户接口的视图被显示在触敏显示器上，所述三维图形用户接口包括多个图形对象的三维布置，每个图形对象在显示时具有关联显示参数，其中所述关联显示参数包括所述图形对象与表示所述触敏显示器的平面分隔的虚拟距离；
通过将与每个图形对象关联的虚拟距离与阈值平面进行比较，来识别关联虚拟距离满足预定标准的至少一个图形对象，所述关联虚拟距离在所述虚拟距离在所述阈值平面的正确侧的情况下满足所述预定标准；
识别关联虚拟距离不满足所述预定标准的一个或多个图形对象；以及
针对关联虚拟距离满足所述预定标准的识别到的至少一个图形对象启用单独可选择性，对关联虚拟距离不满足所述预定标准的任何图形对象禁用单独可选择性，
其中，在启用图形对象的单独可选择性的情况下，所述图形对象可单独选择，以及
其中，单独选择图形对象致使针对所选择的图形对象执行动作，以及其中，在禁用单独可选择性的情况下，响应于单独选择所述图形对象，不执行动作。
18.如权利要求17所述的计算机可读存储介质，其中所述计算机可读指令在由所述至少一个处理器执行时使所述至少一个处理器执行权利要求9-16中任一项所述的方法。
CN201810411090.1A 2012-04-25 2013-04-23 三维图形用户接口 Withdrawn CN108628533A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/455,669 US9904457B2 (en) 2012-04-25 2012-04-25 Causing display of a three dimensional graphical user interface with dynamic selectability of items
US13/455,669 2012-04-25
CN201380033668.XA CN104395872B (zh) 2012-04-25 2013-04-23 三维图形用户接口

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201380033668.XA Division CN104395872B (zh) 2012-04-25 2013-04-23 三维图形用户接口

Publications (1)

Publication Number Publication Date
CN108628533A true CN108628533A (zh) 2018-10-09

Family

ID=48444419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810411090.1A Withdrawn CN108628533A (zh) 2012-04-25 2013-04-23 三维图形用户接口

Country Status (6)

Country Link
US (2) US9904457B2 (zh)
EP (1) EP2842024B1 (zh)
JP (1) JP6133972B2 (zh)
CN (1) CN108628533A (zh)
PL (1) PL2842024T3 (zh)
WO (1) WO2013160551A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE533704C2 (sv) 2008-12-05 2010-12-07 Flatfrog Lab Ab Pekkänslig apparat och förfarande för drivning av densamma
US10168835B2 (en) 2012-05-23 2019-01-01 Flatfrog Laboratories Ab Spatial resolution in touch displays
US9910527B2 (en) * 2013-02-15 2018-03-06 Flatfrog Laboratories Ab Interpretation of pressure based gesture
US10019113B2 (en) 2013-04-11 2018-07-10 Flatfrog Laboratories Ab Tomographic processing for touch detection
KR20140133353A (ko) * 2013-05-10 2014-11-19 삼성전자주식회사 디스플레이 장치 및 그 ui 화면 제공 방법
WO2015005847A1 (en) 2013-07-12 2015-01-15 Flatfrog Laboratories Ab Partial detect mode
US9244590B1 (en) * 2013-12-13 2016-01-26 Amazon Technologies, Inc. Three-dimensional navigation using a two-dimensional surface
WO2015108480A1 (en) 2014-01-16 2015-07-23 Flatfrog Laboratories Ab Improvements in tir-based optical touch systems of projection-type
US10146376B2 (en) 2014-01-16 2018-12-04 Flatfrog Laboratories Ab Light coupling in TIR-based optical touch systems
KR20150101915A (ko) * 2014-02-27 2015-09-04 삼성전자주식회사 3차원 gui 화면의 표시 방법 및 이를 수행하기 위한 디바이스
US10073604B2 (en) * 2014-05-15 2018-09-11 Oracle International Corporation UI-driven model extensibility in multi-tier applications
EP3161594A4 (en) 2014-06-27 2018-01-17 FlatFrog Laboratories AB Detection of surface contamination
US11182023B2 (en) 2015-01-28 2021-11-23 Flatfrog Laboratories Ab Dynamic touch quarantine frames
US10318074B2 (en) 2015-01-30 2019-06-11 Flatfrog Laboratories Ab Touch-sensing OLED display with tilted emitters
US10496227B2 (en) 2015-02-09 2019-12-03 Flatfrog Laboratories Ab Optical touch system comprising means for projecting and detecting light beams above and inside a transmissive panel
US10185463B2 (en) 2015-02-13 2019-01-22 Nokia Technologies Oy Method and apparatus for providing model-centered rotation in a three-dimensional user interface
US10401546B2 (en) 2015-03-02 2019-09-03 Flatfrog Laboratories Ab Optical component for light coupling
AU2016202400A1 (en) * 2015-04-15 2016-11-03 Appycentre Pty Ltd Interactive display system with swimming pools
EP4075246A1 (en) 2015-12-09 2022-10-19 FlatFrog Laboratories AB Stylus for optical touch system
CN110100226A (zh) 2016-11-24 2019-08-06 平蛙实验室股份公司 触摸信号的自动优化
KR20240012622A (ko) 2016-12-07 2024-01-29 플라트프로그 라보라토리즈 에이비 개선된 터치 장치
US10963104B2 (en) 2017-02-06 2021-03-30 Flatfrog Laboratories Ab Optical coupling in touch-sensing systems
EP3602257A4 (en) 2017-03-22 2021-01-13 Flatfrog Laboratories TOUCH SCREEN ERASER
EP4036697A1 (en) 2017-03-28 2022-08-03 FlatFrog Laboratories AB Optical touch sensing apparatus
US11256371B2 (en) 2017-09-01 2022-02-22 Flatfrog Laboratories Ab Optical component
US11567610B2 (en) 2018-03-05 2023-01-31 Flatfrog Laboratories Ab Detection line broadening
US11442591B2 (en) * 2018-04-09 2022-09-13 Lockheed Martin Corporation System, method, computer readable medium, and viewer-interface for prioritized selection of mutually occluding objects in a virtual environment
US11943563B2 (en) 2019-01-25 2024-03-26 FlatFrog Laboratories, AB Videoconferencing terminal and method of operating the same
JP7361493B2 (ja) 2019-05-10 2023-10-16 キヤノンメディカルシステムズ株式会社 超音波画像診断装置、トレース線設定プログラム、医用画像処理装置及び医用画像診断装置
KR20220131982A (ko) 2020-02-10 2022-09-29 플라트프로그 라보라토리즈 에이비 향상된 터치-감지 장치

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1011247A (ja) * 1996-06-20 1998-01-16 Mitsubishi Electric Corp コンピュータ制御視覚化装置
JP3743949B2 (ja) * 2000-03-24 2006-02-08 独立行政法人電子航法研究所 ターゲット選択操作装置
US6987512B2 (en) 2001-03-29 2006-01-17 Microsoft Corporation 3D navigation techniques
JP2002366973A (ja) * 2001-06-07 2002-12-20 Hitachi Software Eng Co Ltd オブジェクトの生成方法および生成されたオブジェクトの選択制御方法並びにオブジェクトのデータ構造
JP2003005878A (ja) 2001-06-19 2003-01-08 Hitachi Software Eng Co Ltd オブジェクトの選択制御方法
TWI238348B (en) 2002-05-13 2005-08-21 Kyocera Corp Portable information terminal, display control device, display control method, and recording media
US8120624B2 (en) * 2002-07-16 2012-02-21 Noregin Assets N.V. L.L.C. Detail-in-context lenses for digital image cropping, measurement and online maps
JP4630644B2 (ja) * 2004-11-18 2011-02-09 理想科学工業株式会社 タッチパネルを備えた画像処理装置
JP4479962B2 (ja) * 2005-02-25 2010-06-09 ソニー エリクソン モバイル コミュニケーションズ， エービー 入力処理プログラム、携帯端末装置、及び入力処理方法
KR100746008B1 (ko) * 2005-10-31 2007-08-06 삼성전자주식회사 3차원 모션 그래픽 유저 인터페이스, 이를 제공하는 장치및 방법
JP4835357B2 (ja) * 2006-09-29 2011-12-14 株式会社日立製作所 情報処理装置の表示方法
US8615720B2 (en) * 2007-11-28 2013-12-24 Blackberry Limited Handheld electronic device and associated method employing a graphical user interface to output on a display virtually stacked groups of selectable objects
US9513765B2 (en) 2007-12-07 2016-12-06 Sony Corporation Three-dimensional sliding object arrangement method and system
JP4557058B2 (ja) * 2007-12-07 2010-10-06 ソニー株式会社 情報表示端末、情報表示方法、およびプログラム
JP5094450B2 (ja) * 2008-02-01 2012-12-12 シャープ株式会社 表示装置及びコンピュータプログラム
JP5297121B2 (ja) * 2008-08-29 2013-09-25 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 端末装置及びプログラム
JP2010073126A (ja) * 2008-09-22 2010-04-02 Toshiba Corp 情報可視化装置および情報可視化方法
US20100115471A1 (en) * 2008-11-04 2010-05-06 Apple Inc. Multidimensional widgets
KR101480194B1 (ko) 2008-11-05 2015-01-26 엘지전자 주식회사 이동 단말기 및 그 표시방법
US10198854B2 (en) 2009-08-14 2019-02-05 Microsoft Technology Licensing, Llc Manipulation of 3-dimensional graphical objects for view in a multi-touch display
JP2011141850A (ja) * 2010-01-09 2011-07-21 Libnet:Kk 図書館の図書検索方法及び図書検索プログラム
JP5556423B2 (ja) * 2010-01-29 2014-07-23 ブラザー工業株式会社 入力装置および入力制御プログラム
US9207859B2 (en) 2010-09-14 2015-12-08 Lg Electronics Inc. Method and mobile terminal for displaying fixed objects independent of shifting background images on a touchscreen
WO2012039288A1 (ja) 2010-09-22 2012-03-29 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 情報端末装置及びタッチパネルの表示方法
JP5226051B2 (ja) * 2010-09-24 2013-07-03 シャープ株式会社 コンテンツ表示装置、コンテンツ表示方法、プログラム、および記録媒体
WO2012040827A2 (en) * 2010-10-01 2012-04-05 Smart Technologies Ulc Interactive input system having a 3d input space
WO2012159254A1 (en) * 2011-05-23 2012-11-29 Microsoft Corporation Invisible control

Also Published As

Publication number Publication date
US20130285920A1 (en) 2013-10-31
US10379733B2 (en) 2019-08-13
EP2842024A1 (en) 2015-03-04
JP6133972B2 (ja) 2017-05-24
CN104395872A (zh) 2015-03-04
EP2842024B1 (en) 2017-10-11
PL2842024T3 (pl) 2018-02-28
US9904457B2 (en) 2018-02-27
US20180164978A1 (en) 2018-06-14
JP2015515075A (ja) 2015-05-21
WO2013160551A1 (en) 2013-10-31

Similar Documents

Publication Publication Date Title
CN108628533A (zh) 三维图形用户接口
US20220084279A1 (en) Methods for manipulating objects in an environment
US11314335B2 (en) Systems and methods of direct pointing detection for interaction with a digital device
US10732725B2 (en) Method and apparatus of interactive display based on gesture recognition
US11557102B2 (en) Methods for manipulating objects in an environment
CN109564472B (zh) 用于选取与虚拟对象的交互方法的方法、介质和***
KR102258424B1 (ko) 사용자 인터페이스 프로그래밍적 스케일링
US8643569B2 (en) Tools for use within a three dimensional scene
US9383887B1 (en) Method and apparatus of providing a customized user interface
CN116719452A (zh) 用于与用于移动虚拟环境中的虚拟对象的虚拟控件和/或示能表示交互的方法
CN107665042B (zh) 增强的虚拟触摸板和触摸屏
US20170092002A1 (en) User interface for augmented reality system
US9405400B1 (en) Method and apparatus of providing and customizing data input touch screen interface to multiple users
US20140375547A1 (en) Touch free user interface
CN103677240B (zh) 虚拟触摸交互方法和虚拟触摸交互设备
US20140317576A1 (en) Method and system for responding to user's selection gesture of object displayed in three dimensions
JP2011022984A (ja) 立体映像インタラクティブシステム
US20230092282A1 (en) Methods for moving objects in a three-dimensional environment
US11216145B1 (en) Method and apparatus of providing a customized user interface
CN112488059B (zh) 一种基于深度学习模型级联的空间手势控制方法
US9122346B2 (en) Methods for input-output calibration and image rendering
TW201439813A (zh) 顯示設備及其控制系統和方法
EP3088991B1 (en) Wearable device and method for enabling user interaction
Yoo et al. 3D remote interface for smart displays
CN112035016A (zh) 一种基于激光雷达的新型多点触控交互***及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20181009