CN101341463B - 信息显示设备 - Google Patents

信息显示设备 Download PDF

Info

Publication number
CN101341463B
CN101341463B CN2007800008726A CN200780000872A CN101341463B CN 101341463 B CN101341463 B CN 101341463B CN 2007800008726 A CN2007800008726 A CN 2007800008726A CN 200780000872 A CN200780000872 A CN 200780000872A CN 101341463 B CN101341463 B CN 101341463B
Authority
CN
China
Prior art keywords
window
display
information
unit
catalogue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2007800008726A
Other languages
English (en)
Other versions
CN101341463A (zh
Inventor
青木刚一
川崎拓哉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of CN101341463A publication Critical patent/CN101341463A/zh
Application granted granted Critical
Publication of CN101341463B publication Critical patent/CN101341463B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/957Browsing optimisation, e.g. caching or content distillation
    • G06F16/9577Optimising the visualization of content, e.g. distillation of HTML documents
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明提供了一种信息显示设备,用于在各个屏幕元素中显示至少一项显示目标信息,在目录显示发生时接收利用在被显示为目录的屏幕元素中显示的显示目标信息发出的指令操作,并执行基于该指令操作的处理过程。

Description

信息显示设备
技术领域
本发明涉及用于例如在诸如窗口等屏幕元素中显示诸如从web服务器获得的内容等显示目标信息的信息显示设备。
背景技术
近年来,诸如个人计算机(PC)等信息显示设备在独立的屏幕元素(每个屏幕元素称为窗口)中显示各自的多种信息,以在单个显示屏幕上显示不同种类的信息。
例如,许多web浏览器等基于经由网络从web服务器等获得的web页面数据产生要显示的信息(显示目标信息),并在每个窗口中分别显示基于相应的web页面产生的显示目标信息。
这样的用于在多个窗口中显示信息的信息显示设备可能需要与显示在任何窗口中的显示目标信息相结合地示出要求用户确认他们的操作或输入密码等的通知信息。
举一个具体的例子,在web页面的情况下,描述web页面的HTML(超文本置标语言)数据可能包含关于待处理的程序的描述(脚本),以控制使得显示目标信息的显示直到密码被输入之后才执行。
发明内容
本发明要解决的问题
由于这种传统的信息显示设备也在独立的窗口中显示通知信息,因此当需要在关于多个web页面的信息项被显示在各自窗口中的同时显示通知信息时,用户可能不容易得知要显示的通知信息看起来与哪个窗口中的web页面相关联。
考虑到以上问题提出了本发明,本发明的一个目的是提供一种用于明确展现在屏幕元素中示出的显示目标信息和要通知给用户的通知信息之间的关系的信息显示设备。
用于解决问题的手段
为了克服上述现有技术的缺点,根据本发明,提供了一种信息显示设备,包括:信息显示单元,用于在各个屏幕元素中显示至少一项显示目标信息;目录显示单元,用于将屏幕元素显示为一个目录;以及执行单元,用于在目录显示发生时接收利用在被显示为目录的屏幕元素中显示的显示目标信息发出的指令操作,并执行基于该指令操作的处理过程。
附图说明
图1是示出根据本发明实施例的信息显示设备的结构的一个例子的框图;
图2是说明在根据本发明实施例的信息显示设备中实现的虚拟空间的例子的图;
图3是说明在根据本发明实施例的信息显示设备中显示的屏幕图像的例子的图;
图4是与根据本发明实施例的信息显示设备的例子有关的功能框图;
图5是与在根据本发明实施例的信息显示设备中显示聚焦窗口的过程例子有关的流程图;
图6是说明根据本发明实施例设置虚拟空间的例子和在改变聚焦窗口时相应的显示屏幕图像的例子的图;
图7是说明在根据本发明实施例的信息显示设备中描述设置虚拟空间的例子的对象数据库的内容例子的图;
图8是说明用于在根据本发明实施例的信息显示设备中形成用于显示菜单屏幕和/或通知信息的区域的方法例子的图;
图9是说明在根据本发明实施例的信息显示设备中的屏幕图像的例子的图,该屏幕图像留出了用于显示菜单屏幕和/或通知信息的区域;
图10是说明在根据本发明实施例的信息显示设备中显示的菜单屏幕图像的例子的图;
图11是说明在根据本发明实施例的信息显示设备中设置虚拟空间的例子的图;
图12是说明在根据本发明实施例的信息显示设备中显示的通知信息的例子的图;
图13是说明在根据本发明实施例的信息显示设备中显示的通知信息的另一例子的图;
图14是说明在根据本发明实施例的信息显示设备中显示的通知信息的另一例子的图;
图15是说明在根据本发明实施例的信息显示设备中显示的通知信息的另一例子的图;
图16是说明在根据本发明实施例的信息显示设备中执行目录显示时设置虚拟空间的例子的图;
图17是说明在根据本发明实施例的信息显示设备中示出的目录显示的例子的图;
图18是说明在根据本发明实施例的信息显示设备中执行目录显示时设置虚拟空间的另一例子的图;
图19是说明在根据本发明实施例的信息显示设备中示出的目录显示的各种例子的图;
图20是说明在根据本发明实施例的信息显示设备中执行目录显示时示出的聚焦窗口的例子的图;
图21是说明在根据本发明实施例的信息显示设备中执行目录显示时示出的除了聚焦窗口以外的窗口的例子的图;
图22是说明在根据本发明实施例的信息显示设备中示出的屏幕图像的例子的图;
图23是说明在根据本发明实施例的信息显示设备中放大示出的窗口的图;
图24是说明具有在根据本发明实施例的信息显示设备中放大示出的窗口的屏幕图像的例子的图;
图25是示出连接到根据本发明实施例的信息显示设备的控制器的例子的示意图;
图26是说明倾斜连接到根据本发明实施例的信息显示设备的控制器的操作例子的图;
图27是说明倾斜连接到根据本发明实施例的信息显示设备的控制器的操作的另一例子的图;以及
图28是与基于倾斜连接到根据本发明实施例的信息显示设备的控制器的操作的过程的例子有关的流程图。
具体实施方式
[信息显示设备的结构]
图1是示出根据本发明实施例的信息显示设备1的结构的一个例子的框图。信息显示设备1包括CPU(中央处理单元)11、ROM(只读存储器)12、RAM(随机访问存储器)13、网络接14、控制器接15、GPU(图形处理单元)21、VRAM(视频随机访问存储器)22和驱动器3。CPU 11、ROM 12、RAM 13、网络接14、控制器接15、GPU 21和驱动器3经由总线16彼此连接。VRAM 22连接到GPU 21,并且控制器接15连接到控制器4。
CPU 11根据从ROM 12或设置在驱动器3中的记录介质读取到RAM 13中的程序来进行操作。在该实施例中,CPU 11负责信息显示设备1的整体控制,并且执行在各个窗口或屏幕元素中显示多种显示目标信息的处理过程以及显示要与显示目标信息连同显示的显示通知信息的处理过程。CPU 11执行以目录形式显示窗口(目录显示)的处理过程。后面将具体详细地描述由CPU 11执行的这些过程。
ROM 12存储各种数据和由CPU 11执行的程序。RAM 13保存由CPU 11执行的程序。RAM 13还充当CPU 11的工作存储器。
驱动器3从安装在其中的诸如DVD-ROM、CD-ROM等的记录介质读取数据,并将读取的数据输出到CPU 11。驱动器3还可以是诸如记忆棒(商标)、SD卡(商标)等记录介质的读取器,记录介质并不限于上述这些。
控制器4可以是家用游戏机的控制器,例如包括PC的键盘、鼠标等。经由控制器接口15连接到总线16的控制器4具有方向键、其他操作键和用于根据倾斜和/或移动量输出信号的模拟设备等,并将指示用户操作的信号输出到CPU 11。
网络接口14控制与经由网络与其相连的web服务器之间的数据交换。具体而言,网络接口14根据从CPU 11输入的指令经由网络发送信息(数据获取请求等),并将经由网络接收的信息(HTML数据等)输出到CPU 11。在该实施例中,CPU 11经由网络接口14从诸如因特网等网络上的web服务器接收HTML数据。
GPU 21执行显示图形所需的计算。VRAM 22是用于保存要在显示器上显示的内容的存储器,并且接收由GPU 21产生并写入到VRAM 22中的图像数据。显示控制单元(未示出)基于写入到VRAM22中的图像数据产生图像信号,并将所产生的图像信号输出到电视图像接收机、显示设备等,在这些显示设备处基于图像信号来显示图像。
在下文中将描述由信息显示设备1执行的处理过程。在下文中将描述这样的例子,其中信息显示设备1用作由CPU 11、GPU 21等控制的web浏览器。但是,这并不是排他性的例子。可以显示任何信息,只要采用的是利用多个屏幕元素(例如窗口)的信息显示过程即可。
应当注意,这里由信息显示设备1实现的web浏览器是具有加标签界面的浏览器,或所谓的“标签浏览器(tabbrowser)”,并且在独立的窗格(这里实现为窗口)或标签中显示每个web页面,各个标签根据用户操作而被显示和切换。
在该实施例中,信息显示设备1利用多个屏幕元素(下文中称为窗口)执行信息显示过程。在上文中,信息显示设备1可以将每个窗口的图像绘制到二维绘制空间中。但是,这里确定信息显示设备1设置了面板对象用作三维虚拟空间中的窗口,并将要在窗口中显示的图像绘制到面板对象的至少一个表面上。例如,信息显示设备1将表示要显示的内容的二维图像作为一个纹理来粘贴。
即,如图2所示,在该实施例中,由信息显示设备1产生的数据表示放置在虚拟空间5中的多个窗口61、62、63、64和65(面板对象),每个面板对象具有绘制在其表面上的显示目标信息。信息显示设备1还另外在虚拟空间5中设有一个虚拟照相机71,并定义虚拟照相机71的聚焦区域7或虚拟图像捕捉区域。图2示出了这样一个例子,其中窗65位于虚拟照相机71的聚焦区域7或图像捕捉对象的中心处,并且窗64的一部分被包括在聚焦区域7的左侧。
信息显示设备1基于关于虚拟空间5的信息来绘制包含在虚拟照相机71的聚焦区域7中的那一部分的图像。所绘制的图像被送入VRAM 22中,并被显示在外部显示器等上(图3)。
虚拟照相机71可以设置在虚拟空间5中的任何位置处。当虚拟照相机71移动并且其聚焦区域7随之改变时,最终绘制出不同的图像,因而在显示器上显示不同的图像。
如图4所示,这里被描述为web浏览器的信息显示设备就功能而言包括描述性信息获取单元31、描述性信息分析单元32、显示目标信息产生单元33、程序处理单元34、显示控制单元35、通知信息显示单元36、虚拟空间设置单元37、目录显示设置单元38、二维绘制处理单元41、三维绘制处理单元42和组合处理单元43。
在该实施例中,这些单元例如由CPU 11、GPU 21等通过软件实现。
描述性信息获取单元31接收来自显示控制单元35和/或显示目标信息产生单元33的数据获取请求。数据获取请求包含诸如URL等指定信息。在接收到数据获取请求后,描述性信息获取单元31从指定的URL等获取所请求的数据,并将所获取的数据输出到请求数据的显示控制单元35或显示目标信息产生单元33。应当注意,由URL指定的数据可以是存储在安装在信息显示设备1的驱动器3中的记录介质内的文件,而不限于来自网络上的web服务器等的数据。
描述性信息分析单元32包含HTML数据的解析器(分析功能),并且从显示控制单元35接收HTML数据和标识进行显示的屏幕元素的信息(屏幕元素的标识符,下文中称为“窗口标识符”)。描述性信息分析单元32随后根据预定规则分析所接收的HTML数据。一般而言,HTML数据包含指示显示目标信息的显示的显示指令数据部分,有时还包含要执行的程序数据部分。
描述性信息分析单元32从HTML数据中提取出显示指令数据部分,并将所提取的显示指令部分数据和窗口标识符输出到显示目标信息产生单元33。当在HTML数据中还包括程序数据时,描述性信息分析单元32也提取出程序数据部分,并且与窗口标识符一同输出到程序处理单元34。
显示目标信息产生单元33基于从描述性信息分析单元32输入的显示指令数据提取出指定要显示的字符串信息和要显示的图像数据的信息(图像数据URL等),将指定图像数据的信息与获取由该信息指定的图像数据的请求一同输出到信息获取单元31,并接收信息获取单元31响应于该请求而获取的图像数据。而且,显示目标信息产生单元33基于显示指令数据产生web页面描述性信息(其中部署有字符串信息和图像数据),并将所产生的web页面描述性信息与窗口标识符一同输出到二维绘制处理单元41。
程序处理单元34运行从描述性信息分析单元32输入的程序数据,并保存在程序数据的运行中所必需的数据(指示正在程序中运行的点的指针和诸如变量数据等的工作数据),以便与也从描述性信息分析单元32输入的窗口标识符相关联。即,在打开多个窗口(即,显示有多个web页面)的情况下,程序处理单元34可以并行执行多个程序数据。作为并行执行的方法,可以有诸如多线程进程等的公知过程,这里省略了对其的详细说明。
当在与任何窗口标识符(下文中称为“聚焦标识符”以示区分)相关联的程序数据的运行期间需要向用户通知任何信息时(即,通知信息需要与任何显示目标信息一同被通知给用户),程序处理单元34将要通知给用户的信息(下文中称为“通知信息”)和聚焦标识符输出到通知信息显示单元36。
显示控制单元35指示虚拟空间设置单元37在激活时产生一个窗口或屏幕元素,随后从虚拟空间设置单元37接收标识所产生的窗口的信息(窗口标识符),并保存所接收的信息。
随着在激活时产生窗口,显示控制单元35指示信息获取单元31获取由预先设置的URL指定的数据。由URL指定的数据在这里被确定为HTML数据。显示控制单元35将从虚拟空间设置单元37接收的窗口标识符和由信息获取单元31获取的HTML数据输出到描述性信息分析单元32。
显示控制单元35控制三维绘制处理单元42基于由虚拟空间设置单元37设置的虚拟空间来绘制三维图像。
显示控制单元35根据用户指令控制各个单元。在该实施例中,用户发出以下指令:
(1)产生新窗口(该新窗口可以是用于在web浏览器中显示另一个web页面的标签)的指令(下文中称为“新窗口指令”);
(2)以目录形式显示多个窗口的指令(下文中称为“目录显示指令”);
(3)指定多个窗口之一作为要显示或操作的对象的指令(下文中称为“聚焦指令”);
(4)将字符串等输入到在所选窗口中显示的输入栏中或点击所选窗口中显示的链接的指令(下文中称为“内容操作指令”);
(5)关闭窗口的指令;
(6)终止作为浏览器执行的过程的指令(下文中称为“结束指令”)。
这些指令例如是利用控制器4发出的。在下文中,将描述标签切换操作(切换其位置与虚拟照相机71直接相对的窗口的操作)作为一个示例性操作。标签切换操作通过按下控制器4上形成的方向键来执行。具体而言,在方向键中提供有四个方向,即上、下、左和右方向的情况下,当向右方向键被按下时,虚拟照相机71被移动到与在相对于虚拟照相机71的视线方向的右侧的窗口直接相对的位置。类似地,当向左方向键被按下时,虚拟照相机71被移动到与在相对于虚拟照相机71的视线方向的左侧的窗口直接相对的位置。当形成在垂直方向的各个键被按下时,情况类似。
另外,将描述点击在窗口(或标签)中显示的对象(按钮、字符串输入栏等)作为另一个示例性操作。具体而言,对象点击操作包括将指针移动到点击位置并点击,并且例如按以下方式执行。即,通过倾斜设在控制器4等中的模拟杆来执行移动指针(鼠标光标)以指定点击位置的操作,并且按下与方向键分开设置的键的操作可以被定义为点击操作。
当发出上述用户操作中的(1)新窗口指令时,显示控制单元35指示虚拟空间设置单元37产生一个窗口或屏幕元素,然后从虚拟空间设置单元37接收标识所产生的窗口的信息(窗口标识符),并保存该信息。
显示控制单元35指示描述性信息获取单元31获取由预先设置的URL指定的数据。由URL指定的数据在这里被确定为HTML数据。显示控制单元35将从虚拟空间设置单元37接收的窗口标识符和由信息获取单元31获取的HTML数据输出到描述性信息分析单元32。
当发出(2)目录显示指令时,显示控制单元35指示目录显示设置单元38显示窗口目录。
当发出(3)聚焦指令时,显示控制单元35开始图5中所示的过程。在下文中,响应于该指令而选择的窗口被称为聚焦窗口。首先,显示控制单元35确定是否发生目录显示(101)。当确定不发生目录显示时,显示控制单元35在结束该过程之前将虚拟照相机71移动到与聚焦窗口直接相对的位置(102)。根据过程102,当在窗口62被显示的同时(即,虚拟照相机71位于图6中的位置A处)发出指定窗口63作为聚焦窗口的指令(或移动到右侧窗口的指令,这是由用户通过点击在右侧的窗口63或按下控制器4等上的右侧方向键来发出的)时,虚拟照相机71被移动到与窗口63直接相对的位置(图6中的位置B),以使得窗口63(或新聚焦窗口)位于虚拟照相机71的聚焦区域7的中心处。
同时,如果在过程101中确定发生目录显示,则显示控制单元35指示虚拟空间设置单元37在结束该过程之前以相互区分的方式绘制聚焦窗口和其他窗口的图像(103)。相互区分的方式例如可以包括将灰色图像以半透明方式叠加到在窗口中显示的图像上。后面将描述过程103以及目录显示过程的具体例子。
当发出(4)内容操作指令时,显示控制单元35根据操作内容更新在聚焦窗口等中显示的内容。例如,响应于将字符串输入到在用户所选择的聚焦窗口中显示的输入栏中的操作,输入字母被显示在输入栏中。另外,响应于点击链接、按钮等操作,对于与被点击的链接或按钮相关联的HTML数据执行处理。该过程与作为典型浏览器执行的过程相同,这里省略对其的详细描述。
随着点击链接等,显示控制单元35将从与被点击的链接等相关联的URL获取数据的指令与聚焦窗口的窗口标识符一同输出到信息获取单元31。
当接收到(5)关闭窗口的指令时,显示控制单元35执行控制以便不再显示在当时被窗口标识符指定为聚焦窗口的窗口(结束窗口)。为了该控制,例如,虚拟空间设置单元37可以被指示从虚拟空间5中去除所述结束窗口的面板对象。
当接收到(6)结束指令时,显示控制单元35产生通知信息以确认该过程的结束,并输出到通知信息显示单元36。
通知信息显示单元36从程序处理单元34接收显示与运行中的程序数据相关联的显示目标信息和通知信息的窗口的窗口标识符(上述聚焦标识符),并定义由聚焦标识符指定的窗口作为聚焦窗口(例如,示出与通知信息相关联的显示目标信息的屏幕元素(或窗口))。然后,通知信息显示单元36以与另一窗口相区分的方式显示聚焦窗口,并且还显示通知信息。该显示方式将在后面详细描述。
通知信息显示单元36可以从显示控制单元35等接收显示不与任何显示目标信息相关(即,与任何窗口都无关)的通知信息的指令。在这种情况下,通知信息显示单元36以与和显示目标信息相关的通知信息(即,与任意窗口相关的通知信息)不同的方式来显示该通知信息。该显示方式将在后面详细描述。
根据从显示控制单元35等输入的指令,虚拟空间设置单元37针对虚拟空间添加或删除用作窗口的面板对象。具体而言,虚拟空间设置单元37利用例如图7中所示的对象数据库来管理虚拟空间5。
对象数据库对于要包含在虚拟空间5中的每一虚拟对象,保存唯一标识符、对象的形状和属性、以及指示对象的位置和姿态的坐标,所有信息都按彼此关联的方式布置。在面板对象的情况下,虚拟对象的形状等可以例如被确定为长方体,该长方体可以由包括其宽度、深度和高度在内的属性定义。虚拟照相机可以由标识虚拟照相机及其属性的信息定义,包括视线方向、视角等(这些定义了聚焦区域)。对于每一形状,可以确定位置坐标,以便包括中央位置坐标和诸如主轴方向之类的坐标(其例如指示姿态)。
当虚拟空间设置单元37新添加面板对象时,新产生一个唯一标识符(该标识符可用作窗口标识符),并且将长方体形状添加到对象数据库,例如图7中所示。与描述新添加的形状的信息相关联地,虚拟空间设置单元37设置已预先确定的形状作为用作窗口的面板对象的形状,然后在虚拟空间中定义类似面板的长方体的位置坐标等,并在对象数据库中记录位置坐标。
根据从显示控制单元35等输入的指令,虚拟空间设置单元37改变虚拟照相机71和面板对象的相对位置。相对位置的改变可以按下面的[表达式1]
S → + ( D → - S → ) t T
相对于在指示改变之前的初始位置的坐标的向量S和指示改变之后的目标位置的坐标的向量D之间的时间t(t=0到T)来进行,以使得位置随时间发生改变,就像动画一样。
当显示控制单元35除了按用户操作的指示显示窗口之外还需要显示菜单屏幕时,虚拟空间设置单元37可以改变虚拟空间5中面板对象和虚拟照相机71的相对位置,以使得在显示屏幕上留出用于显示菜单屏幕的区域。菜单屏幕是在指示打开新的窗口或URL、关闭窗口等时使用的屏幕图像等。这里假定在更新之前窗口61被显示在虚拟照相机71的聚焦区域7的中心处,如图8所示(见图8的上部)。在这种情况下,对显示菜单屏幕的指令作出响应的显示控制单元35指示虚拟空间设置单元37留出用于显示菜单屏幕的显示区域,并且虚拟空间设置单元37更新窗口61和虚拟照相机71的相对位置,使得窗口61位于虚拟照相机71的聚焦区域7的***部分中(见图8的下部)。利用以上配置,在更新之后留出了用于显示菜单屏幕的区域(R),该区域(R)不与窗口61的显示区域重叠,如图9所示。
当菜单屏幕不能完全显示在区域(R)中时(例如按分层方式形成的菜单,并且需要相对较大的显示区域),显示控制单元35可以执行控制以使得在更新之后菜单屏幕(M)与在***部分中显示的窗口61部分重叠,如图10所示。后面将描述通过虚拟空间设置单元37设置虚拟空间5的另一个例子。
虚拟空间设置单元37从显示控制单元35接收窗口标识符和用于删除与由窗口标识符指定的窗口相关联的面板对象的指令。在上文中,虚拟空间设置单元37从对象数据库中删除与输入的窗口标识符有关的数据条目。
目录显示设置单元38从显示控制单元35接收显示窗口目录的指令,然后指示虚拟空间设置单元37按预定方式重排列多个窗口,并且改变虚拟照相机71的位置。即,目录显示设置单元38指示将虚拟照相机71移动到允许对所有窗口进行目录显示的位置。后面将详细描述目录显示设置单元38和虚拟空间设置单元37响应于目录显示指令的操作。
二维绘制处理单元41基于从显示目标信息产生单元33输入的web页面描述性信息产生表示web页面的内容的位图图像,并且与和web页面描述性信息一同输入的窗口标识符相关联地将所产生的位图图像存储在RAM 13中。
三维绘制处理单元42基于虚拟空间设置单元37对虚拟空间5的设置产生绘制有三维图像的位图数据。具体而言,三维绘制处理单元42对于由虚拟空间设置单元37产生的对象数据库执行以下过程。即,三维绘制处理单元42绘制通过将面板对象等投影到虚拟照相机71的视场(聚焦区域7)中而获得的图像。这种绘制过程可以利用许多可用的方法进行,包括扫描线算法、射线追踪方法、放射性方法等等,这里省略对其的详细描述。
在该实施例中,三维绘制处理单元42将与每个面板对象的标识符(这里与窗口标识符相同)相关联地存储在RAM 13中的web页面的位图图像设置为与虚拟照相机71相对的每个面板对象的表面的纹理。利用以上配置,每个面板对象充当用于显示web页面的图像元素(窗口)。
组合处理单元43接收要显示叠加在由三维绘制处理单元42绘制的图像上的字符串和/或图像,并将所接收的字符串和图像叠加到由三维绘制处理单元42绘制的图像上以组合它们(例如以半透明方式)。
半透明组合的一个例子是使与要组合的各个图像相对应的像素值相加从而产生组合图像的过程。
[通知信息的显示方式]
在下文中,将描述该实施例中通知信息的显示方式。如上所述,在作为该实施例中的信息显示设备的web浏览器中,要求输入密码的通知或者用户关于是否跳到另一web页面的确认等等可以在包含在HTML数据中的程序数据的执行期间被显示(通知信息的显示)。
这种基于HTML数据的通知信息连同基于HTML数据的显示目标信息被通知给用户。
在该实施例中,如上所述,连同任何显示目标信息要通知给用户的通知信息按以下方式显示。这里,所显示的通知信息与哪些显示目标信息有关是基于显示与执行中的程序数据相关联的显示目标信息的窗口的窗口标识符(聚焦标识符)而确定的。
即,已接收到聚焦标识符和通知信息的通知信息显示单元36确定与聚焦标识符相关联的窗口作为聚焦窗口,并指示虚拟空间设置单元37将聚焦窗口从虚拟照相机71的聚焦区域7的中央部分移开。虚拟空间设置单元37改变对象数据库中聚焦窗口或虚拟照相机71的坐标,以使得聚焦窗口位于虚拟照相机71的聚焦区域7的***部分中,从而更新聚焦窗口和虚拟照相机71的相对位置。这与图8和9中所示的菜单屏幕的例子相同。
利用以上配置,与图9中所示的例子类似,聚焦窗口紧挨着显示器等的屏幕的任何一侧,从而留出了用于显示通知信息的区域(R)。通知信息显示单元36在区域(R)中显示通知信息。
这里,将考虑如图11所示的窗口62、63等与虚拟照相机71相对放置的情况。在这种情况下,当虚拟照相机71移动从而使得窗口62(或聚焦窗口)位于聚焦区域7的***部分中时,相邻窗口63可能因此位于虚拟照相机71的聚焦区域7中。在这种情况下,三维绘制处理单元42可以按半透明方式将灰色调(全灰色图像)施加在除聚焦窗口以外的窗口中显示的显示目标信息的纹理上,作为其与虚拟照相机71相对的表面的纹理,从而使得显示目标信息表现得相对较暗(所谓的暗化)(图12)。在这种情况下,在聚焦窗口中显示的显示目标信息表现得相对较亮,以使得用户可以清楚地辨认与所显示的通知信息相关联的窗口。
此外,通知信息显示单元36可以指示组合处理单元43与显示相邻窗口63的区域(R)相重叠地显示通知信息。
可替换地,三维绘制处理单元42可以被指示不绘制除聚焦窗口以外的窗口的图像。在这种情况下,除聚焦窗口以外的屏幕元素被隐藏(图13),因而只有聚焦窗口和通知信息被显示。这有利于聚焦窗口的辨认。应当注意,区分方式的显示可以通过各种其他方法获得,例如以不同颜色显示聚焦窗口的框架,使聚焦窗口闪烁,等等,而不限于上述的那些。
如上所述,在该实施例中,在显示通知信息时,与该通知信息相关联的聚焦窗口以与其他窗口相区分的方式被显示。因此,即使当示出多个窗口时,所显示的通知信息也可以被显示为使得与其相关联的窗口可以通过观察清楚地辨认。
此外,由于通知信息与聚焦窗口相邻显示,而不是重叠显示,因此通知信息和聚焦窗口中示出的显示目标信息两者都可以得到辨认。
应当注意,在该实施例中,执行控制以使得通过例如采用以下布置而使所显示的通知信息的内容不随着用户操作移动,在该布置中,通知信息与由三维绘制处理单元42等绘制的图像重叠显示。
通知信息显示单元36接收用户关于通知信息的操作,并将响应操作的内容输出到程序处理单元34。例如,当示出字符串“Acceptcookies?”以及用作通知信息的按钮“yes”和“no”并且任何一个按钮被按下时,标识被点击按钮的信息被输出到程序处理单元34。
程序处理单元34接收基于通知信息的信息,并继续程序数据处理。
[程序数据运行控制]
在通知信息显示单元36显示通知信息的同时,程序处理单元34可以继续与其他窗口相关联的程序数据的运行。在上文中,当由于与其他窗口相关联的程序数据的运行而导致需要显示通知信息时,该窗口的窗口标识符和要显示的通知信息被彼此关联地存储在用于通知信息的等待队列的存储区域中,该存储区域设在RAM 13中。
然后,随着进行中的通知信息的显示完成,等待队列中的通知信息的显示从包含在等待队列的头部的信息处开始。
应当注意,在JavaScript等中,例如,对通知信息显示的请求可以利用多种方法发出,例如警报、文档(document.open)等等。然后,在存储到等待队列中时,程序处理单元34可以根据在请求通知信息显示时使用的方法来确定优先级次序(在相同优先级的情况下是生成时间的次序),并按优先级次序在队列中登记。
另外,通知信息显示单元36可以指示程序处理单元34在显示通知信息的同时暂停程序数据的处理。已接收到指令的程序处理单元34暂停与显示器上的每个窗口相关联的程序数据的运行。
在这种情况下,通知信息显示单元36指示程序处理单元34在通知信息的显示完成时恢复程序数据的处理,该显示的完成例如通过用户对通知信息等作出响应而实现。
上述布置可以避免导致以下情况的复杂过程:例如,在通知信息被显示的同时,随着与其他窗口相关联的程序数据被连续处理,与其他窗口相关联的通知信息的显示变得必需。
通知信息显示单元36可以与通知信息一同显示用于指示“暂停窗口的程序数据运行”的选择按钮X(图14)。当用户选择选择按钮X从而对通知信息作出响应时,通知信息显示单元36指示程序处理单元34暂停进行中的程序数据的运行,同时给出聚焦窗口的窗口标识符。
响应于接收到的指令,程序处理单元34例如通过删除与输入的窗口标识符相关联的程序的运行数据来暂停指定的程序数据的后续运行。以这种方式,上述布置可以解决由于循环过程等引起的通知信息的重复显示的效率低下问题。
[与显示目标信息无关的通知信息]
通知信息显示单元36可以从显示控制单元35等接收显示不与任何显示目标信息相关的通知信息的指令。例如,当不再能设立用于处理程序数据的足够存储器时,或者当在处理程序数据的同时发生异常(差错等)时,程序处理单元34等指示通知信息显示单元36显示通知该结果的通知信息。
这样的通知信息被视作与显示目标信息无关的通知信息,因为它与整体操作相关联,尽管有时也与特定窗口相关联。
此外,到网络的连接失败、由于分析所获取的数据的失败而未能产生窗口、以及关于是否结束作为浏览器等的过程的确认都与作为浏览器的整体操作有关,并且在这些情况下发出的通知信息被视作与显示目标信息无关。
在显示与显示目标信息无关的通知信息时,通知信息显示单元36利用半透明方式将灰色调叠加在设置在例如与虚拟照相机71相对的每个窗口的表面上的显示目标信息的纹理上,从而使得窗口中示出的显示目标信息显示得相对较暗(所谓的暗化)。然后,通知信息显示单元36指示组合处理单元43组合通知信息等的字符串和在各个窗口中相对较暗显示的绘制图像(三维绘制处理单元42的绘制结果)。
利用以上配置,通知信息以如图15所示的突出方式显示,以使得通知信息可以被很容易地辨认为与窗口无关。或者,通知信息显示单元36可以指示三维绘制处理单元42绘制没有窗口的图像,并且可以显示通知信息。
如上所述,与显示目标信息相关的通知信息和不与任何显示目标信息相关(但是与整个浏览器相关)的通知信息被以不同方式显示的布置可以有利于用户辨认所显示的通知信息是否与显示目标信息相关。
[列表显示的显示方式]
在下文中将描述该实施例中的窗口目录显示过程。该实施例中的目录显示设置单元38从显示控制单元35接收显示窗口目录的指令,并指示虚拟空间设置单元37将虚拟照相机71移动到能够显示覆盖所有窗口的目录的位置。
在下文中,将描述虚拟照相机71的位置改变。假定当接收到应用目录显示的指令时,各个窗口在平面上排成一列,如图16所示。在上文中,此时虚拟照相机71的视场角被确定为θ,并且虚拟照相机71位于图16中的位置A处(或者离窗口对齐的平面相距r0的位置处)。在这种状态下,一个窗口63被辨认为处于中心,其他窗口62、64的一部分分别位于其右侧和左侧,如图17中参照位置A所示的图像。
然后,在接收到目录显示指令后,目录显示设置单元38指示虚拟空间设置单元37改变虚拟照相机71的位置。虚拟空间设置单元37继而指示将虚拟照相机71移动到离窗口对齐的平面更远的位置(离平面相距r的位置,或者图16中的位置B),以便留出虚拟照相机71的一个视场(聚焦区域7),该视场大得足以完全覆盖范围w,范围w大于显示所有窗口61到65的区域。在上文中,r可以按下式计算:
[表达式2]
r = w 2 tan θ 2
利用以上配置,显示器上的所有窗口都被显示,如图17中参照位置B所示的图像。
另外,在这种情况下,各个对象(面板对象、虚拟照相机等)的位置等以步进方式从初始状态移动到窗口被显示为目录的目标状态,从而所述对象如同动画那样移动显示。这使得用户可以知道哪个窗口移动到哪个位置。应当注意,初始状态下面板对象的位置被单独存储在RAM 13中作为初始位置。
另外,目录显示设置单元38指示使虚拟照相机71进一步远离与各个窗口相对应的面板对象。目录显示设置单元38可以指示虚拟空间设置单元37将这多个面板对象重布置为预定布局。
例如,如图18所示,在用作窗口的三个面板对象布置在水平行中的情况下,已接收到目录显示指令的目录显示设置单元38可以将这三个面板对象重布置为三角形布局,然后将全部聚集的面板对象移动到虚拟空间5中的预定一点的附近(在离该点预定距离的范围内),并且还将虚拟照相机71移动到远离用作窗口的面板对象所在的平面的一个位置上。
利用以上配置,因为窗口被聚集并且被示出在相对较窄的区域内,因此与在一行中显示对象而虚拟照相机71只是简单移动的情况相比,每个窗口可以按相对较大的尺寸显示。
应当注意,在目录显示中定义各个面板对象的位置的坐标可以与窗口(面板对象)数相关联地预先保存在RAM 13等中。默认尺寸的各个面板对象可以被放置为使得彼此不重叠(图19)。应当注意,取决于窗口尺寸可以采用不同的部署方式。
当在发生目录显示时窗口(面板对象)数由于窗口被关闭或新产生而改变时,相对于新的窗口数确定的坐标可以被定义为目标位置D,并且窗口在相对于时间t(t=0到T)按
[表达式1]
S → + ( D → - S → ) t T
从改变之前的初始位置S移动到改变之后的目标位置D时被显示,就像动画那样。
另外,已接收到解除目录显示的指令的目录显示设置单元38指示虚拟空间设置单元37参照存储在RAM 13中的初始位置将各个面板对象移动到其原始位置(或者目录显示之前的位置)。目录显示设置单元38还指示虚拟空间设置单元37将虚拟照相机71移动到和与此时的聚焦窗口相对应的面板对象直接相对的位置,从而使离用作聚焦窗口的面板对象的距离返回到发生目录显示之前的距离。
响应于该指令,虚拟空间设置单元37定义各个对象的目标位置,并且根据时间t改变各个对象的位置,从而按动画方式显示对象。
[列表显示期间的操作]
在该实施例中,目录显示是通过简单地改变虚拟空间5中各个对象的位置来实现的。这允许各个窗口在目录显示之前和之后以相同的方式***作。因此,即使当发生目录显示时,也可以点击窗口中的链接或者向窗口中的字符串输入栏输入字符串。
近年来,由于期望能够显示多个窗口的目录的屏幕可以改善方便性,所以可以得到包括用于显示多个窗口的目录的技术的操作***。但是,这种目录显示只能从显示的多个窗口中选择窗口,而不能直接对目录显示中的窗口进行操作。即,对方便性的改善还不够。
另一方面,在该实施例中,显示控制单元35可以接受利用在目录显示中的任何一个窗口中显示的显示目标信息发出的指令操作,并执行基于指令操作的过程,即使发生目录显示时也是如此。
另外,根据该实施例中的目录显示,虚拟空间5中存在的窗口不需要都被显示。例如,当通过预定操作集中产生多个标签(或窗口)时,信息显示设备1向彼此相关的窗口集合发布唯一的群组标识符,并与每个窗口相关联地保存群组标识符。然后,响应于目录显示指令,目录显示设置单元38可以显示具有共同的群组标识符的窗口的目录,并且响应于显示切换操作,可以显示具有其他共同的群组标识符的窗口的目录。
当搜索出web页面并且随后执行例如在多个窗口(标签)中集中显示在搜索中命中的web页面中的至少一些的操作时,上述布置使得可以按目录方式显示集中显示的窗口。
另外,例如,当发出打开在最初显示的窗口(称为基础窗口)中显示的链接的指令,产生了另一窗口(称为目标窗口),并且在产生的窗口中示出了链接目的地web页面(链接目的地在新的标签中显示)时,该实施例中的信息显示设备1可以向目标窗口分配一个与基础窗口共同的群组标识符。响应于目录显示指令,目录显示设置单元38可以按目录形式显示被分配以共同的群组标识符的窗口。另外,响应于显示切换操作,目录显示设置单元38可以按目录形式显示被分配以不同的群组标识符的窗口。上述布置使得可以按目录形式显示彼此相关的web页面,从而提供高度的方便性。
虚拟照相机71的位置(离用作窗口的面板对象的距离)可以与虚拟空间5中的窗口数(打开的标签数)相关联地预先定义。目录显示设置单元38响应于目录显示指令检查虚拟空间5中存在的窗口数,并且将虚拟照相机71移动到与该数目相关联地定义的位置。在这种情况下,显示了可以在虚拟照相机71的视场中作为目录显示的窗口数,虚拟照相机71的位置根据虚拟空间5中的窗口数(打开的标签数)而定义。但是,如上所述,允许作为目录显示的窗口数并不一定是虚拟空间5中存在的所有窗口的数目。
如上所述,该实施例可以实现个别窗口的显示、所有窗口的目录显示以及某些窗口的目录显示,以及从一种显示风格到另一种显示风格的动画显示,即,以与屏幕切换不同的方式来显示。这增强了各个显示之间的窗口间的关系的可视辨认。
[列表显示中的窗口选择]
在这种情况下,利用在任意屏幕元素中显示的显示目标信息发出的指令操作与选择目录显示中的任何屏幕元素的操作(标签切换操作)分开定义。即,显示控制单元35至少在目录显示发生时并不响应于窗口点击操作而切换聚焦窗口,相反地,而是接收指示选择聚焦窗口的选择指令(标签切换指令),该指令例如是利用不同的键等发出的。由于如上所述窗口选择操作与对于显示目标信息的操作分开定义,因此显示控制单元35可以接收利用在目录中的窗口内显示的显示目标信息发出的指令操作,并执行基于该指令操作的处理过程,即使发生目录显示时也是如此。
应当注意,在目录显示发生时灰色调以半透明方式叠加到在除聚焦窗口以外的窗口中显示的显示目标信息的纹理上,从而使得显示目标信息显示得相对较暗(所谓的暗化)(图20)。这有利于聚焦窗口的可视辨认。
另外,标题(被HTML数据指定为标题的文本)、由网站定义的位图图像(图标图像,也被称为所谓的“favicon”、快捷图标、网站图标等等)等等可以叠加显示在除聚焦窗口以外的处于暗化显示的窗口上(图21)。
[从列表显示到通知信息显示的转移]
在该实施例中,即使在发生目录显示时程序处理单元34也可以处理程序数据。这可能需要程序处理单元34显示通知信息。在这种情况下,虚拟空间5的设置可以被更新以使得目录显示转移到以图12或13所示的状态来显示。
[显示例子]
在该实施例中,要显示的图像是这样产生的:先由三维绘制处理单元42绘制,然后由组合处理单元43叠加上字符串等,例如通知信息等。另外,CPU 11在要显示的图像上叠加包含标题(被HTML数据指定为标题的文本)的标题栏(A)和由网站定义的图标(所谓的“favicon”)等以及绘制关于可用操作的操作引导栏(C),如图22中的例子所示。所得到的图像可以被送入VRAM 22中。在图22中,标题栏和操作引导栏分别显示在要显示的图像的上方和下方,尽管该布置并不是排他性的例子。
响应于用户显示放大窗口的指令,该实施例中的信息显示设备1指定由放大显示指令所指向的窗口,并改变与指定窗口相对应的且被放置在虚拟空间5中的面板对象的尺寸。
例如,如图23所示,窗口61(或面板对象)的宽度d0被改变为宽度d(d>d0)。因此,在显示器上示出了比尺寸改变之前的窗口61宽的窗口61,如图24所示。
根据该实施例,个别窗口(标签)的显示、窗口目录的显示以及通知信息的显示可以彼此转移,就像动画那样。即,显示的状态可以通过连续移动虚拟照相机71和用作窗口的面板对象来加以改变。利用该布置,改善了关于在各个显示状态下哪个窗口被显示在哪个位置的可视辨认。
在上文中描述了通过操作形成在控制器4上的键等发出应用多个窗口的目录显示的指令(目录显示指令)、指定多个窗口之一作为要显示或操作的窗口的聚焦指令、以及解除目录显示并在屏幕图像的中心处显示聚焦窗口的指令的情况。
可替换地,在控制器4具有用于确定其姿态的装置,例如加速度传感器、陀螺传感器等的情况下,倾斜控制器4自身的操作可以被接受作为指令操作等。
即,这种控制器4具有形成在其前表面上的方向键、模拟设备、操作按钮和其他键(在图中表示为“A”到“D”)以及包含在内部的加速度传感器51和陀螺传感器52,例如如图25所示。加速度传感器51包含例如由一根柱支撑的支点,并且检测由于由施加到其的加速度引起的支点的位移而导致的柱的偏转量,从而确定施加到支点的加速度。该实施例中的加速度传感器51可以是用于检测彼此基本正交的三轴方向上的加速度(由于重力引起的加速度)的三轴加速度传感器。如图25所示,加速度传感器51被固定安装在控制器4的外壳内部,其设置有彼此正交的参照轴,即x、y和z轴。这里,例如,x轴可以定义为与控制器4的纵向方向(左右方向)相对应;y轴可以定义为与控制器4的深度方向(前后方向)相对应;z轴可以定义为与控制器4的宽度方向(垂直于图的纸面的方向)相对应。加速度传感器51检测相应的三个参照轴中的加速度,并根据检测到的加速度输出三个电压值。具体而言,加速度传感器51输出基本与确定的加速度成比例的电压信号。即,加速度传感器51在没有检测到加速度时输出参照电压Vo,并且生成加速度,在生成加速度时,取决于输出电压值是大于还是小于参照电压Vo来确定关于每个轴的正和负方向的加速度。控制器4输出通过将电压信号转换为数字信号(A/D转换)而获得的数字值,作为描述倾斜角的信息。
在来自加速度传感器51的输出中,指示x轴的加速度的输出根据控制器4以y轴作为中心的倾斜而改变。例如,在控制器4在相对于水平表面的纵向方向上保持倾斜θy1度(θy1<0)时,如图26所示,x轴方向上的重力加速度a保持为αsinθy1(a=αsinθy1)。另外,在控制器4相对于水平表面保持倾斜θy2度(θy2>0)时,如图27所示,x轴方向上的重力加速度a变为αsinθy2(a=αsinθy2)。在上文中,α是负系数。因此,描述角度的信息变为θ=arcsin(a/α),这是利用加速度值a表达的,a是利用电压值V表示的。类似地,y轴上的加速度根据控制器4以x轴作为中心的倾斜而改变。
陀螺传感器52确定控制器4围绕z轴的旋转的角速度,并输出所确定的角速度。CPU 11按每一恒定时间段对来自陀螺传感器52的输出进行采样,并计算积分从而确定控制器4相对于z轴的旋转的位移量。
利用上述的控制器4,与下列指令相对应的操作:
A.应用多个窗口的目录显示的指令(目录显示指令);
B.指定多个窗口之一作为要显示或操作的窗口的聚焦指令;以及
C.解除目录显示并在屏幕图像的中心处显示聚焦窗口的指令,例如按以下方式定义。
以x轴为中心倾斜控制器4进一步远离控制器4的用户的指令可以被定义为目录显示指令,或上面的A。至于聚焦指令或上面的B,以y轴为中心向左或向右倾斜控制器4的操作可以被定义为触发要显示或操作的窗口的顺序切换,无论是否对于目录显示。以x轴为中心向控制器4的用户倾斜控制器4的操作可以被定义为解除目录显示的操作,或上面的C。
应当注意,可以确定,为了防止目录显示或聚焦切换响应于轻微倾斜操作而实现,这些操作只有当控制器4被倾斜一个超过预定角度阈值的量时才实现。
例如,CPU 11从控制器4接收关于控制器4的倾斜角的信息,并按如下方式操作。这里,假定接收到关于至少x轴方向上的倾斜角θy(y轴用作旋转轴)和y轴方向上的倾斜角θx(x轴用作旋转轴)的信息。
如图28所示,CPU 11检查y轴方向上的倾斜角θx是否小于预定的第一角度阈值θxth1(θxth1<0)(过程201)。当倾斜角θx小于预定的第一角度阈值θxth1时,确定控制器4向远离控制器4的用户的方向倾斜一个超过预定角度阈值的角度。即,确定发出目录显示指令,并且在完成过程之前执行基于目录显示指令的过程(过程202)。
同时,当在过程201中确定y轴方向上的倾斜角θx不小于预定的第一角度阈值θxth1(θxth1<0)时,CPU 11检查y轴方向上的倾斜角θx是否超过预定的第二角度阈值θxth2(θxth2>0)(过程203)。当倾斜角θx超过预定的第二角度阈值θxth2时,确定控制器4向靠近控制器4的用户的方向倾斜一个超过预定的角度阈值的角度。即,确定发出解除当前目录显示的指令。然后,CPU 11解除当前的目录显示(如果有的话),并且在发生目录显示之前将各个窗口移动到它们各自的位置,并且在结束过程之前将虚拟照相机71移动到与当前聚焦窗口(聚焦窗口)相对的位置(过程204)。
同时,当在过程203中确定倾斜角θx不超过预定的第二角度阈值θxth2时,CPU 11检查x轴方向上的倾斜角θy是否小于预定的第三角度阈值θyth3(θyth3<0)(过程205)。当确定倾斜角θy小于第三角度阈值θyth3时,确定控制器4向左倾斜一个超过预定角度阈值的角度。然后,CPU 11执行按预定选择顺序选择一个窗口作为聚焦窗口的过程(聚焦标签切换过程)(过程206)。该过程取决于当前是否发生目录显示而有所不同。具体而言,当不发生目录显示并且在虚拟照相机71的视场中在当前聚焦窗口的左侧有一个窗口时,该窗口被当作新的聚焦窗口,并且虚拟照相机71被移动到与新的聚焦窗口直接相对的位置处。
同时,当在过程206中确定发生目录显示并且在当前聚焦窗口的同一行的左侧存在一个窗口时,该窗口被当作新的聚焦窗口。另一方面,当在当前聚焦窗口的同一行的左侧没有窗口时,确定在当前聚焦窗口的上方(即,在虚拟照相机71的视场中的上部区域)是否显示有任何窗口。如果在所关注的区域中显示有任何窗口,则在当前聚焦窗口上方的行的右端的窗口被选为新的聚焦窗口。当聚焦窗口已经是目录中的最上方和最左端窗口时,不能响应于倾斜操作而实现聚焦窗口切换。
返回过程205,当确定x轴方向上的倾斜角θy不小于预定的第三角度阈值θyth3(θyth3<0)时,CPU 11随后确定x轴方向上的倾斜角θy是否超过预定的第四角度阈值θyth4(θyth4>0)(过程207)。当倾斜角θy超过预定的第四角度阈值θyth4时,确定控制器4向右倾斜一个超过预定角度阈值的角度,并且CPU 11执行按预定选择顺序选择一个窗口作为聚焦窗口的过程(聚焦标签切换过程)(过程208)。在上文中,取决于是否发生目录显示而执行不同的过程。具体而言,当不发生目录显示并且在虚拟照相机71的视场中在当前聚焦窗口的右侧有一个窗口时,该窗口被当作新的聚焦窗口,并且虚拟照相机71被移动到与新的聚焦窗口直接相对的位置处。
同时,当在过程208中确定发生目录显示并且在当前聚焦窗口的同一行的右侧存在一个窗口时,该窗口被当作新的聚焦窗口。另一方面,当在当前聚焦窗口的同一行的右侧没有窗口时,确定在当前聚焦窗口的下方(即,在虚拟照相机71的视场中的下部区域)是否显示有任何窗口。如果在所关注的区域中显示有任何窗口,则在当前聚焦窗口下方的行的左端的窗口被选为新的聚焦窗口。当聚焦窗口已经是目录中的最下方和最右端窗口时,不能响应于倾斜操作而实现聚焦窗口切换。
上述控制器4有利于利用倾斜操作来实现显示窗口(标签)切换操作。
应当注意,第一至第四角度阈值并不一定是相同的。例如,在出于某种原因倾斜控制器4远离控制器4的用户的操作并不像倾斜控制器4靠近用户的操作一样容易的情况下,与倾斜控制器4远离用户的操作有关的第一角度阈值的绝对值|θxth1|可以被定义为小于第二角度阈值的绝对值|θxth2|。
CPU 11在过程206和208之后可以等待预定的时间段,而不是简单地结束该过程,并且重复过程201和其后的过程。等待时间可以根据通过从倾斜角θy减去一个角度阈值(过程206中的第三角度阈值θyth3和过程208中的第四角度阈值θyth4)而获得的值的绝对值的倒数定义(例如,等待时间可以通过将该倒数乘以预定常数来定义)。利用以上配置,聚焦窗口切换速度(或标签切换速度)可以根据倾斜角来控制。具体而言,聚焦窗口对于较小的倾斜角切换得相对较慢,而对于大倾斜角切换得相对较快。
另外,虚拟照相机71可以在虚拟空间5中根据控制器4自身的倾斜而移动。例如,当控制器4向右倾斜时,虚拟照相机71可以相对于其视向向右移动。当控制器4靠近其用户倾斜时,虚拟照相机71相对于其视向向上移动。在上文中,移动速度可以取决于倾斜大小(角度)而改变。例如,倾斜角θ越大,虚拟照相机71每单位时间移动的量(即,移动速度)Δx、Δy就越大。
例如,在按下向下方向键的情况下,虚拟照相机71可以向远离窗口的方向移动,从而放大其视场。在按下向上方向键的情况下,虚拟照相机71可以向靠近窗口的方向移动。根据上述操作方法,与使用十字键来在虚拟空间5中移动对象的操作方法相比,用户可以体验到自由的感觉,就好像在虚拟空间5中浮动一样,并且因而可以直观地进行操作。
应当注意,尽管在上文中描述了根据控制器4相对于预定参照状态(例如,处于水平位置的控制器4)的倾斜角来执行操作的例子,但是可以获得在形成在控制器4上的任何键(下文中称为倾斜指令键)被按下时的角度值θx0、θy0,并且可以利用倾斜角θxd、θyd按下式计算倾斜角:
θx=θxd-θx0
θy=θyd-θy0
其中倾斜角θxd、θyd是使用角度值θx0、θy0作为参照而确定的。
或者,只有当倾斜指令键保持按下时,才可以接受通过倾斜控制器4执行的操作。
倾斜指令键可以例如是图25中所示的键A至D和方向键中的任何一个。
控制器4上的各个键被由信息显示设备1执行的程序分配各自的功能(例如,响应于键B被按下而承认点击应用),尽管倾斜指令键可以与任何其他功能保持自由。
或者,倾斜指令键可以被分配另一种功能。例如,假定键A被分配一种用于显示示出虚拟照相机71在虚拟空间5中的位置的地图的功能(地图显示功能)。在上文中,可以配置使得在键A保持按下的同时虚拟照相机71可以响应于控制器4的倾斜而在虚拟空间5中移动。倾斜指令键可以不总是单个键。例如,尽管被分配以地图显示功能的键A被用作倾斜指令键,但是任何其他键(例如,键C)也可以排它地用作倾斜指令键。另外,当在控制器4的侧面上形成有任何键时(不仅是左/右侧面,而且是相对于控制器4的用户而言控制器4的远近侧面),该侧面键可以用作倾斜指令键。

Claims (3)

1.一种信息显示设备,包括:
(a)虚拟空间设置单元,用于在三维虚拟空间中设置每个具有绘制在其表面上的显示目标信息的多个窗口以及虚拟照相机;
(b)三维绘制处理单元,用于绘制包含在虚拟照相机的聚焦区域中的窗口的图像;
(c)信息显示单元,用于在所述多个窗口中分别显示所述显示目标信息;
(d)程序处理单元,用于运行程序数据,并保存在程序数据的运行中所必需的数据以便与输入的窗口标识符相关联,并输出要通知给用户的通知信息和窗口标识符;
(e)通知信息显示单元,用于从程序处理单元接收显示与运行中的程序数据相关联的显示目标信息的窗口的窗口标识符以及通知信息,并确定与窗口标识符相关联的窗口作为聚焦窗口,然后以与其他窗口相区分的方式显示聚焦窗口,并且还显示通知信息;
(f)目录显示单元,用于接收将所述多个窗口显示为目录的指令,并且用于通过指示所述虚拟空间设置单元按预定方式重排列所述多个窗口以及改变所述虚拟照相机的位置使得显示所述三维虚拟空间中的所有窗口来将所述多个窗口显示为目录;以及
(g)执行单元,用于在目录显示发生时接收利用在任何一个窗口中显示的显示目标信息发出的指令操作,并执行基于所述指令操作的处理过程。
2.一种信息显示设备,包括:
(a)虚拟空间设置单元,用于在三维虚拟空间中设置每个具有绘制在其表面上的显示目标信息的多个窗口以及虚拟照相机;
(b)三维绘制处理单元,用于绘制包含在虚拟照相机的聚焦区域中的窗口的图像;
(c)信息显示单元,用于在所述多个窗口中分别显示所述显示目标信息;
(d)程序处理单元,用于运行程序数据,并保存在程序数据的运行中所必需的数据以便与输入的窗口标识符相关联,并输出要通知给用户的通知信息和窗口标识符;
(e)通知信息显示单元,用于从程序处理单元接收显示与运行中的程序数据相关联的显示目标信息的窗口的窗口标识符以及通知信息,并确定与窗口标识符相关联的窗口作为聚焦窗口,然后以与其他窗口相区分的方式显示聚焦窗口,并且还显示通知信息;
(f)目录显示单元,用于接收将所述多个窗口显示为目录的指令,并且用于通过指示所述虚拟空间设置单元按预定方式重排列所述多个窗口以及改变所述虚拟照相机的位置使得显示所述三维虚拟空间中的所有窗口来将所述多个窗口显示为目录;以及
(h)执行单元,用于在目录显示发生时接收指令操作并执行基于该指令操作的处理过程,所述指令操作是利用在任一个窗口中显示的显示目标信息发出的,并且是与选择目录显示中的任一个窗口的操作分开定义的。
3.如权利要求1或2所述的信息显示设备,该信息显示设备被连接到能够确定与前后方向和左右方向中的至少一个有关的倾斜角的控制器,所述信息显示设备用于基于由所述控制器确定的与前后方向和左右方向中的至少一个有关的倾斜角来确定所述指令操作是否被发出,并用于接收所述指令操作。
CN2007800008726A 2006-05-02 2007-01-10 信息显示设备 Active CN101341463B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP128726/2006 2006-05-02
JP2006128726 2006-05-02
JP167594/2006 2006-06-16
JP2006167594A JP4688739B2 (ja) 2006-05-02 2006-06-16 情報表示装置
PCT/JP2007/050134 WO2007129481A1 (ja) 2006-05-02 2007-01-10 情報表示装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN2011101953364A Division CN102306158B (zh) 2006-05-02 2007-01-10 信息显示设备

Publications (2)

Publication Number Publication Date
CN101341463A CN101341463A (zh) 2009-01-07
CN101341463B true CN101341463B (zh) 2011-09-07

Family

ID=38667593

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2007800008726A Active CN101341463B (zh) 2006-05-02 2007-01-10 信息显示设备
CN2011101953364A Active CN102306158B (zh) 2006-05-02 2007-01-10 信息显示设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2011101953364A Active CN102306158B (zh) 2006-05-02 2007-01-10 信息显示设备

Country Status (5)

Country Link
US (3) US20090295812A1 (zh)
JP (1) JP4688739B2 (zh)
KR (1) KR20090004849A (zh)
CN (2) CN101341463B (zh)
WO (1) WO2007129481A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4971203B2 (ja) * 2008-01-07 2012-07-11 株式会社エヌ・ティ・ティ・ドコモ 情報処理装置及びプログラム
JP5253937B2 (ja) 2008-09-08 2013-07-31 株式会社エヌ・ティ・ティ・ドコモ 情報処理装置及びプログラム
WO2010108499A2 (en) * 2009-03-22 2010-09-30 Algreatly Cherif Atia 3d navigation method and system
US20140152628A1 (en) * 2009-10-06 2014-06-05 Cherif Atia Algreatly Computer input device for hand-held devices
JP5691333B2 (ja) * 2010-09-15 2015-04-01 日本電気株式会社 情報処理装置、情報処理システム、および情報処理装置のプログラム
JP5565258B2 (ja) * 2010-10-12 2014-08-06 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP5538483B2 (ja) 2012-06-29 2014-07-02 株式会社ソニー・コンピュータエンタテインメント 映像処理装置、映像処理方法、および映像処理システム
JP5696908B2 (ja) * 2013-02-15 2015-04-08 コニカミノルタ株式会社 操作表示システム
US10152540B2 (en) * 2014-10-10 2018-12-11 Qualcomm Incorporated Linking thumbnail of image to web page
CN106951139A (zh) * 2017-03-13 2017-07-14 海信集团有限公司 消息提示框显示方法及装置
US20180284954A1 (en) * 2017-03-30 2018-10-04 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Identifying a target area to display a popup graphical element
CN108804975A (zh) * 2017-04-27 2018-11-13 丽宝大数据股份有限公司 唇彩指引装置及方法
EP3435250A1 (en) * 2017-07-27 2019-01-30 Vestel Elektronik Sanayi ve Ticaret A.S. Method, apparatus and computer program for overlaying a web page on a 3d object
JP6797332B2 (ja) * 2018-07-30 2020-12-09 三菱電機株式会社 割り込み制御装置、割り込み制御方法および割り込み制御プログラム
JP7307568B2 (ja) 2019-03-20 2023-07-12 任天堂株式会社 画像表示システム、画像表示プログラム、表示制御装置、および画像表示方法
US11263766B1 (en) 2021-07-15 2022-03-01 Weta Digital Ltd. Smoothly changing a focus of a camera between multiple target objects

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1401461A (zh) * 2001-08-07 2003-03-12 株式会社三协精机制作所 机器手的定位方法及其装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05224861A (ja) 1991-03-28 1993-09-03 Toshiba Syst Kaihatsu Kk マルチウインドウシステム
JP3705826B2 (ja) 1993-03-17 2005-10-12 株式会社日立製作所 仮想3次元ウインドウ表示制御方法
US5751283A (en) * 1996-07-17 1998-05-12 Microsoft Corporation Resizing a window and an object on a display screen
JPH10283158A (ja) * 1997-02-04 1998-10-23 Fujitsu Ltd ウィンドウの立体表示装置及びその方法
JP2000200131A (ja) 1999-01-05 2000-07-18 Canon Inc 三次元画像生成システムおよび三次元画像生成方法
JP2001175239A (ja) * 1999-12-21 2001-06-29 Canon Inc マルチ画面表示装置、マルチ画面表示システム、マルチ画面表示方法、及び記憶媒体
JP3494967B2 (ja) * 2000-09-12 2004-02-09 株式会社デジタル 制御システム、および、そのプログラムが記録された記録媒体
JP2002342377A (ja) * 2001-05-18 2002-11-29 Lexi:Kk ウェブページ閲覧プログラム
JP3982288B2 (ja) 2002-03-12 2007-09-26 日本電気株式会社 三次元ウィンドウ表示装置、三次元ウィンドウ表示方法及び三次元ウィンドウ表示プログラム
US7589732B2 (en) * 2002-11-05 2009-09-15 Autodesk, Inc. System and method of integrated spatial and temporal navigation
DE60228456D1 (de) 2002-11-06 2008-10-02 Lp Holding Aps Herstellungsverfahren für ein Werbeplakat
AU2003288667A1 (en) * 2003-01-14 2004-08-10 Koninklijke Philips Electronics N.V. Rearranging views on a computer screen
US8127248B2 (en) * 2003-06-20 2012-02-28 Apple Inc. Computer interface having a virtual single-layer mode for viewing overlapping objects
US8237712B2 (en) 2004-03-18 2012-08-07 Apple Inc. Manipulation of image content using various image representations
JP4111518B2 (ja) * 2004-07-29 2008-07-02 キヤノン株式会社 画像表示装置及びその制御方法
US8418075B2 (en) 2004-11-16 2013-04-09 Open Text Inc. Spatially driven content presentation in a cellular environment
JP4791852B2 (ja) * 2006-02-27 2011-10-12 任天堂株式会社 ゲーム装置、ゲームプログラムおよびゲーム制御方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1401461A (zh) * 2001-08-07 2003-03-12 株式会社三协精机制作所 机器手的定位方法及其装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JP特开2002-91560A 2002.03.29
JP特开2003-271279A 2003.09.26

Also Published As

Publication number Publication date
US20120075295A1 (en) 2012-03-29
JP4688739B2 (ja) 2011-05-25
US8773472B2 (en) 2014-07-08
US20090295812A1 (en) 2009-12-03
CN102306158B (zh) 2013-10-16
CN102306158A (zh) 2012-01-04
US20120075344A1 (en) 2012-03-29
CN101341463A (zh) 2009-01-07
JP2007323618A (ja) 2007-12-13
US9047389B2 (en) 2015-06-02
KR20090004849A (ko) 2009-01-12
WO2007129481A1 (ja) 2007-11-15

Similar Documents

Publication Publication Date Title
CN101341463B (zh) 信息显示设备
CN102141885B (zh) 图像处理设备和图像处理方法
US20100134416A1 (en) System and method of tactile access and navigation for the visually impaired within a computer system
CN102057347A (zh) 图像识别装置、操作判断方法及程序
CN106371075A (zh) 船舶用信息显示装置以及船舶用信息显示方法
JP2013080326A (ja) 画像処理装置、画像処理方法及びプログラム
CN102473322A (zh) 对象选择装置、对象选择程序及对象选择方法
CN105814532A (zh) 用于三维对象显示的方法
JP2013512480A (ja) 端末の角度に応じて互いに異なる映像情報を提供するための方法、端末およびコンピュータ読取可能な記録媒体
JP5987780B2 (ja) 情報処理装置及び情報処理プログラム
JP2014110037A (ja) 情報処理プログラム、表示制御装置、表示システム及び表示方法
KR20150021132A (ko) 요소 선택 장치, 요소 선택 방법 및 프로그램
US20040212626A1 (en) System and a method for user interaction
CN111061381A (zh) 屏幕全局输入控制***及方法
CN111338721A (zh) 在线交互方法、***、电子设备和存储介质
KR20130016432A (ko) 웹 관리 장치, 웹 관리 방법, 웹 관리 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체, 및 웹 시스템
CN112948049B (zh) 多内容并行显示的方法、装置、终端及存储介质
KR20180088005A (ko) Vr 영상 저작 도구 및 vr 영상 저작 장치
CN102640099B (zh) 对象处理装置和对象选择方法
JP5800386B2 (ja) 地図表示装置、地図表示方法、およびプログラム
US10867445B1 (en) Content segmentation and navigation
JP5337422B2 (ja) 地図表示装置および方法
US20240160294A1 (en) Detection processing device, detection processing method, information processing system
CN108388391B (zh) 部件显示方法、***、增强现实显示装置和计算机介质
JP2017228186A (ja) 視点場候補提示プログラム及び視点場候補提示装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant