CN113168340A - 信息处理***以及信息处理方法 - Google Patents

信息处理***以及信息处理方法 Download PDF

Info

Publication number
CN113168340A
CN113168340A CN202080006810.1A CN202080006810A CN113168340A CN 113168340 A CN113168340 A CN 113168340A CN 202080006810 A CN202080006810 A CN 202080006810A CN 113168340 A CN113168340 A CN 113168340A
Authority
CN
China
Prior art keywords
information
information processing
software
user terminal
window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080006810.1A
Other languages
English (en)
Other versions
CN113168340B (zh
Inventor
小川枫太
玉田晃宽
皆川大树
落合纯矢
樱井拓也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Black Co ltd
Original Assignee
Black Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Black Co ltd filed Critical Black Co ltd
Publication of CN113168340A publication Critical patent/CN113168340A/zh
Application granted granted Critical
Publication of CN113168340B publication Critical patent/CN113168340B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/08—Cursor circuits
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/22—Setup operations, e.g. calibration, key configuration or button assignment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/335—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using Internet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/533—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1018—Calibration; Key and button assignment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1068—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad
    • A63F2300/1075—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad using a touch screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/308—Details of the user interface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/027—Arrangements and methods specific for the display of internet documents
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/391—Resolution modifying circuits, e.g. variable screen formats
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

信息处理***(100)具有：事件信息处理部(130)，将通过用户终端(900)的浏览器上的操作而生成的事件信息向通过在能够与用户终端通信的计算机上执行的软件(150)规定的信息进行转换；以及信息输入部(140)，将由事件信息处理部(130)所转换的信息输入至软件。

Description

信息处理***以及信息处理方法
技术领域
本发明例如涉及信息处理***以及信息处理方法，其包括能够从用户终端远程操作被搭载在能经由网络连接的计算机中的应用程序的结构。
背景技术
在计算机上执行的软件被分类为单机型应用程序(standalone application)、本地(native)应用程序、Web(网页)应用程序等。
单机型应用程序仅在所搭载的计算机的运算装置上被执行。本地应用程序是所安装的计算机内的运算装置直接进行运算处理的类型的应用程序。单机型应用程序以及本地应用程序无需网络环境即可被执行。但是，在本地应用程序中，在应用程序的执行中的各阶段，也存在根据需要进行通信的情况(专利文献1)。
Web应用程序是在网络上的服务器中进行与应用程序有关的运算处理的类型的应用程序。在Web应用程序中，使用应用程序的用户使用的用户终端主要进行与Web应用程序有关的输入输出。在Web应用程序的操作中需要能够与网络连接的网络环境(专利文献2)。
先行技术文献
专利文献
专利文献1：日本特开2016－053969号
专利文献2：日本特表2015－525085号
发明内容
单机型应用程序或者本地应用程序基本上是在用户终端被本地执行。因此，单机型应用程序或者本地应用程序的执行性取决于用户终端的操作***(OS)的种类或版本。
因此，应用程序的开发者通常需要根据所使用的OS的种类或版本来制造多个版本的应用程序。特别是若更新用户终端的OS的版本，则有时无法保证这种应用程序的实效性。
另外，也考虑将现有的单机型应用程序或者本地应用程序转换为Web应用程序的类型，但这样的改变花费制造期间或制造成本。
鉴于上述背景，期望一种尽可能不依赖于OS的种类或版本等就能够更通用地执行现有的软件的结构。
一个方式中的信息处理***具有：事件信息处理部，将通过所述用户终端的所述Web浏览器上的操作而生成的事件信息向由所述游戏软件规定的信息进行转换，所述游戏软件在能够与所述用户终端进行通信的计算机上被执行；以及信息输入部，将由所述事件信息处理部所转换的所述信息输入至所述游戏软件。
另一方式中的信息处理***是包括计算机的信息处理***，所述计算机能够与用户终端进行通信并执行从所述用户终端被远程操作的软件，所述信息处理***具有：图像处理部，获取通过所述软件的执行而生成的窗口的图像；以及图像传送部，使由所述图像处理部获取到的图像显示于所述用户终端的浏览器的显示区域。
一个方式中的信息处理方法包括计算机执行：事件信息处理步骤，将通过所述用户终端的所述Web浏览器上的操作而生成的事件信息向由所述游戏软件规定的信息进行转换，所述游戏软件在能够与所述用户终端进行通信的计算机上被执行；以及信息输入步骤，将通过所述事件信息处理步骤所转换的所述信息输入至所述游戏软件。
一个方式中的信息处理方法包括计算机执行：图像处理步骤，获取通过执行从用户终端被远程操作的软件而生成的窗口的图像；以及图像传送步骤，使通过所述图像处理步骤获取到的图像显示于所述用户终端的浏览器的显示区域。
一个方式中的程序是使计算机执行上述的信息处理方法的程序、以及/或者存储了该程序的存储介质。
附图说明
图1是表示第一实施方式中的信息处理***的结构的框图。
图2是在用户终端的浏览器上显示的软件窗口图像的一个例子。
图3是用于说明事件信息处理部的信息处理的一个例子的图。
图4是表示包括多个软件窗口的本来的窗口显示的示意图。
图5是表示显示包括图4的多个软件窗口的软件窗口图像的用户终端的示意图。
图6是表示第二实施方式中的信息处理***的结构的框图。
图7是表示第一模式下的用户终端的示意图。
图8是表示第二模式下的用户终端的示意图。
具体实施方式
以下，参照附图，对实施方式进行说明。在以下的附图中，对相同或者类似的部分附加相同或者类似的附图标记。
(第一实施方式)
图1是表示第一实施方式中的计算机***的结构的框图。图2是在用户终端的浏览器上显示的软件窗口图像的一个例子。
信息处理***100可以具有：图像处理部110、图像传送部120、事件信息处理部130、信息输入部140以及被安装的软件150。
在图1中，虽然被描绘为信息处理***100包括图像处理部110、图像传送部120、事件信息处理部130、信息输入部140以及软件150这些全部，但这些构成要素可以设置于分别不同的计算机。即，信息处理***100也可以构成分散型的计算机***。
用户终端900只要是能够与网络连接的计算机则没有特别限制。用户终端900也可以是个人计算机或者智能手机那样的移动终端等。
用户终端900能够经由网络与信息处理***100连接。信息处理***100和用户终端900能够经由网络相互发送/接收数据。网络可以是各种网络(以下，仅称为“网络”。)，例如因特网、外联网(extranet)、或者局域网。
信息处理***100是能够执行搭载在该信息处理***中的软件150的计算机。也可以在信息处理***100中搭载一个或者多个软件。
搭载在信息处理***100中的软件可以是单机型应用程序、本地应用程序、或者在线型的应用程序。优选软件是单机型应用程序或者本地应用程序。
特别是，该软件150可以是本来在所搭载的计算机上***作的软件。换言之，软件也可以是本来安装在使用软件的用户直接操作的计算机上的类型的软件。该情况下，通常若执行软件，则在与安装有该软件的计算机连接的显示器上显示软件窗口(由软件直接规定的窗口)，并通过鼠标、触摸面板等的操作在软件窗口上执行由软件规定的操作。
但是，在本实施方式中，通过网络从用户终端900操作在构成信息处理***100的计算机中安装的软件150。更具体而言，经由网络从用户终端900的浏览器操作该软件150。用户终端900的浏览器可以是Web浏览器。
被搭载的软件150例如可以是游戏软件。该情况下，用户能够从用户终端900的Web浏览器通过网络远程操作游戏。由此，用户能够在Web浏览器上畅享游戏。
此外，在信息处理***100中搭载有多个软件的情况下，优选用户能够从用户终端900的Web浏览器选择多个软件中的一个并执行。
图像传送部120将通过软件150的执行而生成的图像信息传送给用户终端900。即，图像传送部120通过在信息处理***100上执行的软件150将通常应显示的窗口的图像传送给用户终端900。由此，将相当于软件窗口的图像(以下，有时称为“软件窗口图像”。)显示在用户终端900的Web浏览器上。此处，设定“图像”不仅是静态图像还包括如映像那样的动态图像。
如后述那样，通过由图像处理部110获取(捕捉)了的区域的图像来规定软件窗口图像。优选，软件窗口图像是相当于软件窗口的客户端区域的图像。此处，软件窗口图像被显示于Web浏览器内的例如由视频标签规定的显示区域。
一般地，在软件执行时应显示的软件窗口包括如按键、复选框那样用于在窗口上实现各种操作的项目。然而，在本实施方式中，图像传送部120基本上将应显示在窗口内的图像作为图像信息(动态图像信息)传送给用户终端900。
图2是在用户终端900的浏览器800上显示的软件窗口图像的一个例子。如图2所示，在用户终端900的Web浏览器800上显示图像。在该图像内显示规定的按键810、820、830的图像。
此处，在用户的Web浏览器800上显示的图像是作为图像信息(动态图像信息)被传送的图像。即，即使在用户终端900的Web浏览器上显示的软件窗口图像内有相当于按键810、820、830的图像，这些按键810、820、830的图像也不具有按键本来的功能。
图像传送部120对图像的传送能够通过任意的公知方法执行。优选通过规定的方法对应传送的图像信息(动态图像信息)进行编码。被编码的图像信息由用户终端900解码。优选，基于用户终端900的Web浏览器800的分辨率与软件窗口的分辨率的比率，根据Web浏览器800的尺寸来调整图像信息，并显示于Web浏览器。由此，不管用户终端900的Web浏览器800上的分辨率的大小的差异如何，都能够在Web浏览器800上显示整个软件窗口。
通过用户终端900侧的输入装置的操作而生成的事件信息经由网络被发送给事件信息处理部130。事件信息处理部130通过指定的规定转换从用户终端900接收到的事件信息。此处，输入装置的操作有指针操作、触摸面板操作或者键盘操作等。
由事件信息处理部130所转换的信息通过信息输入部140被输入给软件150。由此，基于从用户终端900发送来的事件信息，远程操作在用户终端900的Web浏览器显示中的软件窗口图像所对应的软件150。
此处，指针(pointer)操作例如可以是基于鼠标或者触摸面板的指针的操作，但并不限于此。指针操作包括指针位置的移动，或者规定的位置的指针的点击(click)操作或轻击(tap)操作等。
在用户终端900具有触摸面板功能的情况下，能够执行触摸面板操作。触摸面板操作可以是滑动操作、轻击操作等。
此处，通过指针操作或者触摸面板操作而生成的事件信息包括用于确定指针的位置或者触摸位置的位置信息(位置坐标)。该位置信息通常由用户终端900的屏幕上的位置坐标或者用户终端900的Web浏览器800上的位置坐标构成。因此，该位置坐标通常由二维的数字规定。
在本实施方式中，事件信息处理部130获取由用户终端900使用的Web浏览器上的指针位置或者触摸位置的位置坐标。此处，在用户终端900的Web浏览器800上生成的事件信息有时以原样的形态不能被输入至信息处理***100的软件150。
例如，用户终端900的Web浏览器800上的位置坐标与软件窗口上的位置坐标不相同。这起因于用户终端900的Web浏览器800的分辨率与由软件150规定的窗口的分辨率不同。
(位置坐标的转换)
以下，对来自用户终端900的事件信息的处理的流程的具体的一个例子进行说明。
首先，事件信息处理部130从用户终端900接收事件信息。事件信息例如是通过指针操作或者触摸操作而生成的信息。
也可以按规定的时间间隔定期地接收事件信息。该情况下，例如，事件信息处理部130按0.01秒～1.00秒左右的间隔定期地接受事件信息即可。取而代之，事件信息处理部130也可以在发生事件时接受事件信息。该情况下，事件的发生例如可以是指针的点击动作或者触摸面板的触摸动作等。
通过指针操作或者触摸操作而生成的事件信息包括指针位置或者触摸位置的位置坐标(dux，duy)。用户终端900根据需要将位置坐标(dux，duy)转换为除以Web浏览器上的分辨率(DUx，DUy)得到的标准化的位置坐标。由此，指针位置或者触摸位置的位置坐标被标准化为不依赖于Web浏览器800的分辨率的大小的值(dux/DUx，duy/DUy)。
首先，事件信息处理部130从用户终端900接受标准化的位置坐标作为事件信息。
接下来，事件信息处理部130基于软件窗口的分辨率(DEx，DEy)将标准化的位置坐标转换为窗口上的位置坐标。
具体而言，事件信息处理部130将软件窗口的分辨率(DEx，DEy)乘以标准化的位置坐标(dux/DUx，duy/DUy)。由此，获得软件窗口上的位置坐标(dux＊DEx/DUx，duy＊DEy/DUy)。
接下来，信息输入部140将由事件信息处理部130所转换的位置坐标(dux＊DEx/DUx，duy＊DEy/DUy)输入至软件150。由此，假设软件150在转换后的位置坐标(dux＊DEx/DUx，duy＊DEy/DUy)发生事件，进行该处理。
如前述那样，事件信息处理部130基于Web浏览器800的分辨率与软件窗口的分辨率的比率，将用户终端900的Web浏览器800上的位置坐标转换为与软件窗口有关的位置坐标。由此，即使伴随用户终端900的Web浏览器800与软件窗口之间的分辨率的不同而在指针、触摸等事件发生位置的坐标发生偏离，事件信息处理部130也能够修正该位置坐标偏离。
更具体而言，事件信息处理部130根据传送给用户终端900的图像信息的调整的比率将用户终端900的Web浏览器800上的位置坐标转换为与软件窗口有关的位置信息。由此，显示在用户终端900的Web浏览器800的图像中的特定的位置与软件窗口中的对应的位置一致。
参照图3，对事件信息处理部130的一个例子进行说明。在图3中，用户终端900的Web浏览器800的分辨率为(1440，1080)。另一方面，软件窗口的分辨率为(800，600)。
此处，假设在用户终端900中，在Web浏览器800上的特定的位置坐标例如(360，500)点击指针850。该情况下，事件信息处理部130从用户终端900接受标准化的位置坐标(360/1440，500/1080)。
事件信息处理部130将软件窗口的分辨率(800，600)乘以标准化的位置坐标(360/1440，500/1080)。由此，事件信息处理部130生成转换后的位置坐标(360＊800/1440，500＊600/1080)。由此，Web浏览器800上的指针的位置850被映射到软件窗口上的位置坐标(200，278)(图中的附图标记250的位置)。此外，在没有进行基于事件信息处理部130的位置坐标的转换的情况下，如图3所示，Web浏览器上的位置坐标会表示在软件窗口上完全不同的位置坐标(360，500)(图中的标记350的位置)。
如前述那样，信息输入部140将在由事件信息处理部130所转换的位置坐标发生了事件这样的信息输入至软件150。因此，通过用户在显示于Web浏览器800的按键的图像810、820、830的位置点击操作或者触摸操作指针，从而软件150识别为在软件窗口的按键的位置被点击或者触摸。
由此，软件开始与按键被点击或者触摸时同样的处理。这样，用户能够从用户终端900的Web浏览器800远程操作软件150。
此外，在前述的例子中，对通过指针的点击操作或触摸面板的触摸操作生成的位置信息进行了说明。并不限于此，事件信息处理部130通过同样的手法将从用户终端900获取到的与Web浏览器800上的位置坐标有关的信息转换为软件窗口上的对应的位置坐标即可。而且，信息输入部140将在由事件信息处理部130所转换的位置坐标发生事件这样的信息输入至软件150即可。
作为生成那样的位置坐标的事件信息的例子，列举通过鼠标的指针操作、点击操作(例如左击或右击)、双击操作、长按操作、触摸面板的触摸操作、滑动操作、长按操作而生成的事件信息等。
在前述的位置坐标的转换的例子中，首先，用户终端900执行生成标准化的位置坐标(dux/DUx，duy/DUy)的处理。该处理不是必需的处理，根据需要执行即可。例如，如果从用户终端900向事件处理部130与Web浏览器的分辨率(DUx，DUy)的信息一起被发送，则最终应生成的转换后的位置坐标(dux＊DEx/DUx，duy＊DEy/DUy)能够由事件信息处理部130生成。
前述的Web浏览器(浏览器)上的位置坐标可以是以浏览器的原点(0，0)为原点规定的坐标，也可以是以浏览器上的前述的显示区域的原点(0，0)为原点规定的坐标。但是，在事件信息处理部130获取的位置坐标的坐标系的原点偏离由软件150规定的软件窗口的原点的情况下，在前述的基于分辨率的比率处理之前或者之后执行使原点一致的处理即可。
(事件信息所包含的开启(ON)信息和关闭(OFF)信息的处理)
接下来，对事件信息所包含的开启信息和关闭信息的处理的一个例子进行说明。
首先，事件信息处理部130从用户终端900接收事件信息。在本例中，事件信息例如是通过指针的点击操作或者触摸面板的触摸操作而生成的信息。通过这些操作而生成的事件信息包括Web浏览器上的位置坐标。因此，对于该位置坐标，由事件信息处理部130与前述的方法同样地转换即可。
以下，对在事件信息处理部130按规定的时间间隔定期地接受事件信息的情况下，对是否点击了指针或者是否触摸了触摸面板进行判定的处理进行说明。
该情况下，用户终端900按规定的间隔向事件信息处理部130发送表示点击了指针或者触摸了触摸面板的开启信息、和表示未点击或者未触摸的关闭信息。规定的间隔可以是0.01秒～1.00秒左右的间隔。
接下来，事件信息处理部130在接收到关闭信息后初次接收了开启信息的情况下，生成已被按下这样的信息。由事件信息处理部130生成的该信息通过信息输入部140被输入至软件150。软件150接收已被按下这样的信息，伴随所输入的信息，继续进行处理。
事件信息处理部130在连续接受开启信息的期间不生成被按下或者被释放这样的信息。换言之，在事件信息处理部130连续接受开启信息的期间中，软件150未接受被点击或者被触摸这样的信息，不继续进行基于点击或者触摸的处理。
同样地，事件信息处理部130在接收到开启信息后初次接收了关闭信息的情况下，在软件150生成点击或者触摸被释放这样的信息。这样，优选，信息输入部140在接收到开启信息后接收了关闭信息的情况下，或者在接收到关闭信息后接收了开启信息的情况下，向软件150输入表示输入装置的操作有变更的信息。
在事件信息处理部130按规定的时间间隔定期地接受事件信息的情况下，在用户按下或者释放指针或者触摸面板的期间中，事件信息处理部130继续接受开启信息或者关闭信息。因此，若在每次事件信息处理部130接受开启信息或者关闭信息时，向软件150发送被按下或者被释放这样的信息，则会误识别为软件150被多次按下或者被多次被释放。在上述方式中，由于在接收到开启信息后仅一次判定为被点击或者被触摸，所以能够抑制这样的误识别。
此外，代替上述的处理，信息输入部140也可以将从输入装置接收到的开启信息或者关闭信息保持原样地输入至软件150。开启信息或者关闭信息的处理可以根据输入装置的种类等进行变更。
另外，当事件信息处理部130接收到开启信息后规定的数秒内未接收到开启信息或关闭信息的情况下，事件信息处理部130视为接收到关闭信息并进行处理即可。这会发生在用户终端900的连接中断的情况等。优选，事件信息处理部130在这样不能够半永久性地接受关闭信息的状况下，不继续开启信息的处理，而进行超时的处理。
在上述，已经对点击动作或者触摸动作进行了说明，但如果同样地进行基于开启信息和关闭信息的操作，则并不限于点击动作或者触摸动作。与前述的开启信息和关闭信息有关的处理也能够应用于如拖放那样的操作。即，前述的处理能够应用于使用生成包括开启信息和关闭信息的事件信息的输入装置的所有操作。作为那样的输入装置，列举鼠标、键盘、触摸面板等，但并不限于此。
(按键元素功能)
信息处理装置100也可以具有：按键元素显示部190，使与在Web浏览器上进行动作的编程语言建立关联的按键元素显示；以及按键信息转换部192，将通过按键元素显示部的操作而生成的事件信息转换为规定的信息。
在图2所示的例子，在软件窗口图像的正下面显示多个按键元素710、720、730。这些按键元素710、720、730与在Web浏览器上进行动作的编程语言例如JavaScript(注册商标)等建立关联。因此，若通过单击操作或者轻击操作等操作这些的按键元素710、720、730，则将按键元素710、720、730***作这样的信息发送至信息处理装置100。
此处，优选将与设置在如键盘那样的输入装置的按键中的任意一个建立对应的图像(包括字符)显示在按键元素710、720、730上。在图2所示的例子中，在按键元素710上显示“Esc”的字符。另外，在按键元素720上显示“Space”的字符。并且，在按键元素730上显示“Enter”的字符。
若按键元素710、720、730***作，则按键信息转换部192接受通过按键元素显示部的操作而生成的事件信息，即按键元素710、720、730***作这样的信息。
按键信息转换部192将该事件信息转换为通过按下设置于键盘的规定的按键而生成的事件信号。该转换的事件信号被输入至软件150。
此处，按键元素710、720、730与设置于键盘的规定的按键建立对应，按键信息转换部192将通过按键元素710的操作而生成的事件信息转换为通过按下对应的键盘的按键生成的事件信号。
由此，当用户在浏览器上操作按键元素710、720、730时，软件150视为发生与该按键元素对应的键盘事件，并进行该处理。
此外，在前述的例子中，虽然将按键元素710、720、730与键盘的按键建立对应，但并不限于此。按键元素710、720、730与任意的输入装置中的输入操作建立对应即可。
此外，在用户终端900具有键盘等物理的任意输入装置的情况下，也可以将来自输入装置的信号发送至信息处理***100，按键信息转换部192对发送到信息处理***100的信号进行与上述同样的处理，能够操作软件150。
(图像处理部)
接下来，对图像处理部110以及与图像处理部110相关的处理进行说明。图4是表示包括多个软件窗口的本来的窗口显示的示意图。图5是表示显示图4的多个软件窗口图像的用户终端侧的显示画面的示意图。
如图4所示，软件150也可以具有多个软件窗口500、520。该情况下，图像处理部110可以将多个软件窗口500、520的图像作为一个图像显示于用户终端900，所以执行规定的图像处理。
此外，一般地，软件窗口500具有窗口区域502和客户端区域504。窗口区域502是相当于窗口的框的部分，客户端区域504是相当于窗口区域502的内侧的区域。
以下，与图像处理部110的处理一起对传送多个软件窗口图像的顺序进行说明。
首先，图像处理部110获取软件具有的所有窗口(软件窗口)。在图像处理部110获取到多个软件窗口的情况下，图像处理部110将多个软件窗口中尺寸最大的软件窗口判断为主窗口。
接下来，图像处理部110根据需要转换主窗口的位置坐标的基点，以使主窗口位于画面的中央，由此能够使得主窗口不从画面脱离。在本段落中，“画面”可以是由软件150识别的虚拟的画面，其大小可以通过在执行软件时输入来决定。此处，图像处理部110转换主窗口的位置坐标的基点，以使主窗口位于画面的中央，但是并不限于此，只要转换主窗口的位置坐标的基点，以使主窗口不从画面脱离即可。
接下来，图像处理部110将主窗口的客户端区域设定为图像的获取区域(捕捉范围)。
接下来，图像处理部110变更副窗口的位置坐标，以使主窗口以外的副窗口位于主窗口的客户端区域的内侧。
在具体的一个例子中，图像处理部110变更副窗口的位置坐标，以使副窗口的中央与主窗口的客户端区域的中央相配合(对准)。尽管变更该位置坐标，但在副窗口比主窗口的客户端区域更向外侧突出的情况下，图像处理部110将图像的获取区域(捕捉范围)扩大副窗口突出的量即可。
图像处理部110获取上述的捕捉范围的图像信息作为一个图像。由此，图像处理部110获取主窗口和副窗口相互重叠的图像信息，作为应传送给用户终端900的图像。
图像传送部120将经过图像处理部110处理的图像传送给用户终端900即可。由此，在用户终端900显示图5所示的图像600。
按规定的时间间隔反复进行由图像处理部110进行的前述的处理即可。那样的规定的时间间隔例如可以是0.01秒～1.00秒的范围。
此外，在前述的图像处理部110的处理中，原则上主窗口的非客户端区域不传送给用户终端900。取而代之，主窗口的非客户端区域也可以传送给用户终端900。但是，为了防止显示用户终端900侧的浏览器的框和主窗口的窗口区域的框的图像这两方，优选图像处理部110仅将主窗口的客户端区域设为图像的获取范围。
此外，在软件150仅具有一个窗口的情况下，图像处理部110除了前述的与副窗口有关的处理之外，还执行同样的处理即可。即，图像处理部110将软件150具有的一个窗口规定为主窗口，优选将主窗口的客户端区域设定为捕捉范围即可。
根据前述的信息处理***100，用户能够从用户终端900的Web浏览器远程操作软件150。另外，能够通过伴随作为图像(动态图像)信息被传送的显示画面上的指针操作或触摸操作的事件信息来操作软件。因此，能够不依赖于搭载在用户终端900中的OS的种类、版本等而操作软件。
另外，如果创建在上述的实施方式中所说明的信息处理***100那样的平台，则不改变现有的软件而仅通过在信息处理***100加入现有的软件，用户便能够执行该软件。因此，软件的制造者不需要根据OS的种类、版本等改变现有的软件。
(第二实施方式)
图6是表示第二实施方式中的信息处理***的结构的框图。图7是表示第一模式中的用户终端的示意图。图8是表示第二模式中的用户终端的示意图。
在第二实施方式中，对与第一实施方式同样的结构附加相同的附图标记。另外，请注意，对于与第一实施方式同样的结构，有时省略其说明。
在第二实施方式中，用户终端900(计算机)包括具有触摸面板的显示画面。在图7以及图8中，用户终端900是智能手机，但并不限于此。请注意在图7以及图8中，在具有该触摸面板的显示画面显示有前述的软件窗口图像。
在第二实施方式中，用户终端900可选择地切换为不使指针显示的第一模式(图7)和使指针显示的第二模式(图8)。该切换可以构成为能够通过利用未图视的选择按键等的用户设定进行切换。
这样的切换可以通过安装在用户终端900中的应用程序来实现，也可以通过搭载在网络上的信息处理***100中的功能来实现。
图7所示的第一模式是通常的模式，将软件窗口图像显示于显示画面。用户通过如前述那样对显示图像的区域，即触摸面板的区域进行轻击操作或者滑动操作等，从而能够远程操作在信息处理***100中执行的软件150。
此处，即使用户在显示软件窗口图像的区域的外侧的区域进行轻击操作或者滑动操作等的情况下，事件信息处理部130也转换为与软件的操作有关的输入信号，然后信息输入部140向软件150输入该输入信号即可。
具体而言，事件信息处理部130首先接受通过用户终端900的触摸面板的轻击操作或者滑动操作生成的事件信息。如第一实施方式中所说明那样，事件信息处理部130根据Web浏览器与软件窗口的分辨率的比率转换该事件信息所包含的Web浏览器中的位置坐标。
在转换后的位置坐标脱离软件窗口的区域的情况下，事件信息处理部130将该事件信息转换为规定的输入信号。
此处，优选规定的输入信号是与软件窗口的位置坐标没有关系的信号。作为那样的输入信号，例如列举键盘信号。优选，规定的输入信号特别是应通过键盘信号中使用频度高的“Enter”按键生成的输入信号。
在上述说明中，用户在显示软件窗口图像的区域的外侧的区域中进行了轻击操作或者滑动操作等的情况下，事件信息处理部130进行位置坐标的转换的处理。取而代之，当用户在显示软件窗口图像的区域的外侧的区域进行了轻击操作或者滑动操作等的情况下，用户终端900可以将伴随该操作生成的事件信息转换为前述的规定的信号并发送至信息处理***100。该情况下，进行这样的处理的程序通过经由网络下载或者从CD－ROM那样的存储介质安装而设置于用户终端900即可。
由此，若用户操作例如轻击操作未显示用户终端900的软件窗口图像的区域，则视为进行了“Enter”那样的键盘操作，并进行软件的处理。因此，能够提高软件执行上的操作性。
图8所示的第二模式是使表示操作位置的指针890显示在软件窗口图像上的模式。为了该目的，信息处理装置100可以具备：管理指针的位置坐标的指针坐标处理部170、和使指针的图像890显示的指针显示部180。
如图8所示，指针坐标处理部170以及指针显示部180也可以设置于用户终端900。该情况下，指针坐标处理部170以及指针显示部180通过经由网络被下载或者从CD－ROM那样的存储介质安装而设置于用户终端900即可。
软件窗口图像仅显示在用户终端900的屏幕的一部分。另一方面，触摸面板中的可进行触摸操作的区域(图8中施加填充图案的区域R1)与软件窗口图像的显示区域不同。
优选，可进行触摸操作的区域R1的至少一部分存在于软件窗口图像的显示区域的外侧。在图8所示的例子中，可进行触摸操作的区域R1遍及软件窗口图像的显示区域和比软件窗口图像的显示区域更向下侧延伸突出的区域而延伸。
此处，指针坐标处理部170也可以基于指针的图像890的当前的位置坐标、以及通过触摸面板中的触摸操作生成的事件信息(位置坐标)来转换应使指针的图像890显示的位置坐标。
优选指针坐标处理部170基于用户终端900的触摸面板上的滑动操作使指针的图像890的位置移动。更具体而言，指针坐标处理部170根据基于滑动操作所生成的触摸位置的位置坐标的变化量从当前的位置坐标变更指针的位置即可。此处，优选指针的移动方向是与滑动操作的移动方向相同的方向。
以下，更详细地说明使指针的图像890移动的处理。
首先，指针坐标处理部170按规定的时间间隔定期地接受事件信息。规定的时间间隔可以是0.01秒～1.00秒左右的间隔。事件信息包括表示是否触摸了触摸面板的开启信息或者关闭信息、和表示开启信息中的触摸位置的位置坐标的信息。
优选，指针坐标处理部170在连续接收到开启信息的情况下，计算表示触摸位置的位置坐标的差分。在该差分为规定的像素以上的情况下，指针坐标处理部170判定为是滑动操作。另一方面，在该差分小于规定的像素的情况下，指针坐标处理部170判定为在相同的位置继续触摸。此处规定的像素例如可以是0～30像素。
若指针坐标处理部170判定为是滑动操作，则生成连续接收到的开启信息中的位置坐标的变化、即位置坐标彼此的方向以及距离所对应的差分矢量。此外，差分矢量能够由二维的数值规定。即，如果连续接收到的开启信息中的位置坐标的变化为X方向300像素、Y方向150像素，则差分矢量由(300，150)规定。
指针坐标处理部170基于该差分矢量来变更存储于存储部的指针的图像890的当前的位置坐标。更具体而言，指针坐标处理部170对指针的图像890的当前的位置坐标附加差分矢量即可。
指针显示部180基于这样变更后的位置坐标而使指针的图像890显示在用户终端900的浏览器上。此外，优选指针的图像890的位置坐标被限制为显示软件窗口图像的显示区域内的坐标。即，优选指针的图像890仅能够在显示软件窗口图像的显示区域内移动。
如前述那样，在可进行触摸操作的区域R1与软件窗口图像的显示区域不同的情况下，用户能够一边触摸与图像的显示区域不同的区域一边操作指针。即，用户能够进行指针操作而所显示的图像不会被手指遮挡。这样，尽管一般是具有不需要显示指针的图像的触摸面板的用户终端900，但通过显示指针850，能够通过指针操作进行软件的操作而图像不会被手指遮挡。
从这样的观点来看，优选可进行触摸操作的区域R1也存在于比软件窗口图像的显示区域更靠外侧。此外，可进行触摸操作的区域R1也可以与显示软件窗口图像的显示区域重复。
指针的图像890的位置的移动距离可以与基于滑动操作的移动距离相同，也可以比基于滑动操作的移动距离长，或者也可以比基于滑动操作的移动距离短。变化量也可以根据移动距离的大小而加速度地改变。在两方的移动距离相同的情况下，用户使手指移动想要使指针移动的距离即可，在感觉上容易明白操作多少即可。
在指针的图像890的位置的移动距离比基于滑动操作的移动距离长的情况下，用户使手指移动更短的距离即可，所有能够加快指针的操作速度。
在指针的图像890的移动距离比基于滑动操作的移动距离短的情况下，由于即使用户使手指移动较长的距离，指针的移动也较短，所以指针的位置的微调变得容易。这尤其对如智能手机那样画面较小的计算机有效。
优选相对于基于滑动操作的移动距离的指针的位置的移动距离或者移动的加速度可以通过用户的设定进行切换。这样的切换能够通过将由用户设定的规定的值乘以前述的差分矢量的处理来实现。
在第二实施方式中的第二模式下(参照图8)，事件信息处理部130如以下那样处理通过由用户进行的触摸操作生成的事件信息。在第二模式下，在进行了触摸操作时，事件信息处理部130接受指针890的位置坐标。
事件信息处理部130与第一实施方式同样地基于用户终端900的浏览器的分辨率与软件窗口的分辨率的比率转换该指针890的位置坐标。信息输入部140将这样转换后的位置坐标输入至软件150即可。
在前述的例子中，指针坐标处理部170以及指针显示部180被设置于用户终端900。取而代之，指针坐标处理部170和指针显示部180中的一方或者两方也可以设置在信息处理装置100即网络上。该情况下，可以在网络上管理应使指针的图像890显示的位置坐标。该情况下，除了经由网络通信通过用户的滑动操作发生的事件信息之外，还能够通过与前述大体同样的方法来变更应使指针的图像890显示的位置坐标。指针显示部180基于在该网络上管理的位置坐标使指针的图像890显示即可。
此外，在网络上管理应使指针的图像890显示的位置坐标的情况下，可以通过基于用户终端900的浏览器的分辨率所定义的位置坐标来管理该位置坐标，也可以通过基于软件窗口的分辨率所定义的位置坐标来管理该位置坐标。在通过基于软件窗口的分辨率所定义的位置坐标来管理应使指针的图像890显示的位置坐标的情况下，与第一实施方式的事件信息处理部130同样地，指针坐标处理部170基于用户终端900的浏览器的分辨率与软件窗口的分辨率之比转换从用户终端900接受了的位置坐标即可。另外，该情况下，在使用户终端900显示指针的图像时，生成通过浏览器的分辨率与软件窗口的分辨率之比(与转换时相反的比率)对基于软件窗口的分辨率所定义的位置坐标进行逆转换得到的位置坐标，并基于逆转换后的位置坐标将指针的图像890显示于用户终端900即可。
此外，也可以从信息处理***100传送指针的图像890，以使指针的图像890包含在软件窗口图像中。
请注意计算机进行在第一实施方式以及第二实施方式中所说明的信息处理的方法也包含在本发明的范围中。并且，使计算机执行那样的方法的程序也包含在本发明的范围中。
这样的计算机程序储存于各种类型的非暂时性的计算机可读介质(non－transitory computer readable medium)，并能够提供给计算机。非暂时性的计算机可读介质包括各种类型的有实体的记录介质(tangible storage medium)。
非暂时性的计算机可读介质的例子包括磁记录介质(例如软盘、磁带、硬盘驱动器)、光磁记录介质(例如光磁盘)、CD－ROM(Read Only Memory：紧凑型光盘只读储存器)、CD－R、CD－R/W、半导体存储器(例如，掩模ROM、PROM(Programmable ROM：可编程只读存储器)、EPROM(Erasable PROM：可擦除可编程只读存储器)、闪存ROM、RAM(random accessmemory：随机存取存储器))。
另外，程序也可以通过各种类型的暂时性的计算机可读介质(transitorycomputer readable medium)提供给计算机。暂时性的计算机可读介质的例子包括电信号、光信号以及电磁波。暂时性的计算机可读介质能够经由电线以及光缆等有线通信路或者无线通信路将程序提供给计算机。
前述的信息处理***也可以具有用于控制该信息处理***的各要素或处理/存储各种数据的控制部。该控制部也可以包括CPU(Central Processing Unit：中央处理器)、ROM(Read Only Memory：只读存储器)、RAM(Random Access Memory：随机存取存储器)。CPU是控制信息处理***的运算装置。该控制的详细也可以相当于在前述的实施方式中所说明的各种控制。ROM存储实现由CPU进行的各种处理的程序等。那样的程序例如可以是用于执行在前述的实施方式中所说明的各种控制的程序。RAM存储由CPU进行的各种处理所需的数据。
如上述那样通过实施方式公开了本发明，但不应理解成形成该公开的一部分的论述及附图限定本发明。从该公开本领域技术入员得知各式各样的替代实施方式、实施例及运用技术。因此，请注意本发明的技术范围根据上述的说明仅由妥当的权利要求书的发明特定事项决定。
例如，在前述的实施方式中，软件150是本来在所搭载的计算机上***作的现有的软件。取而代之，软件150也可以是为了在本实施方式所说明的平台上执行而制造的软件。
取而代之，软件150也可以构成为能够通过特定的操作***(OS)，例如特定的种类或者版本的OS执行。该情况下，信息处理***100构成为通过与软件150对应的OS执行软件即可。该情况下，即使用户终端900的OS不是软件150推荐的特定的种类或者版本的OS，用户也能够通过Web浏览器远程执行软件150。该情况下，信息处理***100也可以在启动软件150推荐的OS后在该OS上执行软件150。
在上述的实施方式中，对通过用户终端900的Web浏览器远程执行软件150的技术进行了说明。上述的技术并不限于Web浏览器的利用，只要是能够显示通过网络传送的图像(动态图像)的浏览器，则不管什么都能够利用。
本申请主张基于2019年8月26日申请的日本专利申请2019－154154号的优先权，在此通过参照引用该专利申请的全部内容。
工业上的可利用性
根据上述方式，能够提供尽可能地不依赖于OS的种类、版本等而能够更通用地执行现有的软件的结构。

Claims (20)

1.一种信息处理***，其包括计算机，所述计算机能够与用户终端进行通信并执行从所述用户终端被远程操作的软件，所述信息处理***具有：
图像处理部，获取通过所述软件的执行而生成的窗口的图像；以及
图像传送部，使由所述图像处理部获取到的图像显示于所述用户终端的浏览器的显示区域。
2.根据权利要求1所述的信息处理***，其中，
在存在多个由所述软件规定的窗口的情况下，所述图像处理部构成为：
将多个所述窗口中尺寸最大的窗口判断为主窗口，
将所述主窗口的区域设定为图像的获取区域，
变更所述主窗口以外的副窗口的位置坐标，以使所述副窗口位于所述主窗口的内侧，
在变更所述副窗口的所述位置坐标后，将所述获取区域内的所述主窗口以及所述副窗口的图像获取作为一个图像。
3.根据权利要求2所述的信息处理***，其中，
所述软件被构成为能够通过所述浏览器从所述用户终端被远程操作，
所述软件包括对被安装的计算机进行使所述窗口显示的请求的处理。
4.根据权利要求2或者3所述的信息处理***，其中，
所述信息处理***构成为变更所述副窗口的位置坐标，以使所述副窗口的中央与所述主窗口的中央相配合。
5.根据权利要求1至4中任一项所述的信息处理***，其中，
所述信息处理***具有：
事件信息处理部，将通过所述用户终端的所述浏览器上的操作而生成的事件信息向由所述软件规定的信息进行转换；以及
信息输入部，将由所述事件信息处理部所转换的所述信息输入至所述软件，
所述事件信息包括与所述用户终端的所述浏览器上的位置坐标有关的第一位置信息，
所述事件信息处理部基于所述浏览器的分辨率与所述窗口的分辨率的比率，将所述第一位置信息转换为所述窗口上的第二位置信息。
6.根据权利要求1至5中任一项所述的信息处理***，其中，
所述图像传送部构成为，使图像显示于所述显示区域，该显示区域被设置于所述用户终端的触摸面板的能操作的区域中的一部分区域，
所述信息处理***具有：
指针显示部，使表示操作位置的指针显示于显示在所述显示区域的图像上；以及
指针坐标处理部，基于通过所述用户终端的触摸面板中的操作而生成的事件信息，变更使所述指针显示的位置坐标。
7.根据权利要求6所述的信息处理***，其中，
能选择地切换为不使所述指针显示的第一模式和使所述指针显示的第二模式。
8.根据权利要求6或者7所述的信息处理***，其中，
所述指针的移动距离比基于所述触摸面板中的滑动操作的移动距离长或者短。
9.根据权利要求6至8中任一项所述的信息处理***，其中，
与基于所述触摸面板中的滑动操作的移动距离相对的所述指针的位置的移动距离或者移动的加速度能够通过用户的设定进行切换。
10.根据权利要求6至9中任一项所述的信息处理***，其中，
所述信息处理***构成为，在所述显示区域的外侧有所述触摸面板的轻击操作的情况下，将通过所述触摸面板的轻击操作而生成的所述事件信息转换为应通过键盘的“Enter”按键而生成的输入信号。
11.根据权利要求1至10中任一项所述的信息处理***，其中，
所述浏览器是Web浏览器，
所述软件是游戏软件。
12.根据权利要求1至11中任一项所述的信息处理***，其中，
所述浏览器是Web浏览器，
所述信息处理***具有：
按键元素显示部，使与在所述Web浏览器上进行动作的编程语言建立关联的按键元素显示于所述显示区域的外侧；
按键信息转换部，将通过所述Web浏览器上的所述按键元素显示部的操作而生成的事件信息转换为通过设置于键盘的规定按键的按下而生成的事件信号；以及
输入部，将由所述按键信息转换部所转换的所述事件信号输入至所述软件。
13.根据权利要求1所述的信息处理***，其中，
所述浏览器是Web浏览器，
所述软件是在能够与所述用户终端进行通信的所述计算机上执行的游戏软件，
所述信息处理***具有：
事件信息处理部，将通过所述用户终端的所述Web浏览器上的操作而生成的事件信息向由所述游戏软件规定的信息进行转换，所述游戏软件在能够与所述用户终端进行通信的计算机上被执行；以及
信息输入部，将由所述事件信息处理部所转换的所述信息输入至所述游戏软件，
所述事件信息包括所述用户终端的输入装置的开启信息或者关闭信息，
所述事件信息处理部构成为，按规定的间隔从所述用户终端接受所述事件信息，
所述信息输入部构成为，在接收到所述开启信息后初次接收到所述关闭信息的情况下，向所述游戏软件输入表示进行了所述输入装置的操作的信息。
14.根据权利要求13所述的信息处理***，其中，
所述事件信息包括与所述用户终端的所述Web浏览器上的位置坐标有关的第一位置信息，
所述事件信息处理部构成为，基于所述Web浏览器的分辨率与由所述游戏软件规定的所述窗口的分辨率的比率，将所述第一位置信息转换为所述窗口上的第二位置信息。
15.根据权利要求1至14中任一项所述的信息处理***，其中，
所述软件构成为能够由特定的操作***执行，
所述信息处理***构成为，在所述计算机上启动所述特定的操作***，通过与所述软件对应的所述特定的操作***而执行所述软件。
16.一种信息处理***，具有：
事件信息处理部，将通过用户终端的浏览器上的操作而生成的事件信息向由软件规定的信息进行转换，所述软件在能够与所述用户终端进行通信的计算机上被执行；以及
信息输入部，将由所述事件信息处理部所转换的所述信息输入至所述软件。
17.一种信息处理方法，包括：
计算机执行：
图像处理步骤，获取通过执行从用户终端被远程操作的软件而生成的窗口的图像；以及
图像传送步骤，使通过所述图像处理步骤获取到的图像显示于所述用户终端的浏览器的显示区域。
18.根据权利要求17所述的信息处理方法，其中，
在所述图像处理步骤中包括：
在存在多个由所述软件规定的窗口的情况下，所述计算机进行：
将多个所述窗口中尺寸最大的窗口判断为主窗口；
将所述主窗口的区域设定为图像的获取区域；
变更所述主窗口以外的副窗口的位置坐标，以使所述副窗口位于所述主窗口的内侧；以及
在变更所述副窗口的所述位置坐标后，获取所述获取区域内的所述主窗口以及所述副窗口的图像作为一个图像。
19.根据权利要求17所述的信息处理方法，其中，
所述浏览器是Web浏览器，
所述软件是在能够与所述用户终端进行通信的所述计算机上执行的游戏软件，
所述信息处理方法包括所述计算机执行如下的步骤：
事件信息处理步骤，将通过所述用户终端的所述Web浏览器上的操作而生成的事件信息向由所述游戏软件规定的信息进行转换，所述游戏软件在能够与所述用户终端进行通信的计算机上被执行；以及
信息输入步骤，将通过所述事件信息处理步骤所转换的所述信息输入至所述游戏软件，
在所述事件信息处理步骤中，构成为按规定的间隔从所述用户终端接受所述事件信息，
所述事件信息包括所述用户终端的输入装置的开启信息或者关闭信息，
在所述信息输入步骤中，构成为在接收到所述开启信息后初次接收到所述关闭信息的情况下，向所述游戏软件输入表示进行了所述输入装置的操作的信息。
20.一种存储介质，存储有程序，
所述程序使计算机执行权利要求17至19中任一项所述的信息处理方法。
CN202080006810.1A 2019-08-26 2020-08-24 信息处理***以及信息处理方法 Active CN113168340B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019154154A JP6624767B1 (ja) 2019-08-26 2019-08-26 情報処理システム及び情報処理方法
JP2019-154154 2019-08-26
PCT/JP2020/031750 WO2021039680A1 (ja) 2019-08-26 2020-08-24 情報処理システム及び情報処理方法

Publications (2)

Publication Number Publication Date
CN113168340A true CN113168340A (zh) 2021-07-23
CN113168340B CN113168340B (zh) 2022-06-07

Family

ID=69100965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080006810.1A Active CN113168340B (zh) 2019-08-26 2020-08-24 信息处理***以及信息处理方法

Country Status (4)

Country Link
US (1) US11400373B2 (zh)
JP (1) JP6624767B1 (zh)
CN (1) CN113168340B (zh)
WO (1) WO2021039680A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114327737A (zh) * 2022-03-04 2022-04-12 中信建投证券股份有限公司 一种远程辅助方法、装置及***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547014A (zh) * 2010-10-06 2012-07-04 佳能株式会社 信息处理设备及其控制方法
US20120299846A1 (en) * 2011-05-27 2012-11-29 Kyohei Matsuda Electronic apparatus and operation support method
CN103312928A (zh) * 2012-03-14 2013-09-18 柯尼卡美能达商用科技株式会社 信息处理***、用户终端装置、信息处理装置以及控制方法
JP2014123243A (ja) * 2012-12-21 2014-07-03 Kyocera Corp 携帯端末、カーソル表示制御プログラム、カーソル表示制御方法、カーソル発生制御プログラム、カーソル発生制御方法、アイコン表示プログラムおよびアイコン表示方法
CN105045417A (zh) * 2014-04-28 2015-11-11 富士通电子零件有限公司 中继设备和信息处理设备
JP2015215765A (ja) * 2014-05-10 2015-12-03 コニカミノルタ株式会社 携帯端末装置、画像ファイルの保存処理方法及び保存処理プログラム
JP2019126714A (ja) * 2018-11-21 2019-08-01 株式会社 ディー・エヌ・エー ゲームを提供するためのシステム、方法、及びプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0836479A (ja) * 1994-07-22 1996-02-06 Canon Inc 表示装置及び表示装置のポインティング処理方法
JPH09274550A (ja) 1996-04-04 1997-10-21 Canon Inc 画像表示方法及び装置
JPH10254530A (ja) * 1997-03-06 1998-09-25 Mitsubishi Electric Corp ソフトウエア操作器装置
JP3620716B2 (ja) * 2000-07-26 2005-02-16 日本電気株式会社 遠隔操作システムとその遠隔操作方法、及び遠隔操作プログラムを記録した記録媒体
JP4877583B2 (ja) * 2006-04-14 2012-02-15 横河電機株式会社 入力装置を用いた入力方法
US8054241B2 (en) * 2006-09-14 2011-11-08 Citrix Systems, Inc. Systems and methods for multiple display support in remote access software
US9413803B2 (en) * 2011-01-21 2016-08-09 Qualcomm Incorporated User input back channel for wireless displays
JPWO2012157014A1 (ja) * 2011-05-13 2014-07-31 三菱電機株式会社 遠隔操作通信装置およびナビゲーション装置
JP2013218517A (ja) * 2012-04-09 2013-10-24 Panasonic Corp 入出力装置
US9022870B2 (en) 2012-05-02 2015-05-05 Aquimo, Llc Web-based game platform with mobile device motion sensor input
WO2013175629A1 (ja) 2012-05-25 2013-11-28 任天堂株式会社 操作装置、情報処理システム、および通信方法
JP5801282B2 (ja) * 2012-12-27 2015-10-28 株式会社東芝 電子機器、操作支援方法及びプログラム
JP5902304B2 (ja) 2013-04-30 2016-04-13 グリー株式会社 プログラム及び処理方法
JP6111846B2 (ja) 2013-05-14 2017-04-12 コニカミノルタ株式会社 画像形成システム、遠隔操作装置およびプログラム
JP5928436B2 (ja) 2013-11-01 2016-06-01 コニカミノルタ株式会社 遠隔制御装置、遠隔操作装置、画面送信制御方法、画面表示制御方法、画面送信制御プログラム、および画面表示制御プログラム
JP5846190B2 (ja) 2013-12-17 2016-01-20 コニカミノルタ株式会社 携帯情報端末およびプログラム
JP6347769B2 (ja) * 2015-08-28 2018-06-27 株式会社ソニー・インタラクティブエンタテインメント イベント管理サーバー、情報処理システム、およびイベント参加管理方法
US10046236B2 (en) * 2016-06-13 2018-08-14 Sony Interactive Entertainment America, LLC Browser-based cloud gaming
CN106802759A (zh) * 2016-12-21 2017-06-06 华为技术有限公司 视频播放的方法及终端设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547014A (zh) * 2010-10-06 2012-07-04 佳能株式会社 信息处理设备及其控制方法
US20120299846A1 (en) * 2011-05-27 2012-11-29 Kyohei Matsuda Electronic apparatus and operation support method
CN103312928A (zh) * 2012-03-14 2013-09-18 柯尼卡美能达商用科技株式会社 信息处理***、用户终端装置、信息处理装置以及控制方法
JP2014123243A (ja) * 2012-12-21 2014-07-03 Kyocera Corp 携帯端末、カーソル表示制御プログラム、カーソル表示制御方法、カーソル発生制御プログラム、カーソル発生制御方法、アイコン表示プログラムおよびアイコン表示方法
CN105045417A (zh) * 2014-04-28 2015-11-11 富士通电子零件有限公司 中继设备和信息处理设备
JP2015215765A (ja) * 2014-05-10 2015-12-03 コニカミノルタ株式会社 携帯端末装置、画像ファイルの保存処理方法及び保存処理プログラム
JP2019126714A (ja) * 2018-11-21 2019-08-01 株式会社 ディー・エヌ・エー ゲームを提供するためのシステム、方法、及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114327737A (zh) * 2022-03-04 2022-04-12 中信建投证券股份有限公司 一种远程辅助方法、装置及***

Also Published As

Publication number Publication date
JP6624767B1 (ja) 2019-12-25
WO2021039680A1 (ja) 2021-03-04
US11400373B2 (en) 2022-08-02
US20220001281A1 (en) 2022-01-06
JP2021033719A (ja) 2021-03-01
CN113168340B (zh) 2022-06-07

Similar Documents

Publication Publication Date Title
US10162480B2 (en) Information processing apparatus, information processing method, program, and information processing system
US20130106700A1 (en) Electronic apparatus and input method
US10877592B2 (en) Display control device, display control method, and display control system
CN110632938A (zh) 机械输入设备非接触操作的控制***
US8633895B2 (en) Apparatus and method for improving character input function in mobile terminal
US20150163369A1 (en) Remote control device, remote operation device, screen transmission control method, and non-transitory computer-readable recording medium encoded with screen display control program
US20230291955A1 (en) User terminal apparatus, electronic apparatus, system, and control method thereof
US20170019699A1 (en) User terminal apparatus, electronic apparatus, system, and control method thereof
CN110708527A (zh) 图像显示装置、图像显示装置的图像显示方法及存储介质
CN113168340B (zh) 信息处理***以及信息处理方法
US10388257B2 (en) Information processing apparatus, method of controlling the same and non-transitory computer-readable storage medium
JP5768841B2 (ja) 画像形成システム、画像形成装置、遠隔操作装置およびプログラム
US10114518B2 (en) Information processing system, information processing device, and screen display method
US8610740B2 (en) Information processing apparatus, information processing method, program, and information processing system
CN111459300A (zh) 一种字符显示方法及电子设备
US20150271431A1 (en) Information Transmission Method and Wireless Display System
JP6695530B1 (ja) 情報処理システム及び情報処理方法
EP3115864A1 (en) Portable electronic device including keyboard and method of controlling same
US10359931B2 (en) Remote operation apparatus, remote operation system, and non-transitory computer readable medium storing program
JP2021034006A (ja) 情報処理システム及び情報処理方法
US20170255358A1 (en) Terminal device
KR20140103631A (ko) 유저 인터페이스를 통한 입력 처리 장치 및 방법
JP2009238060A (ja) 情報処理システム、サーバ及び端末
CN117083584A (zh) 用于增强现实设备的多层文本输入方法
JP6156709B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、情報処理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant