JPH07219741A - Metaphor interface device - Google Patents
Metaphor interface deviceInfo
- Publication number
- JPH07219741A JPH07219741A JP6011873A JP1187394A JPH07219741A JP H07219741 A JPH07219741 A JP H07219741A JP 6011873 A JP6011873 A JP 6011873A JP 1187394 A JP1187394 A JP 1187394A JP H07219741 A JPH07219741 A JP H07219741A
- Authority
- JP
- Japan
- Prior art keywords
- metaphor
- proxy
- event data
- display
- event
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は情報処理装置に関し、特
に、操作に慣れていないユーザが利用できるように、計
算機内部の論理的な動作状態を外部の物理世界に存在す
る物の外観や動作を模擬したメタファ環境を提供するメ
タファインタフェース装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an information processing apparatus, and more particularly, to a logical operation state inside a computer so that a user who is not accustomed to the operation can use the appearance and operation of an object existing in an external physical world. The present invention relates to a metaphor interface device that provides a metaphor environment simulating the above.
【０００２】[0002]
【従来の技術】第１の従来技術として、デスクトップメ
タファを実現するウィンドウシステムを用いた従来のメ
タファインタフェース装置では、その操作に関してある
程度の知識を持つユーザにとっては画面表示が理解し易
いが、予備知識を持たないユーザは、その表示の意味が
理解し難い。例えば、特開平２−２５０１１３号公報や
特開平４−２８８６４１号公報に示されるメタファイン
タフェース装置では、ウィンドウはそれぞれのアプリケ
ーションに着目した場合の個別機能や内容を示し、アイ
コンは装置自体に着目した場合のアプリケーション間の
関係を示すものであり、主たる入出力を行うためのウィ
ンドウと、提供できる機能や同時実行中の処理を示すア
イコンが同一画面に表示される。この場合、表示画面上
での位置関係には特別な意味が与えられておらず、ユー
ザがウィンドウとアイコンを区別するには、その表示面
積の差異や内部に描かれている文字や図形の意味を記憶
しておく必要がある。また、異なる視点でのオブジェク
トを同一画面に表示することが、不慣れなユーザの理解
を混乱させる。2. Description of the Related Art As a first conventional technique, in a conventional metaphor interface device using a window system for realizing a desktop metaphor, a screen display is easy for a user who has some knowledge about its operation, but preliminary knowledge is required. It is difficult for users who do not have the meaning to understand the meaning of the display. For example, in the metaphor interface devices disclosed in JP-A-2-250113 and JP-A-4-288641, the windows indicate individual functions and contents when attention is paid to each application, and the icons indicate when attention is paid to the device itself. This shows the relationship between the applications, and the windows for main input / output and the icons showing the functions that can be provided and the processes being executed simultaneously are displayed on the same screen. In this case, no special meaning is given to the positional relationship on the display screen, and in order for the user to distinguish between the window and the icon, the difference in the display area and the meaning of the characters and figures drawn inside Need to be remembered. Also, displaying objects from different viewpoints on the same screen confuses the understanding of unfamiliar users.
【０００３】第２の従来技術として、メタファ環境上の
オブジェクトであるアイコン等の詳細な意味を示すため
の説明表示を付加してユーザの記憶負荷を低減した従来
のメタファインタフェース装置では、例えば、特開平１
−１７３１３９号公報や特開平４−１６８４８２号公報
で示すように、アイコンにキーワードや記号といった情
報を付加するものがあるが、付加された記号やキーワー
ドが理解できるユーザに対しては有効であっても、予備
知識を持たないユーザは、新たなキーワードや記号を記
憶する負荷がかかる。また、特開平３−１４４７１９号
公報に示すような機能説明ウィンドウをマニュアル形式
で常時画面上に表示するものでは、ユーザに十分な情報
が提供されるが、その説明を読むこと自体が煩雑である
とともに、説明表示が大きな画面領域を占有して操作対
象の情報を隠してしまうため、操作効率が低下する。As a second conventional technique, in a conventional metaphor interface device in which a user's memory load is reduced by adding an explanation display for showing a detailed meaning of an icon or the like which is an object on the metaphor environment, for example, Kaihei 1
As shown in Japanese Patent Application Laid-Open No. 173139 and Japanese Patent Laid-Open No. 168482/1992, there are those that add information such as keywords and symbols to icons, but this is effective for users who can understand the added symbols and keywords. However, a user who does not have prior knowledge has a burden of memorizing a new keyword or symbol. Further, in the case where the function explanation window as shown in JP-A-3-144719 is always displayed on the screen in the manual format, sufficient information is provided to the user, but it is complicated to read the explanation itself. At the same time, since the operation display occupies a large screen area and hides the operation target information, the operation efficiency is reduced.
【０００４】第３の従来技術として、ＲＰＧ（ロール・
プレイング・ゲーム）に代表されるように、日常生活し
ている現実世界の景色や事象を模擬した従来のメタファ
インタフェース装置では、メタファ環境の中での自分自
身を表すオブジェクトの操作が煩雑となり操作効率が低
下する。例えば、情報処理学会第４６回全国大会講演論
文集に記載の「マップ・アンド・ルーム」（５−１６９
頁〜５−１７０頁）では、空間的広がりを表現可能な地
図や都市のメタファによってネットワークサービスを提
供するが、現実世界と同様に自分自身を表現するオブジ
ェクトを操作環境で設定された道路（移動可能な経路）
に従って目的地（起動するアプリケーション等）まで移
動する操作が必要になるため、操作が煩雑になり操作効
率が低下する。As a third conventional technique, RPG (roll
As is represented by a playing game, a conventional metaphor interface device that simulates a scene or phenomenon in the real world in which we are living is complicated to operate the object that represents ourselves in the metaphor environment, resulting in operational efficiency. Is reduced. For example, "Map and Room" (5-169) described in Proceedings of 46th National Convention of Information Processing Society of Japan.
In pages 5 to 170), network services are provided by maps and metaphors of cities that can express the spatial extent, but like the real world, an object that expresses itself is a road (movement) set in the operating environment. Possible routes)
Therefore, an operation for moving to a destination (such as an application to be activated) is required, which makes the operation complicated and lowers the operation efficiency.
【０００５】第４の従来技術として、ユーザが日常使用
している機器等のメタファを利用した従来のメタファイ
ンタフェース装置では、特別な訓練や教育を行うことな
く操作や表示を理解することが可能であるが、メタファ
として適用した従来機器の操作体系によって提供できる
機能が限定されることになり、従来の機器と同程度の機
能やサービスしか提供できない。例えば、特開平３−８
４６２２号公報や特開平４−５２７１９号公報に示され
るようなＴＶセットやビデオといった既存の機器のメタ
ファを用いた場合、その操作と動作は日常の経験だけで
簡単に理解できるが、これらの機器にない機能（画面編
集等）をユーザに理解させることが困難であり、メタフ
ァインタフェース装置が持つ機能を十分に発揮したサー
ビスが提供できない。As a fourth conventional technique, in a conventional metaphor interface device that uses a metaphor of a device or the like that a user uses everyday, it is possible to understand the operation and the display without special training or education. However, the functions that can be provided are limited by the operation system of the conventional device applied as a metaphor, and only the same functions and services as the conventional device can be provided. For example, Japanese Patent Laid-Open No. 3-8
When a metaphor of an existing device such as a TV set or a video as disclosed in Japanese Patent No. 4622 or Japanese Patent Laid-Open No. 4-52719 is used, its operation and operation can be easily understood only by daily experience. It is difficult for the user to understand a function (screen editing, etc.) that does not exist, and it is not possible to provide a service that fully demonstrates the function of the metaphor interface device.
【０００６】[0006]
【発明が解決しようとする課題】この従来のメタファイ
ンタフェース装置では、第１の従来技術に示すように、
ユーザがウィンドウとアイコンを区別するには、その表
示面積の差異や内部に描かれている文字や図形の意味を
記憶しておく必要があるとともに、異なる視点でのオブ
ジェクトを同一画面に表示することがユーザの混乱を招
くという問題がある。また、第２の従来技術に示すよう
に、予備知識を持たないユーザに付加情報を理解するた
めの新たなキーワードや記号を記憶する負荷がかかった
り、付加された説明を読むこと自体が煩雑で、説明表示
が操作対象の情報を隠すため、操作効率が低下したりす
るという問題がある。さらに、第３の従来技術で示すよ
うに、メタファ環境中での自分自身を表すオブジェクト
の操作が煩雑となり操作効率が低下するという問題があ
る。さらに、第４の従来技術で示すように、メタファイ
ンタフェース装置が持つ機能を十分に発揮できないとい
う問題がある。In this conventional metaphor interface device, as shown in the first prior art,
In order for the user to distinguish between windows and icons, it is necessary to remember the difference in the display area and the meaning of the letters and figures drawn inside, and to display objects from different viewpoints on the same screen. Causes a confusion for users. Further, as shown in the second related art, it is burdensome for a user who does not have prior knowledge to store a new keyword or symbol for understanding the additional information, or it is complicated to read the added explanation itself. However, since the explanation display hides the information of the operation target, there is a problem that the operation efficiency is lowered. Further, as shown in the third related art, there is a problem that the operation of the object representing oneself in the metaphor environment becomes complicated and the operation efficiency is lowered. Further, as shown in the fourth conventional technique, there is a problem that the functions of the metaphor interface device cannot be sufficiently exhibited.
【０００７】[0007]
【課題を解決するための手段】本発明のメタファインタ
フェース装置は、計算機内部の論理的な動作状態をユー
ザに分かり易く表現するために、外部の物理世界に存在
する物の外観や動作を模擬したメタファ環境を利用する
メタファインタフェース装置において、２次元表示を行
う表示手段と、この表示手段に対応するユーザの入力座
標位置を検出し、メタファ環境の状態に応じたイベント
データに変換して出力する入力手段と、ある操作の操作
内容や操作条件を記述した代理処理手続を受け取り、指
定された条件でユーザが操作した場合と同等なイベント
データを出力することによりユーザ操作の代理実行機能
を実現する操作代理手段と、これらのイベントデータを
受け取り、あらかじめ用意した機能群から対応する機能
を選択的に実行し、その実行結果を出力するとともに、
ある操作の代理実行を要求するイベントデータを受け取
った場合に、その操作に対応する代理処理手続を生成
し、前記操作代理手段に出力するイベント解釈手段と、
この実行結果を受け取り、メタファを用いてこの実行結
果を表現する新たな表示画面を形成して前記表示手段に
出力するとともに、この新たなメタファ環境の状態を前
記入力手段に出力するメタファ環境生成手段で構成され
る。The metaphor interface device of the present invention simulates the appearance and operation of an object existing in the external physical world in order to express the logical operation state inside a computer in an easy-to-understand manner. In a metaphor interface device that uses a metaphor environment, a display unit that performs two-dimensional display and an input coordinate position of a user corresponding to the display unit are detected, and an input that is converted into event data according to the state of the metaphor environment and output. An operation that implements a proxy execution function of a user operation by receiving a means and a proxy processing procedure that describes the operation content and operation condition of a certain operation, and outputting event data equivalent to when the user operates under the specified condition. It receives proxy event and these event data, and executes the corresponding function selectively from the function group prepared in advance. And it outputs the execution result,
When event data requesting proxy execution of a certain operation is received, an event interpreting means for generating a proxy processing procedure corresponding to the operation and outputting the proxy processing procedure to the operation proxy means,
A metaphor environment generating means for receiving the execution result, forming a new display screen for expressing the execution result using the metaphor, outputting the new display screen to the display means, and outputting the state of the new metaphor environment to the input means. Composed of.
【０００８】また、本発明のメタファインタフェース装
置は、前記入力手段が、前記表示手段とともに直接操作
を実現する一体型入出力手段を形成することを特徴とす
る。Further, the metaphor interface device of the present invention is characterized in that the input means together with the display means form an integrated input / output means for realizing a direct operation.
【０００９】また、本発明のメタファインタフェース装
置は、通信回線から受信したデータに対応したイベント
データを生成し前記イベント解釈手段に出力するととも
に、前記メタファ環境生成手段が出力するメタファ環境
の状態を受け取り、必要なデータを通信回線に送信する
通信制御手段を有し、通信回線を介して接続された他の
メタファインタフェース装置との双方向通信を行う手段
を有することを特徴とする。Further, the metaphor interface device of the present invention generates event data corresponding to the data received from the communication line and outputs the event data to the event interpreting means, and receives the state of the metaphor environment output from the metaphor environment generating means. A communication control means for transmitting necessary data to the communication line is provided, and a means for performing bidirectional communication with another metaphor interface device connected via the communication line is provided.
【００１０】また、本発明のメタファインタフェース装
置は、前記イベント解釈手段が、前記入力手段又は前記
操作代理手段からイベントデータを入力とし、該入力さ
れたイベントデータがある操作の代理実行を要求するも
のかを判別する代理処理イベント判別手段と、前記判別
が代理実行の要求である場合に、前記代理処理イベント
判別手段から前記イベントデータを入力し、対応する操
作の操作内容及び操作条件を記述した代理処理手続を生
成し前記操作代理手段に出力する代理処理手続生成手段
と、前記判別が代理実行の要求でない場合に、前記代理
処理イベント判別手段から前記イベントデータを入力
し、対応する処理をアプリケーションプログラムから取
得して実行し、実行結果を出力するオブジェクト制御手
段とから構成されることを特徴とする。Further, in the metaphor interface device of the present invention, the event interpreting means receives event data from the input means or the operation proxy means and requests proxy execution of an operation having the input event data. And a proxy processing event determining means for determining whether or not the proxy processing event determination means inputs the event data from the proxy processing event determining means and describes the operation content and the operation condition of the corresponding operation. Proxy processing procedure generation means for generating a processing procedure and outputting the processing procedure to the operation proxy means, and, when the determination is not a request for proxy execution, inputs the event data from the proxy processing event determination means and performs corresponding processing by an application program. It is composed of an object control unit that obtains from, executes, and outputs the execution result. And wherein the door.
【００１１】また、本発明のメタファインタフェース装
置は、前記メタファ環境生成手段が、メタファの取り決
め事項を記述したメタファルールを蓄積するメタファル
ール蓄積手段と、前記イベント解釈手段から前記実行結
果を入力し前記メタファルール蓄積手段から前記メタフ
ァルールを読み出し表示画面等の動作状況の変更を指示
するメタファ管理手段と、前記メタファ管理手段の指示
により動作状態を決定して保持し、メタファ環境の状態
を前記入力装置に出力する状態保持手段と、メタファの
表示イメージを蓄積する画面データ蓄積手段と、前記状
態保持装置から前記動作状態を入力し、前記画面データ
蓄積手段から表示イメージを読み出し、表示画面を形成
し出力する表示制御手段とから構成されることを特徴と
する。Further, in the metaphor interface device of the present invention, the metaphor environment generating means inputs the execution result from the metaphor rule accumulating means for accumulating metaphor rules describing metaphor rules and the execution result input from the event interpreting means. Metaphor management means for reading out the metaphor rules from the metaphor rule storage means and for instructing to change the operation status of a display screen and the like, and determining and holding the operation status according to the instruction of the metaphor management means, and the status of the metaphor environment by the input device State storage means for outputting to, a screen data storage means for storing the display image of the metaphor, the operation state is input from the state storage device, the display image is read from the screen data storage means, a display screen is formed and output. And a display control means for controlling the display.
【００１２】[0012]
【作用】本発明のメタファインタフェース装置では、街
等の現実世界の景色や事象を模擬したメタファを利用し
て操作環境や処理動作を表現しており、ユーザは日常得
られる知識だけで表示内容を理解することができ、特別
な記憶負荷がかかったり混乱したりすることがなく、第
１の従来技術の問題を解決する。In the metaphor interface device of the present invention, the operating environment and the processing operation are expressed by using the metaphor that simulates the scenery and events of the real world such as a city, and the user can display the displayed contents only with the knowledge that he or she can obtain on a daily basis. It is understandable and solves the first prior art problem without any special memory load or confusion.
【００１３】また、ユーザに負荷がかかる複雑な処理を
代行する操作代理手段を有しており、この操作代理手段
がメタファインタフェース装置のもつ機能を十分に発揮
してサービスを提供するため、第４の従来技術の問題を
解決するとともに、これらの提供サービスの操作体系を
操作代理手段によって統一することが可能である。In addition, the present invention has an operation proxy means for acting on behalf of a complicated process that imposes a load on the user, and this operation proxy means provides the service by fully utilizing the function of the metaphor interface device. It is possible to solve the problems of the related art and to unify the operation system of these provided services by the operation proxy means.
【００１４】また、この操作代理手段をメタファ環境が
表現する世界上のキャラクタとして表現し、その処理を
キャラクタの動作として視覚化しており、特別なキーワ
ード等の記憶が不必要であるとともに、文章等で表現さ
れるメッセージを読む場合と比べて、ユーザが短時間で
その動作の概要を理解可能であるため、メッセージ表示
が占有する画面領域や表示時間を減少させることがで
き、第２の従来技術の問題を解決する。Further, this operation proxy means is represented as a character on the world represented by the metaphor environment, and its processing is visualized as the motion of the character, and it is not necessary to store special keywords and the like, and sentences and the like. Since the user can understand the outline of the operation in a short time as compared with the case of reading the message expressed by, it is possible to reduce the screen area occupied by the message display and the display time. Solve the problem.
【００１５】また、特別な訓練や教育なしでユーザが操
作可能な一体型入出力手段を有することによって、操作
代理手段の処理と独立にユーザが画面上のオブジェクト
を直接操作可能としており、メタファ環境の中での自分
自身を表すオブジェクトを持つことによる操作効率の低
下がなく、第３の従来技術の問題点を解決する。Also, by having an integrated input / output means that can be operated by the user without special training or education, the user can directly operate the object on the screen independently of the processing of the operation proxy means, and the metaphor environment The problem of the third prior art is solved without lowering the operation efficiency due to having an object representing oneself in the.
【００１６】[0016]
【実施例】次に、本発明について図面を参照して説明す
る。DESCRIPTION OF THE PREFERRED EMBODIMENTS Next, the present invention will be described with reference to the drawings.
【００１７】本発明の第１の実施例をブロックで示す図
１を参照すると、この実施例のメタファインタフェース
装置において、表示装置１は２次元表示を行う。入力装
置２は、ユーザ入力時に表示装置１に対応する入力座標
位置を検出し、メタファ環境の状態に応じて座標位置を
イベントデータに変換して出力する。操作代理装置５
は、ある操作の操作内容や操作条件を記述した代理処理
手続を受け取り、指定された条件でユーザが操作した場
合と同等なイベントデータを出力することによりユーザ
操作の代理実行機能を実現する。イベント解析装置３
は、入力装置２及び操作代理装置５の出力であるイベン
トデータを受け取り、あらかじめ用意した機能群から対
応する機能を選択的に実行し、その実行結果を出力す
る。また、イベント解釈装置３は、ある操作の代理実行
を要求するイベントデータを受け取った場合に、その操
作に対応する代理処理手続を生成し、操作代理装置５に
出力する。メタファ環境生成装置４は、イベント解釈装
置３の実行結果を受け取り、ユーザが日常生活で知覚で
きる現実世界の景色や事象を模擬したメタファを用いた
新たな表示画面を形成して表示装置１に出力する。ま
た、メタファ環境生成装置４は、この新たなメタファ環
境の状態を入力装置２に出力する。Referring to FIG. 1 which is a block diagram showing a first embodiment of the present invention, in the metaphor interface device of this embodiment, the display device 1 performs two-dimensional display. The input device 2 detects the input coordinate position corresponding to the display device 1 at the time of user input, converts the coordinate position into event data according to the state of the metaphor environment, and outputs the event data. Operation proxy device 5
Implements a proxy execution function of a user operation by receiving a proxy processing procedure describing the operation content and operation condition of a certain operation and outputting event data equivalent to that when the user operates under the specified condition. Event analysis device 3
Receives event data output from the input device 2 and the operation proxy device 5, selectively executes a corresponding function from a function group prepared in advance, and outputs the execution result. When the event interpretation device 3 receives the event data requesting the proxy execution of a certain operation, the event interpretation device 3 generates a proxy processing procedure corresponding to the operation and outputs it to the operation proxy device 5. The metaphor environment generation device 4 receives the execution result of the event interpretation device 3, forms a new display screen using a metaphor that simulates a real world scene or event that the user can perceive in daily life, and outputs the new display screen to the display device 1. To do. Further, the metaphor environment generation device 4 outputs the state of the new metaphor environment to the input device 2.
【００１８】イベント解釈装置３の一例を示す図２を参
照する。代理処理イベント判別装置１１は、入力装置２
及び操作代理装置５の出力であるイベントデータを受け
取り、このイベントデータがある操作の代理実行を要求
するものであるかを判別し、受け取ったイベントデータ
を、代理実行の要求であった場合には、代理処理手続生
成装置１２に、それ以外の場合には、オブジェクト制御
装置１３に選択的に出力する。代理処理手続生成装置１
２は、代理処理イベント判別装置１１から操作の代理実
行を要求するイベントデータを受け取り、対応する操作
の操作内容や操作条件を記述した代理処理手続を生成
し、操作代理装置５に出力する。アプリケーションプロ
グラム１４は、イベントデータに対応した処理内容を記
述したプログラム群である。オブジェクト制御装置１３
は、代理処理イベント判別装置１１からイベントデータ
を受け取り、対応する処理をアプリケーションプログラ
ム１４から取得して実行しその実行結果を出力する。Reference is made to FIG. 2 showing an example of the event interpretation device 3. The proxy processing event determination device 11 is the input device 2
And the event data output from the operation proxy device 5, determines whether this event data is a request for proxy execution of an operation, and if the received event data is a proxy execution request, , Is output to the proxy process procedure generation device 12, and to the object control device 13 in other cases. Proxy processing procedure generator 1
2 receives event data requesting proxy execution of an operation from the proxy process event discriminating apparatus 11, generates a proxy process procedure describing the operation content and operation condition of the corresponding operation, and outputs it to the operation proxy apparatus 5. The application program 14 is a program group in which the processing content corresponding to the event data is described. Object control device 13
Receives event data from the proxy process event determination device 11, acquires the corresponding process from the application program 14, executes the process, and outputs the execution result.
【００１９】メタファ環境生成装置４の一例を示す図３
を参照する。メタファルール蓄積装置１６は、例えば、
操作環境を表す街の景色と代理処理動作を表すキャラク
タで構成した街のメタファにおけるキャラクタ移動範囲
や表示方法のように、適用したメタファの取り決め事項
（現実世界での物理法則等に対応する）を記述したメタ
ファルールを蓄積する。メタファ環境管理装置１５は、
イベント解釈装置３の出力である実行結果を受け取り、
メタファルール蓄積装置１６から読み出したメタファル
ールに従って表示画面等の動作状態の変更を状態保持装
置１７に指示する。状態保持装置１７は、現在の動作状
態を保持し、その動作状態を入力装置２及び表示制御装
置１８に出力する。また、状態保持装置１７は、メタフ
ァ環境管理装置１５の指示により動作状態を変更する。
画面データ蓄積装置１９は、例えば、街のメタファにお
ける街の景色やキャラクタの外観のように、適用したメ
タファの表示イメージを蓄積する。表示制御装置１８
は、状態保持装置１７から現在の動作状態を受け取り、
画面データ蓄積装置１９から必要な表示イメージを読み
出して表示画面を形成し、表示装置１に出力する。FIG. 3 showing an example of the metaphor environment generation device 4.
Refer to. The metaphor rule storage device 16 is, for example,
Specify the metaphor rules (corresponding to physical laws in the real world) applied, such as the character moving range and display method in the metaphor of the city that is composed of the character that represents the operation environment and the character that represents the proxy action. Accumulate the described metaphor rules. The metaphor environment management device 15
Receives the execution result which is the output of the event interpreter 3,
The state holding device 17 is instructed to change the operating state of the display screen or the like according to the metaphor rules read from the metaphor rule storage device 16. The state holding device 17 holds the current operating state and outputs the operating state to the input device 2 and the display control device 18. Further, the state holding device 17 changes the operating state according to an instruction from the metaphor environment management device 15.
The screen data storage device 19 stores the display image of the applied metaphor, such as the scenery of the city or the appearance of the character in the metaphor of the city. Display controller 18
Receives the current operating state from the state holding device 17,
A necessary display image is read from the screen data storage device 19 to form a display screen and output to the display device 1.
【００２０】本発明によるメタファインタフェース装置
の表示画面の一例を示す図６を参照すると、操作世界は
街のメタファとして表現される。操作世界の中のオブジ
ェクトは、アプリケーションプログラムの起動を指示す
るための建物アイコンと、代理操作の指示及びその動作
表示を行うためのキャラクタで構成される。ユーザは、
入力装置２で選択（ポインティング操作）することによ
り、これらのオブジェクトを操作可能である。建物アイ
コンを選択した場合は、対応するアプリケーションが起
動され、アプリケーション実行画面が表示される。アプ
リケーション実行中は、表示画面上のリストやソフトボ
タン等のオブジェクトを選択することによりアプリケー
ションへの入力を行う。アプリケーションの実行を終了
（終了ボタン選択等）すると、起動前の街のメタファ画
面に戻る。同様に、キャラクタを選択した場合には、ソ
フトボタンやリスト選択等による代理処理の指示画面と
なり、以降表示画面上のオブジェクトを選択して代理処
理の指示を行う。代理処理の指示を終了すると、街のメ
タファ画面に戻る。このようにして指示された代理処理
は、予約時間になる等の指示した条件が満たされると、
実行が開始される。代理処理の実行中は、画面上のキャ
ラクタが街の建物を訪ね歩く等の動作表示が行われ、ア
プリケーションの選択や実行等の様子がユーザに視覚的
に示される。さらに、動作中のキャラクタを選択するこ
とにより、指示内容や実行状況の詳細が画面に表示され
る。Referring to FIG. 6 showing an example of a display screen of the metaphor interface device according to the present invention, the operating world is represented as a city metaphor. The object in the operation world is composed of a building icon for instructing the activation of the application program and a character for instructing the proxy operation and displaying its operation. The user
These objects can be operated by selecting (pointing operation) with the input device 2. When the building icon is selected, the corresponding application is started and the application execution screen is displayed. While the application is running, input to the application is performed by selecting an object such as a list or soft button on the display screen. When the execution of the application ends (select the end button, etc.), the screen returns to the metaphor screen of the city before the start. Similarly, when a character is selected, a proxy processing instruction screen by a soft button or list selection is displayed, and thereafter, an object on the display screen is selected and a proxy processing instruction is given. When the proxy processing instruction is finished, the screen returns to the city metaphor screen. In the proxy processing instructed in this way, when the instructed condition such as the reserved time is satisfied,
Execution starts. While the proxy process is being executed, a motion display such as a character on the screen visiting a building in the city is displayed, and the user is visually shown how to select and execute the application. Further, by selecting the character in motion, details of the instruction content and the execution status are displayed on the screen.
【００２１】図１、図２、図３、図６を参照してこの実
施例の動作を説明する。表示装置１に図６に示すような
操作世界（街のメタファ画面）が表示されている状態
で、ユーザが建物アイコンを選択すると、入力装置２に
より表示装置１に対応する入力座標が検出され、現在の
メタファ環境の状態（入力位置に建物アイコンが表示さ
れていること）から対応するイベントデータ（アプリケ
ーションの起動要求）が生成される。オブジェクト制御
装置１３は、このイベントデータを代理処理イベント判
別装置１１を介して受け取り、アプリケーションプログ
ラム１４から対応する処理を選択的に実行し、実行結果
（アプリケーション起動完了等）を出力する。メタファ
環境管理装置１５は、この実行結果を受け取り、メタフ
ァルール蓄積装置１６に蓄積されているルール（アプリ
ケーション機動に関するルール）を得て対応する画面表
示状態を決定し、状態保持装置１７に画面表示状態の変
更（アプリケーション起動画面の表示）を指示する。状
態保持装置１７は、この指示によって動作状態を変更
し、新しい動作状態を入力装置２及び表示制御装置１８
に出力する。表示制御装置１８は、この新しい動作状態
に従って画面データ蓄積装置から必要な表示イメージ
（アプリケーション起動画面等）を読み出して表示画面
を形成し、表示装置１に出力する。このようにして、ユ
ーザが建物アイコンを選択した結果としてアプリケーシ
ョン起動画面が表示される。さらに、入力装置２は、受
け取った新しい動作状態に従って、以降のユーザ入力の
座標位置からイベントデータ（アプリケーションへの入
力等）を生成する。このイベントデータは、同様に、オ
ブジェクト制御装置１３が受け取り、アプリケーション
実行中の入力データとして処理される。その結果は、メ
タファ環境管理装置１５でメタファルールと比較され、
状態保持装置１７の動作状態（表示画面等）を変更す
る。さらに、表示制御装置１８を介して表示装置１の表
示が変更されるとともに、入力装置２で以降生成される
イベントデータも変更される。ユーザがアプリケーショ
ンを終了する入力を行うと、同様にして状態保持装置１
７の動作状態が変更され、街のメタファ画面に戻る。The operation of this embodiment will be described with reference to FIGS. 1, 2, 3 and 6. When the user selects the building icon while the operation world (metaphor screen of the city) as shown in FIG. 6 is displayed on the display device 1, the input device 2 detects the input coordinates corresponding to the display device 1, Corresponding event data (application start request) is generated from the current state of the metaphor environment (the building icon is displayed at the input position). The object control device 13 receives this event data via the proxy process event determination device 11, selectively executes the corresponding process from the application program 14, and outputs the execution result (application startup completion etc.). The metaphor environment management device 15 receives this execution result, obtains the rules (rules related to application mobility) stored in the metaphor rule storage device 16 to determine the corresponding screen display state, and the state holding device 17 displays the screen display state. To change (display the application startup screen). The state holding device 17 changes the operating state according to this instruction, and sets the new operating state to the input device 2 and the display control device 18.
Output to. The display control device 18 reads out a necessary display image (application start screen or the like) from the screen data storage device according to the new operation state, forms a display screen, and outputs the display screen to the display device 1. In this way, the application start screen is displayed as a result of the user selecting the building icon. Further, the input device 2 generates event data (input to application, etc.) from the coordinate position of subsequent user input according to the received new operation state. This event data is similarly received by the object control device 13 and processed as input data during application execution. The result is compared with the metaphor rule in the metaphor environment management device 15,
The operation state (display screen or the like) of the state holding device 17 is changed. Further, the display of the display device 1 is changed via the display control device 18, and the event data generated thereafter by the input device 2 is also changed. When the user makes an input to terminate the application, the state holding device 1 is similarly performed.
The operation state of 7 is changed, and the screen returns to the city metaphor screen.
【００２２】ユーザが街のメタファ画面でキャラクタを
選択した場合も、入力装置２がイベントデータ（代理処
理の指示開始）を生成し、オブジェクト制御装置１３が
代理装置の指示を行うアプリケーションを起動する。こ
の結果が状態保持装置１７を介して表示装置１の表示に
反映（代理処理指示画面が表示）される。アプリケーシ
ョン操作と同様にして代理処理を指示した後、ユーザが
指示終了を入力（ソフトボタンの選択等）すると、入力
装置２が指示終了を示すイベントデータとともに、代理
処理要求を示すイベントデータを生成する。指示終了を
示すイベントデータは、代理処理イベント判別装置１１
を介してオブジェクト制御装置１３が受け取り、状態保
持装置１７の保持する動作状態が変更され、表示が街の
メタファ画面に戻る。また、代理処理要求を示すイベン
トデータは、代理処理イベント判別装置１１を介して代
理処理手続生成装置１２に出力される。代理処理手続生
成装置１２は、このイベントデータを受け取り、対応す
る操作の操作内容や操作条件を記述した代理処理手続を
生成して操作代理装置５に出力する。代理処理の実行
は、操作代理装置５がこのようにして与えられた手続の
内容や条件に従って、ユーザが操作した場合と同様なイ
ベントデータをイベント解釈装置３に出力することによ
って実現される。代理処理では、オブジェクト制御装置
１３の処理結果を受け取ったメタファ環境管理装置１５
が、状態保持装置１７にキャラクタ表示状態の変更を指
示する。表示制御装置１８は、状態保持装置１７の変更
された動作状態を受け取り、キャラクタ表示を変更（イ
メージ変更や移動等）して表示装置１に出力する。この
ようにして、ユーザ操作の代理実行機能を提供し、その
実行状態を視覚的にユーザに示す。Even when the user selects a character on the metaphor screen of the city, the input device 2 generates event data (start of proxy processing instruction), and the object control device 13 activates an application for instructing the proxy device. The result is reflected on the display of the display device 1 via the state holding device 17 (the proxy processing instruction screen is displayed). When the user inputs an instruction end (selection of a soft button or the like) after instructing the proxy processing in the same manner as the application operation, the input device 2 generates event data indicating the proxy processing request together with event data indicating the instruction end. . The event data indicating the end of the instruction is the proxy process event determination device 11
The object control device 13 receives the information via the, and the operation state held by the state holding device 17 is changed, and the display returns to the city metaphor screen. Further, the event data indicating the proxy process request is output to the proxy process procedure generation device 12 via the proxy process event determination device 11. The proxy process procedure generation device 12 receives the event data, generates a proxy process procedure describing the operation content and operation condition of the corresponding operation, and outputs the proxy process procedure to the operation proxy device 5. Execution of the proxy process is realized by the operation proxy device 5 outputting to the event interpretation device 3 the same event data as when the user operates according to the contents and conditions of the procedure thus given. In the proxy processing, the metaphor environment management device 15 that receives the processing result of the object control device 13
Instructs the state holding device 17 to change the character display state. The display control device 18 receives the changed operation state of the state holding device 17, changes the character display (image change, movement, etc.), and outputs it to the display device 1. In this way, the proxy execution function of the user operation is provided, and the execution state is visually shown to the user.
【００２３】以上述べたように、街のメタファによって
統一された操作世界を提供することにより、アプリケー
ションや代理処理の実行内容が視覚的に理解し易く、ユ
ーザが日常得られる知識だけで表示内容や動作が理解で
きる。さらに、予約処理等の特定の条件で実行しなけれ
ばならない処理や、情報の検索または編集といった複雑
な処理をユーザに代わって処理する機構を提供すること
で、ユーザに特別な操作知識や技術を要求することな
く、メタファインタフェース装置のもつ機能を十分に発
揮したサービスを提供することが可能である。例えば、
ある商品の情報収集を行う場合、様々なアプリケーショ
ンを起動しながら必要な情報を複写してメモ帳アプリケ
ーションに記録していくといった複雑で煩雑な操作が必
要である。これを商品名や機能（情報収集等）という簡
単なキーワードで代理処理として実行することにより、
ユーザの負荷が大きく軽減される。また、この代理処理
の実行が操作世界上の動作として視覚化されるため、ユ
ーザが動作を確認しながら指示を行うことが可能であ
り、操作の信頼性と効率が向上する。さらに、ユーザが
情報収集の方法を知らなかった場合にも、代理処理とし
て指示し、画面上のキャラクタの動作を追うことによっ
て、その操作を理解することができる。このように、動
作を伴うマニュアルとして利用することで、ユーザへの
教育効果が期待できる。As described above, by providing the operation world unified by the metaphor of the city, the execution contents of the application and the proxy process are easy to understand visually, and the display contents and Can understand the operation. Furthermore, by providing a mechanism for processing complicated processing such as information retrieval or editing that must be executed under specific conditions such as reservation processing, etc. on behalf of the user, special operational knowledge and skills are provided to the user. It is possible to provide a service that fully demonstrates the functions of the metaphor interface device without requesting it. For example,
When collecting information on a certain product, complicated and complicated operations such as copying necessary information while activating various applications and recording the information in a memo pad application are required. By executing this as a proxy process with simple keywords such as product name and function (information collection etc.),
The load on the user is greatly reduced. Further, since the execution of this proxy process is visualized as an action on the operation world, the user can give an instruction while confirming the action, which improves the reliability and efficiency of the operation. Further, even when the user does not know how to collect information, the operation can be understood by instructing as proxy processing and following the motion of the character on the screen. In this way, by using it as a manual accompanied by movements, educational effects for the user can be expected.
【００２４】本発明の第２の実施例をブロックで示す図
４を参照すると、この実施例のメタファインタフェース
装置は、例えば、ディスプレイとその表示面前面に装着
されたタッチパネルのように、図１における表示装置１
と入力装置２が、直接操作を実現する一体型入出力装置
１０を形成するように構成されたものである。このよう
に、直接操作を実現することで特別な操作技術を持たな
いユーザでも利用可能であり、ユーザが装置を使うため
の教育期間が大幅に短縮される。また、キャラクタ等の
選択操作は、指やペンで画面上のオブジェクトをタッチ
するだけでよく、ユーザがメタファ環境の中での自分自
身を表すオブジェクトを操作する従来のメタファインタ
フェース装置に比べて操作効率が向上する。さらに、マ
ウスやカーソルキーといった現在の座標位置からの相対
的な移動方向や移動距離を示すデバイスに比べて、操作
にかかる時間が大幅に短縮され、マウスやカーソルキー
では困難であった動くオブジェクトの選択操作が容易に
行える。このため、メタファ環境内でキャラクタが移動
しても、ユーザが容易にキャラクタを選択（タッチす
る）ことができ、ユーザの操作負荷を増加させることな
く、代理操作の視覚化の効果を十分に発揮できる。Referring to FIG. 4 which is a block diagram of a second embodiment of the present invention, the metaphor interface device of this embodiment is similar to that of FIG. 1 such as a display and a touch panel mounted on the front surface of its display surface. Display device 1
The input device 2 and the input device 2 are configured to form an integrated input / output device 10 that realizes a direct operation. In this way, by realizing the direct operation, it can be used even by a user who does not have a special operation technique, and the education period for the user to use the device is significantly shortened. In addition, a character or the like can be selected by simply touching an object on the screen with a finger or a pen, and the operation efficiency is higher than that of a conventional metaphor interface device in which a user operates an object representing himself / herself in a metaphor environment. Is improved. In addition, compared to devices that show the relative movement direction and movement distance from the current coordinate position, such as the mouse and cursor keys, the time required for operation is significantly reduced, and moving objects that were difficult with the mouse and cursor keys Easy selection operation. Therefore, even if the character moves in the metaphor environment, the user can easily select (touch) the character, and the effect of visualizing the proxy operation is fully exerted without increasing the operation load on the user. it can.
【００２５】本発明の第３の実施例をブロックで示す図
５を参照すると、この実施例のメタファインタフェース
装置は、図１の実施例の構成に加えて、通信制御装置６
により通信回線を介して接続された他のメタファインタ
フェース装置との双方向通信を行う機能を有する。他の
メタファインタフェース装置からのデータは、通信制御
装置６によって通信回線を介して受信され対応するイベ
ントデータに変換されてイベント解釈装置３に出力され
る。イベント解釈装置３は、対応する機能を選択的に実
行し、その実行結果によりメタファ環境生成装置４が、
メタファを利用した表示画面を生成して表示装置１に表
示する。また、通信制御装置６は、メタファ環境生成装
置４からメタファ環境の状態を受け取り、必要なデータ
を他のメタファインタフェース装置へ通信回線を介して
送信する。他のメタファインタフェース装置からの接続
要求は、通信制御装置６が通信回線を介して受け取り、
イベントデータに変換する。イベント解釈装置３は、こ
のイベントデータを受け取り通信アプリケーションを起
動する。メタファ環境生成装置４は、この実行結果を受
け取ってメタファを利用した表示画面を生成し、表示装
置１の画面上に通信相手を表すキャラクタを表示する。
さらに、通信制御装置６がメタファ環境生成装置４から
メタファ環境の状態を受け取り、通信開始要求データを
生成し、他のメタファインタフェース装置へ通信回線を
介して送信する。このようにして、双方向通信が確立す
ると、ユーザは画面上のキャラクタを選択することによ
り相手の名前等の情報を画面に表示したり、テレビ電話
のようなアプリケーションをお互いに起動することが可
能である。また、通信相手の要求を受け情報提供を行う
場合等、特定の手順に従った複雑な処理が必要となる場
合には、通信制御装置６からのイベントデータにより、
ユーザが予め定めた範囲内で操作代理装置５が必要な手
順の操作を代行することができる。通信が終了すると、
ディスプレイ１の画面上から相手キャラクタの表示が消
える。Referring to FIG. 5 which is a block diagram showing a third embodiment of the present invention, the metaphor interface device of this embodiment has a communication control device 6 in addition to the configuration of the embodiment of FIG.
Has a function of performing bidirectional communication with another metaphor interface device connected via a communication line. The data from the other metaphor interface device is received by the communication control device 6 via the communication line, converted into corresponding event data, and output to the event interpretation device 3. The event interpretation device 3 selectively executes the corresponding function, and the execution result causes the metaphor environment generation device 4 to
A display screen using the metaphor is generated and displayed on the display device 1. Further, the communication control device 6 receives the state of the metaphor environment from the metaphor environment generation device 4 and transmits necessary data to another metaphor interface device via a communication line. The communication control device 6 receives a connection request from another metaphor interface device,
Convert to event data. The event interpretation device 3 receives the event data and activates the communication application. The metaphor environment generation device 4 receives the execution result, generates a display screen using the metaphor, and displays a character representing a communication partner on the screen of the display device 1.
Further, the communication control device 6 receives the state of the metaphor environment from the metaphor environment generation device 4, generates communication start request data, and transmits it to another metaphor interface device via a communication line. In this way, when two-way communication is established, the user can display information such as the name of the other party on the screen by selecting a character on the screen, or launch applications such as a videophone with each other. Is. Further, when complicated processing according to a specific procedure is required, such as when information is provided in response to a request from a communication partner, the event data from the communication control device 6 causes
It is possible for the operation proxy device 5 to perform the operation of the required procedure on behalf of the user within a predetermined range. When communication is completed,
The display of the opponent character disappears from the screen of the display 1.
【００２６】このように、通信サービス提供時に、通信
相手を表すキャラクタを画面に表示することで、通信開
始時の動作が容易に理解できるとともに、ユーザ同士の
コミュニケーションを円滑化する。例えば、電話のよう
なユーザ同士のコミュニケーションを開始する前に名前
や目的等の事前情報を入手することが可能であり、自然
なコミュニケーションへの移行とユーザの的確な対応を
支援する。また、双方の代理処理機能によりキャラクタ
同士のコミュニケーション（双方の代理処理装置同士の
通信機能）を実現することにより、ユーザの操作を要求
しない情報収集が可能となる。例えば、興味のある情報
の収集をあらかじめ代理処理として指示しておけば、他
のメタファインタフェース装置との通信時に必要情報が
自動的に収集される。また、情報を共有したいユーザを
あらかじめ指定しておくことにより、ユーザが情報の転
送等の操作を行うことなく、情報を共有することができ
る。これにより、ユーザの負荷が軽減されるとともに、
情報交流の機会が増加する。さらに、このキャラクタ同
士のコミュニケーションが視覚化されているため、必要
に応じたユーザによる処理内容の確認及び修正が容易に
行える。これにより、ユーザの要求を的確に反映した効
率的で信頼性の高い処理を実現可能である。As described above, when the communication service is provided, by displaying the character representing the communication partner on the screen, the operation at the start of communication can be easily understood and the communication between users is facilitated. For example, it is possible to obtain prior information such as a name and a purpose before starting communication between users such as a telephone, which supports a shift to natural communication and appropriate correspondence of users. Further, by realizing communication between characters (communication function between both proxy processing devices) by both proxy processing functions, it is possible to collect information without requiring user operation. For example, if it is instructed in advance to collect information of interest as a proxy process, necessary information is automatically collected when communicating with another metaphor interface device. Further, by previously designating a user who wants to share information, information can be shared without the user performing an operation such as transfer of information. This reduces the load on the user and
Opportunities for information exchange increase. Further, since the communication between the characters is visualized, it is possible for the user to easily confirm and correct the processing content as needed. As a result, it is possible to realize efficient and highly reliable processing that accurately reflects the user's request.
【００２７】[0027]
【発明の効果】以上説明したように、本発明のメタファ
インタフェース装置では、複雑な操作をユーザに代わっ
て実行する操作代理装置と、ユーザが日常得られる知識
だけで画面表示の内容や装置の動作状態が理解可能なメ
タファ環境を提供するメタファ環境生成装置と、操作が
直接的で理解し易い一体型入出力装置と、他のメタファ
インタフェース装置との双方向通信を実現する通信制御
装置を提供し、ユーザに特別な操作知識や技術を要求す
ることなく、メタファインタフェース装置のもつ機能を
十分に発揮したサービスを統一した操作体系で提供する
ことが可能である。これにより、従来のメタファインタ
フェース装置に比べて、画面表示や操作体系の複雑さに
よるユーザの混乱がない。また、ユーザの記憶負荷や教
育期間が大幅に短縮され、これまで操作の困難さのため
に利用できなかった人に対しても情報通信サービスを提
供できる。さらに、メッセージを動きの情報として視覚
的に示すため、文章等を読む場合と比べて、短時間でそ
の動作の概要を理解可能であり、メッセージが占有する
画面領域や表示時間が大幅に減少するとともに、ユーザ
教育の効果がある。また、通信時において、同じ操作性
で事前情報の提供を可能とし、コミュニケーションの円
滑化とユーザの的確な対応を支援する。また、効率的で
信頼性の高い代理処理を実現し、操作負荷を軽減しなが
ら、情報交流の機会を増加させることが可能である。As described above, in the metaphor interface device of the present invention, the operation proxy device for executing a complicated operation on behalf of the user and the contents of the screen display and the operation of the device only by the knowledge that the user can obtain on a daily basis. Provided are a metaphor environment generation device that provides a metaphor environment whose state is understandable, an integrated input / output device whose operation is direct and easy to understand, and a communication control device which realizes bidirectional communication with other metaphor interface devices. It is possible to provide a service in which the functions of the metaphor interface device are fully exhibited by a unified operation system without requiring the user to have special operation knowledge or skill. As a result, compared to the conventional metaphor interface device, the user is not confused by the complexity of the screen display and operation system. In addition, the memory load of the user and the education period are significantly shortened, and the information communication service can be provided to the person who could not be used due to the difficulty of operation. Furthermore, since the message is visually shown as motion information, it is possible to understand the outline of the operation in a shorter time than when reading a sentence, etc., and the screen area occupied by the message and the display time are significantly reduced. At the same time, there is an effect of user education. In addition, during communication, it is possible to provide advance information with the same operability, which facilitates smooth communication and the user's appropriate response. In addition, it is possible to realize efficient and highly reliable proxy processing, reduce the operation load, and increase opportunities for information exchange.
【図１】本発明の第１の実施例を示すブロック図であ
る。FIG. 1 is a block diagram showing a first embodiment of the present invention.
【図２】イベント解釈装置の一例を示すブロック図であ
る。FIG. 2 is a block diagram showing an example of an event interpretation device.
【図３】メタファ環境生成装置の一例を示すブロック図
である。FIG. 3 is a block diagram showing an example of a metaphor environment generation device.
【図４】本発明の第２の実施例を示すブロック図であ
る。FIG. 4 is a block diagram showing a second embodiment of the present invention.
【図５】本発明の第３の実施例を示すブロック図であ
る。FIG. 5 is a block diagram showing a third embodiment of the present invention.
【図６】本発明によるメタファインタフェース装置の表
示画面の一例を示す図である。FIG. 6 is a diagram showing an example of a display screen of the metaphor interface device according to the present invention.
１ 表示装置 ２ 入力装置 ３ イベント解釈装置 ４ メタファ環境生成装置 ５ 操作代理装置 ６ 通信制御装置 １０ 一体型入出力装置 １１ 代理処理イベント判別装置 １２ 代理処理手続生成装置 １３ オブジェクト制御装置 １４ アプリケーションプログラム １５ メタファ環境管理装置 １６ メタファルール蓄積装置 １７ 状態保持装置 １８ 表示制御装置 １９ 画面データ蓄積装置 DESCRIPTION OF SYMBOLS 1 display device 2 input device 3 event interpretation device 4 metaphor environment generation device 5 operation proxy device 6 communication control device 10 integrated input / output device 11 proxy processing event determination device 12 proxy processing procedure generation device 13 object control device 14 application program 15 metaphor Environment management device 16 Metaphor rule storage device 17 State holding device 18 Display control device 19 Screen data storage device
Claims (5)
分かり易く表現するために、外部の物理世界に存在する
物の外観や動作を模擬したメタファ環境を利用するメタ
ファインタフェース装置において、２次元表示を行う表
示手段と、この表示手段に対応するユーザの入力座標位
置を検出し、メタファ環境の状態に応じたイベントデー
タに変換して出力する入力手段と、ある操作の操作内容
や操作条件を記述した代理処理手続を受け取り、指定さ
れた条件でユーザが操作した場合と同等なイベントデー
タを出力することによりユーザ操作の代理実行機能を実
現する操作代理手段と、これらのイベントデータを受け
取り、あらかじめ用意した機能群から対応する機能を選
択的に実行し、その実行結果を出力するとともに、ある
操作の代理実行を要求するイベントデータを受け取った
場合に、その操作に対応する代理処理手続を生成し、前
記操作代理手段に出力するイベント解釈手段と、この実
行結果を受け取り、メタファを用いてこの実行結果を表
現する新たな表示画面を形成して前記表示手段に出力す
るとともに、この新たなメタファ環境の状態を前記入力
手段に出力するメタファ環境生成手段で構成されること
を特徴とするメタファインタフェース装置。1. A two-dimensional metaphor interface device that utilizes a metaphor environment that simulates the appearance and behavior of an object existing in the external physical world in order to express the logical operation state inside a computer in an easy-to-understand manner for the user. Display means for displaying, input means for detecting the input coordinate position of the user corresponding to the display means, converting the event data into event data according to the state of the metaphor environment, and outputting the event data, operation contents of a certain operation and operation conditions. Receives the described proxy processing procedure, receives the event data equivalent to the operation proxy means that realizes the proxy execution function of the user operation by outputting the event data equivalent to the case when the user operates under the specified conditions. Selectively execute the corresponding function from the prepared function group, output the execution result, and execute a certain operation as a proxy. When the requested event data is received, the proxy processing procedure corresponding to the operation is generated, the event interpretation means for outputting to the operation proxy means and the execution result are received, and the execution result is expressed by using the metaphor. A metaphor interface device comprising a metaphor environment generation means for forming a new display screen and outputting the new display screen to the display means, and for outputting the state of the new metaphor environment to the input means.
接操作を実現する一体型入出力手段を形成することを特
徴とする請求項１に記載のメタファインタフェース装
置。2. The metaphor interface device according to claim 1, wherein the input unit forms an integrated input / output unit that realizes a direct operation together with the display unit.
ベントデータを生成し前記イベント解釈手段に出力する
とともに、前記メタファ環境生成手段が出力するメタフ
ァ環境の状態を受け取り、必要なデータを通信回線に送
信する通信制御手段を有し、通信回線を介して接続され
た他のメタファインタフェース装置との双方向通信を行
う手段を有することを特徴とする請求項１又は請求項２
に記載のメタファインタフェース装置。3. The event data corresponding to the data received from the communication line is generated and output to the event interpreting means, the metaphor environment state output from the metaphor environment generating means is received, and necessary data is sent to the communication line. 3. A communication control means for transmitting and a means for performing bidirectional communication with another metaphor interface device connected via a communication line.
The metaphor interface device described in 1.
は前記操作代理手段からイベントデータを入力とし、該
入力されたイベントデータがある操作の代理実行を要求
するものかを判別する代理処理イベント判別手段と、前
記判別が代理実行の要求である場合に、前記代理処理イ
ベント判別手段から前記イベントデータを入力し、対応
する操作の操作内容及び操作条件を記述した代理処理手
続を生成し前記操作代理手段に出力する代理処理手続生
成手段と、前記判別が代理実行の要求でない場合に、前
記代理処理イベント判別手段から前記イベントデータを
入力し、対応する処理をアプリケーションプログラムか
ら取得して実行し、実行結果を出力するオブジェクト制
御手段とから構成されることを特徴とする請求項１、請
求項２又は請求項３に記載のメタファインタフェース装
置。4. A proxy processing event judgment for judging whether or not the event interpretation means receives event data from the input means or the operation proxy means and requests the proxy execution of an operation with the input event data. Means for inputting the event data from the proxy processing event judgment means, and generating a proxy processing procedure describing operation contents and operation conditions of a corresponding operation, when the judgment is a proxy execution request. And a proxy process procedure generation means for outputting to the means, and when the determination is not a request for proxy execution, the event data is input from the proxy process event determination means, a corresponding process is acquired from an application program, executed, and executed. 3. An object control means for outputting a result, and claim 1, claim 2 or claim 3. Metaphor interface device according to.
取り決め事項を記述したメタファルールを蓄積するメタ
ファルール蓄積手段と、前記イベント解釈手段から前記
実行結果を入力し前記メタファルール蓄積手段から前記
メタファルールを読み出し表示画面等の動作状況の変更
を指示するメタファ管理手段と、前記メタファ管理手段
の指示により動作状態を決定して保持し、メタファ環境
の状態を前記入力装置に出力する状態保持手段と、メタ
ファの表示イメージを蓄積する画面データ蓄積手段と、
前記状態保持装置から前記動作状態を入力し、前記画面
データ蓄積手段から表示イメージを読み出し、表示画面
を形成し出力する表示制御手段とから構成されることを
特徴とする請求項１、請求項２、請求項３又は請求項４
に記載のメタファインタフェース装置。5. The metaphor environment generating means stores metaphor rules for storing metaphor rules describing metaphor rules, and the execution result is input from the event interpreting means to the metaphor rules from the metaphor rule accumulating means. A metaphor management means for instructing to change the operation status of the display screen and the like, and a status holding means for deciding and holding the operation status according to the instruction of the metaphor management means, and outputting the status of the metaphor environment to the input device, Screen data storage means for storing the display image of the metaphor,
3. The display control means for inputting the operation state from the state holding device, reading a display image from the screen data storage means, forming a display screen, and outputting the display screen. , Claim 3 or claim 4
The metaphor interface device described in 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6011873A JPH07219741A (en) | 1994-02-03 | 1994-02-03 | Metaphor interface device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6011873A JPH07219741A (en) | 1994-02-03 | 1994-02-03 | Metaphor interface device |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000238796A Division JP2001075698A (en) | 2000-08-07 | 2000-08-07 | Metaphor interface device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH07219741A true JPH07219741A (en) | 1995-08-18 |
Family
ID=11789852
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6011873A Pending JPH07219741A (en) | 1994-02-03 | 1994-02-03 | Metaphor interface device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH07219741A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002041276A (en) * | 2000-07-24 | 2002-02-08 | Sony Corp | Interactive operation-supporting system, interactive operation-supporting method and recording medium |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0384622A (en) * | 1989-08-29 | 1991-04-10 | Personal Joho Kankyo Kyokai | Processing system for multiplex metaphor environment information |
| JPH0384652A (en) * | 1989-08-29 | 1991-04-10 | Personal Joho Kankyo Kyokai | Architecture model for human interface |
| JPH03222033A (en) * | 1990-01-18 | 1991-10-01 | Internatl Business Mach Corp <Ibm> | Accessing of data by video |
| JPH0520002A (en) * | 1991-07-17 | 1993-01-29 | Personal Joho Kankyo Kyokai | Metaphor environment control system |
| JPH05113941A (en) * | 1991-10-22 | 1993-05-07 | Sony Corp | Transmission/reception device |
| JPH05134839A (en) * | 1991-11-13 | 1993-06-01 | Matsushita Electric Ind Co Ltd | Information processor |
| JPH05241856A (en) * | 1992-03-02 | 1993-09-21 | Canon Inc | Information processor |
| JPH05346897A (en) * | 1992-06-15 | 1993-12-27 | Matsushita Electric Ind Co Ltd | Automatic demonstration device |
| JPH0612401A (en) * | 1992-06-26 | 1994-01-21 | Fuji Xerox Co Ltd | Emotion simulating device |
-
1994
- 1994-02-03 JP JP6011873A patent/JPH07219741A/en active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0384622A (en) * | 1989-08-29 | 1991-04-10 | Personal Joho Kankyo Kyokai | Processing system for multiplex metaphor environment information |
| JPH0384652A (en) * | 1989-08-29 | 1991-04-10 | Personal Joho Kankyo Kyokai | Architecture model for human interface |
| JPH03222033A (en) * | 1990-01-18 | 1991-10-01 | Internatl Business Mach Corp <Ibm> | Accessing of data by video |
| JPH0520002A (en) * | 1991-07-17 | 1993-01-29 | Personal Joho Kankyo Kyokai | Metaphor environment control system |
| JPH05113941A (en) * | 1991-10-22 | 1993-05-07 | Sony Corp | Transmission/reception device |
| JPH05134839A (en) * | 1991-11-13 | 1993-06-01 | Matsushita Electric Ind Co Ltd | Information processor |
| JPH05241856A (en) * | 1992-03-02 | 1993-09-21 | Canon Inc | Information processor |
| JPH05346897A (en) * | 1992-06-15 | 1993-12-27 | Matsushita Electric Ind Co Ltd | Automatic demonstration device |
| JPH0612401A (en) * | 1992-06-26 | 1994-01-21 | Fuji Xerox Co Ltd | Emotion simulating device |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002041276A (en) * | 2000-07-24 | 2002-02-08 | Sony Corp | Interactive operation-supporting system, interactive operation-supporting method and recording medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3847641B2 (en) | Information processing apparatus, information processing program, computer-readable recording medium storing information processing program, and information processing method | |
| CN110262708B (en) | Apparatus and method for performing a function | |
| Rohs et al. | A conceptual framework for camera phone-based interaction techniques | |
| US5886697A (en) | Method and apparatus for improved graphical user interface having anthropomorphic characters | |
| Karam | A taxonomy of gestures in human computer interactions | |
| JP4388982B2 (en) | Web browser capable of navigation between hypertext objects by remote control device | |
| JP2003531428A (en) | User interface and method of processing and viewing digital documents | |
| CA2521266A1 (en) | A windowing and controlling system thereof comprising a computer device | |
| JP2003536177A (en) | Method and system for transferring objects between users or applications | |
| JPH10134069A (en) | Information retrieval device | |
| JP4555701B2 (en) | Information processing method, interface device, program, and recording medium | |
| Mäkelä et al. | " It's Natural to Grab and Pull": Retrieving Content from Large Displays Using Mid-Air Gestures | |
| Çöltekin et al. | Gaze and feet as additional input modalities for interacting with geospatial interfaces | |
| JP2020080154A (en) | Information processing system | |
| Florence et al. | The GIS wallboard: interactions with spatial information on large-scale displays | |
| JP2760289B2 (en) | Graphical user interface operating device for the visually impaired | |
| JP2023098878A (en) | Image provision server and image provision method | |
| Henderson et al. | Exploring cross-modal training via touch to learn a mid-air marking menu gesture set | |
| JPH07219741A (en) | Metaphor interface device | |
| JP2002351309A (en) | Display device for city map associative information | |
| JP2001075698A (en) | Metaphor interface device | |
| Shikhri et al. | Analyzing Behavior and User Experience in Online Museum Virtual Tours | |
| JP3110266B2 (en) | Character interface device | |
| JP2001084076A (en) | Control of pointer and computer system | |
| JP2892416B2 (en) | Image interactive communication system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20011127 |