JPH01229321A - ユーザインタフェース作成装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［概要〕 オブジェクト指向データ処理システムにおいて。

オブジェクトの内容表示および操作等に関するユーザイ
ンタフェースの作成を支援するユーザインタフェース作
成ツールに関し。

オブジェクトの表示領域を管理することによる視覚的・
直接的なグラフインク・インタフェースおよび辞書の利
用による自然言語インタフェースなどを容易かつ統一的
に構築できる手段を提供することを目的とし。

所定の定義情報を持つオブジェクトの表示指示に対し、
そのオブジェクトと部品オブジェクトの内容を表示する
と共に、アクセス・テーブルに表示オブジェクトとその
占有領域情報とを登録する表示系処理手段と、オブジェ
クト表示画面における入力に対し、アクセス・テーブル
に従ってオブジェクトを抽出する下段とメソッドに対す
るメニュー処理を行う手段と自然言語人力に対し辞書に
従ってコマンドを生成し実行する手段とを有する入力系
処理手段とを備える。

〔産業上の利用分野〕

本発明は、オブジェクト指向データ処理システムにおい
て、オブジェクトの内容表示および操作等に関するユー
ザインタフェースの作成を支援するユーザインタフェー
ス作成゛ンールに関する。

最近、与えられた問題の中に現れる物やデータを、属性
値と操作手続き（メソッド）とを持つオブジェクトとし
て管理し、オブジェクト間のメツセージの授受により１
問題を処理していくオブジェクト指向の処理システムが
実用化され、用いられている。このようなシステムにお
いて、ユーザが簡単に所望する処理環境を構築できるよ
うな手段が望まれている。

〔従来の技術とその問題点〕

ユーザインタフェースは、いわば人間と計算機との情報
の授受に関する部分であって、その内容によって、操作
性が大きく影ツする。従来、ユーザインタフェースは、
それぞれの問題に応じて。

すべて開発者が独自に設計するようにされていた。

そのため、従来のユーザインタフェースは、マシン依存
、応用依存の部分が多く、操作性のよいユーザインタフ
ェースを提供するためには９作成工数を多く必要として
いた。また、マシン独立でないため、他のシステムにお
ける再利用（移植）が困難であった。

また、従来、いわゆるメニュ一方式、コマンド方式、自
然言語入力方式などの種々のインタフェースが５個別に
利用されているが、システムが受は入れる処理の範囲が
狭く、ユーザが思った操作をすぐに実行することができ
ないというような問題があった。これは、出力された結
果に対して。

ユーザが直接操作できないことも理由の一つである。ユ
ーザは、現在得られている知識（データ）に基づいて９
例えば、さらに詳しく知りたいとか。

関連するものを知りたいというように、思ったことを直
接操作したいことが多いと考えられるが。

従来５　それを満たすインタフェースを構築することは
極めて困難であった。

また、マルチメディアを用いたユーザインタフェースを
構築する場合に、非常に多くの時間と労力を必要とした
。

本発明は上記問題点の解決を図り、オブジェクトの表示
領域を管理することによる視覚的・直接的なグラフィッ
ク・インタフェースおよび辞書の利用による自然言語イ
ンタフェースなどを容易かつ統一的に構築できる手段を
提供することを目的としている。

〔課匠を解決するだめの手段〕

第１図は本発明の原理説明図である。

第１図において、１０はデイスプレィ、１１はＣＰＵお
よびメモリなどからなる処理装置、１２は属性値とメソ
ッドなどを持つオブジェクト、１３は自然言語の解析に
用いられる解析用辞書、１４はオブジェクトの表示イン
タフェースを提供する表示系処理手段、１５は指定され
たオブジェクトを表示するオブジェクト表示部、１６は
表示オブジェクトをアクセス・テーブルに登録するアク
セス・テーブル登録部、１７は統一的な人力インタフェ
ースを提供する入力系処理手段、１Ｂは指定されたオブ
ジェクトを抽出するオブジェクト抽出部、１９は自然言
語入力によってコマンドを生成し実行するコマンド生成
・実行部、２０はメニューによってメソッドを選択し実
行するメニュー処理部、２１はオブジェクトとその占存
領域情報が登録されるアクセス・テーブル、２２は入力
制御を行う入力制御部、２３はキーボードやボインティ
ング・デバイスなどの入力’ＡＨである。

本発明は、オブジェクト指向モデルを扱うデータ処理シ
ステムを前提としており、各オブジェクト１２は、所定
の各種属性名で１図形やテキストやイメージなどの表示
情報および表示領域に関係する占有領域情報等を持つよ
うにされる。換言すると、所定の表示情報および占有領
域情報等を持つようにオブジェクト１２が作成されてい
れば。

後述する表示系処理手段１４および入力系、処理手段１
７によるインタフェースを利用できるようになっている
。

解析用辞書１３は、自然言語の単語と、オブジェクト・
属性・条件・メソッドなどの対応関係情報が、所定の形
式で予め登録されるものであって。

解析用辞書１３への登録＋ｆｌ報によって、入力系処理
手段１７による自然言語インタフェースを利用できるよ
うになっているものである。

表示系処理手段１４は、オブジェクト１２の表示指示に
対し、予め定められた属性を参照し、オブジェクト表示
部１５により、そのオブジェクトおよびそのオブジェク
トの部品オブジェクトに関する内容を、デイスプレィ１
０に表示する。また。

アクセス・テーブル登録部１６により、アクセス・テー
ブル２１に、今１表示したオブジェクト１２の識別情報
と、その占有領域情報とを登録する処理を行う。

アクセス・テーブル２１は、デイスプレィＩＯへの表示
対象となるウィンドウＷに対応して設けられる内部作業
用の記憶領域であって、そのウィンドウＷに表示されて
いる各オブジェクトとその占有領域情報とを記憶するも
のである。

入力系処理手段１７は３人力装置２３から入力制御部２
２を介して、オブジェクト表示画面における座標を入力
すると、オブジェクト抽出部１８によって、該当するア
クセス・テーフ゛ル２１を検索し、入力座標に対応する
オブジェクトを操作対象として抽出する処理を行う。ま
た、自然言語人力に対し、解析用辞書Ｉ３を参照して解
析を行い。

オブジェクト操作言語によるコマンドを生成して。

それを実行するコマンド生成・実行部１９と、抽出され
たオブジェクトが持つメソッドに対するメニュー表示処
理を行い、そのメニューによって選択されたメソ・７ド
を実行するメニュー処理部２０とを持つ。

（作用〕 各ｆｉ！操作対象となる図形や画像データ等と、ウィン
ドウを、所定の定義形式に従ってオブジェクトとして定
義すると、それを９表示系処理手段１４によって表示す
ることができる。表示系処理手段１４は１表示する部品
オブジェクトを含むすべてのオブジェクトに関する情報
を、自動的にアクセス・テーブル２１に登録し管理する
ので、入力系処理手段１７では、アクセス・テーブル２
１を参照することにより１表示されたすべてのオブジェ
クトを、マウス等のボインティング・デバイスからの入
力によって、認識することができる。

また、所定の形式に従って、解析用辞書１３を作成して
おけば、その登録情報に従って、入力された自然言語を
オブジェクト操作言語に自動変換する処ＰＩ機能が、入
力系処理手段１７によって提供されるため１日本語など
の自然言語インタフェースについても節易に作成できる
ようになる。また９表示しているオブジェクトから選択
されたオブジェクトのメソッドについて、自動的にメニ
ュー選択対象とすることができるので、ユーザは。

現在表示されているオブジェクトに対して、操作したい
ことを１種々のスタイルのインタフェースで、処理装置
１１に対し指示することができるようになる。

〔実施例〕

第２１Ｅ］は本発明の一実施例で用いられるアクセス・
テーブルの説明図、第３図は本発明の一実Ｊ例による表
示操作の例、第４図は本発明の一実施例ζこ係る解析用
辞書の例、第５図は本発明の一実施例によるコマンド生
成の例、第６図は本発明の一実施例処理説明図を示す。

オブジェクト指向モデルを扱う処理システムにおいて、
操作対象となるオブジェクトは、よく知られているよう
に、属性値と操作（メソッド）情報とを持ら、属性値の
検査／変更やメソッドの実行を、メツセージの送受１ｚ
によって行うことができるようになっている。

本発明では、このオブジェクトに基づく表示や各種の操
作を支１するために、オブジェク１−が備えるべき属性
として５例えば次のような情報をそれぞれ共通の形式（
属性名）で持つようにされる。

［オブジェクトが持つ情１１’ｌ ・表示情報： 図形＝Ｏ線（面）種と座標、線（面）属性２色等の情報 テキスト→文字列、フォント、開始位置、方向。

色、背景色等の情報 イメージ悼各ビクセルのピクセル値、マトリクス、色、
データ長等の情報 ・親図形（部品図形）二部品を構成するような階層関係
情報 ・占有領域（表示領域）：部品関係において親部品の座
標系における占有領域情報 ・相対位置二部品関係において親部品の座標系における
相対的な位置情報 ・相対倍率二部品関係において親部品の座標系とのスケ
ールの比率情報 ・ウィンドウ上での位置、・ウィンドウ上での倍率、・
ウィンドウ上での占有領域・・・・・・。

なお、これらのウィンドウ関係の情報は１表示系におい
て、占有領域を計算したときに値が設定される。その占
有３■域は、矩形で管理される。

［ウィンドウ情報］ ウィンドウに関するオブジェクトは２次のような属性情
報を持つ。

・位置ニスクリーン上での位置 ・大きさニスクリーン上での大きさ ・アクセス・テーブル：ウィンドウに表示しているオブ
ジェクトの識別子とその占有領域をテーブル化したもの ・最上位フラグ：ウィンドウの重ね合わせで５表にある
か裏にあるかを識別するフラグ ・ビューの位置、・ビューの大きさ（これを利用してウ
ィンドウ上の図形の全体の移動や縮小／拡大を行う） ・背景色・・・・・・。

第１図に示す表示系処理手段１４は２以上のようなオブ
ジェクトの情報に基づいて、指定されたオブジェクトを
指定されたウィンドウに表示すると共に、そのオブジェ
クトが表示されているウィンドウに対応するアクセス・
テーブル２１に、オブジェクト情報を登録する。

第２図（イ）は、地図表示ウィンドウＷを示しており、
第２図（ロ）は、それに対応するアクセス・テーブル２
１の例を示している。

アクセス・テーブル２１は、地図表示ウィンドウＷに表
示されているすべてのオブジェクトについて、オブジェ
クトの識別子と、左上の座標および右下の座標によって
定義される矩形による占有領域情報とを記憶する。従っ
て９例えばマウス・カーソル３０により、地図表示ウィ
ンドウＷ内の１点が指示されたときに、アクセス・テー
ブル２１によって、どのオブジェクトが選ばれたのかを
ｔ？２　識し、そのオブジェクト（例えば家Ｂ）にメソ
セージを送信することが可能である。

表示操作の例として、第３図に従って、オブジェクトの
トラバース、ブラウズについて説明する。

トラバースは、オブジェクトをたどって検索していくこ
とであり、ブラウズは、オブジェクトの詳細内容を表示
することである。

例えば、第３図（イ）に示すような結果ウィンドウＷに
おいて、マウス等により、「住居２」を指示すると、そ
のウィンドウのアクセス・テーブル２１を参照すること
により、入力座標が含まれるオブジェクトが調べられ、
「住居２」のオブジェクトが選択される。これにより、
「住居２」に対するメツセージ送信ができるようになる
。

「住居２」に対して用意されたメソッドにより５すべで
の属性表示を命令すると、第３図（ロ）図示のように、
結果ウィンドウＷに、「住居２」のすべての属性情報が
表示される。その中のオブジェクト（例えばマンション
Ａ）にも１同様にメソセージを送ることができ、第３図
（ハ）に示すように、「マンションＡ」のプラウズも行
うことができる。さらに、イメージ・オブジェクトであ
る「写真Ｐ」に対して、１表示せよ”というメ・７セー
ジを送ることにより、第３図（ニ）図示のように、予め
用意されたマンションＡの外観写真を表示することも、
同様な操作で行うことができる。

ポインティング・デバイスによって選択したオブジェク
トに対するメンセージ送信方法としては。

例えば“近くのスーパーを求めよ。”というような日本
語入力により自動的に生成したコマンドによる送信や、
属性検査、消去、移動などといった予め用意されたメソ
ッドに基づくメニュー選択による送信を選択することが
できる。

第１図に示す入力系処理手段１７によって使用される解
析用辞書１３は１例えば第４図に示すように構成される
。

この例では、解析用辞書１３には、各種オブジェクトで
扱うデータに対する任意の日本語の単語と、それらの各
単語の種別を示す命令語・補助語などのタイプ情報と、
オブジェクトとの関連情報とが、予め登録されるように
なっている。オブジェクトとの関連情報としては、単語
がオブジェクトを意味するものであるときには、そのオ
ブジェクトの識別子、属性の１つを意味するものである
ときには、その属性名、検索条件等を意味するものであ
るときには、その操作言語に応した条件情報、メソッド
に対応するものであるときには、メソッドの識別名が格
納される。ユーザは、所定の形式に従ってさえいれば、
任意の単語を解析用辞書１３に登録することができる。

次に、この解析用辞書１３を用いたコマンド生成の例を
、第５図に従って説明する。

第５図（ａ）に示すように２例えば“間取りが３ＤＫ、
　　”というような日本語が入力されると、第４図に示
す解析用辞書１３の単語検索により、最長−成性に基づ
く単語分割が行われる。次に１文章が命令文であるか条
件文であるかにより、メソッド部生成または条件部生成
のモジュールが呼び出される。ここでは１条件部生成の
モジュールが呼び出され、“３ＤＫ”の単語から。

ｒ　（（ｍａｄｏｒｉ）　ｅｑｕａｌ　”３ＤＫ”　）
　Ｊの条件部が生成される。

また、第５図（ｂ）に示すように、“物件の価格と間取
りを求めよ。”というような日本語が入力されると、同
様に単語分割が行われ、命令文であることから、メソッ
ド部生成のモジュールが呼び出される。そして、°物件
”がオブジェクトｊｕｕｋｙｏに対応し、“価格”、“
間取り”がそれぞれ属性ｋａｋａｋｕ、ｍａｄｏｒｉに
対応し、“求めよ”がメソッドｇｅｔに対応することが
、解析用辞書１３によって１周へられる。

条件部とメソッド部の解析が終わると、第５図（ｃ）に
示すような所定のオブジェクト操作言語に従ったパター
ンにより９条件部とメソッド部とを組み合わせ、第５図
（ｄ）に示すようなオブジェクト・コマンドを自動生成
する。そして、そのコマンドを実行する。従って、ユー
ザは応用に必要な単語を解析用辞書１３に登録するだけ
で５日本語入力インタフェースを構築できる。

第６図は９本発明の一実施例によるインタフェースに関
する処理の例を示している。

表示系の処理は、第６図（イ）に示すように行われる。

以下の説明における■〜■は、第６図（イ）に示す処理
■〜■に対応する。

■　ウィンドウとオブジェクトを指定した表示指示に対
し、そのウィンドウの情報およびオブジェクトの情報か
ら１表示ウィンドウのビューを始めとして２表示オブジ
ェクトとその部品オブジェクトの占有領域を計算する。

このとき、オブジェクトの属性として定義された相対位
置。

倍率、占有領域などの情報を利用し、さらにウィンドウ
上における位置や倍率や占有領域を求める。

■　オブジェクトの表示情報と、ウィンドウにおける位
置や倍率情報をもとに、オブジェクトの内容を表示する
。この表示内容は９図形でも。

テキストでも、イメージでもよい。

■　表示したオブジェクトが占める表示領域についての
矩形情報（４つの座標）と、オブジェクト識別子とを、
アクセス・テーブルに登録する。

なお、登録順序は、親図形が先で部品図形は後になる。

■　すべての部品図形について、処理■および処理■に
よる表示と登録とを繰り返し、その表示と登録の処理が
終了したならば、処理を終了す入力系の処理は、第６図
（ロ）に示すように行われる。以下の説明における■〜
０は、第６図（ロ）に示す処理■〜■に対応する。

■　マウス入力によって、入力座標と入カポタンがシス
テムから通知される。

■　ウィンドウ情報の占有領域情報をもとに、入力座標
からウィンドウを決定する。占有領域は。

矩形の左上ｘ、　　ｙ座標および右下ｘ、　　ｙ座標の
４つの数値で与えられ、入力座標Ｘ、Ｙに対して５次式
が成立するとき、そのウィンドウが候補となる。

左上Ｘ≦人力Ｘ≦右下Ｘ かつ　左上ｙ≦入力Ｙ≦右下ｙ その候補の中から、最も表面に現れているウィンドウが
１桑作対象として決定される。

■　次に、決定されたウィンドウのアクセス・テーブル
２１から、入力座標を占有領域に含むオブジェクトが求
められる。比較式については。

ウィンドウの決定において用いられた式と同様である。

この処理におけるアクセス・テーブル２１の検索では、
入力の逆順にスキャンを行う。

表示系処理では、前述のように、親図形から先に表示し
ているので９子の部品図形が、後に表示されることにな
る。このことから、アクセス・テーブル２１を逆スキャ
ンすると、同一座標を占有するオブジェクトの中でも、
子の部品図形を先に検索することができる（オブジェク
トの抽出）。

さらに、その図形が操作対象でない場合には。

例えばマウスの右クリックにより３次のオブジェクトの
候補についての検索を続ける（オブジェクトの選択）。

本実施例では、マウスの左クリックがオブジェクト・ア
クセス、中クリックが終了、右クリックが次候補選択に
用いられる。

候補がないときは、最初に戻る。

■　操作対象オブジェクトが選択されると２次に日本語
処理またはメニュー選択の操作選択を行う。これは、任
意の時点で指定できるようにされた指定変数のオン／オ
フにより選択する。

■　日本語処理の場合２周知の仮名漢字変換などにより
１日本語を入力する。

■　解析用辞書１３を用いて１例えば最長一致法により
入力文を単語分割し、解析する。

■　辞書情報から実行対象になる単語を見つけ。

その解析結果に応して、各−単語の補助情報を採用し、
それらを組み合わせて、オブジェクト１桑作言語による
コマンドを生成する。なお、ユーザは、もっと高度な解
析を望む場合には、この部分を別の生成ルーチンで置き
換えてもよい。

この際に、汎用プログラムを用いることも可能である。

■　生成したコマンドを実行し、処理が終了したならば
、マウス入力系へ制御を移す。

■　指定変数のスイッチにより、メニュー選択が指定さ
れている場合、操作対象オブジェクトが持つメソッドの
メニューを表示する。

［相］　表示したメソッドのメニューの中から、１つの
項目を、マウス入力等によって選択する。

９　選択したメニュー項目のメソッドを実行し。

実行が終了したならば、マウス入力系へ制御を戻す。

本実施例では、主として視覚的インタフェースを汲って
いるが２操作対象をオブジェクトとして統一的に管理し
ているので、音声等のメディアを扱うように拡張するこ
とも容易である。なお、操作対象となるオブジェクトや
解析用辞書は、ユーザが所定の規約に従って自由に作成
してよいが。

このオブジェクトの生成を支援する生成ツールや。

辞書作成ツールについても用意することにより。

さらに節易に応用システムを構築できるようにすること
が可能である。

〔発明の効果〕

以上説明したように９本発明によれば、オブジェクト指
向モデルにより、対象分野の知識（データ）や、インタ
フェースに必要な図形、ウィンドウ、辞書などの情報を
定義するだけで、視覚的／直接的にオブジェクト・ブラ
ウズ（トラバース）などの各種の表示や操作を選択でき
る操作性のよいユーザインタフェースを作成できるよう
になる。

オブジェクト指向モデルに基づくので、マシンの独立性
があり、移植性に優れている。種々のメディアに対して
も、統一的にオブジェクトとして管理することができる
。

【図面の簡単な説明】

第１図は本発明の原理説明図。 第２図は本発明の一実施例で用いられるアクセス・テー
ブルの説明図。 第３図は本発明の一実施例による表示操作の例。 第４図は本発明の一実施例に係る解析用辞書の例。 第５図は本発明の一実施例によるコマンド生成の例。 第６図は本発明の一実施例処理説明図を示す。 図中、１０はデイスプレィ、１１は処理装置。 １２はオブジェクト、１３は解析用辞書、１４は表示系
処理手段、１５はオブジェクト表示部、１６はアクセス
・テーブル登録部、１７は入力系処理手段、１８はオブ
ジェクト抽出部、１９はコマンド生成・実行部、２０は
メニュー処理部、２１はアクセス・テーブル、２２は人
力制御部、２３は入力装置を表す。

Claims (1)

【特許請求の範囲】
1. 　操作対象をオブジェクトとして管理するオブジェクト
   指向のデータ処理システムにおいて、所定の定義形式に
   従った表示情報と占有領域情報とを少なくとも持つオブ
   ジェクトの表示指示に対し、そのオブジェクトおよびそ
   のオブジェクトの部品オブジェクトに関する内容を表示
   すると共に、ウィンドウ対応に設けられるアクセス・テ
   ーブル（２１）に、表示オブジェクトとその占有領域情
   報とを登録する表示系処理手段（１４）と、オブジェク
   ト表示画面における入力に対し、該当アクセス・テーブ
   ル（２１）により操作対象オブジェクトを抽出する手段
   と、その操作対象オブジェクトが持つメソッドに対する
   メニュー処理を行う手段と、自然言語入力に対し、所定
   の定義形式で作成された辞書に従ってコマンドを生成し
   実行する手段とを少なくとも有する入力系処理手段（１
   ７）とを備えたことを特徴とするユーザインタフェース
   作成ツール。