JPH10198513A - グラフィカル・ユーザーインタフェースに特徴を有する情報処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 ＧＵＩ環境で操作するユーザーに対し、身体
に与える負担を軽減し、快適な操作環境と、正確なポイ
ンティングが可能な情報処理装置を提供することを目的
とする。 【解決手段】 グラフィカル・ユーザーインタフェース
において、ユーザーの手指に物理刺激を与えるための刺
激発生手段が組み込まれているポインティング操作器を
有し、ディスプレイに表示される画面の起源となってい
る画像ソース情報とポインティング操作器の移動情報に
基づいて画面上を移動するカーソルの座標データとを逐
次比較し、画面中の複数の画像要素とカーソルの表示位
置との相対性に関連したタイミングで刺激発生手段の駆
動信号を発生してポインティング操作器に供給すること
を特徴とする情報処理装置としている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明はパソコンやワーク
ステーションなどの情報処理装置に関するものであり、
より具体的にはグラフィカル・ユーザーインタフェース
において、ディスプレイの出力画面とポインティング操
作器間の情報入出力処理に特徴を有する情報処理装置に
関する。

【０００２】

【従来の技術】最近のパソコンはグラフィカル・ユーザ
ーインタフェース（以下、ＧＵＩ）を採用している。Ｇ
ＵＩにおいてユーザーは画面上に配置されたアイコンや
ダイアログ・ボックスなどの画素要素に対して操作指示
を与える。画面に表示されたカーソルを移動させて目的
の画素要素に重ね、クリックやドラッグするだけでほと
んどの操作が可能である。カーソルの移動操作にはポイ
ンティング操作器が必須である。現在、最も普及してい
るのはマウスである。

【０００３】マウスは、手のひらで握れるサイズの大き
さで、底面が平たいケースに包まれている。底面にはボ
ールが組み込まれている。ケースの上面には１つ〜３つ
のボタンが付いている。ケーズ前方からケーブルが引き
出され、その先はパソコンに接続されている。

【０００４】ユーザーがマウスを持ったまま机上面など
に沿って移動させると底面のボールが回転する。ボール
の回転はロータリーエンコーダなどの移動検知部により
２次元方向の移動状態として検出される。マウス内部の
マイコンなどの電子回路はこの移動状態をパソコン側で
移動方向および移動距離として処理できるような移動信
号に変換する。さらにマイコンはボタンの押圧状態に応
たイベント信号の発生や、自身の周辺装置ＩＤ信号の出
力制御も行う。これらの信号はシリアル・インタフェー
スを介してケーブルに出力される。

【０００５】パソコン側ではマウスの出力信号をシリア
ル・インタフェースを介して適宜なサンプリング時間毎
に受け取る。移動信号を受け取るとカーソルの表示位置
を示す座標データを更新する。その新たな座標データに
基づいて、画面上のカーソルの表示位置を変化させる。
イベント信号を受け取ると、それに応じた情報処理を行
って処理結果をディスプレイに出力する。

【０００６】さらに、マウスの多機能化ねらったものと
して実願昭６２−５３６４１号公報に開示された技術が
ある。この技術は、エラー時などの警告をビープ音など
の音声情報以外の情報を使って報知するものである。こ
の従来技術ではケースの表面に振動部または一対の電極
部が設けてあり、それを握る手に振動や微弱電流による
筋収縮などの刺激を与えてエラー時の報知を行ってい
る。

【０００７】

【発明が解決しようとする課題】ＧＵＩ環境において
は、目的のアイコンを目で確認して、そのアイコンにマ
ウスのカーソルを目で追いながら各種入力操作を行う。
入力操作に対する情報処理結果はディスプレイに出力さ
れる。その出力情報を再び目で確認する。このようにユ
ーザーは情報の入出力操作をディスプレイ上で目で確認
しながら行う。ディスプレイはＧＵＩに対応して通常高
精細ディスプレイが使用されている。高精細ディスプレ
イは表示できる情報量が多い反面、画面上の個々の画素
要素が小さくなってしまう。このため、ユーザーはカー
ソルを目的の画素要素に合わせるために画面を注視しな
くてはならない。これは、ユーザーの目に大きな負担を
掛ける。

【０００８】さらに画素要素の微細化は、マウスを移動
させるときの手指に微妙な操作を要求する。それによる
ユーザーの腕や肩への疲労も軽視できない。また、正確
なカーソルの指示を阻害し、意図しない画素要素に対し
て不要な操作指令を入力してしまう可能性もある。

【０００９】上述した実願昭６２−５３６４１号公報に
開示された技術は、ユーザーの手指に刺激を与えること
によってビープ音を鳴らさずにエラー時などの警告を報
知している。しかし、この技術は、単にビープ音に対す
る騒音対策を目的としている。従って、この従来技術を
利用したからといって、ＧＵＩ環境における様々な問題
を解決するには至らず、むしろ、全く無能であると言わ
ざるを得ない。さらに、エラーなどは予期しないときに
発生するため、突然与えられる刺激はユーザーにとって
不快以外のなにものでもない。

【００１０】そこで、本発明は、ＧＵＩ環境で操作する
ユーザーに対し、身体に与える負担を軽減し、快適な操
作環境と、正確なカーソルの指示が可能な情報処理装置
を提供することである。

【００１１】

【課題を解決するための手段】本発明の情報処理装置は
従来のＧＵＩ環境におけ機能と情報入出力制御の他に以
下の機能と制御が付加されている。

【００１２】使用されるポインティング操作器にはそれ
を操作する人の手指に刺激を与えるための刺激発生手段
が組み込まれている。ディスプレイへの表示画面の起源
となっている画像ソース情報とカーソルの座標データと
を逐次比較し、前記画面中の複数の画像要素と前記カー
ソルの表示位置との相対性に関連したタイミングで前記
刺激発生手段の駆動信号を発生して前記ポインティング
操作器に供給する。これにより、画面状態を刺激によっ
ても確認できる。

【００１３】より好ましくは、前記駆動信号に複数のモ
ードを設定し、それに対応した複数のモードの刺激をユ
ーザーの手指に与えることである。

【００１４】さらに、前記ポインティング操作器がマウ
スのボールなどの機械的移動入力部により移動操作する
移動式であって、この入力部の可動を阻止する制動力発
生手段を組み込む。そして、前記画面中の複数の画像要
素と前記カーソルの表示位置との相対性にに関連づけて
この制動力発生手段の駆動信号を供給する。これにより
移動操作への抵抗感をもって画面状態を確認できる。

【００１５】ソフトウエアが前記画面中の複数の画素要
素の位置情報を管理する機能を有し、このソフトウエア
を情報処理することによって上述した動作をするＧＵＩ
が達成できる。

【００１６】また、ソフトウエアが前記画面中の複数の
画素要素の位置情報を管理していない場合でも、カーソ
ルの指し示す画素における画像状態値を抽出して、カー
ソルの移動前後での前記画像状態値の差分が所定の閾値
を越えたときに前記刺激発生手段の駆動信号を送出する
周辺管理プログラムをデバイス・ドライバの形式でオペ
レーティングシステムに組み込むことによっても上述し
たＧＵＩを有する情報処理装置が達成できる。

【００１７】

【発明の実施の形態】本発明による情報処理装置（以
下、情報処理装置）１の基本構成は図１に示したように
従来のＧＵＩ環境で使用される情報処理装置と同様であ
る。情報処理部であるパソコン１０に出力装置としてデ
ィスプレイ５０、ポインティング操作器としてマウス１
００が接続されている。

【００１８】＝＝＝本発明におけるマウスの構成＝＝＝ 図１（Ａ）（Ｂ）に情報処理装置１で使用されるマウス
（以下、新マウスと呼ぶ）１００の実施例を示した。
（Ａ）はその外観図である。新マウス１００は、底が平
らなケースの上部にボタン１０１ａ、１０１ｂがあり、
前端部には接続ケーブル１０２が引き出されている。ケ
ース底部にはボールが組み込まれている。これら従来の
マウスと同様の形態に加え、さらに新マウス１００には
パルス的な物理刺激部である振動板１０３がちょうど新
マウス１００を握った手の平が常に接触するケースの背
部に設置されている。（Ｂ）は新マウス１００の構成図
である。シリアル・インタフェース部（以下、マウス側
ＩＦ）１２１を含むマイコン１２０、ボール１０７およ
び移動検知部１０８は従来マウスと同様の構成である。
さらに、新マウス１００には、振動板１０３とそれに結
合された圧電振動子１０４からなる刺激発生手段と、ブ
レーキバッド１０５とそれに結合された積層型圧電アク
チュエータ（以下、アクチュエータ）１０６とからなる
制動力発生手段が組み込まれている。刺激発生手段は圧
電振動子の振動を振動板に伝えることによって、新マウ
ス１００を握る人の手に振動刺激を与える。また、制動
力発生手段はアクチュエータの下方への変位によってブ
レーキパッドをボールに押しつける。これにより、ユー
ザーの移動操作に抵抗感を与える。

【００１９】マイコン１２０は、従来の情報出力制御の
ほかに、マウス側ＩＦ１２１を介して受け取ったパソコ
ン側からの刺激発生手段の駆動信号（以下、刺激信号）
あるいは制動力発生手段の駆動信号（以下、制動信号）
に応じて刺激発生手段あるいは制動力発生手段を駆動さ
せるための制御も行う。

【００２０】なお、刺激発生手段、制動力発生手段の動
力源は圧電素子に限るものではなく、モータの回転軸に
固定された偏心カムなどで振動や変位を発生させてもよ
い。

【００２１】＝＝＝本発明における情報処理装置で実現
されるＧＵＩの概要＝＝＝ 本発明における情報処理装置で実現されるＧＵＩ（以
下、新ＧＵＩと呼ぶ）の概略を図３に示した。ディスプ
レイ５０に表示される画面５１上に複数のアイコンが適
宜に配置されている。画面上にはカーソル５３も表示さ
れている。ここで、カーソルを矢印５４に沿って移動さ
せる。カーソル５３の軌跡上にはアイコン５２ａ、５２
ｂがある。パソコン１０はこのアイコン５２ａ、５２ｂ
にカーソルが重なった瞬間にマウスへ刺激信号を供給す
る。さらにカーソルの軌跡を追うと、画面の端に向かっ
ている。これ以上カーソルの移動ができなくなると、パ
ソコンはマウスへ制動信号を供給する。

【００２２】なお、カーソルが背景を指しているとき
と、アイコン上を指しているとでは、それぞれ異なった
モードの刺激信号を新マウスに供給するなど、画素要素
に応じて刺激信号のモードを適宜変更することも可能で
ある。

【００２３】＝＝＝新ＧＵＩの制御方法＝＝＝ 上述した新ＧＵＩの制御方法を以下に述べる。

【００２４】（ａ）アプリケーションソフトウエアから
の制御 新ＧＵＩに対応したソフトウエア（以下、新ＧＵＩ対応
ソフト）を用意する。図４に新ＧＵＩ対応ソフト情報処
理装置１で実行させたときの表示状態の一例を示した。
ここで、実行されている新ＧＵＩ対応ソフトは表計算ソ
フトである。画面５１上にはカーソル５３と新ＧＵＩ対
応ソフトの実行ウインドウ５５が表示される。新ＧＵＩ
対応ソフトは画像ソース情報を管理している。この場合
の画像ソース情報とは実行ウインドウ５５内のすべての
画素要素の属性のことである。すなわち画素要素の種類
（実行ウインドウ５５、セル５６、ボタン５７など）、
座標データ、色データ、大きさなどである。そして、画
素要素の属性とカーソル５３の位置情報を逐次監視して
いる。いま、カーソル５３を矢印５８に沿って移動させ
たとする。カーソル５３の軌跡をたどっていくと何回か
セル５７の境界をまたぐ。この境界の位置データはもち
ろん新ＧＵＩ対応ソフトの管理下にあるので、カーソル
５３がセルの境界をまたいだ瞬間に刺激信号が発生する
ように制御する。また、ボタン５７が配置されているツ
ールバー領域５９にさしかかると、セル５７の境界のと
きとは違ったモードの刺激信号が送出されるようにす
る。さらに、矢印５８をたどるとその先端は実行ウイン
ドウ領域５５の外方向へ向かっている。実行ウインドウ
５５外へのカーソル５３の移動に対しては制動信号が発
生するようになっている。また、複数のウィンドウが画
面５１内に開いている場合などにおいて、１つのウィン
ドウ内にあるカーソルを別のウインドウに移動させると
きなどカーソルがウインドウ枠をまたぐときにも制動信
号が発生するようになっている。ウインドウ枠をまたぎ
終えると制動信号の送出を停止し再びスムースなカーソ
ルの操作感に戻る。

【００２５】もちろん、新ＧＵＩ環境はユーザーの好み
に応じて適宜設定変更が可能である。例えば、画素要素
の種類や色に応じて発生させる刺激のモードを変えた
り、制動信号の発生を画面やウインドウや画面のの端部
でいきなり制動をかけるようにせず、端部周辺から徐々
に制動力が増すように制動信号を制御してもよい。この
制動力の段階や、制動力が発生し始める位置なども適宜
設定が可能である。以上は、新ＧＵＩに対応したアプリ
ケーションソフトを実行した場合の実施例であった。

【００２６】（ｂ）ＧＵＩを前提としたオペレーティン
グシステムを利用しての制御 ウインドウズ（マイクロソフト株式会社）に代表される
ようなＧＵＩを前提としたオペレーティングシステム
（以下、ＯＳ）は、そのＯＳ上で実行されるアプリケー
ションソフトの実行ウインドウ内の画素要素を含むすべ
ての画素要素の属性を管理している。この場合は以下の
ような方法で新ＧＵＩの制御を行う。

【００２７】ＯＳとしてウィンドウズ９５（以下、Ｗｉ
ｎ９５）を例にとると、まず、新マウス用の周辺装置管
理プログラムをデバイス・ドライバとして用意し、パソ
コンのハードディスクなどの外部記憶装置にインストー
ルしておく。このデバイス・ドライバは新マウスとの通
信制御を行うとともに、Ｗｉｎ９５が管理する画素要素
の属性とカーソルの位置情報を逐次監視する。また、新
ＧＵＩ環境の設定と駆動信号の発生および送出のタイミ
ング制御を行う。

【００２８】このデバイス・ドライバを動作させるため
には、他のＷｉｎ９５対応の周辺装置と同じくＷｉｎ９
５のプラグ・アンド・プレイ機能を使う。Ｗｉｎ９５が
動作するパソコンのマウスコネクタに周辺装置を接続す
るとＷｉｎ９５はその周辺装置に対してして周辺装置識
別ＩＤの送出を要求する。そして、返送された周辺装置
識別ＩＤが新マウスのものであったとき、新マウス用の
デバイス・ドライバを適宜なメモリ領域に格納してＷｉ
ｎ９５に組み込む。これで、新ＧＵＩの制御が可能とな
る。新ＧＵＩは予め初期設定がなされているが、ユーザ
ーの入力操作によりきめ細かな設定が可能である。例え
ば、画素要素の種類や色によって刺激モードを選択する
などして、ユーザーの好みに合わせて設定可能である。
もちろん上述した（ａ）の場合と同様に複数のウインド
ウが画面にあるときの制動信号制御や、画面の端部付近
で段階的に制動力を増加させたりすることも可能であ
る。設定入力操作は、Ｗｉｎ９５の他の周辺装置と同様
にデバイスマネージャー上で行う。

【００２９】（ｃ）画素要素の属性を管理していないＯ
Ｓ上で、しかもアプリケーションソフトに依存しない新
ＧＵＩ制御 ＭＳ−ＤＯＳなどＧＵＩを前提としていないＯＳにおい
て、しかもアプリケーションソフトが新ＧＵＩに対応し
ていない場合も想定される。この場合でも新ＧＵＩを達
成できる技術を説明する。

【００３０】この場合、ＯＳに上述したＷｉｎ９５の場
合とは異なるデバイス・ドライバを組み込むことによっ
て新ＧＵＩを達成している。このデバイス・ドライバは
パソコンのビデオメモリ中のビットマップ情報とカーソ
ルの位置情報を逐次監視している。この場合、ビデオメ
モリ中のビットマップ情報が前述の画像ソース情報に対
応することになる。そして、カーソルの指し示す画素に
おける画像状態値を算出するとともに、カーソルの移動
前後でその画像状態値を比較する。比較した画像状態値
の差が所定の閾値を越えたときは刺激信号を送出するた
めの制御をおこなう。

【００３１】本実施例では、画像状態値をビデオメモリ
中のビットマップ情報からカーソルの指し示す画素（以
下、ホットポイント）におけるカラーデータを抽出する
ことにより算出している。このカラーデータはディスプ
レイに表示するときの赤、緑、青（ＲＧＢ）の３原色の
各色の明るさの階調レベルを表している。パソコンは、
表示色を赤、緑、青（ＲＧＢ）の３原色を各色毎に２５
６階調のレベルを使ってディスプレイに出力することが
できる。しかし、ディスプレイに表示できる色数はディ
スプレイの表示画素数とパソコン内のビデオメモリの容
量に応じて決まる。そのため、２５６階調分の途中の階
調レベルを省いて階調数を減らしている。このため、実
際にディスプレイに表示できる色数は少なくなる。な
お、各原色毎の階調数は選択されたカラーパレットによ
って異なる。この辺の技術内容は本発明とは本質的に関
係がないので詳しい説明はしない。以下画像状態値を算
出するための一例を示す。

【００３２】ビデオメモリ中の座標（ｘ，ｙ）はディス
プレイの画素の位置に対応している。ビデオメモリ中の
座標（ｘ，ｙ）におけるＲＧＢの各色の階調レベルを
（Ｒｘｙ，Ｇｘｙ，Ｂｘｙ）とする。このときの画像状
態値をｘ、ｙの関数として、ｇ（ｘ，ｙ）とすると、 ｇ（ｘ，ｙ）＝（Ｒｘｙ，Ｇｘｙ，Ｂｘｙ） と表される。そこで、適宜なサンプリング時間毎にホッ
トポイントの座標におけるカラーデータを取得する。カ
ーソルの移動にともない、ホットポイントが座標（ｘ
１，ｙ１）から（ｘ２，ｙ２）に移動したとする。移動
前後での画像状態値の差Ｄは Ｄ＝｜ｇ（ｘ１，ｙ１）−ｇ（ｘ２，ｙ２）｜ ＝｜（Ｒｘ１ｙ１，Ｇｘ１ｙ１，Ｂｘ１ｙ１）−（Ｒｘ
２ｙ２，Ｇｘ２ｙ２，Ｂｘ２ｙ２）｜ となり、 Ｄ＝（Ｒｘ１ｙ１−Ｒｘ２ｙ２）＾２＋（Ｇｘ１ｙ１−
Ｇｘ２ｙ２）＾２＋（Ｂｘ１ｙ１−Ｂｘ２ｙ２）＾２ としている。（＾２は２乗を表す）このＤに対して閾値
Ｄ０を設定すると、 Ｄ＞Ｄ０ となったときに刺激信号を発生させる。なお、Ｄの計算
において２乗演算処理をしているが、計算量を減らすた
めに Ｄ＝｜Ｒｘ１ｙ１−Ｒｘ２ｙ２｜＋｜Ｇｘ１ｙ１−Ｇｘ
２ｙ２｜＋｜Ｂｘ１ｙ１−Ｂｘ２ｙ２｜ としてもよい。

【００３３】また、閾値は１つに限らず、画像状態値の
差に複数の閾値レベル Ｄ０，Ｄ１，Ｄ２，・・・，Ｄｎ を設定することができる。そして、 Ｄ＞Ｄ０，Ｄ１，Ｄ２，・・・，Ｄｎ の各場合に応じて刺激信号のモードを変えるようにして
もよい。さらに、画像状態値としてカラーデータをその
まま使用してもよい。この場合、色によって刺激信号の
モードを変えたり、画素要素が特定の色をしている場合
に刺激信号を発生させるなどの変更が可能である。ま
た、少ない表示色でも隣り合った画素中に表示色を適当
に分散させることによって視覚上多色表示が可能であ
る。このような場合、ホットポイントに隣接した複数画
素の色データを平均値をとって画像状態値とすることが
できる。

【００３４】以上により、ＧＵＩを前提としていないＯ
Ｓにおいて、しかもアプリケーションソフトが新ＧＵＩ
に対応していない場合でも新ＧＵＩ環境を提供できる。
もちろん、カーソルを画面の外側へ移動させようとする
場合は、制動信号を送出させるモードも備えている。こ
れは、ビデオメモリ中のオンスクリーン情報から表示画
面の縁部の画素の座標データを受け取り、カーソルの移
動前後での移動が縁部の外側への移動かどうかを判断す
ることによって達成できる。この場合もカーソルが画面
の端部付近から端部へ移動するにつれ徐々に制動力が増
すように変更が可能である。

【００３５】ＯＳへの組み込みは、他のデバイス・ドラ
イバの組み込みと同様である。例えば、ＯＳがＭＳ−Ｄ
ＯＳであれば適当なテキストエディタ上でｃｏｎｆｉ
ｇ．ｓｙｓファイルにデバイス・ドライバのファイル名
を記述するだけである。そして、ＭＳ−ＤＯＳを再起動
させればよい。もちろん、従来のマウスがパソコンに接
続されている場合は、パソコンからの出力される制御信
号は無視されるため従来通り使用できる。

【００３６】＝＝＝補足・その他の実施例＝＝＝ 本実施例の情報処理装置ではポインティング操作器をマ
ウス１００の形態としてあるが、ジョイスティック、ト
ラック・パッド、グラフィックスタブレット用のパック
あるいはスタイラスペン、トラック・ボールなど他のポ
インティング操作器の形態を採用してもよい。

【００３７】図５（Ａ）（Ｂ）にトラック・ボール１０
０ｂの形態を採った例を示した。（Ａ）は外観図であ
り、（Ｂ）は構成の概略を示している。ユーザーは移動
情報をボール１０７を手指で回転させることにより入力
する。図中の符号は上述したマウス１００と同様の機
能、動作をする。刺激部１０３はボタン１０１ａ上に設
置されているが、これに限らずユーザーの手指が触れて
いる場所で有ればどこでもよい。

【００３８】

【発明の効果】以上により、第１発明によれば画面上に
配置された複数の画素要素の位置をポインティング操作
器を操作するユーザーに視覚以外の刺激をもって告知す
ることができる。したがって、細かい画素要素が配置さ
れた画面によるＧＵＩにおいてもユーザーの目の負担を
軽減する。また、正確なポインティングを可能とし、ユ
ーザーの身体、特に肩腕部の負担を軽減する。このた
め、ユーザーに対し快適で正確なＧＵＩ環境を提供す
る。

【００３９】さらに、第２の発明によれば、ユーザーに
与える刺激を複数設定することことにより、画面の状態
や画素要素にしたがってて異なった刺激を与えることが
できる。このため、画面状態や画素要素の種類毎に刺激
を変えることが可能となり、より視覚以外の感覚をもっ
て画面状態を把握することができる。また、ユーザーの
好みの設定にカスタマイズさせることができるため、は
るかに優れたＧＵＩ環境が達成できる。

【００４０】また、第３の発明によれば、ユーザーのポ
インティング操作器の移動操作に対して制動をかけるこ
とにより画面状態を確認することができる。このため、
画面の端のように画面上のカーソルが移動限界に達した
ときなどは、ユーザーにポインティング操作器の移動操
作への抵抗感をもって画面状態を告知できる。従って、
画面とユーザーの感覚がより一体感を持ち、表示画面の
大きさを感覚的につかむことができる。さらに、画素要
素の種類に応じて制動がかけられるので、カーソルの移
動操作において、目的の画素要素の直前でカーソルの移
動速度を遅くする必要がない。このため、カーソルを画
素要素に素早く重ねることができる。また、画素要素が
画面上で乱雑に表示されているときなどは正確度も増
す。

【００４１】そして、第４の発明によれば、本発明にお
けるポインティング操作器を汎用のパソコンに接続する
だけで、上述したＧＵＩ環境を提供できる。

【００４２】さらに、第５発明ではオペレーティングシ
ステムやアプリケーションプログラムが画素要素の座標
データなどの属性を管理していない場合でも画面状態や
画素要素の位置を視覚以外の手段でユーザーが確認する
ことができる。そのため、高価な専用のソフトウエアや
特定のオペレーティングシステムが作動するパソコンを
用意する必要がない。したがって、ユーザーに無理な経
済的負担を強いることがなく、既存のシステムに本発明
によるポインティング操作器を付加するだけで同様のＧ
ＵＩ操作環境を提供できる。

【図面の簡単な説明】

【図１】本発明の実施例における情報処理装置の構成を
示した。

【図２】上記実施例の情報処理装置におけるポインティ
ング操作器の一例を示し、（Ａ）はその外観図であり、
（Ｂ）はその構成図である。

【図３】上記情報処理装置におけるグラフィカル・ユー
ザーインタフェースの概略図を示した

【図４】上記情報処理装置で情報処理される応用ソフト
ウエアを動作させたときにディスプレイに表示される画
面を示した。

【図５】上記情報処理装置におけるポインティング操作
器のその他の例を示した。

【符号の説明】

１ 情報処理装置 １０ パソコン ５０ ディスプレイ ５１ 表示画面 ５３ カーソル １００、１００ｂ ポインティング操作器 １２０ マイコン １２１ シリアルインタフェース部

Claims (5)

【特許請求の範囲】
1. 【請求項１】 グラフィカル・ユーザーインタフェース
   に特徴を有する情報処理装置であって、次の各要件
   （１）〜（５）を備える。 （１）複数の画像要素が適宜にレイアウトされた画面を
   ディスプレイに表示するとともに、その画面上にカーソ
   ルを表示する。 （２）ポインティング操作器をユーザーが手指で操作す
   ることで、その操作動態に対応して変化する信号が生じ
   る。 （３）前記ポインティング操作器からの信号に従って前
   記カーソルの表示位置を示す座標データを更新し、その
   座標データに従って前記カーソルの表示位置を変化させ
   る。 （４）前記ポインティング操作器にはそれに触れている
   人の手指にパルス的な物理刺激を与えるための刺激発生
   手段が組み込まれている。 （５）前記画面の起源となっている画像ソース情報と前
   記座標データとを逐次比較し、前記画面中の複数の画像
   要素と前記カーソルの表示位置との相対性に関連したタ
   イミングで前記刺激発生手段の駆動信号を発生して前記
   ポインティング操作器に供給する。
2. 【請求項２】 請求項１において、前記画面中の複数の
   画像要素と前記カーソルの表示位置との相対的な状況に
   応じて複数の異なるモードの駆動信号が発生し、前記ポ
   インティング操作器はそれら駆動信号に応じて複数の異
   なるモードの物理的刺激をそれに触れている人の手指に
   与えることを特徴とする情報処理装置。
3. 【請求項３】 請求項１または２のいずれかにおいて、
   前記ポインティング操作器は人の手指で可動する機械的
   移動入力部をもって移動操作される移動式であり、その
   移動により可動する部分に対し制動をかけるための制動
   力発生手段が組み込まれ、前記画面中の適宜な領域と前
   記カーソルの表示位置との相対性に関連したタイミング
   で前記制動力発生手段の駆動信号を発生して前記ポイン
   ティング操作器に供給することを特徴とする情報処理装
   置。
4. 【請求項４】 請求項１〜３のいずれかにおいて、前記
   画面中の複数の画素要素の位置情報を管理する機能を有
   したソフトウエアを情報処理することによって、前記画
   面中の複数の画像要素と前記カーソルの表示位置との相
   対性に関連したタイミングで前記刺激発生手段の駆動信
   号あるいは前記制動力発生手段の駆動信号を発生して前
   記ポインティング操作器に供給することを特徴とする情
   報処理装置。
5. 【請求項５】 請求項１〜４のいずれかにおいて、前記
   画像ソース情報と前記カーソルの位置情報を逐次監視
   し、前記カーソルの指し示す画素における画像状態値を
   抽出するとともに、前記カーソルの移動前後での前記画
   像状態値の差が所定の閾値を越えたときに前記刺激発生
   手段の駆動信号を送出するための周辺装置管理プログラ
   ムをデバイス・ドライバの形式で作成し、これをオペレ
   ーティングシステムに組み込むことを特徴とする情報処
   理装置。