JP2001290572A

JP2001290572A - 情報処理装置

Info

Publication number: JP2001290572A
Application number: JP2000104008A
Authority: JP
Inventors: Katsumi Sakamaki; 克己坂巻
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2000-04-05
Filing date: 2000-04-05
Publication date: 2001-10-19

Abstract

(57)【要約】【課題】画像の色属性情報に基づいて触覚情報を呈示
可能な情報処理装置を提供すること。【解決手段】触覚情報演算手段４４は、操作者に触覚
情報を呈示するために、表示情報記憶手段４２から取得
した表示情報に含まれる色属性情報に基づいて演算を行
い、制御手段４６に対して制御信号を逐次出力する。ま
た、制御手段４６は、触覚情報演算手段４４からの制御
信号を受信し、触覚呈示手段２４に対して、印加すべき
変位量や振動周波数或いは制御ゲインを演算して生成し
た駆動信号を出力する。さらに、駆動信号が、Ａ／Ｄコ
ンバータ５２及び駆動制御回路部５０の駆動回路を経由
して駆動手段５４へ伝達されることで、触覚呈示手段２
４が駆動され、操作者に対して触覚情報が呈示される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、情報処理装置に係
り、特に、操作者に対して触覚情報による情報伝達が可
能な情報処理装置に関する。

【０００２】

【従来の技術】日常生活において、人間は、視覚情報、
音声情報、触覚情報等の五感に基づく体感情報を利用し
て物事を判断することを自然に行っているが、しかし、
現在のパーソナルコンピュータ（以下、パソコンとい
う。）に代表される情報処理機器においては、音声情報
の利用も見受けられるようになってきたが、依然として
視覚情報が支配的に用いられている。従って、現在のパ
ソコンは視覚情報に依存した制限のあるインタフェース
になっていると言える。

【０００３】例えば、画面に表示されるグラフィカルユ
ーザインタフェースでは、ポインタの位置を常に目線で
追いかける必要があり、また、クリック指定場所が小さ
い場合があるため、健常者では問題がないが、視力の衰
えた高齢者や弱視者に対しては決して使用し易いインタ
フェースになっているとは言えない。また、インターネ
ットで閲覧する写真などの画像情報・文字情報について
も情報量の多さに対して視覚情報のみでメリハリをつけ
ているため、画面が込み合った印象を受けるものが多
い。

【０００４】また、インターネット上で公開されている
ホームページにおいては、通常、そのファイル形式はＨ
ＴＭＬ（Hyper Text Markup Language）で記述されたハ
イパーテキスト形式であり、ドキュメント上の関連文書
名や関連ＵＲＬ（Uniform Resource Locator）を表すテ
キストに対してはハイパーリンク（単にリンクともい
う。）が設定される。昨今のホームページに掲載されて
いるテキストや画像情報量は多く、またホームページ上
の各所にリンクを設定しているものも多い。ホームペー
ジ上でテキストが高密度で掲載されている場合（特に英
文のページは小さい文字フォントで、テキストが高密度
で掲載されているものが多い。）、テキストを読む作業
は眼にかなりの負担となることがある。特に特定のテキ
ストあるいは画像部にリンクが設定されているか否か判
別する場合、カーソルの形状が変化することで初めて認
知できるため、特に視線を集中する必要性がある。

【０００５】従来、上述のような問題を解決する方法と
して、情報機器の中で触覚情報を用いて画像情報やテキ
スト情報又は形状情報を伝達しようという試みがなされ
ている。例えば、特開平７―７７９４４号公報に記載の
装置は、面状に配列された微小な接触子を任意の時間空
間的パターンで駆動振動させてその面に対する接触感覚
を変化可能にしている。

【０００６】また、画像情報やテキスト情報などの視覚
情報を触覚情報に変換する方法としては、特開平６―１
０２９９７号公報の技術が知られている。ここで提示さ
れているマウスデバイスは、マウスカーソルがウィンド
ウやボタンの境界上を通過したことを触覚情報によって
知ることができるようなフィードバック手段を設けたポ
インティングデバイスである。このマウスデバイスの筐
体には、上下に可動する（振動する）部材が設けられて
おり、画面色の輝度情報を４階調あるいは２階調に処理
して求めた触覚刺激値に基づいて上記の部材を動かすこ
とで触覚情報を出力すると記載されている。

【０００７】また、特開平１０―２０７６２８号公報に
記載の技術は、アプリケーションソフトウェアにおける
構成要素の属性と触覚刺激とを対応させておく方法が述
べられている。これは、画面中のウィンドウ枠など触覚
情報を付加しようとする構成要素に対し、その属性を持
つものに予め触覚刺激値を割り振っておく方法である。

【０００８】さらに、画像情報をもとに触覚情報を演算
する方法として、文献「池井寧、池野晃久、若松和史、
福田収一：触覚ディスプレィにおける多階調表示、日本
機械学会（Ｎｏ．９５−１７）ロボティクス・メカトロ
ニクス講演会’９５講演論文集（Ｖｏｌ．Ａ）、ｐｐ．
１０５−１０８」（以下、文献１という。）に記載され
た技術が知られている。この技術では、カラー画像をグ
レースケールに変換し、そのグレースケールの明度やコ
ントラストを調整して触覚情報として用いている。すな
わち、画像情報をグレースケール化して、あるいは、グ
レースケール化した輝度パターンを修正してその階調デ
ータから触覚情報を求めている。さらに、文献「若松和
史、池井寧、福田収一：触覚テクスチャの表示における
データ依存特性、日本バーチャルリアリティ学会大会論
文集Ｖｏｌ．１（１９９６年１０月）、ｐｐ．１８５−
１８８」（以下、文献２という。）に記載の技術では、
実対象としての画像と再現する触感覚との適合を上げる
ため、画像の単なる輝度パターンとは異なる、画像の幾
何形状を輝度に対応させた触覚情報パターンを数種類作
成して、官能評価的に画像に合う触覚情報パターンを選
択している。

【０００９】

【発明が解決しようとする課題】しかしながら、上記の
ような従来の装置では次のような問題点がある。

【００１０】特開平６―１０２９９７号公報に記載の技
術では、画像情報を単純に明るさのパターン情報と考え
て、その輝度情報から振動刺激値を算出することは、画
像あるいはテキスト情報の意味合いを無視した刺激呈示
となり、適用範囲が狭くなり、また、同じ輝度でも色相
が異なる場合については分離ができないという問題があ
る。

【００１１】特開平１０―２０７６２８号公報に記載の
技術では、一つ一つの属性に予めその定義付けを施す必
要があり、汎用的に任意の画像やテキストに利用するこ
とができないという問題がある。

【００１２】文献１及び２に記載の技術では、略同一の
明度を持つ異なる色が混在した画像については、階調性
を得る事が困難であるという問題がある。また、文字と
背景部から構成される比較的単純なテキスト文書におい
て、特定の文字、例えば赤や青文字（これはインターネ
ット上で公開されているホームページ上のリンク部分に
よく用いられる。）の箇所だけに強調の目的で触覚情報
を呈示する場合に、文字と背景部のコントラストのみに
よる演算方式では、何れの文字でも触覚情報が出力され
てしまう問題がある。

【００１３】本発明は、上記のような事情に鑑みてなさ
れたものであり、画像の色属性情報に基づいて触覚情報
を呈示可能な情報処理装置を提供することを目的とす
る。

【００１４】

【課題を解決するための手段】請求項１に記載の発明
は、画像を表示するディスプレイと、前記ディスプレイ
に表示された画像の一部分を指示するポインティング手
段と、操作者に対して触覚情報を呈示する触覚呈示手段
と、前記触覚情報を呈示すべき画像部の色属性情報を予
め記憶する記憶手段と、前記ポインティング手段により
指示された画像部の色属性情報と、前記記憶手段に記憶
された色属性情報とが一致した場合に、操作者に対して
触覚情報を呈示するように前記触覚呈示手段を制御する
制御手段と、を備えている。

【００１５】請求項１に記載の発明によれば、記憶手段
は、予め定めた、触覚情報を呈示すべき画像部の色属性
情報を記憶する。また、制御手段は、ディスプレイに表
示された画像において、ポインティング手段により指示
された部分の色属性情報を取得する。さらに制御手段
は、取得した色属性情報と記憶手段に記憶された色属性
情報とが一致する場合に、操作者に対して触覚情報を呈
示するように触覚呈示手段を制御する。これにより、操
作者がポインティング手段によって、触覚情報を呈示す
るように予め定めた色属性情報を有する画像の一部分を
指示した場合に、操作者に対して触覚情報を呈示するこ
とができる。

【００１６】請求項２に記載の発明は、請求項１に記載
の発明において、前記記憶手段は、前記触覚情報を呈示
すべき画像部の複数の色属性情報と、該色属性情報の各
々に対応した異なる触覚情報とを予め記憶することを特
徴としている。

【００１７】請求項２に記載の発明によれば、記憶手段
は、触覚情報を呈示すべき画像部の複数の色属性情報
と、それら色属性情報の各々に対応した異なる触覚情報
とを予め記憶する。従って、この色属性情報と触覚情報
との対応関係に基づいて、ディスプレイに表示された画
像においてポインティング手段により指示される画像部
の色属性情報に応じて、操作者に呈示する触覚情報を決
定することができる。これにより、例えば、異なる色属
性情報を有する複数の画像部について、各々異なる触覚
情報を呈示することができる。

【００１８】請求項３に記載の発明は、請求項１又は２
に記載の発明において、前記制御手段は、前記ポインテ
ィング手段により指示された画像部の色属性情報と、前
記記憶手段に記憶された色属性情報とが一致しない場合
に前記触覚呈示手段よる触覚呈示を行わないことを特徴
としている。

【００１９】請求項３に記載の発明によれば、制御手段
は、ポインティング手段により指示された画像部の色属
性情報が、記憶手段に記憶した色属性情報と一致しない
場合には触覚情報を呈示しない。これにより、操作者
は、触覚情報の呈示の有無によって、視覚情報に依存せ
ずに、画像構成上の各部の違いを明確に識別することが
できる。

【００２０】請求項４に記載の発明は、画像を表示する
ディスプレイと、前記ディスプレイに表示された画像の
一部分を指示するポインティング手段と、操作者に対し
て触覚情報を呈示する触覚呈示手段と、前記触覚情報を
呈示すべき画像部の色属性情報の変化量を予め記憶する
記憶手段と、前記ポインティング手段が指示する画像部
の色属性情報の変化量と、前記記憶手段に記憶された色
属性情報の変化量とに基づいて前記触覚呈示手段を制御
する制御手段と、を備えている。

【００２１】請求項４に記載の発明によれば、記憶手段
は、予め定めた、触覚情報を呈示すべき画像部の色属性
情報の変化量を記憶する。また、制御手段は、ディスプ
レイに表示された画像において、ポインティング手段に
より指示される部分の変化に伴う色属性情報の変化量を
算出する。さらに、制御手段は、算出した色属性情報の
変化量と記憶手段に記憶された色属性情報の変化量とに
基づいて触覚呈示手段を制御する。これにより、操作者
に対して、ポインティング手段によって指示される画像
部の変化に伴う色属性情報の変化量に基づいて触覚情報
を呈示することができる。

【００２２】請求項５に記載の発明は、請求項４に記載
の発明において、前記記憶手段は、前記触覚情報を呈示
すべき画像部の複数の色属性情報の変化量と、該色属性
情報の変化量の各々に対応した異なる触覚情報とを予め
記憶することを特徴としている。

【００２３】請求項５に記載の発明によれば、記憶手段
は、触覚情報を呈示すべき画像部の複数の色属性情報の
変化量と、その色属性情報の変化量の各々に対応した異
なる触覚情報とを予め記憶する。従って、この色属性情
報の変化量と触覚情報との対応関係に基づいて、ディス
プレイに表示された画像においてポインティング手段に
より指示される部分の変化に伴う色属性情報の変化量に
応じて、操作者に呈示する触覚情報を決定することがで
きる。これにより、例えば、複数の異なる色属性情報の
変化量に対して、各々異なる触覚情報を呈示することが
できる。

【００２４】請求項６に記載の発明は、請求項４又は５
に記載の発明において、前記制御手段は、前記ポインテ
ィング手段が指示する画像部の色属性情報の変化量が所
定量以上の場合に触覚情報を呈示することを特徴として
いる。

【００２５】請求項６に記載の発明によれば、制御手段
は、ポインティング手段が指示する画像部の色属性情報
の変化量が所定量以上の場合に触覚情報を呈示する。こ
れにより、例えば、操作者が着目したい特定の画像構成
に対応する色属性情報の変化量に基づいて予め所定量を
定めることで、触覚情報の呈示の有無によって、その特
定の部分を認識することができる。

【００２６】請求項７に記載の発明は、請求項４乃至請
求項６の何れか１項に記載の発明において、前記制御手
段は、前記ポインティング手段が指示する画像部の色属
性情報の変化量が所定値未満の場合に前記触覚呈示手段
よる触覚呈示を行わないことを特徴としている。

【００２７】請求項７に記載の発明によれば、制御手段
は、ポインティング手段により指示された画像部の色属
性情報の変化量が所定値未満の場合には、触覚情報を呈
示しない。これにより、ポインティング手段により指示
される画像部の変化に伴い、操作者は、触覚情報の呈示
の有無によって、視覚情報に依存せずに、画像構成上の
変化を明確に認識することができる。

【００２８】請求項８に記載の発明は、請求項１乃至請
求項７の何れか１項に記載の発明において、前記色属性
情報は、色相及び彩度の少なくとも１つ、または明度
と、色相及び彩度の少なくとも１つとを組合せた属性値
であることを特徴としている。

【００２９】請求項８に記載の発明によれば、色相及び
彩度の少なくとも１つの属性値、または明度と、色相及
び彩度の少なくとも１つとを組合せた属性値を、画像部
の色属性情報として用いる。これにより、画像部の色属
性の任意の変化に対応して、高い自由度で触覚情報を呈
示する条件の設定を行うことができる。

【００３０】請求項９に記載の発明は、請求項１乃至請
求項８の何れか１項に記載の発明において、前記触覚呈
示手段は、操作者が指を載置するための載置面を有する
載置部材を備え、該載置部材が該載置面に対して水平方
向に前記制御手段により往復動されることによって、操
作者に対して触覚情報を呈示することを特徴としてい
る。

【００３１】請求項９に記載の発明によれば、触覚呈示
手段は、操作者が指を載置するための載置面を有する載
置部材を備えている。この載置部材は、操作者の指の載
置面に対して水平方向に可動なように構成されている。
ポインティング手段の指示部の移動に伴って触覚情報の
呈示を行うに当たり、制御手段は載置部材を操作者の指
の載置面に対して水平方向に往復動させることにより、
操作者に対して触覚情報を呈示する。これにより、操作
者は、ポインティング手段の指示部の移動方向に沿っ
て、実際に画像の表面をなぞっているような感覚で触覚
情報を受感することができる。

【００３２】請求項１０に記載の発明は、請求項１乃至
請求項９の何れか１項に記載の発明において、前記ポイ
ンティング手段はカーソルを移動するマウス型の入力装
置であり、該入力装置の筐体の一部に前記触覚呈示手段
が配置されていることを特徴としている。

【００３３】請求項１０に記載の発明によれば、ポイン
ティング手段はカーソルを移動するマウス型の入力装置
である。操作者は通常、カーソルを移動するに当たり、
その筐体に手指を載置して操作を行う。従って、入力装
置の筐体の手指を載置する部位に触覚呈示手段を配置す
ることにより、入力装置を操作する操作者に対して、入
力装置の操作性を損なわずに、触覚情報を呈示すること
ができる。

【００３４】

【発明の実施の形態】以下、本発明の実施の形態を図に
基づいて説明する。

【００３５】図１に示すように、本実施の形態に係る情
報処理装置１０は、マイクロ回路化されたＣＰＵ１２
と、ＢＩＯＳ等の固定情報を格納したＲＯＭや可変情報
を格納するＲＡＭを含んで構成された主メモリ１４と、
フロッピー（登録商標）・ディスク装置やハード・ディ
スク装置、ＣＤ−ＲＯＭ装置、ＭＯ装置等で構成される
外部記憶装置１６と、画像を表示するＣＲＴや液晶等で
構成されるディスプレィ１８と、入力手段であるキーボ
ード２０と、マウス、タッチパッド（フィンガーパッド
とも呼ばれる）、トラックボール等のポインタ・カーソ
ル（以下、カーソルという。）の移動を行うポインティ
ング・デバイス２２と、駆動力発生部（詳細は後述）を
備えた触覚呈示手段２４と、ネットワークを介して外部
とのデータ通信を行う通信装置２８とを備え、各々は互
いにデータの授受が可能なようにバス２６で相互に接続
されている。さらに、通信装置２８には、他の通信装置
３２や他のＣＰＵ３４等を備えた情報伝達システム３０
がネットワークを介して接続され、互いに交信可能なよ
うに構成されている。

【００３６】また、本実施の形態に係る情報処理装置１
０の主要構成は、図２に示す機能ブロックに分類でき
る。ＣＰＵ１２及び主メモリ１４により構成される制御
部４０は、表示情報記憶手段４２と触覚情報演算手段４
４と制御手段４６とを備えており、触覚情報演算手段４
４（詳細は後述）は、表示情報記憶手段４２及び制御手
段４６とデータの授受が可能なように接続されている。

【００３７】表示情報記憶手段４２は、ディスプレイ１
８に接続されており、ディスプレィ１８に表示するイメ
ージやテキストを含む画像についての、色情報を含む属
性情報、及び画面のレイアウトやウィンドウ境界等のデ
スクトップ環境についての属性情報等を含む表示情報を
記憶するためのものである。

【００３８】制御手段４６は、ディスプレイ１８の表示
画像上におけるカーソルの位置座標を表す信号（以下、
カーソル座標信号という。）を出力するポインティング
・デバイス２２と接続されており、現在のカーソル座標
信号を受信し、触覚情報演算手段４４へ送信するように
構成されている。これにより、触覚情報演算手段４４
は、受信したカーソル座標信号で表されるカーソルの座
標位置における表示情報を表示情報記憶手段４２から取
得できる。なお、ポインティング・デバイス２２から出
力されたカーソル座標信号は、ＣＰＵ１２で表示情報と
して加工され、表示情報記憶手段４２により、カーソル
の形態でディスプレィ１８に表示される。

【００３９】また、制御手段４６は、触覚呈示部５４と
駆動力発生部４８とを備えた触覚呈示手段２４とデータ
の授受が可能なように接続されている。さらに、触覚呈
示部５４は、ユーザに対して直接触覚刺激を呈示する刺
激呈示部６０と、刺激呈示部６０を駆動する駆動手段５
６と、駆動手段５６の変位を検出する位置センサ５８と
を備えており、駆動力発生部４８は、駆動回路、増幅回
路、及び変調回路を含んで構成された駆動制御回路部５
０と、Ａ／Ｄコンバータ５２とを備えている。

【００４０】駆動制御回路部５０は、触覚呈示部５４の
駆動手段へ信号を出力可能なように接続され、かつ触覚
呈示部５４の位置センサ５８からの信号を受信可能なよ
うに接続されており、さらに、Ａ／Ｄコンバータ５２を
介して、制御手段４６とデータの授受が可能なように接
続されている。

【００４１】なお、触覚呈示部５４とポインティング・
デバイス２２とは、ポインティング・デバイス２２に触
覚呈示部５４を搭載することで、入力デバイス６２とし
て構成されている。

【００４２】ここで、本実施の形態に係る入力デバイス
６２について、その具体的な構成の一例を詳細に説明す
る。

【００４３】図３（ａ）に示す入力デバイス６２Ａは、
マウス型のポインティング・デバイス（以下、マウス部
という。）２２Ａに、駆動手段（図示せず）、位置セン
サ（図示せず）及び刺激呈示部６０Ａで構成される触覚
呈示部を搭載して構成されている。さらに、マウス筐体
７６には、刺激呈示部６０Ａが弾性取り付け部材７８に
よって設置され、クリックボタンスイッチ７０を押圧可
能なように構成されている（図３（ｂ）参照）。また、
図３（ｃ）に示すように、刺激呈示部６０Ａは、指の接
触部の表面上において縦横方向（矢印８０の方向）に可
動なように構成されている。また、カーソルを移動する
ためのマウス部２２Ａは、ボール７２の回転をエンコー
ダ部７４で位置情報に変換してパソコン本体（図示せ
ず）に信号を伝達するように構成されている。

【００４４】次に本実施の形態の動作概略を、図４に示
す処理ルーチンに沿って説明する。

【００４５】まず、ステップ１００では、本実施の形態
に係る情報処理装置１０のシステムが稼動中であるか否
か、すなわち、システムがオンの状態であるか否かを判
断する。ステップ１００で否定判断の場合には、システ
ムがオフであるので本処理ルーチンを終了する。一方、
ステップ１００で肯定判断の場合には、ステップ１０２
へ進み、現在のシステムの稼動状況が起動時であるか或
いは後述する触覚情報を呈示する条件の設定変更時であ
るかを判断する。ステップ１０２で肯定判断の場合には
ステップ１０４へ進み、触覚情報を呈示する最新の条件
を読み込んで次のステップ１０６へ進む。一方、ステッ
プ１０２で否定判断の場合には、ステップ１０６へ進
む。ここでは、触覚情報を呈示する条件として、表示画
像上の各座標位置での色属性情報を用いる。ここで色属
性情報とは、例えば、修正マンセル色空間における、色
相、明度、彩度の尺度を用いて、色の属性を表した情報
である。

【００４６】次のステップ１０６では、表示画像上にお
けるカーソル座標を検出して、ステップ１０８へ進み、
表示画像でのカーソル指示部における色属性情報を取り
込む。

【００４７】次のステップ１１０では、触覚情報を呈示
する条件として、上記ステップ１０４で読み込み設定し
た触覚を呈示する対象の色属性情報と、表示画像でのカ
ーソル指示部における色属性情報とが一致するか否かを
判断する。ステップ１１０で肯定判断の場合には、触覚
呈示を開始すべき画像領域に入ったことになるので、ス
テップ１１２へ進み、触覚呈示動作が停止状態であるか
否かを判断する。ステップ１１２で肯定判断の場合に
は、ステップ１１４へ進み、デバイス制御信号を出力し
て触覚呈示手段を駆動する。一方、ステップ１１４で否
定判断の場合には、現在触覚呈示を行なっている状態で
あるので、上記ステップ１００へ戻り、以後、上記の処
理を繰り返す。

【００４８】一方、ステップ１１０で否定判断の場合に
は、カーソル座標は未だ触覚呈示をすべき画像領域に入
っていないか、若しくは触覚呈示すべき領域から外れた
ことになるので、ステップ１１６へ進み、触覚情報の呈
示動作を行っている状態であるか否かを判断する。ステ
ップ１１６で肯定判断の場合には、触覚情報の呈示を停
止する必要があるため、ステップ１１８へ進み、デバイ
ス制御信号を出力して触覚呈示手段の駆動を停止する。
一方、ステップ１１６で否定判断の場合には、上記ステ
ップ１００へ戻り、以後、上記の処理を繰り返す。

【００４９】以上の処理により、ユーザが操作するポイ
ンティング・デバイスのカーソルが指示する画像部の色
属性情報が、予め触覚呈示条件として設定した色属性情
報と一致する場合に、ユーザに対して触覚呈示手段によ
り触覚情報を呈示することができる。

【００５０】すなわち、本実施の形態に係る情報処理装
置１０では、触覚情報演算手段４４は、ユーザに直接触
覚刺激として所定の触覚情報を呈示するために、上述の
表示情報記憶手段４２から取得した表示情報に含まれる
色属性情報に基づいて演算を行い、制御手段４６に対し
て制御信号を逐次出力する。また、制御手段４６は、触
覚情報演算手段４４からの制御信号を受信し、触覚呈示
手段２４に対して、印加すべき変位量や振動周波数或い
は制御ゲインを演算して生成した駆動信号を出力する。
さらに、駆動信号が、Ａ／Ｄコンバータ５２及び駆動制
御回路部５０の駆動回路を経由して駆動手段５４へ伝達
されることで、触覚呈示手段２４が駆動される。このと
き、触覚情報を刺激呈示部６０により呈示する駆動手段
５６の変位は、位置センサ５８によって逐次検出され、
制御手段２５に伝達されることで、フィードバック制御
が行われ、触覚呈示部５４の適切な駆動制御を行うこと
ができる。

【００５１】次に、図５を参照して本実施の形態に係る
情報処理装置１０の触覚呈示の具体例について説明す
る。

【００５２】ディスプレイ１８Ａ、及び上述の入力デバ
イス６２Ａが装置本体９０に接続されて構成された情報
処理装置１０Ａにおいて、装置本体９０内部に搭載され
るＣＰＵでは、図６に示す処理ルーチンが実行される。
なお、図６の処理ルーチンにおいて、図５に示す処理ル
ーチンと同一の部分には同一符号を付して説明を省略す
る。

【００５３】情報処理装置１０Ａのシステムが稼動中の
状態において、システムが起動時、或いは触覚情報を呈
示する条件の設定変更時である場合に、ステップ２００
では、予め定めた触覚情報を呈示する条件として用いる
色属性情報を読み込む。ここで読み込む色属性情報と
は、カーソルの移動前後の座標位置における各画像部に
対応する色属性（色相、明度、彩度）値の変化量であ
り、カーソルの移動前後での各色属性値の差として算出
した値である。算出した色相差、明度差、彩度差の各最
小値を所定値として予め定め、触覚情報を呈示する条件
として用いる。

【００５４】次のステップ２０２では、移動したカーソ
ルの座標を常時検出し、主メモリ１４等に記憶保持し
て、カーソルの移動及び移動後の最新の座標値に更新す
る。

【００５５】次のステップ２０４では、カーソルの移動
前後の座標位置における各画像部に対応する色属性値の
うち明度の変化量を算出し、次のステップ２０６では、
上記ステップ２００で読み込んだ、明度差についての所
定値以上であるか否かを判断する。

【００５６】ステップ２０６で否定判断の場合には、ス
テップ２０８へ進み、カーソルの移動前後の座標位置に
おける各画像部に対応する色属性値のうち色相の変化量
を算出し、次のステップ２１０で、上記ステップ２００
で読み込んだ、色相差についての所定値以上であるか否
かを判断する。

【００５７】ステップ２１０で否定判断の場合には、ス
テップ２１２へ進み、カーソルの移動前後の座標位置に
おける各画像部に対応する色属性値のうち彩度の変化量
を算出し、次のステップ２１４で、上記ステップ２００
で読み込んだ、彩度差についての所定値以上であるか否
かを判断する。

【００５８】ステップ２１４で否定判断の場合には、３
種の色属性値の明度、色相、彩度の何れの変化量も所定
値以上ではないので、カーソルが触覚呈示をすべき画像
領域中に存在しないか、或いは触覚呈示すべき領域から
外れた状態であると判断でき、ステップ１１８で、デバ
イス制御信号を出力して触覚呈示手段の駆動を停止す
る。

【００５９】一方、上記のステップ２０６、２１０、２
１４の何れかで肯定判断の場合には、カーソルが触覚呈
示を開始すべき画像領域内に入ったことになるので、ス
テップ２１２で、デバイス制御信号を出力して触覚呈示
手段を駆動する。

【００６０】なお、ユーザへ触覚情報を呈示するために
触覚呈示手段が駆動されることにより、上述の入力デバ
イス６２Ａの刺激呈示部６０Ａ（図５参照）は、カーソ
ルのＸ、Ｙ移動方向に対応して反動する。これによりユ
ーザはクリック部を形成する刺激呈示部６０Ａに指を載
置することで触覚情報を受感することができる。

【００６１】ここで、上記の処理により、表示画像に応
じて触覚情報を呈示する具体例について説明する。

【００６２】図５に示すような、修正マンセル色空間に
おいて、背景９２が黄色で５Ｙ、花びら９６が赤紫で
７．５ＲＰ、葉が黄緑で１０ＧＹという数値の色相であ
り、かつ全て同一の明度値である花の画像の場合では、
花の各要素（背景、花びら、葉）間をカーソルが移動す
ることにより、カーソル座標での色属性情報における色
相の変化を検出することができ、触覚情報を呈示するこ
とができる。

【００６３】すなわち、上述した図６に示す処理ルーチ
ンのステップ２０８で算出する色相の変化量が、ステッ
プ２１０での判断により、所定値以上である場合に、花
の各要素（背景、花びら、葉）間の色相の違いを識別し
て触覚情報の呈示を行うことができる。

【００６４】従って、ユーザは、花の各要素（背景、花
びら、葉）の凹凸感や輪郭感を触覚情報によって認識す
ることができる。

【００６５】次に、表示画像に応じて触覚情報を呈示す
る他の具体例について説明する。

【００６６】図７に示すような、インターネット上で公
開されるホームページにおいて、文書を構成するテキス
トの表示色は黒であり、通常、リンクが設定されている
テキスト（説明便宜上、アンダーラインを引いてあ
る。）は黒文字ではなく青文字が多用される。つまり、
図８に示すように、図７に示すホームページ上のテキス
トにおいて、リンクが設定されたテキスト領域Ｒ１、Ｒ
２、Ｒ３は、通常、白い背景に対し青文字のテキストで
表示される。これにより、本実施の形態に係る情報処理
装置１０を適用することによって、テキスト領域Ｒ１〜
Ｒ３内にカーソルが入った場合に、カーソル座標位置の
色属性情報における色相の変化（ここでは、白色から青
色への変化。）を検出して、触覚呈示手段によりユーザ
に対して触刺激を与えることができる。すなわち、上述
した図６に示す処理ルーチンのステップ２０８で算出す
る色相の変化量が、ステップ２１０での判断により、所
定値以上である場合に、通常のテキストとリンクが設定
されているテキストとの表示色間での色相の違いを識別
して触覚情報の呈示を行うことができる。これにより、
ユーザはリンクが設定されているテキストを触覚情報か
ら感知することができる。

【００６７】また、本実施の形態に係る情報処理装置１
０を適用することによって、白い背景に通常の黒文字で
あるテキスト領域では触覚情報を出力しないように設定
することで、リンクが設定されたテキストとリンクが設
定されていないテキストとを触覚情報により識別するこ
とができる。また、文字の色によって異なる触覚情報を
出力することも可能で、リンクが設定されたテキストの
色を青色でなく、例えば、連絡先等へのリンクが設定さ
れたテキスト領域Ｒ３のテキストの色を赤色にして、文
字の色が青い場合とは異なる触覚情報を出力するように
設定することもできる。

【００６８】次に、表示画像に応じて触覚情報を呈示す
る、さらに他の具体例について説明する。

【００６９】図９に示すような穴の開いた板９８の画像
において、穴部分９８Ａと板部分９８Ｂとでは色属性情
報において所定値以上の明度差を有し、板部分９８Ｂの
木目の明暗模様については、その明度差は所定値より小
さい。

【００７０】このような画像の場合では、本実施の形態
に係る情報処理装置１０Ａを適用することによって、板
９８の画像上をカーソルを移動させる場合に、穴部分９
８Ａ及び板部分９８Ｂ間をカーソルが移動するときは、
上述した図６に示す処理ルーチンのステップ２０４で算
出する明度の変化量が、ステップ２０６で、所定値以上
であると判断されるので、触覚情報を呈示する。一方、
板部分９８Ａのみや穴部分９８Ｂのみをカーソルが移動
するときは、上述した図６に示す処理ルーチンのステッ
プ２０４で算出する明度の変化量が、ステップ２０６
で、所定値以上でないと判断されるので、触覚情報を呈
示せず、ユーザは板９８の凹凸感を視覚情報によらずに
認識できる。

【００７１】以上の処理により、ユーザが操作するポイ
ンティング・デバイスのカーソルが移動する毎に、移動
前後の各カーソル座標位置における画像部の色属性値で
ある明度、色相、彩度の差に基づく演算により、触覚情
報を呈示するか否かを決定することで、ユーザに対して
触覚情報をリアルタイムに呈示できる。

【００７２】なお、本処理ルーチンでは、カーソルの移
動前と移動後の座標位置における各色属性値の変化量に
基づく演算により、触覚情報を呈示するか否かを決定し
たが、これに限定されることはなく、カーソル座標位置
における画像部の色属性の絶対値に基づく演算により、
触覚情報を呈示するか否かを決定してもよい。

【００７３】以上のように、本実施の形態に係る情報処
理装置によれば、従来のようにグレースケール等の明度
のみの情報でなく、色相、彩度を含む色属性情報に基づ
く演算により触覚情報を呈示するので、触覚情報を生成
するために意図的にグレースケールに変換する必要性も
なく、また、触覚情報を演算するために利用する視覚
（画像）情報量を格段に増加することができ、多様で自
由度の高い触覚情報の呈示及び呈示条件の設定を行うこ
とができる。

【００７４】

【発明の効果】以上説明したように、本発明によれば、
ディスプレイに表示される画像において、ポインティン
グ手段によって指示された部分の色属性情報を取得し、
取得した色属性情報が、予め定めて記憶手段に記憶し
た、触覚情報を呈示すべき色属性情報と一致する場合に
触覚情報を呈示するようにしたので、画像の色属性情報
に基づいて触覚情報を呈示可能な情報処理装置を提供す
ることができる、という優れた効果を有する。

【図面の簡単な説明】

【図１】本発明の実施の形態に係る情報処理装置の概略
構成図である。

【図２】本発明の実施の形態に係る情報処理装置の主要
構成を機能ブロックに分類した構成を示す概略図であ
る。

【図３】本発明の実施の形態に係る入力デバイスの一例
の構成を説明するための概略図である。

【図４】本発明の実施の形態に係る情報処理装置の動作
概略を示すフローチャートである。

【図５】本発明の実施の形態に係る情報処理装置の触覚
呈示の具体例を説明するための説明図である。

【図６】本発明の実施の形態に係る情報処理装置の触覚
呈示の具体例の処理の流れを示すフローチャートであ
る。

【図７】本発明の実施の形態に係る表示画像の他の例を
説明するための図である。

【図８】図７に示す表示画像情報を詳細に説明するため
の説明図である。

【図９】本発明の実施の形態に係る表示画像の他の例を
説明するための図である。

【符号の説明】

１０情報処理装置１２ＣＰＵ１４主メモリ１８ディスプレイ２２ポインティング・デバイス２２Ａマウス部２４触覚呈示手段４２表示情報記憶手段４４触覚情報演算手段４６制御手段５６駆動手段６０刺激呈示部

Claims

【特許請求の範囲】

【請求項１】画像を表示するディスプレイと、前記ディスプレイに表示された画像の一部分を指示する
ポインティング手段と、操作者に対して触覚情報を呈示する触覚呈示手段と、前記触覚情報を呈示すべき画像部の色属性情報を予め記
憶する記憶手段と、前記ポインティング手段により指示された画像部の色属
性情報と、前記記憶手段に記憶された色属性情報とが一
致した場合に、操作者に対して触覚情報を呈示するよう
に前記触覚呈示手段を制御する制御手段と、を備えた情報処理装置。
【請求項２】前記記憶手段は、前記触覚情報を呈示す
べき画像部の複数の色属性情報と、該色属性情報の各々
に対応した異なる触覚情報とを予め記憶することを特徴
とする請求項１記載の情報処理装置。
【請求項３】前記制御手段は、前記ポインティング手
段により指示された画像部の色属性情報と、前記記憶手
段に記憶された色属性情報とが一致しない場合に前記触
覚呈示手段よる触覚呈示を行わないことを特徴とする請
求項１又は２に記載の情報処理装置。
【請求項４】画像を表示するディスプレイと、前記ディスプレイに表示された画像の一部分を指示する
ポインティング手段と、操作者に対して触覚情報を呈示する触覚呈示手段と、前記触覚情報を呈示すべき画像部の色属性情報の変化量
を予め記憶する記憶手段と、前記ポインティング手段が指示する画像部の色属性情報
の変化量と、前記記憶手段に記憶された色属性情報の変
化量とに基づいて前記触覚呈示手段を制御する制御手段
と、を備えた情報処理装置。
【請求項５】前記記憶手段は、前記触覚情報を呈示す
べき画像部の複数の色属性情報の変化量と、該色属性情
報の変化量の各々に対応した異なる触覚情報とを予め記
憶することを特徴とする請求項４記載の情報処理装置。
【請求項６】前記制御手段は、前記ポインティング手
段が指示する画像部の色属性情報の変化量が所定量以上
の場合に触覚情報を呈示することを特徴とする請求項４
又は５に記載の情報処理装置。
【請求項７】前記制御手段は、前記ポインティング手
段が指示する画像部の色属性情報の変化量が所定値未満
の場合に前記触覚呈示手段よる触覚呈示を行わないこと
を特徴とする請求項４乃至請求項６の何れか１項に記載
の情報処理装置。
【請求項８】前記色属性情報は、色相及び彩度の少な
くとも１つ、または明度と、色相及び彩度の少なくとも
１つとを組合せた属性値であることを特徴とする請求項
１乃至請求項７の何れか１項に記載の情報処理装置。
【請求項９】前記触覚呈示手段は、操作者が指を載置
するための載置面を有する載置部材を備え、該載置部材
が該載置面に対して水平方向に前記制御手段により往復
動されることによって、操作者に対して触覚情報を呈示
することを特徴とする請求項１乃至請求項８の何れか１
項に記載の情報処理装置。
【請求項１０】前記ポインティング手段はカーソルを
移動するマウス型の入力装置であり、該入力装置の筐体
の一部に前記触覚呈示手段が配置されていることを特徴
とする請求項１乃至請求項９の何れか１項に記載の情報
処理装置。