JPH09237151A - グラフィカルユーザインタフェース - Google Patents
グラフィカルユーザインタフェースInfo
- Publication number
- JPH09237151A JPH09237151A JP8045051A JP4505196A JPH09237151A JP H09237151 A JPH09237151 A JP H09237151A JP 8045051 A JP8045051 A JP 8045051A JP 4505196 A JP4505196 A JP 4505196A JP H09237151 A JPH09237151 A JP H09237151A
- Authority
- JP
- Japan
- Prior art keywords
- user interface
- graphical user
- notation
- voice
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Position Input By Displaying (AREA)
Abstract
(57)【要約】
【課題】 操作の制約の少ないグラフィカルユーザイン
タフェースを提供する。 【解決手段】 ユーザは赤いキャップ1を指にはめて指
を移動させる。この動作がビデオカメラ1により撮影さ
れる。情報処理装置4は撮影画像の赤いキャップの画像
の位置を検出し、検出した位置に対応させて表示画面上
のマウスカーソル5を移動させる。マウスカーソル5が
表示画面上のアイコン6に位置したときにユーザが「こ
れ」と発声されると、マイクロフォン3を介して、音声
が情報処理装置4に入力され、「これ」に対応する制御
命令、アイコンの選択処理が実行される。
タフェースを提供する。 【解決手段】 ユーザは赤いキャップ1を指にはめて指
を移動させる。この動作がビデオカメラ1により撮影さ
れる。情報処理装置4は撮影画像の赤いキャップの画像
の位置を検出し、検出した位置に対応させて表示画面上
のマウスカーソル5を移動させる。マウスカーソル5が
表示画面上のアイコン6に位置したときにユーザが「こ
れ」と発声されると、マイクロフォン3を介して、音声
が情報処理装置4に入力され、「これ」に対応する制御
命令、アイコンの選択処理が実行される。
Description
【0001】
【発明の属する技術分野】本発明は、ポインティングデ
バイスおよびそのポインティングデバイスを使用して情
報入力を行うグラフィカルユーザインタフェースに関す
る。
バイスおよびそのポインティングデバイスを使用して情
報入力を行うグラフィカルユーザインタフェースに関す
る。
【0002】
【従来の技術】従来、情報処理装置に対して情報入力す
る場合、キーボードを使用することが多い。最近はマウ
スやタッチパネルなどのポインティングデバイスを使用
して、表示装置の表示画面を位置指定することにより特
定のコマンド(処理命令)を入力するようにしたGUI
(グラフィカルユーザインタフェース)も提案されてい
る。また、このようなGUI方式のポインティングデバ
イスにはマウスが使用されるが、マウスにはクリックボ
タンが1つから3つのものまで有り、操作者にとって混
乱の原因となっている。
る場合、キーボードを使用することが多い。最近はマウ
スやタッチパネルなどのポインティングデバイスを使用
して、表示装置の表示画面を位置指定することにより特
定のコマンド(処理命令)を入力するようにしたGUI
(グラフィカルユーザインタフェース)も提案されてい
る。また、このようなGUI方式のポインティングデバ
イスにはマウスが使用されるが、マウスにはクリックボ
タンが1つから3つのものまで有り、操作者にとって混
乱の原因となっている。
【0003】このため、人間の指を使用したポインティ
ング動作すなわち、指で目的物を指さす動作をビデオカ
メラで撮影し、その撮影結果から指の指し示す方向を同
定し、その方向を3次元空間に延長してスクリーン画面
上に仮想的にタッチする位置を求めることにより、スク
リーン上の位置指定を行うようにした提案がある。その
参考文献としては以下ののものがある。
ング動作すなわち、指で目的物を指さす動作をビデオカ
メラで撮影し、その撮影結果から指の指し示す方向を同
定し、その方向を3次元空間に延長してスクリーン画面
上に仮想的にタッチする位置を求めることにより、スク
リーン上の位置指定を行うようにした提案がある。その
参考文献としては以下ののものがある。
【0004】 「マン−マシン インタフェース 進化論」 リチャード A ボルト(MIT)著 鶴岡雄二 訳 (パーソナルメディア) 「メディアラボ」 スチュアート ブランド 著 室 謙二/麻生九美 共訳 (福武書店) 「バーチャル テック ラボ」 (工業調査会)
【0005】
【発明が解決しようとする課題】しかしながら、このよ
うに指の指し示す位置を検出する位置ポインティングデ
バイスは、大型スクリーン上の特定位置を指示すること
を考慮しているので、パーソナルコンピュータの表示画
面のような小さい画面上の位置指定には不向きである。
従来法では3次元空間上での画像による指の位置の同定
およびそれを指し示す方向の同定をしなければならない
が、これらは極めて困難な技術課題である。また、マウ
スなどではマウスの移動によって位置指定を行った後、
マウス上のクリックボタンの操作によりアプリケーショ
ンプログラムの起動などの指示を行うがこのような指示
はキーボードに頼らざるを得ない。
うに指の指し示す位置を検出する位置ポインティングデ
バイスは、大型スクリーン上の特定位置を指示すること
を考慮しているので、パーソナルコンピュータの表示画
面のような小さい画面上の位置指定には不向きである。
従来法では3次元空間上での画像による指の位置の同定
およびそれを指し示す方向の同定をしなければならない
が、これらは極めて困難な技術課題である。また、マウ
スなどではマウスの移動によって位置指定を行った後、
マウス上のクリックボタンの操作によりアプリケーショ
ンプログラムの起動などの指示を行うがこのような指示
はキーボードに頼らざるを得ない。
【0006】なお、マウス等のポインティングデバイス
は机などの操作スペースを要し、マウスのクリックボタ
ンの操作ができない身体障害者にとってはパーソナルコ
ンピュータを操作できない。
は机などの操作スペースを要し、マウスのクリックボタ
ンの操作ができない身体障害者にとってはパーソナルコ
ンピュータを操作できない。
【0007】そこで、本発明は、上述の点に鑑みて、操
作の制限の少ない新たなグラフィカルユーザインタフェ
ースを提供することを目的とする。
作の制限の少ない新たなグラフィカルユーザインタフェ
ースを提供することを目的とする。
【0008】
【課題を解決するための手段】このような目的を達成す
るために、請求項1の発明は、表示装置の表示画面にオ
ブジェクトを第1の表記で模式表示し、前記表示画面の
位置の指定のために第2の表記を表示し、該第2の表記
の移動による位置指定により指定した第1の表記のオブ
ジェクトについての指示を入力するグラフィカルユーザ
インタフェースにおいて、移動する物体の位置を該物体
とは無接触で検出する位置検出手段と、当該検出した位
置及び移動方向に対応させて前記第2の表記を移動表示
する表示制御手段とを具えたことを特徴とする。
るために、請求項1の発明は、表示装置の表示画面にオ
ブジェクトを第1の表記で模式表示し、前記表示画面の
位置の指定のために第2の表記を表示し、該第2の表記
の移動による位置指定により指定した第1の表記のオブ
ジェクトについての指示を入力するグラフィカルユーザ
インタフェースにおいて、移動する物体の位置を該物体
とは無接触で検出する位置検出手段と、当該検出した位
置及び移動方向に対応させて前記第2の表記を移動表示
する表示制御手段とを具えたことを特徴とする。
【0009】請求項2の発明は、請求項1に記載のグラ
フィカルユーザインタフェースにおいて、前記第1の表
記のオブジェクトについての指示を音声で入力する入力
手段と、当該入力された音声から前記指示内容を認識す
る音声認識手段と、当該認識された指示内容を実行する
情報処理手段とをさらに具えたことを特徴とする。
フィカルユーザインタフェースにおいて、前記第1の表
記のオブジェクトについての指示を音声で入力する入力
手段と、当該入力された音声から前記指示内容を認識す
る音声認識手段と、当該認識された指示内容を実行する
情報処理手段とをさらに具えたことを特徴とする。
【0010】請求項3の発明は、請求項2に記載のグラ
フィカルユーザインタフェースにおいて、請求項1に記
載の前記第2の表記の位置と合致した前記第1の表記の
オブジェクトを前記情報処理手段の処理対象とすること
を特徴とする。
フィカルユーザインタフェースにおいて、請求項1に記
載の前記第2の表記の位置と合致した前記第1の表記の
オブジェクトを前記情報処理手段の処理対象とすること
を特徴とする。
【0011】請求項4の発明は、請求項3に記載のグラ
フィカルユーザインタフェースにおいて、請求項2に記
載の前記オブジェクトについての指示として、前記第2
の表記の位置により前記情報処理手段の処理対象を指示
する旨の音声および処理の種類を音声で前記入力手段に
入力したときに該情報処理手段は、当該音声により指示
された種類の処理を実行することを特徴とする。
フィカルユーザインタフェースにおいて、請求項2に記
載の前記オブジェクトについての指示として、前記第2
の表記の位置により前記情報処理手段の処理対象を指示
する旨の音声および処理の種類を音声で前記入力手段に
入力したときに該情報処理手段は、当該音声により指示
された種類の処理を実行することを特徴とする。
【0012】請求項5の発明は、請求項4に記載のグラ
フィカルユーザインタフェースにおいて、請求項1に記
載の前記第1の表記は図形であり、該図形で模式表示さ
れるオブジェクトはプログラムであることを特徴とす
る。
フィカルユーザインタフェースにおいて、請求項1に記
載の前記第1の表記は図形であり、該図形で模式表示さ
れるオブジェクトはプログラムであることを特徴とす
る。
【0013】請求項6の発明は、請求項5に記載のグラ
フィカルユーザインタフェースにおいて、請求項4に記
載の前記処理の種類はプログラムの起動であることを特
徴とする。
フィカルユーザインタフェースにおいて、請求項4に記
載の前記処理の種類はプログラムの起動であることを特
徴とする。
【0014】請求項7の発明は、請求項4に記載のグラ
フィカルユーザインタフェースにおいて、請求項1に記
載の前記第1の表記は図形であり、該図形で模式表示さ
れるオブジェクトは文字およびまたはイメージで構成さ
れるデータであることを特徴とする。
フィカルユーザインタフェースにおいて、請求項1に記
載の前記第1の表記は図形であり、該図形で模式表示さ
れるオブジェクトは文字およびまたはイメージで構成さ
れるデータであることを特徴とする。
【0015】請求項8の発明は、請求項7に記載のグラ
フィカルユーザインタフェースにおいて、請求項4に記
載の前記処理の種類は文字およびまたはイメージの表示
であることを特徴とする。
フィカルユーザインタフェースにおいて、請求項4に記
載の前記処理の種類は文字およびまたはイメージの表示
であることを特徴とする。
【0016】
【発明の実施の形態】以下、図面を参照して本発明の実
施例を詳細に説明する。図1は本発明の基本構成を示
す。光学的特徴を持つ部材、本例では赤い色をしたゴム
製のキャップ1をユーザが指にはめる。ビデオカメラ2
はこのキャップ1を撮影する。ビデオカメラ2が撮影し
た映像信号は情報処理装置4に入力される。また、ユー
ザが発生する音声はマイク3により音声信号に変換さ
れ、情報処理装置4に入力される。
施例を詳細に説明する。図1は本発明の基本構成を示
す。光学的特徴を持つ部材、本例では赤い色をしたゴム
製のキャップ1をユーザが指にはめる。ビデオカメラ2
はこのキャップ1を撮影する。ビデオカメラ2が撮影し
た映像信号は情報処理装置4に入力される。また、ユー
ザが発生する音声はマイク3により音声信号に変換さ
れ、情報処理装置4に入力される。
【0017】情報処理装置4では入力した映像信号を画
像処理してキャップ1の位置を検出し、このキャップ1
の位置と表示画面のマウスカーソル(図中矢印で表記)
5の位置を対応させる。また、入力した音声信号を音声
認識し、音声により指示する情報処理命令を実行する。
本実施例では、キャップ1の移動が従来のマウス本体の
移動操作に相当し、音声による情報処理命令の入力がマ
ウスのクリックボタンの操作に相当する。
像処理してキャップ1の位置を検出し、このキャップ1
の位置と表示画面のマウスカーソル(図中矢印で表記)
5の位置を対応させる。また、入力した音声信号を音声
認識し、音声により指示する情報処理命令を実行する。
本実施例では、キャップ1の移動が従来のマウス本体の
移動操作に相当し、音声による情報処理命令の入力がマ
ウスのクリックボタンの操作に相当する。
【0018】このような機能を実現するためのシステム
構成を図2に示す。図2において、情報処理装置4には
従来からよく知られているビデオ入力機能付きのパーソ
ナルコンピュータを使用することができる。そこで、本
発明に関連し、従来と相違する点について重点的に説明
する。
構成を図2に示す。図2において、情報処理装置4には
従来からよく知られているビデオ入力機能付きのパーソ
ナルコンピュータを使用することができる。そこで、本
発明に関連し、従来と相違する点について重点的に説明
する。
【0019】CPU10はシステムメモリ11およびハ
ードディスク記憶装置(HD)16に記憶されたシステ
ムプログラムに基づき後述の構成部品の動作制御を実行
するほか、ビデオカメラ2およびマイクロフォン3から
入力された信号を情報処理して内部処理用の制御信号に
変換する本発明に関わる処理を実行する。
ードディスク記憶装置(HD)16に記憶されたシステ
ムプログラムに基づき後述の構成部品の動作制御を実行
するほか、ビデオカメラ2およびマイクロフォン3から
入力された信号を情報処理して内部処理用の制御信号に
変換する本発明に関わる処理を実行する。
【0020】システムメモリ11はCPU10が実行す
るシステムプログラム、文字コードを表示用のイメージ
(フォント)に変換するフォントテーブルや本発明に関
わり、キャップ1の位置をCRT18の表示画面に表示
する図形(以下、マウスカーソルと称する、本発明の第
2の表記)イメージを格納する。音声入力インタフェー
ス12はマイクロフォン3から出力されるアナログの音
声信号をデジタルの音声信号に変換して所定量(単語の
長さ分)を内部蓄積し、CPU10に引き渡す。ビデオ
キャプチャボード13はビデオカメラ2から出力される
アナログのカラー映像信号をデジタルのカラー映像信号
に変換して所定量(1画面分)蓄積し、CPU10に引
き渡す。
るシステムプログラム、文字コードを表示用のイメージ
(フォント)に変換するフォントテーブルや本発明に関
わり、キャップ1の位置をCRT18の表示画面に表示
する図形(以下、マウスカーソルと称する、本発明の第
2の表記)イメージを格納する。音声入力インタフェー
ス12はマイクロフォン3から出力されるアナログの音
声信号をデジタルの音声信号に変換して所定量(単語の
長さ分)を内部蓄積し、CPU10に引き渡す。ビデオ
キャプチャボード13はビデオカメラ2から出力される
アナログのカラー映像信号をデジタルのカラー映像信号
に変換して所定量(1画面分)蓄積し、CPU10に引
き渡す。
【0021】ビデオメモリ14はCRT18に表示する
1画面分のイメージ情報を記憶する。ビデオメモリ14
のイメージ情報がCRTコントローラ17により読み出
され、CRT18に転送される。CRT18において上
記イメージ情報が可視表示される。
1画面分のイメージ情報を記憶する。ビデオメモリ14
のイメージ情報がCRTコントローラ17により読み出
され、CRT18に転送される。CRT18において上
記イメージ情報が可視表示される。
【0022】フロッピーディスクドライブ(FD)15
はフロッピーディスクを受け付け、フロッピーディスク
に対して情報の読み書きを行う。
はフロッピーディスクを受け付け、フロッピーディスク
に対して情報の読み書きを行う。
【0023】ハードディスク記憶装置(HD)16は各
種の情報処理例えば、文書編集処理を行うためのアプリ
ケーションプログラム、これらのプログラムにより作成
された文字および/またはイメージデータ、例えば、文
書テキストを格納する。格納されているプログラムや、
上記データはアイコンと呼ばれる図形(本発明の第1の
表記)の形態で表示画面上に模式表示される。本実施例
では従来、表示画面上のアイコンや、情報処理命令を示
す文字列にマウスカーソルを位置させた後、クリックボ
タンの操作で入力する命令を音声で入力するので、情報
処理命令とこの情報処理命令に対応する音声パターンと
記載したテーブル(制御命令変換テーブルと称する)1
6AをHD16に格納している。ここで、制御命令とは
CPU10が認識可能な命令、たとえば、マクロ命令で
あり、従来ではCRT18に実行可能な命令が文字列で
表示され、マウスの位置指定およびクリックボタンの操
作で実行が指示される命令を制御命令の中に含む。ま
た、従来、アイコンと呼ばれる図形にマウスカーソルを
位置させクリックボタンの操作で実行を指示していた命
令を制御命令の中に含む。
種の情報処理例えば、文書編集処理を行うためのアプリ
ケーションプログラム、これらのプログラムにより作成
された文字および/またはイメージデータ、例えば、文
書テキストを格納する。格納されているプログラムや、
上記データはアイコンと呼ばれる図形(本発明の第1の
表記)の形態で表示画面上に模式表示される。本実施例
では従来、表示画面上のアイコンや、情報処理命令を示
す文字列にマウスカーソルを位置させた後、クリックボ
タンの操作で入力する命令を音声で入力するので、情報
処理命令とこの情報処理命令に対応する音声パターンと
記載したテーブル(制御命令変換テーブルと称する)1
6AをHD16に格納している。ここで、制御命令とは
CPU10が認識可能な命令、たとえば、マクロ命令で
あり、従来ではCRT18に実行可能な命令が文字列で
表示され、マウスの位置指定およびクリックボタンの操
作で実行が指示される命令を制御命令の中に含む。ま
た、従来、アイコンと呼ばれる図形にマウスカーソルを
位置させクリックボタンの操作で実行を指示していた命
令を制御命令の中に含む。
【0024】アイコンにより図形表示されるものはアプ
リケーションプログラムの他、文書、写真等のイメージ
など、アプリケーションプログラムの処理対象となるも
のであり、オブジェクトと総称する。制御変換テーブル
16Aの内容の一部を図4に示す。なお、音声パターン
となる音声データは従来から周知のように音声信号から
抽出した音声パラメータであるが説明のために文字で表
記し、制御命令をその機能を表す文字列で表記してい
る。
リケーションプログラムの他、文書、写真等のイメージ
など、アプリケーションプログラムの処理対象となるも
のであり、オブジェクトと総称する。制御変換テーブル
16Aの内容の一部を図4に示す。なお、音声パターン
となる音声データは従来から周知のように音声信号から
抽出した音声パラメータであるが説明のために文字で表
記し、制御命令をその機能を表す文字列で表記してい
る。
【0025】図4において、「これ」はマウスカーソル
で指定したアイコンのオブジェクトを指定(選択)する
制御命令に対応の音声パラメータである。「おく」は上
記指定されたアイコンを移動した場合にその移動後の停
止位置を指示する制御命令に対応する音声パラメータで
ある。「開く」は上記指定されたアイコンのオブジェク
ト、例えば、文書データを表示画面に表示させる制御命
令に対応する音声パラメータである。「実行」は指定し
たアイコンのオブジェクト、たとえば、文書編集プログ
ラムを起動させる制御命令に対応する音声パラメータで
ある。「閉じる」は現在、表示されていているウインド
ウを閉じる(表示を終了)制御命令に対応する音声パラ
メータである。その他、周知のシステム制御命令、複
写、ペースト、消去、印刷等、マウスカーソルの位置指
定に関連して入力するシステム制御命令とそのシステム
制御命令に対応する音声パラメータが制御命令変換テー
ブルに記載されている。
で指定したアイコンのオブジェクトを指定(選択)する
制御命令に対応の音声パラメータである。「おく」は上
記指定されたアイコンを移動した場合にその移動後の停
止位置を指示する制御命令に対応する音声パラメータで
ある。「開く」は上記指定されたアイコンのオブジェク
ト、例えば、文書データを表示画面に表示させる制御命
令に対応する音声パラメータである。「実行」は指定し
たアイコンのオブジェクト、たとえば、文書編集プログ
ラムを起動させる制御命令に対応する音声パラメータで
ある。「閉じる」は現在、表示されていているウインド
ウを閉じる(表示を終了)制御命令に対応する音声パラ
メータである。その他、周知のシステム制御命令、複
写、ペースト、消去、印刷等、マウスカーソルの位置指
定に関連して入力するシステム制御命令とそのシステム
制御命令に対応する音声パラメータが制御命令変換テー
ブルに記載されている。
【0026】以上のシステム構成で実行されるポインテ
ィング動作およびポインティング動作に関連して実行さ
れるシステム動作を図3のフローチャートを使用して説
明する。図3の処理手順はCPU10により非常に短い
周期で繰り返し実行される。
ィング動作およびポインティング動作に関連して実行さ
れるシステム動作を図3のフローチャートを使用して説
明する。図3の処理手順はCPU10により非常に短い
周期で繰り返し実行される。
【0027】ユーザは指にキャップ1をはめ、ビデオカ
メラ2にキャップ1を撮影させる。ビデオカメラ2によ
り撮影された1画面分の映像データはビデオキャプチャ
ボード13を介してCPU10により取り込まれ、シス
テムメモリ内のワーク領域に一時格納される(ステップ
S1〜S2)。
メラ2にキャップ1を撮影させる。ビデオカメラ2によ
り撮影された1画面分の映像データはビデオキャプチャ
ボード13を介してCPU10により取り込まれ、シス
テムメモリ内のワーク領域に一時格納される(ステップ
S1〜S2)。
【0028】1画面分の映像データを取り込んだ時にC
PU10はキャップ1の画面上の位置を映像データから
算出する。時刻tにおけるキャップ1の位置を画面上の
画素の2次元座標位置を(Px,Py)(t)で表し、
ビデオカメラ2からRGBのカラー情報を取得したとき
に、R(赤)の画素のカラー情報を[f(x,y,
t);x−1,..N,y−1,...,N]として、
PU10はキャップ1の画面上の位置を映像データから
算出する。時刻tにおけるキャップ1の位置を画面上の
画素の2次元座標位置を(Px,Py)(t)で表し、
ビデオカメラ2からRGBのカラー情報を取得したとき
に、R(赤)の画素のカラー情報を[f(x,y,
t);x−1,..N,y−1,...,N]として、
【0029】
【数1】(Px,Py)(t)=Arg{max f
(x,y,t)} x=1,...,n,y−1,...,N により求めることができる(ステップS20)。
(x,y,t)} x=1,...,n,y−1,...,N により求めることができる(ステップS20)。
【0030】CPU10はキャップの画面上の位置に基
づき、対応するCRT18のマウスカーソルの位置(Q
i,Qj)(t)を変換テーブル(撮影画面の各画素位
置とこの画素位置に対応するCRT画面の画素位置を記
載したテーブル)を使用して取得する。
づき、対応するCRT18のマウスカーソルの位置(Q
i,Qj)(t)を変換テーブル(撮影画面の各画素位
置とこの画素位置に対応するCRT画面の画素位置を記
載したテーブル)を使用して取得する。
【0031】このようにして取得したCRT18の画面
上の位置に表示すべきマウスカーソル図形のイメージを
ビデオメモリ14の表示位置に対応する記憶領域に書き
込む。これによりCRT18の表示画面にはマウスカー
ソルが表示される(ステップS21→S22)。
上の位置に表示すべきマウスカーソル図形のイメージを
ビデオメモリ14の表示位置に対応する記憶領域に書き
込む。これによりCRT18の表示画面にはマウスカー
ソルが表示される(ステップS21→S22)。
【0032】以上の処理利手順はCPU10の動作クロ
ックのオーダの速い周期で繰り返し実行されるので、キ
ャップ1が移動すると、CRT18の表示画面上のマウ
スカーソルの位置も対応して移動するように見える。
ックのオーダの速い周期で繰り返し実行されるので、キ
ャップ1が移動すると、CRT18の表示画面上のマウ
スカーソルの位置も対応して移動するように見える。
【0033】ユーザはCRT18の表示画面を見て、所
望のアイコンにマウスカーソルを移動させるようにキャ
ップ1を移動する。マウスカーソルが所望のアイコンに
位置すると、ユーザは「これ」と発声する。この音声は
マイクロフォン3により電気信号に変化され、音声入力
インタフェース12を介してCPU10によりシステム
メモリ11内のワーク領域に取り込まれる(ステップS
1)。必要量の音声データが取り込まれると、CPU1
0は音声認識を実行する。より具体的には取り込んだ音
声データの中から特徴パラメータを抽出する。
望のアイコンにマウスカーソルを移動させるようにキャ
ップ1を移動する。マウスカーソルが所望のアイコンに
位置すると、ユーザは「これ」と発声する。この音声は
マイクロフォン3により電気信号に変化され、音声入力
インタフェース12を介してCPU10によりシステム
メモリ11内のワーク領域に取り込まれる(ステップS
1)。必要量の音声データが取り込まれると、CPU1
0は音声認識を実行する。より具体的には取り込んだ音
声データの中から特徴パラメータを抽出する。
【0034】次に抽出した特徴パラメータと類似する特
徴パラメータを持つ制御命令がHD16内の制御命令変
換テーブルから検索、抽出される(ステップS3→S1
0)。この制御命令がCPU10の制御命令処理プログ
ラムに引き渡される。この例の場合にはアイコンが選択
されたので、たとえば、アイコンの色を変えるなど、従
来と同様のアイコン選択処理が行われる。
徴パラメータを持つ制御命令がHD16内の制御命令変
換テーブルから検索、抽出される(ステップS3→S1
0)。この制御命令がCPU10の制御命令処理プログ
ラムに引き渡される。この例の場合にはアイコンが選択
されたので、たとえば、アイコンの色を変えるなど、従
来と同様のアイコン選択処理が行われる。
【0035】次にユーザが「実行」と発声すると、CP
U10は音声認識により指示された制御命令を認識し、
その制御命令を実行する(ステップS1〜S3→S10
→S11)。これにより、選択されたアイコンのアプリ
ケーションプログラムが起動し、使用可能状態となる。
U10は音声認識により指示された制御命令を認識し、
その制御命令を実行する(ステップS1〜S3→S10
→S11)。これにより、選択されたアイコンのアプリ
ケーションプログラムが起動し、使用可能状態となる。
【0036】以上、説明したように本実施例ではユーザ
の指にはめたキャップ1の移動と、音声により制御命令
の入力ができるので、マウス等の接触型のポインティン
グデバイスやキーボードを必要とせず非接触で情報処理
装置に対して情報入力を行うことができる。また、机の
ような操作スペースを要しないので、操作環境の制限を
受ける場所などでの指示操作に好適である。また、身体
障害者のようにマウスの操作に支障を生じるものでも本
発明のポインティングデバイスを操作できる。本実施例
の他に次の例を実施できる。
の指にはめたキャップ1の移動と、音声により制御命令
の入力ができるので、マウス等の接触型のポインティン
グデバイスやキーボードを必要とせず非接触で情報処理
装置に対して情報入力を行うことができる。また、机の
ような操作スペースを要しないので、操作環境の制限を
受ける場所などでの指示操作に好適である。また、身体
障害者のようにマウスの操作に支障を生じるものでも本
発明のポインティングデバイスを操作できる。本実施例
の他に次の例を実施できる。
【0037】1)本実施例では、赤いキャップ1を光学
的特徴を持つ物体として撮影し、撮影画面上の位置を検
出した。この赤いキャップ1を指の代わりに長い棒の先
に装着しても同様の効果が得られる。
的特徴を持つ物体として撮影し、撮影画面上の位置を検
出した。この赤いキャップ1を指の代わりに長い棒の先
に装着しても同様の効果が得られる。
【0038】2)本実施例では光学特徴としては、特定
の色を使用しているがその他、しきい値以上の輝度を有
する発光物体、たとえば、ライトペンを使用できる。
の色を使用しているがその他、しきい値以上の輝度を有
する発光物体、たとえば、ライトペンを使用できる。
【0039】また、指の特定ジェスチャー例えば、ジャ
ンケンのちょきのジェスチャを光学特徴としてもよい。
この場合には撮影データに対して従来周知の形状認識を
施し、ちょきの形状部分の重心位置等の画像位置を検出
する。
ンケンのちょきのジェスチャを光学特徴としてもよい。
この場合には撮影データに対して従来周知の形状認識を
施し、ちょきの形状部分の重心位置等の画像位置を検出
する。
【0040】3)音声により入力する制御命令を実行す
る際に、キャップ1による位置指定が直前に行われてい
ることをCPU10が確認してから入力された制御命令
を実行するようにすると、単なる音声のみの制御命令と
区別でき、誤動作を防ぐことができる。
る際に、キャップ1による位置指定が直前に行われてい
ることをCPU10が確認してから入力された制御命令
を実行するようにすると、単なる音声のみの制御命令と
区別でき、誤動作を防ぐことができる。
【0041】4)キャップ1により指定したアイコンの
オブジェクトに対して一連の制御動作を指示することが
できる。たとえば、文書テキストを画面に表示させ、印
刷したい場合に、ユーザはキャップ1により文書テキス
トのアイコンを指定した後「これを開き印刷せよ」と音
声入力する。CPU10は入力された音声を認識し、制
御命令変換テーブルを使用して制御命令(音声の特徴パ
ラメータ)に該当する制御命令(命令コード)を取り出
す。取り出した複数の制御命令をシステムメモリ11に
記憶しておき、順次にこの制御命令を実行する。
オブジェクトに対して一連の制御動作を指示することが
できる。たとえば、文書テキストを画面に表示させ、印
刷したい場合に、ユーザはキャップ1により文書テキス
トのアイコンを指定した後「これを開き印刷せよ」と音
声入力する。CPU10は入力された音声を認識し、制
御命令変換テーブルを使用して制御命令(音声の特徴パ
ラメータ)に該当する制御命令(命令コード)を取り出
す。取り出した複数の制御命令をシステムメモリ11に
記憶しておき、順次にこの制御命令を実行する。
【0042】5)本実施例ではマイクロフォン3をビデ
オカメラ2上に設置する例を示したが無線で音声信号を
転送するマイクロフォンを使用すればユーザがマイクロ
フォンを携帯してもよい。
オカメラ2上に設置する例を示したが無線で音声信号を
転送するマイクロフォンを使用すればユーザがマイクロ
フォンを携帯してもよい。
【0043】6)本実施例ではビデオカメラ2の撮影画
面中の光学特徴を持つ物体の位置に対応してCRT18
の画面のマウスカーソルを移動させたが、自動追尾装置
を使用して光学特徴を持つ物体の位置を検出し、検出し
た位置そのものをCRT18の画面のマウスカーソルの
位置と関連づけてもよい。
面中の光学特徴を持つ物体の位置に対応してCRT18
の画面のマウスカーソルを移動させたが、自動追尾装置
を使用して光学特徴を持つ物体の位置を検出し、検出し
た位置そのものをCRT18の画面のマウスカーソルの
位置と関連づけてもよい。
【0044】7)移動物体の位置を検出するための物体
としては光学的特徴を有する物体を使用する他、超音
波、電波を発声する発信器を使用してもよい。
としては光学的特徴を有する物体を使用する他、超音
波、電波を発声する発信器を使用してもよい。
【0045】8)本実施例で述べた制御命令の他、従
来、マウスのクリックボタンの操作で実行していた制御
命令、たとえば、アイコンの表示画面上の移動等、周知
の制御命令を音声で入力できることは言うまでもない。
来、マウスのクリックボタンの操作で実行していた制御
命令、たとえば、アイコンの表示画面上の移動等、周知
の制御命令を音声で入力できることは言うまでもない。
【0046】
【発明の効果】以上、説明したように、請求項1の発明
によれば、3次元空間上を物体を移動するだけで、表示
画面上の第2の表記(マウスカーソル)を移動できるの
で、従来のマウスのように操作スペースの制限を受けな
い。また、従来法のように3次元空間の指の位置,指の
指し示す方向の同定などの困難な技術課題を回避でき
る。
によれば、3次元空間上を物体を移動するだけで、表示
画面上の第2の表記(マウスカーソル)を移動できるの
で、従来のマウスのように操作スペースの制限を受けな
い。また、従来法のように3次元空間の指の位置,指の
指し示す方向の同定などの困難な技術課題を回避でき
る。
【0047】請求項2、3、4の発明によれば、従来、
マウスのクリックボタンにより行っていた制御命令の入
力を音声で行うことによりマウスより多数の制御命令を
入力することができる。また、マウスではクリックボタ
ンの1回操作、2回操作、クリックボタンを操作しなが
らマウスを移動させるなどの複雑な操作を学習しなけれ
ばならないが、請求項2の発明ではこのような操作を必
要としない。
マウスのクリックボタンにより行っていた制御命令の入
力を音声で行うことによりマウスより多数の制御命令を
入力することができる。また、マウスではクリックボタ
ンの1回操作、2回操作、クリックボタンを操作しなが
らマウスを移動させるなどの複雑な操作を学習しなけれ
ばならないが、請求項2の発明ではこのような操作を必
要としない。
【0048】請求項5、6の発明では、物体の移動と、
音声により所望のプログラムを起動できる。
音声により所望のプログラムを起動できる。
【0049】請求項7、8の発明では、プログラムによ
り作成した文字やイメージの各種データを表示させるこ
とができる。
り作成した文字やイメージの各種データを表示させるこ
とができる。
【図1】本発明実施例の外観を示す斜視図である。
【図2】本発明実施例のシステム構成を示すブロック図
である。
である。
【図3】本発明実施例の処理内容を示すフローチャート
である。
である。
【図4】制御命令変換テーブルの内容を示す説明図であ
る。
る。
1 キャップ 2 ビデオカメラ 3 マイクロフォン 4 情報処理装置 10 CPU 11 システムメモリ 16 HD 18 CRT
Claims (8)
- 【請求項1】 表示装置の表示画面にオブジェクトを第
1の表記で模式表示し、前記表示画面の位置の指定のた
めに第2の表記を表示し、該第2の表記の移動による位
置指定により指定した第1の表記のオブジェクトについ
ての指示を入力するグラフィカルユーザインタフェース
において、 移動する物体の位置を該物体とは無接触で検出する位置
検出手段と、 当該検出した位置及び移動方向に対応させて前記第2の
表記を移動表示する表示制御手段とを具えたことを特徴
とするグラフィカルユーザインタフェース。 - 【請求項2】 請求項1に記載のグラフィカルユーザイ
ンタフェースにおいて、前記第1の表記のオブジェクト
についての指示を音声で入力する入力手段と、当該入力
された音声から前記指示内容を認識する音声認識手段
と、当該認識された指示内容を実行する情報処理手段と
をさらに具えたことを特徴とするグラフィカルユーザイ
ンタフェース。 - 【請求項3】 請求項2に記載のグラフィカルユーザイ
ンタフェースにおいて、請求項1に記載の前記第2の表
記の位置と合致した前記第1の表記のオブジェクトを前
記情報処理手段の処理対象とすることを特徴とするグラ
フィカルユーザインタフェース。 - 【請求項4】 請求項3に記載のグラフィカルユーザイ
ンタフェースにおいて、請求項2に記載の前記オブジェ
クトについての指示として、前記第2の表記の位置によ
り前記情報処理手段の処理対象を指示する旨の音声およ
び処理の種類を音声で前記入力手段に入力したときに該
情報処理手段は、当該音声により指示された種類の処理
を実行することを特徴とするグラフィカルユーザインタ
フェース。 - 【請求項5】 請求項4に記載のグラフィカルユーザイ
ンタフェースにおいて、請求項1に記載の前記第1の表
記は図形であり、該図形で模式表示されるオブジェクト
はプログラムであることを特徴とするグラフィカルユー
ザインタフェース。 - 【請求項6】 請求項5に記載のグラフィカルユーザイ
ンタフェースにおいて、請求項4に記載の前記処理の種
類はプログラムの起動であることを特徴とするグラフィ
カルユーザインタフェース。 - 【請求項7】 請求項4に記載のグラフィカルユーザイ
ンタフェースにおいて、請求項1に記載の前記第1の表
記は図形であり、該図形で模式表示されるオブジェクト
は文字およびまたはイメージで構成されるデータである
ことを特徴とするグラフィカルユーザインタフェース。 - 【請求項8】 請求項7に記載のグラフィカルユーザイ
ンタフェースにおいて、請求項4に記載の前記処理の種
類は文字およびまたはイメージの表示であることを特徴
とするグラフィカルユーザインタフェース。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8045051A JPH09237151A (ja) | 1996-03-01 | 1996-03-01 | グラフィカルユーザインタフェース |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8045051A JPH09237151A (ja) | 1996-03-01 | 1996-03-01 | グラフィカルユーザインタフェース |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH09237151A true JPH09237151A (ja) | 1997-09-09 |
Family
ID=12708564
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP8045051A Pending JPH09237151A (ja) | 1996-03-01 | 1996-03-01 | グラフィカルユーザインタフェース |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH09237151A (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100749481B1 (ko) * | 2006-04-28 | 2007-08-14 | 엠텍비젼 주식회사 | 무접점 기능을 수행하는 장치 및 방법 |
WO2007126286A1 (en) * | 2006-04-28 | 2007-11-08 | Mtekvision Co., Ltd. | Non-contact selection device |
KR100811460B1 (ko) * | 2007-02-01 | 2008-03-10 | 강원대학교산학협력단 | 진동촉각 마우스 및 진동촉각 마우스 시스템 |
KR100878754B1 (ko) * | 2007-01-03 | 2009-01-14 | 한국과학기술원 | 손 지체 장애인을 위한 컴퓨터 인터페이스 장치 및 방법 |
JP2009075685A (ja) * | 2007-09-19 | 2009-04-09 | Sony Corp | 画像処理装置および画像処理方法、並びにプログラム |
JP2011145748A (ja) * | 2010-01-12 | 2011-07-28 | Denso Corp | 車載機 |
US8872760B2 (en) | 2007-11-22 | 2014-10-28 | Sony Corporation | Recording and reproducing apparatus |
JP2020170401A (ja) * | 2019-04-04 | 2020-10-15 | 京セラドキュメントソリューションズ株式会社 | 表示装置及び画像形成装置 |
-
1996
- 1996-03-01 JP JP8045051A patent/JPH09237151A/ja active Pending
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8525790B2 (en) | 2006-04-28 | 2013-09-03 | Mtekvision Co., Ltd. | Non-contact selection device |
WO2007126286A1 (en) * | 2006-04-28 | 2007-11-08 | Mtekvision Co., Ltd. | Non-contact selection device |
KR100749481B1 (ko) * | 2006-04-28 | 2007-08-14 | 엠텍비젼 주식회사 | 무접점 기능을 수행하는 장치 및 방법 |
US8610667B2 (en) | 2006-04-28 | 2013-12-17 | Mtekvision Co., Ltd. | Non-contact selection device |
US8587523B2 (en) | 2006-04-28 | 2013-11-19 | Mtekvision Co., Ltd. | Non-contact selection device |
US8217895B2 (en) | 2006-04-28 | 2012-07-10 | Mtekvision Co., Ltd. | Non-contact selection device |
KR100878754B1 (ko) * | 2007-01-03 | 2009-01-14 | 한국과학기술원 | 손 지체 장애인을 위한 컴퓨터 인터페이스 장치 및 방법 |
KR100811460B1 (ko) * | 2007-02-01 | 2008-03-10 | 강원대학교산학협력단 | 진동촉각 마우스 및 진동촉각 마우스 시스템 |
JP2009075685A (ja) * | 2007-09-19 | 2009-04-09 | Sony Corp | 画像処理装置および画像処理方法、並びにプログラム |
JP4569613B2 (ja) * | 2007-09-19 | 2010-10-27 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
US8643598B2 (en) | 2007-09-19 | 2014-02-04 | Sony Corporation | Image processing apparatus and method, and program therefor |
US8896535B2 (en) | 2007-09-19 | 2014-11-25 | Sony Corporation | Image processing apparatus and method, and program therefor |
US8872760B2 (en) | 2007-11-22 | 2014-10-28 | Sony Corporation | Recording and reproducing apparatus |
US9529444B2 (en) | 2007-11-22 | 2016-12-27 | Sony Corporation | Recording and reproducing apparatus |
US8538756B2 (en) | 2010-01-12 | 2013-09-17 | Denso Corporation | In-vehicle device and method for modifying display mode of icon indicated on the same |
JP2011145748A (ja) * | 2010-01-12 | 2011-07-28 | Denso Corp | 車載機 |
JP2020170401A (ja) * | 2019-04-04 | 2020-10-15 | 京セラドキュメントソリューションズ株式会社 | 表示装置及び画像形成装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220155873A1 (en) | Determining a primary control mode of controlling an electronic device using 3d gestures or using control manipulations from a user manipulable hand-held input device | |
US9378573B2 (en) | Information processing apparatus and control method thereof | |
EP0394614A2 (en) | Advanced user interface | |
KR19990011180A (ko) | 화상인식을 이용한 메뉴 선택 방법 | |
JP2004303207A (ja) | ジェスチャの動的フィードバック | |
JPH09319556A (ja) | 情報処理装置 | |
WO2002008881A2 (en) | Human-computer interface | |
KR20080104099A (ko) | 입력 장치 및 그 입력 방법 | |
CN103440033B (zh) | 一种基于徒手和单目摄像头实现人机交互的方法和装置 | |
JPH0724007B2 (ja) | ジェスチャ認識を行うグラフィッカル・ユーザ・インターフェース及びその方法 | |
JP2006244078A (ja) | 表示制御装置及びその制御方法 | |
KR20150106823A (ko) | 제스처 인식 장치 및 제스처 인식 장치의 제어 방법 | |
Geer | Will gesture recognition technology point the way? | |
JP2019032719A (ja) | 情報処理システム、情報処理方法及びプログラム | |
JPH09237151A (ja) | グラフィカルユーザインタフェース | |
KR20200102413A (ko) | 유니버셜 하드웨어-소프트웨어 인터페이스의 구현을 위한 방법, 장치 및 컴퓨터-판독가능 매체 | |
JP5342806B2 (ja) | 表示方法および表示装置 | |
JPH06289984A (ja) | 文書作成編集装置 | |
US11978252B2 (en) | Communication system, display apparatus, and display control method | |
JP5790257B2 (ja) | 文字入力装置,文字入力プログラムおよび文字入力方法 | |
CN101446859B (zh) | 一种基于机器视觉的输入方法及其*** | |
JPH05108302A (ja) | 音声と指示動作を用いた情報入力方法 | |
US20200073614A1 (en) | Controlling display of images | |
Srinivas et al. | Virtual Mouse Control Using Hand Gesture Recognition | |
JP2003140791A (ja) | 情報処理装置及び情報処理装置の制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050614 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060106 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060428 |