JPH09237151A - グラフィカルユーザインタフェース - Google Patents
グラフィカルユーザインタフェースInfo
- Publication number
- JPH09237151A JPH09237151A JP8045051A JP4505196A JPH09237151A JP H09237151 A JPH09237151 A JP H09237151A JP 8045051 A JP8045051 A JP 8045051A JP 4505196 A JP4505196 A JP 4505196A JP H09237151 A JPH09237151 A JP H09237151A
- Authority
- JP
- Japan
- Prior art keywords
- user interface
- graphical user
- notation
- voice
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Position Input By Displaying (AREA)
Abstract
(57)【要約】
【課題】 操作の制約の少ないグラフィカルユーザイン
タフェースを提供する。 【解決手段】 ユーザは赤いキャップ１を指にはめて指
を移動させる。この動作がビデオカメラ１により撮影さ
れる。情報処理装置４は撮影画像の赤いキャップの画像
の位置を検出し、検出した位置に対応させて表示画面上
のマウスカーソル５を移動させる。マウスカーソル５が
表示画面上のアイコン６に位置したときにユーザが「こ
れ」と発声されると、マイクロフォン３を介して、音声
が情報処理装置４に入力され、「これ」に対応する制御
命令、アイコンの選択処理が実行される。
タフェースを提供する。 【解決手段】 ユーザは赤いキャップ１を指にはめて指
を移動させる。この動作がビデオカメラ１により撮影さ
れる。情報処理装置４は撮影画像の赤いキャップの画像
の位置を検出し、検出した位置に対応させて表示画面上
のマウスカーソル５を移動させる。マウスカーソル５が
表示画面上のアイコン６に位置したときにユーザが「こ
れ」と発声されると、マイクロフォン３を介して、音声
が情報処理装置４に入力され、「これ」に対応する制御
命令、アイコンの選択処理が実行される。
Description
【０００１】
【発明の属する技術分野】本発明は、ポインティングデ
バイスおよびそのポインティングデバイスを使用して情
報入力を行うグラフィカルユーザインタフェースに関す
る。
バイスおよびそのポインティングデバイスを使用して情
報入力を行うグラフィカルユーザインタフェースに関す
る。
【０００２】
【従来の技術】従来、情報処理装置に対して情報入力す
る場合、キーボードを使用することが多い。最近はマウ
スやタッチパネルなどのポインティングデバイスを使用
して、表示装置の表示画面を位置指定することにより特
定のコマンド（処理命令）を入力するようにしたＧＵＩ
（グラフィカルユーザインタフェース）も提案されてい
る。また、このようなＧＵＩ方式のポインティングデバ
イスにはマウスが使用されるが、マウスにはクリックボ
タンが１つから３つのものまで有り、操作者にとって混
乱の原因となっている。
る場合、キーボードを使用することが多い。最近はマウ
スやタッチパネルなどのポインティングデバイスを使用
して、表示装置の表示画面を位置指定することにより特
定のコマンド（処理命令）を入力するようにしたＧＵＩ
（グラフィカルユーザインタフェース）も提案されてい
る。また、このようなＧＵＩ方式のポインティングデバ
イスにはマウスが使用されるが、マウスにはクリックボ
タンが１つから３つのものまで有り、操作者にとって混
乱の原因となっている。
【０００３】このため、人間の指を使用したポインティ
ング動作すなわち、指で目的物を指さす動作をビデオカ
メラで撮影し、その撮影結果から指の指し示す方向を同
定し、その方向を３次元空間に延長してスクリーン画面
上に仮想的にタッチする位置を求めることにより、スク
リーン上の位置指定を行うようにした提案がある。その
参考文献としては以下ののものがある。
ング動作すなわち、指で目的物を指さす動作をビデオカ
メラで撮影し、その撮影結果から指の指し示す方向を同
定し、その方向を３次元空間に延長してスクリーン画面
上に仮想的にタッチする位置を求めることにより、スク
リーン上の位置指定を行うようにした提案がある。その
参考文献としては以下ののものがある。
【０００４】 「マン−マシン インタフェース 進化論」 リチャード Ａ ボルト（ＭＩＴ）著 鶴岡雄二 訳 （パーソナルメディア） 「メディアラボ」 スチュアート ブランド 著 室 謙二／麻生九美 共訳 （福武書店） 「バーチャル テック ラボ」 （工業調査会）
【０００５】
【発明が解決しようとする課題】しかしながら、このよ
うに指の指し示す位置を検出する位置ポインティングデ
バイスは、大型スクリーン上の特定位置を指示すること
を考慮しているので、パーソナルコンピュータの表示画
面のような小さい画面上の位置指定には不向きである。
従来法では３次元空間上での画像による指の位置の同定
およびそれを指し示す方向の同定をしなければならない
が、これらは極めて困難な技術課題である。また、マウ
スなどではマウスの移動によって位置指定を行った後、
マウス上のクリックボタンの操作によりアプリケーショ
ンプログラムの起動などの指示を行うがこのような指示
はキーボードに頼らざるを得ない。
うに指の指し示す位置を検出する位置ポインティングデ
バイスは、大型スクリーン上の特定位置を指示すること
を考慮しているので、パーソナルコンピュータの表示画
面のような小さい画面上の位置指定には不向きである。
従来法では３次元空間上での画像による指の位置の同定
およびそれを指し示す方向の同定をしなければならない
が、これらは極めて困難な技術課題である。また、マウ
スなどではマウスの移動によって位置指定を行った後、
マウス上のクリックボタンの操作によりアプリケーショ
ンプログラムの起動などの指示を行うがこのような指示
はキーボードに頼らざるを得ない。
【０００６】なお、マウス等のポインティングデバイス
は机などの操作スペースを要し、マウスのクリックボタ
ンの操作ができない身体障害者にとってはパーソナルコ
ンピュータを操作できない。
は机などの操作スペースを要し、マウスのクリックボタ
ンの操作ができない身体障害者にとってはパーソナルコ
ンピュータを操作できない。
【０００７】そこで、本発明は、上述の点に鑑みて、操
作の制限の少ない新たなグラフィカルユーザインタフェ
ースを提供することを目的とする。
作の制限の少ない新たなグラフィカルユーザインタフェ
ースを提供することを目的とする。
【０００８】
【課題を解決するための手段】このような目的を達成す
るために、請求項１の発明は、表示装置の表示画面にオ
ブジェクトを第１の表記で模式表示し、前記表示画面の
位置の指定のために第２の表記を表示し、該第２の表記
の移動による位置指定により指定した第１の表記のオブ
ジェクトについての指示を入力するグラフィカルユーザ
インタフェースにおいて、移動する物体の位置を該物体
とは無接触で検出する位置検出手段と、当該検出した位
置及び移動方向に対応させて前記第２の表記を移動表示
する表示制御手段とを具えたことを特徴とする。
るために、請求項１の発明は、表示装置の表示画面にオ
ブジェクトを第１の表記で模式表示し、前記表示画面の
位置の指定のために第２の表記を表示し、該第２の表記
の移動による位置指定により指定した第１の表記のオブ
ジェクトについての指示を入力するグラフィカルユーザ
インタフェースにおいて、移動する物体の位置を該物体
とは無接触で検出する位置検出手段と、当該検出した位
置及び移動方向に対応させて前記第２の表記を移動表示
する表示制御手段とを具えたことを特徴とする。
【０００９】請求項２の発明は、請求項１に記載のグラ
フィカルユーザインタフェースにおいて、前記第１の表
記のオブジェクトについての指示を音声で入力する入力
手段と、当該入力された音声から前記指示内容を認識す
る音声認識手段と、当該認識された指示内容を実行する
情報処理手段とをさらに具えたことを特徴とする。
フィカルユーザインタフェースにおいて、前記第１の表
記のオブジェクトについての指示を音声で入力する入力
手段と、当該入力された音声から前記指示内容を認識す
る音声認識手段と、当該認識された指示内容を実行する
情報処理手段とをさらに具えたことを特徴とする。
【００１０】請求項３の発明は、請求項２に記載のグラ
フィカルユーザインタフェースにおいて、請求項１に記
載の前記第２の表記の位置と合致した前記第１の表記の
オブジェクトを前記情報処理手段の処理対象とすること
を特徴とする。
フィカルユーザインタフェースにおいて、請求項１に記
載の前記第２の表記の位置と合致した前記第１の表記の
オブジェクトを前記情報処理手段の処理対象とすること
を特徴とする。
【００１１】請求項４の発明は、請求項３に記載のグラ
フィカルユーザインタフェースにおいて、請求項２に記
載の前記オブジェクトについての指示として、前記第２
の表記の位置により前記情報処理手段の処理対象を指示
する旨の音声および処理の種類を音声で前記入力手段に
入力したときに該情報処理手段は、当該音声により指示
された種類の処理を実行することを特徴とする。
フィカルユーザインタフェースにおいて、請求項２に記
載の前記オブジェクトについての指示として、前記第２
の表記の位置により前記情報処理手段の処理対象を指示
する旨の音声および処理の種類を音声で前記入力手段に
入力したときに該情報処理手段は、当該音声により指示
された種類の処理を実行することを特徴とする。
【００１２】請求項５の発明は、請求項４に記載のグラ
フィカルユーザインタフェースにおいて、請求項１に記
載の前記第１の表記は図形であり、該図形で模式表示さ
れるオブジェクトはプログラムであることを特徴とす
る。
フィカルユーザインタフェースにおいて、請求項１に記
載の前記第１の表記は図形であり、該図形で模式表示さ
れるオブジェクトはプログラムであることを特徴とす
る。
【００１３】請求項６の発明は、請求項５に記載のグラ
フィカルユーザインタフェースにおいて、請求項４に記
載の前記処理の種類はプログラムの起動であることを特
徴とする。
フィカルユーザインタフェースにおいて、請求項４に記
載の前記処理の種類はプログラムの起動であることを特
徴とする。
【００１４】請求項７の発明は、請求項４に記載のグラ
フィカルユーザインタフェースにおいて、請求項１に記
載の前記第１の表記は図形であり、該図形で模式表示さ
れるオブジェクトは文字およびまたはイメージで構成さ
れるデータであることを特徴とする。
フィカルユーザインタフェースにおいて、請求項１に記
載の前記第１の表記は図形であり、該図形で模式表示さ
れるオブジェクトは文字およびまたはイメージで構成さ
れるデータであることを特徴とする。
【００１５】請求項８の発明は、請求項７に記載のグラ
フィカルユーザインタフェースにおいて、請求項４に記
載の前記処理の種類は文字およびまたはイメージの表示
であることを特徴とする。
フィカルユーザインタフェースにおいて、請求項４に記
載の前記処理の種類は文字およびまたはイメージの表示
であることを特徴とする。
【００１６】
【発明の実施の形態】以下、図面を参照して本発明の実
施例を詳細に説明する。図１は本発明の基本構成を示
す。光学的特徴を持つ部材、本例では赤い色をしたゴム
製のキャップ１をユーザが指にはめる。ビデオカメラ２
はこのキャップ１を撮影する。ビデオカメラ２が撮影し
た映像信号は情報処理装置４に入力される。また、ユー
ザが発生する音声はマイク３により音声信号に変換さ
れ、情報処理装置４に入力される。
施例を詳細に説明する。図１は本発明の基本構成を示
す。光学的特徴を持つ部材、本例では赤い色をしたゴム
製のキャップ１をユーザが指にはめる。ビデオカメラ２
はこのキャップ１を撮影する。ビデオカメラ２が撮影し
た映像信号は情報処理装置４に入力される。また、ユー
ザが発生する音声はマイク３により音声信号に変換さ
れ、情報処理装置４に入力される。
【００１７】情報処理装置４では入力した映像信号を画
像処理してキャップ１の位置を検出し、このキャップ１
の位置と表示画面のマウスカーソル（図中矢印で表記）
５の位置を対応させる。また、入力した音声信号を音声
認識し、音声により指示する情報処理命令を実行する。
本実施例では、キャップ１の移動が従来のマウス本体の
移動操作に相当し、音声による情報処理命令の入力がマ
ウスのクリックボタンの操作に相当する。
像処理してキャップ１の位置を検出し、このキャップ１
の位置と表示画面のマウスカーソル（図中矢印で表記）
５の位置を対応させる。また、入力した音声信号を音声
認識し、音声により指示する情報処理命令を実行する。
本実施例では、キャップ１の移動が従来のマウス本体の
移動操作に相当し、音声による情報処理命令の入力がマ
ウスのクリックボタンの操作に相当する。
【００１８】このような機能を実現するためのシステム
構成を図２に示す。図２において、情報処理装置４には
従来からよく知られているビデオ入力機能付きのパーソ
ナルコンピュータを使用することができる。そこで、本
発明に関連し、従来と相違する点について重点的に説明
する。
構成を図２に示す。図２において、情報処理装置４には
従来からよく知られているビデオ入力機能付きのパーソ
ナルコンピュータを使用することができる。そこで、本
発明に関連し、従来と相違する点について重点的に説明
する。
【００１９】ＣＰＵ１０はシステムメモリ１１およびハ
ードディスク記憶装置（ＨＤ）１６に記憶されたシステ
ムプログラムに基づき後述の構成部品の動作制御を実行
するほか、ビデオカメラ２およびマイクロフォン３から
入力された信号を情報処理して内部処理用の制御信号に
変換する本発明に関わる処理を実行する。
ードディスク記憶装置（ＨＤ）１６に記憶されたシステ
ムプログラムに基づき後述の構成部品の動作制御を実行
するほか、ビデオカメラ２およびマイクロフォン３から
入力された信号を情報処理して内部処理用の制御信号に
変換する本発明に関わる処理を実行する。
【００２０】システムメモリ１１はＣＰＵ１０が実行す
るシステムプログラム、文字コードを表示用のイメージ
（フォント）に変換するフォントテーブルや本発明に関
わり、キャップ１の位置をＣＲＴ１８の表示画面に表示
する図形（以下、マウスカーソルと称する、本発明の第
２の表記）イメージを格納する。音声入力インタフェー
ス１２はマイクロフォン３から出力されるアナログの音
声信号をデジタルの音声信号に変換して所定量（単語の
長さ分）を内部蓄積し、ＣＰＵ１０に引き渡す。ビデオ
キャプチャボード１３はビデオカメラ２から出力される
アナログのカラー映像信号をデジタルのカラー映像信号
に変換して所定量（１画面分）蓄積し、ＣＰＵ１０に引
き渡す。
るシステムプログラム、文字コードを表示用のイメージ
（フォント）に変換するフォントテーブルや本発明に関
わり、キャップ１の位置をＣＲＴ１８の表示画面に表示
する図形（以下、マウスカーソルと称する、本発明の第
２の表記）イメージを格納する。音声入力インタフェー
ス１２はマイクロフォン３から出力されるアナログの音
声信号をデジタルの音声信号に変換して所定量（単語の
長さ分）を内部蓄積し、ＣＰＵ１０に引き渡す。ビデオ
キャプチャボード１３はビデオカメラ２から出力される
アナログのカラー映像信号をデジタルのカラー映像信号
に変換して所定量（１画面分）蓄積し、ＣＰＵ１０に引
き渡す。
【００２１】ビデオメモリ１４はＣＲＴ１８に表示する
１画面分のイメージ情報を記憶する。ビデオメモリ１４
のイメージ情報がＣＲＴコントローラ１７により読み出
され、ＣＲＴ１８に転送される。ＣＲＴ１８において上
記イメージ情報が可視表示される。
１画面分のイメージ情報を記憶する。ビデオメモリ１４
のイメージ情報がＣＲＴコントローラ１７により読み出
され、ＣＲＴ１８に転送される。ＣＲＴ１８において上
記イメージ情報が可視表示される。
【００２２】フロッピーディスクドライブ（ＦＤ）１５
はフロッピーディスクを受け付け、フロッピーディスク
に対して情報の読み書きを行う。
はフロッピーディスクを受け付け、フロッピーディスク
に対して情報の読み書きを行う。
【００２３】ハードディスク記憶装置（ＨＤ）１６は各
種の情報処理例えば、文書編集処理を行うためのアプリ
ケーションプログラム、これらのプログラムにより作成
された文字および／またはイメージデータ、例えば、文
書テキストを格納する。格納されているプログラムや、
上記データはアイコンと呼ばれる図形（本発明の第１の
表記）の形態で表示画面上に模式表示される。本実施例
では従来、表示画面上のアイコンや、情報処理命令を示
す文字列にマウスカーソルを位置させた後、クリックボ
タンの操作で入力する命令を音声で入力するので、情報
処理命令とこの情報処理命令に対応する音声パターンと
記載したテーブル（制御命令変換テーブルと称する）１
６ＡをＨＤ１６に格納している。ここで、制御命令とは
ＣＰＵ１０が認識可能な命令、たとえば、マクロ命令で
あり、従来ではＣＲＴ１８に実行可能な命令が文字列で
表示され、マウスの位置指定およびクリックボタンの操
作で実行が指示される命令を制御命令の中に含む。ま
た、従来、アイコンと呼ばれる図形にマウスカーソルを
位置させクリックボタンの操作で実行を指示していた命
令を制御命令の中に含む。
種の情報処理例えば、文書編集処理を行うためのアプリ
ケーションプログラム、これらのプログラムにより作成
された文字および／またはイメージデータ、例えば、文
書テキストを格納する。格納されているプログラムや、
上記データはアイコンと呼ばれる図形（本発明の第１の
表記）の形態で表示画面上に模式表示される。本実施例
では従来、表示画面上のアイコンや、情報処理命令を示
す文字列にマウスカーソルを位置させた後、クリックボ
タンの操作で入力する命令を音声で入力するので、情報
処理命令とこの情報処理命令に対応する音声パターンと
記載したテーブル（制御命令変換テーブルと称する）１
６ＡをＨＤ１６に格納している。ここで、制御命令とは
ＣＰＵ１０が認識可能な命令、たとえば、マクロ命令で
あり、従来ではＣＲＴ１８に実行可能な命令が文字列で
表示され、マウスの位置指定およびクリックボタンの操
作で実行が指示される命令を制御命令の中に含む。ま
た、従来、アイコンと呼ばれる図形にマウスカーソルを
位置させクリックボタンの操作で実行を指示していた命
令を制御命令の中に含む。
【００２４】アイコンにより図形表示されるものはアプ
リケーションプログラムの他、文書、写真等のイメージ
など、アプリケーションプログラムの処理対象となるも
のであり、オブジェクトと総称する。制御変換テーブル
１６Ａの内容の一部を図４に示す。なお、音声パターン
となる音声データは従来から周知のように音声信号から
抽出した音声パラメータであるが説明のために文字で表
記し、制御命令をその機能を表す文字列で表記してい
る。
リケーションプログラムの他、文書、写真等のイメージ
など、アプリケーションプログラムの処理対象となるも
のであり、オブジェクトと総称する。制御変換テーブル
１６Ａの内容の一部を図４に示す。なお、音声パターン
となる音声データは従来から周知のように音声信号から
抽出した音声パラメータであるが説明のために文字で表
記し、制御命令をその機能を表す文字列で表記してい
る。
【００２５】図４において、「これ」はマウスカーソル
で指定したアイコンのオブジェクトを指定（選択）する
制御命令に対応の音声パラメータである。「おく」は上
記指定されたアイコンを移動した場合にその移動後の停
止位置を指示する制御命令に対応する音声パラメータで
ある。「開く」は上記指定されたアイコンのオブジェク
ト、例えば、文書データを表示画面に表示させる制御命
令に対応する音声パラメータである。「実行」は指定し
たアイコンのオブジェクト、たとえば、文書編集プログ
ラムを起動させる制御命令に対応する音声パラメータで
ある。「閉じる」は現在、表示されていているウインド
ウを閉じる（表示を終了）制御命令に対応する音声パラ
メータである。その他、周知のシステム制御命令、複
写、ペースト、消去、印刷等、マウスカーソルの位置指
定に関連して入力するシステム制御命令とそのシステム
制御命令に対応する音声パラメータが制御命令変換テー
ブルに記載されている。
で指定したアイコンのオブジェクトを指定（選択）する
制御命令に対応の音声パラメータである。「おく」は上
記指定されたアイコンを移動した場合にその移動後の停
止位置を指示する制御命令に対応する音声パラメータで
ある。「開く」は上記指定されたアイコンのオブジェク
ト、例えば、文書データを表示画面に表示させる制御命
令に対応する音声パラメータである。「実行」は指定し
たアイコンのオブジェクト、たとえば、文書編集プログ
ラムを起動させる制御命令に対応する音声パラメータで
ある。「閉じる」は現在、表示されていているウインド
ウを閉じる（表示を終了）制御命令に対応する音声パラ
メータである。その他、周知のシステム制御命令、複
写、ペースト、消去、印刷等、マウスカーソルの位置指
定に関連して入力するシステム制御命令とそのシステム
制御命令に対応する音声パラメータが制御命令変換テー
ブルに記載されている。
【００２６】以上のシステム構成で実行されるポインテ
ィング動作およびポインティング動作に関連して実行さ
れるシステム動作を図３のフローチャートを使用して説
明する。図３の処理手順はＣＰＵ１０により非常に短い
周期で繰り返し実行される。
ィング動作およびポインティング動作に関連して実行さ
れるシステム動作を図３のフローチャートを使用して説
明する。図３の処理手順はＣＰＵ１０により非常に短い
周期で繰り返し実行される。
【００２７】ユーザは指にキャップ１をはめ、ビデオカ
メラ２にキャップ１を撮影させる。ビデオカメラ２によ
り撮影された１画面分の映像データはビデオキャプチャ
ボード１３を介してＣＰＵ１０により取り込まれ、シス
テムメモリ内のワーク領域に一時格納される（ステップ
Ｓ１〜Ｓ２）。
メラ２にキャップ１を撮影させる。ビデオカメラ２によ
り撮影された１画面分の映像データはビデオキャプチャ
ボード１３を介してＣＰＵ１０により取り込まれ、シス
テムメモリ内のワーク領域に一時格納される（ステップ
Ｓ１〜Ｓ２）。
【００２８】１画面分の映像データを取り込んだ時にＣ
ＰＵ１０はキャップ１の画面上の位置を映像データから
算出する。時刻ｔにおけるキャップ１の位置を画面上の
画素の２次元座標位置を（Ｐｘ，Ｐｙ）（ｔ）で表し、
ビデオカメラ２からＲＧＢのカラー情報を取得したとき
に、Ｒ（赤）の画素のカラー情報を［ｆ（ｘ，ｙ，
ｔ）；ｘ−１，．．Ｎ，ｙ−１，．．．，Ｎ］として、
ＰＵ１０はキャップ１の画面上の位置を映像データから
算出する。時刻ｔにおけるキャップ１の位置を画面上の
画素の２次元座標位置を（Ｐｘ，Ｐｙ）（ｔ）で表し、
ビデオカメラ２からＲＧＢのカラー情報を取得したとき
に、Ｒ（赤）の画素のカラー情報を［ｆ（ｘ，ｙ，
ｔ）；ｘ−１，．．Ｎ，ｙ−１，．．．，Ｎ］として、
【００２９】
【数１】（Ｐｘ，Ｐｙ）（ｔ）＝Ａｒｇ｛ｍａｘ ｆ
（ｘ，ｙ，ｔ）｝ ｘ＝１，．．．，ｎ，ｙ−１，．．．，Ｎ により求めることができる（ステップＳ２０）。
（ｘ，ｙ，ｔ）｝ ｘ＝１，．．．，ｎ，ｙ−１，．．．，Ｎ により求めることができる（ステップＳ２０）。
【００３０】ＣＰＵ１０はキャップの画面上の位置に基
づき、対応するＣＲＴ１８のマウスカーソルの位置（Ｑ
ｉ，Ｑｊ）（ｔ）を変換テーブル（撮影画面の各画素位
置とこの画素位置に対応するＣＲＴ画面の画素位置を記
載したテーブル）を使用して取得する。
づき、対応するＣＲＴ１８のマウスカーソルの位置（Ｑ
ｉ，Ｑｊ）（ｔ）を変換テーブル（撮影画面の各画素位
置とこの画素位置に対応するＣＲＴ画面の画素位置を記
載したテーブル）を使用して取得する。
【００３１】このようにして取得したＣＲＴ１８の画面
上の位置に表示すべきマウスカーソル図形のイメージを
ビデオメモリ１４の表示位置に対応する記憶領域に書き
込む。これによりＣＲＴ１８の表示画面にはマウスカー
ソルが表示される（ステップＳ２１→Ｓ２２）。
上の位置に表示すべきマウスカーソル図形のイメージを
ビデオメモリ１４の表示位置に対応する記憶領域に書き
込む。これによりＣＲＴ１８の表示画面にはマウスカー
ソルが表示される（ステップＳ２１→Ｓ２２）。
【００３２】以上の処理利手順はＣＰＵ１０の動作クロ
ックのオーダの速い周期で繰り返し実行されるので、キ
ャップ１が移動すると、ＣＲＴ１８の表示画面上のマウ
スカーソルの位置も対応して移動するように見える。
ックのオーダの速い周期で繰り返し実行されるので、キ
ャップ１が移動すると、ＣＲＴ１８の表示画面上のマウ
スカーソルの位置も対応して移動するように見える。
【００３３】ユーザはＣＲＴ１８の表示画面を見て、所
望のアイコンにマウスカーソルを移動させるようにキャ
ップ１を移動する。マウスカーソルが所望のアイコンに
位置すると、ユーザは「これ」と発声する。この音声は
マイクロフォン３により電気信号に変化され、音声入力
インタフェース１２を介してＣＰＵ１０によりシステム
メモリ１１内のワーク領域に取り込まれる（ステップＳ
１）。必要量の音声データが取り込まれると、ＣＰＵ１
０は音声認識を実行する。より具体的には取り込んだ音
声データの中から特徴パラメータを抽出する。
望のアイコンにマウスカーソルを移動させるようにキャ
ップ１を移動する。マウスカーソルが所望のアイコンに
位置すると、ユーザは「これ」と発声する。この音声は
マイクロフォン３により電気信号に変化され、音声入力
インタフェース１２を介してＣＰＵ１０によりシステム
メモリ１１内のワーク領域に取り込まれる（ステップＳ
１）。必要量の音声データが取り込まれると、ＣＰＵ１
０は音声認識を実行する。より具体的には取り込んだ音
声データの中から特徴パラメータを抽出する。
【００３４】次に抽出した特徴パラメータと類似する特
徴パラメータを持つ制御命令がＨＤ１６内の制御命令変
換テーブルから検索、抽出される（ステップＳ３→Ｓ１
０）。この制御命令がＣＰＵ１０の制御命令処理プログ
ラムに引き渡される。この例の場合にはアイコンが選択
されたので、たとえば、アイコンの色を変えるなど、従
来と同様のアイコン選択処理が行われる。
徴パラメータを持つ制御命令がＨＤ１６内の制御命令変
換テーブルから検索、抽出される（ステップＳ３→Ｓ１
０）。この制御命令がＣＰＵ１０の制御命令処理プログ
ラムに引き渡される。この例の場合にはアイコンが選択
されたので、たとえば、アイコンの色を変えるなど、従
来と同様のアイコン選択処理が行われる。
【００３５】次にユーザが「実行」と発声すると、ＣＰ
Ｕ１０は音声認識により指示された制御命令を認識し、
その制御命令を実行する（ステップＳ１〜Ｓ３→Ｓ１０
→Ｓ１１）。これにより、選択されたアイコンのアプリ
ケーションプログラムが起動し、使用可能状態となる。
Ｕ１０は音声認識により指示された制御命令を認識し、
その制御命令を実行する（ステップＳ１〜Ｓ３→Ｓ１０
→Ｓ１１）。これにより、選択されたアイコンのアプリ
ケーションプログラムが起動し、使用可能状態となる。
【００３６】以上、説明したように本実施例ではユーザ
の指にはめたキャップ１の移動と、音声により制御命令
の入力ができるので、マウス等の接触型のポインティン
グデバイスやキーボードを必要とせず非接触で情報処理
装置に対して情報入力を行うことができる。また、机の
ような操作スペースを要しないので、操作環境の制限を
受ける場所などでの指示操作に好適である。また、身体
障害者のようにマウスの操作に支障を生じるものでも本
発明のポインティングデバイスを操作できる。本実施例
の他に次の例を実施できる。
の指にはめたキャップ１の移動と、音声により制御命令
の入力ができるので、マウス等の接触型のポインティン
グデバイスやキーボードを必要とせず非接触で情報処理
装置に対して情報入力を行うことができる。また、机の
ような操作スペースを要しないので、操作環境の制限を
受ける場所などでの指示操作に好適である。また、身体
障害者のようにマウスの操作に支障を生じるものでも本
発明のポインティングデバイスを操作できる。本実施例
の他に次の例を実施できる。
【００３７】１）本実施例では、赤いキャップ１を光学
的特徴を持つ物体として撮影し、撮影画面上の位置を検
出した。この赤いキャップ１を指の代わりに長い棒の先
に装着しても同様の効果が得られる。
的特徴を持つ物体として撮影し、撮影画面上の位置を検
出した。この赤いキャップ１を指の代わりに長い棒の先
に装着しても同様の効果が得られる。
【００３８】２）本実施例では光学特徴としては、特定
の色を使用しているがその他、しきい値以上の輝度を有
する発光物体、たとえば、ライトペンを使用できる。
の色を使用しているがその他、しきい値以上の輝度を有
する発光物体、たとえば、ライトペンを使用できる。
【００３９】また、指の特定ジェスチャー例えば、ジャ
ンケンのちょきのジェスチャを光学特徴としてもよい。
この場合には撮影データに対して従来周知の形状認識を
施し、ちょきの形状部分の重心位置等の画像位置を検出
する。
ンケンのちょきのジェスチャを光学特徴としてもよい。
この場合には撮影データに対して従来周知の形状認識を
施し、ちょきの形状部分の重心位置等の画像位置を検出
する。
【００４０】３）音声により入力する制御命令を実行す
る際に、キャップ１による位置指定が直前に行われてい
ることをＣＰＵ１０が確認してから入力された制御命令
を実行するようにすると、単なる音声のみの制御命令と
区別でき、誤動作を防ぐことができる。
る際に、キャップ１による位置指定が直前に行われてい
ることをＣＰＵ１０が確認してから入力された制御命令
を実行するようにすると、単なる音声のみの制御命令と
区別でき、誤動作を防ぐことができる。
【００４１】４）キャップ１により指定したアイコンの
オブジェクトに対して一連の制御動作を指示することが
できる。たとえば、文書テキストを画面に表示させ、印
刷したい場合に、ユーザはキャップ１により文書テキス
トのアイコンを指定した後「これを開き印刷せよ」と音
声入力する。ＣＰＵ１０は入力された音声を認識し、制
御命令変換テーブルを使用して制御命令（音声の特徴パ
ラメータ）に該当する制御命令（命令コード）を取り出
す。取り出した複数の制御命令をシステムメモリ１１に
記憶しておき、順次にこの制御命令を実行する。
オブジェクトに対して一連の制御動作を指示することが
できる。たとえば、文書テキストを画面に表示させ、印
刷したい場合に、ユーザはキャップ１により文書テキス
トのアイコンを指定した後「これを開き印刷せよ」と音
声入力する。ＣＰＵ１０は入力された音声を認識し、制
御命令変換テーブルを使用して制御命令（音声の特徴パ
ラメータ）に該当する制御命令（命令コード）を取り出
す。取り出した複数の制御命令をシステムメモリ１１に
記憶しておき、順次にこの制御命令を実行する。
【００４２】５）本実施例ではマイクロフォン３をビデ
オカメラ２上に設置する例を示したが無線で音声信号を
転送するマイクロフォンを使用すればユーザがマイクロ
フォンを携帯してもよい。
オカメラ２上に設置する例を示したが無線で音声信号を
転送するマイクロフォンを使用すればユーザがマイクロ
フォンを携帯してもよい。
【００４３】６）本実施例ではビデオカメラ２の撮影画
面中の光学特徴を持つ物体の位置に対応してＣＲＴ１８
の画面のマウスカーソルを移動させたが、自動追尾装置
を使用して光学特徴を持つ物体の位置を検出し、検出し
た位置そのものをＣＲＴ１８の画面のマウスカーソルの
位置と関連づけてもよい。
面中の光学特徴を持つ物体の位置に対応してＣＲＴ１８
の画面のマウスカーソルを移動させたが、自動追尾装置
を使用して光学特徴を持つ物体の位置を検出し、検出し
た位置そのものをＣＲＴ１８の画面のマウスカーソルの
位置と関連づけてもよい。
【００４４】７）移動物体の位置を検出するための物体
としては光学的特徴を有する物体を使用する他、超音
波、電波を発声する発信器を使用してもよい。
としては光学的特徴を有する物体を使用する他、超音
波、電波を発声する発信器を使用してもよい。
【００４５】８）本実施例で述べた制御命令の他、従
来、マウスのクリックボタンの操作で実行していた制御
命令、たとえば、アイコンの表示画面上の移動等、周知
の制御命令を音声で入力できることは言うまでもない。
来、マウスのクリックボタンの操作で実行していた制御
命令、たとえば、アイコンの表示画面上の移動等、周知
の制御命令を音声で入力できることは言うまでもない。
【００４６】
【発明の効果】以上、説明したように、請求項１の発明
によれば、３次元空間上を物体を移動するだけで、表示
画面上の第２の表記（マウスカーソル）を移動できるの
で、従来のマウスのように操作スペースの制限を受けな
い。また、従来法のように３次元空間の指の位置，指の
指し示す方向の同定などの困難な技術課題を回避でき
る。
によれば、３次元空間上を物体を移動するだけで、表示
画面上の第２の表記（マウスカーソル）を移動できるの
で、従来のマウスのように操作スペースの制限を受けな
い。また、従来法のように３次元空間の指の位置，指の
指し示す方向の同定などの困難な技術課題を回避でき
る。
【００４７】請求項２、３、４の発明によれば、従来、
マウスのクリックボタンにより行っていた制御命令の入
力を音声で行うことによりマウスより多数の制御命令を
入力することができる。また、マウスではクリックボタ
ンの１回操作、２回操作、クリックボタンを操作しなが
らマウスを移動させるなどの複雑な操作を学習しなけれ
ばならないが、請求項２の発明ではこのような操作を必
要としない。
マウスのクリックボタンにより行っていた制御命令の入
力を音声で行うことによりマウスより多数の制御命令を
入力することができる。また、マウスではクリックボタ
ンの１回操作、２回操作、クリックボタンを操作しなが
らマウスを移動させるなどの複雑な操作を学習しなけれ
ばならないが、請求項２の発明ではこのような操作を必
要としない。
【００４８】請求項５、６の発明では、物体の移動と、
音声により所望のプログラムを起動できる。
音声により所望のプログラムを起動できる。
【００４９】請求項７、８の発明では、プログラムによ
り作成した文字やイメージの各種データを表示させるこ
とができる。
り作成した文字やイメージの各種データを表示させるこ
とができる。
【図１】本発明実施例の外観を示す斜視図である。
【図２】本発明実施例のシステム構成を示すブロック図
である。
である。
【図３】本発明実施例の処理内容を示すフローチャート
である。
である。
【図４】制御命令変換テーブルの内容を示す説明図であ
る。
る。
１ キャップ ２ ビデオカメラ ３ マイクロフォン ４ 情報処理装置 １０ ＣＰＵ １１ システムメモリ １６ ＨＤ １８ ＣＲＴ
Claims (8)
- 【請求項１】 表示装置の表示画面にオブジェクトを第
１の表記で模式表示し、前記表示画面の位置の指定のた
めに第２の表記を表示し、該第２の表記の移動による位
置指定により指定した第１の表記のオブジェクトについ
ての指示を入力するグラフィカルユーザインタフェース
において、 移動する物体の位置を該物体とは無接触で検出する位置
検出手段と、 当該検出した位置及び移動方向に対応させて前記第２の
表記を移動表示する表示制御手段とを具えたことを特徴
とするグラフィカルユーザインタフェース。 - 【請求項２】 請求項１に記載のグラフィカルユーザイ
ンタフェースにおいて、前記第１の表記のオブジェクト
についての指示を音声で入力する入力手段と、当該入力
された音声から前記指示内容を認識する音声認識手段
と、当該認識された指示内容を実行する情報処理手段と
をさらに具えたことを特徴とするグラフィカルユーザイ
ンタフェース。 - 【請求項３】 請求項２に記載のグラフィカルユーザイ
ンタフェースにおいて、請求項１に記載の前記第２の表
記の位置と合致した前記第１の表記のオブジェクトを前
記情報処理手段の処理対象とすることを特徴とするグラ
フィカルユーザインタフェース。 - 【請求項４】 請求項３に記載のグラフィカルユーザイ
ンタフェースにおいて、請求項２に記載の前記オブジェ
クトについての指示として、前記第２の表記の位置によ
り前記情報処理手段の処理対象を指示する旨の音声およ
び処理の種類を音声で前記入力手段に入力したときに該
情報処理手段は、当該音声により指示された種類の処理
を実行することを特徴とするグラフィカルユーザインタ
フェース。 - 【請求項５】 請求項４に記載のグラフィカルユーザイ
ンタフェースにおいて、請求項１に記載の前記第１の表
記は図形であり、該図形で模式表示されるオブジェクト
はプログラムであることを特徴とするグラフィカルユー
ザインタフェース。 - 【請求項６】 請求項５に記載のグラフィカルユーザイ
ンタフェースにおいて、請求項４に記載の前記処理の種
類はプログラムの起動であることを特徴とするグラフィ
カルユーザインタフェース。 - 【請求項７】 請求項４に記載のグラフィカルユーザイ
ンタフェースにおいて、請求項１に記載の前記第１の表
記は図形であり、該図形で模式表示されるオブジェクト
は文字およびまたはイメージで構成されるデータである
ことを特徴とするグラフィカルユーザインタフェース。 - 【請求項８】 請求項７に記載のグラフィカルユーザイ
ンタフェースにおいて、請求項４に記載の前記処理の種
類は文字およびまたはイメージの表示であることを特徴
とするグラフィカルユーザインタフェース。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8045051A JPH09237151A (ja) | 1996-03-01 | 1996-03-01 | グラフィカルユーザインタフェース |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8045051A JPH09237151A (ja) | 1996-03-01 | 1996-03-01 | グラフィカルユーザインタフェース |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH09237151A true JPH09237151A (ja) | 1997-09-09 |
Family
ID=12708564
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8045051A Pending JPH09237151A (ja) | 1996-03-01 | 1996-03-01 | グラフィカルユーザインタフェース |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH09237151A (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100749481B1 (ko) * | 2006-04-28 | 2007-08-14 | 엠텍비젼 주식회사 | 무접점 기능을 수행하는 장치 및 방법 |
| WO2007126286A1 (en) * | 2006-04-28 | 2007-11-08 | Mtekvision Co., Ltd. | Non-contact selection device |
| KR100811460B1 (ko) * | 2007-02-01 | 2008-03-10 | 강원대학교산학협력단 | 진동촉각 마우스 및 진동촉각 마우스 시스템 |
| KR100878754B1 (ko) * | 2007-01-03 | 2009-01-14 | 한국과학기술원 | 손 지체 장애인을 위한 컴퓨터 인터페이스 장치 및 방법 |
| JP2009075685A (ja) * | 2007-09-19 | 2009-04-09 | Sony Corp | 画像処理装置および画像処理方法、並びにプログラム |
| JP2011145748A (ja) * | 2010-01-12 | 2011-07-28 | Denso Corp | 車載機 |
| US8872760B2 (en) | 2007-11-22 | 2014-10-28 | Sony Corporation | Recording and reproducing apparatus |
| JP2020170401A (ja) * | 2019-04-04 | 2020-10-15 | 京セラドキュメントソリューションズ株式会社 | 表示装置及び画像形成装置 |
-
1996
- 1996-03-01 JP JP8045051A patent/JPH09237151A/ja active Pending
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8525790B2 (en) | 2006-04-28 | 2013-09-03 | Mtekvision Co., Ltd. | Non-contact selection device |
| WO2007126286A1 (en) * | 2006-04-28 | 2007-11-08 | Mtekvision Co., Ltd. | Non-contact selection device |
| KR100749481B1 (ko) * | 2006-04-28 | 2007-08-14 | 엠텍비젼 주식회사 | 무접점 기능을 수행하는 장치 및 방법 |
| US8610667B2 (en) | 2006-04-28 | 2013-12-17 | Mtekvision Co., Ltd. | Non-contact selection device |
| US8587523B2 (en) | 2006-04-28 | 2013-11-19 | Mtekvision Co., Ltd. | Non-contact selection device |
| US8217895B2 (en) | 2006-04-28 | 2012-07-10 | Mtekvision Co., Ltd. | Non-contact selection device |
| KR100878754B1 (ko) * | 2007-01-03 | 2009-01-14 | 한국과학기술원 | 손 지체 장애인을 위한 컴퓨터 인터페이스 장치 및 방법 |
| KR100811460B1 (ko) * | 2007-02-01 | 2008-03-10 | 강원대학교산학협력단 | 진동촉각 마우스 및 진동촉각 마우스 시스템 |
| JP2009075685A (ja) * | 2007-09-19 | 2009-04-09 | Sony Corp | 画像処理装置および画像処理方法、並びにプログラム |
| JP4569613B2 (ja) * | 2007-09-19 | 2010-10-27 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
| US8643598B2 (en) | 2007-09-19 | 2014-02-04 | Sony Corporation | Image processing apparatus and method, and program therefor |
| US8896535B2 (en) | 2007-09-19 | 2014-11-25 | Sony Corporation | Image processing apparatus and method, and program therefor |
| US8872760B2 (en) | 2007-11-22 | 2014-10-28 | Sony Corporation | Recording and reproducing apparatus |
| US9529444B2 (en) | 2007-11-22 | 2016-12-27 | Sony Corporation | Recording and reproducing apparatus |
| US8538756B2 (en) | 2010-01-12 | 2013-09-17 | Denso Corporation | In-vehicle device and method for modifying display mode of icon indicated on the same |
| JP2011145748A (ja) * | 2010-01-12 | 2011-07-28 | Denso Corp | 車載機 |
| JP2020170401A (ja) * | 2019-04-04 | 2020-10-15 | 京セラドキュメントソリューションズ株式会社 | 表示装置及び画像形成装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220155873A1 (en) | Determining a primary control mode of controlling an electronic device using 3d gestures or using control manipulations from a user manipulable hand-held input device | |
| US9378573B2 (en) | Information processing apparatus and control method thereof | |
| EP0394614A2 (en) | Advanced user interface | |
| KR19990011180A (ko) | 화상인식을 이용한 메뉴 선택 방법 | |
| JP2004303207A (ja) | ジェスチャの動的フィードバック | |
| JPH09319556A (ja) | 情報処理装置 | |
| WO2002008881A2 (en) | Human-computer interface | |
| KR20080104099A (ko) | 입력 장치 및 그 입력 방법 | |
| CN103440033B (zh) | 一种基于徒手和单目摄像头实现人机交互的方法和装置 | |
| JPH0724007B2 (ja) | ジェスチャ認識を行うグラフィッカル・ユーザ・インターフェース及びその方法 | |
| JP2006244078A (ja) | 表示制御装置及びその制御方法 | |
| KR20150106823A (ko) | 제스처 인식 장치 및 제스처 인식 장치의 제어 방법 | |
| Geer | Will gesture recognition technology point the way? | |
| JP2019032719A (ja) | 情報処理システム、情報処理方法及びプログラム | |
| JPH09237151A (ja) | グラフィカルユーザインタフェース | |
| KR20200102413A (ko) | 유니버셜 하드웨어-소프트웨어 인터페이스의 구현을 위한 방법, 장치 및 컴퓨터-판독가능 매체 | |
| JP5342806B2 (ja) | 表示方法および表示装置 | |
| JPH06289984A (ja) | 文書作成編集装置 | |
| US11978252B2 (en) | Communication system, display apparatus, and display control method | |
| JP5790257B2 (ja) | 文字入力装置，文字入力プログラムおよび文字入力方法 | |
| CN101446859B (zh) | 一种基于机器视觉的输入方法及其*** | |
| JPH05108302A (ja) | 音声と指示動作を用いた情報入力方法 | |
| US20200073614A1 (en) | Controlling display of images | |
| Srinivas et al. | Virtual Mouse Control Using Hand Gesture Recognition | |
| JP2003140791A (ja) | 情報処理装置及び情報処理装置の制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050614 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060106 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060428 |