JPH07182101A

JPH07182101A - グラフィック入力装置および方法、グラフィックオブジェクト操作方法、グラフィック入力信号供給方法

Info

Publication number: JPH07182101A
Application number: JP26265994A
Authority: JP
Inventors: Yasutake Taizoo; ヤスタケタイゾー
Original assignee: I T U RES Inc; ITU Res Inc
Current assignee: I T U RES Inc; ITU Res Inc
Priority date: 1993-10-26
Filing date: 1994-10-26
Publication date: 1995-07-21

Abstract

(57)【要約】【目的】特殊なツールをユーザが装着したり、ツール
を保持したり、ユーザを拘束することなく、ユーザの動
作を検出する。【構成】 CCD カメラ１１０はパネル１０５に接触する
ユーザの指を複数の影として検出する。CCD カメラ１１
０は同時に複数の指の接触によって生じる複数の接触部
分を検出できるため、入力ジェスチャの検出に利用する
ことが可能である。パネル１０５自体とパネル１０５上
の接触部分の決定は、ビデオ画像上の影の位置により判
定する。CCD カメラ１１０の機能はパネル１０５上の影
の存在の検出のみで良く、２次元の画像処理のみが必要
である。CCD カメラ１１０は複数のパネル１０５上の画
像を同時に処理することができるので、多次元の入力信
号を発生させることが可能である。さらに、この画像は
大きなコントラストを持つため、明るい部分と暗い部分
の分離処理のみが必要である。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、対話型のコンピュータ
グラフィックス分野におけるグラフィック入力装置に関
するものである。本発明は、特に、対話型コンピュータ
グラフィックスを制御するのに用いられるグラフィック
入力装置のスクリーン上の複数のオブジェクト、例え
ば、ユーザの複数の指を光学的に検出する手法に関する
ものである。

【０００２】なお、本明細書の記述は本件出願の優先権
の基礎たる米国特許出願第08/141,045号（１９９３年１
０月２６日出願）の明細書の記載に基づくものであっ
て、当該米国特許出願の番号を参照することによって当
該米国特許出願の明細書の記載内容が本明細書の一部分
を構成するものとする。

【０００３】主たる特許申請の参照この特許出願は、19
92年２月14日に出願した特許出願番号07/837,372の一部
継続出願 (Continuation-in-part) である。

【０００４】

【従来の技術】対話型のコンピュータグラフィックス用
入力装置とは、広義には、ユーザの動作を検出し入力す
るものである。このようなグラフィックス用入力装置は
ユーザにより操作される。この範疇の入力装置は、パー
ソナルコンピュータに関連したものとしては、ライトペ
ンと、マウスと、ジョインスティックと、トラックボー
ルと、キーボードと、等々がある。しかし、ユーザの動
作を直接検出する入力装置もあり、コンピュータ画面上
のタッチスクリーン等はその例である。Myron W.Kruege
r による"Artificial Reality II" （1991年発行）に
は、ビデオカメラを用いてユーザの手や体の動きを検出
するグラフィックス用入力装置の記載がある。このKrue
ger による著書に記述されているVIDEO DESKの概念は、
米国特許第4,843,568 号（発明の名称：Real Time Perc
eption of and Response to the Actions of an Unencu
mbered Paticipant/User,1989 年６月27日付与）に記述
されている。しかし、この入力装置は光を放つ机の表面
のスクリーン上にユーザの手を置き、そのスクリーンと
手の映像を机上部にあるビデオカメラで検出する仕組み
となっている。さらに、この入力装置を用いる際は手の
動きを検出するビデオカメラの視界を妨げないように使
用しなければならないため、不便であり、また、入力装
置自体が簡単なものではない。

【０００５】1985年米国サンフランシスコにおいて開催
されたSIGGRAPH学会でRichard Greeneにより発表された
Drawing Prism と呼ばれる入力装置は、その入力装置表
面に大きな透明プリズムを用いたものである。この入力
装置はACM Vol.19, No.3, 1985 pp.103-110 と、米国特
許第4,561,017 号（発明の名称：Graphic Input Appara
tus,1985年12月24日付与）に示されるように、ビデオカ
メラが入力装置表面と入力の道具の接触点の画像を指定
された角度から検出する仕組みとなっている。しかし、
この入力装置は絶縁体表面における光の反射と屈折を利
用したものであり、きわめて精密でコストの高い光学部
品を使用する必要があり、その部品の配列も高い精度を
要求される。

【０００６】Sensor Frame社のSensor Frameは、フレー
ム上に対角に配置された複数のカメラの視界を遮る複数
のオブジェクトを検出することができる入力装置であ
る。この入力装置は米国特許出願第4,746,770 号（発明
の名称：Method and Apparatusfor Isolating and Mani
pulating Graphics Objects on Computer Video Monito
r、1988年５月24日付与）に記述されている。この入力
装置はフレーム内の複数の指の位置を同時に検出するこ
とができるが、複数のカメラを用いなければならない。
さらに、この入力装置は複数のオブジェクトの検出の際
に発生する“ゴーストイメージ”の問題も含んでいる。

【０００７】ユーザにとって望ましいグラフィックス用
入力装置とは、通常、ジェスチャと呼ばれるような自由
な入力方法を可能とし、特殊な道具をユーザに装着する
か、あるいはその道具の保持あるいは他の拘束をユーザ
に与えることなく、ユーザの動作を検出し、さらに複数
の入力動作を同時に受け入れる性能を持ったものであ
る。さらに、上記の入力性能を可能にする上で画像処理
に関する負担を低減するような新しい手法を用いること
により、通常のコンピュータシステムにおいて、実時間
処理できる入力装置が望ましいと考える。最後に３次元
コンピュータグラフィックス応用に利用可能な３次元操
作用制御入力装置が望ましい。

【０００８】

【課題を解決するための手段】本発明の好ましい実施例
に係るグラフィックス用入力装置は、単一あるいは複数
の半透明なスクリーンと、その後部にビデオカメラを配
置したものである。このカメラはスクリーンに接触する
指等のオブジェクトの複数の影を検出するように設定さ
れている。これらの影は“接触点”と呼ばれる。この手
法は画像処理を極めて簡単にすると同時に、ユーザは少
しも拘束されることなく、自由な入力動作環境が提供さ
れる。カメラはスクリーン上の影を検出するのみで良い
ため、その画像処理は２次元でよい。さらに、その画像
はコントラストが極めて大きいため、その画像処理は暗
い部分と明るい部分を分離するのみであり、本発明によ
るグラフィックス入力環境はユーザにとって極めて自然
で拘束性を持たないものとなっている。スクリーン表面
でユーザが複数の指を接触させた箇所を検出するために
カメラが用いられる。この方法は複数のジェスチャによ
る入力コマンドの発生を可能とする。この特質を生かし
て、ユーザを拘束せずに、ユーザの複数の指の位置やジ
ェスチャを利用して、便利で、実用的で、しかも直感的
な入力装置を実現することができる。最後に、装置本体
とスクリーンの間に力を感知するセンサを装着させ、ス
クリーンに加えられる力を感知することにより、グラフ
ィックス表示オブジェクトの操作において"Z" 方向の入
力コマンドの発生を選択的に付加することも可能であ
る。

【０００９】上記の内容および他の技術的特徴は以下の
詳細な発明の記述と添付した図面によって示される。

【００１０】

【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。

【００１１】図１は本発明の好ましい実施例を示す。図
１に示すように、制御装置１００は、その形状が、通
常、立方体である。当然、この形状はユーザの応用要求
に応じて自由に決定できるが、デカルト座標上で用いる
場合は、その形状は立方体が好ましい。

【００１２】制御装置１００はパネル１０５のみが半透
明であり、他の面は不透明である。半透明のパネルは平
坦であるが、その応用要求に応じて、他の形状を採用す
ることもできる。制御装置１００内には、小型のCCD カ
メラ１１０が取り付けてあり、パネル１０５の表面に
て、オブジェクト、例えば、ユーザの指の影を検出する
ことができるように、カメラの向きと焦点が調整してあ
る。

【００１３】半透明のパネル１０５は光を多少通すが、
パネルの裏にあるオブジェクトやその背景が見える程に
は透明ではない。従って、パネル１０５は光を拡散し、
CCDカメラ１１０により得られたパネルの画像は、一様
に灰色の画像である。しかし、ユーザがパネル１０５の
表面に指を接触した場合は、CCD カメラ１１０より得ら
れるパネル画像は、ユーザの指が接触した部分が黒くな
り、指の接触部分と、周囲の光によって照らされている
パネルの他の部分とは容易に区別できる。従って、ユー
ザが接触した部分は制御オブジェクト１１５として識別
される。

【００１４】さらに、パネル１０５の照明を増強するこ
とも可能である。図１に示すように、光源１２０を制御
装置１００の外側に取り付けることができる。制御装置
１００に取り付けた鏡１２５は、パネル１０５上に光を
向けるのに用いられる。

【００１５】CCD カメラ１１０は、制御装置内の暗い環
境で、パネル１０５の裏面の画像を認識するため、パネ
ル１０５にはその外面に一様に光を当てるのが望まし
い。すなわち、鏡１２５は拡散光をパネル１０５外面に
一様に当てるように取り付けられる。

【００１６】CCD カメラ１１０は画像処理用コンピュー
タ１３０に接続してある。このコンピュータ１３０はCC
D カメラにより得られた画像データを利用して対話型コ
ンピュータシステムのグラフィックス入力信号を発生す
る。これらの入力信号は複数の制御オブジェクト１１５
（指の接触箇所）の位置を同時に供給するものであり、
グラフィクスディスプレイ１３５上に映出されたオブジ
ェクトの操作用信号として利用される。ディスプレイ１
３５は、例えば、パネル１０５面の制御オブジェクト１
１５の位置に対応するオブジェクト、例えば、表示オブ
ジェクト１４０を表示することができる。さらに、ディ
スプレイ１３５上のオブジェクト１４０はパネル１０５
上の制御オブジェクト１１５の動きに応じて動く。ユー
ザの指がパネル１０５面上で上方に移動した場合は、デ
ィスプレイ１３５上の表示オブジェクト１４０も上方に
動く。ユーザの指がパネル１０５面上で回転した場合
は、ディスプレイ１３５上の表示オブジェクト１４０も
同様に回転する。

【００１７】さらに、ディスプレイ上のオブジェクト１
４０を用いて、他のグラフィックス表示オブジェクトを
操作することも可能である。例えば、図１に示す表示オ
ブジェクト１４０は、他のグラフィックス表示オブジェ
クト１４５に接触している。コンピュータプログラミン
グ技術を用いると、表示オブジェクト１４０を回転させ
て、表示オブジェクト１４０に接触している表示オブジ
ェクト１４５を回転させることもできる。

【００１８】本発明の他の好ましい実施例としては、図
２に示すものがある。このグラフィックス入力用制御装
置２００は立方体をしており、複数の制御用面によって
構成されている。この装置の形状はその応用目的により
自由に変更可能である。

【００１９】制御装置２００はパネル２０２，２０４お
よび２０６が半透明であり、他のパネルは不透明な材質
のパネルで構成されている。半透明パネル２０２，２０
４，２０６は平坦であるのが好ましいが、工学的応用に
応じて他の幾何学形状でも良い。広角レンズを持つ小型
CCD カメラ２１０は制御装置２００の内側の隅部２１２
に位置させてあり、パネル２０２，２０４および２０６
の外面にオブジェクト、例えば、ユーザの指が接触した
時に生じる影の画像を検出するために用いられる。CCD
カメラの位置はパネル２０２，２０４，２０６のカメラ
画像を均等に検出するために装置内側頂点２１４に配置
するのが好ましく、制御装置が立体形状である場合、そ
のカメラの広角レンズは少なくとも９０°以上の視野角
度を必要とする。

【００２０】図２に示す好ましい実施例の操作は図１に
示す制御装置と同様である。すなわち、パネル２０２，
２０４，２０６の材料はパネル１０５と同様の光学的性
質を有し、光が多少通過するが、背景のオブジェクトが
判明するほど光を通さない半透明物質である。従って、
パネルは光を拡散し、CCD カメラ２１０によって得られ
る一般的画像は一様に灰色である。しかし、ユーザがパ
ネル２０２の外面を指で触れると、その部分は明らかに
黒色としてCCD カメラ２１０に検出され、周囲の光によ
って照射されているパネル２０２面、すなわち、指が接
触していない部分とは異なる部分として認識される。こ
の画像はパネル２０４，２０６でも同様に得られるの
で、これらのパネルにユーザが接触した部分はCCD カメ
ラにより制御オブジェクト２１５として認識される。パ
ネル２０２，２０４，２０６用に照射光を補充すること
も可能である。制御装置２００の外側に光源２２２，２
２４，２２６を装着した例を図２に示す。制御装置２０
０に装着した鏡２３２，２３４，２３６は、光が半透明
パネルに向くようにしてある。CCD カメラ２１０はパネ
ルの内側の暗い環境でパネルの黒い部分を検出するため
に用いられるので、光がパネル前面から一様に照射され
ることが望ましい。すなわち、鏡２３２，２３４，２３
６はこれらのパネルの外側表面に拡散光を照射するため
に使用される。

【００２１】CCD カメラ２１０は画像処理用コンピュー
タ２５０に結合させてあり、CCD カメラ２１０からの画
像はこのコンピュータで処理され、対話型コンピュータ
システムにおけるグラフィック入力として用いられる。
これら複数の制御オブジェクト２１５を含む入力群は、
グラフィックディスプレイ２６０上の表示オブジェクト
を操作するために使用される。例えば、グラフィックデ
ィスプレイ２６０はパネル２０２上の制御オブジェクト
２１５に対応したグラフィックオブジェクトを表示する
ことができる。表示オブジェクト２７０はパネル２０２
上の制御オブジェクト２１５の動きに応じて動く。ユー
ザの指がパネル２０２表面の上方に移動する場合は、こ
の動きに応じて、表示オブジェクト２７０も上方に移動
する。ユーザの指がパネル２０２表面上で回転した場合
は、表示オブジェクト２７０もディスプレイ２６０上で
回転する。さらに、表示オブジェクト２７０は他の表示
オブジェクトを操作するために利用することも可能であ
る。例えば、図２に示す表示オブジェクト２７０を回転
させて、表示オブジェクト２７０に接触させてある四角
形のグラフィクオブジェクト２８０を回転させる操作
も、ソフトウェアによって実現することができる。この
操作と同様の操作を操作パネル２０４，２０６上でも実
現することができる。

【００２２】図２に示すように、CCD カメラ２１０はパ
ネル２０２，２０４，２０６の内面の画像を検出するよ
うに配置されている（パネル２０６は立方体の背面にあ
り、パネル２０６の端部がパネル２０２，２０４と共有
する）。CCD カメラによってキャプチャされた一般的な
画像の例を図３に示す。図３に示すように、パネル２０
２，２０４，２０６の画像は四角形ではなく、CCD カメ
ラによりキャプチャされたパネル形状は、そのパネル自
体の形状と、カメラの配置位置と、その角度あるいはカ
メラレンズの特性とに依存する。しかし、図３に示す好
ましい実施例で得られるパネル２０４の画像形状は三角
形であり、パネル２０２，２０６の画像形状は台形であ
る。そして、ユーザの指が接触したパネル面の部分は、
画像の中で、制御オブジェクト３０５，３１０，３１５
および３２０として同時に検出される。

【００２３】図２に示す制御入力システムはきわめて精
巧かつ直感的な入力方法であるジェスチャをコマンドと
して生成する機能を有する。図４(a)-(c) はそのジェス
チャ入力機能を示す。図４(a) では、ユーザは２本の指
をパネル２０２上で水平方向に引きずっており、この２
本の指に対応する制御オブジェクト４１０および４１５
は、CCD カメラ２１０により画像検出され、その位置と
動きがコンピュータ２５０により認識される。コンピュ
ータ２５０はグラフィックディスプレイ２６０上にユー
ザの手および指４２０，４２５をグラフィックオブジェ
クトとして表示する。水平方向に動く指が表示されるこ
とになる。このディスプレイ上の指４２０，４２５の動
きは、パネル上のユーザの指の動きに対応している。こ
のグラフィック表示の指４２０，４２５を用いて、表示
オブジェクトのスライドスイッチを操作し、きわめて直
感的で理解しやすい対話型のユーザインタフェースを提
供する。

【００２４】３次元の回転コマンド、すなわち、「ジェ
スチャ」を図４(b) に示す。ユーザはパネル２０６面上
に２本の指を接触させており、CCD カメラ２１０により
検出される制御オブジェクト４５０，４６０は、コンピ
ュータ２５０によりその位置と動きが認識される。コン
ピュータ２５０はグラフィック表示の回転ツール（ユー
ザの指）をグラフィックスディスプレイ２６０上に映し
出しており、グラフィックス回転ツールの指４６５，４
７０がy-z 軸平面上で回転する。ここで、ｘ軸は水平方
向、ｙ軸は垂直方向、ｚ軸はグラフィックディスプレイ
面に垂直な方向と定義する。グラフィック回転ツールの
指４６５，４７０は、ユーザの指の動きに対応してい
る。この動きはグラフィックディスプレイ上の取っ手４
７５を回転ツールで操作しているものであり、きわめて
直感的で理解しやすい対話型のユーザインタフェースの
他の例である。

【００２５】３次元のつかむ動作、すなわち、ジェスチ
ャのコマンドを図４(c) に示す。ユーザはパネル２０４
に２本の指を接触させており、CCD カメラ２１０により
検出される制御オブジェクト４８０，４８２は、コンピ
ュータ２５０によりその位置と動きが認識される。２５
０はユーザの指に対応したグラフィック表示のオブジェ
クトをつかむツールをグラフィックスディスプレイ２６
０に映し出しており、グラフィックスツールの指４８
４，４８６がx-z 軸平面上でオブジェクトをつかもうと
している。グラフィックツールの指４８４，４８６はユ
ーザの指の動きに対応している。この動きはグラフィッ
クディスプレイ上のオブジェクト４８８を仮想ツールで
操作しているものであり、きわめて直感的で理解しやす
い対話型のユーザインタフェースの異なる実例である。

【００２６】CCD カメラ２１０により得られる画像処理
方法を図５にフローチャートで示す。まず、ステップ５
０５にて、CCD カメラ２１０は３つのパネルの２次元画
像（グレースケールの画質）、例えば、図３に示す画像
を獲得する。好ましい実施例では、このステップは、通
常、制御装置を用いる初期状態で実行され、このステッ
プにてユーザの指はパネルに接触していないものとす
る。しかし、この処理は適正な方法により制御装置を使
用中に取得し、データを更新することも可能である。こ
のステップによって得られた画像は、コンピュータ２５
０にてグレイスケール輝度Ｂ_o(i,j)で表わされ、２次元
マトリックスデータとして保存される。

【００２７】次に、ステップ５１０にて、コンピュータ
２５０はCCD カメラ２１０からの入力操作用画像データ
の取り込みを開始する。この画像はユーザの指の接触に
よる各パネルの制御オブジェクトの位置情報を含んでお
り、グレイスケール輝度Ｘ_k(i,j)で表わされる２次元マ
トリックスデータとして認識される。

【００２８】ステップ５１５にて、対応する画素ごと
に、入力操作用画像輝度データからバックグランド画像
輝度データを差し引き、入力操作用画像データを規格化
する。この処理によって得られた規格化画像データＺ
_k(i,j)は、パネル上の接触点を識別するために用いられ
る。

【００２９】この規格化処理は次のように数学的に表わ
される。

【００３０】

【数１】Ｚ_k(i,j)＝Ｂ_o(i,j)−Ｘ_k(i,j) ここで、ｉ＝２次元画像の行インデックスｊ＝２次元画像の列インデックスＸ_k(i,j)＝時系列ｋにおける入力操作用画像データのｉ
行ｊ列における画素の輝度Ｚ_k(i,j)＝時系列ｋにおける規格化された画像のｉ行ｊ
列における画素の輝度ステップ５２０にて、規格化された画像データは閾値を
利用して２値画像（白黒画像）に変換される。ここで、
ユーザの指の接触点に対応する画像データのグレイスケ
ール輝度は、非接触点に対応する輝度データよりも常に
大きな輝度値を含む。そして、閾値を超える輝度を持つ
画素は“１”とし、閾値より低い輝度を持つ画素は
“０”とする。閾値としては、指の接触点に対応する画
素のうち、最も輝度の低い値を採用するのが好ましく、
接触点に対応する画素を全て“１”として処理し、パネ
ルの他の部分は全て“０”とすることにより明確に分離
できる。ステップ５３０にて、接触点を同定して得られ
たデータを用いて、その部分の中心およびパネル上の位
置の同定を実行し、得られたデータをコンピュータに格
納する。

【００３１】ステップ５４０にて、制御オブジェクトの
位置は画像獲得時系列における１ステップ前の制御オブ
ジェクトの位置と比較し、制御オブジェクトが移動した
か、あるいは新しい制御オブジェクトが現れたかを判定
する。既知の制御オブジェクトの位置および新しい制御
オブジェクトの距離を計算し、適正な距離範囲にあるか
どうかを判定し、データを更新する。新しい制御オブジ
ェクトが許容範囲に存在しない場合は、旧制御オブジェ
クトを消去し、新制御オブジェクトをエンタする。ステ
ップ５５０にて、移動した制御オブジェクトの位置デー
タの更新と、新規制御オブジェクトの出現の認識と、既
知制御オブジェクトの消減の確定とを実行する。このプ
ログラムをコンピュータに格納する。

【００３２】ステップ５４０にて、制御オブジェクトの
位置は画像獲得時系列における１ステップ前の制御オブ
ジェクトの位置と比較して制御オブジェクトが移動した
か、あるは新しい制御オブジェクトが現れたかを判定す
る。既知の制御オブジェクトの位置および新しい制御オ
ブジェクトの距離を計算し、適正な距離範囲にあるかど
うかを判定し、データの更新を実行する。新制御オブジ
ェクトが許容範囲に存在しない場合は、旧制御オブジェ
クトを消去し、新制御オブジェクトをエンタする。ステ
ップ５５０にて、移動した制御オブジェクトの位置デー
タの更新と、新制御オブジェクトの出現の認識と、既知
の制御オブジェクトの消滅の確定を実行する。このプロ
グラムは、その後、ステップ５１０に戻り、ループとし
て継続して実行される。好ましい実施例では、新旧制御
オブジェクトデータの更新を高速処理することが好まし
く、ユーザの指の位置の速い変化に対応し、かつ、その
データに連続的にコンピュータにより表示することを可
能にするには、1/10 - 1/30 程度の更新速度が適正な条
件である。

【００３３】ステップ５０５，５１０，５１５および５
２０を、図２０および図２１によりさらに詳細に記述す
ることができる。図２０(a) はCCD カメラ２１０によっ
て得られる画像を示し、ステップ５０５に対応する。図
２０(b) は輝度ヒストグラムを示し、ｙ軸は各グレイス
ケール輝度幅にあたる画素数であり、ｘ軸は画素のグレ
イスケール輝度レベル（０〜255 ）である。

【００３４】図２０(c) はステップ５１０に対応する画
像でユーザの３つの接触点を示す。図２０(d) は図２０
(c) に対応する輝度ヒストグラムである。図２０(e) は
画像１９ｃを画像１９ａより差し引いた画像であり、ス
テップ５１５に対応する。図２０(f) は図２０(e) に対
応する輝度ヒストグラムである。図に示すようにバック
グランドデータの輝度と、ユーザの接触点に対応する画
素の輝度値とに大差がない場合もある。このような場
合、好ましい実施例では、追加画像処理ステップとし
て、自動スケーリングの処理を実行する。この処理は画
素に適正な数値を乗算してバックグランド画素および接
触点の画素のグレイスケール輝度ヒストグラムを人為的
に最大スケール域（０〜255 域）に拡張する。例えば、
接触点に対応する画素の最高輝度値が12である場合は、
この値に20を乗算すると、得られる値は240 となる。こ
の自動スケーリング法はユーザの指による接触点と、バ
ックグランドデータとの分離をより明確にするために有
効な手段であり、ステップ５２０における閾値設定によ
る分離を容易にする。図２１(g) および(h) は自動スケ
ーリング処理をした後の画像と輝度ヒストグラムをそれ
ぞれ示す。この処理はステップ５１５における規格化処
理のうちの選択的追補処理である。図２１(i) および
(j) はステップ５２０の処理が終了した後の画像とヒス
トグラムに対応しており、バックグランド輝度と指によ
る接触点部分の輝度が離散値“０”または“１”として
明確に分離できるように閾値を設定してある。

【００３５】図６は図２におけるシステムの機能ブロッ
クダイヤグラムを示す。図６において、CCD カメラ２１
０はグレイスケール輝度による画像データをコンピュー
タ２５０に転送する。コンピュータ２５０はCCD カメラ
からのアナログ信号を８ビットのデジタル信号に変換す
るアナログ−デジタル変換器を装備している。コンピュ
ータ２５０は画像処理用ソフトウェアも含んでいる。こ
の画像処理用ソフトウェアにより、バックグランド入力
操作用画像を獲得し、画像を規格化し、閾値を用いて規
格化画像の２値化（白・黒画像）処理を実行する。この
処理は図５のステップ５０５，５１０，５１５，５２０
に対応する（閾値は事前設定も、適正な設定変更も可能
である）。また、画像処理ソフトウェアにより、制御オ
ブジェクトの中心位置およびオブジェクトの位置追跡計
算も実行される。。この処理は図５のステップ５３０，
５４０，５５０に対応する。全ての制御オブジェクトの
位置データはコンピュータグラフィック応用ソフトウェ
ア６３０に転送され、そのソフトウェア６３０はグラフ
ィックディスプレイ２７０上にグラフィックオブジェク
トを描く。

【００３６】このグラフィック応用ソフトウェアはCCD
カメラの画像空間にある制御オブジェクトの位置座標を
グラフィックディスプレイ２７０上のグラフィック画面
空間の位置座標に移す座標変換処理を実行する。この時
用いられる数学的な座標変換公式は、グラフィックス応
用ソフトウェアで想定する応用条件に依存する。座標変
換の一例としては図３に示す画像空間から制御用空間へ
の変換を実現する数値テーブルを利用する方法がある。
この方法では、テーブルで定義される位置データはCCD
カメラで得られる画像空間の位置によりインデックス化
されており、通常、３つの値を含む。第１の値はこの位
置データがパネル２０２，２０４、または２０６からの
データであるかどうかを指定する。例えば、画像点３０
５の第１の値はパネル２０６からの信号であり、画像点
３１０の第１の値はパネル２０４からの信号といった具
合である。第２，第３の値はパネル上におけるユーザの
接触点の位置座標データを含む。例えば、画像点３０５
の第２，第３の値はパネル２０６における接触点の
“Ｙ”および“Ｚ”座標を含む。また、画像点３１０の
第２，第３の値はパネル２０４の“Ｘ”および“Ｚ”座
標を含み、さらに、画像点３１５の第２，第３の値はパ
ネル２０２の“Ｘ”および“Ｙ”座標を含むといった具
合である。このようにして、変換された制御オブジェク
トの座標データは最終的にグラフィックディスプレイ２
７０上で利用可能な座標データとして用いられる。この
方法は画像処理用ソフトウェアのなかにＲＯＭテーブル
データとして有することも可能であり、このようなソフ
トウェアは図３に示す画像空間データが、プログラマに
とって理解し易いものになると言う利点を有する。すな
わち、この方法を用いると、グラフィック応用ソフトウ
ェア開発をするプログラマは制御装置の内部的構造を深
く検討することなく、得られた入力信号から接触点の存
在するパネルと、接触点のパネル上の位置座標を直接的
に把握できる。しかし、この方法以外にも、CCD 画像空
間からグラフィック表示空間への座標変換を可能にする
手法も存在し、この手法をいずれにするかは、グラフィ
ック応用ソフトウェア６３０自体の応用内容に依存す
る。

【００３７】さらに、グラフィック応用ソフトウェア６
３０は制御オブジェクトの動きをジェスチャによるコマ
ンドとして認識し処理する。この機能は図４(a)-(c) に
示した通りである。さらに、ユーザの指の接触点の数も
入力指令として利用することが可能である。例えば、指
の接触点が１つの場合は、コンピュータグラフィックス
上のカーソルの移動用入力信号として用い、接触点が２
つの場合は、指の動きに対応するグラフィックオブジェ
クトの移動や回転といったコマンドとして利用する。そ
して、指の接触点が３つの場合はコマンドの解除、すな
わち、UNDOとして利用される。接触点が４つの場合は、
グラフィック画面上のオブジェクトの消去コマンドとい
った具合である。

【００３８】ステップ５１０〜５５０は、図７(a)-(d)
に画像フォーマットとして示す。図７(a) はCCD カメラ
２１０により得られる画像を示し、この画像はカメラ画
像空間である。図７(a) はステップ５１５を実行した後
の画像である。接触点の位置データは不変であるが、輝
度は閾値を用いた処理によって２値画像になっている。
図７(b) に示す黒い点は制御オブジェクトの中心位置を
示す。図７(d) はステップ５４０，５５０に対応してお
り、現在の制御オブジェクトの位置と時系列における１
ステップ前の位置を示しており、このデータを用いてど
の制御オブジェクトが新しい位置に移動したかを判定す
る。

【００３９】図８はグラフィック応用ソフトウェア６３
０においてカメラ画像空間からグラフィックディスプレ
イ２６０のグラフィック空間へ直接座標変換する方向を
示す。カメラ画像空間８１０はグラフィック空間上の点
８２０に適正な変換テーブルまたは数学公式を用いて変
換される。例えば、画像処理手法の１つである歪み変形
法（warping 法）により点８１０を点８２０に変換す
る。歪み変形法は次に示す多項式によって表現される。

【００４０】

【数２】X′＝a₁＋a₂＊X ＋a₃＊Y ＋a₄＊X ＊Y ＋a₅＊X
²＋a₆＊Y²＋… Y′＝b₁＋b₂＊X ＋b₃＊Y ＋b₄＊X ＊Y ＋b₅＊X²＋b₆＊Y
²＋… ここで、Ｘ，Ｙは旧座標であり、Ｘ′，Ｙ′は変換後の
新座標を示し、係数ａ₁ ，ａ₂ …，ｂ₁ ，ｂ₂ …は２つ
の画像間の希望するデータマッピングの仕様によって適
正に決定される。

【００４１】従って、パネル２０２上の制御オブジェク
トは、直接、グラフィックスディスプレイ２６０のＸＹ
平面上の点として解釈され、しかも、パネル上の指定さ
れた点と、座標変換後に描かれるグラフィック表示上の
点は、全て、１対１で対応している。さらに、パネル２
０４，２０６上におけるユーザの指の接触点は、グラフ
ィックディスプレイ２６０の３次元グラフィック空間の
Ｚ軸位置データとしても利用できる。

【００４２】グラフィック応用ソフトウェア６３０にお
ける画像処理内容は、さらに、図９に示す。ステップ９
１０にて、CCD カメラ画像空間からグラフィック表示空
間への座標交換公式が設定される。ステップ９２０に
て、制御オブジェクトの座標変換が実行され、ステップ
９３０にて、制御オブジェクトの数と、その位置データ
がユーザの応用に対応したコマンドとして解釈される。

【００４３】図１０は他の好ましい実施例であり、半透
明パネルへの接触で加えられる力を検出し、そのデータ
を利用する制御装置を示す。制御装置１１００は制御装
置２００と同様の操作機能を持っているが、力検出セン
サを装備している点が異なる。力検出センサ１１０２，
１１０４，１１０６、および１１０８は、パネル２０６
に加えられる力を検出する。同様に、力センサ１１１
０，１１１２，１１１４、および１１１６は、パネル２
０４に加えられる力を検出する。この目的に適用できる
力センサとしては、Interlink Electronics (Carpinter
ia, CA) 社製の力検出センタか、あるいはIntelligent
Computer Music Systems (Albany, New York) 社の力セ
ンサがある。

【００４４】力センサで検出された信号は３次元制御実
現のために有効に利用することが可能であり、図１１に
その例を示す。図１１において、ユーザが指でパネル２
０２に加えた圧力は、グラフィックディスプレイのツー
ル１２１０のＺ軸方向の位置移動のための信号として利
用できる。すなわち、ユーザは指でオブジェクトを回転
させるようなジェスチャによってグラフィックオブジェ
クトを回転させ、しかも、指でパネル２０２に圧力を加
えることによって得られる力センサ１１１８，１１２
０，１１２２，１１２４からの信号を利用して、同時
に、グラフィックオブジェクトをＺ軸方向に動かすこと
ができる。

【００４５】図１２は図１に示す制御装置における新し
い入力制御技術を示す。工学的分野において既に知られ
た対話型のコンピュータグラフィックス用入力機器の性
能特性評価項目の１つに、制御量対表示量比(control-t
o-display ：C/D 比）がある。このC/D 比はユーザの手
または指の移動量（制御量）と、グラフィックスディス
プレイ上のカーソルの移動量（表示量）の比として定義
される。大きなC/D 比は精密なカーソルの動きをユーザ
に提供するが、大きな範囲あるいは高速のカーソルの動
きを実現させることは困難である。逆に、小さなC/D 比
は大きくかつ高速のカーソルの動きを提供するが、精密
なカーソル操作には不適当である。このような相反する
利点と欠点を補うために、相対座標入力機器には可変式
C/D 比を採用し、入力機器の移動速度が速い場合には小
さなC/D 比を設定し、入力機器の移動速度が遅い場合に
は大きなC/D 比を設定するようにしたものがある。この
可変C/D 比はマウス等の入力機器に採用されており、こ
の技術を適正に採用することにより、ユーザはマウスを
操作する手の位置を置き換えることなく、コンピュータ
CRT スクリーン上のカーソルの位置を望ましい精度の範
囲で操作することが可能である。

【００４６】しかし、この可変式C/D 比を用いた操作に
は欠点がある。すなわち、この技術による操作では、ユ
ーザの手の位置を置き換えることなく、緩やかな速度で
カーソルを動かしながらＣＲＴスクリーン上の全ての部
分にカーソルを位置させることは不可能である。３次元
コンピュータグラフィック応用では、多くの場合、ユー
ザは極めて高い精度を保持しつつ、グラフィックオブジ
ェクトの操作を緩やかに実行し、その作業をコンピュー
タスクリーン全域において、手を再配置をすることなく
実行することを望む場合がある。すなわち、対話形式の
人間−コンピュータインタフェースでは、高精度操作と
高速広範囲操作の２つの要求仕様を満足する技術が最も
望ましいものと言える。

【００４７】図１２は図１に示す制御装置を示す。制御
装置１００は２次元のカーソル操作も含めて自由度６の
グラフィックオブジェクトの操作を可能とする入力機器
とする。従って、図１に関連して記述した通り制御装置
１００は同時に複数の制御オブジェクト（ユーザの指の
接触点）に応答する機器である。

【００４８】図１２に示すように、領域１２０５は制御
装置１００におけるパネル１０５上の部分領域である。
この領域１２０５は、以下、オブジェクト操作領域と呼
ぶ。オブジェクト操作領域１２０５はグラフィックディ
スプレイ１３５上の部分的表示領域１２１０に対応して
いる。ユーザはパネル上のオブジェクト操作領域１２０
５内の制御オブジェクト（指の接触点）を移動させ、グ
ラフィック表示領域１２１０上のあらゆるグラフィック
オブジェクト（カーソルも含む）を操作することができ
る。オブジェクト操作領域１２０５とグラフィック表示
領域１２１０は、その位置における完全な１対１の対応
が設定されている。この対応はオブジェクト操作領域１
２０５の中心はグラフィック表示領域１２１０の中心に
対応し、オブジェクト操作領域１２０５の左上隅の点は
グラフィック表示領域１２１０の左上隅の点に対応する
といった対応関係を意味する。従って、領域１２１０の
サイズが極めて小さい場合は、この制御装置のC/D 比は
極めて大きなものとなる。この特質は領域１２１０内に
存在するグラフィックオブジェクトを、極めて高い精度
で操作できる入力機能の実現が可能であることを意味す
る。

【００４９】さらなる機能としては、グラフィック表示
領域１２１０は、この領域自体か、あるいはこの領域お
よびこの領域内に描かれているグラフィックオブジェク
トとともに、その位置を高速度に移動することが可能で
ある。この機能は制御入力機器パネルにおけるオブジェ
クト操作領域の外側領域１２２０を利用することによ
り、グラフィック表示１３５上の表示領域１２１０を移
動させるものである。ユーザの指が外側領域１２２０に
触れると、グラフィックディスプレイ１３５上の表示領
域１２１０は、オブジェクト操作領域中心から外側領域
のユーザ接触部分に向うベクトル方向に移動する。例え
ば、図１２に示すように、オブジェクト操作領域１２０
５の上に位置する外側領域１２２０に指で触れると、表
示領域１２１０はグラフィックディスプレイ１３５の上
方に移動する。このようにして表示領域を移動させるこ
とにより、移動前に含まれていなかったグラフィックオ
ブジェクトを表示領域の中に含ませることができ、この
グラフィックオブジェクトは制御装置のパネルを通じて
操作することができる。この機能は表示領域１２１０を
高速で移動させ、グラフィック表示１３５上のあらゆる
グラフィックオブジェクトを操作することができること
を意味する。複数の指を用いて表示領域１２１０を移動
させながら、グラフィックオブジェクトを同時に操作す
ることも可能である。例えば、グラフィックオブジェク
トをゆっくりと回転させながら、すばやく別の位置に移
動させるといった具合である。

【００５０】このようなカーソルとグラフィックオブジ
ェクトの操作技術は、図２に示すような制御装置２００
を用いることにより、x-z 軸平面やy-z 軸平面上の操作
にも応用できる。図１２に示すインタフェース技術は図
１３(a)-(e) にさらに示す。図１３(a) には、グラフィ
ックディスプレイ１３５上に、グラフィックオブジェク
ト１３０５，１３１０，１３１５，１３２０，１３２
５、および１３３０が描かれている。グラフィックオブ
ジェクト１３２０，１３２５および１３３０は表示領域
１２１０内に位置している。従って、グラフィックオブ
ジェクト１３２０，１３２５，１３３０は、制御装置１
００では、オブジェクト操作領域１２０５上において指
で接触することにより、これらのオブジェクトをグラフ
ィック画面上で操作できる。図１３(a) に示すように、
ユーザの指はオブジェクト操作領域１２０５の左方外側
領域に触れているので、表示領域１２１０は左方向へ移
動しつつある。図１３(b) では、ユーザはパネル１０５
上のオブジェクト操作領域１２０５内において、オブジ
ェクトを回転させるジェスチャを行っており、このコマ
ンドに対応してグラフィックオブジェクト１３２０が回
転する。図１３(c) では、ユーザの指がパネル１０５上
のオブジェクト操作領域１２０５の上方外側領域に触れ
ており、これに対応して表示領域１２１０は上方へ移動
している。図１３(d) では、グラフィックオブジェクト
１３０５は表示領域１２１０内に位置しており、パネル
１０５上のオブジェクト操作領域１２０５における回転
ジェスチャコマンドに対応して回転している。図１３
(e) では、２つの操作を同時に実行しているインタフェ
ース機能を示す。図１３(e) では、ユーザはグラフィッ
クオブジェクト１３０５を掴むジェスチャと同時に、パ
ネル１０５上のオブジェクト操作領域１２０５の右下外
側領域に触れている。このコマンドに対応してグラフィ
ックオブジェクト１３０５は表示領域１２１０とともに
グラフィックディスプレイ１３５の右下方向へ移動して
いる。

【００５１】図１４(a)-(c) は円筒状の制御装置を示
す。図に示すように、制御装置１５００は不透明な土台
１５０５と、不透明な円筒状の外枠１５１０と、半透明
の円筒１５１５を含む。円筒１５１５は半透明の円板１
５１６を含んでおり、円筒上端に位置している。従っ
て、制御装置１５００は半透明の円筒を除けば不透明な
材質である。

【００５２】半透明円筒は、断面図１４(b) に示すよう
に、外枠に収まるように設計されている。そして、広角
レンズを持つCCD カメラ１５２０が土台１５０５内に配
置されており、円筒１５１５にユーザが接触した時の円
筒内で画像を検出できるように、その装着角度が設定さ
れている。

【００５３】コマンド操作において、制御装置１５００
は図１に示す制御装置１００か、あるいは、図２に示す
入力装置２００と同様の操作性を有する。すなわち、半
透明の円筒にはいくらか光が通過するが、その外側に存
在するオブジェクト自体が判明する程の光は通さない。
従って、円筒内面は光が拡散しており、通常、CCD カメ
ラ１５２０で得られる画像は一様な輝度の灰色の画像で
ある。ユーザがこの円筒外面に指等で接触した場合は、
指等の接触部分はCCD カメラ１５２０で得られる画像の
中で黒く映し出され、円筒の非接触部分と差異は著し
い。さらに、接触によりラジアル方向および軸方向に加
えられる力は、力センサ１５２５および１５３０によっ
て検出され、ラジアル方向に力が加えられた位置は力セ
ンサ１５２５の位置より検出することができる。

【００５４】制御入力機器１５００は円筒１５１５に加
えられる力を検出する２つの力センサを装着している。
力センサ１５２５は円筒１５１５と外枠１５１０の間に
装着され半径方向に加わる力の大きさとその力の加わる
位置を検出するセンサである。一方、力センサ１５３０
は円筒１５１５のラジアル方向に加わる力の大きさを検
出するセンサである。図１５は図１４において示すCCD
カメラより得られる典型的な画像を示す。領域１６１０
は円筒の側面に対応している。領域１６２０は円筒の上
端部に対応し、黒い点Ａ，Ｂおよび点Ｅ，Ｆは図１６を
参照すると、その対応点が明確になる。すなわち、制御
装置の操作を示す図１６を参照することにより、黒い点
Ａ，Ｂはユーザの指の接触部分であり、円筒上端部にあ
る２点がＥおよびＦに対応する。入力操作において、Ｚ
軸方向の位置の操作入力コマンドは、円筒１５１５の側
面で指を滑らせるか、あるいは円筒上部円板１５１６を
指で押すことにより発生させることができる。また、ラ
ジアル方向の操作入力コマンドは、指で円筒１５１５を
押すか、あるいは円筒上部円面で指を滑らせることによ
り発生させることができる。回転入力コマンドはＺ軸を
中心にして円筒を回転させるような指の接触ジェスチャ
をするか、あるいは円筒上部円板１５１６上で捻るよう
なジェスチャを行うことにより発生させることができ
る。

【００５５】図１７(a) に示すように、円筒１５１５は
半球１８０５に変更することも可能であり、形状を半球
に変更しても、その制御装置の操作性は変わらない。

【００５６】半球を採用した制御装置は３次元空間にお
ける任意の軸に対する回転入力コマンドを発生させる際
に有用である。例えば、バーチャルリアリティシステム
またはCAD/CAM システムの応用において、ユーザはグラ
フィックオブジェクトを任意の角度だけ任意の軸まわり
に回転させる必要がある。このような場合、立方体の形
状をした制御装置では、基準３次元空間の３軸（ｘ，
ｙ，ｚ軸）に対して、グラフィックオブジェクトを回転
させる際は直感的で理解しやすい形状ではあるが、任意
の軸に対する回転入力に関しては必ずしも適正ではな
い。半球はこの要求仕様に対して自然であり、しかも直
感的に回転入力コマンドを発生させる上で適正な形状で
ある。すなわち、ユーザは１本あるいは複数本の指を半
球外面上で滑らせることにより、容易に回転入力コマン
ドを発生させることができる。

【００５７】図１７(b) はユーザが半球１８０５に接触
した時にCCD カメラによって得られる画像を示す。CCD
カメラ画像で得られる接触点１８１０は、２次元画像空
間（x-y 空間）で検出されるので、この接触点中心の位
置座標を、次の式で示す極座標（ｒ，θ）に変換する。

【００５８】

【数３】ｒ＝SQRT( ｘ² ＋ｙ² ） θ＝ｔａｎ^-1（ｙ／ｘ）この変換により接触点１８１０は半径ｒおよび角度θの
関数として、その位置の軌跡を認識することができ
る。。図１８(c)-(h) は半球１８０５における指の接触
によって生み出される回転入力コマンドを示す。

【００５９】図１８(c) では、ユーザは半球のｙ軸に対
して、１本の指を用いて、半球表面で円を描くように指
をひきずりながら動かしている。この接触点の軌跡はCC
D カメラ画像によって図１８(d) のように認識され、一
定の半径ｒを保ちながら角度も変化させるような軌跡と
なっている。この軌跡の特質すなわち角度変化と一定の
半径という条件を満足するような指の接触による入力操
作は、ｙ軸に対する回転入力コマンドとして解釈され
る。

【００６０】図１８(e) および(f) はｘ軸に対する回転
入力コマンドを示す。また、図１８(g),(h) はｚ軸に対
する回転入力コマンドを示す。これらの場合、その軌跡
は半径ｒが変化し角度θは一定という特徴を有する。こ
の条件を満足する制御入力操作はｘ軸またはｚ軸に対す
る回転入力コマンドとして解釈される。

【００６１】図１９(i) および(j) は任意の１軸の周り
の回転入力コマンドを発生させる操作を示す。図１９
(i) では、ユーザがｚ′軸周りの回転入力コマンドを発
生させている。ここで、ｚ′軸はｚ軸からより角度φだ
け回転移動した軸である。図１９(j) に示す軌跡は図１
８(f),(h) と類似しているが、角度θが９０＋φだけ変
化している。

【００６２】図１９(k) では、ユーザは指で任意の軌跡
を描いており、これに対応するCCD像を図１９(l) に示
す。図１９(k) において、ユーザはｘ，ｙ，ｚ軸まわり
の同時回転入力コマンドを発生させており、この軌跡の
ｚ変数（ｒ，θ）は連続的に変化する。

【００６３】好ましい実施例に採用された光源および半
透明パネルは、赤外線光源と、赤外線のみを透過させる
フィルタとを用いて代用することも可能である。ここで
用いる赤外線透過フィルタは可視光領域の光は全て反射
し、赤外線波長領域の光のみを透過させる特殊なフィル
タである。

【００６４】図２２は自由度６の制御入力コマンドを発
生させる制御装置を示す。この装置は不透明な本体２０
１０と、小型赤外線カメラ２０２０と、赤外線発光ダイ
オード群２０３０と、３枚の赤外線透過フィルタ２０４
５，２０５０，２０６０とにより構成されている。力検
出センサ２０６０が赤外線透過フィルタ２０４０，２０
５０，２０６０と、本体２０１０との間に選択的に装着
されており、ユーザが接触したときに赤外線透過フィル
タに加わる力を検出する。可視光はフィルタ２０４０，
２０５０，２０６０の表面で反射し、赤外線発光ダイオ
ード群２０３０から発せられた赤外線光は、フィルタ２
０４０，２０５０，２０６０表面を透過する。赤外線発
光ダイオード群はフィルタの周囲から赤外線光を一様に
照射するように配置される。ユーザが赤外線透過フィル
タに接触した場合は、接触した部分は赤外線光が透過し
ないため、赤外線カメラ２０２０では、この接触部分が
他と異なる部分として検出される。この制御装置の入力
操作機能は可視光を光源としている制御装置と基本的に
は同じものであるが、ユーザの使用環境の可視光照射分
布が変化することにより発生する外乱による２値画像を
処理する上で潜在的なエラーをなくすことが可能であ
る。

【００６５】赤外線透過フィルタの透過率は可視光領域
といった短波長の光については極めて低く、赤外線とい
った長波長の光については極めて高く、既に市販されて
いる。このような赤外線透過フィルタとしては、例え
ば、Rolyn Opics 社の“ブラックガラス”と呼ばれ、製
品番号が65.1398(RG850 ）のガラス材が適正である。こ
のフィルタは、可視光領域（波長390 nm〜770 nm）にお
ける光透過率が１０^-3％未満であり、波長850 nmにおい
て透過率50％であり、波長900 nmにおいてその透過率が
97.5% と上昇する。赤外線発光ダイオードは波長800 nm
〜1000 nm （ピーク波長900 nm）の赤外線光を発するの
で、このフィルタは好ましい実施例として望ましい特性
を持っていると言える。赤外線透過フィルタの半透過特
性はフィルタ表面（片面のみ）を微細研磨加工するか、
あるいはフィルタ表面に照射される赤外線を拡散させる
ような灰色の半透明の光拡散シートを付着させることに
より実現化できる。光拡散シートの一例としては、Edmu
nd Scientific 社(Barrington, N.J.)のLENSCREEN と呼
ばれるシートが適正なものである。

【００６６】以上、本発明の好ましい実施例について説
明したが、当業者は、本発明の精神および範囲を逸脱す
ることなく、種々の変形、変更を加えることができるも
のである。例えば、図１１および図１２に示す入力技術
は、スクリーンの背後にビデオカメラを配置した入力機
器以外の制御入力装置（例えば、マウス等の入力機器）
へも応用できる。あるいは、図１０に示す力検出センサ
は図１に示す制御入力機器にも応用できる。この応用に
おいて、図１のパネル１０５自体は力を感知する特性は
必要ではないが、パネル１０５に加わる力を別のセンサ
で検出できる。また、本発明の好ましい実施例で示した
小型CCD カメラの代替機器として、CMOSエリアセンサ
か、赤外線収光エリアセンサか、あるいは他の同等の検
出器を用いて本発明の制御入力機器を実現化することも
可能である。すなわち、このような変形、変更はすべて
本発明の技術的範囲に属すると考えられる。

【図面の簡単な説明】

【図１】本発明の好ましい実施例における対話形式のコ
ンピュータグラフィックスシステムとそのグラフィック
ス用メカニカル機器の構成を示す斜視図である。

【図２】他の好ましい実施例における対話形式のコンピ
ュータグラフィックスシステムとそのグラフィック用入
力機器の構成を示す斜視図である。

【図３】画像空間、すなわち図２に示すCCD カメラで得
られる画像を表す図である。

【図４】図２に示す入力装置における制御操作ジェスチ
ャと、図２のグラフィックディスプレイ上のグラフィッ
クオブジェクトの動きを示す図である。

【図５】図２のCCD カメラで得られた画像処理ステップ
のフローチャートである。

【図６】図２の機能ダイヤグラムである。

【図７】図５の処理における画像フォーマットを示す図
である。

【図８】グラフィック応用事例においてカメラの画像内
のユーザによる接触点座標がグラフィックディスプレイ
空間にどのように座標変換されるかを示す図である。

【図９】画像処理に関するより詳細な図である。

【図１０】パネルに加えられる力を検出する力センサが
装着されている好ましい実施例を示す図である。

【図１１】図１０に示す制御機器の対話型コンピュータ
グラフィックス用インタフェースとしての操作を示す図
である。

【図１２】図１に示す制御装置１００等に適用可能な新
しい入力制御手法を説明するための説明図である。

【図１３】図１２のインタフェース手法の操作を示す図
である。

【図１４】本発明の好ましい実施例に係る円筒状の制御
装置を示し、（ａ）は斜視図、（ｂ）は断面図、（ｃ）
は上面図である。

【図１５】図１４の機器配置においてCCD カメラで得ら
れる典型的な画像を示す図である。

【図１６】図１４の機器の操作において、図１５の画像
内の複数箇所と機器との対応関係を示す図である。

【図１７】(a) は本発明の好ましい実施例に係る半球状
の制御装置を示し、(b) は(a) に示す制御装置を使用し
た回転入力コマンドの発生を説明するための説明図であ
る。

【図１８】(c)-(h) は図１７(a) に示す制御装置を使用
した回転入力コマンドの発生を説明するための説明図で
ある。

【図１９】(i)-(l) は図１７(a) に示す制御装置を使用
した回転入力コマンドの発生を説明するための説明図で
ある。

【図２０】図５に示すステップ５０５〜５１５を記述す
るために引用されるデータ画像とヒストグラムを示す図
である。

【図２１】図５に示すステップ５１５〜５２０を記述す
るために引用されるデータ画像とヒストグラムを示す図
である。

【図２２】本発明の好ましい実施例に係る赤外線使用を
もとにした自由度６の制御装置を示す斜視図である。

【符号の説明】

１００制御装置１０５パネル１１０ CCD カメラ１２０光源１２５鏡１３０コンピュータ１３５グラフィックスディスプレイ

Claims

【特許請求の範囲】

【請求項１】対話型のコンピュータシステムのための
グラフィック入力装置であって、半透明の光拡散パネルを含む不透明の筐体と、前記パネルに加えられる力に応答して信号を供給する力
検出手段と、前記筐体内に装着され、前記パネルの画像と該画像の変
化に応じた画像信号を供給する画像検出装置とを備えた
ことを特徴とするグラフィック入力装置。
【請求項２】請求項１において、前記パネルの外面を
照射する光源であって、前記筐体外側に取り付けた光源
をさらに備えたことを特徴とするグラフィック入力装
置。
【請求項３】請求項２において、前記光源からの光を
パネル外面に向けて反射させるための反射体であって、
前記筐体の外面に取り付けた反射体をさらに備えたこと
を特徴とするグラフィック入力装置。
【請求項４】力を感知する半透明の光拡散パネルを取
り付けた不透明の筐体を用いて、グラフィック入力信号
を対話型コンピュータシステムに供給するグラフィック
入力方法において、前記パネルの外面を接触するステップと、前記筐体内に取り付けた画像検出装置を用いて前記パネ
ル内側の画像を獲得するステップと、画像の変化に応じて画像信号の生成するステップと、前記パネルに加えられる力の大きさに応じた信号を発生
させるステップとを含むことを特徴とするグラフィック
入力方法。
【請求項５】対話型コンピュータシステム用のグラフ
ィック入力装置であって、第１の半透明の光拡散パネルと、該第１の光拡散パネル
と異なる角度で取り付けた第２の半透明光拡散パネルと
を含む筐体と、前記第１および第２のパネルの画像の変化に応じた画像
信号を発生させる画像検出装置であって、前記筐体内に
取り付けた画像検出装置とを備えたことを特徴とするグ
ラフィック入力装置。
【請求項６】請求項５において、前記第１のパネルに
加えられた力を検出し検出された力に応じた第１信号を
生成し、前記第２のパネルに加えられる力を検出し検出
された力に応じた第２信号を生成する力検出手段をさら
に備えたことを特徴とするグラフィック入力装置。
【請求項７】請求項５において、前記筐体は第３の半
透明光拡散パネルをさらに備え、前記第１ないし第３の
パネルは、それぞれ、前記筐体の表面に取り付けてあ
り、しかも、垂直な位置に配置してあり、前記画像検出
装置は前記第１ないし第３のパネルの内面の画像を獲得
するように前記筐体内に取り付けたことを特徴とするグ
ラフィック入力装置。
【請求項８】請求項７において、前記第１のパネルに
加えられた力を検出し検出された力に応じた第１信号を
生成し、前記第２のパネルに加えられた力を検出し検出
された力に応じた第２信号を生成し、前記第３のパネル
に加えられた力を検出し検出された力に応じた第３信号
を生成する力検出手段をさらに備えたことを特徴とする
グラフィック入力装置。
【請求項９】力を感知する半透明光拡散パネルを複数
個取り付けた不透明の筐体を用いて、グラフィック入力
信号を対話型コンピュータシステムに供給するグラフィ
ック入力方法において、前記パネルの外面を接触するステップと、前記筐体内に取り付けた画像検出装置を用いて前記パネ
ル内側の画像の獲得するステップと、獲得された画像の変化に応じた画像信号を生成するステ
ップと、前記画像中のパネル接触部分の位置座標を決定するステ
ップと、前記位置座標に対応する信号を前記対話型コンピュータ
システムに供給するステップとを含むことを特徴とする
グラフィック入力方法。
【請求項１０】請求項９において、ユーザーがパネル
に接触する前のパネルのバックグランド画像を獲得し、
獲得されたバックグランド画像に応じて、ビデオ画面信
号を規格化するステップをさらに備えたことを特徴とす
るグラフィック入力方法。
【請求項１１】請求項９において、パネル画像中の接
触部分に対応する箇所の位置座標を決定する前に、画像
信号を２値信号に変換するステップをさらに備えたこと
を特徴とするグラフィック入力方法。
【請求項１２】請求項９において、画像中のオブジェ
クトの位置を追跡するステップをさらに備えたことを特
徴とするグラフィック入力方法。
【請求項１３】力を感知する半透明光拡散パネルを複
数個取り付けた不透明の筐体を用いて、グラフィック入
力信号を対話型コンピュータシステムに供給するグラフ
ィック入力方法において、前記パネルの外面を接触するステップと、前記筐体内に取り付けた画像検出装置により前記パネル
内側の画像を獲得するステップと、獲得されれた画像の変化に応じた画像信号を生成するス
テップと、前記画像中のパネル接触部分の位置座標を決定するステ
ップと、決定された位置座標を３次元空間座標に変換するステッ
プと、変換して得られた位置座標に対応する信号を生成するス
テップとを含むことを特徴とするグラフィック入力方
法。
【請求項１４】請求項１３において、ユーザが前記パ
ネルに接触する前の前記パネルのバックグランド画像を
獲得し、獲得されたバックグランド画像に応じて、ビデ
オ画面信号を規格化するステップをさらに備えたことを
特徴とするグラフィック入力方法。
【請求項１５】請求項１３において、前記パネル画像
中の接触部分に対応する箇所の位置座標を決定する前
に、画像信号を２値信号に変換するステップをさらに備
えたことを特徴とするグラフィック入力方法。
【請求項１６】請求項１３において、前記画像信号を
生成するステップと、前記位置座標を決定するステップ
と、前記座標を変換するステップは、繰り返し、さら
に、画像中のオブジェクトの位置を追跡するステップを
備えたことを特徴とするグラフィック入力方法。
【請求項１７】パネル接触式制御入力装置の操作に応
じて、対話型コンピュータグラフィックディスプレイ上
のグラフィックオブジェクトを操作する方法において、前記グラフィックディスプレイにグラフィックオブジェ
クトを表示するステップと、表示画面より小さく指定された領域をグラフィックディ
スプレイ上に表示するステップと、前記パネル接触式制御入力装置上の第１領域内のユーザ
による接触に応答して、グラフィック入力装置により第
１信号を生成するステップと、前記第１領域内に含まれるオブジェクトを前記第１信号
に応答して操作するステップと、同時にパネル接触式制御入力装置上の第２領域上のユー
ザによる接触に応答して第２信号を生成するステップ
と、前記第２信号に応答してグラフィックディスプレイ上の
指定された領域を移動させるステップとを備えたことを
特徴とするグラフィックオブジェクト操作方法。
【請求項１８】請求項１７において、前記第２領域は
前記第１領域の周囲を取り込むことを特徴とするグラフ
ィックオブジェクト操作方法。
【請求項１９】半透明の単一光拡散パネルを有する不
透明の筐体を用いて、入力装置からのグラフィック入力
信号を対話型コンピュータシステムに供給する方法にお
いて、前記パネルの外面を接触するステップと、前記筐体内に取り付けた画像検出装置により前記パネル
内側の画像を獲得するステップと、獲得された画像の変化に応じて画像信号を生成するステ
ップと、前記画像中のパネル接触部分の位置座標を決定するステ
ップと、決定された位置座標により前記パネル上の接触位置を識
別するステップと、前記位置座標に対応する信号を前記対話型コンピュータ
システムに供給するステップとを含むことを特徴とする
グラフィック入力信号供給方法。
【請求項２０】請求項１９において、ユーザが前記パ
ネルに接触する前のパネルのバックグランド画像を獲得
し、該バックグランド画像に応じて、ビデオ画面信号を
規格化するステップをさらに備えたことを特徴とするグ
ラフィック入力信号供給方法。
【請求項２１】請求項１９において、パネル画像中の
接触部分に対応する箇所の位置座標を決定する前に、画
像信号を２値信号に変換するステップをさらに備えたこ
とを特徴とするグラフィック入力信号供給方法。
【請求項２２】請求項１９において、画像中のオブジ
ェクトの位置を追跡するステップをさらに備えたことを
特徴とするグラフィック入力信号供給方法。
【請求項２３】半透明の単一光拡散パネルを有する不
透明の筐体を用いて、入力装置からのグラフィック入力
信号を対話型コンピュータシステムに供給する方法にお
いて、前記パネルの外面を接触するステップと、前記筐体内に取り付けた画像装置によりパネル内側の画
像を獲得するステップと、獲得された画像の変化に応じて画像信号を生成するステ
ップと、前記画像中のパネル接触部分の位置座標を決定するステ
ップと、決定された位置座標を３次元空間座標に変換するステッ
プと、変換された位置座標に応じた信号を生成するステップと
を含むことを特徴とするグラフィック入力信号供給方
法。
【請求項２４】請求項２３において、ユーザが前記パ
ネルに接触する前の前記パネルのバックグランド画像を
獲得し、獲得されたバックグランド画像に応答して、ビ
デオ画面信号を規格化するステップをさらに備えたこと
を特徴とするグラフィック入力信号供給方法。
【請求項２５】請求項２３において、パネル画像中の
接触部分に対応する箇所の位置座標を決定する前に、前
記画像信号を２値信号に変換するステップをさらに備え
たことを特徴とするグラフィック入力信号供給方法。
【請求項２６】請求項２３において、画像信号を生成
するステップと、位置座標を決定するステップと、座標
を変換するステップは、繰り返し、さらに、画像中のオ
ブジェクトの位置を追跡するステップを備えたことを特
徴とするグラフィック入力信号供給方法。
【請求項２７】対話型コンピュータシステムのための
グラフィック入力装置において、半透明光拡散パネルを含む不透明の筐体と、前記筐体内に取り付けた画像検出装置であって、パネル
の画像と、ユーザが前記パネルに接触した部分の画像を
獲得し、前記パネルとパネル接触部分の変化に応じた画
像信号を供給する画像検出装置と、前記接触部分の位置を示す信号を生成する手段とを備え
たことを特徴とするグラフィック入力装置。
【請求項２８】請求項２７において、前記パネルは円
筒形であり、前記パネルの上部に半透明の光拡散円板を
取り付けたことを特徴とするグラフィック入力装置。
【請求項２９】請求項２８において、前記円筒形パネ
ル上に取り付けた半透明の光拡散ディスクをさらに備え
たことを特徴とするグラフィック入力装置。
【請求項３０】請求項２９において、前記円板および
円筒パネルに加えられた力を検出する力センサをさらに
備えたことを特徴とするグラフィック入力装置。
【請求項３１】請求項２７において、前記パネルはそ
の形状が半球であることを特徴とするグラフィック入力
装置。
【請求項３２】請求項３１において、前記パネルに加
えられた力を検出する力センサさらに備えたことを特徴
とするグラフィック入力装置。
【請求項３３】請求項２において、前記光源は赤外線
光源を備え、前記パネルは半透明の長波長光透過フィル
タであり、前記画像検出装置は赤外線を感知する画像検
出装置であることを特徴とするグラフィック入力装置。
【請求項３４】請求項５において、パネルの外側表面
を照射する赤外線光源を本体外側に装着し、パネルが半
透明の長波長光透過フィルタであり、画像装置が赤外線
を感知することを特徴とするグラフィック入力装置。
【請求項３５】請求項６において、パネルの外面を照
射する赤外線光源であって、前記筐体の外側に取り付け
た赤外線光源をさらに備え、前記パネルは半透明の長波
長光透過フィルタを備え、前記画像検出装置は赤外線を
感知する画像検出装置であることを特徴とするグラフィ
ック入力装置。
【請求項３６】請求項２７において、前記光源は赤外
線光源を備え、前記パネルは半透明の長波長光透過フィ
ルタであり、前記画像検出装置は赤外線を感知する画像
検出装置であることを特徴とするグラフィック入力装
置。
【請求項３７】請求項４において、前記パネルは長波
長光透過フィルタであり、前記画像検出装置は赤外線を
感知する画像検出装置であり、前記赤外線光源でパネル
を照射するステップをさらに備えたことを特徴とするグ
ラフィック入力方法。
【請求項３８】請求項９において、前記パネルは長波
長光透過フィルタであり、前記画像検出装置は赤外線を
感知する画像検出装置であり、前記赤外線光源でパネル
を照射するステップをさらに備えたことを特徴とするグ
ラフィック入力方法。
【請求項３９】請求項１３において、前記パネルが長
波長光透過フィルタであり、前記画像検出装置は赤外線
を感知する画像検出装置であり、前記赤外線光源でパネ
ルを照射するステップをさらに備えたことを特徴とする
グラフィック入力方法。
【請求項４０】請求項１９において、前記パネルは長
波長光透過フィルタであり、前記画像検出装置は赤外線
を感知する画像検出装置であり、前記赤外線光源でパネ
ルを照射するステップをさらに備えたことを特徴とする
グラフィック入力信号供給方法。
【請求項４１】請求項２３において、前記パネルは長
波長光透過フィルタであり、前記画像検出装置は赤外線
を感知する画像検出装置であり、前記赤外線光源でパネ
ルを照射するステップをさらに備えたことを特徴とする
グラフィック入力信号供給方法。