JP3355707B2 - コマンド処理装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、コマンド処理装置に係
り、詳細には、手の動きを検出して表示データの切換え
制御を行うコマンド処理装置に関する。

【０００２】

【従来の技術】従来、コマンド処理装置としては、例え
ば、パーソナルコンピュータ（Personal Computer；以
下、パソコンと略す）やワードプロセッサ（Word P-roc
essor；以下、ワープロと略す）等では、通常、キーボ
ードが使用されており、キーボードから入力されるキー
コマンドに対応する処理、例えば、ページ切換処理がパ
ソコンやワープロ等で実行されて、その処理結果がディ
スプレイ装置に表示出力される。

【０００３】ところが、表示対象の情報がページ構成で
ある場合、情報として複数ページあるときには、表示装
置に全てのページを同時に表示出力することはできな
い。

【０００４】そこで、ページを切り換えて表示出力させ
る必要があるが、従来、キーボードからページ切換用の
キーコマンドを入力することにより、ページ切換を行っ
ている。

【０００５】また、近時、アイコンを表示装置に表示
し、アイコンをマウス等のポインティング装置により操
作してページの切り換えを行うパソコンやワープロが出
現している。

【０００６】

【発明が解決しようとする課題】しかしながら、このよ
うな従来のコマンド処理装置にあっては、キーボード等
を使用してページ切換コマンドを入力したり、表示装置
に表示されるアイコンによりページ切換を行うようにな
っていたため、ページの切り換えを行う度に、キー入力
を行ったり、アイコンをポインティング装置により操作
する必要があり、ページの切換操作が面倒であるという
問題があった。

【０００７】そこで、本発明は、手の一連の動きによ
り、簡単に表示データの切換え制御を行うことができる
コマンド処理装置を提供することを目的としている。

【０００８】

【課題を解決するための手段】本発明のコマンド処理装
置は、入力された手の画像を認識し、これが予め記憶さ
れている初期パターン画像に相当するかを比較する比較
手段と、初期パターン画像に相当する場合は、指の動き
の検出モードに入り、第１の指のずれの値と第２の指の
ずれの値を検出する検出手段と、第１の指のずれが第２
の指のずれより大きい場合に、第１の表示制御コマンド
を、第２の指のずれが第１の指のずれより大きい場合
に、第２の表示制御コマンドを発生するコマンド発生手
段と、前記第１の表示制御コマンドもしくは第２の表示
制御コマンドに基づいて表示データの切換え制御を行う
表示制御手段とを備える。

【０００９】この場合、前記コマンド発生手段が発生す
る第１の表示制御コマンド及び第２の表示制御コマンド
は、請求項２に記載したように、前記表示制御手段によ
って表示される表示データを次ページ及び前ページに切
換える表示制御コマンドであってもよい。

【００１０】また、前記検出手段は、請求項３に記載し
たように、小指のずれの値と親指のずれの値を検出し、
前記コマンド発生手段は、小指のずれが親指のずれより
大きい場合に、第１の表示制御コマンドを、親指のずれ
が小指のずれより大きい場合に、第２の表示制御コマン
ドを発生するようにしてもよい。

【００１１】

【００１２】

【作用】本発明のコマンド処理装置によれば、入力され
た手の画像が初期パターン画像に相当する場合は、指の
動きの検出モードに入り、次に、第１の指のずれの値と
第２の指のずれの値を検出し、第１の指のずれが第２の
指のずれより大きい場合には第１の表示制御コマンドを
発生し、第２の指のずれが第１の指のずれより大きい場
合には第２の表示制御コマンドを発生することにより、
手の一連の動きで表示データの切換え制御を行うことが
できる。

【００１３】この場合、前記第１の表示制御コマンド及
び第２の表示制御コマンドによって、表示データを次ペ
ージ及び前ページに切換えることもできる。

【００１４】また、小指のずれの値と親指のずれの値を
検出し、小指のずれが親指のずれより大きい場合に、第
１の表示制御コマンドを、親指のずれが小指のずれより
大きい場合に、第２の表示制御コマンドを発生すること
もできる。

【００１５】

【００１６】

【実施例】以下、図面を参照して実施例を説明する。

【００１７】図１〜図５は、本発明のコマンド処理装置
の一実施例を示す図である。

【００１８】まず、構成を説明する。

【００１９】図１は、コマンド処理装置１の外観図であ
り、コマンド処理装置１は、背面投射型表示方式の表示
部とカメラによる撮影部とを備えている。

【００２０】すなわち、コマンド処理装置１は、箱型ケ
ース２内にプロジェクター３とカメラ４が収納されてお
り、箱型ケース２は、その表面が視認性及び操作性を向
上させるために斜めに傾斜した傾斜面となっている。こ
の箱型ケース２の斜めの傾斜面には、半透明のスクリー
ン５が張られており、スクリーン５に箱型ケース２内の
プロジェクター３から文字や映像等の情報及び種々のコ
マンド用のアイコン映像が背面から投影されて、スクリ
ーン５上に表示される。

【００２１】本コマンド処理装置１では、このスクリー
ン５上に置かれた手の形や一連の手の動きを認識して、
コマンド処理を行う。

【００２２】プロジェクター３は、例えば、レンズ、液
晶パネル及び光源等が順次並べられており、液晶パネル
の背面から光源の光を投射して液晶パネルの表示内容を
レンズを介してスクリーン５上に投射する。

【００２３】カメラ４は、例えば、ＣＣＤ（Charge Cou
pled Device ）カメラ等により構成され、スクリーン５
上の手の形や一連の手の動きを撮影する。

【００２４】図２は、コマンド処理装置１のブロック構
成図である。

【００２５】この図において、コマンド処理装置１は、
カメラ４、画像認識部６、画像メモリ７、画像処理部
８、メインメモリ９、表示メモリ１０及び表示部１１等
を備えており、表示部１１は、前記図１のプロジェクタ
ー３及びスクリーン５を総称したものである。

【００２６】カメラ４は、図１に示したものであり、撮
影した手の形や手の動きの映像を逐次画像認識部６に出
力する。

【００２７】画像認識部６は、カメラ４から入力される
映像を所定タイミング毎にサンプリングして、手の形や
一連の手の動きをパターン認識し、認識した手の形のパ
ターン画像を画像メモリ７に出力する。

【００２８】画像メモリ７は、画像認識部６から入力さ
れる手の形のパターン画像を複数画像分記憶し、画像メ
モリ７に記憶されたパターン画像は、画像処理部８によ
り読み出される。また、画像メモリ７には、所定のコマ
ンド、特に、ページ切換コマンドに対応した手の初期パ
ターン画像を記憶している。なお、この初期パターン画
像は、画像メモリ７に記憶するものに限るものではな
く、例えば、メインメモリ９に記憶しておいてもよい。

【００２９】メインメモリ９は、画像処理部８が実行す
る各種処理プログラムを格納するとともに、システムデ
ータや表示部１１に表示する各種データ等を記憶する。
特に、メインメモリ９には、文字データや画像データ等
のページ単位で構成される種々のページ情報を記憶して
おり、後述するように、このページ情報のページの切り
換えを手の動きによるコマンド入力により画像処理部８
が行う。

【００３０】画像処理部８は、メインメモリ９に格納さ
れているプログラムに従ってコマンド処理装置１の各部
を制御して、コマンド処理装置１としての処理、特に、
カメラ４の撮影した手の形とその一連の動きにより表示
部１１に表示するページ情報のページの切換処理等を行
う。

【００３１】表示メモリ１０は、表示部１１の表示領域
に対応するメモリエリアを有し、画像処理部８によりメ
インメモリ７から読み出されるページ情報やアイコン情
報が順次書込まれると、その情報を表示部１１に順次転
送して、表示部１１に表示出力させる。

【００３２】なお、図２には示していないが、コマンド
処理装置１は、外部のコンピュータ等との間のデータの
授受を制御するＩ／Ｏを備え、外部のコンピュータから
のデータを表示部１１に表示出力するようにしてもよ
い。

【００３３】次に、本実施例の動作を説明する。

【００３４】コマンド処理装置１は、メインメモリ９に
記憶されている種々の情報やアイコン及び画像メモリ７
に記憶している画像をプロジェクター３からスクリーン
５に投影して表示出力し、コマンド処理装置１の使用者
は、スクリーン５上に表示される情報をスクリーン５上
に表示されるアイコンを使用して編集したり、スクリー
ン５上に手を置いて、手の形を変化させることにより、
スクリーン５に表示されているページ情報のページの切
換を行う。

【００３５】すなわち、コマンド処理装置１の使用者
は、スクリーン５に表示されているページ情報のページ
の切換を行わせるためには、スクリーン５上に手を載
せ、手をページ切換コマンド入力用の初期パターン画像
に対応する形にした後、次ページにページを切り換えた
いときには、図３に破線及び矢印で示すように、小指を
略左右方向あるいは略上下方向に動かし、また、前ペー
ジにページを切り換えたいときには、図４に破線及び矢
印で示すように、親指を略左右方向に動かす。

【００３６】この手の形に基づいてページの切換を行う
というコマンド処理は、以下のように行われる。

【００３７】すなわち、コマンド処理装置１は、図５に
示すように、スクリーン５上の画像、特に、手の画像を
カメラ４で読み取り、画像認識部６で、カメラ４から入
力される手の画像を所定時間毎に手のパターン画像とし
て取り込んで、画像メモリに７に出力する。画像処理部
８は、このパターン画像を画像メモリ７のアドレスｉに
書き込み（ステップＳ１）、この書き込んだ手のパター
ン画像を画像メモリ７に予め記憶されている初期パター
ン画像と比較する（ステップＳ２）。

【００３８】ステップＳ２で、読み取った画像がページ
切換用の初期パターン画像以外の他の初期パターン画像
と一致するときには、当該初期パターン画像用のコマン
ドに対応する処理に移行して、当該他の処理を行う（ス
テップＳ３）。

【００３９】ステップＳ２で、読み取った手のパターン
画像が画像メモリ７に記憶されているいずれの初期パタ
ーン画像にも一致しないときには、ステップＳ１に戻っ
て、画像の読取から再度繰り返して行う。

【００４０】ステップＳ２で、読み取った手のパターン
画像がページ切換用の初期パターン画像と一致すると、
画像処理部８は、メインメモリ９に予め記憶されている
ページ切換応答モードに入ったことを知らせるメッセー
ジを表示出力するページ切換応答表示を行う（ステップ
Ｓ４）。

【００４１】ページ切換応答表示を行うと、一定時間経
過するのを待ってアドレス値ｉを「１」だけインクリメ
ントし（ステップＳ５）、次の画像を読み取って当該読
み取った画像のパターン画像を画像メモリ７の当該イン
クリメントしたアドレスｉに書き込んで記憶する（ステ
ップＳ６）。

【００４２】次に、アドレスｉが予め設定した値Ｎにな
ったかどうかチェックし（ステップＳ８）、アドレスｉ
がＮになっていないときには、ステップＳ５に戻って、
同様に、所定時間経過した後、インクリメントしたアド
レスｉに次に読み込んだパターン画像を書き込む（ステ
ップＳ５〜Ｓ７）。

【００４３】すなわち、ステップＳ５からステップＳ８
までの処理で、所定時間毎に、スクリーン５上の手の形
をパターン画像として取り込んで、画像メモリ７のアド
レスｉからアドレスＮまでに順次書き込む。

【００４４】ステップＳ８で、アドレス値がＮになる
と、画像メモリ７のアドレスｉからアドレスＮまでのパ
ターン画像を順次比較し（ステップＳ９）、これらのパ
ターン画像の親指の変化パターンのずれの最大値、例え
ば、親指がアドレスｉに書き込まれている画像の位置か
ら最も離れた位置に変化したときのその親指の移動距離
をレジスタｔに格納する（ステップＳ１０）。また、こ
れらのパターン画像の小指の変化パターンのずれの最大
値、例えば、小指がアドレスｉに書き込まれている画像
の位置から最も離れた位置に変化したときのその小指の
移動距離をレジスタｓに格納する（ステップＳ１１）。

【００４５】そして、レジスタｔの値がレジスタｓの値
よりもはるかに大きいか（ｔ＞＞ｓ）を比較して（ステ
ップＳ１２）、親指が動いたのか、小指が動いたのかを
検出する。

【００４６】ステップＳ１２で、ｔ＞＞ｓのとき、すな
わち、親指のずれの最大値の方が小指のずれの最大値よ
りもはるかに大きいときには、親指による前ページの指
定が行われたと判断して、メインメモリ９から前ページ
の情報を読み出し、表示メモリ１０に転送して表示部１
１、すなわちスクリーン５に前ページの情報を表示出力
する（ステップＳ１３）。その後、画像メモリ７のアド
レスｉからアドレスＮまでのパターン画像をクリアし
て、処理を終了する（ステップＳ１４）。

【００４７】また、ステップＳ１２で、ｔ＞＞ｓでない
ときには、ｔ＜＜ｓ、すなわち、小指のずれの最大値の
方が親指のずれの最大値よりもはるかに大きいかどうか
チェックする（ステップＳ１５）。

【００４８】ステップＳ１５で、ｔ＜＜ｓのときには、
すなわち、小指のずれの最大値の方が親指のずれの最大
値よりもはるかに大きいときには、小指による次ページ
の指定が行われたと判断して、メインメモリ９から次ペ
ージの情報を読み出し、表示メモリ１０に転送して表示
部１１、すなわちスクリーン５の表示を次ページの情報
に切り換えて表示出力する（ステップＳ１６）。その
後、画像メモリ７のアドレスｉからアドレスＮまでのパ
ターン画像をクリアして、処理を終了する（ステップＳ
１４）。

【００４９】ステップＳ１５で、ｔ＜＜ｓでないときに
は、親指も小指もページの切換を指示するのに充分な動
きをしていないと判断して、画像メモリ７のアドレスｉ
からアドレスＮまでのパターン画像をクリアした後（ス
テップＳ１７）、ステップＳ４に戻り、ページ切換応答
表示から上記同様の処理を繰り返す。

【００５０】以上説明したように、本実施例によれば、
スクリーン５上に手を載せ、手の形をページ切換コマン
ド用の所定の初期パターン画像の形にした後、ページの
切り換える方向に応じて、親指あるいは小指を略左右方
向や略水平方向に動かすだけで、コマンド処理装置１
が、この手の親指や小指の動きを検出して、ページ情報
を前ページあるいは次ページに切り換えてスクリーン５
上に表示する。その結果、手の形を変えるだけで、簡単
にページの切り換えを行うことができる。

【００５１】この場合、例えば、スクリーン５に１ペー
ジ分のページ情報が表示出力されているときには、その
ページ情報が前ページあるいは次ページに切り換わり、
スクリーン５に２ページ分のページ情報が表示出力され
ているときに、ページを捲る感覚でページ情報が切り換
わる。

【００５２】また、本実施例では、人の手の形をカメラ
４により撮影して認識するとともに、該手の映像の変化
により一連の手の動きを認識しているので、簡単に手の
形や一連の手の動きを認識することができ、コマンド処
理装置１を簡単な構成とすることができる。

【００５３】さらに、ページ切換コマンド用の所定の手
の形を画像メモリ７に記憶し、スクリーン５上の手の形
を該画像メモリ７に記憶するページ切換コマンド用の手
の形と比較して、ページ切換コマンドであると認識した
ときのみ、手の形の一連の動きに基づいてページ情報の
ページの切り換えを行うようにしているので、ページ切
換コマンドを誤りなく実行することができ、コマンド処
理の正確性を向上させることができる。

【００５４】また、一連の手の動きとして、親指の略左
右の動きと小指の略左右あるいは略上下の動きを認識
し、小指の動きを検出したとき、次ページに切り換え、
親指の動きを検出したとき、前ページに切り換えるよう
にしているので、親指と小指という離れた指の動きでコ
マンドを認識することができ、コマンド処理を正確に行
うことができるとともに、指の動きのみでコマンド処理
をさせることができ、ページの切換コマンドをより一層
簡単に入力することができる。

【００５５】なお、上記実施例に置いては、手の形を箱
型ケース５内のカメラ４で撮影しているが、カメラに限
るものではなく、また箱型ケース５内に設けるものに限
るものではなく、箱型ケース５の外部に設けてもよい。

【００５６】また、上記実施例では、右手の動きでコマ
ンド指示しているが、右手に限るものではなく、左手で
あってもよい。

【００５７】さらに、手の動きも、上記実施例の内容に
限るものでないことは、いうまでもない。

【００５８】また、コマンド処理装置としては、上記実
施例のコマンド処理装置１の形態に限るものではなく、
パソコンやワープロ等にも適用することができる。

【００５９】

【発明の効果】本発明によれば、手の画像を認識し、こ
れが予め記憶されている初期パターン画像に相当する場
合は、指の動きの検出モードに入り、その後の指の動作
で表示制御コマンドを発生するようにしているので、段
階的な認識により手と指一連の動きの認識を正確に行う
ことができ、更に、第１の指のずれと第２の指のずれを
相対的に比較することにより異なる表示制御コマンドを
発生しているので、指の動きの特徴をより正確に認識し
て、複数のコマンドを発生させることが可能である。

【００６０】

【００６１】

【００６２】

【図面の簡単な説明】

【図１】本発明のコマンド処理装置の一実施例の外観構
成図。

【図２】図１のコマンド処理装置の回路ブロック図。

【図３】小指により次ページの切換を指示している様子
を示す図。

【図４】親指により前ページの切換を指示している様子
を示す図。

【図５】図１のコマンド処理装置によるコマンド指示処
理を示すフローチャート。

【符号の説明】

１ コマンド処理装置 ２ 箱型ケース ３ プロジェクター ４ カメラ ５ スクリーン ６ 画像認識部 ７ 画像メモリ ８ 画像処理部 ９ メインメモリ １０ 表示メモリ １１ 表示部

フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 3/033 310 G06F 3/03 380 G06T 1/00

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】入力された手の画像を認識し、これが予め
   記憶されている初期パターン画像に相当するかを比較す
   る比較手段と、 初期パターン画像に相当する場合は、指の動きの検出モ
   ードに入り、第１の指のずれの値と第２の指のずれの値
   を検出する検出手段と、 第１の指のずれが第２の指のずれより大きい場合に、第
   １の表示制御コマンドを、第２の指のずれが第１の指の
   ずれより大きい場合に、第２の表示制御コマンドを発生
   するコマンド発生手段と、 前記第１の表示制御コマンドもしくは第２の表示制御コ
   マンドに基づいて表示データの切換え制御を行う表示制
   御手段と、 を備えたことを特徴とするコマンド処理装置。
2. 【請求項２】前記コマンド発生手段が発生する第１の表
   示制御コマンド及び第２の表示制御コマンドは前記表示
   制御手段によって表示される表示データを次ページ及び
   前ページに切換える表示制御コマンドであることを特徴
   とする請求項１記載のコマンド処理装置。
3. 【請求項３】前記検出手段は、小指のずれの値と親指の
   ずれの値を検出し、前記コマンド発生手段は、小指のず
   れが親指のずれより大きい場合に、第１の表示制御コマ
   ンドを、親指のずれが小指のずれより大きい場合に、第
   ２の表示制御コマンドを発生することを特徴する請求項
   １記載のコマンド処理装置。