JP2012089083A - 電子機器の情報入力装置及び方法 - Google Patents
電子機器の情報入力装置及び方法 Download PDFInfo
- Publication number
- JP2012089083A JP2012089083A JP2010237657A JP2010237657A JP2012089083A JP 2012089083 A JP2012089083 A JP 2012089083A JP 2010237657 A JP2010237657 A JP 2010237657A JP 2010237657 A JP2010237657 A JP 2010237657A JP 2012089083 A JP2012089083 A JP 2012089083A
- Authority
- JP
- Japan
- Prior art keywords
- input
- finger
- information
- state
- pointing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
【課題】任意に設定できる指の姿、動きに応じて入力面を選択、切替えることができ、選択された入力面に対して他の入力面に影響を与えることなく、文字と同等、マウスと同等、テンキーと同等、ショートカットキーと同等情報などを入力可能とする。
【解決手段】情報入力装置は、撮像手段S020と、該撮像手段の映像から指情報を抽出する抽出手段S030と、前記指情報に基づき、入力面上の指の２次元座標を算出すると共に、操作者が操作し易いように予め定めた指示指状態テーブルより現在の指示指状態を確定する指示指確定手段S040と、前記指示指状態と指示指状態が継続する時間と操作指示との組合せからなり、予め定めた操作手順と対応付けた操作状態判定テーブルより指示指状態に応じた操作状態を確定する操作状態確定手段S050と、確定した前記操作状態に従って、入力面の選択又は入力情報の生成の操作指示を実施する操作手順実施手段S060とを具備する。
【選択図】図９
【解決手段】情報入力装置は、撮像手段S020と、該撮像手段の映像から指情報を抽出する抽出手段S030と、前記指情報に基づき、入力面上の指の２次元座標を算出すると共に、操作者が操作し易いように予め定めた指示指状態テーブルより現在の指示指状態を確定する指示指確定手段S040と、前記指示指状態と指示指状態が継続する時間と操作指示との組合せからなり、予め定めた操作手順と対応付けた操作状態判定テーブルより指示指状態に応じた操作状態を確定する操作状態確定手段S050と、確定した前記操作状態に従って、入力面の選択又は入力情報の生成の操作指示を実施する操作手順実施手段S060とを具備する。
【選択図】図９
Description
本発明は、電子機器の情報入力装置及びその方法に関するものである。より詳しくは、予め設定された操作者の指の姿態、動きに応じて、マウス情報のみならず文字情報、テンキー情報等も入力することが可能な電子機器の情報入力装置及び方法に関するものである。
入力作業の効率化、疲労の軽減、及び、省スペース化を目的とした電子機器の入力装置として、１つの入力面に対し、従来の機械的入力操作に加えて、更に入力面を操作する指の動きをカメラで撮影した映像を入力情報として使用する入力装置が提案されている。
その１つは、ノート型パーソナルコンピュータに適用したもので、通常のキーボード操作入力に加えて、更にキーボード上の指の動きをカメラで撮影した映像で、マウス機能を代替入力するもので、キーボード上のホームポジションを基点として操作する通常の操作では、人差し指と中指を揃えて動かすことはありえないことに着眼し、人差し指と中指が揃って動いたときに映像入力をするものである。
即ち、キーボード上の指の映像の中に、人差し指と中指が揃って動いていることが確認されたときは、マウスポインタを移動させる操作と判断し、また、人差し指と中指を揃えた状態からどちらかの指を上下に動かしたときはクリック操作をしていると判断するもので、キーボード上の指の映像を入力情報として使用し、マウスポインタの移動操作とクリック操作とを行うものが提案されている（例えば、特許文献１を参照）。
しかしながら、この方式では、２種類の入力面の切換（通常のキーボード入力と映像情報によるポインティング入力）しかできないし、人差し指と中指を揃えた状態でのポインティング操作しかできないので、ユーザーフレンドリな入力装置と言えない欠点があった。
他の１つは、電子機器等の小型パッケージ内に収納可能な入力装置を提供することを目的として、１つの入力面を複数の入力面として使用できるように、この複数の入力面を夫々入力パネル化して、１つの入力面を選択して呼び出す事ができるようにし、２台のカメラで撮影している入力面に、この選択した入力パネルを呼び出し、この呼び出した入力パネル上での入力をカメラで撮影した映像情報から検出し、今日の機械式入力装置に作り出されているタイプの入力信号を生成するものが提案されている（例えば、特許文献２を参照）。
しかしながら、複数の入力面を選択可能にしたものであるが、選択可能な入力面を選択する選択ボタンを各入力面に設けているので、入力面の増減に伴い、各入力面への変更も発生し、操作性や小型化において欠点があった。また、入力判定が、利用者の指と入力面との距離のみに依存していて簡潔であるが、ユーザーフレンドリな入力操作にできないという欠点もあった。
本発明は、前記問題点を解消し、電子機器への手入力作業において、入力作業の高効率化、疲労の軽減（省力）化、入力装置の省スペース化を図るとともに、ユーザーフレンドリなマン・マシンインターフェイスとして、画像認識を利用した入力装置を提供することを目的とするものである。
即ち、電子機器の入力操作面上に備える本発明の入力装置の入力面は、他の入力面に影響を与えることがなく、操作者により入力面の追加や変更ができる。
本発明の入力装置を操作する指の姿は、操作者が操作し易い指の姿や、操作者にとって意味のある指の姿で操作が行えるように等、操作者の要望を考慮して任意に変更又は設定することができる。
本発明の入力装置の操作手順は、操作者が定めた入力面毎に操作者が定めた指の姿や指の姿の変化の速度により、入力操作の操作性や確実性を考慮して構築ができる。
即ち、電子機器の入力操作面上に備える本発明の入力装置の入力面は、他の入力面に影響を与えることがなく、操作者により入力面の追加や変更ができる。
本発明の入力装置を操作する指の姿は、操作者が操作し易い指の姿や、操作者にとって意味のある指の姿で操作が行えるように等、操作者の要望を考慮して任意に変更又は設定することができる。
本発明の入力装置の操作手順は、操作者が定めた入力面毎に操作者が定めた指の姿や指の姿の変化の速度により、入力操作の操作性や確実性を考慮して構築ができる。
請求項１に記載の電子機器の情報入力装置は、
入力操作面の所定の領域の映像を逐次撮像する撮像手段と、
前記撮像手段の映像より指情報を抽出する指情報抽出手段と、
前記指情報抽出手段からの指情報に基づき現在の指の姿と映像上の指の位置座標を確定し、前記現在の指の位置座標と記憶されている前回の指の抽出情報の指の位置座標との差異状況を確定し、予め定められ且つ変更し得る、前記指の姿と前記位置座標の差異状況に対して指示指状態を対応付けた指示指状態テーブルより現在の指示指状態を確定するとともに、前記現在の指の位置座標より入力操作面の所定の位置に形成される入力面上の現在の指の２次元座標を算出する指示指確定手段と、
予め定められ且つ変更し得る、前記入力操作面の所定の位置に形成される前記入力面に対して、前記指示指状態と該指示指状態が継続する時間と操作指示との組合せからなる少なくとも１組以上の操作手順を対応付けた操作状態判定テーブルより、前記指示指確定手段によって確定した指示指状態に応じた操作状態を確定する操作状態確定手段と、
前記操作状態確定手段によって確定した前記操作状態に従って、入力面の選択又は入力情報の生成の何れかの操作指示を実施する操作手順実施手段と、を備えていることを特徴とする。
入力操作面の所定の領域の映像を逐次撮像する撮像手段と、
前記撮像手段の映像より指情報を抽出する指情報抽出手段と、
前記指情報抽出手段からの指情報に基づき現在の指の姿と映像上の指の位置座標を確定し、前記現在の指の位置座標と記憶されている前回の指の抽出情報の指の位置座標との差異状況を確定し、予め定められ且つ変更し得る、前記指の姿と前記位置座標の差異状況に対して指示指状態を対応付けた指示指状態テーブルより現在の指示指状態を確定するとともに、前記現在の指の位置座標より入力操作面の所定の位置に形成される入力面上の現在の指の２次元座標を算出する指示指確定手段と、
予め定められ且つ変更し得る、前記入力操作面の所定の位置に形成される前記入力面に対して、前記指示指状態と該指示指状態が継続する時間と操作指示との組合せからなる少なくとも１組以上の操作手順を対応付けた操作状態判定テーブルより、前記指示指確定手段によって確定した指示指状態に応じた操作状態を確定する操作状態確定手段と、
前記操作状態確定手段によって確定した前記操作状態に従って、入力面の選択又は入力情報の生成の何れかの操作指示を実施する操作手順実施手段と、を備えていることを特徴とする。
請求項２に記載の入力装置は、請求項１に記載の入力装置において、撮像手段が２次元イメージセンサで構成されることを特徴とする。
請求項３に記載の入力装置は、請求項１に記載の入力装置において、撮像手段が、入力面に対して横方向に設けられた少なくとも２個の１次元イメージセンサで構成され、入力面上の２次元座標が三角測量法で算出されることを特徴とする。
請求項４に記載の入力装置は、請求項１に記載の入力装置において、撮像手段が２次元イメージセンサと１次元イメージセンサの組合せで構成されることを特徴とする。
請求項５に記載の入力装置は、請求項１に記載の入力装置において、撮像手段がその近傍に入力操作面の所定の領域を照射するための照射手段を備えることを特徴とする。
請求項６に記載の入力装置は、請求項１に記載の入力装置において、指示指確定手段が、操作者の指の姿を、指の間の隙間の有無、指の本数、又は指の本数と指の幅として認識することを特徴とする。
請求項７に記載の入力装置は、請求項１に記載の入力装置において、操作手順実施手段が、前記入力面と入力情報の生成指示と２次元座標に対して予め定められ且つ変更し得る複数の入力情報を対応付けた入力情報テーブルを有し、
操作状態確定手段からの操作指示の内容が入力面の選択指示であれば、現在選択されている入力面を前記入力面の選択指示に従い変更し、
操作状態確定手段からの操作指示の内容が入力情報の生成の指示であれば、現在選択されている入力面において、
入力面と入力情報の生成の指示に対して操作者が定めた入力情報を生成し、または、
入力面と入力情報の生成の指示と指の２次元座標から、入力情報テーブルより入力情報を生成する、ことを特徴とする。
操作状態確定手段からの操作指示の内容が入力面の選択指示であれば、現在選択されている入力面を前記入力面の選択指示に従い変更し、
操作状態確定手段からの操作指示の内容が入力情報の生成の指示であれば、現在選択されている入力面において、
入力面と入力情報の生成の指示に対して操作者が定めた入力情報を生成し、または、
入力面と入力情報の生成の指示と指の２次元座標から、入力情報テーブルより入力情報を生成する、ことを特徴とする。
請求項８に記載の入力装置は、請求項１に記載の入力装置において、入力操作面の所定の位置に形成される入力面は、少なくともキーボートの入力面とテンキー情報の入力面とマウス情報の入力面とを含み、これらの各入力面が操作手順実施手段によって相互に切り替えられることを特徴とする。
請求項９に記載の入力装置は、請求項８に記載の入力装置において、入力操作面の所定の位置に形成される入力面には更に、マウス情報の入力面との間で、操作手順実施手段によって切り替えられる左クリック押下継続の入力面とスクロール待ちの入力面が含まれることを特徴とする。
請求項１０に記載の電子機器への情報を入力する方法は、
入力操作面の所定の領域の映像を逐次撮像する撮像過程と、
前記撮像過程で得られた映像より指情報を抽出する指情報抽出過程と、
前記指情報抽出過程で得られた指情報に基づき現在の指の姿と映像上の指の位置座標を確定し、前記現在の指の位置座標と記憶されている前回の指の抽出情報の指の位置座標との差異状況を確定し、予め定められ且つ変更し得る、前記指の姿と前記位置座標の差異状況に対して指示指状態を対応付けた指示指状態テーブルより現在の指示指状態を確定するとともに、前記現在の指の位置座標より入力操作面の所定の位置に形成される入力面上の現在の指の２次元座標を算出する指示指確定過程と、
予め定められ且つ変更し得る、前記入力操作面の所定の位置に形成される前記入力面に対して、前記指示指状態と該指示指状態が継続する時間と操作指示との組合せからなる少なくとも１組以上の操作手順を対応付けた操作状態判定テーブルより、前記指示指確定過程によって確定した指示指状態に応じた操作状態を確定する操作状態確定過程と、
前記操作状態確定過程によって確定した前記操作状態に従って、入力面の選択又は入力情報の生成の何れかの操作指示を実施する操作手順実施過程と、からなることを特徴とする。
入力操作面の所定の領域の映像を逐次撮像する撮像過程と、
前記撮像過程で得られた映像より指情報を抽出する指情報抽出過程と、
前記指情報抽出過程で得られた指情報に基づき現在の指の姿と映像上の指の位置座標を確定し、前記現在の指の位置座標と記憶されている前回の指の抽出情報の指の位置座標との差異状況を確定し、予め定められ且つ変更し得る、前記指の姿と前記位置座標の差異状況に対して指示指状態を対応付けた指示指状態テーブルより現在の指示指状態を確定するとともに、前記現在の指の位置座標より入力操作面の所定の位置に形成される入力面上の現在の指の２次元座標を算出する指示指確定過程と、
予め定められ且つ変更し得る、前記入力操作面の所定の位置に形成される前記入力面に対して、前記指示指状態と該指示指状態が継続する時間と操作指示との組合せからなる少なくとも１組以上の操作手順を対応付けた操作状態判定テーブルより、前記指示指確定過程によって確定した指示指状態に応じた操作状態を確定する操作状態確定過程と、
前記操作状態確定過程によって確定した前記操作状態に従って、入力面の選択又は入力情報の生成の何れかの操作指示を実施する操作手順実施過程と、からなることを特徴とする。
請求項１１に記載の情報入力方法は、請求項１０に記載の入力方法において、撮像過程が２次元イメージセンサを用いて行われることを特徴とする。
請求項１２に記載の情報入力方法は、請求項１０に記載の入力方法において、撮像過程が入力面に対して横方向に設けられた少なくとも２個の１次元イメージセンサを用いて行われ、入力面上の２次元座標が三角測量法で算出されることを特徴とする。
請求項１３に記載の情報入力方法は、請求項１０に記載の入力方法において、撮像過程が２次元イメージセンサと１次元イメージセンサの組合せで行われることを特徴とする。
請求項１４に記載の情報入力方法は、請求項１０に記載の入力方法において、指示指確定過程が、操作者の指の姿を、指の間の隙間の有無、指の本数、又は指の本数と指の幅として認識することを特徴とする。
本発明の請求項１の入力装置では、撮像手段により撮像された映像より抽出した指の情報を、予め定められ且つ操作者が変更し得る指示指状態として表現できる。操作状態確定手段は、この指示指状態が、予め操作者が定めた操作状態判定テーブルで現在選択されている入力面のデータの１組目に登録されている指示指状態と一致したときを操作手順の開始トリガーとし、続く指示指状態を選択決定意思の指示指状態として受けて、前記開始トリガーとしたデータに登録された指示指状態と一致したとき、操作手順の操作指示を確定する。したがって、操作手順実施手段により、操作指示に従って入力面の選択や、選択された入力面の入力情報を生成できる。
請求項２の入力装置では、撮像手段が２次元イメージセンサで構成されるため、指の情報を正確に検出することができる。
請求項３の入力装置では、撮像手段が入力面に対して横方向に設けられた少なくとも二つの１次元イメージセンサで構成されるため、装置を安価に構成することができる。
請求項４の入力装置では、撮像手段が２次元センサと１次元センサの組合せで構成されるため、指の情報を正確に検出できるとともに、装置全体を安価に構成することができる。
請求項５の入力装置では、撮像手段が照射手段を備えているため、指と背景とを明確に区別して撮影することができる。
請求項６の入力装置では、用いられる撮像手段の種類により、指示指確定手段は、操作者の指の姿を、指の間の隙間の有無、指の本数、又は指の本数と指の幅という自由な組合せで容易に認識することができる。
請求項７の入力装置では、操作手順実施手段が、操作者が任意に設定・変更し得る複数の入力情報を対応付けた入力情報テーブルを有しているため、選択された入力面上の指の２次元座標に基づき、入力情報テーブルに定められた入力情報を直ちに入力することができる。
請求項８の入力装置では、入力操作面の所定の位置に形成される入力面には、少なくともキーボートの入力面とテンキー情報の入力面とマウス情報の入力面が含まれ、これらの各入力面を操作手順実施手段によって相互に切り替えることができるので、通常のコンピュータの入力操作に必要なすべての情報を入力面を切り替えながら、効率良く入力することができる。
請求項９の入力装置は、入力面に更に、マウス情報の入力面との間で、操作手順実施手段によって切り替えることができる左クリック押下継続の入力面とスクロール待ちの入力面を含むので、通常のマウスが有するすべての情報を集約的に効率良く入力することができる。
本発明の請求項１０の入力方法では、撮像過程により撮像された映像より抽出した指の情報を、予め定められ且つ操作者が変更し得る指示指状態として表現できる。操作状態確定過程は、この指示指状態が、予め操作者が定めた操作状態判定テーブルで現在選択されている入力面のデータの１組目に登録されている指示指状態と一致したときを操作手順の開始トリガーとし、続く指示指状態を選択決定意思の指示指状態として受けて、前記開始トリガーとしたデータに登録された指示指状態と一致したとき、操作手順の操作指示を確定する。したがって、操作手順実施過程により、操作指示に従って入力面の選択や、選択された入力面の入力情報を生成できる。
請求項１１の入力方法では、撮像過程が２次元イメージセンサを用いて行われるため、指情報を正確に検出することができる。
請求項１２の入力方法では、撮像過程が入力面に対して横方向に設けられた少なくとも２個の１次元イメージセンサを用いて行われ、入力面上の２次元座標が三角測量法で算出されるため、指情報を安価に得ることができる。
請求項１３の入力方法では、撮像過程が、２次元イメージセンサと１次元イメージセンサの組合せで行われるため、指情報を正確且つ安価に得ることができる。
請求項１４の入力方法では、指示指確定過程は、撮像過程に応じて、操作者の指の姿を、指の間の隙間の有無、指の本数、又は指の本数と指の幅という自由な組合せで容易に認識することができる。
以下、本発明の好適実施例を添付図面を参照しながら詳しく説明する。尚、全図面を通して、同一参照番号又は符号は、明細書全体を通して同一又は同等の部品を表わすものとする。
最初に、発明の入力装置として機能するノート型パソコンであって、ノート型パソコンのキーボード上で、従来のキーボード操作に加え、画像認識を利用したマウスと同等情報やテンキーと同等情報やショートカットキーと同等情報や文字と同等情報の入力ができる実施例１を図１から図９を参照して説明する。
先ず、物理的構成について、図１及び図２を参照して説明する。
参照符号１は、開閉式のノート型パーソナルコンピュータ（以下、ＰＣ１と呼ぶ）であり、本体側に各種の文字や記号や機能情報（ファンクションキー等）を入力するための複数の操作キーからなるキーボード４が設けられている。
また、蓋側の中央に表示画面であるディスプレイ２が設けられ、上部には、キーボード４上の指を動作中常時撮影するＣＣＤ（Charge Coupled Device）カメラ３（以下、カメラ３と呼ぶ）が設けられている。また、本体側の側面には、ＵＳＢ（Universal Serial Bus）コネクタ８が設けられている。
図１及び図２の点線４ａ部分は、カメラ３の映像からマウスと同等情報やテンキーと同等情報やショートカットキーと同等情報や文字と同等情報を入力するときに使用する領域であり、図２の点線４ｂ部分の小領域は、テンキー情報の０から９の数字と四則演算の記号を入力するための領域の配置位置である。
参照符号１は、開閉式のノート型パーソナルコンピュータ（以下、ＰＣ１と呼ぶ）であり、本体側に各種の文字や記号や機能情報（ファンクションキー等）を入力するための複数の操作キーからなるキーボード４が設けられている。
また、蓋側の中央に表示画面であるディスプレイ２が設けられ、上部には、キーボード４上の指を動作中常時撮影するＣＣＤ（Charge Coupled Device）カメラ３（以下、カメラ３と呼ぶ）が設けられている。また、本体側の側面には、ＵＳＢ（Universal Serial Bus）コネクタ８が設けられている。
図１及び図２の点線４ａ部分は、カメラ３の映像からマウスと同等情報やテンキーと同等情報やショートカットキーと同等情報や文字と同等情報を入力するときに使用する領域であり、図２の点線４ｂ部分の小領域は、テンキー情報の０から９の数字と四則演算の記号を入力するための領域の配置位置である。
カメラ３のレンズ周囲部には調整ツマミ５が設けられ、キーボード４を操作する指を映像として確実に捉えることができるように、カメラ３の視野が調整できるようになっている。
特に、カメラ３で撮像対象としたいのはキーボード４上の左手と右手の部分であるから、キーボード４を手から識別し易い色、例えば黒にすることが好ましい。この様にすれば、手のコントラストが高くなるため、手の部分を容易に抽出することができる。また、カメラ３の付近にキーボード４上を照射する照射手段を備え、キーボード４の面を反射率の低い部材とすることにより、より、手のコントラストを高くすることができる。
特に、カメラ３で撮像対象としたいのはキーボード４上の左手と右手の部分であるから、キーボード４を手から識別し易い色、例えば黒にすることが好ましい。この様にすれば、手のコントラストが高くなるため、手の部分を容易に抽出することができる。また、カメラ３の付近にキーボード４上を照射する照射手段を備え、キーボード４の面を反射率の低い部材とすることにより、より、手のコントラストを高くすることができる。
次に、図３Ａを参照して、ＰＣ１の電気的構成について説明する。
ＰＣ１は、その制御部５０内に、ＰＣ１が具備する各種機能の全体を制御するＣＰＵ１０が設けられている。このＣＰＵ１０には、入力プログラムの他、ＰＣ１を動作させるための各種プログラム等を記憶したＲＯＭ１１と、前記入力プログラムで使用する各種のデータ（後述の図３Ｂを参照）の他、ＰＣ１の各種のデータを一時的に記憶するＲＡＭ１２と、前記入力プログラムにおいて時間の経過を計測するためのタイマ１３と、Ｉ／Ｏインターフェイス１４とがバスを介して接続されている。Ｉ／Ｏインターフェイス１４には、ディスプレイ２及びカメラ３を制御するためのビデオコントローラ１５と、キーボード４を制御するためのキーコントローラ１６と、前記入力プログラムを制御するための各種テーブル（後述の図３Ｃを参照）を記憶するための記憶装置であるハードディスク装置（ＨＤＤ）１７とＵＳＢコネクタ８とが接続されている。
ＰＣ１は、その制御部５０内に、ＰＣ１が具備する各種機能の全体を制御するＣＰＵ１０が設けられている。このＣＰＵ１０には、入力プログラムの他、ＰＣ１を動作させるための各種プログラム等を記憶したＲＯＭ１１と、前記入力プログラムで使用する各種のデータ（後述の図３Ｂを参照）の他、ＰＣ１の各種のデータを一時的に記憶するＲＡＭ１２と、前記入力プログラムにおいて時間の経過を計測するためのタイマ１３と、Ｉ／Ｏインターフェイス１４とがバスを介して接続されている。Ｉ／Ｏインターフェイス１４には、ディスプレイ２及びカメラ３を制御するためのビデオコントローラ１５と、キーボード４を制御するためのキーコントローラ１６と、前記入力プログラムを制御するための各種テーブル（後述の図３Ｃを参照）を記憶するための記憶装置であるハードディスク装置（ＨＤＤ）１７とＵＳＢコネクタ８とが接続されている。
次に、入力装置の操作手順の概要について、図４を参照して説明する。
入力装置は、キーボード４から操作キーを打鍵する入力とショートカットキーと同等情報と文字と同等情報を入力するための入力面（ＯＰ−Ｋ：キーボードの入力面）と、マウスと同等情報を入力するための入力面（ＯＰ−Ｍ：マウス情報の入力面）と、テンキーと同等情報を入力するための入力面（ＯＰ−Ｔ：テンキー情報の入力面）と、スクロール情報を入力するための入力面（ＯＰ−ＭＳ：スクロール待ちの入力面）と、左クリック押下継続（ドラック操作をするための操作）をするための入力面（ＯＰ−ＭＣ：左クリック押下継続の入力面）とを備えていて、入力操作で使用する入力面を選択した後に入力操作を行う。
入力装置は、キーボード４から操作キーを打鍵する入力とショートカットキーと同等情報と文字と同等情報を入力するための入力面（ＯＰ−Ｋ：キーボードの入力面）と、マウスと同等情報を入力するための入力面（ＯＰ−Ｍ：マウス情報の入力面）と、テンキーと同等情報を入力するための入力面（ＯＰ−Ｔ：テンキー情報の入力面）と、スクロール情報を入力するための入力面（ＯＰ−ＭＳ：スクロール待ちの入力面）と、左クリック押下継続（ドラック操作をするための操作）をするための入力面（ＯＰ−ＭＣ：左クリック押下継続の入力面）とを備えていて、入力操作で使用する入力面を選択した後に入力操作を行う。
キーボードの入力面（ＯＰ−Ｋ）が選択されていると、マウス情報の入力面（ＯＰ−Ｍ）やスクロール待ちの入力面（ＯＰ−ＭＳ）やテンキー情報の入力面（ＯＰ−Ｔ）の入力面を選択するためのトリガーとなる指の姿、或いは、ショートカットキーと同等情報や文字と同等情報の入力情報を入力するためのトリガーとなる指の姿を、所定の時間間隔で取得している映像にないかを監視（Ｋ−１とＫ−３とＫ−２とＩＮ−ＳＣ：詳細は、図６を参照して後述する）している。
もし、カメラ３が撮像した映像が入力面を選択するためのトリガーとなる指の姿に当てはまれば、続く、カメラ３が撮像した映像が、予め登録されている入力面の選択を確定する指の姿かどうかを判定し、入力面の選択が確定する。
また、カメラ３が撮像した映像が前記入力情報を入力するためのトリガーとなる指の姿に当てはまれば、続く、カメラ３が撮像した映像が、予め登録されている前記入力情報を決定する指の姿かどうかを判定し、前記入力情報が確定する。
このトリガーとなる指の姿とこれに続く指の姿が、入力面を選択する操作手順や入力情報を決定する操作手順（以下、入力装置の操作手順と呼ぶ）となる。
また、カメラ３が撮像した映像が前記入力情報を入力するためのトリガーとなる指の姿に当てはまれば、続く、カメラ３が撮像した映像が、予め登録されている前記入力情報を決定する指の姿かどうかを判定し、前記入力情報が確定する。
このトリガーとなる指の姿とこれに続く指の姿が、入力面を選択する操作手順や入力情報を決定する操作手順（以下、入力装置の操作手順と呼ぶ）となる。
マウス情報の入力面（ＯＰ−Ｍ）が選択されていると、
キーボードの入力面（ＯＰ−Ｋ）やテンキー情報の入力面（ＯＰ−Ｔ）や左クリック押下継続の入力面（ＯＰ−ＭＣ）やスクロール待ちの入力面（ＯＰ−ＭＳ）を選択するためのトリガーとなる指の姿、或いは、マウス情報の入力面における入力情報を決定する為のトリガーとなる指の姿を、所定の時間間隔で取得している映像にないかを監視（Ｍ−９とＭ−１０とＭ−７とＭ−８とＭ−１：詳細は、図６を参照して後述する）している。
キーボードの入力面（ＯＰ−Ｋ）やテンキー情報の入力面（ＯＰ−Ｔ）や左クリック押下継続の入力面（ＯＰ−ＭＣ）やスクロール待ちの入力面（ＯＰ−ＭＳ）を選択するためのトリガーとなる指の姿、或いは、マウス情報の入力面における入力情報を決定する為のトリガーとなる指の姿を、所定の時間間隔で取得している映像にないかを監視（Ｍ−９とＭ−１０とＭ−７とＭ−８とＭ−１：詳細は、図６を参照して後述する）している。
テンキー情報の入力面（ＯＰ−Ｋ）が選択されていると、
キーボードの入力面（ＯＰ−Ｋ）やマウス情報の入力面（ＯＰ−Ｍ）を選択するためのトリガーとなる指の姿か、或いは、テンキー情報を入力するためのトリガーとなる指の姿を、所定の時間間隔で取得している映像にないかを監視（Ｔ−２とＴ−３とＴ−１：詳細は、図６を参照して後述する）している。
したがって、キーボードの入力面（ＯＰ−Ｋ）やマウス情報の入力面（ＯＰ−Ｍ）やテンキー情報の入力面（ＯＰ−Ｋ）は、操作者が、トリガーとなる特別に意味のある指の姿をとることに応じて相互に往来できる。
キーボードの入力面（ＯＰ−Ｋ）やマウス情報の入力面（ＯＰ−Ｍ）を選択するためのトリガーとなる指の姿か、或いは、テンキー情報を入力するためのトリガーとなる指の姿を、所定の時間間隔で取得している映像にないかを監視（Ｔ−２とＴ−３とＴ−１：詳細は、図６を参照して後述する）している。
したがって、キーボードの入力面（ＯＰ−Ｋ）やマウス情報の入力面（ＯＰ−Ｍ）やテンキー情報の入力面（ＯＰ−Ｋ）は、操作者が、トリガーとなる特別に意味のある指の姿をとることに応じて相互に往来できる。
また、マウス情報の入力面（ＯＰ−Ｍ）において、入力情報を決定する為のトリガーとなる指の姿を見つけると、これに続く指の姿により入力情報を決定するが、このトリガーとなる指の姿とそれに続く指の姿が、マウス情報の入力面における入力情報を決定する操作手順（Ｍ−２からＭ−６）となる。
したがって、入力面を選択する操作手順と選択された入力面における入力情報を決定する操作手順からなる入力装置の操作手順は、操作手順が使用できる入力面毎に、操作手順を開始する指の姿とそれに続く指の姿の連続する組合せで表現できる。
言いかえれば、この指の姿の組合せは、入力装置に対して、入力面の選択の指示や選択されている入力面における入力情報の生成の指示（以下、操作指示という）を出せる。
言いかえれば、この指の姿の組合せは、入力装置に対して、入力面の選択の指示や選択されている入力面における入力情報の生成の指示（以下、操作指示という）を出せる。
さらに、この指の姿の組合せを構成する指の姿毎に、指の姿が継続しなければならない最短の時間（以下、指示指継続時間という）を予め設定しておくことで、この指の姿が、設定された指示指継続時間を継続したか否かを、操作指示を出す判定条件とする事ができる。例えば、指示指継続時間がゼロ秒なら、指の姿が変化した時点で直ちに操作指示を出せる。
また、この指示指継続時間に達する前に指の姿が変化した場合は、操作手順に従った操作が実施されなかった事になる。
また、この指示指継続時間に達する前に指の姿が変化した場合は、操作手順に従った操作が実施されなかった事になる。
したがって、操作者にとって、より、操作し易い速度で操作できるように操作手順を構築することができる。また、同一の指示指状態を持続させている時間により、操作指示を決定することができる。
この指示指継続時間と比較する経過時間は、同一の指の姿が継続している持続時間で、タイマ１３により計測し、随時、経過時間１２２に記憶している。
この指示指継続時間と比較する経過時間は、同一の指の姿が継続している持続時間で、タイマ１３により計測し、随時、経過時間１２２に記憶している。
次に、操作者が定める、操作者にとって操作し易い指の姿や、操作者にとって意味のある指の姿をどの様にして識別するかについて、図５を参照して説明する。
指の姿は、操作者が容易にその姿態をとることができ、且つカメラ３の映像情報から容易に抽出・判定できるものである事を考慮して、以下の基準で識別し、識別した指の姿を指示指状態と呼ぶ。
先ず、前記映像情報から指の間の隙間が有るかどうかを判定し、隙間状況を確定する。尚、指先の隙間だけが無い場合も、指の間の隙間が無いと判断する。次に、左右の指で動いている指を特定するために、前記映像情報上における左右の指の位置座標を求め、前回の映像情報の左右の指の位置座標を記憶してある記憶領域の前回座標１２１と比較し位置座標の差異状況を確定する。尚、映像情報上における指の位置座標は、図２の点線４ａの領域内の各指の先端の位置で求めればよい。
前記隙間状況と前記位置座標の差異状況が確定すると、前記隙間状況と前記位置座標の差異状況に対して指示指状態を対応付けた指示指状態テーブル１７３より、指示指状態を確定する。尚、入力面上における指の２次元座標は、映像情報上における指の位置座標と同一とする。尚、差異状況が確定後、指の位置座標を前回座標１２１へ格納する。
指の姿は、操作者が容易にその姿態をとることができ、且つカメラ３の映像情報から容易に抽出・判定できるものである事を考慮して、以下の基準で識別し、識別した指の姿を指示指状態と呼ぶ。
先ず、前記映像情報から指の間の隙間が有るかどうかを判定し、隙間状況を確定する。尚、指先の隙間だけが無い場合も、指の間の隙間が無いと判断する。次に、左右の指で動いている指を特定するために、前記映像情報上における左右の指の位置座標を求め、前回の映像情報の左右の指の位置座標を記憶してある記憶領域の前回座標１２１と比較し位置座標の差異状況を確定する。尚、映像情報上における指の位置座標は、図２の点線４ａの領域内の各指の先端の位置で求めればよい。
前記隙間状況と前記位置座標の差異状況が確定すると、前記隙間状況と前記位置座標の差異状況に対して指示指状態を対応付けた指示指状態テーブル１７３より、指示指状態を確定する。尚、入力面上における指の２次元座標は、映像情報上における指の位置座標と同一とする。尚、差異状況が確定後、指の位置座標を前回座標１２１へ格納する。
例えば、マウス情報の入力面を選択するためのトリガーとなる指の姿と、マウスポインタを移動するときに使用する指の姿は、操作者にとって意味のある指の姿となるように、右手は、マウスを握るような形状とした。この右手は、親指と人差し指の隙間が有り、人差し指と中指の隙間が有り、中指と薬指の間の隙間と薬指と小指の間の隙間の有無については問わない形状とする。そして、左手は、図２の点線４ａ内に入れないようにする。
この指の姿が静止している状態を、以後、指示指状態"００１"と呼ぶ（図５Ａの指示指状態"００１"を参照）。
この指の姿が静止している状態を、以後、指示指状態"００１"と呼ぶ（図５Ａの指示指状態"００１"を参照）。
次に、カメラ３の映像から確定した指示指状態は、
操作手順通りに操作し、操作手順が終了するものである（以下、Ｗ操作状態という）、１つの操作手順に絞りこまれていて操作手順通りに操作中である（以下、Ｘ操作状態という）、操作手順の絞り込み中である（以下、Ｙ操作状態という）、操作手順に当てはまらない指示指状態だった（以下、Ｚ操作状態という）かの、いずれの操作状態かを判定し確定するための、操作状態判定テーブル１７１について、図６を参照して説明する。
操作手順通りに操作し、操作手順が終了するものである（以下、Ｗ操作状態という）、１つの操作手順に絞りこまれていて操作手順通りに操作中である（以下、Ｘ操作状態という）、操作手順の絞り込み中である（以下、Ｙ操作状態という）、操作手順に当てはまらない指示指状態だった（以下、Ｚ操作状態という）かの、いずれの操作状態かを判定し確定するための、操作状態判定テーブル１７１について、図６を参照して説明する。
これまでの説明から操作手順は、入力面毎に、開始の手順となる「指示指状態と指示指継続時間と操作指示」と、必要であれば、それに続く手順となる「指示指状態と指示指継続時間と操作指示」とから構成されることが判る。
したがって、入力装置は、入力面に対して、１組以上の指示指状態と指示指継続時間と操作指示を対応させた操作状態判定テーブル１７１（図６を参照）を備えることで、カメラ３から所定の時間間隔で取得する映像から確定した指示指状態と経過時間１２２と操作状態判定テーブル１７１とを突き合わせることで、前記操作状態（前記Ｗ、或いはＸ、或いはＹ、或いはＺ操作状態）を把握する事ができる。
例えば、キーボードの入力面（図４のＯＰ−Ｋ）が選択されている状態で、カメラ３から取得した映像が指示指状態"００１"とすると、図６の操作状態判定テーブル１７１の現在選択されている入力面がキーボードの入力面であるデータの中で、開始の手順の指示指状態が"００１"のデータは、図６の（Ｋ−１）のみであることから、図６の（Ｋ−１）のデータで示す操作手順が、指示指状態"００１"を開始トリガーとして、開始したことになり、Ｘ操作状態となる。
その後、カメラ３から取得する映像の指示指状態は"００１"で、指示指状態"００１"を連続して取得している時間が１秒未満であれば、操作状態は、予め定めた入力装置の操作手順通りに操作中で、Ｘ操作状態が継続する。
その後、カメラ３から取得する映像の指示指状態"００１"が指示指継続時間で指定されている１秒以上連続した場合、操作状態は、予め定めた入力装置の操作手順通りに操作し、操作者の選択決定意思がされたとして、Ｗ操作状態となる。操作指示は、マウス情報の入力面が選択され、指示指状態"００１"を開始トリガーとした操作手順が終了する。
その後、カメラ３から取得する映像の指示指状態"００１"が指示指継続時間で指定されている１秒以上連続した場合、操作状態は、予め定めた入力装置の操作手順通りに操作し、操作者の選択決定意思がされたとして、Ｗ操作状態となる。操作指示は、マウス情報の入力面が選択され、指示指状態"００１"を開始トリガーとした操作手順が終了する。
したがって、入力装置は、選択されている入力面と操作指示で入力情報生成の指示があれば、入力情報の生成ができる。
また、選択されている入力面と入力情報生成の指示に対する入力情報を、指の２次元座標に対して決定する場合（例えば、テンキー情報）は、選択されている入力面と入力情報生成の指示と指の２次元座標の判定条件に対して、入力情報を対応付けた入力情報テーブル１７２（図７を参照）を備えればよい。
尚、図６の操作状態判定テーブル１７１では、開始手順の後の続く手順の個数は、３ケとなっているが、４ケ以上でも良い。
また、選択されている入力面と入力情報生成の指示に対する入力情報を、指の２次元座標に対して決定する場合（例えば、テンキー情報）は、選択されている入力面と入力情報生成の指示と指の２次元座標の判定条件に対して、入力情報を対応付けた入力情報テーブル１７２（図７を参照）を備えればよい。
尚、図６の操作状態判定テーブル１７１では、開始手順の後の続く手順の個数は、３ケとなっているが、４ケ以上でも良い。
次に、操作手順の詳細について、図４から図７を参照して説明する。
先ず、ＰＣ１の起動直後の入力装置は、パソコンの起動画面が表示されるとカメラ３によりキーボード４上の所定の領域（図２の点線４ａ内）の撮影を開始し、マウス情報の入力面を選択するためのトリガーとなる指の姿（指示指状態"００１"）が、所定の時間間隔で取得している映像にないかを監視（Ｋ−１）する。なお、パソコン起動時に自動的に選択される入力面は、キーボードの入力面（図４のＯＰ−Ｋ）とする。
先ず、ＰＣ１の起動直後の入力装置は、パソコンの起動画面が表示されるとカメラ３によりキーボード４上の所定の領域（図２の点線４ａ内）の撮影を開始し、マウス情報の入力面を選択するためのトリガーとなる指の姿（指示指状態"００１"）が、所定の時間間隔で取得している映像にないかを監視（Ｋ−１）する。なお、パソコン起動時に自動的に選択される入力面は、キーボードの入力面（図４のＯＰ−Ｋ）とする。
この状態から、「ＰＣ１の起動画面からメールソフトを起動する為に、マウスポインタをメールソフト起動のアイコンまで移動して、その位置でダブルクリックし、メールソフトを起動する。その後、宛先をアドレス帳より選択し、件名と本文を入力し送信する。その後、メールソフトウィンドウを閉じる」操作手順を例にして、図４を参照して説明すると、
手順その１：先ず、キーボードの入力面（図４のＯＰ−Ｋ）が選択されている初期状態から、マウス情報の入力面（図４のＯＰ−Ｍ）を選択（図４のＫ−１）する。
手順その２：マウスと同等情報の入力待ち状態（図４のＭ−１）となる。
手順その３：その後、左ダブルクリックをするためにマススポインタを移動（図４のＭ−２）。
手順その４：その後、左ダブルクリック（図４のＭ−４）をするとメールソフトが起動する。
手順その５：その後、メニューより、マウスと同等情報を使って、新規メール作成を選択、そして、宛先を選択する。
手順その６：その後、キーボード４より、件名と本文を入力するために、キーボードの入力面が選択されている状態とする（図４のＭ−９）。尚、本文の氏名と住所は、文字と同等情報の入力情報（図４のＫ−４、Ｋ−５）として入力する。
手順その７：その後、キーボードの入力面が選択されている状態から、メール送信のショートカットキーと同等情報（図４のＫ−６）を入力し、メールを送信、その後、メールソフトウィンドウを閉じるショートカットキーと同等情報（図４のＫ−７）を入力し、メールソフトを閉じる。
となる。
手順その１：先ず、キーボードの入力面（図４のＯＰ−Ｋ）が選択されている初期状態から、マウス情報の入力面（図４のＯＰ−Ｍ）を選択（図４のＫ−１）する。
手順その２：マウスと同等情報の入力待ち状態（図４のＭ−１）となる。
手順その３：その後、左ダブルクリックをするためにマススポインタを移動（図４のＭ−２）。
手順その４：その後、左ダブルクリック（図４のＭ−４）をするとメールソフトが起動する。
手順その５：その後、メニューより、マウスと同等情報を使って、新規メール作成を選択、そして、宛先を選択する。
手順その６：その後、キーボード４より、件名と本文を入力するために、キーボードの入力面が選択されている状態とする（図４のＭ−９）。尚、本文の氏名と住所は、文字と同等情報の入力情報（図４のＫ−４、Ｋ−５）として入力する。
手順その７：その後、キーボードの入力面が選択されている状態から、メール送信のショートカットキーと同等情報（図４のＫ−６）を入力し、メールを送信、その後、メールソフトウィンドウを閉じるショートカットキーと同等情報（図４のＫ−７）を入力し、メールソフトを閉じる。
となる。
前記各操作手順を、操作状態判定テーブル１７１（図６を参照）と関連付けて説明する。
手順その１：キーボードの入力面が選択されている状態でマウス情報の入力面を選択するには、マウスを握るような指の姿である指示指状態"００１"の状態で、１秒以上静止すればよい。これは、指示指状態"００１"で、１秒以上静止することは、キーボード４の操作キーを打鍵して入力する操作者にとって、あり得ない操作手順である事に着目した。
手順その１：キーボードの入力面が選択されている状態でマウス情報の入力面を選択するには、マウスを握るような指の姿である指示指状態"００１"の状態で、１秒以上静止すればよい。これは、指示指状態"００１"で、１秒以上静止することは、キーボード４の操作キーを打鍵して入力する操作者にとって、あり得ない操作手順である事に着目した。
尚、「指示指状態"００１"で、１秒以上静止」の操作手順がキーボード４の操作キーを打鍵して入力する時にあり得るという操作者やキーボード４からの入力操作とマウスと同等情報の入力操作を繰り返すことが多い操作者にとっては、例えば、左手は、親指と人差し指の隙間有り、人差し指と中指の隙間無し、その他の指の間の隙間は問わず、そして、右手は、指示指状態"００１"と同様で、左右の全指が静止している状態（指示指状態"００３"の状態、図５Ｆを参照）で、１秒以上静止することにより、マウス情報の入力面を選択するようにすれば、この操作者にとって、より操作性が良くなる（この操作手順を、マウス情報の入力面の選択の第２手順、と呼ぶ）。
このようにして、操作者にとって操作のし易い指示指状態とこの指示指状態が継続している時間である指示指継続時間を任意に設定することができる。
このようにして、操作者にとって操作のし易い指示指状態とこの指示指状態が継続している時間である指示指継続時間を任意に設定することができる。
入力装置は、カメラ３の映像を取得し、指示指状態を"００１"と確定すると、キーボードの入力面を選択している状態で、開始のトリガーとなる指示指状態が"００１"となっている操作状態判定テーブル１７１は、図６のＫ−１のデータのみであると判定し、操作状態を、図６のＫ−１のデータにより、「マウス情報の入力面を選択する」操作手順が操作手順通りに操作中であることから、Ｘ操作状態とする。
その後、入力装置は、図６のＫ−１のデータの指示指状態"００１"の指示指継続時間が１秒であることから、操作者による入力面の選択の選択決定意思として、続く映像で指示指状態"００１"が１秒以上継続して見つかるかどうかを監視する。
もし、１秒継続しなかった場合は、操作者の入力の選択決定意思がされなかったことになり、手順その１は、操作手順通りに操作されなかったのでＺ操作状態となり、キーボードの入力面（図４のＯＰ−Ｋ）が選択されている状態が変更されることなく継続する事になる。
もし、１秒以上継続すれば、操作者の入力の選択決定意思がなされたことになる。すなわち、操作状態は、操作手順通り操作されたのでＷ操作状態となり、操作指示としてのマウス情報の入力面の選択がされ、手順その１の操作手順が終了する。
このように、入力面を選択する操作手順は、入力面の選択が決定すると、その操作手順は終了するように構築する。何故なら、操作手順は、現在使用できる入力面毎に定められているからである。
もし、１秒継続しなかった場合は、操作者の入力の選択決定意思がされなかったことになり、手順その１は、操作手順通りに操作されなかったのでＺ操作状態となり、キーボードの入力面（図４のＯＰ−Ｋ）が選択されている状態が変更されることなく継続する事になる。
もし、１秒以上継続すれば、操作者の入力の選択決定意思がなされたことになる。すなわち、操作状態は、操作手順通り操作されたのでＷ操作状態となり、操作指示としてのマウス情報の入力面の選択がされ、手順その１の操作手順が終了する。
このように、入力面を選択する操作手順は、入力面の選択が決定すると、その操作手順は終了するように構築する。何故なら、操作手順は、現在使用できる入力面毎に定められているからである。
手順その２：マウス情報の入力面が選択されると、マウスと同等情報の入力待ちの状態となる。この状態を継続するには、指示指状態"００１"を継続すればよい。
入力装置は、カメラ３の映像を取得し、指示指状態を"００１"と確定すると、マウス情報の入力面が選択されている状態で、開始のトリガーとなる指示指状態が"００１"となっているのは、図６のＭ−１のデータのみであると判定し、この指示指状態の指示指継続時間はゼロ秒で、且つ続く手順がないので、指示指状態"００１"を見つけると、操作状態を、操作手順通り操作されたのでＷ操作状態とする。そして、直ちに、マウスと同等情報が入力できる状態とする入力情報（右手の中指の２次元座標を現在のマウスポインタの位置とする）が入力（図７のＭ−１を参照）され、手順その２の操作手順が終了する。
このように、開始のトリガーとなる指示指状態により、直ちに、操作者の入力の選択決定意思がされたとすることもできる。
このように、開始のトリガーとなる指示指状態により、直ちに、操作者の入力の選択決定意思がされたとすることもできる。
手順その３：左ダブルクリックに先立ってマウスポインタを移動（図４のＭ−２）するには、マウス情報の入力面（図４のＯＰ−Ｍ）において、右手全体を動かせばよい。
右手全体を動かすとは、指示指状態"００１"において、右手全体を動かすことである（以下、この状態を指示指状態"００６"と呼ぶ、図５Ａを参照）。
尚、マウス情報の入力面の選択の第２手順でマウス情報の入力面を選択した時は、指示指状態"００３"の状態で右手だけを動かす（以下、指示指状態"００７"と呼ぶ、図５Ｆを参照）事でマウスポインタを移動する。
右手全体を動かすとは、指示指状態"００１"において、右手全体を動かすことである（以下、この状態を指示指状態"００６"と呼ぶ、図５Ａを参照）。
尚、マウス情報の入力面の選択の第２手順でマウス情報の入力面を選択した時は、指示指状態"００３"の状態で右手だけを動かす（以下、指示指状態"００７"と呼ぶ、図５Ｆを参照）事でマウスポインタを移動する。
入力装置は、カメラ３の映像を取得し、指示指状態を"００６"と確定すると、マウス情報の入力面が選択されている状態で、開始のトリガーとなる指示指状態が"００６"となっているのは、図６のＭ−２のデータのみであると判定し、この指示指状態の指示指継続時間はゼロ秒で、且つ続く手順がないので、指示指状態"００６"を見つけると、操作状態を、操作手順通り操作されたのでＷ操作状態とする。そして、直ちに、マウスポインタが移動する入力情報が入力（図７のＭ−２を参照）され、手順その３の操作手順が終了する。
手順その４：左ダブルクリックをするには、マウス情報の入力面が選択されている状態において、人差し指だけを動かした（以下、この状態を指示指状態"００８"と呼ぶ、図５Ａを参照：動かす方向は、上下でも良いし、横でも良い）後、指示指状態"００１"の状態にして、指示指状態"００１"が０．５秒以上経過する前に、再度、指示指状態"００８"とし、再度、指示指状態"００１"とすればよい。
尚、マウス情報の入力面の選択の第２手順でマウス情報の入力面を選択した時も、同様に、右手の人差し指だけを動かせばよい（指示指状態"００９"、図５Ｆを参照）。
尚、マウス情報の入力面の選択の第２手順でマウス情報の入力面を選択した時も、同様に、右手の人差し指だけを動かせばよい（指示指状態"００９"、図５Ｆを参照）。
入力装置は、カメラ３の映像を取得し、指示指状態を"００８"と確定すると、マウス情報の入力面が選択されている状態で、開始のトリガーとなる指示指状態が"００８"となっているのは、図６のＭ−３、Ｍ−４、Ｍ−６、Ｍ−８のデータであり、開始のトリガーだけでは、この４つのデータの内、どのデータを使用したらよいかは確定できない為、どの操作手順が操作中か確定ができていない。
したがって、操作状態は、操作手順の絞り込み中のＹ操作状態となる。
その後、指示指状態"００１"を取得すると、図６のＭ−３、Ｍ−４のデータが操作手順中として絞り込まれ、操作状態は、操作手順の絞り込み中のＹ操作状態となる。
その後、指示指状態"００１"の経過時間が指示指継続時間の０．５秒を超えると、図６のＭ−３のデータにより、操作者の入力の選択決定意思がされたとして、操作状態は、操作手順通り操作されたのでＷ操作状態となり、左クリックが入力（図７のＭ−３参照）され、手順その４の操作手順が終了する。
また、指示指状態"００１"の経過時間が指示指継続時間の０．５秒を超える前に、指示指状態"００８"を取得すると、図６のＭ−４のデータのみが絞り込まれ、操作状態は、操作手順通りに操作中となり、Ｘ操作状態となる。その後、続く指示指状態に"００１"を取得すると、操作状態は、操作手順通り操作されたのでＷ操作状態となり、ダブルクリックが入力（図７のＭ−４参照）され、メールソフトが起動する。
したがって、操作状態は、操作手順の絞り込み中のＹ操作状態となる。
その後、指示指状態"００１"を取得すると、図６のＭ−３、Ｍ−４のデータが操作手順中として絞り込まれ、操作状態は、操作手順の絞り込み中のＹ操作状態となる。
その後、指示指状態"００１"の経過時間が指示指継続時間の０．５秒を超えると、図６のＭ−３のデータにより、操作者の入力の選択決定意思がされたとして、操作状態は、操作手順通り操作されたのでＷ操作状態となり、左クリックが入力（図７のＭ−３参照）され、手順その４の操作手順が終了する。
また、指示指状態"００１"の経過時間が指示指継続時間の０．５秒を超える前に、指示指状態"００８"を取得すると、図６のＭ−４のデータのみが絞り込まれ、操作状態は、操作手順通りに操作中となり、Ｘ操作状態となる。その後、続く指示指状態に"００１"を取得すると、操作状態は、操作手順通り操作されたのでＷ操作状態となり、ダブルクリックが入力（図７のＭ−４参照）され、メールソフトが起動する。
手順その５：メールソフトのメニューより、新規メール作成を選択、そして、宛先を選択する。これは、マウスポインタの移動の操作手順を実施後、左ダブルクリックの操作手順を行えば良い。
手順その６：件名や本文にキーボード４より文字を入力するために、キーボードの入力面を選択するには、マウス情報の入力面を選択している状態において、指示指状態"００１"の状態に対して、左手を任意の姿で図２の点線４ａ内に置き、カメラ３の映像に写るようにする（以下、指示指状態"００２"と呼ぶ、図５Ａを参照）とすればよい。
尚、マウス情報の入力面の選択の第２手順でマウス情報の入力面を選択した時は、左手の中指と接触している人差し指を動かし（以下、指示指状態"００４"と呼ぶ、図５Ｆを参照）、左手の人差し指と中指に隙間がある状態（以下、指示指状態"００５"と呼ぶ、図５Ｆを参照）で静止させればよい。
尚、マウス情報の入力面の選択の第２手順でマウス情報の入力面を選択した時は、左手の中指と接触している人差し指を動かし（以下、指示指状態"００４"と呼ぶ、図５Ｆを参照）、左手の人差し指と中指に隙間がある状態（以下、指示指状態"００５"と呼ぶ、図５Ｆを参照）で静止させればよい。
入力装置は、カメラ３の映像を取得し、指示指状態を"００２"と確定すると、マウス情報の入力面が選択されている状態で、開始のトリガーとなる指示指状態が"００２"となっているのは、図６の、キーボードの入力面（図４のＯＰ−Ｋ）を選択するデータ（Ｍ−９）とテンキー情報の入力面を選択するデータ（Ｍ−１０）であるので、操作状態を、操作手順の絞り込み中のＹ操作状態とする。
図６のＭ−９のデータによる操作者の入力の選択決定意思は、指示指状態"００２"で、指示指継続時間が１秒である事が判る。
したがって、操作手順は、指示指状態"００２"を継続して１秒以上取得すると、Ｍ−９のデータの操作手順通り操作されたのでＷ操作状態となり、キーボードの入力面が選択される。
したがって、操作手順は、指示指状態"００２"を継続して１秒以上取得すると、Ｍ−９のデータの操作手順通り操作されたのでＷ操作状態となり、キーボードの入力面が選択される。
その後、キーボード４を使用し、件名と本文を入力する（図４のＩＮ−Ｋ）。但し、本文の氏名と住所は、文字と同等情報の入力情報（図４のＫ−４、Ｋ−５）として入力する。
したがって、住所の入力は、左右の手の親指と人差し指、及び、人差し指と中指の隙間がある状態で、左右の親指同士を接触させ、全指が静止している（以下、指示指状態"０１０"と呼ぶ、図５Ｄを参照）状態とし、その後、右手の人差し指だけを動かす（以下、指示指状態"０１１"と呼ぶ、図５Ｄを参照）。その後、指示指状態"０１０"の状態で静止すると、操作者が定めた住所情報の内容が入力される。
したがって、住所の入力は、左右の手の親指と人差し指、及び、人差し指と中指の隙間がある状態で、左右の親指同士を接触させ、全指が静止している（以下、指示指状態"０１０"と呼ぶ、図５Ｄを参照）状態とし、その後、右手の人差し指だけを動かす（以下、指示指状態"０１１"と呼ぶ、図５Ｄを参照）。その後、指示指状態"０１０"の状態で静止すると、操作者が定めた住所情報の内容が入力される。
入力装置は、カメラ３の映像を取得し、指示指状態を"０１０"と確定すると、キーボードの入力面（図４のＯＰ−Ｋ）が選択されている状態において、開始のトリガーとなる指示指状態が"０１０"となっているのは、図６のＫ−４、Ｋ−５、Ｋ−６、Ｋ−７のデータであると判定し、操作状態を、操作手順の絞り込み中のＹ操作状態とする。
その後、指示指状態"０１１"を取得すると、図６のＫ−４のデータが対象となり、操作状態は、文字１（住所情報）の入力の操作手順通りに操作中となり、Ｘ操作状態となる。その後、指示指状態"０１０"を取得すると、Ｋ−４のデータの操作手順通り操作されたのでＷ操作状態となり、住所情報が入力（図７のＫ−４を参照）される。
尚、氏名の入力は、指示指状態"０１０"の状態において、中指だけを動かす（指示指状態"０１２"、図５Ｄを参照）。これは、図６のＫ−５と図７のＫ−５のデータにより、同様にして入力される。
その後、指示指状態"０１１"を取得すると、図６のＫ−４のデータが対象となり、操作状態は、文字１（住所情報）の入力の操作手順通りに操作中となり、Ｘ操作状態となる。その後、指示指状態"０１０"を取得すると、Ｋ−４のデータの操作手順通り操作されたのでＷ操作状態となり、住所情報が入力（図７のＫ−４を参照）される。
尚、氏名の入力は、指示指状態"０１０"の状態において、中指だけを動かす（指示指状態"０１２"、図５Ｄを参照）。これは、図６のＫ−５と図７のＫ−５のデータにより、同様にして入力される。
手順その７：件名と本文の入力が終了したので、メール送信のショートカットキー（例えば、Ａｌｔ＋Ｓ）を入力するために、指示指状態"０１０"の状態の次に、指示指状態"０１０"の状態で左手の人差し指を動かし（以下、指示指状態"０１３"と呼ぶ、図５Ｄを参照）、その後、再度、指示指状態"０１０"の状態とすればよい。これは、図６のＫ−６のデータと図７のＫ−６のデータにより実現される。
尚、メールソフトウィンドウを閉じるショートカットキー（Ａｌｔ＋Ｆ４）の入力も、指示指状態"０１０"の状態において、左手の中指だけを動かす（以下、指示指状態"０１４"と呼ぶ、図５Ｄを参照）。これは、図６のＫ−７と図７のＫ−７のデータにより実現される。
尚、メールソフトウィンドウを閉じるショートカットキー（Ａｌｔ＋Ｆ４）の入力も、指示指状態"０１０"の状態において、左手の中指だけを動かす（以下、指示指状態"０１４"と呼ぶ、図５Ｄを参照）。これは、図６のＫ−７と図７のＫ−７のデータにより実現される。
以降、その他のマウスと同等情報の入力の操作手順について、概要を説明する。
右クリック（Ｍ−５）は、マウスと同等情報の入力待ち状態（図４のＯＰ−Ｍ）において、右手の中指のみを動かし（以下、指示指状態"０１５"と呼ぶ、図５Ａを参照）、その後、続く指示指状態"００１"が０．５秒継続すると右クリックされる。これは、図６のＭ−５と図７のＭ−５のデータにより実現される。
マウスポインタ移動の繰り返し（Ｍ−６：マウス操作で長い距離を動かすときに、一度、マウスを浮かせて戻し、再度マウスを動かす操作）は、動かした手を戻す時は、マウスポインタが移動しないようにするために、移動していた手を一旦静止し（指示指状態を"００１"）、その後、人差し指を動かし（指示指状態を"００８"）、その直後に指全体を動かす（指示指状態を"００６"）ようにする。これは、図６のＭ−６と図７のＭ−１のデータにより実現される。図６のＭ−６の操作指示は、図６のＭ−１の操作指示と同じなので、図７のＭ−１により入力情報が生成される。
移動（ドラック）操作は（Ｃ−２）、左クリック押下継続の入力面（図４のＯＰ−ＭＣ）を選択した状態にて行う。
左クリック押下継続の入力面にするには、マウス情報の入力面（図４のＯＰ−Ｍ）が選択されている状態において、親指だけを動かす状態（以下、指示指状態"０１６"と呼ぶ図５Ａを参照）とし、その後、続く指示指状態を"００１"とし、０．３秒経過すると、左クリック押下継続の入力面が選択される。これは、図６のＭ−７のデータにより実現される。
左クリック押下継続の入力面（図４のＯＰ−ＭＣ）が選択されると、指示指状態"００１"により、左クリック押下継続の状態が継続される。これは、図６のＣ−１のデータにより、実現される。その後、左クリック押下継続の入力面（図４のＯＰ−ＭＣ）を選択した状態にて、指示指状態を"００６"とすれば、移動（ドラック）操作が行える。これは、図６のＣ−２と図７のＣ−２のデータにより実現される。
左クリック押下継続の入力面にするには、マウス情報の入力面（図４のＯＰ−Ｍ）が選択されている状態において、親指だけを動かす状態（以下、指示指状態"０１６"と呼ぶ図５Ａを参照）とし、その後、続く指示指状態を"００１"とし、０．３秒経過すると、左クリック押下継続の入力面が選択される。これは、図６のＭ−７のデータにより実現される。
左クリック押下継続の入力面（図４のＯＰ−ＭＣ）が選択されると、指示指状態"００１"により、左クリック押下継続の状態が継続される。これは、図６のＣ−１のデータにより、実現される。その後、左クリック押下継続の入力面（図４のＯＰ−ＭＣ）を選択した状態にて、指示指状態を"００６"とすれば、移動（ドラック）操作が行える。これは、図６のＣ−２と図７のＣ−２のデータにより実現される。
ドロップ操作は、左クリック押下状態を解除（図４のＣ−３）し、マウス情報の入力面（図４のＯＰ−Ｍ）を選択すればよい。
左クリック押下状態の解除は、左クリック押下状態が継続されている状態（指示指状態を"００１"）で、親指だけを動かす状態（指示指状態を"０１６"）とし、その後、続く指示指状態を"００１"とすればよい。これは、図６のＣ−３と図７のＣ−３のデータにより実現される。
左クリック押下状態の解除は、左クリック押下状態が継続されている状態（指示指状態を"００１"）で、親指だけを動かす状態（指示指状態を"０１６"）とし、その後、続く指示指状態を"００１"とすればよい。これは、図６のＣ−３と図７のＣ−３のデータにより実現される。
画面スクロール操作（Ｓ−２）は、マウス情報の入力面（図４のＯＰ−Ｍ）が選択されている状態において、スクロール待ちの入力面（図４のＯＰ−ＭＳ）を選択（Ｍ−８）してから行う操作手順と、キーボードの入力面（図４のＯＰ−Ｋ）が選択されている状態において、スクロール待ちの入力面（図４のＯＰ−ＭＳ）を選択（Ｋ−３）してから行う２つの操作手順がある。
前者（Ｍ−８）の場合のスクロール待ちの入力面は、人差し指を右横に動かして、人差し指と中指の隙間が無い状態（以下、指示指状態を"０１７"と呼ぶ、図５Ａを参照）とし、０．５秒以上静止することにより選択される。これは、図６のＭ−８のデータにより実現される。
尚、スクロール待ちの状態となったときの中指の２次元座標をスクロール判定用座標１２５に記憶し、このスクロール判定用座標１２５を基準にして、上下左右に右手を動かす（指示指状態を"０１８"、図５Ｂを参照）と、上下左右にスクロールされることになる。
スクロール待ちの入力面が選択され、指示指状態が"０１７"（図５Ａを参照）を継続すると画面スクロールができる状態が継続する。これは、図６のＳ−１のデータにより実現される。
尚、図６のＳ−１の操作指示の「画面スクロールできる状態」に対応するデータが、入力情報テーブル（図７を参照）に存在しないので、入力情報は生成されないで、画面スクロールができる状態を継続する。
尚、スクロール待ちの状態となったときの中指の２次元座標をスクロール判定用座標１２５に記憶し、このスクロール判定用座標１２５を基準にして、上下左右に右手を動かす（指示指状態を"０１８"、図５Ｂを参照）と、上下左右にスクロールされることになる。
スクロール待ちの入力面が選択され、指示指状態が"０１７"（図５Ａを参照）を継続すると画面スクロールができる状態が継続する。これは、図６のＳ−１のデータにより実現される。
尚、図６のＳ−１の操作指示の「画面スクロールできる状態」に対応するデータが、入力情報テーブル（図７を参照）に存在しないので、入力情報は生成されないで、画面スクロールができる状態を継続する。
後者（Ｋ−３）の場合のスクロール待ちの入力面は、指示指状態を"０１７"の状態で１秒以上静止することにより、選択される。これは、図６のＫ−３のデータにより実現される。
画面スクロール（Ｓ−２）は、スクロール待ちの入力面（図４のＯＰ−ＭＳ）において、右手を動かせば（指示指状態を"０１８"、図５Ｂを参照）、スクロール判定用座標１２５を基準にして、指が所定の距離以上動くと、指の動いた方向に従い、画面スクロールされる（図７のＳ−２の指の２次元座標の判定条件を参照）。これは、図６のＳ−２と図７のＳ−２のデータにより実現される。
スクロール待ちの入力面（図４のＯＰ−ＭＳ）が選択されている状態から、マウス情報の入力面（図４のＯＰ−Ｍ）を選択するには、右手の人差し指を左に動かし（指示指状態が"００８"）、その後、指示指状態を"００１"とし、０．５秒以上静止すればよい。これは、図６のＳ−３のデータにより実現される。
スクロール待ちの入力面（図４のＯＰ−ＭＳ）が選択されている状態から、キーボードの入力面（図４のＯＰ−Ｋ）を選択するには、画面スクロール待ち状態の状態とする指示指状態"０１７"や画面スクロールする指示指状態"０１８"やマウス情報の入力面を選択するための指示指状態"００８"以外の指示指状態とするとキーボードの入力面が選択される。これは、図６のＳ−４のデータにより実現される。
次に、「キーボード４から文字を入力した後、テンキー情報の入力面を選択し、テンキー情報を入力後、キーボードの入力面に戻り、キーボード４から文字を入力する」操作手順を、図４を参照して説明すると、
手順その１：先ず、キーボードの入力面（図４のＯＰ−Ｋ）が選択されている状態でテンキー情報の入力面を選択（図４のＫ−２）する。
手順その２：その後、テンキー情報を入力する（図４のＴ−１）。
手順その３：その後、キーボード４より、文字を入力するために、キーボードの入力面を選択（図４のＴ−２）する。
となる。
この操作手順を、操作状態判定テーブル１７１（図６を参照）と関連付けて説明する。
手順その１：先ず、キーボードの入力面（図４のＯＰ−Ｋ）が選択されている状態でテンキー情報の入力面を選択（図４のＫ−２）する。
手順その２：その後、テンキー情報を入力する（図４のＴ−１）。
手順その３：その後、キーボード４より、文字を入力するために、キーボードの入力面を選択（図４のＴ−２）する。
となる。
この操作手順を、操作状態判定テーブル１７１（図６を参照）と関連付けて説明する。
手順その１：キーボードの入力面が選択されている状態でテンキー情報の入力面を選択するには、テンキーパッドの押下キーを叩くような指の姿で、例えば、右手の人差し指だけで入力文字情報を指し示す状態（以下、指示指状態"０１９"と呼ぶ、図５Ａを参照）で１秒以上静止すれば良い。尚、指示指状態"０１９"は、左手の状態はどの様な状態であっても良い。
入力装置は、カメラ３の映像を取得し、指示指状態を"０１９"と確定すると、キーボードの入力面（図４のＯＰ−Ｋ）が選択されている状態で、開始のトリガーとなる指示指状態が"０１９"となっている操作状態判定テーブル１７１は、図６のＫ−２のデータのみで、図６のＫ−２のデータの操作手順が操作手順通りに操作中となり、操作状態を、Ｘ操作状態とする。
その後、入力装置は、操作者による入力面の選択の選択決定意思として、続く映像で指示指状態"０１９"が１秒以上継続して見つかるかどうかを監視する（指示指継続時間が１秒）。
もし、１秒継続しなかった場合は、操作者の入力の選択決定意思がされなかったので、手順その１は、操作手順通りに操作されなかったのでＺ操作状態となり、キーボードの入力面が選択されている状態が継続する事になる。
もし、１秒以上継続すれば、操作者の入力の選択決定意思がなされたので、操作手順は、操作手順通り操作されたので、操作状態は、Ｗ操作状態となる。そして、操作指示としてのテンキー情報の入力面が選択され、手順その１の操作手順が終了する。
もし、１秒継続しなかった場合は、操作者の入力の選択決定意思がされなかったので、手順その１は、操作手順通りに操作されなかったのでＺ操作状態となり、キーボードの入力面が選択されている状態が継続する事になる。
もし、１秒以上継続すれば、操作者の入力の選択決定意思がなされたので、操作手順は、操作手順通り操作されたので、操作状態は、Ｗ操作状態となる。そして、操作指示としてのテンキー情報の入力面が選択され、手順その１の操作手順が終了する。
手順その２：テンキー情報を入力するには、指示指状態"０１９"の状態で１秒以上静止すれば、右手の中指の位置で入力できる。
入力装置は、カメラ３の映像を取得し、指示指状態を"０１９"と確定すると、テンキーの入力面（図４のＯＰ−Ｔ）が選択されている状態で、開始のトリガーとなる指示指状態が"０１９"となっている操作状態判定テーブル１７１は、図６のＴ−１のデータのみであると判定し、図６のＴ−１のデータの操作手順が操作手順通りに操作中となり、操作状態を、Ｘ操作状態とする。
その後、入力装置は、操作者による入力面の選択の選択決定意思として、続く映像で指示指状態"０１９"が１秒以上継続して見つかるかどうかを監視する（指示指継続時間が１秒）。
もし、１秒以上継続すれば、操作者の入力の選択決定意思がなされたとして、操作手順は、操作手順通り操作されたので、操作状態は、Ｗ操作状態となる。そして、操作指示としてのテンキー情報の入力が決定され、右手の中指の２次元座標に対応付けられた入力情報（図７のＴ−１を参照）が決定され入力情報として生成され、手順その２の操作手順が終了する。
もし、１秒以上継続すれば、操作者の入力の選択決定意思がなされたとして、操作手順は、操作手順通り操作されたので、操作状態は、Ｗ操作状態となる。そして、操作指示としてのテンキー情報の入力が決定され、右手の中指の２次元座標に対応付けられた入力情報（図７のＴ−１を参照）が決定され入力情報として生成され、手順その２の操作手順が終了する。
手順その３：キーボード４より、文字を入力するために、キーボードの入力面（図４のＯＰ−Ｋ）を選択するには、指示指状態を"０１９"、及び、指示指状態を"００１"以外の状態とすると、キーボードの入力面が選択される。
入力装置は、カメラ３の映像を取得し、指示指状態を"０１９"、及び、指示指状態を"００１"以外の状態と確定すると、開始のトリガーとなる指示指状態が"０１９"、及び、指示指状態が"００１"以外の状態となっている操作状態判定テーブル１７１は、図６のＴ−２のデータのみなので、データの操作手順が操作手順通りに操作中となり、操作状態を、Ｘ操作状態とする。その後、同一の指示指状態が１秒以上継続すると、操作手順は、操作手順通り操作されたので、操作状態は、Ｗ操作状態となる。そして、キーボードの入力面が選択され、手順その３の操作手順が終了する。
尚、テンキー情報の入力面からマウス情報の入力面を選択するには、指示指状態"００１"の状態で１秒間静止すれば良く（図６のＴ−３を参照）、マウス情報の入力面からテンキー情報の入力面を選択するには、指示指状態"００２"の状態とした後、指示指状態"０１９"の状態で１秒静止すれば良い（図６のＭ−１０を参照）。
以上の入力面や指示指状態や操作手順の変更は、操作状態判定テーブル１７１や入力情報テーブル１７２や指示指状態テーブル１７３の内容を変更することにより、操作者自身によって容易に行える。
したがって、操作者にとって、最も操作し易い入力面と指示指状態と操作手順により入力操作ができるようにすることができる。以下に入力面や指示指状態や操作手順の変更例を説明する。
したがって、操作者にとって、最も操作し易い入力面と指示指状態と操作手順により入力操作ができるようにすることができる。以下に入力面や指示指状態や操作手順の変更例を説明する。
先ず、入力操作を行う指示指状態の変更について説明する。
マウスポインタの移動は、タッチパッドを操作するように１本の指（指示指状態"０１９"、図５Ａを参照）で行いたいと操作者が希望すれば、入力操作を行う指示指状態を変更する事ができる。
その為には、先ず、図６の操作状態判定テーブル１７１のＫ−１とＭ−１のデータの指示指状態"００１"を"０１９"に変更する（図８ＡのＫ−１´とＭ−１´を参照）。
そして、指示指状態"０１９"が動いている指示指状態を、例えば、"０２９"として、指示指状態テーブル１７３に追加する。
そして、図６の操作状態判定テーブル１７１のＭ−２のデータの指示指状態"００６"を指示指状態"０２９"に変更すれば良い（図８ＡのＭ−２´を参照）。
マウスポインタの移動は、タッチパッドを操作するように１本の指（指示指状態"０１９"、図５Ａを参照）で行いたいと操作者が希望すれば、入力操作を行う指示指状態を変更する事ができる。
その為には、先ず、図６の操作状態判定テーブル１７１のＫ−１とＭ−１のデータの指示指状態"００１"を"０１９"に変更する（図８ＡのＫ−１´とＭ−１´を参照）。
そして、指示指状態"０１９"が動いている指示指状態を、例えば、"０２９"として、指示指状態テーブル１７３に追加する。
そして、図６の操作状態判定テーブル１７１のＭ−２のデータの指示指状態"００６"を指示指状態"０２９"に変更すれば良い（図８ＡのＭ−２´を参照）。
次に、入力面や入力面の選択の操作手順の追加は、例えば、実施例１のテンキー情報の入力面は、半角の数字や記号を入力するための入力面なので、追加する入力面は、全角の数字や記号を入力するための入力面とし、入力面を選択する操作手順と選択された入力面において入力情報を決定する操作手順の追加について、説明する。
先ず、追加する入力面を「テンキー情報の入力面２」とし、図７の入力情報テーブル１７２のＴ−１のデータの選択されている入力面を「テンキー情報の入力面２」とし、入力情報の内容を全角に変更し、図７の入力情報テーブル１７２に追加すれば良い（図８ＢのＴ−４を参照）。
次に、図６の操作状態判定テーブル１７１に「テンキー情報の入力面２」を選択する操作手順を追加する。先ず、「テンキー情報の入力面２」を選択する指示指状態は、人差し指と中指をＶの字の様な形状（図８Ｃの指示指状態"０３９"を参照）にする。そして、この指示指状態"０３９"で１秒間静止すると、「テンキー情報の入力面２」が選択される（図８ＡのＫ−８を参照）。そして、このテンキー情報の入力面２が選択されている状態において、入力情報を決定する操作手順を追加すれば良い（図８ＡのＴ−５を参照）。
先ず、追加する入力面を「テンキー情報の入力面２」とし、図７の入力情報テーブル１７２のＴ−１のデータの選択されている入力面を「テンキー情報の入力面２」とし、入力情報の内容を全角に変更し、図７の入力情報テーブル１７２に追加すれば良い（図８ＢのＴ−４を参照）。
次に、図６の操作状態判定テーブル１７１に「テンキー情報の入力面２」を選択する操作手順を追加する。先ず、「テンキー情報の入力面２」を選択する指示指状態は、人差し指と中指をＶの字の様な形状（図８Ｃの指示指状態"０３９"を参照）にする。そして、この指示指状態"０３９"で１秒間静止すると、「テンキー情報の入力面２」が選択される（図８ＡのＫ−８を参照）。そして、このテンキー情報の入力面２が選択されている状態において、入力情報を決定する操作手順を追加すれば良い（図８ＡのＴ−５を参照）。
次に、選択決定意思の変更について説明する。
操作手順は、開始の指の姿のみでも操作指示を出せるが、操作者が入力の選択決定意思を促すものとして、指示指継続時間を利用したり、続く指の姿を利用したり、さらには、操作者が入力の選択決定意思を出した後、ディスプレイ２に確認用のＯＫボタン押下用メッセージ等を出し、再確認をさせること等もでき、より、堅実な入力作業が行える。
操作手順は、開始の指の姿のみでも操作指示を出せるが、操作者が入力の選択決定意思を促すものとして、指示指継続時間を利用したり、続く指の姿を利用したり、さらには、操作者が入力の選択決定意思を出した後、ディスプレイ２に確認用のＯＫボタン押下用メッセージ等を出し、再確認をさせること等もでき、より、堅実な入力作業が行える。
例えば、図６の操作状態判定テーブル１７１のＫ−１のデータの指示指継続時間をゼロ秒とすれば、指示指状態"００１"を見つけると、直ちに、マウス情報の入力面が選択されマウスポインタの移動ができる様になる。
また、図６の操作状態判定テーブル１７１のＴ−１のデータでは、指示指状態"０１９"が１秒以上継続すると入力されるが、指示指状態"０１９"が動いている状態の指示指状態"０２９"を追加して、指示指状態"０１９"が１秒経過後、指示指状態"０２９"が見つかったら入力を決定するようにも変更できる（図８ＡのＴ−６を参照）。
また、図６の操作状態判定テーブル１７１のＴ−１のデータでは、指示指状態"０１９"が１秒以上継続したら、図７の入力情報テーブル１７２の入力情報で、確認用のＯＫボタン押下用メッセージ等を出し、再確認をさせるアプリケーションプログラムを起動するように変更することもできる（図８ＢのＴ−７を参照）。
また、図６の操作状態判定テーブル１７１のＴ−１のデータでは、指示指状態"０１９"が１秒以上継続すると入力されるが、指示指状態"０１９"が動いている状態の指示指状態"０２９"を追加して、指示指状態"０１９"が１秒経過後、指示指状態"０２９"が見つかったら入力を決定するようにも変更できる（図８ＡのＴ−６を参照）。
また、図６の操作状態判定テーブル１７１のＴ−１のデータでは、指示指状態"０１９"が１秒以上継続したら、図７の入力情報テーブル１７２の入力情報で、確認用のＯＫボタン押下用メッセージ等を出し、再確認をさせるアプリケーションプログラムを起動するように変更することもできる（図８ＢのＴ−７を参照）。
また、入力情報は、開始の指の姿に対してこれに続く指の姿を幾つか連ねる、或いは、入力面から入力面へ遷移させることにより、様々な入力操作が行えるようになる。
例えば、２種類の指示指状態"０１９"と"０２９"だけでも、様々な入力操作が構築できる。
図８ＡのＴ−５は、指示指状態"０１９"で１秒以上静止すると、テンキー情報の入力面２における入力が決定する。
図８ＡのＴ−８は、指示指状態"０１９"で２秒以上静止後、指示指状態"０２９"とすると、個人情報の入力面における住所の入力が決定する。
図８ＡのＴ−９は、指示指状態"０１９"で１秒経過する前に、指示指状態"０２９"とし、その後、指示指状態"０１９"とすると、個人情報の入力面における郵便番号の入力が決定する。
例えば、２種類の指示指状態"０１９"と"０２９"だけでも、様々な入力操作が構築できる。
図８ＡのＴ−５は、指示指状態"０１９"で１秒以上静止すると、テンキー情報の入力面２における入力が決定する。
図８ＡのＴ−８は、指示指状態"０１９"で２秒以上静止後、指示指状態"０２９"とすると、個人情報の入力面における住所の入力が決定する。
図８ＡのＴ−９は、指示指状態"０１９"で１秒経過する前に、指示指状態"０２９"とし、その後、指示指状態"０１９"とすると、個人情報の入力面における郵便番号の入力が決定する。
次に、上記の様に構成された実施例１の入力装置の全体動作について、図９の流れ図を参照して説明する。入力装置が起動するとＲＯＭ１１に記憶されている入力プログラムがＲＡＭ１２に読み込まれて、ＣＰＵ１０により図９に示す処理が開始される。
まず、映像の取り込みタイミングかどうかを判断する（Ｓ０１０）。入力装置は、所定の時間間隔（本実施例では、３０ミリ秒間隔）でカメラ３から映像を取り込み、以下の（Ｓ０２０以降の）処理を実行する。取り込みタイミングでなければ（Ｓ０１０：ＮＯ）、取り込みタイミングになるまで待機する。
取り込みタイミングになったら（Ｓ０１０：ＹＥＳ）、カメラ３からの映像を取り込む（Ｓ０２０）。
次に、前記映像より、左右の手の指の情報を抽出する（Ｓ０３０）。
次に、前記指の抽出情報より、以下の（１）、（２）、（３）の手順で指示指状態を確定するとともに、入力面における指の２次元座標を確定する（Ｓ０４０）。
（１）先ず、操作する指の状態を識別するために、指の間の隙間が有るかどうか判定し、隙間状況を確定する。尚、指先の隙間だけが無い場合も、指の間の隙間が無いと判断する。
（２）次に、左右の指で動いている指を特定するために、前記左右の指の映像上の位置座標を求め、前回の映像の左右の指の位置座標を記憶してある記憶領域の前回座標１２１と比較し位置座標の差異状況を確定する。尚、位置座標の差異状況を確定後、位置座標を前回座標１２１に記憶する。また、初期起動時は、前回座標１２１は初期設定値なので、次の映像を取得しても良いし（Ｓ０１０へ戻る）、位置座標の差異があったとして差異状況を確定しても良い。
（３）次に、前記隙間状況と前記位置座標の差異状況が確定すると、前記隙間状況と前記位置座標の差異状況に対して指示指状態を対応付けた指示指状態テーブル１７３より、指示指状態を確定する。
そして、前記左右の指の位置座標を、選択されている入力面における指の２次元座標とする。
（１）先ず、操作する指の状態を識別するために、指の間の隙間が有るかどうか判定し、隙間状況を確定する。尚、指先の隙間だけが無い場合も、指の間の隙間が無いと判断する。
（２）次に、左右の指で動いている指を特定するために、前記左右の指の映像上の位置座標を求め、前回の映像の左右の指の位置座標を記憶してある記憶領域の前回座標１２１と比較し位置座標の差異状況を確定する。尚、位置座標の差異状況を確定後、位置座標を前回座標１２１に記憶する。また、初期起動時は、前回座標１２１は初期設定値なので、次の映像を取得しても良いし（Ｓ０１０へ戻る）、位置座標の差異があったとして差異状況を確定しても良い。
（３）次に、前記隙間状況と前記位置座標の差異状況が確定すると、前記隙間状況と前記位置座標の差異状況に対して指示指状態を対応付けた指示指状態テーブル１７３より、指示指状態を確定する。
そして、前記左右の指の位置座標を、選択されている入力面における指の２次元座標とする。
次に、確定された指示指状態は、操作手順通りに操作し、操作手順が終了するものである（Ｗ操作状態）、１つの操作手順に絞りこまれていて操作手順通りに操作中である（Ｘ操作状態）、操作手順の絞り込み中である（Ｙ操作状態）、操作手順に当てはまらない指示指状態であった（Ｚ操作状態）かのいずれの操作状態かを、操作状態判定テーブル１７１と突き合わせて、確定する（Ｓ０５０）。
操作状態の確定は、
先ず、前回の映像の指示指状態の操作状態を記憶している前回操作状態１２７がＷ、或いはＺ操作状態、或いは初期値の場合、操作状態を確定するための作業領域であり、操作状態判定テーブル１７１と同一項目で構成される検索用テーブル１２６の準備を後述するように行う（Ｓ０５１）。
その後、確定された指示指状態により、どの様な操作状態になるかを検索用テーブル１２６の全データを基に操作状態の判定を行い、判定が終了すると、操作状態が確定できるので、確定した操作状態を前回操作状態１２７に設定する（Ｓ０５２）。
先ず、前回の映像の指示指状態の操作状態を記憶している前回操作状態１２７がＷ、或いはＺ操作状態、或いは初期値の場合、操作状態を確定するための作業領域であり、操作状態判定テーブル１７１と同一項目で構成される検索用テーブル１２６の準備を後述するように行う（Ｓ０５１）。
その後、確定された指示指状態により、どの様な操作状態になるかを検索用テーブル１２６の全データを基に操作状態の判定を行い、判定が終了すると、操作状態が確定できるので、確定した操作状態を前回操作状態１２７に設定する（Ｓ０５２）。
前記検索用テーブル１２６の準備（Ｓ０５１）は、操作状態判定テーブル１７１に登録されているデータを基にして、操作状態判定テーブル１７１の現在選択されている入力面と、入力装置で選択されている入力面を記憶している選択中入力面１２４（初期値は、ＯＰ−Ｋで、キーボードの入力面が選択されている）が等しく、かつ、今回確定された指示指状態と操作状態判定テーブル１７１の開始の手順の指示指状態とが等しいデータを抽出し、記憶領域の検索用テーブル１２６に記憶する。
尚、抽出対象データが１件も無い場合は、記憶領域の検索用テーブル１２６に空白が設定される。
尚、抽出対象データが１件も無い場合は、記憶領域の検索用テーブル１２６に空白が設定される。
前記データ毎の操作状態の判定（Ｓ０５２）は、以下の（１）或いは（２）或いは（３）の方法、とする。但し、判定処理前において、前記検索用テーブル１２６が空白であれば、データ毎の操作状態の判定処理は実施する必要はなく、操作状態をＺ操作状態で確定する。
また、前記全データに対する判定処理中において、操作状態がＷ操作状態となるデータが見つかると、以降のデータに関する操作状態の判定は不要となり、データ毎の操作状態の判定処理を終了し、操作状態をＷ操作状態で確定する。
前記検索用テーブル１２６の全データに対する操作状態の判定が終了後、前記検索用テーブル１２６が空白になっていたら、操作状態をＺ操作状態で確定し、前記検索用テーブル１２６に１件のデータが残っていれば、操作状態をＸ操作状態で確定し、前記検索用テーブル１２６に２件以上のデータが残っていれば、操作状態をＹ操作状態で確定する。
また、前記全データに対する判定処理中において、操作状態がＷ操作状態となるデータが見つかると、以降のデータに関する操作状態の判定は不要となり、データ毎の操作状態の判定処理を終了し、操作状態をＷ操作状態で確定する。
前記検索用テーブル１２６の全データに対する操作状態の判定が終了後、前記検索用テーブル１２６が空白になっていたら、操作状態をＺ操作状態で確定し、前記検索用テーブル１２６に１件のデータが残っていれば、操作状態をＸ操作状態で確定し、前記検索用テーブル１２６に２件以上のデータが残っていれば、操作状態をＹ操作状態で確定する。
（１）今回、前記検索用テーブル１２６の準備を行った時、確定した指示指状態を前回指示指状態１２３に設定する。
その後、操作状態の判定は、前記検索用テーブル１２６の開始の手順に対して、以下の判定をする。
そして、判定が終了すると、タイマ１３を起動し、経過時間を随時、経過時間１２２に記憶する。
（１−１）指示指継続時間が"ゼロ"で、前記開始の手順に続く手順がないデータで有れば、このデータの操作状態をＷ操作状態とする。
（１−２）指示指継続時間が"ゼロ"で、前記開始の手順に続く手順があるデータで有れば、このデータの操作状態をＹ操作状態とする。
（１−３）指示指継続時間が"ゼロ"でなければ、このデータの操作状態をＹ操作状態とする。
その後、操作状態の判定は、前記検索用テーブル１２６の開始の手順に対して、以下の判定をする。
そして、判定が終了すると、タイマ１３を起動し、経過時間を随時、経過時間１２２に記憶する。
（１−１）指示指継続時間が"ゼロ"で、前記開始の手順に続く手順がないデータで有れば、このデータの操作状態をＷ操作状態とする。
（１−２）指示指継続時間が"ゼロ"で、前記開始の手順に続く手順があるデータで有れば、このデータの操作状態をＹ操作状態とする。
（１−３）指示指継続時間が"ゼロ"でなければ、このデータの操作状態をＹ操作状態とする。
（２）確定された指示指状態と前回指示指状態１２３が等しくないとき、確定した指示指状態を前回指示指状態１２３に設定する。その後、操作状態の判定は、前回の操作状態の確定で使用した前記検索用テーブル１２６の手順の次の続く手順に対して、以下の判定をする。
そして、判定が終了すると、タイマ１３を停止し、タイマ１３を再起動し、経過時間を随時、経過時間１２２に記憶する。
（２−１）確定した指示指状態と前記続く手順の指示指状態が等しくないとき、このデータは、操作状態の判定対象から外れる事となるので、前記検索用テーブル１２６から削除する。
（２−２）確定した指示指状態と前記続く手順の指示指状態が等しく、さらに、指示指継続時間が"ゼロ"で、さらに、前記続く手順に続く手順がないデータであれば、このデータの操作状態をＷ操作状態とする。
但し、経過時間１２２が前回の指示指状態の指示指継続時間を経過していなければ、このデータは、操作状態の判定対象から外れる事となるので、前記検索用テーブル１２６から削除する。
（２−３）確定した指示指状態と前記続く手順の指示指状態が等しく、さらに、指示指継続時間が"ゼロ"で、さらに、前記続く手順に続く手順があるデータであれば、このデータの操作状態をＹ操作状態とする。
但し、経過時間１２２が前回の指示指状態の指示指継続時間を経過していなければ、このデータは、操作状態の判定対象から外れる事となるので、前記検索用テーブル１２６から削除する。
（２−４）確定した指示指状態と前記続く手順の指示指状態が等しく、さらに、指示指継続時間が"ゼロ"でなければ、このデータの操作状態をＹ操作状態とする。
但し、経過時間１２２が前回の指示指状態の指示指継続時間を経過していなければ、このデータは、操作状態の判定対象から外れる事となるので、前記検索用テーブル１２６から削除する。
そして、判定が終了すると、タイマ１３を停止し、タイマ１３を再起動し、経過時間を随時、経過時間１２２に記憶する。
（２−１）確定した指示指状態と前記続く手順の指示指状態が等しくないとき、このデータは、操作状態の判定対象から外れる事となるので、前記検索用テーブル１２６から削除する。
（２−２）確定した指示指状態と前記続く手順の指示指状態が等しく、さらに、指示指継続時間が"ゼロ"で、さらに、前記続く手順に続く手順がないデータであれば、このデータの操作状態をＷ操作状態とする。
但し、経過時間１２２が前回の指示指状態の指示指継続時間を経過していなければ、このデータは、操作状態の判定対象から外れる事となるので、前記検索用テーブル１２６から削除する。
（２−３）確定した指示指状態と前記続く手順の指示指状態が等しく、さらに、指示指継続時間が"ゼロ"で、さらに、前記続く手順に続く手順があるデータであれば、このデータの操作状態をＹ操作状態とする。
但し、経過時間１２２が前回の指示指状態の指示指継続時間を経過していなければ、このデータは、操作状態の判定対象から外れる事となるので、前記検索用テーブル１２６から削除する。
（２−４）確定した指示指状態と前記続く手順の指示指状態が等しく、さらに、指示指継続時間が"ゼロ"でなければ、このデータの操作状態をＹ操作状態とする。
但し、経過時間１２２が前回の指示指状態の指示指継続時間を経過していなければ、このデータは、操作状態の判定対象から外れる事となるので、前記検索用テーブル１２６から削除する。
（３）確定された指示指状態と前回指示指状態１２３が等しいときは、
前回の操作状態の確定の判定に使用した前記検索用テーブル１２６の手順の指示指状態の指示指継続時間と経過時間１２２の関係が、
（３−１）経過時間１２２＜指示指継続時間のとき、このデータの操作状態をＹ操作状態とする。
（３−２）指示指継続時間≦経過時間１２２であり、かつ、現在の手順に続く手順がないデータであれば、このデータの操作状態をＷ操作状態とする。
（３−３）指示指継続時間≦経過時間１２２であり、かつ、現在の手順に続く手順があるデータであれば、このデータの操作状態をＹ操作状態とする。
前回の操作状態の確定の判定に使用した前記検索用テーブル１２６の手順の指示指状態の指示指継続時間と経過時間１２２の関係が、
（３−１）経過時間１２２＜指示指継続時間のとき、このデータの操作状態をＹ操作状態とする。
（３−２）指示指継続時間≦経過時間１２２であり、かつ、現在の手順に続く手順がないデータであれば、このデータの操作状態をＷ操作状態とする。
（３−３）指示指継続時間≦経過時間１２２であり、かつ、現在の手順に続く手順があるデータであれば、このデータの操作状態をＹ操作状態とする。
次に、確定された操作状態に従い、入力面の選択、或いは、入力情報の生成と次回の指示指状態に対する操作状態の確定の準備を以下の（１）或いは（２）或いは（３）或いは（４）の方法で行う（Ｓ０６０）。
（１）前記Ｗ操作状態の場合、即ち、操作手順通りに操作し、操作手順が終了するものであるときで（Ｓ０６１：Ｗ）、
・操作状態がＷ操作状態と確定されたデータの操作指示で入力面が選択されていたら、選択された入力面を記憶領域の選択中入力面１２４に設定する。また、選択された入力面がスクロール待ちの入力面のとき、右手中指の２次元座標をスクロール判定用座標１２５に設定する（Ｓ０６２）。
・操作状態がＷ操作状態と確定されたデータの操作指示で入力情報生成の指示が出されていたら、入力情報テーブル１７２を基に、入力情報を生成する（Ｓ０６３）。最後に、次の映像を取得するために、Ｓ０１０へ戻る。
・操作状態がＷ操作状態と確定されたデータの操作指示による指示が無い場合は、次の映像を取得するために、Ｓ０１０へ戻る。
・操作状態がＷ操作状態と確定されたデータの操作指示で入力面が選択されていたら、選択された入力面を記憶領域の選択中入力面１２４に設定する。また、選択された入力面がスクロール待ちの入力面のとき、右手中指の２次元座標をスクロール判定用座標１２５に設定する（Ｓ０６２）。
・操作状態がＷ操作状態と確定されたデータの操作指示で入力情報生成の指示が出されていたら、入力情報テーブル１７２を基に、入力情報を生成する（Ｓ０６３）。最後に、次の映像を取得するために、Ｓ０１０へ戻る。
・操作状態がＷ操作状態と確定されたデータの操作指示による指示が無い場合は、次の映像を取得するために、Ｓ０１０へ戻る。
（２）前記Ｘ操作状態の場合、即ち、前記操作状態が操作手順通りに操作中であるときで（Ｓ０６１：Ｘ）、操作指示で入力情報生成の指示が出されていたら、入力情報テーブル１７２を基に、入力情報を生成する（Ｓ０６３）。最後に、次の映像を取得するために、Ｓ０１０へ戻る。
もし、操作指示で入力情報生成の指示が出されていなかったら、次の映像を取得するために、Ｓ０１０へ戻る。
もし、操作指示で入力情報生成の指示が出されていなかったら、次の映像を取得するために、Ｓ０１０へ戻る。
（３）前記Ｙ操作状態の場合、即ち、操作手順の絞り込み中であるときは（Ｓ６１：Ｙ）、次の映像を取得するために、Ｓ０１０へ戻る。
（４）前記Ｚ操作状態の場合、即ち、前記操作状態が操作手順にない指示指状態であったとき（Ｓ０６１：Ｚ）、その後、次回、操作状態を決定する為に、以下の準備を行う。
タイマ１３を停止し、
記憶領域の経過時間１２２に、初期値（ゼロ）を、
記憶領域の選択中入力面１２４に、初期値（"ＯＰ−Ｋ"）を、
記憶領域のスクロール判定用座標１２５に、初期値（ゼロ）を、
記憶領域の検索用テーブル１２６に、初期値（空白）を、
記憶領域の前回操作状態１２７に初期値（空白）をそれぞれ設定する（Ｓ０６４）。
最後に、次の映像を取得するために（Ｓ０１０）へ戻る。
上記中、記憶領域の選択中入力面１２４の設定内容は、操作者が決定できるようにしてもよい。
タイマ１３を停止し、
記憶領域の経過時間１２２に、初期値（ゼロ）を、
記憶領域の選択中入力面１２４に、初期値（"ＯＰ−Ｋ"）を、
記憶領域のスクロール判定用座標１２５に、初期値（ゼロ）を、
記憶領域の検索用テーブル１２６に、初期値（空白）を、
記憶領域の前回操作状態１２７に初期値（空白）をそれぞれ設定する（Ｓ０６４）。
最後に、次の映像を取得するために（Ｓ０１０）へ戻る。
上記中、記憶領域の選択中入力面１２４の設定内容は、操作者が決定できるようにしてもよい。
尚、図９の処理は、所定の時間間隔で処理を行うので、経過時間をタイマ１３で測定する替わりに図９の処理フローが実施される処理回数を利用しても良い。例えば、０．１秒間隔で繰り返し処理している場合、経過時間が１秒とは、処理回数が１０回であることと同様に取り扱える。
また、ＰＣ１は、ノート型パーソナルコンピュータに限らず、デスクトップ型パーソナルコンピュータであっても良い。
尚、上記実施形態において、
図９のＳ０１０からＳ０３０が本発明の指情報抽出手段及び過程に相当する。また、
図９のＳ０４０が本発明の指示指確定手段及び過程に相当する。また、
図９のＳ０５０が本発明の操作状態確定手段及び過程に相当する。また、
図９のＳ０６０が本発明の操作手順実施手段及び過程に相当する。
図９のＳ０１０からＳ０３０が本発明の指情報抽出手段及び過程に相当する。また、
図９のＳ０４０が本発明の指示指確定手段及び過程に相当する。また、
図９のＳ０５０が本発明の操作状態確定手段及び過程に相当する。また、
図９のＳ０６０が本発明の操作手順実施手段及び過程に相当する。
次に、ノート型パソコンのキーボード上で、従来のキーボード操作に加え、画像認識を利用したマウスと同等情報やテンキーと同等情報やショートカットキーと同等情報や文字と同等情報の入力ができる実施例２について、実施例１と異なる点を、図１０から図１６を参照して説明する。
先ず、物理的構成について、実施例１と異なる点を図１０から図１２を参照して説明する。
カメラ３は、キーボード４の向う側の右端の位置にカメラ３ａを、キーボード４の向う側の中央付近の位置にカメラ３ｂ（図１０を参照）を、各カメラのレンズの画角の中心３ａ１が対角方向でキーボード４の操作キー面の直上の位置４ｃと平行（図１１を参照）となるように設置する。また、各カメラのレンズの画角は、約９０度である。
カメラ３は、キーボード４の向う側の右端の位置にカメラ３ａを、キーボード４の向う側の中央付近の位置にカメラ３ｂ（図１０を参照）を、各カメラのレンズの画角の中心３ａ１が対角方向でキーボード４の操作キー面の直上の位置４ｃと平行（図１１を参照）となるように設置する。また、各カメラのレンズの画角は、約９０度である。
図１０と図１２の点線４ａ部分は、マウスと同等情報やテンキーと同等情報やショートカットキーと同等情報や文字と同等情報を入力するときに使用する領域であり、カメラ３ａとカメラ３ｂの共通の視野となるように、カメラ３ａとカメラ３ｂが設置されている。
尚、カメラ３ｂは、右手によりマウスと同等情報やテンキーと同等情報やショートカットキーと同等情報や文字と同等情報を、キーボード４を操作するホームポジションで入力することを前提としていて、左手がカメラ３ｂの視野に入らないように設置されている。
尚、カメラ３ｂは、右手によりマウスと同等情報やテンキーと同等情報やショートカットキーと同等情報や文字と同等情報を、キーボード４を操作するホームポジションで入力することを前提としていて、左手がカメラ３ｂの視野に入らないように設置されている。
特に、カメラ３ａとカメラ３ｂで撮像対象としたいのはキーボード４上の手の部分であるから、カメラ３ａとカメラ３ｂの付近にキーボード４上の手を照射する照射手段を備えることにより、さらに、手と背景のコントラストを高くすることができる。
実施例２の電気的構成は、実施例１の図３Ａのブロック図のカメラ３の替わりにカメラ３ａとカメラ３ｂで構成される。操作手順の概要は、実施例１と同様である（図４を参照）。
次に、指の姿の識別の方法について、実施例１と異なる点を、図１３から図１５を参照して説明する。
実施例２では、指の隙間状況の代わりに指の数を確定する。そして、位置座標の差異状況の確定は、カメラ３ａとカメラ３ｂの映像でキーボード４の操作キー面の直上の位置４ｃ（図１１を参照）の１次元の映像情報を使用する。実施例２においては、カメラ毎の映像情報に対して指の位置座標を確定する。
図１３Ａは、図１２の点線４ａの領域を、タッチパッドを操作するように１本の指で操作をする指のカメラ３ａの映像であり、指６ａは、操作キー面の直上の位置４ｃを過っている状態で、カメラ３ａから遠くにある背景６ｂは黒く、カメラ３ａから近くにある指６ａは白く撮像されている。
図１３Ｂは、図１３Ａの操作キー面の直上の位置４ｃの１次元の映像情報である。同様に、図１３Ｃは、カメラ３ｂの映像で、図１３Ｄは、図１３Ｃの操作キー面の直上の位置４ｃの１次元の映像情報である。
図１３Ａは、図１２の点線４ａの領域を、タッチパッドを操作するように１本の指で操作をする指のカメラ３ａの映像であり、指６ａは、操作キー面の直上の位置４ｃを過っている状態で、カメラ３ａから遠くにある背景６ｂは黒く、カメラ３ａから近くにある指６ａは白く撮像されている。
図１３Ｂは、図１３Ａの操作キー面の直上の位置４ｃの１次元の映像情報である。同様に、図１３Ｃは、カメラ３ｂの映像で、図１３Ｄは、図１３Ｃの操作キー面の直上の位置４ｃの１次元の映像情報である。
入力面における指の２次元座標の算出方法を、図１４を参照して説明する。
図１４の指６ａの２次元座標は、図１３Ｂの指６ａの中央付近の位置座標から、図１３Ｂの指６ａの中央付近とカメラ３ａを結ぶ直線７ａとカメラ３ａとカメラ３ｂを結ぶ基線７との角度７ａ１が判り、図１３Ｄの指６ａの中央付近の位置座標から、図１３Ｄの指６ａの中央付近とカメラ３ｂを結ぶ直線７ｂとカメラ３ａとカメラ３ｂを結ぶ基線７との角度７ｂ１が判るので、三角測量法で指６ａの２次元座標を求める。
図１４の指６ａの２次元座標は、図１３Ｂの指６ａの中央付近の位置座標から、図１３Ｂの指６ａの中央付近とカメラ３ａを結ぶ直線７ａとカメラ３ａとカメラ３ｂを結ぶ基線７との角度７ａ１が判り、図１３Ｄの指６ａの中央付近の位置座標から、図１３Ｄの指６ａの中央付近とカメラ３ｂを結ぶ直線７ｂとカメラ３ａとカメラ３ｂを結ぶ基線７との角度７ｂ１が判るので、三角測量法で指６ａの２次元座標を求める。
図１３の指の姿の場合、指の数は１本で指が静止している状態は、指示指状態を"１０１"（図１５Ａを参照）とする。他方、この指の姿が動いている、指示指状態を"１０２"と呼ぶ（図１５Ｂを参照）。また、映像情報に指の情報があっても、キーボード４の操作キー面の直上の位置４ｃの１次元の映像情報に指の情報が無ければ、指は無いと判定する（以下、指示指状態"１０３"と呼ぶ、図１５Ｃを参照）。
この様に指の姿を識別して指示指状態を確定し、図１６の操作状態判定テーブルを備えれば、実施例１と同様な入力が行える。例えば、キーボードの入力面が選択されている状態で、指示指状態"１０１"で１秒以上静止すると、マウス情報の入力面が選択され（図１６のＫ−１を参照）、その後、指を動かすと指示指状態は"１０２"となり、マウスポインタが移動される（図１６のＭ−２と図７のＭ−２を参照）。
実施例２の流れ図は、実施例１の図９の流れ図のＳ０３０において、取り込んだ映像より指の情報を抽出した後、さらに、操作キー面の直上の位置４ｃの１次元の映像情報を抽出するように変更する。
尚、カメラの設置位置を変更したり、或いは、各カメラのレンズの画角を変更（例えば、画角を１３５度のレンズ）することで、図１２の点線４ａの領域を変更し、操作性の向上を図ったり、操作可能領域を変更したり、左手によりマウスポインタを操作するように、変更する事も出来る。
また、ＰＣ１は、ノート型パーソナルコンピュータに限らず、デスクトップ型パーソナルコンピュータであっても良い。
次に、実施例２のＣＣＤカメラを１次元イメージセンサに置き換えた実施例３について、実施例２と異なる点を説明する。実施例２における図１０のカメラ３ａを１次元イメージセンサ３ｃに、カメラ３ｂを１次元イメージセンサ３ｄで置き換えて構成させた入力装置が実施例３となる。
実施例２のカメラ３ａの映像は、図１３Ａであるが、実施例３の１次元イメージセンサ３ｃの映像は、図１３Ｂとなり、カメラ３ａの映像でキーボード４の操作キー面の直上の位置４ｃの１次元の映像情報と同じとなる。同様に、１次元イメージセンサ３ｄの映像は、図１３Ｄと同様になる。
したがって、実施例２の指の数と位置座標の差異状況の確定は、カメラ３ａとカメラ３ｂの映像でキーボード４の操作キー面の直上の位置４ｃの１次元の映像情報を使用するとしているが、実施例３の指の数と位置座標の差異状況の確定は、１次元イメージセンサ３ｃと１次元イメージセンサ３ｄの映像を使用すれば良い。したがって、図９のＳ０３０において、取り込んだ映像が１次元の映像情報となるので、この１次元の映像情報より、指の数と位置座標の差異状況の確定を行う。
また、この様な構成にしても、前記実施例２と同様な作用効果が得られるとともに、撮像手段を１次元イメージセンサとすることができるので、ＣＣＤカメラに対して安価な入力装置が提供できるようになる。尚、カメラ３ｃ、或いはカメラ３ｄの何れか一方をＣＣＤカメラとして、ＣＣＤカメラの映像情報からは、操作キー面の直上の位置４ｃの１次元の映像情報を抽出する形態としても、同様な作用効果が得られる。
実施例２および実施例３における、１次元の映像情報から判断できる指の情報では、１本の指なのか（図１５Ａを参照）、或いは、複数の指を揃えているか（例えば、中指と薬指と小指を揃えた形状、図１７Ａを参照）、の判定ができない。
そこで、１次元の映像情報より抽出した指の情報から判断できる指の幅は、カメラと指６ａの距離に依存する事を利用する。
そこで、１次元の映像情報より抽出した指の情報から判断できる指の幅は、カメラと指６ａの距離に依存する事を利用する。
例えば、図１８Ａは、カメラ３ａから距離Ｌにある指６ａと、カメラ３ａから距離２Ｌ（距離Ｌの２倍の距離）にある指６ａを示した図である。図１８Ｂは、カメラ３ａから距離Ｌにある指６ａのカメラ３ａの１次元の映像情報であり、図１８Ｃは、カメラ３ａから距離２Ｌにある指６ａのカメラ３ａの１次元の映像情報である。図１８Ｂの指６ａの幅と背景の比率は１対３で、撮像幅を１６ｃｍとすれば、指６ａの幅は、４ｃｍとなる。図１８Ｃの指６ａの幅と背景の比率は１対７で、撮像幅を１６ｃｍとすれば、指６ａの幅は２ｃｍとなる。
ここで、距離Ｌと図１８Ｂの指６ａの幅（４ｃｍ）の積は、距離２Ｌと図１８Ｃの指６ａの幅（２ｃｍ）の積と等しくなる事が判る。したがって、指の情報から判断できる指の幅とカメラと指６ａの距離の積は、一定になることが判る。
ここで、距離Ｌと図１８Ｂの指６ａの幅（４ｃｍ）の積は、距離２Ｌと図１８Ｃの指６ａの幅（２ｃｍ）の積と等しくなる事が判る。したがって、指の情報から判断できる指の幅とカメラと指６ａの距離の積は、一定になることが判る。
そこで、指示指状態の確定は、さらに、前記１次元の映像情報より抽出した指が、１本の指なのか、或いは、複数の指を揃えているか、を意味する指の構成状況を考慮し、前記指の数と前記位置座標の差異状況と前記指の構成状況に対して、指示指状態を対応付けた指示指状態テーブル１７３より指示指状態を確定する。
指の構成状況は、以下の要領で求める。
入力装置は、右側のカメラから所定の距離の指の幅が１本の指か、或いは、複数の指を揃えたものかを判定をする為に、標準基準幅を備えている。例えば、「標準基準幅その１≦指の幅≦標準基準幅その２」を満たすときは、指が１本の指で構成されていると判定し、「標準基準幅その２＜指の幅」を満たすときは、３本の指を揃えた状態で構成されていると判定し、「指の幅＜標準基準幅その１」の場合は、映像情報に指が写っていないか、指が入力操作を開始し出したばかりと判定し、指の情報が無いものと判定するものである。
入力装置は、右側のカメラから所定の距離の指の幅が１本の指か、或いは、複数の指を揃えたものかを判定をする為に、標準基準幅を備えている。例えば、「標準基準幅その１≦指の幅≦標準基準幅その２」を満たすときは、指が１本の指で構成されていると判定し、「標準基準幅その２＜指の幅」を満たすときは、３本の指を揃えた状態で構成されていると判定し、「指の幅＜標準基準幅その１」の場合は、映像情報に指が写っていないか、指が入力操作を開始し出したばかりと判定し、指の情報が無いものと判定するものである。
前記所定の距離と所定の距離の標準基準幅の積と、任意の位置の基準幅と前記任意の位置の指とカメラとの距離の積が一定になることにより、任意の位置の基準幅が求まるので、任意の位置の指の構成が確定する。
また、利用者を特定すれば、標準基準幅を３ケ設定し、指の構成が1本か２本か３本かの判定もできる。また、標準基準幅を１つにして、１本の指のときと複数の指を揃えたときを同一の指状態情報とすることもできる。
実施例１で構成されるＰＣ１に、さらに、キーボード４の向う側の中央にＣＣＤカメラ３ａを備えた実施例５について、図１９から図２２を参照して説明する。
先ず、物理的な構成について、実施例１の図１及び図２と異なる点を、図１９から図２１を参照して説明する。
カメラ３ａを、カメラ３ａのレンズの画角の中心３ａ１がキーボード４の操作キー面の直上の位置４ｃと平行（図２０を参照）でかつ、キーボード４を左右に２等分する位置３ａ２となり、カメラ３ａの撮影領域が、カメラ３が作る領域４ａを含むように設置する（図２１を参照）。また、カメラ３ａのレンズの画角は、約１３５度である。
カメラ３ａを、カメラ３ａのレンズの画角の中心３ａ１がキーボード４の操作キー面の直上の位置４ｃと平行（図２０を参照）でかつ、キーボード４を左右に２等分する位置３ａ２となり、カメラ３ａの撮影領域が、カメラ３が作る領域４ａを含むように設置する（図２１を参照）。また、カメラ３ａのレンズの画角は、約１３５度である。
次に、電気的構成において、実施例１の図３Ａと異なる点は、カメラ３とカメラ３ａがビデオコントローラ１５に接続されている点である。
次に、操作手順において、実施例１と異なる点は、テンキー情報の入力面の選択の操作手順とテンキー情報の入力の操作手順である。
さらに、テンキー情報の入力の操作手順の操作状態の判定は、カメラ３とカメラ３ａの映像より確定した指示指状態を使用する。したがって、操作状態判定テーブル１７１は、カメラ３とカメラ３ａの指示指状態と指示指継続時間により構築する。
さらに、テンキー情報の入力の操作手順の操作状態の判定は、カメラ３とカメラ３ａの映像より確定した指示指状態を使用する。したがって、操作状態判定テーブル１７１は、カメラ３とカメラ３ａの指示指状態と指示指継続時間により構築する。
以下、テンキー情報の入力面の選択の操作手順とテンキー情報の入力の操作手順について説明する。キーボードの入力面（図４のＯＰ−Ｋを参照）が選択されている状態において、テンキー情報の入力面（図４のＯＰ−Ｔを参照）を選択する操作手順は、左手の親指と人差し指の隙間が有り、人差し指と中指の隙間が無い状態で静止していて、右手はどの様な状態であっても良い指示指状態（以下、指示指状態を"５０１"と呼ぶ、図２２Ａを参照）を、カメラ３の映像から判断すると、テンキー情報の入力面が選択される（図２２Ｂの操作状態判定テーブル１７１のＫ−２を参照）。
テンキー情報の入力面が選択されている状態で、テンキー情報を入力するには、指示指状態が"５０１"の状態で、かつ、カメラ３ａの映像から、右手部分の指示指状態が"１０３"の状態から"１０１"の状態（図１５を参照）に変化したと判断した時である（図２２Ｂの操作状態判定テーブル１７１のＴ−１を参照）。
そして、テンキー情報の入力があったと判定されると、カメラ３ａの右手部分の指示指状態"１０１"の指６ａの中心の映像上の位置座標が判るので、この位置座標とカメラ３の映像より抽出した指の情報より、キーボード４の操作キー面の直上の位置４ｃを過った指が判るので、前記過った指の２次元座標をカメラ３の映像より確定し、図７の入力情報テーブル１７２より、入力情報を決定する。
以上の様に構成された実施例５の入力装置の動作について、実施例１と異なる点を、図９を参照して説明する。
・Ｓ０２０の映像の取り込みでは、カメラ３とカメラ３ａからの映像を取り込む。
・Ｓ０３０の指の情報を抽出処理では、カメラ３ａについては、実施例２と同様に、キーボード４の操作キー面の直上の位置４ｃの１次元の映像情報を抽出する。
・Ｓ０４０の指示指状態確定処理では、実施例１と同様に指示指状態を確定し、さらに、カメラ３ａの指の抽出情報より、実施例２と同様に指示指状態を確定する。
そして、Ｓ０６３において入力情報を決定する為の指の２次元座標は、カメラ３ａの映像上の指の位置座標とカメラ３が撮影した指の姿から求めた２次元座標から特定する。
尚、マウスと同等情報の操作手順もカメラ３とカメラ３ａの指示指状態を使って構築する事が出来る。
・Ｓ０２０の映像の取り込みでは、カメラ３とカメラ３ａからの映像を取り込む。
・Ｓ０３０の指の情報を抽出処理では、カメラ３ａについては、実施例２と同様に、キーボード４の操作キー面の直上の位置４ｃの１次元の映像情報を抽出する。
・Ｓ０４０の指示指状態確定処理では、実施例１と同様に指示指状態を確定し、さらに、カメラ３ａの指の抽出情報より、実施例２と同様に指示指状態を確定する。
そして、Ｓ０６３において入力情報を決定する為の指の２次元座標は、カメラ３ａの映像上の指の位置座標とカメラ３が撮影した指の姿から求めた２次元座標から特定する。
尚、マウスと同等情報の操作手順もカメラ３とカメラ３ａの指示指状態を使って構築する事が出来る。
この様な構成にしても、前記実施例１と同様な作用効果が得られるとともに、カメラ３とカメラ３ａの撮像から取得した指示指状態に対して操作手順が構築できるので、よりユーザーフレンドリな操作手順とする事ができる。
実施例６は、実施例５に備えられたカメラ３ａの代わりに１次元イメージセンサ３ｃとし、指の情報の抽出は１次元イメージセンサ３ｃの映像を使用する事を特徴とする。
この様な構成にしても、前記実施例５と同様な作用効果が得られるとともに、安価な入力装置が提供できるようになる。
実施例１で構成される入力装置のカメラ３を外付けの撮像装置９にした実施例７について、図２３から図２４を参照して説明する。
先ず、物理的な構成と電気的構成を、図２３を参照して説明する。
入力装置は、撮像装置９を、ＵＳＢコネクタ８を介してＰＣ１に接続し、撮像装置９の制御回路９ａでカメラ３の映像を取得し、指の情報を抽出後、指の抽出情報を、ＵＳＢコネクタ８を経由して、ＰＣ１に送出する構成である。
入力装置は、撮像装置９を、ＵＳＢコネクタ８を介してＰＣ１に接続し、撮像装置９の制御回路９ａでカメラ３の映像を取得し、指の情報を抽出後、指の抽出情報を、ＵＳＢコネクタ８を経由して、ＰＣ１に送出する構成である。
次に、上記の様に構成された実施例７の入力装置の動作、即ち、撮像装置９とＰＣ１の動作について、実施例１の図９と異なる点を、図２４の流れ図を参照して説明する。
撮像装置９では、実施例１のＳ０１０からＳ０３０に相当する処理を行う（図２４Ａを参照）。
先ず、映像の取り込みタイミングかどうかを判断する（Ｓ７１０）。撮像装置９は、所定の時間間隔でカメラ３から映像を取り込み、以下の処理を実行する。取り込みタイミングでなければ（Ｓ７１０：ＮＯ）、取り込みタイミングになるまで待機する。取り込みタイミングになったら（Ｓ７１０：ＹＥＳ）、カメラ３からの映像を取り込む（Ｓ７２０）。
次に、前記映像より、左右の手の指の情報を抽出し、抽出データを、ＵＳＢコネクタ８を介して送出する。（Ｓ７３０）。
先ず、映像の取り込みタイミングかどうかを判断する（Ｓ７１０）。撮像装置９は、所定の時間間隔でカメラ３から映像を取り込み、以下の処理を実行する。取り込みタイミングでなければ（Ｓ７１０：ＮＯ）、取り込みタイミングになるまで待機する。取り込みタイミングになったら（Ｓ７１０：ＹＥＳ）、カメラ３からの映像を取り込む（Ｓ７２０）。
次に、前記映像より、左右の手の指の情報を抽出し、抽出データを、ＵＳＢコネクタ８を介して送出する。（Ｓ７３０）。
ＰＣ１では、実施例１のＳ０４０からＳ０６０に相当する処理を行う（図２４Ｂを参照）。
先ず、ＵＳＢコネクタ８を介して、撮像装置９から送出された送出データの取り込みタイミングかどうか判定する。取り込みタイミングでなければ（Ｓ７１１：ＮＯ）、再度、取り込みタイミングかどうか判定する。取り込みタイミングであれば（Ｓ７１１：ＹＥＳ）、送出データを取り込む（Ｓ７２１）。
その後、実施例１と同じであるＳ０４０からＳ０６０の処理を行う（Ｓ７４０からＳ７６０）。
先ず、ＵＳＢコネクタ８を介して、撮像装置９から送出された送出データの取り込みタイミングかどうか判定する。取り込みタイミングでなければ（Ｓ７１１：ＮＯ）、再度、取り込みタイミングかどうか判定する。取り込みタイミングであれば（Ｓ７１１：ＹＥＳ）、送出データを取り込む（Ｓ７２１）。
その後、実施例１と同じであるＳ０４０からＳ０６０の処理を行う（Ｓ７４０からＳ７６０）。
この様な構成にしても、前記実施例１と同様な作用効果が得られるとともに、様々な入力操作面での利用が可能になる。例えば、机上の操作面上に入力面が形成されるように外付け撮像装置９を設置すれば、マウス専用装置として、風塵、油水の多い利用環境でも利用できる。
実施例７の制御回路９ａに、ＰＣ１を入力装置として機能させるため制御部５０に備えた入力プログラムや入力プログラムにおいて時間の経過を計測するためのタイマや入力プログラムを制御するための各種テーブルを備えた実施例８の撮像装置９について説明する。
この様な構成にすると、撮像装置９は、撮像装置９をパーソナルコンピュータのＵＳＢコネクタ８に接続することにより、前記パーソナルコンピュータの入力装置とすることができる。
尚、操作状態判定テーブル１７１と入力情報テーブル１７２と指示指状態テーブル１７３の更新は、これらのテーブルを編集するためのプログラムとこれらのテーブルを制御回路９ａに伝送するプログラムを前記パーソナルコンピュータに備えれば良い。
この様な構成にすると、撮像装置９は、撮像装置９をパーソナルコンピュータのＵＳＢコネクタ８に接続することにより、前記パーソナルコンピュータの入力装置とすることができる。
尚、操作状態判定テーブル１７１と入力情報テーブル１７２と指示指状態テーブル１７３の更新は、これらのテーブルを編集するためのプログラムとこれらのテーブルを制御回路９ａに伝送するプログラムを前記パーソナルコンピュータに備えれば良い。
実施例２で構成される入力装置のカメラ３ａとカメラ３ｂを外付けの撮像装置９にした実施例９について、図２５を参照して説明する。
先ず、物理的な構成と電気的構成を、図２５を参照して説明する。
入力装置は、撮像装置９を、ＵＳＢコネクタ８を介してＰＣ１に接続し、撮像装置９の制御回路９ａでカメラ３ａとカメラ３ｂの映像を取得し、指の情報を抽出後、指の抽出情報をＵＳＢコネクタ８を経由してＰＣ１に送出する構成である。
尚、実施例３及び実施例４も同様な構成にできる。また、カメラ３ａとカメラ３ｂの何れか一方を１次元イメージセンサにしても良い。
入力装置は、撮像装置９を、ＵＳＢコネクタ８を介してＰＣ１に接続し、撮像装置９の制御回路９ａでカメラ３ａとカメラ３ｂの映像を取得し、指の情報を抽出後、指の抽出情報をＵＳＢコネクタ８を経由してＰＣ１に送出する構成である。
尚、実施例３及び実施例４も同様な構成にできる。また、カメラ３ａとカメラ３ｂの何れか一方を１次元イメージセンサにしても良い。
この様な構成にしても、前記実施例２と同様な作用効果が得られるとともに、様々な入力操作面での利用が可能になる。例えば、机上の操作面上に外付け撮像装置９を設置すれば、マウス専用装置として、風塵、油水の多い利用環境でも利用できる。
実施例９の制御回路９ａに、ＰＣ１を入力装置として機能させるため制御部５０に備えた入力プログラムや入力プログラムにおいて時間の経過を計測するためのタイマや入力プログラムを制御するための各種テーブルを備えた実施例１０の撮像装置９について説明する。
この様な構成にすると、撮像装置９は、撮像装置９をＵＳＢコネクタ８に接続することによりパーソナルコンピュータの入力装置とすることができる。
尚、操作状態判定テーブル１７１と入力情報テーブル１７２と指示指状態テーブル１７３の更新は、これらのテーブルを編集するためのプログラムと制御回路９ａに伝送するためのプログラムを前記パーソナルコンピュータに備えれば良い。
尚、操作状態判定テーブル１７１と入力情報テーブル１７２と指示指状態テーブル１７３の更新は、これらのテーブルを編集するためのプログラムと制御回路９ａに伝送するためのプログラムを前記パーソナルコンピュータに備えれば良い。
この様な構成にしても、前記実施例２と同様な作用効果が得られるとともに、様々な入力操作面での利用が可能になる。例えば、机上の操作面上に外付け撮像装置９を設置すれば、マウス専用装置として、風塵、油水の多い利用環境でも利用できる。
実施例５で構成される入力装置のカメラ３とカメラ３ａを外付けの撮像装置９とし、さらに、撮像装置９からキーボードと同等情報が入力できるようにした実施例１１について、図２６から図３０を参照して説明する。
先ず、物理的な構成について、実施例５と異なる点を、図２６から図２７を参照して説明する。
入力装置は、撮像装置９を、ＵＳＢコネクタ８を介してＰＣ１に接続し、撮像装置９の制御回路９ａでカメラ３とカメラ３ａの映像を取得し、指の情報を抽出後、指の抽出情報を、ＵＳＢコネクタ８を経由してＰＣ１に送出する構成である。
入力装置は、撮像装置９を、ＵＳＢコネクタ８を介してＰＣ１に接続し、撮像装置９の制御回路９ａでカメラ３とカメラ３ａの映像を取得し、指の情報を抽出後、指の抽出情報を、ＵＳＢコネクタ８を経由してＰＣ１に送出する構成である。
撮像装置９からキーボードと同等情報やテンキーと同等情報を入力する時に使用する入力面上に配置される入力情報の領域を示した入力補助シート４ｄ（図２６と図２７を参照）を、カメラ３の撮像領域内に入るように、入力操作面上に設置する。
カメラ３ａを、カメラ３ａのレンズの画角の中心３ａ１が入力補助シート４ｄ面の直上の位置４ｃと平行（図２６Ｂを参照）でかつ、入力補助シート４ｄを左右に２等分する位置３ａ２となり、カメラ３ａの撮像領域が、カメラ３が作る領域４ａを含むように設置し（図２７を参照）、左右の手のどの指が入力補助シート４ｄ面の直上の位置４ｃを過っているかどうかが判定できるようにしている。また、カメラ３ａのレンズの画角は、約１３５度である。
次に、操作手順の概要について、実施例５と異なる点を、図２８を参照して説明する。
先ず、実施例５で備えていた「キーボードの入力面（ＯＰ−Ｋ）」に変えて、キーボードと同等情報を入力する為の「ＱＷＥＲＴＹの入力面（ＯＰ−Ｑ）」とした。これに伴い、ＱＷＥＲＴＹの入力面を選択する操作手順とＱＷＥＲＴＹの入力面が選択されている状態において入力情報を決定する操作手順とＱＷＥＲＴＹの入力面が選択されている状態において入力できる入力情報を定め、マウスと同等情報やテンキーと同等情報やショートカットキーと同等情報や文字と同等情報やキーボードと同等情報の入力ができる操作手順とした。
先ず、実施例５で備えていた「キーボードの入力面（ＯＰ−Ｋ）」に変えて、キーボードと同等情報を入力する為の「ＱＷＥＲＴＹの入力面（ＯＰ−Ｑ）」とした。これに伴い、ＱＷＥＲＴＹの入力面を選択する操作手順とＱＷＥＲＴＹの入力面が選択されている状態において入力情報を決定する操作手順とＱＷＥＲＴＹの入力面が選択されている状態において入力できる入力情報を定め、マウスと同等情報やテンキーと同等情報やショートカットキーと同等情報や文字と同等情報やキーボードと同等情報の入力ができる操作手順とした。
ＱＷＥＲＴＹの入力面、或いは、テンキー情報の入力面が選択されている状態における操作手順は、カメラ３とカメラ３ａから求めた夫々の指示指状態が使用され、マウス情報の入力面、或いは、スクロール待ち入力面、或いは、左クリック押下継続の入力面が選択されている状態における操作手順は、カメラ３の指示指状態が使用される。
次に、操作手順の詳細について、実施例５と異なる点を、図２９を参照して説明する。
キーボードの入力面（ＯＰ−Ｋ）に変えて、ＱＷＥＲＴＹの入力面（ＯＰ−Ｑ）としたので、Ｍ−９とＳ−４とＴ−２の操作指示内容が変更されている。
キーボードの入力面（ＯＰ−Ｋ）に変えて、ＱＷＥＲＴＹの入力面（ＯＰ−Ｑ）としたので、Ｍ−９とＳ−４とＴ−２の操作指示内容が変更されている。
実施例５では、テンキー情報を入力する時、右手部分の指示指状態が"１０３"から"１０１"へ変化した時に操作指示を出していた（Ｔ−１）。しかし、複数本の指が入力補助シート４ｄ面の直上の位置４ｃを過っている状態で、新たな指が位置４ｃを過った事で入力指示を出した場合、操作状態判定テーブル１７１へ指示指状態の変化の組合せを登録するには、相当の負荷が増大する。
そこで、入力補助シート４ｄ面の直上の位置４ｃを過っている指の映像上の位置座標が指毎に判るので、前回の映像上の各指の位置座標と今回の各指の位置座標を比較し、新たに発生した位置座標以外は、全て同じ位置座標であった場合、カメラ３ａの指示指状態を、例えば、"９９９"として、操作状態判定テーブル１７１を構築すれば良い。
例えば、入力操作をする手を、カメラ３ａから見た様が図３０Ａであったとすると、カメラ３ａの映像情報の入力補助シート４ｄ面の直上の位置４ｃの１次元の映像情報は、図３０Ｂの様に撮像されている。この状態から、右手の人差し指を下に下し、入力補助シート４ｄ面の直上の位置４ｃを過らせると、図３０Ｃの１次元の映像情報が取得される。
したがって、図３０Ｂと図３０Ｃの１次元の映像情報より、新たに入力補助シート４ｄ面の直上の位置４ｃを過った指が判り、右手の人差し指の位置座標（図３０Ｃを参照）が判る。
したがって、図３０Ｂと図３０Ｃの１次元の映像情報より、新たに入力補助シート４ｄ面の直上の位置４ｃを過った指が判り、右手の人差し指の位置座標（図３０Ｃを参照）が判る。
したがって、カメラ３の映像より抽出した指の情報から確定した指示指状態が、"５０１"や"０１０"以外であり、かつ、カメラ３ａの映像より抽出した指の情報から確定した指示指状態が"９９９"の時、キーボードと同等情報の入力があったと判定できる（図２９ＡのＫ−８を参照）。
尚、指示指状態"００１"、"０１７"は、マウス情報の入力面やスクロール待ち入力面の選択で使用しているが、１秒を経過した時に操作指示が出されるので、１秒未満であれば、Ｋ−８の指示指状態として利用できる。
尚、指示指状態"００１"、"０１７"は、マウス情報の入力面やスクロール待ち入力面の選択で使用しているが、１秒を経過した時に操作指示が出されるので、１秒未満であれば、Ｋ−８の指示指状態として利用できる。
そして、キーボードと同等情報の入力があったと判定されると、指示指状態を"９９９"とした指の位置座標とカメラ３の映像より抽出した指の情報より、新たに入力補助シート４ｄ面の直上の位置４ｃを過った指の２次元座標が確定できるので、図２９Ｂの入力情報テーブル１７２より、入力情報を決定する。
以上の様に構成された実施例１１の入力装置の動作、即ち、撮像装置９とＰＣ１の動作について、実施例７の図２４の流れ図と異なる点を説明する。
・Ｓ７２０では、カメラ３とカメラ３ａから映像を取り出す。
・Ｓ７３０では、取り込んだ映像より、指の情報を抽出する。カメラ３ａについては、入力補助シート４ｄ面の直上の位置４ｃの１次元の映像情報を抽出する。そして、抽出データをＰＣ１に送出する。
・Ｓ７４０では、実施例７の指示指確定手段により指示指状態を確定し、さらに、カメラ３ａの指の情報に対しても指示指状態を確定する。
そして、入力情報を決定する為の指の２次元座標は、カメラ３ａの映像上の指の位置座標とカメラ３が撮影した指の姿から求めた２次元座標から特定する。
尚、カメラ３ａは１次元イメージセンサ３ｃであっても良い。この時は、入力補助シート４ｄ面の直上の位置４ｃの１次元の映像情報の抽出は不要となる。
・Ｓ７２０では、カメラ３とカメラ３ａから映像を取り出す。
・Ｓ７３０では、取り込んだ映像より、指の情報を抽出する。カメラ３ａについては、入力補助シート４ｄ面の直上の位置４ｃの１次元の映像情報を抽出する。そして、抽出データをＰＣ１に送出する。
・Ｓ７４０では、実施例７の指示指確定手段により指示指状態を確定し、さらに、カメラ３ａの指の情報に対しても指示指状態を確定する。
そして、入力情報を決定する為の指の２次元座標は、カメラ３ａの映像上の指の位置座標とカメラ３が撮影した指の姿から求めた２次元座標から特定する。
尚、カメラ３ａは１次元イメージセンサ３ｃであっても良い。この時は、入力補助シート４ｄ面の直上の位置４ｃの１次元の映像情報の抽出は不要となる。
実施例１１の制御回路９ａに、ＰＣ１を入力装置として機能させるため制御部５０に備えた入力プログラムや入力プログラムにおいて時間の経過を計測するためのタイマや入力プログラムを制御するための各種テーブルを備えた実施例１２の撮像装置９について説明する。この様な構成にすると、撮像装置９は、撮像装置９をＵＳＢコネクタ８に接続することによりパーソナルコンピュータの入力装置とすることができる。
尚、操作状態判定テーブル１７１と入力情報テーブル１７２と指示指状態テーブル１７３の更新は、これらのテーブルを編集するためのプログラムと制御回路９ａに伝送するプログラムを前記パーソナルコンピュータに備えれば良い。
尚、操作状態判定テーブル１７１と入力情報テーブル１７２と指示指状態テーブル１７３の更新は、これらのテーブルを編集するためのプログラムと制御回路９ａに伝送するプログラムを前記パーソナルコンピュータに備えれば良い。
実施例１３は、実施例１と実施例２のカメラの設置方法を組み合わせた構成の入力装置であって、図３１を参照して説明する。
実施例１３は、カメラ３により入力面が配置される領域４ａとカメラ３ａとカメラ３ｂにより入力面が配置される領域４ａ´を備える。
カメラ毎に判定した指示指状態は、一意に定めることにより、実施例１と実施例２の操作手順が自由に選択できるようになる。
実施例１３は、カメラ３により入力面が配置される領域４ａとカメラ３ａとカメラ３ｂにより入力面が配置される領域４ａ´を備える。
カメラ毎に判定した指示指状態は、一意に定めることにより、実施例１と実施例２の操作手順が自由に選択できるようになる。
尚、カメラ３ａ、或いは、カメラ３ｂの何れか一方、または、カメラ３ａとカメラ３ｂがともに１次元イメージセンサであっても良い事は、既に説明済みの実施例と同様である。また、撮像手段や、ＰＣ１を入力装置として機能させるため制御部５０に備えた入力プログラムや入力プログラムにおいて、時間の経過を計測するためのタイマや入力プログラムを制御するための各種テーブルを別筺体にしても良い事も、既に説明済みの実施例と同様である。
以上に述べてきた入力装置の入力操作面に形成される入力面は、カメラの映像を基にして生成されるので、必ずしも、説明したようなキーボードのような機械的な構成を有する入力操作面上に生成される必要はなく、単なる平面上又は空間領域中に生成することも可能である。
本発明による入力装置は、同一のハードウェアとソフトウェアであっても、予め入力面や指の姿や操作手順や入力情報を定め且つこれらを必要により任意に変更し得るようにする事により、パソコンのキーボード装置面上に限らず、様々な領域を入力操作面とすることができる。そのような実施例を、以下説明する。
そこで、先ず、表示画面上に入力面を形成する実施例１４について説明する。
実施例９、或いは、実施例１０の撮像装置９をディスプレイ装置に設置し、表示画面上に入力面が形成されるようにし、表示画面の絶対位置のポインティング操作ができるように、入力面と操作手順や入力情報や指示指状態を定め、操作状態判定テーブル１７１と入力情報テーブル１７２と指示指状態テーブル１７３を構築すれば、タッチパネルとして利用できる。
尚、大型のディスプレイに設置する場合、実施例３で示した１次元イメージセンサを使用すると、安価なタッチパネルの構築が可能となる。
また、既存のタッチパネルでは、画面上の指定された位置を指し示すことで、ページを移動するなどの操作をしていたが、機能情報を入力するための入力面と操作手順や入力情報や指示指状態を定め、操作状態判定テーブル１７１と入力情報テーブル１７２と指示指状態テーブル１７３を構築すれば、画面上の任意の位置でページ移動等の操作が行えるようになる。
本発明による入力装置は、同一のハードウェアとソフトウェアであっても、予め入力面や指の姿や操作手順や入力情報を定め且つこれらを必要により任意に変更し得るようにする事により、パソコンのキーボード装置面上に限らず、様々な領域を入力操作面とすることができる。そのような実施例を、以下説明する。
そこで、先ず、表示画面上に入力面を形成する実施例１４について説明する。
実施例９、或いは、実施例１０の撮像装置９をディスプレイ装置に設置し、表示画面上に入力面が形成されるようにし、表示画面の絶対位置のポインティング操作ができるように、入力面と操作手順や入力情報や指示指状態を定め、操作状態判定テーブル１７１と入力情報テーブル１７２と指示指状態テーブル１７３を構築すれば、タッチパネルとして利用できる。
尚、大型のディスプレイに設置する場合、実施例３で示した１次元イメージセンサを使用すると、安価なタッチパネルの構築が可能となる。
また、既存のタッチパネルでは、画面上の指定された位置を指し示すことで、ページを移動するなどの操作をしていたが、機能情報を入力するための入力面と操作手順や入力情報や指示指状態を定め、操作状態判定テーブル１７１と入力情報テーブル１７２と指示指状態テーブル１７３を構築すれば、画面上の任意の位置でページ移動等の操作が行えるようになる。
次に、机上に入力面を形成する実施例１５について説明する。
実施例１２の撮像装置９とディスプレイをデスクトップパソコンの本体６０のＵＳＢコネクタ８に接続した実施例１５（図３２を参照）の操作手順は、実施例１１と同様である。この様な形態にすると、打鍵式のキーボード装置やマウス装置に代わり、撮像装置９から入力できるようになる。したがって、業務向け専用のキーボード装置の構築が容易になる。
さらに、カメラ３により撮影されたバーコードから、バーコードで示された内容から入力面を選択する入力平面選択代替手段を備えれば、ＰＯＳ端末としても利用できる。
前記入力平面選択代替手段は、
先ず、バーコードにより入力面選択の操作指示を取得したら、図９のＳ０６１の操作状態の判定は、無条件にＷ操作状態とする。次に、入力面の選択指示があったとし、バーコードで指定された入力面を選択する。
実施例１２の撮像装置９とディスプレイをデスクトップパソコンの本体６０のＵＳＢコネクタ８に接続した実施例１５（図３２を参照）の操作手順は、実施例１１と同様である。この様な形態にすると、打鍵式のキーボード装置やマウス装置に代わり、撮像装置９から入力できるようになる。したがって、業務向け専用のキーボード装置の構築が容易になる。
さらに、カメラ３により撮影されたバーコードから、バーコードで示された内容から入力面を選択する入力平面選択代替手段を備えれば、ＰＯＳ端末としても利用できる。
前記入力平面選択代替手段は、
先ず、バーコードにより入力面選択の操作指示を取得したら、図９のＳ０６１の操作状態の判定は、無条件にＷ操作状態とする。次に、入力面の選択指示があったとし、バーコードで指定された入力面を選択する。
次に、机上に入力面を形成する実施例１６について説明する。
実施例１５の制御部６０と撮像手段９を一体型とした、画像認識を利用した入力装置を備えたパーソナルコンピュータ７０である実施例１６について、図３３を参照して説明する。
パーソナルコンピュータ７０には、ディスプレイ装置に代えてディスプレイ装置に表示する表示内容１０２を壁１０１に投影する投影手段２０と、入力面を選択すると入力面の選択と連動して、入力情報を選択する位置を示すための入力補助情報４ｅを机上１００に投影するようにした入力補助情報投影手段２１が接続されている。尚、操作手順は、実施例１１と同様である。
この様な形態にすると、実施例５や実施例６や実施例１１や実施例１２の作用効果に加え、パーソナルコンピュータの小型化が図れる。
また、このような形態の入力装置は、電子ピアノと同等情報や電子打楽器と同等情報やミキサーの制御情報やゲーム装置の入力情報を入力するための入力面と操作手順や入力情報や指示指状態を定め、操作状態判定テーブル１７１と入力情報テーブル１７２と指示指状態テーブル１７３を構築すれば、電子楽器や音響機器やゲーム装置の入力装置として利用できる。
実施例１５の制御部６０と撮像手段９を一体型とした、画像認識を利用した入力装置を備えたパーソナルコンピュータ７０である実施例１６について、図３３を参照して説明する。
パーソナルコンピュータ７０には、ディスプレイ装置に代えてディスプレイ装置に表示する表示内容１０２を壁１０１に投影する投影手段２０と、入力面を選択すると入力面の選択と連動して、入力情報を選択する位置を示すための入力補助情報４ｅを机上１００に投影するようにした入力補助情報投影手段２１が接続されている。尚、操作手順は、実施例１１と同様である。
この様な形態にすると、実施例５や実施例６や実施例１１や実施例１２の作用効果に加え、パーソナルコンピュータの小型化が図れる。
また、このような形態の入力装置は、電子ピアノと同等情報や電子打楽器と同等情報やミキサーの制御情報やゲーム装置の入力情報を入力するための入力面と操作手順や入力情報や指示指状態を定め、操作状態判定テーブル１７１と入力情報テーブル１７２と指示指状態テーブル１７３を構築すれば、電子楽器や音響機器やゲーム装置の入力装置として利用できる。
次に、机上に入力面を形成する実施例１７について説明する。
実施例７、或いは、実施例８の撮像装置９を机上に入力面が形成されるように上部に設置し、家電製品（例えば、照明の電源や照度スイッチ、テレビの各種スイッチ、エアコンの操作等）のスイッチ毎に入力面と操作手順や入力情報や指示指状態を定めたり、ゲーム内容毎に入力面と操作手順や入力情報や指示指状態を定め、操作状態判定テーブル１７１と入力情報テーブル１７２と指示指状態テーブル１７３を構築すれば、各種家電製品のパネルスイッチを総合的に管理する装置やゲームの入力を総合的に管理する入力装置として利用できる。
実施例７、或いは、実施例８の撮像装置９を机上に入力面が形成されるように上部に設置し、家電製品（例えば、照明の電源や照度スイッチ、テレビの各種スイッチ、エアコンの操作等）のスイッチ毎に入力面と操作手順や入力情報や指示指状態を定めたり、ゲーム内容毎に入力面と操作手順や入力情報や指示指状態を定め、操作状態判定テーブル１７１と入力情報テーブル１７２と指示指状態テーブル１７３を構築すれば、各種家電製品のパネルスイッチを総合的に管理する装置やゲームの入力を総合的に管理する入力装置として利用できる。
次に、机上に入力面を形成する実施例１８について説明する。
実施例７、或いは、実施例８の撮像装置９を机上に設置したり、
実施例９、或いは、実施例１０の撮像装置９を机上に設置することで、
机上に入力面が形成されるようにし、入力面上の絶対座標の入力情報を生成する入力面と操作手順や入力情報や指示指状態を定め、操作状態判定テーブル１７１と入力情報テーブル１７２と指示指状態テーブル１７３を構築すれば、タブレットの入力装置として利用できる。
実施例７、或いは、実施例８の撮像装置９を机上に設置したり、
実施例９、或いは、実施例１０の撮像装置９を机上に設置することで、
机上に入力面が形成されるようにし、入力面上の絶対座標の入力情報を生成する入力面と操作手順や入力情報や指示指状態を定め、操作状態判定テーブル１７１と入力情報テーブル１７２と指示指状態テーブル１７３を構築すれば、タブレットの入力装置として利用できる。
次に、壁上に入力面を形成する実施例１９について説明する。
実施例９、或いは、実施例１０の撮像装置９を入口の壁に設置し、
壁上に入力面が形成されるようにし、
家電製品（例えば、照明の電源や照度スイッチ、テレビの各種スイッチ、エアコンの操作等）のスイッチ毎に入力面と操作手順や入力情報や指示指状態を定めたり、
入管装置（例えば、インターフォンや暗証番号入力等）の入力目的毎に入力面と操作手順や入力情報や指示指状態を定め、
操作状態判定テーブル１７１と入力情報テーブル１７２と指示指状態テーブル１７３を構築すれば、各種家電製品のパネルスイッチを総合的に管理する装置や入管装置を総合的に管理する装置としてとして利用できる。
実施例９、或いは、実施例１０の撮像装置９を入口の壁に設置し、
壁上に入力面が形成されるようにし、
家電製品（例えば、照明の電源や照度スイッチ、テレビの各種スイッチ、エアコンの操作等）のスイッチ毎に入力面と操作手順や入力情報や指示指状態を定めたり、
入管装置（例えば、インターフォンや暗証番号入力等）の入力目的毎に入力面と操作手順や入力情報や指示指状態を定め、
操作状態判定テーブル１７１と入力情報テーブル１７２と指示指状態テーブル１７３を構築すれば、各種家電製品のパネルスイッチを総合的に管理する装置や入管装置を総合的に管理する装置としてとして利用できる。
次に、壁上に入力面を形成する実施例２０について説明する。
実施例８の撮像装置９を、プロジェクタを接続したパソコンに接続し、タッチパネルや電子黒板の入力情報と同等情報を入力するための入力面と操作手順や入力情報や指示指状態を定め、操作状態判定テーブル１７１と入力情報テーブル１７２と指示指状態テーブル１７３を構築すれば、プロジェクタで投影する壁上の映像をタッチパネルや電子黒板として利用できる。尚、実施例７の撮像装置９を利用する場合は、パソコンにパソコンを入力装置として機能させるための資源をインストールすれば良い。
実施例８の撮像装置９を、プロジェクタを接続したパソコンに接続し、タッチパネルや電子黒板の入力情報と同等情報を入力するための入力面と操作手順や入力情報や指示指状態を定め、操作状態判定テーブル１７１と入力情報テーブル１７２と指示指状態テーブル１７３を構築すれば、プロジェクタで投影する壁上の映像をタッチパネルや電子黒板として利用できる。尚、実施例７の撮像装置９を利用する場合は、パソコンにパソコンを入力装置として機能させるための資源をインストールすれば良い。
次に、既存装置面上に入力面を形成する実施例２１について説明する。パソコンのキーボード装置面上に入力面を形成する形態もこの形態の１つである。
実施例８の撮像装置９を車のハンドル上を撮影できるように設置し、車のオーディオの制御情報やエアコンの制御情報や車載電話の制御情報やナビゲーションシステムの制御情報の入力面と操作手順や入力情報や指示指状態を定め、操作状態判定テーブル１７１と入力情報テーブル１７２と指示指状態テーブル１７３を構築すれば、車載電子機器装置の総合的に管理する入力装置として利用できる。
尚、実施例７の撮像装置９を利用する場合は、車載の電子機器に車載の電子機器を入力装置として機能させるための資源をインストールすれば良い。
実施例８の撮像装置９を車のハンドル上を撮影できるように設置し、車のオーディオの制御情報やエアコンの制御情報や車載電話の制御情報やナビゲーションシステムの制御情報の入力面と操作手順や入力情報や指示指状態を定め、操作状態判定テーブル１７１と入力情報テーブル１７２と指示指状態テーブル１７３を構築すれば、車載電子機器装置の総合的に管理する入力装置として利用できる。
尚、実施例７の撮像装置９を利用する場合は、車載の電子機器に車載の電子機器を入力装置として機能させるための資源をインストールすれば良い。
次に、空間上に入力面を形成する実施例２２について説明する。
デジタルカメラのカメラを利用して実施例８の撮像装置９をデジタルカメラに備えれば、デジタルカメラは、例えば、指示指状態"０３９"を見つけた後、３秒後にシャッターを切る様に操作状態テーブル１７１と入力情報テーブル１７２を設定し、操作者の設定した方法やタイミングでデジタルカメラを遠隔操作することもできる。
また、監視カメラを利用して、同様に入力情報を入力させ遠隔操作をすることもできる。
デジタルカメラのカメラを利用して実施例８の撮像装置９をデジタルカメラに備えれば、デジタルカメラは、例えば、指示指状態"０３９"を見つけた後、３秒後にシャッターを切る様に操作状態テーブル１７１と入力情報テーブル１７２を設定し、操作者の設定した方法やタイミングでデジタルカメラを遠隔操作することもできる。
また、監視カメラを利用して、同様に入力情報を入力させ遠隔操作をすることもできる。
以上、本発明の好適実施例及びその具体的応用例を図面を参照しながら説明したが、本発明の技術的範囲はこれらに限定されるものではなく、以下に記載する特許請求の範囲を逸脱することなく、その一部の例は本願明細書において説明したが、各種の変更、改変ができることは言うまでもない。
本発明は、コンピュータを始め、電子楽器、ゲーム装置、音響機器などの各種電子機器への情報入力装置として利用することができる。
１ パーソナルコンピュータ
２ ディスプレイ
３ カメラ
３ａ カメラ
３ａ１ カメラのレンズの画角の中心
３ａ２ キーボード或いは入力補助シートを左右に均等に分割する位置
３ｂ カメラ
３ｃ １次元イメージセンサ
３ｄ １次元イメージセンサ
４ キーボード
４ａ 入力面が形成される範囲
４ｂ テンキー情報の各入力情報の配置位置
４ｃ 直上の位置
４ｄ 入力補助シート
５ 調整ツマミ
６ 手
６ａ 指
６ｂ 背景
７ カメラを結ぶ基線
７ａ カメラ３ａと指を結ぶ直線
７ａ１ 基線７と直線７ａの作る角度
７ｂ カメラ３ｂと指を結ぶ直線
７ｂ１ 基線７と直線７ｂの作る角度
８ ＵＳＢコネクタ
９ 撮像装置
９ａ 制御回路
１０ ＣＰＵ
１１ ＲＯＭ
１２ ＲＡＭ
１２１ 前回座標
１２２ 経過時間
１２３ 前回指示指状態
１２４ 選択中入力面
１２５ スクロール判定用座標
１２６ 検索用テーブル
１２７ 前回操作状態
１３ タイマ
１７ ＨＤＤ
１７１ 操作状態判定テーブル
１７２ 入力情報テーブル
１７３ 指示指状態テーブル
２ ディスプレイ
３ カメラ
３ａ カメラ
３ａ１ カメラのレンズの画角の中心
３ａ２ キーボード或いは入力補助シートを左右に均等に分割する位置
３ｂ カメラ
３ｃ １次元イメージセンサ
３ｄ １次元イメージセンサ
４ キーボード
４ａ 入力面が形成される範囲
４ｂ テンキー情報の各入力情報の配置位置
４ｃ 直上の位置
４ｄ 入力補助シート
５ 調整ツマミ
６ 手
６ａ 指
６ｂ 背景
７ カメラを結ぶ基線
７ａ カメラ３ａと指を結ぶ直線
７ａ１ 基線７と直線７ａの作る角度
７ｂ カメラ３ｂと指を結ぶ直線
７ｂ１ 基線７と直線７ｂの作る角度
８ ＵＳＢコネクタ
９ 撮像装置
９ａ 制御回路
１０ ＣＰＵ
１１ ＲＯＭ
１２ ＲＡＭ
１２１ 前回座標
１２２ 経過時間
１２３ 前回指示指状態
１２４ 選択中入力面
１２５ スクロール判定用座標
１２６ 検索用テーブル
１２７ 前回操作状態
１３ タイマ
１７ ＨＤＤ
１７１ 操作状態判定テーブル
１７２ 入力情報テーブル
１７３ 指示指状態テーブル
Claims (14)
- 電子機器の情報入力装置であって、該装置は、
入力操作面の所定の領域の映像を逐次撮像する撮像手段と、
前記撮像手段の映像より指情報を抽出する指情報抽出手段と、
前記指情報抽出手段からの指情報に基づき現在の指の姿と映像上の指の位置座標を確定し、前記現在の指の位置座標と記憶されている前回の指の抽出情報の指の位置座標との差異状況を確定し、予め定められ且つ変更し得る、前記指の姿と前記位置座標の差異状況に対して指示指状態を対応付けた指示指状態テーブルより現在の指示指状態を確定するとともに、前記現在の指の位置座標より入力操作面の所定の位置に形成される入力面上の現在の指の２次元座標を算出する指示指確定手段と、
予め定められ且つ変更し得る、前記入力操作面の所定の位置に形成される前記入力面に対して、前記指示指状態と該指示指状態が継続する時間と操作指示との組合せからなる少なくとも１組以上の操作手順を対応付けた操作状態判定テーブルより、前記指示指確定手段によって確定した指示指状態に応じた操作状態を確定する操作状態確定手段と、
前記操作状態確定手段によって確定した前記操作状態に従って、入力面の選択又は入力情報の生成の何れかの操作指示を実施する操作手順実施手段と、
を備えていることを特徴とする電子機器の情報入力装置。 - 請求項１に記載の情報入力装置であって、前記撮像手段は、２次元イメージセンサで構成されることを特徴とする電子機器の情報入力装置。
- 請求項１に記載の情報入力装置であって、前記撮像手段は、入力面に対して横方向に設けられた少なくとも２個の１次元イメージセンサで構成され、前記入力面上の２次元座標が三角測量法で算出されることを特徴とする電子機器の情報入力装置。
- 請求項１に記載の情報入力装置であって、前記撮像手段は、２次元イメージセンサと１次元イメージセンサの組合せで構成されることを特徴とする電子機器の情報入力装置。
- 請求項１に記載の情報入力装置であって、前記撮像手段は、その近傍に前記入力操作面の所定の領域を照射するための照射手段を備えることを特徴とする電子機器の情報入力装置。
- 請求項１に記載の情報入力装置であって、前記指示指確定手段は、操作者の指の姿を、指の間の隙間の有無、指の本数、又は指の本数と指の幅として認識することを特徴とする電子機器の情報入力装置。
- 請求項１に記載の情報入力装置であって、前記操作手順実施手段は、前記入力面と入力情報の生成指示と２次元座標に対して予め定められ且つ変更し得る複数の入力情報を対応付けた入力情報テーブルを有し、
前記操作状態確定手段からの前記操作指示の内容が入力面の選択指示であれば、現在選択されている入力面を前記入力面の選択指示に従い変更し、
前記操作状態確定手段からの前記操作指示の内容が入力情報の生成の指示であれば、現在選択されている入力面において、
前記入力面と前記入力情報の生成の指示に対して操作者が定めた入力情報を生成し、または、
前記入力面と前記入力情報の生成の指示と前記指の２次元座標から、前記入力情報テーブルより入力情報を生成する、
ことを特徴とする電子機器の情報入力装置。 - 請求項１に記載の情報入力装置において、前記入力操作面の所定の位置に形成される入力面には、少なくともキーボートの入力面とテンキー情報の入力面とマウス情報の入力面が含まれ、これらの各入力面は前記操作手順実施手段によって相互に切り替えられることを特徴とする電子機器の情報入力装置。
- 請求項８に記載の情報入力装置において、前記入力操作面の所定の位置に形成される入力面には更に、前記マウス情報の入力面との間で、前記操作手順実施手段によって切り替えられる左クリック押下継続の入力面とスクロール待ちの入力面が含まれることを特徴とする電子機器の情報入力装置。
- 電子機器へ情報を入力する方法であって、該方法は、
入力操作面の所定の領域の映像を逐次撮像する撮像過程と、
前記撮像過程で得られた映像より指情報を抽出する指情報抽出過程と、
前記指情報抽出過程で得られた指情報に基づき現在の指の姿と映像上の指の位置座標を確定し、前記現在の指の位置座標と記憶されている前回の指の抽出情報の指の位置座標との差異状況を確定し、予め定められ且つ変更し得る、前記指の姿と前記位置座標の差異状況に対して指示指状態を対応付けた指示指状態テーブルより現在の指示指状態を確定するとともに、前記現在の指の位置座標より入力操作面の所定の位置に形成される入力面上の現在の指の２次元座標を算出する指示指確定過程と、
予め定められ且つ変更し得る、前記入力操作面の所定の位置に形成される前記入力面に対して、前記指示指状態と該指示指状態が継続する時間と操作指示との組合せからなる少なくとも１組以上の操作手順を対応付けた操作状態判定テーブルより、前記指示指確定過程によって確定した指示指状態に応じた操作状態を確定する操作状態確定過程と、
前記操作状態確定過程によって確定した前記操作状態に従って、入力面の選択又は入力情報の生成の何れかの操作指示を実施する操作手順実施過程と、
からなることを特徴とする電子機器への情報入力方法。 - 請求項１０に記載の情報入力方法において、前記撮像過程は、２次元イメージセンサを用いて行われることを特徴とする電子機器への情報入力方法。
- 請求項１０に記載の情報入力方法において、前記撮像過程は、前記入力面に対して横方向に設けられた少なくとも２個の１次元イメージセンサを用いて、前記入力面上の２次元座標が三角測量法で算出されることを特徴とする電子機器への情報入力方法。
- 請求項１０に記載の情報入力方法において、前記撮像過程は、２次元イメージセンサと１次元イメージセンサの組合せで行われることを特徴とする電子機器への情報入力方法。
- 請求項１０に記載の情報入力方法において、前記指示指確定過程は、操作者の指の姿が、指の間の隙間の有無、指の本数、又は指の本数と指の幅として認識されることを特徴とする電子機器への情報入力方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010237657A JP2012089083A (ja) | 2010-10-22 | 2010-10-22 | 電子機器の情報入力装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010237657A JP2012089083A (ja) | 2010-10-22 | 2010-10-22 | 電子機器の情報入力装置及び方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012089083A true JP2012089083A (ja) | 2012-05-10 |
Family
ID=46260611
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010237657A Pending JP2012089083A (ja) | 2010-10-22 | 2010-10-22 | 電子機器の情報入力装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012089083A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016092617A1 (ja) * | 2014-12-08 | 2016-06-16 | 日立マクセル株式会社 | 投射型映像表示装置及び映像表示方法 |
| US10162420B2 (en) | 2014-11-17 | 2018-12-25 | Kabushiki Kaisha Toshiba | Recognition device, method, and storage medium |
| US10296096B2 (en) | 2015-07-15 | 2019-05-21 | Kabushiki Kaisha Toshiba | Operation recognition device and operation recognition method |
-
2010
- 2010-10-22 JP JP2010237657A patent/JP2012089083A/ja active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10162420B2 (en) | 2014-11-17 | 2018-12-25 | Kabushiki Kaisha Toshiba | Recognition device, method, and storage medium |
| WO2016092617A1 (ja) * | 2014-12-08 | 2016-06-16 | 日立マクセル株式会社 | 投射型映像表示装置及び映像表示方法 |
| CN107003716A (zh) * | 2014-12-08 | 2017-08-01 | 日立麦克赛尔株式会社 | 投射型影像显示装置以及影像显示方法 |
| JPWO2016092617A1 (ja) * | 2014-12-08 | 2017-09-21 | 日立マクセル株式会社 | 投射型映像表示装置及び映像表示方法 |
| US10452206B2 (en) | 2014-12-08 | 2019-10-22 | Maxell, Ltd. | Projection video display device and video display method |
| US10296096B2 (en) | 2015-07-15 | 2019-05-21 | Kabushiki Kaisha Toshiba | Operation recognition device and operation recognition method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI423096B (zh) | 具可觸控投影畫面之投影系統 | |
| TWI303773B (ja) | ||
| WO2012011263A1 (ja) | ジェスチャ入力装置およびジェスチャ入力方法 | |
| CN103365617B (zh) | 一种投影控制***、装置及投影控制方法 | |
| JP2008192092A (ja) | タッチパネル装置、情報処理装置及びプログラム | |
| US9035882B2 (en) | Computer input device | |
| USRE48054E1 (en) | Virtual interface and control device | |
| JP2012027515A (ja) | 入力方法及び入力装置 | |
| US9367140B2 (en) | Keyboard device and electronic device | |
| JP2010160772A (ja) | バーチャル入力装置を有する電子装置 | |
| JP2012089083A (ja) | 電子機器の情報入力装置及び方法 | |
| TWI401585B (zh) | 具指標器之電子裝置及指標器操作方法 | |
| US20140015750A1 (en) | Multimode pointing device | |
| JP2017174177A (ja) | 情報処理装置、情報処理方法およびプログラム | |
| JP5401675B1 (ja) | 情報入力装置および情報入力方法 | |
| CN111142775A (zh) | 一种手势交互方法和装置 | |
| WO2012126193A1 (zh) | 一种影像键盘的生成方法和装置 | |
| JP2016119019A (ja) | 情報処理装置、情報処理方法、プログラム | |
| JP5928628B2 (ja) | 仮想キーボード入力方法 | |
| KR20110033318A (ko) | 영상인식을 이용한 가상마우스 시스템 | |
| JP2000187551A (ja) | 入力装置 | |
| US9405460B2 (en) | Touch mouse supporting key functions of keyboard device and related method used in touch mouse | |
| TWI697827B (zh) | 控制系統及其控制方法 | |
| TWI542185B (zh) | 具投影功能的行動裝置 | |
| US20230299974A1 (en) | Display apparatus, method for generating electronic signature, and electronic signature system |