JP4650559B2 - 情報処理装置、情報処理方法、情報処理システムおよび情報処理用プログラム - Google Patents

Description

この発明は、ユーザの例えばキー入力などに応じて制御を行う情報処理装置、情報処理方法、情報処理システムおよび情報処理用プログラムに関する。

従来、人が何らかの入力をする場合には、操作ボタンやタッチパネルが用いられるのが一般的である。タッチパネルの場合には、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの平面ディスプレイと組み合わせられ、表示画面に表示されたボタンアイコンなどをあたかも押下操作するような操作入力となる。

これらの入力操作は、操作ボタントップの平面やタッチパネルの画面への接触や加圧を前提したものとなっている。そのため、平面との接触や加圧という限られた動作が操作入力となっていた。また、平面との接触が可能な限られた用途となっていた。

このため、接触や加圧による振動や力が、機器の性能を阻害するという問題や、接触面を汚したり、傷つけたりするなどという問題もあった。

上述の問題点を改善したものとして、出願人は、先に、特許文献１（特開２００８−１１７３７１号公報）に、近接検知方情報表示装置を開示した。この特許文献１においては、例えば、互いに直交する２方向に複数のライン電極または点電極を配したセンサパネルを備えるセンサ手段を用いる。

そして、このセンサ手段においては、複数個の電極を含むセンサパネル面と、このパネル面に対して空間的に離間する検出対象物、例えば人の手や指との距離を、当該距離に応じた静電容量を複数の電極について検出することにより検出する。

すなわち、センサパネルの複数の電極のそれぞれと接地点との間の静電容量は、人の手や指の位置と、パネル面との空間的な離間距離に応じて変化する。そこで、人の指の位置と、パネル面との空間的な距離にスレッショールド値を設定し、その距離よりも指がパネルに近接したか、遠のいたかを、前記距離に応じた静電容量の変化を検出することにより、検出するものである。

そして、特許文献１では、特に、検出対象物とセンサパネル面との距離に応じて、静電容量を検出する電極の間隔を変えることにより、静電容量の検知感度を向上させることができる技術が開示されている。

この先に提案した技術によれば、センサパネルに接触することなく、スイッチ入力を行うことができる。また、センサパネルには、互いに直交する２方向に複数のライン電極または点電極を配しているので、パネル面に沿う方向の手や指の動きを空間的に検出することができ、空間内での手や指の動きに応じた操作入力をすることもできるという特徴がある。

上記の先行技術文献は、次の通りである。
特開２００８−１１７３７１号公報

ところで、上述の特許文献１に示したセンサ手段を用いた入力手段は、キーボードのような文字入力を行う手段としては適していない。このため、キーボードと、特許文献１に示したセンサ手段を用いて入力手段とを、パソコンなどの情報処理装置に接続して、それぞれの用途に応じて、入力手段を取り替えて操作をすることが考えられる。

しかしながら、入力手段を取り替えながら操作をすることは手間が面倒である。また、パーソナルコンピュータ（以下、パソコンと略称する）などの情報処理装置に、２種の入力手段を接続する必要があると言う問題もある。さらに、両者の入力機能を連携した操作がし辛いという問題もある。

この発明は、以上の問題点を解消できる情報処理装置および方法を提供することを目的とする。

上記の課題を解決するために、この発明においては、
１または複数の操作キーが平面的に配設され、操作キーの操作に応じたキー操作出力を出力するキー操作部と、
前記キー操作部の前記操作キーの配設面から空間的に離間する検出対象物の、前記配設面からの距離に応じた検出出力を出力するセンサ手段と、
前記センサ手段からの前記検出出力から前記検出対象物の、前記配設面からの距離を検出する検出手段と、
前記検出手段で検出された前記距離が、所定の距離より小さいときには、前記操作キーの操作に応じたキー操作出力のみを有効として、前記センサ手段の検出出力を無効とし、前記所定の距離以上のときには、前記検出手段で検出された前記距離に応じた制御機能を行う制御手段と、
を備える情報処理装置を提供する。

上述の構成のこの発明による情報処理装置においては、検出手段において、センサ手段からの検出出力から検出対象物の、キー操作部のキー配設面からの距離が検出される。そして、この検出手段で検出された検出対象物の、キー配設面からの距離が、予め定められている所定の距離よりも小さいときには、制御手段は、キー操作部に配列されている操作キーに対する入力操作を有効と判断する。

また、検出手段で検出された検出対象物の、キー操作部のキー配設面からの距離が、予め定められている所定の距離以上のときには、制御手段は、検出手段で検出された検出対象物の前記距離に応じた制御機能を行う。

検出対象物の例としての人の手や指を想定した場合には、次のようになる。

ユーザが手や指により、キー配設面に配列されている操作キーを操作する状態では、当該ユーザの手や指は、キー配設面からの距離が、予め定められている所定の距離よりも小さい位置にあるとされる。そこで、制御手段は、キー配設面に配列されている操作キーに対する入力操作を有効と判断して、当該操作キーに応じた制御処理を実行するようにする。

一方、ユーザの手や指のキー配設面からの距離が、予め定められている所定の距離以上である場合には、制御手段は、ユーザにより空間入力操作がなされたと判断し、当該ユーザの手や指のキー配設面からの距離に応じた制御機能を実行する。

こうして、ユーザは、手をキー配設面上に置いたままで、操作キーによる入力操作と、キー配設面上における空間入力操作とをすることができ、非常に便利である。

この発明によれば、キー配設面上に配列された操作キーによる入力操作と、キー配設面上における空間入力操作との、２種類の入力操作に応じた制御を行うことができる情報処理装置を提供することができる。この場合に、この発明によれば、ユーザは、手をキー配設面上に置いたままで、操作キーによる入力操作と、キー配設面上における空間入力操作とをすることができ、非常に便利である。

以下、この発明による情報処理装置および情報処理システムの実施形態を、図を参照しながら説明する。以下に説明する実施形態においては、センサ手段は、特許文献１に開示した静電容量を検出することにより、検出対象物との距離を検出するセンサ手段を用いる。また、検出対象物は、操作者の手や指を想定するものである。

＜第１の実施形態＞
第１の実施形態は、操作入力装置と情報処理装置とからなる情報処理システムの実施形態である。図３は、この第１の実施形態としての情報処理システムの構成例を示す図である。

この図３に示すように、この実施形態の情報処理システムは、操作入力装置１と、情報処理装置としてのパソコン２とからなり、操作入力装置１が接続ケーブル３を通じてパソコン本体２Ａに接続されている。そして、パソコン本体２Ａには、例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）からなる表示装置２Ｂが接続されている。

操作入力装置１の表面部分には、この例では、複数の操作キーが平面的に配列されたキーボード１１が配設されている。ユーザが、このキーボード１１の操作キーを押下操作すると、押下操作された操作キーに応じたキー操作出力を、この操作入力装置１は、出力する。

この実施形態の操作入力装置１においては、図３では図示されないが、キーボード１１の下側に、検出対象物としての手や指の空間的な離間距離を検出するセンサ部が積層されて配設されている。

センサ部は、このセンサ部に対する検出対象物としての手や指の空間的な離間距離に応じたセンサ検出出力を出力する。後述するように、この実施形態では、センサ部は、後述するように、所定の大きさの２次元平面からなる矩形状のセンサパネルを備え、このセンサパネル面から検出対象物までの距離を検出するものである。

そして、この実施形態では、センサ部は、センサパネル面の横方向および縦方向において、それぞれ複数の位置において、独立して検出対象物までの距離に応じたセンサ検出出力を出力することができるように構成されている。これにより、この実施形態では、センサ部は、検出対象物がセンサパネル面のいずれの位置上にあるかをも検出可能とされている。

すなわち、例えばセンサパネル面の横方向をｘ軸方向、縦方向をｙ軸方向とすると共に、センサパネル面に直交する方向をｚ軸方向としたとき、検出対象物の空間的な離間距離は、ｚ軸座標値として検出される。そして、センサパネル上の検出対象物の空間位置は、ｘ軸座標値およびｙ軸座標値により検出される。

パソコン本体２Ａは、この実施形態では、操作入力装置１のキーボード１１における押下操作キーに応じたキー操作出力を受けると共に、センサ部からのセンサ検出出力を受ける。センサ部からのセンサ検出出力は、検出対象物のセンサパネル面における位置（ｘ、ｙ座標）および空間離間距離（ｚ座標）に応じたものとなる。

パソコン本体２Ａは、この実施形態では、操作入力装置１からのキー操作出力と、センサ検出出力との両方の入力情報を監視し、検出した両入力情報に応じた制御を行うようにする。この実施形態では、その制御結果は、表示装置２Ｂの画面上において具現表示される。

［第１の実施形態における操作入力装置１の構造の説明］
図１は、この実施形態における操作入力装置１の分解構成図を示すもので、この実施形態の操作入力装置１は、キーボード１１と、センサ部との積層構造となっている。

すなわち、図１に示すように、操作入力装置１の操作方向の前面側から、その奥行き方向（操作キーの押下操作方向）に順に、キーボード１１、Ｘ−Ｚセンサパネル１２、Ｙ−Ｚセンサパネル１３、外周フレーム１４、キーボードプリント配線基板１５、背面フレーム１６が設けられる。

キーボード１１は、周知のように、複数個の操作キー１１Ｋが平面的に縦方向および横方向に配設されたものである。キーボード１１の複数個の操作キー１１Ｋのそれぞれが押下操作されると、キーボードプリント配線基板１５の、それぞれの操作キー１１Ｋに対応して設けられている押下検出スイッチがオンとなる。

キーボードプリント配線基板１５からは、押下操作された操作キー１１Ｋに応じてオンとなった押下検出スイッチの位置に応じたキー操作出力が出力され、パソコン本体２Ａは、当該キー操作出力からいずれの操作キー１１Ｋが押下されたかを検知する。

Ｘ−Ｚセンサパネル１２およびＹ−Ｚセンサパネル１３は、この実施形態のセンサ部１０を構成するものである。これら、Ｘ−Ｚセンサパネル１２およびＹ−Ｚセンサパネル１３は、この例では、互いに直交する２方向に複数本のワイヤ電極が配列されて構成されている。

Ｘ−Ｚセンサパネル１２においては、ワイヤ電極の延伸方向が図１上の垂直方向（縦方向）である複数の縦電極１２Ｖ１，１２Ｖ２，１２Ｖ３，・・・，１２Ｖｎ（ｎは、２以上の整数）が、図２上、水平方向（横方向）に、この例では等間隔に配置されている。

また、Ｙ−Ｚセンサパネル１３においては、ワイヤ電極の延伸方向が図１上の水平方向（横方向）である複数の横電極１３Ｈ１，１３Ｈ２，１３Ｈ３，・・・，１３Ｈｍ（ｍは、２以上の整数）が、図１上の垂直方向（縦方向）に、この例では等間隔に配置されている。

図４（Ａ）および（Ｂ）は、それぞれＸ−Ｚセンサパネル１２およびＹ−Ｚセンサパネル１３の横断面図を示すものである。

Ｘ−Ｚセンサパネル１２は、２枚のガラス板１７Ｖ，１８Ｖの間に、複数個の縦電極１２Ｖ１，１２Ｖ２，１２Ｖ３，・・・，１２Ｖｎが含まれる電極層１９Ｖが挟持される構成とされている。

また、Ｙ−Ｚセンサパネル１３は、２枚のガラス板１７Ｈ，１８Ｈの間に、複数個の横電極１３Ｈ１，１３Ｈ２，１３Ｈ３，・・・，１３Ｈｍが含まれる電極層１９Ｈが挟持される構成とされている。なお、図４（Ｂ）における１３Ｈｉは、ｉ番目の横電極を意味している。

図１では、図示を省略したが、Ｘ−Ｚセンサパネル１２およびＹ−Ｚセンサパネル１３には、キーボード１１の各操作キー１１Ｋが押されたとき、キーボードプリント配線基板１５の押下検出スイッチを押圧偏倚させる操作子が挿通される透孔が設けられている。

外周フレーム１４は、例えば絶縁材料である樹脂により構成され、キーボード１４、Ｘ−Ｚセンサパネル１２およびＹ−Ｚセンサパネル１３が収納される透孔１４Ａを設けられている。

外周フレーム１４の下部に、キーボードプリント配線基板１５が設けられている。このキーボードプリント配線基板１５には、後述するように、Ｘ−Ｚセンサパネル１２およびＹ−Ｚセンサパネル１３の電極端子が接続されると共に、Ｘ−Ｚセンサパネル１２およびＹ−Ｚセンサパネル１３を含むセンサ部の回路構成部品も搭載されている。つまり、この実施形態では、キーボードプリント配線基板１５は、センサ部１０用のプリント配線基板としても用いられている。

背面フレーム１６は、例えば絶縁材料である樹脂により構成され、外周フレーム１４に対して接着される。以上により、操作入力装置１は、外周フレーム１４と、背面フレーム１６とに形成される凹部に、キーボード１１の構成部と、センサ部１０の構成部とが、積層されて配設されて構成される。したがって、この実施形態の操作入力装置１は、概観上は、図２に示すように、従来からある一般的なキーボードと同じようなものとなる。

［センサ部１０の回路構成］
この実施形態においても、特許文献１の場合と同様に、センサ部１０のＸ−Ｚセンサパネル１２およびＹ−Ｚセンサパネル１３と検出対象物との距離に応じた静電容量は、発振回路の発振周波数に変換して検出する。そして、この実施形態では、センサ部１０は、発振周波数に応じたパルス信号のパルス数を計数し、その発信周波数に応じた計数値をセンサ出力信号とする。

図５は、Ｘ−Ｚセンサパネル１２およびＹ−Ｚセンサパネル１３を積層した状態のセンサパネルについての説明図である。また、図６は、センサ部１０から出力するセンサ検出出力信号を生成するための回路構成例を示している。

図５に示すように、この実施形態のセンサ部１０では、前述もしたように、互いに直交する２方向に複数本のワイヤ電極が配列されて構成されている。すなわち、複数個の縦電極１２Ｖ１，１２Ｖ２，１２Ｖ３，・・・，１２Ｖｎと、複数の横電極１２Ｈ１，１２Ｈ２，１２Ｈ３，・・・，１２Ｈｍとが、互いに直交する方向に配列されている。

この場合、複数の横電極１３Ｈ１，１３Ｈ２，１３Ｈ３，・・・，１３Ｈｍのそれぞれと、接地間には静電容量（浮遊容量）ＣＨ１，ＣＨ２，ＣＨ３，・・・，ＣＨｍが存在する。そして、これらの静電容量ＣＨ１，ＣＨ２，ＣＨ３，・・・，ＣＨｍは、Y−Ｚセンサパネル１３面上の空間における手や指の存在位置により変化する。

複数の横電極１３Ｈ１，１３Ｈ２，１３Ｈ３，・・・，１３Ｈｍの一方および他方の端部は、それぞれ横電極端子とされている。そして、この例では、複数の横電極１３Ｈ１，１３Ｈ２，１３Ｈ３，・・・，１３Ｈｍのそれぞれの横電極端子の一方は、図６に示す横電極用の発信器１０１Ｈに接続される。

また、複数の横電極１３Ｈ１，１３Ｈ２，１３Ｈ３，・・・，１３Ｈｍのそれぞれの横電極端子の他方は、アナログスイッチ回路１０３に接続される。なお、図６に示す回路部品は、キーボードプリント配線基板１５上に設けられていることは、既に述べたとおりである。

この場合、横電極１３Ｈ１，１３Ｈ２，１３Ｈ３，・・・，１３Ｈｍは、図６に示すような等価回路で表わすことができる。図６では、横電極１３Ｈ１についての等価回路が示されているが、他の横電極１３Ｈ２，・・・，１３Ｈｍにおいても同様である。

すなわち、横電極１３Ｈ１の等価回路は、抵抗ＲＨと、インダクタンスＬＨと、検出対象の静電容量ＣＨ１とからなる。他の横電極１３Ｈ２，１３Ｈ３，・・・，１３Ｈｍでは、静電容量がＣＨ２，ＣＨ３，・・・，ＣＨｍに変わる。

この横電極１３Ｈ１，１３Ｈ２，１３Ｈ３，・・・，１３Ｈｍの等価回路は、共振回路を構成するもので、発信器１０１Ｈと共に発振回路を構成し、それぞれ横電極容量検出回路１０２Ｈ１，１０２Ｈ２，１０２Ｈ３，・・・，１０２Ｈｍを構成する。そして、横電極容量検出回路１０２Ｈ１，１０２Ｈ２，１０２Ｈ３，・・・，１０２Ｈｍのそれぞれの出力は、検出対象物のセンサパネル１０面からの距離に応じた静電容量ＣＨ１，ＣＨ２，ＣＨ３，・・・，ＣＨｍのそれぞれに応じた発振周波数の信号となる。

ユーザが、Ｙ−Ｚセンサパネル１３上で、手や指先の位置をＹ−Ｚセンサパネル１３に対して近づけたり、遠ざけたりすると、静電容量ＣＨ１，ＣＨ２，ＣＨ３，・・・，ＣＨｍの値が変化する。そのため、横電極容量検出回路１０２Ｈ１，１０２Ｈ２，１０２Ｈ３，・・・，１０２Ｈｍのそれぞれでは、手や指先位置の位置変化が、発振回路の発振周波数の変化として検出される。

一方、複数の縦電極１２Ｖ１，１２Ｖ２，１２Ｖ３，・・・，１２Ｖｎの一方および他方の端部は、それぞれ縦電極端子とされている。そして、この例では、複数の縦電極１２Ｖ１，１２Ｖ２，１２Ｖ３，・・・，１２Ｖｎのそれぞれの縦電極端子の一方は、縦電極用の発信器１０１Ｖに接続される。この例では、縦電極用の発信器１０１Ｖの出力信号の基本周波数は、横電極用の発信器１０１Ｈとは周波数が異なるものとされる。

また、複数の縦電極１２Ｖ１，１２Ｖ２，１２Ｖ３，・・・，１２Ｖｎのそれぞれの縦電極端子の他方は、アナログスイッチ回路１０３に接続される。

この場合、縦電極１２Ｖ１，１２Ｖ２，１２Ｖ３，・・・，１２Ｖｎも、図６に示すように、横電極の場合と同様の等価回路で表わすことができる。図６では、縦電極１２Ｖ１についての等価回路が示されているが、他の縦電極１２Ｖ２，・・・，１２Ｖｎにおいても同様である。

すなわち、縦電極１２Ｖ１の等価回路は、抵抗ＲＶと、インダクタンスＬＶと、検出対象の静電容量ＣＶ１とからなる。他の横電極１２Ｖ２，１２Ｖ３，・・・，１２Ｖｎでは、静電容量がＣＶ２，ＣＶ３，・・・，ＣＶｎに変わる。

そして、この縦電極１２Ｖ１，１２Ｖ２，１２Ｖ３，・・・，１２Ｖｎの等価回路は、共振回路を構成するもので、発信器１０１Ｖと共に発振回路を構成し、それぞれ縦電極容量検出回路１０２Ｖ１，１０２Ｖ２，１０２Ｖ３，・・・，１０２Ｖｎを構成する。そして、縦電極容量検出回路１０２Ｖ１，１０２Ｖ２，１０２Ｖ３，・・・，１０２Ｖｎのそれぞれの出力は、検出対象物のＸ−Ｚセンサパネル１２面からの距離に応じた静電容量ＣＶ１，ＣＶ２，ＣＶ３，・・・，ＣＶｎのそれぞれに応じた発振周波数の信号となる。

そして、縦電極容量検出回路１０２Ｖ１，１０２Ｖ２，１０２Ｖ３，・・・，１０２Ｖｎのそれぞれにおいても、手や指先位置の位置変化に応じた静電容量ＣＶ１，ＣＶ２，ＣＶ３，・・・，ＣＶｎの値の変化が、発振回路の発振周波数の変化として検出される。

そして、横電極容量検出回路１０２Ｈ１，１０２Ｈ２，１０２Ｈ３，・・・，１０２Ｈｍのそれぞれの出力と、縦電極容量検出回路１０２Ｖ１，１０２Ｖ２，１０２Ｖ３，・・・，１０２Ｖｎのそれぞれの出力とがアナログスイッチ回路１０３に供給される。

このアナログスイッチ回路１０３は、パソコン本体２Ａからの切替信号ＳＷにより、横電極容量検出回路１０２Ｈ１〜１０２Ｈｍおよび縦電極容量検出回路１０２Ｖ１〜１０２Ｖｎのうちの、いずれか１つの出力を、順次に、所定の速度で選択して出力する。

そして、このアナログスイッチ回路１０３からの出力が、周波数カウンタ１０４に供給される。この周波数カウンタ１０４は、これに入力される信号の発振周波数を計数する。すなわち、周波数カウンタ１０４の入力信号は、発振周波数に応じたパルス信号であり、そのパルス信号の所定時間区間におけるパルス数を計数すると、その計数値は、発振周波数に対応したものとなる。

この周波数カウンタ１０４の出力計数値は、パソコン本体２Ａに、アナログスイッチ回路１０３で選択されたワイヤ電極についてのセンサ出力として供給される。そして、周波数カウンタ１０４の出力計数値は、パソコン本体２Ａからアナログスイッチ回路１０３に供給される切替信号ＳＷに同期して得られる。

したがって、パソコン本体２Ａは、アナログスイッチ回路１０３に供給する切替信号ＳＷから、周波数カウンタ１０４の出力計数値がいずれのワイヤ電極についてのセンサ出力であるかを判断する。そして、パソコン本体２Ａは、自己が備えるバッファ部に、ワイヤ電極と、出力計数値とを対応付けて保持する。

そして、パソコン本体２Ａは、バッファ部に保持した検出対象の全てのワイヤ電極についてのセンサ出力から、検出対象物の空間位置（センサ部１０からの距離およびセンサ部１０でのｘ，ｙ座標）を検出する。

特許文献１に記載されているように、実際的には、センサ部１０のセンサパネル上における検出対象物のｘ，ｙ座標位置に応じて、複数個の横電極容量検出回路１０２Ｈ１〜１０２Ｈｍおよび縦電極容量検出回路１０２Ｖ１〜１０２Ｖｎからのセンサ出力が得られる。そして、その複数のセンサ出力は、検出対象物が存在するセンサ部１０上におけるｘ，ｙ座標位置から、センサ部１０までの距離が最も短くなるので、当該位置に対応する２電極間の静電容量を検出する横電極容量検出回路および縦電極容量検出回路からのセンサ出力が、他に比べて顕著なものとなる。

以上のことから、パソコン本体２Ａは、センサ部１０からの複数個のセンサ出力から、センサ部１０上における検出対象物が位置するｘ，ｙ座標およびセンサ部１０から検出対象物までの距離を求める。すなわち、検出したｘ，ｙ座標位置上の空間に、検出対象物、例えば手の位置があると判断する。なお、検出対象物は、所定の大きさを有するので、検出対象物の大きさ分に相当する、センサパネル１２，１３上のｘ，ｙ座標位置範囲上において、静電容量に応じた距離だけ離れているとして検出されるものである。

この実施形態でも、検出対象物の、センサパネル１２，１３面に対する空間的な離間位置の距離に応じて、特許文献１の場合と同様にして、静電容量を検出するワイヤ電極の間引き切り替えをするようにする。このワイヤ電極の間引き切り替えは、パソコン２Ａからの切り替え制御信号ＳＷにより、アナログスイッチ回路１０３において、順次に選択するワイヤ電極を、何本置き（０本を含む）のワイヤ電極を選択するかが制御されることによりなされる。切り替えタイミングは、センサパネル１２，１３面から検出対象物までの距離に応じて予め定められ、例えば、後述するレイヤの変化点とするようにしてもよい。

なお、発信器は、上述の説明では、横電極用と縦電極用とを用いるようにしたが、簡易的には、１個の共通の発信器とするようにしても良い。また、理想的には、各ワイヤ電極毎に周波数の異なる複数個の発信器を設ける方が良い。

パソコン本体２Ａは、このセンサ部１０からのセンサ出力と共に、キーボード１１からのキー操作出力も受ける。そして、パソコン本体２Ａは、センサ出力と、キー操作出力の両方から、対応する処理制御処理を決定して実行し、必要に応じて表示装置２Ｂの表示画面に表示されている表示画像を変更する。

なお、図６においては、センサ部１０とキーボード１１とを別々のものとして示したが、この実施形態では、操作入力装置１内に存在するものである。そして、センサ部１０とパソコン本体２Ａとの接続ケーブル部と、キーボード１１とパソコン本体２Ａとの接続ケーブル部とは、ケーブル３に含まれているものである。

［操作入力装置１からのキー操作出力およびセンサ出力を用いた処理動作例］
以下に説明する例は、保持していた複数のファイルの中から選択したファイルを、表示装置２Ａの表示画面の中央に表示し、キーボード１１によりキー操作に応じて、テキスト文字などの入力により、文書を適宜、修正する場合の例である。この例においては、その補助操作として、センサ部１０におけるユーザの手による空間操作入力に用いるようにする。

図７は、この処理例における表示装置２Ｂの表示画面の一例およびこの場合の実施形態の情報処理システムの構成例を示すものである。なお、センサ部１０のＸ−Ｚセンサパネル１２およびＹ−Ｚセンサパネル１３は積層されて１枚のセンサパネルと同様の構成となるので、以下の説明においては、これら積層された状態のセンサパネルとセンサパネル１０Ｐとして示す。

この図７に示すように、この処理例においては、センサ部１０のセンサパネル１０Ｐの縦横の平面領域は、この例では、左右方向に２分割されて、例えば右側の分割領域は、選択領域１１１とされ、左側の分割領域は、決定領域１１２とされる。この分割領域の情報は、パソコン本体２Ａが保持しており、パソコン本体２Ａは、センサ部１０のセンサ出力から、いずれの領域におけるセンサ出力であるかを判別できるように構成されている。

そして、この実施形態では、センサ部１０においては、選択領域１１１と、決定領域１１２とに対して、入力操作が同時になされるものとされる。すなわち、後述するように、この実施形態では、選択領域１１１に対して、所定の選択入力操作を行うと共に、決定領域１１２に対して、選択領域１１１に対してなされた選択入力に対する決定操作を行うようにする。

例えば一人の人が操作入力をする場合には、右手で選択領域１１１における選択入力操作を行い、左手で決定領域１１２における決定入力操作をするようにする。

なお、この実施形態では、センサパネル１０Ｐの領域を分割して、選択領域１１１および決定領域１１２とを構成したが、選択領域１１１と決定領域１１２とは、別々のセンサ部として構成されようにしてもよい。

図８に示すように、パソコン本体２Ａは、システムバス２００を介して、ＣＰＵ（Central Processing Unit）２０１に対して、プログラムＲＯＭ（Read Only Memory）２０２およびワークエリア用ＲＡＭ（Random Access Memory）２０３が接続されている。

そして、この実施形態では、システムバス２００に対しては、Ｉ／Ｏポート２０４、表示コントローラ２０５、ファイルメモリ２０６、レイヤ情報記憶部２０７が接続されている。さらに、システムバス２００には、空間位置検出部２０８が接続されると共に、キーボードインターフェース２０９が接続されている。空間位置検出部２０８は、ＣＰＵ２０１が、ＲＯＭ２０２に記憶されるプログラムに従ったソフトウエア処理としても実現することができる機能部である。

Ｉ／Ｏポート２０４は、センサ部１０に接続され、このセンサ部１０の選択領域１１１および決定領域１１２からのセンサ出力信号を受ける。

表示コントローラ２０５は、表示装置２Ｂに接続され、パソコン本体２Ａからの表示情報が表示装置２Ｂに供給される。表示装置２Ｂは、例えばＬＣＤを表示素子として用いるもので構成されている。

ファイルメモリ２０６には、この例では、テキスト情報や図形情報などを含む複数のファイルが記憶されている。なお、この例のパソコン本体２Ａは、この処理例のアプリケーションにおいて、ファイルメモリ２０６に記憶されているファイルについてのサムネイル画像を生成する機能を備えている。

レイヤ情報記憶部２０７は、センサ部１０が検知する空間において、センサパネル１０Ｐからの距離に応じて設定されるレイヤに関する情報が記憶されている。この例では、選択領域１１１と決定領域１１２とのそれぞれについてのレイヤ情報が記憶されている。このレイヤ情報記憶部２０７に記憶されるレイヤ情報については、後で詳述する。

パソコン本体２Ａは、センサ部１０の選択領域１１１および決定領域１１２からのセンサ出力信号を受けて、操作者の手の空間上の位置を検出する。そして、パソコン本体２Ａは、操作者の手が、予め、設定されている複数のレイヤのうちの、いずれのレイヤに位置しているかや、手の振る舞いなどを判定する。

そして、パソコン本体２Ａは、センサ部１０からのセンサ出力信号から判定したレイヤおよび手の振る舞いに応じた処理動作を行う。例えば、パソコン本体２Ａは、ファイルメモリ２０６から、操作者に指定されたファイルを読み出して表示装置２Ｂに表示したり、表示されたファイル内容をスクロール移動したり、回転したり、拡大／縮小したりする。

また、パソコン本体２Ａは、センサ部１０からのセンサ出力とは、別個に、キーボード１１からのキー操作出力をキーボードインターフェース２０９を通じて受け付け、操作されたキーに応じた処理動作を実行する。

［距離方向（ｚ方向）の複数レイヤと、機能や機能属性の割り付け］
ここで、この実施形態においては、パソコン本体２Ａでは、操作入力装置１のキーボード１１上のユーザの手の位置が、キーボード１１の操作キー１１Ｋを操作するような空間位置にあるときは、センサ部１０からのセンサ出力を無効としている。

すなわち、この実施形態では、パソコン本体２Ａでは、センサ部１０からのセンサ出力から検出されるセンサ部１０のセンサパネル１０Ｐ面からの空間離間距離が、予め定めた距離Ｔｈ以上であるか否か判別する。そして、パソコン本体２Ａは、センサ部１０のセンサ出力が、予め定めた距離Ｔｈ以上であるときにのみ、当該センサ出力を有効として取り込むようにする。つまり、センサ部１０からのセンサ出力に対して、パソコン２Ａは、不感帯を有するものである。

ここで、前記予め定められる距離Ｔｈは、ユーザがキーボード１１の操作キー１１Ｋを操作するとき、およびその準備をしているような空間を含む距離よりも、安全を見越した余裕分だけ大きい距離に設定される。

すなわち、先ず、キーボード１１の操作キー１１Ｋの配列面（キートップの上面を含む面）からの距離として、ユーザがキーボード１１の操作キー１１Ｋを操作するとき、およびその準備をしているときに、ユーザの手が存在する空間を含む距離Ｔ１を求める。次に、センサパネル１０Ｐの面と、キーボード１１の操作キー１１Ｋの配列面との距離Ｔ２とを求める。最後に、余裕分Ｔ３を定める。

そして、距離Ｔｈは、
Ｔｈ＝Ｔ１＋Ｔ２＋Ｔ３
として定める。

図9は、この実施形態におけるセンサ部１０の選択領域１１１および決定領域１１２上の空間に設定されるレイヤについて説明するための図である。また、図１０は、この実施形態におけるパソコン本体２Ａのレイヤ情報記憶部２０６の記憶内容の例を示す図である。

この実施形態では、センサ部１０のセンサパネル１０Ｐ上の空間においては、センサパネル１０Ｐ面から前記距離Ｔｈまでは、前述したように、パソコン本体２Ａで、センサ部１０からのセンサ出力を無効として無視する不感帯とする。

そして、距離Ｔｈよりもさらにセンサ部１０のセンサパネル１０Ｐの面から離れた空間において、選択領域１１１および決定領域１１２において、センサパネル１０Ｐ面からの距離の違いにより、複数個のレイヤが設定される。

すなわち、選択領域１１１においては、２個のレイヤＣ１，Ｃ２が設定される。

この場合、図９に示すように、センサパネル１０Ｐの表面位置をｚ軸の原点位置０としたとき、２個のレイヤＣ１、Ｃ２の境界となるｚ方向の距離を、ＬＰ１、ＬＰ２に設定する。したがって、Ｔｈ＜レイヤＣ１≦ＬＰ１、ＬＰ１＜レイヤＢ２≦ＬＰ２、として、各レイヤＣ１、Ｃ２の距離範囲が設定される。

また、決定領域１１２のセンサパネル上の空間においても、センサパネル１０Ｐ面からの距離の違いにより、２個のレイヤＤ１，Ｄ２が設定される。この場合、図９に示すように、２個のレイヤＤ１、Ｄ２の境界となるｚ方向の距離を、ＬＤに設定する。すなわち、Ｔｈ＜レイヤＤ１≦ＬＤ、ＬＤ＜レイヤＢ２、として、各レイヤＤ１、Ｄ２の距離範囲が設定される。

つまり、決定領域１１２においては、センサパネル１０Ｐとの距離が、境界距離ＬＤよりも小さく、距離Ｔｈよりも大きい距離範囲のレイヤＤ１と、境界距離ＬＤよりも大きい距離範囲のレイヤＤ２とに分けられる。

そして、この実施形態では、決定領域１１２のセンサパネル１０Ｐ上の空間のレイヤＤ２は、そのレイヤに検出対象物、この例では手があれば、「未決定」を意味するものとされ、レイヤＤ１は、そのレイヤに検出対象物があれば、「決定」を意味するものとされる。つまり、操作者が、レイヤＤ２から、レイヤＤ１へ手を移動させると、それが決定操作となる。

選択領域１１１における機能等選択操作を行いながら、この決定領域１１２における決定操作を行えるようにすることで、この実施形態では、選択領域１１１における機能等選択操作が階層的に行えるようにしている。

すなわち、この実施形態においては、選択領域１１１上の空間におけるレイヤ選択操作により、まず、この実施形態の情報処理システムが備える基本機能の選択ができるように構成する。この実施形態では、基本機能の選択が、選択領域１１１における上位階層の操作である。そして、選択領域１１１における下位階層の操作は、上位階層で選択された機能の属性について入力操作とされる。

基本機能としては、この実施形態では、ドラッグ機能、ファイル選択機能、拡大／縮小機能が設けられている。

ドラッグ機能は、表示画面に表示された画像を指定し、その指定した画像を平行移動させたり、回転させたりすることにより、画像の移動をしたり、画像の回転をする機能である。なお、この実施形態では、画像の移動と、画像の回転は、別々の機能として選択可能とされている。画像の移動には、例えば画像の上下左右のスクロールも含む。

ファイル選択機能は、ファイルメモリ２０６に記憶されているファイルの中から、操作者が表示したいファイルを選択する機能である。

拡大／縮小機能は、表示装置２Ｂの表示画面に表示されている画像の拡大または縮小を行う機能である。

そして、この実施形態では、選択領域１１１のセンサパネル１０Ｐ上の空間に設定されたレイヤＣ２では、基本機能の選択操作がなされるように構成される。

この基本機能の選択のために、図７に示すように、表示装置２Ｂの表示画面には、基本機能アイコンボタンの表示バー２１が表示される。図７に示すように、この例では、表示バー２１には、「移動」、「拡大／縮小」、「回転」、「ファイル選択」の４種の基本機能アイコンボタンが表示される。

そして、表示バー２１中の４種の基本機能アイコンボタン、すなわち、「移動」、「拡大／縮小」、「回転」、「ファイル選択」のうちのいずれが選択中であるかを示すカーソルマーク２２が、表示バー２１に関連して表示される。図７の例では、カーソルマーク２２は、三角形マークであり、「ファイル選択」のアイコンボタンが選択されている状態を示している。

そして、操作者は、レイヤＣ２に手を位置させた状態で、このレイヤＣ２内において、ｘ，ｙ方向に手を移動させることで、カーソルマーク２２を移動させて、自分が希望する基本機能を選択することができる。

そして、当該基本機能選択という上位階層において、手をレイヤＣ２からレイヤＣ１に移動させると、それは、レイヤＣ２で選択された基本機能の確認を意味し、この実施形態では、選択中の基本機能のアイコンボタンがハイライト表示される。

そして、このハイライト表示による確認がなされている状態で、決定領域１１２において、上述した決定操作がなされると、レイヤＣ２で選択された基本機能の選択が確定する。

以上のことから、この実施形態では、基本機能選択という上位階層に対しては、選択領域１１１のセンサパネル１０Ｐ上の空間におけるレイヤＣ１およびＣ２については、図１０に示すように、機能が割り付けられる。つまり、レイヤＣ２に対しては、基本機能を選択する機能が割り付けられ、レイヤＣ１に対しては、選択された機能の確認機能が割り付けられる。

また、上述したように、選択領域１１１における下位階層の操作は、上位階層で選択された機能の属性について入力操作とされる。

例えば、上位階層で選択された機能が「ファイル選択」であるときには、当該ファイル選択という下位階層においては、図１０に示すように、レイヤＣ２に対しては、ファイルを選択するファイル選択機能が割り付けられる。

このファイル選択機能によってファイルの選択をするのために、図７に示すように、表示装置２Ｂの表示画面には、ファイルメモリ２０６に記憶されているファイルの内容のサムネイル画像の一覧２３が表示されるように構成されている。

そして、当該ファイル選択という下位階層において、手をレイヤＣ２からレイヤＣ１に移動させると、それは、レイヤＣ２で選択されたファイルの確認を意味し、この実施形態では、選択中のファイルのサムネイルがハイライト表示される。図７の例においては、サムネイル画像２３Ａが一覧２３におけるがハイライト表示されている状態を示している。

そして、このハイライト表示による確認がなされている状態で、決定領域１１２において、上述した決定操作がなされると、レイヤＣ２で選択されたファイルがファイルメモリ２０６から読み出されて、図７に示すように、画像２４として表示される。

以上のことから、この実施形態では、ファイル選択という下位階層に対しては、選択領域１１１のセンサパネル１０Ｐ上の空間におけるレイヤＣ１およびＣ２については、図１０に示すように、機能が割り付けられる。つまり、レイヤＣ２に対しては、ファイル選択機能が割り付けられ、レイヤＣ１に対しては、選択された画像ファイルの確認機能が割り付けられる。

同様にして、移動または回転のドラッグという下位階層においては、レイヤＣ２に対しては、ドラッグ位置の選択機能が割り付けられ、レイヤＣ１に対しては、選択されたドラッグ位置の確認およびドラッグ実行機能が割り付けられる。

すなわち、基本機能選択の上位階層において、移動または回転のドラッグが選択されたときには、図１１（Ｃ）において矢印ＡＲ２で示すように、レイヤＣ２内において、操作者は、画像の一部の位置を指定するように、手をｘ，ｙ方向に移動させる。

そして、図１１（Ａ）または（Ｂ）において、画像Ｐｘの一部の位置Ｐｏを示している状態において、操作者が手をレイヤＣ１に移動させると、指示された位置Ｐｏがハイライト表示されると共に、レイヤＣ１においてドラッグ機能が有効となる。そこで、操作者が、手を、例えば図１１（Ａ）に示すように、水平方向に位置Ｐｏから移動させると、その移動に伴って、パソコン本体２Ａは、画像Ｐｘを平行移動させるようにする制御を実行する。すなわち、レイヤＣ１内において、操作者は、図１１（Ｃ）で矢印ＡＲ１で示すように、手をｘ，ｙ方向に移動させることにより、ドラッグ操作が可能となる。

そして、移動操作後、決定領域１１２において、上述した決定操作がなされると、画像Ｐｘの表示位置がそのままの状態で確定して、ドラッグ機能が終了となる。

また、指示された位置Ｐｏがハイライト表示されている状態において、レイヤＣ１内において、操作者が、手を、例えば図１１（Ｂ）に示すように、位置Ｐｏから回転させると、その回転に伴って、パソコン本体２Ａは、画像Ｐｘを回転させるようにする制御を実行する。

そして、移動操作または回転操作後、決定領域１１２において、上述した決定操作がなされると、画像Ｐｘの表示位置がそのままの状態で確定して、ドラッグ機能が終了となる。

また、拡大／縮小という下位階層においては、レイヤＣ２に対しては、拡大／縮小の速度大が割り付けられ、また、レイヤＣ１に対しては、拡大／縮小の速度小が割り付けられる。つまり、拡大／縮小という下位階層においては、レイヤＣ１とＣ２とには、拡大／縮小の速度属性が割り付けられる。

なお、基本機能の選択において、拡大／縮小が選択されるときには、レイヤＣ１における選択領域１１１のセンサパネル１０Ｐのｘ，ｙ座標位置に応じて、拡大か、縮小かの選択がなされる。例えば、レイヤＣ１における手の位置が、選択領域１１１のセンサパネル１０Ｐの左領域または上領域であるときには拡大、選択領域１１１のセンサパネル１１１Ｐの右領域または下領域であるときには縮小、がそれぞれ選択される。

［パソコン本体２Ａにおける処理動作］
以上のように構成された実施形態の情報処理システムにおいては、センサ１０のセンサパネル面１０Ｐ上の空間における操作者の左手および右手の距離位置および左手および右手の振る舞いに応じて、パソコン本体２Ａが、表示装置２Ｂの表示画像の表示制御を行う。

以上の説明は、センサ部１０が検出するべき、不感帯より上方の空間における手の位置および振る舞いによる空間操作入力に関するものである。一方、不感帯にある手によるキーボード１１の操作キー１１Ｋに対する押下操作は、その操作があれば、常にパソコン本体２Ａは、そのキー操作出力を判別して、対応する処理を実行するものである。

＜パソコン本体２Ａの処理ルーチンの全体＞
図１２は、操作入力装置１からのキー操作出力およびセンサ出力を受けるパソコン本体２Ａにおける基本的な処理ルーチンの例を示すフローチャートである。

この図１２のフローチャートの各ステップの処理は、ＣＰＵ２０１が、ＲＯＭ２０２に記憶されるプログラムにしたがって、ＲＡＭ２０３をワークエリアとして用いて実行するものである。

先ず、ＣＰＵ２０１は、操作入力装置１のキーボード１１のキー配列面の上方の検出対象物としての手の検知空間における手の存在を検知したか否かを判別する（ステップＳ１０１）。このステップＳ１０１で、検知空間における手の存在を検知しないときには、ＣＰＵ２０１は、このステップＳ１０１を繰り返す。

このステップＳ１０１で、検知空間における手の存在を検知したと判別したときには、ＣＰＵ２０１は、空間位置検出部２０８で、検知空間における手の高さ位置（センサパネル１０Ｐ面からの距離）を検出する（ステップＳ１０２）。

そして、検出した手の高さ位置、つまりセンサパネル１０Ｐ面からの距離は、距離Ｔｈよりも大きいか否かにより、手の高さ位置が不感帯にあるか否かを判別する（ステップＳ１０３）。

手が不感帯にあると判別したときには、ＣＰＵ２０１は、センサ部１０からのセンサ出力を無視して無効とし、キーボード１１における操作キー１１Ｋの押下操作を監視する（ステップＳ１０４）。

ステップＳ１０４で操作キー１１Ｋの押下操作がないと判別したときには、ＣＰＵ２０１は、ステップＳ１０１に戻り、このステップＳ１０１以降の処理を繰り返す。

また、ステップＳ１０４で操作キー１１Ｋの押下操作があったと判別したときには、ＣＰＵ２０１は、押下操作された操作キー１１Ｋを判別し、その操作キーに対応した処理を実行する（ステップＳ１０５）。例えば、後述する選択されたファイルにおけるテキスト文字の入力操作処理などが、このステップＳ１０５の処理に対応する。

次に、ＣＰＵ２０１は、手が不感帯から逸脱したか否か判別し（ステップＳ１０６）、逸脱してはいないと判別したときには、ステップＳ１０４に戻り、キーボード１１における操作キー１１Ｋの押下操作を監視し、このステップＳ１０４以降の処理を繰り返す。

また、ステップＳ１０６で、手が不感帯から逸脱したと判別したときには、ＣＰＵ２０１は、ステップＳ１０１に戻り、このステップＳ１０１以降の処理を繰り返す。

また、ステップＳ１０３で、手の高さ位置が不感帯よりも上の位置であると判別したときには、センサパネル１０Ｐ上の検知空間における手による空間操作入力について、当該時点における処理ルーチンを判断して実行する（ステップＳ１０７）。

ステップＳ１０７では、最初は、基本機能選択処理ルーチンが実行されるが、その後は、この基本機能選択処理ルーチンで決定された機能の処理ルーチンが実行される。どの機能の処理ルーチンを実行するかは、当該時点の前の基本機能選択処理ルーチンで、どの機能が選択決定されたかによる。

そして、このステップＳ１０７の次には、ステップＳ１０１に戻り、このステップＳ１０１以降の処理を繰り返す。

次に、ステップＳ１０７で実行される基本機能選択処理ルーチンの例およびこの基本機能選択処理ルーチンで決定された機能のそれぞれについての処理ルーチンの例を説明する。

＜基本機能選択処理ルーチン＞
図１３は、この実施形態の情報処理システムのパソコン本体２Ａにおける基本機能選択の上位階層の操作入力に対する処理動作の一例のフローチャートである。この図１３のフローチャートの各ステップの処理は、パソコン２ＡのＣＰＵ２０１が、ＲＯＭ２０２に記憶されたプログラムにしたがって、ＲＡＭ２０３をワークエリアとして用いて実行するものである。

なお、基本機能選択処理ルーチンの開始の際に、ＣＰＵ２０１は、レイヤ情報記憶部２０７を参照して、当該基本機能選択におけるレイヤＣ１，Ｃ２およびレイヤＤ１，Ｄ２に対して割り付けられた機能や意味などを認識しておく。すなわち、ＣＰＵ２０１は、レイヤＣ２に割り付けられている機能が基本機能の選択であると認識し、また、レイヤＣ２に割り付けられているのは選択された基本機能の確認機能であると認識する。また、ＣＰＵ２０１は、レイヤＤ２から移動して、レイヤＤ１に手が存在する状態が決定操作であると認識する。

そして、この例では、先ず、パソコン２ＡのＣＰＵ２０１は、センサ部１０の選択領域１１１からの出力を監視して、選択領域１１１のセンサパネル１０Ｐの不感帯より上方空間における操作者の手の接近を待つ（ステップＳ２０１）。

ステップＳ２０１で、選択領域１１１のセンサパネル１０Ｐの不感帯より上方空間における操作者の手の接近があると判別したときには、ＣＰＵ２０１は、手が位置しているのはレイヤＣ２であるか否かを判別する（ステップＳ２０２）。

ステップＳ２０２で、手が位置しているのはレイヤＣ２であると判別したときには、ＣＰＵ２０１は、基本機能の選択のための処理、この例では、機能選択用ポインタ、つまり、カーソルマーク２２を、表示装置２Ｂの表示画面に表示する（ステップＳ２０３）。

次に、ＣＰＵ２０１は、レイヤＣ２内において、手がｘ，ｙ方向に移動して、選択する機能の変更操作があったか否か判別する（ステップＳ２０４）。

ステップＳ２０４で、選択する機能の変更操作があったと判別したときには、表示装置２Ｂの表示画面の機能選択用ポインタ、つまり、カーソルマーク２２を、レイヤＣ２内における変更移動操作に応じた位置に変更表示する（ステップＳ２０５）。

次に、ＣＰＵ２０１は、手がレイヤＣ２からレイヤＣ１に移動したか否か判別する（ステップＳ２０６）。また、ステップＳ２０４で、選択する機能の変更操作がなかったと判別したときにも、ステップＳ２０６に進んで、手がレイヤＣ２からレイヤＣ１に移動したか否か判別する。さらに、ステップＳ２０２で、手がレイヤＣ２に存在しないと判別したときにも、ステップＳ２０６に進んで、手がレイヤＣ１にあるか否か判別する。

そして、ステップＳ２０６で、手がレイヤＣ１に存在しないと判別したときには、ＣＰＵ２０１は、ステップＳ２０２に戻り、このステップＳ２０２以降の処理を繰り返す。

また、ステップＳ２０６で、手がレイヤＣ１に存在すると判別したときには、ＣＰＵ２０１は、選択された基本機能の選択確認の処理をする。この例では、ＣＰＵ２０１は、表示バー２１の基本機能アイコンボタンのうちの、レイヤＣ２で選択された基本機能のアイコンボタンをハイライト表示して、確認表示する（ステップＳ２０７）。

次に、ＣＰＵ２０１は、決定領域１１２のセンサパネル１０Ｐ上の手が、レイヤＤ１にあるか否か判別する（ステップＳ２０８）。ステップＳ２０８で、決定領域１１２のセンサパネル１０Ｐ上の手が、レイヤＤ１にないと判別したときには、ＣＰＵ２０１は、ステップＳ２０２に戻って、このステップＳ２０２以降の処理を繰り返す。

また、ステップＳ２０８で、決定領域１１２のセンサパネル１０Ｐ上の手が、レイヤＤ１にあると判別したときには、ＣＰＵ２０１は、選択中の基本機能について決定操作がなされと判定する（ステップＳ２０９）。

そして、ＣＰＵ２０１は、選択された機能の処理ルーチンを実行し（ステップＳ２１０）、選択された機能の処理ルーチンについて終了操作がなされたら、ステップＳ２０１に戻って、ステップＳ２０１以降の処理を繰り返す。

次に、ステップＳ２１０における、選択された機能の処理ルーチンの例について説明する。

＜移動または回転のドラッグについての処理ルーチン＞
基本機能選択処理ルーチンにより移動または回転のドラッグの機能が選択されたときの、ステップＳ２１０での処理ルーチンの例を、図１４に示す。この図１４のフローチャートの各ステップの処理も、パソコン本体２ＡのＣＰＵ２０１が、ＲＯＭ２０２に記憶されたプログラムにしたがって、ＲＡＭ２０３をワークエリアとして用いて実行するものである。

なお、ドラッグ機能の処理ルーチンの開始の際に、ＣＰＵ２０１は、レイヤ情報記憶部２０７を参照して、当該ドラッグ機能におけるレイヤＣ１，Ｃ２およびレイヤＤ１，Ｄ２に対して割り付けられた機能や意味などを認識しておく。すなわち、ＣＰＵ２０１は、レイヤＣ２に割り付けられている機能がドラッグ位置選択であると認識し、また、レイヤＣ２に割り付けられている機能は、ドラッグ位置確認およびドラッグ実行機能であると認識する。また、ＣＰＵ２０１は、レイヤＤ１に手が存在する状態が決定操作、この場合には、ドラッグ機能の終了操作であるであると認識する。

そして、先ず、パソコン本体２ＡのＣＰＵ２０１は、センサ部１０の選択領域１１１からの出力を監視して、選択領域１１１のセンサパネル１０Ｐの不感帯より上方空間における操作者の手の接近を待つ（ステップＳ２２１）。

ステップＳ２２１で、選択領域１１１のセンサパネル１０Ｐの不感帯より上方空間における操作者の手の接近があると判別したときには、ＣＰＵ２０１は、手が位置しているのはレイヤＣ２であるか否かを判別する（ステップＳ２２２）。

ステップＳ２２２で、手が位置しているのはレイヤＣ２であると判別したときには、ＣＰＵ２０１は、当該レイヤＣ２に割り付けられているドラッグ位置選択機能についての処理を実行する。この例では、先ず、ＣＰＵ２０１は、ドラッグ位置ポインタ、つまり、ドラッグ点Ｐｏを、表示装置２Ｂの表示画面に表示する（ステップＳ２２３）。次に、ＣＰＵ２０１は、レイヤＣ２内において、手がｘ，ｙ方向に移動して、ドラッグ位置の変更操作があったか否か判別する（ステップＳ２２４）。

ステップＳ２２４で、ドラッグ位置の変更操作があったと判別したときには、表示装置２Ｂの表示画面におけるドラッグ点Ｐｏの位置を、レイヤＣ２内における変更移動操作に応じた位置に変更表示する（ステップＳ２２５）。

次に、ＣＰＵ２０１は、手がレイヤＣ２からレイヤＣ１に移動したか否か判別する（ステップＳ２２６）。また、ステップＳ２２４で、ドラッグ位置の変更操作がなかったと判別したときにも、ステップＳ２２６に進んで、手がレイヤＣ２からレイヤＣ１に移動したか否か判別する。さらに、ステップＳ２２２で、手がレイヤＣ２に存在しないと判別したときにも、ステップＳ２２６に進んで、手がレイヤＣ１にあるか否か判別する。

そして、ステップＳ２２６で、手がレイヤＣ１に存在しないと判別したときには、ＣＰＵ２０１は、ステップＳ２２２に戻り、このステップＳ２２２以降の処理を繰り返す。

また、ステップＳ２２６で、手がレイヤＣ１に存在すると判別したときには、ＣＰＵ２０１は、この例では、ドラッグ機能、すなわち、移動または回転の機能を有効とする。そして、このとき、指定されたドラッグ位置をハイライト表示すると共に、表示バー７１の基本機能アイコンボタンのうちの、レイヤＣ２で選択された移動または回転のいずれかのアイコンボタンをハイライト表示して確認表示する（ステップＳ２２７）。

次に、ＣＰＵ２０１は、レイヤＣ１内における手のｘ，ｙ方向の動きに応じたドラッグ処理、つまり、画像移動（あるいはスクロール）または画像回転を実行する（ステップＳ２２８）。

次に、ＣＰＵ２０１は、決定領域１１２のセンサパネル１０Ｐ上の手が、レイヤＤ１にあるか否か判別する（ステップＳ２２９）。ステップＳ２２９で、決定領域１１２のセンサパネル１０Ｐ上の手が、レイヤＤ１にないと判別したときには、ＣＰＵ２０１は、ステップＳ２２２に戻って、このステップＳ２２２以降の処理を繰り返す。

また、ステップＳ２２９で、決定領域１１２のセンサパネル１０Ｐ上の手が、レイヤＤ１にあると判別したときには、ＣＰＵ２０１は、実行中の移動または回転のドラッグ機能を終了する（ステップＳ２３０）。そして、図１３のステップＳ２０１に戻り、基本機能選択処理ルーチンを再開する。

なお、この移動または回転のドラッグについての処理ルーチンが終了した後、手が不感帯に置かれ、キーボード１１の操作キー１１Ｋが押下操作されると、その押下キーに応じた処理がパソコン本体２Ａによりなされる。つまり、文字キー入力などがなされる。

＜ファイル選択の処理ルーチン＞
基本機能選択処理ルーチンによりファイル選択の機能が選択されたときの、ステップＳ２１０での処理ルーチンの例を、図１５に示す。この図１５のフローチャートの各ステップの処理も、パソコン本体２ＡのＣＰＵ２０１が、ＲＯＭ２０２に記憶されたプログラムにしたがって、ＲＡＭ２０３をワークエリアとして用いて実行するものである。

なお、ファイル選択機能の処理ルーチンの開始の際に、ＣＰＵ２０１は、レイヤ情報記憶部２０７を参照して、当該ファイル選択機能におけるレイヤＣ１，Ｃ２およびレイヤＤ１，Ｄ２に対して割り付けられた機能や意味などを認識しておく。すなわち、ＣＰＵ２０１は、レイヤＣ２に割り付けられている機能がファイル選択であると認識し、また、レイヤＣ２に割り付けられている機能は、選択されたファイルの確認機能であると認識する。また、ＣＰＵ２０１は、レイヤＤ１に手が存在する状態が決定操作、この場合には、ファイル決定操作であると認識する。

そして、先ず、パソコン本体２ＡのＣＰＵ２０１は、センサ部１０の選択領域１１１からの出力を監視して、選択領域１１１のセンサパネル１０Ｐの不感帯より上方空間における操作者の手の接近を待つ（ステップＳ２４１）。

ステップＳ２２１で、選択領域５１のセンサパネル１０Ｐの不感帯より上方空間における操作者の手の接近があると判別したときには、ＣＰＵ２０１は、手が位置しているのはレイヤＣ２であるか否かを判別する（ステップＳ２４２）。

ステップＳ２２２で、手が位置しているのはレイヤＣ２であると判別したときには、ＣＰＵ２０１は、当該レイヤＣ２に割り付けられているファイル選択機能についての処理を実行する。この例では、ＣＰＵ２０１は、表示装置２Ｂの表示画面に表示されているサムネイル画像一覧２３の中の、選択中のサムネイル画像をハイライト表示し、かつ、ハイライト表示するサムネイル画像を移動する（ステップＳ２４３）。

次に、ＣＰＵ２０１は、手がレイヤＣ２からレイヤＣ１に移動したか否か判別する（ステップＳ２４４）。また、ステップＳ２４２で、手がレイヤＣ２に存在しないと判別したときにも、ステップＳ２４４に進んで、手がレイヤＣ１にあるか否か判別する。

そして、ステップＳ２４４で、手がレイヤＣ１に存在しないと判別したときには、ＣＰＵ２０１は、ステップＳ２４２に戻り、このステップＳ２４２以降の処理を繰り返す。

また、ステップＳ２４４で、手がレイヤＣ１に存在すると判別したときには、ＣＰＵ２０１は、ハイライトするサムネイル画像の移動を停止して、当該停止した位置のサムネイル画像が選択されていることを確認報知する（ステップＳ２４５）。

次に、ＣＰＵ２０１は、決定領域１１２のセンサパネル１０Ｐ上の手が、レイヤＤ１にあるか否か判別する（ステップＳ２４６）。ステップＳ２４６で、決定領域１１２のセンサパネル１０Ｐ上の手が、レイヤＤ１にないと判別したときには、ＣＰＵ２０１は、ステップＳ２４２に戻って、このステップＳ２４２以降の処理を繰り返す。

また、ステップＳ２４６で、決定領域１１２のセンサパネル１０Ｐ上の手が、レイヤＤ１にあると判別したときには、ＣＰＵ２０１は、確認報知された選択中のサムネイル画像が選択されたことが決定されたと判断する。そして、ＣＰＵ２０１は、選択中のサムネイル画像に対応するファイルのデータを、ファイルメモリ２０６から読み出して、表示装置２Ｂの表示画面に、表示画像２４として表示する（ステップＳ２４７）。

そして、ＣＰＵ２０１は、このファイル選択機能の処理ルーチンを終了し（ステップＳ２４８）、その後、図１３のステップＳ２０１に戻り、基本機能選択処理ルーチンを再開する。

なお、このファイル選択についての処理ルーチンが終了した後、手が不感帯に置かれ、キーボード１１の操作キー１１Ｋが押下操作されると、その押下キーに応じた処理がパソコン本体２Ａによりなされる。つまり、選択されたファイルにおける文字キー入力などがなされる。

＜拡大／縮小の処理ルーチン＞
基本機能選択処理ルーチンにより拡大／縮小の機能が選択されたときの、ステップＳ２１０での処理ルーチンの例を、図１６に示す。この図１６のフローチャートの各ステップの処理も、パソコン本体２ＡのＣＰＵ２０１が、ＲＯＭ２０２に記憶されたプログラムにしたがって、ＲＡＭ２０３をワークエリアとして用いて実行するものである。

なお、前述したように、基本機能選択処理ルーチンにおける拡大／縮小の基本機能の選択において、選択領域１１１のセンサパネル１０Ｐにおける左領域と右領域あるいは上領域と下領域のような選択領域の違いに応じて、拡大と縮小のいずれかが選択される。

この拡大／縮小機能の処理ルーチンの開始の際に、ＣＰＵ２０１は、レイヤ情報記憶部２０７を参照して、当該拡大／縮小機能におけるレイヤＣ１，Ｃ２およびレイヤＤ１，Ｄ２に対して割り付けられた機能や意味などを認識しておく。すなわち、ＣＰＵ２０１は、レイヤＣ２に割り付けられている機能が低速の拡大／縮小処理であると認識し、また、レイヤＣ２に割り付けられている機能は、高速の拡大／縮小処理であると認識する。また、ＣＰＵ２０１は、レイヤＤ１に手が存在する状態が決定操作、この場合には、拡大／縮小機能の終了操作であると認識する。

そして、先ず、パソコン本体２ＡのＣＰＵ２０１は、センサ部１０の選択領域１１１からの出力を監視して、選択領域１１１のセンサパネル１０Ｐの不感帯より上方空間における操作者の手の接近を待つ（ステップＳ２５１）。

ステップＳ２５１で、選択領域１１１のセンサパネル１０Ｐの不感帯より上方空間における操作者の手の接近があると判別したときには、ＣＰＵ２０１は、手が位置しているのはレイヤＣ２であるか否かを判別する（ステップＳ２５２）。

ステップＳ２５２で、手が位置しているのはレイヤＣ２であると判別したときには、ＣＰＵ２０１は、当該レイヤＣ２に割り付けられている機能、すなわち、低速での画像の拡大または縮小を実行する（ステップＳ２４３）。

次に、ＣＰＵ２０１は、手がレイヤＣ２からレイヤＣ１に移動したか否か判別する（ステップＳ２５４）。また、ステップＳ２５２で、手がレイヤＣ２に存在しないと判別したときにも、ステップＳ２５４に進んで、手がレイヤＣ１にあるか否か判別する。

そして、ステップＳ２５４で、手がレイヤＣ１に存在しないと判別したときには、ＣＰＵ２０１は、ステップＳ２５２に戻り、このステップＳ２５２以降の処理を繰り返す。

また、ステップＳ２５４で、手がレイヤＣ１に存在すると判別したときには、ＣＰＵ２０１は、当該レイヤＣ２に割り付けられている機能、すなわち、高速での画像の拡大または縮小を実行する（ステップＳ２５５）。

次に、ＣＰＵ２０１は、決定領域１１２のセンサパネル１０Ｐ上の手が、レイヤＤ１にあるか否か判別する（ステップＳ２５６）。ステップＳ２５６で、決定領域１１２のセンサパネル１０Ｐ上の手が、レイヤＤ１にないと判別したときには、ＣＰＵ２０１は、ステップＳ２５２に戻って、このステップＳ２５２以降の処理を繰り返す。

また、ステップＳ２５６で、決定領域１１２のセンサパネル１０Ｐ上の手が、レイヤＤ１にあると判別したときには、ＣＰＵ２０１は、画像の拡大または縮小を停止し、この拡大／縮小機能の処理ルーチンを終了する（ステップＳ２４８）。そして、その後、図１３のステップＳ２０１に戻り、基本機能選択処理ルーチンを再開する。

なお、この拡大／縮小機能についての処理ルーチンが終了した後、手が不感帯に置かれ、キーボード１１の操作キー１１Ｋが押下操作されると、その押下キーに応じた処理がパソコン本体２Ａによりなされる。つまり、拡大または縮小されたファイルにおける文字キー入力などがなされる。

以上のようにして、上述した第１の実施形態によれば、操作者は、操作入力装置１のキーボード１１の操作キー１１Ｋを用いた入力操作を行うと共に、キーボード１１の操作パネルに対して、非接触の状態での空間操作入力で、階層化された複数の機能を選択および実行することができる。そして、操作者は、例えば右手を、選択領域１１１のセンサパネル１０Ｐの空間を上下させて機能選択を行い、左手で、決定領域センサ１１２のセンサパネル１０Ｐの空間を上下させることで決定操作をすることができ、操作が簡単であるというメリットがある。

そして、キーボード１１の操作キーを用いたテキスト文字入力をしながら、キーボード１１の不感帯よりも上方空間における手による空間入力操作をすることで、入力した文字画像をスクロールしたり、拡大／縮小したりする処理ができる。したがって、入力操作手段を複数用いる必要はなく、多様な操作入力ができる。

なお、上述の第２の実施形態の説明では、選択中の機能やサムネイルは、ハイライト表示するようにしたが、ユーザに注目させることができる報知表示であれば、ハイライト表示に限られるものではないことは言うまでもない。

また、上述の実施形態では、センサ部１０のセンサパネル面は、選択領域１１１と、決定領域とに分けて、決定領域で選択領域で選択操作されたものの決定入力を、決定領域で行うようにした。しかし、センサ部１０のセンサパネル面の領域を分割せずに、全て選択領域とし、決定入力操作は、キーボード１１のエンターキーなどの操作キーにより行うようにすることもできる。

その場合には、例えば左手を不感帯よりも上方空間において上述したような空間入力操作を行うと共に、右手の中指などでエンターキーを操作するような操作が可能である。

［第２の実施形態］
上述した第１の実施形態は、操作入力装置１と、パソコン２とからなる情報処理システムの構成としたが、操作入力装置１と同様の構造を備える操作入力部を一部の構成部分として備える情報処理装置も可能である。

例えば、図１７は、この発明をノート型パソコンに利用した場合の実施形態の構成例を示すもので、概観上の構成は、図１７に示すように全く変わらない。

しかし、この図１７の例の情報処理装置としてのノート型パソコン３０のキーボード部３１の下部には、図１に示したものと同様にして、Ｘ−Ｚセンサパネル、Ｙ−Ｚセンサパネル、キーボードプリント配線基板などが配設される。

この第２の実施形態のノート型パソコンにおいても、上述の第１の実施形態と同様の処理動作が可能である。

例えば、文書入力のアプリケーションにおいて、キーボード３１で文字入力を実行すると共に、キーボード３１の面よりの上方の空間の、不感帯よりさらに上方空間における手の位置に応じた制御ができる。例えば、表示画面３２に表示されている文字入力画面における文字列の上下左右のスクロール移動、表示文字の大きさの拡大／縮小などが可能となる。

［第３の実施形態］
この第３の実施形態も、情報処理装置の実施形態である。この第３の実施形態は、情報処理装置が、携帯電話端末４０の場合の例である。

この実施形態の携帯電話端末４０では、図１８に示すように、キー操作部は、テンキー４１と、上下左右方向キー４２と、決定キー４３などを備える。このキー操作部のテンキー４１は、少ない操作キー数であるので、１つの操作キーに複数の種類の文字入力が割り当てられている。

従来は、入力する文字種を、上下左右キー４２などと、決定キー４３とを用いて決定すると共に、１つの操作キーを何回も押下することにより、入力する文字種を選択するようにしている。しかし、そのような操作入力は非常に厄介である。

この第３の実施形態では、キー操作部のテンキー４１の上方空間における手の高さ位置に応じて、テンキー４１で入力する文字種を決定するようにする。決定操作は、この例では、決定キー４３の押下操作とされる。

この第３の実施形態においては、テンキー４１の下側に、第１の実施形態におけるセンサ部１０と同様にして、センサパネル４５が設けられる。この例においては、センサ部は、手の高さ位置を検出するだけでよいので、Ｘ−ＺセンサパネルまたはＹ−Ｚセンサパネルのいずれか１枚のセンサパネルで構成することができる。

そして、図示は省略するが、センサパネル４５の下側に、テンキー４１の操作検出用スイッチなどと、センサパネル４５についてのセンサ出力を生成するための図６に示したような回路が形成されているプリント配線基板が設けられる。

そして、この実施形態の携帯電話端末４０においては、前述の実施形態と同様に、レイヤ情報記憶部を備えるが、その記憶部に記憶されるレイヤの情報としては、図１９に示すようなものとされる。

この第３の実施形態においても、センサパネル４５上の空間においては、センサパネル４５面から距離Ｔｈａまでは、前述したように、パソコン本体２Ａで、センサ部１０からのセンサ出力を無効として無視する不感帯とする。

この距離Ｔｈａも、前述の第１の実施形態における距離Ｔｈと同様にして定める。すなわち、先ず、携帯電話端末４０のテンキー４１の操作面からの距離として、ユーザがテンキー４１を操作するとき、およびその準備をしているときに、ユーザの手が存在する空間を含む距離Ｔ１ａを求める。次に、センサパネル４５の面と、テンキー４１の操作面との距離Ｔ２ａとを求める。最後に、余裕分Ｔ３ａを定める。

そして、距離Ｔｈａは、
Ｔｈａ＝Ｔ１ａ＋Ｔ２ａ＋Ｔ３ａ
として定める。

そして、距離Ｔｈａよりもさらにセンサパネル４５の面から離れた空間において、センサパネル４５面からの距離の違いにより、複数個のレイヤが設定される。この例では、３個のレイヤＫ１，Ｋ２，Ｋ３が設定される。

この場合、図１９に示すように、センサパネル４５の表面位置をｚ軸の原点位置０としたとき、３個のレイヤＫ１，Ｋ２，Ｋ３の境界となるｚ方向の距離を、ＬＫ１，ＬＫ２，ＬＫ３に設定する。したがって、Ｔｈａ＜レイヤＫ１≦ＬＫ１、ＬＫ１＜レイヤＫ２≦ＬＫ２、ＬＫ２＜レイヤＫ３≦ＬＫ３、として、各レイヤＫ１，Ｋ２，Ｋ３の距離範囲が設定される。

そして、この第３の実施形態では、レイヤＫ１，Ｋ２，Ｋ３のいずれに手が在るかにより、テンキー４１を通じて操作入力される文字種を切り替えることができるように構成されている。

すなわち、ここでは、図示は省略するが、この実施形態におけるレイヤ情報記憶部には、図１９において、括弧をして示すように、各レイヤＫ１，Ｋ２，Ｋ３と、それぞれに対して割り当てられた文字種との対応テーブルが記憶される。すなわち、図１９の例では、レイヤＫ１に対しては「数字」が、レイヤＫ２に対しては「英記号」が、レイヤＫ３に対しては「ひらがな」が、それぞれ割り当てられる。

そして、この第３の実施形態では、レイヤＫ１，Ｋ２，Ｋ３のうち、どのレイヤで決定するかの決定操作は、決定キー４３により行うように構成されている。

例えば図１８において点線の手で示すように、左手で携帯電話端末を保持すると共に、左手の親指を決定キー４３に位置させるようにし、また、右手をテンキー４１の上空の空間領域において上下させ、レイヤ選択を行うようにする。

この実施形態の携帯電話端末４０においては、手がレイヤＫ１，Ｋ２，Ｋ３のうち、どのレイヤに存在しているかを、対応して割り付けてある文字種を表示画面４４に表示することでユーザに報知する。

そこで、ユーザは、表示画面４４に表示される文字種を見ながら、右手をテンキー４１の上空の空間領域において上下させて、自分が選択したい文字種のレイヤの空間位置で、右手を保持する。そして、左手の親指で決定キー４３を押下する。これにより、ユーザによりテンキー４１を用いて入力する文字種が決定される。

すなわち、レイヤＫ１が選択されると、テンキー４１は、図２０（Ａ）に示すように、数字入力キーとなる。

また、レイヤＫ２が選択されると、テンキー４１は、図２０（Ｂ）に示すように、英記号の入力キーとなる。この場合、図２０（Ｂ）に示したように、テンキー４１の１つのキーについて、複数の文字が割り当てられるが、同じキーを複数回押下することにより、押下毎に入力文字が変更される。このとき、表示画面４４には、入力された文字が表示が表示され、左右キーを押下したり、決定キー４３を押下したり、テンキー４１の他のキーを押下することで、そのとき表示されていた文字で確定となる。これは、従来と同様である。

また、レイヤＫ３が選択されると、テンキーは、図２０（Ｃ）に示すように、ひらがなの入力キーとなる。この場合は、テンキーの各キーには、５０音の「あ」行、「か」行、「さ」行、・・・のように各行が割り当てられ、英記号の入力キーとなる場合と同様に、１つのキーに複数の文字が割り当てられる。この場合も、上述の英記号の場合と同様に、同じキーを複数回押下することにより、押下毎に入力文字が変更され、表示画面４４には、入力された文字が表示が表示される。そして、左右キーを押下したり、決定キー４３を押下したり、テンキー４１の他のキーを押下することで、そのとき表示されていた文字で確定となる。

［第３の実施形態の処理動作例］
図２１および図２２は、この第３の実施形態の情報処理装置としての携帯電話端末４０におけるユーザ操作入力についての処理動作例のフローチャートである。この図２１および図２２の各ステップの処理動作は、携帯電話端末４０が備えるマイクロコンピュータが、メモリに記憶されているプログラムにしたがって実行されるものである。

先ず、携帯電話端末４０のマイクロコンピュータ（以下、マイコンという）は、テンキー４１のキー配列面の上方の検出対象物としての手の検知空間における手の存在を検知したか否かを判別する（ステップＳ３０１）。このステップＳ３０１で、検知空間における手の存在を検知しないときには、マイコンは、このステップＳ３０１を繰り返す。

このステップＳ３０１で、検知空間における手の存在を検知したと判別したときには、マイコンは、検知空間における手の高さ位置（センサパネル４５面からの距離）を検出する（ステップＳ３０２）。

そして、マイコンは、検出した手の高さ位置、つまりセンサパネル４５面からの距離は、距離Ｔｈａよりも大きいか否かにより、手の高さ位置が不感帯にあるか否かを判別する（ステップＳ３０３）。

手が不感帯にあると判別したときには、マイコンは、センサ部のセンサパネル４５からのセンサ出力を無視して無効とし、携帯電話端末４０のテンキー４１およびその他の操作キーの押下操作を監視する（ステップＳ３０４）。

ステップＳ３０４で操作キーの押下操作がないと判別したときには、マイコンは、ステップＳ３０１に戻り、このステップＳ３０１以降の処理を繰り返す。

また、ステップＳ３０４で操作キーの押下操作があったと判別したときには、マイコンは、押下操作された操作キーを判別し、その操作キーに対応した処理を実行する（ステップＳ３０５）。

次に、マイコンは、手が不感帯から逸脱したか否か判別し（ステップＳ３０６）、逸脱してはいないと判別したときには、ステップＳ３０４に戻り、操作キーの押下操作を監視し、このステップＳ３０４以降の処理を繰り返す。

また、ステップＳ３０６で、手が不感帯から逸脱したと判別したときには、マイコンは、ステップＳ３０１に戻り、このステップＳ３０１以降の処理を繰り返す。

また、ステップＳ３０３で、手の高さ位置が不感帯よりも上の位置であると判別したときには、センサパネル４５上の検知空間に設定された３個のレイヤＫ１，Ｋ２，Ｋ３のうちのいずれのレイヤに手が存在するかを判断する（ステップＳ３１１）。

ステップＳ３１１で、手はレイヤＫ１に在ると判別したときには、マイコンは、レイヤ情報記憶部を参照して、テンキー４１は数字入力キーと判断する（ステップＳ３１２）。また、ステップＳ３１１で、手はレイヤＫ２に在ると判別したときには、マイコンは、レイヤ情報記憶部を参照して、テンキー４１は英記号入力キーと判断する（ステップＳ３１３）。また、ステップＳ３１１で、手はレイヤＫ３に在ると判別したときには、マイコンは、レイヤ情報記憶部を参照して、テンキー４１はひらがな入力キーと判断する（ステップＳ３１４）。

そして、ステップＳ３１２，３１３，３１４の次には、マイコンは、表示画面にテンキー４１について判断した文字種を表示する（ステップＳ３１５）。次に、マイコンは、決定キー４３が押下されたか否か判別し（ステップＳ３１６）、決定キー４３が押下されていないと判別したときには、ステップＳ３１１に戻って、このステップＳ３１１以降の処理を繰り返す。

ステップＳ３１６で、決定キー４３が押下されたと判別したときには、マイコンは、テンキー４１を、決定キー４３が押下されたときに判断されていた入力キーとして決定する（ステップＳ３１７）。

したがって、この決定後に、ステップＳ３０４で操作キーが押下されたと判別したときに、押下された操作キーがテンキー４１のいずれかであるときには、マイコンは、テンキー４１は、決定された入力キーとして判断して、ステップＳ３０５の処理を行う。なお、テンキー４１について決定された文字種は、表示画面４４に表示して、現在のテンキー４１は、どの文字種の入力キーであるかをユーザに報知するようにする。

以上のようにして、この第３の実施形態によれば、テンキーなどの操作キーを、文字種など複数種の入力キーとして用いる場合に、いずれの入力キーであるかを、操作キーの上方空間における手の位置に応じて切り替えることができ、非常に便利である。

ステップＳ３１６における決定キー４３についての操作判断は、テンキー４１上の空間における手の存在を検知しているときの判断である。マイコンは、決定キー４３が押下操作されたときに、センサ部のセンサパネル４５からのセンサ出力を監視して、センサ出力がレイヤＫ１，Ｋ２，Ｋ３のいずれかに検出対象物（ここでは手）が存在しているときには、ステップＳ３１６の処理を行うことになる。

一方、マイコンは、決定キー４３が押下操作されたときに、センサ出力がレイヤＫ１，Ｋ２，Ｋ３のいずれにも検出対象物が存在していないことを示しているときには、ステップＳ３１６の処理以外の、他の決定入力として処理する。

なお、操作キーについて割り当てられる複数の種別は、文字種に限られるものではない。例えば、操作キーが機能を選択するキーであるときには、当該キーに複数種の機能を割り当て、空間における手の位置に応じてその割り当てられている機能を切り替えるようにすることができる。

なお、上述の第３の実施形態の説明では、決定操作は、決定キー４３の押下操作としてが、レイヤを選択する手の特定の振る舞いを、決定入力とするようにしてもよい。この決定入力の例を、図２３に示す。

図２３（Ａ）の例は、ある一つのレイヤ内に在る手を、水平方向に移動させて、他のレイヤに移動することなく、センサパネル１０上から外に出す操作を、手が存在しているレイヤを選択することの決定操作とするものである。これは、センサパネル４５からのセンサ出力信号を監視するマイコンでは、あるレイヤに存在していた手が、他のレイヤに移動することなく消えたこととして検出される。

この場合に用いられるセンサパネル４５は、電極層に縦電極が複数本設けられてなるＸ−Ｚセンサパネルとされる。なお、もしも、手がレイヤから消える移動方向が水平方向に直交する縦方向である場合には、用いられるセンサパネル４５は、電極層に横電極が複数本設けられてなるＹ−Ｚセンサパネルとされる。

図２３（Ｂ）の例は、他のレイヤに移動することなく、当該レイヤ内における手の所定の振る舞い操作、つまり、手による所定のジェスチャーを決定操作とするものである。図２３（Ｂ）の例では、手で丸を描くジェスチャーを決定操作としている。

この場合に用いられるセンサパネル４５は、電極層に縦電極が複数本設けられてなるＸ−Ｚセンサパネルと、電極層に横電極が複数本設けられてなるＹ−Ｚセンサパネルとが積層されたものとされる。

このように積層されたセンサパネルを用いれば、前述したように、マイコンは、センサ部からの出力信号から、センサパネル４５のｘ，ｙ軸方向の検出対象物の移動も検出可能である。したがって、マイコンは、レイヤ内における水平方向の手の所定の振る舞いを検出して、その振る舞いが決定操作であるかどうかを判別することが可能とある。

なお、上述の第３の実施形態では、センサパネル４５は、テンキー４１の下側にのみ設けるように説明したが、テンキー４１を含む操作キーの操作面全体の下側にセンサパネルを設けるようにしても、勿論よい。

［第４の実施形態］
第４の実施形態は、第１の実施形態と同様に、操作入力装置と、パソコンからなる情報処理システムの場合である。この第４の実施形態は、３次元（３Ｄ）のビジュアルチャットの際に、チャットしながらアバターの移動を行うために、操作入力装置のキーボードから他の入力手段に変更することなく、キーボード上に手を置いたままで、アバターの移動操作を可能にする例である。

以下に説明する例は、地図上にアバターを表示する画面において、手の空間位置に応じて、地図に対して俯瞰的操作を行いながら、キーボードの移動のための操作キーを用いて、アバターの移動を行う。

図２４は、この第４の実施形態の情報処理システムの構成例を示す図であり、第１の実施形態と同様に、センサ部１０と、キーボード１１とを備える操作入力装置１と、パソコン２とからなる。操作入力装置１は、パソコン２のパソコン本体２Ａに接続され、パソコン本体２Ａに接続される表示装置２Ｂに、パソコン本体２Ａの制御に基づく表示画像が表示される。

操作入力装置１は、図１に示したものと同様の構造を備えており、前述したように、キーボード１１上の空間におけるユーザの手の位置に応じたセンサ出力をパソコン本体２Ａに供給する。

この実施形態のパソコン本体２Ａには、ビジュアルチャットのためのアプリケーションプログラムを備えていると共に、表示画面に表示する地図を、３Ｄ表現することができる機能を備えている。

そして、この実施形態においては、パソコン本体２Ａは、センサ部１０からのセンサ出力から検出される手の空間位置を視点位置として、３Ｄ表現地図を生成して表示画面に表示するようにする機能も備えている。

この実施形態では、不感帯においては、常に、キーボード１１でのキー操作入力をすることができる。したがって、キーボード１１上の不感帯より上方空間における手の位置を視点として俯瞰した３Ｄ表現地図を表示画面に表示し、その地図上で、キーボード１１の移動のための操作キーを操作することで、アバターを移動させるように操作することができる。

例えば、図２４の操作入力装置１上における手で示すように、左手を、キーボード１１上の不感帯より上方空間に位置させると共に、右手の指で上下左右キーを操作することにより、表示装置２Ｂの表示画面のアバター２５を移動させることができる。また、キーボード１１の操作キーを用いて、文字入力をすることもできる。

次に、この第４の実施形態における操作入力装置１の上方空間におけるレイヤの割り当てについて、図２５および図２６を参照して説明する。

この第４の実施形態においては、センサ部１０のセンサパネル１０Ｐ上の空間については、図２５のような３つのレイヤＳ１，Ｓ２，Ｓ３が割り当てられる。そして、第１の実施形態と同様に、センサパネル１０Ｐの面から距離Ｔｈまでの空間は、不感帯とされる。

そして、この不感帯よりも上方の空間において、３つのレイヤＳ１，Ｓ２，Ｓ３が割り当てられる。

この場合、図２５に示すように、センサパネル１０Ｐの表面位置をｚ軸の原点位置０としたとき、３個のレイヤＳ１，Ｓ２，Ｓ３の境界となるｚ方向の距離を、ＬＳ１，ＬＳ２，ＬＳ３に設定する。したがって、Ｔｈ＜レイヤＳ１≦ＬＳ１、ＬＳ１＜レイヤＳ２≦ＬＳ２、ＬＳ２＜レイヤＳ３≦ＬＳ３、として、各レイヤＳ１，Ｓ２，Ｓ３の距離範囲が設定される。

これら３個のレイヤＳ１，Ｓ２，Ｓ３のそれぞれには、図２６のように３Ｄ表現地図の視点が割り当てられる。図２６は、パソコン本体２Ａが備えるレイヤ情報記憶部の記憶内容を示すものである。

すなわち、図２６に示すように、レイヤＳ１に対しては、プレーヤの視点が割り当てられる。したがって、ユーザの手がレイヤＳ１にあるときには、プレーヤの視点からの地図が表示画面に表示される。

次に、レイヤＳ２に対しては、中間位置（中間の高さ）からの部分的地図俯瞰視点が割り当てられる。したがって、ユーザの手がレイヤＳ２にあるときには、中間の高さ位置から見た、全体のうちの部分的に見えない部分が生じる状態の３Ｄ表現地図が表示画面に表示される。

次に、レイヤＳ３に対しては、上空からの全体地図俯瞰視点が割り当てられる。したがって、ユーザの手がレイヤＳ３にあるときには、上空から見た、全体が見渡せる状態の３Ｄ表現地図が表示画面に表示される。

［第４の実施形態の処理動作例］
図２７および図２８は、この第４の実施形態の情報処理システムにおけるパソコン本体２Ａにおけるユーザ操作入力についての処理動作例のフローチャートである。この図２７および図２８の各ステップの処理動作は、パソコン２Ａの前述したＣＰＵ２０１が、ＲＡＭ２０２に記憶されているプログラムにしたがって実行されるものである。

先ず、ＣＰＵ２０１は、操作入力装置１のキーボード１１のキー配列面の上方の検出対象物としての手の検知空間における手の存在を検知したか否かを判別する（ステップＳ４０１）。このステップＳ４０１で、検知空間における手の存在を検知しないときには、マイコンは、このステップＳ４０１を繰り返す。

このステップＳ４０１で、検知空間における手の存在を検知したと判別したときには、ＣＰＵ２０１は、検知空間における手の高さ位置（センサパネル１０Ｐ面からの距離）を検出する（ステップＳ４０２）。

そして、ＣＰＵ２０１は、検出した手の高さ位置、つまりセンサパネル１０Ｐ面からの距離は、距離Ｔｈよりも大きいか否かにより、手の高さ位置が不感帯にあるか否かを判別する（ステップＳ４０３）。

手が不感帯にあると判別したときには、ＣＰＵ２０１は、センサ部１０からのセンサ出力を無視して無効とし、キーボード１１におけ操作キー１１Ｋの押下操作を監視する（ステップＳ４０４）。

ステップＳ４０４で操作キー１１Ｋの押下操作がないと判別したときには、ＣＰＵ２０１は、ステップＳ４０１に戻り、このステップＳ４０１以降の処理を繰り返す。

また、ステップＳ４０４で操作キーの押下操作があったと判別したときには、ＣＰＵ２０１は、押下操作された操作キーを判別し、その操作キーに対応した処理を実行する（ステップＳ４０５）。

次に、ＣＰＵ２０１は、手が不感帯から逸脱したか否か判別し（ステップＳ４０６）、逸脱してはいないと判別したときには、ステップＳ４０４に戻り、操作キーの押下操作を監視し、このステップＳ４０４以降の処理を繰り返す。

また、ステップＳ４０６で、手が不感帯から逸脱したと判別したときには、ＣＰＵ２０１は、ステップＳ４０１に戻り、このステップＳ４０１以降の処理を繰り返す。

また、ステップＳ４０３で、手の高さ位置が不感帯よりも上の位置であると判別したときには、センサパネル１０Ｐ上の検知空間に設定された３個のレイヤＳ１，Ｓ２，Ｓ３のうちのいずれのレイヤに手が存在するかを判断する（ステップＳ４１１）。

ステップＳ４１１で、手はレイヤＳ１に在ると判別したときには、ＣＰＵ２０１は、レイヤ情報記憶部を参照して、プレーヤの視点からの地図画像を描画生成して、表示装置２Ｂの表示画面に表示する（ステップＳ４１２）。

また、ステップＳ４１１で、手はレイヤＳ２に在ると判別したときには、ＣＰＵ２０１は、レイヤ情報記憶部を参照して、中間位置を視点とした部分的俯瞰地図画像を描画生成して、表示装置２Ｂの表示画面に表示する（ステップＳ４１３）。

また、ステップＳ４１１で、手はレイヤＳ３に在ると判別したときには、ＣＰＵ２０１は、レイヤ情報記憶部を参照して、上空からの全体俯瞰地図画像を描画生成して、表示装置２Ｂの表示画面に表示する（ステップＳ４１４）。

そして、ステップＳ４１２，４１３，４１４の次には、ＣＰＵ２０１は、キーボード１１の右エリアにある前後左右キーの押下操作があるか否か判別する（ステップＳ４１５）。そして、前後左右キーの押下操作があると判別したときには、地図上に表示されているアバターを指示された位置に移動させる（ステップＳ４１６）。その後、ステップＳ４０１に戻り、このステップＳ４０１以降の処理を繰り返す。

また、ステップＳ４１５で、前後左右キーの押下操作はないと判別したときには、ＣＰＵ２０１は、ステップＳ４０１に戻り、このステップＳ４０１以降の処理を繰り返す。

なお、この第４の実施形態においては、センサ部１０は、手の高さ位置を検出することができればよいので、Ｘ−ＺセンサパネルとＹ−Ｚセンサパネルの両方を接合したものを用いる必要はなく、どちらか一方のセンサパネルのみで構成することが可能である。

［その他の実施形態および変形例］
上述の実施形態では、キー操作部は、キーボードやテンキーなど、複数個の操作キーを備える場合を想定したが、キー操作部は、１個の操作キーからなる場合においても、この発明は適用可能であることは言うまでもない。

また、操作キーは、押しボタン式のものについて説明したが、操作キーは、シーソー型やスライド型などの操作キーであっても良い。また、操作キーは、表示画面に表示され、タッチパネルで検出されるものであっても良い。

また、キー操作部の上空におけるユーザの手の空間的位置座標に応じた機能制御も、上述の例に限られるものではない。例えば、ピアノなどの楽器の鍵盤の下側にセンサパネルと配設し、鍵の上空に指を置いたとき、当該鍵を押下操作したときに発生される音を表示画面に表示して、打鍵する鍵の音を事前通知するような機能にも適用できる。前述の実施形態の操作入力装置においても、キーボードにおいて、操作するキーが何であるかを事前通知するような機能を実現するようにしてもよい。

また、上述の実施形態の説明では、押下式の操作キーを用いる場合において、センサパネルに押下操作をプリント配線基板に伝達するための操作子を挿通する孔を設けるようにした。

しかし、センサパネルをフレキシブルパネルの構成として、プリント配線基板に押圧式のスイッチを設け、操作キーを押下したとき、センサパネルの偏倚により、押下された操作キーに対応する押圧式のスイッチがオンになるように構成しても良い。その場合にも、センサパネルには、前記操作子を挿通する孔を穿つ必要はない。

なお、以上の実施形態では、センサ手段は、検出対象物までの空間離間距離に応じた静電容量を発振周波数に変換し、その発振周波数を周波数カウンタで計数して出力するようにしたが、前記静電容量に応じたセンサ出力を得る手法は、これに限られない。すなわち、例えば特許文献１と同様に、周波数−電圧変換器を用いて、発振周波数に応じた出力電圧をセンサ出力としてもよい。

また、例えば、検出対象物までの空間離間距離に応じた静電容量を電圧に変換する、いわゆるチャージドトランスファー法を用いるようにしても良い。また、プロジェクテッドキャパシタ法によっても、検出対象物までの空間離間距離に応じた静電容量を検出することができる。

また、上述の実施形態では、センサ手段の電極はワイヤー電極を用いるようにしたが、前記横方向のワイヤー電極と、縦方向のワイヤー電極との交点に、点電極を配置するようにした構成とすることもできる。その場合には、各点電極と接地間における静電容量を検出するので、複数の電極について、１電極毎に、横方向および縦方向の順次に切り替えて静電容量を検出するようにする。そして、検出する距離に応じて検出感度を適正なものとするために、検出する距離に応じて検出する電極を間引いた飛び飛びの電極を用いるようにするのは、ワイヤー電極の場合と同様である。

また、以上の実施形態では、センサ手段は、静電容量により検出対象物までの空間離間距離を検出するものを用いたが、これに限らず、検出対象物までの空間離間距離を検出することができるものであれば、いずれのセンサ手段をも用いることができる。

この発明による情報処理システムの実施形態に用いる操作入力装置の構成例を示す分解斜視図である。 この発明による情報処理システムの実施形態に用いる操作入力装置の構成例を示す斜視図である。 この発明による情報処理システムの実施形態のハードウエア構成例を示す図である。 この発明による情報処理システムの実施形態における操作入力装置に用いるセンサ部の構成例を説明するための図である。 この発明による情報処理システムの実施形態における操作入力装置に用いるセンサ部の構成例を説明するための図である。 この発明による情報処理システムの実施形態のハードウエア構成例を説明するためのブロック図である。 この発明による情報処理システムの実施形態における処理動作例を説明するための図である。 この発明による情報処理システムの実施形態のハードウエア構成例を説明するためのブロック図である。 この発明による情報処理システムの実施形態における操作入力装置のセンサ部から検出対象物までの距離に応じたレイヤの設定の例を説明するための図である。 この発明による情報処理システムの実施形態における操作入力装置のセンサ手段から検出対象物までの距離に応じたレイヤと、割り付けられる機能との対応関係を説明するための図である。 この発明による情報処理システムの実施形態の説明のための図である。 この発明による情報処理システムの実施形態における処理動作の例を説明するためのフローチャートを示す図である。 この発明による情報処理システムの実施形態における処理動作の例を説明するためのフローチャートを示す図である。 この発明による情報処理システムの実施形態における処理動作の例を説明するためのフローチャートを示す図である。 この発明による情報処理システムの実施形態における処理動作の例を説明するためのフローチャートを示す図である。 この発明による情報処理システムの実施形態における処理動作の例を説明するためのフローチャートを示す図である。 この発明による情報処理装置の実施形態を説明するための図である。 この発明による情報処理装置の他の実施形態を説明するための図である。 この発明による情報処理装置の他の実施形態におけるセンサ部から検出対象物までの距離に応じたレイヤの設定の例を説明するための図である。 この発明による情報処理装置の他の実施形態におけるセンサ部から検出対象物までの距離に応じたレイヤの設定の例を説明するための図である。 この発明による情報処理装置の他の実施形態における処理動作の例を説明するためのフローチャートの一部を示す図である。 この発明による情報処理装置の他の実施形態における処理動作の例を説明するためのフローチャートの一部を示す図である。 この発明による情報処理装置の他の実施形態の変形例を説明するために用いる図である。 この発明による情報処理システムの他の実施形態のハードウエア構成例を示す図である。 この発明による情報処理システムの他の実施形態における操作入力装置のセンサ部から検出対象物までの距離に応じたレイヤの設定の例を説明するための図である。 この発明による情報処理システムの他の実施形態における操作入力装置のセンサ手段から検出対象物までの距離に応じたレイヤと、割り付けられる機能との対応関係を説明するための図である。 この発明による情報処理システムの実施形態における処理動作の例を説明するためのフローチャートの一部を示す図である。 この発明による情報処理システムの実施形態における処理動作の例を説明するためのフローチャートの一部を示す図である。

符号の説明

１…操作入力装置、２…パソコン、１０…センサ部、１１…キーボード、１１Ｋ…操作キー、１０Ｐ…センサパネル、２０７…レイヤ情報記憶部、２０８…空間位置検出部

Claims (14)

1. １または複数の操作キーが平面的に配設され、操作キーの操作に応じたキー操作出力を出力するキー操作部と、
   前記キー操作部の前記操作キーの配設面から空間的に離間する検出対象物の、前記配設面からの距離に応じた検出出力を出力するセンサ手段と、
   前記センサ手段からの前記検出出力から前記検出対象物の、前記配設面からの距離を検出する検出手段と、
   前記検出手段で検出された前記距離が、所定の距離より小さいときには、前記操作キーの操作に応じたキー操作出力のみを有効として、前記センサ手段の検出出力を無効とし、前記所定の距離以上のときには、前記検出手段で検出された前記距離に応じた制御機能を行う制御手段と、
   を備える情報処理装置。
2. 請求項１に記載の情報処理装置において、
   前記センサ手段は、複数個の電極を備え、前記複数個の電極を含む面と、前記面に対して空間的に離間する検出対象物との距離を、前記複数の電極についての前記距離に応じた静電容量から検出する
   情報処理装置。
3. 請求項１または請求項２に記載の情報処理装置において、
   前記所定の距離は、前記キー操作部の前記操作キーをユーザが入力操作するときに、前記センサ手段が前記検出対象物となる前記ユーザの手の位置の検出出力を無効とする値に設定されてなる
   情報処理装置。
4. 請求項１または請求項２に記載の情報処理装置において、
   異なった機能がそれぞれ割り付けられ、前記所定の距離以上の前記距離の違いにより設定された複数個のレイヤの、境界値の情報を記憶する記憶手段と、
   前記記憶手段の前記複数個のレイヤの境界値と、前記検出手段で検出された前記距離とから、前記検出対象物が、前記複数個のレイヤのいずれ内に位置しているかを判定する判定手段と、
   を備え、
   前記制御手段は、前記判定手段の判定結果に基づいて、前記検出対象物が位置しているレイヤに割り付けられている機能についての処理を行う
   情報処理装置。
5. 請求項１または請求項２に記載の情報処理装置において、
   前記センサ手段は、複数個の電極を備え、前記複数個の電極を含む面と、前記面に対して空間的に離間する検出対象物との距離に応じた前記検出出力を、前記複数の電極についての前記距離に応じた静電容量から生成する
   情報処理装置。
6. 請求項１または請求項２に記載の情報処理装置において、
   前記センサ手段は、前記検出対象物の、前記距離の方向とは交差する方向の位置に応じた検出出力を出力可能であり、
   前記検出手段は、前記センサ手段からの前記検出出力から、前記検出対象物の、前記距離の方向とは交差する方向の位置を検出し、
   前記制御手段は、前記検出手段で検出された前記検出対象物の前記位置に基づいて前記機能についての処理を行う
   情報処理装置。
7. 請求項４に記載の情報処理装置において、
   前記センサ手段は、前記判定されたレイヤ内における前記検出対象物の、前記距離の方向とは交差する方向の位置に応じた検出出力を出力可能であり、
   前記検出手段は、前記センサ手段からの前記検出出力から、前記検出対象物の、前記距離の方向とは交差する方向の位置を検出し、
   前記制御手段は、前記検出手段で検出された前記検出対象物の前記位置に基づいて、前記判定されたレイヤ内における前記検出対象物の、予め定められた特定の移動軌跡を、前記機能の制御における決定入力として検出する
   情報処理装置。
8. 請求項１または請求項２に記載の情報処理装置において、
   前記制御手段は、前記キー操作部の所定のキー操作のキー操作出力を、前記検出手段で検出された前記距離に応じた制御機能における決定入力として検出する
   情報処理装置。
9. 請求項１または請求項２に記載の情報処理装置において、
   前記制御手段は、前記検出手段で検出された前記距離が、前記所定の距離以上のときに、前記検出手段で検出された前記距離に応じた制御機能を行うと共に、前記キー操作部からのキー操作出力を前記制御機能の関連入力として検知する
   情報処理装置。
10. 請求項１または請求項２に記載の情報処理装置において、
    前記キー操作部と、前記操作キーの操作を検出する配線基板との間に、前記センサ手段が設けられて、一つの操作入力手段の構成とされてなる
    情報処理装置。
11. パーソナルコンピュータである請求項１または請求項２に記載の情報処理装置。
12. １または複数の操作キーが平面的に配設され、操作キーの操作に応じたキー操作出力を出力するキー操作部と、センサ手段と、検出手段と、制御手段とを備える情報処理装置における情報処理方法であって、
    前記センサ手段が、前記キー操作部の前記操作キーの配設面から空間的に離間する検出対象物の、前記配設面からの距離に応じた検出出力を出力する工程と、
    前記検出手段が、前記センサ手段からの前記検出出力から前記検出対象物の、前記配設面からの距離を検出する検出工程と、
    前記制御手段が、前記検出工程で検出された前記距離が、所定の距離より小さいときには、前記操作キーの操作に応じたキー操作出力のみを有効として、前記センサ手段の検出出力を無効とし、前記所定の距離以上のときには、前記センサ手段で検出された距離に応じた制御機能を行う制御工程と、
    を有する情報処理方法。
13. 操作入力装置と、前記操作入力装置からの出力信号を受ける情報処理装置とからなる情報処理システムであって、
    前記操作入力装置は、
    １または複数の操作キーが平面的に配設され、操作キーの操作に応じたキー操作出力を出力するキー操作部と、
    前記キー操作部の前記操作キーの配設面から空間的に離間する検出対象物の、前記配設面からの距離に応じた検出出力を出力するセンサ手段と、
    を備え、
    前記情報処理装置は、
    前記センサ手段からの前記検出出力から前記検出対象物の、前記配設面からの距離を検出する検出手段と、
    前記検出手段で検出された前記距離が、所定の距離より小さいときには、前記操作キーの操作に応じたキー操作出力のみを有効として、前記センサ手段の検出出力を無効とし、前記所定の距離以上のときには、前記検出手段で検出された前記距離に応じた制御機能を行う制御手段と、
    を備える情報処理システム。
14. １または複数の操作キーが平面的に配設され、操作キーの操作に応じたキー操作出力を出力するキー操作パネル部と、前記キー操作パネル部の前記操作キーの配設面から空間的に離間する検出対象物の、前記配設面からの距離に応じた検出出力を出力するセンサ手段とを備える操作入力手段からの検出出力を受ける情報処理装置が備えるコンピュータを、
    前記センサ手段からの前記検出出力から前記検出対象物の、前記配設面からの距離を検出する検出手段、
    前記検出手段で検出された前記距離が、所定の距離より小さいときには、前記操作キーの操作に応じたキー操作出力のみを有効として、前記センサ手段の検出出力を無効とし、前記所定の距離以上のときには、前記検出手段で検出された前記距離に応じた制御機能を行う制御手段、
    として機能させるための情報処理用プログラム。

Images