JP4296607B2

JP4296607B2 - Information input / output device and information input / output method

Info

Publication number: JP4296607B2
Application number: JP21166097A
Authority: JP
Inventors: 純一暦本; 伸行松下
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-08-06
Filing date: 1997-08-06
Publication date: 2009-07-15
Anticipated expiration: 2017-08-06
Also published as: JPH1153111A

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば外部より与えられた入力情報に応答して所要の情報を出力する情報入出力装置及び情報入出力方法に関するものである。
【０００２】
【従来の技術】
例えば、コンピュータ装置などの情報入出力装置では、様々なアプリケーションプログラムなどのもとで、ユーザの操作に応答してコンピュータ装置側が所定の反応を表示等によって提示する、いわゆるインタラクティブな入出力形態が広く採用されている。具体的には、例えばマウス、タッチパネル（ここではトラックパッドも含むものとする）やキーボードなどの入力装置に対して行われたユーザの操作に対する応答を、ＣＲＴ（Cathode Ray Tube）や液晶ディスプレイなどの表示デバイスに対して画像情報として表示させるようにしている。
【０００３】
また、情報入出力装置として、コンピュータ化されたホワイトボードとして機能するプロジェクションディスプレイも知られている。このようなプロジェクションディスプレイでは、例えばユーザが専用の赤外線発光ペンを利用して、上記ホワイトボード上に対して操作を行うようにされる。
【０００４】
また、「ビデオプレイス」といわれるインタラクティブな効果をねらった情報入出力装置が知られている。このビデオプレイスは、例えばビデオカメラを利用した芸術性を有する装置とされる。例えばビデオプレイスの鑑賞者は、ビデオカメラに自身の手あるいはその他の人体の一部をシルエットとして撮影させる。鑑賞者は、この撮影画像と例えば他の画像とが合成された何らかの画像をモニタ装置でみながら自在に手や人体の一部を動かすことにより、モニタ装置に表示される画像の反応や変化を楽しむことができるようになっている。
【０００５】
【発明が解決しようとする課題】
ところで、更に拡大されたインタラクティブな入出力環境を実現することを考えた場合、上記したようなこれまでの情報入出力形態では次のような点で限界が見えてくる。
例えば、コンピュータ装置においてタッチパネルやトラックパッドを情報入力装置として採用した場合について考えてみると、情報入力のためのポインティング操作は概して指に限定される。また、タッチパネル上の空間での操作は行えず、操作面に対して指などの物理的な操作体をパネル面上に接触させる必要がある。更に、タッチパネルは比較的高価なので大型の操作パネルとしては好適でない。
また、入力操作に応答して情報を出力する情報出力装置としての表示デバイスについて考えてみると、例えばコンピュータ装置では、前述のように一般にはＣＲＴや液晶ディスプレイなどが採用されることが多いが、このような表示デバイスにより例えば大画面化を図ろうとした場合、コストがかかるると共に設置条件等が厳しくなることから、その実現は困難である。
【０００６】
また、コンピュータ化されたホワイトボードとして機能するプロジェクションディスプレイの場合、操作画面や表示画面の大型化は容易に実現可能なのであるが、例えば上記したように赤外線発光ペンなどの特殊なポインティングデバイスが必要となる。
【０００７】
また、ビデオプレイスの場合には、手や人体のシルエットを利用して何らかのインタラクティブな操作を実現するため、その入出力間のインターフェイスが間接的であり、直接的な操作を望む場合には機能的に不十分となる。
このように、これまでの情報入出力装置ではインタラクティブな入出力環境を強化拡大するには様々な障害となる要因が存在する。
【０００８】
【課題を解決するための手段】
そこで本発明は上記した課題を解決するため、入力情報に応答した所要の情報出力を行う情報入出力装置において、半透明面と、上記半透明面側の方向から入射する所定の波長帯域の光又は電磁波のみを像として捉える撮像手段と、上記撮像手段が受像すべき所定の波長帯域の光又は電磁波を、当該光又は電磁波が上記半透明面を透過しその後上記半透明面前の空間の操作体で反射して上記半透明面側に戻るように、上記半透明面に輻射する輻射手段と、上記半透明面前の空間の操作体により上記光又は電磁波が反射されたことに伴う上記撮像手段から入力された撮像信号の変化に基づいて、上記操作体により上記光又は電磁波が反射されている上記半透明面上における座標位置を検出する検出手段と、上記撮像手段が撮像すべき光又は電磁波の波長帯域を含まない可視光による画像を上記半透明面に対して投影表示可能に設けられる投影表示手段と、少なくとも入力情報として上記座標位置が入力可能とされ、この座標位置に応答した情報出力として、少なくとも上記半透明面に対して所要の内容の画像を投影表示するための上記投影表示手段に対する表示制御を含む所要の制御処理を実行可能とされる制御処理手段と、上記操作体の形状の情報を記憶する記憶手段と、を備え、上記検出手段は、上記撮像信号の変化に基づいて得られる画像情報と上記記憶手段の情報を比較することによって上記操作体の形状をさらに検出することとした。
【０００９】
上記構成によると、例えば半透明面に近づいた物理的対象によって撮像手段に入射する光又は電磁波の状態が変化することになる。本発明ではこのような光又は電磁波の状態変化を入力情報として捉えることになる。そして、このようにして得られる入力情報に応答して所要の情報を出力するように構成することが可能となるが、この際、上記半透明面に対して画像を投影表示させることによって、この半透明面を操作パネル兼表示パネルとして機能させることが可能となる。そしてこの半透明面は、例えば単に半透明性を有するプレート状の材を用いればよいことから、その材質等の選定によっては容易に大型化を実現することができる。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態の情報入出力装置について説明する。なお、以降の説明は次の順序で行う。
＜１．実施の形態の基本的構成＞
（１−ａ．情報入出力装置の基本的構成）
（１−ｂ．入力情報の検出動作）
＜２．第１の実施の形態＞
＜３．第２の実施の形態＞
＜４．第３の実施の形態＞
＜５．第４の実施の形態＞
＜６．第５の実施の形態＞
＜７．第６の実施の形態＞
【００１１】
＜１．実施の形態の基本的構成＞
（１−ａ．情報入出力装置の基本的構成）
先ず、図１及び図２を参照して、本発明の実施の形態の基本的な構成について説明する。本発明ではこれより説明する情報入出力装置の基本的な構成をもとに後述する第１〜第６の実施の形態としての構成が実現されるものである。
【００１２】
図１は、本発明の実施の形態としての情報入出力装置の基本的構成を概念的に示している。
本実施の形態としての情報入出力装置１は、半透明面２、赤外線発光ダイオード素子（ＬＥＤ：Light Emitted Diode ）パネル３、ＣＣＤ(Charge Coupled Device) カメラ４、プロジェクタ５、及び制御装置６を備えて構成される。赤外線ＬＥＤパネル３、ＣＣＤカメラ４、及びプロジェクタ５は半透明面２の背面側に対して設けられる。
【００１３】
半透明面２は、例えば透明なガラス板に対してトレーシングペーパーのような見え方をする半透明膜を貼り合わせる、あるいは磨りガラスのような半透明の性質を有するものを利用するなどして形成され、後述するようなユーザの操作によって入力情報が与えられる操作パネルと、入力情報に応じた各種応答表示が行われる表示パネルとの両者の機能を併せ持つものとされる。
赤外線ＬＥＤパネル３は、例えばパネル面に対して多数の赤外線ＬＥＤが集合的に配列されることによって構成され、上記赤外線ＬＥＤから発光出力される赤外線光が半透明面の背面全体に対して照射されるように設けられる。上記赤外線ＬＥＤは制御装置６によって定常的に赤外線を発光するように駆動される。
なお、赤外線ＬＥＤパネル３としては、発光出力される赤外線光が半透明面２全体に対して照射されるのに充分な数の赤外線ＬＥＤが設けられればよい。また、後述するように、初期の赤外線画像に対する現在の赤外線画像の差分に基づいて半透明面２側から反射してくる画像情報を得るようにされることから、半透明面２全体に対して照射される赤外線光量が一律であるべき必要もない。従って赤外線ＬＥＤパネル３のサイズは、半透明面２よりもはるかに小さいもので済ませることができる。
【００１４】
ＣＣＤカメラ４は、撮像素子としてＣＣＤを用いたカメラ装置であり、この場合には、半透明面２に映る画像光として赤外線光の成分のみを撮像することにより、半透明面２に対して行われた操作を画像情報として認識するために設けられる。このため、ＣＣＤカメラ４の光学系の部分に対しては、赤外線領域の波長帯域のみを透過する赤外線透過フィルタ４ａが設けられる。また、ＣＣＤカメラ４により撮影される構図として半透明面２全体が含まれるようにその配置位置が設定される。
【００１５】
プロジェクタ５は、制御装置６から供給される画像情報に基づいて、可視光による画像光を半透明面２の背面に対して投影表示する。例えばユーザは、半透明面２に投影表示されたプロジェクタ５の画像を、半透明面２の前面側から観察することができる。ここで、プロジェクタ５の光学系には赤外線領域の波長を遮断する赤外線遮断フィルタ５ａが設けられているが、これにより、半透明面２に投影表示される画像光には赤外線が含まれなくなるため、プロジェクタ５の投影画像は、ＣＣＤカメラ４からは不可視となる。
【００１６】
制御装置６は、例えばマイクロコンピュータを備えて構成され、ＣＣＤカメラ４から供給される撮像信号から画像情報（映像データ）を得て、更にこの画像情報をもとに入力情報を得る。そして、この入力情報に基づいて、例えばプロジェクタ５により半透明面２に表示させる画像に関する表示制御を実行する他、各種所要の制御処理を行う。また、赤外線ＬＥＤパネル３の赤外線ＬＥＤの発光駆動を行う。
なお、上記赤外線ＬＥＤパネル３、ＣＣＤカメラ４及びプロジェクタ５の配置位置は、それぞれが果たすべき役割が充分機能することを考慮して設定されればよい。
【００１７】
図２は、上記制御装置６の内部構成例を示すブロック図である。この図に示す制御装置６において、ＬＥＤ駆動部１０は、赤外線ＬＥＤパネル３に設けられた複数の赤外線ＬＥＤを発光駆動するための回路部位である。
【００１８】
画像入力部１１は、ＣＣＤカメラ４から供給された撮像信号について所要の信号処理を施すことによって映像信号を生成して入力画像処理部１２に供給する。つまり、画像入力部１１では、半透明面２側からＣＣＤカメラ４を介して入射してきた赤外線光を映像情報として出力する。
【００１９】
入力画像処理部１２では、例えば画像入力部１１から供給された映像信号をデジタル信号による映像信号データに変換する。入力画像処理部１２においては、この映像信号データに基づいて得られる「画像情報（例えばフレーム単位の映像データ）」を利用して所要の解析処理等を実行することで、半透明面２に対して行われた操作等に基づく入力情報を得るようにされる。ここで画像情報に基づいて得られる入力情報としては、例えば、半透明面２に対して操作を行っている操作体の画像上の位置（座標）や画像の信号レベルなどが用いられる。この入力情報はデータベース駆動部１４に伝送される。また、上記映像信号データは、画像合成部１７に対しても供給可能とされている。
【００２０】
しきい値制御部１３は、入力画像処理部１２にて実行される入力情報に関する処理に必要なしきい値を設定して入力画像処理部１２に伝送する。上記入力画像処理部１２では、しきい値制御部１３において設定されるしきい値を利用して画像情報について解析を行うなど所要の処理を実行することで逐次必要とされる入力情報を識別する。また、本実施の形態では後述するようにして入力画像データのフレーム差分を算出することにより、現在の半透明面２の画像状態（検出画像情報）を得るようにされるが、フレーム差分演算に利用する基準値（基準画像入力レベル）等の情報も、後述するようにして、しきい値制御部１３に格納されるものとする。
【００２１】
データベース駆動部１４は、入力画像処理部１２により得られた入力情報を取り込み、この入力情報に基づいて適宜所要の処理を実行する。この際、データベース駆動部１４が実行すべき制御処理に必要なプログラムデータはデータベースメモリ１５に格納されており、データベース駆動部１４は、データベースメモリ１５に格納されたプログラムデータに基づいて所要の制御処理を実行することになる。
【００２２】
画像生成部１６は、データベース駆動部１４の制御によって、必要な画像データ（デジタル信号による映像信号データ）を生成して画像合成部１７に出力する。
画像合成部１７においては、必要があれば上記画像生成部１６から供給された映像信号データに対して、入力画像処理部１２から供給された映像信号データを合成してＲＧＢ信号生成部１８に対して出力する。
ＲＧＢ信号生成部１８では、上記画像合成部１７から供給された映像信号データについて、例えばアナログによるＲＧＢ信号に変換してプロジェクタ５に対して出力する。これにより、プロジェクタ５からは、半透明面２に対して行われる操作に応答した映像による画像光が半透明面２に対して照射出力されることになる。
【００２３】
（１−ｂ．入力情報の検出動作）
次に、上記構成による本実施の形態の情報入出力装置１における入力情報の検出方法について説明する。
前述のように、図１に示す半透明面２全体に対しては、その背面から赤外線ＬＥＤパネル３により赤外線光が照射されるのであるが、この赤外線光は半透明面２が半透明性を有することから、全ての赤外線光が半透明面２を通過するのではなく、幾分かの赤外線光がその半透明性の作用によって反射されることになる。そして、本実施の形態においては半透明面２に対して何も操作が行われていないとされる状態のもとで、半透明面２にて反射される赤外線光をＣＣＤカメラ４により撮像して得られる映像信号データの初期レベルを「基準入力画像レベル」として記憶する。この基準入力画像レベルは、入力された映像信号データに基づいて例えば１フレームにおける画素ごとの信号レベルを検出することにより行うようにすればよい。この検出処理は、入力画像処理部１２により行われるものとされる。このようにして検出された基準入力画像レベルの情報はしきい値検出部１３に伝送され、ここで保持されることになる。
【００２４】
上記基準入力画像レベルの検出処理は、例えば図３のフローチャートに示すものとなる。この図に示すように、先ず入力画像処理部１２では、ステップＳ１０１において、ＣＣＤカメラ４から画像入力部１１を介して供給された映像信号から得られる１フレーム分の画像データに基づいて、上述のようにして画素ごとに信号レベルを検出し、この検出結果を基準入力画像レベルＬｉｎｔとして得る。なお、具体的には画素ごとの輝度信号成分のレベルを検出してこれを基準入力画像レベルＬｉｎｔとすることが考えられる。
入力画像処理部１２は、続くステップＳ１０２において、上記基準入力画像レベルＬｉｎｔをしきい値制御部１３に伝送して記憶させるように処理を実行する。
【００２５】
なお、基準入力画像レベルＬｉｎｔを検出してしきい値制御部１３に記憶させる処理（上記図３に示す処理動作）は、例えば当該情報入出力装置の電源オン時などに実行させたり、あるいは何らかのユーザの指示によって必要なときに基準入力画像レベルＬｉｎｔを更新させるように構成することが考えられる。
【００２６】
上記のようにして基準入力画像レベルＬｉｎｔの情報が保持された状態のもとで、入力情報として扱われる画像情報は次のようにして得るようにされる。
図４は、入力情報のもととなる画像情報（以下、この「画像情報」については特に「検出画像情報」という）を得るための入力画像処理部１２の処理動作を示すフローチャートである。この場合、入力画像処理部１２は、先ずステップＳ２０１において現在の入力画像レベルＬｐｒｓを検出する処理を実行する。ここでいう入力画像レベルＬｐｒｓは、現在においてＣＣＤカメラ４により撮像された、赤外線光に基づく半透明面２の画像についてのフレーム単位のデータであり、このフレーム単位の画像データにおける画素ごとの信号レベルを検出して得られる情報である。
続いて、入力画像処理部１２はステップＳ２０２において、基準入力画像レベルＬｉｎｔと上記現在の入力画像レベルＬｐｒｓの差分を演算する（Ｌ＝Ｌｐｒｓ−Ｌｉｎｔ）ことによって差分入力画像レベルＬを算出する。具体的には、基準入力画像レベルＬｉｎｔと上記入力画像レベルＬｐｒｓとして得られたデータ値を、同一位置の画素ごとに差分を求めることによって差分入力画像レベルＬを得るようにされる。従って、差分入力画像レベルＬとしては、常に基準入力画像レベルＬｉｎｔに対する現在の入力画像レベルＬｐｒｓとの信号レベル差が画素ごとに得られることになる。そして、入力画像処理部１２は、ステップＳ２０３に進み、上記差分入力画像レベルＬに基づいて、現在の検出画像情報（フレーム単位で画素ごとのレベル情報を有する形式の映像データ）を生成するようにされる。
【００２７】
上記のごとき検出画像情報の検出動作を、実際のユーザの半透明面２の前面側での動きと共に説明する。例えばユーザは、半透明面２の前面側において赤外線を反射可能な何らかの物体を利用して半透明面２の前面側において操作を行うようにするのであるが、ここでは、説明の簡単のためにユーザ自身の指や身体を用いることとする。
ここで、例えば図１に示すように半透明面２の前面側においてユーザが半透明面２から遠く離れた距離にいるときには、例えば半透明面２を通過してユーザの身体に反射するとされる赤外線光量は少ないことから、そのほとんどが半透明面２の前面から背面を通過して戻ることはない。このとき、上述した基準入力画像レベルＬｉｎｔと上記現在の入力画像レベルＬｐｒｓとは同等であり、入力画像処理部１２では、差分入力画像レベルＬとしてほぼ０であると検出することになる。つまり、差分入力画像レベルＬに基づいて生成される検出画像情報としては、初期状態と同様の変化の無いとされる状態が得られることになる。
【００２８】
ここで、例えば上記の状態からユーザが徐々に半透明面２に対して近づいていったとすると、半透明面２を通過してユーザの身体に反射する赤外線光のうち、半透明面２を通過して背面側に到達する光量が次第に増加していくことになる。この状態を、入力画像処理部１２からみた場合には、ユーザの身体に対応する画像部分の基準入力画像レベルＬｉｎｔに対する現在の入力画像レベルＬｐｒｓのレベルが徐々に増加していく状態として捉えられる。これに応じて、検出画像情報としては算出される差分入力画像レベルＬに応じて、半透明面２に接近するユーザの姿が徐々に捉えられていくことになる。
そして、半透明面２に対して例えばユーザの体が非常に接近した状態（しきい値の設定にもよるが例えば半透明面２から３０ｃｍ以内）では、その人体に反射した赤外線光がほとんど半透明面２を通過して背面側に到達することになるので、その身体形状がより鮮明な状態の検出画像情報が生成されることになる。
【００２９】
また、ここでユーザがその身体を半透明面２からある程度距離を置いた状態で、例えば自身の指を手前にかざして半透明面２の非常に近い位置にあるようにしたとする。
この場合、半透明面２に近接するユーザの指は他の身体部分よりも多くの赤外線光を反射するため、入力画像処理部１２において得られる画像情報としては、ユーザの指にあたる位置の画像領域のレベルが強く、その背景となる部分においてユーザの身体部分にあたる位置の画像領域のレベルは半透明面２からの距離に応じて弱くなることになる。そして、例えばこの状態のもとで、しきい値制御部１３にて設定された所定のしきい値と検出画像情報とを比較すれば、容易にユーザの指にあたる部分のみの画像を背景から分離させることが可能であり、同様にしきい値の設定によっては、半透明面２から離れた距離にあるユーザの身体部分のみを抽出した画像情報を得ることも可能である。このようなしきい値は、前述のように実際に必要とされる条件に応じた値がしきい値制御部１３において設定されるものである。
【００３０】
このようにして、半透明面２の前面側の状態を検出する構成を採ることにより、この半透明面２を例えばインタラクティブなインターフェイスのための操作パネルとして機能させる場合には次のような利点が得られる。
先ず、本実施の形態では半透明面２側からの赤外線の反射光量によって得られる画像に基づいて入力情報を得ることになるので、入力情報を与えるための物理的対象としては、特に特殊なポインティングデバイスを必要とせず、１つには、赤外線を反射する物体であればその種類は問わないことになる。つまり、操作体としては、上述のように人体全体もしくはその一部や、その他の何らかの物体を問題なく使用することができる。
また、例えば黒色は赤外線光を反射せずに吸収する作用があることなど利用し、後述するようにして、例えば黒色による特定パターンの図柄を半透明面２に対して与えることで、この図柄のパターンを特定の意義を有する入力情報（ＩＤ情報）として扱うようにすることも可能となる。
さらには、ＣＣＤカメラ４により赤外線光の光量変化が撮像さえされればこれを入力情報として扱えることになるので、入力情報として例えば赤外線を発光させるポインティングデバイスなどを用いて、積極的に半透明面２に対して赤外線光を与えるような方法を採ることも可能である。
【００３１】
また、例えばタッチパネルなどでは操作パネル面に対して指などの操作体を接触させる必要があるが、本実施の形態の場合には操作体の位置や動きは赤外線光の反射として検出されればよいことから、半透明面２に操作体を接触させる必要性はなく、その前面の空間において操作を行うような方法を採ることができる。更に、本実施の形態では、半透明面２側からの赤外線の反射光により得られる画像に基づいて入力情報を得るために、画像認識さえ可能であれば複数の操作体（即ち入力情報）を同時に認識することが可能である。
【００３２】
また、上述したように赤外線の反射光量は、操作体の半透明面２に対する距離に応じて変化するために、例えば操作体の半透明面２からの距離を入力情報として利用することも考えられる。
【００３３】
更に、半透明面２は前述のように例えば透明のガラス板などに対してトレーシングペーパーのような半透明の薄膜を組み合わせたり、磨りガラスのようなものを利用するなどの簡略な手段により構成可能とされ、特にパネル構造として表示のための駆動回路などを設ける必要がないので、低コストで容易に大型化を実現することができ、この点で大型化が困難なタッチパネルなどとは大きく異なる。
【００３４】
そして、半透明面２は画像表示パネルとしての機能も有することから、例えば後述するように操作対象となるメニュー画面のようなものを表示させた上で、ユーザがこのメニュー画面に対して指などにより操作を行えるようにするなどの直接的な操作を実現することも容易に可能となる。
このように、本実施の形態としての情報入出力装置では、その入力情報を入力するのに多くの可能性が得られるために、これまでには無かったようなインタラクティブな入出力環境を容易に構築することができる。
【００３５】
これまでの説明による構成を踏まえて、半透明面２に対して行われた操作により得られた入力情報に応答した本実施の形態の情報入出力装置１の動作として、ユーザがメニュー操作を行う場合を例に挙げ、これについて図５及び図６を参照して説明する。
【００３６】
図５には、ユーザが情報入出力装置１を利用してメニュー操作を行う場合が示されており、ここでは半透明面２を前面側からみた状態が示されている。
例えばこの図に示すように、ユーザが半透明面２の前面に近づいたとすると、先ず、情報入出力装置の制御装置６では、このときに得られる検出画像情報に基づいてユーザが近づいた半透明面２上の位置を認識する。そして、半透明面２上においてユーザが近づいたと認識された位置に対応させて、図のようにメニュー画面Ｍを表示するように表示制御を行う。このメニュー画面Ｍは当然のこととしてプロジェクタ５から半透明面２に対して投影された画像である。
【００３７】
そして、ユーザ自身が位置している付近の半透明面２上にメニュー画面Ｍが表示された状態のもとで、例えばユーザは自身の指を用いて、メニュー画面Ｍにおいて操作項目が表示されている任意の領域を指さすように指定したとする。このとき、ユーザの指先は、半透明面２上から３ｃｍ〜３０ｃｍ程度の範囲内の距離にあるようにされる。
【００３８】
これにより、例えばメニュー画面Ｍにおいては、ユーザが指し示した操作項目の領域が選択されたことを示す何らかの指示表示（例えば選択領域に対するカーソルの配置表示や所定の形態による強調表示など）が行われることになる。この強調表示のための表示制御は、検出画像情報に基づいてユーザの指が指し示している領域の座標を検出することにより実現される。
ここでは、上記のようにして指示表示が開始された状態から所定時間（例えば数秒程度）経過したときにエンター操作が行われたとみなすこととする。そして、ユーザがエンター操作を行った、つまり、特定の操作項目が強調表示された状態を所定時間以上維持させたとすると、指定された操作項目に従った所要の制御動作を実行することになる。例えば、指定された操作項目に従って、他の階層のメニュー画面を表示させたり、当該情報入出力装置に対して所望の動作を実行させたりすることになる。あるいは、当該情報入出力装置が何らかの外部機器を制御可能に構成されており、メニュー画面がその外部機器の動作についての操作制御を行うためのものであるとすれば、指定された操作項目に従って外部機器の動作を制御することになる。
なお、ユーザが半透明面２の前面から離れていき、ユーザと半透明面２との間にある程度以上の距離があいた場合には、それまで表示されていたメニュー画面Ｍは自動的に消去されるものとされる。
【００３９】
ここで、図６のフローチャートに、上記図５に示した利用例に対応して実行される制御装置６の処理動作を示す。この図に示す処理動作は、主として制御装置６内の入力画像処理部１２が検出画像情報に基づいて入力情報を認識すると共に、データベース駆動部１４がデータベースメモリ１５に格納されたプログラムに従って、上記入力情報に基づいて適宜処理動作を実行することにより実現されるものである。
【００４０】
この図に示すルーチンにおいては、先ずステップＳ３０１において現在の検出画像情報から入力情報として「接近体」が検出されるか否かについて判別を行う。ここで、「接近体」とは半透明面２に対して所定の距離範囲まで接近した何らかの検出対象（図５ではユーザ自身の身体とされている）をいうものとされる。この「接近体」の検出は、例えば入力画像処理部１２が検出画像情報と接近体の検出用に設定されたしきい値（しきい値制御部１３により設定される）を比較して、例えば検出画像情報のある領域においてこのしきい値以上の値が得られた場合には「接近体有り」と検出し、しきい値以上の値が得られる領域がない場合には、「接近体無し」と検出することになる。上記接近体検出用のしきい値は、例えば通常、人体（ユーザ）が半透明面２にある程度（例えば数十ｃｍ）近づいたときに検出画像情報として得られる人体部分の画像レベルに基づいて設定されればよい。
【００４１】
上記ステップＳ３０１において接近体が検出されなかった場合にはステップＳ３０８に進んで、ここで現在メニュー画面Ｍが表示中であるか否かについて判別が行われ、ここでメニュー画面Ｍが表示されていない場合には元のルーチンに戻る（即ち再度ステップＳ３０１の処理に移行する）が、メニュー画面Ｍが表示中の状態である場合にはステップＳ３０９に進み、メニュー画面Ｍを消去するための制御処理を実行する。このメニュー画面Ｍの消去処理は、例えばデータベース駆動部１４が画像生成部１６に対するメニュー画面Ｍの画像データの生成処理を停止することで実現される。
【００４２】
これに対して、ステップＳ３０１において接近体が検出された場合には、ステップＳ３０２に進んで、半透明面２上における上記接近体の位置を検出することが行われる。この処理は、例えば検出画像情報における接近体の部分が占有する領域の座標を検出することで可能となる。この場合、検出すべき座標としては接近体の領域の所定の一地点であっても、所定規則に従って求められる複数地点であっても構わなく実際の使用環境等に応じて任意に設定されればよい。
【００４３】
続くステップＳ３０３においては、上記ステップＳ３０２にて検出された接近体の位置に応じた半透明面２の領域に対してメニュー画面Ｍを表示させるための制御を実行する。この制御処理は、例えばデータベース駆動部１４がデータベースメモリ１５に格納されているメニュー画面表示用のプログラムに基づいて、画像生成部１６において所要の種類のメニュー画面の画像データが作成されるように制御を行うことになる。
【００４４】
この際、データベース駆動部１４は、ステップＳ３０２にて検出された接近体の位置に対応する表示領域に対して、例えばメニュー画面の画像データをマッピングするようにして、表示用画像データを作成する。この結果、最終的にプロジェクタ５から投影される画像としては、半透明面２におけるユーザが近づいた位置に対してメニュー画面Ｍが表示されたものとなる。
【００４５】
上記ステップＳ３０３の処理が実行された後は、ステップＳ３０４において、現在表示中のメニュー画面Ｍの操作項目とされる表示領域内において、「操作体」が検出されたか否かについて判別が行われる。ここで、「操作体」とは半透明面２の前面において至近距離（しきい値の設定にもよるが３ｃｍ〜３０ｃｍ程度）にある物体（検出対象）のことをいうものとされる。つまり、図５においてはメニュー画面Ｍを指し示す指が対象となる。
そして、この「操作体」の検出処理は、先ず、操作体検出用としてしきい値制御部１３において設定されたしきい値と、検出画像情報の画像レベルとを比較することにより、操作体の有無を検出することが行われる。このとき設定されるしきい値としては、半透明面２の前面において至近距離にある物体を背景から分離して検出する必要上、前述した接近体検出用のしきい値よりも大きい値が設定される。
そして、例えばしきい値と比較した結果、操作体が検出されたとすれば、その操作体が検出された検出画像情報上の座標位置を検出し、この検出位置とメニュー画面Ｍが表示されているとされる画像情報上の位置が一致しているか否かを判別することで、現在表示中のメニュー画面の表示領域内における操作体の有無を検出することになる。
【００４６】
上記ステップＳ３０４においてメニュー画面Ｍの操作項目とされる表示領域内において操作体が検出されない場合とは、検出画像情報上に操作体が検出されなかった（ユーザが至近距離で半透明面２上を指し示していないような状態）か、或いは、検出画像情報上に操作体を検出したとしても、この操作体の検出位置（座標）がメニュー画面Ｍの表示領域内に対応する画像情報上の領域に無かった（ユーザが至近距離で半透明面２上を指し示していた位置がメニュー画面Ｍの操作項目以外の領域であったような状態）ことになるが、このような場合にはステップＳ３０１に戻るようにされる。
【００４７】
なお、ここで操作体が人体の手又は指に特定されるような場合には、ステップＳ３０４における操作体の検出処理として、例えば、データベースメモリ１５に対して操作時に現れる人体の手又は指の形状の情報を記憶させておき、この手又は指の形状の情報と、検出画像情報として得られた画像形状とを比較して、その一致状態をみて操作体の検出の有無を識別するように構成することが可能である。即ち、本発明では、画像情報から入力情報を検出するために、検出画像情報に得られる画像の形状に基づいても、これを何らかの意義を有する入力情報の１つとして認識可能なわけである。
【００４８】
ステップＳ３０４においてメニュー画面Ｍの操作項目とされる表示領域内において操作体が検出されたと判別された場合には、ステップＳ３０５に進んで、操作体が検出された位置に対応するメニュー画面Ｍの操作項目について指示表示が行われるように制御を実行してステップＳ３０６に進む。
【００４９】
ステップＳ３０６の処理はエンター操作の待機処理となる。前述のように、ここでのエンター操作は、指示表示が開始された状態から所定時間経過したときに確定されるものと規定している。そこで、ステップＳ３０６においては、ステップＳ３０４にて検出された操作体の検出状態が所定時間以上維持されるか否かについて検出を行うようにしている。この検出処理は、入力画像処理部１２において現在の検出画像の状態遷移を監視することにより行われる。
そして、例えば現在の検出画像情報上から操作体が検出されなくなったり、あるいは現在の検出画像情報上における操作体の検出位置が、ステップＳ３０４にて検出されたメニュー画面Ｍの操作項目とされる表示領域内から外れたことが検出されたような場合には、ステップＳ３０６からステップＳ３０１以降の処理に戻ることになる。（この処理により、例えばユーザがこれまでとは異なるメニュー画面Ｍ上の操作項目を指し示すように、その指定位置を変更した場合には、新たに指定されたメニュー画面Ｍ上の操作項目に対して指示表示が行われたりすることになる。）
【００５０】
これに対して、ステップＳ３０６において、直前のステップＳ３０４にて検出された操作体の検出状態が所定時間以上維持されたと判別された場合には、エンター操作が行われたものとしてステップＳ３０７に進む。
ステップＳ３０７においては、メニュー画面Ｍ上において操作体が検出された位置の操作項目に応じた所要の制御処理が実行される。このステップにおける処理は、データベース駆動部１４がデータベースメモリ１５に格納されたプログラムに従って実行する。
【００５１】
＜２．第１の実施の形態＞
次に、これまで説明してきた情報入出力装置１の構成をもととする実施の形態として、先ず、第１の実施の形態について図７〜図１１を参照して説明する。
図７には、第１の実施の形態としての情報入出力装置１をユーザが利用している状態が概念的に示されている。図７に示す第１の実施の形態としての情報入出力装置１の構成、及び制御装置６内部の構成は、先に図１及び図２に示した構成と同様でよいものとされる。
【００５２】
図７においては、ユーザが半透明面２の前に位置した状態でＩＤカード３０を手に持っている状態が示されている。このＩＤカード３０の裏面には、例えばユーザを特定するための情報としてのＩＤパターンが描かれている。
図８は、ＩＤカード３０の裏面に描かれたＩＤパターンの一例を示すものである。ＩＤパターン３０ａは、例えば白地のＩＤカード３０に対して、黒色の特定のパターンによる、いわゆる二次元バーコードといわれる図柄により描かれている。
【００５３】
例えば、図７に示されているユーザは、手に持っているＩＤカード３０の裏面に描かれたＩＤパターン３０ａを半透明面２に対して向けて近づけるようにする。
例えば黒色は赤外線光を反射せずに吸収する作用を有することから、上記した状態時において検出画像情報として得られたＩＤカード３０に相当する領域部分には、ちょうど図８に示したようなＩＤパターン３０ａの画像が得られることになる。そして、本実施の形態の情報入出力装置１の制御装置６では、上記のようにして得られるＩＤパターン３０ａの画像を、所定の意義内容を特定する入力情報、つまりＩＤ情報として識別し、この識別したＩＤ情報に従って所要の応答動作を実行するようにされる。
【００５４】
認識したＩＤ情報に基づいて実行すべき処理としては、その使用形態に応じて各種考えられるのであるが、一例としては、図９に示すようにしてＩＤ情報に応じて特定される種類のメニュー画面を表示させることが考えられる。
図９の場合においては、ＩＤカード３０はユーザを識別するためのカードであり、その裏面に描かれているＩＤパターン３０ａとしてはユーザごとに固有のパターンが決められているものとする。そして、ユーザの一人である甲氏が裏面のＩＤパターン３０ａを半透明面２側に見せるようにして自分が所有するＩＤカード３０を差し出したとすると、例えば図のように甲氏に関する情報内容のメニュー画面Ｍがプロジェクタ５により表示される。また、このときのメニュー画面Ｍは、図５により説明した場合と同様に、例えば実際にユーザが立っている位置に対応する半透明面２上の位置に表示されるものとする。このようにしてメニュー画面Ｍの表示位置が設定されれば、ユーザは表示されたメニュー画面Ｍを操作するために、これまでの立ち位置から移動しなくて済むことになる。なお、以降のメニュー画面Ｍに対する操作は、図５にて説明した方法に準ずればよい。
【００５５】
続いて、認識したＩＤ情報に基づいて実行すべき応答動作としての他の例を図１０に示す。
図１０（ａ）においては、書類フォルダ３１を手に持ちながら半透明面２の前に立っているユーザの姿が示されているが、この場合には、図１０（ｂ）に示すようにして書類フォルダ３１の裏面に対してＩＤパターン３１ａが描かれているものとされる。このＩＤパターン３１ａは、先に図８に示したＩＤパターン３０ａと同様に黒色により描かれる二次元バーコードとされて、フォルダごとの識別を可能とするためのものとされる。
この場合には、例えば図１０（ａ）に示すようにして、ユーザは書類フォルダ３１の裏面を半透明面２側に向けて近づけるようにする。これにより、上記図９の場合と同様に、情報入出力装置１の制御装置６においてＩＤパターン３１ａがＩＤ情報として認識されることになる。そして、ここでは認識したＩＤ情報に基づいて、ユーザが手に持っている書類フォルダ３１に関する内容の情報を呼び出すためのメニュー画面Ｍが表示される。また、このときもメニュー画面Ｍは、ユーザの立ち位置に対応するようにして半透明面２に対して表示されることになる。
【００５６】
上記図９又は図１０に示すような動作を実現するための制御装置６の処理動作を図１１に示す。なお、ここでは図９の動作に対応するものとして説明を行う。図１１に示す処理動作が実行可能とされるためには、データベースメモリ１４に対して、予め用意されたＩＤパターン３０ａのすべてのパターンを識別可能とするためのＩＤパターンデータと、これら各ＩＤパターンデータと個々のユーザとの対応を示すテーブルデータが格納されていることと、更に、各ユーザに対応するメニュー画面の内容を有するデータが格納されていることが前提となる。
【００５７】
図１１においては、先ずステップＳ４０１において、検出画像情報からＩＤパターン３０ａが認識されるのを待機している。この処理は、例えば入力画像処理部１２において、検出画像情報をＩＤパターン認識用に設定された所定のしきい値（しきい値制御部により設定される）と比較することによって、検出画像情報の背景から分離されたＩＤパターンの画像データを、データベース駆動部１４がを取り込み、この画像データについてデータベースメモリ１５に格納されているＩＤパターンデータとの比較参照を行うことにより、ＩＤパターンが存在するか否かを判別することにより行われるものとされる。
【００５８】
そして、ステップＳ４０１において、何らかのＩＤパターン３０ａが認識されたのであれば、先ずステップＳ４０２において、例えば入力画像処理部１２により検出されたＩＤパターン３０ａの検出画像領域内における位置を識別し、この識別情報をデータベース駆動部１４が位置情報Ｐｏｓとして保持するようにされる。
続くステップＳ４０３においては、例えばデータベース駆動部１４の処理として、認識されたＩＤパターンに対応するユーザ名を上記テーブルデータを参照することによって特定し、特定されたユーザ名に対応するメニュー画面のデータを読み出すようにされる。
そして、データベース駆動部１４は、ステップＳ４０４において上記ステップＳ４０３の処理により読み出したメニュー画面のデータに基づいて画像生成部１６によりメニュー画面Ｍの画像が生成されるための制御を行うのであるが、このとき、ステップＳ４０３にて検出された位置情報Ｐｏｓを利用して、この位置情報Ｐｏｓに対応する半透明面２上の位置に対してメニュー画面Ｍが表示されるように、画像処理時に関する制御を実行することになる。
なお、図１０に示した動作もユーザ名の代わりにフォルダが特定されるようにすると共に、ＩＤ情報に応じてフォルダに関するメニュー画面が表示されるように、データベースメモリの記憶内容及び処理動作が変更されさえすれば、上記図１１に示す処理動作に準じて実現することが可能である。
【００５９】
＜３．第２の実施の形態＞
本発明としてＩＤ情報を認識するのにあたっては、上記のように検出画像情報として検出する構成には限定されず、例えば、専用のＩＤ認識装置を設けるように構成してもよい。そこで次に、このような専用のＩＤ認識装置が設けられた構成について、本発明の第２の実施の形態として図１２及び図１３を参照して説明する。
図１２は、第２の実施の形態としての情報入出力装置に対するユーザの利用形態を示しているものとされ、ここでは半透明面２に対してＩＤカード３０を持ったユーザが立っている様子が示されている。
【００６０】
この場合、例えば半透明面２は枠ｗｋに対して填められるようにして設置されており、この枠ｗｋに対してＩＤ認識装置２０が掛けられるようにして設置されている。このようにＩＤ認識装置２０を独立的に設ける構成を採る場合、多様な方法によりＩＤ情報の認識することが可能になる。
一例として、ＩＤ認識装置が撮像装置などであれば、左記の実施の形態において用いられたバーコードなどによる何らかの図柄をＩＤカードに描いておくことによりＩＤ情報を認識させることが可能であるほか、撮像装置がカラー対応の構成を採るのであれば、図柄により特定される色の相違をＩＤ情報として認識させることなども可能となる。
【００６１】
また、ＩＤ情報をＩＤカード３０に磁気記録したうえでＩＤ認識装置２０がこの磁気情報に基づいてＩＤ情報を検出可能に構成したり、さらには、電波や所定の波長帯域による光（この場合には、赤外線光とは異なる帯域であることが好ましい）や電磁波によって変調したＩＤコードデータを送信可能なようにＩＤカード３０を構成すると共に、ＩＤ認識装置２０ではこのＩＤコードデータを受信復調することによりＩＤ情報を得るように構成することなどが考えられる。
さらには、ＩＤカード３０を用いることなく、例えば個人を特定するのであれば指紋や声紋などをＩＤ情報として認識可能に構成することも可能とされる。
【００６２】
図１２においても、その利用形態として、ＩＤカード３０はユーザ（甲氏）を特定する識別情報としてのＩＤ情報を有しているものとされ、上記したようないずれかの方法に従ってＩＤ認識装置２０にＩＤ情報を認識させたことにより、半透明面２に対して甲氏専用のメニュー画面Ｍが表示された状態が示されている。
【００６３】
ここで、上記したような第２の実施の形態としての情報入出力装置１Ａの構成を図１３に示す。なお、この図では半透明面２は省略されているが当然のこととして赤外線ＬＥＤパネル３、ＣＣＤカメラ４，及びプロジェクタ５がその背面にあるように設けられているものとされる。また、図２と同一部分には同一符号を付して説明を省略する。
図１３に示す情報入出力装置１Ａでは、図１２にて説明したＩＤ認識装置２０が設けられている。このＩＤ認識装置２０は、所定のＩＤ認識方式に従って得られたＩＤ情報をデータベース駆動部１４に供給するようにされている。このＩＤ認識装置２０の内部構成は、実際に採用されるＩＤ認識方式に応じて適宜変更されることになる。
【００６４】
なお、本実施の形態の情報入出力装置１Ａにより認識したＩＤ情報に基づくメニュー画面Ｍの表示制御については、フローチャートによる図示は省略するが、この場合には、制御装置６のデータベース駆動部１４が、情報入出力装置１Ａにより認識したＩＤ情報から特定したメニュー画面のデータをデータベースメモリ１５から読み出して、このメニュー画面についての表示制御を行うことになる。この際、例えば、検出画像情報内において検出されたユーザの撮像画像の位置情報（座標）に対応する半透明面２上の位置に対してメニュー画面を表示するように構成すれば、先の実施の形態と同様にして、ユーザの立ち位置のちょうど前あたりの半透明面２における表示領域に対してメニュー画面Ｍを表示させることが可能となる。
【００６５】
＜４．第３の実施の形態＞
図１４は、本発明の第３の実施の形態としての情報入出力装置１Ｂの構成を概念的に示すものであり、例えば図１と同一部分については同一符号を付して説明を省略する。
図１４に示す情報入出力装置１Ｂにおいては、受信装置２１が備えられている。この受信装置２１は、例えば赤外線により空間伝送されるデータ信号を受信して制御装置６伝送するように設けられている。本実施の形態の制御装置６では、受信装置２１から供給されるデータ信号を利用して各種所要の制御処理を実行可能なように構成されているものである。また、本実施の形態の情報入出力装置１Ａは、後述するようにして、赤外線ＬＥＤパネル３から出射される赤外線光に対して所要のデータに基づいて強度変調を施すことによって、赤外線によるデータ送信を外部に対して行うことができるように構成されている。
なお上記受信装置２１は、半透明面２の前面から送信される赤外線信号が良好に受信可能な位置に設置されればよく、実際の情報入出力装置１Ｂの設置環境によっても適切な配置位置は異なってくるため、ここでは特に限定されるものではない。
ところで、図１４においては、半透明面２の全面側に比較的近接した状態でパーソナルコンピュータ装置４０を操作しているユーザの姿が示されている。この場合、パーソナルコンピュータ装置４０は、例えば筐体の背面部等に対して、図８にて説明したようなＩＤパターンが付けられていると共に、赤外線により当該情報入出力装置１Ｂと送受信を行うことのできる赤外線通信機能が備えられているものとされる。なお、このパーソナルコンピュータ装置４０と併用した本実施の形態の情報入出力装置１Ｂの利用例については後述する。
【００６６】
図１５は、情報入出力装置１Ｂに備えられる制御装置６内部の構成例を、本実施の形態としての情報入出力装置１Ｂの全体構成と共に示すブロック図であり、図２及び図１３と同一部分については同一符号を付して説明を省略する。
先ず、図１５においては制御装置６におけるデータベース駆動部１４の内部構成として、例えば受信装置２１から時系列的に送信されてくるデータに対応するための構成が示されている。
【００６７】
この場合、データベース駆動部１４は、ＣＰＵ(Central Processing Unit) １４ａ、メモリ１４ｂ、アドレスカウンタ１４ｃ、及びクロック発生器１４ｄ等を備えて成るものとされている。ＣＰＵ１４ａは、入力画像処理部１２から供給される入力情報（半透明面２をＣＣＤカメラ４により撮像して得られる情報）及び受信装置２１から供給されるデータ信号に基づいて所要の制御処理を実行可能に構成されている。メモリ１４ｂは、ＣＰＵ１４ａが制御処理を実行する際に必要とされる上記入力情報やデータ信号等の各種データや各種演算処理に必要とされるデータを一時保持するために設けられる。このメモリ１４ｂに対するデータの書き込み及び読み出し制御は、アドレスカウンタ１４ｃにより発生された書き込みアドレス及び読み出しアドレスに基づいてＣＰＵ１４ａが実行する。また、ＣＰＵ１４ａの処理動作は、クロック１４ｄにより発生される所定周波数のクロックに基づいたタイミングにより実行される。このクロック１４ｄは、例えば水晶発振子を備えて構成される。
【００６８】
また、本実施の形態の情報入出力装置１Ｂでは、前述のようにデータ信号を赤外線光により強度変調して外部に送信可能とされているが、これに対応して、本実施の形態の制御装置６においてはＬＥＤ強度変調部１９が設けられている。
例えば、所要のデータ信号を送信する必要がある場合、ＣＰＵ１４ａは送信すべきデータ信号をＬＥＤ強度変調部１９に対して出力する。ＬＥＤ強度変調部１９では、入力されたデータ信号に対して所定方式に従った変調処理を施すことによって、データ信号に応じてそのレベルが変調された駆動信号を生成して出力する。ＬＥＤ強度変調部１９では、ＬＥＤ強度変調部１９にて生成された駆動信号に基づいて赤外線ＬＥＤパネル３のＬＥＤを発光駆動することになるが、これにより、赤外線ＬＥＤパネル３は、ＬＥＤの発光強度変化によりデータ信号を送信する送信部として機能することになる。
【００６９】
このようにして構成される第３の実施の形態としての情報入出力装置１Ｂの利用例について図１６を参照して説明する。
図１６においては、ユーザがパーソナルコンピュータ装置４０を使用しながら半透明面２の前面に位置している状態が示されている。なお、この図に示されているパーソナルコンピュータ装置４０は、先に図１４にて説明したものと同様とされ、前述のように背面側にはＩＤパターンとしての所定の図柄が付けられていると共に、情報入出力装置１Ｂ間との通信を可能とするための赤外線通信機能を備えているものとされる。なお、ここでパーソナルコンピュータ装置４０に付けられたＩＤパターンが意味する内容としては、半透明面２に対して接近した対象が、当該情報入出力装置１Ｂとの対応機能（ここでは少なくとも相互通信可能であることが条件となる）を有するパーソナルコンピュータ装置であることを示すものであればよいものとされる。
【００７０】
ここで、例えばユーザが、その背面側を半透明面２に対して対向させるようにして現在操作中のパーソナルコンピュータ装置４０を半透明面２に近づけたとする。
上記の状態のもとでは、情報入出力装置１Ｂ側の制御装置６において、検出画像情報に基づいて得られる入力情報として、パーソナルコンピュータ装置４０の背面にあるＩＤパターンの情報が得られることになるのであるが、制御装置６のデータベース駆動部１４（ＣＰＵ１４ａ）では、この入力情報として得たＩＤパターンに応答して、パーソナルコンピュータ装置４０に対してその表示データ（現在パーソナルコンピュータ装置４０のディスプレイパネルに４０ｂに表示中の画像と同一の画像データ）の送信を要求するため信号を送信する。この送信は、前述のようにして、赤外線ＬＥＤパネル３から強度変調によりＬＥＤを発光駆動するようにして行われるものである。
一方、赤外線通信機能を有するパーソナルコンピュータ装置４０では、上記のようにして送信される指示信号を受信する。そして、この受信した指示信号に応答して、現在ディスプレイパネル４０ｂに表示中の画像と同一内容の画像データを表示データとして赤外線信号により送信出力する。なお、このとき送信される画像データの形式については特に限定されるものではなく、実際の赤外線送信に適合する形式が任意に選択されてかまわない。
【００７１】
上記のようにして送信された表示データは、情報入出力装置１Ｂに設けられた受信装置２１にて受信されて制御装置６に対して供給される。制御装置６では、供給された画像データを例えばメモリ１４ｂに対して一時蓄積しながら、適宜、画像生成部１６に対して供給することで、例えば、画像生成部１６において、プロジェクタ５により表示するのに適合する形式の画像データを生成する。ここで、例えば送信されてくる表示データについて送信に適合させるための所定のエンコード処理や圧縮処理等が施されているのであれば、受信した表示データのデコード処理及び伸張処理等を実行可能なように、上記画像生成部１６及びデータベース駆動部１４が構成されることになる。
このようにして、画像生成部１６にて生成された画像が、画像合成部１７、ＲＧＢ信号生成部１８を介してプロジェクタ５に供給されることで、例えば図１６に示すようにして、パーソナルコンピュータ装置４０のディスプレイパネル４０ｂに表示されているものと同一のモニタ画像ＧＭＮが、半透明面２上に対して表示されることになる。
ここで、大型の半透明面２に対しては、ディスプレイパネル４０ｂに表示中の画像を拡大して表示することが可能であり、例えば具体的な利用形態としては、会議などで司会者が手元のパーソナルコンピュータを操作しながら説明を行うことなどが考えられる。
【００７２】
図１７は、上述したパーソナルコンピュータ装置４０のディスプレイパネル４０ｂに表示中の画像を半透明面２に対して拡大表示するための制御装置６（ＣＰＵ１４ａ）の処理動作を示すフローチャートである。
この図に示すように、先ずＣＰＵ１４ａは、ステップＳ５０１において検出画像情報に基づいて得られる入力情報として何らかのＩＤパターンが認識されるのを待機している。
そして、ここでＩＤパターンが認識されたことが判別されると、ＣＰＵ１４ａはステップＳ５０１に進んで、上記ステップＳ５０１において認識したＩＤパターンが当該情報入出力装置１Ｂに対応する機能を有するパーソナルコンピュータ装置であることを示すものであるか否かが判別される。この判別処理にあたっては、例えばデータベースメモリ１５において、当該情報入出力装置が認識して所要の応答処理をすべきとされる所要のＩＤパターンのデータが各種格納されているものとされ、ＣＰＵ１４ａは、入力されたＩＤパターンとデータベースメモリ１５に格納されているＩＤパターンのデータを参照するようにされる。
【００７３】
そして、ステップＳ５０２において、入力されたＩＤパターンは情報入出力装置１Ｂの対応機能を有するパーソナルコンピュータであることを示す内容でないことが判別された場合には、ステップＳ５０６に進み、実際にそのＩＤパターンが示す内容に従った処理動作を実行してもとのルーチンに戻るようにされる。
これに対して、入力されたＩＤパターンが当該情報入出力装置１Ｂの対応機能を有するパーソナルコンピュータであることを示していることが判別された場合には、ステップＳ５０３に進み、パーソナルコンピュータに対して表示データの出力を要求するための指示信号を送信してステップＳ５０４に進む。
【００７４】
ステップＳ５０４においては、上記ステップＳ５０４において送信した指示信号に応答して送信されるべき表示データが受信されたか否かを判別することになる。ここで表示データが受信されたことが判別されれば、ステップＳ５０５に進むのであるが、表示データが受信されたことが判別されない場合には、ステップＳ５０７→Ｓ５０３→Ｓ５０４の処理を継続して繰り返すことにより、ステップＳ５０７において所定時間が経過するまで、表示データ出力要求のための指示信号を送信するようにされる。ここで、ステップＳ５０７において所定時間が経過した場合にはもとのルーチンに戻るようにされる、即ち、特にパーソナルコンピュータ装置のモニタ画像ＧＭＮを表示する処理を実行しないことになる。このような非表示の処理が実行される場合としては、例えばパーソナルコンピュータ装置に電源が投入されていない、あるいは電源が投入されていたとしても、半透明面２に対するモニタ画像表示機能に対応したアプリケーションソフトウェアが起動していなかったり、パーソナルコンピュータ装置自体に何らかのトラブルが発生していることなどが考えられる。また、このようなことを考慮して、例えばステップＳ５０７において肯定結果が得られた場合には、何らかのエラーメッセージを半透明面２に表示させるなどした後にもとのルーチンに戻るようにすることが考えられる。
【００７５】
ステップＳ５０５においては、受信した表示データに基づいて、プロジェクタ５により表示可能な形式の画像データを生成し、この生成された画像（モニタ画像ＧＭＮ）をプロジェクタ５により半透明面２に対して投影表示するための制御処理を実行してもとのルーチンに戻るようにされる。このときにＣＰＵ１４ａが実行すべき処理としては、先に図１６においてその動作説明を行ったため、ここではその詳しい説明は省略する。
【００７６】
＜５．第４の実施の形態＞
図１８は、本発明の第４の実施の形態としての情報入出力装置の構成を示している。この図に示す情報入出力装置１Ｃは、先に図１４に示した第３の実施の形態としての情報入出力装置１Ｂの構成と同様であることから、ここでは同一部分に同一符号を付して説明を省略する。また、本実施の形態としての制御装置６の内部構成も図１５の構成と同様でよいものとされる。
本実施の形態においては、受信装置２１は、赤外線リモートコントローラ４１から送信される赤外線光によるコマンド信号を受信するものとされている。
【００７７】
ところで、これまでの説明からわかるように、本発明としての情報入出力装置では、ＣＣＤカメラ４により撮像される半透明面２からの赤外線光により得られる検出画像情報から操作情報を得るようにされる。つまり、本実施の形態においては半透明面２からＣＣＤカメラ４に入射する赤外線光の光量に変化が与えられさえすれば、これを操作情報として認識することができることになる。
【００７８】
そこで、この第４の実施の形態においては、図１８に示すように赤外線光によりコマンド信号を送信する赤外線リモートコントローラ４１をポインティングデバイス及び指示信号の入力装置として使用するものとされる。
【００７９】
例えば、本実施の形態では、ユーザが赤外線リモートコントローラ４１に対して所定のキー操作を行って所望のコマンド信号を送信出力させた状態で、このコマンド信号を半透明面２に対して照射し、半透明面２上の所望の位置に対してポインティングを行うようにされる。ＣＣＤカメラ４では、これを半透明面２上に現れた単なるスポット光として捉えることになる。そして、このとき検出される検出画像情報としては、赤外線光の照射部分に対応する位置（座標）のレベルが周囲に対して変化することになる。そこで、制御装置６側の入力画像処理部１２では、この検出画像情報のレベル変化を所定の意義を有する入力情報として認識するように処理を行えばよいことになる。そして、例えば制御装置６では、このポインティングされた位置に応答して所要の制御処理を実行することができる。このようにして本実施の形態では、先ず、赤外線リモートコントローラ４１をポインティングデバイスとして利用することが可能である。
【００８０】
なお、赤外線光は不可視であることから、例えば現在赤外線リモートコントローラ４１から半透明面２における赤外線光の照射位置が分かるようにスポットＳＰなどの表示を半透明面２上に行わせるようにすることが考えられる。この処理は、制御装置６の入力画像処理部１２が検出画像情報に基づいて現在赤外線光が照射されている位置（座標）を識別し、この識別された照射位置に対して、プロジェクタ５によるスポットＳＰの表示が行われるように表示制御を実行することで実現が可能である。
【００８１】
また、これと同時に、赤外線リモートコントローラ４１から出射された赤外線光は受信装置２１にてコマンド信号として受信されて制御装置６のデータベース駆動部１４（ＣＰＵ１４ａ）に対して伝送されることになる。データベース駆動部１４では、上記コマンド信号に応じて、上記した検出画像情報により得られる赤外線スポット光の入力情報に対する応答処理とは異なる、所要の制御処理を実行するように構成することができる。
【００８２】
このように、赤外線リモートコントローラ４１を使用した場合には、半透明面２に対するポインティング動作と同時に、コマンド信号による所定の動作制御を同時に実行することが可能となる。
具体的な利用例としては次のような形態が考えられる。例えば、半透明面２上に対して地図を表示させた状態の元で、例えば赤外線リモートコントローラ４１に対して画像の拡大又は縮小を行うためのキー操作により赤外線コマンド信号を送信出力するようにされる。そして、このときにはユーザは、この地図上に対して任意の所望の位置をポインティングするようにする。これにより、例えば半透明面２に表示されている地図の画像が、ポインティングした位置を中心に拡大又は縮小されるようにして変化するようにされる。
【００８３】
＜６．第５の実施の形態＞
図１９は、第５の実施の形態としての情報入出力装置の利用形態例を示す図であり、図１４と同一部分については同一符号を付して説明を省略する。なお、この図において赤外線透過フィルタ４ａと赤外線遮断フィルタ５ａの図示は省略されているが、実際にはＣＣＤカメラ４とプロジェクタ５に対して備えられているものである。また、制御装置６内の構成は、この場合も図１５と同様でよいものとされる。
この図においては半透明面２はテーブルとして設置されている。つまり、４本のテーブル脚Ｆ，Ｆ，Ｆ，Ｆにより支持されることにより、通常の家具としてのテーブルの天面としても機能している。この場合、半透明面２の下面側に対して図のように赤外線ＬＥＤパネル３、ＣＣＤカメラ４、プロジェクタ５（及び制御装置６）が設けられる。なお、この場合には制御装置６の設置位置は特に半透明面２の下面側である必要はなく、例えば透明面２（テーブル）の下面側のスペースに余裕を与えることを考慮して、これ以外の位置に設置することも考えられる。
【００８４】
また、この図においては情報入出力装置１Ｄとは別にテレビジョン受像器ＴＶが設置されている。このテレビジョン受像器ＴＶに対しては、例えば次に説明するスライダ操作子５０やボリューム操作子５１を操作することによって、例えば音量調整をはじめとする所定の動作制御が行えるように構成される。このため、本実施の形態では、制御装置６からテレビジョン受像器ＴＶの動作をコントロールするためのコマンド信号が伝送可能な構成を採ることになる。図１９では、制御装置６から供給されたコマンド信号をテレビジョン受像器ＴＶに供給するための制御ラインが示されているが、無線によりコマンド信号を送信するように構成されてもかまわない。
【００８５】
図１９では、操作子としてスライダ操作子５０及びボリューム操作子５１が置かれるようにして適当に配置されている。これらスライダ操作子３０及びボリューム操作子５１は、それぞれ本体に設けられたスライダあるいはボリューム等の操作子の操作に応じた赤外線コマンド信号が底面側から外部に対して送信されるようになっている。
【００８６】
ここで、例えばスライダ操作子５０を半透明面２上（テーブル面上）に配置した状態でユーザがこれを操作したとすると、その操作に従った赤外線コマンド信号がスライダ操作子５０の底面から半透明面２に対して照射されるようにして出力されることになる。この赤外線コマンド信号は、半透明面２を介して受信装置２１で受信され制御装置６に対して供給される。
ここで、仮にスライダ操作子５０の操作により、テレビジョン受像器ＴＶの音量を調整可能に構成されているとすると、制御装置６では、入力されたコマンド信号に基づいて、テレビジョン受像器ＴＶの音量をコントロールするためのコマンド信号を生成して、テレビジョン受像器ＴＶに対して送信出力するようにされる。これにより、テレビジョン受像器ＴＶでは、ユーザがスライダ操作子５０に対して行った操作に対応して音量が変化するように動作することになる。なお、上記と同様にして、スライダ操作子５０やボリューム操作子５１を操作することによって、例えばテレビジョン受像器ＴＶの音量だけでなく、チャンネル切り替えや、画質に関する調整等を行うように構成することも可能である。このような動作を実現するのにあたっては、例えば制御装置６内のデータベースメモリ１４に対して、当該情報入出力装置によりテレビジョン受像機ＴＶに対する操作を可能とするためのプログラムが格納されることになる。
なお、当然のこととして当該情報入出力装置１Ｄにより動作制御が可能な外部機器はテレビジョン受像機に限定されるものではなく、他の各種電子機器に対しても操作が可能なように構成することが可能である。
【００８７】
また、スライダ操作子５０やボリューム操作子５１の操作により制御可能なのは外部機器に限定されるものではない。図１９での図示は省略しているが、例えば、プロジェクタ５により半透明面２に表示された何らかの画像について、上記のような操作子の操作に従って移動させたり拡大、縮小したりさせるなどして変化を与えることができるように構成することも考えられる。
【００８８】
＜７．第６の実施の形態＞
図２０は、第６の実施の形態としての情報入出力装置の利用形態例を示している。なおこの図に示す実施の形態についても、図１４と同一部分については同一符号を付して説明を省略する。また、この図においても赤外線透過フィルタ４ａと赤外線遮断フィルタ５ａの図示を省略しているが、実際にはＣＣＤカメラ４とプロジェクタ５に対して備えられており、制御装置６内の構成も例えば図１５と同様でよいものとされる。
【００８９】
この場合には、ユーザが携帯用電子ペット育成装置４２を手に持って半透明面２の前面に位置している状態が示されている。携帯用電子ペット育成装置４２は、例えば、ペットとしての何らかの生物を育成する携帯用のゲーム機とされ、この場合には、赤外線によりデータ送信を行う赤外線データ送信機能を有するものとされる。
ここで、例えばユーザが携帯用電子ペット育成装置４２に対して所要の操作を行うことによって、赤外線データ信号を送信出力させたとする。ここでは、赤外線データ信号として送信される情報内容としては、例えば、この送信信号の送信元が携帯用電子ペット育成装置であることを示す情報のほか、現在の電子ペットの成長状態に関する所要の情報（パラメータ）が含まれているものとする。
【００９０】
上記赤外線データ信号は、受信装置２１により受信されて制御装置６のＣＰＵ１４ａに供給される。
本実施の形態においては、データベースメモリ１５に対して例えば電子ペットの成長段階に応じた表示データが格納されているものとされる。制御装置６のＣＰＵ１４ａは赤外線データ信号を受信して得られたデータ内容に基づいて、先ず、送信もとが携帯用電子ペット育成装置であることを認識することになるが、続いて、受信したデータ内容から現在のペットの育成状況に関する所定のパラメータの状態を識別し、これらのパラメータを参照することにより必要となる表示データをデータべースメモリ１５から読み出すようにされる。この表示データは、現在の育成状況に関するパラメータに応じて、実際の電子ペットの成長状態を画像として表現するためのデータとされる。
【００９１】
そして、ＣＰＵ１４ａは、データべースメモリ１５から読み出した表示データに基づいて、プロジェクタ５により半透明面２に対して投影表示が行われるように表示制御を実行する。これにより、ユーザが所持している携帯用電子ペット育成装置４２において現在育成されている電子ペットの画像が、半透明面２に対して表示されることになり、ユーザは自分が育成している電子ペットの成長状態を半透明面２に表示された画像により観察することができる。
【００９２】
例えば、携帯用電子ペット育成装置４２に備えられている表示パネル（例えば液晶表示パネルなどが用いられる）によっても電子ペットの成長状態を観察することはできるが、通常は表示パネルの画面は小さく、また、画素数も少ないため、比較的簡略化された図柄の状態によってでしか電子ペットを表現することができない。これに対して、上記のような構成によって半透明面２に対して電子ペットを表示させる場合、大画面化された半透明面２に対して電子ペットを拡大して表示することが可能となるのに加え、携帯用電子ペット育成装置とは独立して、データべースメモリ１５に対して表示用データを格納することが可能であるため、半透明面２に表示させるべき電子ペットの画像としては、より高い精細度により表現することが可能となる。
【００９３】
ところで、これまで説明してきた各実施の形態の情報入出力装置としては、例えばその構成から赤外線ＬＥＤパネル３を省略することも可能であるが、これについて、本発明の情報入出力装置の基本的構成を示した図１を例に挙げて説明する。
たとえば、本発明に基づく情報入出力装置を屋外などの外光の強い環境で使用する場合、たとえば日中の自然光に含まれる赤外線が強いために、図１に示すような赤外線ＬＥＤパネル３から照射される赤外線光を入力情報検出用の光源とする構成では、赤外線ＬＥＤパネル３から照射される赤外線光の強度が自然光に含まれる赤外線に対して相対的に弱まるので、場合によっては適切な入力情報の検出が行われない（つまり入力情報を認識可能な適正な検出画像情報が得られない）可能性がある。
そこで、このような場合には、赤外線ＬＥＤパネル３を省略し、その代わりに自然光に含まれる赤外線光を入力情報検出用の光源として利用することができる。
この場合、検出画像情報を得るために必要な基準入力画像レベルＬｉｎｔは、例えば接近体及び操作体等の検出対象が無い（半透明面２に対して何の操作も行われていない）とされる状態のもとで、その前面側から半透明面２を透過してＣＣＤカメラ４において撮像される撮像信号から得た画像情報に基づいて検出するようにされる。
【００９４】
そして、例えば半透明面２に対して何らかの操作等が行われるとすると、このときの半透明面２における接近体及び操作体などの部分をＣＣＤカメラ４側からみた場合には、接近体及び操作体などにより自然光の赤外線が遮られることから、これを自然光に含まれる赤外線光の影として見ることができる。このような場合、本実施の形態の制御装置６では、基準入力画像レベルＬｉｎｔに対して、画像レベルがより低くなる（暗くなる）ようにして変化する画像情報を入力情報として扱うことになる。この場合、図２に示す制御装置６の内部構成としては、赤外線ＬＥＤパネル３が省略されたことに応じて、ＬＥＤ駆動部１０が設けられないことになる。
【００９５】
また、これまで説明してきた各実施の形態において、例えば赤外線ＬＥＤパネル３の代わりにマイクロ波発生器を設け、また、ＣＣＤカメラ４の代わりにマイクロ波受信器を設けて構成することも考えられる。
この場合、図２に示す制御装置６を例に採れば、ＬＥＤ駆動部１０の代わりに、マイクロ波発生器を駆動するためのマイクロ波駆動回路が備えられる。また、マイクロ波受信器から供給される受信マイクロ波を入力して例えば所定形式のデータに変換して出力する画像信号入力回路と、この画像信号入力回路から供給されるマイクロ波の受信データを入力して所要の処理を行うことにより、例えば検出画像情報を得ると共にこの検出画像情報に基づいて操作情報を得る入力データ処理回路が設けられる必要がある。画像信号入力回路及び入力データ処理回路は、それぞれ図２に示す画像入力部１１及び入力画像処理部１２に代わる機能回路部である。また、操作情報検出用の媒体としてマイクロ波を利用するため、ＣＣＤカメラ４に備えられた赤外線透過フィルタ４ａや、プロジェクタ５に備えられた赤外線遮断フィルタ５ａは不要となる。
【００９６】
このように、それが照射された物体に反射する性質を有するマイクロ波のような媒体を操作情報の検出に利用するように構成しても、これまで説明してきた実施の形態（赤外線を入力情報の検出に利用した例）と同様にして本発明としての情報入力装置を構成することが可能である。
なお、このような構成において、例えば図８の説明に準じてＩＤパターンを認識させようとした場合には、例えばマイクロ波を反射する材質面と、これを吸収する材質面とを組み合わせるようにして図８に示したのと同等のＩＤパターンを形成するようにすればよい。
【００９７】
また、本発明に基づいて構成される情報入出力装置において各種入出力動作を実現するための入力情報の入力形態及び入力情報に応じた制御処理動作は、これまでの説明の内容に限定されるものではなく、本発明としての情報入出力装置の利点を活かした情報入力方法や制御処理方法等は他にも各種考えられるものである。また、図１においては音声出力系の図示は省略したが、本発明の実施の形態としての情報入出力装置において、各種インタラクティブな応答を音声により行うことは当然考えられる。
【００９８】
【発明の効果】
以上説明したように本発明は、所定波長帯域の光又は電磁波を反射するなどしてこれに状態変化（この状態変化が検出画像情報として反映される）を与えられさえすればこれを入力情報として認識することが可能となる。このため、入力操作のためには特殊なポインティングデバイスを必要とせず、本発明の基本的構成において説明したように、例えばユーザ自身の手や指を用いることによって入力操作を行うことが可能とされる。また、半透明面に近い位置（例えば半透明面の前面の中空位置）で入力情報としての検出対象物が認識可能なので、入力操作方法としても、操作パネルである半透明面に対して入力情報としての検出対象物を接触させることなく、その前面の空間に位置させることで入力情報としてとらえることが可能となる。
さらには、所定波長帯域の光又は電磁波を反射する面と吸収する面とを組み合わせることによって例えば二次元バーコード的なＩＤパターンを認識させ、認識したＩＤに応答した情報出力を行わせることが可能となる。
【００９９】
また、検出画像情報に基づいて得られる画像入力情報としては、半透明面に入力操作が与えられたときの位置情報を識別することが可能とされているので、例えば上記ＩＤ情報などの画像パターンによる識別情報に基づく出力情報に対して、位置情報に基づく出力情報を併合させるようにして出力させることが可能となる。つまり、例えば第１の実施の形態で説明したように、ユーザがＩＤパターンを認識させた半透明面上の位置に対応してメニュー画面を表示させることなどが可能となる。
【０１００】
また、本発明の半透明面は操作パネル及び表示パネルとして機能するのであるが、これにより、例えば半透明面に対して与えた入力情報に応答して半透明目に対して表示を行うようにすることができるため、直接的な入力操作が実現されることになる。また、従来のタッチパネルや各種表示デバイスとは異なり、半透明面のサイズの大型化も安価で容易に実現されることになる。
【０１０１】
更に、検出画像情報に基づいて得られる画像入力情報のほか、例えば送信データを受信する受信手段を備えれば、単なる画像入力情報に基づく応答処理に加えて、時系列的に得られる送信データに基づいたより複雑な応答処理も同時に実行することが可能になる。そこで、一例として、先に説明した第３及び第６の実施の形態のようにして、受信データに応答して画像表示を行うように構成すれば、携帯用のパーソナルコンピュータやゲーム機などの表示機能を拡大することが可能となる。
【０１０２】
このように本発明は、情報入力に際して上記のごとき自由度を与えると共に、表示パネルとして兼用可能な入力パネルとして大型化されたものを非常に簡略な構成でもって容易に提供できるようにすることで、容易にインタラクティブな入出力環境が強化拡大されるという効果を有している。
【図面の簡単な説明】
【図１】本発明の実施の形態としての情報入出力装置の基本的構成例を示す概念図である。
【図２】図１に示す情報入出力装置に備えられる制御装置の内部構成を示す図である。
【図３】基準入力画像レベルを検出及び保持するための処理動作を示すフローチャートである。
【図４】検出画像情報を生成するための処理動作を示すフローチャートである。
【図５】図１に示す情報入出力装置の利用例としてメニュー画面に対する操作例を示す説明図である。
【図６】図５に示すメニュー画面に対する操作を実現するための処理動作を示すフローチャートである。
【図７】第１の実施の形態としての情報入出力装置の構成を示す概念図である。
【図８】ＩＤパターンの一例を示す説明図である。
【図９】第１の実施の形態の情報入出力装置の利用例を示す説明図である。
【図１０】第１の実施の形態の情報入出力装置の他の利用例を示す説明図である。
【図１１】第１の実施の形態の情報入出力装置としての処理動作を示すフローチャートである。
【図１２】本発明の第２の実施の形態としての情報入出力装置の構成例を示す概念図である。
【図１３】第２の実施の形態の情報入出力装置に備えられる制御装置の内部構成を示す図である。
【図１４】第３の実施の形態の情報入出力装置の構成例を示す概念図である。
【図１５】第３の実施の形態の情報入出力装置に備えられる制御装置の内部構成を示す図である。
【図１６】第３の実施の形態の情報入出力装置の利用例を示す説明図である。
【図１７】第３の実施の形態の情報入出力装置としての処理動作を示すフローチャートである。
【図１８】第４の実施の形態としての情報入出力装置の利用例を示す概念図である。
【図１９】第５の実施の形態としての情報入出力装置の利用例を示す概念図である。
【図２０】第６の実施の形態としての情報入出力装置の利用例を示す概念図である。
【符号の説明】
１，１Ａ，１Ｂ，１Ｃ，１Ｄ情報入出力装置、２半透明面、３赤外線ＬＥＤパネル、４ＣＣＤカメラ、５プロジェクタ、６制御装置、１０ＬＥＤ駆動部、１１画像入力部、１２入力画像処理部、１３しきい値制御部、１４データベース駆動部、１５データベースメモリ、１６画像生成部、１７画像合成部、１８ＲＧＢ信号生成部、２０ＩＤ認識装置、２１受信装置、３０ＩＤカード、３０ａ，３１ａＩＤパターン、３１書類フォルダ、４０パーソナルコンピュータ装置、４０ａディスプレイパネル、４１赤外線リモートコントローラ、４２携帯用電子ペット育成装置、５０スライダ操作子、５１ボリューム操作子、ＴＶテレビジョン受像機、[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an information input / output device for outputting required information in response to input information given from outside, for example. And information input / output method It is about.
[0002]
[Prior art]
For example, in an information input / output device such as a computer device, there is a wide variety of so-called interactive input / output modes in which a computer device side presents a predetermined response in response to a user operation under various application programs. It has been adopted. Specifically, for example, a response to a user operation performed on an input device such as a mouse, a touch panel (including a trackpad) or a keyboard is displayed as a display device such as a CRT (Cathode Ray Tube) or a liquid crystal display. Are displayed as image information.
[0003]
A projection display that functions as a computerized whiteboard is also known as an information input / output device. In such a projection display, for example, a user operates the whiteboard using a dedicated infrared light emitting pen.
[0004]
In addition, an information input / output device aiming at an interactive effect called “video place” is known. The video place is an artistic device using a video camera, for example. For example, a viewer of a video place causes a video camera to photograph a part of his / her hand or other human body as a silhouette. The viewer can freely move the hand or a part of the human body while looking at the monitor device for any image obtained by combining this captured image with another image, for example, to change the response or change of the image displayed on the monitor device. You can enjoy it.
[0005]
[Problems to be solved by the invention]
By the way, when it is considered to realize a further expanded interactive input / output environment, the above-described conventional information input / output mode has the following limitations.
For example, when a case where a touch panel or a track pad is adopted as an information input device in a computer device is considered, the pointing operation for information input is generally limited to a finger. Further, it is not possible to perform an operation in the space on the touch panel, and it is necessary to bring a physical operation body such as a finger into contact with the operation surface on the panel surface. Further, since the touch panel is relatively expensive, it is not suitable as a large operation panel.
Considering a display device as an information output device that outputs information in response to an input operation, for example, in a computer device, a CRT or a liquid crystal display is generally used as described above. For example, when an attempt is made to increase the screen size by using such a display device, it is difficult to realize the cost because the cost increases and the installation conditions become severe.
[0006]
In the case of a projection display that functions as a computerized whiteboard, it is easy to increase the size of the operation screen and display screen. However, as described above, a special pointing device such as an infrared light emitting pen is required. Become.
[0007]
In addition, in the case of a video place, since some kind of interactive operation is realized using the silhouette of the hand or human body, the interface between the input and output is indirect, and it is functional when direct operation is desired. Is insufficient.
As described above, the conventional information input / output devices have various obstacles to strengthen and expand the interactive input / output environment.
[0008]
[Means for Solving the Problems]
Accordingly, in order to solve the above-described problems, the present invention provides an information input / output device for outputting required information in response to input information, and a light having a predetermined wavelength band incident from a translucent surface and the direction of the translucent surface. Alternatively, an imaging unit that captures only an electromagnetic wave as an image, and a light or electromagnetic wave in a predetermined wavelength band that should be received by the imaging unit, and the light or electromagnetic wave passes through the semitransparent surface and then operates in a space before the semitransparent surface. From the imaging means associated with the reflection of the light or the electromagnetic wave by the operating body in the space in front of the semi-transparent surface Detection means for detecting a coordinate position on the translucent surface on which the light or electromagnetic wave is reflected by the operating body based on a change in the input imaging signal, and light or electromagnetic to be imaged by the imaging means Projection display means provided so as to be capable of projecting and displaying an image of visible light that does not include the wavelength band, and the coordinate position can be input as at least input information, and information output in response to the coordinate position is output Control processing means capable of executing required control processing including display control for the projection display means for projecting and displaying an image having a required content on at least the translucent surface When , Storage means for storing information on the shape of the operating body; With The detection means further detects the shape of the operating body by comparing the image information obtained based on the change in the imaging signal and the information in the storage means. It was decided.
[0009]
According to the above configuration, for example, the state of light or electromagnetic waves incident on the imaging means changes depending on a physical object approaching a semitransparent surface. In the present invention, such a change in the state of light or electromagnetic waves is captured as input information. Then, it is possible to configure to output required information in response to the input information obtained in this way. At this time, by projecting and displaying an image on the translucent surface, The translucent surface can function as an operation panel and display panel. For this semi-transparent surface, for example, a plate-like material having only semi-transparency may be used, so that the enlargement can be easily realized depending on the selection of the material.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
The information input / output device according to the embodiment of the present invention will be described below. The following description will be given in the following order.
<1. Basic Configuration of Embodiment>
(1-a. Basic Configuration of Information Input / Output Device)
(1-b. Operation for detecting input information)
<2. First Embodiment>
<3. Second Embodiment>
<4. Third Embodiment>
<5. Fourth Embodiment>
<6. Fifth embodiment>
<7. Sixth Embodiment>
[0011]
<1. Basic Configuration of Embodiment>
(1-a. Basic Configuration of Information Input / Output Device)
First, the basic configuration of the embodiment of the present invention will be described with reference to FIGS. 1 and 2. In the present invention, configurations as first to sixth embodiments to be described later are realized based on a basic configuration of an information input / output device described below.
[0012]
FIG. 1 conceptually shows the basic configuration of an information input / output device as an embodiment of the present invention.
An information input / output device 1 according to this embodiment includes a translucent surface 2, an infrared light emitting diode (LED) panel 3, a CCD (Charge Coupled Device) camera 4, a projector 5, and a control device 6. Configured. The infrared LED panel 3, the CCD camera 4, and the projector 5 are provided on the back side of the translucent surface 2.
[0013]
The translucent surface 2 is formed by, for example, attaching a translucent film that looks like a tracing paper to a transparent glass plate, or using a translucent material such as polished glass. The operation panel is formed and has both functions of an operation panel to which input information is given by a user's operation as described later and a display panel on which various response displays according to the input information are performed.
The infrared LED panel 3 is configured by, for example, a large number of infrared LEDs collectively arranged on the panel surface, and the infrared light emitted from the infrared LED is irradiated to the entire back surface of the translucent surface. Provided. The infrared LED is driven by the control device 6 so as to constantly emit infrared light.
The infrared LED panel 3 may be provided with a sufficient number of infrared LEDs so that the emitted infrared light is emitted to the entire translucent surface 2. As will be described later, since the image information reflected from the semitransparent surface 2 side is obtained based on the difference between the current infrared image and the initial infrared image, the entire translucent surface 2 is obtained. It is not necessary that the amount of infrared light to be irradiated should be uniform. Therefore, the size of the infrared LED panel 3 can be much smaller than that of the translucent surface 2.
[0014]
The CCD camera 4 is a camera device using a CCD as an image sensor. In this case, only the infrared light component is imaged as image light reflected on the translucent surface 2, so It is provided for recognizing a broken operation as image information. For this reason, an infrared transmission filter 4 a that transmits only the wavelength band of the infrared region is provided for the optical system portion of the CCD camera 4. Further, the arrangement position is set so that the entire translucent surface 2 is included as a composition photographed by the CCD camera 4.
[0015]
The projector 5 projects and displays image light based on visible light on the back surface of the translucent surface 2 based on image information supplied from the control device 6. For example, the user can observe the image of the projector 5 projected and displayed on the translucent surface 2 from the front side of the translucent surface 2. Here, the optical system of the projector 5 is provided with an infrared blocking filter 5a that blocks the wavelength in the infrared region. However, the image light projected and displayed on the translucent surface 2 does not include infrared rays. The projection image of the projector 5 becomes invisible from the CCD camera 4.
[0016]
The control device 6 includes, for example, a microcomputer, obtains image information (video data) from the imaging signal supplied from the CCD camera 4, and further obtains input information based on this image information. Based on this input information, for example, display control relating to an image displayed on the translucent surface 2 by the projector 5 is executed, and various necessary control processes are performed. Further, the infrared LED of the infrared LED panel 3 is driven to emit light.
It should be noted that the arrangement positions of the infrared LED panel 3, the CCD camera 4, and the projector 5 may be set in consideration that the roles to be played by each function sufficiently.
[0017]
FIG. 2 is a block diagram showing an example of the internal configuration of the control device 6. In the control device 6 shown in this figure, the LED drive unit 10 is a circuit part for driving the plurality of infrared LEDs provided in the infrared LED panel 3 to emit light.
[0018]
The image input unit 11 generates a video signal by performing required signal processing on the imaging signal supplied from the CCD camera 4 and supplies the video signal to the input image processing unit 12. That is, the image input unit 11 outputs infrared light incident from the translucent surface 2 side via the CCD camera 4 as video information.
[0019]
For example, the input image processing unit 12 converts the video signal supplied from the image input unit 11 into video signal data based on a digital signal. The input image processing unit 12 executes necessary analysis processing using “image information (for example, video data in units of frames)” obtained based on the video signal data, so that the translucent surface 2 is processed. The input information based on the operation performed is obtained. Here, as the input information obtained based on the image information, for example, the position (coordinates) on the image of the operating body operating the semi-transparent surface 2, the signal level of the image, and the like are used. This input information is transmitted to the database driver 14. The video signal data can also be supplied to the image composition unit 17.
[0020]
The threshold control unit 13 sets a threshold necessary for processing related to input information executed by the input image processing unit 12 and transmits the threshold to the input image processing unit 12. In the input image processing unit 12, input information that is sequentially required is identified by executing necessary processing such as analysis of image information using a threshold set in the threshold control unit 13. . Further, in the present embodiment, the current image state (detected image information) of the translucent surface 2 is obtained by calculating the frame difference of the input image data as will be described later. Information such as a reference value (reference image input level) to be used is also stored in the threshold control unit 13 as described later.
[0021]
The database driving unit 14 takes in the input information obtained by the input image processing unit 12 and appropriately executes necessary processing based on the input information. At this time, program data necessary for control processing to be executed by the database driving unit 14 is stored in the database memory 15, and the database driving unit 14 performs necessary control processing based on the program data stored in the database memory 15. Will be executed.
[0022]
The image generation unit 16 generates necessary image data (video signal data based on a digital signal) under the control of the database driving unit 14 and outputs the generated image data to the image synthesis unit 17.
In the image synthesis unit 17, if necessary, the video signal data supplied from the input image processing unit 12 is synthesized with the video signal data supplied from the image generation unit 16 to the RGB signal generation unit 18. Output.
In the RGB signal generation unit 18, the video signal data supplied from the image synthesis unit 17 is converted into, for example, an analog RGB signal and output to the projector 5. As a result, the projector 5 emits and outputs image light based on an image in response to an operation performed on the translucent surface 2 to the translucent surface 2.
[0023]
(1-b. Operation for detecting input information)
Next, a method for detecting input information in the information input / output device 1 of the present embodiment having the above-described configuration will be described.
As described above, the entire translucent surface 2 shown in FIG. 1 is irradiated with infrared light by the infrared LED panel 3 from the back side. Therefore, not all infrared light passes through the translucent surface 2, but some infrared light is reflected by the translucent action. In the present embodiment, infrared light reflected by the semitransparent surface 2 is imaged by the CCD camera 4 under the condition that no operation is performed on the translucent surface 2. The initial level of the video signal data obtained in this way is stored as the “reference input image level”. The reference input image level may be determined by detecting the signal level for each pixel in one frame based on the input video signal data. This detection process is performed by the input image processing unit 12. The information on the reference input image level detected in this way is transmitted to the threshold detection unit 13 and held there.
[0024]
The reference input image level detection process is, for example, as shown in the flowchart of FIG. As shown in this figure, first, in the input image processing unit 12, in step S101, based on the image data for one frame obtained from the video signal supplied from the CCD camera 4 through the image input unit 11, the above-described image data is input. In this way, the signal level is detected for each pixel, and the detection result is obtained as the reference input image level Lint. Specifically, it is conceivable that the level of the luminance signal component for each pixel is detected and set as the reference input image level Lint.
In the subsequent step S102, the input image processing unit 12 performs processing so as to transmit the reference input image level Lint to the threshold value control unit 13 for storage.
[0025]
Note that the processing (the processing operation shown in FIG. 3) for detecting the reference input image level Lint and storing it in the threshold control unit 13 is executed, for example, when the information input / output device is turned on, or somehow It is conceivable that the reference input image level Lint is updated when necessary according to a user instruction.
[0026]
Image information handled as input information is obtained as follows under the condition that the information of the reference input image level Lint is held as described above.
FIG. 4 is a flowchart showing the processing operation of the input image processing unit 12 for obtaining image information (hereinafter referred to as “detected image information” in particular). In this case, the input image processing unit 12 first executes a process of detecting the current input image level Lprs in step S201. The input image level Lprs here is data in units of frames for the image of the translucent surface 2 based on infrared light currently captured by the CCD camera 4, and the signal level for each pixel in the image data in units of frames. This is information obtained by detecting.
Subsequently, in step S202, the input image processing unit 12 calculates a difference input image level L by calculating a difference between the reference input image level Lint and the current input image level Lprs (L = Lprs−Lint). Specifically, the difference input image level L is obtained by obtaining a difference between the reference input image level Lint and the data value obtained as the input image level Lprs for each pixel at the same position. Therefore, as the difference input image level L, a signal level difference between the current input image level Lprs and the reference input image level Lint is always obtained for each pixel. Then, the input image processing unit 12 proceeds to step S203 to generate current detected image information (video data having a level information for each pixel in units of frames) based on the difference input image level L. Is done.
[0027]
The detection operation of the detected image information as described above will be described together with the movement of the actual user on the front side of the translucent surface 2. For example, the user performs an operation on the front side of the translucent surface 2 using some object that can reflect infrared rays on the front side of the translucent surface 2. The user's own fingers and body are used.
Here, for example, as shown in FIG. 1, when the user is far away from the semi-transparent surface 2 on the front side of the semi-transparent surface 2, for example, the user passes through the semi-transparent surface 2 and is reflected on the user's body. Since the amount of infrared light is small, most of the light does not return from the front surface of the translucent surface 2 through the back surface. At this time, the above-described reference input image level Lint and the current input image level Lprs are equivalent, and the input image processing unit 12 detects that the difference input image level L is substantially zero. That is, as the detected image information generated based on the difference input image level L, a state in which there is no change similar to the initial state is obtained.
[0028]
For example, if the user gradually approaches the translucent surface 2 from the above state, the infrared light that passes through the translucent surface 2 and reflects on the user's body passes through the translucent surface 2. As a result, the amount of light reaching the back side gradually increases. When this state is viewed from the input image processing unit 12, it can be regarded as a state in which the current input image level Lprs gradually increases with respect to the reference input image level Lint of the image portion corresponding to the user's body. Accordingly, as the detected image information, the appearance of the user approaching the translucent surface 2 is gradually captured according to the calculated difference input image level L.
When the user's body is very close to the translucent surface 2 (for example, within 30 cm from the translucent surface 2 depending on the setting of the threshold), the infrared light reflected on the human body is almost semi-transparent. Since it passes through the transparent surface 2 and reaches the back side, detection image information with a clearer body shape is generated.
[0029]
Here, it is assumed that the user places his / her body at a certain distance from the translucent surface 2 and is positioned very close to the translucent surface 2 by holding his / her finger in front.
In this case, since the user's finger close to the translucent surface 2 reflects more infrared light than other body parts, the image information obtained in the input image processing unit 12 includes an image region at a position corresponding to the user's finger. The level of the image area at the position corresponding to the body part of the user in the background portion becomes weak according to the distance from the translucent surface 2. For example, in this state, if a predetermined threshold value set by the threshold value control unit 13 is compared with the detected image information, an image of only a portion corresponding to the user's finger is easily separated from the background. Similarly, depending on the setting of the threshold value, it is also possible to obtain image information obtained by extracting only the body part of the user at a distance away from the translucent surface 2. As described above, the threshold value control unit 13 sets such a threshold value according to the condition actually required.
[0030]
In this way, by adopting a configuration for detecting the state of the front surface side of the translucent surface 2, the following advantages can be obtained when the translucent surface 2 functions as an operation panel for an interactive interface, for example. can get.
First, in the present embodiment, input information is obtained based on an image obtained from the amount of reflected infrared light from the translucent surface 2 side. Therefore, as a physical object for providing input information, special pointing is particularly preferable. For example, any device that does not need a device and reflects infrared rays can be used. In other words, as described above, the entire human body or a part thereof, or some other object can be used without any problem as described above.
In addition, for example, black has the effect of absorbing infrared light without reflecting it, and as described later, for example, by giving a black specific pattern to the translucent surface 2, It is also possible to treat the pattern as input information (ID information) having a specific significance.
Furthermore, if a change in the amount of infrared light is picked up by the CCD camera 4, it can be handled as input information. Therefore, for example, a pointing device that emits infrared light is used as the input information. It is also possible to adopt a method of giving infrared light to 2.
[0031]
Further, for example, in a touch panel or the like, an operation body such as a finger needs to be brought into contact with the operation panel surface. In the case of the present embodiment, the position and movement of the operation body may be detected as reflection of infrared light. Therefore, it is not necessary to bring the operating body into contact with the translucent surface 2, and a method of operating in the space in front of the operating body can be adopted. Furthermore, in the present embodiment, in order to obtain input information based on an image obtained by infrared reflected light from the translucent surface 2 side, a plurality of operating bodies (that is, input information) are provided if image recognition is possible. It is possible to recognize at the same time.
[0032]
In addition, as described above, since the amount of reflected infrared light changes according to the distance of the operating body relative to the translucent surface 2, it is also conceivable to use, for example, the distance from the translucent surface 2 of the operating body as input information. .
[0033]
Further, as described above, the translucent surface 2 is constituted by simple means such as combining a translucent thin film such as tracing paper with a transparent glass plate or the like, or using something like polished glass. In particular, it is not necessary to provide a driving circuit for display as a panel structure, so that it can be easily enlarged at a low cost. In this respect, it is greatly different from a touch panel that is difficult to enlarge. .
[0034]
Since the translucent surface 2 also has a function as an image display panel, for example, a menu screen to be operated is displayed as will be described later, and then the user touches the menu screen with a finger or the like. It is also possible to easily realize a direct operation such as enabling the operation.
As described above, the information input / output device according to the present embodiment provides many possibilities for inputting the input information, and thus an interactive input / output environment that has never existed can be easily achieved. Can be built.
[0035]
Based on the configuration described so far, the user performs a menu operation as the operation of the information input / output device 1 of the present embodiment in response to the input information obtained by the operation performed on the translucent surface 2. A case will be described as an example, and this will be described with reference to FIGS.
[0036]
FIG. 5 shows a case where the user performs a menu operation using the information input / output device 1, and here shows a state in which the translucent surface 2 is viewed from the front side.
For example, as shown in this figure, if the user approaches the front surface of the translucent surface 2, first, the control device 6 of the information input / output device first translucent the user has approached based on the detected image information obtained at this time. Recognize position on surface 2. Then, display control is performed so as to display the menu screen M as shown in the figure in correspondence with the position on the semi-transparent surface 2 that the user has recognized as approaching. This menu screen M is naturally an image projected from the projector 5 onto the translucent surface 2.
[0037]
Then, under the state where the menu screen M is displayed on the semi-transparent surface 2 near the user himself / herself, for example, the user uses his / her finger to display the operation item on the menu screen M. Suppose you specify to point to an arbitrary area. At this time, the user's fingertip is set at a distance within a range of about 3 cm to 30 cm from the top of the translucent surface 2.
[0038]
Thereby, for example, on the menu screen M, some instruction display (for example, cursor placement display on the selected region or highlight display in a predetermined form) is performed to indicate that the operation item region pointed to by the user has been selected. become. This display control for highlighting is realized by detecting the coordinates of the region pointed by the user's finger based on the detected image information.
Here, it is assumed that the enter operation is performed when a predetermined time (for example, about several seconds) has passed since the instruction display is started as described above. If the user performs an enter operation, that is, if a state in which a specific operation item is highlighted is maintained for a predetermined time or longer, a required control operation according to the specified operation item is executed. For example, in accordance with the designated operation item, a menu screen of another layer is displayed, or a desired operation is executed on the information input / output device. Alternatively, if the information input / output device is configured to be able to control some external device, and the menu screen is for performing operation control on the operation of the external device, an external device is designated according to the designated operation item. It will control the operation of the equipment.
When the user moves away from the front surface of the translucent surface 2 and there is a certain distance between the user and the translucent surface 2, the menu screen M that has been displayed so far is automatically deleted. It is supposed to be.
[0039]
Here, the flowchart of FIG. 6 shows the processing operation of the control device 6 executed corresponding to the usage example shown in FIG. In the processing operation shown in this figure, the input image processing unit 12 in the control device 6 recognizes the input information based on the detected image information, and the database driving unit 14 performs the above input according to the program stored in the database memory 15. This is realized by appropriately performing the processing operation based on the information.
[0040]
In the routine shown in this figure, first, in step S301, it is determined whether or not “approaching body” is detected as input information from the current detected image information. Here, the “approximate body” refers to some detection target (referred to as the user's own body in FIG. 5) that has approached the translucent surface 2 to a predetermined distance range. This “approaching object” is detected by comparing, for example, the input image processing unit 12 with the detected image information and a threshold value (set by the threshold control unit 13) set for detecting the approaching object. If a value greater than or equal to this threshold is obtained in an area with detected image information, it is detected that there is an approaching object. Will be detected. The threshold for detecting the approaching body is usually set based on the image level of the human body part obtained as detected image information when the human body (user) approaches the translucent surface 2 to some extent (for example, several tens of centimeters). It only has to be done.
[0041]
If no approaching object is detected in step S301, the process proceeds to step S308, where it is determined whether or not the menu screen M is currently displayed. Here, the menu screen M is not displayed. In this case, the process returns to the original routine (i.e., shifts again to the process of step S301). Execute. The menu screen M erasing process is realized, for example, when the database driving unit 14 stops the image data generating process of the menu screen M for the image generating unit 16.
[0042]
On the other hand, when an approaching body is detected in step S301, the process proceeds to step S302, and the position of the approaching body on the translucent surface 2 is detected. This processing can be performed, for example, by detecting the coordinates of the area occupied by the approaching body portion in the detected image information. In this case, the coordinates to be detected may be a predetermined point in the area of the approaching body or a plurality of points obtained according to a predetermined rule, and may be arbitrarily set according to the actual use environment or the like. Good.
[0043]
In the subsequent step S303, control for displaying the menu screen M on the region of the translucent surface 2 corresponding to the position of the approaching body detected in step S302 is executed. In this control processing, for example, the database drive unit 14 is controlled based on a program for menu screen display stored in the database memory 15 so that image data of a required type of menu screen is created in the image generation unit 16. Will do.
[0044]
At this time, the database drive unit 14 creates display image data, for example, by mapping the image data of the menu screen to the display area corresponding to the position of the approaching body detected in step S302. As a result, as an image finally projected from the projector 5, the menu screen M is displayed at a position on the translucent surface 2 where the user approaches.
[0045]
After the process of step S303 is executed, in step S304, it is determined whether or not an “operation tool” has been detected in the display area that is the operation item of the currently displayed menu screen M. Here, the “operation body” refers to an object (detection target) at a close distance (approximately 3 cm to 30 cm depending on the setting of the threshold) on the front surface of the translucent surface 2. That is, in FIG. 5, the finger pointing to the menu screen M is a target.
Then, in the detection process of the “operation object”, first, the threshold value set in the threshold value control unit 13 for detecting the operation object is compared with the image level of the detected image information, so that the operation object is detected. The presence or absence is detected. The threshold value set at this time is set to a value larger than the threshold value for detecting the approaching object described above in order to detect an object at a close distance on the front surface of the translucent surface 2 separately from the background. Is done.
For example, if an operating tool is detected as a result of comparison with a threshold value, the coordinate position on the detected image information from which the operating tool is detected is detected, and the detected position and the menu screen M are displayed. By determining whether or not the positions on the image information are the same, the presence or absence of the operating body in the display area of the currently displayed menu screen is detected.
[0046]
The case where the operating tool is not detected in the display area which is the operation item of the menu screen M in the above step S304 means that the operating tool is not detected on the detected image information (the user moves on the translucent surface 2 at a close distance). Even if an operating tool is detected on the detected image information, the detected position (coordinates) of the operating tool is displayed in an area on the image information corresponding to the display area of the menu screen M. There is no state (a state in which the user is pointing to the semi-transparent surface 2 at a close distance is an area other than the operation item on the menu screen M). In such a case, the process returns to step S301. To be done.
[0047]
When the operating body is specified as a human hand or finger, for example, as the operating body detection process in step S304, for example, the shape of the human hand or finger appearing during operation on the database memory 15 The information on the shape of the hand or finger and the image shape obtained as the detected image information are compared, and the presence or absence of detection of the operating body is identified by checking the matching state. Is possible. That is, in the present invention, in order to detect input information from image information, it can be recognized as one of input information having some significance even based on the shape of the image obtained in the detected image information.
[0048]
If it is determined in step S304 that the operating tool has been detected within the display area that is the operation item of the menu screen M, the process proceeds to step S305, and the operation of the menu screen M corresponding to the position where the operating tool is detected. Control is performed so that instructions are displayed for the item, and the process proceeds to step S306.
[0049]
The process in step S306 is an enter operation standby process. As described above, the enter operation here is defined to be determined when a predetermined time elapses from the state in which the instruction display is started. Therefore, in step S306, detection is made as to whether or not the detection state of the operating tool detected in step S304 is maintained for a predetermined time or more. This detection process is performed by monitoring the state transition of the current detected image in the input image processing unit 12.
Then, for example, the operating tool is no longer detected from the current detected image information, or the detection position of the operating tool on the current detected image information is displayed as the operation item of the menu screen M detected in step S304. If it is detected that the region has fallen out, the process returns from step S306 to step S301. (By this process, for example, when the designated position is changed so that the user points to a different operation item on the menu screen M, the operation item on the newly designated menu screen M is changed. Instruction display will be performed.)
[0050]
On the other hand, if it is determined in step S306 that the detection state of the operating tool detected in the immediately preceding step S304 has been maintained for a predetermined time or longer, the process proceeds to step S307 assuming that the enter operation has been performed.
In step S307, a required control process corresponding to the operation item at the position where the operating tool is detected on the menu screen M is executed. The processing in this step is executed by the database drive unit 14 according to a program stored in the database memory 15.
[0051]
<2. First Embodiment>
Next, as an embodiment based on the configuration of the information input / output device 1 described so far, the first embodiment will be described with reference to FIGS.
FIG. 7 conceptually shows a state where the user is using the information input / output device 1 as the first embodiment. The configuration of the information input / output device 1 as the first embodiment shown in FIG. 7 and the configuration inside the control device 6 may be the same as those shown in FIGS.
[0052]
FIG. 7 shows a state in which the user holds the ID card 30 in the state of being positioned in front of the translucent surface 2. On the back surface of the ID card 30, for example, an ID pattern is drawn as information for specifying a user.
FIG. 8 shows an example of an ID pattern drawn on the back surface of the ID card 30. The ID pattern 30a is drawn with a so-called two-dimensional barcode, which is a specific black pattern, for example, with respect to a white ID card 30.
[0053]
For example, the user shown in FIG. 7 causes the ID pattern 30 a drawn on the back surface of the ID card 30 held in his hand to approach the translucent surface 2.
For example, since black has a function of absorbing infrared light without reflecting it, an area corresponding to the ID card 30 obtained as detected image information in the above-described state has an ID just as shown in FIG. An image of the pattern 30a is obtained. Then, in the control device 6 of the information input / output device 1 of the present embodiment, the image of the ID pattern 30a obtained as described above is identified as input information for specifying a predetermined significance, that is, ID information. A required response operation is executed according to the identified ID information.
[0054]
Various types of processing to be executed based on the recognized ID information can be considered according to the usage pattern. As an example, a menu screen of a type specified according to the ID information as shown in FIG. Can be displayed.
In the case of FIG. 9, the ID card 30 is a card for identifying a user, and a unique pattern is determined for each user as the ID pattern 30a drawn on the back surface thereof. Then, if Mr. Ko, who is one of the users, presents the ID card 30 owned by himself so that the ID pattern 30a on the back side is shown on the translucent surface 2 side, for example, a menu of information contents regarding Mr. Ko as shown in the figure. A screen M is displayed by the projector 5. Further, the menu screen M at this time is displayed at a position on the translucent surface 2 corresponding to a position where the user is actually standing, for example, as in the case described with reference to FIG. If the display position of the menu screen M is set in this way, the user does not have to move from the previous standing position in order to operate the displayed menu screen M. The subsequent operation on the menu screen M may be performed in accordance with the method described in FIG.
[0055]
Subsequently, another example as a response operation to be executed based on the recognized ID information is shown in FIG.
FIG. 10A shows a user standing in front of the translucent surface 2 while holding the document folder 31 in this case. In this case, as shown in FIG. The ID pattern 31 a is drawn on the back side of the document folder 31. The ID pattern 31a is a two-dimensional barcode drawn in black as in the case of the ID pattern 30a shown in FIG. 8, and enables identification for each folder.
In this case, for example, as shown in FIG. 10A, the user brings the back surface of the document folder 31 closer to the translucent surface 2 side. As a result, the ID pattern 31a is recognized as the ID information in the control device 6 of the information input / output device 1 as in the case of FIG. Then, based on the recognized ID information, a menu screen M for calling information on the contents related to the document folder 31 held by the user is displayed. Also at this time, the menu screen M is displayed on the translucent surface 2 so as to correspond to the user's standing position.
[0056]
FIG. 11 shows a processing operation of the control device 6 for realizing the operation as shown in FIG. 9 or FIG. Here, description will be made assuming that it corresponds to the operation of FIG. In order to be able to execute the processing operation shown in FIG. 11, ID pattern data for making it possible to identify all patterns of the ID pattern 30 a prepared in advance for the database memory 14, and each of these ID patterns It is assumed that table data indicating correspondence between data and individual users is stored, and that data having the contents of the menu screen corresponding to each user is further stored.
[0057]
In FIG. 11, first, in step S401, the process waits for the ID pattern 30a to be recognized from the detected image information. This process is performed by, for example, comparing the detected image information with a predetermined threshold value set for ID pattern recognition (set by the threshold value control unit) in the input image processing unit 12. Whether the ID pattern is present by taking in the image data of the ID pattern separated from the background by the database driving unit 14 and comparing the image data with the ID pattern data stored in the database memory 15. This is done by determining whether or not.
[0058]
If any ID pattern 30a is recognized in step S401, first, in step S402, for example, the position of the ID pattern 30a detected by the input image processing unit 12 in the detected image area is identified, and the identification information Is held as the position information Pos.
In the subsequent step S403, for example, as a process of the database driving unit 14, the user name corresponding to the recognized ID pattern is specified by referring to the table data, and the menu screen data corresponding to the specified user name is determined. It is made to read.
Then, the database drive unit 14 performs control for generating an image of the menu screen M by the image generation unit 16 based on the menu screen data read out by the process of step S403 in step S404. At this time, the position information Po detected in step S403 is used to control the image processing so that the menu screen M is displayed at the position on the translucent surface 2 corresponding to the position information Pos. Will be executed.
The operation shown in FIG. 10 also changes the storage contents and processing operation of the database memory so that the folder is specified instead of the user name and the menu screen related to the folder is displayed according to the ID information. As long as it is done, it can be realized according to the processing operation shown in FIG.
[0059]
<3. Second Embodiment>
In recognizing ID information as the present invention, the present invention is not limited to the configuration for detecting the detected image information as described above, and for example, a dedicated ID recognition device may be provided. Next, a configuration provided with such a dedicated ID recognition device will be described with reference to FIGS. 12 and 13 as a second embodiment of the present invention.
FIG. 12 shows a user's usage mode for the information input / output device according to the second embodiment. Here, the user with the ID card 30 stands on the translucent surface 2. It is shown.
[0060]
In this case, for example, the translucent surface 2 is installed so as to be fitted to the frame wk, and is installed so that the ID recognition device 20 is hung on the frame wk. Thus, when the structure which provides the ID recognition apparatus 20 independently is taken, it becomes possible to recognize ID information by various methods.
As an example, if the ID recognition device is an imaging device or the like, the ID information can be recognized by drawing on the ID card some symbols such as the barcode used in the embodiment described on the left. If the imaging apparatus adopts a color-compatible configuration, it is possible to recognize the color difference specified by the design as ID information.
[0061]
Further, after the ID information is magnetically recorded on the ID card 30, the ID recognition device 20 is configured to be able to detect the ID information based on the magnetic information, and furthermore, the light (in this case, light in a predetermined wavelength band) The ID card 30 is preferably configured to be capable of transmitting ID code data modulated by electromagnetic waves, and the ID recognition device 20 receives and demodulates the ID code data. For example, it may be configured to obtain ID information.
Furthermore, without using the ID card 30, for example, if an individual is specified, a fingerprint or a voiceprint can be recognized as ID information.
[0062]
Also in FIG. 12, the ID card 30 is assumed to have ID information as identification information for specifying the user (Mr. Ko) as a usage form, and the ID recognition device 20 according to any one of the methods described above. The state where the menu screen M dedicated to Mr. Ko is displayed on the translucent surface 2 is shown by recognizing the ID information.
[0063]
Here, FIG. 13 shows the configuration of the information input / output device 1A as the second embodiment as described above. In this figure, the translucent surface 2 is omitted, but it is natural that the infrared LED panel 3, the CCD camera 4, and the projector 5 are provided on the back surface. Also, the same parts as those in FIG.
In the information input / output device 1A shown in FIG. 13, the ID recognition device 20 described in FIG. 12 is provided. The ID recognition device 20 supplies ID information obtained according to a predetermined ID recognition method to the database driving unit 14. The internal configuration of the ID recognition device 20 is appropriately changed according to the ID recognition method that is actually employed.
[0064]
Note that the display control of the menu screen M based on the ID information recognized by the information input / output device 1A of the present embodiment is not shown in the flowchart, but in this case, the database driving unit 14 of the control device 6 The menu screen data specified from the ID information recognized by the information input / output device 1A is read from the database memory 15, and display control for the menu screen is performed. In this case, for example, if the menu screen is displayed at a position on the translucent surface 2 corresponding to the position information (coordinates) of the captured image of the user detected in the detected image information, the previous implementation is performed. In the same manner as in the embodiment, the menu screen M can be displayed on the display area on the translucent surface 2 just before the user's standing position.
[0065]
<4. Third Embodiment>
FIG. 14 conceptually shows the configuration of an information input / output device 1B as a third embodiment of the present invention. For example, the same parts as those in FIG.
The information input / output device 1B shown in FIG. The receiving device 21 is provided to receive a data signal spatially transmitted by, for example, infrared rays and transmit the data signal to the control device 6. The control device 6 of the present embodiment is configured such that various required control processes can be executed using the data signal supplied from the receiving device 21. In addition, the information input / output device 1A according to the present embodiment performs data transmission using infrared rays by applying intensity modulation to infrared light emitted from the infrared LED panel 3 based on required data, as will be described later. Is configured to be performed externally.
The receiving device 21 only needs to be installed at a position where the infrared signal transmitted from the front surface of the translucent surface 2 can be satisfactorily received, and an appropriate arrangement position depends on the actual installation environment of the information input / output device 1B. Since they are different, there is no particular limitation here.
FIG. 14 shows a user who is operating the personal computer device 40 in a state of being relatively close to the entire surface of the translucent surface 2. In this case, for example, the personal computer device 40 is provided with the ID pattern as described in FIG. 8 on the back surface of the housing and the like, and performs transmission / reception with the information input / output device 1B by infrared rays. It is assumed that it has an infrared communication function. An example of using the information input / output device 1B of this embodiment in combination with the personal computer device 40 will be described later.
[0066]
FIG. 15 is a block diagram showing an internal configuration example of the control device 6 provided in the information input / output device 1B together with the overall configuration of the information input / output device 1B as the present embodiment, and is the same as FIG. 2 and FIG. Are denoted by the same reference numerals and description thereof is omitted.
First, in FIG. 15, as an internal configuration of the database driving unit 14 in the control device 6, for example, a configuration for dealing with data transmitted in time series from the receiving device 21 is shown.
[0067]
In this case, the database drive unit 14 includes a CPU (Central Processing Unit) 14a, a memory 14b, an address counter 14c, a clock generator 14d, and the like. The CPU 14a executes a required control process based on the input information supplied from the input image processing unit 12 (information obtained by imaging the translucent surface 2 with the CCD camera 4) and the data signal supplied from the receiving device 21. It is configured to be possible. The memory 14b is provided to temporarily hold various data such as the input information and data signals necessary for the CPU 14a to execute control processing and data necessary for various arithmetic processing. The data writing and reading control for the memory 14b is executed by the CPU 14a based on the writing address and the reading address generated by the address counter 14c. The processing operation of the CPU 14a is executed at a timing based on a clock having a predetermined frequency generated by the clock 14d. The clock 14d is configured with a crystal oscillator, for example.
[0068]
In the information input / output device 1B of the present embodiment, the data signal can be intensity-modulated with infrared light and transmitted to the outside as described above. Corresponding to this, the control of the present embodiment is performed. In the device 6, an LED intensity modulation unit 19 is provided.
For example, when it is necessary to transmit a required data signal, the CPU 14 a outputs a data signal to be transmitted to the LED intensity modulator 19. The LED intensity modulation unit 19 performs a modulation process according to a predetermined method on the input data signal, thereby generating and outputting a drive signal whose level is modulated in accordance with the data signal. In the LED intensity modulation unit 19, the LEDs of the infrared LED panel 3 are driven to emit light based on the drive signal generated by the LED intensity modulation unit 19. As a result, the infrared LED panel 3 emits the light emission intensity of the LED. By functioning as a change, it functions as a transmission unit that transmits a data signal.
[0069]
A usage example of the information input / output device 1B as the third embodiment configured as described above will be described with reference to FIG.
FIG. 16 shows a state in which the user is located on the front surface of the translucent surface 2 while using the personal computer device 40. The personal computer device 40 shown in this figure is the same as that described above with reference to FIG. 14, and as described above, a predetermined pattern as an ID pattern is attached to the back side. It is assumed that an infrared communication function for enabling communication between the information input / output devices 1B is provided. Note that the ID pattern attached to the personal computer device 40 here means that the object approaching the translucent surface 2 has a function corresponding to the information input / output device 1B (here, at least mutual communication is possible). As long as it indicates that the personal computer device has the above).
[0070]
Here, for example, it is assumed that the user brings the personal computer device 40 currently being operated closer to the semi-transparent surface 2 with the back side facing the translucent surface 2.
Under the above-described state, the control device 6 on the information input / output device 1B side can obtain information on the ID pattern on the back of the personal computer device 40 as input information obtained based on the detected image information. However, the database drive unit 14 (CPU 14a) of the control device 6 responds to the ID pattern obtained as this input information to the personal computer device 40 with its display data (currently on the display panel of the personal computer device 40). 40b is transmitted to request transmission of the same image data as the image being displayed). This transmission is performed by driving the LED to emit light by intensity modulation from the infrared LED panel 3 as described above.
On the other hand, the personal computer device 40 having the infrared communication function receives the instruction signal transmitted as described above. In response to the received instruction signal, image data having the same content as the image currently displayed on the display panel 40b is transmitted and output as display data by an infrared signal. The format of the image data transmitted at this time is not particularly limited, and a format suitable for actual infrared transmission may be arbitrarily selected.
[0071]
The display data transmitted as described above is received by the receiving device 21 provided in the information input / output device 1B and supplied to the control device 6. In the control device 6, the supplied image data is temporarily stored in the memory 14 b, for example, and appropriately supplied to the image generation unit 16, so that the image generation unit 16 displays the image data on the projector 5, for example. To generate image data in a format suitable for. Here, for example, if the display data to be transmitted is subjected to predetermined encoding processing or compression processing for adapting to transmission, it is possible to execute decoding processing and expansion processing of the received display data. In addition, the image generating unit 16 and the database driving unit 14 are configured.
In this way, the image generated by the image generating unit 16 is supplied to the projector 5 via the image synthesizing unit 17 and the RGB signal generating unit 18, so that, for example, as shown in FIG. The same monitor image GMN as that displayed on the display panel 40 b of the device 40 is displayed on the translucent surface 2.
Here, it is possible to enlarge and display an image being displayed on the display panel 40b on the large translucent surface 2, and for example, as a specific usage form, the presenter is at hand in a meeting or the like. It is possible to explain while operating the personal computer.
[0072]
FIG. 17 is a flowchart showing the processing operation of the control device 6 (CPU 14a) for enlarging and displaying the image being displayed on the display panel 40b of the personal computer device 40 described above on the translucent surface 2.
As shown in this figure, first, the CPU 14a waits for an ID pattern to be recognized as input information obtained based on the detected image information in step S501.
And here that the ID pattern was recognized Discrimination Then, the CPU 14a proceeds to step S501 to determine whether or not the ID pattern recognized in step S501 indicates that the personal computer device has a function corresponding to the information input / output device 1B. The In this determination processing, for example, the database memory 15 stores various types of required ID pattern data that the information input / output device recognizes and should perform the required response processing. The input ID pattern and the ID pattern data stored in the database memory 15 are referred to.
[0073]
If it is determined in step S502 that the input ID pattern is not a content indicating that the personal computer has a function corresponding to the information input / output device 1B, the process proceeds to step S506, and the ID pattern is actually set. The processing routine is returned to the original routine even if the processing operation according to the contents shown in FIG.
On the other hand, if it is determined that the input ID pattern indicates that the personal computer has the corresponding function of the information input / output device 1B, the process proceeds to step S503, and the personal computer is An instruction signal for requesting output of display data is transmitted, and the process proceeds to step S504.
[0074]
In step S504, it is determined whether display data to be transmitted in response to the instruction signal transmitted in step S504 has been received. If it is determined that display data has been received, the process proceeds to step S505. If it is not determined that display data has been received, the processes of steps S507 → S503 → S504 are repeated continuously. Thus, an instruction signal for requesting display data output is transmitted until a predetermined time has elapsed in step S507. Here, when a predetermined time has elapsed in step S507, the process returns to the original routine, that is, the process for displaying the monitor image GMN of the personal computer device is not particularly executed. Such a non-display process is executed when, for example, an application corresponding to the monitor image display function for the translucent surface 2 even if the personal computer apparatus is not turned on or is turned on. It is conceivable that the software has not been started or that some trouble has occurred in the personal computer device itself. In consideration of this, for example, if a positive result is obtained in step S507, an error message may be displayed on the translucent surface 2 and then the original routine may be returned. Conceivable.
[0075]
In step S505, image data in a format that can be displayed by the projector 5 is generated based on the received display data, and the generated image (monitor image GMN) is projected and displayed on the translucent surface 2 by the projector 5. Even if the control process for executing this is executed, the routine returns to the original routine. Since the operation to be executed by the CPU 14a at this time has been described in FIG. 16, the detailed description thereof is omitted here.
[0076]
<5. Fourth Embodiment>
FIG. 18 shows a configuration of an information input / output device as a fourth embodiment of the present invention. The information input / output device 1C shown in this figure has the same configuration as that of the information input / output device 1B as the third embodiment shown in FIG. The description is omitted. Further, the internal configuration of the control device 6 as the present embodiment may be the same as the configuration of FIG.
In the present embodiment, the receiving device 21 receives a command signal by infrared light transmitted from the infrared remote controller 41.
[0077]
By the way, as can be understood from the above description, in the information input / output device according to the present invention, the operation information is obtained from the detected image information obtained by the infrared light from the translucent surface 2 imaged by the CCD camera 4. The In other words, in the present embodiment, as long as the amount of infrared light incident on the CCD camera 4 from the translucent surface 2 is changed, this can be recognized as operation information.
[0078]
Therefore, in the fourth embodiment, as shown in FIG. 18, an infrared remote controller 41 that transmits a command signal by infrared light is used as a pointing device and an instruction signal input device.
[0079]
For example, in the present embodiment, in a state where the user performs a predetermined key operation on the infrared remote controller 41 to transmit and output a desired command signal, the command signal is irradiated onto the translucent surface 2, Pointing is performed on a desired position on the translucent surface 2. In the CCD camera 4, this is regarded as a mere spot light that appears on the translucent surface 2. As detected image information detected at this time, the level of the position (coordinates) corresponding to the irradiated portion of infrared light changes relative to the surroundings. Therefore, the input image processing unit 12 on the control device 6 side only needs to perform processing so as to recognize the level change of the detected image information as input information having a predetermined significance. For example, the control device 6 can execute a required control process in response to the pointed position. In this manner, in the present embodiment, first, the infrared remote controller 41 can be used as a pointing device.
[0080]
Since infrared light is invisible, for example, the spot SP is displayed on the semitransparent surface 2 so that the infrared remote controller 41 can know the irradiation position of the infrared light on the semitransparent surface 2. Can be considered. In this process, the input image processing unit 12 of the control device 6 identifies the position (coordinates) where the infrared light is currently irradiated based on the detected image information, and the spot by the projector 5 with respect to the identified irradiation position. This can be realized by executing display control so that the SP is displayed.
[0081]
At the same time, the infrared light emitted from the infrared remote controller 41 is received as a command signal by the receiving device 21 and transmitted to the database driving unit 14 (CPU 14a) of the control device 6. The database drive unit 14 can be configured to execute a required control process different from the response process to the input information of the infrared spot light obtained from the detected image information in response to the command signal.
[0082]
As described above, when the infrared remote controller 41 is used, it is possible to simultaneously execute a predetermined operation control by the command signal simultaneously with the pointing operation on the translucent surface 2.
The following forms can be considered as specific usage examples. For example, an infrared command signal is transmitted and output by, for example, a key operation for enlarging or reducing an image to the infrared remote controller 41 in a state where a map is displayed on the translucent surface 2. The At this time, the user points an arbitrary desired position on the map. Thereby, for example, the image of the map displayed on the translucent surface 2 is changed so as to be enlarged or reduced around the pointed position.
[0083]
<6. Fifth embodiment>
FIG. 19 is a diagram showing an example of a usage form of the information input / output device as the fifth embodiment. The same parts as those in FIG. In this figure, the infrared transmission filter 4a and the infrared blocking filter 5a are not shown, but they are actually provided for the CCD camera 4 and the projector 5. In addition, the configuration in the control device 6 may be the same as that in FIG.
In this figure, the translucent surface 2 is installed as a table. That is, by being supported by the four table legs F, F, F, and F, it also functions as a table top as a normal furniture. In this case, an infrared LED panel 3, a CCD camera 4, and a projector 5 (and a control device 6) are provided on the lower surface side of the translucent surface 2 as shown in the figure. In this case, the installation position of the control device 6 does not have to be on the lower surface side of the semi-transparent surface 2 in particular. For example, considering that a space is provided on the lower surface side of the transparent surface 2 (table), It is also possible to install it at a position other than.
[0084]
In this figure, a television receiver TV is installed separately from the information input / output device 1D. The television receiver TV is configured so that predetermined operation control including, for example, volume adjustment can be performed by operating, for example, a slider operator 50 and a volume operator 51 described below. For this reason, in this Embodiment, the structure which can transmit the command signal for controlling operation | movement of the television receiver TV from the control apparatus 6 is taken. Although FIG. 19 shows a control line for supplying a command signal supplied from the control device 6 to the television receiver TV, the command signal may be transmitted wirelessly.
[0085]
In FIG. 19, the slider operator 50 and the volume operator 51 are appropriately arranged as operators. The slider operation element 30 and the volume operation element 51 are configured such that an infrared command signal corresponding to the operation of an operation element such as a slider or a volume provided in the main body is transmitted from the bottom side to the outside.
[0086]
Here, for example, if the user operates the slider operator 50 on the translucent surface 2 (table surface), an infrared command signal according to the operation is transmitted from the bottom surface of the slider operator 50 halfway. The light is output so as to irradiate the transparent surface 2. This infrared command signal is received by the receiving device 21 via the translucent surface 2 and supplied to the control device 6.
Here, if it is assumed that the volume of the television receiver TV can be adjusted by the operation of the slider operator 50, the control device 6 is configured to control the television receiver TV based on the input command signal. A command signal for controlling the volume is generated and transmitted to the television receiver TV. As a result, the television receiver TV operates such that the volume changes in response to an operation performed by the user on the slider operator 50. In the same manner as described above, by operating the slider operator 50 and the volume operator 51, for example, not only the volume of the television receiver TV, but also channel switching, adjustment related to image quality, and the like are performed. Is also possible. In realizing such an operation, for example, a program for allowing the information input / output device to operate the television receiver TV is stored in the database memory 14 in the control device 6. Become.
As a matter of course, the external device whose operation can be controlled by the information input / output device 1D is not limited to the television receiver, and is configured to be able to operate other various electronic devices. It is possible.
[0087]
Further, what can be controlled by operating the slider operator 50 and the volume operator 51 is not limited to an external device. Although illustration in FIG. 19 is omitted, for example, some image displayed on the translucent surface 2 by the projector 5 is moved, enlarged, or reduced according to the operation of the operation element as described above. It is also conceivable to configure so that a change can be given.
[0088]
<7. Sixth Embodiment>
FIG. 20 shows an example of how the information input / output device is used as the sixth embodiment. In the embodiment shown in this figure, the same parts as those in FIG. Also, in this figure, the infrared transmission filter 4a and the infrared blocking filter 5a are not shown, but actually, they are provided for the CCD camera 4 and the projector 5, and the configuration in the control device 6 is also shown in FIG. 15 may be the same.
[0089]
In this case, a state is shown in which the user holds the portable electronic pet breeding device 42 in his hand and is positioned in front of the translucent surface 2. The portable electronic pet breeding apparatus 42 is, for example, a portable game machine that grows some creature as a pet. In this case, the portable electronic pet breeding apparatus 42 has an infrared data transmission function for transmitting data by infrared rays.
Here, for example, it is assumed that the user transmits and outputs an infrared data signal by performing a required operation on the portable electronic pet breeding apparatus 42. Here, as information content transmitted as an infrared data signal, for example, in addition to information indicating that the transmission source of this transmission signal is a portable electronic pet breeding apparatus, necessary information regarding the current growth state of the electronic pet (Parameter) shall be included.
[0090]
The infrared data signal is received by the receiving device 21 and supplied to the CPU 14 a of the control device 6.
In the present embodiment, for example, display data corresponding to the growth stage of the electronic pet is stored in the database memory 15. Based on the data content obtained by receiving the infrared data signal, the CPU 14a of the control device 6 first recognizes that the transmission source is a portable electronic pet breeding device. The state of predetermined parameters relating to the current pet breeding status is identified from the data contents, and necessary display data is read from the database memory 15 by referring to these parameters. This display data is data for expressing the actual growth state of the electronic pet as an image in accordance with the parameters relating to the current breeding situation.
[0091]
Then, the CPU 14 a executes display control based on the display data read from the database memory 15 so that the projector 5 performs projection display on the translucent surface 2. Thereby, the image of the electronic pet currently grown in the portable electronic pet growing apparatus 42 possessed by the user is displayed on the translucent surface 2, and the user is growing up by himself / herself. The growth state of the electronic pet can be observed from the image displayed on the translucent surface 2.
[0092]
For example, although the growth state of the electronic pet can be observed also by a display panel (for example, a liquid crystal display panel or the like) provided in the portable electronic pet growing device 42, the screen of the display panel is usually small, Also, since the number of pixels is small, an electronic pet can be expressed only by a relatively simplified state of the symbol. On the other hand, when an electronic pet is displayed on the translucent surface 2 with the above configuration, the electronic pet can be enlarged and displayed on the translucent surface 2 having a large screen. In addition to the above, since the display data can be stored in the database memory 15 independently of the portable electronic pet breeding apparatus, the image of the electronic pet to be displayed on the translucent surface 2 is It is possible to express with higher definition.
[0093]
By the way, as the information input / output device of each embodiment described so far, for example, the infrared LED panel 3 can be omitted from the configuration, but this is the basic of the information input / output device of the present invention. FIG. 1 showing the configuration will be described as an example.
For example, when the information input / output device according to the present invention is used in an environment with strong external light such as outdoors, the infrared LED panel 3 as shown in FIG. In the configuration in which the infrared light to be used is a light source for detecting input information, the intensity of the infrared light emitted from the infrared LED panel 3 is relatively weak with respect to the infrared light included in the natural light. May not be detected (that is, proper detected image information capable of recognizing input information cannot be obtained).
Therefore, in such a case, the infrared LED panel 3 can be omitted, and infrared light included in natural light can be used instead as a light source for detecting input information.
In this case, the reference input image level Lint necessary for obtaining the detected image information is assumed that there is no detection target such as an approaching body and an operating body (no operation is performed on the translucent surface 2). In this state, detection is performed based on image information obtained from an imaging signal that is transmitted through the translucent surface 2 from the front surface side and captured by the CCD camera 4.
[0094]
For example, if any operation or the like is performed on the translucent surface 2, when the approaching body and the operating body on the translucent surface 2 at this time are viewed from the CCD camera 4 side, the approaching body and the operation body are operated. Since the infrared ray of natural light is blocked by the body or the like, it can be seen as a shadow of the infrared ray contained in the natural light. In such a case, in the control device 6 of the present embodiment, image information that changes so that the image level becomes lower (darker) with respect to the reference input image level Lint is handled as input information. In this case, as the internal configuration of the control device 6 shown in FIG. 2, the LED driving unit 10 is not provided in response to the omission of the infrared LED panel 3.
[0095]
In each of the embodiments described so far, for example, a microwave generator may be provided in place of the infrared LED panel 3 and a microwave receiver may be provided in place of the CCD camera 4.
In this case, if the control device 6 shown in FIG. 2 is taken as an example, a microwave drive circuit for driving the microwave generator is provided instead of the LED drive unit 10. In addition, an image signal input circuit that inputs a reception microwave supplied from a microwave receiver, converts it into, for example, data of a predetermined format and outputs it, and receives microwave reception data supplied from this image signal input circuit Thus, it is necessary to provide an input data processing circuit that obtains detected image information and obtains operation information based on the detected image information, for example, by performing necessary processing. The image signal input circuit and the input data processing circuit are functional circuit units that replace the image input unit 11 and the input image processing unit 12 shown in FIG. Further, since microwaves are used as the medium for detecting operation information, the infrared transmission filter 4a provided in the CCD camera 4 and the infrared cutoff filter 5a provided in the projector 5 are not necessary.
[0096]
In this way, even if a medium such as a microwave having the property of reflecting the object irradiated with it is used for detecting operation information, the embodiment described so far (infrared input information is used) The information input apparatus according to the present invention can be configured in the same manner as in the example used for
In such a configuration, for example, when an ID pattern is to be recognized according to the description of FIG. 8, for example, a material surface that reflects microwaves and a material surface that absorbs the microwaves are combined. An ID pattern equivalent to that shown in FIG. 8 may be formed.
[0097]
In addition, the input information input mode for realizing various input / output operations in the information input / output device configured according to the present invention and the control processing operation according to the input information are limited to the contents described above. There are various other information input methods and control processing methods that take advantage of the information input / output device of the present invention. In FIG. 1, the voice output system is not shown, but it is naturally conceivable that various interactive responses are made by voice in the information input / output device according to the embodiment of the present invention.
[0098]
【The invention's effect】
As described above, according to the present invention, as long as a state change (the state change is reflected as detected image information) is reflected by reflecting light or electromagnetic waves in a predetermined wavelength band, this is used as input information. It becomes possible to recognize. For this reason, a special pointing device is not required for the input operation, and the input operation can be performed by using, for example, the user's own hand or finger as described in the basic configuration of the present invention. The In addition, since the detection target as input information can be recognized at a position close to the translucent surface (for example, a hollow position in front of the translucent surface), the input operation method also includes input information with respect to the translucent surface that is an operation panel. It is possible to grasp the detected object as input information by positioning it in the space in front of it without contacting it.
Furthermore, by combining a surface that reflects or absorbs light or electromagnetic waves in a predetermined wavelength band, for example, a two-dimensional barcode ID pattern can be recognized, and information output in response to the recognized ID can be performed. It becomes.
[0099]
Further, as the image input information obtained based on the detected image information, it is possible to identify the position information when the input operation is given to the translucent surface. It is possible to output the output information based on the identification information by combining the output information based on the position information. That is, for example, as described in the first embodiment, it is possible to display a menu screen corresponding to the position on the translucent surface on which the user has recognized the ID pattern.
[0100]
In addition, the translucent surface of the present invention functions as an operation panel and a display panel, so that, for example, display is performed on the translucent eye in response to input information given to the translucent surface. Therefore, a direct input operation is realized. In addition, unlike conventional touch panels and various display devices, the size of the semitransparent surface can be easily increased at a low cost.
[0101]
Furthermore, in addition to the image input information obtained based on the detected image information, if a receiving means for receiving transmission data, for example, is provided, in addition to response processing based on mere image input information, More complicated response processing based on this can be executed simultaneously. Therefore, as an example, if it is configured to display an image in response to received data as in the third and sixth embodiments described above, a display such as a portable personal computer or a game machine is displayed. The function can be expanded.
[0102]
As described above, the present invention provides the above-described degree of freedom when inputting information, and can easily provide an enlarged input panel that can also be used as a display panel with a very simple configuration. The interactive input / output environment is easily enhanced and expanded.
[Brief description of the drawings]
FIG. 1 is a conceptual diagram showing a basic configuration example of an information input / output device as an embodiment of the present invention;
FIG. 2 is a diagram showing an internal configuration of a control device provided in the information input / output device shown in FIG. 1;
FIG. 3 is a flowchart showing a processing operation for detecting and holding a reference input image level.
FIG. 4 is a flowchart showing a processing operation for generating detected image information.
FIG. 5 is an explanatory diagram showing an operation example on a menu screen as an example of use of the information input / output device shown in FIG. 1;
6 is a flowchart showing a processing operation for realizing an operation on the menu screen shown in FIG. 5. FIG.
FIG. 7 is a conceptual diagram showing a configuration of an information input / output device as a first embodiment;
FIG. 8 is an explanatory diagram showing an example of an ID pattern.
FIG. 9 is an explanatory diagram illustrating a usage example of the information input / output device according to the first embodiment;
FIG. 10 is an explanatory diagram illustrating another usage example of the information input / output device according to the first embodiment;
FIG. 11 is a flowchart illustrating a processing operation as the information input / output device according to the first embodiment;
FIG. 12 is a conceptual diagram illustrating a configuration example of an information input / output device according to a second embodiment of the present invention.
FIG. 13 is a diagram illustrating an internal configuration of a control device provided in the information input / output device according to the second embodiment;
FIG. 14 is a conceptual diagram illustrating a configuration example of an information input / output device according to a third embodiment;
FIG. 15 is a diagram illustrating an internal configuration of a control device provided in the information input / output device according to the third embodiment;
FIG. 16 is an explanatory diagram illustrating a usage example of the information input / output device according to the third embodiment;
FIG. 17 is a flowchart illustrating a processing operation as the information input / output device of the third embodiment;
FIG. 18 is a conceptual diagram showing an example of use of an information input / output device as a fourth embodiment;
FIG. 19 is a conceptual diagram showing an example of use of an information input / output device as a fifth embodiment;
FIG. 20 is a conceptual diagram illustrating a usage example of an information input / output device according to a sixth embodiment;
[Explanation of symbols]
1, 1A, 1B, 1C, 1D Information input / output device, 2 translucent surface, 3 infrared LED panel, 4 CCD camera, 5 projector, 6 control device, 10 LED drive unit, 11 image input unit, 12 input image processing unit , 13 Threshold control unit, 14 Database drive unit, 15 Database memory, 16 Image generation unit, 17 Image composition unit, 18 RGB signal generation unit, 20 ID recognition device, 21 Reception device, 30 ID card, 30a, 31a ID Pattern, 31 document folder, 40 personal computer device, 40a display panel, 41 infrared remote controller, 42 portable electronic pet breeding device, 50 slider operator, 51 volume operator, TV television receiver,

Claims

入力情報に応答した所要の情報出力を行う情報入出力装置において、
半透明面と、
上記半透明面側の方向から入射する所定の波長帯域の光又は電磁波のみを像として捉える撮像手段と、
上記撮像手段が受像すべき所定の波長帯域の光又は電磁波を、当該光又は電磁波が上記半透明面を透過しその後上記半透明面前の空間の操作体で反射して上記半透明面側に戻るように、上記半透明面に輻射する輻射手段と、
上記半透明面前の空間の操作体により上記光又は電磁波が反射されたことに伴う上記撮像手段から入力された撮像信号の変化に基づいて、上記操作体により上記光又は電磁波が反射されている上記半透明面上における座標位置を検出する検出手段と、
上記撮像手段が撮像すべき光又は電磁波の波長帯域を含まない可視光による画像を上記半透明面に対して投影表示可能に設けられる投影表示手段と、
少なくとも入力情報として上記座標位置が入力可能とされ、この座標位置に応答した情報出力として、少なくとも上記半透明面に対して所要の内容の画像を投影表示するための上記投影表示手段に対する表示制御を含む所要の制御処理を実行可能とされる制御処理手段と、
上記操作体の形状の情報を記憶する記憶手段と、
を備え、
上記検出手段は、上記撮像信号の変化に基づいて得られる画像情報と上記記憶手段の情報を比較することによって上記操作体の形状をさらに検出する
情報入出力装置。In an information input / output device that outputs required information in response to input information,
A translucent surface,
Imaging means for capturing only light or electromagnetic waves in a predetermined wavelength band incident from the direction of the translucent surface side as an image,
The light or electromagnetic wave in a predetermined wavelength band to be received by the imaging means is reflected by the operating body in the space before the semi-transparent surface after the light or electromagnetic wave passes through the semi-transparent surface and returns to the semi-transparent surface side. A radiation means for radiating the translucent surface,
The light or electromagnetic wave is reflected by the operating body based on a change in the imaging signal input from the imaging means when the light or electromagnetic wave is reflected by the operating body in the space in front of the translucent surface. Detecting means for detecting a coordinate position on the translucent surface;
Projection display means provided so that an image of visible light not including the wavelength band of light or electromagnetic waves to be imaged by the imaging means can be projected and displayed on the translucent surface;
The coordinate position can be input as at least input information, and display control for the projection display means for projecting and displaying an image of a required content on at least the translucent surface is performed as information output in response to the coordinate position. and control processing means that is capable of executing a predetermined control processing including,
Storage means for storing information on the shape of the operating body;
Equipped with a,
The information input / output device further detects the shape of the operating body by comparing the image information obtained based on the change in the imaging signal and the information in the storage unit .

二次元バーコードに関する情報を記憶する記憶手段をさらに有し、
上記操作体は二次元バーコードを有し、
上記検出手段は、上記記憶手段の情報に基づいて上記撮像手段から入力された撮像信号に含まれる二次元バーコードをさらに検出し、
上記制御処理手段は、入力情報としてさらに上記二次元バーコードが入力可能とされ、この二次元バーコードが有するIDパターンに応じた制御処理をさらに実行することを特徴とする請求項１に記載の情報入出力装置。Further comprising storage means for storing information relating to the two-dimensional barcode;
The operating body has a two-dimensional barcode,
The detection means further detects a two-dimensional barcode included in the imaging signal input from the imaging means based on the information in the storage means,
2. The control processing unit according to claim 1 , wherein the two-dimensional barcode can be further input as input information, and further executes control processing according to an ID pattern included in the two-dimensional barcode . Information input / output device.

上記操作体によって反射された光又は電磁波の強度に関する閾値を制御する閾値制御部をさらに有し、
上記検出手段は、上記操作体によって反射された光又は電磁波の強度が前記閾値制御部により制御された閾値以上である場合に、前記座標位置を検出することを特徴とする請求項１に記載の情報入出力装置。A threshold control unit for controlling a threshold related to the intensity of light or electromagnetic waves reflected by the operating body;
The said detection means detects the said coordinate position, when the intensity | strength of the light or electromagnetic waves reflected by the said operating body is more than the threshold value controlled by the said threshold value control part, The said coordinate position is characterized by the above-mentioned. Information input / output device.

入力情報に応答した所要の情報出力を行う情報入出力装置における情報入出力方法において、
半透明面側の方向から入射する所定の波長帯域の光又は電磁波のみを像として捉える撮像動作と、
上記撮像動作において受像すべき所定の波長帯域の光又は電磁波を、当該光又は電磁波が上記半透明面を透過しその後上記半透明面前の空間の操作体で反射して上記半透明面側に戻るように、上記半透明面に輻射する輻射動作と、
上記半透明面前の空間の操作体により上記光又は電磁波が反射されたことに伴う上記撮像動作から入力された撮像信号の変化に基づいて、上記操作体により上記光又は電磁波が反射されている上記半透明面上における座標位置を検出する検出処理と、
上記撮像動作において撮像すべき光又は電磁波の波長帯域を含まない可視光による画像を上記半透明面に対して投影表示する投影表示処理と、
少なくとも入力情報として上記座標位置が入力可能とされ、この座標位置に応答した情報出力として、少なくとも上記半透明面に対して所要の内容の画像を投影表示するための上記投影表示処理に対する表示制御を含む所要の処理を実行する制御処理と、
上記操作体の形状の情報を記憶する記憶処理と、
を実行し、
上記検出処理は、上記撮像信号の変化に基づいて得られる画像情報と上記記憶処理の情報を比較することによって上記操作体の形状をさらに検出する
情報入出力方法。In an information input / output method in an information input / output device that outputs required information in response to input information,
An imaging operation that captures only light or electromagnetic waves in a predetermined wavelength band incident from the direction of the translucent surface side as an image,
The light or electromagnetic wave in a predetermined wavelength band to be received in the imaging operation is reflected by the operating body in the space in front of the semitransparent surface after the light or electromagnetic wave passes through the semitransparent surface and returns to the semitransparent surface side. The radiation operation to radiate to the translucent surface,
The light or electromagnetic wave is reflected by the operating body based on a change in the imaging signal input from the imaging operation due to the light or electromagnetic wave being reflected by the operating body in the space in front of the translucent surface. A detection process for detecting a coordinate position on a translucent surface;
Projection display processing for projecting and displaying an image by visible light that does not include the wavelength band of light or electromagnetic waves to be imaged in the imaging operation;
The coordinate position can be input as at least input information, and display control for the projection display process for projecting and displaying an image of a required content on at least the semi-transparent surface is performed as information output in response to the coordinate position. a control process for executing required processing, including,
A storage process for storing information on the shape of the operating body;
Run
An information input / output method in which the detection process further detects the shape of the operating body by comparing image information obtained based on a change in the imaging signal and information of the storage process .