JP2009140498A - 情報入出力装置及び情報入出力方法 - Google Patents
情報入出力装置及び情報入出力方法 Download PDFInfo
- Publication number
- JP2009140498A JP2009140498A JP2008308520A JP2008308520A JP2009140498A JP 2009140498 A JP2009140498 A JP 2009140498A JP 2008308520 A JP2008308520 A JP 2008308520A JP 2008308520 A JP2008308520 A JP 2008308520A JP 2009140498 A JP2009140498 A JP 2009140498A
- Authority
- JP
- Japan
- Prior art keywords
- information
- input
- image
- light
- translucent surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Projection Apparatus (AREA)
- Position Input By Displaying (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【課題】インタラクティブな入出力環境を強化拡大する。
【解決手段】半透明面2の背面側に対して、赤外線光を定常的に照射する赤外線LEDパネル3と、半透明面2側から入射してくる赤外線光のみを撮像するCCDカメラ4と、半透明面2に対して画像を投影表示するプロジェクタ5を設ける。ユーザが半透明面2の前面側で操作を行うと赤外線反射光量が変化するので、制御装置6では、CCDカメラ4の撮像信号に基づいて上記反射光量の変化を検出画像情報として捉えた上で、この画像情報に基づいて得られる操作情報に従って、例えば半透明面2に対するインターフェイス画面の切り換え表示などのための所要の制御を実行する。
【選択図】図1
【解決手段】半透明面2の背面側に対して、赤外線光を定常的に照射する赤外線LEDパネル3と、半透明面2側から入射してくる赤外線光のみを撮像するCCDカメラ4と、半透明面2に対して画像を投影表示するプロジェクタ5を設ける。ユーザが半透明面2の前面側で操作を行うと赤外線反射光量が変化するので、制御装置6では、CCDカメラ4の撮像信号に基づいて上記反射光量の変化を検出画像情報として捉えた上で、この画像情報に基づいて得られる操作情報に従って、例えば半透明面2に対するインターフェイス画面の切り換え表示などのための所要の制御を実行する。
【選択図】図1
Description
本発明は、例えば外部より与えられた入力情報に応答して所要の情報を出力する情報入出力装置、及び情報入出力方法に関するものである。
例えば、コンピュータ装置などの情報入出力装置では、様々なアプリケーションプログラムなどのもとで、ユーザの操作に応答してコンピュータ装置側が所定の反応を表示等によって提示する、いわゆるインタラクティブな入出力形態が広く採用されている。具体的には、例えばマウス、タッチパネル(ここではトラックパッドも含むものとする)やキーボードなどの入力装置に対して行われたユーザの操作に対する応答を、CRT(Cathode Ray Tube)や液晶ディスプレイなどの表示デバイスに対して画像情報として表示させるようにしている。
また、情報入出力装置として、コンピュータ化されたホワイトボードとして機能するプロジェクションディスプレイも知られている。このようなプロジェクションディスプレイでは、例えばユーザが専用の赤外線発光ペンを利用して、上記ホワイトボード上に対して操作を行うようにされる。
また、「ビデオプレイス」といわれるインタラクティブな効果をねらった情報入出力装置が知られている。このビデオプレイスは、例えばビデオカメラを利用した芸術性を有する装置とされる。例えばビデオプレイスの鑑賞者は、ビデオカメラに自身の手あるいはその他の人体の一部をシルエットとして撮影させる。鑑賞者は、この撮影画像と例えば他の画像とが合成された何らかの画像をモニタ装置でみながら自在に手や人体の一部を動かすことにより、モニタ装置に表示される画像の反応や変化を楽しむことができるようになっている。
ところで、更に拡大されたインタラクティブな入出力環境を実現することを考えた場合、上記したようなこれまでの情報入出力形態では次のような点で限界が見えてくる。
例えば、コンピュータ装置においてタッチパネルやトラックパッドを情報入力装置として採用した場合について考えてみると、情報入力のためのポインティング操作は概して指に限定される。また、タッチパネル上の空間での操作は行えず、操作面に対して指などの物理的な操作体をパネル面上に接触させる必要がある。更に、タッチパネルは比較的高価なので大型の操作パネルとしては好適でない。
また、入力操作に応答して情報を出力する情報出力装置としての表示デバイスについて考えてみると、例えばコンピュータ装置では、前述のように一般にはCRTや液晶ディスプレイなどが採用されることが多いが、このような表示デバイスにより例えば大画面化を図ろうとした場合、コストがかかるると共に設置条件等が厳しくなることから、その実現は困難である。
例えば、コンピュータ装置においてタッチパネルやトラックパッドを情報入力装置として採用した場合について考えてみると、情報入力のためのポインティング操作は概して指に限定される。また、タッチパネル上の空間での操作は行えず、操作面に対して指などの物理的な操作体をパネル面上に接触させる必要がある。更に、タッチパネルは比較的高価なので大型の操作パネルとしては好適でない。
また、入力操作に応答して情報を出力する情報出力装置としての表示デバイスについて考えてみると、例えばコンピュータ装置では、前述のように一般にはCRTや液晶ディスプレイなどが採用されることが多いが、このような表示デバイスにより例えば大画面化を図ろうとした場合、コストがかかるると共に設置条件等が厳しくなることから、その実現は困難である。
また、コンピュータ化されたホワイトボードとして機能するプロジェクションディスプレイの場合、操作画面や表示画面の大型化は容易に実現可能なのであるが、例えば上記したように赤外線発光ペンなどの特殊なポインティングデバイスが必要となる。
また、ビデオプレイスの場合には、手や人体のシルエットを利用して何らかのインタラクティブな操作を実現するため、その入出力間のインターフェイスが間接的であり、直接的な操作を望む場合には機能的に不十分となる。
このように、これまでの情報入出力装置ではインタラクティブな入出力環境を強化拡大するには様々な障害となる要因が存在する。
このように、これまでの情報入出力装置ではインタラクティブな入出力環境を強化拡大するには様々な障害となる要因が存在する。
本発明は、入力情報に応答した所要の情報出力を行う情報入出力装置において、半透明面と、上記半透明面側の方向から入射する所定の波長帯域の光又は電磁波のみを像として捉える撮像手段と、上記撮像手段が受像すべき所定の波長帯域の光又は電磁波を、当該光又は電磁波が上記半透明面を透過しその後上記半透明面前の空間の操作体で反射して上記半透明面側に戻るように、上記半透明面に輻射する輻射手段と、上記半透明面前の空間の操作体により上記光又は電磁波が反射されたことに伴う上記撮像手段から入力された撮像信号の変化に基づいて、上記操作体により上記光又は電磁波が反射されている上記半透明面上における座標位置を検出する検出手段と、上記撮像手段が撮像すべき光又は電磁波の波長帯域を含まない可視光による画像を上記半透明面に対して投影表示可能に設けられる投影表示手段と、少なくとも入力情報として上記座標位置が入力可能とされ、この座標位置に応答した情報出力として、少なくとも上記半透明面に対して所要の内容の画像を投影表示するための上記投影表示手段に対する表示制御を含む所要の制御処理を実行可能とされる制御処理手段と、上記操作体から情報を受信することができる受信部と、を備え、上記受信部によって上記操作体から画像情報を受信し、上記制御処理手段は、上記半透明面に対して上記受信部により受信した画像情報を投影表示するための上記投影表示手段に対する表示制御処理を実行することとした。
さらに、上記制御処理手段は、上記操作体からの画像情報に基いて、上記輻射手段を制御して上記所定の波長帯域の光又は電磁波に対して強度変調を施し、該光又は電磁波によるデータ送信を行うこととした。
さらに、上記制御処理手段によるデータ送信は、上記操作体に対して行われることとした。
さらに、上記操作体からの画像情報は、該操作体を識別するID情報を含むものであることとした。
さらに、上記制御処理手段は、上記データ送信によって上記操作体に画像情報送信要求を行い、上記受信部により受信した該画像情報を投影表示するための上記投影表示手段に対する表示制御処理を実行することとした。
さらに、上記制御処理手段による上記操作体に対する画像情報送信要求は、上記操作体の表示手段に表示されている画像情報の送信要求であることとした。
さらに、上記制御処理手段は、上記送信要求によって上記受信部により受信した該画像情報を拡大表示が可能なよう上記投影表示手段に対する表示制御処理を実行することとした。
さらに、上記制御処理手段によるデータ送信は、上記操作体に対して行われることとした。
さらに、上記操作体からの画像情報は、該操作体を識別するID情報を含むものであることとした。
さらに、上記制御処理手段は、上記データ送信によって上記操作体に画像情報送信要求を行い、上記受信部により受信した該画像情報を投影表示するための上記投影表示手段に対する表示制御処理を実行することとした。
さらに、上記制御処理手段による上記操作体に対する画像情報送信要求は、上記操作体の表示手段に表示されている画像情報の送信要求であることとした。
さらに、上記制御処理手段は、上記送信要求によって上記受信部により受信した該画像情報を拡大表示が可能なよう上記投影表示手段に対する表示制御処理を実行することとした。
以上説明したように本発明は、所定波長帯域の光又は電磁波を反射するなどしてこれに状態変化(この状態変化が検出画像情報として反映される)を与えられさえすればこれを入力情報として認識することが可能となる。このため、入力操作のためには特殊なポインティングデバイスを必要とせず、本発明の基本的構成において説明したように、例えばユーザ自身の手や指を用いることによって入力操作を行うことが可能とされる。また、半透明面に近い位置(例えば半透明面の前面の中空位置)で入力情報としての検出対象物が認識可能なので、入力操作方法としても、操作パネルである半透明面に対して入力情報としての検出対象物を接触させることなく、その前面の空間に位置させることで入力情報としてとらえることが可能となる。
さらには、所定波長帯域の光又は電磁波を反射する面と吸収する面とを組み合わせることによって例えば二次元バーコード的なIDパターンを認識させ、認識したIDに応答した情報出力を行わせることが可能となる。
さらには、所定波長帯域の光又は電磁波を反射する面と吸収する面とを組み合わせることによって例えば二次元バーコード的なIDパターンを認識させ、認識したIDに応答した情報出力を行わせることが可能となる。
また、検出画像情報に基づいて得られる画像入力情報としては、半透明面に入力操作が与えられたときの位置情報を識別することが可能とされているので、例えば上記ID情報などの画像パターンによる識別情報に基づく出力情報に対して、位置情報に基づく出力情報を併合させるようにして出力させることが可能となる。つまり、例えば第1の実施の形態で説明したように、ユーザがIDパターンを認識させた半透明面上の位置に対応してメニュー画面を表示させることなどが可能となる。
また、本発明の半透明面は操作パネル及び表示パネルとして機能するのであるが、これにより、例えば半透明面に対して与えた入力情報に応答して半透明目に対して表示を行うようにすることができるため、直接的な入力操作が実現されることになる。また、従来のタッチパネルや各種表示デバイスとは異なり、半透明面のサイズの大型化も安価で容易に実現されることになる。
更に、検出画像情報に基づいて得られる画像入力情報のほか、例えば送信データを受信する受信手段を備えれば、単なる画像入力情報に基づく応答処理に加えて、時系列的に得られる送信データに基づいたより複雑な応答処理も同時に実行することが可能になる。そこで、一例として、先に説明した第3及び第6の実施の形態のようにして、受信データに応答して画像表示を行うように構成すれば、携帯用のパーソナルコンピュータやゲーム機などの表示機能を拡大することが可能となる。
このように本発明は、情報入力に際して上記のごとき自由度を与えると共に、表示パネルとして兼用可能な入力パネルとして大型化されたものを非常に簡略な構成でもって容易に提供できるようにすることで、容易にインタラクティブな入出力環境が強化拡大されるという効果を有している。
以下、本発明の実施の形態の情報入出力装置について説明する。なお、以降の説明は次の順序で行う。
<1.実施の形態の基本的構成>
(1−a.情報入出力装置の基本的構成)
(1−b.入力情報の検出動作)
<2.第1の実施の形態>
<3.第2の実施の形態>
<4.第3の実施の形態>
<5.第4の実施の形態>
<6.第5の実施の形態>
<7.第6の実施の形態>
<1.実施の形態の基本的構成>
(1−a.情報入出力装置の基本的構成)
(1−b.入力情報の検出動作)
<2.第1の実施の形態>
<3.第2の実施の形態>
<4.第3の実施の形態>
<5.第4の実施の形態>
<6.第5の実施の形態>
<7.第6の実施の形態>
<1.実施の形態の基本的構成>
(1−a.情報入出力装置の基本的構成)
先ず、図1及び図2を参照して、本発明の実施の形態の基本的な構成について説明する。本発明ではこれより説明する情報入出力装置の基本的な構成をもとに後述する第1〜第6の実施の形態としての構成が実現されるものである。
(1−a.情報入出力装置の基本的構成)
先ず、図1及び図2を参照して、本発明の実施の形態の基本的な構成について説明する。本発明ではこれより説明する情報入出力装置の基本的な構成をもとに後述する第1〜第6の実施の形態としての構成が実現されるものである。
図1は、本発明の実施の形態としての情報入出力装置の基本的構成を概念的に示している。
本実施の形態としての情報入出力装置1は、半透明面2、赤外線発光ダイオード素子(LED:Light Emitted Diode )パネル3、CCD(Charge Coupled Device) カメラ4、プロジェクタ5、及び制御装置6を備えて構成される。赤外線LEDパネル3、CCDカメラ4、及びプロジェクタ5は半透明面2の背面側に対して設けられる。
本実施の形態としての情報入出力装置1は、半透明面2、赤外線発光ダイオード素子(LED:Light Emitted Diode )パネル3、CCD(Charge Coupled Device) カメラ4、プロジェクタ5、及び制御装置6を備えて構成される。赤外線LEDパネル3、CCDカメラ4、及びプロジェクタ5は半透明面2の背面側に対して設けられる。
半透明面2は、例えば透明なガラス板に対してトレーシングペーパーのような見え方をする半透明膜を貼り合わせる、あるいは磨りガラスのような半透明の性質を有するものを利用するなどして形成され、後述するようなユーザの操作によって入力情報が与えられる操作パネルと、入力情報に応じた各種応答表示が行われる表示パネルとの両者の機能を併せ持つものとされる。
赤外線LEDパネル3は、例えばパネル面に対して多数の赤外線LEDが集合的に配列されることによって構成され、上記赤外線LEDから発光出力される赤外線光が半透明面の背面全体に対して照射されるように設けられる。上記赤外線LEDは制御装置6によって定常的に赤外線を発光するように駆動される。
なお、赤外線LEDパネル3としては、発光出力される赤外線光が半透明面2全体に対して照射されるのに充分な数の赤外線LEDが設けられればよい。また、後述するように、初期の赤外線画像に対する現在の赤外線画像の差分に基づいて半透明面2側から反射してくる画像情報を得るようにされることから、半透明面2全体に対して照射される赤外線光量が一律であるべき必要もない。従って赤外線LEDパネル3のサイズは、半透明面2よりもはるかに小さいもので済ませることができる。
赤外線LEDパネル3は、例えばパネル面に対して多数の赤外線LEDが集合的に配列されることによって構成され、上記赤外線LEDから発光出力される赤外線光が半透明面の背面全体に対して照射されるように設けられる。上記赤外線LEDは制御装置6によって定常的に赤外線を発光するように駆動される。
なお、赤外線LEDパネル3としては、発光出力される赤外線光が半透明面2全体に対して照射されるのに充分な数の赤外線LEDが設けられればよい。また、後述するように、初期の赤外線画像に対する現在の赤外線画像の差分に基づいて半透明面2側から反射してくる画像情報を得るようにされることから、半透明面2全体に対して照射される赤外線光量が一律であるべき必要もない。従って赤外線LEDパネル3のサイズは、半透明面2よりもはるかに小さいもので済ませることができる。
CCDカメラ4は、撮像素子としてCCDを用いたカメラ装置であり、この場合には、半透明面2に映る画像光として赤外線光の成分のみを撮像することにより、半透明面2に対して行われた操作を画像情報として認識するために設けられる。このため、CCDカメラ4の光学系の部分に対しては、赤外線領域の波長帯域のみを透過する赤外線透過フィルタ4aが設けられる。また、CCDカメラ4により撮影される構図として半透明面2全体が含まれるようにその配置位置が設定される。
プロジェクタ5は、制御装置6から供給される画像情報に基づいて、可視光による画像光を半透明面2の背面に対して投影表示する。例えばユーザは、半透明面2に投影表示されたプロジェクタ5の画像を、半透明面2の前面側から観察することができる。ここで、プロジェクタ5の光学系には赤外線領域の波長を遮断する赤外線遮断フィルタ5aが設けられているが、これにより、半透明面2に投影表示される画像光には赤外線が含まれなくなるため、プロジェクタ5の投影画像は、CCDカメラ4からは不可視となる。
制御装置6は、例えばマイクロコンピュータを備えて構成され、CCDカメラ4から供給される撮像信号から画像情報(映像データ)を得て、更にこの画像情報をもとに入力情報を得る。そして、この入力情報に基づいて、例えばプロジェクタ5により半透明面2に表示させる画像に関する表示制御を実行する他、各種所要の制御処理を行う。また、赤外線LEDパネル3の赤外線LEDの発光駆動を行う。
なお、上記赤外線LEDパネル3、CCDカメラ4及びプロジェクタ5の配置位置は、それぞれが果たすべき役割が充分機能することを考慮して設定されればよい。
なお、上記赤外線LEDパネル3、CCDカメラ4及びプロジェクタ5の配置位置は、それぞれが果たすべき役割が充分機能することを考慮して設定されればよい。
図2は、上記制御装置6の内部構成例を示すブロック図である。この図に示す制御装置6において、LED駆動部10は、赤外線LEDパネル3に設けられた複数の赤外線LEDを発光駆動するための回路部位である。
画像入力部11は、CCDカメラ4から供給された撮像信号について所要の信号処理を施すことによって映像信号を生成して入力画像処理部12に供給する。つまり、画像入力部11では、半透明面2側からCCDカメラ4を介して入射してきた赤外線光を映像情報として出力する。
入力画像処理部12では、例えば画像入力部11から供給された映像信号をデジタル信号による映像信号データに変換する。入力画像処理部12においては、この映像信号データに基づいて得られる「画像情報(例えばフレーム単位の映像データ)」を利用して所要の解析処理等を実行することで、半透明面2に対して行われた操作等に基づく入力情報を得るようにされる。ここで画像情報に基づいて得られる入力情報としては、例えば、半透明面2に対して操作を行っている操作体の画像上の位置(座標)や画像の信号レベルなどが用いられる。この入力情報はデータベース駆動部14に伝送される。また、上記映像信号データは、画像合成部17に対しても供給可能とされている。
しきい値制御部13は、入力画像処理部12にて実行される入力情報に関する処理に必要なしきい値を設定して入力画像処理部12に伝送する。上記入力画像処理部12では、しきい値制御部13において設定されるしきい値を利用して画像情報について解析を行うなど所要の処理を実行することで逐次必要とされる入力情報を識別する。また、本実施の形態では後述するようにして入力画像データのフレーム差分を算出することにより、現在の半透明面2の画像状態(検出画像情報)を得るようにされるが、フレーム差分演算に利用する基準値(基準画像入力レベル)等の情報も、後述するようにして、しきい値制御部13に格納されるものとする。
データベース駆動部14は、入力画像処理部12により得られた入力情報を取り込み、この入力情報に基づいて適宜所要の処理を実行する。この際、データベース駆動部14が実行すべき制御処理に必要なプログラムデータはデータベースメモリ15に格納されており、データベース駆動部14は、データベースメモリ15に格納されたプログラムデータに基づいて所要の制御処理を実行することになる。
画像生成部16は、データベース駆動部14の制御によって、必要な画像データ(デジタル信号による映像信号データ)を生成して画像合成部17に出力する。
画像合成部17においては、必要があれば上記画像生成部16から供給された映像信号データに対して、入力画像処理部12から供給された映像信号データを合成してRGB信号生成部18に対して出力する。
RGB信号生成部18では、上記画像合成部17から供給された映像信号データについて、例えばアナログによるRGB信号に変換してプロジェクタ5に対して出力する。これにより、プロジェクタ5からは、半透明面2に対して行われる操作に応答した映像による画像光が半透明面2に対して照射出力されることになる。
画像合成部17においては、必要があれば上記画像生成部16から供給された映像信号データに対して、入力画像処理部12から供給された映像信号データを合成してRGB信号生成部18に対して出力する。
RGB信号生成部18では、上記画像合成部17から供給された映像信号データについて、例えばアナログによるRGB信号に変換してプロジェクタ5に対して出力する。これにより、プロジェクタ5からは、半透明面2に対して行われる操作に応答した映像による画像光が半透明面2に対して照射出力されることになる。
(1−b.入力情報の検出動作)
次に、上記構成による本実施の形態の情報入出力装置1における入力情報の検出方法について説明する。
前述のように、図1に示す半透明面2全体に対しては、その背面から赤外線LEDパネル3により赤外線光が照射されるのであるが、この赤外線光は半透明面2が半透明性を有することから、全ての赤外線光が半透明面2を通過するのではなく、幾分かの赤外線光がその半透明性の作用によって反射されることになる。
そして、本実施の形態においては半透明面2に対して何も操作が行われていないとされる状態のもとで、半透明面2にて反射される赤外線光をCCDカメラ4により撮像して得られる映像信号データの初期レベルを「基準入力画像レベル」として記憶する。この基準入力画像レベルは、入力された映像信号データに基づいて例えば1フレームにおける画素ごとの信号レベルを検出することにより行うようにすればよい。この検出処理は、入力画像処理部12により行われるものとされる。このようにして検出された基準入力画像レベルの情報はしきい値検出部13に伝送され、ここで保持されることになる。
次に、上記構成による本実施の形態の情報入出力装置1における入力情報の検出方法について説明する。
前述のように、図1に示す半透明面2全体に対しては、その背面から赤外線LEDパネル3により赤外線光が照射されるのであるが、この赤外線光は半透明面2が半透明性を有することから、全ての赤外線光が半透明面2を通過するのではなく、幾分かの赤外線光がその半透明性の作用によって反射されることになる。
そして、本実施の形態においては半透明面2に対して何も操作が行われていないとされる状態のもとで、半透明面2にて反射される赤外線光をCCDカメラ4により撮像して得られる映像信号データの初期レベルを「基準入力画像レベル」として記憶する。この基準入力画像レベルは、入力された映像信号データに基づいて例えば1フレームにおける画素ごとの信号レベルを検出することにより行うようにすればよい。この検出処理は、入力画像処理部12により行われるものとされる。このようにして検出された基準入力画像レベルの情報はしきい値検出部13に伝送され、ここで保持されることになる。
上記基準入力画像レベルの検出処理は、例えば図3のフローチャートに示すものとなる。この図に示すように、先ず入力画像処理部12では、ステップS101において、CCDカメラ4から画像入力部11を介して供給された映像信号から得られる1フレーム分の画像データに基づいて、上述のようにして画素ごとに信号レベルを検出し、この検出結果を基準入力画像レベルLintとして得る。なお、具体的には画素ごとの輝度信号成分のレベルを検出してこれを基準入力画像レベルLintとすることが考えられる。
入力画像処理部12は、続くステップS102において、上記基準入力画像レベルLintをしきい値制御部13に伝送して記憶させるように処理を実行する。
入力画像処理部12は、続くステップS102において、上記基準入力画像レベルLintをしきい値制御部13に伝送して記憶させるように処理を実行する。
なお、基準入力画像レベルLintを検出してしきい値制御部13に記憶させる処理(上記図3に示す処理動作)は、例えば当該情報入出力装置の電源オン時などに実行させたり、あるいは何らかのユーザの指示によって必要なときに基準入力画像レベルLintを更新させるように構成することが考えられる。
上記のようにして基準入力画像レベルLintの情報が保持された状態のもとで、入力情報として扱われる画像情報は次のようにして得るようにされる。
図4は、入力情報のもととなる画像情報(以下、この「画像情報」については特に「検出画像情報」という)を得るための入力画像処理部12の処理動作を示すフローチャートである。この場合、入力画像処理部12は、先ずステップS201において現在の入力画像レベルLprsを検出する処理を実行する。ここでいう入力画像レベルLprsは、現在においてCCDカメラ4により撮像された、赤外線光に基づく半透明面2の画像についてのフレーム単位のデータであり、このフレーム単位の画像データにおける画素ごとの信号レベルを検出して得られる情報である。
続いて、入力画像処理部12はステップS202において、基準入力画像レベルLintと上記現在の入力画像レベルLprsの差分を演算する(L=Lprs−Lint)ことによって差分入力画像レベルLを算出する。具体的には、基準入力画像レベルLintと上記入力画像レベルLprsとして得られたデータ値を、同一位置の画素ごとに差分を求めることによって差分入力画像レベルLを得るようにされる。従って、差分入力画像レベルLとしては、常に基準入力画像レベルLintに対する現在の入力画像レベルLprsとの信号レベル差が画素ごとに得られることになる。そして、入力画像処理部12は、ステップS203に進み、上記差分入力画像レベルLに基づいて、現在の検出画像情報(フレーム単位で画素ごとのレベル情報を有する形式の映像データ)を生成するようにされる。
図4は、入力情報のもととなる画像情報(以下、この「画像情報」については特に「検出画像情報」という)を得るための入力画像処理部12の処理動作を示すフローチャートである。この場合、入力画像処理部12は、先ずステップS201において現在の入力画像レベルLprsを検出する処理を実行する。ここでいう入力画像レベルLprsは、現在においてCCDカメラ4により撮像された、赤外線光に基づく半透明面2の画像についてのフレーム単位のデータであり、このフレーム単位の画像データにおける画素ごとの信号レベルを検出して得られる情報である。
続いて、入力画像処理部12はステップS202において、基準入力画像レベルLintと上記現在の入力画像レベルLprsの差分を演算する(L=Lprs−Lint)ことによって差分入力画像レベルLを算出する。具体的には、基準入力画像レベルLintと上記入力画像レベルLprsとして得られたデータ値を、同一位置の画素ごとに差分を求めることによって差分入力画像レベルLを得るようにされる。従って、差分入力画像レベルLとしては、常に基準入力画像レベルLintに対する現在の入力画像レベルLprsとの信号レベル差が画素ごとに得られることになる。そして、入力画像処理部12は、ステップS203に進み、上記差分入力画像レベルLに基づいて、現在の検出画像情報(フレーム単位で画素ごとのレベル情報を有する形式の映像データ)を生成するようにされる。
上記のごとき検出画像情報の検出動作を、実際のユーザの半透明面2の前面側での動きと共に説明する。例えばユーザは、半透明面2の前面側において赤外線を反射可能な何らかの物体を利用して半透明面2の前面側において操作を行うようにするのであるが、ここでは、説明の簡単のためにユーザ自身の指や身体を用いることとする。
ここで、例えば図1に示すように半透明面2の前面側においてユーザが半透明面2から遠く離れた距離にいるときには、例えば半透明面2を通過してユーザの身体に反射するとされる赤外線光量は少ないことから、そのほとんどが半透明面2の前面から背面を通過して戻ることはない。このとき、上述した基準入力画像レベルLintと上記現在の入力画像レベルLprsとは同等であり、入力画像処理部12では、差分入力画像レベルLとしてほぼ0であると検出することになる。つまり、差分入力画像レベルLに基づいて生成される検出画像情報としては、初期状態と同様の変化の無いとされる状態が得られることになる。
ここで、例えば図1に示すように半透明面2の前面側においてユーザが半透明面2から遠く離れた距離にいるときには、例えば半透明面2を通過してユーザの身体に反射するとされる赤外線光量は少ないことから、そのほとんどが半透明面2の前面から背面を通過して戻ることはない。このとき、上述した基準入力画像レベルLintと上記現在の入力画像レベルLprsとは同等であり、入力画像処理部12では、差分入力画像レベルLとしてほぼ0であると検出することになる。つまり、差分入力画像レベルLに基づいて生成される検出画像情報としては、初期状態と同様の変化の無いとされる状態が得られることになる。
ここで、例えば上記の状態からユーザが徐々に半透明面2に対して近づいていったとすると、半透明面2を通過してユーザの身体に反射する赤外線光のうち、半透明面2を通過して背面側に到達する光量が次第に増加していくことになる。この状態を、入力画像処理部12からみた場合には、ユーザの身体に対応する画像部分の基準入力画像レベルLintに対する現在の入力画像レベルLprsのレベルが徐々に増加していく状態として捉えられる。これに応じて、検出画像情報としては算出される差分入力画像レベルLに応じて、半透明面2に接近するユーザの姿が徐々に捉えられていくことになる。
そして、半透明面2に対して例えばユーザの体が非常に接近した状態(しきい値の設定にもよるが例えば半透明面2から30cm以内)では、その人体に反射した赤外線光がほとんど半透明面2を通過して背面側に到達することになるので、その身体形状がより鮮明な状態の検出画像情報が生成されることになる。
そして、半透明面2に対して例えばユーザの体が非常に接近した状態(しきい値の設定にもよるが例えば半透明面2から30cm以内)では、その人体に反射した赤外線光がほとんど半透明面2を通過して背面側に到達することになるので、その身体形状がより鮮明な状態の検出画像情報が生成されることになる。
また、ここでユーザがその身体を半透明面2からある程度距離を置いた状態で、例えば自身の指を手前にかざして半透明面2の非常に近い位置にあるようにしたとする。
この場合、半透明面2に近接するユーザの指は他の身体部分よりも多くの赤外線光を反射するため、入力画像処理部12において得られる画像情報としては、ユーザの指にあたる位置の画像領域のレベルが強く、その背景となる部分においてユーザの身体部分にあたる位置の画像領域のレベルは半透明面2からの距離に応じて弱くなることになる。そして、例えばこの状態のもとで、しきい値制御部13にて設定された所定のしきい値と検出画像情報とを比較すれば、容易にユーザの指にあたる部分のみの画像を背景から分離させることが可能であり、同様にしきい値の設定によっては、半透明面2から離れた距離にあるユーザの身体部分のみを抽出した画像情報を得ることも可能である。このようなしきい値は、前述のように実際に必要とされる条件に応じた値がしきい値制御部13において設定されるものである。
この場合、半透明面2に近接するユーザの指は他の身体部分よりも多くの赤外線光を反射するため、入力画像処理部12において得られる画像情報としては、ユーザの指にあたる位置の画像領域のレベルが強く、その背景となる部分においてユーザの身体部分にあたる位置の画像領域のレベルは半透明面2からの距離に応じて弱くなることになる。そして、例えばこの状態のもとで、しきい値制御部13にて設定された所定のしきい値と検出画像情報とを比較すれば、容易にユーザの指にあたる部分のみの画像を背景から分離させることが可能であり、同様にしきい値の設定によっては、半透明面2から離れた距離にあるユーザの身体部分のみを抽出した画像情報を得ることも可能である。このようなしきい値は、前述のように実際に必要とされる条件に応じた値がしきい値制御部13において設定されるものである。
このようにして、半透明面2の前面側の状態を検出する構成を採ることにより、この半透明面2を例えばインタラクティブなインターフェイスのための操作パネルとして機能させる場合には次のような利点が得られる。
先ず、本実施の形態では半透明面2側からの赤外線の反射光量によって得られる画像に基づいて入力情報を得ることになるので、入力情報を与えるための物理的対象としては、特に特殊なポインティングデバイスを必要とせず、1つには、赤外線を反射する物体であればその種類は問わないことになる。つまり、操作体としては、上述のように人体全体もしくはその一部や、その他の何らかの物体を問題なく使用することができる。
また、例えば黒色は赤外線光を反射せずに吸収する作用があることなど利用し、後述するようにして、例えば黒色による特定パターンの図柄を半透明面2に対して与えることで、この図柄のパターンを特定の意義を有する入力情報(ID情報)として扱うようにすることも可能となる。
さらには、CCDカメラ4により赤外線光の光量変化が撮像さえされればこれを入力情報として扱えることになるので、入力情報として例えば赤外線を発光させるポインティングデバイスなどを用いて、積極的に半透明面2に対して赤外線光を与えるような方法を採ることも可能である。
先ず、本実施の形態では半透明面2側からの赤外線の反射光量によって得られる画像に基づいて入力情報を得ることになるので、入力情報を与えるための物理的対象としては、特に特殊なポインティングデバイスを必要とせず、1つには、赤外線を反射する物体であればその種類は問わないことになる。つまり、操作体としては、上述のように人体全体もしくはその一部や、その他の何らかの物体を問題なく使用することができる。
また、例えば黒色は赤外線光を反射せずに吸収する作用があることなど利用し、後述するようにして、例えば黒色による特定パターンの図柄を半透明面2に対して与えることで、この図柄のパターンを特定の意義を有する入力情報(ID情報)として扱うようにすることも可能となる。
さらには、CCDカメラ4により赤外線光の光量変化が撮像さえされればこれを入力情報として扱えることになるので、入力情報として例えば赤外線を発光させるポインティングデバイスなどを用いて、積極的に半透明面2に対して赤外線光を与えるような方法を採ることも可能である。
また、例えばタッチパネルなどでは操作パネル面に対して指などの操作体を接触させる必要があるが、本実施の形態の場合には操作体の位置や動きは赤外線光の反射として検出されればよいことから、半透明面2に操作体を接触させる必要性はなく、その前面の空間において操作を行うような方法を採ることができる。更に、本実施の形態では、半透明面2側からの赤外線の反射光により得られる画像に基づいて入力情報を得るために、画像認識さえ可能であれば複数の操作体(即ち入力情報)を同時に認識することが可能である。
また、上述したように赤外線の反射光量は、操作体の半透明面2に対する距離に応じて変化するために、例えば操作体の半透明面2からの距離を入力情報として利用することも考えられる。
更に、半透明面2は前述のように例えば透明のガラス板などに対してトレーシングペーパーのような半透明の薄膜を組み合わせたり、磨りガラスのようなものを利用するなどの簡略な手段により構成可能とされ、特にパネル構造として表示のための駆動回路などを設ける必要がないので、低コストで容易に大型化を実現することができ、この点で大型化が困難なタッチパネルなどとは大きく異なる。
そして、半透明面2は画像表示パネルとしての機能も有することから、例えば後述するように操作対象となるメニュー画面のようなものを表示させた上で、ユーザがこのメニュー画面に対して指などにより操作を行えるようにするなどの直接的な操作を実現することも容易に可能となる。
このように、本実施の形態としての情報入出力装置では、その入力情報を入力するのに多くの可能性が得られるために、これまでには無かったようなインタラクティブな入出力環境を容易に構築することができる。
このように、本実施の形態としての情報入出力装置では、その入力情報を入力するのに多くの可能性が得られるために、これまでには無かったようなインタラクティブな入出力環境を容易に構築することができる。
これまでの説明による構成を踏まえて、半透明面2に対して行われた操作により得られた入力情報に応答した本実施の形態の情報入出力装置1の動作として、ユーザがメニュー操作を行う場合を例に挙げ、これについて図5及び図6を参照して説明する。
図5には、ユーザが情報入出力装置1を利用してメニュー操作を行う場合が示されており、ここでは半透明面2を前面側からみた状態が示されている。
例えばこの図に示すように、ユーザが半透明面2の前面に近づいたとすると、先ず、情報入出力装置の制御装置6では、このときに得られる検出画像情報に基づいてユーザが近づいた半透明面2上の位置を認識する。そして、半透明面2上においてユーザが近づいたと認識された位置に対応させて、図のようにメニュー画面Mを表示するように表示制御を行う。このメニュー画面Mは当然のこととしてプロジェクタ5から半透明面2に対して投影された画像である。
例えばこの図に示すように、ユーザが半透明面2の前面に近づいたとすると、先ず、情報入出力装置の制御装置6では、このときに得られる検出画像情報に基づいてユーザが近づいた半透明面2上の位置を認識する。そして、半透明面2上においてユーザが近づいたと認識された位置に対応させて、図のようにメニュー画面Mを表示するように表示制御を行う。このメニュー画面Mは当然のこととしてプロジェクタ5から半透明面2に対して投影された画像である。
そして、ユーザ自身が位置している付近の半透明面2上にメニュー画面Mが表示された状態のもとで、例えばユーザは自身の指を用いて、メニュー画面Mにおいて操作項目が表示されている任意の領域を指さすように指定したとする。このとき、ユーザの指先は、半透明面2上から3cm〜30cm程度の範囲内の距離にあるようにされる。
これにより、例えばメニュー画面Mにおいては、ユーザが指し示した操作項目の領域が選択されたことを示す何らかの指示表示(例えば選択領域に対するカーソルの配置表示や所定の形態による強調表示など)が行われることになる。この強調表示のための表示制御は、検出画像情報に基づいてユーザの指が指し示している領域の座標を検出することにより実現される。
ここでは、上記のようにして指示表示が開始された状態から所定時間(例えば数秒程度)経過したときにエンター操作が行われたとみなすこととする。そして、ユーザがエンター操作を行った、つまり、特定の操作項目が強調表示された状態を所定時間以上維持させたとすると、指定された操作項目に従った所要の制御動作を実行することになる。例えば、指定された操作項目に従って、他の階層のメニュー画面を表示させたり、当該情報入出力装置に対して所望の動作を実行させたりすることになる。あるいは、当該情報入出力装置が何らかの外部機器を制御可能に構成されており、メニュー画面がその外部機器の動作についての操作制御を行うためのものであるとすれば、指定された操作項目に従って外部機器の動作を制御することになる。
なお、ユーザが半透明面2の前面から離れていき、ユーザと半透明面2との間にある程度以上の距離があいた場合には、それまで表示されていたメニュー画面Mは自動的に消去されるものとされる。
ここでは、上記のようにして指示表示が開始された状態から所定時間(例えば数秒程度)経過したときにエンター操作が行われたとみなすこととする。そして、ユーザがエンター操作を行った、つまり、特定の操作項目が強調表示された状態を所定時間以上維持させたとすると、指定された操作項目に従った所要の制御動作を実行することになる。例えば、指定された操作項目に従って、他の階層のメニュー画面を表示させたり、当該情報入出力装置に対して所望の動作を実行させたりすることになる。あるいは、当該情報入出力装置が何らかの外部機器を制御可能に構成されており、メニュー画面がその外部機器の動作についての操作制御を行うためのものであるとすれば、指定された操作項目に従って外部機器の動作を制御することになる。
なお、ユーザが半透明面2の前面から離れていき、ユーザと半透明面2との間にある程度以上の距離があいた場合には、それまで表示されていたメニュー画面Mは自動的に消去されるものとされる。
ここで、図6のフローチャートに、上記図5に示した利用例に対応して実行される制御装置6の処理動作を示す。この図に示す処理動作は、主として制御装置6内の入力画像処理部12が検出画像情報に基づいて入力情報を認識すると共に、データベース駆動部14がデータベースメモリ15に格納されたプログラムに従って、上記入力情報に基づいて適宜処理動作を実行することにより実現されるものである。
この図に示すルーチンにおいては、先ずステップS301において現在の検出画像情報から入力情報として「接近体」が検出されるか否かについて判別を行う。ここで、「接近体」とは半透明面2に対して所定の距離範囲まで接近した何らかの検出対象(図5ではユーザ自身の身体とされている)をいうものとされる。
この「接近体」の検出は、例えば入力画像処理部12が検出画像情報と接近体の検出用に設定されたしきい値(しきい値制御部13により設定される)を比較して、例えば検出画像情報のある領域においてこのしきい値以上の値が得られた場合には「接近体有り」と検出し、しきい値以上の値が得られる領域がない場合には、「接近体無し」と検出することになる。上記接近体検出用のしきい値は、例えば通常、人体(ユーザ)が半透明面2にある程度(例えば数十cm)近づいたときに検出画像情報として得られる人体部分の画像レベルに基づいて設定されればよい。
この「接近体」の検出は、例えば入力画像処理部12が検出画像情報と接近体の検出用に設定されたしきい値(しきい値制御部13により設定される)を比較して、例えば検出画像情報のある領域においてこのしきい値以上の値が得られた場合には「接近体有り」と検出し、しきい値以上の値が得られる領域がない場合には、「接近体無し」と検出することになる。上記接近体検出用のしきい値は、例えば通常、人体(ユーザ)が半透明面2にある程度(例えば数十cm)近づいたときに検出画像情報として得られる人体部分の画像レベルに基づいて設定されればよい。
上記ステップS301において接近体が検出されなかった場合にはステップS308に進んで、ここで現在メニュー画面Mが表示中であるか否かについて判別が行われ、ここでメニュー画面Mが表示されていない場合には元のルーチンに戻る(即ち再度ステップS301の処理に移行する)が、メニュー画面Mが表示中の状態である場合にはステップS309に進み、メニュー画面Mを消去するための制御処理を実行する。このメニュー画面Mの消去処理は、例えばデータベース駆動部14が画像生成部16に対するメニュー画面Mの画像データの生成処理を停止することで実現される。
これに対して、ステップS301において接近体が検出された場合には、ステップS302に進んで、半透明面2上における上記接近体の位置を検出することが行われる。この処理は、例えば検出画像情報における接近体の部分が占有する領域の座標を検出することで可能となる。この場合、検出すべき座標としては接近体の領域の所定の一地点であっても、所定規則に従って求められる複数地点であっても構わなく実際の使用環境等に応じて任意に設定されればよい。
続くステップS303においては、上記ステップS302にて検出された接近体の位置に応じた半透明面2の領域に対してメニュー画面Mを表示させるための制御を実行する。この制御処理は、例えばデータベース駆動部14がデータベースメモリ15に格納されているメニュー画面表示用のプログラムに基づいて、画像生成部16において所要の種類のメニュー画面の画像データが作成されるように制御を行うことになる。
この際、データベース駆動部14は、ステップS302にて検出された接近体の位置に対応する表示領域に対して、例えばメニュー画面の画像データをマッピングするようにして、表示用画像データを作成する。この結果、最終的にプロジェクタ5から投影される画像としては、半透明面2におけるユーザが近づいた位置に対してメニュー画面Mが表示されたものとなる。
上記ステップS303の処理が実行された後は、ステップS304において、現在表示中のメニュー画面Mの操作項目とされる表示領域内において、「操作体」が検出されたか否かについて判別が行われる。ここで、「操作体」とは半透明面2の前面において至近距離(しきい値の設定にもよるが3cm〜30cm程度)にある物体(検出対象)のことをいうものとされる。つまり、図5においてはメニュー画面Mを指し示す指が対象となる。
そして、この「操作体」の検出処理は、先ず、操作体検出用としてしきい値制御部13において設定されたしきい値と、検出画像情報の画像レベルとを比較することにより、操作体の有無を検出することが行われる。このとき設定されるしきい値としては、半透明面2の前面において至近距離にある物体を背景から分離して検出する必要上、前述した接近体検出用のしきい値よりも大きい値が設定される。
そして、例えばしきい値と比較した結果、操作体が検出されたとすれば、その操作体が検出された検出画像情報上の座標位置を検出し、この検出位置とメニュー画面Mが表示されているとされる画像情報上の位置が一致しているか否かを判別することで、現在表示中のメニュー画面の表示領域内における操作体の有無を検出することになる。
そして、この「操作体」の検出処理は、先ず、操作体検出用としてしきい値制御部13において設定されたしきい値と、検出画像情報の画像レベルとを比較することにより、操作体の有無を検出することが行われる。このとき設定されるしきい値としては、半透明面2の前面において至近距離にある物体を背景から分離して検出する必要上、前述した接近体検出用のしきい値よりも大きい値が設定される。
そして、例えばしきい値と比較した結果、操作体が検出されたとすれば、その操作体が検出された検出画像情報上の座標位置を検出し、この検出位置とメニュー画面Mが表示されているとされる画像情報上の位置が一致しているか否かを判別することで、現在表示中のメニュー画面の表示領域内における操作体の有無を検出することになる。
上記ステップS304においてメニュー画面Mの操作項目とされる表示領域内において操作体が検出されない場合とは、検出画像情報上に操作体が検出されなかった(ユーザが至近距離で半透明面2上を指し示していないような状態)か、或いは、検出画像情報上に操作体を検出したとしても、この操作体の検出位置(座標)がメニュー画面Mの表示領域内に対応する画像情報上の領域に無かった(ユーザが至近距離で半透明面2上を指し示していた位置がメニュー画面Mの操作項目以外の領域であったような状態)ことになるが、このような場合にはステップS301に戻るようにされる。
なお、ここで操作体が人体の手又は指に特定されるような場合には、ステップS304における操作体の検出処理として、例えば、データベースメモリ15に対して操作時に現れる人体の手又は指の形状の情報を記憶させておき、この手又は指の形状の情報と、検出画像情報として得られた画像形状とを比較して、その一致状態をみて操作体の検出の有無を識別するように構成することが可能である。即ち、本発明では、画像情報から入力情報を検出するために、検出画像情報に得られる画像の形状に基づいても、これを何らかの意義を有する入力情報の1つとして認識可能なわけである。
ステップS304においてメニュー画面Mの操作項目とされる表示領域内において操作体が検出されたと判別された場合には、ステップS305に進んで、操作体が検出された位置に対応するメニュー画面Mの操作項目について指示表示が行われるように制御を実行してステップS306に進む。
ステップS306の処理はエンター操作の待機処理となる。前述のように、ここでのエンター操作は、指示表示が開始された状態から所定時間経過したときに確定されるものと規定している。そこで、ステップS306においては、ステップS304にて検出された操作体の検出状態が所定時間以上維持されるか否かについて検出を行うようにしている。この検出処理は、入力画像処理部12において現在の検出画像の状態遷移を監視することにより行われる。
そして、例えば現在の検出画像情報上から操作体が検出されなくなったり、あるいは現在の検出画像情報上における操作体の検出位置が、ステップS304にて検出されたメニュー画面Mの操作項目とされる表示領域内から外れたことが検出されたような場合には、ステップS306からステップS301以降の処理に戻ることになる。(この処理により、例えばユーザがこれまでとは異なるメニュー画面M上の操作項目を指し示すように、その指定位置を変更した場合には、新たに指定されたメニュー画面M上の操作項目に対して指示表示が行われたりすることになる。)
そして、例えば現在の検出画像情報上から操作体が検出されなくなったり、あるいは現在の検出画像情報上における操作体の検出位置が、ステップS304にて検出されたメニュー画面Mの操作項目とされる表示領域内から外れたことが検出されたような場合には、ステップS306からステップS301以降の処理に戻ることになる。(この処理により、例えばユーザがこれまでとは異なるメニュー画面M上の操作項目を指し示すように、その指定位置を変更した場合には、新たに指定されたメニュー画面M上の操作項目に対して指示表示が行われたりすることになる。)
これに対して、ステップS306において、直前のステップS304にて検出された操作体の検出状態が所定時間以上維持されたと判別された場合には、エンター操作が行われたものとしてステップS307に進む。
ステップS307においては、メニュー画面M上において操作体が検出された位置の操作項目に応じた所要の制御処理が実行される。このステップにおける処理は、データベース駆動部14がデータベースメモリ15に格納されたプログラムに従って実行する。
ステップS307においては、メニュー画面M上において操作体が検出された位置の操作項目に応じた所要の制御処理が実行される。このステップにおける処理は、データベース駆動部14がデータベースメモリ15に格納されたプログラムに従って実行する。
<2.第1の実施の形態>
次に、これまで説明してきた情報入出力装置1の構成をもととする実施の形態として、先ず、第1の実施の形態について図7〜図11を参照して説明する。
図7には、第1の実施の形態としての情報入出力装置1をユーザが利用している状態が概念的に示されている。図7に示す第1の実施の形態としての情報入出力装置1の構成、及び制御装置6内部の構成は、先に図1及び図2に示した構成と同様でよいものとされる。
次に、これまで説明してきた情報入出力装置1の構成をもととする実施の形態として、先ず、第1の実施の形態について図7〜図11を参照して説明する。
図7には、第1の実施の形態としての情報入出力装置1をユーザが利用している状態が概念的に示されている。図7に示す第1の実施の形態としての情報入出力装置1の構成、及び制御装置6内部の構成は、先に図1及び図2に示した構成と同様でよいものとされる。
図7においては、ユーザが半透明面2の前に位置した状態でIDカード30を手に持っている状態が示されている。このIDカード30の裏面には、例えばユーザを特定するための情報としてのIDパターンが描かれている。
図8は、IDカード30の裏面に描かれたIDパターンの一例を示すものである。IDパターン30aは、例えば白地のIDカード30に対して、黒色の特定のパターンによる、いわゆる二次元バーコードといわれる図柄により描かれている。
図8は、IDカード30の裏面に描かれたIDパターンの一例を示すものである。IDパターン30aは、例えば白地のIDカード30に対して、黒色の特定のパターンによる、いわゆる二次元バーコードといわれる図柄により描かれている。
例えば、図7に示されているユーザは、手に持っているIDカード30の裏面に描かれたIDパターン30aを半透明面2に対して向けて近づけるようにする。
例えば黒色は赤外線光を反射せずに吸収する作用を有することから、上記した状態時において検出画像情報として得られたIDカード30に相当する領域部分には、ちょうど図8に示したようなIDパターン30aの画像が得られることになる。そして、本実施の形態の情報入出力装置1の制御装置6では、上記のようにして得られるIDパターン30aの画像を、所定の意義内容を特定する入力情報、つまりID情報として識別し、この識別したID情報に従って所要の応答動作を実行するようにされる。
例えば黒色は赤外線光を反射せずに吸収する作用を有することから、上記した状態時において検出画像情報として得られたIDカード30に相当する領域部分には、ちょうど図8に示したようなIDパターン30aの画像が得られることになる。そして、本実施の形態の情報入出力装置1の制御装置6では、上記のようにして得られるIDパターン30aの画像を、所定の意義内容を特定する入力情報、つまりID情報として識別し、この識別したID情報に従って所要の応答動作を実行するようにされる。
認識したID情報に基づいて実行すべき処理としては、その使用形態に応じて各種考えられるのであるが、一例としては、図9に示すようにしてID情報に応じて特定される種類のメニュー画面を表示させることが考えられる。
図9の場合においては、IDカード30はユーザを識別するためのカードであり、その裏面に描かれているIDパターン30aとしてはユーザごとに固有のパターンが決められているものとする。そして、ユーザの一人である甲氏が裏面のIDパターン30aを半透明面2側に見せるようにして自分が所有するIDカード30を差し出したとすると、例えば図のように甲氏に関する情報内容のメニュー画面Mがプロジェクタ5により表示される。また、このときのメニュー画面Mは、図5により説明した場合と同様に、例えば実際にユーザが立っている位置に対応する半透明面2上の位置に表示されるものとする。このようにしてメニュー画面Mの表示位置が設定されれば、ユーザは表示されたメニュー画面Mを操作するために、これまでの立ち位置から移動しなくて済むことになる。なお、以降のメニュー画面Mに対する操作は、図5にて説明した方法に準ずればよい。
図9の場合においては、IDカード30はユーザを識別するためのカードであり、その裏面に描かれているIDパターン30aとしてはユーザごとに固有のパターンが決められているものとする。そして、ユーザの一人である甲氏が裏面のIDパターン30aを半透明面2側に見せるようにして自分が所有するIDカード30を差し出したとすると、例えば図のように甲氏に関する情報内容のメニュー画面Mがプロジェクタ5により表示される。また、このときのメニュー画面Mは、図5により説明した場合と同様に、例えば実際にユーザが立っている位置に対応する半透明面2上の位置に表示されるものとする。このようにしてメニュー画面Mの表示位置が設定されれば、ユーザは表示されたメニュー画面Mを操作するために、これまでの立ち位置から移動しなくて済むことになる。なお、以降のメニュー画面Mに対する操作は、図5にて説明した方法に準ずればよい。
続いて、認識したID情報に基づいて実行すべき応答動作としての他の例を図10に示す。
図10(a)においては、書類フォルダ31を手に持ちながら半透明面2の前に立っているユーザの姿が示されているが、この場合には、図10(b)に示すようにして書類フォルダ31の裏面に対してIDパターン31aが描かれているものとされる。このIDパターン31aは、先に図8に示したIDパターン30aと同様に黒色により描かれる二次元バーコードとされて、フォルダごとの識別を可能とするためのものとされる。
この場合には、例えば図10(a)に示すようにして、ユーザは書類フォルダ31の裏面を半透明面2側に向けて近づけるようにする。これにより、上記図9の場合と同様に、情報入出力装置1の制御装置6においてIDパターン31aがID情報として認識されることになる。そして、ここでは認識したID情報に基づいて、ユーザが手に持っている書類フォルダ31に関する内容の情報を呼び出すためのメニュー画面Mが表示される。また、このときもメニュー画面Mは、ユーザの立ち位置に対応するようにして半透明面2に対して表示されることになる。
図10(a)においては、書類フォルダ31を手に持ちながら半透明面2の前に立っているユーザの姿が示されているが、この場合には、図10(b)に示すようにして書類フォルダ31の裏面に対してIDパターン31aが描かれているものとされる。このIDパターン31aは、先に図8に示したIDパターン30aと同様に黒色により描かれる二次元バーコードとされて、フォルダごとの識別を可能とするためのものとされる。
この場合には、例えば図10(a)に示すようにして、ユーザは書類フォルダ31の裏面を半透明面2側に向けて近づけるようにする。これにより、上記図9の場合と同様に、情報入出力装置1の制御装置6においてIDパターン31aがID情報として認識されることになる。そして、ここでは認識したID情報に基づいて、ユーザが手に持っている書類フォルダ31に関する内容の情報を呼び出すためのメニュー画面Mが表示される。また、このときもメニュー画面Mは、ユーザの立ち位置に対応するようにして半透明面2に対して表示されることになる。
上記図9又は図10に示すような動作を実現するための制御装置6の処理動作を図11に示す。なお、ここでは図9の動作に対応するものとして説明を行う。 図11に示す処理動作が実行可能とされるためには、データベースメモリ14に対して、予め用意されたIDパターン30aのすべてのパターンを識別可能とするためのIDパターンデータと、これら各IDパターンデータと個々のユーザとの対応を示すテーブルデータが格納されていることと、更に、各ユーザに対応するメニュー画面の内容を有するデータが格納されていることが前提となる。
図11においては、先ずステップS401において、検出画像情報からIDパターン30aが認識されるのを待機している。この処理は、例えば入力画像処理部12において、検出画像情報をIDパターン認識用に設定された所定のしきい値(しきい値制御部により設定される)と比較することによって、検出画像情報の背景から分離されたIDパターンの画像データを、データベース駆動部14がを取り込み、この画像データについてデータベースメモリ15に格納されているIDパターンデータとの比較参照を行うことにより、IDパターンが存在するか否かを判別することにより行われるものとされる。
そして、ステップS401において、何らかのIDパターン30aが認識されたのであれば、先ずステップS402において、例えば入力画像処理部12により検出されたIDパターン30aの検出画像領域内における位置を識別し、この識別情報をデータベース駆動部14が位置情報Posとして保持するようにされる。
続くステップS403においては、例えばデータベース駆動部14の処理として、認識されたIDパターンに対応するユーザ名を上記テーブルデータを参照することによって特定し、特定されたユーザ名に対応するメニュー画面のデータを読み出すようにされる。
そして、データベース駆動部14は、ステップS404において上記ステップS403の処理により読み出したメニュー画面のデータに基づいて画像生成部16によりメニュー画面Mの画像が生成されるための制御を行うのであるが、このとき、ステップS403にて検出された位置情報Posを利用して、この位置情報Posに対応する半透明面2上の位置に対してメニュー画面Mが表示されるように、画像処理時に関する制御を実行することになる。
なお、図10に示した動作もユーザ名の代わりにフォルダが特定されるようにすると共に、ID情報に応じてフォルダに関するメニュー画面が表示されるように、データベースメモリの記憶内容及び処理動作が変更されさえすれば、上記図11に示す処理動作に準じて実現することが可能である。
続くステップS403においては、例えばデータベース駆動部14の処理として、認識されたIDパターンに対応するユーザ名を上記テーブルデータを参照することによって特定し、特定されたユーザ名に対応するメニュー画面のデータを読み出すようにされる。
そして、データベース駆動部14は、ステップS404において上記ステップS403の処理により読み出したメニュー画面のデータに基づいて画像生成部16によりメニュー画面Mの画像が生成されるための制御を行うのであるが、このとき、ステップS403にて検出された位置情報Posを利用して、この位置情報Posに対応する半透明面2上の位置に対してメニュー画面Mが表示されるように、画像処理時に関する制御を実行することになる。
なお、図10に示した動作もユーザ名の代わりにフォルダが特定されるようにすると共に、ID情報に応じてフォルダに関するメニュー画面が表示されるように、データベースメモリの記憶内容及び処理動作が変更されさえすれば、上記図11に示す処理動作に準じて実現することが可能である。
<3.第2の実施の形態>
本発明としてID情報を認識するのにあたっては、上記のように検出画像情報として検出する構成には限定されず、例えば、専用のID認識装置を設けるように構成してもよい。そこで次に、このような専用のID認識装置が設けられた構成について、本発明の第2の実施の形態として図12及び図13を参照して説明する。
図12は、第2の実施の形態としての情報入出力装置に対するユーザの利用形態を示しているものとされ、ここでは半透明面2に対してIDカード30を持ったユーザが立っている様子が示されている。
本発明としてID情報を認識するのにあたっては、上記のように検出画像情報として検出する構成には限定されず、例えば、専用のID認識装置を設けるように構成してもよい。そこで次に、このような専用のID認識装置が設けられた構成について、本発明の第2の実施の形態として図12及び図13を参照して説明する。
図12は、第2の実施の形態としての情報入出力装置に対するユーザの利用形態を示しているものとされ、ここでは半透明面2に対してIDカード30を持ったユーザが立っている様子が示されている。
この場合、例えば半透明面2は枠wkに対して填められるようにして設置されており、この枠wkに対してID認識装置20が掛けられるようにして設置されている。このようにID認識装置20を独立的に設ける構成を採る場合、多様な方法によりID情報の認識することが可能になる。
一例として、ID認識装置が撮像装置などであれば、左記の実施の形態において用いられたバーコードなどによる何らかの図柄をIDカードに描いておくことによりID情報を認識させることが可能であるほか、撮像装置がカラー対応の構成を採るのであれば、図柄により特定される色の相違をID情報として認識させることなども可能となる。
一例として、ID認識装置が撮像装置などであれば、左記の実施の形態において用いられたバーコードなどによる何らかの図柄をIDカードに描いておくことによりID情報を認識させることが可能であるほか、撮像装置がカラー対応の構成を採るのであれば、図柄により特定される色の相違をID情報として認識させることなども可能となる。
また、ID情報をIDカード30に磁気記録したうえでID認識装置20がこの磁気情報に基づいてID情報を検出可能に構成したり、さらには、電波や所定の波長帯域による光(この場合には、赤外線光とは異なる帯域であることが好ましい)や電磁波によって変調したIDコードデータを送信可能なようにIDカード30を構成すると共に、ID認識装置20ではこのIDコードデータを受信復調することによりID情報を得るように構成することなどが考えられる。
さらには、IDカード30を用いることなく、例えば個人を特定するのであれば指紋や声紋などをID情報として認識可能に構成することも可能とされる。
さらには、IDカード30を用いることなく、例えば個人を特定するのであれば指紋や声紋などをID情報として認識可能に構成することも可能とされる。
図12においても、その利用形態として、IDカード30はユーザ(甲氏)を特定する識別情報としてのID情報を有しているものとされ、上記したようないずれかの方法に従ってID認識装置20にID情報を認識させたことにより、半透明面2に対して甲氏専用のメニュー画面Mが表示された状態が示されている。
ここで、上記したような第2の実施の形態としての情報入出力装置1Aの構成を図13に示す。なお、この図では半透明面2は省略されているが当然のこととして赤外線LEDパネル3、CCDカメラ4,及びプロジェクタ5がその背面にあるように設けられているものとされる。また、図2と同一部分には同一符号を付して説明を省略する。
図13に示す情報入出力装置1Aでは、図12にて説明したID認識装置20が設けられている。このID認識装置20は、所定のID認識方式に従って得られたID情報をデータベース駆動部14に供給するようにされている。このID認識装置20の内部構成は、実際に採用されるID認識方式に応じて適宜変更されることになる。
図13に示す情報入出力装置1Aでは、図12にて説明したID認識装置20が設けられている。このID認識装置20は、所定のID認識方式に従って得られたID情報をデータベース駆動部14に供給するようにされている。このID認識装置20の内部構成は、実際に採用されるID認識方式に応じて適宜変更されることになる。
なお、本実施の形態の情報入出力装置1Aにより認識したID情報に基づくメニュー画面Mの表示制御については、フローチャートによる図示は省略するが、この場合には、制御装置6のデータベース駆動部14が、情報入出力装置1Aにより認識したID情報から特定したメニュー画面のデータをデータベースメモリ15から読み出して、このメニュー画面についての表示制御を行うことになる。
この際、例えば、検出画像情報内において検出されたユーザの撮像画像の位置情報(座標)に対応する半透明面2上の位置に対してメニュー画面を表示するように構成すれば、先の実施の形態と同様にして、ユーザの立ち位置のちょうど前あたりの半透明面2における表示領域に対してメニュー画面Mを表示させることが可能となる。
この際、例えば、検出画像情報内において検出されたユーザの撮像画像の位置情報(座標)に対応する半透明面2上の位置に対してメニュー画面を表示するように構成すれば、先の実施の形態と同様にして、ユーザの立ち位置のちょうど前あたりの半透明面2における表示領域に対してメニュー画面Mを表示させることが可能となる。
<4.第3の実施の形態>
図14は、本発明の第3の実施の形態としての情報入出力装置1Bの構成を概念的に示すものであり、例えば図1と同一部分については同一符号を付して説明を省略する。
図14に示す情報入出力装置1Bにおいては、受信装置21が備えられている。この受信装置21は、例えば赤外線により空間伝送されるデータ信号を受信して制御装置6伝送するように設けられている。本実施の形態の制御装置6では、受信装置21から供給されるデータ信号を利用して各種所要の制御処理を実行可能なように構成されているものである。また、本実施の形態の情報入出力装置1Aは、後述するようにして、赤外線LEDパネル3から出射される赤外線光に対して所要のデータに基づいて強度変調を施すことによって、赤外線によるデータ送信を外部に対して行うことができるように構成されている。
なお上記受信装置21は、半透明面2の前面から送信される赤外線信号が良好に受信可能な位置に設置されればよく、実際の情報入出力装置1Bの設置環境によっても適切な配置位置は異なってくるため、ここでは特に限定されるものではない。
ところで、図14においては、半透明面2の全面側に比較的近接した状態でパーソナルコンピュータ装置40を操作しているユーザの姿が示されている。この場合、パーソナルコンピュータ装置40は、例えば筐体の背面部等に対して、図8にて説明したようなIDパターンが付けられていると共に、赤外線により当該情報入出力装置1Bと送受信を行うことのできる赤外線通信機能が備えられているものとされる。なお、このパーソナルコンピュータ装置40と併用した本実施の形態の情報入出力装置1Bの利用例については後述する。
図14は、本発明の第3の実施の形態としての情報入出力装置1Bの構成を概念的に示すものであり、例えば図1と同一部分については同一符号を付して説明を省略する。
図14に示す情報入出力装置1Bにおいては、受信装置21が備えられている。この受信装置21は、例えば赤外線により空間伝送されるデータ信号を受信して制御装置6伝送するように設けられている。本実施の形態の制御装置6では、受信装置21から供給されるデータ信号を利用して各種所要の制御処理を実行可能なように構成されているものである。また、本実施の形態の情報入出力装置1Aは、後述するようにして、赤外線LEDパネル3から出射される赤外線光に対して所要のデータに基づいて強度変調を施すことによって、赤外線によるデータ送信を外部に対して行うことができるように構成されている。
なお上記受信装置21は、半透明面2の前面から送信される赤外線信号が良好に受信可能な位置に設置されればよく、実際の情報入出力装置1Bの設置環境によっても適切な配置位置は異なってくるため、ここでは特に限定されるものではない。
ところで、図14においては、半透明面2の全面側に比較的近接した状態でパーソナルコンピュータ装置40を操作しているユーザの姿が示されている。この場合、パーソナルコンピュータ装置40は、例えば筐体の背面部等に対して、図8にて説明したようなIDパターンが付けられていると共に、赤外線により当該情報入出力装置1Bと送受信を行うことのできる赤外線通信機能が備えられているものとされる。なお、このパーソナルコンピュータ装置40と併用した本実施の形態の情報入出力装置1Bの利用例については後述する。
図15は、情報入出力装置1Bに備えられる制御装置6内部の構成例を、本実施の形態としての情報入出力装置1Bの全体構成と共に示すブロック図であり、図2及び図13と同一部分については同一符号を付して説明を省略する。
先ず、図15においては制御装置6におけるデータベース駆動部14の内部構成として、例えば受信装置21から時系列的に送信されてくるデータに対応するための構成が示されている。
先ず、図15においては制御装置6におけるデータベース駆動部14の内部構成として、例えば受信装置21から時系列的に送信されてくるデータに対応するための構成が示されている。
この場合、データベース駆動部14は、CPU(Central Processing Unit) 14a、メモリ14b、アドレスカウンタ14c、及びクロック発生器14d等を備えて成るものとされている。CPU14aは、入力画像処理部12から供給される入力情報(半透明面2をCCDカメラ4により撮像して得られる情報)及び受信装置21から供給されるデータ信号に基づいて所要の制御処理を実行可能に構成されている。メモリ14bは、CPU14aが制御処理を実行する際に必要とされる上記入力情報やデータ信号等の各種データや各種演算処理に必要とされるデータを一時保持するために設けられる。このメモリ14bに対するデータの書き込み及び読み出し制御は、アドレスカウンタ14cにより発生された書き込みアドレス及び読み出しアドレスに基づいてCPU14aが実行する。また、CPU14aの処理動作は、クロック14dにより発生される所定周波数のクロックに基づいたタイミングにより実行される。このクロック14dは、例えば水晶発振子を備えて構成される。
また、本実施の形態の情報入出力装置1Bでは、前述のようにデータ信号を赤外線光により強度変調して外部に送信可能とされているが、これに対応して、本実施の形態の制御装置6においてはLED強度変調部19が設けられている。
例えば、所要のデータ信号を送信する必要がある場合、CPU14aは送信すべきデータ信号をLED強度変調部19に対して出力する。LED強度変調部19では、入力されたデータ信号に対して所定方式に従った変調処理を施すことによって、データ信号に応じてそのレベルが変調された駆動信号を生成して出力する。LED強度変調部19では、LED強度変調部19にて生成された駆動信号に基づいて赤外線LEDパネル3のLEDを発光駆動することになるが、これにより、赤外線LEDパネル3は、LEDの発光強度変化によりデータ信号を送信する送信部として機能することになる。
例えば、所要のデータ信号を送信する必要がある場合、CPU14aは送信すべきデータ信号をLED強度変調部19に対して出力する。LED強度変調部19では、入力されたデータ信号に対して所定方式に従った変調処理を施すことによって、データ信号に応じてそのレベルが変調された駆動信号を生成して出力する。LED強度変調部19では、LED強度変調部19にて生成された駆動信号に基づいて赤外線LEDパネル3のLEDを発光駆動することになるが、これにより、赤外線LEDパネル3は、LEDの発光強度変化によりデータ信号を送信する送信部として機能することになる。
このようにして構成される第3の実施の形態としての情報入出力装置1Bの利用例について図16を参照して説明する。
図16においては、ユーザがパーソナルコンピュータ装置40を使用しながら半透明面2の前面に位置している状態が示されている。なお、この図に示されているパーソナルコンピュータ装置40は、先に図14にて説明したものと同様とされ、前述のように背面側にはIDパターンとしての所定の図柄が付けられていると共に、情報入出力装置1B間との通信を可能とするための赤外線通信機能を備えているものとされる。なお、ここでパーソナルコンピュータ装置40に付けられたIDパターンが意味する内容としては、半透明面2に対して接近した対象が、当該情報入出力装置1Bとの対応機能(ここでは少なくとも相互通信可能であることが条件となる)を有するパーソナルコンピュータ装置であることを示すものであればよいものとされる。
図16においては、ユーザがパーソナルコンピュータ装置40を使用しながら半透明面2の前面に位置している状態が示されている。なお、この図に示されているパーソナルコンピュータ装置40は、先に図14にて説明したものと同様とされ、前述のように背面側にはIDパターンとしての所定の図柄が付けられていると共に、情報入出力装置1B間との通信を可能とするための赤外線通信機能を備えているものとされる。なお、ここでパーソナルコンピュータ装置40に付けられたIDパターンが意味する内容としては、半透明面2に対して接近した対象が、当該情報入出力装置1Bとの対応機能(ここでは少なくとも相互通信可能であることが条件となる)を有するパーソナルコンピュータ装置であることを示すものであればよいものとされる。
ここで、例えばユーザが、その背面側を半透明面2に対して対向させるようにして現在操作中のパーソナルコンピュータ装置40を半透明面2に近づけたとする。
上記の状態のもとでは、情報入出力装置1B側の制御装置6において、検出画像情報に基づいて得られる入力情報として、パーソナルコンピュータ装置40の背面にあるIDパターンの情報が得られることになるのであるが、制御装置6のデータベース駆動部14(CPU14a)では、この入力情報として得たIDパターンに応答して、パーソナルコンピュータ装置40に対してその表示データ(現在パーソナルコンピュータ装置40のディスプレイパネルに40bに表示中の画像と同一の画像データ)の送信を要求するため信号を送信する。この送信は、前述のようにして、赤外線LEDパネル3から強度変調によりLEDを発光駆動するようにして行われるものである。
一方、赤外線通信機能を有するパーソナルコンピュータ装置40では、上記のようにして送信される指示信号を受信する。そして、この受信した指示信号に応答して、現在ディスプレイパネル40bに表示中の画像と同一内容の画像データを表示データとして赤外線信号により送信出力する。なお、このとき送信される画像データの形式については特に限定されるものではなく、実際の赤外線送信に適合する形式が任意に選択されてかまわない。
上記の状態のもとでは、情報入出力装置1B側の制御装置6において、検出画像情報に基づいて得られる入力情報として、パーソナルコンピュータ装置40の背面にあるIDパターンの情報が得られることになるのであるが、制御装置6のデータベース駆動部14(CPU14a)では、この入力情報として得たIDパターンに応答して、パーソナルコンピュータ装置40に対してその表示データ(現在パーソナルコンピュータ装置40のディスプレイパネルに40bに表示中の画像と同一の画像データ)の送信を要求するため信号を送信する。この送信は、前述のようにして、赤外線LEDパネル3から強度変調によりLEDを発光駆動するようにして行われるものである。
一方、赤外線通信機能を有するパーソナルコンピュータ装置40では、上記のようにして送信される指示信号を受信する。そして、この受信した指示信号に応答して、現在ディスプレイパネル40bに表示中の画像と同一内容の画像データを表示データとして赤外線信号により送信出力する。なお、このとき送信される画像データの形式については特に限定されるものではなく、実際の赤外線送信に適合する形式が任意に選択されてかまわない。
上記のようにして送信された表示データは、情報入出力装置1Bに設けられた受信装置21にて受信されて制御装置6に対して供給される。制御装置6では、供給された画像データを例えばメモリ14bに対して一時蓄積しながら、適宜、画像生成部16に対して供給することで、例えば、画像生成部16において、プロジェクタ5により表示するのに適合する形式の画像データを生成する。ここで、例えば送信されてくる表示データについて送信に適合させるための所定のエンコード処理や圧縮処理等が施されているのであれば、受信した表示データのデコード処理及び伸張処理等を実行可能なように、上記画像生成部16及びデータベース駆動部14が構成されることになる。
このようにして、画像生成部16にて生成された画像が、画像合成部17、RGB信号生成部18を介してプロジェクタ5に供給されることで、例えば図16に示すようにして、パーソナルコンピュータ装置40のディスプレイパネル40bに表示されているものと同一のモニタ画像GMNが、半透明面2上に対して表示されることになる。
ここで、大型の半透明面2に対しては、ディスプレイパネル40bに表示中の画像を拡大して表示することが可能であり、例えば具体的な利用形態としては、会議などで司会者が手元のパーソナルコンピュータを操作しながら説明を行うことなどが考えられる。
このようにして、画像生成部16にて生成された画像が、画像合成部17、RGB信号生成部18を介してプロジェクタ5に供給されることで、例えば図16に示すようにして、パーソナルコンピュータ装置40のディスプレイパネル40bに表示されているものと同一のモニタ画像GMNが、半透明面2上に対して表示されることになる。
ここで、大型の半透明面2に対しては、ディスプレイパネル40bに表示中の画像を拡大して表示することが可能であり、例えば具体的な利用形態としては、会議などで司会者が手元のパーソナルコンピュータを操作しながら説明を行うことなどが考えられる。
図17は、上述したパーソナルコンピュータ装置40のディスプレイパネル40bに表示中の画像を半透明面2に対して拡大表示するための制御装置6(CPU14a)の処理動作を示すフローチャートである。
この図に示すように、先ずCPU14aは、ステップS501において検出画像情報に基づいて得られる入力情報として何らかのIDパターンが認識されるのを待機している。
そして、ここでIDパターンが認識されたことが識別されると、CPU14aはステップS501に進んで、上記ステップS501において認識したIDパターンが当該情報入出力装置1Bに対応する機能を有するパーソナルコンピュータ装置であることを示すものであるか否かが判別される。この判別処理にあたっては、例えばデータベースメモリ15において、当該情報入出力装置が認識して所要の応答処理をすべきとされる所要のIDパターンのデータが各種格納されているものとされ、CPU14aは、入力されたIDパターンとデータベースメモリ15に格納されているIDパターンのデータを参照するようにされる。
この図に示すように、先ずCPU14aは、ステップS501において検出画像情報に基づいて得られる入力情報として何らかのIDパターンが認識されるのを待機している。
そして、ここでIDパターンが認識されたことが識別されると、CPU14aはステップS501に進んで、上記ステップS501において認識したIDパターンが当該情報入出力装置1Bに対応する機能を有するパーソナルコンピュータ装置であることを示すものであるか否かが判別される。この判別処理にあたっては、例えばデータベースメモリ15において、当該情報入出力装置が認識して所要の応答処理をすべきとされる所要のIDパターンのデータが各種格納されているものとされ、CPU14aは、入力されたIDパターンとデータベースメモリ15に格納されているIDパターンのデータを参照するようにされる。
そして、ステップS502において、入力されたIDパターンは情報入出力装置1Bの対応機能を有するパーソナルコンピュータであることを示す内容でないことが判別された場合には、ステップS506に進み、実際にそのIDパターンが示す内容に従った処理動作を実行してもとのルーチンに戻るようにされる。
これに対して、入力されたIDパターンが当該情報入出力装置1Bの対応機能を有するパーソナルコンピュータであることを示していることが判別された場合には、ステップS503に進み、パーソナルコンピュータに対して表示データの出力を要求するための指示信号を送信してステップS504に進む。
これに対して、入力されたIDパターンが当該情報入出力装置1Bの対応機能を有するパーソナルコンピュータであることを示していることが判別された場合には、ステップS503に進み、パーソナルコンピュータに対して表示データの出力を要求するための指示信号を送信してステップS504に進む。
ステップS504においては、上記ステップS504において送信した指示信号に応答して送信されるべき表示データが受信されたか否かを判別することになる。ここで表示データが受信されたことが判別されれば、ステップS505に進むのであるが、表示データが受信されたことが判別されない場合には、ステップS507→S503→S504の処理を継続して繰り返すことにより、ステップS507において所定時間が経過するまで、表示データ出力要求のための指示信号を送信するようにされる。ここで、ステップS507において所定時間が経過した場合にはもとのルーチンに戻るようにされる、即ち、特にパーソナルコンピュータ装置のモニタ画像GMNを表示する処理を実行しないことになる。このような非表示の処理が実行される場合としては、例えばパーソナルコンピュータ装置に電源が投入されていない、あるいは電源が投入されていたとしても、半透明面2に対するモニタ画像表示機能に対応したアプリケーションソフトウェアが起動していなかったり、パーソナルコンピュータ装置自体に何らかのトラブルが発生していることなどが考えられる。また、このようなことを考慮して、例えばステップS507において肯定結果が得られた場合には、何らかのエラーメッセージを半透明面2に表示させるなどした後にもとのルーチンに戻るようにすることが考えられる。
ステップS505においては、受信した表示データに基づいて、プロジェクタ5により表示可能な形式の画像データを生成し、この生成された画像(モニタ画像GMN)をプロジェクタ5により半透明面2に対して投影表示するための制御処理を実行してもとのルーチンに戻るようにされる。このときにCPU14aが実行すべき処理としては、先に図16においてその動作説明を行ったため、ここではその詳しい説明は省略する。
<5.第4の実施の形態>
図18は、本発明の第4の実施の形態としての情報入出力装置の構成を示している。この図に示す情報入出力装置1Cは、先に図14に示した第3の実施の形態としての情報入出力装置1Bの構成と同様であることから、ここでは同一部分に同一符号を付して説明を省略する。また、本実施の形態としての制御装置6の内部構成も図15の構成と同様でよいものとされる。
本実施の形態においては、受信装置21は、赤外線リモートコントローラ41から送信される赤外線光によるコマンド信号を受信するものとされている。
図18は、本発明の第4の実施の形態としての情報入出力装置の構成を示している。この図に示す情報入出力装置1Cは、先に図14に示した第3の実施の形態としての情報入出力装置1Bの構成と同様であることから、ここでは同一部分に同一符号を付して説明を省略する。また、本実施の形態としての制御装置6の内部構成も図15の構成と同様でよいものとされる。
本実施の形態においては、受信装置21は、赤外線リモートコントローラ41から送信される赤外線光によるコマンド信号を受信するものとされている。
ところで、これまでの説明からわかるように、本発明としての情報入出力装置では、CCDカメラ4により撮像される半透明面2からの赤外線光により得られる検出画像情報から操作情報を得るようにされる。つまり、本実施の形態においては半透明面2からCCDカメラ4に入射する赤外線光の光量に変化が与えられさえすれば、これを操作情報として認識することができることになる。
そこで、この第4の実施の形態においては、図18に示すように赤外線光によりコマンド信号を送信する赤外線リモートコントローラ41をポインティングデバイス及び指示信号の入力装置として使用するものとされる。
例えば、本実施の形態では、ユーザが赤外線リモートコントローラ41に対して所定のキー操作を行って所望のコマンド信号を送信出力させた状態で、このコマンド信号を半透明面2に対して照射し、半透明面2上の所望の位置に対してポインティングを行うようにされる。CCDカメラ4では、これを半透明面2上に現れた単なるスポット光として捉えることになる。そして、このとき検出される検出画像情報としては、赤外線光の照射部分に対応する位置(座標)のレベルが周囲に対して変化することになる。そこで、制御装置6側の入力画像処理部12では、この検出画像情報のレベル変化を所定の意義を有する入力情報として認識するように処理を行えばよいことになる。そして、例えば制御装置6では、このポインティングされた位置に応答して所要の制御処理を実行することができる。このようにして本実施の形態では、先ず、赤外線リモートコントローラ41をポインティングデバイスとして利用することが可能である。
なお、赤外線光は不可視であることから、例えば現在赤外線リモートコントローラ41から半透明面2における赤外線光の照射位置が分かるようにスポットSPなどの表示を半透明面2上に行わせるようにすることが考えられる。この処理は、制御装置6の入力画像処理部12が検出画像情報に基づいて現在赤外線光が照射されている位置(座標)を識別し、この識別された照射位置に対して、プロジェクタ5によるスポットSPの表示が行われるように表示制御を実行することで実現が可能である。
また、これと同時に、赤外線リモートコントローラ41から出射された赤外線光は受信装置21にてコマンド信号として受信されて制御装置6のデータベース駆動部14(CPU14a)に対して伝送されることになる。データベース駆動部14では、上記コマンド信号に応じて、上記した検出画像情報により得られる赤外線スポット光の入力情報に対する応答処理とは異なる、所要の制御処理を実行するように構成することができる。
このように、赤外線リモートコントローラ41を使用した場合には、半透明面2に対するポインティング動作と同時に、コマンド信号による所定の動作制御を同時に実行することが可能となる。
具体的な利用例としては次のような形態が考えられる。例えば、半透明面2上に対して地図を表示させた状態の元で、例えば赤外線リモートコントローラ41に対して画像の拡大又は縮小を行うためのキー操作により赤外線コマンド信号を送信出力するようにされる。そして、このときにはユーザは、この地図上に対して任意の所望の位置をポインティングするようにする。これにより、例えば半透明面2に表示されている地図の画像が、ポインティングした位置を中心に拡大又は縮小されるようにして変化するようにされる。
具体的な利用例としては次のような形態が考えられる。例えば、半透明面2上に対して地図を表示させた状態の元で、例えば赤外線リモートコントローラ41に対して画像の拡大又は縮小を行うためのキー操作により赤外線コマンド信号を送信出力するようにされる。そして、このときにはユーザは、この地図上に対して任意の所望の位置をポインティングするようにする。これにより、例えば半透明面2に表示されている地図の画像が、ポインティングした位置を中心に拡大又は縮小されるようにして変化するようにされる。
<6.第5の実施の形態>
図19は、第5の実施の形態としての情報入出力装置の利用形態例を示す図であり、図14と同一部分については同一符号を付して説明を省略する。なお、この図において赤外線透過フィルタ4aと赤外線遮断フィルタ5aの図示は省略されているが、実際にはCCDカメラ4とプロジェクタ5に対して備えられているものである。また、制御装置6内の構成は、この場合も図15と同様でよいものとされる。
この図においては半透明面2はテーブルとして設置されている。つまり、4本のテーブル脚F,F,F,Fにより支持されることにより、通常の家具としてのテーブルの天面としても機能している。この場合、半透明面2の下面側に対して図のように赤外線LEDパネル3、CCDカメラ4、プロジェクタ5(及び制御装置6)が設けられる。なお、この場合には制御装置6の設置位置は特に半透明面2の下面側である必要はなく、例えば透明面2(テーブル)の下面側のスペースに余裕を与えることを考慮して、これ以外の位置に設置することも考えられる。
図19は、第5の実施の形態としての情報入出力装置の利用形態例を示す図であり、図14と同一部分については同一符号を付して説明を省略する。なお、この図において赤外線透過フィルタ4aと赤外線遮断フィルタ5aの図示は省略されているが、実際にはCCDカメラ4とプロジェクタ5に対して備えられているものである。また、制御装置6内の構成は、この場合も図15と同様でよいものとされる。
この図においては半透明面2はテーブルとして設置されている。つまり、4本のテーブル脚F,F,F,Fにより支持されることにより、通常の家具としてのテーブルの天面としても機能している。この場合、半透明面2の下面側に対して図のように赤外線LEDパネル3、CCDカメラ4、プロジェクタ5(及び制御装置6)が設けられる。なお、この場合には制御装置6の設置位置は特に半透明面2の下面側である必要はなく、例えば透明面2(テーブル)の下面側のスペースに余裕を与えることを考慮して、これ以外の位置に設置することも考えられる。
また、この図においては情報入出力装置1Dとは別にテレビジョン受像器TVが設置されている。このテレビジョン受像器TVに対しては、例えば次に説明するスライダ操作子50やボリューム操作子51を操作することによって、例えば音量調整をはじめとする所定の動作制御が行えるように構成される。このため、本実施の形態では、制御装置6からテレビジョン受像器TVの動作をコントロールするためのコマンド信号が伝送可能な構成を採ることになる。図19では、制御装置6から供給されたコマンド信号をテレビジョン受像器TVに供給するための制御ラインが示されているが、無線によりコマンド信号を送信するように構成されてもかまわない。
図19では、操作子としてスライダ操作子50及びボリューム操作子51が置かれるようにして適当に配置されている。これらスライダ操作子30及びボリューム操作子51は、それぞれ本体に設けられたスライダあるいはボリューム等の操作子の操作に応じた赤外線コマンド信号が底面側から外部に対して送信されるようになっている。
ここで、例えばスライダ操作子50を半透明面2上(テーブル面上)に配置した状態でユーザがこれを操作したとすると、その操作に従った赤外線コマンド信号がスライダ操作子50の底面から半透明面2に対して照射されるようにして出力されることになる。この赤外線コマンド信号は、半透明面2を介して受信装置21で受信され制御装置6に対して供給される。
ここで、仮にスライダ操作子50の操作により、テレビジョン受像器TVの音量を調整可能に構成されているとすると、制御装置6では、入力されたコマンド信号に基づいて、テレビジョン受像器TVの音量をコントロールするためのコマンド信号を生成して、テレビジョン受像器TVに対して送信出力するようにされる。これにより、テレビジョン受像器TVでは、ユーザがスライダ操作子50に対して行った操作に対応して音量が変化するように動作することになる。なお、上記と同様にして、スライダ操作子50やボリューム操作子51を操作することによって、例えばテレビジョン受像器TVの音量だけでなく、チャンネル切り替えや、画質に関する調整等を行うように構成することも可能である。このような動作を実現するのにあたっては、例えば制御装置6内のデータベースメモリ14に対して、当該情報入出力装置によりテレビジョン受像機TVに対する操作を可能とするためのプログラムが格納されることになる。
なお、当然のこととして当該情報入出力装置1Dにより動作制御が可能な外部機器はテレビジョン受像機に限定されるものではなく、他の各種電子機器に対しても操作が可能なように構成することが可能である。
ここで、仮にスライダ操作子50の操作により、テレビジョン受像器TVの音量を調整可能に構成されているとすると、制御装置6では、入力されたコマンド信号に基づいて、テレビジョン受像器TVの音量をコントロールするためのコマンド信号を生成して、テレビジョン受像器TVに対して送信出力するようにされる。これにより、テレビジョン受像器TVでは、ユーザがスライダ操作子50に対して行った操作に対応して音量が変化するように動作することになる。なお、上記と同様にして、スライダ操作子50やボリューム操作子51を操作することによって、例えばテレビジョン受像器TVの音量だけでなく、チャンネル切り替えや、画質に関する調整等を行うように構成することも可能である。このような動作を実現するのにあたっては、例えば制御装置6内のデータベースメモリ14に対して、当該情報入出力装置によりテレビジョン受像機TVに対する操作を可能とするためのプログラムが格納されることになる。
なお、当然のこととして当該情報入出力装置1Dにより動作制御が可能な外部機器はテレビジョン受像機に限定されるものではなく、他の各種電子機器に対しても操作が可能なように構成することが可能である。
また、スライダ操作子50やボリューム操作子51の操作により制御可能なのは外部機器に限定されるものではない。図19での図示は省略しているが、例えば、プロジェクタ5により半透明面2に表示された何らかの画像について、上記のような操作子の操作に従って移動させたり拡大、縮小したりさせるなどして変
化を与えることができるように構成することも考えられる。
化を与えることができるように構成することも考えられる。
<7.第6の実施の形態>
図20は、第6の実施の形態としての情報入出力装置の利用形態例を示している。なおこの図に示す実施の形態についても、図14と同一部分については同一符号を付して説明を省略する。また、この図においても赤外線透過フィルタ4aと赤外線遮断フィルタ5aの図示を省略しているが、実際にはCCDカメラ4とプロジェクタ5に対して備えられており、制御装置6内の構成も例えば図15と同様でよいものとされる。
図20は、第6の実施の形態としての情報入出力装置の利用形態例を示している。なおこの図に示す実施の形態についても、図14と同一部分については同一符号を付して説明を省略する。また、この図においても赤外線透過フィルタ4aと赤外線遮断フィルタ5aの図示を省略しているが、実際にはCCDカメラ4とプロジェクタ5に対して備えられており、制御装置6内の構成も例えば図15と同様でよいものとされる。
この場合には、ユーザが携帯用電子ペット育成装置42を手に持って半透明面2の前面に位置している状態が示されている。携帯用電子ペット育成装置42は、例えば、ペットとしての何らかの生物を育成する携帯用のゲーム機とされ、この場合には、赤外線によりデータ送信を行う赤外線データ送信機能を有するものとされる。
ここで、例えばユーザが携帯用電子ペット育成装置42に対して所要の操作を行うことによって、赤外線データ信号を送信出力させたとする。ここでは、赤外線データ信号として送信される情報内容としては、例えば、この送信信号の送信元が携帯用電子ペット育成装置であることを示す情報のほか、現在の電子ペットの成長状態に関する所要の情報(パラメータ)が含まれているものとする。
ここで、例えばユーザが携帯用電子ペット育成装置42に対して所要の操作を行うことによって、赤外線データ信号を送信出力させたとする。ここでは、赤外線データ信号として送信される情報内容としては、例えば、この送信信号の送信元が携帯用電子ペット育成装置であることを示す情報のほか、現在の電子ペットの成長状態に関する所要の情報(パラメータ)が含まれているものとする。
上記赤外線データ信号は、受信装置21により受信されて制御装置6のCPU14aに供給される。
本実施の形態においては、データベースメモリ15に対して例えば電子ペットの成長段階に応じた表示データが格納されているものとされる。制御装置6のCPU14aは赤外線データ信号を受信して得られたデータ内容に基づいて、先ず、送信もとが携帯用電子ペット育成装置であることを認識することになるが、続いて、受信したデータ内容から現在のペットの育成状況に関する所定のパラメータの状態を識別し、これらのパラメータを参照することにより必要となる表示データをデータべースメモリ15から読み出すようにされる。この表示データは、現在の育成状況に関するパラメータに応じて、実際の電子ペットの成長状態を画像として表現するためのデータとされる。
本実施の形態においては、データベースメモリ15に対して例えば電子ペットの成長段階に応じた表示データが格納されているものとされる。制御装置6のCPU14aは赤外線データ信号を受信して得られたデータ内容に基づいて、先ず、送信もとが携帯用電子ペット育成装置であることを認識することになるが、続いて、受信したデータ内容から現在のペットの育成状況に関する所定のパラメータの状態を識別し、これらのパラメータを参照することにより必要となる表示データをデータべースメモリ15から読み出すようにされる。この表示データは、現在の育成状況に関するパラメータに応じて、実際の電子ペットの成長状態を画像として表現するためのデータとされる。
そして、CPU14aは、データべースメモリ15から読み出した表示データに基づいて、プロジェクタ5により半透明面2に対して投影表示が行われるように表示制御を実行する。これにより、ユーザが所持している携帯用電子ペット育成装置42において現在育成されている電子ペットの画像が、半透明面2に対して表示されることになり、ユーザは自分が育成している電子ペットの成長状態を半透明面2に表示された画像により観察することができる。
例えば、携帯用電子ペット育成装置42に備えられている表示パネル(例えば液晶表示パネルなどが用いられる)によっても電子ペットの成長状態を観察することはできるが、通常は表示パネルの画面は小さく、また、画素数も少ないため、比較的簡略化された図柄の状態によってでしか電子ペットを表現することができない。これに対して、上記のような構成によって半透明面2に対して電子ペットを表示させる場合、大画面化された半透明面2に対して電子ペットを拡大して表示することが可能となるのに加え、携帯用電子ペット育成装置とは独立して、データべースメモリ15に対して表示用データを格納することが可能であるため、半透明面2に表示させるべき電子ペットの画像としては、より高い精細度により表現することが可能となる。
ところで、これまで説明してきた各実施の形態の情報入出力装置としては、例えばその構成から赤外線LEDパネル3を省略することも可能であるが、これについて、本発明の情報入出力装置の基本的構成を示した図1を例に挙げて説明する。
たとえば、本発明に基づく情報入出力装置を屋外などの外光の強い環境で使用する場合、たとえば日中の自然光に含まれる赤外線が強いために、図1に示すような赤外線LEDパネル3から照射される赤外線光を入力情報検出用の光源とする構成では、赤外線LEDパネル3から照射される赤外線光の強度が自然光に含まれる赤外線に対して相対的に弱まるので、場合によっては適切な入力情報の検出が行われない(つまり入力情報を認識可能な適正な検出画像情報が得られない)可能性がある。
そこで、このような場合には、赤外線LEDパネル3を省略し、その代わりに自然光に含まれる赤外線光を入力情報検出用の光源として利用することができる。
この場合、検出画像情報を得るために必要な基準入力画像レベルLintは、例えば接近体及び操作体等の検出対象が無い(半透明面2に対して何の操作も行われていない)とされる状態のもとで、その前面側から半透明面2を透過してCCDカメラ4において撮像される撮像信号から得た画像情報に基づいて検出するようにされる。
たとえば、本発明に基づく情報入出力装置を屋外などの外光の強い環境で使用する場合、たとえば日中の自然光に含まれる赤外線が強いために、図1に示すような赤外線LEDパネル3から照射される赤外線光を入力情報検出用の光源とする構成では、赤外線LEDパネル3から照射される赤外線光の強度が自然光に含まれる赤外線に対して相対的に弱まるので、場合によっては適切な入力情報の検出が行われない(つまり入力情報を認識可能な適正な検出画像情報が得られない)可能性がある。
そこで、このような場合には、赤外線LEDパネル3を省略し、その代わりに自然光に含まれる赤外線光を入力情報検出用の光源として利用することができる。
この場合、検出画像情報を得るために必要な基準入力画像レベルLintは、例えば接近体及び操作体等の検出対象が無い(半透明面2に対して何の操作も行われていない)とされる状態のもとで、その前面側から半透明面2を透過してCCDカメラ4において撮像される撮像信号から得た画像情報に基づいて検出するようにされる。
そして、例えば半透明面2に対して何らかの操作等が行われるとすると、このときの半透明面2における接近体及び操作体などの部分をCCDカメラ4側からみた場合には、接近体及び操作体などにより自然光の赤外線が遮られることから、これを自然光に含まれる赤外線光の影として見ることができる。このような場合、本実施の形態の制御装置6では、基準入力画像レベルLintに対して、画像レベルがより低くなる(暗くなる)ようにして変化する画像情報を入力情報として扱うことになる。この場合、図2に示す制御装置6の内部構成としては、赤外線LEDパネル3が省略されたことに応じて、LED駆動部10が設けられないことになる。
また、これまで説明してきた各実施の形態において、例えば赤外線LEDパネル3の代わりにマイクロ波発生器を設け、また、CCDカメラ4の代わりにマイクロ波受信器を設けて構成することも考えられる。
この場合、図2に示す制御装置6を例に採れば、LED駆動部10の代わりに、マイクロ波発生器を駆動するためのマイクロ波駆動回路が備えられる。また、マイクロ波受信器から供給される受信マイクロ波を入力して例えば所定形式のデータに変換して出力する画像信号入力回路と、この画像信号入力回路から供給されるマイクロ波の受信データを入力して所要の処理を行うことにより、例えば検出画像情報を得ると共にこの検出画像情報に基づいて操作情報を得る入力データ処理回路が設けられる必要がある。画像信号入力回路及び入力データ処理回路は、それぞれ図2に示す画像入力部11及び入力画像処理部12に代わる機能回路部である。また、操作情報検出用の媒体としてマイクロ波を利用するため、CCDカメラ4に備えられた赤外線透過フィルタ4aや、プロジェクタ5に備えられた赤外線遮断フィルタ5aは不要となる。
この場合、図2に示す制御装置6を例に採れば、LED駆動部10の代わりに、マイクロ波発生器を駆動するためのマイクロ波駆動回路が備えられる。また、マイクロ波受信器から供給される受信マイクロ波を入力して例えば所定形式のデータに変換して出力する画像信号入力回路と、この画像信号入力回路から供給されるマイクロ波の受信データを入力して所要の処理を行うことにより、例えば検出画像情報を得ると共にこの検出画像情報に基づいて操作情報を得る入力データ処理回路が設けられる必要がある。画像信号入力回路及び入力データ処理回路は、それぞれ図2に示す画像入力部11及び入力画像処理部12に代わる機能回路部である。また、操作情報検出用の媒体としてマイクロ波を利用するため、CCDカメラ4に備えられた赤外線透過フィルタ4aや、プロジェクタ5に備えられた赤外線遮断フィルタ5aは不要となる。
このように、それが照射された物体に反射する性質を有するマイクロ波のような媒体を操作情報の検出に利用するように構成しても、これまで説明してきた実施の形態(赤外線を入力情報の検出に利用した例)と同様にして本発明としての情報入力装置を構成することが可能である。
なお、このような構成において、例えば図8の説明に準じてIDパターンを認識させようとした場合には、例えばマイクロ波を反射する材質面と、これを吸収する材質面とを組み合わせるようにして図8に示したのと同等のIDパターンを形成するようにすればよい。
なお、このような構成において、例えば図8の説明に準じてIDパターンを認識させようとした場合には、例えばマイクロ波を反射する材質面と、これを吸収する材質面とを組み合わせるようにして図8に示したのと同等のIDパターンを形成するようにすればよい。
また、本発明に基づいて構成される情報入出力装置において各種入出力動作を実現するための入力情報の入力形態及び入力情報に応じた制御処理動作は、これまでの説明の内容に限定されるものではなく、本発明としての情報入出力装置の利点を活かした情報入力方法や制御処理方法等は他にも各種考えられるものである。また、図1においては音声出力系の図示は省略したが、本発明の実施の形態としての情報入出力装置において、各種インタラクティブな応答を音声により行うことは当然考えられる。
1,1A,1B,1C,1D 情報入出力装置、2 半透明面、3 赤外線LEDパネル、4 CCDカメラ、5 プロジェクタ、6 制御装置、10 LED駆動部、11 画像入力部、12 入力画像処理部、13 しきい値制御部、14 データベース駆動部、15 データベースメモリ、16 画像生成部、17 画像合成部、18 RGB信号生成部、20 ID認識装置、21 受信装置、30 IDカード、30a,31a IDパターン、31 書類フォルダ、40 パーソナルコンピュータ装置、40a ディスプレイパネル、41 赤外線リモートコントローラ、42 携帯用電子ペット育成装置、50 スライダ操作子、51 ボリューム操作子、TV テレビジョン受像機、
Claims (8)
- 入力情報に応答した所要の情報出力を行う情報入出力装置において、
半透明面と、
上記半透明面側の方向から入射する所定の波長帯域の光又は電磁波のみを像として捉える撮像手段と、
上記撮像手段が受像すべき所定の波長帯域の光又は電磁波を、当該光又は電磁波が上記半透明面を透過しその後上記半透明面前の空間の操作体で反射して上記半透明面側に戻るように、上記半透明面に輻射する輻射手段と、
上記半透明面前の空間の操作体により上記光又は電磁波が反射されたことに伴う上記撮像手段から入力された撮像信号の変化に基づいて、上記操作体により上記光又は電磁波が反射されている上記半透明面上における座標位置を検出する検出手段と、
上記撮像手段が撮像すべき光又は電磁波の波長帯域を含まない可視光による画像を上記半透明面に対して投影表示可能に設けられる投影表示手段と、
少なくとも入力情報として上記座標位置が入力可能とされ、この座標位置に応答した情報出力として、少なくとも上記半透明面に対して所要の内容の画像を投影表示するための上記投影表示手段に対する表示制御を含む所要の制御処理を実行可能とされる制御処理手段と、
上記操作体から情報を受信することができる受信部と、
を備え、
上記受信部によって上記操作体から画像情報を受信し、
上記制御処理手段は、上記半透明面に対して上記受信部により受信した画像情報を投影表示するための上記投影表示手段に対する表示制御処理を実行する
情報入出力装置。 - 上記制御処理手段は、上記操作体からの画像情報に基いて、上記輻射手段を制御して上記所定の波長帯域の光又は電磁波に対して強度変調を施し、該光又は電磁波によるデータ送信を行うことを特徴とする請求項1に記載の情報入出力装置。
- 上記制御処理手段によるデータ送信は、上記操作体に対して行われるものであることを特徴とする請求項2に記載の情報入出力装置。
- 上記操作体からの画像情報は、該操作体を識別するID情報を含むものであることを特徴とする請求項2に記載の情報入出力装置。
- 上記制御処理手段は、上記データ送信によって上記操作体に画像情報送信要求を行い、上記受信部により受信した該画像情報を投影表示するための上記投影表示手段に対する表示制御処理を実行することを特徴とする請求項2に記載の情報入出力装置。
- 上記制御処理手段による上記操作体に対する画像情報送信要求は、上記操作体の表示手段に表示されている画像情報の送信要求であることを特徴とする請求項5に記載の情報入出力装置。
- 上記制御処理手段は、上記送信要求によって上記受信部により受信した該画像情報を拡大表示が可能なよう上記投影表示手段に対する表示制御処理を実行することを特徴とする請求項5に記載の情報入出力装置。
- 入力情報に応答した所要の情報出力を行う情報入出力装置の情報入出力方法において、
半透明面側の方向から入射する所定の波長帯域の光又は電磁波のみを像として捉える撮像動作と、
上記撮像動作において受像すべき所定の波長帯域の光又は電磁波を、当該光又は電磁波が上記半透明面を透過しその後上記半透明面前の空間の操作体で反射して上記半透明面側に戻るように、上記半透明面に輻射する輻射動作と、
上記半透明面前の空間の操作体により上記光又は電磁波が反射されたことに伴う上記撮像動作から入力された撮像信号の変化に基づいて、上記操作体により上記光又は電磁波が反射されている上記半透明面上における座標位置を検出する検出処理と、
上記撮像動作において撮像すべき光又は電磁波の波長帯域を含まない可視光による画像を上記半透明面に対して投影表示する投影表示処理と、
少なくとも入力情報として上記座標位置が入力可能とされ、この座標位置に応答した情報出力として、少なくとも上記半透明面に対して所要の内容の画像を投影表示するための上記投影表示処理に対する表示制御を含む所要の処理を実行する制御処理と、
上記操作体から情報を受信する受信処理と、
を実行し、
上記受信処理によって上記操作体から画像情報を受信し、
上記制御処理処理は、上記半透明面に対して上記受信処理によって受信した画像情報を投影表示するための上記投影表示処理に対する表示制御処理を実行する
情報入出力方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008308520A JP2009140498A (ja) | 2008-12-03 | 2008-12-03 | 情報入出力装置及び情報入出力方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008308520A JP2009140498A (ja) | 2008-12-03 | 2008-12-03 | 情報入出力装置及び情報入出力方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP21166097A Division JP4296607B2 (ja) | 1997-08-06 | 1997-08-06 | 情報入出力装置及び情報入出力方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009140498A true JP2009140498A (ja) | 2009-06-25 |
Family
ID=40870977
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008308520A Pending JP2009140498A (ja) | 2008-12-03 | 2008-12-03 | 情報入出力装置及び情報入出力方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009140498A (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011086029A (ja) * | 2009-10-14 | 2011-04-28 | Seiko Epson Corp | 位置検出機能付き投射型表示装置 |
CN102063223A (zh) * | 2009-11-17 | 2011-05-18 | 夏普株式会社 | 指示装置和电子设备 |
JP2012108425A (ja) * | 2010-11-19 | 2012-06-07 | Dainippon Printing Co Ltd | 表示装置 |
JP2013114467A (ja) * | 2011-11-29 | 2013-06-10 | Nikon Corp | 表示システム、表示方法およびプログラム |
JP2014142664A (ja) * | 2014-04-17 | 2014-08-07 | Seiko Epson Corp | プロジェクターおよび制御方法 |
JP2015088050A (ja) * | 2013-10-31 | 2015-05-07 | 船井電機株式会社 | プロジェクタ装置 |
JP2015146026A (ja) * | 2015-03-06 | 2015-08-13 | 大日本印刷株式会社 | 表示装置 |
CN105474092A (zh) * | 2013-08-26 | 2016-04-06 | 索尼公司 | 具有图像拾取功能的投影显示器 |
JP2016526176A (ja) * | 2013-05-02 | 2016-09-01 | トムソン ライセンシングThomson Licensing | モバイル機器のための折り畳み式投影スクリーンを備えた背面投影システム |
CN109328358A (zh) * | 2018-09-17 | 2019-02-12 | 深圳市汇顶科技股份有限公司 | 屏下光学检测***、电子设备及其物体接近检测方法 |
CN109691069A (zh) * | 2018-09-17 | 2019-04-26 | 深圳市汇顶科技股份有限公司 | 屏下光学检测***、电子设备及物体接近检测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06110986A (ja) * | 1992-04-14 | 1994-04-22 | Olympus Optical Co Ltd | 内視鏡ファイル装置 |
JPH0876082A (ja) * | 1994-06-28 | 1996-03-22 | Sharp Corp | 投影表示装置 |
JPH09204262A (ja) * | 1996-01-24 | 1997-08-05 | Nippon Telegr & Teleph Corp <Ntt> | 情報入力方法 |
WO1997030416A1 (en) * | 1996-02-16 | 1997-08-21 | Thomson Training & Simulation Ltd. | A method and system for determining the point of contact of an object with a screen |
JPH1153111A (ja) * | 1997-08-06 | 1999-02-26 | Sony Corp | 情報入出力装置 |
-
2008
- 2008-12-03 JP JP2008308520A patent/JP2009140498A/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06110986A (ja) * | 1992-04-14 | 1994-04-22 | Olympus Optical Co Ltd | 内視鏡ファイル装置 |
JPH0876082A (ja) * | 1994-06-28 | 1996-03-22 | Sharp Corp | 投影表示装置 |
JPH09204262A (ja) * | 1996-01-24 | 1997-08-05 | Nippon Telegr & Teleph Corp <Ntt> | 情報入力方法 |
WO1997030416A1 (en) * | 1996-02-16 | 1997-08-21 | Thomson Training & Simulation Ltd. | A method and system for determining the point of contact of an object with a screen |
JP2000506643A (ja) * | 1996-02-16 | 2000-05-30 | トムソン・トレイニング・アンド・シミュレイション・リミテッド | スクリーンと物体の接触点を決定する方法及びそのシステム |
JPH1153111A (ja) * | 1997-08-06 | 1999-02-26 | Sony Corp | 情報入出力装置 |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011086029A (ja) * | 2009-10-14 | 2011-04-28 | Seiko Epson Corp | 位置検出機能付き投射型表示装置 |
CN102063223A (zh) * | 2009-11-17 | 2011-05-18 | 夏普株式会社 | 指示装置和电子设备 |
CN102063223B (zh) * | 2009-11-17 | 2014-01-08 | 夏普株式会社 | 指示装置和电子设备 |
JP2012108425A (ja) * | 2010-11-19 | 2012-06-07 | Dainippon Printing Co Ltd | 表示装置 |
JP2013114467A (ja) * | 2011-11-29 | 2013-06-10 | Nikon Corp | 表示システム、表示方法およびプログラム |
JP2016526176A (ja) * | 2013-05-02 | 2016-09-01 | トムソン ライセンシングThomson Licensing | モバイル機器のための折り畳み式投影スクリーンを備えた背面投影システム |
CN105474092A (zh) * | 2013-08-26 | 2016-04-06 | 索尼公司 | 具有图像拾取功能的投影显示器 |
CN105474092B (zh) * | 2013-08-26 | 2019-02-01 | 索尼公司 | 具有图像拾取功能的投影显示器 |
CN109922323A (zh) * | 2013-08-26 | 2019-06-21 | 索尼公司 | 具有图像拾取功能的投影显示器 |
CN109922323B (zh) * | 2013-08-26 | 2021-08-06 | 索尼公司 | 具有图像拾取功能的投影显示器 |
JP2015088050A (ja) * | 2013-10-31 | 2015-05-07 | 船井電機株式会社 | プロジェクタ装置 |
JP2014142664A (ja) * | 2014-04-17 | 2014-08-07 | Seiko Epson Corp | プロジェクターおよび制御方法 |
JP2015146026A (ja) * | 2015-03-06 | 2015-08-13 | 大日本印刷株式会社 | 表示装置 |
CN109328358A (zh) * | 2018-09-17 | 2019-02-12 | 深圳市汇顶科技股份有限公司 | 屏下光学检测***、电子设备及其物体接近检测方法 |
CN109691069A (zh) * | 2018-09-17 | 2019-04-26 | 深圳市汇顶科技股份有限公司 | 屏下光学检测***、电子设备及物体接近检测方法 |
WO2020056939A1 (zh) * | 2018-09-17 | 2020-03-26 | 深圳市汇顶科技股份有限公司 | 屏下光学检测***、电子设备及物体接近检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009140498A (ja) | 情報入出力装置及び情報入出力方法 | |
US20230205151A1 (en) | Systems and methods of gestural interaction in a pervasive computing environment | |
JP3968477B2 (ja) | 情報入力装置及び情報入力方法 | |
JP3997566B2 (ja) | 描画装置、及び描画方法 | |
CN103092432B (zh) | 人机交互操作指令的触发控制方法和***及激光发射装置 | |
JP5154446B2 (ja) | 対話型入力システム | |
JP4513830B2 (ja) | 描画装置、及び描画方法 | |
KR20060132219A (ko) | 광원의 신호를 사용하여 포인팅 사용자 인터페이스를구현하는 장치 및 방법 | |
JP2009134718A5 (ja) | ||
US20090115722A1 (en) | Apparatus and method for tracking a light pointer | |
CN102945091B (zh) | 一种基于激光投影定位的人机交互方法与*** | |
US20150205376A1 (en) | Position detecting device, position detecting system, and controlling method of position detecting device | |
CN109375793A (zh) | 输入装置、显示***及输入方法 | |
JP4296607B2 (ja) | 情報入出力装置及び情報入出力方法 | |
US20160070410A1 (en) | Display apparatus, electronic apparatus, hand-wearing apparatus and control system | |
CN110308825A (zh) | 显示装置以及显示装置的控制方法 | |
CN105468210B (zh) | 位置检测装置、投影仪以及位置检测方法 | |
JP2020135096A (ja) | 表示方法、表示装置、及び、インタラクティブプロジェクター | |
US10795467B2 (en) | Display device, electronic blackboard system, and user interface setting method | |
JP4712754B2 (ja) | 情報処理装置及び情報処理方法 | |
JP2007272927A (ja) | 情報入出力装置、及び情報入出力方法 | |
JP4687820B2 (ja) | 情報入力装置及び情報入力方法 | |
KR20180036205A (ko) | 시뮬레이션용 스마트 테이블 장치 | |
JP2013218423A (ja) | 指向性映像コントロール装置及びその方法 | |
JP4296606B2 (ja) | 電子装置及び表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100608 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100802 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110118 |