JP2004326188A

JP2004326188A - Large screen touch panel system and search/display system

Info

Publication number: JP2004326188A
Application number: JP2003116122A
Authority: JP
Inventors: Lopez Roberto; ロベルトロペス; Mignonneau Laurent; ローランミニョーノ; Sommerer Christa; クリスタソムラー
Original assignee: ATR Advanced Telecommunications Research Institute International
Current assignee: ATR Advanced Telecommunications Research Institute International
Priority date: 2003-04-21
Filing date: 2003-04-21
Publication date: 2004-11-18
Anticipated expiration: 2023-04-21
Also published as: JP4033802B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a large screen touch panel allowing touch input via a large screen. <P>SOLUTION: In this large screen touch panel system 10 including a plastic screen 12, the screen is irradiated with an infrared light source 18 from the front side of the screen 12, and in this condition, a person touches the screen manually. A camera 22 photographs the back face of the screen 12 via a mirror 20 and gives its image signal to a computer 26. On the basis of this image signal, a shaded area, in which the infrared ray is cut off by a hand, is detected by the computer 26. When the shaded area has a proper size (a size of the hand, for example), the coordinates of the shade area center are detected as a touched position on the screen 12. In this way, the large screen can be used as a touch panel. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【産業上の利用分野】
この発明は大画面タッチパネルシステムおよび検索・表示システムに関し、特にたとえば、人間が大画面スクリーンの前に立ち人間の手でタッチすることによって大画面上の座標を獲得できる、新規な大画面タッチパネルシステムとそれを利用する検索・表示システムに関する。
【０００２】
【従来の技術】
従来、たとえばＣＲＴの画面上の任意の点をたとえばスタイラスペンや人間の指でタッチすることにより、その点の画面上での位置（座標）を得ることができる、いわゆるタッチパネルが実用に供されている。
【０００３】
このようなタッチパネルとしては、ＣＲＴ画面へのタッチを検出する方式で分類すると、抵抗膜方式、光電方式などがある。
【０００４】
抵抗膜方式では、Ｘ方向電極が形成された透明シートとＹ方向電極が形成された透明シートとを積層し、指やペンで押すと２枚のシート上の１対の電極が導通し、それによって座標を検知することができる。また、光電方式では、画面上のＬＥＤアレイと受光素子アレイから構成される赤外線ビーム格子内にタッチすると２本の直交ビームが遮断され、その位置から座標を検出する。
【０００５】
【発明が解決しようとする課題】
この種の従来のタッチパネルはいずれも、たとえばＣＲＴやＬＣＤ程度のサイズを前提とするものであり、それを大画面化するためには、電極数を多くしたり、ＬＥＤや受光素子数を多くするなどが必要であり、したがって、非常に高価になってしまう。
【０００６】
それゆえに、この発明の主たる目的は、大画面スクリーンでタッチ入力が可能な、新規な大画面タッチパネルを提供することである。
【０００７】
【課題を解決するための手段】
この発明に従った大画面タッチパネルシステムは、次のものを備える：赤外光を透過できる材料からなるスクリーン、スクリーンの前方からスクリーンの前面に赤外光を照射する赤外光源、スクリーンの後方に設けられてスクリーンの背面を撮影する赤外カメラ、赤外カメラからの映像信号に基づいて赤外光が遮られた遮光領域を検出する遮光領域検出手段、検出手段によって検出された遮光領域のサイズを計測するサイズ計測手段、およびサイズ計測手段によって計測されたサイズが一定範囲内の遮光領域の座標データを出力する座標データ出力手段。
【０００８】
請求項２は請求項１に従属し、スクリーンの後方にミラーをさらに設け、赤外カメラはミラーを通してスクリーンの背面全面を撮影する、大画面タッチパネルシステムである。
【０００９】
請求項３は請求項１または２に従属し、座標データは遮光領域の中心座標データである、大画面タッチパネルシステムである。
【００１０】
請求項４は請求項３に従属し、座標データを正規化するための正規化手段をさらに備え、中心座標は正規化された中心座標である、大画面タッチパネルシステムである。
【００１１】
この発明は、赤外光を透過できる材料からなるスクリーン、スクリーンの前方からスクリーンの前面に赤外光を照射する赤外光源、スクリーンの後方に設けられてスクリーンの背面を撮影する赤外カメラ、および赤外カメラからの映像信号を受けるコンピュータを備え、コンピュータは赤外カメラからの映像信号に基づいて赤外光が遮られた遮光領域を検出する遮光領域検出ステップ、検出された遮光領域のサイズを計測するサイズ計測ステップ、および計測されたサイズが一定範囲内の遮光領域の座標データを出力する座標データ出力ステップを実行する、大画面タッチパネルシステム。
【００１２】
なお、たとえば人間の手から出力される赤外光を直接検出する場合には、この発明は、赤外光を透過できる材料からなるスクリーン、スクリーンの後方に設けられてスクリーンの背面を撮影する赤外カメラ、赤外カメラからの映像信号に基づいて赤外光の存在する領域赤外光領域を検出する赤外光領域検出手段、検出手段によって検出された赤外光領域のサイズを計測するサイズ計測手段、およびサイズ計測手段によって計測されたサイズが一定範囲内の赤外光領域の座標データを出力する座標データ出力手段を備える、大画面タッチパネルシステムである。
【００１３】
この発明に従った検索・表示システムは、赤外光を透過できる材料からなるスクリーン、スクリーンの前方からスクリーンの前面に赤外光を照射する赤外光源、スクリーンの後方に設けられてスクリーンの背面を撮影する赤外カメラ、記スクリーンの後方に設けられてスクリーンの背面に映像を投影するプロジェクタ、およびコンピュータを備え、コンピュータは関連するメモリを有し、メモリには第１情報と第１情報に関連する第２情報とを蓄積しておき、コンピュータは第２情報をプロジェクタによってスクリーン上に映写させる第２情報映写ステップ、第２情報がスクリーン上に映写されている状態で赤外カメラからの映像信号に基づいて赤外光が遮られた遮光領域を検出する遮光領域検出ステップ、検出された遮光領域のサイズを計測するサイズ計測ステップ、および計測されたサイズが一定範囲内の遮光領域の座標データが第２情報の表示位置に相関するとき、第２情報に関連する第１情報をプロジェクタによってスクリーン上に映写させるステップを実行する、検索・表示システムである。
【００１４】
【作用】
スクリーンの前方に人間が立って、人間が手によってスクリーンに直接タッチすると、その手や人間の体によって遮光領域が形成されるが、サイズが適正な遮光領域、この場合であれば、手によって形成された遮光領域（黒領域）が検出され、当該領域のたとえば中心座標データが、タッチ位置データとして出力される。
【００１５】
このような大画面タッチパネルシステムは、検索・表示システムとして利用できるが、この検索・表示システムでは、コンピュータのメモリに第１情報（たとえば、静止画像）とその第１情報に関連する第２情報（たとえば、サムネイル画像）とを蓄積しておく。そして、コンピュータはプロジェクタによって、第２情報をスクリーン上に映写させる。その第２情報をポインティングしようとして人間が手でスクリーンをタッチすると、上述のようにしてタッチ位置が検出される。このタッチ位置とサムネイム画像の表示位置とが一定の関係あるとき、そのサムネイル画像（第２情報）に関連する静止画像（第１情報）をスクリーン上に映写させる。
【００１６】
【発明の効果】
この発明によれば、非常に大きいサイズのスクリーンでも、それぞれをタッチスクリーン（タッチパネル）にすることができ、複数の人間が手でスクリーンを直接タッチすることによって、スクリーン上の位置をポインティングすることができる。したがって、従来の小画面のタッチパネルに比べて、たとえば多人数参加のイベント会場における検索・表示システムなどの非常に広範な用途に利用可能である。
【００１７】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【００１８】
【実施例】
図１に示すこの実施例の大画面タッチパネルシステム１０は、たとえば２５０×１８０ｃｍ程度のサイズのプラスチックスクリーン１２を含む。ただし、このサイズは単なる一例であり、用途に応じて任意に変更可能である。プラスチックスクリーン１２は、赤外光透過可能材料、たとえばポリカーボネイトなどのプラスチックからなり、全体としてたとえば乳白色である。ただし、このプラスチックスクリーン１２は完全な透明ではない。なぜなら、このプラスチックスクリーン１２は、後述のプロジェクタ３０から映像を映写するための投影スクリーンとして機能する必要があるからである。また、このプラスチックスクリーン１２は、比較的大きい剛性を有する。なぜなら、この大画面タッチパネルシステム１０では、図１に示すように、プラスチックスクリーン１２の前方の人間１４が、自分の手１６でプラスチックスクリーン１２を直接タッチすることによって、プラスチックスクリーン１２の上の位置（点または領域）を指示するからである。つまり、プラスチックスクリーン１２には人間の手が触っても容易には変形しない程度の剛性が必要である。
【００１９】
ただし、実施例ではプラスチックでスクリーン１２を形成した。しかしながら、ガラスや他の赤外光透過材料が用いられてもよい。
【００２０】
このプラスチックスクリーン１２の前方上方には、スクリーン１２の前面１２ａの全面に赤外光を投射するための赤外光源１８が設けられる。この赤外光源１８としては、ハロゲンランプまたはブラックライトなどが利用可能である。この赤外光源１８を設ける位置は基本的にはプラスチックスクリーン１２のサイズに依存して決定されるが、実施例のプラスチックスクリーン１２が上記サイズであれば、たとえば、赤外光源１８は、プラスチックスクリーン１２の前面１２ａから２００−４００ｃｍ離れた高さ２００−３００ｃｍの位置に配置される。赤外光源１８から投射された赤外光はプラスチックスクリーン１２の前面１２ａから入射し、このスクリーン１２を透過して背面１２ｂに至る。これらの数値は単なる例示である。
【００２１】
プラスチックスクリーン１２の後方には、ミラー２０が設けられる。このミラー２０はプラスチックスクリーン１２の背面１２ｂの全面を映出できる大きさにされかつその位置に配置される。実施例ではプラスチックスクリーン１２がたとえば２５０×１８０ｃｍであれば、ミラー２０はたとえば１５０×１１０ｃｍ程度の大きさにされ、プラスチックスクリーン１２の背面からたとえば２００ｃｍ後方に配置される。これらの数値も単なる例示である。
【００２２】
プラスチックスクリーン１２の後方には、このミラー２０の表面に合焦されたモノクロカメラ２２が設けられる。このモノクロカメラ２２には赤外フィルタ２４が装着される。したがって、このカメラ２２は全体としては、赤外カメラとして機能する。そのため、モノクロカメラ２２および赤外フィルタ２４は赤外カメラに代えられてもよい。このカメラ２２はミラー２０を通してプラスチックスクリーン１２の背面全面を撮影する。
【００２３】
カメラ２２からの映像信号は、図２からよくわかるように、Ａ／Ｄ変換器２８によって映像信号データに変換されて、コンピュータ２６に入力される。
【００２４】
この図１に示す実施例では、プラスチックスクリーン１２の後方に、プロジェクタ３０が設けられる。このプロジェクタ３０は、前述のようにプラスチックスクリーン１２の背面１２ｂの全面に映像を投射するためのものである。実施例では、プロジェクタ３０は、ミラー２０を通して、背面１２ｂの全面に投影できるようにされる。プロジェクタ３０から投射された映像（光学像）は、ミラー２０で反射されて、プラスチックスクリーン１２の背面１２ｂに投影される。したがって、このプラスチックスクリーン１２の前面１２ａから、その投影された映像を見ることができる。
【００２５】
なお、ミラー２０を用いる理由は、プラスチックスクリーン１２の後方のスペースを可及的小さくするためである。したがって、当然のことではあるが、ミラー２０を省略することができる。この場合には、上述のカメラ２２がプラスチックスクリーン１２の背面１２ｂの全域を直接撮影し、プロジェクタ３０からプロジェクタスクリーン１２の背面１２ｂに映像が直接投射される。
【００２６】
図２に示すように、コンピュータ２６にはたとえば半導体メモリやハードディスクなどの内部メモリ３２が内蔵されるとともに、必要に応じて、メモリインタフェース３４を介して、半導体メモリである外部メモリ３６が接続される。内部メモリ３２は、後述のフロー図に示すようなプログラムを予め記憶するプログラムメモリとして、さらには画像処理のためのワーキングメモリやレジスタなどとして利用される。プロジェクタ３０を用いる場合には、内部メモリ３２はさらに、プロジェクタ３０のためのメモリのビデオメモリ（ＶＲＡＭ）としても用いられる。
【００２７】
なお、外部メモリ３６としては、半導体メモリ以外に、磁気記録媒体、光学式記録媒体、光磁気記録媒体などが用いられ得るが、ここでは便宜上すべて「メモリ」の用語を使用する。したがって、「メモリ」というときは、あらゆる形式の記憶媒体または記録媒体を指すものと理解されたい。
【００２８】
なお、コンピュータ２６は、さらに、ランプドライバ３８を制御し、赤外光源１８のオン／オフを制御するとともに、必要な場合には、その赤外光源１８の輝度を調節する。
【００２９】
図１実施例の大画面タッチパネルシステム１０では、先に概説したように、プラスチックスクリーン１２の前方の人間１４が、手１６でプラスチックスクリーン１２を直接タッチすることによって、プラスチックスクリーン１２の上の座標位置を指示するが、そのための動作を、図３のフロー図を参照して説明する。
【００３０】
図３の最初のステップＳ１では、初期設定が実行される。この初期設定では、まず、コンピュータ２６は、ランプドライバ３８を制御して、赤外光源１８をオンする。そして、さらに内部メモリ３２内の各変数がそれらの初期値として設定される。たとえば、カメラ２２からの映像信号を閾値処理するための閾値（Ｔ：後述）の初期値を、内部メモリ３２の適宜のレジスタ（閾値レジスタ）に設定する。さらに、モノクロカメラ２２のホワイトバランスが調整される。つまり、このカメラ２２で撮影したプラスチックスクリーン１２を通った赤外光で作る像が白またはそれに近い色（実質的に白）になるようにチューニングされる。
【００３１】
続くステップＳ３では、コンピュータ２６は、プラスチックスクリーン１２の前方に人間が存在しない状態、すなわち無人状態で、カメラ２２からの映像信号データを取り込んで、背景データ（ＢＧ）を作成する。このステップＳ３で作成した背景データ（ＢＧ）は、システム１０を設置している会場での赤外光などに対する障害物の影響を除去するために利用される。
【００３２】
続いて、ステップＳ５では、プラスチックスクリーン１２の前に人間が立って、その手１６で、図１に示すようにプラスチックスクリーン１２の前面１２ａの任意の場所を押さえ（タッチし）、その状態で、コンピュータ２６は、カメラ２２からの映像信号データすなわちピクセルデータ（Ｖ）を取り込む。実施例では、プラスチックスクリーン１２の全面はたとえば６４０×４８０ピクセルの解像度で表され、ピクセルデータは２５６階調（８ビット／１ピクセル）で与えられる。このステップＳ５では、たとえば図５に示すようなピクセルデータが得られる。この図５に示す例では、スクリーン１２上にその前方の人間が手を押し付けたときの映像のピクセルデータが得られる。
【００３３】
次のステップＳ７では、マスク処理を実行する。具体的には、マスクデータ（Ｍ）とピクセルデータ（Ｖ）とを論理積（ＡＮＤ）処理する。なお、マスクデータ（Ｖ）とは、図４に示すフロー図に従って作られたノイズ除去用のデータである。
【００３４】
すなわち、図４のステップＳ３１で、赤外光源１８をオンし、続くステップＳ３３で、コンピュータ２６は、ステップＳ３と同様に、無人状態でピクセルデータを取り込む。そして、次のステップＳ３５で適宜の閾値で閾値処理し、ステップＳ３７でさらに反転することによって、図６に示すようなマスクが生成される。そして、このマスクデータ（Ｖ）は、コンピュータ２６の内部メモリ３２（図２）に登録される。
【００３５】
詳しくいうと、無人状態で撮影したとき、そのピクセルデータ（映像）は、図５の映像から人間による影（赤外光を遮光している遮光領域）を取った映像となる。図５の映像から人間の影を除去すると、赤外光源１８の赤外光の丸い広がりに対してスクリーン１２が矩形であることに起因して、スクリーン１２の４隅にそれぞれ３角形状の薄い影ができている。この４隅の影は、それぞれが薄いときには殆ど影響しないが、濃くなると人間がスクリーン１２上でポインティングすることによってできた遮光領域と区別できなくなる。そこで、実施例では、このスクリーン１２の４隅を判別の対象領域としないように、図６に示すようなマスクを作成する。
【００３６】
そして、このマスクのマスクデータ（Ｖ）とピクセルデータ（Ｖ）とをＡＮＤ処理することによって、４隅にできた影の影響を完全になくすことができる。
【００３７】
なお、このようなマスクデータ（Ｖ）は、図３のような処理の実行に先立って予め図４の処理を実行することによって、内部メモリ３２に予め登録しておくようにすればよい。その都度マスクを作る面倒がなくなる。
【００３８】
図３に戻って、次のステップＳ９では、ステップＳ３で取得した背景データ（ＢＧ）を、ステップＳ７を実行した後のデータ（Ｖ・Ｍ）から減算する。このステップＳ９は赤外光の障害物の影響を除去するために実行する。したがって、上述のように無人状態での影の影響を除去できるマスクを作成すれば、ステップＳ９を実行する必要はない。その意味では、ステップＳ９はオプションである。ただし、このステップＳ９を実行するのであれば、ステップＳ７におけるマスク処理がオプションとなる。換言すれば、ステップＳ７およびステップＳ９は択一的に実行されてもよい。
【００３９】
次にステップＳ１１では、これもオプションであるが、ガウス分布に従ったぼかし処理を実行する｛ＢＧ（Ｖ・Ｍ−ＢＧ）｝。これは、フレーム毎のノイズを除去するためである。
【００４０】
そして、ステップＳ１３において、ステップＳ１の初期設定で決めた閾値を用いて、閾値処理を実行する［Ｔ｛ＢＧ（Ｖ・Ｍ−ＢＧ）｝］。このステップＳ１３を実行することによって、各ピクセルデータが２値化（「１」または「０」）される。たとえば、輝度レベルが「１０１」以上のピクセルを「１」（白）とし、「１００」以下のピクセルを「０」（黒）とする。
【００４１】
その後、ステップＳ１５で黒領域を抽出する。この黒領域を抽出する手法は任意の方法が考えられるが、実施例では、たとえば、ＰａｕｌＳ．Ｈｅｃｋｂｅｒｔによって提案された「ＡＳＥＥＤＦＩＬＬＡＬＧＯＲＩＴＨＭ」（ＰＰ２７５−２７７，ＧＲＡＰＨＩＣＳＧＥＭＳＩ ’９０）を利用する。この手法は、黒ピクセルが検出されなくなるまで隣接する黒ピクセルを順次たどって黒領域を検出する方法である。
【００４２】
そして、ステップＳ１５で、全ての黒領域を抽出する。このとき、各黒領域は、スクリーン１２の右上隅を座標０，０として、（ｘｍｉｎ，ｘｍａｘ），（ｙｍｉｎ，ｙｍａｘ）で示す矩形領域として抽出される。ただし、ｘｍｉｎは横軸（Ｘ軸）の最小値、ｘｍａｘはＸ軸の最大値、ｙｍｉｎは縦軸（Ｙ軸）の最小値、ｙｍａｘはＹ軸の最大値を示している。
【００４３】
次のステップＳ１７で、コンピュータ２６は、各黒領域の中心座標と面積とを計算する。具体的には、各黒領域の中心座標は数１で、面積は数２でそれぞれ計算できる。
【００４４】
【数１】
ｃｘ，ｃｙ＝（（ｘｍｉｎ＋ｘｍａｘ）／２，（ｙｍｉｎ＋ｙｍａｘ）／２）
【００４５】
【数２】
面積＝（ｘｍａｘ−ｘｍｉｎ）×（ｙｍａｘ−ｙｍｉｎ）
そして、続くステップＳ１９で、各中心座標および面積を正規化する。中心座標や面積をスクリーンサイズや各方向のピクセル数に依存させないためである。実施例では、スクリーンサイズは横（Ｘ）６４０ピクセル、縦（Ｙ）４８０ピクセルであるので、正規化中心座標ｎｃｘ，ｎｃｙは数３で与えられる。
【００４６】
【数３】
ｎｃｘ＝ｃｘ／６４０ ε［０，１］
ｎｃｙ＝ｃｙ／４８０ ε［０，１］
ただし、ε［０，１］は「０」と「１」との間で正規化することを意味する。
【００４７】
また、面積の正規化は次の数４の手法による。
【００４８】
【数４】
正規化面積＝面積／６４０×４８０ ε［０，１］
そして、ステップＳ２１において、ノイズを除去したり、スクリーン１２の前方の人間が近づきすぎた場合などを無効にするために、過大過小の黒領域を無効にする（捨てる）。具体的には、可能最小面積をＭＩＮとし、可能最大面積をＭＡＸとし、ＭＩＮ≦面積≦ＭＡＸ以外の黒領域は捨てて、たとえば図７に示す適正なサイズの黒領域のデータのみを残す。この図７は、図５に示す人間の手の部分だけが適正黒領域として検出されたことを示している。
【００４９】
なお、ステップＳ２１は、手作業で実行してもよい。
【００５０】
そして、最後に、ステップＳ２３で残った適正黒領域（図７）の中心座標および面積をタッチ点（または領域）のデータとして、出力する。
【００５１】
なお、図１では１人の人間だけがプラスチックスクリーンの前方に存在するように図示したが、２人以上の人間が同時にタッチしても全てのタッチ位置を個別に同定することができる。
【００５２】
この図１実施例の大画面タッチパネルシステム１０は、様々な用途に用いることができるが、一例としては、情報検索のための入力装置として利用可能である。
【００５３】
たとえば、コンピュータ２６の外部メモリ３６（または内部メモリ３２）に大量の画像（静止画／動画：第１情報）を、カテゴリ毎に蓄積しておき、各カテゴリを代表するサムネイル画像（第２情報）を内部メモリ３２（または外部メモリ３６）内に登録しておく。そして、コンピュータ２６によって、それらのサムネイル画像を図１の参照番号Ｓ１およびＳ２で示すように、プロジェクタ３０によって、プラスチックスクリーン１２上に投映する。このとき、サムネイル画像Ｓ１やＳ２は、スクリーン１２上のランダムな位置に映写される。そして、図１のシステム１０によって、上述のようにして、スクリーン１２の前方の人間１４が自分の手１６で、どれかのサムネイル画像にタッチする。この手によるスクリーン１２へのタッチが、上述の図３に示す動作に従って検出され、そのタッチ位置がサムネイル画像Ｓ１またはＳ２の表示位置と比較され、タッチ位置が表示位置に対して一定の関係（同一または同一ではないが一定範囲内の近い位置）であったとすると、コンピュータ２６は、当該サムネイル画像が代表するカテゴリの静止画像（および／または動画像）を外部メモリ３６（または内部メモリ３２）から順次読み出し、任意の演出に従って、プロジェクタ３０によってプラスチックスクリーン１２上に映写させる。
【００５４】
なお、上述の実施例では、第１情報（蓄積画像）と第２情報（サムネイル画像）とは同じメモリに蓄積されてもよく、違うメモリに記憶されてもよい。
【００５５】
この実施例によれば、プラスチックスクリーン１２のサイズが大きいので、多人数が参加した任意の会場での検索・表示システムとして利用することができる。
【００５６】
一例として、たとえば結婚披露宴会場にこのシステム１０を設置した場合、新郎新婦の各時代（小学校以前、小学校、中学校、高校、大学、社会人、など）をカテゴリとして、画像を蓄積すればよい。そして、披露宴でのイベントとして、上述のような検索・表示を行えば、披露宴を盛大に演出することができる。
【００５７】
これとはやや趣きを異にするが、同様の検索・表示システムとして、たとえば葬儀会場などでも利用できる。
【００５８】
さらに、上述の実施例の検索・表示システムではスクリーン１２に表示する情報（映像）をいずれも画像とした。しかしながら、表示する情報の種類は、第１情報、第２情報に拘わらず、画像以外の文字等であってもよい。
【００５９】
なお、上述の実施例ではプラスチックスクリーン１２の前方から赤外光源１８によって赤外光をスクリーン上に照射し、他方コンピュータ２６はカメラ２２の映像信号スクリーン１２の後方で赤外光が遮光される領域を検出した。しかしながら、人間の手はそれ自体が赤外光を発するものであるから、スクリーン１２を透過した赤外光を検出するようにしてもよい。この場合には、コンピュータ２６はカメラ２２からの映像信号を分析して赤外光が存在する領域（赤外光領域）を検出するようにすればよい。
【図面の簡単な説明】
【図１】図１はこの発明の一実施例の大画面タッチパネルシステムを示す図解図である。
【図２】図２は図１実施例のブロック図である。
【図３】図３は図１実施例においてタッチを検出する動作の一例を示すフロー図である。
【図４】図４は図１実施例においてマスクを作成する動作の一例を示すフロー図である。
【図５】図５は図１実施例においてプラスチックスクリーンの前方の人間が手でスクリーンにタッチしたときの実際の映像を示す。
【図６】図６は図１実施例において用いられるマスク画像の一例を示す図解図である。
【図７】図７はスクリーンにタッチした手によって作られた黒領域の一例を示す図解図である。
【符号の説明】
１０ …大画面タッチパネルシステム
１２ …プラスチックスクリーン
１４ …人間
１６ …手
１８ …赤外光源
２０ …ミラー
２２ …モノクロカメラ
２４ …赤外フィルタ
２６ …コンピュータ
３０ …プロジェクタ
３２ …内部メモリ
３６ …外部メモリ[0001]
[Industrial applications]
The present invention relates to a large-screen touch panel system and a search / display system, and more particularly to, for example, a novel large-screen touch panel system capable of acquiring coordinates on a large screen by standing in front of the large-screen screen and touching with a human hand. It relates to a search and display system that uses it.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a so-called touch panel, which can obtain a position (coordinate) of a point on a screen of a CRT by touching an arbitrary point on the screen with a stylus pen or a human finger, for example, has been put to practical use. I have.
[0003]
Such a touch panel can be classified into a method of detecting a touch on a CRT screen, a resistive film type, a photoelectric type, and the like.
[0004]
In the resistive film method, a transparent sheet on which an X-direction electrode is formed and a transparent sheet on which a Y-direction electrode is formed are laminated, and when pressed with a finger or a pen, a pair of electrodes on the two sheets conducts, thereby Can detect the coordinates. In the photoelectric system, when the user touches an infrared beam grid composed of an LED array and a light receiving element array on a screen, two orthogonal beams are cut off, and coordinates are detected from the positions.
[0005]
[Problems to be solved by the invention]
All of the conventional touch panels of this type are assumed to have a size of, for example, a CRT or LCD. To increase the size of the touch panel, the number of electrodes or the number of LEDs or light receiving elements must be increased. And so on, which is very expensive.
[0006]
Therefore, a main object of the present invention is to provide a novel large-screen touch panel capable of performing touch input on a large-screen screen.
[0007]
[Means for Solving the Problems]
The large-screen touch panel system according to the present invention includes: a screen made of a material capable of transmitting infrared light, an infrared light source for irradiating infrared light to the front of the screen from the front of the screen, and behind the screen. An infrared camera provided for photographing the back of the screen, a light-shielding area detecting means for detecting a light-shielding area in which infrared light is blocked based on a video signal from the infrared camera, and a size of the light-shielding area detected by the detecting means And a coordinate data output unit that outputs coordinate data of a light-shielded area whose size measured by the size measurement unit is within a certain range.
[0008]
Claim 2 is a large-screen touch panel system according to claim 1, further comprising a mirror provided behind the screen, and the infrared camera taking an image of the entire rear surface of the screen through the mirror.
[0009]
A third aspect is the large-screen touch panel system according to the first or second aspect, wherein the coordinate data is center coordinate data of the light-shielded area.
[0010]
A fourth aspect of the present invention is the large-screen touch panel system according to the third aspect, further comprising a normalizing unit for normalizing the coordinate data, wherein the center coordinates are the normalized center coordinates.
[0011]
This invention is a screen made of a material that can transmit infrared light, an infrared light source that irradiates infrared light from the front of the screen to the front of the screen, an infrared camera that is provided behind the screen and shoots the back of the screen, And a computer that receives a video signal from the infrared camera. The computer detects a light-shielded area in which infrared light is blocked based on the video signal from the infrared camera. And a coordinate data output step of outputting coordinate data of a light-shielded region whose measured size is within a certain range.
[0012]
In the case of directly detecting infrared light output from a human hand, for example, the present invention provides a screen made of a material that can transmit infrared light, a red screen provided behind the screen and photographing the back of the screen. Infrared light area detecting means for detecting an infrared light area based on a video signal from an outside camera or an infrared camera, and a size for measuring the size of the infrared light area detected by the detecting means. A large-screen touch panel system includes a measurement unit and a coordinate data output unit that outputs coordinate data of an infrared light region whose size measured by the size measurement unit is within a certain range.
[0013]
A search / display system according to the present invention includes a screen made of a material capable of transmitting infrared light, an infrared light source for irradiating infrared light from the front of the screen to the front of the screen, and a rear surface of the screen provided behind the screen. Camera, a projector provided behind the screen to project an image on the back of the screen, and a computer, wherein the computer has an associated memory, and the memory has the first information and the first information. A second information projecting step in which the second information is stored on the screen by the projector, and the image from the infrared camera is projected while the second information is projected on the screen. A light-shielding region detecting step of detecting a light-shielding region in which infrared light is blocked based on the signal, and measuring a size of the detected light-shielding region; Measuring the size of the light-shielded area within the predetermined range, and projecting the first information related to the second information on the screen by the projector when the coordinate data of the light-shielded area within the fixed range correlates with the display position of the second information. , A search and display system.
[0014]
[Action]
When a person stands in front of the screen and touches the screen directly with his / her hand, the shading area is formed by the hand or the human body. The detected light-shielded area (black area) is detected, and, for example, center coordinate data of the area is output as touch position data.
[0015]
Such a large screen touch panel system can be used as a search / display system. In this search / display system, first information (for example, a still image) and second information (for example, a still image) related to the first information are stored in a memory of a computer. For example, a thumbnail image) is stored. Then, the computer causes the projector to project the second information on the screen. When a human touches the screen with his / her hand to point to the second information, the touch position is detected as described above. When the touch position and the display position of the thumbnail image have a fixed relationship, a still image (first information) related to the thumbnail image (second information) is projected on the screen.
[0016]
【The invention's effect】
ADVANTAGE OF THE INVENTION According to this invention, even if it is a very large size screen, each can be made into a touch screen (touch panel), and a several person can touch a screen directly with a hand, and can point a position on a screen. it can. Therefore, compared to a conventional small-screen touch panel, it can be used for a very wide range of uses, such as a search / display system in an event venue where many people participate.
[0017]
The above and other objects, features and advantages of the present invention will become more apparent from the following detailed description of embodiments with reference to the drawings.
[0018]
【Example】
The large screen touch panel system 10 of this embodiment shown in FIG. 1 includes a plastic screen 12 having a size of, for example, about 250 × 180 cm. However, this size is merely an example, and can be arbitrarily changed according to the application. The plastic screen 12 is made of a material capable of transmitting infrared light, for example, plastic such as polycarbonate, and is entirely milky, for example. However, this plastic screen 12 is not completely transparent. This is because the plastic screen 12 needs to function as a projection screen for projecting an image from a projector 30 described later. The plastic screen 12 has relatively high rigidity. This is because, in the large-screen touch panel system 10, as shown in FIG. 1, a person 14 in front of the plastic screen 12 directly touches the plastic screen 12 with his / her hand 16 so that the position above the plastic screen 12 ( This is because a point or an area is indicated. That is, the plastic screen 12 needs to have such a rigidity that it is not easily deformed even when touched by a human hand.
[0019]
However, in the example, the screen 12 was formed of plastic. However, glass or other infrared transmitting materials may be used.
[0020]
Above the front of the plastic screen 12, an infrared light source 18 for projecting infrared light onto the entire front surface 12a of the screen 12 is provided. As the infrared light source 18, a halogen lamp or a black light can be used. The position at which the infrared light source 18 is provided is basically determined depending on the size of the plastic screen 12, but if the plastic screen 12 of the embodiment has the above size, for example, the infrared light source 18 12 is located at a height of 200 to 300 cm away from the front surface 12 a of the device 12. The infrared light projected from the infrared light source 18 enters from the front surface 12a of the plastic screen 12, passes through the screen 12, and reaches the rear surface 12b. These numbers are merely examples.
[0021]
Behind the plastic screen 12, a mirror 20 is provided. The mirror 20 is sized to project the entire rear surface 12b of the plastic screen 12 and is arranged at that position. In the embodiment, if the plastic screen 12 is, for example, 250 × 180 cm, the mirror 20 has a size of, for example, about 150 × 110 cm, and is disposed, for example, 200 cm behind the back of the plastic screen 12. These numerical values are also merely examples.
[0022]
Behind the plastic screen 12, a monochrome camera 22 focused on the surface of the mirror 20 is provided. The monochrome camera 22 is provided with an infrared filter 24. Therefore, the camera 22 functions as an infrared camera as a whole. Therefore, the monochrome camera 22 and the infrared filter 24 may be replaced with an infrared camera. The camera 22 photographs the entire rear surface of the plastic screen 12 through the mirror 20.
[0023]
The video signal from the camera 22 is converted into video signal data by an A / D converter 28 and input to a computer 26, as can be clearly understood from FIG.
[0024]
In the embodiment shown in FIG. 1, a projector 30 is provided behind the plastic screen 12. The projector 30 is for projecting an image on the entire back surface 12b of the plastic screen 12 as described above. In the embodiment, the projector 30 is configured to be able to project the entire rear surface 12b through the mirror 20. The image (optical image) projected from the projector 30 is reflected by the mirror 20 and projected on the back surface 12 b of the plastic screen 12. Therefore, the projected image can be viewed from the front surface 12a of the plastic screen 12.
[0025]
The reason for using the mirror 20 is to make the space behind the plastic screen 12 as small as possible. Accordingly, the mirror 20 can be omitted as a matter of course. In this case, the above-described camera 22 directly captures the entire area of the rear surface 12 b of the plastic screen 12, and the projector 30 directly projects an image on the rear surface 12 b of the projector screen 12.
[0026]
As shown in FIG. 2, the computer 26 has an internal memory 32 such as a semiconductor memory or a hard disk, and is connected to an external memory 36 as a semiconductor memory via a memory interface 34 as necessary. . The internal memory 32 is used as a program memory for previously storing a program as shown in a flow chart to be described later, and as a working memory and a register for image processing. When the projector 30 is used, the internal memory 32 is further used as a video memory (VRAM) of a memory for the projector 30.
[0027]
As the external memory 36, besides the semiconductor memory, a magnetic recording medium, an optical recording medium, a magneto-optical recording medium, or the like may be used. Here, the term “memory” is used for convenience. Thus, reference to “memory” should be understood to refer to any type of storage media or recording media.
[0028]
The computer 26 further controls a lamp driver 38 to control on / off of the infrared light source 18 and, when necessary, adjusts the brightness of the infrared light source 18.
[0029]
In the large-screen touch panel system 10 of the embodiment of FIG. 1, as outlined above, a person 14 in front of the plastic screen 12 directly touches the plastic screen 12 with the hand 16 to set the coordinate position on the plastic screen 12. The operation for this will be described with reference to the flowchart of FIG.
[0030]
In the first step S1 in FIG. 3, an initial setting is performed. In this initial setting, first, the computer 26 controls the lamp driver 38 to turn on the infrared light source 18. Then, each variable in the internal memory 32 is set as their initial value. For example, an initial value of a threshold value (T: described later) for performing threshold processing on the video signal from the camera 22 is set in an appropriate register (threshold value register) of the internal memory 32. Further, the white balance of the monochrome camera 22 is adjusted. In other words, the tuning is performed so that the image formed by the infrared light passing through the plastic screen 12 and captured by the camera 22 is white or a color close to it (substantially white).
[0031]
In the following step S3, the computer 26 takes in the video signal data from the camera 22 in a state where no person exists in front of the plastic screen 12, that is, in an unmanned state, and creates background data (BG). The background data (BG) created in step S3 is used to remove the influence of an obstacle on infrared light or the like at the venue where the system 10 is installed.
[0032]
Subsequently, in step S5, a person stands in front of the plastic screen 12, and his hand 16 presses (touches) an arbitrary place on the front surface 12a of the plastic screen 12 as shown in FIG. The computer 26 captures video signal data from the camera 22, that is, pixel data (V). In the embodiment, the entire surface of the plastic screen 12 is represented by a resolution of, for example, 640 × 480 pixels, and pixel data is given in 256 gradations (8 bits / 1 pixel). In this step S5, for example, pixel data as shown in FIG. 5 is obtained. In the example shown in FIG. 5, pixel data of an image when a person in front of the hand presses the screen 12 on the screen 12 is obtained.
[0033]
In the next step S7, a mask process is executed. Specifically, a logical product (AND) process is performed on the mask data (M) and the pixel data (V). Note that the mask data (V) is noise removal data created according to the flowchart shown in FIG.
[0034]
That is, in step S31 of FIG. 4, the infrared light source 18 is turned on, and in subsequent step S33, the computer 26 fetches pixel data in an unmanned state as in step S3. Then, in the next step S35, threshold processing is performed with an appropriate threshold value, and further inversion is performed in step S37, whereby a mask as shown in FIG. 6 is generated. Then, the mask data (V) is registered in the internal memory 32 (FIG. 2) of the computer 26.
[0035]
More specifically, when photographed in an unmanned state, the pixel data (image) is an image obtained by taking a shadow of a human (a light-shielded region that blocks infrared light) from the image of FIG. When the shadow of a human is removed from the image shown in FIG. 5, the screen 12 is rectangular with respect to the round spread of the infrared light from the infrared light source 18, and the triangular thin shape is formed at each of the four corners of the screen 12. There is a shadow. The shadows at the four corners have little effect when each is light, but when the shadows become dark, they cannot be distinguished from the light-shielded area formed by pointing on the screen 12 by a human. Therefore, in the embodiment, a mask as shown in FIG. 6 is created so that the four corners of the screen 12 are not set as the determination target areas.
[0036]
Then, by performing an AND process on the mask data (V) and the pixel data (V) of this mask, the influence of the shadows formed at the four corners can be completely eliminated.
[0037]
Note that such mask data (V) may be registered in the internal memory 32 in advance by executing the processing of FIG. 4 before executing the processing as shown in FIG. The trouble of making a mask each time is eliminated.
[0038]
Returning to FIG. 3, in the next step S9, the background data (BG) acquired in step S3 is subtracted from the data (VM) after executing step S7. This step S9 is executed in order to remove the influence of the obstacle of the infrared light. Therefore, if a mask capable of removing the influence of the shadow in the unmanned state is created as described above, there is no need to execute step S9. In that sense, step S9 is optional. However, if this step S9 is executed, the mask processing in step S7 is optional. In other words, step S7 and step S9 may be executed alternatively.
[0039]
Next, in step S11, which is also optional, a blur process according to a Gaussian distribution is executed {BG (VMM-BG)}. This is to remove noise for each frame.
[0040]
Then, in step S13, threshold processing is performed using the threshold determined in the initial setting in step S1 [T {BG (VM-BG)}]. By executing step S13, each pixel data is binarized ("1" or "0"). For example, a pixel having a luminance level of “101” or more is “1” (white), and a pixel of “100” or less is “0” (black).
[0041]
Then, a black area is extracted in step S15. Although any method can be considered as a method for extracting the black region, in the embodiment, for example, Paul S.M. Utilize “A SEED FILL ALGORITHM” (PP275-277, GRAPHICS GEMS I '90) proposed by Heckbert. In this method, a black area is detected by sequentially following adjacent black pixels until no black pixel is detected.
[0042]
Then, in step S15, all black areas are extracted. At this time, each black area is extracted as a rectangular area represented by (xmin, xmax), (ymin, ymax), with the upper right corner of the screen 12 at coordinates 0,0. Here, xmin indicates the minimum value on the horizontal axis (X axis), xmax indicates the maximum value on the X axis, ymin indicates the minimum value on the vertical axis (Y axis), and ymax indicates the maximum value on the Y axis.
[0043]
In the next step S17, the computer 26 calculates the center coordinates and the area of each black region. Specifically, the center coordinates of each black region can be calculated by Equation 1 and the area can be calculated by Equation 2.
[0044]
(Equation 1)
cx, cy = ((xmin + xmax) / 2, (ymin + ymax) / 2)
[0045]
(Equation 2)
Area = (xmax−xmin) × (ymax−ymin)
Then, in a succeeding step S19, each center coordinate and area are normalized. This is because the center coordinates and the area do not depend on the screen size or the number of pixels in each direction. In the embodiment, since the screen size is 640 pixels in the horizontal (X) and 480 pixels in the vertical (Y), the normalized center coordinates ncx and ncy are given by Expression 3.
[0046]
[Equation 3]
ncx = cx / 640 ε [0,1]
ncy = cy / 480 ε [0,1]
Here, ε [0, 1] means normalizing between “0” and “1”.
[0047]
The normalization of the area is based on the following equation (4).
[0048]
(Equation 4)
Normalized area = area / 640 × 480 ε [0,1]
Then, in step S21, in order to remove noise or invalidate a case where a person in front of the screen 12 is too close, the excessively small black region is invalidated (discarded). Specifically, the minimum possible area is defined as MIN, the maximum possible area is defined as MAX, and black areas other than MIN ≦ area ≦ MAX are discarded, and, for example, only data of a black area having an appropriate size shown in FIG. 7 is left. FIG. 7 shows that only the part of the human hand shown in FIG. 5 has been detected as a proper black area.
[0049]
Step S21 may be performed manually.
[0050]
Finally, the center coordinates and the area of the appropriate black area (FIG. 7) remaining in step S23 are output as data of the touch point (or area).
[0051]
Although FIG. 1 shows that only one person exists in front of the plastic screen, all touch positions can be individually identified even when two or more people touch simultaneously.
[0052]
The large-screen touch panel system 10 of the embodiment in FIG. 1 can be used for various purposes, but as an example, can be used as an input device for information search.
[0053]
For example, a large amount of images (still images / moving images: first information) are stored in the external memory 36 (or the internal memory 32) of the computer 26 for each category, and thumbnail images (second information) representing each category are stored. Is registered in the internal memory 32 (or the external memory 36). Then, the computer 26 projects the thumbnail images on the plastic screen 12 by the projector 30 as shown by reference numerals S1 and S2 in FIG. At this time, the thumbnail images S1 and S2 are projected at random positions on the screen 12. Then, by the system 10 of FIG. 1, the person 14 in front of the screen 12 touches any thumbnail image with his / her hand 16 as described above. The touch on the screen 12 by this hand is detected in accordance with the operation shown in FIG. 3 described above, the touch position is compared with the display position of the thumbnail image S1 or S2, and the touch position has a certain relationship (the same Or, if they are not the same but close to each other within a certain range), the computer 26 sequentially stores the still images (and / or moving images) of the category represented by the thumbnail image from the external memory 36 (or the internal memory 32). The image is read out and projected on the plastic screen 12 by the projector 30 according to an arbitrary effect.
[0054]
In the above-described embodiment, the first information (accumulated image) and the second information (thumbnail image) may be stored in the same memory or may be stored in different memories.
[0055]
According to this embodiment, since the size of the plastic screen 12 is large, it can be used as a search / display system at an arbitrary venue where a large number of people participate.
[0056]
As an example, when the system 10 is installed in a wedding reception hall, images may be stored with categories of each age of the bride and groom (before elementary school, elementary school, junior high school, high school, university, member of society, etc.). Then, if the above-described search and display are performed as an event at the reception, the reception can be produced grandly.
[0057]
Although slightly different from this, a similar search / display system can be used, for example, in a funeral hall.
[0058]
Furthermore, in the search / display system of the above-described embodiment, all information (video) displayed on the screen 12 is an image. However, the type of information to be displayed may be characters or the like other than images irrespective of the first information and the second information.
[0059]
In the embodiment described above, infrared light is irradiated onto the screen from the front of the plastic screen 12 by the infrared light source 18, while the computer 26 is located behind the video signal screen 12 of the camera 22 in a region where the infrared light is blocked. Was detected. However, since the human hand emits infrared light itself, the infrared light transmitted through the screen 12 may be detected. In this case, the computer 26 may analyze the video signal from the camera 22 and detect a region where infrared light exists (infrared light region).
[Brief description of the drawings]
FIG. 1 is an illustrative view showing a large-screen touch panel system according to an embodiment of the present invention;
FIG. 2 is a block diagram of the embodiment of FIG. 1;
FIG. 3 is a flowchart showing an example of an operation of detecting a touch in the embodiment of FIG. 1;
FIG. 4 is a flowchart showing an example of an operation for creating a mask in the embodiment of FIG. 1;
FIG. 5 shows an actual image when a person in front of the plastic screen touches the screen with a hand in the embodiment of FIG. 1;
FIG. 6 is an illustrative view showing one example of a mask image used in the embodiment in FIG. 1;
FIG. 7 is an illustrative view showing one example of a black area created by a hand touching a screen;
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 ... Large screen touch panel system 12 ... Plastic screen 14 ... Human 16 ... Hand 18 ... Infrared light source 20 ... Mirror 22 ... Monochrome camera 24 ... Infrared filter 26 ... Computer 30 ... Projector 32 ... Internal memory 36 ... External memory

Claims

赤外光を透過できる材料からなるスクリーン、
前記スクリーンの前方から前記スクリーンの前面に赤外光を照射する赤外光源、
前記スクリーンの後方に設けられて前記スクリーンの背面を撮影する赤外カメラ、
前記赤外カメラからの映像信号に基づいて前記赤外光が遮られた遮光領域を検出する遮光領域検出手段、
前記検出手段によって検出された遮光領域のサイズを計測するサイズ計測手段、および
前記サイズ計測手段によって計測されたサイズが一定範囲内の遮光領域の座標データを出力する座標データ出力手段を備える、大画面タッチパネルシステム。A screen made of a material that can transmit infrared light,
An infrared light source that irradiates infrared light to the front of the screen from the front of the screen,
An infrared camera provided behind the screen and photographing the back of the screen,
A light-shielding region detecting unit that detects a light-shielding region in which the infrared light is blocked based on a video signal from the infrared camera,
A large screen, comprising: a size measuring unit that measures the size of the light-blocking region detected by the detecting unit; and a coordinate data output unit that outputs coordinate data of the light-blocking region whose size measured by the size measuring unit is within a certain range. Touch panel system.

前記スクリーンの後方にミラーをさらに設け、前記赤外カメラは前記ミラーを通して前記スクリーンの背面全面を撮影する、請求項１記載の大画面タッチパネルシステム。The large-screen touch panel system according to claim 1, wherein a mirror is further provided behind the screen, and the infrared camera takes an image of the entire rear surface of the screen through the mirror.

前記座標データは前記遮光領域の中心座標データである、請求項１または２記載の大画面タッチパネルシステム。3. The large-screen touch panel system according to claim 1, wherein the coordinate data is center coordinate data of the light-shielded area.

前記座標データを正規化するための正規化手段をさらに備え、
前記中心座標は正規化された中心座標である、請求項３記載の大画面タッチパネルシステム。Further comprising a normalizing means for normalizing the coordinate data,
The large screen touch panel system according to claim 3, wherein the center coordinates are normalized center coordinates.

赤外光を透過できる材料からなるスクリーン、
前記スクリーンの前方から前記スクリーンの前面に赤外光を照射する赤外光源、
前記スクリーンの後方に設けられて前記スクリーンの背面を撮影する赤外カメラ、および
前記赤外カメラからの映像信号を受けるコンピュータを備え、
前記コンピュータは
前記赤外カメラからの映像信号に基づいて前記赤外光が遮られた遮光領域を検出する遮光領域検出ステップ、
検出された遮光領域のサイズを計測するサイズ計測ステップ、および
計測されたサイズが一定範囲内の遮光領域の座標データを出力する座標データ出力ステップを実行する、大画面タッチパネルシステム。A screen made of a material that can transmit infrared light,
An infrared light source that irradiates infrared light to the front of the screen from the front of the screen,
An infrared camera that is provided behind the screen and shoots the back of the screen, and a computer that receives a video signal from the infrared camera,
The computer is a light-blocking area detecting step of detecting a light-blocking area where the infrared light is blocked based on a video signal from the infrared camera,
A large-screen touch panel system for executing a size measuring step of measuring a size of a detected light-shielded area and a coordinate data output step of outputting coordinate data of a light-shielded area whose measured size is within a predetermined range.

赤外光を透過できる材料からなるスクリーン、
前記スクリーンの後方に設けられて前記スクリーンの背面を撮影する赤外カメラ、
前記赤外カメラからの映像信号に基づいて前記赤外光の存在する領域赤外光領域を検出する赤外光領域検出手段、
前記検出手段によって検出された赤外光領域のサイズを計測するサイズ計測手段、および
前記サイズ計測手段によって計測されたサイズが一定範囲内の赤外光領域の座標データを出力する座標データ出力手段を備える、大画面タッチパネルシステム。A screen made of a material that can transmit infrared light,
An infrared camera provided behind the screen and photographing the back of the screen,
Infrared light region detection means for detecting an infrared light region where the infrared light is present based on a video signal from the infrared camera,
Size measuring means for measuring the size of the infrared light area detected by the detecting means, and coordinate data output means for outputting the coordinate data of the infrared light area whose size measured by the size measuring means is within a certain range. Equipped with a large screen touch panel system.

赤外光を透過できる材料からなるスクリーン、
前記スクリーンの前方から前記スクリーンの前面に赤外光を照射する赤外光源、
前記スクリーンの後方に設けられて前記スクリーンの背面を撮影する赤外カメラ、
前記スクリーンの後方に設けられて前記スクリーンの前記背面に映像を投影するプロジェクタ、および
コンピュータを備え、前記コンピュータは関連するメモリを有し、前記メモリには第１情報と前記第１情報に関連する第２情報とを蓄積しておき、
前記コンピュータは
前記第２情報を前記プロジェクタによって前記スクリーン上に映写させる第２情報映写ステップ、
前記第２情報が前記スクリーン上に映写されている状態で前記赤外カメラからの映像信号に基づいて前記赤外光が遮られた遮光領域を検出する遮光領域検出ステップ、
検出された遮光領域のサイズを計測するサイズ計測ステップ、および
計測されたサイズが一定範囲内の遮光領域の座標データが前記第２情報の表示位置に相関するとき、前記第２情報に関連する前記第１情報を前記プロジェクタによって前記スクリーン上に映写させるステップを実行する、検索・表示システム。A screen made of a material that can transmit infrared light,
An infrared light source that irradiates infrared light to the front of the screen from the front of the screen,
An infrared camera provided behind the screen and photographing the back of the screen,
A projector provided behind the screen and projecting an image on the back of the screen; and a computer, wherein the computer has an associated memory, wherein the memory has first information and an associated first information. Accumulate the second information and
A second information projection step of projecting the second information on the screen by the projector;
A light-shielding region detecting step of detecting a light-shielding region in which the infrared light is shielded based on a video signal from the infrared camera in a state where the second information is projected on the screen;
A size measuring step of measuring the size of the detected light-shielding region; and, when the coordinate data of the light-shielding region whose measured size is within a predetermined range correlates with the display position of the second information, the size related to the second information. A search and display system that performs a step of projecting first information on the screen by the projector.