JP2017219942A - 接触検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、プロジェクタシステム、接触検出方法、プログラム及び記憶媒体。 - Google Patents

Abstract

【課題】マルチタップに対応できる接触検出装置を提供する。【解決手段】 接触検出装置は、手及びスクリーンの３次元情報を取得する測距部１３と、スクリーンの３次元情報に基づいて、接触対象面を設定する設定手段５０と、手の３次元情報を射影変換によって２次元情報に変換する変換手段５２と、２次元情報に基づいて、複数の指それぞれの複数の端部候補を検出する端部候補検出手段５３と、複数の指それぞれの複数の端部候補に接触対象面に対する近接度の総合的な順位付けを行う順位付け手段５４と、複数の指の２次元情報それぞれの近接度の順位が最も高い箇所が接触対象面に接触しているか否かを判定する判定手段５５と、を備えている。【選択図】図２２

Description

本発明は、接触検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、プロジェクタシステム、接触検出方法、プログラム及び記憶媒体に関する。

近年、対象物に対する物体の接触判定を行う技術の開発が盛んに行われている（例えば特許文献１〜５参照）。

しかしながら、特許文献１〜５に開示されている技術では、マルチタップに対応することに関して改良の余地があった。

本発明は、複数の分岐部分を有する物体と対象物の接触を検出する接触検出装置であって、前記複数の分岐部分それぞれの複数の端部候補を検出する検出系と、前記複数の分岐部分それぞれの前記複数の端部候補から前記対象物に最も近接している端部候補である最近接端部候補を得る最近接端部候補取得系と、前記複数の分岐部分それぞれの前記最近接端部候補が前記対象物に接触しているか否かを判定する判定手段と、を備える接触検出装置である。

本発明によれば、マルチタップに対応できる。

本発明の一実施形態に係るプロジェクタシステムの概略構成を説明するための図である。 プロジェクタ装置を説明するための図である。 測距部を説明するための図である。 測距部の外観を説明するための図である。 撮像部を説明するための図である。 処理部によって行われる前処理を説明するためのフローチャートである。 処理部によって行われる入力操作情報取得処理を説明するためのフローチャートである。 入力操作情報取得処理を説明するための図（その１）である。 射影変換された手領域の一例を説明するための図である。 図９をダウンサンプリングした場合を説明するための図である。 図９に対する凸包処理の結果を説明するための図である。 図１０に対する凸包処理の結果を説明するための図である。 入力操作情報取得処理を説明するための図（その２）である。 入力操作情報取得処理を説明するための図（その３）である。 マルチタップを説明するための図（その１）である。 従来技術のマルチタップの問題点を説明するための図である。 本実施形態の接触検出方法を説明するための図（その１）である。 本実施形態の接触検出方法を説明するための図（その２）である。 本実施形態の接触検出方法を説明するための図（その３）である。 本実施形態の接触検出方法を説明するための図（その４）である。 本実施形態の接触検出方法を説明するための図（その５）である。 処理部の構成を示すブロック図である。 プロジェクタ装置の変形例１を説明するための図である。 測距部の変形例１を説明するための図である。 測距部の変形例２を説明するための図である。 測距部の変形例３を説明するための図（その１）である。 測距部の変形例３を説明するための図（その２）である。 プロジェクタ装置の変形例２を説明するための図である。 対象物の表面が段差を含む場合を説明するための図である。 対象物の表面が曲面を含む場合を説明するための図である。 電子黒板装置の一例を説明するための図である。 デジタルサイネージ装置の一例を説明するための図である。

〔実施形態１〕
以下、本発明の一実施形態を図面に基づいて説明する。図１には、一実施形態に係るプロジェクタシステム１００の概略構成が示されている。

このプロジェクタシステム１００は、プロジェクタ装置１０と、画像管理装置３０とを有している。操作者（ユーザ）は、指、ペン、指し棒などの入力操作手段でスクリーン３００の投影面近傍ないしは投影面に接触することで、投影面に投射された画像（以下、「投影画像」ともいう）に対して入力操作を行う。投影画像は、静止画像及び動画像のいずれであっても良い。

プロジェクタ装置１０及び画像管理装置３０は、机やテーブル、あるいは専用の台座等（以下では、「載置台４００」という。）に載置されている。ここでは、三次元直交座標系を用い、載置台４００の載置面に直交する方向をＺ軸方向とする。また、プロジェクタ装置１０の＋Ｙ側にスクリーン３００が設置されているものとする。このスクリーン３００の−Ｙ側の面が投影面である。なお、投影面として、ホワイトボードのボード面や壁面など様々なものを利用することができる。

画像管理装置３０は、複数の画像データを保持しており、操作者の指示に基づいて投影対象の画像情報（以下では、「投影画像情報」ともいう）などをプロジェクタ装置１０に送出する。画像管理装置３０とプロジェクタ装置１０との間の通信は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブルなどのケーブルを介した有線通信であっても良いし、無線通信であっても良い。そして、画像管理装置３０として、所定のプログラムがインストールされているパーソナルコンピュータ（パソコン）を用いることができる。

また、画像管理装置３０がＵＳＢメモリやＳＤカードなどの着脱可能な記録媒体のインターフェースを有している場合は、該記録媒体に格納されている画像を投影画像とすることができる。

プロジェクタ装置１０は、いわゆるインタラクティブなプロジェクタ装置であり、一例として図２に示されるように、投射部１１、測距部１３、処理部１５などを有している。これらは、不図示の筐体内に収納されている。

本実施形態に係るプロジェクタ装置１０では、測距部１３と処理部１５とによって、本発明の接触検出装置が構成されている。そして、スクリーン３００が対象物である。

投射部１１は、従来のプロジェクタ装置と同様に、光源、カラーフィルタ、各種光学素子などを有し、処理部１５によって制御される。

処理部１５は、画像管理装置３０との間で双方向の通信を行い、投影画像情報を受信すると、所定の画像処理を行い、投射部１１を介して、スクリーン３００に投影する。

測距部１３は、一例として図３に示されるように、光射出部１３１、撮像部１３２、及び演算部１３３などを有する。また、測距部１３の外観が、一例として図４に示されている。ここでは、光射出部１３１、撮像部１３２、及び演算部１３３は筐体内に収納されている。

光射出部１３１は、近赤外光を射出する光源を有し、投影画像に向けて光（検出用光）を射出する。光源は、処理部１５によって点灯及び消灯がなされる。この光源としては、ＬＥＤや半導体レーザ（ＬＤ）などを使用することができる。また、光源から射出された光を調整するための光学素子やフィルタなどを備えていても良い。この場合は、例えば、検出用光の射出方向（角度）を調整したり、検出用光を構造化された光や、強度変調された光や、撮像対象物にテクスチャを付与する光などとすることができる。

撮像部１３２は、一例として図５に示されるように、撮像素子１３２ａ及び撮像光学系１３２ｂを有している。撮像素子１３２ａは、エリア型の撮像素子である。また、撮像素子１３２ａの形状は、矩形形状である。撮像光学系１３２ｂは、光射出部１３１から射出され、撮像対象物で反射された光を撮像素子１３２ａに導く。ここでは、撮像素子１３２ａがエリア型であるので、ポリゴンミラーなどの光偏向手段を用いなくても２次元情報を一括して取得することができる。

撮像部１３２の撮像対象物は、投影画像が投影されていない投影面であったり、投影面上に投影された投影画像であったり、さらには入力操作手段と投影画像とであったりする。

撮像光学系１３２ｂは、いわゆる共軸の光学系であり、光軸が定義されている。なお、撮像光学系１３２ｂの光軸を、以下では、便宜上、「測距部１３の光軸」ともいう。ここでは、測距部１３の光軸に平行な方向をａ軸方向、該ａ軸方向及びＸ軸方向のいずれにも直交する方向をｂ軸方向とする。また、撮像光学系１３２ｂの画角は、投影画像の全領域が撮像できるように設定されている。

図２に戻り、測距部１３は、ａ軸方向が、Ｙ軸方向に対して反時計回りに傾斜した方向となり、かつ、測距部１３の光軸が投影面と交わる位置が、投影画像の中心よりも−Ｚ側となるように配置されている。すなわち、Ｚ軸方向に関して、測距部１３の配置位置と、測距部１３の光軸が投影画像と交わる位置は、投影画像の中心に対して同じ側にある。

演算部１３３は、光射出部１３１での光射出のタイミングと、撮像素子１３２ａでの反射光の撮像タイミングとに基づいて、撮像対象物までの距離情報を算出する。すなわち、ここでは距離情報の演算方式としてＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）法を用いる。そして、撮像画像の３次元情報、すなわちデプスマップを取得する。なお、取得されたデプスマップの中心は、測距部１３の光軸上にある。

演算部１３３は、所定の時間間隔（フレームレート）で撮像対象物のデプスマップを取得し、処理部１５に通知する。

そして、処理部１５は、演算部１３３で得られたデプスマップに基づいて、入力操作手段と投影面との接触を検出し、入力操作手段の位置や動きを求め、それに対応する入力操作情報を求める。さらに、処理部１５は、該入力操作情報を画像管理装置３０に通知する。

画像管理装置３０は、処理部１５からの入力操作情報を受け取ると、該入力操作情報に応じた画像制御を行う。これにより、投影画像に入力操作情報が反映されることとなる。

次に、処理部１５によって行われる前処理について図６のフローチャートを用いて説明する。この前処理は、電源投入時や入力操作開始前のように、撮像部１３２の撮像エリア内に入力操作手段がない状態で行われる処理である。

最初のステップＳ２０１では、入力操作手段がない状態のデプスマップ、すなわち投影面の３次元情報を、演算部１３３から取得する。

次のステップＳ２０３では、取得されたデプスマップに基づいて、接触対象面を設定する。ここでは、投影面の３次元情報に対して、−ａ方向に関して３ｍｍ離れた位置を接触対象面とした。

ところで、演算部１３３からのデプスマップには測距部１３での計測誤差が含まれている。そのため、デプスマップの計測値がスクリーン３００の内側（投影面の＋Ｙ側）に入ってしまう場合がある。そこで、測距部１３での計測誤差分をオフセットとして投影面の３次元情報に加えている。

なお、ここで用いた３ｍｍという値は一例であり、測距部１３での計測誤差（例えば、標準偏差σ）程度に設定するのが好ましい。

また、測距部１３での計測誤差が小さい場合や、オフセットを必要としない場合には、投影面の３次元情報そのものを接触対象面とすることができる。

また、接触対象面は、その全面が１つの平面であるとして近似式で表現するのではなく、画素毎にデータを持っている。なお、接触対象面が曲面や段差を含む場合には、該接触対象面を微小平面に分割し、該微小平面毎にメディアン処理や平均化処理を施して異常な値を除去し、画素毎にデータを持たせる。

次のステップＳ２０５では、設定された接触対象面の３次元データを画素毎のデータとして保存する。なお、以下では、設定された接触対象面の３次元データを、「接触対象面データ」ともいう。

ところで、この前処理の実施は、電源投入時や入力操作開始前に限られるものではない。例えば、投影面が経時的に変形する場合には、適宜、入力操作手段がない状態で実施しても良い。

続いて、インタラクティブ操作時に処理部１５によって行われる入力操作情報取得処理について図７のフローチャートを用いて説明する。ここでは、入力操作手段は、操作者の指であるものとするが、これに限定されるものではなく、例えば、ペンあるいは指し棒であっても良い。

最初のステップＳ１０２では、演算部１３３から新たなデプスマップが送られてきたか否かを判断する。演算部１３３から新たなデプスマップが送られてきていなければ、ここでの判断は否定され、演算部１３３から新たなデプスマップが送られてくるのを待つ。一方、演算部１３３から新たなデプスマップが送られてきていれば、ここでの判断は肯定され、ステップＳ１０３に移行する。

なお、ここでのデプスマップは、撮像部１３２の撮像エリア内に入力操作手段がある状態のデプスマップである。

このステップＳ１０３では、演算部１３３からのデプスマップと、保存されている接触対象面データとに基づいて、−ａ方向に関して接触対象面から所定の距離Ｌ１（図８参照）以内に入力操作手段があるか否かを判断する。接触対象面から所定の距離Ｌ１以内に入力操作手段があれば、ここでの判断は肯定され、ステップＳ１０４に移行する。一方、−ａ方向に関して接触対象面から所定の距離Ｌ１以内に物体がなければ、ここでの判断は否定され、ステップＳ１０２に戻る。なお、ここでは、Ｌ１＝１００ｍｍとしている。なお、以下では、便宜上、デプスマップにおける入力操作手段の領域を「手領域」ともいう。

すなわち、−ａ方向に関して接触対象面から距離Ｌ１を超える位置にある入力操作手段は接触には無関係であるとみなし、これ以降の処理は実行しない。これにより、過剰な処理が除去され、計算負荷を軽減することができる。

ステップＳ１０４では、手領域をデプスマップから抽出する。

ところで、本実施形態では、複数の入力操作手段にも対応している。例えば、２つの入力操作手段が存在すれば、少なくとも２つの手領域が抽出される。少なくとも２つというのは、手領域として誤って抽出されるものがあるということである。例えば、腕や肘、または衣服の一部などが、−ａ方向に関して接触対象面から所定の距離Ｌ１以内に入ると、それらは手領域として誤って抽出される。なお、この段階での誤抽出は少ないほうが計算負荷の観点から好ましいが、誤抽出があったとしても不都合はない。

また、ここではＬ１＝１００ｍｍとしたが、この値は一例である。但し、Ｌ１の値が小さすぎると、抽出される手領域が小さくなってしまい、以降の画像処理が困難になり易い。また、Ｌ１の値が大きすぎると、誤抽出される数が増えてしまう。発明者等の実験によると、Ｌ１の値としては、１００ｍｍ〜３００ｍｍが好適である。

次のステップＳ１０５では、抽出された手領域を射影変換する。これにより、３次元情報が２次元情報に変換される。ここでは、測距部１３にピンホールカメラモデルを適用し、測距部１３の光軸に直交する平面に射影変換を行った。３次元情報を２次元情報とすることで、この後の画像処理を容易にし、計算負荷を軽減している。

図９には、射影変換された手領域の一例が示されている。白い部分が手領域である。この例では、入力操作手段として、大人の手の半分と指のシルエットが現れている。また、図１０には、図９に示される例において、デプスマップを１／１０にダウンサンプリングした場合が示されている。

なお、変換された２次元情報に対して、その画像の面積を算出し、所定の範囲内にあるもの以外は、手領域ではないものとして除外した。明らかに面積が小さいものはノイズであると考えられるし、また明らかに面積が大きいものは身体や衣服など、指先を含む部分でないと考えられるからである。この処理により、以降の計算負荷を軽減している。

次のステップＳ１０６では、手領域の２次元画像に対して凸包処理を行う。ここで凸包処理とは白い部分である手領域の各点を全て含む最小の凸多角形を求める処理である。なお、手領域が複数ある場合には、各手領域に対して凸包処理を行う。図１１には、図９に対する凸包処理の結果が示されている。また、図１２には、図１０に対する凸包処理の結果が示されている。

次のステップＳ１０７では、手領域毎に指先候補を検出する。ここでは、凸包処理によって得られる複数の頂点を、その手領域における指先候補とする。

ここでの処理は、手領域の複数の指領域に対して行われる（図１７参照）。なお、ｉ個（ｉは２〜５）の指領域における、凸包処理による全ての頂点のうちスクリーン３００にｊ番目に近い頂点（すなわち指先候補）をＫｊと表記する。なお、図１７〜図２１に示される○は検出された各頂点Ｋｊを表し、○の中の数字は各頂点Ｋｊの番号ｊを表している。

ところで、先端部を抽出する方法として、テンプレートを用いたパターンマッチング手法が考えられるが、この手法では、２次元情報がテンプレートと異なる場合には検出率が大きく低下してしまう。また、パターンマッチングを行うためには、テンプレートとして相応の解像度（画素数）を持った画像が必要である。一方、凸包処理であれば、究極としては、先端部に１画素が存在すれば、それは頂点（指先候補）として検出が可能である。

例えば、図１０のシルエットをみると実際に先端部となる部分は１画素しかないが、図１１に示されるように、頂点（すなわち指先候補）としてきちんと検出されていることがわかる。

次のステップＳ１０８では、保存されている接触対象面データを参照し、手領域における全ての指先候補に対して、−ａ方向に関して、接触対象面から所定の距離Ｌ２（図１３及び図１４参照）以内に入っている指先候補を探索する。ここでは、一例として、Ｌ２＝３０ｍｍとしている。

次のステップＳ１０９では、探索の結果を参照し、該当する指先候補が存在するか否かを判断する。該当する指先候補が存在すれば、ここでの判断は肯定され、ステップＳ１１０に移行する。一方、該当する指先候補が存在しなければ、ここでの判断は否定され、ステップＳ１０２に戻る。

次のステップＳ１１０では、該当する全ての指先候補に接触対象面に対する近接度の総合的な順位付けを行う。

図１７には、手領域の４つの指領域（ここでは人差し指領域、中指領域、薬指領域、小指領域）それぞれに５個の頂点が検出された例が示されている。ここでは、４つの指領域の５個の頂点（合計２０個の頂点）に接触対象面に対する近接度の総合的な順位付けを行い、その順位付けの結果を示す番号１〜２０をこれら２０個の頂点にそれぞれ付している。すなわち、これら２０個の頂点は、番号ｊの小さいものほど接触対象面に近接している。

次のステップＳ１１１では、指領域毎に接触対象面に最も近接している指先候補（「最近接指先候補」とも呼ぶ）以外の指先候補を除外する。すなわち、接触対象面に対する近接度（例えば接触対象面までのａ方向の距離の短さの度合いや、接触対象面への垂線の短さの度合い）が最も高い指先候補以外の指先候補を除外する除外処理を行う。

次のステップＳ１１２では、全ての指領域で除外処理が終了したか否かを判断する。除外処理が終了していない場合はステップＳ１１１へ戻り、終了した場合はステップＳ１１３に移行する。

ステップＳ１１３では、残った指先候補に接触対象面に対する最近接度の順位付けを行う。すなわち、複数（例えば４つ）の指領域の最近接指先候補に接触対象面に対する最近接度の順位付けを行う。ステップＳ１１３が実行されるとステップＳ１１４に移行する。

ステップＳ１１４では、指領域毎の最近接指先候補とスクリーン３００の接触／非接触を判定する。詳細は後述する。ステップＳ１１４が実行されるとステップＳ１１５に移行する。

ステップＳ１１５では、ステップＳ１１４で「接触」と判定された最近接指先候補が有るか否かを判断する。ここでの判断が肯定されるとステップＳ１１６に移行し、否定されるとステップＳ１０２に戻る。

ステップＳ１１６では、最近接指先候補の接触状況や接触位置に基づいて入力操作情報を求める。例えば、１フレームもしくは数フレーム程度の短時間の接触であれば、クリックする入力操作と判断する。また、接触が継続し、かつフレーム間でその位置が移動するのであれば、文字あるいは線を書く入力操作と判断する。そして、このような判断の際、ステップＳ１１４で「接触」と判定された最近接指先候補が単数の場合にはシングルタップの入力操作と判断し、複数の場合にはマルチタップの入力操作と判断する。マルチタップの入力操作の具体例として、画面の拡大操作や縮小操作が挙げられる。

次のステップＳ１１７では、得られた入力操作情報を画像管理装置３０に通知する。これにより、画像管理装置３０は、入力操作情報に応じた画像制御を行う。すなわち、投影画像に入力操作情報が反映される。ステップＳ１１７が実行されるとステップＳ１０２に戻る。

次に、上記ステップＳ１１１〜Ｓ１１３についてより詳細に説明する。ここでは、図１７に示されるように手領域の４つの指領域において合計２０個の頂点がある。すなわち、上述のように各指領域に対して凸包処理を行うことにより４つの指領域に全体として２０個の頂点（Ｋ１、Ｋ２、・・・、Ｋ１９、Ｋ２０）が生成されている。

ここで、各指領域において、複数（ここでは５個）の頂点のうち接触対象面に最も近い頂点（最近接頂点）を中心とする範囲であって最近接頂点以外の頂点を除外する範囲を除外範囲と定義する（図１８〜図２１参照）。

図１８において、除外範囲は頂点Ｋ１〜Ｋ２０のうち接触対象面に最も近い頂点Ｋ１を中心とした円であり、該円内にある他の頂点Ｋ２、Ｋ３、Ｋ４、Ｋ１０を除外する前の状態が示されている。

図１９において、除外範囲は頂点Ｋ１〜Ｋ２０のうち接触対象面に最も近い頂点Ｋ１を中心とした円であり、他の頂点Ｋ２、Ｋ３、Ｋ４、Ｋ１０を除外した後の状態が示されている。

図２０において、除外範囲は頂点Ｋ５〜Ｋ９、Ｋ１１〜Ｋ２０のうち接触対象面に最も近い頂点Ｋ５を中心とした円であり、該円内にある他の頂点Ｋ７、Ｋ８、Ｋ１６、Ｋ１９を除外する前の状態が示されている。

図２１において、４つの除外範囲は、それぞれ４つの指領域で接触対象面に最も近い頂点Ｋ１１、Ｋ１、Ｋ５、Ｋ６を中心とした円であり、他の頂点を除外した後の状態が示されている。

先ず、図１７において２０個の頂点のうち接触対象面に最も近い頂点Ｋ１を中心とする破線の円内を除外範囲として設定する（図１８参照）。この除外範囲に含まれる４つの頂点Ｋ２、Ｋ３、Ｋ４、Ｋ１０を除外する（図１９参照）。これら４つの頂点Ｋ２、Ｋ３、Ｋ４、Ｋ１０を除外すると、Ｋ１の次に接触対象面に近い頂点はＫ５となる。そこで、次の工程として、Ｋ５を中心とする破線の円内を除外範囲として設定し（図２０参照）、この除外範囲に含まれる頂点Ｋ７、Ｋ８、Ｋ１６、Ｋ１９を除外する。このような工程を繰り返すことで最終的には図２１に示される４つの頂点Ｋ１、Ｋ５、Ｋ６、Ｋ１１が得られる。これら４つの頂点Ｋ１、Ｋ５、Ｋ６、Ｋ１１に接触対象面に対する最近接度の順位付けを行い、その順位付けの結果を出力する。

そして、この順位付けの結果に基づいて、図２１に示される４つの指領域それぞれが接触対象面に接触しているか否かを判定することができる。具体的な判定方法は後述する。なお、ここでは、人差し指領域、中指領域、薬指領域、小指領域それぞれに複数の指先候補となる頂点が検出される場合を例にとって説明したが、要は、５つの指領域（親指領域、人差し指領域、中指領域、薬指領域、小指領域）のうち複数の指領域それぞれに複数の指先候補となる頂点が検出されれば良い。

以上の説明では、片手の複数の指でマルチタップ入力する場合を例にとって説明したが、両手もしくは複数人の手によりマルチタップ入力する場合にも同様の議論が成立する。

以上の説明から明らかなように、処理部１５は、接触対象面を設定する機能と、手領域を抽出する機能と、指先候補（端部候補）を検出する機能と、接触を判定する機能を有している。そして、これらの機能は、ＣＰＵによるプログラムに従う処理によって実現しても良いし、ハードウェアによって実現しても良いし、ＣＰＵによるプログラムに従う処理とハードウェアとによって実現しても良い。

本実施形態では、演算部１３３でのデプスマップを取得する処理、処理部１５での接触対象面を設定する処理、及び手領域を抽出する処理は、いずれも３次元処理である。そして、処理部１５での接触対象面を設定する処理、及び手領域を抽出する処理は、デプスマップのみを利用した処理である。また、処理部１５での端部候補を検出する処理は、２次元処理である。そして、処理部１５での接触判定を行う処理は、３次元処理である。

すなわち、本実施形態では、デプスマップのみを用いて、３次元処理と２次元処理を組み合わせて入力操作手段（例えば手）の複数の分岐部分（例えば指）の端部候補を検出し、さらに分岐部分毎に端部候補を絞りこんで、分岐部分毎に絞り込まれた端部候補（最近接指先候補）の接触判定を同時に行っている。

また、ここでは、Ｌ２の値として３０ｍｍが用いられているが、この値は一例である。厳密な意味での接触対象面と入力操作手段の先端部の接触ではＬ２＝０ｍｍである。しかしながら、実用上においては、演算部１３３での計測誤差もあり、また接触していなくても、近接していれば接触とみなす方が使い勝手が良いということもあり、Ｌ２の値として数ｍｍ〜数１０ｍｍの値を設定することが好適である。

以上の説明から明らかなように、本実施形態によると、測距部１３によって本発明の３次元情報取得手段が構成され、処理部１５によって設定手段と変換手段と凸包処理手段と端部候補検出手段と除外手段と順位付け手段と判定手段とが構成されている。すなわち、測距部１３と処理部１５によって本発明の複数点の接触を同時に検出可能な接触検出装置が構成されている。

また、処理部１５によって行われる処理において、本発明の接触検出方法が実施されている。

以上説明したように、本実施形態に係るプロジェクタ装置１０は、投射部１１、測距部１３、処理部１５などを有している。

投射部１１は、処理部１５の指示に基づいて、スクリーン３００に画像を投影する。測距部１３は、投影画像に向けて検出用の光（検出用光）を射出する光射出部１３１と、撮像光学系１３２ｂ及び撮像素子１３２ａを有して、投影画像及び入力操作手段の少なくとも一方を撮像する撮像部１３２と、該撮像部１３２の撮像結果からデプスマップを取得する演算部１３３とを有している。

処理部１５は、接触対象面を設定する機能、手領域を抽出する機能、端部候補を検出する機能、及び接触を判定する機能などを有し、測距部１３からのデプスマップに基づいて、入力操作手段とスクリーン３００の接触を検出し、入力操作手段が示す入力操作情報を求める。

入力操作手段とスクリーン３００の接触を検出する際に、処理部１５は、３次元情報であるデプスマップに基づいて手領域を抽出し、該手領域を２次元情報へ射影変換し、手領域の指領域毎に指先候補を検出する。そして、処理部１５は、再び３次元情報に基づいて指先候補を絞り込んで、絞り込まれた指先候補（最近接指先候補）の接触判定を同時に行う。ここでは、指先候補はデプスマップ上にあり、その指先候補に対して接触判定が行われるため、指先位置と接触判定位置は同一である。また、各指先候補に対して接触判定が行われるため、接触と判定されると同時に、それが指先であることが決定される。

この場合は、入力操作手段とスクリーン３００の接触、及びそのときの入力操作手段の位置を精度良く検出することが可能となり、そのため、入力操作情報を精度良く取得することができる。

処理部１５における接触対象面を設定する機能では、スクリーン３００から所定の距離だけ離れた位置に接触対象面を設定している。この場合は、測距部１３での計測誤差を見込むことにより、計算上、入力操作手段がスクリーン３００の内側（投影面の＋Ｙ側）に入るのを回避することができる。

処理部１５における手領域を抽出する機能では、−ａ方向に関して接触対象面から所定の距離Ｌ１内に入力操作手段があるときに、該入力操作手段が含まれる領域を抽出している。この場合は、端部候補を検出する前段階として、接触対象面からの距離がＬ１を超える部分は接触に無関係であるとみなし、余分な情報を削除し、処理を軽減することが可能となる。

処理部１５における端部候補を検出する機能では、射影変換によって３次元撮像情報を２次元情報に変換し、該２次元情報に対して凸包処理を行い、端部候補を検出している。この場合は、低解像度の画像であっても、先端部として１ピクセルでも存在すれば、端部候補として検出することが可能となる。

処理部１５における接触を判定する機能では、複数の指領域の最近接指先候補（最近接端部候補）が−ａ方向に関して接触対象面からの距離が所定の値Ｌ２以下にあるときに、複数の指領域の最近接指先候補とスクリーン３００の接触／非接触を同時に判定している。この場合は、入力操作手段の先端部がスクリーン３００に対して非接触状態であっても、接触対象面に接近している場合には接触していると判定することができる。そこで、不特定多数の人々が利用する場合や、入力操作手段が汚れているなどで、スクリーン３００に直接接触したくない場合でも接触したと判定することができる。

また、測距部１３の光射出部１３１は、近赤外光を射出する。この場合は、可視光が多い環境下であっても、演算部１３３は、精度の高いデプスマップを取得することができる。また、光射出部１３１から射出された光と、プロジェクタ装置１０から投影される画像（可視光）とが干渉して画像が見えにくくなる等の不具合を抑制することができる。

また、測距部１３の撮像素子１３２ａは、２次元撮像素子を有している。この場合は、デプスマップを１ショットで取得することができる。

また、本実施形態に係るプロジェクタシステム１００は、プロジェクタ装置１０を備えているため、その結果として、所望の画像表示動作を正しく行うことができる。

なお、上記実施形態において、プロジェクタ装置１０と画像管理装置３０とが一体化されていても良い。

ところで、例えばＷｉｎｄｏｗｓ１０／ｉＯＳ／Ａｎｄｒｏｉｄのようにマルチタップに対応したＯＳ（オペレーティングシステム）がある。

このようなマルチタップに対応するためには、図１５に示されるように、複数（例えば４つ）の指それぞれの接触判定を行うことが求められる。すなわち、複数の指それぞれが接触しているか否かを同時に判定することが求められる。なお、図１５〜図２１では、手領域の２次元情報として、便宜上、実際の手を模したものを示している。

しかし、例えば複数の候補点からスクリーンに近い４点を抽出すると、図１６に示されるように１本の指に集中して接触判定を行う場合があり、マルチタップに対応できない。

そこで、発明者らは、マルチタップに対応すべく本実施形態の接触検出装置を開発した。

本実施形態の接触検出装置は、複数の分岐部分（ここでは複数の指）を有する物体（ここでは手）とスクリーン３００の接触を検出する接触検出装置であって、手及びスクリーン３００の３次元情報を取得する測距部１３（３次元情報取得手段）と、スクリーン３００の３次元情報に基づいて、接触対象面を設定する設定手段５０と、手の３次元情報を射影変換によって２次元情報に変換する変換手段５２と、２次元情報に基づいて、複数の指それぞれの複数の端部候補（指先候補）を検出する端部候補検出手段５３と、複数の指それぞれの複数の端部候補に接触対象面に対する近接度の総合的な順位付けを行う順位付け手段５４と、複数の指の２次元情報それぞれの近接度の順位が最も高い端部候補が接触対象面に接触しているか否かを判定する判定手段５５と、を備えている。ここで、設定手段５０、変換手段５２、端部候補検出手段５３、順位付け手段５４、判定手段５５は、それぞれ処理部１５の構成要素である（図２２参照）。

この場合、複数の指それぞれの複数の端部候補を検出することで接触判定の候補点を複数の指に分散させることができる。すなわち、接触判定の候補点が特定の指に集中することを抑制できる。そして、複数の指それぞれの複数の端部候補のうち接触対象面に対する近接度が最も高い端部候補（以下では「最近接端部候補」とも呼ぶ）と接触対象面の接触判定を行うことにより、複数の指それぞれとスクリーン３００の接触の有無を同時に精度良く判定することができる。

この結果、マルチタップに対応できる。

なお、処理部１５において、順位付け手段５４は、必須ではない。すなわち、複数の端部候補に総合的な順位付けをしなくても、複数の端部候補の接触対象面に対する近接度を比較することにより各指領域の最近接端部候補を得ることができる。

また、本実施形態では、測距部１３と、設定手段５０と、変換手段５２と、端部候補検出手段５３とを含んで本発明の「検出系」が構成されているが、これに限らず、適宜変更可能である。

例えば、本発明の「検出系」は、凸包処理に代えて、テンプレートを用いたパターンマッチング手法により、複数の分岐部分それぞれの複数の端部候補を検出するものであっても良い。

また、順位付け手段５４によって複数の指の接触対象面に対する近接度の順位が最も高い端部候補に最近接度の順位付けを行い、判定手段５５は、順位付け手段５４での順位付けの結果に基づいて判定を行うことが好ましい。

この際、例えば複数の指の最近接端部候補のうち近接度の順位が上位半数に入るものを「接触している」と判定し、下位半数に入るものを「接触していない」と判定しても良い。また、例えば複数の指の最近接箇所のうち近接度の順位が最高の箇所を「接触している」と判定し、それ以外の箇所を「接触していない」と判定しても良い。また、例えば複数の指の最近接箇所のうち近接度の順位が最低の箇所を「接触していない」と判定し、それ以外の箇所を「接触している」と判定しても良い。

なお、「最近接度」の順位付けを行わなくても良い。すなわち、図７のステップＳ１１３を省略しても良い。この場合、接触判定の方法として、最近接端部候補と接触対象面の距離が基準値（例えば数ｍｍ〜３０ｍｍ）未満の場合に「接触している」と判定し、該基準値以上の場合に「接触していない」と判定しても良い。また、複数の指の最近接端部候補から接触対象面までの距離（例えば最近接端部候補と接触対象面のａ方向の距離や、最近接端部候補から接触対象面への垂線の長さ）の平均値を算出し、最近接箇所から接触対象面までの距離が該平均値未満となる指に対して「接触している」と判定し、該平均値以上となる指に対して「接触していない」と判定しても良い。

また、接触対象面から所定の距離Ｌ２以内に入っている指先候補がある場合（図７のステップＳ１０９でＹＥＳ）に、その指先候補が接触対象面に接触していると見做し（判定し）、図７のステップＳ１１３〜Ｓ１１５を省略しても良い。この場合、判定手段５５による複数の指領域それぞれの最近接指先候補と接触対象面の接触／非接触の判定は、実質的にステップＳ１０９においてなされることになる。

また、端部候補検出手段５３は、測距部１３から接触対象面までの距離に応じた範囲内で複数の端部候補を検出することが好ましい。

この場合、測距部１３から接触対象面までの距離に応じて除外範囲を広げることができ、測距部１３のノイズ対策となる。

ところで、図１８等に示される除外範囲（破線の円内）は、デプスセンサ（３次元情報取得部）から対象物までの距離、図２におけるａ方向における距離に応じて設定することが好ましい。大人と子供の別、体格差、性別等により指の太さが異なることや、ａ方向への立体角は同じとして、上記距離に応じて広がる除外範囲を広げることでデプスセンサ（３次元情報取得部）のノイズ対策となる。

また、３次元情報取得手段としての測距部１３は、ＴＯＦ法を用いている。

但し、３次元情報取得手段がＴＯＦ法を用いる場合には、若干の変更が必要となる。例えばＭｉｃｒｏｓｏｆｔ社のＫｉｎｅｃｔ Ｖ２のようなＴＯＦ方式のデプスセンサや、自身が発光した光の対象物までの飛行時間で距離を計測するようなタイプのデプスセンサであれば詳細にデプス値が得られるものの、室内における微妙な大気の揺らぎやセンサの熱雑音により生じるノイズ成分の影響が大きくなることがわかっている。

そこで、測距部１３から接触対象面までの距離をＬ、複数の指の太さの平均をＸとしたとき、複数の端部候補はＸ／Ｌよりも大きい値を直径とする円内にあること（該円内を除外範囲として設定すること）により、ノイズ成分の影響を低減できる。なお、Ｘの値は、手領域（２次元情報）から求めることができる。

また、３次元情報取得手段として、パターン投影法やステレオカメラ法を用いても良い。パターン投影法としては、例えばＭｉｃｒｏｓｏｆｔ社のＫｉｎｅｃｔ Ｖ１が挙げられる。

この際、３次元情報取得手段から接触対象面までの距離をＬ、複数の指の太さの平均をＸ、３次元情報取得手段の焦点距離をｆとしたときに、複数の端部候補はＸｆ／Ｌよりも大きい値を直径とする円内にあることが好ましい。この場合、ノイズ成分の影響を低減できる。なお、Ｘの値は、手領域（２次元情報）から求めることができる。

また、複数の端部候補は、３次元情報取得手段から接触対象面までの距離が小さいほど多く検出されることが好ましい。

また、検出系は、２次元情報に対して凸包処理を行う凸包処理手段５７を更に含み、複数の端部候補は、該凸包処理によって得られることが好ましい。なお、凸包処理手段５７は、処理部１５の構成要素とすることができる（図２２参照）。

なお、上記実施形態では、デプスセンサから得られる点群データから凸包にて２次元情報の頂点を算出して手領域を求めており、非常に簡素である。簡素であることからデプスセンサをステレオカメラ方式、パターン投影法やＴＯＦ方式としてもすぐに成立するが、あらかじめ機械学習などにより人体のシルエットを得やすいデータを用意してから凸包処理を行っても良い。Ｋｉｎｅｃｔ Ｖ１ であれば、Ｍｉｃｒｏｓｏｆｔ社より開発キットが公開されており、関数Ｎｕｉ Ｓｋｅｌｅｔｏｎ Ｇｅｔ Ｎｅｘｔ Ｆｒａｍｅにより人体のスケルトン画像が得られる。機械学習については多くのライブラリが公開されている。事前に複数の手を含めた画像を用意して機械学習させて得られた結果を用いれば、Ｍｉｃｒｏｓｏｆｔ社提供ライブラリと同様なシステムを構築することが可能である。

すなわち、検出系は、凸包処理が行われる前に、手の３次元情報が射影変換された２次元情報に対して機械学習結果を適用する機械学習結果適用手段を更に含んでいても良い。なお、機械学習結果適用手段は、処理部の構成要素とすることができる。

特に、ステレオカメラの場合、必ずＲＧＢカメラが用意されている。左右いずれかのＲＧＢカメラ画像と機械学習結果を用いればデプスセンサの精度が劣ることによる凸包処理結果の変動を抑制することが可能となる。

また、接触検出装置は、複数の指それぞれの複数の端部候補から接触対象面に対する近接度の順位が最も高い端部候補以外の端部候補を除外する除外処理手段５８（除外手段）を更に備えることが好ましい。なお、除外処理手段５８は、処理部１５の構成要素とすることができる（図２２参照）。順位付け手段５４と除外処理手段５８の少なくとも一方を含んで、本発明の「最近接端部候補取得系」を構成することができる。

また、プロジェクタ装置１０は、投影面に画像を投影する投射部１１と、投影面と手（物体）との接触を検出するための本実施形態の接触検出装置とを備えている。

この場合、マルチタップ機能を利用可能なプロジェクタ装置を実現できる。

また、プロジェクタ装置１０と、該プロジェクタ装置１０で得られた入力操作に基づいて、画像制御を行う画像管理装置３０（制御装置）とを備えるプロジェクタシステムによれば、マルチタップ機能を利用可能なインタラクティブなシステムを構築できる。

また、本実施形態の接触検出方法は、複数の指（分岐部分）を有する手（物体）とスクリーン３００（対象物）の接触を検出する接触検出方法であって、手及びスクリーン３００の３次元情報を取得する工程と、スクリーン３００の３次元情報に基づいて、接触対象面を設定する工程と、手の３次元情報を射影変換によって２次元情報に変換する工程と、該２次元情報に基づいて、複数の指それぞれの複数の端部候補を検出する工程と、複数の指それぞれの複数の端部候補に接触対象面に対する近接度の総合的な順位付けを行う工程と、複数の分岐部分それぞれの複数の端部候補のうち該近接度の順位が最も高い端部候補が接触対象面に接触しているか否かを判定する工程と、を含む。

この場合、複数の指それぞれの複数の端部候補を検出することで接触判定の候補点を複数の指に分散させることができる。すなわち、接触判定の候補点が特定の指に集中することを抑制できる。そして、複数の指それぞれの複数の端部候補のうち接触対象面に対する近接度が最も高い端部候補（以下では「最近接端部候補」とも呼ぶ）と接触対象面の接触判定を行うことにより、複数の指それぞれとスクリーン３００の接触の有無を同時に精度良く判定することができる。

この結果、マルチタップに対応できる。

なお、本実施形態の接触検出方法において、順位付けを行う工程は、必須ではない。すなわち、複数の端部候補に総合的な順位付けをしなくても、複数の端部候補の接触対象面に対する近接度を比較することにより各指領域の最近接端部候補を得ることができる。

なお、本実施形態では、３次元情報を取得する工程と、接触対象面を設定する工程と、２次元情報に変換する工程と、複数の端部候補を検出する工程とを含んで本発明の「検出する工程」が構成されているが、これに限らず、適宜変更可能である。

例えば、本発明の「検出する工程」では、凸包処理に代えて、テンプレートを用いたパターンマッチング手法により、複数の分岐部分それぞれの複数の端部候補を検出しても良い。

また、本実施形態の接触検出方法を画像管理装置３０（コンピュータ）に実行させるプログラムとして、手及びスクリーン３００の３次元情報を取得する手順と、スクリーン３００の３次元情報に基づいて、接触対象面を設定する手順と、手の３次元情報を射影変換によって２次元情報に変換する手順と、該２次元情報に基づいて、複数の指それぞれの複数の端部候補を検出する手順と、複数の指それぞれの複数の端部候補に接触対象面に対する近接度の総合的な順位付けを行う手順と、複数の分岐部分それぞれの複数の端部候補のうち該近接度の順位が最も高い端部候補が接触対象面に接触しているか否かを判定する手順と、を含むプログラムを提供することができる。

なお、このプログラムにおいて、順位付けを行う手順は、必須ではない。すなわち、複数の端部候補に総合的な順位付けをしなくても、複数の端部候補の接触対象面に対する近接度を比較することにより各指領域の最近接端部候補を得ることができる。

さらに、このプログラムが格納された記憶媒体（例えばメモリやハードディスク）を提供することもできる。

なお、上記実施形態では、手で直接マルチタッチする場合を例にとって説明したが、例えば手袋をはめた状態でマルチタッチする場合にも同様の議論が成立する。

また、上記実施形態において、不図示の取付部材を介して測距部１３が筐体に対して取り外し可能な状態で外付けされていても良い（図２３参照）。この場合、測距部１３で取得されたデプスマップは、ケーブル等を介して筐体内の処理部１５に通知される。また、この場合、測距部１３は、筐体とは離れた位置に配置することもできる。

また、上記実施形態において、処理部１５での処理の少なくとも一部を画像管理装置３０で行っても良い。例えば、上記入力操作情報取得処理が画像管理装置３０で行われる場合、測距部１３で取得されたデプスマップは、ケーブル等を介して、又は無線通信により、画像管理装置３０に通知される。

また、上記実施形態において、処理部１５での処理の少なくとも一部を演算部１３３で行っても良い。例えば、上記入力操作情報取得処理における接触を検出する処理（ステップＳ１０３〜Ｓ１１４）が演算部１３３で行われても良い。

また、上記実施形態において、プロジェクタ装置１０が複数の測距部１３を有していても良い。例えば、Ｘ軸方向に関する画角が非常に大きい場合、超広角な撮像光学系を有する１つの測距部１３でその画角をカバーするよりも、画角を抑えた撮像光学系を有する複数の測距部１３をＸ軸方向に沿って並べたほうが低コストな場合がある。すなわち、Ｘ軸方向に超広角なプロジェクタ装置を低コストで実現することができる。

一例として図２４には、パターン投影法を用いる測距部１３（３次元情報取得手段）の構成例が示されている。ここでは、測距部１３の光射出部１３１は、ある構造化された光を射出する。なお、構造化された光とは、Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ法として知られている方法に適した光であって、例えば、ストライプ状の光やマトリックス状の光などがある。照射領域は当然ではあるが、投影画像より広範囲である。射出される光は近赤外光であるため、投影画像が見えにくくなる等の不都合はない。このとき、撮像部１３２は、撮像対象物で反射されて変形した構造化された光を撮像する。そして、演算部１３３は、光射出部１３１から射出された光と、撮像部１３２で撮像された光とを比較し、三角測量法に基づいてデプスマップを求める。ここでは、撮像部１３２の焦点距離を、便宜上、測距部１３の焦点距離と呼ぶ。

また、一例として図２５に示されるＴＯＦ（Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ）法を用いる測距部１３の変形例のように、測距部１３の光射出部１３１は、所定の周波数で強度変調された光を射出しても良い。照射領域は当然ではあるが、投影画像より広範囲である。射出される光は近赤外光であるため、投影画像が見えにくくなる等の不具合はない。撮像部１３２は、１つの位相差計測可能な２次元撮像素子と撮像光学系を備えている。このとき、撮像部１３２は、撮像対象物で反射されて位相がずれた光を撮像する。そして、演算部１３３は、光射出部１３１から射出された光と、撮像部１３２で撮像された光とを比較し、時間差もしくは位相差に基づいてデプスマップを求める。

また、一例として図２６には、ステレオカメラ法を用いる測距部１３の構成例が示されている。ここでは、測距部１３の光射出部１３１は、対象物にテクスチャを付与するための光を射出する。照射領域は当然ではあるが、投影画像より広範囲である。射出される光は近赤外光であるため、投影画像が見えにくくなる等の不具合はない。この場合、撮像対象物に投影されたテクスチャパターンを撮像する２つの撮像部１３２を有している。そのため、それぞれの撮像部に対応して光軸は２つ存在する。そして、演算部１３３は、２つの撮像部１３２が撮像した画像間の視差に基づいてデプスマップを演算する。すなわち、演算部１３３は、各画像に対してステレオ平行化と呼ばれる処理を行い、２つの光軸が平行であると仮定したときの画像を変換する。そのため、２つの光軸は平行でなくても良い。なお、ステレオ平行化処理がなされた後の光軸は、Ｘ軸方向からみると重なっており（図２７参照）、上記実施形態における測距部１３の光軸に対応する。ここでは、撮像部１３２の焦点距離を、便宜上、測距部１３の焦点距離と呼ぶ。

また、上記実施形態では、プロジェクタ装置１０が載置台４００に載置されて使用される場合について説明したが、これに限定されるものではない。例えば、図２８に示されるように、プロジェクタ装置１０は、天井に吊り下げて使用されても良い。ここでは、プロジェクタ装置１０は、吊り下げ部材で天井に固定されている。

また、上記実施形態において、投影面は平面に限定されない。なお、指先ではなく、指領域の中のスクリーンへの最近接点と投影面とで接触を判定する方式では、投影面が平面でないと、誤検出することがあった。

測距部１３と処理部１５は、一例として図２９に示されるように、対象物の表面に段差がある場合にも用いることができる。この場合は、段差部分に先端部でない入力操作手段が触れてしまっても、誤検知なく指先決定、接触判定が可能である。

例えば、段差の角に手の甲が触れると、従来手法であれば、その位置で接触したと判定されてしまうが、本発明では手の甲部分は指先候補とならないため、接触したとは判定されない。あくまで指先候補と接触対象面との距離で指先が決定され、かつ接触が判定されるので、誤検出は発生しない。

この場合においても、全ての端部候補点Ｋｊの３次元情報に対し、接触対象面から−ａ方向に一定距離（ここでは３０ｍｍ）以内に入っており、かつ、指領域毎に最も接触対象面に近い端部候補点を探す。該当する端部候補が存在すれば、その端部候補は入力操作手段の先端部であり、かつ、該先端部は接触対象面に接触している。

すなわち、上記実施形態において、接触対象面に段差があっても、接触対象面の３次元情報を基にしているので、高い精度の接触検出が可能である。

また、測距部１３と処理部１５は、一例として図３０に示されるように、対象物の表面が曲面を含む場合にも用いることができる。例えば、対象物が、小学校や中学校などで用いられる黒板であっても良い。この場合でも、接触対象面の３次元情報を基にしているので、高い精度の接触検出が可能である。

また、測距部１３と処理部１５は、電子黒板装置やデジタルサイネージ装置にも用いることができる。

図３１には、電子黒板装置の一例が示されている。この電子黒板装置５００は、各種メニューやコマンド実行結果が表示される映写パネル（対象物）及び座標入力ユニットを収納したパネル部５０１と、コントローラ及びプロジェクタユニットを収納した収納部と、パネル部５０１及び収納部を所定の高さで支持するスタンドと、コンピュータ、スキャナ、プリンタ、ビデオプレイヤ等を収納した機器収納部５０２と、から構成されている（特開２００２−２７８７００号公報参照）。測距部１３と処理部１５を含む接触検出装置は、機器収納部５０２内に収納されており、該機器収納部５０２を引き出すことにより、接触検出装置が出現する。そして、接触検出装置は、入力操作手段と映写パネルの接触を検出する。コントローラと処理部１５との間の通信は、ＵＳＢケーブルなどのケーブルを介した有線通信であっても良いし、無線通信であっても良い。

図３２には、デジタルサイネージ装置の一例が示されている。このデジタルサイネージ装置６００では、ガラスが対象物であり、該ガラスの表面が投影面となる。画像は、ガラスの後方から、プロジェクタ本体によりリアプロジェクションされている。測距部１３と処理部１５を含む接触検出装置は、手すり上に設置されている。プロジェクタ本体と処理部１５との間の通信は、ＵＳＢケーブルを介した有線通信である。これにより、デジタルサイネージ装置にインタラクティブ機能を持たせることができる。

このように、測距部１３と処理部１５は、インタラクティブ機能を有する装置や、インタラクティブ機能を付加したい装置に好適である。

以下に、発明者らが上記実施形態を発案するに至った思考プロセスを説明する。

近年、スクリーンに投影した投影画像に文字や図などを書き込む機能や、投影画像の拡大、縮小、及びページ送りなどの操作を実行する機能を有するいわゆるインタラクティブなプロジェクタ装置が市販されている。これらの機能は、スクリーンをタッチする操作者の指や、操作者が保持しているペン及び指し棒などを入力操作手段とし、該入力操作手段の先端がスクリーン（対象物）に接触する位置及び動きを検出して、その検出結果をコンピュータなどへ送ることで実現されている。

例えば、特許文献１には、複数のカメラにより撮像された画像を時系列で取得する取得部と、画像に基づいてカメラから対象物までの距離を算出する算出部と、対象物が所定のＸＹ平面に到達した場合に、時系列で取得した複数の画像間で対象物の面積の差が所定の閾値以下であったとき、算出された距離をカメラからＸＹ平面までの距離に補正する補正部と、を有することを特徴とする位置算出システムが開示されている。

また、特許文献２には、撮像手段によって撮影された画像から、ディスプレイ画面から所定の範囲内の指先を検出する検出手段と、検出された指先の３次元座標を算出する３次元座標計算手段と、算出された指先の３次元座標とディスプレイ画面上の２次元座標とを対応付ける座標処理手段と、対応付けられたディスプレイ画面上の２次元座標と、指先とディスプレイ画面との間の距離とに応じて、現在表示されている画像の下位階層の画像をディスプレイ画面上に表示する画像表示手段とを備えることを特徴とする画像表示装置が開示されている。

また、特許文献３には、距離画像センサを用いて、注目時点における所定の面の上に存在する物体の位置を検知する検知手段と、注目時点において、検知された位置及び位置の周辺を撮影した色画像から物体の端部を特定する特定手段と、物体の位置に基づいて、特定された端部の位置を推定する推定手段と、端部の位置に応じて面に対する接触を判定する判定手段とを有する情報処理装置が開示されている。

また、特許文献４や特許文献５には、画像を投影面に投射するプロジェクタと、投影面の環境の画像を連続取得するデプスカメラと、デプスカメラから、初期状態で得られた深度情報により、初期深度図を構築し、初期深度図により、タッチ動作領域の位置を決定する深度図処理装置と、デプスカメラから、初期状態後に連続して得られた各画像から、決定したタッチ動作領域前の所定間隔内に位置する少なくとも１つの対象の候補ブロブを検知する対象検知装置と、前後に隣り合う画像同士から得られたブロブの重心点の、時間と空間における関係から、各ブロブをそれぞれに対応した点配列に入れる追跡装置と、を有する、仮想タッチスクリーンシステムにおける双方向モードの自動切換システムが開示されている。

しかしながら、特許文献１〜５では、マルチタップに対応することに関して改良の余地があった。

そこで、発明者らは、マルチタップに対応すべく、上記実施形態を発案するに至った。

１０…プロジェクタ装置、１１…投射部（プロジェクタ装置の一部）、１３…測距部（３次元情報取得手段、検出系の一部）、３０…画像管理装置（制御装置）、５０…設定手段（検出系の一部）、５２…変換手段（検出系の一部）、５３…端部候補検出手段（検出系の一部）、５４…順位付け手段（最近接端部候補取得系の一部）、５５…判定手段、５７…凸包処理手段（検出系の一部）、５８…除外処理手段（除外手段、最近接端部候補取得系の一部）、１００…プロジェクタシステム、１３１…光射出部（３次元情報取得手段の一部）、１３２…撮像部（３次元情報取得手段の一部）、３００…スクリーン（対象物）、５００…電子黒板装置、６００…デジタルサイネージ装置。

特開２０１４−２０２５４０号公報 特開２００８−２１０３４８号公報 特開２０１２−４８３９３号公報 特開２０１３−８３６８号公報 特開２０１５−２１２９２７号公報

Claims (20)

1. 複数の分岐部分を有する物体と対象物の接触を検出する接触検出装置であって、
   前記複数の分岐部分それぞれの複数の端部候補を検出する検出系と、
   前記複数の分岐部分それぞれの前記複数の端部候補から前記対象物に最も近接している端部候補である最近接端部候補を得る最近接端部候補取得系と、
   前記複数の分岐部分それぞれの前記最近接端部候補が前記対象物に接触しているか否かを判定する判定手段と、を備える接触検出装置。
2. 前記検出系は、
   前記物体及び前記対象物の３次元情報を取得する３次元情報取得手段と、
   前記対象物の３次元情報に基づいて、接触対象面を設定する設定手段と、
   前記物体の３次元情報を射影変換によって２次元情報に変換する変換手段と、
   前記２次元情報に基づいて、前記複数の分岐部分それぞれの複数の端部候補を検出する端部候補検出手段と、を含むことを特徴とする請求項１に記載の接触検出装置。
3. 前記端部候補検出手段は、前記３次元情報取得手段から前記接触対象面までの距離に応じた範囲内で前記複数の端部候補を検出することを特徴とする請求項２に記載の接触検出装置。
4. 前記３次元情報取得手段は、ＴＯＦ法を用いることを特徴とする請求項２又は３に記載の接触検出装置。
5. 前記３次元情報取得手段から前記接触対象面までの距離をＬ、前記複数の分岐部分の太さの平均をＸとしたとき、前記複数の端部候補はＸ／Ｌよりも大きい値を直径とする円内にあることを特徴とする請求項４に記載の接触検出装置。
6. 前記３次元情報取得手段は、パターン投影法又はステレオカメラ法を用いることを特徴とする請求項２又は３に記載の接触検出装置。
7. 前記３次元情報取得手段から前記接触対象面までの距離をＬ、前記複数の分岐部分の太さの平均をＸ、前記３次元情報取得手段の焦点距離をｆとしたときに、前記複数の端部候補はＸｆ／Ｌよりも大きい値を直径とする円内にあることを特徴とする請求項６に記載の接触検出装置。
8. 前記複数の端部候補は、前記３次元情報取得手段から前記接触対象面までの距離が短いほど多く検出されることを特徴とする請求項２〜７のいずれか一項に記載の接触検出装置。
9. 前記検出系は、前記２次元情報に対して凸包処理を行う凸包処理手段を更に含み、
   前記複数の端部候補は、前記凸包処理によって得られることを特徴とする請求項２〜８のいずれか一項に記載の接触検出装置。
10. 前記検出系は、前記凸包処理が行われる前に前記２次元情報に対して機械学習結果を適用する機械学習結果適用手段を更に含むことを特徴とする請求項９に記載の接触検出装置。
11. 前記最近接端部候補取得系は、前記複数の分岐部分それぞれの前記複数の端部候補に前記対象物に対する近接度の総合的な順位付けを行う順位付け手段を含み、
    前記判定手段は、前記順位付け手段での順位付けの結果に基づいて、前記判定を行うことを特徴とする請求項１〜１０のいずれか一項に記載の接触検出装置。
12. 前記最近接端部候補取得系は、前記複数の分岐部分それぞれの前記複数の端部候補から前記対象物に最も近接している端部候補以外の端部候補を除外する除外手段を含むことを特徴とする請求項１〜１１のいずれか一項に記載の接触検出装置。
13. 投影面に画像を投影する投影部と、
    前記投影面と前記物体との接触を検出するための請求項１〜１２のいずれか一項に記載の接触検出装置と、を備えるプロジェクタ装置。
14. 請求項１〜１２のいずれか一項に記載の接触検出装置を備える電子黒板装置。
15. 請求項１〜１２のいずれか一項に記載の接触検出装置を備えるデジタルサイネージ装置。
16. 請求項１３に記載のプロジェクタ装置と、
    前記プロジェクタ装置で得られた入力操作に基づいて、画像制御を行う制御装置と、を備えるプロジェクタシステム。
17. 複数の分岐部分を有する物体と対象物の接触を検出する接触検出方法であって、
    前記複数の分岐部分それぞれの複数の端部候補を検出する工程と、
    前記複数の分岐部分それぞれの前記複数の端部候補から前記対象物に最も近接している端部候補である最近接端部候補を得る工程と、
    前記複数の分岐部分それぞれの前記最近接端部候補が前記対象物に接触しているか否かを判定する工程と、を含む接触検出方法。
18. 前記検出する工程は、
    前記物体及び前記対象物の３次元情報を取得するサブ工程と、
    前記対象物の３次元情報に基づいて、接触対象面を設定するサブ工程と、
    前記物体の３次元情報を射影変換によって２次元情報に変換するサブ工程と、
    前記２次元情報に基づいて、前記複数の分岐部分それぞれの複数の端部候補を検出するサブ工程と、を含むことを特徴とする請求項１７に記載の接触検出方法。
19. 請求項１８に記載の接触検出方法をコンピュータに実行させるプログラムであって、
    前記物体及び前記対象物の３次元情報を取得する手順と、
    前記対象物の３次元情報に基づいて、接触対象面を設定する手順と、
    前記物体の３次元情報を射影変換によって２次元情報に変換する手順と、
    前記２次元情報に基づいて、前記複数の分岐部分それぞれの複数の端部候補を検出する手順と、
    前記複数の分岐部分それぞれの前記複数の端部候補から前記対象物に最も近接している端部候補である最近接端部候補を得る手順と、
    前記複数の分岐部分それぞれの前記最近接端部候補のうち前記近接度の順位が最も高い端部候補が前記接触対象面に接触しているか否かを判定する手順と、を含むプログラム。
20. 請求項１９に記載のプログラムが格納された記憶媒体。