JP5244084B2 - 表示制御システムおよび表示制御方法 - Google Patents

Description

本発明は、表示装置の表示画面に対するユーザからの操作入力を受け付ける表示制御システムおよび表示制御方法に関するものである。

従来から、プロジェクタなどの表示装置によって画像を表示する場合、表示される画像の切り替え等の制御は、表示装置に設けられたボタンや、表示装置に付属するリモコン送信器を用いて行うことが一般的である。

これに対して、プロジェクタとカメラとを用い、カメラにてプロジェクタの表示領域（スクリーン、机上等）を撮像して得られた撮像画像と、プロジェクタに表示させている表示画像との差分画像から、ユーザの指先等の位置を検出する表示制御システムが提案されている（たとえば特許文献１参照）。

この表示制御システムでは、プロジェクタにてボタンを含む画像を表示することで、当該ボタンの位置とユーザの指先等の位置との位置関係から、ユーザが、表示画面上でいずれかのボタンを指し示すことにより、当該ボタンに対応した操作入力を行うことができる。つまり、表示装置を操作するためのユーザインタフェースとして表示画面上の画像を利用することができる。

特開２００９−６４１１０号公報

しかし、特許文献１記載の表示制御システムでは、撮像画像からユーザの指先等の位置を検出するために、カメラとして比較的高解像度のものを用いる必要があり、さらに、撮像画像に対する画像処理が複雑になるため、システムの導入コストが高くなるという問題がある。なお、表示装置としてタッチパネルディスプレイを用いることにより、ユーザが画面にタッチすることで操作入力可能とすることも考えられるが、画面サイズが大きくなるとタッチパネルディスプレイが高価になり、結果的にシステムの導入コストが高くなる。

本発明は上記事由に鑑みて為されたものであって、比較的簡単な処理で表示画面に対するユーザからの操作入力を受付可能とし、システムの導入コストを低く抑えることができる表示制御システムおよび表示制御方法を提供することを目的とする。

請求項１の発明では、画像を表示する表示装置と、表示装置の表示画面の少なくとも一部を撮像範囲に含む画像を取得する撮像装置と、表示装置の表示制御および撮像装置で得られる撮像画像の画像処理を行う処理制御装置とを備え、処理制御装置は、表示装置に対し表示画面のうち撮像装置の撮像範囲に含まれる位置にユーザからの操作入力を受付可能な範囲を示す図像を少なくとも１つ表示させるとともに、撮像画像上で図像に対応する範囲に検出領域を設定する領域設定手段と、随時取得される撮像画像から所定の判断基準に従って検出領域内の画像の変化の有無を監視し、画像の変化が検出された場合に当該検出領域に対してユーザからの操作入力があったものと判定する判定手段と、判定手段での判定結果に応じた制御信号を外部に出力する出力手段と、前記撮像画像中の前記検出領域の範囲を決定するための設定モードにおいて、前記表示装置に輝度と色との少なくとも一方を前記図像となる範囲と他の範囲とで区別した設定用画像を表示させるとともに、設定用画像を撮像した前記撮像画像から図像となる範囲を抽出し抽出結果から検出領域の範囲を自動的に決定する自動設定手段とを有することを特徴とする。

この構成によれば、判定手段が、随時取得される撮像画像から所定の判断基準に従って検出領域内の画像の変化の有無を監視し、画像の変化が検出された場合に当該検出領域に対してユーザからの操作入力があったものと判定するので、従来のように撮像画像からユーザの指先等の位置を検出する処理が不要となる。すなわち、撮像画像上に設定された検出領域内の画像の変化さえ検出できればよいので、撮像装置として高解像度のものを用いる必要もなく、撮像画像に対する画像処理も簡単になって、システムの導入コストを低く抑えることが可能になる。また、自動設定手段が、設定モードにおいて撮像画像から検出領域の範囲を自動的に決定するので、ユーザが検出領域の範囲を設定する手間を省くことができる。

請求項２の発明では、画像を表示する表示装置と、表示装置の表示画面の少なくとも一部を撮像範囲に含む画像を取得する撮像装置と、表示装置の表示制御および撮像装置で得られる撮像画像の画像処理を行う処理制御装置とを備え、処理制御装置は、表示装置に対し表示画面のうち撮像装置の撮像範囲に含まれる位置にユーザからの操作入力を受付可能な範囲を示す図像を少なくとも１つ表示させるとともに、撮像画像上で図像に対応する範囲に検出領域を設定する領域設定手段と、随時取得される撮像画像から所定の判断基準に従って検出領域内の画像の変化の有無を監視し、画像の変化が検出された場合に当該検出領域に対してユーザからの操作入力があったものと判定する判定手段と、判定手段での判定結果に応じた制御信号を外部に出力する出力手段と、前記表示装置の表示画面を切り替える表示切替手段とを有し、前記判定手段は、前記表示画面の切り替えの前後において前記撮像画像内の同一位置に設定された前記検出領域で連続して前記画像の変化を検出した場合、当該検出領域に対するユーザからの操作入力を確定する前にユーザに対して確認操作を要求し、ユーザからの確認操作があったときのみ前記操作入力を確定する操作確認機能を有することを特徴とする。
この構成によれば、判定手段が、随時取得される撮像画像から所定の判断基準に従って検出領域内の画像の変化の有無を監視し、画像の変化が検出された場合に当該検出領域に対してユーザからの操作入力があったものと判定するので、従来のように撮像画像からユーザの指先等の位置を検出する処理が不要となる。すなわち、撮像画像上に設定された検出領域内の画像の変化さえ検出できればよいので、撮像装置として高解像度のものを用いる必要もなく、撮像画像に対する画像処理も簡単になって、システムの導入コストを低く抑えることが可能になる。また、この構成によれば、表示画面の切り替えの前後において撮像画像内の同一位置に設定された検出領域で連続して画像の変化を検出した場合、即座に操作入力があったものと判定されることがないので、検出領域内に物体が放置されたような場合に、当該物体により意図せず操作入力が行われることを防止できる。
請求項３の発明は、請求項１または請求項２の発明において、前記処理制御装置が、前記検出領域ごとに既定の応答処理を一対一に対応付けて記憶する設定格納手段を有し、前記出力手段が、操作入力があった検出領域と設定格納手段内で対応付けられている応答処理に従って前記表示装置の表示画面を切り替えることを特徴とする。

この構成によれば、表示装置の表示画面に対するユーザからの操作入力への応答として表示画面が切り替わるので、ユーザにとっては、表示画面と直接やり取りしているような感覚で操作可能となり操作方法が分かりやすくなる。

請求項４の発明は、請求項１ないし請求項３のいずれかの発明において、前記判定手段が、前記撮像画像に基づき、ユーザからの操作入力がない初期状態と比較したときの前記検出領域内の画素ごとの画素値の変化量の合計値を求め、当該合計値が所定の閾値を超える場合に操作入力があったと判断するように前記判断基準が定められていることを特徴とする。

この構成によれば、検出領域内の画素値の変化量から画像の変化を検出するので、比較的簡単な演算処理にて操作入力の有無を判定可能となる。

請求項５の発明は、請求項１ないし請求項３のいずれかの発明において、前記判定手段が、前記撮像画像における前記検出領域内のエッジ画像からエッジ数を求め、ユーザからの操作入力がない初期状態と比較したときの前記エッジ数の変化量が所定の閾値を超える場合に操作入力があったと判断するように前記判断基準が定められていることを特徴とする。

この構成によれば、検出領域内のエッジ数の変化量から画像の変化を検出するので、検出領域内にある物体の位置が若干ずれた程度では操作入力があったことにはならず、誤検知の発生を防止することができる。

請求項６の発明は、画像を表示する表示装置と、表示装置の表示画面の少なくとも一部を撮像範囲に含む画像を取得する撮像装置とを用い、表示装置の表示画面に対するユーザからの操作入力を受け付ける表示制御方法であって、表示装置に対し表示画面のうち撮像装置の撮像範囲に含まれる位置にユーザからの操作入力を受付可能な範囲を示す図像を少なくとも１つ表示させるとともに、撮像画像上で図像に対応する範囲に検出領域を設定する領域設定過程と、随時取得される撮像画像から所定の判断基準に従って検出領域内の画像の変化の有無を監視し、画像の変化が検出された場合に当該検出領域に対してユーザからの操作入力があったものと判定する判定過程と、判定過程での判定結果に応じて表示装置の表示画面を切り替える出力過程とを有し、前記撮像画像中の前記検出領域の範囲を決定する際、前記表示装置に輝度と色との少なくとも一方を前記図像となる範囲と他の範囲とで区別した設定用画像を表示させるとともに、設定用画像を撮像した前記撮像画像から図像となる範囲を抽出し抽出結果から検出領域の範囲を自動的に決定することを特徴とする。

この発明によれば、判定過程にて、随時取得される撮像画像から所定の判断基準に従って検出領域内の画像の変化の有無を監視し、画像の変化が検出された場合に当該検出領域に対してユーザからの操作入力があったものと判定するので、従来のように撮像画像からユーザの指先等の位置を検出する処理が不要となる。すなわち、撮像画像上に設定された検出領域内の画像の変化さえ検出できればよいので、撮像装置として高解像度のものを用いる必要もなく、撮像画像に対する画像処理も簡単になって、システムの導入コストを低く抑えることが可能になる。また、撮像画像中の検出領域の範囲を決定する際、撮像画像から検出領域の範囲を自動的に決定するので、ユーザが検出領域の範囲を設定する手間を省くことができる。

請求項７の発明は、画像を表示する表示装置と、表示装置の表示画面の少なくとも一部を撮像範囲に含む画像を取得する撮像装置とを用い、表示装置の表示画面に対するユーザからの操作入力を受け付ける表示制御方法であって、表示装置に対し表示画面のうち撮像装置の撮像範囲に含まれる位置にユーザからの操作入力を受付可能な範囲を示す図像を少なくとも１つ表示させるとともに、撮像画像上で図像に対応する範囲に検出領域を設定する領域設定過程と、随時取得される撮像画像から所定の判断基準に従って検出領域内の画像の変化の有無を監視し、画像の変化が検出された場合に当該検出領域に対してユーザからの操作入力があったものと判定する判定過程と、判定過程での判定結果に応じて表示装置の表示画面を切り替える出力過程とを有し、前記判定過程では、前記表示画面の切り替えの前後において前記撮像画像内の同一位置に設定された前記検出領域で連続して前記画像の変化を検出した場合、当該検出領域に対するユーザからの操作入力を確定する前にユーザに対して確認操作を要求し、ユーザからの確認操作があったときのみ前記操作入力を確定することを特徴とする。

この発明によれば、判定過程にて、随時取得される撮像画像から所定の判断基準に従って検出領域内の画像の変化の有無を監視し、画像の変化が検出された場合に当該検出領域に対してユーザからの操作入力があったものと判定するので、従来のように撮像画像からユーザの指先等の位置を検出する処理が不要となる。すなわち、撮像画像上に設定された検出領域内の画像の変化さえ検出できればよいので、撮像装置として高解像度のものを用いる必要もなく、撮像画像に対する画像処理も簡単になって、システムの導入コストを低く抑えることが可能になる。また、この構成によれば、表示画面の切り替えの前後において撮像画像内の同一位置に設定された検出領域で連続して画像の変化を検出した場合、即座に操作入力があったものと判定されることがないので、検出領域内に物体が放置されたような場合に、当該物体により意図せず操作入力が行われることを防止できる。

本発明は、比較的簡単な処理で表示画面に対するユーザからの操作入力を受付可能とし、システムの導入コストを低く抑えることができるという利点がある。

本発明の実施形態１の構成を示す概略システム構成図である。 同上の表示画面の例を示す平面図である。 同上で用いる画面データテーブルの構成を示す説明図である。 同上で用いるシナリオテーブルの構成を示す説明図である。 同上の動作を示す説明図である。 同上の動作を示すフローチャートである。 同上の動作を示すフローチャートである。 同上の動作を示すフローチャートである。 同上の設定モードの動作を示すフローチャートである。 本発明の実施形態２の動作を示す説明図である。 同上の動作を示すフローチャートである。 本発明の実施形態３の動作を示すフローチャートである。

（実施形態１）
本実施形態の表示制御システムは、図１に示すように、机１０上の投影領域に対してコンテンツ画像を投影するプロジェクタ（表示装置）１と、前記投影領域を撮像範囲内に含むように設置されたカメラ（撮像装置）２と、プロジェクタ１およびカメラ２に接続された処理制御装置３とを備える。ここでは、プロジェクタ１とカメラ２とは視野が略共通となる位置関係で、いずれも投影領域となる机１０の上方に配置されている。

処理制御装置３は、各種の演算処理を行う演算部３０と、プロジェクタ１に接続された画像出力部３１と、カメラ２に接続された画像入力部３２とを備えている。さらに、処理制御装置３は、プロジェクタ１に出力する画像を格納する出力画像メモリ３３と、カメラ２で得られた撮像画像を格納する入力画像メモリ３４と、内蔵型の内部記憶装置３５と、取り外し可能な外部記憶装置３６と、外部機器のインタフェースとなるＩ／Ｏ制御部３７とを備えている。Ｉ／Ｏ制御部３７には、入力手段たるマウス５およびキーボード６と、音出力手段たるスピーカ７と、ユーザＨの視覚、聴覚以外の感覚への刺激（たとえば匂い、風、振動等）を与える感覚刺激機器８とが接続されている。なお、ここではカメラ２にて得られる撮像画像は濃淡画像（濃淡値を画素値とする画像）とする。

演算部３０は、プロジェクタ１に対し、表示画面１１のうちカメラ２の撮像範囲に含まれる位置に、ユーザＨからの操作入力を受付可能な範囲を示す図像を少なくとも１つ表示させる領域設定手段４１としての機能を有している。すなわち、プロジェクタ１の表示画面１１には、図２に示すように適当なコンテンツ画像を表示する映像表示領域Ｆｃ１，Ｆｃ２（以下、各々を特に区別しないときには単に「映像表示領域Ｆｃ」という）と、ユーザＨからの操作入力を受け付けるボタンＢｔ１〜Ｂｔ４（以下、各々を特に区別しないときには単に「ボタンＢｔ」という）の範囲を示す図像の表示領域とが含まれる。

ここで、システム設計者がシナリオ作成時にデザインした図２に示す表示画面１１に基づき、表示画面１１上において映像表示領域ＦｃやボタンＢｔの表示範囲（図像の表示範囲）を示す図形データ（代表点座標、形状、サイズ）が予め設定される。この図形データは、図３に示すように、表示画面１１を特定する「画面Ｎｏ．」および映像表示領域Ｆｃを特定する「映像表示領域Ｎｏ．」またはボタンＢｔを特定する「ボタンＮｏ．」と対応付けられ、画面データテーブルＴａ１として内部記憶装置３５に格納される。

さらに、領域設定手段４１は、カメラ２で得られた撮像画像２１（図５参照）上で各ボタンＢｔに対応する範囲に検出領域を設定する機能を有している。要するに、表示画面１１上ではボタンＢｔの範囲が図像により提示され、当該表示画面１１を撮像した撮像画像２１上では図像に対応する範囲に検出領域が設定されることになる。ここで、撮像画像２１上での検出領域の範囲を示すデータ（代表点座標、形状、サイズ）は、各「ボタンＮｏ．」と対応付けて後述するシナリオテーブルＴａ２（図４参照）の「撮像画像上での検出領域データ」欄に予め格納される。

また、演算部３０は、撮像画像２１をカメラ２から随時取得しており、当該撮像画像２１から所定の判断基準に従って検出領域内の画像の変化の有無を監視する判定手段４２としての機能を有している。判定手段４２では、検出領域内の画像の変化が検出された場合に、当該検出領域に対応するボタンＢｔに対してユーザＨからの操作入力があったものと判定する。なお、画像の変化の有無をどのように判断するかについては後述する。

さらに演算部３０は、判定手段４２にて操作入力があったと判定された場合に、判定結果に応じた制御信号を外部に出力することで操作入力に応じた応答処理を実行する出力手段として表示切替手段４３を有している。表示切替手段４３は、ユーザＨからの操作入力に応じてプロジェクタ１の表示画面１１を切り替える機能を有する。

以上説明した構成により、表示制御システムは、プロジェクタ１の表示画面１１に対するユーザＨからの操作入力に応じて、所定の応答処理（ここでは表示画面１１の切り替えとする）を行うことになる。

すなわち、上記表示制御システムをある商品の説明に用いる場合を例にすると、処理制御装置３は、プロジェクタ１の表示画面１１に、映像表示領域Ｆｃに商品に関する説明を表示させるとともに、次の説明への選択肢を示したボタンＢｔの図像を表示させる。この状態で、カメラ２では図２に示すような表示画面１１を撮像しているため、処理制御装置３は、撮像画像２１からボタンＢｔに対応した検出領域に対するユーザＨの操作を検出すると、当該ボタンＢｔが選択されたものとして、当該ボタンＢｔに対応付けて設定されている応答処理を実施する。

ここでいう応答処理として、以下の説明ではプロジェクタ１、スピーカ７により映像、音といった方法でユーザＨに提示することを想定するが、感覚刺激機器８によりユーザＨの視覚、聴覚以外の感覚への刺激（たとえば匂い、風、振動等）を応答処理としてユーザＨに返すようにしてもよい。応答処理として表示される画像は、静止画、動画のいずれでもよく、また、出力される音は、音声、音楽、環境音（水の流れる音や風の音などの自然音）等、任意に設定される。

ここにおいて、操作されるボタンＢｔと応答処理との対応関係は、設定格納手段としての外部記憶装置３６に格納されるシナリオテーブルＴａ２上で決められている。すなわち、シナリオテーブルＴａ２では、図４に示すように、「動作」の内容（ここでは、表示画面１１を特定する「画面１、画面２、・・・」と、出力音を特定する「音１、音２、・・・」）を規定する「動作Ｎｏ．」ごとに、表示画面１１に表示される各ボタンＢｔを特定する「ボタンＮｏ．」と、応答処理を特定する「ボタン選択時の次の動作」とが対応付けて記憶されている。これにより、演算部３０は、ユーザＨからの操作入力があったボタンＢｔの「ボタンＮｏ．」に対応する応答処理をシナリオテーブルＴａ２の「ボタン選択時の次の動作」欄から読み込み実行する。

また、シナリオテーブルＴａ２では、上述したように撮像画像２１上の検出領域の範囲を表す「撮像画像上での検出領域データ」も各「ボタンＮｏ．」に対応付けて記憶されている。さらに、シナリオテーブルＴａ２では、各表示画面１１中で複数のボタンＢｔが同時に操作された場合の優先順位を示す「ボタンＮｏ．判定優先順位」、後述する「初期計測時の計測データ格納アドレス」、「検出領域の判定閾値」も各「ボタンＮｏ．」に対応付けて記憶されている。

図５では、図４のシナリオテーブルＴａ２を用いた場合の処理制御装置３の動作例を示す。

すなわち、初期動作である「動作１」では、処理制御装置３は、「画面１」をプロジェクタ１に表示させるとともに、撮像画像２１上で「ボタン１」に対応する検出領域を監視する（図５（ａ））。当該検出領域に対するユーザＨからの操作入力を検出すると、処理制御装置３は次動作である「動作２」に移行する。「動作２」では、処理制御装置３は「画面２」をプロジェクタ１に表示させるとともに、撮像画像２１上で「ボタン１」〜「ボタン４」に対応する各検出領域をそれぞれ監視する（図５（ｂ））。いずれかの検出領域に対するユーザＨからの操作入力を検出すると、処理制御装置３は各ボタンＢｔに対応付けられている次動作に移行する（図５（ｃ）〜（ｅ））。それ以降も、処理制御装置３はシナリオテーブルＴａ２におけるボタンＢｔと応答処理との対応関係に従って動作する。

以下、上述した構成の表示制御システムの動作について図６のフローチャートを参照して説明する。

まず、処理制御装置３は、外部で予め作成されたシナリオテーブルＴａ２を外部記憶装置３６から内部記憶装置３５に読み込む（Ｓ１）。それから、演算部３０では、ユーザＨからの操作入力がない状態（以下、「初期状態」という）で各動作を順次実行することにより、各撮像画像２１上で各ボタンＢｔに対応する検出領域を順次設定する。このとき、演算部３０は、撮像画像２１における各検出領域の画像の特徴量を保管して、当該保管データのアドレスをシナリオテーブルＴａ２の「初期計測時の計測データ格納アドレス」欄に、各「ボタンＮｏ．」と対応付けて格納する（Ｓ２）。

その後、演算部３０は、「動作Ｎｏ．」を表す変数Ａｎを初期値「１」に設定し（Ｓ３）、「動作１」の処理である「画面１」の表示と「音１」の出力とを実行する（Ｓ４）。このとき、演算部３０は、図７に示すように「動作Ｎｏ．」に対応してシナリオテーブルＴａ２中の「動作」欄に設定された画像データ、音データを読み込み（Ｓ２１）、表示制御（Ｓ２２）および音出力（Ｓ２３）を実行する。この状態で、演算部３０は、「ボタンＮｏ．」を表す変数Ｂｎを初期値「１」に設定し（Ｓ５）、「ボタン１」に対応する検出領域を設定して（領域設定過程）当該検出領域への操作入力の有無を判定する（Ｓ６：判定過程）。

ここで、入力なしと判定されれば（Ｓ７：Ｎｏ）、演算部３０は変数Ｂｎをインクリメントして（Ｓ１０）、「ボタン２」に対応する検出領域への操作入力の判定処理に移行する。一方、入力有りと判定された場合（Ｓ７：Ｙｅｓ）、演算部３０は入力があったボタンＢｔの「ボタンＮｏ．」を記憶し（Ｓ９）、変数Ｂｎをインクリメントしてから（Ｓ１０）、「ボタン２」に対応する検出領域への操作入力の判定処理に移行する。

演算部３０は、上述した操作入力の判定処理を、表示中の表示画面１１に対応する全てのボタンＢｔについて（つまり、ボタンデータが終了するまで）繰り返し行う（Ｓ１１）。なお、操作入力を受けたボタンＢｔがシナリオテーブルＴａ２上で終了処理に対応付けられている場合には、当該ボタンＢｔへの操作入力を受けた時点で表示制御システムの動作を終了する（Ｓ８：Ｙｅｓ）。

表示中の全てのボタンＢｔについて操作入力の判定処理が終了すると（Ｓ１１：Ｙｅｓ）、いずれのボタンＢｔへの操作入力もなかった場合（Ｓ１２：Ｎｏ）、変数Ｂｎへの初期値「１」設定処理（Ｓ５）に戻り、操作入力の判定処理（Ｓ６〜Ｓ１１）を繰り返す。

一方、操作入力があった場合（Ｓ１２：Ｙｅｓ）、操作入力が１回のみであれば（Ｓ１３：Ｎｏ）、演算部３０はシナリオテーブルＴａ２を参照して当該ボタンＢｔに対応付けられた次動作の「動作Ｎｏ．」を変数Ａｎに設定し（Ｓ１５）、動作の実行処理へと戻り次動作を実行する（Ｓ４：出力過程）。また、操作入力が複数あれば（Ｓ１３：Ｙｅｓ）、演算部３０はシナリオテーブルＴａ２中に予め設定されている優先順位に従ってボタンＢｔを特定し（Ｓ１４）、当該ボタンＢｔに対応付けられた次動作の「動作Ｎｏ．」を動作番号Ａｎに設定し（Ｓ１５）、動作の実行処理を進める（Ｓ４：出力過程）。

ここにおいて、ボタン（検出領域）Ｂｔに対するユーザＨからの操作入力の有無を判定する際（Ｓ６）に行う画像の変化の有無を判断するための判定手段４２の処理について、図８のフローチャートを参照して説明する。

本実施形態では、演算部３０はカメラ２で得られた撮像画像２１における検出領域内の画像（特徴量）と、上記初期状態で得られた検出領域内の画像（特徴量）との差分値を用いて、操作入力の判定を行う。ここでは、カメラ２で撮像された濃淡画像（濃淡値を画素値とする画像）をそのまま操作入力の判定に用いることとする。

すなわち、処理制御装置３は、まず表示画面１１をカメラ２で撮像し、得られた撮像画像２１を入力画像メモリ３４に保存する（Ｓ１０１）。次に、判定手段４２は、シナリオテーブルＴａ２に記憶されている初期状態（操作入力がない状態）の濃淡画像Ｉｉと、入力画像メモリ３４内の濃淡画像Ｉとの間で、検出領域内の画素ごとに画素値の差分をとり、検出領域内の各画素の差分値の合計Ｓｉを算出する（Ｓ１０２）。

判定手段４２は、このように求めた差分値の合計Ｓｉと、予め定められている閾値αｉとを比較し（Ｓ１０３）、合計Ｓｉが閾値αｉより大きい場合には操作入力有りと判定し（Ｓ１０４）、それ以外の場合は操作入力なしと判定する（Ｓ１０５）。なお、閾値αｉは予め各ボタンＢｔごとに個別に設定され、シナリオテーブルＴａ２の「検出領域の判定閾値」欄に格納されている。

以上説明した本実施形態の表示制御システムによれば、処理制御装置３は、撮像画像２１上で検出領域内の画像の変化の有無によってボタンＢｔに対する操作入力の有無を判定するので、従来のように撮像画像２１からユーザＨの指先等の位置を検出する処理が不要となる。したがって、撮像画像２１上に設定された検出領域内の画像の変化さえ検出できればよいため、カメラ２として高解像度のものを用いる必要もなく、撮像画像２１に対する画像処理も簡単になって、簡易なシステム構成とすることができ、結果的にシステムの導入コスト低減につながる。

また、上述のようにカメラ２で撮像された濃淡画像をそのまま操作入力の判定に用いた場合、撮像画像２１に対する前処理が不要になって、計算量が少なく処理の簡略化を図ることができる。ただし、操作入力の判定に環境光の変化の影響を受けやすくなり、環境光変化により撮像画像２１全体が明るく（または暗く）なった場合に、操作入力有りと誤検知する可能性がある。

そこで、濃淡画像そのままではなく、濃淡画像の微分強度画像や、濃淡画像を水平、垂直方向にそれぞれ微分し微分値の正、負、ゼロの３値にコード化した３値コード画像を用いて操作入力の判定を行うことも考えられる。

微分強度画像を用いる場合、判定手段４２は、上記図８の処理Ｓ１０２の前処理として、カメラ２で得られた濃淡画像のうち検出領域内の画像を微分し、周知の方法（たとえば〔「ディジタル画像処理」、ＣＧ−ＡＲＴＳ協会、ｐ．１１４−１１７〕参照）により微分強度画像を作成する。その後、判定手段４２は、作成した微分強度画像と、シナリオテーブルＴａ２に格納されている初期状態の微分強度画像との間で、検出領域内の画素ごとに画素値の差分をとり、検出領域内の各画素の差分値の合計Ｓｄを算出する。

判定手段４２は、このように求めた差分値の合計Ｓｄと予め定められている閾値αｄとを比較し、合計Ｓｄが閾値αｄより大きい場合には操作入力有りと判定し、それ以外の場合は操作入力なしと判定する。このように微分強度画像を用いる場合、前処理として微分処理を行う必要があるため計算量が多くなるものの、濃淡画像に比べ環境光の変化の影響を受けにくくなるという利点がある。

一方、３値コード画像を用いる場合、判定手段４２は、上記図８の処理Ｓ１０２の前処理として、カメラ２で得られた濃淡画像のうち検出領域内の画像を水平方向に微分し、微分値の勾配から正、負、ゼロの３値にコード化した水平方向の３値コード画像を作成する。さらに、判定手段４２は、検出領域内の画像を垂直方向に微分し、微分値の勾配から正、負、ゼロの３値にコード化した垂直方向の３値コード画像を作成する。

その後、判定手段４２は、水平方向と垂直方向とのそれぞれについて、作成した３値コード画像と、シナリオテーブルＴａ２に格納されている初期状態の３値コード画像との間で、検出領域内の画素ごとに画素値の差分をとり、検出領域内の各画素の差分値の合計Ｓｈ，Ｓｖを算出する。

判定手段４２は、このように求めた水平方向の合計Ｓｈが予め定められている閾値αｈより大きいか、あるいは垂直方向の合計Ｓｖが予め定められている閾値αｖより大きい場合には操作入力有りと判定し、それ以外の場合は操作入力なしと判定する。このように３値コード画像を用いる場合、前処理として微分および微分値の勾配に応じたコード化処理が必要となって計算量が多くなるものの、環境光の変化の影響を微分強度画像以上に受けにくくなる。

ところで、本実施形態の処理制御装置３は、表示画面１１中のボタンＢｔへのユーザＨからの操作入力を受け付ける通常モードと、検出領域の範囲を指定するための設定モードとの２つの動作モードを有しており、設定モードでは自動設定手段（図示せず）が図９のフローチャートに従って動作する。

すなわち、設定モードにおいて、処理制御装置３はシナリオテーブルＴａ２および画面データテーブルＴａ１を外部記憶装置３６から内部記憶装置３５へ読み込む（Ｓ３１）。それから、処理制御装置３は、表示画面１１の「画面Ｎｏ．」を表す変数Ｇｎに初期値「１」を設定し（Ｓ３２）、「ボタンＮｏ．」を表す変数Ｂｎにも初期値「１」を設定する（Ｓ３３）。このとき、プロジェクタ１は、「ボタン１」に対応する図像の画素値（輝度）を最大（ここでは２５５）、他の領域の画素値を最小（ここではゼロ）とした「画面１」を設定用画像として表示する（Ｓ３４）。これにより、「画面１」中の「ボタン１」に対応する領域のみが明るく強調表示されることになる。

この状態で、処理制御装置３は、表示画面１１をカメラ２で撮像して得られた撮像画像２１を読み込み（Ｓ３５）、当該撮像画像２１を予め設定された閾値で２値化し、当該閾値以上の領域を検出領域とする。処理制御装置３は、このようにして決定された当該検出領域の範囲を示すデータ（代表点座標、形状、サイズ）を、「動作Ｎｏ．」および「ボタンＮｏ．」と対応付けてシナリオテーブルＴａ２の「撮像画像上での検出領域データ」欄に格納する（Ｓ３６）。

処理制御装置３では、上述の処理を、変数Ｂｎ、変数Ｇｎをそれぞれインクリメントしながら（Ｓ３７，Ｓ３９）、全ての表示画面１１の全てのボタンＢｔについて検出領域の設定が終了するまで繰り返し行う（Ｓ３８，Ｓ４０）。

このように、検出領域を設定するボタンＢｔに対応した領域（図像）とその他の領域とを区別した設定用画像を表示させることで、当該設定用画像を撮像した撮像画像２１上の検出領域を安定して抽出可能となり、自動的に設定を行うことができ作業が省力化される。なお、設定用画像において、ボタンＢｔに対応した領域とその他の領域とは上述したような輝度で区別されるものに限らず、輝度と色との少なくとも一方で区別されていれば、当該設定用画像を撮像した撮像画像２１から検出領域を抽出可能となる。

また、本実施形態では、表示装置の例として画像を投影するプロジェクタ１を示したが、この例に限らず、ディスプレイ装置を表示装置として用い、その表示画面１１をカメラ２で撮像するようにしてもよい。これにより、タッチパネルディスプレイではない通常のディスプレイ装置であっても、上記カメラ２および処理制御装置３と組み合わせることで、ユーザＨによる操作入力に対して種々の動作を行う表示制御システムを構成することができる。なお、ここでいうディスプレイ装置は、ブラウン管、液晶ディスプレイ、プラズマディスプレイ、背面投影型ディスプレイ等のディスプレイ装置全般を意味する。

（実施形態２）
本実施形態の表示制御システムは、プロジェクタ１により表示される表示画面１１上に実際に存在する物体を操作入力の対象として用いる点が実施形態１の表示制御システムと相違する。

すなわち、物体を操作入力のためのボタンＢｔとして用いるために、当該物体を含む一定の照明領域には照明の代わりとなるような一様な映像の表示を行う。これにより、前記照明範囲に映し出される映像が、ユーザＨからの操作入力を受付可能なボタンＢｔの範囲を示す図像を構成する。判定手段４２では、撮像画像２１において上記照明領域（図像）に対応する範囲に検出領域を設定し操作入力の監視を行う。つまり、ユーザＨが照明領域内の物体に手をかざしたり、物体を手に取ったりすると、判定手段４２は、画像の変化を検出してユーザＨからの操作入力があったものと判定する。

本実施形態の表示制御システムの動作例を図１０を参照して説明する。図１０の例では、表示画面１１上に３個の物体Ｏｂ１〜Ｏｂ３（以下、各々を特に区別しないときには単に「物体Ｏｂ」という）が存在する。

処理制御装置３は、まず各物体Ｏｂ１〜Ｏｂ３にそれぞれ対応する照明領域Ｌａ１〜Ｌａ３（以下、各々を特に区別しないときには単に「照明領域Ｌａ」という）を照明するように構成された「画面１」をプロジェクタ１に表示させるとともに、撮像画像２１上で各照明領域Ｌａ１〜Ｌａ３を検出領域として監視する（図１０（ａ））。ここで、いずれかの物体Ｏｂに対応する照明領域（検出領域）Ｌａに対してユーザＨからの操作入力を検出すると、処理制御装置３は次動作に移行する。

このときの表示画面１１は、前画面で選択された照明領域Ｌａのみ照明するとともに、当該照明領域Ｌａに対応する物体Ｏｂの機能等の説明画面に切り替えるためのボタンＢｔ１〜Ｂｔ３を表示するように構成される（図１０（ｂ）〜（ｄ））。この状態で、処理制御装置３は、撮像画像２１上でボタンＢｔ１〜ボタンＢｔ３に対応する各検出領域をそれぞれ監視し、ユーザＨからの操作入力を検出すると、各ボタンＢｔに対応付けられている次動作に移行する（図１０（ｅ）〜（ｊ））。なお、図１０において、破線で示した照明領域Ｌａ１〜Ｌａ３は、操作入力の判定に用いない（つまり照明のみを行う）ため、対応する検出領域が設定されていない状態の照明領域を示している。

ここで、操作入力の判定に用いる照明領域は、図３の画面データテーブルＴａ１の「ボタンＮｏ．」に対応する「図形データ」欄にデータを設定し、操作入力の判定に用いない（つまり照明のみを行う）照明領域は「映像表示領域Ｎｏ．」に対応する「図形データ」欄にデータを設定する。

以上説明したように、空間に実在する物体をユーザＨからの操作入力に用いることにより、表示画面１１上の図像のみを操作入力の対象とする場合に比べて、操作入力の対象がユーザＨに認識されやすくなるという利点がある。

ところで、本実施形態においては、操作入力の判定の処理も実施形態１とは異なっており、以下、当該判定処理について図１１のフローチャートを参照して説明する。

本実施形態では、判定手段４２は、カメラ２で得られた撮像画像２１における検出領域内のエッジ画像からエッジ数を求め、初期状態と比較したときのエッジ数の変化量が所定の閾値を超える場合に操作入力があったと判断する。

すなわち、処理制御装置３は、まず表示画面１１をカメラ２で撮像し（Ｓ４１）、得られた撮像画像２１を入力画像メモリ３４に保存した上で、検出領域内のエッジ画像を作成する（Ｓ４２）。ここで、エッジ画像の作成には周知のＣａｎｎｙのエッジ検出（〔「ディジタル画像処理」、ＣＧ−ＡＲＴＳ協会、ｐ．２０９−２１０〕参照）を使用する。

次に、判定手段４２は、検出領域内のエッジ画素の合計数Ｅを算出し（Ｓ４３）、当該合計数Ｅと、シナリオテーブルＴａ２に記憶されている初期状態のエッジ画素の合計数Ｅｉとの差の絶対値Ｄを算出する（Ｓ４４）。判定手段４２は、このように求めた絶対値Ｄと予め定められている閾値βとを比較し（Ｓ４５）、絶対値Ｄが閾値βより大きい場合には操作入力有りと判定し（Ｓ４６）、それ以外の場合は操作入力なしと判定する（Ｓ４７）。

この構成によれば、操作入力の有無は、画素ごとの差分ではなく検出領域内におけるエッジ画素の総数によって判定されるので、ユーザＨが物体を一旦手に取ったがすぐに元の位置に戻したような場合に、検出領域内の物体に多少の位置ずれがあっても許容されることになる。すなわち、検出領域内で物体の位置が僅かに変化しただけの場合に、ユーザＨによる操作入力があったものとの誤検出を防ぐことができる。

その他の構成および機能は実施形態１と同様である。

（実施形態３）
本実施形態の表示制御システムは、入力内容を確認する確認機能が付加されている点が実施形態１の表示制御システムと相違する。

ここで、判定手段４２は、表示画面の切り替えの前後において撮像画像２１内の同一位置に設定された検出領域で連続して操作入力を検出した場合、当該検出領域に対するユーザＨからの操作入力を確定する前にユーザＨに対して確認操作を要求する操作確認機能を有する。判定手段４２は、ユーザＨからの確認操作があったときのみ前記操作入力を確定する。

本実施形態では、操作入力の検出処理（図６のＳ１〜Ｓ１４）後の処理が実施形態１と異なるため、以下、操作入力の検出後の処理について図１２のフローチャートを参照して説明する。なお、図１２に示す処理（Ｓ４１〜Ｓ４４）は図６の処理Ｓ１４と処理Ｓ１５との間に挿入されることになる。

すなわち、演算部３０は、操作入力の検出処理（図６のＳ１〜Ｓ１４）終了後、１回でも操作入力があると、当該ボタンＢｔに対応する応答処理の実行に移る前に、操作されたボタンＢｔが前回操作されたボタンＢｔと同一である（つまり、同一のボタンＢｔが連続して操作された）か否かを判断する（Ｓ４１）。

ここで、同一であると判断されると、ユーザＨに対して当該ボタンＢｔの操作入力を確認する確認モードに移行する。確認モードでは、演算部３０は確認対象となるボタンＢｔの「ボタンＮｏ．」を表示するとともに、このボタンＢｔの操作を確定するか否かを決定する確認操作をユーザＨに要求するメッセージ（たとえば「このＮｏ．で良ければ入力ボタンから手を反してください。」）を表示領域に表示する（Ｓ４２）。このとき、判定手段４２は、確認中のボタンＢｔに対応する検出領域のみを操作入力の検出対象として、操作入力が継続して検出されるか否かを判断する（Ｓ４３）。ここで、継続して操作入力が検出される場合には（Ｓ４４：Ｙｅｓ）引き続き前記メッセージを表示し、操作入力が検出されなくなれば（Ｓ４４：Ｎｏ）次の動作（図６のＳ１５）に移行する。

以上説明した構成によれば、ユーザＨがボタンＢｔ上に手を置いたままにしたり、ボタンＢｔ上に物体を放置したりすることで、ユーザＨの意に反してボタンＢｔが操作され続けることによる誤操作を回避できる。

その他の構成および機能は実施形態１と同様である。

１ プロジェクタ（表示装置）
２ カメラ（撮像装置）
３ 処理制御装置
１１ 表示画面
４１ 領域設定手段
４２ 判定手段
４３ 表示切替手段（出力手段）
Ｈ ユーザ

Claims (7)

1. 画像を表示する表示装置と、表示装置の表示画面の少なくとも一部を撮像範囲に含む画像を取得する撮像装置と、表示装置の表示制御および撮像装置で得られる撮像画像の画像処理を行う処理制御装置とを備え、
   処理制御装置は、
   表示装置に対し表示画面のうち撮像装置の撮像範囲に含まれる位置にユーザからの操作入力を受付可能な範囲を示す図像を少なくとも１つ表示させるとともに、撮像画像上で図像に対応する範囲に検出領域を設定する領域設定手段と、
   随時取得される撮像画像から所定の判断基準に従って検出領域内の画像の変化の有無を監視し、画像の変化が検出された場合に当該検出領域に対してユーザからの操作入力があったものと判定する判定手段と、
   判定手段での判定結果に応じた制御信号を外部に出力する出力手段と、
   前記撮像画像中の前記検出領域の範囲を決定するための設定モードにおいて、前記表示装置に輝度と色との少なくとも一方を前記図像となる範囲と他の範囲とで区別した設定用画像を表示させるとともに、設定用画像を撮像した前記撮像画像から図像となる範囲を抽出し抽出結果から検出領域の範囲を自動的に決定する自動設定手段とを有する
   ことを特徴とする表示制御システム。
2. 画像を表示する表示装置と、表示装置の表示画面の少なくとも一部を撮像範囲に含む画像を取得する撮像装置と、表示装置の表示制御および撮像装置で得られる撮像画像の画像処理を行う処理制御装置とを備え、
   処理制御装置は、
   表示装置に対し表示画面のうち撮像装置の撮像範囲に含まれる位置にユーザからの操作入力を受付可能な範囲を示す図像を少なくとも１つ表示させるとともに、撮像画像上で図像に対応する範囲に検出領域を設定する領域設定手段と、
   随時取得される撮像画像から所定の判断基準に従って検出領域内の画像の変化の有無を監視し、画像の変化が検出された場合に当該検出領域に対してユーザからの操作入力があったものと判定する判定手段と、
   判定手段での判定結果に応じた制御信号を外部に出力する出力手段と、
   前記表示装置の表示画面を切り替える表示切替手段とを有し、
   前記判定手段は、前記表示画面の切り替えの前後において前記撮像画像内の同一位置に設定された前記検出領域で連続して前記画像の変化を検出した場合、当該検出領域に対するユーザからの操作入力を確定する前にユーザに対して確認操作を要求し、ユーザからの確認操作があったときのみ前記操作入力を確定する操作確認機能を有する
   ことを特徴とする表示制御システム。
3. 前記処理制御装置は、前記検出領域ごとに既定の応答処理を一対一に対応付けて記憶する設定格納手段を有し、前記出力手段は、操作入力があった検出領域と設定格納手段内で対応付けられている応答処理に従って前記表示装置の表示画面を切り替えることを特徴とする請求項１または請求項２に記載の表示制御システム。
4. 前記判定手段は、前記撮像画像に基づき、ユーザからの操作入力がない初期状態と比較したときの前記検出領域内の画素ごとの画素値の変化量の合計値を求め、当該合計値が所定の閾値を超える場合に操作入力があったと判断するように前記判断基準が定められていることを特徴とする請求項１ないし請求項３のいずれか１項に記載の表示制御システム。
5. 前記判定手段は、前記撮像画像における前記検出領域内のエッジ画像からエッジ数を求め、ユーザからの操作入力がない初期状態と比較したときの前記エッジ数の変化量が所定の閾値を超える場合に操作入力があったと判断するように前記判断基準が定められていることを特徴とする請求項１ないし請求項３のいずれか１項に記載の表示制御システム。
6. 画像を表示する表示装置と、表示装置の表示画面の少なくとも一部を撮像範囲に含む画像を取得する撮像装置とを用い、表示装置の表示画面に対するユーザからの操作入力を受け付ける表示制御方法であって、
   表示装置に対し表示画面のうち撮像装置の撮像範囲に含まれる位置にユーザからの操作入力を受付可能な範囲を示す図像を少なくとも１つ表示させるとともに、撮像画像上で図像に対応する範囲に検出領域を設定する領域設定過程と、
   随時取得される撮像画像から所定の判断基準に従って検出領域内の画像の変化の有無を監視し、画像の変化が検出された場合に当該検出領域に対してユーザからの操作入力があったものと判定する判定過程と、
   判定過程での判定結果に応じて表示装置の表示画面を切り替える出力過程とを有し、
   前記撮像画像中の前記検出領域の範囲を決定する際、前記表示装置に輝度と色との少なくとも一方を前記図像となる範囲と他の範囲とで区別した設定用画像を表示させるとともに、設定用画像を撮像した前記撮像画像から図像となる範囲を抽出し抽出結果から検出領域の範囲を自動的に決定する
   ことを特徴とする表示制御方法。
7. 画像を表示する表示装置と、表示装置の表示画面の少なくとも一部を撮像範囲に含む画像を取得する撮像装置とを用い、表示装置の表示画面に対するユーザからの操作入力を受け付ける表示制御方法であって、
   表示装置に対し表示画面のうち撮像装置の撮像範囲に含まれる位置にユーザからの操作入力を受付可能な範囲を示す図像を少なくとも１つ表示させるとともに、撮像画像上で図像に対応する範囲に検出領域を設定する領域設定過程と、
   随時取得される撮像画像から所定の判断基準に従って検出領域内の画像の変化の有無を監視し、画像の変化が検出された場合に当該検出領域に対してユーザからの操作入力があったものと判定する判定過程と、
   判定過程での判定結果に応じて表示装置の表示画面を切り替える出力過程とを有し、
   前記判定過程では、前記表示画面の切り替えの前後において前記撮像画像内の同一位置に設定された前記検出領域で連続して前記画像の変化を検出した場合、当該検出領域に対するユーザからの操作入力を確定する前にユーザに対して確認操作を要求し、ユーザからの確認操作があったときのみ前記操作入力を確定する
   ことを特徴とする表示制御方法。

Images