JP5201096B2 - 対話操作装置 - Google Patents
対話操作装置 Download PDFInfo
- Publication number
- JP5201096B2 JP5201096B2 JP2009169589A JP2009169589A JP5201096B2 JP 5201096 B2 JP5201096 B2 JP 5201096B2 JP 2009169589 A JP2009169589 A JP 2009169589A JP 2009169589 A JP2009169589 A JP 2009169589A JP 5201096 B2 JP5201096 B2 JP 5201096B2
- Authority
- JP
- Japan
- Prior art keywords
- fingertip
- image
- content
- hand
- determined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
本発明は、閲覧者が指先で投影された情報を操作するシステム、プログラム、記録媒体に関するものである。
本発明は特に、投影台に投影したコンテンツに対して、閲覧者が指先で指示を与えることによって、指示に基づいたコンテンツを投影台に投影させる場合に有用である。
本発明は特に、投影台に投影したコンテンツに対して、閲覧者が指先で指示を与えることによって、指示に基づいたコンテンツを投影台に投影させる場合に有用である。
近時、普及の著しいプロジェクターは、壁面や表示板（以下、投影台）にコンテンツを大きく投影することができるので、広告媒体やコミュニケーション・ツールとして活用される機会が増えている。
コンテンツの閲覧者は、たとえば、美術館で、投影されたコンテンツを対話的に操作することで、より多くの美術情報を得て、充実した美術鑑賞をすることが可能となる。
ここで、表示されたコンテンツと対話的に操作する方法を説明する。
コンテンツの閲覧者は、たとえば、美術館で、投影されたコンテンツを対話的に操作することで、より多くの美術情報を得て、充実した美術鑑賞をすることが可能となる。
ここで、表示されたコンテンツと対話的に操作する方法を説明する。
《 Ａ．カーソル操作 》
マウスやトラックボールに代表されるポインティングデバイスを用いてカーソルを操作して、閲覧者が閲覧するコンテンツを対話的に操作する方法である。
あるいは、閲覧者がレーサーポインターを用いて、レーザースポット光を照射するときの動き方によって、コンテンツを対話的に操作する方法である。
たとえば、特許文献１では、ポインティングデバイスを用いて、コンピュータディスプレー画面と、机や壁の仮想拡張ディスプレー画面と、の間を、デジタル・オブジェクトをシームレスにドラッグ・アンド・ドロップする技術が開示されている。
また、特許文献２では、投影スクリーン上の画面に対して、レーザーポインターの光で指示することによって、画面の切り替えや、線の描画や、画面の部分拡大などのプレゼンテーション画面を操作する技術が開示されている。
《 Ｂ．タッチパネル指示》
閲覧者が、コンテンツを表示したタッチパネルに手を触れると、触れた位置に応じて、コンテンツを対話的に操作する方法である。
たとえば、特許文献３では、ディスプレー上の点を指先で押し続ける時間の長さに応じて、領域の広さを変えて、領域選択する技術が開示されている。
マウスやトラックボールに代表されるポインティングデバイスを用いてカーソルを操作して、閲覧者が閲覧するコンテンツを対話的に操作する方法である。
あるいは、閲覧者がレーサーポインターを用いて、レーザースポット光を照射するときの動き方によって、コンテンツを対話的に操作する方法である。
たとえば、特許文献１では、ポインティングデバイスを用いて、コンピュータディスプレー画面と、机や壁の仮想拡張ディスプレー画面と、の間を、デジタル・オブジェクトをシームレスにドラッグ・アンド・ドロップする技術が開示されている。
また、特許文献２では、投影スクリーン上の画面に対して、レーザーポインターの光で指示することによって、画面の切り替えや、線の描画や、画面の部分拡大などのプレゼンテーション画面を操作する技術が開示されている。
《 Ｂ．タッチパネル指示》
閲覧者が、コンテンツを表示したタッチパネルに手を触れると、触れた位置に応じて、コンテンツを対話的に操作する方法である。
たとえば、特許文献３では、ディスプレー上の点を指先で押し続ける時間の長さに応じて、領域の広さを変えて、領域選択する技術が開示されている。
しかしながら、《 Ａ．カーソル操作》の方法では、閲覧者はマウスなどのポインティングデバイスを使用しなければ、対話操作が行えない。
また、《 Ｂ．タッチパネル指示》の方法では、コンテンツを表示する装置に、閲覧者が手を触れたことを検知する装置を備えなければならない。
また、《 Ｂ．タッチパネル指示》の方法では、コンテンツを表示する装置に、閲覧者が手を触れたことを検知する装置を備えなければならない。
本発明は以上のような点を解決するためになされたものであって、本発明の課題は、閲覧者が道具を用いずに、また、投影台に仕掛けを施さずに、投影表示されたコンテンツに対して、対話操作装置を提供することである。
本発明は、以下の各態様に記載の手段により、前記課題を解決する。
すなわち、本願発明の第１の発明は、
コンテンツ投影画面データに基づく像を投影台に投影する投影機と、前記投影台を撮影して撮影画像を生成する赤外カメラと、が接続される対話操作装置において、
コンテンツ構成データを格納するコンテンツ格納領域と、
前記コンテンツ投影画面データを保持する表示画面保持領域と、
を備える記憶手段と、
前記コンテンツ構成データを解釈して、前記コンテンツ投影画面データを作成する表示閲覧手段と、
前記赤外カメラから前記撮影画像を取得する撮影画像取得手段と、
前記撮影画像の各フレームから閲覧者の指先を検知する指先検出手段と、
前記指先の座標を算出する指先位置算出手段と、
連続する前記各フレームの指先の座標を用いて当該指先の移動距離を算出して、所定の時間中の前記移動距離がゼロと判定された場合には、前記指先の座標を含む指先静止検知情報を作成する指先静止検知手段と、
前記指先静止検知情報に基づいて、入力イベント情報を生成して、前記表示閲覧手段に引き渡す入力エミュレーション手段と、
を備え、
前記表示閲覧手段は、前記入力エミュレーション手段から引き渡された入力イベント情報を受け付けて、適宜コンテンツ投影画面データを更新して、
前記指先検出手段は、前記コンテンツ投影画面の輪郭を構成する複数の辺のうち、手の前記撮影画像が接する一つの前記辺が、底辺、または、左辺、または、右辺、または、上辺のいずれの辺であるか否かを判定し、前記判定した辺が底辺である場合には手の最上部を指先と判定し、前記判定した辺が左辺である場合には手の最右部を指先と判定し、前記判定した辺が右辺である場合には手の最左部を指先と判定し、前記判定した辺が上辺である場合には手の最下部を指先と判定する、
ことを特徴とする対話操作装置である。
すなわち、本願発明の第１の発明は、
コンテンツ投影画面データに基づく像を投影台に投影する投影機と、前記投影台を撮影して撮影画像を生成する赤外カメラと、が接続される対話操作装置において、
コンテンツ構成データを格納するコンテンツ格納領域と、
前記コンテンツ投影画面データを保持する表示画面保持領域と、
を備える記憶手段と、
前記コンテンツ構成データを解釈して、前記コンテンツ投影画面データを作成する表示閲覧手段と、
前記赤外カメラから前記撮影画像を取得する撮影画像取得手段と、
前記撮影画像の各フレームから閲覧者の指先を検知する指先検出手段と、
前記指先の座標を算出する指先位置算出手段と、
連続する前記各フレームの指先の座標を用いて当該指先の移動距離を算出して、所定の時間中の前記移動距離がゼロと判定された場合には、前記指先の座標を含む指先静止検知情報を作成する指先静止検知手段と、
前記指先静止検知情報に基づいて、入力イベント情報を生成して、前記表示閲覧手段に引き渡す入力エミュレーション手段と、
を備え、
前記表示閲覧手段は、前記入力エミュレーション手段から引き渡された入力イベント情報を受け付けて、適宜コンテンツ投影画面データを更新して、
前記指先検出手段は、前記コンテンツ投影画面の輪郭を構成する複数の辺のうち、手の前記撮影画像が接する一つの前記辺が、底辺、または、左辺、または、右辺、または、上辺のいずれの辺であるか否かを判定し、前記判定した辺が底辺である場合には手の最上部を指先と判定し、前記判定した辺が左辺である場合には手の最右部を指先と判定し、前記判定した辺が右辺である場合には手の最左部を指先と判定し、前記判定した辺が上辺である場合には手の最下部を指先と判定する、
ことを特徴とする対話操作装置である。
このように、閲覧者の指先の動きと位置を検知して入力イベント情報を生成して、投影閲覧中のコンテンツを加工して表示することが可能である。
本願の第２の発明は、第１の発明に記載の前記指先検出手段は、
前記指先検出手段は、
手形画像が接するコンテンツ投影画面の辺が見つからなかった場合には、距離画像の最高輝度点を基準にして、移動して延びてきた手の側の辺と平行で最高輝度点を通る直線にて２分割される手形画像の輪郭のうち、手が移動してきた側の輪郭は探索しないで、最遠部を指先とする、
ことを特徴とする対話操作装置である。
前記指先検出手段は、
手形画像が接するコンテンツ投影画面の辺が見つからなかった場合には、距離画像の最高輝度点を基準にして、移動して延びてきた手の側の辺と平行で最高輝度点を通る直線にて２分割される手形画像の輪郭のうち、手が移動してきた側の輪郭は探索しないで、最遠部を指先とする、
ことを特徴とする対話操作装置である。
本願発明によれば、
（１）投影台に情報操作指示の検知装置を設けずに、投影されたコンテンツに対して、情報操作をすることが可能である。
（２）閲覧者は道具を用いずに、指先で情報操作の指示を与えることが可能である。
従って、本発明によれば、閲覧者は投影されたコンテンツに対して、指先で指示するだけで、手軽に情報操作することができるという効果がある。
（１）投影台に情報操作指示の検知装置を設けずに、投影されたコンテンツに対して、情報操作をすることが可能である。
（２）閲覧者は道具を用いずに、指先で情報操作の指示を与えることが可能である。
従って、本発明によれば、閲覧者は投影されたコンテンツに対して、指先で指示するだけで、手軽に情報操作することができるという効果がある。
以下、図面等を参照しながら、本発明の実施の形態について、更に詳しく説明する。
図１は、本発明の実施の形態による指先操作型コンテンツ提供システム１の概要を説明する図である。
指先操作型コンテンツ提供システム１は、投影台４００と、赤外光源５００と、プロジェクター３００（＝投影機）と、対話操作装置１００と、から構成される。
対話操作装置１００は、既存のパーソナルコンピューターで、後述する専用プログラムを搭載したものである。
対話操作装置１００は、赤外カメラ１０６と投影機３００を接続する。
赤外光源５００は、赤外光を投影台４００に照射するＬＥＤ光源装置である。
赤外カメラ１０６は、赤外光による反射像を撮像する電子カメラである。
投影機３００は、対話操作装置１００が作成するコンテンツ投影画面データに基づく像を投影台４００に投影するプロジェクターである。
指先操作型コンテンツ提供システム１は、投影台４００と、赤外光源５００と、プロジェクター３００（＝投影機）と、対話操作装置１００と、から構成される。
対話操作装置１００は、既存のパーソナルコンピューターで、後述する専用プログラムを搭載したものである。
対話操作装置１００は、赤外カメラ１０６と投影機３００を接続する。
赤外光源５００は、赤外光を投影台４００に照射するＬＥＤ光源装置である。
赤外カメラ１０６は、赤外光による反射像を撮像する電子カメラである。
投影機３００は、対話操作装置１００が作成するコンテンツ投影画面データに基づく像を投影台４００に投影するプロジェクターである。
ここで、赤外光源５００と赤外カメラ１０６とを用いる理由は、赤外光で照射された閲覧者９００の指先は撮像するが、プロジェクター３００が、可視光にて投影台４００に投影した投影画像（＝コンテンツ投影画面）は撮像しないようにするためである。
図２は、コンテンツ投影画面４０３の例である。
図２の（ａ）は、コンテンツと解説文を表示したコンテンツ投影画面４０３の例である。
例示されたコンテンツ投影画面の意味は、指先で指示したコンテンツの解説文をコンテンツに重畳させて表示しているということである。
図２の（ｂ）は、コンテンツの部分拡大画像を含むコンテンツ投影画面４０３の例である。
例示されたコンテンツ投影画面の意味は、指先が乗ったコンテンツ部分を拡大した画像を、コンテンツに重畳させて表示しているということである。
図２の（ａ）は、コンテンツと解説文を表示したコンテンツ投影画面４０３の例である。
例示されたコンテンツ投影画面の意味は、指先で指示したコンテンツの解説文をコンテンツに重畳させて表示しているということである。
図２の（ｂ）は、コンテンツの部分拡大画像を含むコンテンツ投影画面４０３の例である。
例示されたコンテンツ投影画面の意味は、指先が乗ったコンテンツ部分を拡大した画像を、コンテンツに重畳させて表示しているということである。
次に、図３を用いて、指先操作型情報提供システム１の大まかな操作と情報処理の手順を説明する。
（１）《初期設定処理》システム管理者は、対話操作装置１００の赤外カメラが投影台４００を撮影して生成した投影台の撮影画像を用いて、撮影画像を透視変換処理する撮影画像透視変換行列関係式や、撮影画像の背景画像などを設定する初期設定処理を行う。（詳細は後述する）
（２）《コンテンツ投影処理》対話操作装置１００は、閲覧者に閲覧させるコンテンツ投影画面１０３を、投影機３００を用いて投影台４００に、投影する。
（３）《対話操作》閲覧者は、投影台４００に投影されたコンテンツ投影画面４０３に対して、指先を用いて、対話操作を行う。
（４）《指先検出処理》対話操作装置１００は、対話操作する閲覧者の指先を赤外カメラ１０６で撮影して、撮影画像から閲覧者の指先の位置や動作を検知する。ここで、閲覧者の指先動作を検知するためには、撮影画像の各フレームの指先位置を比較すればよい。すなわち、各フレームの指先位置の変化量を計測して、静止しているのか、移動しているのかを判定すればよい。
（５）《対話操作したコンテンツの投影処理》対話操作装置１００は、検知した指先の動作を指先動作判定条件（たとえば、指先の静止動作時間が０．５秒以上であれば指先静止動作など）で判定して、指先動作判定条件に応じた対話操作を行い、たとえば、選択したコンテンツの解説文表示や、選択したコンテンツの部分拡大画像表示などの閲覧者が所望する操作の結果を、投影機３００を用いて、投影台４００に投影する。
ここで、対話操作装置１００は、コンテンツの投影画面４０３の指先に相当する位置にカーソルを重畳してもよい。
（６）《コンテンツ閲覧》閲覧者は、投影台４００に投影されたコンテンツ投影画面４０３を閲覧する。
（１）《初期設定処理》システム管理者は、対話操作装置１００の赤外カメラが投影台４００を撮影して生成した投影台の撮影画像を用いて、撮影画像を透視変換処理する撮影画像透視変換行列関係式や、撮影画像の背景画像などを設定する初期設定処理を行う。（詳細は後述する）
（２）《コンテンツ投影処理》対話操作装置１００は、閲覧者に閲覧させるコンテンツ投影画面１０３を、投影機３００を用いて投影台４００に、投影する。
（３）《対話操作》閲覧者は、投影台４００に投影されたコンテンツ投影画面４０３に対して、指先を用いて、対話操作を行う。
（４）《指先検出処理》対話操作装置１００は、対話操作する閲覧者の指先を赤外カメラ１０６で撮影して、撮影画像から閲覧者の指先の位置や動作を検知する。ここで、閲覧者の指先動作を検知するためには、撮影画像の各フレームの指先位置を比較すればよい。すなわち、各フレームの指先位置の変化量を計測して、静止しているのか、移動しているのかを判定すればよい。
（５）《対話操作したコンテンツの投影処理》対話操作装置１００は、検知した指先の動作を指先動作判定条件（たとえば、指先の静止動作時間が０．５秒以上であれば指先静止動作など）で判定して、指先動作判定条件に応じた対話操作を行い、たとえば、選択したコンテンツの解説文表示や、選択したコンテンツの部分拡大画像表示などの閲覧者が所望する操作の結果を、投影機３００を用いて、投影台４００に投影する。
ここで、対話操作装置１００は、コンテンツの投影画面４０３の指先に相当する位置にカーソルを重畳してもよい。
（６）《コンテンツ閲覧》閲覧者は、投影台４００に投影されたコンテンツ投影画面４０３を閲覧する。
図４を用いて、閲覧者の指先について説明する。
図４の（ａ）は、手の撮影画像表示画面１０３の底辺１０３１から延びた手の指先を説明する例である。
表示画面の底辺から延びた手の撮影画像を画面１０３に表示した例が示されている。
例示されている撮影画像の意味は、底辺１０３１から延びた手の場合には、手の最上部１０３５を指先として検知していることを示している。
図４の（ａ）は、手の撮影画像表示画面１０３の底辺１０３１から延びた手の指先を説明する例である。
表示画面の底辺から延びた手の撮影画像を画面１０３に表示した例が示されている。
例示されている撮影画像の意味は、底辺１０３１から延びた手の場合には、手の最上部１０３５を指先として検知していることを示している。
図４の（ｂ）は、コンテンツの投影画面の左辺１０３２から延びた手の指先を説明する例である。
表示画面の左辺から延びた手の撮影画像を画面１０３に表示した例が示されている。
例示されている指先の意味は、左辺１０３２から延びた手の場合には、手の最右部１０３６を指先として検知していることを示している。
表示画面の左辺から延びた手の撮影画像を画面１０３に表示した例が示されている。
例示されている指先の意味は、左辺１０３２から延びた手の場合には、手の最右部１０３６を指先として検知していることを示している。
図５と図６を用いて、（１）《初期設定処理》の詳細な流れを説明する
図５は、（１）《初期設定処理》の詳細な流れを説明する図である。
（１−１）《投影範囲指示》システム管理者は、対話操作装置１００の赤外カメラが投影台４００を撮影して生成した投影台の撮影画像を用いて、投影範囲としての四角形の４頂点座標を入力する。たとえば、システム管理者は、投影台の撮影画像を対話操作装置１００の表示部に表示させて、投影範囲の４頂点座標を、たとえば、十字カーソルをキーボードで操作して入力する。
図５は、（１）《初期設定処理》の詳細な流れを説明する図である。
（１−１）《投影範囲指示》システム管理者は、対話操作装置１００の赤外カメラが投影台４００を撮影して生成した投影台の撮影画像を用いて、投影範囲としての四角形の４頂点座標を入力する。たとえば、システム管理者は、投影台の撮影画像を対話操作装置１００の表示部に表示させて、投影範囲の４頂点座標を、たとえば、十字カーソルをキーボードで操作して入力する。
（１−２）《座標変換行列の算出》対話操作装置１００は、システム管理者が入力した投影範囲指示を受け付けて、座標変換行列関係式（たとえば、座標変換行列関係式として、すでに数学的に分かっている下記の数式１）に対して、受け付けた投影範囲指示の４つの頂点座標値［Ｘpk 、Ｙpk ］（ｋ＝１、２，３、４）と、コンテンツ投影画面の４つの標準頂点座標値［Ｘmk、Ｙmk ］（ｋ＝１、２，３、４）（たとえば、［０、０］［０、１０２４］［７６８、０］［７６８、１０２４］）とを代入して、１２個の式を作成してこれらを解いて、座標変換行列の８つの行列要素Ｃij （ｉ，ｊ＝１、２，３）を算出して、撮影画像透視変換行列関係式（下記の数式２）を導出する。撮影画像透視変換行列関係式は、撮影画像の座標［Ｘp 、Ｙp ］とコンテンツ投影画面の座標［Ｘm、Ｙm ］とを透視変換する行列関係式である。
ここで、ｘp は、撮影画像のＸ座標値である。ｙp は、撮影画像のＹ座標値である。
ｈは、カメラ原点と画像平面の距離を変数とする値である。
Ｘmは、コンテンツ投影画面のＸ座標値である。Ｙm は、コンテンツ投影画面のＹ座標値である。
Ｃijは、二次元画像透視変換関係式の行列要素である。ここで、ｉ，ｊ＝１、２，３である。
ここで、Ｃa 、Ｃb 、・・、Ｃh は、算出した撮影画像透視変換関係式の行列要素である。
ｈは、カメラ原点と画像平面の距離を変数とする値である。
Ｘmは、コンテンツ投影画面のＸ座標値である。Ｙm は、コンテンツ投影画面のＹ座標値である。
Ｃijは、二次元画像透視変換関係式の行列要素である。ここで、ｉ，ｊ＝１、２，３である。
なお、撮影画像透視変換関係式の算出には、opencvの透視変換行列算出関数cvGetPerspectiveTransformを用いて、算出することができる。ここで、opencvとは、インテル（登録商標）が開発・公開したオープンソースのコンピュータビジョン向けライブラリーである。
ここで、図６を用いて、《投影範囲指示》の作業で用いる表示画面を説明する。
図６の（ａ）には、投影範囲の指示画面１０３１が、例示されている。例示された投影範囲の指示画面１０３１には、対話操作装置１００の赤外カメラ１０４で撮影した投影台４００の撮影画像が表示されている。
また、この投影範囲の指示画面１０３１には、投影範囲の４頂点ｐ、ｑ、ｒ、ｓが入力された様子が示されている。
このとき、投影範囲の４頂点ｐ、ｑ、ｒ、ｓの頂点角度は、必ずしも直角ではない。
図６の（ｂ）には、撮影画像の投影範囲を透視変換した画像の表示画面１０３２が、例示されている。
例示された透視変換画像の表示画面１０３２は、撮影画像透視変換関係式を用いて、撮影画像の投影範囲を透視変換したものである。
ここで、透視変換画像の表示画面１０３３の４頂点Ｐ、Ｑ、Ｒ、Ｓ（＝それぞれの座標が、［０、０］［０、１０２４］［７６８、０］［７６８、１０２４］に相当する）は、投影範囲の４頂点ｐ、ｑ、ｒ、ｓが、それぞれ、透視変換された点である。このとき、四角形領域の４頂点Ｐ、Ｑ、Ｒ、Ｓの頂点角度は、直角である。
図６の（ａ）には、投影範囲の指示画面１０３１が、例示されている。例示された投影範囲の指示画面１０３１には、対話操作装置１００の赤外カメラ１０４で撮影した投影台４００の撮影画像が表示されている。
また、この投影範囲の指示画面１０３１には、投影範囲の４頂点ｐ、ｑ、ｒ、ｓが入力された様子が示されている。
このとき、投影範囲の４頂点ｐ、ｑ、ｒ、ｓの頂点角度は、必ずしも直角ではない。
図６の（ｂ）には、撮影画像の投影範囲を透視変換した画像の表示画面１０３２が、例示されている。
例示された透視変換画像の表示画面１０３２は、撮影画像透視変換関係式を用いて、撮影画像の投影範囲を透視変換したものである。
ここで、透視変換画像の表示画面１０３３の４頂点Ｐ、Ｑ、Ｒ、Ｓ（＝それぞれの座標が、［０、０］［０、１０２４］［７６８、０］［７６８、１０２４］に相当する）は、投影範囲の４頂点ｐ、ｑ、ｒ、ｓが、それぞれ、透視変換された点である。このとき、四角形領域の４頂点Ｐ、Ｑ、Ｒ、Ｓの頂点角度は、直角である。
図５に戻って、（１）《初期設定処理》の詳細な流れの説明を続ける。
（１−３）《背景画像抽出》対話操作装置１００は、投影台の撮影画像から、投影範囲の
画像を抽出して、背景画像とする。この背景画像を抽出するとき、投影範囲の画像に対して、導出した撮影画像透視変換行列関係式（＝数式２）を用いて、コンテンツ投影画面の座標に透視変換する。
（１−３）《背景画像抽出》対話操作装置１００は、投影台の撮影画像から、投影範囲の
画像を抽出して、背景画像とする。この背景画像を抽出するとき、投影範囲の画像に対して、導出した撮影画像透視変換行列関係式（＝数式２）を用いて、コンテンツ投影画面の座標に透視変換する。
図７から図９までを用いて、（４）《指先検出処理》の詳細な流れを説明する。
図７は、（４）《指先検出処理》の詳細な流れを説明する図である。
指先検出処理は、撮影画像の各フレームに対して行う。
（４−１）《撮影画像の透視変換処理》対話操作装置１００は、この導出した撮影画像透視変換行列関係式（＝数式２）を用いて、手の撮影画像をコンテンツ画面の座標系の画像に透視変換する。
（４−２）《背景除去》対話操作装置１００は、透視変換した手の撮影画像の画素の値から、透視変換した背景画像の画素の値を減算して、透視変換した撮影画像の背景画像除去処理をする。
（４−３）《撮影画像の二値化処理》対話操作装置１００は、背景画像除去処理済の透視変換した撮影画像に対して、大津の手法を適用して、閾値を算出して二値化処理して、二値化画像を生成する。
図７は、（４）《指先検出処理》の詳細な流れを説明する図である。
指先検出処理は、撮影画像の各フレームに対して行う。
（４−１）《撮影画像の透視変換処理》対話操作装置１００は、この導出した撮影画像透視変換行列関係式（＝数式２）を用いて、手の撮影画像をコンテンツ画面の座標系の画像に透視変換する。
（４−２）《背景除去》対話操作装置１００は、透視変換した手の撮影画像の画素の値から、透視変換した背景画像の画素の値を減算して、透視変換した撮影画像の背景画像除去処理をする。
（４−３）《撮影画像の二値化処理》対話操作装置１００は、背景画像除去処理済の透視変換した撮影画像に対して、大津の手法を適用して、閾値を算出して二値化処理して、二値化画像を生成する。
ここで、図９を用いて、大津の手法を説明する。大津の手法とは、濃淡画像の画素値ヒストグラムに対して、各画素値を仮のしきい値ｔによって、２つの領域に分けて、各領域内の分散 σ2 a と、２つの領域間の分散 σ2 b と、を計算し、領域内での分散と領域間の分散比を算出する関数（仮のしきい値ｔの関数）Ｗ（ｔ）＝ σ2 a ／ σ2 b が最小となるｔをしきい値とする手法である。
大津の手法を用いた画像二値化処理では、大津の手法に基づいて二値化閾値を算出し、OpenCVの二値化関数cvThresholdを用いて二値化画像を得ることができる。
大津の手法を用いた画像二値化処理では、大津の手法に基づいて二値化閾値を算出し、OpenCVの二値化関数cvThresholdを用いて二値化画像を得ることができる。
なお、二値化処理において、大津の手法を用いることは、１つの例である。たとえば、他の値を閾値として用いてもよいし、複数の閾値を用いて、複数の二値化画像を生成するようにしてもよい。
図７に戻って、（４）《指先検出処理》の詳細な流れの説明を続ける。
（４−４）《距離画像作成処理》対話操作装置１００は、二値化画像の白画素から、黒画素への最短距離を求めて、距離に対応付けた画素値を有する画素で構成した距離画像を作成して、距離画像の最大画素値を保持する。
（４−５）《輪郭部画素検出処理》対話操作装置１００は、二値化画像の黒画素領域を端から走査して、４連結画素を用いる輪郭抽出アルゴリズムを用いて、黒画素を抽出して、抽出した黒画素を輪郭部画素とする。
ここで、４連結画素を用いる輪郭抽出アルゴリズムとは、二値化画像を端から走査して、検出した未追跡黒画素を始点の輪郭部画素として、この画素を中心にした４連結画素を反時計回りに追跡して黒画素を検出して輪郭部画素として、この画素を次の中心にして、４連結画素追跡により黒画素を検出して、始点に戻るまで繰り返えすものである。輪郭抽出アルゴリズムは、８連結画素を用いてもよい。
（４−６）《手形画像抽出処理》対話操作装置１００は、距離画像（＝輪郭部画素で囲まれた領域）の画素の輝度を、保持した最大輝度の値と比較して、一致すれば、その領域を閲覧者の手形画像として抽出する。
（４−４）《距離画像作成処理》対話操作装置１００は、二値化画像の白画素から、黒画素への最短距離を求めて、距離に対応付けた画素値を有する画素で構成した距離画像を作成して、距離画像の最大画素値を保持する。
（４−５）《輪郭部画素検出処理》対話操作装置１００は、二値化画像の黒画素領域を端から走査して、４連結画素を用いる輪郭抽出アルゴリズムを用いて、黒画素を抽出して、抽出した黒画素を輪郭部画素とする。
ここで、４連結画素を用いる輪郭抽出アルゴリズムとは、二値化画像を端から走査して、検出した未追跡黒画素を始点の輪郭部画素として、この画素を中心にした４連結画素を反時計回りに追跡して黒画素を検出して輪郭部画素として、この画素を次の中心にして、４連結画素追跡により黒画素を検出して、始点に戻るまで繰り返えすものである。輪郭抽出アルゴリズムは、８連結画素を用いてもよい。
（４−６）《手形画像抽出処理》対話操作装置１００は、距離画像（＝輪郭部画素で囲まれた領域）の画素の輝度を、保持した最大輝度の値と比較して、一致すれば、その領域を閲覧者の手形画像として抽出する。
ここで、図８を用いて、《指先検出処理》の例を説明する。
図８の（ａ）には、二値化画像１９６１が例示されている。
例示された二値化画像１９６１は、大きな白画素領域１９６１１と、小さな白画素領域１９６１２を含む画像である。
図８の（ｂ）には、距離画像１９６２が例示されている。
例示された距離画像１９６２は、大きな白画素領域１９６１１に対応した距離画像１９６２１と、小さな白画素領域１９６１２に対応した距離画像１９６２２とを含む画像である。ここで、大きな白画素領域１９６１１に対応した距離画像１９６２１は、最大画素値を持つ画素１０３８を有する画像である。
図８の（ｃ）には、輪郭部画素が例示されている。
例示された輪郭部画素は、大きな白画素領域の輪郭部１９６３１と小さな白画素領域の輪郭部１９６３２とを形成する画素である。ここで、白画素領域の輪郭部１９６３１は、最大画素値を持つ画素１０３８に対応した画素１０３８１を有する。
図８の（ｄ）には、最大輪郭部が例示されている。
例示された最大輪郭部は、最大画素値を持つ距離画像１９６２１に対応した白画素領域の輪郭部１９６３１である。
図８の（ａ）には、二値化画像１９６１が例示されている。
例示された二値化画像１９６１は、大きな白画素領域１９６１１と、小さな白画素領域１９６１２を含む画像である。
図８の（ｂ）には、距離画像１９６２が例示されている。
例示された距離画像１９６２は、大きな白画素領域１９６１１に対応した距離画像１９６２１と、小さな白画素領域１９６１２に対応した距離画像１９６２２とを含む画像である。ここで、大きな白画素領域１９６１１に対応した距離画像１９６２１は、最大画素値を持つ画素１０３８を有する画像である。
図８の（ｃ）には、輪郭部画素が例示されている。
例示された輪郭部画素は、大きな白画素領域の輪郭部１９６３１と小さな白画素領域の輪郭部１９６３２とを形成する画素である。ここで、白画素領域の輪郭部１９６３１は、最大画素値を持つ画素１０３８に対応した画素１０３８１を有する。
図８の（ｄ）には、最大輪郭部が例示されている。
例示された最大輪郭部は、最大画素値を持つ距離画像１９６２１に対応した白画素領域の輪郭部１９６３１である。
図７に戻って、（４）《指先検出処理》の詳細な流れの説明を続ける。
（４−７）《指先判定処理》対話操作装置１００は、閲覧者の手形画像を用いて、指先判定処理をして、指先を判定する。（詳細は後述する）
（４−８）《指先位置算出》対話操作装置１００は、連続するフレームの指先座標を算出する。
（４−９）《指先静止検知処理》対話操作装置１００は、連続するフレームの指先座標を比較して指先移動距離を算出して、指先静止判定時間を定めた動作判定条件と照合して、指先静止判定時間中の指先移動距離がゼロであるか否かを判定する。指先静止判定時間中の指先移動距離がゼロと判定された場合には、指先座標を含む指先静止検知情報を作成する。
（４−７）《指先判定処理》対話操作装置１００は、閲覧者の手形画像を用いて、指先判定処理をして、指先を判定する。（詳細は後述する）
（４−８）《指先位置算出》対話操作装置１００は、連続するフレームの指先座標を算出する。
（４−９）《指先静止検知処理》対話操作装置１００は、連続するフレームの指先座標を比較して指先移動距離を算出して、指先静止判定時間を定めた動作判定条件と照合して、指先静止判定時間中の指先移動距離がゼロであるか否かを判定する。指先静止判定時間中の指先移動距離がゼロと判定された場合には、指先座標を含む指先静止検知情報を作成する。
図１０は、指先判定処理のフローチャートである。
（１）対話操作装置１００は、手の撮影画像が接するコンテンツ投影画面の辺（＝撮影画像枠）が、底辺１０３１であるか否かを判定する。手の撮影画像が接する辺が、下辺１０３１であれば、次のステップに進む。
手の撮影画像が接する辺が、底辺１０３１でなければ、ステップＳ１２０に進む。（ステップＳ１１０）
（２）対話操作装置１００は、手の最上部１０３５を指先と判定して「手が接する辺＝底辺」を保持して、終了する。（ステップＳ１１５）
（３）対話操作装置１００は、手の撮影画像が接するコンテンツ投影画面の辺が、左辺１０３２であるか否かを判定する。手の撮影画像が接する辺が、左辺１０３２であれば、次のステップに進む。
手の撮影画像が接する辺が、左辺１０３２でなければ、ステップＳ１３０に進む。（ステップＳ１２０）
（４）対話操作装置１００は、手の最右部１０３６を指先と判定して「手が接する辺＝左辺」を保持して、終了する。（ステップＳ１２５）
（５）対話操作装置１００は、手の撮影画像が接するコンテンツ投影画面の辺が、右辺であるか否かを判定する。手の撮影画像が接する辺が、右辺であれば、次のステップに進む。
手の撮影画像が接する辺が、右辺でなければ、ステップＳ１４０に進む。（ステップＳ１３０）
（６）対話操作装置１００は、手の最左部を指先と判定して「手が接する辺＝右辺」を保持して、終了する。（ステップＳ１３５）
（７）対話操作装置１００は、手の撮影画像が接するコンテンツ投影画面の辺が、上辺であるか否かを判定する。手の撮影画像が接する辺が、上辺であれば、次のステップに進む。
手の撮影画像が接する辺が、上辺でなければ、ステップＳ１６０に進む。（ステップＳ１４０）
（６）対話操作装置１００は、手の最下部を指先と判定して「手が接する辺＝上辺」を保持して、終了する。（ステップＳ１４５）
（７）保持した手形が接する辺の値に応じて、指先の位置を以下のとおりに判定する。
・「手が接する辺＝底辺」であれば、手の最上部を指先と判定する、
・「手が接する辺＝左辺」であれば、手の最右部を指先と判定する、
・「手が接する辺＝右辺」であれば、手の最左部を指先と判定する、
・「手が接する辺＝上辺」であれば、手の最下部を指先と判定する、
終了する。
（１）対話操作装置１００は、手の撮影画像が接するコンテンツ投影画面の辺（＝撮影画像枠）が、底辺１０３１であるか否かを判定する。手の撮影画像が接する辺が、下辺１０３１であれば、次のステップに進む。
手の撮影画像が接する辺が、底辺１０３１でなければ、ステップＳ１２０に進む。（ステップＳ１１０）
（２）対話操作装置１００は、手の最上部１０３５を指先と判定して「手が接する辺＝底辺」を保持して、終了する。（ステップＳ１１５）
（３）対話操作装置１００は、手の撮影画像が接するコンテンツ投影画面の辺が、左辺１０３２であるか否かを判定する。手の撮影画像が接する辺が、左辺１０３２であれば、次のステップに進む。
手の撮影画像が接する辺が、左辺１０３２でなければ、ステップＳ１３０に進む。（ステップＳ１２０）
（４）対話操作装置１００は、手の最右部１０３６を指先と判定して「手が接する辺＝左辺」を保持して、終了する。（ステップＳ１２５）
（５）対話操作装置１００は、手の撮影画像が接するコンテンツ投影画面の辺が、右辺であるか否かを判定する。手の撮影画像が接する辺が、右辺であれば、次のステップに進む。
手の撮影画像が接する辺が、右辺でなければ、ステップＳ１４０に進む。（ステップＳ１３０）
（６）対話操作装置１００は、手の最左部を指先と判定して「手が接する辺＝右辺」を保持して、終了する。（ステップＳ１３５）
（７）対話操作装置１００は、手の撮影画像が接するコンテンツ投影画面の辺が、上辺であるか否かを判定する。手の撮影画像が接する辺が、上辺であれば、次のステップに進む。
手の撮影画像が接する辺が、上辺でなければ、ステップＳ１６０に進む。（ステップＳ１４０）
（６）対話操作装置１００は、手の最下部を指先と判定して「手が接する辺＝上辺」を保持して、終了する。（ステップＳ１４５）
（７）保持した手形が接する辺の値に応じて、指先の位置を以下のとおりに判定する。
・「手が接する辺＝底辺」であれば、手の最上部を指先と判定する、
・「手が接する辺＝左辺」であれば、手の最右部を指先と判定する、
・「手が接する辺＝右辺」であれば、手の最左部を指先と判定する、
・「手が接する辺＝上辺」であれば、手の最下部を指先と判定する、
終了する。
図１１は、対話操作装置１００の詳細な構成図である。
対話操作装置１００は、ＣＰＵ１０１と、表示部１０２と、キーボード１０３と、赤外カメラ部１０６と、投影機接続部１０７（＝投影機接続手段）と、ネットワーク通信部１０８と、記憶部１０９と専用プログラムとを備える。
ＣＰＵ１０１と、表示部１０２と、キーボード部１０３と、カメラ部１０６と、投影機接続部１０７と、ネットワーク通信部１０８と、記憶部１０９とは、ＢＵＳ１９９で接続される。
対話操作装置１００は、ＣＰＵ１０１と、表示部１０２と、キーボード１０３と、赤外カメラ部１０６と、投影機接続部１０７（＝投影機接続手段）と、ネットワーク通信部１０８と、記憶部１０９と専用プログラムとを備える。
ＣＰＵ１０１と、表示部１０２と、キーボード部１０３と、カメラ部１０６と、投影機接続部１０７と、ネットワーク通信部１０８と、記憶部１０９とは、ＢＵＳ１９９で接続される。
ＣＰＵ１０１は、中央演算装置である。
表示部１０２は、液晶表示装置や有機ＥＬ表示装置である。
投影機接続手段１０７は、プロジェクターアダプターである。
ネットワーク通信部１０８は、ＬＡＮアダプターである。
表示部１０２は、液晶表示装置や有機ＥＬ表示装置である。
投影機接続手段１０７は、プロジェクターアダプターである。
ネットワーク通信部１０８は、ＬＡＮアダプターである。
赤外カメラ部１０６は、赤外電子カメラである。
赤外カメラ部１０６は、赤外光源５００の赤外光が照射された閲覧者９００の手を撮像して、手の撮影画像を生成する。
赤外カメラ部１０６は、赤外光源５００の赤外光が照射された閲覧者９００の手を撮像して、手の撮影画像を生成する。
記憶部１０９は、半導体メモリーや磁気メモリーである。
記憶部１０９は、表示画面保持領域１０９１と、初期設定情報格納領域１０９２と、コンテンツ格納領域１０９３と、を備えて、オペレーティングシステム１８５と、専用プログラムとを記憶する。
表示画面保持領域１０９１は、コンテンツ投影画面データ１９８を保持する。
初期設定情報格納領域１０９２は、撮影画像透視変換関係式１９３と背景画像データ１９５とを格納する。
コンテンツ格納領域１０９３は、コンテンツ投影画面データを作成するためのコンテンツ構成データ１９７およびコンテンツ素材データ１９２を格納する。
コンテンツ構成データ１９７は、コンテンツ全体の構成（たとえば、何ページから成っているかなど）と、コンテンツ素材データの使い方（たとえば、何ページのどの位置に、どの素材を配置するかなど）を現したデータである。
コンテンツ素材データ１９２は、写真やテキストのデータである。
記憶部１０９は、表示画面保持領域１０９１と、初期設定情報格納領域１０９２と、コンテンツ格納領域１０９３と、を備えて、オペレーティングシステム１８５と、専用プログラムとを記憶する。
表示画面保持領域１０９１は、コンテンツ投影画面データ１９８を保持する。
初期設定情報格納領域１０９２は、撮影画像透視変換関係式１９３と背景画像データ１９５とを格納する。
コンテンツ格納領域１０９３は、コンテンツ投影画面データを作成するためのコンテンツ構成データ１９７およびコンテンツ素材データ１９２を格納する。
コンテンツ構成データ１９７は、コンテンツ全体の構成（たとえば、何ページから成っているかなど）と、コンテンツ素材データの使い方（たとえば、何ページのどの位置に、どの素材を配置するかなど）を現したデータである。
コンテンツ素材データ１９２は、写真やテキストのデータである。
オペレーティングシステム１８５は、対話操作装置１００のハードウェア（たとえば、表示部１０２と、キーボード１０３と、投影機接続部１０７と、ネットワーク通信部１０８と、記憶部１０９など）を管理・制御して、応用ソフトウエア（たとえば、専用プログラム）に対して、これらのハードウェアを利用できるようなサービスを提供する基本ソフトウエアである。
オペレーティングシステム１８５は、マウス左クリックエミュレート関数やカーソル表示エミュレート関数を含むマウス関数ライブラリー１９１を有する。
オペレーティングシステム１８５は、マウス左クリックエミュレート関数が発行するマウス左クリックのマウスイベント（＝入力イベント情報）を受け取って、一時記憶領域に保持する。このときにアクティブなプロセスは、一時記憶領域を参照して保持されたマウスイベントを読み出して、そのイベントに応じたプロセスの処理を行う。
オペレーティングシステム１８５は、マウス左クリックエミュレート関数やカーソル表示エミュレート関数を含むマウス関数ライブラリー１９１を有する。
オペレーティングシステム１８５は、マウス左クリックエミュレート関数が発行するマウス左クリックのマウスイベント（＝入力イベント情報）を受け取って、一時記憶領域に保持する。このときにアクティブなプロセスは、一時記憶領域を参照して保持されたマウスイベントを読み出して、そのイベントに応じたプロセスの処理を行う。
このほかに、初期設定手段１１０と、指先検出手段１３０と、指先位置算出手段１４０と、指先静止検知手段１５０と、入力エミュレーションモジュール１５５と、表示画面作成手段１６０と、投影表示手段１７０と、備える。これらの各手段は、それぞれの専用プログラムによって実現され、専用プログラムがＣＰＵ１０１に解釈・実行されることによって機能する。
初期設定手段１１０は、赤外カメラが投影台４００を撮影して生成した投影台の撮影画像の投影範囲の入力を受け付ける投影範囲指示機能と、
撮影画像の座標とコンテンツ投影画面の座標との透視変換の関係を表す撮影画像透視変換行列関係式を算出する座標変換行列算出機能と、
投影台の撮影画像から、投影範囲の画像を抽出して、背景画像とする背景画像抽出機能と、から構成される。
初期設定手段の詳細は、図５における（１）《初期設定処理》の詳細な流れを説明する項で述べた。
撮影画像の座標とコンテンツ投影画面の座標との透視変換の関係を表す撮影画像透視変換行列関係式を算出する座標変換行列算出機能と、
投影台の撮影画像から、投影範囲の画像を抽出して、背景画像とする背景画像抽出機能と、から構成される。
初期設定手段の詳細は、図５における（１）《初期設定処理》の詳細な流れを説明する項で述べた。
指先検出手段１３０は、撮像手段１０６が作成した閲覧者の手の撮影画像を透視変換撮影画像に透視変換する撮影画像透視変換機能と、
透視変換撮影画像から背景画像を除去する背景除去機能と、
背景画像を除去した透視変換撮影画像から二値化画像を生成する撮影画像二値化機能と、
二値化画像から距離画像を作成する距離画像作成機能と、
背景画像を除去した透視変換撮影画像から輪郭部画素を検出する輪郭部画素検出機能と、
距離画像と輪郭部画素とを用いて、手形画像を抽出する最大輪郭部抽出機能と、
手形画像が接するコンテンツ投影画面の辺の情報を用いて、指先を判定する指先判定機能と、
を備える。
透視変換撮影画像から背景画像を除去する背景除去機能と、
背景画像を除去した透視変換撮影画像から二値化画像を生成する撮影画像二値化機能と、
二値化画像から距離画像を作成する距離画像作成機能と、
背景画像を除去した透視変換撮影画像から輪郭部画素を検出する輪郭部画素検出機能と、
距離画像と輪郭部画素とを用いて、手形画像を抽出する最大輪郭部抽出機能と、
手形画像が接するコンテンツ投影画面の辺の情報を用いて、指先を判定する指先判定機能と、
を備える。
指先検出手段１３０の詳細は、図７における（４）《指先検出処理》の詳細な流れを説明する項で述べた。
指先位置算出手段１４０は、指先の座標を算出する。
指先静止検知手段１５０は、連続するフレームの指先座標を用いて指先移動距離を算出して、所定の時間中の指先移動距離がゼロと判定された場合には、指先座標を含む指先静止検知情報を作成する。
指先静止検知手段１５０は、連続するフレームの指先座標を用いて指先移動距離を算出して、所定の時間中の指先移動距離がゼロと判定された場合には、指先座標を含む指先静止検知情報を作成する。
入力エミュレーションモジュール１５５は、指先静止検知情報に基づいて、入力イベント情報を生成して、表示閲覧手段に引き渡す。
詳細には、入力エミュレーションモジュール１５５は、指先静止検知情報を受け付けて、マウス左クリックエミュレート関数を呼び出して、マウスイベントを発行させる機能を備える。
詳細には、入力エミュレーションモジュール１５５は、指先静止検知情報を受け付けて、マウス左クリックエミュレート関数を呼び出して、マウスイベントを発行させる機能を備える。
表示閲覧手段１６０は、コンテンツ構成データ１９６を解釈して、コンテンツ素材データ１９２を用いてコンテンツ投影画面データ１９８を作成する。
また、表示閲覧手段１６０は、オペレーティングシステム１８５を通じて引き渡されたマウスイベントを受け付けて、適宜コンテンツ投影画面データを更新する。詳細には、表示閲覧手段１６０は、オペレーティングシステム１８５が一時記憶領域に保持したマウスイベントを読み出して、適宜コンテンツ投影画面データを更新する。（請求項１における入力エミュレーション手段は、入力エミュレーションモジュール１５５とオペレーティングシステム１８５との協調動作により実現される）
また、表示閲覧手段１６０は、オペレーティングシステム１８５を通じて引き渡されたマウスイベントを受け付けて、適宜コンテンツ投影画面データを更新する。詳細には、表示閲覧手段１６０は、オペレーティングシステム１８５が一時記憶領域に保持したマウスイベントを読み出して、適宜コンテンツ投影画面データを更新する。（請求項１における入力エミュレーション手段は、入力エミュレーションモジュール１５５とオペレーティングシステム１８５との協調動作により実現される）
次に、影の誤抽出防止について、説明する。
投影台に閲覧者の手が無い状態（＝何も映っていない状態）にも関わらず、影の撮影画像を手の撮影画像と誤抽出することがあることが経験的に分かっているので、以下の処理を行う。
《撮影画像の二値化処理》対話操作装置１００は、背景画像除去処理済の透視変換した撮影画像に対して、濃淡画像の画素値ヒストグラムを、各画素値を仮のしきい値ｔとして、２つの領域に分けて、各領域内の分散（＝クラス内分散）σ2 a と、２つの領域間の分散（＝クラス間分散）σ2 b と、を計算し、領域内での分散と領域間の分散の和（＝全分散） を算出する関数（仮のしきい値ｔの関数）ｗ ＝ σ2 a + σ2 b が所定の値以上であれば、大津の手法を適用して、二値化画像を生成する。
投影台に閲覧者の手が無い状態（＝何も映っていない状態）にも関わらず、影の撮影画像を手の撮影画像と誤抽出することがあることが経験的に分かっているので、以下の処理を行う。
《撮影画像の二値化処理》対話操作装置１００は、背景画像除去処理済の透視変換した撮影画像に対して、濃淡画像の画素値ヒストグラムを、各画素値を仮のしきい値ｔとして、２つの領域に分けて、各領域内の分散（＝クラス内分散）σ2 a と、２つの領域間の分散（＝クラス間分散）σ2 b と、を計算し、領域内での分散と領域間の分散の和（＝全分散） を算出する関数（仮のしきい値ｔの関数）ｗ ＝ σ2 a + σ2 b が所定の値以上であれば、大津の手法を適用して、二値化画像を生成する。
図１２は、濃淡画像の画素値ヒストグラムの分散を説明する図である。
図１２の（ａ）は、何も映っていない状態の撮影画像の例である。
何も映っていない状態の撮影画像の画素値ヒストグラムの全分散は、小さいことを示している。
図１２の（ｂ）は、手が映っている状態の撮影画像の例である。
手が映っている状態の撮影画像の画素値ヒストグラムの全分散は、大きいことを示している。
図１２の（ａ）は、何も映っていない状態の撮影画像の例である。
何も映っていない状態の撮影画像の画素値ヒストグラムの全分散は、小さいことを示している。
図１２の（ｂ）は、手が映っている状態の撮影画像の例である。
手が映っている状態の撮影画像の画素値ヒストグラムの全分散は、大きいことを示している。
次に、静止した指先の座標が微動変動することに対する対策を説明する。
閲覧者が指先を静止させたときに、手の撮影画像から算出する指先の座標は、指先があたかも微動しているかのように、微小に変動することが経験的に分かっているので、以下の処理を行う。
《指先微小変動判定処理》対話操作装置１００は、連続する各フレーム（＝撮影画像の静止画）から算出する指先の座標を用いて、指先の移動方向ベクトルを算出して、方向ベクトルの変動値が所定の条件（たとえば、方向ベクトルの変動角度θを用いて、方向ベクトルの変動値をｃｏｓθで定義して、所定の条件がθ＜２５°）を満たせば、指先の座標が微小変動したとして、最初のフレームの指先の座標を保持する。
閲覧者が指先を静止させたときに、手の撮影画像から算出する指先の座標は、指先があたかも微動しているかのように、微小に変動することが経験的に分かっているので、以下の処理を行う。
《指先微小変動判定処理》対話操作装置１００は、連続する各フレーム（＝撮影画像の静止画）から算出する指先の座標を用いて、指先の移動方向ベクトルを算出して、方向ベクトルの変動値が所定の条件（たとえば、方向ベクトルの変動角度θを用いて、方向ベクトルの変動値をｃｏｓθで定義して、所定の条件がθ＜２５°）を満たせば、指先の座標が微小変動したとして、最初のフレームの指先の座標を保持する。
図１３は、指先の微小変動を説明する図である。
移動する指先を撮影した画像の連続４フレームの各フレーム間の方向ベクトルν1、ν2、ν3、である場合には、方向ベクトルの変動値は、数式３のように表すことができる。
図１３の（ａ）は、指先が移動しているときのｃｏｓθの例である。
指先が移動しているときの数式３の値は大きい。言い換えるとθの値は小さい。例えば、θが２５°未満である場合には、指先が移動しているときである。
図１３の（ｂ）は、指先が静止しているときのｃｏｓθの例である。
指先が静止しているときの数式３の値は小さい。言い換えるとθの値は大きい。例えば、θが２５°以上である場合には、指先が静止しているときである。
移動する指先を撮影した画像の連続４フレームの各フレーム間の方向ベクトルν1、ν2、ν3、である場合には、方向ベクトルの変動値は、数式３のように表すことができる。
指先が移動しているときの数式３の値は大きい。言い換えるとθの値は小さい。例えば、θが２５°未満である場合には、指先が移動しているときである。
図１３の（ｂ）は、指先が静止しているときのｃｏｓθの例である。
指先が静止しているときの数式３の値は小さい。言い換えるとθの値は大きい。例えば、θが２５°以上である場合には、指先が静止しているときである。
次に、手形画像がコンテンツ投影画面の辺に接しない場合の指先判定処理を説明する。
閲覧者の袖口が撮影できない場合には、手形画像がコンテンツ投影画面の辺に接しないので、指先判定処理は、以下のとおりに行う。
《指先判定処理》対話操作装置１００は、指先判定処理において、手形画像がコンテンツ投影画面の辺に接しない場合には、距離画像の最高輝度点を基準にして、保持した手形が接する辺の側の輪郭は探索しないで、指先を判定する。
図１４は、閲覧者の袖口が撮影できない手の撮影画像の例である。
例示された手の画像は、画面の左辺に閲覧者の袖口がかかり、手の撮影画像が左辺から離れている状態を示している。
閲覧者の手は、左辺から移動してきたので、距離画像の最高輝度点１０３８を基準にして、その左側の輪郭は探索しないで、指先を判定する。
閲覧者の袖口が撮影できない場合には、手形画像がコンテンツ投影画面の辺に接しないので、指先判定処理は、以下のとおりに行う。
《指先判定処理》対話操作装置１００は、指先判定処理において、手形画像がコンテンツ投影画面の辺に接しない場合には、距離画像の最高輝度点を基準にして、保持した手形が接する辺の側の輪郭は探索しないで、指先を判定する。
図１４は、閲覧者の袖口が撮影できない手の撮影画像の例である。
例示された手の画像は、画面の左辺に閲覧者の袖口がかかり、手の撮影画像が左辺から離れている状態を示している。
閲覧者の手は、左辺から移動してきたので、距離画像の最高輝度点１０３８を基準にして、その左側の輪郭は探索しないで、指先を判定する。
１ 指先操作型コンテンツ提供システム
１００ 対話操作装置
１０３ 撮影画像表示画面
１０６ 赤外カメラ
１０７ 投影機接続手段
１１０ 初期設定手段
１３０ 指先検出手段
１４０ 指先位置算出手段
１５０ 指先静止検知手段
１５５ 入力エミュレーションモジュール
１６０ 表示閲覧手段
１７０ 投影表示手段
１９１ マウス関数ライブラリー
３００ プロジェクター、投影機
４００ 投影台
４０３ コンテンツ投影画面
５００ 赤外光源
９００ 閲覧者
１００ 対話操作装置
１０３ 撮影画像表示画面
１０６ 赤外カメラ
１０７ 投影機接続手段
１１０ 初期設定手段
１３０ 指先検出手段
１４０ 指先位置算出手段
１５０ 指先静止検知手段
１５５ 入力エミュレーションモジュール
１６０ 表示閲覧手段
１７０ 投影表示手段
１９１ マウス関数ライブラリー
３００ プロジェクター、投影機
４００ 投影台
４０３ コンテンツ投影画面
５００ 赤外光源
９００ 閲覧者
Claims (2)
- コンテンツ投影画面データに基づく像を投影台に投影する投影機と、前記投影台を撮影して撮影画像を生成する赤外カメラと、が接続される対話操作装置において、
コンテンツ構成データを格納するコンテンツ格納領域と、
前記コンテンツ投影画面データを保持する表示画面保持領域と、
を備える記憶手段と、
前記コンテンツ構成データを解釈して、前記コンテンツ投影画面データを作成する表示閲覧手段と、
前記赤外カメラから前記撮影画像を取得する撮影画像取得手段と、
前記撮影画像の各フレームから閲覧者の指先を検知する指先検出手段と、
前記指先の座標を算出する指先位置算出手段と、
連続する前記各フレームの指先の座標を用いて当該指先の移動距離を算出して、所定の時間中の前記移動距離がゼロと判定された場合には、前記指先の座標を含む指先静止検知情報を作成する指先静止検知手段と、
前記指先静止検知情報に基づいて、入力イベント情報を生成して、前記表示閲覧手段に引き渡す入力エミュレーション手段と、
を備え、
前記表示閲覧手段は、前記入力エミュレーション手段から引き渡された入力イベント情報を受け付けて、適宜コンテンツ投影画面データを更新して、
前記指先検出手段は、前記コンテンツ投影画面の輪郭を構成する複数の辺のうち、手の前記撮影画像が接する一つの前記辺が、底辺、または、左辺、または、右辺、または、上辺のいずれの辺であるか否かを判定し、前記判定した辺が底辺である場合には手の最上部を指先と判定し、前記判定した辺が左辺である場合には手の最右部を指先と判定し、前記判定した辺が右辺である場合には手の最左部を指先と判定し、前記判定した辺が上辺である場合には手の最下部を指先と判定する、
ことを特徴とする対話操作装置。 - 請求項１に記載の対話操作装置において、
前記指先検出手段は、
手形画像が接するコンテンツ投影画面の辺が見つからなかった場合には、距離画像の最高輝度点を基準にして、移動して延びてきた手の側の辺と平行で最高輝度点を通る直線にて２分割される手形画像の輪郭のうち、手が移動してきた側の輪郭は探索しないで、最遠部を指先とする、
ことを特徴とする対話操作装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009169589A JP5201096B2 (ja) | 2009-07-17 | 2009-07-17 | 対話操作装置 |
| PCT/JP2010/061747 WO2011007746A1 (ja) | 2009-07-17 | 2010-07-12 | 指先操作型情報提供システム、対話操作装置、コンピュータープログラム、及び記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009169589A JP5201096B2 (ja) | 2009-07-17 | 2009-07-17 | 対話操作装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2011022945A JP2011022945A (ja) | 2011-02-03 |
| JP2011022945A5 JP2011022945A5 (ja) | 2012-08-23 |
| JP5201096B2 true JP5201096B2 (ja) | 2013-06-05 |
Family
ID=43449353
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009169589A Expired - Fee Related JP5201096B2 (ja) | 2009-07-17 | 2009-07-17 | 対話操作装置 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP5201096B2 (ja) |
| WO (1) | WO2011007746A1 (ja) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012208926A (ja) * | 2011-03-15 | 2012-10-25 | Nikon Corp | 検出装置、入力装置、プロジェクタ、及び電子機器 |
| CN102221887B (zh) * | 2011-06-23 | 2016-05-04 | 康佳集团股份有限公司 | 互动投影***及方法 |
| JP2013037420A (ja) * | 2011-08-04 | 2013-02-21 | Dainippon Printing Co Ltd | コンテンツ表示システム、コンテンツ表示制御方法、コンテンツ表示制御装置、プログラム |
| JP2013206350A (ja) * | 2012-03-29 | 2013-10-07 | Ntt Docomo Inc | 情報処理装置及び当該情報処理装置における入力箇所の補正方法 |
| JP2013222317A (ja) * | 2012-04-17 | 2013-10-28 | Toshiba Mach Co Ltd | 数値制御装置 |
| JP5148004B1 (ja) * | 2012-04-26 | 2013-02-20 | 株式会社三菱東京Ｕｆｊ銀行 | 情報処理装置、電子機器およびプログラム |
| JP6049334B2 (ja) * | 2012-07-12 | 2016-12-21 | キヤノン株式会社 | 検出装置、検出方法及びプログラム |
| JP6127564B2 (ja) * | 2013-02-15 | 2017-05-17 | コニカミノルタ株式会社 | タッチ判定装置、タッチ判定方法、およびタッチ判定プログラム |
| JP5991538B2 (ja) | 2013-02-20 | 2016-09-14 | 富士ゼロックス株式会社 | データ処理装置、データ処理システム及びプログラム |
| JP2014186715A (ja) | 2013-02-21 | 2014-10-02 | Canon Inc | 情報処理装置、情報処理方法 |
| TW201510771A (zh) | 2013-09-05 | 2015-03-16 | Utechzone Co Ltd | 指向位置偵測裝置及其方法、程式及電腦可讀取紀錄媒體 |
| JP6303514B2 (ja) * | 2014-01-14 | 2018-04-04 | 新日鐵住金株式会社 | 作業情報入力システム、情報処理装置、その制御方法およびプログラム |
| JP6340860B2 (ja) * | 2014-01-21 | 2018-06-13 | セイコーエプソン株式会社 | 位置検出装置、プロジェクター、位置検出システム、及び、位置検出装置の制御方法 |
| JP6335695B2 (ja) * | 2014-07-09 | 2018-05-30 | キヤノン株式会社 | 情報処理装置、その制御方法、プログラム、及び記憶媒体 |
| JP2016091457A (ja) | 2014-11-10 | 2016-05-23 | 富士通株式会社 | 入力装置、指先位置検出方法及び指先位置検出用コンピュータプログラム |
| JP2016126160A (ja) * | 2014-12-26 | 2016-07-11 | カシオ計算機株式会社 | 撮像装置、撮像制御方法及びプログラム |
| JP6786792B2 (ja) * | 2015-12-03 | 2020-11-18 | セイコーエプソン株式会社 | 情報処理装置、表示装置、情報処理方法、及び、プログラム |
| JP6808330B2 (ja) * | 2016-02-26 | 2021-01-06 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3777650B2 (ja) * | 1995-04-28 | 2006-05-24 | 松下電器産業株式会社 | インターフェイス装置 |
| JP3834766B2 (ja) * | 2000-04-03 | 2006-10-18 | 独立行政法人科学技術振興機構 | マンマシーン・インターフェース・システム |
| JP2005063092A (ja) * | 2003-08-11 | 2005-03-10 | Keio Gijuku | ハンドパターンスイッチ装置 |
| JP4193895B2 (ja) * | 2006-10-12 | 2008-12-10 | 横河電機株式会社 | 欠陥検査装置 |
| JP2008152622A (ja) * | 2006-12-19 | 2008-07-03 | Mitsubishi Electric Corp | ポインティング装置 |
| JP4220555B2 (ja) * | 2007-02-09 | 2009-02-04 | 株式会社日立製作所 | テーブル型情報端末 |
| JP4513830B2 (ja) * | 2007-06-25 | 2010-07-28 | ソニー株式会社 | 描画装置、及び描画方法 |
| JP4933389B2 (ja) * | 2007-09-14 | 2012-05-16 | 株式会社リコー | 画像投影表示装置、画像投影表示方法、画像投影表示プログラム及び記録媒体 |
-
2009
- 2009-07-17 JP JP2009169589A patent/JP5201096B2/ja not_active Expired - Fee Related
-
2010
- 2010-07-12 WO PCT/JP2010/061747 patent/WO2011007746A1/ja active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2011007746A1 (ja) | 2011-01-20 |
| JP2011022945A (ja) | 2011-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5201096B2 (ja) | 対話操作装置 | |
| JP6089722B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| US9927881B2 (en) | Hand tracker for device with display | |
| JP6007497B2 (ja) | 画像投影装置ならびに画像投影制御装置およびプログラム | |
| US11308347B2 (en) | Method of determining a similarity transformation between first and second coordinates of 3D features | |
| CN104380338B (zh) | 信息处理器以及信息处理方法 | |
| JP6248533B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| US20150058782A1 (en) | System and method for creating and interacting with a surface display | |
| JP2015187884A (ja) | カメラとマーク出力とによるポインティング装置 | |
| Chu et al. | Hand gesture for taking self portrait | |
| US10642422B2 (en) | Information processing apparatus, control method for the information processing apparatus, and storage medium | |
| JP2015212849A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| US9911230B2 (en) | Method and apparatus for controlling virtual monitor | |
| JP7378354B2 (ja) | ライブ動画ストリームからの指の押下の検出 | |
| JP2014029656A (ja) | 画像処理装置および画像処理方法 | |
| Riemann et al. | Flowput: Environment-aware interactivity for tangible 3d objects | |
| JP6229554B2 (ja) | 検出装置および検出方法 | |
| KR20090116544A (ko) | 적외선 카메라 방식의 공간 터치 감지 장치, 방법 및스크린 장치 | |
| Zhang et al. | Transforming a regular screen into a touch screen using a single webcam | |
| CN116301551A (zh) | 触控识别方法、触控识别装置、电子设备及介质 | |
| JP2012027528A (ja) | 表示装置、表示方法及び表示装置を制御するプログラム | |
| KR20160031968A (ko) | 전방 프로젝션 환경에서 그림자를 제거하기 위한 방법 | |
| Alex et al. | LampTop: Touch detection for a projector-camera system based on shape classification | |
| Niikura et al. | Touch detection system for various surfaces using shadow of finger | |
| Kurata et al. | Interaction using nearby-and-far projection surfaces with a body-worn ProCam system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120704 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120704 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130115 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130128 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160222 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |