JP2014219938A - 入力支援装置、入力支援方法、および、プログラム - Google Patents

Abstract

【課題】コントローラを用いずに非接触操作を行う場合に、利用者へのフィードバックを適切に行うことができる、入力支援装置、入力支援方法、および、プログラムを提供することを課題とする。
【解決手段】本発明は、検出部を介して、利用者の所定の部位についての空間座標を連続的に取得し、更新される空間座標に基づいて、表示部の表示画面の対応する位置に、マーカーを移動させる表示制御を行う場合において、マーカーの初期形状は、任意の形状を分割した複数の形状として、空間座標の座標系における所定の面に対して、空間座標の距離が大きいほど、表示画面の対応する位置から複数の形状を互いに離隔させ、当該距離が小さいほど、表示画面の対応する位置に複数の形状を互いに接近させる表示制御を行う。
【選択図】図９

Description

本発明は、入力支援装置、入力支援方法、および、プログラムに関する。

従来、コントローラを用いずに、コンピュータを遠隔操作する方法が開発されている。

例えば、特許文献１では、手に投射される光パターンの連続的特徴を検知することによりユーザの手の動きを追跡する手追跡器を備えたコンピュータ装置において、手追跡器により追跡された手の動きに従って手の画像（第１画像）を動かし、表示上の仮想キーボード等の第２画像と第１画像との間で相互作用させるように手を動かすことにより、コンピュータ装置を制御する方法が開示されている。

また、非特許文献１のＫｉｎｅｃｔ ｆｏｒ Ｗｉｎｄｏｗｓ（登録商標） ＳＤＫ １．７では、利用者の手の空間座標を検出し、検出した平面座標に応じて、表示画面上のカーソルを移動させるとともに、検出した深度に応じた表示ボタンの押下を判定する際に、カーソルの色を深度に応じて連続的に変化させて、利用者にボタン押下に至るまでの深度状況をフィードバックする技術が開示されている。

特表２０１３−５０５５０８号公報

マイクロソフト・コーポレーション、"Ｎｅｗ Ｆｅａｔｕｒｅｓ│Ｍｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔ ｆｏｒ Ｗｉｎｄｏｗｓ"、［ｏｎｌｉｎｅ］、２０１３年、Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎ、［平成２５年５月７日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｍｉｃｒｏｓｏｆｔ．ｃｏｍ／ｅｎ−ｕｓ／ｋｉｎｅｃｔｆｏｒｗｉｎｄｏｗｓ／Ｄｅｖｅｌｏｐ／Ｎｅｗ．ａｓｐｘ＞

しかしながら、コントローラを使用しない従来の遠隔操作技術においては、どの時点でボタン押下等の選択決定がなされるかを利用者が把握するのが難しいため誤動作を招くという問題点を有していた。

例えば、特許文献１に記載の遠隔制御方法では、ユーザの手を表示した画像が、表示上のキーボードの画像上で動き、ユーザが指をタイピング動作するように動かすと、キーボードキーを押下することができるものの、物理キーボードとは異なり、どの段階でキー押下操作と判定されるのかについて、利用者へのフィードバックに乏しいためタイプミスを招きやすいという問題点を有していた。

また、非特許文献１に記載の遠隔制御方法では、利用者の手の深度がカーソルの色としてフィードバックされるものの、利用者がディスプレイに対して手をかざして操作するので、カーソルが手で隠れてしまうことがあり、依然として誤動作を招く可能性があるという問題点を有していた。

本発明は、上記問題点に鑑みてなされたもので、コントローラを用いず接触せずに操作を行う場合に、利用者へのフィードバックを適切に行うことができる、入力支援装置、入力支援方法、および、プログラムを提供することを目的とする。

このような目的を達成するため、本発明の入力支援装置は、検出部を介して、利用者の所定の部位についての空間座標を連続的に取得する空間座標取得手段と、上記空間座標取得手段により更新される上記空間座標に基づいて、上記表示部の表示画面の対応する位置に、マーカーを移動させる表示制御を行う表示制御手段と、を備えた入力支援装置において、上記マーカーの初期形状は、任意の形状を分割した複数の形状であって、上記表示制御手段は、上記空間座標の座標系における所定の面に対して、上記空間座標の距離が大きいほど、上記表示画面の対応する位置から上記複数の形状を互いに離隔させ、当該距離が小さいほど、上記表示画面の対応する位置に上記複数の形状を互いに接近させることを特徴とする。

また、本発明の入力支援装置は、上記記載の入力支援装置において、更に、更新される上記空間座標が上記所定の面を通過した状態で、押下状態と判定する押下判定手段、を更に備え、上記表示制御手段は、更新される上記空間座標が上記所定の面を通過した状態で、上記複数の形状を互いに結合させた、分割前の上記形状を上記マーカーとして表示することを特徴とする。

また、本発明の入力支援装置は、上記記載の入力支援装置において、上記表示制御手段は、上記空間座標取得手段により更新される上記空間座標に基づいて、上記表示画面の対応する位置に、カーソルを更に表示させ、上記押下判定手段は、更新される上記空間座標が上記所定の面を通過した状態で、上記カーソルの位置を対象として上記押下状態と判定することを特徴とする。

また、本発明の入力支援装置は、上記記載の入力支援装置において、上記マーカーの分割前の上記形状は、円環、ドーナツ形状、その他、結合時の形状を容易に想像できる形状、または、上記表示部の表示画面の対応する位置を覆うことのない形状でも実現できることを特徴とする。

また、本発明の入力支援装置は、上記記載の入力支援装置において、上記所定の面は、上記表示画面から数センチメートル程度手前側に設定されており、上記利用者の所定の部位は、指、手、ないしは、掌であって、上記表示制御手段は、上記マーカーを上記所定の部位よりも大きく表示、または、上記マーカーの上記初期形状における離隔範囲を上記所定の部位よりも大きく表示させることを特徴とする。

また、本発明の入力支援装置は、上記記載の入力支援装置において、上記所定の面に対する上記空間座標の距離は、上記所定の面に対して利用者が位置する側における上記空間座標の距離であることを特徴とする。

また、本発明の入力支援装置は、上記記載の入力支援装置において、上記空間座標は、上記表示画面に平行な上記所定の面における２次元座標、および、上記所定の面に垂直な奥行き座標、からなる３次元座標であって、上記表示制御手段は、上記空間座標取得手段により更新される上記２次元座標の、上記表示画面に対応する位置に上記マーカーの中心を移動させるとともに、上記空間座標取得手段により更新される上記奥行き座標が上記所定の面に対して０に近づけば近づくほど、上記中心から離隔させた上記複数の形状を互いに接近させて一つの連続した形状として表示させることを特徴とする。

また、本発明の入力支援方法は、コンピュータにおいて実行される入力支援方法であって、検出部を介して、利用者の所定の部位についての空間座標を連続的に取得する空間座標取得ステップと、上記空間座標取得ステップにて更新される上記空間座標に基づいて、上記表示部の表示画面の対応する位置に、マーカーを移動させる表示制御を行う表示制御ステップと、を含み、上記マーカーの初期形状は、任意の形状を分割した複数の形状であって、上記表示制御ステップは、上記空間座標の座標系における所定の面に対して、上記空間座標の距離が大きいほど、上記表示画面の対応する位置から上記複数の形状を互いに離隔させ、当該距離が小さいほど、上記表示画面の対応する位置に上記複数の形状を互いに接近させることを特徴とする。

また、本発明のプログラムは、コンピュータに実行させるためのプログラムであって、検出部を介して、利用者の所定の部位についての空間座標を連続的に取得する空間座標取得ステップと、上記空間座標取得ステップにて更新される上記空間座標に基づいて、上記表示部の表示画面の対応する位置に、マーカーを移動させる表示制御を行う表示制御ステップと、を実行させるためのプログラムにおいて、上記マーカーの初期形状は、任意の形状を分割した複数の形状であって、上記表示制御ステップは、上記空間座標の座標系における所定の面に対して、上記空間座標の距離が大きいほど、上記表示画面の対応する位置から上記複数の形状を互いに離隔させ、当該距離が小さいほど、上記表示画面の対応する位置に上記複数の形状を互いに接近させることを特徴とする。

また、本発明は記録媒体に関するものであり、上記記載のプログラムを記録したことを特徴とする。

この記録媒体によれば、当該記録媒体に記録されたプログラムをコンピュータに読み取らせて実行させることによって、上記記載された方法を、コンピュータを利用して実現することができ、これら各方法と同様の効果を得ることができる。

この発明によれば、検出部を介して、利用者の所定の部位についての空間座標を連続的に取得し、更新される空間座標に基づいて、表示部の表示画面の対応する位置に、マーカーを移動させる表示制御を行う場合において、マーカーの初期形状は、任意の形状を分割した複数の形状であって、空間座標の座標系における所定の面に対して、空間座標の距離が大きいほど、表示画面の対応する位置から複数の形状を互いに離隔させ、当該距離が小さいほど、表示画面の対応する位置に複数の形状を互いに接近させる。これにより、コントローラを用いずに非接触操作を行う場合に、利用者へのフィードバックを適切に行うことができるという効果を奏する。

また、本発明によれば、更新される空間座標が所定の面を通過した状態で、押下状態と判定し、更新される空間座標が所定の面を通過した状態で、複数の形状を互いに結合させた、分割前の形状をマーカーとして表示するので、利用者が、クリックやドラッグやピンチアウト／ピンチインやスワイプやフリック等の各種操作を行うにあたって、押下状態を認識しやすいように視認性を向上させることができるという効果を奏する。

また、本発明によれば、更新される空間座標に基づいて、表示画面の対応する位置に、カーソルを更に表示させ、更新される空間座標が所定の面を通過した状態で、カーソルの位置を対象として押下状態と判定するので、利用者が、数メートル程度ディスプレイから離れた位置で操作する場合や、ＧＵＩボタン等の操作対象物が細かい場合等であっても、マーカーの中心付近に十字線等のカーソルを入れる等により、押下対象が認識し易いように視認性を向上させることができる。

また、本発明によれば、マーカーの分割前の形状は、円環、ドーナツ形状、その他、表示部の表示画面の対応する位置を覆うことのない形状でも実現できるので、利用者が、押下しようとする押下対象が隠れることなく、操作性を向上させることができるという効果を奏する。

また、本発明によれば、所定の面は、表示画面から数センチメートル程度手前側に設定されており、利用者の所定の部位は、指、手、ないしは、掌であって、マーカーを所定の部位よりも大きく表示、または、マーカーの初期形状における離隔範囲を所定の部位よりも大きく表示させるので、ディスプレイに数センチメートル程度に近づいて操作する場合等においても、利用者は、自身の指や手等で操作対象物を隠すことがなく、操作性を向上させることができるという効果を奏する。

また、本発明によれば、所定の面に対する空間座標の距離は、所定の面に対して利用者が位置する側における空間座標の距離であるので、利用者側から所定の面に近づくほど、表示画面の対応する位置に複数の形状を互いに接近させ、所定の面を超えた場合に、クリック等の選択状態と判定することができるという効果を奏する。

また、本発明によれば、空間座標は、表示画面に平行な所定の面における２次元座標、および、所定の面に垂直な奥行き座標、からなる３次元座標であって、更新される２次元座標の、表示画面に対応する位置にマーカーの中心を移動させるとともに、更新される奥行き座標が所定の面に対して０に近づけば近づくほど、中心から離隔させた複数の形状を互いに接近させて一つの連続した形状として表示させる。これにより、素早く、直感的に、数センチメートルの近距離から数メートルの遠距離でも使用できる、好適な入力操作のフィードバックを提供することができる。

図１は、従来例であるホバーボタン即時押下方式の一例を示す図である。 図２は、従来例であるホバーボタン一定時間経過後押下方式の一例を示す図である。 図３は、従来例であるプッシュボタンカーソル着色方式の一例を示す図である。 図４は、本実施の形態が適用される入力支援装置１００の構成の一例を示すブロック図である。 図５は、本実施の形態を、数ｃｍ程度の近距離の非接触操作に適用する場合の、表示部１１４のディスプレイ、空中擬似タッチパネル、および、利用者の位置関係を示した図である。 図６は、本実施の形態を、数メートル程度の遠距離非接触操作に適用する場合の、表示部１１４のディスプレイ、空中擬似タッチパネル、および、利用者の位置関係を示した図である。 図７は、本実施の形態を、ヘッドマウントディスプレイにおける非接触操作に適用する場合の、表示部１１４のディスプレイ、空中擬似タッチパネル、および、利用者の位置関係を示した図である。 図８は、本実施の形態における入力支援装置１００の入力支援処理の一例を示すフローチャートである。 図９は、本実施の形態によるプッシュボタンマーカー方式を模式的に示した図である。 図１０は、本実施の形態のフリックマーカー方式を模式的に示した図である。 図１１は、本実施の形態のピンチマーカー方式を模式的に示した図である。

以下に、本発明にかかる入力支援装置、入力支援方法、および、プログラム、並びに、記録媒体の実施の形態を、図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

［本実施の形態の概要］
以下、本発明にかかる本実施の形態の概要について従来方式と比較しながら説明し、その後、本実施の形態の構成および処理等について詳細に説明する。なお、本概要の説明によって、以降で説明する本実施の形態の構成および処理が限定されるものではない。

従来、Ｋｉｎｅｃｔ（Ｒ）センサ（マイクロソフト社製）やＬｅａｐセンサ（Ｌｅａｐ Ｍｏｔｉｏｎ社製）等の検出手段を用いて、リモートコントローラを用いずに、手や指で非接触にコンピュータ等を遠隔操作可能となる技術開発と商品開発が進んでいる。

これらの検出手段を用いれば、利用者の手や指の３次元空間座標を読取ることができるため、利用者の手や指をポインティングデバイスの代替として用いたユーザインターフェースを実現しようとする試みがある。ここで、従来の非接触でのボタン押下方式の例について、図１〜図３を参照して以下に説明する。ここで、図１は、従来例であるホバーボタン即時押下方式の一例を示す図である。図中の矩形は、表示画面であり、表示画面中には押下対象の一例としてボタンが表示されており、矢印の左側は遷移前、矢印の右側は遷移後を示している（以下も同様）。

図１に示すように、従来のホバーボタン即時押下方式では、利用者が押下したい対象の上に指（または指に連動するカーソル）を移動させる（ホバーさせる）と、即座にボタンが押下される方式である（ＭＡ−１〜２）。ホバーボタン即時押下方式の特徴として、押下するまでの待ち時間がないというメリットがあるものの、誤操作する可能性が高いので誤操作すると危険な操作には向いておらず、画面にカーソルを表示しないと押下対象が分かり難いというデメリットを有していた。ここで、図２は、従来例であるホバーボタン一定時間経過後押下方式の一例を示す図である。

図２に示すように、従来のホバーボタン一定時間経過後押下方式では、利用者が押下したい対象の上に指（または指に連動するカーソル）を移動させる（ホバーさせる）と（ＭＢ−１）、指（または指に連動するカーソル）を中心に一定時間をかけて、この例では時計回りに円が描かれ（ＭＢ−２）、一定時間が経過すると対象が押下される方式である（ＭＢ−３）。ホバーボタン一定時間経過後押下方式の特徴として、一定時間は押下されないため押下決定までに利用者が誤りに気付く可能性があり誤操作を抑止できるというメリットがあるものの、押下動作を行うために一定時間が必要であるというデメリットを有していた。ここで、図３は、従来例であるプッシュボタンカーソル着色方式の一例を示す図である。

図３に示すように、従来のプッシュボタンカーソル着色方式では、押下対象と指との距離が離れている場合は、カーソルが白く表示され（ＭＣ−１）、利用者が指を押下対象に接近させると、その距離に応じてカーソルの色が変化し（ＭＣ−２〜ＭＣ−４）、指が一定距離以内に達すると対象が押下される方式である（ＭＣ−５）。プッシュボタンカーソル着色方式の特徴として、対象を即座に押下でき、対象を押下するまでに利用者へのフィードバックがあるため誤操作を抑止できるというメリットがあるものの、数センチメートルの距離で使用した場合など、利用者の目とカーソルとの間に、利用者の手や指が位置するとカーソルが見え難くなるというデメリットを有していた。

本願発明者らは、上記の問題点等に鑑み、鋭意検討を行った結果、本願発明を完成させるに至った。本願発明の実施の形態は、次の特徴を有する。

すなわち、本実施の形態は、検出部を介して、利用者の所定の部位（手や指や掌や足等）についての空間座標を連続的に取得する。一例として、空間座標は、表示画面に平行な所定の面における２次元座標（ｘ座標，ｙ座標）、および、所定の面に垂直な奥行き座標（ｚ座標）、からなる３次元座標（ｘ，ｙ，ｚ）であってもよい。

そして、本実施の形態は、更新される空間座標に基づいて、表示部の表示画面の対応する位置に、マーカーを移動させる表示制御を行う。好適には、本実施形態は、マーカーを所定の部位よりも大きく表示させるか、または、マーカーの初期形状における離隔範囲を所定の部位よりも大きく表示させてもよい。なお、本実施の形態は、表示制御において、マーカーとは別に、更新される空間座標に基づいて、表示画面の対応する位置に、カーソルを更に表示させる制御を行ってもよい。

ここで、マーカーの初期形状は、任意の形状（例えば円環やドーナツ形状等）を分割した複数の形状である。本実施の形態は、上述の表示制御において、空間座標の座標系における所定の面に対する空間座標の距離（利用者が位置する側における所定の面までの距離等）が大きいほど、表示画面の対応する位置から複数の形状を互いに離隔させ、一方、当該距離が小さいほど、表示画面の対応する位置に複数の形状を互いに接近させる表示制御を行う。

なお、所定の面は、表示画面に対応した形状（例えば、矩形形状）の、表示画面に平行な面であってもよい。本実施の形態において、空間座標系における仮想のタッチパネル（以下、「空中擬似タッチパネル」と呼ぶ場合がある。）としての役割を果たす。すなわち、利用者は、あたかも空中にタッチパネルがあるかのように操作する場合に、本実施の形態は、視覚的フィードバックを改善する好適な入力支援を行う。

つづいて、本実施の形態は、更新される空間座標が所定の面を通過した状態で（利用者が位置する側から所定の面の反対側に移動した場合など）、押下状態と判定してもよい。押下対象は、マーカーの中心に位置する対象でもよく、カーソルが位置する対象であってもよい。

以上のように、本実施の形態によれば、押下対象を即座に押下できる上、対象を押下するまでに利用者へ適切なフィードバックがあるため誤操作を抑止できるというメリットがある。また、数センチメートルの距離で使用しても、指等の周りにマーカーが表示されるため、マーカーが見えずに操作できない可能性が低いというメリットがある。したがって、従来例における問題点を克服して、大幅な操作性の向上に寄与することができる。

以上で、本発明の本実施の形態の概要の説明を終える。つづいて、以下に、本実施の形態の構成および処理等について詳細を説明する。

［入力支援装置１００の構成］
まず、本実施の形態にかかる入力支援装置１００の構成について説明する。図４は、本実施の形態が適用される入力支援装置１００の構成の一例を示すブロック図であり、該構成のうち本実施の形態に関係する部分のみを概念的に示している。

図４において入力支援装置１００は、概略的に、入力支援装置１００の全体を統括的に制御するＣＰＵ等の制御部１０２、通信回線等に接続されるルータ等の通信装置（図示せず）に接続される通信制御インターフェース部１０４、検出部１１２や表示部１１４等に接続される入出力制御インターフェース部１０８、および、各種のデータベースやテーブルなどを格納する記憶部１０６を備えて構成されており、これら各部は任意の通信路を介して通信可能に接続されている。

記憶部１０６に格納される各種のデータベースやテーブル（表示要素ファイル１０６ａ等）は、固定ディスク装置等のストレージ手段であり、各種処理に用いる各種のプログラムやテーブルやファイルやデータベースやウェブページ等を格納する。

これら記憶部１０６の各構成要素のうち、表示要素ファイル１０６ａは、表示画面の表示要素として表示可能なデータを記憶する要素データ記憶手段である。例えば、表示要素ファイル１０６ａは、アイコン等のＧＵＩボタンや、文字、記号、図形、立体オブジェクトなどのオブジェクトとなるデータを記憶してもよい。なお、これら表示要素となるデータのデータ形式は、画像データや、文字データ等に限られず、任意のデータ形式であってもよい。また、後述する制御部１０２の処理による、表示要素に対するアクション操作（クリックやドラッグやピンチアウト／ピンチインやスワイプやフリック等）の結果は、表示要素ファイル１０６ａ上のデータに反映されてもよい。

また、図４において、入出力制御インターフェース部１０８は、検出部１１２や表示部１１４の制御を行う。例えば、表示部１１４は、液晶パネルや有機ＥＬパネル等の表示手段である。なお、表示部１１４は、ヘッドマウントディスプレイであってもよく、３Ｄ表示ディスプレイであってもよい。ここで、入力支援装置１００は、図示しないスピーカ等の音声出力手段を備えてもよく、入出力制御インターフェース部１０８は、当該音声出力手段の制御を行ってもよい。以下の実施の形態においては、表示部１１４をモニタ（家庭用テレビ等を含む）として説明する場合があるが、本発明はこれに限定されるものではない。

また、検出部１１２は、利用者の任意の部位の３次元空間座標を取得するためのセンサ等である。なお、検出部１１２は、直接３次元座標を取得することに限られず、例えば、２次元画像を別角度から撮影する２台のカメラであってもよく、後述する空間座標取得部１０２ａの解析により、複数の２次元画像から３次元座標を解析してもよい。一例として、検出部１１２は、カメラ等の撮像手段であってもよく、例えば、検出部１１２は、ＣＭＯＳセンサやＣＣＤセンサ等の検出手段であってもよい。また、特許文献１に記載のように、検出部１１２は、赤外線の縞模様等の光パターンを利用者に向けて投射し、光パターンの縞セグメントのクラスタリングを行うことによって、掌等の所定の部位の領域判定や、掌の深度を検出してもよい。このほか、検出部１１２としては、超音波や電磁波式の距離測定器（奥行きの検出手段等）や、近接センサ等を用いることができる。また、検出部１１２は、奥行きの検出手段（深度センサ等）と撮像手段（ＲＧＢカメラ等）とを組み合わせてもよい。なお、検出部１１２としては、Ｋｉｎｅｃｔ（Ｒ）センサ（マイクロソフト社製）やＬｅａｐセンサ（Ｌｅａｐ Ｍｏｔｉｏｎ社製）等を用いてもよく、前者のように、センサに加えて、センサから検出された信号に基づいて三次元マップを算出する制御手段を備えてもよい。なお、この場合の制御手段は、後述する空間座標取得手段としての役割を果たす。また、検出部１１２は、撮像手段の代わりに人物の動きを検出する位置検出手段として、利用者が手に持ったり腕等に装着したりした光源等の空間座標を検出してもよい。

また、図４において、制御部１０２は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、各種の処理手順等を規定したプログラム、および所要データを格納するための内部メモリを有し、これらのプログラム等により、種々の処理を実行するための情報処理を行う。制御部１０２は、機能概念的に、空間座標取得部１０２ａ、表示制御部１０２ｂ、および、押下判定部１０２ｃを備えて構成されている。

このうち、空間座標取得部１０２ａは、検出部１１２を介して、利用者の所定の部位についての空間座標を連続的に取得する空間座標取得手段である。例えば、深度センサとＲＧＢカメラを備えた検出部１１２を介して、深度センサから奥行き座標（ｚ座標）を取得するとともに、ＲＧＢカメラから得られた２次元画像から、所定の部位（手や掌等）の領域を判定し、当該領域の中心座標（例えば、領域認識を行った手領域の重心座標）である平面座標（ｘ座標，ｙ座標）をそれぞれ取得してもよい。また、空間座標取得部１０２ａは、２台のカメラからなる検出部１１２から、それぞれ２枚の画像データを取得し、それぞれ比較解析を行うことにより、所定部位を含む利用者の各点の深さ位置等の三次元マップを生成し、所定の部位に対応する空間座標（ｘ，ｙ，ｚ）を取得してもよい。ここで、図５〜図７は、本実施の形態を、数ｃｍ程度の近距離の非接触操作、数メートル程度の遠距離非接触操作、ヘッドマウントディスプレイにおける非接触操作に適用する場合の、表示部１１４のディスプレイ、空中擬似タッチパネル、および、利用者の位置関係を示した図である。なお、座標系として、ｘ軸，ｙ軸，ｚ軸からなる直交座標系を図示している。

図５に示すように、本実施の形態を数ｃｍ程度の近距離の非接触操作に用いる場合、ディスプレイから数センチメートル程度の近傍の空中に、擬似的なタッチパネルが存在するように、座標空間において所定の面を設定してもよい。なお、近距離用途では、利用者の所定部位（指等）自体が、カーソルとしての役割を果たすので、カーソルを表示させなくともよい。ポインティングデバイスとして細かな操作を行うには、画面上にカーソルを表示する必要があるが、大まかな操作で良ければカーソル表示は不要である。

図６に示すように、本実施の形態を数メートル程度の遠距離非接触操作に用いる場合、ディスプレイから数メートルまたはそれ以上離れた位置の空中に、擬似的なタッチパネルが存在するように、座標空間において所定の面を設定してもよい。タッチパネルとは異なり、指等の所定部位をポインティングデバイスとして使用するには、表示制御部１０２ｂの制御により、画面上にカーソルを表示させることが望ましい。

図７に示すように、本実施の形態を、ＨＭＤ（ヘッドマウントディスプレイ）における非接触操作に適用する場合、画像の結像位置に空中擬似タッチパネルが存在するように、座標空間上に所定の面を設定してもよい。この場合、利用者によっては結像位置が前後し得るので、入力支援装置１００は、空中擬似タッチパネルの深度を微調整させるよう制御してもよい（３Ｄディスプレイの場合も同様）。なお、ＨＭＤと結像位置との間に障害物（利用者の手など）が入ると、結像された位置がずれ、障害物よりも手前にあるように感じる可能性があるため、空間座標取得部１０２ａは、検出部１１２を介して障害物の形状を読み取り、表示制御部１０２ｂは、結像位置にディスプレイ表示があった場合に障害物で隠れる部分の画像を表示しないように制御することにより、結像位置をずれにくくしてもよい。

なお、上記ならびに以下の実施の形態においては、説明の容易のため、空間座標取得部１０２ａから取得される３次元空間座標の座標系におけるｘｙ平面が、表示部１１４のディスプレイおよび空中擬似タッチパネルと平行な面であり、ｚ軸が、表示部１１４のディスプレイおよび空中擬似タッチパネルに対して垂直な軸として説明する場合があるが、本実施の形態は、これに限られない。例えば、空間座標取得部１０２ａにより取得される座標系は、ディスプレイまたは空中擬似タッチパネルと垂直または平行な軸をもたない座標系であってもよい。このような座標系を用いたとしても、ディスプレイと平行な所定の面（すなわち空中擬似タッチパネル）を座標空間に定義することは数学的に可能であるので当業者にとって実施可能である。また、本実施の形態においては、ディスプレイと空中擬似タッチパネルが平行であることを前提として説明することがあるが、必ずしも数学的な平行である必要はなく、利用者がディスプレイの上下左右の方向と指等の上下左右の動きを感覚的に対応付けられるならば、これらが平行である必要はない。また、所定の面（空中擬似タッチパネル）は、表示部１１４の表示画面（ディスプレイ）からの距離により設定してもよく、利用者からの距離により設定してもよい。後者の例として、表示制御部１０２ｂは、利用者の所定部位の初期位置から、所定の距離（深度）離れた位置に、所定の面を自動的に設定してもよい。

再び図４に戻り、表示制御部１０２ｂは、表示部１１４の表示制御を行う表示制御手段である。例えば、表示制御部１０２ｂは、表示要素ファイル１０６ａに記憶されたデータに基づいて、アイコン等のＧＵＩボタンを、表示部１１４のディスプレイに表示させてもよい。これに限られず、表示制御部１０２ｂは、インターネット等のネットワーク３００を介して、サーバ等の外部機器６００から、ウェブページ等のデータを取得し、取得したデータに従って、表示部１１４上にウェブページを表示する等の制御を行ってもよい。

本実施の形態において、表示制御部１０２ｂは、空間座標取得部１０２ａにより更新される空間座標に基づいて、表示部１１４の表示画面の対応する位置（以下、「マーカー中心位置」と呼ぶ場合がある。）に、マーカーを移動させる表示制御を行う。より具体的には、上述した直交座標系において、表示制御部１０２ｂは、空間座標取得部１０２ａにより更新される２次元座標（ｘ，ｙ）の、ディスプレイ上の対応するピクセル座標（ｘ´，ｙ´）にマーカーの中心を移動させてもよい。３次元空間座標系の２次元座標（ｘ，ｙ）から、スクリーン座標系のピクセル座標（ｘ´，ｙ´）への変換は、空中タッチパネルとディスプレイの関係に基づいて、公知の手法で計算することができる。

また、表示制御部１０２ｂは、空間座標取得部１０２ａにより更新される空間座標の、所定の面（空中擬似タッチパネル）に対する距離に応じて、マーカーの形状を変化させるフィードバック処理を行う。例えば、表示制御部１０２ｂは、空間座標取得部１０２ａにより更新される空間座標に基づいて、空中擬似タッチパネルまでの距離が大きいほど、表示画面の対応する位置（マーカーの中心位置）から、マーカー形状を分割した複数の形状を互いに離隔させ、一方、空中擬似タッチパネルまでの距離が小さいほど、マーカーの中心位置に複数の形状を互いに接近させる。より具体的には、上述した直交座標系において、表示制御部１０２ｂは、空間座標取得部１０２ａにより更新される奥行きｚ座標に基づいて、所定の面に対して距離０に近づけば近づくほど、中心位置（ｘ´，ｙ´）から離隔させた複数の形状を互いに接近させて一つの連続した形状として表示させる。そして、表示制御部１０２ｂは、更新される空間座標が空中擬似タッチパネルを通過した状態で、複数の形状を互いに結合させた、分割前の形状でマーカーを表示させる。なお、その際、同時に、後述する押下判定部１０２ｃは、押下状態と判定する。

ここで、マーカーの分割前の形状は、円環、ドーナツ形状、その他、結合時の形状を容易に想像できる形状（例えば、円形、三角形、四角形、六角形、星型）や、表示部１１４のディスプレイの対応する位置（中心位置）を覆うことのない形状（例えば、円形、三角形、四角形、六角形、星型などの周囲（外郭）を表示したもの）であってもよい。また、利用者の視認上、表示制御部１０２ｂは、マーカーを所定の部位よりも大きく表示するか、マーカーの初期形状における離隔範囲を所定の部位よりも大きく表示させることが望ましい。

ここで、表示制御部１０２ｂは、空間座標取得部１０２ａにより更新される空間座標に基づいて、表示画面の対応する中心位置に、カーソルを更に表示させてもよい。より具体的には、上述した直交座標系において、表示制御部１０２ｂは、空間座標取得部１０２ａにより更新される２次元座標（ｘ，ｙ）の、ディスプレイ上の対応するピクセル座標（ｘ´，ｙ´）に、カーソルを移動させながら表示してもよい。このように、押下対象物が細かな場合等において、マーカーの中心に十字線等でカーソルを入れることにより、押下される対象を利用者に判別しやすく表示することができる。

また、押下判定部１０２ｃは、更新される空間座標が所定の面を通過した状態で、押下状態と判定する押下判定手段である。例えば、押下判定部１０２ｃは、更新される空間座標の軌跡が、利用者の側から所定の面に到達した場合に、押下状態と判定してもよい。押下状態としては、クリック操作におけるボタン押下に限られず、ドラッグやピンチアウト／ピンチインやスワイプやフリック等の各種操作における押下状態をも含む。なお、押下判定部１０２ｃは、マーカーの中心位置（ｘ´，ｙ´）またはカーソルの位置（ｘ´，ｙ´）を押下対象として判定してもよい。

また、図４において、通信制御インターフェース部１０４は、入力支援装置１００とネットワーク３００（またはルータ等の通信装置）との間における通信制御や、入力支援装置１００と図示しない受信装置との間における通信制御を行う装置である。すなわち、通信制御インターフェース部１０４は、他の端末または局と、通信回線（有線、無線を問わない）を介してデータを通信する機能を有する。また、ここで、受信装置は、放送局等から電波等を受信する受信手段であり、例えばアンテナ等である。

すなわち、入力支援装置１００は、画像データに関する外部データベースや本発明にかかるプログラム等の外部プログラム等を提供する外部機器６００と、ネットワーク３００を介して通信可能に接続して構成されていてもよく、また、入力支援装置１００は、画像データ等を発信する放送局等と、受信装置を介して受信可能に接続して構成されていてもよい。また、この入力支援装置１００は、ルータ等の通信装置および専用線等の有線または無線の通信回線を介して、ネットワーク３００に通信可能に接続されていてもよい。

ここで、図４において、ネットワーク３００は、入力支援装置１００と外部機器６００とを相互に接続する機能を有し、例えば、インターネット等である。

また、図４において、外部機器６００は、ネットワーク３００を介して、入力支援装置１００と相互に接続され、利用者に対して画像データに関する外部データベースやプログラム等の外部プログラム等を実行するウェブサイトを提供する機能を有する。

ここで、外部機器６００は、ＷＥＢサーバやＡＳＰサーバ等として構成していてもよく、そのハードウェア構成は、一般に市販されるワークステーション、パーソナルコンピュータ等の情報処理装置およびその付属装置により構成していてもよい。また、外部機器６００の各機能は、外部機器６００のハードウェア構成中のＣＰＵ、ディスク装置、メモリ装置、入力装置、出力装置、通信制御装置等およびそれらを制御するプログラム等により実現される。

［入力支援処理］
次に、このように構成された本実施の形態における入力支援装置１００の入力支援処理の一例について、以下に図８〜図１１を参照して詳細に説明する。図８は、本実施の形態における入力支援装置１００の入力支援処理の一例を示すフローチャートである。なお、以下の処理を始めるにあたって、表示部１１４には、表示制御部１０２ｂの制御により、何らかの表示要素が表示されていることを前提とする。

図８に示すように、まず、空間座標取得部１０２ａは、検出部１１２を介して、利用者の所定の部位についての空間座標を取得する（ステップＳＡ−１）。例えば、深度センサとＲＧＢカメラを備えた検出部１１２を介して、深度センサから奥行き座標（ｚ座標）を取得するとともに、ＲＧＢカメラから得られた２次元画像から、所定の部位（手や掌等）の領域を判定し、当該領域の中心座標（例えば、領域認識を行った手領域の重心座標）である平面座標（ｘ座標，ｙ座標）を取得することにより、３次元空間座標（ｘ，ｙ，ｚ）を取得してもよい。

そして、表示制御部１０２ｂは、空間座標取得部１０２ａにより取得された空間座標（ｘ，ｙ，ｚ）に基づいて、表示部１１４のディスプレイ上の対応する位置（ｘ´，ｙ´）に、マーカーの中心を移動させるとともに、深度に応じてマーカーの形状を変化させるフィードバック処理を行う（ステップＳＡ−２）。例えば、上述した直交座標系において、表示制御部１０２ｂは、空間座標（ｘ，ｙ，ｚ）のｚ座標に応じて、空中擬似タッチパネルまでの距離が大きいほど、マーカー中心位置（ｘ´，ｙ´）から、マーカー形状を分割した複数の形状を広く引き離して表示させ、一方、空中擬似タッチパネルまでの距離が小さいほど、マーカー中心位置（ｘ´，ｙ´）に複数の形状を互いに集合させて表示させる。更に、表示制御部１０２ｂは、空中擬似タッチパネルまでの距離が０になった場合に、分割前の形状でマーカーを表示させるとともに、同時に、押下判定部１０２ｃは、押下状態を判定する。なお、押下判定部１０２ｃは、マーカー中心位置（ｘ´，ｙ´）を押下対象とする。ここで、図９は、本実施の形態によるプッシュボタンマーカー方式を模式的に示した図である。

図９の＜ＭＤ−１＞に示すように、表示制御部１０２ｂは、空中擬似タッチパネルと指との距離が離れていると、マーカー同士の距離を広い状態で分離して表示する。ここで、利用者が、指を押下対象に接近させると、接近させた距離に応じて、表示制御部１０２ｂは、マーカー同士を接近させる（ＭＤ−２）。そして、指が一定距離以内に達し表示制御部１０２ｂによりマーカーが円状につながると、押下判定部１０２ｃは、押下対象を押下する判定を行う（ＭＤ−３）。なお、表示制御部１０２ｂは、マーカー中心位置（ｘ´，ｙ´）に十字線等でカーソルを更に表示させてもよい。

再び図８に戻り、入力支援装置１００の制御部１０２は、入力支援処理を終了するか否かを判定する（ステップＳＡ−３）。入力支援処理を終了しないと判定された場合（ステップＳＡ−３，Ｎｏ）、入力支援装置１００の制御部１０２は、ステップＳＡ−１に処理を戻し、空間座標取得部１０２ａは空間座標（ｘ，ｙ，ｚ）を更新して（ステップＳＡ−１）、上述したステップＳＡ−１〜ＳＡ−３の処理を繰返す。一方、例えば、入力支援処理の終了を利用者により指示された場合に、入力支援装置１００は、入力支援処理を終了すると判定して（ステップＳＡ−３，Ｙｅｓ）、以上の処理を終了する。

以上が、入力支援処理の一例である。なお、図９の例では、クリック操作におけるボタン押下の例を示したが、これに限られず、ドラッグやピンチアウト／ピンチインやスワイプやフリック等の各種操作（ジェスチャー入力等）における押下判定に用いることができる。ここで、図１０は、本実施の形態のフリックマーカー方式を模式的に示した図である。

図１０の＜ＭＥ−１＞に示すように、表示制御部１０２ｂは、空中擬似タッチパネルと指との距離が離れていると、マーカー同士の距離を広い状態で分離して表示する。利用者が指を押下対象に接近させると、接近させた距離に応じて、表示制御部１０２ｂは、マーカー同士を接近させる（ＭＥ−２）。そして、指が一定距離以内に達し、表示制御部１０２ｂによりマーカーが円状につながると（ＭＥ−３）、押下判定部１０２ｃは、押下対象を押下状態と判定する。その状態で、利用者がフリックしたい方向に指を動かす、すなわち、マーカーが円状になってから指を操作したい方向に動かすと（ＭＥ−４）、入力支援装置１００の制御部１０２は、フリック操作を受け付ける。

このフリックマーカー方式の特徴として、フリックを受け付ける距離が明確に分かるようになることや、誤操作を最低限に抑えられる等のメリットが挙げられる。また、数ｃｍの距離で使用しても、指の周りにマーカーが表示されるため、マーカーが見えずに操作できない可能性が低いというメリットもある。他のジェスチャー入力の例として、図１１は、本実施の形態のピンチマーカー方式を模式的に示した図である。

図１１の＜ＭＦ−１＞に示すように、空間座標取得部１０２ａは、利用者の所定の２箇所の部位の空間座標を認識することも可能であり、表示制御部１０２ｂは、空中擬似タッチパネルと指との距離に応じて、２つのマーカー同士の距離を広い状態で表示する。利用者が指を押下対象に接近させると、接近させた距離に応じて、表示制御部１０２ｂは、マーカー同士を接近させる（ＭＦ−２）。そして、指が一定距離以内に達し、表示制御部１０２ｂにより２つのマーカーとも円状につながると（ＭＦ−３）、押下判定部１０２ｃは、押下対象をいずれも押下状態と判定する。その状態で、利用者が二本の指を動かすと（ＭＦ−３〜４）、入力支援装置１００の制御部１０２は、ピンチイン／ピンチアウトのジェスチャー入力を受け付ける（ＭＦ−４）。

このピンチマーカー方式の特徴として、フリックを受け付ける距離が明確に分かるようになり、誤操作を最低限に抑えられ、数ｃｍの距離で使用しても、指の周りにマーカーが表示されるため、マーカーが見えずに操作できない可能性が低いというメリットがある。また、どこまで対象から離せばジェスチャー入力が終るのかを把握しやすく、入力時の手の移動量を最低限に減らすことができるというメリットもある。

従来、非接触でジェスチャーを認識させる場合には、どこがジェスチャーを認識する箇所なのか、どの距離までジェスチャーを認識出来るのかが利用者が把握しにくい等の複数の問題点があった。本実施の形態の各マーカー方式によるジェスチャー入力では、マーカーが存在することにより、ジェスチャーの認識が始まっているのか否かを使用者が認識しやすく、非接触でもマルチタッチ等のジェスチャーを容易に使用できるという顕著な効果がある。

［他の実施の形態］
さて、これまで本発明の実施の形態について説明したが、本発明は、上述した実施の形態以外にも、特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施の形態にて実施されてよいものである。

特に、本実施の形態によるマーカー方式と、従来方式のホバーボタン（一定時間後に押下）の方式は、どちらか一方のみしか採用できない訳ではなく、両者を組み合せて実現することも可能である。また、タップと、本実施の形態によるマーカー方式でのジェスチャーの併用などで、全体の使用感を高めることもできる。

また、入力支援装置１００がスタンドアローンの形態で処理を行う場合を一例に説明したが、入力支援装置１００は、クライアント端末（入力支援装置１００とは別筐体である）からの要求に応じて処理を行い、その処理結果を当該クライアント端末に返却するようにしてもよい。

また、実施の形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。

このほか、上記文献中や図面中で示した処理手順、制御手順、具体的名称、各処理の登録データや検索条件等のパラメータを含む情報、画面例、データベース構成については、特記する場合を除いて任意に変更することができる。

また、入力支援装置１００に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。

例えば、入力支援装置１００の各装置が備える処理機能、特に制御部１０２にて行われる各処理機能については、その全部または任意の一部を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および当該ＣＰＵにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアとして実現してもよい。尚、プログラムは、後述する、コンピュータに本発明に係る方法を実行させるためのプログラム化された命令を含む、一時的でないコンピュータ読み取り可能な記録媒体に記録されており、必要に応じて入力支援装置１００に機械的に読み取られる。すなわち、ＲＯＭまたはＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの記憶部１０６などには、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）と協働してＣＰＵに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、ＲＡＭにロードされることによって実行され、ＣＰＵと協働して制御部を構成する。

また、このコンピュータプログラムは、入力支援装置１００に対して任意のネットワーク３００を介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。

また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、ＵＳＢメモリ、ＳＤカード、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、および、Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃ等の任意の「可搬用の物理媒体」を含むものとする。

また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）に代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施の形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。

記憶部１０６に格納される各種のデータベース等（表示要素ファイル１０６ａ等）は、ＲＡＭ、ＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、および、光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラム、テーブル、データベース、および、ウェブページ用ファイル等を格納する。

また、入力支援装置１００は、既知のパーソナルコンピュータ、ワークステーション等の情報処理装置として構成してもよく、また、該情報処理装置に任意の周辺装置を接続して構成してもよい。また、入力支援装置１００は、該情報処理装置に本発明の方法を実現させるソフトウェア（プログラム、データ等を含む）を実装することにより実現してもよい。

更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。すなわち、上述した実施形態を任意に組み合わせて実施してもよく、実施形態を選択的に実施してもよい。

以上詳述に説明したように、本発明によれば、コントローラを用いず非接触操作を行う場合に、利用者へのフィードバックを適切に行うことができる、入力支援装置、入力支援方法、および、プログラム、並びに、記録媒体を提供することができる。

１００ 入力支援装置
１０２ 制御部
１０２ａ 空間座標取得部
１０２ｂ 表示制御部
１０２ｃ 押下判定部
１０４ 通信制御インターフェース部
１０６ 記憶部
１０６ａ 表示要素ファイル
１０８ 入出力制御インターフェース部
１１２ 検出部
１１４ 表示部
３００ ネットワーク
６００ 外部機器

Claims (9)

1. 検出部を介して、利用者の所定の部位についての空間座標を連続的に取得する空間座標取得手段と、
   上記空間座標取得手段により更新される上記空間座標に基づいて、表示部の表示画面の対応する位置に、マーカーを移動させる表示制御を行う表示制御手段と、
   を備えた入力支援装置において、
   上記マーカーの初期形状は、任意の形状を分割した複数の形状であって、
   上記表示制御手段は、
   上記空間座標の座標系における所定の面に対して、上記空間座標の距離が大きいほど、上記表示画面の対応する位置から上記複数の形状を互いに離隔させ、当該距離が小さいほど、上記表示画面の対応する位置に上記複数の形状を互いに接近させること
   を特徴とする入力支援装置。
2. 請求項１に記載の入力支援装置において、更に、
   更新される上記空間座標が上記所定の面を通過した状態で、押下状態と判定する押下判定手段、
   を更に備え、
   上記表示制御手段は、
   更新される上記空間座標が上記所定の面を通過した状態で、上記複数の形状を互いに結合させた、分割前の上記形状を上記マーカーとして表示すること
   を特徴とする入力支援装置。
3. 請求項２に記載の入力支援装置において、
   上記表示制御手段は、
   上記空間座標取得手段により更新される上記空間座標に基づいて、上記表示画面の対応する位置に、カーソルを更に表示させ、
   上記押下判定手段は、
   更新される上記空間座標が上記所定の面を通過した状態で、上記カーソルの位置を対象として上記押下状態と判定すること
   を特徴とする入力支援装置。
4. 請求項１乃至３に記載の入力支援装置において、
   上記マーカーの分割前の上記形状は、
   円環、ドーナツ形状、その他、結合時の形状を容易に想像できる形状であること
   を特徴とする入力支援装置。
5. 請求項１乃至４のいずれか一つに記載の入力支援装置において、
   上記所定の面は、上記表示画面から数センチメートル程度手前側に設定されており、
   上記利用者の所定の部位は、指、手、ないしは、掌であって、
   上記表示制御手段は、
   上記マーカーを上記所定の部位よりも大きく表示、または、上記マーカーの上記初期形状における離隔範囲を上記所定の部位よりも大きく表示させること
   を特徴とする入力支援装置。
6. 請求項１乃至５のいずれか一つに記載の入力支援装置において、
   上記所定の面に対する上記空間座標の距離は、
   上記所定の面に対して利用者が位置する側における上記空間座標の距離であること
   を特徴とする入力支援装置。
7. 請求項１乃至６のいずれか一つに記載の入力支援装置において、
   上記空間座標は、上記表示画面に平行な上記所定の面における２次元座標、および、上記所定の面に垂直な奥行き座標、からなる３次元座標であって、
   上記表示制御手段は、
   上記空間座標取得手段により更新される上記２次元座標の、上記表示画面に対応する位置に上記マーカーの中心を移動させるとともに、
   上記空間座標取得手段により更新される上記奥行き座標が上記所定の面に対して０に近づけば近づくほど、上記中心から離隔させた上記複数の形状を互いに接近させて一つの連続した形状として表示させること
   を特徴とする入力支援装置。
8. コンピュータにおいて実行される入力支援方法であって、
   検出部を介して、利用者の所定の部位についての空間座標を連続的に取得する空間座標取得ステップと、
   上記空間座標取得ステップにて更新される上記空間座標に基づいて、表示部の表示画面の対応する位置に、マーカーを移動させる表示制御を行う表示制御ステップと、
   を含み、
   上記マーカーの初期形状は、任意の形状を分割した複数の形状であって、
   上記表示制御ステップは、
   上記空間座標の座標系における所定の面に対して、上記空間座標の距離が大きいほど、上記表示画面の対応する位置から上記複数の形状を互いに離隔させ、当該距離が小さいほど、上記表示画面の対応する位置に上記複数の形状を互いに接近させること
   を特徴とする入力支援方法。
9. コンピュータに実行させるためのプログラムであって、
   検出部を介して、利用者の所定の部位についての空間座標を連続的に取得する空間座標取得ステップと、
   上記空間座標取得ステップにて更新される上記空間座標に基づいて、表示部の表示画面の対応する位置に、マーカーを移動させる表示制御を行う表示制御ステップと、
   を実行させるためのプログラムにおいて、
   上記マーカーの初期形状は、任意の形状を分割した複数の形状であって、
   上記表示制御ステップは、
   上記空間座標の座標系における所定の面に対して、上記空間座標の距離が大きいほど、上記表示画面の対応する位置から上記複数の形状を互いに離隔させ、当該距離が小さいほど、上記表示画面の対応する位置に上記複数の形状を互いに接近させること
   を特徴とするプログラム。

Images