JP5811597B2 - ポインティングシステム、ポインティングデバイス及びポインティング制御方法 - Google Patents

Description

本技術は、画面上に表示されるポインタを移動させるためのポインティングシステム、ポインティングデバイス及びポインティング制御方法に関する。

ディスプレイ上に二次元的に表示されるＧＵＩ（Graphical User Interface）を操作するための入力装置として、マウスが広く用いられている。近年においては、マウスに代表される平面操作型の入力装置に限られず、空間操作型の入力装置が多種提案されている。

例えば特許文献１には、第１の方向の加速度を検出する加速度検出部と、第１の方向と直交する第２の方向の軸回りの角速度を検出する角速度検出部と、上記加速度と角速度に基づき、筐体の第１の方向の速度値を算出する算出手段とを備えた空間操作型の入力装置が記載されている。これにより入力装置の動きに対して、画面上に表示されるポインタの自然な動きを実現でき、操作性の向上が図れるとしている。

ＷＯ２００９／０３５００５号公報

近年、ポインティングシステムには、操作性の更なる向上が求められている。例えば従来のポインティングシステムにおいては、ポインタの移動操作はユーザの視覚認識に依存するところが大きく、操作環境によってはユーザに過度な負担を強いることになる場合がある。このため、ユーザにとってより直感的な操作感が得られるような操作性の向上が求められている。

以上のような事情に鑑み、本技術の目的は、ユーザに直感的な操作感を提示することができるポインティングシステム、ポインティングデバイス及びポインティング制御方法を提供することにある。

本技術の一形態に係るポインティングシステムは、ポインティングデバイスと、制御装置とを具備する。
上記ポインティングデバイスは、筐体と、触覚提示部と、センサ部とを有する。上記触覚提示部は、上記筐体に触覚を提示することが可能に構成される。上記センサ部は、上記筐体に対する操作を検出し画面上のポインタの移動を制御するための操作信号を出力する。
上記制御装置は、領域設定部と、信号生成部とを有する。
上記領域設定部は、上記画面上のオブジェクトの表示領域内に属する第１の領域と、上記オブジェクトの表示領域外に属する第２の領域と、上記第１の領域と上記第２の領域との境界部に属する第３の領域とをそれぞれ設定する。
上記信号生成部は、上記操作信号に基づいて上記画面上のポインタの位置を算出し、上記ポインタが第１の領域に位置するときは上記触覚提示部を第１の駆動モードで駆動する第１の制御信号を生成する。上記信号生成部は、上記ポインタが上記第３の領域に位置するときは上記触覚提示部を上記第１の駆動モードとは異なる第２の駆動モードで駆動する第２の制御信号を生成する。

上記ポインティングシステムによれば、オブジェクトへのポインティング操作時に筐体を通じてユーザへ触覚フィードバックを提示するようにしているため、ユーザの視覚認識による依存度を低減し、より直感的なポインティング操作感を提供することができる。また、ポインタがオブジェクトの表示領域内と表示領域外との境界部に位置するとき、ポインタが表示領域内に位置するときとは異なる触覚を提示するようにしているため、オブジェクトへの適正なポインティング操作を誘導でき、操作感の向上を図ることができる。

触覚提示部によって提示される触覚は、触圧覚、振動覚、動き覚といった機械的刺激のほか、温熱的刺激、電気的刺激等が含まれる。一実施形態としての触覚提示部は、振動を発生させる単数又は複数の振動体で構成される。振動体としては、一軸方向に振動を発生させるボイスコイルモータ、回転する偏心錘の遠心力を利用して多軸方向に振動を発生させる振動モータ等が挙げられる。

第１の駆動モード及び第２の駆動モードは、触覚の強さ、周期、リズム、これらの組み合わせ等によって適宜設定される。第１の駆動モードと第２の駆動モードとの違いは、ユーザに触覚の違いを認識させることができる態様であれば特に制限されない。触覚提示部が振動体で構成される場合、振動の強さ（振幅）、振動周期（周波数）、振動方向等、ユーザが区別し得る態様で触覚の変更が可能である。

ポインティングデバイスの種類は特に限定されず、空間操作型の入力装置でもよいし、平面操作型の入力装置でもよい。平面操作型の入力装置には、典型的には、卓上で操作するマウスが挙げられる。また、タッチパネルやタッチパッド等のようなユーザの手指の移動を検出することでポインティング操作を可能とする各種入力装置も適用可能である。

画面上に表示されるオブジェクトとしては、例えばアイコンのような、プログラムや実行命令の内容を象徴的に表した図形、画像等が挙げられる。これ以外にも、オブジェクトには、画面に表示された二次元映像あるいは三次元映像が含まれる。この場合、上記領域設定部は、表示されるオブジェクトに応じて、第１〜第３の領域を二次元座標あるいは三次元座標として設定してもよい。

上記ポインティングデバイスが空間操作型の入力装置である場合、上記触覚提示部は、個別に駆動されることで任意の軸方向に振動を発生させることが可能な複数の振動体を含んでもよい。
これにより、ユーザによる筐体の移動操作に応じた種々の触覚を提示することができるとともに、ユーザのポインティング操作を補助する機能を提供することができる。

例えば一実施形態として、上記信号生成部は、上記筐体の操作により上記ポインタが上記オブジェクトに近づいていると判定したときは、上記筐体の移動方向に向けて上記触覚提示部を駆動する第３の制御信号を生成する。
一方、上記信号生成部は、上記筐体の操作により上記ポインタが上記オブジェクトから遠ざかっていると判定したときは、上記筐体の移動方向とは反対方向に向けて上記触覚提示部を駆動する第４の制御信号を生成する。
これにより、ポインタをオブジェクトへ導くような触覚提示を実現でき、操作感を向上させることができる。

本技術の一形態に係るポインティングデバイスは、筐体と、触覚提示部と、センサ部と、信号生成部とを具備する。
上記触覚提示部は、上記筐体に触覚を付与することが可能に構成される。
上記センサ部は、上記筐体の空間内における動きを検出し、画面上のポインタの移動を制御するための操作信号を出力する。
上記信号生成部は、上記ポインタが上記画面上のオブジェクトの表示領域内に位置するときは上記触覚提示部を第１の駆動モードで駆動する第１の制御信号を生成する。上記信号生成部は、上記ポインタが上記オブジェクトの周囲の所定領域に位置するときは上記触覚提示部を上記第１の駆動モードとは異なる第２の駆動モードで駆動する第２の制御信号を生成する。

本技術の一形態に係るポインティング制御方法は、画面上のオブジェクトの表示領域内に属する第１の領域と、上記オブジェクトの表示領域外に属する第２の領域と、上記第１の領域と上記第２の領域との境界部に属する第３の領域とをそれぞれ設定することを含む。
上記画面上のポインタを移動させるポインティングデバイスから出力される操作信号に基づいて、上記画面上のポインタの位置が算出される。
上記ポインタが第１の領域に位置するときは上記ポインティングデバイスは第１の駆動モードで触覚提示し、上記ポインタが上記第３の領域に位置するときは上記ポインティングデバイスは上記第１の駆動モードとは異なる第２の駆動モードで触覚提示する。

以上のように本技術によれば、直感的なポインティング操作感を提供することができる。

本技術の一実施形態に係るポインティングシステムを示すブロック図である。 本技術の一実施形態に係るポインティングデバイスの内部構成を示すブロック図である。 上記ポインティングデバイスに内蔵される触覚提示部の一構成例を示す概略平面図である。 上記ポインティングデバイスに内蔵される触覚提示部の一構成例を示す概略側面図である。 上記ポインティングシステムにおいて画面に表示される画像の一例を示す模式図である。 上記ポインティングシステムの一動作例を説明する図である。 上記ポインティングシステムの一動作例を説明する図である。 上記ポインティングシステムの一動作例を説明する図である。 上記ポインティングシステムの一制御例を説明するフローチャートである。 上記ポインティングシステムの一動作例を説明する図である。 本技術の他の実施形態に係るポインティングデバイスの内部構成を示すブロック図である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。

＜第１の実施形態＞
［ポインティングシステム］
図１は、本技術の一実施形態に係るポインティングシステムを示すブロック図である。本実施形態のポインティングシステム１００は、入力装置１（ポインティングデバイス）と、制御装置２と、表示装置３とを有する。

ポインティングシステム１００は、入力装置１から送信される操作信号を制御装置２で受信し、受信した操作信号に応じて、表示装置３の画面３１に表示される画像を制御するものである。表示装置３の画面３１は、図中Ｘ軸方向に水平方向、Ｙ軸方向に垂直方向、Ｚ軸方向に奥行き方向をそれぞれ有する。

表示装置３は、例えば液晶ディスプレイ、ＥＬ（Electro-Luminescence）ディスプレイ等が挙げられるが、これらに限られない。表示装置３は、テレビジョン放送等を受信できるディスプレイと一体となった装置でもよい。表示装置３は、画面３１上に３次元映像を表示することが可能な、例えば３Ｄテレビジョンで構成されてもよい。

以下、入力装置１及び制御装置２について説明する。

［入力装置］
入力装置１は、ユーザＵが把持できる大きさの筐体１０を有する。筐体１０は、例えば、ｙ軸方向に高さ方向、ｘ軸方向及びｚ軸方向に径方向を有する略円柱体であり、筐体１０の一方の表面には幾つかの操作キー等が配置されている。

本実施形態において、入力装置１は、主として、画面３１に表示されたポインタＰを移動させるための空間操作型のポインティングデバイスとして構成されている。入力装置１は、空間内でユーザＵが筐体１０をｘ軸方向に動かしたとき、ポインタＰをＸ軸方向に移動させる操作信号を生成し、それを制御装置２へ送信する。同様に、ユーザＵが筐体１０をｙ軸方向に動かしたとき、ポインタＰをＹ軸方向に移動させる操作信号を生成し、それを制御装置２へ送信する。さらに、ポインタＰが三次元映像上を移動できるように画面３１に表示されている場合には、ユーザＵが筐体１０をｚ軸方向に動かしたとき、ポインタＰをＺ軸方向に移動させる操作信号を生成し、それを制御装置２へ送信する。

図２は、入力装置１の内部構成を示すブロック図である。入力装置１は、筐体１０と、触覚提示部１１と、移動検出部１２（センサ部）と、キー入力部１３と、情報表示部１４と、制御部１５と、通信部１６と、電源部１７とを有する。

触覚提示部１１は、筐体１０に触覚を提示するアクチュエータを含む。すなわち触覚提示部１１は、当該アクチュエータを駆動することで、筐体１０を通じてユーザＵに触覚を提示する機能を有する。触覚提示部１１は、制御部１５から出力される駆動信号によって所定の駆動モードで駆動される。

図３及び図４は、触覚提示部１１の一構成例を示す概略平面図及び概略側面図である。触覚提示部１１は、個別に駆動されることで任意の軸方向に振動を発生させることが可能な複数の振動体を含む。本実施形態では、ｘ軸方向に相互に対向する第１の組の振動体１１１ａ，１１１ｂと、ｙ軸方向に相互に対向する第２の組の振動体１１１ｃ，１１１ｄと、ｚ軸方向に相互に対向する第３の組の振動体１１１ｅ，１１１ｆとを有する。各振動体は例えばボイスコイルモータで構成される。

図３及び図４に示される矢印の方向は、各振動体１１１ａ〜１１１ｆの主とする振動発生方向を表している。また矢印の太さは、振動の強さを相対的に表しており、矢印が太いほど強い振動を発生させる。すなわち本実施形態では、各組の振動体は相互に離間する方向へ強い振動をそれぞれ発生させることが可能なように配置されている。振動振幅等は、駆動電流の大きさ等を調整することによって任意に変化させることができる。

上記構成により、任意の振動体を駆動することで、各種の振動パターンで筐体１０を振動させることができる。例えば、任意の１つの振動体を駆動することで、ｘ，ｙ及びｚの各軸に沿った６方向へ所定の振動を発生させることができる。また、任意の複数の振動体を駆動し、各振動方向の合成ベクトルを生成することで、各軸と交差する任意の方向へ所定の振動を発生させることができる。さらに、各振動体の駆動力や駆動タイミングを制御することで、任意の軸回りへ所定の振動を発生させることができる。

移動検出部１２は、空間内で操作される筐体１０の動きを検出する慣性センサを含む。慣性センサとして、典型的には、加速度センサ、角速度センサが挙げられる。移動検出部１２は、ｘ、ｙ及びｚの各軸方向の筐体１０の動きを検出可能に構成されるが、その構成は特に限定されない。例えば、各軸方向に沿って加速度センサが配置されてもよいし、単数又は複数の角速度センサを組み合わせて構成されてもよい。その他、地磁気センサや圧力センサ等が併用されてもよい。

キー入力部１３は、筐体１０の表面の適宜の位置に配置された押圧式、スライド式、ジョイスティック式の各種スイッチを含む。キー入力部１３は、機械式のキースイッチに限られず、静電式、光学式のスイッチ又はセンサを含んでもよい。また、所定の場合に制御部１５からの信号によって任意のスイッチが点灯可能に構成されてもよい。

情報表示部１４は、筐体１０の表面に適宜の大きさで組み込まれたディスプレイで構成される。情報表示部１４は、制御部１５の出力に基づいて、ポインティングシステム１００あるいは入力装置１の動作状態や電池残量等の各種情報を表示する。

制御部１５は、ＲＯＭ、ＲＡＭ、ＣＰＵ（ＭＰＵ）を含むコンピュータで構成され、入力装置１の各部へ電源を供給するとともに入力装置１の動作を制御する。制御部１５は、移動検出部１２及びキー入力部１３の出力に基づいて操作信号Ｓ１を生成し、通信部１６を介して操作信号Ｓ１を制御装置２へ送信する。移動検出部１２の出力には、筐体１０の移動方向や移動速度等、筐体１０の動きに関する情報が含まれる。キー入力部１３の出力には、クリック操作、テンキー操作等の各種操作のほか、入力装置１の動作設定や表示装置３の表示設定等の各種設定操作に関する情報が含まれる。

制御部１５は、触覚提示部１１へ所定の駆動信号Ｓ２を出力する。本実施形態では、通信部１６を介して受信した制御装置２からの制御信号Ｓ３に基づいて、駆動信号Ｓ２を生成する。駆動信号Ｓ２には、振動の発生方向、強さ、振動周期等の情報を含む振動パターンが含まれる。制御部１５は、制御信号Ｓ３の内容に応じた各種の振動パターンに対応する駆動信号Ｓ２を生成する。

通信部１６は、制御装置２の通信部２８との間で双方向の通信を可能とする無線通信モジュールで構成されるが、有線通信でもよい。通信方式は特に制限されず、「ZigBee」（登録商標）、「Bluetooth」（登録商標）などの機器間通信でもよいし、インターネットを経由した通信でもよい。

電源部１７は、入力装置１の電源を構成し、筐体１０内部の各部へ必要な電力を供給する。電源部１７は、典型的にはバッテリで構成される。バッテリは一次電池でもよいし、二次電池でもよい。また電源部１７は、太陽電池で構成されてもよい。なお、有線やワイヤレス給電の場合、電源部１７は不要である。

［制御装置］
制御装置２は、図１に示すように、ビデオＲＡＭ２３と、表示制御部２４と、ＭＰＵ２５と、ＲＡＭ２６と、ＲＯＭ２７と、通信部２８とを有する。

通信部２８は、入力装置１から送信された操作信号Ｓ１を受信する。ＭＰＵ２５は、その操作信号を解析し、ＲＡＭ２６、及びＲＯＭ２７に格納された各種設定値及びプログラムを用いて各種の演算処理を行う。演算処理の一例として、ＭＰＵ２５は、入力装置１から送信された操作信号Ｓ１に基づいて、画面３１に表示されるポインタの位置（座標）を算出する。表示制御部２４は、ＭＰＵ２５の制御に応じて、主に、表示装置３の画面３１に表示するための画面データを生成する。画面データとしては、ポインタＰ、アイコン、当該アイコンの実行により表示される映像データ等が含まれる。ビデオＲＡＭ２３は、表示制御部２４の作業領域となり、生成された画面データを一時的に格納する。

制御装置２は、入力装置１に専用の機器であってもよいし、ＰＣ（パーソナルコンピュータ）等の一般的な情報処理装置であってもよい。また、制御装置２は、表示装置３と一体となったコンピュータであってもよい。制御装置２による制御対象機器は、オーディオ／ビジュアル機器、プロジェクタ、ゲーム機器、カーナビゲーション機器等であってもよい。

以下、制御装置２の詳細について説明する。

制御装置２は、領域設定部と、信号生成部とを有する。

図５は、画面３１に表示される画像Ｖの一例を示す模式図である。領域設定部は、画面３１上の画像Ｖ（オブジェクト）の表示領域内に属する第１の領域Ｃ１と、画像Ｖの表示領域外に属する第２の領域Ｃ２と、第１の領域Ｃ１と第２の領域Ｃ２との境界部に属する第３の領域Ｃ３とをそれぞれ設定する。領域設定部は、ＭＰＵ２５で構成されてもよいし、表示制御部２４で構成されてもよいし、これらの両方で構成されてもよい。

第１の領域Ｃ１は画像Ｖの表示領域内、すなわち画面３１の全領域において画像Ｖが占める表示領域内に設定される。第１の領域Ｃ１と画像Ｖの表示領域とは必ずしも一致していなくてもよく、画像Ｖの表示領域内に第１の領域Ｃ１が設定されていればよい。図５は、実線で示される画像Ｖの外縁（実線）よりも内方側に第１の領域Ｃ１の外縁（破線）が設定された例を示している。

第３の領域Ｃ３は、第１の領域Ｃ１の外縁に隣接するように設定され、本実施形態では、画像Ｖの外縁を内包する環状の領域で構成される。この環状の領域における環の幅は適宜設定可能であり、画像Ｖの形状や大きさや種類、ポインタＰの位置の検出感度等に応じて適宜設定可能である。また、ユーザＵの操作によって、第３の領域Ｃ３の設定幅が変更可能に構成されてもよい。

画像Ｖは、典型的にはアイコンであるが、これ以外の二次元映像や三次元映像であってもよい。画像Ｖが三次元映像の場合、領域Ｃ１〜Ｃ３のうち少なくとも領域Ｃ１は、当該三次元映像に関連付けられた空間領域（空間座標系）で構成される。

信号生成部は、操作信号Ｓ１に基づいて画面３１上のポインタＰの位置を算出し、ポインタＰが第１の領域Ｃ１に位置するときは、触覚提示部１１を第１の駆動モードで駆動する第１の制御信号（Ｓ３１）を生成する。また上記信号生成部は、ポインタＰが第３の領域Ｃ３に位置するときは、触覚提示部１１を第１の駆動モードとは異なる第２の駆動モードで駆動する第２の制御信号（Ｓ３２）を生成する。信号生成部は、例えばＭＰＵ２５で構成される。ＭＰＵ２５は、生成した制御信号を通信部２８へ出力し、通信部２８は当該制御信号を入力装置１の通信部１６へ送信する。

第１の駆動モード及び第２の駆動モードは、触覚の強さ、周期、リズム、これらの組み合わせ等によって適宜設定される。第１の駆動モードと第２の駆動モードとの違いは、ユーザに触覚の違いを認識させることができる態様であれば特に制限されない。触覚提示部が振動体で構成される本実施形態においては、振動力、振動周期、振動方向等、ユーザが区別し得る態様で触覚の変更が可能である。

信号生成部としてのＭＰＵ２５は、さらに、ユーザＵによる筐体１０の操作によりポインタＰがアイコン（オブジェクト）に近づいていると判定したとき、筐体１０の移動方向に向けて触覚提示部１１を駆動する第３の制御信号（Ｓ３３）を出力するように構成される。一方、信号生成部としてのＭＰＵ２５は、ユーザＵによる筐体１０の操作によりポインタＰが上記アイコンから遠ざかっていると判定したとき、筐体１０の移動方向とは反対方向に向けて触覚提示部１１を駆動する第４の制御信号（Ｓ３４）を出力するように構成される。これにより、ポインタＰをアイコンへ導くような触覚提示を実現できるため、ユーザのポインティング操作を補助するような機能が得られ、操作感を向上させることができる。

さらに、信号生成部としてのＭＰＵ２５は、筐体１０の移動速度を算出し、算出されたポインタＰの移動速度に応じて触覚提示部１１の駆動力を変化させるように構成される。例えば、筐体１０の移動速度が大きいほど強い触覚を提示するように、触覚提示部１１を駆動してもよい。また、筐体１０の移動方向に関連させて触覚提示部１１の駆動方向を調整してもよい。このような処理は、ＭＰＵ２５に限られず、入力装置１の制御部１５が行ってもよい。

［ポインティングシステムの動作例］
次に、ポインティングシステム１００の幾つかの動作例を説明する。

（動作例１）
図６（Ａ）は、複数のアイコンＶ１〜Ｖ４が間隔をおいて配置された画面３１の表示例を示している。図示の例ではアイコンＶ１〜Ｖ４はそれぞれ同一の大きさの矩形状を有し、２行２列のレイアウトで画面３１上に表示されている。各アイコンＶ１〜Ｖ４は、ユーザＵによるポインタＰの移動操作によって選択され、入力装置１の筐体１０に配備された操作キーへの入力により実行されるＧＵＩである。

制御装置２は、アイコンＶ１〜Ｖ４の表示領域内、表示領域外、及び、アイコンＶ１〜Ｖ４の境界の所定領域内に、第１の領域Ｃ１、第２の領域Ｃ２及び第３の領域Ｃ３をそれぞれ設定する。これにより、相互に隣接するアイコンＶ１〜Ｖ４の間の領域は、第３の領域Ｃ３とされている。

画面３１上におけるポインタＰ１の移動は、ユーザＵによる入力装置１の空間内での移動操作によって制御される。すなわち、筐体１０の動きが入力装置１の移動検出部１２によって検出され、入力装置１の制御部１５によって筐体１０の動きに関する情報を含む操作信号Ｓ１が生成される。制御装置２は、入力装置１から送信される操作信号Ｓ１を受信し、当該操作信号Ｓ１に基づく所定の演算処理によってポインタＰ１の位置を算出する。そして制御装置２は、筐体１０の移動方向及び移動速度に対応する方向及び速度で、画面３１上のポインタＰ１の移動表示を制御する。

例えばユーザＵがアイコンＶ３を選択するために、ポインタＰ１を図６（Ａ）に鎖線で示す位置から実線で示すアイコンＶ３上の位置に向かって直線的に移動させる場合を考える。アイコンＶ３の周囲に設定された第３の領域Ｃ３にポインタＰ１が進入すると、制御装置２は第２の駆動モードで触覚提示部１１を駆動させるための制御信号Ｓ３（Ｓ３２）を生成し、入力装置１へ送信する。これにより入力装置１は、制御信号Ｓ３（Ｓ３２）に対応する駆動信号Ｓ２を生成し、第２の駆動モードによる触覚を触覚提示部１１にて発生させる。これによりユーザＵは、ポインタＰ１がアイコンＶ２に近づいたことを認識することができる。

次に、アイコンＶ３の表示領域内に設定された第１の領域Ｃ１にポインタＰ１が進入すると、制御装置２は第１の駆動モードで触覚提示部１１を駆動させるための制御信号Ｓ３（Ｓ３１）を生成し、入力装置１へ送信する。これにより入力装置１は、制御信号Ｓ３（Ｓ３１）に対応する駆動信号Ｓ２を生成し、第１の駆動モードによる触覚（例えば第２の駆動モードによる触覚よりも強い触覚）を触覚提示部１１にて発生させる。第１の駆動モードは第２の駆動モードとは異なる振動パターンで触覚提示部１１を駆動するため、ユーザＵは、ポインタＰ１がアイコンＶ３上に到達したことを確実に認識することができ、アイコンＶ２の実行操作を適正に行うことが可能となる。

このように本実施形態によれば、アイコンＶ３へのポインティング操作時に筐体１０を通じてユーザＵへ触覚フィードバックを提示するようにしているため、ユーザＵの視覚認識による依存度を低減し、より直感的なポインティング操作感を提供することができる。また、ポインタＰ１がアイコンＶ３の周囲の領域（第３の領域Ｃ３）に位置するとき、アイコンＶ３の表示領域内（第１の領域Ｃ１）に位置するときとは異なる触覚を提示するようにしているため、アイコンＶ３への適正なポインティング操作を誘導でき、操作感の向上を図ることができる。

一方、図６（Ｂ）に示すように、ポインタＰ１を図中鎖線で示すアイコンＶ３上の位置から実線で示すアイコンＶ２上の位置に向かって直線的に移動させる場合を考える。この場合、ポインタＰ１は第３の領域Ｃ３を横切ることになるため、ポインタＰ１がアイコンＶ３からアイコンＶ２へ移動させるときには、第２の駆動モードによる触覚がユーザＵへ再度提示された後、アイコンＶ２に到達したことを示す第１の駆動モードによる触覚がユーザＵへ提示される。これによりユーザＵは、ポインタＰ１が当初のアイコンＶ３から目標とするアイコンＶ２へ確実に到達したことを認識することができる。

以上のように本実施形態によれば、複数のアイコンが画面上に配列されている場合であっても、各アイコンをポインタが乗り越えるような感覚をユーザへ提示することができるため、ユーザの視覚と触覚とにより所望とするアイコンへポインタを適正に誘導することができる。また、視覚に頼ることなく触覚だけで、アイコン間の行き来を認識することができる。さらに、アイコンごとに第１の駆動モードによる触覚提示パターンを相互に異ならせてもよく、これにより触覚だけで複数のアイコンを個々に区別することが可能となる。

（動作例２）
図７及び図８は、ポインタＰ１でアイコンＶ５をポインティング操作するときの様子を示す画面の表示例であり、図７はポインタＰ１が比較的遅い速度で移動する様子を示し、図８はポインタＰ１が比較的速い速度で移動する様子を示している。また、各図において（Ａ）はポインタＰ１がアイコンＶ５に向かって移動する様子を示し、（Ｂ）はポインタＰ１がアイコンＶ５に到達したときの様子を示している。

ここで、図中の矢印は、ユーザＵへ提示される触覚の方向と強さを表し、矢印の軸が太いほど強い触覚を表す。またＰ０は、ポインタＰ１の残像群を示しており、移動速度が遅い場合は各像が重なるように表されており（図７）、移動速度が速い場合は各像が離間するように表されている（図８）。また、残像群を構成する各像のうち、淡い色のものほど過去のポインタＰ１の像を表している。

図７（Ａ）及び図８（Ａ）に示すように、ポインタＰ１がアイコンＶ５に向かって移動させる場合において、制御装置２は、筐体１０の移動方向に向けて触覚を発生させる制御信号（Ｓ３３）を生成し、入力装置１へ出力する。入力装置１は、当該制御信号を受信し、制御部１５は、筐体１０の操作方向に振動を発生させる駆動信号を触覚提示部１１へ出力する。図示の例では、触覚提示部１１の振動体１１１ｂ（図３，図４参照）を駆動することで、筐体１０の移動方向（−Ｘ方向）の触覚を、筐体１０を通じてユーザＵへ提示する。これにより、ポインタＰ１をアイコンＶ５へ導くような触覚提示が実現される。

そして図７（Ｂ）及び図８（Ｂ）に示すように、ポインタＰ１がアイコンＶ５に到達したとき、制御装置２は、筐体１０の移動方向とは反対方向に触覚を発生させる制御信号を生成し、入力装置１へ出力する。これを受けて、入力装置１の制御部１５は、筐体１０の操作方向とは反対方向に振動を発生させる駆動信号を触覚提示部１１へ出力する。図示の例では、触覚提示部１１の振動体１１１ａ（図３，図４参照）を駆動することで、筐体１０の移動方向とは反対方向（＋Ｘ方向）の触覚を、筐体１０を通じてユーザＵへ提示する。これにより、ポインタＰ１の移動の停止を促す情報をユーザＵへ提供することが可能となり、アイコンＶ５へのポインタＰ１の誘導効果をさらに一層高めることができる。

また、ポインタＰ１の移動速度に同期するように触覚の強さを制御することにより、ユーザＵに対してポインタＰ１の移動操作感を高めることができる。図７及び図８の例では、ポインタＰ１の移動速度が大きいほど弱い触角を提示するとともに、ポインタＰ１の移動速度が大きいほど、アイコンＶ５への到達時に提示される移動方向とは反対方向への触覚が大きくなるように設定されるが、勿論これに限られない。

さらに、ポインタＰ１がアイコンＶ５から離れる方向に移動した場合、筐体１０にその移動方向とは反対方向へ触覚を発生させるように制御されてもよい。これにより、ユーザＵにポインタＰ１をアイコンＶ５の表示位置へ戻すような触覚をユーザＵへ提示することができる。

以上のように、ポインタＰ１の移動速度に同期する触覚をユーザＵへ提示することにより、ポインタＰ１の操作感を高めることができる。また、ポインタＰ１とアイコンＶ５との相対位置に関連する触覚をユーザＵへ提示することにより、ポインティング操作が容易となり、ユーザＵへの負担軽減を図ることが可能となる。

図９は、以上の動作例に基づく制御装置２の処理手順を示す制御フローである。図示するフローは一例であり、仕様や設定に応じて適宜変更可能である。

図９において、Ｓ１０は、入力装置１の移動の有無（仮想オブジェクトとの相対位置の移動の有無）を判定するステップであり、Ｓ１１は、アイコン（情報）の有無を判定するステップである。Ｓ１２は、ポインタとアイコンとの位置関係を判定するステップであり、Ｓ１３及びＳ１４は、アイコンに対するポインタの移動方向を判定するステップである。Ｓ１５〜Ｓ１８は、ポインタの移動速度を判定するステップであり、Ｓ１９〜Ｓ２６は、提示される触覚の判定結果を実行するステップである。

Ｓ１０において、入力装置１が移動してなければ、入力装置１の移動を検知するまで状態が保持される。入力装置１の移動を検知したとき、Ｓ１１へ状態が遷移される。Ｓ１１において、制御装置２は、ポインタＰ１の近傍に触覚提示を必要とするアイコンＶ５が存在するか判定し、アイコンＶ５がなければＳ１０へ遷移し、アイコンＶ５が存在すればＳ１２へ遷移する。Ｓ１２において、制御装置２は、ポインタＰ１とアイコンＶ５との位置関係を判定する。この判定は、ポインタＰ１の位置と、アイコンＶ５の表示領域に対応する第１の領域Ｃ１とがそれぞれ参照される。

ポインタＰ１がアイコンＶ５の表示領域内に位置する場合には状態がＳ１３へ遷移し、アイコンＶ５の表示領域外（例えば近傍）に位置する場合には状態がＳ１４へ遷移する。Ｓ１３，Ｓ１４において、制御装置２は、アイコンＶ５に対するポインタＰ１の移動方向を判定し、ポインタＰ１がアイコンＶ５の内方へ向かっている場合には状態がＳ１５，Ｓ１７へ遷移し、アイコンＶ５の外方へ向かっている場合には状態がＳ１６，Ｓ１８へ遷移する。Ｓ１５〜Ｓ１８において、制御装置２は、ポインタＰ１の移動速度を判定し、所定値よりも遅い場合と速い場合とに分けて、予め設定された触覚の提示内容に対応する制御信号を生成する（Ｓ１９〜Ｓ２６）。

Ｓ１９〜Ｓ２６において、触覚の強度は、相対的な関係を示すものであり絶対的な値を規定するものではない。また本例では、移動速度の判定に「遅い」及び「速い」の２段階の評価を用いたが、これに限定されず、さらに多段階の評価が設定されてもよいし、段階的なものでなく連続的なものであってもよい。またこれらの判定結果はあくまでも一例であり、ユーザにどのような体感を与えるか等、要求される効果によって力の提示方向や強度は適宜変更可能である。

（動作例３）
図１０は、ポインティングシステム１００の他の動作例を説明する画面の表示例を示している。図１０において、画像Ｖ６は、犬や猫等の小動物を示す。図示せずとも、画像Ｖ６の表示領域内には、第１の領域Ｃ１が設定され、画像Ｖ６の周縁部には第３の領域Ｃ３が設定されている。

本例において制御装置２は、第３の領域Ｃ３に沿ってポインタＰ２を移動させたときに、例えば、動物の毛を撫でるような質感を呈する触覚を提示させる駆動モードで触覚提示部１１を駆動する制御信号を生成する。一方、ポインタＰ２を第１の領域Ｃ１内で移動させたときは、制御装置２は、例えば、動物とじゃれ合うときの質感を呈する触覚を提示させる駆動モードで触覚提示部１１を駆動する制御信号を生成する。これにより、ユーザの視覚や聴覚以外に触覚をも刺激することで、よりリアリティ性のある体感をユーザＵへ提供することができる。

ここで、画像Ｖ６は、二次元映像でもよいし三次元映像であってもよい。例えば三次元映像の場合、第１の領域Ｃ１を映像に関連した三次元座標に設定することができる。そして、当該領域Ｃ１をさらに複数の領域に分割し、これら複数に分割された領域ごとに、異なる触覚を提示できるように触覚提示部１１の駆動モード（第１の駆動モード）を変化させてもよい。これにより、画面３１の平面方向だけでなく、画面の奥行き方向にも異なる触覚を提示することができる。

＜第２の実施形態＞
図１１は、本技術の第２の実施形態に係る入力装置（ポインティングデバイス）の構成を示すブロック図である。以下、第１の実施形態と異なる構成について主に説明し、上述の実施形態と同様の構成については同様の符号を付しその説明を省略または簡略化する。

本実施形態の入力装置１０１は、筐体１０と、触覚提示部１１と、移動検出部１２（センサ部）と、キー入力部１３と、情報表示部１４と、制御部１５と、通信部１６と、電源部１７とを有する。制御部１５は、信号生成部１８を含む。

信号生成部１８は、ポインタが画面上のアイコン（オブジェクト）の表示領域内（第１の領域Ｃ１）に位置するときは触覚提示部１１を第１の駆動モードで駆動する第１の制御信号を生成する。一方、信号生成部１８は、ポインタが上記アイコンの周囲の所定領域（第３の領域Ｃ３）に位置するときは触覚提示部１１を第１の駆動モードとは異なる第２の駆動モードで駆動する第２の制御信号を生成する。

すなわち本実施形態では、触覚提示部１１の駆動モードに対応する制御信号の生成を、制御装置２ではなく入力装置１０１で行うように構成されている点で、第１の実施形態と異なる。このような構成によっても第１の実施形態と同様の作用を得ることができる。

本実施形態において、ポインタの位置やアイコンの領域等に関する情報（例えば座標情報）は、制御装置２から送信される制御信号に基づいて判定される。あるいは、入力装置１０１は、上記座標情報を制御装置２以外の別の機器から取得してもよい。

以上、本技術の実施形態について説明したが、本技術は上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

例えば以上の実施形態では、ポインティングシステム１００は、ポインタが第１の領域Ｃ１と第３の領域Ｃ３とで異なる触覚を提示させる駆動モードで触覚提示部１１を駆動するように構成されたが、アイコンの表示領域外に設定された第２の領域Ｃ２にポインタが位置するときにも、特有の触覚を提示するような駆動モードが設定されてもよい。

また、以上の実施形態では、ポインタの移動（方向、速度）に関連した触覚をユーザＵに提示する構成を説明したが、これに加えて、ポインタが停止（静止）した状態をユーザＵへ認識させる他の触覚提示モードが設定されてもよい。これにより、ポインタの停止、移動を含む操作感をユーザへ提供することができる。

さらに以上の実施形態では、入力装置１の空間内の動きを慣性センサで検知する例を説明したが、これに代えて又は加えて、イメージセンサにより入力装置１の動きを直接検出してポインタの移動制御を行ってもよい。

さらに、触覚提示部１１は振動体による振動作用で筐体１０に触覚を付与する構成に限られない。例えば、筐体１０の表面を部分的に変形させる、筐体１０の内部にモーメントを発生させる、筐体１０の表面に電気刺激を付与する電圧を発生させる等の各種機構が採用可能である。

なお、本技術は以下のような構成も採ることができる。
（１）筐体と、前記筐体に触覚を提示することが可能な触覚提示部と、前記筐体に対する操作を検出し画面上のポインタの移動を制御するための操作信号を出力するセンサ部とを有するポインティングデバイスと、
前記画面上のオブジェクトの表示領域内に属する第１の領域と、前記オブジェクトの表示領域外に属する第２の領域と、前記第１の領域と前記第２の領域との境界部に属する第３の領域とをそれぞれ設定する領域設定部と、前記操作信号に基づいて前記画面上のポインタの位置を算出し、前記ポインタが第１の領域に位置するときは前記触覚提示部を第１の駆動モードで駆動する第１の制御信号を生成し、前記ポインタが前記第３の領域に位置するときは前記触覚提示部を前記第１の駆動モードとは異なる第２の駆動モードで駆動する第２の制御信号を生成する信号生成部とを有する制御装置と
を具備するポインティングシステム。
（２）上記（１）に記載のポインティングシステムであって、
前記ポインティングデバイスは、空間操作型の入力装置であり、
前記触覚提示部は、個別に駆動されることで任意の軸方向に振動を発生させることが可能な複数の振動体を含む
ポインティングシステム。
（３）上記（１）又は（２）に記載のポインティングシステムであって、
前記信号生成部は、前記筐体の操作により前記ポインタが前記オブジェクトに近づいていると判定したときは、前記筐体の移動方向に向けて前記触覚提示部を駆動する第３の制御信号を生成する
ポインティングシステム。
（４）上記（１）〜（３）の何れか１つに記載のポインティングシステムであって、
前記信号生成部は、前記筐体の操作により前記ポインタが前記オブジェクトから遠ざかっていると判定したときは、前記筐体の移動方向とは反対方向に向けて前記触覚提示部を駆動する第４の制御信号を生成する
ポインティングシステム。
（５）上記（１）〜（４）の何れか１つに記載のポインティングシステムであって、
前記信号生成部は、前記筐体の移動速度を算出し、算出された前記移動速度に応じて前記触角提示部の駆動力を変化させる
ポインティングシステム。
（６）上記（１）〜（５）の何れか１つに記載のポインティングシステムであって、
前記オブジェクトは、アイコンである
ポインティングシステム。
（７）上記（１）〜（６）の何れか１つに記載のポインティングシステムであって、
前記オブジェクトは、三次元映像であり、
前記第１の領域は、前記三次元映像に関連付けられた三次元領域である
ポインティングシステム。
（８）上記（１）〜（７）の何れか１つに記載のポインティングシステムであって、
前記センサ部は、前記筐体の動きを検出し前記動きに関連する信号を生成する慣性センサを含む
ポインティングシステム。
（９）筐体と、
前記筐体に触覚を提示することが可能な触覚提示部と、
前記筐体の空間内における動きを検出し、画面上のポインタの移動を制御するための操作信号を出力するセンサ部と、
前記ポインタが前記画面上のオブジェクトの表示領域内に位置するときは前記触覚提示部を第１の駆動モードで駆動する第１の制御信号を生成し、前記ポインタが前記オブジェクトの周囲の所定領域に位置するときは前記触覚提示部を前記第１の駆動モードとは異なる第２の駆動モードで駆動する第２の制御信号を生成する信号生成部と
を具備するポインティングデバイス。
（１０）画面上のオブジェクトの表示領域内に属する第１の領域と、前記オブジェクトの表示領域外に属する第２の領域と、前記第１の領域と前記第２の領域との境界部に属する第３の領域とをそれぞれ設定し、
前記画面上のポインタを移動させるポインティングデバイスから出力される操作信号に基づいて前記画面上のポインタの位置を算出し、
前記ポインタが第１の領域に位置するときは前記ポインティングデバイスを第１の駆動モードで触覚提示させ、前記ポインタが前記第３の領域に位置するときは前記ポインティングデバイスを前記第１の駆動モードとは異なる第２の駆動モードで触覚提示させる
ポインティング制御方法。

１，１０１…入力装置
２…制御装置
３…表示装置
１０…筐体
１１…触覚提示部
１２…移動検出部
１５…制御部
１８…信号生成部
２４…表示制御部
２５…ＭＰＵ
３１…画面
１００…ポインティングシステム
１１１ａ〜１１１ｆ…振動体
Ｃ１…第１の領域
Ｃ２…第２の領域
Ｃ３…第３の領域
Ｐ，Ｐ１，Ｐ２…ポインタ
Ｕ…ユーザ
Ｖ，Ｖ６…画像
Ｖ１〜Ｖ５…アイコン

Claims (8)

1. 空間内で移動操作される筐体と、個別に駆動されることで任意の軸方向に振動を発生させることが可能な複数の振動体を含み、前記筐体に触覚を提示することが可能な触覚提示部と、前記筐体の移動操作を検出し画面上のポインタの移動を制御するための操作信号を出力するセンサ部とを有するポインティングデバイスと、
   前記画面上のオブジェクトの表示領域内に属する第１の領域と、前記オブジェクトの表示領域外に属する第２の領域と、前記第１の領域と前記第２の領域との境界部に属する第３の領域とをそれぞれ設定する領域設定部と、前記操作信号に基づいて前記画面上のポインタの位置を算出し、前記ポインタが前記第１の領域に位置するときは前記触覚提示部を第１の駆動モードで駆動する第１の制御信号を生成し、前記ポインタが前記第３の領域に位置するときは前記触覚提示部を前記第１の駆動モードとは異なる第２の駆動モードで駆動する第２の制御信号を生成し、前記筐体の移動操作により前記ポインタが前記オブジェクトに近づいていると判定したときは、前記筐体の移動方向へ、当該移動方向とは反対方向よりも強い振動を発生させるように、前記複数の振動体のうち少なくとも１つの振動体を駆動する第３の制御信号を生成する信号生成部とを有する制御装置と
   を具備するポインティングシステム。
2. 請求項１に記載のポインティングシステムであって、
   前記信号生成部は、前記筐体の移動操作により前記ポインタが前記オブジェクトから遠ざかっていると判定したときは、前記筐体の移動方向とは反対方向へ、当該移動方向よりも強い振動を発生させるように、前記複数の振動体のうち少なくとも１つの振動体を駆動する第４の制御信号を生成する
   ポインティングシステム。
3. 請求項１または２に記載のポインティングシステムであって、
   前記信号生成部は、前記筐体の移動速度を算出し、算出された前記移動速度に応じて前記触覚提示部の駆動力を変化させる
   ポインティングシステム。
4. 請求項１〜３のいずれか１つに記載のポインティングシステムであって、
   前記オブジェクトは、アイコンである
   ポインティングシステム。
5. 請求項１〜４のいずれか１つに記載のポインティングシステムであって、
   前記オブジェクトは、三次元映像であり、
   前記第１の領域は、前記三次元映像に関連付けられた三次元領域である
   ポインティングシステム。
6. 請求項１〜５のいずれか１つに記載のポインティングシステムであって、
   前記センサ部は、前記筐体の動きを検出し前記動きに関連する信号を生成する慣性センサを含む
   ポインティングシステム。
7. 空間内で移動操作される筐体と、
   個別に駆動されることで任意の軸方向に振動を発生させることが可能な複数の振動体を含み、前記筐体に触覚を提示することが可能な触覚提示部と、
   前記筐体の空間内における動きを検出し、画面上のポインタの移動を制御するための操作信号を出力するセンサ部と、
   前記ポインタが前記画面上のオブジェクトの表示領域内に位置するときは前記触覚提示部を第１の駆動モードで駆動する第１の制御信号を生成し、前記ポインタが前記オブジェクトの周囲の所定領域に位置するときは前記触覚提示部を前記第１の駆動モードとは異なる第２の駆動モードで駆動する第２の制御信号を生成し、前記筐体の移動操作により前記ポインタが前記オブジェクトに近づいていると判定したときは、前記筐体の移動方向へ、当該移動方向とは反対方向よりも強い振動を発生させるように、前記複数の振動体のうち少なくとも１つの振動体を駆動する第３の制御信号を生成する信号生成部と
   を具備するポインティングデバイス。
8. 画面上のオブジェクトの表示領域内に属する第１の領域と、前記オブジェクトの表示領域外に属する第２の領域と、前記第１の領域と前記第２の領域との境界部に属する第３の領域とをそれぞれ設定し、
   空間内で移動操作される筐体と、個別に駆動されることで任意の軸方向に振動を発生させることが可能な複数の振動体を含み、前記筐体に触覚を提示することが可能な触覚提示部と、前記筐体の移動操作を検出し前記画面上のポインタの移動を制御するための操作信号を出力するセンサ部とを有するポインティングデバイスの前記センサ部から出力される前記操作信号に基づいて前記画面上のポインタの位置を算出し、
   前記ポインタが前記第１の領域に位置するときは前記触覚提示部を第１の駆動モードで駆動し、前記ポインタが前記第３の領域に位置するときは前記触覚提示部を前記第１の駆動モードとは異なる第２の駆動モードで駆動し、前記筐体の移動操作により前記ポインタが前記オブジェクトに近づいていると判定したときは、前記筐体の移動方向へ、当該移動方向とは反対方向よりも強い振動を発生させるように、前記複数の振動体のうち少なくとも１つの振動体を駆動する
   ポインティング制御方法。

Images