JP2010224665A - 光触覚変換システム、及び触覚フィードバックの提供方法 - Google Patents

Abstract

【課題】高速かつ正確に触覚フィードバックを与えることが可能な光触覚変換システムを提供すること。
【解決手段】複数の照射領域に異なる発光パターンで同時に光を照射することが可能な発光部と、前記発光部を制御して画像を投影させると共に、投影画像の画素単位で前記発光パターンを制御して所定の照射領域に所定の発光パターンで光を照射させる発光制御部と、を有する、光照射装置と、前記光照射装置から受光した光の発光パターンを検知する発光パターン検知部と、前記発光パターン検知部により検知された発光パターンに対応する振動パターンを生成し、当該振動パターンで振動子を振動させる振動制御部と、を有する、振動装置と、を含む、光触覚変換システムが提供される。
【選択図】図６

Description

本発明は、光触覚変換システム、及び触覚フィードバックの提供方法に関する。

近年、パーソナルコンピュータ（以下、ＰＣ）や種々の電子機器等（以下、ＰＣ等）の操作インターフェースをより直感的で操作性の高いものへと進化させるため、鋭意研究が進められている。ＰＣ等の操作インターフェースには、多くの場合、マウスやキーボードのような物理的な入力デバイスと、画面上に表示されるグラフィカルユーザインターフェース（以下、ＧＵＩ）とが併用して用いられる。また、小型の電子機器においては、操作インターフェースとしてタッチパネルが多く採用されている。タッチパネルを用いると、画面上に表示されたＧＵＩを指等で直接操作しているかのような操作感が得られるため、非常に直感的で操作性の高い操作インターフェースが実現される。

但し、ＧＵＩのボタンを押下しても画面の形状が変形しないため、現実世界でボタンを押下した際にユーザが体感するような触覚的なフィードバックを得ることはできない。しかし、擬似的にユーザに対して触覚的なフィードバック（以下、触覚フィードバック）を与えることは可能である。例えば、下記の非特許文献１、２には、ユーザ操作に応じてタッチパネルに振動を与え、擬似的な触覚フィードバックを発生させる技術が開示されている。同文献１に記載の技術は、タッチパネルに対してヴォイスコイルにより振動を与える技術に関する。一方、同文献２に記載の技術は、積層セラミックで形成された振動子によりタッチパネルに振動を発生させる技術に関する。

さらに、最近では３次元的なユーザの動きに対してフォースフィードバックを与える技術が開発されている。例えば、下記の非特許文献３、４には、ストリングやメカニカルな機構を用いてユーザの身体やペン等の操作体（以下、操作体等）を拘束し、ユーザ操作に応じて操作体等の拘束力を制御することで力覚を発生させる技術が開示されている。より具体的に述べると、同文献４に記載の技術は、メカニカルな機構を利用して操作体等の位置を測定し、その測定結果に応じてフォースフィードバックを発生させるというものである。例えば、仮想的な立方体を設定しておき、その立方体の内部に操作体等が入ろうとした際に斥力フィードバックを発生させるといった制御が行われる。

Ｍ．Ｆｕｋｕｍｏｔｏ，Ｔ．Ｓｕｇｉｍｕｒａ，ＡｃＣｖｅ ｃｌｉｃｋ： ｔａｃＣｌｅ ｆｅｅｄｂａｃｋ ｆｏｒ ｔｏｕｃｈ ｐａｎｅｌｓ， ｐｒｏｃ． ｏｆ ＡＣＭ ＳＩＧＣＨＩ ２００１， Ｐａｇｅｓ：１２１−１２２，ＩＳＢＮ：１‐５８１１３‐３４０‐５，２００１ Ｉ．Ｐｏｕｐｙｒｅｖ， Ｓ．Ｍａｒｕｙａｍａ， Ｊ．Ｒｅｋｉｍｏｔｏ， Ａｍｂｉｅｎｔ ｔｏｕｃｈ： ｄｅｓｉｇｎｉｎｇ ｔａｃＣｌｅ ｉｎｔｅｒｆａｃｅｓ ｆｏｒ ｈａｎｄｈｅｌｄ ｄｅｖｉｃｅｓ，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １５ｔｈ ａｎｎｕａｌ ＡＣＭ ｓｙｍｐｏｓｉｕｍ ｏｎ Ｕｓｅｒ ｉｎｔｅｒｆａｃｅ ｓｏＵｗａｒｅ ａｎｄ ｔｅｃｈｎｏｌｏｇｙ ｔａｂｌｅ ｏｆ ｃｏｎｔｅｎｔｓ，ｐｐ．５１‐６０， ２００２ ｈｔｔｐ：／／ｓｋｌａｂ−ｗｗｗ．ｐｉ．ｔｉｔｅｃｈ．ａｃ．ｊｐ／ｆｒａｍｅ＿ｉｎｄｅｘ−ｊ．ｈｔｍｌ ｈｔｔｐ：／／ｗｗｗ．ｖｒｅａｌｉＣｅｓ．ｃｏｍ／ｐｈａｎｔｏｍｏｍｎｉ．ｈｔｍｌ

しかしながら、上記の文献１、２に記載の方法では、ユーザがタッチパネル等に対して物理的に接触している必要がある。そのため、触覚フィードバックを受けることが可能な領域がタッチパネル等の２次元平面上に制限されてしまう。また、上記の文献３、４に記載の方法では、フォースフィードバックを受けることが可能な領域がストリングやメカニカルな機構の可動範囲に制限されてしまう。さらに、上記各文献に記載の方法を用いる場合、フィードバックを発生させるか否か、どのようなフィードバックを発生させるかを判断するために操作体等の位置を測定する必要がある。そのため、操作体等の位置を測定するための測定時間が発生し、操作体等の移動とフィードバックの発生とにタイムラグが生じてしまう。その結果、フィードバックの効果が損なわれたり、設定された仮想的な形状とは異なる誤った形状がユーザに伝達されてしまう。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、フィードバックを受けることが可能な範囲の制限を緩和すると共に、より正確かつ高速にフィードバックを与えることが可能な、新規かつ改良された光触覚変換システム、及び触覚フィードバックの提供方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、複数の照射領域に異なる発光パターンで同時に光を照射することが可能な発光部と、前記発光部を制御して画像を投影させると共に、投影画像の画素単位で前記発光パターンを制御して所定の照射領域に所定の発光パターンで光を照射させる発光制御部と、を有する、光照射装置と、前記光照射装置から受光した光の発光パターンを検知する発光パターン検知部と、前記発光パターン検知部により検知された発光パターンに対応する振動パターンを生成し、当該振動パターンで振動子を振動させる振動制御部と、を有する、振動装置と、を含む、光触覚変換システムが提供される。

また、前記振動制御部は、所定の振動量で前記振動子を振動させるための駆動信号を前記発光パターン検知部で検知された発光パターンに同期して発信するように構成されていてもよい。

また、前記発光制御部は、所定の符号を表す所定の発光パターンを用いて前記所定の照射領域に前記所定の発光パターンで光を照射させるように前記発光部を制御するように構成されていてもよい。さらに、前記振動制御部は、前記発光パターン検知部で検知された発光パターンに対応する前記所定の符号を再生し、当該所定の符号に対応する所定の振動パターンで前記振動子を振動させるように構成されていてもよい。

また、前記発光制御部は、前記投影画像の各画素が持つ色彩に応じて当該色彩毎に異なる所定の発光パターンで光を照射させるように構成されていてもよい。

また、前記光照射装置は、光の照射方向が異なる第１及び第２の前記発光部を有していてもよい。この場合、前記発光制御部は、前記第１及び第２の発光部を制御して所定の対象領域に所定の発光パターンで光を照射させる。また、前記発光パターン検知部は、前記光照射装置が有する前記第１及び第２の発光部から発せられた光の発光パターンをそれぞれ検知する。そして、前記振動制御部は、前記第１の発光部が発した光の発光パターンと前記第２の発光部が発した光の発光パターンとの組み合わせに対して予め対応付けられた振動パターンで前記振動子を振動させる。

また、前記発光制御部は、前記第１及び第２の発光部を制御し、所定の符号を表す所定の発光パターンを用いて前記所定の照射領域に前記所定の発光パターンで光を照射させるように構成されていてもよい。この場合、前記振動制御部は、前記発光パターン検知部で検知された前記第１及び第２の発光部が発した各発光パターンに対応する前記所定の符号を各々再生し、当該所定の符号の組み合わせに対応する所定の振動パターンで前記振動子を振動させる。

また、前記発光部は、光を射出する光源と、前記投影画像の画素毎に設けられ、前記光源から射出された光をレンズに導光することが可能な複数のミラーと、前記各ミラーの向きを制御するミラー制御部と、を含んでいてもよい。この場合、前記ミラー制御部は、前記発光制御部による制御に応じて前記各ミラーの向きを変化させることにより、前記投影画像の画素単位で前記発光パターンを制御する。

また、上記課題を解決するために、本発明の別の観点によれば、複数の照射領域に異なる発光パターンで同時に光を照射することが可能な発光部を制御して画像を投影させると共に、投影画像の画素単位で前記発光パターンを制御して所定の照射領域に所定の発光パターンで光を照射させる発光制御ステップと、前記発光制御ステップによる制御を受けて発光された光を受光する受光ステップと、前記受光ステップで受光した光の発光パターンを検知する発光パターン検知ステップと、前記発光パターン検知ステップで検知された発光パターンに対応する振動パターンを生成し、当該振動パターンで振動子を振動させる振動制御ステップと、を含む、触覚フィードバックの提供方法が提供される。

以上説明したように本発明によれば、フィードバックを受けることが可能な範囲の制限を緩和すると共に、より正確かつ高速にフィードバックを与えることが可能になる。

本発明の第１実施形態に係る光触覚変換システムの一構成例を示す説明図である。 同実施形態に係るプロジェクタによる発光制御方法の一例を示す説明図である。 同実施形態に係るプロジェクタによる発光制御方法の一例を示す説明図である。 同実施形態に係る振動装置の装置構成例を示す説明図である。 同実施形態に係る振動パターンの生成方法を示す説明図である。 同実施形態に係るプロジェクタ及び振動装置の機能構成例を示す説明図である。 同実施形態に係るフィードバック生成方法の一例を示す説明図である。 同実施形態に係る振動装置の一変形例を示す説明図である。 同実施形態に係る光触覚変換システムの一応用例を示す説明図である。 同実施形態に係る光触覚変換システムの一応用例を示す説明図である。 本発明の第２実施形態に係る振動パターンの生成方法を示す説明図である。 同実施形態に係るプロジェクタ及び振動装置の機能構成例を示す説明図である。 同実施形態に係るフィードバック生成方法の一例を示す説明図である。 本発明の第３実施形態に係る振動パターンの生成方法を示す説明図である。 同実施形態に係るプロジェクタ及び振動装置の機能構成例を示す説明図である。 同実施形態に係るフィードバック生成方法の一例を示す説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

［説明の流れについて］
ここで、以下に記載する本発明の実施形態に関する説明の流れについて簡単に述べる。まず、図１を参照しながら、本発明の第１実施形態に係る光触覚変換システム１０の構成について説明する。この中で、図２、図３を参照しながら、同実施形態に係るプロジェクタ１００による発光制御方法について説明する。さらに、図４を参照しながら、同実施形態に係る振動装置２００の装置構成について説明する。

次いで、図５を参照しながら、同実施形態に係る振動パターンの生成方法について説明する。次いで、図６を参照しながら、同実施形態に係るプロジェクタ１００、及び振動装置２００の機能構成について説明する。次いで、図７を参照しながら、同実施形態に係る触覚フィードバックの生成方法について説明する。次いで、図８を参照しながら、同実施形態に係る振動装置２００の一変形例について簡単に説明する。次いで、図９、図１０を参照しながら、同実施形態に係る光触覚変換システム１０の一応用例について説明する。

次いで、図１１を参照しながら、本発明の第２実施形態に係る振動パターンの生成方法について説明する。次いで、図１２を参照しながら、同実施形態に係るプロジェクタ１００、及び振動装置２００の機能構成について説明する。次いで、図１３を参照しながら、同実施形態に係る触覚フィードバックの生成方法について説明する。次いで、図１４を参照しながら、本発明の第３実施形態に係る振動パターンの生成方法について説明する。次いで、図１５を参照しながら、同実施形態に係るプロジェクタ１００、及び振動装置２００の機能構成について説明する。次いで、図１６を参照しながら、同実施形態に係る触覚フィードバックの生成方法について説明する。

（説明項目）
１：第１実施形態（発光パターンから直接的に振動パターンを生成する構成）
１−１：光触覚変換システム１０の構成
１−２：振動パターンの生成方法
１−３：プロジェクタ１００及び振動装置２００の機能構成
１−４：フィードバック生成処理の全体的な流れ
１−５：応用例
１−５−１：振動装置２００の変形例
１−５−２：光触覚変換システム１０の利用形態
１−５−３：プロジェクタ１００の変形例（３次元への拡張）
２：第２実施形態（コードブックを用いて振動パターンを生成する構成）
２−１：振動パターンの生成方法
２−２：プロジェクタ１００及び振動装置２００の機能構成
２−３：フィードバック生成処理の全体的な流れ
３：第３実施形態（発光パターンを位置情報として利用する構成）
３−１：振動パターンの生成方法
３−２：プロジェクタ１００及び振動装置２００の機能構成
３−３：フィードバック生成処理の全体的な流れ
４：まとめ

＜１：第１実施形態＞
まず、本発明の第１実施形態について説明する。本実施形態は、照射領域毎に異なる発光パターンで光を照射し、その照射光を光センサで受けて振動パターンに変換することにより照射領域毎に異なる触覚フィードバックを提供する方法に関する。特に、本実施形態は、発光パターンの波形をそのまま振動パターンに変換する方法に関する。

［１−１：光触覚変換システム１０の構成］
まず、図１を参照しながら、本実施形態に係る光触覚変換システム１０の構成について説明する。図１は、本実施形態に係る光触覚変換システム１０の一構成例を示す説明図である。図１に示すように、光触覚変換システム１０は、光を照射するプロジェクタ１００、及びユーザの指５等に装着される振動装置２００により構成される。但し、振動装置２００の装着形態は図１に示す例に限定されない。

（プロジェクタ１００について）
まず、プロジェクタ１００について説明する。プロジェクタ１００は、複数の照射領域に対して異なる発光パターンの光を照射する機能を有する。例えば、プロジェクタ１００は、図１に示すように、照射領域Ａ１に対して第１パターンの光Ｌ１を照射し、照射領域Ａ２に対して第２パターンの光Ｌ２を照射することができる。なお、ここで言う発光パターンとは、光が明滅するタイミング及び発光時間を示す波形パターンのことである。このような機能は、例えば、ＤＬＰ（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ）プロジェクタ（登録商標）により実現される。

ＤＬＰプロジェクタは、デジタルミラーデバイス（ＤＭＤ）と呼ばれる画素毎に設けられたマイクロミラーの向きを制御し、光源から発せられた光がマイクロミラーを介してレンズに入射される時間を調節する機構を有する。このような機構により、ＤＬＰプロジェクタは、光源からレンズに入射する光の量を画素毎に制御して輝度や色彩を表現している。この機構を応用すると、画素毎に異なるタイミングで点滅する光をスクリーンに投影させることができる。つまり、上記のようなプロジェクタ１００の機能を画素単位で実現することが可能になる。

例えば、図２に示すように、光の照射領域に複数の画素が存在する場合、プロジェクタ１００は、画素単位で発光パターンを制御することにより、各画素に対して異なる発光パターンの光を照射することができる。図２の例では、第ｋ番目の画素（＃ｋ；ｋ＝１，…，２５）に対し、第ｋ番目の発光パターン（第ｋ発光パターン）で光が照射されている。このようにして画素毎に異なる発光パターンで光を照射することにより、受光した光の発光パターンから受光位置を特定することが可能になる。従って、光触覚変換システム１０においては、メカニカルな機構を用いずに位置測定を行うことが可能である。

図２の例では画素毎に異なる発光パターンで光を照射する方法が示されていたが、光触覚変換システム１０においては、照射領域に画像を投影することが可能である。そのため、プロジェクタ１００は、画像を形成する各画素の色彩に応じた発光パターンで光を照射しつつ、照射領域に画像を投影することが可能である。各画素の輝度や色彩は、光の波長や単位時間当たりの発光強度に依存して決定される。つまり、単位時間に照射される光の量が同じであれば、単位時間内に明滅する回数やパターンが異なっていても実質的に同じ輝度が得られる。もちろん、光の波長と発光パターンとは無関係である。

従って、図３に示すように、複数の色彩を含む画像を照射領域に表示しつつ、色彩毎に割り当てられた発光パターンで照射領域に光を照射することができる。図２の例では画素の位置に対して個々に異なる発光パターンが割り当てられていたのに対し、図３の例では個々の色彩に対して異なる発光パターンが割り当てられている。このような構成にすると、画像の各部分を発光パターンの違いとして振動装置２００に伝達することが可能になる。そのため、振動装置２００において発光パターンの違いを振動パターンの違いとしてユーザに伝達することで画像の色彩に対応した触覚フォードバックを与えることができる。

図２、図３に例示したように、光触覚変換システム１０においては、光により画素単位の受光位置や画像の色彩等を振動装置２００に対して瞬時に伝達することができる。つまり、受光位置等を測定するためのタイムラグが生じない。そのため、非常に高い精度で伝達したい形状を早く正確にユーザに伝達することが可能になる。

（振動装置２００について）
上記の通り、光触覚変換システム１０では、プロジェクタ１００により画素単位で位置情報等を伝達することが可能である。このような機能を活用するため、光触覚変換システム１０では、発光パターンを振動パターンに変換する振動装置２００が用いられる。振動装置２００は、図４に示すように、光センサ２０２、振動子２０４、及びコントローラ２０６により構成される。光センサ２０２は、受光した光の強度を検出する手段である。光センサ２０２の機能は、例えば、フォトダイオード等により実現される。光センサ２０２で検出された光の強度を示すデータは、コントローラ２０６に入力される。

また、振動子２０４は、振動を発生させる手段である。振動子２０４は、コントローラ２０６に接続されており、コントローラ２０６から入力された駆動信号に応じて振動を発生させる。コントローラ２０６は、振動子２０４に駆動信号を入力して振動させる手段である。但し、コントローラ２０６は、光センサ２０２から入力された光の強度を示すデータに基づき、受光した光の発光パターンに同期して駆動信号を振動子２０４に入力する。そのため、振動子２０４は、光センサ２０２で受光した光の発光パターンと実質的に同じ振動パターンで振動することになる。

このような構成にすることで、振動装置２００が照射領域に挿入された際、照射領域内で光を受光した位置を発光パターンにより特定することが可能になる。但し、上記のように、振動装置２００は、発光パターンを直接的に振動パターンに変換してユーザの指５に伝達する動作を行うものである。従って、受光位置の違いは、ユーザが指５で感じる振動パターンの違いとして表される。例えば、図１に示すように、ユーザは、非照射領域Ａ０から照射領域Ａ１に指５を挿入すると光Ｌ１に対応する第１振動パターンを感じる。そのため、ユーザは、照射領域Ａ１に指５が位置することを知覚することができる。同様に、ユーザは、照射領域Ａ１から照射領域Ａ２に指５を挿入すると、光Ｌ２に対応する第２振動パターンを感じて照射領域Ａ２に指５が位置することを知覚することができる。

このように、本実施形態に係る光触覚変換システム１０を用いると、高い精度（画素単位）で高速に受光位置等に応じた触覚フィードバックを提供することが可能になる。また、画像の色彩や形状に応じた発光パターンで当該画像を投影することにより、振動装置２００を装着したユーザは、恰も実際に画像を指５で触っているかのような自然な触感を得ることが可能になる。以下、本実施形態に係る技術について、より詳細に説明する。

［１−２：振動パターンの生成方法］
まず、図５を参照しながら、本実施形態に係る振動パターンの生成方法について、より詳細に説明する。図５は、本実施形態に係る振動パターンの生成方法を示す説明図である。上記の通り、振動装置２００は、発光パターンを振動パターンに変換して振動を発生させる。このとき、本実施形態に係る振動装置２００は、図５に示すように、光センサ２０２で受光した光の発光パターンに同期した振動パターンを生成する。例えば、コントローラ２０６は、受光した光の強度が所定値以上の場合に振動子２０４に対して駆動振動を発信し、所定値以下の場合に駆動信号の発信を停止する。このようなコントローラ２０６による振動子２０４の駆動制御により発光パターンに同期した振動パターンが得られる。

［１−３：プロジェクタ１００及び振動装置２００の機能構成］
次に、図６を参照しながら、本実施形態に係るプロジェクタ１００及び振動装置２００の機能構成について、より詳細に説明する。図６は、本実施形態に係るプロジェクタ１００、及び振動装置２００の機能構成例を示す説明図である。なお、ここでは説明の都合上、図３に例示したように色彩毎に発光パターンが割り当てられるものとする。

（プロジェクタ１００）
まず、プロジェクタ１００の機能構成について説明する。図６に示すように、プロジェクタ１００は、記憶部１０２、画像再生部１０４、発光パターン生成部１０６、駆動制御部１０８、及び光照射部１１０を有する。但し、記憶部１０２には、画像データ、及び、色彩の種類と所定の発光パターンとを対応付ける対応付け情報が格納されている。

まず、画像再生部１０４は、記憶部１０２から画像データを読み出す。そして、画像再生部１０４は、画像データに含まれる各画素の色彩を示す情報（以下、色彩情報）を発光パターン生成部１０６、及び駆動制御部１０８に入力する。発光パターン生成部１０６は、記憶部１０２から対応付け情報を読み出し、画像再生部１０４から入力された色彩情報に基づいて各画素の発光パターンを決定する。発光パターン生成部１０６で決定された画素毎の発光パターンは、駆動制御部１０８に入力される。

駆動制御部１０８は、光照射部１１０を駆動制御する手段である。例えば、プロジェクタ１００がＤＬＰプロジェクタである場合、駆動制御部１０８は、光照射部１１０に設けられたデジタルミラーデバイス等を制御し、画素毎に決定された発光パターンで照射領域に光を照射させる。なお、色彩を制御するためにカラーホイールが設けられている場合、駆動制御部１０８は、各画素の色彩を表現するためにカラーホイールの動作を制御する。また、駆動制御部１０８は、光照射部１１０に設けられた光源の発光強度を制御する。

これらの制御は、駆動制御部１０８から光照射部１１０に入力される制御信号に応じて実現される。光照射部１１０は、駆動制御部１０８から入力された制御信号に応じて画素毎に決定された発光パターンにより照射領域に画像を投影する。その結果、図３に例示したように、照射領域に画像が投影されると共に、照射領域に対して色彩毎に割り当てられた発光パターンで光が照射される。例えば、色彩＃１の画素群に対しては第１発光パターンの光が照射され、色彩＃２の画素群に対しては第２発光パターンの光が照射される。

（振動装置２００）
次に、振動装置２００の機能構成について説明する。図６に示すように、振動装置２００は、光センサ２０２、振動子２０４、及びコントローラ２０６を有する。また、コントローラ２０６は、発光パターン検出部２１２、及び振動制御部２１４を含む。

振動装置２００は、プロジェクタ１００から発せられた光を光センサ２０２により受光する。光センサ２０２は、入射した光の強度を検出する手段である。光センサ２０２で検出された光の強度を示す情報は、発光パターン検出部２１２に入力される。発光パターン検出部２１２は、光センサ２０２から入力される受光強度の情報に基づいて受光した光の発光パターンを検出する。上記の通り、プロジェクタ１００から発せられた光には色彩毎に発光パターンが割り当てられている。そのため、発光パターン検出部２１２は、受光時点で振動装置２００が位置する照射領域に表示された画像の色彩に対応する発光パターンを検出することになる。

発光パターン検出部２１２で検出された発光パターンは、振動制御部２１４に入力される。振動制御部２１４は、発光パターン検出部２１２から入力された発光パターンに同期して振動子２０４を振動させる駆動信号を発信する。例えば、振動制御部２１４は、発光パターンの振幅が所定値以上の場合に振動子２０４に駆動信号を発信する。また、振動制御部２１４は、発光パターンの振幅が所定値未満の場合に駆動信号の発信を停止する。振動制御部２１４から駆動信号が入力されると、振動子２０４は、振動を発生させる。そのため、発光パターンに同期して振動が発生する。

このように、振動装置２００は、発光パターンと実質的に同じ振動パターンで振動を発生させることができる。そのため、光センサ２０２で受けた光の発光パターンが異なると、その発光パターンに応じた異なる振動パターンの振動が発生する。上記の通り、プロジェクタ１００から色彩毎に異なる発光パターンで光が照射されているため、異なる色彩の照射領域に振動装置２００が進入すると、異なる振動パターンの振動が発生する。その結果、ユーザは、振動パターンの変化から照射領域に表示された画像の形状や色彩を触覚的に認識することができるようになる。また、メカニカルな機構を用いて位置測定する必要が無いため、正確かつ高速に触覚フィードバックを発生することが可能になる。

［１−４：フィードバック生成処理の全体的な流れ］
次に、図７を参照しながら、本実施形態に係る触覚フィードバックの生成処理に関し、その全体的な流れについて説明する。図７は、本実施形態に係る触覚フィードバックの生成処理の全体的な流れを示す説明図である。

図７に示すように、まず、プロジェクタ１００において、画像再生部１０４により記憶部１０２から画像データが読み込まれる（Ｓ１０２）。そして、画像再生部１０４から発光パターン生成部１０６及び駆動制御部１０８に画像データに対応する各画素の色彩を示す情報が入力される。次いで、発光パターン生成部１０６により各画素の色彩に対応する発光パターンが画素毎に生成される（Ｓ１０４）。そして、発光パターン生成部１０６から駆動制御部１０８に対し、各画素に対応する発光パターンの情報が入力される。次いで、駆動制御部１０８による発光制御を受けて光照射部１１０により画像データが投影される（Ｓ１０６）。但し、画像データの各画素に対応する照射領域には、画素毎に生成された発光パターンを持つ光が照射される。

次に、振動装置２００において、光センサ２０２によりプロジェクタ１００から発せられた光が受光される（Ｓ１０８）。このとき受光される光は、各画素の色彩に対応して画素毎に割り当てられた発光パターンで発光されたものである。そこで、光センサ２０２で受光された光から発光パターン検出部２１２により発光パターンが検出される（Ｓ１１０）。そして、発光パターン検出部２１２で検出された発光パターンの情報は、振動制御部２１４に入力される。次いで、発光パターンの情報に基づいて振動制御部２１４により発光パターンに同期したタイミングで駆動信号が発信され、振動子２０４に入力される（Ｓ１１２）。そして、入力された駆動信号に応じて振動子２０４が振動を発生させる（Ｓ１１４）。

このようにして発光パターンに応じた振動がユーザに伝達されることで、画像データを構成する各画素の色彩に応じた触覚フィードバックがユーザに対して提供される。その結果、ユーザは、触覚フィードバックに基づいて照射領域に表示された画像の形状や色彩を認識することができるようになる。また、メカニカルな機構を用いて位置測定を行っていないため、正確かつ高速に触覚フィードバックを発生することが可能になる。

［１−５：応用例］
ここで、図８〜図１０を参照しながら、本実施形態に係る光触覚変換システム１０の応用例や変形例等について説明する。まず、図８を参照しながら、振動装置２００の変形例について説明する。次いで、図９を参照しながら、光触覚変換システム１０の応用例について説明する。次いで、図１０を参照しながら、複数のプロジェクタ１００を用いて３次元的な触覚フォードバックを提供する応用例について説明する。

（１−５−１：振動装置２００の変形例）
まず、図８を参照する。これまでは振動装置２００をユーザの指５に装着して用いる形態について説明してきた。しかし、振動装置２００の外形的な構成はこれに限定されない。例えば、図８に示すように、箱形の筐体に光センサ２０２及び振動子２０４を設けてもよい。この場合、筐体内部にコントローラ２０６（非図示）が設けられる。なお、図８に例示した形態を採用する場合、各構成要素に関する設置の自由度が高まるため、複数の光センサ２０２を設けたり、演算能力やメモリ容量の面で優れたコントローラ２０６を設けたりすることができる。なお、図８の形態は一例であるが、この例のように振動装置２００の外形的な構成を自由に変形することができる。例えば、カード型やスティック型に振動装置２００を形成することも可能である。

（１−５−２：光触覚変換システム１０の利用形態）
次に、図９を参照する。上記の通り、振動装置２００の外形的な形態は様々に変形することが可能である。そのため、図９に示すように、振動装置２００を医療器具に装着して利用する形態も考えられる。振動装置２００を装着する医療器具としては、例えば、メスやカテーテルのような手術器具がある。手術の場面で用いる場合、例えば、超音波センサ等で体内の３次元形状を取得しておき、取得した３次元形状に基づいてメスが従うべき経路を触覚フィードバックで感知させるといった利用方法がある。この方法を用いることで、術者が触感で経路を感じながら手術を行うことができるようになる。また、この利用方法は、遠隔手術等にも応用することができる。

また、本実施形態に係る光触覚変換システム１０の場合、投影画像の画素単位で異なる発光パターンを照射することができる。そのため、プロジェクタ１００の光学系を制御することにより、照射領域のサイズを顕微鏡レベルまで絞り込むことができる。従って、顕微鏡サイズの精密な作業を行う際に、その作業を触覚フィードバックで支援するような利用形態にも本実施形態に係る光触覚変換システム１０を適用することができる。逆に、照射領域のサイズを拡大することで、建造物のような大きな作業対象に対する作業支援にも適用することが可能である。また、スポーツ選手等に対する身体動作の支援を触覚フィードバックで実現することも考えられる。この場合、スポーツ選手等の身体全体を覆うように光が投影される。

なお、これまでは１台のプロジェクタ１００を想定していたが、複数台のプロジェクタ１００を並列に用いることで照射領域のサイズを更に拡大することもできる。また、複数台のプロジェクタ１００を用いる場合、３次元への拡張を行うことが可能になる。以下、複数のプロジェクタ１００を用いて３次元への拡張を行う方法について説明する。

（１−５−３：プロジェクタ１００の変形例（３次元への拡張））
これまでは１台のプロジェクタ１００を用いて２次元平面上に画像を投影しつつ、投影画像の画素単位で異なる発光パターンの光を照射する構成について説明してきた。この構成の場合、２次元平面上の位置を発光パターンにより表現することができる。また、２次元的な投影画像の各画素が持つ色彩の違いを発光パターンで表現することができる。しかし、３次元的な仮想物体を想定し、その仮想物体に接触しているかのような触覚フィードバックを与えるためには工夫をする必要がある。つまり、３次元の空間座標を発光パターンの違いで如何に表現するかという点が課題となる。

このような課題に対し、例えば、図１０に示すように２台のプロジェクタ１００Ａ、１００Ｂを用いる方法が考えられる。なお、プロジェクタ１００Ａ、１００Ｂは、上記のプロジェクタ１００と実質的に同じ機能構成を有するものである。また、プロジェクタ１００Ａ、１００Ｂによる光の照射方向は相異なるものとする。このような構成にすると、プロジェクタ１００Ａから照射された光と、プロジェクタ１００Ｂから照射された光とを用いて３次元的な位置を特定することが可能になる。例えば、プロジェクタ１００Ａから発せられた第１パターンの光Ｌ１Ａと、プロジェクタ１００Ｂから発せられた第１パターンの光Ｌ１Ｂとが交差する点ＣＰは、光Ｌ１Ａの発光パターンと光Ｌ１Ｂの発光パターンとの組み合わせにより特定される。

但し、このような３次元への拡張を行う場合、振動装置２００には、プロジェクタ１００Ａ、１００Ｂから発せられた光をそれぞれ受光する機構が必要になる。また、振動装置２００においてプロジェクタ１００Ａ、１００Ｂが発した光の発光パターンをそれぞれ検出し、その組み合わせに応じた振動パターンを生成する機構が必要になる。これらの点に関し、例えば、図６の機能構成において光センサ２０２や発光パターン検出部２１２を複数設けたり、振動制御部２１４の機能に工夫を凝らしたりすることが求められる。例えば、一方の発光パターンに同期したタイミングで、他方の発光パターンの振幅に応じた振動強度で振動子２０４を振動させるように振動制御部２１４の機能が変更される。また、後述する第２実施形態のようにコードブックを用いた振動制御方法に変更される。

上記の通り、本実施形態に係る光触覚変換システム１０は、触覚フィードバックを生じさせる位置を光により伝達している。そのため、異なる振動を与えることが可能な解像度を上記のような様々なサイズに自由に変化させることができる。また、非常に高速にプロジェクタ１００の側から振動装置２００まで位置等の情報が伝達される。その結果、メカニカルな機構等で操作体等の位置検出を行う手法のような遅延が発生しない。このように、本実施形態に係る技術を適用することで、高速かつ高精度な位置センシングに基づく触覚フィードバックが提供され、広範な分野で様々な利用形態が実現される。

以上、本発明の第１実施形態について説明した。本実施形態は、発光パターンを振動子２０４の駆動信号として利用し、発光パターンに同期した振動パターンで振動を発生させる方法に関するものであった。この方法の場合、プロジェクタ１００が持つ光の点滅制御機構に関する制約により振動パターンが制限されてしまう。そこで、後述する第２実施形態においては、より複雑な振動パターンを発生させることが可能な構成について述べる。なお、比較的単純な振動パターンの組み合わせで触覚フィードバックを実現する場合には上記の第１実施形態に係る方法で十分である。また、この方法の場合、振動装置２００の構造が簡単なもので済むため、振動装置２００の小型化や低コスト化に寄与する。

＜２：第２実施形態＞
次に、本発明の第２実施形態について説明する。本実施形態は、照射領域毎に異なる発光パターンで光を照射し、その照射光を光センサで受けて振動パターンに変換することにより照射領域毎に異なる触覚フィードバックを提供する方法に関する。特に、本実施形態は、発光パターンの波形を所定のコードとして解釈し、そのコードに対応した振動パターンの振動を提供する方法に関する。

［２−１：振動パターンの生成方法］
まず、図１１を参照しながら、本実施形態に係る振動パターンの生成方法について、その概略を説明する。図１１は、本実施形態に係る振動パターンの生成方法を示す説明図である。上記の通り、振動装置２００は、発光パターンを振動パターンに変換して振動を発生させる。このとき、本実施形態に係る振動装置２００は、図１１に示すように、光センサ２０２で受光した光の発光パターンを所定のコード（１１０１００１）として解釈する。また、振動装置２００は、所定のコードと振動パターンとを対応付けるコードブックを参照し、発光パターンから得られた所定のコードに対応する振動パターンを生成する。例えば、コード１１０１００１に対応する発光パターンの光を受光している間、周波数１００Ｈｚの振動が発生するように構成される。このような構成にすることで、光の点滅頻度と振動周波数とを無関係に制御することが可能になる。

［２−２：プロジェクタ１００及び振動装置２００の機能構成］
次に、図１２を参照しながら、本実施形態に係るプロジェクタ１００及び振動装置２００の機能構成について、より詳細に説明する。図１２は、本実施形態に係るプロジェクタ１００、及び振動装置２００の機能構成例を示す説明図である。なお、ここでは説明の都合上、図３に例示したように色彩毎に発光パターンが割り当てられるものとする。

（プロジェクタ１００）
まず、プロジェクタ１００の機能構成について説明する。図１２に示すように、プロジェクタ１００は、記憶部１０２、画像再生部１０４、発光パターン生成部１０６、駆動制御部１０８、及び光照射部１１０を有する。但し、記憶部１０２には、画像データ、及び、色彩の種類と所定の発光パターンとを対応付ける対応付け情報が格納されている。

まず、画像再生部１０４は、記憶部１０２から画像データを読み出す。そして、画像再生部１０４は、画像データに含まれる各画素の色彩を示す情報（色彩情報）を発光パターン生成部１０６、及び駆動制御部１０８に入力する。発光パターン生成部１０６は、記憶部１０２から対応付け情報を読み出し、画像再生部１０４から入力された色彩情報に基づいて各画素の発光パターンを決定する。発光パターン生成部１０６で決定された画素毎の発光パターンは、駆動制御部１０８に入力される。なお、上記の第１実施形態とは異なり、発光パターンの波形が振動パターンの波形に直接変換されるわけではない。そのため、発光パターン生成部１０６は、入力された色彩情報に対応する所定のコードを決定し、その所定のコードに対応する所定の発光パターンを駆動制御部１０８に入力する。

駆動制御部１０８は、光照射部１１０を駆動制御する手段である。例えば、プロジェクタ１００がＤＬＰプロジェクタである場合、駆動制御部１０８は、光照射部１１０に設けられたデジタルミラーデバイス等を制御し、画素毎に決定された発光パターンで照射領域に光を照射させる。なお、色彩を制御するためにカラーホイールが設けられている場合、駆動制御部１０８は、各画素の色彩を表現するためにカラーホイールの動作を制御する。また、駆動制御部１０８は、光照射部１１０に設けられた光源の発光強度を制御する。上記の通り、本実施形態においては、振動パターンの波形と同じ波形の発光パターンで発光する必要が無いため、高周波数の振動パターンを提供したい場合等においても、駆動制御部１０８、及び光照射部１１０の負担が小さくて済む。

（振動装置２００）
次に、振動装置２００の機能構成について説明する。図１２に示すように、振動装置２００は、光センサ２０２、振動子２０４、及びコントローラ２０６を有する。また、コントローラ２０６は、発光パターン検出部２１２、振動パターン生成部２２２、記憶部２２４、振動制御部２２６を含む。記憶部２２４には、発光パターンとコードとを対応付ける発光パターンコードブックと、コードと振動パターンとを対応付ける振動パターンコードブックとが格納されている。

振動装置２００は、プロジェクタ１００から発せられた光を光センサ２０２により受光する。光センサ２０２は、入射した光の強度を検出する手段である。光センサ２０２で検出された光の強度を示す情報は、発光パターン検出部２１２に入力される。発光パターン検出部２１２は、光センサ２０２から入力される受光強度の情報に基づいて受光した光の発光パターンを検出する。上記の通り、プロジェクタ１００から発せられた光には色彩毎に所定のコードに対応する発光パターンが割り当てられている。そのため、発光パターン検出部２１２は、受光時点で振動装置２００が位置する照射領域に表示された画像の色彩に対応する所定のコードを示す発光パターンを検出することになる。

発光パターン検出部２１２で検出された発光パターンは、振動パターン生成部２２２に入力される。振動パターン生成部２２２は、記憶部２２４に格納されている発光パターンコードブックを参照し、入力された発光パターンに対応する所定のコードを決定する。さらに、振動パターン生成部２２２は、振動パターンコードブックを参照し、決定した所定のコードに対応する振動パターンを生成する。振動パターン生成部２２２で生成された振動パターンの情報は、振動制御部２２６に入力される。振動制御部２２６は、振動パターン生成部２２２で生成された振動パターンに基づいて振動子２０４を振動させるための駆動信号を発信する。振動制御部２１４から駆動信号が入力されると、振動子２０４は、振動を発生させる。その結果、所定のコードに対応する振動パターンが発生する。

このように、振動装置２００は、色彩毎に割り当てられた所定のコードに対応する振動パターンで振動を発生させることができる。また、所定のコードを介して発光パターンを振動パターンに変換しているため、複雑な振動パターンや高周波で振動する振動パターンを発生させる際にもプロジェクタ１００に過度の負担を与えずに済む。また、図１０のように３次元への拡張を行う場合、発光パターンを通じて２つのプロジェクタ１００Ａ、１００Ｂから受信したコードの組み合わせから振動パターンを生成することが可能になり、より複雑な触覚フィードバックを提供することが可能になる。

［２−３：フィードバック生成処理の全体的な流れ］
次に、図１３を参照しながら、本実施形態に係る触覚フィードバックの生成処理に関し、その全体的な流れについて説明する。図１３は、本実施形態に係る触覚フィードバックの生成処理の全体的な流れを示す説明図である。

図１３に示すように、まず、プロジェクタ１００において、画像再生部１０４により記憶部１０２から画像データが読み込まれる（Ｓ２０２）。そして、画像再生部１０４から発光パターン生成部１０６及び駆動制御部１０８に画像データに対応する各画素の色彩を示す情報が入力される。次いで、発光パターン生成部１０６により、各画素の色彩に対応する所定のコードを示す発光パターンが画素毎に生成される（Ｓ２０４）。そして、発光パターン生成部１０６から駆動制御部１０８に対し、各画素に対応する発光パターンの情報が入力される。次いで、駆動制御部１０８による発光制御を受けて光照射部１１０により画像データが投影される（Ｓ２０６）。但し、画像データの各画素に対応する照射領域には、画素毎に生成された発光パターンを持つ光が照射される。

次に、振動装置２００において、光センサ２０２によりプロジェクタ１００から発せられた光が受光される（Ｓ２０８）。このとき受光される光は、各画素の色彩に対応して画素毎に割り当てられた所定のコードを示す発光パターンで発光されたものである。そこで、光センサ２０２で受光された光から発光パターン検出部２１２により発光パターンが検出される（Ｓ２１０）。そして、発光パターン検出部２１２で検出された発光パターンの情報は、振動パターン生成部２２２に入力される。

振動パターン生成部２２２では、記憶部２２４に格納された発光パターンコードブックに基づいて発光パターンから所定のコードが再生される。また、記憶部２２４に格納された振動パターンコードブックに基づいて所定のコードから発光パターンが生成される。振動パターン生成部２２２で生成された発光パターンの情報は、振動制御部２２６に入力される。次いで、振動制御部２２６により、振動パターン生成部２２２で生成された振動パターンで駆動信号が発信され、その駆動信号に応じて振動子２０４が振動し、ユーザに触覚フィードバックが提供される（Ｓ２１６）。

このように、色彩毎に割り当てられたコードが発光パターンを介して伝達され、そのコードに応じた振動がユーザに伝達されることで、画像データを構成する各画素の色彩に応じた触覚フィードバックがユーザに提供される。その結果、ユーザは、触覚フィードバックに基づいて照射領域に表示された画像の形状や色彩を認識することができるようになる。また、メカニカルな機構を用いて位置測定を行っていないため、正確かつ高速に触覚フィードバックを発生することが可能になる。

＜３：第３実施形態＞
次に、本発明の第３実施形態について説明する。本実施形態は、照射領域毎に異なる発光パターンで光を照射し、その照射光を光センサで受けて位置に応じた振動パターンに変換することにより照射領域毎に異なる触覚フィードバックを提供する方法に関する。特に、本実施形態は、照射領域の位置情報を発光パターンで伝達し、受光した光の発光パターンから検知される位置情報と投影画像データとに基づいて振動パターンを生成する方法に関する。つまり、上記の第１及び第２実施形態においては、プロジェクタ１００の側で直接又は間接的に振動パターンを制御していたが、本実施形態に係るプロジェクタ１００は振動パターンの制御を行わない構成としている。

［３−１：振動パターンの生成方法］
まず、図１４を参照しながら、本実施形態に係る振動パターンの生成方法について、その概略を説明する。図１４は、本実施形態に係る振動パターンの生成方法を示す説明図である。本実施形態に係る振動装置２００は、図１４に示すように、光センサ２０２で受光した光の発光パターンから位置情報を検出する。そのため、投影画像を形成する各画素に発光パターン（又は所定のコード）を割り当てておき、発光パターンから各画素の位置を特定できるようにしておく。このような所定の発光パターンで発光された光が振動装置２００で受光されると、振動装置２００は、受光した光の発光パターンから投影画像内の位置を検出する。さらに、振動装置２００は、投影画像の画像データに基づき、検出した位置の画素が有する色彩を認識し、その色彩に対応する振動パターンを生成する。このような構成にすることで、各画素の色彩に対応した触感をユーザに提供することができる。

［３−２：プロジェクタ１００及び振動装置２００の機能構成］
次に、図１５を参照しながら、本実施形態に係るプロジェクタ１００及び振動装置２００の機能構成について、より詳細に説明する。図１５は、本実施形態に係るプロジェクタ１００、及び振動装置２００の機能構成例を示す説明図である。なお、ここでは説明の都合上、図３に例示したように色彩毎に発光パターンが割り当てられるものとする。

（プロジェクタ１００）
まず、プロジェクタ１００の機能構成について説明する。図１５に示すように、プロジェクタ１００は、駆動制御部１０８、及び光照射部１１０を有する。なお、駆動制御部１０８には、投影画像を形成する各画素の位置に対応した所定の発光パターンの情報が入力されているものとする。

上記の第１及び第２実施形態と同様に、駆動制御部１０８は、光照射部１１０を駆動制御する手段である。例えば、プロジェクタ１００がＤＬＰプロジェクタである場合、駆動制御部１０８は、光照射部１１０に設けられたデジタルミラーデバイス等を制御し、画素毎に決定された発光パターンで照射領域に光を照射させる。なお、色彩を制御するためにカラーホイールが設けられている場合、駆動制御部１０８は、各画素の色彩を表現するためにカラーホイールの動作を制御する。また、駆動制御部１０８は、光照射部１１０に設けられた光源の発光強度を制御する。但し、本実施形態の駆動制御部１０８は、予め設定された画素毎の発光パターンで光を発光するように光照射部１１０を制御する。従って、駆動制御部１０８は、画像データに応じて発光パターンを制御することはない。

（振動装置２００）
次に、振動装置２００の機能構成について説明する。図１５に示すように、振動装置２００は、光センサ２０２、振動子２０４、及びコントローラ２０６を有する。また、コントローラ２０６は、発光パターン検出部２１２、位置検知部２３２、振動パターン生成部２３４、通信部２３６、記憶部２３８、及び振動制御部２４０を含む。なお、通信部２３６には、所定の通信経路を経て、プロジェクタ１００により投影される画像の画像データが入力される。また、記憶部２２４には、色彩と振動パターンとの対応関係を示す色彩・振動パターン対応付け情報が格納されている。

振動装置２００は、プロジェクタ１００から発せられた光を光センサ２０２により受光する。光センサ２０２は、入射した光の強度を検出する手段である。光センサ２０２で検出された光の強度を示す情報は、発光パターン検出部２１２に入力される。発光パターン検出部２１２は、光センサ２０２から入力される受光強度の情報に基づいて受光した光の発光パターンを検出する。発光パターン検出部２１２で検出された発光パターンは、位置検知部２３２に入力される。上記の通り、各発光パターンは、投影画像を形成する各画素の位置に対応付けられている。そのため、位置検知部２３２は、発光パターンの形状に基づいて投影画像内の位置を検知する。位置検知部２３２により検知された位置の情報は、振動パターン生成部２３４に入力される。

振動パターン生成部２３４には、通信部２３６が受信した画像データと、位置検知部２３２により検知された位置の情報とが入力される。まず、振動パターン生成部２３４は、位置情報に対応する画像データ内の画素を特定し、その画素の色彩を検出する。そして、振動パターン生成部２３４は、記憶部２３８に格納された色彩・振動パターン対応付け情報を参照し、検出した色彩に対応する振動パターンを生成する。振動パターン生成部２３４で生成された振動パターンは、振動制御部２４０に入力される。振動制御部２４０は、振動パターン生成部２３４で生成された振動パターンに基づいて駆動振動を発信し、振動子２０４を振動させる。その結果、投影画像の模様や色彩に対応した触覚フィードバックがユーザに提供される。

このように、振動装置２００は、プロジェクタ１００が発する光の発光パターンに基づいて位置検出を行い、色彩毎に割り当てられた振動パターンで振動を発生させることができる。また、図１０のように３次元への拡張を行う場合、振動装置２００は、２つのプロジェクタ１００Ａ、１００Ｂから発せられた光の発光パターンに基づいて３次元的な位置を検出することができる。そのため、仮想的な３次元立体画像の各位置に対応する振動パターンでユーザに触感を提供することが可能になる。

［３−３：フィードバック生成処理の全体的な流れ］
次に、図１６を参照しながら、本実施形態に係る触覚フィードバックの生成処理に関し、その全体的な流れについて説明する。図１６は、本実施形態に係る触覚フィードバックの生成処理の全体的な流れを示す説明図である。

図１６に示すように、まず、プロジェクタ１００において、駆動制御部１０８による発光制御を受けて光照射部１１０により画像データが投影される（Ｓ３０２）。但し、画像データの各画素に対応する照射領域には、画素毎に予め割り当てられた所定の発光パターンを持つ光が照射される。次いで、振動装置２００により、光センサ２０２によりプロジェクタ１００から発せられた光が受光される（Ｓ３０４）。次いで、光センサ２０２で受光された光から発光パターン検出部２１２により発光パターンが検出される（Ｓ３０６）。そして、発光パターン検出部２１２で検出された発光パターンの情報は、位置検知部２３２に入力される。

次いで、位置検知部２３２により、入力された発光パターンから投影画像内の位置が検出される（Ｓ３０８）。そして、位置検知部２３２で検出された位置の情報は、振動パターン生成部２３４に入力される。次いで、通信部２３６を介して取得された画像データ、及び位置検知部２３２で検出された位置情報に基づき、振動パターン生成部２３４により振動パターンが生成される（Ｓ３１０）。このとき、振動パターン生成部２３４は、位置情報が示す画像データ内の画素を特定し、その画素の色彩を認識する。その後、振動パターン生成部２３４は、記憶部２３８に格納された色彩・振動パターン対応付け情報を参照し、認識した色彩に対応する振動パターンを生成する。

振動パターン生成部２３４で生成された発光パターンの情報は、振動制御部２４０に入力される。そして、振動制御部２４０により、振動パターン生成部２３４から入力された振動パターンで駆動信号が発信され、その駆動信号に応じて振動子２０４が振動し、ユーザに触覚フィードバックが提供される（Ｓ３１２）。

このように、投影画像内の位置を示す位置情報が発光パターンを介して伝達され、その位置情報が示す画素の色彩が認識され、その色彩に応じた振動パターンがユーザに伝達される。その結果、画像データを構成する各画素の色彩に応じた触覚フィードバックがユーザに提供される。このような構成にすることで、ユーザは、触覚フィードバックに基づいて照射領域に表示された画像の形状や色彩を認識することができるようになる。また、メカニカルな機構を用いて位置測定を行っていないため、正確かつ高速に触覚フィードバックを発生することが可能になる。

＜４：まとめ＞
最後に、上記の各実施形態に係る光触覚変換システムが有する機能構成と、当該機能構成により得られる作用効果について簡単に纏める。

まず、本実施形態に係る光触覚変換システムの機能構成は次のように表現することができる。当該光触覚変換システムは、光照射装置、及び振動装置により構成される。なお、当該光照射装置の機能は、上記のプロジェクタ１００により実現可能である。また、当該振動装置の機能は、上記の振動装置２００により実現可能である。

また、上記の光照射装置は、次のような発光部と、発光制御部とを有する。当該発光部は、複数の照射領域に異なる発光パターンで同時に光を照射することができる。例えば、当該発光部は、上記のプロジェクタ１００のように投影画像の画素毎に異なる発光パターンで光を照射することができる。また、上記の発光制御部は、前記発光部を制御して画像を投影させると共に、投影画像の画素単位で前記発光パターンを制御して所定の照射領域に所定の発光パターンで光を照射させるものである。このような構成を有することで、所定の照射領域には所定の発光パターンの光が照射されることになる。

さらに、上記の振動装置は、次のような発光パターン検知部と、振動制御部とを有する。当該発光パターン検知部は、前記光照射装置から受光した光の発光パターンを検知するものである。また、当該振動制御部は、前記発光パターン検知部により検知された発光パターンに対応する振動パターンを生成し、当該振動パターンで振動子を振動させるものである。上記のように、所定の照射領域には所定の発光パターンの光が照射されている。そのため、振動装置が所定の照射領域に入ると、所定の発光パターンの光を受光することになる。そこで、上記の振動装置は、発光パターン検知部により、受光した光の発光パターンを検知し、その発光パターンに対応する振動パターンで振動子を振動させる。このような構成にすることで、振動子の振動パターンを感知したユーザは、その振動パターンの種類から所定の照射領域に振動装置が位置していることを認識することが可能になる。

また、前記振動制御部は、所定の振動量で前記振動子を振動させるための駆動信号を前記発光パターン検知部で検知された発光パターンに同期して発信するように構成されていてもよい。このような構成にすると、発光パターンの波形と実質的に同じ波形の振動パターンで振動子を振動させることが可能になる。つまり、光照射装置の側で振動パターンを制御することが可能になる。そのため、振動装置の側では振動パターンを制御する回路等が不要になり、振動装置を小型化することができるようになる。また、振動装置の装置構成が簡単化されることで振動装置の低コスト化や軽量化に寄与する。

また、前記発光制御部は、所定の符号を表す所定の発光パターンを用いて前記所定の照射領域に前記所定の発光パターンで光を照射させるように前記発光部を制御するように構成されていてもよい。この場合、前記振動制御部は、前記発光パターン検知部で検知された発光パターンに対応する前記所定の符号を再生し、当該所定の符号に対応する所定の振動パターンで前記振動子を振動させるように構成される。

このように、発光パターンを用いて所定の符号を伝達し、その符号に基づいて振動パターンを生成させることで、光照射装置の発光機構に振動パターンの形状や特性が制約されずに済むようになる。例えば、非常に高周波又は低周波の振動パターンを生成したい場合や複雑な振動パターンを生成したい場合、光照射装置が持つ発光機構の性能によっては実現できない場合がある。しかし、上記の構成を適用し、所定の符号を用いることで発光パターンの波形と振動パターンの波形との間に直接的な関係が無くなり、光照射装置の性能とは無関係に振動パターンを設定できるようになる。

また、前記発光制御部は、前記投影画像の各画素が持つ色彩に応じて当該色彩毎に異なる所定の発光パターンで光を照射させるように構成されていてもよい。このような構成にすることで、ユーザが投影画像に触れた感触を振動によりフィードバックすることができるようになる。例えば、ピアノの鍵盤を投影画像として表示しておき、ユーザが鍵盤に触れると音程毎に異なる触感が与えられるように構成することができる。なお、触感と共に音声や視覚的な効果が付与されるように構成されていてもよい。

また、前記光照射装置は、光の照射方向が異なる第１及び第２の前記発光部を有していてもよい。この場合、前記発光制御部は、前記第１及び第２の発光部を制御して所定の対象領域に所定の発光パターンで光を照射させる。また、前記発光パターン検知部は、前記光照射装置が有する前記第１及び第２の発光部から発せられた光の発光パターンをそれぞれ検知する。そして、前記振動制御部は、前記第１の発光部が発した光の発光パターンと前記第２の発光部が発した光の発光パターンとの組み合わせに対して予め対応付けられた振動パターンで前記振動子を振動させる。このような構成にすることで、仮想的な３次元画像を対象として触覚フィードバックを発生させることが可能になる。

また、前記発光制御部は、前記第１及び第２の発光部を制御し、所定の符号を表す所定の発光パターンを用いて前記所定の照射領域に前記所定の発光パターンで光を照射させるように構成されていてもよい。この場合、前記振動制御部は、前記発光パターン検知部で検知された前記第１及び第２の発光部が発した各発光パターンに対応する前記所定の符号を各々再生し、当該所定の符号の組み合わせに対応する所定の振動パターンで前記振動子を振動させる。このような構成にすることで、仮想的な３次元画像を対象として触覚フィードバックを発生させる際に、より複雑な振動パターンを発生させることが可能になる。

また、前記発光部は、光を射出する光源と、前記投影画像の画素毎に設けられ、前記光源から射出された光をレンズに導光することが可能な複数のミラーと、前記各ミラーの向きを制御するミラー制御部と、を含んでいてもよい。この場合、前記ミラー制御部は、前記発光制御部による制御に応じて前記各ミラーの向きを変化させることにより、前記投影画像の画素単位で前記発光パターンを制御する。このような装置構成を有する光照射装置を用いることで、投影画像の画素単位で発光パターンを制御することが可能になる。

（備考）
上記のプロジェクタ１００は、光照射装置の一例である。また、上記の光照射部１１０は、発光部の一例である。さらに、上記の駆動制御部１０８は、発光制御部の一例である。また、上記の発光パターン検出部２１２は、発光パターン検知部の一例である。さらに、上記の振動パターン生成部２２２、２３４、振動制御部２１４、２２６、２４０は、振動制御部の一例である。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、プロジェクタ１００に代えて複数のＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）で構成されるＬＥＤアレイを用いることができる。なお、上記の実施形態においては、主に２次元又は３次元画像の形状や色彩を触感できるように触覚フィードバックを提供する技術が提案された。しかし、これらの技術を館内案内システムに応用することもできる。例えば、ＬＥＤ光源の点滅パターンを利用し、ユーザが正しい経路が移動している場合に振動装置２００に所定の振動パターンを与えるような構成にすることもできる。逆に、誤った経路で移動した場合に所定の振動パターンを与えるような構成にすることも可能である。

５ 指
１０ 光触覚変換システム
１００、１００Ａ、１００Ｂ プロジェクタ
１０２ 記憶部
１０４ 画像再生部
１０６ 発光パターン生成部
１０８ 駆動制御部
１１０ 光照射部
２００ 振動装置
２０２ 光センサ
２０４ 振動子
２０６ コントローラ
２１２ 発光パターン検出部
２１４ 振動制御部
２２２ 振動パターン生成部
２２４ 記憶部
２２６ 振動制御部
２３２ 位置検知部
２３４ 振動パターン生成部
２３６ 通信部
２３８ 記憶部
２４０ 振動制御部

Claims (8)

1. 複数の照射領域に異なる発光パターンで同時に光を照射することが可能な発光部と、
   前記発光部を制御して画像を投影させると共に、投影画像の画素単位で前記発光パターンを制御して所定の照射領域に所定の発光パターンで光を照射させる発光制御部と、
   を有する、光照射装置と；
   前記光照射装置から受光した光の発光パターンを検知する発光パターン検知部と、
   前記発光パターン検知部により検知された発光パターンに対応する振動パターンを生成し、当該振動パターンで振動子を振動させる振動制御部と、
   を有する、振動装置と；
   を含む、光触覚変換システム。
2. 前記振動制御部は、所定の振動量で前記振動子を振動させるための駆動信号を前記発光パターン検知部で検知された発光パターンに同期して発信する、請求項１に記載の光触覚変換システム。
3. 前記発光制御部は、所定の符号を表す所定の発光パターンを用いて前記所定の照射領域に前記所定の発光パターンで光を照射させるように前記発光部を制御し、
   前記振動制御部は、前記発光パターン検知部で検知された発光パターンに対応する前記所定の符号を再生し、当該所定の符号に対応する所定の振動パターンで前記振動子を振動させる、請求項１に記載の光触覚変換システム。
4. 前記発光制御部は、前記投影画像の各画素が持つ色彩に応じて当該色彩毎に異なる所定の発光パターンで光を照射させる、請求項２又は３に記載の光触覚変換システム。
5. 前記光照射装置は、光の照射方向が異なる第１及び第２の前記発光部を有し、
   前記発光制御部は、前記第１及び第２の発光部を制御して所定の対象領域に所定の発光パターンで光を照射させ、
   前記発光パターン検知部は、前記光照射装置が有する前記第１及び第２の発光部から発せられた光の発光パターンをそれぞれ検知し、
   前記振動制御部は、前記第１の発光部が発した光の発光パターンと前記第２の発光部が発した光の発光パターンとの組み合わせに対して予め対応付けられた振動パターンで前記振動子を振動させる、請求項１に記載の光触覚変換システム。
6. 前記発光制御部は、前記第１及び第２の発光部を制御し、所定の符号を表す所定の発光パターンを用いて前記所定の照射領域に前記所定の発光パターンで光を照射させ、
   前記振動制御部は、前記発光パターン検知部で検知された前記第１及び第２の発光部が発した各発光パターンに対応する前記所定の符号を各々再生し、当該所定の符号の組み合わせに対応する所定の振動パターンで前記振動子を振動させる、請求項５に記載の光触覚変換システム。
7. 前記発光部は、
   光を射出する光源と、
   前記投影画像の画素毎に設けられ、前記光源から射出された光をレンズに導光することが可能な複数のミラーと、
   前記各ミラーの向きを制御するミラー制御部と、
   を含み、
   前記ミラー制御部は、前記発光制御部による制御に応じて前記各ミラーの向きを変化させることにより、前記投影画像の画素単位で前記発光パターンを制御する、請求項１に記載の光触覚変換システム。
8. 複数の照射領域に異なる発光パターンで同時に光を照射することが可能な発光手段を制御して画像を投影させると共に、投影画像の画素単位で前記発光パターンを制御して所定の照射領域に所定の発光パターンで光を照射させる発光制御ステップと、
   前記発光制御ステップによる制御を受けて発光された光を受光する受光ステップと、
   前記受光ステップで受光した光の発光パターンを検知する発光パターン検知ステップと、
   前記発光パターン検知ステップで検知された発光パターンに対応する振動パターンを生成し、当該振動パターンで振動子を振動させる振動制御ステップと、
   を含む、触覚フィードバックの提供方法。
   

Images