JP2023148201A - 感覚提示装置 - Google Patents

Abstract

【課題】特定のコンテンツを視覚、聴覚、触覚が連動するように提示する際に、知覚できるタイミングのずれをなくす。【解決手段】音声および／又は映像と、触覚効果とを連動するコンテンツの提供に当たって、それぞれの信号を各デバイスに出力するタイミングを、聴覚及び／又は視覚と、受動的な触覚と能動的な触覚とのそれぞれを、人間が知覚するまでの知覚時間に応じて、それぞれ所定の遅延時間分を遅延させて各々の制御部から出力する。【選択図】図１

Description

この発明は、感覚提示装置を状況に応じて適切に調整する制御に関する。

コンテンツと連動してユーザに触感による効果を味わわせる触覚提示装置が様々な形で提案されている。触感としては例えば振動や圧迫、風、湿気、熱などの、ユーザが止まっていても実感できる能動的な触覚効果を映画などの映像コンテンツに合わせて提供することが既に行われている。また、人の動作を受けるインターフェースデバイスでは、固さや柔らかさといった手にして握ったときにかかる抵抗などの、ユーザの動作に対して実感される受動的な触覚効果を与えることが検討されている。触覚提示デバイスが与えるこのような触覚の強度について、センサからのフィードバックを利用して強弱を調整するシステムが特許文献１にて提案されている。

また、触覚提示装置がコンテンツを提供するにあたっては、触覚のみを提供することはほとんどなく、視覚情報や聴覚情報の提供と並行して、その視覚や聴覚にて提供される情報に適した内容の触覚情報を提供することで、より優れた体感をユーザに味わわせることが一般に検討されている。

特開２０１６－２９５６３号公報

しかしながら、聴覚及び視覚の少なくとも一方と、触覚とを合わせて提供しようとすると、その利用者が体感するタイミングが合わずに、コンテンツに違和感を抱いてしまうことがあった。

そこでこの発明は、特定のコンテンツを触覚出力デバイスと共に音声出力デバイス、映像出力デバイス、又はこれらの両方を用いて感覚を提供する際に、利用者が体感するタイミングを合わせて、コンテンツの体感品質を向上させることを目的とする。

この発明は、
音声出力デバイス（スピーカー：イヤホン）に音声を出力する聴覚制御部と、
光学出力デバイス（液晶・有機ELモニタ）に映像を出力する視覚制御部と、
の少なくともいずれか一方を有し、
かつ、
触覚出力デバイスに、利用者の動作に関わらず作用する能動的な触覚効果と、利用者の動作に対して作用する受動的な触覚効果との両方を出力可能な触覚制御部を有し、利用者の動作に関わらず作用する能動的な触覚と、利用者の動作に対して作用する受動的な触覚とを選択的に与える感覚提示装置であって、
前記音声および／又は前記映像と、前記触覚効果とを連動するコンテンツの提供に当たって、それぞれの信号を各デバイスに出力するタイミングを、
聴覚及び／又は視覚と、前記能動的な触覚と、前記受動的な触覚とのそれぞれを、制御部の送信から人間が知覚するまでの知覚時間に応じて、それぞれ所定の遅延時間分を遅延させて各々の制御部から出力する
感覚提示装置により、上記の課題を解決した。

感覚提示装置が有する、又は感覚提示装置に接続された音声出力デバイス、光学出力デバイス、触覚出力デバイスは、それぞれの接続形態や装置の特性ごとに、制御部から送信された信号を受け取ってその信号を音声、映像、触覚作用のそれぞれとして発現させるまでに、条件ごとに異なるタイムラグがある。さらに厳密には、装置が利用者の動作に関わらず作用する能動的な触覚効果と、利用者の動作に対して作用する受動的な触覚効果とでも利用者が知覚するまでの知覚時間が異なっていることがわかった。

例えば、スマートフォンに直付けされた有機ＥＬモニタへの表示は回路も短く応答速度の速いデバイスであるため比較的高速で処理される。これに対して、スマートフォンと近距離無線通信で接続されたイヤホンからの音声再生は、暗号化、無線送信、無線受信、復号化などの処理が必要となるため当然音声が出るまでの時間は遅くなる。触覚作用をもたらすデバイスではアクチュエータやその他の実現のための媒体や機構の構造次第で速いものも遅いものも存在する。また、デバイスが能動的に動くものと受動的に動くものとでは実際効果が発現するまでのタイムラグも異なってくる。さらに、発現された音声、映像、触覚作用は、利用者が鼓膜、網膜、神経等で把握した刺激を脳が情報として知覚するまでの時間も条件次第で異なってくる。このような装置やデバイスに由来するタイムラグと、人間の知覚速度に由来するタイムラグとの両方を含めて、制御部から出力されてから人間が知覚するまでの知覚時間に応じて、最終的に知覚するタイミングが合うように、それぞれの制御部からの出力を所定の遅延時間分を遅延させることで、実際に利用者が知覚するこれらの感覚のタイミングのずれを減らし、又はずれを無くすことができるようになる。

また、この発明にかかる感覚提示装置は、前記能動的な触覚を与えるために能動的に動作する第一の触覚出力デバイスと、
前記受動的な触覚を与えるために外力に対して受動的に動作する第二の触覚出力デバイスと、
を有する実施形態を採用できる。

さらに、この発明にかかる感覚提示装置は、前記触覚効果は前記能動的な触覚か前記受動的な触覚かを定義する触覚属性を有し、
前記触覚属性に対応して前記所定の遅延時間が呼び出される実施形態を採用できる。

さらに、前記光学出力デバイスおよび前記音声出力デバイスと接続された制御装置を有し、
前記制御装置に接続され、前記触覚出力デバイスと前記触覚制御部とを有する触覚出力装置を有する感覚提示装置であって、
前記制御装置は、
それぞれの感覚ごとの遅延時間を設定した遅延時間テーブルを有し、前記遅延時間テーブルの遅延時間の値に応じてそれぞれの信号を制御部から送信する送信手段を実行する
実施形態を採用できる。
ここで、それぞれの感覚ごととしては、触覚については能動的な触覚効果と受動的な触覚効果とのそれぞれについての遅延時間を設定されている実施形態を採用できる。

この発明にかかる感覚提示方法は、
音声出力デバイスに音声を出力する聴覚制御部と、
光学出力デバイスに映像を出力する視覚制御部と、
の少なくともいずれか一方を有し、
かつ、
触覚出力デバイスに、利用者の動作に関わらず作用する能動的な触覚効果と、利用者の動作に対して作用する受動的な触覚効果との両方を出力可能な触覚制御部を有し、利用者の動作に関わらず作用する能動的な触覚と、利用者の動作に対して作用する受動的な触覚とを選択的に与える感覚提示装置を使った感覚提示方法であって、
前記音声および／又は前記映像と、前記触覚効果とを連動するコンテンツの提供に当たって、それぞれの信号を各デバイスに出力するタイミングを、
聴覚及び／又は視覚と、前記能動的な触覚と、前記受動的な触覚とのそれぞれを、制御部の送信から人間が知覚するまでの知覚時間に応じて、それぞれ所定の遅延時間分を遅延させて各々の制御部から出力することを特徴とする、感覚提示方法により、上記の課題を解決できる。

この発明により、装置から能動的に与えられる触覚効果と装置が受動的に与える触覚効果との両方を提供可能であり、音声と映像との少なくともいずれか一方を出力する感覚提示装置を利用者が利用するにあたり、提供されるコンテンツを複数の感覚でもって体感する際に生じるタイムラグを減らし、又はゼロにすることができ、コンテンツを利用する際の違和感を減らして没入感を向上させ、提示する感覚の精度を向上させることができる。

この発明にかかる感覚提示装置の実施形態例の機能ブロック図 （ａ）遅延時間のテーブル例、（ｂ）視覚を基準にした遅延時間のテーブル例、（ｃ）感覚の組み合わせに応じた遅延時間のテーブル例 この発明にかかる感覚提示装置の例における制御装置と触覚出力装置との間のデータ処理例図 この発明で利用する触覚出力デバイスの例であるＭＲＦデバイスの概念図 この発明にかかる感覚提示装置の例であるタップユニットの概念図 この発明にかかる感覚提示装置を利用者が利用する際の処理フロー例図 図６の続きである処理フロー例図 図６の続きである処理フロー例図 アプリが出力するモニタでのオブジェクト選択例図

以下、この発明について詳細に説明する。この発明は、音声出力デバイスに音声を出力する聴覚制御部と、光学出力デバイスに映像を出力する視覚制御部と、
の少なくともいずれか一方を有し、
かつ、
触覚出力デバイスに、利用者の動作に関わらず作用する能動的な触覚効果と、利用者の動作に対して作用する受動的な触覚効果との両方を出力可能な触覚制御部を有する感覚提示装置である。また、感覚提示装置を用いた感覚提示方法である。なお、ここで両方を出力とは、必ずしも同時に出力する必要はなく、状況に応じてこの両方のいずれかを選択して出力できる場合も含む。もちろん、選択的に両方を同時に出力できるとより好ましい。

この発明において聴覚とは、五感の一つであり耳の鼓膜を通じて体感できる感覚をいう。この発明において音声とは、この聴覚を通じて知覚できる要素をいう。具体的には、人間の声や動物の鳴き声、効果音、音楽などが挙げられるが特に限定されない。基本的には電気信号から音声を再生するデバイスであるスピーカーやヘッドホン、イヤホンなどの音声出力デバイスにより、空気を振動させて鼓膜で体感されるものである。なお、空気の振動ではなく骨伝導など別の媒体の振動によるものも含む。

この発明において視覚とは、五感の一つであり目の網膜を通じて体感できる感覚をいう。この発明において映像とは、この視覚を通じて知覚できる要素をいう。具体的には電気信号から映像を再生するデバイスである、液晶モニタや有機ＥＬモニタ、ブラウン管モニタ、スクリーンなどに投影するプロジェクタ、ＶＲゴーグル、網膜走査ディスプレイなどの映像出力デバイスにより、光として再生され、眼球から網膜で体感されるものである。前記映像としては、文字表示、写真や実写映像、アニメーション映像、３Ｄレンダリングされた映像などがあるが、表示画面の全体に映し出されるものであってもよいし、表示画面の一部に現れるものでもよい。また、文字や絵姿でなくても、光の照射や暗転、光線や光点の明滅なども広義の映像として含みうる。例えばスポットライトの照射や、ＬＥＤライトによるイルミネーション点灯も広義の映像に含まれる。

この発明において触覚とは、五感のうちの一つであり直接的又は間接的に肌や筋肉、神経などによって体感できる感覚をいい、特に断りがない場合は広義の意味で用いる。狭義の触覚とは皮膚で感じる感覚として知られる触覚、圧覚、痛覚、冷覚、温覚のうちの一つであるが、この発明においての触覚とは狭義の触覚だけでなく、振動感覚や接触感覚などその他の感覚も含む。本発明で提供する触覚効果とはこれらの感覚について、実際に人体に体感させるように実現される効果である。この触覚効果を、電気信号を受けて実現するデバイスを触覚出力デバイスという。この発明で用いる触覚出力デバイスとしては、電気信号の単なるオンオフだけではなく、電気信号の電流量や電圧に応じて、強度が異なる触覚による体感を実現させるものが用いられる。この触覚出力デバイスとしては、例えば、電気信号を受けて装置を駆動するモータなどのアクチュエータや、電気信号を受けて装置を加熱して気体を膨らませるバルーンや、電気信号を受けて回転翼を回転させて気流を発生させる扇風機や、電気信号を受けて装置の回転抵抗を上昇させる磁気粘性流体デバイスなどが挙げられる。これらの触覚出力デバイスは、利用者の動作に関わらず作用するデバイスが能動的に動いて利用者に触覚効果を体感させるものと、デバイスが利用者の動作に対して受動的に作用して触覚効果を体感させるものとの両方がある。この触覚効果の能動的な触覚か受動的な触覚かを区別する定義を触覚属性という。前者の能動的に動くデバイスとしては例えば、デバイスが変形することで手などの皮膚で圧力の強弱の違いとして感じられる圧感として感じられるものや、ゲームコントローラやスマートフォンなどが手に振動を体感させる内蔵するバイブレータ、椅子などに内蔵されて全身で振動を体感させるバイブレータ、シートを回転又は加速させるモータなどが挙げられる。後者の受動的に作用するデバイスとしては、グローブなどの手足等の身体への装着型や釣り竿のリール型、自転車のペダル型といったコントローラに利用者が力を加えて変位させる際に手ごたえや足ごたえといった形で感じられる抵抗を変化させるものが挙げられる。

この発明にかかる感覚提示装置は、それらを利用する利用者に対して前記の能動的な触覚と受動的な触覚との両方と、視覚及び聴覚の一方又は両方とを体感させる装置又はシステムである。単独の筐体に搭載された装置であってもよいし、複数の筐体からなる装置に上記の各デバイスが分散されて搭載されそれらが有線又は無線により接続された一体のシステムである装置であってもよい。

この発明にかかる感覚提示装置１０の実施形態例である機能ブロック図を図１に示す。感覚提示装置１０は、触覚出力デバイス１４を格納し利用者に対して触覚による体感を発生させる触覚出力装置１１と、音声出力デバイス７５及び光学出力デバイス７６を格納した制御装置５１とを有する。触覚出力装置１１と制御装置５１とは有線又は近距離無線で接続されており、相互通信可能であり、これらは一体の装置として動作可能なシステムを構成している。

感覚提示装置１０は、電気信号に応じて触覚効果をもたらす触覚出力デバイス１４を有する。モータやバイブレータなどのアクチュエータや加熱によるバルーンなどの直接的に利用者に接触させて触覚を体感させるものや、ファンによる風圧を利用者が受けて非接触で間接的に体感させるものといった、装置が能動的に動作して触覚感覚を味わわせる能動的触覚出力デバイス１４ａ、ＭＲＦデバイスなどの利用者の動きに対する抵抗を増減させる装置が受動的に動作して、またはモータなどのアクチュエータを利用者の動きに対して抵抗を増減させるように動作させて触覚感覚を味わわせる受動的触覚出力デバイス１４ｂのどちらも有する。なお、図では一つの装置の中に能動的触覚出力デバイス１４ａと受動的触覚出力デバイス１４ｂとが含まれた形態を示しているが、複数の装置がこれらのそれぞれの触覚効果を提供できるデバイスを格納する形態であってもよいし、両方のデバイスを格納する装置と一方のデバイスを格納する装置とを複数供えた形態であってもよい。モータのように受動的触覚と能動的触覚の両方が出力可能な１つのデバイスを格納していても良い。また、図１では制御装置５１に接続された触覚出力装置１１に能動的触覚出力デバイス１４ａと受動的触覚出力デバイス１４ｂとが格納され、スマートフォンとは別に利用者が装着して利用するものを例示する。なお、以降の記述で能動的触覚出力デバイス１４ａと受動的触覚出力デバイス１４ｂとをまとめて触覚出力デバイス１４と呼ぶ場合がある。

触覚出力装置１１は、能動的触覚出力デバイス１４ａと受動的触覚出力デバイス１４ａｂに電気信号を送信する又は送信させるなどの演算やコマンドなどの制御を行う触覚制御部２１を有する。触覚制御部２１は制御装置５１の制御部６１からの指示を受けて、所定のタイミングで触覚出力デバイス１４に触覚効果を出力させる。あるいは逆に、触覚制御部２１からの指示を受けた制御部６１（聴覚制御部７１、視覚制御部７２）が所定のタイミングで出力を行うように、主従が逆転した構成でもよい。なお、図の形態では能動的触覚出力デバイス１４ａと受動的触覚出力デバイス１４ｂとの両方を一つの触覚制御部２１が制御しているが、触覚制御部２１が複数に分かれて連携しており、個々のデバイスを制御するものであってもよい。

また、触覚制御部２１は演算等のために利用するメモリである触覚信号記憶部（図示せず）を有する。触覚信号記憶部は、信号の一時的な記録や触覚制御部２１による演算に必要な情報及び結果、命令等を格納するものである。触覚信号記憶部のメモリは揮発性メモリであってよいが、不揮発性メモリも有しているとさらに好ましい。不揮発性メモリを有していると、高性能な触覚出力装置１１では個人向けの出力変更の記録や履歴などを保存して、出力のさらなる好適化のために参照することができる。なお図示しないが、触覚制御部２１を動作されるプログラムは、触覚信号記憶部が不揮発性メモリである場合はそこに格納されていてもよいし、別途格納されていてもよい。

また、触覚出力装置１１は、触覚出力デバイス１４が体感させる触覚のためのデバイス自体の変位や、触覚出力デバイス１４を利用者が操作した際の位置や変位、荷重などを測定するセンサ１６を有すると好ましい。

さらに、触覚出力装置１１は装置自体を作動させるために必要な電源２５を有する。バッテリでもよいし、外部電源と接続されていてもよい。バッテリの場合は、触覚出力装置１１が必要とする電流量が小さい場合は交換可能な一次電池でよいが、必要とする電流量が多い場合は、外部電源から充電される二次電池であると運用しやすい。また、制御装置５１との通信を有線ケーブルが担う場合には、制御装置５１を外部電源として給電されるものでもよい。

感覚提示装置１０を構成する個々の装置間の通信は有線通信でもよいし、無線通信でもよい。有線通信の場合は、有線ケーブルを介して電源を供給するものでもよい。規格は特に限定されず、本発明出願時点においてはＵＳＢケーブル、Ｌｉｇｈｔｎｉｎｇ（登録商標）ケーブル、Ｔｈｕｎｄｅｒｂｏｌｔ（登録商標）ケーブルなどが選択可能であるが、同様の又は上位互換の通信が可能である規格であればよい。無線通信の場合は、近距離無線通信規格であれば利用でき、種々の無線ＬＡＮ規格や、Ｂｌｕｅｔｏｏｔｈ（登録商標。以下略）、Ｂｌｕｅｔｏｏｔｈ ＬＥ、ワイヤレスＵＳＢなどが挙げられる。ただし、少なくともこの発明における調整自体を実現するために必要とするデータ量は小さいため、ＢｌｕｅｔｏｏｔｈやＢｌｕｅｔｏｏｔｈ ＬＥなどの比較的低速かつ使用電力の少ない規格が好適に用いられる。もちろん、本発明で必要とする以外の動作のために大量のデータを必要とし、高速の通信規格を採用するものでもよい。

制御装置５１は、触覚出力装置１１と通信し、触覚出力装置１１に対してコンテンツの一環としての感触を利用者に提供させるように制御するとともに、音声及び映像の出力を担う装置である。このような制御装置５１としては、例えば音声出力デバイス７５として内蔵するスピーカーと無線接続されたイヤホンを有し、光学出力デバイス７６として本体に格納されたタッチパネルを有するスマートフォンや携帯ゲーム機、タブレット端末などが挙げられる。また別の形態としては、音声出力デバイス７５としてサラウンドスピーカーセットと有線接続され、光学出力デバイス７６としてスクリーン投射用プロジェクタと接続されたホームシアターセットが挙げられる。さらに別の形態としては、光学出力デバイス７６として液晶モニタや有機ＥＬモニタを有し、音声出力デバイス７５として有線接続されたヘッドホンを有し、触覚出力デバイス１４として振動機能がついたコントローラが触覚出力装置１１として接続されたパソコンや据え置き型ゲーム機やＶＲゴーグルなどが挙げられる。これらの形態についてデバイスの組み合わせを交換した形態でもよい。ここでは主に制御装置５１としてスマートフォンを具体例として説明するが、本発明はこれに限定されるものではない。

このほかに制御装置５１は、感覚を体験するための選択や入力を担う入力デバイス７８を有する。具体的には、光学出力デバイス７６と一体化したタッチパネルや、マウス、トラックボール、コントローラ、キーボードなどが挙げられる。また、触覚出力装置１１がその一部を担うものでもよい。

また、制御装置５１がルータや端末を介して接続されるネットワーク８２の先に設けられたサーバ８１が後述する制御装置５１の機能の一部を担っていてもよい。そのために、制御装置５１は有線ＬＡＮ機能、無線ＬＡＮ機能や移動体通信網への接続機能といったネットワークインターフェース（ＮＷＩＦ）６９を有していると好ましい。なお、ネットワークインターフェース６９は触覚出力装置１１との間の通信と兼用でもよいし、独立していてもよい。通信量が大きく異なるため、独立している方が好適である場合が多い。図では独立している例を示す。

制御装置５１は、演算などを行う制御部６１を有する。具体的にはＣＰＵやＧＰＵなどの演算装置であり、コンテンツの読み込み、演算、個々のデバイスへの出力や入力の受付、触覚出力装置１１との通信などの装置の挙動を制御する。制御部６１のうち、音声出力デバイス７５への音声の出力を担う要素について、聴覚制御部７１とする。また、光学出力デバイス７６への映像の出力を担う要素について、視覚制御部７２とする。これらはハードウェア的に別個であってもよいが、単一又は複数の制御部６１がプログラムに応じて動作するそれぞれの役割を担うものであってもよい。図ではスマートフォンを例にする制御装置５１のＣＰＵである制御部６１が、聴覚制御部７１と視覚制御部７２との両方の役割を担っている形態を示している。

このほかに、制御装置５１は、データやプログラムを保持する記憶部（図示せず）を有する。この記憶部としては、ストレージとして用いられる不揮発性メモリや磁気ディスクと、演算に用いる揮発性メモリとの両方を有していることが好ましい。図では読み込まれているか否かを区別せずに記載している。

制御装置５１の記憶部には、利用者が触覚の出力をコンテンツの一部として体感できるゲーム、映画、仮想空間、シミュレータ等のアプリケーションソフト（以下、「アプリ」と略記する。）が記録される。上記の制御装置５１にプリインストールされたものであってもよいし、ネットワーク８２を介したサーバ８１からダウンロードされてインストールされたものであってもよい。

前記のアプリは、コンテンツとして音声や映像を含むとともに、それらの音声や映像と結びついた触覚の出力を触覚出力装置１１に行わせて、利用者に触覚による体感を提供する。このようなコンテンツとしては例えば、映画中の登場人物が味わった触覚の再現や、ゲーム中において登場した物体の触感の再現や、仮想空間内で触れたオブジェクトの触感や、猫や犬などの感触を再現するシミュレータや、仮想バッティングゲームでバッティングをした際のボールの抵抗の再現などが挙げられるが、特にこれらに限定されない。この発明は、コンテンツが能動的な触覚と受動的な触覚のいずれを含むかに関わらず利用できる。

アプリ６５は、前記のコンテンツを、音声出力デバイス７５、光学出力デバイス７６、触覚出力デバイス１４（能動的触覚出力デバイス１４ａと受動的触覚出力デバイス１４ｂ）によって提供するために、それを再現するためのプログラムを含む音声信号や映像信号などのメディア信号を含むメディア信号データベースを記憶部に有する。このメディア信号データベースの中身としては、静止画や動画などを格納した映像信号データベースと、効果音や音声などを格納した音声信号データベースと、触覚効果の信号を格納した触覚信号データベースとを有することが好ましい。これらのデータベースは、音声ファイルや画像ファイル、信号強度ファイルなどの形で、提供する感覚ごとに独立して取り扱えるものであると遅延時間の取り扱いが容易であるため望ましい。一方で、それらのファイル同士はデフォルトではどのタイミングで連携させるのかの情報を有しており、連動して利用者に提供できるようにデータベースが構築されていることが望ましい。なお、音声と動画とが一体になった映像ファイルでも利用可能であるが、デバイスへの出力の際に同期を解除するか又は動機のタイミングをずらして出力することになる。なお、メディア信号データベースは全ての必要なメディア信号を記憶部６２内に保持している必要はなく、ネットワーク経由で必要に応じて適宜ダウンロードして一時的に、または永続的に追加されるものでもよい。

この発明にかかる感覚提示装置１０はさらに上記のメディア信号データベースに関連して、各々の制御部各デバイスに出力するタイミングを所定の遅延時間分だけ遅延させる、遅延時間データベースを有する。この遅延時間は、主に二つの要素から決定されているとよい。一つはハードウェア構成に依存する信号処理のタイムラグを調整するためのハードウェア依存調整時間である。もう一つは、デバイスから出力された音声、映像、触覚効果を人間が知覚するための知覚時間に応じた、知覚依存調整時間である。

このうち、ハードウェア依存調整時間としては、例えば、無線イヤホンや無線接続された触覚出力装置１１との間で無線通信する際の暗号化及び復号化の処理時間や、３Ｄグラフィック処理をするための処理時間、デジタルオーディオインターフェースを介して処理するための時間、触覚出力装置１１のアクチュエータ等の機構が作動するまでのタイムラグ、特性を示す物質の応答速度によるタイムラグ、などが挙げられる。

一方、知覚依存調整時間は、感覚による刺激を受け取っても人間がそれぞれの感覚を知覚するまでの時間が聴覚と視覚と触覚とでは異なっているという事実に対してそれを補正するものである。その知覚するまでの時間差を埋めるために、知覚までの時間がかかる刺激ほど先に、知覚までの時間が短い刺激ほど遅延させるように調整する時間となる。特に視覚による映像は知覚するまでの時間がわずかに遅れやすく、視覚よりも聴覚と触覚の刺激を遅延させて制御部から出力すると好ましい。

この遅延時間データベースに記録されている遅延時間は、ハードウェア依存調整時間と知覚依存調整時間のそれぞれを分けて記録していてもよいが、聴覚、視覚、触覚ごとの合計時間として記録しておいた方が、その合計時間をそのまま遅延時間として適用することができ、遅延処理自体を高速化できるので望ましい。また、ぼんやりとした画像やハッキリとした画像など、出力された内容に応じて知覚時間が変わる場合もある。前記遅延時間は、コンテンツ毎に設定されていてもよい。

この遅延時間データベースに記録されている遅延時間は、能動的触覚出力デバイス１４ａによる能動的な触覚効果を与える場合のそれぞれの感覚の遅延時間と、受動的触覚出力デバイス１４ｂにより受動的な触覚効果を与える場合のそれぞれの感覚の遅延時間とを、別個の値として記録されていると、それぞれの触覚効果ごとに適した遅延時間を選択して遅延させることができる。なお、テーブルが分かれていてもよいし、同一テーブル中の別のカラムに記録されていてもよいし、一つの値とその補正値との組み合わせで規定されていてもよい。

前記の遅延時間データベースに記録される遅延時間としては、聴覚、視覚、触覚のそれぞれについて、ミリ秒単位で遅延時間を設定している形態が採用できる。遅延時間のうち、知覚依存調整時間は、一般的な人間の知覚速度に応じて値を設定しておくことができる。ただし、多少の個人差もあるため、利用者が覚える違和感を抑制するように、知覚依存調整時間を変更設定可能であるとよい。ただし、ミリ秒単位の調整であり慣れない利用者には難しいため、知覚依存調整時間の配列を複数パターン用意しておき、利用者がテスト利用をしてみて最も違和感が少ない配列を選択できるようにしておいてもよい。

一方、ハードウェア依存調整時間としては、アプリには一般的な動作環境におけるハードウェア依存調整時間を予め測定した値を、デフォルト値として記録させておくとよい。例えば、販売台数が多いスマートフォンやゲーム機では共通のハードウェア仕様となるケースが多いため、これらの共通の値を予め測定しておくとよい。一方で、一般的でないハードウェア仕様である場合には、デフォルト値を流用しつつ、適宜調整できると好ましい。特に、アプリがそれぞれの音声出力デバイス７５，光学出力デバイス７６、能動的触覚出力デバイス１４ａと受動的触覚出力デバイス１４ｂなどの動作を実際に行うテストを行い、実際の処理にかかる時間を測定して設定できるようにしてあると望ましい。制御装置５１のハードウェア構成や処理能力などに応じて変化する値だからである。

それぞれの遅延時間は基本的には０かプラスの値であり、プラスの値が大きいほど遅延が大きく、制御部からの出力をより遅く送信することになる。ただし、状況に応じてマイナスの値が設定されていてもよい。この遅延時間のテーブルの能動的触覚出力デバイス１４ａによる能動的な触覚効果を与える場合と受動的触覚出力デバイス１４ｂによる受動的な触覚効果を与える場合との触覚属性のそれぞれにテーブルが分かれた例を図２（ａ）に示す。例えば触覚出力装置１１が利用者の操作に応じて受動的に動作する触覚出力デバイス１４ｂである場合に、利用者の操作が所定の位置に到達する前から先行して前倒しで信号を発信することで、他の感覚との遅延時間を調整することも可能である。なお、その場合はセンサ１６により利用者の操作速度などを計算し、所定の位置に到達する時間を予め推定して運用するとよい。一方、利用者の動作に関わらず作用する能動的な触覚出力デバイス１４ａである場合は、この遅延時間が異なってくる。能動的触覚と聴覚の遅延時間は受動的触覚の場合より短くなる一方で、視覚の遅延時間は長くなる。操作する人間の知覚依存調整期間が受動的か能動的かによって異なるとともに、受動的な触覚出力デバイス１４ｂの方が利用者の動作を受けて体感させるという特性を有することでハードウェア依存調整期間も変わってくることによる。なお、知覚依存調整時間の元となるそれぞれの感覚の知覚速度は、刺激を受けてから知覚するまでが、触覚は１２０～１９０ｍｓ程度、視覚は１８０～２３０ｍｓ程度、聴覚は１２０～１８０ｍｓ程度と考えられている。この知覚速度に応じて遅延時間を設定するとよい。

前記遅延時間の別の設定方式としては、コンテンツが提供する前記聴覚、視覚、又は触覚の信号の内、最も前記知覚時間が長い信号に対応した制御部が送信するタイミングを基準として、他の感覚に関する信号を、対応する制御部が送信するタイミングの遅延時間としてそれぞれ設定する方式が挙げられる。具体的には、基準となる感覚の信号についての遅延時間を０ｍｓと設定し、他の感覚の信号をその基準からの遅延時間で設定する。ハードウェア依存調整時間にもよるが、多くの場合最も知覚時間が長くなる視覚についての光学出力デバイス７６への遅延時間を０ｍｓとし、他の感覚の遅延時間をプラスの時間として設定する。この遅延時間のテーブルの例を図２（ｂ）に示す。その場合も基準となる感覚以外の遅延時間は、能動的触覚であるか受動的触覚であるかの触覚属性によって異なる値を用いる。

前記遅延時間のさらに別の設定方式としては、コンテンツが提示する感覚の組み合わせに応じて、異なる設定値を登録しておく方式が挙げられる。これは、複数の感覚を同時に近いタイミングで知覚する場合は、利用者が受ける印象が変化し、実質的な知覚時間が変わってくることに対応したものである。例えば、視覚と触覚だけで受けるコンテンツよりも、視覚と触覚に加えて聴覚でも受けるコンテンツの方が、知覚は速くなりやすい。また、触覚と視覚との組み合わせの場合と、触覚と聴覚との組み合わせの場合とでは、触覚の知覚時間が異なってくる。このため、これらの組み合わせによっても異なる遅延時間を設定しておき、コンテンツが提示する感覚の組み合わせに応じて、テーブルの中から該当する組み合わせの遅延時間を選択して利用するとよい。この遅延時間のテーブルの例を図２（ｃ）に示す。触覚と視覚と聴覚とを組み合わせたコンテンツの場合、各感覚の遅延時間を触覚と視覚だけの場合または触覚と聴覚だけの場合よりも少なくする。例では触覚と視覚と聴覚とを組み合わせたコンテンツでは、触覚と視覚だけのコンテンツと比べ視覚は２ｍｓ短縮し、触覚は５ｍｓ短縮している。短縮した時間に差があるのは、元々視覚の遅延時間が少ないため、同じ時間だけ短縮するとかえって違和感を生じるためである。また、触覚と視覚と聴覚とを組み合わせたコンテンツと触覚と聴覚のみとを組み合わせたコンテンツとを比べた場合も、遅延時間を触覚と聴覚のみの場合よりも少なくする。例では触覚は５ｍｓ短縮し、聴覚も５ｍｓ短縮している。触覚と聴覚とは知覚時間の差が小さいため、組み合わせによる短縮幅も同じとすることができる。さらにこの場合も、能動的触覚であるか受動的触覚であるかの触覚属性によって異なる値を用いる。

この発明にかかる感覚提示装置１０を、触覚出力装置１１の操作をトリガーとして運用する場合の運用を図３とともに説明する。用いる触覚出力装置１１として、磁気粘性流体とモータとを用いたタップユニットを例に用いる。このタップユニットに組み込まれた受動的触覚出力デバイス１４ｂの構造例を図４に、タップユニットの実施構造を図５（ａ）～（ｂ）に示す。

図４に示す受動的触覚出力デバイス１４ｂとして、磁気粘性流体（ＭＲＦ：Magneto Rheological Fluid）デバイス（以下、「ＭＲＦデバイス」と略記する。）を用いる。このＭＲＦデバイスは、回転軸４１、円板３２、ヨーク３４，３５、コイル３７，磁気粘性流体３８、ケーシング３１，３６などで構成されている。図４に示すように回転軸４１に取り付けられた円板３２の周囲に、ヨーク３４，３５に挟まれた空間が設けられ、その空間に、置かれた磁場の強さによって粘性が変化する磁気粘性流体３８が導入されている。また、ヨーク３５に支えられて磁界（図中矢印）を発生させるコイル３７が格納されている。回転軸４１は軸受３９に支えられ、磁気粘性流体３８に囲まれた円板３２と一体化されている。磁気粘性流体３８は、回転軸４１を回転させる際の抵抗を、磁場を発生させるコイル３７に供給される電流量によって調節できる。この回転軸４１を回転させようとする力を加えた利用者に対して、磁気粘性流体３８の粘性を増減させることで、回転軸４１と一体化している円板３２に対する抵抗を増減させて、回転軸４１の「回動させにくさ」として利用者の動きに対する受動的な触覚効果を体感させるものである。

この発明においては、この受動的触覚出力デバイス１４ｂの回転軸４１に、能動的触覚出力デバイス１４ａとなるモータ（図示せず）を接続し、回転軸４１が利用者の動きによっても、また利用者の動きによらなくても回転するように設定する。

このようなＭＲＦデバイスとモータとを用いた触覚出力装置１１であるタップユニットを図５（ａ）（ｂ）に示す。親指や手のひらにより固定される基部４０と、基部４０に設けられたＭＲＦデバイスの回転軸４１に連動して回動する指当てパーツ４２とを有する。指当てパーツ４２は人差し指、中指、薬指、小指のいずれかまたはそれらの全てに対応しており、指を曲げて握ろうとすると、支点部４３を中心にして回動する。指当てパーツ４２が押されると、第一リンク材４４と、ピン４６を介してリンクされた第二リンク材４５が図５（ｃ）のように回動する。この動きにより、回転軸４１が基部４０に対して回動される。この回動の際の抵抗が、ＭＲＦデバイスの磁気粘性流体３８によって増減される。一方で、モータが回転軸４１を駆動させることで、この動きを逆に作動させ、指当てパーツ４２を広げるように動作させ、利用者が動作しなくても作用する能動的な触覚感覚を与える。モータが駆動して回転軸４１が基部４０に対して回動されると、第二リンク材４５が図４（ｃ）の太矢印のように回動し、ピン４６を介して第一リンク材４４が押されて、指当てパーツ４２も太矢印のように回動しようとする。これにより、利用者は手指に感じる圧感とパーツによって押される指位置の変位として触覚を体感することができる。

なお、このＭＲＦデバイスとモータとを有するタップユニットに付属するセンサ１６としては、第二リンク材４５の回転軸４１に対する回転位置を角度として取得する角度センサが採用できる。利用者が何も力を加えていない初期位置を０°とし、そこから最大９０°まで変位可能である。また、モータが作用することで、この回転位置は最小から最大までの範囲で自由に変位させることができるとともに、広がる方向への力と縮む方向への力を触覚効果として体感させることができる。この回転位置に応じて、どの程度まで「掴んだ」「広がった」「縮んだ」かによって抵抗値を変化させることで、触覚効果を実現できる。０°では電流値が０．０Ａであり握っても抵抗は何も感じないが、回転位置が進んで握りが進むと、対象となるコンテンツを「掴んだ」という感触をその抵抗として感じられるようになる。掴む握りが進むとさらに抵抗値が上昇していく。それを実現させるために、モータに与える電流値を０．０Ａに維持したまま磁気粘性流体３８にかかる電流値があがり、回転軸４１に対して円板３２を回転させる抵抗値が上昇し、タップユニットに力を加えてそれ以上回転位置を進めようとする際にかかる抵抗値が上昇する。一方で、モータにより回転位置を動作させる場合には、磁気粘性流体３８に与える電流値を下げて抵抗を下げた上でモータに与える電流値を上げ、回転させるとよい。９０°では握った中に何もないように感じるが、そこからモータに電流が流れて回転位置が０°に向かって戻り始めると、握りこんだ内側から動いてきたり、あるいは膨らんだりするような実感が指に伝わり、実際に指が押されて広がり始める。この広がり方と押す力は回転位置に応じて異なるように設定されるモータに流れる電流により、指当てパーツ４２を推す力となって現れる。最後に回転位置が０°にまで戻ったところでモータに流れる電流は０．０Ａとなり、指当てパーツ４２の広がり（戻り）は停止する。

この「掴んだ」「広がった」「縮んだ」感触に連動して、光学出力デバイス７６に表示される画像が変化する。最初は何も触れていない状態を示す画像（〇Ａ．ｊｐｇ）が表示されるが、握っていくことでそのコンテンツに「触れた」という状態になり抵抗が加わると、そのコンテンツに触れたことによりコンテンツが変形した画像（〇Ｂ．ｊｐｇ）へと表示が切り替わる。さらに握りが進むとコンテンツを不可逆的に変形させてしまった結果へと表示画像が切り替わる（〇Ｃ．ｊｐｇ→〇Ｄ．ｊｐｇ）。一方で握りが進む前にコンテンツが弾力により戻ることを体験させるようにモータが駆動すると回転位置が戻るのに合わせて、表示される画像が元の状態の画像に戻る（〇Ｃ．ｊｐｇ→〇Ｂ．ｊｐｇ）。なお、ここでは画像ファイルと音声ファイルを個々に指定した例を示しているが、例えば３Ｄオブジェクトを描写し、力を加える姿をその都度レンダリングして表示するようにしてもよい。また、その接触と可逆的又は不可逆的な変形に合わせて、コンテンツに合わせた接触音（〇Ｐ．ｍｐ３）と破裂音（〇Ｑ．ｍｐ３）や戻り音（図示せず）が音声出力デバイス７５から再生される。

制御装置５１のアプリ６５は、制御装置５１により体感できるコンテンツとして、記憶部に触覚、視覚、聴覚の情報が一体となったコンテンツテーブルを複数保有する。図３ではボールの触感、変形した姿、接触及び破裂音がセットになったテーブルを最前部に示している。このようなコンテンツに触れた体感を再現するための情報の集まりとしてコンテンツデータベース６７として有する。コンテンツデータベース６７は制御装置５１の記憶部６２に格納しておくとよい。具体的にはテーブルの値とともに、テーブル内で指定される画像ファイルと音声ファイルもセットで呼び出し可能であるように格納されているとよい。アプリ６５のインストール時点で格納されていない場合は、サーバ８１から呼び出しておき、即座に各々のデバイスに送信できる状態で格納されておくことが望ましい。ｍｓ単位の遅延時間に対応するため、サーバから呼び出していたのでは間に合わないためである。

さらに、制御装置５１の記憶部６２には、触覚と視覚と聴覚のそれぞれのコンテンツについて、この発明で用いる遅延時間のテーブルを有している。この遅延時間のテーブルの値に基づいて、制御部６１（「聴覚制御部７１」兼「視覚制御部７２」）及び触覚制御部２１からの送信を遅延させる。

このコンテンツテーブルに従って触覚、視覚、聴覚が合わさったコンテンツを利用者に体感させるため、選択されたコンテンツ（ここでは例としてバルーン）のコンテンツテーブルのうち触覚に関する部分、すなわちここでは回転位置と電流値のテーブル（ベース触覚データ）を、制御装置５１から触覚出力装置１１に送信しておく（Ｓ１）。このとき、選択されたコンテンツによって能動的な触覚効果か受動的な触覚効果かが選択される実施形態でもよいし、同一のコンテンツが状況によって能動的な触覚効果と受動的な触覚効果とのいずれかまたは両方を発揮する実施形態でもよい。ここでは、バルーンの膨張を体感するものとして、能動的な触覚効果を体感するテーブルが選択される例を示す。

触覚出力装置１１では、触覚信号記憶部２２にそのベース触覚データを格納しておく。また、併せてこのベース触覚データを触覚制御部２１から出力する際に指定する遅延時間（ここでは３５ｍｓ）も送信しておく。この遅延時間も触覚信号記憶部２２に格納しておく。光学出力デバイス７６では、コンテンツの初期状態にあたる画像ファイル（〇Ａ．ｊｐｇ）を予め表示させておく。また、利用者の体感準備として触覚出力デバイス１４を押し込めるだけ握るように表示し、利用者が握ることで回転位置が９０°にセットされる。以上で利用者がコンテンツを体感する準備が整う。

利用者が待機した状態で触覚出力デバイス１４が動作を開始すると、触覚制御部２１では、回転位置である角度θをセンサ１６により取得して、触覚信号記憶部２２のベース触覚データのテーブルを参照して読み出し、その回転位置に応じた電流値を流すために必要な電圧を触覚出力デバイス１４のモータに掛ける（Ｓ２）。これにより回転位置が９０°から戻る方向に変位する。その変位を検知して、制御装置５１に変化した回転位置を送信する（Ｓ３）。引き続いて、触覚信号記憶部２２を参照して、その回転位置における抵抗を触覚効果として出力させるための電流値を、ベース触覚データを参照して読み出し、その電流量を遅延時間分遅延させたタイミングで触覚出力デバイス１４に送信する（Ｓ４）。このＳ４と並行して、制御部では触覚出力装置１１から送信された回転位置の変化した値を受信する（Ｓ５）。選択されたコンテンツのコンテンツテーブルのうち、この変化した回転位置に対応する音声ファイルと画像ファイルを読み出して、画像ファイルを光学出力デバイス７６に送信して表示を入れ替えるとともに、音が出るタイミングであれば音声ファイルを音声出力デバイス７５から出力させる（Ｓ６）。この表示の入れ替えと音声の出力するタイミングについても、遅延時間のテーブルに合わせて遅延させる。この遅延時間をカウントするにあたって、制御部６１と触覚制御部２１との遅延のタイミングの基準時が同期されているとよい。すなわち、触覚制御部２１から制御部６１に送信され、Ｓ５とＳ６とが処理される所要時間を見越して、その視覚及び聴覚の遅延時間と合わせた基準時点から触覚制御部２１の出力も遅延時間をカウントする。

また選択されたコンテンツが、例えばボールを握る感触を体感するものとして受動的な触覚効果を体感させるテーブルが選択された場合には、受動的な場合のベース触覚データを触覚出力装置１１に送信しておく（Ｓ１に対応）。触覚出力装置１１では、触覚信号記憶部２２にその触覚テーブルを格納しておく。また、併せてこの受動的な場合の触覚テーブルを触覚制御部２１から出力する際に指定する遅延時間（ここでは４５ｍｓ）も送信しておく。この遅延時間も触覚信号記憶部２２に格納しておく。光学出力デバイス７６では、コンテンツの初期状態にあたる画像ファイルを予め表示させておく。以上で利用者がコンテンツを体感する準備が整う。

利用者が操作を開始すると、触覚制御部２１では、回転位置である角度θをセンサ１６により取得して、それが所定量（例えば１°単位）変化した際にこれを制御装置５１に送信する（Ｓ２に対応）。それと同時に、触覚信号記憶部２２を参照して、その回転位置における抵抗を触覚効果として出力させるための電流値を、触覚テーブルを参照して読み出し、その電流量を遅延時間分遅延させたタイミングで触覚出力デバイス１４に送信する（Ｓ３に対応）。この送信と並行して、制御部では触覚出力装置１１から送信された回転位置の変化した値を受信する（Ｓ５に対応）。選択されたコンテンツのコンテンツテーブルのうち、この変化した回転位置に対応する音声ファイルと画像ファイルを読み出して、画像ファイルを光学出力デバイス７６に送信して表示を入れ替えるとともに、音が出るタイミングであれば音声ファイルを音声出力デバイス７５から出力させる（Ｓ６に対応）。この表示の入れ替えと音声の出力するタイミングについても、遅延時間のテーブルに合わせて遅延させる。この遅延時間をカウントするにあたって、制御部６１と触覚制御部２１との遅延のタイミングの基準時が同期されているとよい。すなわち、触覚制御部２１から制御部６１に送信され、Ｓ５とＳ６とに対応する処理が処理される所要時間を見越して、その視覚及び聴覚の遅延時間と合わせた基準時点から触覚制御部２１の出力も遅延時間をカウントする。

この発明に掛かる感覚提示装置１０を利用者が利用する際の処理例を図６～８のフローとともに説明する。まず（Ｓ１０１）、制御装置５１であるスマートフォンでアプリ６５を起動する（Ｓ１０２）。次に触覚出力装置１１であるタップユニットの電源を入れ（Ｓ１０３）、スマートフォンとタップユニットとをＢｌｕｅｔｏｏｔｈでペアリングして無線接続する（Ｓ１０４）。なお、アプリの起動（Ｓ１０２）はＳ１０４の後に行う実施形態であってもよい。また、アプリ６５は初期状態で触覚、視覚、聴覚についての遅延時間のテーブルを保有しており、それを読み出しておく（Ｓ１０５）。

アプリ６５を入力デバイス７８から操作した利用者は、触覚を体感しようとするオブジェクトを、モニタに映し出された中から選択する（Ｓ１１０）。モニタへの表示例を図９に示す。まず右のボールオブジェクトを選ぶルートから説明するものとする（Ｓ１１１）。これは受動的な触覚効果を体感するオブジェクトとして選択される。選択の指示をうけた制御部６１は、その選択されたオブジェクトに紐づけられたコンテンツテーブルを、コンテンツデータベース６７から呼び出す（Ｓ１１２）。同時に、テーブルで指定された画像ファイルおよび音声ファイルがあればそれも呼び出して記憶部６２に格納する（Ｓ１１３）。次に、コンテンツテーブルから回転位置及び電流量のテーブルを抽出し、タップユニットに送信する（Ｓ１１４）。このとき同時に、受動的触覚についての遅延時間も送信する。タップユニットでは触覚信号記憶部２２に、送信されてきた触覚テーブルと遅延時間を格納する（Ｓ１１５）。ここで、オブジェクトが能動的なものか受動的なものかによって以降の処理が分かれる（Ｓ１１６）。能動的であれば（Ｓ１１６→Ｙｅｓ）ここで準備完了として、制御装置５１は光学出力デバイス７６の画面に、選択されたコンテンツであるボールオブジェクトの初期状態の画像ファイルと、選択用カーソルとを表示する（Ｓ１１７）。

触覚制御部２１は、角度センサであるセンサ１６から回転位置となる角度を取得する（Ｓ１２１）。その角度が、触覚信号記憶部２２に格納された触覚テーブルで定義された、電流値を変更する次の回転位置に到達しているか否かを監視する（Ｓ１２２）。到達していなければ（Ｓ１２２→Ｎｏ）引き続き角度センサから角度を取得し続ける（Ｓ１２２）。次の回転位置にまで到達していたら（Ｓ１２２→Ｙｅｓ）、これを基準時として（Ｓ１２３）、その基準時から触覚の遅延時間だけ待機し（Ｓ１２４）、待機後に触覚効果を実現するための電流値を触覚出力デバイス１４に掛ける（Ｓ１２５）。掛けた後、人間の知覚時間のタイムラグを経て、利用者は触覚効果を体感する。

一方、基準時（Ｓ１２３）の設定と並行して、触覚制御部２１は制御装置５１に回転位置が変位したことを通知する（Ｓ１３０）。制御装置５１の制御部６１は、基準時からの視覚遅延時間と聴覚遅延時間とをカウントし始める（Ｓ１３１、Ｓ１４１）。制御部６１（視覚制御部７２）は視覚の遅延時間だけ待機したら（Ｓ１３１）光学出力デバイス７６に画像ファイルを出力する（Ｓ１３２）。また、制御部６１（聴覚制御部７１）は聴覚の遅延時間だけ待機したら（Ｓ１４１）音声出力デバイス７５に音声ファイルを出力する（Ｓ１４２）。これにより、ボールに接触した画像ファイルが表示されたことを利用者が知覚するのとタイミングを合わせて、ボールに接触した感触となる抵抗を利用者が触覚から知覚し、なおかつそれに合わせてボールに接触した音を聞いて知覚する（Ｓ１５０）。

利用者が同じオブジェクトについて、続いてさらに回転位置を進めて体感を続ける場合は（Ｓ１５１→Ｙｅｓ）、センサによる回転位置の監視に戻る（Ｓ１２２）。回転位置が進むと、別の画像ファイルが表示されるようになる。例えば接触状態から、ボールが破裂した画像への差し替えに合わせて、ボールを握った感触が消滅して触覚出力デバイス１４に掛ける抵抗がなくなり、破裂する音が表示されるといった状態に変化するが、これもそれぞれの感覚の遅延時間に合わせて出力することで、ボールの破裂を触覚と聴覚と視覚とのそれぞれで知覚するタイミングが一致する（Ｓ１５０）。

別のオブジェクト（例えば左のバルーン状オブジェクト）を選択して、利用者が別の感触を体感する場合には（Ｓ１６１→Ｙｅｓ）、Ｓ１１１の工程へと戻る（Ｓ１６２）。このときにはその選んだ別のオブジェクトに紐づけられたコンテンツテーブル（触覚テーブル）が呼び出される。

選択されたオブジェクト（コンテンツ）が能動的な触覚効果を体感するものである場合のフローについて、Ｓ１１６→Ｎｏ以降の分岐に沿って説明する。制御装置５１は光学出力デバイス７６の画面に、タップユニットを握るように指示を表示する（Ｓ２１１）。タップユニットが押し込まれて回転位置が９０°に到達したら（Ｓ２１２）、選択されたコンテンツであるバルーンオブジェクトの初期状態の画像ファイル（例えば膨らむ前の萎れた風船）と、選択用カーソルとを表示する（Ｓ２１３）。併せて、スタートボタンを表示し、スタートボタンがタップされたら触覚出力デバイスによる出力を開始する（Ｓ２１４）。

触覚制御部２１は、角度センサであるセンサ１６から回転位置となる角度を取得する（Ｓ２２１）。ここでは最初は９０°である。その角度から、触覚信号記憶部２２に格納されたベース触覚データで定義された、電流値を参照する（Ｓ２２２）。ここで基準時を指定する（Ｓ２２３）。その基準時から触覚の遅延時間だけ待機し（Ｓ２２４）、待機後に触覚効果を実現するための電流値を触覚出力デバイス１４に掛ける（Ｓ２２５）。電流がかかるとモータが駆動し、人間の知覚時間のタイムラグを経て、利用者は触覚効果を体感する。

一方、基準時（Ｓ２２３）の設定と並行して、触覚制御部２１は制御装置５１に回転位置が変位したことを通知する（Ｓ２３０）。制御装置５１の制御部６１は、基準時からの視覚遅延時間と聴覚遅延時間とをカウントし始める（Ｓ２３１、Ｓ２４１）。制御部６１（視覚制御部７２）は視覚の遅延時間だけ待機したら（Ｓ２３１）光学出力デバイス７６に画像ファイルを出力する（Ｓ２３２）。また、制御部６１（聴覚制御部７１）は聴覚の遅延時間だけ待機したら（Ｓ２４１）音声出力デバイス７５に音声ファイルを出力する（Ｓ２４２）。これにより、バルーンが膨らみ始めた画像ファイルが表示されたことを利用者が知覚するのとタイミングを合わせて、バルーンが膨らみ始めた感触となる指当てパーツ４２の変位を利用者が触覚から知覚し、なおかつそれに合わせてバルーンが膨らみ始めたことを現す効果音を知覚する（Ｓ２５０）。

利用者が同じオブジェクトについて、続いてさらに指位置を進めて体感を続ける場合は（Ｓ２５１→Ｙｅｓ）、センサによる回転位置の監視を続ける（Ｓ２５２）。モータの駆動により回転位置の戻りが進行していき、次の回転位置の区切りにまで到達したら（Ｓ２５２→Ｙｅｓ）、その回転位置を取得して（Ｓ２２１）、その回転位置における触覚、視覚、聴覚を体感するための基準時を指定し（Ｓ２２３）、同様の処理を行う（Ｓ２２４～，Ｓ２３０～）。

回転位置が０°まで戻ってそれ以上進まなくなるか、又は利用者が意識的にこのオブジェクトの体感を終了する意思を入力デバイス７８から入力すると（Ｓ２５１→Ｎｏ）、このオブジェクトの体感は終了する。別のオブジェクトを選択して、利用者が別の感触を体感する場合には（Ｓ２６１→Ｙｅｓ）、Ｓ１１１の工程へと戻る（Ｓ２６２）。このときにはその選んだ別のオブジェクトに紐づけられたコンテンツテーブル（ベース触覚データ）が呼び出される。利用者が体感を終了する場合には（Ｓ２６１→Ｎｏ）、アプリ６５を終了する（Ｓ２７１）。

１０ 感覚提示装置
１１ 触覚出力装置
１４ 触覚出力デバイス
１４ａ 能動的触覚出力デバイス
１４ｂ 受動的触覚出力デバイス
１６ センサ
２１ 触覚制御部
２２ 触覚信号記憶部
２５ 電源
３１ ケーシング
３２ 円板
３４ ヨーク
３５ ヨーク
３７ コイル
３８ 磁気粘性流体
３９ 軸受
４０ 基部
４１ 回転軸
４２ パーツ
４３ 支点部
４４ 第一リンク材
４５ 第二リンク材
４６ ピン
５１ 制御装置
６１ 制御部
６２ 記憶部
６５ アプリ
６７ コンテンツデータベース
６９ ネットワークインターフェース
７１ 聴覚制御部
７２ 視覚制御部
７５ 音声出力デバイス
７６ 光学出力デバイス
７８ 入力デバイス
８１ サーバ
８２ ネットワーク

Claims (5)

1. 音声出力デバイスに音声を出力する聴覚制御部と、
   光学出力デバイスに映像を出力する視覚制御部と、
   の少なくともいずれか一方を有し、
   かつ、
   触覚出力デバイスに、利用者の動作に関わらず作用する能動的な触覚効果と、利用者の動作に対して作用する受動的な触覚効果との両方を出力可能な触覚制御部を有し、利用者の動作に関わらず作用する能動的な触覚と、利用者の動作に対して作用する受動的な触覚とを選択的に与える感覚提示装置であって、
   前記音声および／又は前記映像と、前記触覚効果とを連動するコンテンツの提供に当たって、それぞれの信号を各デバイスに出力するタイミングを、
   聴覚及び／又は視覚と、前記能動的な触覚と、前記受動的な触覚とのそれぞれを、制御部の送信から人間が知覚するまでの知覚時間に応じて、それぞれ所定の遅延時間分を遅延させて各々の制御部から出力する
   感覚提示装置。
2. 前記能動的な触覚を与えるために能動的に動作する第一の触覚出力デバイスと、
   前記受動的な触覚を与えるために外力に対して受動的に動作する第二の触覚出力デバイスと、
   を有する請求項１に記載の感覚提示装置。
3. 前記触覚効果は前記能動的な触覚か前記受動的な触覚かを定義する触覚属性を有し、
   前記触覚属性に対応して前記所定の遅延時間が呼び出される、
   請求項１又は２に記載の感覚提示装置。
4. 前記光学出力デバイスおよび前記音声出力デバイスと接続された制御装置を有し、
   前記制御装置に接続され、前記触覚出力デバイスと前記触覚制御部とを有する触覚出力装置を有する
   請求項１乃至３のいずれかに記載の感覚提示装置であって、
   前記制御装置は、
   それぞれの感覚ごとの遅延時間を設定した遅延時間テーブルを有し、前記遅延時間テーブルの遅延時間の値に応じてそれぞれの信号を制御部から送信する送信手段を実行する感覚提示装置。
5. 音声出力デバイスに音声を出力する聴覚制御部と、
   光学出力デバイスに映像を出力する視覚制御部と、
   の少なくともいずれか一方を有し、
   かつ、
   触覚出力デバイスに、利用者の動作に関わらず作用する能動的な触覚効果と、利用者の動作に対して作用する受動的な触覚効果との両方を出力可能な触覚制御部を有し、利用者の動作に関わらず作用する能動的な触覚と、利用者の動作に対して作用する受動的な触覚とを選択的に与える感覚提示装置を使った感覚提示方法であって、
   前記音声および／又は前記映像と、前記触覚効果とを連動するコンテンツの提供に当たって、それぞれの信号を各デバイスに出力するタイミングを、
   聴覚及び／又は視覚と、前記能動的な触覚と、前記受動的な触覚とのそれぞれを、制御部の送信から人間が知覚するまでの知覚時間に応じて、それぞれ所定の遅延時間分を遅延させて各々の制御部から出力することを特徴とする、
   感覚提示方法。

Images