JP2015185167A - 感覚データを触覚効果に変換するシステム及び方法 - Google Patents

Abstract

【課題】触覚信号を受信し、触覚信号に基づいて触覚効果を生成するシステムを提供する。【解決手段】センサ１０２と、センサ１０２からの信号を受信し、センサ１０２に対応するイベント及びアクティビティの種類を決定し、センサ１０２からの信号及びセンサ１０２に対応するイベント及びアクティビティの種類に基づいて触覚信号を生成するように構成されたプロセッサ１１０と、触覚信号に基づいて触覚効果を生成するように構成された触覚出力装置１１８とを備える。【選択図】図１

Description

（関連出願の相互参照）
本出願は、２０１４年３月２１日に出願された米国仮特許出願第６１／９６８，７９９号からの優先権の利益を請求するものであり、この出願の全内容が引用により本明細書に組み入れられる。

本発明は感覚データを触覚効果に変換するシステム及び方法に関し、これらのシステム及び方法は例えばスポーツメディア及びユーザが生成するコンテンツメディアにおいて使用される。

ビデオクリップ内の適切な時間に人の注意を引く触覚効果を追加すれば、ユーザの鑑賞体験を向上させ、その体験をより没入度の高いものにすることができる。これは触覚効果を手動で作成し、タイムラインに追加することで実現できる。しかしながら、触覚効果を手動で作成することは、慣れないユーザにとっては時間のかかることであり、ユーザが当該効果を作成するために十分な時間を費やす意思がある場合であっても、経験豊かな触覚効果の作成者が持つ芸術的な技巧を持たないため、体験を台無しにする好ましくない効果となってしまう。

メディアコンテンツ内での動作に関わるデータを一又は複数のセンサで取込み、当該コンテンツの作品のための触覚効果を自動的に得ることができるシステム及び方法が求められている。

本発明の一態様によれば、センサと、前記センサによって出力された信号を受信し、前記センサの位置及び記述子を決定し、動画のシーン選択を決定し、前記選択されたシーン、前記センサによって出力された前記信号、及び前記センサの位置及び記述子に基づいて触覚信号を生成するように構成されたプロセッサと、前記触覚信号を受信し、前記触覚信号に基づいて触覚効果を生成するように構成された触覚出力装置と、を備えるシステムが提供される。

一実施形態において、前記プロセッサがさらに、求める触覚効果を決定し、前記選択されたシーン、前記センサによって出力された前記信号、前記センサの位置及び記述子、及び前記求める触覚効果に基づいて前記触覚信号を生成するように構成される。

一実施形態において、前記センサが、加速度計、ジャイロスコープ、慣性計測装置、及び接触センサからなる群から選択される。

一実施形態において、前記システムは、前記システムのユーザが前記センサの位置及び／又は記述子を指示することを可能にするように構成されたユーザ入力装置を備える。

一実施形態において、前記システムは、前記システムのユーザが前記シーンを選択することを可能にするように構成されたユーザ入力装置を備える。

一実施形態において、前記システムは、前記システムのユーザが前記求める触覚効果を選択することを可能にするように構成されたユーザ入力装置を備える。

一実施形態において、前記プロセッサが前記選択されたシーンの動画と前記触覚信号とを同期させるように構成される。

一実施形態において、前記システムは、前記触覚出力装置によって生成された前記触覚効果と同期された前記選択されたシーンの前記動画を表示するように構成されたディスプレイを備える。

一実施形態において、前記システムは、複数のセンサを備え、前記プロセッサが前記複数のセンサから出力された信号を受信し、前記複数のセンサの位置及び記述子を決定し、前記選択されたシーン、前記複数のセンサによって出力された前記信号、及び前記複数のセンサの位置及び記述子に基づいて前記触覚信号を生成するように構成される。

本発明の一態様によれば、センサからセンサデータを受信する工程と、前記センサの位置及び記述子を決定する工程と、動画のシーン選択を決定する工程と、前記選択されたシーン、前記センサデータ、及び前記センサの位置及び記述子に基づいて触覚信号を生成する工程と、を備える方法が提供される。

一実施形態において、前記方法は、前記動画の前記選択されたシーンと前記触覚信号とを同期させる工程を備える。

一実施形態において、前記方法は、複数のセンサからセンサデータを受信する工程と、前記複数のセンサの位置及び記述子を決定する工程と、前記選択されたシーン、前記センサデータ、及び前記複数のセンサの位置及び記述子に基づいて前記触覚信号を生成する工程と、を備える。

本発明の一態様によれば、センサと、前記センサからの信号を受信し、前記センサに対応するイベント及びアクティビティの種類を決定し、前記センサからの前記信号及び前記センサに対応するイベント及びアクティビティの種類に基づいて触覚信号を生成するように構成されたプロセッサと、前記触覚信号に基づいて触覚効果を生成するように構成された触覚出力装置と、を備えるシステムが提供される。

一実施形態において、前記センサが、加速度計、ジャイロスコープ、慣性計測装置、及び接触センサからなる群から選択される。

一実施形態において、前記イベントの種類が、衝突イベント、揺動イベント、加速度イベント、回転イベント、着地イベント、及び感触接触イベントからなる群から選択される。

一実施形態において、前記アクティビティがバイク乗車、モトクロス、スノーボード滑走、及びスキーからなる群から選択される。

一実施形態において、前記プロセッサが前記イベントの動画と前記触覚信号とを同期させるようにさらに構成される。

一実施形態において、前記システムは、前記触覚出力装置によって生成された前記触覚効果と同期された前記イベントの前記動画を表示するように構成されたディスプレイをさらに備える。

一実施形態において、前記システムは、前記触覚出力装置によって出力される前記触覚効果を選択するために、前記プロセッサに入力を提供するように構成されたユーザ入力装置をさらに備え、前記触覚効果は、衝突効果、揺動効果、感触効果、空中時間効果、加速度エンベロープ、及び回転エンベロープからなる群から選択される。

本発明の一態様によれば、センサによって出力されたセンサデータを受信する工程と、前記センサデータに対応するイベント及びアクティビティの種類を選択する工程と、前記センサデータ、前記イベント及びアクティビティの種類に基づいて触覚信号を生成する工程と、を備える方法が提供される。

一実施形態において、前記センサによって出力されたセンサデータを受信する工程は、複数のセンサによって出力されたセンサデータを受信する工程を含む。

一実施形態において、前記方法は、前記イベントの動画と前記触覚信号とを同期させる工程を備える。

本発明の上記及び上記以外の目的、特徴、及び性質、並びに、関連する構成要素の動作方法及び機能、そして製造における各部分の組み合わせと経済性については、添付図面を参照しつつ以下の詳細な説明と添付の特許請求の範囲を検討することによってさらに明らかになる。これらはいずれも本明細書の一部を構成する。添付図面は例示及び説明のためのものであり、本発明の発明特定事項の定義として用いることは意図されていない。本明細書及び特許請求の範囲における用法によれば、単数形の「ａ」、「ａｎ」及び「ｔｈｅ」には複数のものへの言及が含まれる。ただし、文脈によって別に解すべきことが明白な場合はこの限りでない。

以下の図面の構成要素は、本開示の一般的な原理を強調するように描写されており、必ずしも寸法通りには記載されていない。一貫性及び明瞭性を確保するために、対応する構成要素を指し示す参照番号は、必要に応じ、複数の図面にわたって繰り返し用いられる。

本発明の実施形態にかかるシステムの模式図である。

本発明の実施形態にかかる図１のシステムの一部分の模式図である。

本発明の実施形態にかかる図１のシステムの一部分の模式図である。

図１は、本発明の一実施形態に係るシステム１００を示す。図示するように、システム１００は、対象物の動きを感知し、感知した動きをセンサデータに変換するように構成された一又は複数のセンサ１０２と、画像の取り込みと記録を行うように構成された動画記録装置１０４と、音声の取込みと記録を行うように構成された音声記録装置１０６とを含む。一実施形態において、センサ１０２、動画記録装置１０４及び音声記録装置１０６は、同一の電子装置の一部であってもよい。一実施形態において、動画記録装置１０４及び音声記録装置１０６は、同一の電子装置の一部であり、センサ１０２は、動画記録装置１０４及び音声記録装置１０６を備える電子デバイスとは別個に設けられてもよい。一実施形態において、センサ１０２、動画記録装置１０４及び音声記録装置１０６は、別個に設けられてもよいし、スタンドアローンデバイス、又は、別個のスタンドアローンデバイスの一部分であってもよい。

プロセッサ１１０は、以下に詳細に説明するように、センサ１０２、動画記録装置１０４及び音声記録装置１０６によって出力される信号及びデータを処理するように構成される。システム１００はまた、プロセッサ１１０の一部を構成していてもよい入力変換器１１２、出力変換器１１４、及び、プロセッサ１１０の一部を構成していてもよいデコーダ１１６を備える。入力変換器１１２、出力変換器１１４及びデコーダ１１６の態様については、以下に詳細に説明する。

図１に示すように、システム１００はまた、システムのユーザに対して触覚効果を出力するように構成された触覚出力装置１１８、例えば、動画記録装置１０４が撮像した画像のような画像を表示するように構成されたディスプレイ１２０、及び、音声記録装置１０６によって録音された音声のような音声を出力するように構成されたスピーカ１２２を備える。触覚出力装置１１８、ディスプレイ１２０及びスピーカ１２２は、以下に更に詳細に説明するように、電子再生装置１３０の一部であってもよい。一実施形態において、触覚出力装置１１８、ディスプレイ１２０及びスピーカ１２２は、例えば、互いに無線により接続されるように構成された別個の装置であってもよい。一実施形態において、触覚出力装置１１８は、ウェアラブルデバイスの一部であってもよく、ディスプレイ１２０は、テレビの一部であってもよく、スピーカ１２２は、ディスプレイ１２０とは別個に設けられた無線スピーカであってもよい。

触覚出力装置１１８が含み得るアクチュエータは、例えば、偏心質量体がモータにより動かされる偏心回転質量体（「ＥＲＭ」）アクチュエータなどの電磁アクチュエータ、ばねに取り付けられた質量体が前後に駆動されるリニア共振アクチュエータ（「ＬＲＡ」）、または圧電材料、電気活性ポリマー、もしくは形状記憶合金などの「スマートマテリアル」を含むアクチュエータ、マクロ複合繊維アクチュエータ、静電気アクチュエータ、電気触感アクチュエータ、および／または触覚（例えば、振動触知）フィードバックなどの物理的フィードバックを提供する他の種類のアクチュエータ、である。触覚出力装置１１８は、非機械的又は非振動装置、例えば、静電摩擦（「ＥＳＦ」）や超音波表面摩擦（「ＵＳＦ」）を用いる装置、超音波触覚トランスデューサを用いて音響放射圧力を生じさせる装置、触覚基板及び可撓性もしくは変形可能な表面を用いる装置、又はエアジェットを用いた空気の吹きかけなどの発射型の触覚出力を提供する装置などを含んでもよい。

電子メモリ１２４は、センサ１０２が検出したデータを格納するのに使用されてもよく、電子メモリ１２６は、動画記録装置１０４によって記録されたデータを格納するのに使用されてもよく、電子メモリ１２８は、音声記録装置１０６によって記録されたデータを格納するのに使用されてもよい。メモリ１２４、１２６、１２８は、内部に固定された１つ又は複数の記憶ユニット、リムーバブル記憶ユニット及び／又はリモート・アクセスが可能な記憶ユニットを含む。これら様々な記憶ユニットは、揮発性メモリと不揮発性メモリとのいかなる組合せをも含み得る。記憶ユニットは、情報、データ、命令、ソフトウェアコード等の任意の組み合わせを格納するように構成されてもよい。センサ１０２、動画記録装置１０４、及び音声記録装置１０６が同一の電子装置の一部であってもよい実施形態では、メモリ１２４、１２６、１２８は、同じ位置に設けられてもよい。動画記録装置１０４及び音声記録装置１０６が同一の電子装置の一部であってもよい実施形態では、メモリ１２６、１２８は、同じ位置に設けられてもよい。

一実施形態において、ユーザは、動画記録装置１０４及び／又は音声記録装置１０６を使用して、現場又はイベントの動画及び／又は音声を記録してもよい。一実施形態において、動画記録装置１０４及び／又は音声記録装置１０６は、ビデオカメラ、スマートフォン等の同一の記録装置の一部であってもよい。記録された動画及び音声は、上記で説明したような電子メモリ１２６に格納されてもよい。一実施形態において、センサ１０２は、動画に記録されている対象物などの対象物に配置されてもよい。

上記したように、センサ１０２によって生成されるデータは、電子メモリ１２４に格納されてもよい。加えて、センサ１０２によって生成されるデータは、図１に示すような電子メモリ１２４に格納される前に、入力変換器１１２によって変換されてもよい。センサデータの変換は、任意に行われる段階と考えられ、変換が必要であるか否かは、使用されるセンサの性質による。センサ１０２の実施形態の詳細については後述する。

動画、すなわちメディアファイルを再生するように構成されたメディアプレーヤの一部を構成してもよいデコーダ１１６は、センサ１０２によって生成されたデータを電子メモリ１２４から読み出し、電子メモリ１２６に格納されている記録済みの音声データ及び動画データと、当該読み出したデータとを時間的に関連付ける。メディア再生の間に、デコーダ１１６は、センサのデータを出力変換器１１４を通過させてもよく、出力変換器１１４は、センサデータを触覚出力信号又は触覚感覚のコマンドへと変換するように構成される。触覚出力信号又は触覚感覚のコマンドは、これに限定されないが、例えば、振動、表面摩擦変調、皮膚をつまむ、皮膚を強く押す、といったものを含む。デコーダ１１６は、センサデータから変換された触覚出力信号と、動画データ及び音声データとを同期させて、再生の際に、触覚効果が、動画及び音声と同期されるようにする。一実施形態において、再生の間に動画データ、音声データ及び触覚効果における時間が一致していることを確かにすることで、完了する。

システム１００はまた、プロセッサ１１０と信号通信を行いユーザがシステムにデータを入力することを可能にするように構成されたユーザ入力装置１４０を含んでもよい。例えば、ユーザはセンサ１０２及び触覚効果に関連するパラメータを選択することによってデータを入力してもよい。これについては後述する。ユーザ入力装置１４０は、メニュー又は他の種類の一覧形式でパラメータを表示するように構成されたディスプレイを含んでもよい。一実施形態において、ユーザ入力装置１４０は、再生装置１３０の一部分であってもよい。一実施形態において、ユーザ入力装置１４０は、動画記録装置１０４０の一部分であってもよい。図示した実施形態は、限定することを意図していない。

プロセッサ１１０は、汎用又は特殊用途プロセッサ、あるいはシステム１００の動作及び機能を管理又は制御するマイクロ・コントローラである。例えば、プロセッサ１１０は、触覚効果を提供するために、触覚出力装置１１８への出力信号を制御する特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ：「ＡＳＩＣ」）として、特に設計されてもよい。プロセッサ１１０は、どのような触覚効果が生成され、当該触覚効果がどのような順序で生成され、および／またはどの程度の大きさ、頻度、持続時間、および／またはその他のパラメータを触覚効果が有するかを、所定の係数に基づいて決定する。また、プロセッサ１１０は、特定の触覚効果を提供するために触覚出力装置１１８を駆動するのに使用され得るストリーミング・コマンドを提供するように構成されてもよい。ある実施形態では、プロセッサ１１０は複数のプロセッサを含み、当該プロセッサの各々がシステム１００の内部で特定の機能を果たすように構成されている。プロセッサ１１０は、触覚効果プロファイル、触覚出力装置１１８がどのように駆動されるべきか示した命令、及び／又は、触覚効果を生成するためのその他の情報を含んでもよい一の又は複数の記憶装置を備えるメモリを有してもよい。図１に示したシステム１００全体が、一つの電子装置の一部である一実施形態では、メモリ１２４、１２６は、プロセッサ１１０の一部であってもよい。

触覚出力装置１１８を含む電子再生装置１３０を通じてメディアを体験する人が、再生されるイベントをより完全に体験できるようにするべく、触覚出力信号が、プロセッサ１１０、例えば、プロセッサ１１０ののデコーダ１１６から触覚出力装置１１８へと送信されてもよい。電子再生装置１３０は、電子携帯端末のような任意の装置であってよく、例えば、携帯電話、ゲーム機器、パーソナルデジタルアシスタント（ＰＤＡ）、ポータブル電子メール装置、ポータブルインターネットアクセス装置、計算器、タブレット等であってもよい。電子再生装置１３０は、これに限定されないが、ディスプレイ１２０を備える携帯用デバイスを含んでもよい。ディスプレイ１２０は、メディアを再生する高画質ディスプレイであってもよい。電子再生装置１３０は更に、触覚感覚又は触覚効果を生成することができる携帯可能な物体、ユーザの身体に取り付けることができる物体、ユーザに寄り掛からせることができる物体、又は、ユーザに触知的感覚送信することができる物体を備えてもよい。

一実施形態において、プロセッサ１１０及び触覚出力装置１１８は、電子携帯用デバイスの一部であってもよく、電話又はタブレットの一部であってもよい。電子携帯用デバイスは、動画データを、例えばテレビである別個のディスプレイ１２０に出力するように構成されてもよい。

一実施形態において、システム１００は、センサ１０２のためのジャイロスコープ、コンパス及び３軸加速度計センサを有する携帯電話、並びに、動画記録装置１０４のための内蔵カメラを備えてもよい。この例では、データ記録センサ１０２、動画記録装置１０４、音声記録装置１０６、デコーダ１１６及び出力変換器１１４を含むプロセッサ１１０、触覚出力装置１１８、ディスプレイ１２０、スピーカ１２２、入力変換器１１２、及び、電子メモリ１２４、１２６、１２８を含む、図１に示される全ての構成要素は、自己完結型であってもよい。また、システム１００全体が、人又は対象のアクティビティを実行する機器の一部に取り付けられてもよい。

一実施形態において、一人称視点ビデオカメラをヘルメット又は対象のアクティビティを実行する機器の一部に取り付けてもよい。ビデオカメラは、複数のデータセンサ１０２が組み込まれてもよく、例えば、必要に応じて、加速度計、グローバルポジショニングシステム（「ＧＰＳ」）、ジャイロスコープ、入力変換器１１２、電子メモリ１２４、動画記録装置１０４、音声記録装置１０６及び電子メモリ１２６が組み込まれてもよい。システム１００の残りの部分、例えば、デコーダ１１６及び出力変換器１１４を含むプロセッサ１１０、触覚出力装置１１８、ディスプレイ１２０及びスピーカ１２２は、例えば、上記で説明した電子再生装置１３０のような別個の再生装置に配置されてもよい。

一実施形態において、加速度計、ＧＰＳ等の一の又は複数のデータセンサを含み得るセンサ１０２（複数の場合もありうる）が、人又は対象のアクティビティを実行する機器の何れかに取り付けられてもよい。センサ１０２は、センサボックス、又は、センサ１０２を保護するように構成されたその他の筐体に収容されてもよい。センサボックスは、例えば、内蔵の入力変換器１１２及び電子メモリ１２４のようなデータ記憶手段を備えてもよい、又は、アクティビティの間にデータを記録するべく第２の装置（例えば、携帯装置）とのデータ接続を利用してもよい。

一実施形態において、センサ１０２は動画の対象である人に装着されてもよく、動画記録装置１０４及び必要に応じて音声記録装置１０６は他の人に操作されてもよい。例えば、動画の対象である人は、バイクのライダー、スノーボーダー、またはスキーヤーでもよく、少なくとも１つのセンサ１０２がその人の衣服又は装備、例えばスノーボーダーのブーツ、ヘルメット、又はスノーボードに取り付けられてもよい。センサ１０２は、スノーボードによって体験されるｇ力加速度を提供するように構成された加速度計と、スノーボードの方位を提供するように構成されたジャイロスコープセンサと、及びスノーボーダーのブーツによってスノーボードに加えられる負荷を提供するように構成された接触圧センサとを含んでもよい。一実施形態において、音声記録装置１０６は例えばスノーボーダーのヘルメットなどの衣服又は装備に取り付けられ、雪上を通過するスノーボードの音を取り込んでもよい。

一実施形態において、加速度データ、ジャイロスコープデータ、及び接触圧データののストリームが動画データ及び音声データと共に記憶される記録セッションが開始されてもよい。動画記録装置１０４及び／又は音声記録装置１０６は、例えばスノーボーダーのヘルメットに取り付けられてもよい。一実施形態において、動画記録装置１０４及び／又は音声記録装置１０６は、スノーボードの滑走が行われるスキー場のハーフパイプの様々な場所に設置された多数のビデオカメラでもよい。一実施形態において、上記のように、動画記録装置１０４はスノーボードの滑走が行われるスキー場のハーフパイプの様々な場所に設置された多数のビデオカメラでもよく、音声記録装置１０６はスノーボーダーの衣服又は装備に取り付けられてもよい。センサ１０２、動画記録装置１０４、及び音声記録装置１０６の配置のその他の組合せを用いてもよく、また記録される活動によってこの組合せを変えることで、最適な触覚／音声／視覚体験が、電子再生装置１３０のユーザによって再生中に認識されるようにしてもよい。これらのデータストリームの全ての同期は、図１のシステム１００のプロセッサ１１０内に配置されていてもよい記録ソフトウェアによって管理されてもよい。

一実施形態において、一つのファイルコンテナに動画及び音声以外のデータも格納可能とする、例えば、ＭＰＥＧ−４のようなフレキシブルなコンテナフォーマットを使用してもよい。このような一実施形態では、記録中にセンサデータをＭＰＥＧ−４ファイル内に配置するために、エンコーダの特定のセットが必要になる場合もある。一実施形態において、非音声・画像（Ａ／Ｖ）センサデータを別個のファイルに格納するべく、専用のソフトウェアを作ってもよいが、再生時に適切な同期を可能とするべくセンサデータに特別なマーカが必要となる。このような実施形態では、設計された記録フォーマットの制約に適合させるようにセンサデータを整形する以外に、入力変換を行う必要はほとんどない。正確なフォーマットは、実装者によって決定されてもよい。スノーボーダーがアクティビティを完了させると、記録が停止されてもよい。この場合、ＭＰＥＧ−４ファイルが閉じられて、全てのセンサデータがＭＰＥＧ−４ファイルに配置されてもよい。

一実施形態において、再生装置は、図１の電子再生装置１３０であってもよく、ディスプレイ１２０、スピーカ１２２、及び、触覚効果を提供する触覚出力装置１１８のような振動装置を有する携帯電話又はタブレットの形態であってもよい。一実施形態において、再生装置は、ディスプレイ１２０及びスピーカ１２２を有するテレビと、触覚効果を提供する触覚出力装置１１８を有するゲームパッドのようなゲーム周辺機器と接続されるゲーム機であってもよい。

アクティビティが実行された後に又は実行されるのと同時に、一の又は複数の視聴者が、アクティビティを体験するのに興味を示したとする。アクティビティを再生するべく、視聴者は、パフォーマのアクティビティを体験するという目的で、視聴者の再生装置で適切な再生ソフトウェアを起動することができる。一実施形態において、再生ソフトウェアは、デコーダ１１６によって実行されるセンサデコード方式を組み込んだ再生ソフトウェアアプリケーション、及び、再生装置における触覚出力装置１１８に適した触覚出力信号へとセンサデータを変換するべく出力変換器１１４によって実行されてもよい出力変換ソフトウェアを含んでもよい。一実施形態において、再生ソフトウェアアプリケーションは、センサデコード方式を組み込んでもよい。再生ソフトウェアは、再生装置内に存在する又は予めインストールされる出力変換ソフトウェアを利用してもよく、当該出力変換ソフトウェアは、再生装置における触覚出力装置１１８に適した触覚出力信号へとセンサデータを変換してもよい。すなわち、出力変換器１１４及び／又はデコーダ１１６は、再生装置に位置してもよい。

一実施形態において、再生ソフトウェアアプリケーションは、メディア再生を実行するべく、センサでコード方式を組み込んだ再生装置のオペレーティングシステムソフトウェアを利用してもよい。オペレーティングシステムは、再生装置内に存在する又は予めインストールされる出力変換ソフトウェアを利用してもよく、当該出力変換ソフトウェアは、再生装置における触覚出力装置１１８に適した触覚出力信号へとセンサデータを変換してもよい。そして、視聴者は、パフォーマンスの表示と関連付けられた触覚感覚を体験する。触覚感覚は、出力変換ソフトウェアによって生成される。

一実施形態において、出力変換ソフトウェアはセンサデータの一部を含み、他のセンサデータは無視されてもよい。例えば、ジャイロスコープデータが含まれ、接触圧センサデータが無視されてもよい。加速度データの大きさは、Ｘ−Ｙ−Ｚ加速度成分のベクトルの大きさを計算することによって求めることができる。この加速度の大きさの信号はその後バンドパスフィルタにかけられ、２０Ｈｚから２００Ｈｚの範囲にある加速度の大きさの信号のみが出力され、他の周波数成分が取り除かれてもよい。フィルタで処理された加速度信号は、その後ソフトニー圧縮アルゴリズムで処理され、＋６ｇと−６ｇの間の出力の大きさを切り取り、すべてのマイナス信号をゼロ化／無視し、結果として生じる圧縮された単側波出力信号を用いて、触覚出力装置によって提供される振動の大きさが０％から１００％の振動の間で制御される。このように、視聴者はパフォーマのスノーボードによって感知された加速度の変化の表現を感じることができる。

一実施形態において、加速度データ、ジャイロスコープデータ、及び接触圧センサデータは、以下のように組み合わされて触覚出力信号となる。接触圧が低い場合、スノーボーダーはジャンプしていると考えられ、よってすべての触覚出力はゼロになる。接触圧が大きい場合、接触圧は加速度の大きさによって乗算されてもよい。この出力はその後方位信号（ジャイロスコープ信号から得られた方位ヘディングの初回派生物）の変化によって乗算され、「アクティビティ強度」信号が得られる。この信号にはその後フィルタ処理と圧縮処理が行われ、パフォーマがスノーボードで滑走中に体験する感覚の範囲の合理的な表現が得られる。この信号は再生装置の触覚出力装置１１８に与えられる。

一実施形態において、接触圧が低い場合、スノーボーダーはジャンプしていると考えられ、よってすべての触覚出力はゼロになる。接触圧が大きい場合、加速度の大きさを例えば１００Ｈｚから２００Ｈｚの範囲でバンドパスフィルターで処理し、その出力範囲をハードニー圧縮装置を用いて高密度に圧縮してもよい。この信号は再生装置の触覚出力装置１１８に与えられる。触覚出力装置１１８を持っている、あるいは他の方法でこれと接触している視聴者は、その後、出力変換器１１４によって生成され触覚出力装置１１８によって出力された感覚を感じ取ってもよい。

本発明の実施形態によれば、複数のセンサ１０２を上述のシステム１００の一部として用いてもよい。センサ１０２は、例えば加速度計、ジャイロスコープ、慣性計測装置（ＩＭＵ）、接触センサなどの、記録されるイベントの対象に取り付けられるスタンドアロンのセンサであってもよい。例えばセンサ１０２は、ヘルメット、ベルト、靴、ブーツなど、対象となるアスリート又はユーザの身体又は衣服に取り付けられるか、又はバイク、スノーボード、スキーなどのスポーツ用品に取り付けられてもよい。センサ１０２は、走行中又は移動中にユーザが身に着ける他のウェアラブルな装備、例えば、スマートフォン、アクションカメラ、スマートウォッチなどに埋め込まれてもよい。

図２は本発明の一実施形態の模式図である。第１のセンサ２１０は、例えばバイクのライダーのヘルメットに取り付けられ、第２のセンサ２２０は、例えばバイクの前輪を支持する前フォークに取り付けられ、第３のセンサ２３０は、例えばバイクのメインフレームに取り付けられ、第４のセンサ２４０は、例えばバイクの後輪を支持する後フォークに取り付けられてもよい。センサ２１０、２２０、２３０、２４０によって取り込まれたデータは、装置又はセンサに記憶又は記録され、あるいはリアルタイムでリモートのデータベース２５０に（例えば無線で）ストリームされる。このデータベース２５０は上述のプロセッサ１１０の一部であってもよい。環境内に固定された異なる音声記録装置１０６によって取り込まれた音声トラックも、触覚を生成するために使用可能な感覚データと見なすことができる。生成された触覚トラック２６０は、動画とともに埋め込まれるか、又はリモートのサーバに記憶されて動画の再生時にストリームされてもよい。また、触覚出力装置１１８によって生成される触覚効果は、ストリームされたデータを用いてリアルタイムで生成されてもよい。

一実施形態において、ユーザは異なるセンサ１０２を自身の衣服及び装備に固定し、最適なデータを取り込めるようにしてもよい。センサの配置構成は本発明の実施形態に係るガイドラインに従ってもよく、又は他の実施形態においては、ユーザの好みに合うように行ってもよい（より経験の豊かなユーザの場合）。ガイドラインはどのセンサがどの状況に最も適しているかに基づいている。例えば、スノーボーダーが雪の感触を取り込んでそれを自身の映画に付け加えた効果として表現したい場合、スノーボーダーはガイドラインに従って自身のスノーボードに加速度計を固定することになる。

音声トラックと動画トラックを含むすべてのメディアトラックとすべてのデータチャネルとを同期するためには、ユーザは特定のサイン動作、例えば３回連続のジャンプを、すべてのセンサ及び動画及び音声記録装置が読み取ったデータ内でそのサイン動作が認識できるように、行わなければならない。内部クロックを有するセンタについては、すべてのセンサの内部クロックを同じタイミングに同期することによってもデータの同期が可能である。センサデータ及びメディアコンテンツが取り込まれた後、触覚トラック生成プロシージャが、以下に述べる本発明の実施形態に従って開始されてもよい。

一実施形態において、ユーザはユーザ入力装置１４０を用いて、アクティビティの種類をバイク乗車、モトクロス、スノーボード滑走、スキーなどに特定し、その後、センサの位置を足首、バイクのフォークなどに特定し、センサの種類をＩＭＵ、加速度計、音声などに特定し、またサンプリングレートを２００Ｈｚなどに特定してもよい。一実施形態において、センサの位置及び種類は、システムのセンサ構成の一般的なガイドラインを用いて定められ、ユーザ入力装置１４０を介してユーザに提示された既定値のメニュー又はリストから、ユーザによって選択されてもよい。一実施形態において、センサの種類とサンプリングレートは、センサがシステム１００に接続されたときに自動的にシステム１００によって特定されてもよく、これは重要な記述子のすべてを含む、センサに埋め込まれた特定のヘッダを読み取ることで行ってもよい（すなわち、「スマートセンサ」）。システム１００は、その後各センサに番号のラベルを付与し、取り込まれたデータにも自動的にラベルを付与する。システム１００は、ユーザ入力装置１４０を介して、センサの配置のオーバーレイ及びセンサの異なる軸チャネルのイラストレーションを用いた、装備又は衣服の視覚的なプロトタイプを表示してもよい。

ユーザ入力装置１４０を介してユーザが選択した特定のシーンでは、ユーザはユーザ入力装置１４０を介して特定の種類の触覚効果を選択してもよい。そのためには、ユーザはそのシーンに最適なデータを提供できると自身が考えるセンサの位置を特定し、そのシーンの開始と終了のタイミングを特定してもよい。選択されたセンサ記述子（種類及び位置）を有することによって、システム１００は、データから自動的に生成できる実現可能な異なる触覚効果（例えば、感触、衝突、信号エンベロープなど）を提示してもよい。システム１００はまた、既定のパターンを与えられた場合、１つの特定の効果を提示してもよい。一部の特定の効果については、ユーザはセンサから特定のデータチャネル（例えば、３次元加速度計の場合には、特定の軸の加速度）を選択する必要があるが、これについては後述する。

例えば、「バイクに乗る」アクティビティにおいて、センサテーブルに加速度計として記述されている「フォーク」をユーザがセンサとして選択した場合、システムは「衝突効果」、「エンベロープ効果」、及び「感触効果」をユーザ入力装置１４０を介して提示してもよい。ユーザが「衝突効果」を選択した場合、システム１００は、触覚トラック２６０を得る際にどの軸の加速度データ（例えば、Ｘ軸）を用いるかをユーザに問い合わせる。「感触効果」が求められる場合、システム１００は、ユーザに追加の入力を求めなくても使用可能な３つの加速度チャネルを使用することができる。アクティビティ、センサの位置及び種類、及び実現可能な効果の間の対応関係は、システム１００のプロセッサ１１０において専門知識を用いて事前にプログラムされてもよい。一実施形態において、あるシーンにおいて用いるセンサの選択は、そのシーンに関連するすべてのデータを分析し、最大のアクティビティ／エントロピーを提示するチャネルを選択することによって、自動的に行われてもよい。

そのシーン用に選択された効果の種類によっては、システム１００は、より人の注意を引く触覚効果を生成するために、単一のセンサから得られるよりも多くの情報を用いることが必要になる場合もある。例えば、回転効果を生成するためのジャイロスコープデータを処理する際、システム１００はジャイロスコープと同じ位置から取り込まれた加速度データが利用可能であればこれを用いてもよい。生成された効果は反映されるが、その後対象物又はアスリートの回転が空中で行われる場合、より強度の低い効果となる。

任意のセンサの情報を用いて触覚化されるすべてのシーンのリストが完成すると、システム１００はデータベース２５０から関連する感覚データを取得し、効果の種類ごとに特定のアルゴリズムを適用して、シーンごとの触覚効果信号を生成する。このアルゴリズムについては後述する。異なるシーンの触覚効果を生成した後、システム１００は類似の種類の効果を１つのトラック内で連結し、その後そのトラックをその最大値に分割することによって、そのトラックを正規化する。

異なる効果のトラックは、その後集合されて最終触覚トラック２６０を形成する。各々の効果トラックは所与の重みを付与して集合され、ユーザによって各効果に与えられた重要度を反映するようにしてもよい。例えば、ユーザが衝突効果を促進し、感触効果を抑制しようとする場合、ユーザは衝突効果に対応する第１のトラックに０．８の重みを付与し、感触効果に対応する第２のトラックに０．５の重みを付与してもよい。

一実施形態において、システム１００は、クリップの継続時間の全体にわたって、センサの種類及び位置に基づき、各センサ及びチャネルごとに実現可能な触覚トラックのすべてを生成してもよい。例えば、加速度計の場合、システムは「感触効果」用のトラック、「エンベロープ効果」用の別のトラック、及び「衝突効果」用の軸こどのトラックを生成してもよい。

一実施形態において、ユーザは、ＰｒｏＴｏｏｌｓなどの動画編集ソフトウェアフレームワークにおいて、生成された複数の異なる触覚効果を提示されてもよく、また各トラックを編集し又は切り取ってクリップ用の最終的な触覚効果を生成する選択肢を有してもよい。ユーザは、音声編集におけるように、異なるトラックを混合する前にそれらを調節及び調整してもよい。一実施形態において、何らかのタイミングで各トラックの情報／エントロピーの量を与えられた場合に、システム１００は生成された触覚効果を分析し、各トラックを動画の一部に割り当てもよい。

バイク乗車、モトクロス、スノーボード滑走、スキーなどの特定のアクティビティについて関連する触覚効果を生成するために、センサの種類ごと及び求める触覚効果の種類ごとに異なるアルゴリズムを開発することが望ましく、これによってユーザは、各シーン／クリップ用により人の注意を引く触覚効果の種類を選択する柔軟性を得ることができる。効果はシーン／クリップ内の特定のイベント（当たる、はじくなど）に対応付けられてもよい。センサ信号内のイベントの識別は、アクティビティの種類によって異なってもよい。例えば、バイクが地面に当たると、スノーボードが氷に当たった場合に生成されるサインイベントとは異なるサインイベントが３次元加速度信号内に生成されてもよい。

図３は本発明の実施形態によって提供される複数のアルゴリズムを示しており、これらのアルゴリズムは以下に述べるとおり異なる状況に適応するために用いられる。このアルゴリズムは、上述のシステム１００のプロセッサ１１０のようなプロセッサ内の、一又は複数のモジュールでプログラムされてもよい。本明細書で記述されるアルゴリズムは、上述の方法によって複数のセンサが用いられる状況において用いられてもよい。以下の実施形態は異なる場合の異なるアルゴリズムの例として提供されるものであり、いかなる点においても限定的なものとして見なされるべきではない。

例えばバイクのような対象物に配置された加速度計（複数の場合もある）３１０によって感知された３次元加速度については、異なる種類のイベント及び効果が区別され、触覚化されてもよい。例えば、対象物に生じた衝突イベント、加速度エンベロープ、揺動イベント、及び／又は感触効果は、加速度計３１０によってデータ信号出力内で識別され、対応するアルゴリズムがデータ信号に適用されて触覚信号出力が生成され、このイベントに対応する触覚出力装置１１８に送られてもよい。

例えば、バイクが巧みな操作の後に強い力で地面と接触するとき、又はスノーボーダーがジャンプの後に強い力で地面と接触するとき、「衝突」イベントが発生する。バイク（又はモトクロス）の場合、このようなイベントは、バイクに取り付けられた加速度計によって感知される垂直加速度信号の顕著な頂点（スパイク波形）によって特徴づけられる。他の２つの軸のいずれかにおける突然の加速度変化によって衝突が生じる場合もある。スノーボード（又はスキー）滑走の場合、垂直及び中外側（ＭＬ）の加速度信号、及び前後（ＡＰ）軸上の低加速度信号の両方におけるスパイク波形によって衝突イベントは識別されてもよい。２つの衝突イベントアルゴリズム３１２を用いてこれを考慮にいれてもよい。

第１のアルゴリズムは、いわゆる「単純衝突」アルゴリズムであり、バイクアクティビティ、モトクロスアクティビティ、又は単一軸の加速度から衝突を識別できるその他のアクティビティに用いられるようになっており、この場合、信号の絶対値は既定の閾値、例えば５ｇよりも大きくなる。第１のアルゴリズムは単一の軸加速度信号を使用するものであり、ユーザは触覚化したい軸を指定する。既定値はアクティビティの種類及び対象物の衣服／装備上の加速度計の位置に合わせて設定され、起こり得る信号減衰を統合するようになっている。

第２のアルゴリズムは、いわゆる「３軸衝突」アルゴリズムであり、衝突を識別するために３軸加速度信号を用いる。第２のアルゴリズムは３軸のうち２軸の合成加速度値を推定することによって開始される。この推定された合成加速度値がアクティビティごとに定められる既定の閾値よりも高く、第３の軸加速度がその既定の閾値よりも低い場合には、衝突が見出される。第２のアルゴリズムは、スキーやスノーボード滑走のようなアクティビティにより適している。

衝突イベントが検知されると、第１及び第２の衝突効果アルゴリズム３１２は、そのイベントと同じタイミングで触覚効果３６０内に、短い（例えば６０ミリ秒）が完全な大きさの効果を挿入する。

加速度エンベロープアルゴリズム３１４を用いて、例えばバイクに生じるエンジン音や小規模な衝突などの異なる種類のイベントを触覚化してもよい。この加速度エンベロープアルゴリズム３１４は、センサ３１０からの単一の軸加速度信号又は３軸信号を組み合わせた合成の信号を用い、二乗平均の平方根（ｒｍｓ）、平均値、又は連続するウィンドウの最大値を用いて加速度を計算することにより、上記の信号から触覚効果を得る。このアルゴリズムについては、ユーザは上述のユーザ入力装置１４０を介して３軸のうちのどの軸を考慮するかを指定してもよい。信号が既定の閾値（アクティビティごとのノイズ閾値）よりも大きく、上述の「衝突」閾値よりも小さい場合にのみ、エンベロープは計算される。

揺動イベントは、例えばスキーやスノーボード滑走のアクティビティにおいて、スキーヤー又はスノーボーダーが中外側の軸上で高速でドリフトする場合に発生する。揺動イベントは中外側の軸上の加速度が特定の閾値よりも高い場合に識別される。揺動効果アルゴリズム３１６は、センサ３１０からの信号出力においてイベントを検知し、このイベントを通して（例えば、１秒間）上述のように加速度エンベロープを計算し、また、このエンベロープを用いて対応する触覚効果を生成する。

感触効果アルゴリズム３１８は、表面目標に可能な限り近い位置で取り込まれた３軸に沿う加速度を用いて感触効果を表現するために用いられる。例えば、雪の感触触覚効果は、スノーボード又はスキーそのものの加速度を用いることでよりよいものが得られる。バイクの場合は、バイクのフォークから得られる加速度（未減衰の加速度信号）を用いて地面の感触を得ることが通常はより適している。３軸の加速度信号を高速フーリエ変換（「ＦＦＴ」）を用いて時間ドメインから周波数ドメインに変換し、そのドメインにおけるベクトルとして加えることで単一の信号を形成してもよい。この合成信号は、当該技術において知られるように、その後再度の変換によって時間ドメインに戻されてもよい。したがって、この変換処理の詳細について本明細書では説明しない。加速度のエンベロープについて上記したように、感触効果はこの合成信号のエンベロープを計算することによって生成される。

３次元ジャイロスコープ３２０の形態であるセンサについては、回転エンベロープアルゴリズム３２２を用いて、例えばバイクのハンドルバーの回転、スノーボードの３６０度の宙返り、スノーボードの突然の回転／停止など、異なる種類のイベントを触覚化してもよい。回転エンベロープアルゴリズム３２２は単一軸回転速度信号を用い、二乗平均の平方根（ｒｍｓ）、平均値、又は連続するウィンドウの最大値を用いて信号エンベローブを計算することにより、上記の単一軸回転速度信号から触覚効果を得る。このアルゴリズムについては、ユーザは３軸のうちのどの軸を考慮するかを指定してもよい。信号が既定の閾値（アクティビティごとのノイズ閾値）よりも大きい場合にのみ、エンベロープは計算される。ハンドル又はハンドルバーの回転の場合、閾値が低いとイベント以外の低速の回転を除去することができ、一方閾値が高いと「興味深いイベント」と相関する突然の高速の動きのみを触覚化することを意味する。

アスリートの靴の下又は中、スノーボードの下、又はバイクの座席の上に接触センサを埋め込むことにより、（パルクール、スノーボード滑走、モトクロスなどで）例えばアスリートが空中にジャンプしたとき及び再び着地したりときなどのイベントを検知することができる。着地イベントは接触センサの出力信号におけるスパイク波形によって特徴付けられるが、その後、例えば５０ミリ秒程度の短くかつ強い効果を加えることによって触覚化してもよい。アスリートの空中時間を検知することによって、他のセンサから得たその他の効果の強さの調整に影響する場合もある。例えば、回転エンベロープはアスリートが空中にいるときには強度が低下する。

上述の発明の実施形態は、ユーザが自ら取り込んだメディア作品のための触覚効果を自動的に得るのに役立つ方法論を提供する。上述の例はスポーツメディア全般に焦点を当てており、この場合、一又は複数のセンサがメディア作品中の動作に関するデータを取込みが、本発明の実施形態はこれに限定されない。上述のシステムはセンサデータのすべてをユーザの介入が全く又はほとんどなく処理することを考慮しており、メディアコンテンツを増大させて視聴体験を向上させる関連する触覚トラックを提供する。

本発明の上述の実施形態は、異なるセンサを用いる最適な方法及びあるタイミングでこれら異なるセンサの組合せから触覚効果を生成する方法も提供する。異なるセンサの使用によって人の注意を引く触覚効果を生成するよりよい機会が得られるものの、ユーザは使用可能なデータの量に圧倒されるように感じ、同時にこれらのデータの使い方や、触覚を得るためにいつどのセンサ及びどのアルゴリズムを適用すべきかについて混乱するかもしれない。本発明の実施形態は、アスリート又は装備が異なるセンサを装備して取り込まれたデータと触覚変換アルゴリズムとのリンクを提供する場合の、センサから触覚までのワークフローを提供し、よってユーザによって生成されたコンテンツのための触覚を複数のセンサのデータから生成する手順を最適化する。本発明の実施形態は、ユーザがガイドライン及び提案を必要に応じて用いてこの手順を実行するようにガイドし、時として触覚効果の生成を最適化するために、異なるセンサから得られる情報を融合する。

本発明の実施形態は、手間をかけずにセンサデータを用いて異なる触覚効果を生成することに適したアルゴリズムを提供する。これによってユーザのタスクは容易になる。本発明の実施形態は、触覚効果を推論するために、動作を記述するデータをユーザが用いることを可能にし、これによってユーザは生成された触覚トラックが実際の動作に関連付けられていることを確認できる。上述の異なるアルゴリズムによって、ユーザは異なる種類の効果を容易を生成し、自らが好む効果を選択することができる。

本明細書に記載された実施形態は、実施可能な実装例および実施例であるが、本発明を特定の実施形態に制限することを必ずしも意図するものではない。むしろ、これらの実施形態には、当該技術分野における当業者に理解できるような変更を加えることができる。このような変更が加えられた態様も本発明の要旨及び範囲に含まれ、そして以下の請求項によって保護されるべきものである。

Claims (22)

1. センサと、
   前記センサによって出力された信号を受信し、
   前記センサの位置及び記述子を決定し、
   動画のシーン選択を決定し、
   前記選択されたシーン、前記センサによって出力された前記信号、及び前記センサの位置及び記述子に基づいて触覚信号を生成する
   ように構成されたプロセッサと、
   前記触覚信号を受信し、前記触覚信号に基づいて触覚効果を生成するように構成された触覚出力装置と、
   を備えるシステム。
2. 前記プロセッサがさらに、求める触覚効果を決定し、前記選択されたシーン、前記センサによって出力された前記信号、前記センサの位置及び記述子、及び前記求める触覚効果に基づいて前記触覚信号を生成するように構成された、請求項１に記載のシステム。
3. 前記センサが、加速度計、ジャイロスコープ、慣性計測装置、及び接触センサからなる群から選択される、請求項１に記載のシステム。
4. 前記システムのユーザが前記センサの位置及び／又は記述子を指示することを可能にするように構成されたユーザ入力装置をさらに備える、請求項１に記載のシステム。
5. 前記システムのユーザが前記シーンを選択することを可能にするように構成されたユーザ入力装置をさらに備える、請求項１に記載のシステム。
6. 前記システムのユーザが前記求める触覚効果を選択することを可能にするように構成されたユーザ入力装置をさらに備える、請求項１に記載のシステム。
7. 前記プロセッサが前記選択されたシーンの動画と前記触覚信号とを同期させるようにさらに構成された、請求項１に記載のシステム。
8. 前記触覚出力装置によって生成された前記触覚効果と同期された前記選択されたシーンの前記動画を表示するように構成されたディスプレイをさらに備える、請求項７に記載のシステム。
9. 複数のセンサをさらに備え、
   前記プロセッサが
   前記複数のセンサから出力された信号を受信し、
   前記複数のセンサの位置及び記述子を決定し、
   前記選択されたシーン、前記複数のセンサによって出力された前記信号、及び前記複数のセンサの位置及び記述子に基づいて前記触覚信号を生成する
   ように構成された、請求項１に記載のシステム。
10. センサからセンサデータを受信する工程と、
    前記センサの位置及び記述子を決定する工程と、
    動画のシーン選択を決定する工程と、
    前記選択されたシーン、前記センサデータ、及び前記センサの位置及び記述子に基づいて触覚信号を生成する工程と、
    を備える方法。
11. 前記動画の前記選択されたシーンと前記触覚信号とを同期させる工程をさらに備える、請求項９に記載の方法。
12. 複数のセンサからセンサデータを受信する工程と、
    前記複数のセンサの位置及び記述子を決定する工程と、
    前記選択されたシーン、前記センサデータ、及び前記複数のセンサの位置及び記述子に基づいて前記触覚信号を生成する工程と、
    をさらに備える、請求項９に記載の方法。
13. センサと、
    前記センサからの信号を受信し、前記センサに対応するイベント及びアクティビティの種類を決定し、前記センサからの前記信号及び前記センサに対応するイベント及びアクティビティの種類に基づいて触覚信号を生成するように構成されたプロセッサと、
    前記触覚信号に基づいて触覚効果を生成するように構成された触覚出力装置と、
    を備えるシステム。
14. 前記センサが、加速度計、ジャイロスコープ、慣性計測装置、及び接触センサからなる群から選択される、請求項１３に記載のシステム。
15. 前記イベントの種類が、衝突イベント、揺動イベント、加速度イベント、回転イベント、着地イベント、及び感触接触イベントからなる群から選択される、請求項１３に記載のシステム。
16. 前記アクティビティがバイク乗車、モトクロス、スノーボード滑走、及びスキーからなる群から選択される、請求項１３に記載のシステム。
17. 前記プロセッサが前記イベントの動画と前記触覚信号とを同期させるようにさらに構成された、請求項１３に記載のシステム。
18. 前記触覚出力装置によって生成された前記触覚効果と同期された前記イベントの前記動画を表示するように構成されたディスプレイをさらに備える、請求項１７に記載のシステム。
19. 前記触覚出力装置によって出力される前記触覚効果を選択するために、前記プロセッサに入力を提供するように構成されたユーザ入力装置をさらに備え、前記触覚効果が衝突効果、揺動効果、感触効果、空中時間効果、加速度エンベロープ、及び回転エンベロープからなる群から選択される、請求項１３に記載のシステム。
20. センサによって出力されたセンサデータを受信する工程と、
    前記センサデータに対応するイベント及びアクティビティの種類を選択する工程と、
    前記センサデータ、前記イベント及びアクティビティの種類に基づいて触覚信号を生成する工程と、
    を備える方法。
21. 前記センサによって出力されたセンサデータを受信する工程は、複数のセンサによって出力されたセンサデータを受信する工程を含む、請求項２０に記載の方法。
22. 前記イベントの動画と前記触覚信号とを同期させる工程をさらに備える、請求項２０に記載の方法。

Images