JP6727575B2 - ハプティック相関グラフィック効果 - Google Patents

Description

関連出願の相互参照
本出願は、2016年1月26日に出願された「Haptic Correlated Graphic Effects」と題する米国特許出願第15／006888号の優先権を主張するものであり、その全体が再現されるかのように参照により本明細書に組み込まれる。

本出願は、ディスプレイ上のグラフィック効果に関し、特に、ハプティック相関グラフィック効果に関する。

現在の携帯電話は、ビューの並進移動として実装されたシェイクアニメーションを使用する。視覚的には、ビュー全体が左右に移動するように見える。

方法が、電子デバイスのディスプレイを頂点によって定義される複数の領域に分割するステップと、各頂点の時変位置をz次元に対して計算するステップと、アニメーションの表示歪みを生成するために、各頂点の時変位置を含む、ディスプレイのための画面を合成するステップと、を含む。

機械に動作を実行させるための、プロセッサによる実行のための命令を有する機械可読記憶装置。動作は、電子デバイスのディスプレイを頂点によって定義される複数の領域に分割するステップと、各頂点の時変位置をz次元に対して計算するステップと、アニメーションの表示歪みを生成するために、各頂点の時変位置を含む、ディスプレイのための画面を合成するステップと、を含む。

デバイスが、プロセッサと、プロセッサに結合されたディスプレイと、プロセッサに結合され、かつ動作を実行するための、プロセッサによる実行のためにプログラムを記憶したメモリデバイスと、を備える。動作は、ディスプレイを頂点によって定義される複数の領域に分割するステップと、各頂点の時変位置をz次元に対して計算するステップと、アニメーションの表示歪みを生成するために、各頂点の時変位置を含む、ディスプレイのための画面を構成するステップと、を含む。

例示的な実施形態による、モバイルデバイスディスプレイ上のグラフィック効果を示すブロック図である。 例示的な実施形態による、モバイルデバイス上で発生するハプティック効果と連動して、モバイルデバイスディスプレイ上にグラフィック効果を生成するモバイルデバイスを示すブロック図である。 例示的な実施形態による、ディスプレイを頂点によって定義される領域に分割するテッセレーショングリッドのブロック図である。 例示的な実施形態による、ディスプレイの透視投影を示すブロック図である。 例示的な実施形態による、頂点の振動をモデル化するためのピストンの動きの表現である。 例示的な実施形態による、ロッド位置と軸（axis or axle）の中心との間の距離となるように単純化された距離を決定するための計算の表現である。 例示的な実施形態による、正弦関数を使用して、ロッド位置と軸の中心との間の距離を計算するブロック図表現である。 例示的な実施形態による、パーリンノイズ関数の適用のハイブリッドブロック図およびグラフィック表現である。 例示的な実施形態による、アニメーションを提供する方法の流れ図である。 例示的な実施形態による、画面のアニメーションを提供するGLシェーディング言語（GLSL）コードの例である。 例示的な実施形態による、方法を実施するためのコンピュータシステムの概略ブロック図である。

以下の説明では、本明細書の一部を形成し、かつ実施され得る具体的な実施形態を例示として示す、添付の図面を参照する。これらの実施形態は、当業者が本発明を実施できるように十分詳細に記載されており、他の実施形態を利用することができ、かつ本発明の範囲から逸脱することなく構造的、論理的および電気的変更を行うことができることを理解されたい。従って、例示的な実施形態の以下の説明は、限定的な意味で解釈されるべきではなく、本発明の範囲は添付の特許請求の範囲で定義される。

本明細書で説明される機能またはアルゴリズムは、一実施形態ではソフトウェアで実施されてもよい。ソフトウェアは、ローカルまたはネットワークのいずれかの、1つ以上の非一時的メモリまたは他のタイプのハードウェアベースの記憶装置など、コンピュータ可読媒体またはコンピュータ可読記憶装置に格納されたコンピュータ実行可能命令から構成されてもよい。さらに、そのような機能は、ソフトウェア、ハードウェア、ファームウェアまたはそれらの任意の組み合わせであり得るモジュールに対応する。複数の機能が、必要に応じて1つ以上のモジュールで実行されてもよく、説明される実施形態は単なる例である。ソフトウェアは、デジタルシグナルプロセッサ、ASIC、マイクロプロセッサ、またはパーソナルコンピュータ、サーバもしくは他のコンピュータシステムなどのコンピュータシステム上で動作する他のタイプのプロセッサ上で実行されて、そのようなコンピュータシステムを具体的にプログラムされた機械に変えてもよい。

ハンドヘルド型デバイスのディスプレイ上に表示される画面（ユーザインターフェース）は、矩形、三角形または他の適用可能な形状などの複数の領域に分割される。これらの領域は、重なり合わないように、および／または画面（または表示される画面の表現）上に隙間なく配置されてもよい。形状は、辺および頂点（すなわち辺が接する点）で囲まれていてもよい。例えば、矩形は頂点（領域の角部）によって定義することができる。各矩形は複数のピクセルを含む。時間の経過と共に、頂点は、ディスプレイを見ているユーザに接近または離隔する、領域の振動をシミュレートするように変換または歪められる。ディスプレイのための画面は、モバイルデバイスに対するハプティック効果の発生と連動してアニメーションの表示歪みを生成するための、変形された頂点を含む。一実施形態では、アニメーションの表示は、ハプティック効果が生じている間に、またはハプティック効果の代わりに、アラートまたは他の通知の視覚的指示を提供するために、ハプティック効果と一致する。ディスプレイは、ディスプレイの一部のサイズが拡大または縮小されて、表示の歪みを生成する、透視投影に見ている人には見える。この歪みは、投影がユーザにとって最適に見えすぎるのを防ぐことと、ディスプレイ上にうねるようなみかけの投影を生成することと、の両方のために、パーリンノイズを波の関数として利用してもよい。

典型的なユーザインターフェースは、複数のアプリケーションによって生成された表面またはレイヤを合成した結果である。グラフィカルコプロセッサが、レイヤをアニメーションの表示に合成することを実施するために使用されてもよい。グラフィックコプロセッサはまた、合成中に歪み効果を加えるために使用されてもよい。アニメーションの表示歪みは、3次元のグラフィック効果を提供し、デバイスに対するハプティック効果のより良い視覚的表現を提供する。

図1Aは、例示的な実施形態による、モバイルデバイスディスプレイ上のグラフィック効果100を示すブロック図である。いくつかの表示要素110、115、および120が、モバイルデバイス上で動作するアプリケーションおよびオペレーティングシステムコードによって生成される。表示要素110は、第1のアプリケーションによって生成される表面である。表示要素115は、第2のアプリケーションによって生成される表面であり、また、表示要素120は、モバイルデバイス上で実行されるオペレーティングシステムコードなどの他のコードによって生成され得るステータスバーである。

表示要素は、モバイルデバイスによって合成され、モバイルデバイスのディスプレイ上に表示される。一実施形態では歪みが適用され、グラフィック効果100が得られる。一実施形態では、図示のようなグラフィック効果100は、ある時点におけるキャプチャされたフレームである。歪みは、画面の一部を、ディスプレイを見ているユーザに接近または離隔して見えるようにする。一実施形態では、ディスプレイは、32×48以上の領域に分割される。歪みは、画面の一部分において近くに見える部分が遠くに見える部品に徐々に移行するような関数に従って、画面全体に適用される。例えば、「電話オプション」という言葉は、概ね125に見える。「電話オプション」という言葉における「P」は、「o」および「n」よりも遠くに見える。「P」は、単一の領域または複数の領域内に提示することができる。一実施形態では、これらの視点（ユーザまたはカメラの視点からの「z」距離）の変化は、画面全体にわたって現れ、画面の「x」方向および「y」方向の両方で変化し得る。なお、「x」次元および「y」次元が、ディスプレイ上の左右方向、および上下方向に対応し、また「z」次元は、ユーザもしくはカメラの視点からディスプレイの内側および外側への深さの見え方、またはユーザの画面上の物体の奥行き知覚に対応する。表示要素に関連するユーザインターフェース機能は、表示要素が歪んでいるか否かとは独立であり得る。

図1Bは、モバイルデバイス150上で発生するハプティック効果と連動して、モバイルデバイスディスプレイ上にグラフィック効果100を生成するモバイルデバイス150を示すブロック図である。モバイルデバイス150は、簡略化した形態で示されており、アプリケーション、データ、およびプロセッサ155上での実行のための他のコードを記憶するメモリデバイス160に結合されたプロセッサ155を含むことができる。送受信機165は、1つ以上の無線ネットワークを介して無線通信を提供するために、プロセッサ155に結合される。送受信機165は、無線通信を送信および受信するための1つ以上のアンテナを含むことができる。ハプティック効果コントローラ170はまた、プロセッサ155に結合されてもよく、通話、電子メール、テキストメッセージまたは他のイベントの受信など、モバイルデバイス150上で発生するアラームまたは他の通知に応答する機械的振動などのハプティック効果の提供を制御してもよい。ハプティック効果は、選択されたイベントに対して発生するようにユーザインターフェースを介して構成することができる。ユーザインターフェースは、単に「リングトーン」「振動」「グラフィック歪み」などの、各イベントに対して望まれる効果のタイプのためのチェックボックスを有するイベントのリストであってもよく、これにより、ユーザがそのような効果を1つ以上選択することができる。コントローラ170は、ユーザ選択に応答するグラフィック効果の提供を制御する信号を提供するために、プロセッサ155上で実行するためのソフトウェアコードであってもよい。グラフィックエンジン175は、コントローラ170に応答するグラフィック効果を生成するために、プロセッサ155またはエンジン175内のグラフィックプロセッサ上で動作するプログラミングコードを含むことができる。

一実施形態では、ハプティック効果は、グラフィック効果100と相互に関連付けられる。電話などのイベントがハプティック効果を開始すると、グラフィックエンジン175は、グラフィック効果100を生成するために、コントローラ170を介して制御される。イベントがハプティック効果をトリガしない場合、グラフィックエンジン175は、歪みを排除することができ、180で示すように歪みのない表示をもたらすことができる。さらなる実施形態では、グラフィック効果は、ハプティック効果とは独立して、またはユーザの好みによって制御される際に選択的に生成されてもよい。例えば、ユーザは、ハプティック効果の有無にかかわらず、また、電話、テキストメッセージ、電子メール、または多数の異なるアプリケーションのうちの1つによって生成された他の通知の受信など、異なるイベントのリングトーンの有無にかかわらず、グラフィック効果を単に含めようとする場合がある。

図2は、8×10の領域のアレイを示すテッセレーショングリッド200のブロック図である。領域の角部は、「x」次元および「y」次元において、210で示されている。グラフィックディスプレイに対するハプティック効果は、テッセレーショングリッドに従って配置された複数のピストンからなるシェーカーベッドの上に画面が置かれたかのように、視覚効果をエミュレートするモデルに基づいて生成されてもよく、ピストンを上下に移動しながら、グラフィックディスプレイが画面上に表示され、各ピストンは、グリッド200の円に対応する。

角部210は頂点に対応する。各頂点210は、上下に移動する単一のピストンをエミュレートするために、円として描かれ、その上の表面のサイズを変化させ、画面を見ているユーザに接近またはさらに離隔するように見える。実際には、各頂点は点であり、ピストンベースのモデルを呼び出すために円として描かれる。従って、各頂点は、各ピストンによって効果的に移動され、頂点間の領域は、歪みが領域にわたって広がるように、頂点間で効果的に傾斜する。

図3は、300におけるディスプレイの透視投影を示すブロック図である。x、y、およびz次元を有する同じ座標系が使用され、このときzは、カメラ320として表される見る人からのディスプレイ310の部分の距離である。頂点がピストンによって見る人の方に押されると、頂点の周りの領域は見る人に接近して見えるように大きくなる。頂点がピストンによって見る人から離隔するように移動されるとき、頂点の周りの領域は、見る人から離隔して見える。頂点に対するピストン様の効果は、表示の歪みを生成する。投影行列を適用する前にエンジン175上で実行している頂点シェーダ内のz座標を歪ませることは、その効果を実現するために行うことができる。頂点シェーダは、仮想空間内の各頂点の3D位置をディスプレイ上に現れる2D座標に変換するグラフィック関数である。

図4は、頂点の振動をモデリングするためのピストン410の動きの表現400である。ピストン410は、420で示されるように軸の周りを回転するピストンロッド415に連結され、ピストン410を円筒425内で上下に移動させる。ピストン410は、図4の画像の時間シーケンスにおいて、430および435の異なる位置に表され、矢印は軸の回転方向およびピストンの動きを表す。

一実施形態では、ピストンの位置は、ディスプレイの頂点に関連付けられた「z」の表現である。ピストンの位置の動きに従って「z」（時間）の変化をモデル化することができる。「z」は、図5の2つの例示的な位置500および510に表されるように、ロッド415の位置と軸または軸の中心との間の距離に従って単純化された方法で決定することができる。

図6は、正弦関数を用いてロッド415の位置と軸の中心との間の距離を計算するブロック図表現600であり、距離または高さは、軸に対するロッドの角度の正弦であり、−1から1の間で変化する。回転をゼロ度として選択された軸に応じて、余弦関数をさらなる実施形態で使用することができる。

一実施形態では、各ピストンロッドの長さは、4つの周波数のノイズから計算された乱気流関数を有するパーリンノイズパターンを使用して経時的に変化する。これは、中央値から各周波数の絶対値を減ずることによって行われる。時間の経過に伴う、画面の結果としての歪みは、アニメーションと呼ぶことができる。アニメーション時間が長くなると、ピストンとノイズ関数との間のマッピングは、ハプティック効果がデバイスを通過する際に、波の効果を生成するために右にシフトする。アニメーションは、ハプティック効果の振動と相互に関連付けられ得る。

図7は、上記のパーリンノイズ関数の適用のハイブリッドブロック図およびグラフィック表現700である。4つのノイズ周波数は、710、715、720、および725で表される。一実施形態では、ノイズのグラフに示されているように、4つの周波数のノイズのそれぞれについて振幅を半分に減らすと共に、周波数を2倍にする。結果として得られる効果は、ノイズ730、735、740、および745の周波数の対応するグラフィカル表現（表面）で表され、ノイズ周波数が第3の次元に拡張されている。ノイズの周波数は750でテッセレーションされた頂点と組み合わされ、アニメーションが画面に適用される。一実施形態では、表面730は、750のテッセレーションされた頂点に適用される。各表面がすべてのテッセレーションされた頂点に適用されるように、表面735が表面730の各象限に適用され、表面740が表面735の各象限に適用され、表面745が表面740の各象限に適用される。

アニメーションを提供する方法800の簡略化された流れ図が、流れ図形式で図8に示されている。一実施形態における方法800は、810において、電子デバイスのディスプレイを、自身の頂点によって画定される複数の領域に分割するステップを含む。815において、各頂点時間に対する時変位置が計算される。820において、ハプティック効果に関連するアニメーションの表示歪みを生成するために、各頂点の時変位置を含むディスプレイ用の画面が合成される。方法800は、デバイスが着呼または他のアラートのための振動モードに置かれたときなど、モバイルデバイスのハプティック効果の生成を引き起こす任意のイベントによってトリガされてもよい。

一実施形態では、画面を合成するステップは、電子デバイス上で稼働するアプリケーションによって生成された画面ディスプレイに各頂点の時変位置を追加するステップを含む。さらなる実施形態では、視覚的な波効果を提供するために、各部分の時変位置が計算される。時変位置は、拡大位置と収縮位置との間で変化し、ディスプレイに歪みを生成することができる。上記のようなパーリンノイズ関数が、さらなる実施形態では、時変位置に加えられてもよい。強度値は、オン／オフステップ関数とは対照的に、優美なやり方で歪みをオンおよびオフに移行させるために使用されてもよい。

図9は、画面のアニメーションを提供する例示的なGLシェーディング言語（GLSL）コード900である。GLSLは、ディスプレイ上の表面のプレゼンテーションを修正するためのグラフィックパイプラインのより良い制御をプログラマに提供するための高水準シェーディング言語である。

コード900で使用される入力変数は以下を含む。

Z−モデル内でディスプレイが置かれるz位置を定義する定数（歪みのない深さ）

a＿position−ディスプレイ上の頂点の2次元位置（画面座標で定義されているpixel＃）

NoiseTexture−パーリンノイズパターンを含む結合テクスチャサンプラ。

テクスチャの各断片はベクトル4であり、各要素は異なる周波数を含む。

INTENSITY−効果の現在の強度を定義する、渡される変数。強度は、0．．1から変化し得る。（0はオフ、1は最大強度）

DEPTH−ピストンのデフォルトの長さ。

MVPMatrix−3Dと2Dとの間の透視変換を含む4×4行列。

一実施形態では、コード900は、（頂点シェーダ機能を実行するための）頂点シェーダであり、これは、画面の歪みを定義する図4のモデリングピストンの位置を決定するために実行される。912行において、void型のメインが指定され、頂点シェーダプログラムへのエントリポイントを提供する。914において、画面の部分の位置を提供するベクトルが指定される。効果が画面を横切って表示されるように、画面サイズおよび時間も指定される。時間は0からnまで変化することができ、一例ではnは500ミリ秒である。

916において、noise関数が、パーリンノイズテクスチャを提供する上記の4つのノイズ波形に対して指定される。918において、0〜1のfloat intensityが定義され、これは乱気流関数に対応する。float intensityは4つのコンポーネントから構成され、そのうちの1つは918行に含まれ、他の3つは920、922、および924で指定され、4つの異なる波形のノイズに対応する。918、920、922および924行は、ノイズを反映する異なる半径を各ピストンに与えるために、ノイズの4つの成分のそれぞれの絶対値を加算し、これは、z軸における異なる量のシフトを意味する。

926においてfloat shakeが記載され、これは、効果的にピストンの長さまたは距離を時間の経過と共に変化させる。「SINTHETA」という用語は、−1と＋1との間のアニメーションに対応し、「DEPTH」は、ピストンの最大移動距離である。928行は、近くに見える部分と遠くに見える部分との間の滑らかな移行を提供するために、画面上でx、y位置を指定し、z方向移動中の効果をブレンドするために使用され、様々な視点を提供するために、x、yピクセルを変換する。滑らかな移行は、強度値によって提供され、効果をフェードインまたはフェードアウトする。

図10は、例示的な実施形態による、3次元に見える効果が適用される画面を有するデバイスを実装するコンピュータシステム1000の概略ブロック図である。様々な実施形態において、すべての構成要素を使用する必要はない。コンピュータ1000の形態の1つの例示的なコンピューティングデバイスは、処理ユニット1002と、メモリ1004と、リムーバブルストレージ1012と、および非リムーバブルストレージ1014と、を備え得る。一実施形態では、処理ユニット1002は、デバイス上で動作するプログラムによって生成された1つ以上の表示面にアニメーションを適用するプログラム可能なパイプライン上で動作を実行するグラフィックコプロセッサを含むことができる。例示的なコンピューティングデバイスは、コンピュータ1000として図示および説明されているが、コンピューティングデバイスは、異なる実施形態において異なる形態であってもよい。例えば、コンピューティングデバイスは、スマートフォン、タブレット、スマートウォッチ、または図10に関連して図示および説明したのと同じまたは同様の要素を含む他のコンピューティングデバイスであってもよい。スマートフォン、タブレット、およびスマートウォッチなどのデバイスは、一般的にモバイルデバイスと総称される。さらに、様々なデータ記憶要素がコンピュータ1000の一部として示されているが、記憶装置は、追加的または代替的に、インターネットなどのネットワークを介してアクセス可能なクラウドベースの記憶装置を含んでもよい。

メモリ1004は、揮発性メモリ1006および不揮発性メモリ1008を含むことができる。コンピュータ1000は、揮発性メモリ1006および不揮発性メモリ1008、リムーバブルストレージ1012および非リムーバブルストレージ1014などの様々なコンピュータ可読媒体を含む、コンピューティング環境を含むか、またはコンピューティング環境にアクセスすることができる。コンピュータ記憶装置としては、本明細書に記載の機能を実行するための実行のためのコンピュータ可読命令を記憶することができる、ランダムアクセスメモリ（RAM）、読み出し専用メモリ（ROM）、消去可能プログラマブル読み出し専用メモリ（EPROM）および電気消去可能プログラマブル読み出し専用メモリ（EEPROM）、フラッシュメモリまたは他のメモリ技術、コンパクトディスク読み出し専用メモリ（CD ROM）、デジタル多用途ディスク（DVD）または他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、または他の磁気記憶装置が挙げられる。

コンピュータ1000は、入力1016と、出力1018と、通信接続1020とを含む、コンピューティング環境を含むか、またはコンピューティング環境にアクセスすることができる。出力1018は、入力装置としても機能することができるタッチ画面などの表示装置を含むことができる。入力1016は、タッチ画面、タッチパッド、マウス、キーボード、カメラ、1つ以上のデバイス特有のボタン、コンピュータ1000への有線または無線データ接続を介してコンピュータ1000に統合または結合された1つ以上のセンサ、および他の入力デバイスのうちの1つ以上を含むことができる。コンピュータは、クラウドベースのサーバおよび記憶装置を含むデータベースサーバなどの1つ以上のリモートコンピュータに接続するために、通信接続を使用してネットワーク環境で動作できる。リモートコンピュータは、パーソナルコンピュータ（PC）、サーバ、ルータ、ネットワークPC、ピアデバイスまたは他の共通ネットワークノードなどを含むことができる。通信接続は、ローカルエリアネットワーク（LAN）、ワイドエリアネットワーク（WAN）、セルラ、Wi−Fi（登録商標）、BLUETOOTH（登録商標）、または他のネットワークを含むことができる。

コンピュータ可読記憶装置に記憶されたコンピュータ可読命令は、コンピュータ1000の処理ユニット1002によって実行可能である。ハードドライブ、CD−ROM、およびRAMは、記憶装置などの非一時的コンピュータ可読媒体を含む物品の一部の例である。コンピュータ可読媒体および記憶装置という用語は搬送波を含まない。例えば、コンポーネントオブジェクトモデル（COM）に基づくシステムにおいて、データアクセスのため、および／またはサーバのうちの1つで動作を実行するためのアクセス制御チェックを実行する汎用技術を提供することができるコンピュータプログラム1025は、CD−ROMに格納され、CD−ROMからハードドライブにロードされてもよい。コンピュータ可読命令は、コンピュータ1000が、複数のユーザおよびサーバを有するCOMベースのコンピュータネットワークシステムにおいて汎用アクセス制御を提供することを可能にする。

以下の非限定的な実施例は、各実施形態の様々な組み合わせを例示する。

実施例1は、電子デバイスのディスプレイを頂点によって定義される複数の領域に分割するステップと、各頂点の時変位置を時間で水平に対して計算するステップと、アニメーションの表示歪みを生成するために、各頂点の時変位置を含む、ディスプレイのための画面を合成するステップと、を含む、方法を含む。

実施例2は、実施例1の方法を含み、画面を合成するステップは、電子デバイス上で稼働するアプリケーションによって生成された表面に各頂点の時変位置を追加するステップを含む。

実施例3は、実施例1〜2のいずれかの方法を含み、ハプティック効果と連動して視覚的な波効果を提供するために、各頂点の時変位置が計算される。

実施例4は、実施例1〜3のいずれかの方法を含み、時変位置は、拡大位置と収縮位置との間で変化し、ディスプレイに歪みを生成する。

実施例5は、実施例4の方法を含み、時変位置を生成することが、ピストンロッドの正弦関数を利用する。

実施例6は、実施例5の方法を含み、ピストンロッドの長さが経時的に変化する。

実施例7は、実施例6の方法を含み、ピストンロッドの長さは、4つの周波数のノイズから計算された乱気流関数を使用するパーリンノイズパターンに従って経時的に変化する。

実施例8は、実施例7の方法を含み、ピストンとノイズパターンとの間のマッピングが、波効果を生成するために画面を横切ってシフトする。

実施例9は、実施例1から8のいずれかの方法を含み、強度値に従ってアニメーションの表示歪みをオンおよびオフに移行させるステップをさらに含む。

実施例10は、電子デバイスのディスプレイを頂点によって定義される複数の領域に分割するステップと、各頂点の時変位置をz次元に対して計算するステップと、アニメーションの表示を生成するために、各頂点の時変位置を含む、ディスプレイのための画面を合成するステップと、を含む、動作を機械に実行させるためのプロセッサによる実行のための命令を有する機械可読記憶装置を含む。

実施例11は、実施例10の機械可読記憶装置を含み、画面を合成するステップのための動作は、電子デバイス上で稼働するアプリケーションによって生成された表面に各頂点の時変位置を追加するステップを含む。

実施例12は、実施例10〜11のいずれかの機械可読記憶装置を含み、ハプティック効果と連動して視覚的な波効果を提供するために、各頂点の時変位置が計算される。

実施例13は、実施例10〜12のいずれかの機械可読記憶装置を含み、時変位置は、拡大位置と収縮位置との間で変化し、ハプティック効果と連動して、ディスプレイに歪みを生成する。

実施例14は、実施例13の機械可読記憶装置を含み、時変位置を生成することが、ピストンロッドの正弦関数を利用する。

実施例15は、実施例14の機械可読記憶装置を含み、ピストンロッドの長さは、4つの周波数のノイズから計算された乱気流関数を使用するパーリンノイズパターンに従って経時的に変化する。

実施例16は、プロセッサと、プロセッサに結合されたディスプレイと、プロセッサに結合され、かつ動作を実行するための、プロセッサによる実行のためにプログラムを記憶したメモリデバイスと、を備える、デバイスを含む。動作は、ディスプレイを頂点によって定義される複数の領域に分割するステップと、各頂点の時変位置をz次元に対して計算するステップと、アニメーションの表示歪みを生成するために、各部分の時変位置を含む、ディスプレイのための画面を構成するステップと、を含む。

実施例17は、実施例16のデバイスを含み、画面を合成するステップは、電子デバイス上で稼働するアプリケーションによって生成された表面に各頂点の時変位置を追加するステップを含む。

実施例18は、実施例16〜17のいずれかのデバイスを含み、時変位置は、拡大位置と収縮位置との間で変化し、ディスプレイに歪みを生成する。

実施例19は、実施例16〜18のいずれかのデバイスを含み、時変位置を生成することが、ピストンロッドの正弦関数を利用する。

実施例20は、実施例16〜19のいずれかのデバイスを含み、ピストンロッドの長さは、4つの周波数のノイズから計算された乱気流関数を使用するパーリンノイズパターンに従って経時的に変化する。

以上、いくつかの実施形態について詳細に説明したが、他の修正も可能である。例えば、図示の論理フローは、望ましい結果を達成するために、示された特定の順序または逐次的な順序を必要としない。記述されたフローから他のステップが提供されてもよいし、ステップが省略されてもよく、他のコンポーネントが記載されたシステムに追加されてもよいし、そこから除去されてもよい。他の実施形態は、添付の特許請求の範囲内に含まれ得る。

100 グラフィック効果
110 表示要素
115 表示要素
120 表示要素
150 モバイルデバイス
155 プロセッサ
160 メモリデバイス
165 送受信機
170 ハプティック効果コントローラ
175 グラフィックエンジン
200 テッセレーショングリッド
210 頂点、角部
310 ディスプレイ
320 カメラ
400 表現
410 ピストン
415 ピストンロッド
425 円筒
500 位置
510 位置
600 ブロック図表現
700 ブロック図表現
710 ノイズ周波数
715 ノイズ周波数
720 ノイズ周波数
725 ノイズ周波数
730 ノイズ、表面
735 ノイズ、表面
740 ノイズ、表面
745 ノイズ、表面
900 コード
1000 コンピュータシステム、コンピュータ
1002 処理ユニット
1003 メモリ
1004 出力
1006 入力
1008 不揮発性メモリ
1010 リムーバブルストレージ
1012 非リムーバブルストレージ
1014 揮発性メモリ
1016 通信接続
1018 コンピュータプログラム

Claims (8)

1. 電子デバイスのディスプレイを頂点によって定義される複数の領域に分割するステップと、
   各頂点の時変位置をz次元に対して計算するステップと、
   アニメーションの表示歪みを生成するために、各頂点の前記時変位置を含む、前記ディスプレイのための画面を合成するステップと、
   を含み、
   前記時変位置は、拡大位置と収縮位置との間で変化し、前記ディスプレイに歪みを生成し、
   時変位置を生成することは、軸に対するピストンロッドの角度を正弦関数に適用して得られた値を利用し、
   前記ピストンロッドの長さが経時的に変化する、方法。
2. 前記画面を合成するステップは、前記電子デバイス上で稼働するアプリケーションによって生成された表面に各頂点の前記時変位置を追加するステップを含む、請求項1に記載の方法。
3. ハプティック効果と連動して視覚的な波効果を提供するために、各頂点の前記時変位置が計算される、請求項1または2に記載の方法。
4. 前記ピストンロッドの前記長さは、4つの周波数のノイズから計算された乱気流関数を使用するパーリンノイズパターンに従って経時的に変化する、請求項1に記載の方法。
5. ピストンと前記ノイズパターンとの間のマッピングが、波効果を生成するために、前記画面を横切ってシフトする、請求項4に記載の方法。
6. 強度値に従って前記アニメーションの表示歪みをオンおよびオフに移行させるステップをさらに含み、前記強度値は、効果の現在の強度を定義する変数であって、0から1の間で変化する、請求項1から4のいずれか一項に記載の方法。
7. 機械可読記憶装置であって、
   請求項1から6のいずれか一項に記載の方法を前記機械に実行させるためのプロセッサによる実行のための命令を有する機械可読記憶装置。
8. プロセッサと、
   前記プロセッサに結合されたディスプレイと、
   前記プロセッサに結合され、かつ請求項1から6のいずれか一項に記載の方法を実行するための、前記プロセッサによる実行のためにプログラムを記憶したメモリデバイスと、
   を備える、デバイス。