JP2018535499A - マルチビューインタラクティブデジタルメディア表現へのオーディオの統合 - Google Patents

Abstract

本発明の様々な実施形態は、概して、オーディオをマルチビューインタラクティブデジタルメディア表現に統合するためのシステムおよび方法に関する。特定の実施形態によれば、１つのプロセスは、内容モデルおよびコンテクストモデルにともに融合されている多数の画像を含むマルチビューインタラクティブデジタルメディア表現を取り出すことを含む。次に、このプロセスは、マルチビューインタラクティブデジタルメディア表現に統合されるオーディオデータを取り出して処理することを含む。オーディオデータの第１のセグメントは、マルチビューインタラクティブデジタルメディア表現の第１の位置に関連付けることができる。他の例では、オーディオデータの第１セグメントは、マルチビューインタラクティブデジタルメディア表現における視覚的位置またはカメラの位置と関連付けられてもよい。オーディオデータは、ユーザのナビゲーションに基づいてマルチビューインタラクティブデジタルメディア表現と協調して再生することができる。

Description

関連出願の相互参照
この出願は、参照によりその全体が本明細書に組み込まれる、２０１５年９月２２日に出願された「マルチビューインタラクティブデジタルメディア表現へのオーディオの統合（ＩＮＴＥＧＲＡＴＩＯＮ ＯＦ ＡＵＤＩＯ ＩＮＴＯ Ａ ＭＵＬＴＩ−ＶＩＥＷ ＩＮＴＥＲＡＣＴＩＶＥ ＤＩＧＩＴＡＬ ＭＥＤＩＡ ＲＥＰＲＥＳＥＮＴＡＴＩＯＮ）」と題する米国特許出願第１４／８６１，０１９号の米国特許法第１１９条に基づく利益を主張する。

本発明は、マルチビューインタラクティブデジタルメディア表現へのオーディオの統合に関する。

現代のコンピューティングプラットフォームおよび技術が、カメラセンサをネイティブの取得入力ストリームとして含むモバイルおよびウェアラブルデバイスの方に移行するにつれて、より従来的な二次元（２Ｄ）平面画像およびビデオとは異なる形態でデジタル的に瞬間を記録および保存したいという要望がより明らかになっている。従来のデジタルメディアフォーマットは、一般に観賞者を受動的な体験に制限する。例えば、２Ｄ平面画像は１つの角度から見られ得、ズームインおよびズームアウトに制限される。その結果、２Ｄ平面画像などの従来のデジタルメディアフォーマットは、記憶およびイベントを高い忠実度で容易に再生することができない。さらに、２Ｄビデオは、通常、特定の視点からの視覚データおよび対応する固定オーディオトラックのセット再生に限定される。

技術が進歩するにつれて、マルチビューインタラクティブデジタルメディア表現のような様々な三次元（３Ｄ）メディアフォーマットが開発されてきた。これらのマルチビューインタラクティブメディア表現の例には、サラウンドビュー、マルチビュー画像、および３Ｄデータフォーマットが含まれる。これらのマルチビューインタラクティブデジタルメディア表現では、ユーザは画像データをどのように見るかを制御することができる。例えば、ユーザは、様々な物体の周りをナビゲートし、画像データを見る視点を選択することができる。

マルチビューインタラクティブデジタルメディア表現の提示における問題は、視聴プロセスにオーディオ情報をどのように含めるかである。画像データおよびオーディオ情報は同時に記録することができるが、ユーザは、記録プロセス中に取得した順序とは異なる順序で画像を見ることを選択する場合がある。ユーザは、キャプチャされたマルチビューインタラクティブデジタルメディア表現の画像を任意の順序でナビゲートすることができるため、シーンの表示された視覚的表現は、記録されたオーディオの再生と同期しないことがある。したがって、オーディオをマルチビューインタラクティブデジタルメディア表現に統合するための改良されたメカニズムおよびプロセスが必要とされている。

マルチビューインタラクティブデジタルメディア表現にオーディオを統合することに関連する様々なメカニズムおよびプロセスが提供される。

先行するおよび／または後続の例および態様のいずれかの主題の少なくとも一部を含むことができる１つの態様では、１つのプロセスは、内容モデルおよびコンテクストモデルにともに融合されている多数の画像を含むマルチビューインタラクティブデジタルメディア表現を取り出すことを含む。次に、このプロセスは、マルチビューインタラクティブデジタルメディア表現に統合されるオーディオデータを取り出して処理することを含む。オーディオデータの第１のセグメントは、マルチビューインタラクティブデジタルメディア表現の第１の位置に関連付けることができる。他の例では、オーディオデータの第１セグメントは、マルチビューインタラクティブデジタルメディア表現における視覚的位置またはカメラの位置と関連付けられてもよい。オーディオデータは、マルチビューインタラクティブデジタルメディア表現を通じたユーザのナビゲーションに基づいて、マルチビューインタラクティブデジタルメディア表現と協調して再生することができ、第１の位置または第１の視覚的位置に到達したときに第１のセグメントが再生される。

先行するおよび／または後続の例および態様のいずれかの主題の少なくとも一部を含むことができる別の態様では、マルチビューインタラクティブデジタルメディア表現にオーディオを統合するためのコンピュータ可読記憶媒体は、内容モデルおよびコンテクストモデルにともに融合されている多数の画像を含むマルチビューインタラクティブデジタルメディア表現を取り出すためのコンピュータコードを含む。コンピュータ可読媒体はまた、マルチビューインタラクティブデジタルメディア表現に統合されるオーディオデータを取り出して処理するためのコンピュータコードをも含む。オーディオデータを処理するためのコンピュータコードは、オーディオデータを第１のセグメントおよび第２のセグメントにセグメント化し、第１のセグメントをマルチビューインタラクティブデジタルメディア表現内の第１の位置と関連付け、第２のセグメントをマルチビューインタラクティブデジタルメディア表現内の第２の位置と関連付けることを含む。コンピュータ可読記憶媒体は、マルチビューインタラクティブデジタルメディア表現を通じたユーザのナビゲーションに基づいて、マルチビューインタラクティブデジタルメディア表現と協調してオーディオデータを再生するためのコンピュータコードをさらに含み、マルチビューインタラクティブデジタルメディア表現内の第１の位置が描写されるときに第１のセグメントが再生され、マルチビューインタラクティブデジタルメディア表現内の第２の位置が描写されるときに第２のセグメントが再生される。

先行するおよび／または後続する例および態様のいずれかの主題の少なくとも一部を含むことができるさらに別の態様では、マルチビューインタラクティブデジタルメディア表現にオーディオを統合するプロセスは、ユーザによってナビゲート可能な三次元モデルにともに融合されている複数の画像を含むマルチビューインタラクティブデジタルメディア表現を取り出すことを含む。このプロセスは、マルチビューインタラクティブデジタルメディア表現に統合されるオーディオデータを取り出して処理することをさらに含む。オーディオデータを処理することは、オーディオデータを第１のセグメントおよび第２のセグメントにセグメント化し、第１のセグメントをマルチビューインタラクティブデジタルメディア表現内の第１の位置と関連付け、第２のセグメントをマルチビューインタラクティブデジタルメディア表現内の第２の位置と関連付けることを含む。次に、プロセスは、マルチビューインタラクティブデジタルメディア表現を通じたユーザのナビゲーションに基づいて、マルチビューインタラクティブデジタルメディア表現と協調してオーディオデータを再生することを含む。特に、マルチビューインタラクティブデジタルメディア表現内の第１の位置が描写されるときに第１のセグメントが再生され、マルチビューインタラクティブデジタルメディア表現内の第２の位置が描写されるときに第２のセグメントが再生される。

これらおよび他の実施形態は、図面を参照して以下にさらに説明される。

本開示は、本発明の特定の実施形態を示す添付の図面と併せた以下の説明を参照することによって最もよく理解され得る。

モバイルデバイス上のマルチビューインタラクティブデジタルメディア表現を通したナビゲーションの一例を示す図である。 マルチビューインタラクティブデジタルメディア表現の内容およびコンテクストの一例を示す図である。 マルチビューインタラクティブデジタルメディア表現にオーディオを統合するためのプロセスの一例を示す図である。 マルチビューインタラクティブデジタルメディア表現に統合されるべきオーディオファイルを処理するためのプロセスの一例を示す図である。 マルチビューインタラクティブデジタルメディア表現に統合されているオーディオファイルを再生するためのプロセスの一例を示す図である。 マルチビューインタラクティブデジタルメディア表現内の様々な視点の一例を示す図である。 本発明の様々な実施形態とともに使用することができるコンピュータシステムの特定の例を示す図である。

ここで、本発明を実施するために本発明者らが意図する最良の形態を含む、本本発明のいくつかの特定の例を詳細に参照する。これらの特定の実施形態の例は、添付の図面に示されている。本発明は、これらの特定の実施形態に関連して記載されているが、本発明を記載された実施形態に限定することを意図するものではないことが理解される。それどころか、添付の特許請求の範囲によって規定される本発明の精神および範囲内に含まれ得る代替物、改変物、および等価物を包含することが意図される。

例えば、本発明の技法は、特定のオーディオセグメントおよび構成要素のコンテクストで説明される。しかし、本発明の技法は、任意の様々な異なるオーディオセグメントおよび構成要素のうちの１つまたは複数に適用可能であることに留意すべきである。以下の説明では、本発明の完全な理解を提供するために、多数の具体的な詳細を説明する。本発明の特定の例示的な実施形態は、これらの特定の詳細のいくつかまたはすべてを用いずに実装することができる。他の事例では、本発明を不必要に不明瞭にしないために、周知のプロセス動作については詳細には説明していない。

本発明の様々な技法および機構は、明瞭化のために、単数形で記載されることがある。しかし、いくつかの実施形態は、別段の記載がない限り、技法の複数回の反復または機構の複数のインスタンス化を含むことに留意すべきである。例えば、システムは様々なコンテクストでプロセッサを使用する。しかしながら、特に断らない限り、本発明の範囲内にとどまりながら、システムが複数のプロセッサを使用することができることは理解されよう。さらに、本発明の技法および機構は、２つのエンティティ間の接続を記述することがある。２つのエンティティ間の接続は、２つのエンティティ間に様々な他のエンティティが存在する可能性があるため、必ずしも直接的で妨げられない接続を意味するとは限らないことに留意されたい。例えば、プロセッサがメモリに接続されてもよいが、プロセッサとメモリとの間に様々なブリッジおよびコントローラが存在し得ることが理解されるであろう。したがって、接続は、別段の記載がない限り、直接的な妨げられない接続を意味するとは限らない。

技術の進歩によって、マルチビューインタラクティブメディア表現のような様々な三次元（３Ｄ）メディアフォーマットが開発されている。これらのマルチビューインタラクティブデジタルメディア表現は、サラウンドビュー、マルチビュー画像、および３Ｄデータフォーマットのようなフォーマットを含む。これらのマルチビューインタラクティブデジタルメディア表現では、ユーザは画像データをどのように見るかを制御することができる。例えば、ユーザは、様々な物体の周りをナビゲートし、画像データを見る視点を選択することができる。

ユーザは、マルチビューインタラクティブデジタルメディア表現内の様々な物体の周りをナビゲートすることができるため、１つの問題は、この視聴プロセスにオーディオ情報をどのように含めるかということである。画像データおよびオーディオ情報は同時に記録することができるが、ユーザは、記録プロセス中に取得した順序とは異なる順序で画像を見ることを選択する場合がある。ユーザは、キャプチャされたマルチビューインタラクティブデジタルメディア表現の画像を任意の順序でナビゲートすることができるため、シーンの表示された視覚的表現は、記録されたオーディオの再生と同期しないことがある。本発明において説明されている様々な実施形態は、オーディオをマルチビューインタラクティブデジタルメディア表現に統合するための改良されたメカニズムおよびプロセスに関する。

上述のように、マルチビューインタラクティブデジタルメディア表現は、本開示の範囲内で多くの形態をとることができる。例えば、マルチビューインタラクティブデジタルメディア表現は、サラウンドビュー、マルチビュー画像、または三次元モデルを含むことができる。 サラウンドビューは、その全体が本明細書において、またあらゆる目的のために参照により本明細書に組み込まれる、「Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｎｉｐｕｌａｔｉｏｎ ｏｆ Ｉｍａｇｅｓ ａｎｄ Ｖｉｄｅｏ ｆｏｒ Ｇｅｎｅｒａｔｉｏｎ ｏｆ Ｓｕｒｒｏｕｎｄ Ｖｉｅｗｓ」と題する２０１４年１０月３１日に出願されたＨｏｌｚｅｒらによる米国特許出願第１４５３０６６９号（代理人整理番号ＦＹＳＮＰ００１）に関連してより詳細に説明されている。当該文献に記載されている様々な実施形態によれば、サラウンドビューは、スクリーン上に表示される視覚情報の視点を制御する能力をユーザに提供する。さらに、サラウンドビューは、インタラクティブで没入感のあるアクティブな視聴体験をユーザに提示する。

様々な実施形態によれば、サラウンドビューを生成するために使用されるデータは、様々なソースに由来し得る。特に、限定はしないが二次元（２Ｄ）画像などのデータを使用してサラウンドビューを生成することができる。これらの２Ｄ画像は、アプリケーションに応じて、複数の画像シーケンス、ビデオデータなどのようなカラー画像データストリーム、または様々な画像フォーマットのいずれかの複数の画像を含むことができる。サラウンドビューを生成するために使用できる別のデータソースには、位置情報が含まれる。この位置情報は、加速度計、ジャイロスコープ、磁力計、ＧＰＳ、ＷｉＦｉ、ＩＭＵ様システム（慣性計測装置システム）などのようなソースから得ることができる。サラウンドビューを生成するために使用できるさらに別のデータソースは、奥行き画像を含むことができる。これらの奥行き画像は、奥行き、３Ｄ、または視差画像データストリームなどを含むことができ、限定ではないが、ステレオカメラ、飛行時間カメラ、三次元カメラ、三次元キャプチャデバイス、デバイスの組み合わせ、多次元キャプチャデバイスの組み合わせなどのようなデバイスによってキャプチャすることができるが、これらに限定されない。

一例によれば、集められたデータはともに融合することができる。いくつかの実施形態では、奥行き画像を提供することなく、２Ｄ画像と位置情報の両方を含むデータの組み合わせによってサラウンドビューを生成することができる。他の実施形態では、奥行き画像および位置情報をともに使用することができる。アプリケーションおよび利用可能なデータに応じて、画像データの様々な組み合わせを位置情報とともに使用することができる。

本例では、ともに融合されたデータはその後、内容モデリングおよびコンテクストモデリングに使用される。様々な例によれば、画像に取り込まれている主題は、内容とコンテクストとに分離することができる。内容は、関心物体として表現することができ、コンテクストは、関心物体を囲む風景として表現することができる。様々な実施形態によれば、内容は、関心物体を描写する三次元モデルとすることができるが、内容は、いくつかの実施形態では二次元モデルであってもよい。さらに、いくつかの実施形態では、コンテクストは、関心物体を囲む風景を描写する二次元モデルとすることができる。多くの例では、コンテクストは関心物体を囲む風景の二次元ビューを提供することができるが、コンテクストはまた、いくつかの実施形態では三次元態様を含むことができる。例えば、コンテクストは、円筒形の「キャンバス」に沿って「平面（ｆｌａｔ）」画像として描写することができ、それによって、「平面」画像が円筒の表面上に現れる。さらに、いくつかの例は、いくつかの物体が三次元物体として周囲の風景内で特定される場合など、三次元コンテクストモデルを含むことができる。様々な実施形態において、内容モデリングおよびコンテクストモデリングによって提供されるモデルは、画像および位置情報データを組み合わせることによって生成することができる。

様々な実施形態によれば、サラウンドビューのコンテクストおよび内容は、指定された対象物体に基づいて決定される。いくつかの例では、関心物体は、画像および位置情報データの処理に基づいて自動的に選択される。例えば、一連の画像において支配的な物体が検出された場合、この物体を内容として選択することができる。他の例では、ユーザ指定の目標を選択することができる。ただし、一部のアプリケーションでは、ユーザ指定の目標なしでサラウンドビューを生成できることに留意されたい。

様々な実施形態によれば、１つまたは複数の拡張アルゴリズムを適用することができる。特定の実施形態例では、利用されるキャプチャモードのタイプにかかわらず、サラウンドビューデータのキャプチャ中に様々なアルゴリズムを利用することができる。これらのアルゴリズムを使用して、ユーザ体験を向上させることができる。例えば、自動フレーム選択、安定化、ビュー補間、フィルタ、および／または圧縮を、サラウンドビューデータのキャプチャ中に使用することができる。いくつかの例では、これらの拡張アルゴリズムは、データ取得後の画像データに適用することができる。他の例では、これらの拡張アルゴリズムは、サラウンドビューデータのキャプチャ中の画像データに適用することができる。

本明細書で説明される様々な実施形態は、サラウンドビューへの参照を含むことができるが、他のタイプのマルチビューインタラクティブデジタルメディア表現も含まれることが意図される。例えば、マルチビュー画像、三次元モデル、または他のフォーマットのような表現を、オーディオデータと統合することができる。例えば、マルチビュー画像または三次元モデルは、ナビゲーション機能、様々な視点からの主題のビューなどを含むことができる。これらの表現では、内容とコンテクストとを必ずしも分離する必要はない。

図１を参照すると、モバイルデバイス上のマルチビューインタラクティブデジタルメディア表現を通したナビゲーションの一例が示されている。具体的には、モバイルデバイス１００が、２つの異なるナビゲーションポイントにおいて示されている。図１のＡには、第１の位置１０２におけるマルチビューインタラクティブデジタルメディア表現のビューが示されている。車が内容１０６として特徴付けられ、いくつかの木がコンテクスト１０４として示される。いくつかの実施形態では、マルチビューインタラクティブデジタルメディア表現は、ユーザが自動再生ボタン１１２を押したとき、この位置１０２から自動的に再生することができる。このような自動再生は、マルチビューインタラクティブデジタルメディア表現を介した所定のナビゲーションを含むことができる。他の実施形態では、自動再生ボタン１１２は、ユーザがマルチビューインタラクティブデジタルメディア表現を通じて手動でナビゲートしている間にオーディオトラックを再生することができる。追加のボタンまたはナビゲーションツールを含めることもできる。

本例では、様々なナビゲーションがユーザに利用可能である。例えば、ユーザは、ナビゲーション１０２を使用してツリーの周りをスワイプすることによって、マルチビューインタラクティブデジタルメディア表現をブラウズすることができる。これは、車の後ろの新しい視点に達するために木の周りを回転することを伴い得る。ユーザはまた、ナビゲーション１０８を使用して車を画面の左側にドラッグすることによって、マルチビューインタラクティブデジタルメディア表現をブラウズすることもできる。この場合、車は左に移動し、車の周りの風景も車に対してシフトする。ブラウジングのさらに別の例は、ユーザが、ナビゲーション１１０の方向にスワイプして、シーンの視点を移動させることを含む。車はその後、異なる角度で見られ、この視点を取り巻く風景もまたシフトする。マルチビューインタラクティブデジタルメディア表現を通じてナビゲートするための無限の可能性がある。

本例では、自動再生ボタン１１２を押すことは、車がシーン内で右から左に移動し、風景が車に対して移動することを示す。図１のＢは、シーンが自動再生において進行した１１４、第２の位置１１６におけるビューを示す。図示のように、内容１０６はコンテクスト１０４に対してシフトしている。本例は、マルチビューインタラクティブデジタルメディア表現を通じたユーザのナビゲーションに基づくシーンの視覚再生を示しているが、この視覚再生に付随するオーディオデータについては、特に図３Ａ〜図３Ｃを参照してより詳細に後述する。オーディオデータは、物体の位置またはキャプチャデバイスの位置のいずれかにアタッチされ得ることに留意されたい。ビデオ物***置とは、サラウンドビューにおける物または実体または人物のような物体の位置を指す。ビデオキャプチャ位置とは、キャプチャデバイスの位置を指す。両方とも、オーディオデータの再生および／または位置決めをトリガするために使用することができる。位置は、異なる角度、視点、地理的位置などを含むこともできる。様々な実施形態によれば、ピアノのサラウンドビューが示されてもよく、ここで、ピアノの鍵が支配的な要素であり、オーディオファイルが任意のピアノ鍵位置にアタッチされる。したがって、サラウンドビュー内で対応する鍵に触れ、ピアノ鍵を通じてナビゲートすることによって、ピアノを演奏することができる。

他の例では、パノラマサラウンドビューは、運転中の車を含む。背景には、鳴いている鳥がとまっている樹木、および、海岸に波が打ち寄せている海がある。記録されているオーディオデータは、車の音、鳥の音、および波の音に分解され、オーディオファイルは、視覚データ内のそれらの要素の位置にアタッチされる。さらに他の例では、人物のサラウンドビューは、サラウンドビュー内の特定のカメラ位置に顔を作った人物を含む。サラウンドビューを通じてナビゲートしている間に、そのカメラ位置に達すると、オーディオファイルが自動的に再生される。

本例では、特定のマルチビューインタラクティブデジタルメディア表現が、内容１０６としての車、および、コンテクスト１０４としてのツリーを有して描写される。図２を参照すると、図１に関連して説明したマルチビューインタラクティブデジタルメディア表現における内容およびコンテクストの描写が示されている。特に、図２は、シーン２００における内容とコンテクストとの分離の一例を示す。本例では、示されている車などの、関心物体の画像を見るか、またはキャプチャしている観察者２１２が示されている。

様々な実施形態によれば、シーン２００に含まれるデジタル視覚データは、特にサラウンドビューの実装態様において、意味的におよび／または実際的に内容２０６とコンテクスト２１０とに分離することができる。特定の実施形態によれば、内容２０６は、関心のある物体（複数可）、人物（複数可）、またはシーン（複数可）を含むことができ、一方で、コンテクスト２１０は、内容２０６を取り巻くシーンの残りの要素を表す。この例では、物体２０２は車である。この物体２０２は、シーン２００の内容２０６を構成する。風景２０８内の樹木がコンテクストを構成する。いくつかの例では、サラウンドビューは内容２０６を三次元データとして表し、コンテクスト２１０を二次元パノラマ背景として表すことができる。他の例では、サラウンドビューは、内容２０６とコンテクスト２１０の両方を二次元パノラマシーンとして表してもよい。さらに他の例では、内容２０６およびコンテクスト２１０は、三次元の構成要素または態様を含むことができる。特定の実施形態では、サラウンドビューが内容２０６およびコンテクスト２１０を描写する方法は、画像を取得するために使用されるキャプチャモードに依存する。

限定されるものではないが、物体、人物またはそれらの部分のみが見える物体、人物、または物体もしくは人物の部分の記録、および、広い平面領域の記録、およびキャプチャされるデータが無限遠にあるように見える（すなわち、カメラの近くに被写体がない）シーンの記録のようないくつかの例において、内容２０６およびコンテクスト２１０は同じであってもよい。これらの例では、生成されるサラウンドビューは、パノラマなどの他のタイプのデジタルメディアに類似するいくつかの特性を有することがある。しかし、様々な実施形態によれば、サラウンドビューは、これらの既存のタイプのデジタルメディアからそれらを区別する追加の特徴を含む。例えば、サラウンドビューは動くデータを表すことができる。さらに、サラウンドビューは、特定の円筒形、球形または並進運動に限定されない。様々な動きを使用して、カメラまたは他のキャプチャデバイスを用いて画像データをキャプチャすることができる。さらに、ステッチパノラマとは異なり、サラウンドビューは同じ物体の異なる側面を表示することができる。

図３Ａを参照すると、マルチビューインタラクティブデジタルメディア表現にオーディオを統合するためのプロセスの一例が示されている。特に、プロセス３００は、３０１において、マルチビューインタラクティブデジタルメディア表現を取り出すことを含む。上述したように、マルチビューインタラクティブデジタルメディア表現は、サラウンドビュー、マルチビュー画像、または三次元モデルのようなフォーマットを含むことができる。いくつかの例では、マルチビューインタラクティブデジタルメディア表現は、内容モデルおよび物体モデルにともに融合される多数の画像を含み、内容モデルは物体を含み、コンテクストモデルは物体を取り巻く風景を含む。

この例では、プロセス３００は、３０３において、マルチビューインタラクティブデジタルメディア表現に統合されるべきオーディオデータを取り出すことによって継続する。オーディオデータは、アプリケーションまたは所望の効果に応じて様々な方法で取得することができる。例えば、オーディオストリームは、マルチビューインタラクティブデジタルメディア表現に含まれる視覚データの記録とともに（すなわち、同時に）記録することができる。別の例では、視覚データとは別個にオーディオストリームを記録することができる。視覚データとともに使用するために、１つまたは複数のオーディオ録音を作成することができる。他の例では、予め記録されたオーディオファイルを使用することができる。例えば、ユーザは、このオーディオデータをより早期に記録していてもよく、またはインターネットもしくは他のソースからの１つもしくは複数の既存のオーディオファイルを使用してもよい。使用できるオーディオファイルの一部の例は、音楽の録音、効果音、周囲の騒音または音、音声録音などを含んでもよい。処理ステップには様々な効果を適用することができる。効果の例は、ピッチの変更またはエコー効果の導入を含む。

この例では、プロセス３００は、３０５においてオーディオデータを処理することをさらに含む。特に、オーディオファイルが記録または選択された後、マルチビューインタラクティブデジタルメディア表現のフォーマットに統合されるためには、オーディオファイルが処理されなければならない。処理のためのいくつかの選択肢が可能であり、そのうちの１つまたは複数をいくつかの例では組み合わせることができる。一例では、記録／選択されたオーディオファイルは、処理なしで直接使用される。別の例では、記録／選択されたオーディオファイルは、異なる成分に分解される。例えば、音声が背景音から分離され、異なる音源が分離される（例えば、車、海、鳥、話し声）。この分解は様々な方法で実装することができる。１つの方法は、独立成分分析を使用することを含む。オーディオファイルが異なる成分に分解されると、別個のオーディオストリームが、その後の選択および位置決めのためにユーザに提示されるか、またはそれらが発生した場所に対応するマルチビューインタラクティブデジタルメディア表現の位置（すなわち、オーディオがビデオとともに記録されている場合は元のオーディオの位置）に自動的に割り当てられる。マルチビューインタラクティブデジタルメディア表現内のオーディオストリームの位置決めに関するさらなる詳細は、３０７におけるオーディオ再生に関連して後述する。さらに、オーディオデータを処理する特定の例が、図３Ｂとともに説明される。

オーディオデータが処理されると、オーディオデータは、次に、３０７において、マルチビューインタラクティブデジタルメディア表現と協調して再生される。オーディオデータの再生は、いくつかの方法で行うことができる。一例では、マルチビューインタラクティブデジタルメディア表現がロードされて表示されるとすぐに、オーディオデータが一度再生される。場合によっては、ユーザがマルチビューインタラクティブデジタルメディア表現をナビゲートしている間にオーディオデータが再生され、ナビゲーション方向または速度とは無関係に、このナビゲーション中にオーディオデータは元の速度で再生される。他の例では、マルチビューインタラクティブデジタルメディア表現が所定の自動再生シーケンスに従っている間に、オーディオデータが再生される。さらに他の例では、オーディオおよび画像データは、最初に（１回または複数回）再生され、ユーザインタラクションは利用できない。この最初の再生が終了すると、ユーザはマルチビューインタラクティブデジタルメディア表現を手動でナビゲートすることができる。別の例では、サラウンドビューがロードされ、表示されるとすぐにオーディオデータが繰り返し再生される。いくつかの事例では、ユーザがマルチビューインタラクティブデジタルメディア表現をナビゲートするか、または、マルチビューインタラクティブデジタルメディア表現が自動再生シーケンスを再生するかに関係なく、オーディオデータが繰り返し再生される。

いくつかの例では、オーディオデータは、マルチビューインタラクティブデジタルメディア表現のナビゲーションと連動して再生される。例えば、ある方向にナビゲートするとオーディオが順方向に再生され、他方の方向にナビゲートするとオーディオが逆方向に再生される。場合によっては、オーディオ再生の速度はナビゲーション速度に対応する。

オーディオ再生のための別の選択肢は、「再生」ボタンが押されたとき、または他の方法で選択されたときにオーディオデータを再生することを含む。例えば、図１に示すように、自動再生ボタン１１２は、ユーザインターフェース内の所定の位置に配置することができ、このボタンを選択することによって、オーディオ再生を開始することができる。別の事例では、再生ボタンは、対応する画像データに追従するように位置決めすることができる。この事例では、再生ボタンは、ユーザに見えても見えなくてもよい。様々な実施形態によれば、再生ボタンは、標準的な形状（例えば、三角形）を有することができ、またはシーン内の特定の物体／領域（例えば、鳥、車など）の形状に従うことができる。

他の実施形態では、オーディオ再生は、マルチビューインタラクティブデジタルメディア表現を通じたナビゲーションに基づいている。一例では、手動であるかまたは自動であるかに関係なく、ナビゲーション中にマルチビューインタラクティブデジタルメディア表現の特定の位置／フレームに達すると、オーディオが再生される。いくつかの例において、オーディオデータは、マルチビューインタラクティブデジタルメディア表現内の特定の位置またはフレームに関連付けられる。ユーザがこれらの位置またはフレームに向かって近くにナビゲートするほど、対応するオーディオがより大きく再生される。特定の例では、オーディオデータをシーン内の３Ｄ位置に「アタッチ」することができ、オーディオ再生のボリュームは、視覚化の現在の視点の距離および向きに依存する。具体的には、ナビゲーション位置がオーディオデータの３Ｄ位置に近づくと、オーディオ再生の音量が増加する。同様に、ナビゲーションの観察方向がオーディオデータの位置に向かっている場合には音量が増加し、ナビゲーションの観察方向がオーディオデータの位置から離れる方向である場合には音量は減少する。

図４を参照すると、ナビゲーション位置がシーン４００内の異なる物体に関して変化するマルチビューインタラクティブデジタルメディア表現の例示的な表現が示されている。方向４０４に移動する物体４０２は、車のエンジン回転音およびモータ音などの関連する音を有することができる。ナビゲーション位置４０８において、視点は物体４０２の方に向けられ、物体４０２の音は、ナビゲーション位置が図示のような他方の位置４１０，４１２、または４１４のいずれかにあるときよりも大きくなる。ナビゲーション位置４１４が選択されると、風景４０６に関連する音は、樹木が風に揺れているように、より聞き取れる可能性がある。この位置から、風景４０６と物体４０２の両方からの音が聞き取れ得る。対照的に、ナビゲーション位置４１０では、位置４１０が物体４０２からさらに離れているため、風景４０６の音が聞き取れなくなる可能性があり、物体４０２の音がより低い音量で再生され得る。

図３Ａを再び参照すると、いくつかの実施形態では、３０７におけるオーディオデータの音量、ピッチ、および／または再生速度は、ユーザ入力に依存する。例えば、タッチスクリーン上のスワイプ速度、またはマウスオーバーまたは力感知タッチパッドに加えられる力が、オーディオデータの音量、ピッチ、および／または再生速度に影響を及ぼすことができる。さらに、モバイルデバイスの慣性センサによって測定される回転速度が、いくつかの例では、オーディオデータの音量、ピッチ、および／または再生速度に影響を及ぼすことができる。

オーディオ再生の別の選択肢は、ユーザがマルチビューインタラクティブデジタルメディア表現をナビゲートしている間に、背景音楽（例えば、歌）または音響効果を再生することである。いくつかの実施形態では、背景音楽のタイプまたはスタイルは、視覚フィルタの出現および強度と相関させることができる。例えば、音楽のビートを検出すると、フィルタの強さが増し、または、音楽のスタイルもしくはタイプが変更された場合は、異なるフィルタが適用される。いくつかの例では、選択された背景音楽に対応するようにフィルタを適用することができる。他の例では、背景音楽は、視覚ファイルに含まれる任意のフィルタまたは効果に基づいて選択することができる。例えば、見た目を暗く、見通せなくする特定のフィルタは、より暗い歌または効果音を選択させることができる。

いくつかの例では、３０７におけるオーディオ再生は、マルチビューインタラクティブデジタルメディア表現の自動再生の間にも生じ得る。例えば、自動再生は、図１に示すような自動再生ボタンの選択などのユーザの動作によって自動的に開始されてもよく、ユーザの動作なしで自動的に、またはビデオのエクスポート中に開始されてもよい。いくつかの実施形態では、１つまたは複数のマルチビューインタラクティブデジタルメディア表現をエクスポートし、背景音楽と同期させることができる。具体的には、特定のタイプの音楽を、特定のタイプのマルチビューインタラクティブデジタルメディア表現と相関させることができる。例えば、落ち着いた音楽は、景色のよいマルチビューインタラクティブデジタルメディア表現と相関させることができる。さらに、マルチビューインタラクティブデジタルメディア表現の再生速度は、音楽のタイプと相関させることができる。特に、落ち着いた音楽は、マルチビューインタラクティブデジタルメディア表現の低速再生と組み合わせることができる。

いくつかの実施形態では、マルチビューインタラクティブデジタルメディア表現の切り替え、またはあるマルチビューインタラクティブデジタルメディア表現内の視覚化もしくは再生効果のタイプの切り替えは、音楽のスタイルが変化するときに、または、特定の楽器もしくはビートの発生と同期して行われ得る。いくつかの例では、マルチビューインタラクティブデジタルメディア表現内の視覚化方向の変化は、特定の楽器またはビートと同期して行われる。他の例では、視覚データの再生速度の変化は、音楽のタイプが変化した場合、または特定の楽器もしくはビートと同期して行われ得る。さらに他の例では、視覚フィルタの出現および強度は、音楽のタイプおよび特定の楽器の発生に対応することができる。例えば、ビートが、フィルタの強度を増加させ、または、音楽のスタイルもしくはタイプが変更された場合は、異なるフィルタが適用される。いくつかの実施形態では、ユーザは、マルチビューインタラクティブデジタルメディア表現が切り替えられる場所および時間、ならびに／または自動再生中に再生がどのように変化するかを規定することができる。

特定の実施形態では、自動再生とインタラクティブナビゲーションとの組み合わせが可能である。例えば、特定の曲をバックグラウンドで再生することができ、現在表示されているマルチビューインタラクティブデジタルメディア表現が曲内の特定の場所で切り替えられるが、ユーザは現在表示されているマルチビューインタラクティブデジタルメディア表現を通じてインタラクティブにナビゲートすることができる。逆の例では、曲をバックグラウンドで再生することができ、ユーザは異なるマルチビューインタラクティブデジタルメディア表現の間で切り替えることができるが、マルチビューインタラクティブデジタルメディア表現は自動再生される。

上記の例は、オーディオをマルチビューインタラクティブデジタルメディア表現と統合することに関連する様々な実施形態を説明しているが、図３Ｂおよび図３Ｃは、オーディオデータを処理し、マルチビューインタラクティブデジタルメディア表現と連携してオーディオデータを再生する方法の特定の実施形態の例を含む。図３Ｂを参照すると、図３Ａのステップ３０５で参照されるマルチビューインタラクティブデジタルメディア表現と統合されるオーディオファイルを処理するための特定の方法の例が示されている。この例では、オーディオデータを処理すること３０５は、３１１において、オーディオデータを第１のセグメントと第２のセグメントとにセグメント化することを含む。様々な実施形態によれば、第１のセグメントおよび第２のセグメントは、独立成分分析を使用してオーディオデータからセグメント化することができる。本例では、第１のセグメントは第１の音源セットを含み、第２のセグメントは第２の音源セットを含む。例えば、第１の音源セットは音声を含んでもよく、第２の音源セットは背景雑音を含んでもよい。別の例では、第１のセグメントは、マルチビューインタラクティブデジタルメディア表現内の第１の位置の近くで発生する音を含んでもよく、第２のセグメントは、マルチビューインタラクティブデジタルメディア表現内の第２の位置の近くで発生する音を含んでもよい。

次に、第１のセグメントは、３１３においてマルチビューインタラクティブデジタルメディア表現内の第１の位置に関連付けられ、第２のセグメントは、３１５でマルチビューインタラクティブデジタルメディア表現内の第２の位置に関連付けられる。場合によっては、第１の位置は第２の位置と同じである。これらの事例において、第１のセグメントと第２のセグメントとは再生時に重なり合う。いくつかの例では、第１の位置および第２の位置は別々の場所に位置するが、第１のセグメントおよび第２のセグメントの少なくとも一部は、再生されるときに重なり合うことがある。

図３Ｃを参照すると、マルチビューインタラクティブデジタルメディア表現に統合されているオーディオファイルを再生するためのプロセスの特定の例が示されている。様々な実施形態によれば、オーディオデータは、マルチビューインタラクティブデジタルメディア表現を通じたユーザのナビゲーションに基づいて再生される。いくつかの例において、マルチビューインタラクティブデジタルメディア表現内の第１の位置が再生されるときに第１のセグメントが再生され、マルチビューインタラクティブデジタルメディア表現内の第２の位置が再生されるときに第２のセグメントが再生される。特に、オーディオデータを再生すること３０７は、３２１において第１の位置からマルチビューインタラクティブデジタルメディア表現を再生することを求める要求を受信することを含む。これに応答して、３２３において、マルチビューインタラクティブデジタルメディア表現が第１の位置から再生されると、オーディオデータの第１のセグメントが再生される。次に、３２５において、第２の位置からマルチビューインタラクティブデジタルメディア表現を再生することを求める要求が受信される。これに応答して、３２７において、マルチビューインタラクティブデジタルメディア表現が第２の位置から再生されると、オーディオデータの第２のセグメントが再生される。

様々な実施形態によれば、第１の位置および第２の位置にナビゲートすることを求める要求は、多数の方法で行うことができる。一例では、マルチビューインタラクティブデジタルメディア表現を通じたユーザのナビゲーションは、自動再生を選択することを含み、自動再生は、マルチビューインタラクティブデジタルメディア表現を通じた所定のナビゲーションの再生をトリガする。この所定のナビゲーションは、第１の位置および第２の位置へのナビゲーションを含む設定された一連のビューおよびオーディオデータを含む。別の例では、マルチビューインタラクティブデジタルメディア表現を通じたユーザのナビゲーションは、第１の位置にナビゲートし、第２の位置にナビゲートすることを含む。図１のＡに関して上述したように、ユーザは、画面をスワイプすること、マウスもしくはカーソルを操作すること、またはモバイルデバイスを傾けるもしくは他の様態で動かすことなどのユーザ入力によってこれらの位置にナビゲートすることができる。いくつかの実施形態では、ユーザが第１の位置にナビゲートすると、第１のセグメントが再生され、ユーザが第１の位置から離れるようにナビゲートするにつれて、第１のセグメントの音量が減少する。同様に、第１のセグメントの音量は、ユーザが第１の位置に向かってナビゲートするにつれて増加する。

様々なコンピューティングデバイスが、本明細書に記載の方法を実装することができる例えば、モバイルデバイス、コンピュータシステムなどを使用して、マルチビューインタラクティブデジタルメディア表現および関連するオーディオメディアを表示することができる。図５を参照すると、本発明の特定の例を実装するために使用することができるコンピュータシステムの特定の例が示されている。例えば、コンピュータシステム５００を使用して、上述した様々な実施形態によるマルチビューインタラクティブデジタルメディア表現および関連するオーディオデータを表示することができる。さらに、示されているコンピュータシステム５００は、モバイルデバイス上のコンピュータシステムを表すことができる。特定の例示的な実施形態によれば、本発明の特定の実施形態を実装するのに適したシステム５００は、プロセッサ５０１、メモリ５０３、インターフェース５１１、およびバス５１５（例えば、ＰＣＩバス）を含む。インターフェース５１１は、別個の入力および出力インターフェースを含んでもよく、または両方の動作をサポートする統一インターフェースであってもよい。適切なソフトウェアまたはファームウェアの制御下で動作するとき、プロセッサ５０１は、最適化などのタスクを担当する。プロセッサ５０１の代わりに、またはプロセッサ５０１に加えて、様々な特別に構成されたデバイスを使用することもできる。実装態様全体を、カスタムハードウェアで行うこともできる。インターフェース５１１は、典型的には、ネットワークを介してデータパケットまたはデータセグメントを送受信するように構成される。デバイスがサポートするインターフェースの特定の例は、Ｅｔｈｅｒｎｅｔインターフェース、フレームリレーインターフェース、ケーブルインターフェース、ＤＳＬインターフェース、トークンリングインターフェースなどを含む。

さらに、ｆａｓｔ Ｅｔｈｅｒｎｅｔインターフェース、Ｇｉｇａｂｉｔ Ｅｔｈｅｒｎｅｔインターフェース、ＡＴＭインターフェース、ＨＳＳＩインターフェース、ＰＯＳインターフェース、ＦＤＤＩインターフェースなど、様々な超高速インターフェースを提供することができる。一般に、これらのインターフェースは、適切な媒体との通信に適したポートを含むことができる。場合によっては、それらは独立したプロセッサ、および、場合によって揮発性ＲＡＭをも含んでもよい。独立したプロセッサは、パケット交換、媒体制御および管理のような通信集中的なタスクを制御することができる。

特定の例示的な実施形態によれば、システム５００は、メモリ５０３を使用してデータおよびプログラム命令を格納し、ローカル側のキャッシュを維持する。プログラム命令は、例えば、オペレーティングシステムおよび／または１つまたは複数のアプリケーションの動作を制御することができる。１つまたは複数のメモリは、受信したメタデータおよびバッチ要求メタデータを格納するように構成することもできる。

そのような情報およびプログラム命令は、本明細書に記載されたシステム／方法を実装するために利用され得るため、本発明は、本明細書に記載の様々な動作を実行するためのプログラム命令、状態情報などを含む有形の機械可読媒体に関する。機械可読媒体の例は、ハードディスク、フロッピーディスク、磁気テープ、ＣＤ−ＲＯＭディスクおよびＤＶＤのような光媒体、光ディスクなどの光磁気媒体、ならびに、読み出し専用メモリデバイス（ＲＯＭ）およびプログラマブル読み出し専用メモリデバイス（ＰＲＯＭ）などのプログラム命令を格納および実行するように特別に構成されたハードウェアデバイスを含む。プログラム命令の例には、コンパイラによって生成されるような機械コードと、インタプリタを使用してコンピュータによって実行され得るより高レベルのコードを含むファイルの両方が含まれる。

便宜上、多くの構成要素およびプロセスが単数で記載されているが、複数の構成要素および反復プロセスもまた、本開示の技法を実施するために使用され得ることは、当業者には理解されるであろう。

本開示は、その特定の実施形態を参照して特に示され、記載されているが、当業者には、開示された実施形態の形態および詳細の変更が、本発明の精神または範囲から逸脱することなく成され得ることが理解される。したがって、本発明は、本発明の真の精神および範囲内に入るすべての変形および均等物を含むと解釈されることが意図される。

Claims (20)

1. マルチビューインタラクティブデジタルメディア表現を取り出すステップであって、前記マルチビューインタラクティブデジタルメディア表現は、内容モデルおよびコンテクストモデルにともに融合されている複数の画像を含み、前記内容モデルは物体を含み、前記コンテクストモデルは前記物体を取り巻く風景を含む、マルチビューインタラクティブデジタルメディア表現を取り出すステップと、
   前記マルチビューインタラクティブデジタルメディア表現に統合されるべきオーディオデータを取り出すステップと、
   前記第１のセグメントを前記マルチビューインタラクティブデジタルメディア表現の第１の位置に関連付けるステップと、
   前記マルチビューインタラクティブデジタルメディア表現を通じたユーザのナビゲーションに基づいて、前記マルチビューインタラクティブデジタルメディア表現と協調して前記オーディオデータを再生するステップであって、前記マルチビューインタラクティブデジタルメディア表現内の前記第１の位置は、前記第１のセグメントの再生をトリガし、前記第１の位置は、物体の位置またはキャプチャデバイスの位置である、再生するステップと
   を含む、方法。
2. 前記オーディオデータは、前記オーディオデータを前記第１のセグメントと第２のセグメントとにセグメント化するように処理される、請求項１に記載の方法。
3. 前記第２のセグメントは、前記マルチビューインタラクティブデジタルメディア表現内の第２の位置に関連付けられ、前記マルチビューインタラクティブデジタルメディア表現内の前記第２の物***置は、前記第２のセグメントの再生をトリガする、請求項２に記載の方法。
4. 前記マルチビューインタラクティブデジタルメディア表現は、サラウンドビューである、請求項２に記載の方法。
5. 前記マルチビューインタラクティブデジタルメディア表現は、マルチビュー画像である、請求項２に記載の方法。
6. 前記マルチビューインタラクティブデジタルメディア表現は、三次元モデルである、請求項２に記載の方法。
7. 前記オーディオデータは、前記マルチビューインタラクティブデジタルメディア表現に含まれる画像の記録と同時に取得されたオーディオ記録を含む、請求項２に記載の方法。
8. 前記オーディオデータは、前記マルチビューインタラクティブデジタルメディア表現に含まれる画像とは別個に取得されたオーディオ記録である、請求項２に記載の方法。
9. 前記オーディオデータは、予め記録されたオーディオファイルである、請求項２に記載の方法。
10. 前記第１のセグメントおよび前記第２のセグメントは、独立成分分析を使用して前記オーディオデータから抽出される、請求項２に記載の方法。
11. 前記第１のセグメントは第１の音源セットを含み、前記第２のセグメントは第２の音源セットを含む、請求項２に記載の方法。
12. 前記第１の音源セットが音声を含み、前記第２の音源セットが背景雑音を含む、請求項１１に記載の方法。
13. 前記第１の位置は、前記サラウンドビュー内のキャプチャされている物体に関連するビデオ物***置である、請求項１１に記載の方法。
14. 前記第１の位置は、前記キャプチャデバイスの位置を伴うビデオキャプチャ位置である、請求項１１に記載の方法。
15. 前記第１のセグメントは、前記マルチビューインタラクティブデジタルメディア表現内の前記第１の位置の近くで発生する音を含み、前記第２のセグメントは、前記マルチビューインタラクティブデジタルメディア表現内の前記第２の位置の近くで発生する音を含む、請求項２に記載の方法。
16. 前記マルチビューインタラクティブデジタルメディア表現を通じた前記ユーザのナビゲーションは、自動再生を選択することを含み、自動再生は、前記マルチビューインタラクティブデジタルメディア表現を通じた所定のナビゲーションの再生をトリガし、前記所定のナビゲーションは、設定された一連のビューおよびオーディオデータを含む、請求項２に記載の方法。
17. 前記マルチビューインタラクティブデジタルメディア表現を通じて前記ユーザのナビゲーションは、前記マルチビューインタラクティブデジタルメディア表現内の前記第１の位置にナビゲートし、前記マルチビューインタラクティブデジタルメディア表現内の前記第２の位置にナビゲートすることを含む、請求項２に記載の方法。
18. 前記第１のセグメントは、前記ユーザが前記第１の位置にナビゲートするときに再生され、前記第１のセグメントの音量は、前記ユーザが前記第１の位置から離れるようにナビゲートするにつれて減少し、前記第１のセグメントの前記音量は、前記ユーザが前記第１の位置に向かってナビゲートするにつれて増大する、請求項１７に記載の方法。
19. マルチビューインタラクティブデジタルメディア表現を取り出すためのコンピュータコードであって、前記マルチビューインタラクティブデジタルメディア表現は、内容モデルおよびコンテクストモデルにともに融合されている複数の画像を含み、前記内容モデルは物体を含み、前記コンテクストモデルは前記物体を取り巻く風景を含む、マルチビューインタラクティブデジタルメディア表現を取り出すためのコンピュータコードと、
    前記マルチビューインタラクティブデジタルメディア表現に統合されるべきオーディオデータを取り出ためのコンピュータコードと、
    前記第１のセグメントを前記マルチビューインタラクティブデジタルメディア表現の第１の位置に関連付けるためのコンピュータコードと、
    前記マルチビューインタラクティブデジタルメディア表現を通じたユーザのナビゲーションに基づいて、前記マルチビューインタラクティブデジタルメディア表現と協調して前記オーディオデータを再生するためのコンピュータコードであって、前記マルチビューインタラクティブデジタルメディア表現内の前記第１の位置は、前記第１のセグメントの再生をトリガする、再生するためのコンピュータコードと
    を備える、コンピュータ可読媒体。
20. マルチビューインタラクティブデジタルメディア表現を取り出すステップであって、前記マルチビューインタラクティブデジタルメディア表現は、ユーザによってナビゲート可能な三次元モデルにともに融合されている複数の画像を含む、マルチビューインタラクティブデジタルメディア表現を取り出すステップと、
    前記マルチビューインタラクティブデジタルメディア表現に統合されるべきオーディオデータを取り出すステップと、
    前記オーディオデータを処理するステップであって、前記オーディオデータを処理するステップは、前記オーディオデータを第１のセグメントと第２のセグメントとにセグメント化し、前記第１のセグメントを前記マルチビューインタラクティブデジタルメディア表現の第１の位置に関連付け、前記第２のセグメントを前記マルチビューインタラクティブデジタルメディア表現の第２の位置に関連付けるステップを含む、前記オーディオデータを処理するステップと、
    前記マルチビューインタラクティブデジタルメディア表現を通じたユーザのナビゲーションに基づいて、前記マルチビューインタラクティブデジタルメディア表現と協調して前記オーディオデータを再生するステップであって、前記マルチビューインタラクティブデジタルメディア表現内の前記第１の位置が描写されるときに前記第１のセグメントが再生され、前記マルチビューインタラクティブデジタルメディア表現内の前記第２の位置が描写されるときに前記第２のセグメントが再生される、再生するステップと
    を含む、方法。