JP6658545B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。

例えばユーザに装着されたセンサによって提供されるセンサデータに基づいて、ユーザのさまざまな行動を検出する技術が種々提案されている。例えば、特許文献１には、センサデータの閾値処理によって認識されたユーザの行動のうち特定の行動に特化した複数の行動判定部を有し、それぞれの行動判定部における判定結果に基づいて行動情報を生成する情報処理装置が記載されている。

特開２０１０−１９８５９５号公報

例えば特許文献１に記載されたような技術によって検出されるユーザの行動（アクション）には、情報の生成に限らず様々な活用の仕方がありうる。しかしながら、そのような活用の仕方については、必ずしもこれまで十分に提案されてきたとはいえない。

そこで、本開示では、ユーザのアクションの検出結果に基づいて、ユーザに様々な便益をもたらすことが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。

本開示によれば、検出されたユーザのアクションを示すアクション情報を取得する情報取得部と、上記アクションの時間的または空間的なシーケンスに従って展開するコンテンツを提供するコンテンツ提供部とを備える情報処理装置が提供される。

また、本開示によれば、検出されたユーザのアクションを示すアクション情報を取得することと、プロセッサが、上記アクションの時間的または空間的なシーケンスに従って展開するコンテンツを提供することとを含む情報処理方法が提供される。

また、本開示によれば、検出されたユーザのアクションを示すアクション情報を取得する機能と、上記アクションの時間的または空間的なシーケンスに従って展開するコンテンツを提供する機能とをコンピュータに実現させるためのプログラムが提供される。

以上説明したように本開示によれば、ユーザのアクションの検出結果に基づいて、ユーザに様々な便益をもたらすことができる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係る情報処理装置の概略的な機能構成を示すブロック図である。 本開示の一実施形態において、ユーザのアクションに含まれるジャンプを検出するための処理の第１の例を示すフローチャートである。 図２に示したハイインパクト検出処理の例を示すフローチャートである。 図２に示した自由落下検出処理の第１の例を示すフローチャートである。 図２に示した自由落下検出処理の第２の例を示すフローチャートである。 本開示の一実施形態において、ユーザのアクションに含まれるジャンプを検出するための処理の第２の例を示すフローチャートである。 図６に示した候補区間検出処理の例を示すフローチャートである。 図７に示した鉛直方向加速度算出処理の例を示すフローチャートである。 図７に示した水平方向加速度算出処理の例を示すフローチャートである。 本開示の一実施形態において、ユーザのアクションに含まれるターン区間を検出するための処理の例を示すフローチャートである。 図１０に示した回転区間検出処理の例を示すフローチャートである。 図１０に示した首振り検出処理の例を示すフローチャートである。 図１０に示したターン検出処理の例を示すチャートである。 本開示の一実施形態において、センサ装着状態を推定するための処理の例を示すブロック図である。 本開示の一実施形態において仮想的なゲームコースを提供するための処理の例を示すフローチャートである。 本開示の一実施形態において提供される仮想的なゲームコースの第１の例を示す図である。 本開示の一実施形態において提供される仮想的なゲームコースの第２の例を示す図である。 本開示の一実施形態において提供される仮想的なゲームコースの第２の例を示す図である。 本開示の一実施形態において提供される仮想的なゲームコースの第３の例を示す図である。 本開示の一実施形態において提供される仮想的なゲームコースの第４の例を示す図である。 本開示の一実施形態において提供される仮想的なゲームコースの第４の例を示す図である。 本開示の一実施形態において提供される音楽リズムゲームの例を示す図である。 本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．情報処理装置の機能構成
２．アクション検出処理の例
２−１．ジャンプの検出−１
２−２．ジャンプの検出−２
２−３．ターンの検出
３．付加的な処理の例
３−１．アクションスコアの算出
３−２．クラスタリング処理
３−３．センサ装着状態の推定
４．コンテンツ提供の例
４−１．仮想的なゲームコースの提供
４−２．音楽リズムゲームの提供
４−３．アクションに応じてストーリーが展開するコンテンツの提供
４−４．コレクションコンテンツの提供
５．ハードウェア構成
６．補足

（１．情報処理装置の機能構成）
図１は、本開示の一実施形態に係る情報処理装置の概略的な機能構成を示すブロック図である。図１を参照すると、情報処理装置１００は、送信部１０１と、受信部１０２と、センサデバイス制御部１０３と、センサデータ解析部１０４と、解析結果処理部１０７と、検出区間情報保持部１１０と、付加的情報保持部１１１と、サービス制御部１１２とを含む。

情報処理装置１００は、例えば後述するいくつかの具体的な例において示されるように、ネットワーク上のサーバを構成する単一の装置、または装置の集合体でありうる。また、情報処理装置１００は、ネットワークを介してサーバと通信する端末装置、または単独で動作する端末装置であってもよい。あるいは、情報処理装置１００の機能は、ネットワークを介して互いに通信するサーバと端末装置とに分散して実現されてもよい。情報処理装置１００、または情報処理装置１００の機能を実現する複数の装置のそれぞれのハードウェア構成については後述する。

送信部１０１および受信部１０２は、例えば有線または無線の各種通信方式によってセンサデバイスと通信する通信装置によって実現される。センサデバイスは、ユーザまたはユーザによって使用される器具に装着された少なくとも１つのセンサを含む。送信部１０１は、センサデバイス制御部１０３が出力する制御信号をセンサデバイスに送信する。受信部１０２は、センサデバイスからセンサデータおよび時刻情報（タイムスタンプ）を受信し、これらをセンサデバイス制御部１０３に入力する。図示された例において、受信部１０２は、ユーザまたはユーザによって使用される器具に装着されたセンサによって提供されるセンサデータを受信するセンサデータ受信部を実現する。なお、例えば情報処理装置１００が、少なくとも１つのセンサを備える端末装置、より具体的にはモバイルデバイスやウェアラブルデバイスであるような場合には、センサからセンサデータを受信するドライバプログラムを実行するＣＰＵ（Central Processing Unit）などのプロセッサによってセンサデータ受信部が実現されてもよい。また、本実施形態に係る情報処理装置は、例えば、センサを備える外部の装置からセンサデータを取得する取得部を備えていてもよい。ここで、取得部は、例えば、“送信部１０１および受信部１０２を実現する上記通信装置などを介して、センサを備える外部の装置からセンサデータを受信するドライバプログラム”を実行するＣＰＵなどのプロセッサによって、実現される。なお、取得部を備える場合、本実施形態に係る情報処理装置は、センサデータ受信部を備えない構成をとることも可能である

センサデバイス制御部１０３は、例えばＣＰＵなどのプロセッサが、メモリに格納されたプログラムに従って動作することによって実現される。センサデバイス制御部１０３は、受信部１０２からセンサデータおよび時刻情報を取得する。センサデバイス制御部１０３は、これらのデータをセンサデータ解析部１０４および解析結果処理部１０７に提供する。センサデバイス制御部１０３は、必要に応じて、データの前処理を実施してもよい。また、センサデバイス制御部１０３は、センサデバイスの制御信号を送信部１０１に出力する。いくつかの実施形態において、センサデバイス制御部１０３は、センサデータ解析部１０４または解析結果処理部１０７における処理の結果のフィードバックに基づいて、制御信号を出力してもよい。

センサデータ解析部１０４は、例えばＣＰＵなどのプロセッサが、メモリに格納されたプログラムに従って動作することによって実現される。センサデータ解析部１０４は、センサデバイス制御部１０３から提供されたセンサデータを用いた種々の解析を実行する。図示された例において、センサデータ解析部１０４は、特徴量抽出部１０５と、アクション検出部１０６とを含む。特徴量抽出部１０５は、センサデータから各種の特徴量を抽出する。アクション検出部１０６は、特徴量抽出部１０５によってセンサデータから抽出された特徴量に基づいて、ユーザのアクションを検出する。本実施形態において、アクション検出部１０６が検出するユーザのアクションには、ユーザのターンおよび／またはジャンプが含まれる。さらに、アクション検出部１０６は、歩く、走る、静止する、乗り物で移動するなどといった、その他のユーザのアクションを検出してもよい。ユーザのアクションは、それが発生した区間（アクション区間）を示す時刻情報（タイムスタンプ）に関連付けて検出されうる。センサデータ解析部１０４は、解析結果、より具体的には例えばアクション検出部１０６によって検出されたユーザのアクション区間を含む情報を、検出区間情報保持部１１０に格納する。また、センサデータ解析部１０４は、解析結果を、解析結果処理部１０７に提供する。

解析結果処理部１０７は、例えばＣＰＵなどのプロセッサが、メモリに格納されたプログラムに従って動作することによって実現される。解析結果処理部１０７は、センサデータ解析部１０４の解析結果、より具体的にはアクション検出部１０６によって検出されたユーザのアクションの情報に基づいて、後段のサービス制御部１１２によって利用される各種の付加的な情報を生成する。図示された例において、解析結果処理部１０７は、クラスタリング処理部１０８と、スコアリング処理部１０９とを含む。例えば、検出されたユーザのアクションが同じ種類の複数のアクションを含む場合、クラスタリング処理部１０８が、これらのアクションをその特徴量（特徴量抽出部１０５によって抽出された特徴量であってもよいし、アクション検出部１０６によって算出された中間的な特徴量であってもよい）に基づいてクラスタリングしてもよい。また、同じ場合、スコアリング処理部１０９が、特徴量に基づいてアクションの評価を示すスコアを算出してもよい。また、クラスタリング処理部１０８および／またはスコアリング処理部１０９は、センサデバイス制御部１０３から提供されたセンサデータに基づいて、新たに特徴量を算出してもよい。解析結果処理部１０７は、処理結果、より具体的にはクラスタリング処理部１０８によるクラスタリングの結果や、スコアリング処理部１０９によって算出されたスコアの情報を、時刻情報（タイムスタンプ）とともに付加的情報保持部１１１に格納する。

検出区間情報保持部１１０および付加的情報保持部１１１は、例えば各種のメモリまたはストレージ装置によって実現される。検出区間情報保持部１１０および付加的情報保持部１１１は、上記のようにセンサデータ解析部１０４および解析結果処理部１０７から提供された情報を、一時的または永続的に格納する。検出区間情報保持部１１０に格納された情報と、付加的情報保持部１１１に格納された情報とは、例えば時刻情報（タイムスタンプ）によって互いに対応付けることが可能でありうる。また、検出区間情報保持部１１０および付加的情報保持部１１１には、複数のユーザのそれぞれに関する情報が格納されてもよい。

サービス制御部１１２は、例えばＣＰＵなどのプロセッサが、メモリに格納されたプログラムに従って動作することによって実現される。サービス制御部１１２は、検出区間情報保持部１１０および／または付加的情報保持部１１１に格納された情報を利用して、サービス１１３を制御する。より具体的には、例えば、サービス制御部１１２は、検出区間情報保持部１１０および／または付加的情報保持部１１１から読み出した情報に基づいて、サービス１１３においてユーザに提供される情報を生成する。なお、例えば情報処理装置１００がサーバであるような場合、サービス制御部１１２によって出力された情報は、通信装置を介して端末装置に送信されうる。また、例えば情報処理装置１００が端末装置であるような場合、サービス制御部１１２によって出力された情報は、端末装置が備えるディスプレイ、スピーカ、またはバイブレータなどの出力装置に提供されうる。

（２．アクション検出処理の例）
以下では、本開示の一実施形態において実行されるアクション検出処理の例について説明する。これらの例では、ユーザがスノーボードをしている場合に発生するジャンプおよびターンが検出される。例えば、スノーボードの場合、加速度センサおよび角速度センサなどを含むセンサデバイスは、ウェアに埋め込まれたり、ウェアラブル端末装置やモバイル端末装置に組み込まれたりすることによって、ユーザに直接的に装着されてもよい。あるいは、センサデバイスは、スノーボードの用具、例えばボードに装着されてもよい。

なお、本実施形態で実行されるアクション検出処理はスノーボードで発生するジャンプやターンには限られず、例えばスノーボード以外のスポーツで発生するジャンプやターンについてアクション検出処理が実行されてもよい。ジャンプやターンは、さまざまなスポーツで共通して発生しうるアクションであるため、例えば以下で説明するような検出処理によって、スポーツの種類に関わらずジャンプやターンを検出することが可能でありうる。また、本実施形態で実行されるアクション検出処理では、ジャンプやターン以外のアクションが検出されてもよい。そのようなアクション検出処理には、例えば特開２０１０−１９８５９５号公報などに記載された行動認識の技術において利用されている様々な技術を応用することが可能である。

（２−１．ジャンプの検出−１）
図２は、本開示の一実施形態において、ユーザのアクションに含まれるジャンプを検出するための処理の第１の例を示すフローチャートである。図示された処理は、例えば上記の情報処理装置１００に含まれるセンサデータ解析部１０４において実行される。

まず、センサデータ解析部１０４は、所定のタイムフレームごとに、ハイインパクト検出処理（Ｓ１１０）と、自由落下検出処理（Ｓ１２０）とを実行する。なお、これらの処理の詳細については後述する。これらの処理の結果を受けて、センサデータ解析部１０４に含まれるアクション検出部１０６は、２つのハイインパクト区間（踏み切りおよび着地と推定される）に挟まれた区間が発生したか否かを判定する（Ｓ１０１）。そのような区間が発生した場合、アクション検出部１０６は、区間の持続時間（duration）が２つの閾値（ＴＨ１，ＴＨ２）の間にあるか否かを判定する（Ｓ１０２）。これらの閾値は、例えば、ジャンプとしては長すぎる区間や短すぎると判断される区間を除外する目的で設定される。

Ｓ１０２の判定において持続時間が２つの閾値の間にあった場合、さらに、アクション検出部１０６は、当該区間における自由落下区間の比率が閾値（ＴＨ）を超えるか否かを判定する（Ｓ１０３）。自由落下区間の比率が閾値を超える場合、当該区間（２つのハイインパクト区間に挟まれた区間）がジャンプ区間であることが検出される（Ｓ１０４）。

図３は、図２に示したハイインパクト検出処理（Ｓ１１０）の例を示すフローチャートである。図３を参照すると、ハイインパクト検出処理では、センサデータに含まれる加速度（Ｄ１１１）が利用される。まず、センサデータ解析部１０４に含まれる特徴量抽出部１０５が、加速度のノルムを算出し（Ｓ１１２）、さらにノルムをＬＰＦ（Low Pass Filter）によってスムージングする（Ｓ１１３）。続いて、特徴量抽出部１０５は、スムージングされた加速度のノルムについて、所定のタイムフレームで振幅のパワーを算出する（Ｓ１１４）。アクション検出部１０６は、パワーが閾値（ＴＨ）を上回るか否かを判定し（Ｓ１１５）、パワーが閾値を上回る場合、当該タイムフレームがハイインパクト区間であることを検出する（Ｓ１１６）。

なお、本明細書および図面において、ＴＨ、ＴＨ１またはＴＨ２などとして表記される閾値には、それぞれの処理において適切な値が設定される。つまり、これらの閾値がいずれもＴＨなどとして表記されていることは、これらの閾値が同じ値であることを示すものではない。

図４は、図２に示した自由落下検出処理（Ｓ１２０）の第１の例を示すフローチャートである。図４を参照すると、第１の例に係る自由落下検出処理では、センサデータに含まれる加速度（Ｄ１２１）および角速度（Ｄ１２５）が利用される。まず、特徴量抽出部１０５が加速度のノルムを算出し（Ｓ１２２）、アクション検出部１０６が各区間におけるノルムが閾値（ＴＨ）を下回るか否かを判定する（Ｓ１２３）。アクション検出部１０６は、加速度のノルムが閾値を下回った区間について、当該区間が自由落下区間であることを検出する（Ｓ１２４）。

一方、特徴量抽出部１０５は、角速度についてもノルムを算出し（Ｓ１２６）、さらに所定のタイムフレームにおけるノルムの分散を算出する（Ｓ１２７）。アクション検出部１０６は、角速度のノルムの分散が閾値（ＴＨ）を下回るか否かを判定し（Ｓ１２８）、分散が閾値を下回る場合、Ｓ１２４において検出された自由落下区間をマスクする（つまり、自由落下区間としての判定を取り消す）（Ｓ１２９）。このような角速度に基づくマスク処理は、ユーザがジャンプした場合には角速度の変化が発生するため、角速度の変化（分散）が小さい自由落下区間はジャンプ以外の原因で発生している、という知見に基づく。

なお、上記の処理において、Ｓ１２６〜Ｓ１２９におけるマスクの処理は、必ずしもＳ１２１〜Ｓ１２４における自由落下区間の判定処理の後に実行されなくてもよい。例えば、アクション検出部１０６は、マスクの処理を先行して実行し、マスクする区間として特定された区間については自由落下区間の判定処理を実行しなくてもよい。あるいは、マスクの処理は、図２に示したジャンプ区間の検出処理（Ｓ１０４）の後に実行され、一旦ジャンプ区間として検出された区間がマスクされてもよい。さらにいえば、図４などに示す自由落下処理（Ｓ１２０）は、必ずしも図２に示した区間の発生判定（Ｓ１０１）の前に実行される必要はなく、区間の発生判定の後、例えば自由落下区間の比率に関する判定（Ｓ１０３）の前に、当該区間について自由落下検出処理が実行されてもよい。

図５は、図２に示した自由落下検出処理（Ｓ１２０）の第２の例を示すフローチャートである。図５を参照すると、第２の例に係る自由落下検出処理では、ユーザまたはユーザによって使用される器具に装着された加速度センサによって提供されるセンサデータに含まれる加速度（Ｄ１２１）が利用される。Ｓ１２２〜Ｓ１２４では、特徴量抽出部１０５およびアクション検出部１０６が上記の第１の例と同様の処理を実行し、自由落下区間を検出する。

一方、本例において、特徴量抽出部１０５は、加速度のＸ軸成分およびＹ軸成分を抽出し（Ｓ１３２）、さらに加速度のＸ軸成分とＹ軸成分との間での共分散を算出する（Ｓ１３３）。より具体的には、例えば、特徴量抽出部１０５は、ユーザが基準面（水平面には限らず、傾斜面であってもよい）上を歩いたり走ったりしている場合に、加速度センサの座標軸のうちユーザの進行方向に最も近い軸をＸ軸、基準面の法線方向に最も近い軸をＹ軸とし、これらの軸方向の加速度成分（Ｘ軸成分、Ｙ軸成分）の共分散を算出する。アクション検出部１０６は、共分散が閾値（ＴＨ）を下回るか否かを判定し（Ｓ１３４）、共分散が閾値を下回る場合、Ｓ１２４において検出された自由落下区間をマスクする（Ｓ１２９）。このような加速度の共分散に基づくマスク処理は、例えば、検出したいジャンプが専ら基準面の法線方向の変位を伴ういわゆる垂直跳びではなく、ユーザの進行方向への変位を伴うジャンプである場合に有効である。

（２−２．ジャンプの検出−２）
図６は、本開示の一実施形態において、ユーザのアクションに含まれるジャンプを検出するための処理の第２の例を示すフローチャートである。図示された処理は、上記の第１の例と同様に、例えば情報処理装置１００に含まれるセンサデータ解析部１０４において実行される。

まず、センサデータ解析部１０４は、候補セクション検出処理（Ｓ１４０）を実行する。なお、この処理の詳細については後述する。処理の結果を受けて、センサデータ解析部１０４に含まれるアクション検出部１０６は、候補区間が発生したか否かを判定する（Ｓ１０５）。候補区間が発生した場合、アクション検出部１０６は、上記の第１の例と同様に、区間の持続時間（duration）が２つの閾値（ＴＨ１，ＴＨ２）の間にあるか否かを判定する（Ｓ１０２）。持続時間が２つの閾値の間にあった場合、さらに、アクション検出部１０６は、区間における鉛直方向および水平方向の加速度の平均値（mean）がそれぞれの閾値（ＴＨｓ）を超えるか否かを判定する（Ｓ１０６）。加速度の平均値がそれぞれの閾値を超える場合、当該候補区間がジャンプ区間であることが検出される（Ｓ１０４）。

図７は、図６に示した候補区間検出処理（Ｓ１４０）の例を示すフローチャートである。図７を参照すると、候補区間検出処理では、まず、上記で図３を参照して説明したハイインパクト検出処理（Ｓ１１０）と、鉛直方向加速度算出処理（Ｓ１４１）と、水平方向加速度算出処理（Ｓ１４２）とが実行される。さらに、センサデータ解析部１０４に含まれる特徴量抽出部１０５は、各区間について、Ｓ１４１，Ｓ１４２で算出された鉛直方向加速度と水平方向加速度との差分を算出する（Ｓ１４３）。その上で、アクション検出部１０６が、２つのハイインパクト区間（踏み切りおよび着地と推定される）に挟まれた区間が発生したか否かを判定する（Ｓ１４４）。そのような区間が発生した場合、アクション検出部１０６は、Ｓ１４３で算出された鉛直方向加速度と水平方向加速度との差分が、当該区間において閾値（ＴＨ）を超えるか否かを判定する（Ｓ１４５）。差分が閾値を超える場合、当該区間（２つのハイインパクト区間に挟まれた区間）がジャンプ区間の候補区間であることが検出される（Ｓ１４６）。

図８は、図７に示した鉛直方向加速度算出処理（Ｓ１４１）の例を示すフローチャートである。図８を参照すると、鉛直方向加速度算出処理では、センサデータに含まれる加速度（Ｄ１５１）が利用される。まず、センサデータ解析部１０４に含まれる特徴量抽出部１０５が、加速度の平均値（mean）を算出する（Ｓ１５２）。ここで算出される平均値は、例えば移動平均でありうる。Ｓ１５２で算出された加速度の平均値に基づいて、特徴量抽出部１０５は重力成分加速度算出処理を実行する（Ｓ１５３）。さらに、特徴量抽出部１０５は、算出された重力成分加速度のノルムを算出する（Ｓ１５４）。なお、重力成分加速度は、移動平均などの平均値に基づいて算出されてもよいし、ＬＰＦなどのフィルタを用いて算出されてもよい。

一方、特徴量抽出部１０５は、上記のＳ１５２〜Ｓ１５４の処理とは別に、加速度（Ｄ１５１）をＢＰＦ（Band Pass Filter）で処理する（Ｓ１５５）。図示された例において、ＢＰＦは、低周波領域のフィルタによって加速度に含まれるＤＣ成分（つまり、重力成分）を除去し、さらに高周波領域のフィルタによって加速度をスムージングすることを目的として用いられる。なお、Ｓ１５５のＢＰＦは、例えばＬＰＦやＨＰＦ（High Pass Filter）など、他の種類のフィルタの組み合わせによって代替されてもよい。特徴量抽出部１０５は、ＢＰＦによって処理された加速度について、Ｓ１５３で算出された重力成分加速度との内積を算出する（Ｓ１５６）。

さらに、特徴量抽出部１０５は、Ｓ１５６で算出された内積を、Ｓ１５４で算出された重力成分加速度のノルムで割る（Ｓ１５７）。これによって、鉛直方向加速度（Ｖ１５８）が得られる。図示された例において、鉛直方向加速度は、ＢＰＦ（Ｓ１５５）によって重力成分を除去した加速度を、重力成分加速度の方向に射影することによって算出されている。

図９は、図７に示した水平方向加速度算出処理（Ｓ１４２）の例を示すフローチャートである。図９を参照すると、水平方向加速度算出処理でも、センサデータに含まれる加速度（Ｄ１５１）が利用される。また、水平方向加速度算出処理では、上記で図８を参照して説明した鉛直方向加速度算出処理（Ｓ１４１）において算出された鉛直方向加速度が利用される。より具体的には、センサデータ解析部１０４に含まれる特徴量抽出部１０５は、鉛直方向加速度を２乗して利用する（Ｓ１６１）。

その一方で、特徴量抽出部加速度（Ｄ１５１）をＢＰＦで処理し（Ｓ１６２）、加速度に含まれるＤＣ成分を除去するとともに加速度をスムージングする。なお、Ｓ１６２のＢＰＦも、例えばＬＰＦやＨＰＦなど、他の種類のフィルタの組み合わせによって代替されてもよい。特徴量抽出部１０５は、ＢＰＦによって処理された加速度のノルムを算出し（Ｓ１６３）、これを２乗する（Ｓ１６４）。さらに、特徴量抽出部１０５は、Ｓ１６１で算出された鉛直方向加速度の２乗と、Ｓ１６４で算出された水平方向加速度の２乗との差分を算出し（Ｓ１６５）、差分の平方根（Ｓ１６６）によって水平方向加速度（Ｖ１６７）を得る。

以上で説明したような、本開示の一実施形態におけるジャンプ検出では、ジャンプ検出の第１の例（図２）で自由落下検出処理に第１の例（図４）を採用する場合と、同じくジャンプ検出の第１の例（図２）で自由落下検出処理に第２の例（図５）を採用する場合と、ジャンプ検出の第２の例（図６）の場合とで、合計３種類のジャンプ検出処理が可能である。アクション検出部１０６を含むセンサデータ解析部１０４は、これらの３種類のジャンプ検出処理をそれぞれ実行した上で、それらの結果に基づいて最終的なジャンプ区間を検出してもよい。より具体的には、例えば、アクション検出部１０６は、３種類のジャンプ検出処理のうちの少なくとも１つでジャンプ区間が検出された場合に、当該区間を最終的なジャンプ区間として検出してもよい。あるいは、アクション検出部１０６は、３種類のジャンプ検出処理のうちの２つ以上、または３種類すべてでジャンプ区間が検出された場合に、当該区間を最終的なジャンプ区間として検出してもよい。

（２−３．ターンの検出）
図１０は、本開示の一実施形態において、ユーザのアクションに含まれるターン区間を検出するための処理の例を示すフローチャートである。図示された処理は、例えば上記の情報処理装置１００に含まれるセンサデータ解析部１０４において実行される。以下の処理では、センサデータ解析部１０４が、ユーザのアクションに含まれる回転を検出し（Ｓ２１０）、さらにその回転に含まれる非ターン性の回転を検出し（Ｓ２３０）、回転から非ターン性の回転を除いたものの中からターンを検出する（Ｓ２５０）。
ここで、非ターン性の回転は、例えば、センサがユーザの頭部、またはユーザの頭部に装着される器具に装着されるセンサを含む場合に、ユーザの首振りによって発生する回転を含む。非ターン性の回転は、他にも、ユーザの体動によって発生する回転、より具体的には、センサがユーザの腕部、またはユーザの腕部に装着される器具に装着されるセンサを含む場合に、ユーザの腕振りや腕回しによって発生する回転などを含みうる。
本実施形態では、センサデータ解析部１０４が、このような非ターン性の回転を除いた上でターン区間を検出することで、より精度の高いターン区間の検出が可能になる。そのような意味で、非ターン性の回転は、検出対象であるターンに対するノイズであるともいえ、本実施形態において、センサデータ解析部１０４は、ユーザのアクションに含まれる回転を検出し、さらにその回転に含まれるノイズを検出し、回転からノイズを除いたものの中からターンを検出するともいえる。

まず、センサデータ解析部１０４は、回転区間検出処理（Ｓ２１０）を実行する。本実施形態において、回転区間は、水平面方向の角速度が閾値を超える区間として定義される。センサデータ解析部１０４は、回転区間が発生したか否かを判定する（Ｓ２０１）。回転区間が発生した場合、まず、センサデータ解析部１０４は、首振り（HEAD SHAKE）検出処理（Ｓ２３０）を実行する。さらに、センサデータ解析部１０４は、首振りが検出されたか否かを判定し（Ｓ２０３）、首振りが検出されなかった場合に、さらにターン検出処理（Ｓ２５０）を実行する。このような処理によって、回転区間からユーザの首振り（例えば、センサが頭部装着型のウェアラブル端末装置に搭載されている場合などに発生する）によって生じた区間が除かれ、さらに回転半径や角速度、持続時間などが所望の条件を満たすターン区間を抽出することができる。

図１１は、図１０に示した回転区間検出処理（Ｓ２１０）の例を示すフローチャートである。図１１を参照すると、回転区間検出処理では、センサデータに含まれる加速度（Ｄ２１１）および角速度（Ｄ２１４）が利用される。まず、センサデータ解析部１０４に含まれる特徴量抽出部１０５が、加速度の平均値（mean）を算出する（Ｓ２１２）。ここで算出される平均値は、例えば移動平均でありうる。Ｓ２１２で算出された加速度の平均値に基づいて、特徴量抽出部１０５は重力成分加速度算出処理を実行する（Ｓ２１３）。さらに、特徴量抽出部１０５は、Ｓ２１３で算出された重力成分加速度と、角速度（Ｄ２１４）との内積を算出する（Ｓ２１５）。これによって、重力成分加速度の方向への角速度の射影、つまり水平面方向（鉛直軸回り）の角速度（Ｖ２１６）が得られる。

ここで、特徴量抽出部１０５は、算出された角速度を一旦積分して（Ｓ２１７）、水平面方向の角変位（Ｖ２１８）を算出する。特徴量抽出部１０５は、角変位をＬＰＦで処理する（Ｓ２１９）。さらに、特徴量抽出部１０５は、角変位を微分して（Ｓ２２０）、水平面方向の角速度（Ｖ２２１）にする。Ｖ２２１の角速度は、Ｖ２１８の角速度と比較して、Ｓ２１７で一旦積分され、さらに積分後の角変位がＳ２１９でＬＰＦによって処理されたことによってスムージングされ、波形からノイズが除去されている。センサデータ解析部１０４に含まれるアクション検出部１０６は、水平面方向の角速度（Ｖ２２１）が閾値を上回るか否かを判定し（Ｓ２２２）、角速度が閾値を上回る区間を回転区間として検出する（Ｓ２２３）。

図１２は、図１０に示した首振り検出処理（Ｓ２３０）の例を示すフローチャートである。図１２を参照すると、首振り検出処理では、図１１に示した回転区間検出処理で算出された、スムージング後の水平面方向の角速度（Ｖ２２１）を利用する。特徴量抽出部１０５は、角速度の符号を取得する（Ｓ２３１）。回転の向きに対する符号の定義はどのようなものでもよいが、図示された例において、角速度（Ｖ２２１）の符号として、時計回りの回転（Ｖ２３２）と、反時計回りの回転（Ｖ２３３）とを定義する。さらに、特徴量抽出部１０５は、逆向きの回転が発生した時間間隔を算出する（Ｓ２３４）。つまり、図示された例において、特徴量抽出部１０５は、時計回りの回転（Ｖ２３２）が発生してから反時計回りの回転（Ｖ２３３）が発生するまでの時間間隔、および反時計回りの回転（Ｖ２３３）が発生してから時計回りの回転（Ｖ２３２）が発生するまでの時間間隔を算出する。アクション検出部１０６は、Ｓ２３４で算出された時間間隔が閾値（ＴＨ）を下回るか否かを判定し（Ｓ２３５）、時間間隔が閾値を下回る場合に、首振りが発生していることを検出する（Ｓ２３６）。

図１３は、図１０に示したターン検出処理（Ｓ２５０）の例を示すチャートである。ターン検出処理では、特徴量抽出部１０５によって複数の特徴量が算出され、それぞれの特徴量に基づいてアクション検出部１０６が閾値による判定を実施する。図１３には、特徴量抽出部１０５がそれぞれの特徴量を算出するための処理が示されている。なお、以下の説明ではそれぞれの特徴量の算出の処理を順を追って説明するが、特徴量抽出部１０５による処理は必ずしも説明の順序に実行されなくてもよく、前提になる量が取得または算出されていれば、任意の順序で処理が実行されうる。

まず、特徴量抽出部１０５は、センサデータに含まれる加速度（Ｄ２５１）のノルムを算出し（Ｓ２５２）、さらに所定のタイムフレームにおけるノルムの平均値を算出する（Ｓ２５３）。このようにして算出された加速度ノルム平均（Ｖ２５４）は、ターン検出のための特徴量の１つとして利用される。

一方、特徴量抽出部１０５は、加速度（Ｄ２５１）を第１のＬＰＦで処理し（Ｓ２７３）、重力成分加速度（Ｖ２７４）を算出する。さらに、特徴量抽出部１０５は、センサデータに含まれる角速度（Ｄ２５５）と重力成分加速度との内積を算出する（Ｓ２５６）。これによって、重力成分加速度の方向への角速度の射影、つまり水平面方向（鉛直軸回り）の角速度（Ｖ２５７）が得られる。特徴量抽出部１０５は、算出された角速度を積分して（Ｓ２５８）、水平面方向の角変位（Ｖ２５９）を算出する。角変位（Ｖ２５９）も、ターン検出のための特徴量の１つとして利用される。

さらに、特徴量抽出部１０５は、角変位（Ｖ２５９）と、処理の対象になっている回転区間の持続時間（duration）（Ｖ２６０）とに基づいて、角速度（Ｖ２６１）を算出する。Ｖ２６１の角速度は、例えばＤ２５５の角速度と比べて、より長いタイムフレーム（例えば回転区間全体でスムージングされたものでありうる。回転区間の持続時間（Ｖ２６０）および角変化率（Ｖ２６１）も、ターン検出のための特徴量の１つとして利用される。

また、特徴量抽出部１０５は、角変位（Ｖ２５９）を所定のタイムフレームについて解析する（Ｓ２６２）ことによって、いくつかの特徴量を算出する。より具体的には、特徴量抽出部１０５は、タイムフレーム内での角速度の最大値（Ｓ２６３，Ｖ２６８）、平均値（Ｓ２６４，Ｖ２６９）、分散（Ｓ２６５，Ｖ２７０）、尖度（Ｓ２６６，Ｖ２７１）、および歪度（Ｓ２６７，Ｖ２７２）を算出する。これらの特徴量も、ターン検出のための特徴量として利用される。

一方で、特徴量抽出部１０５は、加速度（Ｄ２５１）を第２のＬＰＦで処理する（Ｓ２７５）。図示された例では、第１のＬＰＦ（Ｓ２７３）が、加速度に含まれるＤＣ成分である重力成分加速度（Ｖ２７４）を抽出するために用いられたのに対して、第２のＬＰＦ（Ｓ２７５）は、高周波領域をフィルタすることによって加速度をスムージングするために用いられる。従って、これらのＬＰＦの通過帯域設定は異なりうる。

特徴量抽出部１０５は、第２のＬＰＦ（Ｓ２７５）によってスムージングされた加速度と、第１のＬＰＦ（Ｓ２７３）によって抽出された重力成分加速度（Ｖ２７４）との内積を算出する（Ｓ２７６）。これによって、鉛直方向加速度（Ｖ２７７）が得られる。さらに、特徴量抽出部１０５は、重力成分加速度（Ｖ２７４）と鉛直方向加速度（Ｖ２７７）とを合成した加速度ベクトルの、第２のＬＰＦ（Ｓ２７５）によってスムージングされた加速度との差分を算出する（Ｓ２７８）。これによって、水平方向加速度（Ｖ２７９）が得られる。特徴量抽出部１０５は、水平方向加速度の平均値を算出する（Ｓ２８０）．このようにして算出された水平方向加速度の平均値（Ｖ２８１）も、ターン検出のための特徴量として利用される。

アクション検出部１０６は、例えば上記のようにしてセンサデータから抽出された特徴量に基づいて、ターンが発生したか否かの判定を実施する。図示された例において、アクション検出部１０６は、回転区間の持続時間（Ｖ２６０）、水平面方向の角変位（Ｖ２５９）、スムージングされた角速度（Ｖ２６１）、加速度ノルム平均（Ｖ２５４）、水平方向加速度の平均値（Ｖ２８１）、タイムフレーム内での角速度の最大値（Ｖ２６８）、平均値（Ｖ２６９）、分散（Ｖ２７０）、尖度（Ｖ２７１）、および歪度（Ｖ２７２）に基づいて判定を実施する。

なお、判定に用いられる特徴量は上記の例には限られず、例えば上記の例以外の特徴量が用いられてもよいし、上記の例の特徴量の一部が用いられなくてもよい。例えば、センサデータから抽出可能な様々な種類の特徴量の中から、実際にターンが発生したときのセンサデータに基づく主成分分析によって、ターン検出に使用する特徴量の種類が決定されてもよい。あるいは、実際にターンが発生したときに現れるセンサデータの傾向に基づいて、判定に用いられる特徴量が決定されてもよい。例えば、上記の例のうち、加速度ノルム平均（Ｖ２５４）および水平方向加速度の平均値（Ｖ２８１）は、ターンの回転半径に関係する特徴量である。

また、アクション検出部１０６による判定において適用される各特徴量の閾値は、例えば、実際にターンが発生した時のセンサデータに基づく機械学習の結果に従って決定される。このとき、実際にターンが発生したか否かは、例えば、センサデータと同時に取得されたアクションの映像を参照してマニュアルで決定されてもよい。また、単にターンが発生したか否かだけではなく、どのようなターンかを示すラベルが与えられてもよい。より具体的には、例えば、映像を参照した結果、サービス提供者側で、ターンとして検出したい、ターンとして検出したくない、またはどちらでもよいと判定されたアクションについて、それぞれの属性を示すラベルが与えられてもよい。
以上、本開示の一実施形態において実行されるアクション検出処理のいくつかの例について説明した。既に説明した通り、本実施形態で実行されるアクション検出処理はスノーボードで発生するジャンプやターンには限られず、例えばスノーボード以外のスポーツ、またはスポーツ以外のシーンで発生するジャンプやターンについてアクション検出処理が実行されてもよい。また、本実施形態で実行されるアクション検出処理では、ジャンプやターン以外のアクションが検出されてもよい。一例として、アクション検出部１０６は、スノーボードなどで発生する転倒を検出してもよい。この場合、特徴量抽出部１０５が上述したジャンプやターンの検出と同様にして加速度のノルムを算出し、アクション検出部１０６が、加速度のノルムが閾値（例えば、通常の滑降では発生しない程度の大きな値でありうる）を上回った場合に、転倒の発生を検出してもよい。

（３．付加的な処理の例）
（３−１．アクションスコアの算出）
例えば、解析結果処理部１０７に含まれるスコアリング処理部１０９は、上記で図２〜図１３を参照して説明したような処理によって検出されるジャンプ区間および／またはターン区間を含むアクション区間について、発生したアクションを評価するスコア（アクションスコア）を算出する。アクションスコアは、例えばアクション区間におけるセンサデータから、アクションの良し悪しや特徴を表す物理量（特徴量）を抽出し、それらを重みづけ加算することによって算出されうる。サービス制御部１１２は、このようにして算出されたスコアに基づいて、アクション（例えばジャンプまたはターン）に関する情報を生成する。

例えば、ジャンプ区間の場合、区間の持続時間（duration）、区間におけるＸ軸／Ｙ軸／Ｚ軸回りの角変位）、自由落下区間の割合、踏切時／着地時の衝撃の大きさなどが、スコアを算出するための特徴量として抽出されうる。また、例えば、ターン区間の場合、区間の持続時間、変位角、各速度の平均値、最大値、および標準偏差、角加速度の最大値および標準偏差などが、スコアを算出するための特徴量として抽出されうる。

なお、重みづけ加算の係数は、例えば、情報処理装置１００によって提供されるサービス１１３において重視されるアクションの性質に応じて設定されうる。また、特徴量からアクションのスコアを算出するための方法は重みづけ加算には限られず、他の計算方法が用いられてもよい。例えば、線形回帰モデルなど、機械学習のアルゴリズムを適用することによってアクションスコアを算出してもよい。

（３−２．クラスタリング処理）
また、例えば、解析結果処理部１０７に含まれるクラスタリング処理部１０８は、上記で図２〜図１３を参照して説明したような処理によって検出されるジャンプ区間および／またはターン区間を含むアクション区間について、スコアリングのために抽出した特徴量などを利用してｋ−ｍｅａｎｓ法などのクラスタリングアルゴリズムを適用し、検出されたアクションをクラスタに分類する。ジャンプ区間やターン区間の場合、例えば、区間の持続時間の長短や、回転の大小によってアクションがクラスタに分類されてもよい。クラスタリングの結果は、例えば、サービスとしてダイジェスト動画を提供するような場合に、様々な種類のジャンプやターンなどのアクションが動画に含まれるようにアクション区間を抽出するために利用される。また、良かったアクションとそうでなかったアクションとを別々のクラスタに分類することによって、ユーザ自身がアクションを振り返ったり、アクションの改善のためのコーチングに役立てたりしてもよい。

なお、解析結果処理部１０７は、クラスタリングと同様の処理として、特徴量の相関係数に基づいてアクション区間同士の類似度を算出してもよい（類似度が高いアクション区間は、同じクラスタに分類されたアクション区間と同様に扱うことができる）。また、例えば、解析結果処理部１０７は、典型的なタイプのアクションの特徴量パターンを予め用意しておき、ｋ−ＮＮ法などによって、新たに発生したアクションがどのタイプに該当するかを判定してもよい。

（３−３．センサ装着状態の推定）
図１４は、本開示の一実施形態において、センサ装着状態を推定するための処理の例を示すブロック図である。より具体的には、図示された構成によって、センサデータを提供するセンサがユーザの身体に直接的に装着されているか、ユーザによって使用される器具に装着されているかが判定される。図示された処理は、例えば上記の情報処理装置１００に含まれるセンサデータ解析部１０４において実行される。なお、図示された例では、フィルタの遮断周波数（Ｆｃ）やタイムフレームの長さが具体的に説明されているが、これらの数値は一例であり、実際のセンサの特性などに応じて適宜変更されうる。

図示された例において、情報処理装置１００の受信部１０２は、３軸（ｕ，ｖ，ｗ）の加速度センサ１２１によって提供されるセンサデータを受信する。センサデータ解析部１０４は、センサデバイス制御部１０３を介してこのセンサデータを取得する。センサデータ解析部１０４は、まず、センサデータに含まれる加速度を１段のＨＰＦ１２２（Ｆｃ＝０．５Ｈｚ）で処理し、その後ノルム算出１２３を実行する。さらに、センサデータ解析部１０４は、ノルムを２段のＬＰＦ１２４（Ｆｃ＝２Ｈｚ）および２段のＨＰＦ（Ｆｃ＝７Ｈｚ）でそれぞれ処理した結果について、タイムフレーム２ｓｅｃでの振幅（最大値と最小値の差）を算出する（１２５，１２７）。これらの結果（ＡおよびＢ）について、Ａ／Ｂを演算する（１２８）。その結果を１段のＨＰＦ１２９（Ｆｃ＝０．２５Ｈｚ）で処理し、閾値判定１３０を実施する。

上記のような判定の処理は、センサがユーザの身体に直接的に装着されている場合、身体がＬＰＦとして機能することによって加速度の高周波成分が減衰することに基づいている。上記の例におけるＡ（ＬＰＦ１２４を通過した低周波成分の振幅）／Ｂ（ＨＰＦを通過した高周波成分の振幅）は、元の加速度において高周波成分が減衰しているほど大きな値になる。従って、閾値判定１３０では、Ａ／ＢをＨＰＦ１２９で処理した値が閾値よりも大きい場合にはセンサがユーザの身体に直接的に装着されていると判定し、そうでない場合にはセンサが器具に装着されていると判定することができる。

上記のような推定の結果は、例えば、センサデータ解析部１０４の内部で利用されてもよい。この場合、センサデータ解析部１０４は、上述したようなユーザのアクションの検出の処理において、閾値やフィルタの設定値などを、センサが身体に装着されているか器具に装着されているかによって変更してもよい。あるいは、上記のような推定の結果は、センサデバイス制御部１０３にフィードバックされ、センサデバイスの測定に関するパラメータなどの設定や、センサデバイス制御部１０３によるセンサデータの前処理方法などを決定するために利用されてもよい。

本実施形態では、例えば上記のセンサ装着状態の推定のように、センサデータの提供側の状態に関する推定に基づいて、センサデータの処理に関する適応的な制御が実施されてもよい。他の例として、センサデータ解析部１０４は、加速度センサなどによって検出された衝撃の強さや動きのパターンなどから、機械学習などのアルゴリズムを用いてアクションが発生しているスポーツの種類を推定してもよい。スポーツは、一般的に認識されている種目ごとに推定されてもよいし、ボードスポーツ、水上スポーツ、自転車競技、モータースポーツなどの系統ごとに推定されてもよい。また、例えば、センサデータ解析部１０４は、センサが器具に装着されている場合に、器具の種類（例えばスキーの場合、スキー板に装着されているか、ストックに装着されているか、など）を推定してもよい。推定の結果は、上記のセンサ装着状態の推定結果と同様に、例えばアクションの検出などにおける閾値やフィルタの設定値の制御に利用されてもよいし、センサデバイス制御部１０３にフィードバックされて、センサデバイスの制御やセンサデータの前処理方法の決定に利用されてもよい。

（４．コンテンツ提供の例）
ここで、再び図１を参照して、本実施形態に係る情報処理装置のコンテンツ提供に関する構成について説明する。本実施形態では、情報処理装置１００において、検出されたユーザのアクションを示すアクション情報を取得する情報取得部と、アクションの時間的または空間的なシーケンスに従って展開するコンテンツを提供するコンテンツ提供部とが実現される。

例えば、情報処理装置１００において、受信部１０２は、センサデバイスから、センサデータおよび時刻情報（タイムスタンプ）を受信する。センサデータ解析部１０４に含まれるアクション検出部１０６は、センサデータに基づいて検出したユーザのアクションに上記のタイムスタンプを関連付けた情報を、検出区間情報保持部１１０に格納する。これによって、サービス制御部１１２は、検出区間情報保持部１１０から、ユーザのアクション情報と、アクションに関連付けられる時間座標（タイムスタンプ）とを取得することができる。なお、受信部１０２によるセンサデータの受信からアクション検出部１０６によるアクションの検出までの時間差が小さいような場合、アクション検出部１０６は、アクションが検出された時点での時刻情報（タイムスタンプ）を、センサデータとともに受信されるタイムスタンプの代わりに用いてもよい。

上記の例において、さらに、受信部１０２がセンサデバイスから受信するデータにユーザの位置情報が関連付けられ、アクション検出部１０６がユーザのアクションに位置情報を関連付けた情報を検出区間情報保持部１１０に格納してもよい。この場合、サービス制御部１１２は、検出区間情報保持部１１０から、ユーザのアクション情報と、アクションに関連付けられる空間座標（位置情報）とを取得することができる。なお、アクション検出部１０６がユーザによって携帯または装着される端末装置において実現される場合、アクション検出部１０６は、アクションが検出された時点で当該端末装置によって取得された位置情報を、センサデータとともに受信される位置情報の代わりに用いてもよい。

あるいは、サービス制御部１１２は、センサデータとは別に取得されたアクション映像を、タイムスタンプを用いてアクション情報とマッチングすることによって、アクションに関連付けられる空間座標を取得してもよい。ここで、アクションに関連付けられる空間座標は、例えば緯度経度などの絶対的な座標系によって定義されてもよいし、アクションが実行される環境、例えばスポーツ場合であればコースやコート、フィールドなどに対する相対的な座標系によって定義されてもよい。

なお、本明細書において、アクション情報は、アクション検出部１０６によって検出されたユーザのアクションを直接的に示す情報に限らず、検出されたユーザのアクションに関連する様々な情報を含みうる。従って、上記の例において、アクション検出部１０６によって提供されるアクションの検出結果だけではなく、解析結果処理部１０７によって生成される付加的な情報も、アクション情報に含まれうる。

上記の通り、サービス制御部１１２は、検出区間情報保持部１１０から、ユーザのアクション情報と、アクションに関連付けられる時間座標（タイムスタンプ）および／または空間座標（位置情報）とを取得することができる。あるいは、解析結果処理部１０７が、アクション検出部１０６からアクションの検出結果とともに提供されたタイムスタンプおよび／または位置情報を、アクションの検出結果に基づいて生成した付加的な情報に関連付けて付加的情報保持部１１１に格納する場合、サービス制御部１１２は、付加的情報保持部１１１から、アクションに関する付加的な情報と、アクションに関連付けられる時間座標（タイムスタンプ）および／または空間座標（位置情報）とを取得することができる。

サービス制御部１１２は、これらの情報に基づいて、アクションの時間的または空間的なシーケンスに従って展開するコンテンツを提供することができる。コンテンツは、例えば映像または音声を含む。コンテンツは、ユーザのアクションを入力として進行するゲームコンテンツであってもよい。なお、コンテンツの展開には、アクションの内容、より具体的にはアクションの種類やアクションスコアなどが反映されてもよい。

ここで、アクションの時間的なシーケンスは、検出されたアクションの時間座標の系列によって定義される。つまり、アクションの時間的なシーケンスは、ある時間的または空間的な範囲において発生した一連のアクションの発生順序および発生間隔によって定義される。より具体的には、例えば、アクションの時間的なシーケンスは、ユーザがスノーボードで斜面を滑降する間に発生する一連のジャンプやターンの発生順序および発生間隔（またはこれらを示す各アクションのタイムスタンプ）によって定義されてもよい。また、例えば、アクションの時間的なシーケンスは、午前１０時から１０時３０分の間に発生するユーザの一連のアクションの発生順序および発生間隔（またはこれらを示す各アクションのタイムスタンプ）によって定義されてもよい。

また、アクションの空間的なシーケンスは、検出されたアクションの空間座標の系列によって定義される。つまり、アクションの空間的なシーケンスは、ある時間的または空間的な範囲において発生した一連のアクションの発生位置によって定義される。より具体的には、例えば、アクションの空間的なシーケンスは、ユーザがスノーボードで斜面を滑降する間に発生する一連のジャンプやターンの発生位置（例えば、斜面に対する相対座標でありうる）によって定義されてもよい。また、例えば、アクションの空間的なシーケンスは、午前１０時から１０時３０分の間に発生するユーザの一連のアクションの発生位置（例えば、緯度経度に対応する絶対座標でありうる）によって定義されてもよい。

例えば、サービス制御部１１２は、既に検出されたアクションについて、時間的なシーケンスおよび／または空間的なシーケンスを定義し、それらに従って展開するコンテンツを提供してもよい。この場合、コンテンツは、ユーザがスノーボードで斜面を滑降する間に発生した一連のジャンプやターンに合ったテンポや曲調の変化を伴う楽曲や、ジャンプやターンに合ったタイミングで内容が変化する映像などを含んでもよい。あるいは、コンテンツは、１日の間に発生したユーザの一連のアクションが発生した時刻や場所に応じてストーリーなどの展開が変化するゲームコンテンツを含んでもよい。また、コンテンツは、さらに他の例を含んでもよい。そのような例の一部については後述する。

また、例えば、サービス制御部１１２は、これから検出されるアクションについて、例えばユーザの環境状態に基づいて時間的なシーケンスおよび／または空間的なシーケンスを予測し、それらに従って展開するコンテンツを提供してもよい。この場合、コンテンツは、ユーザがスノーボードで斜面を滑降する間に発生する一連のジャンプやターンを課題アクションとして、アクションの時間的または空間的なシーケンスの中で課題アクションが検出されるべき時刻や位置を指定するゲームコンテンツを含んでもよい。あるいは、コンテンツは、例えば日常行動の中で、所定の時間内でのユーザのアクションが検出される場所や時刻を指定するゲームコンテンツを含んでもよい。また、コンテンツは、さらに他の例を含んでもよい。そのような例の一部については後述する。

（４−１．仮想的なゲームコースの提供）
図１５は、本開示の一実施形態において仮想的なゲームコースを提供するための処理の例を示すフローチャートである。図示された例では、予測されるユーザのアクションの空間的なシーケンスに含まれる位置と、その位置で検出されるべき課題アクションとを指定するゲームコンテンツが提供される。

図示された例において、まず、サービス制御部１１２は、開始トリガの入力を受け付ける（Ｓ３０１）。開始トリガは、例えばユーザ操作であってもよいし、ユーザがゲームコースの開始地点に設定されている実空間の位置に到達したことであってもよい。ここで、サービス制御部１１２は、受信部１０２によって受信されるセンサデータや、カメラからの画像などに基づいて環境状態を認識する（Ｓ３０３）。ここで、環境状態は、例えばこれからユーザのアクションが実行されるコースの長さ、幅、ゴールまでの経路、コース内に存在する障害物などの状態を含みうる。

次に、サービス制御部１１２は、環境状態に応じてその後のユーザのアクションの空間的なシーケンスを予測した上で、空間的なシーケンスに含まれる１または複数の位置での課題アクションを設定する（Ｓ３０５）。課題アクションの具体的な例については後述する。さらに、サービス制御部１１２は、Ｓ３０３で認識された環境状態およびＳ３０５で設定された位置および課題アクションに基づいて、ゲームコースを設計する（Ｓ３０７）。サービス制御部１１２は、設計されたゲームコースを表示する仮想オブジェクトをユーザが装着するＨＭＤ（Head Mounted Display）などの透過型ディスプレイを用いて実空間に仮想表示させ（Ｓ３０９）、これでゲームの準備が完了する（Ｓ３１１）。

続いて、サービス制御部１１２は、ゲームを開始させる（Ｓ３１３）。ゲームの開始タイミングは、ユーザ操作、またはユーザによるアクションの開始によって指定されてもよいし、ゲームの準備の完了後に自動的にゲームが開始されてもよい。このとき、ユーザが装着するＨＭＤなどのディスプレイでは、仮想表示されたゲームコースとともに、ゲームを開始することを促すメッセージや、ゲームが開始されたことを通知するメッセージが表示されてもよい。ゲームの開始後、サービス制御部１１２は、逐次更新されるユーザの実空間での空間座標に基づいてユーザのゲームコース内での位置を更新し、Ｓ３０５で課題アクションを設定した位置でユーザが指定されたアクションに成功したか否かを判定する（Ｓ３１５）。ここで、ユーザが課題アクションに成功すればポイントが加算され（Ｓ３１７）、そうでなければポイントが減算される（Ｓ３１９）。サービス制御部１１２は、この判定を、ユーザがゲームコースのゴールに到達するまで繰り返す（Ｓ３２１）。

ユーザがゲームコースのゴールに到達すると、サービス制御部１１２は、Ｓ３１５での判定結果に基づいて総合ポイントを算出する（Ｓ３２３）。総合ポイントの算出にあたっては、ゴールに到達するまでの所要時間なども考慮されうる。サービス制御部１１２は、算出された総合ポイントをユーザに提示する（Ｓ３２５）。このとき、サービス制御部１１２は、個別の課題アクションのポイントや、課題アクション以外の要素によるポイントなどの内訳を、総合ポイントとともにユーザに提示してもよい。以上でゲームは終了する（Ｓ３２７）。

図１６は、本開示の一実施形態において提供される仮想的なゲームコースの第１の例を示す図である。図１６を参照すると、ゲーム画面１１００は、スノーボードのコースＣを含む実空間Ｒに重畳表示される。図示された例において、ゲーム画面１１００は、ゲームコース１１０１を含む。ゲームコース１１０１上には、指定された位置と、それらの位置で検出されるべき課題アクションとを表示するオブジェクト、より具体的にはアイコン１１０３とテキスト１１０５とが、ゲームコース１１０１と同様に実空間Ｒに重畳表示されている。さらに、ゲーム画面１１００には、現時点でのポイントや経過時間などを含むステータス１１０７が表示されてもよい。

ここで、図示された例において、サービス制御部１１２は、ユーザのアクションの空間的なシーケンスを、ユーザの環境状態に基づいて予測している。より具体的には、サービス制御部１１２は、ゲームコース１１０１として表現される空間的なシーケンスの長さを、ゲームコンテンツの開始時のユーザの環境状態に基づいて決定している。例えば、サービス制御部１１２は、ユーザが装着したカメラや、コースＣに設置されたカメラによって撮影されたユーザの周辺の画像を取得し、この画像に基づいて環境状態を認識している。上記の例において、サービス制御部１１２は、ユーザの環境状態として、コースＣの長さ、幅、ゴールまでの経路、コースＣ内に存在する障害物などの状態を認識し、これらに基づいてゲームコース１１０１を設定する。この結果、ゲームコース１１０１はコースＣに沿って、コースＣ内に存在する障害物Ｂを避けて設定されている。

なお、上記のようなゲームコース１１０１、アイコン１１０３、およびテキスト１１０５などの表示には、ＡＲ（Augmented Reality）の技術が応用されうる。本例は、例えばユーザがＨＭＤなどの透過型のディスプレイを装着し、実空間の像にゲーム画面１１００を透過的に重畳させることが可能である場合を想定しているが、例えば、実空間が閉じられているなどしてユーザの安全が確保されるような場合であれば、ユーザが遮蔽型のＨＭＤなどを装着して、実空間の像を含まないゲーム画面１１００を見ながらゲームをプレイすることが可能であってもよい。また、遮蔽型のＨＭＤや、スマートフォン、タブレットなどにおいて、カメラのライブビュー画像にゲーム画面１１００を重畳させることによって、図１６に示された例と同様の体験が可能であってもよい。以下で説明する図１８〜図２２の例についても同様である。

図示された例では、アイコン１１０３が、ターンの課題アクションが設定された位置を示すアイコン１１０３ａと、ジャンプの課題アクションが設定された位置を示すアイコン１１０３ｂとを含む。ターンの詳細を示すテキスト１１０５ａでは、例えばターンの回転方向と回転角度とが示される。例えば、「Ｒ４０°」というテキスト１１０５ａは、右回り（時計回り）で回転角度４０度のターンが課題アクションとして指定されていることを示す。また、ジャンプの詳細を示すテキスト１１０５ｂでは、例えば課題アクションがジャンプであることと、ジャンプの高さとが示される。例えば、「ＪＵＭＰ １ｍ」というテキスト１１０５ｂは、高さ１ｍのジャンプが課題アクションとして指定されていることを示す。図示されているように、テキスト１１０５とともに、ターンの回転方向やジャンプの向きを示すアイコンが表示されてもよい。

図１７および図１８は、本開示の一実施形態において提供される仮想的なゲームコースの第２の例を示す図である。図１７および図１８に示された例では、実空間において必ずしもコースが設定されていない場所、より具体的には市街地にゲームコースが設定されている。この場合、例えば、図１７に示すように、サービス制御部１１２は、マップ情報に基づいてユーザの環境状態を認識する。より具体的には、サービス制御部は、マップ情報と、ゲームコンテンツの開始時のユーザの位置情報とに基づいて、ユーザが所定の時間内にたどることが予測されるコースの長さ、幅、ゴールまでの経路、コース内に存在する障害物などの状態を認識し、これらに基づいて、課題アクションが指定されるポイントを含むゲームコースを設定する。

図１８に示された例では、ゲーム画面１２００が、実空間Ｒに重畳表示されている。ゲーム画面１２００では、実空間Ｒにある道路Ｒｄに沿って設定されたゲームコース１２０１が表示されている。道路Ｒｄは必ずしも本来コースとして利用されるものではないが、例えば図１７に示すようにポイントを任意に抽出した上で、コースとして利用することが可能である。ゲームコース１２０１上には、指定された位置を示すアイコン１２０３と、それらの位置で検出されるべき課題アクションを示すテキスト１２０５とが、ゲームコース１２０１と同様に実空間Ｒに重畳表示されている。テキスト１２０５は、ゲーム画面１２００ａにおけるテキスト１２０５ａと、ゲーム画面１２００ｂにおけるテキスト１２０５ｂとによって示されるように、アイコン１２０３までの距離が遠い場合と近い場合とで異なる内容を表示してもよい。図示された例において、テキスト１２０５ａは課題アクションの存在を概略的に示し、テキスト１２０５ｂは課題アクションの内容を詳細に示している。

ここで、上記で図１６に示した第１の例におけるゲームコースと、図１７および図１８に示した第２の例におけるゲームコースとの共通点と相違点について説明する。
第１の例では、実空間にあるスノーボードのコースＣに沿ってゲームコース１１０１が設定される。ユーザはコースＣに沿って滑降可能であるため、ユーザの実際の移動軌跡はゲームコース１１０１に近くなる。従って、例えば、移動軌跡がゲームコース１１０１から所定の範囲を超えてずれた場合には減点、というようなルールを設定してもよい。第１の例において、サービス制御部１１２は、まずコースＣに沿ってゲームコース１１０１を決定した上で、課題アクションを設定する位置（アイコン１１０３によって示される）を決定してもよい。あるいは、滑降可能なコースＣが複数あるような場合、サービス制御部１１２は、まず課題アクションを設定する位置を決定した上で、それらの位置を含むコースＣに沿ってゲームコース１１０１を決定してもよい。
また、第１の例では、ユーザがゲームコース１１０１に沿って連続的に滑降しながら課題アクションが設定された位置を順次通過するため、課題アクションを実行するタイミングを指定したり、複数の課題アクションを実行する間隔（例えば、３つ以上のアクションを等間隔で実行する、など）を指定したりすることも可能である。
一方、第２の例では、実空間においては必ずしもコースではない市街地などでゲームコース１２０１が設定される。このような場合、サービス制御部１１２は、先に課題アクションを設定する位置（アイコン１２０３によって示される）を決定した上で、それらの位置を結ぶリンクとしてゲームコース１２０１を決定してもよい。この場合、例えば、課題アクションが設定された位置の間を最短距離で結ぶリンクとしてゲームコース１２０１が設定され、ユーザは次の目的地の方向を示すおおまかなガイドとしてゲームコース１２０１を参照しながら、実際の道路の形状や交通規制などに従って移動してもよい。あるいは、課題アクションが設定された位置の間を、道路の形状や交通規制などに従って移動可能なルートによって結ぶリンクとしてゲームコース１２０１が設定されてもよい。この場合、ユーザがゲームコース１２０１に沿って移動することをルールとして設定してもよい。
また、第２の例では、ゲームコース１２０１上でのユーザの移動と、指定された位置での課題アクションの実行とが、不連続に発生しうる。例えば、図１８に示されたゲーム画面１２００ｂでは、テキスト１２０５ｂによって、ジャンプを５０回することが指定されている。この場合、ユーザは、アイコン１２０３によって示される位置（歩道の一角）で移動を中断し、５０回ジャンプしてから、次の位置に向かって移動を再開する。このような実行の不連続性を利用して、すごろくのようにダイスやルーレットなどを使って実行する課題アクションを選択したり（例えば、ダイスで６が出た場合、６つ先の位置で指定された課題アクションを実行すればよく、途中で指定されている位置は通過するだけでよいか、通過もしなくてよい、といった例が可能である。あるいは、同じ位置でも、ダイスやルーレットの目によって異なる課題アクションが設定される例も可能である）、ある位置で指定された課題アクションが実行された時点で次の位置と課題アクションとが明らかにされたり、といったような仕掛けがゲームコース１２０１に加えられてもよい。

図１９は、本開示の一実施形態において提供される仮想的なゲームコースの第３の例を示す図である。図１９に示された例では、ゲーム画面１１００において、上記の図１６に示された例と同様に、実空間ＲにあるコースＣに沿って設定されたゲームコース１１０１、および課題アクションが設定された位置を示すアイコン１１０３が表示される（図示されていないが、課題アクションの詳細を示すテキスト１１０５やステータス１１０７が同様に表示されてもよい）のに加えて、他のユーザのゲームコース１３０１および他のユーザについて課題アクションが設定された位置を示すアイコン１３０３（課題アクションを示すテキストなども同様に表示されうる）およびゲームコース１３０１を進む他のユーザのアバター１３０９が表示される。なお、アバター１３０９は、他のユーザを表示するオブジェクトの例である。

図示された例において、第１のユーザのゲーム画面１１００に表示される他のユーザのゲームコース１３０１は、例えば、第１のユーザとは異なる場所にいる第２のユーザの環境状態に基づいて構成されたものでありうる。従って、画面１１００に表示されるゲームコース１３０１、アイコン１３０３、およびアバター１３０９は、全く仮想的なものでありうる。つまり、アバター１３０９によって表示されている第２のユーザは、アバター１３０９が重畳されている実空間Ｒの位置には存在しない。

一方、図示された例において、第２のユーザは、第１のユーザとは異なる場所で、ゲーム画面１１００と同様の画面の提供を受けている。第２のユーザに提供される画面は、第２のユーザについて、環境状態に基づいて構成されたゲームコース１１０１やアイコン１１０３などの表示を含む。また、第２のユーザに提供される画面は、第１のユーザについて、上記のゲームコース１３０１、アイコン１３０３、およびアバター１３０９と同様の表示を含む。

このような構成によって、第１のユーザと第２のユーザとは、仮想的に並列して配置されたゲームコース１１０１，１３０１上で対戦することが可能である。実際には、上級者ではない複数のユーザが接近して滑降することは危険でありうるが、このように仮想的なコース上で対戦するのであれば、たとえ転倒などが発生しても危険はなく、ユーザ同士の対戦を楽しむことができる。

さらに、上記のような仮想的な対戦のためのゲームコースでは、仮想的であることを利用した様々な仕掛けが設けられてもよい。例えば、ゲームコース１１０１とゲームコース１３０１とは、近い距離で並行したり、交差したりしていてもよい。また、ゲームコース１１０１上に表示されるアイコン１１０３と、ゲームコース１３０１上に表示されるアイコン１３０３とは、第１のユーザと第２のユーザとが競ったり、協力したりすることを促す課題アクションを示してもよい。より具体的には、課題アクションを先に達成した方にポイントが加算されたり、それぞれのユーザがシンクロナイズして（閾値未満の時間差で）課題アクションに成功した場合に双方にポイントが加算されたりするように課題アクションが設定されてもよい。

図２０および図２１は、本開示の一実施形態において提供される仮想的なゲームコースの第４の例を示す図である。図２０および図２１に示された例では、互いに異なる場所にいる第１のユーザおよび第２のユーザに対して、第１のユーザにはゲーム画面１２００ｃが、第２のユーザにはゲーム画面１２００ｄが、それぞれ提供されている。ゲーム画面１２００ｃ，１２００ｄは、例えば上記で図１７および図１８を参照して説明されたゲーム画面１２００の例と同様に、市街地に設定されたコースに従って表示されるゲームコース１２０１、アイコン１２０３、およびテキスト１２０５を含む。

図２０に示す、第１のユーザに提供されるゲーム画面１２００ｃでは、ゲームコース１２０１ｃと、アイコン１２０３ｃと、テキスト１２０５ｃとが表示されている。アイコン１２０３ｃおよびテキスト１２０５ｃは、「プレーヤＢ（第２のユーザ）と電車に乗る」という課題アクションを示している。一方、図２１に示す、第２のユーザに提供されるゲーム画面１２００ｄでは、ゲームコース１２０１ｄと、アイコン１２０３ｄと、テキスト１２０５ｄとが表示されている。アイコン１２０３ｄおよびテキスト１２０５ｄは、「プレーヤＡ（第１のユーザ）と電車に乗る」という課題アクションを示している。

上記の例では、第１のユーザおよび第２のユーザにそれぞれ提供されるゲーム画面１２００ｃ，１２００ｄにおいて、第１のユーザと第２のユーザとが協力することによって達成される課題アクションが提示されている。このようなゲーム画面１２００ｃ，１２００ｄも、複数のユーザが協力してゲームをプレイすることを可能にするが、上記の図１９の例とは異なり、例えば第１のユーザと第２のユーザとが指定された駅で待ち合わせて一緒に電車に乗るまで、互いのユーザは相手のゲーム画面１２００に登場しない。

なお、図２０および図２１の例では、第１のユーザと第２のユーザとが一緒に電車に乗り、それぞれのユーザのアクションとして「電車に乗っている」が検出された場合に、課題アクションが達成される。この場合、互いのユーザが出会うまでのコースはユーザが自由に選択してもよい。課題アクションを提示してから達成されるまでの間、サービス制御部１１２は予め完成されたゲームコース１２０１をそれぞれのユーザに提示するのではなく、ユーザが自らの意思で歩き回ったコースを、ゲームコース１２０１として認識してもよい。

（４−２．音楽リズムゲームの提供）
図２２は、本開示の一実施形態において提供される音楽リズムゲームの例を示す図である。図示された例では、予測されるユーザのアクションの時間的なシーケンスに含まれる時刻と、その時刻で検出されるべき課題アクションとを指定するゲームコンテンツが提供される。

図２２を参照すると、ゲーム画面１４００は、実空間Ｒに重畳表示される。ゲーム画面１４００では、リズム譜１４０１と、課題アクションが設定された時刻を示すアイコン１４０３と、課題アクションの詳細を示すテキスト１４０５と、アイコン１４０３によって示される時刻が刻々と接近してくる様子を示す接近表示１４０７と、現時点でのポイントや経過時間などを含むステータス１４０９とが表示されている。図示された例では、スノーボードの滑降中のユーザのアクションに従って展開する音楽リズムゲームが提供される。図示されていないが、ゲームのプレイ中には、ユーザのアクションの時間的なシーケンスに対応付けられた楽曲も、ヘッドフォンやスピーカなどを介してユーザに提供される。

このようなゲーム画面１４００を提供するにあたり、サービス制御部１１２は、ユーザのアクションの時間的なシーケンスを予測し、時間的なシーケンスに対応付けられる楽曲を選択する。なお、楽曲は、ユーザ操作に従って選択され、サービス制御部１１２が予測される時間的なシーケンスに合わせて楽曲を編集してもよい。サービス制御部１１２は、ユーザのアクションの時間的なシーケンスを、ユーザの環境状態に基づいて予測する。より具体的には、例えば、サービス制御部１１２は、ゲームコンテンツが展開される時間的なシーケンスの長さを、ゲームコンテンツの開始時のユーザの環境状態に基づいて決定する。この場合、サービス制御部１１２は、ユーザが装着したカメラや、コースＣに設置されたカメラによって撮影されたユーザの周辺の画像を取得し、この画像に基づいて環境状態を認識してもよい。

上記の場合、例えば、サービス制御部１１２は、ユーザの環境状態として、コースＣの長さ、幅、ゴールまでの経路などの状態を認識し、これらに基づいてゲームコンテンツが展開される時間的なシーケンスの長さ（つまり、時間的なシーケンスに対応して提供される楽曲の長さ）や、時間的なシーケンスの中で課題アクションが設定される時刻を設定する。また、サービス制御部１１２は、コースの幅や障害物の有無などに応じてテンポや曲調を選択したりしてもよい。サービス制御部１１２は、選択された楽曲の内容、より具体的にはテンポやメロディーに合わせて課題アクションを設定してもよい。

例えば、コースＣのスタート地点でユーザが楽曲を選択すると、サービス制御部１１２は、ユーザの位置情報や、既にコースＣを滑降した他のユーザのアクション情報などに基づいてコースＣの長さを推定する。さらに、サービス制御部１１２は、コースＣの長さに応じて楽曲を編集し、課題アクションを設定する時刻を決定する。その後、ユーザが滑降を開始すると、ゲームがスタートし、楽曲の再生が開始されるとともに、リズム譜１４０１やアイコン１４０３などが動き出す。より具体的には、アイコン１４０３およびテキスト１４０５は、実空間ＲのコースＣを滑降するユーザの足元をめがけて、接近表示１４０７に沿って接近してくる。なお、アイコン１４０３およびテキスト１４０５は、必ずしもコースＣ内の位置に関連付けられているわけではない。アイコン１４０３およびテキスト１４０５は、楽曲が課題アクションに関連付けられた再生時間に達したときにユーザの足元に到達するように、例えば一定の速さでユーザに向かって流れてくる。課題アクションは、例えばターンやジャンプでありうる。また、課題アクションとして、例えば楽曲の曲調の節目などで技を決めることがアイコン１４０３やテキスト１４０５などによって指定されてもよい。

図示された例では、上記の例におけるゲームコース１１０１，１２０１のようなコースは設定されないため、ユーザが滑降するコースは自由でありうる。ユーザは、滑降する中で、再生されている楽曲に合わせて、より具体的にはアイコン１４０３およびテキスト１４０５が足元に来たときに課題アクション（図示された例の場合、左ターンや右ターン）を実行すればよい。このとき、サービス制御部１１２は環境状態として例えばコースＣの幅を認識し、必要に応じてユーザが滑降するコースを補正できるように、課題アクションを動的に変更してもよい。課題アクションが指定された時刻（楽曲の再生時間）に近い時刻に実行された場合には高いポイントが加算される一方で、課題アクションが指定された時刻から大きくずれて実行されたり、課題アクションとは異なるアクションが実行されたりした場合には、ポイントが減算されうる。

他の例として、サービス制御部１１２は、ジョギング中のユーザのアクションに従って展開する音楽リズムゲームを提供してもよい。この場合、例えば、ユーザがジョギングの予定持続時間（duration）を選択すると、サービス制御部１１２は予定持続時間に応じて楽曲を編集し、課題アクションを設定する時刻を決定する。なお、ジョギングの予定継続時間（ユーザの環境状態の１つ）は、例えばユーザが予め入力したスケジュールに基づいて認識されてもよい。その後、ユーザがジョギングを開始すると、ゲームがスタートし、楽曲の再生が開始されるとともに、リズム譜１４０１やアイコン１４０３などが動き出す。より具体的には、アイコン１４０３およびテキスト１４０５は、ジョギングしているユーザの足元をめがけて、接近表示１４０７に沿って接近してくる。例えば、１回のゲームがテンポの異なる複数の楽曲によって構成され、ユーザが変化する楽曲のテンポに合わせて課題アクションを実行しながらジョギングできた場合に高いポイントが与えられてもよい。

（４−３．アクションに応じてストーリーが展開するコンテンツの提供）
本開示の一実施形態において、サービス制御部１１２は、ユーザのアクションに応じてストーリーが展開するコンテンツを提供してもよい。以下、そのようなコンテンツのいくつかの例について説明する。

（課題型イベント）
例えば、サービス制御部１１２は、ユーザの日常生活の中で、ユーザに対して課題アクションを設定し、ユーザが指定された時間的または空間的なシーケンスに沿って課題アクションを実行することによってゲーム内のストーリーを展開させてもよい。例えば、ユーザの友人または恋人として登場するキャラクターとともにジョギングをするというイベントを発生させ、所定の時間以上継続してジョギングのアクションが検出された場合に、キャラクターからの好感度が上がってもよい。また、例えば、ある時刻までにキャラクターを指定された場所まで迎えに行くというイベントを発生させ、ユーザが実際に指定された時刻に指定された場所に到着したことが検出された場合に、キャラクターからの好感度が上がってもよい。

（行動によるイベントトリガ）
例えば、サービス制御部１１２は、ユーザのアクション検出結果によって示されるアクションの時間的または空間的なシーケンスに応じたイベントを発生させてもよい。より具体的には、例えば、サービス制御部１１２は、ユーザの帰宅が遅いことが続いた場合に、翌朝にユーザの好感度が高いキャラクターによるモーニングコールのイベントを発生させてもよい。

（アクションパターンの活用）
例えば、サービス制御部１１２は、ユーザの過去のアクション検出履歴から、通勤や食事などのアクションの時間的または空間的なシーケンスによって構成される習慣的なパターンを抽出し、新たに検出されたユーザのアクションがパターンと一致しているか、異なっているかに応じて異なるイベントを発生させてもよい。例えば、ユーザがいつもとは異なる時刻の（例えば１本遅い）バスに乗って通勤していることが検出された場合、ゲームにおいていつもとは異なるキャラクターが登場してもよい。

（キャラクターの属性設定）
例えば、サービス制御部１１２は、ユーザの過去のアクション検出履歴によって示されるアクションの時間的または空間的なシーケンスからユーザの属性を推定し、推定された属性に基づいて、ゲームに登場するキャラクターの属性を選択してもよい。ゲーム以外の例では、ユーザの端末装置などにおいてサービスを提供するエージェントプログラムの仮想人格が、ユーザの過去のアクション検出履歴によって示されるアクションの時間的または空間的なシーケンスから推定された属性に従って選択されてもよい。

（アクションに基づく回想）
例えば、サービス制御部１１２は、ユーザの過去のアクション検出履歴に含まれるアクションと同様の時間的または空間的なシーケンスをもつアクションが検出された場合に、以前に検出されたアクションに関連する情報に基づいて、ゲーム内のキャラクターやエージェントとユーザとの会話の内容を決定してもよい。例えば、スノーボードの滑降で発生するジャンプやターンなどのアクションが１年ぶりに検出された場合、キャラクターやエージェントが、１年前のスノーボードのときに検出された他のアクション、例えば、自動車での移動に時間がかかったことや、滑降で転倒が多かったことなどを話題にしてもよい。

（コンテキストによる表現の変化）
例えば、サービス制御部１１２は、アクション検出結果に含まれる時間的または空間的なシーケンスに関連する時刻および場所を、ゲーム内の表現に反映させてもよい。例えば、アクション検出結果からユーザが電車に乗っていることが推定される場合には、ゲーム内の舞台設定が電車の中に設定されてもよい。また、ユーザが乗っている路線が特定される場合には、ゲーム内での次の駅のアナウンスなどを、実際のユーザの場所に応じて提供してもよい。このとき、時刻（朝、夕方、夜など）についても、ゲーム内の設定を実際の検出結果に整合させてもよい。また、ユーザがいる場所に応じて、ゲーム内で出現するキャラクターの性格や容姿を変化させてもよい。例えば、特徴的な年代や階層の人々が集まる街にいる場合には、その街に多くいる人々に合わせた性格や容姿のキャラクターが、ゲーム内に登場してもよい。

（４−４．コレクションコンテンツの提供）
本開示の一実施形態において、サービス制御部１１２は、ユーザのアクション検出結果をコレクションとして用いるコンテンツを提供してもよい。ここで、コレクションとして用いる、とは、例えば、有形無形の価値をもったものとして収集や交換の対象にすることを意味する。より具体的には、サービス制御部１１２は、ユーザのアクション検出結果に基づいて各ユーザにポイントを付与し、ユーザはそのポイントを収集して何らかの有価物（例えば実体的なアイテムでもよいし、ソーシャルメディアで使用可能になるアバターのような仮想的なアイテムでもよい）に交換したり、保有するポイントの多さを競ったりしてもよい。以下、そのようなコンテンツのいくつかの例について説明する。

（ポイント付与率の調整）
例えば、サービス制御部１１２は、検出対象になるアクションの時間的または空間的なシーケンスに応じて異なる付与率で、アクションに応じたポイントをユーザに与えてもよい。例えば、移動のアクションにポイントを与える場合、移動距離が同じであれば、歩いて移動するアクション（移動に対応する時間的なシーケンスが長い）よりも走って移動するアクション（移動に対応する時間的なシーケンスが短い）に高いポイントを与えてもよい。また、例えば、スノーボードの滑降中のジャンプにポイントを与える場合、回転角度が大きいジャンプ（ジャンプに対応する空間的なシーケンスが大きい）により高いポイントを与えてもよい。なお、ポイント付与率は、時刻や場所などのコンテキスト情報との組み合わせによってさらに調整されてもよい。

（協力して達成されるアクション）
例えば、サービス制御部１１２は、アクションの時間的または空間的なシーケンスを含んで定義され、複数のユーザによるチームが協力して達成されるアクションにポイントを与えてもよい。より具体的には、例えば、「５人のチームで１週間に５０００ｋｃａｌ以上をジョギングで消費する」（この場合、「１週間に」という部分が時間的なシーケンスにあたる）という課題アクションが与えられ、それぞれのユーザについて検出されたアクションから、５人のジョギングによる消費カロリーが５０００ｋｃａｌを超えたと判定された場合に、５人のユーザそれぞれにポイントが与えられてもよい。

（アクション検出結果に対するベット）
例えば、サービス制御部１１２は、１日に歩いた歩数や、スノーボードの滑降中のジャンプの高さなど、ユーザ間で競うことができるアクションの検出結果、より具体的にはアクションの時間的または空間的なシーケンスに従って算出されるスコアについて、ユーザによるポイントのベットを可能にしてもよい。より具体的には、例えば、ユーザは、自分以外のユーザのうち、アクションの検出結果について１番になるユーザを予想してポイントをベットする。例えば、１日や、所定の回数の滑降などのアクション検出の終了後、予想が当たったユーザに対して、オッズに応じてポイントが付与されてもよい。このようなベットは、例えば同じ場所でアクションを実行している複数のユーザで実施されてもよいし、ソーシャルメディアなどを介して多くのユーザが参加することが可能であってもよい。

（５．ハードウェア構成）
次に、図２３を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図２３は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。

情報処理装置９００は、ＣＰＵ（Central Processing unit）９０１、ＲＯＭ（Read Only Memory）９０３、およびＲＡＭ（Random Access Memory）９０５を含む。また、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置９００は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field-Programmable Gate Array）などの処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral Component Interconnect/Interface）バスなどの外部バス９１１に接続されている。

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。

出力装置９１７は、取得した情報をユーザに対して視覚や聴覚、触覚などの感覚を用いて通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Liquid Crystal Display）または有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカまたはヘッドフォンなどの音声出力装置、もしくはバイブレータなどでありうる。出力装置９１７は、情報処理装置９００の処理により得られた結果を、テキストもしくは画像などの映像、音声もしくは音響などの音声、またはバイブレーションなどとして出力する。

ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。ストレージ装置９１９は、例えばＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。

接続ポート９２３は、機器を情報処理装置９００に接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポートなどでありうる。また、接続ポート９２３は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００と外部接続機器９２９との間で各種のデータが交換されうる。

通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線のＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、またはＷＵＳＢ（Wireless USB）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric Digital Subscriber Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などを含みうる。

撮像装置９３３は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）またはＣＣＤ（Charge Coupled Device）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。

センサ９３５は、例えば、加速度センサ、角速度センサ、地磁気センサ、照度センサ、温度センサ、気圧センサ、圧力センサ、距離センサ、または音センサ（マイクロフォン）などの各種のセンサである。センサ９３５は、例えば情報処理装置９００の筐体の姿勢など、情報処理装置９００自体の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音など、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＮＳＳ（Global Navigation Satellite System）信号を受信して装置の緯度、経度および高度を測定するＧＮＳＳ受信機を含んでもよい。

以上、情報処理装置９００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。

（６．補足）
本開示の実施形態は、例えば、上記で説明したような情報処理装置、システム、情報処理装置またはシステムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）検出されたユーザのアクションを示すアクション情報を取得する情報取得部と、
前記アクションの時間的または空間的なシーケンスに従って展開するコンテンツを提供するコンテンツ提供部と
を備える情報処理装置。
（２）前記コンテンツ提供部は、前記空間的なシーケンスに含まれる位置と、該位置で検出されるべき課題アクションとを指定するゲームコンテンツを提供する、前記（１）に記載の情報処理装置。
（３）前記コンテンツ提供部は、前記位置と前記課題アクションとを表示するオブジェクトを含むゲーム画面を、前記アクションが発生する実空間に重畳させて前記ユーザに提示する、前記（２）に記載の情報処理装置。
（４）前記ゲーム画面は、第１のユーザについての前記位置を表示するオブジェクトと、前記第１のユーザとは異なる第２のユーザについての前記位置を表示するオブジェクトと、前記第２のユーザを表示するオブジェクトとを含む、前記（３）に記載の情報処理装置。
（５）前記コンテンツ提供部は、前記空間的なシーケンスを、前記ユーザの環境状態に基づいて予測する、前記（２）〜（４）のいずれか１項に記載の情報処理装置。
（６）前記コンテンツ提供部は、前記空間的なシーケンスの長さを、前記ゲームコンテンツの開始時の前記ユーザの環境状態に基づいて決定する、前記（５）に記載の情報処理装置。
（７）前記コンテンツ提供部は、前記ユーザの周辺を撮影した画像に基づいて前記環境状態を認識する、前記（５）または（６）に記載の情報処理装置。
（８）前記コンテンツ提供部は、前記ユーザの位置情報とマップ情報とに基づいて前記環境状態を認識する、前記（５）〜（７）のいずれか１項に記載の情報処理装置。
（９）前記コンテンツ提供部は、前記時間的なシーケンスに含まれる時刻と、該時刻に検出されるべき課題アクションとを指定するゲームコンテンツを提供する、前記（１）〜（８）のいずれか１項に記載の情報処理装置。
（１０）前記コンテンツ提供部は、前記時刻と前記課題アクションとを表示するオブジェクトを含むゲーム画面を、前記アクションが発生する実空間に重畳させて前記ユーザに提示する、前記（９）に記載の情報処理装置。
（１１）前記コンテンツ提供部は、前記時間的なシーケンスを、前記ユーザの環境状態に基づいて予測する、前記（９）または（１０）に記載の情報処理装置。
（１２）前記コンテンツ提供部は、前記時間的なシーケンスの長さを、前記ゲームコンテンツの開始時の前記ユーザの環境状態に基づいて決定する、前記（１１）に記載の情報処理装置。
（１３）前記コンテンツ提供部は、前記ユーザのスケジュールに基づいて前記環境状態を認識する、前記（１１）または（１２）に記載の情報処理装置。
（１４）前記時間的なシーケンスは、楽曲に対応付けられ、
前記コンテンツ提供部は、前記ゲームコンテンツとともに前記楽曲を前記ユーザに提供する、前記（１１）〜（１３）のいずれか１項に記載の情報処理装置。
（１５）前記コンテンツ提供部は、前記アクションの時間的または空間的なシーケンスに従ってストーリーが展開するコンテンツを提供する、前記（１）〜（１４）のいずれか１項に記載の情報処理装置。
（１６）前記コンテンツ提供部は、前記アクションの時間的または空間的なシーケンスに従ってキャラクターまたは仮想人格の属性が決定されるコンテンツを提供する、前記（１）〜（１５）のいずれか１項に記載の情報処理装置。
（１７）前記コンテンツ提供部は、前記アクションの時間的または空間的なシーケンスに従って舞台設定が決定されるコンテンツを提供する、前記（１）〜（１６）のいずれか１項に記載の情報処理装置。
（１８）前記コンテンツ提供部は、前記アクションの時間的または空間的なシーケンスに従って算出されるスコアに対する他のユーザのベットを可能にするコンテンツを提供する、前記（１）〜（１７）のいずれか１項に記載の情報処理装置。
（１９）検出されたユーザのアクションを示すアクション情報を取得することと、
プロセッサが、前記アクションの時間的または空間的なシーケンスに従って展開するコンテンツを提供することと
を含む情報処理方法。
（２０）検出されたユーザのアクションを示すアクション情報を取得する機能と、
前記アクションの時間的または空間的なシーケンスに従って展開するコンテンツを提供する機能と
をコンピュータに実現させるためのプログラム。

１００ 情報処理装置
１０１ 送信部
１０２ 受信部
１０３ センサデバイス制御部
１０４ センサデータ解析部
１０５ 特徴量抽出部
１０６ アクション検出部
１０７ 解析結果処理部
１０８ クラスタリング処理部
１０９ スコアリング処理部
１１２ サービス制御部

Claims (17)

1. 検出されたユーザのアクションを示すアクション情報を取得する情報取得部と、
   前記アクションの時間的または空間的なシーケンスに従って展開するコンテンツを提供するコンテンツ提供部と、
   を備え、
   前記時間的なシーケンスは、楽曲に対応付けられ、
   前記コンテンツ提供部は、
   前記楽曲とともに、前記時間的なシーケンスに含まれる時刻と該時刻に検出されるべき課題アクションとを指定するゲームコンテンツを、前記時刻と前記課題アクションとを表示するオブジェクトを含むゲーム画面を前記アクションが発生する実空間に重畳させることにより、前記ユーザに提示し、
   前記課題アクションを設定する時刻を、前記楽曲のテンポ又はメロディーに応じて決定し、
   前記オブジェクトを、前記楽曲が前記課題アクションに関連付けられた再生時間に達した時に前記ユーザの足元に到達するように流れるように表示する、
   情報処理装置。
2. 前記コンテンツ提供部は、前記空間的なシーケンスに含まれる位置と、該位置で検出されるべき課題アクションとを指定するゲームコンテンツを提供する、請求項１に記載の情報処理装置。
3. 前記コンテンツ提供部は、前記位置と前記課題アクションとを表示するオブジェクトを含むゲーム画面を、前記アクションが発生する実空間に重畳させて前記ユーザに提示する、請求項２に記載の情報処理装置。
4. 前記ゲーム画面は、第１のユーザについての前記位置を表示するオブジェクトと、前記第１のユーザとは異なる第２のユーザについての前記位置を表示するオブジェクトと、前記第２のユーザを表示するオブジェクトとを含む、請求項３に記載の情報処理装置。
5. 前記コンテンツ提供部は、前記空間的なシーケンスを、前記ユーザの環境状態に基づいて予測する、請求項２〜４のいずれか１項に記載の情報処理装置。
6. 前記コンテンツ提供部は、前記空間的なシーケンスの長さを、前記ゲームコンテンツの開始時の前記ユーザの環境状態に基づいて決定する、請求項５に記載の情報処理装置。
7. 前記コンテンツ提供部は、前記ユーザの周辺を撮影した画像に基づいて前記環境状態を認識する、請求項５または６に記載の情報処理装置。
8. 前記コンテンツ提供部は、前記ユーザの位置情報とマップ情報とに基づいて前記環境状態を認識する、請求項５〜７のいずれか１項に記載の情報処理装置。
9. 前記コンテンツ提供部は、前記時間的なシーケンスを、前記ユーザの環境状態に基づいて予測する、請求項１〜８のいずれか１項に記載の情報処理装置。
10. 前記コンテンツ提供部は、前記時間的なシーケンスの長さを、前記ゲームコンテンツの開始時の前記ユーザの環境状態に基づいて決定する、請求項９に記載の情報処理装置。
11. 前記コンテンツ提供部は、前記ユーザのスケジュールに基づいて前記環境状態を認識する、請求項９または１０に記載の情報処理装置。
12. 前記コンテンツ提供部は、前記アクションの時間的または空間的なシーケンスに従ってストーリーが展開するコンテンツを提供する、請求項１〜１１のいずれか１項に記載の情報処理装置。
13. 前記コンテンツ提供部は、前記アクションの時間的または空間的なシーケンスに従ってキャラクターまたは仮想人格の属性が決定されるコンテンツを提供する、請求項１〜１２のいずれか１項に記載の情報処理装置。
14. 前記コンテンツ提供部は、前記アクションの時間的または空間的なシーケンスに従って舞台設定が決定されるコンテンツを提供する、請求項１〜１３のいずれか１項に記載の情報処理装置。
15. 前記コンテンツ提供部は、前記アクションの時間的または空間的なシーケンスに従って算出されるスコアに対する他のユーザのベットを可能にするコンテンツを提供する、請求項１〜１４のいずれか１項に記載の情報処理装置。
16. 検出されたユーザのアクションを示すアクション情報を取得することと、
    プロセッサが、前記アクションの時間的または空間的なシーケンスに従って展開するコンテンツを提供することと
    を含む情報処理方法であって、
    前記時間的なシーケンスは、楽曲に対応付けられ、
    前記コンテンツの提供は、
    前記楽曲とともに、前記時間的なシーケンスに含まれる時刻と該時刻に検出されるべき課題アクションとを指定するゲームコンテンツを、前記時刻と前記課題アクションとを表示するオブジェクトを含むゲーム画面を前記アクションが発生する実空間に重畳させることにより、前記ユーザに提示し、
    前記課題アクションを設定する時刻を、前記楽曲のテンポ又はメロディーに応じて決定し、
    前記オブジェクトを、前記楽曲が前記課題アクションに関連付けられた再生時間に達した時に前記ユーザの足元に到達するように流れるように表示する、
    ことを含む、
    情報処理方法。
17. 検出されたユーザのアクションを示すアクション情報を取得する機能と、
    前記アクションの時間的または空間的なシーケンスに従って展開するコンテンツを提供する機能と、
    をコンピュータに実現させるためのプログラムであって、
    前記時間的なシーケンスは、楽曲に対応付けられ、
    前記コンテンツを提供する機能は、
    前記楽曲とともに、前記時間的なシーケンスに含まれる時刻と該時刻に検出されるべき課題アクションとを指定するゲームコンテンツを、前記時刻と前記課題アクションとを表示するオブジェクトを含むゲーム画面を前記アクションが発生する実空間に重畳させることにより、前記ユーザに提示し、
    前記課題アクションを設定する時刻を、前記楽曲のテンポ又はメロディーに応じて決定し、
    前記オブジェクトを、前記楽曲が前記課題アクションに関連付けられた再生時間に達した時に前記ユーザの足元に到達するように流れるように表示する、
    プログラム。

Images