JP7027300B2 - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents

Description

本発明の実施形態は、情報処理装置、情報処理方法および情報処理プログラムに関する。

従来、運動中の人間や物体をトラッキングし記録するといったような、被写体のキャプチャを支援する技術（モーションキャプチャアルゴリズム）がある。

例えば、特許文献１には、ビデオに基づくパフォーマンスキャプチャに関する技術が開示されている。

特表２０１１－５２１３５７号公報

しかし、上記の従来技術では、動作することによるアトラクション性を高めることができるとは限らない。例えば、上記の従来技術では、人物の視覚画像をこの人物に関する３次元情報に関連付けることによってこの人物のデジタル表現を生成しているに過ぎないため、必ずしも動作することによるアトラクション性を高めることができるとは限らない。

本願は、上記に鑑みてなされたものであって、動作することによるアトラクション性を高めることができる情報処理装置、情報処理方法および情報処理プログラムを提供することを目的とする。

本願にかかる情報処理装置は、人物の身体の動作を示す動作情報を取得する取得部と、前記取得部により取得された動作情報に基づいて、前記身体が映された映像のうち、前記身体に対する背景の映像を編集する編集部とを有することを特徴とする。

実施形態の一態様によれば、動作することによるアトラクション性を高めることができるといった効果を奏する。

図１は、実施形態にかかる第１の情報処理の一例を示す図である。 図２は、実施形態にかかる第２の情報処理の一例を示す図である。 図３は、実施形態にかかる第３の情報処理の一例を示す図である。 図４は、実施形態にかかる第４の情報処理の一例を示す図である。 図５は、実施形態にかかる情報処理システムの構成例を示す図である。 図６は、実施形態にかかる情報処理装置の構成例を示す図である。 図７は、実施形態にかかる動画情報記憶部の一例を示す図である。 図８は、実施形態にかかるエフェクト情報記憶部の一例を示す図である。 図９は、実施形態にかかるＳＮＳ装置の構成例を示す図である。 図１０は、実施形態にかかるタグ情報記憶部の一例を示す図である。 図１１は、実施形態にかかる評価情報記憶部の一例を示す図である。 図１２は、ＤＬページの一例を示す図である。 図１３は、実施形態にかかる情報処理手順を示すフローチャートである。 図１４は、情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に、本願にかかる情報処理装置、情報処理方法および情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ説明する。なお、この実施形態により本願にかかる情報処理装置、情報処理方法および情報処理プログラムが限定されるものではない。また、以下の実施形態において、同一の部位には同一の符号を付し、重複する説明は省略される。

〔１．情報処理の一例〕
以下では、図面を用いて実施形態にかかる情報処理の一例について説明する。実施形態にかかる情報処理は、情報処理装置１００によって行われる。

図１の説明に先立って、図５を用いて、実施形態にかかる情報処理システムについて説明する。図５は、実施形態にかかる情報処理システム１の構成例を示す図である。実施形態にかかる情報処理システム１は、図５に示すように、端末装置１０と、情報処理装置１００と、ＳＮＳ装置２００とを含む。端末装置１０、情報処理装置１００、ＳＮＳ装置２００は、ネットワークＮを介して有線または無線により通信可能に接続される。なお、図５に示す情報処理システム１には、複数台の端末装置１０や、複数台の情報処理装置１００や、複数台のＳＮＳ装置２００が含まれてよい。

端末装置１０は、ユーザによって利用される情報処理装置である。端末装置１０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal Computer）や、デスクトップＰＣや、携帯電話機や、ＰＤＡ（Personal Digital Assistant）等である。例えば、端末装置１０は、ユーザの操作に応じて、情報処理装置１００によって編集された映像を表示画面に表示する。

ＳＮＳ装置２００は、所定のソーシャル・ネットワーキング・サービス（ＳＮＳ；Social Networking Service）において、情報処理装置１００によって編集された映像を共有（投稿）できるよう各種制御を行うサーバ装置であり。ここでは、ＳＮＳ装置２００の詳細については触れず、後ほど詳述する。

ここで、実施形態にかかる情報処理が行われるにあたって前提について説明する。１つ目の前提は、映像自体に観点を当てた前提である。かかる前提は、ユーザの動作の一例としてダンスを挙げた場合に、ダンスに応じた映像や音声の変化によるアトラクション性や、ユーザがダンスに応じて映像や音声を変化させることによるユーザの編集能力に基づくものである。例えば、ユーザがダンスに応じて映像や音声を変化させることができれば、ダンスゲームとしてのアトラクション性や楽しみを高めることができる。また、例えば、ユーザがダンスに応じて映像や音声を変化させることができれば、例えば、ダンスの中でユーザが様々なポーズを取ることにより、見映えする映像、注目度を高めることができる高度な映像を作り上げることができる。

次に、２つ目の前提は、ユーザの動作自体に観点を当てた前提である。同様に、ユーザの動作の一例としてダンスを挙げた場合に、かかる前提は、ダンスのスキルを向上させたい、自身のダンススキルに対する周りからの正当な評価を知りたい（また、評価結果をダンスのスキルを向上につなげたい）といったユーザニーズに基づくものである。例えば、ダンス初心者やダンスを独学で学ぶユーザがの中には、思い切り体を動かしてダンスの練習をしたいといったニーズがある。また、例えば、ダンススキルに対する周りからの正当な評価を知るためには、自身のダンス映像を例えばインターネット上に公開する必要があるが、容姿、身バレ、動画映えを気にせず公開することで、ダンススキルだけに対する正当な評価を受けたいといったニーズがある。

そこで、以上のような前提を踏まえて、実施形態にかかる情報処理装置１００は、以下の実施形態にかかる情報処理を行う。具体的には、情報処理装置１００は、人物の身体の動作を示す動作情報を取得し、取得した動作情報に基づいて、身体が映された映像（全体映像）のうち、身体に対する背景の映像（背景映像）を編集する。また、情報処理装置１００は、身体が映された映像（全体映像）のうち、背景映像だけでなく、身体を示すシルエット映像も編集することができる。具体的には、情報処理装置１００は、身体が映された映像（全体映像）のうち、人物の動作に対応するシルエットであって人物のシルエットを示すシルエット映像を編集する。

例えば、情報処理装置１００は、動作情報に基づいて動作が所定の条件を満たしたと判定された場合に、背景映像やシルエット映像を編集する。一例を示すと、情報処理装置１００は、動作情報に基づいて動作から所定のポーズがとられたと判定された場合に、背景映像やシルエット映像を編集する。また、情報処理装置１００は、動作情報を取得される人物の人数の変化に応じて、背景映像やシルエット映像を編集する。また、映像の編集には、映像にかけられるエフェクトの編集がある。したがって、情報処理装置１００は、背景映像やシルエット映像の編集として、これら映像にかけられるエフェクトを編集する。なお、本実施形態において、映像にかけられるエフェクトを編集する編集処理は、現在の映像に対して所定のエフェクトをかける編集処理、現在の映像に対してかけられているエフェクトから別のエフェクトへと変更する編集処理、現在の映像に対してかけられているエフェクトの効果量を制御する編集処理を含み得るものとする。また、情報処理装置１００は、編集処理として、例えば、現在の背景映像から別の背景映像へと変更するといった背景映像そのものを変える編集処理を行うこともできるが、本実施形態では、上記のようなエフェクトに関する編集に絞って説明する。

また、情報処理装置１００は、後述するセンサ部１１２を用いて、ユーザの動作をリアルタイムにトラッキングするため、上記の様な編集処理もユーザの動作に合わせてリアルタイムに行われる。

ここで、既存の技術と、実施形態にかかる情報処理装置１００による情報処理との違いについて説明する。例えば、ゲームプレイヤー（人物）がモニターに映し出される仮想キャラの動きを手本にしながらダンスし、ダンスの完成度のスコアをゲームプレイヤー間で競うといった技術がある。このような技術では、仮想キャラの動きはゲームプレイヤーの動作に連動しているわけではないため、人物の動きをトラキングしその人物のシルエット映像を生成し表示画面に映し出す本実施形態とは異なる。

また、例えば、センサがユーザの動作を読み取り、プレイヤーが手本に沿って正しくダンスするほどスコアが上がっていき、スコアが上がることに応じて演出が派手になるといった技術がある。このような技術では、スコア変動に応じて演出を制御しているに過ぎず、ダンス中におけるユーザのポージングに応じて、上記のようにエフェクト等を編集する本実施形態とは異なる。また、このような従来技術は、どれだけ正確に与えられたダンスを踊れるかに挑戦するのかが基本的な遊び方となる。しかしながら、本実施形態では、前提で説明したように、ダンススキルが正当に評価されるような機会をユーザに与えたり、ダンスの内容に拘わらず（つまり、既存のダンスであるのか、あるいは、ユーザ自身が考えた振付けでのダンスであるのかに拘わらず）、とにかくダンスをじっくり練習できる機会をユーザに与えるといったことを前提（目的）としており、この既存の技術とは前提が異なる。

さて、以下では、実施形態にかかる情報処理の一例について説明する。まず、図１を用いて、実施形態にかかる情報処理の一例について説明する。図１は、実施形態にかかる第１の情報処理の一例を示す図である。実施形態にかかる第１の情報処理に含まれる編集処理である第１の編集処理では、ユーザの動作に応じて、背景映像に対して所定のエフェクトがかけられるといった編集処理が行われる。

情報処理装置１００は、ユーザの動作を検出するセンサＳＮと、表示画面Ｄと、スピーカーＢとが内蔵されている。例えば、情報処理装置１００は、センサＳＮと、表示画面Ｄと、スピーカーＢとが所定の筐体内に内蔵された状態で実現されることができる。また、センサＳＮは、例えば、キネクトセンサ（登録商標）である。また、センサＳＮは、情報処理装置１００に内蔵、あるいは、設置されるのではなく、情報処理装置１００から離れた位置において、情報処理装置１００に対して通信可能な状態で設置されてもよい。また、センサＳＮは、赤外線センサやカメラを有する。また、情報処理装置１００は、ユーザに対して非接触な状態で、ユーザの動作を検出可能なセンサであれば、キネクトセンサ（登録商標）以外に任意のセンサを用いることができる。なお、図２～図４で例示する情報処理装置１００は、図１と同様のものであるため、図２～図４の説明では、情報処理装置１００の説明は省略する。また、以下では、表示画面ＤとスピーカーＢとを合わせて出力部１１３と表記する場合がある。

ここで、図１の例では、情報処理装置１００は、背景音楽であるＢＧＭ１に合わせて動作や色調が変動させられる背景映像ＢＶ１を表示画面Ｄに出力させるとともに、ＢＧＭ１をスピーカーＢから出力させている。ＢＧＭ１は、映像に対応する楽曲の一例である。

このような状態において、センサＳＮは、人物および人物の動作を検出する。図１に示すように、情報処理装置１００の前に用意される検出領域ＡＲ（ユーザの動作を検出可能な領域）にて、ユーザがダンス（動作の一例）しているとすると、センサＳＮは、ユーザＵ１という人物のダンスによる動作を検出する（ステップＳ１）。また、センサＳＮは、ユーザＵ１の動作を検出できている限りは、常に、ユーザＵ１の動作をトラッキングする。例えば、センサＳＮは、赤外線センサおよびカメラを制御することにより、ユーザＵ１の動作を検出することができる。また、情報処理装置１００は、センサＳＮによって検出されたユーザＵ１の動作を示す動作情報を、例えば、センサＳＮから取得する（ステップＳ２）。上記の通り、センサＳＮは、ユーザＵ１の動作をユーザＵ１の動作に合わせてリアルタイムに検出するため、例えば、情報処理装置１００もユーザＵ１の動作に合わせてリアルタイムに、遂次、動作情報を取得する。

次に、情報処理装置１００は、ステップＳ２で取得した動作情報に基づいて、ユーザＵ１の動作に対応するシルエットであってユーザＵ１のシルエットを示すシルエット映像ＵＶ１を生成する（ステップＳ３）。例えば、情報処理装置１００は、ユーザＵ１の動作に連動して動作するシルエット映像を生成する。本実施形態では、情報処理装置１００は、３次元形状のシルエット映像ＵＶ１を生成するものとするが、２次元形状のシルエット映像ＵＶ１を生成してもよい。そして、情報処理装置１００は、ステップＳ３で生成したシルエット映像ＵＶ１を表示画面Ｄに出力させる（ステップＳ４）。そして、このときの出力例が図１（ａ）に示される。図１（ａ）の例によると、情報処理装置１００は、背景映像ＢＶ１を表示画面Ｄに出力させている状態で、背景映像ＢＶ１に対してシルエット映像ＵＶ１を重畳させるように、シルエット映像ＵＶ１を出力させる。

このように表示画面には、ユーザＵ１はシルエット映像ＵＶ１として表示させられるため、例えば、この映像が不特定多数の他ユーザに閲覧されたとしても、他ユーザはユーザＵ１の顔、容姿、身成り、撮影場所を特定することはできない。一方で、シルエットであっても他ユーザは、ユーザＵ１がどのようなダンスを行っているかは特定することができる。このようなことから、実施形態にかかる情報処理装置１００は、顔、容姿、身成り、撮影場所といったユーザＵ１の個人情報の開示を抑制した状態で、他ユーザに対してダンスの内容やダンススキルだけに注目させることができるため、例えば、ダンススキルに対する正当な評価を行わすことができる。また、情報処理装置１００は、ユーザＵ１自身に対しても、顔、容姿、身成り等を気にせず、単純にダンスの良し悪しだけのセルフチェックに注力させることができる。

なお、シルエット映像ＵＶ１は、実際にはシルエット画像の集合体であるため、情報処理装置１００は、ステップＳ２およびＳ３では、実際にはシルエット画像ＵＶ１を生成し、生成したシルエット画像ＵＶ１がユーザＵ１の動きに合わせて動作する映像として表示画面Ｄに出力されるよう出力制御する、と言い換えることができる。

次に、情報処理装置１００は、遂次取得する動作情報に基づいて、ユーザＵ１がダンスの中で所定のポーズをとったか（ポージングしたか）を判定する判定処理を行う（ステップＳ５）。例えば、情報処理装置１００は、次のような判定処理を行うことができる。例えば、情報処理装置１００は、動作情報に基づいて、動作が静止されたと判定した場合には、このときの静止時間が所定時間以上となったか否かを判定する。そして、情報処理装置１００は、静止時間が所定時間以上となったと判定した場合には、ユーザＵ１がポージングしたと判定する。図１（ａ）の例では、情報処理装置１００は、ユーザＵ１が「情報処理装置１００に対して左向きになった状態で、右手を挙げ、両足を広げる」といったポージングを行った場合に、ユーザＵ１がポージングしたと判定している。なお、情報処理装置１００は、予め所定の記憶部に多数のポーズのパターンを例えば画像として記憶しておき、この画像とユーザＵ１の動作とのマッチングを行うことで、ユーザＵ１がポージングしたか否かを判定してもよい。

次に、情報処理装置１００は、ステップＳ５において、ユーザＵ１がポージングしたと判定した場合には、現在出力されている背景映像を編集する第１の編集処理を行う（ステップＳ６）。例えば、情報処理装置１００は、現在の背景映像ＢＶ１にかけられるエフェクトを編集する。例えば、情報処理装置１００は、図１（ｂ）に示すように、ユーザＵ１のポーズを強調するような態様のエフェクト映像であるエフェクトＥＦ１１を背景映像ＢＶ１にかぶせて出力させる。例えば、情報処理装置１００は、エフェクト情報記憶部１２２からユーザＵ１のポーズを強調するような態様のエフェクトとしてエフェクトＥＦ１１を抽出し、エフェクトＥＦ１１を背景映像ＢＶ１にかぶせて出力させる。

また、情報処理装置１００は、ユーザＵ１がポージングしていると判定している間は、エフェクトＥＦ１１を背景映像ＢＶ１にかぶせて出力させ続け、ユーザＵ１がポージングしていないと判定した場合、つまり、ユーザＵ１がポージングを解いたと判定した場合には、エフェクトＥＦ１１の出力を解除し、元の背景映像ＢＶ１へと戻すことができる。

図１で説明してきたように、情報処理装置１００は、人物の身体の動作を示す動作情報を取得し、取得した動作情報に基づいて、身体が映された映像のうち、身体に対する背景の映像を編集する。例えば、情報処理装置１００は、ユーザのポージングに合わせて、図１（ａ）から図１（ｂ）に示すように、シンプルな背景映像から迫力のある背景映像へと一時的に切り替えることができるため、ユーザのポージングに合わせて、背景映像に強調させることができる。ユーザは、基本的には表示画面Ｄに映し出される映像、つまり、背景映像や自身のシルエット映像を含む映像を閲覧しながら、例えば、ダンスすることになるため、映像に強弱が付くことにより、ダンスをより楽しむことができるようになる。このようなことから、情報処理装置１００は、ユーザが動作することによるアトラクション性を高めることができる。また、情報処理装置１００は、例えば、ダンスゲームとしてのアトラクション性を高めることもできる。

また、上記の通り、本実施形態は、映像自体に観点を当てた前提を有しており、ユーザは、動作に応じて映像が変わることを利用して、自身の動作を活用した映像編集を、例えば、身体全体で行うことができるようになる。机上での単純な映像編集と比較して、ユーザは楽しみながらエクササイズ感覚で映像編集を楽しむことができるし、例えば、情報処理装置１００が、ポージングの難易度が高い程、迫力のある背景映像を出力するのであれば、ユーザはよりオリジナリティの高い高度な映像を身体全体を用いて生成することができるようになる。このようなことから、情報処理装置１００は、身体全体を用いた映像編集としての楽しみをユーザに与えることができる。

次に、図２を用いて、実施形態にかかる情報処理の一例について説明する。図２は、実施形態にかかる第２の情報処理の一例を示す図である。実施形態にかかる第２の情報処理に含まれる編集処理である第２の編集処理では、ユーザの動作に応じて、シルエット映像に対して所定のエフェクトがかけられるといった編集処理が行われる。図２では、情報処理装置１００は、図１で示したステップＳ６において、第１の編集処理の代わりに第２の編集処理を行うものとする。このため、図２の説明では、ステップＳ１～Ｓ５の説明を省略する。なお、情報処理装置１００は、第１の編集処理とともに第２の編集処理を行うこともできる。

具体的には、情報処理装置１００は、ステップＳ５において、ユーザＵ１がポージングしたと判定した場合には、現在出力されているシルエット映像ＵＶ１を編集する第２の編集処理を行う（ステップＳ６）。例えば、情報処理装置１００は、現在のシルエット映像ＵＶ１にかけられるエフェクトを編集する。図２（ａ）に示すように、現在のシルエット映像ＵＶ１は、単一色（例えば、黒一色）で表現されている。このため、情報処理装置１００は、ユーザＵ１がポージングしたと判定した場合には、図２（ｂ）に示すように、シルエット映像ＵＶ１に対し複数色（例えば、赤、黄、緑、青、ピンク、紫）のエフェクトＥＦ１２をかける。例えば、情報処理装置１００は、ユーザＵ１がポージングしている間の時間経過に応じて、複数色それぞれ色が別の色へと変化するようなエフェクトＥＦ１２をかける。

また、情報処理装置１００は、ユーザＵ１がポージングしていると判定している間は、シルエット映像ＵＶ１に対してエフェクトＥＦ１２を背景映像ＢＶ１をかけ続け、ユーザＵ１がポージングしていないと判定した場合、つまり、ユーザＵ１がポージングを解いたと判定した場合には、エフェクトＥＦ１２の出力を解除し、元のシルエット映像ＵＶ１へと戻すことができる。

このように、ユーザは、動作に応じて映像が変わることを利用して、自身の動作を活用した映像編集を、例えば、身体全体で行うことができるようになる。例えば、ユーザは、身体全体を用いて、オリジナリティの高い映像を生成することができる。このようなことから、情報処理装置１００は、身体全体を用いた映像編集であって、アトラクション性を兼ね備えた映像編集の楽しみをユーザに与えることができる。

次に、図３を用いて、実施形態にかかる情報処理の一例について説明する。図３は、実施形態にかかる第３の情報処理の一例を示す図である。実施形態にかかる第３の情報処理に含まれる編集処理である第３の編集処理では、情報処理装置１００は、動作情報を取得される人物の人数（例えば、ダンスへの参加人数）の変化に応じて、映像を編集する。例えば、情報処理装置１００は、人数が増加するほど映像かけられるエフェクトの効果量を上昇させる。図３では、情報処理装置１００は、図１で示したステップＳ６において、第１の編集処理の代わりに第３の編集処理を行うものとする。このため、図３の説明では、ステップＳ１～Ｓ５の説明を省略する。なお、情報処理装置１００は、第１の編集処理および第２の編集処理のうち、少なくともいずれか１つの編集処理とともに第３の編集処理を行うこともできる。

例えば、情報処理装置１００は、ステップＳ２で取得する動作情報に基づいて、動作情報が取得される人物の人数、すなわちダンスへの参加人数の増減を常時監視しておき、例えば、参加人数が増加したことを検出した場合には、現在出力されている背景映像を編集する第３の編集処理を行う（ステップＳ６）。図３の例では、ユーザＵ１がダンスしているところにユーザＵ２が途中参加（乱入）してきている。かかる場合、情報処理装置１００は、ユーザＵ２の途中参加を示す動作情報に基づいて、参加人数が「１人」増加したことを検出する。そうすると、情報処理装置１００は、ステップＳ３およびＳ４を行うことにより、ユーザＵ２に対応するシルエット映像ＵＶ２も表示画面Ｄに出力させる。

また、このように出力させることに応じて、情報処理装置１００は、現在の背景映像ＢＶ１にかけられるエフェクトを編集する。例えば、情報処理装置１００は、図３（ｂ）に示すように、図３（ａ）での背景映像ＢＶ１よりもより豪華な演出態様のエフェクト映像であるエフェクトＥＦ１３を背景映像ＢＶ１にかぶせて出力させる。例えば、情報処理装置１００は、エフェクト情報記憶部１２２からエフェクトＥＦ１３を抽出し、エフェクトＥＦ１３を背景映像ＢＶ１にかぶせて出力させる。

また、情報処理装置１００は、ユーザＵ２が参加することにより参加人数「２人」であることを検出している間は、エフェクトＥＦ１３を背景映像ＢＶ１にかぶせて出力させ続け、例えば、ユーザＵ１およびＵ２のうち少なくともいずれか１人が検出できなくなった場合（言い換えれば、参加人数の減少を検出した場合）には、エフェクトＥＦ１３の出力を解除し、元の背景映像ＢＶ１へと戻すことができる。なお、情報処理装置１００は、人数の増減を検出した場合には、図２（ｂ）で説明したように、シルエット映像を編集してもよい。図３の例では、情報処理装置１００は、シルエット映像ＵＶ１およびＵＶ２に対して複数色（例えば、赤、黄、緑、青、ピンク、紫）のエフェクトＥＦ１２をかけることができる。

また、背景映像ＢＶ１が、例えば、スポットライトが当てられるステージを示す３次元映像であった場合、情報処理装置１００は、参加人数が「１人」増加したことに応じて、スポットライトを数を増やす、スポットライトの明るさを明るくする、あるいはスポットライトの色を変化させる、といったように背景映像ＢＶ１自体に変化を与えるようにエフェクトをかけてもよい。さらに、情報処理装置１００は、例えば、人数が増加するほどエフェクトの効果量を高めてもよい。一例を示すと、情報処理装置１００は、人数が増加するほど豪華な演出になるようエフェクトの効果量を高めることができる。

このように、ユーザは、参加人数に応じて映像が変わることを利用して、例えば、チームを組んだチームプレイにより映像編集を行うことができるようになる。例えば、ユーザは、身体全体を用いて、チームプレイによりオリジナリティの高い映像を生成することができる。このようなことから、情報処理装置１００は、身体全体を用いた映像編集であって、アトラクション性を兼ね備えた映像編集の楽しみをユーザに与えることができる。

次に、図４を用いて、実施形態にかかる情報処理の一例について説明する。図４は、実施形態にかかる第４の情報処理の一例を示す図である。実施形態にかかる第４の情報処理に含まれる編集処理である第４の編集処理では、情報処理装置１００は、動作情報に基づいて、映像に対応する楽曲を編集する。映像に対応する楽曲とは、例えば、映像に用いられる背景音楽（ＢＧＭ）である。例えば、情報処理装置１００は、楽曲の編集として、楽曲を構成させる楽器の種別を編集する。例えば、情報処理装置１００は、動作情報を取得される人物の人数（例えば、ダンスへの参加人数）の変化に応じて、楽曲を構成させる楽器の種別を編集する。

楽曲を構成させる楽器の種別を編集するとは、楽曲の演奏に用いられる楽器の種別を変えることを意味しており、例えば、ドラムスのみで演奏されている状態から、ドラムスおよびベースによる演奏状態へと変化させることを示す。また、実施形態にかかる情報処理に用いられるＢＧＭは、実施形態にかかる情報処理用に作製された楽曲であってもよいし、権利の問題が解決できているのであれば既存の楽曲でもよいし、フリー素材として配布されている楽曲であってもよい。なお、情報処理装置１００は、第１の編集処理～第３の編集処理のうち、少なくともいずれか１つの編集処理とともに第４の編集処理を行うこともできる。

例えば、情報処理装置１００は、ステップＳ２で取得する動作情報に基づいて、動作情報が取得される人物の人数、すなわちダンスへの参加人数の増減を常時監視しておき、例えば、参加人数が増加したことを検出した場合には、現在出力されているＢＧＭ１を編集する第４の編集処理を行う（ステップＳ６）。図４の例では、ユーザＵ１がダンスしているところにユーザＵ２が途中参加（乱入）してきているが、ユーザＵ２が途中参加するまで、つまり、図４（ａ）の状態では、ドラムスのみで演奏されるＢＧＭ１が出力されているとする。このような状態において、情報処理装置１００は、ユーザＵ２の途中参加を示す動作情報に基づいて、参加人数が「１人」増加したことを検出する。そうすると、情報処理装置１００は、ステップＳ３およびＳ４を行うことにより、ユーザＵ２に対応するシルエット映像ＵＶ２も表示画面Ｄに出力させる。

また、このように出力させることに応じて、情報処理装置１００は、現在のスピーカーＢから出力されているＢＧＭ１（ドラムスのみでの演奏）を編集する。例えば、情報処理装置１００は、参加人数が「１人」増加したことにより、ＢＧＭ１の演奏に使用される楽器の種類を１種類増やす。例えば、情報処理装置１００は、図４（ｃ）に示すように、ＢＧＭ１について１種類の楽器（ドラムス）で演奏されている状態から、２種類の楽器（ドラムス＋ベース）で演奏される状態へと編集する。例えば、ＢＧＭ１は、元々４種類の楽器（例えば、ドラムス、ベース、キーボード、ギター）で演奏されるのものが完成形であるとすると、情報処理装置１００は、予め所定の記憶部に、ＢＧＭ１について、ドラムスパート、ベースパート、キーボードパート、ギターパートといったように、各楽器のみでの演奏パートを記憶しておく。そうして、情報処理装置１００は、ユーザＵ１のみで動作が行われている状態では、ドラムスパートのみを出力させておき、今回のように参加人数が「１人」増加した今回の場合には、さらにベースパートを出力させる。

また、情報処理装置１００は、さらに参加人数が「１人」増加した場合（計３人）には、さらにキーボードパートを出力させる。また、情報処理装置１００は、さらに参加人数が「１人」増加した場合（計４人）には、さらにギターパートを出力させる。また、情報処理装置１００は、例えば、参加人数の上限が満たされた場合には、ボーカルパートをさらに出力させてもよい。なお、情報処理装置１００は、このようにパートを増やす場合には、演奏のベースとなる楽器（例えば、ドラムスやベース）パートを優先的に出力させ、人数の増加に応じて、演奏のメインをはれる楽器（例えば、ギター）を追加してゆくことが好ましい。これにより、人数増加に応じて、ＢＧＭが豪華になる態様をユーザが体感できるようになるため、ユーザに対して、自分達が楽曲を編集している感を強く与えることができるようになる。

また、情報処理装置１００は、図４（ｂ）に示すように、現在の背景映像ＢＶ１よりもより豪華な演出態様のエフェクト映像であるエフェクトＥＦ１３を背景映像ＢＶ１にかぶせて出力させる第３の編集処理も同時に行ってよい。

また、情報処理装置１００は、ユーザＵ２が参加することにより参加人数「２人」であることを検出している間は、ドラムス＋ベースのＢＧＭ１を出力させ続け、例えば、ユーザＵ１およびＵ２のうち少なくともいずれか１人が検出できなくなった場合（言い換えれば、参加人数の減少を検出した場合）には、ドラムスのみのＢＧＭ１へと戻すことができる。

このように、ユーザは、参加人数に応じて楽曲の演奏態様が変わることを利用して、例えば、チームを組んだチームプレイにより楽曲編集を行うことができるようになる。例えば、ユーザは、身体全体を用いて、チームプレイによりオリジナリティの高い楽曲編集を行うことができる。このようなことから、情報処理装置１００は、身体全体を用いた楽曲編集であって、アトラクション性を兼ね備えた楽曲編集の楽しみをユーザに与えることができる。

さて、図４に示す第４の編集処理では、情報処理装置１００が人数の増減に応じて楽曲を編集する例を示した。しかし、情報処理装置１００は、動作情報に基づいて動作が所定の条件を満たしたと判定された場合に、楽曲を編集してもよい。例えば、情報処理装置１００は、動作情報に基づいて所定のポーズがとられたと判定された場合に、楽曲を編集すしてもよい。つまり、情報処理装置１００は、ステップＳ５でのポージングの判定処理により、ユーザがポージングしたと判定した場合には、楽曲を編集してもよい。

また、図４に示す第４の編集処理では、情報処理装置１００が、楽曲の編集として、人数の増減に応じて楽曲の演奏に使用される楽器を制御する例を示した。しかし、情報処理装置１００は、楽曲の編集として、楽曲にかけられるエフェクトを編集してもよい。例えば、情報処理装置１００は、参加人数の増加やポージングに応じて、現在出力されているＢＧＭ１にエコーをかけたり、音量を高めたり、トーンを変えたりしてもよい。

〔２．情報処理装置の構成〕
次に、図６を用いて、実施形態にかかる情報処理装置１００について説明する。図６は、実施形態にかかる情報処理装置１００の構成例を示す図である。図６に示すように、情報処理装置１００は、通信部１１０と、センサ部１１２と、出力部１１３と、記憶部１２０と、制御部１３０とを有する。例えば、情報処理装置１００は、図１～図４で説明した情報処理を行うサーバ装置である。

（通信部１１０について）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、ネットワークと有線または無線で接続され、例えば、端末装置１０、ＳＮＳ装置２００との間で情報の送受信を行う。

（センサ部１１２について）
センサ部１１２は、人物の身体の動作を検出するセンサである。センサ部１１２は、図１で説明したセンサＳＮに対応し、例えば、キネクトセンサ（登録商標）によって構成される。センサ部１１２は、例えば、赤外線センサやカメラを有する。

（出力部１１３について）
出力部１１３は、映像や音声を出力する出力装置であり、例えば、図１で説明した表示画面ＤやスピーカーＢに対応する。例えば、出力部１１３は、出力制御部１３１の制御に従って、映像や音声を出力する。

（記憶部１２０について）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ等の半導体メモリ素子またはハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２０は、動画情報記憶部１２１と、エフェクト情報記憶部１２２とを有する。

（動画情報記憶部１２１について）
動画情報記憶部１２１は、映像（動画）に関する情報を記憶する。例えば、動画情報記憶部１２１は、表示画面Ｄに出力される映像であって、図１～図４で説明したような背景映像およびシルエット映像を含む全体映像に関する情報を記憶する。ここで、図７に実施形態にかかる動画情報記憶部１２１の一例を示す。図７の例では、動画情報記憶部１２１は、「ユーザＩＤ」、「映像ＩＤ」、「映像データ」、「楽曲」、「日付情報」といった項目を有する。

「ユーザＩＤ」は、センサ部１１２によって動作を検出される対象のユーザを識別する識別情報を示す。また、「ユーザＩＤ」は、このようなユーザの端末装置１０を識別する識別情報であってもよい。「映像ＩＤ」は、「映像データ」を識別する識別情報を示す。「映像データ」は、ユーザの動作に合わせて表示画面Ｄに出力される映像であって、図１～図４で説明したような背景映像およびシルエット映像を含む全体映像のデータを示す。表示画面Ｄに表示される全体映像、すなわち背景映像およびシルエット映像は、３次元形状で示される。また、「映像データ」は、図１～図４で説明した編集処理が加えられた編集後の映像のデータである。「楽曲データ」は、「映像データ」の背景音楽として出力される楽曲のデータを示す。また、「映像データ」は、図４で説明した編集処理が加えられた編集後の楽曲のデータである。「日付情報」は、「ユーザＩＤ」に対応するユーザが検出された日付、あるいは、かかるユーザの動作に応じて編集処理が行われた日付を示す。なお、図７の例では、「日付情報」にＹＭＤ１といった概念的な記号を用いているが、本来は、実際の日付情報が入力される。

すなわち、図７の例では、ユーザＩＤ「Ｕ１」によって識別されるユーザ（ユーザＵ１）が、日付情報「ＹＭＤ１」において、領域ＡＲ１内で動作（例えば、ダンス）することにより、この動作にい応じて随時編集される（３次元）映像である映像ＶＩＤ１が表示画面Ｄに表示されたことを示す。

（エフェクト情報記憶部１２２について）
エフェクト情報記憶部１２２は、エフェクトに関する情報を記憶する。例えば、エフェクト情報記憶部１２２は、背景映像にかけられるエフェクトの映像データを記憶する。ここで、図８に実施形態にかかるエフェクト情報記憶部１２２の一例を示す。図８の例では、エフェクト情報記憶部１２２は、「エフェクトＩＤ」、「エフェクトデータ」といった項目を有する。

「エフェクトＩＤ」は、「エフェクトデータ」を識別する識別情報を示す。「エフェクトデータ」は、背景映像にかけられるエフェクトの映像データを示す。

なお、エフェクト情報記憶部１２２は、例えば、ポーズを示す画像情報等を「エフェクトＩＤ」および「エフェクトデータ」に対応付けることにより、どのよううなポージングが行われた際にどのようなエフェクトをかけるかを、例えば、編集部１３４が特定可能なようにエフェクトデータを記憶してもよい。

（その他の記憶部について）
図６では不図時であるが、情報処理装置１００は、背景音楽（ＢＧＭ）を記憶する記憶部も有してよい。例えば、情報処理装置１００は、完成形のＢＧＭ毎に、当該ＢＧＭ内で使用されるドラムスパート、ベースパート、キーボードパート、ギターパートの音源を記憶する記憶部も有してよい。

（制御部１３０について）
図６に戻り、制御部１３０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、情報処理装置１００内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

図６に示すように、制御部１３０は、出力制御部１３１と、取得部１３２と、判定部１３３と、編集部１３４と、送信部１３５とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図６に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部１３０が有する各処理部の接続関係は、図６に示した接続関係に限られず、他の接続関係であってもよい。

（出力制御部１３１について）
出力制御部１３１は、出力部１１３に対して映像や音声を出力するよう制御する。例えば、出力制御部１３１は、センサ部１１２によって人物が検出されるまでは、センサＳＮに対しては所定の背景映像を出力するよう制御し、スピーカーＢに対しては所定の背景映像に同調するよう所定のＢＧＭを出力するよう制御する。また、出力制御部１３１は、編集部１３４の編集処理に応じて、遂次、編集後の映像や音声を出力させる出力制御を出力部１１３に対して行う。例えば、出力制御部１３１は、編集部１３４により背景映像、シルエット映像、ＢＧＭが編集される度に、編集後のこれら映像や音声を出力させる出力制御を出力部１１３に対して行う。

（取得部１３２について）
取得部１３２は、人物の身体の動作を示す動作情報を取得する。例えば、取得部１３２は、動作が行われているリアルタイムにおいて、この動作を示す動作情報を取得する。例えば、取得部１３２は、センサ部１１２によって検出された動作を示す動作情報をセンサ部１１２から取得する。センサ部１１２は、ユーザの動作をユーザの動作に合わせてリアルタイムに検出するため、取得部１３２もこのユーザの動作に合わせてリアルタイムに、遂次、動作情報を取得する。また、取得部１３２は、取得した動作情報を判定部１３３や編集部１３４に送信する。

（判定部１３３について）
判定部１３３は、取得部１３２により取得された動作情報に基づいて、動作情報を取得されたユーザが動作の中で所定のポーズをとったか（ポージングしたか）を判定する判定処理を行う。例えば、判定部１３３は、動作情報に基づいて、動作が静止されたと判定した場合には、このときの静止時間が所定時間以上となったか否かを判定する。そして、判定部１３３は、静止時間が所定時間以上となったと判定した場合には、ユーザがポージングしたと判定する。なお、判定部１３３は、予め所定の記憶部に多数のポーズのパターンを例えば画像として記憶しておき、この画像とユーザの動作とのマッチングを行うことで、ユーザがポージングしたか否かを判定してもよい。つまり、判定部１３３は、図１～図４のステップＳ５に示す判定処理を行う。

（編集部１３４について）
編集部１３４は、取得部１３２により取得された動作情報に基づいて、身体が映された映像（全体映像）のうち、身体に対する背景の映像を編集する。また、編集部１３４は、身体が映された映像のうち、動作に対応するシルエットであって人物のシルエットを示すシルエット映像を編集する。例えば、編集部１３４は、動作情報に基づいて動作が所定の条件を満たしたと判定された場合に、映像を編集する。例えば、編集部１３４は、判定部１３３により動作情報に基き動作から所定のポーズがとられたと判定された場合には、映像を編集する。一例としては、編集部１３４は、動作が静止された静止時間が所定時間以上となることにより所定のポーズがとられたと判定された場合には、映像を編集する。

例えば、編集部１３４は、映像の編集として、映像にかけられるエフェクトを編集する。また、編集部１３４は、取得部１３２により動作情報を取得される人物の人数の変化に応じて、映像を編集する。例えば、編集部１３４は、人数が増加するほど映像かけられるエフェクトの効果量を上昇させる編集を行う。また、編集部１３４は、動作が行われているリアルタイムにおいて、映像を編集する。

また、編集部１３４は、取得部１３２により取得された動作情報に基づいて、映像に対応する楽曲（ＢＧＭ）を編集する。例えば、編集部１３４は、動作情報に基づいて動作が所定の条件を満たしたと判定された場合に、楽曲を編集する。例えば、編集部１３４は、判定部１３３により動作情報に基づいて動作から所定のポーズがとられたと判定された場合に、楽曲を編集する。一例としては、編集部１３４は、動作が静止された静止時間が所定時間以上となることにより所定のポーズがとられたと判定された場合には、楽曲を編集する。

例えば、編集部１３４は、楽曲の編集として、楽曲にかけられるエフェクトを編集する。また、編集部は、楽曲の編集として、楽曲を構成させる楽器の種別を編集する。例えば、編集部１３４は、取得部１３２により動作情報を取得される人物の人数の変化に応じて、楽曲を構成させる楽器の種別を編集する。一例としては、編集部１３４は、人数が増加するほど楽曲を構成させる楽器の種別を増加させる。このようなことから、編集部１３４は、図１～図４で説明した第１～第４の編集処理を行う。

なお、出力制御部１３１は、編集部１３４により遂次編集される映像や音声を出力部１１３から出力させるが、このように編集部１３４により編集された映像や音声のデータを動画情報記憶部１２１に格納する。

（送信部１３５について）
送信部１３５は、編集部１３４により編集が行われた映像の映像データを、当該映像データを所定のコンテンツにて共有できるよう制御するサーバ装置に送信する。なお、ここでは、映像のデータを送信するといった表現を用いているが、この映像のデータには編集された音声のデータも含まれる。また、所定のコンテンツとは、例えば、所定のＳＮＳサイトである。所定のコンテンツにて共有できるよう制御するサーバ装置は、図１でス素子触れたＳＮＳ装置２００に対応する。以降、所定のコンテンツにて共有できるよう制御するサーバ装置をＳＮＳ装置２００として説明する。また、ＳＮＳ装置２００の詳細については、図９を用いて説明する。

例えば、送信部１３５は、映像データとして、所定のファイル形式に変換された映像データをＳＮＳ装置２００に送信する。一例としては、送信部１３５は、ＧＩＦ形式に変換された映像データをＳＮＳ装置２００に送信する。ＧＩＦ形式に変換は、送信部１３５によって行われてよい。また、このようにファイル形式を変換するのは、映像データが端末装置１０にダウンロードされるこのとにより端末装置１０の容量が無駄に大きく圧迫されることや、通信への負荷を抑制するためである。また、送信部１３５は、映像データをダウンロード可能なコンテンツの所在地を示す所在地情報を、この映像データに対応する人物（映像中で動作を行っている人物）に提示するようなＳＮＳ装置２００に対して、この映像データを送信する。

また、送信部１３５は、映像データの属性情報に基づいて映像データに対してタグ情報を付与するＳＮＳ装置２００に映像データを送信する。例えば、送信部１３５は、属性情報として、映像の態様を示す属性情報、映像に対応する楽曲の内容を示す属性情報、または、映像内にて人物により行われている動作を示す属性情報のうちの少なくともいずれか１つの属性情報に基づいて映像データに対してタグ情報を付与するＳＮＳ装置２００に映像データを送信する。

また、送信部１３５は、映像に対してユーザが評価した評価情報に基づき順位付けされた順位に応じて、映像データを一覧表示するＳＮＳ装置２００に映像データを送信する。例えば、送信部１３５は、評価情報に基づく所定のカテゴリ内において、映像に順位付けされた順位に応じて、映像データを一覧表示するＳＮＳ装置２００に映像データを送信する。なお、送信部１３５は、例えば、情報処理装置１００を扱うスタッフの操作に応じて、映像データを送信することができる。

〔３．ＳＮＳ装置の構成〕
次に、図９を用いて、実施形態にかかるＳＮＳ装置２００について説明する。図９は、実施形態にかかるＳＮＳ装置２００の構成例を示す図である。図９に示すように、ＳＮＳ装置２００は、通信部２１０と、記憶部２２０と、制御部２３０とを有する。

（通信部２１０について）
通信部２１０は、例えば、ＮＩＣ等によって実現される。そして、通信部２１０は、ネットワークと有線または無線で接続され、例えば、端末装置１０、情報処理装置１００との間で情報の送受信を行う。

（記憶部２２０について）
記憶部２２０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子またはハードディスク、光ディスク等の記憶装置によって実現される。記憶部２２０は、タグ情報記憶部２２１と、評価情報記憶部２２２とを有する。

（タグ情報記憶部２２１について）
タグ情報記憶部２２１は、編集部１３４により編集された映像データに対して付与されるタグを示すタグ情報を記憶する。ここで、図１０に実施形態にかかるタグ情報記憶部２２１の一例を示す。図１０の例では、タグ情報記憶部２２１は、「ユーザＩＤ」、「映像ＩＤ」、「タグ情報」といった項目を有する。

「ユーザＩＤ」は、センサ部１１２によって動作を検出される対象のユーザを識別する識別情報を示す。また、「ユーザＩＤ」は、対応する「映像ＩＤ」によって識別される映像内で動作を行っているのユーザを識別する識別情報と言い換えることもできる。また、「ユーザＩＤ」は、このようなユーザの端末装置１０を識別する識別情報であってもよい。「映像ＩＤ」は、「映像データ」を識別する識別情報を示す。「映像ＩＤ」で識別される映像（映像データ）は、ユーザの動作に合わせて表示画面Ｄに出力される映像であって、図１～図４で説明したような背景映像およびシルエット映像を含む全体映像のデータを示す。なお、映像データ自体は、動画情報記憶部１２１に格納される。「タグ情報」は、映像データに対して付与されるタグを示すタグ情報である。このようなタグは、例えば、所定のＳＮＳサイト内において所定の検索キーワードにヒットするように設定されるタグであったり、所定のＳＮＳサイト内で用いられるハッシュタグである。

すなわち、図１０の例では、ユーザＩＤ「Ｕ１」によって識別されるユーザ（ユーザＵ１）に対応する映像であって、映像ＩＤ「ＶＩＤ１」によって識別される映像（映像ＶＩＤ１）のデータに対して、タグ情報「ダンスソロ」が付与された例を示す。なお、図１０では不図示であるが、タグ情報記憶部２２１は、情報処理装置１００から送信された映像データも記憶することができる。

（評価情報記憶部２２２について）
評価情報記憶部２２２は、編集部１３４により編集された映像に対してユーザが評価した評価情報を記憶する。ここで、図１１に実施形態にかかる評価情報記憶部２２２の一例を示す。図１１の例では、評価情報記憶部２２２は、「ユーザＩＤ」、「映像ＩＤ」、「評価情報」といった項目を有する。また、「評価情報」には、「ダンス」、「映像」、「サウンド」といった項目が含まれる。

「ユーザＩＤ」および「映像ＩＤ」については、図１０のタグ情報記憶部２２１で用いられるものと同様であるため説明を省略する。「評価情報」に対応する「ダンス」は、対応する映像ＩＤで識別される映像内で行われているダンスについて、ユーザが評価した評価情報を示す。また、「評価情報」に対応する「映像」は、対応する映像ＩＤで識別される映像自体（例えば、映像の美しさや、映像に対する編集力）に対してユーザが評価した評価情報を示す。また、「評価情報」に対応する「サウンド」は、対応する映像ＩＤで識別される映像内で用いられるＢＧＭ（例えば、ＢＧＭに対する編集力）について、ユーザが評価した評価情報を示す。なお、かかるユーザは、所定のＳＮＳサイトを利用する一般のユーザである。なお、評価情報は、例えば、例えば各ユーザの「いいね」数に基づき算出された評価値であってよい。

すなわち、図１１の例では、ユーザＩＤ「Ｕ１」によって識別されるユーザ（ユーザＵ１）に対応する映像であって、映像ＩＤ「ＶＩＤ１」によって識別される映像（映像ＶＩＤ１）について、「ダンス」の観点から評価値「Ｎ１１」が算出され、「映像」の観点から評価値「Ｎ１２」が算出され、「サウンド」の観点から評価値「Ｎ１３」が算出された例を示す。

（制御部２３０について）
図９に戻り、制御部２３０は、ＣＰＵやＭＰＵ等によって、ＳＮＳ装置２００内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部２３０は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。

図９に示すように、制御部２３０は、受信部２３１と、共有制御部２３２とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部２３０の内部構成は、図９に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部２３０が有する各処理部の接続関係は、図９に示した接続関係に限られず、他の接続関係であってもよい。

（受信部２３１について）
受信部２３１は、情報処理装置１００から送信される情報を受信する。具体的には、受信部２３１は、情報処理装置１００の送信部１３５から送信される情報を受信する。例えば、受信部２３１は、編集部１３４により編集が行われた映像の映像データであって、編集後の音声のデータも含む映像データを送信部１３５から受信する。

（共有制御部２３２について）
共有制御部２３２は、受信部２３１により受信された映像データを所定のＳＮＳサイトにて共有できるよう制御する各種制御処理を行う。例えば、共有制御部２３２は、映像データをダウンロード可能なコンテンツの所在地を示す所在地情報を、この映像データに対応する人物に提示する。

また、共有制御部２３２は、映像データの属性情報に基づいて、映像データに対してタグ情報を付与する。例えば、共有制御部２３２は、属性情報として、映像の態様を示す属性情報、映像に対応する楽曲の内容を示す属性情報、または、映像内にて人物により行われている動作を示す属性情報のうちの少なくともいずれか１つの属性情報に基づいて、映像データに対してタグ情報を付与する。映像データをダウンロード可能なコンテンツをＤＬページＰ１として、共有制御部２３２によって行われる制御処理の一例を示す。

ここでは、映像データが示す映像を映像ＶＩＤ１、映像ＶＩＤ１に対応する人物をユーザＵ１として説明する。映像ＶＩＤ１は、ユーザＵ１が領域ＡＲ１でダンスすることにより図１～図４で説明した情報処理で編集された編集後の映像、または、この映像のデータである。そうすると、共有制御部２３２は、例えば、受信部２３１により映像ＶＩＤ１が受信されたことに応じて、映像ＶＩＤ１をダウンロード可能なＤＬページＰ１のＵＲＬを示すＱＲコード（登録商標）を生成する。かかる例では、共有制御部２３２は、ＱＲコードＸ１を生成したものとする。そうすると、共有制御部２３２は、ＱＲコードＸ１をユーザＵ１の端末装置１０に配信する。例えば、共有制御部２３２は、ＱＲコードＸ１が表示されるようなページをユーザＵ１の端末装置１０に配信することができる。

ここで、例えば、端末装置１０は、ユーザＵ１の操作に応じて、ＱＲコードＸ１を読み込むと、ＱＲコードＸ１に対応するＤＬページＰ１の配信要求をＳＮＳ装置２００に送信する。共有制御部２３２は、配信要求を受信すると、次に、ＳＮＳ装置２００に対応するＳＮＳサイト内で用いられるハッシュタグを生成する生成処理を行う。例えば、共有制御部２３２は、映像ＶＩＤ１の属性情報に基づいて、ハッシュタグを生成する。例えば、共有制御部２３２は、映像ＶＩＤ１を解析した解析結果に基づいて、ハッシュタグを生成する。映像ＶＩＤ１ではユーザＵ１がダンスしているため、共有制御部２３２は、例えば、「ソロダンス」とっいたハッシュタグを生成することもできるし、映像編集や楽曲編集の観点から「アレンジ」あるいは「かっこいい映像」といったハッシュタグを生成することもできる。もちろんこのようなハッシュタグは、一例に過ぎない。

ここでは、共有制御部２３２は、ハッシュタグ「ソロダンス」を生成したとする。そうすると、共有制御部２３２は、生成したハッシュタグ「ソロダンス」を映像ＶＩＤ１に付与するとともに、ユーザＵ１がハッシュタグとして「ソロダンス」を使用できるよう、例えば、「♯ソロダンス」が表示されるようなＤＬページＰ１を端末装置１０に配信する。図１２にＤＬページＰ１の一例を示す。

図１２の例では、ＤＬページＰ１には、映像データが再生される再生領域ＰＡＲが含まれ、再生領域ＰＡＲの中には、再生ボタンＢＴ１が表示されている。例えば、再生ボタンＢＴ１が押下された場合、ＳＮＳ装置２００によって端末装置１０への映像ＶＩＤ１のデータのダウンロードが開始されるとともに、ダウンロードされた映像ＶＩＤ１が再生領域ＰＡＲ内で再生される。例えば、再生ボタンＢＴ１が押下された場合、ＳＮＳ装置２００は、端末装置１０に対して映像ＶＩＤ１のデータをストリーミング配信する。

また、図１２の例では、ＤＬページＰ１には、「君の動画をみんなで共有しよう」といった文言が表示され、その下に、共有ボタンＢＴ２と、ハッシュタグ「♯ソロダンス」が表示されている。例えば、ユーザＵ１によって共有ボタンＢＴ２が押下された場合、ＳＮＳ装置２００は、映像ＶＩＤ１のデータを端末装置１０に配信する。端末装置１０は、ＳＮＳ装置２００から映像ＶＩＤ１のデータのダウンロードが完了すると、ハッシュタグ「♯ソロダンス」とともに映像ＶＩＤ１をＳＮＳ装置２００に対応するＳＮＳサイトへ投稿する。なお、ＳＮＳ装置２００は、例えば、端末装置１０が映像ＶＩＤ１のデータのダウンロードを完了した場合に、ＤＬページＰ１内において、「保存した動画をコメント付きで投稿してね」といった文言を表示させることで、ＳＮＳサイトへの映像ＶＩＤ１の投稿をユーザＵ１に対して促してもよい。

このような処理により、映像内に映されるユーザは、容姿、身バレ、動画映えを気にせず、例えば、自身がダンスする映像を不特定多数のユーザに公開することができるようになるため、不特定多数のユーザから、例えば、ダンススキルに対する正当な評価や感想をＳＮＳサイトを通して得られるようになる。また、映像内に映されるユーザは、この評価や感想を参考に、ダンススキルを磨く練習につなげることができるようになる。

また、共有制御部２３２は、映像に対してユーザが評価した評価情報に基づいて、各映像に順位付けし、ＳＮＳサイト内において、この順位に基づく映像データを一覧表示してもよい。例えば、共有制御部２３２は、評価情報に基づく所定のカテゴリ内において各映像に順位付けされた順位に基づく映像データを一覧表示してもよい。

上記の通り、情報処理装置１００の前でダンス等の動作を行ったユーザは、例えば、自身のパフォーマンス映像をＳＮＳサイトで公開することができる。そうすると、この映像を閲覧した他ユーザは、各映像に対して「いいね」等の評価行為を行ったり、批評や感想のコメントを投稿するといった評価行為を行う場合がある。したがって、共有制御部２３２は、この評価行為が示す評価情報に基づいて、各映像の評価値を算出する。例えば、共有制御部２３２は、映像毎に、当該映像に付与される「いいね」の数を集計し、集計結果に基づいて、当該映像の評価値を算出する。例えば、共有制御部２３２は、「いいね」の数そのものを評価値として算出してもよいし、「いいね」の数に対して所定の重み付けを行うことにより重み付けした値を評価値として算出してもよい。一例を示すと、共有制御部２３２は、映像毎に、当該映像に付与される「いいね」の数を集計するとともに、当該映像に付与されるネガティブコメント（バッド評価）の数も集計する。そして、共有制御部２３２は、集計した「いいね」の数に対して、ネガティブコメント（バッド評価）の数に応じた重み係数を掛け合せることで、評価値を算出する。

そして、共有制御部２３２は、映像毎に算出した評価値に基づいて、各映像に対して順位付けする。例えば、共有制御部２３２は、評価値が高い映像ほど高い順位を付与する。そして、共有制御部２３２は、例えば、順位が高いトップ１０の映像を抽出し、抽出した映像のデータがランキング情報として一覧表示されるようなコンテンツをＳＮＳサイト内に表示させる。これにより、ＳＮＳサイトを利用するユーザは、どのような映像が人気があるのかを容易に把握できるようになる。また、映像の持ち主、つまり、情報処理装置１００の前でダンス等の動作を行ったユーザは、自身もランキングに入るようスキルを挙げるためのモチベーションにつなげることができるようになる。

〔４．処理手順〕
次に、図１３を用いて、実施形態にかかる情報処理の手順について説明する。図１３は、実施形態にかかる情報処理手順を示すフローチャートである。なお、図１３の例では、領域ＡＲ内に入って人物（ユーザ）が入った場合に、かかるユーザはダンスゲームへ参加したと見做されるものとする。また、出力制御部１３１は、ユーザがダンスゲームへ参加していない間は、所定の背景映像と、所定のＢＧＭとを出力部１１３から出力させているものとする。

このような状態において、情報処理装置１００は、センサ部１１２を制御している。センサ部１１２は、情報処理装置１００の制御に従って、人物および人物の動作を検出する（ステップＳ１０１）。取得部１３２は、センサ部１１２によって検出された人物の動作を示す動作情報をセンサ部１１２から取得する（ステップＳ１０２）。また、編集部１３４は、取得部１３２により取得された動作情報に基づいて、参加人数の増減を常時監視する（ステップＳ１０３）。

また、編集部１３４は、参加人数に対応するシルエット映像を生成する（ステップＳ１０４）。そして、編集部１３４は、出力制御部１３１に対して、シルエット映像を出力させるよう制御する（ステップＳ１０５）。例えば、編集部１３４は、背景映像の前にシルエット映像を重ねて表示させるよう出力制御部１３１を制御する。なお、編集部１３４は、常時行っているステップＳ３の処理によって、参加人数の増減が増えたことを検出すると、その時点でステップＳ１０７の編集処理に移行する。例えば、編集部１３４は、参加人数の増加を検出した場合には、図３で説明した第３の編集処理のように背景映像を編集するとともに、図４で説明した第４の編集処理のようにＢＧＭを編集する。

また、判定部１３３は、シルエット映像が出力されている状態において、ユーザが動作中に所定のポーズをとったか否か判定する判定処理を行う（ステップＳ１０６）。編集部１３４は、ユーザが動作中に所定のポーズをとった判定された場合には（ステップＳ１０６；Ｙｅｓ）、背景映像またはシルエット映像を編集する。例えば、編集部１３４は、図１で説明した第１の編集処理のように背景映像を編集したり、図２で説明した第２の編集処理のようにシルエット映像を編集する。また、編集部１３４は、ユーザがこの所定のポーズをとっている間は、編集した映像を表示させ続ける。一方、判定部１３３は、ユーザが動作中に所定のポーズをとっていないと判定した場合には（ステップＳ１０６；Ｎｏ）、ポージングされるまで待機する。

次に、送信部１３５は、背景映像およびシルエット映像で構成される全体映像のデータをＳＮＳ装置２００に送信する。なお、ユーザの動作や参加人数に応じて編集処理が行われるため、映像のデータには編集処理が加えられたものと、編集処理が加えられなかったものとが存在する。

〔５．変形例〕
上記実施形態にかかる情報処理装置１００は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、情報処理装置１００の他の実施形態について説明する。

〔５－１．情報処理が行われるシチュエーション〕
実施形態にかかる情報処理装置１００による情報処理は、例えば、ゲームセンター等で利用されるダンスゲーム用のダンスマシーンに対して適用されることができる。また、実施形態にかかる情報処理は、例えば、家庭用ゲーム機でのダンスゲームに対して適用されることができる。

また、実施形態にかかる情報処理は、ライブステージでの演者、および、それを観覧する観客の動き対して適用されることができる。例えば、巨大スクリーンの前のライブステージでパフォーマンス中の演者および演者の動作を、センサ部１１２で検出できるようにすれば、実施形態にかかる情報処理装置１００は、巨大スクリーンに対して、この背景映像と、演者のシルエット映像とを表示させることができる。また、情報処理装置１００は、演者のパフォーマンスに応じて、例えば、歌のサビの部分で、背景映像やシルエット映像に特殊効果を付けることができる。これにより、情報処理装置１００は、ライブ会場を盛り上げることができる。

センサ部１１２が観客の動作も検出可能なように設置されているのであれば、情報処理装置１００は、演者と観客とが一体となってスクリーン映像を変えるといった状況を作り出すことができるため、演者と観客との一体感を高めることができる。

〔５－２．情報処理装置について〕
上記実施形態では、情報処理装置１００と、ＳＮＳ装置２００とが別々の装置である例を示した。しかし、情報処理装置１００と、ＳＮＳ装置２００とは一体化されてもよい。例えば、ＳＮＳ装置２００の機能を情報処理装置１００に組み込むことにより、情報処理装置１００を、情報処理装置１００とＳＮＳ装置２００とが一体化された１台の装置として機能させてもよい。

〔６．ハードウェア構成〕
また、上記実施形態にかかる情報処理装置１００およびＳＮＳ装置２００は、例えば図１４に示すような構成のコンピュータ１０００によって実現される。以下、情報処理装置１００を例に挙げて説明する。図１４は、情報処理装置１００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、および、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、通信網５０を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを、通信網５０を介して他の機器へ送信する。

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを、入出力インターフェイス１６００を介して出力装置へ出力する。

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラム又はデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が実施形態にかかる情報処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。また、ＨＤＤ１４００には、記憶部１２０内のデータが格納される。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを、記録媒体１８００から読み取って実行するが、他の例として、他の装置から、通信網５０を介してこれらのプログラムを取得してもよい。

また、例えば、コンピュータ１０００が実施形態にかかるＳＮＳ装置２００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部２３０の機能を実現する。

〔７．その他〕
上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

以上、本願の実施形態をいくつかの図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。

１ 情報処理システム
１０ 端末装置
１００ 情報処理装置
１２０ 記憶部
１２１ 動画情報記憶部
１２２ エフェクト情報記憶部
１３０ 制御部
１３１ 出力制御部
１３２ 取得部
１３３ 判定部
１３４ 編集部
１３５ 送信部
２００ ＳＮＳ装置
２２０ 記憶部
２２１ タグ情報記憶部
２２２ 評価情報記憶部
２３０ 制御部
２３１ 受信部
２３２ 共有制御部

Claims (26)

1. 人物の身体の動作を示す動作情報を取得する取得部と、
   前記取得部により取得された動作情報に基づいて、前記身体が映された映像のうち、前記身体に対する背景の映像を編集する編集部と
   を有し、
   前記編集部は、前記動作情報に基づいて前記人物がポーズをとったと判定された場合には、とられたポーズの難易度に応じて、前記映像を編集する
   ことを特徴とする情報処理装置。
2. 前記編集部は、前記映像のうち、前記動作に対応するシルエットであって前記人物のシルエットを示すシルエット映像を編集する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記編集部は、前記動作情報に基づいて前記動作が所定の条件を満たしたと判定された場合に、前記映像を編集する
   ことを特徴とする請求項１または２に記載の情報処理装置。
4. 前記編集部は、前記動作情報に基づいて前記動作から所定のポーズがとられたと判定された場合に、前記難易度のうち前記所定のポーズに対応する難易度に応じて、前記映像を編集する
   ことを特徴とする請求項３に記載の情報処理装置。
5. 前記編集部は、前記動作が静止された静止時間が所定時間以上となることにより前記所定のポーズがとられたと判定された場合に、前記映像を編集する
   ことを特徴とする請求項４に記載の情報処理装置。
6. 前記編集部は、前記映像の編集として、前記映像にかけられるエフェクトを編集する
   ことを特徴とする請求項１～５のいずれか１つに記載の情報処理装置。
7. 前記編集部は、前記取得部により前記動作情報を取得される前記人物の人数の変化に応じて、前記映像を編集する
   ことを特徴とする請求項１～６のいずれか１つに記載の情報処理装置。
8. 前記編集部は、前記人数が増加するほど前記映像にかけられるエフェクトの効果量を上昇させる
   ことを特徴とする請求項７に記載の情報処理装置。
9. 前記取得部は、前記動作が行われているリアルタイムにおいて、前記動作情報を取得し、
   前記編集部は、前記動作が行われているリアルタイムにおいて、前記映像を編集する
   ことを特徴とする請求項１～８のいずれか１つに記載の情報処理装置。
10. 前記編集部は、前記取得部により取得された動作情報に基づいて、前記映像に対応する楽曲を編集する
    ことを特徴とする請求項１～９のいずれか１つに記載の情報処理装置。
11. 前記編集部は、前記動作情報に基づいて前記動作が所定の条件を満たしたと判定された場合に、前記楽曲を編集する
    ことを特徴とする請求項１０に記載の情報処理装置。
12. 前記編集部は、前記動作情報に基づいて前記動作から所定のポーズがとられたと判定された場合に、前記楽曲を編集する
    ことを特徴とする請求項１１に記載の情報処理装置。
13. 前記編集部は、前記動作が静止された静止時間が所定時間以上となることにより前記所定のポーズがとられたと判定された場合に、前記楽曲を編集する
    ことを特徴とする請求項１２に記載の情報処理装置。
14. 前記編集部は、前記楽曲の編集として、前記楽曲にかけられるエフェクトを編集する
    ことを特徴とする請求項１０～１３のいずれか１つに記載の情報処理装置。
15. 前記編集部は、前記楽曲の編集として、前記楽曲を構成させる楽器の種別を編集する
    ことを特徴とする請求項１０～１４のいずれか１つに記載の情報処理装置。
16. 前記編集部は、前記取得部により前記動作情報を取得される前記人物の人数の変化に応じて、前記楽曲を構成させる楽器の種別を編集する
    ことを特徴とする請求項１５に記載の情報処理装置。
17. 前記編集部は、前記人数が増加するほど前記楽曲を構成させる楽器の種別を増加させる
    ことを特徴とする請求項１６に記載の情報処理装置。
18. 前記編集部により編集が行われた前記映像の映像データを、当該映像データを所定のコンテンツにて共有できるよう制御するサーバ装置に送信する送信部をさらに有する
    ことを特徴とする請求項１～１７のいずれか１つに記載の情報処理装置。
19. 前記送信部は、前記映像データとして、所定のファイル形式に変換された映像データを送信する
    ことを特徴とする請求項１８に記載の情報処理装置。
20. 前記送信部は、前記サーバ装置として、前記映像データをダウンロード可能なコンテンツの所在地を示す所在地情報を前記人物に提示するサーバ装置に前記映像データを送信する
    ことを特徴とする請求項１８または１９に記載の情報処理装置。
21. 前記送信部は、前記サーバ装置として、前記映像データの属性情報に基づいて前記映像データに対してタグ情報を付与するサーバ装置に前記映像データを送信する
    ことを特徴とする請求項１８～２０のいずれか１つに記載の情報処理装置。
22. 前記送信部は、前記属性情報として、前記映像の態様を示す属性情報、前記映像に対応する楽曲の内容を示す属性情報、または、前記映像内にて前記人物により行われている動作を示す属性情報のうちの少なくともいずれか１つの属性情報に基づいて前記映像データに対してタグ情報を付与する前記サーバ装置に前記映像データを送信する
    ことを特徴とする請求項２１に記載の情報処理装置。
23. 前記送信部は、前記サーバ装置として、前記映像に対してユーザが評価した評価情報に基づき順位付けされた順位に応じて、前記映像データを一覧表示するサーバ装置に前記映像データを送信する
    ことを特徴とする請求項１８～２２のいずれか１つに記載の情報処理装置。
24. 前記送信部は、前記評価情報に基づく所定のカテゴリ内において前記映像に順位付けされた順位に応じて、前記映像データを一覧表示する前記サーバ装置に前記映像データを送信する
    ことを特徴とする請求項２３に記載の情報処理装置。
25. 情報処理装置が実行する情報処理方法であって、
    人物の身体の動作を示す動作情報を取得する取得工程と、
    前記取得工程により取得された動作情報に基づいて、前記身体が映された映像のうち、前記身体に対する背景の映像を編集する編集工程と
    を含み、
    前記編集工程は、前記動作情報に基づいて前記人物がポーズをとったと判定された場合には、とられたポーズの難易度に応じて、前記映像を編集する
    を含むことを特徴とする情報処理方法。
26. 人物の身体の動作を示す動作情報を取得する取得手順と、
    前記取得手順により取得された動作情報に基づいて、前記身体が映された映像のうち、前記身体に対する背景の映像を編集する編集手順と
    をコンピュータに実行させ、
    前記編集手順は、前記動作情報に基づいて前記人物がポーズをとったと判定された場合には、とられたポーズの難易度に応じて、前記映像を編集する
    ことを特徴とする情報処理プログラム。

Images