JP4755672B2 - コンテンツ編集装置、方法及びプログラム - Google Patents

Description

本発明は、曲データと仮想空間とを関連付けたコンテンツを編集するためのコンテンツ編集装置、方法及びプログラムに関する。

従来、記憶媒体に記憶された楽曲や映像等のコンテンツを、ユーザがパーソナルコンピュータ（ＰＣ）等で再生することが行われている。また、インターネットの飛躍的な普及に伴い、ウェブページ上で視聴可能になっている楽曲や映像等のコンテンツを、ユーザがＰＣ等で再生することが行われている。そして、ユーザは、複数のコンテンツの再生順を記憶したプレイリストを作成しそれを用いることで、ユーザに、好みのコンテンツを順番に再生することが行われている。そこで、複数のプレイリストから再生するプレイリストの切り替えを自発的に行う再生装置が開示されている（例えば、特許文献１）。
特開２００７−６６３７０号公報

特許文献１に記載の再生装置は、コンテンツのデジタルデータを再生するものであるが、再生の順番を制御するにとどまる。よって、ユーザが繰り返しコンテンツを再生する場合に再生の順序が変わるだけであるので、視覚、聴覚に与える変化に乏しく、ユーザに飽きられやすいものであった。

そこで、本発明は、コンテンツの再生に変化を伴わせるユーザに飽きられにくい編集を、コンテンツに対して行うコンテンツ編集装置、方法及びプログラムを提供することを目的とする。

本発明者は、コンテンツの映像と曲とを関連付けてコンテンツに変化をつける仕組みを見出し、本発明を完成するに至った。本発明は、具体的には次のようなものを提供する。

（１） 曲データと、三次元空間に配置されたオブジェクトと、からなる曲コンテンツを記憶する曲コンテンツ記憶部と、
前記三次元空間の背景として表示される背景画像と、前記背景画像に対応した反響音設定値と、を記憶する背景記憶部と、
前記曲コンテンツの再生要求及び前記背景画像の指定を受け付けたことに応じて、前記曲コンテンツ記憶部から前記曲コンテンツを抽出し、前記背景記憶部から前記背景画像を抽出する要求コンテンツ抽出部と、
前記要求コンテンツ抽出部により抽出した前記曲コンテンツの前記三次元空間の背景を、抽出した前記背景画像を用いて合成して、新たな三次元空間を生成する三次元空間生成部と、
前記曲データを、抽出した前記背景画像に対応する前記反響音設定値に基づき変更する曲データ変更部と、
前記曲データ変更部により変更された前記曲データと、前記三次元空間生成部により生成された前記新たな三次元空間に配置されたオブジェクトとを再生するコンテンツ再生部と、
を備えるコンテンツ編集装置。

本発明のこのような構成によれば、三次元空間に配置されたオブジェクトと曲データとからなる曲コンテンツの背景を、背景画像を用いて合成して、三次元空間を生成して再生するので、曲データに三次元の画像を組み合わせたコンテンツの再生をすることができる。また、曲データを、背景画像に対応する反響音設定値で変更して、コンテンツを再生するので、コンテンツの画像と再生する曲の反響音とが対応付けられて、一体となったコンテンツを提供することができる。よって、背景画像を変更することで、ユーザの視覚や聴覚に変化を与える編集を、コンテンツに対して行うことができる。

（２） 前記曲データの曲のリズムを取得するリズム取得部を備え、
前記コンテンツ再生部は、前記新たな三次元空間に配置されたオブジェクトを前記リズム取得部により取得された前記リズムに同期させて、前記オブジェクトに動作演出をして再生する、
（１）に記載のコンテンツ編集装置。

本発明のこのような構成によれば、曲のリズムを取得して、そのリズムに同期されてオブジェクトを動作演出するので、例えば、オブジェクトであるアバター画像に、リズムに乗っているような演出を与えて、コンテンツを再生することができる。

（３） 前記コンテンツ再生部により再生される前記新たな三次元空間の再生位置を切り替える位置切替部を備え、
前記コンテンツ再生部は、前記位置切替部による切り替えを前記リズム取得部により取得された前記リズムに同期させて、前記新たな三次元空間の再生位置を切り替えて再生する、
（２）に記載のコンテンツ編集装置。

本発明のこのような構成によれば、曲のリズムに同期されてカメラの再生位置を切り替えるので、リズムにあわせて表示されるコンテンツの視点を変化させる再生を行うことができる。

（４） 前記コンテンツ再生部により再生される前記新たな三次元空間に対する光の演出を行う光演出部を備え、
前記コンテンツ再生部は、前記光演出部による光の演出を前記リズム取得部により取得された前記リズムに同期させて、前記新たな三次元空間を再生する、
（２）又は（３）に記載のコンテンツ編集装置。

本発明のこのような構成によれば、曲のリズムに同期されて、ライトの発光を切り替えるので、リズムにあわせて変化する光の演出を行うことで、変化のあるコンテンツの再生を行うことができる。

（５） 前記三次元空間に配置されたオブジェクトに対する操作入力に基づき、前記オブジェクトを演出表示させるオブジェクト演出部を備え、
前記コンテンツ再生部は、前記三次元空間に前記オブジェクト演出部により演出表示されたオブジェクトを配置して再生する、
（１）から（４）のいずれか１項に記載のコンテンツ編集装置。

本発明のこのような構成によれば、オブジェクトに対する操作入力に基づきオブジェクトを演出表示させてコンテンツを再生するので、例えば、オブジェクトであるアバター画像に、動きや音を含めたコンテンツを提供することができ、より臨場感の溢れるコンテンツを提供することができる。

（６） 前記オブジェクトに対応する文字情報を記憶したオブジェクト記憶部を備え、
前記コンテンツ再生部は、前記オブジェクト記憶部に記憶された前記文字情報を、対応する前記オブジェクトに関連付けて前記三次元空間に配置して再生する、
（１）から（５）のいずれか１項に記載のコンテンツ編集装置。

本発明のこのような構成によれば、オブジェクトに、オブジェクトに対する文字情報を関連付けて表示するコンテンツを提供することができる。

（７） 前記オブジェクト記憶部は、前記オブジェクトに対応する文字情報を複数記憶しており、
前記曲データの再生時間と前記文字情報の数とに基づき、前記文字情報を表示する表示時間を算出する表示時間算出部を備え、
前記コンテンツ再生部は、前記オブジェクト記憶部に記憶された前記文字情報を順番に切り替えて、前記表示時間算出部により算出された表示時間に対応する前記オブジェクトに関連付けて前記三次元空間に配置して再生する、
（６）に記載のコンテンツ編集装置。

本発明のこのような構成によれば、オブジェクトに対応する文字情報を複数有する場合に、曲データの再生時間と文字情報の数とに基づき、文字情報の表示時間を計算して、計算された時間内に、文字情報をオブジェクトに関連付けて表示するコンテンツを提供することができる。

（８） 曲データと、三次元空間に配置されたオブジェクトと、からなる曲コンテンツを記憶する曲コンテンツ記憶部と、
前記三次元空間の背景として表示される背景画像と、前記背景画像に対応した反響音設定値と、を記憶する背景記憶部と、
を備えたコンテンツ編集装置が、
前記曲コンテンツの再生要求及び前記背景画像の指定を受け付けたことに応じて、前記曲コンテンツ記憶部から前記曲コンテンツを抽出し、前記背景記憶部から前記背景画像を抽出するステップと、
抽出した前記曲コンテンツの前記三次元空間の背景を、抽出した前記背景画像を用いて合成して、新たな三次元空間を生成するステップと、
前記曲データを、抽出した前記背景画像に対応する前記反響音設定値に基づき変更するステップと、
変更された前記曲データと、生成された前記新たな三次元空間に配置されたオブジェクトとを再生するステップと、
を含むコンテンツ編集方法。

（９） （８）に記載の方法のステップをコンピュータに実行させるためのコンテンツ編集プログラム。

本発明によれば、端末に、曲データに三次元の画像を組み合わせたコンテンツの再生させることができる。また、コンテンツの画像と再生する曲の反響音とが対応付けられて、一体となったコンテンツを提供することができ、背景画像を変更することで、ユーザの視覚や聴覚に変化を与える編集を、コンテンツに対して行うことができる。

以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

［コンテンツ編集システムの全体構成及びコンテンツ編集装置の機能構成］
図１は、本実施形態に係るコンテンツ編集システム１００の全体構成及びコンテンツ編集装置１の機能構成を示す図である。

コンテンツ編集システム１００は、コンテンツ編集装置１と、通信ネットワーク３と、端末５とにより構成される。図１に示すように、インターネット等の通信回線に代表される通信ネットワーク３を介して、コンテンツ編集装置１と、端末５とが通信可能に接続されている。

コンテンツ編集装置１は、例えばサーバであり、ハードウェアの数に制限はなく、必要に応じて１又は複数のハードウェアで構成してよい。また、複数のハードウェアで構成する場合には、通信ネットワーク３を介して各ハードウェアを接続してもよい。例えば、後述する各機能ごとに別サーバ（装置）とし、各サーバ間での信号の送受信により、各サーバを連携させることで、本実施形態の機能を実現してもよい。

コンテンツ編集装置１は、制御部１０と記憶部２０とを備える。制御部１０は、要求コンテンツ抽出部１１と、三次元空間生成部１２と、曲データ変更部１３と、リズム取得部１４と、位置切替部１５と、光演出部１６と、オブジェクト演出部１７と、コンテンツ再生部１８とを備える。また、記憶部２０は、曲コンテンツデータベース（以下、データベースをＤＢともいう）２２と、背景ＤＢ２４と、アバターＤＢ２６と、曲ＤＢ２８とを備える。各ＤＢの内容については後述する。

要求コンテンツ抽出部１１は、端末５で再生する曲コンテンツの再生要求を、背景画像の指定と共に端末５から受信したことに応じて、曲コンテンツＤＢ２２から該当の曲コンテンツを抽出する。また、要求コンテンツ抽出部１１は、背景ＤＢ２４から背景画像を抽出する。ここで、曲コンテンツとは、曲データと、仮想空間（三次元空間）に配置されたアバター画像（オブジェクト）とからなるものをいう。曲データは、１曲でもよいし、プレイリストに関連付けられた複数の曲であってもよい。また、アバター画像は、ユーザを代理するキャラクタの画像であり、端末５のユーザのアバター画像を含めて、複数の画像であってよい。

三次元空間生成部１２は、アバター画像を配置する仮想空間を生成する。仮想空間の背景は、背景ＤＢ２４から抽出された画像により構成する。アバター画像と、背景画像とを合成して、新たな仮想空間（新たな三次元空間）を生成する。曲データ変更部１３は、背景画像に対応して背景ＤＢ２４に記憶された反響音設定値に基づき、曲データを変更する。

リズム取得部１４は、曲データの曲のリズムを取得する。曲のリズムとは、例えば、メトロノーム等により計測できる曲のテンポをいう。位置切替部１５は、端末５に送信され、端末５で表示される仮想空間内での表示位置（再生位置）を、曲のリズムに同期して切り替える。光演出部１６は、仮想空間における光の演出を、曲のリズムに同期して変更する。オブジェクト演出部１７は、端末５による操作に応じて、端末５に表示されたユーザのアバター画像に対して動きの演出を与える。コンテンツ再生部１８は、変更した曲データと、新たな仮想空間に様々な演出を施した、アバター画像を含むコンテンツを、端末５に再生可能に送信することで、コンテンツを受信した端末５で再生する。

端末５は、ユーザが、コンテンツを再生するための操作入力をするためのキーボード、マウス等の入力部や、コンテンツを表示する表示画面を備えた、例えば、パーソナルコンピュータ（ＰＣ）である。端末５を用いて、ユーザは、コンテンツを視聴したり、コンテンツの視聴中に、コンテンツに表示されたユーザ自身のアバター画像に対して動作を入力したりすることができる。

［コンテンツ編集装置１のハードウェア構成図］
図２は、本実施形態に係るコンテンツ編集装置１のハードウェア構成を示す図である。本発明が実施されるサーバは標準的なものでよく、以下に構成の一例を示す。

コンテンツ編集装置１は、制御部１０を構成するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１０（マルチプロセッサ構成ではＣＰＵ１０１２等複数のＣＰＵが追加されてもよい）、バスライン１００５、通信Ｉ／Ｆ（Ｉ／Ｆ：インターフェイス）１０４０、メインメモリ１０５０、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）１０６０、表示装置１０２２、Ｉ／Ｏコントローラ１０７０、キーボード及びマウス等の入力装置１１００、ハードディスク１０７４、光ディスクドライブ１０７６、並びに半導体メモリ１０７８を備える。なお、ハードディスク１０７４、光ディスクドライブ１０７６、及び半導体メモリ１０７８はまとめて記憶部２０と呼ぶ。

制御部１０は、コンテンツ編集装置１を統括的に制御する部分であり、ハードディスク１０７４に記憶された各種プログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、本発明に係る各種機能を実現している。

通信Ｉ／Ｆ１０４０は、コンテンツ編集装置１が、通信ネットワーク３（図１）を介して端末５（図１）と情報を送受信する場合のネットワーク・アダプタである。通信Ｉ／Ｆ１０４０は、モデム、ケーブル・モデム及びイーサネット（登録商標）・アダプタを含んでよい。

ＢＩＯＳ１０６０は、コンテンツ編集装置１の起動時にＣＰＵ１０１０が実行するブートプログラムや、コンテンツ編集装置１のハードウェアに依存するプログラム等を記録する。

表示装置１０２２は、ブラウン管表示装置（ＣＲＴ）、液晶表示装置（ＬＣＤ）等のディスプレイ装置を含む。

Ｉ／Ｏコントローラ１０７０には、ハードディスク１０７４、光ディスクドライブ１０７６、及び半導体メモリ１０７８等の記憶装置である記憶部２０を接続することができる。

入力装置１１００は、コンテンツ編集装置１の管理者による入力の受け付けを行うものである。

ハードディスク１０７４は、本ハードウェアをコンテンツ編集装置１として機能させるための各種プログラム、本発明の機能を実行するプログラム及び後述するＤＢのテーブル及びレコードを記憶する。なお、コンテンツ編集装置１は、外部に別途設けたハードディスク（図示せず）を外部記憶装置として利用することもできる。

光ディスクドライブ１０７６としては、例えば、ＤＶＤ−ＲＯＭドライブ、ＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＡＭドライブ、ＣＤ−ＲＡＭドライブを使用することができる。この場合は各ドライブに対応した光ディスク１０７７を使用する。光ディスク１０７７から光ディスクドライブ１０７６によりプログラム又はデータを読み取り、Ｉ／Ｏコントローラ１０７０を介してメインメモリ１０５０又はハードディスク１０７４に提供することもできる。

なお、本発明でいうコンピュータとは、記憶装置、制御部等を備えた情報処理装置をいい、コンテンツ編集装置１は、記憶部２０、制御部１０等を備えた情報処理装置により構成され、この情報処理装置は、本発明のコンピュータの概念に含まれる。

［端末５のハードウェア構成］
端末５も、上述のコンテンツ編集装置１と同様な構成を持つ。また、上述の例ではいわゆるコンピュータで実現した例について説明したが、さらに、本発明の原理が適用可能である限り、携帯電話、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄａｔａ Ａｓｓｉｓｔａｎｔ）等の様々な端末で実現してよい。

［仮想空間例］
図３及び図４は、本実施形態に係る端末５の表示画面に表示する仮想空間を説明する図である。

図３（ａ）は、複数のアバター画像から構成されたデータである。コンテンツの作成者のアバター画像であるアバター３４と、コンテンツを過去に視聴したユーザのアバター画像であるアバター３５と、コンテンツを現在視聴しているユーザ自身のアバター画像であるアバター３６とが、仮想空間に配置されている。アバター３４は、曲にあわせて歌っている動画であり、アバター３５及びアバター３６は、曲を聴く視聴者の動画である。他方、図３（ｂ）は、背景ＤＢ２４に記憶された背景画像の一例であって、屋内のライブハウスの背景画像３３である。

図３（ｃ）は、図３（ａ）と図３（ｂ）との画像を合成した新たな仮想空間３０を示す。アバター３４からアバター３６の複数のアバター画像からなる図３（ａ）と、背景画像３３からなる図３（ｂ）とを合成することで、あたかも、複数のアバター画像が、背景画像３３が示すライブハウスに集っているかのように、ユーザに見せることができる。この例の場合、仮想空間３０において、ライブハウスの背景画像３３のステージ上に、アバター３４が立って歌を歌っており、他の観客としてアバター３５及びアバター３６が視聴している。ユーザは、自身がライブハウスにトリップしたような感覚を持つことができる。

また、仮想空間３０には、複数台（この例では、３台）のカメラ３１（カメラ３１Ａ〜３１Ｃ）と、複数台（この例では、１４台）のライト３２（ライト３２Ａ〜３２Ｄ）が配置されている。そして、カメラ３１により撮影された仮想空間３０の画像を、端末５の表示画面に表示する画像として、制御部１０は、端末５に送信する。また、ライト３２は、ステージの上方からアバター３４に向けて下向き（Ｚ方向）に光を出力するものや、ステージの左右方向（Ｘ方向）からアバター３４に向けて光を出力する。

図４は、図３（ａ）に示したアバター３４からアバター３６の複数のアバター画像を、図３（ｂ）とは異なる背景画像３９に合成した新たな仮想空間３０を示す。図３（ｃ）と同様に、コンテンツの作成者のアバター３４と、コンテンツを過去に視聴したユーザのアバター３５と、コンテンツを現在視聴しているユーザ自身のアバター３６とが、仮想空間３０に配置されている。背景画像３９は、背景ＤＢ２４に記憶された背景画像の一例であって、野外ステージの背景を示す。

このように、同一のアバター画像を表示するものであっても、背景画像を異なるものに変更するだけで、様々な場所でライブをしている感じを演出できるので、ユーザは、より飽きずにコンテンツを楽しむ環境を提供できる。

［曲コンテンツＤＢ２２及び背景ＤＢ２４］
図５は、本実施形態に係る記憶部２０に格納される曲コンテンツＤＢ２２及び背景ＤＢ２４を示す図である。

図５（ａ）は、曲コンテンツＤＢ２２の一例を示す。曲コンテンツＤＢ２２は、コンテンツＩＤに、曲コンテンツを構成する曲を特定する曲ＩＤ及び曲ＩＤに対応する曲の際に表示するアバターＩＤを対応付けるデータベースである。

曲コンテンツＤＢ２２は、コンテンツＩＤ２２ａと、曲ＩＤ２２ｂと、アバターＩＤ２２ｃとを有する。コンテンツＩＤ２２ａには、上述のとおり、コンテンツを一意に示す記号が格納される。この記号は、ユーザにより作成されたコンテンツを、ユーザが曲コンテンツＤＢ２２に格納する際に、制御部１０が適宜付与してもよい。また、曲ＩＤ２２ｂには、曲を一意に示す記号が格納される。１つのコンテンツＩＤに対して、複数の曲ＩＤが関連付けられてプレイリストを構成してもよい。アバターＩＤ２２ｃには、アバター画像を特定する記号が格納される。端末５により曲コンテンツが再生されると、再生された曲の曲ＩＤに対応したアバターＩＤ２２ｃに、端末５のユーザのアバターＩＤが追加して記憶される。

図５（ｂ）は、背景ＤＢ２４の一例を示す。背景ＤＢ２４は、背景ＩＤをキー情報として、その背景画像のデータと、反響音に関する値とを対応付けるデータベースである。

背景ＤＢ２４は、背景ＩＤ２４ａと、背景名２４ｂと、背景画像２４ｃと、反響音設定値２４ｄとを有する。背景ＩＤ２４ａには、背景画像を一意に示す記号が格納される。背景名２４ｂには、背景を示す名称が格納される。背景画像２４ｃには、実際に仮想空間を形成する背景画像のデータが格納される。例えば、図３（ｂ）の背景画像３３や、図４の背景画像３９の背景画像データが格納される。反響音設定値２４ｄには、背景画像に対応する反響音に関する値が格納される。反響音とは、音が物体に到達することにより物体の素材等に反射される音を数値化したものをいう。ここでは、背景画像が示す画像に対して、曲データに反響の変化をつける基準としての反響音設定値を用いる。例えば、屋内と野外であれば、屋内の方が音が反射しやすいので、反響音の設定値が大きくなる。この反射音設定値は、予め背景画像に対応する値が格納されており、０以上１以下の値である。

［メイン処理のフローチャート］
図６は、本実施形態に係るコンテンツ編集装置１のメイン処理のフローチャートである。図７は、本実施形態に係る端末５で表示される画面例を示す図である。

図６のＳ１：制御部１０は、端末５から曲コンテンツの再生要求を、背景画像の指定と共に受信する。

ここで、図７（ａ）は、端末５において、曲コンテンツと背景画像とを指定する際の画面例である。端末５の表示画面４０には、複数の曲コンテンツが選択可能に表示されている。この例では、曲コンテンツの一部の画像であるイメージ画像４１，４２が表示されている。また、イメージ画像４１，４２の下方には、それぞれコンテンツの背景画像を示す背景名と、その右方にユーザが選択するためのボタンとが複数個示されている。

図６に戻ってＳ２：要求コンテンツ抽出部１１は、曲コンテンツ要求のあった曲コンテンツＤＢ２２の中の曲コンテンツを抽出する。

Ｓ３：要求コンテンツ抽出部１１は、Ｓ１で受信した指定された背景画像を背景ＤＢ２４から抽出する。

Ｓ４：三次元空間生成部１２は、Ｓ２で抽出した曲コンテンツと、Ｓ３で抽出した背景画像とを合成して、仮想空間３０を生成する。仮想空間３０を生成する際に、端末５のユーザのアバター３６も含めて曲コンテンツと背景画像とを合成してもよい。なお、合成した曲コンテンツは、元の曲コンテンツのデータに上書きしてもよい。

ここで、図７（ｂ）及び図７（ｃ）は、Ｓ４にて生成された仮想空間３０が端末５の表示画面４０に表示された例を示す。図７（ｂ）は、上述の図３（ｃ）で説明したライブハウスの背景画像３３とアバター３４からアバター３６とを合成した仮想空間３０を、図３（ｃ）で示すカメラ３１Ａで撮影した、ライブ画像４５を表示している。この図７（ｂ）は、図７（ａ）でユーザによりボタン４３が選択された場合に表示される。他方、図７（ｃ）は、上述の図４で説明した野外ステージの背景画像３９とアバター３４からアバター３６とを合成した仮想空間３０を、図４で示すカメラ３１Ａで撮影した、ライブ画像４６を表示している。この図７（ｃ）は、図７（ａ）でユーザによりボタン４４が選択された場合に表示される。

図６に戻ってＳ５：制御部１０は、Ｓ３で抽出した背景画像に対応した反響音設定値を、背景ＤＢ２４から抽出する。

Ｓ６：曲データ変更部１３は、Ｓ５で抽出した反響音設定値に基づいて、曲コンテンツ内の曲データを変更する。つまり、反響音設定値が大きいほど、変更された曲データは、反響の度合いが高いものになる。

Ｓ７：制御部１０は、後述で説明するＢＰＭ処理を行う。

Ｓ８：コンテンツ再生部１８は、編集した曲コンテンツ再生可能に端末５に送信する。

Ｓ９：制御部１０は、端末５からアバター画像に対する操作要求を受け付けたか否かを判断する。アバター画像に対する操作要求を受け付けた場合（Ｓ９：ＹＥＳ）には、制御部１０は、処理をＳ１０に移す。他方、アバター画像に対する操作要求を受け付けていない場合（Ｓ９：ＮＯ）には、制御部１０は、処理をＳ１１に移す。

Ｓ１０：オブジェクト演出部１７は、アバター画像に対して演出処理を行う。アバター画像に対する演出処理は、後述する図１２及び図１３で説明する。

Ｓ１１：制御部１０は、曲コンテンツの再生が終了したか否かを判断する。曲コンテンツの再生が終了した場合（Ｓ１１：ＹＥＳ）には、制御部１０は、本処理を終了する。他方、曲コンテンツの再生が終了していない場合（Ｓ１１：ＮＯ）には、制御部１０は、処理をＳ７に移す。

［反響音の設定］
図８は、本実施形態に係る背景画像に対応する反響音設定値を説明するための図である。

図８では、Ｘ軸に時間を、Ｙ軸に反響音に関する値を示しており、上述の図５（ｂ）で示す反響音設定値は、各々背景ＩＤに対応して図８に示すグラフとして表示できる。例えば、図３（ｂ）の背景ＩＤ２４ａがＩＮ０２に対応する反響音設定値２４ｄが「０．９８７」であるので、図３（ｂ）に示す背景画像の中で、反響する度合いが最も高い。また、図３（ｂ）に例示された３つの背景ＩＤに関する反響音設定値は、ＯＵＴ０１が反響する度合いが最も低い。そして、反響は、時間の経過と共に度合いが低くなり、ついには反響しなくなる。

ここで、図７を例に具体的に説明すると、図７（ｂ）は、屋内のライブハウスでのコンテンツを示し、図７（ｃ）は、野外ステージでのコンテンツを示すが、一般に、屋内の方が野外より反響しやすい。図７（ｂ）の音イメージ４７及び図７（ｃ）の音イメージ４８は、反響音の度合いを音符の後に記載した波線で表している。この図７で示したように、反響音は、屋内の背景画像（図７（ｂ））の方が高く設定されており、より大きく反響している。

［ＢＰＭ処理のフローチャート］
図９は、本実施形態に係るコンテンツ編集装置１でのＢＰＭ処理のフローチャートである。ＢＰＭ（Ｂｅａｔ Ｐａｒ Ｍｉｎｕｔｅ）とは、１分間での曲の拍（ビート）数を示す楽曲のビートのスピードをいう。ＢＰＭ処理では、この曲のビートにあわせた処理を行う。

Ｓ２１：リズム取得部１４は、曲データから曲のビート（リズム）を取得する。

Ｓ２２：制御部１０は、取得した曲のビートに同期して、アバター画像の動きを加える。

Ｓ２３：制御部１０は、取得した曲のビートに同期して、カメラ３１Ａ〜３１Ｃの位置を切り替える。

Ｓ２４：制御部１０は、取得した曲のビートに同期して、ライト３２Ａ〜３２Ｄを点滅させる。その後、本処理を終了し、図６に戻る。

［コンテンツ再生例］
図１０は、本実施形態に係るリズムに同期してコンテンツが再生された例を示す図である。

図１０（ａ）から図１０（ｃ）は、リズムに同期させてカメラを切り替えて、コンテンツを端末５の表示画面４０に表示している。図１０（ａ）は、図３（ｃ）のカメラ３１Ａから撮影したものであり、図１０（ｂ）は、図３（ｃ）のカメラ３１Ｃから、図１０（ｃ）は、図３（ｃ）のカメラ３１Ｂから、それぞれ撮影したものである。また、ライト３２Ａから３２Ｄに関しても同様にリズムに同期させてライトごとにＯＮ／ＯＦＦを切り替えている。表示画面４０に表示されたステータスバー５１の再生位置表示部５２より、図１０（ａ）から図１０（ｃ）の場面は、少しずつ時間が経過しているのが分かる。

このように、曲のリズムに同期させて、カメラを切り替えた画像を表示することで、変化のあるコンテンツを提供できる。

［アバターＤＢ２６及び曲ＤＢ２８］
図１１は、本実施形態に係る記憶部２０に格納されるアバターＤＢ２６及び曲ＤＢ２８を示す図である。

図１１（ａ）は、アバターＤＢ２６の一例を示す。アバターＤＢ２６は、アバターＩＤ、コンテンツＩＤ及び曲ＩＤとをキー情報に、アバターに関する情報と、コンテンツに対応するアバターの属性とを対応付けるデータベースである。

アバターＤＢ２６は、アバターＩＤ２６ａと、アバターデータ２６ｂと、コンテンツＩＤ２６ｃと、曲ＩＤ２６ｄと、位置２６ｅと、文字情報２６ｆとを有する。アバターＩＤ２６ａには、アバターにより特定されるユーザを一意に示す記号が格納される。アバターデータ２６ｂには、ユーザを代理するキャラクタであるアバターの画像データを格納する。コンテンツＩＤ２６ｃには、コンテンツを一意に示す記号が、曲ＩＤ２６ｄには、曲を一意に示す記号が、それぞれ格納される。位置２６ｅには、座標で示したアバター画像の位置情報が格納される。文字情報２６ｆには、予め曲コンテンツを視聴しているユーザにより端末５から入力された、ユーザの感想やかけ声等の文字情報が格納される。

図１１（ｂ）は、曲ＤＢ２８の一例を示す。曲ＤＢ２８は、曲ＩＤをキー情報に、曲に関する情報を対応付けるデータベースである。

曲ＤＢ２８は、曲ＩＤ２８ａと、曲データ２８ｂと、曲の長さ２８ｃとを有する。曲ＩＤ２８ａは、曲を一意に示す記号が格納される。曲データ２８ｂには、曲のデータそのものを格納する。曲の長さ２８ｃには、曲データの再生時間を格納する。

［コンテンツ再生時の画面例］
図１２及び図１３は、本実施形態に係る端末５の表示画面４０に表示されるコンテンツ再生時の画面例を示す図である。

端末５の表示画面４０には、コンテンツを再生するためのコンテンツプレーヤ５０が表示されている。コンテンツプレーヤ５０は、端末５に記憶される情報受信のためのソフトウェアを制御部１０が起動することで表示され、端末５の表示画面４０にコンテンツを表示する。コンテンツプレーヤ５０は、再生するコンテンツのコンテンツ名を左上方に表示するコンテンツ名表示部５３を有する。この例では、コンテンツＩＤを表示しているが、曲コンテンツＤＢ２２にコンテンツ名を記憶しておき、表示してもよい。

コンテンツプレーヤ５０の中央部には、コンテンツ表示部５５を有し、再生中のコンテンツの内容を表示する。この例では、仮想空間でライブが行われている様子が示されている。アバター６５を除く複数のアバター画像が、観客として表示されているが、観客のアバター画像は、当該曲コンテンツを過去に視聴したユーザのアバター画像と、現在視聴中のユーザ自身のアバター画像である。アバター６１からアバター６３には、かけ声や感想等が吹き出しとして表示されている。この吹き出しの中の文字は、上述の図１１で説明したアバターＤＢ２６の文字情報２６ｆに記憶された文字である。複数の文字情報がある場合には、コンテンツ編集装置１の制御部１０（表示時間算出部）は、曲ＤＢ２８の曲の長さ２８ｃに記憶された再生時間を文字情報２６ｆに記憶された文字情報の数で除算して、全ての文字情報が曲の再生中に表示されるようになっている。例えば、図１１に示すように、曲ＤＢ２８の曲の長さ２８ｃが「４０」秒である曲ＩＤ２８ａが「Ａ０１」の曲は、アバターＤＢ２６のアバターＩＤ２６ａが「ＡＡＡ」のアバターの場合には、文字情報２６ｆにより４つある。よって、これら４つの文字情報を１０秒ずつ表示することで、コンテンツを変化させていくことができる。

また、アバター６４は、図１２の表示画面４０を表示させているユーザであるユーザＩＤ５４が「ＸＸＸ」のユーザ自身のアバター画像である。ユーザ自身のアバター画像であるアバター６４に対する操作は、モッシュパーツにより行うことができる。コンテンツプレーヤ５０は、モッシュ選択部５７をステータスバー５１の下方中央部分に有する。モッシュ選択部５７には、モッシュパーツ５７ａ，５７ｂ，５７ｃの３つの操作ボタンが表示されている。モッシュパーツ５７ａ，５７ｂ，５７ｃは、ユーザのアバター画像に動きや音声を入れるために予め用意されたパーツ（部品）である。端末５の表示画面４０に再生されるコンテンツにあわせて、ユーザがモッシュパーツ５７ａ，５７ｂ，５７ｃを適宜選択（操作）することで、コンテンツ表示部５５に表示されたユーザのアバター６４が、モッシュパーツ５７ａ，５７ｂ，５７ｃに応じた演出をする。この図１２で、ユーザが矢印５８をモッシュパーツ５７ａに移動させて選択した後の画面を図１３に示す。図１３では、アバター６４が手を挙げてバンザイをした格好になっている。このように、モッシュ選択部５７のパーツを選択することで、表示画面４０のコンテンツ表示部５５に表示されたユーザのアバター画像が、モッシュパーツ５７ａ，５７ｂ，５７ｃに応じた演出をするので、アバター画像に、動きや音を含めた、より臨場感の溢れるコンテンツを提供することができる。

コンテンツプレーヤ５０は、コンテンツの状況を表示するステータスバー５１をコンテンツ表示部５５の下方に有し、ステータスバー５１の左方には、現在の再生位置を示す再生位置表示部５２が表示されている。また、コンテンツプレーヤ５０は、時間表示部５６をステータスバー５１の下方右部分に有する。時間表示部５６は、コンテンツ全体の再生時間と、現在の再生時間とを表示しており、この全体の時間の中の再生時間は、ステータスバー５１における再生位置表示部５２が示す場所に対応付けられている。

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

（変形形態）
本実施形態では、仮想空間上のコンサートを例に説明したが、演劇に関するものやユーザが参加して作り上げるコンテンツであってもよい。また、ユーザが参加したことを演出するため、ユーザのアバター画像を表示したが、ユーザを特定するマスコット等のキャラクタであってもよい。また、図１２に示すモッシュパーツは一例にすぎない。

本実施形態では、複数の位置に表示されたカメラを曲のリズムに同期させて切り替えるものであったが、１つのカメラでズームして画像を拡大させたり、戻したりするように切り替えるものであってもよいし、これらの組み合わせであってもよい。

本実施形態では、コンテンツとして表示される文字情報は、予め記憶されているものであったが、例えば、コンテンツプレーヤに文字入力欄を設けて、都度入力できるようにしてもよい。

本実施形態に係るコンテンツ編集システムの全体構成及びコンテンツ編集装置の機能構成を示す図である。 本実施形態に係るコンテンツ編集装置のハードウェア構成を示す図である。 本実施形態に係る端末の表示画面に表示する仮想空間を説明する図である。 本実施形態に係る端末の表示画面に表示する曲コンテンツの元データを説明する図である。 本実施形態に係る記憶部に格納される曲コンテンツＤＢ及び背景ＤＢを示す図である。 本実施形態に係るコンテンツ編集装置のメイン処理のフローチャートである。 本実施形態に係る端末で表示される画面例を示す図である。 本実施形態に係る背景画像に対応する反響音設定値を説明するための図である。 本実施形態に係るコンテンツ編集装置でのＢＰＭ処理のフローチャートである。 本実施形態に係るリズムに同期してコンテンツが再生された例を示す図である。 本実施形態に係る記憶部に格納されるアバターＤＢ及び曲ＤＢを示す図である。 本実施形態に係る端末の表示画面に表示されるコンテンツ再生時の画面例を示す図である。 本実施形態に係る端末の表示画面に表示されるコンテンツ再生時の画面例を示す図である。

符号の説明

１ コンテンツ編集装置
５ 端末
１０ 制御部
１１ 要求コンテンツ抽出部
１２ 三次元空間生成部
１３ 曲データ変更部
１４ リズム取得部
１５ 位置切替部
１６ 光演出部
１７ オブジェクト演出部
１８ コンテンツ再生部
２０ 記憶部
２２ 曲コンテンツＤＢ
２４ 背景ＤＢ
２６ アバターＤＢ
２８ 曲ＤＢ
１００ コンテンツ編集システム

Claims (9)

1. 曲データと、三次元空間に配置されたオブジェクトと、からなる曲コンテンツを記憶する曲コンテンツ記憶部と、
   前記三次元空間の背景として表示される背景画像と、前記背景画像に対応した反響音設定値と、を記憶する背景記憶部と、
   前記曲コンテンツの再生要求及び前記背景画像の指定を受け付けたことに応じて、前記曲コンテンツ記憶部から前記曲コンテンツを抽出し、前記背景記憶部から前記背景画像を抽出する要求コンテンツ抽出部と、
   前記要求コンテンツ抽出部により抽出した前記曲コンテンツの前記三次元空間の背景を、抽出した前記背景画像を用いて合成して、新たな三次元空間を生成する三次元空間生成部と、
   前記曲データを、抽出した前記背景画像に対応する前記反響音設定値に基づき変更する曲データ変更部と、
   前記曲データ変更部により変更された前記曲データと、前記三次元空間生成部により生成された前記新たな三次元空間に配置されたオブジェクトとを再生するコンテンツ再生部と、
   を備えるコンテンツ編集装置。
2. 前記曲データの曲のリズムを取得するリズム取得部を備え、
   前記コンテンツ再生部は、前記新たな三次元空間に配置されたオブジェクトを前記リズム取得部により取得された前記リズムに同期させて、前記オブジェクトに動作演出をして再生する、
   請求項１に記載のコンテンツ編集装置。
3. 前記コンテンツ再生部により再生される前記新たな三次元空間の再生位置を切り替える位置切替部を備え、
   前記コンテンツ再生部は、前記位置切替部による切り替えを前記リズム取得部により取得された前記リズムに同期させて、前記新たな三次元空間の再生位置を切り替えて再生する、
   請求項２に記載のコンテンツ編集装置。
4. 前記コンテンツ再生部により再生される前記新たな三次元空間に対する光の演出を行う光演出部を備え、
   前記コンテンツ再生部は、前記光演出部による光の演出を前記リズム取得部により取得された前記リズムに同期させて、前記新たな三次元空間を再生する、
   請求項２又は３に記載のコンテンツ編集装置。
5. 前記三次元空間に配置されたオブジェクトに対する操作入力に基づき、前記オブジェクトを演出表示させるオブジェクト演出部を備え、
   前記コンテンツ再生部は、前記三次元空間に前記オブジェクト演出部により演出表示されたオブジェクトを配置して再生する、
   請求項１から請求項４のいずれか１項に記載のコンテンツ編集装置。
6. 前記オブジェクトに対応する文字情報を記憶したオブジェクト記憶部を備え、
   前記コンテンツ再生部は、前記オブジェクト記憶部に記憶された前記文字情報を、対応する前記オブジェクトに関連付けて前記三次元空間に配置して再生する、
   請求項１から請求項５のいずれか１項に記載のコンテンツ編集装置。
7. 前記オブジェクト記憶部は、前記オブジェクトに対応する文字情報を複数記憶しており、
   前記曲データの再生時間と前記文字情報の数とに基づき、前記文字情報を表示する表示時間を算出する表示時間算出部を備え、
   前記コンテンツ再生部は、前記オブジェクト記憶部に記憶された前記文字情報を順番に切り替えて、前記表示時間算出部により算出された表示時間に対応する前記オブジェクトに関連付けて前記三次元空間に配置して再生する、
   請求項６に記載のコンテンツ編集装置。
8. 曲データと、三次元空間に配置されたオブジェクトと、からなる曲コンテンツを記憶する曲コンテンツ記憶部と、
   前記三次元空間の背景として表示される背景画像と、前記背景画像に対応した反響音設定値と、を記憶する背景記憶部と、
   を備えたコンテンツ編集装置が、
   前記曲コンテンツの再生要求及び前記背景画像の指定を受け付けたことに応じて、前記曲コンテンツ記憶部から前記曲コンテンツを抽出し、前記背景記憶部から前記背景画像を抽出するステップと、
   抽出した前記曲コンテンツの前記三次元空間の背景を、抽出した前記背景画像を用いて合成して、新たな三次元空間を生成するステップと、
   前記曲データを、抽出した前記背景画像に対応する前記反響音設定値に基づき変更するステップと、
   変更された前記曲データと、生成された前記新たな三次元空間に配置されたオブジェクトとを再生するステップと、
   を含むコンテンツ編集方法。
9. 請求項８に記載の方法のステップをコンピュータに実行させるためのコンテンツ編集プログラム。

Images