JP2017134259A - データ構造及びデータ生成方法 - Google Patents

Abstract

【課題】マルチパートの楽曲を生成するのに好適な仕組みを提供する。
【解決手段】互いに同期して再生されるパート単位のオーディオデータを複数含む楽曲データ（ソングデータ、パズルデータ）のデータ構造において、各々のオーディオデータには、当該オーディオデータの属性を表すオーディオ属性データが対応付けられており、楽曲データ（ソングデータ、パズルデータ）には、当該楽曲データの属性を表す楽曲属性データが対応付けられている。従って、ソングデータを検索するときや入替対象とするオーディオデータを検索するときに、そのオーディオ属性データ及び楽曲属性データを利用することが可能となり、ユーザの好みに適合する楽曲を自由に生成することに役立つ。
【選択図】図４（Ａ）

Description

本発明は、複数のオーディオデータを含む楽曲データを生成する技術に関する。

特許文献１には、ビデオデータとオーディオデータとからなる演奏コンテンツデータをボーカル、キーボード、ベース、ドラムスなどのパート単位で組み合わせることで、マルチパートの楽曲データを生成する仕組みが開示されている。各々の演奏コンテンツデータは、サムネイル画像、エフェクタデータ、評価、ユーザコメント及びタグ等を含む属性データを保持しており、これらは、ユーザがソーシャルネットワーク活動を利用したりユーザが演奏コンテンツデータを検索したりために用いられる。

特開２０１５−３１８８５号公報

特許文献１に記載の仕組みによれば、楽曲を構成する要素である演奏コンテンツデータ単位で属性データが用意されているが、それだけでは、ユーザの好みに適合する楽曲を自由に生成するのに十分とは言えない。
そこで、本発明の目的は、マルチパートの楽曲を生成するのに好適な仕組みを提供することにある。

上記課題を解決するため、本発明は、互いに同期して再生されるパート単位のオーディオデータを複数含む楽曲データのデータ構造であって、各々の前記オーディオデータには、当該オーディオデータの属性を表すオーディオ属性データが対応付けられており、前記楽曲データには、当該楽曲データの属性を表す楽曲属性データが対応付けられていることを特徴とするデータ構造を提供する。

前記楽曲データに含まれる各々の前記オーディオデータ及び当該オーディオデータの属性を表すオーディオ属性データは、異なるオーディオデータ及び当該オーディオデータの属性を表すオーディオ属性データに書き換え可能となっていてもよい。

前記楽曲データに含まれる前記オーディオデータ及び当該オーディオデータの属性を表すオーディオ属性データが書き換えられた場合に、書き換え後の前記オーディオ属性データに応じて、当該楽曲データの属性を表す楽曲属性データが書き換えられていてもよい。

また、本発明は、互いに同期して再生されるパート単位のオーディオデータを複数含む楽曲データを生成するデータ生成方法であって、各々の前記オーディオデータに当該オーディオデータの属性を表すオーディオ属性データを対応付けるとともに、前記楽曲データに当該楽曲データの属性を表す楽曲属性データを対応付けて、当該楽曲データを生成するデータ生成方法を提供する。

本発明によれば、マルチパートの楽曲を生成するのに好適な仕組みを提供することが可能となる。

本発明の一実施形態に係るシステム全体の構成を示すブロック図である。 サーバ装置及びクライアント装置のハードウェア構成を示すブロック図である。 サーバ装置の機能構成を示すブロック図である。 ソングデータのデータ構造を示す図である。 パズルデータのデータ構造を示す図である。 サーバ装置の動作を示すフローチャートである。 サーバ装置の動作を示すフローチャートである。 サーバ装置の動作を示すフローチャートである。

［構成］
図１は、本実施形態に係る楽曲データ生成システムの全体構成を示すブロック図である。この楽曲データ生成システムは、クライアント装置１と、サーバ装置２と、これらを通信可能に接続するネットワーク３とを備えている。クライアント装置１及びサーバ装置２は互いに通信可能なコンピュータである。クライアント装置１は例えばスマートホン、タブレット又はパーソナルコンピュータなどであり、ユーザによって操作される。このクライアント装置１は１つであってもよいし、複数であってもよい。ネットワーク３は、例えば移動体通信網やインターネットであり、有線区間又は無線区間を含んでいる。サーバ装置２は、楽曲（音楽作品）を示す楽曲データを蓄積している。クライアント装置１は、楽曲データを生成してネットワーク３経由でサーバ装置２にアップロードして登録したり、サーバ装置２からネットワーク３経由で楽曲データをダウンロードして再生する。

本実施形態において、１つの楽曲データは、互いに同期して再生されるパート単位のオーディオデータを複数含む。ここでいうパートとは、例えばボーカル、キーボード、ギター、ベース、ドラムスなどの演奏手段のことを言う。本実施形態に係る楽曲データには、ソングデータとパズルデータという２種類がある。ソングデータとは、サーバ装置２に最初に登録されたときの、１つの楽曲を構成するオーディオデータの集合である。これに対し、パズルデータとは、ソングデータにおいて少なくとも１つのオーディオデータが最初の登録時から入れ替えられたものである。つまり、本実施形態においては、ソングデータに含まれるオーディオデータを、あたかもパズルを組み替えるかのように、他のオーディオデータに変更することができる。例えばユーザ自らが或る楽曲名の楽曲について演奏したギターのオーディオデータを、そのユーザよりもギターが上手な他のユーザが同じ楽曲名の楽曲について演奏したギターのオーディオデータに入れ替えるといった具合に、オーディオデータを入れ替えられる。これにより、ユーザの誰でもが簡単に好みのオーディオデータを組み合わせて楽曲を作成することが可能となる。

図２は、クライアント装置１及びサーバ装置２のハードウェア構成を示すブロック図である。クライアント装置１は、制御部１１と、通信部１２と、記憶部１３と、ＵＩ（User Interface）部１４と、入出力Ｉ／Ｆ１５とを少なくとも備えている。制御部１１は、演算処理装置としてのＣＰＵ（Central Processing Unit）と、メモリとしてのＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）とを含む。ＣＰＵは、ＲＯＭ又は記憶部１３に記憶されたプログラムを、ＲＡＭに読み出して実行することにより、クライアント装置１の各部を制御する。通信部１２は、例えば通信Ｉ／Ｏや通信回路などを含み、ネットワーク３を介してサーバ装置２と通信を行う。記憶部１３は、例えばフラッシュメモリやハードディスク等の記憶装置であり、制御部１１により実行されるプログラム（例えば本実施形態に係る楽曲データ生成用のソフトウェア）などを記憶している。ＵＩ部１４は、例えば画像を表示する液晶ディスプレイなどの表示部と、ユーザの操作を受け付けるためのキーやタッチスクリーンなどの操作部とを備えている。入出力Ｉ／Ｆ１５は、外部装置とデータを遣り取りする手段であり、例えば外部装置としての録音機器から入力される音声オーディオデータが入力される。

サーバ装置２は、制御部２０１と、記憶部２０２と、通信部２０３とを少なくとも備えている。制御部２０１は、演算処理装置としてのＣＰＵと、メモリとしてのＲＯＭ及びＲＡＭとを含む。ＣＰＵは、ＲＯＭ又は記憶部２０２に記憶されたプログラムを、ＲＡＭに読み出して実行することにより、サーバ装置２の各部を制御する。記憶部２０２は、例えばハードディスク等の大容量の記憶装置であり、制御部２０１により実行されるプログラムのほか、クライアント装置１からネットワーク３を介して取得したデータを記憶している。通信部２０３は、例えば通信Ｉ／Ｏや通信回路などを含み、ネットワーク３を介してクライアント装置１と通信を行う。

図３は、サーバ装置２の機能構成を示すブロック図である。受信部２１は、前述したソングデータ等をクライアント装置１から受信する手段である。ソングデータには、前述したように各パートのオーディオデータ（第１オーディオデータ）が含まれている。記憶部２２は、受信部２１によって受信されたソングデータ等を記憶する。生成部２３は、ソングデータに含まれるオーディオデータ（第１オーディオデータ）に基づいて、当該オーディオデータ（第１オーディオデータ）よりもデータサイズの小さいオーディオデータ（第２オーディオデータ）をパート毎に生成する手段である。例えば、生成部２３は、ソングデータに含まれるオーディオデータ（第１オーディオデータ）に対してデータの間引きや圧縮などの処理によりデータ量を減らし、いわゆる音質を落としたオーディオデータ（第２オーディオデータ）を生成する。以下、ソングデータに含まれるオーディオデータを高音質オーディオデータ（第１オーディオデータ）といい、高音質オーディオデータに基づいて生成されたオーディオデータを低音質オーディオファイル（第２オーディオデータ）という。記憶部２２は、ソングデータに含まれる高音質オーディオデータに対応付けるとともに、その高音質オーディオデータに基づいて生成された低音質オーディオデータを記憶する。

第２オーディオデータ送信部２４は、クライアント装置１において楽曲を構成する複数のパートのうちいずれかがユーザにより指定されるたことを意味する要求をクライアント装置１から受信すると、当該楽曲に対応する低音質オーディオデータ群のうち、指定されたパートに対応した低音質オーディオデータデータ（第２オーディオデータ）をクライアント装置１に送信する手段である。第１オーディオデータ送信部２５は、第２オーディオデータ送信部２４による低音質オーディオデータデータ（第２オーディオデータ）の送信の後に、クライアント装置１から要求された、その低音質オーディオデータに対応する高音質オーディオデータ（第１オーディオデータ）をクライアント装置１に送信する手段である。ここでいう低音質オーディオデータデータ（第２オーディオデータ）の送信の後とは、例えば、後述するようにユーザがオーディオデータの入替を指示する操作を行うタイミングである。

図４（Ａ）は、ソングデータのデータ構造を示す図である。ソングデータは、楽曲を構成するパート単位のオーディオデータ群を含む。このオーディオデータ群は、サーバ装置２に登録されたときのソングデータに含まれる高音質オーディオデータと、その高音質オーディオデータよりもデータサイズの小さい低音質オーディオデータとを含む。ソングデータは、そのソングデータの属性データ（以下ではソング属性データといい、本発明における楽曲属性データに相当する）及び各オーディオデータの属性データ（以下、オーディオ属性データという）を含む。

ソング属性データは、楽曲名、ソングデータを識別するためのソングＩＤ、ソングデータの所有者に関するソング所有者情報、ソングデータを構成するオーディオデータのファイル名のリストである構成オーディオデータ名、ソングを構成するパート名のリストである構成パート情報、及び付属情報を含む。付属情報は、ソング所有者以外のユーザから寄せられた評価やコメントのほか、任意の分類語（例えば音楽ジャンル、演奏のレベル）のように、ソングデータを検索するための用語（キーワード）を含む。

オーディオ属性データは、オーディオデータを識別するためのオーディオデータ名、そのオーディオデータが示す演奏音の演奏者に関する演奏者情報、オーディオデータがどのパートに対応するものであるかを示すパート情報、及び付属情報を含む。付属情報は、オーディオデータのユーザから寄せられた評価やコメントのほか、任意の分類語（例えば音楽ジャンル、演奏のレベル）のように、オーディオデータを検索するための用語（キーワード）を含む。高音質オーディオデータと、その高音質オーディオデータに基づいて生成された低音質オーディオデータとでオーディオ属性データの内容は共通である。

ソングデータに含まれるオーディオデータは他のオーディオデータに変更することができるように、各々のオーディオデータ及び当該オーディオデータの属性を表すオーディオ属性データは、異なるオーディオデータ及び当該オーディオデータの属性を表すオーディオ属性データに書き換え可能となっている。そして、オーディオデータ及びオーディオ属性データが書き換えられた場合に、書き換え後のオーディオデータ及びオーディオ属性データに応じて、当該ソングデータの属性を表すソング属性データが書き換えられる。

［動作］
［ソングデータの登録］
次に、図５を参照しながら、ユーザがソングデータをサーバ装置２に登録するときのサーバ装置２とクライアント装置１の動作について説明する。ユーザはクライアント装置１を用いてサーバ装置２のサービスにログインし、クライアント装置１において楽曲の演奏音を録音する。この録音処理において、クライアント装置１は、例えば内臓の録音機能を用いて演奏音を録音してもよいし、入出力Ｉ／Ｆ１５に接続された外部装置としての録音装置によって演奏音を録音させてこれを取り込んでもよい。この録音はパート毎に行われ、パート単位でオーディオデータが生成される。録音が終了すると、ソングデータのアップロードを指示する。このとき、ユーザは、ソング属性データ及びオーディオ属性データを入力する。ソング属性データ及びオーディオ属性データのうち少なくとも一部（例えばソングＩＤやオーディオデータ名など）については、クライアント装置１の制御部１１又はサーバ装置２の制御部２０１が自動で生成してもよい。

クライアント装置１の制御部１１は、オーディオデータ、ソング属性データ及びオーディオ属性データを含むソングデータをサーバ装置２に送信する。サーバ装置２の制御部２０１はソングデータを通信部２０３によって受信すると（ステップＳ１１）、記憶部２０２に記憶させる（ステップＳ１２）。

次に、制御部２０１は、受信したソングデータに含まれるオーディオデータ（つまり高音質オーディオデータ）に基づいて間引き等の手法を用いてデータサイズの小さい低音質オーディオデータデータを生成する（ステップＳ１３）。そして、制御部２０１は、生成した低音質オーディオデータを、同じ楽曲のソングデータに含まれる高音質オーディオデータと対応付けて記憶部２０２に記憶させる（ステップＳ１４）。これにより、図４（Ａ）に示すような構造のソングデータが記憶部２０２に記憶された状態となる。

［パズルデータの生成］
次に、図６を参照しながら、ユーザがソングデータに含まれるオーディオデータを入れ替えてパズルデータを作成するときの動作について説明する。ユーザがクライアント装置１を用いて所定の操作を行うと（ステップＳ１０１）、サーバ装置２の制御部２０１はソングデータの楽曲名の一覧をクライアント装置１に送信する（ステップＳ１０２）。クライアント装置１の制御部１１は、楽曲名の一覧をＵＩ部１４に表示させた後、ユーザが所望の楽曲の楽曲名を指定すると、その楽曲名をサーバ装置２に通知する（ステップＳ１０３）。サーバ装置２の制御部２０１は、この通知に基づいて、ユーザが指定した楽曲名を特定する（ステップＳ１０４）。

制御部２０１は、特定した楽曲名がソング属性データに含まれるソングデータ群を記憶部２０２から抽出し、そのソングデータ群の各ソング属性データの一覧を生成してクライアント装置１に送信する（ステップＳ１０５）。クライアント装置１の制御部１１は、ソング属性データの一覧をＵＩ部１４に表示させる。ユーザは、ソング属性データの一覧を見ることで、所望するソングデータとして自身の希望に合ったものを選定することができる。クライアント装置１の制御部１１は、ユーザが所望のソングデータのソング属性データを指定すると、そのソングデータのソングＩＤをサーバ装置２に通知する（ステップＳ１０６）。サーバ装置２の制御部２０１は、この通知に基づいて、ユーザが指定したソングデータを特定する（ステップＳ１０７）。さらに、ユーザがクライアント装置１において、そのソングデータにおいて入替を希望するパートを指定する。このとき、ユーザは、ソング属性データの一覧を見ることで、入替を希望するパートを選定することができる。クライアント装置１の制御部１１は、そのパートをサーバ装置２に通知する（ステップＳ１０８）。サーバ装置２の制御部２０１は、この通知に基づいて、ユーザが指定したパートを特定する（ステップＳ１０９）。

制御部２０１は、ステップＳ１０４にて特定した楽曲名がソング属性データに含まれるソングデータ群から、ステップＳ１０９にて特定したパートに対応するオーディオデータのオーディオ属性データを記憶部２０２から抽出し、そのオーディオ属性データの一覧を生成してクライアント装置１に送信する（ステップＳ１１０）。クライアント装置１の制御部１１は、オーディオ属性データの一覧をＵＩ部１４に表示させる。ユーザは、オーディオ属性データの一覧を見ることで、所望するオーディオデータとして自身の希望に合ったものを選定することができる。ユーザが所望のオーディオ属性データに対応する低音質オーディオデータの試聴を指示すると、クライアント装置１の制御部１１は、その低音質オーディオデータをサーバ装置２に要求する（ステップＳ１１１）。サーバ装置２の制御部２０１は、要求された低音質オーディオデータを記憶部２０２から読み出して（ステップＳ１１２）、クライアント装置１に送信する（ステップＳ１１３）。

クライアント装置１の制御部１１は、受信した低音質オーディオデータを再生する（ステップＳ１１４）。この低音質オーディオデータはクライアント装置１においていわゆるキャッシュされ、サーバ装置２から再取得不要で再生可能である。試聴したユーザがオーディオデータの入替を指示する操作を行うと（ステップＳ１１５；ＹＥＳ）、クライアント装置１の制御部１１は、その旨の要求をサーバ装置２に通知する（ステップＳ１１６）。サーバ装置２の制御部２０１は、この要求によって指定された低音質オーディオデータに対応する高音質オーディオデータを記憶部２０２から読み出して（ステップＳ１１７）、クライアント装置１に送信する（ステップＳ１１８）。

クライアント装置１の制御部１１は、受信した高音質オーディオデータを再生する。この再生は、受信した高音質オーディオデータのみの再生であってもよいし、同じ楽曲の他のパートと同期したいわゆるミキシング再生であってもよい。そして、この高音質オーディオデータを採用しようと考えたユーザがサーバ装置２のサービスにログインしてパズルデータの登録を指示する操作を行うと（ステップＳ１１９；ＹＥＳ）、クライアント装置１の制御部１１は、その旨をサーバ装置２に通知する（ステップＳ１２０）。サーバ装置２の制御部２０１は、この通知に応じて、ステップＳ１０７において特定したソングデータにおいて、ステップＳ１０９にて特定したパートに対応する高音質オーディオデータ及び低音質オーディオデータを、ステップＳ１１９における指示で入れ替え、これを新規のパズルデータとして記憶する（ステップＳ１２１）。このとき新規のパズルデータとして扱われるから、クライアント装置１の制御部１１又はサーバ装置２の制御部２０１が、パズルＩＤ等を自動で生成するようにしてもよい。パズル属性データに含まれるソングＩＤは、当初のソングデータのソングＩＤが用いられる。また、ユーザは、ソング属性データ及びオーディオ属性データのうち少なくとも一部を書き換えるよう指示してもよい。これにより、図４（Ｂ）に示すような構造のパズルデータが記憶部２０２に記憶された状態となる。

このように、互いに同期して再生されるパート単位のオーディオデータを複数含む楽曲データ（ソングデータ、パズルデータ）のデータ構造において、各々のオーディオデータには、当該オーディオデータの属性を表すオーディオ属性データが対応付けられており、楽曲データ（ソングデータ、パズルデータ）には、当該楽曲データの属性を表す楽曲属性データが対応付けられている。従って、ソングデータを検索するときや入替対象とするオーディオデータを検索するときに、そのオーディオ属性データ及び楽曲属性データを利用することが可能となり、ユーザの好みに適合する楽曲を自由に生成することに役立つ。なお、図６は、楽曲データのうちソングデータに含まれるオーディオデータを入れ替える例であったが、パズルデータに含まれるオーディオデータを入れ替えるようにしてもよい。また、入れ替えるオーディオデータとして既にサーバ装置２に登録されているオーディオデータを利用するだけではなく、その都度、ユーザが録音して生成したオーディオデータを用いてもよい。

また、データサイズの大きい高音質オーディオデータをサーバ装置２からクライアント装置１に頻繁に送信するとネットワークの負荷が大きくなるが、本実施形態によれば、データサイズの小さい低音質オーディオデータを試聴用に用意しているので、ネットワークの負荷を抑えられる。さらに、ネットワークの負荷を抑えるために、ユーザによって試聴される可能性が高い低音質オーディオデータを、クライアント装置１において実行されるプログラム（ソフトウェア）に組み込むようにしてもよい。つまり、図７に示すように、サーバ装置２の制御部２０１（集計手段）は、過去の所定期間においてクライアント装置１に送信されて試聴された回数を低音質オーディオデータごとに集計する、いわゆる人気集計処理を行う（ステップＳ３０１）。次に、制御部２０１は、過去の所定期間において送信された回数が閾値よりも多い低音質オーディオデータを特定する（ステップＳ３０２）。この閾値は、予め決められた値であってもよいし、全楽曲中で上位何番目という決め方であってもよいなど、その決め方は任意のものを採用可能である。そして、制御部２０１（組み込み手段）は、特定した低音質オーディオデータを記憶部２０２から読み出し、それをクライアント装置１に配信する楽曲データ生成ソフトウェアのバージョンアップ版に組み込む（ステップＳ３０３）。このソフトウェアをインストールしたクライアント装置１は、このソフトウェアに組み込まれた低音質オーディオデータをＲＡＭに展開して、いわゆるオフラインで利用することができるから、サーバ装置から都度、低音質オーディオデータを取得する必要がない。

なお、ユーザがサーバ装置２のサービスに対しいわゆるユーザ認証を経てログインすることは必ずしも必須ではなく、例えばソングデータやパズルデータとして演奏を録音して登録するときにのみログインを必須としてもよいなど、どのような処理にログインを必要とするかは任意に設計すればよい。
本発明は、例えばサーバ装置２のような情報処理装置のほか、サーバ装置２が行うデータ生成方法や、サーバ装置２によって実行されるプログラムとして実施されてもよい。本発明に係るデータ生成方法は、互いに同期して再生されるパート単位のオーディオデータを複数含む楽曲データを生成するデータ生成方法であって、各々の前記オーディオデータに当該オーディオデータの属性を表すオーディオ属性データを対応付け、前記楽曲データに当該楽曲データの属性を表す楽曲属性データを対応付けて、当該楽曲データを生成する。また、サーバ装置２の制御部２０１によって実行されるプログラムは、磁気テープ、磁気ディスク、フレキシブルディスク、光記録媒体、光磁気記録媒体、ＣＤ（Compact Disk）−ＲＯＭ、ＤＶＤ（Digital Versatile Disk）、ＲＡＭなどの記録媒体に記憶した状態で提供し得る。また、インターネットのようなネットワーク経由でサーバ装置２にダウンロードさせることも可能である。
また、本発明に係るサーバ装置を１台のコンピュータで実現してもよいし、複数のコンピュータが処理を分担し互いに連携することによって実現してもよい。

１…クライアント装置、２…サーバ装置、３…ネットワーク、１１…制御部、１２…通信部、１３…記憶部、１４…ＵＩ部、１５…入出力Ｉ／Ｆ、２０１…制御部、２０２…記憶部、２０３…通信部、２１…受信部、２２…記憶部、２３…生成部、２４…第２オーディオデータ送信部、２５…第１オーディオデータ送信部。

Claims (4)

1. 互いに同期して再生されるパート単位のオーディオデータを複数含む楽曲データのデータ構造であって、
   各々の前記オーディオデータには、当該オーディオデータの属性を表すオーディオ属性データが対応付けられており、
   前記楽曲データには、当該楽曲データの属性を表す楽曲属性データが対応付けられていることを特徴とするデータ構造。
2. 前記楽曲データに含まれる各々の前記オーディオデータ及び当該オーディオデータの属性を表すオーディオ属性データは、異なるオーディオデータ及び当該オーディオデータの属性を表すオーディオ属性データに書き換え可能となっていることを特徴とする請求項１記載のデータ構造。
3. 前記楽曲データに含まれる前記オーディオデータ及び当該オーディオデータの属性を表すオーディオ属性データが書き換えられた場合に、書き換え後の前記オーディオ属性データに応じて、当該楽曲データの属性を表す楽曲属性データが書き換えられることを特徴とする請求項２記載のデータ構造。
4. 互いに同期して再生されるパート単位のオーディオデータを複数含む楽曲データを生成するデータ生成方法であって、
   各々の前記オーディオデータに当該オーディオデータの属性を表すオーディオ属性データを対応付けるとともに、前記楽曲データに当該楽曲データの属性を表す楽曲属性データを対応付けて、当該楽曲データを生成するデータ生成方法。

Images