JP2020181119A - 楽曲編集システム、楽曲編集サービスの提供方法、および楽曲編集プログラム - Google Patents

Abstract

【課題】自動演奏を手軽に楽しむことのできる楽曲編集技術を提供する。【解決手段】楽曲編集システムは、曲の演奏情報および楽音の音色情報を保持する保持部と、演奏情報と音色情報とに基づいて演奏音を生成する演奏音生成部と、演奏音生成部が生成した演奏音をユーザの試聴に提供し、演奏音を基準にした音の「相対変化の指示」をユーザから受け付けるインターフェース部と、相対変化の指示を演奏情報と音色情報の補正情報に変換する指示変換部と、指示変換部により変換された補正情報に従って演奏情報および音色情報を補正する指示反映部を備え、演奏音生成部は、指示反映部により補正された演奏情報と音色情報に基づいて演奏音を再生成する。【選択図】図１

Description

本発明は、楽曲を編集するシステム、楽曲編集サービスを提供する方法、および楽曲編集プログラムに関する。

従来、デスクトップミュージック（ＤＴＭ）として、コンピュータや専用装置を用いて、ユーザが曲の演奏に必要な情報（以下、演奏情報という）を作成し、自動演奏を行うまでのシステムが知られている。
作成された演奏情報はシーケンサによってシンセサイザへ順次送られる。シンセサイザは、順次送られる演奏情報と演奏音の音色を表す情報（以下、音色情報という）に従って楽器音、音声、効果音など(以下、楽音という)を生成する演奏処理を行い、必要に応じて各種エフェクトを掛けて、最終的な演奏音の波形データ（音声波形に変換可能なデータ、ＷＡＶデータやＭＰ３データなど）を生成する。生成された演奏音の波形データを再生することにより自動演奏が行われる。

この演奏情報の作成には、ピアノ型鍵盤などを用いる演奏入力の他に、コンピュータのキーボードやマウスなどを用いる『打ち込み』という入力方法が使用される。

この種の演奏情報には、緩急や強弱をはじめとする演奏表現の情報を含めることができ、さらには歌詞情報を含めることにより歌声を含む楽曲や、複数の楽器音の同時制御により大編成オーケストラによる交響曲の自動演奏さえも可能になりつつある。

この演奏情報の作成の一例として、特許文献１には、モニタ画面上の総譜（スコア）に対してユーザが奏法アイコンを適宜に配置する技術が開示される。この奏法アイコンの配置により、所望の楽器奏法の効果を自動演奏の所望区間に付与することが可能になる。

また、特許文献２には、ユーザ（指揮者）の指揮振り情報に応じて楽曲再生のテンポやタイミングを調整する技術が開示される。

特開２００１−０９２４５５号公報 特開２０１７−９８６０７号公報

ところで、ピアノ型鍵盤による演奏にせよ、コンピュータのキーボードやマウスによる『打ち込み』にせよ、演奏情報の入力をユーザが最初（白紙状態）から行うと、自動演奏に必要な音符の細かな音楽表現を全て入力しなければならない。そのため、余暇としてＤＴＭを楽しみたいユーザにとっては作業量が多すぎて、ＤＴＭが広く普及しない原因となっていた。

また、特許文献１の技術を用いても、音楽的な演奏を実現するには読譜や楽器表現に習熟している必要があった。このためユーザには高度な音楽的素養が要求され、本格的な演奏を楽しむにはハードルが高く、これもＤＴＭが広く普及しない原因となっていた。

なお、特許文献２の技術は、ユーザが演奏音を耳で聴いて行うタッチや間(ま)といった調整を、演奏音の元である演奏情報にどのように反映させるのかといった点について、具体的な解決手段を開示していない。また、特許文献２の技術は、個々の楽器の音を個別に調整するなどの点についても、具台的な解決手段を開示していない。

そこで、本発明は、これら課題の少なくとも一部を解決して、高度の音楽性を備えた自動演奏を手軽に楽しむための手段を提供することを目的とする。

（第１の発明）楽曲編集システムは、曲の演奏情報および楽音の音色情報を保持する保持部と、演奏情報と音色情報とに基づいて演奏音を生成する演奏音生成部と、演奏音生成部が生成した演奏音をユーザの試聴に供し、演奏音を基準にした音に対する「相対変化の指示」をユーザから受け付けるインターフェース部と、相対変化の指示を演奏情報と音色情報の補正情報に変換する指示変換部と、指示変換部が変換した補正情報に従って演奏情報と音色情報を補正する指示反映部とを備え、演奏音生成部は指示反映部により補正された演奏情報と音色情報に基づいて演奏音を再生成する。

（第２の発明）さらに、楽曲編集システムにおいて、保持部は、演奏情報や音色情報を機密化（例えば、ユーザ認証、パスワード要求など）または暗号化して扱う処理機構を備えて、ユーザに相対変化の指示による楽曲編集は許可しつつ、演奏情報や音色情報それ自体の不正流出による盗用を抑制する。

（第３の発明）さらに、楽曲編集システムにおいて、インターフェース部にネットワーク接続の手段を備え、ネットワーク経由のファイルの直接読み書きを禁止するなど、ユーザの使用環境から保持部へのアクセスを遮断することで、ユーザに相対変化の指示による楽曲編集を許可しつつ、演奏情報と音色情報それ自体の不正流出による盗用を抑制する。

（第４の発明）さらに、楽曲編集システムにおいて、演奏音生成部は、相対変化の指示の影響を受ける区間についてのみ演奏音を再生成するという、区間指示に対応する処理機能を有し、影響を受けない区間はユーザ側に提供済みの演奏音を再利用することで処理を節約する。

（第５の発明）第１〜第４の発明のいずれか１項記載の楽曲編集システムが楽曲編集サービスをユーザに提供する方法。

（第６の発明）第１〜第４の発明のいずれか１項記載の保持部、演奏音生成部、インターフェース部，指示変換部，および指示反映部として、コンピュータ等を機能させるための楽曲編集プログラム。

（１）第１の発明では、保持部内に（専門家などが作成した）曲の演奏情報が用意されており、この演奏情報にユーザが所望する音の相対変化を反映させる形で楽曲編集がなされる。そのため、ユーザは、音符を逐一入力する複雑な手間を（特に必要がない限り）省いて、音の相対変化という、感覚的な指示入力だけで自動演奏を手軽に始めることができるようになる。

また、ユーザは、試聴した演奏音に対して、例えば『ここの音をもっと大きくしたい』や『ここはもっとゆっくりに』といった感覚的な増減（相対変化）だけで指示できるので、楽譜を読めなくても、音楽の専門知識がなくても、手軽に自分なりの工夫をした演奏を楽しむことができるようになる。

さらに、第１の発明は、『相対変化の指示を演奏情報と音色情報の補正情報に変換する指示変換部』と『指示変換部が変換した補正情報に従って演奏情報と音色情報を補正する指示反映部』を備える点が特徴である。
これら指示変換部と指示反映部を備えることにより、ユーザにとって分かりやすい音の感覚的な指示（相対変化）を、高度な専門知識が必要な演奏情報や音色情報の補正に自動的に変換して反映することが可能になる。
特に、楽器別の相対変化の指示（「この箇所のバイオリオンをもっと強く」など）により、特定楽器の演奏情報や音色情報だけを感覚的に調整できる。
通常、楽器音が合成された演奏音（オーディオの波形データ）に対する補正では、楽器一つ一つの楽音を分離して補正することは困難であったが、第１の発明では、指示変換部と指示反映部を備えることで個々の楽音単位の高度な楽曲編集までも可能になる。

また、ユーザは演奏音を試聴して、変更したい箇所のみ演奏や音色の相対変化を指示するだけでよく、全ての演奏情報や音色情報を自力で入力する必要がなく、また調整の必要がない箇所は調整する必要もなく、手間を大幅に省ける。

（２）第２の発明は、演奏情報を機密化または暗号化して扱う処理機構を備える。ユーザは、提供される演奏音を基準に音の相対変化を指示するので、その演奏音の元になる演奏情報や音色情報を機密化または暗号化してユーザに対して隠しても、ユーザの操作に支障は生じない。
また、演奏情報や音色情報を機密化または暗号化することにより、悪意のユーザがこれらデータを取り出すことが難しくなり、また取り出したとしても容易に転用・流通することができず、データ作成者の著作権を一層強固に保護できる。

（３）第３の発明は、ネットワークの介在により保持部をユーザの使用環境から隔離する。ユーザは、提供される演奏音を基準にして音の相対変化を指示するので、その演奏音の元になる演奏情報や音色情報にアクセスできなくても、ユーザの操作に支障は生じない。

また、演奏情報や音色情報をユーザ環境に置かず、ネットワーク接続により隔離されたサーバ内に秘匿することにより、演奏情報や音色情報の取り出しが困難となり、データ作成者の著作権を一層強固に保護できる。

さらに、処理負荷の重い楽音生成やエフェクト処理をサーバが行うことにより、ユーザ側に高性能なコンピュータを必要とせず、スマートフォンやタブレット等の小型通信端末で十分対応できるようになる。

（４）第４の発明は、相対変化の指示に影響されない区間の演奏音については再生成せず、ユーザ側に提供済みの演奏音を再利用する。したがって、音の相対変化の指示に影響されない部分は再生成を省略できるので処理を高速化できる。第３の発明と組み合わせる場合は、待ち時間の短縮や、不要部分の通信をカットすることで通信コストを引き下げる効果も得られる。

（５）第５の発明は、上述の楽曲編集システムがユーザに対して楽曲編集サービスを提供する。ユーザは、この楽曲編集システムから楽曲編集サービスを受けることにより、自動演奏の高度な音楽表現の編集機能を自宅や出先などから手軽に利用することができる。

（６）第６の発明は、楽曲編集プログラムが、コンピュータ（コンピュータの一部また全部を代替し得るCPU，DSP，FPGA，GPU等の各種プロセッサも含む）を、上述した保持部、演奏音生成部、インターフェース部，指示変換部，および指示反映部として機能させる。この楽曲編集プログラムにより、単体や複数の計算デバイスを楽曲編集装置として機能させることができる。

図１は、実施形態の構成を示す図である。 図２は、事前設計の方法を示す図である。 図３は、ＧＵＩ画面の一例を示す図である。 図４は、実施形態の動作を説明する図である。

以下、図面を参照しながら、実施形態を説明する。

［1］実施形態の構成説明
図１は、本実施形態のうち、ネットワーク接続を含む場合の構成を説明する図である。
本実施形態は、クラウド側の楽曲編集システム１００と、ユーザが操作するユーザ側端末２００とを、ネットワークＮを介して通信可能に配置して構成される。
楽曲編集システム１００は、保持部１０１、演奏音生成部１０２、インターフェース部１０３、指示変換部１０４、指示反映部１０５、およびユーザ領域１１０を備える。

保持部１０１は、自動演奏処理に必要な内部情報（曲の演奏情報、楽音の音色情報、自動演奏処理のプログラムなど）を保持する。保持部１０１は機密化および暗号化やその復号化のための処理機構を備える。そのため、ユーザ側端末２００からクラウド上のサーバに侵入し、保持部１０１にアクセスできたとしても、内部情報を解読することは困難である。
また、保持部１０１の内部には、上記の内部情報をデータベース化した演奏情報／音色情報ライブラリ１０１ａを備える。

演奏音生成部１０２は、演奏情報と音色情報とに基づいて自動演奏処理を行って、楽音を生成する演奏処理を行い、各種エフェクトを付加した演奏音の波形データをスピーカやイヤホンや動画再生サイトの音声再生のチャンネル数に応じて生成する機能を有する。

インターフェース部１０３は、演奏音生成部１０２が生成した演奏音の波形データをユーザ側端末２００に提供してユーザに試聴させ、試聴した演奏音を基準にした演奏や音色の相対変化の指示をユーザ側端末２００から取得する機能を有する。このインターフェース部１０３は、ユーザ側端末２００から楽曲編集システム１００の内側（保持部１０１、演奏音生成部１０２、指示反映部１０５、および指示変換部１０４）へのユーザアクセスを遮断することにより、内部情報をさらに秘匿化する。

指示変換部１０４は、ユーザ側端末２００から受信した『演奏や音色の相対変化の指示』を、演奏情報と音色情報の補正情報に変換する機能を有する。（詳細は後述）
指示反映部１０５は、指示変換部１０４により変換された補正情報に従って、演奏情報および音色情報を補正する。
演奏音生成部１０２は、指示反映部１０５により補正された演奏情報および音色情報に基づいて演奏音の再生成を行う。

ユーザ領域１１０は、クラウド上でユーザ単位に確保される記憶領域である。このユーザ領域１１０内には、指示反映部１０５により補正された演奏情報および音色情報や楽曲編集後の演奏音などが格納される。楽曲編集後の演奏音については、ユーザが必要に応じて自動演奏処理の結果としてダウンロードすることができる。なお、ユーザ領域１１０にはメモリ以外にハードディスク等の外部記憶装置を使用してもよい。

一方、ユーザ側端末２００は、インターフェース部２０１、制御部２０２、メモリ２０３、音再生部２０４、ローカルドライブ２１０、およびＵＩ（ユーザインターフェース）部２０５を、内部バス２０６を介して接続して構成される。このユーザ側端末２００としては、演奏音の試聴機能と、音の相対変化の指示入力機能とを最低限備えればよく、パソコン、モバイル端末、タブレット端末、電子ピアノやシンセサイザ等の電子楽器、リモコン操作可能なテレビ、ゲーム機などが使用可能である。

［２］実施形態の事前設計の方法
図２は、事前設計の方法を示す図である。
以下、図２に示すステップ番号に沿って、楽曲編集システム１００の開発者が事前に行う設計手順を説明する。

ステップＳ１００： 楽曲編集システム１００の開発者は、自動演奏処理に必要な楽器音、声、効果音など（総称して楽音）を収集する。

ステップＳ１０１： 開発者は、収集した楽音を生成するのに必要な音色情報を決定する。
なお、既存の音色情報を使用する場合は、ステップＳ１００，１０１の手順は省略される場合もある。

ステップＳ１０２： 開発者は、楽音の音色情報を暗号化し、機密化された保持部１０１に格納する。

ステップＳ１０３： 開発者は、専門家が入力した演奏情報を収集する。なお、演奏情報や音色情報については楽曲編集システム１００の運営開始後に随時に追加・変更・削除できるものとする。

ステップＳ１０４： 開発者は、演奏情報を暗号化し、機密化された保持部１０１に格納する。

ステップＳ１０５： 開発者は、演奏情報および音色情報のデータ仕様に基づいて、変更可能なパラメータを適宜に選定することにより、楽音全体および楽音パート別に補正情報のデータ仕様を決定する。例えば、補正情報のデータ仕様には以下のようなものがある。
（Ａ）発音タイミング
（Ｂ）基準テンポ
（Ｃ）基準ピッチ
（Ｄ）音の長さ
（Ｅ）音の強弱
（Ｆ）音のテンポ
（Ｇ）音のピッチ
（Ｈ）音の区切り
（Ｉ）揺らぎ
（Ｊ）音場（残響）効果
（Ｋ）和音構成音の強弱
（Ｌ）ペダルなどの奏法効果の強弱
（Ｍ）発声法（こぶし／ビブラート／シャウト／しゃくり等）
（Ｎ）楽器や歌手の定位（位置または方向と距離）
（Ｏ）和音構成音の時間差

ステップＳ１０６： 開発者は、ステップＳ１０５で仕様決定された補正情報を変化させたときに生じる“演奏音の相対変化”を直接的，感覚的，または技術的に表現することにより、楽音全体および楽音パート別に『試聴した演奏音を基準にした音の相対変化の指示』を定義する。例えば、次のように定義される。
（Ａ）試聴した演奏音を基準に発音タイミングを前に／後ろに
（Ｂ）試聴した演奏音を基準に基準テンポを速く／遅く
（Ｃ）試聴した演奏音を基準に基準ピッチを高く／低く
（Ｄ）試聴した演奏音を基準に音の長さを長く／短く
（Ｅ）試聴した演奏音を基準に音の強弱を強く／弱く
（Ｆ）試聴した演奏音を基準に音のテンポを速く／遅く
（Ｇ）試聴した演奏音を基準に音のピッチを高く／低く
（Ｈ）試聴した演奏音を基準に音の区切りを明確に／滑らかに
（Ｉ）試聴した演奏音を基準に揺らぎを大きく／小さく／無しに
（Ｊ）試聴した演奏音を基準に音場（残響）の効果を大きく／小さく／無しに
（Ｋ）試聴した演奏音を基準に和音の構成音それぞれを強く／弱く
（Ｌ）試聴した演奏音を基準に奏法効果を強く／弱く／無しに
（Ｍ）試聴した演奏音を基準に発声法（こぶし／ビブラート／シャウト／しゃくり等）を強く／弱く／無しに
（Ｎ）楽器や歌手の定位を相対的に左右（上下，前後、遠近など）に

ステップＳ１０７： 開発者は、ステップＳ１０６で表現した『相対変化の指示』についての操作入力を受け付けるためのＧＵＩ画面のデザインをそれぞれ設計する。図３に示すＧＵＩ画面は、その一例である。このＧＵＩ画面は、編集エリア４００、操作エリア５００、および選択エリア６００とから構成される。

この編集エリア４００は、楽譜／音声波形を切り替え可能な音声表示域４０１と、音の相対変化の指示を表示する調整表示域４０２〜４０５と、画面上部４０６の選曲／再生／一時停止／逆戻し／終了の再生操作のＧＵＩボタンがレイアウト配置される。また、再生位置については、再生から一時停止する操作の他に、音声表示域４０１をクリック操作やタップ操作やキーボード操作やトラックボール操作やペン操作により指定できる。さらに、範囲の指定については、音声表示域４０１の上をドラッグ操作やフリップ操作やスワイプ操作やキーボード操作やトラックボール操作やペン操作などにより指定できる。この再生位置や範囲の指定により、編集エリア４００には区間指定４０７が設定される。

一方、操作エリア５００は、『音の相対変化の指示』の種類についてメニュー選択を行うコンボボックス５０１と、音の相対変化を指示入力するためのＧＵＩパーツ群からなる調整指示域５０２とから構成される。例えば、図３に示す調整指示域５０２には、『和音の構成音ごとに試聴した演奏音よりも大きくまたは小さくする相対変化の指示』を実現するために、複数のトラックバー（スクロールバー）が配置される。これらのトラックバーのスライダの初期位置は中央に設定され、試聴した演奏音を視聴してどう変化させたいかによって増減される。また、スライダの可変範囲（最大値／最小値）は、相対変化を反映した演奏音が音楽的に破綻しない範囲に予め設定される。
さらに、選択エリア６００には、楽音のパートとして、楽器（ピアノ、バイオリンなど）や、歌手（女声ソプラノ，男声テノールなど）が複数選択可能にアイコン表示される。ここでユーザにより選択されたパートが『音の相対変化の指示』を施す対象となる。
これらの種別は、インターフェース部１０３を介して、保持部１０１が機密保持する演奏情報から公開可能な種別のみが情報取得され、表示される。なお、演奏情報のノウハウとして秘匿すべき種別については、演奏情報の制作者や本サービスの提供者によって予め秘匿属性に設定されることにより、選択エリア６００に表示されない。

ステップＳ１０８： 開発者は、『ＧＵＩ画面からユーザ操作（音の相対変化の指示）を取得して、楽曲編集システム１００に送信するためのソフトウェア』としてユーザ端末側ソフトを作成する。例えば、このようなソフトウェアはユーザ側端末２００の制御部２０２が実行するプログラム言語によりアプリとして作成してもよい。また、ブラウザ上のＨＴＭＬ（Hyper Text Markup Language）のｉｎｐｕｔタグなどにより実現してもよい。

ステップＳ１０９： 開発者は、ユーザ操作を受信して『音の相対変化の指示』を取得するためのクラウド側ソフトを作成する。例えば、このようなソフトウェアはクラウドサーバが実行するＰＨＰ（Hypertext Preprocessor）などのサーバプログラムにより作成してもよい。

ステップＳ１１０： 開発者は、ステップＳ１０９で作成したクラウド側ソフトが出力する『音の相対変化の指示』を、ステップＳ１０５とステップＳ１０６との対応関係などから決定することにより『演奏情報および音色情報の補正情報』に変換する変換処理を設計する。
この設計こそが、『音の相対変化の指示』を、演奏音（波形データ）の単なる補正に留まらずに、個々の楽音パートごとの詳細な演奏情報に対して高度かつ緻密な補正を実現可能にする肝要な部分である。
設計した変換処理は指示変換部１０４に実装される。例えば、このような変換処理は、テーブルデータを参照する方式でもよいし、数式演算する方式でもよいし、プログラムによる方式でもよい。
以上のステップＳ１００〜Ｓ１１０により、開発者によるシステム設計が完了する。

［３］実施形態の動作説明
図４は、実施形態の動作を説明する図である。
以下、図４に示すステップ番号に沿って、実施形態の動作を説明する。

ステップＳ３００： ユーザは、ユーザ側端末２００のブラウザなどを開いて、楽曲編集システム１００（クラウドサーバ）のネットワークＮ上のドメインの所定ＵＲＬ（Uniform Resource Locator）にアクセスする。このアクセスに成功すると、ユーザ側端末２００と楽曲編集システム１００とはネットワークＮ上で連携を開始する。この連携において、ユーザのログインＩＤやパスワードの照会処理や、新規ユーザの登録処理が行われる。

ステップＳ３０１： 楽曲編集システム１００は、クラウド側ソフトを実行し、ログインしたユーザ別の初期化処理を実行する。この初期化処理において、楽曲編集システム１００は、ユーザ側端末２００に対して、上記のステップＳ１０８で作成したユーザ端末側ソフトを返信する。
また、前回ログアウト時の作業データがユーザ領域１１０やローカルドライブ２１０（ユーザ側端末２００）に保存されている場合、楽曲編集システム１００は、これらの作業データを保持部１０１およびユーザ側端末２００（メモリ２０３）に転送し、前回ログアウト時の作業状態を復元する。

ステップＳ３０２： ユーザ側端末２００の制御部２０２は、受信したユーザ端末側ソフトを実行し、図３に示すようなＧＵＩ画面をＵＩ部２０５のモニタ画面に表示する。これ以降、ユーザ側端末２００の動作は、ユーザ端末側ソフトにより実行される。

例えば、ＵＩ部２０５のタッチスクリーンや入力装置に対する操作は、ユーザ端末側ソフトのイベントループで処理される。このうちのいくつかのイベントは、インターフェース部２０１、ネットワークＮを経由して、楽曲編集システム１００側のインターフェース部１０３まで送出される。

このイベント処理においても、インターフェース部１０３は、保持部１０１および演奏音生成部１０２を外部環境から隔離するファイアウォールとして機能する。そのため、ユーザ側端末２００のイベント処理によって、楽曲編集システム１００の内部データ（演奏情報／音色情報／自動演奏処理ソフト）に直接アクセスすることはできない。

ステップＳ３０３：（選曲イベントの発生） ユーザがＧＵＩ画面の画面上部４０６の『選曲』を操作すると、選曲イベントが発生する。この選曲イベントにおいて、ＧＵＩ画面は、楽曲編集の対象曲を選択または検索するためのダイアログ画面（不図示）を表示し、ユーザから対象曲の選択または検索を受け付ける。選択または検索された対象曲の情報は、楽曲編集システム１００のインターフェース部１０３に送出される。

ステップＳ３０４： 楽曲編集システム１００のインターフェース部１０３は、ユーザが選曲した対象曲の情報を保持部１０１に照会する。保持部１０１はこの対象曲が編集対象としてメモリ上にあるか否かを判定する。編集対象にない場合、保持部１０１は、演奏情報／音色情報ライブラリ１０１ａにアクセスして対象曲の演奏情報を編集対象として取得する。

ここでの演奏情報は、専門家がノウハウを駆使して打ち込むなどして作成した演奏情報（オリジナル）である。

ステップＳ３０５： 演奏音生成部１０２は、演奏情報と音色情報を保持部１０１から取得し、楽音の生成とエフェクト処理を行って、演奏音を得る。この演奏音はＭＰ３ファイルなどに圧縮するなどして、インターフェース部１０３およびネットワークＮを経由して、ユーザ側端末２００へ返信される。

ステップＳ３０６： ユーザ側端末２００は、受信した対象曲の演奏音をメモリ２０３に格納する。ユーザ側端末２００は、この演奏音の音声波形グラフ（全体の音声波形や、選択エリア６００で選択された調整対象の楽音パートの音声波形など）を簡略化した画像としてインターフェース部１０３から取得し、ＧＵＩ画面の音声表示域４０１に表示する。なお、ユーザ側端末２００は、楽曲編集システム１００や外部の楽譜サーバなどから楽譜データを取得できる場合は、演奏音の楽譜（総譜や、選択エリア６００で選択された調整対象のパート譜など）をＧＵＩ画面の音声表示域４０１に表示してもよい。このようにＳ３０３〜Ｓ３０６からなる選曲イベントの処理を完了すると、ユーザ側端末２００はイベントループに動作を戻す。

ステップＳ３０７：（楽曲再生イベントの発生） ユーザが、ＧＵＩ画面の画面上部４０６の『再生／一時停止／逆戻し』を操作するたびに、楽曲再生イベントが発生する。

ステップＳ３０８： ユーザ側端末２００は、『再生』の操作に応じて、背景処理で、音再生部２０４のスピーカやヘッドホンを介して、メモリ２０３内の対象曲演奏音の再生動作を開始する。
この音声再生イベントの背景処理の起動を済ますと、ユーザ側端末２００はイベントループに動作を戻す。また、ユーザ側端末２００は、『一時停止／逆戻し』の操作に対応した背景処理も行う。

ステップＳ３０９：（区間指定イベントの発生） ユーザが、音声表示域４０１に対する操作を行うと、区間指定イベントが発生する。

ステップＳ３１０： ユーザ側端末２００は、音声表示域４０１がクリックなどされると、その操作箇所を再生位置とする。
また、ドラッグなどで時間範囲を指定されると、その範囲に矩形状の区間指定４０７を表示する。すでに表示されている区間指定４０７の開始時刻または終了時刻箇所をドラッグなどした場合は、区間指定４０７の開始または終了時刻をドラッグ位置に変更し、区間指定４０７の幅を拡縮する。
これら位置指定や区間指定イベント処理を完了すると、ユーザ側端末２００はイベントループに動作を戻す。

ステップＳ３１１：（調整指示イベントの発生） ユーザは、選択エリア６００から調整対象とする楽音パート（楽器や歌手など）として１つ、複数、または全ての楽音パートを選択する。
さらに、ユーザがＧＵＩ画面（図３参照）のコンボボックス５０１を操作すると、選択エリア６００で選択された楽音パートに応じた『音の相対変化の指示』の種類を選択するためのメニューが表示される。ユーザは、このメニューの中から所望の『音の相対変化の指示』の種類を選択する。
このメニュー選択に連動して調整指示域５０２に調整指示用のＧＵＩパーツ群が表示される。図３は、調整指示の一例として『（ピアノの）和音の構成音の強弱調整』がメニュー選択された状態を示す。
ユーザは、調整指示域５０２の複数のトラックバーそれぞれについて、試聴した演奏音を基準に右左にずらすことにより、和音の構成音それぞれについて、試聴した演奏音を基準にした強弱の相対変化をつけることができる。
これらトラックバーを操作すると、調整指示イベントが発生する。また、ＧＵＩ画面の適用釦やキャンセル釦が操作されても、調整指示イベントが発生する。この調整指示イベントには、『調整対象として選択された楽器や歌手』と、音の相対変化の指示の『種類』と、『相対変化の量』と、『区間指定４０７（全区間の場合あり）の情報』と、『適用釦およびキャンセル釦の操作状態』とがパラメータとして付与される。

ステップＳ３１２： 指示変換部１０４は、インターフェース部１０３を介して調整指示イベントを取得する。調整指示イベントの『種類』によっては、区間指定４０７に相対変化を反映させた影響が区間指定４０７の範囲外に波及する場合がある。また、区間指定４０７の内と外で相対変化の影響が不連続になる影響が生じる場合もある。そこで、指示変換部１０４は、調整指示イベントの『種類』に応じて、影響が及ぶはみ出し範囲を算出し、そのはみ出し範囲を含めて区間指定４０７を内部的に拡幅する(ただし拡幅された区間指定４０７は表示に反映しない)。また、不連続が生じる部分には重み付け（クロスフェード）によるオーバーラップ処理のための糊代範囲が追加拡幅される。

ステップＳ３１３： 指示変換部１０４は、調整指示イベントの『調整対象として選択された楽器や歌手』および調整指示イベントの『種類』に応じて、ステップＳ１１０で実装された変換処理を選択する。指示変換部１０４は、選択した変換処理を使用して、『試聴した演奏音を基準にした音の相対変化の指示』を『演奏情報および音色情報の補正情報』に変換する。

ステップＳ３１４： 指示反映部１０５は、保持部１０１内の演奏情報および音色情報に対し、区間指定４０７の範囲を補正情報に従って一時的に補正した結果をユーザ領域１１０に保存する。
なお、調整指示域５０２の適用釦が操作された場合、指示反映部１０５は演奏情報と音色情報の補正を確定する。また、調整指示域５０２のキャンセル釦が操作された場合、指示反映部１０５はユーザ領域１１０に保存された演奏情報と音色情報の一時的な補正情報を元に戻す。

ステップＳ３１５： 演奏音生成部１０２は、補正された演奏情報および音色情報に基づいて、区間指定４０７の範囲について演奏音の再生成（自動演奏処理とエフェクト処理）を行い、相対変化の指示を反映させた区間指定４０７の演奏音を得る。

ステップＳ３１６： 演奏音生成部１０２は、インターフェース部１０３、ネットワークＮを介して、区間指定４０７の演奏音を返信する。

ステップＳ３１７： ユーザ側端末２００は、受信した区間指定４０７の演奏音により、メモリ２０３内の該当する区間の演奏音を一時的に差し替える。
なお、調整指示域５０２の適用釦が操作された場合、ユーザ側端末２００は演奏音の差し替えを確定する。さらに、ユーザ側端末２００は、今回の調整指示の内容説明を調整表示域４０２〜４０５の区間指定４０７に表示する。
一方、調整指示域５０２のキャンセル釦が操作された場合、ユーザ側端末２００は、演奏音の一時的な差し替えを調整指示イベント前の状態に戻す。ちなみに、ユーザは、演奏音の履歴を辿ることで複数回にわたるやり直しを行うこともできる。
なお、ユーザ側端末２００は、これら演奏音の変化に連動して、音声表示域４０１の音声波形の表示を書き換える。
このように調整指示イベントの処理を完了すると、ユーザ側端末２００はイベントループに動作を戻す。

ステップＳ３１８：（終了イベントの発生） ユーザがＧＵＩ画面の画面上部４０６の『終了』を操作すると、楽曲編集の終了イベントが発生する。この終了イベントを受け付けると、ユーザ側端末２００は、メモリ２０３内の楽曲編集を完了した演奏音をユーザ側端末２００側のローカルドライブ２１０に保存する。

ステップＳ３１９： ユーザは、このローカルドライブ２１０にアクセスすることにより、楽曲編集した演奏音をクラウドに接続することなく、いつでも試聴できるようになる。
また、ユーザ側端末２００は、次回ログイン時に備えて、作業状態を復元するために必要な作業データをローカルドライブ２１０に保存する。この作業データは、次回ログイン時のステップＳ３０１において使用される。
なお、ユーザ側端末２００は、オリジナルの演奏情報および音色情報をローカルドライブ２１０に格納しない。そのため、これら情報が、ローカルドライブ２１０を介して外部に漏洩することはない。

ステップＳ３２０： このように終了イベントの処理を完了すると、楽曲編集システム１００は、ログアウト処理を行ってユーザ側端末２００との連携を解除する。それに伴って、ユーザ側端末２００はユーザ端末側ソフトの実行を停止する。

［４］実施形態の補足事項

（１）実施形態では、楽曲編集システム１００とユーザ側端末２００とで役割分担を行っている。しかし、この役割分担に限定されず、双方の役割分担を適宜に変更してもよい。

（２）実施形態では、楽曲編集システム１００とユーザ側端末２００とをサーバ・クライアントとして構成している。しかし、これに限定されず、実施形態を単体装置で実現してもよい。

（３）実施形態では、ステップＳ１０６において相対変化の指示を例示する。しかし、この例示に限定されず、演奏情報や音色情報の変更可能なパラメータに変換可能な『試聴した演奏音を基準にした音の相対変化の指示』であれば、適宜に採用できる。

（４）実施形態では、図３において相対変化の指示の入力手段としてＧＵＩ画面の例を挙げている。しかし、これに限定されず、相対変化の指示入力が可能な入力手段であれば適宜に採用できる。

（５）実施形態では、ユーザ側端末２００のローカルドライブ２１０をデータ保存の手段として使用する。このローカルドライブ２１０の代わりに、クラウド側のユーザ領域１１０をデータ保存の手段として使用してもよい。

（６）また、ユーザ側端末２００のＵＩ部２０５に、ユーザまたは指揮棒のジェスチャを検出するカメラやセンサを設け、ユーザによる指揮者風のジェスチャを取得してもよい。このジェスチャの速度／大きさ／方向／パターン／回数／ポーズ／振り幅／周期／仕草などを『試聴した演奏音を基準にした音の相対変化の指示』や『調整対象の楽音パート』に結びつけるルール化または機械学習を行い、ジェスチャ認識部を作成する。インターフェース部１０３は、このジェスチャ認識部を内部に具備し、ユーザの指揮者風ジェスチャを認識して『試聴した演奏音を基準にした音の相対変化の指示』や『調整対象の楽音パート』を出力する。
以上の構成を付加することにより、ユーザの指揮者風ジェスチャに基づいて、上記の調整指示イベントを発生させることが可能になる。
この場合も、指示変換部１０４という具体的な技術手段を有するため、指揮者風ジェスチャを『試聴した演奏音を基準にした音の相対変化の指示』として自動認識した上で、さらに『演奏情報や音色情報の補正情報』に段階的に変換する。
そのため、演奏音（波形データ）そのものを調整するのではなく、演奏情報および音色情報をベースに調整するため、高度な調整（音楽表現）が可能になる。
一例としては、指揮ジェスチャに基づいて下記のような高度な演奏調整が実現可能になる。
（ａ）演奏音を基準に和音の構成音それぞれを個別に強く／弱く
（ｂ）演奏音を基準に和音の構成音の時間ずれを前に／後ろに
（ｃ）演奏音を基準に楽音パート別の音を強く／弱く
（ｄ）演奏音を基準に楽音パート別のタイミングを前に／後ろに

［５］実施形態の効果など
実施形態では、既存の演奏情報および音色情報を元に楽曲編集が行われる。そのため、ユーザは、音符をゼロから全て打ち込む必要がなく、自動演奏を手軽に楽しむことができる。

また、実施形態では、演奏音を耳で聞きながら『ここの音をもっとこうしたい』といった感覚的な調整指示が可能である。そのため、ユーザは楽器演奏法の知識がなくても、演奏を手軽に工夫して楽しむことができる。

さらに、実施形態では、演奏音そのものを調整せずに、演奏音の元となる専門家が制作した演奏情報や音色情報を補正する。そのため、演奏音編集では不可能であった高度な演奏調整が可能になる。また、演奏音に対する調整に比べて、演奏情報や音色情報に対する調整は音質劣化が小さい。そのため、ユーザは、音質劣化を気にせずに、楽曲編集において大胆な音楽表現を試すことができる。

また、実施形態では、演奏情報と音色情報を機密化および暗号化して扱う処理機構を備える。さらに、インターフェース部１０３をファイアウォール化して、保持部１０１および演奏音生成部１０２を外部環境から隔離する。このような多重の秘匿化により、保持部１０１の内部情報のみならず、演奏音生成部１０２で処理途中の演奏情報や音色情報までも外部流出を防止することができる。

また、演奏音生成部１０２は相対変化の指示の影響を受ける区間のみ演奏音を再提供する。そのため、調整指示を受けない区間については以前に生成済みの演奏音で代用することにより、処理を省くことができる。

さらに、実施形態では、楽曲編集システム１００がユーザに対して楽曲編集サービスを提供する。このようなサービス形態では、高度な機材を持たないユーザであっても、自宅などから自動演奏を手軽に楽しみ、かつ自動演奏の高度な調整を活用することが可能になる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。
例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、実施例の構成の一部を他の構成で代替することが可能であり、また、実施例の構成に他の構成を追加することも可能である。

上述したように、本発明は、楽曲編集の用途に利用することができる。

Ｎ…ネットワーク、１００…楽曲編集システム、１０１…保持部、１０１ａ…演奏情報／音色情報ライブラリ、１０２…演奏音生成部、１０３…インターフェース部、１０４…指示変換部、１１０…ユーザ領域、２００…ユーザ側端末、２０１…インターフェース部、２０２…制御部、２０３…メモリ、２０４…音再生部、２０５…ＵＩ部、２０６…内部バス、２１０…ローカルドライブ、４００…編集エリア、４０１…音声表示域、４０２〜４０５…調整表示域、４０６…画面上部、４０７…区間指定、５００…操作エリア、５０１…コンボボックス、５０２…調整指示域、６００…選択エリア

Claims (6)

1. 曲の演奏情報および楽音の音色情報を保持する保持部と、
   前記演奏情報と前記音色情報とに基づいて演奏音を生成する演奏音生成部と、
   前記演奏音生成部が生成した前記演奏音をユーザの試聴に提供し、前記演奏音を基準にした音の「相対変化の指示」を前記ユーザから受け付けるインターフェース部と、
   前記相対変化の指示を、前記演奏情報と前記音色情報の補正情報に変換する指示変換部と、
   前記指示変換部により変換された前記補正情報に従って、前記演奏情報および前記音色情報を補正する指示反映部とを備え、
   前記演奏音生成部は、
   前記指示反映部により補正された前記演奏情報および前記音色情報に基づいて前記演奏音を再生成する
   ことを特徴とする楽曲編集システム。
2. 請求項１記載の楽曲編集システムにおいて、
   前記保持部は、
   前記演奏情報や前記音色情報を機密化または暗号化して扱う処理機構を備えて、前記ユーザに前記相対変化の指示による楽曲編集は許可しつつ、前記演奏情報や前記音色情報それ自体の不正流出による盗用を抑制する
   ことを特徴とする楽曲編集システム。
3. 請求項１記載の楽曲編集システムにおいて、
   前記インターフェース部は、
   前記保持部と前記ユーザの使用環境との間のネットワーク接続によるユーザアクセスを遮断することにより、前記ユーザに前記相対変化の指示による楽曲編集を許可しつつ、前記演奏情報や前記音色情報それ自体の不正流出による盗用を抑制する
   ことを特徴とする楽曲編集システム。
4. 請求項１〜３のいずれか１項記載の楽曲編集システムにおいて、
   前記演奏音生成部は、
   前記相対変化の指示の影響を受ける区間の前記演奏音を再生成する処理機能を有し、前記影響を受けない区間は前記ユーザ側に提供済みの前記演奏音を再利用することで処理を節約する
   ことを特徴とする楽曲編集システム。
5. 請求項１〜４のいずれか１項記載の楽曲編集システムが楽曲編集サービスをユーザに提供する方法であって、
   曲の演奏情報および楽音の音色情報を保持する保持ステップと、
   前記演奏情報と前記音色情報とに基づいて演奏音を生成する演奏音生成ステップと、
   前記演奏音生成ステップが生成した前記演奏音をユーザの試聴に提供し、前記演奏音を基準にした音の「相対変化の指示」を前記ユーザから受け付けるインターフェースステップと、
   前記相対変化の指示を、前記演奏情報と前記音色情報の補正情報に変換する指示変換ステップと、
   前記指示変換部により変換された前記補正情報に従って、前記演奏情報および前記音色情報を補正する指示反映ステップとを備え、
   前記演奏音生成ステップは、
   前記指示反映ステップにより補正された前記演奏情報および前記音色情報に基づいて前記演奏音を再生成する
   ことを特徴とする楽曲編集サービスの提供方法。
6. コンピュータ(コンピュータの一部または全部を代替し得る CPU, DSP, FPGA, GPU等の各種プロセッサも含む)を
   請求項１〜４のいずれか１項記載の前記保持部、前記演奏音生成部、前記インターフェース部，前記指示変換部、および前記指示反映部として、機能させるための楽曲編集プログラム。

Images