JP5556076B2 - シーケンスデータ出力装置、音声処理システム、および電子楽器 - Google Patents

Description

この発明は、演奏者の操作入力によって生成される制御信号を正確なタイミングでオーディオ信号と共に出力するシーケンスデータ出力装置に関する。

従来、オーディオ信号に種々のデータを埋め込む技術が提案されている。例えば、特許文献１においては、著作権保護を目的として、電子透かしを用いてオーディオ信号にデータを埋め込む技術が提案されている。

また、特許文献２においては、電子透かしを用いてオーディオ信号に制御信号を時系列に埋め込む技術が提案されている。

特開２００６−２５１６７６号公報 特開２００６−３２３１６１号公報

しかし、特許文献１の方式では、情報を埋め込むタイミングについては何ら考慮されていなかった。そのため、例えば無音部分が存在した場合、情報を重畳することができず、実際に埋め込むべきタイミングから大きくずれて情報が重畳されてしまうという問題があった。

一方、特許文献２においては、オーディオ信号の先頭からの時間差を埋め込んでおり、再生時において制御信号を用いるためには、常に先頭から読み出す必要があった。また、特許文献２に記載されている方式は、制御信号のタイミングと演奏のタイミングとの関係を示したテーブル（コードリスト）を予め用意しておく必要があり、演奏者がランダムに（リアルタイムに）演奏操作等を行う場合に用いることができないものであった。さらには、特許文献２の方式は、フレーム単位で制御信号を埋め込むものであり、楽器演奏のような高い分解能（例えば数ｍｓｅｃ以下）が必要な場合に用いることができないものであった。

そこで、この発明は、オーディオ信号の内容に依存せず、シーケンスデータを埋め込むタイミングを示した情報を高精度に重畳するシーケンスデータ出力装置、および音声処理システムを提供することを目的とする。

この発明のシーケンスデータ出力装置は、演奏者の演奏操作に応じて発生するオーディオ信号を出力する出力手段を備えている。オーディオ信号には、基準クロックと演奏者の操作によるシーケンスデータ（演奏情報や外部機器の制御情報）が、当該オーディオ信号の周波数成分よりも高い帯域に重畳される。基準クロックとしてテンポ情報を利用する場合、テンポ情報は、ＭＩＤＩクロックのようなビート情報（テンポクロック）として重畳される。このビート情報は、例えば自動演奏システム（シーケンサ）により常に出力される。さらに、オーディオ信号には、シーケンスデータの重畳タイミングと基準クロックとの時間差に関する情報も、当該オーディオ信号の周波数成分よりも高い帯域に重畳される。

そのため、シーケンスデータ出力装置は、基準クロック、シーケンスデータ、時間差に関する情報をオーディオ信号に含めて（ライン１本で）出力することができる。また、出力したオーディオ信号は、通常のオーディオ信号と同様に扱うことができるため、録音機等で録音して汎用のオーディオデータとして用いる事ができる。また、基準クロックにテンポ情報を利用する場合は、オーディオ信号には、テンポクロックと、シーケンスデータが重畳されるタイミングとの時間差が埋め込まれているため、シーケンスデータがＭＩＤＩデータ（演奏情報）であれば、既存の自動演奏装置との同期が可能になる。また、基準クロックとの時間差を補正することにより、演奏情報の生成遅延、楽音発生までの機械的遅延等をリアルタイムで補正することができる。

また、本発明では、一定間隔で発生する基準クロックとの時間差を重畳する方式であるため、オーディオ信号の先頭から読み出す必要がなく、高い分解能で時間差に関する情報を埋め込むことができる。例えば時間差に関する情報を直前の基準クロックとの差分（オフセット値）で表す場合、サンプリング周波数４４．１ｋＨｚで、２０４７ポイントのＭ系列信号を１６倍オーバーサンプリングした際の周期である約７４０ｍｓｅｃ周期の基準クロックに対し、８ｂｉｔでのオフセット値とすると、３ｍｓｅｃ程度の分解能が得られ、楽器演奏のような高い分解能を必要とするものにも用いることができる。

シーケンスデータ出力装置は、演奏操作に応じて発生したオーディオ信号の周波数成分よりも高い帯域に重畳する情報（例えば上記時間差に関する情報）の変調成分が含まれるように、当該情報を重畳して出力する。例えば、Ｍ系列擬似ノイズ（ＰＮ符号）を上記時間差に関する情報で位相変調することにより符号化することも可能である。時間差に関する情報を重畳する周波数帯域は２０ｋＨｚ以上の非可聴域にすることが望ましいが、Ｄ／Ａ変換や圧縮オーディオのエンコード等により非可聴域が使えない構成の場合は、例えば１５ｋＨｚ以上の高周波数帯域に時間差に関する情報を重畳し、聴感上の影響を少なくする。なお、シーケンスデータやテンポ情報についても、時間差に関する情報と同様の重畳方式を用いることができる。

また、上記発明において、シーケンスデータは、演奏者の操作入力に応じて生成されるようにしてもよい。この場合、操作入力タイミング（例えば楽音発生タイミング）とシーケンスデータの重畳タイミングとの差分が重畳される。

なお、シーケンスデータ出力装置は、電子ピアノ等の電子楽器に内蔵される態様や、既存の楽器からオーディオ信号を入力する態様、アコースティック楽器や歌唱音をマイクで収音してオーディオ信号を入力する態様、等を含むものである。

また、請求項１または請求項２に記載のシーケンスデータ出力装置を用いて、前記シーケンスデータを復号する復号装置をさらに備えた音声処理システムとする態様も可能である。

この場合、復号装置は、オーディオ信号をバッファしておくか、または予めオーディオ信号から各種情報を復号しておき、復号した基準クロックおよびオフセット値に基づいて、オーディオ信号とシーケンスデータとを同期させる。

また、シーケンスデータ出力装置の重畳手段は、前記基準クロックに基づいたタイミングで前記オーディオ信号に疑似ノイズを重畳することで前記基準クロックを重畳する。疑似ノイズとしては、例えばＰＮ符号のような自己相関性の高い信号を用いる。基準クロックとしてテンポ情報を用いる場合、シーケンスデータ出力装置は、自己相関性の高い信号を演奏テンポに基づくタイミングで（例えば拍毎に）生成し、オーディオ信号に重畳する。よって、アナログのオーディオ信号として放音したとしても重畳されているテンポ情報が失われることもない。

復号装置は、前記オーディオ信号を入力する入力手段と、基準クロックを復号する復号手段を備えている。復号手段は、入力手段に入力されたオーディオ信号と、前記疑似ノイズと、の相関を求め、当該相関のピーク発生タイミングに基づいて前記基準クロックを復号する。オーディオ信号に重畳されている疑似ノイズは、自己相関性の非常に高い信号であるため、復号装置でオーディオ信号と、疑似ノイズとの相関を求めると、一定周期の相関のピークが抽出される。したがって、相関のピーク発生タイミングが基準クロックを示すこととなる。

ＰＮ符号のような自己相関性の高い疑似ノイズは、低レベルであっても相関のピークを抽出することができるため、聴感上違和感のない音声（聞き取りにくい音声）でありながらも、高精度にテンポ情報を重畳、復号することができる。また、疑似ノイズを２０ｋＨｚ以上等の高域にのみ重畳すればさらに聞き取りにくくすることもできる。

この発明によれば、オーディオ信号の内容に依存せず、シーケンスデータを埋め込むタイミングを示した情報を高精度に重畳することができる。

本発明の実施形態に係る音声処理システムの構成を示す図である。 データ重畳部およびタイミング抽出部の構成を示す図である。 オーディオ信号に重畳されるデータ例、および基準クロックとオフセット値の関係を示した図である。 オーディオ信号に重畳されるデータの他の例を示した図である。 演奏開始タイミングが演奏情報記録タイミングより遅い場合の例を示す図である。

図１は、本発明の実施形態に係る音声処理システムの構成を示す図である。音声処理システムは、シーケンスデータ出力装置および復号装置からなる。図１（Ａ）では、電子楽器（電子ピアノ）が基準クロックとなるテンポ情報を出力する装置を兼ねている例を示す。本実施形態では、シーケンスデータとして演奏情報をオーディオ信号に重畳する例について説明する。

図１（Ａ）に示す電子ピアノ１は、制御部１１、演奏情報取得部１２、楽音発生部１３、基準クロック重畳部１４、データ重畳部１５、出力インタフェース（Ｉ／Ｆ）１６、基準クロック生成部１７、およびタイミング計算部１８を備えている。

演奏情報取得部１２は、演奏者の演奏操作に応じて演奏情報を取得する。取得した演奏情報は、楽音発生部１３およびタイミング計算部１８に出力される。演奏情報は、例えば押下された鍵盤の情報（ノートナンバ）、押鍵のタイミング（ノートオン、ノートオフ）、鍵盤を押す速度（ベロシティ）、等である。どの演奏情報を出力するか（どの演奏情報に基づいて楽音を発生するか）は、制御部１１により指示される。

楽音発生部１３は、音源を内蔵しており、制御部１１の指示（ボリューム等の設定）に応じて演奏情報取得部１２より演奏情報を入力して楽音（オーディオ信号）を発生する。なお、本発明のオーディオ信号は、アナログ信号に限るものではなく、デジタル信号であってもよい。

基準クロック生成部１７は、設定されたテンポに応じた基準クロックを生成する。基準クロックとしてテンポクロックを利用する場合、テンポクロックは、例えば、ＭＩＤＩクロック（４部音符あたり２４クロック）に準じたクロックであり、常時出力されるものである。基準クロック生成部１７は、生成した基準クロックを基準クロック重畳部１４およびタイミング計算部１８に出力する。

なお、テンポクロックに応じてメトロノーム音を発生するメトロノーム音発生部を設け、メトロノーム音を演奏による楽音とミキシングしてヘッドフォンＩ／Ｆ等から出力してもよい。この場合、演奏者は、ヘッドフォンから聞こえるメトロノーム音（テンポ）を聴きながら演奏を行うことができる。

なお、電子ピアノ１にテンポ情報の入力専用の操作子（タップスイッチ等、図中破線のテンポ情報入力部）を設け、演奏者が刻む拍を基準テンポ信号として入力し、テンポ情報を抽出するように構成することも可能である。

基準クロック重畳部１４は、楽音発生部１３から入力されるオーディオ信号に基準クロックを重畳する。重畳方式は、重畳された信号が聴取し難いような手法を用いる。例えば、ＰＮ符号（Ｍ系列）のような疑似ノイズを、聴感上違和感のない微弱なレベルで重畳する。このとき、疑似ノイズを重畳させる帯域は、可聴外（２０ｋＨｚ以上）の帯域に限っておいてよい。なお、Ｄ／Ａ変換や圧縮オーディオのエンコード等により非可聴域が使えない構成の場合は、例えば１５ｋＨｚ以上の高周波数帯域であっても、聴感上の影響を少なくすることができる。Ｍ系列のような疑似ノイズは、自己相関性が非常に高いため、復号側でオーディオ信号と、重畳されている疑似ノイズと同じ符号と、の相関を求めることで、基準クロックを抽出することができる。なお、Ｍ系列に限らず、Ｇｏｌｄ系列など、他の乱数を用いてもよい。

図１（Ｂ）および同図（Ｃ）を用いて復号側の基準クロック抽出処理について説明する。同図（Ｂ）に示す復号装置２は、オーディオ信号を録音する録音機としての機能と、オーディオ信号を再生する再生機としての機能と、オーディオ信号に重畳されている基準クロックを復号する復号機としての機能と、を備えている。ここでは、同図（Ｂ）に示す復号装置２について、主に、オーディオ信号に重畳されている基準クロックを復号する機能について説明する。

図１（Ｂ）において、復号装置２は、入力Ｉ／Ｆ２１、制御部２２、記憶部２３、基準クロック抽出部２４、およびタイミング抽出部２５を備えている。制御部２２は、入力Ｉ／Ｆ２１から入力されたオーディオ信号を録音し、記憶部２３に汎用のオーディオデータとして記録する。また、制御部２２は、記憶部２３に記録されているオーディオデータを読み出し、基準クロック抽出部２４に出力する。

基準クロック抽出部２４は、電子ピアノ１の基準クロック重畳部１４で発生する疑似ノイズと同じ疑似ノイズを生成し、再生したオーディオ信号との相関を求める。オーディオ信号に重畳されている疑似ノイズは、自己相関性の非常に高い信号であるため、オーディオ信号と疑似ノイズとの相関を求めると、同図（Ｃ）に示すように、定期的に急峻なピークが抽出される。この相関のピーク発生タイミングが基準クロックを示す。

なお、基準クロックとしてテンポ情報を用いる場合は、拍タイミングと小節タイミングで、複数の異なる疑似ノイズを重畳することで、復号側で拍タイミングと小節タイミングを区別することもできる。この場合、拍タイミング抽出用と小節タイミング抽出用のテンポクロック抽出部を複数設けるとよい。拍タイミングと小節タイミングで異なるパターンの疑似ノイズを重畳することで、互いの疑似ノイズが干渉することなく、拍タイミング、小節タイミングを別々に高精度に重畳、復号することができる。

以上のようにして抽出した基準クロックは、ＭＩＤＩクロック等のテンポ情報に準じたものであればシーケンサによる自動演奏に用いることが可能である。例えば、シーケンサにより自身の演奏テンポを反映した自動演奏を実現することができる。

図１（Ａ）において、基準クロック重畳部１４は、基準クロック生成部１７から基準クロックが入力される度に、所定長の疑似ノイズを発生してオーディオ信号に重畳し、データ重畳部１５に出力する。また、タイミング計算部１８は、演奏情報取得部１２から演奏情報を取得し、データ重畳部１５に出力する。

データ重畳部１５は、基準クロック重畳部１４から入力されるオーディオ信号に演奏情報を重畳する。このとき、タイミング計算部１８は、基準クロックとデータ重畳部１５における演奏情報の重畳タイミングとの時間差を計算し、この時間差に関する情報を演奏情報とともにデータ重畳部１５に出力する。時間差に関する情報は、基準クロックとの差分（オフセット値）で表される。なお、タイミング計算部１８は、オーディオ信号に演奏情報およびオフセット値を重畳することができるように、所定のデータ形式に変換してデータ重畳部１５に出力するものである（図３（Ａ）参照）。

データ重畳部１５は、タイミング計算部１８から入力された演奏情報およびオフセット値をオーディオ信号に重畳する。重畳方式は高周波数のキャリア信号を演奏情報やオフセット値（０，１のデータ符号列とする。）で位相変調することにより、オーディオ信号の周波数成分（音響信号成分）と異なる帯域に変調成分が含まれるようにする。また、以下の様なスペクトラム拡散を用いることも可能である。

図２（Ａ）は、スペクトラム拡散を用いる場合のデータ重畳部１５の構成の一例を示すブロック図である。なお、同図においては、全てデジタル信号処理として説明するが、外部に出力される信号はアナログ信号（アナログ変換後の信号）であってもよい。

この例では、拡散符号発生部１５４が出力するＭ系列の疑似ノイズ符号（ＰＮ符号）と演奏情報およびオフセット値（０，１のデータ符号列とする。）とを乗算器１５５で乗算することにより、データ符号列をスペクトラム拡散する。拡散後のデータ符号列は、ＸＯＲ回路１５６に入力される。ＸＯＲ回路１５６は、乗算器１５５から入力された符号と遅延器１５７を経て入力された１サンプル前の出力符号の排他的論理和を出力し、拡散後のデータ符号列を差動符号化する。差動符号化後の信号は、−１，１で２値化しておくものとする。−１，１に２値化した差動符号を出力することで、復号側では、連続する２サンプルの差動符号を乗算することにより拡散後のデータ符号列を抽出することができる。

そして、差動符号化したデータ符号列は、ＬＰＦ（ナイキストフィルタ）１５８においてベースバンド内で帯域制限され、乗算器１６０に入力される。乗算器１６０は、キャリア信号発生器１５９が出力するキャリア信号（音響信号成分より高域のキャリア信号）とＬＰＦ１５８の出力信号を乗算し、差動符号化後のデータ符号列をパスバンドに周波数シフトする。なお、差動符号化後のデータ符号列は、アップサンプリングしてから周波数シフトしてもよい。周波数シフトされた後のデータ符号列は、ゲイン調整器１６１でゲイン調整され、加算器１５３でオーディオ信号とミキシングされて出力Ｉ／Ｆ１６に出力される。

なお、基準クロック重畳部１４から出力されたオーディオ信号は、ＬＰＦ１５１でパスバンドの帯域がカットされ、ゲイン調整器１５２でゲイン調整された後に加算器１５３に入力されるが、ＬＰＦ１５１は必須ではなく、音響信号成分と変調信号の成分（重畳されるデータ符号列の周波数成分）とを完全に帯域分割する必要はない。例えば、キャリア信号を２０〜２５ｋＨｚ程度にすれば、音響信号成分と変調信号の成分が若干重複していたとしても、聴取者に変調信号が聞こえにくく、かつデータ符号列を復号できる程度のＳＮ比を確保することができる。なお、データ符号列を重畳する周波数帯域は２０ｋＨｚ以上の非可聴域にすることが望ましいが、Ｄ／Ａ変換や圧縮オーディオのエンコード等により非可聴域が使えない構成の場合は、例えば１５ｋＨｚ以上の高周波数帯域にデータ符号列を重畳することで、聴感上の影響を少なくすることができる。

以上のようにして、データ符号列（演奏情報およびオフセット値）ならびに基準クロックが重畳されたオーディオ信号は、オーディオ出力端子である出力Ｉ／Ｆ１６から出力される。

復号装置２は、上述のように基準クロック抽出部２４にて基準クロックの復号を行うとともに、タイミング抽出部２５にて、オーディオ信号に重畳されている演奏情報およびオフセット値の復号を行う。上述のスペクトラム拡散を用いる場合、以下のようにして行う。

図２（Ｂ）は、タイミング抽出部２５の構成の一例を示すブロック図である。タイミング抽出部２５に入力されたオーディオ信号は、ＨＰＦ２５１に入力される。ＨＰＦ２５１は、音響信号成分を除去するためのフィルタである。ＨＰＦ２５１の出力信号は、遅延器２５２および乗算器２５３に入力される。遅延器２５２の遅延量は、差動符号の１サンプル分の時間に設定される。差動符号をアップサンプリングしている場合、アップサンプリング後の１サンプル分の時間に設定される。乗算器２５３は、ＨＰＦ２５１から入力される信号と、遅延器２５２から出力される１サンプル前の信号とを乗算し、遅延検波処理を行う。差動符号化された信号は、−１，１に２値化されており、１サンプル前の符号からの位相変化を示したものであるため、１サンプル前の信号と乗算することにより、差動符号化前の演奏情報およびオフセット値（拡散後の符号）が抽出される。

そして、乗算器２５３の出力信号は、ナイキストフィルタであるＬＰＦ２５４を経てベースバンド信号として抽出され、相関器２５５に入力される。相関器２５５は、上記拡散符号発生部２５４が出力した拡散符号と同じ拡散符号で入力信号との相関を求める。拡散符号は、自己相関性の高いＰＮ符号を用いているため、相関器２５５が出力する相関値は、ピーク検出部２５６で拡散符号の周期（データ符号の周期）で正負のピーク成分が抽出される。符号判定部２５７は、各ピーク成分を演奏情報およびオフセット値のデータ符号（０，１）として復号する。このようにして、オーディオ信号に重畳されている演奏情報およびオフセット値が復号される。なお、重畳側の差動符号化の処理、復号側の遅延検波処理は必須ではない。また、基準クロックについても、拡散符号を基準クロックで位相変調することによりオーディオ信号に重畳することができる。

次に、図３は、オーディオ信号に重畳されるデータ例、および基準クロックとオフセット値の関係を示した図である。まず、図３（Ａ）では、実際の演奏開始タイミング（楽音発生タイミング）と演奏情報記録タイミングが一致する例について示している。この場合、タイミング計算部１８は、直前の基準クロックとの差分を検出して楽音発生からの時間差（オフセット値）を計算し、図３（Ｂ）に示すようなデータを生成する。

図３（Ｂ）に示すように、オーディオ信号に重畳されるデータは、オフセット値および演奏情報からなる。オフセット値は、演奏情報記録タイミング（演奏開始タイミング）と直前の基準クロックとの時間差時間差（ｍｓｅｃ）を表すものである。

同図（Ａ）および同図（Ｂ）に示す例では、演奏開始タイミングと基準クロックとの時間差が２００ｍｓｅｃであるため、オフセット値＝２００となる。よって、タイミング計算部１８は、「オフセット値＝２００」の情報、および演奏情報が含まれたデータをデータ重畳部１５に出力する。

このように、電子ピアノ１は、基準クロックとのオフセット値をオーディオ信号に重畳して出力するため、高い分解能で時間差に関する情報を埋め込むことができる。例えば、サンプリング周波数４４．１ｋＨｚで、２０４７ポイントのＭ系列信号を１６倍オーバーサンプリングした際の周期である約７４０ｍｓｅｃ周期の基準クロックに対し、８ｂｉｔでのオフセット値とすると、３ｍｓｅｃ程度の高い分解能が得られる。また、基準クロックとのオフセット値を時間差に関する情報として記録しているため、再生側ではオーディオ信号を先頭から読み出す必要がない。

次に、図４は、オーディオ信号に重畳されるデータの他の例を示した図である。図４（Ａ）では、演奏開始タイミングから７拍遅れてデータ重畳部１５がデータを重畳する例について示している。楽音の発生からデータ重畳までの遅れは、例えば無音区間が存在して各種情報を重畳できない場合や演奏情報取得までの遅延が大きい場合等に発生する。タイミング計算部１８は、上記無音区間を検出して楽音発生からの時間差を計算し、図４（Ｂ）に示すようなデータを生成する。

図４（Ｂ）に示すように、この例では、オフセット値として、基準クロックオフセット値とクロック内オフセット値を規定している。基準クロックオフセット値は、演奏情報記録タイミングの直前の基準クロックと、実際の演奏開始タイミングの直前の基準クロックとの差（クロックの数）を表すものである。クロック内オフセット値は、演奏開始タイミングと、その直前の基準クロックとの時間差（ｍｓｅｃ）を表すものである。

同図（Ａ）および同図（Ｂ）に示す例では、演奏開始タイミングの直前の基準クロックから演奏情報記録タイミングの直前の基準クロックまでの差が７クロック存在するため、基準クロックオフセット値＝７となる。また、演奏開始タイミングと直前の基準クロックとの時間差が２００ｍｓｅｃであるため、クロック内オフセット値＝２００となる。よって、タイミング計算部１８は、「基準クロックオフセット値＝７、クロック内オフセット値＝２００」の情報、および演奏情報が含まれたデータをデータ重畳部１５に出力する。

なお、演奏開始の指示から楽音発生までの遅延時間が一定である場合、タイミング計算部１８は、演奏情報を取得したタイミングから常に一定の値を差し引いてオフセット値を計算すればよい。

また、基準クロックオフセット値が０であれば、基準クロックオフセット値に関する情報が不要となるため、図３（Ａ）および図３（Ｂ）に示した例と同様となる。実使用上、図３（Ａ）および図３（Ｂ）に示した状況が多い場合、以下のように基準クロックオフセット値の有無を１ビットのフラグとして規定しておき、データ容量を低減するようにしてもよい。

すなわち、図４（Ｃ）に示すように、データの先頭に基準クロックオフセット値の有無を示すフラグ（ｆｌａｇ）を規定しておく。フラグが０である場合、基準クロックオフセット値が０であるため、同図（Ｄ）に示すようなクロック内オフセット値だけをデータに含める。フラグが１である場合、基準クロックオフセット値が１以上（または後述のように−１以下）であるため、同図（Ｅ）に示すように基準クロックオフセット値、クロック内オフセット値、および演奏情報を含んだデータとする。

また、図５に示すように、演奏開始タイミングが演奏情報記録タイミングより遅い場合（未来の時間を指定する場合）でもオフセット値を計算して重畳することが可能である。この場合、基準クロックオフセット値をマイナスの値（例えば基準クロックオフセット値＝−３）とすればよい。例えば、自動演奏ピアノ等、演奏開始の指示から実際の楽音が発生するまで長い機械的遅延が発生する場合に好適である。また、オーディオ信号に重畳させるシーケンスデータが、外部機器（エフェクタや、照明等）を制御するための制御情報であった場合、演奏者が数秒先に動作を開始するように操作入力を行った場合等にも適用される。

次に、基準クロックとオフセット値の利用態様について説明する。図１（Ｂ）において、出力Ｉ／Ｆ１６から出力されたオーディオ信号は、復号装置２に入力される。なお、電子ピアノ１から出力されたオーディオ信号は、通常のオーディオ信号と同様に扱うことができるため、他の一般的な録音機で録音することが可能である。また、録音したオーディオデータは、汎用のオーディオデータであるため、一般的なオーディオ再生機で再生することも可能である。

制御部２２は、記憶部２３に記録されているオーディオデータを読み出し、タイミング抽出部２５に出力する。タイミング抽出部２５は、オーディオ信号に重畳されているオフセット値および演奏情報を復号し、制御部２２に入力する。制御部２２は、基準クロック抽出部２４から入力された基準クロックと、上記オフセット値に基づいて、オーディオ信号と演奏情報を同期させて外部に出力する。なお、基準クロックにテンポクロックを用いる場合、このときにテンポクロックも出力してもよい。

出力されたオーディオ信号と演奏情報は、楽譜表示等に用いられる。例えば、演奏情報に含まれるノートナンバに基づいて楽譜をモニタに表示するとともに楽音を放音することで、練習用教材として用いることができる。また、シーケンサ等に出力してオーディオ信号に同期した自動演奏を行うこともできる。上記のように、基準クロックオフセット値はマイナスの値を適用することも可能であるため、演奏開始タイミングが演奏情報記録タイミングより遅い場合であっても、正確に同期演奏を行うことができる。

なお、制御部２２は、ある程度のオーディオデータを内蔵ＲＡＭ（図示せず）等にバッファしてから再生するか、事前に復号を行っておき、演奏情報とオフセット値を予め読み出しておくことが望ましい。

なお、本発明のシーケンスデータ出力装置は、電子楽器に内蔵されている態様に限るものではなく、既存の楽器に後で取り付けすることも可能である。この場合、オーディオ信号の入力端子を設け、入力端子から入力されたオーディオ信号に制御信号を重畳する。例えば、ライン出力端子を有したエレキギターを接続したり、通常のマイクを接続したりすることでオーディオ信号を取得し、また、後付でセンサー回路を装着することで演奏情報を取得することも可能である。これにより、アコースティック楽器であっても、本発明のシーケンスデータ出力装置を用いることが可能である。

１−電子ピアノ
１１−制御部
１２−演奏情報取得部
１３−楽音発生部
１４−基準クロック重畳部
１５−データ重畳部
１６−出力Ｉ／Ｆ
１７−基準クロック生成部
１８−タイミング計算部

Claims (7)

1. 一定間隔の基準クロックを生成する基準クロック生成手段と、
   演奏者の演奏操作に応じて発生するオーディオ信号に、前記基準クロックを重畳する基準クロック重畳手段と、
   前記オーディオ信号にシーケンスデータを重畳するデータ重畳手段と、
   前記シーケンスデータの重畳タイミングと前記基準クロックとの時間差を検出する時間差検出手段と、
   前記基準クロック重畳手段および前記データ重畳手段で前記基準クロックおよび前記シーケンスデータが重畳されたオーディオ信号を出力する出力手段と、
   を備え、
   前記データ重畳手段は、前記時間差に関する情報を前記シーケンスデータとともに前記オーディオ信号に重畳することを特徴とするシーケンスデータ出力装置。
2. 演奏者の操作を入力する操作入力手段と、
   前記操作入力手段の操作入力に応じて前記シーケンスデータを生成するデータ生成手段と、を備え、
   前記時間差検出手段は、前記操作入力のタイミングと前記シーケンスデータの重畳タイミングとの時間差を、前記基準クロックとの差分で検出し、前記時間差に関する情報を、前記差分で表したことを特徴とする請求項１に記載のシーケンスデータ出力装置。
3. 前記データ重畳手段は、所定の周期を有する拡散符号を発生する拡散符号発生部と、
   重畳する情報に基づき、前記拡散符号を前記周期ごとに位相変調する変調部と、
   位相変調された前記拡散符号に基づいて生成された変調信号を、前記オーディオ信号の周波数よりも高い周波数帯域に、前記オーディオ信号と合成し、合成信号として出力する合成部と、
   を備えた請求項１または２に記載のシーケンスデータ出力装置。
4. 前記基準クロックとして、演奏者の演奏テンポを反映したテンポ情報を用いる請求項１〜３のいずれかに記載のシーケンスデータ出力装置。
5. 請求項１〜４のいずれかに記載のシーケンスデータ出力装置を内蔵した電子楽器。
6. 請求項１〜４のいずれかに記載のシーケンスデータ出力装置、および前記オーディオ信号に重畳された情報を復号する復号装置を備えた音声処理システムであって、
   前記復号装置は、前記オーディオ信号を予め入力しておき、前記オーディオ信号から復号した前記基準クロックおよび前記時間差に関する情報に基づいて、前記オーディオ信号と前記シーケンスデータとを同期させる同期手段を備えた音声処理システム。
7. 前記シーケンスデータ出力装置の基準クロック重畳手段は、前記基準クロックに基づいたタイミングで前記オーディオ信号に疑似ノイズを重畳することで前記基準クロックを重畳し、
   前記復号装置は、前記オーディオ信号と、前記疑似ノイズと、の相関を求め、当該相関のピーク発生タイミングに基づいて前記基準クロックを復号する復号手段を備えた請求項６に記載の音声処理システム。

Images