JP2004093975A - 通信端末及びプログラム - Google Patents

Abstract

【課題】各装置間の距離に影響されることなく、合成音声の生成・再生を可能とするとともに、各入力音声に対する入力者の意図を、より忠実に反映して再現可能にすることである。
【解決手段】演者端末２０において、ＣＰＵ２１は、通信装置３３からＩＰパケット化された演奏データが入力されると、このＩＰパケットから音声データパケットを抜き出し、ＤＳＰ２２へ出力する。また、ＤＳＰ２２は、入力された音声データパケットに所定の音響処理を施した後、演奏データバッファ２４ｂに格納する。それとともに、ＤＳＰ２２は、演奏データバッファ２４ｂに格納されている音声データパケットを、そのパケット番号に従って読み出し、演奏音声のデータと合成した後、Ｄ／Ａ変換回路２９へ出力する。合成後のデータは、Ｄ／Ａ変換回路２９、アンプ３０を経由し、合奏音声として外部出力される。
【選択図】　　　図１０

Description

【０００１】
【発明の属する技術分野】
本発明は、通信端末及びプログラムに関する。
【０００２】
【従来の技術】
従来、複数の装置間をネットワークで結び、各装置からの入力音声をリアルタイムに受信するとともに、これらの音声を各装置で再生させる通信システムとして、特開平１１−２１９１７４号公報に開示されているネットワーク演奏システムや、特開平１０−３９８９７号公報に開示されているカラオケシステムなどが知られている。
【０００３】
上記ネットワーク演奏システムにおいては、複数の端末装置それぞれが、入力された演奏パート（以下、適宜、単に「パート」という。）の操作情報をＭＩＤＩファイルに変換し、インターネットを介してサーバへ送信する。そして、サーバが、各端末装置から受信される各パートの操作情報に基づいて合奏音声を生成し、各端末装置へ送信している。
【０００４】
また、上記カラオケシステムにおいては、複数のカラオケ装置それぞれに入力されたカラオケ音声を、通信ネットワークを介して相互に送信することで、デュエットを可能としている。
【０００５】
【発明が解決しようとする課題】
ところで、上述のような通信システムにおいては、各装置間の距離に起因する時間遅延の問題が発生する。即ち、上記カラオケシステムのように、各端末装置が、同一店舗内といった比較的近距離に配置されている場合には問題とならないが、ネットワークとしてインターネットを利用するといった場合には、各装置間の距離が遠くなるにつれ、物理的な距離や介在するサーバの存在、通信プロトコルといった様々な要因から、受信データの時間遅延の発生は避け難いものとなり、生音声のリアルタイム演奏を行うには不充分である。
【０００６】
また、上記ネットワーク演奏システムのように、操作情報をＭＩＤＩ形式のファイルで送信する方法では、楽曲１曲分をまとめてＭＩＤＩ形式とする必要上、リアルタイム演奏は不可能に近く、更には、演奏者の意図した音色・音量・音質を完全に再現することが困難であった。
【０００７】
本発明の課題は、他の通信機器との間で送受信される音声等のデータを適切に合成・出力できるようにすることである。
【０００８】
【課題を解決するための手段】
上記課題を解決するために、請求項１に記載の発明は、
通信回線を介して接続された他の通信端末と音声データの送受信を行いつつ、前記他の通信端末から受信した音声データと入力された音声データとを合成し、合成音声として再生する通信端末（例えば、図１の演者端末２０）であって、
入力音声データに、予め定められている同期調整データ（例えば、図５の送信端末識別番号及びパケット番号）を付加して音声通信データを作成する作成手段（例えば、図１０の演者端末２０、図１６ステップＳ２４０）、
を備えることを特徴としている。
【０００９】
また、請求項１０に記載の発明は、
所定の通信回線を介して接続された他の通信端末と音声データの送受信を行なう通信端末であるコンピュータ（例えば、図１の演者端末２０）に、
入力された音声データに予め定められた同期調整データ（例えば、図５の送信端末識別番号及びパケット番号）を付加して音声通信データを作成する作成機能（例えば図１６ステップＳ２４０）と、
前記他の通信端末から送信された同期調整データが付加された音声通信データを受信する受信機能（例えば、図１５ステップＳ２２１〜Ｓ２２４）と、
この受信手段により受信された同期調整データが付加された音声通信データに含まれる音声データと前記作成手段により作成された同期調整データが付加された入力音声データに含まれる音声データとを、それぞれに対応する同期調整データに従って、同期した合成音声として再生する音声合成再生機能（図１７、Ｓ２５１〜Ｓ２５４）と、
を実現させるためのプログラムである。
【００１０】
この請求項１又は１０に記載の発明によれば、入力された音声データに、予め定められた同期調整データを付加した通信データを作成することができる。
【００１１】
そして、請求項２に記載の発明のように、
請求項１に記載の通信端末において、
前記作成手段により作成された同期調整データが付加された音声通信データを送信する送信手段（例えば、図１０の通信装置３３、ＣＰＵ２１、図１６；Ｓ２３９〜Ｓ２４４）と、
他機から送信される通信データを受信する受信手段（例えば、図１０の通信装置３３、ＣＰＵ２１、図１５；Ｓ２２１〜Ｓ２２４）と、
この受信手段により受信された通信データに含まれる音声データを、その通信データに含まれる同期調整データに従って、前記音声入力手段から出力された音声データと共に同期した合成音声として再生する再生手段（例えば、図１０のＣＰＵ２１及びＤＳＰ２２、図１７；Ｓ２５１〜Ｓ２５４）と、
を備えることとすれば、次の効果が得られる。
【００１２】
即ち、他の通信端末から受信した音声通信データに含まれる音声データと作成手段により作成された同期調整データが付加された入力音声データに含まれる音声データとを、それぞれに対応する同期調整データに従って、同期した合成音声として再生することができる。
【００１３】
ここで、請求項３に記載の発明のように、
請求項２に記載の通信端末において、
前記同期調整データには順序データが含まれ、
前記受信手段により受信された音声通信データを蓄積記憶する他データ記憶手段（例えば、図１０の出力バッフ２２ｂ）を更に備え、
前記再生手段は、前記他データ記憶手段に記憶された音声通信データを、その音声通信データに含まれる順序データに従って読み出し、前記入力された音声データと共に同期した合成音声として再生することとしても良い。
【００１４】
この請求項３に記載の発明によれば、音声通信データを受信した順序に関わらず、正しい順序で合成音声の再生ができる。
【００１５】
また、請求項４に記載の発明のように、
請求項２又は３に記載の通信端末において、
前記作成手段は、作成する音声通信データに、再生条件データを更に付加する再生条件付加手段（例えば、図１０のＤＳＰ２２、ＣＰＵ２１、図１６；Ｓ２３６）を有し、
前記再生手段は、前記受信手段により受信された音声通信データに含まれる音声データを、その音声通信データに含まれる再生条件データに基づいて再生する（例えば、図１０のＤＳＰ２２、図１５；Ｓ２２８）ように構成しても良い。
【００１６】
ここで、再生条件データとは、上記再生手段が音声データを再生する際の条件を指定するデータであり、具体的には、エコーやリバーブ（残響）、トーンコントロールの度合、音量バランス、ステレオ化の有無やそのＬ／Ｒ比等が挙げられる。
【００１７】
従って、この請求項４に記載の発明によれば、それぞれの音声通信データを加工し、音色・音量・音質を、より正確に再現することが可能となるとともに、また、再生する場所に応じて、より相応しい合成音声を生成することが可能となる。尚、この再生条件データは、利用者の入力指示に応じたものであっても良いし、通信端末が、再生場所等の条件に応じて、適宜決定するものであっても良い。
【００１８】
また、請求項５に記載の発明のように、
請求項１〜４の何れか一項に記載の通信端末において、
前記作成手段は、入力された音声データの内、所定単位の音声データごとに前記同期調整データを付加することにより、音声通信データを順次作成するように構成（図１６；Ｓ２３１〜Ｓ２３８）しても良い。
【００１９】
この請求項５に記載の発明によれば、音声データを所定単位毎に同期調整データを付加して音声通信データを順次作成できるので、音声通信データの取り扱いがしやすい。例えば上記音声データをパケット化するとともに、上記所定の通信回線を代表的なＩＰネットワークであるインターネットに適用することで、より多数、且つ広範にわたる他機との音声データの送受信が可能となる。
【００２０】
また、請求項６に記載の発明のように、
請求項２〜５の何れか一項に記載の通信端末において、
前記所定の通信回線を介して接続されるサーバ（例えば、図１の管理サーバ１０）に所望演通信件データを送信して、当該所望通信条件データに適合する所望通信条件データを送信した他の通信端末の通信アドレスを受信する照会手段（例えば、図１０のＣＰＵ２１、図１３；Ｓ１３，Ｓ１４，Ｓ１８、Ｓ２１，Ｓ２２）を更に備え、
この照会手段により受信された通信アドレスを基にして、前記送信手段および前記受信手段が、音声通信データの送信および受信を行うように構成しても良い。
【００２１】
ここで所望通信条件とは、通信データの送信及び受信を行うこととなる他の通信端末に望む条件であり、例えば、音声データの送受信を希望する日時、その内容等が挙げられる。
【００２２】
従って、この請求項６に記載の発明によれば、例えば、本発明の通信端末を、他の通信端末とが互いに演奏データを送受信し、リアルタイムのバンド演奏を実現する装置に適用することとすれば、所望通信条件として、演奏を希望する曲目やパート、日時等の条件をサーバへ送信することで、所望通信条件を満たす他機を見つけることができる。
【００２３】
また、請求項７記載の発明のように、
請求項２〜６の何れか一項に記載の通信端末において、
前記送信手段が送信する音声通信データを暗号化する暗号化手段（例えば、図１０のＣＰＵ２１、図１６；Ｓ２４３）と、
前記受信手段が受信した音声通信データを復号する復号化手段（例えば、図１０のＣＰＵ２１、図１５；Ｓ２２２）と、
を更に備えるように構成しても良い。
【００２４】
この請求項７に記載の発明によれば、送信する通信データを暗号化するともに、受信した通信データを復号化することで、上記所定の通信回線を介したデータ通信を行う際のセキュリティを高めることができる。
【００２５】
請求項８に記載の発明は、
所定の通信回線を介して接続された他の通信端末とデータの送受信を行いつつ、前記他の通信端末から受信したデータと入力されたデータと即時合成して再生する通信端末（例えば、図１の演者端末２０）であって、
入力データに予め定められた同期調整データ（例えば、図５の送信端末識別番号及びパケット番号）を付加して通信データを作成する作成手段（例えば、図１０の演者端末２０、図１６ステップＳ２４０）、
を備えることを特徴としている。
【００２６】
この請求項８に記載の発明によれば、入力された音声データに、予め定められた同期調整データを付加した通信データを作成することができる。従って、例えば、当該通信端末の入力データと、所定の通信回線を介して他の通信端末から受信した通信データに含まれる入力データとを、それぞれに対応する同期調整データに従って、正確に同期させて再生することができ、自機（当該通信端末）と他機（他の通信端末）との間の距離に影響されることなく、他機との通信データの送受信を行いつつ、これらのデータを即時合成して再生することが可能となる。
【００２７】
請求項９に記載の発明は、
サーバを介して、前記サーバに接続された他の通信端末とデータの送受信を行いつつ、入力データと他の通信端末から受信したデータとを即時合成して再生する通信端末（例えば、図１８の演者端末２０）であって、
入力データに予め定められた同期調整データを付加して通信データを作成する作成手段を備えることを特徴としている。
【００２８】
この請求項９に記載の発明によれば、入力されたデータに、予め定められた同期調整データを付加した通信データを作成することができる。従って、例えば、当該通信端末の入力データと、サーバを介して他の通信端末から受信した通信データに含まれる入力データとを、それぞれに対応する同期調整データに従って、正確に同期させて再生することができ、自機（当該通信端末）と他機（他の通信端末）との間の距離に影響されることなく、他機との通信データの送受信を行いつつ、これらのデータを即時合成して再生することが可能となる。また、通信端末のデータの送信先はサーバのみであるため、他機（他の通信端末）の台数が増加しても、通信データの送信にかかる負担を増加させずに済む。
【００２９】
【発明の実施の形態】
以下、図面を参照し、発明の実施の形態を詳細に説明する。尚、以下においては、本発明を適用した演奏システムを例にとって説明するが、本発明の適用はこれに限らない。
【００３０】
ここで演奏システムとは、インターネットを介して接続された複数の演者端末（通信端末）が、それぞれに割り当てられたパートで、同時にある曲目の演奏（即ち、合奏）を行うシステムである。この時、合奏に参加している各演者端末においては、利用者によって入力されたパートの演奏音声と、他の演者端末において入力されたパートの演奏音声とが合成された合奏音声が、出力される。尚、各演者端末に割り当てるパートは、それぞれ異なるものであっても良いし、複数の演者端末で同一のパートを割り当てることとしても良い。
【００３１】
図１は、本実施の形態における演奏システム１の構成を示す図である。
同図によれば、演奏システム１は、管理サーバ１０及び複数の演者端末２０より構成されるとともに、これらの機器は、インターネットＮに接続されている。尚、同図においては、３台の演者端末２０が示されているが、勿論、これは何台であっても構わない。
【００３２】
管理サーバ１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、記憶装置、通信装置等がシステムバスを介して接続される、周知のサーバ装置により実現される。また、管理サーバ１０は、Ｗｅｂページ用ファイルを提供するＷｅｂサーバ機能を有している。
【００３３】
演者端末２０は、ＣＰＵ、ＲＡＭ、記憶装置、入力装置、表示装置、通信装置等がシステムバスを介して接続される、周知のＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）により実現される。
【００３４】
図２は、演奏システム１における各機器の間のデータの流れを示す図である。同図（ａ）は、合奏前の様子を、同図（ｂ）は、合奏中の様子を、それぞれ示している。尚、これらのデータは、適宜暗号化され、インターネットＮを介して送受信される。
【００３５】
同図（ａ）によれば、演者端末２０は、利用者の指示入力に応じた演奏条件データを、管理サーバ１０へ送信する。この演奏条件データには、利用者が演奏を希望する曲目、パート及び日時のデータが含まれる。従って、管理サーバ１０は、各演者端末２０から送信される演奏条件データを、受信する（図中▲１▼）。
【００３６】
また、管理サーバ１０は、これら受信した演奏条件データに基づき、合奏に参加する演者端末２０を特定する。そして、これら特定した各演者端末２０に対して、当該合奏の予定を示す合奏予定データを送信する。この合奏予定データには、合奏を予定している日時、曲目及び当該合奏に参加する演者端末２０を示すデータが含まれる。従って、合奏に参加予定の演者端末２０は、それぞれ、管理サーバ１０から送信される合奏予定データを受信する（図中▲２▼）。
【００３７】
一方、同図（ｂ）によれば、合奏が予定された日時となると、管理サーバ１０は、当該合奏に参加予定の演者端末２０それぞれに対して、演奏開始を指示する（図中▲３▼）。
【００３８】
そして、管理サーバ１０から演奏開始が指示された演者端末２０は、先に受信した合奏予定データに基づき、当該合奏に参加する他の演者端末２０と、演奏データの送受信を行い、合奏を実現する。この時、各演者端末２０は、利用者により入力された演奏音声のデータ（以下、適宜「演奏データ」という。）と、他の演者端末２０から受信した演奏データとを合成し、合奏音声として出力する。
【００３９】
即ち、図３に示すように、演者端末２０の利用者が、演者端末２０（図中、「ライブギア」と表記されている。）に接続されたエレキギター等の楽器４１を演奏すると、この演奏に応じた演奏データが、インターネットＮを介して他の演者端末２０に送信される。また、演者端末２０は、インターネットＮを介して共演者の演奏データを受信するとともに、自身の演奏データと合成し、合奏音声としてスピーカ４２より出力する。従って、演者端末２０の利用者にとっては、あたかも共演者（即ち、他の演者端末２０の利用者）と共演しているかのような合奏音声を、聴くことができる。
【００４０】
また、本実施の形態においては、通信プロトコルとして、ＵＤＰ／ＩＰが採用されている。即ち、インターネットＮを経由した管理サーバ１０及び演者端末２０の間のデータ通信は、各機器に割り当てられたＩＰアドレスに基づくＩＰパケットの送受信によって、実現される。
【００４１】
図４は、ＩＰパケットに含まれるＩＰヘッダのフォーマットを示す図である。同図によれば、ＩＰヘッダは、準拠しているＩＰ規格のバージョン（即ち“６”）、当該ＩＰパケットの優先度、通信帯域の予約を保証するためのフローラベル、実データの大きさを示すペイロード長、後続ヘッダのＩＤを示すネクストヘッダ、ルータによる中継限界数を示すホップリミット、送信元の機器（管理サーバ１０、或いは演者端末２０）のＩＰアドレスを示す送信元ＩＰアドレス及び宛先の機器（管理サーバ１０、或いは演者端末２０）のＩＰアドレスを示す宛先ＩＰアドレスより構成される。
【００４２】
また、図５は、ＩＰパケットに含まれる実データ（ペイロード部）のデータ構成を示す図である。尚、同図においては、ＩＰパケットの実データ（ペイロード部）の内、合奏時に、複数の演者端末２０の間で送受信される演奏データについてのデータ構成を示している。
同図によれば、ＩＰパケットに含まれる実データは、指示ヘッダ及び音声データより構成される。
【００４３】
指示ヘッダには、当該ＩＰパケットが演奏システム１のための演奏データであることを示す演奏データ識別、送信元の演者端末２０を示す送信端末識別番号、上記送信元の演者端末２０から送信された何番目のＩＰパケットであるかを示すパケット番号、音声データの記録方式（符号化方式）を示す音声記録方式（即ち“ＰＣＭ”）、その際のパラメータであるサンプリングレート（サンプリング周波数）、ビット数（量子化ビット数）、ビットレート、そして音声データに対するエフェクトを指定するエフェクト条件が含まれている。
【００４４】
ここで、送信端末識別番号及びパケット番号を合わせて、「同期調整データ」という。この同期調整データは、後述のように、演奏データを同期合成するために用いられる。
【００４５】
エフェクトとは、音声データに対して付加する音響効果を意味しており、例えば、エコーやリバーブ（残響）、トーンコントロール、音量バランスの変更、ステレオ化の有無等が該当する。
【００４６】
また、音声データは、利用者によって入力された、アナログ信号である演奏音声を、ＰＣＭ（Ｐｕｌｓｅ　Ｃｏｄｅ　Ｍｏｄｕｌａｔｉｏｎ）方式によってデジタル信号に変換したデータであり、１つのＩＰパケットにつき、５１２サンプリング分のデータが含まれる。即ち、演奏データは、複数の演者端末２０の間で、５１２サンプリング分を単位としてやり取りされる。以下、この１パケット分（即ち、５１２サンプリング分）の音声データを、適宜「音声データパケット」という。
【００４７】
図６は、演奏システム１における通信プロトコルのスタックを示す図である。同図によれば、通信プロトコルは、下位層から順に、イーサネット（登録商標）層（ＰＰＰｏｖｅｒＥｔｈｅｒ）、ＩＰ層（ネットワーク層）、ＵＤＰ層（トランスポート）及びアプリケーション層（ＡＰＩを含む）より構成される。
【００４８】
即ち、演者端末２０が他の演者端末２０から受信したＩＰパケットは、イーサネット（登録商標）層を介してＩＰ層へ渡され、このＩＰ層にて、暗号解読処理がなされる。その後、ＵＤＰ層を経由して、アプリケーション層に渡される。そして、アプリケーション層にて、後述のように、ＣＰＵ２１によりＩＰパケットの実データに含まれる音声データが抜き出され、１つの音声データパケットとして、指示ヘッダとともに、ＤＳＰ２２へ入力される。
【００４９】
また、利用者により演者端末２０へ入力された演奏データは、後述のように、アプリケーション層にて、ＤＳＰ２２により音声データパケットに変換され、ＣＰＵ２１へ出力される。そして、ＵＤＰ層、続いてＩＰ層へ渡され、このＩＰ層にて暗号化処理がなされ、ＩＰパケット化される。その後、生成されたＩＰパケットは、イーサネット（登録商標）層を経由し、他の演者端末２０へ送信される。
【００５０】
ここで、ＩＰ層にて実現されるデータの暗号／復号化について説明する。
暗号化とは、インターネット等のネットワークを通じて文書や画像等のデジタルデータをやりとりする際に、通信途中で第三者に盗み見られたり改ざんされることを防ぐため、予め定められた規則に従ってデータを変換し、解読が極めて困難な状態にすることである。そして、暗号化されたデータを元に戻し、解読可能な状態にすることを復号化という。
【００５１】
また、一般に、暗号／復号化には、暗号表にあたる「鍵」を使用するが、対になる２つの鍵を使う公開鍵暗号方式と、どちらにも同じ鍵を用いる共通鍵暗号方式とがある。前者にはＲＳＡ、ＥｌＧａｍａｌ暗号、楕円曲線暗号等があり、後者には米国政府標準のＤＥＳやＩＤＥＡ、ＦＥＡＬ、ＭＩＳＴＹ等があり、本実施の形態では上記の何れを使うこととしても良い。
【００５２】
次に、管理サーバ１０及び演者端末２０の内部構成について、図７〜図１１を参照して説明する。
【００５３】
図７は、管理サーバ１０の構成を示すブロック図である。
同図によれば、管理サーバ１０は、ＣＰＵ１１、記憶装置１２、ＲＡＭ１３及び通信装置１４より構成され、各部はシステムバス１５によりデータ通信可能に接続されている。
【００５４】
ＣＰＵ１１は、記憶装置１２に記憶されるプログラムに基づいて、管理サーバ１０を構成する各部を集中制御する。具体的には、通信装置１４から入力される信号に応答して、記憶装置１２に記憶されているプログラムを読み出してＲＡＭ１３に一時記憶させるとともに、係るプログラムに基づく処理を実行して、管理サーバ１０を機能させる。その際、ＣＰＵ１１は、処理結果をＲＡＭ１３内の所定領域に格納するとともに、必要に応じて、その処理結果を通信装置１４から外部機器へ送信する。
【００５５】
また、ＣＰＵ１１は、本実施の形態の特徴的な部分として、後述する合奏処理（図１３参照）を実行する。
【００５６】
具体的には、合奏処理において、ＣＰＵ１１は、演者端末２０から送信される演奏条件データを受信すると、この演奏条件データを、ＲＡＭ１３内の演奏条件データ格納領域１３ａに格納する。また、ＣＰＵ１１は、この演奏条件データに適合するデータを演奏条件データ格納領域１３ａに格納されているデータの内から検索し、合奏に参加可能な演者端末２０を特定する。そして、合奏を予定する日時、曲目、特定した演者端末２０のＩＰアドレスを含む合奏予定データを生成する。
【００５７】
その後、生成した合奏予定データを、ＲＡＭ１３内の合奏予定データ格納領域１３ｂに格納するとともに、特定した演者端末２０のそれぞれに対して、生成した合奏予定データを送信する。更に、ＣＰＵ１１は、合奏予定日時の所定時間前となると、当該合奏に参加予定の演者端末２０に対して、演奏開始を指示する。
【００５８】
記憶装置１２は、管理サーバ１０の動作に係る各種処理プログラムや、本実施の形態の機能を実現するためのプログラム（具体的には、合奏プログラム１２ａ）及びこれらのプログラムの実行に係る処理データ等を記憶する。
【００５９】
ＲＡＭ１３は、ＣＰＵ１１により実行される各プログラムを展開するプログラムエリア（不図示）、入力指示や入力データ及び上記プログラムが実行される際に生じる処理結果等を一時的に格納するワークメモリエリアを備えている。また、上記ワークメモリエリアには、演奏条件データ格納領域１３ａ及び合奏予定データ格納領域１３ｂが形成される。
【００６０】
図８は、演奏条件データ格納領域１３ａに格納されるデータの構成を示す図である。
同図によれば、演奏条件データ格納領域１３ａには、演奏条件及びＩＰアドレスが対応付けて格納される。この演奏条件は、演者端末２０から受信した演奏条件データに該当し、演奏を希望する曲目、パート及び日時を含んでいる。尚、これらの格納されているデータは、互いに適合するものが検索され、ＣＰＵ１１により合奏予定データが生成されると、該当するデータが、この演奏条件データ格納領域１３ａより削除される。
【００６１】
図９は、合奏予定データ格納領域１３ｂに格納されるデータの構成を示す図である。
同図によれば、この合奏予定データ格納領域１３ｂには、合奏予定データ、即ち、合奏を予定する日時、曲目及び各パートに割り当てられた演者端末２０のＩＰアドレスが、対応付けて格納される。また、これらの合奏予定データは、合奏を予定する日時が現在時刻に近い順に格納されており、該当する合奏が開始されると、該当するデータが、この合奏予定データ格納領域１３ｂより削除される。
【００６２】
通信装置１４は、インターネットＮを介して他の機器（主に、演者端末２０）とのデータ通信を行うためのインターフェースである。
【００６３】
図１０は、演者端末２０の構成を示すブロック図である。
同図によれば、演者端末２０は、ＣＰＵ２１、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）２２、記憶装置２３、ＲＡＭ２４、入力装置２５、マルチプレクサ２６、サンプルホールド回路２７、Ａ／Ｄ（Ａｎａｌｏｇ−Ｄｉｇｉｔａｌ）変換回路２８、Ｄ／Ａ（Ｄｉｇｉｔａｌ−Ａｎａｌｏｇ）変換回路２９、アンプ３０、表示駆動回路３１、表示装置３２及び通信装置３３より構成される。
【００６４】
ＣＰＵ２１は、記憶装置２３に記憶されるプログラムに基づいて、演者端末２０を構成する各部を集中制御する。具体的には、通信装置３３、或いは入力装置２５から入力される信号に応答して、記憶装置２３に記憶されているプログラムを読み出してＲＡＭ２４に一時記憶させるとともに、係るプログラムに基づく処理を実行して、演者端末２０を機能させる。その際、ＣＰＵ２１は、処理結果をＲＡＭ２４内の所定領域に格納するとともに、必要に応じて、その処理結果を通信装置３３から外部機器へ送信するとともに、表示装置３２に表示させる。
【００６５】
また、ＣＰＵ２１は、本実施の形態に特徴的な部分として、後述する合奏処理（図１３参照）、リンク確立処理（図１４参照）、演奏データ受信処理（図１５参照）及び演奏データ送信処理（図１６参照）を実行する。
【００６６】
具体的には、合奏処理において、ＣＰＵ２１は、利用者の入力指示に応じた演奏条件データを、当該演者端末２０のＩＰアドレスとともに管理サーバ１０へ送信するとともに、管理サーバ１０から送信される合奏予定データを受信する。そして、管理サーバ１０より演奏開始を指示されると、ＣＰＵ２１は、リンク確立処理、次いで演奏処理を実行する。また、この演奏処理において、ＣＰＵ２１は、演奏データ受信処理及び演奏データ送信処理を実行するとともに、ＤＳＰ２２に、後述する演奏データ受信処理（図１５参照）、演奏データ送信処理（図１６参照）及び合奏音声出力処理（図１７参照）を実行させる。
【００６７】
リンク確立処理において、ＣＰＵ２１は、受信した合奏予定データに基づき、合奏に参加する他の演者端末２０に対して、利用者により入力された接続条件を送信する。それとともに、この接続条件と、他の演者端末２０から受信した接続条件とを照合し、当該合奏における接続条件を決定する。
【００６８】
ここで、接続条件には、通信条件及びエフェクト条件が含まれる。
通信条件とは、演者端末２０の間のデータ通信に間する条件であり、具体的には、入力された演奏音声の符号化方式（サンプリング周波数や量子化ビット数等のパラメータを含む）や、他の演者端末２０との間でデータ通信を行う際の接続レート（伝送速度）等が該当する。そして、この通信条件は、各演者端末２０のスペック等に応じて設定可能な条件の内から、利用者の指示により、或いは最適なものが自動的に決定される。
【００６９】
また、エフェクト条件とは、上述のように、演奏音声に対する音響効果に関する条件であり、具体的には、エコーやリバーブ（残響）、トーンコントロールの度合、音量バランス及びステレオ化の有無やそのＬ／Ｒ比等が該当する。そして、このエフェクト条件は、想定する演奏場所（例えば、コンサートホールや野外ステージ、ライブハウス等）に応じて、合奏音声に施すエコーやリバーブ（残響）、トーンコントロール等の度合が決定されたり、或いは、想定するステージ上における各パートの位置（例えば、中央にボーカル、右にギター、左にベース等）に応じて、当該各パートの音声の音量バランスや、ステレオ音声として出力する際の左右バランス（Ｌ／Ｒ比）が決定される。
【００７０】
演奏データ受信処理において、ＣＰＵ２１は、通信装置３３から入力されたＩＰパケットの実データに含まれる音声データを抜き出し、音声データパケットとして、指示ヘッダとともにＤＳＰ２２へ出力する。
【００７１】
また、演奏データ送信処理において、ＣＰＵ２１は、ＤＳＰ２２から入力される音声データパケットに所定のＩＰヘッダ等を付加したＩＰパケットを生成し、通信装置３３へ出力する。
【００７２】
ＤＳＰ２２は、デジタルデータの高速処理に特化したプロセッサである。また、ＤＳＰ２２は、本実施の形態の特徴的な部分として、演奏データ受信処理（図１５参照）、演奏データ送信処理（図１６参照）及び合奏音声出力処理（図１７参照）を実行する。
【００７３】
具体的には、演奏データ受信処理において、ＤＳＰ２２は、ＣＰＵ２１から入力された音声データパケットに対して所定の音響効果処理を行った後、演奏データバッファ２４ｂの所定領域に格納する。
【００７４】
演奏データ送信処理において、ＤＳＰ２２は、Ｄ／Ａ変換回路２９から入力された音声データを入力バッファ２４ａに格納し、５１２サンプリング分の音声データを１つの音声データパケットとしてＣＰＵ２１へ出力する。それとともに、この音声データパケットに対して所定の音響効果処理を行った後、演奏データバッファ２４ｂの所定領域に格納する。
【００７５】
また、合奏音声出力処理において、ＤＳＰ２２は、演奏データバッファ２４ｂに格納されている音声データパケットを合成し、合成後の音声データをＤ／Ａ変換回路２９へ出力する。
【００７６】
図１１は、ＣＰＵ２１及びＤＳＰ２２が、音声データパケットに対して行う処理の概念を示す図である。尚、同図においては、演奏システム１が、自身の演者端末（以下、適宜「演者端末Ａ」という。）及び２台の他の演者端末２０（以下、それぞれを、適宜「演者端末Ｂ」及び「演者端末Ｂ」という。）より構成される場合について、示されている。
【００７７】
管理サーバ１０が受信する演奏データは、上述のように、ＩＰパケットととしてＣＰＵ１１へ入力される。同図においては、このＩＰパケットを簡略し、送信端末識別番号及びパケット番号より構成される同期調整データ及び音声データのみで表しているとともに、ＣＰＵ１１への入力順に、図中左より示している。
【００７８】
また、送信端末識別番号“Ａ”は演者端末Ａを、送信端末識別番号“Ｂ”は演者端末Ｂを、そして送信端末識別番号“Ｃ”は演者端末Ｃを、それぞれ示している。
【００７９】
そして、音声データ“データＡｈ”は、演者端末Ａ自身のパケット番号“ｈ”の音声データパケットを、音声データ“データＢｉ”は、演者端末Ｂより受信したパケット番号“ｉ”の音声データパケットを、そして、音声データ“データＣｊ”は、演者端末Ｃより受信したパケット番号“ｊ”の音声データパケットを、それぞれ示している。
【００８０】
同図（ａ）によれば、ＣＰＵ２１は、入力されたＩＰパケットから音声データを抜き出す。そして、この音声データを１つの音声データパケットとし、付加されている端末識別番号に従って送信元の演者端末２０毎に振り分けるとともに、パケット番号に従って並べ替える。即ち、同図（ａ）においては、図中上から、演者端末Ａ、Ｂ、Ｃの順に振り分けた様子を示している。
【００８１】
次いで、同図（ｂ）によれば、ＤＳＰ２２は、これらの音声データパケットそれぞれに対し、指定されたエフェクト条件に基づいた音響処理を施す。具体的には、エコーやリバーブ、トーンコントロール等のエフェクトを、指定された度合で付加するとともに、指定されたＬ／Ｒ比のステレオデータに変換する。
【００８２】
例えば、音声データ“データＡ０”に対し、所定のエフェクトを付加するとともに、指定されたＬ／Ｒ比のステレオデータ、即ちＬチャネルの音声データ“データＡ０Ｌ”及び右チャネルの音声データ“データＡ０Ｒ”を、生成する。
【００８３】
また、音声データ“データＢ０”及び“データＣ０”についても同様に、所定のエフェクトを付加し、指定されたＬ／Ｒ比で、Ｌチャネルの音声データ“データＢ０Ｌ”及び“データＣ０Ｌ”、そして右チャネルの音声データ“データＢ０Ｒ”及び“データＣ０Ｒ”を、それぞれ生成する。
【００８４】
このように、ＤＳＰ２２によって音響処理が施された音声データパケット（即ち、同図（ｂ）の状態）が、演奏データバッファ２４ｂに格納される。
【００８５】
その後、同図（ｃ）によれば、ＤＳＰ２２は、これら音響処理済みの音声データパケットを合成し、合奏音声を再生するための音声データを生成する。具体的には、これら音響処理済みの音声データパケットの内、パケット番号が同一のもの同士を、チャネル毎に合成する。
【００８６】
例えば、パケット番号“０”については、音声データ“データＡ０Ｌ”、“データＢ０Ｌ”及び“データＣ０Ｌ”を合成し、Ｌチャネルの音声データ“データＡ０Ｌ＋Ｂ０Ｌ＋Ｃ０Ｌ”を生成するとともに、音声データ“データＡ０Ｒ”、“データＢ０Ｒ”及び“データＣ０Ｌ”を合成し、Ｒチャネルの音声データ“データＡ０Ｒ＋Ｂ０Ｒ＋Ｃ０Ｒ”を生成する。
【００８７】
また、パケット番号“１”についても同様に、音声データ“データＡ０Ｌ”、“データＢ０Ｌ”及び“データＣ０Ｌ”を合成し、Ｌチャネルの音声データ“データＡ０Ｌ＋Ｂ０Ｌ＋Ｃ０Ｌ”を生成するとともに、音声データ“データＡ０Ｒ”、“データＢ０Ｒ”及び“データＣ０Ｌ”を合成し、Ｒチャネルの音声データ“データＡ０Ｒ＋Ｂ０Ｒ＋Ｃ０Ｒ”を生成する。
【００８８】
そして、ＤＳＰ２２は、このように生成した音声データを、Ｄ／Ａ変換回路２９へ出力する。
【００８９】
また、図１０において、記憶装置２３は、演者端末２０の動作に係る各種処理プログラムや、本実施の形態の機能を実現するためのプログラム（具体的には、図１３の合奏処理を実行するための合奏プログラム２３ａ、図１４のリンク確立処理を実行するためのリンク確立プログラム２３ｂ、図１５の演奏データ受信処理を実行するための演奏データ受信プログラム２３ｃ、図１６の演奏データ送信処理を実行するための演奏データ送信プログラム２３ｄ及び図１７の合奏音声出力処理を実行するための合奏音声出力プログラム２３ｅ）及びこれらのプログラムに係る処理データ等を記憶する。
【００９０】
ＲＡＭ２４は、ＣＰＵ２１、或いはＤＳＰ２２により実行される各プログラムを展開するプログラムエリア（不図示）、入力指示や入力データ及び上記プログラムが実行される際に生じる処理結果等を一時的に格納するワークメモリエリアを備えている。また、このワークメモリエリアには、入力バッファ２４ａ及び演奏データバッファ２４ｂが形成される。
【００９１】
入力バッファ２４ａは、利用者によって入力された演奏音声のデータ（演奏データ）が格納される領域であり、詳細には、Ａ／Ｄ変換回路２８から入力された、５１２サンプリング分の音声データを格納する領域が確保されている。
【００９２】
演奏データバッファ２４ｂは、演者端末２０自身の演奏データ及び他の演者端末２０から受信した演奏データが格納される領域である。この演奏データバッファ２４ａのデータ構成を、図１２に示す。
【００９３】
図１２は、演奏データバッファ２４ｂのデータ構成を示す図である。
同図によれば、演奏データバッファ２４ｂには、当該演者端末２０へ入力された演奏音声のデータ（演奏データ）を格納する領域ＯＵＴ［０］及び他の演者端末２０から受信した音声データを格納するＮ個の領域ＯＵＴ［ｎ］（但し、ｎ＝１、２、・・・、Ｎである。また、Ｎは、合奏に参加している他の演者端末２０の数である。）が備えられている。
【００９４】
また、これらの領域ＯＵＴ［ｎ］は、合奏に参加している他の演者端末２０と１対１で対応付けられており、各領域ＯＵＴ［ｎ］毎に、対応付けられた演者端末２０から受信された音声データが格納される。
【００９５】
具体的には、これらの領域ＯＵＴ［ｍ］（但し、ｍ＝０、１、・・・Ｎである。）には、音声データパケットが、そのパケット番号に従って格納される。即ち、同図においては、領域ＯＵＴ［ｍ］毎に、音声データパケットが、パケット番号順に、図中左から１つづつ格納された様子を示している。
【００９６】
また、ここで格納される音声データパケットは、所定の音響処理が施された後のデータ、具体的には、所定のエフェクトが付加されるとともに、ステレオ化されたデータである。即ち、同図においては、領域ＯＵＴ［ｍ］毎に、図中上半分にＬチャネル用のデータが、下半分にＲチャネル用のデータが、それぞれ格納された様子を示している。
【００９７】
図１０において、入力装置２５は、演者端末２０の利用者が、演奏を希望する条件や、合奏に参加する他の演者端末２０との接続条件等を入力するためのものであり、文字キー、数字キーや各種機能キーを備えたキーボード又はタッチパネル、或いはマウスやトラックボール、トラックポイント、ポインティング・スティック等のポインティングデバイス等により構成される。そして、これらの操作に応じた操作信号を、ＣＰＵ２１へ出力する。
【００９８】
マルチプレクサ２６は、複数の入力信号の内から１つの信号を選択し、出力する回路であり、具体的には、ＤＳＰ２２から入力される指示信号（選択信号）に従って、入力される演奏音声の一つを選択し、サンプルホールド回路２７へ出力する。
【００９９】
サンプルホールド回路２７は、ＤＳＰ２２から入力されるクロック信号の入力タイミングに従い、マルチプレクサ２６から入力される演奏音声（アナログ信号）の波高を一時的にホールド（保持）するとともに、Ａ／Ｄ変換回路２８へ出力する。
【０１００】
Ａ／Ｄ変換回路２８は、サンプルホールド回路２７から入力されるアナログ信号をデジタル信号に変換する回路であり、変換後のデジタル音声データを、ＤＳＰ２２へ出力する。
【０１０１】
Ｄ／Ａ変換回路２９は、ＤＳＰ２２から入力されるデジタル信号をアナログ信号に変換する回路であり、変換後のアナログ音声信号を、アンプ３０へ出力する。
【０１０２】
アンプ３０は、Ｄ／Ａ変換回路２９から入力されるアナログ信号（アナログ音声信号）を所定レベルに増幅し、増幅後の信号を、外部接続されたスピーカ（図３のスピーカ４２に相当する。）へ出力する。
【０１０３】
表示駆動回路３１は、ＣＰＵ２１から入力される表示信号に基づいて表示装置３２を制御し、各種画面を表示させる回路である。また、表示装置３２は、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）やＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）等により構成され、ＣＰＵから入力される表示信号に従った表示画面を表示する。
【０１０４】
通信装置３３は、インターネットＮを介して他の機器（主に、管理サーバ１０及び他の演者端末２０）とのデータ通信を行うためのインターフェースである。
【０１０５】
次に、演奏システム１の動作を、図１３〜図１７を参照して説明する。
【０１０６】
図１３は、合奏処理を説明するためのフローチャートである。この合奏処理は、ＣＰＵ２１及びＤＳＰ２２により、記憶装置２３に記憶された合奏プログラム２３ａに従って、実行される処理である。
【０１０７】
同図によれば、演者端末２０において、ＣＰＵ２１は、利用者からの入力指示に従い、管理サーバ１０が提供するＷｅｂサイトへアクセスし（ステップＳ１１）、この管理サーバ１０から送信されるＨＰ情報（Ｗｅｂページを表示させるための情報）を受信する（ステップＳ１２）。そして、このＨＰ情報に基づいて、表示装置３２に参加登録画面（不図示）を表示させる。
【０１０８】
次いで、この参加登録画面上の入力フォーマットに従って、利用者により演奏を希望する曲目やパート、日時等を含む演奏条件データが入力されると（ステップＳ１３）、ＣＰＵ２１は、この演奏条件データ及び演者端末２０のＩＰアドレスを、参加登録要請とともに、管理サーバ１０へ送信する（ステップＳ１４）。
【０１０９】
一方、管理サーバ１０において、ＣＰＵ２１は、演者端末２０から送信される演奏希望条件及びＩＰアドレスを受信し（ステップＳ１５）、この演奏条件データ及びＩＰアドレスを対応付けて、ＲＡＭ２４内の演奏条件データ格納領域１３ａに追加格納する。
【０１１０】
次いで、ＣＰＵ２１は、演奏条件データ格納領域１３ａに格納されているデータの内から、受信した演奏条件データに適合するデータを検索し、合奏に参加可能な演者端末２０を特定する（ステップＳ１６）。具体的には、演奏を希望する曲目及び日時が一致し、且つパートが異なるデータを検索する。
【０１１１】
演奏条件が適合するデータを検索すると、ＣＰＵ２１は、これらのデータに基づいて合奏予定データを生成する。そして、生成した合奏予定データを、ＲＡＭ２４内の合奏予定データ格納領域１３ｂ内に、詳細には、合奏予定日時が現在日時に最も近い順に並ぶ位置に追加格納するとともに、上記特定した各演者端末２０に対し、この生成した合奏予定データを送信する（ステップＳ１７）。尚、この合奏予定データには、上述のように、演奏を予定する日時、曲目及び各パートに割り当てた演者端末２０のＩＰアドレスが含まれている。そして、ＣＰＵ２１は、演奏条件データ格納領域１３ａから、上記適合すると特定したデータを削除する。
【０１１２】
尚、図示されていないが、ステップＳ１６において、受信した演奏条件データに適合するデータが演奏条件データ格納領域１３ａに格納されていない、即ち合奏に参加可能な演者端末２０が特定できない場合には、ＣＰＵ２１は、再度ステップＳ１２へ移行し、続いて受信される演奏条件データを待機する。
【０１１３】
また、管理サーバ１０のＣＰＵ２１は、随時、合奏予定データ格納領域１３ｂの先頭に格納されている演奏予定日時と、現在日時とを比較している。そして、演奏予定日時の所定時間前になると（ステップＳ１９：ＹＥＳ）、該当する演者端末２０、即ち合奏に参加予定の演者端末２０の全てに対して、演奏開始を指示する（ステップＳ２０）。
【０１１４】
そして、演者端末２０においては、管理サーバ１０より演奏開始を指示されると（ステップＳ２１）、ＣＰＵ２１は、後述のリンク確立処理（図１４参照）を実行することで、当該合奏に参加予定の他の演者端末２０と、接続条件の提示・照合を行うとともに、直接通信リンクを確立する（ステップＳ２２）。
【０１１５】
その後、ＣＰＵ２１は、後述の演奏処理を実行することで、複数の演者端末２０による合奏を実現する（ステップＳ２３）。そして、この演奏処理が終了することで、予定した合奏が終了となる。
【０１１６】
図１３のステップＳ２１にて実行されるリンク確立処理について、説明する。図１４は、リンク確立処理を説明するためのフローチャートである。このリンク確立処理は、上述のように、図１３のステップＳ２１にて実行される処理であり、ＣＰＵ２１及びＤＳＰ２２により、記憶装置２３２記憶されたリンク確立プログラム２３ｂに従って実行される。
【０１１７】
同図によれば、演者端末２０において、ＣＰＵ２１は、利用者からの入力指示に従った接続条件を、他の演者端末２０それぞれに対して提示するとともに、他の演者端末２０それぞれから提示される接続条件と照合する（ステップＳ２１１）。尚、ここで照合される接続条件は、上述のように、通信条件及びエフェクト条件が含まれるものである。
【０１１８】
照合の結果、他の演者端末２０から提示された接続条件との合意が得られないと判断した場合（ステップＳ２１２：ＮＯ）、ＣＰＵ２１は、合意されていない接続条件の内容を、代替案の候補とともに表示装置３２に表示させる（ステップＳ２１３）。
【０１１９】
そして、これらの代替案から選択された内容を、新たな接続条件として他の演者端末２０に提示し、他の演者端末２０から提示される接続条件との照合を、再度行う（ステップＳ２１４）。
【０１２０】
接続条件の再照合の結果、合意が得られた場合には（ステップＳ２１２：ＹＥＳ）、ＣＰＵ２１は、合意した接続条件、詳細には、演者端末２０自身に関する接続条件を、ＲＡＭ２４に記憶しておく。
その後、ＣＰＵ２１は、本リンク確立処理を終了する。
【０１２１】
次に、図１３のステップＳ２３にて実行される演奏処理について説明する。
この演奏処理において、ＣＰＵ２１は、演奏データ受信処理（図１５参照）、演奏データ送信処理（図１６参照）及び合奏音声出力処理（図１７参照）の３つの処理を、並行して実行する。そして、合奏の終了を判断した場合には、実行中のこれらの処理を終了させ、当該演奏処理を終了する。
【０１２２】
図１５は、演奏データ受信処理を説明するためのフローチャートである。この演奏データ受信処理は、ＣＰＵ２１及びＤＳＰ２２により、記憶装置２３に記憶された演奏データ受信プログラム２３ｃに従って実行される。
【０１２３】
同図によれば、演者端末２０において、ＣＰＵ２１は、通信装置３３からＩＰパケットが入力されると（ステップＳ２２１：ＹＥＳ）、入力されたＩＰパケットに対して、暗号解読処理を含むＩＰ層プロトコル処理（ステップＳ２２２）及びＵＤＰ層プロトコル処理を行うとともに（ステップＳ２２３）、アプリケーション層処理により、このＩＰパケットから音声データを抜き出し、音声データパケットとして、指示ヘッダとともにＤＳＰ２２へ出力する（ステップＳ２２４）。
【０１２４】
その後、ＣＰＵ２１は、本処理の終了が指示されているか否かを判定する（ステップＳ２２５）。判定の結果、終了を指示されていない場合には（ステップＳ２２５：ＮＯ）、ＣＰＵ２１は、再度ステップＳ２２１に移行し、続いて入力されるＩＰパケットに対して、同様の処理を繰り返す（ステップＳ２２１〜Ｓ２２４）。
【０１２５】
また、ステップＳ２２５において、本処理の終了が指示されていると判定した場合には（ステップＳ２２５：ＹＥＳ）、ＣＰＵ２１は、本演奏データ受信処理を終了する。
【０１２６】
一方、ＤＳＰ２２は、ＣＰＵ２１から音声データパケットが入力されると（ステップＳ２２６）、入力された音声データパケットに対し、ともに転送される指示ヘッダに含まれる音声記録方式に従って、デコード処理を行う（ステップＳ２２７）。
【０１２７】
次いで、ＤＳＰ２２は、上記指示ヘッダに含まれるエフェクト条件に従って、デコードした音声データパケットに対する音響処理を行った後（ステップＳ２２８）、演奏データバッファ２４ｂの該当する領域に格納する（ステップ２２９）。
【０１２８】
具体的には、図１２を参照して説明したように、エコーやリバーブ、トーンコントロール等のエフェクトを、指定された度合で付加した後、指定されたＬ／Ｒ比でステレオ化する。そして、演奏データバッファ２４ｂ内の、送信元の演者端末２０に対応する領域ＯＵＴに、パケット番号に従って格納する。
【０１２９】
その後、ＤＳＰ２２は、再度ステップＳ２２６に移行し、続いて入力される音声データパケットに対して、同様の処理を繰り返す（ステップＳ２２６〜Ｓ２２９）。
【０１３０】
図１６は、演奏データ送信処理を説明するためのフローチャートである。この演奏データ送信処理は、ＣＰＵ２１及びＤＳＰ２２により、記憶装置３３に記憶された演奏データ送信プログラム２３ｄに従って実行される。
【０１３１】
同図によれば、演者端末２０において、本処理を開始した後、所定のサンプリング周期が経過すると（ステップＳ２３１：ＹＥＳ）、ＤＳＰ２２は、Ａ／Ｄ変換回路２８から出力される音声データを取込み（ステップＳ２３２）、取込んだ音声データを、入力バッファ２４ａへ格納する（ステップＳ２３３）。
【０１３２】
尚、ここで、サンプリング周期とは、アナログ信号である演奏音声をデジタル信号に変換する際のサンプリング周波数であり、図１４のステップＳ２１２において合意された接続条件に含まれている。
【０１３３】
次いで、ＤＳＰ２２は、１パケット分、即ち５１２サンプリング分の音声データの取込みを行ったか否かを判定し（ステップＳ２３４）、行っていないと判定した場合には（ステップＳ２３４：ＮＯ）、再度ステップＳ２３１に移行し、再度サンプリング周期を経過後、同様の処理を繰り返す（ステップＳ２３１〜Ｓ２３４）。
【０１３４】
このように、サンプリング周期毎に音声データの取込みを繰り返し、１パケット分、即ち５１２サンプリング分の音声データの取込みを行ったと判定すると（ステップＳ２３４：ＹＥＳ）、次いで、ＤＳＰ２２は、入力バッファ２４ａに格納されている音声データを読み出す。そして、読み出した音声データに対して所定の音響処理を行った後（ステップＳ２３５）、演奏データバッファ２４ｂの該当する領域に格納する（ステップＳ２３６）。
【０１３５】
即ち、図１２を参照して説明したように、先に合意した接続条件に含まれるエフェクト条件に従い、１パケット分の音声データに、エコーやリバーブ、トーンコントロール等のエフェクトを付加するとともに、指定されたＬ／Ｒ比でステレオ化する。
【０１３６】
また、ＤＳＰ２２は、上記入力バッファ２４ｂから読み出した１パケット分の音声データを、ＰＣＭ方式に従ってエンコードした後（ステップＳ２３７）、音声データパケットとして、指示ヘッダとともにＣＰＵ２１へ転送する（ステップＳ２３８）。尚、この指示ヘッダは、上述のように、演者端末２０自身を識別する送信端末識別番号やパケット番号及び上記音声記録方式、エフェクト条件等を含むものである。
【０１３７】
その後、ＤＳＰ２２は、再度ステップＳ２３１へ移行し、次の１パケット分の音声データを取込み、同様の処理を繰り返す（ステップＳ２３１〜Ｓ２３８）。
【０１３８】
一方、ＣＰＵ２１は、ＤＳＰ２２から音声データパケットが入力されると（ステップＳ２３９）、この音声データパケットに、同期調整データ、即ち演者端末２０自身を識別する送信端末識別番号及び音声データパケットが入力された順を示すパケット番号を付加する（ステップＳ２４０）。そして、当該合奏に参加している他の演者端末２０の内から、１つの演者端末２０を、演奏データの送信先として特定する（ステップＳ２４１）。
【０１３９】
次いで、ＣＰＵ２１は、ＵＤＰ層プロトコル処理（ステップＳ２４２）、暗号化処理を含むＩＰ層プロトコル処理を行い（ステップＳ２４３）、ＩＰパケットを生成する。この時、ＣＰＵ２１は、上記特定した演者端末２０のＩＰアドレスを、ＩＰヘッダの宛先ＩＰアドレスに設定する。そして、ＣＰＵ２１は、生成したＩＰパケットを通信装置３３へ出力し、上記特定した他の演者端末２０へ送信させる（ステップＳ２４４）。
【０１４０】
その後、ＣＰＵ２１は、当該合奏に参加している他の演者端末２０の内、当該音声データパケットを含むＩＰパケットが未送信の演者端末２０が存在するか否かを判定する（ステップＳ２４５）。
【０１４１】
判定の結果、存在する場合には（ステップＳ２４５：ＹＥＳ）、ＣＰＵ２１は、再度ステップＳ２３９に移行し、未送信の演者端末２０に対して、同様の処理を繰り返す（ステップＳ２３９〜Ｓ２４５）。
【０１４２】
また、ステップＳ２４５において、合奏に参加している全ての他の演者端末２０に、当該音声データを含むＩＰパケットを送信したと判定した場合には（ステップＳ２４５：ＮＯ）、ＣＰＵ２１は、続いて、本処理の終了が指示されているか否かを判定する（ステップＳ２４６）。
【０１４３】
判定の結果、終了を指示されていない場合には（ステップＳ２４６：ＮＯ）、ＣＰＵ２１は、再度ステップＳ２３９に移行し、続いて入力される音声データパケットに対して、同様の処理を繰り返す（ステップＳ２３９〜Ｓ２４６）。一方、ステップＳ２４６において、本処理の終了が指示されていると判定した場合には（ステップＳ２４６：ＹＥＳ）、ＣＰＵ２１は、本処理を終了する。
【０１４４】
図１７は、合奏音声出力処理を説明するためのフローチャートである。この合奏音声出力処理は、ＤＳＰ２２により、記憶装置３３に記憶された合奏音声出力プログラム２３ｅに従って実行される。
【０１４５】
同図によれば、演者端末２０において、本処理を開始した後、所定の再生サンプリング周期が経過すると（ステップＳ２５１：ＹＥＳ）、ＤＳＰ２２は、演奏データバッファ２４ｂから、所定のパケット番号の音声データパケットを読み出す（ステップＳ２５２）。
【０１４６】
尚、ここで、再生サンプリング周期とは、１パケット分の音声データ（即ち、５１２サンプリング分）を再生するのに要する時間であり、具体的には、上記サンプリング周期の５１２倍に相当する。
【０１４７】
次いで、ＤＳＰ２２は、演奏データバッファ２４ｂから読み出した音声データパケットを、図１２を参照して説明したように、チャネル毎に合成（同期合成）し、合奏音声を再現するための音声データパケットを生成する（ステップＳ２５３）。
【０１４８】
その後、ＤＳＰ２２は、生成した音声データパケットの出力レベルを調整した後、Ｄ／Ａ変換回路２９へ出力する（ステップＳ２５４）。尚、ここでＤ／Ａ変換回路２９に入力された音声データは、アナログ信号に変換された後、アンプ３０にて増幅され、演奏音声としてスピーカから出力される。
【０１４９】
そして、ＤＳＰ２２は、本処理の終了が指示されているか否かを判定する（ステップＳ２５５）。判定の結果、終了が指示されていない場合には（ステップＳ２５５５：ＮＯ）、ＤＳＰ２２は、再度ステップＳ２５１に移行し、次のパケット番号の音声データパケットに対して、同様の処理を繰り返す（ステップＳ２５１〜Ｓ２５５）。
【０１５０】
また、ステップＳ２５５において、本処理の終了が指示されていると判定した場合には（ステップＳ２５５：ＹＥＳ）、ＤＳＰ２２は、本処理を終了する。
【０１５１】
このように、演者端末２０において、並行して実行される３つの処理（演奏データ受信処理、演奏データ送信処理及び合奏音声出力処理）を全て終了すると、ＣＰＵ２１は、演奏処理を終了する。
【０１５２】
以上のように構成することで、インターネットＮを介して接続された複数の演者端末２０それぞれにおいて、入力された演奏音声のデータと、他の演者端末２０から送信される演奏データとを、パケット番号に従って合成・出力することが可能となる。即ち、各演者端末２０の間の距離に関わらず、これらの演者端末２０における演奏音声を正確に同期させて再生することができ、リアルタイムな合奏を実現することが可能となる。
【０１５３】
更に、演者端末２０に入力される演奏音声のデータを、エフェクト条件とともに送信することで、入力された演奏音声に、利用者が所望する音響効果（例えば、エコーやリバーブ、ステレオ化等）を施した合奏音声を、再生することが可能となる。
【０１５４】
尚、本発明は、上記実施の形態に限定されることなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である。例えば、演者端末２０間の演奏データの送受信を、管理サーバ１０を介して行うこととしても良い。
【０１５５】
即ち、図１８に示すように、各演者端末２０は、入力された演奏音声のデータ（演奏データ）を、管理サーバ１０へ送信する。そして、管理サーバ１０は、これらの演奏データを受信するとともに、各演者端末２０へ一斉配信する。また、演者端末２０は、管理サーバ１０から送信される演奏データを、パケット番号に従って同期させ、指定されたエフェクト条件に従って音響処理を施し、合奏音声として出力する。
【０１５６】
従って、演者端末２０による演奏データの送信先は、管理サーバ１０のみとなるため、演者端末２０における、演奏データの送受信に係る負担を軽減することができるとともに、合奏に参加する演者端末２０が多数になる程、より効果的となる。
【０１５７】
また、この時、管理サーバ１０は、各演者端末２０から送信されるこれらの演奏データを、パケット番号に従って同期させ、各演者端末２０へ配信することとしても良いし、更に、管理サーバ１０は、上記パケット番号に従って同期させた演奏データを、指定されたエフェクト条件に基づいてエフェクト付加及びステレオ化し、各演者端末２０へ送信することとしても良い。
【０１５８】
また、上記実施の形態においては、各演者端末２０の利用者は１人であるとしたが、複数であっても良い。その場合には、マルチプレクサ２６は、各利用者から入力される複数の演奏音声を、ＤＳＰ２２からの指示信号に従って分離・選択し、サンプルホールド回路２７へ出力する。そして、ＤＳＰ２２及びＣＰＵ２１は、これらの演奏音声を、利用者毎に振り分けて処理する。
【０１５９】
【発明の効果】
請求項１又は１０に記載の発明によれば、入力された音声データに、予め定められた同期調整データを付加した通信データを作成することができる。
【０１６０】
請求項２に記載の発明によれば、他の通信端末から受信した音声通信データに含まれる音声データと作成手段により作成された同期調整データが付加された入力音声データに含まれる音声データとを、それぞれに対応する同期調整データに従って、同期した合成音声として再生することができる。
【０１６１】
請求項３に記載の発明によれば、音声通信データを受信した順序に関わらず、正しい順序で合成音声の再生ができる。
【０１６２】
請求項４に記載の発明によれば、それぞれの音声通信データを加工し、音色・音量・音質を、より正確に再現することが可能となるとともに、また、再生する場所に応じて、より相応しい合成音声を生成することが可能となる。
【０１６３】
請求項５に記載の発明によれば、音声データを所定単位毎に同期調整データを付加して音声通信データを順次作成できるので、音声通信データの取り扱いがしやすい。
【０１６４】
請求項６に記載の発明によれば、例えば、本発明の通信端末を、他の通信端末とが互いに演奏データを送受信し、リアルタイムのバンド演奏を実現する装置に適用することとすれば、所望通信条件として、演奏を希望する曲目やパート、日時等の条件をサーバへ送信することで、所望通信条件を満たす他機を見つけることができる。
【０１６５】
請求項７に記載の発明によれば、送信する通信データを暗号化するともに、受信した通信データを復号化することで、上記所定の通信回線を介したデータ通信を行う際のセキュリティを高めることができる。
【０１６６】
請求項８，９に記載の発明によれば、入力された音声データに、予め定められた同期調整データを付加した通信データを作成することができる。
【図面の簡単な説明】
【図１】本実施の形態における演奏システムの構成を示す図である。
【図２】演奏システムにおけるデータの流れを示す図である。
【図３】本実施の形態の概念を示す図である。
【図４】ＩＰパケットのＩＰヘッダのフォーマットを示す図である。
【図５】ＩＰパケットの実データの構成を示す図である。
【図６】演奏システムにおける通信プロトコルを示す図である。
【図７】管理サーバの内部構成を示すブロック図である。
【図８】演奏条件データ格納領域のデータ構成を示す図である。
【図９】合奏予定データ格納領域のデータ構成を示す図である。
【図１０】演者端末の内部構成を示すブロック図である。
【図１１】演奏データに対する処理の概略を示す図である。
【図１２】演奏データバッファのデータ構成を示す図である。
【図１３】合奏処理を説明するためのフローチャートである。
【図１４】リンク確立処理を説明するためのフローチャートである。
【図１５】演奏データ受信処理を説明するためのフローチャートである。
【図１６】演奏データ送信処理を説明するためのフローチャートである。
【図１７】合奏音声出力処理を説明するためのフローチャートである。
【図１８】本実施の形態の変形例を示す図である。
【符号の説明】
１　演奏システム
１０　管理サーバ
１１　ＣＰＵ
１２　記憶装置
１２ａ　合奏プログラム
１３　ＲＡＭ
１３ａ　演奏条件データ格納領域
１３ｂ　合奏予定データ格納領域
１４通信装置
２０　演者端末
２１　ＣＰＵ
２２　ＤＳＰ
２３　記憶装置
２３ａ　合奏プログラム
２３ｂ　リンク確立プログラム
２３ｃ　演奏データ受信プログラム
２３ｄ　演奏データ送信プログラム
２３ｅ　合奏音声出力プログラム
２４　ＲＡＭ
２４ａ　入力バッファ
２４ｂ　演奏データバッファ
２５　入力装置
２６　マルチプレクサ
２７　サンプルホールド回路
２８　Ａ／Ｄ変換回路
２９　Ｄ／Ａ変換回路
３０　アンプ
３１　表示駆動回路
３２　表示装置
３３　通信装置
Ｎ　インターネット

Claims (10)

1. 通信回線を介して接続された他の通信端末と音声データの送受信を行いつつ、前記他の通信端末から受信した音声データと入力された音声データとを合成し、合成音声として再生する通信端末であって、
   入力音声データに、予め定められている同期調整データを付加して音声通信データを作成する作成手段
   を備えることを特徴とする通信端末。
2. 前記作成手段により作成された同期調整データが付加された音声通信データを送信する送信手段と、
   前記他の通信端末から送信された同期調整データが付加された音声通信データを受信する受信手段と、
   この受信手段により受信された同期調整データが付加された音声通信データに含まれる音声データと前記作成手段により作成された同期調整データが付加された入力音声データに含まれる音声データとを、それぞれに対応する同期調整データに従って、同期した合成音声として再生する再生手段と
   を備えることを特徴とする請求項１に記載の通信端末。
3. 前記同期調整データには順序データが含まれ、
   前記受信手段により受信された音声通信データを蓄積記憶する他データ記憶手段を更に備え、
   前記再生手段は、前記他データ記憶手段に記憶された音声通信データを、その音声通信データに含まれる順序データに従って読み出し、前記入力された音声データと共に同期した合成音声として再生することを特徴とする請求項２に記載の通信端末。
4. 前記作成手段は、作成する音声通信データに、再生条件を更に付加する再生条件付加手段を有し、
   前記再生手段は、前記受信手段により受信された音声通信データに含まれる音声データを、その音声通信データに含まれる再生条件データに基づいて再生することを特徴とする請求項２又は３に記載の通信端末。
5. 前記作成手段は、入力された音声データの内、所定単位の音声データごとに前記同期調整データを付加することにより、音声通信データを順次作成することを特徴とする請求項１〜４の何れか一項に記載の通信端末。
6. 前記所定の通信回線を介して接続されるサーバに所望通信条件データを送信して、当該所望通信条件データに適合する所望通信条件データを送信した他の通信端末の通信アドレスを受信する照会手段を更に備え、
   この照会手段により受信された通信アドレスを基にして、前記送信手段および前記受信手段が、音声通信データの送信及び受信を行うことを特徴とする請求項２〜５の何れか一項に記載の通信端末。
7. 前記送信手段が送信する音声通信データを暗号化する暗号化手段と、
   前記受信手段が受信した音声通信データを復号する復号化手段と、
   を更に備えることを特徴とする請求項２〜６の何れか一項に記載の通信端末。
8. 所定の通信回線を介して接続された他の通信端末とデータの送受信を行いつつ、前記他の通信端末から受信したデータと入力されたデータとを即時合成して再生する通信端末であって、
   入力データに予め定められた同期調整データを付加して通信データを作成する作成手段、
   を備えることを特徴とする通信端末。
9. サーバを介して、このサーバに接続された他の通信端末とデータの送受信を行いつつ、入力データと他の通信端末から受信したデータとを即時合成して再生する通信端末であって、
   入力データに予め定められた同期調整データを付加して通信データを作成する作成手段
   を備えることを特徴とする通信端末。
10. 所定の通信回線を介して接続された他の通信端末と音声データの送受信を行なうコンピュータに、
    入力された音声データに予め定められた同期調整データを付加して音声通信データを作成する作成機能と、
    前記他の通信端末から送信された同期調整データが付加された音声通信データを受信する受信機能と、
    この受信機能により受信された同期調整データが付加された音声通信データに含まれる音声データと前記作成機能により作成された同期調整データが付加された入力音声データに含まれる音声データとを、それぞれに対応する同期調整データに従って、同期した合成音声として再生する音声合成再生機能と、
    を実現させるためのプログラム。

Images