JP2007256502A - 演奏データ遠隔通信システムおよびその制御方法を実現するためのプログラム - Google Patents
演奏データ遠隔通信システムおよびその制御方法を実現するためのプログラム Download PDFInfo
- Publication number
- JP2007256502A JP2007256502A JP2006079347A JP2006079347A JP2007256502A JP 2007256502 A JP2007256502 A JP 2007256502A JP 2006079347 A JP2006079347 A JP 2006079347A JP 2006079347 A JP2006079347 A JP 2006079347A JP 2007256502 A JP2007256502 A JP 2007256502A
- Authority
- JP
- Japan
- Prior art keywords
- performance data
- information
- terminal
- emotion
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Electrophonic Musical Instruments (AREA)
- Image Analysis (AREA)
Abstract
【課題】ユーザのプライバシーを守りつつ、ユーザの感情を示す情報を合成した演奏データを端末間で送受信することが可能となる演奏データ遠隔通信システムおよびその制御方法を実現するためのプログラムを提供する。
【解決手段】ユーザの顔を撮像して得られた撮像データから、特徴抽出部102により、ユーザの顔の特徴が抽出され、この抽出された特徴から、表情抽出部103により、ユーザの顔の表情が抽出され、この抽出された顔の表情を示す表情情報が、合成部106により、演奏データと合成されて、送信部108を介して、他の端末200に送信される。一方、他の端末200から送信されてきた演奏データは、受信部110を介して受信され、分離部111により、受信した演奏データから演奏情報と表情情報とが分離され、演奏情報は、音源回路109により、楽音信号に変換され、表情情報は、キャラクタ合成部112により、キャラクタに反映されて、表情の反映されたキャラクタが、表示装置113上に表示される。
【選択図】図2
【解決手段】ユーザの顔を撮像して得られた撮像データから、特徴抽出部102により、ユーザの顔の特徴が抽出され、この抽出された特徴から、表情抽出部103により、ユーザの顔の表情が抽出され、この抽出された顔の表情を示す表情情報が、合成部106により、演奏データと合成されて、送信部108を介して、他の端末200に送信される。一方、他の端末200から送信されてきた演奏データは、受信部110を介して受信され、分離部111により、受信した演奏データから演奏情報と表情情報とが分離され、演奏情報は、音源回路109により、楽音信号に変換され、表情情報は、キャラクタ合成部112により、キャラクタに反映されて、表情の反映されたキャラクタが、表示装置113上に表示される。
【選択図】図2
Description
本発明は、通信ネットワークを介して相互に接続された複数の端末間で、演奏データの送受信を行う演奏データ遠隔通信システムおよびその制御方法を実現するためのプログラムに関する。
通信ネットワークを介して相互に接続された複数の端末間で、演奏データの送受信を行う演奏データ遠隔通信システムは、従来から知られている。
このような演奏データ遠隔通信システムとして、演奏データに加えて、音声データや画像データを各端末間で送受信するようにしたものがある(たとえば、特許文献1参照)。この従来の演奏データ遠隔通信システムでは、複数の端末のうちの一部端末は、カメラを備え、そのユーザの演奏状況などを、カメラを用いて撮像し、生成した撮像データを、通信ネットワークを介して他の端末に送信することができるように構成されている。
特開2003−255935号公報
しかし、上記従来の演奏データ遠隔通信システムでは、端末間で撮像データの送受信がなされるので、通信時のデータ量が多くなってしまう。
さらに、上記従来の演奏データ遠隔通信システムでは、ユーザの演奏状況などをそのまま撮像しているので、その結果得られた撮像データには、ユーザの顔や背景がそのまま入ることになる。そして、このような撮像データが他の端末に送信されることになるので、ユーザのプライバシーが守られない。もちろん、ユーザによっては、この程度のプライバシーについては気にしないという人もいるが、そのようなユーザでも、他のユーザに「見られている」という意識が働き、演奏に影響が出てしまう虞はあり得る。
ところで、ユーザを撮像して得られた撮像データから表情などの情報を抽出し、表情に合ったキャラクタ画像を生成する技術も知られている。たとえば、特開2003−16475号公報には、生成したキャラクタ画像を、ネットワークを介して他の端末に送信したり、表情特徴情報を、ネットワークを介して他の端末に送信後、他の端末において、キャラクタ画像を生成するようにしたものが記載されている。このような技術によれば、データ量の増大とプライバシーが守られないという、2つの問題を解決することができる。
しかし、演奏データと同時にキャラクタ画像や表情特徴情報を送信することについては、何ら考慮されていない。
本発明は、この点に着目してなされたものであり、ユーザのプライバシーを守りつつ、ユーザの感情を示す情報を合成した演奏データを端末間で送受信することが可能となる演奏データ遠隔通信システムおよびその制御方法を実現するためのプログラムを提供することを目的とする。
上記目的を達成するため、請求項1に記載の演奏データ遠隔通信システムは、通信回線を介して相互に接続され、第1および第2のユーザによってそれぞれ操作される第1および第2の端末を含み、該第1の端末と該第2の端末との間で演奏データの送受信を行う演奏データ遠隔通信システムであって、前記第1の端末は、前記第1のユーザの顔を撮像して、撮像データを生成する撮像手段と、該撮像手段によって生成された撮像データから、前記第1のユーザの顔の特徴を抽出し、該抽出した特徴を示す特徴情報あるいは前記第1のユーザの感情を示す感情情報を生成する情報生成手段と、該情報生成手段によって生成された特徴情報または感情情報を演奏データと合成する合成手段と、該合成手段によって、前記特徴情報または前記感情情報が合成された演奏データを前記第2の端末に送信する送信手段とを有し、前記第2の端末は、前記第1の端末の前記送信手段によって送信された演奏データを受信する受信手段と、該受信手段によって受信された演奏データから、該演奏データと合成されている、前記特徴情報または前記感情情報を取り出す取り出し手段と、該取り出し手段によって取り出された前記特徴情報または前記感情情報に基づいて、当該特徴または感情を反映させたキャラクタを生成して表示する表示手段と、前記受信された演奏データに基づいて楽音信号を生成する楽音信号生成手段とを有することを特徴とする。
好ましくは、前記第1の端末は、前記第1のユーザによって指示された顔の特徴を示す特徴情報または感情を示す感情情報を生成する第2の情報生成手段をさらに有し、前記合成手段は、前記情報生成手段によって生成された特徴情報または感情情報に代えて、前記第2の情報生成手段によって生成された特徴情報または感情情報を演奏データと合成することを特徴とする。
上記目的を達成するため、請求項3に記載の演奏データ遠隔通信システムは、通信回線を介して相互に接続され、第1および第2のユーザによってそれぞれ操作される第1および第2の端末を含み、該第1の端末と該第2の端末との間で演奏データの送受信を行う演奏データ遠隔通信システムであって、前記第1の端末は、前記第1のユーザによって指示された顔の特徴を示す特徴情報または感情を示す感情情報を生成する情報生成手段と、該情報生成手段によって生成された特徴情報または感情情報を演奏データと合成する合成手段と、該合成手段によって、前記特徴情報または感情情報が合成された演奏データを前記第2の端末に送信する送信手段とを有し、前記第2の端末は、前記第1の端末の前記送信手段によって送信された演奏データを受信する受信手段と、該受信手段によって受信された演奏データから、該演奏データと合成されている、前記特徴情報または感情情報を取り出す取り出し手段と、該取り出し手段によって取り出された特徴情報または感情情報に基づいて、当該特徴または感情を反映させたキャラクタを生成して表示する表示手段と、前記受信された演奏データに基づいて楽音信号を生成する楽音信号生成手段とを有することを特徴とする。
上記目的を達成するため、請求項4に記載のプログラムは、請求項1と同様の技術的思想によって実現できる。
上記目的を達成するため、請求項5に記載のプログラムは、請求項3と同様の技術的思想によって実現できる。
請求項1または4に記載の発明によれば、第1のユーザの顔を撮像して得られた撮像データから、顔の特徴や感情が抽出され、抽出された顔の特徴や感情をそれぞれ示す特徴情報または感情情報が、演奏データと合成されて、第2の端末に送信され、第2の端末では、第1の端末から送信されてきた演奏データから、特徴情報または感情情報が取り出され、取り出された特徴情報または感情情報に基づいて、当該感情の反映されたキャラクタが生成されて表示されるので、ユーザのプライバシーを守りつつ、ユーザの感情を示す情報を合成した演奏データを端末間で送受信することが可能となる。そして、感情情報のデータ量は、画像データのデータ量とは比較にならないほど小さいので、通信時のデータ量を削減することができる。さらに、データの送受信については、演奏データについての送受信だけでよいので、データの送受信の仕組みを簡単化することができる。
請求項2に記載の発明によれば、第1の端末は、第1のユーザによって指示された顔の特徴を示す特徴情報または感情を示す感情情報を生成する第2の情報生成手段をさらに有し、前記第1の端末の合成手段は、前記撮像に基づいて生成された特徴情報または感情情報に代えて、前記第2の情報生成手段によって生成された特徴情報または感情情報を演奏データと合成するので、第1のユーザの実際の顔の特徴または感情とは異なった特徴または感情を示す特徴情報または感情情報を、第2の端末に送信することができる。具体的には、第1のユーザが、実際には泣いた顔をしていたとしても、第2のユーザに泣いていることを悟られないように、笑う、平常などの他の顔の特徴または感情を示す特徴情報または感情情報を第2の端末に送信することができる。
請求項3または5に記載の発明によれば、請求項1または4に記載の発明と同様に、ユーザのプライバシーを守り、かつ通信時のデータ量を削減しつつ、データの送受信の仕組みを簡単化することができ、さらに、請求項2に記載の発明と同様に、第1のユーザの実際の顔の特徴または感情とは異なった特徴または感情を示す特徴情報または感情情報を、第2の端末に送信することができる。
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
本発明の一実施の形態に係る演奏データ遠隔通信システムは、同様に構成された、複数(たとえば、2つ)の端末であって、通信ネットワークを介して相互に接続されたものによって構成されている。
図1は、本実施の形態に係る演奏データ遠隔通信システムに含まれる1つの端末100の概略構成を示すブロック図である。
同図に示すように、端末100は、音高情報を入力するための鍵盤を含む演奏操作子1と、各種情報を入力するための複数のスイッチを含む設定操作子2と、演奏操作子1の操作状態を検出する検出回路3と、設定操作子2の操作状態を検出する検出回路4と、主にユーザの顔を撮像する撮像装置5と、装置全体の制御を司るCPU6と、該CPU6が実行する制御プログラムや、各種テーブルデータ等を記憶するROM7と、演奏データ、各種入力情報および演算結果等を一時的に記憶するRAM8と、タイマ割込み処理における割込み時間や各種時間を計時するタイマ9と、各種情報等を表示する、たとえば液晶ディスプレイ(LCD)および発光ダイオード(LED)等を備えた表示装置10と、前記制御プログラムを含む各種アプリケーションプログラムや各種楽曲データ、各種データ等を記憶する外部記憶装置11と、外部からのMIDI(Musical Instrument Digital Interface)メッセージを入力したり、MIDIメッセージを外部に出力したりするMIDIインターフェース(I/F)12と、通信ネットワーク400を介して、たとえば他の端末200やサーバコンピュータ(以下、「サーバ」と略して言う)300とデータの送受信を行う通信インターフェース(I/F)13と、演奏操作子1から入力された演奏データや予め設定された演奏データ等を楽音信号に変換する音源回路14と、該音源回路14からの楽音信号に各種効果を付与するための効果回路15と、該効果回路15からの楽音信号を音響に変換する、たとえば、DAC(Digital-to-Analog Converter)やアンプ、スピーカ等のサウンドシステム16とにより構成されている。
上記構成要素3〜15は、バス17を介して相互に接続され、CPU6にはタイマ9が接続され、MIDII/F12には他のMIDI機器500が接続され、通信I/F13には通信ネットワーク400が接続され、音源回路14には効果回路15が接続され、効果回路15にはサウンドシステム16が接続されている。ここで、通信I/F13および通信ネットワーク400は、有線方式のものに限らず、無線方式のものであってもよい。また、両方式のものを備えていてもよい。
外部記憶装置11としては、たとえば、フレキシブルディスクドライブ(FDD)、ハードディスクドライブ(HDD)、CD−ROMドライブおよび光磁気ディスク(MO)ドライブ等を挙げることができる。そして、外部記憶装置11には、前述のように、CPU6が実行する制御プログラムも記憶でき、ROM7に制御プログラムが記憶されていない場合には、この外部記憶装置11に制御プログラムを記憶させておき、それをRAM8に読み込むことにより、ROM7に制御プログラムを記憶している場合と同様の動作をCPU6にさせることができる。このようにすると、制御プログラムの追加やバージョンアップ等が容易に行える。
通信I/F13は、上述のように、たとえばLAN(Local Area Network)やインターネット、電話回線等の通信ネットワーク400に接続されており、該通信ネットワーク400を介して、サーバ300に接続される。外部記憶装置11に上記各プログラムや各種パラメータが記憶されていない場合には、通信I/F13は、サーバ300からプログラムやパラメータをダウンロードするために用いられる。クライアントとなる電子音楽装置は、通信I/F13および通信ネットワーク400を介してサーバ300へとプログラムやパラメータのダウンロードを要求するコマンドを送信する。サーバ300は、このコマンドを受け、要求されたプログラムやパラメータを、通信ネットワーク400を介して電子音楽装置へと配信し、電子音楽装置が通信I/F13を介して、これらプログラムやパラメータを受信して外部記憶装置11に蓄積することにより、ダウンロードが完了する。
他の端末200は、端末100と同様の構成要素によって構成されている。
なお、端末100および200は、上述の構成から分かるように、電子鍵盤楽器の実施形態を採用しているが、その実施形態は、鍵盤楽器に限らず、弦楽器タイプ、管楽器タイプ、打楽器タイプ等の形態でもよい。
以上のように構成された演奏データ遠隔通信システムが実行する制御処理を、図2および図3を参照して詳細に説明する。
図2は、本実施の形態の演奏データ遠隔通信システムが実行する制御処理を説明するための図であり、同図には、本実施の形態の演奏データ遠隔通信システムの制御処理が、端末100が実行する制御処理を中心に記載されている。
端末100、特にCPU6は、主として、
(1)ユーザの顔の特徴から表情を抽出し、抽出した表情を示す表情情報を演奏データと合成し、合成した演奏データを他の端末200に送信する演奏データ送信処理
(2)他の端末200から送信されてきた演奏データを受信し、受信した演奏データに合成されている、表情情報を取り出し、その取り出した表情情報に基づいて、当該表情を反映したキャラクタを生成して表示するとともに、受信した演奏データから演奏情報を取り出し、その取り出した演奏情報に基づいて、楽音信号を生成する演奏データ受信処理
の2種類の処理を実行する。
(1)ユーザの顔の特徴から表情を抽出し、抽出した表情を示す表情情報を演奏データと合成し、合成した演奏データを他の端末200に送信する演奏データ送信処理
(2)他の端末200から送信されてきた演奏データを受信し、受信した演奏データに合成されている、表情情報を取り出し、その取り出した表情情報に基づいて、当該表情を反映したキャラクタを生成して表示するとともに、受信した演奏データから演奏情報を取り出し、その取り出した演奏情報に基づいて、楽音信号を生成する演奏データ受信処理
の2種類の処理を実行する。
上記(1)の演奏データ送信処理は、図2の制御ブロック101〜108によって行われ、上記(2)の演奏データ受信処理は、図2の制御ブロック109〜113によって行われる。ここで、制御ブロック102,103,105,106,111および112は、CPU6に相当し、制御ブロック104は、前記設定操作子2に相当し、制御ブロック108および110は、通信I/F13に相当する。
まず、上記(1)の演奏データ送信処理について説明する。
ユーザが、撮像装置5(=101)を用いて、自分の顔を撮像すると、撮像装置5は、ユーザの顔を含む撮像画像を、デジタルデータである、撮像データに変換し、この撮像データに所定の画像変換(たとえば、画質を改善するための画像変換)を施した後、前記RAM8の所定位置に確保された撮像データ格納領域(図示せず)に格納する。本実施の形態では、撮像装置5として、デジタルビデオカメラを採用するため、撮像データは、動画像データ(つまり、1フレーム分の撮像データが一定間隔で順次供給されるようなデータ)である。したがって、撮像データ格納領域は、多数フレーム分の撮像データを格納できるように構成されている。
特徴抽出部102は、撮像データ格納領域に格納された、複数フレーム分の撮像データに基づいて、ユーザの顔の特徴を抽出し、抽出した特徴を示す特徴情報を生成する。顔の特徴の抽出とは、たとえば、目や口などの、顔の所定の部位がどのような状態になっているかを抽出することである。具体的には、顔の部位として、口が特定された場合、その口が、開いているか、閉じているか、もし開いているなら、どの程度開いているかといった状態を抽出する。抽出方法は、本発明の特徴ではないので、公知のもの、たとえば、エッジ検出を用いればよい。また、顔の輪郭の検出や顔の部位の特定も、エッジ検出を用いて行えばよい。なお、特徴情報のデータフォーマットとしては、たとえば、抽出した特徴を文字コードで表現したテキスト形式を挙げることができる。もちろん、データ量の少ないフォーマットであれば、これに限られる訳ではない。
次に、表情抽出部103は、特徴抽出部102によって抽出されて生成された特徴情報に基づいて、ユーザの表情を抽出し、抽出した表情を示す表情情報を生成した後、その表情情報を選択部105に供給する。たとえば、特徴抽出部102から、ユーザの口の開き具合を示す特徴情報が供給された場合、表情抽出部103は、そのユーザの口の開き具合から、ユーザの表情(笑っている、怒っている、泣いている、平常など)を抽出(推定)する。なお、表情情報のデータフォーマットも、上記特徴情報のデータフォーマットと同様に、抽出した表情を文字コードで表現したテキスト形式を採用すればよい。
選択部105には、表情抽出部103から供給された表情情報だけでなく、表情指定部104から任意に指定された表情情報も供給される。具体的には、ユーザが選択しそうな表情情報を多数、端末内に予め記憶しておき、該多数の表情情報を表示装置上に一覧表示し、その中から表情指定部104にて選択したものを、選択部105へと供給する。選択部105は、通常は表情抽出部103から供給された撮像データに基づく表情情報を選択するが、表情指定部104による選択がある場合に限り、表情抽出部103からの表情情報に代えて、表情指定部104にて選択指定された表情情報を選択して、合成部106へと供給する。これにより、送信側の端末は、そのユーザの実際の感情とは異なった感情を示す感情情報を、受信側の端末に送信することができる。具体的には、送信側の端末のユーザが、実際には泣いた顔をしていたとしても、受信側の端末のユーザに泣いていることを悟られないように、送信側の端末は、笑う、平常などの他の感情を示す感情情報を受信側の端末に送信することができる。
なお、表示装置上に表情一覧を表示し、この中からいずれかの表情を表情指定部104にて選択指定するものに限らず、選択指定できる表情種類があまり多くない場合には、表情指定部104として複数の表情種類をそれぞれ指定するための専用の表情選択操作子を設け、いずれかの操作子の操作に応じて直接表情種類を選択指定するようにしてもよい。
また、表情抽出部103にて、1つの表情に特定できない場合もあり得る。具体的には、撮像データに基づいて抽出され生成された特徴情報からは、複数種類の表情のうちのどれに該当するか一意に特定できない場合がある。このような場合には、表示装置上に複数種類の表情候補を表示し、いずれか1つを表情指定部104にて選択指定させるようにしてもよい。
合成部106には、ユーザが前記演奏操作子1(=107)を用いて行った演奏に応じて発生した演奏情報も供給され、合成部106は、供給された表情情報を、供給された演奏情報に基づいて生成した演奏データと合成し、合成した演奏データを送信部108に供給する。本実施の形態では、演奏データとして、MIDI形式のデータを採用しているので、表情情報は、MIDIメッセージの1つである、システムエクスクルーシブメッセージ中に埋め込まれる。もちろん、演奏データとして、他のフォーマットのものを採用してもよいが、その場合には、どのようにして表情情報を演奏データと合成するかを予め決めておく必要があるとともに、該演奏データでサポートされているデータ形式にて表情情報を埋め込むようにする。
送信部108は、供給された演奏データを、通信ネットワーク400を介して、リアルタイムに他の端末200に送信する。演奏データをリアルタイムに通信ネットワーク経由で伝達する技術は、たとえば特開平10−240242などで公知であり、ここでの詳細説明は省略する。
なお、ユーザが演奏操作子1を用いて行った演奏に応じて発生した演奏情報は、音源回路14(=109)にも供給され、音源回路14は、供給された演奏情報に基づいて楽音信号を生成し、生成した楽音信号を前記効果回路15に供給する。これにより、ユーザは、他の端末200に送信した、自分の演奏がどのようなものであるかを確認することができる。
次に、前記(2)の演奏データ受信処理について説明する。
前述のように、他の端末200も、端末100と同様の構成であるため、他の端末200からも、表情情報の合成された演奏データが送信されてくる。他の端末200が、端末100に向けて、表情情報の合成された演奏データを送信すると、端末100は、受信部110を介して、その演奏データを受信し、受信部110は、受信した演奏データを分離部111に供給する。
分離部111は、受信した演奏データから、演奏情報と表情情報を分離して取り出し、取り出した演奏情報を音源回路14に供給するとともに、取り出した表情情報をキャラクタ合成部112に供給する。
音源回路14は、供給された演奏情報に基づいて楽音信号を生成し、生成した楽音信号を効果回路15に供給する。
キャラクタ合成部112は、供給された表情情報に基づいて、その表情情報が示す表情を反映させたキャラクタ(を示す画像データ)を生成し、そのキャラクタを表示装置10(=113)に供給する。表示装置10は、供給されたキャラクタをそのまま表示する。
図3は、表情の反映されたクマのキャラクタを、表示装置10上に表示させたときの表示例を示し、同図(a)は、平常時の表情を反映させたキャラクタを示し、同図(b)は、怒ったときの表情を反映させたキャラクタを示している。ここで、キャラクタは、1種類のみ存在し、選択の余地がないと、面白味に欠けるため、通常は、複数のキャラクタの中から選択されたものを使用する。その選択の方法としては、たとえば、端末100の前記ROM7あるいは前記外部記憶装置11内に、多数のキャラクタが予め記憶され、その中から、ユーザがいずれかを選択する方法や、他の端末200からの演奏データに埋め込まれている表情情報中に、選択されるキャラクタを示す選択情報が書き込まれ、その選択情報が示すキャラクタを、端末100内の多数のキャラクタから自動的に選択する方法などが考えられる。なお、キャラクタは、端末100内に予め記憶されたものをそのまま使うのではなく、ユーザが端末100を用いて自由に作成でき、その作成したものを使うようにしてもよい。
このように、本実施の形態では、ユーザの顔を含むその周辺の画像データをそのまま他の端末に送るのではなく、ユーザの表情を示す表情情報(そのデータ量は、画像データのデータ量とは比較にならないほど小さい)を他の端末に送るようにしたので、送信時のデータ量を削減することができる。また、表情情報の送られた他の端末では、表情情報に基づいて、当該表情の反映されたキャラクタが表示されるので、送信側のユーザのプライバシーが守られる。さらに、表情情報は、演奏データと合成され、表情情報の合成された演奏データが他の端末に送信されるので、他の端末では、送信側のユーザの演奏を聴きながら、そのユーザの表情までうかがうことができ、他の端末のユーザは、単調になりがちな演奏を興味を持って聴くことができる。また、表情情報は、演奏データと合成された状態で、端末間を送受信されるので、各端末は、演奏データを送受信する仕組みだけ備えていれば、別途表情情報を送受信する仕組みを備えていなくてもよく、これにより、データの送受信の仕組みを簡単化することができる。
なお、本実施の形態では、撮像データとして、動画像データを採用したが、静止画像データを採用してもよい。静止画像データを採用した場合には、取り扱うデータの量が、動画像データより少なくなるので、CPU6として、演算能力の低いものを採用したときには、静止画像データを採用した方が、好ましい。
また、本実施の形態では、抽出した特徴情報から表情を抽出し、あるいは表情指定部104にて表情を指定し、抽出したあるいは指定した表情を示す表情情報を、演奏データと合成し、合成した演奏データを他の端末に送信するようにしたが、これに限らず、抽出した特徴情報あるいは予め端末内に記憶され、図示しない特徴指定部にて指定された顔の特徴情報を、演奏データと合成して、他の端末に送信し、他の端末側で、演奏データから、特徴情報を取り出し、この特徴情報から表情を抽出し、抽出した表情をキャラクタに反映させるようにしてもよい。
また、本実施の形態では、送信側の端末のユーザの顔の表情を抽出するようにしたが、表情より意味の広い、感情(親しみや憎しみなどを含む)を、顔を含むユーザの身振りから抽出し、抽出した感情を示す感情情報を、演奏データと合成するようにしてもよい。
なお、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
この場合、記憶媒体から読出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードおよび該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
プログラムコードを供給するための記憶媒体としては、たとえば、フレキシブルディスク、ハードディスク、光磁気ディスク、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、DVD+RW、磁気テープ、不揮発性のメモリカード、ROMなどを用いることができる。また、通信ネットワークを介してサーバコンピュータからプログラムコードが供給されるようにしてもよい。
また、コンピュータが読出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOSなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
5…撮像装置(撮像手段),6…CPU(情報生成手段、合成手段、送信手段、受信手段、取り出し手段、表示手段、楽音信号生成手段、第2の情報生成手段),10…表示装置(表示手段),14…音源回路(楽音信号生成手段),13…通信I/F(送信手段、受信手段),100…端末(第1の端末),200…他の端末(第2の端末)
Claims (5)
- 通信回線を介して相互に接続され、第1および第2のユーザによってそれぞれ操作される第1および第2の端末を含み、該第1の端末と該第2の端末との間で演奏データの送受信を行う演奏データ遠隔通信システムであって、
前記第1の端末は、
前記第1のユーザの顔を撮像して、撮像データを生成する撮像手段と、
該撮像手段によって生成された撮像データから、前記第1のユーザの顔の特徴を抽出し、該抽出した特徴を示す特徴情報あるいは前記第1のユーザの感情を示す感情情報を生成する情報生成手段と、
該情報生成手段によって生成された特徴情報または感情情報を演奏データと合成する合成手段と、
該合成手段によって、前記特徴情報または前記感情情報が合成された演奏データを前記第2の端末に送信する送信手段と
を有し、
前記第2の端末は、
前記第1の端末の前記送信手段によって送信された演奏データを受信する受信手段と、
該受信手段によって受信された演奏データから、該演奏データと合成されている、前記特徴情報または前記感情情報を取り出す取り出し手段と、
該取り出し手段によって取り出された前記特徴情報または前記感情情報に基づいて、当該特徴または感情を反映させたキャラクタを生成して表示する表示手段と、
前記受信された演奏データに基づいて楽音信号を生成する楽音信号生成手段と
を有する
ことを特徴とする演奏データ遠隔通信システム。 - 前記第1の端末は、前記第1のユーザによって指示された顔の特徴を示す特徴情報または感情を示す感情情報を生成する第2の情報生成手段をさらに有し、前記合成手段は、前記情報生成手段によって生成された特徴情報または感情情報に代えて、前記第2の情報生成手段によって生成された特徴情報または感情情報を演奏データと合成することを特徴とする請求項1に記載の演奏データ遠隔通信システム。
- 通信回線を介して相互に接続され、第1および第2のユーザによってそれぞれ操作される第1および第2の端末を含み、該第1の端末と該第2の端末との間で演奏データの送受信を行う演奏データ遠隔通信システムであって、
前記第1の端末は、
前記第1のユーザによって指示された顔の特徴を示す特徴情報または感情を示す感情情報を生成する情報生成手段と、
該情報生成手段によって生成された特徴情報または感情情報を演奏データと合成する合成手段と、
該合成手段によって、前記特徴情報または感情情報が合成された演奏データを前記第2の端末に送信する送信手段と
を有し、
前記第2の端末は、
前記第1の端末の前記送信手段によって送信された演奏データを受信する受信手段と、
該受信手段によって受信された演奏データから、該演奏データと合成されている、前記特徴情報または感情情報を取り出す取り出し手段と、
該取り出し手段によって取り出された特徴情報または感情情報に基づいて、当該特徴または感情を反映させたキャラクタを生成して表示する表示手段と、
前記受信された演奏データに基づいて楽音信号を生成する楽音信号生成手段と
を有する
ことを特徴とする演奏データ遠隔通信システム。 - 通信回線を介して相互に接続され、第1および第2のユーザによってそれぞれ操作される第1および第2の端末をそれぞれ制御する制御モジュールを含み、該第1の端末と該第2の端末との間で演奏データの送受信を行う演奏データ遠隔通信システムを制御する制御モジュールをコンピュータに実行させるためのプログラムであって、
前記第1の端末を制御する制御モジュールは、
前記第1のユーザの顔を撮像して、撮像データを生成する撮像手段によって生成された撮像データから、前記第1のユーザの顔の特徴を抽出し、該抽出した特徴を示す特徴情報あるいは前記第1のユーザの感情を示す感情情報を生成する情報生成モジュールと、
該情報生成モジュールによって生成された特徴情報または感情情報を演奏データと合成する合成モジュールと、
該合成モジュールによって、前記特徴情報または前記感情情報が合成された演奏データを、送信手段を介して前記第2の端末に送信する送信モジュールと
を有し、
前記第2の端末を制御する制御モジュールは、
前記第1の端末の前記送信手段によって送信された演奏データを、受信手段を介して受信する受信モジュールと、
該受信モジュールによって受信された演奏データから、該演奏データと合成されている、前記特徴情報または前記感情情報を取り出す取り出しモジュールと、
該取り出しモジュールによって取り出された前記特徴情報または前記感情情報に基づいて、当該特徴または感情を反映させたキャラクタを生成して、表示手段上に表示する表示モジュールと、
前記受信された演奏データに基づいて楽音信号を生成する楽音信号生成モジュールと
を有する
ことを特徴とするプログラム。 - 通信回線を介して相互に接続され、第1および第2のユーザによってそれぞれ操作される第1および第2の端末をそれぞれ制御する制御モジュールを含み、該第1の端末と該第2の端末との間で演奏データの送受信を行う演奏データ遠隔通信システムを制御する制御モジュールをコンピュータに実行させるためのプログラムであって、
前記第1の端末を制御する制御モジュールは、
前記第1のユーザによって指示された顔の特徴を示す特徴情報または感情を示す感情情報を生成する情報生成モジュールと、
該情報生成モジュールによって生成された特徴情報または感情情報を演奏データと合成する合成モジュールと、
該合成モジュールによって、前記特徴情報または感情情報が合成された演奏データを、送信手段を介して前記第2の端末に送信する送信モジュールと
を有し、
前記第2の端末を制御する制御モジュールは、
前記第1の端末の前記送信手段によって送信された演奏データを、受信手段を介して受信する受信モジュールと、
該受信モジュールによって受信された演奏データから、該演奏データと合成されている、前記特徴情報または感情情報を取り出す取り出しモジュールと、
該取り出しモジュールによって取り出された特徴情報または感情情報に基づいて、当該特徴または感情を反映させたキャラクタを生成して、表示手段上に表示する表示モジュールと、
前記受信された演奏データに基づいて楽音信号を生成する楽音信号生成モジュールと
を有する
ことを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006079347A JP2007256502A (ja) | 2006-03-22 | 2006-03-22 | 演奏データ遠隔通信システムおよびその制御方法を実現するためのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006079347A JP2007256502A (ja) | 2006-03-22 | 2006-03-22 | 演奏データ遠隔通信システムおよびその制御方法を実現するためのプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007256502A true JP2007256502A (ja) | 2007-10-04 |
Family
ID=38630819
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006079347A Withdrawn JP2007256502A (ja) | 2006-03-22 | 2006-03-22 | 演奏データ遠隔通信システムおよびその制御方法を実現するためのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007256502A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012533120A (ja) * | 2009-07-09 | 2012-12-20 | マイクロソフト コーポレーション | プレーヤーの表現に基づく視覚表示の表現方法及びシステム |
JP2015143762A (ja) * | 2014-01-31 | 2015-08-06 | ブラザー工業株式会社 | カラオケシステム、及びカラオケ装置 |
-
2006
- 2006-03-22 JP JP2006079347A patent/JP2007256502A/ja not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012533120A (ja) * | 2009-07-09 | 2012-12-20 | マイクロソフト コーポレーション | プレーヤーの表現に基づく視覚表示の表現方法及びシステム |
US9519989B2 (en) | 2009-07-09 | 2016-12-13 | Microsoft Technology Licensing, Llc | Visual representation expression based on player expression |
JP2015143762A (ja) * | 2014-01-31 | 2015-08-06 | ブラザー工業株式会社 | カラオケシステム、及びカラオケ装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20020055398A (ko) | 전자 서적 송출장치, 전자 서적 장치 및 기록매체 | |
JP2010252047A (ja) | 電子装置及び電子装置の設定方法 | |
JP4268667B2 (ja) | 音声情報記録装置 | |
JP4563440B2 (ja) | 電子絵本システム及び電子絵本システム制御装置 | |
JP2006146454A (ja) | 情報変換装置および情報変換方法 | |
JP2007256502A (ja) | 演奏データ遠隔通信システムおよびその制御方法を実現するためのプログラム | |
KR101124798B1 (ko) | 전자 그림책 편집 장치 및 방법 | |
JP6229433B2 (ja) | 操作案内サーバ、操作案内システム、画像形成装置およびプログラム | |
JP2010008893A (ja) | 電子音楽装置 | |
JP2006208959A (ja) | カラオケ演奏装置 | |
US20240078989A1 (en) | Information processing method, information processing apparatus, storage medium for storing program, and information processing system | |
JP2012118286A (ja) | 利用者属性対応カラオケシステム | |
JP2002132664A (ja) | 電子メールシステム並びに電子メール出力処理方法およびそのプログラムが記録された記録媒体 | |
JP2002024143A (ja) | 受信端末、通信端末およびアニメーション・キャラクタ表示方法 | |
KR20080029424A (ko) | 디지털 음반 생성 방법 및 시스템 | |
JP2006011002A (ja) | 音声応答装置、音声応答方法および音声応答プログラム | |
JP2005266671A (ja) | ロボット及び音声再生方法 | |
JP4248589B2 (ja) | 音声認識システム | |
JP5458541B2 (ja) | 電子音楽装置およびその制御方法を実現するためのプログラム | |
JP2020056907A (ja) | クラウド音声変換システム | |
JP2007123960A (ja) | 記録再生装置及び記録再生方法 | |
JP2004110342A (ja) | コンテンツファイル生成装置、コンテンツデータ取出し装置およびそれらのためのコンピュータプログラム | |
JP2004086124A (ja) | メタデータ制作装置及び制作方法 | |
JP2005041369A (ja) | 通信網を用いる車載機器の画像表示カスタマイズシステム | |
JP2004133119A (ja) | 携帯端末装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20090602 |