JP2011221064A - カラオケシステム - Google Patents

Abstract

【課題】音声の音色を変換するカラオケシステムにおいて、ユーザーが容易に変換する音色の種類を選択することができるカラオケシステムを提供する。
【解決手段】マイクロフォン３０から出力される音声信号及び伴奏音楽情報に基づいて出力信号を生成する出力信号生成手段を有するカラオケ装置本体２０と、前記出力信号を音声に再生するスピーカー４０とからなり、傾度を測定する傾度センサーと、前記傾度センサーが測定した傾度情報を前記カラオケ装置本体に送信する通信手段を有する携帯端末６０を更に有し、カラオケ装置本体２０は、前記傾度情報に基づき、マイクロフォン３０が出力する音声信号が変換される音色種類を決定する音色種類決定手段と、前記音色種類に基づいて、マイクロフォン３０が出力する音声信号の音色を変換して変換音声情報を生成する音色変換手段を更に有する。
【選択図】図１

Description

本発明は、音声の音色を変換するカラオケシステムに関する。

従来から特許文献１に示されるように、ユーザーによる音声の音色を変換するカラオケシステムが提案されている。

特開平１−２０５９７号公報

特許文献１に示されるカラオケシステムでは、変換する音色が固定されていたので、変換する音色を容易に選択することが困難であった。
本発明は、上記問題を解決し、音声の音色を変換するカラオケシステムにおいて、ユーザーが容易に変換する音色の種類を選択することができるカラオケシステムを提供することを目的とする。

上記課題を解決するためになされた請求項１に記載の発明は、
音声から音声信号を生成するマイクロフォンと、
伴奏音楽情報を取得する伴奏音楽情報取得手段と、前記マイクロフォンから出力される音声信号及び前記伴奏情報取得手段が取得した伴奏音楽情報に基づいて出力信号を生成する出力信号生成手段を有するカラオケ装置本体と、
前記出力信号を音声に再生するスピーカーとからなるカラオケシステムにおいて、
傾度を測定する傾度センサーと、
前記傾度センサーが測定した傾度情報を前記カラオケ装置本体に送信する通信手段を有する携帯端末を更に有し、
前記カラオケ装置本体は、
前記携帯端末が送信する傾度情報に基づき、マイクロフォンが出力する音声信号が変換される音色種類を決定する音色種類決定手段と、
前記音色種類決定手段が決定した音色種類に基づいて、マイクロフォンが出力する音声信号の音色を変換して変換音声情報を生成する音色変換手段を更に有し、
出力信号生成手段は、前記変換音声情報と伴奏音楽情報を合成して出力信号を生成することを特徴とする。

請求項２に記載の発明は、請求項１に記載の発明において、
音色種類決定手段は、携帯端末が送信する傾度情報を閾値に基づき、前記携帯端末の姿勢を判定し、音色種類を決定することを特徴とする。
これにより、音色の種類が確実に決定される。

請求項３に記載の発明は、請求項１又は請求項２に記載の発明において、
カラオケ装置本体は、マイクロフォンが出力した音声信号の音程を、伴奏音楽情報に基づいて補正する音程補正手段を更に有することを特徴とする。
これにより、ユーザーが伴奏音楽の音程を外して発声した場合であっても、伴奏音楽に合った変換音声情報が生成される。

請求項４に記載の発明は、請求項１〜請求項３に記載の発明において、
カラオケ装置本体は、マイクロフォンが出力した音声信号のリズムを、伴奏音楽情報に基づいて補正するリズム補正手段を更に有することを特徴とする。
これにより、ユーザーが伴奏音楽のリズムを外して発声した場合であっても、伴奏音楽に合った変換音声情報が生成される。

請求項５に記載の発明は、請求項１〜請求項４に記載の発明において、
携帯端末は、加速度を測定する加速度センサーを更に有し、
送信手段は、前記加速度センサーが測定した加速度情報を、通信手段を介して前記カラオケ装置本体に送信し、
カラオケ装置本体は、携帯端末から送信された加速度情報に基づいて音色変換手段が生成した変換音声情報に効果を付加する効果付加手段を更に有することを特徴とする。
これにより、ユーザーは、携帯端末を動かすという簡単な操作により、変換音声情報に効果を付加させることが可能となる。

本発明によれば、カラオケ装置本体は携帯端末の傾度情報に基づき音色種類を決定するので、ユーザーは携帯端末を傾けるという容易な操作により、楽音の種類を選択することが可能となる。

本発明の実施の形態を示すカラオケシステムの全体図である。 カラオケシステムのブロック図である。 メイン処理のフロー図である。 音色決定処理のフロー図である。 音程補正処理のフロー図である。 リズム補正処理のフロー図である。 効果付加処理のフロー図である。 音色決定の説明図である。 音程比較処理の説明図である。 リズム補正処理の説明図である。 付加効果処理の説明図である。

（本発明の概要）
以下に図面を参照しつつ、本発明の好ましい実施の形態を示す。図１に示されるように、本発明のカラオケシステム１００は、カラオケ装置本体２０と、このカラオケ本体装置２０と接続しているマイクロフォン３０、スピーカー４０、画像表示装置５０、携帯端末６０とから構成されている。カラオケ装置本体２０は、公衆通信網９００と接続している。カラオケ装置本体２０は、公衆通信網９００から「伴奏動画情報」を取得する。そして、カラオケ装置本体２０は、「伴奏動画情報」から「伴奏音楽情報」を抽出し、この「伴奏音楽情報」とマイクロフォン３０から出力された「音声信号」を合成して「出力信号」を生成する。そして、前記「出力信号」スピーカー４０に出力する。また、カラオケ装置本体２０は、取得した「伴奏動画情報」から「伴奏動画信号」を生成し、当該「伴奏動画信号」を画像表示装置５０に出力する。

ユーザーは、スピーカー４０から再生される伴奏音楽を聴きながら、或いは、画像表示装置５０で表示される伴奏動画を見ながら、マイクロフォン３０に発声する。本発明では、マイクロフォン３０から出力された「音声信号」は、カラオケ装置本体２０で音色が変換されて、スピーカー４０に出力される。ユーザーは、携帯端末６０を傾けることにより、「音声信号」が変換される音色の種類を選択できるようになっている。また、ユーザーは、携帯端末６０を、振ることにより、「音声信号」に効果を付加することができるようになっている。以下に、このような機能を実現するカラオケシステム１００について詳細に説明する。

（カラオケシステムのブロック図）
図２を用いて、以下にカラオケシステム１００のブロック図の説明をする。カラオケ装置本体２０は、ＣＰＵ１１、記憶部１３、音声入力インターフェース１４、出力信号生成部１５、画像生成部１６、通信部１７、外部通信部１８、操作部１９を有している。これらの構成は、相互にバス９で接続されている。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１は、記憶部１３と協動して、各種演算、処理を行う。

記憶部１３は、主記憶装置であるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及び、不揮発性メモリーやハードディスク等の補助記憶装置から構成されている。ＲＡＭは、ＣＰＵ１１のワーキングエリアとして使用され、ＣＰＵ１１で処理されるプログラムや、ＣＰＵ１１が処理するデータを、そのアドレス空間に一時的に記憶する。
記憶部１３の補助記憶装置には、制御部３０を制御する各種プログラムやパラメータが記憶されている。当該各種プログラムが、ＣＰＵ１１で処理されることにより、各種機能を実現している。記憶部１３の補助記憶装置には、伴奏動画情報取得プログラム１３ａ、伴奏音楽情報取得プログラム１３ｂ、出力信号生成プログラム１３ｃ、音色種類決定プログラム１３ｄ、音色変換プログラム１３ｅ、音程補正プログラム１３ｆ、リズム補正プログラム１３ｇ、効果付加プログラム１３ｈ、伴奏動画生成プログラム１３ｉが記憶されている。また、記憶部１３は、伴奏動画情報記憶領域１３ｊ、伴奏音楽情報記憶領域１３ｋ、傾斜情報記憶領域１３ｍ、加速度情報記憶領域１３ｎ、音声情報記憶領域１３ｐ、音色種類記憶領域１３ｑ、変換音声情報記憶領域１３ｒを有している。

伴奏動画情報取得プログラム１３ａは、外部通信部１８を介して「伴奏動画情報」を取得し、伴奏動画情報記憶領域１３ｊに記憶させるプログラムである。
伴奏音楽情報取得プログラム１３ｂは、伴奏動画情報記憶領域１３ｊに記憶された「伴奏動画情報」から「伴奏音楽情報」を抽出して取得し、伴奏音楽情報記憶領域１３ｋに記憶させるプログラムである。
出力信号生成プログラム１３ｃは、伴奏音楽情報記憶領域１３ｋに記憶されている「伴奏音楽情報」及び変換音声情報記憶領域１３ｒに記憶されている「変換音声情報」を合成して「合成音声情報」を生成し、当該「変換音声情報」を出力信号生成部１５に出力して、出力信号生成部１５で「出力信号」を生成させるプログラムである。
音色種類決定プログラム１３ｄは、携帯端末６０の傾斜センサー６４が出力した「傾斜情報」に基づいて、「音声情報」を変換する音色の種類を決定するプログラムである。
音色変換プログラム１３ｅは、「音声情報」の音色を変換して「変換音声情報」を生成するプログラムである。
音程補正プログラム１３ｆは、「音声情報」の「伴奏音楽情報」からの音程のズレを補正するプログラムである。
リズム補正プログラム１３ｇは、「音声情報」の「伴奏音楽情報」からのリズムのズレを補正するプログラムである。
効果付加プログラム１３ｈは、携帯端末６０の加速度センサー６５が出力した「加速度情報」に基づいて、「変換音声情報」に効果を付加させるプログラムである。
伴奏動画生成プログラム１３ｉは、伴奏動画情報記憶領域１３ｊに記憶されている「伴奏動画情報」から、画像表示装置５０に出力される「動画信号」を生成する描画命令を画像生成部１６に出力するプログラムである。
なお、伴奏動画情報取得プログラム１３ａ、伴奏音楽情報取得プログラム１３ｂ、出力信号生成プログラム１３ｃ、音色種類決定プログラム１３ｄ、音色変換プログラム１３ｅ、音程補正プログラム１３ｆ、リズム補正プログラム１３ｇ、効果付加プログラム１３ｈ、伴奏動画生成プログラム１３ｉを、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）として構成することとしても差し支えない。

伴奏動画情報記憶領域１３ｊには、伴奏動画情報取得プログラム１３ａによって取得された「伴奏動画情報」が記憶される。
伴奏音楽情報記憶領域１３ｋには、伴奏音楽情報取得プログラム１３ｂによって取得された「伴奏音楽情報」が記憶される。なお、「伴奏音楽情報」には、ＭＩＤＩデータ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）が含まれる。
傾斜情報記憶領域１３ｍには、携帯端末６０から送信された「傾斜情報」が順次記憶される。
加速度情報記憶領域１３ｎには、携帯端末６０から送信された「加速度情報」が順次記憶される。
音声情報記憶領域１３ｐには、音声入力インターフェース１４が生成した「音声情報」が記憶される。
音色種類記憶領域１３ｑには、音色種類決定プログラム１３ｄが決定した音色の種類が記憶される。
変換音声情報記憶領域１３ｒには、音色変換プログラム１３ｅが生成した「変換音色情報」が記憶される。

音声入力インターフェース１４には、マイクロフォン３０が接続している。音声入力インターフェース１４とマイクロフォン３０との接続方式には、有線及び無線の両方の接続方式が含まれる。音声入力インターフェース１４は、マイクロフォン３０から出力された「音声信号」の物理的・論理的な形式を変換して「音声情報」を生成し、当該「音声情報」をバス９に出力する。

出力信号生成部１５には、スピーカー４０が接続している。出力信号生成部１５は、デジタル信号をアナログ信号に変換するＤ／Ａコンバータ及びアナログ信号を増幅するオペアンプを有している。

画像生成部１６には、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等の画像表示装置５０が接続している。画像生成部１５は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びＶＲＡＭを有している。ＧＰＵは、伴奏動画生成プログラム１３ｉからの描画命令により、「画像データ」を生成し、ＶＲＡＭに記憶させる。ＶＲＡＭに記憶された「画像データ」は、「画像信号」として画像表示装置５０に出力される。

通信部１７は、携帯端末６０と通信を行う装置である。通信部１７は、赤外線通信やブルートゥース（登録商標）による無線規格のインターフェースとなっている。

外部通信部１８は、いわゆるインターネットや公衆通信電話通信網等の公衆通信網と接続している。外部通信部１８には、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や、ＵＳＢ（Ｕｎｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＩＥＥＥ１３９４、ＲＳ２３２、ＲＳ４２２その他通信インターフェースや、ＩＥＥＥ８０２に規定されているいわゆる無線ＬＡＮ等の無線インターフェースが含まれる。カラオケ装置本体２０は、外部通信部１８を介して、「伴奏動画情報」を取得する。

操作部１９は、ユーザーが、カラオケ装置本体２０の操作を行うためのものである。操作部１９は、複数のボタンやタッチパネル等の入力部と、入力部から出力された入力操作信号の物理的・論理的な形式を変換してバス９に出力する入力インターフェースとから構成されている。ユーザーは、操作部１９を操作することにより、スピーカー４０や画像表示装置５０で再生させる「伴奏動画情報」を選択することができる。

携帯端末６０は、傾斜センサー６４、加速度センサー６５を有する所謂スマートフォンやＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等の携帯端末である。
携帯端末６０は、ＣＰＵ６１、記憶部６３、傾斜センサー６４、加速度センサー６５、通信部６６を有していて、これらの構成は、相互にバス６９で接続されている。
ＣＰＵ６１は、記憶部６３と協動して、各種演算、処理を行う。

記憶部６３は、主記憶装置であるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及び、不揮発性メモリーやハードディスク等の補助記憶装置から構成されている。ＲＡＭは、ＣＰＵ６１のワーキングエリアとして使用され、ＣＰＵ６１で処理されるプログラムや、ＣＰＵ６１が処理するデータを、そのアドレス空間に一時的に記憶する。
記憶部６３の補助記憶装置には、携帯端末６０を制御する各種プログラムやパラメータが記憶されている。携帯端末６０が、スマートフォンである場合には、記憶部６３の補助記憶装置には、通話機能及びメール機能を実現するプログラムが記憶されている。

傾斜センサー６４は、携帯端末６０のＸ、Ｙ、Ｚの３方向の傾度を測定するセンサーである。傾斜センサー６４で測定され生成された「傾斜情報」は、通信部６６を介して、カラオケ装置本体２０に送信される。なお、「傾斜情報」は、数ミリ〜数１０ミリ秒の間隔をおいて、カラオケ装置本体２０に送信される。

加速度センサー６５は、携帯端末６０のＸ、Ｙ、Ｚの３方向の加速度を検知するセンサーである。加速度センサー６５で検知され生成された「加速度情報」は、通信部６６を介して、カラオケ装置本体２０に送信される。なお、「加速度情報」は、数ミリ〜数１０ミリ秒の間隔をおいて、カラオケ装置本体２０に送信される。

通信部６６は、カラオケ装置本体２０の通信部１７と通信をする装置である。通信部６６は。赤外線通信やブルートゥース（登録商標）等通信部１７のインターフェースに対応した無線規格のインターフェースとなっている。

（メイン処理の説明）
以下に、図３を用いて、カラオケ装置本体２０で実行されるメイン処理について説明する。
ユーザーが操作部１９を操作することにより、スピーカー４０や画像表示装置５０で再生される「伴奏動画情報」を選択すると、メイン処理が開始し、Ｓ１１の処理に進む。
Ｓ１１「伴奏音楽情報取得」の処理において、伴奏動画情報取得プログラム１３ａは、外部通信部１８を介して「伴奏動画情報」を取得し、伴奏動画情報記憶領域１３ｊに記憶させる。そして、伴奏音楽情報取得プログラム１３ｂは、伴奏動画情報記憶領域１３ｊに記憶された「伴奏動画情報」から「伴奏音楽情報」を抽出して取得し、伴奏音楽情報記憶領域１３ｋに記憶させる。Ｓ１１の処理が終了すると、Ｓ１２の処理に進む。

Ｓ１２「伴奏音楽情報再生開始」の処理において、出力信号生成プログラム１３ｃは、伴奏音楽情報記憶領域１３ｋに記憶されている「伴奏音楽情報」を出力信号生成部１５に出力する。出力信号生成部１５は、「出力信号」を生成し、スピーカー４０に出力する。なお、Ｓ１２の処理において、伴奏動画生成プログラム１３ｉは、伴奏動画情報記憶領域１３ｊに記憶されている「伴奏動画情報」から、画像表示装置５０に出力される「動画信号」を生成する描画命令を画像生成部１６に出力する。Ｓ１２の処理が終了すると、Ｓ１３の判断処理に進む。

Ｓ１３の判断処理において、ＣＰＵ１１は、バス９に「伴奏音楽情報」及び「伴奏動画情報」の再生を中止する「再生中止信号」が入力されたか否かを判断する。「再生中止信号」は、ユーザーが操作部１９を操作することにより、又は出力信号生成プログラム１３ｃが伴奏音楽情報記憶領域１３ｋに記憶されている「伴奏音楽情報」を末尾まで出力することにより、バス９に対して入力される。ＣＰＵ１１が、「再生中止信号」がバス９に入力されたと判断した場合には（Ｓ１３の判断処理がＹＥＳ）、Ｓ３１の処理に進む。一方で、ＣＰＵ１１が、「再生中止信号」がバス９に入力されていない判断した場合には（Ｓ１３の判断処理がＮＯ）、Ｓ１４の判断処理に進む。

Ｓ１４「音声入力有り」の判断処理において、ＣＰＵ１１は、音声入力インターフェース１４からバス９に、「音声情報」が入力されたか否かを判断する。ＣＰＵ１１が、音声入力インターフェース１４からバス９に、「音声情報」が入力されたと判断した場合には（Ｓ１４の判断処理がＹＥＳ）、前記「音声情報」を音声情報記憶領域１３ｐに記憶し、Ｓ１５の処理に進む。ＣＰＵ１１が、音声入力インターフェース１４からバス９に、「音声情報」が入力されていないと判断した場合には（Ｓ１４の判断処理がＮＯ）、Ｓ１３の判断処理に戻る。

Ｓ１５「音色決定処理」において、音色種類決定プログラム１３ｄは、「音声情報」を変換する音色の種類を決定する音色決定処理を実行する。詳しくは、図４に示される音色変換処理のフローを用いて、後述する。Ｓ１５の処理が終了すると、Ｓ１６の処理に進む。

Ｓ１６「音程補正処理」において、音程補正プログラム１３ｆは、「音声信号」の音程の「伴奏音楽情報」からのズレを補正する音程補正処理を実行する。詳しくは、図５に示される音程補正処理のフローを用いて、後述する。Ｓ１６の処理が終了すると、Ｓ１７の処理に進む。

Ｓ１７「リズム補正処理」において、リズム補正プログラム１３ｇは、「音声情報」のリズムの「伴奏音楽情報」からのズレを補正するリズム補正処理を実行する。詳しくは、図６に示されるリズム補正処理のフローを用いて、後述する。Ｓ１７の処理が終了すると、Ｓ１８の判断処理に進む。

Ｓ１８「音色変換処理」において、音色変換プログラム１３ｅは、音声情報記憶領域１３ｐに記憶されている「音声情報」を、Ｓ１５の処理で決定され音色種類記憶領域１３ｑに記憶された音色の種類に変換して「変換音声情報」を生成し、変換音声情報記憶領域１３ｒに記憶させる。なお、音色種類記憶領域１３ｑにnothingと記憶されている場合には（S１５−２の処理において、音色種類決定プログラム１３ｄがA＝０、B＝０と判断し、Ｓ１５−３の処理において、音色種類決定プログラム１３ｄが音色をnothingと音色を決定した場合）、Ｓ１８の処理において、音色変換プログラム１３ｅは、特に処理を行わない。Ｓ１８の処理が終了すると、Ｓ１９の判断処理に進む。

Ｓ１９「動作入力有り」の判断処理において、ＣＰＵ１１は、バス９に所定値以上の「加速度情報」が入力されたか否かを判断する。ＣＰＵ１１が、バス９に所定値以上の「加速度情報」が入力されたと判断した場合には（Ｓ１９の判断処理がＹＥＳ）、Ｓ２０の処理に進む。ＣＰＵ１１が、バス９に所定値以上の「加速度情報」が入力されていない判断した場合には（Ｓ１９の判断処理がＮＯ）、Ｓ２１の処理に進む。

Ｓ２０「付加効果処理」において、効果付加プログラム１３ｈは、携帯端末６０の加速度センサー６５が出力した「加速度情報」に基づいて、「変換音声情報」に効果を付加させる付加効果処理を実行する。詳しくは、図７に示される効果付加処理のフローを用いて後述する。Ｓ２０の処理が終了すると、Ｓ２１の処理に進む。

Ｓ２１「出力信号生成」の処理において、出力信号生成プログラム１３ｃは、伴奏音楽情報記憶領域１３ｋに記憶されている「伴奏音楽情報」及び変換音声情報記憶領域１３ｒに記憶されている「変換音声情報」を合成して「合成音声情報」を生成し、当該「合成音声情報」を出力信号生成部１５に出力する。出力信号生成部１５は、「出力信号」を生成して、当該「出力信号」をスピーカー４０に出力する。スピーカー４０は、「出力信号」を音声として再生する。Ｓ２１の処理が終了すると、Ｓ１３の判断処理に戻る。

Ｓ３１「伴奏音楽情報再生終了」の処理において、出力信号生成プログラム１３ｃは、出力信号生成部１５への「伴奏音楽情報」の出力を停止する。また、伴奏動画生成プログラム１３ｉは、画像生成部１６への描画命令の出力を停止する。Ｓ３１の処理が終了すると、メイン処理が終了する。

（音色決定処理）
図４を用いて、以下に音色決定処理について説明する。
音色決定処理が開始すると、Ｓ１５−１の処理に進む。
Ｓ１５−1「情報取得」の処理において、音色種類決定プログラム１３ｄは、傾斜情報記憶領域１３ｍに記憶されている「傾斜情報」及び加速度情報記憶領域１３ｎに記憶されている「加速度情報」を取得し、ＲＡＭのワーキングエリアに記憶させる。Ｓ１５−１の処理が終了すると、Ｓ１５−２の処理に進む。

Ｓ１５−２「姿勢算出」の処理において、音色種類決定プログラム１３ｄは、ＲＡＭのワーキングエリアに記憶されている「傾斜情報」及び「加速度情報」に基づいて、携帯端末６０の傾度を算出する。具体的には、まず、音色種類決定プログラム１３ｄは、「加速度情報」に基づいて、重力方向を算出する。次に、音色種類決定プログラム１３ｄは、前記算出した重力方向及び「傾度情報」から、携帯端末６０の姿勢を算出する。図８を用いて、具体的に説明する。図８の（Ａ）、（Ｂ）、（Ｄ）示されるように携帯端末６０に対するＸ、Ｙ、Ｚ座標が設定されている。なお、Ｘ座標方向は携帯端末６０の幅方向であり、Ｙ座標方向はＸ座標方向と直交する携帯端末６０の縦方向であり。Ｚ座標方法はＸ座標方向及びＹ座標方向と直交する携帯端末６０の厚さ方向である。音色種類決定プログラム１３ｄは、重力方向及び「傾度情報」から、携帯端末６０のＸＺ平面上における傾き角θｘｚ（図８の（Ａ）に示す）及び、携帯端末６０のＹＺ平面上における傾き角θｙｚ（図８の（Ｂ）に示す）を算出する。そして、音色種類決定プログラム１３ｄは、算出された携帯端末６０の傾き角θｘｚ及びθｙｚを、図８の（Ｃ）に示される基準に照合せることにより、Ａ及びＢの値を算出する。なお、ＡとＢの初期値は１である。
図８の（Ｃ）に示される基準を詳述すると、携帯端末６０の傾き角θｘｚ及びθｙｚを、下式１〜４を満たすか否かによってＡ及びＢの値が決定される。
−５°≦θｘｚ≦５°…式１
−５°≦θｙｚ≦５°…式２
式１及び式２の両方満たす場合には、Ａ＝０、Ｂ＝０と決定される。
θｙｚ≦θｘｙ…式３
式１及び式２を満たすこと無く、式３を満たす場合には、Ａ＝２と決定される。
θｙｚ≦−θｘｙ…式４
式１及び式２を満たすこと無く、式４を満たす場合には、Ｂ＝２と決定される。
Ｓ１５−２の処理が終了すると、Ｓ１５−３の処理に進む。

Ｓ１５−３「音色決定」の処理において、音色種類決定プログラム１３ｄは、Ｓ１５−２の処理で算出された携帯端末６０の姿勢に基づいて、音色を決定し、決定した音色の種類を音色種類記憶領域１３ｑに記憶させる。具体的には、音色種類決定プログラム１３ｄは、Ｓ１５−２の処理で決定されたＡ及びＢを図８の（Ｅ）に示される基準に照合させることにより音色を決定する。なお本実施形態では、図８の（Ｅ）に示されるように、音色の種類は、楽器の楽音となっている。Ｓ１５−３の処理が終了すると、音色決定処理が終了する。
このように、音色種類決定プログラム１３ｄは、「傾度情報」から所定閾値（図８の（Ｃ）に示される基準）を用いて、携帯端末６０の姿勢を判定し、更に、携帯端末６０の姿勢から音色の種類を決定することにしたので、音色の種類が確実に決定される。

（音程補正処理）
図５を用いて、以下に音程補正処理のフローについて説明する。音程補正処理が開始すると、Ｓ１６−１の処理に進む。
Ｓ１６−１「音声情報取得」の処理において、音程補正プログラム１３ｆは、音声情報記憶領域１３ｐに記憶された「音声情報」を、ＲＡＭのワーキングエリアに記憶させる。Ｓ１６−１の処理が終了すると、Ｓ１６−２の処理に進む。

Ｓ１６−２「伴奏音楽情報取得」の処理において、音程補正プログラム１３ｆは、伴奏音楽情報記憶領域１３ｋに記憶された「伴奏音楽情報」を、ＲＡＭのワーキングエリアに記憶させる。Ｓ１６−２の処理が終了すると、Ｓ１６−３の処理に進む。

Ｓ１６−３「音程のズレが所定以上」の判断処理において、音程補正プログラム１３ｆは、ＲＡＭのワーキングエリアに記憶された「伴奏音楽情報」と「音声情報」を比較し、「音声情報」の音程が「伴奏音楽信号情報」の音程から所定以上ズレているか否かを判断する。なお、図９において、縦方向は音程、横方向は時間を意味する。図９の（１）や（２）に示されるように、音程補正プログラム１３ｆが、「音声情報」の音程が「伴奏音楽信号情報」の音程に基づく音程から所定以上（例えば、四分音以上）ズレていると判断した場合には（Ｓ１６−３の判断処理がＹＥＳ）、Ｓ１６−４の処理に進む。一方で、音程補正プログラム１３ｆが、「音声情報」の音程が「伴奏音楽信号情報」の音程から所定以上ズレていないと判断した場合には（Ｓ１６−３の判断処理がＮＯ）、音程補正処理が終了する。なお、「伴奏音楽信号情報」の音程に基づく音程とは、「伴奏音楽信号情報」の音程に一致する音程はもちろん、「伴奏音楽信号情報」の音程と所定の関係にある音程（例えば、「伴奏音楽信号情報」の音程から、１オクターブずれた音程や、３度又は５度ずれた和音の関係にある音程など）も含む意である。

Ｓ１６−４「音程補正」の処理において、音程補正プログラム１３ｆは、図９の（３）、（４）に示されるように、Ｓ１６−４の判断処理でズレていると判断した「音声情報」の音程を補正し、ＲＡＭのワーキングエリアに更新記憶させる。具体的には、図９の（３）（４）以外の音と同様に、「伴奏音楽信号情報」の音程に基づく音程となるように、音程が補正される。Ｓ１６−４の処理が終了すると、音程補正処理が終了する。
この音程補正処理により、ユーザーがスピーカー４０から再生される伴奏音楽の音程を外して発声した場合であっても、伴奏音楽に合った「変換音声情報」が生成される。

（リズム補正処理）
図６を用いて、以下にリズム補正処理のフローについて説明する。リズム補正処理が開始すると、Ｓ１７−１の処理に進む。
Ｓ１７−１「リズムのズレが所定以上」の処理において、リズム補正プログラム１３ｇは、ＲＡＭのワーキングエリアに記憶された「伴奏音楽情報」と「音声情報」を比較し、「音声情報」のリズムが「伴奏音楽情報」のリズムから所定以上ずれているか否かを判断する。なお、図１０において、横軸は時間（デルタタイム）を意味する。図１０の（１）〜（４）に示されるように、リズム補正プログラム１３ｇが、「音声情報」のリズムが「伴奏音楽情報」のリズムから所定以上ずれていると判断した場合には（Ｓ１７−１の判断処理がＹＥＳ）、Ｓ１７−２の処理に進む。一方で、リズム補正プログラム１３ｇが、「音声情報」のリズムが「伴奏音楽情報」のリズムから所定以上ずれていないと判断した場合には（Ｓ１７−１の判断処理がＮＯ）、リズム補正処理が終了する。

Ｓ１７−２「リズム補正処理」の処理において、リズム補正プログラム１３ｇは、図１０の（５）〜（８）に示されるように、Ｓ１７−１の判断処理において、ズレていると判断した「音声情報」のリズムを補正し、音声情報記憶領域１３ｐに更新記憶させる。具体的には、図１０の（５）〜（８）に示されるように、リズム補正プログラム１３ｇは「音声情報」の早く入力を止めてしまった音を「伴奏音楽情報」に合うように伸ばす処理や、早く入力してしまった音を「伴奏音楽情報」に合うように入力を遅らせる処理を行う。Ｓ１７−２の処理が終了すると、リズム補正処理が終了する。
このリズム補正処理により、ユーザーがスピーカー４０から再生される伴奏音楽のリズムを外して発声した場合であっても、伴奏音楽に合った「変換音声情報」が生成される。

（効果付加処理）
図７を用いて、以下に効果付加処理のフローについて説明する。
効果付加処理が開始すると、Ｓ２０−１の処理に進む。
Ｓ２０−１「加速度データ取得」の処理において、効果付加プログラム１３ｈは、加速度情報記憶領域１３ｎに記憶された「加速度情報」をＲＡＭのワーキングエリアに記憶させる。Ｓ２０−１の処理が終了すると、Ｓ２０−２の処理に進む。

Ｓ２０−２「動き認識」の処理において、効果付加プログラム１３ｈは、ＲＡＭのワーキングエリアに記憶された「加速度情報」から、携帯端末６０の動きを認識する。具体的には、図１１の（Ａ）、（Ｂ）に示されるように、効果付加プログラム１３ｈは、携帯端末６０のＸ、Ｙ、Ｚ座標方向の動きを認識する。Ｓ２０−２の処理が終了すると、Ｓ２０−３の処理に進む。

Ｓ２０−３「付加効果決定」の処理において、効果付加プログラム１３ｈは、Ｓ２０−２の処理で認識された携帯端末６０の動きから、付加効果を決定する。具体的には、効果付加プログラム１３ｈは、図１１の（Ｃ）の表に示されるような基準により、「変換音声情報」に付加する効果（例えば、出力を遅らせる、ビブラートを付加するなど）を決定する。つまり、ユーザーが携帯端末６０をＸ、Ｙ、Ｚの特定の方向に振った場合には、振った方向に対応する効果が決定される。或いは、図１１の（Ｄ）に示されように、効果付加プログラム１３ｈは、携帯端末６０の回転等の特定の動きを検知して、「変換音声情報」に付加する効果を決定する。Ｓ２０−３の処理が終了すると、Ｓ２０−４の処理に進む。

Ｓ２０−４「効果付加」の処理において、効果付加プログラム１３ｈは、「変換音声情報」にＳ２０−３の処理で決定された効果を付加し、変換音声情報記憶領域１３ｒに更新記憶させる。Ｓ２０−４の処理が終了すると、効果付加処理が終了する。
この効果付加処理により、ユーザーは、携帯端末６０を動かすという簡単な操作により、「変換音声情報」に効果を付加させることが可能となる。

（総括）
以上説明したように、本発明では、ユーザーが携帯端末６０を傾けるという簡単な操作により、ユーザーが発声した音声が変換される音色の種類を選択できるようになっている。

なお、以上説明した実施形態では、カラオケ装置本体２０は、「伴奏動画情報」を取得しているが、動画無しの「伴奏音楽情報」を取得する実施形態であっても差し支えない。また、以上説明した実施形態では、カラオケ装置本体２０は「伴奏動画情報」や「伴奏音楽情報」を公衆通信網９００から取得しているが、ＤＶＤやＣＤＲＯＭ等リムーバブルディスクに記憶さされた「伴奏動画情報」や「伴奏音楽情報」を、ＤＶＤドライブやＣＤドライブ等の読み取り装置で取得することにしても差し支えない。

以上、現時点において、もっとも、実践的であり、かつ好ましいと思われる実施形態に関連して本発明を説明したが、本発明は、本願明細書中に開示された実施形態に限定されるものではなく、請求の範囲および明細書全体から読み取れる発明の要旨あるいは思想に反しない範囲で適宜変更可能であり、そのような変更を伴うカラオケシステムもまた技術的範囲に包含されるものとして理解されなければならない。

９ バス
１１ ＣＰＵ
１３ 記憶部
１３ａ 伴奏動画情報取得プログラム
１３ｂ 伴奏音楽情報取得プログラム
１３ｃ 出力信号生成プログラム
１３ｄ 音色種類決定プログラム
１３ｅ 音色変換プログラム
１３ｆ 音程補正プログラム
１３ｇ リズム補正プログラム
１３ｈ 効果付加プログラム
１３ｉ 伴奏動画生成プログラム
１３ｊ 伴奏動画情報記憶領域
１３ｋ 伴奏音楽情報記憶領域
１３ｍ 傾斜情報記憶領域
１３ｎ 加速度情報記憶領域
１３ｐ 音声情報記憶領域
１３ｑ 音色種類記憶領域
１３ｒ 変換音声情報記憶領域
１４ 音声入力インターフェース
１５ 出力信号生成部
１６ 画像生成部
１７ 通信部
１８ 外部通信部
１９ 操作部
２０ カラオケ装置本体
３０ マイクロフォン
４０ スピーカー
５０ 画像表示装置
６０ 携帯端末
６１ ＣＰＵ
６３ 記憶部
６４ 傾斜センサー
６５ 加速度センサー
６６ 通信部
６９ バス
１００ カラオケシステム
９００ 公衆通信網

Claims (5)

1. 音声から音声信号を生成するマイクロフォンと、
   伴奏音楽情報を取得する伴奏音楽情報取得手段と、前記マイクロフォンから出力される音声信号及び前記伴奏情報取得手段が取得した伴奏音楽情報に基づいて出力信号を生成する出力信号生成手段を有するカラオケ装置本体と、
   前記出力信号を音声に再生するスピーカーとからなるカラオケシステムにおいて、
   傾度を測定する傾度センサーと、
   前記傾度センサーが測定した傾度情報を前記カラオケ装置本体に送信する通信手段を有する携帯端末を更に有し、
   前記カラオケ装置本体は、
   前記携帯端末が送信する傾度情報に基づき、マイクロフォンが出力する音声信号が変換される音色種類を決定する音色種類決定手段と、
   前記音色種類決定手段が決定した音色種類に基づいて、マイクロフォンが出力する音声信号の音色を変換して変換音声情報を生成する音色変換手段を更に有し、
   出力信号生成手段は、前記変換音声情報と伴奏音楽情報を合成して出力信号を生成することを特徴とするカラオケシステム。
2. 音色種類決定手段は、携帯端末が送信する傾度情報を閾値に基づき、前記携帯端末の姿勢を判定し、音色種類を決定することを特徴とする請求項１に記載のカラオケシステム。
3. カラオケ装置本体は、マイクロフォンが出力した音声信号の音程を、伴奏音楽情報に基づいて補正する音程補正手段を更に有することを特徴とする請求項１又は請求項２に記載のカラオケシステム。
4. カラオケ装置本体は、マイクロフォンが出力した音声信号のリズムを、伴奏音楽情報に基づいて補正するリズム補正手段を更に有することを特徴とする請求項１〜請求項３のいずれかに記載のカラオケシステム。
5. 携帯端末は、加速度を測定する加速度センサーを更に有し、
   送信手段は、前記加速度センサーが測定した加速度情報を、通信手段を介して前記カラオケ装置本体に送信し、
   カラオケ装置本体は、携帯端末から送信された加速度情報に基づいて音色変換手段が生成した変換音声情報に効果を付加する効果付加手段を更に有することを特徴とする請求項１〜請求項４のいずれかに記載のカラオケシステム。

Images