JP2004061968A

JP2004061968A - Mobile terminal device with karaoke function with singing ability evaluating function

Info

Publication number: JP2004061968A
Application number: JP2002221866A
Authority: JP
Inventors: Yasuyuki Muraki; 村木　保之
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2002-07-30
Filing date: 2002-07-30
Publication date: 2004-02-26
Anticipated expiration: 2022-07-30
Also published as: JP3966112B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a mobile terminal device with a karaoke function with a singing ability evaluating function that can let a singer know the evaluation result of his or her singing ability in real time by an easy-to-understand method. <P>SOLUTION: The mobile terminal device with the karaoke function with the singing ability evaluating function which is equipped with a musical piece reproducing means of generating a musical piece by reproducing musical piece data and an evaluating method of evaluating the singing ability according to a speech signal inputted from a microphone changes the blinking pattern of a light emitting element or the vibration pattern of a vibrator that the mobile terminal device is equipped with according to the singing ability evaluated by the evaluating means. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
この発明は、歌唱力評価機能付カラオケ機能を有する携帯端末装置に関する。
【０００２】
【従来の技術】
従来より、カラオケ装置は飲食店や家庭等において広く用いられ、近年では、携帯電話機のような携帯端末装置においても、カラオケ機能を付加した機種が開発されている。このカラオケ機能を有する携帯電話機には、楽曲の再生と歌詞の表示だけではなく、マイクとスピーカを利用して、スピーカからカラオケ楽曲を放音するとともに、マイクから利用者の歌声の入力を受け、さらに入力された利用者の歌声とカラオケ楽曲をミキシングしてスピーカから放音し、専用のカラオケ装置と同様の機能をもたせているものもある。
一方、専用のカラオケ装置では、歌唱力を評価する機能として歌唱力の採点機能をもつものが一般的になってきている。また、携帯電話機においても、例えば、特開２００１−１９７１６８号公報等には、カラオケ機能と歌唱力の採点機能を有する携帯電話機の発明が開示されている。
しかしながら、従来のこの種の採点機能付きカラオケ装置はその採点結果を単に表示するのみであった。
【０００３】
また、従来の一般的なカラオケ装置においては、演奏終了後に採点結果が表示されるのみであるため、具体的に楽曲中のどの個所の歌唱が悪かったのかを歌唱者が把握できないといった問題があった。
このような問題を解決する技術として、特開平４−１３１７６号公報に「音高差表示機能付きカラオケ装置」が開示されている。これは、基準となる歌唱旋律の音高と、マイクロフォンから入力される歌唱音声の音高との差を、楽曲演奏中に随時、グラフ等の形式によってディスプレイ装置に表示する機能を備えたカラオケ装置である。
しかしながら、上記音高差表示機能付きカラオケ装置においては、楽曲演奏中に歌詞表示と上記音高差を示すグラフ等とが同時に表示されるため、歌詞表示が見にくくなるといった問題があった。
特に、携帯電話機のような、その利用形態から小型である携帯端末装置にカラオケ機能と歌唱力の採点機能をもたせた場合では、上記問題は一層深刻なものとなる。
【０００４】
【発明が解決しようとする課題】
本発明は、上記の点に鑑みてなされたもので、歌唱力の評価結果をリアルタイムに歌唱者に分かりやすい方法で伝えることができる歌唱力評価機能付カラオケ機能を有する携帯端末装置を提供するものである。
【０００５】
【課題を解決するための手段】
上記の課題を解決するために、請求項１に記載の発明は、楽曲データを再生して楽曲を生成する楽曲再生手段と、マイクロフォンから入力した音声信号に基づいて歌唱力を評価する評価手段と、を具備する歌唱力評価機能付カラオケ機能を有する携帯端末装置において、前記評価手段により評価された歌唱力の程度に応じて、前記携帯端末装置に備わる発光素子の点滅パターンを変えることを特徴とする。
【０００６】
また、請求項２に記載の発明は、楽曲データを再生して楽曲を生成する楽曲再生手段と、マイクロフォンから入力した音声信号に基づいて歌唱力を評価する評価手段と、を具備する歌唱力評価機能付カラオケ機能を有する携帯端末装置において、前記評価手段により評価された歌唱力の程度に応じて、前記携帯端末装置に備わるバイブレータの振動パターンを変えることを特徴とする。
【０００７】
前記歌唱力評価機能付カラオケ機能を有する携帯端末装置は、歌唱者の歌唱力を評価するが、その評価結果に応じて、すなわち、歌唱者の歌唱力の程度に応じて、発光素子の点滅パターンを変え、または、バイブレータの振動パターンを変える。この点滅パターンまたは振動パターンの変更は、その点滅または振動の周期を変えることで行うことが望ましい。例えば、歌唱者の歌声がお手本の音声に近い場合は、点滅の周期または振動の周期を長くし、お手本の音声からのずれが大きい場合は、点滅の周期または振動の周期を短くする。このように発光素子の点滅やバイブレータの振動のパターンを変化させることにより、歌唱者は、携帯端末装置のような小型の機器であっても、リアルタイムに、自身の歌唱力の程度を容易に認識することができる。
【０００８】
【発明の実施の形態】
以下、本発明の一実施の形態である携帯電話機について図面を参照して説明する。図１は、本実施の形態の携帯電話機の概略構成を示すブロック図である。
【０００９】
同図において、携帯電話機１は、アンテナ１１と、アンテナ１１を介して基地局（図示せず）と無線送信／受信を行う通信部１２と、マイク１３から入力した音声を符号化し、あるいは入力したデジタル信号を復号化する音声処理部１４と、楽曲データの再生と再生した楽曲信号およびマイク１３から入力された音声信号のミキシングと着信音の形成をする楽曲再生部１５と、着信音の放音ならびに楽曲再生部１５においてミキシングされた楽曲と音声（歌声）の放音をするスピーカ１６と、歌唱者の歌唱力を評価し、その評価結果を出力する評価パラメータ抽出部１７と、液晶表示パネル（ＬＣＤ）１８と、電話番号や機能選択を入力する入力部１９と、データ記憶用のＲＡＭ（ランダム・アクセス・メモリ）２０と、通信プログラムなどを格納するＲＯＭ（リード・オンリ・メモリ）２１と、着信を点滅により知らせると供に、歌唱力の評価結果も知らせるＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）２２と、着信を振動で知らせると供に、歌唱力の評価結果も知らせるバイブレータ２３と、通信プログラム等を実行し各部の動作を制御するＣＰＵ（中央処理装置）２４とから構成される。各部はバス１０によりＣＰＵ・２４へ接続されている。
【００１０】
上記の構成をさらに説明すると、通信部１２は、音声処理部１４から入力したデジタル信号により変調した信号をアンテナ１１を介して基地局へ送信する。また、アンテナ１１を介して、受信した無線信号を復調してそのデジタル信号を出力する。変復調方式には、無線周波数の利用率を良くするため、ＱＰＳＫ（４相位相変調）などが用いられる。また、ＴＤＤ（時分割双方向通信）方式が用いられている場合は、送受信に同一周波数を用いて、送信と受信は時分割で行われる。その他、ＣＤＭＡ（符合分割多重接続）方式やＰＤＣ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ｃｅｌｌｕｌａｒ　Ｓｙｓｔｅｍ）方式などを用いてもよい。
【００１１】
また、ＲＡＭ・２０にはユーザ設定データ格納エリア、ＣＰＵ・２４のワークエリア、無線通信回線を介してダウンロードした楽曲データの格納エリアなどが設定される。また、ＲＯＭ・２１は、ＣＰＵ・２４が実行する発信／着信処理の通信プログラムや楽曲再生処理を補助する処理などのプログラムを格納する。入力部１９は、数値キーおよびコードキーからなるテンキーやジョグダイヤルなどから構成される入力手段である。通常の通話のための操作のほかに楽曲データの配信要求、カラオケモードＯＮ／ＯＦＦ、楽曲番号選択、楽曲再生スタート／ストップなどの操作入力ができる。ＬＣＤ・１８は、電話機能のメニュー、テンキーやジョグダイヤルなどのボタン操作に応じた表示、楽曲の歌詞、グラフィックス、評価結果（評価値）などを表示する。
【００１２】
ここで、楽曲データについて説明する。
本実施の形態で用いる楽曲データには、楽曲として再生する音色データとテンポデータとお手本ボーカル音声データ（お手本ボーカル音程データ及びお手本ボーカル音量データ）と、ＬＣＤ・１８に表示する歌詞データとグラフィクスデータを含んでいる。楽曲データ中の音色データは、波形パラメータ、エンベロープパラメータ、変調パラメータ、エフェクトパラメータ、その他のパラメータからなり、それぞれのパラメータは各音色に特有のパラメータとされている。各音色データにおける波形パラメータは、音色に対応する楽音波形を指示しており、例えば楽曲再生部１５に備わる音源部（図示せず）が波形テーブルを有するＰＣＭ音源とされている場合は、波形テーブルの何れかの波形を指示するパラメータとされ、音源部がＦＭ音源とされている場合は、ＦＭ演算のアルゴリズムを指示するパラメータとされる。上記エンベロープパラメータは、アタックレート、ディケイレート、サスティンレベル、リリースレートなどのパラメータであり、上記変調パラメータはビブラートやトレモロの深さや早さのパラメータであり、また、上記エフェクトパラメータはリバーブ、コーラス、バリエーションなどのパラメータである。
【００１３】
次に、図２を参照して評価パラメータ抽出部１７の説明を行う。
先ず、マイク１３（図１）から出力される歌唱者の音声信号と、再生された楽音信号（楽曲再生部１５の出力）は前処理部１７ａに入力される。前処理部１７ａでは入力された音声信号を音声帯域のフィルタを通し、高域および低域の雑音を除去し、歌唱者音声信号として出力する。また、この前処理部１７ａは、入力された楽音信号からお手本ボーカル音声信号を抽出する。すなわち、音声多重方式の場合、左側チャネル信号には伴奏が記録されており、右側チャネル信号には伴奏および音声が記録されている。そこで、前処理部１７ａは、右側チャネル信号から左側チャネル信号を減算することにより、音声信号を抽出する。次いで、抽出した音声信号を音声帯域のフィルタを通過させて高域および低域の雑音を除去し、お手本ボーカル音声信号として出力する。
【００１４】
音程抽出部１７ｂは、まず、前処理部１７ａから供給された歌唱者音声信号およびお手本ボーカル音声信号の各々からピッチを抽出する。ピッチ抽出の手法としては、周知のゼロクロス間隔検出法、自己相関法またはそれらの組み合わせ法などを用いることができる。ピッチ抽出された各音声信号はそれぞれ、低域通過フィルタでビブラート成分が除去された後、音程データに変換される。
【００１５】
即ち、抽出されたピッチの逆数である周波数ｆは、基本周波数３２．７０３２Ｈｚからのずれとして次式のように表される。
ｆ＝３２．７０３２×２^{（Ｐ＋Ｑ／１２）}［Ｈｚ］…（１）
ここで、Ｐはオクターブデータであり、Ｑは半音階データである。従って、音程データは、次式に基づいて算出される。
Ｐ＋（Ｑ／１２）＝ｌｏｇ_２（ｆ／３２．７０３２）…（２）
なお、オクターブデータＰは整数で、Ｑの絶対値が最小となるように決められる。このように音程データに変換するのは、聴覚特性にマッチングした比較をすることができるからである。そして、上述した処理によって得られた歌唱者音程データおよびお手本ボーカル音程データが各々評価部１７ｄへ出力される。
【００１６】
また、音量抽出部１７ｃは、入力された歌唱者音声信号とお手本ボーカル音声信号の各々の振幅値を絶対値化し、さらに、平滑化して音量データを生成し、歌唱者音量データおよびお手本ボーカル音量データとして評価部１７ｄへ出力する。評価部１７ｄは、入力された歌唱者音程データとお手本ボーカル音程データとを一定周期または再生音声信号から抽出したピッチに基づく比較タイミング信号に基づいて比較する。そして、両者が概ね一致していればカウンタがカウントアップし、このカウント値から音程データの一致度を算出する。同様にして、歌唱者音量データとお手本ボーカル音量データを上述した比較タイミング信号に同期して比較し、両者が概ね一致していればカウンタがカウントアップし、このカウント値から音量データの一致度を算出する。
【００１７】
更に、再現性のある機械的な比較処理だけではなく、主観的評価に近づけるように乱数が生成される。そして、音程データの一致度、音量データの一致度および乱数は、音程重視パラメータα、音量重視パラメータβおよび乱数重視パラメータγを乗算した後、加算される。各パラメータα、β、γは、パラメータ設定部１７ｅによってα＋β＋γ＝１を満たすように任意の割合で調整可能になっている。この加算値を評価値に変換し、この評価値に応じた周期で、バイブレータ２３を振動させるか、または、ＬＥＤ・２２を点滅させる。もちろんバイブレータ２３の振動とＬＥＤ・２２の点滅を同時にさせてもよい。
なお、この周期は、歌唱者（人）が振動や点滅の変化を認識できる範囲で、評価値と対応づけられている。また、上記評価値またはこの評価値をグラフ化した図あるいはこの評価値の変化に応じて変化する所定のキャラクタ図を、ＬＣＤ・１８に表示させるようにしてもよい。
【００１８】
また、評価パラメータ抽出部１７について、楽曲データからお手本ボーカル音声信号を抽出して評価する方法を説明したが、一般的には、楽曲データが音声信号を含まず伴奏データのみの場合がある。この場合、楽曲データに時系列に並んだ音程データと音量データからなる評価基準用パラメータが付加されているものとする。この場合、評価パラメータ抽出部１７は歌唱者音声信号から音程データと音量データを抽出してＣＰＵ・２４へ出力する。ＣＰＵ・２４は入力したデータと前記評価基準用パラメータを比較して歌唱力の評価を行う。
【００１９】
次に、上述した本実施の形態の携帯電話機１において、楽曲を再生しこの楽曲を歌唱者の歌声とミキシングして放音するとともに、歌唱者の歌唱力を評価するカラオケモードについてその動作を説明する。なお、以下では、楽曲データは予めＲＡＭ・２０に格納されているものとする。
【００２０】
先ず、ユーザが入力部１９のカラオケモードを選択するキー操作を行い（ステップＳ０１）、次いで、入力部１９から所望の楽曲番号を入力し（ステップＳ０２）、演奏スタートを指示するキー操作を行うと（ステップＳ０３）、入力部１９から入力された楽曲番号により、ＣＰＵ・２４は、ＲＡＭ・２０に格納されている楽曲データを読み出す（ステップＳ０４）。ＲＡＭ・２０から読み出された楽曲データは、バス１０を介して楽曲再生部１５に設定される（ステップＳ０５）。そして、楽曲再生部１５により楽曲データの再生がスタートする（ステップＳ０６）。
【００２１】
一方、歌唱者はマイク１３から音声信号を入力する。入力された音声信号は、再生された上記楽音信号とミキシングされる。ミキシングされた一方の出力は、所定のレベルに調整されてスピーカ１６から放音される（ステップＳ０６）。このとき、ＣＰＵ・２４は、楽曲データ中の歌詞データおよびグラフィックスデータを楽曲の再生処理と同期させてＬＣＤ・１８へ送り、表示させる（ステップＳ０６’）。
【００２２】
他方、評価パラメータ抽出部１７は、音声処理部１４を介してマイク１３から入力した歌唱者の音声信号と楽曲再生部１５で再生された楽音信号を受ける。評価パラメータ抽出部１７は、入力された音声信号から歌唱者音程データと歌唱者音量データを抽出し、また、楽音信号からお手本ボーカル音程データ、お手本ボーカル音量データとを抽出する。そして、両音声の音程データと音量データを比較し、その一致度から歌唱者の評価値を算出する（ステップＳ０７）。ＣＰＵ・２４は、楽曲再生のタイミングと合わせて、評価パラメータ抽出部１７により算出された評価値に応じたパターンで、バイブレータ２３を振動させるか、または、ＬＥＤ・２２を点滅させる（ステップＳ０８）。ここで、歌唱者の歌声がお手本の音声に近い場合に評価結果の評価値が高いものとすると、例えば、歌唱者の評価値が高い場合には、点滅の周期または振動の周期を長くし、評価値が低い場合は、点滅の周期または振動の周期を短くして、歌唱者の歌唱力の程度をリアルタイムに知らせる。
【００２３】
以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の構成等も含まれる。上記実施の形態では、携帯電話機を例として説明したが、本発明は、例えば、歌唱力評価機能付カラオケ機能を有する、ＰＨＳ（登録商標）（Ｐｅｒｓｏｎａｌ　Ｈａｎｄｙｐｈｏｎｅ　Ｓｙｓｔｅｍ）端末や、携帯情報端末（ＰＤＡ）等にも適用できる。
【００２４】
【発明の効果】
以上説明したように、本発明によれば、歌唱力評価機能付カラオケ機能を有する携帯端末装置において、評価手段により評価された歌唱力の程度に応じて、前記携帯端末装置に備わる発光素子の点滅パターンまたは前記携帯端末装置に備わるバイブレータの振動パターンを変えるので、携帯端末装置のような小型の機器であっても、歌唱者は、発光素子の点滅やバイブレータの振動の変化によって、リアルタイムに、自身の歌唱力の程度を容易に認識することができ、そのカラオケ機能と歌唱力評価機能とを利用し楽しむことができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態である携帯電話機の構成を示すブロック図である。
【図２】図１における評価パラメータ抽出部１７の構成を示すブロック図である。
【図３】同実施の形態の携帯電話機のカラオケモードについてその動作を説明するシーケンス図である。
【符号の説明】
１…携帯電話機（携帯端末装置）、１０…バス、１１…アンテナ、１２…通信部、１３…マイク（マイクロフォン）、１４…音声処理部、１５…楽曲再生部（楽曲再生手段、合成手段）、１６…スピーカ（発音手段）、１７…評価パラメータ抽出部（評価手段）、１８…ＬＣＤ、１９…入力部、２０…ＲＡＭ、２１…ＲＯＭ、２２…ＬＥＤ（発光素子）、２３…バイブレータ（バイブ）、２４…ＣＰＵ（中央処理装置）、１７ａ…前処理部、１７ｂ…音程抽出部、１７ｃ…音量抽出部、１７ｄ…評価部、１７ｅ…パラメータ設定部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a portable terminal device having a karaoke function with a singing ability evaluation function.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, karaoke apparatuses have been widely used in restaurants, homes, and the like. In recent years, models with a karaoke function added to portable terminal apparatuses such as mobile phones have been developed. The mobile phone having this karaoke function not only plays music and displays lyrics, but also uses a microphone and a speaker to emit karaoke music from the speaker and receive an input of the singing voice of the user from the microphone. Further, there is a device in which the input singing voice of the user and the karaoke music are mixed and emitted from a speaker, thereby providing the same function as a dedicated karaoke device.
On the other hand, a dedicated karaoke apparatus having a singing ability scoring function as a function of evaluating the singing ability has become common. In addition, for example, Japanese Patent Application Laid-Open No. 2001-197168 discloses a mobile phone having a karaoke function and a singing ability scoring function.
However, this kind of conventional karaoke apparatus with a scoring function merely displays the scoring result.
[0003]
In addition, in the conventional general karaoke apparatus, since the grading result is only displayed after the end of the performance, there is a problem that the singer cannot grasp which part of the music is singing badly. Was.
As a technique for solving such a problem, "Karaoke apparatus with pitch difference display function" is disclosed in Japanese Patent Application Laid-Open No. 4-1176. This is a karaoke apparatus having a function of displaying a difference between a pitch of a singing melody as a reference and a pitch of a singing voice input from a microphone on a display device at any time during music performance in the form of a graph or the like. It is.
However, in the karaoke apparatus with the pitch difference display function, the lyrics display and the graph indicating the pitch difference are simultaneously displayed during the music performance, so that the lyrics display becomes difficult to see.
In particular, when a portable terminal device such as a mobile phone, which is small in its usage form, is provided with a karaoke function and a singing ability scoring function, the above problem becomes more serious.
[0004]
[Problems to be solved by the invention]
The present invention has been made in view of the above points, and provides a portable terminal device having a karaoke function with a singing ability evaluation function capable of transmitting a singing ability evaluation result to a singer in an easy-to-understand manner in real time. It is.
[0005]
[Means for Solving the Problems]
In order to solve the above-mentioned problem, the invention according to claim 1 includes a music reproducing means for reproducing music data to generate a music, and an evaluating means for evaluating a singing ability based on a voice signal input from a microphone. In the portable terminal device having a karaoke function with a singing ability evaluation function comprising: changing a blinking pattern of a light emitting element provided in the portable terminal device according to the degree of singing ability evaluated by the evaluation means. I do.
[0006]
Further, the invention according to claim 2 is a singing ability evaluation comprising: music playing means for playing music data to generate music; and evaluating means for evaluating singing ability based on a voice signal input from a microphone. In a portable terminal device having a karaoke function with a function, a vibration pattern of a vibrator provided in the portable terminal device is changed according to a degree of singing power evaluated by the evaluation means.
[0007]
The portable terminal device having a karaoke function with the singing ability evaluation function evaluates the singing ability of the singer, and according to the evaluation result, that is, according to the degree of the singing ability of the singer, the blinking pattern of the light emitting element. Or change the vibration pattern of the vibrator. It is desirable to change the blinking pattern or the vibration pattern by changing the cycle of the blinking or the vibration. For example, if the singing voice of the singer is close to the model voice, the blinking cycle or the vibration cycle is lengthened, and if the deviation from the model voice is large, the flashing cycle or the vibration cycle is shortened. In this way, the singer can easily recognize the degree of his or her singing power in real time, even in a small device such as a portable terminal device, by changing the pattern of the flashing of the light emitting element and the vibration pattern of the vibrator. can do.
[0008]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, a mobile phone according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a schematic configuration of the mobile phone according to the present embodiment.
[0009]
In FIG. 1, the mobile phone 1 encodes or inputs audio input from an antenna 11, a communication unit 12 that performs wireless transmission / reception with a base station (not shown) via the antenna 11, and a microphone 13. An audio processing unit 14 for decoding a digital signal; a music reproduction unit 15 for reproducing music data and mixing the reproduced music signal and the audio signal input from the microphone 13 and forming a ringtone; A speaker 16 that emits the music and voice (singing voice) mixed in the music playing unit 15; an evaluation parameter extracting unit 17 that evaluates the singing ability of the singer and outputs the evaluation result; and a liquid crystal display panel ( LCD) 18, an input unit 19 for inputting a telephone number and function selection, a RAM (random access memory) 20 for storing data, a communication program, and the like. A ROM (Read Only Memory) 21 for storing, an LED (Light Emitting Diode) 22 for notifying the incoming call by blinking, and also notifying the singing power evaluation result, and a singing ability for notifying the incoming call by vibration. It is composed of a vibrator 23 that also notifies the evaluation result, and a CPU (central processing unit) 24 that executes a communication program or the like and controls the operation of each unit. Each unit is connected to the CPU 24 by the bus 10.
[0010]
To explain the above configuration further, the communication unit 12 transmits a signal modulated by the digital signal input from the audio processing unit 14 to the base station via the antenna 11. Further, it demodulates the received radio signal via the antenna 11 and outputs the digital signal. In the modulation and demodulation method, QPSK (four-phase modulation) or the like is used to improve the utilization rate of the radio frequency. When the TDD (time division two-way communication) system is used, transmission and reception are performed in a time division manner using the same frequency for transmission and reception. In addition, a CDMA (Code Division Multiple Access) method, a PDC (Personal Digital Cellular System) method, or the like may be used.
[0011]
The RAM 20 also has a user setting data storage area, a work area for the CPU 24, a storage area for music data downloaded via a wireless communication line, and the like. The ROM 21 stores programs such as a communication program for outgoing / incoming processing executed by the CPU 24 and a processing for assisting music reproduction processing. The input unit 19 is an input unit including a numeric keypad composed of numerical keys and code keys, a jog dial, and the like. In addition to an operation for a normal call, the user can input a distribution request of music data, ON / OFF of a karaoke mode, selection of a music number, start / stop of music reproduction, and the like. The LCD 18 displays a menu of telephone functions, a display corresponding to button operation of a numeric keypad, a jog dial, and the like, lyrics of music, graphics, an evaluation result (evaluation value), and the like.
[0012]
Here, the music data will be described.
The music data used in the present embodiment includes timbre data, tempo data, sample vocal sound data (sample vocal pitch data and sample vocal volume data) to be reproduced as music, and lyrics data and graphics data to be displayed on the LCD 18. Contains. The timbre data in the music data includes waveform parameters, envelope parameters, modulation parameters, effect parameters, and other parameters, and each parameter is a parameter unique to each timbre. The waveform parameter in each timbre data indicates a musical tone waveform corresponding to the timbre. For example, when the sound source unit (not shown) provided in the music reproduction unit 15 is a PCM sound source having a waveform table, the waveform table In the case where the sound source unit is an FM sound source, the parameter is a parameter that indicates an algorithm of the FM calculation. The envelope parameters are parameters such as an attack rate, a decay rate, a sustain level, and a release rate.The modulation parameters are parameters for depth and speed of vibrato and tremolo.The effect parameters are reverb, chorus, and variation. Parameters.
[0013]
Next, the evaluation parameter extracting unit 17 will be described with reference to FIG.
First, the singer's voice signal output from the microphone 13 (FIG. 1) and the reproduced musical sound signal (output of the music reproducing unit 15) are input to the preprocessing unit 17a. The pre-processing unit 17a passes the input audio signal through a filter in an audio band, removes high-frequency and low-frequency noises, and outputs the singer's voice signal. The pre-processing unit 17a extracts a model vocal sound signal from the input musical sound signal. That is, in the case of the audio multiplexing method, accompaniment and voice are recorded in the left channel signal, and accompaniment and voice are recorded in the right channel signal. Therefore, the preprocessing unit 17a extracts the audio signal by subtracting the left channel signal from the right channel signal. Next, the extracted audio signal is passed through a filter in an audio band to remove high-frequency and low-frequency noise, and output as a model vocal audio signal.
[0014]
The pitch extracting unit 17b first extracts a pitch from each of the singer voice signal and the sample vocal voice signal supplied from the preprocessing unit 17a. As a method of pitch extraction, a well-known zero-crossing interval detection method, an autocorrelation method, or a combination thereof can be used. Each of the pitch-extracted audio signals is converted into pitch data after a vibrato component is removed by a low-pass filter.
[0015]
That is, the frequency f, which is the reciprocal of the extracted pitch, is expressed as the following equation as a deviation from the fundamental frequency 32.7032 Hz.
f = 32.7032 × 2 ^{(P + Q / 12)} [Hz] (1)
Here, P is octave data, and Q is chromatic scale data. Therefore, the pitch data is calculated based on the following equation.
P + (Q / 12) = log ₂ (f / 3.7032) (2)
The octave data P is an integer and is determined so that the absolute value of Q is minimized. The reason why the data is converted into the pitch data is that the comparison matching the auditory characteristics can be performed. Then, the singer pitch data and the model vocal pitch data obtained by the above-described processing are output to the evaluation unit 17d.
[0016]
Further, the volume extracting unit 17c converts the amplitude values of the input singer voice signal and the sample vocal voice signal into absolute values, generates smoothed volume data, and performs singer volume data and sample vocal volume data. Is output to the evaluation unit 17d. The evaluation unit 17d compares the input singer's pitch data with the sample vocal pitch data based on a fixed period or a comparison timing signal based on a pitch extracted from the reproduced audio signal. Then, if they substantially match, the counter counts up and calculates the degree of coincidence of the pitch data from this count value. Similarly, the singer's volume data and the sample vocal volume data are compared in synchronization with the above-described comparison timing signal, and if they substantially match, the counter counts up, and from this count value, the degree of coincidence of the volume data is determined. calculate.
[0017]
Furthermore, random numbers are generated so as to approach not only a reproducible mechanical comparison process but also a subjective evaluation. Then, the coincidence between the pitch data, the coincidence between the volume data, and the random numbers are added after multiplying the pitch-oriented parameter α, the volume-oriented parameter β, and the random-number-oriented parameter γ. The parameters α, β, and γ can be adjusted at an arbitrary ratio by the parameter setting unit 17e so as to satisfy α + β + γ = 1. The added value is converted into an evaluation value, and the vibrator 23 is vibrated or the LED 22 is turned on and off at a cycle corresponding to the evaluation value. Of course, the vibration of the vibrator 23 and the blinking of the LED 22 may be simultaneously performed.
Note that this cycle is associated with the evaluation value in a range where the singer (person) can recognize the change of the vibration or the blinking. Further, the LCD 18 may display the evaluation value, a graph of the evaluation value, or a predetermined character figure that changes in accordance with the change of the evaluation value.
[0018]
Also, the method of extracting the model vocal audio signal from the music data and evaluating the evaluation parameter extracting unit 17 has been described. In general, however, the music data may include only the accompaniment data without the audio signal. In this case, it is assumed that an evaluation reference parameter composed of time-series pitch data and volume data is added to the music data. In this case, the evaluation parameter extracting unit 17 extracts the pitch data and the volume data from the singer's voice signal and outputs them to the CPU 24. The CPU 24 evaluates the singing ability by comparing the input data with the evaluation reference parameters.
[0019]
Next, in the above-described mobile phone 1 of the present embodiment, the operation of the karaoke mode in which the music is reproduced and mixed with the singer's singing voice to emit the sound and evaluate the singing ability of the singer will be described. I do. In the following, it is assumed that the music data is stored in the RAM 20 in advance.
[0020]
First, the user performs a key operation for selecting the karaoke mode of the input unit 19 (step S01), then inputs a desired music number from the input unit 19 (step S02), and performs a key operation for instructing a performance start. (Step S03) Based on the music number input from the input unit 19, the CPU 24 reads out the music data stored in the RAM 20 (Step S04). The music data read from the RAM 20 is set in the music reproducing unit 15 via the bus 10 (step S05). Then, the reproduction of the music data is started by the music reproduction unit 15 (step S06).
[0021]
On the other hand, the singer inputs an audio signal from the microphone 13. The input audio signal is mixed with the reproduced tone signal. One of the mixed outputs is adjusted to a predetermined level and emitted from the speaker 16 (step S06). At this time, the CPU 24 sends the lyrics data and the graphics data in the music data to the LCD 18 in synchronization with the music reproduction processing, and displays them (step S06 ').
[0022]
On the other hand, the evaluation parameter extraction unit 17 receives the singer's voice signal input from the microphone 13 via the voice processing unit 14 and the tone signal reproduced by the music reproduction unit 15. The evaluation parameter extracting unit 17 extracts singer interval data and singer volume data from the input voice signal, and extracts sample vocal interval data and sample vocal volume data from the tone signal. Then, the pitch data and the volume data of both voices are compared, and the singer's evaluation value is calculated from the degree of coincidence (step S07). The CPU 24 vibrates the vibrator 23 or blinks the LED 22 in a pattern corresponding to the evaluation value calculated by the evaluation parameter extracting unit 17 in synchronization with the music reproduction timing (step S08). Here, assuming that the evaluation value of the evaluation result is high when the singing voice of the singer is close to the model voice, for example, when the evaluation value of the singer is high, the period of blinking or the period of vibration is increased, If the evaluation value is low, the blinking cycle or the vibration cycle is shortened, and the singing ability of the singer is notified in real time.
[0023]
The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes a configuration and the like without departing from the gist of the present invention. In the above-described embodiment, a mobile phone has been described as an example. However, the present invention provides, for example, a PHS (Personal Handyphone System) terminal or a personal digital assistant (PDA) having a karaoke function with a singing ability evaluation function. And so on.
[0024]
【The invention's effect】
As described above, according to the present invention, in a portable terminal device having a karaoke function with a singing ability evaluation function, a light emitting element provided in the portable terminal device blinks according to the degree of the singing ability evaluated by the evaluation means. Since the pattern or the vibration pattern of the vibrator provided in the portable terminal device is changed, even in a small device such as a portable terminal device, the singer can change his or her own in real time by blinking the light emitting element or changing the vibration of the vibrator. Singing ability can be easily recognized, and the user can enjoy using the karaoke function and the singing ability evaluation function.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a mobile phone according to an embodiment of the present invention.
FIG. 2 is a block diagram showing a configuration of an evaluation parameter extraction unit 17 in FIG.
FIG. 3 is a sequence diagram illustrating an operation of the mobile phone according to the embodiment in a karaoke mode.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Mobile telephone (mobile terminal device), 10 ... Bus, 11 ... Antenna, 12 ... Communication part, 13 ... Microphone (microphone), 14 ... Sound processing part, 15 ... Music reproduction part (Music reproduction means, synthesis means), 16 speaker (sound generating means), 17 evaluation parameter extracting unit (evaluating means), 18 LCD, 19 input unit, 20 RAM, 21 ROM, 22 LED (light emitting element), 23 vibrator (vibrator) , 24 CPU (Central Processing Unit), 17a preprocessing unit, 17b pitch extraction unit, 17c volume extraction unit, 17d evaluation unit, 17e parameter setting unit

Claims

楽曲データを再生して楽曲を生成する楽曲再生手段と、マイクロフォンから入力した音声信号に基づいて歌唱力を評価する評価手段と、を具備する歌唱力評価機能付カラオケ機能を有する携帯端末装置において、
前記評価手段により評価された歌唱力の程度に応じて、前記携帯端末装置に備わる発光素子の点滅パターンを変える
ことを特徴とする歌唱力評価機能付カラオケ機能を有する携帯端末装置。A portable terminal device having a karaoke function with a singing ability evaluation function, comprising: a music reproducing unit that reproduces song data to generate a song; and an evaluation unit that evaluates a singing ability based on an audio signal input from a microphone.
A portable terminal device having a karaoke function with a singing ability evaluation function, wherein a blinking pattern of a light emitting element provided in the portable terminal device is changed according to the degree of singing ability evaluated by the evaluation means.

楽曲データを再生して楽曲を生成する楽曲再生手段と、マイクロフォンから入力した音声信号に基づいて歌唱力を評価する評価手段と、を具備する歌唱力評価機能付カラオケ機能を有する携帯端末装置において、
前記評価手段により評価された歌唱力の程度に応じて、前記携帯端末装置に備わるバイブレータの振動パターンを変える
ことを特徴とする歌唱力評価機能付カラオケ機能を有する携帯端末装置。A portable terminal device having a karaoke function with a singing ability evaluation function, comprising: a music playing unit that reproduces song data to generate a song; and an evaluation unit that evaluates a singing ability based on a voice signal input from a microphone.
A portable terminal device having a karaoke function with a singing ability evaluation function, wherein a vibration pattern of a vibrator provided in the portable terminal device is changed according to the degree of singing ability evaluated by the evaluation means.