JP3598598B2

JP3598598B2 - カラオケ装置

Info

Publication number: JP3598598B2
Application number: JP19506495A
Authority: JP
Inventors: 秀一松本
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 1995-07-31
Filing date: 1995-07-31
Publication date: 2004-12-08
Anticipated expiration: 2015-07-31
Also published as: SG46745A1; CN1136535C; JPH0944171A; KR970008041A; CN1150289A; KR100270434B1; US5876213A

Description

【０００１】
【発明が適用される技術分野】
この発明は、カラオケ装置に関し、特に、カラオケ歌唱者の歌唱に対して自動的にハーモニー音声信号を付与することができるカラオケ装置に関する。
【０００２】
【従来の技術】
カラオケ装置は、カラオケ歌唱を盛り上げるために種々の機能を有している。その機能のなかにハーモニー音声を出力するハーモニー音生成機能がある。ハーモニー音生成機能としては、メインボーカルに対して３度または５度など特定の音程を保ったハーモニー音を生成するもの、メインボーカルに対するハーモニーパートを予め記憶しておきカラオケ演奏に並行してこれを再生するもの、および、原曲に２声部以上のボーカルパートを持つ曲の場合には、そのうち１つのパートをカラオケ歌唱用に歌唱音声信号を抜いておき、他方をハーモニーパートとしてカラオケ伴奏音に挿入しておく方式などがある。
【０００３】
【発明が解決しようとする課題】
しかし、メインボーカルのメロディに対して常時３度などの間隔でハーモニーを付けた場合、たとえば、女性の歌唱に対して３度や５度上のハーモニーを付けると歌唱音声が高い場合には、それよりも３度または５度高いハーモニー音となり、自然に聴取できる最高音超えてしまう場合があり、逆に、男性の歌唱に対して３度や５度下のハーモニーを付けると歌唱音声が低い場合には、それよりも３度または５度低いハーモニー音となり、自然に聴取できる最低音超えてしまう場合があった。また、このような単純な方式では、ハーモニーメロディの流れが不自然になる場合があり、好ましいものではなかった。また、予めハーモニーパートを記憶しておく方式では、ボーカルが所定のオクターブで歌唱された場合には綺麗に響くものであっても、声域の違いによりボーカルが１オクターブ上下する場合があり、このような場合には、メインボーカルとハーモニーとの音程が大きく変わるため旨く響かなくなることがある。
【０００４】
さらに、複数のボーカルパートがある曲では、どちらがメインボーカルパートであるかを特定するのが難しい曲もあり、このような曲ではカラオケ歌唱者がどのパートを歌うかが判らず、ハーモニーパートとしてカラオケ伴奏に含めたパートを歌唱者が歌った場合にはパートが重複してしまう欠点があった。また、２つのボーカルパートでその音の高さが交錯する曲もあり、カラオケ歌唱者には無条件に上（或いは下）のパートを歌うことを習慣にしている者もいるため、この場合には、２つのパートに跨がって歌唱することにもなる。さらに、場合によっては歌唱者が上パート，下パートを混同する場合もある。
【０００５】
この発明は、歌唱中の音声に合わせてハーモニー音声を生成することにより、歌唱音声によく協和するハーモニー音声を付与できるカラオケ装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
この出願の請求項１の発明は、楽音発生部と、音声分析部と、ハーモニー生成部とを備え、カラオケパートとハーモニーパートを含む楽曲データの再生を行うカラオケ装置であって、楽音発生部は、楽曲データのカラオケパートの再生を行い、音声分析部は、入力されるカラオケ歌唱の歌唱音声信号とパート分析データとを比較して歌唱音声信号が何れの音域であるかを継続的に判定し、ハーモニー生成部は、継続的に判定される音域と、楽曲データのハーモニーパートとに基づいてハーモニー音声信号を生成することを特徴とする。
【０００７】
この発明では、歌唱音声信号の音域を判定してこれに応じてハーモニー音声信号を生成する。音域は、たとえば、歌唱パートとして分析される。これに応じてハーモニーを生成することにより、歌唱および伴奏によく協和するハーモニー音声信号を生成することができる。
【０００８】
この出願の請求項２の発明は、請求項１の発明において、楽曲データは、音域に応じた複数のハーモニーパートを有し、ハーモニー生成部は、判定された音域に対応するハーモニーパートに基づいてハーモニー音声信号を生成することを特徴とする。
【０００９】
複数のハーモニーパートデータを備え、そのなかから、最適な一つを選択することにより、事前に最適なものを作成しておき、そのなかから、選択できるため、非常によく協和するハーモニー音声信号を生成することができる。
【００１０】
この出願の請求項３の発明は、請求項１の発明において、ハーモニー生成部は、判定された音域に対応する所定量だけハーモニーパートをシフトさせてハーモニー音声信号を生成することを特徴とする。
【００１１】
ハーモニーパートデータの周波数データ（ピッチデータ）をシフトすることによってハーモニー音声信号を生成するようにしたことにより、データ量を少なくし、且つ、歌唱の音域にあったハーモニー音声信号を生成するとこができるようになる。
【００１２】
この出願の請求項４の発明は、請求項１〜３の発明において、パート分析データは、楽曲データに含まれるとともにその進行に同期したデータであることを特徴とする。
【００１３】
歌唱周波数（ピッチ）をしきい値で複数に区切り、どの区画に歌唱音声信号が属するかによって音域（パート）を判定するようにしたことにより、歌唱者の歌唱ピッチがずれても正確にパートを判定することができる。
【００１４】
【発明の実施の形態】
図１〜図３を参照してこの発明の構成を説明する。図１は、複数のパートのハーモニーパートデータとこれら複数パートのそれぞれに対応する複数のパート分析データを含んでいる楽曲データを用いるカラオケ装置の構成を示す図である。楽曲データ１は、上記複数パートのハーモニーパートデータ，複数のパート分析データのほか、カラオケ伴奏音を発生するためのカラオケパートデータを含んでいる。カラオケ演奏がスタートするとこのカラオケパートデータが楽音発生部６に入力されることによってカラオケ伴奏音が発生され、このカラオケ伴奏音がミキサ７，スピーカ８を介して出力される。カラオケ歌唱者は、このカラオケ伴奏音を聞きながら歌唱する。この歌唱音声信号は、前記ミキサ７のほか、音声分析部４，音声処理部５およびハーモニー生成部２に入力される。
【００１５】
音声分析部４は、入力された歌唱音声信号を前記複数のパート分析データと比較することによって、この歌唱の音域（パート）を分析する。パート分析データは、カラオケの進行に同期して進行する旋律のようなデータであり、ＭＩＤＩデータで構成しても、音声多重カラオケのメロディトラックのようなデータで構成してもよい。パートの分析は種々の方式で行うことができるが、最も簡略な方式は、パート分析データを対応するパートのメロディデータとし、歌唱音声信号がパート分析データと一致したとき、歌唱パートが当該パートであると判定する方式や、パート分析データをしきい値データとし、歌唱音声信号が複数のパート分析データで区切られる複数の音域のうち、どの音域に属するかでパートを判定する方式などがある。音声分析部４によるパート分析結果はハーモニー生成部２および音声処理部５に入力される。ハーモニー生成部２は入力されたパート分析結果に基づいて楽曲データに含まれる複数のハーモニーパートデータから１つを選択する。この選択は、分析されたカラオケ歌唱のパートに対して最もよく協和するハーモニーパートが選択される。ハーモニー生成部２は、入力された歌唱音声信号を加工してハーモニー音声信号を生成するものであってもよく、また、予め録音されているハーモニー音声信号を再生するものであってもよい。生成されたハーモニー音声信号はミキサ７に入力される。一方、音声処理部５は歌唱音声信号に対して効果を付与するものである。付与される効果としては、リバーブのようなものであってもよく、また、フォルマント変換などの音声分析部４で分析された結果を利用するものであってもよい。すなわち、女性が男性の歌を歌っていると分析された場合には、歌唱音声信号のフォルマントを男性のものに変換し、男性が女性の歌を歌っていると分析された場合には、歌唱音声信号のフォルマントを女性のものに変換することによって、歌唱音声の音質をよりオリジナルに近づけるなどの効果を付与することができる。
【００１６】
なお、ハーモニー生成部２には、ハーモニーパートを選択するためのパネルスイッチ９が接続されている。このパネルスイッチ９によってハーモニーパートがマニュアルで選択された場合には、音声分析部４の分析結果にかかわらずパネルスイッチ９で選択されたハーモニーパートのハーモニー音声信号が生成されるものとする。また、採点機５０は音声分析部４の分析結果に基づいて歌唱を採点して表示する装置である。
【００１７】
また、途中でカラオケ歌唱者が交替した場合やカラオケ歌唱者が歌唱するパートが途中で変わった場合、歌唱のオクターブが変わった場合などには、これに合わせてハーモニーパートも切り換わるが、このこの切り換えを突然行うと不自然になる場合があるため、曲（フレーズ）の切れ目を認識し、この切れ目のタイミングでハーモニーパートを切り換えるようにしてもよい。
【００１８】
図２はハーモニーパートデータとパート分析データをそれぞれ１つずつ含む楽曲データを含んでいる楽曲データを用いるカラオケ装置の構成を示す図である。この図において図１と同一構成の部分は同一番号を付して説明を省略する。楽曲データ１′は、上記ハーモニーパートデータ，パート分析データおよびカラオケ伴奏音を発生するためのカラオケパートデータを含むものである。音声分析部４′はパート分析データを基準に、歌唱音声信号がこのパート分析データよりも何度上か下かを分析する。この歌唱分析部４′は、簡略化すると、歌唱者がどのオクターブで歌唱しているかを判定するものとなる。歌唱分析部４′は、パート分析データと歌唱音声信号との差分音程を割り出し、これをハーモニー生成部２′に入力する。ハーモニー生成部２′は、この差分音程の情報に基づいてハーモニーパートデータをピッチシフトし、実際に生成するハーモニーのピッチを割り出す。このピッチでハーモニー音声信号を生成するが、生成方式は、図１のハーモニー生成部２と同様、入力された歌唱音声信号を加工してハーモニー音声信号を生成するものであってもよく、また、予め録音されているハーモニー音声信号を再生するものであってもよい。
【００１９】
さらに、図３は、１つのハーモニーパートデータとカラオケパートのみからなる楽曲データを用いるカラオケ装置の構成を示す図である。この図において図１と同一構成の部分は同一番号を付して説明を省略する。このカラオケ装置の音声分析部４″には、固定値であるしきい値データが３つ記憶されている。３つのしきい値は、それぞれ曲頭しきい値データ，男上限しきい値データおよび女下限しきい値データである。一般のカラオケ曲では、曲頭は普通の音域で始まるため、曲の冒頭の歌唱音声信号のオクターブに基づいて男性が歌っているか女性が歌っているかを判断することができる。前記曲頭しきい値データは、男性の通常の歌唱音域と女性の歌唱音域のオクターブの境界を示すデータである。音声分析部４″は、カラオケ歌唱が開始されたとき、この曲頭しきい値データに基づいて歌唱者が男性か女性かを判断する。また、曲の途中には歌唱メロディ中に高い音や低い音が出てくるが、歌唱者が男性と判断された場合でも、歌唱音声信号のピッチが余りに高すぎる場合には、上記判断の誤りまたは歌唱者が交替したと考えられる。この判断の基準になるのが男上限しきい値データである。歌唱音声信号がこのしきい値よりも高くなった場合には、それまでの判断を取り消して歌唱者は女性であると判断する。一方、これとは逆に、歌唱者が女性と判断された場合でも、歌唱音声信号のピッチが余りに低すぎる場合には、上記判断の誤りまたは歌唱者が交替したと考えられる。この判断の基準になるのが女下限しきい値データである。歌唱音声信号がこのしきい値よりも低くなった場合には、それまでの判断を取り消して歌唱者は男性であると判断する。男性／女性の判断結果はハーモニー生成部２″に入力される。ハーモニー生成部２″はこの判断結果に基づき、ハーモニーデータのピッチ（オクターブ）を決定してハーモニー音声信号を生成する。
【００２０】
このように図１の構成では、複数のパート分析データに基づいて歌唱音声信号の歌唱パートに分析し、この分析結果に基づいて複数のハーモニーパートデータから１つを選択するようにしているため、多彩なハーモニーパートデータから歌唱パートに最もよく協和するハーモニーパートデータを選択することができる。また、図２，図３の構成では、より簡略な楽曲データの構成で歌唱パートに合わせたハーモニー音声信号を生成することができる。
【００２１】
図４〜図８を参照してこの発明が適用されたカラオケ装置の具体的な構成を説明する。このカラオケ装置は、音源カラオケ装置であり、通信機能およびハーモニー付加機能を備えている。音源カラオケ装置とは、楽曲データで音源装置を駆動することによりカラオケ演奏音を発生するカラオケ装置である。楽曲データとは、音高や発音タイミングを指定する演奏データ列などの複数トラックからなるシーケンスデータである。また、通信機能とは、通信回線を介してホストステーションと接続され、楽曲データをホストステーションからダウンロードしてハードディスク装置１７（図４参照）に蓄える機能である。ハードディスク装置１７は、楽曲データを数百〜数千曲分記憶することができる。ハーモニー付加機能とは、歌唱者の歌唱音声と協和する音程のハーモニー音声を歌唱者の音声信号に基づいて生成・出力する機能である。
【００２２】
まず、図６〜図８を参照してこのカラオケ装置のハードディスク装置１７に記憶される楽曲データの構成を説明する。楽曲データは、カラオケ歌唱者の歌唱パートを判定するためのパート分析データおよびハーモニーパートデータをどれだけ記憶しているかによりＡタイプ，Ｂタイプ，Ｃタイプに分類される。すなわち、Ａタイプの楽曲データは、上記図１で説明した楽曲データに対応し、Ｂタイプの楽曲データは、上記図２で説明した楽曲データに対応し、Ｃタイプの楽曲データは上記図３で説明した楽曲データに対応している。
【００２３】
図６はＡタイプの楽曲データを示している。楽曲データは、ヘッダ、伴奏音データトラック、歌詞表示データトラック、複数のハーモニーパートデータトラック、複数のパート分析データトラックで構成されている。ヘッダは、曲名，ジャンルデータ，発売日，曲の演奏時間（長さ）などこの楽曲データの書誌的なデータが書き込まれる部分である。伴奏音データトラックは、カラオケ演奏の楽音を形成するためのデータが記憶されたトラックであり、メロディやリズム音を発生する複数音色の楽音トラックで構成されている。各データトラックは、イベントデータと各イベントデータ間の時間間隔を示すデュレーションデータからなるシーケンスデータで構成されている。歌詞表示データトラックは、モニタ２６上に歌詞を表示するためのシーケンスデータを記憶したトラックである。
【００２４】
この楽曲データにはハーモニーパートデータがｎ個記憶されている。これらは、それぞれ異なるパートの音高シーケンスデータで構成されている。このトラックのシーケンスデータは発音・消音および音高を指示するイベントデータとデュレーションデータの組み合わせで構成されている。一方、この楽曲データにはパート分析データがｍ個記憶されている。これらのデータも、上記ハーモニーパートデータと同様、音高を指示するイベントデータとデュレーションデータの組み合わせからなるシーケンスデータで構成されており、パート分析データも曲の進行に追従するようになっている。
【００２５】
同図（Ｂ）および（Ｃ）は歌唱パート，ハーモニーパートおよびパート分析データの関係を示す図である。同図（Ｂ）は複数の歌唱パート１，２，３に対してそれぞれ独自のハーモニーパート１，２，３を備え、歌唱音声信号がどの歌唱パートであるかを判定するためにパート分析データをしきい値データとした例である。歌唱音声信号がしきい値データで区切られる音域にある場合には、その音域の歌唱パートが歌われているものと判定してその歌唱パートに対応するハーモニーパートのハーモニー音声信号を生成する。
【００２６】
一方、同図（Ｃ）は、複数の歌唱パートがそのままハーモニーパートおよびパート分析データとなっている例を示す。すなわち、カラオケ歌唱者がいずれかのパートを歌唱すると、カラオケ装置は、その歌唱音声信号がどのパートと一致するかを判定し、一致したパート以外のパートをハーモニーパートの音声信号として形成するものである。
【００２７】
なお、同図（Ｂ），（Ｃ）の記載から明らかなように、この楽曲データのハーモニーパートデータは、歌唱パートのピッチに対して単純な３度や５度ではなく、旋律的にマッチする音程関係で独自に作成されたものである。
【００２８】
図７はＢタイプの楽曲データを示す図である。この楽曲データは、ヘッダ，伴奏音データトラック，歌詞表示データトラックおよび１つのハーモニーパートデータトラックおよび１つのパート分析データトラックで構成されている。ヘッダ，伴奏音トラックおよび歌詞表示トラックについては上記Ａタイプの楽曲データと同様である。ハーモニーパートデータは、１種類であるが、カラオケ歌唱の音域（一般的にはオクターブ）に合わせてピッチシフトされる。また、歌唱パートは、歌唱音声信号のピッチがパート分析データからどの程度離れているかによって判定される。パート分析では、図６（Ｃ）のように歌唱パートと一致するものであってもよい。
【００２９】
また、図８はＣタイプの楽曲データを示す図である。この楽曲データは、ヘッダ、伴奏音データトラック、歌詞表示データトラックおよびハーモニーパートデータトラックからなっている。ヘッダ，伴奏音トラックみよび歌詞表示トラックについては上記Ａタイプの楽曲データと同様である。ハーモニーパートトラックは上記Ｂタイプの楽曲データと同様、カラオケ歌唱の音域に合わせてピッチシフトされる。また、この楽曲データでカラオケ演奏が行われる場合は、楽曲データ内にパート分析データが書き込まれていないため、カラオケ装置は、後述のパート分析部が固定的に記憶しているしきい値データに基づいて歌唱者の歌唱パートを判定し、これと協和するようにハーモニーパートをピッチシフトする。
【００３０】
カラオケ装置は、これら３種類の楽曲データにより、それぞれに対応する方式で歌唱者の歌唱パートを判定し、これに協和するようなハーモニーパートの歌唱音を生成する。
【００３１】
図４は同カラオケ装置のブロック図である。装置全体の動作を制御するＣＰＵ１０には、バスを介してＲＯＭ１１，ＲＡＭ１２，ハードディスク記憶装置（ＨＤＤ）１７，ＩＳＤＮコントローラ１６，リモコン受信機１３，表示パネル１４，パネルスイッチ１５，音源装置１８，音声データ処理部１９，効果用ＤＳＰ２０，文字表示部２３，ＬＤチェンジャ２４，表示制御部２５および音声処理用ＤＳＰ３０が接続されている。
【００３２】
ＲＯＭ１１には、システムプログラム，アプリケーションプログラム，ローダおよびフォントデータが記憶されている。システムプログラムは、この装置の基本動作や周辺機器とのデータ送受を制御するプログラムである。アプリケーションプログラムは周辺機器制御プログラム，シーケンスプログラムなどである。カラオケ演奏時にはシーケンスプログラムがＣＰＵ１０によって実行され、楽曲データに基づいた楽音の発生，映像の再生が行われる。ローダは、ホストステーションから楽曲データをダウンロードするためのプログラムである。フォントデータは、歌詞や曲名などを表示するためのものであり、明朝体やゴジック体などの複数種類の文字種のフォントが記憶されている。また、ＲＡＭ１２には、ワークエリアが設定される。ＨＤＤ１７には楽曲データファイルが設定される。
【００３３】
ＩＳＤＮコントローラ１６は、ＩＳＤＮ回線を介してホストステーションと交信するためのコントローラである。ホストステーションからは楽曲データなどがダウンロードされる。ＩＳＤＮコントローラ１６はＤＭＡ回路を内蔵しており、ダウンロードされた楽曲データやアプリケーションプログラムをＣＰＵ１０を介さずに直接ＨＤＤ１７に書き込む。
【００３４】
リモコン受信機１３はリモコン３１から送られてくる赤外線信号を受信してデータを復元する。リモコン３１は選曲スイッチなどのコマンドスイッチやテンキースイッチなどを備えており、利用者がこれらのスイッチを操作するとその操作に応じたコードで変調された赤外線信号を送信する。表示パネル１４はこのカラオケ装置の前面に設けられており、現在演奏中の曲コードや予約曲数などを表示するものである。パネルスイッチ１５はカラオケ装置の前面操作部に設けられており、曲コード入力スイッチやキーチェンジスイッチなどを含んでいる。
【００３５】
音源装置１８は、ＣＰＵ１０から入力される楽曲データに基づいて楽音信号を形成する。音声データ処理部１９は、楽曲データに含まれる音声データに基づき、指定された長さ，指定された音高の音声信号を形成する。音声データは、ＡＤＰＣＭデータで構成されており、バックコーラスや模範歌唱音などの音源装置１８で電子的に発生しにくい信号波形をそのままディジタル化して記憶したものである。
【００３６】
一方、歌唱用のマイク２７から入力された歌唱音声信号は、マイクアンプ２８−Ａ／Ｄコンバータ２９を介して音声処理用ＤＳＰ３０および効果用ＤＳＰ２０に入力される。また、音声処理用ＤＳＰ３０にはこの歌唱音声信号のほか、ＣＰＵ１０からパート分析データ，ハーモニーパートデータなどが入力される。音声処理用ＤＳＰ３０はこれらの情報に基づいて歌唱者が歌唱しているパートを検出し、これと最も協和するハーモニー音声信号を生成する。この音声信号は、歌唱者の歌唱音声信号をピッチシフトすることによって生成する。この音声信号は効果用ＤＳＰ２０に出力される。
【００３７】
音源装置１８が形成した楽音信号、音声データ処理部１９が形成した音声信号、Ａ／Ｄコンバータ２９から入力される歌唱音声信号および音声処理用ＤＳＰ３０から入力されるハーモニー音声信号は効果用ＤＳＰ２０に入力される。効果用ＤＳＰ２０は、これら入力された音声信号や楽音信号に対してリバーブやエコーなどの効果を付与する。効果用ＤＳＰ２０が付与する効果の種類や程度は、楽曲データの伴奏音トラックに含まれている効果制御用データに基づいて制御される。効果が付与された楽音信号，音声信号はＤ／Ａコンバータ２１でアナログ信号に変換されたのちアンプ・スピーカ２２に出力される。アンプ・スピーカ２２はこの信号を増幅したのち放音する。
【００３８】
また、文字表示部２３は入力される文字データに基づいて、曲名や歌詞などの文字パターンを生成する。また、ＬＤチェンジャ２４には、５枚（１２０シーン）程度のレーザディスクが内蔵されており１２０シーンの背景映像を再生することができる。ＬＤチェンジャ２４には、曲のジャンルデータに基づいて決定された映像選択データが入力される。ＬＤチェンジャ２４は、この映像選択データに基づいて上記１２０シーンの背景映像データから１つの背景映像を選択・再生し、映像データとして出力する。文字パターン，映像データは表示制御部２５に入力される。表示制御部２５ではこれらのデータをスーパーインポーズで合成してモニタ２６に表示する。
【００３９】
図５は前記音声処理用ＤＳＰ３０の構成を示す図である。この音声処理用ＤＳＰ３０は、歌唱音声信号を入力し、この歌唱音声信号のパートを検出するとともに、この歌唱音声信号と協和するハーモニーパートの音声信号（ハーモニー音声信号）を生成出力する。同図では、音声処理用ＤＳＰ３０の機能をブロック図で示しているが、これらの機能はマイクロプログラムで実現される。
【００４０】
Ａ／Ｄコンバータ２９から入力された歌唱音声信号はピッチ検出部４０，音節検出部４２，ピッチシフト部４３に入力される。ピッチ検出部４０は入力された歌唱音声信号のピッチ（周波数）を検出する。音節検出部４２は入力された歌唱音声信号の音節の境目を検出する。音節の検出は、子音や母音をそれらの音声的な特徴に基づいて切り分けることによって検出される。また、ピッチシフト部４３は、入力された歌唱音声信号をピッチシフトして、該歌唱音声信号に協和するハーモニー音声信号を形成する機能部である。すなわち、カラオケ歌唱者の歌唱音声信号は、そのまま歌唱音声信号として出力されるとともに、この音声処理用ＤＳＰ３０でピッチシフトされて元の歌唱音声信号およびカラオケ伴奏である楽音信号に協和するハーモニー音声信号に変換されて出力される。
【００４１】
ピッチ検出部４０が検出した歌唱音声信号のピッチ情報はパート分析部４１およびシフト量設定部４６に入力される。パート分析部４１には楽曲データのタイプ情報（Ａ〜Ｃタイプ）およびパート分析データが入力される。パート分析部４１はこれらの情報および前記ピッチ検出部４０が検出したピッチデータに基づいて歌唱者がどのパートを歌唱しているかを分析する。分析手法の詳細は後述する。
【００４２】
パート分析部４１が分析したパート分析結果は、ＣＰＵ１０に返信されるとともに、シフト量設定部４６に入力される。Ａタイプの楽曲データの場合、ＣＰＵ１０は、受信したパート分析結果に基づいて複数のハーモニーパートデータトラックから歌唱者の歌唱パートにあったハーモニーパートを１つ選択し、このトラックのデータを音声処理用ＤＳＰ３０内のハーモニーパートレジスタ４４に転送する。一方、Ｂタイプ，Ｃタイプの楽曲データの場合には、ハーモニーパートデータトラックが１つだけ記憶されているため、パート情報にかからわずこのトラックのデータが音声処理用ＤＳＰ３０内のハーモニーパートレジスタ４４に転送される。
【００４３】
ハーモニーパートレジスタ４４に記憶されているハーモニーパートデータはポインタ生成部４５が生成するポインタにしたがって読み出され、シフト量設定部４６に入力される。ポインタ生成部４５は前記音節検出部４２が検出した音節の境目情報に基づいてポインタを歩進する。これにより、ハーモニーの進行が単純なテンポクロックではなく、歌唱者の歌唱音声信号に合わせたテンポで進行するようになり、歌唱が拍タイミングからずれてもそれに合わせてハーモニー歌唱音声信号を生成することができる。
【００４４】
シフト量設定部４６は、入力された歌唱音声信号からカラオケ伴奏音楽である楽音信号に協和するハーモニー音声信号を生成するため、入力された歌唱音声信号とハーモニーパートレジスタ４４から読み出されたデータを基に該歌唱音声信号のピッチシフト量を算定する機能部である。
【００４５】
シフト量設定部４６によって算出されたピッチシフト量はピッチシフト部４３に出力される。ピッチシフト部４３は、入力されたピッチシフト量だけ、歌唱音声信号をピッチシフトする。このようにしてピッチシフトされた音声信号は、カラオケの伴奏音、また、歌唱者のか正規の音程で歌唱していれば歌唱者の音声信号ともよく協和するハーモニー音声信号となり、効果用ＤＳＰ２０に出力される。
【００４６】
ここで、パート分析の方法およびピッチシフト量の決定の方法を前記Ａタイプ，Ｂタイプ，Ｃタイプの楽曲データ毎に説明する。
【００４７】
図６に示すＡタイプの楽曲データの場合、複数のパート分析データ（しきい値データ）がパート分析部４１に入力される。パート分析部４１では、歌唱音声信号がしきい値データで区分されるどの区画に入るかを分析し、その区画に対して指定されているパートをハーモニーパートとして選択する。このパート分析結果は、ＣＰＵ１０に送信され、ＣＰＵ１０はこの分析結果に対応するハーモニーパートデータトラックのデータを読み出してハーモニーパートレジスタ４４に入力する。Ａタイプの楽曲データの場合、このように複数のハーモニートラックから１つを選択して入力されるため、このトラックのデータ（絶対量のピッチデータ）をそのままハーモニーパートのピッチとして用いればよい。シフト量設定部４６は、歌唱音声信号をこのハーモニーパートのピッチへピッチシフトすべくシフト量を設定すればよい。
【００４８】
なお、上述の例は、図６（Ｂ）に示すようにパート分析データとしてしきい値データが記憶された楽曲データを用いる場合を示したが、パート分析データとして複数の歌唱パートのメロディデータを用いている場合には、歌唱音声信号がどのパートであるかを検出し、ハーモニーパートとして検出されたパート以外のパートを出力するようにすればよい。
【００４９】
なお、パート分析部４１は常時パートの分析を行っているため、歌唱者の歌唱パートが途中で変わった場合でも、それに追従してハーモニーパートを切り換えることができる。
【００５０】
図７に示すＢタイプの楽曲データの場合には、パート分析部４１は、パート分析データと歌唱音声信号との差を割り出し、この差に基づいてハーモニーパートのピッチシフト補正量を決定する。このピッチシフト補正量がパート分析結果としてシフト量設定部４６に出力される。ハーモニーデータレジスタ４４には、その曲に唯一のハーモニーデータが入力されており、これがポインタ生成部４５の指示に応じてシフト量設定部４６に入力される。シフト量設定部４６においては、歌唱音声信号とハーモニーデータとのピッチ差とパート分析部４１から入力されたピッチシフト補正量とを考慮した値をピッチシフト部４３に入力するシフト量として設定する。
【００５１】
この制御方法によれば、歌唱者が自分の声域に合わせてボーカルパートをオリジナルよりもオクターブ上下して歌唱したとき、ハーモニーパートをこれに追従させてオクターブ上下させたり、そのオクターブで最適の音程にハーモニーパートの音声信号を生成することができる。
【００５２】
また、図８に示すＣタイプの楽曲データの場合、すなわち、楽曲データ中にパート分析データが無い場合には、パート検出部４１が固定的に記憶している３つのしきい値データ（男上限しきい値データ、女下限しきい値データおよび曲頭しきい値データ）に基づいてパートを分析する。カラオケ曲のスタート時には歌唱音声信号のピッチを曲頭しきい値データと比較し、歌唱音声信号が曲頭しきい値データよりも高ければ女性が歌っているとして、ハーモニーパートの絶対値のピッチをこれに合わせて女性または男性の声域にシフトする。すなわち、同性のハーモニーが必要な場合には女性の声域にシフトし異性のハーモニーが必要な場合には男性の声域にシフトする。一方、歌唱音声信号が曲頭しきい値データよりも低ければ男性が歌っているとして、ハーモニーパートのピッチをこれに合わせて男性または女性の声域にシフトする。
【００５３】
なお、効果用ＤＳＰ２０においては、リバーブなどの一般的なもののみならず、フォルマント変換などの効果を付与するようにしてもよい。
【００５４】
以上のように、このカラオケ装置では楽曲データに含まれているハーモニーパートトラックの数やしきい値トラックの数に応じてパート分析，ハーモニー歌唱音声信号の生成を行うため、その曲データの特性に応じて最適のハーモニー生成が可能になる。
【００５５】
【発明の効果】
以上のように請求項１の発明によれば、歌唱音声信号の音域を継続的に判定し、この音域に合わせて適当なハーモニー音声信号を生成するため、常によく協和するハーモニー音声を生成することができる。
【００５６】
また、請求項２の発明によれば、複数のハーモニーパートデータから一つを選択するようにしたことにより、単なるピッチシフトでなく、各音域に最適なハーモニー音声信号を形成することができる。
【００５７】
また、請求項３の発明によれば、たととえば、歌唱音声信号がオクターブ上下した場合でもハーモニーの周波数をこれに合わせてオクターブシフトすることができ、常に歌唱音声信号とハーモニー音声信号との音程を理想的に保つことができる。
【００５８】
また、請求項４の発明によれば、カラオケと同期して進行する周波数しきい値データに基づいて歌唱音声信号の音域を判定するようにしたことにより、ハーモニーパートの決定と歌唱音声信号のパート分析を別にすることができ、全く異なるハーモニーを生成することができる。また、歌唱ピッチがずれてもしきい値内に属していれば、そのパートと判定することができる。
【図面の簡単な説明】
【図１】この発明が適用されたカラオケ装置のブロック図
【図２】同カラオケ装置の音声処理用ＤＳＰの機能を説明する図
【図３】同カラオケ装置に用いられる楽曲データの構成を示す図
【図４】この発明が適用されたカラオケ装置のブロック図
【図５】同カラオケ装置の音声処理用ＤＳＰの機能を説明する図
【図６】同カラオケ装置に用いられる楽曲データの構成を示す図
【図７】同カラオケ装置に用いられる楽曲データの構成を示す図
【図８】同カラオケ装置に用いられる楽曲データの構成を示す図
【符号の説明】
１−楽曲データ、２−ハーモニー生成部、３−歌唱音声信号、
４−音声分析部、３０−音声処理用ＤＳＰ
４０−ピッチ検出部、４１−パート分析部、４２−音節検出部、
４３−ピッチシフト部、４４−ハーモニーデータレジスタ、
４５−ポインタ生成部、４６−シフト量設定部

Claims

楽音発生部と、音声分析部と、ハーモニー生成部とを備え、カラオケパートとハーモニーパートを含む楽曲データの再生を行うカラオケ装置であって、
楽音発生部は、楽曲データのカラオケパートの再生を行い、
音声分析部は、入力されるカラオケ歌唱の歌唱音声信号とパート分析データとを比較して歌唱音声信号が何れの音域であるかを継続的に判定し、
ハーモニー生成部は、継続的に判定される音域と、楽曲データのハーモニーパートとに基づいてハーモニー音声信号を生成する
カラオケ装置。
楽曲データは、音域に応じた複数のハーモニーパートを有し、
ハーモニー生成部は、判定された音域に対応するハーモニーパートに基づいてハーモニー音声信号を生成する
請求項１に記載のカラオケ装置。
ハーモニー生成部は、判定された音域に対応する所定量だけハーモニーパートをシフトさせてハーモニー音声信号を生成する
請求項１に記載のカラオケ装置。
パート分析データは、楽曲データに含まれるとともにその進行に同期したデータである
請求項１乃至請求項３のいずれかに記載のカラオケ装置。