JP2016142843A - ハーモニー歌唱のためのピッチシフト機能を備えたカラオケシステム - Google Patents

Abstract

【課題】 複数の歌唱パートからなるカラオケ楽曲のハーモニー区間において、マイクロホンから入力された歌唱音声をピッチシフトして適切なハーモニー用の歌唱音声を生成する。
【解決手段】 各歌唱パートにそれぞれ関連付けられた複数のマイクロホン１３から出力された歌唱音声信号に対してそれぞれピッチシフトを行うピッチシフト実行手段１４と、マイクロホン１３から出力された歌唱音声信号の歌唱採点値を算出する歌唱採点手段２７と、マイクロホン１３毎の歌唱採点値を比較する歌唱採点値比較手段２８と、最も得点が高い歌唱採点値と最も得点が低い歌唱採点値との差が所定の閾値以上である場合に、ハーモニー区間検出手段３３により検出したハーモニー区間において、歌唱採点値の差が所定の閾値未満となるようにピッチシフトを行わせるピッチシフト制御手段２９とを備える。
【選択図】図１

Description

本発明はハーモニー歌唱のためのピッチシフト機能を備えたカラオケシステムに関するものであり、詳しくは、複数の歌唱パートからなるカラオケ楽曲のハーモニー区間において、マイクロホンから入力された歌唱音声をピッチシフトして適切なハーモニー用の歌唱音声を生成することが可能なカラオケシステムに関するものである。

複数の歌唱者が同時に歌唱を行う楽曲（例えば、デュエット曲）は、歌唱者が交互に掛合いで歌唱する区間と、複数の歌唱者がハモリながら同時に歌唱する区間（ハーモニー区間）で構成されていることが一般的である。このハーモニー区間は、聴衆にとっても歌唱者にとっても、盛り上がる歌唱区間であり、上手にハーモニーを歌唱することが望まれている。そこで、マイクロホンから入力された歌唱音声に対して、ピッチシフトを施すことにより、自動的にハモリ音を生成する技術が開示されている。

例えば、特許文献１に記載された技術は、複数のマイクロホンから入力された歌唱音声の中で、どの歌唱音声が主旋律に近いかを判定し、主旋律に近い方の歌唱音声をメインボーカルとするとともに、主旋律から離れている方の歌唱音声をサブボーカルとして、サブボーカル用の出力からハーモニー用の歌唱音声を出力する技術である。

また、特許文献２に記載された技術は、複数のマイクロホンから入力される歌唱音声に対して、独立に任意のタイミングにてハーモニー用の歌唱音声を付加することができる技術である。

また、特許文献３に記載された技術は、１本のマイクロホンから入力された複数パートの歌唱音声を分析することにより、主旋律パートを抽出して、ハーモニー用の歌唱音声を生成する技術である。

特開平１０−１６１６７２号公報 特開平１０−５５１９１号公報 特開平８−２８６６８９号公報

しかしながら、特許文献１に記載された技術は、２本あるマイクロホンのうちのどちらがメインボーカル用またはサブボーカル用のマイクロホンであるのかを区別できないことを前提としている。そして、サブボーカル用のマイクロホンからの出力信号を用いてハーモニー用の歌唱音声を出力させるものであるため、例えば、二人の歌唱者が同時に歌唱する区間にて、主旋律またはハーモニー用旋律のうちのどちらか一方の歌唱者の音程がずれていた場合に、強制的にピッチシフトさせて正しい音程にすることはできない。

また、特許文献２に記載された技術は、独立的にハーモニー用の歌唱音声を付加する技術であるため、例えば二人の歌唱者が同時に歌唱する区間において、いずれか一方の歌唱音声の音程がずれていた場合に、音程がずれている方の歌唱音声を修正することはできない。

また、特許文献３に記載された技術は、１本のマイクロホンから入力された歌唱音声に対して、主旋律パートを抽出してハーモニー音を生成する技術であるため、音程のずれを修正することはできない。

さらに、複数のマイクロホンから入力される歌唱音声の音程がそれぞれ正しい音程からずれている場合に、ピッチシフトの基準を設けることなく、すべての歌唱音声に対して音程のずれを強制的に修正してしまうと、音程のずれが混乱してしまい、音程のずれを収束することができなくなるおそれがある。

本発明は、上述した事情に鑑み提案されたもので、複数の歌唱パートからなるカラオケ楽曲のハーモニー区間において、マイクロホンから入力された歌唱音声をピッチシフトして適切なハーモニー用の歌唱音声を生成することが可能なカラオケシステムを提供することを目的とする。

本発明に係るハーモニー歌唱のためのピッチシフト機能を備えたカラオケシステム（以下、カラオケシステムと略記することがある）は、上述した目的を達成するため、以下の特徴点を有している。すなわち、本発明に係るカラオケシステムは、複数の歌唱パートからなるカラオケ楽曲のハーモニー区間において、マイクロホンから入力された歌唱音声をピッチシフトして適切なハーモニー用の歌唱音声を生成することが可能なカラオケシステムであって、ハーモニー区間検出手段と、複数のマイクロホンと、ピッチシフト実行手段と、歌唱採点手段と、歌唱採点値比較手段と、ピッチシフト制御手段とを備えたことを特徴とするものである。

ハーモニー区間検出手段は、カラオケ楽曲のハーモニー区間を検出するための手段である。複数のマイクロホンは、各歌唱パートにそれぞれ関連付けられており、当該歌唱パートを担当する歌唱者の歌唱音声が入力されると、歌唱音声信号を出力する。ピッチシフト実行手段は、各マイクロホンから出力された歌唱音声信号に対してそれぞれピッチシフトを行うための手段である。

歌唱採点手段は、各マイクロホンから出力された歌唱音声信号と、各マイクロホンに関連付けられた歌唱パートのリファレンスデータとを比較して、マイクロホン毎に歌唱採点値を算出するための手段である。歌唱採点値比較手段は、マイクロホン毎の歌唱採点値を比較するための手段である。ピッチシフト制御手段は、歌唱採点値の比較に基づき、最も得点が高い歌唱採点値と最も得点が低い歌唱採点値との差が所定の閾値以上である場合に、ハーモニー区間検出手段により検出したハーモニー区間において、ピッチシフト実行手段を動作させて歌唱採点値の差が所定の閾値未満となるようにピッチシフトを行わせるための手段である。

また、上述した構成のカラオケシステムにおいて、歌唱採点値比較手段は、歌唱音声信号のピッチ変動が少ない歌唱部分において算出された歌唱採点値に基づいて歌唱採点値の比較を行うことが可能である。

また、上述した構成のカラオケシステムにおいて、歌唱採点値比較手段は、所定の歌唱区間において算出された歌唱採点値を総合的に評価して歌唱採点値の比較を行うことが可能である。

また、上述した構成のカラオケシステムにおいて、ピッチシフト制御手段は、最も歌唱採点値が低い歌唱音声に対してピッチシフトを行わせることが可能である。

また、上述した構成のカラオケシステムにおいて、ハーモニー区間において、ノートが所定の閾値以上の長ノート区間と、所定の閾値未満の短ノート区間とに区別するノート区間区別手段をさらに備えることが可能である。このような構成の場合には、ピッチシフト制御手段は、長ノート区間においては最も歌唱採点値が低い歌唱音声信号に対してピッチシフトを行わせ、短ノート区間においてはピッチシフトを行わせないように機能する。

本発明に係るハーモニー歌唱のためのピッチシフト機能を備えたカラオケシステムは、従来技術のように、ハーモニー歌唱であると判定された歌唱音声に対して、ハーモニー用の歌唱音声を付加し、あるいは複数のマイクロホンから出力された歌唱音声信号に対して独立的にハーモニー用の歌唱音声を付加するのではなく、ハーモニー区間にて音程が所定の閾値以上ずれている場合に、当該音程のずれを修正することにより、エフェクト効果等でハーモニーのずれをごまかすことなく、聴衆および歌唱者にとって違和感のないハーモニー歌唱音声を生成することができる。

本発明の実施形態に係るカラオケシステムの概略構成を示すブロック図。 実施例１に係るピッチシフトの態様を示す説明図。 実施例２に係るピッチシフトの態様を示す説明図。

以下、図面を参照して、ハーモニー歌唱のためのピッチシフト機能を備えたカラオケシステムの実施形態について説明する。図１〜図３は本発明の実施形態に係るカラオケシステムを説明するもので、図１はカラオケシステムの概略構成を示すブロック図、図２及び図３はピッチシフトの態様を示す説明図である。

以下の説明において、プログラムとは、ＲＡＭ等に記憶され、ＣＰＵ等のハードウェアで実行されることにより、その機能を発揮するソフトウェアだけではなく、同等の機能を発揮することが可能な論理回路も含む概念である。

＜カラオケシステムの概要＞
本発明の実施形態に係るカラオケシステム１００は、複数の歌唱パートからなるカラオケ楽曲のハーモニー区間において、複数のマイクロホン１３から入力された歌唱音声をピッチシフトして適切なハーモニー用の歌唱音声を生成することが可能なシステムであって、ハーモニー区間検出手段３３と、複数のマイクロホン１３と、ピッチシフト実行手段１４と、歌唱採点手段２７と、歌唱採点値比較手段２８と、ピッチシフト制御手段２９とを備えており、さらに、ノート区間区別手段３４を備えていてもよい。各手段は、カラオケ演奏装置１０の機能手段として実現される。なお、以下に説明する実施形態では、説明を容易なものとするため、マイクロホン１３を２本備えた態様を示しているが、マイクロホン１３の数は２本に限られず、カラオケ楽曲の歌唱パート数に対応させて３本以上であってもよい。

＜カラオケ演奏装置＞
本発明の実施形態に係るカラオケシステム１００を適用するカラオケ演奏装置１０は、図１に示すように、カラオケ本体１１、カラオケリモコン装置１２、マイクロホン１３、ピッチシフト実行手段１４、ミキシングアンプ１５、スピーカ１６、表示装置１７を備えている。

＜カラオケリモコン装置＞
カラオケリモコン装置１２は、ユーザインタフェース機能を備えており、ルータ４０及びデータ通信回線５０を介して、カラオケ本体１１との間でデータの送受信を行うようになっている。このカラオケリモコン装置１２は、楽曲検索手段１２ａとして機能するプログラム、楽曲索引データベース１２ｂ、種々のデータを記憶するためのデータ記憶部１２ｃ、データの入出力を行うための入出力表示部１２ｄを備えている。このカラオケリモコン装置１２に付帯するスイッチ類や、入出力表示部１２ｄに表示される各種のアイコン等を操作することにより、選曲操作、音量調整、音程調整、テンポ調整、演奏中止等の各種の操作及び設定を行うことができる。

＜楽曲検索手段／楽曲索引データベース＞
楽曲検索手段１２ａは、利用者の指示に基づき、楽曲索引データベース１２ｂを参照して楽曲を検索するためのプログラムからなる。楽曲索引データベース１２ｂは、カラオケ演奏装置１０で演奏に供されるカラオケ楽曲について、その属性情報を記憶したデータベースであり、例えば、楽曲番号・曲名・アーティスト名・歌い出し部分の歌詞・流行時期・音楽ジャンル・デュエット曲か否かなど、種々の属性情報がこれに含まれている。

＜マイクロホン／スピーカ＞
マイクロホン１３は、歌唱音声の入力を行うための装置であり、本実施形態では２本のマイクロホン１３を備えている。マイクロホン１３から入力された歌唱音声は歌唱音声信号として出力され、後述のピッチシフト実行手段１４を経てミキシングアンプ１５に入力され、音楽再生制御手段３１から送出されるカラオケ演奏信号とミキシングされるとともに増幅され、スピーカ１６へ出力される。また、マイクロホン１３から出力される歌唱音声信号は、Ａ／Ｄコンバータ３０によりデジタル変換され、歌唱採点手段２７における歌唱採点値の算出等に使用される。

なお、複数の歌唱パートからなるカラオケ楽曲（例えば、デュエット曲）を演奏する際に、ハーモニー用歌唱音声の音高の調整が必要な場合に、マイクロホン１３から出力される歌唱音声信号のうち調整が必要な歌唱音声信号は、ピッチシフト実行手段１４によりピッチシフトされて、ミキシングアンプ１５に入力される。

また、複数の歌唱パートからなるカラオケ楽曲を演奏する際には、予め、各マイクロホン１３が各歌唱パートにそれぞれ関連付けられており、マイクロホン１３と歌唱パートとの関係が利用者に提示される。例えば、デュエット曲を演奏する際に、マイクロホンＡは男声パート（歌唱パートａ）の歌唱音声入力用とするとともに、マイクロホンＢは女性パート（歌唱パートｂ）の歌唱音声入力用として、その旨が表示装置１７の表示画面等に表示される。

＜ピッチシフト実行手段＞
ピッチシフト実行手段１４は、各マイクロホン１３から出力された歌唱音声信号に対してそれぞれピッチシフトを行うための電子機器からなる。なお、後に詳述するが、どのマイクロホン１３から入力された歌唱音声信号に対してピッチシフトを行うかは、ピッチシフト制御手段２９により決定される。

＜表示装置＞
表示装置１７は、カラオケ楽曲に関連した背景映像や歌詞テロップ等を表示するための装置で、例えば、液晶ディスプレイ等により構成される。

＜カラオケ本体＞
カラオケ本体１１は、中央制御手段２１、ＲＯＭ２２、ＲＡＭ２３、ＨＤＤ２４、通信制御手段２５、予約楽曲管理手段２６、歌唱採点手段２７、歌唱採点値比較手段２８、ピッチシフト制御手段２９、Ａ／Ｄコンバータ３０、音楽再生制御手段３１、映像再生制御手段３２、ハーモニー区間検出手段３３、ノート区間区別手段３４を備えている。

＜中央制御手段＞
中央制御手段２１は、カラオケ本体１１を総合的に制御するための電子機器であり、例えばＣＰＵ及びその周辺機器により構成されており、ＣＰＵ等がＲＯＭ２２等に記憶されたプログラムに従って動作することにより、制御機能を発揮することができるようになっている。

＜ＲＯＭ／ＲＡＭ＞
ＲＯＭ２２は、カラオケ本体１１を構成する各機器を制御するためのプログラムデータや数値データを記憶するための電子機器で、例えば半導体メモリ等で構成される。また、ＲＡＭ２３は、プログラムや各種データを一時的に記憶する一時記憶領域として機能するもので、例えば半導体メモリ等で構成される。本実施形態では、ＲＡＭ２３に、予約楽曲管理テーブル２３ａが一時的に記憶される。

＜ＨＤＤ＞
ＨＤＤ２４は、大容量記憶装置として機能するもので、楽曲データベース２４ａ、背景映像データベース２４ｂが格納されている。なお、ＨＤＤ２４に替えて、あるいはＨＤＤ２４と共に、データを書き替え可能なＤＶＤ等の大容量記憶手段を用いてもよい。

＜楽曲データベース／背景映像データベース＞
楽曲データベース２４ａは、演奏制御データ（ＭＩＤＩ規格のデータ）及び歌詞描出データが同期されて構成される楽曲データ、及び歌唱採点に用いるリファレンスデータについて、楽曲ＩＤと対応付けてそれぞれ構成されたデータベースである。演奏制御データは、各楽曲の演奏を制御するためのデジタルデータであり、歌詞描出データは演奏に同期した歌詞文字の表示タイミングデータ及び色変わりデータを含んでいる。リファレンスデータは各歌唱パートの歌唱音声信号と比較して歌唱採点値を算出するためのデータであり、歌唱パート毎に用意されている。背景映像データベース２４ｂは、演奏されるカラオケ楽曲に対応した背景映像を、当該カラオケ楽曲の楽曲ＩＤに対応させた背景映像ファイルとして所定数格納したデータベースである。

＜通信制御手段＞
通信制御手段２５は、カラオケリモコン装置１２との間で、データ及び信号の送受信を制御するための電子機器及びプログラムからなる。この通信制御手段２５の機能により、カラオケ本体１１とカラオケリモコン装置１２との間で送受信するデータ及び信号の同期や誤り制御等を行う。

＜予約楽曲管理手段／予約楽曲管理テーブル＞
予約楽曲管理手段２６は、任意の利用者がカラオケ楽曲の予約を行う際に、当該利用者の利用者ＩＤと予約楽曲の楽曲ＩＤとを紐付けして、予約楽曲管理テーブル２３ａにて管理するためのプログラムからなる。すなわち、予約楽曲管理手段２６は予約楽曲管理テーブル２３ａを作成し、この予約楽曲管理テーブル２３ａをＲＡＭ２３に格納して管理する。予約楽曲管理テーブル２３ａは、利用者により楽曲検索手段１２ａの機能を用いて選曲された楽曲ＩＤを演奏順に並べて作成したデータテーブルである。なお、選曲を行う利用者の利用者ＩＤは、当該利用者がカラオケシステム１００にシステムログインすることにより取得することができる。システムログインは、カラオケリモコン装置１２、利用者が所持する携帯情報端末（図示せず）等を用いて行うことができる。

＜歌唱採点手段＞
歌唱採点手段２７は、各マイクロホン１３から出力された歌唱音声信号と、各マイクロホン１３に関連付けられた歌唱パートのリファレンスデータとを比較して、マイクロホン１３毎に歌唱採点値を算出するためのプログラムからなる。なお、歌唱採点手段２７は、複数の歌唱パートからなるカラオケ楽曲だけではなく、一人の歌唱者が歌唱を行うカラオケ楽曲についても、マイクロホン１３から出力された歌唱音声信号と、当該カラオケ楽曲のリファレンスデータを比較することにより歌唱採点を行うことができる。

＜歌唱採点値比較手段＞
歌唱採点値比較手段２８は、マイクロホン１３毎の歌唱採点値を比較するためのプログラムからなる。すなわち、歌唱採点値比較手段２８は、複数の歌唱パートからなるカラオケ楽曲を演奏する際に、各歌唱パートに対応するマイクロホン１３毎の歌唱採点値を比較する。歌唱採点値を比較するタイミングは、適宜設定することができる。例えば、図２及び図３に示すように、歌唱音声のピッチ変動が少ない歌唱部分において算出された歌唱採点値に基づいて歌唱採点値の比較を行ってもよいし、図示しないが、所定の歌唱区間において算出された歌唱採点値を総合的に評価して歌唱採点値の比較を行ってもよい。

歌唱音声のピッチ変動が少ない歌唱部分とは、例えば、２００ｍｓｅｃの間で歌唱ピッチが水平に検出される部分であり、例えば歌唱ピッチの変動がプラスマイナス３０セント以内の部分である。このように水平部分を用いて歌唱採点を行うのは、歌唱ピッチの揺るぎが少ない部分で歌唱採点を行うことにより、正確な歌唱採点を行うことができるためである。水平部分を検出するには、特開２００８−２２５１１７号公報に記載されている技術を応用することができる。

また、所定の歌唱区間において算出された歌唱採点値を総合的に評価するとは、図示しないが、例えば、１コーラス目の歌唱採点値の比較結果を２コーラス目のハーモニー区間におけるピッチシフト対象の決定に反映させたり、直近の歌唱採点値を利用したり、それまでの歌唱採点値の累積値や平均値を使用したりすることをいう。なお、所定の歌唱区間はどのように設定してもよく、カラオケ楽曲の特性に応じて、歌唱力の優劣を適切に判断できる歌唱区間において歌唱採点を行えばよい。また、上述したように、歌唱採点値の比較は一度だけに限られず、歌唱の進行に伴い、適宜、歌唱採点値を算出して、ハーモニー区間毎に、ピッチシフトの対象となる歌唱音声信号を異ならせてもよい。

なお、本発明では、歌唱採点履歴を用いてピッチシフトの対象となる歌唱音声を決定するのではなく、実際に歌唱中の歌唱音声に基づいて歌唱力の優劣を判断することにより、歌唱者の体調、歌唱環境等、種々の要因に的確に対応して、違和感のないハーモニーを生成することができる。

＜ピッチシフト制御手段＞
ピッチシフト制御手段２９は、歌唱採点値の比較において、最も得点が高い歌唱採点値と最も得点が低い歌唱採点値との差が所定の閾値以上である場合に、ピッチシフト実行手段１４を動作させて歌唱採点値の差が所定の閾値未満となるようにピッチシフトを行わせるためのプログラムからなる。ピッチシフトの対象となる歌唱音声信号については、後に詳述する。

＜ハーモニー区間検出手段＞
ハーモニー区間検出手段３３は、デュエット曲のように複数の歌唱パートからなるカラオケ楽曲において、ピッチシフトの対象となる歌唱区間（ハーモニー区間）を検出するためのプログラムからなり、楽曲データの区間情報やリファレンスデータにおける複数データが存在している区間を検出することによりピッチシフトの対象となるハーモニー区間を特定することができる。

＜ノート区間区別手段＞
ノート区間区別手段３４は、各歌唱パートに用意されているリファレンスデータを用いて、ハーモニー区間において、ノートが所定の閾値以上の長ノート区間と、所定の閾値未満の短ノート区間とに区別するためのプログラムからなる。すなわち、歌唱区間には、ノートが長い区間とノートが短い区間とが存在する。ノートの長短は、例えば４００ｍｓｅｃを基準値として、４００ｍｓｅｃ以上の歌唱区間を長ノート区間とし、４００ｍｓｅｃ未満の歌唱区間を短ノート区間とする。

＜ピッチシフトの実施例１＞
実施例１では、図２に示すように、最も歌唱採点値が低い歌唱音声信号に対してピッチシフトを行う。すなわち、歌唱採点値の差が所定の閾値以上（例えば、１０点以上）である場合には、聴衆及び歌唱者ともにハーモニーに違和感を覚える可能性が高いため、最も歌唱採点値が低い歌唱音声信号（マイクロホンＢから出力される歌唱音声信号）に対してピッチシフトを行って、聴衆及び歌唱者ともにハーモニーに違和感を覚えることが無いような補正を行う。

ピッチシフトが行われる際には、ピッチシフト制御手段２９がピッチシフト実行手段１４に対して、対象となる歌唱パート（歌唱音声信号）及びピッチシフトの目標ピッチを指示する。目標ピッチとして、対象となる歌唱パート（本実施例においては歌唱パートｂ）に対応するリファレンスデータの音高を指示することができる。あるいは、ピッチシフトしない方の歌唱パート（本実施例においては歌唱パートａ）の歌唱採点値を考慮して、歌唱パートａと同程度のずれになるように目標ピッチを指示してもよい。

＜ピッチシフトの実施例２＞
実施例２では、図３に示すように、ハーモニー区間であっても、長ノート区間においてのみ、最も歌唱採点値が低いマイクロホンＢから出力される歌唱音声信号に対してピッチシフトを行い、短ノート区間においては、ピッチシフトを行わない。すなわち、長ノート区間は、聴衆に対して歌唱をじっくり聴かせる区間であるため、聴衆が心地よくハーモニーを楽しむ区間としてピッチシフトを行う。一方、短ノート区間は、聴衆にハーモニーを楽しませるよりも、歌唱者の歌いやすさを優先して、ピッチシフトを行わない。

＜音楽再生制御手段＞
音楽再生制御手段３１は、楽曲ＩＤに基づいて楽曲データから抽出された演奏制御データに基づいて、音源（シンセサイザ）を駆動しカラオケ演奏信号を構成する楽音信号を生成するとともにアナログ変換してミキシングアンプ１５に出力するための電子機器である。また、ミキシングアンプ１５は、マイクロホン１３から出力される歌唱音声信号と、音楽再生制御手段３１から送出されるカラオケ演奏信号とをミキシングするとともに、アンプ機能により増幅してスピーカ１６より出力するための装置である。なお、本実施形態では、ハーモニー区間において、マイクロホン１３から出力される歌唱音声信号に対してピッチシフトが行われ、当該ピッチシフトされた歌唱音声信号がミキシングアンプ１５に入力される場合がある。

＜映像再生制御手段＞
映像再生制御手段３２は、カラオケ楽曲の演奏中に、背景映像データベース２４ｂから抽出した背景映像データと、楽曲データに含まれる歌詞描出データに基づいて作成される歌詞文字とを、当該カラオケ楽曲の楽曲データに同期させて表示装置１７に出力するための電子機器である。

＜具体的なピッチシフト＞
以下、二人の歌唱者が歌唱を行うデュエット曲を例にとって、ピッチシフトの具体例を説明する。デュエット曲では、マイクロホンＡを歌唱パートａに対応させ、マイクロホンＢを歌唱パートｂに対応させて、その旨を表示装置１７の表示画面に表示することにより、歌唱者に認識させる。例えば、歌唱パートａが主旋律の場合には、歌唱パートｂがハーモニー用の歌唱パートとなり、歌唱パートａが男声パートの場合には、歌唱パートｂが女性パートとなる。

そして、マイクロホンＡから出力される歌唱音声信号に対しては、主旋律用のリファレンスデータあるいは男声パート用のリファレンスデータを用いて歌唱採点を行い、マイクロホンＢから出力される歌唱音声信号に対しては、ハーモニー用のリファレンスデータあるいは女性パート用のリファレンスデータを用いて歌唱採点を行う。

歌唱採点値が算出されると、当該歌唱採点値を比較して、最も得点が高い歌唱採点値と最も得点が低い歌唱採点値との差が所定の閾値（例えば１０点）以上の場合に、ハーモニー区間において歌唱音声信号に対するピッチシフトを行い、違和感のないハーモニー音声を生成する。例えば、図２に示すように、マイクロホンＡから入力される歌唱パートａの歌唱音声の歌唱採点値は９４点であり、ほぼ正しい音程で歌唱されているが、マイクロホンＢから入力される歌唱パートｂの歌唱音声の歌唱採点値は８２点であり、音程がずれていたとする。この場合に、ハーモニー区間においてマイクロホンＢから出力される歌唱音声信号に対してピッチシフトを行い、マイクロホンＡ及びマイクロホンＢに入力された歌唱音声の音程のずれを解消して、違和感のないハーモニー音声とする。

また、図３に示すように、ノートの長短に応じてピッチシフトを行うか否かを決定する場合には、長ノート区間においては、マイクロホンＢから出力される歌唱音声信号に対してピッチシフトを行う。一方、短ノート区間においては、マイクロホンＢから出力される歌唱音声信号であってもピッチシフトを行わない。

１００ カラオケシステム
１０ カラオケ演奏装置
１１ カラオケ本体
１２ カラオケリモコン装置
１２ａ 楽曲検索手段
１２ｂ 楽曲索引データベース
１２ｃ データ記憶部
１２ｄ 入出力表示部
１３ マイクロホン
１４ ピッチシフト実行手段
１５ ミキシングアンプ
１６ スピーカ
１７ 表示装置
２１ 中央制御手段
２２ ＲＯＭ
２３ ＲＡＭ
２３ａ 予約楽曲管理テーブル
２４ ＨＤＤ
２４ａ 楽曲データベース
２４ｂ 背景映像データベース
２５ 通信制御手段
２６ 予約楽曲管理手段
２７ 歌唱採点手段
２８ 歌唱採点値比較手段
２９ ピッチシフト制御手段
３０ Ａ／Ｄコンバータ
３１ 音楽再生制御手段
３２ 映像再生制御手段
３３ ハーモニー区間検出手段
３４ ノート区間区別手段
４０ ルータ
５０ データ通信回線

Claims (5)

1. 複数の歌唱パートからなるカラオケ楽曲のハーモニー区間において、マイクロホンから入力された歌唱音声をピッチシフトして適切なハーモニー用の歌唱音声を生成することが可能なカラオケシステムであって、
   前記カラオケ楽曲のハーモニー区間を検出するハーモニー区間検出手段と、
   前記各歌唱パートにそれぞれ関連付けられて、各歌唱パートの歌唱音声を入力する複数のマイクロホンと、
   前記各マイクロホンから出力された歌唱音声信号に対してそれぞれピッチシフトを行うピッチシフト実行手段と、
   前記各マイクロホンから出力された歌唱音声信号と、前記各マイクロホンに関連付けられた歌唱パートのリファレンスデータとを比較して、前記マイクロホン毎に歌唱採点値を算出する歌唱採点手段と、
   前記マイクロホン毎の歌唱採点値を比較する歌唱採点値比較手段と、
   前記歌唱採点値の比較に基づき、最も得点が高い歌唱採点値と最も得点が低い歌唱採点値との差が所定の閾値以上である場合に、前記検出したハーモニー区間において、前記ピッチシフト実行手段を動作させて前記歌唱採点値の差が所定の閾値未満となるようにピッチシフトを行わせるピッチシフト制御手段と、
   を備えたことを特徴とするハーモニー歌唱のためのピッチシフト機能を備えたカラオケシステム。
2. 前記歌唱採点値比較手段は、歌唱音声のピッチ変動が少ない歌唱部分において算出された歌唱採点値に基づいて歌唱採点値の比較を行うことを特徴とする請求項１に記載のハーモニー歌唱のためのピッチシフト機能を備えたカラオケシステム。
3. 前記歌唱採点値比較手段は、所定の歌唱区間において算出された歌唱採点値を総合的に評価して歌唱採点値の比較を行うことを特徴とする請求項１に記載のハーモニー歌唱のためのピッチシフト機能を備えたカラオケシステム。
4. 前記ピッチシフト制御手段は、最も歌唱採点値が低い歌唱音声信号に対してピッチシフトを行わせることを特徴とする請求項１〜３のいずれか１項に記載のハーモニー歌唱のためのピッチシフト機能を備えたカラオケシステム。
5. 前記ハーモニー区間において、ノートが所定の閾値以上の長ノート区間と、所定の閾値未満の短ノート区間とに区別するノート区間区別手段をさらに備え、
   前記ピッチシフト制御手段は、前記長ノート区間においては前記最も歌唱採点値が低い歌唱音声信号に対してピッチシフトを行わせ、前記短ノート区間においてはピッチシフトを行わせないことを特徴とする請求項１〜３のいずれか１項に記載のハーモニー歌唱のためのピッチシフト機能を備えたカラオケシステム。

Images