JP5309459B2

JP5309459B2 - ビート検出装置

Info

Publication number: JP5309459B2
Application number: JP2007077200A
Authority: JP
Inventors: 孝浩田中
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2007-03-23
Filing date: 2007-03-23
Publication date: 2013-10-09
Anticipated expiration: 2027-03-23
Also published as: JP2008233812A

Description

本発明は、オーディオ信号からビートを検出する技術に関する。

あらかじめ録音された演奏ではなく、ライブ演奏を伴奏としてカラオケをしたいという要望がある。ライブ演奏でカラオケを行うには、入力されるオーディオ信号に含まれる楽曲音（ライブ演奏）と歌詞の表示を同期させる必要がある。そのためには、オーディオ信号から楽曲音のビートを検出する必要がある。オーディオ信号からビートを検出する方法として、オーディオ信号からＢＰＭ（Beat Per Minute）を計算する技術がある（例えば特許文献１参照）。このように算出されたＢＰＭを用いて、オーディオ信号と歌詞の表示が同期される。
特開平８−２０１５４２号公報

特許文献１に記載された技術により計算されるＢＰＭは、過去の一定時間における平均値であるため、実際の演奏とはどうしてもずれを生じてしまう。つまり演奏者は演奏上の表現としていわゆる「突っ込み」や「タメ」、すなわち過去の平均的なＢＰＭから時間軸上マイナス方向またはプラス方向における故意のずれを生じさせることがある。特許文献１に記載された技術では、このような「タメ」や「突っ込み」に対応したビートを検出することは困難であった。
これに対し本発明は、オーディオ信号に対しより高精度に同期したビートを検出する技術を提供する。

上述の課題を解決するため、本発明は、楽曲音を含むオーディオ信号から所定の特徴音を検出する特徴音検出手段と、前記特徴音検出手段が検出した前記特徴音の検出タイミング毎に前記楽曲音のビートタイミングを示す第１のビート信号を生成して出力する第１のビート信号生成手段と、前記特徴音検出手段により検出された特徴音の検出間隔から、前記楽曲音のビートの間隔を特定し、特定されたビート間隔毎に第２のビート信号を生成して出力する第２のビート信号生成手段と、前記第２のビート信号生成手段により生成された第ｎ拍目の第２のビート信号の出力タイミングを基準とする第１の所定期間内に前記第１のビート信号生成手段が第ｎ拍目の第１のビート信号を出力するか判定し、前記第１の所定期間内に第ｎ拍目の第１のビート信号が出力された場合は第ｎ拍目の第１のビート信号を選択して信号線から出力し、前記第１の所定期間内に第ｎ拍目の第１のビート信号が出力されない場合は前記第１の所定期間の終期にビート信号を前記信号線から出力するビート信号選択手段とを有し、前記ビート信号選択手段が第ｎ拍目の第１のビート信号を選択した場合、前記第２のビート信号生成手段が、第ｎ拍目の第１のビート信号が出力されたタイミングを基準として第ｎ＋１拍目に出力すべき第２のビート信号の出力タイミングを決定することを特徴とするビート検出装置を提供する。

さらに別の好ましい態様において、このビート検出装置は、前記ビート信号選択手段が、前記第１の所定期間の始期から第ｎ拍目の第２のビート信号の出力タイミングより前に第ｎ拍目の第１のビート信号が出力された場合は第ｎ拍目の第１のビート信号を選択して信号線から出力し、前記第１の所定期間の始期から第ｎ拍目の第２のビート信号の出力タイミングより前に第ｎ拍目の第１のビート信号が出力されない場合は第ｎ拍目の第２のビート信号を選択して前記信号線から出力し、前記ビート信号選択手段が第ｎ拍目の第１のビート信号を選択した場合、前記第２のビート信号生成手段が、第ｎ拍目の第１のビート信号が出力されたタイミングを基準として第ｎ＋１拍目に出力すべき第２のビート信号の出力タイミングを決定し、第ｎ拍目の第２のビート信号を出力した後であって、第ｎ拍目の第２のビート信号の出力タイミングを基準とする第２の所定期間内に第ｎ拍目の第１のビート信号を出力した場合、前記第２のビート信号生成手段が、第ｎ拍目の第１のビート信号が出力されたタイミングを基準として第ｎ＋１拍目に出力すべき第２のビート信号の出力タイミングを決定してもよい。

さらに別の好ましい態様において、このビート検出装置は、前記ビート信号選択手段が、前記第１の所定期間の始期から第ｎ拍目の第２のビート信号の出力タイミングより前に第ｎ拍目の第１のビート信号が出力された場合は第ｎ拍目の第１のビート信号を選択して信号線から出力し、第ｎ拍目の第２のビート信号の出力タイミングから前記第１の所定期間の終期までに第ｎ拍目の第１のビート信号が出力された場合は第ｎ拍目の第１のビート信号および第ｎ拍目の第２のビート信号を選択して前記信号線から出力し、前記ビート信号選択手段が第ｎ拍目の第１のビート信号を出力した場合、前記第２のビート信号生成手段が、第ｎ拍目の第１のビート信号が出力されたタイミングを基準として第ｎ＋１拍目に出力すべき第２のビート信号の出力タイミングを決定してもよい。

さらに別の好ましい態様において、このビート検出装置は、前記第１の所定期間の始期が、第ｎ拍目の第２のビート信号の出力タイミングの所定時間前であってもよい。

さらに別の好ましい態様において、このビート検出装置は、前記第１の所定期間の終期が、第ｎ拍目の第２のビート信号の出力タイミングの所定時間後であってもよい。

さらに別の好ましい態様において、このビート検出装置は、前記第１の所定期間が、第ｎ拍目の第２のビート信号の出力タイミングを包含する不感期間を有し、前記不感期間内に第ｎ拍目の第１のビート信号が出力された場合、前記ビート信号選択手段が、第ｎ拍目の第２のビート信号を選択して出力してもよい。

本発明によれば、オーディオ信号に対しより高精度に同期したビートが検出される。

１．構成
１−１．概要
図１は、本発明の一実施形態に係るカラオケ装置１の構成を示す図である。カラオケ装置１は、ライブ演奏を伴奏としてカラオケを行うためのものである。すなわち、カラオケ装置１は、オーディオ信号として入力されたライブ演奏の楽曲音からビートを検出し、検出されたビートに従って歌詞を表示する。入力部１０は、マイクやアンプなど他の装置からオーディオ信号を入力するインターフェースである。ここで、「オーディオ信号」は、人間の声、楽器の音、その他あらゆる種類の音を示す信号を含む。入力部１０からの出力は、２系統に分けられる。

第１の系統は、歌詞の表示を行うための系統である。第１の系統は、ビート検出装置２０、ディレイ３０およびシーケンサ４０を含む。入力部１０は、ビート検出装置２０にオーディオ信号を出力する。ビート検出装置２０は、オーディオ信号に基づいて楽曲のビートを検出する。ビートを検出する方法の詳細は後述する。ビート検出装置２０は、ビートを検出したことを示す信号、すなわち、ビートのタイミングを示すビート信号をディレイ３０に出力する。

ディレイ３０は、ビート検出装置２０から出力されたビート信号を、ある遅延時間遅らせる装置である。シーケンサ４０は、ディレイ３０から出力されるビート信号により定められるタイミングで出力部６０にデータ信号を出力する。本実施形態において、シーケンサ４０が出力するデータ信号は、歌詞の映像を示す信号を含む。出力部６０は、ディスプレイおよびスピーカを有する。出力部６０は、データ信号に従ってディスプレイに映像を表示する。

第２の系統は、楽曲音すなわち楽曲の音を出力するための系統である。入力部１０は、ディレイ５０にオーディオ信号を出力する。ディレイ５０は、オーディオ信号をある遅延時間遅らせる装置である。ディレイ５０の遅延時間は、ディレイ３０の遅延時間とビート検出・リセット処理に必要な時間を合わせた時間である。ディレイ５０は、処理したオーディオ信号を出力部６０に出力する。出力部６０は、オーディオ信号に従ってスピーカから音を出力する。このように、カラオケ装置１によれば、ライブ演奏の音に同期して歌詞が表示される。

１−２．ビート検出装置の構成
ビート検出装置２０は、オーディオ信号から直接検出または生成されるビートと、楽曲において過去所定の期間のビートの平均間隔から予測されるビートと、２つのビートに対応するビート信号を生成する。ビート検出装置２０は、生成された２つのビート信号から１つのビート信号を選択し、選択したビート信号を後段の回路に出力する。

ビート検出装置２０は、以下の構成を有する。フィルタ２１０は、オーディオ信号から、ビート信号の生成に必要な周波数成分、すなわち特徴音を取り出す。フィルタ２１０は、例えば、カットオフ周波数が６０〜１００Ｈｚの範囲にあるローパスフィルタ（Low Pass Filter、ＬＰＦ）である。フィルタ２１０は、処理したオーディオ信号をＢＰＭ検出器２２０およびビート信号生成部２３０に出力する。

ビート信号生成部２３０は、オーディオ信号から直接、ビート信号を生成する。以下、ビート信号生成部２３０により生成されるビート信号を「第１のビート信号」という。ビート信号生成部２３０は、オーディオ信号のうち例えば６０Ｈｚ以下の低周波の信号レベルがあらかじめ決められたしきい値を超えるタイミングでビート信号を生成する。ビート信号生成部２３０は、生成したビート信号をビート信号選択部２５０に出力する。ビート信号は、例えば、所定の振幅および幅を有するパルス信号である。

ＢＰＭ検出器２２０は、オーディオ信号からＢＰＭを検出する。すなわち、ＢＰＭ検出器２２０は、ＢＰＭを計算する。ＢＰＭ検出器２２０は、あらかじめ決められた時間、例えば直近ｔ_ｐ秒間のビートを数える。ＢＰＭ検出器２２０は、ビートの数を時間ｔ_ｐで除算することにより、過去ｔ_ｐ秒間における平均のＢＰＭを計算する。ＢＰＭ検出器２２０は、例えば６０Ｈｚ以下の低周波の信号レベルがあらかじめ決められたしきい値を超えた点をビートとして数える。ＢＰＭ検出器２２０は、計算したＢＰＭをビート信号生成部２４０に出力する。

ビート信号生成部２４０は、入力されるＢＰＭに従ってビート信号を生成する。以下、ビート信号生成部２４０により生成されるビート信号を「第２のビート信号」という。すなわち、ビート信号生成部２４０は、ＢＰＭにより示される間隔でビート信号を生成する。また、ビート信号生成部２４０は、ビート信号選択部２５０からリセット信号が入力されると、リセット信号が入力されたタイミングを時間軸上の基準として次のビート信号を生成する。すなわちビート信号生成部２４０は、リセット信号が入力されたタイミングをゼロとして次のビートをカウントする。ビート信号生成部２４０は、生成したビート信号をビート信号選択部２５０に出力する。

ビート信号選択部２５０は、ビート信号生成部２４０およびビート信号生成部２３０から出力されたビート信号のうち、あらかじめ決められた条件を満たすビート信号を選択し、選択したビート信号を後段の回路に出力する。ビート信号の選択条件は、第１のビート信号と第２のビート信号の時間軸上の相対位置関係に関するものである。ビート信号選択部２５０は、第２のビート信号の出力タイミングを基準とする所定の期間内にビート信号生成部２３０が第１のビート信号を出力するか判定する。所定期間内に第１のビート信号が出力された場合、ビート信号選択部２５０は、第１のビート信号を選択して出力する。所定期間内に第１のビート信号が出力されない場合、ビート信号選択部２５０は、第２のビート信号を選択して出力する。

図２は、ビート信号の選択条件すなわち所定期間を示す図である。図２において、黒いドットは、第２のビート信号が出力されるタイミングを示す。この例では、第２のビート信号が出力されるタイミング（ｔ＝ｔ_ｏ）を基準としてマイナス方向にｔ_ｒの期間が所定期間として用いられる。すなわち、所定期間の始期は、第２のビート信号の出力タイミングの所定時間（ｔ_ｒ）前である。（ｔ_ｏ−ｔ_ｒ）≦ｔ≦ｔ_ｏの範囲において第１のビート信号が出力された場合、第１のビート信号が選択され、出力される。それ以外の場合、第２のビート信号が出力される。

２．動作
図３は、ビート検出装置２０のタイミングチャートを示す。信号Ｂ_１は、ビート信号生成部２３０により生成される第１のビート信号、すなわちオーディオ信号から直接検出されたビート信号を含む。信号Ｂ_２は、ビート信号生成部２４０により生成される第２のビート信号、すなわち直近ｔ_ｐ秒間の楽曲から予測されるビート信号を含む。信号Ｂ_ＯＵＴは、ビート信号選択部２５０から出力されるビート信号、すなわち選択されたビート信号を含む。信号Ｒは、ビート信号選択部２５０からビート信号生成部２４０に出力されるリセット信号を含む。リセット信号が入力された場合、ビート信号生成部２４０は、リセット信号が入力されたタイミングを時間的な基準として次のビート信号を生成する。

いま、ＢＰＭ検出器２２０が、直近ｔ_ｐ秒間のオーディオ信号から、ビート間隔をｔ_ａと計算した場合を例に説明する。また、説明の便宜上、時間軸において１拍目の位置をｔ＝０とする。１拍目において、ビート信号Ｂ_１およびＢ_２は同時に出力されている。これは、演奏中の楽曲のうち直近ｔ_ｐ秒間の部分から予測されるビートが、楽曲から直接検出されたビートと一致していることを意味する。この場合、ビート信号選択部２５０は、第２のビートを選択し、出力する（信号Ｂ_ＯＵＴ）。ビート信号選択部２５０は、ビート信号の出力と同じタイミングでリセット信号を出力する（信号Ｒ）。

ＢＰＭ検出器２２０は、１拍目の直近ｔ_ｐ秒間のオーディオ信号からビート間隔をｔ_ａと計算する。すなわち、ＢＰＭ検出器２２０は、２拍目はｔ＝ｔ_ａの位置に現れると予測する。ビート信号生成部２４０は、ｔ＝ｔ_ａのときに第２のビート信号を出力する（信号Ｂ_２）。このとき、第１のビート信号も同じタイミングで出力される（信号Ｂ_１）。この場合、ビート信号選択部２５０は、第２のビートを選択し、出力する（信号Ｂ_ＯＵＴ）。

ＢＰＭ検出器２２０は、２拍目の直近ｔ_ｐ秒間のオーディオ信号からビート間隔をｔ_ａと計算する。すなわち、ＢＰＭ検出器２２０は、３拍目はｔ＝２ｔ_ａの位置に現れると予測する。ビート信号生成部２４０は、ｔ＝２ｔ_ａのときに第２のビート信号を出力する（信号Ｂ_２）。ところがこの例では、実際の演奏では３拍目は突っ込み気味に、すなわち予測されるタイミングよりΔｔ早く検出された。いま、Δｔ≦ｔ_ｒである。この場合、ビート信号選択部２５０は、第１のビート信号を選択し、出力する（信号Ｂ_ＯＵＴ）。さらに、ビート信号選択部２５０は、ビート信号を出力するタイミングで、すなわち、第１のビート信号と同じタイミングで、ビート信号生成部２４０にリセット信号を出力する（信号Ｒ）。

リセット信号が入力されると、ビート信号生成部２４０は、リセット信号を基準として次のビート信号を生成する。すなわち、ビート信号生成部２４０は、ｔ＝２ｔ_ａ−Δｔを基準として４拍目のビート信号を生成する。ＢＰＭ検出器２２０は、３拍目の直近ｔ_ｐ秒間のオーディオ信号からビート間隔をｔ_ｂと計算する。ｔ_ｂ＜ｔ_ａである。３拍目が予測よりも早く検出されたので、ＢＰＭ検出器２２０は、ビート間隔が短くなったと計算する。このように、ＢＰＭ検出器２２０は、４拍目はｔ＝２ｔ_ａ−Δｔ＋ｔ_ｂの位置に現れると予測する。ビート信号生成部２４０は、ｔ＝２ｔ_ａ−Δｔ＋ｔ_ｂのときに第２のビート信号を出力する（信号Ｂ_２）。第１のビート信号も同じタイミングで出力された（信号Ｂ_１）ので、ビート信号選択部２５０は、第２のビートを選択し、出力する（信号Ｂ_ＯＵＴ）。

以上で説明したように本実施形態によれば、予測されるタイミングより早くビートが出現した場合、すなわち、演奏上の表現として「突っ込み」が用いられた場合でも、より実際の演奏に近いタイミングでビート信号が出力される。このビート信号を用いれば、実際の演奏と歌詞の表示は、より高い精度で同期される。

３．他の実施形態
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下において、実施形態と共通する要素については共通の参照符号が用いられる。また、上述の実施形態および以下の変形例のうち２つ以上のものが組み合わせられてもよい。

３−１．変形例１
所定期間の終期は、第２のビート信号の出力タイミングに限定されない。所定期間の終期は、第２のビート信号の出力タイミングより前でも後ろでもよい。

図４は、変形例１に係るビート信号の選択条件を示す図である。この例では、第２のビート信号が出力されるタイミング（ｔ＝ｔ_ｏ）を基準として±ｔ_ｒの期間が所定期間として用いられる。すなわち、所定期間の終期は、第２のビート信号の出力タイミングの所定時間（ｔ_ｒ）後である。（ｔ_ｏ−ｔ_ｒ）≦ｔ≦（ｔ_ｏ＋ｔ_ｒ）の範囲において第１のビート信号が出力された場合、第１のビート信号が選択され、出力される。

変形例１では所定期間の終期が第２のビート信号の出力タイミングよりも後であるので、所定期間内に第１のビート信号が出力されなかった場合の処理が上述の実施形態と異なる。ここでは、所定期間内に第１のビート信号が出力されなかった場合、ビート信号選択部２５０は、所定期間の終期にビート信号を出力する。

図５は、変形例１に係るビート検出装置２０のタイミングチャートを示す。１拍目および２拍目の動作は実施形態で説明したものと同じなので説明を省略する。ＢＰＭ検出器２２０は、２拍目の直近ｔ_ｐ秒間のオーディオ信号からビート間隔をｔ_ａと計算する。すなわち、ＢＰＭ検出器２２０は、３拍目はｔ＝２ｔ_ａの位置に現れると予測する。ビート信号生成部２４０は、ｔ＝２ｔ_ａのときに第２のビート信号を出力する（信号Ｂ_２）。ところがこの例では、実際の演奏では３拍目はタメ気味に、すなわち予測されるタイミングよりΔｔ遅く検出された。いま、Δｔ＞ｔ_ｒである。すなわち、所定期間内に第１のビート信号は出力されなかった。この場合、ビート信号選択部２５０は、所定期間の終期にビート信号を出力する。この例では、ビート信号選択部２５０は、ｔ＝２ｔ_ａ＋ｔ_ｒのタイミングでビート信号を出力する（信号Ｂ_ＯＵＴ）。ビート信号選択部２５０は、ビート信号を出力するのと同じタイミングで、リセット信号を出力する（信号Ｒ）。

リセット信号が入力されると、ビート信号生成部２４０は、リセット信号を基準として次のビート信号を生成する。すなわち、ビート信号生成部２４０は、ｔ＝２ｔ_ａ＋ｔ_ｒを基準として４拍目のビート信号を生成する。ＢＰＭ検出器２２０は、３拍目の直近ｔ_ｐ秒間のオーディオ信号からビート間隔をｔ_ｃと計算する。ｔ_ｃ＞ｔ_ａである。３拍目が予測よりも遅く検出されたので、ＢＰＭ検出器２２０は、ビート間隔が長くなったと計算する。このように、ＢＰＭ検出器２２０は、４拍目はｔ＝２ｔ_ａ＋ｔ_ｒ＋ｔ_ｃの位置に現れると予測する。ビート信号生成部２４０は、ｔ＝２ｔ_ａ＋ｔ_ｒ＋ｔ_ｃのときに第２のビート信号を出力する（信号Ｂ_２）。第１のビート信号も同じタイミングで出力された（信号Ｂ_１）ので、ビート信号選択部２５０は、第２のビートを選択し、出力する（信号Ｂ_ＯＵＴ）。

以上で説明したように本変形例によれば、予測されるタイミングより遅くビートが出現した場合、すなわち、演奏上の表現として「タメ」が用いられた場合でも、より実際の演奏に近いタイミングでビート信号が出力される。このビート信号を用いれば、実際の演奏と歌詞の表示は、より高い精度で同期される。

なお所定期間の始期および終期は、実施形態および変形例１で説明したものに限定されない。所定期間の始期および終期がともに第２のビート信号の出力タイミングよりも前であってもよい。あるいは、所定期間の始期および終期がともに第２のビート信号の出力タイミングよりも後であってもよい。さらに、所定期間の始期および終期は、第２のビート信号の出力タイミングに対して対称でなくてもよい。

３−２．変形例２
ビート信号選択部２５０がリセット信号を出力するタイミングは、上述の実施形態で説明したものに限定されない。ビート信号選択部２５０は、第２のビート信号を選択および出力した場合に、第１のビート信号が出力されるタイミングと同じタイミングでリセット信号を出力してもよい。

図６は、変形例２に係るビート検出装置２０のタイミングチャートを示す。いま所定期間が図２に示されるものと同じである場合を例に説明する。１拍目および２拍目の動作は実施形態で説明したものと同じなので説明を省略する。ＢＰＭ検出器２２０は、２拍目の直近ｔ_ｐ秒間のオーディオ信号からビート間隔をｔ_ａと計算する。すなわち、ＢＰＭ検出器２２０は、３拍目はｔ＝２ｔ_ａの位置に現れると予測する。ビート信号生成部２４０は、ｔ＝２ｔ_ａのときに第２のビート信号を出力する（信号Ｂ_２）。ところがこの例では、実際の演奏では３拍目はタメ気味に、すなわち予測されるタイミングよりΔｔ遅く検出された。いま、所定期間の終期は第２のビート信号の出力タイミングである。すなわち、所定期間内に第１のビート信号は出力されなかった。この場合、ビート信号選択部２５０は、第２のビート信号の出力タイミングと同じタイミング（所定期間の終期）でビート信号を出力する。この例では、ビート信号選択部２５０は、ｔ＝２ｔ_ａのタイミングでビート信号を出力する（信号Ｂ_ＯＵＴ）。ビート信号選択部２５０は、ビート信号が出力されたのと同じタイミングで、リセット信号を出力する（信号Ｒ）。さらに、ビート信号選択部２５０は、第１のビート信号が出力されたのと同じタイミングで、リセット信号を出力する（信号Ｒ）。このようにこの例では、３拍目にリセット信号が２回出力される。

リセット信号が入力されると、ビート信号生成部２４０は、リセット信号を基準として次のビート信号を生成する。３拍目にリセット信号が２回入力されたので、ビート信号生成部２４０は、２回目のリセット信号を基準として次のビート信号を生成する。すなわち、ビート信号生成部２４０は、ｔ＝２ｔ_ａ＋Δｔを基準として４拍目のビート信号を生成する。ＢＰＭ検出器２２０は、３拍目の直近ｔ_ｐ秒間のオーディオ信号からビート間隔をｔ_ａと計算する。このように、ＢＰＭ検出器２２０は、４拍目はｔ＝３ｔ_ａ＋Δｔの位置に現れると予測する。ビート信号生成部２４０は、ｔ＝３ｔ_ａ＋Δｔのタイミングで第２のビート信号を出力する（信号Ｂ_２）。第１のビート信号も同じタイミングで出力された（信号Ｂ_１）ので、ビート信号選択部２５０は、第２のビートを選択し、出力する（信号Ｂ_ＯＵＴ）。

以上で説明したように本変形例によれば、予測されるタイミングより遅くビートが出現した場合、すなわち、演奏上の表現として「タメ」が用いられた場合でも、より実際の演奏に近いタイミングでビート信号が出力される。リセット信号が第１のビート信号の出力タイミングと同じタイミングで出力されるので、「タメ」が用いられた拍の次の拍のビート信号も、より実際の演奏に近いタイミングで出力される。

なお、第１のビート信号が出力されるタイミングと同じタイミングでリセット信号を出力する期間に制限を設けてもよい。例えばビート信号選択部２５０は、（ｔ_ｏ＋ｔ_ｒ）≦ｔ≦（ｔ_ｏ＋ｔ_ｓ）という期間に第１のビート信号が出力された場合には第１のビート信号が出力されるタイミングと同じタイミングでリセット信号を出力し、ｔ＝ｔ_ｏ＋ｔ_ｓを過ぎたタイミングで第１のビート信号が出力された場合には第１のビート信号が出力されるタイミングと同じタイミングでリセット信号を出力しなくてもよい。

３−３．変形例３
図７は、変形例３に係るビート信号の選択条件を示す図である。この例において、所定期間は、その内部に不感期間を有している。不感期間とは、所定期間から除外される期間をいう。不感期間は、第２のビート信号の出力タイミングを包含している。この例で、不感期間は、第２のビート信号の出力タイミングを基準とする±ｔ_ｎの期間である（ｔ_ｎ≦ｔ_ｒ）。あるいは、不感期間の始期または終期が第２のビート信号の出力タイミングと一致してもよい。例えば、所定の期間が（ｔ_ｏ−ｔ_ｒ）≦ｔ≦ｔ_ｏである場合に、不感期間が（ｔ_ｏ−ｔ_ｎ）≦ｔ≦ｔ_ｏであってもよい。

本変形例によれば、不感期間に第１のビート信号が出力された場合でも、ビート信号選択部２５０は第２のビート信号の出力タイミングと同じタイミングでビート信号を出力する。第２のビート信号はあくまでも過去ｔ_ｐ秒間の平均ＢＰＭにより生成されるので、演奏者がジャストのタイミングで演奏しているつもりでも、実際の演奏は第２のビート信号とわずかにずれている場合もある。このような場合でも本変形例によれば、ビート信号選択部２５０は、第２のビート信号の出力タイミングと同じタイミングでビート信号を出力する。

３−４．変形例４
所定期間の終期が第２のビート信号の出力タイミングよりも後である場合、かつ、所定期間内に第１のビート信号が出力されなかった場合の処理は、変形例１で説明したものに限定されない。

図８は、変形例４に係るビート検出装置２０のタイミングチャートを示す。いま所定期間が図４に示されるものと同じである場合を例に説明する。第２のビート信号の出力タイミングより後に第１のビート信号が出力された場合、ビート信号選択部２５０は、第１のビート信号の出力タイミングおよび第２のビート信号の出力タイミングのあわせて２回、ビート信号を出力する。また、ビート信号選択部２５０は、ビート信号を出力するタイミングで、すなわち、あわせて２回、リセット信号を出力する。

この場合、ディレイ３０は、あるビート信号が入力されてから遅延時間が経過するまでに次のビート信号が入力されたときは、最初のビート信号を出力せずに２回目のビート信号のみを出力する。図８の例では、ビート信号選択部２５０は３拍目にビート信号を２回出力しているが、ディレイ３０がこのような処理を行うことによって、第１のビート信号の出力タイミングに合わせた単一のビート信号が出力される。

３−５．他の変形例
シーケンサ４０の動作は、上述の実施形態で説明したものに限定されない。シーケンサ４０は、ディレイ３０から出力されるビート信号をクロックとしてＭＩＤＩデータを再生し、楽曲音を示すオーディオ信号を出力する機能を有してもよい。この例によれば、ＭＩＤＩデータによるオーディオ信号に含まれる楽曲音を、入力されたオーディオ信号に含まれる楽曲音に同期させることができる。具体的には、例えば打ち込みのリズムパターンをギターの生演奏に同期させることができる。要は、シーケンサ４０はディレイ３０から出力されるビート信号により定められるタイミングで、オーディオ信号および映像信号の少なくとも一方を出力する機能を有するものであれば、どのような装置であってもよい。映像は、文字、画像、静止画、動画、その他の視覚で認識できる表示を含む。

上述の実施形態において、本発明に係るビート検出装置をカラオケ装置に適用する例について説明した。しかし、ビート検出装置は、カラオケ装置以外の装置に用いられてもよい。オーディオ信号から抽出されるビートを示すビート信号を用いて動作する装置であれば、どのような装置に本発明が適用されてもよい。

本発明の一実施形態に係るカラオケ装置１の構成を示す図である。ビート信号の選択条件すなわち所定期間を示す図である。ビート検出装置２０のタイミングチャートを示す。変形例１に係るビート信号の選択条件を示す図である。変形例１に係るビート検出装置２０のタイミングチャートを示す。変形例２に係るビート検出装置２０のタイミングチャートを示す。変形例３に係るビート信号の選択条件を示す図である。変形例４に係るビート検出装置２０のタイミングチャートを示す。

符号の説明

１…カラオケ装置、１０…入力部、２０…ビート検出装置、３０…ディレイ、４０…シーケンサ、５０…ディレイ、６０…出力部、２１０…フィルタ、２２０…ＢＰＭ検出器、２３０…ビート信号生成部、２４０…ビート信号生成部、２５０…ビート信号選択部

Claims

楽曲音を含むオーディオ信号から所定の特徴音を検出する特徴音検出手段と、
前記特徴音検出手段が検出した前記特徴音の検出タイミング毎に前記楽曲音のビートタイミングを示す第１のビート信号を生成して出力する第１のビート信号生成手段と、
前記特徴音検出手段により検出された特徴音の検出間隔から、前記楽曲音のビートの間隔を特定し、特定されたビート間隔毎に第２のビート信号を生成して出力する第２のビート信号生成手段と、
前記第２のビート信号生成手段により生成された第ｎ拍目の第２のビート信号の出力タイミングを基準とする第１の所定期間内に前記第１のビート信号生成手段が第ｎ拍目の第１のビート信号を出力するか判定し、前記第１の所定期間内に第ｎ拍目の第１のビート信号が出力された場合は第ｎ拍目の第１のビート信号を選択して信号線から出力し、前記第１の所定期間内に第ｎ拍目の第１のビート信号が出力されない場合は前記第１の所定期間の終期にビート信号を前記信号線から出力するビート信号選択手段と
を有し、
前記ビート信号選択手段が第ｎ拍目の第１のビート信号を選択した場合、前記第２のビート信号生成手段が、第ｎ拍目の第１のビート信号が出力されたタイミングを基準として第ｎ＋１拍目に出力すべき第２のビート信号の出力タイミングを決定する
ことを特徴とするビート検出装置。
楽曲音を含むオーディオ信号から所定の特徴音を検出する特徴音検出手段と、
前記特徴音検出手段が検出した前記特徴音の検出タイミング毎に前記楽曲音のビートタイミングを示す第１のビート信号を生成して出力する第１のビート信号生成手段と、
前記特徴音検出手段により検出された特徴音の検出間隔から、前記楽曲音のビートの間隔を特定し、特定されたビート間隔毎に第２のビート信号を生成して出力する第２のビート信号生成手段と、
前記第２のビート信号生成手段により生成された第ｎ拍目の第２のビート信号の出力タイミングを基準とする第１の所定期間内に前記第１のビート信号生成手段が第ｎ拍目の第１のビート信号を出力するか判定し、前記第１の所定期間の始期から第ｎ拍目の第２のビート信号の出力タイミングより前に第ｎ拍目の第１のビート信号が出力された場合は第ｎ拍目の第１のビート信号を選択して信号線から出力し、前記第１の所定期間の始期から第ｎ拍目の第２のビート信号の出力タイミングより前に第ｎ拍目の第１のビート信号が出力されない場合は第ｎ拍目の第２のビート信号を選択して前記信号線から出力するビート信号選択手段と
を有し、
前記ビート信号選択手段が第ｎ拍目の第１のビート信号を選択した場合、前記第２のビート信号生成手段が、第ｎ拍目の第１のビート信号が出力されたタイミングを基準として第ｎ＋１拍目に出力すべき第２のビート信号の出力タイミングを決定し、第ｎ拍目の第２のビート信号を出力した後であって、第ｎ拍目の第２のビート信号の出力タイミングを基準とする第２の所定期間内に第ｎ拍目の第１のビート信号を出力した場合、前記第２のビート信号生成手段が、第ｎ拍目の第１のビート信号が出力されたタイミングを基準として第ｎ＋１拍目に出力すべき第２のビート信号の出力タイミングを決定する
ことを特徴とするビート検出装置。
楽曲音を含むオーディオ信号から所定の特徴音を検出する特徴音検出手段と、
前記特徴音検出手段が検出した前記特徴音の検出タイミング毎に前記楽曲音のビートタイミングを示す第１のビート信号を生成して出力する第１のビート信号生成手段と、
前記特徴音検出手段により検出された特徴音の検出間隔から、前記楽曲音のビートの間隔を特定し、特定されたビート間隔毎に第２のビート信号を生成して出力する第２のビート信号生成手段と、
前記第２のビート信号生成手段により生成された第ｎ拍目の第２のビート信号の出力タイミングを基準とする第１の所定期間内に前記第１のビート信号生成手段が第ｎ拍目の第１のビート信号を出力するか判定し、前記第１の所定期間の始期から第ｎ拍目の第２のビート信号の出力タイミングより前に第ｎ拍目の第１のビート信号が出力された場合は第ｎ拍目の第１のビート信号を選択して信号線から出力し、第ｎ拍目の第２のビート信号の出力タイミングから前記第１の所定期間の終期までに第ｎ拍目の第１のビート信号が出力された場合は第ｎ拍目の第１のビート信号および第ｎ拍目の第２のビート信号を選択して前記信号線から出力するビート信号選択手段と
を有し、
前記ビート信号選択手段が第ｎ拍目の第１のビート信号を出力した場合、前記第２のビート信号生成手段が、第ｎ拍目の第１のビート信号が出力されたタイミングを基準として第ｎ＋１拍目に出力すべき第２のビート信号の出力タイミングを決定する
ことを特徴とするビート検出装置。
前記第１の所定期間の始期が、第ｎ拍目の第２のビート信号の出力タイミングの所定時間前である
ことを特徴とする請求項１ないし３のいずれか一項に記載のビート検出装置。
前記第１の所定期間の終期が、第ｎ拍目の第２のビート信号の出力タイミングの所定時間後である
ことを特徴とする請求項１ないし３のいずれか一項に記載のビート検出装置。
前記第１の所定期間が、第ｎ拍目の第２のビート信号の出力タイミングを包含する不感期間を有し、
前記不感期間内に第ｎ拍目の第１のビート信号が出力された場合、前記ビート信号選択手段が、第ｎ拍目の第２のビート信号を選択して出力する
ことを特徴とする請求項１ないし３のいずれか一項に記載のビート検出装置。