JPH08234784A - ハーモニー生成装置 - Google Patents
ハーモニー生成装置Info
- Publication number
- JPH08234784A JPH08234784A JP7041767A JP4176795A JPH08234784A JP H08234784 A JPH08234784 A JP H08234784A JP 7041767 A JP7041767 A JP 7041767A JP 4176795 A JP4176795 A JP 4176795A JP H08234784 A JPH08234784 A JP H08234784A
- Authority
- JP
- Japan
- Prior art keywords
- harmony
- frequency
- voice signal
- data
- waveform element
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
ー音声信号を作成するカラオケ装置。 【構成】音声処理用DSP30への入力歌唱音声信号
は、ピーク検出部41,音素検出部42,平均音量検出
部43および乗算器45に供給する。歌唱音声信号は、
乗算器45において窓関数が乗算され切り出された1周
期分の波形要素データはメモリ46に記憶する。ハーモ
ニーデータの読出制御部48がメモリ46をアクセスし
ハーモニー周波数に対応する間隔で波形要素データを繰
り返し読み出された信号がハーモニー音声信号となる。
窓関数は、主旋律データで1周期分の長さとされ、ピー
ク検出部41が検出するピークが窓関数と中央となるタ
イミングとされる。窓関数発生部44は数十ms毎に波
形要素データの切り出しを行い、音色に対応する波形要
素データをメモリ46に書き込み音素の変化時、音素検
出部42が窓関数発生部44に伝達し、窓関数を発生す
る。
Description
号に対するハーモニー音声信号を生成するハーモニー生
成装置に関し、とくに、音声信号の周波数が検出できな
い場合でも的確なハーモニー音声信号を生成できるハー
モニー生成装置に関する。
では、歌唱を盛り上げるため、または、歌唱を上手く聞
かせるために歌唱者の歌唱音声に対してハーモニー(た
とえば、旋律に対して3度上の旋律)の音声を付加して
出力する機能を備えたものがある。ハーモニー付加機能
としては、歌唱者の歌唱音声とよく似た音色で且つ同じ
テンポのハーモニー音声を作るためマイクから入力され
た歌唱者の音声信号の周波数をシフトしてハーモニー音
声信号を形成するものが一般的である。
ニー音声信号付加技術は、歌唱者の歌唱音声信号の基本
周波数を検出し、この基本周波数に基づいてシフトを行
っていたため、入力された歌唱音声信号の周波数を検出
することができなかった場合には、ハーモニー音声信号
の形成ができないという欠点があった。
を検出することができない場合でもハーモニー音声信号
を形成することができるハーモニー生成装置を提供する
ことを目的とする。
明は、歌唱または演奏の音声信号を入力する音声信号入
力手段と、該音声信号の周波数情報である旋律情報を供
給する旋律情報供給手段と、前記音声信号の周波数に協
和する周波数であるハーモニー周波数を供給するハーモ
ニー周波数供給手段と、前記音声信号から前記旋律情報
の1周期分の波形を波形要素データとして切り出す波形
要素データ抽出手段と、該波形要素データを前記ハーモ
ニー周波数で繰り返し読み出すことによりハーモニー音
声信号を形成するハーモニー形成手段とを備えたことを
特徴とする。
演奏の音声信号を入力する音声信号入力手段と、該音声
信号入力手段から入力された音声信号の周波数を検出す
る周波数検出手段と、前記音声信号の周波数情報である
旋律情報を供給する旋律情報供給手段と、前記歌唱また
は演奏に協和する周波数であるハーモニー周波数を供給
するハーモニー周波数供給手段と、前記周波数検出手段
が音声信号の周波数を検出できたとき、前記音声信号か
ら前記周波数の1周期分の波形を波形要素データとして
切り出し、前記周波数検出手段が音声信号の周波数を検
出できなかったとき、前記旋律情報の1周期分の波形を
波形要素データとして切り出す波形要素データ抽出手段
と、該波形要素データを前記ハーモニー周波数で繰り返
し読み出すことによりハーモニー音声信号を形成するハ
ーモニー形成手段とを備えたことを特徴とする。
報供給手段を複数の旋律情報を時系列に記憶する旋律情
報記憶手段と、該旋律情報記憶手段から旋律情報を逐次
読み出して前記波形要素データ抽出手段に供給する手段
とで構成し、且つ、前記ハーモニー周波数供給手段を複
数のハーモニー周波数を時系列に記憶するハーモニー周
波数記憶手段と、該ハーモニー周波数記憶手段からハー
モニー周波数を逐次読み出して前記ハーモニー形成手段
に供給する手段とで構成したことを特徴とする。
演奏の音声信号を入力し、この音声信号から旋律情報の
1周期分の波形を波形要素データとして切り出す。旋律
情報は旋律情報供給手段から供給される。1周期分の波
形要素データは基本周波数の長さであるがその倍音成分
に関しては1周期を超えて(2周期以上)含まれている
ため、前記入力された音声信号の倍音特性(フォルマン
ト)が保存されている。この波形要素データをハーモニ
ー周波数で繰り返し読み出してハーモニー音声信号を形
成する。ハーモニー周波数は、入力された音声信号の周
波数に協和する周波数、たとえば3度(4/3倍)や5
度(3/2倍)の関係を有する周波数がハーモニー周波
数供給手段から供給される。このハーモニー音声信号
は、波形要素データをハーモニー周波数で繰り返すこと
から基本周波数はハーモニー周波数となるが、波形要素
データの倍音成分がそのまま含まれているため、前記入
力された音声信号のフォルマントが再現され、同じ音色
となる。
入力された音声信号の周波数を検出し、波形要素データ
を切り出す単位である1周期をこの周波数に基づいて決
定する。これが検出できなかったときには請求項1と同
様に旋律情報供給手段から供給される旋律情報の1周期
を切り出し単位の1周期とする。入力された音声信号に
基づいて1周期を決定するとより理想的な長さの波形要
素データを切り出すことができ、また、歌唱の音程が不
安定で周波数を検出できなかった場合でも、旋律情報に
基づいて波形要素データの切り出しを行うことができ、
ハーモニー音声信号の形成が途切れることがない。
段を複数の旋律情報を時系列に記憶する旋律情報記憶手
段と、該旋律情報記憶手段から旋律情報を逐次読み出し
て前記波形要素データ抽出手段に供給する手段とで構成
し、前記ハーモニー周波数供給手段を複数のハーモニー
周波数を時系列に記憶するハーモニー周波数記憶手段
と、該ハーモニー周波数記憶手段からハーモニー周波数
を逐次読み出して前記ハーモニー形成手段に供給する手
段とで構成した。これにより、歌唱または演奏の進行に
同期した旋律情報およびハーモニー周波数の供給が可能
になる。
モニー付加機能付カラオケ装置について説明する。この
カラオケ装置は、音源カラオケ装置であり、通信機能、
および、ハーモニー付加機能を備えている。音源カラオ
ケ装置とは、楽曲データで音源装置を駆動することによ
りカラオケ演奏音を発生するカラオケ装置である。楽曲
データとは、音高や発音タイミングを指定する演奏デー
タ列などの複数トラックからなるシーケンスデータであ
る。また、通信機能とは、通信回線を介してホストステ
ーションと接続され、楽曲データをホストステーション
からダウンロードしてハードディスク装置17(図1参
照)に蓄える機能である。ハードディスク装置17は、
楽曲データを数百〜数千曲分記憶することができる。ハ
ーモニー付加機能とは、歌唱者の歌唱音声信号に3度や
5度の音程のハーモニー音声信号を付加する機能であ
る。ハーモニー音声信号は、歌唱者の歌唱音声をピッチ
シフトすることによって生成する。
る。装置全体の動作を制御するCPU10には、バスを
介してROM11,RAM12,ハードディスク記憶装
置(HDD)17,ISDNコントローラ16,リモコ
ン受信機13,表示パネル14,パネルスイッチ15,
音源装置18,音声データ処理部19,効果用DSP2
0,文字表示部23,LDチェンジャ24,表示制御部
25および音声処理用DSP30が接続されている。
プリケーションプログラム,ローダおよびフォントデー
タが記憶されている。システムプログラムは、この装置
の基本動作や周辺機器とのデータ送受を制御するプログ
ラムである。アプリケーションプログラムは周辺機器制
御プログラム,シーケンスプログラムなどである。カラ
オケ演奏時にはシーケンスプログラムがCPU10によ
って実行され、楽曲データに基づいた楽音の発生,映像
の再生が行われる。ローダは、ホストステーションから
楽曲データをダウンロードするためのプログラムであ
る。フォントデータは、歌詞や曲名などを表示するため
のものであり、明朝体やゴジック体などの複数種類の文
字種のフォントが記憶されている。また、RAM12に
は、ワークエリアが設定される。HDD17には楽曲デ
ータファイルが設定される。
線を介してホストステーションと交信するためのコント
ローラである。ISDNコントローラ16はホストステ
ーションから楽曲データなどをダウンロードする。ま
た、ISDNコントローラ16はDMA回路を内蔵して
おり、ダウンロードされた楽曲データやアプリケーショ
ンプログラムをCPU10を介さずに直接HDD17に
書き込む。
られてくる赤外線信号を受信してデータを復元する。リ
モコン31は選曲スイッチなどのコマンドスイッチやテ
ンキースイッチなどを備えており、利用者がこれらのス
イッチを操作するとその操作に応じたコードで変調され
た赤外線信号を送信する。表示パネル14はこのカラオ
ケ装置の前面に設けられており、現在演奏中の曲コード
や予約曲数などを表示するものである。パネルスイッチ
15はカラオケ装置の前面操作部に設けられており、曲
コード入力スイッチやキーチェンジスイッチなどを含ん
でいる。
10から入力されるイベントデータに基づいて楽音信号
を形成する。イベントデータは楽曲データの楽音トラッ
クに記憶されている。楽音トラックは図4に示すように
複数設定されているため、イベントデータも複数系統が
並行して入力される。音源装置18は、これらのデータ
を受信して複数の楽音信号を同時に形成する。音声デー
タ処理部19は、楽曲データに含まれるADPCMデー
タである音声データに基づき、指定された長さ,指定さ
れた音高の音声信号を形成する。音声データは、バック
コーラスや模範歌唱音などの音源装置18で電子的に発
生しにくい信号波形をそのままディジタル化して記憶し
たものである。
歌唱の音声信号はプリアンプ28で増幅されA/Dコン
バータ29でディジタル信号に変換されたのち効果用D
SP20および音声処理用DSP30に入力される。音
声処理用DSP30には、このほかCPU10から主旋
律情報,ハーモニー情報が入力される。音声処理用DS
P30はこれらの情報に基づいて歌唱者の歌唱音声信号
から波形要素データを切り出し、この波形要素データを
合成してハーモニー音声信号を形成する。このハーモニ
ー音声信号は効果用DSP20に出力される。
成した楽音信号、音声データ処理部19が形成した音声
信号、A/Dコンバータがディジタル変換した歌唱音声
信号および音声処理用DSP30が形成したハーモニー
音声信号が入力される。効果用DSP20は、これら入
力された音声信号や楽音信号に対してリバーブやエコー
などの効果を付与する。効果用DSP20が付与する効
果の種類や程度は、楽曲データの効果トラックのイベン
トデータ(DSPコントロールデータ)に基づいて制御
される。DSPコントロールデータはDSPコントロー
ル用シーケンスプログラムに基づき、CPU10が所定
のタイミングに効果用DSP20に入力する。効果が付
与された楽音信号,音声信号はD/Aコンバータ21で
アナログ信号に変換されたのちアンプ・スピーカ22に
出力される。アンプ・スピーカ22はこの信号を増幅し
たのち放音する。
基づいて、曲名や歌詞などの文字パターンを生成する。
また、LDチェンジャ24は入力された映像選択データ
(チャプタナンバ)に基づき、対応するLDの背景映像
を再生する。映像選択データは当該カラオケ曲のジャン
ルデータなどに基づいて決定される。ジャンルデータは
楽曲データのヘッダに書き込まれており、カラオケ演奏
スタート時にCPU10によって読み出される。CPU
10はジャンルデータに基づいてどの背景映像を再生す
るかを決定し、その背景映像を指定する映像選択データ
をLDチェンジャ24に対して出力する。LDチェンジ
ャ24には、5枚(120シーン)程度のレーザディス
クが内蔵されており約120シーンの背景映像を再生す
ることができる。映像選択データによってこのなかから
1つの背景映像が選択され、映像データとして出力され
る。文字パターン,映像データは表示制御部25に入力
される。表示制御部25ではこれらのデータをスーパー
インポーズで合成してモニタ26に表示する。
置においてカラオケ演奏に用いられる楽曲データの構成
について説明する。図3は楽曲データの構成を示す図で
ある。また、図4,図5は楽曲データの詳細な構成を示
す図である。
ダ,楽音トラック,主旋律トラック,ハーモニートラッ
ク,歌詞トラック,音声トラック,効果トラックおよび
音声データ部からなっている。
データが書き込まれる部分であり、曲名,ジャンル,発
売日,曲の演奏時間(長さ)などのデータが書き込まれ
ている。CPU10は、メインシーケンスプログラムの
実行時にジャンルデータに基づいてモニタ26に表示す
る背景映像を決定し、LDチェンジャ24に対してその
映像のチャプタナンバを送信する。背景映像の決定方式
は、冬をテーマにした演歌の場合には雪国の映像を選択
し、ポップスの場合には外国の映像を選択するなどであ
る。
は図4,図5に示すように複数のイベントデータと各イ
ベントデータ間の時間間隔を示すデュレーションデータ
Δtからなるシーケンスデータで構成されている。各ト
ラックのイベントデータはカラオケ演奏中にシーケンス
プログラムに基づきCPU10によって読み出される。
シーケンスプログラムは、所定のテンポクロックでΔt
をカウントし、Δtをカウントアップしたときこれに続
くイベントデータの読出タイミングであるとして、これ
を読み出して所定の処理部へ出力するプログラムであ
る。
ズムトラックを初めとして種々のパートのトラックが形
成されている。CPU10は、楽音シーケンスプログラ
ムによって読み出したイベントデータを音源装置18に
出力する。音源装置18はそのイベントデータに含まれ
ているチャンネル指定データに基づいて発音チャンネル
を選択し、その発音チャンネルについてそのイベントを
実行する。
旋律すなわち歌唱者が歌うべき旋律のシーケンスデータ
が書き込まれている。このデータはCPU10から音声
処理用DSP30に入力される。音声処理用DSP30
はこのデータに基づいて歌唱音声信号から波形要素デー
タを切り出す。また、ハーモニートラックの構成も主旋
律トラックと同様であり、このカラオケ曲のハーモニー
旋律のシーケンスデータが書き込まれている。このデー
タもCPU10から音声処理用DSP30に入力され
る。音声処理用DSP30はこのデータに基づいてハー
モニー音声信号の周波数(音高)を決定する。
示するためのシーケンスデータを記憶したトラックであ
る。このシーケンスデータは楽音データではないが、イ
ンプリメンテーションの統一をとり、作業工程を容易に
するためこのトラックもMIDIデータ形式で記述され
ている。データ種類は、システム・エクスクルーシブ・
メッセージである。歌詞トラックのデータ記述におい
て、通常は1行の歌詞を1つの歌詞表示データとして扱
っている。歌詞表示データは1行の歌詞の文字データ
(文字コードおよびその文字の表示座標)、この歌詞の
表示時間(通常は30秒前後)、および、ワイプシーケ
ンスデータからなっている。ワイプシーケンスデータと
は、曲の進行に合わせて歌詞の表示色を変更してゆくた
めのシーケンスデータであり、表示色を変更するタイミ
ング(この歌詞が表示されてからの時間)と変更位置
(座標)が1行分の長さにわたって順次記録されている
データである。
ている音声データn(n=1,2,3,‥‥)の発生タ
イミングなどを指定するシーケンストラックである。音
声データ部には、音源装置18で合成しにくいバックコ
ーラスやハーモニー歌唱などの人声が記憶されている。
音声トラックには、音声指定データと、音声指定データ
の読み出し間隔、すなわち、音声データを音声データ処
理部19に出力して音声信号形成するタイミングを指定
するデュレーションデータΔtが書き込まれている。音
声指定データは、音声データ番号,音程データおよび音
量データからなっている。音声データ番号は、音声デー
タ部に記録されている各音声データの識別番号nであ
る。音程データ,音量データは、形成すべき音声データ
の音程や音量を指示するデータである。すなわち、言葉
を伴わない「アー」や「ワワワワッ」などのバックコー
ラスは、音程や音量を変化させれば何度も利用できるた
め、基本的な音程,音量で1つ記憶しておき、このデー
タに基づいて音程や音量をシフトして繰り返し使用す
る。音声データ処理部19は音量データに基づいて出力
レベルを設定し、音程データに基づいて音声データの読
出間隔を変えることによって音声信号の音程を設定す
る。
御するためのDSPコントロールデータが書き込まれて
いる。効果用DSP20は音源装置18,音声データ処
理部19,音声処理用DSP30から入力される信号に
対してリバーブなどの残響系の効果を付与する。DSP
コントロールデータは、このような効果の種類を指定す
るデータおよびその変化量データなどからなっている。
説明する図である。音声処理用DSP30は内蔵されて
いるマイクロプログラムに基づき入力された歌唱音声信
号に対するハーモニー音声信号を形成するが、このマイ
クロプログラムをブロック化するとこの図のように表す
ことができる。
されA/Dコンバータ29でディジタル信号に変換され
た歌唱音声信号は、この音声処理用DSP30の周期検
出部40,ピーク検出部41,音素検出部42,平均音
量検出部43および乗算器45に入力される。
の波形に基づきその周期Tを検出する(図6(A)参
照)。また、周期検出部40は、CPU10から主旋律
データを入力している。主旋律データは、主旋律の周波
数を表すデータである。子音部や音の変わり目などで歌
唱音声信号の音程が不定になったとき、周期検出部40
はこの主旋律データによって歌唱音声信号の周期を推定
することによって得た周期情報を出力する。周期検出部
40は検出した周期情報をピーク検出部41および窓関
数発生部44に出力する。
号の1つの周期内におけるローカルピークを検出する
(図6(A)参照)。周期検出部40から入力される周
期情報によって1周期の間隔が決定される。ピーク検出
部41は検出したピークタイミング情報を窓関数発生部
44に出力する。
号のレベルの切れ目や周波数成分の変化によって音素の
切れ目を検出する。ここで音素とは発音を個別の子音と
母音に分割した区間をいうものとする。図6(B)にお
いて、歌詞「あかしやの」は、それぞれ「あ」「か」
「し」「や」「の」の5個の音節からなっており、これ
らの音節は「a」「k」「a」「sh」「i」「y」
「a」「n」「o」の9個の音素に分割することができ
る。各音節間にはレベルが低下する切れ目があり、子音
がホワイトノイズ的な非周期波形であるのに対し、母音
が周期波形であることなどに基づいて音素の分割を行
う。音素検出部40は音素の切れ目を検出すると、切れ
目である旨を表示する情報を窓関数発生部44に出力す
る。
信号の振幅レベルを平滑して平均音量を検出する。平均
音量検出部43は検出した平均音量情報を音量制御部5
0に出力する。
な窓関数を出力する。この窓関数は乗算器45に出力さ
れる。乗算器45には上述したように歌唱音声信号が入
力されているため、歌唱音声信号がこの窓関数の部分の
み切り取られることになる(図6(C)参照)。窓関数
としては、開始から終了まで微分的に連続な関数を使用
することが望ましい。微分的に連続な関数を使用する
と、歌唱音声信号の一部(1周期)のみを切り出して
も、切り出しの境界でノイズを発生することがない。こ
のため、このDSP30では、sin2 (ωt/2)
(t=0〜T:Tは歌唱音声信号の1周期)を使用して
いる。この式からも明らかなように、窓関数の長さは歌
唱音声信号の1周期である。1周期の長さは周期検出部
40から入力される周期情報によって与えられる。ま
た、窓関数発生部44は、数十ms〜100msの適当
な間隔で繰り返し窓関数を発生する。このようにある程
度時間をあけて窓関数を発生するのは、同じ波形要素デ
ータをある程度継続しないと、その波形要素データの音
色が聴取者に認識されないからである。一方、音素検出
部42から音素の切れ目を表示する情報が入力されたと
きには必ず窓関数を発生して新たな音素の波形要素デー
タの切り出しを行う。これは、音素が切り換わると音色
が全く変わるため、これに追従するためである。また、
窓関数の開始タイミングは、ピーク検出部41から入力
されたピークが窓関数の中央に来るように、ピークと次
のピークの中間点すなわち最もレベルの低い点となるよ
うに制御される。
素データは、歌唱音声信号の音色すなわちフォルマント
(倍音成分)をほぼそのまま保存したものとなる。
同時に、窓関数を発生する旨およびその長さに関する情
報を書込制御部47に出力する。書込制御部47は、こ
の情報に対応して窓関数の開始から終了までの間、サン
プリングクロック(44.1kHz)に同期して歩進す
る書込アドレスをメモリ46に入力する。この書込アド
レスの入力により、乗算器45で切り出された波形要素
データはメモリ46に記憶される。
ときの歌唱音声信号の1周期分の波形要素データが記憶
される。この波形要素データを任意の周期で繰り返し読
み出すことにより、その任意の周期の基本周波数を有
し、波形要素データすなわち歌唱音声信号の音色(倍音
構成)を備えた音声信号を合成することができる。そこ
で、この波形要素データを歌唱音声信号から3度,5度
など協和する周波数関係にあるハーモニー周波数の周期
で繰り返し読み出すことにより、その周波数で且つ歌唱
音声信号と同じ音色のハーモニー音声信号を形成するこ
とができる。なお、この実施例では歌唱音声信号の周波
数は、主旋律データの周波数と概ね一致しているとし
て、楽曲データ中に記憶されているハーモニー旋律デー
タの周波数を用いてハーモニー音声信号を合成するよう
にしている。ハーモニー旋律データは図3,図4で説明
したように、主旋律トラックに記憶されているシーケン
スデータである主旋律データに対して協和する周波数関
係を有するシーケンスデータであり、ハーモニートラッ
クに記憶されているものである。
行う。読出制御部48にはCPU10からハーモニーデ
ータが入力されている。このハーモニーデータは、楽音
データのハーモニートラックから読み出されたイベント
データである。読出制御部48はこのハーモニーデータ
の周波数でメモリ46を繰り返しアクセスする。すなわ
ち、1秒間にハーモニー旋律データの周波数回だけ波形
要素データを繰り返して読み出す。このハーモニー旋律
が主旋律よりも周波数が低い場合には、ハーモニー音声
信号は、図7(A)に示すように波形要素データがデー
タ長Tよりも長いT1の間隔をおいて配列された波形と
なる。このハーモニー旋律が主旋律よりも周波数が高い
場合には、ハーモニー音声信号は、図7(B)に示すよ
うに波形要素データがデータ長Tよりも短いT2の間隔
で互いに重なりあって配列された波形となる。これによ
り、ハーモニー音声信号の基本周波数は1/T1および
1/T2となるが各波形要素データ中の倍音成分はその
まま保存されているため、歌唱音声信号と同様のフォル
マントが形成される。また、窓関数が微分的に連続であ
るためノイズが発生することはない。
タを繰り返し読み出すことによって形成されたハーモニ
ー音声信号は切換器49を経て乗算器51に入力され
る。乗算器51は音量制御部50から音量制御データが
入力される。音量制御部50は前記平均音量検出部43
から歌唱音声信号の平均音量情報を入力しており、この
平均音量情報に基づいて音量制御データを発生する。音
量制御データは、たとえば平均音量情報の80パーセン
トの値に設定される。乗算器51で音量制御をされたハ
ーモニー音声信号は効果用DSP20に出力される。な
お、切換器49はフレーズの切れ目などで強制的に出力
を0にするとき使用される。
により、歌唱者の歌唱音声信号の音色をそのまま保存し
たハーモニー音声信号を形成することができるととも
に、歌唱音声信号の周期(周波数)を検出できない場合
でも、ハーモニー音声信号を支障なく形成することがで
きる。すなわち、通常の歌唱者の歌唱であれば、歌唱音
声信号の周波数と主旋律データで与えられる周波数とは
それほど差がないと考えられるため、その周期で波形要
素データを切り出して、所定の周波数でこれを再合成す
ることにより、ほぼ歌唱者の音色を維持したハーモニー
音声信号を形成することができる。
SP30に周期検出部40を設け、歌唱音声信号から周
期を検出して窓関数の長さを決定するようにし、この周
期が検出できないときのみCPU10から入力される主
旋律データを用いて窓関数の長さを決定するようにして
いるが、図8のように、DSP30で歌唱音声信号の周
期を求めることなく、窓関数の長さの決定を全て主旋律
データで行うようにすれば周期検出部40が不要とな
る。この場合には、ピーク検出部41も主旋律データか
ら与えられる周期(周波数)に基づいてローカルピーク
を検出することになる。この図では、ピーク検出部41
も窓関数発生部44も直接主旋律データを入力して周期
を求めるようにしている。主旋律データは元より周波数
データであるため、これから周期を求めることは極めて
容易であり、別途周期演算部を設ける必要はない。上述
したように、通常の歌唱であれば歌唱音声信号の周波数
と主旋律データから与えられる周波数とは殆ど差がない
ため、この構成で実用上問題となることはない。
を検出する音素検出部42を省略しても窓関数の発生を
適当な間隔(例えば50ms)で繰り返し行うようにす
ることにより、聴覚上それほどずれた印象を与えること
なくハーモニー音声信号を歌唱音声信号に追従させるこ
とができる。また、窓関数が微分的に連続していること
から、どの位相から波形信号を切り出しても、ノイズを
生じさせることなく波形要素データの切り出しが可能で
ある。したがって、歌唱音声信号のピークが窓関数の端
部にくることによって抑制され倍音構成が多少変化する
ことを許すのであれば、ピーク検出部41を省略し歌唱
音声信号との位相関係を考慮に入れずに窓関数を発生す
るようにしてもよい。さらに、歌唱者の歌唱ボリューム
に追従する必要がなければ平均音量検出部43および音
量制御部50、乗算器51も不要である。したがって、
本願発明の最低限の基本的な機能である「歌唱音声信号
から窓関数を用いて波形要素データを切り出し、この波
形要素データを所定周期で繰り返すことによりハーモニ
ー音声信号を形成する」ことを実現するためには、図9
に示す構成が備わっていればよい。
を形成する音声処理用DSP30をカラオケ装置に内蔵
しているが、この音声処理用DSP30およびその前後
のA/Dコンバータ29,D/Aコンバータ(図2,図
8の破線部参照)を一体化して図10のような外付の装
置(ハーモニー生成装置)として構成してもよい。この
場合には、同図に示すように、カラオケ演奏装置61か
ら主旋律情報,ハーモニー情報を受け取り、マイク62
から歌唱者のアナログ歌唱音声信号を入力してこれらに
基づいてハーモニー音声信号を生成する。カラオケ演奏
装置61は操作パネルの操作に基づいて選曲(楽曲デー
タの選択)やピッチシフト(読み出されるイベントデー
タの音高情報の書き換え)等を行い、楽音データなどを
音源に出力し、歌詞データなどを画像制御部に出力す
る。
理するカラオケ装置について説明したが、この発明はこ
れに限らず楽器の演奏による楽音信号に対しても適用す
ることができる。
請求の範囲に記載しなかった発明を従属形式で記載する
と以下のようになる。
段は、波形要素データの切り出しを前記旋律情報で規定
される1周期よりも十分長い間隔で繰り返し実行する手
段である請求項1または請求項2に記載のハーモニー生
成装置。この発明では、波形要素データの切り出しを前
記旋律情報で規定される1周期よりも十分長い間隔で繰
り返し実行するようにした。ハーモニー形成手段は、新
たな波形要素データが切り出されるまで同じ波形要素デ
ータでハーモニー音声信号を形成するため、ある程度の
波数同じ波形が繰り返されることにより、聴取者にもそ
の波形の音色が認識可能となり入力された音声信号と同
じ音色であることが認識され易くなる。
段は、微分的に連続な窓関数を波形要素データに乗算す
ることにより波形要素データを切り出す手段である請求
項1または請求項2に記載のハーモニー生成装置。この
発明では、波形要素データの切り出しを微分的に連続な
窓関数を波形要素データに乗算することにより行うよう
にした。これにより、切り出された波形要素データもそ
の始点および終点で微分的に連続したものとなり、これ
を再生しても始点,終点でノイズが生じることがない。
のピークを検出するピーク検出手段を備え、前記波形要
素データ抽出手段を、検出されたピークがその中央にな
るように波形要素データを切り出す手段としたことを特
徴とする請求項5に記載のハーモニー生成装置。この発
明では、入力された音声信号の波形のピークを検出し、
検出されたピークがその中央になるように波形要素デー
タを切り出す。これにより、波形レベルの大きい部分が
波形要素データの中央に波形レベルの小さい部分が波形
要素データの端部に位置することになりノイズの発生が
抑制されるとともに、倍音成分がよりよく保存される。
音、母音の切り換わりを検出する音素検出手段を備え、
前記波形要素データ抽出手段を、音素の切り換わりが検
出されたとき波形要素データの切り出しを実行する手段
としたことを特徴とする請求項1または請求項2に記載
のハーモニー発生装置。この発明では、入力された音声
信号の子音・母音の切り換わりを検出し、この切り換わ
り時に波形要素データの切り出しを実行するようにし
た。これにより入力音声信号の波形の変化に速やかに追
従することができる。
を検出する音量検出手段と、前記ハーモニー形成手段が
形成したハーモニー音声信号の音量を前記音量検出手段
の検出値に基づいて制御する音量制御手段とを備えたこ
とを特徴とする請求項1または請求項2に記載のハーモ
ニー生成装置。この発明では、入力された音声信号の音
量を検出し、この検出内容に基づいてハーモニー音声信
号の音量を制御する。これにより、入力された音声信号
とハーモニー音声信号との音量バランスを常時維持する
ことができる。
装置は、入力された音声信号の1周期分の波形要素デー
タをハーモニー周波数で繰り返すことによってハーモニ
ー音声信号を形成するようにしたことにより、入力され
た音声信号の波形要素データの倍音成分がそのまま含ま
れた同じ音色のハーモニー音声信号を形成することがで
きる。また、このとき、波形要素データの切り出しを旋
律情報供給手段から供給される旋律情報に基づいて行う
ことにより、音声信号の周波数を検出できない場合でも
的確な波形要素データを切り出してハーモニー音声信号
を形成することができる。また、音声信号の周波数を全
く検出しないで波形要素データの切り出しを行うことも
できる。
のブロック図
構成を示す図
タの構成を示す図
タの構成を示す図
タの構成を示す図
式を説明する図
装置を示す図
読出制御部
Claims (3)
- 【請求項1】 歌唱または演奏の音声信号を入力する音
声信号入力手段と、該音声信号の周波数情報である旋律
情報を供給する旋律情報供給手段と、前記音声信号の周
波数に協和する周波数であるハーモニー周波数を供給す
るハーモニー周波数供給手段と、 前記音声信号から前記旋律情報の1周期分の波形を波形
要素データとして切り出す波形要素データ抽出手段と、
該波形要素データを前記ハーモニー周波数で繰り返し読
み出すことによりハーモニー音声信号を形成するハーモ
ニー形成手段とを備えたことを特徴とするハーモニー生
成装置。 - 【請求項2】 歌唱または演奏の音声信号を入力する音
声信号入力手段と、該音声信号入力手段から入力された
音声信号の周波数を検出する周波数検出手段と、前記音
声信号の周波数情報である旋律情報を供給する旋律情報
供給手段と、前記歌唱または演奏に協和する周波数であ
るハーモニー周波数を供給するハーモニー周波数供給手
段と、 前記周波数検出手段が音声信号の周波数を検出できたと
き、前記音声信号から前記周波数の1周期分の波形を波
形要素データとして切り出し、前記周波数検出手段が音
声信号の周波数を検出できなかったとき、前記旋律情報
の1周期分の波形を波形要素データとして切り出す波形
要素データ抽出手段と、 該波形要素データを前記ハーモニー周波数で繰り返し読
み出すことによりハーモニー音声信号を形成するハーモ
ニー形成手段とを備えたことを特徴とするハーモニー生
成装置。 - 【請求項3】 前記旋律情報供給手段は、複数の旋律情
報を時系列に記憶する旋律情報記憶手段と、該旋律情報
記憶手段から旋律情報を逐次読み出して前記波形要素デ
ータ抽出手段に供給する手段からなり、 また、前記ハーモニー周波数供給手段は、複数のハーモ
ニー周波数を時系列に記憶するハーモニー周波数記憶手
段と、該ハーモニー周波数記憶手段からハーモニー周波
数を逐次読み出して前記ハーモニー形成手段に供給する
手段からなることを特徴とする請求項1または請求項2
に記載のハーモニー生成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP04176795A JP3173310B2 (ja) | 1995-03-01 | 1995-03-01 | ハーモニー生成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP04176795A JP3173310B2 (ja) | 1995-03-01 | 1995-03-01 | ハーモニー生成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH08234784A true JPH08234784A (ja) | 1996-09-13 |
JP3173310B2 JP3173310B2 (ja) | 2001-06-04 |
Family
ID=12617556
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP04176795A Expired - Fee Related JP3173310B2 (ja) | 1995-03-01 | 1995-03-01 | ハーモニー生成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3173310B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009122611A (ja) * | 2007-11-19 | 2009-06-04 | Yamaha Corp | ハーモニー音生成装置及びプログラム |
US10937447B2 (en) | 2018-08-28 | 2021-03-02 | Roland Corporation | Harmony generation device and storage medium |
-
1995
- 1995-03-01 JP JP04176795A patent/JP3173310B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009122611A (ja) * | 2007-11-19 | 2009-06-04 | Yamaha Corp | ハーモニー音生成装置及びプログラム |
US10937447B2 (en) | 2018-08-28 | 2021-03-02 | Roland Corporation | Harmony generation device and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP3173310B2 (ja) | 2001-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2921428B2 (ja) | カラオケ装置 | |
JP3598598B2 (ja) | カラオケ装置 | |
JP3319211B2 (ja) | 音声変換機能付カラオケ装置 | |
JP3718919B2 (ja) | カラオケ装置 | |
JP2838977B2 (ja) | カラオケ装置 | |
KR100408987B1 (ko) | 가사표시장치 | |
JP2008225117A (ja) | ピッチ表示制御装置 | |
JP3116937B2 (ja) | カラオケ装置 | |
JP5228315B2 (ja) | 自動伴奏生成装置および自動伴奏生成方法を実現するためのプログラム | |
JP3901008B2 (ja) | 音声変換機能付カラオケ装置 | |
JPH10268895A (ja) | 音声信号処理装置 | |
JP3645364B2 (ja) | 周波数検出装置 | |
JP2006126710A (ja) | 奏法決定装置及びプログラム | |
JP3173310B2 (ja) | ハーモニー生成装置 | |
JP2904045B2 (ja) | カラオケ装置 | |
JP5561263B2 (ja) | 楽音再生装置及びプログラム | |
JP3050129B2 (ja) | カラオケ装置 | |
JP4081859B2 (ja) | 歌声発生装置およびカラオケ装置 | |
JP3178694B2 (ja) | カラオケ装置 | |
JP3564775B2 (ja) | ビブラート付加機能付カラオケ装置 | |
JP3637782B2 (ja) | データ生成装置と記録媒体 | |
JP5747974B2 (ja) | 情報処理装置及びプログラム | |
JP2005077763A (ja) | 自動伴奏生成装置及びプログラム | |
JPH07199973A (ja) | カラオケ装置 | |
JPH10240272A (ja) | 歌唱を再生する音響機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090330 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090330 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100330 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110330 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110330 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120330 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130330 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140330 Year of fee payment: 13 |
|
LAPS | Cancellation because of no payment of annual fees |