JP3430985B2 - 合成音生成装置 - Google Patents
合成音生成装置Info
- Publication number
- JP3430985B2 JP3430985B2 JP22280999A JP22280999A JP3430985B2 JP 3430985 B2 JP3430985 B2 JP 3430985B2 JP 22280999 A JP22280999 A JP 22280999A JP 22280999 A JP22280999 A JP 22280999A JP 3430985 B2 JP3430985 B2 JP 3430985B2
- Authority
- JP
- Japan
- Prior art keywords
- coefficient
- convolution
- signal
- zero
- switching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
- G10H1/06—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour
- G10H1/12—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour by filtering complex waveforms
- G10H1/125—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour by filtering complex waveforms using a digital filter
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
- G10H7/08—Instruments in which the tones are synthesised from a data store, e.g. computer organs by calculating functions or polynomial approximations to evaluate amplitudes at successive sample points of a tone waveform
- G10H7/10—Instruments in which the tones are synthesised from a data store, e.g. computer organs by calculating functions or polynomial approximations to evaluate amplitudes at successive sample points of a tone waveform using coefficients or parameters stored in a memory, e.g. Fourier coefficients
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- General Physics & Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Analysis (AREA)
- Algebra (AREA)
- Electrophonic Musical Instruments (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、音声および楽器音
を入力して、音声の特性情報を有した合成楽器音等を合
成出力するのに適した合成音生成装置に関する。
を入力して、音声の特性情報を有した合成楽器音等を合
成出力するのに適した合成音生成装置に関する。
【０００２】
【従来の技術】音声の分析／合成機能を有するボコーダ
（Ｖｏｃｏｄｅｒ）は、楽音、雑音等を音声で擬声化で
きることから、音楽シンセサイザと共に広く活用されて
いる。これまでに開発された主たるボコーダとしては、
フォルマントボコーダ、線形予測分析合成システム（Ｐ
ＡＲＣＯ分析合成）、ケプストラムボコーダ（準同形フ
ィルタリングによる音声合成）、チャネルボコーダ（い
わゆるダドレイのボコーダ）等が知られている。
（Ｖｏｃｏｄｅｒ）は、楽音、雑音等を音声で擬声化で
きることから、音楽シンセサイザと共に広く活用されて
いる。これまでに開発された主たるボコーダとしては、
フォルマントボコーダ、線形予測分析合成システム（Ｐ
ＡＲＣＯ分析合成）、ケプストラムボコーダ（準同形フ
ィルタリングによる音声合成）、チャネルボコーダ（い
わゆるダドレイのボコーダ）等が知られている。
【０００３】フォルマントボコーダは、スペクトル包絡
のフォルマント及びアンチフォルマント、即ち極点及び
零点によって声道特性を表わし、そのパラメータからタ
ーミナルアナログ合成器によって音声を合成するもので
ある。ターミナルアナログ合成器は、声道の共振／***
振特性をシミュレーションするためのもので、複数の共
振回路と***振回路とを縦続接続したものである。線形
予測分析合成システムは、音声合成方式の中で最も広く
普及している予測符号化方法の１つの拡張方式である。
これを更に改良したシステムがＰＡＲＣＯ分析合成方式
である。ケプストラムボコーダは、フィルタの対数振幅
特性と音源の対数スペクトルの逆フーリエ変換と逆畳み
込みを利用した音声合成方式である。
のフォルマント及びアンチフォルマント、即ち極点及び
零点によって声道特性を表わし、そのパラメータからタ
ーミナルアナログ合成器によって音声を合成するもので
ある。ターミナルアナログ合成器は、声道の共振／***
振特性をシミュレーションするためのもので、複数の共
振回路と***振回路とを縦続接続したものである。線形
予測分析合成システムは、音声合成方式の中で最も広く
普及している予測符号化方法の１つの拡張方式である。
これを更に改良したシステムがＰＡＲＣＯ分析合成方式
である。ケプストラムボコーダは、フィルタの対数振幅
特性と音源の対数スペクトルの逆フーリエ変換と逆畳み
込みを利用した音声合成方式である。
【０００４】チャネルボコーダは、例えば図７に示すよ
うに、音声信号入力のスペクトル包絡情報、即ち声道特
性のパラメータを、異なる帯域の帯域通過フィルタ１０
−１〜１０−Ｎによって抽出する。一方、パルス列発生
器２１と雑音発生器２２から２種類の音源信号を発生
し、これをスペクトル包絡のパラメータによって振幅変
調する。この振幅変調は、乗算器（変調器）３０−１〜
３０−Ｎによって行われる。変調された出力は、帯域通
過フィルタ４０−１〜４０−Ｎを通過し、加算器５０に
よって加算されることにより、合成音声信号出力とな
る。
うに、音声信号入力のスペクトル包絡情報、即ち声道特
性のパラメータを、異なる帯域の帯域通過フィルタ１０
−１〜１０−Ｎによって抽出する。一方、パルス列発生
器２１と雑音発生器２２から２種類の音源信号を発生
し、これをスペクトル包絡のパラメータによって振幅変
調する。この振幅変調は、乗算器（変調器）３０−１〜
３０−Ｎによって行われる。変調された出力は、帯域通
過フィルタ４０−１〜４０−Ｎを通過し、加算器５０に
よって加算されることにより、合成音声信号出力とな
る。
【０００５】特開平０５−２０４３９７号に開示された
チャネルボコーダの例では更に、帯域通過フィルタ１０
−１〜１０−Ｎの出力が、短時間平均振幅検出回路６０
−１〜６０−Ｎを通過する際に整流および平滑化され
る。有声／無声検出器７１は、音声入力の有声音部と無
声音部とを判別し、有声音部検出時にはパルス列発生器
２１の出力（パルス列）を乗算器３０に入力するように
スイッチ２３を選択する。また、無声音部検出時には、
雑音発生部２２の出力（雑音）を乗算器３０に入力する
ようにスイッチ２３を選択する。同時に、ピッチ検出部
７２は、音声入力のピッチを検出して、パルス発生器２
１の出力パルス列に反映させる。従って、有声音部検出
時のパルス発生器２１の出力は、音声入力の特性情報の
１つであるピッチ情報を有したものとなる。
チャネルボコーダの例では更に、帯域通過フィルタ１０
−１〜１０−Ｎの出力が、短時間平均振幅検出回路６０
−１〜６０−Ｎを通過する際に整流および平滑化され
る。有声／無声検出器７１は、音声入力の有声音部と無
声音部とを判別し、有声音部検出時にはパルス列発生器
２１の出力（パルス列）を乗算器３０に入力するように
スイッチ２３を選択する。また、無声音部検出時には、
雑音発生部２２の出力（雑音）を乗算器３０に入力する
ようにスイッチ２３を選択する。同時に、ピッチ検出部
７２は、音声入力のピッチを検出して、パルス発生器２
１の出力パルス列に反映させる。従って、有声音部検出
時のパルス発生器２１の出力は、音声入力の特性情報の
１つであるピッチ情報を有したものとなる。
【０００６】
【発明が解決しようとする課題】上述したフォルマント
ボコーダは、スペクトル包絡のフォルマント及びアンチ
フォルマントの抽出が簡単でないため、複雑な分析処理
や手作業を必要とする。線形予測分析合成システムは、
音声の生成に全極モデルをとり、モデルの係数決定の評
価基準として予測誤差の単純な二乗平均値を使用する。
このため、必ずしも音声の性質を重視した方法ではな
い。ケプストラムボコーダは、スペクトル処理やフーリ
エ変換に要する時間が長くなるため、リアルタイム（実
時間）の応答性に欠ける。
ボコーダは、スペクトル包絡のフォルマント及びアンチ
フォルマントの抽出が簡単でないため、複雑な分析処理
や手作業を必要とする。線形予測分析合成システムは、
音声の生成に全極モデルをとり、モデルの係数決定の評
価基準として予測誤差の単純な二乗平均値を使用する。
このため、必ずしも音声の性質を重視した方法ではな
い。ケプストラムボコーダは、スペクトル処理やフーリ
エ変換に要する時間が長くなるため、リアルタイム（実
時間）の応答性に欠ける。
【０００７】一方、チャネルボコーダは、声道特性のパ
ラメータを直接周波数領域の物理量で表わしているの
で、音声の性質を考慮したシステムと言えるが、反面、
数学的には厳密でないため、デジタル処理に適していな
い。
ラメータを直接周波数領域の物理量で表わしているの
で、音声の性質を考慮したシステムと言えるが、反面、
数学的には厳密でないため、デジタル処理に適していな
い。
【０００８】本発明は、このような従来のボコーダの問
題点を解決し、実時間による畳み込み演算によって応答
性の良い高音質の音声合成を可能とした合成音生成装置
を提供することを目的とする。
題点を解決し、実時間による畳み込み演算によって応答
性の良い高音質の音声合成を可能とした合成音生成装置
を提供することを目的とする。
【０００９】
【課題を解決するための手段】本発明の第１の形態に係
る合成音生成装置は、入力される第１の信号から所定の
時間間隔で波形を順次切り出し、この切り出した波形を
係数として生成する生成手段と、前記所定の時間間隔で
前記係数を切り替えながら、この係数により入力される
第２の信号を畳み込み演算して合成音信号を生成する畳
み込み手段とを備えたことを特徴とする。
る合成音生成装置は、入力される第１の信号から所定の
時間間隔で波形を順次切り出し、この切り出した波形を
係数として生成する生成手段と、前記所定の時間間隔で
前記係数を切り替えながら、この係数により入力される
第２の信号を畳み込み演算して合成音信号を生成する畳
み込み手段とを備えたことを特徴とする。
【００１０】本発明の好ましい実施形態では、前記畳み
込み手段は、前記係数の切り替え時に、切り替え前の前
記係数から切り替え後の前記係数へと補間をかけて緩や
かに係数を変化させる補間処理機能を有する１つの畳み
込み回路であり、より具体的には専用の畳み込みＬＳＩ
で実現される。
込み手段は、前記係数の切り替え時に、切り替え前の前
記係数から切り替え後の前記係数へと補間をかけて緩や
かに係数を変化させる補間処理機能を有する１つの畳み
込み回路であり、より具体的には専用の畳み込みＬＳＩ
で実現される。
【００１１】本発明の第１の形態に係る合成音生成装置
において、前記畳み込み手段は、並列動作可能な２つの
畳み込み回路を備えるとともに、この２つの畳み込み回
路でそれぞれ生成された合成音信号を前記係数の切り替
え時にクロスフェード処理する手段とを備えるようにす
ることもできる。
において、前記畳み込み手段は、並列動作可能な２つの
畳み込み回路を備えるとともに、この２つの畳み込み回
路でそれぞれ生成された合成音信号を前記係数の切り替
え時にクロスフェード処理する手段とを備えるようにす
ることもできる。
【００１２】本発明の好ましい実施形態によれば、前記
第１及び第２の形態に係る合成音生成装置において、例
えば第１の信号は音声信号であり、第２の信号は楽器音
信号である。また、音声信号から切り出される波形は、
１つのゼロクロス点で始まり、このゼロクロス点から所
定の時間に近い間隔を経た他のゼロクロス点で終わるよ
うに切り出された１つの波形である。
第１及び第２の形態に係る合成音生成装置において、例
えば第１の信号は音声信号であり、第２の信号は楽器音
信号である。また、音声信号から切り出される波形は、
１つのゼロクロス点で始まり、このゼロクロス点から所
定の時間に近い間隔を経た他のゼロクロス点で終わるよ
うに切り出された１つの波形である。
【００１３】本発明によれば、実時間による畳み込み演
算を実現できるので、リアルタイムで応答性の良い高音
質の音声合成が可能となる。しかも本発明によれば、図
７で説明したチャネルボコーダのように音声入力の有声
音部と無声音部とを区別する必要がない。更に、本発明
によれば、回路の小規模化を図ることができる。本発明
は、音声入力に限定されず、種々の入力に対応すること
ができる。
算を実現できるので、リアルタイムで応答性の良い高音
質の音声合成が可能となる。しかも本発明によれば、図
７で説明したチャネルボコーダのように音声入力の有声
音部と無声音部とを区別する必要がない。更に、本発明
によれば、回路の小規模化を図ることができる。本発明
は、音声入力に限定されず、種々の入力に対応すること
ができる。
【００１４】
【発明の実施の形態】以下、図面を参照しながら本発明
の好ましい実施の形態について詳細に説明する。図１
は、本発明の一実施例に係るボコーダを示すブロック図
である。この実施例では、第１の信号をマイク等から入
力される音声、そして第２の信号をエレキギターやシン
セサイザ等からの楽器音（あるいは音楽信号でもよい）
としている。
の好ましい実施の形態について詳細に説明する。図１
は、本発明の一実施例に係るボコーダを示すブロック図
である。この実施例では、第１の信号をマイク等から入
力される音声、そして第２の信号をエレキギターやシン
セサイザ等からの楽器音（あるいは音楽信号でもよい）
としている。
【００１５】アナログ音声入力信号は、ＡＤ変換器１−
１によってデジタル値に変換される。同時に、アナログ
楽器音入力信号は、ＡＤ変換器１−２によってデジタル
値に変換される。ＡＤ変換器１−１，１−２の出力は、
デジタル信号処理装置（ＤＳＰ）２−１，２−２によっ
てそれぞれ処理される。
１によってデジタル値に変換される。同時に、アナログ
楽器音入力信号は、ＡＤ変換器１−２によってデジタル
値に変換される。ＡＤ変換器１−１，１−２の出力は、
デジタル信号処理装置（ＤＳＰ）２−１，２−２によっ
てそれぞれ処理される。
【００１６】デジタル信号処理装置２−１は、音声信号
に音圧制御や音質補正を行い、畳み込み回路（ＣＮＶ）
３に送る係数となるように、音声波形を所定の時間間
隔、例えば１０〜２０ｍｓで切り出す。デジタル信号処
理装置２−２は、楽器音信号に音圧制御や音質補正を行
い、畳み込み回路３にデータとして転送する。
に音圧制御や音質補正を行い、畳み込み回路（ＣＮＶ）
３に送る係数となるように、音声波形を所定の時間間
隔、例えば１０〜２０ｍｓで切り出す。デジタル信号処
理装置２−２は、楽器音信号に音圧制御や音質補正を行
い、畳み込み回路３にデータとして転送する。
【００１７】上記の音圧制御では、例えば音圧レベル
（ダイナミックレンジ）が補正・抑制される。音質補正
では、周波数特性が補正される。更には、音のキャラク
タ作りが行われる。また、マイクから入力する低域ノイ
ズをカットする動作もする。
（ダイナミックレンジ）が補正・抑制される。音質補正
では、周波数特性が補正される。更には、音のキャラク
タ作りが行われる。また、マイクから入力する低域ノイ
ズをカットする動作もする。
【００１８】畳み込み回路３は、デジタル信号処理装置
２−１の出力を係数とし、またデジタル信号処理装置２
−２の出力をデータとして畳み込み演算をする。係数は
音声波形の切出間隔、即ち１０〜２０ｍｓ毎に更新され
る。
２−１の出力を係数とし、またデジタル信号処理装置２
−２の出力をデータとして畳み込み演算をする。係数は
音声波形の切出間隔、即ち１０〜２０ｍｓ毎に更新され
る。
【００１９】畳み込み回路３内では、例えば図２に示す
ような畳み込み演算を実行する。即ち、入力ｘ（ｎ）
は、１サンプル遅延器Ｄ1〜ＤN-1によって順次遅延され
る。そして、入力ｘ（ｎ）およびその遅延信号ｘ（ｎ−
１）〜ｘ（ｎ−Ｎ＋１）に対し、乗算器Ｍ0〜ＭN-1にお
いて係数ｈ（０）〜ｈ（Ｎ−１）が乗算される。乗算器
Ｍ0〜ＭN-1の出力は、加算器Ａ1〜ＡN-1で順次加算され
て出力ｙ（ｎ）となる。従って、出力ｙ（ｎ）は次式で
表わされる。
ような畳み込み演算を実行する。即ち、入力ｘ（ｎ）
は、１サンプル遅延器Ｄ1〜ＤN-1によって順次遅延され
る。そして、入力ｘ（ｎ）およびその遅延信号ｘ（ｎ−
１）〜ｘ（ｎ−Ｎ＋１）に対し、乗算器Ｍ0〜ＭN-1にお
いて係数ｈ（０）〜ｈ（Ｎ−１）が乗算される。乗算器
Ｍ0〜ＭN-1の出力は、加算器Ａ1〜ＡN-1で順次加算され
て出力ｙ（ｎ）となる。従って、出力ｙ（ｎ）は次式で
表わされる。
【００２０】
【数１】
【００２１】これは良く知られたＦＩＲ（有限インパル
ス応答）フィルタであり、その長さが短かければイコラ
イザなどの周波数特性補正機能を果たし、また長ければ
残響付加という信号処理が可能になる。通常の畳み込み
演算における係数ｈは固定されているが、本発明では、
この係数ｈを変化させる。具体的には、係数として短く
切り取った音声信号を使用する。そして、順次変化する
音声信号に従って係数を自動更新する。係数が畳み込ま
れた楽器音信号は、ボコーダと同様の信号処理を受けた
出力になる。
ス応答）フィルタであり、その長さが短かければイコラ
イザなどの周波数特性補正機能を果たし、また長ければ
残響付加という信号処理が可能になる。通常の畳み込み
演算における係数ｈは固定されているが、本発明では、
この係数ｈを変化させる。具体的には、係数として短く
切り取った音声信号を使用する。そして、順次変化する
音声信号に従って係数を自動更新する。係数が畳み込ま
れた楽器音信号は、ボコーダと同様の信号処理を受けた
出力になる。
【００２２】係数の切り替え周期は、音声信号の場合、
男性、女性共に１０〜２０ｍｓが好ましい。ところが、
一定の周期で機械的に切り出しを行うと、聴感上クリッ
プノイズや歪みの原因になる。これを回避するために、
デジタル信号処理装置２−１は、畳み込み演算で使用す
る係数として、１つのゼロクロス点で始まり、このゼロ
クロス点から所定の時間に近い間隔を経た他のゼロクロ
ス点で終わるように１つの波形を動的に切り出す。
男性、女性共に１０〜２０ｍｓが好ましい。ところが、
一定の周期で機械的に切り出しを行うと、聴感上クリッ
プノイズや歪みの原因になる。これを回避するために、
デジタル信号処理装置２−１は、畳み込み演算で使用す
る係数として、１つのゼロクロス点で始まり、このゼロ
クロス点から所定の時間に近い間隔を経た他のゼロクロ
ス点で終わるように１つの波形を動的に切り出す。
【００２３】一例を挙げると、図３に示すように入力音
声信号が変化する場合に、固定的な切り替え周期Δｔで
波形Ｗ１，Ｗ２・・・を切り出すと、各波形の開始点と終
了点はゼロクロス点Ｐ１，Ｐ２・・・でない確率の方が高
い。そこで、デジタル信号処理装置２−１では、動的に
切り出し周期を変化させる。具体的には、Δｔに近いゼ
ロクロス点からゼロクロス点までの区間の時間間隔Δｔ
−α、Δｔ−β、Δｔ＋α’、Δｔ＋β’・・・を実際の
波形から決定して波形切り出しをする。
声信号が変化する場合に、固定的な切り替え周期Δｔで
波形Ｗ１，Ｗ２・・・を切り出すと、各波形の開始点と終
了点はゼロクロス点Ｐ１，Ｐ２・・・でない確率の方が高
い。そこで、デジタル信号処理装置２−１では、動的に
切り出し周期を変化させる。具体的には、Δｔに近いゼ
ロクロス点からゼロクロス点までの区間の時間間隔Δｔ
−α、Δｔ−β、Δｔ＋α’、Δｔ＋β’・・・を実際の
波形から決定して波形切り出しをする。
【００２４】類似の技術として、特開平７−１２９１９
６の音声合成装置で使用される音声波形切り出し装置が
知られているが、その目的は１ピッチ分の波形生成にあ
り、ボコーダ用の畳み込み係数とは異なる。本発明のボ
コーダは、係数を補間しながら更新していくので、ピッ
チ情報はさほど関係しない。
６の音声合成装置で使用される音声波形切り出し装置が
知られているが、その目的は１ピッチ分の波形生成にあ
り、ボコーダ用の畳み込み係数とは異なる。本発明のボ
コーダは、係数を補間しながら更新していくので、ピッ
チ情報はさほど関係しない。
【００２５】このように動的に切り出された係数を使用
して畳み込み演算する場合でも、図４（ａ），（ｂ）の
ようにゼロクロスになっていても、係数の切り替え時
に、図４（ｂ）のような場合、前の係数Ａから次の係数
Ｂに瞬時に切り替えると、実際に出力される合成信号波
形に急激なレベル変化を生じさせ、これもまた聴感上ク
リップノイズや歪みの原因になる。図１に示す畳み込み
回路３は、このような急変を回避するために、図４
（ｂ）に示すように、前の係数Ａから次の係数Ｂ’に切
り替える場合、切り出し間隔と同じ程度の時間をかけて
前の係数から次の係数へと補間をかけて緩やかに係数を
変化させる。これによりノイズや歪みの問題が解決され
る。
して畳み込み演算する場合でも、図４（ａ），（ｂ）の
ようにゼロクロスになっていても、係数の切り替え時
に、図４（ｂ）のような場合、前の係数Ａから次の係数
Ｂに瞬時に切り替えると、実際に出力される合成信号波
形に急激なレベル変化を生じさせ、これもまた聴感上ク
リップノイズや歪みの原因になる。図１に示す畳み込み
回路３は、このような急変を回避するために、図４
（ｂ）に示すように、前の係数Ａから次の係数Ｂ’に切
り替える場合、切り出し間隔と同じ程度の時間をかけて
前の係数から次の係数へと補間をかけて緩やかに係数を
変化させる。これによりノイズや歪みの問題が解決され
る。
【００２６】補間演算には種々のものがあるが、最も簡
単には直線補間である。直線補間では、補間時間＝ｃ
［ｍｓ］、係数初期値＝ａ、係数最終値＝ｂとした場
合、ｘ＝ｔ［ｍｓ］時点での係数値は、ｘ≦ｃの時にｆ
（ｘ）＝（ｂ−ａ）／ｃ＊ｘ＋ａとなり、またｘ＞ｃの
時にｆ（ｘ）＝ｂとなる。実際には、ｘ＝ｃの時点で新
しい係数最終値が設定されて、新しい係数補間が開始さ
れる。
単には直線補間である。直線補間では、補間時間＝ｃ
［ｍｓ］、係数初期値＝ａ、係数最終値＝ｂとした場
合、ｘ＝ｔ［ｍｓ］時点での係数値は、ｘ≦ｃの時にｆ
（ｘ）＝（ｂ−ａ）／ｃ＊ｘ＋ａとなり、またｘ＞ｃの
時にｆ（ｘ）＝ｂとなる。実際には、ｘ＝ｃの時点で新
しい係数最終値が設定されて、新しい係数補間が開始さ
れる。
【００２７】デジタル信号処理装置２−１によって上記
のように処理されながら切り出された係数は、一旦メモ
リ（ＲＡＭ）４にストアされる。そして、ＣＰＵ５の制
御によって畳み込み回路３に切り替えられて供給され
る。畳み込み回路３の出力は、デジタル信号処理装置６
によって音質補正やエコーなどのエフェクト効果をかけ
られ、ＤＡ変換器７でアナログ信号に逆変換され、合成
音声出力となる。
のように処理されながら切り出された係数は、一旦メモ
リ（ＲＡＭ）４にストアされる。そして、ＣＰＵ５の制
御によって畳み込み回路３に切り替えられて供給され
る。畳み込み回路３の出力は、デジタル信号処理装置６
によって音質補正やエコーなどのエフェクト効果をかけ
られ、ＤＡ変換器７でアナログ信号に逆変換され、合成
音声出力となる。
【００２８】図５は、本発明の他の実施例に係るボコー
ダを示すブロック図である。本例の合成音生成装置は、
２つの畳み込み回路３−１，３−２を並列に使用するク
ロスフェード型である。つまり、２つの畳み込み回路３
−１，３−２は、図１の畳み込み回路３のような補間機
能を有しない、一般的な安価な畳み込みＬＳＩである。
このような補間機能を有しない畳み込み回路３−１，３
−２を使用してクロスフェード型の補間処理をする。
ダを示すブロック図である。本例の合成音生成装置は、
２つの畳み込み回路３−１，３−２を並列に使用するク
ロスフェード型である。つまり、２つの畳み込み回路３
−１，３−２は、図１の畳み込み回路３のような補間機
能を有しない、一般的な安価な畳み込みＬＳＩである。
このような補間機能を有しない畳み込み回路３−１，３
−２を使用してクロスフェード型の補間処理をする。
【００２９】図１と同様に、ＡＤ変換器１−１は、アナ
ログ音声入力をデジタル値に変換される。同時に、ＡＤ
変換器１−２は、アナログ楽器音入力をデジタル値に変
換される。デジタル信号処理装置２−１は、音声信号に
音圧制御や音質補正を行い、畳み込み回路３−１または
３−２に送る係数となるように、音声波形を１０〜２０
ｍｓで切り出す。デジタル信号処理装置２−２は、楽器
音信号に音圧制御や音質補正を行い、畳み込み回路３−
１または３−２にデータとして転送する。
ログ音声入力をデジタル値に変換される。同時に、ＡＤ
変換器１−２は、アナログ楽器音入力をデジタル値に変
換される。デジタル信号処理装置２−１は、音声信号に
音圧制御や音質補正を行い、畳み込み回路３−１または
３−２に送る係数となるように、音声波形を１０〜２０
ｍｓで切り出す。デジタル信号処理装置２−２は、楽器
音信号に音圧制御や音質補正を行い、畳み込み回路３−
１または３−２にデータとして転送する。
【００３０】デジタル信号処理装置２−１によって切り
出された係数は、一旦ＲＡＭ４にストアされる。そし
て、ＣＰＵ５の制御によって畳み込み回路３−１，３−
２に切り替えられて供給される。畳み込み回路３−１お
よび３−２は、デジタル信号処理装置２−１の出力を係
数とし、またデジタル信号処理装置２−２の出力をデー
タとして畳み込み演算をする。
出された係数は、一旦ＲＡＭ４にストアされる。そし
て、ＣＰＵ５の制御によって畳み込み回路３−１，３−
２に切り替えられて供給される。畳み込み回路３−１お
よび３−２は、デジタル信号処理装置２−１の出力を係
数とし、またデジタル信号処理装置２−２の出力をデー
タとして畳み込み演算をする。
【００３１】畳み込み回路３−１，３−２の出力は、デ
ジタル信号処理装置６によって音質補正やエコーなどの
エフェクト効果をかけられ、ＤＡ変換器７でアナログ信
号に逆変換され、合成音声出力となる。ここで、本例の
デジタル信号処理装置６は、図１とは異なり、クロスフ
ェード処理を行う。
ジタル信号処理装置６によって音質補正やエコーなどの
エフェクト効果をかけられ、ＤＡ変換器７でアナログ信
号に逆変換され、合成音声出力となる。ここで、本例の
デジタル信号処理装置６は、図１とは異なり、クロスフ
ェード処理を行う。
【００３２】デジタル信号処理装置６で行われるクロス
フェード処理は、図６に示すように、第１の畳み込み回
路３−１の出力ＣＮＶ１と第２の畳み込み回路３−２の
出力ＣＮＶ２を時間軸上で一部オーバーラップさせ、先
行する出力の終わりをフェードアウトしながら後続する
出力の始まりをフェードインするようにクロスさせて、
係数の瞬時切り替えに伴うノイズの低減を図る。
フェード処理は、図６に示すように、第１の畳み込み回
路３−１の出力ＣＮＶ１と第２の畳み込み回路３−２の
出力ＣＮＶ２を時間軸上で一部オーバーラップさせ、先
行する出力の終わりをフェードアウトしながら後続する
出力の始まりをフェードインするようにクロスさせて、
係数の瞬時切り替えに伴うノイズの低減を図る。
【００３３】例えば、ＣＮＶ１の後半Ｂをフェードアウ
トするとき、同時にＣＮＶ２の前半Ｃをフェードインす
る。次にＣＮＶ２の後半Ｄをフェードアウトするとき、
同時に次のＣＮＶ１の前半Ｅをフェードインするという
具合である。図示の例ではオーバーラップする区間の長
さを、図３で説明したように動的に変化するΔｔとして
ある。従って、図５のデジタル信号処理装置２−１で切
り出される波形の長さは、図１の場合に比べて基本的に
２倍以上必要になる。
トするとき、同時にＣＮＶ２の前半Ｃをフェードインす
る。次にＣＮＶ２の後半Ｄをフェードアウトするとき、
同時に次のＣＮＶ１の前半Ｅをフェードインするという
具合である。図示の例ではオーバーラップする区間の長
さを、図３で説明したように動的に変化するΔｔとして
ある。従って、図５のデジタル信号処理装置２−１で切
り出される波形の長さは、図１の場合に比べて基本的に
２倍以上必要になる。
【００３４】
【発明の効果】以上述べたように本発明によれば、畳み
込み回路を使用することによって、従来できなかった実
時間による畳み込み演算を実現できるので、リアルタイ
ムで応答性の良い高音質の音声合成が可能となる。しか
も本発明によれば、音声入力の有声部と無声部とを区別
する必要がない。また本発明によれば、回路の小規模化
を図ることができる。本発明は、音声入力に限定され
ず、種々の入力に対応することができる。
込み回路を使用することによって、従来できなかった実
時間による畳み込み演算を実現できるので、リアルタイ
ムで応答性の良い高音質の音声合成が可能となる。しか
も本発明によれば、音声入力の有声部と無声部とを区別
する必要がない。また本発明によれば、回路の小規模化
を図ることができる。本発明は、音声入力に限定され
ず、種々の入力に対応することができる。
【図１】 本発明の一実施形態に係る合成音生成装置を
示すブロック図である。
示すブロック図である。
【図２】 畳み込み演算を示す信号フローである。
【図３】 係数として使用する波形の動的切り出し方法
を説明する波形図である。
を説明する波形図である。
【図４】 係数切り替え時の係数補間を説明する波形図
である。
である。
【図５】 本発明の他の実施形態に係る合成音生成装置
を示すブロック図である。
を示すブロック図である。
【図６】 クロスフェード処理を示す図である。
【図７】 従来のボコーダの一例を示すブロック図であ
る。
る。
１…ＡＤ変換器、２、６…デジタル信号処理装置、３…
畳み込み回路、４…メモリ、５…ＣＰＵ、７…ＡＤ変換
器。
畳み込み回路、４…メモリ、５…ＣＰＵ、７…ＡＤ変換
器。
Claims (5)
- 【請求項１】 入力される第１の信号から所定の時間間
隔で波形を順次切り出し、この切り出した波形を係数と
して生成する生成手段と、前記所定の時間間隔で 前記係数を切り替えながら、この
係数により入力される第２の信号を畳み込み演算して合
成音信号を生成する畳み込み手段とを備えたことを特徴
とする合成音生成装置。 - 【請求項２】 前記生成手段は、前記時間間隔を前記第
１の信号の波形のゼロクロス点に基づき動的に変化させ
ることにより前記係数を順次生成する請求項１記載の合
成音生成装置。 - 【請求項３】 前記畳み込み手段は、前記係数の切り替
え時に、切り替え前の前記係数から切り替え後の前記係
数へと補間をかけて緩やかに係数を変化させる補間処理
機能を有する１つの畳み込み回路である請求項１に記載
の合成音生成装置。 - 【請求項４】 前記畳み込み手段は、並列動作可能な２
つの畳み込み回路を備えると共に、この２つの畳み込み
回路でそれぞれ生成された合成音信号を係数の切り替え
時にクロスフェード処理する手段とを備えたことを請求
項１に記載の合成音生成装置。 - 【請求項５】 前記第１の信号は音声信号であり、この
音声信号から切り出される波形は、１つのゼロクロス点
で始まり、このゼロクロス点から所定の時間に近い間隔
を経た他のゼロクロス点で終わるように切り出された１
つの波形である請求項１、２又は４記載の合成音生成装
置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22280999A JP3430985B2 (ja) | 1999-08-05 | 1999-08-05 | 合成音生成装置 |
| US09/619,955 US6513007B1 (en) | 1999-08-05 | 2000-07-20 | Generating synthesized voice and instrumental sound |
| DE60031812T DE60031812T2 (de) | 1999-08-05 | 2000-08-03 | Vorrichtung und Verfahren zur Klangsynthesierung |
| EP00116813A EP1074968B1 (en) | 1999-08-05 | 2000-08-03 | Synthesized sound generating apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22280999A JP3430985B2 (ja) | 1999-08-05 | 1999-08-05 | 合成音生成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001051687A JP2001051687A (ja) | 2001-02-23 |
| JP3430985B2 true JP3430985B2 (ja) | 2003-07-28 |
Family
ID=16788249
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22280999A Expired - Fee Related JP3430985B2 (ja) | 1999-08-05 | 1999-08-05 | 合成音生成装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6513007B1 (ja) |
| EP (1) | EP1074968B1 (ja) |
| JP (1) | JP3430985B2 (ja) |
| DE (1) | DE60031812T2 (ja) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001356800A (ja) * | 2000-06-16 | 2001-12-26 | Korg Inc | ホルマント付加装置 |
| JP2002221980A (ja) * | 2001-01-25 | 2002-08-09 | Oki Electric Ind Co Ltd | テキスト音声変換装置 |
| JP3709817B2 (ja) * | 2001-09-03 | 2005-10-26 | ヤマハ株式会社 | 音声合成装置、方法、及びプログラム |
| US7433097B2 (en) * | 2003-04-18 | 2008-10-07 | Hewlett-Packard Development Company, L.P. | Optical image scanner with moveable calibration target |
| JP4179268B2 (ja) * | 2004-11-25 | 2008-11-12 | カシオ計算機株式会社 | データ合成装置およびデータ合成処理のプログラム |
| US8311840B2 (en) * | 2005-06-28 | 2012-11-13 | Qnx Software Systems Limited | Frequency extension of harmonic signals |
| US7912729B2 (en) | 2007-02-23 | 2011-03-22 | Qnx Software Systems Co. | High-frequency bandwidth extension in the time domain |
| JP2009128559A (ja) * | 2007-11-22 | 2009-06-11 | Casio Comput Co Ltd | 残響効果付加装置 |
| JP5354485B2 (ja) * | 2007-12-28 | 2013-11-27 | 公立大学法人広島市立大学 | 発声支援方法 |
| JP5115818B2 (ja) * | 2008-10-10 | 2013-01-09 | 国立大学法人九州大学 | 音声信号強調装置 |
| DE102009029615B4 (de) * | 2009-09-18 | 2018-03-29 | Native Instruments Gmbh | Verfahren und Anordnung zur Verarbeitung von Audiodaten sowie ein entsprechendes Computerprogramm und ein entsprechendes computer-lesbares Speichermedium |
| US8750530B2 (en) | 2009-09-15 | 2014-06-10 | Native Instruments Gmbh | Method and arrangement for processing audio data, and a corresponding corresponding computer-readable storage medium |
| JP6019803B2 (ja) * | 2012-06-26 | 2016-11-02 | ヤマハ株式会社 | 自動演奏装置及びプログラム |
| JP6390130B2 (ja) * | 2014-03-19 | 2018-09-19 | カシオ計算機株式会社 | 楽曲演奏装置、楽曲演奏方法及びプログラム |
| JP2016135346A (ja) * | 2016-04-27 | 2016-07-28 | 株式会社三共 | 遊技機 |
| JP6267757B2 (ja) * | 2016-08-10 | 2018-01-24 | 株式会社三共 | 遊技機 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3624301A (en) * | 1970-04-15 | 1971-11-30 | Magnavox Co | Speech synthesizer utilizing stored phonemes |
| JPS5681900A (en) * | 1979-12-10 | 1981-07-04 | Nippon Electric Co | Voice synthesizer |
| US4907484A (en) | 1986-11-02 | 1990-03-13 | Yamaha Corporation | Tone signal processing device using a digital filter |
| US5250748A (en) | 1986-12-30 | 1993-10-05 | Yamaha Corporation | Tone signal generation device employing a digital filter |
| US5111727A (en) | 1990-01-05 | 1992-05-12 | E-Mu Systems, Inc. | Digital sampling instrument for digital audio data |
| JP2643553B2 (ja) | 1990-07-24 | 1997-08-20 | ヤマハ株式会社 | 楽音信号処理装置 |
| FR2678103B1 (fr) * | 1991-06-18 | 1996-10-25 | Sextant Avionique | Procede de synthese vocale. |
| JPH05204397A (ja) | 1991-09-03 | 1993-08-13 | Yamaha Corp | 音声分析合成装置 |
| US5864812A (en) * | 1994-12-06 | 1999-01-26 | Matsushita Electric Industrial Co., Ltd. | Speech synthesizing method and apparatus for combining natural speech segments and synthesized speech segments |
| JP3046213B2 (ja) * | 1995-02-02 | 2000-05-29 | 三菱電機株式会社 | サブバンド・オーディオ信号合成装置 |
| WO1997017692A1 (en) | 1995-11-07 | 1997-05-15 | Euphonics, Incorporated | Parametric signal modeling musical synthesizer |
| US6073100A (en) * | 1997-03-31 | 2000-06-06 | Goodridge, Jr.; Alan G | Method and apparatus for synthesizing signals using transform-domain match-output extension |
| US6253182B1 (en) * | 1998-11-24 | 2001-06-26 | Microsoft Corporation | Method and apparatus for speech synthesis with efficient spectral smoothing |
-
1999
- 1999-08-05 JP JP22280999A patent/JP3430985B2/ja not_active Expired - Fee Related
-
2000
- 2000-07-20 US US09/619,955 patent/US6513007B1/en not_active Expired - Fee Related
- 2000-08-03 EP EP00116813A patent/EP1074968B1/en not_active Expired - Lifetime
- 2000-08-03 DE DE60031812T patent/DE60031812T2/de not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| DE60031812D1 (de) | 2006-12-28 |
| DE60031812T2 (de) | 2007-09-13 |
| JP2001051687A (ja) | 2001-02-23 |
| EP1074968B1 (en) | 2006-11-15 |
| US6513007B1 (en) | 2003-01-28 |
| EP1074968A1 (en) | 2001-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3430985B2 (ja) | 合成音生成装置 | |
| Verfaille et al. | Adaptive digital audio effects (A-DAFx): A new class of sound transformations | |
| JP3294604B2 (ja) | 波形の加算重畳による音声合成のための処理装置 | |
| US4066842A (en) | Method and apparatus for cancelling room reverberation and noise pickup | |
| US8706496B2 (en) | Audio signal transforming by utilizing a computational cost function | |
| US8229738B2 (en) | Method for differentiated digital voice and music processing, noise filtering, creation of special effects and device for carrying out said method | |
| JP4170217B2 (ja) | ピッチ波形信号生成装置、ピッチ波形信号生成方法及びプログラム | |
| JP6024191B2 (ja) | 音声合成装置および音声合成方法 | |
| JPH10124088A (ja) | 音声帯域幅拡張装置及び方法 | |
| JP2005018097A (ja) | 歌唱合成装置 | |
| JP4076887B2 (ja) | ボコーダ装置 | |
| WO2018003849A1 (ja) | 音声合成装置および音声合成方法 | |
| US5969282A (en) | Method and apparatus for adjusting the pitch and timbre of an input signal in a controlled manner | |
| JP3576800B2 (ja) | 音声分析方法、及びプログラム記録媒体 | |
| JP4214842B2 (ja) | 音声合成装置及び音声合成方法 | |
| JPH04358200A (ja) | 音声合成装置 | |
| JP3379348B2 (ja) | ピッチ変換器 | |
| WO2020179472A1 (ja) | 信号処理装置および方法、並びにプログラム | |
| JP3197975B2 (ja) | ピッチ制御方法及び装置 | |
| JP2612867B2 (ja) | 音声ピッチ変換方法 | |
| JP2615856B2 (ja) | 音声合成方法とその装置 | |
| JP5211437B2 (ja) | 音声処理装置およびプログラム | |
| JPS5925239B2 (ja) | パラメ−タ補間方式 | |
| JPH0318720B2 (ja) | ||
| JPH07129194A (ja) | 音声合成方法及び音声合成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090523 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100523 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |