JP5055759B2 - 帯域変換信号生成器及び帯域拡張装置 - Google Patents

帯域変換信号生成器及び帯域拡張装置 Download PDF

Info

Publication number
JP5055759B2
JP5055759B2 JP2005363065A JP2005363065A JP5055759B2 JP 5055759 B2 JP5055759 B2 JP 5055759B2 JP 2005363065 A JP2005363065 A JP 2005363065A JP 2005363065 A JP2005363065 A JP 2005363065A JP 5055759 B2 JP5055759 B2 JP 5055759B2
Authority
JP
Japan
Prior art keywords
frequency
signal
band
component
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005363065A
Other languages
English (en)
Other versions
JP2007164041A (ja
Inventor
厚史 田代
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2005363065A priority Critical patent/JP5055759B2/ja
Priority to US12/086,484 priority patent/US7999580B2/en
Priority to EP06822621A priority patent/EP1962282A1/en
Priority to PCT/JP2006/321692 priority patent/WO2007069400A1/ja
Priority to CN2006800467421A priority patent/CN101331541B/zh
Publication of JP2007164041A publication Critical patent/JP2007164041A/ja
Application granted granted Critical
Publication of JP5055759B2 publication Critical patent/JP5055759B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本発明は、帯域変換信号生成器及び帯域拡張装置に関し、例えば、狭帯域電話機や交換機からの音声信号を広帯域化する装置に適用し得る。
現在、様々なネットワークを用いて音声通信が盛んに行なわれている。しかしながら、従来の一般公衆網を利用していた時代の慣習から電話音声通信は、一般に電話帯域と呼ばれる300Hzから3.4kHzの周波数に制限されて行なわれている。しかし、人間の発声する音声は、300Hz以下、3.4kHz以上の成分も含まれ、また当該成分は発話の個人性にも係わる重要な成分であり、当該成分の欠如は個人性の欠如だけでなく音声の品質を低下させる一因となるため、当該成分を含んだ音声での通話が望まれている。
しかしながら、一般的な公衆網の交換機では、電話帯域を越える音声を伝送させることができない問題があった。また、一般公衆網以外でも送信側端末が当該慣例に基づいて設計されているため、電話帯域を越える音声の伝送ができない問題もあった。こうした問題点に関し、例えば特許文献1に開示される技術が提案されている。
特許文献1に開示される技術について図2を参照して説明する。図2において、まず、300Hzから3.4kHzに周波数を限定した狭帯域信号DCが、帯域拡張器10に入力する。
帯域拡張器10において、狭帯域信号DCは、標本化周波数変換器11に入力し、標本化周波数が変換された変換原信号Sに変換される。そして、この変換原信号Sは、高域信号生成器13、無声部信号生成器14、低域信号生成器12のそれぞれに与えられる。
低域信号生成器12では、変換原信号Sを用いて、低域側(300Hz以下)へ拡張した拡張信号(以下、合成低域信号という)LSが生成され、高域信号生成器13では、変換原信号Sを用いて、高域側(3.4〜7kHz)へ拡張した拡張信号(以下、合成高域信号という)HSが生成され、無声部信号生成器14では、変換原信号Sを用いて、無声部分(特許文献1では高域の無声部分)を拡張した拡張信号(以下、合成無声信号という)USが生成される。そして、加算器15が、変換原信号Sに、合成低域信号LS、合成高域信号HS及び合成無声信号USを加算し、帯域拡張信号Vを生成している。
この帯域拡張信号Vは、帯域制限された狭帯域信号DCから、低域成分の信号や高域成分の信号を伝送された信号と共に同時に提供することにより、これら成分が含まれる広帯域信号と同様の臨場感がある音声として聴取することを可能にしている。
また、合成低域信号LSは、自己相関関数から、当該拡張すべき低域の基本周波数を周期とする基本周期波形を生成することにより実現している。また、合成高域信号HSは、基本周波数と振幅を推定した結果から任意の音源波形を生成し、高域成分のみを抽出することで実現している。なお、特許文献1では、基本周期波形と振幅を低域信号生成器12から得ているが、高域信号生成器13で別途推定しても同義であるといえる。さらに、合成無声部信号USは、半波整流処理による折返し歪みの高域成分を抽出し、調波構造を有さない成分を高域用に取り出す。
特開平9−258787号公報
しかしながら、特許文献1に記載の従来技術は、人工的な波形を印加するため、帯域拡張前の信号との調波構造や波形の位相の不一致のために臨場感が不足する問題があり、広帯域信号と同様の音声を生成する能力としては不十分であった。
そのため、帯域拡張による広帯域信号が当初の信号と同様な信号を実現する帯域変換信号生成器及び帯域拡張装置が求められている。
かかる課題を解決するために、第1の本発明の帯域変換信号生成器は、周波数帯域が制限された信号を、その制限された周波数帯域を含む信号に変換する帯域変換信号生成器において、(1)周波数帯域が制限された信号の標本化周波数を当該標本化周波数以上の標本化周波数へ変換する標本化周波数変換手段と、(2)標本化周波数変換手段により変換された周波数帯域が制限された信号から、当該信号の周波数帯域以下の信号成分を強調する成分強調手段とを備え、成分強調手段が、1又は複数の特定の周波数成分の成分強度を推定する成分強度推定部と、成分強度推定部からの強度推定情報に基づいて各特定の周波数成分の強調が可能であると判定したとき、強度推定情報に対応する利得情報に応じて各特定の周波数成分に利得を与える帯域利得部と、取り込む信号の基本周波数成分を推定する周波数推定部とを有し、成分強度推定部が、周波数推定部により推定された周波数成分の成分強度を推定し、帯域利得部が、周波数推定部により推定された周波数にも所定の利得を与えることを特徴とする。
第2の本発明の帯域拡張装置は、(1)周波数帯域が制限された信号の標本化周波数を当該標本化周波数以上の標本化周波数へ変換する標本化周波数変換と、(2)周波数帯域が制限された信号から当該信号の周波数帯域以下の信号成分を含む低域信号を生成する低域信号生成器と、(3)周波数帯域が制限された信号から当該信号の周波数帯域以上の信号成分を含む高域信号を少なくとも1つ以上生成する高域信号生成器と、(4)低域信号と、少なくとも1以上の高域信号と、標本化周波数変換器により生成される信号とを加算する加算器とを有する帯域拡張装置において、低域信号生成器が、第1の本発明の帯域変換信号生成器であることを特徴とする。
第3の本発明の帯域拡張装置は、(1)周波数帯域が制限された信号の標本化周波数を当該標本化周波数以上の標本化周波数へ変換する標本化周波数変換と、(2)周波数帯域が制限された信号から当該信号の周波数帯域以上の信号成分を含む高域信号を少なくとも1つ以上生成する高域信号生成器と、(3)少なくとも1以上の高域信号と、標本化周波数変換器により生成される信号とを加算する加算器と、(4)加算器から出力された信号を、周波数帯域が制限された信号の当該周波数帯域以下の信号成分を含む信号に変換する信号生成器とを有する帯域拡張装置において、信号生成器が、第1の本発明の帯域変換信号生成器であることを特徴とする。
本発明の帯域変換信号生成器及び帯域拡張装置によれば、周波数帯域が制限されている信号成分を強調することで、当初の信号と同様な信号を実現することができる。
(A)第1の実施形態
以下、本発明の帯域変換信号生成器及び帯域拡張装置の第1の実施形態を図面を参照しながら説明する。
以下、本実施形態において、特定の時間(本実施形態では10ms)をひとまとまりにした音声フレーム(フレーム)単位に処理を行なうことを想定しているが、フレームの時間長は限定しない。また、固定的なフレームでの処理には限定せず、可変長のフレームでもサンプル毎に処理をしてもかまわない。
(A−1)第1の実施形態の構成
図1は、第1の実施形態の帯域拡張装置1000の構成を示す機能ブロック図であり、上述した図2に示す同一・対応の構成要素については、同一符号を付して示している。
図1において、本実施形態の帯域拡張器1000は、標本化周波数変換器11、高域信号生成器13、無声部信号生成器14、加算器15、低域特性印加器16、低域通過フィルタ17、を有して構成される。
ここで、標本化周波数変換器11、高域信号生成器13、無声部信号生成器14及び加算器15はそれぞれ、特許文献1に記載のものを適用することができる。ただし、帯域拡張信号Vを生成するための合成高域信号HS、合成無声信号USの生成する方法は、特許文献1に記載のものに限定されず、他の既存の方法を適用したものでも良い。
第1の実施形態の帯域拡張装置1000は、合成低域信号LSを生成する生成方法に特徴があり、低域特性印加器16及び低域通過フィルタ17を設ける点で、図2の従来の構成と異なっている。
また、第1の実施形態の帯域拡張装置1000は、高域信号生成器13と無声部信号生成器14とを設ける構成を示すが、高域信号生成器13又は無声部信号生成器14のいずれかのみを設ける構成、又は高域信号生成器13及び無声部信号生成器14の両方を設けない構成としてもよい。なお、本実施形態において、高域信号生成器13及び無声部信号生成器14は、それぞれ独立に合成高域信号及び合成無声信号を生成するものとして説明する。
図1において、低域特性印加器16は、標本化周波数変換器11によって標本化周波数が変換された変換原信号Sを受取り、低域特性印加信号LBSを低域通過フィルタ17に出力するものである。低域特性印加器16は、図1には図示しない特性強調印加器を内部に有し、この特性強調印加器の入出力及び処理は、低域特性印加器16の入出力及び処理と同一であるとしている。
低域通過フィルタ17は、低域特性印加器16から低域特性印加信号LBSを受取り、合成低域信号LSを加算器15へ出力するものである。
(A−2)第1の実施形態の動作
次に、第1の実施形態の帯域拡張装置1000の動作を説明する。第1の実施形態では、1音声フレームが帯域拡張装置1000に入力される毎に、以下の動作が実行される。
狭帯域信号(デジタル信号)DCが帯域拡張装置1000に入力されると、この狭帯域信号DCは、標本化周波数変換器11により標本化周波数が高められた変換原信号Sに変換され(例えば、8kHzから16kHz)、この変換原信号Sが、加算器15、高域信号生成器13、無声部信号生成器14、低域特性印加器16に与えられる。
ここで、本実施形態では、標本化周波数の変換は、8kHzから16kHzに変換した場合を示すが、実際に使用する音声の標本化周波数にあわせればよく、当該標本化周波数の値は特に限定されない。
低域特性印加器16においては、上述したように、変換原信号Sを、1音声フレーム毎に入力し、この入力した変換原信号Sについて任意の周波数を増幅させる増幅回路を通過させ、その増幅結果が低域特性印加信号LBSとして低域通過フィルタ17に出力される。
狭帯域信号DCは、制限された周波数帯域の外側の周波数帯域の成分が完全に遮断されておらず、実際には弱い成分が残存している場合が多い。そのため、標本化周波数が変換された変換原信号Sも、この周波数帯域の成分を有している。そこで、本実施形態では、低域特性印加器16において、この周波数成分を強調することにより、低域の周波数成分を補強して出力するようにする。これにより、より臨場感のある音声信号を生成することができる。
ここで、低域特性印加器16における増幅回路は、あらかじめ定めた周波数(本実施形態では180Hzとする)の周波数成分を、特定の増幅量だけ増幅させるような増幅回路を適用することができ、例えば180Hzから220Hzの周波数範囲を6dB増幅させる増幅回路を適用できる。
なお、特定の周波数の周波数成分を、特定の増幅量だけ増幅することができる機能体であれば、増幅回路に限定されず、他の方法を広く適用することができる、また、増幅させる周波数や増幅量は任意に設定でき限定されない。さらに、増幅させる周波数は1個でなく、複数個の周波数を増幅させるようにしてもよい。なお、以降で説明する実施形態では、特に明言しない限り1個の周波数を増幅させるものとして説明する。
低域通過フィルタ17においては、低域特性印加信号LBSが入力すると、電話帯域より周波数の小さい低域の周波数成分が抽出され、その抽出された低域成分が合成低域信号LSとして加算器15に出力される。
なお、本実施形態では、低域特性印加器16と低域通過フィルタ17とを別構成として設けた場合を示すが、低域の周波数成分を増幅する機能と、低域の周波数成分を抽出する機能を同時に実現するフィルタを構成できれば、両者を1個の機能体として構成するものでもよい。
高域信号生成器13においては、標本化周波数変換器11から変換原信号Sが入力し、帯域制限された周波数より大きい周波数成分の信号が生成され、合成高域信号HSが加算器15に出力される。なお、高域信号生成器13における合成高域信号HSの生成手法は、既存技術を用いることができので、詳細な機能説明は省略する。
無声部信号生成器14においては、標本化周波数変換器11から変換原信号Sが入力し、合成無声部信号USが加算器15に出力される。なお、無声信号生成器14における合成無声部信号USの生成手法は、既存技術を用いることができので、詳細な機能説明は省略する。
加算器15においては、合成低域信号LS、合成高域信号HS、合成無声部信号US、変換原信号Sが入力し、これらが加算され、この結果が帯域拡張信号Vとして出力される。
なお、加算器15において、4種類の信号を加算する際、重み付け係数を用いて加算するようにしてもよい。また、各種信号を生成する際、遅延が生じる場合は、加算器15はその遅延を考慮したタイミングで各種信号の加算を行なう。ここでの重み付け係数は、出力される音声の品質がよくなるように、設計者が任意に設定してよい。
(A−3)第1の実施形態の効果
以上のように、本実施形態によれば、低域の帯域において、合成された信号を印加せずに低域の帯域成分を補強するため、従来の基本周期波形を印加する手法に比べ、基本周期の不整合による異音感を低減することが可能となる。
また、本実施形態によれば、特定の周波数成分を付加する場合に聴取されていた低帯域の不足感を解消することができる。もちろん、低域全体の広がり感を聴取させることも可能である。その結果として、出力音声信号の音質を向上させることができる。
(B)第2の実施形態
次に、本発明の帯域変換信号生成器及び帯域拡張装置の第2の実施形態を図1及び図3を参照しながら説明する。
(B−1)第2の実施形態の構成
第2の実施形態は、低域特性印加器の構成が第1の実施形態の構成と異なり、それ以外の構成要素は第1の実施形態と同一、対応する。従って、以下では、図1において、第2の実施形態の帯域拡張装置を2000、低域特性印加器を22と示し、低域特性印加器22の機能構成について詳細に説明し、これ以外の構成については図1に示す符号番号を示し詳細な説明を省略する。
図3は、第2の実施形態の低域特性印加器22の内部構成を示す機能ブロック図である。第2の実施形態の帯域拡張装置2000も、第1の実施形態と同様に、1音声フレームが入力される毎に各機能が実行される。
図3において、第2の実施形態の低域特性印加器22は、成分抽出器25と、信号成分判断器24と、切換器26と、特性非印加器27と、特性印加強調器23とを有して構成される。
成分抽出器25は、変換原信号Sを受取り、成分抽出信号LPSを信号成分判断器24に出力するものである。
信号成分判断器24は、成分抽出器25から成分抽出信号LPSを受取り、低域判断情報LPJを切換器26に出力するものである。
切換器26は、変換原信号Sと低域判断情報LPJとを受取り、受取った低域判断情報LPJに基づいて、低域特性印加器23若しくは特性非印加器27に切り換えて、変換原信号Sを出力するものである。
低域特性印加器23は、切換器26を通じて変換原信号Sを受取り、後述する低域特性を印加した信号を低域特性印加信号LBSとして低域通過フィルタ17に出力するものである。
特性非印加器27は、切換器26を通じて変換原信号Sを受取り、後述する低域特性を印加しない信号を低域特性印加信号LBSとして低域通過フィルタ17に出力するものである。
(B−2)第2の実施形態の動作
次に、第2の実施形態の帯域拡張器2000の低域特性印加器22における動作について説明する。
成分抽出器25においては、変換原信号Sが入力されると、信号成分判断器24で使用する周波数成分が抽出され、その抽出結果が成分抽出信号LPSとして信号成分判断器24に出力される。
ここで、本実施形態における、この周波数成分の抽出方法として、例えば、所定の周波数帯域(例えば300Hz)を通過させる通過フィルタを用いて抽出する方法が考えられる。この抽出する周波数やフィルタは、信号成分判断器24における成分判断に応じて変えることができ、例えば、50Hzから300Hzを通過域とする帯域通過フィルタ等を用いることができる。また、通過域の周波数範囲もこの値に限定はしない。
なお、成分抽出信号LPSは、本実施形態では、前述の帯域通過フィルタによる生成された信号として説明するが、この生成された信号から求められる信号レベルとしてもよく、後述の信号成分器24で判断が可能な情報であれば、当該情報に限定しない。
信号成分判断器24においては、成分抽出器25により抽出された成分抽出信号LPSが入力されると、低域特性印加器23で低域特性を印加するのに十分な成分があるかどうかを判断し、当該判断結果を低域判断情報LPJとして切換器26に出力する。
ここで、信号成分判断器24における判断方法としては、例えば、入力された成分抽出信号の信号レベルに基づいて判断する方法があり、例えば、成分抽出信号LPSの信号レベルが、−40dBm0よりも大きいレベルである場合を十分な特性があると判断し、−40dBm0以下のレベルである場合を十分な特性がないと判断するようにする。
ただし、この音声レベルの閾値は、この値に限定せず、静的に決めても動的に決めてもよい。また、判断手法についても成分抽出信号LPS全体の信号レベルの大小による手法に限定せず、成分抽出信号LPSの一部の周波数強度による判断手法でもよく、例えば、成分抽出信号LPSの200Hzにおける周波数成分の強度をあらかじめ定めた閾値と比較する手法等があり、当該周波数はこの値には限定しない。
切換器26は、信号成分判断器24から低域判断情報LPJを受取り、この低域判断情報LPJに基づいて、入力される変換原信号Sを、低域特性印加器23か特性非印加器27かのいずれかに出力するかを決定し、出力先を切り換えるものである。
本実施形態では、低域判断情報LPJにより十分な特性があると判断された場合には低域特性印加器23へ切り換え、そうでない場合は特性非印加器27へ切り換えるものとする。
切換器26は、本切換器26の機能を損なわなければ、別の機能体が当該切換器26の機能を代行してもよい。
特性強調印加器23においては、変換原信号Sが入力すると、その変換原信号Sの任意の周波数を増幅させ、その増幅させた結果が低域特性印加信号LBSとして出力される。この任意の周波数を増幅させる方法は、例えば、所定の周波数を増幅させる増幅フィルタを適用することができ、第1の実施形態の低域特性印加器16と同様であってもよい。
特性非印加器27は、変換原信号Sが入力すると、入力されたデータを零に置き換えて低域特性印加信号LBSとして出力する。この特性非印加器27における処理は、帯域の強調を実施しても帯域拡張の効果が見込めない場合、若しくは逆に異音や雑音が目立ってしまう状態を回避するために実施する処理である。ただし、当該特性非印加器27の出力は、後段に配置される加算器15の動作に合わせて出力信号を変化させてもよい。例えば、あらかじめ記憶しておいた背景ノイズなどを当該特性非印加器27の出力としてもよい。また、加算器15で各合成信号を加算する際に乗算する重み係数が当該低域特性印加器22の動作を判断して変動可能である場合は、当該特性非印加器27を廃して、そのまま変換原信号Sを出力したり若しくは出力しないようにしたりすることができる。さらに、本特性非印加器27と切換器26の機能が、加算器15内部で行なわれるようにしてもかまわない。
第1の実施形態では、帯域制限信号Sが、制限帯域の外側周波数の成分が完全に遮断されず弱い成分が残存している場合が多いため、その残存した成分を強調するようにしたが、例えば非有音部分に当たる部分では、成分を強調する必要のない成分が含まれている可能性が高い。そのため、本実施形態では、第1の実施形態の効果がを得られないと判断される場合は、無音を生成し、低域の周波数成分に異音を発生させないようにした。
(B−3)第2の実施形態の効果
以上のように、第2に実施形態によれば、低域通過フィルタと信号成分判断器と切換器により、成分強調が有効な時刻でのみ成分強調することによって、成分を強調する必要のない成分が強調されることによる異音感を抑制することができる。出力結果としては、低帯域成分を付加する機能を損なわないので、第1の実施形態の効果も保持しており、結果として、出力信号の音質をさらに向上させることができる。
(C)第3の実施形態
次に、本発明の帯域変換信号生成器及び帯域拡張装置の第3の実施形態を図面を参照して説明する。
(C−1)第3の実施形態の構成
図4は、第3の実施形態の帯域拡張装置の構成を示す機能ブロック図である。第1及び第2の実施形態と同様の機能を有する構成要素については同一、対応の符号番号を付す。
なお、本実施形態の帯域拡張装置も、第1及び第2の実施形態と同様に、1音声フレームが入力される毎に処理が実行される。
図4に示すように、第3の実施形態の帯域拡張装置3000は、標本化周波数変換器11、高域信号生成器13、無声部信号生成器14、加算器31、特性強調印加器32、を少なくとも有する。
本実施形態の帯域拡張装置3000は、第1及び第2の実施形態の構成と異なり、低域特性印加器22及び低域通過フィルタ17の代わりに、特性強調印加器32を配置した点と加算器31の構成とが異なる。
加算器31は、変換原信号Sと、合成高域信号HSと、合成無声部信号USとを受取り、加算合成信号MSを特性強調印加器32に出力するものである。
特性強調印加器32は、加算器31から加算合成信号MSを受取り、帯域拡張信号Vを出力するものである。
本実施形態では、特性強調印加器32は、加算器31の直後に配置してあるが、低域部分の特性を印加することができれば、加算器31の直後に配置することに限定せず、別の位置に配置することも可能である。例えば、標本化周波数変換器11の直後又は直前に、特性強調印加器32を配置してもよい。
さらに、本実施形態では、特性強調印加器32のみを配置した例を示すが、第2の実施形態で説明した、成分抽出器25、信号成分判断器24、切換器26、特性非印加器27、及び本実施形態で説明する特性強調印加器32を、図4の特性強調印加器32の位置に配置した構成にしてもよい。また、以降の実施形態においても同様に特性強調印加器のみを配置した例で説明する。
(C−2)第3の実施形態の動作
次に、本実施形態の帯域拡張装置3000の動作を説明する。
加算器31においては、変換原信号Sと合成高域信号HSと合成無声部信号USとが入力すると、これら3種類の信号が加算され、この加算結果が加算合成信号MSとして出力される。
ここで、3種類の信号を加算する際に、重み付け係数を用いて加算するようにしてもよい。ここでの重み付け係数は、出力される音声の品質が最良となるように、設計者が任意に設定してよい。
特性強調印加器32においては、加算器31から加算合成信号MSが入力すると、変換原信号Sに対して任意の周波数増幅させる増幅回路を通過させ、増幅結果が帯域拡張信号Vとして出力される。当該増幅回路は、例えば、第1の実施形態で説明した増幅回路であってよいが、この回路に限定せず、あらかじめ定めた周波数の周波数成分を増幅させるようにできれば別の手法を用いてもよい。本実施形態では、増幅させる周波数を180Hzとしているが、この値には限定しない。
本実施形態では、生成される波形全体に対して低域部分の特性を印加できるため、低域通過フィルタの配置を省くことが可能である。また、従来では、加算器で各帯域を合成する際に周波数領域において、合成低域信号LSと変換原信号S、及び、変換原信号Sと合成高域信号HSの2つの部分が隣接していたが、本実施形態では、このうち合成低域信号LSと変換原信号Sとの隣接が解消されるため、合成時の位相ずれや構造の不一致などに起因する2信号間に発生する異音を低減させることが可能である。
また、前述のように本実施形態で示される特性強調印加器32は、低域部分の特性を印加するものであり、最終的に帯域拡張信号Vが低域部分を強調した信号となればよい。従って、特性強調印加器32の配置は、図4のような加算器31の後段に配置することに限定せず、別の位置に配置しても、本実施例で説明した効能と同等の効果を得ることができる。
(C−3)第3の実施形態の効果
以上のように、第3の実施形態によれば、低域特性印加器を合成低域信号生成に使用せず、波形全体に適用することにより、周波数領域における信号の重複部分を減らすことが可能となり、結果として信号合成時に発生しやすい位相ずれなどの異音を低減することが可能となる。出力結果としては、低帯域成分を付加する機能を損なわないので、第1及び第2の実施形態で得られる効果も保持しており、結果として、出力信号の音質をさらに向上させることができる。
(D)第4の実施形態
次に、本発明の帯域変換信号生成器及び帯域拡張装置の第4の実施形態を、図4及び図5を参照して説明する。
(D)第4の実施形態の構成
第4の実施形態の帯域拡張装置4000は、第3の実施形態の構成と対応し、特性強調印加器42の機能構成が第3の実施形態と異なる。従って、特性強調印加器42の機能について詳細に説明する。
図5は、第4の実施形態の特性強調印加器42の機能を示す機能ブロック図である。
なお、本実施形態の帯域拡張装置4000も、第1〜第3の実施形態と同様に1音声フレームが入力される毎に実行する。
なお、本実施形態は、第3の実施形態で前述したように、加算器31の後に特性強調印加器42を配置しているが、任意の位置に特性強調印加器42を配置することが可能である。従って、特性強調印加器42は、標本化周波数変換器11の直前や又は高域信号生成器13と並列に配置することも可能である。
図5に示すように、第4の実施形態の特性強調印加器42は、成分強度推定器44、帯域増幅器43、増幅形状記憶器45、出力記憶器46、を有して構成される。
成分強度推定器44は、加算器31から加算合成信号MSを受取ると共に、出力記憶器46から出力成分情報MJを受取り、成分強度情報NJを出力記憶器46に出力し、強度推定情報LDを帯域増幅器43に出力するものである。
帯域増幅器43は、加算器31から加算合成信号MSを受取ると共に、成分強度推定器44から強度推定情報LDを受取るものである。また、帯域増幅器43は、増幅形状記憶器45に信号成分情報AJを出力すると共に、増幅形状記憶器45から増幅形状情報DAを受取るものである。さらに、帯域増幅器43は、処理の結果を帯域拡張信号Vとして出力するものである。
出力記憶器46は、成分強度推定器44から成分強度情報NJを受取り、出力成分情報MJを成分強度推定器44へ出力するものである。
増幅形状記憶器45は、帯域増幅器43から増幅形状要求情報AJを受取り、増幅形状情報DAを帯域増幅器43に出力するものである。ここで、増幅形状情報DAとは、帯域増幅器43で増幅するのに用いられる増幅形状であり、周波数増幅形状記憶器45内部に記憶されているものである。この増幅形状情報DAは、例えば、増幅フィルタのフィルタ係数である。この係数は、あらかじめ設定した周波数で、任意の種類のフィルタ係数群であり、各フィルタ係数の増幅量は、異なる量の増幅量を設定しておく。
(D−2)第4の実施形態の動作
次に、第4の実施形態の帯域拡張装置4000の特性強調印加器42における動作を説明する。
出力記憶器46においては、後述するように、成分強度推定器44から成分強度情報NJを受取り、この成分強度情報NJを出力記憶器46内部に記憶しておく。また、出力記憶器46においては、記憶された成分強度情報NJのうち、後述するように、成分強度推定器44での処理に使用する情報を出力成分情報MJとして成分強度推定器44へ出力する。ここで、出力記憶器46が記憶できる量は、設計者が任意に設定してかまわないが、本実施形態では、30ms(3音声フレーム)とする。
成分強度推定器44においては、加算合成信号MSと出力成分情報MJとが入力されると、加算合成音声MSの原信号範囲の信号成分強度と、低域部分における信号成分強度とが推定される。
ここで、本実施形態及び以降の実施形態において、300Hz未満の帯域制限された周波数範囲を低域信号範囲と呼び、300Hz以上の狭帯域信号にも含まれる周波数範囲を原信号範囲と呼ぶ。
本実施形態では、低域信号範囲における信号成分強度は、180Hzから220Hzを通過域とする帯域通過フィルタを通過させた信号の二乗平均パワーとして示し、原信号範囲の信号成分強度は、300Hzから340Hzを通過域とする帯域通過フィルタを通過させた信号の二乗平均パワーとして示す。
ただし、上述の周波数の値には限定しない。例えば、低域信号範囲の信号成分強度を低域全体の二乗平均パワーとしてもよい。また、信号の強さを求める手法であれば別の尺度を用いてもよい。
成分強度推定器44において、信号成分強度は、出力記憶器46から出力成分情報MJとして得た過去の信号成分強度と比較され、強調が可能かどうかの判断と必要な増幅量の算出とが行なわれ、判断結果及び増幅量が強度推定情報LDとして帯域増幅器43に出力される。また、成分強度推定器44においては、加算合成信号MSでの信号成分の強度が原成分情報NJとして出力記憶器46に出力される。
ここで、成分強度推定器44による強調が可能かどうかの判断は、例えば、原フレームにおける原信号範囲の成分強度と低域信号範囲での成分強度との差が25dBよりも大きく、強調する周波数での周波数成分の成分強度が過去2音声フレーム間で15dBより小さい減衰量になっている場合を強調可能状態とし、そうでない場合を強調不可能状態として判断する。
ただし、原フレームにおける原信号範囲の成分強度と低域信号範囲での成分強度との差は25dBに限らず、別の値を適用してもよい。また、低域信号範囲での周波数成分の成分強度の減衰量、減衰量を比較する期間(ここでは、過去2フレーム間)についてもこの値に限定しない。また、強調可能状態、強調不可能状態を判定する手法に関しても別の手法を用いてよいが、低域信号範囲の成分に十分な周波数成分があるかないかを判定できることが必要である。
成分強度推定器44において、強調可能状態であると判断された場合、前述した原フレームにおける原信号範囲の成分強度と強調する周波数での成分強度との差が強度推定情報LDとして出力される。
一方、強調不可能状態であると判断された場合、強調をしないことを意味するデータ(例えば、成分強度が零であるデータ)が強度推定情報LDとして出力される。本実施形態では、強調不可能状態である場合、低域成分を強調しないようにするが、当該処理を既定増幅量(例えば、6dB)だけ増幅させるようにしてもよい。以降の実施形態においても同様の処理を行なうことができる。
帯域増幅器43においては、強度推定情報LDと加算合成信号MSとが入力されると、強度推定情報LDから増幅に必要な利得を抽出し、増幅形状要求情報AJが増幅形状記憶器45へ出力される。
また、帯域増幅器43においては、増幅形状記憶器45から増幅に必要な増幅形状情報DAが取得されると、その増幅形状情報DAに基づいて、加算合成信号MSを増幅させ、帯域拡張信号Vが出力される。
ここで、増幅形状要求情報AJとは、信号を強調するのに必要な増幅量をあらわし、強度推定情報LDに含まれる原信号範囲の成分強度と低域信号成分の強度との差に比例する情報である。また、増幅形状情報DAは、例えば、特定周波数を増幅する増幅回路を構築するために必要な情報である。例えば、増幅フィルタのフィルタ係数などである。
増幅形状記憶器45においては、帯域増幅器43から増幅形状要求情報AJが入力されると、増幅形状要求情報AJを基に必要な量を増幅できる増幅形状が選択され、増幅形状情報DAが帯域増幅器43に出力される。
ここで、増幅形状記憶器45内部に記憶されている増幅形状とは、例えば、増幅量が3dB、6dB、10dBである増幅フィルタのフィルタ係数であり、その場合の増幅形状情報DAは、前述の増幅フィルタのフィルタ係数より選択されたフィルタ係数となる。ただし、当該記憶されている増幅形状は、帯域増幅器43で加算合成信号MSを増幅するために必要な情報であればよいので、当該フィルタ係数に限定しない。また、記憶されている増幅量の種類は、3種類に限定せず、また、増幅量の各値も、この値に限定はしない。
(D−2)第4の実施形態の効果
以上のように、第4の実施形態によれば、成分強度推定器と増幅量記憶器により、入力される信号の強度に合わせて増幅させる大きさを変えることが可能となり、低域の音量感を補間することが可能となった。また、同様に出力結果としては、低域成分を付加する機能を損なわないので、第1〜第3の実施形態の効果も保持しており、結果として、出力信号の音質をさらに向上させることができる。
(E)第5の実施形態
次に、本発明の帯域変換信号生成器及び帯域拡張装置の第5の実施形態を、図6及び図7を参照して説明する。
(E−1)第5の実施形態の構成
図6は、第5の実施形態の帯域拡張装置5000の構成を示す機能ブロック図である。また、本実施形態の帯域拡張装置5000も、第1〜第4の実施形態と同様に、1音声フレームが入力される毎に実行されるものである。
図6に示すように、第5の実施形態の帯域拡張装置5000は、標本化周波数変換器11、高域信号生成器13、無声部信号生成器14、加算器31、特性強調印加器52、を少なくとも有する。
なお、図1〜図5で説明した構成要素と同一、対応する構成については対応する符号番号を付している。
第5の実施形態は、成分探索信号DSが追加されている点と、特性強調印加器52の構成、及び特性強調印加器52の内部構成が第1〜第4の実施形態と異なる。従って、この点の機能構成を詳細に説明する。
帯域拡張器5000は、帯域制限信号DCのほかに、成分探索信号DSを受取るものである。
この成分探索信号DSとは、帯域拡張器5000に入力される狭帯域信号DCに含まれる周波数成分の探索や当該信号が有音か無音かの判断をするために使用される信号である。
本実施形態において、この成分探索信号DSは、後述する特性強調印加器52内部の周波数推定器56により、特性強調印加器52に入力される加算合成信号MSの基本周波数を推定するために使用される。
本実施形態では、成分探索信号DSは変換原信号Sと同じ信号としているが、当該成分探索信号DSは、低域特性印加器52に入力される加算合成信号MSに対応している信号であればよく、例えば、帯域制限信号DCなどを使用してもよい。また、この際に標本化周波数変換器11や加算器31などで処理遅延が生じる場合には、成分探索信号DSに当該遅延を考慮することが必要である。
図7は、第5の実施形態の特性強調印加器52の機能を説明する機能ブロック図である。
図7に示すように、本実施形態の特性強調印加器52は、出力記憶器46、帯域増幅器53、成分強度推定器54、増幅形状記憶器55、周波数推定器56、を少なくとも有して構成される。なお、本実施形態において、出力記憶器46を配置した構成で説明しているが、他の機能体で当該機能を代用できれば、出力記憶器46を廃した構成でもかまわない。
周波数推定器56は、成分探索信号DSを受取り、信号周期情報EFを出力するものである。
成分強度推定器54は、加算器31から加算合成信号MSを受取り、出力記憶器46から出力成分情報MJを受取り、周波数推定器56から信号周期情報EFを受取り、強度推定情報LDを帯域増幅器53に出力し、又成分強度情報NJを出力記憶器46に出力するものである。
帯域増幅器53は、成分強度推定器54から強度推定情報LDを受取り、周波数推定器56から信号周期情報EFを受取り、加算器31から変換原信号Sを受取り、増幅形状記憶器55から増幅形状情報DAを受取り、増幅形状要求情報AJ及び帯域拡張信号Vを出力するものである。
増幅形状記憶器55は、帯域増幅器53から増幅形状要求情報AJを受取り、増幅形状情報DAを帯域増幅器53に出力するものである。
本実施形態において、増幅形状情報DAは、例えば、増幅フィルタの係数である。増幅形状記憶器55には、1つの周波数に対して、任意数の増幅量を示す増幅フィルタ係数群があり、このフィルタ係数群が任意の周波数の種類だけ記憶されている。
(E−2)第5の実施形態の動作
次に、第5の実施形態の帯域拡張装置5000の特性強調印加器52における動作を説明する。
特性強調印加器52においては、加算器31から加算合成信号MSと、成分探索信号DSとが入力すると、後述する処理が行なわれたうえで、帯域拡張信号Vが生成され、帯域拡張信号Vが出力される。この成分探索信号DSは、前述したように、帯域制限信号DCに対応した信号であり、例えば変換原信号Sである。
次に、特性強調印加器52の内部における動作について説明する。
周波数推定器56においては、成分探索信号DSが入力すると、この成分探索信号DSから加算合成信号MSの基本周波数を推定し、この基本周波数が信号周期情報EFとして成分強度推定器54及び帯域増幅器53に出力される。
周波数推定器56は、後述の増幅形状記憶器55に含まれる周波数の種類を選択できるのに十分な分解能で周波数を出力できればよい。本実施形態では、例えば、300Hzから900Hzの区間に任意数のフィルタバンクを用意し、フィルタバンクに成分探索信号DSを入力し、フィルタバンクの出力結果のうち極大となる2フィルタを選択し、当該フィルタバンクの周波数差を本フレームでの周波数とみなしている。ただし、前述のフィルタバンク区間は、この値に限定するものではない。また、後述する増幅形状記憶器55に含まれる周波数の種類を選択できるのに十分な分解能の周波数を出力できればこの手法に限定はしない。
成分強度推定器54は、第4の実施形態で説明した成分強度推定器44とほぼ同じ動作をするが、異なるのは、低域信号範囲における成分推定を信号周期情報EFに含まれる基本周波数の値の近傍での成分とする点である。
帯域増幅器53は、第4の実施形態で説明した帯域増幅器43とほぼ同様の動作をするが、異なる点は、信号周期情報EFを入力する点と増幅形状要求情報AJの内容が異なる。第4の実施形態における増幅形状要求情報AJでは、増幅に必要な利得のみを表していたが、第5の実施形態における増幅形状要求情報AJは、増幅に必要な利得に加えて、増幅する周波数も含まれている。当該増幅する周波数は、信号周期情報EFから増幅する基本周波数を抽出する。
増幅形状記億部55においては、入力される増幅形状要求情報AJから、増幅する周波数と増幅量(利得)を抽出し、あらかじめ記憶してある増幅形状のうち最も適合するものを選択し、増幅形状情報DAとして帯域増幅器53に出力される。
第4の実施形態における増幅形状記憶器45は、増幅量のみを選択するようにしていたが、第5の実施形態の増幅形状記億部55は、増幅量に加えて、増幅周波数も選択するようにした。
増幅形状記億部55に記憶されている増幅形状は、例えば、増幅周波数が80Hz、160Hz、240Hzであり、それぞれに増幅量が3dBB、6dB、10dBである増幅フィルタのフィルタ係数が記憶されている。ただし、増幅周波数の値、増幅量の値は、この値に限定せず、また、幅周波数の種類、増幅量の種類も3種類に限定しない。
(E−3)第5の実施形態の効果
以上のように、第5の実施形態によれば、増幅するときの増幅量に加えて、周波数についても選択できるようにすることで、入力される信号に適した増幅を実施することが可能となり、低域部分における広がり感を聴取させることが可能となる。また、同様に出力結果としては、低帯域成分を付加する機能を損なわないので、第1〜第4の実施形態の効果も保持しており、結果として、出力信号の音質をさらに向上させることができる。
(F)第6の実施形態
次に、本発明の帯域変換信号生成器及び帯域拡張装置の第6の実施形態を、図面を参照して説明する。
(F−1)第6の実施形態の構成
第6の実施形態の帯域拡張装置6000の構成は、図6に示す第5の実施形態の構成に対応するので、第6の実施形態でも図6を用いて説明する。なお、第6の実施形態の帯域拡張装置6000も1音声フレームが入力される毎に各機能が実行される。
第6の実施形態は、特性強調印加器62の内部構成が第5の実施形態と異なっている。そこで、以下では、特性強調印加器62の構成について詳細に説明する。
図8は、第6の実施形態の特性強調印加器62の内部機能を示す機能ブロック図である。図8に示すように、第6の実施形態の特性強調印加器62は、出力記憶器46、帯域増幅器53、成分強度推定器54、増幅形状記憶器65、周波数推定器66、を少なくとも有して構成される。
特性強調印加器62は、第5の実施形態で説明した特性強調印加器52と内部構成が異なるが、同様な入出力をしている。従って、成分探索信号DSについても同様であり、本実施形態では例えば変換原信号Sとする。
図9は、周波数推定器66の内部構成を示す機能ブロック図であり、周波数推定器66は、周波数構造推定器67と周期推定器68とを有して構成される。
周波数構造推定器67は、成分探索信号DSを受取り、周波数構造系列FFを周期推定器68に出力するものである。
周期推定器68は、周波数構造推定器67から周波数構造系列FFを受取り、信号周期情報EFを出力するものである。
図8に戻り、周波数推定器66は、成分探索信号DSを受取り、信号周期情報EFを成分強度推定器54及び帯域増幅器53に出力するものである。
増幅形状生成器65は、帯域増幅器53から増幅形状要求情報AJを受取り、振幅形状情報DAを帯域増幅器53に出力するものである。
図10は、第6の実施形態の増幅形状生成器65の内部構成を示す機能ブロック図であり、第6の実施形態の増幅形状生成器65は、情報抽出部149と増幅フィルタ生成部148とを有して構成される。
(F−2)第6の実施形態の動作
次に、第6の実施形態の帯域拡張装置6000の特性強調印加器62における動作を説明する。なお、以下では、第1〜第5の実施形態の動作との違いを中心に説明する。
周波数推定器66においては、成分探索信号DSが入力すると、後述する手法により、入力された加算合成信号MSの基本周波数を推定し、その推定された基本周波数が信号周期情報EFとして成分強度推定器54及び帯域増幅器53に出力される。
増幅形状生成器65においては、成分強度推定器54により生成された強度推定情報LDと、周波数推定器66により生成された信号周期情報EFとを含む増幅形状要求情報AJが入力される。
その後、増幅形状生成器65の情報抽出部149において、増幅形状要求情報AJから増幅すべき周波数である増幅周波数NFと成分強度差NAとが抽出される。そして、増幅周波数NFと成分強度差NAとが増幅フィルタ生成部148に入力されると、増幅フィルタ生成部148において、信号強度差NAに比例した増幅周波数NFを最大の増幅量とする増幅フィルタが生成され、この増幅フィルタが増幅形状情報DAとして帯域増幅器53に出力される。
このとき、増幅形状の増幅量は、増幅形状生成器65内部に増幅量の大きさを任意の数の種類だけ用意しておき、信号強度差NAに基づいて最も近いものが選択されて使用される。
本実施形態では、増幅形状生成器65において有限個の増幅量を用意したが、任意の増幅量を指定できるようにしてもよい。本実施形態での増幅形状情報DAは、例えば、当該増幅フィルタのフィルタ係数であってよく、増幅形状が一意に決定できれば情報の種類は限定しない。
また、増幅フィルタは、例えば、信号周期情報EFより抽出した基本周波数を中心として、前後10Hzの通過域をもつ帯域通過フィルタと増幅器(共に図示しない)の組み合わせで作られる。この帯域通過フィルタは、例えば、文献:三谷政昭著 「ディジタルフィルタデザイン」、昭晃堂、1987年、p.139〜p.142に記載される手法により遮断周波数10Hzの低域通過フィルタを前述の帯域通過フィルタに変換すればよい。ただし、低域通過フィルタの遮断周波数と帯域通過フィルタの通過域は、この値には限定しない。また、増幅器の増幅量は、入力される増幅量に基づき決定すればよい。ただし、増幅フィルタは、前述の帯域通過フィルタと増幅器の組み合わせ手法には限定せず、指定した周波数を増幅できれば、別のフィルタを組み合わせる手法や特定の周波数を増幅させる増幅フィルタなどを用いてもかまわない。
次に、周波数推定器66の動作について説明する。周波数推定器66に成分探索信号DSが入力すると、成分探索信号DSは、周波数構造推定器67により信号の周波数構造が推定される。
ここで、周波数構造の推定は、本実施形態では公知のフーリエ変換を用いて入力された信号を周波数系列に変換し、当該音声フレームにおける周波数構造を取得する。ただし、この周波数構造の推定手法は、入力信号の周波数の構造がわかる手法であれば、フーリエ変換を利用した方法に限定されない。
その後、推定された周波数構造は周波数構造系列FFとして周期推定器68に出力される。
周期推定器68は、周波数構造推定器67から周波数構造系列FFが入力されると、この周波数構造系列FFから基本周波数を推定し、この基本周波数が信号周期情報EFとして出力される。
ここで、基本周波数の推定方法は、例えば、周波数構造系列FFでの自己相関関数を計算し、この自己相関関数が極大となる遅延量を基本周波数と推定する。ただし、基本周波数の推定方法は、これに限定されず、その他の公知の推定方法を用いてよい。例えば、周波数構造系列FFの極大を周波数構造系列FFの傾きなどから判定し、周波数構造系列FFが極大となる最小の値や任意の2個の極大間の長さを基本周波数としてもよい。
(F−3)第6の実施形態の効果
以上のように、第6の本実施形態によれば、増幅する際の周波数に関して、任意の周波数を随時設定でき、また、増幅量に関しても任意数を選択できるようにすることで、入力される信号により適した増幅を実施することが可能となり、低域部分における広がり感を聴取させることが可能となる。また、同様に出力結果としては、低帯域成分を付加する機能を損なわないので、第1〜第5の実施形態の効果も保持しており、結果として、出力信号の音質をさらに向上させることができる。
(G)第7の実施形態
次に、本発明の帯域変換信号生成器及び帯域拡張装置の第7の実施形態を図面を参照して説明する。
(G−1)第7の実施形態の構成
図11は、第7の実施形態の帯域拡張装置7000の構成を示す機能ブロック図である。図11において、第1〜第6の実施形態で説明した構成要素と同様の動作を受け持つ機能体については、図1〜図9で示した符号番号を付して示す。また、第7の実施形態の帯域拡張装置7000も1音声フレームが入力される毎に各機能が実行される。
図11に示すように、第7の実施形態の帯域拡張装置7000は、標本化周波数変換器11、高域信号生成器13、無声部信号生成器14、低域特性印加器72、低域通過フィルタ17、加算器15、有音無音判定器70、切換器73、を少なくとも有して構成される。
第7の実施形態の帯域拡張装置7000は、有音無音判定器70が配置された点と切換器73の構成とが、第1〜第6の実施形態と異なる。
有音無音判定器70は、成分探索信号DSを受取り、有音無音判定情報VJを切換器73に出力するものである。本実施形態では、有音無音判定器70は、1音声フレーム単位で有音無音判定を行なうものとして説明するが、その判定間隔は特に限定されず、例えば、サンプル毎や任意の時間毎に有音無音を判定してもよい。
また、有音無音判定器70は、帯域拡張器7000内部の独立した機能体としているが、有音無音判定情報VJを受取る機能体(本実施例では、切換器73)の内部に当該機能をもたせてもよい。以降の実施形態では、有音無音判定器70を独立した機能体として扱う。
切換器73は、変換原信号Sと有音無音判定情報VJを受取り、有音無音判定情報VJを基に変換原信号Sを低域特性印加器72に出力するか、又はそのまま加算器15に出力するかを切り換えるものである。
また、切換器73の配置については、図11のように独立した機能体として構成しているが、本実施形態と同様の効果が出せれば、図11の構成に限定せず、他の機能体(例えば、加算器15)の内部で当該切換器73の機能を実現するようにしてもよい。
(G−2)第7の実施形態の動作
次に、第7の実施形態の帯域拡張装置7000の動作を説明する。なお、以下では、第1〜第6の実施形態との違いを中心に説明する。
有音無音判定器70においては、成分探索信号DSが入力すると、成分探索信号DSが有音であるか又は無音であるかが判定され、その判定結果が有音無音判定情報VJとして切換器73に出力される。
ここで、有音無音の判定手法は、例えば、入力される音声フレーム区間における公知の平均二乗パワーがあらかじめ定めた閾値を越える場合を有音とし、閾値以下である場合を無音として判断する。なお、有音無音判断手法は、この手法に以外でも公知の手法を用いてよく、有音無音を判定できればこの手法には限定しない。さらに、上述したように、本実施形態では1音声フレーム単位で有音無音判定を実施しているが、この判定間隔には限定せず、サンプル毎でも、任意の固定的若しくは可変の時間毎に実行してもよい。
また、有音無音判定器70が出力する有音無音判定情報VJは、有効か又は無効かを示すフラグを用いてもよいし、又は有音無音判定器70で判定に使用する指標(本実施形態では、平均二乗パワー)の値を用いてもよい。
切換器73においては、有音無音判定器70からの有音無音情報VJが有音と判定されれば、変換原信号Sを低域特性印加器72に切り換え、有音無音情報VJがそうでなければ変換原信号Sを加算器15に切り換え、加算器15に出力する。この切換器73の動作により、無音時に低域特性の印加を実施しないようにしている。
(G−3)第7の実施形態の効果
以上のように、第7の実施形態によれば、有音無音を判定することで、低域特性印加器を必要なときだけ動作させるようにしたので、装置の処理量を抑えることが可能となり、また、増幅が必要でない無音部分での増幅を停止できることができるので、出力信号の音声品質を向上させることが可能となる。また、同様に出力結果としては、低帯域成分を付加する機能を損なわないので、他の実施例の効果も保持しており、結果として、出力信号の音質をさらに向上させることができる。
(H)第8の実施形態
次に、本発明の帯域変換信号生成器及び帯域拡張装置の第8の実施形態を図面を参照して説明する。
(H−1)第8の実施形態の構成
図12は、第8の実施形態の帯域拡張装置8000の構成を示す機能ブロック図である。図12において、第1〜第7の実施形態で説明した構成要素と同様の動作を受け持つ機能体については、図1〜図11で示した符号番号を付して示す。また、第8の実施形態の帯域拡張装置8000も1音声フレームが入力される毎に各機能が実行される。
図12に示すように、第8の実施形態の帯域拡張装置8000は、標本化周波数変換器11、高域信号生成器13、無声部信号生成器14、低域特性印加器82、低域通過フィルタ17、加算器15、有音無音判定器70、を少なくとも有して構成される。
第8の実施形態の帯域拡張装置8000は、低域特性印加器82の機能構成が第1〜第7の実施形態と異なる。
低域特性印加器82は、標本化周波数変換器11から変換原信号Sを受取り、有音無音判定器70から有音無音判定情報VJとを受取り、低域特性印加信号LBSを低域通過フィルタ17に出力するものである。
図13は、第8の実施形態の低域特性印加器82の内部機能を示す機能ブロック図である。図13に示すように、第8の実施形態の低域特性印加器82は、成分抽出器25、信号成分判断器88、切換器26、特性非印加器27、特性強調印加器23、を有して構成される。
信号成分判断器88は、成分抽出器25により抽出された成分抽出信号LPSを受取ると共に、有音無音判定器70から有音無音判定情報VJを受取り、低域判断情報LPJを切換器26に出力するものである。
(H−2)第8の実施形態の動作
次に、第8の実施形態の帯域拡張装置8000の低域特性印加器82における動作を説明する。本実施形態の動作について、第1〜第7の実施形態との違いを中心に説明する。
低域特性印加器82においては、変換原信号Sと有音無音判定情報VJとを入力し、後述する低域特性を印加した信号を生成し、この信号を低域特性印加信号LBSとして出力する。
次に、低域特性印加器82内部の動作について説明する。
信号成分判断器88においては、成分抽出器25からの成分抽出信号LPSと、有音無音判定器70からの有音無音判定情報VJとが入力される。
このとき、有音無音判定情報VJが有音である場合には、信号成分判断器88は、第2の実施形態で説明した処理と同様の処理を行ない、低域判断情報LPJを切換器26へ出力する。
一方、有音無音判定情報VJが無音である場合には、低域成分に有効な成分がないと判断し、切換器を特性非印加器27へ切り換えるような情報を低域判断情報LPJとして切換器26へ出力する。
第8の実施形態では、信号成分判断器88は、低域成分に有効な成分がある場合かつ有音無音判定情報VJが有音である場合、切換器26を特性強調印加器23へ切り換えるようにしたが、設計者の判断により、低域成分に有効な成分がある場合又は有音無音判定情報VJが有音である場合には、切換器26を特性強調印加器23へ切り換えるように設計してもよい。
(H−3)第8の実施形態の効果
以上のように、第8の実施形態によれば、低域特性印加器に対して、有音無音を判定の結果を適用することで、無音部分での処理量を抑えることが可能となった。また、低域成分の有効性の判断と共に当該有音無音の判断を実施することで、増幅することができるのでより精度の高い、低域特性の印加を実施することができる。結果として、出力信号の音声品質を向上させることが可能となる。また、同様に出力結果としては、低帯域成分を付加する機能を損なわないので、他の実施例の効果も保持しており、結果として、出力信号の音質をさらに向上させることができる。
(I)第9の実施形態
次に、本発明の帯域変換信号生成器及び帯域拡張装置の第9の実施形態を、図面を参照して説明する。
(I−1)第9の実施形態の構成
図14は、第9の実施形態の帯域拡張装置9000の構成を示す機能ブロック図である。図14において、第1〜第8の実施形態と同様の機能を有する構成要素については図1〜13に示す符号番号を付与する。また、第9の実施形態も1音声フレームが入力される毎に各機能が実行される。
図14に示すように、第9の実施形態の帯域拡張装置9000は、標本化周波数変換器11、高域信号生成器13、無声部信号生成器14、加算器21、有音無音判定器70、特性強調印加器92、を有して構成される。
第9の実施形態は、帯域拡張装置9000の特性強調印加器92の機能が、第1〜第8の実施形態と異なる。
特性強調印加器92は、加算器21から加算合成信号MSを受取ると共に、有音無音判定器70から有音無音判定情報VJを受取り、帯域拡張信号Vを出力するものである。
特性強調印加器92は、第3の実施形態で説明した特性強調印加器32と同様に、任意の位置に配置することが可能であり、本実施形態のような加算器21の直後に配置することに限定しない。例えば、標本化周波数変換器11の直後や直前に配置してもよい。本実施形態では、加算器21の直後に配置した例で説明する。
図15は、第9の実施形態の特性強調印加器92の内部構成を示す機能ブロック図である。
図15に示すように、特性強調印加器92は、出力記憶器46、成分強度推定器94、帯域増幅器43、増幅形状記憶器45、を有して構成される。
成分強度推定器94は、加算合成信号MSと出力成分情報MJと有音無音判定情報VJとを受取り、成分強度情報NJを出力記憶器46へ出力し、又強度推定情報LDを帯域増幅器43へ出力するものである。
本実施形態の特性強調印加器92では、前述した構成に限定せず、例えば、第7の実施形態で説明した低域特性印加器72と切換器73の組み合わせや、第8の実施形態で説明した低域特性印加器82のような構成をしていてもよい。
(I−2)第9の実施形態の動作
次に、第9の実施形態の帯域拡張装置9000の動作を説明する。なお、第9の実施形態の動作について、他の実施例との違いを中心に説明する。
特性強調印加器92においては、加算器21から加算合成信号MSが入力されると共に、有音無音判定器70から有音無音判定情報VJが入力される。
ここで、有音無音判定情報VJが有音である場合は、特性強調印加器92の内部の処理により、低域特性を印加する処理が実行され、この実行結果が帯域拡張信号Vとして出力される。
低域特性印加器92は、前述したように、加算器21の直後に配置することに限定しないが、低域特性を印加する信号と有音無音判定情報VJが入力されることが必要である。特性強調印加器92の内部処理は、低域特性を印加できれば任意の構成にできるが、例えば図14のように構成され、処理が実行される。
図15において、特性強調印加器92は、第4の実施形態の特性強調印加器42とほぼ同様の動作をするが、成分強度推定器94の動作が異なっている。
成分強度推定器94においては、加算合成信号MSと有音無音判定情報VJと出力成分情報MJとが入力される。
このとき、成分強度推定器94において、有音無音判定情報VJが有音であれば、第4の実施形態の成分強度推定器44と同様に加算合成信号MSと出力成分情報MJとから低域成分に強調すべき成分があるかを判定する処理と増幅量を推定する処理とが行なわれ、強度推定情報LDが出力される。
一方、成分強度推定器94において、有音無音判定情報VJが無音であれば、低域成分に有効な成分がないと判断し、強調をしないことを意味するデータ若しくは既定の増幅量が強度推定情報LDとして、帯域増幅器43へ出力される。
(I−3)第9の実施形態の効果
以上のように、第9の実施形態によれば、有音無音を判定の結果を適用することで、無音部分での処理量を抑えることと有効でない部分の増幅を抑えることが可能となった。また、増幅が必要でない無音部分での増幅を停止できることができるので、出力信号の音声品質を向上させることが可能となる。また、同様に、出力結果としては、低帯域成分を付加する機能を損なわないので、他の実施例の効果も保持しており、結果として、出力信号の音質をさらに向上させることができる。
(J)第10の実施形態
次に、本発明の帯域変換信号生成器及び帯域拡張装置の第10の実施形態を図面を参照して説明する。
(J−1)第10の実施形態の構成
図16は、第10の実施形態の帯域拡張装置10000の構成を示す機能ブロック図である。図16において、第1〜第9の実施形態と同様の機能を有する構成について図1〜図15に示す符号番号を付与する。また、第10の実施形態の帯域拡張装置10000も1音声フレームが入力される毎に各機能が実行される。
図16に示すように、第10の実施形態の帯域拡張装置10000は、標本化周波数変換器11、高域信号生成器13、無声部信号生成器14、加算器21、有音無音判定器70、特性強調印加器102、を有して構成される。
第10の実施形態の帯域拡張装置10000は、特性強調印加器102の機能と、特性強調印加器102の内部構成である周波数推定器106の機能とが第1〜第9の実施形態と異なる。
特性強調印加器102は、加算合成信号MSと成分探索信号DSとを受取ると共に、有音無音判定器70から有音無音判定情報VJを受取り、帯域拡張信号Vを出力するものである。
図17は、特性強調印加器102の内部構成を示す機能ブロック図であり、出力記憶器46、周波数推定器106、成分強度推定器54、帯域増幅器43、増幅形状記憶器55、を有して構成される。
周波数推定器106は、加算合成信号MSと有音無音判定信号VJとを受取り、信号周期情報EFを成分強度推定機器54と帯域増幅器43に出力するものである。
(J−2)第10の実施形態の動作
次に、第10の実施形態の帯域拡張装置10000の特性強調印加器102における動作について、第1〜第9の実施形態との違いを中心に説明する。
特性強調印加器102においては、加算合成信号MSと成分探索信号DSと有音無音判定信号VJとが入力される。
ここで、特性強調印加器102において、有音無音判定情報VJが有音である場合は、第5の実施形態で説明した特性強調印加器102の内部の処理により低域特性を印加する処理を実行し、この実行結果が帯域拡張信号Vとして出力される。
一方、特性強調印加器102において、有音無音判定情報VJが無音である場合は、入力される加算合成信号MSに低域特性を印加するのに十分な特性がないと判断し、低域特性の印加を行なわない。
次に、特性印加器102の内部動作について説明する。本実施形態が第1〜第9の実施形態と異なるのは周波数選択器106の動作である。
周波数推定器106においては、成分探索信号DSと有音無音判断信号VJとが入力される。
このとき、周波数推定器106においては、有音無音判断信号VJが有音である場合、第5の実施形態と同様に、基本周波数が求められ、その処理結果が信号周期情報EFとして、成分強度推定器54及び帯域増幅器43へ出力される。
また、周波数推定器106において、有音無音判断信号VJが無音である場合、強調する成分がないと判断されると、強調が無効である情報が信号周期情報EFとして、成分強度推定器54及び帯域増幅器43へ出力する。
この強調が無効である情報として、例えば、基本周波数が零、若しくは300Hzよりも大きい値を設定すればよい。その際、成分強度推定器54においては、当該値の信号周期情報EFを受取ったときに、増幅不可能状態と判定するようにする。ただし、無効である情報の出力方法は、この方法には限定せず、単に無効である意味のフラグを出力してもよい。
(J−3)第10の実施形態の効果
以上のように、第10の実施形態によれば、信号の有音無音を判断することにより、増幅すべきでない無音成分を増幅しないようにできるために、無音成分を帯域拡張してしまう際に生じる異音を防ぐことが可能となる。
また、第10の実施形態によれば、増幅するときの増幅量、周波数を選択し、入力される信号に適した増幅を実施することにより低域部分における広がり感を聴取させる機能を損なわないので、第1〜第9の実施形態の効果も保持しており、結果として、出力信号の音質をさらに向上させることができる。
(K)第11の実施形態
次に、本発明の帯域変換信号生成器及び帯域拡張装置の第11の実施形態を図面を参照して説明する。
(K−1)第11の実施形態の構成
第11の実施形態の帯域拡張装置11000は、図16に示す第10の実施形態の構成と同一、対応するので、図16を用いて説明する。
第11の実施形態は、特性強調印加器112の機能と、周波数推定器116の機能及び内部構成が第10の実施形態と異なる。以下では、第1〜第10の実施形態の構成と異なる機能を中心に説明する。
図18は、第11の実施形態の特性強調印加器112の構成を示す機能ブロック図である。また、図19は、周波数推定器116の内部構成を示す機能ブロック図である。
周波数推定器116の内部の周期推定器118は、周波数構造推定器67から周波数構造系列FFを受けると共に、有音無音判定情報VJを受取り、信号周期情報EFを出力するものである。
(K−2)第11の実施形態の動作
次に、第11の実施形態の帯域拡張装置11000の特性強調印加器112における動作について、第1〜第10の実施形態との違いを中心に説明する。
本実施形態の動作は、第6の実施形態とほぼ同様であるが、周波数推定器112内部の周期推定器118の動作が第1〜第10の実施形態の動作と異なる。
周期推定器118においては、周波数構造推定器67から周波数構造系列FFが入力すると共に、有音無音判定器70から有音無音判断信号VJとが入力する。
ここで、第6の実施形態の周波数構造推定器67と同様に、有音無音判断信号VJが有音である場合は、第6の実施形態の周期推定器58と同様に、周波数構造系列FFから基本周波数を推定し、信号周期情報EFを出力する。
一方、有音無音判断信号VJが無音である場合は、低域成分が無効であることを示す(例えば基本周波数の値が零である)情報、若しくは、既定の基本周波数(例えば、180Hz)を信号周期情報EFとして出力する。
本実施形態では、有音無音判定情報VJを周期推定器118で受取り、有音無音別の処理を実行しているが、周波数構造推定器で受取って当該処理を実施するようにしてもよい。
信号周期情報EFとして零を出力させる場合、成分強度推定器54で当該情報を受取った場合に、強調不可能状態と判定させるとよい。
(K−3)第11の実施形態の効果
以上のように、第11の実施形態によれば、有音無音判定の結果を適用することにより、増幅に適した時刻で増幅を実施することができるため、低域部分における広がり感を聴取させることが可能となる。
また、第11の実施形態によれば、同様に出力結果としては、低帯域成分を付加する機能を損なわないので、第1〜第10の実施形態の効果も保持しており、結果として、出力信号の音質をさらに向上させることができる。
(L)第12の実施形態
次に、本発明の帯域変換信号生成器及び帯域拡張装置の第12の実施形態を図面を参照して説明する。
(L−1)第12の実施形態の構成
第12の実施形態の帯域拡張装置12000は、図4に示す構成と同一、対応するので、図4を用いて説明する。
図20は、第12の実施形態の特性強調印加器122の内部構成を示す機能ブロック図である。
図21は、特性強調印加器122内部の周波数推定器126の機能を示す機能ブロック図である。
第1〜第11の実施形態と同様の機能を有する構成については図1〜図19と同様の符号番号を付与する。また、第12の実施形態の帯域拡張装置12000も1音声フレームが入力される毎に各機能体が動作する場合で説明する。
次に、第12の実施形態の帯域拡張装置12000の特性強調印加器122における構成について、第1〜第11の実施形態との違いを中心に説明する。
本実施形態では、特性強調印加器122の周波数推定器126の構成及び周波数推定器126内部に周波数平滑化器129が追加されている点が、第1〜第11の実施形態と異なっている。
本実施形態では、特性強調印加器122内部に増幅形状生成器65を配置する例で説明しているが、当該増幅形状生成器65は、第5の実施形態の増幅形状記憶器55を用いてもよい。
周波数推定器126は、成分探索信号DSを受取り、平滑化信号周期情報SEFを帯域増幅器53に出力するものである。
次に、周波数推定器126の内部構成について説明する。周波数推定器126は、周波数構造推定器67、周期推定器68、周波数平滑化器129、を有して構成される。
周波数平滑化器129は、信号周期情報EFを受取り、平滑化信号周期情報SEFを帯域増幅器53に出力するものである。
(L−2)第12の実施形態の動作
次に、第12の実施形態の帯域拡張装置12000の特性強調印加器122における動作について、第1〜第11の実施形態との違いを中心に説明する。
本実施形態は、周波数推定器126内部の周波数平滑化器129の処理が他の実施例と異なっている。以下、周波数平滑化器129の処理を説明する。
周波数平滑化器129においては、周期推定気68から信号周期情報EFが入力される。周波数平滑化器129において、信号周期情報EFから、周期推定器68により推定された基本周波数が抽出され、抽出された基本周波数の平滑化処理を行なわれる。
ここで、本実施形態における平滑化処理とは、1音声フレーム毎に出力される基本周波数の連続性を高めるために行なわれる処理である。本実施形態では、現フレーム内部に存在するサンプル毎に当該基本周波数を変化させるように動作させる。
例えば、現音声フレームでの基本周波数fbとしたときのnサンプル目の基本周波数f(n)は、f(n)=α・f(n−1)+β・fb、としている。
f(0)は、直前のフレームの最後のサンプルにおける平滑化基本周波数である。またα=0.9、β=0.1としているが、この値には限定しない。
また、本実施形態では、サンプル毎に平滑化した基本周波数を出力しているが、この平滑化の間隔は、例えば、1/4フレーム毎など任意の間隔や、可変の間隔で平滑化した基本周波数が出力されるようにしてもよい。ただし、この平滑化処理は、前述の処理に限定せず、例えば、線形的に周波数を変化させる手法であってもよい。
(L−3)第12の実施形態の効果
以上のように、第12の実施形態によれば、基本周波数に平滑化処理を適用することにより、基本周波数が瞬時に変動することを抑えることが可能となり、突発的な異音を抑えることが可能となる。また、同様に出力結果としては、低帯域成分を付加する機能を損なわないので、第1〜第11の実施形態の効果も保持しており、結果として、出力信号の音質をさらに向上させることができる。
(M)第13の実施形態
次に、本発明の帯域変換信号生成器及び帯域拡張装置の第13の実施形態を図面を参照して説明する。
(M−1)第13の実施形態の構成
第13の実施形態の帯域拡張装置12200の構成は、図4に示す構成と同一、対応するので、図4を用いて説明する。また、第13の実施形態の特性強調印加器142は、図8に示す構成と同一、対応するので、図8を用いて説明する。
なお、第1〜第12の実施形態と同様の機能を有する構成については図1〜図21に示した符号番号を付与して示す。また、第13の実施形態の帯域拡張装置12200も1音声フレームが入力される毎に各機能体が動作する場合で説明する。
第13の実施形態は、帯域拡張器12200の増幅形状生成器145の動作が他の実施例と異なっている。
図22は、第13の実施形態の増幅形状生成器145の内部構成を示す機能ブロック図である。
図22に示すように、第13の実施形態の特性強調印加器142は、情報抽出器部149、周波数平滑化器129、増幅フィルタ生成部148、を有して構成される。
本実施形態では、増幅形状生成器145に適用した例で示すが、第5及び第9の実施形態に示される増幅形状記憶器55に適用することも可能である。本実施形態では、第6の実施形態の増幅形状生成器65に周波数平滑化器129を適用した増幅形状生成器145を例に説明する。
増幅形状生成器145には、新たに周波数平滑化器129が追加されている。
この周波数平滑化器129は、第12の実施形態で説明された周波数平滑化器と同一の機能体であり、本実施形態では、増幅周波数NFを受取り、平滑化増幅周波数SFを出力するものである。
(M−2)第13の実施形態の動作
次に、第13の実施形態の帯域拡張装置12200の特性強調印加器142における動作について、第1〜第12の実施形態との違いを中心に説明する。
情報抽出部149で抽出された増幅周波数NFは、周波数平滑化器129に入力される。
周波数平滑化器129においては、第12の実施形態と同様に、入力された増幅周波数NFに前述と同様の平滑化処理を実施し、処理増幅フィルタ生成部148へ出力する。
この周波数の平滑化処理は、サンプル毎に増幅周波数を変化させ、平滑化増幅周波数SFを生成する。従って、増幅フィルタ生成部148へは、毎サンプルごとに平滑化増幅周波数SFが出力される。ただし、本平滑化処理の間隔はサンプル毎ではなく、1/4音声フレーム毎や可変な間隔などにしてもよく、当該間隔は限定しない。
増幅フィルタ生成部148においては、平滑化増幅周波数SFが入力される毎に増幅フィルタが生成され、振幅形状情報DAが出力される。従って、本実施形態では、サンプル毎に増幅形状情報DAが出力される。
(M−3)第13の実施形態の効果
以上のように、第13の実施形態によれば、増幅周波数に平滑化処理を適用することにより、増幅フィルタの特性に連続性を与えることが可能となり、より自然な特性印加を行なうことができる。また、基本周波数が瞬時に変動することを抑える機能、低帯域成分を付加する機能を損なわないので、第1〜第12の実施形態の効果も保持しており、結果として、出力信号の音質をさらに向上させることができる。
(N)第14の実施形態
次に、本発明の帯域変換信号生成器及び帯域拡張装置の第14の実施形態を図面を参照して説明する。
(N−1)第14の実施形態の構成
図23は、第14の実施形態の帯域拡張装置13000の構成を示す機能ブロック図である。図23に示すように、第14の実施形態の帯域拡張装置13000は、標本化周波数変換器11、高域信号生成器13、無声部信号生成器14、加算器21、有音無音判定器70、特性強調印加器132、を有して構成される。
また、図24は、第14の実施形態の特性強調印加器132の内部構成を示す機能ブロック図である。図24に示すように、第14の実施形態の特性強調印加器132は、出力記憶器46、成分強度推定器44、帯域増幅器53、増幅形状生成器65、周波数推定器136、を有して構成される。
さらに、図25は、第14の実施形態の周波数推定器136の内部構成を示す機能ブロック図である。図25に示すように、第14の実施形態の周波数推定器136は、周波数構造推定器67、周波数平滑化器129、周期推定器118、を有して構成される。
第1〜第13の実施形態で説明した同様の機能を有する構成については、図1〜図23で示した符号番号を付与する。また、第14の実施形態の帯域拡張装置13000も1音声フレームが入力される毎に各機能体が動作する場合で説明する。
なお、本実施形態では、周波数平滑化器129が第12の実施形態のように周期推定器116内部に配置された例で説明するが、第13の実施形態のように増幅形状生成器65内部に配置しても、両方に配置してもよい。
(N−2)第14の実施形態の動作
次に、第14の実施形態の帯域拡張装置13000の特性強調印加器132における動作について、第1〜第13の実施形態との違いを中心に説明する。
本実施形態は、特性強調印加器132内部の周波数推定器136の内部動作が他の実施例と異なる。
第11の実施形態で説明したように周波数構造推定器57と周期推定器118とから有音無音を考慮した基本周波数の情報が信号周期情報EFとして出力される。
この基本周波数情報を周波数平滑化器129により周波数の平滑化を実施し、平滑化した基本周波数の情報が生成される。
このとき、周期推定器118から無音時に無効周波数の情報が出力された場合には、例えば、直前の基本周波数と同様の周波数が出力されたとみなして平滑化を実施すればよい。ただし、当該無音時の処理は、これに限定せず、例えば、既定の周波数をあらかじめ設定しておき、当該既定の周波数に出力される周波数を近づける処理を行なってもよく、この手法に限定しない。
(N−3)第14の実施形態の効果
以上のように、第14の実施形態によれば、基本周波数に平滑化処理と有音無音判定を同時に適用することにより、基本周波数が瞬時に変動することを抑えると同時に無音成分を強調することによる雑音や異音を抑えることが可能となる。
また、第14の実施形態によれば、同様に出力結果としては、低帯域成分を付加する機能を損なわないので、第1〜第13の実施形態の効果も保持しており、結果として、出力信号の音質をさらに向上させることができる。
(O)他の実施形態
第1〜第14の実施形態において、第3〜第6の実施形態及び第9〜第14の実施形態で示される特性強調印加器は、第2の実施形態で説明した、成分抽出器と信号成分判断器と切換器と特性非印加器と、当該特性強調印加器によって構成されてもよい。
第1〜第14の実施形態において、帯域拡張の手法において、合成高域信号HSと合成無声信号USの2つの合成信号を生成して、変換原信号Sと加算する例を説明したが、加算するために生成される他の帯域の合成信号数は2つに限らず、これよりも多くても少なくてもよい。
第1〜第14の実施形態において、低域の特性を印加する場合で説明したが、任意の周波数帯域を指定してもよい。さらに、第1〜第14の実施形態では、処理の結果として電話帯域よりも小さい周波数の成分が生成される例を示したが、当該出力結果の周波数の成分は電話帯域よりも大きくても、電話帯域の範囲内にあってもよい。
本発明での信号は、音声信号を前提として説明しているが、他の周期性信号、例えば画像信号などにも適応が可能である。
第1〜第14の実施形態では、ハードウェア的に各機能の説明を行なったが、ソフトウェア的に実現することも可能である。また、第1〜第14の実施形態の説明では一般的な公衆網の問題点として取り扱ったが、他のネットワークにおいて使用する際でも適用が可能である。
第1の実施形態の帯域拡張装置の内部構成を示す機能ブロック図である。 従来の帯域拡張装置の内部構成を示す機能ブロック図である。 第2の実施形態の低域特性印加器の内部構成を示す機能ブロック図である。 第3の実施形態の帯域拡張装置の内部構成を示す機能ブロック図である。 第4の実施形態の特性強調印加器の内部構成を示す機能ブロック図である。 第5の実施形態の帯域拡張装置の内部構成を示す機能ブロック図である。 第5の実施形態の特性強調印加器の内部構成を示す機能ブロック図である。 第6の実施形態の特性強調印加器の内部構成を示す機能ブロック図である。 第6の実施形態の周波数推定器の内部構成を示す機能ブロック図である。 第6の実施形態の増幅形状生成器の内部構成を示す機能ブロック図である。 第7の実施形態の帯域拡張装置の内部構成を示す機能ブロック図である。 第8の実施形態の帯域拡張装置の内部構成を示す機能ブロック図である。 第8の実施形態の低域特性印加器の内部構成を示す機能ブロック図である。 第9の実施形態の帯域拡張装置の内部構成を示す機能ブロック図である。 第9の実施形態の特性強調印加器の内部構成を示す機能ブロック図である。 第10の実施形態の帯域拡張装置の内部構成を示す機能ブロック図である。 第10の実施形態の特性強調印加器の内部構成を示す機能ブロック図である。 第11の実施形態の特性強調印加器の内部構成を示す機能ブロック図である。 第11の実施形態の周波数推定器の内部構成を示す機能ブロック図である。 第12の実施形態の特性強調印加器の内部構成を示す機能ブロック図である。 第12の実施形態の周波数推定器の内部構成を示す機能ブロック図である。 第13の実施形態の増幅形状生成器の内部構成を示す機能ブロック図である。 第14の実施形態の帯域拡張装置の内部構成を示す機能ブロック図である。 第14の実施形態の特性強調印加器の内部構成を示す機能ブロック図である。 第14の実施形態の周波数推定器の内部構成を示す機能ブロック図である。
符号の説明
1000、2000、3000、4000、5000、6000、7000、8000、9000、10000、11000、12000、12200、13000…帯域拡張装置、
16、22、72、82…低域特性印加器、17…低域フィルタ、32、42、52、62、92、102、112、122、132、142…特性強調印加器、
11…標本化周波数変換器、13…高域信号生成器、14…無声部信号生成器、15、31…加算器、70…有音無音判定器、
23…特性強調印加器、24、88…信号成分判断器、25…成分抽出器、26…切換器、27…特性非印加器、
43、53…帯域増幅器、44、54、94…成分強度推定器、45、55…増幅形状記憶器、46…出力記憶器、56、66、106、116、126…周波数推定器、65、125、145…増幅形状生成器。

Claims (8)

  1. 周波数帯域が制限された信号を、その制限された周波数帯域を含む信号に変換する帯域変換信号生成器において、
    上記周波数帯域が制限された信号の標本化周波数を当該標本化周波数以上の標本化周波数へ変換する標本化周波数変換手段と、
    上記標本化周波数変換手段により変換された上記周波数帯域が制限された信号から、当該信号の周波数帯域以下の信号成分を強調する成分強調手段と
    を備え、
    上記成分強調手段が、
    1又は複数の特定の周波数成分の成分強度を推定する成分強度推定部と、
    上記成分強度推定部からの強度推定情報に基づいて各特定の周波数成分の強調が可能であると判定したとき、上記強度推定情報に対応する利得情報に応じて各特定の周波数成分に利得を与える帯域利得部と、
    取り込む信号の基本周波数成分を推定する周波数推定部と
    を有し、
    上記成分強度推定部が、上記周波数推定部により推定された周波数成分の成分強度を推定し、
    上記帯域利得部が、上記周波数推定部により推定された周波数にも所定の利得を与える ことを特徴とする帯域変換信号生成器。
  2. 上記周波数推定部が、推定対象信号の周波数構造を推定し、その推定した周波数構造に基づいて基本周波数成分を推定することを特徴とする請求項に記載の帯域変換信号生成器。
  3. 上記成分強調手段が、推定された基本周波数を時間領域で連続的に遷移させる周波数平滑化部を有することを特徴とする請求項1又は2に記載の帯域変換信号生成器。
  4. 入力される信号の有音無音を判定する有音無音判定手段を備え、
    上記成分強調手段は、入力される信号が有音である場合に、特定の周波数成分を強調し、入力される信号が無音である場合には、特定の周波数成分の強調をしないことを特徴とする請求項1〜3のいずれかに記載の帯域変換信号生成器。
  5. 上記成分強調手段が、
    各特定の周波数成分を抽出し、各特定の周波数成分の大きさに基づいて、各特性の周波数の強調適性を判断する強調適正判断部と、
    上記強調適正判断部により、強調が適正と判断されたときに各特定の周波数成分の強調を行ない、強調が不適正と判断されたときに各特定の周波数部分を無効にする強調実行部と
    を有することを特徴とする請求項1〜4のいずれかに記載の帯域変換信号生成器。
  6. 上記成分強調手段は、周波数帯域が制限された入力信号と、その制限された帯域において形成された少なくとも1以上の所定の信号成分を含む合成信号を取り込むことを特徴とする請求項1〜5のいずれかに記載の帯域変換信号生成器。
  7. 周波数帯域が制限された信号の標本化周波数を当該標本化周波数以上の標本化周波数へ変換する標本化周波数変換と、
    周波数帯域が制限された信号から当該信号の周波数帯域以下の信号成分を含む低域信号を生成する低域信号生成器と、
    周波数帯域が制限された信号から当該信号の周波数帯域以上の信号成分を含む高域信号を少なくとも1つ以上生成する高域信号生成器と、
    上記低域信号と、少なくとも1以上の上記高域信号と、上記標本化周波数変換器により生成される信号とを加算する加算器と
    を有する帯域拡張装置において、
    上記低域信号生成器が、請求項1〜6のいずれかに記載の帯域変換信号生成器であることを特徴とする帯域拡張装置。
  8. 周波数帯域が制限された信号の標本化周波数を当該標本化周波数以上の標本化周波数へ変換する標本化周波数変換と、
    周波数帯域が制限された信号から当該信号の周波数帯域以上の信号成分を含む高域信号を少なくとも1つ以上生成する高域信号生成器と、
    少なくとも1以上の上記高域信号と、上記標本化周波数変換器により生成される信号とを加算する加算器と、
    上記加算器から出力された信号を、上記周波数帯域が制限された信号の当該周波数帯域以下の信号成分を含む信号に変換する信号生成器と
    を有する帯域拡張装置において、
    上記信号生成器が、請求項1〜6のいずれかに記載の帯域変換信号生成器であることを特徴とする帯域拡張装置。
JP2005363065A 2005-12-16 2005-12-16 帯域変換信号生成器及び帯域拡張装置 Active JP5055759B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2005363065A JP5055759B2 (ja) 2005-12-16 2005-12-16 帯域変換信号生成器及び帯域拡張装置
US12/086,484 US7999580B2 (en) 2005-12-16 2006-10-31 Band converted signal generator and band extender
EP06822621A EP1962282A1 (en) 2005-12-16 2006-10-31 Band conversion signal generator and band extending device
PCT/JP2006/321692 WO2007069400A1 (ja) 2005-12-16 2006-10-31 帯域変換信号生成器及び帯域拡張装置
CN2006800467421A CN101331541B (zh) 2005-12-16 2006-10-31 频带转换信号生成器和频带扩展装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005363065A JP5055759B2 (ja) 2005-12-16 2005-12-16 帯域変換信号生成器及び帯域拡張装置

Publications (2)

Publication Number Publication Date
JP2007164041A JP2007164041A (ja) 2007-06-28
JP5055759B2 true JP5055759B2 (ja) 2012-10-24

Family

ID=38162716

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005363065A Active JP5055759B2 (ja) 2005-12-16 2005-12-16 帯域変換信号生成器及び帯域拡張装置

Country Status (5)

Country Link
US (1) US7999580B2 (ja)
EP (1) EP1962282A1 (ja)
JP (1) JP5055759B2 (ja)
CN (1) CN101331541B (ja)
WO (1) WO2007069400A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8165881B2 (en) * 2008-08-29 2012-04-24 Honda Motor Co., Ltd. System and method for variable text-to-speech with minimized distraction to operator of an automotive vehicle
JP4818335B2 (ja) 2008-08-29 2011-11-16 株式会社東芝 信号帯域拡張装置
JP4783412B2 (ja) * 2008-09-09 2011-09-28 日本電信電話株式会社 信号広帯域化装置、信号広帯域化方法、そのプログラム、その記録媒体
WO2010070770A1 (ja) * 2008-12-19 2010-06-24 富士通株式会社 音声帯域拡張装置及び音声帯域拡張方法
JP5812998B2 (ja) * 2009-11-19 2015-11-17 テレフオンアクチーボラゲット エル エム エリクソン(パブル) オーディオコーデックにおけるラウドネスおよびシャープネスの補償のための方法および装置
TW201138428A (en) * 2010-04-20 2011-11-01 Hon Hai Prec Ind Co Ltd Apparatus and method for testing multiple image transfer channels
JP5552988B2 (ja) * 2010-09-27 2014-07-16 富士通株式会社 音声帯域拡張装置および音声帯域拡張方法
TW201220298A (en) * 2010-11-01 2012-05-16 Hon Hai Prec Ind Co Ltd Apparatus and method for testing multiple voice input channel
JP5458057B2 (ja) * 2011-05-17 2014-04-02 日本電信電話株式会社 信号広帯域化装置、信号広帯域化方法、及びそのプログラム
KR101398189B1 (ko) * 2012-03-27 2014-05-22 광주과학기술원 음성수신장치 및 음성수신방법
WO2015079946A1 (ja) * 2013-11-29 2015-06-04 ソニー株式会社 周波数帯域拡大装置および方法、並びにプログラム
CN106328153B (zh) * 2016-08-24 2020-05-08 青岛歌尔声学科技有限公司 电子通信设备语音信号处理***、方法和电子通信设备
JP7461192B2 (ja) 2020-03-27 2024-04-03 株式会社トランストロン 基本周波数推定装置、アクティブノイズコントロール装置、基本周波数の推定方法及び基本周波数の推定プログラム
CN111610752B (zh) * 2020-05-24 2021-07-27 西安交通大学 一种基于伺服进给***衰放倍率的插补指令评价方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3243174B2 (ja) * 1996-03-21 2002-01-07 株式会社日立国際電気 狭帯域音声信号の周波数帯域拡張回路
JP2000250571A (ja) * 1999-02-25 2000-09-14 Anritsu Corp 音声データ編集方法、音声データ編集装置およびプログラムを記録した媒体
JP2003044098A (ja) * 2001-07-26 2003-02-14 Nec Corp 音声帯域拡張装置及び音声帯域拡張方法
JP4281349B2 (ja) * 2001-12-25 2009-06-17 パナソニック株式会社 電話装置
US7228271B2 (en) 2001-12-25 2007-06-05 Matsushita Electric Industrial Co., Ltd. Telephone apparatus
JP4380174B2 (ja) * 2003-02-27 2009-12-09 沖電気工業株式会社 帯域補正装置
JP2005173476A (ja) * 2003-12-15 2005-06-30 Canon Inc 音声変換装置及びその制御方法、プログラム
JP3748081B2 (ja) * 2005-06-22 2006-02-22 三菱電機株式会社 広帯域音声復元方法及び広帯域音声復元装置

Also Published As

Publication number Publication date
US20090278573A1 (en) 2009-11-12
WO2007069400A1 (ja) 2007-06-21
CN101331541B (zh) 2012-04-04
EP1962282A1 (en) 2008-08-27
JP2007164041A (ja) 2007-06-28
US7999580B2 (en) 2011-08-16
CN101331541A (zh) 2008-12-24

Similar Documents

Publication Publication Date Title
JP5055759B2 (ja) 帯域変換信号生成器及び帯域拡張装置
JP5598536B2 (ja) 帯域拡張装置および帯域拡張方法
JP4945586B2 (ja) 信号帯域拡張装置
JP5098569B2 (ja) 帯域拡張再生装置
JP4792613B2 (ja) 情報処理装置および方法、並びに記録媒体
JP5098404B2 (ja) 音声処理方法および音声処理装置
JP6136995B2 (ja) 雑音低減装置
JP2001134287A (ja) 雑音抑圧装置
JP2008176328A (ja) 拡張帯域幅を有する音響信号を提供する方法および装置
JP4311034B2 (ja) 帯域復元装置及び電話機
CA2399253C (en) Speech decoder and method of decoding speech involving frequency expansion
JP3430985B2 (ja) 合成音生成装置
JP5326311B2 (ja) 音声帯域拡張装置、方法及びプログラム、並びに、音声通信装置
JP2010055002A (ja) 信号帯域拡張装置
JP5034735B2 (ja) 音処理装置およびプログラム
JP2008309955A (ja) ノイズサプレス装置
JP2007310298A (ja) 帯域外信号生成装置及び周波数帯域拡張装置
JP5777041B2 (ja) 帯域拡張装置及びプログラム、並びに、音声通信装置
JPH11265199A (ja) 送話器
WO2006090553A1 (ja) 音声帯域拡張装置
JP4604864B2 (ja) 帯域拡張装置及び不足帯域信号生成器
JP2007310296A (ja) 帯域拡張装置及び方法
JP2002175099A (ja) 雑音抑制方法および雑音抑制装置
JP6707914B2 (ja) ゲイン処理装置及びプログラム、並びに、音響信号処理装置及びプログラム
JP5359744B2 (ja) 音処理装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110811

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120703

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120716

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150810

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5055759

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150