JP4869352B2 - 音声データストリームを処理する装置および方法 - Google Patents

Description

本発明は音声データストリームを処理する装置に関する。

本発明は更に、音声データストリームを処理する方法に関する。

本発明は、プログラム要素にも関する。

更にまた、本発明は、コンピュータ読取り可能な媒体にも関する。

音声再生装置は、益々その重要性を増してきている。特に、ハードディスクベースの音声プレーヤおよび他の娯楽機器を購入するユーザの数が増加している。

音声再生品質を改善するために、音響心理学的なトリックを用いてもよい。

特許文献１は、音響信号の擬似低周波の心理音響的感覚を聴取者に伝達するための装置について開示し、その装置は、対象とする低周波範囲内の音響信号から高周波信号及び低周波信号を取り出すことのできる周波数ユニットを含んでいる。調波発生装置が周波数発生装置に結合され、対象とする低周波範囲内の各基本周波数に対して一連の調波を有する残留調波信号を生成することができる。各基本周波数に対して発生される一連の調波は、基本周波数の一次の調波セットの中から少なくとも３つの連続する調波を含む第１群の調波を備えている。ラウドネス発生装置が調波発生装置に結合され、残留調波信号のラウドネスを低周波信号のラウドネスと適合させることができる。加算ユニットが心理音響学的代替え信号を得るために残留調波信号と高周波信号とを加算することができる。

しかし、特許文献１に記載のシステムの音声再生品質は十分でないという状況がある。
欧州特許第０，９７２，４２６号明細書

本発明の目的は、音声再生を改善することである。

上で定めた目的を達成するために、独立請求項に特定された、音声データストリームを処理する装置、音声データストリームを処理する方法、プログラム要素およびコンピュータ可読媒体が提供される。

本発明の一つの実施形態によれば、音声データストリームを処理する装置が提供され、該装置は音声入力データストリームのトランジェント部分を検出するように構成されたトランジェント検出ユニットと、前記音声入力データストリームに基づいて音声出力データストリームを生成するように構成された調波発生装置とを備え、該音声出力データストリームは、前記音声入力データストリームの非トランジェント部分のみから発生された一連の調波を含むことを特徴とする。

本発明の他の実施形態によれば、音声データストリームを処理する方法が提供され、該方法は、音声入力データストリームのトランジェント部分を検出するステップと、前記音声入力データストリームに基づいて音声出力データストリームを生成するステップとを備え、該音声出力データストリームは、前記音声入力データストリームの非トランジェント部分のみから発生された一連の調波を含むことを特徴とする。

本発明のさらに他の実施形態によれば、プログラム要素が提供され、該プログラム要素は、プロセッサにより実行されたときに、上述の特徴を有する音声データストリームを処理する方法を制御または実施するように構成されていることを特徴とする。

本発明のさらに別の実施形態によれば、コンピュータ読取り可能な媒体が提供され、該コンピュータ読取り可能な媒体には、プロセッサにより実行されたときに、上述の特徴を有する音声データストリームを処理する方法を制御または実施するように構成されたコンピュータプログラムが格納されていることを特徴とする。

本発明の実施形態に従う音声処理操作は、コンピュータプログラム、即ちソフトウエアによって、または、１つまたは複数の特別な電子最適化回路、即ちハードウェアによって、または、ソフトウエアコンポーネントとハードウェアコンポーネント用いて複合型で実現することができる。

本発明の一つの実施形態によれば、音声入力データストリームの１つ以上のトランジェント部分を検出し、必要に応じて除去することができる音声処理および／または音声再生システムが提供される。この場合には、調波発生装置により、音響心理学的トリック（一連の調波の生成を含んでも良い）を、トランジェントが発生しない音声データストリームのそのような部分に選択的に供給することができる。

非トランジェント部分（特に可聴音響コンテンツの低周波数領域）において調波を生成および再生することは、基本周波数が音声データストリーム内に物理的に存在しないか、または、（例えば、装置が低音を再生するには小さすぎるか、そのような機能性を持たないことにより）再生装置によって再生不可能であるようなシナリオにおいてさえ、人間の聴取者に特定の音声周波数の寄与が存在するという主観的印象を与えることができる。この種の音響心理学的な現象は、ミッシングファンダメンタル原理として示される。

しかし、そのような一連の調波の生成は、聴取者による音声ストリームのトランジェント部分の音声知覚品質を悪化させることさえあることが認識された。この種のトランジェント部分は、打楽器のビートのように、時間的に短く、かつ／また周波数分布の狭い音声ストリームの部分である。従って、この種のトランジェント部分に対しては、一連の調波の生成を阻止して、そのような部分をありのままに再生するか、または、非妨害音声部分により置換するか、そのような部分をストリームから削除することが有利である。よって、低音領域では、音響心理学的なトリックの適用を除外してもよい。

「トランジェント部分」という用語は、特に、一時的な、すなわち、限られた時間の音声ストリームの寄与を意味することができる。トランジェントとは、基本的に１つの周波数を有しているか、または非常に狭い周波数帯に限定された部分を意味することもできる。このように、本質的に音の寄与のない時間的に狭い部分をこのようなトランジェントとすることができる。トランジェント部分は時間にして０．５秒よりも短く、具体的には、０．１秒よりも短くすることができる。追加的または代替的に、このようなトランジェント部分は周波数にして、５Ｈｚよりも狭く、具体的には、１Ｈｚより狭くすることができる。「トランジェント」という用語は、「持続的」という用語の反対語として示されても良い。

「一連の調波」は具体的には、基本周波数ｆ０の整数倍、すなわち、２ｆ０、３ｆ０、などの連続ピーク周波数を意味することができる。このような一連の調波は、１、２、３またはそれ以上のピークの後でカットオフされる。

人間により知覚されるような音質は、トランジェント部分のない音声データストリームの部分に音響心理学的なトリックを選択的に適用することだけで著しく向上できる。従って、本発明の一つの実施形態では、トランジェントの除去を伴う調波生成を行うことができる。

多くの場合、ＧＳＭ装置のような小型で低価格の音声装置は、低い音声周波数（「低音周波数」）を再生することができない。例えば、ミッシングファンダメンタル原理に基づく音響心理学的なトリックを、改善した知覚を得るために適用することができる。しかしながら、この技術は、トランジェント信号とともに提供されるときにアーティファクトに悩まされることがある。本発明の一つの実施形態は、トランジェント検出および／またはトランジェント除去アルゴリズムの導入によりこのような効果により生じる悪化を防止することができる、

低価格の装置またはＧＳＭ装置のような小型の装置は、例えば適切なレベルまたは品質において１ｋＨｚのしきい値以下の周波数を再生することができない可能性がある。例えば、携帯電話は、約８００Ｈｚの周波数、またはそれより低い周波数でロールオフできる。この装置は他の従来の装置と比較して良好であるにもかかわらず、例えば、４０Ｈｚ〜１５０Ｈｚの周波数帯に集中する低音を再生することができないことがある。

多くの場合に、低音ブーストアルゴリズムは、この種の課題を解決するために不適当である。理由としては、例えば、４０ｄＢのブーストレベルが必要とされたとき、重大な音声歪みにつながることがあるということがある。従って、低音錯覚を生成するこのような状況においては、他の方法を考えなければならない。

低音錯覚を生成する有用な原理は、ミッシングファンダメンタル原理と呼ばれるものに基づいてもよい。周期音の知覚ピッチは、音の基本周波数ｆ０だけでなく、信号中に存在するその調波（倍音または部分音とも称される）にも基づく。基本周波数は調波の周波数において最も低く、通常、全ての調波の中で最も大きい振幅をも有する。しかしながら、音の知覚ピッチは、単純に、基本周波数の大きな振幅により決まる訳ではない。

調波は、基本周波数の連続的な倍数、たとえば４０Ｈｚ、４０Ｈｚ×２=８０Ｈｚ、４０Ｈｚ×３=１２０Ｈｚ、４０Ｈｚ×４＝１６０Ｈｚなどとして発生することができる。基本周波数がサウンドから取り除かれ、他の全ての調波が保持されている場合、耳で聴くか、脳で知覚するピッチは最も低い周波数を有する調波に基づくものではない。基本周波数が信号内に物理的に存在しないときでも、人は元の基本周波数のピッチを有するものとして信号音を聴く。信号内に物理的に存在する最も低い調波の周波数よりはむしろ、調波構造がピッチの知覚を決定すると考えられる。

この現象は、本発明の実施形態により、利用および／または拡張および／または洗練することができる。調波は、元の低音信号から発生することができる。このようにして、通常は低音を再生できない小型の装置において、低音が可聴となる。

調波を生成するための実施形態は、クリッピングによる調波生成、数学関数を使用した調波生成または全波積分器による調波生成である。

しかしながら、このようなアルゴリズム構造は、不必要なトランジェント調波を生成することがある。特に、バスまたはスネアドラムのような打楽器の音声コンテンツを調波生成装置により処理するときに、トランジェント調波が発生することがある。これらの楽器は１つの一定の周波数または非常に狭い周波数帯にチューニングされ、通常、音の情報を含まないので、それらは調波発生装置等によって処理される代わりに、未処理のままでなければならない。従って、本発明の一つの実施形態は、トランジェントを除去し、残存音のみが調波発生装置に供給されるように調波発生装置の入力を制御する特別なシステムを含む。これは、きれいで歪みのない音につながる。

これを達成するために、トランジェント除去ブロックを、低周波抽出のためのフィルタと調波発生装置の間の信号経路内に挿入しても良い。

本発明の実施形態の適用分野は、例えば、ＧＳＭ装置、ＭＰ３プレーヤ、ヘッドホン、携帯用ＤＶＤ、ゲーム機器、ラップトップ、その他のような携帯機器である。

周期音は基本周波数を有する。その倍音が基本周波数を暗示するが、音が基本周波数自体の成分を欠くとき、音は消失した基本周波数または抑圧された基本周波数を有するように設定される。例えば、ピアノの音程が１００Ｈｚのピッチを有するとき、この音はその値の整数倍（たとえば１００Ｈｚ、２００Ｈｚ、３００Ｈｚ、４００Ｈｚ、５００Ｈｚ・・・）である周波数成分を有する。しかし、低音質のステレオスピーカは低周波数を再生することができないことがあり、従って、１００Ｈｚの成分はステレオプレーヤによって発される音波において消失していることがある。それにもかかわらず、基本周波数に対応するピッチは、まだ聞こえることがある。この効果は、ミッシングファンダメンタル原理と称される。しかし、この原理は、低音錯覚を生成するために使用できるが、トランジェント部分がない場合に使用するのが好ましい。

一つの実施形態では、トランジェント除去を伴う調波発生装置を設ける。このような実施形態は、特に小さいスピーカーを使用するバス／ピッチ（基本的に１ｋＨｚ未満の音響周波数範囲）の再生に対応する。このような調波発生装置は、入力信号の調波を生成するように構成して良い。このようなシステムには、生成された調波信号内のトランジェント調波が抑圧されるように調波発生装置を制御する制御機能を実装することができる。この実施形態はさらに、第１のフィルタによって入力信号から所望の周波数帯を選択する選択ユニットを備えても良い。さらにまた、エンベロープ抽出ユニットを設け、その後段にローパスおよびハイパスフィルタ分岐を設けて第１の信号および第２の信号を取り出すようにしてもよい。さらに、第１の信号および第２の信号を評価するブール論理素子を設け、その後段に音声データを修正するローパスフィルタを設けても良い。

他の実施形態においては、音声入力信号を受信する入力段と、音声入力信号の調波信号を生成するように構成された調波発生装置と、生成された調波信号においてトランジェント調波が回避されるように調波発生装置を制御する制御ユニットとを備える装置が提供される。

一つの実施形態においては、前記制御ユニットは、入力音声信号のある周波数範囲を選択して第１のフィルタ処理された信号を出力する第１のフィルタと、第１のフィルタ処理された信号のエンベロープを決定してエンベロープ信号を出力するエンベロープ抽出ユニットと、前記エンベロープ信号をローパスフィルタ処理して第１の決定信号を出力する第２のフィルタと、前記エンベロープ信号をハイパスフィルタ処理して第２の決定信号を出力する第３のフィルタと、前記第１の決定信号と前記第２の決定信号との比較に基づいてトランジション信号を生成するブール論理ユニットと、前記トランジション信号をフィルタ処理して第２のフィルタ処理された信号を出力する第４のフィルタと、前記入力音声信号を前記第２のフィルタ処理された信号に基づいて修正する修正ユニットとを備える。

トランジェントを除去し、残存音声のみを調波発生装置に供給するように調波発生装置の入力を制御することは、音質の改善をもたらす。

本発明の他の態様によれば、音質を改善するための調波生成及びトランジェント検出の組み合わせが提供される。このようなトランジェントは、音ではない部分であり、より高い周波数（音となる周波数）に転移されるべきではない。従って、トランジェント信号の調波の生成を回避することは有利である。

以下に、音声ストリームを処理する装置の更なる実施形態について説明する。しかしながら、これらの実施形態は、音声データストリーム、プログラム要素およびコンピュータ読取り可能な媒体を処理する方法にもあてはまる。

トランジェント検出ユニットは、トランジェント部分を時間および／または周波数が所定の値より小さく制限された音声入力データストリームの部分として検出するように構成してよい。例えば、トランジェント部分は時間が０．１秒未満に制限された部分とすることができ、その周波数幅は１Ｈｚ未満にすることができる。

装置は、所定の値より低い周波数を有する音声入力データストリームの寄与をトランジェント検出ユニットおよび／または調波発生装置に選択的に提供するように構成されたフィルタ（例えばローパスフィルタ）を備えて良い。従って、低音領域だけが調波を生成する対象とされ、他の音声の寄与は、フィルタリングによって除去することができる。除去された周波数領域においては、小型の、または、低品質の音声装置は、このような周波数を充分な音量および／または品質で再生することができない。従って、選択的に音響心理学的なトリックをトランジェント部分ではない音声データストリームの部分に適用することで、音声品質を改善できる。フィルタによって通過することができる周波数の範囲は、２００Ｈｚ以下、特に４０Ｈｚおよび２００Ｈｚ間の範囲とすることができる。

調波発生装置は、音響心理学的トリックに基づいて音声出力データストリームを生成するように構成でき、この音響心理学的トリックは、特に実際に物理的に存在しなくてもそのような音声信号を人間のユーザに知覚させるトリックであっても良い。この種の音響心理学的トリックの一例は、ミッシングファンダメンタル原理である。

調波発生装置は、クリッピング、数学関数、および全波積分からなる群のうちの少なくとも１つによって一連の調波を生成するように構成してよい。しかしながら、調波（すなわち、基本周波数の整数倍の値）を生成する多くの代替的な方法が当業者に公知で、本発明に等しく適用可能である。

トランジェント検出ユニットは、トランジェント部分を打楽器（特にバスまたはスネアドラム）から生じる音声入力データストリームの一部として検出するように構成してよい。この様な打楽器の特性を装置に格納し、このような特性を、例えば、パターン認識法によって、トランジェント部分を認識するために用いることもできる。

装置は、所定の周波数帯の外の一連の調波の部分を選択的に除去するように構成されたバンドパスフィルタを更に備えても良い。従って、音響心理学的トリックの適用は、例えば、基本周波数の５倍といった、所定の周波数間隔に減少させることができる。

トランジェント検出ユニットは、トランジェント部分の検出対象である音声入力データストリームの周波数を選択するように構成されたフィルタを備えても良い。この様なフィルタの透過範囲は、前記のフィルタの透過範囲よりも狭くても良い。ベースおよびスネアドラムは通常５０Ｈｚおよび１３０Ｈｚの間で演奏され、多くの場合、主にベースおよびスネアドラムによってトランジェント問題が引き起こされるが、このフィルタは５０Ｈｚおよび１３０Ｈｚの間の透過範囲を有する。トランジェント検出および除去がより良好に行われると、トランジェント問題がフィルタによって益々効果的に分離される。

トランジェント検出ユニットは、音声入力データストリームのエンベロープを抽出するように構成されたエンベロープ抽出ユニットを備えても良い。この様なエンベロープは、トランジェント検出および／または除去を実行するための正当な根拠であり得る。

トランジェント検出ユニットはローパスフィルタおよびハイパスフィルタを備え、ローパスフィルタを通過した音声入力データストリームがハイパスフィルタを通過した音声入力データストリームと交差するときに、トランジェント部分を検出するようにしてもよい。換言すれば、改良または最適化されたトランジェント検出を実行できるように、ローパスフィルタおよびハイパスフィルタのカットオフ周波数を調整することができる。

トランジェント検出ユニットは、ローパスフィルタおよびハイパスフィルタの出力に供給される信号を比較するよう構成された論理ユニット（たとえばブール論理ユニット）を備えても良い。この様な論理ユニットは、例えば、適切なブール論理機能を実装しているコンパレータまたは他のいかなる論理ゲートでもあってもよい。

トランジェント検出ユニットは、論理ユニットの出力に供給される信号を平滑化するように構成された平滑化フィルタを備えても良い。この種のフィルタは、ローパスフィルタであっても良い。

装置は、検出された（および／または除去された）トランジェント部分を、音声データ置換コンテンツによって置換するように構成された置換ユニットを備えても良い。トランジェント部分が検出されたとき、このトランジェント部分は音響心理学的トリックの適用対象としないことができる。従って、この様なトランジェント部分の多数の調波の生成を回避するために、所定の音声充填ギャップをそのような位置に配置しても良い。この種の音声データ置換コンテンツは、合成音または音声入力データストリームの一部とすることができる。

トランジェント検出ユニットは、音声入力データストリームから検出したトランジェント部分を除去するように構成してもよい。換言すれば、トランジェント検出ユニットがトランジェントを検出するときに、調波がこのトランジェントに対して発生しないために、このトランジェントは処理データストリームから削除されても良い。従って、音声出力データストリームは、トランジェント部分を含まず、この様なトランジェント部分に対して発生された調波を妨害しても良い。知覚される音の品質を更に改善するために、削除されたトランジェント部分を音声コンテンツの断片と交換しても良い。

装置は、音声出力データストリームを再生するように構成された音声再生ユニットを備えても良い。この種の音声再生ユニットはあらゆる種類の拡声装置、イヤホーン、ヘッドセット、その他から成ることができる。しかし、本発明のシステムは、閾値以下の周波数を有する音声コンテンツを再生することができない音声再生ユニットに対して、特に有利に適用することができる。この場合、調波の生成は音響心理学的トリックを適用するので、音声再生ユニットが低周波値を再生することができなくても、一連の調波の存在下では、人間の耳にはその様な音が「聞こえる」または知覚される。ＧＳＭ装置のような低コストのスピーカーまたは小型の装置は、低周波領域の音声データを再生することができないことがある。

音声再生ユニットは、スピーカー、イヤホーンおよびヘッドセットからなる群のうちの少なくとも１つを備えても良い。音声処理装置およびその様な再生ユニットの通信は、有線または無線であっても良い。

同様に、音声データソース（たとえば、音声コンテンツが格納されているハードディスクまたは音声再生装置と通信している遠隔の携帯電話）と、音声再生／音声データ処理装置間の通信は、有線（例えば、バスまたは配線接続を使用）で、または、無線（例えば、ＷＬＡＮまたは携帯電話ネットワーク経由）で行われても良い。

音声再生装置は、ＧＳＭ装置、ヘッドホン、ゲーム機器、ラップトップ、携帯用音声プレーヤ、ＤＶＤプレーヤ、ＣＤプレーヤ、ハードディスクベースのメディアプレーヤ、インターネットラジオ装置、一般の娯楽装置、ＭＰ３プレーヤ、車両用娯楽機器、車載用娯楽機器、携帯用ビデオプレーヤ、携帯電話、医療用通信システム、装着式装置および補聴装置として実現しても良い。「車載用娯楽機器」は、自動車のためのハイファイシステムであってもよい。

本発明によるシステムは、主に音または音声データの再生を改善することを意図しているが、音声データと画像データの組み合わせに適用することも可能である。例えば、本発明の実施形態は、スピーカーが用いられるビデオプレーヤまたはホームシネマシステムなどの視聴覚用途において実装されても良い。

これらおよび他の本発明の態様は、以下に記載されている実施形態から明らかであり、またそれらを参照して説明される。

図面は概略的に図解したものである。異なる図面において、類似または同一の要素は、同一の参照番号または記号を付している。

音声データ処理システム１００は、以下に、図１を参照して説明される。

音声データ処理システム１００は、所定の値より低い周波数を有する音声入力データストリーム１０３の寄与分を調波発生装置１０２に選択的に供給するためのローパスフィルタ１０１を備えている。図１の実施形態において、ローパスフィルタ１０１は遮断周波数２００Ｈｚを有する。このように、ローパスフィルタ１０１は、音声入力信号１０３から低周波部分を抽出し、フィルタ処理した信号Ｘ［ｎ］を出力するためのフィルタである。

フィルタ処理した信号Ｘ［ｎ］は、ストリームＸ［ｎ］に基づいて音声データストリームＹ［ｎ］を生成するように構成された調波発生装置１０２に供給され、音声データストリームＹ［ｎ］は基本周波数ｆ０１０５の一連の調波１０４を備えている。上述の実施形態では、これらの調波は周波数、２ｆ０、３ｆ０、４ｆ０および５ｆ０を有する。

調波発生装置１０２の出力Ｙ［ｎ］は、調和周波数１０４を制限するためのフィルタ１０６に供給される。フィルタ１０６の出力は加算ユニット１０７に供給され、この加算ユニットはフィルタ１０６の出力を音声入力データストリーム１０３に加えて音声出力データストリーム１０８を生成する。

本発明による音声データ処理装置の実施形態を、以下に図２を参照して説明する。

音声データ処理装置２００は、音声入力データストリーム２０２のトランジェント部分を検出するトランジェント検出ユニット２０１を備えている。さらに、音声データ処理装置２００は、音声入力データストリーム２０２に基づいて音声出力データストリーム２０４を生成するように構成された調波発生装置２０３を備えており、音声出力データストリーム２０４は、一連の調波２０５、すなわち、基本周波数２０６ ｆ０の整数倍数である、一連の（本質的に単一の）周波数寄与分２０５を含む。図２の実施形態において、一連の調波２０５は、周波数２ｆ０、３ｆ０、４ｆ０および５ｆ０を有する。しかし、トランジェント検出ユニット２０１によって検出されるトランジェントはこのユニット２０１によって除去されるので、音声出力データストリーム２０４は音声入力データストリーム２０２のトランジェント部分とは異なる周波数部分のみに対して生成された一連の調波を有する。これは、調波２０５が非トランジェント部分に対してのみ発生されることを意味する。

さらに、音声データ処理装置２００は、所定の値、例えば２００Ｈｚよりも低い周波数を有する音声入力データストリーム２０２の寄与分をトランジェント検出ユニット２０１および調波発生装置２０３に選択的に付与するように構成されたローパスフィルタ２０７を備える。従って、ローパスフィルタ２０７は、低周波を抽出するためのフィルタである。

トランジェント検出ユニット２０１のパラメータは、バスまたはスネアドラムのような打楽器から生じる音声入力データストリーム２０２の部分としてトランジェント部分を検出するように調整することができる。

音声データ処理装置２００は更に、所定の周波数帯２０９の外側に位置する一連の調波２０５の部分を選択的に除去するように構成されたバンドパスフィルタ２０８を備えている。

更に、加算ユニット２１０が、バンドパスフィルタ２０８の出力信号を音声入力データストリーム２０２に加えて音声出力データストリーム２０４を生成するために設けられている。

ローパスフィルタ２０７からトランジェント検出ユニット２０１に供給される信号は参照符号「Ａ」で示し、トランジェント検出ユニット２０１から調波発生装置２０３に供給される信号は参照符号「Ｂ」により示し、調波発生装置２０３から出力されてバンドパスフィルタ２０８に供給される信号は参照符号「Ｃ」により示し、バンドパスフィルタ２０８の出力に得られ加算ユニット２１０に供給される信号は参照符号「Ｄ」により示す。

以下、図３を参照してトランジェント検出ユニット２０１の構成についてより詳細に説明する。

信号Ａは、音声入力データストリーム２０２の周波数帯域を選択するように構成されたフィルタ３００に供給され、この周波数帯域はトランジェント部分の検出が実行される周波数を規定する。このように、フィルタ３００は、制御すべき周波数の範囲を選択する。

フィルタ３００は、更に、音声入力データストリーム１０３のエンベロープを抽出するように構成されたエンベロープ抽出ユニット３０１に結合される。従って、エンベロープ抽出ユニット３０１は、エンベロープ抽出ユニット３０１の入力に供給される信号のエンベロープを決定する。

エンベロープ抽出ユニット３０１の出力は、ローパスフィルタ３０２およびハイパスフィルタ３０３の入力に供給される。

トランジェント部分は、ローパスフィルタ３０２を通過した音声入力データストリーム１０３がハイパスフィルタ３０３を通過した音声入力データストリーム２０２と交差するときに検出することができる。換言すれば、ハイパス信号がローパス信号を横断するときに、トランジェントが発生したと仮定される。

ローパスフィルタ３０２の出力は第１スケーリングユニット３０４に供給され、ハイパスフィルタ３０３の出力は第２スケーリングユニット３０５に供給される。

スケーリングユニット３０４、３０５の出力は、ブール論理ユニット３０６に供給される。ハイパス信号がローパス信号より大きいときに、トランジェントが発生したと仮定され、ブール論理ユニット３０６は論理値「１」から論理値「０」へ遷移する。論理ユニット３０６は、このように、ローパスフィルタ３０２およびハイパスフィルタ３０３の出力に供給される信号を比較するように構成される。

トランジェント検出ユニット２０１は、更に、論理ユニット３０６の出力に供給される信号を平滑化するように構成された平滑化フィルタ３０７を備える。ローパスフィルタ３０７は調波発生装置２０３に供給される信号に適用される振幅スケーリングを平滑化する。

図３から明らかなように、平滑化フィルタ３０７の出力は、信号Ａから信号Ｂへの修正を制御するために、ユニット３０８によって用いられる。

トランジェントは通常（時間的に）非常に短いため及び制御信号フィルタリングによる滑らかな「フェードイン」のため、エンベロープ整形は妨害にならない。

トランジェント検出ユニット２０１の他の実施形態を、以下に図４を参照して説明する。

図４のトランジェント検出ユニットは、置換ユニット４００が図４において備えられているという点で、図３のトランジェント検出ユニットと異なる。置換ユニット４００は、検出されたトランジェント部分を、例えば合成音または音声入力データストリーム２０２の一部などの音声データ置換コンテンツによって置換するように構成されている。換言すれば、図４の実施形態は、トランジェントの除去によって生じたすき間を、合成音（基本周波数の検出による）または原音から取得したサンプリング音で満たすことを伴う。このように、置換ユニット４００は、音声ストリームへのサンプリング音または合成音の挿入を促す。この寄与分は、図４に示すように、加算ユニット４０１によって加算される。

本発明による音声データ処理システム５００の実施形態を、以下に図５を参照して説明する。

音声データ処理システム５００は、ハードディスクベースのＭＰ３プレーヤとして構成される。

例えば複数の曲のような音声コンテンツが、ハードディスク５０１に格納される。例えば中央演算処理装置（ＣＰＵ）のような制御ユニット５０２の制御の下で、ハードディスク５０１に格納された音声データコンテンツは、音声データストリームからトランジェント部分を検出し除去するトランジェント検出ユニット２０１へ転送することができる。トランジェント検出ユニット２０１の出力は、非トランジェントバス部分に対して調波を発生する調波発生装置２０３に供給される。

調波発生装置２０３の出力は、例えば、拡声用スピーカー５０５などの音声再生ユニットに供給し、音波５０３を生成して音声コンテンツを再生することができる。さらに、ユーザ入力／出力装置５０４がユーザインターフェースとして設けられ、ユーザはこれを使って、例えば、ＣＰＵ５０２に制御信号を供給することによって、システム５００の機能を制御することができる。

音声データ処理システム６００の実施形態を、以下に図６を参照して説明する。

音声データ処理システム６００は、電磁波６０２を捕獲することができるアンテナ６０１を有する携帯電話である。これらの電磁波６０２は、人間の音声、音楽または他の環境雑音を含み得る。この場合も、捕獲された信号６０２は音声データに変換され、トランジェント検出ユニット２０１に供給され、そこから、調波発生装置２０３に供給され、イヤホーンなどの再生装置５０５において再生可能な音声信号を生成できる。

このように、イヤホーン５０５は、音波５０３を放射することができる。この場合も、システム６００の機能は、ＣＰＵ５０２および／またはユーザ入力／出力装置５０４で制御される。

「備える」という動詞およびその活用形を用いた表現は、その他の要素またはステップを排除するものではなく、また、単数で表現した要素やステップについても、それらが複数である可能性を除外するものではないということに注意されたい。また、異なる実施形態に関連して記載されている要素を結合しても良い。

また、請求項の参照符号が請求項の範囲を制限するものとしては構成されないということに注意されたい。

図１は、音声データ処理システムを示す。 図２は、本発明による音声データ処理装置の一つの実施形態を示す。 図３は、本発明による音声データ処理システムの一部を示す。 図４は、本発明による音声データ処理システムの一部を示す。 図５は、本発明による音声データ処理システムの一つの実施形態を示す。 図６は、本発明による音声データ処理システムの他の実施形態を示す。

Claims (23)

1. 音声データストリームを処理する装置であって、
   音声入力データストリームのトランジェント部分を検出するように構成されたトランジェント検出ユニットと、
   前記音声入力データストリームの非トランジェント部分のみから生成された一連の調波を前記音声入力データストリームに対して加算して、音声出力データストリームを生成するように構成された調波発生装置とを具えることを特徴とする装置。
2. 前記トランジェント検出ユニットは、トランジェント部分を、所定の時間より短い時間に制限されかつ／また所定の周波数値より小さい周波数に制限された音声入力データストリームの部分として、検出するように構成されている、請求項１に記載の装置。
3. 前記トランジェント検出ユニットおよび／または前記調波発生装置に、所定の値よりも低い周波数、または、所定の周波数間隔内の周波数を有する音声入力データストリームの寄与分を選択的に付与するように構成されたフィルタを備える、請求項１に記載の装置。
4. 前記調波発生装置が、前記音声入力データストリームの音響心理学的操作に基づいて前記音声出力データストリームを生成するように構成されている、請求項１記載の装置。
5. 前記調波発生装置が、前記音声入力データストリームに適用されるミッシングファンダメンタル原理スキームに基づいて前記音声出力データストリームを生成するように構成されている、
   請求項１に記載の装置。
6. 前記調波発生装置が、
   クリッピング、数学関数および全波積分からなる群のうちの少なくとも１つによって前記一連の調波を生成するように構成されている、
   請求項１に記載の装置。
7. 前記トランジェント検出ユニットが、
   トランジェント部分を打楽器（特にバスまたはスネアドラム）から生じる音声入力データストリームの一部として検出するように構成されている、
   請求項１に記載の装置。
8. 所定の周波数帯の外の前記一連の調波の部分を選択的に除去するように構成されたバンドパスフィルタを備えている、
   請求項１に記載の装置。
9. 前記トランジェント検出ユニットが、トランジェント部分の検出対象である前記音声入力データストリームの周波数または周波数帯を選択するように構成されたフィルタを備えている、
   請求項１に記載の装置。
10. 前記トランジェント検出ユニットが、前記音声入力データストリームのエンベロープを抽出するように構成されたエンベロープ抽出ユニットを備えている、
    請求項１に記載の装置。
11. 前記トランジェント検出ユニットは、ローパスフィルタおよびハイパスフィルタを備え、該ローパスフィルタを通過した前記音声入力データストリームが、該ハイパスフィルタを通過した音声入力データストリームと交差するときに、トランジェント部分を検出するように構成されている、
    請求項１に記載の装置。
12. 前記トランジェント検出ユニットが、
    前記ローパスフィルタおよび前記ハイパスフィルタの出力に供給される信号を比較するように構成された論理ユニットを備えている、
    請求項１１に記載の装置。
13. 前記トランジェント検出ユニットが、前記論理ユニットの出力に供給される信号を平滑化するように構成された平滑化フィルタ備えている、
    請求項１２に記載の装置。
14. 検出されたトランジェント部分を、音声データ置換コンテンツによって置換するように構成された置換ユニットを備えている、
    請求項１に記載の装置。
15. 前記音声データ置換コンテンツが、合成音または前記音声入力データストリームの一部である、
    請求項１４に記載の装置。
16. 前記トランジェント検出ユニットが、前記音声入力データストリームから検出したトランジェント部分の除去するように構成されている、
    請求項１４に記載の装置。
17. 前記音声出力データストリームを再生するように構成されている音声再生ユニットを備えている、
    請求項１に記載の装置。
18. 前記音声再生ユニットが、閾値以下の周波数を有する音声データを再生できない、
    請求項１７に記載の装置。
19. 前記音声再生ユニットが、スピーカー、イヤホーンおよびヘッドセットからなる群のうちの少なくとも１つを備える、
    請求項１７に記載の装置。
20. ＧＳＭ装置、ヘッドホン、ゲーム機器、ラップトップ、携帯用音声プレーヤ、ＤＶＤプレーヤ、ＣＤプレーヤ、ハードディスクベースのメディアプレーヤ、インターネットラジオ装置、一般の娯楽装置、ＭＰ３プレーヤ、ハイファイのシステム、車両用娯楽機器、車載用娯楽機器、携帯用のビデオプレーヤ、携帯電話、医療用通信システム、装着式装置および補聴装置からなる群のうちの少なくとも１つとして実現される、請求項１に記載の装置。
21. 音声データストリームを処理する方法で、該方法は、
    音声入力データストリームのトランジェント部分を検出するステップと、
    前記音声入力データストリームの非トランジェント部分のみから発生された一連の調波を前記音声入力データストリームに対して加算して、音声出力データストリームを生成するステップとを備えることを特徴とする方法。
22. プログラム要素であって、該プログラム要素は、プロセッサにより実行されたときに、前記音声データストリームを処理する方法を制御または実施するように構成されていて、該方法は、
    音声入力データストリームのトランジェント部分を検出するステップと、
    前記音声入力データストリームの非トランジェント部分のみから発生された一連の調波を前記音声入力データストリームに対して加算して、音声出力データストリームを生成するステップとを備えることを特徴とする、
    プログラム要素。
23. プログラムを記録したコンピュータ読み取り可能な記録媒体であって、該コンピュータ読取り可能な媒体には、プロセッサにより実行されたときに、音声データストリームを処理する方法を制御または実施するように構成されたコンピュータプログラムが格納されていて、該方法は、
    音声入力データストリームのトランジェント部分を検出するステップと、
    前記音声入力データストリームの非トランジェント部分のみから発生された一連の調波を前記音声入力データストリームに対して加算して、音声出力データストリームを生成するステップとを備えることを特徴とする、
    プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images