JP4696989B2 - 信号処理方法及び信号処理装置 - Google Patents

Description

本発明は、楽音信号や映像信号等の周期的にサンプリングされた信号を信号処理の対象とする信号処理方法及び信号処理装置に関する。

従来のこの種の信号処理として、楽音信号の信号処理がある。例えば、サンプリング周波数fｓを４８ｋＨzにしてサンプリングされた楽音のディジタルデータをダウンサンプリングする処理を行う場合について考える。（１）サンプリング周波数を４８ｋＨzから２４ｋＨzにダウンサンプリングする時、ダウンサンプリングするために必要なLow Pass Filter（ＬＰＦ）処理には、５０ステップの演算処理が必要であるが、出力には２fｓ（１fｓ＝４８ｋＨz）に１回でよい。

また、（２）サンプリング周波数を４８ｋＨzから８ｋＨzにダウンサンプリングする時、ダウンサンプリングするために必要なＬＰＦ処理には２００ステップの演算処理が必要であるが、出力は６fｓ（１fｓ＝４８ｋＨz）に１回でよい。というように、条件（ダウンサンプリング周波数）に応じて、データの処理量や出力タイミングが変化する。
このようにダウンサンプリング周波数によって処理ステップ数が変化するのは、低い周波数ほどカットオフ周波数を低いところに設定しなければならないためである。

上述した処理をＤＳＰ（Digital Signal Processor）で実現する場合、次のような方法が考えられる。すなわち第１には、１fｓ当たりのダウンサンプリングのためのデータ処理量を最大処理ステップ数（上記例では２００ステップ）とし、この２００ステップの演算処理を２fｓに分散するのではなく、１fｓで演算してしまう方法である。この処理方法を図５に示す。同図に示すように、この処理方法は、１fｓあたりのデータ処理量を２５０ステップとした場合に、処理Ａは、毎fｓに行われる同内容の処理であり、例えば、楽音処理のうちのエフェクト処理がこれに該当する。また、ダウンサンプリング処理は、６fｓに１回、２００ステップ分の演算処理を行う。

現時点（「図５では現在と表記している」）において、ダウンサンプリング処理は、２００ステップ分を確保されているため、１fｓ〜５fｓのところではこのダウンサンプリング用に確保された処理負荷については、fｓ毎に行う処理を割り当てることができない状態にある。
この方法は、分散処理等の複雑な処理をしなくてもよいというメリットがあるが、毎fｓで２００ステップ分の処理ステップを確保しなければならないので、ほかの処理に割り当てることができる処理ステップが減少するという、問題が有る。

また、第２には、出力タイミングに応じて処理ステップ数を分散させる方法がある（特許文献１参照）。例えば、４８ｋＨzから８ｋＨzにダウンサンプリングするのに２００処理ステップ分の処理を６fｓに１回出力するのであれば、毎fｓで約３３ステップの処理を行う。この方法では、アキュムレータ内に保持された演算の途中結果を別の処理と切り替えるたびにメモリ等に退避させなければならず、待避させるための処理ステップ数や、ハードウェアに専用パスを用意しなければならない、という問題が有る。

従来のＤＳＰの構成例を図４に示す。同図において、ＤＳＰ３０は、入力セレクタ３００と、Ｗｏｒｋ ＲＡＭ３０１と、プログラムＲＡＭ３０２と、乗算器３０３と、係数ＲＡＭ３０４と、加・減算器３０５と、セレクタ３０６と、レジスタ３０７とを有している。

上記構成において、プログラムＲＡＭ３０２から出力される命令により音声等のディジタル化されたデータが入力セレクタ３００を介して取り込まれ、Ｗｏｒｋ ＲＡＭ３０１の所定のアドレスのエリアに書き込まれる。
このデータはＷｏｒｋ ＲＡＭ３０１から読み出され、乗算器３０３に出力される。

一方、係数ＲＡＭ３０４から処理に使用する係数が読み出され、乗算器３０３に出力される。乗算器３０３は、Ｗｏｒｋ ＲＡＭ３０１から読み出されたデータと係数ＲＡＭ３０４から読み出された係数とを乗算し、加・減算器３０５の一方の入力端Ｘに出力する。最初は加・減算演算の対象がないので、セレクタ３０６を介して乗算器３０３の演算結果、すなわち加・減算器３０５の出力がレジスタ３０７に書き込まれる。レジスタ３０７の出力は、外部に出力されると共に、加・減算器３０５の他方の入力端Ｙに入力される。

次いで、次の入力データが入力セレクタ３００を介してＷｏｒｋ ＲＡＭ３０１に書き込まれ、所定のタイミングでこの入力データはＷｏｒｋ ＲＡＭ３０１より読み出され、乗算器３０３に入力される。
また、係数ＲＡＭ３０４からは処理に使用する係数が読み出され、乗算器３０３に入力される。この係数とＷｏｒｋ ＲＡＭ３０１から読み出された上記入力データとが乗算され、その出力は、加・減算器３０５の一方の入力端Ｘに入力される。

加・減算器３０５では、レジスタ３０７から入力されたデータと、乗算器３０３から直接入力された演算結果とがプログラムＲＡＭ３０２から出力される命令に基づいて加算または減算のいずれかの演算を行い、その演算結果はセレクタ３０６を介してレジスタ３０７に書き込まれ、外部に出力されると共に、加・減算器３０５の入力端子Ｙに入力される。
このように入力データが入力セレクタ３００より入力される毎に上述した一連の動作により、演算処理が行われ、ダウンサンプリングを含む、各種の処理が実行される。

上記構成のＤＰＳでは、アキュムレータレジスタ（レジスタ３０７）が１つしかないので、複数の処理を時分割で処理する時にはダウンサンプリング処理の１fｓ分の処理が終るたびにアキュムレータレジスタ内のデータをＷｏｒｋ ＲＡＭ等に待避させたり、処理の再開時にはアキュムレータに戻す必要があるという問題が有る.
特開平９−８１５４２号公報

上述したように、周期的にサンプリングされたデータを処理する際に、処理負荷の高い処理を単位周期で、一度に処理する方法では、分散処理等の複雑な処理をしなくてもよいというメリットがあるが、単位周期（fｓ）毎に上記高負荷の処理を行うための処理ステップ数を確保しなければならないので、他の処理に割り当てることができる処理ステップ数が減少するという問題が有る。

また、出力タイミングに応じて処理ステップ数を各単位周期毎に分散させる方法では、アキュムレータ内に保持された演算の途中結果を別の処理と切り替えるたびにメモリ等に退避させなければならず、待避させるための処理ステップ数や、ハードウェアに専用パスを用意しなければならない、という問題が有る。

本発明は、このような事情に鑑みてなされたものであり、周期的にサンプリングされたデータを処理する際に、処理負荷の高い処理を単位周期で平坦化することができ、かつアキュムレータ内のデータ待避が不要となる信号処理方法及び信号処理装置を提供することを目的とする。

上記目的を達成するために請求項１に記載の発明は、周期的にサンプリングされたディジタルデータを処理する信号処理方法において、複数の処理ステップを有する処理負荷の大きい処理を出力タイミングに応じて単位周期毎に前記複数の処理ステップ数を分散して割り当て、かつ上記処理負荷の高い処理専用のアキュムレータレジスタにより演算の途中結果を保持することを特徴とする。

また、請求項２に記載の発明は、請求項１に記載の信号処理方法において、前記単位周期毎に定期的に処理が行われている他の処理以外の不定期に行われる処理の割り込みに応じて、前記単位周期毎に分散して割り当てられた前記処理負荷の大きい処理の処理ステップ数を、単位周期内で可変させることを特徴とする。

また、請求項３に記載の発明は、請求項１または２のいずれかに記載の信号処理方法において、前記複数の処理ステップを有する処理は、所定数の単位周期内に実行される必要が有り、前記所定数の各単位周期内で最小限、実行される処理ステップ数を決定することを特徴とする。

また、請求項４に記載の発明は、請求項３に記載の信号処理方法において、前記所定数の単位周期における最終の単位周期の期間においては、他の割り込みが生じても、前記処理負荷の大きい処理を優先させることを特徴とする。

また、請求項５に記載の発明は、入力されたディジタルデータを一時的に記憶する入力データ記憶手段と、各種処理に必要な係数データを記憶する係数データ記憶手段と、前記入力データ記憶手段及び係数データ記憶手段から、それぞれ読み出された入力データ及び係数データに基づいて演算処理する演算手段と、前記演算手段の演算結果を保持する第１のアキュムレータレジスタと、演算処理のための各種命令及び、データの書き込み及び読み出しのためのアドレスデータ及び制御信号を生成し、出力する制御手段とを有し、周期的にサンプリングされたディジタルデータを処理する信号処理装置において、複数の処理ステップを有する処理負荷の高い処理専用の第２のアキュムレータレジスタを別設し、前記制御手段は、前記複数の処理ステップを有する処理負荷の大きい処理に対して出力タイミングに応じて単位周期毎に前記複数の処理ステップ数を分散して割り当て、かつ前記第２のアキュムレータレジスタにより前記処理負荷の大きい処理に関する演算の途中結果を保持するように制御することを特徴とする。

また、請求項６に記載の発明は、請求項５に記載の信号処理装置において、前記制御手段は、前記単位周期毎に定期的に処理が行われている他の処理以外の不定期に行われる処理の割り込みに応じて、前記単位周期毎に分散して割り当てられた前記処理負荷の大きい処理の処理ステップ数を、単位周期内で可変させることを特徴とする。

また、請求項７に記載の発明は、請求項５または６のいずれかに記載の信号処理装置において、前記制御手段は、前記複数の処理ステップを有する処理は、所定数の単位周期内に実行される必要が有り、前記所定数の各単位周期内で最小限、実行される処理ステップ数を決定することを特徴とする。

また、請求項８に記載の発明は、請求項７に記載の信号処理装置において、前記制御手段は、前記所定数の単位周期における最終の単位周期の期間においては、他の割り込みが生じても、前記処理負荷の大きい処理を優先させることを特徴とする。

以上説明したように、本発明によれば、周期的にサンプリングされたディジタルデータを処理する信号処理方法、または信号処理装置において、複数の処理ステップを有する処理負荷の大きい処理を出力タイミングに応じて単位周期毎に前記複数の処理ステップ数を分散して割り当て、かつ上記処理負荷の高い処理専用のアキュムレータレジスタにより演算の途中結果を保持するようにしたので、処理負荷の高い処理に割り当てられた複数の処理ステップを複数の単位周期に分散させることにより上記処理負荷の高い処理、例えばダウンサンプリング処理の処理負荷を平坦化でき、単位周期毎に処理が必要な処理を追加することができ、信号処理装置の効率的な使用が可能となる。

さらに、本発明によれば、処理負荷の高い処理専用のアキュムレータレジスタを設けることにより、データ待避が不要となる。また、演算の途中結果を特に何の操作もなく保持できるので、メモリ待避等に必要な処理ステップ数が不要となる。

以下、本発明の実施形態を、図面を参照して詳細に説明する。図１に本発明が適用される携帯電話装置の構成を示す。同図において、本発明が適用される携帯電話装置は、信号処理部１と、アンテナ２と、無線送受信部３と、ベースバンドＬＳＩ４と、ディスプレイ５と、アプリケーションプロセッサ６と、スピーカ２０と、マイクロフォン２１と、ＦＭ音声入力部２２と、ＣＤ／ＭＤ信号入力部２３と、ＴＶ音声入力部２４とを有している。

信号処理部１はＤＳＰ１０と、Ｄ／Ａ変換器１１と、Ａ／Ｄ変換器１２とを有している。ＤＳＰ１０は、周期的にサンプリングされた音声等のディジタルデータを信号処理する機能を有している。
また、Ｄ／Ａ変換器１１はＤＳＰ１０で信号処理されたディジタル信号をアナログ信号に変換してスピーカ２０に出力する。
Ａ／Ｄ変換器１２は、マイクロフォン２１、ＦＭ音声入力部２２、ＣＤ／ＭＤ信号入力部２３、ＴＶ音声入力部２４のいずれかのアナログ信号をディジタル信号に変換し、ＤＳＰ１０に入力する機能を有している。

無線送受信部３は、アンテナを介して電話通信、データ通信のための無線信号の送受信、テレビ画像、テレビ音声の受信、ＦＭ音声の受信等を行う機能を有している。
ベースバンドＬＳＩ４は、無線送受信部３から出力された高周波信号をベースバンド信号に復調処理を行う機能を有している。
アプリケーションプロセッサ６は、ＤＳＰ１０で信号処理された信号を取り込み、３Ｄ（音源定位）、エフェクト処理、ディレイ処理等の音響効果を付加するための処理を行い、処理したデータをＤＳＰ１０に受け渡す機能を有している。

ＤＳＰ１０の具体的構成を図２に示す。同図において、ＤＳＰ１０の構成例を図４に示す。同図において、ＤＳＰ１０は、入力セレクタ１００と、Ｗｏｒｋ ＲＡＭ１０１と、プログラムＲＡＭ１０２と、乗算器１０３と、係数ＲＡＭ１０４と、加・減算器１０５と、レジスタ（０）１０６、レジスタ（１）１０７と、セレクタ１０８と、を有している。

Ｗｏｒｋ ＲＡＭ１０１は、入力されたディジタルデータを一時的に記憶する機能を有している。係数ＲＡＭ１０４は、各種処理に必要な係数データを記憶する機能を有している。乗算器１０３は、Ｗｏｒｋ ＲＡＭ１０１から読み出された入力データと、係数ＲＡＭ１０４から読み出された係数データとを乗算する機能を有している。
また、加・減算器１０５は、乗算器１０３の出力と、レジスタ（０）１０６またはレジスタ（１）１０７の出力とを加算または減算する機能を有している。

レジスタ（０）１０６は、本実施形態では、処理負荷の高い処理であるダウンサンプリング処理専用の演算の途中結果を保持するアキュムレータレジスタであり、レジスタ（１）１０７はその他の処理、例えば、各単位周期（fｓ）毎に定期的に処理すべき処理、あるいは不定期に割り込みにより生じる処理等の演算の途中結果を保持するアキュムレータレジスタである。
プログラムＲＡＭ１０２は、演算処理のための各種命令及び、データの書き込み及び読み出しのためのアドレスデータ及び制御信号を生成し、出力する。

プログラムＲＡＭ１０２は、前記複数の処理ステップを有する処理負荷の大きい処理を出力タイミングに応じて単位周期毎に前記複数の処理ステップ数を分散して割り当て、かつ前記第２のアキュムレータレジスタにより前記処理負荷の大きい処理に関する演算の途中結果を保持するように制御する。

Ｗｏｒｋ ＲＡＭ１０１は本発明の入力データ記憶手段に、プログラムＲＡＭ１０２は本発明の制御手段に、係数ＲＡＭ１０４は本発明の係数データ記憶手段に、乗算器１０３及び加・減算器１０５は本発明の演算手段に、レジスタ（１）１０７は第１のアキュムレータレジスタに、レジスタ（０）１０６は第２のアキュムレータレジスタに、プログラムＲＡＭ１０２は本発明の制御手段に、それぞれ相当する。

上記構成において、プログラムＲＡＭ１０２から出力される命令により音声等のディジタル化されたデータが入力セレクタ１００を介して取り込まれ、Ｗｏｒｋ ＲＡＭ１０１における所定のアドレスのエリアに書き込まれる。
このデータはＷｏｒｋ ＲＡＭ１０１から読み出され、乗算器１０３に出力される。

一方、係数ＲＡＭ１０４から処理に使用する係数が読み出され、乗算器１０３に出力される。乗算器１０３では、Ｗｏｒｋ ＲＡＭ１０１から読み出されたデータと係数ＲＡＭ１０４から読み出された係数とを乗算し、加・減算器１０５の一方の入力端Ｘに出力する。最初は加・減算演算の対象がないので、乗算器１０３の演算結果、すなわち加・減算器１０５の出力が処理対象に応じて、すなわち処理負荷の高い処理か、それ以外の処理かによりレジスタ１０６またはレジスタ１０７に書き込まれる。レジスタ１０６またはレジスタ１０７の出力は、外部に出力されると共に、加・減算器１０５の他方の入力端Ｙに入力される。

次いで、次の入力データが入力セレクタ１００を介してＷｏｒｋ ＲＡＭ１０１に書き込まれ、所定のタイミングでこの入力データはＷｏｒｋ ＲＡＭ１０１より読み出され、乗算器１０３に入力される。
また、係数ＲＡＭ１０４からは処理に使用する係数データが読み出され、乗算器１０３に入力される。この係数データとＷｏｒｋ ＲＡＭ１０１から読み出された上記入力データとが乗算され、その出力は、加・減算器１０５の一方の入力端Ｘに入力される。

加・減算器１０５では、レジスタ１０６またはレジスタ１０７から入力されたデータと、乗算器１０３から直接入力された演算結果とがプログラムＲＡＭ１０２から出力される命令に基づいて加算または減算のいずれかの演算を行い、その演算結果はレジスタ１０６またはレジスタ１０７に書き込まれ、セレクタ１０８を介して外部に出力されると共に、加・減算器１０５の入力端子Ｙに入力される。
このように入力データが入力セレクタ１００より入力される毎に上述した一連の動作により、演算処理が行われ、ダウンサンプリングを含む、各種の処理が実行される。

ＤＳＰ１０で具体的に実行される処理の状態を、図３を参照して説明する。一例として、処理負荷の高い処理は、ダウンサンプリング処理であり、サンプリング周波数が４８ｋＨzから８ｋＨzにダウンサンプリングするのに２００処理ステップ分を必要であるとする。
また、ＤＳＰ１０の単位周期（fｓ）、すなわち１fｓあたりの処理量を２５０処理ステップとする。
図３において、処理Ａ，Ｂは、毎fｓ同一内容の処理を行うものであり、例えば、エフェクト処理である。処理Ｃ，Ｄ，Ｅは割り込みにより不定期に発生し、実行するものである。

本実施形態では、ダウンサンプリング処理は、サンプリング周波数が４８ｋＨzから８ｋＨzにダウンサンプリングすることになるので、６fｓに均等に分散して処理する場合、２００ステップを約３３ステップ単位で実行する。
正確に毎fｓでダウンサンプリング処理の処理ステップ数が１／６である必要はない。図３に示したように、２００ステップを３５ステップ×５回と、２５ステップ×１回となるように６fｓの期間でfｓ毎に分散させてもよい。
本実施形態によれば、処理負荷の高いダウンサンプリング処理を、複数fｓに分散することで該ダウンサンプリング処理の処理負荷を平坦化でき、単位周期毎に処理が必要な処理を追加することができ、信号処理装置の効率的な使用が可能となる。

本実施形態では、処理負荷の高いダウンサンプリング処理専用のレジスタ（アキュムレータレジスタ）１０６を設けている。これにより、従来のようにアキュムレータレジスタが１つしかない場合には、複数の処理を時分割で処理する時には、ダウンサンプリング処理の１fｓ分の処理が終るたびにアキュムレータレジスタ内のデータをＷｏｒｋ ＲＡＭ等に待避させたり、処理の再開時にはアキュムレータレジスタに戻す必要があるが、処理負荷の高い処理専用のアキュムレータレジスタを設けたので、データ待避が不要となる。また、演算の途中結果を特に何の操作もなく保持できるので、メモリ待避等に必要な処理ステップ数が不要となる。

また、ダウンサンプリングの分散処理を、上述したように各fｓで固定的に決定するのではなく、fｓ毎に定期的に行われている処理（図３における処理Ａ，Ｂ）以外の不定期な処理（図３における処理Ｃ，Ｄ，Ｅ）の割り込みに応じて、１fｓの期間中に処理する処理ステップ数を可変させることを可能にする。例えば、多くの処理ステップ数の必要な処理が割り込み、かつ１fｓの期間中にその処理を終えてしまわなければならない場合には、ダウンサンプリング処理の当該fｓでの処理ステップ数を３５ステップよりも減らしたり、当該fｓでの処理を見送り、未処理分は、次のfｓ以降の期間で挽回するように処理ステップ数を各fｓで可変にしてもよい。

ただし、ダウンサンプリング処理は、上記例では必ず６fｓの期間内で行わなければならないので、１fｓ毎に最小限実行される処理ステップ数を確保したり、最終の６fｓ目では、他の割り込みが生じても、ダウンサンプリング処理を優先させるようにしてもよい。
また、図３の例では、各fｓの期間に空きステップが存在するが、空きステップを無駄にしないように空きステップが存在する限り、ダウンサンプリング処理を先行して実行するようにしてもよい。
なお、本実施形態では、処理負荷が高い処理としてダウンサンプリング処理を例に挙げているが、ダウンサンプリング処理に限定されない。

本発明が適用される携帯電話装置の構成を示すブロック図。 図１におけるＤＳＰの具体的構成を示すブロック図。 図２に示したＤＳＰの演算処理の実行状態の一例を示す説明図。 従来のＤＳＰの構成の一例を示すブロック図。 図４に示した従来のＤＳＰの演算処理の実行状態の一例を示す説明図。

符号の説明

１…信号処理部、２…アンテナ、３…無線送受信部、４…ベースバンドＬＳＩ、５…ディスプレイ、６…アプリケーションプロセッサ、１０…ＤＳＰ、１１…Ｄ／Ａ変換器、１２…Ａ／Ｄ変換器、２０…スピーカ、２１…マイクロフォン（
ＭＩＣ）、２２…ＦＭ音声入力部、２３…ＣＤ／ＭＤ信号入力部、２４…ＴＶ音声入力部

Claims (8)

1. 周期的にサンプリングされたディジタルデータを処理する信号処理方法において、
   複数の処理ステップを有する処理負荷の大きい処理を出力タイミングに応じて単位周期毎に前記複数の処理ステップ数を分散して割り当て、かつ上記処理負荷の高い処理専用のアキュムレータレジスタにより演算の途中結果を保持することを特徴とする信号処理方法。
2. 前記単位周期毎に定期的に処理が行われている他の処理以外の不定期に行われる処理の割り込みに応じて、前記単位周期毎に分散して割り当てられた前記処理負荷の大きい処理の処理ステップ数を、単位周期内で可変させることを特徴とする請求項１に記載の信号処理方法。
3. 前記複数の処理ステップを有する処理は、所定数の単位周期内に実行される必要が有り、前記所定数の各単位周期内で最小限、実行される処理ステップ数を決定することを特徴とする請求項１または２のいずれかに記載の信号処理方法。
4. 前記所定数の単位周期における最終の単位周期の期間においては、他の割り込みが生じても、前記処理負荷の大きい処理を優先させることを特徴とする請求項３に記載の信号処理方法。
5. 入力されたディジタルデータを一時的に記憶する入力データ記憶手段と、
   各種処理に必要な係数データを記憶する係数データ記憶手段と、
   前記入力データ記憶手段及び係数データ記憶手段から、それぞれ読み出された入力データ及び係数データに基づいて演算処理する演算手段と、
   前記演算手段の演算結果を保持する第１のアキュムレータレジスタと、
   演算処理のための各種命令及び、データの書き込み及び読み出しのためのアドレスデータ及び制御信号を生成し、出力する制御手段とを有し、周期的にサンプリングされたディジタルデータを処理する信号処理装置において、
   複数の処理ステップを有する処理負荷の高い処理専用の第２のアキュムレータレジスタを別設し、
   前記制御手段は、前記複数の処理ステップを有する処理負荷の大きい処理に対して出力タイミングに応じて単位周期毎に前記複数の処理ステップ数を分散して割り当て、かつ前記第２のアキュムレータレジスタにより前記処理負荷の大きい処理に関する演算の途中結果を保持するように制御することを特徴とする信号処理装置。
6. 前記制御手段は、前記単位周期毎に定期的に処理が行われている他の処理以外の不定期に行われる処理の割り込みに応じて、前記単位周期毎に分散して割り当てられた前記処理負荷の大きい処理の処理ステップ数を、単位周期内で可変させることを特徴とする請求項５に記載の信号処理装置。
7. 前記制御手段は、前記複数の処理ステップを有する処理は、所定数の単位周期内に実行される必要が有り、前記所定数の各単位周期内で最小限、実行される処理ステップ数を決定することを特徴とする請求項５または６のいずれかに記載の信号処理装置。
8. 前記制御手段は、前記所定数の単位周期における最終の単位周期の期間においては、他の割り込みが生じても、前記処理負荷の大きい処理を優先させることを特徴とする請求項７に記載の信号処理装置。
   
   

Images