JP4348546B2 - 信号処理装置、信号処理プログラムおよび記録媒体 - Google Patents

信号処理装置、信号処理プログラムおよび記録媒体 Download PDF

Info

Publication number
JP4348546B2
JP4348546B2 JP2005012256A JP2005012256A JP4348546B2 JP 4348546 B2 JP4348546 B2 JP 4348546B2 JP 2005012256 A JP2005012256 A JP 2005012256A JP 2005012256 A JP2005012256 A JP 2005012256A JP 4348546 B2 JP4348546 B2 JP 4348546B2
Authority
JP
Japan
Prior art keywords
signal processing
plug
graph
processing software
delay
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005012256A
Other languages
English (en)
Other versions
JP2006201988A (ja
Inventor
功誠 山下
靖 宮島
基行 高井
曜一郎 佐古
俊郎 寺内
徹 佐々木
祐市 酒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005012256A priority Critical patent/JP4348546B2/ja
Priority to KR1020060002602A priority patent/KR101182262B1/ko
Priority to US11/336,284 priority patent/US7954113B2/en
Priority to CNB2006100059725A priority patent/CN100385393C/zh
Publication of JP2006201988A publication Critical patent/JP2006201988A/ja
Application granted granted Critical
Publication of JP4348546B2 publication Critical patent/JP4348546B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38Concurrent instruction execution, e.g. pipeline or look ahead
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/20Software design
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/22Microcontrol or microprogram arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Stored Programmes (AREA)

Description

この発明は、複数の信号処理単位要素からなる信号処理をソフトウエア処理により行なう信号処理装置およびその信号処理プログラム、さらには、その信号処理プログラムを記録した記録媒体に関する。
近年の市販のコンピュータは性能が著しく向上し、従来では難しかった動画や音楽のコンピュータ上での再生が可能となってきた。特に、動画や音声の信号処理を行なうアプリケーションに関しては、従来のDSP(Digital Signal Processor)等の専用信号処理デバイスや専用ハードウエアを用いなくとも、ソフトウエア処理にて、容易にリアルタイム信号処理が可能となってきた。
これらの信号処理アプリケーションを支える技術として、各種の信号処理ミドルウエアが存在している。例えば、Microsoft(登録商標)社製のDirectShow(非特許文献1参照)や、The MathWorks(登録商標)社製のMATLAB(非特許文献2参照)、Cycling‘74社製のMax/MSP(非特許文献3参照)などがある。
信号処理アプリケーションは、これらのミドルウエアを利用することにより、高度な機能を比較的容易に実現することができる。例えば、音声について言えば、録音・再生、入出力、ミキシング、特殊効果等が、信号処理アプリケーションにより実現されている。また、動画について言えば、ノンリニア編集等の高度な編集機能を有する信号処理アプリケーションが実現されている。
また、この種のミドルウエアとして、プラグイン構造を有するものも提案されている(特許文献1(特開2001−109628公報)および特許文献2(特開平7−302195号公報)参照)。ここで、プラグインとは、機能をモジュール化したものであり、ソフトウエアアプリケーションである。なお、この明細書では、信号処理を扱うので、プラグインは、信号処理ソフトウエアモジュールを構成するソフトウエアアプリケーションのことを指す。
このプラグインを用いることにより、ユーザは、必要なときに必要な信号処理ソフトウエアモジュールをアドオンして利用することができる。プラグインは、単体で使われることが多いが、近年、これらのプラグインを複数組み合わせて、複合的な機能を作り出すことのできる新たなシステムがいくつか存在してきている。この複合プラグインシステムは、新たな付加価値を生み出すシステムとして今後の主流となって行くものと予想される。
上記の特許文献は以下の通りである。また、非特許文献は、次に示すアドレスのサイトにおいて説明されている。
特開2001−109628公報 特開平7−302195号公報 http://msdn.microsoft.com/library/defalt.asp?url=/library/en-us/directx9_c/directX/htm/directshow.asp http://www.mathworks.com/ http://www.cycling74.com/products/maxmsp.html
しかしながら、現在存在している複合プラグインシステムには、以下のようないくつかの欠点がある。
(a)プラグインを多段に結線すると処理遅延(レーテンシー)が比例して増大する。
(b)プラグイン間の結線に制限があり、フィードバックループの結線ができない。
(c)信号処理動作中にプラグイン間の結線状態を変更できない。
(d)処理速度が遅いために多くの機能をリアルタイムで実行する事が難しい。
(e)音声と画像の同期やパラメータの変更においてサンプル精度での制御ができない。
(f)1台のコンピュータ上で閉じた形でしか信号処理できない。
これまで、上記欠点を部分的に解決するミドルウエアはいくつか存在しているが、全ての欠点を同時に解決することができるミドルウエアは存在していない。何故なら、相反する問題(ある一つの問題を解決すると他の問題へ悪影響を与える問題)を含んでいるからである。例えば、上記(b)と(d)を同時に解決することは非常に難しい。
これらの欠点が存在することで、従来のミドルウエアの製品への組み込み利用において致命的な障壁となっているケースも少なくない。
そこで、出願人は、上記の問題点を解決した信号処理装置を先に提案した。この先に提案した信号処理装置によれば、プラグイン間の結線に制限は無く、フィードバックループの結線が可能になった。
このような信号処理装置において、従来から避けて通れない問題がある。すなわち、一般的なディジタル信号処理理論における「シグナルフローグラフ中のフィードバックループには、必ず一つ以上の遅延素子を含む必要がある。」という条件である。
これは、信号処理の因果性を満たすために必要である。例えば上述の信号処理装置などを使用して、ユーザが、遅延素子を含まないフィードバックループ回路を作成しようとした場合、それでは正しい信号処理結果が得られないため、直ちにその信号処理動作を解除・破棄する必要がある。さもなければ、このような回路は、正しい信号処理を行なうことができないために、ノイズ等の不要な信号を出力してしまうからである。
ただ、このようなユーザ操作は日常よくあることであり、特に、「フィードバックループに遅延素子を含む必要がある」という知識を持たないユーザには、信号処理装置において、信号処理回路の生成処理操作が煩雑でわかりにくいという問題がある。
この発明は、上記の問題点にかんがみ、上記欠点を解決することができる信号処理装置を提供することを目的とする。
上記課題を解決するために、請求項1の発明は、
複数の信号処理単位要素からなる信号処理を、時刻情報に同期して順次に入力されるデータ信号に対してソフトウエア処理により行なうコンピュータを備えると共に、前記信号処理単位要素の信号処理を前記コンピュータによるソフトウエア処理によりそれぞれ行なうための信号処理ソフトウエアモジュールの複数個を格納する格納部を有する信号処理装置であって、
前記コンピュータを、
ユーザからの前記信号処理ソフトウエアモジュールの生成または削除指示、および前記ユーザからの前記信号処理ソフトウエアモジュールの入出力の接続指示、さらに信号処理開始指示を受け付ける指示入力受付手段、
前記指示入力受付手段で受け付けられた前記生成指示および前記削除指示に基づき前記格納部に格納されている前記複数の信号処理ソフトウエアモジュールから、前記信号処理に用いる前記信号処理ソフトウエアモジュールを選択すると共に、前記入出力の接続の指示に応じて、前記選択された複数個の前記信号処理ソフトウエアモジュールの入出力における信号の授受を意味する仮想的な接続状態を設定する仮想接続手段、
前記仮想接続手段で設定された、前記選択された前記複数個の信号処理ソフトウエアモジュールの入出力の前記仮想的な接続状態を記憶して管理する回路構成情報記憶管理手段、
前記回路構成情報格納管理手段に記憶されている前記複数個の信号処理ソフトウエアモジュールのそれぞれの信号処理順序を決定するために信号処理経路を探索する経路探索手段、
前記指示入力受付手段で受け付けられた前記信号処理開始指示に基づき、前記経路探索手段での経路探索に基づいて決定された信号処理順序で、前記信号処理ソフトウエアモジュールのそれぞれを前記データ信号に同期した前記時刻情報に基づいて逐次的に実行させて前記入力されるデータ信号の信号処理を実行し、その信号処理結果のデータ信号を出力する信号処理実行手段、
前記複数個の信号処理ソフトウエアモジュールからなる構成回路中に、前記データ信号の1サンプル以上の遅延が発生する前記信号処理ソフトウエアモジュールが含まれないフィードバックループが生成されたと判断するとき、前記フィードバックループに前記データ信号の1サンプル以上の遅延が発生する前記信号処理ソフトウエアモジュールを自動的に追加挿入するかどうかのプリセット設定入力を受け付けるプリセット手段、
として機能させると共に、
前記経路探索手段は、前記複数個の信号処理ソフトウエアモジュールからなる構成回路中に、前記データ信号の1サンプル以上の遅延が発生する前記信号処理ソフトウエアモジュールが含まれないフィードバックループが生成されたかをチェックし、前記データ信号の1サンプル以上の遅延が発生する前記信号処理ソフトウエアモジュールが含まれないフィードバックループが生成されたと判断するとき、前記プリセット手段による前記プリセット設定入力を参照し、前記自動的に追加挿入すると設定されているときに、前記フィードバックループに前記データ信号の1サンプル以上の遅延が発生する前記信号処理ソフトウエアモジュールを追加挿入する
信号処理装置を提供することを特徴とする。
この請求項1の発明によれば、信号処理ソフトウエアモジュールからなる構成回路中に、遅延素子が含まれないフィードバックループが生成されたことが検出された場合に、ユーザに対して警告を送出するようにするので、ユーザは、「フィードバックループに遅延素子を含む必要がある」という知識を持たなくても、的確な措置を講じることができるようになるという効果がある。
請求項2の発明は、
複数の信号処理単位要素からなる信号処理をソフトウエア処理により行なう信号処理装置であって、
前記信号処理単位要素をソフトウエア処理によりそれぞれ行なう信号処理ソフトウエアモジュールの複数個と、
ユーザからの前記信号処理ソフトウエアモジュールの生成または削除指示、および前記ユーザからの前記信号処理ソフトウエアモジュールの入出力の接続指示を受け付ける指示入力受付手段と、
前記指示入力受付手段で受け付けられた前記ユーザからの指示に応じて複数個の前記信号処理ソフトウエアモジュールの入出力の仮想的な接続状態を設定する信号処理ソフトウエアモジュール間接続手段と、
前記設定された前記複数個の信号処理ソフトウエアモジュールの入出力の仮想的な接続状態を記憶して管理する回路構成情報記憶管理部と、
前記回路構成情報記憶管理部に記憶されている前記複数個の信号処理ソフトウエアモジュールのそれぞれの信号処理順序を決定するために信号処理経路を探索する経路探索手段と、
前記経路探索手段での経路探索に基づいて決定された信号処理順序で、前記信号処理ソフトウエアモジュールのそれぞれを逐次的に実行させて前記信号処理を実行する信号処理実行手段と、
前記経路探索手段において、前記複数個の信号処理ソフトウエアモジュールからなる構成回路中に、遅延素子が含まれないフィードバックループが生成されたことが検出された場合に、前記フィードバックループに遅延素子を追加挿入する手段と、
を備えることを特徴とする信号処理装置を提供する。
この請求項2の発明によれば、信号処理ソフトウエアモジュールからなる構成回路中に、遅延素子が含まれないフィードバックループが生成されたことが検出された場合に、フィードバックループに自動的に遅延素子が追加挿入されるので、「フィードバックループに遅延素子を含む必要がある」という知識を持たないユーザであっても、フィードバックループを備える回路を容易に構築することができるようになるという効果がある。
請求項1の発明によれば、信号処理ソフトウエアモジュールからなる構成回路中に、遅延素子が含まれないフィードバックループが生成されたことが検出された場合に、ユーザに対して警告を送出するようにするので、ユーザは、「フィードバックループに遅延素子を含む必要がある」という知識を持たなくても、的確な措置を講じることができるようになる。
また、請求項2の発明によれば、「フィードバックループに遅延素子を含む必要がある」という知識を持たないユーザであっても、フィードバックループを備える回路を容易に構築することができるようになるという効果がある。
以下、この発明による信号処理装置の実施形態を、図を参照しながら説明する。
[第1の実施形態]
この発明による信号処理装置の実施形態は、汎用信号処理ミドルウエアであり、以下、このミドルウエアをSSP(Software Signal Processor)と呼ぶ。なお、以下の実施形態の説明においては、信号処理として音声信号処理の場合を例にとる。
SSPは、図2に示すように、汎用OS(Operating System)と、アプリケーションソフトウエアとの間に位置するもので、アプリケーションは、SSPを利用することで、容易に高度な信号処理機能を実現することができる。また、SSPはGUI(Graphical User Interface)を持つことを必要としないミドルウエアであるので、表示装置を持たない組み込み機器用の信号処理エンジン用としても利用することができる。
[実施形態の信号処理装置の概要]
この発明による信号処理装置の実施形態のSSPは、グラフ構造を有するミドルウエアであり、基本的には、一つのコンピュータに実現されるが、後で説明するように、ネットワークを通じて接続された複数台のコンピュータにおいて、実現することもできる。
SSPとしての実施形態の信号処理装置は、この例においては、ソフトウエアで構成されるグラフモジュール(以下、単にグラフという)と、ソフトウエアで構成されるプラグインモジュール(以下、単にプラグインという)との2大要素により構成されている。
プラグインモジュールは、信号処理の単位要素、例えば、フィルタ、イコライザ、ゲイン制御などを実行する信号処理ソフトウエアモジュールである。
プラグインは、この例では、複数の入力ポートおよび複数の出力ポートを有することが可能であり、入力ポートから入力された音声信号に対して、当該プラグイン固有の信号処理を施して、出力ポートから出力する働きを持つ。
プラグインの出力ポートを他のプラグインの入力ポートに接続(ハードウエア的に結線接続されるのではなく、あるプラグインの出力信号が、他のプラグインに入力されることを意味する仮想的な接続状態となること。以下、単に接続と記す)することにより、複数個のプラグインを接続して、複合的な信号処理機能を実現することが可能である。ここで、プラグインは、入力ポートと出力ポートの組み合わせでのみ接続することができ、入力ポート同士や出力ポート同士を接続することはできない。
グラフは、SSPのシステムとしての役割を担っている部分であり、複数のプラグインを包含する働きを持つ。グラフは、種々の信号処理関数を保持している。そして、グラフは、ユーザからの操作入力を受けて、プラグインの生成、削除、ポート間の結線を行ない、その結果の回路構成情報を保持する。グラフの保持する信号処理関数には、プラグイン生成削除関数が含まれている。したがって、グラフ内部には、複数個のプラグインからなる任意の回路を構成することができる。
そして、グラフは、当該グラフの信号処理関数がコールされると、自分が受け取った時刻情報付の音声データを、内包するプラグインに順次渡してゆく。プラグインに音声データや付随情報の入出力を行なうのもグラフの役割である。
また、グラフは、プラグインの性質を持っている。このため、グラフは、プラグインと同様に、入出力ポートを持ち、他のプラグインと相互に接続することもできる。そして、グラフは複数のプラグインを包含できるため、グラフを作成することにより、複数のプラグインからなる回路ブロック(グラフ)を一つのプラグインとして扱うことができる。この場合のプラグインとして扱われるグラフは、複数の回路をまとめて一つの部品として扱うことができる働きを持つことになる。
[グラフの例]
図3に、内部に複数個のプラグインを包含するグラフの一例を示す。なお、実施形態の信号処理装置では、パーソナルコンピュータで構成することができ、ユーザの入出力を受け付けて、このパーソナルコンピュータの表示部に、ユーザ指示に応じて、グラフやプラグイン、それらの接続状態をグラフィック表示することできるようにされている。
この図3の例では、ユーザは、先ず、最初に基本となるルートグラフ200を作ってから、このグラフ200内に、複数のプラグイン201〜204からなる回路を作成するようにする。プラグイン201〜204のそれぞれは、予め、パーソナルコンピュータに格納されているのを選択して用いることができる。ここで言う格納状態とはオブジェクト指向におけるクラスというテンプレート状態であり、まだ実際のオブジェクトは生成されていない状態を指す。
ユーザは、例えば、プラグイン201〜204のそれぞれを、パーソナルコンピュータの格納部に格納されているプラグインから選択して、グラフ200内に動的に生成(設置)する。ここで初めてオブジェクト指向におけるオブジェクトが生成される。そして、ユーザは、プラグイン201〜204の出力ポートと入力ポートとの結線、また、グラフ200と、プラグイン201、204との結線などの指示をして、図3に示すような回路を構成する。
グラフ200は、内部のプラグイン201〜204の回路構成情報を保持する。そして、ユーザが、ルートグラフ200の信号処理関数を一回コールするだけで、ルートグラフの信号処理関数内から、順に、内包するプラグインの信号処理関数が再帰的にコールされ、信号処理に関する計算処理が逐次に行なわれてゆく。この再帰的な信号処理関数コールの伝播が、SSPシステムそのものである。
図4は、内部に複数個のプラグインを包含するグラフの他の例を示す。前述したように、グラフは、プラグインでもある。したがって、グラフは、内部にグラフ以外のプラグインと、グラフ自身(子グラフ)を含むことができる再帰的な構造をとることができる。また、他のプラグインと同様に入出力ポートも持っている。グラフの内部は、グラフ外から見るとブラックボックスになっている。グラフ内部には、複数のプラグインからなる回路ブロックが形成されている。
図4において、グラフ400が親グラフである。この親グラフ400は、その内部に、子グラフのグラフ401とプラグイン405を保持している。さらに、子グラフ401は、その内部にプラグイン402、プラグイン403、プラグイン404を保持している。親グラフ400からは、子グラフ401内部のプラグイン402、プラグイン403、プラグイン404は見えずに、子グラフ401が一つのプラグインとして見える。
ユーザは、まず、最初に、ルートとなるルートグラフ(親グラフ400)を一つ作る。ユーザは、このルートグラフ400のプラグイン生成削除関数を呼び出すことで、ルートグラフ内部に子グラフ401やプラグイン405を生成することができる。
さらに、ユーザは、子グラフ401のプラグイン生成削除関数を呼び出すことで、同様に、プラグイン402、プラグイン403、プラグイン404を生成することができる。
信号処理実行を行なうには、ユーザは、まず、このルートグラフ400の信号処理関数をコールする。すると、ルートグラフ400の信号処理関数内から順に内包するプラグインとしての子グラフ401、プラグイン405の信号処理関数が再帰的にコールされ、計算処理が逐次行なわれていく。この再帰的な信号処理関数コールの順番を決定するのもグラフの機能である。
子グラフ401では、この子グラフ401の信号処理関数が最初にコールされる。そして、当該子グラフ401の信号処理関数内から、順に内包するプラグイン402,403,404の信号処理関数が再帰的にコールされ、計算処理が逐次行なわれていく。
SSPシステムとは、以上のようなグラフの働きそのものである。プラグインの生成削除処理、プラグイン間の結線処理、プラグイン間のデータの受け渡し処理、プラグインに対する時刻情報・音声情報と映像情報との同期付与処理、各プラグインの信号処理関数の逐次的な呼び出しとその呼び出し順の決定など、システムに必要な機能をこのグラフというプラグイン自身が処理している。
以下の説明において、システムという語を用いる場合における当該「システム」という語は、グラフそのもの、およびグラフが有する機能のことを指す。
図5は、実装例としてのSSPミドルウエアの全体構造を示すUML(Unified Modeling Language)クラス図である。オブジェクト指向で表現しており、クラスとインターフェース(API(Application Programming Interface))が定義されている。
プラグインクラス(CPlugin)は、プラグインインインターフェース(IPlugin)を継承しており、プラグイン固有のインターフェースを実装するものである。プラグインクラスは、複数の入力ポートクラス(CInputPort)および出力ポートクラス(COutputPort)を保持している。
また、プラグインクラスは、その働きに応じて複数の種類が存在している。例を挙げると、例えば足し算を行なうプラグインクラスは、アダープラグイン(Adder Plugin)クラスであり、掛け算を行なうプラグインクラスは、マルチプライヤープラグイン(Multiplier Plugin)クラスである。これらのクラスは、自作プラグイン(CMyPlugin)クラスとして分類される。自作プラグインクラスは、プラグインクラスを継承している。この例のミドルウエアユーザは、プラグインテンプレートを使用することにより、容易に自作プラグインを作成することができる。
次に、グラフクラスについて説明する。グラフクラス(CGraph)は、複数のプラグインクラスを包含するものである。グラフクラスもプラグインクラス同様、プラグインインターフェース(Plugin Interface(IPlugin))を継承しており、グラフクラス自身もプラグインクラスの一つである。
そのため、グラフ内部に更に別のグラフ、プラグインを包含するという再帰的な階層構造を構成することができる。これは、一般的なオブジェクト指向設計手法である「デザインパターン」のコンポジットパターン(Composite Pattern)と呼ばれる構造に相当する。
さらに、グラフはプラグインの性質も兼ね備えているため、他のプラグイン同様、入出力ポートを持ち、他のプラグインと相互に結線することができる。グラフオブジェクトを作成することにより、複数のプラグインオブジェクトからなる回路ブロックを一つの部品オブジェクトとして扱うことができる。
グラフクラス、プラグインクラスともに、インターフェース(API)が定義されており、SSPミドルウエアのクライアントとなるアプリケーションからは、このAPIをコールすることにより、このオブジェクトを制御することができる。ユーザがSSPシステムに対して行なう操作とは、この2つのオブジェクトに対する操作のことである。
[プラグインの構成について]
図6は、プラグインの構成の一例を示す図である。前述もしたように、プラグインは、信号処理ソフトウエアモジュールであるので、この図6の構成の各部は、ハードウエアとして備えるのではなく、ソフトウエアの機能として備えるものである。
図6に示すように、プラグイン600は、信号処理部601を備えると共に、0個以上の入力ポート602と、0個以上の出力ポート603とを持つことが可能である。すなわち、プラグイン600は、入力ポート602を持たない場合と、出力ポート603を持たない場合があると共に、1個または複数個の入力ポート602、出力ポート603を持つことが可能である。
各プラグイン600は、入力ポート602および出力ポート603を通して、他のプラグインと信号のやり取り、この例では音声データのやり取りをすることができる。この例においては、1ポート当たり1チャンネル分の音声信号を入出力する。
プラグイン600に対して入力ポート602および出力ポート603の追加・削除を、ユーザが指示することで、プラグイン600が持つ入力ポート602および出力ポート603の数を信号処理中でも動的に変更することができるように構成されている。入力ポート602および出力ポート603には、追加した順番により0〜N(Nは任意の自然数)および0〜M(Mは任意の自然数)の識別番号が与えられ、ユーザは、この識別番号により、入力ポート602の一つおよび出力ポート603の一つを指定することができる。
また、プラグイン600は、内部に0個以上のパラメータ保持部(パラメータバッファ)604を備え、当該パラメータ保持部604に0個以上のパラメータを持つことが可能である。ここで、パラメータとは、信号処理における効果の量などを設定する可変値のことであり、ユーザにより入力設定される。例えば、プラグイン600がアンプの場合を例に取ると、増幅ゲイン値などがそれに相当する。プラグイン600を使用するユーザは、プラグイン600のパラメータ値を変更することにより、信号処理の効果を変えることができる。
この例では、パラメータには、0〜K(Kは任意の自然数)の識別番号が割り当てられている。ユーザは、任意のパラメータの識別番号を指定することにより、任意のタイミングでパラメータバッファの内容を変更することができる。プラグイン600の機構として、ユーザから与えられたパラメータは、一旦、プラグイン600内部のパラメータバッファ604に保持される。そして、システム(グラフのこと)から与えられるサンプルデータに同期した時刻情報に基づいてパラメータが読み出されて、信号処理部601に送られて、その信号処理に用いられる。
また、プラグイン600には、時刻情報のレジスタ部605を備え、このレジスタ部605には、SSPシステム(グラフのことである)から、常に、時刻情報が入力されている。この時刻情報とは、SSPシステムを開始した時点(グラフの信号処理関数を開始した時点)を起点とする音声入出力データサンプルの積算カウント数である。この積算カウント数がSSPシステムで最も基本となる時刻情報である。
この実施形態のSSPシステムでは、時刻情報と音声入出力データは完全に同期している。すなわち、SSPシステムは、プラグイン600に対して音声データと同時に時刻情報を与える。したがって、時刻情報は、プラグイン600に入力される音声データのデータサンプルのタイムスタンプの役割を果たしている。このため、プラグイン600自身は、これから信号処理の対象となる入力データが、絶対時刻で何サンプル目かという詳細な時刻情報を知ることができる。SSPシステム内に存在する全てのプラグインは、この絶対時刻を参照して同期しているため、SSPシステム内の回路全体として、サンプル精度の同期信号処理を実現することができる。
プラグイン600は、内部に信号処理部601を持っている。他のプラグインから入力された音声データは、入力ポート602を通じて信号処理部601へ送られる。信号処理部601では、入力ポート602から得た音声データに対して、時刻情報や信号処理部601へ送られてきたパラメータ値を参照しながら、そのプラグイン固有の信号処理を施す。信号処理部601で処理された音声データは、出力ポート603を経て他のプラグインへ送信される。
プラグイン600での処理は、時刻情報に同期することにより、1サンプル単位だけではなく、複数サンプル単位、例えばパケット単位で行なうことができる。プラグインでは、処理単位毎に、信号処理関数のコールを行なう。したがって、パケット単位で信号処理をする場合には、信号処理関数のコールが1パケットで一回となり、関数コールが少なくなる分だけ、信号処理速度が速くなる。
[グラフの構成例]
図7は、グラフの一例を示す構成図である。前述もしたように、グラフは、信号処理ソフトウエアモジュールであるので、この図7におけるグラフ700の構成の各部は、ハードウエアとして備えるのではなく、ソフトウエアの機能として備えるものである。
前述したように、グラフはプラグインとしての性質をも有するものであり、信号処理部701と、入力ポート702と、出力ポート703と、パラメータバッファ704と、時刻情報のレジスタ部705とを備えている。信号処理部701は、当該グラフ内に包含されるプラグインを読み出す処理を行なうものである。入力ポート702と、出力ポート703と、パラメータバッファ704と、時刻情報のレジスタ部705の機能は、図6を用いて説明したプラグイン600の、対応する部位と同様であるので、ここでは、その説明は省略する。なお、パラメータバッファ704のパラメータは、グラフ700に対するパラメータであることは言うまでもない。
次に、グラフ特有の機能について説明する。
グラフ700は、内部にプラグイン生成・保持部706を備えている。グラフ700は、0個以上のプラグインを内部に包含することができる。ユーザは、グラフに対してプラグインの追加・削除を指示することで、信号処理中でも動的にプラグインの生成・削除することができる。信号処理中の動的なプラグインの生成・削除については後で、詳述する。
グラフ700においては、生成したプラグインには追加した順番により0〜J(Jは任意の自然数)の識別番号が与えられる。このため、ユーザは、この識別番号によりプラグインを識別することができる。但し、グラフ700は、プラグイン生成・保持部706には、この識別番号の順番でプラグインを保持しているわけではない。グラフ700内のプラグインは、後述する逐次計算順序の順番にソートされた状態で、プラグイン生成・保持部706に保持している。
ユーザは、グラフ700に対して、当該グラフ700が内包するプラグイン間の結線も指示することができる。任意のプラグインの出力ポートと任意のプラグインの入力ポートとの結線状態を、信号処理中でも動的に変更することが可能である。これらは、ユーザがグラフ700に対してプラグインの識別番号とポートの識別番号とを指定することで実行することができる。グラフ700は、ユーザからの結線変更指示により、プラグインの結線状態を変更する処理を行なう。
ユーザは、グラフ700に対して、信号処理の開始を指示する。ユーザが、グラフ700の信号処理関数をコールすると、グラフ700の信号処理関数内から順に、当該グラフ700が内包するプラグインの信号処理関数が再帰的にコールされる。信号処理関数がコールされると、プラグイン生成・保持部706に、逐次計算順序の順番にソートされた状態で保持されている、グラフ700が内包するグラフやプラグインの信号処理部が、前記逐次計算順序に従って、順次、実行処理される。
グラフ700が内包するグラフやプラグインの計算処理が逐次的に行なわれていくことで、グラフ700内に構成された回路全体の複合的な信号処理が実現される。この逐次計算順序は、プラグイン間の結線構造により、システム(グラフ700)が決定する。
ユーザの指示によりプラグインの追加・削除・入力ポート・出力ポートの結線状態の変更など、回路状態に変更がある場合、グラフ700は、後述するような経路探索を実行することにより、自己が内包するプラグインおよび子グラフについて最適な逐次計算順序を自動的に求める。子グラフが内包するプラグインについての最適な逐次計算順序は、当該子グラフが、経路探索を実行することにより自動的に求める。
上記のグラフで行なわれる経路探索の結果、プラグイン生成・保持部706のプラグイン群(プラグインとしての子グラフを含む)は、この最適な逐次計算順序の順番でソートされた状態で保持されている。グラフが備える経路探索のアルゴリズムについては、後で詳細に説明する。
[グラフの機能ブロック図]
図1は、信号処理装置の第1の実施形態において、グラフが備える機能をブロック化して示したグラフの構成の機能ブロック図である。すなわち、グラフは、指示入力受付機能部1と、プラグイン生成削除機能部2と、プラグイン間結線処理機能部3と、回路構成情報格納管理機能部4と、経路探索機能部5と、信号処理順序管理機能部6と、信号処理実行機能部7と、信号処理関数格納部8と、エラー警告機能部9とを備える。
指示入力受付機能部1は、ユーザからのプラグイン生成あるいは削除指示、入出力ポートの結線指示、パラメータ入力指示などを受け付け、プラグイン生成あるいは削除指示は、プラグイン生成削除機能部2に渡し、入出力ポートの結線指示は、プラグイン間結線処理機能部3に渡す。また、プラグイン生成あるいは削除指示、また、入出力ポートの結線指示があると、指示入力受付機能部1は、経路探索機能部5を起動させて、経路探索を実行させるようにする。また、指示入力受付機能部1は、パラメータ入力指示を受け付けたときには、パラメータバッファに入力されたパラメータを保持する機能を備えている。
プラグイン生成削除機能部2は、指示入力受付機能部1からのプラグイン生成あるいは削除指示を受けて、プラグインの生成あるいは削除処理を行なう。すなわち、プラグイン生成時には、生成されたプラグインに識別番号を付与し、回路構成情報格納管理機能部4に、当該識別番号を含むプラグインの生成情報を渡す。また、プラグイン削除時には、削除されたプラグインの識別番号と、その削除依頼とを含む削除情報を回路構成情報格納管理機能部4に渡す。
プラグイン間結線処理機能部3は、指示入力受付機能部1からのプラグイン間の結線指示を受けて、当該結線指示により指定されたプラグインの出力ポートと入力ポートとの結線情報を回路構成情報格納管理機能部4に渡す。
回路構成情報格納管理機能部4は、プラグイン生成削除機能部2やプラグイン間結線処理機能部3からのプラグインの生成情報、削除情報、結線情報から、グラフ内に構成される回路情報を記憶し、管理する。
経路探索機能部5は、指示入力受付機能部1からの、プラグイン生成あるいは削除指示、また、入出力ポートの結線指示に基づく起動依頼を受けて、後述する経路探索のアルゴリズムを、起動して実行する。この経路探索のアルゴリズムの実行の結果、定められたプラグインの逐次計算順序(信号処理順序)の情報を、信号処理順序管理機能部6に送る。信号処理順序管理機能部6は、前述の図7に示したプラグイン生成・保持部706に、当該信号処理順序の順番でプラグインの識別情報を並べて保持するようにする。
信号処理実行機能部7は、図1に示すように、データ受け渡し処理部71と、信号処理関数呼出部72と、信号処理時刻管理部73と、信号処理同期管理部74とを備えている。
信号処理実行機能部7は、指示入力受付機能部1を通じて入力される信号処理開始指示に基づいて、グラフ内に構成された回路による信号処理を開始する。ユーザが、グラフ700の信号処理関数のコールを指示すると、信号処理関数呼出部72が、信号処理関数格納部8から指示されたグラフの信号処理関数を読み出す。信号処理関数呼出部72は、グラフの信号処理関数は、ユーザ指示により読み出しを行なうが、グラフ内の各プラグインの信号処理関数は、前記グラフの信号処理関数内から順に、それぞれのプラグインの信号処理関数を再帰的に呼び出す。
そして、信号処理実行機能部7のデータ受け渡し処理部71は、回路構成情報格納管理機能部4の格納回路情報を参照し、回路構成に従って、この例では、音声データを順次にプラグインに渡してゆくようにする。
信号処理時刻管理部73は、このデータ受け渡し処理部71によるデータサンプル単位の時刻を管理する。信号処理同期管理部74は、パケット単位の信号処理時のパケット同期処理(例えばパケットの先頭の管理)や、前述した音声データの処理タイミングを、映像データのフレームに同期させるAV同期などを管理する。
経路探索機能部5は、信号処理実行機能部7による信号処理中であっても、指示入力受付部1からのグラフ内の回路構成の変更要求を受け付けて、変更された回路構成についての経路探索を実行し、その探索結果を回路構成情報格納管理機能部4および信号処理順序管理機能6に伝える。これにより、信号処理実行機能部7は、その後は、変更された回路構成において、変更後の経路探索結果に基づいた信号処理順序で信号処理が実行される。
ところで、前述したように、一般的なデジタル信号処理理論における「信号処理フローグラフ中のフィードバックループには必ず1つ以上の遅延素子を含む必要がある」という条件を満たすように、グラフ内に信号処理の回路構成が作成される必要がある。
しかし、ユーザがフィードバックループに遅延素子を含む必要があるという知識を持たない場合には、上述の条件を満足しない回路がグラフ内に作成されるおそれがある。経路探索機能部5は、このようにフィードバックループ内に遅延素子が含まれない回路がグラフ内に構成された場合には、後述するよう初期経路探索アルゴリズムにおいて、異常なケースの発生として、それを検知するようにする。そして、経路探索機能部5は、異常なケースの発生を検知したときには、エラー発生のエラー検知結果をエラー警告機能部9に送出する。
エラー警告機能部9は、経路探索機能部5からのエラー発生のエラー検知結果を受けて、フィードバックループ内に遅延素子が含まれない回路がグラフ内に構成されたと判別した場合には、例えば「遅延の無い閉ループは作れません」などの警告メッセージを、音声により放音したり、ディスプレイに表示したりして、ユーザに警告をするようにする。
ユーザは、この警告を受けて、自分が作成した回路のフィードバックループを検証し、適切な位置に遅延素子を追加挿入する修正操作をすることができる。
[グラフ構造を有する回路作成処理]
次に、この発明の実施形態による信号処理回路の作成処理の流れを、図8の回路構成をグラフ内に作成する場合を例にとって説明する。以下の説明においては、グラフやプラグインを総称してオブジェクトと呼ぶ。オブジェクトとは、オブジェクト指向におけるインスタンスを指し、グラフやプラグインの実体そのものである。
オブジェクト生成時の各グラフや各プラグインのデフォルト入出力ポート数(初期値)は下記の通りである。なお、ユーザは、オブジェクト生成後に入力ポートおよび/または出力ポートを追加又は削除することが可能である。
親グラフ800:入力ポート数0、出力ポート数0
プラグイン801:入力ポート数0、出力ポート数1
プラグイン802:入力ポート数1、出力ポート数0
子グラフ803:入力ポート数1、出力ポート数1
プラグイン804:入力ポート数1、出力ポート数1
プラグイン805:入力ポート数2、出力ポート数2
プラグイン806:入力ポート数1、出力ポート数1
なお、以下の説明において、入力ポートおよび出力ポートの後の数字は、ポート番号であり、0,1,2が用いられている。
[回路作成手順]
次に、図8の回路の作成手順を、図9〜図12のフローチャートを参照しながら説明する。なお、図9〜図12は、説明の理解を容易にするため、ユーザの指示と、実施形態の信号処理装置における処理とを対応させて示したものである。図示は、省略したが、実施形態の信号処理装置は、表示画面に、ユーザの指示入力に応じた表示を行なってゆくものであり、ユーザは、その表示画面を見ながら操作入力をすることができるものである。
先ず、ユーザは、グラフ800(親グラフ)のオブジェクトの作成指示をする(ユーザ指示(1))。すると、信号処理装置では、ルートオブジェクトとして、親グラフ800を生成して、登録する(ステップS101)。
次に、ユーザは、グラフ800のオブジェクトに対してプラグイン801オブジェクトの作成を指示する(ユーザ指示(2))。すると、信号処理装置では、作成されたグラフ800のプラグイン生成削除機能により、グラフ800内にプラグイン801が生成されて登録される(ステップS102)。グラフ800内の経路探索機能部5は、このプラグインの生成指示に基づいて、経路探索を実行する(ステップS103)。
次に、ユーザは、グラフ800のオブジェクトに対してプラグイン802オブジェクトの作成を指示する(ユーザ指示(3))。すると、信号処理装置では、グラフ800のプラグイン生成削除機能により、グラフ800内にプラグイン802が生成されて登録される(ステップS104)。グラフ800内の経路探索機能部5は、このプラグインの生成指示に基づいて、経路探索を実行する(ステップS105)。
次に、ユーザは、グラフ800のオブジェクトに対してグラフ803オブジェクト(子グラフ)の作成を指示する(ユーザ指示(4))。すると、グラフ800では、プラグイン生成削除機能により、グラフ800内に子グラフ803をプラグインとして生成して登録する(ステップS106)。グラフ800内の経路探索機能部5は、このプラグインの生成指示に基づいて、経路探索を実行する(ステップS107)。
次に、ユーザは、グラフ803のオブジェクトに対して入力ポート0(外)の作成を指示する(ユーザ指示(5))。すると、信号処理装置では、生成された子グラフ803の機能として、入力ポート0(外)が生成され、子グラフ803内に登録される(ステップS111)。そして、子グラフ803では、入力ポート0(外)に対応する内部の出力ポート0(内)を自動的に生成する(ステップS112)。そして、子グラフ803内の経路探索機能部5は、このポート作成指示に基づいて、経路探索を実行する(ステップS113)。
次に、ユーザは、子グラフ803のオブジェクトに対して、出力ポート0(外)の作成を指示する(ユーザ指示(6))。すると、信号処理装置では、生成された子グラフ803の機能として、出力ポート0(外)が生成され、子グラフ803内に登録される(ステップS114)。そして、子グラフ803では、出力ポート0(外)に対応する内部の入力ポート0(内)を自動的に生成する(ステップS115)。そして、子グラフ803内の経路探索機能部5は、このポート作成指示に基づいて、経路探索を実行する(ステップS116)。
次に、ユーザは、子グラフ803のオブジェクトに対して、プラグイン804オブジェクトの作成を指示する(ユーザ指示(7))。すると、子グラフ803のプラグイン生成削除機能により、子グラフ803内にプラグイン804が生成されて登録される(ステップS117)。子グラフ803内の経路探索機能部5は、このプラグインの生成指示に基づいて、経路探索を実行する(ステップS118)。
次に、ユーザは、子グラフ803のオブジェクトに対して、プラグイン805オブジェクトの作成を指示する(ユーザ指示(8))。すると、子グラフ803のプラグイン生成削除機能により、子グラフ803内にプラグイン805が生成されて登録される(ステップS119)。子グラフ803内の経路探索機能部5は、このプラグインの生成指示に基づいて、経路探索を実行する(ステップS120)。
次に、ユーザは、子グラフ803のオブジェクトに対して、プラグイン806オブジェクトの作成を指示する(ユーザ指示(9))。すると、子グラフ803のプラグイン生成削除機能により、子グラフ803内にプラグイン806が生成されて登録される(ステップS131)。子グラフ803内の経路探索機能部5は、このプラグインの生成指示に基づいて、経路探索を実行する(ステップS132)。
次に、ユーザは、グラフ800のオブジェクトに対して、プラグイン801の出力ポート0と子グラフ803の入力ポート0(外)の結線を指示する(ユーザ指示(10))。すると、グラフ800では、プラグイン間接続処理機能部3により、プラグイン801の出力ポート0と、子グラフ803の入力ポート0(外)とを結線して、当該グラフ800内に登録する(ステップS133)。グラフ800内の経路探索機能部5は、ポート接続指示に基づいて、経路探索を実行する(ステップS134)。
次に、ユーザは、グラフ800のオブジェクトに対して、子グラフ803の出力ポート0(外)とプラグイン802の入力ポート0の結線を指示する(ユーザ指示(11))。すると、グラフ800では、プラグイン間接続処理機能部3により、子グラフ803の出力ポート0(外)と、プラグイン802の入力ポート0とを結線して、当該グラフ800内に登録する(ステップS135)。グラフ800内の経路探索機能部5は、ポート接続指示に基づいて、経路探索を実行する(ステップS136)。
次に、ユーザは、子グラフ803のオブジェクトに対して、子グラフ803の内部の出力ポート0(内)とプラグイン804の入力ポート0との結線を指示する(ユーザ指示(12))。すると、子グラフ803では、プラグイン間接続処理機能部3により、子グラフ803の内部の出力ポート0(内)と、プラグイン804の入力ポート0とを結線して、当該子グラフ803内に登録する(ステップS137)。子グラフ803内の経路探索機能部5は、ポート接続指示に基づいて、経路探索を実行する(ステップS138)。
次に、ユーザは、子グラフ803のオブジェクトに対して、プラグイン804の出力ポート0とプラグイン805の入力ポート0との結線を指示する(ユーザ指示(13))。すると、子グラフ803では、プラグイン間接続処理機能部3により、プラグイン804の出力ポート0とプラグイン805の入力ポート0とを結線して、当該子グラフ803内に登録する(ステップS141)。子グラフ803内の経路探索機能部3は、ポート接続指示に基づいて、経路探索を実行する(ステップS142)。
次に、ユーザは、子グラフ803のオブジェクトに対して、プラグイン805の出力ポート1とプラグイン806の入力ポート0との結線を指示する(ユーザ指示(14))。すると、子グラフ803では、プラグイン間接続処理機能部3により、プラグイン805の出力ポート1とプラグイン806の入力ポート0とを結線して、当該子グラフ803内に登録する(ステップS143)。子グラフ803内の経路探索機能部5は、ポート接続指示に基づいて、経路探索を実行する(ステップS144)。
次に、ユーザは、子グラフ803のオブジェクトに対して、プラグイン806の出力ポート0とプラグイン805の入力ポート1との結線を指示する(ユーザ指示(15))。すると、子グラフ803では、プラグイン間接続処理機能部3により、プラグイン806の出力ポート0とプラグイン805の入力ポート1とを結線して、当該子グラフ803内に登録する(ステップS145)。子グラフ803内の経路探索機能部5は、ポート接続指示に基づいて、経路探索を実行する(ステップS146)。
ここで、プラグイン806が遅延を含まないプラグインであるときには、前述したようにして、経路探索機能部5の経路探索の結果として、エラー発生のエラー検知結果が得られ、エラー警告機能部9により、ユーザに対してエラーメッセージによる警告が発せられる。これを受けたユーザは、フィードバックループ内のプラグイン806の前段あるいは後段に遅延素子を挿入することで、エラーが発生しない状態になる。
なお、プラグイン806が遅延を含むプラグインであるときには、エラー発生のエラー検知結果は得られず、エラー発生の警告も発生しないのは言うまでもない。
最後に、ユーザは、子グラフ803のオブジェクトに対して、プラグイン805の出力ポート0と子グラフ803の内部の入力ポート0(内)との結線を指示する(ユーザ指示(16))。すると、子グラフ803では、プラグイン間接続処理機能部3より、プラグイン805の出力ポート0と子グラフ803の内部の入力ポート0(内)とを結線して、当該子グラフ803内に登録する(ステップS147)。子グラフ803内の経路探索機能部5は、ポート接続指示に基づいて、経路探索を実行する(ステップS148)。
以上の手順により、図8の回路が、グラフ800内に構成される。そして、ユーザが、グラフ800に対して、信号処理開始の指示をすると、前述したようにして、経路探索により定められた信号処理順序に従って、各プラグインでの信号処理が逐次実行される。
上述したように、この実施形態の信号処理装置においては、ユーザの、上述の例の場合の合計16手順は、グラフオブジェクトに対する操作であるので、当該操作の度に回路のグラフ構造が変化するため、各手順毎に経路探索アルゴリズムが、システム(グラフ)により自動的に実行される。そして、回路構成の生成処理が完了したときには、経路探索も完了して、信号処理順序も定まった状態となる。
次に、図8の例で作成した回路の信号処理実行の流れを説明する。
グラフ800内のプラグイン生成・保持部には、経路探索アルゴリズムにより、最適な逐次計算順序でソートされた状態でプラグインが保持されている。図8の例において、既に最適な順番でプラグインが保持されているものと仮定して、以下に信号処理実行の流れを説明する。
(1) ユーザは、先ず、グラフ800に対して信号処理の開始を指示する。
(2) すると、グラフ800の信号処理関数が実行される。
(3)次に、グラフ800の信号処理関数内からプラグイン801の信号処理関数が実行される。
(4)次に、グラフ800の信号処理関数内から子グラフ803の信号処理関数が実行される。
(4−1)次に、子グラフ803の信号処理関数内からプラグイン806の信号処理関数が実行される。
(4−2)次に、子グラフ803の信号処理関数内からプラグイン804の信号処理関数が実行される。
(4−3)次に、子グラフ803の信号処理関数内からプラグイン805の信号処理関数が実行される。
(5)次に、グラフ800の信号処理関数内からプラグイン802の信号処理関数が実行される。
上記の手順において、最初のグラフ800に対する信号処理の開始指示の手順(1)のみが、ユーザの指示によるものであり、その後の手順(2)〜(5)は、グラフ800および子グラフ803により自動的に実行されるものである。
なお、各プラグインの信号処理関数内では、下記の動作が行なわれる。
(1)入力ポートから入力データを受け取る。
(2)入力データに対して信号処理を施す。
(3)信号処理した入力データを出力ポートへ出力する。
[実施形態の経路探索アルゴリズム]
次に、この実施形態において、グラフの処理機能とされている経路探索アルゴリズムについて説明する。
以下に説明する経路探索アルゴリズムは、実施形態のシステムの要部を構成するものであり、この経路探索アルゴリズムにより、グラフが内包するプラグインが、最適な順序にソーティングされる。信号処理時は、このソーティングされた順序で、各プラグインが持つ固有の信号処理関数が逐次的に呼び出され実行される。
一般に、信号処理をDSP(Digital Signal Processor)等の信号処理デバイスで行なう場合、DSP内部のALU(Arithmetic Logical Unit)等の演算回路部において逐次的に計算処理を行なうことで、所望の信号処理を実現している。このDSP等による逐次処理方法は、この実施形態のミドルウエアのCPUによる演算についても同様である。
すなわち、この実施形態では、与えられた回路をシグナルフローグラフと見なし、そのグラフから逐次計算順序を探索し、探索結果に基づいた順序で、逐次的に計算処理を行なうようにする。この実施形態のミドルウエアであるSSPは、この独自の経路探索アルゴリズムを有していることをも特徴としている。
この経路探索アルゴリズムを用いることで、フィードバックループを含む任意のデジタル回路構成を、完全にエミュレートすることができる。また、現実のハードウエア回路の世界では不可能な動的な回路構成の変更が実現できる。
この実施形態において、この経路探索アルゴリズムは、グラフ状に結線されたプラグインからなる回路の信号処理を実現するために、どのプラグインから順番に信号処理すれば良いかという逐次計算順序を求めるアルゴリズムである。ここで、経路探索の対象となる、グラフ内に構成される回路は、フィードバックループ状の回路構成を含んでいても良い。
この経路探索アルゴリズムは、グラフが保持しており、グラフの中のプラグイン生成・保持部が、この経路探索アルゴリズムを実行する。
ユーザから、グラフに対して、グラフ構造を変更する操作が行なわれた場合に、グラフ自身が自動的に経路探索を実行し、新たな逐次計算順序を求める。回路内に複数のグラフが存在している場合には、経路探索は、各グラフ単位で独立して行なわれ、変更があったグラフのみ経路探索が実行される。この経路探索は、非常にシンプルであるため、短時間で完了する。
この実施形態の経路探索アルゴリズムの詳細を以下に説明する。
この実施形態の経路探索アルゴリズムでは、グラフ状に形成されている回路の要素であるプラグインをノードと見なす。ノードとは、グラフ理論における節となる要素のことである。この実施形態では、回路は、ノード間が方向をもつ矢印で結合される有向線分グラフで表現することができる。ノードへ向かう矢印をノードへの入力、ノードから外へ向かう矢印をノードからの出力と定義する。この実施形態の経路探索アルゴリズムは、グラフ状に結線されたノードを順に巡って、信号順序を定めてゆく。以下、この実施形態の経路探索アルゴリズムをノードスキャンアルゴリズムと称する。
このノードスキャンアルゴリズムは、経路探索のベースとなる初期経路探索アルゴリズム(プライマリーノードスキャンアルゴリズム)と、経路のループ情報を加味する探索を行なうループサーチアルゴリズムとからなる。
そして、この実施形態においては、図13に示すように、ノードスキャンアルゴリズムにおいては、先ず、初期経路探索アルゴリズムを行なう(ステップS151)。そして、初期経路探索アルゴリズムを終了したか否か判別し(ステップS152)、初期経路探索アルゴリズムを正常に終了したと判別したときには、ループサーチアルゴリズムを実行するようにする(ステップS153)。そして、この経路探索アルゴリズムを終了する。
また、ステップS152で、初期経路探索アルゴリズムが終了していないと判別したときには、前述したように、また、後で詳細に説明するようにして、フィードバックループ内に遅延を含まないプラグインが挿入されてしまったことによるエラーの発生によって、初期経路探索アルゴリズムを中止終了したか否か判別する(ステップS154)。
ステップS154で、初期経路探索アルゴリズムは中止終了されていないと判別したときには、ステップS151に戻り、初期経路探索アルゴリズムを継続する。また、ステップS154で、初期経路探索アルゴリズムは中止終了されたと判別したときには、そのまま、この経路探索アルゴリズムを終了する。
[初期経路探索アルゴリズムについて]
この初期経路探索アルゴリズムは、次のような「解決すべき命題」を設定し、後述のような「探索条件」の下で、行なうものである。
「解決すべき命題」
グラフ状に結線されたノードを順に辿ることを想定する。1回の巡回かつ下記条件の下で、全てのノードを一度に通過したい。それが可能となる巡回順序を求めよ。但し、巡回するノード間がグラフで直接結線されている必要は無く、ノードを飛び飛びに巡回しても構わない。
「探索条件」
(a)入力の無いノードは無条件で通過することができる。
(b)遅延素子となるプラグインのノードは、無条件で通過することができる。
(c)通過したノードは出力が確定する。
(d)ノードAの入力に接続されている前段のノードBの出力が確定すると、ノードAの入力が確定する。
(e)ノードの全入力が確定するとそのノードを通過することができる。
なお、ノードの識別子として予め順番に固有番号が割り当てられている。この番号をノードナンバー(ノードNo.)と呼ぶ。これは任意の番号で良く、例えばプラグインのオブジェクトの生成順にノードナンバーを割り当てておけば良い。なお、プラグインには、LTP(Latency Type Plugin)と、NLTP(Non Latency Type Plugin)との種類のタイプがある。LTPは、遅延素子となるプラグインであり、1サンプル以上の遅延が発生する。NLTPは、ゲート素子となるプラグインであって、遅延は発生しない。
初期経路探索アルゴリズムにおいては、2巡目、3巡目と繰り返しながら、前記命題の解が求まるまで、ノードのチェックを行なうが、各1巡の探索において、通過可能なノードが必ず一つは見つかるという性質がある。
但し、一つだけ例外がある。フィードバックループ内に遅延素子であるLTPが含まれない場合は、1巡の探索において、通過可能なノードをただ一つも見つけることができない。これは、回路構成上、異常なケースである。
一般的なデジタル信号処理理論では、因果律を満たすために、フィードバックループ内に必ず一つ以上の遅延素子を含む必要がある。この実施形態における初期経路探索アルゴリズムでは、ユーザが、この基本原則を守らない回路を作成した場合は、上記例外が発生するという性質がある。
そこで、この実施形態の初期経路探索アルゴリズムにおいては、この例外発生をエラー警告に利用することができる。すなわち、ユーザが遅延素子を含まないフィードバック回路を作成した場合には、初期経路探索アルゴリズムにおいて、上述のような経路探索の例外発生が生じるので、その場合を検出したときには、回路を再構成するよう、システムからユーザに警告を発するようにする。
以上の初期経路探索アルゴリズムは、図14のフローチャートにより実行できる。
先ず、最初のノードをチェックし(ステップS161)、当該ノードに対してノード順序番号(以下、ノードインデックスと呼ぶ)が付与済みであるかどうか判別する(ステップS162)。付与済みであれば、全てのノードにノードインデックスが付与されているか否か判別し(ステップS172)、全てのノードにノードインデックスが付与されていると判別したときには、この処理ルーチンを終了する。
また、ステップS172で、全てのノードには、ノードインデックスを付与してはいないと判別したときには、次のノードをチェックし(ステップS173)、その後、ステップS162に戻り、ステップS162以降を繰り返す。
ステップS162で、ノードインデックスが付与済みではないと判別したときには、無条件で通過できるノードか否か、つまり、プラグインがLTPであるか否か判別する(ステップS163)。
このステップS163で、無条件で通過できるノードではないと判別したときには、そのノードの全ての入力が確定しているか否か判別する(ステップS164)。このステップS164で、全ての入力は確定していないと判別したときには、経路探索が一巡したか否か判別する(ステップS165)。
このステップS165で、経路探索が一巡してはいないと判別したときには、次のノードをチェックし(ステップS173)、その後、ステップS162に戻り、ステップS162以降を繰り返す。
また、ステップS165で、経路探索が一巡したと判別したときには、通過可能なノードを一つも見つけることができなかったかどうか判別する(ステップS166)。このステップS166で、通過可能なノードは見つけることができたと判別したときには、全てのノードにノードインデックスが付与されているか否か判別し(ステップS172)、ノードインデックスが付与されていないノードがあると判別したときには、次のノードをチェックし(ステップS173)、その後、ステップS162に戻り、ステップS162以降を繰り返す。また、ステップS172で、全てのノードにノードインデックスが付与されていると判別したときには、この処理ルーチンを終了する。
また、このステップS166で、通過可能なノードは一つも見つけることができなかったと判別したときには、フィードバックループ内に遅延素子が含まれないことによるエラー発生のエラー検知出力を生成して送出する(ステップS167)。そして、初期経路探索アルゴリズムによる経路探索を中止し(ステップS168)、この処理ルーチンを終了する。
また、ステップS163で、無条件で通過できるノードであると判別したとき、また、ステップS164で、そのノードの全入力が確定していると判別したときには、当該ノードを通過して当該ノードの出力を確定する(ステップS169)。そして、当該ノードが接続されているノードの入力を確定する(ステップS170)。そして、当該ノードに、ノードインデックスを付与する(ステップS171)。
次に、全てのノードにノードインデックスが付与されているか否か判別し(ステップS172)、ノードインデックスが付与されていないノードがあると判別したときには、次のノードをチェックし(ステップS173)、その後、ステップS162に戻り、ステップS162以降を繰り返す。また、ステップS172で、全てのノードにノードインデックスが付与されていると判別したときには、この処理ルーチンを終了する。
以上のようにして、フィードバックループ内に遅延素子が含まれないことによるエラー発生のエラー検知出力は、前述したように、エラー警告機能部9に供給される。このエラー発生のエラー検出出力を受けたエラー警告機能部9は、前述したようなエラー警告メッセージをユーザに対して報知する。
すなわち、例えば図15に示すように、プラグイン806として誤って非遅延素子(NLTP)であるプラグインを、破線で示すように接続して、フィードバックループを作成すると、図15の噴出しで示すように、警告メッセージが画面表示される。
ユーザは、このエラー警告メッセージに対応して、フィードバックループ内に遅延素子を挿入する、あるいは、フィードバックループ内のNLTPをLTPに変更するなどの修正操作をするようにする。したがって、次の経路探索アルゴリズム実行のステップでは、エラー警告は発生しないようになる。
以上のような初期経路探索アルゴリズムによるノードインデックスの付与の具体例を、図16のフラグの回路構成の場合を例に説明する。図16においては、対象となるノードは、ノードNo.0〜No.6の7個である。ノードNo.4とノードNo.6はLTPとする。この場合の初期経路探索アルゴリズムは、下記のようになる。すなわち、ノードNo.0からノードNo.6まで、順に下記のチェックを行なう。ノードNo.0からノードNo.6までを1巡として、全ノードが通過できるまで、下記のチェックを何巡でも繰り返す。
(1)ノードNo.0は、入力が無いので通過OK。よって、ノードNo.0の出力(0)確定。
(2)ノードNo.1は、入力(1)が確定していないのでパス。
(3)ノードNo.2は、入力が無いので通過OK。よって、ノードNo.2の出力(0)確定。
(4)ノードNo.3は、全ての入力(0,1,2)が確定していないのでパス。
(5)ノードNo.4は、LTPなので通過OK。よって、ノードNo.4の出力(0)確定。
(6)ノードNo.5は、入力(0)が確定していないのでパス。
(7)ノードNo.6は、LTPなので通過OK。よって、ノードNo.6の出力(0)確定。
以上で、1巡目を終了する。次に、通過できずに出力の確定していないノードに対して、次のようにして、2巡目の探索を行なう。
(1)ノードNo.1は、全ての入力(0, 1)が確定したので通過OK。よって、ノードNo.1の出力(0)確定。
(2)ノードNo.3は、全ての入力(0,1,2)が確定したので通過OK。よって、ノードNo.3の出力(0,1,2)確定。
(3)ノードNo.5は、入力(0)が確定したので通過OK。よって確定。
以上のようにして、全てのノードを通過して出力が確定したので、以上で探索が完了となる。この場合、2巡目で探索が完了したことになる。
[初期経路探索アルゴリズムによる探索結果]
上記の初期経路探索アルゴリズムの探索手順において、出力が確定した順にノードに番号を振って行くと、経路探索結果が求まる。この新たなノードの順序番号がノードインデックスである。図16のグラフの回路構成例の場合の探索結果を図17に示す。
グラフ内では、プラグインはノードインデックス順に、プラグイン作成・保持部に格納されている。経路探索アルゴリズムが実行される毎に、プラグイン作成・保持部における、当該プラグインの格納順が更新される。信号処理時は、グラフがノードインデックス順に各プラグインの信号処理関数をコールすることで、所望の信号処理を実現している。
なお、上述の説明においては、初期経路探索アルゴリズムの中でエラー検知出力を送出するようにしたが、初期経路探索アルゴリズムの中ではなく、図13のフローチャートの経路探索アルゴリズムにおいて、初期経路探索アルゴリズムの中止終了を検知したときに、図13の経路探索アルゴリズムの一部としてエラー検知出力を送出するようにしてもよい。
[ループサーチアルゴリズムについて]
次に、ループサーチアルゴリズムについて説明する。これは信号処理実行時におけるCPU負荷の改善を提供するアルゴリズムである。信号処理のリアルタイム性を確保するには、重要な技術である。
前記の初期経路探索アルゴリズムで求めた探索結果によっても、所望の回路の信号処理は実現できる。しかし、初期経路探索アルゴリズムで求めた探索結果では、フィードバックループを含む回路構成においては、必ずしも速度性能的には有利であるとは言えないという問題がある。
フィードバックループを含む回路構成においては、「入力が確定しない状態で出力を確定することはできない」というデジタル信号処理理論における因果律を満たす必要がある。そのため、フィードバックループを含む回路においては、1サンプル単位で逐次的に各プラグインの信号処理を行なう必要がある。すなわち、1サンプル単位でプラグインに対し音声データの入出力及び信号処理を行なう必要があるということである。
ここで、問題となるのは、信号処理する毎に発生する関数コールである。一般に、ソフトウエア処理において、関数コールはCPU負荷が高い(コスト高である)という性質がある。ソフトウエアのリアルタイム信号処理においては、この関数コール回数を1回でも少なくするということが、処理速度性能の向上につながる。そこで、関数コール回数を削減する方法が、処理速度性能の向上を考える場合に望まれる。
関数コール回数を減らす一般的な手法としては、複数データサンプルを1単位とする、例えばパケット単位の処理が挙げられる。1サンプルづつ処理するのではなく、所定数の複数データサンプルをブロック化してまとめて一括処理する方法である。例えば、パケットサイズが1024サンプルの場合は、1024サンプルの音声データをまとめてブロック化して、1回の関数コールで処理する。こうすることにより、関数コールの回数を減らすことができる。
しかしながら、回路にフィードバックループが含まれる場合は、上述したように、1サンプル単位で関数コールする必要がある。このため、パケット処理が行なえない。
そこで、この実施形態の経路探索アルゴリズムでは、初期経路探索アルゴリズムの後に、以下に説明するループサーチアルゴリズムを行なうことにより、この問題を解決するものである。
一般に、フィードバックループを含む回路において、ループを形成するノードは、回路全体の一部であることが多い。この実施形態におけるループサーチアルゴリズムは、この点を利用して、ループを構成するノードの群と、ループを構成しないノードの群とを、信号処理順序の上で、区分けして、ループを構成しないノードの群では、パケット処理を可能にすることにより、信号処理全体として、高速化を図るものである。
例えば、図16に示した回路構成の場合、ループを構成するノードは、ノードNo.3、ノードNo.4、ノードNo.6、の3個であり、全体のノード数7個に対して半分以下である。
そこで、ループを形成するノードのみ1サンプル単位で処理し、それ以外のノードをパケット単位で処理することにより、速度劣化を必要最小限に抑えることができる。全体の回路構成において、ループを形成するノードの割合が小さければ小さいほど、より効果的に速度劣化を抑えることができる。
図18に、このループサーチアルゴリズムの処理のフローチャートを示す。先ず、閉路探索アルゴリズムを用いて、ループを構成するノードを求める(ステップS181)。閉路探索アルゴリズムは、一般的なグラフ理論の閉路探索アルゴリズムを利用することができる。この一般的なグラフ理論の閉路探索アルゴリズムは周知であるので、ここでは、その詳細な説明は省略する。
次に、初期経路探索アルゴリズムで定められた信号処理順序では、ループを構成するノードの間に、信号処理順序として、ループを構成しないノードが入っているかどうかをチェックする(ステップS182)。
そして、ループを構成するノードの間に、信号処理順序として、ループを構成しないノードが入っていると判別したときには(ステップS183)、ループを構成しないノードを、ループを構成するノードの前となるように、信号処理順序を入れ換える(ステップS184)。つまり、ノードインデックスの振り直し行なう。
ステップS183で、ループを構成するノードの間に、信号処理順序として、ループを構成しないノードが入っていないと判別したときには、そのまま、このループサーチアルゴリズムを終了する。
このループサーチアルゴリズムを、図16に示した回路構成の場合に適用した場合を例にとって、具体例を以下に説明する。
図16に示した回路構成について、初期経路探索アルゴリズムを実行した結果は、図17に示した通りである。この図17の探索結果について、閉路探索アルゴリズムの探索結果である、ループを構成するノード、つまり、ノードNo.3、ノードNo.4、ノードNo.6を、斜線で付して示すと、図19の左側のようになる。
この図19の左側の図から明らかなように、初期経路探索アルゴリズムの探索結果では、信号処理順序として、ループを構成するノードの間に、ループを構成しないノードであるノードNo.1が存在することがわかる。そのため、このままの信号処理順序では、本来1サンプル単位で処理を行なう必要のないノードNo.1も、1サンプル単位で処理を行なう必要がある。
しかし、ループサーチアルゴリズムを適用したときには、前記ステップS184において、ループを構成しないノードは、ループを構成するノードの前となるように、信号処理順序を変更する。
この場合に、信号処理順序が変更されても、初期経路探索アルゴリズムの解決命題を満たすことが必要である。そこで、ループサーチアルゴリズムにおいては、信号処理順序を変更するときには、変更後も初期経路探索アルゴリズムの解決命題を満たすかどうかのチェックを行なうようにしてもよいが、この例では、ループの先頭のノードよりも、ループを構成しないノードを前の信号処理順序となるように変更することにより、このようなチェックを不要としている。すなわち、上述の順序変更方法は信号処理の順序性を正しく保つという性質がある。
図16の例の場合であれば、ノードNo.4とノードNo.6とは、LTPであるので、入力が確定せずとも出力が確定すると言う性質を持っている。この性質を利用すると、ノードNo.4とノードNo.6は、ノードNo.1より後の処理となっても構わない。
この例では、ループサーチアルゴリズムにより、図19の右側に示すように、ループを構成しないノードであるノードNo.1は、信号処理順序を3番にして、ループを構成するノードの先頭のノードNo.4よりも前となるように、信号処理順序が変更される。
このようにされると、ループを構成するノードは、図19の右側において斜線を付して示すように、ひとまとめとされる。つまり、ループを構成するノード群は、信号処理順序として局所化されていることになる。
この図19の右側に示すような信号処理順序で信号処理を、以下のようにして、実行することにより関数コールを必要最小限に抑えることが可能である。
すなわち、
(1)ノードインデックスが1番から3番のノードは、ループ外であるので、パケット単位で処理する。
(2)ノードインデックスが4番から6番のノードは、ループ内であるので、1サンプル単位で処理する。
(3)ノードインデックスが7番のノードは、ループ外であるので、パケット単位で処理する。
以上のようにして信号処理を実行すれば、関数コールを少なくして、信号処理速度の劣化を防止することができる。次に、パケットサイズを1024サンプルとした場合の例を下記に挙げる。
(1)ノードNo.0に、1024サンプルのデータを渡し処理を実行する。(関数コール1回)
(2)ノードNo.2に、1024サンプルのデータを渡し処理を実行する。(関数コール1回)
(3)ノードNo.1に、1024サンプルのデータを渡し処理を実行する。(関数コール1回)
(4)下記操作(4−1)〜(4−3)を1024回繰り返す。(関数コール3×1024回)
(4−1)ノードNo.4に、1サンプルのデータを渡し処理を実行する。(関数コール1回)
(4−2)ノードNo.6に、1サンプルのデータを渡し処理を実行する。(関数コール1回)
(4−3)ノードNo.3に、1サンプルのデータを渡し処理を実行する。(関数コール1回)
(5)ノードNo.5に1024サンプルのデータを渡し処理を実行する。(関数コール1回)
したがって、以上の(1)〜(5)の信号処理によって、1024サンプル信号処理するために必要な関数コール回数の合計は、3076回となる。
仮に、上述の例において、全てのノードを1サンプルづつ処理した場合の関数コール回数の合計は、7168回となる。よって、この実施形態のノードスキャンアルゴリズムを実行して、ループを構成するノード群を局所化させて、当該ノード群のみは1サンプルごとに関数コールを実行し、その他のループを構成しないノードは、パケット単位で一回関数コールするようにすることにより、上述の例の場合には、約57%の関数コール数が削減されたことになる。
なお、この実施形態のシステムでは、パケットサイズは、固定値ではなく動的にそのサイズを変更することが可能である。
[動的な回路構成の変更処理]
この実施形態の信号処理装置では、前述したように、信号処理中であっても、ユーザからのグラフの変更指示に従い、グラフ構造を動的に変更することができる。そして、信号処理中であっても、再度、この実施形態の経路探索アルゴリズム(ノードスキャンアルゴリズム)を実行することで、回路構成の変更に対応できる。
この機能により、例えば、実施形態の信号処理装置で処理されて出力された音声をユーザが聞きながらでも、実施形態の信号処理装置を新たな回路構成に変更することができる。このため、用途としてライブ演奏装置等に、この実施形態を活用できるというメリットがある。
図20に、この動的な変更処理のフローチャートを示す。このフローチャートの実行主体は、グラフである。
まず、時刻tでの信号処理を行なう(ステップS191)。そして、信号処理中であっても、プラグイン生成あるいは削除指示や、入力ポート、出力ポートの生成あるいは結線指示など、グラフ変更要求があるか否か判別する(ステップS192)。
そして、ステップS192で、グラフ変更要求があると判別したときには、グラフは、経路探索の再実行を行なうと共に、グラフの回路構成の再構成を行なう(ステップS193)。そして、次の時刻(t+1)での信号処理に移行する(ステップS194)。また、ステップS192で、グラフ変更要求がないと判別したときには、そのまま、次の時刻(t+1)での信号処理に移行する(ステップS194)。
このステップS194以降は、ステップS192〜ステップS193と同様の処理を繰り返す(例えばステップS195〜196)。
この動的な変更処理においても、ステップS193、ステップS196などにおける経路探索では、前述の図13、図14のフローチャートを用いた経路探索アルゴリズムが実行され、前述の例と同様にして、誤って、遅延の無いフィードバックループが追加された場合には、エラー警告がユーザに対して発せられる。
したがって、ユーザは、このエラー警告に応じて遅延素子をフィードバックループに挿入したり、あるいは、プラグインをNLTPからLTPに変更したりして、正しい回路を容易に作成することができる。
[リアルタイム分散処理]
以上説明した実施形態の信号処理装置は、通常は、1台のコンピュータにより実現され、信号処理は、当該1台のコンピュータ上で処理される。この処理を、ネットワークを介して接続される複数台のコンピュータに拡張することで、リアルタイムにCPU負荷の分散処理が行なえる。
この分散処理は、一般的なコンピューティング技術である分散オブジェクト技術を利用することで実現可能である。COM/DCOM(Component Object Model/Distributed Component Object Model)、CORBA(Common Object Request Broker Architecture)と言う技術がそれに該当する。
以下、主にWindows(登録商標)系のOSで用いられるCOM/DCOMと言う技術を利用した場合の例を示す。まず、この実施形態のミドルウエアのプラグインのオブジェクトを、全てCOMオブジェクトとして実装する。ここで、COMオブジェクトとはオブジェクト指向におけるコンポーネントモデルであり、位置透過性を特徴とする。位置透過性とは、あたかも、例えばローカルコンピュータ上に、COMオブジェクトを生成するかのごとく、リモートコンピュータ上にCOMオブジェクトを生成できるという機能である。
したがって、位置透過性を用いることにより、ローカルコンピュータ上、リモートコンピュータ上のいずれであるかを問わずに、同じ操作で、オブジェクトの生成が行なえる。これはCOMオブジェクトであるプラグインのオブジェクトを、ネットワークを意識せずとも、複数のコンピュータ上に統一的に生成できるということである。プラグインの生成に限らず、その他の操作もローカルコンピュータ上、リモートコンピュータ上を問わずに、統一した操作性で実現できる。
例えば、ローカルコンピュータ上に、音声入出力プラグインオブジェクトを配置し、リモートコンピュータ上に、エコープラグインオブジェクトを配置して、全体として一つの回路を構成することもできる。
図21に、リアルタイム分散処理される場合のグラフの構成例を示す。この図21の例は、ネットワーク3000を通じてローカルコンピュータ1000とリモートコンピュータ2000とが接続されている状況において、ルートグラフ2500が定義されて、回路が作成される場合である。
この図21を参照して、この例の回路作成の流れを説明する。ユーザは、ローカルコンピュータ1000のみで、回路作成する場合とほぼ同様にして、回路作成を行なう。リモートコンピュータ2000を意識するのは、一部のみである。
(1)ユーザが、グラフ2500のオブジェクトを作成する。このグラフ2500オブジェクトは、ローカルコンピュータ1000に生成される。
(2)ユーザが、グラフ2500のオブジェクトに対して、プラグイン2501オブジェクトの作成を指示する。
(3)ユーザが、グラフ2500のオブジェクトに対して、プラグイン2502オブジェクトの作成を指示する。
(4)ユーザが、グラフ2500のオブジェクトに対して、プラグイン2503オブジェクトの作成を指示する。この場合、プラグイン生成関数に、リモートコンピュータ2000の識別子を付与する。
(5)ユーザが、グラフ2500のオブジェクトに対して、プラグイン2504オブジェクトの作成を指示する。
(6)ユーザが、グラフ2500のオブジェクトに対して、プラグイン2501の出力ポート0とプラグイン2502の入力ポート0の結線を指示する。
(7)ユーザが、グラフ2500のオブジェクトに対して、プラグイン2502の出力ポート0とプラグイン2503の入力ポート0の結線を指示する。
(8)ユーザが、グラフ2500のオブジェクトに対して、プラグイン2503の出力ポート0とプラグイン2504の入力ポート0の結線を指示する。
(9)ユーザが、グラフ2500のオブジェクトに対して、プラグイン2504の出力ポート0とプラグイン2502の入力ポート1の結線を指示する。
以上で回路が完成である。リモートコンピュータを意識する部分は手順(4)のみである。なお、信号処理の実行に関してもローカルコンピュータ1000のみの場合と特に差異は無い。
[第2の実施形態]
第2の実施形態は、基本的な構成は、第1の実施形態と同様である。違いは、この第2の実施形態では、遅延を含まないフィードバックループが生成された場合に、第1の実施形態では、エラー警告をユーザに対して発したのに対して、第2の実施形態では、エラー警告は発せずに、あるいは、エラー警告を発した上に、自動的に必要な遅延素子を、フィードバックループに挿入追加するようにする点である。
そして、この第2の実施形態では、遅延素子を自動追加挿入するかどうかをプリセット設定することができると共に、遅延素子を自動追加挿入する時には、その遅延素子の遅延量と、当該遅延素子の追加挿入位置をプリセット設定することができるようにしている。
図22は、信号処理装置の第2の実施形態において、グラフが備える機能をブロック化して示したグラフの構成の機能ブロック図である。すなわち、グラフは、第1の実施形態と同様にして、指示入力受付機能部1と、プラグイン生成削除機能部2と、プラグイン間結線処理機能部3と、回路構成情報格納管理機能部4と、経路探索機能部5と、信号処理順序管理機能部6と、信号処理実行機能部7と、信号処理関数格納部8と、エラー警告機能部9とを備えると共に、プリセット機能部10を備える。
また、この第2の実施形態の経路探索機能部5は、図22に示すように、自動遅延素子追加手段51を機能手段として備えるものである。
プリセット機能部10は、ユーザによる「遅延素子を自動追加挿入するかどうかをプリセット設定」と、遅延素子を自動追加挿入するとした場合の、「遅延素子の遅延量のプリセット設定」と、「遅延素子の追加挿入位置のプリセット設定」とを受け付けて、保持する。
経路探索機能部5の自動遅延素子追加手段51は、経路探索機能部5で、遅延を含まないフィードバックループが生成されたことを検出したときに、当該フィードバックループ内に、プリセット機能部10にプリセットされて保持されている遅延量を有する遅延素子を、同じくプリセットされて保持されている追加挿入位置に追加するようにする。
図23に、プリセット機能部10におけるプリセット処理動作の一例のフローチャートを示す。すなわち、ユーザにより、プリセット設定機能が選択されると、グラフでは、プリセット機能部10を起動する。
プリセット機能部10では、先ず、ユーザに対して、遅延のないフィードバックループが生成されたときに遅延素子を自動挿入追加する設定をするかどうかの問合せメッセージを送出する(ステップS201)。ユーザは、この問合せメッセージに対して、遅延素子を自動挿入追加するかどうかをプリセット設定する。
そこで、プリセット機能部10では、このユーザの設定入力を受け付けて(ステップS202)、遅延素子を自動挿入する設定かどうかを判別する(ステップS203)。このステップS203で、遅延素子を自動挿入するとは設定されなかったと判別したときには、プリセット機能部9は、このプリセット処理ルーチンを終了する。
また、ステップS203で遅延素子を自動挿入すると設定された判別したときには、挿入される遅延素子の遅延量の設定入力を促すメッセージを送出する(ステップS204)。そして、ユーザによる当該遅延量の入力完了を待つ(ステップS205)。遅延量の入力はされずにプリセット中止の操作がなされたと判別したときには(ステップS206)、このプリセット処理ルーチンをそのまま終了する。
ステップS205で、遅延量の入力が完了したと判別したときには、プリセット機能部10は、追加挿入される遅延素子の遅延量として、設定された遅延量を設定するように保持する(ステップS207)。
次に、プリセット機能部10は、追加挿入される遅延素子の挿入位置の選択を促すメッセージを送出する(ステップS208)。このとき、挿入位置としては、フィードバックループ中のプラグイン(NLTP)の前方(出力側)と、後方(入力側)とが選択項目としてユーザに呈示される。
これに対して、ユーザは遅延素子を、フィードバックループ中のプラグインの前方または後方の何れに挿入するかの追加挿入位置の選択入力をするので、プリセット機能部10は、そのユーザの選択入力を監視する(ステップS209)。
そして、遅延素子の追加挿入位置の選択入力を受け付けることなく、プリセットの中止操作がなされたか否か判別し(ステップS210)、プリセットの中止操作がなされたと判別したときには、このプリセット処理ルーチンを終了し、プリセットの中止操作がなされてはいないと判別したときには、ステップS209に戻り、遅延素子の追加挿入位置の選択入力を待ち受ける。
ステップS209で、遅延素子の追加挿入位置の選択入力を受け付けたときには、プリセット機能部10は、ユーザにより設定された遅延素子の追加挿入位置の設定情報を保持する(ステップS211)。そして、このプリセット処理ルーチンを終了する。
次に、図20の動的な変更処理におけるステップS193,S196などでの経路探索の再実行に、第2の実施形態を適用した場合のフローチャートを、図24に示す。
すなわち、経路探索機能部5は、先ず、初期経路探索アルゴリズムを行なう(ステップS221)。そして、初期経路探索アルゴリズムを終了したか否か判別し(ステップS222)、初期経路探索アルゴリズムを正常に終了したと判別したときには、ループサーチアルゴリズムを実行するようにする(ステップS223)。そして、この経路探索アルゴリズムを終了する。
また、ステップS222で、初期経路探索アルゴリズムが終了していないと判別したときには、前述したように、遅延の無いフィードバックループが生成されてしまったことによるエラーが発生したかどうかを判別する(ステップS224)。
このステップS224で、遅延の無いフィードバックループが生成されていないと判別したときには、ステップS221に戻り、初期経路探索アルゴリズムを継続する。また、ステップS224で、遅延の無いフィードバックループが生成されてしまったと判別したときには、遅延素子の自動追加挿入がプリセット設定されているか否か判別する(ステップS225)。
このステップS225で、遅延素子の自動追加挿入がプリセット設定されてはいないと判別したときには、プラグインの追加処理(動的変更)をキャンセルして、ユーザにエラー警告メッセージを送出する(ステップS226)。そして、この経路探索の処理ルーチンを終了する。
また、ステップS225で、遅延素子の自動追加挿入がプリセット設定されていると判別したときには、プリセット機能部10に保持されているプリセット設定情報を参照し、自動追加挿入する遅延素子は、追加された遅延の無いプラグイン(NLTP)の前方に挿入するか否かを判別する(ステップS227)。
このステップS227で、挿入位置が前方であると判別したときには、ユーザがフィードバックループを生成するように追加したプラグインの前方に、プリセットされた遅延量の遅延素子を挿入する(ステップS228)。また、このステップS227で、挿入位置が前方ではなく後方であると判別したときには、ユーザがフィードバックループを生成するように追加したプラグインの後方に、プリセットされた遅延量の遅延素子を挿入する(ステップS229)。
ステップS228あるいはステップS229の後は、ステップS221に戻り、再度、初期経路探索アルゴリズムの実行を行なう。このとき、遅延素子がフィードバックループに自動的に追加挿入されたことにより、初期経路探索アルゴリズムは正常に終了するようになる。
このときの遅延素子の追加挿入の具体的について説明する。例えば、図25または図26に示すように縦続接続された4個のプラグイン901〜904からなる回路において、ユーザが、動的変更の操作により、プラグイン903とプラグイン902との間に、新たなプラグインを接続してフィードバックループを生成した場合を考える。
この場合に、フィードバックループ中に追加挿入したプラグイン905が、非遅延素子であるNLTPのプラグインであるときには、上述のように、遅延素子を自動的に追加挿入するようにプリセット設定がなされていると共に、当該遅延素子の挿入位置が前方であれば、図25に示すように、プラグイン905の出力側に、遅延素子のプラグイン906が挿入される。この遅延素子のプラグイン906の遅延量は、プリセットされた遅延量であることは前述の通りである。
また、遅延素子の挿入位置が後方であれば、図26に示すように、プラグイン905の入力側に、遅延素子のプラグイン907が挿入される。
なお、プラグインが追加接続されずにフィードバックループが形成された場合にも、同様に自動的に遅延素子のプラグイン908が、例えば図27に示すように挿入される。
この第2の実施形態によれば、音声信号処理をしながら迅速な回路の変更をしたい場合に、誤って遅延の無いフィードバックループを作成した場合でも自動的に遅延素子が挿入されることにより、初期の目的を達成することができる。
例えば、ライブ演奏等に、この実施形態の信号処理ツールを使用する場合、音を出しながら曲に合わせて迅速な回路の変更を行ないたい場合がある。そのような状況において、ユーザが遅延素子を含まないフィードバック回路をたまたま作成してしまったとすると、回路変更を予定のタイミングで実施することが出来ず、ライブ演奏に支障を来たすことがあるが、上述の第2の実施形態によれば、そのような不具合が回避される。
特に、フィードバックループ回路は、サウンドエフェクターやサウンドフィルター等で頻繁に使用される回路であり、ライブ演奏時などではどうしても追加操作一回で閉ループ回路を作成したい場合がある。例えば、曲の小節の切れ目に同期して一発で回路を変更したい場合がある。このような場合においても、上述した第2の実施形態によれば、曲に合わせて迅速な回路の変更をすることができるものである。
なお、上述の第2の実施形態は、動的な回路変更の場合に適用したものであるが、第1の実施形態と同様に、始めから回路構成を実行するときにも同様に適用できることは勿論である。
以上説明した第1および第2の実施形態によれば、以下のような効果も得られる。
すなわち、上記の実施形態によれば、ソフトウエアディジタル信号処理において、信号処理回路を多段に結線しても処理遅延が増加しない回路を作成することができる。また、フィードバック構造を含む任意のデジタル信号処理回路を作成することができる。また、デジタル信号処理回路の回路構成を動的に変更することができる。この場合に、動的に更新可能な回路要素は、
・プラグインの追加・削除
・プラグイン間の結線状態
・プラグインの入出力ポートの追加・削除
・信号処理時のパケットサイズ・サンプリング周波数など、信号処理に関連するパラメータ
などである。
また、この実施形態の信号処理装置のミドルウエアを組み込むことにより、回路構成を動的に変更可能な製品を作ることができる。
また、作成した信号処理回路をファイルに保存することにより、後で、信号処理回路を復元することができる。さらに、そのファイルをやり取りすることにより、回路の交換や再利用が容易に行なえる。
また、信号処理回路の中にフィードバックループを含む回路構成を含んでいても、信号処理関数の呼び出し回数を必要最小限に抑えることができる。その結果、リアルタイム信号処理実行に必要なCPU負荷を軽減することができる。
また、ネットワークを使って、リアルタイムで分散処理を行なうことができる。ネットワーク上に存在する複数の回路をリアルタイムで同期して動作させることができる。
なお、以上の実施形態では、プラグインや結線を追加したときに遅延を含まないフィードバックループが作成された場合について説明したが、現在の回路状態に対して、何らかの追加・削除・変更操作を行ない、結果的に遅延素子を含まないフィードバックループ回路が形成された場合にも、この発明は同様に適用可能である。
なお、以上の実施形態は、音声信号処理にこの発明を適用した場合であるが、この発明が処理対象とする信号は、音声信号に限られるものでないことは言うまでもない。
この発明による信号処理装置の実施形態の要部の機能ブロック図である。 この発明による信号処理装置の実施形態を説明するための図である。 この発明による信号処理装置の実施形態を説明するための図である。 この発明による信号処理装置の実施形態を説明するための図である。 この発明による信号処理装置の実施形態を説明するための図である。 この発明による信号処理装置の実施形態のプラグインの構成を説明するための図である。 この発明による信号処理装置の実施形態のグラフの構成を説明するための図である。 この発明による信号処理装置の実施形態における回路構成の一例を説明するための図である。 この発明による信号処理装置の実施形態における回路構成手順の例を説明するための図である。 この発明による信号処理装置の実施形態における回路構成手順の例を説明するための図である。 この発明による信号処理装置の実施形態における回路構成手順の例を説明するための図である。 この発明による信号処理装置の実施形態における回路構成手順の例を説明するための図である。 この発明による信号処理装置の実施形態における経路探索アルゴリズムを説明するためのフローチャートである。 この発明による信号処理装置の実施形態における経路探索アルゴリズムの一部を構成する初期経路探索アルゴリズムを説明するためのフローチャートである。 この発明による信号処理装置の第1の実施形態の要部を説明するための図である。 この発明による信号処理装置の実施形態における経路探索アルゴリズムの一部を構成する初期経路探索アルゴリズムを説明するための図である。 この発明による信号処理装置の実施形態における経路探索アルゴリズムの一部を構成する初期経路探索アルゴリズムの探索結果の例を示す図である。 この発明による信号処理装置の実施形態における経路探索アルゴリズムの一部を構成するループサーチアルゴリズムを説明するためのフローチャートである。 この発明による信号処理装置の実施形態における経路探索アルゴリズムの一部を構成するループサーチアルゴリズムを説明するための図である。 この発明による信号処理装置の実施形態における回路構成の動的変更処理を説明するためのフローチャートである。 この発明による信号処理装置の実施形態におけるリアルタイム分散処理を説明するための図である。 この発明による信号処理装置の第2の実施形態の要部の機能ブロック図である。 図22の第2の実施形態における要部の処理動作の例を説明するためのフローチャートである。 図22の第2の実施形態における要部の処理動作の例を説明するためのフローチャートである。 図22の第2の実施形態における要部の処理動作を説明するための図である。 図22の第2の実施形態における要部の処理動作を説明するための図である。 図22の第2の実施形態における要部の処理動作を説明するための図である。
符号の説明
1…指示入力受付機能部、2…プラグイン生成削除機能部、3…プラグイン間結線処理機能部、4…回路構成情報格納管理機能部、5…経路探索機能部、6…信号処理順序管理機能部、7…信号処理実行機能部、8…信号処理関数格納部、9…エラー警告機能部、10…プリセット機能部

Claims (9)

  1. 複数の信号処理単位要素からなる信号処理を、時刻情報に同期して順次に入力されるデータ信号に対してソフトウエア処理により行なうコンピュータを備えると共に、前記信号処理単位要素の信号処理を前記コンピュータによるソフトウエア処理によりそれぞれ行なうための信号処理ソフトウエアモジュールの複数個を格納する格納部を有する信号処理装置であって、
    前記コンピュータを、
    ユーザからの前記信号処理ソフトウエアモジュールの生成または削除指示、および前記ユーザからの前記信号処理ソフトウエアモジュールの入出力の接続指示、さらに信号処理開始指示を受け付ける指示入力受付手段、
    前記指示入力受付手段で受け付けられた前記生成指示および前記削除指示に基づき前記格納部に格納されている前記複数の信号処理ソフトウエアモジュールから、前記信号処理に用いる前記信号処理ソフトウエアモジュールを選択すると共に、前記入出力の接続の指示に応じて、前記選択された複数個の前記信号処理ソフトウエアモジュールの入出力における信号の授受を意味する仮想的な接続状態を設定する仮想接続手段、
    前記仮想接続手段で設定された、前記選択された前記複数個の信号処理ソフトウエアモジュールの入出力の前記仮想的な接続状態を記憶して管理する回路構成情報記憶管理手段、
    前記回路構成情報格納管理手段に記憶されている前記複数個の信号処理ソフトウエアモジュールのそれぞれの信号処理順序を決定するために信号処理経路を探索する経路探索手段、
    前記指示入力受付手段で受け付けられた前記信号処理開始指示に基づき、前記経路探索手段での経路探索に基づいて決定された信号処理順序で、前記信号処理ソフトウエアモジュールのそれぞれを前記データ信号に同期した前記時刻情報に基づいて逐次的に実行させて前記入力されるデータ信号の信号処理を実行し、その信号処理結果のデータ信号を出力する信号処理実行手段、
    前記複数個の信号処理ソフトウエアモジュールからなる構成回路中に、前記データ信号の1サンプル以上の遅延が発生する前記信号処理ソフトウエアモジュールが含まれないフィードバックループが生成されたと判断するとき、前記フィードバックループに前記データ信号の1サンプル以上の遅延が発生する前記信号処理ソフトウエアモジュールを自動的に追加挿入するかどうかのプリセット設定入力を受け付けるプリセット手段、
    として機能させると共に、
    前記経路探索手段は、前記複数個の信号処理ソフトウエアモジュールからなる構成回路中に、前記データ信号の1サンプル以上の遅延が発生する前記信号処理ソフトウエアモジュールが含まれないフィードバックループが生成されたかをチェックし、前記データ信号の1サンプル以上の遅延が発生する前記信号処理ソフトウエアモジュールが含まれないフィードバックループが生成されたと判断するとき、前記プリセット手段による前記プリセット設定入力を参照し、前記自動的に追加挿入すると設定されているときに、前記フィードバックループに前記データ信号の1サンプル以上の遅延が発生する前記信号処理ソフトウエアモジュールを追加挿入する
    信号処理装置。
  2. 請求項1に記載の信号処理装置において、
    前記経路探索手段が、前記複数個の信号処理ソフトウエアモジュールからなる構成回路中に、前記データ信号の1サンプル以上の遅延が発生する前記信号処理ソフトウエアモジュールが含まれないフィードバックループが生成されたと判断するとき、警告表示をする警告手段をさらに備える信号処理装置。
  3. 請求項に記載の信号処理装置において、
    前記コンピュータを、
    前記データ信号の1サンプル以上の遅延が発生する前記信号処理ソフトウエアモジュールの遅延量として、予めプリセットされた遅延量を保持する保持手段
    としてさらに機能させると共に、
    前記経路探索手段は、前記データ信号の1サンプル以上の遅延が発生する前記信号処理ソフトウエアモジュールが含まれないフィードバックループが生成されたと判断し、かつ、前記プリセット手段による前記プリセット設定入力を参照し、前記自動的に追加挿入すると設定されているときに、前記フィードバックループに、前記保持手段にプリセットされた遅延量の遅延が発生する前記信号処理ソフトウエアモジュールを追加挿入する
    信号処理装置。
  4. 請求項に記載の信号処理装置において、
    前記コンピュータを、
    前記データ信号の1サンプル以上の遅延が発生する前記信号処理ソフトウエアモジュールの挿入位置として、予めプリセットされた位置の情報を保持する保持手段
    としてさらに機能させると共に、
    前記経路探索手段は、前記データ信号の1サンプル以上の遅延が発生する前記信号処理ソフトウエアモジュールが含まれないフィードバックループが生成されたと判断し、かつ、前記プリセット手段による前記プリセット設定入力を参照し、前記自動的に追加挿入すると設定されているときに、前記フィードバックループ中の前記保持手段にプリセットされた位置に前記データ信号の1サンプル以上の遅延を発生する前記信号処理ソフトウエアモジュールを追加挿入する
    信号処理装置。
  5. 複数の信号処理単位要素からなる信号処理を、時刻情報に同期して順次に入力されるデータ信号に対して、コンピュータがソフトウエア処理により行なうための信号処理プログラムであって、
    前記コンピュータを、
    ユーザからの前記信号処理単位要素をソフトウエア処理によりそれぞれ行なう信号処理ソフトウエアモジュールの生成指示または削除指示、および前記複数個の信号処理ソフトウエアモジュールの入出力の接続指示、さらに信号処理開始指示を受け付ける指示入力受付手段
    前記指示入力受付手段で受け付けられた前記生成指示および前記削除指示に基づき、格納部に格納されている複数の前記信号処理ソフトウエアモジュールから、前記信号処理に用いる前記信号処理ソフトウエアモジュールを選択すると共に、前記入出力の接続の指示に応じて、前記選択された複数個の前記信号処理ソフトウエアモジュールの入出力における信号の授受を意味する仮想的な接続状態を設定する仮想接続手段
    前記仮想接続手段で設定された、前記選択された前記複数個の信号処理ソフトウエアモジュールの入出力の前記仮想的な接続状態を記憶して管理する回路構成情報記憶管理手段、
    前記回路構成情報格納管理手段に記憶されている前記複数個の信号処理ソフトウエアモジュールのそれぞれの信号処理順序を決定するために信号処理経路を探索する経路探索手段
    前記指示入力受付手段で受け付けられた前記信号処理開始指示に基づき、前記経路探索手段での経路探索に基づいて決定された信号処理順序で、前記信号処理ソフトウエアモジュールのそれぞれを前記データ信号に同期した前記時刻情報に基づいて逐次的に実行させて前記入力されるデータ信号の信号処理を実行し、その信号処理結果のデータ信号を出力する信号処理実行手段
    前記複数個の信号処理ソフトウエアモジュールからなる構成回路中に、前記データ信号の1サンプル以上の遅延が発生する前記信号処理ソフトウエアモジュールが含まれないフィードバックループが生成されたと判断するとき、前記フィードバックループに前記データ信号の1サンプル以上の遅延が発生する前記信号処理ソフトウエアモジュールを自動的に追加挿入するかどうかのプリセット設定入力を受け付けるプリセット手段、
    として機能させると共に、
    前記経路探索手段は、前記複数個の信号処理ソフトウエアモジュールからなる構成回路中に、前記データ信号の1サンプル以上の遅延が発生する前記信号処理ソフトウエアモジュールが含まれないフィードバックループが生成されたかをチェックし、前記データ信号の1サンプル以上の遅延が発生する前記信号処理ソフトウエアモジュールが含まれないフィードバックループが生成されたと判断するとき、前記プリセット手段による前記プリセット設定入力を参照し、前記自動的に追加挿入すると設定されているときに、前記フィードバックループに前記データ信号の1サンプル以上の遅延が発生する前記信号処理ソフトウエアモジュールを追加挿入する
    信号処理プログラム。
  6. 請求項に記載の信号処理プログラムにおいて、
    前記コンピュータを、
    前記経路探索手段が、前記複数個の信号処理ソフトウエアモジュールからなる構成回路中に、前記データ信号の1サンプル以上の遅延が発生する前記信号処理ソフトウエアモジュールが含まれないフィードバックループが生成されたと判断するとき、警告表示する警告手段としてさらに機能させる
    信号処理プログラム。
  7. 請求項5に記載の信号処理プログラムにおいて、
    前記コンピュータを、
    前記データ信号の1サンプル以上の遅延が発生する前記信号処理ソフトウエアモジュールの遅延量として、予めプリセットされた遅延量を保持する保持手段、
    として機能させると共に、
    前記経路探索手段は、前記データ信号の1サンプル以上の遅延が発生する前記信号処理ソフトウエアモジュールが含まれないフィードバックループが生成されたと判断し、かつ、前記プリセット手段による前記プリセット設定入力を参照し、前記自動的に追加挿入すると設定されているときに、前記フィードバックループに、前記保持手段にプリセットされた遅延量の遅延が発生する前記信号処理ソフトウエアモジュールを追加挿入する
    信号処理プログラム。
  8. 請求項に記載の信号処理プログラムにおいて、
    前記コンピュータを、
    前記データ信号の1サンプル以上の遅延が発生する前記信号処理ソフトウエアモジュールの挿入位置として、予めプリセットされた位置の情報を保持する保持手段、
    として機能させると共に、
    前記経路探索手段は、前記データ信号の1サンプル以上の遅延が発生する前記信号処理ソフトウエアモジュールが含まれないフィードバックループが生成されたと判断し、かつ、前記プリセット手段による前記プリセット設定入力を参照し、前記自動的に追加挿入すると設定されているときに、前記フィードバックループ中の前記保持手段にプリセットされた位置に前記データ信号の1サンプル以上の遅延を発生する前記信号処理ソフトウエアモジュールを追加挿入する
    信号処理プログラム。
  9. 請求項5〜8のいずれかの信号処理プログラムを記録したコンピュータ読取可能な記録媒体。
JP2005012256A 2005-01-20 2005-01-20 信号処理装置、信号処理プログラムおよび記録媒体 Expired - Fee Related JP4348546B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2005012256A JP4348546B2 (ja) 2005-01-20 2005-01-20 信号処理装置、信号処理プログラムおよび記録媒体
KR1020060002602A KR101182262B1 (ko) 2005-01-20 2006-01-10 신호처리장치, 신호처리방법 및 기록 매체
US11/336,284 US7954113B2 (en) 2005-01-20 2006-01-20 Signal processing apparatus, signal processing method, and recording medium
CNB2006100059725A CN100385393C (zh) 2005-01-20 2006-01-20 信号处理装置,信号处理方法及记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005012256A JP4348546B2 (ja) 2005-01-20 2005-01-20 信号処理装置、信号処理プログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
JP2006201988A JP2006201988A (ja) 2006-08-03
JP4348546B2 true JP4348546B2 (ja) 2009-10-21

Family

ID=36816881

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005012256A Expired - Fee Related JP4348546B2 (ja) 2005-01-20 2005-01-20 信号処理装置、信号処理プログラムおよび記録媒体

Country Status (4)

Country Link
US (1) US7954113B2 (ja)
JP (1) JP4348546B2 (ja)
KR (1) KR101182262B1 (ja)
CN (1) CN100385393C (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4622611B2 (ja) * 2005-03-24 2011-02-02 ソニー株式会社 信号処理装置
US8799857B2 (en) 2005-04-29 2014-08-05 Microsoft Corporation XML application framework
US8132148B2 (en) * 2005-04-29 2012-03-06 Microsoft Corporation XML application framework
US8640147B2 (en) * 2010-11-11 2014-01-28 International Business Machines Corporation Method and system for virtualizing connection end-points in distributed, component based applications at runtime
US10397064B2 (en) * 2016-04-20 2019-08-27 Servicenow, Inc. System and method for custom graph generation
AT518909A2 (de) * 2016-07-29 2018-02-15 Avl List Gmbh Signalflussbasiertes Computerprogramm mit Direct-Feedthrough-Schleifen
US11327802B2 (en) * 2019-07-31 2022-05-10 Microsoft Technology Licensing, Llc System and method for exporting logical object metadata

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5142625A (en) * 1985-06-12 1992-08-25 Minolta Camera Kabushiki Kaisha One-chip microcomputer including a programmable logic array for interrupt control
US4796179A (en) * 1986-08-20 1989-01-03 Integrated Systems, Inc. Multirate real time control system code generator
US5684980A (en) * 1992-07-29 1997-11-04 Virtual Computer Corporation FPGA virtual computer for executing a sequence of program instructions by successively reconfiguring a group of FPGA in response to those instructions
CA2153964A1 (en) * 1993-09-13 1995-03-23 Steven H. Milne Object-oriented audio record/playback system
GB9607528D0 (en) * 1996-04-11 1996-06-12 Int Computers Ltd Integrated circuit processor
US6937969B1 (en) * 1999-06-10 2005-08-30 Interuniversitair Microelektronica Centrum (Imec) Method for determining signals in mixed signal systems
JP4318013B2 (ja) 2000-08-31 2009-08-19 ソニー株式会社 コンテンツ編集装置、コンテンツ編集方法及びプログラム格納媒体並びにコンテンツ編集システム
JP2002291011A (ja) * 2001-03-23 2002-10-04 Toshiba Corp 無線装置及び無線装置のハンドオーバ制御方法
US20040045009A1 (en) * 2002-08-29 2004-03-04 Bae Systems Information Electronic Systems Integration, Inc. Observation tool for signal processing components
US20040045007A1 (en) * 2002-08-30 2004-03-04 Bae Systems Information Electronic Systems Integration, Inc. Object oriented component and framework architecture for signal processing
JP2004222040A (ja) 2003-01-16 2004-08-05 Yamaha Corp ディジタルフィルタ
US7587710B2 (en) 2003-02-14 2009-09-08 Siemens Aktiengesellschaft Method for determining the processing sequence of function blocks of an automated system and corresponding automated system
JP4296421B2 (ja) 2004-06-09 2009-07-15 ソニー株式会社 信号処理装置

Also Published As

Publication number Publication date
KR20060084791A (ko) 2006-07-25
CN100385393C (zh) 2008-04-30
US20060184597A1 (en) 2006-08-17
US7954113B2 (en) 2011-05-31
JP2006201988A (ja) 2006-08-03
CN1808380A (zh) 2006-07-26
KR101182262B1 (ko) 2012-09-17

Similar Documents

Publication Publication Date Title
JP4622611B2 (ja) 信号処理装置
JP4296421B2 (ja) 信号処理装置
JP4348546B2 (ja) 信号処理装置、信号処理プログラムおよび記録媒体
EP3367316A1 (en) Collaborative design systems, apparatuses, and methods
US7734457B2 (en) Method and system for generating dynamic comparison models
US11106437B2 (en) Lookup table optimization for programming languages that target synchronous digital circuits
US8856766B2 (en) Generating layouts for graphs of data flow applications
Gopsill et al. Computer aided design user interaction as a sensor for monitoring engineers and the engineering design process
US6546430B2 (en) Negotiating optimum parameters in a system of interconnected components
US8418119B2 (en) Logical circuit netlist reduction and model simplification using simulation results containing symbolic values
CN109657139B (zh) 网络事件传播的模拟方法、装置及设备
CN114265846A (zh) 一种数据操作方法、装置、电子设备和存储介质
CN111124386A (zh) 基于Unity的动画事件处理方法、装置、设备和存储介质
GB2397905A (en) Method for automatically generating and ordering test scripts
US20210200574A1 (en) Visual conformance checking of processes
JP6802109B2 (ja) ソフトウェア仕様分析装置、及びソフトウェア仕様分析方法
US8694293B2 (en) Simulation support method, computer-readable storage medium storing simulation support program, and simulation support apparatus
US8082527B1 (en) Representing the behaviors of a packet processor
US8174540B1 (en) Consistency checking of user-settable isolated parameters in a graphical model
WO2024037168A1 (zh) 建立模型的方法、装置以及设备
US20050235276A1 (en) Live set transmission in pipelining applications
CN116166316A (zh) 数据治理方法、装置、计算机设备及存储介质
JP6164979B2 (ja) 整合性検証装置、整合性検証方法及び整合性検証プログラム
JP2018088100A (ja) 状態遷移編集装置および状態遷移編集プログラム
Proença et al. REPORT SEN-R0802 MAY 2008

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090401

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090528

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090624

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090707

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120731

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120731

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130731

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees