JP2017509980A - 動的な空間ターゲット選択 - Google Patents

Abstract

ニューラルネットワークでターゲット選択を動的に変更する方法は、ニューラルネットワーク内の接続のアンバランスの量を制御することによって、選択関数を動的に変更することを含む。選択されたニューロンは、複数の候補ターゲットのうちの１つを表す。【選択図】図８

Description

関連出願の相互参照

[0001]本出願は、米国特許法第１１９条（ｅ）の下で、２０１４年２月２１日に出願された「ｄｙｎａｍｉｃ ｓｐａｔｉａｌ ｔａｒｇｅｔ ｓｅｌｅｃｔｉｏｎ」と題する米国仮特許出願第６１／９４３，２２７号と、２０１４年２月２１日に出願された「Ｉｍｂａｌａｎｃｅｄ ｃｒｏｓｓ−ｉｎｈｉｂｉｔｏｒｙ ｍｅｃｈａｎｉｓｍ ｆｏｒ ｓｐａｔｉａｌ ｔａｒｇｅｔ ｓｅｌｅｃｔｉｏｎ」と題する米国仮特許出願第６１／９４３，２３１号との利益を主張し、その開示は、参照によりその全体が本明細書に明示的に組み込まれる。

[0002]本開示のいくつかの態様は、一般にニューラルシステムエンジニアリングに関し、より詳細には、動的な空間ターゲット選択のためのシステムおよび方法に関する。

[0003]人工ニューロン（すなわち、ニューロンモデル）の相互結合されたグループを備え得る人工ニューラルネットワークは、計算デバイスであるか、または計算デバイスによって実行される方法を表す。人工ニューラルネットワークは、生物学的ニューラルネットワークにおける対応する構造および／または機能を有し得る。しかしながら、人工ニューラルネットワークは、従来の計算技法が厄介、実行不可能または不適切であるいくつかの適用例に革新的で有用な計算技法を提供することができる。人工ニューラルネットワークは観測から関数を推測することができるので、そのようなネットワークは、タスクまたはデータの複雑さが従来の技法による関数の設計を煩わしくする用途において、特に有用である。したがって、アンバランスな交差抑制機構を使用して、選択スキームに基づいてターゲットを動的に選択するために、ニューロモルフィック受信機を提供することが望ましい。

[0004]本開示のある態様によれば、ニューラルネットワークでターゲット選択を動的に変更する方法が開示される。本方法は、ニューラルネットワーク内の接続のアンバランスの量を制御することによって、選択関数を動的に変更することを含む。選択されたニューロンは、複数の候補ターゲットのうちの１つを表す。

[0005]本開示の別の態様によれば、装置が開示される。本装置は、ニューラルネットワーク内の接続のアンバランスの量を決定するための手段を含む。本装置はまた、ニューラルネットワーク内の接続のアンバランスの量を制御することによって、選択関数を動的に変更するための手段を含む。選択されたニューロンは、複数の候補ターゲットのうちの１つを表す。

[0006]本開示の別の態様は、メモリと、メモリに結合された少なくとも１つのプロセッサとを有する装置を対象とする。本プロセッサは、ニューラルネットワーク内の接続のアンバランスの量を制御することによって、選択関数を動的に変更するように構成される。選択されたニューロンは、複数の候補ターゲットのうちの１つを表す。

[0007]別の態様では、コンピュータプログラム製品は、ニューラルネットワークでターゲット選択を動的に変更する。本コンピュータ可読媒体は、プロセッサによって実行されると、プロセッサに、ニューラルネットワーク内の接続のアンバランスの量を制御することによって、選択関数を動的に変更する動作を実行させる、非一時的プログラムコードを記録する。選択されたニューロンは、複数の候補ターゲットのうちの１つを表す。

[0008]本開示の追加の特徴および利点は、以下で説明される。この開示は、本開示と同じ目的を実行するための他の構造を修正または設計するための基礎として容易に変更され得ることが、当業者によって理解されるべきである。また、添付の特許請求の範囲に記載されるように、そのような等価な構成は本開示の教示から逸脱しないことが、当業者によって理解されるべきである。本開示の特徴と考えられる新規な特徴は、その構成と動作の方法との両方に関して、さらなる目的および利点とともに、添付の図面と関連して考慮されるとき以下の説明からより良く理解されるであろう。しかしながら、図面の各々は単に例示および説明の目的のために提供されているにすぎず、本開示の制限の定義として意図されていないことが、明確には理解されるべきである。

[0009]本開示の特徴、性質、および利点は、同様の参照文字が全体を通して相応して識別する図面を考慮した場合、以下に示される詳細な説明から、より明らかになるだろう。
本開示のいくつかの態様によるニューロンの例示的なネットワークを示す図。 本開示のいくつかの態様による、計算ネットワーク（ニューラルシステムまたはニューラルネットワーク）の処理ユニット（ニューロン）の一例を示す図。 本開示のいくつかの態様によるスパイクタイミング依存可塑性（ＳＴＤＰ）曲線の一例を示す図。 本開示のいくつかの態様による、ニューロンモデルの挙動を定義するための正レジームおよび負レジームの一例を示す図。 本開示の態様によるターゲット選択を示す図。 本開示の態様によるターゲット選択を示す図。 本開示の態様による交差抑制を示す図。 本開示の態様による交差抑制を示す図。 本開示の態様によるターゲット選択を示す図。 本開示の態様によるターゲット選択を示す図。 本開示の態様によるターゲット選択を示す図。 本開示のある態様による、汎用プロセッサを使用してニューラルネットワークを設計することの例示的な実装形態を示す図。 本開示のいくつかの態様による、メモリが個々の分散処理ユニットとインターフェースされ得るニューラルネットワークを設計する例示的な実装形態を示す図。 本開示のいくつかの態様による、分散メモリおよび分散処理ユニットに基づいてニューラルネットワークを設計する例示的な実装形態を示す図。 本開示のいくつかの態様による、ニューラルネットワークの例示的な実装形態を示す図。 本開示の態様による、ニューラルネットワーク内でターゲットを選択することを示すブロック図。

[0022]添付の図面に関連して以下に示される詳細な説明は、様々な構成の説明として意図されたものであり、本明細書において説明される概念が実現され得る唯一の構成を表すことを意図されるものではない。詳細な説明は、様々な概念の完全な理解を提供する目的で、具体的な詳細を含む。しかしながら、これらの概念がこれらの具体的な詳細なしで実施され得ることは、当業者にとっては明らかであろう。いくつかの事例では、よく知られている構造および構成要素が、そのような概念を曖昧にするのを避けるために、ブロック図形式で示される。

[0023]本教示に基づいて、本開示の範囲は、本開示の任意の他の態様とは無関係に実装されるにせよ、本開示の任意の他の態様と組み合わされるにせよ、本開示のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。たとえば、記載される態様をいくつ使用しても、装置は実装され得、または方法は実施され得る。さらに、本開示の範囲は、記載される本開示の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実施されるそのような装置または方法をカバーするものとする。開示する本開示のいずれの態様も、請求項の１つまたは複数の要素によって実施され得ることを理解されたい。

[0024]「例示的」という単語は、本明細書では「例、事例、または例示の働きをすること」を意味するために使用される。「例示的」として本明細書で説明するいかなる態様も、必ずしも他の態様よりも好ましいまたは有利であると解釈されるべきであるとは限らない。

[0025]本明細書では特定の態様について説明するが、これらの態様の多くの変形および置換は本開示の範囲内に入る。好ましい態様のいくつかの利益および利点が説明されるが、本開示の範囲は特定の利益、使用、または目的に限定されるものではない。むしろ、本開示の態様は、様々な技術、システム構成、ネットワーク、およびプロトコルに広く適用可能であるものとし、そのうちのいくつかを例として図および好ましい態様についての以下の説明で示す。発明を実施するための形態および図面は、本開示を限定するものではなく説明するものにすぎず、本開示の範囲は添付の特許請求の範囲およびそれの均等物によって定義される。
例示的なニューラルシステム、トレーニングおよび動作
[0026]図１は、本開示のいくつかの態様による、複数のレベルのニューロンをもつ例示的な人工ニューラルシステム１００を示す。ニューラルシステム１００は、シナプス結合のネットワーク１０４（すなわち、フィードフォワード結合）を介してニューロンの別のレベル１０６に結合されたニューロンのあるレベル１０２を有し得る。簡単のために、図１には２つのレベルのニューロンのみが示されているが、ニューラルシステムには、より少ないまたはより多くのレベルのニューロンが存在し得る。ニューロンのいくつかは、ラテラル結合を介して同じレイヤの他のニューロンに結合し得ることに留意されたい。さらに、ニューロンのいくつかは、フィードバック結合を介して前のレイヤのニューロンに戻る形で結合し得る。

[0027]図１に示すように、レベル１０２における各ニューロンは、前のレベル（図１に図示せず）のニューロンによって生成され得る入力信号１０８を受信し得る。信号１０８は、レベル１０２のニューロンの入力電流を表し得る。この電流は、膜電位を充電するためにニューロン膜上に蓄積され得る。膜電位がそれのしきい値に達すると、ニューロンは、発火し、ニューロンの次のレベル（たとえば、レベル１０６）に転送されるべき出力スパイクを生成し得る。いくつかのモデリング手法では、ニューロンは、信号をニューロンの次のレベルに継続的に転送し得る。この信号は、典型的には膜電位の関数である。そのような挙動は、以下で説明するものなどのアナログおよびデジタル実装形態を含むハードウェアおよび／またはソフトウェアでエミュレートまたはシミュレートされ得る。

[0028]生物学的ニューロンでは、ニューロンが発火するときに生成される出力スパイクは、活動電位と呼ばれる。電気信号は、約１００ｍＶの振幅と約１ｍｓの持続時間とを有する比較的急速で、一時的な神経インパルスである。一連の結合されたニューロンを有するニューラルシステムの特定の実施形態（たとえば、図１におけるあるレベルのニューロンから別のレベルのニューロンへのスパイクの転送）では、あらゆる活動電位が基本的に同じ振幅と持続時間とを有するので、信号における情報は、振幅によってではなく、スパイクの周波数および数、またはスパイクの時間によってのみ表され得る。活動電位によって搬送される情報は、スパイク、スパイクしたニューロン、および他の１つまたは複数のスパイクに対するスパイクの時間によって決定され得る。以下で説明するように、スパイクの重要性は、ニューロン間の接続に適用される重みによって決定され得る。

[0029]図１に示されるように、ニューロンのあるレベルから別のレベルへのスパイクの移動は、シナプス結合（または、単純に「シナプス」）１０４のネットワークを介して達成され得る。シナプス１０４に関して、レベル１０２のニューロンはシナプス前ニューロンと考えられ得、レベル１０６のニューロンはシナプス後ニューロンと考えられ得る。シナプス１０４は、レベル１０２のニューロンから出力信号（すなわち、スパイク）を受信して、調整可能なシナプスの重み

に応じてそれらの信号をスケーリングすることができ、上式で、Ｐはレベル１０２のニューロンとレベル１０６のニューロンとの間のシナプス結合の総数であり、ｉはニューロンレベルの指標である。図１の例では、ｉはニューロンレベル１０２を表し、ｉ＋１は、ニューロンレベル１０６を表す。さらに、スケーリングされた信号は、レベル１０６における各ニューロンの入力信号として合成され得る。レベル１０６におけるあらゆるニューロンは、対応する合成された入力信号に基づいて、出力スパイク１１０を生成し得る。出力スパイク１１０は、シナプス結合の別のネットワーク（図１には図示せず）を使用して、別のレベルのニューロンに転送され得る。

[0030]生物学的シナプスは、シナプス後ニューロンにおける興奮性活動または抑制性（過分極化）活動のいずれかを調停することができ、ニューロン信号を増幅する役目を果たすことができる。興奮性信号は、膜電位を脱分極する（すなわち、静止電位に対して膜電位を増加させる）。しきい値を超えて膜電位を脱分極するために十分な興奮性信号が一定の時間期間内に受信された場合、シナプス後ニューロンに活動電位が生じる。対照的に、抑制性信号は一般に、膜電位を過分極する（すなわち、低下させる）。抑制性信号は、十分に強い場合、興奮性信号のすべてを相殺し、膜電位がしきい値に達するのを防止することができる。シナプス興奮を相殺することに加えて、シナプス抑制は、自然に活発なニューロンに対して強力な制御を行うことができる。自然に活発なニューロンは、たとえば、それのダイナミクスまたはフィードバックに起因するさらなる入力なしにスパイクするニューロンを指す。これらのニューロンにおける活動電位の自然な生成を抑圧することによって、シナプス抑制は、一般にスカルプチャリングと呼ばれる、ニューロンの発火のパターンを形成することができる。様々なシナプス１０４は、望まれる挙動に応じて、興奮性シナプスまたは抑制性シナプスの任意の組合せとして働き得る。

[0031]ニューラルシステム１００は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）もしくは他のプログラマブル論理デバイス（ＰＬＤ）、個別ゲートもしくはトランジスタ論理、個別ハードウェア構成要素、プロセッサによって実行されるソフトウェアモジュール、またはそれらの任意の組合せによってエミュレートされ得る。ニューラルシステム１００は、たとえば画像およびパターン認識、機械学習、モータ制御、および似ているなど、かなりの適用範囲において利用され得る。ニューラルシステム１００における各ニューロンは、ニューロン回路として実装され得る。出力スパイクを開始するしきい値まで充電されるニューロン膜は、たとえば、そこを通って流れる電流を積分するキャパシタとして実装され得る。

[0032]一態様では、キャパシタは、ニューロン回路の電流積分デバイスとして除去され得、その代わりにより小さいメモリスタ（memristor）要素が使用され得る。この手法は、ニューロン回路において、ならびにかさばるキャパシタが電流積分器として利用される様々な他の適用例において適用され得る。さらに、シナプス１０４の各々は、メモリスタ要素に基づいて実装され得、シナプス重みの変化は、メモリスタ抵抗の変化に関係し得る。ナノメートルの特徴サイズのメモリスタを用いると、ニューロン回路およびシナプスの面積が大幅に低減され得、それによって、大規模なニューラルシステムハードウェア実装形態の実装がより実用的になり得る。

[0033]ニューラルシステム１００をエミュレートするニューラルプロセッサの機能は、ニューロン間の結合の強さを制御し得る、シナプス結合の重みに依存し得る。シナプス重みは、パワーダウン後にプロセッサの機能を維持するために、不揮発性メモリに記憶され得る。一態様では、シナプス重みメモリは、主たるニューラルプロセッサチップとは別個の外部チップ上に実装され得る。シナプス重みメモリは、交換可能メモリカードとしてニューラルプロセッサチップとは別個にパッケージ化され得る。これは、ニューラルプロセッサに多様な機能を提供することができ、特定の機能は、ニューラルプロセッサに現在取り付けられているメモリカードに記憶されたシナプス重みに基づき得る。

[0034]図２は、本開示のいくつかの態様による、計算ネットワーク（たとえば、ニューラルシステムまたはニューラルネットワーク）の処理ユニット（たとえば、ニューロンまたはニューロン回路）２０２の例示的な図２００を示す。たとえば、ニューロン２０２は、図１のレベル１０２のニューロンおよび１０６のニューロンのうちのいずれかに対応し得る。ニューロン２０２は、ニューラルシステムの外部にある信号、または同じニューラルシステムの他のニューロンによって生成された信号、またはその両方であり得る、複数の入力信号２０４₁〜２０４_Nを受信し得る。入力信号は、電流、コンダクタンス、電圧、実数値および／または複素数値であり得る。入力信号は、固定小数点表現または浮動小数点表現をもつ数値を備え得る。これらの入力信号は、調整可能なシナプス重み２０６₁〜２０６_N（ｗ₁〜ｗ_N）に従って信号をスケーリングするシナプス結合を通してニューロン２０２に伝えられ得、Ｎはニューロン２０２の入力接続の総数であり得る。

[0035]ニューロン２０２は、スケーリングされた入力信号を合成し、合成された、スケーリングされた入力を使用して、出力信号２０８（すなわち、信号ｙ）を生成し得る。出力信号２０８は、電流、コンダクタンス、電圧、実数値および／または複素数値であり得る。出力信号は、固定小数点表現または浮動小数点表現をもつ数値であり得る。出力信号２０８は、次いで、同じニューラルシステムの他のニューロンへの入力信号として、または同じニューロン２０２への入力信号として、またはニューラルシステムの出力として伝達され得る。

[0036]処理ユニット（ニューロン）２０２は電気回路によってエミュレートされ得、それの入力接続および出力接続は、シナプス回路をもつ電気接続によってエミュレートされ得る。処理ユニット２０２ならびにそれの入力接続および出力接続はまた、ソフトウェアコードによってエミュレートされ得る。処理ユニット２０２はまた、電気回路によってエミュレートされ得るが、それの入力接続および出力接続はソフトウェアコードによってエミュレートされ得る。一態様では、計算ネットワーク中の処理ユニット２０２はアナログ電気回路であり得る。別の態様では、処理ユニット２０２はデジタル電気回路であり得る。さらに別の態様では、処理ユニット２０２は、アナログ構成要素とデジタル構成要素の両方をもつ混合信号電気回路であり得る。計算ネットワークは、上述の形態のいずれかにおける処理ユニットを含み得る。そのような処理ユニットを使用した計算ネットワーク（ニューラルシステムまたはニューラルネットワーク）は、たとえば画像およびパターン認識、機械学習、モータ制御など、かなりの適用範囲において利用され得る。

[0037]ニューラルネットワークをトレーニングする過程で、シナプス重み（たとえば、図１の重み

および／または図２の重み２０６₁〜２０６_N）がランダム値により初期化され得、学習ルールに従って増加または減少し得る。学習ルールの例は、これに限定されないが、スパイクタイミング依存可塑性（ＳＴＤＰ）学習ルール、Ｈｅｂｂ則、Ｏｊａ則、Ｂｉｅｎｅｎｓｔｏｃｋ−Ｃｏｐｐｅｒ−Ｍｕｎｒｏ（ＢＣＭ）則等を含むことを当業者は理解するだろう。いくつかの態様では、重みは、２つの値のうちの１つに安定または収束し得る（すなわち、重みの双峰分布）。この効果が利用されて、シナプス重みごとのビット数を低減し、シナプス重みを記憶するメモリとの間の読取りおよび書込みの速度を上げ、シナプスメモリの電力および／またはプロセッサ消費量を低減し得る。
シナプスタイプ

[0038]ニューラルネットワークのハードウェアおよびソフトウェアモデルでは、シナプス関係機能の処理がシナプスタイプに基づき得る。シナプスタイプは、非塑性シナプス（non-plastic synapse）（重みおよび遅延の変化がない）、可塑性シナプス（重みが変化し得る）、構造遅延可塑性シナプス（重みおよび遅延が変化し得る）、完全可塑性シナプス（重み、遅延および結合性が変化し得る）、およびそれの変形（たとえば、遅延は変化し得るが、重みまたは結合性の変化はない）であり得る。複数のタイプの利点は、処理が再分割され得ることである。たとえば、非塑性シナプスは、可塑性機能を必要としないで実行される場合がある（またはそのような機能が完了するのを待つ）。同様に、遅延および重み可塑性は、一緒にまたは別々に、順にまたは並列に動作し得る動作に再分割され得る。異なるタイプのシナプスは、適用される異なる可塑性タイプの各々の異なるルックアップテーブルまたは式およびパラメータを有し得る。したがって、本方法は、シナプスのタイプについての関連する表、式、またはパラメータにアクセスする。

[0039]スパイクタイミング依存構造可塑性がシナプス可塑性とは無関係に実行され得るという事実のさらなる含意がある。構造可塑性は、重みの大きさに変化がない場合（たとえば、重みが最小値または最大値に達したか、あるいはそれが何らかの他の理由により変更されない場合）ｓ構造可塑性（すなわち、遅延量の変化）は前後スパイク時間差（pre-post spike time difference）の直接関数であり得ても実行され得る。代替的に、構造可塑性は、重み変化量に応じて、または重みもしくは重み変化の限界に関係する条件に基づいて設定され得る。たとえば、重み変化が生じたとき、または重みが最大値になるのではなく、重みがゼロに達した場合のみ、シナプス遅延が変化し得る。しかしながら、これらのプロセスが並列化され、メモリアクセスの数および重複を低減し得るように、独立した機能を有することが有利であり得る。
シナプス可塑性の決定

[0040]神経可塑性（または単に「可塑性」）は、脳内のニューロンおよびニューラルネットワークがそれらのシナプス結合と挙動とを新しい情報、感覚上の刺激、発展、損傷または機能不全に応答して変える能力である。可塑性は、生物学における学習および記憶にとって、また計算論的神経科学およびニューラルネットワークにとって重要である。（たとえば、Ｈｅｂｂ則理論による）シナプス可塑性、スパイクタイミング依存可塑性（ＳＴＤＰ）、非シナプス可塑性、アクティビティ依存可塑性、構造可塑性および恒常的可塑性など、様々な形の可塑性が研究されている。

[0041]ＳＴＤＰは、ニューロン間のシナプス結合の強さを調整する学習プロセスである。結合強度は、特定のニューロンの出力スパイクおよび受信入力スパイク（すなわち、活動電位）の相対的タイミングに基づいて調整される。ＳＴＤＰプロセスの下で、あるニューロンに対する入力スパイクが、平均して、そのニューロンの出力スパイクの直前に生じる傾向がある場合、長期増強（ＬＴＰ）が生じ得る。その場合、その特定の入力はいくらか強くなる。一方、入力スパイクが、平均して、出力スパイクの直後に生じる傾向がある場合、長期抑圧（ＬＴＤ）が生じ得る。その場合、その特定の入力はいくらか弱くなるので、「スパイクタイミング依存可塑性」と呼ばれる。したがって、シナプス後ニューロンの興奮の原因であり得る入力は、将来的に寄与する可能性がさらに高くなる一方、シナプス後スパイクの原因ではない入力は、将来的に寄与する可能性が低くなる。結合の初期セットのサブセットが残る一方で、その他の部分の影響がわずかなレベルまで低減されるまで、このプロセスは続く。

[0042]ニューロンは一般に出力スパイクを、それの入力の多くが短い期間内に生じる（すなわち、出力をもたらすのに十分な累積がある）ときに生成するので、通常残っている入力のサブセットは、時間的に相関する傾向のあった入力を含む。さらに、出力スパイクの前に生じる入力は強化されるので、最も早い十分に累積的な相関指示を提供する入力は結局、ニューロンへの最終入力となる。

[0043]ＳＴＤＰ学習ルールは、シナプス前ニューロンのスパイク時間ｔ_preとシナプス後ニューロンのスパイク時間ｔ_postとの間の時間差（すなわち、ｔ＝ｔ_post−ｔ_pre）に応じて、シナプス前ニューロンをシナプス後ニューロンに結合するシナプスのシナプス重みを効果的に適合させ得る。ＳＴＤＰの通常の公式化は、時間差が正である（シナプス前ニューロンがシナプス後ニューロンの前に発火する）場合にシナプス重みを増加させ（すなわち、シナプスを増強し）、時間差が負である（シナプス後ニューロンがシナプス前ニューロンの前に発火する）場合にシナプス重みを減少させる（すなわち、シナプスを抑制する）ことである。

[0044]ＳＴＤＰプロセスでは、経時的なシナプス重みの変化は通常、以下の式によって与えられるように、指数関数的減衰を使用して達成され得る。

ここで、ｋ₊およびｋ_-τ_sign(Δt)はそれぞれ、正の時間差および負の時間差の時間定数であり、ａ₊およびａ_-は対応するスケーリングの大きさであり、μは正の時間差および／または負の時間差に適用され得るオフセットである。

[0045]図３は、ＳＴＤＰによる、シナプス前スパイクおよびシナプス後スパイクの相対的タイミングに応じたシナプス重み変化の例示的な図３００を示す。シナプス前ニューロンがシナプス後ニューロンの前に発火する場合、グラフ３００の部分３０２に示すように、対応するシナプス重みは増加し得る。この重み増加は、シナプスのＬＴＰと呼ばれ得る。グラフ部分３０２から、シナプス前スパイク時間とシナプス後スパイク時間との間の時間差に応じて、ＬＴＰの量がほぼ指数関数的に減少し得ることが観測され得る。グラフ３００の部分３０４に示すように、発火の逆の順序は、シナプス重みを減少させ、シナプスのＬＴＤをもたらし得る。

[0046]図３のグラフ３００に示すように、ＳＴＤＰグラフのＬＴＰ（原因）部分３０２に負のオフセットμが適用され得る。ｘ軸の交差３０６のポイント（ｙ＝０）は、レイヤｉ−１からの原因入力の相関を考慮して、最大タイムラグと一致するように構成され得る。フレームベースの入力（すなわち、スパイクまたはパルスを備える特定の持続時間のフレームの形態である入力）の場合、オフセット値μは、フレーム境界を反映するように計算され得る。直接的にシナプス後電位によってモデル化されるように、またはニューラル状態に対する影響の点で、フレームにおける第１の入力スパイク（パルス）が経時的に減衰することが考慮され得る。フレームにおける第２の入力スパイク（パルス）が特定の時間フレームと相関したまたは特定の時間フレームに関連したものと考えられる場合、フレームの前および後の関連する時間は、その時間フレーム境界で分離され、関連する時間の値が異なり得る（たとえば、１つのフレームよりも大きい場合は負、１つのフレームよりも小さい場合は正）ように、ＳＴＤＰ曲線の１つまたは複数の部分をオフセットすることによって、可塑性の点で別様に扱われ得る。たとえば、曲線が、フレーム時間よりも大きい前後の時間で実際にゼロよりも下になり、結果的にＬＴＰの代わりにＬＴＤの一部であるようにＬＴＰをオフセットするために負のオフセットμが設定され得る。
ニューロンモデルおよび演算

[0047]有用なスパイキングニューロンモデルを設計するための一般的原理がいくつかある。良いニューロンモデルは、２つの計算レジーム、すなわち、一致検出および関数計算の点で豊かな潜在的挙動を有し得る。その上、良いニューロンモデルは、時間コーディングを可能にするための２つの要素を有する必要がある：入力の到着時間は出力時間に影響を与え、一致検出は狭い時間ウィンドウを有し得る。最終的に、計算上魅力的であるために、良いニューロンモデルは、連続時間に閉形式解と、ニアアトラクター（near attractor）と鞍点とを含む安定した挙動とを有し得る。言い換えれば、有用なニューロンモデルは、実用的なニューロンモデルであり、豊かで、現実的で、生物学的に一貫した挙動をモデル化するために使用され得、神経回路のエンジニアリングとリバースエンジニアリングの両方を行うために使用され得るニューロンモデルである。

[0048]ニューロンモデルは事象、たとえば入力の到着、出力スパイク、または内部的であるか外部的であるかを問わず他の事象に依存し得る。豊かな挙動レパートリーを実現するために、複雑な挙動を示すことができる状態機械が望まれ得る。入力寄与（ある場合）とは別個の事象の発生自体が状態機械に影響を与え、事象の後のダイナミクスを制限し得る場合、システムの将来の状態は、単なる状態および入力の関数ではなく、むしろ状態、事象および入力の関数である。

[0049]一態様では、ニューロンｎは、下記のダイナミクスによって決定される膜電圧ｖ_n（ｔ）によるスパイキングリーキー積分発火ニューロンとしてモデル化され得る。

ここでαおよびβはパラメータであり、ｗ_m,nはシナプス前ニューロンｍをシナプス後ニューロンｎに結合するシナプスのシナプス重みであり、ｙ_m（ｔ）は、ニューロンｎの細胞体に到着するまでΔｔ_m,nに従って樹状遅延または軸索遅延によって遅延し得るニューロンｍのスパイキング出力である。

[0050]シナプス後ニューロンへの十分な入力が達成された時間からシナプス後ニューロンが実際に発火する時間までの遅延があることに留意されたい。イジケヴィッチの単純モデルなど、動的スパイキングニューロンモデルでは、脱分極しきい値ｖ_tとピークスパイク電圧ｖ_peakとの間に差がある場合、時間遅延が生じ得る。たとえば、単純モデルでは、電圧および復元のための１対の微分方程式、すなわち、

によってニューロン細胞体ダイナミクス（neuron soma dynamics）が決定され得る。ここでｖは膜電位であり、ｕは、膜復元変数であり、ｋは、膜電位ｖの時間スケールを記述するパラメータであり、ａは、復元変数ｕの時間スケールを記述するパラメータであり、ｂは、膜電位ｖのしきい値下変動に対する復元変数ｕの感度を記述するパラメータであり、ｖ_rは、膜静止電位であり、Ｉは、シナプス電流であり、Ｃは、膜のキャパシタンスである。このモデルによれば、ニューロンはｖ＞ｖ_peakのときにスパイクすると定義される。
Ｈｕｎｚｉｎｇｅｒ Ｃｏｌｄモデル

[0051]Ｈｕｎｚｉｎｇｅｒ Ｃｏｌｄニューロンモデルは、豊かな様々な神経挙動を再生し得る最小二重レジームスパイキング線形動的モデルである。モデルの１次元または２次元の線形ダイナミクスは２つのレジームを有することができ、時間定数（および結合）はレジームに依存し得る。しきい値下レジームでは、時間定数は、慣例により負であり、一般に生物学的に一貫した線形方式で静止状態に細胞を戻す役目を果たすリーキーチャネルダイナミクスを表す。しきい値上レジームにおける時間定数は、慣例により正であり、一般にスパイク生成のレイテンシを生じさせる一方でスパイク状態に細胞を駆り立てる反リーキーチャネルダイナミクスを反映する。

[0052]図４に示すように、モデル４００のダイナミクスは２つの（またはそれよりも多くの）レジームに分割され得る。これらのレジームは、負のレジーム（ｎｅｇａｔｉｖｅ ｒｅｇｉｍｅ）４０２（ｌｅａｋｙ−ｉｎｔｅｇｒａｔｅ−ａｎｄ−ｆｉｒｅ（ＬＩＦ）ニューロンモデルと混同されないように、交換可能にＬＩＦレジームとも呼ばれる）、および正のレジーム（ｐｏｓｉｔｉｖｅ ｒｅｇｉｍｅ）４０４（ａｎｔｉ−ｌｅａｋｙ−ｉｎｔｅｇｒａｔｅ−ａｎｄ−ｆｉｒｅ（ＡＬＩＦ）ニューロンモデルと混同されないように、交換可能にＡＬＩＦレジームとも呼ばれる）と呼ばれ得る。負レジーム４０２では、状態は将来の事象の時点における静止（ｖ_-）の傾向がある。この負レジームでは、モデルは一般に、時間的入力検出特性と他のしきい値下挙動とを示す。正レジーム４０４では、状態はスパイキング事象（ｖ_s）の傾向がある。この正レジームでは、モデルは、後続の入力事象に応じてスパイクにレイテンシを生じさせるなどの計算特性を示す。事象の点からのダイナミクスの公式化およびこれら２つのレジームへのダイナミクスの分離は、モデルの基本的特性である。

[0053]線形二重レジーム２次元ダイナミクス（状態ｖおよびｕの場合）は、慣例により次のように定義され得る。

ここでｑ_ρおよびｒは、結合のための線形変換変数である。

[0054]シンボルρは、ダイナミクスレジームを示すためにここで使用され、特定のレジームの関係を論述または表現するときに、それぞれ負レジームおよび正レジームについて符号「−」または「＋」にシンボルρを置き換える慣例がある。

[0055]モデル状態は、膜電位（電圧）ｖおよび復元電流ｕによって定義される。基本形態では、レジームは基本的にモデル状態によって決定される。正確で一般的な定義の微妙だが重要な側面があるが、差し当たり、モデルが、電圧ｖがしきい値（ｖ₊）を上回る場合に正レジーム４０４にあり、そうでない場合に負レジーム４０２にあると考える。

[0056]レジーム依存時間定数は、負レジーム時間定数であるτ_-と正レジーム時間定数であるτ₊とを含む。復元電流時間定数τ_uは通常、レジームから独立している。便宜上、τ_uと同様に、指数およびτ₊が一般に正となる正レジームの場合に、電圧発展（voltage evolution）に関する同じ表現が使用され得るように、減衰を反映するために負の量として負レジーム時間定数τ_-が一般に指定される。

[0057]２つの状態要素のダイナミクスは、事象において、ヌルクラインから状態をオフセットする変換によって結合され得、ここで変換変数は、

であり、δ、ε、βおよびｖ_-、ｖ₊はパラメータである。ｖ_ρのための２つの値は、２つのレジームのための参照電圧のベースである。パラメータｖ_-は、負レジームのためのベース電圧であり、膜電位は一般に、負レジームにおいてｖ_-に減衰する。パラメータｖ₊は、正レジームのためのベース電圧であり、膜電位は一般に、正レジームにおいてｖ₊から離れる傾向となる。

[0058]ｖおよびｕのためのヌルクラインは、それぞれ変換変数ｑ_ρおよびｒの負によって与えられる。パラメータδは，ｕヌルクラインの傾きを制御するスケール係数である。パラメータεは通常、−ｖ_-に等しく設定される。パラメータβは、両方のレジームにおいてｖヌルクラインの傾きを制御する抵抗値である。τ_ρ時間定数パラメータは、指数関数的減衰だけでなく、各レジームにおいて別個にヌルクラインの傾きを制御する。

[0059]モデルは、電圧ｖが値ｖ_sに達したときにスパイクするように定義され得る。続いて、状態は（スパイク事象と同じ１つのものであり得る）リセット事象でリセットされ得る。

ここで、

およびΔｕはパラメータである。リセット電圧

は通常、ｖ_-にセットされる。

[0060]瞬時結合の原理によって、状態について（また、単一の指数項による）だけではなく、特定の状態に到達するために必要となる時間についても、閉形式解が可能である。閉形式状態解は、次のとおりである。

[0061]したがって、モデル状態は、入力（シナプス前スパイク）または出力（シナプス後スパイク）などの事象に伴ってのみ更新され得る。また、演算が（入力があるか、出力があるかを問わず）任意の特定の時間に実行され得る。

[0062]その上、瞬時結合原理によって、反復的技法または数値解法（たとえば、オイラー数値解法）なしに、特定の状態に到達する時間が事前に決定され得るように、シナプス後スパイクの時間が予想され得る。前の電圧状態ｖ₀を踏まえ、電圧状態ｖ_fに到達するまでの時間遅延は、次の式によって与えられる。

[0063]スパイクが、電圧状態ｖがｖ_sに到達する時間に生じると定義される場合、電圧が所与の状態ｖにある時間から測定されたスパイクが生じるまでの時間量、または相対的遅延に関する閉形式解は、次のとおりである。

ここで、

は通常、パラメータｖ₊にセットされるが、他の変形も可能であり得る。

[0064]モデルダイナミクスの上記の定義は、モデルが正レジームにあるか、それとも負レジームにあるかに依存する。上述のように、結合およびレジームρは、事象に伴って計算され得る。状態の伝搬のために、レジームおよび結合（変換）変数は、最後の（前の）事象の時間における状態に基づいて定義され得る。続いてスパイク出力時間を予想するために、レジームおよび結合変数は、次の（最新の）事象の時間における状態に基づいて定義され得る。

[0065]Ｃｏｌｄモデルの、適時にシミュレーション、エミュレーションまたはモデルを実行するいくつかの可能な実装形態がある。これは、たとえば、事象更新モード、ステップ事象更新モード、およびステップ更新モードを含む。事象更新は、（特定の瞬間における）事象または「事象更新」に基づいて状態が更新される更新である。ステップ更新は、間隔（たとえば、１ｍｓ）をおいてモデルが更新される更新である。これは必ずしも、反復的技法または数値解法を必要とするとは限らない。また、事象がステップもしくはステップ間で生じる場合または「ステップ事象」更新によってモデルを更新するのみによって、ステップベースのシミュレータにおいて限られた時間分解能で事象ベースの実装形態が可能である。
動的な空間ターゲット選択

[0066]空間ターゲットなどの複数のターゲット上で行動を取るように指定されているシステムは、１つまたは複数のターゲットを選択するために様々な基準を使用する。ターゲットの選択は、解決されている問題に依存し得る。たとえば、１つの選択基準は、ターゲットと、オブジェクトの現在の場所との間の空間関係を使用する。関数定義は、問題空間の定義から始まる。決定関数は連続的に実行することもでき、オブジェクトインスタンスの存在によってゲートされてもよい。

[0067]従来のニューラルネットワークベースのターゲット選択では、ターゲットが占有する可能性がある各エリアは、ニューラルネットワークのノード、たとえばニューロンに関連付けられ得る。ニューロンは、そのエリアがターゲットによって占有されている場合、エリアを選択するための可能性を指定する重みのセットを介してネットワーク内の他のニューロンに接続される。すなわち、重みは、オブジェクトの現在の場所、選ばれるべきターゲットなどの他の基準に沿って決定し得る。一例では、選択基準は、オブジェクトの現在の場所に最も近いターゲットを選択する。ニューラルネットワークのノードは、ターゲットが空間内の関連付けられる位置を占有する場合は高い値に書き込まれ、どのターゲットも空間内の関連付けられる位置を占有しない場合は低い値に書き込まれる、メモリ内の位置として抽象的に考えられ得る。

[0068]場合によっては、特定のターゲットおよび／またはエリアに向けて、またはそこから離れて、選択に動的にバイアスをかけることが望ましい場合がある。たとえば、ロボットなどのオブジェクトが特定のエリアおよび／またはターゲットを訪れた後、エリアおよび／またはターゲットは、特定の時間期間にわたって選択される可能性が低いようにバイアスをかけられる。別の例では、オブジェクト、ユーザ、および／またはネットワークは、高い値のターゲットは、空間の左上四半分などの特定の領域に出現する傾向があることを学習する。したがって、この例では、ターゲット選択は、特定の領域に向けてバイアスをかけられ得る。

[0069]空間位置は、スパイキングセルの２次元（２Ｄ）グリッドで表され得る。グリッド内の各セルの位置は、物理的空間内の場所にマッピングされ得る。セルのプロパティは、スパイキングレートなどのセルのアクティビティによって決定され得る。一構成では、アクティブセルは、場所が関心のあるターゲットであることを示す。オブジェクトがオブジェクトの現在の場所に関連するターゲットのマップを含む場合、１つまたは複数のターゲットは、交差抑制に基づいて選択され得る。交差抑制に基づいてターゲットを選択することは、勝者総取り（ｗｉｎｎｅｒ−ｔａｋｅ−ａｌｌ）と呼ばれ得る。つまり、オブジェクトは、他のターゲットのアクティビティレートよりも大きいアクティビティレートを有する１つまたは複数のターゲットを選択する。本出願では、ターゲットセルおよび／または空間的領域は、ターゲットと呼ばれ得る。

[0070]従来のターゲット選択基準では、交差抑制性接続の重みは、位置の選択にバイアスをかける場合は非対称である。たとえば、従来のシステムでは、位置は、現在の位置と比較してオブジェクトからより離れているすべての位置を抑制する。対照的に、本開示のある態様によれば、選択プロセスは動的にバイアスをかけられる。バイアスは、焦点的注意と呼ばれ得る。

[0071]すなわち、一構成では、選択基準は、特定の領域に向けて選択にバイアスをかけるために重畳された空間の注意マップを含む勝者総取りネットワークを指定する。バイアスは、中間介在ニューロンを使用する交差抑制性接続を使用し得る。バイアスをかけられていない条件（すなわち、無重畳焦点マップ）では、介在ニューロンはセル間の抑制を中継する。依然として、介在ニューロンが抑制インパルスを送信する可能性がより多く、またはより少なくなるように、焦点マップは介在ニューロンの興奮性を変更し得る。介在ニューロンの興奮性を変更することは、勝者総取り計算にバイアスをかける。

[0072]図５は、本開示のある態様によるターゲット選択の例を示す。図５に示すように、ターゲット５０４、５０６、５０８、５１０がオブジェクト５０２を囲む。従来のシステムでは、オブジェクト５０２は、第２のターゲット５０６がオブジェクト５０２に最も近いターゲットであるため、第２のターゲット５０６を選択するように指定され得る。本開示のある態様によれば、第４のターゲット５１０に近いエリア５１２、および／または第４のターゲット５１０自体が、他のターゲット５０４、５０６、５０８および／または他の空間エリア（図示せず）と比較して、より望ましいターゲットであると指定される。一例では、第４のターゲット５１０に近いエリア５１２、および／または第４のターゲット５１０は、第４のターゲット５１０高い値のターゲットであるため、より望ましい。別の例では、第４のターゲット５１０に近い領域５１２、および／または第４ターゲット５１０は、オブジェクト５０２が以前に他のターゲット５０４、５０６、５０８のうちの１つを選択しており、あらかじめ定められた時間期間にわたって新しいエリアを訪問するように指定されているため、より望ましい。依然として、本開示の態様は、指定されたエリアおよび／またはターゲットの望ましさのために、上述の理由に限定されるものではなく、もちろん、所望されている特定のターゲットおよび／または領域を指定するために他の理由が企図される。

[0073]図６に示すように、ターゲットマップ６００は、場所セル６０２の２Ｄグリッドで表され得る。ある位置でのターゲットの存在は、スパイキング間隔などのセルのアクティビティによって指定される。一構成では、ターゲットマップ６００内のターゲットの座標は、オブジェクトの場所に相対するように変換されているものと仮定される。

[0074]座標変換は、第１の基準座標系に相対する空間の表現を、第２の基準座標系に相対する実質的に類似の表現に変換することを指す。たとえば、ロボットなどのオブジェクトは、部屋の北西の隅に相対するターゲットの座標のセットを与えられ得る。この例では、ターゲットの座標は、世界中心基準座標系（すなわち、他者中心座標表現）に基づく。依然として、そのターゲットに向かって移動を計画するオブジェクトのために、他者中心座標をオブジェクトの現在の場所および方向に相対する表現（すなわち、自己中心基準座標系）に変換することが望ましい。すなわち、他者中心座標は自己中心座標に変換されるべきである。ターゲットの自己中心座標はオブジェクトが部屋の中を移動するにつれて変化するであろうが、依然として、他者中心座標はオブジェクトが部屋の中を移動しても同じままであろう。マップの中心などのオブジェクトの固定場所に基づいて、自己中心座標を維持することが望ましい。

[0075]図６に示すように、オブジェクト６０４の位置はターゲットマップ６００の中心にある。すなわち、他者中心マップ（図示せず）とは対照的に、図６のターゲットマップ６００におけるオブジェクト６０４およびターゲット６０６、６０８、６１０の座標は、オブジェクトの場所からの基準座標系に基づく。

[0076]従来のネットワークでは、交差抑制は、１つのセルが、別のセルよりも高いレートでスパイクすることを可能にするように指定される。すなわち、セルのうちの１つが勝つ可能性がより高いことが所望される場合、抑制性重みが選択のためのバイアスをアンバランスにし得る。たとえば、１つのセルがオブジェクトにより近い場合、抑制性重みが他のターゲットのスパイキングにバイアスをかけ得る。

[0077]図７は、交差抑制の例を示す。図７に示すように、第１のセル７０２は第２のセル７０４を抑制するので、第１のセル７０２が勝つ可能性がより高い。すなわち、抑制性重みは第１の接続７０６を介して出力され得る。第１の接続７０６は、第１のセル７０２の出力７１０に接続される。第２の接続７０８はまた、第２のセル７０４の出力７１２に接続される。第２の接続７０８はまた、抑制性重みを第１のセル７０２に出力し得る。依然として、この構成では、第１の接続７０６の抑制性重みは、第２の接続７０８の抑制性重みよりも大きい。したがって、第１のセル７０２が第２のセル７０４を抑制するので、第１のセル７０２が勝つ可能性がより高い。さらに、第１のセル７０２が第１の入力７１４を介して信号（たとえば、スパイク）を受信し、第２のセル７０４が第２の入力７１６を介して信号（たとえば、スパイク）を受信する。一構成では、交差抑制は、１つのセルだけが他のセルよりもアクティブになることを可能にする。

[0078]図８は、本開示のある態様による交差抑制の例を示す。例として、図８では、第１のセル８０２が第２のセル８０４を抑制するので、第１のセル８０２が勝つ可能性がより高い。すなわち、抑制性重みが第１の接続８０６を介して出力され得る。第１の接続８０６は、第１のセル８０２の出力８１０と、第１の介在ニューロン接続８２０を介して第２のセル８０４を抑制する第１の介在ニューロン８１６とに接続される。第２の接続８０８はまた、第２のセル８０４の出力８１２と、第２の介在ニューロン接続８２２を介して第１のセル８０２を抑制する第２の介在ニューロンニューロン８１８とに接続される。第２の接続８０８はまた、抑制性重みを第１のセル８０２に出力し得る。第１のセル８０２は第１の入力８１４を介して入力を受信して、第２のセル８０４は第２の入力８２４を介して入力を受信する。

[0079]依然として、本構成では、介在ニューロン８１６、８１８は抑制を調停する。すなわち、介在ニューロン８１６、８１８は、第１のセル８０２または第２のセル８０４などのニューロンに適用される交差抑制の量をさらに制御し得る。具体的には、介在ニューロン８１６、８１８は、接続の抑制性重み、および／または興奮性重みを動的に変更し得る。

[0080]例として、第１の介在ニューロン８１６は、第１の接続８０６を介して受信された入力に基づいてアクティベートされる。この例では、第１の介在ニューロン８１６は、選択関数に基づいて、抑制の重みを増加または低減させ得る。したがって、動的に変更された重みが、第３の接続８２０を介して第２のニューロン８０４に出力される。さらに、第２のニューロン８０４のアクティビティは、第３の接続８２０を介して受信された入力に基づいて動的に変更される。同様に、第１のニューロン８０２のアクティビティは、第４の接続８２２を介して受信された動的に変更された重みに基づいて動的に変更され得る。

[0081]上述の接続は、抑制性重みを提供することに限定されない点に留意されたい。本開示の態様はまた、接続を介して興奮性重みを提供するために企図される。

[0082]前述のように、上述の交差抑制は、セルの２次元グリッドに適用され得る。図９は、ターゲットマップ９００におけるターゲット選択のための交差抑制の例を示す。前述のように、一構成では、選択関数は重みの相対的なスケーリングを介して指定される。すなわち、２次元グリッドにおける特定のセルは、第２のセルの第１のセルへの抑制性効果よりも大きい、第２のセルへの抑制性効果を有し得る。

[0083]一構成では、特定のターゲットは選択関数に基づいて選択される。選択関数は、ニューラルネットワーク内のターゲット間の接続のアンバランスを制御することによって、動的に変更され得る。各ターゲットは、１つまたは複数のニューロンに関連付けられ得る。さらに、一構成では、選択関数は、リターン上の抑制、ターゲットを選択するオブジェクトの挙動状態、時間の期間、割り当てられたタスク、時間多重化機能、および／またはニューラルネットワークのセットに対応するタスクのセットからタスクを選択するイベントに基づく。各タスクはニューラルネットワークに対応し得、各ニューラルネットワークは静的ネットワークまたは動的ネットワークであり得る。

[0084]例として、図９に示すように、ターゲット９０９は選択関数に基づいて選択される。たとえば、選択されたターゲット９０９は、選択されたターゲット９０９の領域が高い値の領域であるため選択されている。ターゲットが複数のターゲットから選択される場合、非ターゲットセル９１２などの、選択されたターゲット９０９に近いセルは、選択されたターゲット９０９からより離れている非選択されたターゲットセル９０２、９０４、９０６および／または非ターゲットセル９１２などの他のセルを抑制する。さらに、オブジェクト９１０、および非ターゲットセル９１２などの、選択されたターゲット９０９に近いセルは、選択されたターゲット９０９を興奮させ得る。すなわち、非選択されたターゲットセル９０２、９０４、９０６のアクティビティは抑制されるので、オブジェクト９１０は、選択されたターゲット９０９を選択する。一構成では、複数のターゲットが候補ターゲットであり得るが、交差抑制に基づいて、１つだけのターゲットがアクティブターゲットである。

[0085]上述のように、オブジェクトが指定されたターゲットを選択するように、ターゲットのスパイキングが変更される。一構成では、接続は、入力および出力ニューロンの各ペア間の接続上で定義された介在ニューロンを含む。さらに、本構成では、選択関数は、介在ニューロンの興奮性を変更すること、および／または介在ニューロンと入力および出力ニューロンとの間のシナプス重みの有効性を変更することによって動的に変更される。代替的に、または追加で、選択関数は外部入力を介して動的に変更される。

[0086]前述のように、一構成では、選択関数は、ニューロンの興奮性を変更すること、および／またはシナプス重みの有効性を変更することによって動的に変更される。シナプス重みは、入力シナプスの重み、および／またはニューロン間の接続であり得る。さらに、一構成では、ニューラルネットワーク内の接続のアンバランスの量は、ニューラルネットワークへの入力、および／またはニューラルネットワークからの出力に基づく。

[0087]図９に示すように、セル９０９、９１２、９１０は相互に抑制し得る。たとえば、選択されたターゲットセル９０９は周囲のセル９１２を抑制する。さらに、周囲のセル９１２はまた、選択されたターゲットセル９０９を抑制または興奮させ得る。依然として、ターゲットセル９０９からの抑制出力は、周囲のセル９１２からターゲットセル９０９で受信した抑制よりも大きい。セル９０９、９１０、９１２は、接続９１６を介して抑制性および／または興奮性出力を提供する。

[0088]図９はまた、抑制性接続を有するターゲットセル９０９に隣接するセルを示す。依然として、本開示の態様はセル間のみで指定されている抑制性接続に限定されず、抑制性接続は任意の距離のセル間で指定され得る。

[0089]上述のように、一構成では、ニューラルネットワーク内の接続間にアンバランスが設定される。アンバランスは、抑制性重みでもよく、興奮性重みでもよい。抑制性重みはニューロンのスパイキングレートを低減させ、興奮性重みはニューロンのスパイキングを増加させる。抑制性重みは、フィードフォワード抑制性接続、および／またはフィードバック抑制性接続を介して提供され得る。代替的に、または追加で、興奮性重みはフィードフォワード抑制性接続、および／またはフィードバック興奮性接続を介して提供され得る。接続は、１つまたは複数の第１の入力レイヤ接続、ニューロン入力、側方接続、および／または他のタイプの接続であり得る。すなわち、一構成では、接続はニューロンへの入力である。代替的に、または追加で、接続はニューロン間の側方接続である。

[0090]さらに、アンバランスは、オブジェクトからのターゲットセルの距離などの選択関数に基づいて設定される。依然として、選択関数は、オブジェクトからのターゲットの距離に限定されず、他の基準に基づき得る。たとえば、別の構成では、１つまたは複数のターゲットはターゲットの確率に基づいて選択される。各ターゲットは、複数のアクティブニューロンに対応してもよく、１つのアクティブニューロンに対応してもよい。確率は、スパイキング確率を指す場合がある。

[0091]さらに、一構成では、候補ターゲットセルに対応するニューロン間の相対的なアクティベーションが変更される。相対的なアクティベーションは、１つまたは複数のターゲットセルに対応し、ターゲット間のアンバランスの量に基づく。相対的なアクティベーションは、１つまたは複数のターゲット（たとえば、ニューロン）が、他のターゲットと比較してより大きな量のアクティビティを有するように指定される。

[0092]一構成では、ターゲットは空間ターゲットである。前述のように、１つまたは複数のターゲットは、ニューロン間の接続を介して提供されるアンバランスの量に基づいて選択される。すなわち、オブジェクトは、スパイキングレートなどの最も高いアクティビティを有するターゲットを選択する。ターゲットは、１つまたは複数のアクティブニューロンであり得る。

[0093]図１０は、本開示のある態様による交差抑制の例を示す。図１０に示すように、複数のニューロン１００２が指定され、ニューロンのセットはターゲット１００４、１００６、１００８として選択される。ターゲット１００４、１００６、１００８は、受信された入力１０１０、１０１２、１０１４に基づいてアクティブ（たとえば、スパイク）であり得る。例として、選択基準に基づいて、第１のターゲット１００４は他のターゲット１００６、１００８よりもアクティブである。したがって、この例では、オブジェクト（図示せず）は第１のターゲットを選択することになる。依然として、別の例として、第１のターゲット１００４は、抑制性接続１０１６を介して他のターゲット１００６、１００８のアクティビティを抑制し得る。抑制は、他のターゲット１００６、１００８のアクティビティを低減または終了させ得る。

[0094]図１１は、本開示の別の態様による交差抑制の例を示す。図１１に示すように、複数のニューロン１１０２が指定され、ニューロンのセットがターゲット１１０４、１１０６、１１０８として選択される。ターゲット１１０４、１１０６、１１０８は、受信された入力１１１０、１１１２、１１１４に基づいてアクティブ（たとえば、スパイク）であり得る。例として、選択基準に基づいて、第１のターゲット１１０４は他のターゲット１１０６、１１０８よりもアクティブである。したがって、この例では、オブジェクト（図示せず）は第１のターゲットを選択することになる。依然として、一構成では、ニューロン１１０２は第１の入力レイヤのために指定されて、第２のレイヤのニューロン１１１８に接続される。したがって、第２のレイヤニューロン１１１８は、第１のレイヤニューロン１１０２から受信された入力に基づいてアクティブである。この構成では、オブジェクトは、第２のレイヤのアクティブニューロンに関連付けられるターゲットを選択する。

[0095]一構成では、第２のレイヤニューロン１１１８は、他のニューロンがアクティブになることを防ぐために交差抑制接続を含む。すなわち、図１１に示すように、ターゲット１１０４、１１０６、１１０８はすべて、受信された入力１１１０、１１１２、１１１４に基づいてアクティブである。例として、選択基準に基づいて、第１のターゲット１１０４は他のターゲット１１０６、１１０８よりもアクティブである。依然として、第１のレイヤターゲットニューロン１１０４、１１０６、１１０８に対応する第２のレイヤターゲットニューロン１１２２、１１２４、１１２６は、第２のレイヤの第１のターゲットニューロン１１１２が、他の第２のレイヤターゲットニューロン１１２４、１１２６がアクティブにならないように、抑制性接続１１２８を介して他の第２のレイヤターゲットニューロン１１２４、１１２６を抑制するため、すべてアクティブであるとは限らない。すなわち、たとえ第１のレイヤターゲットニューロンがすべてアクティブであっても、抑制性接続のため、唯一の第２のレイヤニューロンはアクティブである。より具体的には、抑制に基づいて、第１のレイヤで受信された入力は表示されず、選択基準の出力だけが表示される。第１のレイヤニューロンは、シナプス１１３０、１１３２、１１３４を介して第２のレイヤニューロンに接続され得る。

[0096]一構成では、フィードフォワード抑制は、第１のレイヤニューロン１１０２と第２のレイヤニューロン１１１８との間のシナプス上で指定される。フィードフォワード抑制性接続は近隣のニューロンに接続され得、特定のニューロンのためにスパイクが受信されると近隣のニューロンを抑制する。たとえば、図１１では、抑制性接続（図示せず）が、第１のレイヤターゲットニューロン１１０４、１１０６、１１０８と第２のレイヤターゲットニューロン１１２２、１１２４、１１２６との間の各シナプス１１３０、１１３２、１１３４上に提供され得る。したがって、例として、第１のシナプス１１３０が第１のレイヤの第１のターゲットニューロン１１０４からスパイクを受信すると、フィードフォワード抑制性接続は、第２のレイヤの第１のニューロン１１２２の近隣のニューロンを抑制する。

[0097]別の構成では、介在ニューロンは第２のレイヤニューロン間の抑制性接続のために指定される。抑制性接続のために指定された介在ニューロンは、側方抑制と呼ばれ得る。例として、図１１では、介在ニューロン（図示せず）は、第２のレイヤの第１のターゲットニューロン１１２２と他の第２のレイヤターゲットニューロン１１２４、１１２６との間の抑制性接続１１２８ごとに指定され得る。

[0098]抑制性接続などの接続は第１のレイヤターゲットニューロンと第２のレイヤターゲットニューロンとに限定されず、接続はまた、第１のレイヤと第２のレイヤ内のすべてのニューロン間に指定される。さらに、上述の接続は抑制性接続に限定されず、興奮性接続としても企図される。さらに、本開示の態様は、明示的に指定されない他の接続に加えて、上述の接続のいずれかのアンバランスを動的に変更するために企図される。本開示の態様は、ニューロンへの入力は、介在ニューロンにおいて興奮性の段階的なレベルを達成するために、通常の周波数（すなわち、ポアソン発火）でランダムに離間されたスパイクを使用すると指定する必要性を低減または排除し得る。さらに、一構成では、ターゲットは１つまたは複数のニューロンに関連付けられ得る。たとえば、１つのニューロンは１つのターゲットを表し得る。あるいは、複数のニューロンは１つのターゲットを表し得る。

[0099]一構成では、複数の静的および／または動的ネットワークは、ニューラルネットワーク内の接続のアンバランスの量を制御することによって、選択関数を動的に変更するために指定され得る。すなわち、第１のネットワークは、特定のタスクに集中するように指定され得、第１のネットワークは、特定のタスクのための選択関数を動的に変更するために、ニューラルネットワーク内の接続のアンバランスの量を制御する。さらに、第２のネットワークは、第１のネットワークのニューロンのうちのいくつかまたはすべてを使用すると指定され得る。第２のネットワークのタスクは、第１のネットワークのタスクとは異なり得る。したがって、第２のネットワークは、第２のネットワークの特定のタスクのための選択関数を動的に変更するために、ニューラルネットワーク内の接続のアンバランスの量を制御する。すなわち、ターゲット選択のために指定されたハードウェアは、異なるネットワークに基づいて異なるタスクのために再使用され得る。タスクセレクタは、特定のタスク（たとえば、ネットワーク）間で切り替えるために、入力、出力、またはニューラル間接続（ｉｎｔｅｒ−ｎｅｕｒａｌ ｃｏｎｎｅｃｔｉｏｎｓ）などの接続上で指定され得る。

[00100]別の構成では、論理関数のループがデータに適用される。論理関数ループの一例は以下の通りである。
データがある間、
新しいデータが、現在の勝者（ｃｕｒｒｅｎｔＷｉｎｎｅｒ）よりもオブジェクトに近い場合、
現在の勝者を新しいデータと置換する

[00101]本構成では、ループの実行時間は、考慮されているデータの量に依存する。さらに、本構成では、データのすべてがメモリ素子に割り当てられる。データをメモリ素子に割り当てた後、メモリ素子間でメッセージ（たとえば、抑制）を渡すことによって選択関数が実行される。本構成は、どのくらいのデータが考慮されているかにかかわらず、実行時間の予測可能性を増加した。さらに、本構成は計算エンジンによって処理されるデータの量を低減する。

[00102]例として、本構成のために、オブジェクトのセットが選択関数に提出される。各オブジェクトは、そのオブジェクトに関連付けられる１つまたは複数のメモリ素子に送信される信号として表され得る。一構成では、オブジェクトを識別するために１つのメモリ位置が指定される。依然として、オブジェクトの識別を定義するために、複数のメモリ位置が同時に結合され得る。たとえば、場所（４、５．５）でのターゲットは、（４、５）および（４、６）に対応するメモリ位置によって表され得る。

[00103]各オブジェクトインスタンスの表現は、メモリアレイ内の他のオブジェクトインスタンスの表現に影響を与え得る。オブジェクトインスタンスの表現間に与えられる影響は、オブジェクトインスタンス間の接続を介して送信され得る。あるオブジェクトインスタンスに関連付けられる信号は、他のオブジェクトインスタンスに関連付けられる信号のターゲット（すなわち、フィードフォワード抑制）に影響を与え得る。さらに、信号のターゲットの値はまた、他の信号のターゲット（すなわち、側方抑制）に直接影響を与え得る。さらに、信号のターゲットの値は、他の入力信号のターゲット（すなわち、介在ニューロンを備えた側方抑制）にさらに影響を与える別個のメモリ素子を変更し得る。最後に、あるオブジェクトインスタンスに関連付けられる信号は、他の入力信号のターゲット（すなわち、介在ニューロンを備えたフィードフォワード抑制）に影響を与える別個のメモリ素子を変更し得る。

[00104]一構成では、メモリ素子は、ニューラルネットワーク内のニューロンであり作成する。さらに、スパイキングニューラルネットワーク内で、メモリ素子は、ベースラインと比較して増加したレートでスパイクを放出するアクティブ状態にあるニューロンである。さらに、レートベースのニューラルネットワーク内で、メモリ素子は、メモリ素子の入力に基づく連続的なアクティビティレベルを有するニューロンである。

[00105]一構成では、選択関数は、ある素子におけるアクティビティレベルが他の素子におけるアクティビティレベルに影響を与えるメモリ素子間の重みの指定に基づいて定義される。各メモリ素子の影響範囲が空間内に制限されている場合、全体的な計算は並列化され得、直列化された計算と比較して向上した性能を有し得る。

[00106]図１２は、本開示のいくつかの態様による、汎用プロセッサ１２０２を用いる上述のターゲット選択の例示的な実装形態１２００を示す。計算ネットワーク（ニューラルネットワーク）、遅延、および周波数ビン情報に関連付けられる、変数（ニューラル信号）、シナプス重み、システムパラメータは、メモリブロック１２０４に記憶され得、汎用プロセッサ１２０２で実行される命令はプログラムメモリ１２０６からロードされ得る。本開示のある態様では、汎用プロセッサ１２０２にロードされた命令は、ニューラルネットワーク内の接続のアンバランスの量を制御することによって、選択関数を動的に変更するためのコードを備え得る。

[00107]図１３は、本開示のいくつかの態様による、メモリ１３０２が相互接続ネットワーク１３０４を介して計算ネットワーク（ニューラルネットワーク）の個々の（分散型）処理ユニット（ニューラルプロセッサ）１３０６とインターフェースされ得る、上述のターゲット選択の例示的な実装形態１３００を示している。計算ネットワーク（ニューラルネットワーク）、遅延、周波数ビン情報、接続アンバランスに関連付けられる、変数（ニューラル信号）、シナプス重み、システムパラメータはメモリ１３０２に記憶され得、相互接続ネットワーク１３０４の接続を介してメモリ１３０２から各処理ユニット（ニューラルプロセッサ）１３０６にロードされ得る。本開示のある態様では、処理ユニット１３０６は、ニューラルネットワーク内の接続のアンバランスの量を制御することによって、選択関数を動的に変更するように構成され得る。

[00108]図１４は、上述のターゲット選択の例示的な実装形態１４００を示している。図１４に示されるように、１つのメモリバンク１４０２は、計算ネットワーク（ニューラルネットワーク）の１つの処理ユニット１４０４に直接インターフェースされ得る。各メモリバンク１４０２は、対応する処理ユニット（ニューラルプロセッサ）１４０４遅延、周波数ビン情報、および接続アンバランスに関連付けられる変数（ニューラル信号）、シナプス重み、および／またはシナプスパラメータを記憶し得る。本開示のある態様では、処理ユニット１４０４は、ニューラルネットワーク内の接続のアンバランスの量を制御することによって、選択関数を動的に変更するように構成され得る。

[00109]図１５は、本開示のいくつかの態様による、ニューラルネットワーク１５００の例示的な実装形態を示す。図１５に示すように、ニューラルネットワーク１５００は、上述した方法の様々な動作を実行し得る複数のローカル処理ユニット１５０２を有することができる。各ローカル処理ユニット１５０２は、ニューラルネットワークのパラメータを記憶する、ローカルステートメモリ１５０４およびローカルパラメータメモリ１５０６を備え得る。また、ローカル処理ユニット１５０２は、ローカルモデルプログラムを記憶するためのローカル（ニューロン）モデルプログラム（ＬＭＰ）メモリ１５０８、ローカル学習プログラムを記憶するためのローカル学習プログラム（ＬＬＰ）メモリ１５１０、およびローカル接続メモリ１５１２を有し得る。さらに、図１５に示されるように、各ローカル処理ユニット１５０２は、ローカル処理ユニットのローカルメモリの構成を提供するための設定処理ユニット１５１４と、またローカル処理ユニット１５０２間のルーティングを提供するルーティング接続処理ユニット１５１６とインターフェースされ得る。

[00110]一構成では、ニューロンモデルは、ニューラルネットワーク内の接続のアンバランスの量を制御することによって、選択関数を動的に変更するように構成される。ニューロンモデルは、変更手段を含む。一構成では、変更手段は、記載された機能を実行するように構成された汎用プロセッサ１２０２、プログラムメモリ１２０６、メモリブロック１２０４、メモリ１３０２、相互接続ネットワーク１３０４、処理ユニット１３０６、処理ユニット１４０４、ローカル処理ユニット１５０２、およびまたはルーティング接続処理ユニット１５１６であり得る。さらに、ニューロンモデルは、決定するための手段を含み得る。一構成では、決定手段は、記載された機能を実行するように構成された汎用プロセッサ１２０２、プログラムメモリ１２０６、メモリブロック１２０４、メモリ１３０２、相互接続ネットワーク１３０４、処理ユニット１３０６、処理ユニット１４０４、ローカル処理ユニット１５０２、およびまたはルーティング接続処理ユニット１５１６である。別の構成では、上述の手段は、上記の手段によって記載された機能を実行するように構成された任意のモジュールまたは任意の装置であり得る。

[00111]本開示のいくつかの態様によれば、各ローカル処理ユニット１５０２は、ニューラルネットワークの所望の１つまたは複数の機能的特徴に基づいて、ニューラルネットワークのパラメータを決定して、決定されたパラメータがさらに適応され、同調され、更新されるにつれて、所望の機能的特徴に向けて１つまたは複数の機能的特徴を開発するように構成され得る。

[00112]図１６は、ニューラルネットワーク内のターゲットを選択するための方法１６００を示す。ブロック１６０２で、ニューラルネットワークは、ニューラルネットワーク内の候補ターゲットのための選択関数を決定する。より具体的には、決定することは、ニューラルネットワーク内の接続によって実行され得る。さらに、ブロック１６０４で、ニューラルネットワークは、ニューラルネットワーク内の接続のアンバランスの量を制御することによって、選択関数を動的に変更する。選択されたニューロンは各候補ターゲットを表す。一構成では、選択関数を動的に変更するために、焦点マップおよび／または外部入力が指定される。

[00113]上述した方法の様々な動作は、対応する機能を実行することが可能な任意の好適な手段によって実行され得る。それらの手段は、限定はしないが、回路、特定用途向け集積回路（ＡＳＩＣ）、またはプロセッサを含む、様々なハードウェアおよび／またはソフトウェア構成要素および／またはモジュールを含み得る。概して、図に示されている動作がある場合、それらの動作は、同様の番号をもつ対応するカウンターパートのミーンズプラスファンクション構成要素を有し得る。

[00114]本明細書で使用する「決定」という用語は、多種多様なアクションを包含する。たとえば、「決定」は、計算すること、算出すること、処理すること、導出すること、調査すること、ルックアップすること（たとえば、テーブル、データベースまたは別のデータ構造においてルックアップすること）、確認することなどを含み得る。さらに、「決定」は、受信すること（たとえば、情報を受信すること）、アクセスすること（たとえば、メモリ中のデータにアクセスすること）などを含み得る。さらに、「決定」は、解決すること、選択すること、選定すること、確立することなどを含み得る。

[00115]本明細書で使用する、項目のリスト「のうちの少なくとも１つ」を指す句は、単一のメンバーを含む、それらの項目の任意の組合せを指す。一例として、「ａ、ｂ、またはｃのうちの少なくとも１つ」は、ａ、ｂ、ｃ、ａ−ｂ、ａ−ｃ、ｂ−ｃ、およびａ−ｂ−ｃを包含するものとする。

[00116]本開示に関連して説明した様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ信号（ＦＰＧＡ）または他のプログラマブル論理デバイス（ＰＬＤ）、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、あるいは本明細書で説明した機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の市販のプロセッサ、コントローラ、マイクロコントローラまたは状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。

[00117]本開示に関連して説明した方法またはアルゴリズムのステップは、ハードウェアで直接実施されるか、プロセッサによって実行されるソフトウェアモジュールで実施されるか、またはその２つの組合せで実施され得る。ソフトウェアモジュールは、当技術分野で知られている任意の形式の記憶媒体で存在し得る。使用され得る記憶媒体のいくつかの例は、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、フラッシュメモリ、消去可能プログラマブル読出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭなどを含む。ソフトウェアモジュールは、単一の命令、または多数の命令を備えることができ、いくつかの異なるコードセグメント上で、異なるプログラム間で、複数の記憶媒体にわたって分散され得る。記憶媒体は、プロセッサがその記憶媒体から情報を読み取ることができ、その記憶媒体に情報を書き込むことができるように、プロセッサに結合され得る。代替として、記憶媒体はプロセッサと一体化され得る。

[00118]本明細書で開示する方法は、説明した方法を達成するための１つまたは複数のステップまたはアクションを備える。本方法のステップおよび／またはアクションは、特許請求の範囲から逸脱することなく互いに交換され得る。言い換えれば、ステップまたはアクションの特定の順序が指定されない限り、特定のステップおよび／またはアクションの順序および／または使用は、特許請求の範囲から逸脱することなく変更され得る。

[00119]説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ハードウェアで実装される場合、例示的なハードウェア構成はデバイス中に処理システムを備え得る。処理システムは、バスアーキテクチャを用いて実装され得る。バスは、処理システムの特定の適用例および全体的な設計制約に応じて、任意の数の相互接続バスとブリッジとを含み得る。バスは、プロセッサと、機械可読媒体と、バスインターフェースとを含む様々な回路を互いにリンクし得る。バスインターフェースは、ネットワークアダプタを、特に、バスを介して処理システムに接続するために使用され得る。ネットワークアダプタは、信号処理機能を実装するために使用され得る。いくつかの態様では、ユーザインターフェース（たとえば、キーパッド、ディスプレイ、マウス、ジョイスティックなど）もバスに接続され得る。バスはまた、タイミングソース、周辺機器、電圧調整器、電力管理回路などの様々な他の回路にリンクし得るが、それらは当技術分野でよく知られており、したがってこれ以上は説明されない。

[00120]プロセッサは、機械可読媒体に記憶されたソフトウェアの実行を含む、バスおよび一般的な処理を管理することを担当し得る。プロセッサは、１つまたは複数の汎用および／または専用プロセッサを用いて実装され得る。例としては、マイクロプロセッサ、マイクロコントローラ、ＤＳＰプロセッサ、およびソフトウェアを実行し得る他の回路を含む。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語などの名称にかかわらず、命令、データ、またはそれらの任意の組合せを意味すると広く解釈されたい。機械可読媒体は、一例として、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、読出し専用メモリ（ＲＯＭ）、プログラマブル読出し専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラム可能読出し専用メモリ（ＥＥＰＲＯＭ）、レジスタ、磁気ディスク、光ディスク、ハードドライブ、または他の任意の適切な記憶媒体、あるいはそれらの任意の組合せを含み得る。機械可読媒体はコンピュータプログラム製品において実施され得る。コンピュータプログラム製品はパッケージング材料を備え得る。

[00121]ハードウェア実装形態では、機械可読媒体は、プロセッサとは別個の処理システムの一部であり得る。しかしながら、当業者なら容易に理解するように、機械可読媒体またはその任意の部分は処理システムの外部にあり得る。例として、機械可読媒体は、すべてバスインターフェースを介してプロセッサによってアクセスされ得る、伝送線路、データによって変調された搬送波、および／またはデバイスとは別個のコンピュータ製品を含み得る。代替的に、または追加で、機械可読媒体またはその任意の部分は、キャッシュおよび／または汎用レジスタファイルがそうであり得るように、プロセッサに統合され得る。論じた様々な構成要素は、ローカル構成要素などの特定の位置を有するものとして説明され得るが、それらはまた、分散コンピューティングシステムの一部として構成されているいくつかの構成要素などの様々な方法で構成され得る。

[00122]処理システムは、すべて外部バスアーキテクチャを介して他のサポート回路と互いにリンクされる、プロセッサ機能を提供する１つまたは複数のマイクロプロセッサと、機械可読媒体の少なくとも一部分を提供する外部メモリとをもつ汎用処理システムとして構成され得る。あるいは、処理システムは、本明細書に記載のニューロンモデルとニューラルシステムのモデルとを実装するための１つまたは複数のニューロモルフィックプロセッサを備え得る。別の代替として、処理システムは、プロセッサを有する特定用途向け集積回路（ＡＳＩＣ）と、バスインターフェースと、ユーザインターフェースと、サポート回路と、単一のチップに統合された機械可読媒体の少なくとも一部とを用いて、あるいは１つまたは複数のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブル論理デバイス（ＰＬＤ）、コントローラ、状態機械、ゲート論理、個別ハードウェア構成要素、または他の任意の適切な回路、あるいは本開示全体を通じて説明した様々な機能を実行し得る回路の任意の組合せを用いて実装され得る。当業者なら、特定の適用例と、全体的なシステムに課される全体的な設計制約とに応じて、どのようにしたら処理システムについて説明した機能を最も良く実装し得るかを理解されよう。

[00123]機械可読媒体はいくつかのソフトウェアモジュールを備え得る。ソフトウェアモジュールは、プロセッサによって実行されたときに、処理システムに様々な機能を実行させる命令を含む。ソフトウェアモジュールは、送信モジュールと受信モジュールとを含み得る。各ソフトウェアモジュールは、単一の記憶デバイス中に常駐するか、または複数の記憶デバイスにわたって分散され得る。例として、トリガイベントが発生したとき、ソフトウェアモジュールがハードドライブからＲＡＭにロードされ得る。ソフトウェアモジュールの実行中、プロセッサは、アクセス速度を高めるために、命令のいくつかをキャッシュにロードし得る。次いで、１つまたは複数のキャッシュラインが、プロセッサによる実行のために汎用レジスタファイルにロードされ得る。以下でソフトウェアモジュールの機能に言及する場合、そのような機能は、そのソフトウェアモジュールからの命令を実行したときにプロセッサによって実装されることが理解されよう。

[00124]ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、コンピュータ記憶媒体と通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気記憶デバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。さらに、いかなる接続もコンピュータ可読媒体を適切に名づけられる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線（ＩＲ）、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）、およびＢｌｕ−ｒａｙ（登録商標）ディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。したがって、いくつかの態様では、コンピュータ可読媒体は非一時的コンピュータ可読媒体（たとえば、有形媒体）を備え得る。さらに、他の態様では、コンピュータ可読媒体は一時的コンピュータ可読媒体（たとえば、信号）を備え得る。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。

[00125]したがって、いくつかの態様は、本明細書で提示する動作を実行するためのコンピュータプログラム製品を備え得る。たとえば、そのようなコンピュータプログラム製品は、本明細書で説明する動作を実行するために１つまたは複数のプロセッサによって実行可能である命令を記憶した（および／または符号化した）コンピュータ可読媒体を備え得る。いくつかの態様では、コンピュータプログラム製品はパッケージング材料を含み得る。

[00126]さらに、本明細書で説明した方法および技法を実行するためのモジュールおよび／または他の適切な手段は、適用可能な場合にユーザ端末および／または基地局によってダウンロードされ、および／または他の方法で取得され得ることを諒解されたい。たとえば、そのようなデバイスは、本明細書で説明した方法を実施するための手段の転送を可能にするためにサーバに結合され得る。代替的に、本明細書で説明した様々な方法は、ユーザ端末および／または基地局が記憶手段をデバイスに結合または提供すると様々な方法を得ることができるように、記憶手段（たとえば、ＲＡＭ、ＲＯＭ、コンパクトディスク（ＣＤ）またはフロッピーディスクなどの物理記憶媒体など）によって提供され得る。その上、本明細書で説明した方法および技法をデバイスに与えるための任意の他の好適な技法が利用され得る。

[00127]特許請求の範囲は、上記で示した厳密な構成および構成要素に限定されないことを理解されたい。上記で説明した方法および装置の構成、動作および詳細において、特許請求の範囲から逸脱することなく、様々な改変、変更および変形が行われ得る。

[00127]特許請求の範囲は、上記で示した厳密な構成および構成要素に限定されないことを理解されたい。上記で説明した方法および装置の構成、動作および詳細において、特許請求の範囲から逸脱することなく、様々な改変、変更および変形が行われ得る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ニューラルネットワークでターゲット選択を動的に変更する方法であって、
前記ニューラルネットワーク内の接続のアンバランスの量を制御することによって、選択関数を動的に変更することを備え、選択されたニューロンは、複数の候補ターゲットのうちの１つを表す、
方法。
［Ｃ２］
前記接続は、入力および出力ニューロンの各ペア間に結合された介在ニューロンを備え、動的に変更する前記ことは、前記介在ニューロンの興奮性を少なくとも動的に変更すること、前記介在ニューロンと前記入力および出力ニューロンとの間のシナプス重みの有効性を動的に変更すること、またはそれらの組合せを備える、
Ｃ１に記載の方法。
［Ｃ３］
前記動的に変更することは、外部入力で動的に変更することを備える、
Ｃ２に記載の方法。
［Ｃ４］
前記動的に変更することは、ニューロンの興奮性を少なくとも動的に変更すること、シナプス重みの有効性を動的に変更すること、またはそれらの組合せを備える、
Ｃ１に記載の方法。
［Ｃ５］
前記シナプス重みは、少なくとも入力シナプス、ニューロン間の接続、またはそれらの組合せのためのものである、
Ｃ４に記載の方法。
［Ｃ６］
前記選択関数は、リターン上の抑制、前記ターゲットを選択するオブジェクトの挙動状態、時間の期間、割り当てられたタスク、時間多重化機能、および複数のニューラルネットワークに対応する複数のタスクからタスクを選択するイベント、またはそれらの組合せに少なくとも部分的に基づく、
Ｃ１に記載の方法。
［Ｃ７］
各タスクは、前記複数のニューラルネットワークのうちの１つに対応し、各ニューラルネットワークは、静的ネットワークまたは動的ネットワークである、
Ｃ６に記載の方法。
［Ｃ８］
前記ニューラルネットワークへの入力、前記ニューラルネットワークからの出力、またはそれらの組合せに少なくとも部分的に基づいて、前記ニューラルネットワーク内の接続のアンバランスの前記量を制御することをさらに備える、
Ｃ１に記載の方法。
［Ｃ９］
ニューラルネットワークでターゲット選択を動的に変更するための装置であって、
メモリユニットと、
前記メモリユニットに結合された少なくとも１つのプロセッサと
を備え、前記少なくとも１つのプロセッサは、前記ニューラルネットワーク内の接続のアンバランスの量を制御することによって、選択関数を動的に変更するように構成されており、選択されたニューロンは、複数の候補ターゲットのうちの１つを表す、
装置。
［Ｃ１０］
前記接続は、入力および出力ニューロンの各ペア間に結合された介在ニューロンを備え、前記少なくとも１つのプロセッサは、少なくとも前記介在ニューロンの興奮性、前記介在ニューロンと前記入力および出力ニューロンとの間のシナプス重みの有効性、またはそれらの組合せを動的に変更するようにさらに構成されている、
Ｃ９に記載の装置。
［Ｃ１１］
前記少なくとも１つのプロセッサは、外部入力で動的に変更するようにさらに構成される、
装置Ｃ１０。
［Ｃ１２］
前記少なくとも１つのプロセッサは、少なくともニューロンの興奮性、シナプス重みの有効性、またはそれらの組合せを動的に変更するようにさらに構成される、Ｃ９に記載の装置。
［Ｃ１３］
前記シナプス重みが、少なくとも入力シナプス、ニューロン間の接続、またはそれらの組合せのためのものである、装置Ｃ１２。
［Ｃ１４］
前記選択関数は、リターン上の抑制、前記ターゲットを選択するオブジェクトの挙動状態、時間の期間、割り当てられたタスク、時間多重化機能、および複数のニューラルネットワークに対応する複数のタスクからタスクを選択するイベント、またはそれらの組合せに少なくとも部分的に基づく、
Ｃ９に記載の装置。
［Ｃ１５］
各タスクは、前記複数のニューラルネットワークのうちの１つに対応し、各ニューラルネットワークが静的ネットワークまたは動的ネットワークである、
Ｃ１４に記載の装置。
［Ｃ１６］
前記少なくとも１つのプロセッサは、前記ニューラルネットワークへの入力、前記ニューラルネットワークからの出力、またはそれらの組合せに少なくとも部分的に基づいて、前記ニューラルネットワーク内の接続のアンバランスの前記量を制御するようにさらに構成される、
Ｃ９に記載の装置。
［Ｃ１７］
ニューラルネットワーク内の接続のアンバランスの量を決定するための手段と、
前記ニューラルネットワーク内の接続のアンバランスの前記量を制御することによって、選択関数を動的に変更するための手段と
を備え、選択されたニューロンは、複数の候補ターゲットのうちの１つを表す、
装置。
［Ｃ１８］
前記接続は、入力および出力ニューロンの各ペア間に結合された介在ニューロンを備え、前記動的に変更するための手段は、少なくとも前記介在ニューロンの興奮性、前記介在ニューロンと前記入力および出力ニューロンとの間のシナプス重みの有効性、またはそれらの組合せを動的に変更するための手段を備える、
Ｃ１７に記載の装置。
［Ｃ１９］
前記動的に変更するための手段は、外部入力で動的に変更するための手段を備える、
装置Ｃ１８。
［Ｃ２０］
前記動的に変更するための手段は、少なくともニューロンの興奮性を動的に変更するための手段、シナプス重みの有効性を変更するための手段、またはそれらの組合せを備える、
Ｃ１７に記載の装置。
［Ｃ２１］
前記シナプス重みは、少なくとも入力シナプス、ニューロン間の接続、またはそれらの組合せのためのものである、
装置Ｃ２０。
［Ｃ２２］
前記選択関数は、リターン上の抑制、前記ターゲットを選択するオブジェクトの挙動状態、時間の期間、割り当てられたタスク、時間多重化機能、および複数のニューラルネットワークに対応する複数のタスクからタスクを選択するイベント、またはそれらの組合せに少なくとも部分的に基づく、
Ｃ１７に記載の装置。
［Ｃ２３］
各タスクが、前記複数のニューラルネットワークのうちの１つに対応し、各ニューラルネットワークが静的ネットワークまたは動的ネットワークである、
Ｃ２２に記載の装置。
［Ｃ２４］
前記ニューラルネットワークへの入力、前記ニューラルネットワークからの出力、またはそれらの組合せに少なくとも部分的に基づいて、前記ニューラルネットワーク内の接続のアンバランスの前記量を制御するための手段をさらに備える、
Ｃ１７に記載の装置。
［Ｃ２５］
ニューラルネットワークでターゲット選択を動的に変更するためのコンピュータプログラム製品であって、
非一時的プログラムコードを記録する非一時的コンピュータ可読媒体を備え、前記プログラムコードは、前記ニューラルネットワーク内の接続のアンバランスの量を制御することによって、選択関数を動的に変更するためのプログラムコードを備え、選択されたニューロンは、複数の候補ターゲットのうちの１つを表す、
コンピュータプログラム製品。
［Ｃ２６］
前記接続は、入力および出力ニューロンの各ペア間に結合された介在ニューロンを備え、前記プログラムコードは、少なくとも前記介在ニューロンの興奮性、前記介在ニューロンと前記入力および出力ニューロンとの間のシナプス重みの有効性、またはそれらの組合せを動的に変更するためのプログラムコードをさらに備える、
Ｃ２５に記載のコンピュータプログラム製品。
［Ｃ２７］
前記プログラムコードは、外部入力で動的に変更するためのプログラムコードをさらに備える、
Ｃ２６に記載のコンピュータプログラム製品。
［Ｃ２８］
プログラムコードが、少なくともニューロンの興奮性、シナプス重みの有効性、またはそれらの組合せを動的に変更するためのプログラムコードをさらに備える、
Ｃ２５に記載のコンピュータプログラム製品。
［Ｃ２９］
前記シナプス重みは、少なくとも入力シナプス、ニューロン間の接続、またはそれらの組合せのためのものである、
Ｃ２８に記載のコンピュータプログラム製品。
［Ｃ３０］
前記選択関数は、リターン上の抑制、前記ターゲットを選択するオブジェクトの挙動状態、時間の期間、割り当てられたタスク、時間多重化機能、および複数のニューラルネットワークに対応する複数のタスクからタスクを選択するイベント、またはそれらの組合せに少なくとも部分的に基づく、
Ｃ２５に記載のコンピュータプログラム製品。

Claims (30)

1. ニューラルネットワークでターゲット選択を動的に変更する方法であって、
   前記ニューラルネットワーク内の接続のアンバランスの量を制御することによって、選択関数を動的に変更することを備え、選択されたニューロンは、複数の候補ターゲットのうちの１つを表す、
   方法。
2. 前記接続は、入力および出力ニューロンの各ペア間に結合された介在ニューロンを備え、動的に変更する前記ことは、前記介在ニューロンの興奮性を少なくとも動的に変更すること、前記介在ニューロンと前記入力および出力ニューロンとの間のシナプス重みの有効性を動的に変更すること、またはそれらの組合せを備える、
   請求項１に記載の方法。
3. 前記動的に変更することは、外部入力で動的に変更することを備える、
   請求項２に記載の方法。
4. 前記動的に変更することは、ニューロンの興奮性を少なくとも動的に変更すること、シナプス重みの有効性を動的に変更すること、またはそれらの組合せを備える、
   請求項１に記載の方法。
5. 前記シナプス重みは、少なくとも入力シナプス、ニューロン間の接続、またはそれらの組合せのためのものである、
   請求項４に記載の方法。
6. 前記選択関数は、リターン上の抑制、前記ターゲットを選択するオブジェクトの挙動状態、時間の期間、割り当てられたタスク、時間多重化機能、および複数のニューラルネットワークに対応する複数のタスクからタスクを選択するイベント、またはそれらの組合せに少なくとも部分的に基づく、
   請求項１に記載の方法。
7. 各タスクは、前記複数のニューラルネットワークのうちの１つに対応し、各ニューラルネットワークは、静的ネットワークまたは動的ネットワークである、
   請求項６に記載の方法。
8. 前記ニューラルネットワークへの入力、前記ニューラルネットワークからの出力、またはそれらの組合せに少なくとも部分的に基づいて、前記ニューラルネットワーク内の接続のアンバランスの前記量を制御することをさらに備える、
   請求項１に記載の方法。
9. ニューラルネットワークでターゲット選択を動的に変更するための装置であって、
   メモリユニットと、
   前記メモリユニットに結合された少なくとも１つのプロセッサと
   を備え、前記少なくとも１つのプロセッサは、前記ニューラルネットワーク内の接続のアンバランスの量を制御することによって、選択関数を動的に変更するように構成されており、選択されたニューロンは、複数の候補ターゲットのうちの１つを表す、
   装置。
10. 前記接続は、入力および出力ニューロンの各ペア間に結合された介在ニューロンを備え、前記少なくとも１つのプロセッサは、少なくとも前記介在ニューロンの興奮性、前記介在ニューロンと前記入力および出力ニューロンとの間のシナプス重みの有効性、またはそれらの組合せを動的に変更するようにさらに構成されている、
    請求項９に記載の装置。
11. 前記少なくとも１つのプロセッサは、外部入力で動的に変更するようにさらに構成される、
    装置請求項１０。
12. 前記少なくとも１つのプロセッサは、少なくともニューロンの興奮性、シナプス重みの有効性、またはそれらの組合せを動的に変更するようにさらに構成される、請求項９に記載の装置。
13. 前記シナプス重みが、少なくとも入力シナプス、ニューロン間の接続、またはそれらの組合せのためのものである、装置請求項１２。
14. 前記選択関数は、リターン上の抑制、前記ターゲットを選択するオブジェクトの挙動状態、時間の期間、割り当てられたタスク、時間多重化機能、および複数のニューラルネットワークに対応する複数のタスクからタスクを選択するイベント、またはそれらの組合せに少なくとも部分的に基づく、
    請求項９に記載の装置。
15. 各タスクは、前記複数のニューラルネットワークのうちの１つに対応し、各ニューラルネットワークが静的ネットワークまたは動的ネットワークである、
    請求項１４に記載の装置。
16. 前記少なくとも１つのプロセッサは、前記ニューラルネットワークへの入力、前記ニューラルネットワークからの出力、またはそれらの組合せに少なくとも部分的に基づいて、前記ニューラルネットワーク内の接続のアンバランスの前記量を制御するようにさらに構成される、
    請求項９に記載の装置。
17. ニューラルネットワーク内の接続のアンバランスの量を決定するための手段と、
    前記ニューラルネットワーク内の接続のアンバランスの前記量を制御することによって、選択関数を動的に変更するための手段と
    を備え、選択されたニューロンは、複数の候補ターゲットのうちの１つを表す、
    装置。
18. 前記接続は、入力および出力ニューロンの各ペア間に結合された介在ニューロンを備え、前記動的に変更するための手段は、少なくとも前記介在ニューロンの興奮性、前記介在ニューロンと前記入力および出力ニューロンとの間のシナプス重みの有効性、またはそれらの組合せを動的に変更するための手段を備える、
    請求項１７に記載の装置。
19. 前記動的に変更するための手段は、外部入力で動的に変更するための手段を備える、
    装置請求項１８。
20. 前記動的に変更するための手段は、少なくともニューロンの興奮性を動的に変更するための手段、シナプス重みの有効性を変更するための手段、またはそれらの組合せを備える、
    請求項１７に記載の装置。
21. 前記シナプス重みは、少なくとも入力シナプス、ニューロン間の接続、またはそれらの組合せのためのものである、
    装置請求項２０。
22. 前記選択関数は、リターン上の抑制、前記ターゲットを選択するオブジェクトの挙動状態、時間の期間、割り当てられたタスク、時間多重化機能、および複数のニューラルネットワークに対応する複数のタスクからタスクを選択するイベント、またはそれらの組合せに少なくとも部分的に基づく、
    請求項１７に記載の装置。
23. 各タスクが、前記複数のニューラルネットワークのうちの１つに対応し、各ニューラルネットワークが静的ネットワークまたは動的ネットワークである、
    請求項２２に記載の装置。
24. 前記ニューラルネットワークへの入力、前記ニューラルネットワークからの出力、またはそれらの組合せに少なくとも部分的に基づいて、前記ニューラルネットワーク内の接続のアンバランスの前記量を制御するための手段をさらに備える、
    請求項１７に記載の装置。
25. ニューラルネットワークでターゲット選択を動的に変更するためのコンピュータプログラム製品であって、
    非一時的プログラムコードを記録する非一時的コンピュータ可読媒体を備え、前記プログラムコードは、前記ニューラルネットワーク内の接続のアンバランスの量を制御することによって、選択関数を動的に変更するためのプログラムコードを備え、選択されたニューロンは、複数の候補ターゲットのうちの１つを表す、
    コンピュータプログラム製品。
26. 前記接続は、入力および出力ニューロンの各ペア間に結合された介在ニューロンを備え、前記プログラムコードは、少なくとも前記介在ニューロンの興奮性、前記介在ニューロンと前記入力および出力ニューロンとの間のシナプス重みの有効性、またはそれらの組合せを動的に変更するためのプログラムコードをさらに備える、
    請求項２５に記載のコンピュータプログラム製品。
27. 前記プログラムコードは、外部入力で動的に変更するためのプログラムコードをさらに備える、
    請求項２６に記載のコンピュータプログラム製品。
28. プログラムコードが、少なくともニューロンの興奮性、シナプス重みの有効性、またはそれらの組合せを動的に変更するためのプログラムコードをさらに備える、
    請求項２５に記載のコンピュータプログラム製品。
29. 前記シナプス重みは、少なくとも入力シナプス、ニューロン間の接続、またはそれらの組合せのためのものである、
    請求項２８に記載のコンピュータプログラム製品。
30. 前記選択関数は、リターン上の抑制、前記ターゲットを選択するオブジェクトの挙動状態、時間の期間、割り当てられたタスク、時間多重化機能、および複数のニューラルネットワークに対応する複数のタスクからタスクを選択するイベント、またはそれらの組合せに少なくとも部分的に基づく、
    請求項２５に記載のコンピュータプログラム製品。

Images