JP5844286B2 - ニューラルネットワークの組織化 - Google Patents

Description

関連出願への相互参照
この出願は、２０１０年２月５日に出願された米国特許出願第６１／３０１，７８１号の、米国特許法第１１９条（ｅ）に基づく利益を主張し、その内容がここに引用により援用される。

背景
この明細書は、学習されたおよび学習されていないニューラルネットワークの組織化に向けた方策、ならびにニューラルネットワークの組織化の方法に関する。

ニューラルネットワークは、生体ニューロンのネットワークの構造および機能的局面によって動機づけられるデバイスである。特に、ニューラルネットワークは、「ノード」と呼ばれる相互結合された構成概念のシステムを用いて生体ニューロンのネットワークの情報エンコードおよび他の処理能力を模倣する。ニューラルネットワーク中のノード同士の間の結合の配置および強さが、ニューラルネットワークによる情報処理または情報記憶の結果を決める。

ニューラルネットワークは、ネットワーク内で所望の信号の流れを発生させるようにおよび所望の情報処理または情報記憶結果を達成するように「学習」可能である。一般的に、ニューラルネットワークの学習は、学習段階の間にノード同士の間の結合の配置および／または強さを変更する。所与の入力の組についてニューラルネットワークによって十分に適切な処理結果が達成されると、ニューラルネットワークが「学習された」と考えることができる。

さまざまな異なるデバイスでニューラルネットワークを用いて非線形データ処理および分析を行なうことができる。非線形データ処理は重ね合わせの原理を満たさない。すなわち、定めるべき変数を独立した成分の線形の和として書くことができない。非線形データ処理が有用である文脈の例は、パターンおよび配列認識、新規性検出および逐次意思決定、複素システムモデリング、ならびにさまざまな他の文脈でのシステムおよび技術を含む。

要約
この明細書は、学習されたおよび学習されていないニューラルネットワークの組織化に向けた方策、ならびにニューラルネットワークの組織化の方法を記載する。ラットの新皮質における生体ニューロンの組織化の研究は、ニューラルネットワーク中のノードがどのように有利に組織化可能であるかについてのきっかけを与えた。ラットの新皮質中の生体ニューロンの組織化を模倣する相互結合を有するニューラルネットワークは、改良された情報処理および／または情報記憶を達成するように学習可能である。

この明細書に記載される主題の第１の局面では、ニューラルネットワークデバイスは、ハードウェア、ソフトウェア、またはその組合せで実現される。ニューラルネットワークデバイスは、アセンブリ間リンクによって相互結合されるノードアセンブリの集合を含み、各々のノードアセンブリ自体は複数のアセンブリ内リンクによって相互結合されるノードのネットワークを備え、アセンブリ間リンクおよびアセンブリ内リンクの各々は関連付けられた重みを有し、各々の重みは関連付けられたリンクによって接続されるノード同士の間の結合の強さを実現し、各アセンブリ内のノードは、ノードアセンブリの他のもの内のノードに結合されるよりも、そのアセンブリ内の他のノードに結合される見込みがより高い。

この明細書に記載される主題の第２の局面では、ニューラルネットワークデバイスを形成する機械で実現される方法は、ハードウェア、ソフトウェア、またはその組合せで実現されるノードのネットワークを形成するステップと、ノードが共有する多数の共通の近傍を実現する確率を有するノードを結合するまたは切離すことによってネットワークのノード同士の間のリンクを割当てるまたは再割当てするステップとを含む。

これらおよび他の局面は以下の特徴のうち１つ以上を含むことができる。アセンブリ間リンクと関連付けられる重みは、特定の目的に向けたニューラルデバイスの学習を実現することができる。アセンブリ内リンクは、アセンブリ間リンクよりもより少ない程度で特定の目的に向けたニューラルデバイスの学習を実現することができる。ノード同士を結合可能であり、１対の結合性プロファイルに応じてノードアセンブリが形成される。各ノードアセンブリ内の平均重みの変動は、より多数のリンクを有するノードアセンブリについて一般的に減少し得る。各個別のノードアセンブリとの相互結合の平均強さは、それぞれのノードアセンブリ内のリンクの数がそれぞれのノードアセンブリ内のノードの数を超えるとそれぞれの限界に漸近的に近付くことができる。たとえば、それぞれの限界は実質的に同一であることができる。同じノードアセンブリ内のノードの数よりも少ない数のアセンブリ内リンクを有するノードアセンブリについては、アセンブリ内リンクの重みの大きさは、１組のレベルの区別可能な個別のレベルと関連付けることができる。たとえば、各個別のレベルは、アセンブリ内の異なる数のノードと関連付けることができる。ニューラルネットワークデバイスは、各々のアセンブリ内リンクのアセンブリ内の他のノードの数に基づいてアセンブリ内リンクの各々の重みの大きさを変更するように構成されるアダプタ要素を含むことができる。たとえば、アダプタ要素は、ニューラルネットワークデバイスが学習される前に各々の重みの大きさを変更するように構成可能である。そのようなニューラルネットワークデバイスは学習されていないものであり得る。ニューラルネットワークデバイスは、ノードアセンブリ内のノードの数に基づいて各々のノードアセンブリ中のノード同士の間の結合の確率を変更するように構成されるアダプタ要素を含むことができる。たとえば、アダプタ要素は、ニューラルネットワークデバイスが学習される前に各々の重みの大きさを変更するように構成可能である。リンクは、相互リンクおよび非相互リンクを含むことができる。非相互リンクは相互リンクよりも約２倍一般的であり得る。アセンブリ内のノードは、ノードアセンブリの他のもの内のノードに結合されるよりも、そのアセンブリ内の他のノードに結合される見込みが約２倍高くなり得る。１０個から１００個の間のノードを有するノードアセンブリの数は、１０個未満および１００個を超えるノードを有するノードアセンブリの数よりも多い可能性がある。ニューラルネットワークデバイスは、１０個から１００個の間のノードアセンブリを有することができる。準定常状態に達するまで割当ておよび再割当てを繰返すことができる。ノードは１対の結合性プロファイルに応じて結合可能である。ノードのネットワークは、たとえば、相対的に安定した重みを用いてノードアセンブリ内のリンクを重み付けすることによって、およびノードアセンブリ内のリンクの重みを相対的に変えないままにしながらノードアセンブリ同士の間のリンクを重み付けして学習を実現することによって学習可能である。重みは、第１および第２のノードの両者に共通に結合されるノードの数に基づいて第１のノードと第２のノードとの間の各々のリンクに割当て可能である。最初のリンクの組は、ランダムな割当てプロセス、またはリンクされる２つのノードの確率に従ってリンク割当てがなされるプロセスのいずれかに応じて割当て可能である。学習されていないニューラルネットワークデバイスは当該方法によって形成可能である。割当てまたは再割当ては、各個別のノードアセンブリ内のリンクの数がその個別のノードアセンブリ内のノードの数を超えるまで繰返すことができる。それぞれのノードアセンブリ中のリンクは、リンクの数がノードの数を超えると限界に近づく重みを用いて重み付け可能である。異なるサイズのノードアセンブリについての限界は実質的に同じであり得る。

この明細書に記載する主題の１つ以上の実施形態の詳細を添付の図面および以下の説明に述べる。主題の他の特徴、局面、および利点は、説明、図面、および請求項から明らかになるであろう。

さまざまな図面中の同じ参照番号および名称は同じ要素を示す。

【図１】ニューラルネットワークデバイスの概略図である。
【図２Ａ】異なる数のリンクが異なる数のノードのグループ内に現われることができる頻度の例示的な例を示すグラフの図である。
【図２Ｂ】異なる数のリンクが異なる数のノードのグループ内に現われることができる頻度の例示的な例を示すグラフの図である。
【図２Ｃ】異なる数のリンクが異なる数のノードのグループ内に現われることができる頻度の例示的な例を示すグラフの図である。
【図２Ｄ】異なる数のリンクが異なる数のノードのグループ内に現われることができる頻度の例示的な例を示すグラフの図である。
【図２Ｅ】異なる数のリンクが異なる数のノードのグループ内に現われることができる頻度の例示的な例を示すグラフの図である。
【図２Ｆ】異なる数のリンクが異なる数のノードのグループ内に現われることができる頻度の例示的な例を示すグラフの図である。
【図３Ａ】リンクが図２Ａ−図２Ｆ中のグループ内に現われることができる頻度と、結合がランダムに割当てられた場合にリンクが現われると予測されるであろう頻度との間の差の例示的な例を示すグラフの図である。
【図３Ｂ】リンクが図２Ａ−図２Ｆ中のグループ内に現われることができる頻度と、結合がランダムに割当てられた場合にリンクが現われると予測されるであろう頻度との間の差の例示的な例を示すグラフの図である。
【図３Ｃ】リンクが図２Ａ−図２Ｆ中のグループ内に現われることができる頻度と、結合がランダムに割当てられた場合にリンクが現われると予測されるであろう頻度との間の差の例示的な例を示すグラフの図である。
【図３Ｄ】リンクが図２Ａ−図２Ｆ中のグループ内に現われることができる頻度と、結合がランダムに割当てられた場合にリンクが現われると予測されるであろう頻度との間の差の例示的な例を示すグラフの図である。
【図３Ｅ】リンクが図２Ａ−図２Ｆ中のグループ内に現われることができる頻度と、結合がランダムに割当てられた場合にリンクが現われると予測されるであろう頻度との間の差の例示的な例を示すグラフの図である。
【図３Ｆ】リンクが図２Ａ−図２Ｆ中のグループ内に現われることができる頻度と、結合がランダムに割当てられた場合にリンクが現われると予測されるであろう頻度との間の差の例示的な例を示すグラフの図である。
【図４Ａ】異なる数の共通の近傍を共有する所与の１対のノード自体がリンクされる可能性を実現する異なる確率の例示的な例を示すグラフの図である。
【図４Ｂ】異なる数の共通の近傍を共有する所与の１対のノード自体がリンクされる可能性を実現する異なる確率の例示的な例を示すグラフの図である。
【図５Ａ】６個のノードのグループまたはアセンブリ内のノード同士の間の相互結合の異なる平均強さの例示的な例を示すグラフの図である。
【図５Ｂ】６個のノードのグループまたはアセンブリ内のノード同士の間の相互結合の異なる平均強さの例示的な例を示すグラフの図である。
【図６】異なる数の相互結合を有するノード同士の間の相互結合の強さの異なる確率密度分布の例示的な例を示すグラフの図である。
【図７Ａ】６個のノードのグループまたはアセンブリ内のノード同士の間の相互結合の平均強さの異なる変動の例示的な例を示すグラフの図である。
【図７Ｂ】６個のノードのグループまたはアセンブリ内のノード同士の間の相互結合の平均強さの異なる変動の例示的な例を示すグラフの図である。
【図８】ノードアセンブリ内の１対のノード同士および２つの異なるノードアセンブリ中の１対のノード同士がリンクされる確率の例示的な例を示すグラフの図である。
【図９Ａ】学習されたまたは学習されていないニューラルネットワークデバイス中のノードアセンブリのサイズの異なる分布の例示的な例を示すグラフの図である。
【図９Ｂ】学習されたまたは学習されていないニューラルネットワークデバイス中のノードアセンブリのサイズの異なる分布の例示的な例を示すグラフの図である。
【図１０】ノードアセンブリ結合性を含むニューラルネットワークデバイスについて、クラスタ係数の例示的な例を示すグラフの図である。
【図１１】ノードアセンブリ結合性を含むニューラルネットワークデバイスについて、入来する結合の累積分布の例示的なプロット１１０５を示すグラフ１１００の図である。
【図１２】ノードアセンブリ結合性を含むニューラルネットワークデバイスについて、ノードの対によって共有される共通の近傍の数の確率密度分布のプロットの例示的な例を示すグラフの図である。
【図１３】ニューラルネットワークデバイスを組織化するのに用いることができるプロセスのフローチャートである。
【図１４】リンクを再割当し、かつニューラルネットワークデバイスを組織化するのに用いることができるプロセスのフローチャートである。
【図１５】ニューラルネットワークデバイスを形成するためのプロセスのフローチャートである。
【図１６】ノードアセンブリの例示的なグループの概略図である。
【図１７】例示的なニューラルネットワークデバイスの概略図である。

詳細な説明
図１は、ニューラルネットワークデバイス１００の概略図である。ニューラルネットワークデバイス１００は、相互結合されたノードのシステムを用いる生体ニューロンのネットワークの情報エンコードおよび他の処理能力を模倣するデバイスである。ニューラルネットワークデバイス１００は、ハードウェア、ソフトウェア、またはその組合せで実現可能である。

ニューラルネットワークデバイス１００は、複数のリンク１１０によって相互結合される複数のノード１０５を含む。ノード１０５は、生体ネットワーク中のニューロンと類似の個別の情報処理構成である。ノード１０５は一般的に、リンク１１０のうち１つ以上にわたって受信される１つ以上の入力信号を処理して、リンク１１０のうち１つ以上にわたって出力される１つ以上の出力信号を発生する。たとえば、いくつかの実現例では、ノード１０５は、複数の入力信号に重み付けを行ない、その和を求め、１つ以上の非線形活性化関数を通して和を渡し、１つ以上の出力信号を出力する人工ニューロンであり得る。

ニューラルネットワークデバイス１００中のノード１０５は、複数のノードアセンブリ１１５、１２０、１２５、１３０に組織化される。各々のノードアセンブリ１１５、１２０、１２５、１３０はノードの集合である。各々それぞれのノードアセンブリ１１５、１２０、１２５、１３０内のノード１０５は、ノードアセンブリ１１５、１２０、１２５、１３０の他のものの中のノードとよりも、同じそれぞれのノードアセンブリ１１５、１２０、１２５、１３０内の他のノードとのリンク１１０を確立する見込みがより高い。たとえば、いくつかの実現例では、各々のノードアセンブリ１１５、１２０、１２５、１３０内のノード１０５は、ノードアセンブリ１１５、１２０、１２５、１３０の他のものの中のノードよりも、同じそれぞれのノードアセンブリ１１５、１２０、１２５、１３０内の他のノードとのリンク１１０を確立する見込みが１．５倍超または２倍超より高い。

異なるノードアセンブリ１１５、１２０、１２５、１３０内に異なる数のノード１０５を見出すことができる。たとえば、図示される実現例では、ノードアセンブリ１１５、１２０は各々６個のノード１０５を含む一方で、ノードアセンブリ１２５は７個のノード１０５を含み、ノードアセンブリ１３０は４個のノード１０５を含む。明瞭性のため、ノードアセンブリ１１５、１２０、１２５、１３０は別々の二次元境界によって分離されたものとして示されるが、ノード１０５の複数レベルの相互結合ネットワークもノードアセンブリに組織化可能である。さらに以下に記載のように、ノードアセンブリ１１５、１２０、１２５、１３０−ならびにノードアセンブリ１１５、１２０、１２５、１３０の内側および外側の両方のノードへのノード１０５の結合性−は生体ニューロンのクラスタの特徴を模倣する１つ以上の特徴を有することができる。

リンク１１０はノード１０５同士の間の結合であり、生体ネットワーク中のニューロン同士の間のシナプス結合および他の結合と類似している。リンク１１０は、たとえば、フィードフォワードリンク、フィードバックリンク、繰返しリンク、またはその組合せを含むことができる。リンク１１０は一方向性（たとえば入来または外向）または二方向性（すなわち相互）であり得る。リンク１１０は、リンク１１０によって結合されるノード１０５同士の間の関係に応じて分類可能である。たとえば、リンク１１０のうちあるもの、すなわちアセンブリ内リンク１４５は、単一のノードアセンブリ１１５、１２０、１２５、１３０内にあるノード１０５同士を結合する。他のリンク１１０、すなわちアセンブリ間のリンク１５０は、ノードアセンブリ１１５、１２０、１２５、１３０のうち異なるものの中にあるノード１０５同士を結合する。異なるノードアセンブリ１１５、１２０、１２５、１３０内に異なる数のアセンブリ内リンク１４５を見出すことができる。たとえば、図示される実現例では、ノードアセンブリ１１５は６つのアセンブリ内リンク１４５を含む。ノードアセンブリ１２０は７つのアセンブリ内リンク１４５を含む。ノードアセンブリ１２５は８つのアセンブリ内リンク１４５を含む。ノードアセンブリ１３０は５つのアセンブリ内リンク１４５を含む。このように、同じ数のノード１１０を含むノードアセンブリ（たとえばノードアセンブリ１１５、１２０）ですら異なる数のアセンブリ内リンク１４５を含むことができる。

ニューラルネットワークデバイス１００は、ニューラルネットワークデバイス１００もノードアセンブリ１１５、１２０、１２５、１３０のいずれもハブノードを含まない点でハブフリーである。ハブノードは、ネットワークまたはネットワークアセンブリ中の他のノードよりも、区別可能な程度により多数のリンクを有するノードである。たとえば、車輪型ネットワーク中の中央ノード（すなわち、他のノードがすべて３つのリンクを有するネットワーク中にｎ−１個のリンクを有するノード）がハブノードの例である。ハブノードの他の例は、そのノードアセンブリ内のノード当たりのリンクの全体的な分布パターン外にある、多数のリンクを有するノードアセンブリ中のノードを含む。そのようなノードアセンブリ中のノードはこのように、同一の３つのリンクを有するようには拘束されないが、むしろ、たとえば以下にさらに記載するように分散可能である。いくつかの実現例では、ノードアセンブリのグループ中のノード（たとえばニューラルネットワークデバイス１００中のノードのすべてなど）はすべて同じ階層を有することができる。

リンク１１０のうち各々は、リンクされたノード１０５同士の間の結合の強さを特徴付ける関連付けられた重みを有することができる。重みは、生体ネットワーク中のニューロン同士の間のシナプス結合および他の結合の強さに類似している。

以下にさらに記載されるように、いくつかの実現例では、単一のノードアセンブリ１１５、１２０、１２５、１３０中のアセンブリ内リンク１４５は、ノード１０５の数および／またはノードアセンブリ内側のアセンブリ内リンク１４５の数を実現する重みを有することができる。いくつかの実現例では、アセンブリ内リンク１４５の重みの大きさは、相対的に低い変動（variance）を有することができる。−所与の数のノード１０５を有するノードアセンブリ１１５、１２０、１２５、１３０中の少なくともいくつかの数のアセンブリ内リンク１４５については−、変動は、ノードアセンブリ内のアセンブリ内リンクの重みの大きさが１組の区別可能な個別のレベルのうち１つのレベルと関連付けられる相対的に少ない数のアセンブリ内リンク１４５を有する程度に十分低い。

ニューラルネットワークデバイス１００が学習されると、重みは所望の信号の流れを発生させるように、かつ所望の情報処理または情報記憶結果を達成するように適合する。いくつかの実現例では、アセンブリ内リンクの重みの大きさはニューラルネットワークデバイス１００の任意の学習から相対的に独立していることができる。いくつかの実現例では、学習は、アセンブリ間リンク１５０の重みにおいて主にまたは排他的にすら実現される。

図２−図１２は、学習されたおよび学習されていないニューラルネットワークデバイスの両者が有するように組織化され得る特徴の例示的な例の提示である。これらの１つ以上の特徴は情報処理および／または記憶を容易にすることができる。たとえば、図２Ａ−図２Ｆは、１２個のノードを有する学習されたまたは学習されていないニューラルネットワークデバイスの実現例中の異なる数のノードのグループ内に異なる数のリンクが現われることができる頻度の例示的な例を示すグラフである。特に、図２Ａは、０から６個の間のリンクが３つのノードのグループの中に現われる頻度の例示的な例を示すグラフ２０５である。図２Ｂは、０から９個のリンクが４個のノードのグループの中に現われる頻度の例示的な例を示すグラフ２１０である。図２Ｃは、０から１１個の間のリンクが５個のノードのグループの中に現われる頻度の例示的な例を示すグラフ２１５である。図２Ｄは、０から１５個の間のリンクが６個のノードのグループの中に現われる頻度の例示的な例を示すグラフ２２０である。図２Ｅは、０から１９個のリンクが７個のノードのグループの中に現われる頻度の例示的な例を示すグラフ２２５である。図２Ｆは、０から２２個のリンクが８個のノードのグループの中に現われる頻度の例示的な例を示すグラフ２３０である。

図２Ａ−図２Ｆ中のノードのグループはノードアセンブリを形成するノードでは必ずしもない。むしろ、これらのグループはおそらくニューラルネットワークデバイス内のノードの可能なランダムなグループ分けを表わし得る。このように、いくつかのそのようなノードのグループがグループ中のノード同士の間に有するリンクが０である可能性がある。

３個を超えるノードを有するグループについては、グループ内に１つのリンクが現われる頻度は、０個のリンクがグループ内に現われる頻度よりも高い。さらに、４個以上のノードを有するグループについては、グループ内に現われるリンクの数がグループ内のノードの数と同じである頻度が約１０^-1である。４個以上のノードを有するこれらのグループについては、それらのグループ内のノードの数を超えるグループ内に現われるリンクの数は約１０^-1より少ない。

図２Ａ−図２Ｆ中のこれらのグループ内にリンクが現われる頻度は、結合がランダムに割当てられた場合にリンクが現われると予測されるであろう頻度とは異なる。図３Ａ−図３Ｆは、そのような差、すなわち図２Ａ−図２Ｆ中のグループ内にリンクが現われる可能性がある頻度と、結合がランダムに割当てられた場合にリンクが現われると予測されるであろう頻度との差の例示的な例を示すグラフである。このアプリケーションに見出されるこれらおよび他の例示的な例で、全体的な結合の確率は０．１５であった。学習されたおよび学習されていないニューラルネットワークデバイスは、他の全体的な結合確率において対応する特徴を有するように組織化可能である。

図２Ａ−図２Ｆ中のこれらの差は、予測を超えるリンクの存在（すなわちパラメータの正の値）および予測されるリンクのないこと（すなわちパラメータの負の値）を実現する正規化されたパラメータの観点で示される。図示される実現例では、この正規化されたパラメータは、特定のグループ内にリンクが現われる実際の頻度と、結合がランダムに割当てられた場合にリンクが現われると予測されるであろう頻度との差を計算することによって導出される。そして、計算された差は、結合がランダムに割当てられた場合にリンクが現われると予測されるであろう頻度によって正規化される。

特に、図３Ａは、０から６個の間のリンクが３つのノードのグループの中に現われる頻度の予測からのずれの例示的な例を示すグラフ３０５である。図３Ｂは、０から９個の間のリンクが４個のノードのグループの中に現われる頻度の予測からのずれの例示的な例を示すグラフ３１０である。図３Ｃは、０から１１個の間のリンクが５個のノードのグループの中に現われる頻度の予測からのずれの例示的な例を示すグラフ３１５である。図３Ｄは、０から１５個の間のリンクが６個のノードのグループの中に現われる頻度の予測からのずれの例示的な例を示すグラフ３２０である。図３Ｅは、０から１９個の間のリンクが７個のノードのグループの中に現われる頻度の予測からのずれの例示的な例を示すグラフ３２５である。図３Ｆは、０から２２個の間のリンクが８個のノードのグループの中に現われる頻度の予測からのずれの例示的な例を示すグラフ３３０である。図３Ａ−図３Ｆ中のノードのグループは、ノードアセンブリを形成するノードでは必ずしもない。むしろ、これらのノードのグループはニューラルネットワークデバイス内のノードの可能なランダムなグループ分けを表わす。

すべてのサイズのグループについて、ノードのランダムなグループ分け内で、結合がランダムに割当てられた場合に予測されるであろうよりも、相対的により多数のリンクがより高頻度である。予測からのこれらのずれは一般的に、ランダムなグループ分け内のノードの数を超えるリンクの数で顕著になる。たとえば、グラフ３１０は、４個のノードのランダムなグループ分けが、結合がランダムに割当てられた場合に予測されるであろうよりも、５個以上のリンクを有する見込みがより高いことを示す。別の例として、グラフ３１５は、５個のノードのランダムなグループ分けが、結合がランダムに割当てられた場合に予測されるであろうよりも、６個以上のリンクを有する見込みがより高いことを示す。また別の例として、グラフ３２０は、結合がランダムに割当てられた場合に予測されるであろうよりも、６個のノードのランダムなグループ分けが７個以上のリンクを有する見込みがより高いことを示す。

たとえば、６個以上のノードのグループにおいて、ノードのランダムなグループ分け内で、中間の数のリンクは、結合がランダムに割当てられた場合に予測されるであろうよりもより低頻度である。予測からのこれらのずれは一般的に、ランダムなグループ分け内のノードの数よりも少ないリンクの数で顕著であるが、ランダムなグループ分け内のノードの数の約半分以上である。たとえば、グラフ３２０は、６個のノードのランダムなグループ分けが、結合がランダムに割当てられた場合に予測されるであろうよりも、３個、４個、または５個のリンクを有する見込みがより低いことを示す。別の例として、グラフ３２５は、７個のノードのランダムなグループ分けが、結合がランダムに割当てられた場合に予測されるであろうよりも、４個、５個、または６個のリンクを有する見込みがより低いことを示す。また別の例として、グラフ３３０は、８個のノードのランダムなグループ分けが、結合がランダムに割当てられた場合に予測されるであろうよりも、４個、５個、６個、または７個の（８個または９個も）リンクを有する見込みがより低いことを示す。

ニューラルネットワークデバイスの実現例中のノードの結合性が生体ニューロンのクラスタの特徴を模倣する１つ以上の特徴を有することができる別の態様は、共通の近傍を共有する任意の２つのノード自体がリンクされる確率の範囲内である。図４Ａ、図４Ｂは、異なる数の共通の近傍を共有する所与の対のノード自体が学習されたまたは学習されていないニューラルネットワークデバイスの実現例でリンクされる可能性を実現する異なる確率の例示的な例を示すグラフである。共通の近傍は、１対のノードの各々にリンクされる第３のノードである。

図４Ａで、グラフ４０５は、０個、１個、２個、３個、および４個の共通の近傍を共有するニューラルネットワークデバイス中の所与の１対のノード自体が１２個のノードを有するニューラルネットワークデバイスの実現例でリンクされる例示的な確率の１つの例示的な組を示す。示されるように、１対のノードが共有する共通の近傍の数が増大すると、１対のノード自体がリンクされる確率が増大する。１対のノード同士の間の結合の可能性はこのように、対の中のノードが共有する共通の近傍の数とはっきりと相関している。比較のため、１対のノードがリンクされる確率が対によって共有される共通の近傍の数と独立していれば、結合確率は増大しないであろうが、むしろ、対の中のノードによって共有される共通の近傍の数とともに一定のままになるであろう。

図４Ｂで、グラフ４１０は、０個、１個、２個、３個、および４個の共通の近傍を共有する所与の対のノード自体が１２個のノードを有するニューラルネットワークデバイスの実現例においてリンクされる確率の線形に増大する組の例示的な例を示す。示されるように、１対のノードが共有する共通の近傍の数が増大すると、１対のノード自体がリンクされる確率が線形に増大する。１対のノード同士の間の結合の可能性はこのように、対の中のノードが共有する共通の近傍の数とはっきりと相関する。たとえば、４個の共通の近傍を共有する１対のノードは、共通の近傍を全く共有しない１対のノードよりも結合される見込みがほぼ３倍高い。

グラフ４０５、４１０は、共通の近傍を共有するノードの対自体が１２個のノードを有するニューラルネットワークデバイス中でリンクされ、対応の性質が他のサイズのニューラルネットワークデバイス中に実現され得る例示的な確率を示す。

学習されたまたは学習されていないニューラルネットワークデバイスのいくつかの実現例では、ノードが結合される確率は共通の近傍とのリンクの種類も実現する。たとえば、いくつかの実現例では、同じ共通の近傍から入力を受けるノードの対は、同じ共通の近傍への出力が結合されるノードの対よりも、結合される見込みがより高い。

いくつかの実現例では、任意の２個のノード自体がリンクされる確率が共通の近傍の数を実現するだけでなく、それらの２個のノードの間の相互結合の強さ（すなわちリンクの重み）が共有される共通の近傍の数を具現化する。特に、２個のノードの間の相互結合の強さは、共有される共通の近傍の数が増大すると増大する。

共通の近傍を共有する所与の１対のノード自体がリンクされる増大した可能性を用いて、特定のノードアセンブリ内のノードが、他のノードアセンブリ中のノードとよりも、その同じアセンブリ内の他のノードとリンクされる見込みがより高いノードアセンブリを含む学習されたおよび学習されていないニューラルネットワークデバイスを形成することができる。そのようなノードアセンブリの例は、ノードアセンブリ１１５、１２０、１２５、１３０である（図１）。特に、ノード同士の間のリンクが存在する確率に応じて、学習されていないニューラルネットワークデバイスにおいてすらリンクを形成することができる。

さまざまな異なる方策を用いてそのようなニューラルネットワークデバイスを形成することができる。たとえば、いくつかの実現例では、リンクの最初の組を、ランダムな割当てプロセスと、たとえばリンクされている２つの生体ニューロンの距離依存確率を模倣する確率空間に従ってリンク割当てがなされるプロセスとを含むさまざまな異なるプロセスのうち任意のものに応じて１組のノードに割当てることができる。そのような最初のリンクの組の割当ての後、ネットワークが所望のリンク確率または他の特性を実現するまで、リンク再割当てプロセスを用いてニューラルネットワークを再組織化することができる。たとえば、リンク再割当ては、ノード同士の間のリンクを取除き、次に取除かれたリンクを、共有される共通の近傍の数および／またはそれらの共通の近傍とのリンクの種類を実現する確率に応じて新しいノードに再割当てする繰返しプロセスを含むことができる。このように、学習が始まる前であっても、ニューラルネットワークデバイスを組織化して所望の特性を有するようにリンク再割当てプロセスを用いることができる。

他の実施形態では、最初のリンクの組の割当てが所望のリンク確率または他の特性も実現する。換言すると、すべてのリンク割当てが所望の特性を実現することができる。そのような実現例では、１組のノードへのリンクの最初の割当てはリンク割当てに顕著な程度に影響しないかもしれない。なぜなら、異なるリンクが存在する確率がほぼ等しければリンクが疎らになるからである。しかしながら、リンクの密度が増大し、ノードが共通の近傍を共有し始めると、共通の近傍を有するノード自体がリンクされる確率が増大する。より多くのリンク割当てがなされるにつれ、ノードは、ノードが他のノードアセンブリ中のノードとよりも１つのノードアセンブリ内の他のノードにリンクされる見込みがより高くなるノードアセンブリにグループ分けされる傾向がある。

いくつかの実現例では、そのようなリンク割当てプロセスは、ノード同士の間のリンクを取除き、次にリンクが新しいノード同士の間に存在する確率に応じてリンクを新しいノードに再割当てする繰返しプロセスを含むことができる。学習されていないニューラルネットワークデバイスであっても、そのような再割当てプロセスを用いて組織化することができる。換言すると、このように、学習の前にノードアセンブリを形成可能であり、ニューラルネットワークデバイスを学習する前に（リンク再割当てを伴うまたは伴わない）リンク割当てを行なうことができる。予め存在するノードアセンブリの場合、ニューラルネットワークデバイスの学習は、ノードアセンブリの先在に従って組織化されるニューラルネットワーク−およびニューラルネットワーク中のノードアセンブリ−によって所望の情報処理または情報記憶結果を達成するニューラルネットワークデバイスを生じることができる。

いくつかの実現例では、ニューラルネットワークデバイスが学習されるにつれて、（リンク再割当てを伴うまたは伴わない）そのようなリンク割当てをなすことができる。たとえば、学習は、ニューラルネットワークデバイスで開始することができる。学習が進行するにつれ、ニューラルネットワークデバイスの学習が必要とされる情報処理または情報記憶にあまり重要でないリンク（すなわち低い重み付けのリンク）を優先的に取除き、新しいノード同士の間にリンクが存在する確率に応じてこれを新しいノードに再割当てすることができる。時には、再割当てされたリンクがニューラルネットワークデバイスの学習が必要とされる情報処理または情報記憶に重要となるかもしれず、ニューラルネットワークデバイスは、再割当てに適合するように余分な学習を必要とするであろう。実際、ニューラルネットワークデバイスの学習が必要とされる情報処理または情報記憶に以前に関連したリンクが、より関連が薄くなるかもしれず、それに応じてこれを再割当て可能である。この点で、ニューラルネットワークデバイスは、ニューラルネットワークデバイスが時間とともに再組織化するにつれて生体可塑性を模倣することができる。

割当ておよび／または再割当てプロセスは、ハードウェア、ソフトウェア、またはその組合せで実現されるアダプタ要素によって、所望の特性を有するニューラルネットワークデバイスを達成するように実現可能である。たとえば、いくつかの実現例では、そのようなアダプタ要素は、学習されていないニューラルネットワークデバイスで重みの割当ておよび／または変更を行なうコンピュータシステムの一部となることができる。他の実現例では、そのようなアダプタ要素は、ニューラルネットワークを学習して所望の信号の流れを発生させるニューラルネットワークデバイスのトレーナと関連して動作し、またはその一部となることができる。

ニューラルネットワークデバイスの実現例でのノードの結合性が、生体ニューロンのクラスタの特徴を模倣する１つ以上の特徴を有することができる別の態様は、ノード同士の間の相互結合の強さ（すなわちリンクの重み）においてである。図５Ａ、図５Ｂは、１２個のノードを有する学習されたまたは学習されていないニューラルネットワークデバイスの実現例における６個のノードのグループまたはアセンブリ内のノード同士の間の相互結合の異なる平均強さの例示的な例を示すグラフである。ノードのグループは単一のノードアセンブリを形成するノードでは必ずしもない。むしろ、これらのノードのグループは、ニューラルネットワークデバイス内のノードの可能なランダムなグループ分けである。しかしながら、ニューラルネットワークデバイス中のノードの数は相対的に少量（すなわち１２個のノード）であるので、ランダムに選択されたノードが実際には単一のノードアセンブリの一部である可能性が相対的に高い。このように、これらのノードのグループの性質をノードアセンブリに外挿可能である。

そのような相互結合の強さは、ハードウェア、ソフトウェア、またはその組合せで実現されるアダプタ要素によって割当ておよび／または変更可能である。たとえば、いくつかの実現例では、そのようなアダプタ要素は、学習されていないニューラルネットワークデバイスで重みの割当ておよび／または変更を行なうコンピュータシステムの一部となることができる。他の実現例では、そのようなアダプタ要素は、ニューラルネットワークを学習して所望の信号の流れを発生させるニューラルネットワークデバイスのトレーナと関連して動作し、またはその一部となることができる。

図５Ａのグラフ５０５で、グループまたはアセンブリ内のリンクの数が、少なくとも、グループまたはアセンブリ内のノードの数以下のリンクの数について増大するにつれて、グループまたはアセンブリ内のノード同士の間の相互結合の強さの例示的な例を表わす重みが増大する。特に、図示されるグラフ表現において、リンクの数が増大するにつれて、相互結合の平均強さは、少なくとも、６個以下のリンクを有する（１２個のノードを有するニューラルネットワークデバイス中の）６個のノードのグループまたはアセンブリについて増大する。さらに、グループまたはアセンブリ内のノード同士の間の相互結合の例示的な例を表わす重みは、グループまたはアセンブリ内のリンクの数がそのグループまたはアセンブリ内のノードの数を超えて増大するにつれて区別不可能になる傾向がある。特に、図示されるグラフ表現において、相互結合の平均強さは、７個以上のリンクを有する（１２個のノードを有するニューラルネットワークデバイス中の）６個のノードのグループまたはアセンブリについて区別不可能になる傾向がある。

さらに、相互結合の強さの大きさは、グループまたはアセンブリ内のノードの数以下のリンクの数について区別可能な程度に個別のレベルと関連付けられる。特に、１つのリンクを有する６個のノードのグループまたはアセンブリは、相互結合５１０の平均強さを有する。２つのリンクを有する６個のノードのグループまたはアセンブリは、相互結合５１５の平均強さを有する。３つのリンクを有する６個のノードのグループまたはアセンブリは、相互結合５２０の平均強さを有する。４つのリンクを有する６個のノードのグループまたはアセンブリは、相互結合５２５の平均強さを有する。５つのリンクを有する６個のノードのグループまたはアセンブリは、相互結合５３０の平均強さを有する。６つのリンクを有する６個のノードのグループまたはアセンブリは、相互結合５３５の平均強さを有する。相互結合５８５の平均強さは、７つ以上のリンクを有する６個のノードのグループまたはアセンブリについて区別不可能になり得る。

図５Ｂのグラフ５５０で、ニューラルネットワークデバイスのいくつかの実現例におけるノードアセンブリ内のノード同士の間の相互結合の強さの例示的な例を示す強さは、グループまたはアセンブリ内のリンクの数が増大するにつれて増大する。特に、相互結合の平均強さは、グループまたはアセンブリ内のリンクの数が増大するにつれて、付加的なリンクの減少当たりの相互結合の強さの増大の大きさとともに非線形的に増大する。例示的に提示される例では、相互結合の平均強さは、グループまたはアセンブリ内のリンクの数がグループまたはアセンブリ内のノードの数を超えると、漸近的に限界に近付く。いくつかの実現例では、相互結合の平均強さに対するこの限界は、生体ニューロン同士の間の最も強い相互結合を表わす飽和レベルを模倣する。たとえば、相互結合の平均強さに対する限界は、グループまたはアセンブリ内のノードの数とは独立していることができ、異なるサイズのグループまたはアセンブリについて実質的に同一であることができる。

さらに、リンクの相互結合の強さの大きさは、少なくともいくつかの数のリンクについて区別可能な程度に個別のレベルと関連付けられる。たとえば、１つのリンクを有する６個のノードのグループまたはアセンブリは、相互結合５５５の平均強さを有する。２つのリンクを有する６個のノードのグループまたはアセンブリは、相互結合５６０の平均強さを有する。３つのリンクを有する６個のノードのグループまたはアセンブリは、相互結合５６５の平均強さを有する。４つのリンクを有する６個のノードのグループまたはアセンブリは、相互結合５７０の平均強さを有する。５つのリンクを有する６個のノードのグループまたはアセンブリは、相互結合５７５の平均強さを有する。６つのリンクを有する６個のノードのグループまたはアセンブリは、相互結合５８０の平均強さを有する。相互結合の平均強さは、１２以上のリンクを有する６個のノードのグループまたはアセンブリまで増大し続ける。

グラフ５０５、５５０は１２個のノードを有するニューラルネットワークデバイスにおける６個のノードを有するグループまたはアセンブリについての例示的な例のみを示すが、他のサイズのグループまたはアセンブリ内のノード同士の間の相互結合の平均強さは、他のサイズのニューラルネットワークデバイスにおいて実現可能な同程度の性質を有してもよい。

ノードのグループまたはアセンブリ内のノード同士の間の相互結合の平均強さがそれらのグループまたはアセンブリ内のリンクの数を表わしている場合、グループまたはノードアセンブリ内のリンクの重みが必ずしもニューラルネットワークデバイスの学習を表わしているわけではない。この点で、上述のように、重みは学習の間に所望の信号の流れを発生させ、かつ所望の情報処理または情報記憶結果を達成するように適合する。高度に相互結合されたグループまたはアセンブリ（たとえば、グループまたはアセンブリ内のリンクの数がグループまたはアセンブリ内のノードの数を超えるグループ）は、他のグループまたはノードアセンブリ中のノードよりも、ノードがグループまたはノードアセンブリ内の他のノードに結合される見込みがより高いグループまたはノードアセンブリであろう。しかしながら、ノードの高度に結合されたグループまたはアセンブリの重みが区別不可能になり、かつおそらくは漸近的に限界に近付きすらする場合、特殊化された学習を実現する重みは、異なるグループまたはアセンブリ中のノード同士の間のリンクの重みにおいて主にまたは排他的にも具現化される。

いくつかの実現例で、
−学習されたまたは学習されていないニューラルネットワークデバイスのノードのグループ内の相互結合の平均強さが各グループ内のリンクの数を表わし、かつ
−任意の対のノード同士が結合される確率がそれらのノードによって共有される共通の近傍の数を表わしているならば、
ノードの対の間の相互結合の平均強さもそれらのノードが共有する共通の近傍の数を実現することができる。この点で、ランダムに選択されたノードのグループが多数の共通の近傍を有する１対のノードを含む場合は、その対のノード同士が結合される確率がより高くなる。そのようなランダムに選択されたノードのグループ（すなわち、多数の共通の近傍を有する１対のノードを有するグループ）はこのように、より少ない共通の近傍を有する１対のノードを有するノードのグループよりも多くのリンクを有しやすい。相互結合の平均強さはグループ内のリンクの数が増大するにつれて増大するので、より多くの数の共通の近傍を有する１対のノードを含むランダムに選択されたグループは、より高い相互結合の平均強さを有しやすくなる。

いくつかの実現例では、学習されたまたは学習されていないニューラルネットワークデバイス中のノードは、グループまたはアセンブリ中のそれらのノードが共有する共通の近傍の数を実現する相互結合の平均強さを有することができる。そのような相互結合の強さは、ハードウェア、ソフトウェア、またはその組合せで実現されるアダプタ要素によって割当ておよび／または変更可能である。たとえば、いくつかの実現例では、そのようなアダプタ要素は、学習されていないニューラルネットワークデバイスで重みを割当てるおよび／または変更するコンピュータシステムの一部となることができる。他の実現例では、そのようなアダプタ要素は、ニューラルネットワークを学習して所望の信号の流れを発生させるニューラルネットワークデバイスのトレーナと関連して動作し、またはその一部となることができる。

図６は、１２個のノードを有する学習されたまたは学習されていないニューラルネットワークデバイスの実現例における異なる数の相互結合を有するノード同士の間の相互結合の強さの異なる確率密度分布の例示的な例を示すグラフ６００である。特に、プロット６０５は、０個の共通の近傍を有するノード同士の間のリンクが相互結合の特定の強さを有する確率の例示的な例を示す。プロット６１０は、１つの共通の近傍を有するノード同士の間のリンクが相互結合の特定の強さを有する確率の例示的な例を示す。プロット６１５は、２つの共通の近傍を有するノード同士の間のリンクが相互結合の特定の強さを有する確率の例示的な例を示す。プロット６２０は、３つの共通の近傍を有するノード同士の間のリンクが相互結合の特定の強さを有する確率の例示的な例を示す。

示されるように、共通の近傍の数が増大すると、ノード同士の間の相互結合の平均強さが増大する。さらに、プロット６０５、６１０、６１５、６２０が示す例示的な確率分布は正側に歪んでいる。いくつかの実現例では、正の歪みは、（示されるように）共通の近傍の数が増大するにつれて増大する。

グラフ６００は、１２個のノードを有するニューラルネットワークデバイスでの相互結合の強さの例示的な確率密度分布を示すが、対応の性質は他のサイズのニューラルネットワークデバイスで実現可能である。

ニューラルネットワークデバイスのいくつかの実現例では、相互結合の強さの変動は、ノードのランダムに選択されたグループまたはアセンブリ内のリンクの数が増大するにつれて減少する傾向にある。

図７Ａ、図７Ｂは、学習されたまたは学習されていないニューラルネットワークデバイスの実現例における６個のノードのグループまたはアセンブリ内のノード同士の間の相互結合の平均強さの異なる変動の例示的な例を示すグラフである。ノードのグループは、単一のノードアセンブリを形成するノードでは必ずしもない。むしろ、これらのノードのグループは、ニューラルネットワークデバイス内のノードの可能なランダムなグループ分けである。しかしながら、ニューラルネットワークデバイス中のノードの数は相対的に少量（すなわち１２個のノード）であるため、ランダムに選択されたノードは実際、単一のノードアセンブリの一部である可能性が相対的に高い。このように、これらのノードのグループの性質をノードアセンブリに外挿可能である。

相互結合の平均強さのそのような変動は、ハードウェア、ソフトウェア、またはその組合せで実現されるアダプタ要素によって達成可能である。たとえば、いくつかの実現例では、そのようなアダプタ要素は、学習されていないニューラルネットワークデバイスで重みを割当てるおよび／または変更するコンピュータシステムの一部となることができる。他の実現例では、そのようなアダプタ要素は、ニューラルネットワークを学習して所望の信号の流れを発生させるニューラルネットワークデバイスのトレーナと関連して動作し、またはその一部となることができる。

図７Ａのグラフ７０５で、相互結合の強さを表わす重みの変動は、６個のノードのさまざまなグループまたはアセンブリ内のリンクの数が増大するにつれて減少する傾向にある。換言すると、相互結合の平均強さは、さまざまなグループまたはアセンブリ内のリンクの数が増大するとより均一になる傾向にある。例示的なグラフ表現では、変動の減少は滑らかではない。たとえば、４つのリンクを有する６個のノードのグループまたはアセンブリについての相互結合の平均強さの変動は、３つのリンクを有する６個のノードのグループまたはアセンブリについての相互結合の平均強さの変動よりも高い。

図７Ｂのグラフ７１０において、相互結合の強さを表わす重みの変動も、６個のノードのさまざまなグループまたはアセンブリ内のリンクの数が増大するにつれて減少する。例示的なグラフ表現では変動の減少は滑らかである。例示的な表示では、付加的なリンク当たりの減少率は、リンクの数がノードの数の半分以下であるグループまたはアセンブリについて最も高い（すなわち、６個のノードの例示的なグループまたはアセンブリについてリンクが３つ以下のグループまたはアセンブリ）。付加的なリンク当たりの減少率は、リンクの数がノードの数とほぼ同じグループまたはアセンブリについて減少し、付加的なリンク当たりの減少率は、リンクの数がノードの数の２倍以上であるグループまたはアセンブリについて増大する。他の実現例では、付加的なリンク当たりの減少率は一定である。

グラフ７０５、７１０は６個のノードを有するグループまたはアセンブリのみを図示するが、他のサイズのグループまたはアセンブリ内のノード同士の間の相互結合の平均強さの変動は同程度の性質を有するかもしれない。

前述のように、学習されたおよび学習されていないニューラルネットワークデバイスのいくつかの実現例では、ノードアセンブリ内のノードは、他のノードアセンブリ中のノードとよりも、そのノードアセンブリ内の他のノードとリンクされる見込みがより高い。たとえば、いくつかの実現例では、ノードアセンブリ内のノードは、他のノードアセンブリ中のノードとよりも、そのノードアセンブリ内の他のノードとリンクされる見込みが１．５倍よりも高いまたは２倍よりも高い。

図８は、ノードアセンブリ内の１対のノード同士および２つの異なるノードアセンブリ中の１対のノード同士がリンクされる確率の例示的な例を示すグラフ８００である。示される例示的な実現例では、単一のノードアセンブリ内のノード同士は、異なるノードアセンブリ中のノードとよりも、リンクされる見込みが約２倍高い。特に、単一のノードアセンブリ内のノードの対についての平均結合確率は０．１４±０．０２であり、これは、異なるノードアセンブリに属するノードの対についての確率０．０７±０．００５の約２倍の確率である。

学習されたまたは学習されていないニューラルネットワークデバイスのいくつかの実現例では、ノードアセンブリ内のノードの平均数はノード１０個から１００個の間である。いくつかの実現例では、学習されたまたは学習されていないニューラルネットワークデバイスは、そのようなノードアセンブリ単位の１０から１００個の間を含むことができる。

図９Ａ、図９Ｂは、学習されたまたは学習されていないニューラルネットワークデバイス中のノードアセンブリのサイズの異なる分布の例示的な例を示すグラフである。

図９Ａのグラフ９０５では、１０個から１００個の間のノードを有するノードアセンブリの数は、１０個未満および１００個を超えるノードを有するアセンブリの数よりも多い。実際、１００個を超えるノードを有するノードアセンブリは、いくつかの実現例では、十分なリンクを共有してアセンブリを相互結合するかつアセンブリとなる別々のノードアセンブリによって形成されることがある。さらに、ノードアセンブリの例示的な分布ははっきりと歪んでいる。

図９Ｂのグラフ９１０では、１０個から１００個の間のノードを有するノードアセンブリの数は、１０個未満および１００個を超えるノードを有するアセンブリの数よりも多い。例示的な分布では、ノードアセンブリのサイズは滑らかに変化し、アセンブリ当たりノード２０個から３０個の間で最大に到達する。１００個を超えるノードを有するノードアセンブリは、いくつかの実現例では、十分なリンクを共有してアセンブリを相互結合するかつアセンブリとなる別々のノードアセンブリによって形成されることがある。さらに、ノードアセンブリの例示的な分布は正側に歪んでいる。

ノードアセンブリ内のノードが、異なるノードアセンブリ中のノードとよりもリンクされる見込みがより高い学習されたおよび学習されていないニューラルネットワークデバイスのいくつかの実現例では、ニューラルネットワークデバイスのクラスタ係数がより高い。クラスタ係数は、ニューラルネットワークデバイス中のどのノードに向けてともにまとまる傾向があるかの度合いの尺度である。本明細書中で用いられるように、頂点のクラスタ係数は、おそらく頂点同士の間に存在し得るリンクの数で除算されるその近傍内の頂点同士の間のリンクの割合である（すなわち、いわゆる「ローカルクラスタ係数」または「ストロガッツクラスタ係数」）。

図１０は、ノードアセンブリ結合性を含む学習されたおよび学習されていないニューラルネットワークデバイスについてのクラスタ係数と、−比較のための−同じ１対の結合確率を有するランダムな結合性を有するネットワークについてのクラスタ係数１０１０との例示的な例を示すグラフ１０００である。見られるように、ノードアセンブリ結合性を有するクラスタ係数は、ランダムな結合性を有するクラスタ係数よりも区別可能な程度により大きい。

ノードアセンブリ内のノード同士が、異なるノードアセンブリ中のノード同士よりもリンクされる見込みがより高い学習されたおよび学習されていないニューラルネットワークデバイスのいくつかの実現例では、ノード当たりの入来する結合の数はべき乗則スケールフリーネットワークにおいてよりも、より急激に減少する。

図１１は、ノードアセンブリ結合性を含む学習されたおよび学習されていないニューラルネットワークデバイスについての入来する結合の累積分布の例示的プロット１１０５と、−比較のための−べき乗則スケールフリーネットワークにおける入来する結合の累積分布のプロット１１１０とを示すグラフ１１００である。示されるように、そのようなスケールフリーネットワークでは、べき乗則は、対数−対数プロットにおいて減少する傾斜の直線で表わされる。他方で、プロット１１０５で示される入来する結合の累積分布は相対的に一定であるが、対数−対数スケール上においてより急激に減少する。このより急激な減少は、生体ニューロン中の入来する結合に対する形態学的制約および他の制約を模倣する。そのような制約の例は、樹木状の樹枝状分枝および生体ニューロンにおいて結合を形成するために利用可能な脊椎の数とを含む。そのような制約を実現するニューラルネットワークは、ノードがはるかに多数の相互結合を自由に形成し、ノード当たりの結合の数がはるかに広い分布を有するスケールフリーネットワークとは対照をなす。

ノードアセンブリ内のノード同士が、異なるノードアセンブリの中のノード同士よりもリンクされる見込みがより高い学習されたおよび学習されていないニューラルネットワークデバイスのいくつかの実現例では、共通の近傍を多数有するノードの対の数と共通の近傍がほとんどないノードの対の数との両者が、ランダムなネットワーク中においてよりもより多い。

図１２は、ノードアセンブリ結合性を含む学習されたおよび学習されていないニューラルネットワークデバイスについてノードの対が共有する多数の共通の近傍の確率密度分布のプロット１２０５と、−比較のための−ランダムな結合性を有するネットワーク中のノードの対が共有する共通の近傍の数のプロット１２１０との例示的な例を示すグラフ１２００である。見られるように、共通の近傍を多数有するノードの対の数と共通の近傍がほとんどないノードの対の数とは、ランダムなネットワーク中よりもより多い。

ニューラルネットワークデバイスは、上述の特徴のうち１つ以上を有するように組織化可能である。たとえば、図１３は、ニューラルネットワークデバイスを組織化するのに用いることができるプロセス１３００のフローチャートである。プロセス１３００は、機械読取可能命令のうち１つ以上の組の論理に従って動作を行なう１つ以上のデータ処理装置のシステムによって行なうことができる。たとえば、プロセス１３００は、学習の前または学習の間にニューラルネットワークデバイスを組織化するためのソフトウェアを実行する１つ以上のコンピュータのシステムによって行なうことができる。

プロセス１３００を行なうシステムは、１３０５において、ノードの集合の中から１対のノードを選択する。ノードの対は、たとえばノードの多次元アレイを横断することによって、ランダムにまたはノード選択のための組織化方策に従って選択可能である。いくつかの実現例では、その中から対が選択されるノードの集合が、たとえば、任意のノードの対が結合される可能性を実現する確率空間に配列される。確率空間はこのように、ニューロン同士が結合される確率がニューロン同士の間の離間距離の関数である生体ニューロンのシステムを模倣することができる。いくつかの実現例では、ノードは確率空間内で周期的に配列されない。たとえば、いくつかの実現例では、確率空間中のさもなければ周期的な位置の付近で異なるノードに相対的に小さな摂動を与えることができる。他の実現例では、ノードは確率空間中の位置にランダムに割当て可能である。

プロセス１３００を行なうシステムは、１３１０において、選択された対のノードが共有する共通の近傍の数を判断する。共通の近傍の数は、ノードの集合内に既に存在するリンクの記録から判断することができる。

プロセス１３００を行なうシステムは、１３１５において、選択されたノードの対がリンクされる確率も判断する。判断された確率は共通の近傍の数を表わす。たとえば、いくつかの実現例では、確率は、グラフ４０５、４１０（図４Ａ、図４Ｂ）において与えられる例示的な結合確率に従って判断される。任意の対のノードが結合される可能性を実現する確率空間中にノードが配列される実現例では、共通の近傍の数は確率空間の「生の」確率を修正する。

選択されたノードの対がリンクされる判断された確率を用いて、プロセス１３００を行なうシステムは、決定１３２０において、選択されたノード同士がリンクされるべきか否かも判断する。たとえば、ランダムに選ばれた数を、選択されたノードの対がリンクされる確率と比較することができ、ランダムに選ばれた数が確率内に入れば、システムはノード同士がリンクされるべきであると判断する。

選択されたノード同士がリンクされるべきであるという判断に応答して、プロセス１３００を行なうシステムは、１３２５において、選択されたノード同士の間のリンクを形成し、１３０５に戻って別のノードを選択する。リンクは、たとえば、ノードの集合内に存在するリンクの記録中の新しいリンクの命令を記録することによって形成可能である。記録は１つ以上のデータ記憶デバイス内に記憶可能である。選択されたノード同士がリンクされるべきではないという判断に応答して、プロセス１３００を行なうシステムは、１３０５に戻って別の対のノードを選択する。ある点で、十分な密度のリンクに到達した後、システムはプロセス１３００を出る（図示せず）。

いくつかの実現例では、プロセス１３００を行なうシステムは、１３１５において、異なる種類のリンクについてノード同士がリンクされる異なる確率を判断する。たとえば、システムは、ノード同士が相互関係でリンクされる第１の確率と、ノード同士が非相互関係でリンクされる第１の確率とを判断してもよい。いくつかの実現例では、非相互関係は相互関係の約２倍一般的である。そのような異なる確率を、１３２０において、選択されたノード同士がリンクされるべきか否かを判断するにあたって用いることができる。１３２５において形成されるリンクの種類は、したがって、結果を表わし得る。プロセス１３００などのプロセスの１つの例示的な実現例を今回ＭＡＴＬＡＢコードとして示す。

上述のように、いくつかの実現例では、再割当てプロセスも用いることができる。たとえば、図１４は、リンクを再割当し、かつニューラルネットワークデバイスを組織化するために用いることができるプロセス１４００のフローチャートである。プロセス１４００は、１つ以上の組の機械読取可能命令の論理に従って動作を行なう１つ以上のデータ処理装置のシステムによって行なうことができる。たとえば、プロセス１４００は、学習の前または学習の間にニューラルネットワークデバイスを組織化するためのソフトウェアを実行する１つ以上のコンピュータのシステムによって行なうことができる。プロセス１４００は、他の活動とは分離してまたはこれと関連して行なうことができる。たとえば、いくつかの実現例では、プロセス１４００は、プロセス１３００（図１３）と関連して行なうことができる。

プロセス１４００を行なうシステムは、１４０５において、ノードに割当てられたリンクを有するニューラルネットワークの特徴付けにアクセスする。リンクはネットワーク内の初期密度を有し得る。いくつかの実現例では、アクセスされたネットワークは全く学習されていない。他の実現例では、アクセスされたネットワークは部分的に学習されているかまたは十分によく学習されて適切な処理結果を達成する。

プロセス１４００を行なうシステムは、１４１０において、ニューラルネットワーク内のリンクのサブセットを選択する。いくつかの実現例では、たとえば、ニューラルネットワークの残余が変わらないままであれば、それらの２つのノード同士の間に新しいリンクが形成される可能性を比較することによって、１つ以上のリンクが選択される。そのような実現例では、新しく形成される可能性が最も低いであろうリンクを優先して選択することができる。いくつかの実現例では、ニューラルネットワークがそのために部分的にまたは完全に学習される情報処理または情報記憶へのリンクの寄与を判断することによって１つ以上のリンクを選択する。そのような実現例では、情報処理または情報記憶に対する寄与が最も小さい（たとえば重みが最も低い）リンクを優先して選択可能である。いくつかの実現例では、リンクが新しく形成されるであろう可能性と情報処理または情報記憶に対するリンクの寄与との両者に基づいて１つ以上のリンクが優先的に選択される。

プロセス１４００を行なうシステムは、１４１５において、ニューラルネットワークから選択されたリンクのサブセットを取除く。たとえば、ニューラルネットワーク内のリンクの記録からリンクを取除くことができる。そのような記録を１つ以上のデータ記憶デバイスに記憶可能である。プロセス１４００を行なうシステムは、１４２０において、ニューラルネットワークに１つ以上の新しいリンクを加えることも行なう。たとえば、いくつかの実現例では、システムは、プロセス１３００などのプロセスを用いて、選択された対のノードがリンクされるべきか否かを判断し、１つ以上の新しいリンクを形成することができる。いくつかの実現例では、ニューラルネットワークに追加される新しいリンクの数はニューラルネットワークから取除かれるリンクの数と釣り合いをとり、ニューラルネットワーク内の全体的なリンク密度が保たれる。

いくつかの実現例では、プロセス１４００を行なうシステムは、ニューラルネットワークがたとえばクラスタ係数または結合性構造において準定常状態に達するまで、繰返しリンクを選択し、取除き、追加する。たとえば、いくつかの実現例では、取除くために１４１０において選択されるノードは、１４２０において追加される新しいノードの可能性に相当するかそれよりも高い、新しく形成される可能性を有する。別の例として、いくつかの実現例では、取除くために１４１０において選択されるノードは、さらなる学習の後に１４２０において追加される新しいノードによってなされる情報処理または記憶に対する寄与に相当するかそれよりも大きい情報処理または記憶に寄与する。

プロセス１４００などのプロセスの１つの例示的な実現例を今回ＭＡＴＬＡＢコードとして示す。

共通の近傍の効果をモデリングするのに用いられるネットワーク再組織化機能のＭＡＴＬＡＢコード

プロセス１３００，１４００のいずれか一方または両者を用いて組織化されるニューラルネットワークデバイスも学習可能である。学習は、ノード同士の間のリンクの重みを適合させて所望の情報処理または情報記憶の結果を達成する。いくつかの実現例では、そのような学習は、ノードアセンブリ同士の間のリンクの重みを、ノードアセンブリ内のリンクの重みよりもより大きな程度で適合させる。

図１５は、ニューラルネットワークデバイスを形成するためのプロセス１５００のフローチャートである。プロセス１５００は、１つ以上の組の機械読取可能命令の論理に従って動作を行なう１つ以上のデータ処理装置のシステムによって行なうことができる。たとえば、プロセス１５００は、学習の前またはその間にニューラルネットワークデバイスを組織化するためのソフトウェアを実行する１つ以上のコンピュータのシステムによって行なうことができる。プロセス１５００は他の活動とは分離してまたはこれと関連して行なうことができる。たとえば、いくつかの実現例では、プロセス１５００は、プロセス１３００、１４００（図１３、図１４）のうち一方または両者に関連して行なうことができる。

プロセス１５００を行なうシステムは、１５０５において、内部の特性が規定されたノードアセンブリのグループを形成する。ノードアセンブリの内部特性は、ノードおよびノードアセンブリ内のリンクの特性であり、たとえば異なるノードアセンブリ同士の間のリンクの配置および重みを除外する。

いくつかの実現例では、異なるノードアセンブリは相対的に安定したおよび再生可能な内部特性を有するように規定可能である。内部特性は、そのようなノードアセンブリから形成されるニューラルネットワークデバイスの学習の影響が個別のノードアセンブリ内のリンクの配置および重みに対して相対的に小さい点で安定することができる。内部特性は、ノードアセンブリの組織化および重み付けが異なる設計規則を一貫して実現できるという点で再生可能であり得る。そのような特性に達するための設計規則の例は、図２−図１２に提示されかつ上述される例示的な例のうち１つ以上を含む。ノードアセンブリのグループは、新しいリンク形成および再割当てを含むプロセスによって形成可能である。たとえば、ノードアセンブリのグループは、プロセス１３００（図１３）、プロセス１４００（図１４）、またはプロセス１３００、１４００（図１３、１４００）の組合せを用いて形成可能である。

規定可能な内部特性の１つの例は、各々のノードアセンブリ中の活動のレベルである。各々それぞれのノードアセンブリの活動のレベルは、たとえば、そのノードアセンブリ内のノードの数、そのノードアセンブリ内のリンクの数、そのノードアセンブリ内のリンクの重み、またはこれらの特徴のうち２つ以上の組合せを実現するように規定可能である。たとえば、いくつかの実現例では、所与の数のノードおよびアセンブリ内リンクについて、アセンブリ内リンクの重みがニューラルネットワークデバイスの上限（または飽和レベル）に近付くノードアセンブリを形成することができる。

図１６は、ノードアセンブリの例示的なグループ１６００の概略図である。グループ１６００は、ノードアセンブリ１６０５、１６１０、１６１５、１６２０、１６２５を含む。ノードアセンブリ１６０５、１６１０、１６１５、１６２０、１６２５は、たとえば図２−図１２に提示されかつ上述されるたとえば特性の例示的な例を含む、相対的に安定したかつ再生可能な内部特性を有することができる。たとえば、いくつかの実現例では、ノードアセンブリ１６０５、１６１０、１６１５、１６２０、１６２５のすべてにおけるアセンブリ内リンクの重みは、ニューラルネットワークデバイスの上限（または飽和レベル）に近付く。

図１５に戻って、プロセス１５００を行なうシステムは、１５１０において、ノードアセンブリ同士の間のリンクを割当てしかつ重み付けして、所望の情報処理または情報記憶結果を達成する。このように、割当ておよび重み付けはニューラルネットワークデバイスを学習する。学習は、ノードアセンブリ内の（相対的により安定した）リンク中よりはむしろ、ノードアセンブリ同士の間のリンク中で優先的に実現される。いくつかの実現例では、割当ておよび重み付けは、新しいアセンブリ間リンクの形成、アセンブリ間リンクの再割当て、またはアセンブリ間リンクの形成および再割当ての両方を含むことができる。

図１７は、そのようなアセンブリ間リンク１７０５がノードアセンブリ１６０５、１６１０、１６１５、１６２０、１６２５の間に形成された例示的なニューラルネットワークデバイス１７００の概略図である。アセンブリ間リンク１７０５の配置および重みは、所望の情報処理または情報記憶結果を達成するようにニューラルネットワークデバイス１７００を調整する学習を実現することができる。

この明細書に記載の主題および動作の実施形態は、デジタル電子回路構成、またはコンピュータソフトウェア、ファームウェア、もしくはこの明細書に開示される構造およびそれらの構造的均等物を含むハードウェア、またはそれらのうち１つ以上の組合せで実現可能である。この明細書に記載される主題の実施形態は、１つ以上のコンピュータプログラム、すなわちデータ処理装置による実行またはデータ処理装置の動作を制御するためのコンピュータ記憶媒体にエンコードされるコンピュータプログラム命令のうち１つ以上のモジュールとして実現可能である。これに代えてまたは加えて、プログラム命令は、データ処理装置による実行に好適な受信器装置への送信のための情報をエンコードするように生成される、たとえば機械で生成される電気、光学、または電磁信号である人工的に生成された伝播信号にエンコード可能である。コンピュータ記憶媒体は、コンピュータ読出可能記憶デバイス、コンピュータ読出可能記憶基板、ランダムもしくはシリアルアクセスメモリアレイもしくはデバイス、またはその１つ以上の組合せであり得るかもしくはその中に含まれ得る。さらに、コンピュータ記憶媒体は伝播信号ではない一方で、コンピュータ記憶媒体は、人工的に生成される伝播信号にエンコードされるコンピュータプログラム命令の発信元または宛先であり得る。コンピュータ記憶媒体も、１つ以上の別個の物理的構成要素または媒体（たとえば複数のＣＤ、ディスク、または他の記憶デバイス）であり得るかまたはその中に含まれ得る。

この明細書に記載される動作は、１つ以上のコンピュータ読出可能記憶デバイスに記憶されるまたは他のソースから受信されるデータに対してデータ処理装置によって行なわれる動作として実現可能である。

「データ処理装置」という用語は、一例として、プログラマブルプロセッサ、コンピュータ、システムオンチップ、または以上のもののうち複数のものまたはその組合せを含む、データを処理するためのすべての種類の装置、デバイス、および機械を包含する。装置は、たとえばＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）などの特殊目的論理回路構成を含み得る。装置は、ハードウェアに加えて、たとえば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想マシン、またはそれらのうち１つ以上の組合せを構成するコードである問題のコンピュータプログラムのための実行環境を作り出すコードも含み得る。装置および実行環境は、ウェブサービス、分散計算およびグリッド計算インフラストラクチャなどのさまざまな異なる計算モデルインフラストラクチャを実現可能である。

（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても公知の）コンピュータプログラムは、コンパイル型言語またはインタープリタ型言語、宣言型言語または手続型言語を含む任意の形態のプログラミング言語で記述することができ、これは、スタンドアローンプログラムとして、またはモジュール、構成要素、サブルーチン、オブジェクト、もしくは計算環境における使用に好適な他のユニットとして含む任意の形態で配備可能である。コンピュータプログラムは、ファイルシステム中のファイルに対応してもよいが、その必要はない。プログラムは、問題のプログラム専用の単一のファイルまたは複数の連動したファイル（たとえば、１つ以上のモジュール、サブプログラム、またはコードの部分を記憶するファイル）中に他のプログラムまたはデータ（たとえば、マークアップ言語文書中に記憶された１つ以上のスクリプト）を保持するファイルの部分に記憶可能である。コンピュータプログラムは、１つのコンピュータ上で、または１つのサイトに位置するもしくは複数のサイトにわたって分散され、通信ネットワークによって相互結合される複数のコンピュータ上で実行されるように配備可能である。

この明細書に記載されるプロセスおよび論理のフローは、１つ以上のコンピュータプログラムを実行して、入力データに対して演算を行ない、かつ出力を生成することによってアクションを実行する１つ以上のプログラマブルプロセッサによって実行ことができる。プロセスおよび論理のフローは、たとえばＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）などの特殊目的論理回路構成によっても行なうことができ、かつ装置はそのようなものとして実現可能でもある。

コンピュータプログラムの実行に好適なプロセッサは、一例として、汎用および特殊目的マイクロプロセッサの両者、ならびに任意の種類のデジタルコンピュータの任意の１つ以上のプロセッサを含む。一般的に、プロセッサは、読出専用メモリまたはランダムアクセスメモリまたはその両者から命令およびデータを受信する。コンピュータの必須の要素は、命令に従ってアクションを行なうためのプロセッサと、命令およびデータを記憶するための１つ以上のメモリデバイスとである。一般的にコンピュータは、たとえば磁気ディスク、磁気光学ディスク、もしくは光学ディスクなどのデータを記憶するための１つ以上の大容量記憶デバイスも含み、またはそれらからデータを受信しまたはそれらにデータを転送し、またはその両者を行なうように動作するように結合もされる。しかしながら、コンピュータはそのようなデバイスを有する必要はない。さらに、２、３の例を挙げると、コンピュータを、携帯電話、パーソナルデジタルアシスタント（ＰＤＡ）、携帯音声または映像プレーヤ、ゲーム機、全地球位置把握システム（ＧＰＳ）受信器、または携帯型記憶デバイス（たとえばユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブ）などの別のデバイスに埋込むことができる。コンピュータプログラム命令およびデータを記憶するのに好適なデバイスは、一例として、たとえば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイスなどの半導体メモリデバイスと、たとえば内部ハードディスクまたは取外し可能ディスクなどの磁気ディスクと、磁気光学ディスクと、ＣＤ−ＲＯＭおよびＤＶＤ−ＲＯＭディスクとを含む不揮発性メモリ、媒体、およびメモリデバイスのすべての形態を含む。プロセッサおよびメモリは、特殊目的論理回路構成によって補足可能である、またはこの中に組入れ可能である。

ユーザとの対話を提供するため、この明細書に記載される主題の実施形態は、ＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニタなどのユーザに情報を表示するための表示デバイスと、キーボードと、ユーザがコンピュータに入力を与えることができるたとえばマウスまたはトラックボールなどのポインティングデバイスとを有するコンピュータ上で実現可能である。他の種類のデバイスを用いて同様にユーザとの対話を提供することもできる。たとえば、ユーザに与えられるフィードバックは、たとえば視覚的フィードバック、聴覚的フィードバック、または触覚的フィードバックなどの任意の形態の感覚フィードバックであり得、ユーザからの入力は、音響、音声、または触覚による入力を含む任意の形態で受信可能である。さらに、コンピュータは、たとえば、ウェブブラウザから受信する要求に応答してユーザのクライアントデバイス上のウェブブラウザにウェブページを送ることによってなど、ユーザが用いるデバイスに文書を送るおよびそこから文書を受けることによってユーザと対話することができる。

この明細書は多数の具体的な実現例の詳細を含有するが、これらはいずれかの発明または請求され得るものの範囲に対する限定としてではなく、むしろ特定の発明の特定の実施形態に特有の特徴の説明として解釈されるべきである。別個の実施形態の文脈でこの明細書で説明されるある特徴は、単一の実施形態中での組合せで実現することもできる。これに対し、単一の実施形態の文脈で説明されるさまざまな特徴を複数の実施形態で別個にまたは任意の好適な副次的組合せで実現することもできる。さらに、特徴はある組合せで作用するものとして上述され当初はそのようにすら請求されることがあるが、請求される組合せからの１つ以上の特徴は、いくつかの場合、組合せから削除することができ、請求された組合せは副次的組合せまたは副次的組合せの変形に向けられることがある。

同様に、特定の順で図面に動作を示したが、これは、そのような動作が示した特定の順でもしくは連続した順で行なわれること、またはすべての図示される動作が行なわれて望ましい結果を達成することを要件とするものとして理解されるべきではない。ある状況では、マルチタスキングおよび並行処理が有利であるかもしれない。さらに、上述の実施形態中のさまざまなシステム構成要素の分離は、すべての実施形態でのそのような分離を要件とするものとして理解されるべきではなく、これは、記載のプログラム構成要素およびシステムを、単一のソフトウェア製品にともに一体化する、または複数のソフトウェア製品にパッケージングすることが一般的に可能であると理解すべきである。

このように、主題の特定の実施形態を説明した。他の実施形態が以下の請求項の範囲内に入る。いくつかの場合、請求項に記載されるアクションを異なる順序で行なうことができ、依然として望ましい結果を達成することができる。さらに、添付の図に示すプロセスは必ずしも、示される特定の順序または連続した順序を要件として望ましい結果を達成するものではない。ある実現例では、マルチタスキングおよび並行処理が有利であるかもしれない。

Claims (15)

1. コンピュータで実現される、生体神経ネットワークを模倣するニューラルネットワークデバイスであって、
   アセンブリ間リンクによって相互結合されるノードアセンブリの集合を備え、各々のノードアセンブリ自体は複数のアセンブリ内リンクによって相互結合されるノードのネットワークを含み、前記アセンブリ間リンクおよび前記アセンブリ内リンクの各々は関連付けられた重みを有し、各々の重みは関連付けられた前記リンクによって接続される前記ノード同士の間の結合の強さを実現し、各々のアセンブリ内の前記ノードは、前記ノードアセンブリの他のもの内のノードに結合されるよりもそのアセンブリ内の他のノードに結合される見込みがより高く、
   前記重みは、関連付けられた前記リンクによって連結される前記ノードの共有する共通の近傍の数を具現化し、
   前記結合の強さは、前記共有する共通の近傍の数の増加に伴って増加する、ニューラルネットワークデバイス。
2. 前記ノードは、ニューロンを表わし、
   前記リンクは、シナプス結合を表わし、
   前記重みは、前記生体神経ネットワークにおける前記ニューロン同士の間の前記シナプス結合の強さを表わす、請求項１に記載のニューラルネットワークデバイス。
3. 前記ノードアセンブリの前記アセンブリ内リンクの重みは、それぞれの前記ノードアセンブリ内部のアセンブリ内リンクの数を具現化する、請求項１に記載のニューラルネットワークデバイス。
4. 各々それぞれのノードアセンブリとの相互結合の平均強さは、前記それぞれのノードアセンブリ内のリンクの数が前記それぞれのノードアセンブリ内のノードの数を超えるとそれぞれの限界に漸近的に近付く、請求項１から３のいずれか１項に記載のニューラルネットワークデバイス。
5. 各々のアセンブリ内リンクの前記アセンブリ内の他のノードの数に基づいて前記アセンブリ内リンクの各々の重みの大きさを変更するように構成されるアダプタ要素をさらに備え、
   前記アダプタ要素は、前記ニューラルネットワークデバイスが学習される前に各々の重みの大きさを変更するように構成される、請求項１から４のいずれか１項に記載のニューラルネットワークデバイス。
6. 前記ノードアセンブリ内のノードの数に基づいて各々のノードアセンブリ中のノード同士の間の結合の確率を変更するように構成されるアダプタ要素をさらに備える、請求項１から５のいずれか１項に記載のニューラルネットワークデバイス。
7. 生体神経ネットワークを模倣するニューラルネットワークデバイスを形成する、コンピュータで実現される方法であって、
   ノードのネットワークを形成するステップと、
   前記ノードによって共有される共通の近傍の数を具現化する確率を有するノードを結合するまたは切離すことによって前記ネットワークのノード同士の間のリンクを割当てるまたは再割当てするステップとを備え、
   前記確率は、前記共通の近傍の数の増加に伴って増加する、方法。
8. 前記リンクの各々は、関連付けられた重みを有し、
   各重みは、関連した前記リンクによって連結される前記ノードの共通の近傍の数を具現化し、
   前記結合の強さは、前記共通の近傍の数の増加に伴って増加する、請求項７に記載の方法。
9. 前記ノードを結合する確率は、前記ノードによって共有される共通の近傍の数と正側の関連を有する、請求項７に記載の方法。
10. 同じ共通の近傍から入力を受けるノードの対は、同じ共通の近傍へ出力するノードの対が結合されるよりもさらに結合されやすい、請求項７に記載の方法。
11. リンク再割当は、ノード間のリンクを取除き、その後、取除かれたリンクを前記確率に従って他のノードにリンクすることを含む、請求項７に記載の方法。
12. 準定常状態に達するまで前記割当てるまたは再割当てするステップを繰返すステップをさらに備え、
    前記準定常状態は、ニューラルネットワークデバイスを備える、請求項７に記載の方法。
13. 前記ノードのネットワークを学習するステップをさらに備え、
    前記ノードのネットワークを学習するステップは、
    安定した重みを用いてノードアセンブリ内のリンクを重み付けするステップと、
    前記ノードアセンブリ内のリンクの前記重みを変えないままにしながら、前記ノードアセンブリ同士の間のリンクを重み付けして前記学習を実現するステップとを備える、請求項７から１２のいずれか１項に記載の方法。
14. 前記学習の間、所定のしきい値を下回る関連した重みを有するリンクは取り除かれ、リンクが他のノードとともに存在する確率に従って、前記他のノードに再割当される、請求項１３に記載の方法。
15. 各々それぞれのノードアセンブリ内のリンクの数がそのそれぞれのノードアセンブリ内
    のノードの数を超えるまで割当てまたは再割当てのステップを繰返すステップと、
    前記リンクの数が前記ノードの数を超えると限界に近付く重みを用いて前記それぞれのノードアセンブリの各々におけるリンクを重み付けするステップとをさらに備える、請求項７から１４のいずれか１項に記載の方法。