JPH0451384A

JPH0451384A - ニューラルネットワークの構築方法

Info

Publication number: JPH0451384A
Application number: JP2161904A
Authority: JP
Inventors: Yoshinobu Mita; 三田　良信
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1990-06-19
Filing date: 1990-06-19
Publication date: 1992-02-19
Anticipated expiration: 2014-03-03
Also published as: JP2862337B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】本発明は、各種処理に好適なニューラルネットワーク及
びその構築方法に関するものである。

［従来の技術］近年、ニューラルネットワークによって各種処理を行な
うことが研究されている。

ニューラルネットワークを用いる処理では、処理精度を
向上させるために、各素子にニーロン）は多数の入力に
対して演算処理を施して出力を行なう。

Ｅ発明が解決しようとする課題］しかしながら、ニューラルネットワークを単純にハード
化すると、その回路規模は非常に大きいものとなってし
まうという問題があった。

［課題を解決するだめの手段及び作用コ上記課題を解決
するために、本発明のニューラルネットワークは、一部
の層における重み係数の乗算を、シフト演算により行な
う。

また、本発明ニューラルネットワークの他の形態は、一
部の層における重み係数の乗算を、シフト演算及び加算
により行なう。

また、本発明のニューラルネットワークの構築方法は、
入力層、１つ以上の中間層及び出力層を有し、学習によ
り決定されたニューラルネットワークにおいて、ある層
の重み係数に対して、もっとも近い２のべき乗を求め、
当該重み係数の乗算部を、求められた２のべき乗を乗算
するシフト演算部に置き換えたことを特徴とする。

また、本発明のニューラルネットワークの構築方法の他
の形態は、入力層、１つ以上の中間層及び出力層を有し
、学習により決定されたニューラルネットワークにおい
て、ある層の重み係数に対して、所定数以下の２のべき
乗和でもっとも近い値を求め、当該重み係数の乗算部を
、求められた２のべき乗和の２のべき乗の各々を乗算す
るシフト演算部とその結果を加算する加算部に置き換え
たことを特徴とする。

更に、他のニューラルネットワークの構築方法は、入力
層、１つ以上の中間層及び出力層を有し、学習により決
定されたニューラルネットワークにおいて、ある層の重
み係数に対して、所定誤差以下となる２のべき乗和によ
る近似値を、和の項数を漸次増やしながら求め、当該重
み係数の乗算部を、求められた２のべき乗和の２のべき
乗の各々を乗算するシフト演算部とその結果を加算する
加算部に置き換えたことを特徴とする。

［実施例］先ず、パックプロパゲーション型ニニーラルネッ）・ワ
ークにおける学習の手順を第３図を例として説明する。

第３図に示されたニューラルネットワークは、入力層ｊ
、１＠よりなる中間層ｊ、出力層ｋによって構成されて
いる。

学習のためには、入力データと、それに対する理想出力
とを用意し、中間層における結合強度ＷＪ３、出力層に
おける結合強度Ｗよ４の初期値を適当に決定し、この初
期値に基づいて結合されたネットワークに、用意した入
力データを与え、中間層、出力層の順で処理されて出力
データを得る。ここまでが、第３図における■および■
の流れである。次に、得られた出力層よりの出力と、用
意した理想出力とを比較し、この比較により教師信号を
生成し、この教師信号によって、出力層における結合強
度ＷｋＪを補正し、更に中間層における結合強度ＷＪＩ
を補正する。これが■および■の流れである。

以上が学習の１工程であり、この学習を繰り返すことに
より、結合強度Ｗ　、１．Ｗ　ｙ＝＝が適切な値へと修
正されていく。学習の結果、更新された結合強度がネッ
トワーク内に保持される。

上述の学習手順を、第４図のフローヂャートを用いて更
に詳細に説明する。

先ず、ステップ５４０１で、重み係数（結合強度）　Ｗ
Ｊ、、Ｗ　ｋ、＋の初期値を与える。ここでは、学習過
程での収束を考慮して、−〇、５〜＋０５の範囲の値を
選択する。

次に、ステップ５４０２で学習用の入力データｊｏｕｔ
（ｉ）を選択し、ステップ５４０３でこのブタｊｏｕｔ
（ｉ）を入力層にセットする。また、ステップ５４０４
で、入力データ１ｏｕｔ（ｉ）に対する理想出力（ｉ　
ｄｅａｌ　ｏｕｔ）を用意する。

そこで、ステップ５４０５で、中間層の出力ｊｏｕｔ（
ｊ）を求める。

先ず、入力層よりのデータ１ｏｕｔ（ｉ）に中間層の重
み係数ＷＪ、を掛け、その総和Ｓｕｍ、Ｊを、Ｓｕｍｐ
Ｊ＝ΣＷ　Ｊ　ｌ　（ｊ、　ｉｌ＊１ｏｕｔ（ｉ）によ
り計算し、次に、このＳｕｍＦｊにｓｉｇｍｏｉｄ関数
を作用させて、ｊ番目の中間層の出力ｊｏｕｔ（ｊ）を
、によって計算する。

次に、ステップ５４０６で、出力層の出力ｋｏｕｔ（ｋ
）を求める。この手順はステップ８４０Ｇと同様である
。

すなわち、中間層からの出力ｊｏｕｔ（ｊ）に出力層の
重み係数ＷｋＪを掛け、その総和Ｓｕｍｐｋを、Ｓｕｍ
Ｆｋ＝ΣＷ　ｋ、＋　（ｋ、　ｊ）＊ｊｏｕｔ（ｊ）に
より計算し、次に、このＳｕｍｐｋにｓｉｇｍｏｉｄ関
数を作用させて、ｋ番目の中間層の出力ｋｏｕｔ　（ｋ
ｌを、によって計算する。なお、この出力値は正規化されてい
る。また、一般には、出力層の素子数は複数であるが、
第３図の例では、１個だけとしている。

次に、ステップ５４０７では、以上により得られた出力
ｋｏｕｔ（ｋ）と、ステップ５４０４で用意した理想出
力１ｄｅａｌ　ｏｕｔ（ｋ）とを比較し、出力層の教師
信号ｔｅａｃｈ　ｋ（ｋ）として、ｔｅａｃｈ　ｋ（ｋ）　　：＝　　（ｉｄｅａｌ　ｏｕ
ｔ（ｋ）　　−ｋｏｕｔ（ｋ））＊ｋｏｕｔ（ｋ）＊（
１−ｋｏｕｔ（ｋＨを求める。ここで、ｋｏｕｔ（ｋ）
＊（１−ｋｏｕｔ（ｋ））は、ｓｉｇｍｏｊｄ関数ｋｏ
ｕｔ（ｋ）の微分の意義を有する。

次に、ステップ５４０８で、出力層の重み係数の変化幅
△ｗ　ｋＪ（ｋ、　ｊ）を、 △Ｗ　ｋＪ（ｋｌ、＋）　＝β＊ｊｏｕｔ（ｊ）＊ｔｅ
ａｃｈ　ｋ（ｋ）＋α＊△ｗ　ｙｉ　（ｋ、　ｊ）により計算する。ここで、αは安定化定数、βは学習定
数と呼ばれる定数であり、急激な変化を押える役割を果
たしている。

ステップ５４０９では、この変化幅に基づいて、重み係
数Ｗｋ、＋（ｋ＋Ｊ）を、Ｗ　ｋＪ（ｋ、　ｊ）　＝　Ｗ　ｋＪ（ｋ、　ｊ）＋△
ｗ　ｔ、ｊ（ｋ、　ｊ）と、更新する。すなわち学習を
行なう。

次に、ステップ５４１０で、中間層の教師信号ｔｅａｃ
ｈ　ｊ（ｊｌを計算する。そのために、先ず、Ｓｕｍ！
ｌＪ＝Σｔｅａｃｈ　ｋ（ｋ）＊　ＷｋＪ（ｊ、ｉ）に
基づいて、出力層から、中間層の各素子への逆方向の寄
与を計算する。次にこのＳｕｍ８Ｊから、中間層の教師
信号ｔｅａｃｈ　ｊ（ｊ）を以下の式により演算する。

ｔｅａｃｈ　ｊ（ｊ）　＝　ｊｏｕｔ（ｊ）＊（１−ｊ
ｏｕｔ（ｊ）ｌ＊ｓｕｍｇＪ次に、ステップ５４１１で
、中間層の重み係数の変化幅△Ｗ　、＋　ｌ（ｊ、　１
）を、△ＷＪ＋（ｊ、ｉ）　＝β＊１ｏｕｔ（ｉ）＊ｔ
ｅａｃｈ　ｊ（ｊ）＋α＊△ＷＪｌ（ｊｌ）により計算する。

ステップ５４１２では、この変化幅に基づいて、重み係
数Ｗ　Ｊ＋　（ｊ、ｉ）を、Ｗ　１１（ｊ、　Ｌ）　＝
　Ｗ　ＪＩＦ＋　１）＋△Ｗ　Ｊ＋　（ｊ、　ｉ）と、
更新する。すなわち学習を行なう。

こうして、ステップ８４０１〜４１２により、１組の入
力データとこれに対する理想出力とから、重み係数Ｗ　
４　、とＷｏとが１回学習された。

ステップ５４１３では、以上のような学習を全入力デー
タにつき行なったかを調べ、未だの場合は、ステップ８
４０１〜４１２を繰り返す。

ステップ５４１４では、所定の学習回数に達したかを調
べ、不足の場合は、ステップ３４０１〜４１３を繰り返
す。

以上がパックプロパゲーション法に基づいたニューラル
ネットワークの学習手順の説明である。

本発明では、以上のようにして確立されたニュラルネッ
トワークの中間層において、重み係数を乗じる部分を、
次のように変形する。

〈方法１〉各ＷＪ、について、２のべき乗（２°）の中で最も値が
近いものを新しくＷ、１とする。

〈方法２〉各Ｗ、、ｌについて、所定個以下の２のべき乗の和の全
ての組み合わせ（１個を含む）の中で最も値が近いもの
を新しくＷ、、とする。

〈方法３〉許容される最大誤差△Ｅを先ず設定する。

各Ｗ１．について、２のべき乗のうぢで、ＷＪ、と最も
値が近いものとの差が△Ｅ以下であれば、それを新しく
Ｗ、、とする。

△Ｅ以下でない場合は、２のべき乗２個の和の中でＷＪ
、と最も値が近いものとの差が△Ｅ以下であれば、それ
を新しくＷ、３とする。

これも△Ｅ以下でない場合は、更に、３個の和、４個の
和、・・・と順に増やしていき、△Ｅ以下となるものが
得られるまで続しプる。

以上の方法１〜３において、Ｗ４．が２のべき乗２″と
なる場合は、入力にＷ、１を乗じる演算は、人力をｎだ
けシフトすることにより実現される。

また、方法２または３において、Ｗ、ｌが２のべき乗の
和、例えば２”　＋２″＋２’　となる場合は、入力に
ＷＪ、を乗じる演算は、入力をそれぞれｎ、ｍ、１だけ
シフトしたものの和をとることにより実現される。

従って、重み係数の乗算部分は、シフト演算、またはシ
フト演算と加算とにより達成される。

しかしながら、上述の方法によれば、ＷＪ、を、学習で
得られた値に近いながらも、それとは異なる値とするた
めに、出力層で得られる値にも、若干の誤差が生じる。

その誤差が、ニューラルネットワークとしての許容範囲
外であれば、新しい重み係数Ｗ１．を固定して再学習を
行なってもよい。

再学習のフローヂャ−１・を第５図に示す。

第５図は、第４図における中間層の重み係数の更新に必
要なステップ８４１０〜５４１２が省略されている点で
第４図と異なり、他は同じように学習を行なう。従って
、固定された重み係数Ｗ、に基づく中間層よりの出力に
対して、出力層の重み係数ＷｋＪだけが再学習され、出
力層よりの出力の誤差が低減される。

本発明に係るニューラルネットワークの回路構成につい
て、更に詳細に説明する。

第１図は、中間層における１個のニューロンによる処理
を実現する中間部である。

ＢＦはビットシフト部であり、入力信号を配線」ニシフ
トして加算器ＡＤに人力させるものであり、実際の回路
があるわけではない。また、ＡＤではシフトされた入力
を加算し、ｓｉｇｍｏｉｄ関数テブルＦＴでは、ＡＤに
よる加算結果に対してｓｉｇｍｏｉｄ関数を作用させた
結果が得られる。

第２図は、ニューラルネットワークの全体構成例である
。

第２図（ａ、　）は、３Ｘ３領域の２値画像をニュラル
ネットワークの入力とする場合の入力部の例である。

先ず、入力された２値データは、ラインバッファＬＢＩ
で１ライン分の遅延が行なわれ、次にラインバッファＬ
Ｂ２において、もう１ライン分の遅延が行なわれ、合計
２ライン分の遅延が行なわれる。遅延されていないデー
タ、１ライン分及び２ライン分遅延されたデータは、そ
れぞれ、ラッチＬ７３〜５にラッチされて１画素分遅延
され、その出力はラッチＬ７６〜８により、更に１画素
分の遅延を受ける。これらによる出力は、水平ライン方
向、および垂直画素方向に連続する３×３の領域の２値
データとして、２値ＰＴデタとなる。

２値ＰＴデータは、中間部に人力される。中間部では、
第１図につき説明したように、ビットシフトと加算とに
より、中間層における演算を行なう。中間部の出力は、
乗算器に入力され、出力層の重み係数Ｗ　ｗ　１が乗じ
られ、各乗算器の出力は、加算器により全て加算される
。加算器による加算結果は、関数演算部Ｆ　Ｔによるテ
ーブル変換により、対応するｓｉｇｍｏｉｄ関数値を最
終結果として得る。

以上のように、本発明によれば、ニューロンにおける乗
算を、ビットシフトまたは、ビットシフトされたもの同
士の和に置き換えることが可能となる。

特に、本発明を２値化された画像から、多値画像への復
元のためのニューラルネットワークにおける中間層に適
用すれば、入力は０または１に限られ、これに対するビ
ットシフトの結果の加算のためには、高々数ビツト程度
の加算器で十分に演算が可能となる。従って、ニューラ
ルネットワークのハードウェアをＬＳＩやゲートアレイ
で組むことが可能となる。

以上は、２値画像データの入力につき説明したが、他の
形式の人力データについても適用可能であることはいう
までもない。

［発明の効果コ以上説明した如く、本発明によれば、ニューラルネット
ワークのニューロンにおける乗算を、ビットシフトまた
は、ビットシフトの和に置き換えることにより、回路規模を小さくするこ
とが可能となる。

【図面の簡単な説明】

第１図は、実施例のニューロンの構成図、第２図は、実
施例のニューラルネットワークの全体構成図、第３図は、ニューラルネットワークの概念図、第４図は
、ニューラルネットワークの学習手順のフローチャー１
・、第５図は、再学習手順のフローチャ−１・である。１、２・・・ラインバッファ３〜８・・・ラッチＢＦ・・・ピッｉ・シフト部ＡＤ・・・加算器ＦＴ・・・関数演算部

Claims

【特許請求の範囲】

（１）入力層、１つ以上の中間層及び出力層を有するニ
ューラルネットワークであって、一部の層における重み
係数の乗算を、シフト演算により行なうことを特徴とす
るニューラルネットワーク。
（２）入力層、１つ以上の中間層及び出力層を有するニ
ューラルネットワークであって、一部の層における重み
係数の乗算を、シフト演算及び加算により行なうことを
特徴とするニューラルネットワーク。
（３）前記重み係数を２のべき乗に設定することを特徴
とする請求項第１項記載のニューラルネットワーク。
（４）前記重み係数を２のべき乗の和に設定することを
特徴とする請求項第１項記載のニューラルネットワーク
。
（５）入力層、１つ以上の中間層及び出力層を有し、学
習により決定されたニューラルネットワークにおいて、
ある層の重み係数に対して、もっとも近い２のべき乗を
求め、当該重み係数の乗算部を、求められた２のべき乗
を乗算するシフト演算部に置き換えたことを特徴とする
ニューラルネットワークの構築方法。
（６）入力層、１つ以上の中間層及び出力層を有し、学
習により決定されたニューラルネットワークにおいて、
ある層の重み係数に対して、所定数以下の２のべき乗和
でもっとも近い値を求め、当該重み係数の乗算部を、求
められた２のべき乗和の２のべき乗の各々を乗算するシ
フト演算部とその結果を加算する加算部に置き換えたこ
とを特徴とするニューラルネットワークの構築方法。
（７）入力層、１つ以上の中間層及び出力層を有し、学
習により決定されたニューラルネットワークにおいて、
ある層の重み係数に対して、所定誤差以下となる２のべ
き乗和による近似値を、和の項数を順次増やしながら求
め、当該重み係数の乗算部を、求められた２のべき乗和
の２のべき乗の各々を乗算するシフト演算部とその結果
を加算する加算部に置き換えたことを特徴とするニュー
ラルネットワークの構築方法。
（８）前記重み係数を、求められた２のべき乗または２
のべき乗和による近似値に固定して再学習を行ない、当
該重み係数以外の係数を更新することを特徴とする請求
項第５項乃至第７項記載のニューラルネットワークの構
築方法。