JPH06164902A

JPH06164902A - ニューラルネットワークによる画像の圧縮再生

Info

Publication number: JPH06164902A
Application number: JP4307355A
Authority: JP
Inventors: Munemitsu Ikegami; 宗光池上; Mamoru Tanaka; 衞田中
Original assignee: Individual
Current assignee: Individual
Priority date: 1992-11-17
Filing date: 1992-11-17
Publication date: 1994-06-10

Abstract

(57)【要約】【目的】スパースなホップフィールド（Ｈ）型ニュー
ラルネットによる画像の圧縮再生処理に関し、復号され
た画像の質を高めることを目的とする。【構成】各ニューロンが複数レベルの出力を持つニュ
ーラルネットであって、あるニューロンの近傍ニューロ
ンの出力値の加重平均量を、そのニューロンに入力する
変数量にダイナミックに近付けるダイナミック量子化手
段と、その符号化用のニューラルネットから出力される
情報に対して、各ニューロンは周囲の前記情報の加重平
均値を出力して画像を復号化する手段を有する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、生物の脳や神経と同様
な情報処理プロセスを人工的に実現しようとするニュー
ロコンピュータに係り、さらに詳しくは、スパースなホ
ップフィールド（Ｈ）型ニューラルネットによる画像の
圧縮再生処理に関する。

【０００２】

【従来の技術】従来、濃淡画像を２値化する方法とし
て、ディザ法と誤差拡散法があったが、例えば、ピクセ
ルあたり８ビットの濃淡画像であれば、これらの方法
は、静止画を対象とし、圧縮率は、１／８とする方式で
ある。

【０００３】最近、画像処理にニューラルネットを使う
試みが出てきた。ニューロコンピュータを実現するため
の基本回路網が、ニューラルネットワーク（ＮＮ）であ
る。一般に、ＮＮのダイナミクスの基本式は、ｘ（ｔ＋１）＝ｆ（Σ Ｗｘ（ｔ））で表現される。ここで、ｘはニューロンの状態ベクト
ル，Ｗは重み行列，ｆは非線形関数である。

【０００４】ホップフィールド（Ｈ）型ニューラルネッ
ト（ＮＮ）では、ニューロンが他の全てのニューロンと
結合しているため、結合行列（重み行列）はほぼ密行列
となる。連想の対象となるプローブベクトルが初期状態
として外部から与えられると、ネットワークは上式に従
って変化し、ある状態に収束したときこのベクトルが連
想されたベクトルになる。

【０００５】スパースなニューラルネットでは、局所記
憶、すなわち、内部に認知細胞を空間的に分離するよう
に２次元的にニューロンを並べてできる神経場のダイナ
ミクスで興味深い情報処理、例えば、濃淡画像を２値化
し、そしてまた、濃淡に再生する処理を行うことが重要
となる。

【０００６】

【発明が解決しようとする課題】従来のホップフィール
ド型では、ニューロン間が予め完全グラフで接続され、
配線が複雑となる。

【０００７】そこで、本発明は、スパースなＨ型ネット
とその双対ネットの局所記憶に基づく連想ダイナミクス
を積極的に利用して興味深い画像処理を行うものであ
る。画像の圧縮側において、あるニューロンの近傍ニュ
ーロンの出力の２値の平均的な量を、そのニューロンに
入力する変数量にダイナミックに近付けるダイナミック
量子化による圧縮手段を用いて高度に動画または静止画
を圧縮（例えば、ピクセルあたり８ビットの濃淡画像で
あれば、圧縮率は、１／８）し、再生側で、その圧縮さ
れた情報を用いて加重平均を求めることにより画像を再
生する。

【０００８】本発明では、復号された画像の質を高める
ことを目的とする。

【０００９】

【課題を解決するための手段】本発明は、各ニューロン
が複数レベルの出力を持つニューラルネットであって、
あるニューロンの近傍ニューロンの出力値の加重平均量
を、そのニューロンに入力する変数量にダイナミックに
近付けるダイナミック量子化手段と、その符号化用のニ
ューラルネットから出力される情報に対して、各ニュー
ロンは周囲の前記情報の加重平均値を出力して画像を復
号化する手段を有する。

【００１０】

【作用】１つのニューロンに複数の状態を与えることに
より、ニューロンに離散値を表現させる。ここで述べる
ネットワークは、各ニューロンが複数レベルの出力を持
つ多値ニューラルネットワークにおけるニューロンの出
力ｙは、［−１，１］の区間内のｎ（＞＝２）レベルの
離散値で、各レベルは等間隔とする。各ニューロンを次
のアルゴリズムにしたがってランダムかつ非同期に動作
させる。

【００１１】

【数２】

【００１２】行列Ａ＝［Ａ_{i j}］は対称で、安定の為、
対角成分Ａ_{i i}は０とする。ｆ（ｘ）はｘをｎ個の離散
値レベルに変換する非線形関数である。

【００１３】

【実施例】＜ニューラルネットワーク＞接続が対称なニ
ューラルネットワークは非線形出力関数を用いたニュー
ロンにより構成されており、エネルギー関数を単調に減
少させながら、常に安定状態に収束する。この性質を用
いて、ニューラルネットワークにより最適化問題を解く
ことができる。ネットワークにはニューロンの出力関数
にステップ関数を用いたＯｒｉｇｉｎａｌＭｏｄｅｌ
とシグモイド関数を用いたＣｏｎｔｉｎｕｏｓＭｏｄｅ
ｌが、ホップフィールドにより提案されている。Ｏｒｉ
ｇｉｎａｌＭｏｄｅｌはニューロンの出力が２つの値
に限定されており、安定のため、各ニューロンを非同期
で動作させる必要がある。

【００１４】それに対して、ＣｏｎｔｉｎｕｏｓＭｏ
ｄｅｌでは出力が連続値を取るため、Ｏｒｉｇｉｎａｌ
Ｍｏｄｅｌに比べて、幾つかの局所解を避けることが
でき、より良い解に収束する。しかし、ニューロンの相
互作用がスパースであれば、ＯｒｉｇｉｎａｌＭｏｄ
ｅｌでも、十分な解が得られる。ここでは、多値ニュー
ラルネットワークの拡張のため、ＯｒｉｇｉｎａｌＭｏ
ｄｅｌについて説明するが、ニューロンの出力を２値に
限定する限り、どちらのＭｏｄｅｌを用いてもよい。

【００１５】Ｏｒｉｇｉｎａｌｍｏｄｅｌでは、ニュ
ーロンの出力は２つの値｛ｙ０，ｙ１｝のみをとる。次
のアルゴリズムにしたがって、各ニューロンをランダム
かつ非同期に（１）（２）式にしたがって動作させる。

【００１６】

【数３】

【００１７】ニューロンｉからニューロンｊへの重みを
あらわしている行列Ａ＝［Ａ_{i j}］は対称で、安定の
為、対角成分Ａ_{i i}は０とする。このモデルのエネルギ
ー関数は（３）式で定義される。

【００１８】

【数４】

【００１９】行列Ａが対称で、対角成分が０であれば、
ネットワークは常にある局所解に収束することが証明さ
れている。より良い解に収束させるため、ニューロンの
初期値はランダムに与える。

【００２０】ニューラルネットワークを最適化問題に適
用する場合、与えられた問題のコスト関数をニューラル
ネットワークのエネルギー関数の形で表現し、係数を比
較することにより、ネットワークのパラメータを決定す
ることができる。例えば、（４）式のようなコスト関数
を定義した場合、入力ｕは定数であるから、ｄｉｓｔ
（ｙ，ｕ）の最小化すべき量は、（５）式のようにな
る。

【００２１】

【数５】

【００２２】また、ニューラルネットワークのエネルギ
ー関数を同様に表記すると（６）式であるから、（５）
式と（６）式の係数を比較することにより、ネットワー
クのパラメータを（７）（８）（９）式で決定すること
ができる。

【００２３】

【数６】

【００２４】ここで、ｄ＝ｄｉａｇ｛Ｔ（Ｑ）Ｑ｝とす
る。Ｔ（）は、転置を表す。コスト関数ｄｉｓｔ（ｙ，
ｕ）における行列Ｔ（Ｑ）Ｑの対角成分は０でないにも
かかわらず、安定のため、ネットワークの行列Ａの対角
成分を、強制的に０にする必要がある。このようにして
も、ネットワークはエネルギー関数Ｅ（ｔ）を単調減少
させるとともにｄｉｓｔ（ｙ，ｕ）も単調に減少させ
る。証明：（６）式に（９）式のネットワークのパラメータ
を代入して、変形すると、（１０）式となる。

【００２５】

【数７】

【００２６】ニューロンの２つの出力ｙが｛α，−α｝
であれば、式（１０）の最終項−（１／２）δＴ（ｙ）
ｙは常に定数であるから、任意のＱ及びＲについて、ｄ
ｉｓｔ（ｙ，ｕ）（５）式も単調減少であるといえる。証明終もし、ｙは、ａあるいは、０を値としてとる場合には、
式（１０）の最終項は常に定数とならない。この場合に
は、出力ｙがどちらの値をとったとしてもＥ（ｔ）が変
化しないように式を変更する必要がある（（１１）
式）。

【００２７】

【数８】

【００２８】この場合には、ネットワークにＩ＝−（１
／２）δαのバイアスをかける。この考え方は、Ｃｏｎ
ｔｉｎｕｏｕｓＭｏｄｅｌで、出力を両端の値に収束
させるために用いられるものであるが、Ｏｒｉｇｉｎａ
ｌＭｏｄｅｌにおいても必要となる。＜Ｍｕｌｔｉ−ｖａｌｕｅＮｅｕｒａｌＮｅｔｗｏ
ｒｋ＞ホップフィールド型のニューラルネットワークに
より最適化問題を解く場合において、コスト関数におけ
る離散値を表現するには、普通、発火しているニューロ
ンの数などを用いる。ここでは、１つのニューロンに複
数の状態を与えることにより、ニューロンに離散値を表
現させることができることを示す。

【００２９】ここで述べるネットワークは、各ニューロ
ンが複数レベルの出力を持ち、ここでは、これを多値ニ
ューラルネットワークと呼ぶことにする。ニューロンの
非線形出力関数を除いては、基本的に前のセクションで
述べたＯｒｉｇｉｎａｌＭｏｄｅｌと同様である。

【００３０】多値ニューラルネットワークにおけるニュ
ーロンの出力ｙは、［−１，１］の区間内のｎ（＞＝
２）レベルの離散値で、各レベルは等間隔とする（（１
１ａ）式）。

【００３１】

【数９】

【００３２】例えば、ｎ＝４の時、ｙは（１１ｂ）式の
ようになる。

【００３３】

【数10】

【００３４】各ニューロンを（１２）式のアルゴリズム
にしたがってランダムかつ非同期に動作させる。

【００３５】

【数11】

【００３６】行列Ａ＝［Ａ_{i j}］は対称で、安定の為、
対角成分Ａ_{i i}は０とする。ｆ（ｘ）はｘをｎ個の離散
値レベルに変換する非線形関数で、（１３）（１４）式
で表される。

【００３７】

【数12】

【００３８】ここで、関数ｇ（ｘ）は量子化ステップを
Ｄとする一様（直線）量子化関数であり、δ＝｛（ｎ−
１）／２｝Ｄ、δ０＝（ｎ／２）Δ［］は、ガウス記
号である。図１と図２に、それぞれ、ｎ＝３とｎ＝４の
場合のｆ（ｘ）を示す。したがって、１つ１つのニュー
ロンをＡ／Ｄ変換器とみなすこともできる。

【００３９】多値ニューラルネットワークでは、ニュー
ロンの出力が多数の状態を持つためエネルギー関数とし
てＬｙａｐｕｎｏｖｆｕｎｃｔｉｏｎを適用すること
はできない。そこで、多値ニューラルネットワークのエ
ネルギー関数Ｅ（ｔ）を（１５）式のように定義する。

【００４０】

【数13】

【００４１】δは、非線形関数ｆ（ｘ）の定義に用いら
れたパラメータである。Ｌｙａｐｕｎｏｖｆｕｎｃｔ
ｉｏｎでは、行列｛Ａ｝の対角成分は０であるが、ここ
でのエネルギー関数Ｅ（ｔ）は、Ｌｙａｐｕｎｏｖｆ
ｕｎｃｔｉｏｎに大きさδの対角成分を加えた形になっ
ている。

【００４２】Ｅ（ｔ）が単調減少な関数であることを証
明する。時刻ｔにおいて、ニューロンｉの状態ｙ
_i（ｔ）が変化したとする。その時の変化量は、Δｙ_i
＝ｙ_i（ｔ）−ｙ_i（ｔ−１）。ニューロンｉが変化し
たことによるＥ（ｔ）の変化量ΔＥは（１６）式であ
る。

【００４３】

【数14】

【００４４】ここで、関数Ｅ（ｔ）の最終項については
（１７）式である。

【００４５】

【数15】

【００４６】（１６式）式において｛ｙ_i（ｔ−１）＋
（１／２）Δｙ_i｝は，ニューロンｉの出力が、ｙ
_i（ｔ−１）→ｙ_i（ｔ）に変位するちょうど中間点で
あり、これをｘ軸上に写像したものが、δ｛ｙ_i（ｔ−
１）＋（１／２）Δｙ_i｝である。Δｙ_i＜０の時、ア
ルゴリズムに従えば、（１６）式の括弧内は負となる
（（１７ａ）式）。

【００４７】

【数16】

【００４８】同様に、Δｙ_i＞０の時は、括弧内は正と
なる。よって、ΔＥ＜＝０であり、Ｅ（ｔ）は常に単調
減少となる。Ｅ（ｔ）が有界で、単調減少な関数である
ことから、多値ニューラルネットワークは常に安定状態
に収束する。したがって、ネットワークを多値に拡張し
ても、常に単調減少となるエネルギー関数を定義するこ
とができるので、これを最適化問題に適用することが可
能である。前のセクションで述べたＯｒｉｇｉｎａｌ
Ｍｏｄｅｌも、ｎ＝２の場合の多値ニューラルネットワ
ークと考えることができる。

【００４９】多値ニューラルネットワークを最適化問題
に適用する場合のパラメータの決め方は次のようにな
る。最適化問題におけるコスト関数を（１８）式のよう
に定義する。

【００５０】

【数17】

【００５１】ｄｉｓｔ（ｙ，ｕ）における最小化すべき
量は（１９）式であり、式（１８）と式（１９）を比較
することによりネットワークの各パラメータを決定す
る。

【００５２】

【数18】

【００５３】ｄ＝ｄｉａｇ｛Ｔ（Ｑ）Ｑ｝とすると、
（２０）（２１）（２２）（２３）式のようになる。

【００５４】

【数19】

【００５５】ＯｒｉｇｉｎａｌＭｏｄｅｌでは、コス
ト関数の対角成分を強制的に０とするだけで、常にコス
ト関数が単調減少となったが、多値ニューラルネットワ
ークでは、最小化すべきコスト関数ｄｉｓｔ（ｙ，ｕ）
の対角成分を、量子化関数ｆ（ｘ）におけるｘｉの値と
して使用する必要がある。この時、エネルギー関数Ｅ
（ｔ）とコスト関数ｄｉｓｔ（ｙ，ｕ）は同値となり、
ネットワークが安定状態に収束した時、コスト関数ｄｉ
ｓｔ（ｙ，ｕ）を小さくする出力ｙを得ることができ
る。

【００５６】もし、量子化レベルに｛０，１｝の範囲の
ｙを用いる場合には、（２３ａ）式のようになる。

【００５７】

【数20】

【００５８】ＯｒｉｇｉｎａｌＭｏｄｅｌの場合と同
様に、ネットワークにＩ＝−（１／２）δのバイアスを
かけ、さらに、量子化関数ｆ（ｘ）を、（２４）（２
５）式のようにする。

【００５９】

【数21】

【００６０】＜ＩｍａｇｅＣｏｄｉｎｇａｎｄＤ
ｅｃｏｄｉｎｇ＞データ圧縮としての静止画像の符号化
について考える。ここでの符号化は、元の信号とデジタ
ル信号との間での何らかの歪み関数を定義し、これが最
小化されるデジタル信号の組合せを求めることにより行
なう。そこで、出力されるデジタル画像ｙに線形フィル
ターＨを畳み込んだものと元の濃淡画像ｕとの平均自乗
誤差、つまり、（２６）式のような歪関数を定義する。

【００６１】

【数22】

【００６２】この歪み関数ｄｉｓｔ（ｙ，ｕ）が最小化
された時、（２７）式のようになることより、（２８）
式により、元の濃淡画像ｕに近い復号画像Ｕを求めるこ
とができる。

【００６３】

【数23】

【００６４】歪み関数を最小化した時の値が０でない場
合には、完全に元の画像を復号することはできないが、
この値を小さい値に抑えることにより、良質の符号化を
行なうことができる。したがって、ここでの符号化は、
この歪み関数の最小値がより小さくなるように線形フィ
ルターＨを選ぶことが重要となる。歪み関数を最小化す
る量子化レベルの組合せを求めることは、一種の最適化
問題であり、この最適化問題を解くのに多値ニューラル
ネットワークを使用する。

【００６５】濃淡画像が、Ｍ×Ｎの大きさである時、Ｍ
×Ｎ個のニューロンを画素と同様に２次元の格子状に配
置し、濃淡画像の各画素値を、［−１，１］の区間内の
対応する値に正規化して、ニューロンの入力ｕに与え
る。ニューロンの入力をｕ_{i j}（０＜＝ｉ＜Ｍ；０＜＝
ｊ＜Ｎ）、出力をｙ_{i j}（０＜＝ｉ＜Ｍ；０＜＝ｊ＜
Ｎ）とすると、２次元の場合のニューロンの動作は（２
９）式のように定義される。

【００６６】

【数24】

【００６７】（２６）式の歪み関数ｄｉｓｔ（ｙ，ｕ）
において、最小化すべき量は（３１）式であるから、ネ
ットワークのパラメータは（３２）（３３）（３４）
（３５）式のようになる。

【００６８】

【数25】

【００６９】ここで、Ｔ（Ｈ）Ｈは、Ｈ＝
［ｈ_{i j m n}］自身のコンボリューションで、（３６）
式で表される。

【００７０】

【数26】

【００７１】＜ＡｎｏｔｈｅｒＤｉｓｔｏｒｔｉｏｎ
ｆｏｒＩｍａｇｅＨａｌｆｔｏｎｉｎｇ＞我々は
ここで、別の歪み関数（３６）式を定義する。歪み関数
ｄｉｓｔ（ｙ，ｕ）が最小化された時、（３７）式とな
るので、元の入力画像ｕに近い復号画像Ｕを（３８）式
により得ることができる。

【００７２】

【数27】

【００７３】線形フィルターＨは任意の行列Ｑ自身を畳
み込んで得られるものでなくてはならない。この時、ｄ
ｉｓｔ（ｙ，ｕ）の最小化すべき量が、（４０）式であ
るから、ネットワークのパラメータは（４１）（４２）
（４３）（４４）式のようになる。

【００７４】

【数28】

【００７５】行列Ｂは単位行列Ｉとなる。ネットワーク
が収束した時、ニューロン（ｉ，ｊ）について、次の２
つの誤差を定義する（（４５）（４６）（４７）式）。

【００７６】

【数29】

【００７７】ニューロンはｅ_{i j}を非線形関数ｆ（ｘ）
により出力ｙに変換する。また、ｅ′_{i j}は、復号画像
Ｈｙと元の画像ｕとの各ニューロンでの誤差となるの
で、各ニューロンにおいて｜ｅ′_{i j}｜が小さくなるよ
うに出力ｙが決めれるべきである。−δ０＜ｅ_{i j}＜δ
０ならば、非線形関数ｆ（ｘ）の定義により、（４８）
式であるから、ｇ（ｘ）が一様量子化関数であることよ
り、誤差ｅ′は量子化ステップＤの半分に抑えられてい
ることになる（（４９）式）。

【００７８】

【数30】

【００７９】＜Ｔｅｍｐｌａｔｅｓｙｎｔｈｅｓｉｓ
＞濃淡画像の２値化は、２値しか表示できないディスプ
レイやプリンターに疑似濃淡を表示する場合に必要とな
る。このような用途においては、歪み関数のフィルター
Ｈは、人間の視覚特性にしたがって決定されるべきであ
る。

【００８０】しかし、データ圧縮のための濃淡画像の符
号化においては、元の信号を復号する必要があるため、
ネットワークの収束時における歪み関数ｄｉｓｔ（ｙ，
ｕ）の最小値がより小さくなるようなフィルターＨを定
義する必要がある。ネットワークが収束した時、復号画
像Ｕと元の画像ｕの間に生じる誤差の要因は２つ考えら
れる。

【００８１】１つは、ｙが離散値であるための量子化誤
差であり、もう１つは、線形フィルターＨの帯域幅によ
り生じる誤差で、復号画像Ｕを元画像ｕに近付けるため
に、どのようなｙの組み合わせを選んだとしても、線形
フィルターＨが通さない周波数成分は表すことができな
い。前のセクションで、各ニューロンが｜Ｈｙ−ｕ｜を
最小化する方向に動作していることを述べた。しかし、
各ニューロンは量子化を行なっているので、最終的に量
子化誤差が残る。この量子化誤差を抑えるには、量子化
ステップＤを小さくするために、できるだけｄ＝ｄｉａ
ｇ｛Ｈ｝に小さな値を選ぶ必要があり、そのためには、
当然、分布の広い線形フィルターＨを用いる必要があ
る。

【００８２】また、ネットワークは、復号画像Ｈｙが元
の画像にｕに近付くようにデジタル信号ｙを変化させ
る。デジタル信号は、−１＜＝ｙ＜＝１の範囲でしか変
化できないので、線形フィルターＨの帯域幅をこえる周
波数成分を含むエッジなどは、どのようなｙの組み合わ
せを選んだとしても表すことができない。言い換える
と、ニューロンは誤差ｅを打ち消すようにデジタル信号
ｙを決定するので、｜ｅ_i _j｜＜δ０である場合には、
｜ｅ′_{i j}｜を量子化誤差の範囲に抑えることができ
る。

【００８３】しかし、｜ｅ_{i j}｜＞δ０の場合には、｜
ｅ′_{i j}｜は、量子化誤差の上限Δ／２を越えてしま
う。したがって、入力画像に応じて、線形フィルターＨ
を選ばなければならない。量子化誤差は、入力画像に依
存せず、確実に生じるものであり、分布の広い線形フィ
ルターＨを用いることにより抑えることができる。

【００８４】それに対して、フィルターＨの帯域幅によ
る誤差は、フィルターＨの帯域幅を越える周波数成分を
含んでいる部分において、量子化誤差よりも優勢になっ
てしまうので、それを抑えるためには、フィルターＨの
帯域幅を広げる必要がある。そのためには、フィルター
Ｈの分布を狭くする必要がある。よって、入力画像に高
い周波数成分を含んでいる場合には、前者と後者は、ト
レードオフの関係となる。

【００８５】また、線形フィルターＨが、低域通過フィ
ルターで、近傍においてのみ値を持ち、近傍から離れる
にしたがって、急激に値が減少していくようなフィルタ
ーであれば、影響が少ないと思われる小さな値を０に近
似することにより、ネットワークをスパースにすること
ができる。

【００８６】ネットワークをスパースにすることができ
れば、収束を速めることができ、局所解を避けられると
いう意味で解の質も良くなる。これはハードウェアを作
製する場合の大きな利点にもなる。線形フィルターＨ
は、これらの条件を考慮した上で決定されるべきであ
る。

【００８７】どちらの歪関数を用いる場合でも、ｄｉｓ
ｔ（ｙ，ｕ）を最小化する出力画像ｙを得ることができ
るが、例えば、Ｈに３ｘ３の大きさのフィルターを用い
ると仮定するならば、（４１）式を用いた場合のネット
ワークの接続は、フィルターＨの広がりを持つ。

【００８８】それに対して、（３２）式を用いた場合、
ネットワークの接続は、自分自身のコンボリューション
をとるので、５×５の大きさとなり、ネットワークの接
続が広くなってしまう。したがって、（３７）式による
ネットワークの方がスパースにできる。復号画像の質か
ら考えても、先に述べた量子化誤差により、ほとんど同
程度の出力画像しか得られないので、ネットワークをス
パースにできる意味で、（３７）式の歪関数を用いたネ
ットワークの方が良いといえる。＜Ｓｉｍｌａｔｉｏｎ＞後者の歪み関数を用いた場合の
符号化と復号化の結果を示す。

【００８９】２つの多階調画像をシミュレーションに用
いた。１つは階調変化が滑らかな画像’ｓｌｏｐｅ’。
もう１つは標準画像’ＳＩＤＢＡ−ｇｉｒｌ’で、とも
に、２５６×２５６，８ｂｉｔｓである。ネットワーク
の重みとして２次元のガウス分布を用いている。ガウス
分布は中央から離れるに従ってその値が減少する。そこ
で、中央から距離ｒ以上離れたニューロンへの重みを０
に近似している（（５０）（５１）式）。

【００９０】

【数31】

【００９１】こうすることによりネットワークをスパー
スにすることができる。’ｓｌｏｐｅ’を用いて符号化
を行った場合の歪み関数の変化を図３に示す。また、２
つのテスト画像について、ｕ−ｘとｕ−Ｕの特性を図５
〜図１１に示す。

【００９２】さらに、復号画像の評価のためＰＳＮＲ
（最高信号対雑音比）を図１２〜図１３に示す（（５
２）式）。

【００９３】

【数32】

【００９４】＜Ｍｕｌｔｉ−ｖａｌｕｅＮｅｕｒａｌ
ＮｅｔｗｏｒｋｗｉｔｈＢｉｌｅｖｅｌＮｅｕ
ｒｏｎ＞ここで示した多値ニューラルネットワークにお
けるニューロンの出力は多値であるが、基本的には、Ａ
／Ｄ変換器である。そこで、出力がｎレベルある多値ニ
ューロンをｎ個の２値ニューロンに置き換えることがで
きる。つまり、ｎ個のニューロンが１つのＡ／Ｄ変換器
を構成していることになる。＜ＣｏｄｉｎｇａｎｄＤｅｃｏｄｉｎｇｗｉｔｈ
ＳｅｑｕｅｎｃｉａｌＯｐｅｒａｔｉｏｎ＞ここで使
用しているニューラルネットワークは接続がスパースで
あるため、解が比較的ローカルに決定されていると考え
ることができる。そこで、多値ニューラルネットワーク
の端の方から逐次出力を決めていったとしても、ある程
度の解を得ることができると予想される。

【００９５】また、（５３）式の歪関数を用いた多値ニ
ューラルネットワークでは、各ニューロンが誤差Ｕ−ｕ
を最小化するようにその出力ｙを決定していることに着
目し、これを逐次的な処理により行うことにする。

【００９６】

【数33】

【００９７】ここでの処理は、誤差拡散法と似たところ
がある。入力濃淡画像をｕ_{i j}（０＜＝ｉ＜Ｍ；０＜
＝ｊ＜Ｎ），出力多値画像をｙ_{i j}（０＜＝ｉ＜Ｍ；
０＜＝ｊ＜Ｎ）とすると、誤差拡散法は、（５４）（５
５）式の方程式により定義される。

【００９８】

【数34】

【００９９】誤差拡散法との違いは、誤差を参照するの
ではなく、既に決定された出力画素を参照する点にあ
る。ここでの処理は、誤差拡散法と同様に、画像の左上
を出発点とし、逐次、（５６）式の方程式に従って出力
ｙを決定していく。

【０１００】

【数35】

【０１０１】ここで、ｆ（ｘ）は、多値ニューラルネッ
トワークで用いた、量子化関数である。フィルターＨ
が、（５８）式で表される場合、重みＷ_{i j}は、（５
９）式を用いる。

【０１０２】

【数36】

【０１０３】また、量子化関数ｆ（ｘ）のδ＝ｄｉａｇ
｛Ｈ｝とする。この時、（６０）式により復号画像を得
ることができる。

【０１０４】

【数37】

【０１０５】

【発明の効果】以上説明したように、本発明によれば、
ニューロンに複数のレベルを持たせることにより、量子
化誤差を抑え、良質の復号画像を得ることができる。

【図面の簡単な説明】

【図１】本発明の多値ニューラルネットで使用される関
数ｆ（ｘ）（ｎ＝３）を示す図である。

【図２】本発明の多値ニューラルネットで使用される関
数ｆ（ｘ）（ｎ＝４）を示す図である。

【図３】歪み関数が単調減少関数であることを示す図で
ある。

【図４】フィルターの広がりとＰＳＮＲの関係（’ｓｌ
ｏｐｅ’）を示す図である。

【図５】フィルターの広がりとＰＳＮＲの関係（’ＳＩ
ＤＢＡ−ｇｉｒｌ’）を示す図である。

Claims

【特許請求の範囲】

【請求項１】各ニューロンが複数レベルの出力を持つ
ニューラルネットであり、あるニューロンの近傍ニュー
ロンの出力値の加重平均量を、そのニューロンに入力す
る変数量にダイナミックに近付けるダイナミック量子化
手段を有することを特徴とするニューラルネットによる
画像処理。
【請求項２】前記ダイナミック量子化手段は、入力変
数ｕ_iを基にした値とするとき、各ニューロンは、周囲
のニューロンの状態を入力とし、その積和と前記入力値
とを比較し、次の状態を【数１】で決めるようにダイナミック動作を行うことを特徴とす
る請求項１記載のニューラルネットによる画像処理。
【請求項３】符号化用のニューラルネットから出力さ
れる情報に対して、各ニューロンは周囲の前記情報の加
重平均値を出力して画像を復号化することを特徴とする
復号用のニューラルネットを有する画像の圧縮再生方
式。
【請求項４】請求項１記載のニューロンの動作を画像
の左上から逐次に行い、各ニューロンは、積和を求める
際に、既に符号化を行ったニューロンの情報のみを参照
することを特徴とするニューラルネットによる画像処
理。
【請求項５】各ニューロンは、符号化用のニューラル
ネットから出力された情報を、符号化時に参照したのと
同じニューロンに対して参照し、その加重平均値を出力
して画像を復号化することを特徴とする復号用のニュー
ラルネットを有する画像の圧縮再生方式。