JPH07311754A

JPH07311754A - 学習機械

Info

Publication number: JPH07311754A
Application number: JP6131439A
Authority: JP
Inventors: Kenji Fukumizu; 健次福水
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1994-05-19
Filing date: 1994-05-19
Publication date: 1995-11-28

Abstract

(57)【要約】【目的】学習に有効な最適な学習データを発生させ、
学習を効率良くかつ精度良く行なうことが可能である。【構成】学習データ作成部４は、確率的規則に従って
入力データｘ_νを発生し、それらに対する真の未知シス
テムの応答を教師データｙ_νとして学習データ｛ｘ_ν，
ｙ_ν｝を作成するが、条件付確率推定部２が、学習を、
初期学習とその後のパラメータ更新との２段階に分けて
行なうことに対応させて、初期学習データを作成する初
期学習データ作成部４ａと、更新用学習データを作成す
る更新用学習データ作成部４ｂとが設けられている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、システム同定，パター
ン認識や制御問題などのように、与えられた入力から望
ましい出力を得るのに利用可能な学習機械に関する。

【０００２】

【従来の技術】従来、ニューラルネットワークなどの統
計的学習機械では、学習メカニズムとして、例えばバッ
クプロパゲーション(誤差逆伝播アルゴリズム)などが知
られている。統計的学習機械が例えば図２に示すよう
に、入力層５１と中間層５２と出力層５３とからなる３
層構造のパーセプトロン(階層的ネットワーク)である場
合、バックプロパゲーションの学習メカニズムは、入力
層５１のユニットと中間層５２のユニットとの結合の重
み，中間層５２のユニットと出力層５３のユニットとの
結合の重みをパラメータに含めて、二乗誤差最小化の学
習を行なうものである。より具体的には、ｍ層のネット
ワークを考え、ｋ層の第ｉユニットへの入力の総和をｉ
^k _i，出力をｏ^k _iとし、ｋ−１層の第ｉユニットからｋ層
の第ｉユニットへの結合の重みをｗ^k-1 _i ^k _jとし、各ユニ
ットの入出力関係を与える関数をｆとすると、これらの
変数の間の関係は次式のようになる。

【０００３】

【数１】

【０００４】損失関数ｒを誤差の二乗にとると、ある入
出力パターンの組(ｘ，ｙ)が与えられたときの損失関数
ｒは、次式で与えられる。

【０００５】

【数２】

【０００６】ここで、ｗは、対応付けを与えるネットワ
ークの結合の重みを全てまとめたものであり、結合の重
みｗの学習を行なうには(すなわち、結合の重みｗの修
正量を求めるには)、損失関数ｒの結合の重みｗについ
てのグラディエント(勾配)∂ｒ／∂ｗ^k-1 _i ^k _jを計算すれ
ば良い。すなわち、１回の修正の大きさを決めるパラメ
ータをεとするとき、結合の重みｗの修正量△ｗ^k-1 _i ^k _j
は、次式で与えられる。

【０００７】

【数３】

【０００８】数３の第２番目，第３番目の式から、結合
の重みｗ^k-1 _i ^k _jの修正に使う信号ｄ^k _jがｋ＝ｍからｋ＝
２に向かって再帰的に計算されることがわかる。また、
数３の第３番目の式から、このｄ^k _jの計算の過程は、出
力層での理想出力と実際の出力との誤差ｄ^k+1 _hを入力と
して、出力層から入力層の方向へ、信号の伝播とは逆の
方向にｗ^k _i ^k+1 _hで重みを付けた和をとりながら、伝播さ
せていくようになっている。これが、バックプロパゲー
ション(誤差逆伝播)学習アルゴリズムである。

【０００９】

【発明が解決しようとする課題】しかしながら、上述し
たような従来の学習機械では、学習データは受動的にし
か与えられず、学習に有効な学習データを発生するよう
にはなっていない。例えば、上述したバックプロパゲー
ションの学習アルゴリズムを用いた学習機械では、学習
データ(入出力パターンの組(ｘ，ｙ))として、通常、真
の確率分布から受動的に発生したものを用いているが、
真の確率分布に従う標本で学習するのが最適であるとの
保証は全くなく、従って、上述したバックプロパゲーシ
ョンの学習アルゴリズムでは、実際には、振動を減ら
し、学習の収束を早めるために、次式のような修正を行
なったりしなければならなかった。

【００１０】

【数４】

【００１１】なお、数４において、αは小さな正の定
数，ｔは修正の回数を表わしている。

【００１２】このように、従来の学習機械では、学習に
有効な最適な学習データを発生させて学習を行なうよう
にはなっていなかったので、学習を効率良くかつ精度良
く行なうことができないという問題があった。

【００１３】本発明は、学習に有効な最適な学習データ
を発生させ、学習を効率良くかつ精度良く行なうことの
可能な学習機械を提供することを目的としている。

【００１４】

【課題を解決するための手段および作用】上記目的を達
成するために、請求項１記載の発明は、入力ベクトル空
間Ｘからの入力ベクトルｘを受け取る入力手段と、学習
用入力データとそれに対する前記未知システムの応答で
ある教師データとの組からなる学習データを用いて、所
定のパラメータθの学習を行ない、真の条件付確率ｐ
(ｙ|ｘ)を推定し、これによって未知システムの推定を
行なう条件付確率推定手段と、条件付確率推定手段によ
って学習されたパラメータ〈θ〉を用いて、入力手段か
ら与えられた未学習の入力ベクトルｘに対する出力ｙを
条件付確率ｐ(ｙ|ｘ；〈θ〉)に従う標本として算出す
る出力手段と、条件付確率推定手段が用いる学習データ
を、確率的規則に従って発生させた入力データと該入力
データに対する未知システムの応答とから作成する学習
データ作成手段とを有している。この構成では、学習デ
ータ作成手段により学習に有効な最適な学習データを発
生させることができ、これにより、学習を効率良くかつ
精度良く行なうことができる。

【００１５】また、請求項２乃至６記載の発明は、条件
付確率推定手段は、初期のパラメータを学習する初期学
習手段と、初期のパラメータが確定した後、新たな学習
データによってパラメータを更新するパラメータ更新手
段とを有し、また、学習データ作成手段は、条件付確率
推定手段の初期学習手段が用いる初期学習データを作成
する初期学習データ作成手段と、初期学習データ作成手
段において初期学習が終了した後に、パラメータ更新手
段が用いる更新用学習データを作成する更新用学習デー
タ作成手段とを有している。これにより、システムの稼
動状況に応じ、学習に有効な最適な学習データを発生さ
せることができる。

【００１６】

【実施例】以下、本発明の実施例を図面に基づいて説明
する。図１は本発明に係る学習機械の一実施例の構成図
である。本実施例の学習機械は、Ｌ次元の入力ベクトル
空間Ｘからの入力ベクトルｘ＝(ｘ₁，…，ｘ_L)に対し
て、真の条件付確率ｐ(ｙ｜ｘ)に従うＭ次元の出力ベク
トル空間Ｙ上の出力ベクトルｙ＝(ｙ₁，…，ｙ_M)を発生
する未知システムを推定する学習機械(統計的学習機械)
であって、図１を参照すると、この学習機械は、Ｌ次元
の入力ベクトル空間Ｘからの入力ベクトルｘを受け取る
入力部１と、学習入力データｘ_ν(１≦ν≦Ｎ)とそれに
対する上記未知システムの応答である教師データｙ
_ν(１≦ν≦Ｎ)との組からなるＮ個の学習データ
｛ｘ_ν，ｙ_ν｜１≦ν≦Ｎ｝を用いて、所定のパラメー
タθの学習を行ない、未知システム，すなわち真の条件
付確率ｐ(ｙ｜ｘ)を推定する条件付確率推定部２と、条
件付確率推定部２によって学習されたパラメータ〈θ〉
を用いて、入力部１から与えられた未学習の入力ベクト
ルｘに対する出力ｙを条件付確率ｐ(ｙ｜ｘ；〈θ〉)に
従う標本として算出する出力部３と、条件付確率推定部
２が用いる学習データ｛ｘ_ν，ｙ_ν｝(ν=１〜Ｎ)を作
成する学習データ作成部４とを有している。

【００１７】ここで、条件付確率推定部２には、初期学
習データを用いてパラメータθの初期学習を行なう初期
学習部２ａと、初期のパラメータθが確定した後、更新
用学習データを用いてパラメータθの更新を行なうパラ
メータ更新部２ｂとが設けられている。本実施例におい
ては、条件付確率推定部２は、上記のように、学習を、
初期学習とその後のパラメータ更新の２段階に分けて行
なうが、初期学習部２ａ，パラメータ更新部２ｂのいず
れも、パラメータθの推定量(学習結果)〈θ〉を、例え
ば、パラメータθを持つパラメータ付確率密度関数族
｛ｐ(ｙ｜ｘ；θ)｝を用い、統計の分野で良く知られて
いる最尤推定法により、次式のように求めるようになっ
ている。

【００１８】

【数５】

【００１９】すなわち、Ｓを最大にするパラメータθを
推定量〈θ〉として求めるようになっている。

【００２０】また、学習データ作成部４は、確率的規則
に従って入力データｘ_νを発生し、それらに対する真の
未知システムの応答を教師データｙ_νとして学習データ
｛ｘ_ν，ｙ_ν｝を作成するが、条件付確率推定部２が、
学習を、初期学習とその後のパラメータ更新との２段階
に分けて行なうことに対応させて、初期学習データを作
成する初期学習データ作成部４ａと、更新用学習データ
を作成する更新用学習データ作成部４ｂとが設けられて
いる。

【００２１】初期学習データ作成部４ａは、実際の入力
データの分布が既知の場合には、実際の入力データの分
布に従って、初期学習データを作成することができる。
例えば、この学習機械の利用時(稼動時)に生じる入力デ
ータの発生分布の推定量から初期学習データの入力デー
タｘ_νを発生させ、初期学習データ｛ｘ_ν，ｙ_ν｝を作
成することができる。これに対し、実際の入力データの
分布が未知の場合には、予め事前の知識に基づいて定め
られた一様分布や正規分布に従って、初期学習データを
作成することができる。例えば、この学習機械が予め用
意した一定の入力空間上の確率分布に従って、初期学習
データの入力データｘ_νを発生させ、初期学習データ
｛ｘ_ν，ｙ_ν｝を作成することができる。

【００２２】また、更新用学習データ作成部４ｂは、所
定の確率密度関数ｒ(ｘ；ｖ)によって更新用学習データ
を作成するようになっている。すなわち、更新用学習デ
ータ作成部４ｂは、入力ベクトル空間Ｘ上のパラメータ
(ｖ)付確率密度関数族｛ｒ(ｘ；ｖ)｝を保持しており、
例えば、この学習機械の利用時(稼動時)に発生する実際
の入力データの発生分布の確率密度関数ｑ(ｘ)の推定量
〈ｑ(ｘ)〉と条件付確率推定部２の初期学習部２ａによ
り得られたパラメータθの推定値〈θ〉とを用いて、学
習データの入力データｘ_νを｛ｒ(ｘ；ｖ)｝に従って発
生させた場合の学習誤差の推定値Ｅ(ｖ)を最小にするパ
ラメータｖの値を最適値として計算し、最適化されたパ
ラメータｖによる確率密度関数ｒ(ｘ；ｖ)によって、更
新用学習データの入力データｘ_νを発生させ、更新用学
習データ｛ｘ_ν，ｙ_ν｝を作成するようになっている。

【００２３】なお、学習機械の利用時(稼動時)に発生す
る実際の入力データの発生分布の確率密度関数ｑ(ｘ)の
推定量〈ｑ(ｘ)〉としては、例えば、この学習機械の実
際の稼動時と同じ状況で入力データをＮ’個発生させ、
その分布をパラメトリックモデルにより推定したり、あ
るいは、次式のようにデルタ関数で表わして、予め用意
することができる。

【００２４】

【数６】

【００２５】また、学習誤差の推定値Ｅ(ｖ)を最小にす
るパラメータｖの値の計算は、更新用学習データ作成部
４ｂ内の学習誤差最小化回路５によってなされる。より
具体的には、学習誤差最小化回路５は、次式の学習誤差
推定値Ｅ(ｖ)を最小化するように、パラメータｖを最適
化する。

【００２６】

【数７】

【００２７】ここで、〈Ｉ〉，〈Ｊ(ｖ)〉は行列であ
り、次のように計算される。

【００２８】

【数８】

【００２９】一般には最小値を与えるｖを解析的に解く
のは困難な場合が多いので、例えば最急降下法によって
逐次更新していくことによりｖを最適化していけばよ
い。このようにして得られたパラメータを〈ｖ〉と書く
ことにする。更新用学習データ作成手段は、ｒ(ｘ；
〈ｖ〉)に従ってある個数の入力データを発生させ、そ
の入力データと、それらに対する真の未知システムの出
力結果である教師データとからなる学習データを更新用
学習データとして作成する。パラメータ更新部２ｂは、
この更新用学習データを用いてｐ(ｙ｜ｘ；θ)のパラメ
ータθを再び最尤推定法によって学習し直す。

【００３０】上で述べた方式が学習誤差を低減する上で
有効であることを以下に述べる。

【００３１】いま真の条件つき確率ｐ(ｙ｜ｘ)は、設定
したモデル｛ｐ(ｙ｜ｘ；θ)｝に含まれているものと
し、ｐ(ｙ｜ｘ)＝ｐ(ｙ｜ｘ；θ₀)とする。ここで、θ₀
は真のパラメータである。また学習データを発生させる
入力分布の密度函数をｒ(ｘ)として、これにより作成し
たＮ個の学習データから最尤推定によって得られたパラ
メータを〈θ〉とする。このとき学習の損失の量Ｒを次
式のように測る。

【００３２】

【数９】

【００３３】この損失の測り方はKullback-Leibler Div
ergenceに基づくもので統計の分野ではよく用いられる
ものである。この量Ｒをθ₀のまわりでテイラー展開す
ると、次式のようになる。

【００３４】

【数１０】

【００３５】上式において１階微分の項(第２項)はｙで
積分することにより“０”となることがわかる。また、
上式の第１項は推定量〈θ〉に依存しない項である。従
って、学習の良さを判定するには、上式の第３項を見れ
ばよいことがわかる。この項の値を学習データの出方に
よって期待値をとったものをＥ₀とすると、Ｅ₀は簡単な
計算により次式のように求まる。

【００３６】

【数１１】

【００３７】ここで、統計的推定の分野で良く知られて
いるように、次式が成り立つ。

【００３８】

【数１２】

【００３９】Ｉ_ab，Ｊ_abを次式のように定義すると、

【００４０】

【数１３】

【００４１】数１２から次の近似式が導き出せる。

【００４２】

【数１４】

【００４３】本発明の更新用学習データ作成部４ｂが用
いる学習誤差の推定値は、この値Ｅ₀を各行列の推定値
を用いて計算したものであり、この量を小さくすること
が学習の誤差を小さくすることにつながっていることが
わかる。

【００４４】次に、このような構成の学習機械の動作に
ついて説明する。本実施例の学習機械は、この学習機械
が与える任意の入力ｘに対してｐ(ｙ｜ｘ)に従う標本を
返答することができる未知システムを推定するのに用い
られる。例えばシステム同定の問題などでは、真のシス
テムは任意の入力に対して出力を返すことができる場合
も多い。本実施例の学習機械は、このようなシステムを
推定するのに用いることができる。

【００４５】未知システムの推定(学習)は、条件付確率
推定部２で行なわれるが、条件付確率推定部２に対する
学習データを発生させるため、本実施例では、学習デー
タ作成部４が設けられている。学習データ作成部４は、
条件付確率推定部２に学習データを与えるため、確率的
規則に従って入力データを発生し、それらに対する真の
未知システムの応答を教師データとして、学習データを
作成する。

【００４６】この際、先ず、学習データ作成部４の初期
学習データ作成部４ａが、所定の入力データ分布に従っ
て、初期学習データ｛ｘ_ν，ｙ_ν｝を作成する。初期学
習データ｛ｘ_ν，ｙ_ν｝が作成されると、条件付確率推
定部２の初期学習部２ａは、この初期学習データ
｛ｘ_ν，ｙ_ν｝を用いて、所定のパラメータθの初期学
習を行ない、初期学習結果〈θ〉を生成する。

【００４７】このようにして、初期学習がなされた後、
学習データ作成部４の更新用学習データ作成部４ｂは、
この学習機械の稼動時に発生する実際の入力データの発
生分布の確率密度関数ｑ(ｘ)の推定量〈ｑ(ｘ)〉と条件
付確率推定部２の初期学習部２ａにより得られたパラメ
ータθの推定値〈θ〉とを用いて、学習データの入力デ
ータｘ_νを確率密度関数族｛ｒ(ｘ；ｖ)｝に従って発生
させた場合の学習誤差の推定値Ｅ(ｖ)を最小にするパラ
メータｖの値を最適値として計算し、最適化されたパラ
メータｖによる確率密度関数ｒ(ｘ；ｖ)によって、更新
用学習データの入力データｘ_νを発生させ、更新用学習
データ｛ｘ_ν，ｙ_ν｝を作成する。更新用学習データ
｛ｘ_ν，ｙ_ν｝が作成されると、条件付確率推定部２の
パラメータ更新部２ｂは、更新用学習データ｛ｘ_ν，ｙ
_ν｝を用いて、パラメータθの更新学習を行ない、更新
学習結果〈θ〉を生成する。ここで、更新用学習データ
｛ｘ_ν，ｙ_ν｝は、学習に有効な最適な学習データとな
っており、従って、条件付確率推定部２のパラメータ更
新部２ｂは、学習を効率良くかつ精度良く行なって、精
度の高い(学習誤差の小さい)学習結果〈θ〉を迅速に得
ることができる。

【００４８】このようにして、条件付確率推定部２にお
いてパラメータθの学習が行なわれ、更新学習結果
〈θ〉が生成された後、入力部１から入力ベクトルｘが
与えられると、出力部３は、条件付確率推定部２によっ
て学習されたパラメータ(更新学習結果)〈θ〉を用い
て、与えられた入力ベクトルｘに対する出力ｙを条件付
確率ｐ(ｙ|ｘ；〈θ〉)に従う標本として算出すること
ができる。

【００４９】以上のように、本実施例では、システム同
定の問題のように、学習機械が用意した入力データに対
して未知システムが教師データを与えてくれる問題を、
ニューラルネットワークなどの統計的学習機械によって
学習する場合に、学習データをどのように用意するのが
最適かを設計することができ、学習後の推定精度を向上
させることができる。

【００５０】

【発明の効果】以上に説明したように、請求項１記載の
発明によれば、条件付確率推定手段が用いる学習データ
を、確率的規則に従って発生させた入力データと該入力
データに対する未知システムの応答とから作成するの
で、学習に有効な最適な学習データを発生させ、学習を
効率良くかつ精度良く行なうことができる。

【００５１】また、請求項２乃至６記載の発明によれ
ば、条件付確率推定手段は、初期のパラメータを学習す
る初期学習手段と、初期のパラメータが確定した後、新
たな学習データによってパラメータを更新するパラメー
タ更新手段とを有し、また、学習データ作成手段は、条
件付確率推定手段の初期学習手段が用いる初期学習デー
タを作成する初期学習データ作成手段と、初期学習デー
タ作成手段において初期学習が終了した後に、パラメー
タ更新手段が用いる更新用学習データを作成する更新用
学習データ作成手段とを有しているので、学習に有効な
最適な学習データを発生させ、学習を効率良くかつ精度
良く行なうことができる。

【図面の簡単な説明】

【図１】本発明に係る学習機械の一実施例の構成図であ
る。

【図２】統計的学習機械としての３層構造のパーセプト
ロンを示す図である。

【符号の説明】

１入力部２条件付確率推定部３出力部４学習データ作成部２ａ初期学習部２ｂパラメータ更新部４ａ初期学習データ作成部４ｂ更新用学習データ作成部５学習誤差最小化回路

Claims

【特許請求の範囲】

【請求項１】入力ベクトル空間Ｘからの入力ベクトル
ｘに対して真の条件付確率ｐ(ｙ|ｘ)に従う出力ベクト
ルｙを発生する未知システムを推定する学習機械であっ
て、入力ベクトル空間Ｘからの入力ベクトルｘを受け取
る入力手段と、学習用入力データとそれに対する前記未
知システムの応答である教師データとの組からなる学習
データを用いて、所定のパラメータθの学習を行ない、
真の条件付確率ｐ(ｙ|ｘ)を推定し、これによって未知
システムの推定を行なう条件付確率推定手段と、条件付
確率推定手段によって学習されたパラメータ〈θ〉を用
いて、入力手段から与えられた未学習の入力ベクトルｘ
に対する出力ｙを条件付確率ｐ(ｙ|ｘ；〈θ〉)に従う
標本として算出する出力手段と、条件付確率推定手段が
用いる学習データを、確率的規則に従って発生させた入
力データと該入力データに対する未知システムの応答と
から作成する学習データ作成手段とを有していることを
特徴とする学習機械。
【請求項２】請求項１記載の学習機械において、前記
条件付確率推定手段は、初期のパラメータを学習する初
期学習手段と、初期のパラメータが確定した後、新たな
学習データによってパラメータを更新するパラメータ更
新手段とを有し、また、前記学習データ作成手段は、前
記条件付確率推定手段の初期学習手段が用いる初期学習
データを作成する初期学習データ作成手段と、前記初期
学習データ作成手段において初期学習が終了した後に、
パラメータ更新手段が用いる更新用学習データを作成す
る更新用学習データ作成手段とを有していることを特徴
とする学習機械。
【請求項３】請求項２記載の学習機械において、前記
初期学習データ作成手段は、該学習機械の利用時に生じ
る入力の発生分布の推定量から初期学習データの入力デ
ータを発生させることを特徴とする学習機械。
【請求項４】請求項２記載の学習機械において、前記
初期学習データ作成手段は、該学習機械が予め用意した
一定の入力空間上の確率分布に従って、初期学習データ
の入力データを発生させることを特徴とする学習機械。
【請求項５】請求項２記載の学習機械において、前記
更新用学習データ作成手段は、入力ベクトル空間上のパ
ラメータ付確率密度函数｛ｒ(ｘ；ｖ)｝を保持してお
り、学習機械の稼働時に生じる入力データの発生分布の
確率密度函数の推定量〈ｑ(ｘ)〉と初期学習手段により
得られたパラメータθの推定値〈θ〉とを用いて、学習
データの入力データを｛ｒ(ｘ；ｖ)｝に従って発生させ
た場合の学習誤差の推定値Ｅ(ｖ)を小さくするパラメー
タｖの値を最適値として計算し、最適化されたパラメー
タｖによる確率密度函数ｒ(ｘ；ｖ)によって更新用学習
データの入力データを発生させることを特徴とする学習
機械。
【請求項６】請求項５記載の学習機械において、前記
最適なパラメータｖは、学習誤差の推定値Ｅ(ｖ)を最小
化するように最急降下法を用いてパラメータｖの逐次更
新を行なうことにより得られることを特徴とする学習機
械。