JPH07141317A - 階層型ツリー構造を有するニューロファジィ知識獲得装置 - Google Patents
階層型ツリー構造を有するニューロファジィ知識獲得装置Info
- Publication number
- JPH07141317A JPH07141317A JP6118004A JP11800494A JPH07141317A JP H07141317 A JPH07141317 A JP H07141317A JP 6118004 A JP6118004 A JP 6118004A JP 11800494 A JP11800494 A JP 11800494A JP H07141317 A JPH07141317 A JP H07141317A
- Authority
- JP
- Japan
- Prior art keywords
- model
- evaluation
- error
- data
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
(57)【要約】
【構成】 入出力データ記憶部１２からの出力データと
モデルパラメータ学習部１６からのモデル出力との誤差
をモデル誤差評価部１８で評価する。その評価結果に基
づいて、新規ノード自己増殖部２０で、新規ノードを自
動的に発生させてニューロファジィ知識ベースに設定す
る。知識獲得終了判定部２６でモデル誤差が最初に指定
した値以下と判定されれば知識獲得処理全体を終了し、
そうでない場合には上述の処理を繰り返す。 【効果】 指定されたモデル精度を実現する最少のモデ
ル構造を自動的に設定できる。
モデルパラメータ学習部１６からのモデル出力との誤差
をモデル誤差評価部１８で評価する。その評価結果に基
づいて、新規ノード自己増殖部２０で、新規ノードを自
動的に発生させてニューロファジィ知識ベースに設定す
る。知識獲得終了判定部２６でモデル誤差が最初に指定
した値以下と判定されれば知識獲得処理全体を終了し、
そうでない場合には上述の処理を繰り返す。 【効果】 指定されたモデル精度を実現する最少のモデ
ル構造を自動的に設定できる。
Description
【０００１】
【産業上の利用分野】この発明は階層型ツリー構造を有
するニューロファジィ知識獲得装置に関し、特にたとえ
ば与えられた入出力データから、任意に与えたモデル精
度を実現するようなファジィモデル，ニューロモデル，
ニューロファジィモデルあるいはファジィニューロモデ
ルの知識を自動的に設計しあるいは獲得できる、階層型
ツリー構造を有するニューロファジィ知識獲得装置に関
する。
するニューロファジィ知識獲得装置に関し、特にたとえ
ば与えられた入出力データから、任意に与えたモデル精
度を実現するようなファジィモデル，ニューロモデル，
ニューロファジィモデルあるいはファジィニューロモデ
ルの知識を自動的に設計しあるいは獲得できる、階層型
ツリー構造を有するニューロファジィ知識獲得装置に関
する。
【０００２】
【従来の技術】近年、ファジィ技術，ニューロ技術およ
びこれらを融合したニューロファジィ技術の産業上への
応用が著しく広がっている。これらの技術が備えている
多入出力システムの非線形写像能力を利用して、たとえ
ば非線形ダイナミカルシステム（カオス時系列も含む）
の同定と予測，時系列信号が決定論的ダイナミクスによ
って生成されているか否かの判定（ノイズと決定論的カ
オスとの判定），適応学習型コントローラ，非線形適応
フィルタ，非線形自己回帰モデル，ロボットの逆キネマ
ティクス・逆ダイナミクスの同定と学習，画像処理用空
間フィルタ・色補正用フィルタ，またはパターン認識と
いった、滑らかな出力特性が要求される情報処理，制
御，同定または画像処理など非常に広範な応用分野で利
用されている。
びこれらを融合したニューロファジィ技術の産業上への
応用が著しく広がっている。これらの技術が備えている
多入出力システムの非線形写像能力を利用して、たとえ
ば非線形ダイナミカルシステム（カオス時系列も含む）
の同定と予測，時系列信号が決定論的ダイナミクスによ
って生成されているか否かの判定（ノイズと決定論的カ
オスとの判定），適応学習型コントローラ，非線形適応
フィルタ，非線形自己回帰モデル，ロボットの逆キネマ
ティクス・逆ダイナミクスの同定と学習，画像処理用空
間フィルタ・色補正用フィルタ，またはパターン認識と
いった、滑らかな出力特性が要求される情報処理，制
御，同定または画像処理など非常に広範な応用分野で利
用されている。
【０００３】その中でも、文献１（M.J.D.Powell,"Radi
al basis functions for multivariable interpolatio
n:A review",IMA conference on"Algorithms for the A
pproximation of Functions and Data",RMCS Shrivenha
m(1985)) や、文献２（T.Poggio,F.Girosi:A Theory of
Networks for Approximation and Learning,A.I.Memo,
No.1140,C.B.I.P.Paper,No.31,July,1989. ）などで提
案されているラジアル基底関数は、非線形システムの同
定に有効な手法とされている。
al basis functions for multivariable interpolatio
n:A review",IMA conference on"Algorithms for the A
pproximation of Functions and Data",RMCS Shrivenha
m(1985)) や、文献２（T.Poggio,F.Girosi:A Theory of
Networks for Approximation and Learning,A.I.Memo,
No.1140,C.B.I.P.Paper,No.31,July,1989. ）などで提
案されているラジアル基底関数は、非線形システムの同
定に有効な手法とされている。
【０００４】ラジアル基底関数は、中間層ユニットの入
出力特性関数がこのラジアル基底関数で与えられかつ中
間層ユニットから出力層ユニットへの結合係数が各ラジ
アル基底関数の係数として与えられるような３層の階層
型ニューラルネットワークとみなすことができる。ま
た、ルール後件部が実数値であるような簡略化ファジィ
推論モデルにおいて、ラジアル基底関数は、前件部メン
バシップ関数の形状がラジアル基底関数で与えられかつ
ルール後件部の実数値が各ラジアル基底関数の係数とし
て与えられるようなファジィモデルともみなすことがで
きる。
出力特性関数がこのラジアル基底関数で与えられかつ中
間層ユニットから出力層ユニットへの結合係数が各ラジ
アル基底関数の係数として与えられるような３層の階層
型ニューラルネットワークとみなすことができる。ま
た、ルール後件部が実数値であるような簡略化ファジィ
推論モデルにおいて、ラジアル基底関数は、前件部メン
バシップ関数の形状がラジアル基底関数で与えられかつ
ルール後件部の実数値が各ラジアル基底関数の係数とし
て与えられるようなファジィモデルともみなすことがで
きる。
【０００５】このようなラジアル基底関数としては、具
体的には、たとえば数１〜数４にそれぞれ示すガウス分
布型関数，thin-plate-spline 関数，multiquadric関数
またはinverse multiquadric関数などがある。
体的には、たとえば数１〜数４にそれぞれ示すガウス分
布型関数，thin-plate-spline 関数，multiquadric関数
またはinverse multiquadric関数などがある。
【０００６】
【数１】Λ（ｘ）＝ exp｛−（ｘ−ａ）2 ／ｂ｝
【０００７】
【数２】 Λ（ｘ）＝（ｘ−ａ）2 ・ log（｜ｘ−ａ｜）
【０００８】
【数３】Λ（ｘ）＝｛（ｘ−ａ）2 ＋ｂ2 ｝1/2
【０００９】
【数４】 Λ（ｘ）＝１／｛（ｘ−ａ）2 ＋ｂ2 ｝1/2 特に、ガウス分布型関数を用いるモデルは、文献３（市
橋：Ｃ∞級の階層型ファジィモデル，第７回ファジィシ
ステムシンポジウム講演論文集,pp.505-508 ）などによ
って、Ｃ∞級ファジィモデルなどとも呼ばれている。
橋：Ｃ∞級の階層型ファジィモデル，第７回ファジィシ
ステムシンポジウム講演論文集,pp.505-508 ）などによ
って、Ｃ∞級ファジィモデルなどとも呼ばれている。
【００１０】このようなラジアル基底関数のネットワー
ク設計法としては、たとえば文献４(J.Moody,C.J.Darke
n:“Fast Learning in Networks of Locally-tuned Pro
cessing Units”,Neural Computations,1,pp.281-294(1
989)) において提案されているように、学習データから
基底関数の中心値をk-means クラスタリング手法によっ
て求める方法や、たとえば文献５(S.Chen,S.A.Billing
s,C.F.N.Cowan,P.M.Grant：“Practical Identificatio
n of NARMAX Models Using Radial Basis Functions”,
Int.J.Control,vol.52,No.6,PP.1327-1350(1990))にお
いて提案されているように、基底関数の係数のみをGram
-Schmit の直交化法によって学習するＯＬＳ(Orthogona
l Least Squares)法や、たとえば本件出願人の出願に係
る特開平５−１１２６５９号において提案されているよ
うに、推論誤差の最大値を与える学習データの入力値を
新規基底の中心として基底関数の係数のみならず中心値
と分布パラメータ（幅）も学習するＭＡＥ(Maximum Abs
olute Error Selection)法などがある。
ク設計法としては、たとえば文献４(J.Moody,C.J.Darke
n:“Fast Learning in Networks of Locally-tuned Pro
cessing Units”,Neural Computations,1,pp.281-294(1
989)) において提案されているように、学習データから
基底関数の中心値をk-means クラスタリング手法によっ
て求める方法や、たとえば文献５(S.Chen,S.A.Billing
s,C.F.N.Cowan,P.M.Grant：“Practical Identificatio
n of NARMAX Models Using Radial Basis Functions”,
Int.J.Control,vol.52,No.6,PP.1327-1350(1990))にお
いて提案されているように、基底関数の係数のみをGram
-Schmit の直交化法によって学習するＯＬＳ(Orthogona
l Least Squares)法や、たとえば本件出願人の出願に係
る特開平５−１１２６５９号において提案されているよ
うに、推論誤差の最大値を与える学習データの入力値を
新規基底の中心として基底関数の係数のみならず中心値
と分布パラメータ（幅）も学習するＭＡＥ(Maximum Abs
olute Error Selection)法などがある。
【００１１】
【発明が解決しようとする課題】しかしながら、多くの
入出力数をもつ大規模なシステムの同定に対し、通常の
ラジアル基底関数ネットワークの構成法を用いると、非
常に多数の基底関数を必要とするという問題点がある。
このため、たとえば文献６（長坂，市橋：“ニューロフ
ァジィＧＭＤＨとその研削加工特性のモデル比への応
用”，第９回ファジィシンポジウム講演論文集，pp.449
-452(1993)）において、ＧＭＤＨにおける基底関数をラ
ジアル基底関数とみなした多層ネットワーク型や逐次変
数導入型のラジアル基底関数ネットワークが提案されて
いる。
入出力数をもつ大規模なシステムの同定に対し、通常の
ラジアル基底関数ネットワークの構成法を用いると、非
常に多数の基底関数を必要とするという問題点がある。
このため、たとえば文献６（長坂，市橋：“ニューロフ
ァジィＧＭＤＨとその研削加工特性のモデル比への応
用”，第９回ファジィシンポジウム講演論文集，pp.449
-452(1993)）において、ＧＭＤＨにおける基底関数をラ
ジアル基底関数とみなした多層ネットワーク型や逐次変
数導入型のラジアル基底関数ネットワークが提案されて
いる。
【００１２】ところが、このようなラジアル基底関数ネ
ットワークでも、全体の基底関数の数、すなわちルール
ユニット数を大幅に削減することは期待できない。それ
ゆえに、この発明の主たる目的は、基底関数の数を大幅
に削減することができる、階層型ツリー構造を有するニ
ューロファジィ知識獲得装置を提供することである。
ットワークでも、全体の基底関数の数、すなわちルール
ユニット数を大幅に削減することは期待できない。それ
ゆえに、この発明の主たる目的は、基底関数の数を大幅
に削減することができる、階層型ツリー構造を有するニ
ューロファジィ知識獲得装置を提供することである。
【００１３】この発明は、いわば、文献７(T.D.Sanger:
“A Tree-Structured Adaptive Network for Function
Approximation in High-Dimensional Spaces”,IEEE Tr
ans.on Neural Networks Vol.2,No.2,pp.285-293(199
1)) によって提案されたツリー構造の適応型ネットワー
クと、先に挙げた特開平５−１１２６５９号において提
案したＭＡＥ法によるラジアル基底関数ネットワークと
を融合した適応ツリー構造による非線形モデリングであ
る。
“A Tree-Structured Adaptive Network for Function
Approximation in High-Dimensional Spaces”,IEEE Tr
ans.on Neural Networks Vol.2,No.2,pp.285-293(199
1)) によって提案されたツリー構造の適応型ネットワー
クと、先に挙げた特開平５−１１２６５９号において提
案したＭＡＥ法によるラジアル基底関数ネットワークと
を融合した適応ツリー構造による非線形モデリングであ
る。
【００１４】なお、上記文献７においても基底関数とし
てラジアル基底関数ネットワークを利用できることが示
唆されているが、この場合の学習パラメータは基底関数
の係数に限定されている上、基底関数の初期配置方法
や、ツリーのノード以下に発生させる基底関数の数の決
定方法については指針すら明確に述べられていない。
てラジアル基底関数ネットワークを利用できることが示
唆されているが、この場合の学習パラメータは基底関数
の係数に限定されている上、基底関数の初期配置方法
や、ツリーのノード以下に発生させる基底関数の数の決
定方法については指針すら明確に述べられていない。
【００１５】
【課題を解決するための手段】この発明は、与えられた
有限個の入出力データを記憶するデータ記憶手段、ニュ
ーロファジィモデルの知識を格納する知識ベース、モデ
ル誤差を目的関数としこれを最小化するようにモデルパ
ラメータを逐次的に改善する学習手段、与えられた出力
データとモデル出力との誤差を評価する誤差評価手段、
誤差評価手段による評価結果に基づいて新規なノードを
自動的に発生させるノード自己増殖手段、および所定の
停止条件を判定して知識獲得処理の終了を決定するため
の終了決定手段を備える、階層型ツリー構造を有するニ
ューロファジィ知識獲得装置である。
有限個の入出力データを記憶するデータ記憶手段、ニュ
ーロファジィモデルの知識を格納する知識ベース、モデ
ル誤差を目的関数としこれを最小化するようにモデルパ
ラメータを逐次的に改善する学習手段、与えられた出力
データとモデル出力との誤差を評価する誤差評価手段、
誤差評価手段による評価結果に基づいて新規なノードを
自動的に発生させるノード自己増殖手段、および所定の
停止条件を判定して知識獲得処理の終了を決定するため
の終了決定手段を備える、階層型ツリー構造を有するニ
ューロファジィ知識獲得装置である。
【００１６】
【作用】モデルパラメータ学習手段で、ルールユニット
数や中間ユニット数が固定されたもとでの勾配法による
モデルパラメータの学習を行い、モデルパラメータを逐
次的に改善する。モデル誤差評価手段で、入出力データ
記憶手段からの出力データとたとえばモデルパラメータ
学習手段からのモデル出力との誤差を評価する。その評
価結果に基づいて、たとえばモデル誤差の低減効果が飽
和した段階で、ノード自己増殖手段によって、逐次的
に、ファジィモデルにおけるルールやニューロモデルに
おける中間層ユニットを自動的に発生させてニューロフ
ァジィモデル知識ベースに設定する。知識獲得終了判定
手段によってモデル誤差が最初に指定した値以下である
か、あるいは評価関数値が先の評価関数値より大きくな
ったか、などの停止条件を判定し、知識獲得処理全体を
終了し、そうでない場合には上述の処理を繰り返す。
数や中間ユニット数が固定されたもとでの勾配法による
モデルパラメータの学習を行い、モデルパラメータを逐
次的に改善する。モデル誤差評価手段で、入出力データ
記憶手段からの出力データとたとえばモデルパラメータ
学習手段からのモデル出力との誤差を評価する。その評
価結果に基づいて、たとえばモデル誤差の低減効果が飽
和した段階で、ノード自己増殖手段によって、逐次的
に、ファジィモデルにおけるルールやニューロモデルに
おける中間層ユニットを自動的に発生させてニューロフ
ァジィモデル知識ベースに設定する。知識獲得終了判定
手段によってモデル誤差が最初に指定した値以下である
か、あるいは評価関数値が先の評価関数値より大きくな
ったか、などの停止条件を判定し、知識獲得処理全体を
終了し、そうでない場合には上述の処理を繰り返す。
【００１７】
【発明の効果】この発明によれば、先に述べたＭＡＥ法
に従って、着目しているノード以下に発生させる基底関
数の数を自動的に決定できる。同様に、基底関数の係数
だけではなく中心値も学習することができるので、文献
７に開示された係数のみを学習させるものに比べて、全
体の基底関数の数を削減することが可能になる。
に従って、着目しているノード以下に発生させる基底関
数の数を自動的に決定できる。同様に、基底関数の係数
だけではなく中心値も学習することができるので、文献
７に開示された係数のみを学習させるものに比べて、全
体の基底関数の数を削減することが可能になる。
【００１８】すなわち、この発明によれば、ノード自己
増殖手段で、分散の大きい葉ノードの下に階層的に部分
ツリーを発生させることで、設計者が予め任意に与えた
モデル精度（モデル誤差）を実現する最少のルール数ま
たは中間層ユニット数の設定、パラメータ学習過程にお
ける適切なパラメータの初期値の設定、そのときの最適
なモデル構造とパラメータ値の求解とを試行錯誤的な数
値実験等の人手による作業をすることなく自動的に求め
ることが可能となる。
増殖手段で、分散の大きい葉ノードの下に階層的に部分
ツリーを発生させることで、設計者が予め任意に与えた
モデル精度（モデル誤差）を実現する最少のルール数ま
たは中間層ユニット数の設定、パラメータ学習過程にお
ける適切なパラメータの初期値の設定、そのときの最適
なモデル構造とパラメータ値の求解とを試行錯誤的な数
値実験等の人手による作業をすることなく自動的に求め
ることが可能となる。
【００１９】この発明の上述の目的，その他の目的，特
徴および利点は、図面を参照して行う以下の実施例の詳
細な説明から一層明らかとなろう。
徴および利点は、図面を参照して行う以下の実施例の詳
細な説明から一層明らかとなろう。
【００２０】
【実施例】図１にはこの発明の実施例に従った階層型ツ
リー構造を有するニューロファジィ知識獲得装置１０の
機能的ブロック図が示されるが、この装置１０はファジ
ィモデル知識獲得装置，ニューロモデル知識獲得装置，
ニューロファジィモデル知識獲得装置あるいはファジィ
ニューロモデル知識獲得装置として機能するものであ
り、したがって、この明細書においてはこれらを区別す
る記述がなされている以外の部分では、これらを個別に
指称しまたは総称するために、便宜上、「ニューロファ
ジィ」の用語を用いる場合があることを予め指摘してお
く。
リー構造を有するニューロファジィ知識獲得装置１０の
機能的ブロック図が示されるが、この装置１０はファジ
ィモデル知識獲得装置，ニューロモデル知識獲得装置，
ニューロファジィモデル知識獲得装置あるいはファジィ
ニューロモデル知識獲得装置として機能するものであ
り、したがって、この明細書においてはこれらを区別す
る記述がなされている以外の部分では、これらを個別に
指称しまたは総称するために、便宜上、「ニューロファ
ジィ」の用語を用いる場合があることを予め指摘してお
く。
【００２１】そして、この実施例のニューロファジィ知
識獲得装置１０は、たとえばＮ個の入出力データを記憶
する入出力データ記憶部１２を含む。ニューロファジィ
モデル知識ベース１４はニューロファジィモデルの知識
を格納し、モデルパラメータ学習部１６はモデル誤差を
目的関数としこれを最小化するようにモデルパラメータ
を逐次的に改善する。モデル誤差評価部１８は、入出力
データ記憶部１２からモデルパラメータ学習部１６を介
して与えられた出力データと、たとえばモデルパラメー
タ学習部１６でファジィ推論して得られたモデル出力と
のモデル誤差を評価する。新規ノード自己増殖部２０
は、その評価結果に基づいて、すなわちモデルパラメー
タの学習によるモデル誤差の低減効果が飽和した段階
で、推論誤差の最大絶対値を与える入出力データの入力
データを中心としてニューロファジィモデルにおけるノ
ードを自動的に発生させる。また、知識獲得条件記憶部
２２は、これらの知識獲得処理全体における種々の条
件、すなわち実現すべきモデル誤差などの種々の判定定
数などを記憶する。知識獲得制御部２４は、知識獲得処
理全般にわたって、知識獲得条件記憶部２２に格納され
た知識獲得条件に従って、上述の各処理部の動作を制御
する。知識獲得終了判定部２６は、モデル誤差が最初に
指定した値以下になったかどうかを判定し、知識獲得処
理全体の終了または継続を決定する。
識獲得装置１０は、たとえばＮ個の入出力データを記憶
する入出力データ記憶部１２を含む。ニューロファジィ
モデル知識ベース１４はニューロファジィモデルの知識
を格納し、モデルパラメータ学習部１６はモデル誤差を
目的関数としこれを最小化するようにモデルパラメータ
を逐次的に改善する。モデル誤差評価部１８は、入出力
データ記憶部１２からモデルパラメータ学習部１６を介
して与えられた出力データと、たとえばモデルパラメー
タ学習部１６でファジィ推論して得られたモデル出力と
のモデル誤差を評価する。新規ノード自己増殖部２０
は、その評価結果に基づいて、すなわちモデルパラメー
タの学習によるモデル誤差の低減効果が飽和した段階
で、推論誤差の最大絶対値を与える入出力データの入力
データを中心としてニューロファジィモデルにおけるノ
ードを自動的に発生させる。また、知識獲得条件記憶部
２２は、これらの知識獲得処理全体における種々の条
件、すなわち実現すべきモデル誤差などの種々の判定定
数などを記憶する。知識獲得制御部２４は、知識獲得処
理全般にわたって、知識獲得条件記憶部２２に格納され
た知識獲得条件に従って、上述の各処理部の動作を制御
する。知識獲得終了判定部２６は、モデル誤差が最初に
指定した値以下になったかどうかを判定し、知識獲得処
理全体の終了または継続を決定する。
【００２２】以下、具体的にこの実施例の動作を説明す
る。階層型ツリー構造を有するニューロファジィ知識獲
得装置１０の目的は、入力変数がｘ＝（ｘ1 ，ｘ2 ，
…，ｘm ）∈Ｒm 、出力がｙ＝（ｙ1 ，ｙ2 ，…，
ｙ s ）∈Ｒs であるような数５に示す関数を、数６に示
すＮ個の入出力データの組が与えられたもとで同定する
ことである。
る。階層型ツリー構造を有するニューロファジィ知識獲
得装置１０の目的は、入力変数がｘ＝（ｘ1 ，ｘ2 ，
…，ｘm ）∈Ｒm 、出力がｙ＝（ｙ1 ，ｙ2 ，…，
ｙ s ）∈Ｒs であるような数５に示す関数を、数６に示
すＮ個の入出力データの組が与えられたもとで同定する
ことである。
【００２３】
【数５】ｙ＝ｆ（ｘ）：Ｒm →Ｒs
【００２４】
【数６】（ｘ 1 ，ｙ 1 ），…，（ｘ p ，ｙ p ），…，
（ｘ N ，ｙ N ） ただし、ここで出力データｙ p ，ｐ＝１，…，Ｎの各成
分ｙj p （ｊ＝１，…，ｓ、ｐ＝１，…，Ｎ）は、全て
区間〔−１，１〕に正規化されて与えられているものと
する。
（ｘ N ，ｙ N ） ただし、ここで出力データｙ p ，ｐ＝１，…，Ｎの各成
分ｙj p （ｊ＝１，…，ｓ、ｐ＝１，…，Ｎ）は、全て
区間〔−１，１〕に正規化されて与えられているものと
する。
【００２５】さらに、全体のツリーは部分ツリーから構
成され、各部分ツリーにノードが含まれる。また、全体
のツリーのトップノードは、適応ツリー構造ラジアル基
底関数ネットワーク(Adaptive Tree-structured Radial
Basis Function Network:以下、“A Tree-RBF”と略記
する）全体の推論結果を表すものとする。まず、ツリー
構造とそれに含まれる部分ツリー、およびノードの表記
方法を定義する。
成され、各部分ツリーにノードが含まれる。また、全体
のツリーのトップノードは、適応ツリー構造ラジアル基
底関数ネットワーク(Adaptive Tree-structured Radial
Basis Function Network:以下、“A Tree-RBF”と略記
する）全体の推論結果を表すものとする。まず、ツリー
構造とそれに含まれる部分ツリー、およびノードの表記
方法を定義する。
【００２６】図２に示すように、１層だけからなるツリ
ー構造をＴ1 とし、Ｔ1 には１層目にｎ１個のノードが
存在するものとする。このとき、各ノードを順に、
〈１〉，〈２〉，…，〈ｒ１〉，…，〈ｎ１〉，と表
す。ツリー構造Ｔ1 において、ノード〈ｒ１〉を親ノー
ドとし、ｎ２個のノードをもつ部分ツリーをＳr1と表
す。ノードの前半には追加する部分ツリーの親ノードを
つける。部分ツリーＳr1が追加されて新しくできた全体
のツリー構造をＴ2 と定義すると、Ｔ2 は図３のように
なる。このときノード〈ｒ１〉の各子ノードを〈ｒ１，
１〉，…，〈ｒ１，ｒ２〉，…，〈ｒ１，ｎ２〉と表
す。
ー構造をＴ1 とし、Ｔ1 には１層目にｎ１個のノードが
存在するものとする。このとき、各ノードを順に、
〈１〉，〈２〉，…，〈ｒ１〉，…，〈ｎ１〉，と表
す。ツリー構造Ｔ1 において、ノード〈ｒ１〉を親ノー
ドとし、ｎ２個のノードをもつ部分ツリーをＳr1と表
す。ノードの前半には追加する部分ツリーの親ノードを
つける。部分ツリーＳr1が追加されて新しくできた全体
のツリー構造をＴ2 と定義すると、Ｔ2 は図３のように
なる。このときノード〈ｒ１〉の各子ノードを〈ｒ１，
１〉，…，〈ｒ１，ｒ２〉，…，〈ｒ１，ｎ２〉と表
す。
【００２７】以下、同様にして、（ｐ−１）層目のノー
ド〈ｒ１，…，ｒ（ｐ−１）〉を親ノードとし、ｐ層目
にｎｐ個の子ノードをもつ部分ツリーをＳ
r1, ...,r(p-1)と定義する。部分ツリーＳ
r1, ...,r(p-1)をもつ全体のツリー構造は図４に示され
る。部分ツリーＳr1, ...,r(p-1)が追加されたとき、部
分ツリーＳr1, ...,r(p- 1)に含まれる各子ノードを〈ｒ
１，…，ｒ（ｐ−１），１〉，…，〈ｒ１，…，ｒ（ｐ
−１），ｒｐ〉，…，〈ｒ１，…，ｒ（ｐ−１），ｎ
ｐ〉と表す。
ド〈ｒ１，…，ｒ（ｐ−１）〉を親ノードとし、ｐ層目
にｎｐ個の子ノードをもつ部分ツリーをＳ
r1, ...,r(p-1)と定義する。部分ツリーＳ
r1, ...,r(p-1)をもつ全体のツリー構造は図４に示され
る。部分ツリーＳr1, ...,r(p-1)が追加されたとき、部
分ツリーＳr1, ...,r(p- 1)に含まれる各子ノードを〈ｒ
１，…，ｒ（ｐ−１），１〉，…，〈ｒ１，…，ｒ（ｐ
−１），ｒｐ〉，…，〈ｒ１，…，ｒ（ｐ−１），ｎ
ｐ〉と表す。
【００２８】各ノードへの入力値は、各ノードの階層に
対応した次元の入力変数ｘの値とする。たとえば、ノー
ド〈ｒ１，…，ｒｐ〉に対する入力値は、このノードが
ｐ階層だから、入力変数とのｐ次元目の値、すなわちｘ
ｐになる。さて、ノード〈ｒ１，…，ｒｐ〉におけるラ
ジアル基底関数Λr1, ...,rp（ｘ p ）としては、種々の
関数形を利用することが可能であるが、ここでは、先の
数１で示したガウス関数を用いる。すなわち、数７とな
る。ただし、先に数２〜数４で示したthin-plate-splin
e 関数（数８），multiquadric関数（数９）およびinve
rse multiquadric関数（数１０）など他の関数が用いら
れてもよい。
対応した次元の入力変数ｘの値とする。たとえば、ノー
ド〈ｒ１，…，ｒｐ〉に対する入力値は、このノードが
ｐ階層だから、入力変数とのｐ次元目の値、すなわちｘ
ｐになる。さて、ノード〈ｒ１，…，ｒｐ〉におけるラ
ジアル基底関数Λr1, ...,rp（ｘ p ）としては、種々の
関数形を利用することが可能であるが、ここでは、先の
数１で示したガウス関数を用いる。すなわち、数７とな
る。ただし、先に数２〜数４で示したthin-plate-splin
e 関数（数８），multiquadric関数（数９）およびinve
rse multiquadric関数（数１０）など他の関数が用いら
れてもよい。
【００２９】
【数７】Λr1, ...,rp（ｘp ）＝ exp｛−（ｘp −ａ
r1, ...,rp）2 ／ｂr1, ...,rp｝ ただし、ａr1, ...,rpおよびｂr1, ...,rpは、それぞ
れ、ガウス関数の中心値および幅である。また、数７に
対応したガウス関数の係数はｗr1, ...,rp j （ｊ＝１，
…，ｓ）と表す。そして、以下に述べる関数Λや係数
ａ，ｂおよびｗの添字は、ノードの添字に準ずるものと
する。
r1, ...,rp）2 ／ｂr1, ...,rp｝ ただし、ａr1, ...,rpおよびｂr1, ...,rpは、それぞ
れ、ガウス関数の中心値および幅である。また、数７に
対応したガウス関数の係数はｗr1, ...,rp j （ｊ＝１，
…，ｓ）と表す。そして、以下に述べる関数Λや係数
ａ，ｂおよびｗの添字は、ノードの添字に準ずるものと
する。
【００３０】この数７で示されるラジアル基底関数のモ
デルは図５に示すように等価的に３層構造のニューロモ
デルとみなすことができるし、また図６に示すようなフ
ァジィモデルともみなすことができるので、以降、数７
で表されるモデルをニューロファジィモデルと呼ぶ。こ
こで、ノード〈ｒ１，…，ｒｐ〉における適合度μr1
, ...,rp（ｘp ′）は、図５における中間層ユニットの
入出力特性に、また図６におけるファジィモデルの各ル
ールの適合度にそれぞれ相当する。ニューロファジィモ
デルを、たとえば図６のファジィモデルとして表現した
場合には、ノード〈ｒ１，…，ｒｐ〉のルールは ルール〈ｒ１，…，ｒｐ〉 if ｘ1 ＝Λr1（ｘ1 ）and ｘ2 ＝Λr1，r2（ｘ2 ）an
d … and ｘp ＝Λr1, ...,rp（ｘp ） then ｙj ＝ｗr1, ...,rp j （ｊ＝１，…，ｓ） で与えられる。
デルは図５に示すように等価的に３層構造のニューロモ
デルとみなすことができるし、また図６に示すようなフ
ァジィモデルともみなすことができるので、以降、数７
で表されるモデルをニューロファジィモデルと呼ぶ。こ
こで、ノード〈ｒ１，…，ｒｐ〉における適合度μr1
, ...,rp（ｘp ′）は、図５における中間層ユニットの
入出力特性に、また図６におけるファジィモデルの各ル
ールの適合度にそれぞれ相当する。ニューロファジィモ
デルを、たとえば図６のファジィモデルとして表現した
場合には、ノード〈ｒ１，…，ｒｐ〉のルールは ルール〈ｒ１，…，ｒｐ〉 if ｘ1 ＝Λr1（ｘ1 ）and ｘ2 ＝Λr1，r2（ｘ2 ）an
d … and ｘp ＝Λr1, ...,rp（ｘp ） then ｙj ＝ｗr1, ...,rp j （ｊ＝１，…，ｓ） で与えられる。
【００３１】
【数８】Λr1, ...,rp（ｘp ）＝（ｘp −
ａr1, ...,rp）2 ・log ｜ｘp −ａr1, ..., rp｜
ａr1, ...,rp）2 ・log ｜ｘp −ａr1, ..., rp｜
【００３２】
【数９】Λr1, ...,rp（ｘp ）＝｛（ｘp −ａ
r1, ...,rp）2 ＋（ｂr1, ...,rp）2 ｝ 1/2
r1, ...,rp）2 ＋（ｂr1, ...,rp）2 ｝ 1/2
【００３３】
【数１０】Λr1, ...,rp（ｘp ）＝１／｛（ｘp −ａ
r1, ...,rp）2 ＋（ｂr1, ...,rp） 2 ｝1/2 ここで、この発明の詳細な説明に先立って、A Tree-RBF
によるモデリング方法の概要について述べる。A Tree-R
BFにおいては、他のＲＢＦの設計法におけるように入力
変数を全て１度に導入することはしない。すなわち、A
Tree-RBFにおいては、入力変数を逐次的に考慮し、各入
力変数のうちの１つを入力とするような部分ツリーを部
分表現として発生させる。この部分ツリーの各アークは
ラジアル基底関数の係数に対応する。
r1, ...,rp）2 ＋（ｂr1, ...,rp） 2 ｝1/2 ここで、この発明の詳細な説明に先立って、A Tree-RBF
によるモデリング方法の概要について述べる。A Tree-R
BFにおいては、他のＲＢＦの設計法におけるように入力
変数を全て１度に導入することはしない。すなわち、A
Tree-RBFにおいては、入力変数を逐次的に考慮し、各入
力変数のうちの１つを入力とするような部分ツリーを部
分表現として発生させる。この部分ツリーの各アークは
ラジアル基底関数の係数に対応する。
【００３４】また、部分ツリーにおける新規ラジアル基
底関数（新規アーク）の発生、およびモデルパラメータ
のチューニングは先に述べたＭＡＥ法で行う。すなわ
ち、或る部分ツリーにおいて、ラジアル基底関数の数を
増加させても誤差の減少率が所定の閾値以下にしかなら
なかった段階で、その部分ツリー内での新規なラジアル
基底関数の生成を停止し、新規部分ツリーの生成に移行
する。
底関数（新規アーク）の発生、およびモデルパラメータ
のチューニングは先に述べたＭＡＥ法で行う。すなわ
ち、或る部分ツリーにおいて、ラジアル基底関数の数を
増加させても誤差の減少率が所定の閾値以下にしかなら
なかった段階で、その部分ツリー内での新規なラジアル
基底関数の生成を停止し、新規部分ツリーの生成に移行
する。
【００３５】新規部分ツリーの生成は、ツリー構造全体
に含まれる葉ノード（子ノードをもたない全てのノー
ド）に対して、ラジアル基底関数の係数の変化量の全て
の学習データに関する分数を計算し、最大の分散を示す
葉ノードの下に新規部分ツリーを生成する。このとき、
学習データの出力と、既に生成されているA Tree-RBFに
よる出力の推論値との残差を新たな出力とするように、
新規部分ツリーの構造（アークの数）の決定、およびパ
ラメータのチューニングをＭＡＥ法を用いて同様にして
行う。なお、以下では特にことわらない限り出力が１次
元である場合を考える。すなわち、多入力１出力のデー
タの組が与えられた下で、同定するものとする。
に含まれる葉ノード（子ノードをもたない全てのノー
ド）に対して、ラジアル基底関数の係数の変化量の全て
の学習データに関する分数を計算し、最大の分散を示す
葉ノードの下に新規部分ツリーを生成する。このとき、
学習データの出力と、既に生成されているA Tree-RBFに
よる出力の推論値との残差を新たな出力とするように、
新規部分ツリーの構造（アークの数）の決定、およびパ
ラメータのチューニングをＭＡＥ法を用いて同様にして
行う。なお、以下では特にことわらない限り出力が１次
元である場合を考える。すなわち、多入力１出力のデー
タの組が与えられた下で、同定するものとする。
【００３６】A Tree-RBF全体による推論値を＾ｙ（ワイ
ハット）とする。ノード全体が全く存在しない初期状態
のツリー構造をＴ0 とすると、ツリー構造Ｔ0 の推論値
＾ｙ T0は数１１になる。
ハット）とする。ノード全体が全く存在しない初期状態
のツリー構造をＴ0 とすると、ツリー構造Ｔ0 の推論値
＾ｙ T0は数１１になる。
【００３７】
【数１１】＾ｙT0＝０ 次に、ルートノードの下にｎ１個のラジアル基底関数を
有するような部分ツリーを生成し、１層だけからなる図
２のようなツリー構造Ｔ1 全体による推論値＾ｙT1は数
１２になる。
有するような部分ツリーを生成し、１層だけからなる図
２のようなツリー構造Ｔ1 全体による推論値＾ｙT1は数
１２になる。
【００３８】
【数１２】
【００３９】次に、ツリー構造Ｔ1 に含まれるｎ１個の
葉ノードに対し、ラジアル基底関数の係数の変化量Δｗ
の全ての学習データに関する分散を計算し、最大の分散
をとる葉ノードが〈ｒ１〉であったとする。このときの
数１３で示される学習データの出力ｙと＾ｙT1との残差
ｅT1
葉ノードに対し、ラジアル基底関数の係数の変化量Δｗ
の全ての学習データに関する分散を計算し、最大の分散
をとる葉ノードが〈ｒ１〉であったとする。このときの
数１３で示される学習データの出力ｙと＾ｙT1との残差
ｅT1
【００４０】
【数１３】ｅT1≡ｙ−＾ｙT1 を新たな出力とするような新規部分ツリーＳr1を葉ノー
ド〈ｒ１〉の下に発生させる。また、ツリー構造Ｔ1 に
新規部分ツリーＳr1を加えた全体のツリー構造をＴ2と
する。このとき、ツリー構造Ｔ2 による推論値は部分ツ
リーＳr1の基底関数をｎ２とすると
ド〈ｒ１〉の下に発生させる。また、ツリー構造Ｔ1 に
新規部分ツリーＳr1を加えた全体のツリー構造をＴ2と
する。このとき、ツリー構造Ｔ2 による推論値は部分ツ
リーＳr1の基底関数をｎ２とすると
【００４１】
【数１４】
【００４２】で与えられる。ただし、ｘ1 ′＝
（ｘ1 ），ｘ2 ′＝（ｘ1 ，ｘ2 ）である。同様にし
て、図４に示すような部分ツリーＳr1, ...,r(p-1)を追
加する前後での推論値を、それぞれ、＾ｙold および＾
ｙnew とすると、
（ｘ1 ），ｘ2 ′＝（ｘ1 ，ｘ2 ）である。同様にし
て、図４に示すような部分ツリーＳr1, ...,r(p-1)を追
加する前後での推論値を、それぞれ、＾ｙold および＾
ｙnew とすると、
【００４３】
【数１５】
【００４４】と表される。ここで、ノード〈ｒ１，…，
ｒｐ〉における適合度μr1, ...,rp（ｘp ′）およびノ
ード〈ｒ１，…，ｒ（ｐ−１）〉の下の部分ツリーの出
力ｙ r1, ...,r(p-1) j （ｊ＝１，…，ｓ）は、それぞれ
数１６および数１７で与えられる。
ｒｐ〉における適合度μr1, ...,rp（ｘp ′）およびノ
ード〈ｒ１，…，ｒ（ｐ−１）〉の下の部分ツリーの出
力ｙ r1, ...,r(p-1) j （ｊ＝１，…，ｓ）は、それぞれ
数１６および数１７で与えられる。
【００４５】
【数１６】μr1, ...,rp（ｘp ′）≡Λr1（ｘ1 ）×Λ
r1，r2（ｘ2 ）×…×Λr1, ..., rp（ｘp ）
r1，r2（ｘ2 ）×…×Λr1, ..., rp（ｘp ）
【００４６】
【数１７】
【００４７】さて、多入力多出力データに対する同定時
の基底関数数がｎｐ個のニューロファジィモデルにおい
て、学習の対象となるパラメータベクトルａRP ∈
Ｒ(np)，ｂ RP ∈Ｒ(np)，ｗRP ∈Ｒs(np) を数１８のよう
に定義する。
の基底関数数がｎｐ個のニューロファジィモデルにおい
て、学習の対象となるパラメータベクトルａRP ∈
Ｒ(np)，ｂ RP ∈Ｒ(np)，ｗRP ∈Ｒs(np) を数１８のよう
に定義する。
【００４８】
【数１８】 ａr1, ...,rp∈Ｒ ａRP ＝（ａr1, ...,r(p-1),1 ，…，ａr1, ...,r(p-1),rp ，…，ａr1, ..., r(p-1),np ）∈Ｒnp ｂr1, ...,rp∈Ｒ ｂRP ＝（ｂr1, ...,r(p-1),1 ，…，ｂr1, ...,r(p-1),rp ，…，ｂr1, ..., r(p-1),np ）∈Ｒnp ｗr1, ...,rp ＝（ｗr1, ...,rp 1 ，ｗr1, ...,rp 2 ，ｗr1, ...,rp s ∈Ｒs ｗRP ＝（ｗr1，…，r(p-1),1 ，ｗr1，…，r(p-1),2 ，…，ｗr1，…，r(p- 1),rp ，…，ｗr1, ...,r(p-1),np ）∈Ｒs(np) ｒｐ＝１，…，ｎｐ ｐ≦ｍ このとき、数６に示すＮ個の入出力データの組に対し、
基底関数数がｎｐ個の場合の部分ツリーニューロファジ
ィモデリング問題Ｐ（Ｓr1, ...,r(p-1),ｎｐ）は数１
９のように定式化される。
基底関数数がｎｐ個の場合の部分ツリーニューロファジ
ィモデリング問題Ｐ（Ｓr1, ...,r(p-1),ｎｐ）は数１
９のように定式化される。
【００４９】部分ツリーニューロファジィモデリング問
題Ｐ（Ｓr1, ...,r(p-1),ｎｐ）
題Ｐ（Ｓr1, ...,r(p-1),ｎｐ）
【００５０】
【数１９】
【００５１】ただし、ｎは部分ツリーの基底関数の数と
する。ここで、ｙj i および＾ｙj i は、それぞれ、ｉ番
目の入力データｘ i に対する出力データおよびA Tree-R
BFによる推論値である。また、A Tree-RBF全体によって
実現すべきモデル誤差ε＞０が与えられたもとでの全体
の同定問題は以下のように定式化される。
する。ここで、ｙj i および＾ｙj i は、それぞれ、ｉ番
目の入力データｘ i に対する出力データおよびA Tree-R
BFによる推論値である。また、A Tree-RBF全体によって
実現すべきモデル誤差ε＞０が与えられたもとでの全体
の同定問題は以下のように定式化される。
【００５２】全体の同定問題 数６に示すＮ個の入出力データの組および実現すべきモ
デル誤差ε＞０が与えられたもとで、数２０を満足する
A Tree-RBF全体のツリー構造と最適モデルパラメータを
求めよ。
デル誤差ε＞０が与えられたもとで、数２０を満足する
A Tree-RBF全体のツリー構造と最適モデルパラメータを
求めよ。
【００５３】
【数２０】Ｅ＜ε この問題に対し、まず、モデルパラメータ学習部１６に
おける勾配法を用いた部分ツリーニューロファジィモデ
リング問題Ｐ（Ｓr1, ...,r(p-1),ｎｐ）の解法を述
べ、次に自己増殖型アルゴリズムによる全体の同定問題
に対する解法について述べる。
おける勾配法を用いた部分ツリーニューロファジィモデ
リング問題Ｐ（Ｓr1, ...,r(p-1),ｎｐ）の解法を述
べ、次に自己増殖型アルゴリズムによる全体の同定問題
に対する解法について述べる。
【００５４】多入力１出力のデータの組に対するニュー
ロファジィモデリング問題Ｐ（Ｓr1 , ...,r(p-1),ｎ
ｐ）における誤差関数Ｅの決定パラメータａRP ，ｂRP ，
ｗRP に関する勾配を利用して、問題Ｐ（Ｓ
r1, ...,r(p-1),ｎｐ）を適当な勾配法（最急降下法，
共役勾配法，準ニュートン法など）によって解くことが
できる。最も基本的な最急降下法による学習則は数２１
で与えられる。
ロファジィモデリング問題Ｐ（Ｓr1 , ...,r(p-1),ｎ
ｐ）における誤差関数Ｅの決定パラメータａRP ，ｂRP ，
ｗRP に関する勾配を利用して、問題Ｐ（Ｓ
r1, ...,r(p-1),ｎｐ）を適当な勾配法（最急降下法，
共役勾配法，準ニュートン法など）によって解くことが
できる。最も基本的な最急降下法による学習則は数２１
で与えられる。
【００５５】
【数２１】
【００５６】ここで、ｋは最急降下法のイテレーション
回数，ηは学習係数である。したがって、モデルパラメ
ータ学習部１６では、基底関数数（ｎ１＋ｎ２＋…＋ｎ
ｐ）が固定されたもとで、数２１に示す学習則に従っ
て、ニューロファジィモデル知識ベース１４に含まれる
モデルパラメータ値を更新する。次に、図７を参照し
て、階層型ツリー構造を有する自己増殖型アルゴリズム
による全体問題の解法について述べる。
回数，ηは学習係数である。したがって、モデルパラメ
ータ学習部１６では、基底関数数（ｎ１＋ｎ２＋…＋ｎ
ｐ）が固定されたもとで、数２１に示す学習則に従っ
て、ニューロファジィモデル知識ベース１４に含まれる
モデルパラメータ値を更新する。次に、図７を参照し
て、階層型ツリー構造を有する自己増殖型アルゴリズム
による全体問題の解法について述べる。
【００５７】同定アルゴリズム まず、ステップＳ１において、アルゴリズム全体の終了
条件（実現すべきモデル誤差ε）と部分ツリーにおける
基底関数数決定の終了条件（推論誤差の減少率の許容値
ε１）およびパラメータベクトル学習の終了条件（推論
誤差の減少率の許容値ε２）を設定する。
条件（実現すべきモデル誤差ε）と部分ツリーにおける
基底関数数決定の終了条件（推論誤差の減少率の許容値
ε１）およびパラメータベクトル学習の終了条件（推論
誤差の減少率の許容値ε２）を設定する。
【００５８】次のステップＳ３において、対象とする部
分ツリーの深さｐをｐ＝１と設定する。そして、部分ツ
リーＳr1, ...,r(p-1)におけるラジアル基底関数μ
r1, ..., rp（ｘp ′）の総数ｎｐを決定するのである
が、まず、ステップＳ５において、対象とする部分ツリ
ーのラジアル基底関数の数ｎをｎ＝０と設定する。次の
ステップＳ７において、学習パラメータベクトルのイテ
レーション数ｋをｋ＝０と設定する。
分ツリーの深さｐをｐ＝１と設定する。そして、部分ツ
リーＳr1, ...,r(p-1)におけるラジアル基底関数μ
r1, ..., rp（ｘp ′）の総数ｎｐを決定するのである
が、まず、ステップＳ５において、対象とする部分ツリ
ーのラジアル基底関数の数ｎをｎ＝０と設定する。次の
ステップＳ７において、学習パラメータベクトルのイテ
レーション数ｋをｋ＝０と設定する。
【００５９】ステップＳ９において、新規基底関数を発
生するために、初期基底関数を少なくとも１個設定し、
ニューロファジィモデル知識ベース１４へ格納させる。
ただし、初期基底関数が存在しない場合でも、数１９の
＾ｙj i ＝０とおけば動作できる。Ｎ個の学習データの
うち推論誤差の絶対値が最大になる入出力データを（ｘ
q ，ｙq ）とする。すなわち、
生するために、初期基底関数を少なくとも１個設定し、
ニューロファジィモデル知識ベース１４へ格納させる。
ただし、初期基底関数が存在しない場合でも、数１９の
＾ｙj i ＝０とおけば動作できる。Ｎ個の学習データの
うち推論誤差の絶対値が最大になる入出力データを（ｘ
q ，ｙq ）とする。すなわち、
【００６０】
【数２２】｜ｙq −＾ｙq ｜＝ｍａｘ｜ｙi −＾ｙi ｜ １≦ｉ≦Ｎ
【００６１】
【数２３】＾ｙq ＝ｆ（ｘp ′q ） である。ただし、既に選択したｘp q は重複しては選択
しないものとする。
しないものとする。
【００６２】
【数２４】ａr1, ...,rp 0 ＝ｘp q ｂr1, ...,rp 0 ＝ｂ0 （定数） ｗr1, ...,rp 0 ＝（ｙq −＾ｙq ）／ｗ0 ｗ0 （定数） ここで、ｂ0 ，ｗ0 はガウス基底関数の分布パラメータ
の初期値としてあらかじめ与えられている定数である。
ｂ0 は比較的小さい正数が望ましい。
の初期値としてあらかじめ与えられている定数である。
ｂ0 は比較的小さい正数が望ましい。
【００６３】そして、対象とするラジアル基底関数数ｎ
は知識獲得処理制御部２４に含まれるカウンタ（図示せ
ず）によって管理されているが、このカウンタをインク
リメントして、ｎ＝ｎ＋１とする（ステップＳ１１）。
また、このステップＳ１３において、ｒｐ＝１，…，ｎ
に対して数２５〜数２７を用いて、各々の推論誤差の勾
配を計算する。
は知識獲得処理制御部２４に含まれるカウンタ（図示せ
ず）によって管理されているが、このカウンタをインク
リメントして、ｎ＝ｎ＋１とする（ステップＳ１１）。
また、このステップＳ１３において、ｒｐ＝１，…，ｎ
に対して数２５〜数２７を用いて、各々の推論誤差の勾
配を計算する。
【００６４】
【数２５】
【００６５】
【数２６】
【００６６】
【数２７】
【００６７】そして、ステップＳ１３において、モデル
パラメータ学習部１６で数６に示すＮ個の学習データに
対し、数２１に示す最急降下法の学習則によって、｛ａ
RP k ，ｂRP k ，ｗRP k ｝から｛ａRP k+1 ，ｂRP k+1 ，ｗ
RP k+1 ｝を計算し、パラメータ学習処理を行う。なお、
最適な学習係数ηは２次内挿法などの一次元探索法を用
いて決定する。
パラメータ学習部１６で数６に示すＮ個の学習データに
対し、数２１に示す最急降下法の学習則によって、｛ａ
RP k ，ｂRP k ，ｗRP k ｝から｛ａRP k+1 ，ｂRP k+1 ，ｗ
RP k+1 ｝を計算し、パラメータ学習処理を行う。なお、
最適な学習係数ηは２次内挿法などの一次元探索法を用
いて決定する。
【００６８】ステップＳ１５において、Ｅn ｛ａRP k ，
ｂRP k ，ｗRP k ｝≡Ｅと定義すると、数２８が満たされ
るならば、そのときの基底関数数ｎが与えられたモデル
誤差に関する数２０に示す不等式を満たす最少のルール
および／または中間層ユニット数であり、計算手続きを
終了する。
ｂRP k ，ｗRP k ｝≡Ｅと定義すると、数２８が満たされ
るならば、そのときの基底関数数ｎが与えられたモデル
誤差に関する数２０に示す不等式を満たす最少のルール
および／または中間層ユニット数であり、計算手続きを
終了する。
【００６９】
【数２８】Ｅ＜ε 一方、数２８が満足されない場合にはステップＳ１７へ
進む。このステップＳ１５における終了判定処理は、モ
デル誤差評価部１８で計算したＥk+1 に対し、知識獲得
終了判定部２６で知識獲得条件記憶部２２を参照しなが
ら実施する。
進む。このステップＳ１５における終了判定処理は、モ
デル誤差評価部１８で計算したＥk+1 に対し、知識獲得
終了判定部２６で知識獲得条件記憶部２２を参照しなが
ら実施する。
【００７０】そして、ステップＳ１７において、数２９
で表される１回の学習毎の誤差関数の減少率Ｄk が数３
０を満たすならば、ステップＳ２１へ進む。
で表される１回の学習毎の誤差関数の減少率Ｄk が数３
０を満たすならば、ステップＳ２１へ進む。
【００７１】
【数２９】Ｄk ≡｜Ｅk −Ｅk-1 ｜／Ｅk-1
【００７２】
【数３０】Ｄk ＜ε2 一方、数３１を満たすならば、ステップＳ１９において
ｋ＝ｋ＋１としてステップＳ１３へ戻る。すなわち、学
習パラメータのベクトルのイテレーション数ｋも先のｎ
と同様に知識獲得処理制御部２４に含まれるカウンタ
（図示せず）で管理されるが、このカウンタをステップ
Ｓ１９においてインクリメントしてｋ＝ｋ＋１とし、ス
テップＳ１３に戻る。
ｋ＝ｋ＋１としてステップＳ１３へ戻る。すなわち、学
習パラメータのベクトルのイテレーション数ｋも先のｎ
と同様に知識獲得処理制御部２４に含まれるカウンタ
（図示せず）で管理されるが、このカウンタをステップ
Ｓ１９においてインクリメントしてｋ＝ｋ＋１とし、ス
テップＳ１３に戻る。
【００７３】
【数３１】Ｄk ≧ε2 このとき、Ｄk の計算および数３０ならびに数３１の評
価はモデル誤差評価部１８で実施される。そして、基底
関数数がｎのときの誤差関数値をＥn とする。ただし、
価はモデル誤差評価部１８で実施される。そして、基底
関数数がｎのときの誤差関数値をＥn とする。ただし、
【００７４】
【数３２】
【００７５】である。基底関数を新規に発生し、モデル
パラメータを十分学習した後の誤差関数の減少率を数３
３とするとき、ステップＳ２１において、それが数３４
を満足するか、数３５を満足するかを判定する。
パラメータを十分学習した後の誤差関数の減少率を数３
３とするとき、ステップＳ２１において、それが数３４
を満足するか、数３５を満足するかを判定する。
【００７６】
【数３３】Ｄn ≡｜Ｅn −Ｅn-1 ｜／Ｅn-1
【００７７】
【数３４】Ｄn ＜ε1
【００７８】
【数３５】Ｄn ≧ε1 そして、数３４を満足するとき、ステップＳ２３に進ん
で、部分ツリーを追加する。しかしながら、数３５を満
足するときは、先のステップＳ７に戻る。このようにし
て、ステップＳ１５においてＥ≧εであり、ステップＳ
１７においてＤk ≧ε2 であり、さらにステップＳ２１
においてＤn ≧ε1 ならば、ステップＳ２３に進み、係
数ｗn の変化量の分散が最大となる葉ノードに部分ツリ
ーを追加する。
で、部分ツリーを追加する。しかしながら、数３５を満
足するときは、先のステップＳ７に戻る。このようにし
て、ステップＳ１５においてＥ≧εであり、ステップＳ
１７においてＤk ≧ε2 であり、さらにステップＳ２１
においてＤn ≧ε1 ならば、ステップＳ２３に進み、係
数ｗn の変化量の分散が最大となる葉ノードに部分ツリ
ーを追加する。
【００７９】すなわち、各葉ノード毎に重みｗn の変化
量Δｗn の期待値を計算する。葉ノードとは、注目して
いる部分ツリーだけでなく子ノードをもたない全てのノ
ードをさす。記述の簡単化のため部分ツリーでの葉ノー
ドを
量Δｗn の期待値を計算する。葉ノードとは、注目して
いる部分ツリーだけでなく子ノードをもたない全てのノ
ードをさす。記述の簡単化のため部分ツリーでの葉ノー
ドを
【００８０】
【数３６】〈ｎ〉＝〈ｒ1 ，…，ｒp 〉 と表す。ここで、全ての学習データ（数６）に対し、葉
ノード〈ｎ〉に関するΔｗn の期待値ｍn を数３７で計
算する。
ノード〈ｎ〉に関するΔｗn の期待値ｍn を数３７で計
算する。
【００８１】
【数３７】
【００８２】さらに全ての学習データ（数６）に対し、
葉ノード〈ｎ〉に関するΔｗn の分散σn を数３８で計
算する。
葉ノード〈ｎ〉に関するΔｗn の分散σn を数３８で計
算する。
【００８３】
【数３８】
【００８４】全ての葉ノード〈ｎ〉に関する分散σn を
計算した後、最大の分散値をとる葉ノードの下に部分ツ
リーを追加する。そして、ステップＳ２５において、ツ
リーの深さｐを新しく追加する部分ツリーの深さに変更
して、ステップＳ５に戻る。ただし、ステップＳ２７に
おいてツリーの深さｐが入力次元を超えないことを確認
したときにのみ、ステップＳ５に戻る。すなわち、深さ
ｐは通常入力次元を超えることはないが、何らかの原因
でｐ＞入力次元になってしまった場合、異常として、一
旦終了することにした。
計算した後、最大の分散値をとる葉ノードの下に部分ツ
リーを追加する。そして、ステップＳ２５において、ツ
リーの深さｐを新しく追加する部分ツリーの深さに変更
して、ステップＳ５に戻る。ただし、ステップＳ２７に
おいてツリーの深さｐが入力次元を超えないことを確認
したときにのみ、ステップＳ５に戻る。すなわち、深さ
ｐは通常入力次元を超えることはないが、何らかの原因
でｐ＞入力次元になってしまった場合、異常として、一
旦終了することにした。
【００８５】数値例 A Tree-RBFを用いて、人間の脈波時系列を同定した結果
を示す。図８にサンプリング時間１９．５ミリ秒で約３
０秒間計測した脈波を−１．０〜１．０に正規化した時
系列（サンプリング数１７９２個）を示す。モデル同定
時の学習データとしては、脈波時系列をｙ（ｔ）とした
場合、適切な遅れ時間Ｔｄを設定して作成した入力ベク
トルｙ（ｔ−Ｔｄ・ｍ），ｍ＝０，…，５と出力ｙ（ｔ
＋Ｔｄ）の１０００組の入出力データの組を与えた。た
だし、遅れ時間については、脈波時系列の自己相関関数
の値が最初に０となる時刻をＴｄとした。
を示す。図８にサンプリング時間１９．５ミリ秒で約３
０秒間計測した脈波を−１．０〜１．０に正規化した時
系列（サンプリング数１７９２個）を示す。モデル同定
時の学習データとしては、脈波時系列をｙ（ｔ）とした
場合、適切な遅れ時間Ｔｄを設定して作成した入力ベク
トルｙ（ｔ−Ｔｄ・ｍ），ｍ＝０，…，５と出力ｙ（ｔ
＋Ｔｄ）の１０００組の入出力データの組を与えた。た
だし、遅れ時間については、脈波時系列の自己相関関数
の値が最初に０となる時刻をＴｄとした。
【００８６】図９に基底関数の係数のみを学習させたモ
デル（Model １）を示し、基底関数の係数，中心値およ
び幅を学習させたモデル（Model ２）によって脈波時系
列を同定した場合のツリー構造を図１０に示す。なお、
学習終了条件は、モデル誤差ε＝９０とした。実験の結
果、Model １が学習終了条件を満たすためには２７個の
ノードが必要であるが、Model ２では５個のノードで学
習終了条件を満足した。
デル（Model １）を示し、基底関数の係数，中心値およ
び幅を学習させたモデル（Model ２）によって脈波時系
列を同定した場合のツリー構造を図１０に示す。なお、
学習終了条件は、モデル誤差ε＝９０とした。実験の結
果、Model １が学習終了条件を満たすためには２７個の
ノードが必要であるが、Model ２では５個のノードで学
習終了条件を満足した。
【００８７】このような階層型ツリー構造を有するニュ
ーロファジィ知識獲得装置１０を用いれば、新規基底関
数を全ての入力空間に同時に発生させる場合に比べて与
えられたモデル精度を実現するための基底関数は少なく
てすむ利点がある。上述の実施例においては、部分ツリ
ーへの入力変数は、人間の知識や経験などにより、出力
データとの相関度が高いと思われる順に予め設定してお
かなければならない。なお、部分ツリーへの入力変数
は、部分ツリーに含まれる基底関数への入力変数のこと
であり、基底関数の深さが同じなので、結局、部分ツリ
ーに含まれる基底関数は全て共通となる。このような場
合、たとえば図８の脈波のように、直近のデータが出力
データに対して最も大きい影響を与える時系列データで
あれば特に問題は生じない。しかしながら、データの分
布が偏っているような場合には、そのような相関度を経
験的に把握するのが難しく、したがって、収束までに時
間がかかってしまうことがあった。
ーロファジィ知識獲得装置１０を用いれば、新規基底関
数を全ての入力空間に同時に発生させる場合に比べて与
えられたモデル精度を実現するための基底関数は少なく
てすむ利点がある。上述の実施例においては、部分ツリ
ーへの入力変数は、人間の知識や経験などにより、出力
データとの相関度が高いと思われる順に予め設定してお
かなければならない。なお、部分ツリーへの入力変数
は、部分ツリーに含まれる基底関数への入力変数のこと
であり、基底関数の深さが同じなので、結局、部分ツリ
ーに含まれる基底関数は全て共通となる。このような場
合、たとえば図８の脈波のように、直近のデータが出力
データに対して最も大きい影響を与える時系列データで
あれば特に問題は生じない。しかしながら、データの分
布が偏っているような場合には、そのような相関度を経
験的に把握するのが難しく、したがって、収束までに時
間がかかってしまうことがあった。
【００８８】そこで、以下に述べる他の実施例では、入
力変数選択機能を付加した。それによって、基底関数の
深さに対応する入力変数を予め設定する必要性をなくし
た。また、同じ深さの基底関数でも所属する部分ツリー
が異なると必ずしも入力変数が共通するとは限らないの
で、多数の入出力変数を持つ大規模なシステム同定問題
に対して、データの分布が偏っていても、柔軟に対応で
きるようになる。
力変数選択機能を付加した。それによって、基底関数の
深さに対応する入力変数を予め設定する必要性をなくし
た。また、同じ深さの基底関数でも所属する部分ツリー
が異なると必ずしも入力変数が共通するとは限らないの
で、多数の入出力変数を持つ大規模なシステム同定問題
に対して、データの分布が偏っていても、柔軟に対応で
きるようになる。
【００８９】ここで、この発明の他の実施例について、
その概要をまず説明する。全体のツリー構造は部分ツリ
ーから構成され、各部分ツリーにはノードが含まれる。
また全体のツリーのトップモードは、A Tree-RBF全体の
推論結果を表すものとする。まず、ツリー構造とそれに
含まれる部分ツリー、およびノードの表記方法を定義す
る。部分ツリーに含まれるノードは、そのノードからト
ップノードまでの経路でユニークに表現する。たとえ
ば、ツリー構造全体に対して、深さｐのノードは〈ｒ
１，…，ｒｐ〉で表される。図１１に示されるように、
（ｐ−１）層目のノード〈ｒ１，…，ｒ（ｐ−１）〉を
親ノードとし、ｐ層目にｎｐ個の子ノードをもつ部分ツ
リーをＳr1, ...,r(p-1)と定義する。部分ツリーＳ
r1, ...,r(p-1)に含まれる各子ノードは順に、〈ｒ１，
…，ｒ（ｐ−１），１〉，…，〈ｒ１，…，ｒ（ｐ−
１），ｒｐ〉，…，〈ｒ１，…，ｒ（ｐ−１），ｎｐ〉
となり、部分ツリー内で入力変数は共通でｘ
[r1, ...,r(p-1)]と表す。右下のインデックスは親ノー
ドである。したがって、たとえ深さが同じｐのノードで
あっても、含まれる部分ツリーが異なると、必ずしも同
じ入力変数にはならない。
その概要をまず説明する。全体のツリー構造は部分ツリ
ーから構成され、各部分ツリーにはノードが含まれる。
また全体のツリーのトップモードは、A Tree-RBF全体の
推論結果を表すものとする。まず、ツリー構造とそれに
含まれる部分ツリー、およびノードの表記方法を定義す
る。部分ツリーに含まれるノードは、そのノードからト
ップノードまでの経路でユニークに表現する。たとえ
ば、ツリー構造全体に対して、深さｐのノードは〈ｒ
１，…，ｒｐ〉で表される。図１１に示されるように、
（ｐ−１）層目のノード〈ｒ１，…，ｒ（ｐ−１）〉を
親ノードとし、ｐ層目にｎｐ個の子ノードをもつ部分ツ
リーをＳr1, ...,r(p-1)と定義する。部分ツリーＳ
r1, ...,r(p-1)に含まれる各子ノードは順に、〈ｒ１，
…，ｒ（ｐ−１），１〉，…，〈ｒ１，…，ｒ（ｐ−
１），ｒｐ〉，…，〈ｒ１，…，ｒ（ｐ−１），ｎｐ〉
となり、部分ツリー内で入力変数は共通でｘ
[r1, ...,r(p-1)]と表す。右下のインデックスは親ノー
ドである。したがって、たとえ深さが同じｐのノードで
あっても、含まれる部分ツリーが異なると、必ずしも同
じ入力変数にはならない。
【００９０】さて、ノード〈ｒ１，…，ｒｐ〉における
ラジアル基底関数としては種々の関数形を利用すること
が可能であるが、ここでは、先の実施例と同様に、数３
９で定義されるガウス関数を用いることにする。
ラジアル基底関数としては種々の関数形を利用すること
が可能であるが、ここでは、先の実施例と同様に、数３
９で定義されるガウス関数を用いることにする。
【００９１】
【数３９】
【００９２】ラジアル基底関数Λr1, ...,rpへの入力変
数ｘ[r1, ...,rp]は、親ノード〈ｒ１，…，ｒ（ｐ−
１）〉とトップノード間の全てのノードに対して、入力
変数として使用されていないものの中から選択される。
ａr1, ...,rpとｂr1, ...,rpはそれぞれガウス関数の中
心値と幅を示す。また数３９に対応したガウス関数の係
数をｗr1, ...,rpと表す。この係数は、図１１ではノー
ド〈ｒ１，…，ｒｐ〉とその親ノード〈ｒ１，…，ｒ
（ｐ−１）〉を結合するアークとして表現される。関数
Λや係数ａ，ｂ，ｗの添字はノードの添字に準ずるもの
とする。
数ｘ[r1, ...,rp]は、親ノード〈ｒ１，…，ｒ（ｐ−
１）〉とトップノード間の全てのノードに対して、入力
変数として使用されていないものの中から選択される。
ａr1, ...,rpとｂr1, ...,rpはそれぞれガウス関数の中
心値と幅を示す。また数３９に対応したガウス関数の係
数をｗr1, ...,rpと表す。この係数は、図１１ではノー
ド〈ｒ１，…，ｒｐ〉とその親ノード〈ｒ１，…，ｒ
（ｐ−１）〉を結合するアークとして表現される。関数
Λや係数ａ，ｂ，ｗの添字はノードの添字に準ずるもの
とする。
【００９３】図１３に示す実施例のニューロファジィ知
識獲得装置１００は、図１の装置１０の入出力データ記
憶部１２，ニューロファジィモデル知識ベース１４，新
規ノード自己増殖部２０，知識獲得条件記憶部２２，お
よび知識獲得処理制御部２４とそれぞれほぼ同様の入出
力データ記憶部１１２，ニューロファジィモデル知識ベ
ース１１４，新規ノード自己増殖部１２０，知識獲得条
件記憶部１２２，および知識獲得処理制御部１２４を含
む。したがって、以下の点で、図１３実施例は図１実施
例と異なる。
識獲得装置１００は、図１の装置１０の入出力データ記
憶部１２，ニューロファジィモデル知識ベース１４，新
規ノード自己増殖部２０，知識獲得条件記憶部２２，お
よび知識獲得処理制御部２４とそれぞれほぼ同様の入出
力データ記憶部１１２，ニューロファジィモデル知識ベ
ース１１４，新規ノード自己増殖部１２０，知識獲得条
件記憶部１２２，および知識獲得処理制御部１２４を含
む。したがって、以下の点で、図１３実施例は図１実施
例と異なる。
【００９４】すなわち、この実施例の装置１００は、入
出力データ記憶部１１２に記憶されている入出力データ
を学習用データと評価用データとに分割するデータ分割
部１０２を備える。データ分割部１０２は、たとえば、
各データ組毎に、数４０に示す分散値Ｄを計算する。
出力データ記憶部１１２に記憶されている入出力データ
を学習用データと評価用データとに分割するデータ分割
部１０２を備える。データ分割部１０２は、たとえば、
各データ組毎に、数４０に示す分散値Ｄを計算する。
【００９５】
【数４０】
【００９６】ただし、ｘj （バー）は入力変数の平均値
である。そして、データ組を分散値の大きい順に並べ変
え、上から５０％〜６０％のデータを学習用データと
し、残りを評価用データとする。学習用データは学習用
データ記憶部１０４、評価用データは評価用データ記憶
部１０６に、それぞれ格納される。なお、データ分割の
手法としては、上述の分散値を計算する他に、学習用デ
ータと評価用データとを交互に選択する方法などが考え
られる。
である。そして、データ組を分散値の大きい順に並べ変
え、上から５０％〜６０％のデータを学習用データと
し、残りを評価用データとする。学習用データは学習用
データ記憶部１０４、評価用データは評価用データ記憶
部１０６に、それぞれ格納される。なお、データ分割の
手法としては、上述の分散値を計算する他に、学習用デ
ータと評価用データとを交互に選択する方法などが考え
られる。
【００９７】学習用データ記憶部１０４の学習用データ
はモデルパラメータ学習部１１６′に与えられるととも
に、仮要素決定部１０８に与えられる。仮要素決定部１
０８では未選択の入力要素を仮に選択して、それを注目
している部分ツリーへの入力要素とする。たとえば図１
４に示すように、入力変数ｘ（＝ｘ1 ，ｘ2 ，ｘ3 ，ｘ
4 ，ｘ5 ）であり、第２階層までに入力要素ｘ3 および
ｘ2 を選択しかつ決定していたとすると、ノード〈２，
６〉下に追加する第３階層目の部分ツリーの構造を決定
するために、未選択ないし未使用の入力要素ｘ1 ，ｘ4
およびｘ5 を仮要素決定部１０８が仮に選択する。
はモデルパラメータ学習部１１６′に与えられるととも
に、仮要素決定部１０８に与えられる。仮要素決定部１
０８では未選択の入力要素を仮に選択して、それを注目
している部分ツリーへの入力要素とする。たとえば図１
４に示すように、入力変数ｘ（＝ｘ1 ，ｘ2 ，ｘ3 ，ｘ
4 ，ｘ5 ）であり、第２階層までに入力要素ｘ3 および
ｘ2 を選択しかつ決定していたとすると、ノード〈２，
６〉下に追加する第３階層目の部分ツリーの構造を決定
するために、未選択ないし未使用の入力要素ｘ1 ，ｘ4
およびｘ5 を仮要素決定部１０８が仮に選択する。
【００９８】仮に選択された入力要素がモデルパラメー
タ学習部１１６′および評価部１１８′に与えられる。
したがって、モデルパラメータ学習部１１６′では、与
えられた入力要素および学習用データに基づいて、ＭＡ
Ｅ法に従って、部分ツリーの構造（ノードの数）を決定
するとともに、パラメータのチューニングを行う。この
ようにして得られたモデルパラメータがモデルパラメー
タ記憶部１１７に一時的に格納されて、評価部１１８′
に与えられる。
タ学習部１１６′および評価部１１８′に与えられる。
したがって、モデルパラメータ学習部１１６′では、与
えられた入力要素および学習用データに基づいて、ＭＡ
Ｅ法に従って、部分ツリーの構造（ノードの数）を決定
するとともに、パラメータのチューニングを行う。この
ようにして得られたモデルパラメータがモデルパラメー
タ記憶部１１７に一時的に格納されて、評価部１１８′
に与えられる。
【００９９】評価部１１８′においては、モデルパラメ
ータ記憶部１１７に格納されたモデルパラメータおよび
評価用データ記憶部１０６からの評価用データに基づい
て、仮に選択された入力要素を評価する。すなわち、評
価部１１８′においては、たとえば図１５に示すよう
に、各入力要素ｘ1 ，ｘ4 およびｘ5 についてその推論
誤差ないし評価関数値を先の数３２すなわち後述の数４
６に従って計算し、最小の推論誤差となる入力要素をそ
の階層の入力要素として決定する。
ータ記憶部１１７に格納されたモデルパラメータおよび
評価用データ記憶部１０６からの評価用データに基づい
て、仮に選択された入力要素を評価する。すなわち、評
価部１１８′においては、たとえば図１５に示すよう
に、各入力要素ｘ1 ，ｘ4 およびｘ5 についてその推論
誤差ないし評価関数値を先の数３２すなわち後述の数４
６に従って計算し、最小の推論誤差となる入力要素をそ
の階層の入力要素として決定する。
【０１００】そして、新規ノード自己増殖部１２０は、
学習用データを用いたモデルパラメータの学習によるモ
デル誤差の低減効果が飽和した段階で、推論誤差の最大
絶対値を与える入出力データの入力データを中心として
ニューロファジィモデルにおけるノードを自動的に発生
させる。また、知識獲得条件記憶部１２２は、これらの
知識獲得処理全体における種々の条件、すなわち実現す
べきモデル誤差などの種々の判定定数などを記憶する。
知識獲得制御部１２４は、知識獲得処理全般にわたっ
て、知識獲得条件記憶部１２２に格納された知識獲得条
件に従って、上述の各処理部の動作を制御する。
学習用データを用いたモデルパラメータの学習によるモ
デル誤差の低減効果が飽和した段階で、推論誤差の最大
絶対値を与える入出力データの入力データを中心として
ニューロファジィモデルにおけるノードを自動的に発生
させる。また、知識獲得条件記憶部１２２は、これらの
知識獲得処理全体における種々の条件、すなわち実現す
べきモデル誤差などの種々の判定定数などを記憶する。
知識獲得制御部１２４は、知識獲得処理全般にわたっ
て、知識獲得条件記憶部１２２に格納された知識獲得条
件に従って、上述の各処理部の動作を制御する。
【０１０１】終了判定部１２６′では、数４１に示され
る停止条件を判定する。すなわち、部分ツリーＳ
r1, ...,r(p-1)を追加したときの推論値ないし評価関数
値Δr1, .. .,r(p-1)と、部分ツリーＳr1, ...,r(p-2)ま
での推論値ないし評価関数値Δr1, ...,r(p-2)とを比較
して、前者が後者より大きくなったとき、知識獲得（増
殖）を停止ないし終了する。
る停止条件を判定する。すなわち、部分ツリーＳ
r1, ...,r(p-1)を追加したときの推論値ないし評価関数
値Δr1, .. .,r(p-1)と、部分ツリーＳr1, ...,r(p-2)ま
での推論値ないし評価関数値Δr1, ...,r(p-2)とを比較
して、前者が後者より大きくなったとき、知識獲得（増
殖）を停止ないし終了する。
【０１０２】
【数４１】 Δr1, ...,r(p-2)≦Δr1, ...,r(p-1) ｐ＞１ ここで、図１３実施例におけるA Tree-RBFによるモデリ
ング手法の概要について述べる。まず、入出力データを
学習用データと評価用データに分割する。これは、近似
されたモデルに汎化性を持たせるためである。そして、
学習用データは部分ツリーを構成するパラメータの最適
化問題を解くときに使用する。また、評価用データは、
部分ツリーへの入力変数の選択時と新しい部分ツリーを
発生させるときに用いる。
ング手法の概要について述べる。まず、入出力データを
学習用データと評価用データに分割する。これは、近似
されたモデルに汎化性を持たせるためである。そして、
学習用データは部分ツリーを構成するパラメータの最適
化問題を解くときに使用する。また、評価用データは、
部分ツリーへの入力変数の選択時と新しい部分ツリーを
発生させるときに用いる。
【０１０３】すなわち、学習用データは部分ツリーにお
ける基底関数の数の決定および基底関数に含まれるパラ
メータのチューニングのために用いられ、評価用データ
は部分ツリーへの入力要素の選択および新規部分ツリー
を発生させる場所の決定のために用いられる。これによ
り、近似モデルに汎化性を持たせることができる。さ
て、A Tree-RBFにおいては通常のＲＢＦの設計法のよう
に入力変数を全て１度に導入することはせず、入力変数
を逐次的に選択し、各入力変数のうちの１つを入力とす
るような部分ツリーを部分表現として発生させる。また
部分ツリーにおける新規ラジアル基底関数の発生とモデ
ルパラメータのチューニングはＭＡＥ法で行う。学習デ
ータを用いて、或る部分ツリーにおいて親ノードとトッ
プノード間で未使用の入力変数で学習を行っているとき
に、ＲＢＦの数を増加させても誤差の減少率が或る閾値
以下にしかならなくなった段階で、その入力変数での新
規ＲＢＦの生成を停止する。
ける基底関数の数の決定および基底関数に含まれるパラ
メータのチューニングのために用いられ、評価用データ
は部分ツリーへの入力要素の選択および新規部分ツリー
を発生させる場所の決定のために用いられる。これによ
り、近似モデルに汎化性を持たせることができる。さ
て、A Tree-RBFにおいては通常のＲＢＦの設計法のよう
に入力変数を全て１度に導入することはせず、入力変数
を逐次的に選択し、各入力変数のうちの１つを入力とす
るような部分ツリーを部分表現として発生させる。また
部分ツリーにおける新規ラジアル基底関数の発生とモデ
ルパラメータのチューニングはＭＡＥ法で行う。学習デ
ータを用いて、或る部分ツリーにおいて親ノードとトッ
プノード間で未使用の入力変数で学習を行っているとき
に、ＲＢＦの数を増加させても誤差の減少率が或る閾値
以下にしかならなくなった段階で、その入力変数での新
規ＲＢＦの生成を停止する。
【０１０４】次に、作成された部分ツリーを含む全体ツ
リーの推論誤差を評価用データを用いて求め、チューニ
ングされた部分ツリーでのパラメータとともに保存す
る。これを全ての未使用の入力変数に対して行い、最小
の推論誤差を実現する入力変数をその部分ツリーへの入
力変数として選択する。次に、新規部分ツリーの生成に
移行する。新規部分ツリーの生成は、ツリー構造全体に
含まれる葉ノード（子ノードを持たない全てのノード）
に対して、ＲＢＦの係数の変化量全ての分散を評価用デ
ータに関して計算し、最大の分散をとる葉ノードの下に
新規部分ツリーを生成する。このとき学習データの出力
と、既に生成されているA Tree-RBFによる出力の推論値
との残差を新たな出力とする。この残差出力を小さくす
るように未使用の入力変数全てに対して部分ツリーの構
造（ノードの数）の決定とパラメータのチューニングを
学習用データを用いてＭＡＥ法により行う。入力変数の
選択は評価用データを用いて行う。
リーの推論誤差を評価用データを用いて求め、チューニ
ングされた部分ツリーでのパラメータとともに保存す
る。これを全ての未使用の入力変数に対して行い、最小
の推論誤差を実現する入力変数をその部分ツリーへの入
力変数として選択する。次に、新規部分ツリーの生成に
移行する。新規部分ツリーの生成は、ツリー構造全体に
含まれる葉ノード（子ノードを持たない全てのノード）
に対して、ＲＢＦの係数の変化量全ての分散を評価用デ
ータに関して計算し、最大の分散をとる葉ノードの下に
新規部分ツリーを生成する。このとき学習データの出力
と、既に生成されているA Tree-RBFによる出力の推論値
との残差を新たな出力とする。この残差出力を小さくす
るように未使用の入力変数全てに対して部分ツリーの構
造（ノードの数）の決定とパラメータのチューニングを
学習用データを用いてＭＡＥ法により行う。入力変数の
選択は評価用データを用いて行う。
【０１０５】部分ツリーＳr1, ...,r(p-1)を追加する前
後での推論値をそれぞれ＾ｙold ，＾ｙnew とする。＾
ｙnew への入力ベクトルｘ [r1, ...,rp]′は数４２で表
され、部分ツリーＳr1, ...,r(p-1)に含まれる各ノード
の適合度（グレード）μ
r1, ...,rp（ｘ [r1, ...,rp]′）は数４３で表される。
このとき、推論値＾ｙnew は数４４で表される。
後での推論値をそれぞれ＾ｙold ，＾ｙnew とする。＾
ｙnew への入力ベクトルｘ [r1, ...,rp]′は数４２で表
され、部分ツリーＳr1, ...,r(p-1)に含まれる各ノード
の適合度（グレード）μ
r1, ...,rp（ｘ [r1, ...,rp]′）は数４３で表される。
このとき、推論値＾ｙnew は数４４で表される。
【０１０６】
【数４２】ｘ r1, ...,rp′≡（ｘ[r1]，ｘ[r1,r2]，
…，ｘ[r1, ...,rp]）
…，ｘ[r1, ...,rp]）
【０１０７】
【数４３】μr1, ...,rp（ｘ r1, ...,rp′）≡Λr1（ｘ
[r1]×…×Λr1, ...,rp（ｘ[r1, ...,rp]）
[r1]×…×Λr1, ...,rp（ｘ[r1, ...,rp]）
【０１０８】
【数４４】
【０１０９】部分ツリーの同定問題において、基底関数
の数がｎｐ個の場合に、学習の対象となるパラメータベ
クトルを数４５で定義する。
の数がｎｐ個の場合に、学習の対象となるパラメータベ
クトルを数４５で定義する。
【０１１０】
【数４５】 ａnP ＝（ａr1, ...,r(p-1),1 ，…，ａr1, ...,r(p-1),rp ，…，ａr1, ..., r(p-1),np ）∈Ｒnp ｂnP ＝（ｂr1, ...,r(p-1),1 ，…，ｂr1, ...,r(p-1),rp ，…，ｂr1, ..., r(p-1),np ）∈Ｒnp ｗnP ＝（ｗr1，…，r(p-1),1 ，…，ｗr1, ...,r(p-1),rp ，…，ｗr1, ..., r(p-1),np ）∈Ｒnp ｒｐ＝１，…，ｎｐ １≦ｐ≦ｍ このとき、ＮTR個の学習用データの組に対して、部分ツ
リーの同定問題は数４４のように定式化される。
リーの同定問題は数４４のように定式化される。
【０１１１】部分ツリー同定問題：
【０１１２】
【数４６】
【０１１３】ここで、ｙi ，＾ｙi はそれぞれｉ番目の
入力データｘi に対する出力データとA Tree-RBFによる
推論値である。また、A Tree-RBF全体による同定問題は
以下のように定式化される。停止規則： 部分ツリーＳr1, ...,r(p-1)を追加したとき
の推論値ないし評価関数値Δr1, ...,r(p-1)と、部分ツ
リーＳr1, ...,r(p-2)までの推論値ないし評価関数値Δ
r1 , ...,r(p-2)とを比較して、数４１を満足したとき、
部分ツリーＳr1, ...,r(p- 2)までのA Tree-RBF全体のツ
リー構造とそのときの最適パラメータとを採用し、知識
獲得（増殖）を停止ないし終了する。
入力データｘi に対する出力データとA Tree-RBFによる
推論値である。また、A Tree-RBF全体による同定問題は
以下のように定式化される。停止規則： 部分ツリーＳr1, ...,r(p-1)を追加したとき
の推論値ないし評価関数値Δr1, ...,r(p-1)と、部分ツ
リーＳr1, ...,r(p-2)までの推論値ないし評価関数値Δ
r1 , ...,r(p-2)とを比較して、数４１を満足したとき、
部分ツリーＳr1, ...,r(p- 2)までのA Tree-RBF全体のツ
リー構造とそのときの最適パラメータとを採用し、知識
獲得（増殖）を停止ないし終了する。
【０１１４】同定アルゴリズム 図１６を参照して、最初のステップＳ１０１では、初期
化する。すなわち、このステップＳ１０１では、初期条
件や終了条件を読み込む。そして、ステップＳ１０３に
おいて、入出力データを基準化ないし正規化する。この
ようにして、入出力データが図１３に示す入出力データ
記憶部１１２に格納される。
化する。すなわち、このステップＳ１０１では、初期条
件や終了条件を読み込む。そして、ステップＳ１０３に
おいて、入出力データを基準化ないし正規化する。この
ようにして、入出力データが図１３に示す入出力データ
記憶部１１２に格納される。
【０１１５】次いで、ステップＳ１０５では、データ分
割部１０２において、先に説明した手法で、入出力デー
タを学習用データと評価用データとに分割する。次に、
モデルパラメータ学習部１１６′に、学習用データが与
えられる。そして、ステップＳ１０７では、仮要素決定
部１０８において、入力変数ｘのうちノード〈ｒ１，
…，ｒｐ〉が含まれる部分ツリーのパス〈ｒ１，…，ｒ
（ｐ−１）〉のなかで未使用のものを未選択入力変数と
して選択する。すなわち、このステップＳ１０７では、
未選択入力変数を仮選択し、注目している部分ツリーへ
の入力変数とする。
割部１０２において、先に説明した手法で、入出力デー
タを学習用データと評価用データとに分割する。次に、
モデルパラメータ学習部１１６′に、学習用データが与
えられる。そして、ステップＳ１０７では、仮要素決定
部１０８において、入力変数ｘのうちノード〈ｒ１，
…，ｒｐ〉が含まれる部分ツリーのパス〈ｒ１，…，ｒ
（ｐ−１）〉のなかで未使用のものを未選択入力変数と
して選択する。すなわち、このステップＳ１０７では、
未選択入力変数を仮選択し、注目している部分ツリーへ
の入力変数とする。
【０１１６】そして、図７のステップＳ５およびＳ７と
同様のステップＳ１０９およびＳ１１１を経て、ステッ
プＳ１１３において、新規ノードを発生する。新規ノー
ドの発生は、図７のステップＳ９で説明したのと同様の
方法で実現され得る。このとき、モデルパラメータ学習
部１１６′における未選択入力変数（これは仮要素決定
部１０８データ選択された入力要素）によるパラメータ
のチューニングには、学習用データが用いられる。
同様のステップＳ１０９およびＳ１１１を経て、ステッ
プＳ１１３において、新規ノードを発生する。新規ノー
ドの発生は、図７のステップＳ９で説明したのと同様の
方法で実現され得る。このとき、モデルパラメータ学習
部１１６′における未選択入力変数（これは仮要素決定
部１０８データ選択された入力要素）によるパラメータ
のチューニングには、学習用データが用いられる。
【０１１７】図７のステップＳ１１−Ｓ２１と同様のス
テップＳ１１５−Ｓ１２３を実行する。その後、ステッ
プＳ１２５で、評価部１１８′において、数４６に示す
推論誤差を計算する。つまり、注目している部分ツリー
において、仮に選択された入力変数を用いて学習用デー
タで同定して収束したときの、評価用データに対する推
論誤差（平均２乗誤差）を計算する。
テップＳ１１５−Ｓ１２３を実行する。その後、ステッ
プＳ１２５で、評価部１１８′において、数４６に示す
推論誤差を計算する。つまり、注目している部分ツリー
において、仮に選択された入力変数を用いて学習用デー
タで同定して収束したときの、評価用データに対する推
論誤差（平均２乗誤差）を計算する。
【０１１８】ついで、ステップＳ１２７において、未選
択の入力変数が残っていると判断されると、先のステッ
プＳ１０７へ戻り、上述の動作が繰り返し実行される。
また、未選択の入力要素が残ってない場合、ステップＳ
１２９において、評価部１１８′で、ステップＳ１２５
で計算した各仮選択入力要素の推論誤差の最小のものを
特定する。その最小の推論誤差をとる入力変数を、当該
部分ツリーに対する入力変数として決定する。すなわ
ち、このステップＳ１２９において、部分ツリーへの入
力変数が最終的に決定される。
択の入力変数が残っていると判断されると、先のステッ
プＳ１０７へ戻り、上述の動作が繰り返し実行される。
また、未選択の入力要素が残ってない場合、ステップＳ
１２９において、評価部１１８′で、ステップＳ１２５
で計算した各仮選択入力要素の推論誤差の最小のものを
特定する。その最小の推論誤差をとる入力変数を、当該
部分ツリーに対する入力変数として決定する。すなわ
ち、このステップＳ１２９において、部分ツリーへの入
力変数が最終的に決定される。
【０１１９】その後、ステップＳ１３１において先の数
４１で示す停止条件が充足されたか否かを判定する。も
し、この停止条件を満たしていなければ、ステップＳ１
０７に戻り、上述の動作を繰り返す。停止条件が満たさ
れていれば、そのときの部分ツリーを追加しないで、獲
得動作を終了する。なお、図１３実施例におけるデータ
分割の方法は、図１実施例にも適用できることは明らか
である。この場合、学習用データ記憶部１０４（図１
３）の学習用データがモデルパラメータ学習部１６（図
１）に与えられ、評価用データ記憶部１０６（図１３）
の評価用データがモデル誤差評価部１８（図１）に与え
られる。このようにして、図１実施例においても汎化性
を向上することができる。
４１で示す停止条件が充足されたか否かを判定する。も
し、この停止条件を満たしていなければ、ステップＳ１
０７に戻り、上述の動作を繰り返す。停止条件が満たさ
れていれば、そのときの部分ツリーを追加しないで、獲
得動作を終了する。なお、図１３実施例におけるデータ
分割の方法は、図１実施例にも適用できることは明らか
である。この場合、学習用データ記憶部１０４（図１
３）の学習用データがモデルパラメータ学習部１６（図
１）に与えられ、評価用データ記憶部１０６（図１３）
の評価用データがモデル誤差評価部１８（図１）に与え
られる。このようにして、図１実施例においても汎化性
を向上することができる。
【図１】この発明の一実施例を示す機能ブロック図であ
る。
る。
【図２】１層だけからなるツリー構造を示す図解図であ
る。
る。
【図３】図２のツリー構造に部分ツリーを追加したとき
の全体のツリー構造を示す図解図である。
の全体のツリー構造を示す図解図である。
【図４】ｐ層目にｎｐ個の子ノードを持つ部分ツリーを
追加したときの全体のツリー構造を示す図解図である。
追加したときの全体のツリー構造を示す図解図である。
【図５】ニューロファジィモデルを３層構造のニューロ
モデルとみなした場合の図解図である。
モデルとみなした場合の図解図である。
【図６】ニューロファジィモデルをファジィモデルとみ
なした場合の前件部メンバシップ関数とファジィルー
ル，ファジィ推論演算式などを示す図解図である。
なした場合の前件部メンバシップ関数とファジィルー
ル，ファジィ推論演算式などを示す図解図である。
【図７】この実施例の知識獲得処理全体の処理動作を示
すフロー図である。
すフロー図である。
【図８】脈波の時系列データの一例を示すグラフであ
る。
る。
【図９】図８の脈波時系列に対して基底関数の係数のみ
を学習させたモデルを示す図解図である。
を学習させたモデルを示す図解図である。
【図１０】図８の脈波時系列に対して基底関数の係数，
中心値および幅を学習させたモデルを示す図解図であ
る。
中心値および幅を学習させたモデルを示す図解図であ
る。
【図１１】ノードを表現するためにツリー構造を示す図
解図である。
解図である。
【図１２】ラジアル基底関数の一例であるガウス関数を
示す図解図である。
示す図解図である。
【図１３】この発明の他の実施例を示す機能ブロック図
である。
である。
【図１４】図１３実施例における入力変数選択を示す図
解図である。
解図である。
【図１５】図１３実施例における入力変数決定を示す図
解図である。
解図である。
【図１６】図１３実施例における同定アルゴリズムを示
すフロー図である。
すフロー図である。
１０，１００ …階層型ツリー構造を有するニューロフ
ァジィ知識獲得装置 １２，１１２ …入出力データ記憶部 １０２ …データ分割部 １０４ …学習用データ記憶部 １０６ …評価用データ記憶部 １０８ …仮要素決定部 １４，１１４ …ニューロファジィモデル知識ベース １６，１１６′ …モデルパラメータ学習部 １１７ …モデルパラメータ記憶部 １８，１１８′ …モデル誤差評価部 ２０，１２０ …新規ノード自己増殖部 ２２，１２２ …知識獲得条件記憶部 ２４，１２４ …知識獲得処理制御部 ２６，１２６′ …知識獲得終了判定部
ァジィ知識獲得装置 １２，１１２ …入出力データ記憶部 １０２ …データ分割部 １０４ …学習用データ記憶部 １０６ …評価用データ記憶部 １０８ …仮要素決定部 １４，１１４ …ニューロファジィモデル知識ベース １６，１１６′ …モデルパラメータ学習部 １１７ …モデルパラメータ記憶部 １８，１１８′ …モデル誤差評価部 ２０，１２０ …新規ノード自己増殖部 ２２，１２２ …知識獲得条件記憶部 ２４，１２４ …知識獲得処理制御部 ２６，１２６′ …知識獲得終了判定部
Claims (5)
- 【請求項１】与えられた有限個の入出力データを記憶す
るデータ記憶手段、 ニューロファジィモデルの知識を格納する知識ベース、 モデル誤差を目的関数としこれを最小化するようにモデ
ルパラメータを逐次的に改善する学習手段、 与えられた出力データとモデル出力との誤差を評価する
誤差評価手段、 前記誤差評価手段による評価結果に基づいて新規なノー
ドを自動的に発生させるノード自己増殖手段、および所
定の停止条件を判定して知識獲得処理の終了を決定する
ための終了決定手段を備える、階層型ツリー構造を有す
るニューロファジィ知識獲得装置。 - 【請求項２】前記終了決定手段は評価誤差が最初に指定
した値以下になったか否かという停止条件を判定する、
請求項１記載の階層型ツリー構造を有するニューロファ
ジィ知識獲得装置。 - 【請求項３】前記入出力データに基づいて仮の入力要素
を選択する入力要素選択手段をさらに備え、 前記学習手段は前記選択された入力要素に基づいて学習
し、 前記評価手段は、前記選択された入力要素に対して評価
誤差を計算する誤差計算手段、および前記評価誤差が最
小となるものを入力要素として決定する決定手段を含
む、請求項１記載の階層型ツリー構造を有するニューロ
ファジィ知識獲得装置。 - 【請求項４】前記終了決定手段は評価関数値が前回の評
価関数値以上になったか否かという停止条件を判定す
る、請求項３記載の階層型ツリー構造を有するニューロ
ファジィ知識獲得装置。 - 【請求項５】前記データ記憶手段のデータを学習用デー
タと評価用データとに分割する分割手段、 前記学習用データを前記学習手段に与える学習用データ
付与手段、および前記評価用データを前記評価手段に与
える評価用データ付与手段を備える、請求項１ないし４
のいずれかに記載の階層型ツリー構造を有するニューロ
ファジィ知識獲得装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6118004A JPH07141317A (ja) | 1993-09-22 | 1994-05-31 | 階層型ツリー構造を有するニューロファジィ知識獲得装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23635593 | 1993-09-22 | ||
| JP5-236355 | 1993-09-22 | ||
| JP6118004A JPH07141317A (ja) | 1993-09-22 | 1994-05-31 | 階層型ツリー構造を有するニューロファジィ知識獲得装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH07141317A true JPH07141317A (ja) | 1995-06-02 |
Family
ID=26456023
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6118004A Withdrawn JPH07141317A (ja) | 1993-09-22 | 1994-05-31 | 階層型ツリー構造を有するニューロファジィ知識獲得装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH07141317A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008171282A (ja) * | 2007-01-12 | 2008-07-24 | Fujitsu Ltd | 最適パラメータ探索プログラム、最適パラメータ探索装置および最適パラメータ探索方法 |
-
1994
- 1994-05-31 JP JP6118004A patent/JPH07141317A/ja not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008171282A (ja) * | 2007-01-12 | 2008-07-24 | Fujitsu Ltd | 最適パラメータ探索プログラム、最適パラメータ探索装置および最適パラメータ探索方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Auer et al. | Tracking the best disjunction | |
| Jang | ANFIS: adaptive-network-based fuzzy inference system | |
| Abraham | Neuro fuzzy systems: State-of-the-art modeling techniques | |
| EP0488150B1 (en) | Fuzzy inference system including neural network | |
| Jantzen | Neurofuzzy modelling | |
| Sharma | Designing and modeling fuzzy control Systems | |
| Abraham et al. | Designing optimal neuro-fuzzy architectures for intelligent control | |
| Wang et al. | A boosting-based deep neural networks algorithm for reinforcement learning | |
| Abraham et al. | MARS: Still an alien planet in soft computing? | |
| Cetisli et al. | Estimation of adaptive neuro-fuzzy inference system parameters with the expectation maximization algorithm and extended Kalman smoother | |
| JPH07141317A (ja) | 階層型ツリー構造を有するニューロファジィ知識獲得装置 | |
| Yen et al. | Principal components, B-splines, and fuzzy system reduction | |
| Lughofer et al. | Online adaptation of Takagi-Sugeno fuzzy inference systems | |
| Mфnnle | Identifying rule-based TSK fuzzy models | |
| Slim | Neuro-fuzzy network based on extended Kalman filtering for financial time series | |
| Otadi | Simulation and evaluation of second-order fuzzy boundary value problems | |
| Su | Identification of singleton fuzzy models via fuzzy hyperrectangular composite NN | |
| Mashor | Performance comparison between back propagation, RPE and MRPE algorithms for training MLP networks | |
| Montes et al. | Interpretable Fuzzy Models from Data and Adaptive Fuzzy Control: A New Approach | |
| Abraham | Beyond integrated neuro-fuzzy systems: Reviews, prospects, perspectives and directions | |
| Chasparis | Stochastic stability analysis of perturbed learning automata with constant step-size in strategic-form games | |
| Al-Zohary et al. | Adaptive control of nonlinear multivariable systems using neural networks and approximate models | |
| Wang et al. | An Optimization algorithm for nonsmooth nonconvex problems with upper-C^ 2 objective | |
| Semmler | Fisher Information Approximations in Policy Gradient Methods | |
| Nelles et al. | Model complexity optimization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20010731 |