JPH0844710A

JPH0844710A - 擬似相関行列の近似を用いた逐次線型回帰モデル同定器

Info

Publication number: JPH0844710A
Application number: JP20907194A
Authority: JP
Inventors: Koji Nanbara; 興二南原
Original assignee: Individual
Current assignee: Individual
Priority date: 1994-07-30
Filing date: 1994-07-30
Publication date: 1996-02-16

Abstract

(57)【要約】（修正有）【目的】擬似相関行列の正則性がない場合，優れた安
定性及び高い収束速度をもつモデル同定器を得る．【構成】適当な座標系上で，最小自乗法又は重み付き
最小自乗法の正規方程式の擬似相関行列を，その最大固
有値から決定されるスカラで近似し，そのとき求まる修
整量によって逐次推定値を改良する．

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】線型回帰モデルの係数の推定期待
値の収束性と推定値の分散の有界性を保証する推定値の
逐次更新型モデル同定器に関するものである．

【０００２】

【従来の技術】線型回帰，あるいは，モデル同定問題で
は，最小自乗法がよく利用される．推定のための標本数
が少なくとも回帰係数の次数よりも大きくなければ，正
規方程式の擬似相関行列の正則性がえられないため，回
帰係数を決定できない．標本数の増加に対して，擬似相
関行列の漸近行列（存在するかどうかは必ずしも保証さ
れない）が正則となるとき，はじめて，回帰係数の推定
が可能となる．現実には，一種の線型方程式である正規
方程式を計算機によって解かなければならないから，計
算過程で生じる誤差に対する感度を下げるためにも，そ
して何よりも標本に含まれる誤差に対する感度を下げる
ためにも，擬似相関行列の最大固有値，最小固有値の比
である条件数が充分に１に近いという正則性を持ってい
なければならない．しかし，回帰係数の次数が高くなる
につれ，条件数は悪化しやすく，推定値が広く分散する
ことは避け難い．擬似相関行列の条件数の良否に左右さ
れる最小自乗法は必ずしも，充分に満足できるものでは
なく，現在でも，さまざまな改善が試みられている．

【０００３】ところで，標本数を増加させることは，必
ずしも，条件数の，すなわち，推定の信頼性の向上を意
味しないばかりでなく，新たに加えられた標本による回
帰パラメータの推定値変化は極めて微小になる．もし，
標本の採集に時期的なズレがあり，しかも，パラメータ
が変化していたとすると，このパラメータ変化に対応し
た推定値は得られない．すなわち，標本数の増加ととも
に，状況変化への適応性は低下する．この適応性低下の
改善のため，重み付き最小自乗法が導入される．最小自
乗法が全ての標本に対して等しく重み付けを行なうのに
対して，比較的古い標本に軽い重み付けすることによっ
て，適応性の維持が図られる．しかしながら，このとき
も，擬似相関行列の正則性は保証されない．というより
も，元の最小自乗法よりも相関行列の変動が大きくなる
ため，条件数の悪化した推定の危険性が高まる．

【０００４】最小自乗法に限らず重み付き最小自乗法で
も，完全な信頼性をあたえない．この悪化を防ぐため
に，説明変数が適当に分布している（制御工学では持続
的励振条件とか信号のリッチネス条件と呼ばれる条件を
満たす）標本を用意することにより正則性を保証するこ
とが考えられ，また，理論家の間ではよく提案される．
しかし，これは，対象が撹乱された状態にある，あるい
は，対象を撹乱状態におくことを意味し，撹乱実験が許
されない対象にはまったく無力であり，実験レベルで許
される仮定である．とくに，推定値を利用して適応的に
対象を安定した状態に導こうとする制御を考えている場
合，撹乱は矛盾した行為となり，受けいれ難い．したが
って，持続的励振条件，信号リッチネス条件のような条
件によって擬似相関行列の正則性を保証する必要がない
推定法が，実用性の点からは望ましいといえる．もちろ
ん，理想的な推定法は，このような条件が満たされてい
るときには，最小自乗法，あるいは，重み付き最小自乗
法と同等な推定結果をあたえるものでなくてはならな
い．

【０００５】なお，最小自乗法，あるいは，重み付き最
小自乗法は，新しい標本が加えられたときの回帰パラメ
ータの推定値更新を逐次行なう，逐次最小自乗法，ある
いは，逐次重み付き最小自乗法と呼ばれる簡単な逐次化
アルゴリズムで等価表現することもできる．また，逐次
推定アルゴリズムには，この２つに限らず，非常に多く
の方法が提案されているが，推定の安定性と収束速度を
両立させるという点で，うえで指摘した推定法の課題を
完全には解決していない．

【０００６】

【発明が解決しようとする課題】本発明の目的は，擬似
相関行列の正則性がない場合でも信頼性（推定値の有界
性）の失われない，そして，最小自乗法，あるいは，重
み付き最小自乗法により近い，したがって高速な推定値
収束が得られる逐次線型回帰モデル同定器を開発するこ
とにある．

【０００７】

【課題を解決するための手段】具体的な解決策を示すま
えに，いましばらく，最小自乗法，重み付き最小自乗法
の問題点を詳しく述べることにする．被説明変数をｙ，
説明変数をｘ＝（ｘ_１，・・・，ｘ_ｍ〕，撹乱項をεと
する線型回帰モデルｙ＝ｗ^＊・ｘ＋ε （１）を考える．ただし，ｘ_ｍはある非零な定数とする．この
ことによって線型回帰モデルの一般性が失われることは
ない．いま，このモデルについて被説明変数ｙ，説明
変数ｘの標本｛ｙ，ｘ｝が継続してあたえられるものと
し，新たな標本によって回帰係数ｗ^＊＝〔ｗ_１ ^＊・・・
ｗ_ｍ ^＊〕の推定値を逐次，更新・改良する問題を考え
る，回帰係数の推定に対して，最小自乗法（ｌｅａｓｔ
ｓｑｕａｒｅｓ），あるいは，その逐次形式である逐
次最小自乗法（ｒｅｃｕｒｓｉｖｅｌｅａｓｔｓｑｕ
ａｒｅｓ，ＲＬＳ）は，よく用いられる代表的な方法で
あり，また，よく整備された理論をもつ基本的な方法で
ある．ｋという番号をつけられた標本の集合が，Ｎ_ｋ組
の標本｛ｙ〔ｋ，ｊ〕，ｘ〔ｋ，ｊ〕｝（ｊ＝１，２，
…，Ｎ_ｋ）からなっているものとする．ｋ番目の標本集
合に基づくｗ^＊の推定値をｗ〔ｋ〕とするとき，被説明
変数はｙ〔ｋ，ｊ〕＝ｗ〔ｋ〕・ｘ〔ｋ，ｊ〕＋ｅ〔ｋ，ｊ〕（２）で表わすことができる．この残差ｅ〔ｋ，ｊ〕の平方和
を最小とするｗ〔ｋ〕をｗ^＊の推定値として決定する方
法が最小自乗法である．このとき，撹乱項ε〔ｋ，ｊ〕
に対し以下の統計的性質ｉ） ε〔ｋ，ｊ〕の期待値Ｅ〔ε〔ｋ，ｊ〕〕＝０．ｉｉ） ε〔ｋ，ｊ〕の分散ｃｏｖ〔ε〔ｋ，ｊ〕〕＝
Ｅ〔（ε〔ｋ，ｊ〕−Ｅ〔ε〔ｋ，ｊ〕〕）^２〕＝
σ^２．ただし，σは正の定数．ｉｉｉ） ε〔ｋ，ｉ〕とε〔ｋ，ｊ〕（ｉ≠ｊ）は
無相関．を仮定すると，推定の期待値は最尤線型不偏推定量とし
てあたえられることが知られている．

【０００８】ｋ番目の標本集合について，αの重みつき
最小自乗法をもちいると，推定値ｗ〔ｋ〕は残差平方和
を最小にする

【数１】の条件を満足する．ただし，α〔ｋ，ｊ〕≧０であり，
α〔ｋ，ｊ〕＞０であるｊがすくなくとも１つ存在する
ものとする．ｋ−１番目の推定値ｗ〔ｋ−１〕とｋ番目
の推定値ｗ〔ｋ〕の差をΔｗ〔ｋ〕とおくと，ｗ〔ｋ〕＝ｗ〔ｋ−１〕＋Δｗ〔ｋ〕（４）なる関係がえられる．一方， Δｙ〔ｋ，ｊ〕＝ｙ〔ｋ，ｊ〕−ｗ〔ｋ−１〕・ｘ〔ｋ，ｊ〕とすると，（２），（４）式より， Δｙ〔ｋ，ｊ〕＝Δｗ〔ｋ〕・ｘ〔ｋ，ｊ〕＋ｅ〔ｋ，ｊ〕となるから，（３）式の残差平方和を最小とする推定値
Δｗ〔ｋ〕は，

【数２】を満たす．ここで，上式を Δｗ〔ｋ〕・Ａ〔ｋ〕・Δｗ〔ｋ〕^Ｔ−２Δｗ〔ｋ〕・ｂ〔ｋ〕＋ｃ〔ｋ〕→ ｍｉｎ（５）で書き改める．ただし，

【数３】最小条件（５）式を満たす推定値Δｗ〔ｋ〕は，正規方
程式Ａ〔ｋ〕・Δｗ〔ｋ〕^Ｔ＝ｂ〔ｋ〕（６）を満足する．Δｗ〔ｋ〕がこの（６）式より求められる
とき，（４）式にしたがってｗ〔ｋ〕をｗ〔ｋ−１〕か
ら逐次更新することができる．このように更新される推
定量は，ｋ番目の標本集合がｋ−１番目の集合に新たな
標本を１つ加えたものであるとき，時系列のモデル同定
に利用される逐次最小自乗法（ＲＬＳ）と理論的に同じ
ものである．いま，正規方程式（６）式に含まれる説明
変数の擬似相関行列Ａ〔ｋ〕が正則でないとき解Δｗ
〔ｋ〕は１意とはならず，最小自乗法あるいは，逐次最
小自乗法では推定値を決定することができない．この擬
似相関行列Ａ〔ｋ〕の正則性は標本集合に含まれる説明
変数の独立性にのみに依存するから，独立な説明変数に
よって対象を励起することが許される場合（この場合，
擬似相関行列Ａ〔ｋ〕は計画行列あるいは実験行列と呼
ばれる），あるいは，励起されていることが期待できる
など特殊な場合を除いて，最小自乗法を広く利用するこ
とができない．このような擬似相関行列の正則性が充分
でないときの最小自乗法の改善策が応用上重要であり，
その１つとして微小固有値の打ち切りが用いられてき
た．

【０００９】擬似相関行列Ａは半正定値対称行列だから
その固有値λ_ｉは非負となる．いまλ_１≧λ_２≧・・・
≧λ_ｍ≧０であり，それに属する正規化された固有ベク
トルを列ベクトルにもつ行列をＶとする．この行列Ｖは
正則であり，逆行列Ｖ^−１は転置行列Ｖ^Ｔに等しい．こ
の転置行列Ｖ^Ｔを上式の両辺に施すと正規方程式はで与えられる．いま，Δθ＝Δｗ・Ｖとおくと，Ｖは正
規直交行列だからΔθは回転された座標上での推定量Δ
ｗと対応しており，また，Δθに対する正規方程式はｄｉａｇ〔λ_１，・・・，λ_ｍ〕Δθ^Ｔ＝Ｖ^Ｔｂ（７）となる．もしλ_ｉ＝０ならば，正規方程式のみからΔθ
_ｉは決定できない．さて，（６）式の最小条件のもとで
（５）式の残差平方和の最小値は，となることを考慮すると，λ_ｉ＝０ならば，いかなるΔ
θ_ｉも残差平方和を変化させないから，最小自乗解Δθ
_ｉは一意ではない．いま，λ_ｉ≧λ_ｉ＋１のように並ん
でおり，さらに，ｉ＞ｎなるｉに対してλ_ｉ＝０である
ものとすると，〔Δθ_１Δθ_２・・・Δθ_ｎ・・・Δθ
_ｍ〕と〔Δθ_１Δθ_２・・・Δθ_ｎ０・・・０〕は残差
平方和が同じという意味で同値関係にある．同値である
推定量をそのうちの１つ，たとえば〔Δθ_１Δθ_２・・
・Δθ_ｎ０・・・０〕で代表させることで代表推定量が
定義できる．しかしながら，λ_ｉが０の近傍にあるとき
（７）式より求められるΔθ_ｉは誤差に対して高感度と
なり，数値的に安定な推定を難しくさせる．λ_ｉが充分
に０の近傍にあるならば，このλ_ｉを０とみなしても残
差平方和の増加は軽微であることから，ある小さなδに
対して，ｉ＞ｎのときλ_ｉ≦δであるとすると，δを越
えないλ_ｉを０とみなすことにより，推定の近似値を， Δθ^Ｔ＝ｄｉａｇ〔λ_１ ⁻λ_２ ⁻・・・λ_ｎ ⁻０・・・０〕Ｖ^Ｔｂ（８）であたえることができる．上式の対角行列は一般有効逆
行列とよばれ，最小自乗法の数値安定性，すなわち推定
値の分散を改善するためにしばしば利用されてきた．あ
る修正量Δｗ〔ｋ〕に対して，（２）あるいは（３）式
の残差平方和の期待値は値は，Δｗの真値をΔｗ^＊＝ｗ
^＊−ｗとおけば，

【数４】と表わされる．ただし，

【数５】さらに，変換された座標上では，

【数６】で表わされる．これらの式より，等しい残差平方和の期
待値をもつ推定量ΔｗまたはΔθ_ｉは超楕円（あるｉに
ついてλ_ｉ＝０なるときは無心２次超曲面）を形成する
ことがわかる．仮定ｉ）のもとでｂ〔ｋ〕の期待値は正規方程式（６）より，Ｅ〔ｂ〔ｋ〕〕＝Ｅ〔Ａ〔ｋ〕・Δｗ〔ｋ〕^Ｔ〕＝Ａ〔ｋ〕・Ｅ〔Δｗ〔ｋ〕^Ｔ〕であるから，最小自乗推定量の期待値と真値とはつぎの
関係をもつ．Ａ〔ｋ〕Δｗ^＊〔ｋ〕^Ｔ＝Ａ〔ｋ〕・Ｅ〔Δｗ〔ｋ〕^Ｔ〕したがって，修正推定量Δｗに対する（９），（１０）
式の残差平方和Ｊの期待値は

【数７】と表わされる．一方，ｂ〔ｋ〕分散共分散行列はとなる．ところで，α〔ｋ，ｊ〕の上限をα_ｓｕｐとす
ると，差行列は０≦α〔ｋ，ｊ〕≦α_ｓｕｐより，半正定行列である
から，ｃｏｖ〔ｂ〕≦Ａ〔ｋ〕α_ｓｕｐσ^２（１２）．ただし，α〔ｋ，ｊ〕がα_ｓｕｐあるいは０に限られる
ならば，等号がなりたつ．さらに，座標の変換によっ
て，となる．一方，正規方程式（６）よりとなるから，最小自乗推定量の分散，共分散についてｃｏｖ．〔ｄｉａｇ〔λ_１，・・・，λ_ｍ〕・Δθ^Ｔ〕≦ｄｉａｇ〔λ_１，・・・，λ_ｍ〕・α_ｓｕｐσ^２（１３）のＧａｕｓｓ−Ｍａｒｋｏｖ定理の分散式に相当する関
係が得られる．いま，上式で等号が成り立つ分散の広が
った最悪の場合を考よう．このとき，λ_ｉΔθ_ｉは互い
に無相関となるから，各ｉについて λ_ｉ ^２ｃｏｖ．〔Δθ_ｉ〕＝λ_ｉα_ｓｕｐσ^２となる．この関係は特異解λ_ｉ＝０をもち，Δθ_ｉの分
散は，λ_ｉ≠０のときα_ｓｕｐσ^２／λ_ｉとなり，ｉに
よって異なる．さらに，λ_ｉ→０のときσ（Δθ_ｉ）^２
→∞となり有界性さえ失われる．しかしながら，最小自
乗推定量Δθ_ｉの各標準偏差α_ｓｕｐ ^１／２σ／λ_ｉ
^１／２の比は先の超楕円の軸長比に一致しており，各ｉ
に対して推定量の分散が異なるにもかかわらず，残差平
方和はどのｉの標準偏差に対しても同じ大きさとなる．
とくにε（ｔ）が正規分布するとき，λ_ｉΔθ_ｉの分布
も正規分布，あるいはデータ数Ｎ_ｋが十分大きいならば
中心極限定理よりλ_ｉθ_ｉの漸近分布は正規分布とな
る．ｐを正規分布の確率密度関数とすれば，λ_ｉΔθ_ｉ
が互いに無相関であることより，ｄｉａｇ〔λ_１，・・
・，λ_ｍ〕・Δθの代表推定量の確率密度関数は

【数８】で与えられる．すなわち，超楕円面の式，

【数９】を満たす代表推定量は等確率密度をもつことがわかる．
Δθ_ｉ（ｉ＞ｎ）を任意に選んだ推定量は同値であるか
ら，無心２次超曲面（ｎ＝ｍのときには超楕円面）の式

【数１０】を満たす推定量は等確率密度をもつ代表推定量である
か，あるいはそれと同値な推定量となる．この等確率密
度超曲面と等残差平方和超曲面は一致し，ともに，疑似
相関行列Ａ〔ｋ〕から定まる超楕円曲面（無心２次超曲
面）で表わされることがわかる．このため，等確率密度
超曲面が推定量の分布にしたがって特定のｉに対して引
き伸ばされているとしても，同じ擬似相関行列からつく
られる等残差平方和超曲面で測られるかぎり推定の良否
は分布の歪みとは無関係である．

【００１０】しかし，異なる標本群を考えるとき，それ
ぞれの擬似相関行列から定まる異なる等残差平方和超楕
円をもっており，各標本群に基づく最小自乗推定値の評
価はそれぞれの等残差平方和超楕円によって異なる．と
くに，超楕円の長軸方向に分布する推定値については，
他の等残差平方和超楕円による評価が悪化しやすいか
ら，すべての等残差平方和超楕円対する評価の悪化を避
けるためには，すくなくとも長軸方向の分散を縮小させ
ることが必要である．（８）式の一般有効逆行列による
最小自乗推定近似値において，ｉ番目の微小固有値が打
ち切られたものすると，推定値は更新されないからΔθ
_ｉの分散は０となり，確かに長軸方向の分散を縮小させ
る（０となる）ことがわかる．大きな打ち切り固有値の
選択は，推定値の分散を縮小させ，数値的安定性を向上
させるという点では許容される．しかし，この固有値を
越えないとき推定の更新は起こらないから，推定の真の
値への到達を確実に保証するためには充分に大きな説明
変数の励起を必要とし，打ち切られる固有値の個数を減
らさなければならない．固有値の打ち切りによって最小
自乗法の数値的安定性は改善されるものの，推定の真の
値への到達性は説明変数の励起状態に依存すると考えら
れる．この手法は固有値と固有ベクトルの複雑な計算を
必要し，とくに説明変数の次数が高いときに微小固有値
まで含めた多数の固有値を求めることは，計算に要する
時間と精度の点で非常な困難を伴う．このため，実際に
は比較的大きな値で多数の固有値を打ち切らざるをえな
いことがあることを考慮すると，この手法では正確な推
定が保証されない．

【００１１】最小自乗法において，正規方程式の疑似相
関行列が０あるいは非常に小さな固有値をもつとき，推
定値はおおきな分散をもち信頼性が低下することはすで
にみてきたとおりである．この分散の大きさは，元の最
小自乗評価関数に更新量を調節する適当な評価関数項を
付け加えることによって，変更することができる．
（５）式の最小自乗法の原問題を実対称行列Ｄを用いて
次式のように δｗ・Ａ・δｗ^Ｔ−２δｗ・ｂ＋ｃ＋δｗ・Ｄ・δｗ^Ｔ→ｍｉｎ（１４）修整する．ただし，δｗは修整された最小自乗法による
推定の更新値を示す．とくに，Ｄが適当な正数γのスカ
ラ行列γＩに選ばれるならば，この推定は統計学で用い
られるリッジ回帰に相当する．この修整された問題に対
して，最小条件を満たすδｗは，（Ａ＋Ｄ）・δｗ^Ｔ＝ｂ（１５）であたえられる．（６）式と比較すると，このδｗは擬
似相関行列ＡをＡ＋Ｄで近似したときのΔｗの近似とな
っていることがわかる．λ_ｍｉｎ（・）によって行列
（・）の最小固有値をあらわすものとすると，半正定値
行列Ａに対して， λ_ｍｉｎ（Ａ＋Ｄ）≧λ_ｍｉｎ（Ａ）＋λ_ｍｉｎ（Ｄ）≧λ_ｍｉｎ（Ｄ）が成り立つから，すくなくともＤを適当な正定値行列に
選択することによって，Ａ＋Ｄの最小固有値を任意に大
きくすることができることがわかる．したがって，Ａ＋
Ｄの最小固有値を確実に非零となるから，（６）式の元
の最小自乗解が一意でないときにも，（１５）式の修整
最小自乗解δｗをつねに一意に決定することができる．
リッジ回帰はこの正則化の効果を第一の目的とするもの
である．なお，固有値分解によってＡ＝Ｖ・ｄｉａｇ〔λ_１…λ_ｎ０… ０〕・Ｖ^Ｔと表わされるＡに対して，ＤをＤ＝Ｖ・ｄｉａｇ〔０… ０∞ … ∞〕・Ｖ^Ｔなる半正定値行列に選ぶとき，（１５）式より， δθ^Ｔ＝Ｖ^Ｔδｗ^Ｔ＝ｄｉａｇ〔λ_１ ⁻λ_２ ⁻・・・λ_ｎ ⁻０・・・０〕Ｖ^Ｔｂとなり，この推定値は（８）式の推定値Δθ^Ｔと一致す
る．したがって，固有値打ち切りによる一般有効逆行列
の手法も，この修整の特殊な場合として含まれ，ここで
示した実対称行列Ｄを用いた修整によって一般的に取り
扱えることがわかる．さて，λ_ｉ（・）によってｉ番目
の固有値を表わすものとすれば，修整された最小自乗解
δｗの分散について，（１３）式と同様の式ｃｏｖ．〔ｄｉａｇ〔λ_ｉ（Ａ＋Ｄ）〕・δθ^Ｔ〕≦ｄｉａｇ〔λ_ｉ（Ａ＋Ｄ）〕・α_ｓｕｐσ^２が成り立つことがいえる．したがって，この修整によっ
て，推定値δｗの分散を任意に小さくすることが可能で
あり，推定を安定化することができる．Ａ＋Ｄの最小固
有値のおおきさの適当な選択によって，とくに，最小自
乗法の近似解δｗの長軸方向の分散を元の最小自乗解Δ
ｗのそれよりちいさくおさえられることから，この修整
には，悪条件下の最小自乗法で生じた推定評価の不整合
を改善する好ましい効果を期待できる．この修整解δｗ
によって，推定値ｗ〔ｋ〕を（４）式と同様に，ｗ〔ｋ〕＝ｗ〔ｋ−１〕＋δｗ〔ｋ〕（１６）で更新するものとしよう．さらに，半正定値行列Ｄ
〔ｋ〕をある非零なλ〔ｋ〕に対して，Ａ〔ｋ〕＋Ｄ〔ｋ〕＝λ〔ｋ〕・Ｉとなるように選ぶと，（１５）式は（Ａ〔ｋ〕＋Ｄ〔ｋ〕）δｗ〔ｋ〕^Ｔ＝λ〔ｋ〕δｗ〔ｋ〕^Ｔ＝ｂ〔ｋ〕（１７）となるから，更新量δｗ〔ｋ〕は δｗ〔ｋ〕^Ｔ＝ｂ〔ｋ〕／λ〔ｋ〕（１８）で与えられ，推定値はｗ〔ｋ〕^Ｔ＝ｗ〔ｋ−１〕^Ｔ＋δｗ〔ｋ〕^Ｔ＝ｗ〔ｋ−１〕^Ｔ’＋ｂ〔ｋ〕／λ 〔ｋ〕（１９）のような極めて簡単な更新アルゴリズムによって更新さ
れる．もし，ｋ番目の推定に用いられる標本集合が，た
だ１つの標本を含むだけであり，λ〔ｋ〕が適当な定数
に選らばれるならば，この更新アルゴリズムは制御工学
で急降下法より導かれたＷｉｄｒｏｗのＬＭＳ法と，ま
たは，λ〔ｋ〕がその標本の内積に選ばれるならば改良
ＬＭＳ法と一致する，あるいは，λ〔ｋ〕が適当なアル
ゴリズムにしたがってｋとともに増大する系列に選らば
れるならば，確率近似法（ＳＡ法）と一致することか
ら，最小自乗法の擬似相関行列をλで近似する本発明の
推定法はより広い一般性をもっている．このとき，
（４），（６）式の最小自乗法による推定では，推定値
ｗの期待値は真の更新値ｗ^＊と一致し，ｗ〔ｋ〕の分布
はｗ〔ｋ−１〕の分布に依存しない単純な独立変動確率
過程に従うのに対し，（１５），（１６）式による推定
では，ｗの期待値は必ずしもｗ^＊に一致せず，また，ｗ
〔ｋ〕の分布はｗ〔ｋ−１〕に依存する非独立な変動確
率過程となる．以下に，本発明の推定法によって推定値
が推移するとき，期待値ｗ〔ｋ〕は，元の最小自乗法の
期待値（真値ｗ^＊）へ収束し，その分散も有界に保たれ
ることを示めし，この修整が実際に悪条件下の最小自乗
法を改良する有力な手段をあたえていることを明らかに
する．

【００１２】

【作用】（１９）式より，推定値の真値からの偏差は，（ｗ〔ｋ〕−ｗ^＊）^Ｔ＝（ｗ〔ｋ−１〕−ｗ^＊）^Ｔ＋ｂ〔ｋ〕／λ〔ｋ〕にしたがって推移することがわかる．さらに，であるから，（１９）式のアルゴリズムによる推定値の
更新過程は，つぎの推移方程式，

【数１１】に従う．ただし，Φ〔ｋ〕は，Φ〔ｋ〕＝Ｉ−Ａ〔ｋ〕
／λ〔ｋ〕なる推移行列である．さて，任意ｗ_０に対し
て，ｗ

〔０〕＝ｗ_０を推定の初期条件とすると，推定値
は

【数１２】とあらわせるから，αｘ／λが無相関ならば，初期値ｗ
_ｏに対して，ｋ番目の推定の期待値は

【数１３】となる．したがって，ｋ−１番目とｋ番目の期待値の真
の値からの偏差は（Ｅ〔ｗ〔ｋ〕〕−ｗ^＊）^Ｔ＝Φ〔ｋ〕・（Ｅ〔ｗ〔ｋ−１〕〕−ｗ^＊）^Ｔ（２３）の関係をもつ．ここで，推移行列Φ〔ｋ〕は実対称であ
るから，その全ての固有値に対して −１＜λ_ｉ（Φ〔ｋ〕）≦１，すなわち，Ａ〔ｋ〕の最大固有値λ_ｍａｘ（Ａ〔ｋ〕）
に対して， λ〔ｋ〕＞λ_ｍａｘ（Ａ〔ｋ〕）／２（２４）ならば，つねに ‖Ｅ〔ｗ〔ｋ〕〕−ｗ^＊‖≦‖Ｅ〔ｗ〔ｋ−１〕〕−ｗ^＊‖ が成り立つ．このような数列｛‖Ｅ〔ｗ〔ｋ〕〕−ｗ
^＊‖｝は単調減少（不増加）であり，下に有界だから，

【数１４】となることより，

【数１５】が成り立つ．したがって，ある極限Ｅ〔ｗ〔∞）が存在
し，

【数１６】となる．この極限Ｅ〔ｗ〔∞〕〕が有界であることは，
収束条件（２４）式よりＩＩΦ≦Ｉとなり，有界な初期
ベクトルｗ_ｏに対して（２２）式がつねに有界となるこ
とより明らかである．（２３）式より，（Ｅ〔ｗ〔ｋ〕〕−Ｅ〔ｗ〔ｋ−１〕〕）^Ｔ＝Ａ〔ｋ〕／λ〔ｋ〕（Ｅ〔ｗ〔ｋ −１〕〕−ｗ^＊）^Ｔであるから

【数１７】の収束も成り立つ．ところで，を考慮すると，左辺と右辺の初項が，０に収束すること
より，右辺の第２項についても，

【数１８】でなければならない．したがって，ｉ）Ｅ〔ｗ〔∞〕〕＝ｗ^＊であるか，ｉｉ）さもなければ，Ａ〔ｋ〕／λ〔ｋ〕の少なくとも
１つの固有値は０に収束し，しかも，その固有値に属す
る固有ベクトルは，非零ベクトル（Ｅ〔ｗ〔∞〕〕−ｗ
^＊）に収束しなければならない．推定の期待値Ｅ〔ｗ〔ｋ〕〕は，ｉ）の場合には，推定
期待値は真値ｗ^＊に収束し，偏り（ｂａｉａｓ）をもた
ない．ｉｉ）の場合には，充分大きなｋに対して，Ａ
〔ｋ〕，Ａ〔ｋ＋１〕，・・・によってそれぞれ定まる
残差平方和評価がほとんど等しくなるという意味で真値
ｗ^＊と同値なＥ〔ｗ〔∞〕〕に収束することがいえる．
ところで，ｉｉ）の場合は，説明変数がもともと独立で
ない，あるいは，充分大きなｋ以後の推定に用いられる
標本の説明変数が漸近的に線型従属となっているときに
おこる．前者は，対象の真の次数より次数の高い，いわ
ゆる，ＯｖｅｒＰａｒａｍｅｔｅｒｉｚｅｄＭｏｄ
ｅｌに回帰しようとするときに，また，後者は，対象を
撹乱するという理由で説明変数におおきな励起が許され
ないとき，あるいは，説明変数の偶然の励起を待つ以外
に手段がないときなどに，しばしば現われる．このと
き，真の値の推定はどのような手法によっても不可能で
あり，すくなくとも，推定期待値の無矛盾性，有界性は
保証されるから，この推定法の実用性を下げることには
ならない．もちろん，ｉｉ）の場合でも，説明変数の線
型従属性を乱すような適当に励起された標本が供給され
るとき，ふたたび真値への接近がおこる．

【００１３】本発明の推定法において，推定期待値は真
値，あるいは，それと同値な値に収束することが示めさ
れた．つぎに，推定値の分散が有界に保たれ，実際に安
定化されることを示めす．（１９）式で表わされる確率
過程はすでに述べたように非独立的である．各更新ｋに
おいて使用される標本集合が互いに重複部分をもたない
場合には，ｗ〔ｋ−１〕，ｗ〔ｋ−２〕・・・とｋ番目
の標本に含まれるε〔ｋ，ｊ〕とは独立となり，ｗ
〔ｋ〕の更新過程はｗ〔ｋ−１〕とε〔ｋ，ｊ〕の加法
分布のみに依存する比較的に簡単なＭａｒｋｏｖ過程と
なる．まず，Ｍａｒｋｏｖ過程の場合からはじめよう．
このとき，更新される推定値の分散は，（２０）式よ
り，

【数１９】で表わされる．評価の重み係数αの上限を α_ｓｕｐ≧α〔ｋ，ｊ〕ｆｏｒａｌｌｋａｎｄｊ（２６）とすると，

【数２０】となり，（２５）式よりがえられる．疑似相関行列Ａと推移行列Φは，Ａの固有
ベクトルからなる正規直交行列Ｖとその転置行列Ｖ^Ｔに
よって，それぞれ，となる．ただし，ｒ_ｉは，Ａの各固有値λ_ｉのλとの
比，ｒ_ｉ＝λ_ｉ／λとする．（２７）式の分散共分散行
列の右および左からＡの固有ベクトル行列Ｖとその転置
行列Ｖ^Ｔを掛けて，整理するとが得られる．ここで，Ａの最大固有値λ_ｍａｘ（Ａ）と
の比が与えられたγ_ｓｕｐを超えないように γ_ｓｕｐ≧λ_ｍａｘ（Ａ〔ｋ〕）／λ〔ｋ〕ｆｏｒａｌｌｋ（２９） λ〔ｋ〕を選ぶものとする．このとき，｛λ_ｍａｘ（Ａ
〔ｋ〕）｝が０でない（正の）下限をもつならば｛λ
〔ｋ〕｝にも０でない（正の）下限λ_ｉｎｆが存在す
る．（１）式で定義したように，説明変数｛ｗ_ｉ｝のう
ちすくなくともｗ_ｍは非零定数であること，適当なｊに
対してα〔ｋ，ｊ〕は非零であることから，疑似相関行
列Ａ〔ｋ〕の最大固有値は０でない．すなわち，正の下
限λ_ｉｎｆは実際に存在する．このとき，収束条件（２
４）式より０＜ｒ_ｉ＜γ_ｓｕｐ＜２だからが成り立ち，となることがわかる．したがって，上式にα_ｓｕｐσ^２
をかけて，（２８）式の両辺の対角項に加えると，を得る．さらに，上式の両辺に左右からＶ，Ｖ^Ｔをそれ
ぞれ掛けてがえられる．いま，ｋ−１番目の推定値分散についてｃｏｖ〔ｗ〔ｋ−１〕^Ｔ〕≦α_ｓｕｐσ^２／（２−γ_ｓｕｐ）λ_ｉｎｆ・Ｉが満たされているものとすると，（３０）式より，すなわち，ｋ番目の推定値分散についてもｃｏｖ〔ｗ〔ｋ〕^Ｔ〕≦α_ｓｕｐσ^２／（２−γ_ｓｕｐ）λ_ｉｎｆ・Ｉ（３１）が満たされる．ところで，初期推定値ｗ

〔０〕＝ｗ
_０は，適当に与えられる確定値であるから，分散は，を満たす．したがって，すべてのｋに対して，（３１）
式が成り立つ．α_ｓｕｐ，γ_ｓｕｐ，λ_ｉｎｆは上限，
あるいは，下限であることから，（３１）式の右辺の大
きさは有界であり，推定値の分散はつねに有界となるこ
とが証明される．

【００１４】つぎに，標本集合に重複があり，推定確率
過程がＭａｒｃｏｖ性をもたないときの分散について考
察する．このとき，（２１）式より明らかなように，ｋ
番目の推定値ｗ〔ｋ〕の分布は，ｋ番目までの推定に用
いられたすべての標本の分布の加法分布となる．したが
って，推定値ｗ〔ｋ〕の分散は，各撹乱項ε〔ｉ，ｊ〕
が推定値ｗ〔ｋ〕の分散にあたえる寄与の和として表わ
される．いま，ｋ回までの推定値更新において，使用さ
れたある１つの標本（ｘ，ｙ）に着目する．ι回目（ι
≦ｋ）の推定値更新におけるこの標本に対する評価重み
を， β（ι〕＝α〔ι，ｊ〕（ι回目の更新の標本集合に
標本番号ｊとして含まれているとき，） β〔ι〕＝０（ι回目の更新の標本集合に含まれないとき，）（３２）で置き換える．ただし，１つの標本集合には標本の重複
はないものとする．零でないβ〔ι〕（ι＝１，２，・
・・，ｋ）が２つ以上あるとき，この標本は更新の過程
で重複して使用されていることを意味し，更新はＭａｒ
ｃｏｖ過程とはならない．この標本に含まれる撹乱項ε
は他の標本に含まれる撹乱項とは独立だから，この撹乱
項εの分散共分散行列ｃｏｖ〔ｗ〔ｋ〕−ｗ^＊）^Ｔ〕に
対する寄与の大きさをＭとするとで与えられる．ただし，

【数２１】いま，Ψ_１，・・・，Ψ_ｎを任意正方行列，γ_１，・・
・，γ_ｎを任意スカラとすると，

【数２２】が成り立つ．上式の関係を考慮すると，（３３）式よ
り，となる．ただし， γ〔ｋ〕＝β〔１〕／λ〔１〕＋β〔２〕／λ〔２〕・・・・＋β〔ｋ〕／λ〔ｋ〕．任意に与えられたγ_ｓｕｐに対して，（２９）式を満た
すようにλ〔ｋ〕を決定するとき，すでに述べたように
λ〔ｋ〕｝の正の下限λ_ｉｎｆが存在するから γ〔ｋ〕≦（β〔１〕＋β〔２〕＋・・・＋β〔ｋ〕）／λ_ｉｎｆ・いま，すべてのβ〔ι〕の和が収束し，ある上限β
_ｓｕｐを越えないものとする，すなわち，

【数２３】とすると， γ〔ｋ〕≦（β_ｓｕｐ／λ_ｉｎｆとなり，推定値分散に対する寄与Ｍについて，が成り立つことがわかる．ｋ回目の推定値の分散は，ｋ
回目までの推定に使用された標本に含まれる各撹乱項ε
〔ｉ，ｊ〕の寄与Ｍの総和となるから，各撹乱項ε
〔ｉ，ｊ〕について，上式の両辺のそれぞれの総和を求
めると，ｃｏｖ〔ｗ〔ｋ〕〕≦Γ〔ｋ〕（３４）が成り立つ．ただし，

【数２４】である．ところで，Ψ〔ι〕の定義より明らかなよう
に，このΓ〔ｋ〕に対して，の推移方程式が成り立つ．疑似相関行列Ａと推移行列Φ
は，Ａの固有値λ_ｉとλとの比をｒ_ｉ＝λ_ｉ／λとすれ
ば，適当な行列Ｖによって，で表わせるから，（３５）式の右および左から行列Ｖと
その転置行列Ｖ^Ｔを掛けて，整理するとと書き改めることができる．ここで，（２９）式が満た
されるようにλ〔ｋ〕を決定すれば，が成り立つ．したがって，上式にβ_ｓｕｐσ^２をかけ
て，（３６）式の両辺の対角にそれぞれ加えると，がえられる．さらに，上式の両辺の左右からＶ，Ｖ^Ｔを
掛けて，なる関係をうる．いま， Γ〔ｋ−１〕≦β_ｓｕｐ／（２−γ_ｓｕｐ）λ_ｉｎｆ・Ｉであるものとすると，（３７）式の右辺は，となり，ｋ＋１についても，また， Γ〔ｋ〕≦β_ｓｕｐσ^２／（２−γ_ｓｕｐ）λ_ｉｎｆ・Ｉ（３８）が成り立つ．ところで，初期推定値ｗ

〔０〕＝ｗ_０は適
当に与えられる確定値であるから，となり，（３８）式を満たす．したがって，すべてのｋ
に対して，（３８）式が満たされる．さらに，（３
４）式より，すべてのｋに対して，（３１）式と同様のｃｏｖ〔ｗ〔ｋ〕^Ｔ〕≦Γ〔ｋ〕≦β_ｓｕｐσ^２／（２−γ_ｓｕｐ）λ_ｉｎｆ・Ｉ（３９）が成り立つことがいえる．β_ｓｕｐ，γ_ｓｕｐ，λ
_ｉｎｆは上限，あるいは，下限であることから，（３
９）式の右辺の大きさは有界であり，推定値の分散はつ
ねに有界となることが証明される．

【００１５】推定値ｗ〔ｋ〕の期待値の真値への収束お
よび分散の有界性は，推定過程のＭａｒｃｏｖ，非Ｍａ
ｒｃｏｖ性にかかわらず，すなわち，標本の重複使用の
有無にかかわらず，成立している．（３１）式と（３
９）式を比較すると，ある１つの標本がある重みをもっ
て何度かにわけて参照されるとき，その重みの総和の上
限β_ｓｕｐが，ただ１度限りの参照の場合の重みの上限
α_ｓｕｐと同じであり，両者のλ_ｉｎｆも同じならば，
その分散の七限は等しくなることがわかる．このような
標本集合があたえられるとき，分散の観点から評価する
かぎり，標本の重複使用の有無による優劣はないと想像
される．しかし，上記の条件を満たすように標本集合が
あたえられるとき，各更新において使用される標本集合
に含まれる標本数，すなわち，種類は，重複使用のある
ときの方が重複使用のないときより，つねに，多くな
る．ただ１つの標本によって更新されるＬＭＳ法，ある
いは，その改良法の欠点が収束速度の遅さにあることを
考えると，この違いは，推定期待値の収束速度の向上に
利用できる可能性があることを示している．

【００１６】最小自乗法では，線型変換した説明変数に
適用した推定結果は，無変換のときの推定と等価であ
り，推定は説明変数の座標系変換に影響されないことは
明らかである．しかしながら，本推定法の推定過程，す
なわち収束速度は，説明変数の座標系に大きく左右され
る．つぎに，収束速度向上の問題について述べる．Ｘを
最終要素が非零定数ｘ_ｍであるようなｍ次ベクトルの集
合とする．すなわち，Ｘ＝｛ｘ：ｘ＝〔ｘ_１，・・・，ｘ_ｍ〕｝．いま，ｘ∈Ｘなる説明変数ベクトルをｘ′＝Ｐ（ｘ−ｚ）（４０）によって，別の座標系上の説明変数ベクトルｘ′に移
す．ただし，

【数２５】であり，Ｓは正則とする．このとき，ｘ′∈Ｘとなるこ
とは明らかであり，第ｍ要素はふたたび非零定数ｘ_ｍと
なる．このｘ_ｍの非零な要素が含まれることは，本推定
法の，収束条件（２４）式を満たす非零なλの存在と，
（３１），あるいは，（３９）式の分散の有界性を規定
する非零なλ_ｉｎｆの存在を保証するために必要であ
る．すなわち，変換された座標の上でも推定値の収束性
と分散の有限性は保たれる．このようなｘのｘ′への変
換は，Ｚ＝Ｉ−〔０・・・０ｚ／Ｘｍ〕（４２）を考えると，ｘ−ｚ＝Ｚ・ｘ（４３）だから，Ｔ＝Ｐ・Ｚ（４４）のような行列Ｔによって，ｘ′＝Ｐ（ｘ−ｚ）＝Ｔ・ｘ（４５）と表わされ，Ｐが正則ならばＴも正則となり，線型変換
となっている．さらに，ｗ′＝ｗ・Ｔ^−１（４６）で，ｗ′を定義するとき，（２）式は，ｙ＝ｗ・ｘ＋ｅ＝ｗＴ^−１・Ｔｘ＋ｅ＝ｗ′・ｘ′＋ｅとなるから，（ｗ，ｘ）と（ｗ′，ｘ′）は等価な表現
をあたえる．ところで，正則行列Ｔは１意ではないか
ら，このような等価表現は無数に存在する．２つの座標
系上で本推定法によって決定される更新量δｗ，δｗ′
は，（１８）式より，それぞれ，となる．（４６）式を使って，２番目の更新量を１番目
の座標系上に移すと，Ｔ^Ｔδｗ′＝Ｔ^ＴＴ・ｂ／λ′ であるから，２つの座標系で決定される更新量は互いに
等価とはならず，座標系によって推定量の更新過程は異
なり，推定性能は説明変数の座標系の選択に影響される
ことがわかる．いま，擬似相関行列Ａが正則とすると，
最小自乗法によってあたえられる推定値期待値は最良と
なる．これを変換された座標上でＥ（Δｗ′〕で表わせ
ば，（６）式より，（ＴＡＴ^Ｔ）・Ｅ〔Δｗ′〕^Ｔ＝ＴＥ〔ｂ〕を満たす．一方，本推定法による推定期待値は λ′・Ｅ〔δｗ′^Ｔ〕＝ＴＥ〔ｂ〕であるから，λ′Ｉ＝ＴＡＴ^Ｔとする有界な変換Ｔが存
在するならば，Ｅ〔δｗ′〕＝Ｅ〔Δｗ′〕となり，本推定法は，最良である最小自乗解と期待値に
おいて一致する．したがって，本推定法に対する最良の
座標系はこのような変換Ｔによってあたえられるところ
で，行列ＴＡＴ^Ｔの最右下の要素はどのような変換Ｔに
対しても，つねにΣαｘ_ｍ ^２であるから，より，λ′＝Σαｘ_ｍ ^２でなければならない．すなわ
ち，ＴＡＴ^Ｔ＝Σαｘ_ｍ ^２・Ｉなる有界な変換Ｔは最良の座標系をあたえ，このとき， λ′＝λ_ｍａｘ（ＴＡＴ^Ｔ）なるλ′による推定は最良の期待値をあたえる．

【００１７】いま，重みαによる平均Ｍを考え，Ｍ＝Σαｘ／Σα， δｘ＝ｘ−Ｍとおくとき，δｘの第ｍ要素はつねに０となる．したが
って，ｘ′＝Ｔｘ＝Ｔ（δｘ＋Ｍ）＝Ｔ・δｘ＋ＴＭ^・＝Ｐ・δｘ＋ＴＭとなるから，ＴＭ＝〔０・・・０ｘ_ｍ〕^Ｔならば，δｘとＴＭは独立となり，

【数２６】となる．ただし，Δは適当な行列である．このとき，そ
のすべての非零固有値を適当な変換ＳによってΣαｘ_ｍ
^２とすることができるから，このような変換によってえ
られる座標上で期待される推定は最良となることがわか
る．逆に，ＴＭ≠〔０・・・０ｘ_ｍ〕^Ｔのとき，上式の
右辺の行列の最終行，列の０部分は非零となるから，Ｔ
ＡＴ^Ｔの最大固有植は，どのようなＳに対しても λ_ｍａｘ（ＴＡＴ^Ｔ）＞Σαｘ_ｍ ^２となり，座標上で期待される推定は最良とはならないこ
とがわかる．したがって，椎定期待値が最良となる座標
系を得るためには，変換Ｔは，を満たさなければならない．このことは，重み付き平均
を使って，ｘ_１，・・，ｘ_ｍ−１の説明変数から変動に
寄与しない（直流）成分を取り除き，真に変動する（交
流）成分δｘを使って回帰すべきことを意味し，最小自
乗法で条件数を改善するためによく用いられる手法と一
致している．

【００１８】つぎに，Ｓの決定法について述べる．この
座標系での推定値の分散は，（３９）式によれば，ｃｏｖ〔ｗ′^Ｔ〕≦β_ｓｕｐσ^２／（２−γ_ｓｕｐ）λ_ｉｎｆ・Ｉであるから，もとの座標系上では，となる．Ｔ^ＴＴが単位行列Ｉより大きいとき，推定値の
分散はもとの座標系上での推定より悪化する．このこと
は，（３１）式でも同様である．ところで，

【数２７】において左上の（ｍ−１）次部分正方行列は，Ｓ^ＴＳと
なることよりｗ_１，・・・，ｗ_ｍ−１の分散のみについ
ては，であり，Ｓ^ＴＳが大きくなれば，それだけ，もとの座標
系上での推定値の分散は大きく悪化する．このことは，
（３１）式についても同様である．さて，Δは，その正
規化固有ベクトルを列にもつ正規直交行列ＶによってＶ^ＴΔＶ＝ｄｉａｇ〔λ_１・・・λ_ｍ−１〕と表わせる．ただし，λ_ｉはΔの固有値である．対角行
列Ｒ＝ｄｉａｇ〔ｒ_１・・・ｒ_ｍ−１〕を使って，ＲＶ^ＴΔＶＲ＝ｄｉａｇ〔ｒ_１ ^２・λ_１・・・ｒ_ｍ−１ ^２・λ_ｍ−１〕となるから，Ｓ＝ＲＶ^Ｔ（４８）とすれば，ＳΔＳ^Ｔ＝ｄｉａｇ〔ｒ_１ ^２・λ_１・・・ｒ_ｍ−１ ^２・λ_ｍ−１〕が得られる．このとき，ｒ_ｉ＝（Σαｘ_ｍ ^２／λ_ｉ）^１／２と選べば，ＳΔＳ^Ｔ＝Σαｘ_ｍ ^２Ｉすなわち，ＴＡＴ^Ｔ＝Σαｘ_ｍ ^２Ｉとなり，最良の座標変換となることがわかる．しかし，
小さすぎるλ_ｉに対して，ｒ_ｉを上のように決定する
と，推定値の分散が悪化する．また，次数ｍが大きいと
き，すべての固有値および固有ベクトルを計算機で求め
ることは，精度の点，計算時間の点で問題がある．ベキ
乗法という計算法を用いれば，固有値の大きい方から順
に，固有ベクトルの何本かを比較的精度よく簡単に求め
ることができる．このようにして，あまり小さくないｎ
＋１個の固有値とｎ本の正規化された固有ベクトルが求
められたものとする．そして，のように，ｒ_ｉを決定すると，推定値分散を抑えた，よ
り最良の，すなわち，より推定値の収束速度の速い，し
かも，実用的な推定法となることがわかる．なお，固有
ベクトルはｎ本がわかっているのみであるが，推定値の
更新にはこれで充分であることが以下のようにして示さ
れる．（４８）式より，いま，わかっているｎ本の固有ベクトルを列にもつ行列
をＶ_１，残りの固有ベクトルを列にもつ行列をＶ_２とす
ると，Ｖ＝〔Ｖ_１Ｖ_２〕となることより，である．すなわち，Ｓ^ＴＳはわかっている固有ベクトル
と固有値だけから決定できる．さらに

【数２８】であり，λ′はΣαｘ_ｍ ^２か残りの固有値λ_ｎ＋１のい
ずれかであるＴＡＴ^Ｔの最大固有値より，収束条件（２
４）式を満たすように決定されるから，この推定法は計
算できる固有値，固有ベクトルだけを使って，より最良
の推定値が得られる実用的な方法となっている．

【００１９】つぎに，以上のような座標変換を伴った
推定法によって，その推定期待値が真値または，それと
同値な値に収束することを述べる．上のＴ〔ｋ〕によっ
て，変換された座標系上での推定値ｗ′〔ｋ〕は，（２
３）式より，のように推移する．（４６）式より，さらに，（４１），（４８）式より，

【数２９】（４２），（４７）式より，

【数３０】であることを考慮すると，

【数３１】は，対角行列となり，Ｉ−Ｐ〔ｋ〕^ＴＰ〔ｋ〕Ｚ〔ｋ〕
Ａ〔ｋ〕Ｚ〔ｋ〕^Ｔ／λ′〔ｋ〕もまた，対角行列とな
り，その対角要素は−１より大きく，１を越えないこと
がわかる．したがって，ベクトルＺ〔ｋ〕^Ｔ−１（ｗ
〔ｋ〕−ｗ^＊）^Ｔの各要素はＺ〔ｋ〕^Ｔ−１（ｗ〔ｋ−
１〕−ｗ^＊）^Ｔの対応する各要素の絶対値の大きさを越
えない．さらに，（４２）式を考慮すると，（ｗ〔ｋ〕
−ｗ^＊）の第１から第ｍ−１の各要素は，（ｗ〔ｋ−
１〕−ｗ^＊）の対応する各要素の絶対値の大きさを越え
ない．したがって，ｗ〔ｋ〕の第１から第ｍ−１の各要
素は，真値，もしくは，それと同値な値に単調に収束す
る．そして，説明変数が励起されているならば，ｗ
〔ｋ〕の第１から第ｍ−１の各要素は，真値に収束し，
残りのｗ〔ｋ〕の第ｍの要素も，真値へ収束する．ま
た，励起していないならば，ｚ〔ｋ〕は不変であるか
ら，ｗ〔ｋ〕の第１から第ｍ−１の各要素の真値と同値
な値への収束に伴って，残りのｗ〔ｋ〕の第ｍの要素
も，真値と同値な値に収束する．

【００２０】以上に述べた方法は，固有値と固有ベクト
ルの計算の負担がやや重いため，強くリアルタイム性が
求められるとき，このまま実行することができない場合
もあるかもしれない．この負担を避けるため，すべての
ｋについて，Ｔ〔ｋ〕を求めるかわりに，Ａ〔ｋ〕の平
均値の見積に対して求めた固定座標変換Ｔによる固定座
標上で推定する方法も考えられよう．このとき，平均的
に良い推定が期待できる．あるいは，対角行列に限定し
たＳ〔ｋ〕によって，Ｓ〔ｋ〕ΔＳ〔ｋ〕^Ｔの対角項を
Σαｘ_ｍ ^２に近づける一種の正規化の方法によっても，
固有値計算は避けられる．この正規化の手法は，疑似相
関行列の固有値の大きさが極端に異なるときに，大きさ
を揃え計算を安定させるために，通常の最小自乗法でも
有効とされている．

【００２１】

【実施例】本モデル同定器に適当なフィードバック制御
を組み合わせることで，ＣＥ原理に基づいた適応制御系
を構成することができる．すなわち，本同定器によって
逐次更新推定される制御対象の線型回帰モデルのパラメ
ータを用いて，フィードバック制御器が設計手順を自動
化した自動設計器によって適応調整される．そして，こ
の調整されたフィードバック制御器によって，対象の制
御が最終的に達成される．制御の対象として，ｙ〔ｋ〕＝−２ｙ〔ｋ−１〕−ｕ〔ｋ〕＋２ｕ〔ｋ−１〕−１の時系列システムを用いた．これは，不安定極，零点を
もつ自己不安定，非最小位相の，比較的制御の難しい系
となっている．このシステムに対して，被説明をｙ
〔ｋ〕，説明変数ベクトルをｘ〔ｋ〕＝〔ｙ〔ｋ−１〕
・・・ｙ〔ｋ−１０〕ｕ〔ｋ〕・・・ｕ〔ｋ−９）１〕
として同定器を設定した．この場合，推定されるパラメ
ータを２１個もつ，対象より次数過多のＯｖｅｒＰａ
ｒａｍｅｔｅｒａｉｚｅｄＭｏｄｅｌで同定している
ことになり，最小自乗法では安定した推定を得ることは
難しい．ここでは，各時刻で採取されたこれらの変数の
標本を推定に重複して使用するものとする．ただし，時
刻が更新されるたびに，過去の標本の重みをγ（０．
９）倍することによって軽くした．この重み付けは，重
み付き最小自乗法でよく用いられｅｘｐｏｎｅｎｔｉａ
ｌｗｉｎｄｏｗと呼ばれるものと同じであり，この方
法では．最新の説明変数をｘ〔ｋ〕とすると，たとえ
ば，擬似相関行列はＡ〔ｋ〕＝γＡ〔ｋ−１〕＋ｘ〔ｋ〕ｘ〔ｋ〕^Ｔのように更新される．このとき，β_ｓｕｐは１／（１−
γ）となり有限である．ところで，対象システムのパラ
メータがわかっているものとすると，この適応制御系に
組み込まれた制御器設計法は，ｕ〔ｋ〕＝−１．２ｙ〔ｋ−１〕＋１．２ｕ〔ｋ−１〕＋０．６ｙ^＊−０．２と設計するようになっている．ただし，ｙ^＊は設定値で
ある．まず，この制御による，０から１への設定値変更
時のシステムの応答を図１に示した，つぎに，適応制御
を実施した例を図２に示した．モデルの初期値として，
ｙ〔ｋ〕＝ｕ〔ｋ〕のかなり真値とは異なるものを用い
たために，制御の開始後，大きな乱れを生じている．し
かしながら，モデル同定器の推定値の収束とともに最初
の設定値０へ整定している．その後の設定値の１への変
更に対する応答は，図１のものとほぼ一致していること
から，モデル同定の目的が達せられたことが確認でき
る．

【００２２】

【発明の効果】最小自乗法あるいは重み付き最小自乗法
の擬似相関行列をその最大固有値の１／２より大きなス
カラで近似することによって，安定な逐次線型回帰モデ
ル同定器が得られた．そして，座標系のもつ推定性能に
与える影響を調べることによって，本同定器は，擬似相
関行列の固有植の大きさが非零な値に揃っているとき
に，最小自乗法の本来もっている最良の性能と一致する
ことがわかった．ただ１つの標本からつくられる擬似相
関行列の近似を用いた場合に相当するＬＨＳ法，あるい
はその改良された方法では非零となりうる固有値がただ
１つであり，その他はすべて０であるため，安定性の高
さにもかかわらず，推定値の収束速度の遅さに問題があ
った．本同定器では，標本が複数であり，しかも，重複
使用が許されるから，擬似相関行列の固有値は複数の非
零固有値をもち，その大きさも平均化の効果によって揃
うことが期待できる．したがって，より高速な収束速度
が得られる．さらに，座標変換を伴う場合，本同定器
は，推定の安定性を保ったまま最小自乗法の本来もって
いる最良の性能に近づけることができ，さらに高速な収
束速度が得られる．本同定器の安定性，高速性は，理論
的に裏づけられており，その実行に際して人的な補助を
必須要件としない．したがって，適応制御に代表される
ような自動意志決定マシンに応用することができ，省力
化，生産性向上に極めて有効である．

【図面の簡単な説明】

【図１】確定システムとして設計されたときの制御系
の応答．

【図２】モデル同定器を用いて適応設計されたときの
制御系の応答．

Claims

【特許請求の範囲】

【請求項１】最小自乗法もしくは重み付き最小自乗法の
擬似相関行列をその最大固有値の１／２より大きなスカ
ラで近似することを特徴とする逐次線型回帰モデル同定
器．