JPH05151188A

JPH05151188A - エキスパートシステム機能を備えたニユーラルネツトワーク

Info

Publication number: JPH05151188A
Application number: JP3186788A
Authority: JP
Inventors: Curt A Levey; カート・エイ・リヴエイ
Original assignee: H N C Inc; HNC Inc
Current assignee: H N C Inc; HNC Inc
Priority date: 1990-07-27
Filing date: 1991-07-26
Publication date: 1993-06-18
Also published as: US5398300A; EP0468229A3; EP0468229A2

Abstract

(57)【要約】【目的】エキスパートシステム機能を備えたニューラ
ルネットワークを提供する。【構成】本発明の方法は、訓練されたフィードフォワ
ードニューラルネットワーク上で各種エキスパートシス
テムの機能を実行するための方法を提供する。これらの
機能は、決定作成、説明、信頼度測定の計算及び情報獲
得の知能方向を含んでいる。さらに、この方法はネット
ワーク内に含意される知識を正確なif-then規則の組に
変換する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はニューラルネットワーク
に関し、さらに詳細には、フィードフォワードネットワ
ークとして知られるニューラルネットワークのクラスに
関する。

【０００２】

【従来の技術】ニューラルネットワークは、一連のニュ
ーロン状処理要素（ＰＥ）の相互接続から構成される。
ＰＥ間の接続の強さは重みにより表される。各ＰＥは状
態として知られる値を格納する。状態は、入力データに
より特定されるか、あるいは、ＰＥの変換機能を用い
て、ＰＥの入力と重みから計算される。典型的には、変
換機能がＰＥのネット入力、すなわちその入力の重み合
計に付与されている。総合的には、状態は短期間の情報
を表すために用いられる。長期間情報、すなわち学習は
重みにより表される。ニューラルネットワークはそれら
の重みを修正することにより事例から学習を行う。学習
又は訓練が完了すると、これらのネットワークは各種の
計算機用タスクを実行可能になる。

【０００３】ニューラルネットワークの大部分の使用
は、フィードフォワードネットワークに向けられてい
る。これらのネットワークは、入力ノードのレイヤ、出
力ノードのレイヤ、及び任意選択により、それらの間の
いくつかの隠しレイヤから成るアーキテクチャを備えて
いる。入力データは、入力レイヤの状態を用いて表され
る。このデータに対するネットワークの応答は、出力レ
イヤの状態により表される。これらのネットワークのフ
ィードフォワードの特質は、対話の間に、計算が入力レ
イヤから各隠しレイヤを通して出力レイヤに流れるとい
う事実に起因している。このアーキテクチャにより、ネ
ットワークは、入力状態を、入力に対する正確な応答に
近似する出力状態にマップすることを学習する。例え
ば、入力状態が医療患者により示される容体を表す場合
には、ネットワークは、これらの容体に対する正確な診
断の評価を示す出力状態を発生することが可能である。

【０００４】ニューラルネットワークが広く受け入れら
れることに対する障害の一つは、ニューラルネットワー
クが主としてブラックボックスとして機能するという事
実である。特定の組の入力がどうして特定の出力を発生
するのかを理解することが困難なことがしばしばある。
この困難性は、ネットワークの「知識」は、相互接続の
複雑なウェブに関連する重みにコード化される。ネット
ワークの入力の項目内の特定の出力を説明するための方
法である、ニューラルネットワークの説明方法を見いだ
すことが好ましい。例えば、ネットワークが貸出決定を
行うために用いられる場合には、申請者を記述する入力
データの項目内のこれらの項目を説明することが好まし
い。この種の説明は否定的な貸出決定に必要である。

【０００５】ブラックボックス問題は、２つのレイヤの
フィードフォワードネットワーク、すなわち、隠しレイ
ヤの存在しない場合には、そう深刻な問題ではない。こ
れらのネットワークでは、入力と出力の関係が直接的で
ある。入力ＰＥと出力ＰＥの間の状態の間の関係の大き
さ及び方向は、２つのＰＥの間の接続の重みにより得ら
れる。各入力と出力の間の関係は固定されているので、
これらの単純なネットワークは、非単調関係ような、入
力と出力の可変的関係を捕捉することができない。さら
にまた、複数の入力の間の相互独立をも捕捉することが
できない。すなわち、かかるネットワークでは、ある出
力に対するある入力の効果を他の入力の間とは独立にマ
ッピングすることができない。かかるネットワークは、
線形的なマッピング、すなわち、各出力が入力の重み付
け合計に比例するようなマッピングを学習することのみ
である。このように、これらのネットワークは、実世界
に存在する関係の限定されたサブセットのみを学習する
ように制限されている。

【０００６】隠しレイヤを備えたネットワークは、入力
と出力の間の非単調関係及び複数の入力の間の独立性を
含むような、非単調的なマッピングを学習するために必
要である。これらのネットワークでは入力と出力の直接
的関係は存在しないために、説明は困難な問題である。
説明の一つの試みでは、感度分析を用いる。この技法
は、入力の値を変更し、ネットワークと対話し、ネット
ワークの出力内に意味のある変更が存在するかどうかを
調べることを含んでいる。事例として、医療分野を用い
れば、感度分析は、入力容体の１つの変更と、ネットワ
ークの診断出力の変更が存在するかどうかを調べること
を含んでいる。

【０００７】説明はまたエキスパートシステムの分野で
も問題となる。これらのシステムはしばしばニューラル
ネットワークと比較される。というのも、この２つの技
術はいくつかの同じ問題を解決するための試行だからで
ある。すなわち、分類、予想及び意思決定である。説明
は、エキスパートシステムにおいてはニューラルネット
ワークよりも直接的である。というのも、エキスパート
システムにおける「知識」は、規則ベースとして知られ
ている一連のIF-THEN規則に組み込まれる点でより正確
である。説明の他に、エキスパートシステムは、従来の
ニューラルネットワークには見られない他の好ましい性
能を有している。これらの性能には、意思決定をするた
めに十分な入力情報が存在するかを判定すること；ユー
ザの情報獲得に対する知識方向を提供すること：及び付
随する決定に対する信頼度測定を計算すること；が含ま
れる。

【０００８】不幸にして、エキスパートシステムは、ニ
ューラルネットワークの最も特筆すべき特徴である事例
からの学習の能力を欠いている。学習能力をエキスパー
トシステムに持たせるためのいくつかの試みがなされて
きたが、それらは未だに「知識」源としての手作業の規
則に基本的には依存している。このように、特定の問題
を解決するためにエキスパートシステムを構築するため
には、問題領域の人間の専門家を発見し、彼の知識をIF
-THEN規則に変換し、それから、規則ベースの欠陥を除
去することが必要である。

【０００９】明らかに、ニューラルネットワークの学習
能力と、エキスパートシステムの説明その他の能力とを
組み合わせることが好ましい。かかる組合わせに対する
１つの公知の試行には、ニューラルネットワークを「知
識」源として用い、それによりニューラルネットワーク
の学習の利点を得るエキスパートシステムが含まれる。
エキスパートシステムの説明のような能力に加えて、こ
の混合型システムは、ネットワークに含まれる知識を一
連の規則に変換するための機能を任意選択的に含んでい
る。このシステムは例えば、米国特許第４，７３０，２
５９号といった文献に記載されている。

【００１０】不幸にして、従来の混合型システムで用い
られている技法は、いくつかの重要な限界を有してい
る。最も重要なのは、従来の混合型システムは、線形判
別ネットワークとして知られているような、パーセプト
ロンネットワークのみに受け入れ可能である。入力レイ
ヤの可能な例外でもって、これらのネットワークのＰＥ
は、三次状態、すなわち、大まかに真、偽、未知に対応
する、３つの可能な状態に制限される。この結果、パー
セプトロンネットワークは、連続状態ネットワーク、す
なわち、状態が一連の計数値に限定されないようなネッ
トワークのように正確にマッピングを計算することがで
きない。精度の損失以上に重要なことは、パーセプトロ
ンネットワークは、隠しレイヤを備えたネットワークに
関しては最もよく用いられる訓練である、バックプロパ
ゲーション学習で訓練できないことである。

【００１１】従来の混合型システムの説明技法もまた制
限を有している。例えば、どのようにしてシステムが最
終決定の前にある出力又は別の出力に向かって学習を行
ったかについて説明をするための方法が存在しないため
に、説明は結果に対して行われるだけである。説明は、
規則の左側の条件（入力又は隠しレイヤ状態）が右側の
結論に関する説明として機能する、規則の形式をとる。
規則に含まれるこれらの条件は、省略されたものより
も、結果に対して大きく積極的に貢献する。しかし、含
まれた条件にしろ、省略された条件にしろ、貢献に対す
る正確な測定が行われることはない。

【００１２】従来の混合型システムは、また、ユーザの
情報獲得を管理する方法において制限される。システム
は未知であるが重要な単一の入力を選択して、ユーザに
かかる入力に関する値を入れるように尋ねる。しかしな
がら、システムは、比較的重要な他の未知の入力につい
ての情報を提供することはない。

【００１３】

【発明が解決しようとする課題】従って、本発明の目的
は、説明を含むエキスパートシステムの機能にフィード
フォワードニューラルネットワークの機能が付加された
ようなシステムを提供することである。さらに、本発明
の目的は、従来技術の欠点を克服することである。特
に、本発明の目的は、連続状態のフィードフォワードネ
ットワークに関する欠点を克服し、十分な入力情報が結
論を作成するために存在知る場合に決定を行うことが可
能であり；その決定及びどうしてこれらの決定のうちの
あるものが結論になるかを正確に説明可能であり；その
決定に伴う信頼度測定を計算可能であり；未知の値を備
えた相対的に重要な入力を計算可能であるようなシステ
ムを提供することである。さらに、本発明の目的は、人
間が規則の形式で知識を与えることに依存せずに、事例
から学習可能である点で、現存のエキスパートシステム
とは異なるシステムを提供することである。さらに、本
発明の目的は、線形関係を扱うことが可能なので、説明
が２レイヤネットワークにおける説明に関する現存の技
法とは異なるようなシステムを提供することである。さ
らに、本発明は、例えば、連続状態フィードフォワード
ネットワークの強力なクラス上で動作する点において、
従来の混合型システムの欠点を克服可能なので、従来の
混合型システムとも異なるようなシステムを提供するこ
とである。

【００１４】

【課題を解決するための手段】クレーム

【００１５】

【実施例】本発明を理解するためには、入力及び出力変
数を理解することが重要である。本発明のユーザは、変
数の基礎となる入力及び出力状態を直接扱うのではな
く、これらの変数を扱う。本発明に基づく決定作成プロ
セスは、入力変数を１又は２以上の出力変数に対するマ
ッピングとして見ることが可能である。いくつかの又は
全ての入力変数に関する値が与えられると、本発明は出
力変数を決定する。これらの値は、本発明に基づき作成
された決定に直接対応する。例えば、貸出決定を示す出
力変数が存在したとすると、真の値は貸出許可の決定に
対応することが可能である。

【００１６】本発明は３つのタイプの入力変数、すなわ
ち、連続型、論理型（ブール演算型）及び記号型を備え
ている。連続型入力変数は全ての数値を含むことが可能
であり、それはその値に等しい状態を備えた単一のＰＥ
により示される。変数の値が未知の場合には、状態はい
くつかのデフォルト値、典型的には変数の平均値に設定
される。論理型入力変数は真又は偽の何れかの値を備え
ることが可能である。それは、｛偽、未知、真｝に対応
する、｛−Ｂ、Ｍ、Ｂ｝の組から引き出された状態を備
えた単一のＰＥにより表される。Ｂは典型的には１．０
に設定され、Ｍは典型的には０．０に設定される。記号
型入力変数は有限組の記号からその値を引き出す。例え
ば、変数「地域」は、｛北東部、南東部、北西部、南西
部｝からなる組に含まれる全ての値を備えることが可能
である。記号型変数は、複数のＰＥと１−ＯＵＴ−ＯＦ
−ｎコードを用いて表される。ｎの可能値を備えた記号
型変数はｎのＰＥにより示され、それぞれは異なる値に
対応する。変数の値が知られている場合には、現在値に
対応するＰＥにはＢの状態が与えられ、他のＰＥには−
Ｂの状態が与えられる。記号型変数の値が未知の場合に
は、全てのＰＥがＭの状態を備えている。論理型変数の
場合にように、Ｂは典型的には１．０に設定され、Ｍは
典型的には０．０に設定される。

【００１７】出力変数は論理型又は記号型とすることが
可能である。これらの変数のタイプは、本発明の決定出
力に適している。というのも、これらの変数はカテゴリ
ー値を備えており、決定は本質的にはカテゴリー的だか
らである。訓練モードにおける動作の間、ネットワーク
は論理型及び記号型訓練値、すなわち、出力変数に対す
る正確な決定に対応する値で表される。これらの訓練値
は、｛−Ｂ、Ｍ、Ｂ｝組における状態を用いて、論理型
又は記号型入力値と同様に表される。しかしながら、連
続状態フィードフォワードネットワークの出力レイヤ内
で発生される状態は、定義により、連続的であり、｛−
Ｂ、Ｍ、Ｂ｝に限定されない。従って、出力状態は、論
理型及び記号型値の近似値として翻訳される。

【００１８】出力状態を翻訳する場合に、記号型出力変
数には最高状態を備えた基本ＰＥに基づく値を与えられ
る。このＰＥは選択されたＰＥと呼ばれる。論理が他出
力変数にはユーザ選択の論理型決定しきい値に応じた値
が与えられる。基本出力状態がしきい値よりも高い場合
には、変数の値が真である。そうでない場合には、変数
の値が偽である。

【００１９】図１には、本発明の基本的要素が示されて
いる。これらの要素は本発明の構成要素として言及され
ており、これらは３つのカテゴリーに分割される。すな
わち、入力、出力及び内部構成要素である。入力構成要
素の１つは、選択された問題領域からの事例でネットワ
ークを訓練した結果生じた重み組である。重み９は領域
についてのネットワークの「知識」をコード化する。訓
練の方法は本発明とは独立であり、ユーザは、フィード
フォワードネットワーク用の学習アルゴリズムの中から
任意選択可能である。バックプロパゲーションは、最も
広く用いられている、本発明が動作可能な隠しレイヤを
備えた連続状態フィードフォワードネットワークの強力
クラスに関する学習アルゴリズムである。

【００２０】別の主要な入力構成要素は、入力データ１
１であり、これは、本発明により分析されるべき各事例
に関する入力変数の値を特定するものである。各入力変
数の値は、本発明が知能的に未知の値を処理することを
意図しているために、特殊な場合には未知として特定す
ることが可能である。

【００２１】さらに、別な入力構成要素は、いくつかの
入力変数が連続的である場合にのみ受け入れ可能な入力
変数統計量１３である。これらの統計量は、各連続型入
力変数に関する値の分散を記述する。特に、このシステ
ムは、各かかる変数に関する平均及び標準偏差か、ある
いは、各変数の最小値及び最大値のいずれかを必要とす
る。稀な場合には、(1) 平均値が連続型入力変数の値が
未知の場合にデフォルト状態として用いられる場合、又
は、(2) 説明モジュール２３が規則生成３１に関して用
いられる場合には、平均値が必要となる。必要な分散統
計量は、訓練事例組又は分析される事例組のような、デ
ータ組から計算可能である。代わりに、統計量を推定す
ることも可能である。

【００２２】図１において示されるように、本発明は３
つの主な内部構成要素を備えている。これらの構成要素
のうちの最も基本的なものは、推論モジュール１５であ
り、これから３つの出力構成要素、すなわち、決定１
７、結論１９及び信頼度測定２１（解決度及び必然度）
が派生する。推論モジュールは、単一の出力変数に関し
て図２の流れ図においてＨ説明される。モジュールと図
についは後述する。

【００２３】推論モジュールは、図２のブロック４１に
記録されているように、入力変数の値が付加、削除、又
は修正される場合には常に動作される。新しい入力値に
基づいて、ネットワークの出力状態がブロック４３で更
新される。さらに、モジュールは、ブロック４５におい
てこれらの出力状態の高低バウンドを更新する。これら
のバウンドは、各出力状態の可能範囲の上限及び下限で
あり、既知の入力値及び未知の入力変数のいくつか又は
全てに関する値の組合わせにより与えられる。これらの
バウンドの計算には、連続型入力変数の可能な値に関し
てなされる仮定が必要となる。これらの仮定の詳細及び
バウンドを計算するための正確な方法を説明してから、
推論モジュールを概観する。

【００２４】更新された出力状態は出力変数の値を決定
するために用いられる。これらの値は本発明の決定１７
である。上述のように、出力状態から出力変数値又は決
定を判定する方法は、出力変数が論理型か記号型かに依
存している。論理型である場合には、基礎となる出力状
態がユーザ選択論理型決定のしきい値とブロック４９に
おいて比較される。状態がしきい値よりも大きい場合に
は、ブロック５１において決定が真となる。そうでない
場合には、ブロック５３において決定が偽となる。出力
変数が記号型である場合には、最高位の出力状態を備え
た基礎となるＰＥがブロック５９で選択される。ブロッ
ク６１において、決定は選択されたＰＥに対応した記号
である。

【００２５】決定を更新した後に、本発明は、結論１９
されるべき決定を宣言可能であるかどうかを判定する。
入力値が未知の入力変数に関する可能な値のどの組合わ
せも決定に対応する出力変数の値を変更できないほど既
知である場合に、結論に到達可能である。記号型出力変
数に関しては、この結論条件がブロック６３においてチ
ェックされる。選択されたＰＥの状態の低いバウンドが
選択されなかった各ＰＥの状態の高いバウンドよりも大
きい場合には、選択されたＰＥが未知の入力に対する値
の全ての組合わせに対しても最高位の状態を備えている
ことが保証される。結論条件が満たされると、決定が結
論となることがブロック６７で宣言される。そうでない
場合には、結論はブロック６５で仮のものである言われ
る。

【００２６】論理型出力変数に関しては、結論条件を検
査する方法は決定に依存している。決定が真である場合
には、結論条件がブロック５５で検査される。条件が、
基礎となる出力ＰＥの状態の低いバウンドが論理型決定
のしきい値よりも大きい場合に出会うと、ＰＥの状態が
未知の入力に関する値の全ての組合わせに対してしきい
値を越えているだろうことが保証される。決定が偽の場
合には、結論条件がブロック５７で検査される。条件
が、基礎となる出力状態の高いバウンドが決定しきい値
より小さい場合に出会うと、状態がしきい値以下であろ
うことが保証される。

【００２７】全ての入力値が既知の場合には、結論条件
に到達することが保証される。しかしながら、実世界に
おいては、いくつかの入力値が未知である場合がしばし
ば生じる。医療診断においては、例えば、重要なデータ
が、獲得するためにコストや費用がかかったり、あるい
は危険であったりして、欠けている場合がある。本発明
の結論生成能力によればこの欠落データの問題を克服で
きる。本発明によれば、ユーザに対して、ユーザが計算
された決定を確かなものにするに十分な入力データを備
えた時を、知らせることが可能である。

【００２８】結論を得るために用いられる状態バウンド
は、決定に関する必然度信頼度測定２１を計算するため
に用いられる。必然度は、出力変数に関する結論が変数
に関する現在の決定と同じであるかについての信頼度の
測定である。必然度の範囲は０％から１００％であり、
結論に到達した場合にのみ、ブロック７１において最大
値に到達する。その場合にのみ、別の入力が決定を変化
しないことが保証される。結論に到達する前に、必然度
がブロック６９において計算される必要がある。それ
は、決定が結論になるために必要な出力バウンドと実際
の出力バウンドの間の距離に基づいて計算される。

【００２９】論理型出力変数に関して、必然度の割合は
次式により計算される。

【００３０】真の決定については、 (S(o,lo)-L)*100/(T-L) 偽の決定については、 (U-S(o,hi))*100/(U-T) ここで、S(o,hi)及びS(o,lo)は、基礎となる出力ＰＥ
ｏの状態の高位バウンドと低位バウンドであり、Ｕ及び
Ｌは、それぞれ、ｏの変換関数の出力の上限及び下限で
あり、Ｔは論理型決定しきい値である。

【００３１】記号型出力変数に関しては、必然度の割合
は次式により計算される。

【００３２】[{(S(o,lo)-S(o',hi))/(U,L)}+1]*100 ここで、ｏは選択された出力ＰＥであり、ｏ’は最高位
バウンドを備えた選択されなかったＰＥである。

【００３３】第２の信頼度測定２１、すなわち解決度
は、決定の強さを測定し、ブロック７３で計算される。
最大の可能性決定強さは１００％の解決度数により示さ
れる。０％に近い数値は、弱い決定を示す。解決度は、
出力状態と決定の境界との間の距離に基づいて計算され
る。特に、論理型出力変数に関しては、解決度割合は、
真の決定については、 (S(o,lo)-L)*100/(T-L) 偽の決定については、 (U-S(o,hi))*100/(U-T) に等しい。ここで、S(o)は基礎となる出力ＰＥｏの状
態である。

【００３４】記号型出力変数に関して、解決度の割合
は、 (S(o)-S(o'))*100/(U-L) に等しい。ここで、ｏは選択された出力ＰＥであり、
ｏ’は最高位バウンドを備えた選択されなかったＰＥで
ある。

【００３５】医療領域は、上述の信頼度測定が有用であ
ることの例を示す。本発明が、診断決定を行うために用
いられる場合には、これらの決定が生死の結論になる可
能性がある。特定の決定又はそれに対する行動を信頼す
る前に、医者はその決定に対してどれだけの信頼度を持
つべきかを知りたい場合がある。解決度は、医者にどの
程度明確にその診断決定が他の診断よりも好ましいかを
教えてくれるだろう。必然度は、医者に、彼が他の情報
を収集してもどの程度同じ決定であり続けるかの確から
しさを示してくれるだろう。

【００３６】２つの信頼度測定は間接的に言及されてい
るだけであることに留意すべきである。高い必然度数を
備えているが解決度数は少ない場合があるし、また逆も
しかりである。例えば、前者の事例は弱い決定が結論に
なっている場合に生じる。

【００３７】さて、出力状態のバウンドを計算するため
の正確な方法を考えてみると、この方法は、連続型入力
変数の可能性のある数値について仮定がなされることを
必要とする。これらの仮定は、入力変数の分布統計量１
３に基づいている。ユーザが最小及び最大の統計量を用
いることを選択した場合には、本発明は、未知の連続型
入力変数の可能値が最小値と最大値との間にあることを
仮定する。ユーザが平均値及び標準偏差を代わりに用い
ることを選択する場合には、彼は、全ての連続型入力変
数に適応可能な正範囲値ｒを特定する必要がある。本発
明は、未知の連続型変数ｉの可能値が以下の限界により
定義される領域に収まることを仮定している。：下限＝平均値(i)-(r*Sd(i)) 上限＝平均値(i)+(r*Sd(i)) ここで、平均値(i)及びSd(i)は変数ｉの平均値及び標準
偏差である。

【００３８】出力ＰＥの状態のバウンドは、非入力ＰＥ
の状態バウンドに関する以下の回帰方程式を用いて計算
できる。

【００３９】S(p,lo)=T(Σ_SC(s,p,lo)) S(p,hi)=T(Σ_SC(s,p,hi)) ここで、Ｔはｐ及びC(s,p,hi)及びC(s,p,lo)は、各ソー
スｓによるｐの正味入力にされる貢献の高位バウンド及
び低位バウンドである。各ｓは、隠れＰＥ、すなわち入
力変数か、又はバイアス（特に、状態が常に１．０であ
る場合の入力ＰＥ）のいずれかである。

【００４０】３つのｓのいずれかは、どのようにして貢
献バンドが計算されるかにより決定される。ｓがバイア
スの場合には、 C(s,p,hi)=C(s,p,lo)=W(s,p) であり、ここでW(s,p)はｓないしｐの連続の重みを示し
ている。

【００４１】ｓが隠れＰＥである場合には、以下の方程
式が用いられる。

【００４２】W(s,p)>0である場合には、 C(s,p,lo)=W(s,p)*S(s,lo) C(s,p,hi)=W(s,p)*S(s,hi) そうでない場合には、Ｃ（ｓ，ｐ，ｌｏ）＝Ｗ（ｓ，ｐ）＊Ｓ（ｓ，ｈｉ）Ｃ（ｓ，ｐ，ｈｉ）＝Ｗ（ｓ，ｐ）＊Ｓ（ｓ，ｌｏ）ｓが入力変数である場合には、貢献バウンドの計算はｓ
のデータタイプ及びｓが既知か未知かに依存する。ｓが
論理型又は連続型であり、値ｖを備えていると知られて
いる場合には、Ｃ（ｓ，ｐ．ｌｏ）＝Ｃ（ｓ，ｐ，ｈｉ）＝ｖ＊Ｗ
（ｉ，ｐ）であり、ｉはｓに基づくＰＥである。

【００４３】ｓが論理型又は連続型であり、その数値が
未知の場合には次の方程式が用いられる。

【００４４】W(i,p)>0である場合には、 C(s,p,lo)=W(s,p)*Min(s) C(s,p,hi)=W(s,p)*Max(s) そうでない場合には、 C(s,p,lo)=W(s,p)*Max(s) C(s,p,hi)=W(s,p)*Min(s) ここで、Max(s)及びMin(s)はｓの最大及び最小の可能値
である。ｓが論理型である場合には、Max(s)はＢであ
り、Min(s)は−Ｂである。ここでＢ及び−Ｂは、それぞ
れ、真及び偽を示すために用いられる数値である。ｓが
連続型である場合には、Max(s)及びMin(s)は、分布統計
量から得られた、ｓの仮定上の上限及び下限とされる。

【００４５】ｓが記号型であり、基礎となる選択グルー
プ内のＰＥｖに対応する値を備えていると知られてい
る場合には、 C(s,p,lo)=C(s,p,hi)=C(s,p,v) であり、ここで、C(s,p,v)は貢献ｓであり、ｓの値がｖ
に対応する場合に、ｐの正味入力となる。特に、 C(s,p,v)=(W(v,p)-Σ_i<>_vW(i,p))*B であり、ここで、ｉは基礎となる選択グループ内のＰＥ
にわたり反復する。

【００４６】ｓが記号型であり、値が未知の場合には、 C(s,p,lo)=Min(C(s,p,i)) C(s,p,hi)=Max(C(s,p,i)) であり、ここでMax及びMinは、基礎となる選択グループ
内の全てのＰＥｉにわたり計算される。

【００４７】例示の問題は、上述の推論モジュールの動
作を説明するために用いられる必要がある。例示には、
個人的な申請人のデータに基づく、個人の貸出決定に対
する応用が含まれる。ニューラルネットワークのアーキ
テクチャ及びこの問題に関して用いられるデータ流れは
図７において説明される。ネットワークは、コンピュー
タソフトウェアを用いてシミュレートされるが、本発明
は、ハードウェアで実行されるネットワークに対しても
等しく応用可能である。ネットワークの入力レイヤ２０
３は１３のＰＥを含み、それぞれが１３の連続型入力変
数に対応している。入力レイヤは完全に単一の隠れレイ
ヤ２０５に接続されており、隠れレイヤは３つのＰＥを
備えており、それは単一のＰＥからなる出力レイヤ２０
７に完全に接続されている。出力ＰＥは貸出決定２０９
に対応する値を備えた論理型変数を示してる。真の値は
貸出を認める決定に対応し、偽の値は断る決定に対応す
る。出力及び隠れＰＥは従来の範囲［−１．０、１．
０］内の出力を備えたシグモイド変換関数を備えてい
る。

【００４８】図７内のネットワークは、本発明が動作可
能なニューラルネットワークのタイプの１つの例である
に過ぎないことを留意すべきである。一般的に、本発明
は、任意の数の隠れレイヤ（０を含む）と、隠れレイヤ
と入力レイヤと出力レイヤ内の任意の数のＰＥとＰＥに
関する任意の変換関数（異なるＰＥは異なる変換関数を
有することが可能である）を備えた、フィードフォワー
ドネットワーク上で動作可能である。

【００４９】特定のネットワークが、重み２１１を修正
する、バックプロパゲーション学習を用いて訓練され
る。バックプロパゲーション学習のアルゴリズムは、本
発明とは独立であり、図７に示したフィードフォワード
フローに加えてバックワードデータフローを含んでい
る。図７のネットワークは、貸出結果が知られている以
前の申請人の例を示しているデータ２０１上で訓練され
る。各事例は、許可（１．０）又は不許可（−１．０）
の訓練値に、申請人がデフォルト値で貸出になっている
かどうかにより、割当てられる。申請人は、図８の表に
おいて説明される、１３の入力変数の値により記述され
る。表は、また、試験データベース内の実際の申請人に
関する入力値を含んでいる。

【００５０】図７のネットワークを用いて、本発明は、
図８に記述されている２つの欠落入力値にもかかわら
ず、この事例の申請人についての結論を作成することが
可能である。結論とされる決定は貸出の許可である。こ
の決定は出力変数の真値に対応し、申請人が実際のロー
ンを満足に返済する限りに正しい決定である。結論に到
達すると、必然度は１００％となる。解決度は、真の決
定を与える解決度に関する上述の公式を用いて、１３．
４％と計算される（解決度は、通常は、試験データベー
スにおける事例では４０％以下である）。さらに説明す
るために、信用報告（例えば、実際の預金口座、新しい
預金口座、調査回数、公的記録項目、信用ファイルの時
刻、及び３つの延滞変数）から得られる図８の値のみが
知られていると仮定する。ここでは、結論を得るために
は多くの未知の入力が存在するが、本発明は、一時的な
結論を発生する。結論は、解決度１０．１％及び必然度
４７．４％の許可である。これらの値は真の決定に関す
る解決度及び必然度の公式を用いて計算される。

【００５１】図１を再び参照すると、第２の内部構成要
素が説明モジュール２３であることが示されている。こ
のモジュールは２つのタイプの説明を生成する。１つの
タイプは、各既知の入力値がこの決定を作成するにあた
っての貢献を計算することにより、決定が、一時的であ
るか、または結論であるかを説明する。このタイプは決
定説明２５であり、出力状態に基づく。別のタイプは、
結論説明２７は、どのように結論に到達したかを説明す
るための出力バウンドを試験する。結論説明は結論条件
に到達する既知の入力によりなされる貢献を計算し、結
論を支援するに十分な入力の最小のサブセットを決定す
る。

【００５２】貢献の２つのタイプは、入力値の現在の組
の分脈で計算されることに留意する必要がある。ある決
定又は結論に対するある入力変数によりなされる貢献
は、変数自身の値ではなくて、他の入力変数の値（又は
その欠落）に依存している。このように、説明の２つの
タイプは、隠れレイヤを備えたフィードフォワードネッ
トワークに見いだされる入力の相互依存性を捉えてい
る。

【００５３】結論説明２７は、変数の値が未知であると
仮定された場合の結論条件の強さにおける減少に等しい
各既知の入力変数に対する貢献を計算する。この強さ
は、結論条件を示すバウンドと、結論が到達する出力変
数の基礎となる状態の実際のバウンドとの間の距離とし
て測定される。結論説明の動作は、図３の流れ図におい
て、単一の出力変数に関連して説明される。モジュール
と図については下で述べる。

【００５４】図３のブロック８１においては、本発明
は、結論が、説明が記述される出力変数に到達したかを
チェックする。どの結論も到達しない場合には、結論説
明がブロック８３において不能となる。そうでない場合
には、結論説明が、値が知られている第１又は次の入力
変数を試験することによりブロック８５に進む。変数の
値が一時的に未知であると仮定されると、出力状態のバ
ウンドが一時的にブロック８７で調整されて、その仮定
を反映するようにされる。調整されたバウンドと（調整
される前の）真の出力バウンドは、試験される入力バウ
ンドの貢献を判定するために比較される。

【００５５】貢献を計算する方法は、ブロック８９にお
いて、出力変数が論理型か記号が高に依存している。出
力変数が論理型である場合には、貢献は、さらに、ブロ
ック９１において、変数に関する決定が真か偽かに依存
している。決定が真である場合には、結論条件は、論理
型出力変数を基礎とするＰＥの状態の低位バウンドに基
づき、こうして、ブロック９３における貢献は、真の低
位バウンドから基礎となる状態の調整された低位バウン
ドを引いた値に等しくなる。決定が偽である場合には、
結論条件は高位バウンドに基づき、こうして、ブロック
９５の貢献が、調整された高位バウンドから基礎となる
状態の真の高位バウンドを引いた値となる。公式的に
は、貢献は、真の決定に関しては、 S(o,lo)-S'(o,lo) 偽の決定に関しては、 S'(o,hi)-S(o,hi) に等しくなる。ここでｏは基礎となる出力ＰＥであり、
Ｓは真のバウンドを表し、Ｓ’は調整されたバウンドを
示す。

【００５６】出力変数が記号型である場合には、結論条
件は、選択されたＰＥの状態の低位バウンドと選択され
ないＰＥの中の最高位バウンドの間のギャップに基づ
く。こうして、記号型出力変数に関しては、ブロック９
７の貢献は、真のバウンドを与えるギャップから調整さ
れたバウンドを引いた値になる。公式的には、貢献は、 (S(o,lo)-S(o',hi))-(S'(o,lo)-S'(o'',hi)) に等しくなる。ここでｏは選択された出力ＰＥであり、
ｏ’は最高位の真の高位バウンドを備えた選択されなか
ったＰＥであり、ｏ’’は最高位の調整された高位バウ
ンドを備えた選択されなかったＰＥである。

【００５７】結論説明により計算された全ての貢献は負
ではないことに流利すべきである。これは、次の事実の
組合わせに起因する。１．変数は、未知である変数に関
連して計算される。２．入力変数の値が既知である場合
には、各出力状態のバンドが同じままか、狭くなり、そ
の場合に狭いバウンドは高位バンドが減少したか、及び
／又は、低位バンドが減少したかを意味する。３．狭い
バウンドは、結論条件を、強化できるが、弱めることは
できない。４．貢献は結論条件の強さを測定する。

【００５８】特定の入力変数に関する貢献を計算した後
に、本発明は、ブロック９９において、全ての入力変数
が試験されたかどうかを判定するためにチェックを行
う。試験されていない場合には、次の既知の変数が試験
される。そうでない場合には、結論説明はブロック１０
１に進み、そこで、全ての既知の入力変数に関する貢献
が、スケーリング定数により積算されて、最大のスケー
リング貢献が１００．０であると判定される。定数は、
１００．０をスケーリングされない貢献の最大値により
割ることにより計算される。ブロック１０３において、
スケーリングされる貢献は、対応する変数名及び変数と
共に、出力として生成される。出力は貢献により数値的
に順序づけられる。

【００５９】結論説明は、さらに、それ自体で到達する
に十分な既知の入力値のサブセットである、最小前提を
発見することにより、結論を説明する。最小前提にない
既知の入力は、未知であるとも言え、結論は保持され
る。結論と最小前提は、現在分析される事例とは独立
に、結論に到達するための十分な条件の組を述べる規則
として、見ることも可能である。

【００６０】最小前提を発見する場合の結論説明の動作
は図４において説明される。第１のステップは、ｋを既
知の入力変数の数に設定し、カウントｃをブロック１１
１で初期化することである。ブロック１１３に到達する
ごとに、ｃは１だけインクリメントされる。ブロック１
１５を通る最初に、本発明は最小の貢献を有する既知の
入力を選択する。ブロック１１７において、変数の値は
未知であると仮定される。ブロック１１９において、そ
れは、結論条件が、推論モジュールにより決定されたよ
うに、まだ仮定の下におかれているかどうかをチェック
する。結論がまだ支持されている場合には、２番目に小
さな貢献を有する既知の入力変数がブロック１１５にも
どって選択される。この変数の値は未知であると仮定さ
れる。この処理が、ｃが未知であると仮定された既知の
入力変数の数を計数しながら、返付腐れる。結論がブロ
ック１１９を保持しなくなった場合に、最小前提がブロ
ック１２１において決定される。

【００６１】図１０は、図８に示されたローン申請人の
例及び図７に記述されたネットワークの例を用いて、結
論説明の出力の例を含んでいる。各既知入力に関して、
出力は貢献をリストアップして、変数が最小前提に属す
るかどうかを示す。貢献が真の決定を与える貢献に関す
る上述の公式を用いて計算される。最小前提は見出し十
分条件に示されるように出力において区別される。最小
前提にない既知の入力変数は付帯条件においてリストア
ップされる。図１０は、この場合には最小前提が、信用
ファイルの時刻を除いて、全ての既知の入力変数を含ん
でいる。３０日の現時点での延滞と調査の数が、認可の
結論に到達するために最も重要であることを示してい
る。

【００６２】説明の第２のタイプである、決定説明２５
は、貢献が既知の入力変数により結論にされたかを測定
する。このタイプの説明は、結論説明２７と比較するこ
とにより最良に説明される。両方のタイプの説明は、変
数が未知であると仮定された場合に、出力の変化を試験
することにより各既知の入力変数により形成される貢献
を測定する。しかしながら、結論説明は出力バウンドに
おける変化を試験するのに対して、決定説明は出力状態
における変化を試験する。この違いは、結論説明が出力
バウンドに基づく結論条件に対する貢献を測定するのに
対して、決定説明が出力状態に基づく決定に対する貢献
を測定するという事実により動機付けられる。

【００６３】別の相違は貢献の符号に関している。上述
のように、結論説明における貢献は、入力変数の値が結
論条件を強化するかそのままにしておくかを知るだけ
で、値を知るのではないために、負の値をとることがな
い。しかしながら、入力変数の値を知ることは、解決度
信頼度測定における増減により示されるように、決定を
弱めるばかりでなく強めることができる。このように、
決定説明における貢献は負の値も正の値をも取り得る。
実際に、入力変数に関する特定の値は、１つの入力に関
する分脈で特定の決定に対する正の貢献を形成すること
が可能であるが、別の分脈では同じ決定に対する負の貢
献を形成することも可能である。これは、隠れレイヤを
備えたフィードフォワードネットワークに見いだされる
入力の相互依存性のためである。

【００６４】決定説明の動作は、単一の出力変数に関し
て図５の流れ図において説明される。モジュール及び図
は次のように説明される。ブロック１３１において、本
発明は値が既知である第１の及び次の入力変数を試験す
る。その変数の値が一時的に未知であると仮定され、出
力状態がブロック１３３においてその仮定を反映するよ
うに一時的に調整される。調整された出力状態と（調整
される前の）真の出力状態が、試験される入力変数の貢
献を決定するために比較される。

【００６５】貢献を計算する方法は、ブロック１３５に
おいて、出力変数が論理型であるか記号型であるかに依
存している。出力変数が論理型である場合には、貢献は
さらに、ブロック１３７において、変数が真であるか偽
であるかについての決定に依存している。決定が真であ
る場合には、ブロック１３９において、貢献は、真の状
態から論理型出力変数を基礎とするＰＥの調整された状
態を引いたものに等しくなる。決定が偽である場合に
は、ブロック１４１において、貢献は、調整された出力
状態から真の出力状態を引いたものである。公式的に
は、貢献は、真の決定に関しては、 S(o)-S'(o) 偽の決定に関しては、 S'(o)-S(o) に等しくなる。ここで、ｏは基礎となる出力ＰＥであ
り、Ｓは真の状態を示し、Ｓ’は調整された状態を示
す。

【００６６】出力変数が記号である場合には、ブロック
１４３において、貢献は、選択されたＰＥの状態と選択
されなかったＰＥの中の最高位の状態の間のギャップに
基づく。貢献は、真の状態を与えるギャップから調整さ
れた状態を与えるギャップを引いたものに等しい。公式
的には、貢献は、（Ｓ（ｏ）−Ｓ（ｏ’））−（Ｓ’（ｏ）−Ｓ’
（ｏ’’））に等しくなる。ここで、ｏは選択された出力ＰＥであ
り、ｏ’は最高位の真の状態を備えた選択されなかった
ＰＥであり、ｏ’’は最高位の調整された状態を備えた
選択されなかったＰＥである。

【００６７】特定の入力変数に対する貢献を計算した後
で、本発明は、ブロック１４５において、全ての入力変
数が試験されたかどうかを見るためにチェックを行う。
行われない場合には、次の既知の変数が試験される。そ
うでない場合には、決定試験がブロック１４７に進み、
そこで、全ての既知の入力変数に関する貢献が、スケー
リング定数により積算されて、貢献の最大の絶対値が１
００．０となるように決定される。定数は、１００．０
をスケーリングされない貢献の最大の絶対値で割ること
により計算される。

【００６８】ブロック１４９において、スケーリング貢
献は、対応する変数名及び数値と共に出力として生成さ
れる。出力は貢献により数値的に順序付けられる。さら
に、出力は既知の入力変数の３つのグループに区別され
る。１．決定に対して重要な貢献をしないもの、すなわ
ち、絶対値がユーザが選択した重要度しきい値より下に
なるもの。２．決定を支援するのに重要であるもの、す
なわち、しきい値以上の正の貢献を有するもの。３．決
定を弱めるために重要であるもの、すなわち、絶対値が
しきい値以下となる負の貢献を有するもの。

【００６９】図９は、再び、図８に示した貸出申請人及
び図７に示したネットワークを用いて、決定説明の出力
を例を含んでいる。出力は、２０．０の重要度しきい値
を用いて生成される。出力にリストアップされる貢献
は、真の決定を与える貢献に関して示された上述の公式
を用いて計算された。出力は、許可の決定を支持するた
めに４つの重要な要因があることを示している。他の３
つの要因は延滞変数を含んでいる。許可に対して重要な
重み付けを行う要因のみが、信頼度ファイルにおける時
刻の値であった。図１０において留意すべきは、信頼度
ファイルの時刻は、結論説明に示される最小の支持入力
変数であった点である。それは最小の貢献をなし、最小
前提内にはない既知の入力変数であった。しかしなが
ら、一般的に、各測定は異なる特性を有するから、２つ
のタイプの説明に基づいた変数のランキングの間には間
接的な関係が存在するのみである。

【００７０】決定説明における貢献の判定には、既知の
入力変数が未知であるとの仮定に基づいて、調整された
出力状態を計算する必要がある。しかしながら、調整さ
れた状態の計算はネットワークの反復を必要としない。
これは、従来の感度分析において入力変化の効果が変化
を生じた後にネットワークを反復することにより決定さ
れたことと対称的である。本発明は、入力の変化から生
じた修正された出力を発見すると共に、ネットワークの
反復により計算コストを上昇を回避するための方法を含
んでいる。

【００７１】ネットワークの反復の計算は、ネットワー
ク内の全ての重みを含んでいるが、本発明によれば、重
みのサブセットのみを含む簡便な部分重み方法が用いら
れる。

【００７２】これは、計算に必要な計算時間がほぼ用い
られる重みの数に比例するために重要である。特に、本
発明に基づく重み方法は、状態が変化された入力ＰＥの
１つと状態変化が測定された出力ＰＥの１つとの間の経
路にある接続に関する重みのみを用いる。

【００７３】かかる経路にある接続の精度は、隠れレイ
ヤの数とネットワークの接続性に依存している。特殊な
例を提供するために、図７に示すネットワークを参照す
る。ｖからｖ’に入力ＰＥの状態を変更することに起因
するこのネットワークの修正出力状態を発見することが
必要であると仮定してみよう。この部分重み方法は、ｉ
から３つの隠れＰＥのそれぞれに対する接続及び各隠れ
ＰＥから出力ＰＥに対する接続に関する重みのみを用い
る。

【００７４】図７のネットワークに関する部分重み計算
における第１のステップは３つの隠れＰＥのそれぞれの
結果の正味入力を計算することである。各隠れノードｈ
に関する結果正味入力Ｉ’（ｈ）は、I(h)+((v'-v)*W
(i,h))に等しい。ここで、W(i,h)はｉからｈへの接続の
重みであり、I(h)はｈに関する元の正味入力である。次
の段階は、隠れＰＥのそれぞれの結果状態を計算するこ
とである。S'(h)はｈの新しい状態であり、T(I'(h))に
等しい。ここで、Ｔは図７のネットワークで用いられる
従来のシグモイド変換関数である。修正出力状態は、Ｔ
を各S'(h)の重み付け合計に加えることにより計算され
る。

【００７５】本発明に基づいて、部分重み方法を用いる
ことで、図９の決定貢献の各々が６つの重みのみで計算
される。この方法なしでは、各貢献は、４２の重みを用
いるネットワーク反復を計算する必要がある。部分重み
方法はまた、決定における変化と、ユーザが入力値を付
加、修正又は削除した結果の解決度を計算するためにも
用いられる。

【００７６】決定及び結論を説明することに加えて、説
明モジュール２３は規則発生３１を行う能力も有する。
この処理は、一組のif-then規則を生成する。各規則
は、ある数の可能入力値と決定とから成る。規則は、決
定が入力値が真であると知られる場合の結論として支持
されることを意味するように翻訳される。これらの規則
は、ネットワークの重みに含まれる知識をほぼ表すよう
に意図される。入力値と決定の精度の間の関係を形成す
ることにより、ネットワーク内の知識が正確にされる。
重みから規則に変換することにより、幾分精度が犠牲に
されるが、規則は、ネットワーク内に含まれる知識を分
析しようとするユーザの目的のみを意図するものであっ
て、本発明の他の能力に必要なものではない。

【００７７】規則発生のキーは上述の最小前提２９であ
る。規則内の入力値は、規則内の結論に到達するための
一組の最小前提である。換言すれば、規則発生は、規則
内のいずれかの入力値が除去された場合に、規則の結論
がもはや保持されないような規則を構成することであ
る。規則発生は、一組の最小前提を生成して仮説的な結
論を支持することにより規則性構成する。この場合に、
前提は仮設（しかし可能な）入力値から構成される。特
に、規則は、結論としての変数に関する可能な決定の１
つを支持可能な一組の仮説的最小前提を発見することに
より、出力変数に関して生成される。発見された最小前
提の各固有組が規則になる。全ての可能な組が発見され
て、全ての可能な規則が発生されるが、それは規則当た
りの前提の最大数を特定するユーザの選択により制限を
受けるのみである。

【００７８】最小前提の全ての可能な組が入力空間の調
査を行うことにより発見される。特に規則発生は従来の
デプス−ファースト・ツリー（depth-first tree）調査
を用いる。本発明の分脈においては、シミュレートされ
たツリーを通る経路は入力値の可能な組合わせに対応す
る。ツリーの各レベルは異なる入力変数入力変数に対応
する。ツリー内の各ノードはｎ＋１のブランチを有して
おり、ここで、ｎはノードが存在するレベルに対応する
入力変数に関する可能な値の数である。１つのブランチ
は各可能値に対応し、余分のブランチは未知の値に対応
する。論理型入力変数に関しては、可能値は真及び偽で
あり、従って、ｎは２である。記号型変数に関しては、
ｎは可能な記号の数である。連続型変数に関しては、非
常に多くの可能値が存在し、そのため値の代表的サンプ
ルを選択する必要がある。本発明の解決はある連続型入
力変数の数値範囲内の異なる領域を代表する３つの値を
選択することである。これらの値を選択するための特定
の方法については後述する。

【００７９】ツリー内の特定経路に沿った調査は、経路
内の各ブランチに対応する値（場合によっては未知であ
る）の選択として解釈される。こうして、調査がツリー
をｍレベル下ったときに、ｍ入力変数の値が設定される
か、あるいは未知であると宣言される。調査は、組値が
結論になるか、ツリーの底部に到達するまで、各可能経
路について行われる。結論なしに底部に到達した場合に
は、経路は何の規則も生成しない。しかし、結論に到達
した場合には、経路内の既知の値の組が、結論と共に候
補規則を構成する。候補規則は、その前提が最小である
場合、すなわち、経路内の全ての既知の値の組が結論を
支持するために必要とされる場合にのみ選択される。規
則発生は、既知の値が、結果的に結論を欠落させずに、
未知であると仮定できるかどうかを判断するためにチェ
ックを行う。その場合には、前提は最小ではなく、候補
規則は捨てられる。そうでない場合には、候補規則は規
則発生の出力内に含まれる。

【００８０】各連続型入力変数に関する３つのサンプル
値を選択するための正確な方法について考えてみるに、
規則発生は、変数の値範囲の上部、下部及び中部の範囲
から値を選択する。選択された値は、高位、低位及び中
位として言及され、入力変数統計量１３から計算され
る。中位値は入力変数の平均に等しい。高位及び低位に
関する数値は、どの統計量が用いられるかに依存してい
る。最小及び最大の統計量が用いられた場合には、後続
の値が連続型入力変数ｉに関して選択される。

【００８１】低位=(3 Min(i)+Max(i))/4 高位=(3 Max(i)+Min(i))/4 ここで、Min(i)及びMax(i)はｉの最小値及び最大値であ
る。選択された値は間隔[Min(i),Max(i)]の間の４分の
１及び４分の３の点に対応する。

【００８２】平均値及び標準偏差統計量を用いる場合に
は、次の値が選択される。

【００８３】低位=平均値(i)-(z*Sd(i)) 高位=平均値(i)+(z*Sd(i)) ここで平均値(i)及びSd(i)は変数ｉの平均値及び標準偏
差値であり、ｚは全ての連続型入力変数に適応すべくユ
ーザにより選択された可能値である。

【００８４】図１２は、上述の方法を用いて、規則発生
器により生成された典型的な規則を含んでいる。貸出記
録問題が再び例として用いられている。この問題は連続
型入力変数を含むから、本発明の、規則前提として連続
型変数を用いるための方法、すなわち、高位、低位及び
中位を用いる方法の良好な事例となる。図１２に示す規
則は、許可結論を支持するために十分な６つの入力値を
特定する。申請人がこれらの６つの値を有する場合に
は、彼は、残りの７つの入力変数に関する彼の値いかん
にかかわらず、許可が保証される。

【００８５】再び図１を参照すると、第３の内部構成要
素は知能知識獲得モジュール３３である。用語「知能知
識獲得」は、どの知識が目的にとって有益であるかを決
定するための組織的な方法について言及している。本発
明の分脈において、これは、どの未知の入力変数が、そ
れらの値が既知になった場合に、特定の出力変数に最も
大きなインパクトを有するかについての評価を含んでい
る。最も大きな影響力を有する未知の入力変数に関する
値を追うことにより、ユーザは結論の調査に必要とされ
る別の入力の数を減じることが可能になる。これは、特
に、情報の収集に関して、非常にコストと危険がかか
り、時間の遅れが生じる医療診断のような分野において
重要である。

【００８６】知能知識獲得（ＩＫＡ）モジュールの動作
は図６の流れ図において説明される。モジュールは、ユ
ーザ選択の出力変数に関する各未知の入力変数３３の潜
在的な影響を測定する。図６のブロック１６１において
は、ＩＫＡモジュールは、値が未知である第１の又は次
の入力変数を試験する。試験値は、ブロック１６３にお
いて、変数に関して決定される。変数が論理型又は記号
型である場合には、変数の各可能値が試験値として用い
られる。それらは、規則発生３１において連続型入力変
数に関して高位及び低位の値が選択された公式と同様の
公式を用いて計算される。

【００８７】入力変数に関する試験値が決定された後
に、影響のトータルが、ブロック１６５においてゼロに
初期化される。第１及び次の試験値がブロック１６７に
おいて選択されて、入力変数が、一時的に、その値を備
えているものと仮定される。モジュールは、ユーザ選択
の出力変数に関する決定に対する入力値により形成され
る貢献を計算する。貢献は、決定説明２５が貢献を計算
する公式と同様の公式を用いて計算される。計算された
貢献の絶対値は、ブロック１６９において影響の総計に
加算される。全ての試験値がブロック１７１で用いられ
ると、入力変数に関する影響測定が、ブロック１７３に
おいて、試験値の数により影響総計を割ることにより、
計算される。未知の変数の影響は、このようにして、変
数の試験値により形成された貢献の平均値の絶対値とな
るように、計算される。

【００８８】変数の影響を計算した後に、ＩＫＡモジュ
ールが、ブロック１７５において、全ての未知の入力変
数が試験されたかどうかを判定するためにチェックされ
る。試験されなかった場合には、次の未知の変数が試験
される。そうでない場合には、モジュールはブロック１
７７に進み、そこで、全ての未知の入力変数に関する影
響測定が、最大の測定値が１００．０になるように決定
されたスケーリング定数により積算される。定数が、１
００．０をスケーリングされなかった測定値の最大値で
割ることにより計算される。ブロック１７９において、
スケーリングされた影響の測定値が、対応する変数の平
均値と共に、出力として生成される。出力は影響測定値
により数値的に順序付けられる。

【００８９】図１１は、再び、図８に示す貸出に対する
応用例と、図７に示すネットワークとを用いて、ＩＫＡ
の出力の例を含んでいる。前掲の例にように、この例
は、私たちが、信用報告書に由来する図８にリストアッ
プされた値のみを知っていることを仮定する。ここで
は、５つの未知の入力変数が存在する。図１１の出力
は、これらの５つの変数に関して計算された影響の測定
値を、図６の流れ図に示した方法を用いて、示してい
る。測定値は、銀行カード口座、又は就労年月が結論に
到達するための最大の変数であることを示している。そ
の場合に、居住年月値を知ることが最も価値がないこと
を示している。

【００９０】ＩＫＡモジュールにより計算された影響の
測定は、説明モジュール２３により計算された貢献と同
様に、入力値の現在の組に依存している。こうして、未
知の入力変数が、大きな影響測定値に示されているよう
に、同じ状況において重要なものとなり、他のものが重
要でなくなる可能性があることを示している。

【００９１】

【発明の効果】以上のように、本発明は、説明を含むエ
キスパートシステムの機能にフィードフォワードニュー
ラルネットワークの機能が付加されたようなシステムで
ある。本発明は、従来技術の欠点を克服する。特に、本
発明は、連続状態のフィードフォワードネットワークに
関する欠点を克服し、十分な入力情報が結論を作成する
ために存在知る場合に決定を行うことが可能であり；そ
の決定及びどうしてこれらの決定のうちのあるものが結
論になるかを正確に説明可能であり；その決定に伴う信
頼度測定を計算可能であり；未知の値を備えた相対的に
重要な入力を計算可能である。本発明は、人間が規則の
形式で知識を与えることに依存せずに、事例から学習可
能である点で、現存のエキスパートシステムとは異な
る。本発明の説明は、本発明が非線形関係を扱うので、
２レイヤネットワークにおける説明に関する現存の技法
とは異なる。本発明は、例えば、本発明は連続状態フィ
ードフォワードネットワークの強力なクラス上で動作す
る点において、従来の混合型システムの欠点を克服可能
なので、従来の混合型システムとも異なっている。

【図面の簡単な説明】

【図１】本発明に基づく、入力及び出力を含む、主な構
成要素の概略図である。

【図２】本発明に基づく、推論モジュールの動作を示す
流れ図である。

【図３】本発明に基づく、結論説明の動作を示す第１の
流れ図である。

【図４】本発明に基づく、結論説明の動作を示す第２の
流れ図である。

【図５】本発明に基づく、決定説明の動作を示す流れ図
である。

【図６】本発明に基づく、知能知識獲得の動作を示す流
れ図である。

【図７】貸出評価問題で動作する本発明に基づくニュー
ラルネットワークアーキテクチャとデータフローの概略
図である。

【図８】図７に示す動作において、事例の値と共に、貸
出評価問題における入力変数を示している。

【図９】図７及び図８に示す貸出評価問題における決定
説明の出力の例を示している。

【図１０】図７及び図８に示す貸出評価問題における結
論説明の出力の例を示している。

【図１１】図７及び図８に示す貸出評価問題における知
能知識獲得の出力の例を示している。

【図１２】図７及び図８に示す貸出評価問題における規
則発生の出力の例を示している。

【符号の説明】

Claims

【特許請求の範囲】

【請求項１】入力変数を示す入力処理素子（ＰＥ）のレ
イヤと、出力変数を示す出力（ＰＥ）のレイヤと、任意
の数の隠れ（ＰＥ）のレイヤを備えた、訓練された連続
状態フィードフォワードニューラルネットワークに基づ
くエキスパートシステムを動作させる方法であって：基
礎となるＰＥの状態に基づく各出力変数に関する決定を
決定するステップと；既知となるネットワークに対する
入力として、決定が不可逆である場合に、各出力変数に
関する結論を決定するステップと；各決定に関する信頼
度測定を計算するステップと；既知の値を備えた各入力
変数により決定に対してなされた貢献を計算することに
より各決定を説明するステップと；既知の値を備えた各
入力変数により結論の到達に対してなされた貢献を計算
することにより各結論を説明するステップと；未知の値
を備えた各入力変数の決定に対する潜在的な影響を判定
するステップと；ニューラルネットワーク内に含意され
る知識をif-then規則の正確な組へと変換するステップ
と；から成ることを特徴とする方法。
【請求項２】フィードフォワードニューラルネットワー
クにおいて、隠れＰＥと出力ＰＥの状態の高位及び低位
バウンドを計算するための方法であって、前記バウンド
はかかる状態、ある既知の入力状態及び現在は未知であ
る入力ＰＥのいくつかの又は全ての可能な状態の組合わ
せの、可能な範囲の限界として機能するような方法にお
いて：入力変数偏差統計量を用いて、連続型にゅ力変数
の値の上位バウンド及び回バウンドを決定するステップ
と；入力変数のバウンドと隠れＰＥの状態のバウンドか
ら回帰的に出力ＰＥの状態のバウンドを計算するステッ
プと；から成ることを特徴とする方法。
【請求項３】連続型状態ＰＥを備えたフィードフォワー
ドニューラルネットワークにおいて、未知の入力状態の
数にかかわらず、結論が出力変数の値に関して形成可能
な場合を決定するステップが、出力状態の高位及び低位バウンドを決定するステップ
と；出力変数に関する一時的決定が変化可能であるかを
判定するために出力状態の高位バウンド及び低位バウン
ドを用いるステップと；一時的決定が変化不能である場
合に結論を生成するステップと；から成ることを特徴と
する、請求項２に記載の方法。
【請求項４】フィードフォワードニューラルネットワー
クにおいて出力変数に対応する決定に関する解決度の信
頼度測定を計算するための方法であって：既知の入力値
の組を与えるネットワーク出力状態を決定するステップ
と；選択されたしきい値又はその他の決定基準と出力状
態を比較して、量的に決定基準に対する出力状態の接近
度を測定するステップと；から成ることを特徴とする方
法。
【請求項５】フィードフォワードニューラルネットワー
クにおいて出力変数の値に対応する決定に関する必然度
の信頼度測定を計算するための方法であって：出力ＰＥ
の状態のバウンドを決定するステップと；選択されたし
きい値又はその他の決定基準と出力状態を比較して、量
的に決定基準に対する出力状態の接近度を測定するステ
ップと；から成ることを特徴とする方法。
【請求項６】ニューラルネットワークに関する根拠を説
明するための方法であって：既知の入力値の組のネット
ワーク出力の状態を決定するステップと；出力状態を決
定基準と比較して、出力決定を決定するステップと；未
知の条件に各既知の入力値を順次変換するステップと；
既知から未知へと変換された各入力値に関して、決定基
準に対する出力状態の変化を測定するステップと；出力
決定を決定する際に各既知の入力値の重要性を量的にラ
ンク付けするステップと；から成ることを特徴とする方
法。
【請求項７】フィードフォワードニューラルネットワー
クにおける既知の値を備えた各入力変数により結論条件
の到達に対する貢献を測定するための請求項３に記載の
説明の方法であって：上位及び下位の出力状態バウンド
を決定するステップと；順次各既知の入力値を未知の条
件に変換するステップと；既知から未知に変換された各
入力値に関して、決定基準に対する上位及び下位の出力
バウンドにおける変化を測定するステップと；結論条件
に到達するに際し各既知の入力の重要性を量的にランク
付けするステップと；から成ることを特徴とする請求項
３に記載の方法。
【請求項８】連続型状態フィードフォワードニューラル
ネットワークにおける結論条件を支援するに十分な現在
の入力値の最小のサブセットを計算するための請求項３
に記載の方法であって：各既知の入力値に対する出力バ
ウンドにおける相対的変化を評価するステップと；結論
条件に到達するに十分な最も重要な入力の最小組を選択
するステップと；から成ることを特徴とする請求項３に
記載の方法。
【請求項９】変数の値が既知となる場合のフィードフォ
ワードニューラルネットワークの出力に対応する決定に
対する、未知の入力変数の潜在的な影響を測定するため
の方法であって：各未知の入力値に関して、各入力がそ
の可能な値範囲にわたって変化する場合に、順次出力状
態の変化を決定するステップと；各未知の入力に関して
決定基準に対する出力状態の変化を量的に計算するステ
ップと；から成ることを特徴とする方法。
【請求項１０】可能な結論を支援するif-then規則の正
確な組に連続状態フィードフォワードニューラルネット
ワーク内に含意される知識を翻訳するするために結論発
生プロセスを用いる請求項３に記載の方法であって：結
論状態に到達するだろう入力値の最小組を決定し、その
場合に入力値の組は特定の結論に関する規則を構成する
ステップと；特定の出力変数に関する結論を支援する全
ての可能な規則の組に関する入力値を調査するステップ
と；から成ることを特徴とする請求項３に記載の方法。
【請求項１１】特定値が変数の値領域の上位、低位及び
中位の統計量領域を示すように選択され、これらの値が
１又はそれ以上の基礎における可能な結論に関して試験
されることを特徴とする、請求項１０に記載の連続型入
力変数の値を用いる方法。
【請求項１２】フィードフォワードニューラルネットワ
ークの重みのサブセットを用いて、入力値における実際
の変化又は仮定上の変化から帰結する修正出力状態を計
算するための請求項６に記載の方法であって：さらに、
状態が変化した入力ＰＥの１つと、修正状態を計算する
ために修正状態が計算された出力ＰＥの１つとの間の経
路にある接続に関連する重みを用いるステップを含むこ
とを特徴とする；請求項６に記載の方法。