JPH05151188A - エキスパートシステム機能を備えたニユーラルネツトワーク - Google Patents
エキスパートシステム機能を備えたニユーラルネツトワークInfo
- Publication number
- JPH05151188A JPH05151188A JP3186788A JP18678891A JPH05151188A JP H05151188 A JPH05151188 A JP H05151188A JP 3186788 A JP3186788 A JP 3186788A JP 18678891 A JP18678891 A JP 18678891A JP H05151188 A JPH05151188 A JP H05151188A
- Authority
- JP
- Japan
- Prior art keywords
- output
- input
- decision
- variable
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
(57)【要約】
【目的】 エキスパートシステム機能を備えたニューラ
ルネットワークを提供する。 【構成】 本発明の方法は、訓練されたフィードフォワ
ードニューラルネットワーク上で各種エキスパートシス
テムの機能を実行するための方法を提供する。これらの
機能は、決定作成、説明、信頼度測定の計算及び情報獲
得の知能方向を含んでいる。さらに、この方法はネット
ワーク内に含意される知識を正確なif-then規則の組に
変換する。
ルネットワークを提供する。 【構成】 本発明の方法は、訓練されたフィードフォワ
ードニューラルネットワーク上で各種エキスパートシス
テムの機能を実行するための方法を提供する。これらの
機能は、決定作成、説明、信頼度測定の計算及び情報獲
得の知能方向を含んでいる。さらに、この方法はネット
ワーク内に含意される知識を正確なif-then規則の組に
変換する。
Description
【0001】
【産業上の利用分野】本発明はニューラルネットワーク
に関し、さらに詳細には、フィードフォワードネットワ
ークとして知られるニューラルネットワークのクラスに
関する。
に関し、さらに詳細には、フィードフォワードネットワ
ークとして知られるニューラルネットワークのクラスに
関する。
【0002】
【従来の技術】ニューラルネットワークは、一連のニュ
ーロン状処理要素(PE)の相互接続から構成される。
PE間の接続の強さは重みにより表される。各PEは状
態として知られる値を格納する。状態は、入力データに
より特定されるか、あるいは、PEの変換機能を用い
て、PEの入力と重みから計算される。典型的には、変
換機能がPEのネット入力、すなわちその入力の重み合
計に付与されている。総合的には、状態は短期間の情報
を表すために用いられる。長期間情報、すなわち学習は
重みにより表される。ニューラルネットワークはそれら
の重みを修正することにより事例から学習を行う。学習
又は訓練が完了すると、これらのネットワークは各種の
計算機用タスクを実行可能になる。
ーロン状処理要素(PE)の相互接続から構成される。
PE間の接続の強さは重みにより表される。各PEは状
態として知られる値を格納する。状態は、入力データに
より特定されるか、あるいは、PEの変換機能を用い
て、PEの入力と重みから計算される。典型的には、変
換機能がPEのネット入力、すなわちその入力の重み合
計に付与されている。総合的には、状態は短期間の情報
を表すために用いられる。長期間情報、すなわち学習は
重みにより表される。ニューラルネットワークはそれら
の重みを修正することにより事例から学習を行う。学習
又は訓練が完了すると、これらのネットワークは各種の
計算機用タスクを実行可能になる。
【0003】ニューラルネットワークの大部分の使用
は、フィードフォワードネットワークに向けられてい
る。これらのネットワークは、入力ノードのレイヤ、出
力ノードのレイヤ、及び任意選択により、それらの間の
いくつかの隠しレイヤから成るアーキテクチャを備えて
いる。入力データは、入力レイヤの状態を用いて表され
る。このデータに対するネットワークの応答は、出力レ
イヤの状態により表される。これらのネットワークのフ
ィードフォワードの特質は、対話の間に、計算が入力レ
イヤから各隠しレイヤを通して出力レイヤに流れるとい
う事実に起因している。このアーキテクチャにより、ネ
ットワークは、入力状態を、入力に対する正確な応答に
近似する出力状態にマップすることを学習する。例え
ば、入力状態が医療患者により示される容体を表す場合
には、ネットワークは、これらの容体に対する正確な診
断の評価を示す出力状態を発生することが可能である。
は、フィードフォワードネットワークに向けられてい
る。これらのネットワークは、入力ノードのレイヤ、出
力ノードのレイヤ、及び任意選択により、それらの間の
いくつかの隠しレイヤから成るアーキテクチャを備えて
いる。入力データは、入力レイヤの状態を用いて表され
る。このデータに対するネットワークの応答は、出力レ
イヤの状態により表される。これらのネットワークのフ
ィードフォワードの特質は、対話の間に、計算が入力レ
イヤから各隠しレイヤを通して出力レイヤに流れるとい
う事実に起因している。このアーキテクチャにより、ネ
ットワークは、入力状態を、入力に対する正確な応答に
近似する出力状態にマップすることを学習する。例え
ば、入力状態が医療患者により示される容体を表す場合
には、ネットワークは、これらの容体に対する正確な診
断の評価を示す出力状態を発生することが可能である。
【0004】ニューラルネットワークが広く受け入れら
れることに対する障害の一つは、ニューラルネットワー
クが主としてブラックボックスとして機能するという事
実である。特定の組の入力がどうして特定の出力を発生
するのかを理解することが困難なことがしばしばある。
この困難性は、ネットワークの「知識」は、相互接続の
複雑なウェブに関連する重みにコード化される。ネット
ワークの入力の項目内の特定の出力を説明するための方
法である、ニューラルネットワークの説明方法を見いだ
すことが好ましい。例えば、ネットワークが貸出決定を
行うために用いられる場合には、申請者を記述する入力
データの項目内のこれらの項目を説明することが好まし
い。この種の説明は否定的な貸出決定に必要である。
れることに対する障害の一つは、ニューラルネットワー
クが主としてブラックボックスとして機能するという事
実である。特定の組の入力がどうして特定の出力を発生
するのかを理解することが困難なことがしばしばある。
この困難性は、ネットワークの「知識」は、相互接続の
複雑なウェブに関連する重みにコード化される。ネット
ワークの入力の項目内の特定の出力を説明するための方
法である、ニューラルネットワークの説明方法を見いだ
すことが好ましい。例えば、ネットワークが貸出決定を
行うために用いられる場合には、申請者を記述する入力
データの項目内のこれらの項目を説明することが好まし
い。この種の説明は否定的な貸出決定に必要である。
【0005】ブラックボックス問題は、2つのレイヤの
フィードフォワードネットワーク、すなわち、隠しレイ
ヤの存在しない場合には、そう深刻な問題ではない。こ
れらのネットワークでは、入力と出力の関係が直接的で
ある。入力PEと出力PEの間の状態の間の関係の大き
さ及び方向は、2つのPEの間の接続の重みにより得ら
れる。各入力と出力の間の関係は固定されているので、
これらの単純なネットワークは、非単調関係ような、入
力と出力の可変的関係を捕捉することができない。さら
にまた、複数の入力の間の相互独立をも捕捉することが
できない。すなわち、かかるネットワークでは、ある出
力に対するある入力の効果を他の入力の間とは独立にマ
ッピングすることができない。かかるネットワークは、
線形的なマッピング、すなわち、各出力が入力の重み付
け合計に比例するようなマッピングを学習することのみ
である。このように、これらのネットワークは、実世界
に存在する関係の限定されたサブセットのみを学習する
ように制限されている。
フィードフォワードネットワーク、すなわち、隠しレイ
ヤの存在しない場合には、そう深刻な問題ではない。こ
れらのネットワークでは、入力と出力の関係が直接的で
ある。入力PEと出力PEの間の状態の間の関係の大き
さ及び方向は、2つのPEの間の接続の重みにより得ら
れる。各入力と出力の間の関係は固定されているので、
これらの単純なネットワークは、非単調関係ような、入
力と出力の可変的関係を捕捉することができない。さら
にまた、複数の入力の間の相互独立をも捕捉することが
できない。すなわち、かかるネットワークでは、ある出
力に対するある入力の効果を他の入力の間とは独立にマ
ッピングすることができない。かかるネットワークは、
線形的なマッピング、すなわち、各出力が入力の重み付
け合計に比例するようなマッピングを学習することのみ
である。このように、これらのネットワークは、実世界
に存在する関係の限定されたサブセットのみを学習する
ように制限されている。
【0006】隠しレイヤを備えたネットワークは、入力
と出力の間の非単調関係及び複数の入力の間の独立性を
含むような、非単調的なマッピングを学習するために必
要である。これらのネットワークでは入力と出力の直接
的関係は存在しないために、説明は困難な問題である。
説明の一つの試みでは、感度分析を用いる。この技法
は、入力の値を変更し、ネットワークと対話し、ネット
ワークの出力内に意味のある変更が存在するかどうかを
調べることを含んでいる。事例として、医療分野を用い
れば、感度分析は、入力容体の1つの変更と、ネットワ
ークの診断出力の変更が存在するかどうかを調べること
を含んでいる。
と出力の間の非単調関係及び複数の入力の間の独立性を
含むような、非単調的なマッピングを学習するために必
要である。これらのネットワークでは入力と出力の直接
的関係は存在しないために、説明は困難な問題である。
説明の一つの試みでは、感度分析を用いる。この技法
は、入力の値を変更し、ネットワークと対話し、ネット
ワークの出力内に意味のある変更が存在するかどうかを
調べることを含んでいる。事例として、医療分野を用い
れば、感度分析は、入力容体の1つの変更と、ネットワ
ークの診断出力の変更が存在するかどうかを調べること
を含んでいる。
【0007】説明はまたエキスパートシステムの分野で
も問題となる。これらのシステムはしばしばニューラル
ネットワークと比較される。というのも、この2つの技
術はいくつかの同じ問題を解決するための試行だからで
ある。すなわち、分類、予想及び意思決定である。説明
は、エキスパートシステムにおいてはニューラルネット
ワークよりも直接的である。というのも、エキスパート
システムにおける「知識」は、規則ベースとして知られ
ている一連のIF-THEN規則に組み込まれる点でより正確
である。説明の他に、エキスパートシステムは、従来の
ニューラルネットワークには見られない他の好ましい性
能を有している。これらの性能には、意思決定をするた
めに十分な入力情報が存在するかを判定すること;ユー
ザの情報獲得に対する知識方向を提供すること:及び付
随する決定に対する信頼度測定を計算すること;が含ま
れる。
も問題となる。これらのシステムはしばしばニューラル
ネットワークと比較される。というのも、この2つの技
術はいくつかの同じ問題を解決するための試行だからで
ある。すなわち、分類、予想及び意思決定である。説明
は、エキスパートシステムにおいてはニューラルネット
ワークよりも直接的である。というのも、エキスパート
システムにおける「知識」は、規則ベースとして知られ
ている一連のIF-THEN規則に組み込まれる点でより正確
である。説明の他に、エキスパートシステムは、従来の
ニューラルネットワークには見られない他の好ましい性
能を有している。これらの性能には、意思決定をするた
めに十分な入力情報が存在するかを判定すること;ユー
ザの情報獲得に対する知識方向を提供すること:及び付
随する決定に対する信頼度測定を計算すること;が含ま
れる。
【0008】不幸にして、エキスパートシステムは、ニ
ューラルネットワークの最も特筆すべき特徴である事例
からの学習の能力を欠いている。学習能力をエキスパー
トシステムに持たせるためのいくつかの試みがなされて
きたが、それらは未だに「知識」源としての手作業の規
則に基本的には依存している。このように、特定の問題
を解決するためにエキスパートシステムを構築するため
には、問題領域の人間の専門家を発見し、彼の知識をIF
-THEN規則に変換し、それから、規則ベースの欠陥を除
去することが必要である。
ューラルネットワークの最も特筆すべき特徴である事例
からの学習の能力を欠いている。学習能力をエキスパー
トシステムに持たせるためのいくつかの試みがなされて
きたが、それらは未だに「知識」源としての手作業の規
則に基本的には依存している。このように、特定の問題
を解決するためにエキスパートシステムを構築するため
には、問題領域の人間の専門家を発見し、彼の知識をIF
-THEN規則に変換し、それから、規則ベースの欠陥を除
去することが必要である。
【0009】明らかに、ニューラルネットワークの学習
能力と、エキスパートシステムの説明その他の能力とを
組み合わせることが好ましい。かかる組合わせに対する
1つの公知の試行には、ニューラルネットワークを「知
識」源として用い、それによりニューラルネットワーク
の学習の利点を得るエキスパートシステムが含まれる。
エキスパートシステムの説明のような能力に加えて、こ
の混合型システムは、ネットワークに含まれる知識を一
連の規則に変換するための機能を任意選択的に含んでい
る。このシステムは例えば、米国特許第4,730,2
59号といった文献に記載されている。
能力と、エキスパートシステムの説明その他の能力とを
組み合わせることが好ましい。かかる組合わせに対する
1つの公知の試行には、ニューラルネットワークを「知
識」源として用い、それによりニューラルネットワーク
の学習の利点を得るエキスパートシステムが含まれる。
エキスパートシステムの説明のような能力に加えて、こ
の混合型システムは、ネットワークに含まれる知識を一
連の規則に変換するための機能を任意選択的に含んでい
る。このシステムは例えば、米国特許第4,730,2
59号といった文献に記載されている。
【0010】不幸にして、従来の混合型システムで用い
られている技法は、いくつかの重要な限界を有してい
る。最も重要なのは、従来の混合型システムは、線形判
別ネットワークとして知られているような、パーセプト
ロンネットワークのみに受け入れ可能である。入力レイ
ヤの可能な例外でもって、これらのネットワークのPE
は、三次状態、すなわち、大まかに真、偽、未知に対応
する、3つの可能な状態に制限される。この結果、パー
セプトロンネットワークは、連続状態ネットワーク、す
なわち、状態が一連の計数値に限定されないようなネッ
トワークのように正確にマッピングを計算することがで
きない。精度の損失以上に重要なことは、パーセプトロ
ンネットワークは、隠しレイヤを備えたネットワークに
関しては最もよく用いられる訓練である、バックプロパ
ゲーション学習で訓練できないことである。
られている技法は、いくつかの重要な限界を有してい
る。最も重要なのは、従来の混合型システムは、線形判
別ネットワークとして知られているような、パーセプト
ロンネットワークのみに受け入れ可能である。入力レイ
ヤの可能な例外でもって、これらのネットワークのPE
は、三次状態、すなわち、大まかに真、偽、未知に対応
する、3つの可能な状態に制限される。この結果、パー
セプトロンネットワークは、連続状態ネットワーク、す
なわち、状態が一連の計数値に限定されないようなネッ
トワークのように正確にマッピングを計算することがで
きない。精度の損失以上に重要なことは、パーセプトロ
ンネットワークは、隠しレイヤを備えたネットワークに
関しては最もよく用いられる訓練である、バックプロパ
ゲーション学習で訓練できないことである。
【0011】従来の混合型システムの説明技法もまた制
限を有している。例えば、どのようにしてシステムが最
終決定の前にある出力又は別の出力に向かって学習を行
ったかについて説明をするための方法が存在しないため
に、説明は結果に対して行われるだけである。説明は、
規則の左側の条件(入力又は隠しレイヤ状態)が右側の
結論に関する説明として機能する、規則の形式をとる。
規則に含まれるこれらの条件は、省略されたものより
も、結果に対して大きく積極的に貢献する。しかし、含
まれた条件にしろ、省略された条件にしろ、貢献に対す
る正確な測定が行われることはない。
限を有している。例えば、どのようにしてシステムが最
終決定の前にある出力又は別の出力に向かって学習を行
ったかについて説明をするための方法が存在しないため
に、説明は結果に対して行われるだけである。説明は、
規則の左側の条件(入力又は隠しレイヤ状態)が右側の
結論に関する説明として機能する、規則の形式をとる。
規則に含まれるこれらの条件は、省略されたものより
も、結果に対して大きく積極的に貢献する。しかし、含
まれた条件にしろ、省略された条件にしろ、貢献に対す
る正確な測定が行われることはない。
【0012】従来の混合型システムは、また、ユーザの
情報獲得を管理する方法において制限される。システム
は未知であるが重要な単一の入力を選択して、ユーザに
かかる入力に関する値を入れるように尋ねる。しかしな
がら、システムは、比較的重要な他の未知の入力につい
ての情報を提供することはない。
情報獲得を管理する方法において制限される。システム
は未知であるが重要な単一の入力を選択して、ユーザに
かかる入力に関する値を入れるように尋ねる。しかしな
がら、システムは、比較的重要な他の未知の入力につい
ての情報を提供することはない。
【0013】
【発明が解決しようとする課題】従って、本発明の目的
は、説明を含むエキスパートシステムの機能にフィード
フォワードニューラルネットワークの機能が付加された
ようなシステムを提供することである。さらに、本発明
の目的は、従来技術の欠点を克服することである。特
に、本発明の目的は、連続状態のフィードフォワードネ
ットワークに関する欠点を克服し、十分な入力情報が結
論を作成するために存在知る場合に決定を行うことが可
能であり;その決定及びどうしてこれらの決定のうちの
あるものが結論になるかを正確に説明可能であり;その
決定に伴う信頼度測定を計算可能であり;未知の値を備
えた相対的に重要な入力を計算可能であるようなシステ
ムを提供することである。さらに、本発明の目的は、人
間が規則の形式で知識を与えることに依存せずに、事例
から学習可能である点で、現存のエキスパートシステム
とは異なるシステムを提供することである。さらに、本
発明の目的は、線形関係を扱うことが可能なので、説明
が2レイヤネットワークにおける説明に関する現存の技
法とは異なるようなシステムを提供することである。さ
らに、本発明は、例えば、連続状態フィードフォワード
ネットワークの強力なクラス上で動作する点において、
従来の混合型システムの欠点を克服可能なので、従来の
混合型システムとも異なるようなシステムを提供するこ
とである。
は、説明を含むエキスパートシステムの機能にフィード
フォワードニューラルネットワークの機能が付加された
ようなシステムを提供することである。さらに、本発明
の目的は、従来技術の欠点を克服することである。特
に、本発明の目的は、連続状態のフィードフォワードネ
ットワークに関する欠点を克服し、十分な入力情報が結
論を作成するために存在知る場合に決定を行うことが可
能であり;その決定及びどうしてこれらの決定のうちの
あるものが結論になるかを正確に説明可能であり;その
決定に伴う信頼度測定を計算可能であり;未知の値を備
えた相対的に重要な入力を計算可能であるようなシステ
ムを提供することである。さらに、本発明の目的は、人
間が規則の形式で知識を与えることに依存せずに、事例
から学習可能である点で、現存のエキスパートシステム
とは異なるシステムを提供することである。さらに、本
発明の目的は、線形関係を扱うことが可能なので、説明
が2レイヤネットワークにおける説明に関する現存の技
法とは異なるようなシステムを提供することである。さ
らに、本発明は、例えば、連続状態フィードフォワード
ネットワークの強力なクラス上で動作する点において、
従来の混合型システムの欠点を克服可能なので、従来の
混合型システムとも異なるようなシステムを提供するこ
とである。
【0014】
【課題を解決するための手段】クレーム
【0015】
【実施例】本発明を理解するためには、入力及び出力変
数を理解することが重要である。本発明のユーザは、変
数の基礎となる入力及び出力状態を直接扱うのではな
く、これらの変数を扱う。本発明に基づく決定作成プロ
セスは、入力変数を1又は2以上の出力変数に対するマ
ッピングとして見ることが可能である。いくつかの又は
全ての入力変数に関する値が与えられると、本発明は出
力変数を決定する。これらの値は、本発明に基づき作成
された決定に直接対応する。例えば、貸出決定を示す出
力変数が存在したとすると、真の値は貸出許可の決定に
対応することが可能である。
数を理解することが重要である。本発明のユーザは、変
数の基礎となる入力及び出力状態を直接扱うのではな
く、これらの変数を扱う。本発明に基づく決定作成プロ
セスは、入力変数を1又は2以上の出力変数に対するマ
ッピングとして見ることが可能である。いくつかの又は
全ての入力変数に関する値が与えられると、本発明は出
力変数を決定する。これらの値は、本発明に基づき作成
された決定に直接対応する。例えば、貸出決定を示す出
力変数が存在したとすると、真の値は貸出許可の決定に
対応することが可能である。
【0016】本発明は3つのタイプの入力変数、すなわ
ち、連続型、論理型(ブール演算型)及び記号型を備え
ている。連続型入力変数は全ての数値を含むことが可能
であり、それはその値に等しい状態を備えた単一のPE
により示される。変数の値が未知の場合には、状態はい
くつかのデフォルト値、典型的には変数の平均値に設定
される。論理型入力変数は真又は偽の何れかの値を備え
ることが可能である。それは、{偽、未知、真}に対応
する、{−B、M、B}の組から引き出された状態を備
えた単一のPEにより表される。Bは典型的には1.0
に設定され、Mは典型的には0.0に設定される。記号
型入力変数は有限組の記号からその値を引き出す。例え
ば、変数「地域」は、{北東部、南東部、北西部、南西
部}からなる組に含まれる全ての値を備えることが可能
である。記号型変数は、複数のPEと1−OUT−OF
−nコードを用いて表される。nの可能値を備えた記号
型変数はnのPEにより示され、それぞれは異なる値に
対応する。変数の値が知られている場合には、現在値に
対応するPEにはBの状態が与えられ、他のPEには−
Bの状態が与えられる。記号型変数の値が未知の場合に
は、全てのPEがMの状態を備えている。論理型変数の
場合にように、Bは典型的には1.0に設定され、Mは
典型的には0.0に設定される。
ち、連続型、論理型(ブール演算型)及び記号型を備え
ている。連続型入力変数は全ての数値を含むことが可能
であり、それはその値に等しい状態を備えた単一のPE
により示される。変数の値が未知の場合には、状態はい
くつかのデフォルト値、典型的には変数の平均値に設定
される。論理型入力変数は真又は偽の何れかの値を備え
ることが可能である。それは、{偽、未知、真}に対応
する、{−B、M、B}の組から引き出された状態を備
えた単一のPEにより表される。Bは典型的には1.0
に設定され、Mは典型的には0.0に設定される。記号
型入力変数は有限組の記号からその値を引き出す。例え
ば、変数「地域」は、{北東部、南東部、北西部、南西
部}からなる組に含まれる全ての値を備えることが可能
である。記号型変数は、複数のPEと1−OUT−OF
−nコードを用いて表される。nの可能値を備えた記号
型変数はnのPEにより示され、それぞれは異なる値に
対応する。変数の値が知られている場合には、現在値に
対応するPEにはBの状態が与えられ、他のPEには−
Bの状態が与えられる。記号型変数の値が未知の場合に
は、全てのPEがMの状態を備えている。論理型変数の
場合にように、Bは典型的には1.0に設定され、Mは
典型的には0.0に設定される。
【0017】出力変数は論理型又は記号型とすることが
可能である。これらの変数のタイプは、本発明の決定出
力に適している。というのも、これらの変数はカテゴリ
ー値を備えており、決定は本質的にはカテゴリー的だか
らである。訓練モードにおける動作の間、ネットワーク
は論理型及び記号型訓練値、すなわち、出力変数に対す
る正確な決定に対応する値で表される。これらの訓練値
は、{−B、M、B}組における状態を用いて、論理型
又は記号型入力値と同様に表される。しかしながら、連
続状態フィードフォワードネットワークの出力レイヤ内
で発生される状態は、定義により、連続的であり、{−
B、M、B}に限定されない。従って、出力状態は、論
理型及び記号型値の近似値として翻訳される。
可能である。これらの変数のタイプは、本発明の決定出
力に適している。というのも、これらの変数はカテゴリ
ー値を備えており、決定は本質的にはカテゴリー的だか
らである。訓練モードにおける動作の間、ネットワーク
は論理型及び記号型訓練値、すなわち、出力変数に対す
る正確な決定に対応する値で表される。これらの訓練値
は、{−B、M、B}組における状態を用いて、論理型
又は記号型入力値と同様に表される。しかしながら、連
続状態フィードフォワードネットワークの出力レイヤ内
で発生される状態は、定義により、連続的であり、{−
B、M、B}に限定されない。従って、出力状態は、論
理型及び記号型値の近似値として翻訳される。
【0018】出力状態を翻訳する場合に、記号型出力変
数には最高状態を備えた基本PEに基づく値を与えられ
る。このPEは選択されたPEと呼ばれる。論理が他出
力変数にはユーザ選択の論理型決定しきい値に応じた値
が与えられる。基本出力状態がしきい値よりも高い場合
には、変数の値が真である。そうでない場合には、変数
の値が偽である。
数には最高状態を備えた基本PEに基づく値を与えられ
る。このPEは選択されたPEと呼ばれる。論理が他出
力変数にはユーザ選択の論理型決定しきい値に応じた値
が与えられる。基本出力状態がしきい値よりも高い場合
には、変数の値が真である。そうでない場合には、変数
の値が偽である。
【0019】図1には、本発明の基本的要素が示されて
いる。これらの要素は本発明の構成要素として言及され
ており、これらは3つのカテゴリーに分割される。すな
わち、入力、出力及び内部構成要素である。入力構成要
素の1つは、選択された問題領域からの事例でネットワ
ークを訓練した結果生じた重み組である。重み9は領域
についてのネットワークの「知識」をコード化する。訓
練の方法は本発明とは独立であり、ユーザは、フィード
フォワードネットワーク用の学習アルゴリズムの中から
任意選択可能である。バックプロパゲーションは、最も
広く用いられている、本発明が動作可能な隠しレイヤを
備えた連続状態フィードフォワードネットワークの強力
クラスに関する学習アルゴリズムである。
いる。これらの要素は本発明の構成要素として言及され
ており、これらは3つのカテゴリーに分割される。すな
わち、入力、出力及び内部構成要素である。入力構成要
素の1つは、選択された問題領域からの事例でネットワ
ークを訓練した結果生じた重み組である。重み9は領域
についてのネットワークの「知識」をコード化する。訓
練の方法は本発明とは独立であり、ユーザは、フィード
フォワードネットワーク用の学習アルゴリズムの中から
任意選択可能である。バックプロパゲーションは、最も
広く用いられている、本発明が動作可能な隠しレイヤを
備えた連続状態フィードフォワードネットワークの強力
クラスに関する学習アルゴリズムである。
【0020】別の主要な入力構成要素は、入力データ1
1であり、これは、本発明により分析されるべき各事例
に関する入力変数の値を特定するものである。各入力変
数の値は、本発明が知能的に未知の値を処理することを
意図しているために、特殊な場合には未知として特定す
ることが可能である。
1であり、これは、本発明により分析されるべき各事例
に関する入力変数の値を特定するものである。各入力変
数の値は、本発明が知能的に未知の値を処理することを
意図しているために、特殊な場合には未知として特定す
ることが可能である。
【0021】さらに、別な入力構成要素は、いくつかの
入力変数が連続的である場合にのみ受け入れ可能な入力
変数統計量13である。これらの統計量は、各連続型入
力変数に関する値の分散を記述する。特に、このシステ
ムは、各かかる変数に関する平均及び標準偏差か、ある
いは、各変数の最小値及び最大値のいずれかを必要とす
る。稀な場合には、(1) 平均値が連続型入力変数の値が
未知の場合にデフォルト状態として用いられる場合、又
は、(2) 説明モジュール23が規則生成31に関して用
いられる場合には、平均値が必要となる。必要な分散統
計量は、訓練事例組又は分析される事例組のような、デ
ータ組から計算可能である。代わりに、統計量を推定す
ることも可能である。
入力変数が連続的である場合にのみ受け入れ可能な入力
変数統計量13である。これらの統計量は、各連続型入
力変数に関する値の分散を記述する。特に、このシステ
ムは、各かかる変数に関する平均及び標準偏差か、ある
いは、各変数の最小値及び最大値のいずれかを必要とす
る。稀な場合には、(1) 平均値が連続型入力変数の値が
未知の場合にデフォルト状態として用いられる場合、又
は、(2) 説明モジュール23が規則生成31に関して用
いられる場合には、平均値が必要となる。必要な分散統
計量は、訓練事例組又は分析される事例組のような、デ
ータ組から計算可能である。代わりに、統計量を推定す
ることも可能である。
【0022】図1において示されるように、本発明は3
つの主な内部構成要素を備えている。これらの構成要素
のうちの最も基本的なものは、推論モジュール15であ
り、これから3つの出力構成要素、すなわち、決定1
7、結論19及び信頼度測定21(解決度及び必然度)
が派生する。推論モジュールは、単一の出力変数に関し
て図2の流れ図においてH説明される。モジュールと図
についは後述する。
つの主な内部構成要素を備えている。これらの構成要素
のうちの最も基本的なものは、推論モジュール15であ
り、これから3つの出力構成要素、すなわち、決定1
7、結論19及び信頼度測定21(解決度及び必然度)
が派生する。推論モジュールは、単一の出力変数に関し
て図2の流れ図においてH説明される。モジュールと図
についは後述する。
【0023】推論モジュールは、図2のブロック41に
記録されているように、入力変数の値が付加、削除、又
は修正される場合には常に動作される。新しい入力値に
基づいて、ネットワークの出力状態がブロック43で更
新される。さらに、モジュールは、ブロック45におい
てこれらの出力状態の高低バウンドを更新する。これら
のバウンドは、各出力状態の可能範囲の上限及び下限で
あり、既知の入力値及び未知の入力変数のいくつか又は
全てに関する値の組合わせにより与えられる。これらの
バウンドの計算には、連続型入力変数の可能な値に関し
てなされる仮定が必要となる。これらの仮定の詳細及び
バウンドを計算するための正確な方法を説明してから、
推論モジュールを概観する。
記録されているように、入力変数の値が付加、削除、又
は修正される場合には常に動作される。新しい入力値に
基づいて、ネットワークの出力状態がブロック43で更
新される。さらに、モジュールは、ブロック45におい
てこれらの出力状態の高低バウンドを更新する。これら
のバウンドは、各出力状態の可能範囲の上限及び下限で
あり、既知の入力値及び未知の入力変数のいくつか又は
全てに関する値の組合わせにより与えられる。これらの
バウンドの計算には、連続型入力変数の可能な値に関し
てなされる仮定が必要となる。これらの仮定の詳細及び
バウンドを計算するための正確な方法を説明してから、
推論モジュールを概観する。
【0024】更新された出力状態は出力変数の値を決定
するために用いられる。これらの値は本発明の決定17
である。上述のように、出力状態から出力変数値又は決
定を判定する方法は、出力変数が論理型か記号型かに依
存している。論理型である場合には、基礎となる出力状
態がユーザ選択論理型決定のしきい値とブロック49に
おいて比較される。状態がしきい値よりも大きい場合に
は、ブロック51において決定が真となる。そうでない
場合には、ブロック53において決定が偽となる。出力
変数が記号型である場合には、最高位の出力状態を備え
た基礎となるPEがブロック59で選択される。ブロッ
ク61において、決定は選択されたPEに対応した記号
である。
するために用いられる。これらの値は本発明の決定17
である。上述のように、出力状態から出力変数値又は決
定を判定する方法は、出力変数が論理型か記号型かに依
存している。論理型である場合には、基礎となる出力状
態がユーザ選択論理型決定のしきい値とブロック49に
おいて比較される。状態がしきい値よりも大きい場合に
は、ブロック51において決定が真となる。そうでない
場合には、ブロック53において決定が偽となる。出力
変数が記号型である場合には、最高位の出力状態を備え
た基礎となるPEがブロック59で選択される。ブロッ
ク61において、決定は選択されたPEに対応した記号
である。
【0025】決定を更新した後に、本発明は、結論19
されるべき決定を宣言可能であるかどうかを判定する。
入力値が未知の入力変数に関する可能な値のどの組合わ
せも決定に対応する出力変数の値を変更できないほど既
知である場合に、結論に到達可能である。記号型出力変
数に関しては、この結論条件がブロック63においてチ
ェックされる。選択されたPEの状態の低いバウンドが
選択されなかった各PEの状態の高いバウンドよりも大
きい場合には、選択されたPEが未知の入力に対する値
の全ての組合わせに対しても最高位の状態を備えている
ことが保証される。結論条件が満たされると、決定が結
論となることがブロック67で宣言される。そうでない
場合には、結論はブロック65で仮のものである言われ
る。
されるべき決定を宣言可能であるかどうかを判定する。
入力値が未知の入力変数に関する可能な値のどの組合わ
せも決定に対応する出力変数の値を変更できないほど既
知である場合に、結論に到達可能である。記号型出力変
数に関しては、この結論条件がブロック63においてチ
ェックされる。選択されたPEの状態の低いバウンドが
選択されなかった各PEの状態の高いバウンドよりも大
きい場合には、選択されたPEが未知の入力に対する値
の全ての組合わせに対しても最高位の状態を備えている
ことが保証される。結論条件が満たされると、決定が結
論となることがブロック67で宣言される。そうでない
場合には、結論はブロック65で仮のものである言われ
る。
【0026】論理型出力変数に関しては、結論条件を検
査する方法は決定に依存している。決定が真である場合
には、結論条件がブロック55で検査される。条件が、
基礎となる出力PEの状態の低いバウンドが論理型決定
のしきい値よりも大きい場合に出会うと、PEの状態が
未知の入力に関する値の全ての組合わせに対してしきい
値を越えているだろうことが保証される。決定が偽の場
合には、結論条件がブロック57で検査される。条件
が、基礎となる出力状態の高いバウンドが決定しきい値
より小さい場合に出会うと、状態がしきい値以下であろ
うことが保証される。
査する方法は決定に依存している。決定が真である場合
には、結論条件がブロック55で検査される。条件が、
基礎となる出力PEの状態の低いバウンドが論理型決定
のしきい値よりも大きい場合に出会うと、PEの状態が
未知の入力に関する値の全ての組合わせに対してしきい
値を越えているだろうことが保証される。決定が偽の場
合には、結論条件がブロック57で検査される。条件
が、基礎となる出力状態の高いバウンドが決定しきい値
より小さい場合に出会うと、状態がしきい値以下であろ
うことが保証される。
【0027】全ての入力値が既知の場合には、結論条件
に到達することが保証される。しかしながら、実世界に
おいては、いくつかの入力値が未知である場合がしばし
ば生じる。医療診断においては、例えば、重要なデータ
が、獲得するためにコストや費用がかかったり、あるい
は危険であったりして、欠けている場合がある。本発明
の結論生成能力によればこの欠落データの問題を克服で
きる。本発明によれば、ユーザに対して、ユーザが計算
された決定を確かなものにするに十分な入力データを備
えた時を、知らせることが可能である。
に到達することが保証される。しかしながら、実世界に
おいては、いくつかの入力値が未知である場合がしばし
ば生じる。医療診断においては、例えば、重要なデータ
が、獲得するためにコストや費用がかかったり、あるい
は危険であったりして、欠けている場合がある。本発明
の結論生成能力によればこの欠落データの問題を克服で
きる。本発明によれば、ユーザに対して、ユーザが計算
された決定を確かなものにするに十分な入力データを備
えた時を、知らせることが可能である。
【0028】結論を得るために用いられる状態バウンド
は、決定に関する必然度信頼度測定21を計算するため
に用いられる。必然度は、出力変数に関する結論が変数
に関する現在の決定と同じであるかについての信頼度の
測定である。必然度の範囲は0%から100%であり、
結論に到達した場合にのみ、ブロック71において最大
値に到達する。その場合にのみ、別の入力が決定を変化
しないことが保証される。結論に到達する前に、必然度
がブロック69において計算される必要がある。それ
は、決定が結論になるために必要な出力バウンドと実際
の出力バウンドの間の距離に基づいて計算される。
は、決定に関する必然度信頼度測定21を計算するため
に用いられる。必然度は、出力変数に関する結論が変数
に関する現在の決定と同じであるかについての信頼度の
測定である。必然度の範囲は0%から100%であり、
結論に到達した場合にのみ、ブロック71において最大
値に到達する。その場合にのみ、別の入力が決定を変化
しないことが保証される。結論に到達する前に、必然度
がブロック69において計算される必要がある。それ
は、決定が結論になるために必要な出力バウンドと実際
の出力バウンドの間の距離に基づいて計算される。
【0029】論理型出力変数に関して、必然度の割合は
次式により計算される。
次式により計算される。
【0030】真の決定については、 (S(o,lo)-L)*100/(T-L) 偽の決定については、 (U-S(o,hi))*100/(U-T) ここで、S(o,hi)及びS(o,lo)は、基礎となる出力PE
oの状態の高位バウンドと低位バウンドであり、U及び
Lは、それぞれ、oの変換関数の出力の上限及び下限で
あり、Tは論理型決定しきい値である。
oの状態の高位バウンドと低位バウンドであり、U及び
Lは、それぞれ、oの変換関数の出力の上限及び下限で
あり、Tは論理型決定しきい値である。
【0031】記号型出力変数に関しては、必然度の割合
は次式により計算される。
は次式により計算される。
【0032】[{(S(o,lo)-S(o',hi))/(U,L)}+1]*100 ここで、oは選択された出力PEであり、o’は最高位
バウンドを備えた選択されなかったPEである。
バウンドを備えた選択されなかったPEである。
【0033】第2の信頼度測定21、すなわち解決度
は、決定の強さを測定し、ブロック73で計算される。
最大の可能性決定強さは100%の解決度数により示さ
れる。0%に近い数値は、弱い決定を示す。解決度は、
出力状態と決定の境界との間の距離に基づいて計算され
る。特に、論理型出力変数に関しては、解決度割合は、
真の決定については、 (S(o,lo)-L)*100/(T-L) 偽の決定については、 (U-S(o,hi))*100/(U-T) に等しい。ここで、S(o)は基礎となる出力PE oの状
態である。
は、決定の強さを測定し、ブロック73で計算される。
最大の可能性決定強さは100%の解決度数により示さ
れる。0%に近い数値は、弱い決定を示す。解決度は、
出力状態と決定の境界との間の距離に基づいて計算され
る。特に、論理型出力変数に関しては、解決度割合は、
真の決定については、 (S(o,lo)-L)*100/(T-L) 偽の決定については、 (U-S(o,hi))*100/(U-T) に等しい。ここで、S(o)は基礎となる出力PE oの状
態である。
【0034】記号型出力変数に関して、解決度の割合
は、 (S(o)-S(o'))*100/(U-L) に等しい。ここで、oは選択された出力PEであり、
o’は最高位バウンドを備えた選択されなかったPEで
ある。
は、 (S(o)-S(o'))*100/(U-L) に等しい。ここで、oは選択された出力PEであり、
o’は最高位バウンドを備えた選択されなかったPEで
ある。
【0035】医療領域は、上述の信頼度測定が有用であ
ることの例を示す。本発明が、診断決定を行うために用
いられる場合には、これらの決定が生死の結論になる可
能性がある。特定の決定又はそれに対する行動を信頼す
る前に、医者はその決定に対してどれだけの信頼度を持
つべきかを知りたい場合がある。解決度は、医者にどの
程度明確にその診断決定が他の診断よりも好ましいかを
教えてくれるだろう。必然度は、医者に、彼が他の情報
を収集してもどの程度同じ決定であり続けるかの確から
しさを示してくれるだろう。
ることの例を示す。本発明が、診断決定を行うために用
いられる場合には、これらの決定が生死の結論になる可
能性がある。特定の決定又はそれに対する行動を信頼す
る前に、医者はその決定に対してどれだけの信頼度を持
つべきかを知りたい場合がある。解決度は、医者にどの
程度明確にその診断決定が他の診断よりも好ましいかを
教えてくれるだろう。必然度は、医者に、彼が他の情報
を収集してもどの程度同じ決定であり続けるかの確から
しさを示してくれるだろう。
【0036】2つの信頼度測定は間接的に言及されてい
るだけであることに留意すべきである。高い必然度数を
備えているが解決度数は少ない場合があるし、また逆も
しかりである。例えば、前者の事例は弱い決定が結論に
なっている場合に生じる。
るだけであることに留意すべきである。高い必然度数を
備えているが解決度数は少ない場合があるし、また逆も
しかりである。例えば、前者の事例は弱い決定が結論に
なっている場合に生じる。
【0037】さて、出力状態のバウンドを計算するため
の正確な方法を考えてみると、この方法は、連続型入力
変数の可能性のある数値について仮定がなされることを
必要とする。これらの仮定は、入力変数の分布統計量1
3に基づいている。ユーザが最小及び最大の統計量を用
いることを選択した場合には、本発明は、未知の連続型
入力変数の可能値が最小値と最大値との間にあることを
仮定する。ユーザが平均値及び標準偏差を代わりに用い
ることを選択する場合には、彼は、全ての連続型入力変
数に適応可能な正範囲値rを特定する必要がある。本発
明は、未知の連続型変数iの可能値が以下の限界により
定義される領域に収まることを仮定している。: 下限=平均値(i)-(r*Sd(i)) 上限=平均値(i)+(r*Sd(i)) ここで、平均値(i)及びSd(i)は変数iの平均値及び標準
偏差である。
の正確な方法を考えてみると、この方法は、連続型入力
変数の可能性のある数値について仮定がなされることを
必要とする。これらの仮定は、入力変数の分布統計量1
3に基づいている。ユーザが最小及び最大の統計量を用
いることを選択した場合には、本発明は、未知の連続型
入力変数の可能値が最小値と最大値との間にあることを
仮定する。ユーザが平均値及び標準偏差を代わりに用い
ることを選択する場合には、彼は、全ての連続型入力変
数に適応可能な正範囲値rを特定する必要がある。本発
明は、未知の連続型変数iの可能値が以下の限界により
定義される領域に収まることを仮定している。: 下限=平均値(i)-(r*Sd(i)) 上限=平均値(i)+(r*Sd(i)) ここで、平均値(i)及びSd(i)は変数iの平均値及び標準
偏差である。
【0038】出力PEの状態のバウンドは、非入力PE
の状態バウンドに関する以下の回帰方程式を用いて計算
できる。
の状態バウンドに関する以下の回帰方程式を用いて計算
できる。
【0039】S(p,lo)=T(ΣSC(s,p,lo)) S(p,hi)=T(ΣSC(s,p,hi)) ここで、Tはp及びC(s,p,hi)及びC(s,p,lo)は、各ソー
スsによるpの正味入力にされる貢献の高位バウンド及
び低位バウンドである。各sは、隠れPE、すなわち入
力変数か、又はバイアス(特に、状態が常に1.0であ
る場合の入力PE)のいずれかである。
スsによるpの正味入力にされる貢献の高位バウンド及
び低位バウンドである。各sは、隠れPE、すなわち入
力変数か、又はバイアス(特に、状態が常に1.0であ
る場合の入力PE)のいずれかである。
【0040】3つのsのいずれかは、どのようにして貢
献バンドが計算されるかにより決定される。sがバイア
スの場合には、 C(s,p,hi)=C(s,p,lo)=W(s,p) であり、ここでW(s,p)はsないしpの連続の重みを示し
ている。
献バンドが計算されるかにより決定される。sがバイア
スの場合には、 C(s,p,hi)=C(s,p,lo)=W(s,p) であり、ここでW(s,p)はsないしpの連続の重みを示し
ている。
【0041】sが隠れPEである場合には、以下の方程
式が用いられる。
式が用いられる。
【0042】W(s,p)>0である場合には、 C(s,p,lo)=W(s,p)*S(s,lo) C(s,p,hi)=W(s,p)*S(s,hi) そうでない場合には、 C(s,p,lo)=W(s,p)*S(s,hi) C(s,p,hi)=W(s,p)*S(s,lo) sが入力変数である場合には、貢献バウンドの計算はs
のデータタイプ及びsが既知か未知かに依存する。sが
論理型又は連続型であり、値vを備えていると知られて
いる場合には、 C(s,p.lo)=C(s,p,hi)=v*W
(i,p) であり、iはsに基づくPEである。
のデータタイプ及びsが既知か未知かに依存する。sが
論理型又は連続型であり、値vを備えていると知られて
いる場合には、 C(s,p.lo)=C(s,p,hi)=v*W
(i,p) であり、iはsに基づくPEである。
【0043】sが論理型又は連続型であり、その数値が
未知の場合には次の方程式が用いられる。
未知の場合には次の方程式が用いられる。
【0044】W(i,p)>0である場合には、 C(s,p,lo)=W(s,p)*Min(s) C(s,p,hi)=W(s,p)*Max(s) そうでない場合には、 C(s,p,lo)=W(s,p)*Max(s) C(s,p,hi)=W(s,p)*Min(s) ここで、Max(s)及びMin(s)はsの最大及び最小の可能値
である。sが論理型である場合には、Max(s)はBであ
り、Min(s)は−Bである。ここでB及び−Bは、それぞ
れ、真及び偽を示すために用いられる数値である。sが
連続型である場合には、Max(s)及びMin(s)は、分布統計
量から得られた、sの仮定上の上限及び下限とされる。
である。sが論理型である場合には、Max(s)はBであ
り、Min(s)は−Bである。ここでB及び−Bは、それぞ
れ、真及び偽を示すために用いられる数値である。sが
連続型である場合には、Max(s)及びMin(s)は、分布統計
量から得られた、sの仮定上の上限及び下限とされる。
【0045】sが記号型であり、基礎となる選択グルー
プ内のPE vに対応する値を備えていると知られてい
る場合には、 C(s,p,lo)=C(s,p,hi)=C(s,p,v) であり、ここで、C(s,p,v)は貢献sであり、sの値がv
に対応する場合に、pの正味入力となる。特に、 C(s,p,v)=(W(v,p)-Σi<>vW(i,p))*B であり、ここで、iは基礎となる選択グループ内のPE
にわたり反復する。
プ内のPE vに対応する値を備えていると知られてい
る場合には、 C(s,p,lo)=C(s,p,hi)=C(s,p,v) であり、ここで、C(s,p,v)は貢献sであり、sの値がv
に対応する場合に、pの正味入力となる。特に、 C(s,p,v)=(W(v,p)-Σi<>vW(i,p))*B であり、ここで、iは基礎となる選択グループ内のPE
にわたり反復する。
【0046】sが記号型であり、値が未知の場合には、 C(s,p,lo)=Min(C(s,p,i)) C(s,p,hi)=Max(C(s,p,i)) であり、ここでMax及びMinは、基礎となる選択グループ
内の全てのPE iにわたり計算される。
内の全てのPE iにわたり計算される。
【0047】例示の問題は、上述の推論モジュールの動
作を説明するために用いられる必要がある。例示には、
個人的な申請人のデータに基づく、個人の貸出決定に対
する応用が含まれる。ニューラルネットワークのアーキ
テクチャ及びこの問題に関して用いられるデータ流れは
図7において説明される。ネットワークは、コンピュー
タソフトウェアを用いてシミュレートされるが、本発明
は、ハードウェアで実行されるネットワークに対しても
等しく応用可能である。ネットワークの入力レイヤ20
3は13のPEを含み、それぞれが13の連続型入力変
数に対応している。入力レイヤは完全に単一の隠れレイ
ヤ205に接続されており、隠れレイヤは3つのPEを
備えており、それは単一のPEからなる出力レイヤ20
7に完全に接続されている。出力PEは貸出決定209
に対応する値を備えた論理型変数を示してる。真の値は
貸出を認める決定に対応し、偽の値は断る決定に対応す
る。出力及び隠れPEは従来の範囲[−1.0、1.
0]内の出力を備えたシグモイド変換関数を備えてい
る。
作を説明するために用いられる必要がある。例示には、
個人的な申請人のデータに基づく、個人の貸出決定に対
する応用が含まれる。ニューラルネットワークのアーキ
テクチャ及びこの問題に関して用いられるデータ流れは
図7において説明される。ネットワークは、コンピュー
タソフトウェアを用いてシミュレートされるが、本発明
は、ハードウェアで実行されるネットワークに対しても
等しく応用可能である。ネットワークの入力レイヤ20
3は13のPEを含み、それぞれが13の連続型入力変
数に対応している。入力レイヤは完全に単一の隠れレイ
ヤ205に接続されており、隠れレイヤは3つのPEを
備えており、それは単一のPEからなる出力レイヤ20
7に完全に接続されている。出力PEは貸出決定209
に対応する値を備えた論理型変数を示してる。真の値は
貸出を認める決定に対応し、偽の値は断る決定に対応す
る。出力及び隠れPEは従来の範囲[−1.0、1.
0]内の出力を備えたシグモイド変換関数を備えてい
る。
【0048】図7内のネットワークは、本発明が動作可
能なニューラルネットワークのタイプの1つの例である
に過ぎないことを留意すべきである。一般的に、本発明
は、任意の数の隠れレイヤ(0を含む)と、隠れレイヤ
と入力レイヤと出力レイヤ内の任意の数のPEとPEに
関する任意の変換関数(異なるPEは異なる変換関数を
有することが可能である)を備えた、フィードフォワー
ドネットワーク上で動作可能である。
能なニューラルネットワークのタイプの1つの例である
に過ぎないことを留意すべきである。一般的に、本発明
は、任意の数の隠れレイヤ(0を含む)と、隠れレイヤ
と入力レイヤと出力レイヤ内の任意の数のPEとPEに
関する任意の変換関数(異なるPEは異なる変換関数を
有することが可能である)を備えた、フィードフォワー
ドネットワーク上で動作可能である。
【0049】特定のネットワークが、重み211を修正
する、バックプロパゲーション学習を用いて訓練され
る。バックプロパゲーション学習のアルゴリズムは、本
発明とは独立であり、図7に示したフィードフォワード
フローに加えてバックワードデータフローを含んでい
る。図7のネットワークは、貸出結果が知られている以
前の申請人の例を示しているデータ201上で訓練され
る。各事例は、許可(1.0)又は不許可(−1.0)
の訓練値に、申請人がデフォルト値で貸出になっている
かどうかにより、割当てられる。申請人は、図8の表に
おいて説明される、13の入力変数の値により記述され
る。表は、また、試験データベース内の実際の申請人に
関する入力値を含んでいる。
する、バックプロパゲーション学習を用いて訓練され
る。バックプロパゲーション学習のアルゴリズムは、本
発明とは独立であり、図7に示したフィードフォワード
フローに加えてバックワードデータフローを含んでい
る。図7のネットワークは、貸出結果が知られている以
前の申請人の例を示しているデータ201上で訓練され
る。各事例は、許可(1.0)又は不許可(−1.0)
の訓練値に、申請人がデフォルト値で貸出になっている
かどうかにより、割当てられる。申請人は、図8の表に
おいて説明される、13の入力変数の値により記述され
る。表は、また、試験データベース内の実際の申請人に
関する入力値を含んでいる。
【0050】図7のネットワークを用いて、本発明は、
図8に記述されている2つの欠落入力値にもかかわら
ず、この事例の申請人についての結論を作成することが
可能である。結論とされる決定は貸出の許可である。こ
の決定は出力変数の真値に対応し、申請人が実際のロー
ンを満足に返済する限りに正しい決定である。結論に到
達すると、必然度は100%となる。解決度は、真の決
定を与える解決度に関する上述の公式を用いて、13.
4%と計算される(解決度は、通常は、試験データベー
スにおける事例では40%以下である)。さらに説明す
るために、信用報告(例えば、実際の預金口座、新しい
預金口座、調査回数、公的記録項目、信用ファイルの時
刻、及び3つの延滞変数)から得られる図8の値のみが
知られていると仮定する。ここでは、結論を得るために
は多くの未知の入力が存在するが、本発明は、一時的な
結論を発生する。結論は、解決度10.1%及び必然度
47.4%の許可である。これらの値は真の決定に関す
る解決度及び必然度の公式を用いて計算される。
図8に記述されている2つの欠落入力値にもかかわら
ず、この事例の申請人についての結論を作成することが
可能である。結論とされる決定は貸出の許可である。こ
の決定は出力変数の真値に対応し、申請人が実際のロー
ンを満足に返済する限りに正しい決定である。結論に到
達すると、必然度は100%となる。解決度は、真の決
定を与える解決度に関する上述の公式を用いて、13.
4%と計算される(解決度は、通常は、試験データベー
スにおける事例では40%以下である)。さらに説明す
るために、信用報告(例えば、実際の預金口座、新しい
預金口座、調査回数、公的記録項目、信用ファイルの時
刻、及び3つの延滞変数)から得られる図8の値のみが
知られていると仮定する。ここでは、結論を得るために
は多くの未知の入力が存在するが、本発明は、一時的な
結論を発生する。結論は、解決度10.1%及び必然度
47.4%の許可である。これらの値は真の決定に関す
る解決度及び必然度の公式を用いて計算される。
【0051】図1を再び参照すると、第2の内部構成要
素が説明モジュール23であることが示されている。こ
のモジュールは2つのタイプの説明を生成する。1つの
タイプは、各既知の入力値がこの決定を作成するにあた
っての貢献を計算することにより、決定が、一時的であ
るか、または結論であるかを説明する。このタイプは決
定説明25であり、出力状態に基づく。別のタイプは、
結論説明27は、どのように結論に到達したかを説明す
るための出力バウンドを試験する。結論説明は結論条件
に到達する既知の入力によりなされる貢献を計算し、結
論を支援するに十分な入力の最小のサブセットを決定す
る。
素が説明モジュール23であることが示されている。こ
のモジュールは2つのタイプの説明を生成する。1つの
タイプは、各既知の入力値がこの決定を作成するにあた
っての貢献を計算することにより、決定が、一時的であ
るか、または結論であるかを説明する。このタイプは決
定説明25であり、出力状態に基づく。別のタイプは、
結論説明27は、どのように結論に到達したかを説明す
るための出力バウンドを試験する。結論説明は結論条件
に到達する既知の入力によりなされる貢献を計算し、結
論を支援するに十分な入力の最小のサブセットを決定す
る。
【0052】貢献の2つのタイプは、入力値の現在の組
の分脈で計算されることに留意する必要がある。ある決
定又は結論に対するある入力変数によりなされる貢献
は、変数自身の値ではなくて、他の入力変数の値(又は
その欠落)に依存している。このように、説明の2つの
タイプは、隠れレイヤを備えたフィードフォワードネッ
トワークに見いだされる入力の相互依存性を捉えてい
る。
の分脈で計算されることに留意する必要がある。ある決
定又は結論に対するある入力変数によりなされる貢献
は、変数自身の値ではなくて、他の入力変数の値(又は
その欠落)に依存している。このように、説明の2つの
タイプは、隠れレイヤを備えたフィードフォワードネッ
トワークに見いだされる入力の相互依存性を捉えてい
る。
【0053】結論説明27は、変数の値が未知であると
仮定された場合の結論条件の強さにおける減少に等しい
各既知の入力変数に対する貢献を計算する。この強さ
は、結論条件を示すバウンドと、結論が到達する出力変
数の基礎となる状態の実際のバウンドとの間の距離とし
て測定される。結論説明の動作は、図3の流れ図におい
て、単一の出力変数に関連して説明される。モジュール
と図については下で述べる。
仮定された場合の結論条件の強さにおける減少に等しい
各既知の入力変数に対する貢献を計算する。この強さ
は、結論条件を示すバウンドと、結論が到達する出力変
数の基礎となる状態の実際のバウンドとの間の距離とし
て測定される。結論説明の動作は、図3の流れ図におい
て、単一の出力変数に関連して説明される。モジュール
と図については下で述べる。
【0054】図3のブロック81においては、本発明
は、結論が、説明が記述される出力変数に到達したかを
チェックする。どの結論も到達しない場合には、結論説
明がブロック83において不能となる。そうでない場合
には、結論説明が、値が知られている第1又は次の入力
変数を試験することによりブロック85に進む。変数の
値が一時的に未知であると仮定されると、出力状態のバ
ウンドが一時的にブロック87で調整されて、その仮定
を反映するようにされる。調整されたバウンドと(調整
される前の)真の出力バウンドは、試験される入力バウ
ンドの貢献を判定するために比較される。
は、結論が、説明が記述される出力変数に到達したかを
チェックする。どの結論も到達しない場合には、結論説
明がブロック83において不能となる。そうでない場合
には、結論説明が、値が知られている第1又は次の入力
変数を試験することによりブロック85に進む。変数の
値が一時的に未知であると仮定されると、出力状態のバ
ウンドが一時的にブロック87で調整されて、その仮定
を反映するようにされる。調整されたバウンドと(調整
される前の)真の出力バウンドは、試験される入力バウ
ンドの貢献を判定するために比較される。
【0055】貢献を計算する方法は、ブロック89にお
いて、出力変数が論理型か記号が高に依存している。出
力変数が論理型である場合には、貢献は、さらに、ブロ
ック91において、変数に関する決定が真か偽かに依存
している。決定が真である場合には、結論条件は、論理
型出力変数を基礎とするPEの状態の低位バウンドに基
づき、こうして、ブロック93における貢献は、真の低
位バウンドから基礎となる状態の調整された低位バウン
ドを引いた値に等しくなる。決定が偽である場合には、
結論条件は高位バウンドに基づき、こうして、ブロック
95の貢献が、調整された高位バウンドから基礎となる
状態の真の高位バウンドを引いた値となる。公式的に
は、貢献は、真の決定に関しては、 S(o,lo)-S'(o,lo) 偽の決定に関しては、 S'(o,hi)-S(o,hi) に等しくなる。ここでoは基礎となる出力PEであり、
Sは真のバウンドを表し、S’は調整されたバウンドを
示す。
いて、出力変数が論理型か記号が高に依存している。出
力変数が論理型である場合には、貢献は、さらに、ブロ
ック91において、変数に関する決定が真か偽かに依存
している。決定が真である場合には、結論条件は、論理
型出力変数を基礎とするPEの状態の低位バウンドに基
づき、こうして、ブロック93における貢献は、真の低
位バウンドから基礎となる状態の調整された低位バウン
ドを引いた値に等しくなる。決定が偽である場合には、
結論条件は高位バウンドに基づき、こうして、ブロック
95の貢献が、調整された高位バウンドから基礎となる
状態の真の高位バウンドを引いた値となる。公式的に
は、貢献は、真の決定に関しては、 S(o,lo)-S'(o,lo) 偽の決定に関しては、 S'(o,hi)-S(o,hi) に等しくなる。ここでoは基礎となる出力PEであり、
Sは真のバウンドを表し、S’は調整されたバウンドを
示す。
【0056】出力変数が記号型である場合には、結論条
件は、選択されたPEの状態の低位バウンドと選択され
ないPEの中の最高位バウンドの間のギャップに基づ
く。こうして、記号型出力変数に関しては、ブロック9
7の貢献は、真のバウンドを与えるギャップから調整さ
れたバウンドを引いた値になる。公式的には、貢献は、 (S(o,lo)-S(o',hi))-(S'(o,lo)-S'(o'',hi)) に等しくなる。ここでoは選択された出力PEであり、
o’は最高位の真の高位バウンドを備えた選択されなか
ったPEであり、o’’は最高位の調整された高位バウ
ンドを備えた選択されなかったPEである。
件は、選択されたPEの状態の低位バウンドと選択され
ないPEの中の最高位バウンドの間のギャップに基づ
く。こうして、記号型出力変数に関しては、ブロック9
7の貢献は、真のバウンドを与えるギャップから調整さ
れたバウンドを引いた値になる。公式的には、貢献は、 (S(o,lo)-S(o',hi))-(S'(o,lo)-S'(o'',hi)) に等しくなる。ここでoは選択された出力PEであり、
o’は最高位の真の高位バウンドを備えた選択されなか
ったPEであり、o’’は最高位の調整された高位バウ
ンドを備えた選択されなかったPEである。
【0057】結論説明により計算された全ての貢献は負
ではないことに流利すべきである。これは、次の事実の
組合わせに起因する。1.変数は、未知である変数に関
連して計算される。2.入力変数の値が既知である場合
には、各出力状態のバンドが同じままか、狭くなり、そ
の場合に狭いバウンドは高位バンドが減少したか、及び
/又は、低位バンドが減少したかを意味する。3.狭い
バウンドは、結論条件を、強化できるが、弱めることは
できない。4.貢献は結論条件の強さを測定する。
ではないことに流利すべきである。これは、次の事実の
組合わせに起因する。1.変数は、未知である変数に関
連して計算される。2.入力変数の値が既知である場合
には、各出力状態のバンドが同じままか、狭くなり、そ
の場合に狭いバウンドは高位バンドが減少したか、及び
/又は、低位バンドが減少したかを意味する。3.狭い
バウンドは、結論条件を、強化できるが、弱めることは
できない。4.貢献は結論条件の強さを測定する。
【0058】特定の入力変数に関する貢献を計算した後
に、本発明は、ブロック99において、全ての入力変数
が試験されたかどうかを判定するためにチェックを行
う。試験されていない場合には、次の既知の変数が試験
される。そうでない場合には、結論説明はブロック10
1に進み、そこで、全ての既知の入力変数に関する貢献
が、スケーリング定数により積算されて、最大のスケー
リング貢献が100.0であると判定される。定数は、
100.0をスケーリングされない貢献の最大値により
割ることにより計算される。ブロック103において、
スケーリングされる貢献は、対応する変数名及び変数と
共に、出力として生成される。出力は貢献により数値的
に順序づけられる。
に、本発明は、ブロック99において、全ての入力変数
が試験されたかどうかを判定するためにチェックを行
う。試験されていない場合には、次の既知の変数が試験
される。そうでない場合には、結論説明はブロック10
1に進み、そこで、全ての既知の入力変数に関する貢献
が、スケーリング定数により積算されて、最大のスケー
リング貢献が100.0であると判定される。定数は、
100.0をスケーリングされない貢献の最大値により
割ることにより計算される。ブロック103において、
スケーリングされる貢献は、対応する変数名及び変数と
共に、出力として生成される。出力は貢献により数値的
に順序づけられる。
【0059】結論説明は、さらに、それ自体で到達する
に十分な既知の入力値のサブセットである、最小前提を
発見することにより、結論を説明する。最小前提にない
既知の入力は、未知であるとも言え、結論は保持され
る。結論と最小前提は、現在分析される事例とは独立
に、結論に到達するための十分な条件の組を述べる規則
として、見ることも可能である。
に十分な既知の入力値のサブセットである、最小前提を
発見することにより、結論を説明する。最小前提にない
既知の入力は、未知であるとも言え、結論は保持され
る。結論と最小前提は、現在分析される事例とは独立
に、結論に到達するための十分な条件の組を述べる規則
として、見ることも可能である。
【0060】最小前提を発見する場合の結論説明の動作
は図4において説明される。第1のステップは、kを既
知の入力変数の数に設定し、カウントcをブロック11
1で初期化することである。ブロック113に到達する
ごとに、cは1だけインクリメントされる。ブロック1
15を通る最初に、本発明は最小の貢献を有する既知の
入力を選択する。ブロック117において、変数の値は
未知であると仮定される。ブロック119において、そ
れは、結論条件が、推論モジュールにより決定されたよ
うに、まだ仮定の下におかれているかどうかをチェック
する。結論がまだ支持されている場合には、2番目に小
さな貢献を有する既知の入力変数がブロック115にも
どって選択される。この変数の値は未知であると仮定さ
れる。この処理が、cが未知であると仮定された既知の
入力変数の数を計数しながら、返付腐れる。結論がブロ
ック119を保持しなくなった場合に、最小前提がブロ
ック121において決定される。
は図4において説明される。第1のステップは、kを既
知の入力変数の数に設定し、カウントcをブロック11
1で初期化することである。ブロック113に到達する
ごとに、cは1だけインクリメントされる。ブロック1
15を通る最初に、本発明は最小の貢献を有する既知の
入力を選択する。ブロック117において、変数の値は
未知であると仮定される。ブロック119において、そ
れは、結論条件が、推論モジュールにより決定されたよ
うに、まだ仮定の下におかれているかどうかをチェック
する。結論がまだ支持されている場合には、2番目に小
さな貢献を有する既知の入力変数がブロック115にも
どって選択される。この変数の値は未知であると仮定さ
れる。この処理が、cが未知であると仮定された既知の
入力変数の数を計数しながら、返付腐れる。結論がブロ
ック119を保持しなくなった場合に、最小前提がブロ
ック121において決定される。
【0061】図10は、図8に示されたローン申請人の
例及び図7に記述されたネットワークの例を用いて、結
論説明の出力の例を含んでいる。各既知入力に関して、
出力は貢献をリストアップして、変数が最小前提に属す
るかどうかを示す。貢献が真の決定を与える貢献に関す
る上述の公式を用いて計算される。最小前提は見出し十
分条件に示されるように出力において区別される。最小
前提にない既知の入力変数は付帯条件においてリストア
ップされる。図10は、この場合には最小前提が、信用
ファイルの時刻を除いて、全ての既知の入力変数を含ん
でいる。30日の現時点での延滞と調査の数が、認可の
結論に到達するために最も重要であることを示してい
る。
例及び図7に記述されたネットワークの例を用いて、結
論説明の出力の例を含んでいる。各既知入力に関して、
出力は貢献をリストアップして、変数が最小前提に属す
るかどうかを示す。貢献が真の決定を与える貢献に関す
る上述の公式を用いて計算される。最小前提は見出し十
分条件に示されるように出力において区別される。最小
前提にない既知の入力変数は付帯条件においてリストア
ップされる。図10は、この場合には最小前提が、信用
ファイルの時刻を除いて、全ての既知の入力変数を含ん
でいる。30日の現時点での延滞と調査の数が、認可の
結論に到達するために最も重要であることを示してい
る。
【0062】説明の第2のタイプである、決定説明25
は、貢献が既知の入力変数により結論にされたかを測定
する。このタイプの説明は、結論説明27と比較するこ
とにより最良に説明される。両方のタイプの説明は、変
数が未知であると仮定された場合に、出力の変化を試験
することにより各既知の入力変数により形成される貢献
を測定する。しかしながら、結論説明は出力バウンドに
おける変化を試験するのに対して、決定説明は出力状態
における変化を試験する。この違いは、結論説明が出力
バウンドに基づく結論条件に対する貢献を測定するのに
対して、決定説明が出力状態に基づく決定に対する貢献
を測定するという事実により動機付けられる。
は、貢献が既知の入力変数により結論にされたかを測定
する。このタイプの説明は、結論説明27と比較するこ
とにより最良に説明される。両方のタイプの説明は、変
数が未知であると仮定された場合に、出力の変化を試験
することにより各既知の入力変数により形成される貢献
を測定する。しかしながら、結論説明は出力バウンドに
おける変化を試験するのに対して、決定説明は出力状態
における変化を試験する。この違いは、結論説明が出力
バウンドに基づく結論条件に対する貢献を測定するのに
対して、決定説明が出力状態に基づく決定に対する貢献
を測定するという事実により動機付けられる。
【0063】別の相違は貢献の符号に関している。上述
のように、結論説明における貢献は、入力変数の値が結
論条件を強化するかそのままにしておくかを知るだけ
で、値を知るのではないために、負の値をとることがな
い。しかしながら、入力変数の値を知ることは、解決度
信頼度測定における増減により示されるように、決定を
弱めるばかりでなく強めることができる。このように、
決定説明における貢献は負の値も正の値をも取り得る。
実際に、入力変数に関する特定の値は、1つの入力に関
する分脈で特定の決定に対する正の貢献を形成すること
が可能であるが、別の分脈では同じ決定に対する負の貢
献を形成することも可能である。これは、隠れレイヤを
備えたフィードフォワードネットワークに見いだされる
入力の相互依存性のためである。
のように、結論説明における貢献は、入力変数の値が結
論条件を強化するかそのままにしておくかを知るだけ
で、値を知るのではないために、負の値をとることがな
い。しかしながら、入力変数の値を知ることは、解決度
信頼度測定における増減により示されるように、決定を
弱めるばかりでなく強めることができる。このように、
決定説明における貢献は負の値も正の値をも取り得る。
実際に、入力変数に関する特定の値は、1つの入力に関
する分脈で特定の決定に対する正の貢献を形成すること
が可能であるが、別の分脈では同じ決定に対する負の貢
献を形成することも可能である。これは、隠れレイヤを
備えたフィードフォワードネットワークに見いだされる
入力の相互依存性のためである。
【0064】決定説明の動作は、単一の出力変数に関し
て図5の流れ図において説明される。モジュール及び図
は次のように説明される。ブロック131において、本
発明は値が既知である第1の及び次の入力変数を試験す
る。その変数の値が一時的に未知であると仮定され、出
力状態がブロック133においてその仮定を反映するよ
うに一時的に調整される。調整された出力状態と(調整
される前の)真の出力状態が、試験される入力変数の貢
献を決定するために比較される。
て図5の流れ図において説明される。モジュール及び図
は次のように説明される。ブロック131において、本
発明は値が既知である第1の及び次の入力変数を試験す
る。その変数の値が一時的に未知であると仮定され、出
力状態がブロック133においてその仮定を反映するよ
うに一時的に調整される。調整された出力状態と(調整
される前の)真の出力状態が、試験される入力変数の貢
献を決定するために比較される。
【0065】貢献を計算する方法は、ブロック135に
おいて、出力変数が論理型であるか記号型であるかに依
存している。出力変数が論理型である場合には、貢献は
さらに、ブロック137において、変数が真であるか偽
であるかについての決定に依存している。決定が真であ
る場合には、ブロック139において、貢献は、真の状
態から論理型出力変数を基礎とするPEの調整された状
態を引いたものに等しくなる。決定が偽である場合に
は、ブロック141において、貢献は、調整された出力
状態から真の出力状態を引いたものである。公式的に
は、貢献は、真の決定に関しては、 S(o)-S'(o) 偽の決定に関しては、 S'(o)-S(o) に等しくなる。ここで、oは基礎となる出力PEであ
り、Sは真の状態を示し、S’は調整された状態を示
す。
おいて、出力変数が論理型であるか記号型であるかに依
存している。出力変数が論理型である場合には、貢献は
さらに、ブロック137において、変数が真であるか偽
であるかについての決定に依存している。決定が真であ
る場合には、ブロック139において、貢献は、真の状
態から論理型出力変数を基礎とするPEの調整された状
態を引いたものに等しくなる。決定が偽である場合に
は、ブロック141において、貢献は、調整された出力
状態から真の出力状態を引いたものである。公式的に
は、貢献は、真の決定に関しては、 S(o)-S'(o) 偽の決定に関しては、 S'(o)-S(o) に等しくなる。ここで、oは基礎となる出力PEであ
り、Sは真の状態を示し、S’は調整された状態を示
す。
【0066】出力変数が記号である場合には、ブロック
143において、貢献は、選択されたPEの状態と選択
されなかったPEの中の最高位の状態の間のギャップに
基づく。貢献は、真の状態を与えるギャップから調整さ
れた状態を与えるギャップを引いたものに等しい。公式
的には、貢献は、 (S(o)−S(o’))−(S’(o)−S’
(o’’)) に等しくなる。ここで、oは選択された出力PEであ
り、o’は最高位の真の状態を備えた選択されなかった
PEであり、o’’は最高位の調整された状態を備えた
選択されなかったPEである。
143において、貢献は、選択されたPEの状態と選択
されなかったPEの中の最高位の状態の間のギャップに
基づく。貢献は、真の状態を与えるギャップから調整さ
れた状態を与えるギャップを引いたものに等しい。公式
的には、貢献は、 (S(o)−S(o’))−(S’(o)−S’
(o’’)) に等しくなる。ここで、oは選択された出力PEであ
り、o’は最高位の真の状態を備えた選択されなかった
PEであり、o’’は最高位の調整された状態を備えた
選択されなかったPEである。
【0067】特定の入力変数に対する貢献を計算した後
で、本発明は、ブロック145において、全ての入力変
数が試験されたかどうかを見るためにチェックを行う。
行われない場合には、次の既知の変数が試験される。そ
うでない場合には、決定試験がブロック147に進み、
そこで、全ての既知の入力変数に関する貢献が、スケー
リング定数により積算されて、貢献の最大の絶対値が1
00.0となるように決定される。定数は、100.0
をスケーリングされない貢献の最大の絶対値で割ること
により計算される。
で、本発明は、ブロック145において、全ての入力変
数が試験されたかどうかを見るためにチェックを行う。
行われない場合には、次の既知の変数が試験される。そ
うでない場合には、決定試験がブロック147に進み、
そこで、全ての既知の入力変数に関する貢献が、スケー
リング定数により積算されて、貢献の最大の絶対値が1
00.0となるように決定される。定数は、100.0
をスケーリングされない貢献の最大の絶対値で割ること
により計算される。
【0068】ブロック149において、スケーリング貢
献は、対応する変数名及び数値と共に出力として生成さ
れる。出力は貢献により数値的に順序付けられる。さら
に、出力は既知の入力変数の3つのグループに区別され
る。1.決定に対して重要な貢献をしないもの、すなわ
ち、絶対値がユーザが選択した重要度しきい値より下に
なるもの。2.決定を支援するのに重要であるもの、す
なわち、しきい値以上の正の貢献を有するもの。3.決
定を弱めるために重要であるもの、すなわち、絶対値が
しきい値以下となる負の貢献を有するもの。
献は、対応する変数名及び数値と共に出力として生成さ
れる。出力は貢献により数値的に順序付けられる。さら
に、出力は既知の入力変数の3つのグループに区別され
る。1.決定に対して重要な貢献をしないもの、すなわ
ち、絶対値がユーザが選択した重要度しきい値より下に
なるもの。2.決定を支援するのに重要であるもの、す
なわち、しきい値以上の正の貢献を有するもの。3.決
定を弱めるために重要であるもの、すなわち、絶対値が
しきい値以下となる負の貢献を有するもの。
【0069】図9は、再び、図8に示した貸出申請人及
び図7に示したネットワークを用いて、決定説明の出力
を例を含んでいる。出力は、20.0の重要度しきい値
を用いて生成される。出力にリストアップされる貢献
は、真の決定を与える貢献に関して示された上述の公式
を用いて計算された。出力は、許可の決定を支持するた
めに4つの重要な要因があることを示している。他の3
つの要因は延滞変数を含んでいる。許可に対して重要な
重み付けを行う要因のみが、信頼度ファイルにおける時
刻の値であった。図10において留意すべきは、信頼度
ファイルの時刻は、結論説明に示される最小の支持入力
変数であった点である。それは最小の貢献をなし、最小
前提内にはない既知の入力変数であった。しかしなが
ら、一般的に、各測定は異なる特性を有するから、2つ
のタイプの説明に基づいた変数のランキングの間には間
接的な関係が存在するのみである。
び図7に示したネットワークを用いて、決定説明の出力
を例を含んでいる。出力は、20.0の重要度しきい値
を用いて生成される。出力にリストアップされる貢献
は、真の決定を与える貢献に関して示された上述の公式
を用いて計算された。出力は、許可の決定を支持するた
めに4つの重要な要因があることを示している。他の3
つの要因は延滞変数を含んでいる。許可に対して重要な
重み付けを行う要因のみが、信頼度ファイルにおける時
刻の値であった。図10において留意すべきは、信頼度
ファイルの時刻は、結論説明に示される最小の支持入力
変数であった点である。それは最小の貢献をなし、最小
前提内にはない既知の入力変数であった。しかしなが
ら、一般的に、各測定は異なる特性を有するから、2つ
のタイプの説明に基づいた変数のランキングの間には間
接的な関係が存在するのみである。
【0070】決定説明における貢献の判定には、既知の
入力変数が未知であるとの仮定に基づいて、調整された
出力状態を計算する必要がある。しかしながら、調整さ
れた状態の計算はネットワークの反復を必要としない。
これは、従来の感度分析において入力変化の効果が変化
を生じた後にネットワークを反復することにより決定さ
れたことと対称的である。本発明は、入力の変化から生
じた修正された出力を発見すると共に、ネットワークの
反復により計算コストを上昇を回避するための方法を含
んでいる。
入力変数が未知であるとの仮定に基づいて、調整された
出力状態を計算する必要がある。しかしながら、調整さ
れた状態の計算はネットワークの反復を必要としない。
これは、従来の感度分析において入力変化の効果が変化
を生じた後にネットワークを反復することにより決定さ
れたことと対称的である。本発明は、入力の変化から生
じた修正された出力を発見すると共に、ネットワークの
反復により計算コストを上昇を回避するための方法を含
んでいる。
【0071】ネットワークの反復の計算は、ネットワー
ク内の全ての重みを含んでいるが、本発明によれば、重
みのサブセットのみを含む簡便な部分重み方法が用いら
れる。
ク内の全ての重みを含んでいるが、本発明によれば、重
みのサブセットのみを含む簡便な部分重み方法が用いら
れる。
【0072】これは、計算に必要な計算時間がほぼ用い
られる重みの数に比例するために重要である。特に、本
発明に基づく重み方法は、状態が変化された入力PEの
1つと状態変化が測定された出力PEの1つとの間の経
路にある接続に関する重みのみを用いる。
られる重みの数に比例するために重要である。特に、本
発明に基づく重み方法は、状態が変化された入力PEの
1つと状態変化が測定された出力PEの1つとの間の経
路にある接続に関する重みのみを用いる。
【0073】かかる経路にある接続の精度は、隠れレイ
ヤの数とネットワークの接続性に依存している。特殊な
例を提供するために、図7に示すネットワークを参照す
る。vからv’に入力PEの状態を変更することに起因
するこのネットワークの修正出力状態を発見することが
必要であると仮定してみよう。この部分重み方法は、i
から3つの隠れPEのそれぞれに対する接続及び各隠れ
PEから出力PEに対する接続に関する重みのみを用い
る。
ヤの数とネットワークの接続性に依存している。特殊な
例を提供するために、図7に示すネットワークを参照す
る。vからv’に入力PEの状態を変更することに起因
するこのネットワークの修正出力状態を発見することが
必要であると仮定してみよう。この部分重み方法は、i
から3つの隠れPEのそれぞれに対する接続及び各隠れ
PEから出力PEに対する接続に関する重みのみを用い
る。
【0074】図7のネットワークに関する部分重み計算
における第1のステップは3つの隠れPEのそれぞれの
結果の正味入力を計算することである。各隠れノードh
に関する結果正味入力I’(h)は、I(h)+((v'-v)*W
(i,h))に等しい。ここで、W(i,h)はiからhへの接続の
重みであり、I(h)はhに関する元の正味入力である。次
の段階は、隠れPEのそれぞれの結果状態を計算するこ
とである。S'(h)はhの新しい状態であり、T(I'(h))に
等しい。ここで、Tは図7のネットワークで用いられる
従来のシグモイド変換関数である。修正出力状態は、T
を各S'(h)の重み付け合計に加えることにより計算され
る。
における第1のステップは3つの隠れPEのそれぞれの
結果の正味入力を計算することである。各隠れノードh
に関する結果正味入力I’(h)は、I(h)+((v'-v)*W
(i,h))に等しい。ここで、W(i,h)はiからhへの接続の
重みであり、I(h)はhに関する元の正味入力である。次
の段階は、隠れPEのそれぞれの結果状態を計算するこ
とである。S'(h)はhの新しい状態であり、T(I'(h))に
等しい。ここで、Tは図7のネットワークで用いられる
従来のシグモイド変換関数である。修正出力状態は、T
を各S'(h)の重み付け合計に加えることにより計算され
る。
【0075】本発明に基づいて、部分重み方法を用いる
ことで、図9の決定貢献の各々が6つの重みのみで計算
される。この方法なしでは、各貢献は、42の重みを用
いるネットワーク反復を計算する必要がある。部分重み
方法はまた、決定における変化と、ユーザが入力値を付
加、修正又は削除した結果の解決度を計算するためにも
用いられる。
ことで、図9の決定貢献の各々が6つの重みのみで計算
される。この方法なしでは、各貢献は、42の重みを用
いるネットワーク反復を計算する必要がある。部分重み
方法はまた、決定における変化と、ユーザが入力値を付
加、修正又は削除した結果の解決度を計算するためにも
用いられる。
【0076】決定及び結論を説明することに加えて、説
明モジュール23は規則発生31を行う能力も有する。
この処理は、一組のif-then規則を生成する。各規則
は、ある数の可能入力値と決定とから成る。規則は、決
定が入力値が真であると知られる場合の結論として支持
されることを意味するように翻訳される。これらの規則
は、ネットワークの重みに含まれる知識をほぼ表すよう
に意図される。入力値と決定の精度の間の関係を形成す
ることにより、ネットワーク内の知識が正確にされる。
重みから規則に変換することにより、幾分精度が犠牲に
されるが、規則は、ネットワーク内に含まれる知識を分
析しようとするユーザの目的のみを意図するものであっ
て、本発明の他の能力に必要なものではない。
明モジュール23は規則発生31を行う能力も有する。
この処理は、一組のif-then規則を生成する。各規則
は、ある数の可能入力値と決定とから成る。規則は、決
定が入力値が真であると知られる場合の結論として支持
されることを意味するように翻訳される。これらの規則
は、ネットワークの重みに含まれる知識をほぼ表すよう
に意図される。入力値と決定の精度の間の関係を形成す
ることにより、ネットワーク内の知識が正確にされる。
重みから規則に変換することにより、幾分精度が犠牲に
されるが、規則は、ネットワーク内に含まれる知識を分
析しようとするユーザの目的のみを意図するものであっ
て、本発明の他の能力に必要なものではない。
【0077】規則発生のキーは上述の最小前提29であ
る。規則内の入力値は、規則内の結論に到達するための
一組の最小前提である。換言すれば、規則発生は、規則
内のいずれかの入力値が除去された場合に、規則の結論
がもはや保持されないような規則を構成することであ
る。規則発生は、一組の最小前提を生成して仮説的な結
論を支持することにより規則性構成する。この場合に、
前提は仮設(しかし可能な)入力値から構成される。特
に、規則は、結論としての変数に関する可能な決定の1
つを支持可能な一組の仮説的最小前提を発見することに
より、出力変数に関して生成される。発見された最小前
提の各固有組が規則になる。全ての可能な組が発見され
て、全ての可能な規則が発生されるが、それは規則当た
りの前提の最大数を特定するユーザの選択により制限を
受けるのみである。
る。規則内の入力値は、規則内の結論に到達するための
一組の最小前提である。換言すれば、規則発生は、規則
内のいずれかの入力値が除去された場合に、規則の結論
がもはや保持されないような規則を構成することであ
る。規則発生は、一組の最小前提を生成して仮説的な結
論を支持することにより規則性構成する。この場合に、
前提は仮設(しかし可能な)入力値から構成される。特
に、規則は、結論としての変数に関する可能な決定の1
つを支持可能な一組の仮説的最小前提を発見することに
より、出力変数に関して生成される。発見された最小前
提の各固有組が規則になる。全ての可能な組が発見され
て、全ての可能な規則が発生されるが、それは規則当た
りの前提の最大数を特定するユーザの選択により制限を
受けるのみである。
【0078】最小前提の全ての可能な組が入力空間の調
査を行うことにより発見される。特に規則発生は従来の
デプス−ファースト・ツリー(depth-first tree)調査
を用いる。本発明の分脈においては、シミュレートされ
たツリーを通る経路は入力値の可能な組合わせに対応す
る。ツリーの各レベルは異なる入力変数入力変数に対応
する。ツリー内の各ノードはn+1のブランチを有して
おり、ここで、nはノードが存在するレベルに対応する
入力変数に関する可能な値の数である。1つのブランチ
は各可能値に対応し、余分のブランチは未知の値に対応
する。論理型入力変数に関しては、可能値は真及び偽で
あり、従って、nは2である。記号型変数に関しては、
nは可能な記号の数である。連続型変数に関しては、非
常に多くの可能値が存在し、そのため値の代表的サンプ
ルを選択する必要がある。本発明の解決はある連続型入
力変数の数値範囲内の異なる領域を代表する3つの値を
選択することである。これらの値を選択するための特定
の方法については後述する。
査を行うことにより発見される。特に規則発生は従来の
デプス−ファースト・ツリー(depth-first tree)調査
を用いる。本発明の分脈においては、シミュレートされ
たツリーを通る経路は入力値の可能な組合わせに対応す
る。ツリーの各レベルは異なる入力変数入力変数に対応
する。ツリー内の各ノードはn+1のブランチを有して
おり、ここで、nはノードが存在するレベルに対応する
入力変数に関する可能な値の数である。1つのブランチ
は各可能値に対応し、余分のブランチは未知の値に対応
する。論理型入力変数に関しては、可能値は真及び偽で
あり、従って、nは2である。記号型変数に関しては、
nは可能な記号の数である。連続型変数に関しては、非
常に多くの可能値が存在し、そのため値の代表的サンプ
ルを選択する必要がある。本発明の解決はある連続型入
力変数の数値範囲内の異なる領域を代表する3つの値を
選択することである。これらの値を選択するための特定
の方法については後述する。
【0079】ツリー内の特定経路に沿った調査は、経路
内の各ブランチに対応する値(場合によっては未知であ
る)の選択として解釈される。こうして、調査がツリー
をmレベル下ったときに、m入力変数の値が設定される
か、あるいは未知であると宣言される。調査は、組値が
結論になるか、ツリーの底部に到達するまで、各可能経
路について行われる。結論なしに底部に到達した場合に
は、経路は何の規則も生成しない。しかし、結論に到達
した場合には、経路内の既知の値の組が、結論と共に候
補規則を構成する。候補規則は、その前提が最小である
場合、すなわち、経路内の全ての既知の値の組が結論を
支持するために必要とされる場合にのみ選択される。規
則発生は、既知の値が、結果的に結論を欠落させずに、
未知であると仮定できるかどうかを判断するためにチェ
ックを行う。その場合には、前提は最小ではなく、候補
規則は捨てられる。そうでない場合には、候補規則は規
則発生の出力内に含まれる。
内の各ブランチに対応する値(場合によっては未知であ
る)の選択として解釈される。こうして、調査がツリー
をmレベル下ったときに、m入力変数の値が設定される
か、あるいは未知であると宣言される。調査は、組値が
結論になるか、ツリーの底部に到達するまで、各可能経
路について行われる。結論なしに底部に到達した場合に
は、経路は何の規則も生成しない。しかし、結論に到達
した場合には、経路内の既知の値の組が、結論と共に候
補規則を構成する。候補規則は、その前提が最小である
場合、すなわち、経路内の全ての既知の値の組が結論を
支持するために必要とされる場合にのみ選択される。規
則発生は、既知の値が、結果的に結論を欠落させずに、
未知であると仮定できるかどうかを判断するためにチェ
ックを行う。その場合には、前提は最小ではなく、候補
規則は捨てられる。そうでない場合には、候補規則は規
則発生の出力内に含まれる。
【0080】各連続型入力変数に関する3つのサンプル
値を選択するための正確な方法について考えてみるに、
規則発生は、変数の値範囲の上部、下部及び中部の範囲
から値を選択する。選択された値は、高位、低位及び中
位として言及され、入力変数統計量13から計算され
る。中位値は入力変数の平均に等しい。高位及び低位に
関する数値は、どの統計量が用いられるかに依存してい
る。最小及び最大の統計量が用いられた場合には、後続
の値が連続型入力変数iに関して選択される。
値を選択するための正確な方法について考えてみるに、
規則発生は、変数の値範囲の上部、下部及び中部の範囲
から値を選択する。選択された値は、高位、低位及び中
位として言及され、入力変数統計量13から計算され
る。中位値は入力変数の平均に等しい。高位及び低位に
関する数値は、どの統計量が用いられるかに依存してい
る。最小及び最大の統計量が用いられた場合には、後続
の値が連続型入力変数iに関して選択される。
【0081】低位=(3 Min(i)+Max(i))/4 高位=(3 Max(i)+Min(i))/4 ここで、Min(i)及びMax(i)はiの最小値及び最大値であ
る。選択された値は間隔[Min(i),Max(i)]の間の4分の
1及び4分の3の点に対応する。
る。選択された値は間隔[Min(i),Max(i)]の間の4分の
1及び4分の3の点に対応する。
【0082】平均値及び標準偏差統計量を用いる場合に
は、次の値が選択される。
は、次の値が選択される。
【0083】低位=平均値(i)-(z*Sd(i)) 高位=平均値(i)+(z*Sd(i)) ここで平均値(i)及びSd(i)は変数iの平均値及び標準偏
差値であり、zは全ての連続型入力変数に適応すべくユ
ーザにより選択された可能値である。
差値であり、zは全ての連続型入力変数に適応すべくユ
ーザにより選択された可能値である。
【0084】図12は、上述の方法を用いて、規則発生
器により生成された典型的な規則を含んでいる。貸出記
録問題が再び例として用いられている。この問題は連続
型入力変数を含むから、本発明の、規則前提として連続
型変数を用いるための方法、すなわち、高位、低位及び
中位を用いる方法の良好な事例となる。図12に示す規
則は、許可結論を支持するために十分な6つの入力値を
特定する。申請人がこれらの6つの値を有する場合に
は、彼は、残りの7つの入力変数に関する彼の値いかん
にかかわらず、許可が保証される。
器により生成された典型的な規則を含んでいる。貸出記
録問題が再び例として用いられている。この問題は連続
型入力変数を含むから、本発明の、規則前提として連続
型変数を用いるための方法、すなわち、高位、低位及び
中位を用いる方法の良好な事例となる。図12に示す規
則は、許可結論を支持するために十分な6つの入力値を
特定する。申請人がこれらの6つの値を有する場合に
は、彼は、残りの7つの入力変数に関する彼の値いかん
にかかわらず、許可が保証される。
【0085】再び図1を参照すると、第3の内部構成要
素は知能知識獲得モジュール33である。用語「知能知
識獲得」は、どの知識が目的にとって有益であるかを決
定するための組織的な方法について言及している。本発
明の分脈において、これは、どの未知の入力変数が、そ
れらの値が既知になった場合に、特定の出力変数に最も
大きなインパクトを有するかについての評価を含んでい
る。最も大きな影響力を有する未知の入力変数に関する
値を追うことにより、ユーザは結論の調査に必要とされ
る別の入力の数を減じることが可能になる。これは、特
に、情報の収集に関して、非常にコストと危険がかか
り、時間の遅れが生じる医療診断のような分野において
重要である。
素は知能知識獲得モジュール33である。用語「知能知
識獲得」は、どの知識が目的にとって有益であるかを決
定するための組織的な方法について言及している。本発
明の分脈において、これは、どの未知の入力変数が、そ
れらの値が既知になった場合に、特定の出力変数に最も
大きなインパクトを有するかについての評価を含んでい
る。最も大きな影響力を有する未知の入力変数に関する
値を追うことにより、ユーザは結論の調査に必要とされ
る別の入力の数を減じることが可能になる。これは、特
に、情報の収集に関して、非常にコストと危険がかか
り、時間の遅れが生じる医療診断のような分野において
重要である。
【0086】知能知識獲得(IKA)モジュールの動作
は図6の流れ図において説明される。モジュールは、ユ
ーザ選択の出力変数に関する各未知の入力変数33の潜
在的な影響を測定する。図6のブロック161において
は、IKAモジュールは、値が未知である第1の又は次
の入力変数を試験する。試験値は、ブロック163にお
いて、変数に関して決定される。変数が論理型又は記号
型である場合には、変数の各可能値が試験値として用い
られる。それらは、規則発生31において連続型入力変
数に関して高位及び低位の値が選択された公式と同様の
公式を用いて計算される。
は図6の流れ図において説明される。モジュールは、ユ
ーザ選択の出力変数に関する各未知の入力変数33の潜
在的な影響を測定する。図6のブロック161において
は、IKAモジュールは、値が未知である第1の又は次
の入力変数を試験する。試験値は、ブロック163にお
いて、変数に関して決定される。変数が論理型又は記号
型である場合には、変数の各可能値が試験値として用い
られる。それらは、規則発生31において連続型入力変
数に関して高位及び低位の値が選択された公式と同様の
公式を用いて計算される。
【0087】入力変数に関する試験値が決定された後
に、影響のトータルが、ブロック165においてゼロに
初期化される。第1及び次の試験値がブロック167に
おいて選択されて、入力変数が、一時的に、その値を備
えているものと仮定される。モジュールは、ユーザ選択
の出力変数に関する決定に対する入力値により形成され
る貢献を計算する。貢献は、決定説明25が貢献を計算
する公式と同様の公式を用いて計算される。計算された
貢献の絶対値は、ブロック169において影響の総計に
加算される。全ての試験値がブロック171で用いられ
ると、入力変数に関する影響測定が、ブロック173に
おいて、試験値の数により影響総計を割ることにより、
計算される。未知の変数の影響は、このようにして、変
数の試験値により形成された貢献の平均値の絶対値とな
るように、計算される。
に、影響のトータルが、ブロック165においてゼロに
初期化される。第1及び次の試験値がブロック167に
おいて選択されて、入力変数が、一時的に、その値を備
えているものと仮定される。モジュールは、ユーザ選択
の出力変数に関する決定に対する入力値により形成され
る貢献を計算する。貢献は、決定説明25が貢献を計算
する公式と同様の公式を用いて計算される。計算された
貢献の絶対値は、ブロック169において影響の総計に
加算される。全ての試験値がブロック171で用いられ
ると、入力変数に関する影響測定が、ブロック173に
おいて、試験値の数により影響総計を割ることにより、
計算される。未知の変数の影響は、このようにして、変
数の試験値により形成された貢献の平均値の絶対値とな
るように、計算される。
【0088】変数の影響を計算した後に、IKAモジュ
ールが、ブロック175において、全ての未知の入力変
数が試験されたかどうかを判定するためにチェックされ
る。試験されなかった場合には、次の未知の変数が試験
される。そうでない場合には、モジュールはブロック1
77に進み、そこで、全ての未知の入力変数に関する影
響測定が、最大の測定値が100.0になるように決定
されたスケーリング定数により積算される。定数が、1
00.0をスケーリングされなかった測定値の最大値で
割ることにより計算される。ブロック179において、
スケーリングされた影響の測定値が、対応する変数の平
均値と共に、出力として生成される。出力は影響測定値
により数値的に順序付けられる。
ールが、ブロック175において、全ての未知の入力変
数が試験されたかどうかを判定するためにチェックされ
る。試験されなかった場合には、次の未知の変数が試験
される。そうでない場合には、モジュールはブロック1
77に進み、そこで、全ての未知の入力変数に関する影
響測定が、最大の測定値が100.0になるように決定
されたスケーリング定数により積算される。定数が、1
00.0をスケーリングされなかった測定値の最大値で
割ることにより計算される。ブロック179において、
スケーリングされた影響の測定値が、対応する変数の平
均値と共に、出力として生成される。出力は影響測定値
により数値的に順序付けられる。
【0089】図11は、再び、図8に示す貸出に対する
応用例と、図7に示すネットワークとを用いて、IKA
の出力の例を含んでいる。前掲の例にように、この例
は、私たちが、信用報告書に由来する図8にリストアッ
プされた値のみを知っていることを仮定する。ここで
は、5つの未知の入力変数が存在する。図11の出力
は、これらの5つの変数に関して計算された影響の測定
値を、図6の流れ図に示した方法を用いて、示してい
る。測定値は、銀行カード口座、又は就労年月が結論に
到達するための最大の変数であることを示している。そ
の場合に、居住年月値を知ることが最も価値がないこと
を示している。
応用例と、図7に示すネットワークとを用いて、IKA
の出力の例を含んでいる。前掲の例にように、この例
は、私たちが、信用報告書に由来する図8にリストアッ
プされた値のみを知っていることを仮定する。ここで
は、5つの未知の入力変数が存在する。図11の出力
は、これらの5つの変数に関して計算された影響の測定
値を、図6の流れ図に示した方法を用いて、示してい
る。測定値は、銀行カード口座、又は就労年月が結論に
到達するための最大の変数であることを示している。そ
の場合に、居住年月値を知ることが最も価値がないこと
を示している。
【0090】IKAモジュールにより計算された影響の
測定は、説明モジュール23により計算された貢献と同
様に、入力値の現在の組に依存している。こうして、未
知の入力変数が、大きな影響測定値に示されているよう
に、同じ状況において重要なものとなり、他のものが重
要でなくなる可能性があることを示している。
測定は、説明モジュール23により計算された貢献と同
様に、入力値の現在の組に依存している。こうして、未
知の入力変数が、大きな影響測定値に示されているよう
に、同じ状況において重要なものとなり、他のものが重
要でなくなる可能性があることを示している。
【0091】
【発明の効果】以上のように、本発明は、説明を含むエ
キスパートシステムの機能にフィードフォワードニュー
ラルネットワークの機能が付加されたようなシステムで
ある。本発明は、従来技術の欠点を克服する。特に、本
発明は、連続状態のフィードフォワードネットワークに
関する欠点を克服し、十分な入力情報が結論を作成する
ために存在知る場合に決定を行うことが可能であり;そ
の決定及びどうしてこれらの決定のうちのあるものが結
論になるかを正確に説明可能であり;その決定に伴う信
頼度測定を計算可能であり;未知の値を備えた相対的に
重要な入力を計算可能である。本発明は、人間が規則の
形式で知識を与えることに依存せずに、事例から学習可
能である点で、現存のエキスパートシステムとは異な
る。本発明の説明は、本発明が非線形関係を扱うので、
2レイヤネットワークにおける説明に関する現存の技法
とは異なる。本発明は、例えば、本発明は連続状態フィ
ードフォワードネットワークの強力なクラス上で動作す
る点において、従来の混合型システムの欠点を克服可能
なので、従来の混合型システムとも異なっている。
キスパートシステムの機能にフィードフォワードニュー
ラルネットワークの機能が付加されたようなシステムで
ある。本発明は、従来技術の欠点を克服する。特に、本
発明は、連続状態のフィードフォワードネットワークに
関する欠点を克服し、十分な入力情報が結論を作成する
ために存在知る場合に決定を行うことが可能であり;そ
の決定及びどうしてこれらの決定のうちのあるものが結
論になるかを正確に説明可能であり;その決定に伴う信
頼度測定を計算可能であり;未知の値を備えた相対的に
重要な入力を計算可能である。本発明は、人間が規則の
形式で知識を与えることに依存せずに、事例から学習可
能である点で、現存のエキスパートシステムとは異な
る。本発明の説明は、本発明が非線形関係を扱うので、
2レイヤネットワークにおける説明に関する現存の技法
とは異なる。本発明は、例えば、本発明は連続状態フィ
ードフォワードネットワークの強力なクラス上で動作す
る点において、従来の混合型システムの欠点を克服可能
なので、従来の混合型システムとも異なっている。
【図1】本発明に基づく、入力及び出力を含む、主な構
成要素の概略図である。
成要素の概略図である。
【図2】本発明に基づく、推論モジュールの動作を示す
流れ図である。
流れ図である。
【図3】本発明に基づく、結論説明の動作を示す第1の
流れ図である。
流れ図である。
【図4】本発明に基づく、結論説明の動作を示す第2の
流れ図である。
流れ図である。
【図5】本発明に基づく、決定説明の動作を示す流れ図
である。
である。
【図6】本発明に基づく、知能知識獲得の動作を示す流
れ図である。
れ図である。
【図7】貸出評価問題で動作する本発明に基づくニュー
ラルネットワークアーキテクチャとデータフローの概略
図である。
ラルネットワークアーキテクチャとデータフローの概略
図である。
【図8】図7に示す動作において、事例の値と共に、貸
出評価問題における入力変数を示している。
出評価問題における入力変数を示している。
【図9】図7及び図8に示す貸出評価問題における決定
説明の出力の例を示している。
説明の出力の例を示している。
【図10】図7及び図8に示す貸出評価問題における結
論説明の出力の例を示している。
論説明の出力の例を示している。
【図11】図7及び図8に示す貸出評価問題における知
能知識獲得の出力の例を示している。
能知識獲得の出力の例を示している。
【図12】図7及び図8に示す貸出評価問題における規
則発生の出力の例を示している。
則発生の出力の例を示している。
Claims (12)
- 【請求項1】入力変数を示す入力処理素子(PE)のレ
イヤと、出力変数を示す出力(PE)のレイヤと、任意
の数の隠れ(PE)のレイヤを備えた、訓練された連続
状態フィードフォワードニューラルネットワークに基づ
くエキスパートシステムを動作させる方法であって:基
礎となるPEの状態に基づく各出力変数に関する決定を
決定するステップと;既知となるネットワークに対する
入力として、決定が不可逆である場合に、各出力変数に
関する結論を決定するステップと;各決定に関する信頼
度測定を計算するステップと;既知の値を備えた各入力
変数により決定に対してなされた貢献を計算することに
より各決定を説明するステップと;既知の値を備えた各
入力変数により結論の到達に対してなされた貢献を計算
することにより各結論を説明するステップと;未知の値
を備えた各入力変数の決定に対する潜在的な影響を判定
するステップと;ニューラルネットワーク内に含意され
る知識をif-then規則の正確な組へと変換するステップ
と;から成ることを特徴とする方法。 - 【請求項2】フィードフォワードニューラルネットワー
クにおいて、隠れPEと出力PEの状態の高位及び低位
バウンドを計算するための方法であって、前記バウンド
はかかる状態、ある既知の入力状態及び現在は未知であ
る入力PEのいくつかの又は全ての可能な状態の組合わ
せの、可能な範囲の限界として機能するような方法にお
いて:入力変数偏差統計量を用いて、連続型にゅ力変数
の値の上位バウンド及び回バウンドを決定するステップ
と;入力変数のバウンドと隠れPEの状態のバウンドか
ら回帰的に出力PEの状態のバウンドを計算するステッ
プと;から成ることを特徴とする方法。 - 【請求項3】連続型状態PEを備えたフィードフォワー
ドニューラルネットワークにおいて、未知の入力状態の
数にかかわらず、結論が出力変数の値に関して形成可能
な場合を決定するステップが、 出力状態の高位及び低位バウンドを決定するステップ
と;出力変数に関する一時的決定が変化可能であるかを
判定するために出力状態の高位バウンド及び低位バウン
ドを用いるステップと;一時的決定が変化不能である場
合に結論を生成するステップと;から成ることを特徴と
する、請求項2に記載の方法。 - 【請求項4】フィードフォワードニューラルネットワー
クにおいて出力変数に対応する決定に関する解決度の信
頼度測定を計算するための方法であって:既知の入力値
の組を与えるネットワーク出力状態を決定するステップ
と;選択されたしきい値又はその他の決定基準と出力状
態を比較して、量的に決定基準に対する出力状態の接近
度を測定するステップと;から成ることを特徴とする方
法。 - 【請求項5】フィードフォワードニューラルネットワー
クにおいて出力変数の値に対応する決定に関する必然度
の信頼度測定を計算するための方法であって:出力PE
の状態のバウンドを決定するステップと;選択されたし
きい値又はその他の決定基準と出力状態を比較して、量
的に決定基準に対する出力状態の接近度を測定するステ
ップと;から成ることを特徴とする方法。 - 【請求項6】ニューラルネットワークに関する根拠を説
明するための方法であって:既知の入力値の組のネット
ワーク出力の状態を決定するステップと;出力状態を決
定基準と比較して、出力決定を決定するステップと;未
知の条件に各既知の入力値を順次変換するステップと;
既知から未知へと変換された各入力値に関して、決定基
準に対する出力状態の変化を測定するステップと;出力
決定を決定する際に各既知の入力値の重要性を量的にラ
ンク付けするステップと;から成ることを特徴とする方
法。 - 【請求項7】フィードフォワードニューラルネットワー
クにおける既知の値を備えた各入力変数により結論条件
の到達に対する貢献を測定するための請求項3に記載の
説明の方法であって:上位及び下位の出力状態バウンド
を決定するステップと;順次各既知の入力値を未知の条
件に変換するステップと;既知から未知に変換された各
入力値に関して、決定基準に対する上位及び下位の出力
バウンドにおける変化を測定するステップと;結論条件
に到達するに際し各既知の入力の重要性を量的にランク
付けするステップと;から成ることを特徴とする請求項
3に記載の方法。 - 【請求項8】連続型状態フィードフォワードニューラル
ネットワークにおける結論条件を支援するに十分な現在
の入力値の最小のサブセットを計算するための請求項3
に記載の方法であって:各既知の入力値に対する出力バ
ウンドにおける相対的変化を評価するステップと;結論
条件に到達するに十分な最も重要な入力の最小組を選択
するステップと;から成ることを特徴とする請求項3に
記載の方法。 - 【請求項9】変数の値が既知となる場合のフィードフォ
ワードニューラルネットワークの出力に対応する決定に
対する、未知の入力変数の潜在的な影響を測定するため
の方法であって:各未知の入力値に関して、各入力がそ
の可能な値範囲にわたって変化する場合に、順次出力状
態の変化を決定するステップと;各未知の入力に関して
決定基準に対する出力状態の変化を量的に計算するステ
ップと;から成ることを特徴とする方法。 - 【請求項10】可能な結論を支援するif-then規則の正
確な組に連続状態フィードフォワードニューラルネット
ワーク内に含意される知識を翻訳するするために結論発
生プロセスを用いる請求項3に記載の方法であって:結
論状態に到達するだろう入力値の最小組を決定し、その
場合に入力値の組は特定の結論に関する規則を構成する
ステップと;特定の出力変数に関する結論を支援する全
ての可能な規則の組に関する入力値を調査するステップ
と;から成ることを特徴とする請求項3に記載の方法。 - 【請求項11】特定値が変数の値領域の上位、低位及び
中位の統計量領域を示すように選択され、これらの値が
1又はそれ以上の基礎における可能な結論に関して試験
されることを特徴とする、請求項10に記載の連続型入
力変数の値を用いる方法。 - 【請求項12】フィードフォワードニューラルネットワ
ークの重みのサブセットを用いて、入力値における実際
の変化又は仮定上の変化から帰結する修正出力状態を計
算するための請求項6に記載の方法であって:さらに、
状態が変化した入力PEの1つと、修正状態を計算する
ために修正状態が計算された出力PEの1つとの間の経
路にある接続に関連する重みを用いるステップを含むこ
とを特徴とする;請求項6に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US55875590A | 1990-07-27 | 1990-07-27 | |
US558755 | 2000-04-21 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH05151188A true JPH05151188A (ja) | 1993-06-18 |
Family
ID=24230857
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP3186788A Pending JPH05151188A (ja) | 1990-07-27 | 1991-07-26 | エキスパートシステム機能を備えたニユーラルネツトワーク |
Country Status (3)
Country | Link |
---|---|
US (1) | US5398300A (ja) |
EP (1) | EP0468229A3 (ja) |
JP (1) | JPH05151188A (ja) |
Families Citing this family (100)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5212765A (en) * | 1990-08-03 | 1993-05-18 | E. I. Du Pont De Nemours & Co., Inc. | On-line training neural network system for process control |
EP0566015A3 (en) * | 1992-04-14 | 1994-07-06 | Eastman Kodak Co | Neural network optical character recognition system and method for classifying characters in amoving web |
EP0566105A2 (en) * | 1992-04-16 | 1993-10-20 | Hughes Aircraft Company | Knowledge acquisition system and method |
EP0587093B1 (en) * | 1992-09-08 | 1999-11-24 | Hitachi, Ltd. | Information processing apparatus using inference and adaptive learning |
US7251624B1 (en) | 1992-09-08 | 2007-07-31 | Fair Isaac Corporation | Score based decisioning |
US5819226A (en) * | 1992-09-08 | 1998-10-06 | Hnc Software Inc. | Fraud detection using predictive modeling |
US5940811A (en) * | 1993-08-27 | 1999-08-17 | Affinity Technology Group, Inc. | Closed loop financial transaction method and apparatus |
US5583964A (en) * | 1994-05-02 | 1996-12-10 | Motorola, Inc. | Computer utilizing neural network and method of using same |
CA2148029A1 (en) * | 1994-05-25 | 1995-11-26 | Deborah L. Mcguinness | Knowledge base management system with enhanced explanation of derived information and of error objects |
US5659666A (en) * | 1994-10-13 | 1997-08-19 | Thaler; Stephen L. | Device for the autonomous generation of useful information |
US5696907A (en) * | 1995-02-27 | 1997-12-09 | General Electric Company | System and method for performing risk and credit analysis of financial service applications |
US5970482A (en) * | 1996-02-12 | 1999-10-19 | Datamind Corporation | System for data mining using neuroagents |
US5745654A (en) * | 1996-02-13 | 1998-04-28 | Hnc Software, Inc. | Fast explanations of scored observations |
JPH1063634A (ja) * | 1996-04-05 | 1998-03-06 | Nec Corp | 時系列予測・分類のための方法及び装置 |
US20030195846A1 (en) | 1996-06-05 | 2003-10-16 | David Felger | Method of billing a purchase made over a computer network |
US8229844B2 (en) | 1996-06-05 | 2012-07-24 | Fraud Control Systems.Com Corporation | Method of billing a purchase made over a computer network |
US7555458B1 (en) | 1996-06-05 | 2009-06-30 | Fraud Control System.Com Corporation | Method of billing a purchase made over a computer network |
US5862223A (en) | 1996-07-24 | 1999-01-19 | Walker Asset Management Limited Partnership | Method and apparatus for a cryptographically-assisted commercial network system designed to facilitate and support expert-based commerce |
AU5405798A (en) * | 1996-12-30 | 1998-07-31 | Imd Soft Ltd. | Medical information system |
US6018723A (en) | 1997-05-27 | 2000-01-25 | Visa International Service Association | Method and apparatus for pattern generation |
US6119103A (en) * | 1997-05-27 | 2000-09-12 | Visa International Service Association | Financial risk prediction systems and methods therefor |
US5949045A (en) * | 1997-07-03 | 1999-09-07 | At&T Corp. | Micro-dynamic simulation of electronic cash transactions |
US7096192B1 (en) * | 1997-07-28 | 2006-08-22 | Cybersource Corporation | Method and system for detecting fraud in a credit card transaction over a computer network |
US7403922B1 (en) | 1997-07-28 | 2008-07-22 | Cybersource Corporation | Method and apparatus for evaluating fraud risk in an electronic commerce transaction |
WO1999012085A2 (en) * | 1997-09-04 | 1999-03-11 | Camelot Information Technologies Ltd. | Heterogeneous neural networks |
US6289329B1 (en) * | 1997-11-26 | 2001-09-11 | Ishwar K. Sethi | System for converting neural network to rule-based expert system using multiple-valued logic representation of neurons in feedforward network |
US6411936B1 (en) | 1999-02-05 | 2002-06-25 | Nval Solutions, Inc. | Enterprise value enhancement system and method |
US6304864B1 (en) | 1999-04-20 | 2001-10-16 | Textwise Llc | System for retrieving multimedia information from the internet using multiple evolving intelligent agents |
US6493711B1 (en) * | 1999-05-05 | 2002-12-10 | H5 Technologies, Inc. | Wide-spectrum information search engine |
DE50012539D1 (de) * | 1999-05-24 | 2006-05-18 | Ipcentury Ag | Neuronales netz zum computergestützten wissensmanagement |
FR2795848B1 (fr) | 1999-07-01 | 2001-08-17 | Commissariat Energie Atomique | Systeme d'intelligence artificielle pour la classification d'evenements, d'objets ou de situations a partir de signaux et de parametres discriminants issus de modeles |
US6564195B1 (en) * | 1999-07-22 | 2003-05-13 | Cerebrus Solutions Limited | Data classifier output interpretation |
US6598047B1 (en) * | 1999-07-26 | 2003-07-22 | David W. Russell | Method and system for searching text |
WO2001013141A2 (en) | 1999-08-12 | 2001-02-22 | Automotive Systems Laboratory, Inc. | Neural network radar processor |
AU7512600A (en) * | 1999-09-02 | 2001-04-10 | Gzs Gesellschaft Fur Zahlungssysteme Mbh | Expert system |
US6934905B1 (en) | 1999-12-16 | 2005-08-23 | Rodger W. Tighe | Automated document drafting system |
US6564198B1 (en) * | 2000-02-16 | 2003-05-13 | Hrl Laboratories, Llc | Fuzzy expert system for interpretable rule extraction from neural networks |
US6999943B1 (en) | 2000-03-10 | 2006-02-14 | Doublecredit.Com, Inc. | Routing methods and systems for increasing payment transaction volume and profitability |
WO2001073652A1 (en) | 2000-03-24 | 2001-10-04 | Access Business Group International Llc | System and method for detecting fraudulent transactions |
WO2001086516A1 (en) * | 2000-05-05 | 2001-11-15 | Stig Jørgensen & Partners | A decision support system |
DE10047172C1 (de) * | 2000-09-22 | 2001-11-29 | Siemens Ag | Verfahren zur Sprachverarbeitung |
US20110131136A1 (en) * | 2001-03-20 | 2011-06-02 | David Lawrence | Risk Management Customer Registry |
US7904361B2 (en) * | 2001-03-20 | 2011-03-08 | Goldman Sachs & Co. | Risk management customer registry |
US8209246B2 (en) | 2001-03-20 | 2012-06-26 | Goldman, Sachs & Co. | Proprietary risk management clearinghouse |
US20040193532A1 (en) * | 2001-03-20 | 2004-09-30 | David Lawrence | Insider trading risk management |
US8140415B2 (en) | 2001-03-20 | 2012-03-20 | Goldman Sachs & Co. | Automated global risk management |
US7958027B2 (en) * | 2001-03-20 | 2011-06-07 | Goldman, Sachs & Co. | Systems and methods for managing risk associated with a geo-political area |
US8285615B2 (en) | 2001-03-20 | 2012-10-09 | Goldman, Sachs & Co. | Construction industry risk management clearinghouse |
US20030225687A1 (en) * | 2001-03-20 | 2003-12-04 | David Lawrence | Travel related risk management clearinghouse |
US7899722B1 (en) * | 2001-03-20 | 2011-03-01 | Goldman Sachs & Co. | Correspondent bank registry |
US7548883B2 (en) * | 2001-03-20 | 2009-06-16 | Goldman Sachs & Co | Construction industry risk management clearinghouse |
US8121937B2 (en) | 2001-03-20 | 2012-02-21 | Goldman Sachs & Co. | Gaming industry risk management clearinghouse |
US20030233319A1 (en) * | 2001-03-20 | 2003-12-18 | David Lawrence | Electronic fund transfer participant risk management clearing |
US20020138417A1 (en) * | 2001-03-20 | 2002-09-26 | David Lawrence | Risk management clearinghouse |
US20040006532A1 (en) * | 2001-03-20 | 2004-01-08 | David Lawrence | Network access risk management |
US8069105B2 (en) * | 2001-03-20 | 2011-11-29 | Goldman Sachs & Co. | Hedge fund risk management |
US20020143562A1 (en) * | 2001-04-02 | 2002-10-03 | David Lawrence | Automated legal action risk management |
US7865427B2 (en) * | 2001-05-30 | 2011-01-04 | Cybersource Corporation | Method and apparatus for evaluating fraud risk in an electronic commerce transaction |
US6975996B2 (en) * | 2001-10-09 | 2005-12-13 | Goldman, Sachs & Co. | Electronic subpoena service |
US8458082B2 (en) * | 2001-11-13 | 2013-06-04 | Interthinx, Inc. | Automated loan risk assessment system and method |
EP1461754A4 (en) * | 2001-11-28 | 2005-11-09 | Goldman Sachs & Co | TRANSACTION MONITORING |
US7565377B2 (en) | 2001-12-05 | 2009-07-21 | Robert Michael Watson | Artificially intelligent fulfillment system |
WO2004047082A2 (en) * | 2002-11-14 | 2004-06-03 | Goldman, Sachs & Co. | Independent research consensus earnings estimates and methods of determining such |
US7134015B2 (en) * | 2003-01-16 | 2006-11-07 | International Business Machines Corporation | Security enhancements for pervasive devices |
US7848935B2 (en) * | 2003-01-31 | 2010-12-07 | I.M.D. Soft Ltd. | Medical information event manager |
US8620678B2 (en) * | 2003-01-31 | 2013-12-31 | Imd Soft Ltd. | Medical information query system |
JP4620943B2 (ja) * | 2003-10-16 | 2011-01-26 | キヤノン株式会社 | 積和演算回路及びその方法 |
EP1733338A1 (de) * | 2003-11-13 | 2006-12-20 | Swiss Reinsurance Company | System und verfahren zur automatisierten kreditrisikoindexierung |
DE10356399B4 (de) * | 2003-12-03 | 2006-06-14 | Ontoprise Gmbh | Datenverarbeitungssystem |
EP1574990B1 (fr) * | 2003-12-31 | 2017-11-01 | Dassault Systèmes | Procédé d'édition d'un modèle explicatif |
EP1751704A4 (en) * | 2004-01-09 | 2008-12-24 | Imd Soft Ltd | DATABASE SYSTEM FOR CLINICAL DATA AND METHOD FOR A CRITICAL CARE AND / OR HOSPITAL ENVIRONMENT |
US8082207B2 (en) * | 2004-06-17 | 2011-12-20 | Certegy Check Services, Inc. | Scored negative file system and method |
US8762191B2 (en) * | 2004-07-02 | 2014-06-24 | Goldman, Sachs & Co. | Systems, methods, apparatus, and schema for storing, managing and retrieving information |
US8996481B2 (en) * | 2004-07-02 | 2015-03-31 | Goldman, Sach & Co. | Method, system, apparatus, program code and means for identifying and extracting information |
US8510300B2 (en) | 2004-07-02 | 2013-08-13 | Goldman, Sachs & Co. | Systems and methods for managing information associated with legal, compliance and regulatory risk |
US8442953B2 (en) | 2004-07-02 | 2013-05-14 | Goldman, Sachs & Co. | Method, system, apparatus, program code and means for determining a redundancy of information |
US8161049B2 (en) * | 2004-08-11 | 2012-04-17 | Allan Williams | System and method for patent evaluation using artificial intelligence |
US8145639B2 (en) * | 2004-08-11 | 2012-03-27 | Allan Williams | System and methods for patent evaluation |
US20060036453A1 (en) * | 2004-08-11 | 2006-02-16 | Allan Williams | Bias compensated method and system for patent evaluation |
US8145640B2 (en) * | 2004-08-11 | 2012-03-27 | Allan Williams | System and method for patent evaluation and visualization of the results thereof |
US7840460B2 (en) * | 2004-08-11 | 2010-11-23 | Allan Williams | System and method for patent portfolio evaluation |
US8914309B2 (en) * | 2004-08-20 | 2014-12-16 | Ebay Inc. | Method and system for tracking fraudulent activity |
US7885890B2 (en) * | 2006-01-17 | 2011-02-08 | Hsbc Finance Corporation | System for authorizing credit use |
US7849030B2 (en) * | 2006-05-31 | 2010-12-07 | Hartford Fire Insurance Company | Method and system for classifying documents |
US8051019B2 (en) * | 2006-07-13 | 2011-11-01 | Sap Ag | Neural network resource sizing apparatus for database applications |
US8600777B2 (en) * | 2008-08-28 | 2013-12-03 | I.M.D. Soft Ltd. | Monitoring patient conditions |
US8583562B1 (en) * | 2008-10-01 | 2013-11-12 | RealAgile, Inc. | Predicting real estate and other transactions |
KR101064908B1 (ko) * | 2008-11-12 | 2011-09-16 | 연세대학교 산학협력단 | 신규의 희생층 재료를 이용한 기판 상에서의 나노와이어 패터닝 방법 |
US20100204590A1 (en) * | 2009-02-09 | 2010-08-12 | Edwards Lifesciences Corporation | Detection of Vascular Conditions Using Arterial Pressure Waveform Data |
US20100217623A1 (en) * | 2009-02-26 | 2010-08-26 | Ido Schoenberg | Decision Support |
US9449344B2 (en) | 2013-12-23 | 2016-09-20 | Sap Se | Dynamically retraining a prediction model based on real time transaction data |
US20160335723A1 (en) * | 2015-05-12 | 2016-11-17 | AdvisorBid, LLC | Method and computer network for coordinating financial advisor transitions |
GB201511175D0 (en) * | 2015-06-25 | 2015-08-12 | Mclaren Applied Technologies Ltd | Analysing physical systems |
US11354590B2 (en) * | 2017-11-14 | 2022-06-07 | Adobe Inc. | Rule determination for black-box machine-learning models |
US11107115B2 (en) | 2018-08-07 | 2021-08-31 | Adobe Inc. | Machine-learning based multi-step engagement strategy modification |
US10609434B2 (en) | 2018-08-07 | 2020-03-31 | Adobe Inc. | Machine-learning based multi-step engagement strategy generation and visualization |
US11049604B2 (en) | 2018-09-26 | 2021-06-29 | International Business Machines Corporation | Cognitive monitoring of online user profiles to detect changes in online behavior |
US11037049B2 (en) | 2018-10-29 | 2021-06-15 | International Business Machines Corporation | Determining rationale of cognitive system output |
US10839318B2 (en) * | 2018-12-12 | 2020-11-17 | Capital One Services, Llc | Machine learning models for evaluating differences between groups and methods thereof |
US11443187B2 (en) | 2019-10-07 | 2022-09-13 | Wipro Limited | Method and system for improving classifications performed by an artificial neural network (ANN) model |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4730259A (en) * | 1985-03-01 | 1988-03-08 | Gallant Stephen I | Matrix controlled expert system producible from examples |
US5014219A (en) * | 1988-05-06 | 1991-05-07 | White James A | Mask controled neural networks |
US5140530A (en) * | 1989-03-28 | 1992-08-18 | Honeywell Inc. | Genetic algorithm synthesis of neural networks |
US5140523A (en) * | 1989-09-05 | 1992-08-18 | Ktaadn, Inc. | Neural network for predicting lightning |
US5253328A (en) * | 1989-11-17 | 1993-10-12 | Microelectronics & Computer Technology Corp. | Neural-network content-addressable memory |
US5164912A (en) * | 1989-11-17 | 1992-11-17 | Westinghouse Electric Corp. | Expert system tester |
-
1991
- 1991-07-01 EP EP19910110885 patent/EP0468229A3/en not_active Withdrawn
- 1991-07-26 JP JP3186788A patent/JPH05151188A/ja active Pending
- 1991-12-30 US US07/814,179 patent/US5398300A/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
US5398300A (en) | 1995-03-14 |
EP0468229A3 (en) | 1994-01-26 |
EP0468229A2 (en) | 1992-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH05151188A (ja) | エキスパートシステム機能を備えたニユーラルネツトワーク | |
Wittig et al. | Estimating software development effort with connectionist models | |
Sodenkamp et al. | An aggregation method for solving group multi-criteria decision-making problems with single-valued neutrosophic sets | |
Kilbertus et al. | The sensitivity of counterfactual fairness to unmeasured confounding | |
Li et al. | Combining rule-based expert systems and artificial neural networks for mark-up estimation | |
US20170169331A1 (en) | Neural network, computer readable medium, and methods including a method for training a neural network | |
Huang et al. | Applying fuzzy neural network to estimate software development effort | |
Kiliç et al. | Comparison of different strategies of utilizing fuzzy clustering in structure identification | |
Howes et al. | Using input parameter influences to support the decisions of feedforward neural networks | |
Aliev et al. | Z-relation equation-based decision making | |
Dikopoulou et al. | GLIME: A new graphical methodology for interpretable model-agnostic explanations | |
Ennett et al. | Weight-elimination neural networks applied to coronary surgery mortality prediction | |
Walia et al. | A survey on applications of adaptive neuro fuzzy inference system | |
Upadhyay et al. | Make consumers happy by defuzzifying the service level agreements | |
Jagielska | Linguistic rule extraction from neural networks for descriptive data mining | |
Jerić et al. | Data mining for assessing the credit risk of local government units in Croatia | |
Marwala et al. | Neuro-rough models for modelling HIV | |
Jain et al. | Fuzzy MCDM: application in disease risk and prediction | |
Amahan et al. | Analysis of Membership Function in the Implementation of Neuro-Fuzzy System for Prediction of Depressive Lexicons | |
Kochurani et al. | A neuro fuzzy decision tree model for predicting the risk in coronary artery disease | |
Paradice | Causal modeling as a basis for the design of an intelligent business problem formulation system (expert, decision support, path analysis, management information) | |
Martin Jr et al. | Causal Theories and Structural Data Representations for Improving Out-of-Distribution Classification | |
Pattnaik et al. | Empirical analysis of software quality prediction using a TRAINBFG algorithm | |
Jain et al. | Fuzzy MCDM 4 | |
CN118116588A (zh) | 一种基于量子神经网络的人体肺病风险预测*** |