JPH0492955A - ニューラルネットワークの学習方式 - Google Patents

ニューラルネットワークの学習方式

Info

Publication number
JPH0492955A
JPH0492955A JP2206729A JP20672990A JPH0492955A JP H0492955 A JPH0492955 A JP H0492955A JP 2206729 A JP2206729 A JP 2206729A JP 20672990 A JP20672990 A JP 20672990A JP H0492955 A JPH0492955 A JP H0492955A
Authority
JP
Japan
Prior art keywords
neural network
learning
subset
sets
partial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2206729A
Other languages
English (en)
Inventor
Kazuhiro Obara
小原 和博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2206729A priority Critical patent/JPH0492955A/ja
Publication of JPH0492955A publication Critical patent/JPH0492955A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の目的〕 (産業上の利用分野) 本発明は、学習能力を有するニューラルネットワークに
よりパターン認識を行わせるためのニューラルネットワ
ークの学習方式に関する。
(従来の技術) 学習能力を有するニューラルネットワークに、あるメデ
ィアの特徴パターンを入力して、パターン認識メカニズ
ムを学習させようとした場合、従来技術では、どのよう
なサンプルの特徴パターンを学習に用いれば、対象メデ
ィアの本来の特徴的性質(以下、「本質」という)を学
習させるために適当であるかという選定方法がないため
、人間の判断により心理学的に選んでいた。
以下、従来技術について、手書き数字認識問題を例にと
り具体的に説明する。ニューラルネットワークの例とし
て、パックプロパゲーション型ニューラルネットワーク
[参考文献 RuIIelhart、D。
E、C1ta1.:Parallel  Distri
buted PrOCeSSing、VOI。
1.HIT Press(1986)]をとりあげ、ま
た特徴パターンとして、メツシュ特徴をとりあげて説明
する。
第1図(a ) 〜(d )は、16X16メツシユの
手書き数字「0」〜「3」のメツシュ特徴の例である。
実際に、ニューラルネットワークに入力するときには多
次元ベクトル(この場合には256次元)に変換する。
第2図は、パックプロパゲーション型ニューラルネット
ワークの構成例を示す図である。第2図において、1は
入力層のニューロンを、2は中間層のニューロンを、3
は出力層のニューロンをそれぞれ示し、入力層と中間層
のニューロンは接続線4で接続され、中間層と出力層の
ニューロンは接続線5で接続されている。
第3図(a)および(b)は、各75個(計150個)
の手書き数字「2」の原イメージの例である。
従来技術では、特にこれといった学習サンプル選定に関
する工学的方法もなく、心理学的に学習サンプルの集合
を選んでいた0例えば、第3図(a)に示す「2」の集
合を学習用に採用していた(ほかの数字に関するサンプ
ルも同様)。
このように選定した手書き数字「o」〜「9」に所属す
るサンプル750個(各数字につき75個)の集合を2
組(集合Aと集合Bと呼ぶことにする)用意した(全部
で1500個の手書き数字からなる)6次に、集合Aで
学習させたニューラルネットワークに、集合Aおよび集
合Bを入力した場合(くケースI>)と、集合Bで学習
させたニューラルネットワークに、集合Aおよび集合B
を入力した場合(くケースIf>)とで、それぞれパタ
ーン認識能力を調べてみた。実験で使用したニューラル
ネットワークの大きさは、入力層のニューロン数256
個、中間層のニューロン数20個、出力層のニューロン
数10個である。
その結果、上記くケース■〉では、学習データ(集合A
)では100%、未知データ(集合B)では87.33
%、上記くケース■〉では、学習データ(集合B)では
99.73%、未知データ(集合A)では90.27%
の認識能力だった。
メツシュ特徴は大規模かつ巨視的な特徴であるため、相
当な学習効果を発揮させることかできる(学習データに
関する認識能力が100%あるいはそれに極めて近い値
となる)が、反面、変形や人間のrくせ」で、ほかの人
間が見てそれと判別できないような数字もほぼ完璧に学
習してしまう(過剰学習)、その結果、学習していない
未知のデータに関する認識能力がそれほど高くならない
と考える。
(発明が解決しようとする課1ji) このような従来技術では、分類すべき各クラス間に所属
する入カバターン間で類似性が少ないパターンを入力し
、学習能力の高いニューラルネットワークによりこれを
学習させるために、学習データに対する想起能力は極め
て高い4反面、学習データとしてはふされしくないよう
なパターンも学習してしまうため、実パターンのもつ本
質を学習できない、未知データに対する能力が学習デー
タよりだいぶ劣るのはこのためである。従来技術では、
学習データの選定方法に関して、このような問題が生じ
る。
本発明は、上記に鑑みてなされたもので、その目的とす
るところは、変形や[くせJのあるような入カバターン
の集合から、分類すべきメディアの各クラスの本質を学
習させるのにふされしい学習データを工学的に選定し、
これを学習させることにより、未知データに関しても安
定して性能よく分類できるようなニューラルネットワー
クを構築するためのニューラルネットワークの学習方式
を提供することにある。
〔発明の構成〕
(課題を解決するための手段) 上記目的を達成するため、本発明のニューラルネットワ
ークの学習方式は、あるメディアの特徴パターンをニュ
ーラルネットワークに入力し、パターンの分類メカニズ
ムを学習させるニューラルネットワークの学習方式であ
って、学習用の特徴パターンの集合を複数の部分集合に
分割し、この分PI した部分集合毎に特徴パターンを
個別のニューラルネットワークに入力して分類メカニズ
ムを学゛習させ、前記複数の部分集合の中の所与の部分
集合を、他の部分集合を学習済みのニューラルネットワ
ークに入力して、前記所与の部分集合の中の認識できな
かった要素の集合を他の部分集合毎に生成し、該他の部
分集合毎に生成される各集合の和集合を前記所与の部分
集合から除いた新規集合を生成し、該新規集合を新たに
入力してニューラルネットワークを学習させ、この新規
集合を学習したニューラルネットワークで未知のパター
ンを認識させることを要旨とする。
(作用) 本発明のニューラルネットワークの学習方式では、例え
ば変形や「くせ」のある実パターンに対応する学習用の
特徴パターンの集合を複数の部分集合に分割し、各部分
集合毎にニューラルネットワークを学習させ、所与の部
分集合を、他の部分集合を学習済みのニューラルネット
ワークに入力して、所与の部分集合の中の認識できなか
った要素の集合を生成し、この生成される各集合の和集
合を所与の部分集合から除いた新規集合を生成し、この
新規集合を新たに学習させ、この新規集合を学習したニ
ューラルネットワークで未知のパターンを認識させてい
る。
(実施例) 以下、図面を用いて本発明の詳細な説明する。
第4図は本発明の一実施例に係わるニューラルネットワ
ークの学習方式の作用を示すフローチャートである。以
下、このフローチャートを参照して本実施例の作用を説
明する。なお、本実施例では、ニューラルネットワーク
によるパターン分類の例として、手書き数字認識をとり
あげ、入力特徴パターンの例として、メツシュ特徴をと
りあげ、学習能力を有するニューラルネットワークの例
として、パックプロパゲーション型ニューラルネットワ
ーク(以下、BPNNと略称する)をとりあげて説明す
る。
第4図においては、まずニューラルネットワーク学習用
データセットを部分集合(St、+、 SL□。
5L−)に分割する(ステップ110)。
例えば、手書き数字「2」についていえば、第3図(a
)および(b)に示した2つの部分集合に分割する。
次に、各部分集合を入力として、個別にニューラルネッ
トワークを学習させる(ステップ120゜130.14
0)、例えば、第3図(a)に示す75人分の手書き数
字「2」および、同様に用意した75人分のほかの数字
からなる集合(部分集合Aとする)のメツシュ特徴と、
第3図(b)に示す75人分の手書き数字「2」および
、同様に用意した75人分のほかの数字からなる集合(
部分集合Bとするンのメツシュ特徴をBPNNの入力と
して、個別にBPNNを学習させる。
更に、S Ll以外の部分集合で学習させたニューラル
ネットワークに、S Llを入力して、そこで認識でき
なかった要素の集合(s’、、、・・・S’−+)を作
成する(ステップ150.160)。
例えば、部分集合Bを学習させたBPNNに、部分集合
Aを入力して、Aのうち認識できなかった要素からなる
八゛を作成する。同様に、部分集合Aを学習させたBP
NNに、部分集合Bを入力して、Bのうち認識できなか
った要素からなる集合B′を作成する。具体的に実験し
た結果によれば、第3図(a)および(b)に示した「
2」の部分集合の要素のうち、丸印で囲んだr2.がこ
の例である(例えば、第3図(a>に丸印で示した「2
」は、部分集合Bを学習させたBPNNに、部分集合を
Aを入力したときに、正しく認識されなかったものの例
である)、いずれも「くせ」のある「2」であることが
わかる。
それから、SLIからS’211  ・・・、S′カ、
の和集合を除いた集合S a++wを作成する(ステッ
プ170)。
次に、S mowで新たにニューラルネットワークを学
習させる(ステップ180)。
最後に、S9.、を学習済みのニューラルネットワーク
で未知パターンを認識させる(ステップ190)。
以上の操作により、変形や「くせ」のある手書き数字を
工学的に抽出でき、これらを学習データから除外するこ
とにより、各クラス(0〜9)のもつ本質を有する手書
き数字を選定でき、これらを学習データとすることによ
り、パターンの本質を学習させることができることは明
らかである。
以上の説明では、メディアの例として手書き数字をとり
あげて説明したが、本発明は、手書き数字以外の文字、
図形、画像などのパターン分類にも適用できることは明
らかである。
また、以上の説明では、入力特徴パターンとして、メツ
シュ特徴を例にとって説明したが、本発明は、横方向濃
淡頻度分布(横方向に見たときの黒画素の数)や縦方向
濃淡頻度分布などの特徴パターンを採用する場合にも適
用できることは明らかである。
〔発明の効果〕
以上説明したように、本発明によれば、ニューラルネッ
トワークの学習方式において、学習用のデータセットS
t、を複数の部分集合(SLI、 SL2など)に分割
し、それぞれの部分集合で個別にニューラルネットワー
クを学習させることと、ある部分集合S L2で学習さ
せたニューラルネットワークに、ほかの部分集合St、
+を入力して、部分集合SLIの中で認識できない要素
からなる集合SLを生成することと、SLからSL・を
除いた集合S setを生成してこれを新たに学習させ
、この後で未知データを入力してパターン認識させるこ
とで、実パターンがもつ本来の、あるいは共通の特徴的
性質を学習させることができ、従って変形や「くせ」の
ある入カバターンに対しても、安定して性能のよいパタ
ーン分類を行えるようなニューラルネットワークの学習
方式を実現できる。
【図面の簡単な説明】
第1図は手書き数字のメツシュ特徴の例を示す図、第2
図はパックプロパゲーション型ニューラルネットワーク
の構成例を示す図、第3図は手書き数字の原イメージの
例を示す図、第4図は本発明の一実施例に係るニューラ
ルネットワークの学習方式の作用を示すフローチャート
である。 1・・・入力層のニューロン 中間層のニューロン 出力層のニューロン 入力層と中間層の接続線 中間層と出力層の接続線

Claims (1)

    【特許請求の範囲】
  1. あるメディアの特徴パターンをニューラルネットワーク
    に入力し、パターンの分類メカニズムを学習させるニュ
    ーラルネットワークの学習方式であって、学習用の特徴
    パターンの集合を複数の部分集合に分割し、この分割し
    た部分集合毎に特徴パターンを個別のニューラルネット
    ワークに入力して分類メカニズムを学習させ、前記複数
    の部分集合の中の所与の部分集合を、他の各部分集合を
    学習済みのニューラルネットワークに入力して、前記所
    与の部分集合の中の認識できなかった要素の集合を他の
    部分集合毎に生成し、該他の部分集合毎に生成される各
    集合の和集合を前記所与の部分集合から除いた新規集合
    を生成し、該新規集合を新たに入力してニューラルネッ
    トワークを学習させ、この新規集合を学習したニューラ
    ルネットワークで未知のパターンを認識させることを特
    徴とするニューラルネットワークの学習方式。
JP2206729A 1990-08-06 1990-08-06 ニューラルネットワークの学習方式 Pending JPH0492955A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2206729A JPH0492955A (ja) 1990-08-06 1990-08-06 ニューラルネットワークの学習方式

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2206729A JPH0492955A (ja) 1990-08-06 1990-08-06 ニューラルネットワークの学習方式

Publications (1)

Publication Number Publication Date
JPH0492955A true JPH0492955A (ja) 1992-03-25

Family

ID=16528142

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2206729A Pending JPH0492955A (ja) 1990-08-06 1990-08-06 ニューラルネットワークの学習方式

Country Status (1)

Country Link
JP (1) JPH0492955A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003058861A (ja) * 2001-08-15 2003-02-28 Communication Research Laboratory データエラーの検出方法及び装置、ソフトウェア並びにその記憶媒体
WO2008016109A1 (fr) * 2006-08-03 2008-02-07 Panasonic Electric Works Co., Ltd. Procédé d'optimisation de jeu de données d'apprentissage pour dispositif d'identification du signal et dispositif d'identification du signal capable d'optimiser le jeu de données d'apprentissage
JP2008040684A (ja) * 2006-08-03 2008-02-21 Matsushita Electric Works Ltd 信号識別装置の学習方法
JP2008040683A (ja) * 2006-08-03 2008-02-21 Matsushita Electric Works Ltd 信号識別方法及び信号識別装置
JP2009146149A (ja) * 2007-12-13 2009-07-02 Panasonic Electric Works Co Ltd 信号識別方法及び信号識別装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003058861A (ja) * 2001-08-15 2003-02-28 Communication Research Laboratory データエラーの検出方法及び装置、ソフトウェア並びにその記憶媒体
WO2008016109A1 (fr) * 2006-08-03 2008-02-07 Panasonic Electric Works Co., Ltd. Procédé d'optimisation de jeu de données d'apprentissage pour dispositif d'identification du signal et dispositif d'identification du signal capable d'optimiser le jeu de données d'apprentissage
JP2008040684A (ja) * 2006-08-03 2008-02-21 Matsushita Electric Works Ltd 信号識別装置の学習方法
JP2008040683A (ja) * 2006-08-03 2008-02-21 Matsushita Electric Works Ltd 信号識別方法及び信号識別装置
US7831530B2 (en) 2006-08-03 2010-11-09 Panasonic Electric Works Co., Ltd. Optimizing method of learning data set for signal discrimination apparatus and signal discrimination apparatus capable of optimizing learning data set by using a neural network
JP2009146149A (ja) * 2007-12-13 2009-07-02 Panasonic Electric Works Co Ltd 信号識別方法及び信号識別装置

Similar Documents

Publication Publication Date Title
Schaetti et al. Echo state networks-based reservoir computing for mnist handwritten digits recognition
Rahman et al. A new benchmark on american sign language recognition using convolutional neural network
CN108875787A (zh) 一种图像识别方法及装置、计算机设备和存储介质
US9704257B1 (en) System and method for semantic segmentation using Gaussian random field network
CN112784964A (zh) 基于桥接知识蒸馏卷积神经网络的图像分类方法
Chen et al. Locally GAN-generated face detection based on an improved Xception
CN110222760B (zh) 一种基于winograd算法的快速图像处理方法
US10387774B1 (en) Method for neuromorphic implementation of convolutional neural networks
CN109215680B (zh) 一种基于卷积神经网络的语音还原方法
Alvear-Sandoval et al. On improving CNNs performance: The case of MNIST
CN107516096A (zh) 一种字符识别方法及装置
CN107491729B (zh) 基于余弦相似度激活的卷积神经网络的手写数字识别方法
CN107784303A (zh) 车牌识别方法及装置
CN112381179A (zh) 一种基于双层注意力机制的异质图分类方法
Bezak Building recognition system based on deep learning
Alharbi et al. Learning interpretation with explainable knowledge distillation
JPH03288285A (ja) データ処理装置の学習方法
JPH0492955A (ja) ニューラルネットワークの学習方式
Yawalkar et al. Automatic handwritten character recognition of Devanagari language: a hybrid training algorithm for neural network
CN108960275A (zh) 一种基于深度玻尔兹曼机的图像识别方法及***
TWI722383B (zh) 應用於深度學習之預特徵萃取方法
KR102340387B1 (ko) 뇌 연결성 학습 방법 및 이를 위한 시스템
Guan et al. Context-based multi-stage offline handwritten mathematical symbol recognition using deep learning
Kussul et al. LIRA neural classifier for handwritten digit recognition and visual controlled microassembly
Lu et al. Lightweight Method for Plant Disease Identification Using Deep Learning.