WO2019102984A1 - 学習装置及び学習方法、識別装置及び識別方法、プログラム並びに記録媒体 - Google Patents

学習装置及び学習方法、識別装置及び識別方法、プログラム並びに記録媒体 Download PDF

Info

Publication number
WO2019102984A1
WO2019102984A1 PCT/JP2018/042781 JP2018042781W WO2019102984A1 WO 2019102984 A1 WO2019102984 A1 WO 2019102984A1 JP 2018042781 W JP2018042781 W JP 2018042781W WO 2019102984 A1 WO2019102984 A1 WO 2019102984A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning
cell
element values
target data
unit
Prior art date
Application number
PCT/JP2018/042781
Other languages
English (en)
French (fr)
Inventor
由仁 宮内
宇田　安規男
勝宏 中出
Original Assignee
Ｎｅｃソリューションイノベータ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｎｅｃソリューションイノベータ株式会社 filed Critical Ｎｅｃソリューションイノベータ株式会社
Priority to US16/648,807 priority Critical patent/US11599791B2/en
Priority to JP2019555305A priority patent/JP6908302B2/ja
Priority to CN201880074223.9A priority patent/CN111373418A/zh
Publication of WO2019102984A1 publication Critical patent/WO2019102984A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Definitions

  • a program executed by an identification device that performs identification based on identification target data, and a plurality of element values based on the identification target data is input to a computer.
  • a plurality of input nodes and an output node for adding and outputting the plurality of weighted element values, each of which includes a plurality of categories associated with one of a plurality of categories indicating teacher information.
  • a program is provided which is functioned as a neural network unit having a learning cell, and means for identifying a category to which the identification target data belongs based on an output value of the learning cell and a category linked to the learning cell.
  • the element values I 1 to I M extracted by the extraction unit 10 are input to the neural network unit 20.
  • the element values I 1 to I M input to the neural network unit 20 are input via the cells 22 1 to 22 M to the learning cell 26 linked to the category of the teacher information of the acquired learning object data.
  • element values I 1 to I M extracted from the learning target data shown in FIG. 5 are input to the learning cell 26 linked to the category “2”.
  • the weighting factor omega pj becomes one of the input nodes corresponding to the p th pixel of the learning cell 26 j, the weighting coefficients of the input node corresponding to the q-th pixel of the learning cell 26 j omega qj Is zero.
  • step S103 when the learning cell 26 is not in the initial state (“No” in step S103), element values I 1 to I M are input to the learning cell 26, and an output value O is obtained. At this time, since the weighting coefficient ⁇ is already set at the input node of the learning cell 26, the output value O is calculated based on the equation (1).
  • step S101 to step S108 described above is performed on all the learning target data (steps S109 and S110), and the neural network unit 20 is repeatedly learned.
  • identification target data is taken into the extraction unit 10 (step S201).
  • a black and white two-dimensional image including black handwritten characters is exemplified as learning target data and identification target data.
  • plural types of learning cells 26 may be provided for one type of category.
  • the learning cell 26 performs learning with the element value corresponding to the white pixel as 0 and the element value corresponding to the black pixel as 1, the element value corresponding to the white pixel as 1, and the black It is possible to set a learning cell 26 which performs learning with the element value corresponding to the pixel being zero. By configuring in this manner, the recognition rate can be further enhanced.
  • a program for operating the configuration of the embodiment to realize the functions of the above-described embodiment is recorded on a recording medium, a program recorded on the recording medium is read as a code, and a processing method executed by a computer is also included. It is included in the category of the embodiment. That is, a computer readable recording medium is also included in the scope of each embodiment. Further, not only the recording medium in which the above program is recorded but also the program itself is included in each embodiment.
  • the recording medium for example, a floppy (registered trademark) disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a magnetic tape, a non-volatile memory card, and a ROM can be used.
  • the present invention is not limited to one in which processing is executed by a single program recorded in the recording medium, but one that operates on the OS and executes processing in cooperation with other software and the function of the expansion board. It is included in the category of
  • Each of the plurality of learning cells is linked to any one of a plurality of categories indicating teacher information, The learning device according to claim 4 or 5, wherein the learning unit updates the weighting coefficient of the learning cell associated with the category to which the input learning target data belongs.
  • the identification unit extracts and extracts a predetermined number of learning cells from the plurality of learning cells in descending order of the correlation value between the values of the plurality of element values and the output value of the learning cell.
  • the identification device according to claim 13, wherein the category associated with the learning cell in the largest number identifies the category to which the identification target data belongs.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Character Discrimination (AREA)

Abstract

学習対象データに基づく複数の要素値が入力されるニューラルネットワーク部と、ニューラルネットワーク部の学習を行う学習部と、を有し、ニューラルネットワーク部は、複数の要素値の各々に所定の重み付けをする複数の入力ノードと、重み付けをした複数の要素値を加算して出力する出力ノードと、を各々が含む複数の学習セルを有し、学習部は、学習セルの出力値に応じて、学習セルの複数の入力ノードの重み付け係数を更新し、又は、ニューラルネットワーク部に新たな学習セルを追加する。

Description

学習装置及び学習方法、識別装置及び識別方法、プログラム並びに記録媒体
　本発明は、学習装置及び学習方法、識別装置及び識別方法、プログラム並びに記録媒体に関する。
　近年、機械学習手法として、多層ニューラルネットワークを用いた深層学習（ディープラーニング）が注目されている。深層学習は、バックプロパゲーションと呼ばれる計算手法を用い、大量の教師データを多層ニューラルネットワークへ入力した際の出力誤差を計算し、誤差が最小となるように学習を行うものである。
　特許文献１乃至３には、大規模なニューラルネットワークを複数のサブネットワークの組み合わせとして規定することにより、少ない労力及び演算処理量でニューラルネットワークを構築することを可能にしたニューラルネットワーク処理装置が開示されている。また、特許文献４には、ニューラルネットワークの最適化を行う構造最適化装置が開示されている。
特開２００１－０５１９６８号公報 特開２００２－２５１６０１号公報 特開２００３－３１７０７３号公報 特開平０９－０９１２６３号公報
　しかしながら、深層学習では、教師データとして良質な大量のデータが必要であり、また、学習に長時間を要していた。特許文献１乃至４にはニューラルネットワークの構築のための労力や演算処理量を低減する手法が提案されているが、システム負荷等の更なる軽減のために、より簡単なアルゴリズムにより学習が可能なニューラルネットワークを備えた学習装置が望まれていた。
　本発明の目的は、より簡単なアルゴリズムにより学習が可能なニューラルネットワークを備えた学習装置及び学習方法、プログラム及び記録媒体を提供することにある。また、本発明の他の目的は、このようなニューラルネットワークを用いて構成した認識率の高い識別装置及び識別方法、プログラム及び記録媒体を提供することにある。
　本発明の一観点によれば、学習対象データに基づく複数の要素値が入力されるニューラルネットワーク部と、前記ニューラルネットワーク部の学習を行う学習部と、を有し、前記ニューラルネットワーク部は、前記複数の要素値の各々に所定の重み付けをする複数の入力ノードと、重み付けをした前記複数の要素値を加算して出力する出力ノードと、を各々が含む複数の学習セルを有し、前記学習部は、前記学習セルの出力値に応じて、前記学習セルの前記複数の入力ノードの重み付け係数を更新し、又は、前記ニューラルネットワーク部に新たな学習セルを追加する学習装置が提供される。
　また、本発明の他の一観点によれば、識別対象データに基づく複数の要素値が入力されるニューラルネットワーク部と、前記ニューラルネットワーク部の出力に基づき前記識別対象データを識別する識別部と、を有し、前記ニューラルネットワーク部は、前記複数の要素値の各々に所定の重み付けをする複数の入力ノードと、重み付けをした前記複数の要素値を加算して出力する出力ノードと、を各々が含む複数の学習セルを有し、前記複数の学習セルの各々は、教師情報を示す複数のカテゴリのうちのいずれかに紐付けられており、前記学習セルの前記複数の入力ノードは、前記複数の要素値の各々が対応するカテゴリに応じた所定の重みで入力されるように構成されており、前記識別部は、前記学習セルの出力値と前記学習セルに紐付けられたカテゴリとに基づいて、前記識別対象データの属するカテゴリを識別する識別装置が提供される。
　また、本発明の更に他の一観点によれば、学習対象データに基づく複数の要素値が入力される複数の入力ノードと、前記複数の要素値の各々に対して所定の重みで加算して出力する出力ノードと、を各々が含む複数の学習セルを有するニューラルネットワーク部を有する学習装置の学習方法であって、学習対象データに基づく複数の要素値を、前記学習セルの前記複数の入力ノードに入力し、前記学習セルの出力値に応じて、前記学習セルの前記複数の入力ノードの重み付け係数を更新し、又は、前記ニューラルネットワーク部に新たな学習セルを追加することにより、前記ニューラルネットワーク部を学習する学習方法が提供される。
　また、本発明の更に他の一観点によれば、識別対象データに基づく複数の要素値が入力される複数の入力ノードと、前記複数の要素値に対して所定の重み付けをして加算して出力する出力ノードと、を各々が含み、各々が教師情報を示す複数のカテゴリのうちのいずれかに紐付けられた複数の学習セルを有するニューラルネットワーク部を有する識別装置を用いた識別方法であって、識別対象データに基づく複数の要素値を、前記複数の学習セルの前記複数の入力ノードに入力し、前記学習セルの出力値と前記学習セルに紐付けられたカテゴリとに基づいて、前記識別対象データの属するカテゴリを識別する識別方法が提供される。
　また、本発明の更に他の一観点によれば、学習対象データに基づいて学習を行う学習装置において実行されるプログラムであって、コンピュータを、学習対象データに基づく複数の要素値が入力される複数の入力ノードと、重み付けをした前記複数の要素値を加算して出力する出力ノードと、を各々が含む複数の学習セルを有するニューラルネットワーク部、前記学習セルの出力値に応じて、前記学習セルの前記複数の入力ノードの重み付け係数を更新し、又は、前記ニューラルネットワーク部に新たな学習セルを追加する手段、として機能させるプログラムが提供される。
　また、本発明の更に他の一観点によれば、識別対象データに基づいて識別を行う識別装置において実行されるプログラムであって、コンピュータを、識別対象データに基づく複数の要素値が入力される複数の入力ノードと、重み付けをした前記複数の要素値を加算して出力する出力ノードと、を各々が含み、各々が教師情報を示す複数のカテゴリのうちのいずれかに紐付けられた複数の学習セルを有するニューラルネットワーク部、前記学習セルの出力値と前記学習セルに紐付けられたカテゴリとに基づいて、前記識別対象データの属するカテゴリを識別する手段、として機能させるプログラムが提供される。
　本発明によれば、より簡単なアルゴリズムにより学習が可能で認識率の高いニューラルネットワークを構築することができる。
図１は、本発明の第１実施形態による学習・識別装置の構成例を示す概略図である。 図２は、本発明の第１実施形態による学習・識別装置におけるニューラルネットワーク部の構成例を示す概略図である。 図３は、本発明の第１実施形態による学習・識別装置における学習セルの構成例を示す概略図である。 図４は、本発明の第１実施形態による学習・識別装置における学習方法を示すフローチャートである。 図５は、学習対象データ及びその要素値の一例を示す図である。 図６は、本発明の第１実施形態による学習・識別装置における識別方法を示すフローチャートである。 図７は、本発明の第１実施形態による学習・識別装置のハードウェア構成例を示す概略図である。 図８は、本発明の第２実施形態による学習・識別装置の構成例を示す概略図である。 図９は、学習対象データ及び識別対象データに対して行う前処理の一例を示す図である。 図１０は、本発明の第３実施形態による学習装置の構成例を示す概略図である。 図１１は、本発明の第４実施形態による識別装置の構成例を示す概略図である。
　［第１実施形態］
　本発明の第１実施形態による学習・識別装置について、図１乃至図７を用いて説明する。図１は、本実施形態による学習・識別装置の構成例を示す概略図である。図２は、本実施形態による学習・識別装置におけるニューラルネットワーク部の構成例を示す概略図である。図３は、本実施形態による学習・識別装置における学習セルの構成例を示す概略図である。図４は、本実施形態による学習・識別装置における学習方法を示すフローチャートである。図５は、学習対象データ及びその要素値の一例を示す図である。図６は、本実施形態による学習・識別装置における識別方法を示すフローチャートである。図７は、本実施形態による学習・識別装置のハードウェア構成例を示す概略図である。
　はじめに、本実施形態による学習・識別装置の概略構成について、図１乃至図３を用いて説明する。本実施形態による学習・識別装置１００は、図１に示すように、抽出部１０と、ニューラルネットワーク部２０と、判定部３０と、学習部４０と、識別部５０と、出力部６０と、を有している。学習部４０は、重み修正部４２と、学習セル生成部４４と、を有している。
　抽出部１０は、外部から入力される学習対象データ又は識別対象データから、これらデータの形態に応じた所定の数の所定の要素値（パターンデータ）を抽出する。
　ニューラルネットワーク部２０は、例えば図２に示すように、入力層と出力層とを含む２層の人工ニューラルネットワークにより構成され得る。入力層は、１つの学習対象データ又は識別対象データから抽出される要素値の数に対応する数のセル（ニューロン）２２を備える。例えば、１つの学習対象データ又は識別対象データから生成される要素値の数がＭ個であるとすると、入力層は、少なくともＭ個のセル２２１，２２２，…，２２ｉ，…，２２Ｍを含む。出力層は、少なくとも学習対象データに紐付けられた教師情報のカテゴリの数に対応する数のセル（ニューロン）２４、例えばＮ個のセル２４１，２４２，…，２４ｊ，…，２４Ｎを含む。
　入力層のセル２２１，２２２，…，２２ｉ，…，２２Ｍには、抽出部１０から供給されるＭ個の要素値Ｉ１，Ｉ２，…，Ｉｉ，…，ＩＭが、それぞれ入力される。セル２２１，２２２，…，２２ｉ，…，２２Ｍの各々は、入力された要素値Ｉをセル２４１，２４２，…，２４ｊ，…，２４Ｎのそれぞれに出力する。
　セル２２とセル２４とを繋ぐ枝（軸索）の各々には、要素値Ｉに対して所定の重み付けをするための重み付け係数ωが設定されている。例えば、セル２２１，２２２，…，２２ｉ，…，２２Ｍとセル２４ｊとを繋ぐ枝には、図３に示すように、重み付け係数ω１ｊ，ω２ｊ，…，ωｉｊ，…，ωＭｊが設定されている。これによりセル２４ｊは、以下の式（１）に示す演算を行い、出力値Ｏｊを出力する。
Figure JPOXMLDOC01-appb-M000001
　なお、本明細書では、１つのセル２４と、そのセル２４に要素値Ｉ１～ＩＭを入力する枝（入力ノード）と、そのセル２４から出力値Ｏを出力する枝（出力ノード）とを総称して学習セル２６と表記することがある。
　判定部３０は、学習対象データから抽出した複数の要素値と学習セルの出力値との間の相関値と所定の閾値とを比較し、当該相関値が閾値以上であるか閾値未満であるかを判定する。相関値の一例は、学習セルの出力値に対する尤度である。なお、判定部３０の機能は、学習セル２６の各々が備えていると考えることもできる。
　学習部４０は、判定部３０の判定結果に応じてニューラルネットワーク部２０の学習を行う機能ブロックである。重み修正部４２は、上記相関値が所定の閾値以上である場合に、学習セル２６の入力ノードに設定された重み付け係数ωを更新する。また、学習セル生成部４４は、上記相関値が所定の閾値未満である場合に、ニューラルネットワーク部２０に新たな学習セル２６を追加する。
　識別部５０は、学習対象データから抽出した複数の要素値と学習セルの出力値との間の相関値に基づき、当該識別対象データのカテゴリを識別する。出力部６０は、識別部５０による識別結果を出力する。
　なお、本実施形態による学習・識別装置１００は、学習機能を備えた学習装置と、識別機能を備えた識別装置とにより構成することもできる。この場合、学習装置は、少なくとも、抽出部１０と、ニューラルネットワーク部２０と、判定部３０と、学習部４０と、を備えていればよい。また、識別装置は、少なくとも、抽出部１０と、ニューラルネットワーク部２０と、識別部５０と、を備えていればよい。なお、学習・識別装置１００、学習装置及び識別装置は、必ずしも抽出部１０を備えている必要はなく、他の装置などにおいて学習対象データや識別対象データから抽出した要素値をニューラルネットワーク部２０に直に入力する構成としてもよい。
　次に、本実施形態による学習・識別装置１００を用いた学習方法について、図４及び図５を用いて説明する。なお、ここでは理解を容易にするために、学習対象データが０～９の１０種類の手書き文字を含む白黒の２次元画像である場合を想定して説明を行うが、学習対象データの種類は特に限定されるものではない。学習対象データとしては、例えば、画像データ、音声データ等が挙げられる。
　まず、初期状態として、ニューラルネットワーク部２０に、学習対象データに紐付けられた教師情報のカテゴリの数に相当する数の学習セル２６を設定する。例えば、ニューラルネットワーク部２０に０～９の手書き文字を学習させる場合、教師情報のカテゴリは０～９の１０種類であり、カテゴリの数に相当する１０個の学習セル２６を設定する。各々の学習セル２６は、教師情報のカテゴリと紐付けておく。
　次いで、抽出部１０に、学習対象データを取り込む（ステップＳ１０１）。ここでは、学習対象データの一例として、図５の左側に示すような、手書きの「２」の文字を含む白黒の二次元画像を想定する。
　次いで、抽出部１０において、取り込んだ学習対象データから、学習対象データの特徴を示す要素値を抽出する（ステップＳ１０２）。要素値は、取り込んだ学習対象データの種類等に応じて適宜選択することができる。例えば、図５に示す学習対象データに対しては、右側の拡大図に示すように、取り込んだ画像を画素単位で分割し、１つの画素を１つの要素値に対応づけることができる。そして、白の画素に対応する要素値を０、黒の画素に対応する要素値を１と定義することができる。例えば、図５の例では、ｐ番目の画素に対応する要素値Ｉｐは１となり、ｑ番目の画素に対応する要素値Ｉｑは０となる。１つの学習対象データに対応する要素値が、要素値Ｉ１～ＩＭである。
　次いで、抽出部１０で抽出した要素値Ｉ１～ＩＭを、ニューラルネットワーク部２０に入力する。ニューラルネットワーク部２０に入力された要素値Ｉ１～ＩＭは、セル２２１～２２Ｍを介して、取り込んだ学習対象データの教師情報のカテゴリに紐付けられた学習セル２６に入力される。例えば、図５に示す学習対象データから抽出した要素値Ｉ１～ＩＭは、カテゴリ「２」に紐付けられた学習セル２６に入力される。
　次いで、要素値Ｉ１～ＩＭが入力された学習セル２６が、各入力ノードに重み付け係数ωが設定されていない状態、すなわち一度も学習を行っていない初期状態であるかどうかを判定する（ステップＳ１０３）。
　学習セル２６が初期状態である場合（ステップＳ１０３の「Ｙｅｓ」）には、ニューラルネットワーク部２０に入力された要素値Ｉ１～ＩＭの値を、当該学習セル２６の入力ノードの重み付け係数ωの初期値として設定する（ステップＳ１０４）。例えば、図５に示すように、カテゴリ「２」に紐付けられた学習対象データを取り込む場合、カテゴリ「２」に紐付けられた学習セル２６の入力ノードの各々に、要素値Ｉ１～ＩＭに対応する重み付け係数ωを設定する。例えば、図５の例では、学習セル２６ｊのｐ番目の画素に対応する入力ノードの重み付け係数ωｐｊは１となり、学習セル２６ｊのｑ番目の画素に対応する入力ノードの重み付け係数ωｑｊは０となる。
　一方、学習セル２６が初期状態ではない場合（ステップＳ１０３の「Ｎｏ」）には、要素値Ｉ１～ＩＭを当該学習セル２６に入力し、出力値Ｏを得る。この際、当該学習セル２６の入力ノードには重み付け係数ωが既に設定されているため、出力値Ｏは式（１）に基づいて算出される。
　次いで、当該学習セル２６の出力値Ｏに基づき、判定部３０において、要素値Ｉ１～ＩＭと学習セル２６の出力値Ｏとの間の相関値（ここでは、学習セルの出力値に関する尤度Ｐとする）を算出する（ステップＳ１０５）。尤度Ｐの算出方法は、特に限定されるものではない。例えば、学習セル２６ｊの尤度Ｐｊは、以下の式（２）に基づいて算出することができる。
Figure JPOXMLDOC01-appb-M000002
　式（２）は、尤度Ｐｊが、学習セル２６ｊの複数の入力ノードの重み付け係数ωｉｊの累積値に対する学習セル２６ｊの出力値Ｏｊの比率で表されることを示している。或いは、尤度Ｐｊが、複数の入力ノードの重み付け係数ωｉｊに基づく学習セル２６ｊの出力の最大値に対する、複数の要素値を入力したときの学習セル２６ｊの出力値の比率で表されることを示している。
　次いで、判定部３０において、算出した尤度Ｐの値と所定の閾値とを比較し、尤度Ｐの値が閾値以上であるか否かを判定する（ステップＳ１０６）。
　取り込んだ学習対象データの教師情報のカテゴリに紐付けられた学習セル２６のうち、尤度Ｐの値が閾値以上である学習セル２６が１つ以上存在した場合（ステップＳ１０６の「Ｙｅｓ」）には、ステップＳ１０７へと移行する。ステップＳ１０７では、当該カテゴリに紐付けられた学習セル２６のうち尤度Ｐの値が最も大きい学習セル２６の入力ノードの重み付け係数ωを更新する。学習セル２６ｊの入力ノードの重み付け係数ωｉｊは、例えば以下の式（３）に基づいて修正することができる。
　　ωｉｊ＝（ｉ番目の画素における黒の出現回数）／（学習回数）　　…（３）
　式（３）は、学習セル２６の複数の入力ノードの各々の重み付け係数ωが、対応する入力ノードから入力された要素値Ｉの累積平均値により決定されることを示している。このようにして、尤度Ｐの値が所定の閾値以上の学習対象データの情報を各入力ノードの重み付け係数ωに累積していくことにより、黒（１）の出現回数の多い画素に対応する入力ノードほど、重み付け係数ωの値が大きくなる。このような学習セル２６の学習アルゴリズムは、人の脳の学習原理として知られるヘブ則に近似したものである。
　一方、取り込んだ学習対象データの教師情報のカテゴリに紐付けられた学習セル２６のうち、尤度Ｐの値が閾値以上である学習セル２６が１つも存在しない場合（ステップＳ１０６の「Ｎｏ」）には、ステップＳ１０８へと移行する。ステップＳ１０８では、当該カテゴリに紐付けられた新たな学習セル２６を生成する。新たに生成した学習セル２６の各入力ノードには、学習セル２６が初期状態であった場合と同様、要素値Ｉ１～ＩＭの値を重み付け係数ωの初期値として設定する。
　例えば、学習対象データが手書き文字である場合、文字の傾きが異なるときなどに、教師情報のカテゴリが同じであるにもかかわらず尤度の値が閾値未満になることが想定される。同じカテゴリに紐付けられた学習セル２６を追加することにより、同じカテゴリに属する様々な態様の学習対象データを学習することが可能となり、認識率を高めることができる。
　尤度Ｐの判定に用いる閾値は、その値が大きいほど、認識率は高くなるが、学習セル２６の数も多くなり学習に時間を要する。逆に、閾値は、その値が小さいほど、認識率は低くなるが、学習セル２６の数は少なくなり学習に要する時間は短くなる。閾値の設定値は、学習対象データ及び識別対象データの種類や形態等に応じて、所望の認識率や学習時間が得られるように、適宜設定することが望ましい。
　このようにすることで、取り込んだ学習対象データに基づいて、ニューラルネットワーク部２０を学習することができる。
　次いで、上述したステップＳ１０１からステップＳ１０８までの処理を、総ての学習対象データに対して行い（ステップＳ１０９，Ｓ１１０）、ニューラルネットワーク部２０を繰り返し学習する。
　本実施形態による学習・識別装置１００を用いた学習方法は、深層学習などにおいて用いられている誤差逆伝播法（バック・プロパゲーション）を適用するものではなく、１パスでの学習が可能である。このため、ニューラルネットワーク部２０の学習処理を簡略化することができる。また、各々の学習セル２６は独立しているため、学習データの追加、削除、更新が容易である。
　次に、本実施形態による学習・識別装置１００を用いた識別対象データの識別方法について、図６を用いて説明する。
　まず、抽出部１０に、識別対象データを取り込む（ステップＳ２０１）。
　次いで、抽出部１０において、取り込んだ識別対象データから、識別対象データの特徴を示す要素値Ｉ１～ＩＭを抽出する（ステップＳ２０２）。要素値Ｉは、学習対象データと同様、取り込んだ識別対象データの種類等に応じて適宜選択することができる。
　次いで、抽出部１０で抽出した要素値Ｉ１～ＩＭを、上述のようにして学習を行ったニューラルネットワーク部２０に入力する。ニューラルネットワーク部２０に入力された要素値Ｉ１～ＩＭは、セル２２１～２２Ｍを介して、各学習セル２６に入力される。これにより、総ての学習セル２６から、要素値Ｉ１～ＩＭに応じた出力値Ｏを得る。
　次いで、学習セル２６から出力された出力値Ｏに基づき、識別部５０において、要素値Ｉ１～ＩＭと学習セル２６の出力値Ｏとの間の相関値（ここでは、学習セルの出力値に関する尤度Ｐとする）を算出する（ステップＳ２０３）。尤度Ｐの算出方法は、特に限定されるものではない。例えば、学習セル２６ｊの尤度Ｐｊは、前述の式（２）に基づいて算出することができる。なお、尤度Ｐを算出する機能は、学習セル２６の各々が備えていると考えることもできる。
　次いで、算出した総ての学習セル２６の尤度Ｐに基づいて、識別対象データの属するカテゴリを識別する（ステップＳ２０４）。識別対象データの属するカテゴリを識別する方法は、特に限定されるものではない。例えば、総ての学習セル２６のうち、最も尤度Ｐの大きい学習セル２６に紐付けられたカテゴリを、識別対象データの属するカテゴリと識別することができる。或いは、総ての学習セル２６の中から尤度Ｐの大きい順に所定の数の学習セル２６を抽出し、抽出した学習セル２６に対して最も多く紐付けられたカテゴリを、識別対象データの属するカテゴリと識別することができる。
　なお、識別対象データの属するカテゴリを識別した後、この識別対象データから抽出した要素値Ｉ１～ＩＭを用いて、ニューラルネットワーク部２０を学習するようにしてもよい。例えば、識別したカテゴリに紐付けられた学習セル２６のうち、最も尤度が大きかった学習セル２６の入力ノードの重み付け係数ωを、当該識別対象データから抽出した要素値Ｉ１～ＩＭを用いて更新することができる。すなわち、本実施形態による学習・識別装置１００は、いわゆるダイナミック学習を行うことが可能であり、識別対象データを用いた追加の学習処理を容易に行うことができる。
　次に、本実施形態による学習・識別装置１００のハードウェア構成例について、図７を用いて説明する。図７は、本実施形態による学習・識別装置のハードウェア構成例を示す概略図である。
　学習・識別装置１００は、図７に示すように、一般的な情報処理装置と同様のハードウェア構成によって実現することが可能である。例えば、学習・識別装置１００は、ＣＰＵ（Central　Processing　Unit）２００、主記憶部２０２、通信部２０４、入出力インターフェース部２０６を備える。
　ＣＰＵ２００は、学習・識別装置１００の全体的な制御や演算処理を司る制御・演算装置である。主記憶部２０２は、データの作業領域やデータの一時退避領域に用いられる記憶部であり、ＲＡＭ（Random　Access　Memory）等のメモリにより構成される。通信部２０４は、ネットワークを介してデータの送受信を行うためのインターフェースである。入出力インターフェース部２０６は、外部の出力装置２１０、入力装置２１２、記憶装置２１４等と接続してデータの送受信を行うためのインターフェースである。ＣＰＵ２００、主記憶部２０２、通信部２０４及び入出力インターフェース部２０６は、システムバス２０８によって相互に接続されている。記憶装置２１４は、例えばＲＯＭ（Read　Only　Memory）、磁気ディスク、半導体メモリ等の不揮発性メモリから構成されるハードディスク装置等で構成することができる。
　主記憶部２０２は、複数の学習セル２６を含むニューラルネットワーク部２０を構築し演算を実行するための作業領域として用いることができる。ＣＰＵは、主記憶部２０２に構築したニューラルネットワーク部２０における演算処理を制御する制御部として機能する。記憶装置２１４には、学習済みの学習セル２６に関する情報を含む学習セル情報を保存することができる。また、記憶装置２１４に記憶された学習セル情報を読み出し、主記憶部２０２においてニューラルネットワーク部を構築するように構成することで、様々な識別対象データの識別に利用することができる。ＣＰＵ２００は、主記憶部２０２に構築したニューラルネットワーク部における複数の学習セルにおける演算処理を並列して実行するように構成されていることが望ましい。
　通信部２０４は、イーサネット（登録商標）、Ｗｉ－Ｆｉ（登録商標）等の規格に基づく通信インターフェースであり、他の装置との通信を行うためのモジュールである。学習セル情報は、通信部２０４を介して他の装置から受信するようにしてもよい。例えば、頻繁に使用する学習セル情報は記憶装置２１４に記憶しておき、使用頻度の低い学習セル情報は他の装置から読み込むように構成することができる。
　入力装置２１２は、キーボード、マウス、タッチパネル等であって、ユーザが学習・識別装置１００に所定の情報を入力するために用いられる。また、入力装置２１２は、学習対象データや識別対象データを入力するための手段として用いることもできる。例えば、学習対象データや識別対象データが２次元画像の場合にあっては、入力装置２１２として画像読取装置を適用することができる。
　学習対象データや識別対象データは、記憶装置２１４から、或いは、通信部２０４を介して他の装置から読み込むように構成することもできる。出力装置２１０は、例えば液晶表示装置等のディスプレイを含む。学習結果や識別結果の通知は、出力装置２１０を介して行うことができる。
　本実施形態による学習・識別装置１００の各部の機能は、プログラムを組み込んだＬＳＩ（Large　Scale　Integration）等のハードウェア部品である回路部品を実装することにより、ハードウェア的に実現することができる。或いは、その機能を提供するプログラムを、記憶装置２１４に格納し、そのプログラムを主記憶部２０２にロードしてＣＰＵ２００で実行することにより、ソフトウェア的に実現することも可能である。
　このように、本実施形態によれば、より簡単なアルゴリズムにより学習が可能で認識率の高いニューラルネットワークを備えた学習・識別装置を実現することができる。
　［第２実施形態］
　本発明の第２実施形態による学習・識別装置について、図８及び図９を用いて説明する。第１実施形態による学習・識別装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。図８は、本実施形態による学習・識別装置の構成例を示す概略図である。図９は、学習対象データ及び識別対象データに対して行う前処理の一例を示す図である。
　本実施形態による学習・識別装置は、図８に示すように、抽出部１０が前処理部１２を更に有するほかは、第１実施形態による学習・識別装置１００と同様である。前処理部１２は、抽出部１０に入力された学習対象データ及び識別対象データに対して前処理を行う機能ブロックである。
　学習対象データ及び識別対象データに対して行う前処理は、学習対象データ及び識別対象データに対する識別率を向上するための処理であるが、その内容は特に限定されるものではない。このような前処理としては、例えば、正規化処理、プーリング処理、特徴抽出処理等が挙げられる。
　図９は、学習対象データ又は識別対象データが手書き文字を含む白黒の２次元画像である場合における正規化処理及びプーリング処理の例を示す概略図である。図９（ａ）は、前処理を行う前の学習対象データ又は識別対象データの一例を示している。図９（ｂ）及び図９（ｃ）は、図９（ａ）のデータに対して正規化処理を行った例である。ここで言う正規化処理とは、データの文字部分をデータエリアの全体に広げる処理である。図９（ｂ）は、文字のアスペクトを保持しつつ縦横同じ比率で文字部分を拡大した例である。図９（ｃ）は、文字のアスペクトを無視して縦横異なる比率で文字部分を拡大した例である。図９（ｄ）、図９（ｅ）及び図９（ｆ）は、図９（ｃ）のデータに対してプーリング処理を行った例である。ここで言うプーリング処理とは、複数の画素からなるブロックを１つの画素としてリサンプリングする処理である。図９（ｄ）は、２×２の画素ブロックを１つの画素に変換した例である。図９（ｅ）は、４×４の画素ブロックを１つの画素に変換した例である。図９（ｆ）は、７×７の画素ブロックを１つの画素に変換した例である。
　発明者が使用したシステムにおける検討結果では、６００００個のデータに対して、前処理を行わない場合（図９（ａ）に相当）の認識率は８９．４％であり、学習時間は３８３秒であった。これに対し、文字のアスペクトを保持して正規化を行った場合（図９（ｂ）に相当）の認識率は９５．１％であり、学習時間は４９５秒であった。また、文字のアスペクトを無視して正規化を行った場合（図９（ｃ）に相当）の認識率は９７．１％であり、学習時間は５６６秒であった。このように、データの正規化処理を行うと、学習時間は増加する傾向にあるが、認識率を大幅に向上することができる。
　一方、２×２の画素ブロックでプーリング処理を行った場合（図９（ｄ）に相当）の認識率は９６．５％、学習時間は１３５秒であった。４×４の画素ブロックでプーリング処理を行った場合（図９（ｅ）に相当）の認識率は８５．４％、学習時間は２１秒であった。また、７×７の画素ブロックでプーリング処理を行った場合（図９（ｆ）に相当）の認識率は３０．５％、学習時間は２秒であった。プーリング処理では、その度合いによって認識率は大幅に悪化するが、適切な度合いを選択することにより、認識率の向上と学習時間の短縮との双方を実現することができる。
　前処理部１２において行う処理は、正規化処理やプーリング処理のように、学習対象データや識別対象データに対して直接的に処理を施すものでなくてもよい。例えば、前処理部１２として、学習済みのディープラーニングモデルの特徴抽出部を利用することもできる。すなわち、学習済みのディープラーニングモデルから抽出した特徴量を、ニューラルネットワーク部２０に入力する要素値として用いることができる。
　前処理部１２において行う処理は、必ずしも１種類である必要はなく、２つ以上の処理を組み合わせて行うようにしてもよい。
　このように、本実施形態によれば、より簡単なアルゴリズムにより学習が可能で認識率の高いニューラルネットワークを備えた学習・識別装置を実現することができる。
　［第３実施形態］
　本発明の第３実施形態による学習装置について、図１０を用いて説明する。第１及び第２実施形態による学習・識別装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。図１０は、本実施形態による学習装置の構成例を示す概略図である。
　本実施形態による学習装置３００は、図１０に示すように、ニューラルネットワーク部２０と、学習部４０とを有している。
　ニューラルネットワーク部２０には、学習対象データに基づく複数の要素値が入力される。ニューラルネットワーク部２０は、複数の要素値の各々に所定の重み付けをする複数の入力ノードと、重み付けをした複数の要素値を加算して出力する出力ノードと、を各々が含む複数の学習セルを有する。
　学習部４０は、ニューラルネットワーク部２０の学習を行う。学習部は、学習セル２６の出力値に応じて、学習セル２６の複数の入力ノードの重み付け係数ωを更新し、又は、ニューラルネットワーク部２０に新たな学習セル２６を追加する。
　このように構成することで、より簡単なアルゴリズムにより学習が可能で認識率の高いニューラルネットワークを備えた学習装置を実現することができる。
　［第４実施形態］
　本発明の第４実施形態による識別装置について、図１１を用いて説明する。第１及び第２実施形態による学習・識別装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。図１１は、本実施形態による識別装置の構成例を示す概略図である。
　本実施形態による識別装置４００は、図１１に示すように、ニューラルネットワーク部２０と、識別部５０とを有している。
　ニューラルネットワーク部２０には、識別対象データに基づく複数の要素値が入力される。ニューラルネットワーク部２０は、複数の要素値の各々に所定の重み付けをする複数の入力ノードと、重み付けをした複数の要素値を加算して出力する出力ノードと、を各々が含む複数の学習セル２６を有する。複数の学習セル２６の各々は、教師情報を示す複数のカテゴリのうちのいずれかに紐付けられている。学習セル２６の複数の入力ノードは、複数の要素値の各々が対応するカテゴリに応じた所定の重みで入力されるように構成されている。
　識別部５０は、ニューラルネットワーク部２０の出力に基づき識別対象データを識別する。識別部５０は、学習セル２６の出力値と学習セルに紐付けられたカテゴリとに基づいて、識別対象データの属するカテゴリを識別する。
　このように構成することで、より簡単なアルゴリズムにより認識率の高いニューラルネットワークを備えた識別装置を実現することができる。
　［変形実施形態］
　本発明は、上記実施形態に限らず種々の変形が可能である。
　例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。
　また、上記実施形態では、学習対象データ及び識別対象データとして黒色の手書き文字を含む白黒の２次元画像を例示した。しかしながら、上述の構成では、例えば黒地に白色の文字が描かれた画像データの場合に適切に識別できない虞がある。このような場合には、１種類のカテゴリに対して複数種類の学習セル２６を設けるようにしてもよい。例えば、上述の例では、白の画素に対応する要素値を０、黒の画素に対応する要素値を１として学習を行う学習セル２６と、白の画素に対応する要素値を１、黒の画素に対応する要素値を０として学習を行う学習セル２６とを設定することができる。このように構成することにより、認識率を更に高めることができる。
　また、上記実施形態では、学習対象データから抽出した要素値を、当該学習対象データの教師情報のカテゴリに紐付けられた学習セル２６だけに入力する例を示したが、総ての学習セル２６に入力するように構成してもよい。この場合には、例えば、学習セル２６の入力ノードの重み付け係数ωに初期値を設定する際及び重み付け係数ωを更新する際に、取り込んだ学習対象データの教師情報のカテゴリに紐付けられた学習セル２６であることを条件とすればよい。
　また、上記実施形態では、教師情報を含む学習対象データを用いてニューラルネットワーク部２０の学習を行ったが、学習対象データは、必ずしも教師情報を含む必要はない。例えば、学習対象データから抽出した複数の要素値を総ての学習セル２６に入力し、尤度Ｐが最も大きくなる学習セル２６を学習するとともに、入力した学習対象データと尤度Ｐが最も大きくなる学習セル２６とを関連付ける。これにより、学習対象データが備える特徴に基づいてニューラルネットワーク部２０を学習するとともに、学習対象データを分類することができる。学習セル２６には、このようにして学習対象データを分類した後に、分類された学習対象データに応じたラベルを付するようにすればよい。
　また、上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記録媒体はもちろん、そのプログラム自体も各実施形態に含まれる。
　該記録媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ上で動作して処理を実行するものも各実施形態の範疇に含まれる。
　なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
　上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
　学習対象データに基づく複数の要素値が入力されるニューラルネットワーク部と、
　前記ニューラルネットワーク部の学習を行う学習部と、を有し、
　前記ニューラルネットワーク部は、前記複数の要素値の各々に所定の重み付けをする複数の入力ノードと、重み付けをした前記複数の要素値を加算して出力する出力ノードと、を各々が含む複数の学習セルを有し、
　前記学習部は、前記学習セルの出力値に応じて、前記学習セルの前記複数の入力ノードの重み付け係数を更新し、又は、前記ニューラルネットワーク部に新たな学習セルを追加する
　ことを特徴とする学習装置。
（付記２）
　前記学習部は、前記複数の要素値と前記学習セルの出力値との間の相関値が所定の閾値未満の場合に、前記新たな学習セルを追加する
　ことを特徴とする付記１記載の学習装置。
（付記３）
　前記学習部は、前記複数の要素値の各々を、前記新たな学習セルの複数の入力ノードの各々の重み付け係数の初期値として設定する
　ことを特徴とする付記２記載の学習装置。
（付記４）
　前記学習部は、前記複数の要素値と前記学習セルの出力値との間の相関値が所定の閾値以上の場合に、前記学習セルの前記複数の入力ノードの前記重み付け係数を更新する
　ことを特徴とする付記１記載の学習装置。
（付記５）
　前記学習部は、前記相関値が前記閾値以上である前記学習セルが複数存在する場合に、前記相関値が最も大きい前記学習セルの前記複数の入力ノードの前記重み付け係数を更新する
　ことを特徴とする付記４記載の学習装置。
（付記６）
　前記複数の学習セルの各々は、教師情報を示す複数のカテゴリのうちのいずれかに紐付けられており、
　前記学習部は、入力された前記学習対象データが属するカテゴリに紐付けられた前記学習セルの前記重み付け係数を更新する
　ことを特徴とする付記４又は５記載の学習装置。
（付記７）
　前記学習部は、前記学習セルの前記複数の入力ノードの各々の前記重み付け係数を、対応する前記入力ノードから入力された前記要素値に基づいて更新する
　ことを特徴とする付記４乃至６のいずれか１項に記載の学習装置。
（付記８）
　前記相関値は、前記学習セルの前記出力値に関する尤度である
　ことを特徴とする付記２乃至７のいずれか１項に記載の学習装置。
（付記９）
　前記尤度は、前記複数の入力ノードの各々に設定されている重み付け係数に応じた前記学習セルの出力の最大値に対する前記複数の要素値を入力したときの前記学習セルの前記出力値の比率である
　ことを特徴とする付記８記載の学習装置。
（付記１０）
　所定の前処理を行った後の前記学習対象データから前記複数の要素値を抽出する抽出部を更に有する
　ことを特徴とする付記１乃至９のいずれか１項に記載の学習装置。
（付記１１）
　前記前処理は、正規化処理、プーリング処理又は特徴抽出処理である
　ことを特徴とする付記１０記載の学習装置。
（付記１２）
　前記複数の学習セルを含む前記ニューラルネットワーク部を構築し演算を実行するための作業領域となる記憶部と、前記ニューラルネットワーク部における演算処理を制御する制御部と、を更に有し、
　前記制御部は、前記記憶部に構築した前記ニューラルネットワーク部における前記複数の要素値に対する前記複数の学習セルにおける演算処理を並列して実行する
　ことを特徴とする付記１乃至１１のいずれか１項に記載の学習装置。
（付記１３）
　識別対象データに基づく複数の要素値が入力されるニューラルネットワーク部と、
　前記ニューラルネットワーク部の出力に基づき前記識別対象データを識別する識別部と、を有し、
　前記ニューラルネットワーク部は、前記複数の要素値の各々に所定の重み付けをする複数の入力ノードと、重み付けをした前記複数の要素値を加算して出力する出力ノードと、を各々が含む複数の学習セルを有し、
　前記複数の学習セルの各々は、教師情報を示す複数のカテゴリのうちのいずれかに紐付けられており、
　前記学習セルの前記複数の入力ノードは、前記複数の要素値の各々が対応するカテゴリに応じた所定の重みで入力されるように構成されており、
　前記識別部は、前記学習セルの出力値と前記学習セルに紐付けられたカテゴリとに基づいて、前記識別対象データの属するカテゴリを識別する
　ことを特徴とする識別装置。
（付記１４）
　前記識別部は、前記複数の要素値と前記学習セルの出力値との間の相関値が最も大きい前記学習セルに紐付けられたカテゴリを、前記識別対象データの属するカテゴリを識別する
　ことを特徴とする付記１３記載の識別装置。
（付記１５）
　前記識別部は、前記複数の学習セルの中から、前記複数の要素値の値と前記学習セルの出力値との間の相関値が大きい順に所定の数の前記学習セルを抽出し、抽出した前記学習セルに対して最も多く紐付けられたカテゴリを、前記識別対象データの属するカテゴリを識別する
　ことを特徴とする付記１３記載の識別装置。
（付記１６）
　前記複数の要素値を用いて前記学習セルの前記複数の入力ノードの各々の重み付け係数を更新する学習部を更に有する
　ことを特徴とする付記１３乃至１５のいずれか１項に記載の識別装置。
（付記１７）
　学習対象データに基づく複数の要素値が入力される複数の入力ノードと、前記複数の要素値の各々に対して所定の重みで加算して出力する出力ノードと、を各々が含む複数の学習セルを有するニューラルネットワーク部を有する学習装置の学習方法であって、
　学習対象データに基づく複数の要素値を、前記学習セルの前記複数の入力ノードに入力し、
　前記学習セルの出力値に応じて、前記学習セルの前記複数の入力ノードの重み付け係数を更新し、又は、前記ニューラルネットワーク部に新たな学習セルを追加することにより、前記ニューラルネットワーク部を学習する
　ことを特徴とする学習方法。
（付記１８）
　識別対象データに基づく複数の要素値が入力される複数の入力ノードと、前記複数の要素値に対して所定の重み付けをして加算して出力する出力ノードと、を各々が含み、各々が教師情報を示す複数のカテゴリのうちのいずれかに紐付けられた複数の学習セルを有するニューラルネットワーク部を有する識別装置を用いた識別方法であって、
　識別対象データに基づく複数の要素値を、前記複数の学習セルの前記複数の入力ノードに入力し、
　前記学習セルの出力値と前記学習セルに紐付けられたカテゴリとに基づいて、前記識別対象データの属するカテゴリを識別する
　ことを特徴とする識別方法。
（付記１９）
　学習対象データに基づいて学習を行う学習装置において実行されるプログラムであって、コンピュータを、
　学習対象データに基づく複数の要素値が入力される複数の入力ノードと、重み付けをした前記複数の要素値を加算して出力する出力ノードと、を各々が含む複数の学習セルを有するニューラルネットワーク部、
　前記学習セルの出力値に応じて、前記学習セルの前記複数の入力ノードの重み付け係数を更新し、又は、前記ニューラルネットワーク部に新たな学習セルを追加する手段、
　として機能させるプログラム。
（付記２０）
　識別対象データに基づいて識別を行う識別装置において実行されるプログラムであって、コンピュータを、
　識別対象データに基づく複数の要素値が入力される複数の入力ノードと、重み付けをした前記複数の要素値を加算して出力する出力ノードと、を各々が含み、各々が教師情報を示す複数のカテゴリのうちのいずれかに紐付けられた複数の学習セルを有するニューラルネットワーク部、
　前記学習セルの出力値と前記学習セルに紐付けられたカテゴリとに基づいて、前記識別対象データの属するカテゴリを識別する手段、
　として機能させるプログラム。
（付記２１）
　付記１９又は２０に記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。
　この出願は、２０１７年１１月２２日に出願された日本出願特願２０１７－２２４３２９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１０…抽出部
１２…前処理部
２０…ニューラルネットワーク部
２２，２４…セル
２６…学習セル
３０…判定部
４０…学習部
４２…重み修正部
４４…学習セル生成部
５０…識別部
６０…出力部
１００…学習・識別装置
２００…ＣＰＵ
２０２…主記憶部
２０４…通信部
２０６…入出力インターフェース部
２０８…システムバス
２１０…出力装置
２１２…入力装置
２１４…記憶装置
３００…学習装置
４００…識別装置

Claims (21)

  1. 　学習対象データに基づく複数の要素値が入力されるニューラルネットワーク部と、
    　前記ニューラルネットワーク部の学習を行う学習部と、を有し、
    　前記ニューラルネットワーク部は、前記複数の要素値の各々に所定の重み付けをする複数の入力ノードと、重み付けをした前記複数の要素値を加算して出力する出力ノードと、を各々が含む複数の学習セルを有し、
    　前記学習部は、前記学習セルの出力値に応じて、前記学習セルの前記複数の入力ノードの重み付け係数を更新し、又は、前記ニューラルネットワーク部に新たな学習セルを追加する
    　ことを特徴とする学習装置。
  2. 　前記学習部は、前記複数の要素値と前記学習セルの出力値との間の相関値が所定の閾値未満の場合に、前記新たな学習セルを追加する
    　ことを特徴とする請求項１記載の学習装置。
  3. 　前記学習部は、前記複数の要素値の各々を、前記新たな学習セルの複数の入力ノードの各々の重み付け係数の初期値として設定する
    　ことを特徴とする請求項２記載の学習装置。
  4. 　前記学習部は、前記複数の要素値と前記学習セルの出力値との間の相関値が所定の閾値以上の場合に、前記学習セルの前記複数の入力ノードの前記重み付け係数を更新する
    　ことを特徴とする請求項１記載の学習装置。
  5. 　前記学習部は、前記相関値が前記閾値以上である前記学習セルが複数存在する場合に、前記相関値が最も大きい前記学習セルの前記複数の入力ノードの前記重み付け係数を更新する
    　ことを特徴とする請求項４記載の学習装置。
  6. 　前記複数の学習セルの各々は、教師情報を示す複数のカテゴリのうちのいずれかに紐付けられており、
    　前記学習部は、入力された前記学習対象データが属するカテゴリに紐付けられた前記学習セルの前記重み付け係数を更新する
    　ことを特徴とする請求項４又は５記載の学習装置。
  7. 　前記学習部は、前記学習セルの前記複数の入力ノードの各々の前記重み付け係数を、対応する前記入力ノードから入力された前記要素値に基づいて更新する
    　ことを特徴とする請求項４乃至６のいずれか１項に記載の学習装置。
  8. 　前記相関値は、前記学習セルの前記出力値に関する尤度である
    　ことを特徴とする請求項２乃至７のいずれか１項に記載の学習装置。
  9. 　前記尤度は、前記複数の入力ノードの各々に設定されている重み付け係数に応じた前記学習セルの出力の最大値に対する前記複数の要素値を入力したときの前記学習セルの前記出力値の比率である
    　ことを特徴とする請求項８記載の学習装置。
  10. 　所定の前処理を行った後の前記学習対象データから前記複数の要素値を抽出する抽出部を更に有する
    　ことを特徴とする請求項１乃至９のいずれか１項に記載の学習装置。
  11. 　前記前処理は、正規化処理、プーリング処理又は特徴抽出処理である
    　ことを特徴とする請求項１０記載の学習装置。
  12. 　前記複数の学習セルを含む前記ニューラルネットワーク部を構築し演算を実行するための作業領域となる記憶部と、前記ニューラルネットワーク部における演算処理を制御する制御部と、を更に有し、
    　前記制御部は、前記記憶部に構築した前記ニューラルネットワーク部における前記複数の要素値に対する前記複数の学習セルにおける演算処理を並列して実行する
    　ことを特徴とする請求項１乃至１１のいずれか１項に記載の学習装置。
  13. 　識別対象データに基づく複数の要素値が入力されるニューラルネットワーク部と、
    　前記ニューラルネットワーク部の出力に基づき前記識別対象データを識別する識別部と、を有し、
    　前記ニューラルネットワーク部は、前記複数の要素値の各々に所定の重み付けをする複数の入力ノードと、重み付けをした前記複数の要素値を加算して出力する出力ノードと、を各々が含む複数の学習セルを有し、
    　前記複数の学習セルの各々は、教師情報を示す複数のカテゴリのうちのいずれかに紐付けられており、
    　前記学習セルの前記複数の入力ノードは、前記複数の要素値の各々が対応するカテゴリに応じた所定の重みで入力されるように構成されており、
    　前記識別部は、前記学習セルの出力値と前記学習セルに紐付けられたカテゴリとに基づいて、前記識別対象データの属するカテゴリを識別する
    　ことを特徴とする識別装置。
  14. 　前記識別部は、前記複数の要素値と前記学習セルの出力値との間の相関値が最も大きい前記学習セルに紐付けられたカテゴリを、前記識別対象データの属するカテゴリを識別する
    　ことを特徴とする請求項１３記載の識別装置。
  15. 　前記識別部は、前記複数の学習セルの中から、前記複数の要素値の値と前記学習セルの出力値との間の相関値が大きい順に所定の数の前記学習セルを抽出し、抽出した前記学習セルに対して最も多く紐付けられたカテゴリを、前記識別対象データの属するカテゴリを識別する
    　ことを特徴とする請求項１３記載の識別装置。
  16. 　前記複数の要素値を用いて前記学習セルの前記複数の入力ノードの各々の重み付け係数を更新する学習部を更に有する
    　ことを特徴とする請求項１３乃至１５のいずれか１項に記載の識別装置。
  17. 　学習対象データに基づく複数の要素値が入力される複数の入力ノードと、前記複数の要素値の各々に対して所定の重みで加算して出力する出力ノードと、を各々が含む複数の学習セルを有するニューラルネットワーク部を有する学習装置の学習方法であって、
    　学習対象データに基づく複数の要素値を、前記学習セルの前記複数の入力ノードに入力し、
    　前記学習セルの出力値に応じて、前記学習セルの前記複数の入力ノードの重み付け係数を更新し、又は、前記ニューラルネットワーク部に新たな学習セルを追加することにより、前記ニューラルネットワーク部を学習する
    　ことを特徴とする学習方法。
  18. 　識別対象データに基づく複数の要素値が入力される複数の入力ノードと、前記複数の要素値に対して所定の重み付けをして加算して出力する出力ノードと、を各々が含み、各々が教師情報を示す複数のカテゴリのうちのいずれかに紐付けられた複数の学習セルを有するニューラルネットワーク部を有する識別装置を用いた識別方法であって、
    　識別対象データに基づく複数の要素値を、前記複数の学習セルの前記複数の入力ノードに入力し、
    　前記学習セルの出力値と前記学習セルに紐付けられたカテゴリとに基づいて、前記識別対象データの属するカテゴリを識別する
    　ことを特徴とする識別方法。
  19. 　学習対象データに基づいて学習を行う学習装置において実行されるプログラムであって、コンピュータを、
    　学習対象データに基づく複数の要素値が入力される複数の入力ノードと、重み付けをした前記複数の要素値を加算して出力する出力ノードと、を各々が含む複数の学習セルを有するニューラルネットワーク部、
    　前記学習セルの出力値に応じて、前記学習セルの前記複数の入力ノードの重み付け係数を更新し、又は、前記ニューラルネットワーク部に新たな学習セルを追加する手段、
    　として機能させるプログラム。
  20. 　識別対象データに基づいて識別を行う識別装置において実行されるプログラムであって、コンピュータを、
    　識別対象データに基づく複数の要素値が入力される複数の入力ノードと、重み付けをした前記複数の要素値を加算して出力する出力ノードと、を各々が含み、各々が教師情報を示す複数のカテゴリのうちのいずれかに紐付けられた複数の学習セルを有するニューラルネットワーク部、
    　前記学習セルの出力値と前記学習セルに紐付けられたカテゴリとに基づいて、前記識別対象データの属するカテゴリを識別する手段、
    　として機能させるプログラム。
  21. 　請求項１９又は２０に記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。
PCT/JP2018/042781 2017-11-22 2018-11-20 学習装置及び学習方法、識別装置及び識別方法、プログラム並びに記録媒体 WO2019102984A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/648,807 US11599791B2 (en) 2017-11-22 2018-11-20 Learning device and learning method, recognition device and recognition method, program, and storage medium
JP2019555305A JP6908302B2 (ja) 2017-11-22 2018-11-20 学習装置、識別装置及びプログラム
CN201880074223.9A CN111373418A (zh) 2017-11-22 2018-11-20 学习设备和学习方法、识别设备和识别方法、程序和记录介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-224329 2017-11-22
JP2017224329 2017-11-22

Publications (1)

Publication Number Publication Date
WO2019102984A1 true WO2019102984A1 (ja) 2019-05-31

Family

ID=66631047

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/042781 WO2019102984A1 (ja) 2017-11-22 2018-11-20 学習装置及び学習方法、識別装置及び識別方法、プログラム並びに記録媒体

Country Status (4)

Country Link
US (1) US11599791B2 (ja)
JP (1) JP6908302B2 (ja)
CN (1) CN111373418A (ja)
WO (1) WO2019102984A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022540870A (ja) * 2019-07-08 2022-09-20 ヴィアナイ システムズ， インコーポレイテッド ニューラルネットワークアーキテクチャを指定するプログラムコードを定義及び実行する技術

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019102984A1 (ja) * 2017-11-22 2019-05-31 Ｎｅｃソリューションイノベータ株式会社 学習装置及び学習方法、識別装置及び識別方法、プログラム並びに記録媒体
US10885674B1 (en) 2018-08-21 2021-01-05 Perceive Corporation Training network for compressive sensing based image processing
US11922314B1 (en) * 2018-11-30 2024-03-05 Ansys, Inc. Systems and methods for building dynamic reduced order physical models
KR20200072307A (ko) * 2018-12-12 2020-06-22 삼성전자주식회사 뉴럴 네트워크에서의 부하 균형을 위한 장치 및 방법
JP6787444B1 (ja) * 2019-05-23 2020-11-18 沖電気工業株式会社 ニューラルネットワーク軽量化装置、ニューラルネットワーク軽量化方法およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09259101A (ja) * 1996-03-22 1997-10-03 Nec Corp カテゴリ分類方法
US20160189010A1 (en) * 2014-12-30 2016-06-30 Facebook, Inc. Systems and methods for image object recognition based on location information and object categories

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0991263A (ja) 1995-09-20 1997-04-04 Hitachi Medical Corp ニューラルネットワーク構造最適化装置ならびに方法
JP2001051968A (ja) 1999-08-05 2001-02-23 Fuji Xerox Co Ltd ニューラルネットワーク構築方法及びニューラルネットワーク処理装置
JP2002251601A (ja) 2001-02-22 2002-09-06 Fuji Xerox Co Ltd ニューラルネットワーク処理装置
JP2003317073A (ja) 2002-04-24 2003-11-07 Fuji Xerox Co Ltd ニューラルネットワーク処理装置
US8301356B2 (en) * 2008-10-06 2012-10-30 GM Global Technology Operations LLC Engine out NOx virtual sensor using cylinder pressure sensor
JP2017194782A (ja) * 2016-04-19 2017-10-26 ソニー株式会社 情報処理装置及び情報処理方法
WO2018023356A1 (en) * 2016-08-01 2018-02-08 Microsoft Technology Licensing, Llc Machine translation method and apparatus
US10949736B2 (en) * 2016-11-03 2021-03-16 Intel Corporation Flexible neural network accelerator and methods therefor
JP7005191B2 (ja) * 2017-06-30 2022-01-21 キヤノンメディカルシステムズ株式会社 画像処理装置、医用画像診断装置、及びプログラム
DE102017219365B4 (de) * 2017-10-27 2023-03-30 Zf Friedrichshafen Ag Vorrichtung und Verfahren zur adaptiven Fahrzeugregelung
WO2019102984A1 (ja) * 2017-11-22 2019-05-31 Ｎｅｃソリューションイノベータ株式会社 学習装置及び学習方法、識別装置及び識別方法、プログラム並びに記録媒体
JP6970949B2 (ja) * 2018-06-11 2021-11-24 Ｎｅｃソリューションイノベータ株式会社 行動学習装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09259101A (ja) * 1996-03-22 1997-10-03 Nec Corp カテゴリ分類方法
US20160189010A1 (en) * 2014-12-30 2016-06-30 Facebook, Inc. Systems and methods for image object recognition based on location information and object categories

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022540870A (ja) * 2019-07-08 2022-09-20 ヴィアナイ システムズ， インコーポレイテッド ニューラルネットワークアーキテクチャを指定するプログラムコードを定義及び実行する技術
JP7233600B2 (ja) 2019-07-08 2023-03-06 ヴィアナイ システムズ， インコーポレイテッド ニューラルネットワークアーキテクチャを指定するプログラムコードを定義及び実行する技術
US11610134B2 (en) 2019-07-08 2023-03-21 Vianai Systems, Inc. Techniques for defining and executing program code specifying neural network architectures

Also Published As

Publication number Publication date
US20200285957A1 (en) 2020-09-10
CN111373418A (zh) 2020-07-03
US11599791B2 (en) 2023-03-07
JP6908302B2 (ja) 2021-07-21
JPWO2019102984A1 (ja) 2020-07-09

Similar Documents

Publication Publication Date Title
WO2019102984A1 (ja) 学習装置及び学習方法、識別装置及び識別方法、プログラム並びに記録媒体
US11741361B2 (en) Machine learning-based network model building method and apparatus
CN111695415B (zh) 图像识别方法及相关设备
JP4618098B2 (ja) 画像処理システム
JP7266674B2 (ja) 画像分類モデルの訓練方法、画像処理方法及び装置
JP5144123B2 (ja) 情報処理方法、情報処理装置
US11449734B2 (en) Neural network reduction device, neural network reduction method, and storage medium
CN113011529B (zh) 文本分类模型的训练方法、装置、设备及可读存储介质
CN111428645A (zh) 人体关键点的检测方法、装置、电子设备及存储介质
CN111694954B (zh) 图像分类方法、装置和电子设备
CN113642400A (zh) 基于2s-agcn的图卷积动作识别方法、装置及设备
CN111144296B (zh) 基于改进cnn模型的视网膜眼底图片分类方法
CN109033304B (zh) 基于在线深层主题模型的多模态检索方法
WO2020065908A1 (ja) パターン認識装置、パターン認識方法およびパターン認識プログラム
CN109101984B (zh) 一种基于卷积神经网络的图像识别方法及装置
US20130007019A1 (en) Logic operation system
CN111783936A (zh) 卷积神经网络构建方法、装置、设备及介质
Budhi et al. Comparison of bidirectional associative memory, counterpropagation and evolutionary neural network for Java characters recognition
JP7073171B2 (ja) 学習装置、学習方法及びプログラム
Zheng et al. Functional gradient ascent for Probit regression
WO2021059527A1 (ja) 学習装置、学習方法、及び、記録媒体
JP5284530B2 (ja) 情報処理方法、情報処理装置
CN109308565B (zh) 人群绩效等级识别方法、装置、存储介质及计算机设备
JP2012173795A (ja) クラス分類装置、クラス分類方法、及びクラス分類プログラム
JP2020030702A (ja) 学習装置、学習方法及び学習プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18880267

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019555305

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18880267

Country of ref document: EP

Kind code of ref document: A1