JP6569755B1 - ニューラルネットワーク装置、信号生成方法およびプログラム - Google Patents

Abstract

【課題】ニューラルネットワークにおける積和演算にニューロモルフィック素子を使用する場合に、演算時間の増加を抑制する。
【解決手段】入力信号の離散値を、予め定められた閾値に基づいて入力信号の量子化段階数よりも少ない段階数の離散値に変換することにより間引き信号を生成する間引き部と、間引き部が生成する間引き信号の離散値をパルス幅変調することにより、間引き信号の離散値をパルス幅によって示すパルス幅変調信号を生成する変調部と、可変な特性の値に応じた重みを、変調部が生成するパルス幅変調信号に対して乗算することにより、パルス幅変調信号が重み付けされた重み付け信号を出力するニューロモルフィック素子を含む重み付け部と、を備えるニューラルネットワーク装置。
【選択図】図１

Description

本発明は、ニューラルネットワーク装置、信号生成方法およびプログラムに関する。

従来から、ニューラルネットワークの技術が検討されている。
深層学習をはじめ、ニューラルネット技術を用いた高度な情報の識別技術、分類技術が金融、マーケティング、認証、セキュリティなどの広い分野で実用化されている。このような技術では、通常、膨大な量の積和演算が必要であり、クラウドサーバあるいは巨大な計算機を用いて実行される場合が多い。

近年、アナログ的にコンダクタンス（抵抗の逆数）が変化するニューロモルフィック（Ｎｅｕｒｏｍｏｒｐｈｉｃ）素子を利用して、上述の積和演算を低電力で高速に実行することが可能な新たな演算機構が研究されている。これらは、人間の脳の認識プロセスにおけるニューロンとシナプスの関係を模倣することで低消費電力、高速な信号処理を実現しようとするもので、ニューラルネットワークの構造をスタティックなネットワークモデルとして模倣する技術、あるいは、スパイク信号のタイミングからニューロンの発火モデルを実現しようとする技術など、幅広い研究が行われている。

一例として、特許文献１では、スパイク型のニューラルネットワークにおいて、実数値シミュレーションによって求められた重み（結合重み）を、離散値シナプス・デバイスを含むニューラルネットワークの回路チップにロードする手法が開示されており、当該回路チップはニューロモルフィック素子を含む（特許文献１参照。）。

しかしながら、ニューロモルフィック素子をニューラルネットワークに適用する場合、通常、入力信号はパルス幅変調（ＰＷＭ）されるため、課題の一つとして、入力信号の分解能を高くすると、この分解能に応じてニューロモルフィック素子による演算時間が増加するという課題がある。一方、入力信号を電圧や電流値に変調させるニューロモルフィック素子の場合、一般にニューロモルフィック素子に高い電圧を印加すると素子の抵抗値そのものが変化したり、素子のブレークダウンを起こしたりするため、非常に限られた電圧範囲の中を多くのステップで分圧することが必要になる。その結果、パルス電圧の高精度な制御や電流検出回路の構成分解能化が必要になってしまう課題がある。

国際公開第２０１２／０５５５９３号

上述のように、ニューラルネットワークにおける積和演算にニューロモルフィック素子を使用する場合、当該ニューロモルフィック素子に対する入力信号の分解能の高さに起因して、演算時間が増加するという課題があった。

本発明は、このような事情を考慮してなされたもので、ニューラルネットワークにおける積和演算にニューロモルフィック素子を使用する場合に、演算時間の増加を抑制することができるニューラルネットワーク装置、信号生成方法およびプログラムを提供することを課題とする。また、本発明は、電圧値や電流値を変調させた入力信号をとるニューロモルフィック素子を使用する場合は、回路の簡素化が期待される。

本発明の一態様は、入力信号の離散値を、予め定められた閾値に基づいて前記入力信号の量子化段階数よりも少ない段階数の離散値に変換することにより間引き信号を生成する間引き部と、前記間引き部が生成する前記間引き信号の離散値をパルス幅変調することにより、前記間引き信号の離散値をパルス幅によって示すパルス幅変調信号を生成する変調部と、可変な特性の値に応じた重みを、前記変調部が生成する前記パルス幅変調信号に対して乗算することにより、前記パルス幅変調信号が重み付けされた重み付け信号を出力するニューロモルフィック素子を含む重み付け部と、を備えるニューラルネットワーク装置である。

本発明の一態様は、上述のニューラルネットワーク装置において、前記閾値が、前記重み付け部が出力する前記重み付け信号の重み付け結果に基づいて定められている。

本発明の一態様は、上述のニューラルネットワーク装置において、前記間引き部は、複数の前記入力信号について、それぞれに対応する前記間引き信号を生成し、前記変調部は、前記間引き部が生成する複数の前記間引き信号にそれぞれ対応する前記パルス幅変調信号を、信号波形の変化タイミングを互いに異ならせて生成する。

本発明の一態様は、上述のニューラルネットワーク装置において、前記閾値は、前記入力信号の量子化段階数を不等幅にして分割する。

本発明の一態様は、上述のニューラルネットワーク装置において、前記間引き部は、前記入力信号の量子化段階数を２分割することにより二値の前記間引き信号を生成し、前記変調部は、前記間引き信号に応じた二値の前記パルス幅変調信号を生成し、前記重み付け部は、二値の前記パルス幅変調信号が重み付けられた前記重み付け信号を出力し、前記重み付け部が出力する前記重み付け信号の電流の大きさを検出する電流検出部をさらに備える。

本発明の一態様は、上述のニューラルネットワーク装置において、前記間引き部による前記間引き信号の生成に用いられる前記閾値を取得する閾値取得部をさらに備える。

本発明の一態様は、上述のニューラルネットワーク装置において、前記閾値が、前記入力信号に基づいて可変にして定められている。

本発明の一態様は、上述のニューラルネットワーク装置において、前記間引き部が生成する前記間引き信号の離散値の段階数が、前記入力信号の量子化段階数よりも少ない段階数の範囲において、前記入力信号の値に基づいて可変にして定められている。

本発明の一態様は、入力信号の離散値を、予め定められた閾値に基づいて前記入力信号の量子化段階数よりも少ない段階数の離散値に変換することにより間引き信号を生成する間引きステップと、前記間引きステップにおいて生成される前記間引き信号の離散値をパルス幅変調することにより、前記間引き信号の離散値をパルス幅によって示すパルス幅変調信号を生成する変調ステップと、ニューロモルフィック素子が、可変な特性の値に応じた重みを、前記変調ステップにおいて生成される前記パルス幅変調信号に対して乗算することにより、前記パルス幅変調信号が重み付けされた重み付け信号を出力する重み付けステップと、を有する信号生成方法である。

本発明の一態様は、ニューラルネットワーク装置が備えるコンピュータに、入力信号の離散値を、予め定められた閾値に基づいて前記入力信号の量子化段階数よりも少ない段階数の離散値に変換することにより間引き信号を生成する間引きステップと、前記間引きステップにおいて生成される前記間引き信号の離散値をパルス幅変調することにより、前記間引き信号の離散値をパルス幅によって示すパルス幅変調信号を生成する変調ステップと、可変な特性の値に応じた重みを、前記変調ステップにおいて生成される前記パルス幅変調信号に対して乗算することにより、前記パルス幅変調信号が重み付けされた重み付け信号を出力するニューロモルフィック素子に対して、前記パルス幅変調信号を供給することにより前記重み付け信号を出力させる重み付けステップと、を実行させるためのプログラムである。

本発明によれば、ニューラルネットワークにおける積和演算にニューロモルフィック素子を使用する場合に、演算時間の増加を抑制することができる。

本発明の実施形態に係るニューラルネットワークシステムの概略的な構成を示すブロック図である。 本発明の実施形態に係るニューラルネットワーク回路の概略的な構成を示すブロック図である。 本発明の実施形態に係る素子アレイの概念的な構成を示すブロック図である。 本発明の実施形態に係る識別対象の画像の例を示す図である。 本発明の実施形態に係るパラメーターα、βに関する特性の一例を示す図である。 本発明の実施形態に係る重みの学習の結果の一例を示す図である。 本発明の実施形態に係るニューロモルフィック素子に設定されるダイナミックレンジに応じた識別精度の一例を示す図である。 すべての層について同じダイナミックレンジをニューロモルフィック素子に設定した場合における結果の一例を示す図である。 本発明の実施形態に係る各層について異なるダイナミックレンジをニューロモルフィック素子に設定した場合における結果の一例を示す図である。 すべての層について同じダイナミックレンジをニューロモルフィック素子に設定した場合における結果の他の例を示す図である。 本発明の実施形態に係る各層について異なるダイナミックレンジをニューロモルフィック素子に設定した場合における結果の他の例を示す図である。 本発明の実施形態に係るニューロモルフィック素子に設定されるダイナミックレンジのオフセット量に応じた識別精度の一例を示す図である。 本発明の実施形態に係るニューラルネットワーク回路において行われる処理の手順の一例を示す図である。 本発明の第２の実施形態に係るニューラルネットワーク装置の概略的な構成を示す図である。 本実施形態の間引き回路が参照する閾値の一例を示す図である。 本実施形態の間引き回路による離散値変換の一例を示す図である。 本実施形態のＰＷＭ変調回路によるパルス幅変調の一例を示す図である。 本実施形態のニューロモルフィックデバイスの構成の一例を示す図である。 本実施形態のニューロモルフィックデバイスに供給されるパルス幅変調信号の一例を示す図である。 本実施形態のニューロモルフィックデバイスに供給されるパルス幅変調信号の変形例を示す図である。 本実施形態の間引き回路が参照する閾値の変形例を示す図である。 本実施形態の間引き回路による離散値変換の変形例を示す図である。 本実施形態の間引き回路が参照する閾値の第２の変形例を示す図である。 本実施形態の間引き回路による離散値変換の第２の変形例を示す図である。 本実施形態のＰＷＭ変調回路によるパルス幅変調の変形例を示す図である。 本実施形態のニューロモルフィックデバイスに供給されるパルス幅変調信号の変形例を示す図である。 従来のニューラルネットワーク装置の構成の一例を示す図である。

［第１の実施形態］
以下、図面を参照し、本発明の第１の実施形態について説明する。

［ニューラルネットワークシステムの概要］
図１は、本発明の実施形態に係るニューラルネットワークシステム１の概略的な構成を示すブロック図である。
ニューラルネットワークシステム１は、制御装置１１と、素子アレイ部１２を備える。
制御装置１１は、識別制御部２１と、重み演算制御部２２と、重み割り当て制御部２３と、記憶部２４を備える。

素子アレイ部１２は、ニューラルネットワークにおける積和演算を行う。素子アレイ部１２は、ニューロモルフィック素子を含む。
制御装置１１は、素子アレイ部１２に関する制御を行う。
識別制御部２１は、ニューラルネットワークにおける識別の処理を制御する。
重み演算制御部２２は、ニューロモルフィック素子に割り当てられる重みの演算（計算）の処理を制御する。
重み割り当て制御部２３は、ニューロモルフィック素子に対して重みを割り当てる。
記憶部２４は、情報を記憶する。本実施形態では、説明の便宜上、１個の記憶部２４を示したが、他の構成例として、制御装置１１が２個以上の記憶部を備えてそれぞれの記憶部を使い分けてもよい。

図２は、本発明の実施形態に係るニューラルネットワーク回路１０１の概略的な構成を示すブロック図である。
図２に示されるニューラルネットワーク回路１０１は、図１に示されるニューラルネットワークシステム１の機能を実装した回路の一例である。
ニューラルネットワーク回路１０１は、識別用制御回路１１１と、重み演算制御回路１１２と、重み割り当て制御回路１１３と、素子アレイ１２１と、入出力インタフェース回路（入出力ＩＦ回路）１２２と、入出力インタフェース回路（入出力ＩＦ回路）１２３を備える。

図１および図２の例では、識別用制御回路１１１により識別制御部２１の機能が実現されており、重み演算制御回路１１２により重み演算制御部２２の機能が実現されており、重み割り当て制御回路１１３により重み割り当て制御部２３の機能が実現されている。なお、記憶部２４の機能は、識別用制御回路１１１と重み演算制御回路１１２と重み割り当て制御回路１１３のそれぞれに分散されて実現されている。
図１および図２の例では、素子アレイ１２１および入出力ＩＦ回路１２２〜１２３により素子アレイ部１２の機能が実現されている。
素子アレイ１２１は、複数のニューロモルフィック素子を含む。

なお、図２の例では、素子アレイ１２１の内部に、１個のニューロモルフィック素子１３１のみを例示してある。ニューロモルフィック素子１３１は、入力された信号に対して重みの値を乗算し、この乗算の結果の値を持つ信号を出力信号として出力する。当該重みの値は、ニューロモルフィック素子１３１の可変な特性の値に応じた値である。ニューロモルフィック素子１３１の特性の値は、外部から制御されることで、変化する。
本実施形態では、素子アレイ１２１において、このようなニューロモルフィック素子を複数使用して、所望のニューラルネットワークに対応する積和演算を行う回路が構成されている。素子アレイ１２１への信号の入力および素子アレイ１２１からの信号の出力は、入出力ＩＦ回路１２２、１２３を介して行われる。素子アレイ１２１の回路は、一例として、マトリクス状になっており、マトリクスの一辺（例えば、縦の辺）における信号の入出力が入出力ＩＦ回路１２２を介して行われ、マトリクスの他の一辺（例えば、横の辺）における信号の入出力が入出力ＩＦ回路１２３を介して行われる。

ここで、識別用制御回路１１１は、入出力ＩＦ回路１２２、１２３と接続されており、入出力ＩＦ回路１２２、１２３を介して素子アレイ１２１に識別対象の情報を出力し、当該情報に基づいて素子アレイ１２１により演算された結果（識別結果）の情報を入出力ＩＦ回路１２２、１２３を介して入力する。そして、識別用制御回路１１１は、入力された情報（識別結果の情報）を記憶部２４に記憶すること、あるいは、入力された情報（識別結果の情報）に基づいて所定の解析を実行することなどを行う。
また、識別用制御回路１１１は、例えば、素子アレイ１２１により実現されるニューラルネットワークについて、学習（機械学習）を行う機能を有する。

重み演算制御回路１１２は、識別用制御回路１１１と接続されており、また、重み割り当て制御回路１１３と接続されている。
また、本実施形態では、重み演算制御回路１１２は、素子アレイ１２１に含まれるニューロモルフィック素子の特性の分解能よりも高い精度で、素子アレイ１２１により実現されるニューラルネットワークにおける重み（結合重み）の値を演算する機能を有する。そして、本実施形態では、重み演算制御回路１１２は、素子アレイ１２１に含まれるニューロモルフィック素子に割り当てる適切な重みの値（本実施形態では、誤差あるいは識別精度に関する所定の条件を満たす重みの値）を演算する機能を有する。
また、本実施形態では、重み演算制御回路１１２は、識別用制御回路１１１により取得された識別結果の情報（例えば、学習に関する情報）に基づいて、素子アレイ１２１に含まれるニューロモルフィック素子に割り当てる重みの値を更新（演算）する機能を有する。

重み割り当て制御回路１１３は、入出力ＩＦ回路１２２、１２３と接続されており、入出力ＩＦ回路１２２、１２３を介して素子アレイ１２１に含まれるニューロモルフィック素子に重みの値を設定する。重み割り当て制御回路１１３は、当該重みの値として、重み演算制御回路１１２により演算された値を使用する。
重み割り当て制御回路１１３は、一例として、素子アレイ１２１に含まれるニューロモルフィック素子に対して所定の信号を送信することで、当該信号に応じた重みの値を当該ニューロモルフィック素子に設定してもよい。当該所定の信号としては、任意の信号が用いられてもよく、例えば、電圧パルスの信号が用いられてもよい。

ニューロモルフィック素子では、重み割り当て制御回路１１３により制御されて、当該ニューロモルフィック素子の特性（本実施形態では、コンダクタンス）が変化することで、重みの値が変化する。つまり、当該ニューロモルフィック素子では、当該ニューロモルフィック素子の特性に応じた重み（値）を入力された信号に乗算し、その乗算の結果の信号を出力する。
具体例として、抵抗Ｒが変化し得るニューロモルフィック素子が乗算器の機能として用いられる場合、当該ニューロモルフィック素子のコンダクタンスＧ（＝１／Ｒ）を使用し、当該ニューロモルフィック素子への入力信号として電圧Ｖを入力し、そのときに当該ニューロモルフィック素子を流れる電流Ｉ（＝Ｇ×Ｖ）の大きさを乗算結果として使用する。
なお、素子アレイ１２１に複数のニューロモルフィック素子が含まれる構成では、例えば、それぞれのニューロモルフィック素子ごとに制御されてもよく、あるいは、すべてのニューロモルフィック素子についてまとめて制御されてもよく、あるいは、２個以上の異なるグループに複数のニューロモルフィック素子が分けられて、それぞれのグループごとにまとめて制御されてもよい。

ここで、特性の変化量が変動するニューロモルフィック素子が用いられる場合には、その点が考慮されて、当該ニューロモルフィック素子が制御されることが好ましい。特性の変化量が変動するとは、例えば、特性の変化が非線形的であるような素子のことを言う。
具体例として、コンダクタンスの変化量（ΔＧ）が変動するニューロモルフィック素子では、例えば、コンダクタンスの値が低い値から高い値へ変化するにしたがって、当該ニューロモルフィック素子に与えられる電圧Ｖの一定変化量に対するコンダクタンスの変化量（ΔＧ）が増加していく場合がある。この場合、一例として、当該ニューロモルフィック素子のコンダクタンスの変化量（ΔＧ）を一定値間隔ごとに切り替えるために、コンダクタンスの値が低い値から高い値へ変化するにしたがって、当該ニューロモルフィック素子に与えられる電圧Ｖの変化量（切り替えの段階ごとの変化量）を小さくしていく構成が用いられてもよい。あるいは、コンダクタンスの変化量Δの変動に応じて、割り当てる重みの変化量を変動させるような構成が用いられてもよい。
なお、ニューロモルフィック素子の特性の変化量が他の態様で変動する場合においても、その態様に合わせて制御が行われればよい。このような制御の仕方は、例えば、あらかじめ設定されて記憶部２４などに記憶されてもよい。

図３は、本発明の実施形態に係る素子アレイ１２１の概念的な構成を示すブロック図である。
ここで、図３の例では、素子アレイ１２１において行われる積和演算の様子を概念的に示してある。素子アレイ１２１の回路構成としては、このような積和演算が実現される任意の回路構成が用いられてもよい。

図３の例では、３層のパーセプトロンを用いた例を示す。
素子アレイ１２１は、ｐ（ｐは１以上の整数）個の値（信号）を入力し、ｒ（ｒは１以上の整数）個の値（信号）を出力する。
素子アレイ１２１は、入力層に、ｐ個のユニットＡ１−１〜Ａ１−ｐと、１個のバイアス項のユニットＡ１−０を備える。
素子アレイ１２１は、隠れ層に、ｑ個のユニットＡ２−１〜Ａ２−ｑと、１個のバイアス項のユニットＡ２−０を備える。
素子アレイ１２１は、出力層に、ｒ個のユニットＡ３−１〜Ａ３−ｒを備える。

本実施形態では、ｐ個のユニットＡ１−１〜Ａ１−ｐと、ｑ個のユニットＡ２−１〜Ａ２−ｑと、ｒ個のユニットＡ３−１〜Ａ３−ｒにより実現される演算を行う回路を、ニューロモルフィック素子を用いて構成した。この演算は、例えば、積和演算である。
なお、本実施形態では、前段の層におけるそれぞれのユニットから後段の層におけるすべてのユニット（バイアス項のユニットを除く。）へ信号を出力するニューラルネットワークの構成を示すが、他の構成が用いられてもよい。図３の例では、入力層におけるそれぞれのユニットＡ１−０〜Ａ１−ｐから隠れ層におけるｑ個のユニットＡ２−１〜Ａ２−ｑへ信号を出力しており、また、隠れ層におけるそれぞれのユニットＡ２−０〜Ａ２−ｑから出力層におけるｒ個のユニットＡ３−１〜Ａ３−ｒへ信号を出力している。

入力層におけるそれぞれのユニットＡ１−１〜Ａ１−ｐは、ｐ個の入力値（信号）のそれぞれを入力して出力する。
また、入力層におけるユニットＡ１−０は、所定の値（信号）を出力する。

隠れ層におけるそれぞれのユニットＡ２−１〜Ａ２−ｑは、入力層における（ｐ＋１）個のユニットＡ１−０〜Ａ１−ｐからの出力値（信号）について所定の重みを用いて積和演算した結果の値（信号）を、出力層におけるそれぞれのユニットＡ３−１〜Ａ３−ｒに出力する。この積和演算は、入力層の出力から隠れ層の出力までの間で行われる。重みは、例えば、入力層におけるそれぞれのユニットＡ１−１〜Ａ１−ｐごとに異なってもよく、また、隠れ層におけるそれぞれのユニットＡ２−１〜Ａ２−ｑごとに異なってもよい。
また、隠れ層におけるユニットＡ２−０は、所定の値（信号）を出力する。

出力層におけるそれぞれのユニットＡ３−１〜Ａ３−ｑは、隠れ層における（ｑ＋１）個のユニットＡ２−０〜Ａ２−ｑからの出力値（信号）について所定の重みを用いて積和演算した結果の値（信号）を出力する。この積和演算は、隠れ層の出力から出力層の出力までの間で行われる。重みは、例えば、隠れ層におけるそれぞれのユニットＡ２−１〜Ａ２−ｑごとに異なってもよく、また、出力層におけるそれぞれのユニットＡ３−１〜Ａ３−ｒごとに異なってもよい。

素子アレイ１２１は、画像２１１を入力し、入力された画像２１１の識別結果の情報を出力する。
一例として、画像２１１は、７８４個の画素（０番目〜７８３番目の画素）を有する画像である。この場合、入力層のユニット数（ｐ）は７８４個となる。
また、図３の例では、識別結果の情報は、出力層から出力されるｒ個の情報である。

なお、複数の層を有するニューラルネットワークが構成される場合、それぞれの層間（例えば、１−２層間、２−３層間）に対応する重みは、例えば、それぞれの層間ごとに別々のアレイ（例えば、複数のニューロモルフィック素子の並びを層間ごとに持つアレイ）を用いて構成されてもよく、あるいは、１組のアレイ（例えば、複数のニューロモルフィック素子の並びを持つ１組のアレイ）が、時間差（時分割）などによって仮想的に分割されて、２つ以上の層間に対応する重みを実現する構成が用いられてもよい。さらには、１組のアレイを空間的に複数のサブアレイに分割して２つ以上の層間に対応する重みを実現する構成が用いられてもよい。同様に、本実施形態では、１個のニューロモルフィック素子は、例えば、１個の重みに対応して用いられてもよく、あるいは、時間差（時分割）などによって仮想的に分割されて、２個以上の重みに対応して用いられてもよい。

図４は、本発明の実施形態に係る識別対象の画像Ｂ１−１〜Ｂ１−ｎ、Ｂ２−１〜Ｂ２−ｎ、・・・、Ｂ０−１〜Ｂ０−ｎ（ｎは２以上の整数であり、例えば、十分に多い数）の例を示す図である。
画像Ｂ１−１〜Ｂ１−ｎは、数字の「１」を手書きした場合における複数の異なる手書きパターンの画像である。
画像Ｂ２−１〜Ｂ２−ｎは、数字の「２」を手書きした場合における複数の異なる手書きパターンの画像である。
画像Ｂ０−１〜Ｂ０−ｎは、数字の「０」を手書きした場合における複数の異なる手書きパターンの画像である。
なお、図４の例では、数字の「３」〜「９」については図示を省略してある。
また、図４の例では、数字の「１」〜「９」、「０」のすべてについて同じ数（ｎ個）の画像を示したが、それぞれの数字ごとに異なる数の画像が用いられてもよい。

図３に示される素子アレイ１２１では、数字の「１」〜「９」、「０」の画像が用いられる場合、例えば、出力層からの出力の数（ｒ個）として１０個が用いられる。識別制御部２１では、これら１０個の出力のそれぞれを１０個の数字（「１」〜「９」、「０」）のそれぞれに割り当て、それぞれの出力の値をそれぞれの数字である尤度（尤もらしさ）とみなす。そして、識別制御部２１では、入力された画像２１１の数字は、これら１０個の出力のうちで最も値が大きい出力に対応する数字であると識別する。
なお、ここでは、出力の値が大きい方が尤度が大きい構成としているが、逆に、出力の値が大きい方が尤度が小さくなるように構成されてもよい。

本実施形態では、このような画像の一例として、ｍｎｉｓｔ(Mixed National Institute of Standards and Technology database)の画像が用いられる場合を示す。
なお、図４に示される画像は、ｍｎｉｓｔの画像そのものではないが、説明の便宜上から、手書きの数字を表す画像を例示したものである。

ここで、ニューロモルフィック素子としては、任意の素子が用いられてもよい。また、ニューロモルフィック素子としては、例えば、１種類のニューロモルフィック素子が複数組み合されて用いられてもよく、あるいは、２種類以上のニューロモルフィック素子が組み合されて用いられてもよい。
一例として、ニューロモルフィック素子として、結晶と非晶質との相変化を段階的に制御するＰＣＭ（Ｐｈａｓｅ Ｃｈａｎｇｅ Ｍｅｍｏｒｙ）を使用する素子が用いられてもよい。
他の例として、ニューロモルフィック素子として、電気化学的反応により金属析出とイオン化との間のパスの形成および消滅を利用するＣＢＲＡＭ（Ｃｏｎｄｕｃｔｉｖｅ Ｂｒｉｄｇｅ ＲＡＭ）を使用する素子が用いられてもよい。
他の例として、ニューロモルフィック素子としてスピントロニクス（Ｓｐｉｎｔｒoｎｉｃｓ）を使用する素子も用いられている。例えば、磁壁の制御による線形的抵抗変化を発生させるドメインウォール型、あるいは、スピン軌道トルク作用による磁化反転を使用したＳＯＴ（Ｓｐｉｎ Ｏｒｂｉｔ Ｔｏｒｑｕｅ）型の素子の研究が進められている。
他の例として、ニューロモルフィック素子として、ＴａＯ_２等の媒体に金属析出によるフィラメントを形成して抵抗変化を利用するＲｅＲＡＭ（Ｒｅｓｉｓｔｉｖｅ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を使用する素子が用いられてもよい。

本実施形態では、素子の特性としてコンダクタンスの値を変化させることが可能なニューロモルフィック素子が用いられており、その変化の分解能が有限である。
なお、ニューロモルフィック素子としては、任意の特性を変化させることが可能なものが用いられてもよく、例えば、抵抗、あるいは、光位相などの特性を変化させることが可能なものが用いられてもよい。

［ニューロモルフィック素子の特性の分解能が性能に与える影響］
分解能が有限であるニューロモルフィック素子をニューラルネットワークに適用する場合について、ニューラルネットワークの性能に与える影響を説明する。
ニューロモルフィック素子は、完全なアナログ線形的なコンダクタンス（Ｇ）の変化特性を有しておらず、有限な分解能を有している。ニューロモルフィック素子のコンダクタンス変化の分解能（本実施形態では、ビットの個数）が決まっている場合、値のダイナミックレンジ（全体的な幅）と量子化ステップサイズ（量子化ステップの幅）とは比例関係にある。

ここで、量子化ステップサイズが大きくなると、ニューラルネットワークの性能の劣化が生じることが予想されることから、ニューロモルフィック素子に与えるダイナミックレンジを最適化する問題として考えることができる。
ここでは、分解能を固定した条件を想定する。各層のニューロモルフィック素子に割り当てられるダイナミックレンジ（値域）によって、識別性能への影響が変わり得ると考えられる。

ここでは、倍精度浮動小数点で表された実数を用いて重みの収束の推移を考える。それぞれの層における重みを、ニューロモルフィック素子の可変なコンダクタンスを制御することで実現する。
なお、本実施形態において、実数を用いたシミュレーションはコンピュータを用いて実行されることから、当該シミュレーションにおいて「実数」といっているのは、厳密には実数ではなく、コンピュータの演算語長の制約によって離散化された値である。
例えば、１層目における重みの最大値、最小値、平均値、および２層目における重みの最大値、最小値、平均値が表されるグラフを考える（図示は省略。）。

重みをニューロモルフィック素子のモデルへ変換するにあたり、ニューロモルフィック素子の特性の分解能が５（５個のステップ）であるとした。そして、ニューロモルフィック素子のダイナミックレンジとして複数種類の異なる組み合わせを想定して、識別性能を評価した。ニューロモルフィック素子の特性の分解能が固定されている場合、ダイナミックレンジの割り当て方によって識別性能は大きく変化し得る。

実数演算における識別結果は次のようになった。ここで、（±Ｕ、±Ｖ）は、１層目における重みのダイナミックレンジが±Ｕであり、２層目における重みのダイナミックレンジが±Ｖであることを示す。また、Ｗ［％］は、識別結果の精度（識別精度）を示す。
（±２、±２） ７６．９２［％］
（±１、±２） ８３．４１［％］
（±２、±１） ７２．０２［％］
（±１、±１） ８４．９０［％］
（±０．５、±０．５） ９４．８８［％］
（±０．５、±０．３） ９１．４５［％］
（±０．３、±０．５） ９４．０１［％］
（±０．３、±０．３） ８９．８１［％］
（±０．１、±０．１） ６９．４６［％］
（±０．０５、±０．０５） ５７．０９［％］

この結果から、次のことが推測される。
一つの推測結果として、ニューロモルフィック素子に割り当てられるダイナミックレンジとしては、上限値および下限値の理論値が用いられる場合が最適であるとは限られず、ダイナミックレンジが小さい方が有利となる場合もあり得る。量子化ステップサイズが小さいことが重要であると考えられるが、最適値があると考えられる。
他の一つの推測結果として、１層目における量子化ステップサイズを、２層目における量子化ステップサイズと比べて、小さくする方が有利となり得る。

一般に、Ｍ（Ｍは、２以上の整数であるとする。）層からなるニューラルネットワークにおいて、１層目からＮ（Ｎは、１以上でＭより小さい整数であるとする。）層目までは特徴抽出に関連し、（Ｎ＋１）層目からＭ層までは識別に関連する。識別は、特徴抽出の結果に依存し得る。特徴抽出の性能が良い場合には、それによって、識別の性能をある程度良い性能に維持することができる。上位の層ほど分解能が重要であり、下位の層は大きいダイナミックレンジが必要であると推測された。

上記のことから、本実施形態では、ニューロモルフィック素子の特性の分解能を固定して、当該ニューロモルフィック素子に割り当てられるダイナミックレンジと量子化ステップサイズの最適化の問題として取り扱う。
通常、ニューロモルフィック素子において、量子化ステップサイズが小さくなると、重みの誤差が減少する一方、重みが取り得る値のダイナミックレンジが小さくなる。また、ニューロモルフィック素子において、ダイナミックレンジが小さくなると、本来の重みの値によって演算される値が上限あるいは下限に固着する可能性が増加し、誤識別の原因となる。本実施形態では、以下で説明するように、良好な解（好ましくは、最適解）を求める。

［ニューラルネットワークにおける識別精度の演算の概要］
本実施形態において想定するニューラルネットワークについて説明する。なお、本実施形態では、図３に示されるニューラルネットワークを想定する。
入力層におけるユニット数をｐ個とし、バイアス項の１個のユニットも設ける。
隠れ層におけるユニット数をｑ個とし、バイアス項の１個のユニットも設ける。
出力層におけるユニット数をｒ個とする。
重みｗ^（Ｌ） _ｓ，ｔについて、Ｌは層の番号を表し、ｓは出力側の層のユニットの番号を表し、ｔは入力側の層のユニットの番号を表す。ここで、本実施形態では、入力層と隠れ層との間を第１層（Ｌ＝１）とし、隠れ層と出力層との間を第２層（Ｌ＝２）とする。

バックプロパゲーションの演算上、バイアス項を、０次項で表現した。なお、バイアス項の出力値を常に１とし、バイアス項と各ユニットとの間の重みについても学習対象とした。
以下で、重みの分解能、ダイナミックレンジおよび量子化ステップサイズが識別性能に与える影響について説明する。

重みの誤差が出力に与える影響を示す。
ｘ_ｉ（ｉ＝０、１、２、・・・、ｐ）は入力層におけるバイアス項および出力値（本実施形態では、入力値と同じ値）であるとし、ｙ_ｊ（ｊ＝０、１、２、・・・、ｑ）は隠れ層におけるバイアス項および出力値であるとする。
式（１）に示されるように、２層目における重みｗ^（２） _ｋ，ｊの分解能の制約によって生じる量子化誤差（符号Δが付された項）を導入する。
ニューラルネットワークからの出力値ｚ_ｋ（ｋ＝１、２、・・・、ｒ）は、式（２）のように表される。

次に、ｙ_ｊの誤差を考える。活性化関数としてｒｅｌｕ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）が用いられる場合、式（３）および式（４）のように表される。

式（１）と同様に、１層目における重みｗ^（１） _ｊ，ｉの分解能の制約によって生じる量子化誤差（符号Δが付された項）を導入する。これにより、式（５）のように表される。

したがって、ニューラルネットワークからの出力値ｚ_ｋ（ｋ＝１、２、・・・、ｒ）の誤差を考慮した式は、式（６）のように表される。
ここで、ｕ_ｊ＜０である場合には、出力が０になるため、この式は恒等的に成立する。

ニューラルネットワークからの出力値ｚ_ｋ（ｋ＝１、２、・・・、ｒ）の誤差の成分（Δｚ_ｋ）のみを抽出すると、式（７）のように表される。

ここで、パラメーターとしてαおよびβを導入して、式（８）に示される変換を行う。
αおよびβは、式（９）に示される条件を満たす一様な確率分布を構成することを想定する。
ニューラルネットワークからの出力値ｚ_ｋ（ｋ＝１、２、・・・、ｒ）の誤差の成分（Δｚ_ｋ）は、式（１０）のように表される。

ここで、式（１０）の最後の右辺について、項の評価を行うと、すべての積和演算項の要素は同じであり、式（９）を考慮すると、第三項（αとβの両方が含まれる項）は第一項（αが含まれる項）、第二項（βが含まれる項）に比較して小さい。これを考慮すると、式（１１）のように表される。

式（１１）により、各層における重みの量子化誤差による出力の変動は、１層目における量子化誤差による影響の総和と２層目における量子化誤差による影響の総和との和として演算されることが示される。これにより、量子化後の誤差（例えば、二乗誤差などでもよい。）を小さくする（好ましくは、最小にする）解を適用することで、出力誤差を小さくすること（好ましくは、最小にすること）が実現されると考えられる。
ここで、識別精度は、例えば、（１／Δｚ_ｋ）の値、あるいは、それに比例などする値で表すことが可能である。

本実施形態では、素子アレイ１２１では、１層目における重みｗ^（１） _ｊ，ｉについて、それぞれのｊ、ｉの組み合わせごとに１個のニューロモルフィック素子を備える。
同様に、本実施形態では、素子アレイ１２１では、２層目における重みｗ^（２） _ｋ，ｊについて、それぞれのｋ、ｊの組み合わせごとに１個のニューロモルフィック素子を備える。
なお、共通化することが可能な２個以上の重み演算がある場合には、これら２個以上の重み演算についてニューロモルフィック素子が、１個のニューロモルフィック素子に共通化されてもよい。

２個のパラメーターα、βの値を求める手法について説明する。
一例として、２個のパラメーターα、βの値を様々に変化させて所定の誤差を表す値を演算し、当該誤差を表す値が小さくなる（好ましくは、最小になる）パラメーターα、βの値を求める手法が用いられてもよい。当該手法では、例えば、２個のパラメーターα、βの値を総当たりで変化させてもよい。適切なパラメーターα、βの値が決定されることで、ニューロモルフィック素子に設定すべき適切なダイナミックレンジが決定される。
なお、所定の誤差を表す値が小さくなる（好ましくは、最小になる）という条件の代わりに、所定の識別精度が大きくなる（好ましくは、最大になる）という条件が用いられてもよい。

他の例として、２個のパラメーターα、βの値を解析的に求めるための手法がある場合には、その解析的手法が用いられてもよい。
ここで、２個のパラメーターα、βの値は、例えば、識別対象の数あるいは内容などによって、変わり得る。

一般に、ニューラルネットワークの構成では、入力層は識別対象の画像データの各ピクセルに相当するユニットを有しており、そして、隠れ層、出力層へ行くにしたがって、ユニットの数が少なくなる。
一例として、ｍｎｉｓｔのテストセット（テストのための画像の組み合わせ）の識別において、入力層の次元を７８４個のユニットとし、隠れ層の次元を１００個のユニットとし、出力層の次元を１０個のユニットとすることで、実数演算において９７［％］以上の識別性能を達成することができる。

ニューロモルフィック素子に割り当てられる分解能とダイナミックレンジが決定された場合、量子化誤差に関するパラメーターα、βは、次の２つの要素から発生する。
（要素１）量子化ステップサイズによって発生する純量子化誤差という要素がある。これは、（量子化ステップサイズ／２）に相当する分を最小、最大とする分布である。
（要素２）割り当てられるダイナミックレンジが実数演算値によるレンジよりも狭い場合に、割り当てられるダイナミックレンジを超えた値（実数演算値）に発生する切り捨て誤差という要素がある。

したがって、ニューロモルフィック素子の特性の分解能が固定されている場合、各層における誤差に関する和を小さく（好ましくは、最小に）するように、ニューロモルフィック素子に対して割り当てられるダイナミックレンジを決定することで、出力の誤差を抑制することが可能になると考えられる。
なお、所定の誤差を表す値が小さくなる（好ましくは、最小になる）という条件の代わりに、所定の識別精度が大きくなる（好ましくは、最大になる）という条件が用いられてもよい。

［パラメーターα、βの分布］
図５は、本発明の実施形態に係るパラメーターα、βに関する特性１０１１の一例を示す図である。
図５に示されるグラフでは、横軸にパラメーターａを表し、縦軸に関数Ｐ（ａ）を表わしている。そして、図５の例では、特性１０１１を示してある。特性１０１１は、Ａを所定の正の値として、ａ＝−Ａからａ＝＋Ａまでの間、一定値となる特性である。ここで、ニューラルネットワークにおける重みは正規乱数等で初期化されることが一般的であり、その重みの値が一様に分布すると仮定し、その場合、量子化誤差もまた一様分布であると想定した。なお、この想定は一例であり、本実施形態では、必ずしも量子化誤差の分布形状に依存するものではない。また、特性１０１１は、全体の確率が１となる確率密度関数である。
ここで、（２×Ａ）が量子化ステップサイズであり、｛（２×Ａ）×分解能＝ダイナミックレンジ｝という関係がある。
式（８）より、パラメーターαおよびパラメーターβは重みの真値に対する誤差成分の割合を示すものであるため、パラメーターαおよびパラメーターβをそれぞれ正の値とすると、パラメーターαおよびパラメーターβは、それぞれ、（２×Ａ）／ダイナミックレンジ幅に相当する。つまり、パラメーターαおよびパラメーターβは、それぞれ、量子化ステップサイズに対応する値である。
なお、ここでは、説明の便宜上から、２個のパラメーターα、βについて共通の文字Ａを用いて説明したが、本実施形態では、２個のパラメーターα、βの値を異ならせる。

［ニューロモルフィック素子にダイナミックレンジを割り当てる手順の第１の例］
ニューロモルフィック素子にダイナミックレンジを割り当てる手順の第１の例として、（第１の例における手順１）〜（第１の例における手順８）を示す。なお、同様な結果が得られれば、手順の順序が異なってもよい。
本例（第１の例）では、演算方法の一例として、各層の重みの量子化誤差に基づいて演算する方法を用いる。
本例では、ユーザーがコンピュータを操作することで、当該コンピュータによって以下の手順の処理を行う。なお、ユーザーにより行われる操作の一部または全部が、コンピュータにより自動で行われてもよい。

ここで、本実施形態では、このようなコンピュータは、例えば、ニューラルネットワーク回路１０１に備えられたコンピュータであり、一例として、重み演算制御回路１１２に備えられたコンピュータである。他の例として、このようなコンピュータとして、ニューラルネットワーク回路１０１とは別のコンピュータが用いられてもよい。なお、コンピュータとしては、例えば、マイクロコンピュータなどであってもよい。
また、本例では、このようなコンピュータが所定の実数シミュレーターの機能を有しており、当該実数シミュレーターが（第１の例における手順１）〜（第１の例における手順８）の処理を実行することを想定して説明する。なお、これらの処理は、例えば、実数シミュレーター以外の機能により行われてもよく、それぞれの処理ごとに任意の機能（総じて２以上の異なる機能）により行われてもよい。また、これらの処理は、例えば、それぞれの処理ごとに任意のコンピュータ（総じて２以上の異なるコンピュータ）により行われてもよい。

（第１の例における手順１）ユーザーは、ニューラルネットワークの構造を実数シミュレーターに定義する。ここで、ニューラルネットワークの構造としては、例えば、種別、層の数、層の構造、ユニットの数などがある。また、本例では、実数シミュレーターは、コンピュータを用いて実現され、定義されたニューラルネットワークにおけるシミュレーションの数値演算を、実数を用いて、実行する。

（第１の例における手順２）ユーザーは、実数シミュレーターにより、学習データを用いて、ニューラルネットワークの学習を行い、重みの真値を求める。ここで、重みの真値は、例えば、所定の誤差を表す関数が収束した際における重みの値である。所定の誤差を表す関数としては、任意の関数が用いられてもよい。また、学習データとしては、任意のデータが用いられてもよい。

（第１の例における手順３）ユーザーは、最適解を探索する量子化ステップサイズの範囲を決めて、当該範囲を実数シミュレーターに設定する。具体例として、重みの真値の範囲が−１〜＋１であり、ニューロモルフィック素子の特性の分解能が５である場合、これらの値を使用すると量子化ステップサイズは０．４（＝２／５）となり、例えば、探索範囲を０．０４〜４などに設定する。

（第１の例における手順４）ユーザーは、実数シミュレーターにより、｛（量子化ステップサイズ×分解能）＝（ニューロモルフィック素子に割り当てられる重みのダイナミックレンジ）｝として、重みの真値に対して、分解能で離散化された重みの値を演算する。

（第１の例における手順５）ユーザーは、実数シミュレーターにより、誤差に関する関数を演算する。一例として、誤差に関する関数として、離散化された重みの値と真値との誤差をすべての重みについて加算した結果を全体的な誤差（以下で、誤差総和ともいう。
）とする関数が用いられてもよい。他の例として、誤差に関する関数として、離散化された重みの値と真値との誤差の二乗値をすべての重みについて加算した結果を全体的な誤差（以下で、誤差二乗総和ともいう。）とする関数が用いられてもよい。

（第１の例における手順６）ユーザーは、実数シミュレーターにより、誤差に関する関数の値（本実施形態では、誤差総和あるいは誤差二乗総和）が最小になる量子化ステップサイズの値を決定する。ここで、量子化ステップサイズの値を決定する手法としては、例えば、複数の値の候補のなかから１つの値を選択することで、当該値を決定する手法が用いられてもよい。

なお、本例では、好ましい態様の一例として、誤差の値（誤差に関する関数の値）が最小になる量子化ステップサイズの値を決定する態様が用いられるが、他の例として、所定の条件に基づいて、誤差の値（誤差に関する関数の値）が小さくなる量子化ステップサイズの値を決定する態様が用いられてもよい。所定の条件としては、任意の条件が用いられてもよく、例えば、誤差の値（誤差に関する関数の値）が所定の閾値以下となる（または、所定の閾値未満となる）条件が用いられてもよい。

（第１の例における手順７）ユーザーは、実数シミュレーターにより、決定された量子化ステップサイズの値を採用して、｛（量子化ステップサイズ×分解能）＝（ニューロモルフィック素子に割り当てられる重みのダイナミックレンジ）｝として、ニューロモルフィック素子にダイナミックレンジを割り当てる。具体例として、量子化ステップサイズが０．２５であり、分解能が５である場合、ダイナミックレンジは１．２５（＝０．２５×５）となる。

（第１の例における手順８）ユーザーは、実数シミュレーターにより、ニューロモルフィック素子に割り当てられたダイナミックレンジを、０を中心とする範囲（下限値Ｗｍｉｎ〜上限値Ｗｍａｘ）へ変換する。ここで、当該範囲は０を中心とするため、｜Ｗｍｉｎ｜＝｜Ｗｍａｘ｜である。Ｚを任意の値として、｜Ｚ｜はＺの絶対値を表す。また、ユーザーは、実数シミュレーターにより、ニューロモルフィック素子のコンダクタンスの値として、ダイナミックレンジの範囲の下限値Ｗｍｉｎに対応するコンダクタンスの値Ｇｍｉｎを設定するとともに、ダイナミックレンジの範囲の上限値Ｗｍａｘに対応するコンダクタンスの値Ｇｍａｘを設定する。

［ニューロモルフィック素子にダイナミックレンジを割り当てる手順の第２の例］
ニューロモルフィック素子にダイナミックレンジを割り当てる手順の第２の例として、（第２の例における手順１）〜（第２の例における手順５）を示す。なお、同様な結果が得られれば、手順の順序が異なってもよい。
本例（第２の例）では、演算方法の他の例として、識別精度を用いて演算する方法を用いる。なお、別の例として、最終段の出力について誤差の総和あるいは誤差の二乗の総和を用いて演算する方法が用いられてもよい。
本例では、ユーザーがコンピュータを操作することで、当該コンピュータによって以下の手順の処理を行う。なお、ユーザーにより行われる操作の一部または全部が、コンピュータにより自動で行われてもよい。

ここで、本実施形態では、このようなコンピュータは、例えば、ニューラルネットワーク回路１０１に備えられたコンピュータであり、一例として、重み演算制御回路１１２に備えられたコンピュータである。他の例として、このようなコンピュータとして、ニューラルネットワーク回路１０１とは別のコンピュータが用いられてもよい。
また、本例では、このようなコンピュータが所定の実数シミュレーターの機能を有しており、当該実数シミュレーターが（第２の例における手順１）〜（第２の例における手順５）の処理を実行することを想定して説明する。なお、これらの処理は、例えば、実数シミュレーター以外の機能により行われてもよく、それぞれの処理ごとに任意の機能（総じて２以上の異なる機能）により行われてもよい。また、これらの処理は、例えば、それぞれの処理ごとに任意のコンピュータ（総じて２以上の異なるコンピュータ）により行われてもよい。

（第２の例における手順１）は、（第１の例における手順１）と同様である。
（第２の例における手順２）は、（第１の例における手順２）と同様である。

（第２の例における手順３）ユーザーは、実数シミュレーターにより、重みの真値を用いて構成されたニューラルネットワークにデータを入力し、当該ニューラルネットワークからの出力（量子化されていない場合の出力）を演算する。

（第２の例における手順４）ユーザーは、実数シミュレーターにより、重みの真値を使用して、パラメーターα、βを用いた出力を表す関数にデータを入力し、当該出力（量子化された場合の出力）を演算する。当該出力は、例えば、式（６）にパラメーターα、βを導入した式の出力（識別クラスの数ｒの出力値ｚ_ｋ）となる。

（第２の例における手順５）ユーザーは、実数シミュレーターにより、（第２の例における手順３）で求められる出力の値と（第２の例における手順４）で求められる出力の値との誤差に関する値が小さくなる（好ましくは、最小になる）量子化ステップサイズを決定する。誤差に関する値としては、例えば、最終段の出力について誤差の総和あるいは誤差の二乗の総和が用いられてもよい。また、量子化ステップサイズの値を決定する手法としては、例えば、複数の値の候補のなかから１つの値を選択することで、当該値を決定する手法が用いられてもよい。
ここで、他の例として、誤差に関する値として、式（１１）に示されるΔｚ_ｋが用いられてもよい。

また、他の例として、上記した（第２の例における手順５）において、ユーザーは、実数シミュレーターにより、量子化された場合における識別精度が大きくなる（好ましくは、最大になる）量子化ステップサイズを決定してもよい。

なお、誤差に関する値が小さくなる条件としては、例えば、誤差に関する値が所定の閾値以下となる（または、所定の閾値未満となる）条件が用いられてもよい。
また、識別精度が大きくなる条件としては、例えば、識別精度が所定の閾値以上となる（または、所定の閾値を超える）条件が用いられてもよい。

［誤差を用いた条件と、識別精度を用いた条件］
誤差を用いた条件が設定されたシミュレーションの結果の例と、識別精度を用いた条件が設定されたシミュレーションの結果の例を示す。
誤差を用いた条件が設定されたシミュレーションとして、誤差の二乗の総和が最小となるダイナミックレンジを探索するシミュレーションを行った。その結果、１層目における最適なダイナミックレンジは０．４２となり、２層目における最適なダイナミックレンジは０．９６となり、識別精度は９５．６４［％］となった。
一方、識別精度を用いた条件が設定されたシミュレーションとして、識別精度が最大となるダイナミックレンジを探索するシミュレーションを行った。その結果、１層目における最適なダイナミックレンジは０．４２となり、２層目における最適なダイナミックレンジは０．９６となり、識別精度は９５．６４［％］となった。
ここで、両者は一致した。このため、誤差を用いた条件が満たされるダイナミックレンジを採用することで、良好な識別精度が実現されることが推測される。

［ニューロモルフィック素子に対するダイナミックレンジの割り当ての具体例］
図６は、本発明の実施形態に係る重みの学習の結果の一例を示す図である。
図６に示されるグラフにおいて、横軸は学習サイクル（本実施形態では、エポックの回数）を表わしており、縦軸は重みの値を表わしている。
なお、エポックは、トレーニング用の１個の識別対象（例えば、１枚の画像）についてニューラルネットワークの誤差を最小にする処理の単位を表す。

図６の例では、実数を用いたシミュレーションにより取得された真値の特性として、１層目における重みの最大値の特性１１１１と、１層目における重みの最小値の特性１１１２と、２層目における重みの最大値の特性１１２１と、２層目における重みの最小値の特性１１２２を示してある。
また、図６の例では、１層目におけるニューロモルフィック素子に設定するダイナミックレンジを「−０．５以上で＋０．５以下の範囲」に設定しており、２層目におけるニューロモルフィック素子に設定するダイナミックレンジを「−１．０以上で＋１．０以下の範囲」に設定している。図６の例では、１層目におけるニューロモルフィック素子に設定するダイナミックレンジに相当する範囲１１３１と、２層目におけるニューロモルフィック素子に設定するダイナミックレンジに相当する範囲１１３２を示してある。

図７は、本発明の実施形態に係るニューロモルフィック素子に設定されるダイナミックレンジに応じた識別精度の一例を示す図である。
図７に示されるグラフにおいて、２種類の横軸のうち、一方の軸は１層目におけるニューロモルフィック素子に設定されるダイナミックレンジ（１層目のレンジ）を表わしており、他方の軸は２層目におけるニューロモルフィック素子に設定されるダイナミックレンジ（２層目のレンジ）を表わしている。また、縦軸は、このようなダイナミックレンジの設定により得られる識別精度［％］を表わしている。
図７の例では、これら三者の関係を表す特性１２１１を示してあり、識別精度が最大となる位置に矢印１２２１（なお、図７の例では、矢印１２２１は縦軸と平行ではない。）を示してある。
図７の例では、識別精度が最大となる位置で、１層目のダイナミックレンジが「−０．４２以上で＋０．４２以下の範囲」であり、２層目のダイナミックレンジが「−０．９６以上で＋０．９６以下の範囲」であり、識別精度が「９５．６４［％］」である。

次に、図８〜図１１を参照して、複数の層のそれぞれごとにダイナミックレンジが異なる場合にニューラルネットワーク回路の性能が良好になることを説明する。
まず、図８および図９について説明する。
図８および図９の例では、ニューロモルフィック素子の特性の分解能が１００ステップである場合を想定している。
図８は、すべての層（本実施形態では、１層目〜２層目）について同じダイナミックレンジをニューロモルフィック素子に設定した場合における結果の一例を示す図である。
図９は、本発明の実施形態に係る各層（本実施形態では、１層目、２層目）について異なるダイナミックレンジをニューロモルフィック素子に設定した場合における結果の一例を示す図である。
図８および図９に示されるグラフにおいて、横軸は学習サイクル（本実施形態では、エポックの回数）を表わしており、縦軸は重みの値を表わしている。

図８の例では、１層目および２層目におけるニューロモルフィック素子に設定するダイナミックレンジを「−２．０以上で＋２．０以下の範囲」に設定している。
図８の例では、ニューロモルフィック素子を含むニューラルネットワークの回路の学習について、１層目における重みの最大値の特性１３１１と、１層目における重みの最小値の特性１３１２と、１層目における重みの平均値の特性１３１３と、２層目における重みの最大値の特性１３２１と、２層目における重みの最小値の特性１３２２と、２層目における重みの平均値の特性１３２３を示してある。
図８の例では、識別精度は「９２．６［％］」である。

図９の例では、１層目におけるニューロモルフィック素子に設定するダイナミックレンジを「−１．０以上で＋１．０以下の範囲」に設定しており、２層目におけるニューロモルフィック素子に設定するダイナミックレンジを「−２．０以上で＋２．０以下の範囲」に設定している。
図９の例では、ニューロモルフィック素子を含むニューラルネットワークの回路の学習について、１層目における重みの最大値の特性１４１１と、１層目における重みの最小値の特性１４１２と、１層目における重みの平均値の特性１４１３と、２層目における重みの最大値の特性１４２１と、２層目における重みの最小値の特性１４２２と、２層目における重みの平均値の特性１４２３を示してある。
図９の例では、識別精度は「９６．６［％］」である。

続いて、図１０および図１１について説明する。
図１０および図１１の例では、ニューロモルフィック素子の特性の分解能が５０ステップである場合を想定している。
図１０は、すべての層（本実施形態では、１層目〜２層目）について同じダイナミックレンジをニューロモルフィック素子に設定した場合における結果の他の例を示す図である。
図１１は、本発明の実施形態に係る各層（本実施形態では、１層目、２層目）について異なるダイナミックレンジをニューロモルフィック素子に設定した場合における結果の他の例を示す図である。
図１０および図１１に示されるグラフにおいて、横軸は学習サイクル（本実施形態では、エポックの回数）を表わしており、縦軸は重みの値を表わしている。

図１０の例では、１層目および２層目におけるニューロモルフィック素子に設定するダイナミックレンジを「−２．０以上で＋２．０以下の範囲」に設定している。
図１０の例では、ニューロモルフィック素子を含むニューラルネットワークの回路の学習について、１層目における重みの最大値の特性１５１１と、１層目における重みの最小値の特性１５１２と、１層目における重みの平均値の特性１５１３と、２層目における重みの最大値の特性１５２１と、２層目における重みの最小値の特性１５２２と、２層目における重みの平均値の特性１５２３を示してある。
図１０の例では、識別精度は「６５．３［％］」である。

図１１の例では、１層目におけるニューロモルフィック素子に設定するダイナミックレンジを「−１．０以上で＋１．０以下の範囲」に設定しており、２層目におけるニューロモルフィック素子に設定するダイナミックレンジを「−２．０以上で＋２．０以下の範囲」に設定している。
図１１の例では、ニューロモルフィック素子を含むニューラルネットワークの回路の学習について、１層目における重みの最大値の特性１６１１と、１層目における重みの最小値の特性１６１２と、１層目における重みの平均値の特性１６１３と、２層目における重みの最大値の特性１６２１と、２層目における重みの最小値の特性１６２２と、２層目における重みの平均値の特性１６２３を示してある。
図１１の例では、識別精度は「９０．８［％］」である。

ここで、図８〜図１１は、シミュレーションの結果を示すものであるが、当該シミュレーションの条件の都合により、１回分の重み更新が余計に発生している。このため、図８〜図１１の例では、設定されたダイナミックレンジ（本例では、「−２．０以上で＋２．０以下の範囲」あるいは「−１．０以上で＋１．０以下の範囲」）の外側に特性がはみ出しているところがあるが、これは単にシミュレーションの事情によるもので、正確な値を示唆するものではない。このように本シミュレーションの結果では、一部で正確な値ではないところもあるが、全体としては特性の傾向を表わしている。
ここで、図８〜図１１の例に示されるように、すべての層（本実施形態では、１層目〜２層目）について同じダイナミックレンジをニューロモルフィック素子に設定した場合と比べて、各層（本実施形態では、１層目、２層目）について異なるダイナミックレンジをニューロモルフィック素子に設定した場合の方が識別性能が良好になることが生じ得る。

［ダイナミックレンジのオフセット量］
上記では、ニューロモルフィック素子に設定されるダイナミックレンジが「−Ｂ以上で＋Ｂ以下の範囲」（Ｂは任意の正の値であるとする。）であり、当該ダイナミックレンジの中央値が０である場合を示した。この場合におけるダイナミックレンジのオフセット量を０とする。

これに対して、ニューロモルフィック素子に設定されるダイナミックレンジについて、オフセット量が設定されてもよい。この場合、ダイナミックレンジの中央値が０からオフセット量だけずれる。
なお、本実施形態では、オフセット量の大きさにかかわらず、ダイナミックレンジの幅は一定であるとする。

例えば、オフセット量が０である場合にダイナミックレンジが「−Ｂ以上で＋Ｂ以下の範囲」であるとき、オフセット量が０ではないＣ（Ｃは正の値または負の値）である場合には、ダイナミックレンジは「（−Ｂ＋Ｃ）以上で（＋Ｂ＋Ｃ）以下の範囲」となる。
ダイナミックレンジのオフセット量が０であるときと比べて、ダイナミックレンジのオフセット量が０ではないときの方が、識別精度が高くなる場合が生じ得る。

図１２は、本発明の実施形態に係るニューロモルフィック素子に設定されるダイナミックレンジのオフセット量に応じた識別精度の一例を示す図である。
図１２に示されるグラフにおいて、２種類の横軸のうち、一方の軸は１層目におけるニューロモルフィック素子に設定されるダイナミックレンジのオフセット量（１層目のオフセット量）を表わしており、他方の軸は２層目におけるニューロモルフィック素子に設定されるダイナミックレンジのオフセット量（２層目のオフセット量）を表わしている。また、縦軸は、このようなオフセット量の設定により得られる識別精度［％］を表わしている。
図１２の例では、これら三者の関係を表す特性１７１１を示してあり、識別精度が最大となる位置に矢印１７２１（なお、図１２の例では、矢印１７２１は縦軸と平行ではない。）を示してある。
図１２の例では、識別精度が最大となる位置で、１層目のオフセット量が「０．００３８」であり、２層目のオフセット量が「０．１１９６」であり、識別精度が「８７．９８［％］」である。

ここで、本実施形態では、コンピュータにより、ニューロモルフィック素子に設定されるダイナミックレンジのオフセット量を演算する。このようなオフセット量を演算する機能は、例えば、実数シミュレーターにより実現される機能であってもよい。なお、このようなコンピュータは、例えば、ニューラルネットワーク回路１０１（例えば、重み演算制御回路１１２）に備えられるコンピュータであってもよく、あるいは、他のコンピュータであってもよい。

本実施形態では、コンピュータにより、素子アレイ１２１に含まれるニューロモルフィック素子の特性の分解能よりも高い精度で、素子アレイ１２１により実現されるニューラルネットワークにおける重みの値（真値）を演算した結果に基づいて、当該重みの値（真値）の平均値と一致する値をオフセット量として設定する。
他の例として、コンピュータにより、各層におけるダイナミックレンジのオフセット量を様々に変化させて所定の誤差を表す値を演算し、当該誤差を表す値が小さくなる（好ましくは、最小になる）オフセット量を求める手法が用いられてもよい。なお、誤差を表す値が小さくなる（好ましくは、最小になる）オフセット量の代わりに、識別精度が大きくなる（好ましくは、最大になる）オフセット量が求められてもよい。

［事後学習］
ニューラルネットワーク回路１０１では、素子アレイ１２１に含まれるニューロモルフィック素子について、ダイナミックレンジが割り当てられた後に、事後学習を行うことで、重みのチューニングを行ってもよい。
ここで、チューニングを行う手法としては、任意の手法が用いられてもよい。

［情報の記憶］
ニューラルネットワーク回路１０１では、素子アレイ１２１に含まれるニューロモルフィック素子について、割り当てられたダイナミックレンジ（ダイナミックレンジの幅、オフセット量）、量子化ステップサイズ、分解能、各ニューロモルフィック素子に設定されたステップ番号などの情報を記憶部（記憶部２４に相当するメモリなど）に記憶してもよい。

［複数のニューロモルフィック素子に対するダイナミックレンジの設定］
素子アレイ１２１では、例えば、複数の層があり、それぞれの層ごとに複数（複数のユニット）のニューロモルフィック素子を備える。
一例として、複数の層を有するニューラルネットワークに含まれるニューロモルフィック素子について、それぞれの層ごとに、共通の離散化ステップサイズを使用して、共通のダイナミックレンジ（例えば、ダイナミックレンジの幅、オフセット量）が求められて設定されてもよい。
他の例として、それぞれの層ごとに含まれる複数のニューロモルフィック素子を２個以上のグループに分けて、それぞれのグループごとに、共通の離散化ステップサイズを使用して、共通のダイナミックレンジ（例えば、ダイナミックレンジの幅、オフセット量）が求められて設定されてもよい。この場合、同一の層において、当該層に含まれる複数のニューロモルフィック素子が２個以上のグループにグループ分けされる。これにより、例えば、それぞれのユニットの重要度（寄与度）などに応じて、異なるダイナミックレンジを設定することが可能である。
他の例として、それぞれのニューロモルフィック素子ごとに、任意の異なり得る離散化ステップサイズを使用して、任意の異なり得るダイナミックレンジ（例えば、ダイナミックレンジの幅、オフセット量）が求められて設定されてもよい。これにより、例えば、それぞれのニューロモルフィック素子の重要度（寄与度）などに応じて、異なるダイナミックレンジを設定することが可能である。

［ニューラルネットワーク回路において行われる処理の手順の一例］
図１３は、本発明の実施形態に係るニューラルネットワーク回路１０１において行われる処理の手順の一例を示す図である。

（ステップＳ１）
コンピュータにより、素子アレイ１２１に含まれるニューロモルフィック素子の特性の分解能よりも高い精度で、素子アレイ１２１により実現されるニューラルネットワークにおける重みの値（真値）を演算する。

（ステップＳ２）
コンピュータにより、素子アレイ１２１に含まれるニューロモルフィック素子の特性の分解能を想定した演算を行う。これにより、例えば、コンピュータにより、素子アレイ１２１に含まれるニューロモルフィック素子の特性の分解能を想定した場合について、誤差に関する関数、あるいは、識別精度に関する関数を演算する。

（ステップＳ３）
コンピュータにより、素子アレイ１２１に含まれるニューロモルフィック素子について、所定の条件を満たす量子化ステップサイズを演算する。当該所定の条件としては、例えば、誤差に関する条件、あるいは、識別精度に関する条件のうちの一方または両方が用いられてもよい。

（ステップＳ４）
コンピュータにより、素子アレイ１２１に含まれるニューロモルフィック素子について、ダイナミックレンジのオフセット量を演算する。
ここで、あらかじめオフセット量が所定値（例えば、０）に設定されている場合には、ステップＳ４の処理は省略されてもよい。

（ステップＳ５）
コンピュータにより、重みのダイナミックレンジを演算する。この場合、例えば、分解能、量子化ステップサイズおよびオフセット量に基づいて、ダイナミックレンジが演算される。

（ステップＳ６）
演算されたダイナミックレンジがニューラルネットワーク回路１０１に設定される。そして、ニューラルネットワーク回路１０１により、素子アレイ１２１により実現されるニューラルネットワークについて、所定の事後学習を行う。
なお、事後学習が不要である場合には、ステップＳ６の処理は省略されてもよい。

ここで、ニューラルネットワーク回路１０１とは別のコンピュータによりダイナミックレンジの演算結果が得られる場合には、ユーザーまたは当該コンピュータなどにより、演算されたダイナミックレンジがニューラルネットワーク回路１０１に設定される。この場合、例えば、オフチップラーニング（Ｏｆｆ Ｃｈｉｐ Ｌｅａｒｎｉｎｇ）が行われてもよく、つまり、ニューラルネットワーク回路１０１とは別に設けられた実数等の高精度計算機（コンピュータ）により学習などの演算が実行されて、その演算の結果がニューラルネットワーク回路１０１に設定されてもよい。

［第１の実施形態のまとめ］
以上のように、本実施形態に係るニューラルネットワークシステム１では、分解能が有限であるニューロモルフィック素子により重み（結合重み）を実現する構成において、当該分解能より高い精度で実数シミュレーターなどにより求められた結合重みの真値を用いた場合と、当該ニューロモルフィック素子の特性に設定する離散化ステップサイズを用いた場合に基づいて、適した離散化ステップサイズが決定される。また、決定された離散化ステップサイズと、当該分解能に基づいて、ダイナミックレンジ（ダイナミックレンジの幅）が決定される。また、ダイナミックレンジのオフセット量（０、または、０以外の値）に基づいて、ダイナミックレンジ（ダイナミックレンジの幅およびオフセット量であり、上限値と下限値）が決定される。

そして、本実施形態に係るニューラルネットワークシステム１では、決定されたダイナミックレンジ（上限値と下限値）に基づいて、ニューロモルフィック素子の特性（本実施形態では、コンダクタンス）の値を制御する。当該ニューロモルフィック素子では、当該ニューロモルフィック素子の特性の範囲（本実施形態では、コンダクタンスの上限値と下限値の間の範囲）において、制御された特性の値に応じた重みを信号に与える。これにより、素子アレイ部１２（素子アレイ１２１）では、当該素子アレイ部１２により構成されるニューラルネットワークの処理（例えば、入力される識別対象を識別する処理）が実現される。

本実施形態に係るニューラルネットワークシステム１では、ニューラルネットワークにおける積和演算にニューロモルフィック素子を使用する場合に、結果の精度を向上させることができる。

例えば、ニューロモルフィック素子を用いてニューラルネットワークが実現される場合、学習で得られた結合重みを規格化してニューロモルフィック素子の出力レンジ（ダイナミックレンジ）に割り当てることが想定される。その際、ニューロモルフィック素子の特性の変化はステップ状であるため、量子化誤差が発生する。
また、例えば、ニューラルネットワークにおける重みの更新に使用される誤差逆伝搬法では、重みの更新量は入力データあるいは教師データの絶対値に依存し、層ごとに重みの取り得るダイナミックレンジが異なる。さらに、重みの更新量は、重みの更新に使用されるアルゴリズムに依存する。
そこで、本実施形態に係るニューラルネットワークシステム１では、量子化誤差がニューラルネットワークの識別性能に与える影響を考慮し、ニューロモルフィック素子に割り当てる重みの値を適切に設定する。これにより、本実施形態に係るニューラルネットワークシステム１では、ニューロモルフィック素子を用いたニューラルネットワークにおける識別性能の低下を抑制することができる。

ここで、実数を用いたシミュレーションなどによる演算結果で得られるダイナミックレンジよりも狭いダイナミックレンジをニューロモルフィック素子に設定しても、当該ニューロモルフィック素子を用いたニューラルネットワークにおける識別精度が改善し得る。

また、本実施形態に係るニューラルネットワークシステム１では、多層のニューラルネットワークにおいて、入力に近い層（本実施形態では、入力層から隠れ層の出力までの１層目）に対して、それよりも後段の層（本実施形態では、隠れ層の出力から出力層の出力までの２層目）と比べて、小さい（狭い）ダイナミックレンジを設定する。本実施形態では、ユニット数が大きい入力層の側の精度の方が後段の層と比べて重要であると考えられるため、入力層の側では量子化ステップサイズが小さくなるように（つまり、高演算精度に）設定する。

ここで、本実施形態では、ニューラルネットワークにより識別する対象（識別対象）として、数字の画像のデータが用いられたが、識別対象としては任意のデータが用いられてもよい。
また、ニューラルネットワークとしては、任意の種類のニューラルネットワークが用いられてもよく、例えば、全結合型のニューラルネットワーク、畳み込みニューラルネットワーク、あるいは、再帰型ニューラルネットワークなどが用いられてもよい。

また、本実施形態では、ニューラルネットワークを実現するための積和演算で使用されるニューロモルフィック素子のダイナミックレンジを設定する場合について説明したが、本実施形態と同様な構成はニューラルネットワーク以外の分野に適用されてもよい。
例えば、任意の分野における積和演算を行うアレイ（積和演算アレイ）、あるいは、任意の分野における積和演算を含むアナログ演算器などに、本実施形態と同様な構成が適用されてもよい。
また、アレイに備えられるニューロモルフィック素子の分解能としては、様々な分解能が用いられてもよい。例えば、アレイがニューロモルフィック素子を含む複数の層を有する場合に、それぞれの層ごとに共通の分解能（同じ分解能）を有するニューロモルフィック素子を備えてもよい。また、このような場合に、異なる層におけるニューロモルフィック素子の分解能は異なる、構成が用いられてもよい。つまり、同一の層に含まれる複数のニューロモルフィック素子の分解能が同じである構成が用いられてもよく、また、ニューロモルフィック素子が含まれる層が異なると分解能も異なる構成が用いられてもよく、また、これら両方の構成が用いられてもよい。

［第２の実施形態］
以下、図１４から図２７を参照して、本発明の第２の実施形態について説明する。

［ニューラルネットワーク装置の概要］
図１４は、本発明の第２の実施形態に係るニューラルネットワーク装置３００の概略的な構成を示す図である。
ニューラルネットワーク装置３００は、センシングデバイス３１０と、ＡＤコンバータ３２０と、間引き回路３３０と、閾値取得部３４０と、ＰＷＭ変調回路３５０と、ニューロモルフィック(Neuromorphic)デバイス３６０と、電流積分回路３７０とを備える。

センシングデバイス３１０は、種々のセンサによって構成され得る。一例として、センシングデバイス３１０は、例えば、ＣＣＤ(Charge-Coupled Device)イメージセンサやＣＭＯＳ(Complementary MOS)イメージセンサなどの撮像素子を備えており、入射する光の光量に応じた画像信号を出力する。この一例では、センシングデバイス３１０は、画像を定められた画素数やフレーム周期でサンプリングし、サンプリングした画像の画素値をアナログ信号として出力する。
ＡＤコンバータ３２０は、センシングデバイス３１０が出力するアナログ信号を所定の量子化段階数（量子化ビット数）によってデジタル信号に変換する。なお、デジタル信号の量子化段階数のことを、デジタル信号の分解能ともいう。
この一例では、ＡＤコンバータ３２０は、８ビットの量子化段階数（すなわち、０〜２５５の２５６段階）によって変換する。この場合、ＡＤコンバータ３２０から出力されるデジタル信号の量子化段階数は、２５６段階である。ＡＤコンバータ３２０は、変換後のデジタル信号を間引き回路３３０に対して出力する。

なお、この一例では、ニューラルネットワーク装置３００がセンシングデバイス３１０とＡＤコンバータ３２０とを含むとして説明するが、これに限られない。ニューラルネットワーク装置３００は、センシングデバイス３１０とＡＤコンバータ３２０とを含まない構成であってもよい。この場合には、ニューラルネットワーク装置３００は、ＡＤコンバータ３２０が出力するデジタル信号を取得する。

間引き回路３３０は、ＡＤコンバータ３２０が出力するデジタル信号を入力信号ＩＳとして取得する。上述したように、入力信号ＩＳは、８ビット量子化されている。つまり、この一例において、入力信号ＩＳの量子化段階数は、２５６段階である。

この間引き回路３３０（間引き部）は、予め定められた閾値ｔｈに基づいて入力信号ＩＳの量子化段階数よりも少ない段階数の離散値に変換することにより間引き信号ＤＳを生成する。以下の説明において、入力信号ＩＳの大きさを示すデジタル値（離散値）を入力離散値ＩＤＶとも記載する。また、間引き信号ＤＳの大きさを示すデジタル値（離散値）を間引き後離散値ＤＤＶとも記載する。

閾値取得部３４０は、間引き回路３３０が参照する閾値ｔｈを外部回路（又は、外部装置）から取得する。
この閾値取得部３４０が取得する閾値ｔｈは、ニューロモルフィックデバイス３６０が出力する出力電流ＯＣ（重み付け信号）の重み付け結果に基づいて予め定められている。

この閾値取得部３４０が取得する閾値ｔｈ、及びこの閾値ｔｈと、間引き回路３３０による変換前後の離散値との関係について、図１５及び図１６を参照して説明する。

図１５は、本実施形態の間引き回路３３０が参照する閾値ｔｈの一例を示す図である。
図１６は、本実施形態の間引き回路３３０による離散値変換の一例を示す図である。
この一例では、入力信号ＩＳの量子化段階数（２５６段階）を４分割する閾値ｔｈ１〜閾値ｔｈ３が設定されている。より具体的には、閾値ｔｈ１は、値６４に設定されている。この場合、間引き回路３３０は、入力離散値ＩＤＶが閾値ｔｈ１以下（すなわち、値６４以下）である場合には、間引き後離散値ＤＤＶを０（ゼロ）として、離散値を変換する。同様にして、間引き回路３３０は、閾値ｔｈ２の値（例えば、値１２８）、閾値ｔｈ３の値（例えば、値１９２）を判定閾値にして、入力離散値ＩＤＶを間引き後離散値ＤＤＶに変換する。
すなわち、間引き回路３３０は、入力離散値ＩＤＶが０〜６４である場合には、間引き後離散値ＤＤＶを０（ゼロ）とする。間引き回路３３０は、入力離散値ＩＤＶが６５〜１２８である場合には、間引き後離散値ＤＤＶを１とする。間引き回路３３０は、入力離散値ＩＤＶが１２９〜１９２である場合には、間引き後離散値ＤＤＶを２とする。間引き回路３３０は、入力離散値ＩＤＶが１９３〜２５５である場合には、間引き後離散値ＤＤＶを３とする。

図１４に戻り、間引き回路３３０は、離散値を変換した後のデジタル信号を間引き信号ＤＳとしてＰＷＭ変調回路３５０に出力する。

ＰＷＭ変調回路３５０（変調部）は、間引き回路３３０が出力する間引き信号ＤＳを取得する。ＰＷＭ変調回路３５０は、間引き回路３３０が生成する間引き信号ＤＳの離散値をパルス幅変調することにより、間引き信号ＤＳの離散値をパルス幅によって示すパルス幅変調信号ＰＭＳを生成する。このＰＷＭ変調回路３５０によるパルス幅変調の一例について、図１７を参照して説明する。

図１７は、本実施形態のＰＷＭ変調回路３５０によるパルス幅変調の一例を示す図である。ＰＷＭ変調回路３５０は、間引き後離散値ＤＤＶの値の大きさに応じたパルス幅のパルス幅変調信号ＰＭＳを生成する。
具体的には、間引き信号ＤＳの間引き後離散値ＤＤＶが３である場合には、ＰＷＭ変調回路３５０は、パルス幅３（時刻ｔ０〜時刻ｔ３）のパルス幅変調信号ＰＭＳを生成する（図１７（Ａ））。間引き信号ＤＳの間引き後離散値ＤＤＶが２である場合には、ＰＷＭ変調回路３５０は、パルス幅２（時刻ｔ０〜時刻ｔ２）のパルス幅変調信号ＰＭＳを生成する（図１７（Ｂ））。間引き信号ＤＳの間引き後離散値ＤＤＶが１である場合には、ＰＷＭ変調回路３５０は、パルス幅１（時刻ｔ０〜時刻ｔ１）のパルス幅変調信号ＰＭＳを生成する（図１７（Ｃ））。間引き信号ＤＳの間引き後離散値ＤＤＶが０（ゼロ）である場合には、ＰＷＭ変調回路３５０は、パルス幅０（ゼロ）のパルス幅変調信号ＰＭＳを生成する（図１７（Ｄ））。
図１４に戻り、ＰＷＭ変調回路３５０は、生成したパルス幅変調信号ＰＭＳをニューロモルフィックデバイス３６０に対して出力する。
ニューロモルフィックデバイス３６０は、パルス幅変調信号ＰＭＳと、予め設定されている重みとに基づいて、重みづけ信号である出力電流ＯＣを出力する。

図１８は、本実施形態のニューロモルフィックデバイス３６０の構成の一例を示す図である。ニューロモルフィックデバイス３６０は、ニューロモルフィック素子を備えている。ニューロモルフィックデバイス３６０は、可変な特性の値に応じた重みを、ＰＷＭ変調回路３５０（変調部）が生成するパルス幅変調信号ＰＭＳに対して乗算することにより、パルス幅変調信号ＰＭＳが重み付けされた出力電流ＯＣ（重み付け信号）を出力する。

電流積分回路３７０は、ニューロモルフィックデバイス３６０（重み付け部）が出力する出力電流ＯＣ（重み付け信号）の電流の大きさを積算（時間積分）する。電流積分回路３７０は、出力信号線のそれぞれに備えられる。この図１８には、複数の入力信号Ｘ［０］〜Ｘ［ｎ］のうちのＸ［０］〜Ｘ［２］の３本、及び複数の出力信号線のうちの３本を模式的に示している。この一例の場合、電流積分回路３７０は、電流積分回路３７０−１〜−３を含む。

図１９は、本実施形態のニューロモルフィックデバイス３６０に供給されるパルス幅変調信号ＰＭＳの一例を示す図である。この一例の場合、ニューロモルフィックデバイス３６０には、パルス幅２のパルス幅変調信号ＰＭＳ２が入力信号Ｘ［０］として、パルス幅１のパルス幅変調信号ＰＭＳ１が入力信号Ｘ［１］として、パルス幅０のパルス幅変調信号ＰＭＳ０が入力信号Ｘ［２］として、それぞれ供給される。
ニューロモルフィックデバイス３６０は、入力信号Ｘ［０］に対して、重みｗ［０，１］、重みｗ［０，２］、及び重みｗ［０，３］をそれぞれ乗算して、出力電流ＯＣとして出力する。同様にして、ニューロモルフィックデバイス３６０は、入力信号Ｘ［１］に対して、重みｗ［１，１］、重みｗ［１，２］、及び重みｗ［１，３］をそれぞれ乗算して、出力電流ＯＣとして出力する。ニューロモルフィックデバイス３６０は、入力信号Ｘ［２］に対して、重みｗ［２，１］、重みｗ［２，２］、及び重みｗ［２，３］をそれぞれ乗算して、出力電流ＯＣとして出力する。
電流積分回路３７０−１は、出力電流ＯＣ１の電流の大きさを積算する。電流積分回路３７０−２は、出力電流ＯＣ２の電流の大きさを積算する。電流積分回路３７０−３は、出力電流ＯＣ３の電流の大きさを積算する。

以上説明したように、本実施形態のニューラルネットワーク装置３００は、入力信号ＩＳの入力離散値ＩＤＶを、入力信号ＩＳの量子化段階数よりも少ない段階数の離散値に変換する。ここで、本実施形態のニューラルネットワーク装置３００と、従来のニューラルネットワーク装置との比較について説明する。

図２７は、従来のニューラルネットワーク装置の構成の一例を示す図である。この従来のニューラルネットワーク装置は、本実施形態の間引き回路３３０を備えておらず、入力信号ＩＳの入力離散値ＩＤＶをそのままパルス幅変調信号ＰＭＳに変換する。ここで、入力信号ＩＳの量子化段階数が２５６段階である場合、パルス幅変調信号ＰＭＳのパルス幅は、０〜２５５の２５６段階になる。ここで、電流積分回路３７０における出力電流ＯＣの積算に要する時間（積算時間）は、ニューロモルフィックデバイス３６０に供給されるパルス幅変調信号ＰＭＳのパルス幅の段階数に依存する。例えば、この従来のニューラルネットワーク装置のように、２５６段階のパルス幅のパルス幅変調信号ＰＭＳがニューロモルフィックデバイス３６０に供給される場合、電流積分回路３７０における出力電流ＯＣの積算時間は、２５６段階に応じた時間を要する。
つまり、入力信号ＩＳの入力離散値ＩＤＶの量子化段階数が多いほど、電流積分回路３７０における出力電流ＯＣの積算時間が長くなり、演算時間が長くなる（例えば、スループットが低下する）という問題が生じる。
また、電流積分回路３７０における積算結果は、電源電圧変動や外乱などにより出力電流ＯＣに含まれるノイズ成分の影響を受ける。電流積分回路３７０における出力電流ＯＣの積算時間が長くなるほど、出力電流ＯＣに含まれるノイズ成分の影響を受けやすくなる。
このノイズ成分の影響を低減して、電流積分回路３７０における積算結果の精度を高めるためには、例えば、パルス幅変調信号ＰＭＳの１離散値あたりのパルス幅（単位パルス幅）を長くすることにより、出力電流ＯＣのＳ／Ｎ比を大きくすることが考えられる。しかしながら、パルス幅変調信号ＰＭＳの単位パルス幅を長くすると、電流積分回路３７０における積算時間がさらに長くなるという問題が生じる。

一方、本実施形態のニューラルネットワーク装置３００は、間引き回路３３０を備えている。上述したように、間引き回路３３０は、ニューロモルフィックデバイス３６０に供給されるパルス幅変調信号ＰＭＳのパルス幅の段階数を削減する。このため、本実施形態のニューラルネットワーク装置３００によれば、入力信号ＩＳの量子化段階数（量子化ビット数）が比較的大きい場合であっても、電流積分回路３７０における出力電流ＯＣの積算時間を低減することができる。このため、ニューラルネットワーク装置３００によれば、演算時間を低減できる。また、ニューラルネットワーク装置３００によれば、電流積分回路３７０における出力電流ＯＣの積算時間が低減されるため、出力電流ＯＣに含まれるノイズ成分の影響を受けにくくなり、電流積分回路３７０における積算結果の精度を、上述した従来技術に比べて高めることができる。

［変形例（その１）］
図２０は、本実施形態のニューロモルフィックデバイス３６０に供給されるパルス幅変調信号ＰＭＳの変形例を示す図である。本変形例においては、ＰＷＭ変調回路３５０が出力するパルス幅変調信号ＰＭＳの立ち上がりタイミング及び立下りタイミングを調整する機能を有している点において、上述した実施形態と相違する。

具体的には、間引き回路３３０は、複数の間引き信号ＤＳを生成する。ＰＷＭ変調回路３５０は、間引き回路３３０が生成する複数の間引き信号ＤＳにそれぞれ対応するパルス幅変調信号ＰＭＳを生成する。
この一例では、間引き回路３３０は、間引き信号ＤＳ０〜間引き信号ＤＳ２を生成する。同図に示す一例では、間引き信号ＤＳ０は値０（ゼロ）を、間引き信号ＤＳ１は値１を、間引き信号ＤＳ２は値２をそれぞれ示している。ＰＷＭ変調回路３５０は、間引き信号ＤＳ０に対応するパルス幅変調信号ＰＭＳとしてのパルス幅変調信号ＰＭＳ１０を生成する。同様に、ＰＷＭ変調回路３５０は、間引き信号ＤＳ１に対応するパルス幅変調信号ＰＭＳとしてのパルス幅変調信号ＰＭＳ１１を、間引き信号ＤＳ２に対応するパルス幅変調信号ＰＭＳとしてのパルス幅変調信号ＰＭＳ１２をそれぞれ生成する。同図に示す一例では、パルス幅変調信号ＰＭＳ１０のパルス幅は０（ゼロ）である。パルス幅変調信号ＰＭＳ１１のパルス幅はΔｔ１である。また、パルス幅変調信号ＰＭＳ１２のパルス幅はΔｔ２である。

ここで、ＰＷＭ変調回路３５０は、パルス幅変調信号ＰＭＳ１１のパルスの変化タイミングと、パルス幅変調信号ＰＭＳ１２のパルスの変化タイミングとを互いに異ならせて、パルス幅変調信号ＰＭＳ１０〜パルス幅変調信号ＰＭＳ１２を生成する。具体的には、ＰＷＭ変調回路３５０は、パルス幅変調信号ＰＭＳ１１のパルスの立ち上がりタイミングから遅れ時間ｔｄだけ遅延したタイミングを、パルス幅変調信号ＰＭＳ１２のパルスの立ち上がりタイミングにして、それぞれの信号を生成する。

すなわち、この変形例のＰＷＭ変調回路３５０は、パルス幅変調信号ＰＭＳの信号波形が変化するパルスの立ち上がりタイミング及び立ち下りタイミングを、複数のパルス幅変調信号ＰＭＳ間において互いにずらす。このように構成することにより、ニューラルネットワーク装置３００は、複数のパルス幅変調信号ＰＭＳ間において同時に信号波形が変化する場合に比べて、パルス幅変調信号ＰＭＳの信号波形が変化する際の電源電圧の変動（例えば、スパイクノイズの発生）を低減することができる。このため、ニューラルネットワーク装置３００は、電流積分回路３７０による出力電流ＯＣの積算結果に悪影響を及ぼすノイズの発生を低減することができ、出力電流ＯＣの積算結果の精度を向上させることができる。

［変形例（その２）］
図２１は、本実施形態の間引き回路３３０が参照する閾値ｔｈの変形例を示す図である。
図２２は、本実施形態の間引き回路３３０による離散値変換の変形例を示す図である。
上述した実施形態においては、閾値ｔｈが入力離散値ＩＤＶを等分割（例えば、４等分）していた（図１５及び図１６を参照。）。本変形例においては、閾値ｔｈが入力離散値ＩＤＶを不等分割する点において、上述した実施形態と相違する。

この一例では、入力信号ＩＳの量子化段階数（２５６段階）を４分割する閾値ｔｈ１〜閾値ｔｈ３が設定されている。より具体的には、閾値ｔｈ１１は、値９６に設定されている。この場合、間引き回路３３０は、入力離散値ＩＤＶが閾値ｔｈ１以下（すなわち、値９６以下）である場合には、間引き後離散値ＤＤＶを０（ゼロ）として、離散値を変換する。同様にして、間引き回路３３０は、閾値ｔｈ１２の値（例えば、値１２８）、閾値ｔｈ１３の値（例えば、値１６０）を判定閾値にして、入力離散値ＩＤＶを間引き後離散値ＤＤＶに変換する。
すなわち、間引き回路３３０は、入力離散値ＩＤＶが０〜９６である場合には、間引き後離散値ＤＤＶを０（ゼロ）とする。間引き回路３３０は、入力離散値ＩＤＶが９７〜１２８である場合には、間引き後離散値ＤＤＶを１とする。間引き回路３３０は、入力離散値ＩＤＶが１２９〜１６０である場合には、間引き後離散値ＤＤＶを２とする。間引き回路３３０は、入力離散値ＩＤＶが１６１〜２５５である場合には、間引き後離散値ＤＤＶを３とする。

ここで、センシングデバイス３１０によるセンシング対象の情報を、入力信号ＩＳに変換した場合において、情報量が比較的多い入力離散値ＩＤＶの範囲と、情報量が比較的少ない入力離散値ＩＤＶの範囲とが生じる場合がある。
例えば、センシングデバイス３１０によるセンシング対象の情報が、画像である場合、イメージセンサの画素が出力する画素値（例えば、画素の明るさ）が入力離散値ＩＤＶに変換される。具体的には、センシング対象の情報が、図４に示したような画像である場合、画像の明るさが２５５階調のグレースケールによって変換される。例えば、画像の明るさが０（例えば、完全な黒）である部分は、入力離散値ＩＤＶが０（ゼロ）に、画像の明るさが２５５（例えば、完全な白）である部分は、入力離散値ＩＤＶが２５５にそれぞれ変換される。このとき、ニューラルネットワーク装置３００において、例えば、画像に示されている文字（数字）の形状やその意味を解釈する場合には、画像の白と黒とが切り替わる輪郭部分の情報が比較的重要であって、他の部分（例えば、黒い背景の部分や、文字（数字）内の白の部分）の明度の変化のような情報は比較的重要でない場合がある。この一例のように画像の白と黒とが切り替わる部分の情報が重要であるとすると、２５６段階の入力離散値ＩＤＶの範囲のうち、白と黒とが切り替わる９７〜１６０の範囲（例えば、明るい灰色〜暗い灰色）の部分の情報は比較的重要であって、その情報量は多いといえる。また、この一例の場合、２５６段階の入力離散値ＩＤＶの範囲のうち、０〜９６の範囲（例えば、完全な白〜明るい灰色）、及び１６１〜２５５の範囲（例えば、暗い灰色〜完全な黒）の部分の情報は比較的重要ではなく、その情報量は少ないといえる。

本変形例の閾値ｔｈは、入力信号ＩＳの量子化段階数を不等幅にして分割する。上述の一例では、入力離散値ＩＤＶの範囲のうち比較的重要な範囲（例えば、９７〜１６０の範囲）は閾値ｔｈどうしの間の幅が比較的狭く、比較的重要でない範囲（例えば、０〜９６の範囲、及び１６１〜２５５の範囲）は閾値ｔｈどうしの間の幅が比較的広く設定されている。したがって、本変形例のニューラルネットワーク装置３００によれば、入力信号ＩＳに含まれる情報のうち、より重要な情報を間引き信号ＤＳに含ませることができる。

ここで、例えば、閾値ｔｈの数を増加させ閾値ｔｈどうしの間隔を狭めれば、入力信号ＩＳに含まれる情報のうち、より重要な情報を間引き信号ＤＳに含ませることができる。しかしながら、閾値ｔｈの数を増加させると、間引き信号ＤＳの量子化段階数が増加し、パルス幅変調信号ＰＭＳのパルス幅が増加することにより、演算時間の増加やノイズの影響を受けやすくなるといった上述した問題が生じてしまう。

本変形例のニューラルネットワーク装置３００によれば、閾値ｔｈの数を増加させずに、入力信号ＩＳに含まれる情報のうち、より重要な情報を間引き信号ＤＳに含ませることができる。すなわち、ニューラルネットワーク装置３００は、間引き信号ＤＳの量子化段階数の増加を抑えつつ、より重要な情報を間引き信号ＤＳに含ませることができる。

［変形例（その３）］
図２３は、本実施形態の間引き回路３３０が参照する閾値ｔｈの第２の変形例を示す図である。
図２４は、本実施形態の間引き回路３３０による離散値変換の第２の変形例を示す図である。
上述した実施形態においては、複数の閾値ｔｈによって入力離散値ＩＤＶを分割（例えば、４分割）していた（図１５及び図１６を参照。）。本変形例においては、単一の閾値ｔｈによって入力離散値ＩＤＶを２分割する点において、上述した実施形態と相違する。

すなわち、本変形例の間引き回路３３０は、入力信号ＩＳの量子化段階数を２分割することにより二値の間引き信号ＤＳを生成する。同図に示す具体例では、入力信号ＩＳの量子化段階数（２５６段階）を２分割する閾値ｔｈ２１が設定されている。この場合、間引き回路３３０は、入力離散値ＩＤＶが閾値ｔｈ２１以下（すなわち、値１２８以下）である場合には間引き後離散値ＤＤＶを０（ゼロ）として、閾値ｔｈ２１を超える（すなわち、値１２９以上）である場合には間引き後離散値ＤＤＶを１として、離散値を変換する。

図２５は、本実施形態のＰＷＭ変調回路３５０によるパルス幅変調の変形例を示す図である。ＰＷＭ変調回路３５０は、間引き後離散値ＤＤＶの値の大きさに応じたパルス幅のパルス幅変調信号ＰＭＳを生成する。この変形例の場合、ＰＷＭ変調回路３５０は、間引き信号ＤＳに応じた２値のパルス幅変調信号ＰＭＳ、すなわちパルス幅０（ゼロ）のパルス幅変調信号ＰＭＳ２０と、パルス幅がΔｔ１のパルス幅変調信号ＰＭＳ２１とを生成する。ＰＷＭ変調回路３５０は、生成したパルス幅変調信号ＰＭＳをニューロモルフィックデバイス３６０に供給する。

図２６は、本実施形態のニューロモルフィックデバイス３６０に供給されるパルス幅変調信号ＰＭＳの変形例を示す図である。この一例の場合、ニューロモルフィックデバイス３６０には、パルス幅１のパルス幅変調信号ＰＭＳ３１が入力信号Ｘ［０］及び入力信号Ｘ［１］として、パルス幅０のパルス幅変調信号ＰＭＳ３０が入力信号Ｘ［２］として、それぞれ供給される。
図１９を参照して説明した場合と同様に、ニューロモルフィックデバイス３６０は、入力信号Ｘ［０］に対して、重みｗ［０，１］、重みｗ［０，２］、及び重みｗ［０，３］をそれぞれ乗算して、出力電流ＯＣとして出力する。同様にして、ニューロモルフィックデバイス３６０は、入力信号Ｘ［１］に対して、重みｗ［１，１］、重みｗ［１，２］、及び重みｗ［１，３］をそれぞれ乗算して、出力電流ＯＣとして出力する。ニューロモルフィックデバイス３６０は、入力信号Ｘ［２］に対して、重みｗ［２，１］、重みｗ［２，２］、及び重みｗ［２，３］をそれぞれ乗算して、出力電流ＯＣとして出力する。

ここで、本変形例のニューロモルフィックデバイス３６０には、図１９を参照して説明した場合と異なり、供給されるパルス幅変調信号ＰＭＳのパルス幅が２値（例えば、パルス幅０（ゼロ）及びΔｔ１）のみである。したがって、電流積分回路３７０は、パルス幅を積算（時間積分）することなく、パルスの有無（すなわち、出力電流ＯＣの電流値の大小）を検出すればよい。

すなわち、本変形例においては、ニューラルネットワーク装置３００は、電流積分回路３７０に代えて、電流検出回路３７０ａを備える。この電流検出回路３７０ａは、出力電流ＯＣの電流値の大小を検出する。具体的には、図２６に示すように、電流検出回路３７０ａ−１は、出力電流ＯＣ３１の電流の大きさを検出する。電流検出回路３７０ａは、出力電流ＯＣ３２の電流の大きさを検出する。電流検出回路３７０ａは、出力電流ＯＣ３の電流の大きさを検出する。

一般に電流の大きさの検出は、電流の積算よりも簡易な回路（又は、より簡易なソフトウェアとの組み合わせ）によって実現可能である。すなわち、本変形例のニューラルネットワーク装置３００は、より簡易な構成により、ニューロモルフィックデバイス３６０の出力結果を検出することができる。
また、上述したように、電流積分回路３７０において出力電流ＯＣの積算時間が長くなると、ノイズ成分の影響により積算結果の精度が低下しやすい。本変形例のニューラルネットワーク装置３００によれば、出力電流ＯＣの積算をする必要がないため、出力電流ＯＣに含まれるノイズ成分の影響を受けにくくすることができる。さらにノイズ低減を図る場合は、複数回の電流検出値を平均化するなどの手法も適用可能である。したがって、本変形例のニューラルネットワーク装置３００によれば、積算結果の精度が低下してしまうことを抑止することができる。

なお、上述したように閾値ｔｈが、入力離散値ＩＤＶを「０（ゼロ）」と「１」とに二分した間引き後離散値ＤＤＶを出力するように定められている場合には、ニューロモルフィックデバイス３６０は、いわゆるバイナライズド・ニューラル・ネットワーク（以下、二値化ＮＮとも記載する。）として構成されていてもよい。
ニューロモルフィックデバイス３６０は、二値化ＮＮとして構成されている場合であっても、学習段階において、ニューロモルフィックデバイス３６０が出力する出力電流ＯＣに基づいて、重みｗ及び分解能を調整することにより、多値ニューラルネットワークと同程度の識別性能を得ることができる。

また、閾値ｔｈが入力信号ＩＳの値に基づいて可変にして定められていてもよい。上述したように、センシングデバイス３１０によるセンシング対象の情報が、例えば、画像である場合、イメージセンサの画素が出力する画素値（例えば、画素の明るさ）が入力離散値ＩＤＶに変換される。ここで、イメージセンサで撮像された画像の明るさは、例えば、画像の種類や撮像条件などによって変動することがある。したがって、入力離散値ＩＤＶの範囲のうち、画像の意味をより多く含んでいる範囲、すなわち比較的重要な範囲も変動することがある。このような場合においても、閾値ｔｈが入力信号ＩＳの値に基づいて可変にして定められていることにより、本変形例のニューラルネットワーク装置３００によれば、入力信号ＩＳに含まれる情報のうち、より重要な情報を間引き信号ＤＳに含ませることができる。

また、間引き回路３３０が生成する間引き信号ＤＳの離散値の段階数が、入力信号ＩＳに基づいて可変にして定められていてもよい。ここで、入力離散値ＩＤＶの範囲のうち、画像の意味をより多く含んでいる範囲、すなわち比較的重要な範囲が、入力信号ＩＳの値や種類によって変動することがある。このような場合においても、閾値ｔｈが入力信号ＩＳの値に基づいて可変にして定められていることにより、本変形例のニューラルネットワーク装置３００によれば、入力信号ＩＳに含まれる情報のうち、より重要な情報を間引き信号ＤＳに含ませることができる。
なお、上述したように、間引き回路３３０が生成する間引き信号ＤＳの離散値の段階数は、入力信号ＩＳの量子化段階数よりも少ない段階数の範囲にして定められている。つまり、この一例の場合には、間引き回路３３０が生成する間引き信号ＤＳの離散値の段階数が、入力信号ＩＳの量子化段階数よりも少ない段階数の範囲において、入力信号の値に基づいて可変にして定められている。

また、上述したように、本実施形態のニューロモルフィックデバイス３６０のニューロモルフィック素子は、完全なアナログ線形的なコンダクタンス（Ｇ）の変化特性を有しておらず、有限な分解能（換言すれば、離散値の段階数）を有している。間引き回路３３０は、このニューロモルフィック素子の離散値の段階数に基づいて、間引き信号ＤＳの離散値の段階数を定めてもよい。例えば、間引き回路３３０は、間引き信号ＤＳの離散値の段階数を、ニューロモルフィック素子の離散値の段階数よりも少ない段階数にしてもよい。このように構成することにより、本実施形態のニューラルネットワーク装置３００によれば、入力信号ＩＳの量子化段階数（量子化ビット数）が比較的大きい場合であっても、電流積分回路３７０における出力電流ＯＣの積算時間を低減することができる。

なお、以上に示した実施形態に係る各装置（例えば、制御装置１１及びニューラルネットワーク装置３００）の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体（記憶媒体）に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、処理を行ってもよい。
なお、ここでいう「コンピュータシステム」とは、オペレーティング・システム（ＯＳ：Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）あるいは周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また、記録媒体としては、例えば、一時的にデータを記録する記録媒体であってもよい。

さらに、「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークあるいは電話回線等の通信回線を介してプログラムが送信された場合のサーバあるいはクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）あるいは電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

＜構成例＞
一構成例として、可変な特性（例えば、コンダクタンスなど）の値に応じた重みを信号に乗算するニューロモルフィック素子を含むアレイ（本実施形態では、素子アレイ１２１）の制御装置（本実施形態では、制御装置１１）であって、ニューロモルフィック素子の特性の分解能よりも高い精度で求められた重みの真値（本実施形態では、実数シミュレーターにより演算された真値）を用いた場合とニューロモルフィック素子の特性について設定される離散化ステップサイズ（本実施形態では、離散化ステップサイズに対応するパラメーターα、β）を用いた場合に基づいて所定の条件（誤差を小さくする所定の条件、あるいは、精度を大きくする所定の条件）が満たされるように求められた離散化ステップサイズを使用して、ニューロモルフィック素子の特性を制御する制御部（本実施形態では、制御装置１１の機能であり、例えば、重み割り当て制御部２３）を備える、制御装置である。
一構成例として、制御装置において、制御部は、離散化ステップサイズと分解能と所定のオフセット量に応じたニューロモルフィック素子のダイナミックレンジを使用して、ニューロモルフィック素子の特性を制御する。
一構成例として、制御装置において、制御部は、アレイがニューロモルフィック素子を含む複数の層を有する場合に、それぞれの層ごとに共通の離散化ステップサイズを使用して、ニューロモルフィック素子の特性を制御する。
一構成例として、制御装置において、制御部は、アレイが複数のニューロモルフィック素子を含む層を有する場合に、同一の層に含まれる複数のニューロモルフィック素子がグループ分けされたグループごとに共通の離散化ステップサイズを使用して、ニューロモルフィック素子の特性を制御する。
一構成例として、制御装置において、アレイがニューロモルフィック素子を含む複数の層を有しており、それぞれの層ごとに共通の分解能を有するニューロモルフィック素子を備え、異なる層におけるニューロモルフィック素子の分解能は異なる。
一構成例として、制御装置において、制御部（本実施形態では、制御装置１１の機能であり、例えば、識別制御部２１、重み演算制御部２２および重み割り当て制御部２３）は、離散化ステップサイズを使用して、アレイについて学習を行う。
一構成例として、制御装置において、アレイは、ニューロモルフィック素子を用いてニューラルネットワークにおける積和演算を行う回路を有する。

一構成例として、可変な特性の値に応じた重みを信号に乗算するニューロモルフィック素子を含むアレイについて、ニューロモルフィック素子の特性の離散化ステップサイズを演算する演算方法（例えば、制御装置１１の重み演算制御部２２あるいは他のコンピュータにより行われる演算の方法）であって、ニューロモルフィック素子の特性の分解能よりも高い精度で重みの真値を演算するステップと、重みの真値を用いた場合とニューロモルフィック素子の特性について設定される離散化ステップサイズを用いた場合に基づいて、所定の条件（誤差を小さくする所定の条件、あるいは、精度を大きくする所定の条件）が満たされるように、離散化ステップサイズを演算するステップと、を備える、離散化ステップサイズの演算方法である。

一構成例として、可変な特性の値に応じた重みを信号に乗算するニューロモルフィック素子を含むアレイについて、ニューロモルフィック素子の特性の離散化ステップサイズを演算するプログラム（例えば、制御装置１１の重み演算制御部２２を構成するコンピュータあるいは他のコンピュータにおいて実行されるプログラム）であって、ニューロモルフィック素子の特性の分解能よりも高い精度で重みの真値を演算するステップと、重みの真値を用いた場合とニューロモルフィック素子の特性について設定される離散化ステップサイズを用いた場合に基づいて、所定の条件（誤差を小さくする所定の条件、あるいは、精度を大きくする所定の条件）が満たされるように、離散化ステップサイズを演算するステップと、をコンピュータに実行させるためのプログラムである。
ここで、コンピュータでは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ
Ｕｎｉｔ）などのプロセッサがメモリに記憶されたプログラムを読み出して実行する。

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

１…ニューラルネットワークシステム、１１…制御装置、１２…素子アレイ部、２１…識
別制御部、２２…重み演算制御部、２３…重み割り当て制御部、２４…記憶部、１０１…
ニューラルネットワーク回路、１１１…識別用制御回路、１１２…重み演算制御回路、１
１３…重み割り当て制御回路、１２１…素子アレイ、１２２、１２３…入出力ＩＦ回路、
２１１…画像（画像のデータ）、１０１１、１１１１〜１１１３、１１２１〜１１２３、
１２１１、１３１１〜１３１３、１３２１〜１３２３、１４１１〜１４１３、１４２１〜
１４２３、１５１１〜１５１３、１５２１〜１５２３、１６１１〜１６１３、１６２１〜
１６２３、１７１１…特性、１１３１、１１３２…範囲、１２２１、１７２１…矢印、Ａ
１−０〜Ａ１−ｐ、Ａ１−ｉ、Ａ２−０〜Ａ２−ｑ、Ａ２−ｊ、Ａ３−１〜Ａ３−ｒ、Ａ
３−ｋ…ユニット、Ｂ１−１〜Ｂ１−ｎ、Ｂ２−１〜Ｂ２−ｎ、Ｂ０−１〜Ｂ０−ｎ…画
像、
３００…ニューラルネットワーク装置、３１０…センシングデバイス、３２０…ＡＤコンバータ、３３０…間引き回路（間引き部）、３４０…閾値取得部、３５０…ＰＷＭ変調回路（変調部）、３６０…ニューロモルフィックデバイス（重み付け部）、３７０…電流積分（電流積分部）、３７０ａ…電流検出回路（電流検出部）ＩＳ…入力信号、ＤＳ…間引き信号、ＩＤＶ…入力離散値（入力信号の離散値）、ＤＤＶ…間引き後離散値（間引き信号の離散値）、ＰＭＳ…パルス幅変調信号、ＯＣ…出力電流（重み付け信号）、ｔｈ…閾値

Claims (9)

1. 入力信号の離散値を、前記入力信号の量子化段階数が分割された範囲のそれぞれに含まれる情報量に応じて予め定められた閾値に基づいて前記入力信号の量子化段階数よりも少ない段階数の離散値に変換することにより間引き信号を生成する間引き部と、
   前記間引き部が生成する前記間引き信号の離散値をパルス幅変調することにより、前記間引き信号の離散値をパルス幅によって示すパルス幅変調信号を生成する変調部と、
   可変な特性の値に応じた重みを、前記変調部が生成する前記パルス幅変調信号に対して乗算することにより、前記パルス幅変調信号が重み付けされた重み付け信号を出力するニューロモルフィック素子を含む重み付け部と、
   を備えるニューラルネットワーク装置。
2. 前記間引き部は、複数の前記入力信号について、それぞれに対応する前記間引き信号を生成し、
   前記変調部は、前記間引き部が生成する複数の前記間引き信号にそれぞれ対応する前記パルス幅変調信号を、信号波形の変化タイミングを互いに異ならせて生成する
   請求項１に記載のニューラルネットワーク装置。
3. 前記閾値は、前記入力信号の量子化段階数を不等幅にして分割する
   請求項１又は請求項２に記載のニューラルネットワーク装置。
4. 前記間引き部は、前記入力信号の量子化段階数を２分割することにより二値の前記間引き信号を生成し、
   前記変調部は、前記間引き信号に応じた二値の前記パルス幅変調信号を生成し、
   前記重み付け部は、二値の前記パルス幅変調信号が重み付けられた前記重み付け信号を出力し、
   前記重み付け部が出力する前記重み付け信号の電流の大きさを検出する電流検出部
   をさらに備える請求項１から請求項３のいずれか一項に記載のニューラルネットワーク装置。
5. 前記間引き部による前記間引き信号の生成に用いられる前記閾値を取得する閾値取得部
   をさらに備える請求項１から請求項４のいずれか一項に記載のニューラルネットワーク装置。
6. 前記閾値が、前記入力信号に基づいて可変にして定められている
   請求項１から請求項５のいずれか一項に記載のニューラルネットワーク装置。
7. 前記間引き部が生成する前記間引き信号の離散値の段階数が、前記入力信号の量子化段階数よりも少ない段階数の範囲において、前記入力信号の値に基づいて可変にして定められている
   請求項１から請求項６のいずれか一項に記載のニューラルネットワーク装置。
8. 入力信号の離散値を、前記入力信号の量子化段階数が分割された範囲のそれぞれに含まれる情報量に応じて予め定められた閾値に基づいて前記入力信号の量子化段階数よりも少ない段階数の離散値に変換することにより間引き信号を生成する間引きステップと、
   前記間引きステップにおいて生成される前記間引き信号の離散値をパルス幅変調することにより、前記間引き信号の離散値をパルス幅によって示すパルス幅変調信号を生成する変調ステップと、
   ニューロモルフィック素子が、可変な特性の値に応じた重みを、前記変調ステップにおいて生成される前記パルス幅変調信号に対して乗算することにより、前記パルス幅変調信号が重み付けされた重み付け信号を出力する重み付けステップと、
   を有する信号生成方法。
9. ニューラルネットワーク装置が備えるコンピュータに、
   入力信号の離散値を、前記入力信号の量子化段階数が分割された範囲のそれぞれに含まれる情報量に応じて予め定められた閾値に基づいて前記入力信号の量子化段階数よりも少ない段階数の離散値に変換することにより間引き信号を生成する間引きステップと、
   前記間引きステップにおいて生成される前記間引き信号の離散値をパルス幅変調することにより、前記間引き信号の離散値をパルス幅によって示すパルス幅変調信号を生成する変調ステップと、
   可変な特性の値に応じた重みを、前記変調ステップにおいて生成される前記パルス幅変調信号に対して乗算することにより、前記パルス幅変調信号が重み付けされた重み付け信号を出力するニューロモルフィック素子に対して、前記パルス幅変調信号を供給することにより前記重み付け信号を出力させる重み付けステップと、
   を実行させるためのプログラム。