JP2021140493A

JP2021140493A - 情報処理装置、情報処理方法およびプログラム

Info

Publication number: JP2021140493A
Application number: JP2020038120A
Authority: JP
Inventors: 和志小松; Kazushi Komatsu
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2020-03-05
Filing date: 2020-03-05
Publication date: 2021-09-16
Anticipated expiration: 2040-03-05
Also published as: US20210279575A1; JP7475164B2

Abstract

【課題】ニューラルネットワークのための演算を所定の時間内で終了させるように学習させた推論器を備えることが可能な情報処理装置を提供する。【解決手段】実施形態に係る情報処理装置は、ニューラルネットワークの構成を特定する情報と当該ニューラルネットワークにおける演算最大回数とを含んだ、ニューラルネットワークの構成を拘束する１つ以上の拘束条件を指定する指定手段と、指定された拘束条件に基づいて構成されるニューラルネットワークの演算を実行する処理手段と、を有し、処理手段は、ニューラルネットワークを学習させる際に、指定された拘束条件のもとでそれぞれのニューラルネットワークを学習させ、指定された拘束条件のもとで学習された学習済みモデルのなかの所定の学習済みモデルを推論用に採用する。【選択図】図５

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関する。

従来、機械学習における演算を効率化するため、当該機械学習における演算において行列演算を最適化する技術が知られている（特許文献１）。特許文献１では、ニューラルネットワークの積和演算について、複数の入力値に対して各重み係数で積和演算する際に、同じ入力値同士をラベリングして複数の乗算器へ並列に入力して積算することで、演算時間の短縮を図る技術を開示している。

特開２００５−１２２４６５号公報

上述の従来技術では、推論器に搭載された積和演算器の数を上回る同一の値が入力される場合、一度の並列演算で積和演算を行うことができないため、演算に必要な時間を見積もることが難しい場合がある。例えば、デジタルカメラなどリアルタイム性の要求される装置では、推論器による処理をリアルタイムに完了させることが望まれる場合がある。このような装置で用いられる推論器には、行列演算の最適化による演算の高速化に加え、所定の時間内で演算を終了させることが可能な技術が望まれる。

本発明は、上記課題に鑑みてなされ、その目的は、ニューラルネットワークのための演算を所定の時間内で終了させるように学習させた推論器を備えることが可能な技術を実現することである。

この課題を解決するため、例えば本発明の情報処理装置は以下の構成を備える。すなわち、ニューラルネットワークの構成を特定する情報と当該ニューラルネットワークにおける演算最大回数とを含んだ、前記ニューラルネットワークの構成を拘束する１つ以上の拘束条件を指定する指定手段と、前記指定された拘束条件に基づいて構成されるニューラルネットワークの演算を実行する処理手段と、を有し、前記処理手段は、ニューラルネットワークを学習させる際に、前記指定された拘束条件のもとでそれぞれのニューラルネットワークを学習させ、前記指定された拘束条件のもとで学習された学習済みモデルのなかの所定の学習済みモデルを推論用に採用する、ことを特徴とする。

本発明によれば、ニューラルネットワークのための演算を所定の時間内で終了させるように学習させた推論器を備えることが可能になる。

本実施形態における情報処理装置の一例としてのパーソナルコンピュータ（ＰＣ）の機能構成例を示すブロック図ニューラルネットワークが有する複数の層のうちの１つの層における演算処理を模式的に示す図本実施形態における重み係数の量子化について説明するための図本実施形態における重み係数の量子化前後の効果の一例を示す図実施形態１における学習時の一連の動作を示すフローチャート実施形態２における学習時の一連の動作を示すフローチャート

（実施形態１）
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

以下では情報処理装置の一例として、ニューラルネットワークを用いた学習の可能なパーソナルコンピュータ（ＰＣ）を用いる例を説明する。なお、以下に示す実施形態は、ＰＣに限らず、ニューラルネットワークを用いた学習が可能な他の機器にも適用可能である。これらの機器には、例えば、スマートフォンを含む携帯電話機、ゲーム機、タブレット端末、時計型や眼鏡型の情報端末、医療機器、監視システムや車載用システムの機器、データセンタで動作するサーバ機器などが含まれてよい。

以下の実施形態に係るＰＣは、ニューラルネットワークで構成される推論器を用いて、機械学習を用いた学習及び推論処理を行う。本実施形態では、推論器を構成するニューラルネットワークを所定の条件で拘束して学習させることにより構成し、構成された行列演算を推論処理で行うことにより、演算時間を短縮し且つ所定の時間内に推論器の演算を完了させることを可能にする。

（ＰＣの構成）
図１は、本実施形態の情報処理装置の一例としてのＰＣの機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＧＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

システムバス１０１は、ＰＣ１００内の各ブロック間の情報のやり取りを行うためのデータバスである。ＣＰＵ１０２は、ＰＣ１００の各ブロックの制御および外部との入出力に対する制御を行う中央演算処理装置である。ＣＰＵ１０２は、ＲＯＭ１０３に格納されたコンピュータプログラムをＲＡＭ１０４に展開し、実行することによりＰＣ１００の全体動作及び各構成要素の動作を制御する。

ＲＯＭ１０３は、ＲｅａｄＯｎｌｙＭｅｍｏｒｙであり、例えばＥＥＰＲＯＭなどの不揮発性の半導体メモリで構成され、例えばＣＰＵ１０２がＰＣ１００を制御するコンピュータプログラムを格納している。ＲＡＭ１０４は、ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙであり、例えばＤＲＡＭなどの揮発性の半導体メモリである。ＲＡＭ１０４は、ＣＰＵ１０２のほか、ＰＣ１００内の各ブロックにより、必要に応じて一時記憶としての情報の置き場所として使用される。これらの情報は、例えば、プログラムの実行に関する情報や、プログラムの実行後の結果情報や、機械学習に係る各種演算の入出力情報が含まれる。

ＨＤＤ１０５は、ＨａｒｄＤｉｓｋＤｒｉｖｅである。ＰＣ１００内の各ブロックにより、必要に応じて長期記憶としての情報置き場所として使用される。ＨＤＤ１０５に格納される情報は、例えば、機械学習における学習モデルや学習済みモデルなどが含まれる。本実施形態では、ＨＤＤを一例として説明するが、ストレージとして用いることができれば、例えばＳＳＤなどの半導体メモリを用いたものであってもよい。また、ＲＡＭ１０４の代替手段としてＨＤＤ１０５を使用してもよい。

ＧＰＵ１０６は、ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔであり、例えば機械学習の学習時或いは推論時の演算に使用される。ＧＰＵ１０６は、情報をより多く並列処理することで効率的な演算を行うことができる。このため、ＧＰＵ１０６は、機械学習のような学習モデルを用いて複数回に渡って繰り返し演算を行う場合に有効である。本実施形態では、機械学習に係る演算を行うためにＣＰＵ１０２に加えてＧＰＵ１０６を用いる。例えば、学習モデルを含むプログラムを実行する場合には、ＣＰＵ１０２とＧＰＵ１０６とが協働して演算を行うことで学習や推論の処理を実行する。

入力部１０８は、例えば、パーソナルコンピュータで使用されるキーボードやマウスを含み、ＰＣ１００を使用するユーザからの操作指示を受け付ける。表示部１０９は、例えばモニターやそれに準ずる表示装置の画面表示を制御する。表示部１０９は、モニターなどの表示装置そのものを含んでもよい。画面表示は、ＰＣ１００を使用するユーザからの操作指示に対する動作状態の表示や、操作用のメニュー表示、各種アプリケーションの表示などを含む。

（ニューラルネットワークに係る演算処理）
次に、図２を参照して、機械学習に用いられるニューラルネットワークの演算処理について説明する。図２は、本実施形態に係る１つの推論器を構成するニューラルネットワークが有する複数の層のうちの１つの層における演算処理を模式的に示している。なお、ニューラルネットワークは、例えば、図２に図示される層を１つ又は複数用いることにより隠れ層（中間層といわれる場合もある）を形成し、その隠れ層の前段に入力層、隠れ層の後段に出力層とを有する構成をなす。入力層は、当該ニューラルネットワークへ入力される情報が入力される層を形成し、また、出力層は、ニューラルネットワークの出力値（例えば、推論結果を示す出力値など）を出力する層を形成する。

ノード２０１〜２０５は、それぞれニューラルネットワークのノードを表す。ノード２０２〜２０５は、入力用のノード（或いは前段の層を形成するノード）を表しており、「１」で識別されるノード（ノード２０１）は入力値に対するバイアス値を表現するためのノードを表している。入力用の各ノードからノード２１０〜２１２へ引かれた線に付された係数は、入力用のノードに入力された信号に乗算される重み係数を表す。すなわち、各入力用のノードから入力された入力値Ｘ_１〜Ｘ_４には重み係数である係数が乗算されて、ノード２１０〜２１２へ入力される。この演算は例えば、式１のような行列演算で表される。

式１に示すＹ１〜Ｙ３の導出計算を具体的に表すと式２のようになる。

ここで、Ｘ_１〜Ｘ_４からＹ_１〜Ｙ_３の演算はニューロン演算と呼ばれ、Ｙ_１〜Ｙ_３のニューロン演算の結果は、１入力１出力の計算を行う活性化関数ｈ()に入力される。活性化関数には、一例としてＲｅＬＵ関数などが用いられてよい。活性化関数の出力Ｚ_１〜Ｚ_３は入力値Ｘ_１〜Ｘ_４に対するニューラルネットワークの１層分の出力に対応する。ニューラルネットワークが入力層と出力層の間に複数の中間層を有する場合、出力Ｚ_１〜Ｚ_３は２層目の入力となる。なお、Ｙ_１〜Ｙ_３からＺ_１〜Ｚ_３への変換を数式で表すと式３のようになる。

なお、ニューラルネットワークの構造を、本実施形態では一例として、入力ノード数を４つとし、出力ノード数を３つとする場合を例に説明した。しかし、ニューラルネットワークのノード数には他のノード数を用いることができる。

（学習モデルの学習時の処理に係る一連の動作）
次に、図３〜図５を参照して、ニューロン演算のうちの式２に示した行列演算の処理に着目した、本実施形態に係る学習モデルの学習時の処理について説明する。なお、図３は、本実施形態に係る重み係数の量子化を説明するための具体例を示しており、図４は、本実施形態に係る拘束条件を示している。

図５は、本実施形態の行列演算の演算方法を用いた、学習モデルの学習時の処理に係る一連の動作を示している。なお、本処理は、ＣＰＵ１０２がＲＯＭ１０３に記憶されたプログラムをＲＡＭ１０４の作業用領域に展開、実行することにより、ＰＣ１００を動作させることにより実現される。

Ｓ５０１において、ＣＰＵ１０２は、学習を行う際の拘束条件を１つ以上指定する。拘束条件は、例えば、ニューラルネットワークの構成を特定する情報（すなわち入力層のノード数、出力層のノード数、層の数、それぞれの隠れ層の要素数（層ごとのノード数））、演算最大回数、及び評価値を含む。

演算最大回数は、推論器（すなわちニューラルネットワーク）で演算可能な演算回数である。例えば、１サイクルで１度の演算を行うことができる演算器が搭載されている推論器を１ＭＨｚで駆動して１秒間で推論結果を求めたい場合は、１，０００，０００回以内の演算で推論結果が出ればよい。この場合、演算最大回数は１，０００，０００回で拘束される。なお、演算最大回数は、回数で表現する以外に、推論器の駆動周波数と、推論器を駆動することできる時間の情報とで表現されてもよい。また、評価値は、正解率、適合率、再現率又はＦ値、若しくはこれらに基づく評価方法に係る数値を、評価する対象や目的に応じて選択した値でよい。

拘束条件は、例えば、予め実験等により定めた、入力層及び出力層のノード数、層の合計数（或いは隠れ層の数）、隠れ層それぞれのノード数、演算最大回数、及び評価値の組を複数用意しておいてもよい。或いは、複数用意した組のうちの一部の組を評価する対象や目的に応じて選択するようにしてもよい。また、ＰＣ１００のユーザが入力部１０８を介して拘束条件を指定できるようにしてもよい。このように、本実施形態では、演算最大回数も含む拘束条件を用いることにより、当該演算最大回数以下の演算回数で推論器の演算を終えることができるようにして、学習時或いは推論時の処理を予め定められた時間内で実行することができるようになる。

Ｓ５０２において、ＣＰＵ１０２は、Ｓ５０１で指定された全ての拘束条件において学習を行う。ＣＰＵ１０２は、例えば所定のエポック数による繰り返し演算を行って学習を進めた後に、学習の結果として、拘束条件ごとに学習済みモデルと学習済みモデルの評価値を出力する。学習済みモデルは、例えば、特定の拘束条件の下で学習されて、重み付け係数が更新、最適化された状態を指す。また、学習済みモデルの評価値は、例えば、学習済みモデルに入力値を入力した際に出力される出力値と当該入力値に対する正解値との差分値に基づく値（例えば差分値の二乗和など）である。なお、学習で行う演算は、ＧＰＵ１０６で行わせることで学習の時間短縮を図ることが可能である。また、複数のＧＰＵ１０６を用いて並行して複数の条件を同時に学習することでさらなる時間短縮を図ってもよい。

以下具体的に、拘束条件の１つである演算回数を例として、推論器が行う際の演算回数を減らす方法について、図３を参照して説明する。図３（ａ）は、式１の重み係数であるＷ_１１、Ｗ_１２、Ｗ_１３、Ｗ_１４、Ｗ_２１、Ｗ_２２、Ｗ_２３、Ｗ_２４、Ｗ_３１、Ｗ_３２、Ｗ_３３、Ｗ_３４で構成される行列を表している。行列の各要素を表す記号は式１と同一である。図３（ｂ）は、図３（ａ）の一例として具体的な数値に置き換えた行列を示している。図３（ｂ）の数値は、実施形態１を説明するための数値であるが、この例に限らず実数であってよい。図３（ｃ）と図３（ｅ）と図３（ｇ）は、図３（ｂ）の数値を丸めることで量子化した値の例を示している。重み係数である行列の数値を量子化することにより、他の数値（重み係数）と一致する数値（重み係数）が増加することとなり、後に説明するような加算及び乗算の効率化を行い易くなる。具体的には、図３（ｃ）は、図３（ｂ）に示す各係数について、その上位４ビットを残し、３ビット右シフト演算した値となっている。図３（ｅ）は、図３（ｂ）に示す各係数について、その上位３ビットを残し、４ビット右シフト演算した値を示している。また、図３（ｇ）に示す例では、図３（ｂ）に示す各係数について、上位２ビットを残し、５ビット右シフトしている。図３（ｄ）と図３（ｆ）と図３（ｈ）は、図３（ｃ）と図３（ｅ）と図３（ｇ）における同じ数値（重み係数）ごとに記号でまとめたものである。この例では、数値の０をＷ_４０、数値の１をＷ_４１、数値の２をＷ_４２、数値の３をＷ_４３、数値の４をＷ_４４、数値の５をＷ_４５、数値の６をＷ_４６、数値の７をＷ_４７、数値の８をＷ_４８としている。図３（ｄ）は、図３（ｃ）に示す係数に対応しており、図３（ｆ）は図３（ｅ）示す係数に対応しており、図３（ｈ）は図３（ｇ）に対応している。

式４ｄ、式４ｆ、式４ｈは、それぞれ、式２に対して図３（ｄ）と図３（ｆ）と図３（ｈ）の具体例を適用した場合に、演算回数を減らすために行列演算を所定の法則に従ってまとめた式を表している。所定の法則とは、同一の値の重み係数を適用する入力同士をあらかじめ加算したうえで当該重み係数を乗算し、そのうえで重み係数ごとの乗算結果の総和をとるものである。

式４ｄの例について説明すると、Ｙ_１についての演算では、まずＷ_４０は対応する入力のＸ_１と乗算される。次にＷ_４２は対応する入力のＸ_２とＸ_３をあらかじめ加算した結果と乗算される。さらにＷ_４３は対応する入力のＸ_４と乗算される。最後にＷ_４０の乗算結果と、Ｗ_４２の乗算結果と、Ｗ_４３の乗算結果とバイアス値ｂ_１の総和をとる。この方法によりＹ_１に対する演算は乗算１回分の演算を省略することが可能になる。Ｙ_２とＹ_３についても同様に同じ重み係数の入力をあらかじめ加算した結果と対応する重み係数を乗算し、全ての乗算結果の総和をとる。この演算方法を行うと式４ｄで示す演算式となる。式４ｆと式４ｈも同様の法則に従った演算を行う式を表している。

図４は、式２、式４ｄ、式４ｆ及び式４ｈに従って演算を実行する場合の演算回数を示している。式２では、４０１の乗算１２回と４０２の加算１２回により４０３の合計２４回の演算を行う。式４ｄは４０４の乗算１０回と４０５の加算１２回で４０６の合計２２回の演算を行う。つまり、式４ｄでは、式２に対して２回の演算を削減することができることを示している。同様に式４ｆでは、４０７の乗算９回と４０８の加算１２回で４０９の合計２１回の演算を行うので３回の演算を削減することができる。また、、式４ｈでは、４１０の乗算６回と４１１の加算１２回で４１２の合計１８回の演算を行うので６回の演算を削減することができる。

Ｓ５０３において、ＣＰＵ１０２は、Ｓ５０２における学習の結果から学習済みモデルを評価する。このような評価は、Ｓ５０２で出力された評価値（すなわち学習モデルの最適化度合いを評価するための評価値）を元にｌｅａｒｎｉｎｇｃｕｒｖｅやｖａｌｉｄａｔｉｏｎｃｕｒｖｅに基づく公知の方法を用いて行うことができる。或いは、学習済みモデルの精度などを用いてもよい。

Ｓ５０４において、ＣＰＵ１０２は、学習結果がほぼ収束したかを判定する。ＣＰＵ１０２は、学習結果が収束していないと判定した場合には、Ｓ５０２における学習により評価がある程度収束するまで繰り返すように処理をＳ５０２に戻す。ＣＰＵ１０２は、学習結果がある程度収束したと判定した場合には、Ｓ５０５へ進む。ＣＰＵ１０２は、学習結果がある程度収束したか否かを、例えば、評価値が所定の評価値より低いかを判定することにより行うことができる。「ある程度収束したか」を判定するのは、学習結果が完全に収束した場合、一般的には過学習の恐れがあるため、学習データ以外のデータに対して推論を行う際に精度の高い推論結果を得ることができない可能性があるためである。ただし、あまりにも収束していない場合は未学習として使用することのできない学習モデルとなるため、所定の評価値は、過学習とならない程度に収束を判断するように実験等において予め定められていてよい。

Ｓ５０５において、ＣＰＵ１０２は、Ｓ５０２において拘束パターン毎に出力された学習済みモデルを取捨選択する（すなわち推論用に採用する）。取捨選択の方法の一例として、再現率が一定の水準より低いものは信用ができない学習済みモデルであるため、使用しない学習済みモデルとして破棄すればよい。すなわち、ＣＰＵ１０２は、再現率が予め定められた閾値より高い学習モデルを選択する。他にもユーザが定めた水準を超える評価値を有する学習済みモデルを選択し、水準以下の学習済みモデルは破棄するようにしてもよい。また一定の水準以上の学習済みモデルが複数残る場合には、ＣＰＵ１０２は、さらなる判断材料として、推論器で使用する際の演算回数を利用してもよい。例えば、ＣＰＵ１０２は、演算回数が所定の閾値よりも多い学習済みモデルは破棄する（演算回数が拘束条件に係る所定の閾値以下である学習済みモデルを選択する）。更に、ＣＰＵ１０２は、学習済みモデルの演算回数が拘束条件に収まる場合であっても、より演算回数が少ないモデルを選択する。このようにすれば推論器の処理が少なくなり、処理時間の短縮や低電力化として有利になる。

以上説明したように本実施形態では、ニューラルネットワークの構成を拘束する１つ以上の拘束条件を指定し、指定された拘束条件のもとでニューラルネットワークを学習させ、得られる学習済みモデルを推論用に採用する。学習済みモデルを採用する場合、例えば、（学習済みモデルの最適化度合いを評価するための）評価値が所定の評価値より低い学習済みモデルを選択してもよい。また、演算回数が他の学習済みモデルより少ない学習済みモデルを選択してもよい。このようにすることで、学習における演算時間を短縮し、所定の時間内に推論を完了させること可能にした学習済みモデルを生成可能になる。ここで、拘束条件は、ニューラルネットワークの構成を特定する情報と当該ニューラルネットワークにおける演算最大回数とを含む。また、ネットワークの構成を特定する情報は、例えば、ニューラルネットワークの入力層のノード数、出力層のノード数、ニューラルネットワークを構成する層の数（入力層と出力層と隠れ層の数の合計）、隠れ層それぞれのノード数の少なくとも一部を含む。このようにすることで、特定の構成に拘束された構成でニューラルネットワークを学習させて、演算回数（ひいては演算時間の要件）を満たすように推論器を構成することができる。すなわち、本実施形態に係る情報処理装置は、ニューラルネットワークのための演算を所定の時間内で終了させるように学習させた推論器を備えることができる。

（実施形態２）
次に実施形態２について説明する。本実施形態では、学習モデルの学習時の処理に係る動作の一部が実施形態１と異なるが、ＰＣ１００の構成は実施形態１と同一又は実質的に同一である。このため、実施形態１と同一又は実質的に同一である構成については同一の参照番号を付して説明を省略し、相違点について重点的に説明する。

図６を参照して、本実施形態に係る学習モデルの学習時の処理に係る一連の動作について説明する。まず、ＣＰＵ１０２は、実施形態１と同様に、Ｓ５０１において学習を行う際の拘束条件を指定する。

Ｓ６０１において、ＣＰＵ１０２は、拘束条件の１つを選択する。例えば、ＣＰＵ１０２は、図３（ｂ）か、図３（ｃ）か、図３（ｅ）か、図３（ｇ）のいずれか１つを選択するユーザからの操作指示を受け付ける。

Ｓ６０２において、ＣＰＵ１０２は、Ｓ６０１で選択された拘束条件にて学習を行う。学習の方法は、実施形態１で説明したＳ５０２と同様でよい。Ｓ６０２でも実施形態１と同様にＧＰＵ１０６を利用して学習時間の短縮を図ってよい。そして、ＣＰＵ１０２は、Ｓ５０４〜Ｓ５０６の処理を実施形態１と同様に実行する。

Ｓ６０３で、ＣＰＵ１０２は、学習を終了するか否か判定する。判定では、Ｓ５０６で選択した学習済みモデルがユーザの指定した拘束条件の評価値や演算回数を満たしているならば、これ以上学習しなくても十分だと判断して全ての学習を終了してよい。また、未実施の拘束条件パターンがある場合、未実施の拘束条件も学習させて、さらによい結果の得られる拘束条件パターンがあるか判断してから学習を終えてもよい。未実施の拘束条件を更に学習させる場合には、再びＳ６０１において未実施の拘束条件パターンを選択して、Ｓ６０２、Ｓ５０４、Ｓ５０５、Ｓ５０６、Ｓ６０３を繰り返す。

以上説明したように、本実施形態では、機械学習における学習時に所定の条件で拘束して、演算時間を短縮し且つ所定の時間内に推論を完了させることを可能にした学習済みモデルを生成することができる。特に、図６に示す学習に係る一連の動作を用いることで、必ずしも全ての拘束条件パターンを実行する必要がなく、学習の時間短縮を図ることが可能である。換言すれば、本実施形態によっても、情報処理装置は、ニューラルネットワークのための演算を所定の時間内で終了させるように学習させた推論器を備えることができる。

なお、上述の実施形態では、重み係数の量子化について、ビット演算による量子化の方法を例に説明した。しかし、量子化の方法はこれに限らず他の方法を用いてもよい。例えば、ベクトル量子化などを用いて、重み係数をある程度の数にクラスタリングするようにしてもよい。このようにすることで、上述の実施形態と同様の効果を得つつ、各クラスタの重み係数値を多いビット数に割り当てることでより高精度な学習済みモデルを得ることがあり得る。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０２…ＣＰＵ、１０３…ＲＯＭ、１０４…ＲＯＭ、１０５…ＨＤＤ、１０６…ＧＰＵ、１０８…入力部、１０９…表示部

Claims

ニューラルネットワークの構成を特定する情報と当該ニューラルネットワークにおける演算最大回数とを含んだ、前記ニューラルネットワークの構成を拘束する１つ以上の拘束条件を指定する指定手段と、
前記指定された拘束条件に基づいて構成されるニューラルネットワークの演算を実行する処理手段と、を有し、
前記処理手段は、ニューラルネットワークを学習させる際に、前記指定された拘束条件のもとでそれぞれのニューラルネットワークを学習させ、前記指定された拘束条件のもとで学習された学習済みモデルのなかの所定の学習済みモデルを推論用に採用する、ことを特徴とする情報処理装置。
前記演算最大回数は、前記ニューラルネットワークの演算を実行する際に必要な積和演算の演算回数を表す、ことを特徴とする請求項１に記載の情報処理装置。
前記ニューラルネットワークの積和演算は、当該ニューラルネットワークの同一の値の重み係数を適用する入力同士をあらかじめ加算したうえで当該重み係数を乗算する演算を含む、ことを特徴とする請求項２に記載の情報処理装置。
前記処理手段は、前記指定された拘束条件のもとで学習された学習済みモデルのなかで、学習済みモデルの最適化度合いを評価するための評価値が所定の評価値より低い学習済みモデルを前記所定の学習済みモデルとして選択する、ことを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
前記処理手段は、前記指定された拘束条件のもとで学習された学習済みモデルのなかで、他の学習済みモデルより演算回数の少ない学習済みモデルを前記所定の学習済みモデルとして選択する、ことを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
前記ニューラルネットワークの構成を特定する情報は、当該ニューラルネットワークの入力層のノード数、当該ニューラルネットワークの出力層のノード数、当該ニューラルネットワークを構成する層の数、当該ニューラルネットワークの隠れ層それぞれのノード数、の少なくとも一部を含む、ことを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
前記ニューラルネットワークの重み係数は量子化された重み係数を含む、ことを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。
指定手段が、ニューラルネットワークの構成を特定する情報と当該ニューラルネットワークにおける演算最大回数とを含んだ、前記ニューラルネットワークの構成を拘束する１つ以上の拘束条件を指定する指定工程と、
処理手段が、前記指定された拘束条件に基づいて構成されるニューラルネットワークの演算を実行する処理工程と、を有し、
前記処理工程では、ニューラルネットワークを学習させる際に、前記指定された拘束条件のもとでそれぞれのニューラルネットワークを学習させ、前記指定された拘束条件のもとで学習された学習済みモデルのなかの所定の学習済みモデルを推論用に採用する、ことを特徴とする情報処理方法。
コンピュータを、請求項１から７のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。