JP7211556B1 - ニューラル・ネットワーク・システム - Google Patents
ニューラル・ネットワーク・システム Download PDFInfo
- Publication number
- JP7211556B1 JP7211556B1 JP2022516210A JP2022516210A JP7211556B1 JP 7211556 B1 JP7211556 B1 JP 7211556B1 JP 2022516210 A JP2022516210 A JP 2022516210A JP 2022516210 A JP2022516210 A JP 2022516210A JP 7211556 B1 JP7211556 B1 JP 7211556B1
- Authority
- JP
- Japan
- Prior art keywords
- layer
- neural network
- training data
- network system
- layer output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 131
- 230000009466 transformation Effects 0.000 claims abstract description 129
- 230000001131 transforming effect Effects 0.000 claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims description 28
- 238000000034 method Methods 0.000 claims description 13
- 238000010187 selection method Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 14
- 238000010606 normalization Methods 0.000 description 14
- 238000006243 chemical reaction Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 10
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
Description
予め計算された数値変換パラメータを用いて前記新たな第1レイヤ出力の各成分を数値変換して新たな数値変換されたレイヤ出力を生成し、特徴インデックスごとに、前記特徴インデックスに対する1組の変形パラメータに従って、前記新たな数値変換されたレイヤ出力の成分を変換することによって、新たな数値変換レイヤ出力を生成し、前記新たな数値変換レイヤ出力を新たなレイヤ入力として前記第2レイヤに提供するように構成されるとしてもよい。
以下、実施の形態1に係るニューラル・ネットワーク・システム200について説明する。
図1は、ニューラル・ネットワーク・システム200の構成を示すブロック図である。図に示すように、ニューラル・ネットワーク・システム200は、CPU110、主記憶装置120、補助記憶装置130を備える1つ又は複数のコンピュータ100により実装される。主記憶装置120には、補助記憶装置130に格納されたコンピュータプログラムやデータがロードされ、CPU110が、主記憶装置120にロードされたコンピュータプログラムやデータにしたがって動作することにより、ニューラル・ネットワーク・システム200を実現する。補助記憶装置130は、一例として、ハードディスクから構成されている。補助記憶装置130は、不揮発性の半導体メモリから構成されている、としてもよい。
図8は、ニューラル・ネットワーク・システム200の訓練中に、数値変換レイヤ出力を生成するためのフローの一例を示す。
各訓練データに着目すると、従来のバッチ正規化では、正規化用の統計値の計算に、着目している訓練データの第1レイヤ出力が必ず含まれる。バッチサイズが小さい場合、統計値の計算に占める着目している訓練データの第1レイヤ出力の割合が大きいため、着目している訓練データにとっては、自身の値に大きく影響されたバリエーションの乏しいバッチから計算された統計値が使用されることになり、正規化の効果が薄まる恐れがある。
以上、本発明を実施の形態に基づいて説明してきたが本発明は上述の実施の形態に限定されないのは勿論であり、以下の変形例が本発明の技術範囲に含まれることは勿論である。
210 第1レイヤ
220 数値変換レイヤ
230 第2レイヤ
Claims (25)
- 1つまたは複数のコンピュータにより実装されるニューラル・ネットワーク・システムであって、
複数の成分を有する第1レイヤ出力を生成する第1レイヤと、第2レイヤと、両レイヤ間の数値変換レイヤとを備え、
前記数値変換レイヤは、前記ニューラル・ネットワーク・システムのトレーニング中に、
複数の訓練データの第1レイヤ出力を受信し、
訓練データごとに対応する数値変換パラメータを計算し、
前記数値変換パラメータを用いて各第1レイヤ出力の各成分を数値変換して数値変換レイヤ出力を生成し、
前記数値変換レイヤ出力を入力として前記第2レイヤに提供する
ように構成され、
1つの訓練データに対応する前記数値変換パラメータは、当該訓練データを除く他の複数の訓練データの第1レイヤ出力から計算される、または、当該訓練データを含む複数の訓練データの各第1レイヤ出力に重みを付して計算され、当該訓練データの第1レイヤ出力の重みが他の訓練データの第1レイヤ出力の重みよりも小さい
ニューラル・ネットワーク・システム。 - 1つの訓練データに対応する前記数値変換パラメータの計算は、当該訓練データを含む複数の訓練データを一組にしたバッチから当該訓練データを含まないよう所定の選択方法で選択された複数の訓練データの第1レイヤ出力から計算される
請求項1に記載のニューラル・ネットワーク・システム。 - 前記第1レイヤ出力の複数の成分は、次元によりインデックス化され、
前記数値変換パラメータの計算は、
前記バッチの訓練データごとに、前記次元の各々に対して、前記選択方法で選択された複数の訓練データの第1レイヤ出力の前記次元における成分の平均を、第1レイヤ出力の前記次元における成分の疑似平均として計算するステップと、
前記次元の各々に対して、前記第1レイヤ出力の前記次元における成分の分散を、前記バッチの訓練データごとの第1レイヤ出力の前記次元における成分および前記疑似平均を用いて計算するステップと、
を含む、請求項2に記載のニューラル・ネットワーク・システム。 - 前記数値変換レイヤ出力の生成は、訓練データごとに、各成分に対応する次元に対する前記疑似平均および前記分散を用いて、前記訓練データの第1レイヤ出力の前記成分を数値変換するステップ
を含む、請求項3に記載のニューラル・ネットワーク・システム。 - 前記数値変換レイヤ出力の生成は、各次元に対する1組の変形パラメータの値に従って、前記数値変換された成分を変形するステップ
を更に含む、請求項4に記載のニューラル・ネットワーク・システム。 - 前記数値変換レイヤは、前記ニューラル・ネットワーク・システムがトレーニングされた後、
新たなニューラル・ネットワーク入力に対する前記第1レイヤにより生成された新たな第1レイヤ出力を受信し、
予め計算された数値変換パラメータを用いて前記新たな第1レイヤ出力の各成分を数値変換して新たな数値変換されたレイヤ出力を生成し、
次元ごとに、前記次元に対する1組の変形パラメータに従って、前記新たな数値変換されたレイヤ出力の成分を変換することによって、新たな数値変換レイヤ出力を生成し、
前記新たな数値変換レイヤ出力を新たなレイヤ入力として前記第2レイヤに提供する
ように構成される、請求項5に記載のニューラル・ネットワーク・システム。 - 前記予め計算された数値変換パラメータは、前記ニューラル・ネットワーク・システムのトレーニング中に前記第1レイヤにより生成された第1レイヤ出力から計算される、請求項6に記載のニューラル・ネットワーク・システム。
- 前記予め計算された数値変換パラメータは、前記ニューラル・ネットワーク・システムがトレーニングされた後に前記第1レイヤにより生成された第1レイヤ出力から計算される、請求項6に記載のニューラル・ネットワーク・システム。
- 前記ニューラル・ネットワーク・システムがトレーニングされた後に前記ニューラル・ネットワーク・システムにより処理される新たなニューラル・ネットワーク入力は、前記ニューラル・ネットワーク・システムをトレーニングするために使用される前記訓練データと異なるタイプの入力である、請求項7に記載のニューラル・ネットワーク・システム。
- 前記第1レイヤ出力の前記複数の成分は、特徴インデックスおよび空間的位置インデックスによりインデックス化され、
前記数値変換パラメータの計算は、
前記バッチの訓練データごとに、特徴インデックスおよび空間的位置インデックスの組合せの各々に対して、前記選択方法で選択された複数の訓練データの第1レイヤ出力の前記組合せにおける成分の平均を計算するステップと、
前記バッチの訓練データごとに、特徴インデックスの各々に対して、前記特徴インデックスを含む組合せに対する前記平均の算術平均を計算するステップと、
特徴インデックスおよび空間的位置インデックスの組合せごとに、前記第1レイヤ出力の前記組合せにおける成分の分散を、前記バッチの訓練データごとの第1レイヤ出力の前記組合せにおける成分および前記平均の算術平均を用いて計算するステップと、
特徴インデックスごとに、前記特徴インデックスを含む組合せに対する前記分散の算術平均を計算するステップと、
を含む、請求項2に記載のニューラル・ネットワーク・システム。 - 前記数値変換レイヤ出力の生成は、訓練データごとに、前記平均の算術平均および前記分散の算術平均を用いて、前記訓練データの前記第1レイヤ出力の各成分を数値変換するステップ
を含む、請求項10に記載のニューラル・ネットワーク・システム。 - 前記数値変換レイヤ出力の生成は、各特徴インデックスに対する1組の変形パラメータに従って、前記数値変換された成分を変換するステップ
を含む、請求項11に記載のニューラル・ネットワーク・システム。 - 前記数値変換レイヤは、前記ニューラル・ネットワーク・システムがトレーニングされた後、
新たなニューラル・ネットワーク入力に対する前記第1レイヤにより生成された新たな第1レイヤ出力を受信し、
予め計算された数値変換パラメータを用いて前記新たな第1レイヤ出力の各成分を数値変換して新たな数値変換されたレイヤ出力を生成し、
特徴インデックスごとに、前記特徴インデックスに対する1組の変形パラメータに従って、前記新たな数値変換されたレイヤ出力の成分を変換することによって、新たな数値変換レイヤ出力を生成し、
前記新たな数値変換レイヤ出力を新たなレイヤ入力として前記第2レイヤに提供する
ように構成される、請求項12に記載のニューラル・ネットワーク・システム。 - 前記第1レイヤ出力の複数の成分は、特徴インデックスおよび空間的位置インデックスによりインデックス化され、
前記数値変換パラメータの計算は、
前記バッチの訓練データごとに、前記特徴インデックスの各々に対して、前記選択方法で選択された複数の訓練データの第1レイヤ出力の前記特徴インデックスにおける成分の平均を、第1レイヤ出力の前記特徴インデックスにおける成分の疑似平均として計算するステップと、
前記特徴インデックスの各々に対して、前記第1レイヤ出力の前記特徴インデックスにおける成分の分散を、前記バッチの訓練データごとの第1レイヤ出力の前記特徴インデックスにおける成分および前記疑似平均を用いて計算するステップと、
を含む、請求項2に記載のニューラル・ネットワーク・システム。 - 前記数値変換レイヤ出力の生成は、訓練データごとに、各成分に対応する特徴インデックスに対する前記疑似平均および前記分散を用いて、前記訓練データの第1レイヤ出力の前記成分を数値変換するステップ
を含む、請求項14に記載のニューラル・ネットワーク・システム。 - 前記数値変換レイヤ出力の生成は、各特徴インデックスに対する1組の変形パラメータの値に従って、前記数値変換された成分を変形するステップ
を更に含む、請求項15に記載のニューラル・ネットワーク・システム。 - 前記数値変換レイヤは、前記ニューラル・ネットワーク・システムがトレーニングされた後、
新たなニューラル・ネットワーク入力に対する前記第1レイヤにより生成された新たな第1レイヤ出力を受信し、
予め計算された数値変換パラメータを用いて前記新たな第1レイヤ出力の各成分を数値変換して新たな数値変換されたレイヤ出力を生成し、
特徴インデックスごとに、前記特徴インデックスに対する1組の変形パラメータに従って、前記新たな数値変換されたレイヤ出力の成分を変換することによって、新たな数値変換レイヤ出力を生成し、
前記新たな数値変換レイヤ出力を新たなレイヤ入力として前記第2レイヤに提供する
ように構成される、請求項16に記載のニューラル・ネットワーク・システム。 - 前記第1レイヤは、前記第1レイヤに対する1組のパラメータに従って第1レイヤ入力を修正することによって前記第1レイヤ出力を生成する、
請求項1乃至17の何れか1項に記載のニューラル・ネットワーク・システム。 - 前記第2レイヤは、非線形動作を前記数値変換レイヤ出力に適用することによって第2レイヤ出力を生成する、請求項18に記載のニューラル・ネットワーク・システム。
- 前記第1レイヤは、1組のパラメータの現在の値に従って第1レイヤ入力を修正して、修正された第1レイヤ入力を生成し、次いで非線形動作を前記修正された第1レイヤ入力に適用することによって前記第1レイヤ出力を生成する、
請求項1乃至17の何れか1項に記載のニューラル・ネットワーク・システム。 - 前記ニューラル・ネットワーク・システムの前記トレーニングの間に、前記ニューラル・ネットワーク・システムは、前記ニューラル・ネットワーク・システムのパラメータの値を調節する一部として前記数値変換パラメータを誤差逆伝播するように構成される、
請求項1乃至20の何れか1項に記載のニューラル・ネットワーク・システム。 - 1つの訓練データに対応する前記数値変換パラメータの計算における前記所定の選択方法は、当該訓練データを含む複数の訓練データを一組にしたバッチから当該訓練データを除く一部又は全ての訓練データを選択する
請求項2に記載のニューラル・ネットワーク・システム。 - 請求項1乃至22の何れか1項に記載された数値変換レイヤにより実施される動作を含む、方法。
- 1つまたは複数のコンピュータに請求項1乃至22の何れか1項に記載のニューラル・ネットワーク・システムを実行させる命令を含むコンピュータプログラムを記録したコンピュータ読み取り可能な非一時的記録媒体。
- 1つまたは複数のコンピュータに請求項1乃至22の何れか1項に記載のニューラル・ネットワーク・システムを実行させる命令を含むコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021096588 | 2021-06-09 | ||
JP2021096588 | 2021-06-09 | ||
PCT/JP2021/034961 WO2022259566A1 (ja) | 2021-06-09 | 2021-09-24 | ニューラル・ネットワーク・システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2022259566A1 JPWO2022259566A1 (ja) | 2022-12-15 |
JP7211556B1 true JP7211556B1 (ja) | 2023-01-24 |
Family
ID=84424496
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022516210A Active JP7211556B1 (ja) | 2021-06-09 | 2021-09-24 | ニューラル・ネットワーク・システム |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP4354342A1 (ja) |
JP (1) | JP7211556B1 (ja) |
WO (1) | WO2022259566A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019123544A1 (ja) * | 2017-12-19 | 2019-06-27 | オリンパス株式会社 | データ処理方法およびデータ処理装置 |
JP2020506488A (ja) * | 2017-02-10 | 2020-02-27 | グーグル エルエルシー | バッチ再正規化層 |
JP2020135748A (ja) * | 2019-02-25 | 2020-08-31 | 株式会社Preferred Networks | 最適化装置、最適化方法及びプログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ES2714152T3 (es) | 2015-01-28 | 2019-05-27 | Google Llc | Capas de normalización por lotes |
-
2021
- 2021-09-24 JP JP2022516210A patent/JP7211556B1/ja active Active
- 2021-09-24 WO PCT/JP2021/034961 patent/WO2022259566A1/ja active Application Filing
- 2021-09-24 EP EP21945235.6A patent/EP4354342A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020506488A (ja) * | 2017-02-10 | 2020-02-27 | グーグル エルエルシー | バッチ再正規化層 |
WO2019123544A1 (ja) * | 2017-12-19 | 2019-06-27 | オリンパス株式会社 | データ処理方法およびデータ処理装置 |
JP2020135748A (ja) * | 2019-02-25 | 2020-08-31 | 株式会社Preferred Networks | 最適化装置、最適化方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2022259566A1 (ja) | 2022-12-15 |
EP4354342A1 (en) | 2024-04-17 |
JPWO2022259566A1 (ja) | 2022-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6935542B2 (ja) | バッチ正規化レイヤ | |
JP7285895B2 (ja) | 質問応答としてのマルチタスク学習 | |
US20210004663A1 (en) | Neural network device and method of quantizing parameters of neural network | |
KR102353284B1 (ko) | 신경망을 사용하여 오디오 생성 | |
US9400955B2 (en) | Reducing dynamic range of low-rank decomposition matrices | |
CN110622178A (zh) | 学习神经网络结构 | |
US20170154262A1 (en) | Resizing neural networks | |
JP6521440B2 (ja) | ニューラルネットワーク及びそのためのコンピュータプログラム | |
JP6612716B2 (ja) | パターン識別装置、パターン識別方法およびプログラム | |
CN113348472A (zh) | 具有软内核选择的卷积神经网络 | |
CN111587441B (zh) | 使用以比特值为条件的回归神经网络生成输出示例 | |
WO2020039790A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7211556B1 (ja) | ニューラル・ネットワーク・システム | |
CN114492730A (zh) | 神经网络模型的编译方法和装置、电子设备和存储介质 | |
JP6647475B2 (ja) | 言語処理装置、言語処理システムおよび言語処理方法 | |
CN111832699A (zh) | 用于神经网络的计算高效富于表达的输出层 | |
US20240256867A1 (en) | Neural network system that executes batch normalization | |
CN111078886B (zh) | 基于dmcnn的特殊事件提取*** | |
WO2020054402A1 (ja) | ニューラルネットワーク処理装置、コンピュータプログラム、ニューラルネットワーク製造方法、ニューラルネットワークデータの製造方法、ニューラルネットワーク利用装置、及びニューラルネットワーク小規模化方法 | |
JP2020030702A (ja) | 学習装置、学習方法及び学習プログラム | |
US20230124177A1 (en) | System and method for training a sparse neural network whilst maintaining sparsity | |
CN113298248B (zh) | 一种针对神经网络模型的处理方法、装置以及电子设备 | |
JP4042678B2 (ja) | 単語ベクトル推定方法及び装置及び単語ベクトル推定プログラム及び単語ベクトル推定プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
US20220147790A1 (en) | Deep Polynomial Neural Networks | |
US20240202501A1 (en) | System and method for mathematical modeling of hardware quantization process |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220311 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220311 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220517 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220920 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221111 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221226 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7211556 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |