JP7464138B2 - 学習装置、学習方法及び学習プログラム - Google Patents
学習装置、学習方法及び学習プログラム Download PDFInfo
- Publication number
- JP7464138B2 JP7464138B2 JP2022553337A JP2022553337A JP7464138B2 JP 7464138 B2 JP7464138 B2 JP 7464138B2 JP 2022553337 A JP2022553337 A JP 2022553337A JP 2022553337 A JP2022553337 A JP 2022553337A JP 7464138 B2 JP7464138 B2 JP 7464138B2
- Authority
- JP
- Japan
- Prior art keywords
- learning
- classifier
- data
- generator
- frequency component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 28
- 230000006870 function Effects 0.000 claims description 35
- 238000004364 calculation method Methods 0.000 claims description 23
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 description 13
- 238000002474 experimental method Methods 0.000 description 9
- 238000013136 deep learning model Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000009826 distribution Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 230000007423 decrease Effects 0.000 description 6
- 230000010365 information processing Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012946 outsourcing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000010454 slate Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Complex Calculations (AREA)
- Machine Translation (AREA)
Description
本発明は、学習装置、学習方法及び学習プログラムに関する。
従来、深層学習技術を基にした技術であり、学習させたデータの分布を学習することで本物に近いサンプルを生成する深層生成モデルが知られている。例えば、深層学習モデルとして、GAN(Generative Adversarial Networks)が知られている(例えば、非特許文献1を参照)。
Goodfellow, Ian, et al. "Generative adversarial nets." Advances in neural information processing systems. 2014. (NIPS 2014)
しかしながら、従来の技術には、過学習が発生しモデルの精度が向上しない場合があるという問題がある。例えば、学習済みのGANの生成器が生成するサンプルには、実際の学習データには含まれない高周波成分が混入する。その結果、識別器が高周波成分に依存して真贋判定を行うようになり、過学習が発生する場合がある。
上述した課題を解決し、目的を達成するために、学習装置は、第1のデータを第1の周波数成分に変換し、敵対的学習モデルを構成する生成器によって生成された第2のデータを第2の周波数成分を変換する変換部と、前記生成器と、前記敵対的学習モデルを構成し、前記第1のデータと前記第2のデータとを識別する第1の識別器と、前記敵対的学習モデルを構成し、前記第1の周波数成分と前記第2の周波数成分とを識別する第2の識別器と、を同時最適化する損失関数を計算する計算部と、前記計算部によって計算された損失関数が最適化されるように、前記生成器、前記第1の識別器及び前記第2の識別器のパラメータを更新する更新部と、を有することを特徴とする。
本発明によれば、過学習の発生を抑止し、モデルの精度を向上させることができる。
以下に、本願に係る学習装置、学習方法及び学習プログラムの実施形態を図面に基づいて詳細に説明する。なお、本発明は、以下に説明する実施形態により限定されるものではない。
GANは、生成器Gと識別器Dの2つの深層学習モデルによってデータ分布p_data(x)を学習する技術である。GはDを騙すように学習し、DはGと学習データを区別できるように学習する。このような複数のモデルが敵対的な関係にあるモデルを、敵対的学習モデルと呼ぶ場合がある。
GANのような敵対的学習モデルは、画像、テキスト及び音声等の生成において利用される。
参考文献1:Karras, Tero, et al. "Analyzing and improving the image quality of stylegan." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020. (CVPR 2020)
参考文献2:Donahue, Chris, Julian McAuley, and Miller Puckette. "Adversarial audio synthesis." arXiv preprint arXiv:1802.04208 (2018).(ICLR 2019)
参考文献3:Yu, Lantao, et al. "Seqgan: Sequence generative adversarial nets with policy gradient." Thirty-first AAAI conference on artificial intelligence. 2017. (AAAI 2017)
参考文献1:Karras, Tero, et al. "Analyzing and improving the image quality of stylegan." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020. (CVPR 2020)
参考文献2:Donahue, Chris, Julian McAuley, and Miller Puckette. "Adversarial audio synthesis." arXiv preprint arXiv:1802.04208 (2018).(ICLR 2019)
参考文献3:Yu, Lantao, et al. "Seqgan: Sequence generative adversarial nets with policy gradient." Thirty-first AAAI conference on artificial intelligence. 2017. (AAAI 2017)
ここで、GANには、学習が進むにつれてDが学習サンプルに対して過学習するという問題がある。その結果、各モデルは、データ生成に対して意味のある更新が行えなくなり、生成器による生成品質は劣化していく。このことは、例えば参考文献4のFigure 1等に示されている。
参考文献4:Karras, Tero, et al. "Training Generative Adversarial Networks with Limited Data." arXiv preprint arXiv:2006.06676 (2020).
参考文献4:Karras, Tero, et al. "Training Generative Adversarial Networks with Limited Data." arXiv preprint arXiv:2006.06676 (2020).
また、参考文献5には、学習済みのCNN出力が、入力の高周波成分に依存して予測を行っていることが記載されている。
参考文献5:Wang, Haohan, et al. "High-frequency Component Helps Explain the Generalization of Convolutional Neural Networks." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020.(CVPR 2020)
参考文献5:Wang, Haohan, et al. "High-frequency Component Helps Explain the Generalization of Convolutional Neural Networks." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020.(CVPR 2020)
また、参考文献6には、GANの生成器Gと識別器Dを構成するニューラルネットワークは低周波、高周波の順に学習する傾向があることが記載されている。
参考文献6:Rahaman, Nasim, et al. "On the spectral bias of neural networks." International Conference on Machine Learning. 2019. (ICML 2019)
参考文献6:Rahaman, Nasim, et al. "On the spectral bias of neural networks." International Conference on Machine Learning. 2019. (ICML 2019)
そこで、第1の実施形態では、データの高周波成分の生成器G及び識別器Dへの影響を低減することで、過学習の発生を抑止し、モデルの精度を向上させることを1つの目的とする。図1は、第1の実施形態に係る深層学習モデルを説明する図である。また、図2は、高周波成分の影響を説明する図である。
図2に示すように、実在するデータ(Real)と生成器によって生成されたデータ(GAN)とでは、CIFAR-10(二次元パワースペクトル)が異なる。また、参考文献7には、各種GANで生成したデータは、実在のデータに比べ、高周波におけるパワースペクトルが増大することが示されている。
参考文献7:Durall, Ricard, Margret Keuper, and Janis Keuper. "Watch your Up-Convolution: CNN Based Generative Deep Neural Networks are Failing to Reproduce Spectral Distributions." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020. (CVPR 2020)
参考文献7:Durall, Ricard, Margret Keuper, and Janis Keuper. "Watch your Up-Convolution: CNN Based Generative Deep Neural Networks are Failing to Reproduce Spectral Distributions." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020. (CVPR 2020)
図1に戻り、本実施形態の深層学習モデルは、実在のデータ集合Xに含まれるデータ(Real)と、乱数zから生成器Gによって生成されたデータ(Fake)について、識別器Dsが、いずれのデータがReal(又はFake)であるかを識別する。さらに、Dfは、Real及びFakeから変換された周波数成分を識別する。
従来のGANにおいては、1つの識別器の識別精度が向上するように、すなわち識別器DがRealをRealと識別する確率が大きくなるように識別器Dの最適化が行われる。また、生成器Gが生成器Gを騙す能力、すなわち識別器DがRealをFakeと識別する確率が大きくなるように生成器Gの最適化が行われる。
本実施形態では、生成器G、識別器Ds、識別器Dfの同時最適化が行われる。以下、本実施形態の学習装置の構成とともに、深層学習モデルの学習処理の詳細を説明する。
[第1の実施形態の構成]
図3は、第1の実施形態に係る学習装置の構成例を示す図である。学習装置10は、学習用のデータの入力を受け付け、深層学習モデルのパラメータを更新する。また、学習装置10は、更新済みのパラメータを出力してもよい。図3に示すように、学習装置10は、入出力部11、記憶部12及び制御部13を有する。
図3は、第1の実施形態に係る学習装置の構成例を示す図である。学習装置10は、学習用のデータの入力を受け付け、深層学習モデルのパラメータを更新する。また、学習装置10は、更新済みのパラメータを出力してもよい。図3に示すように、学習装置10は、入出力部11、記憶部12及び制御部13を有する。
入出力部11は、データの入出力を行うためのインタフェースである。例えば、入出力部11は、ネットワークを介して他の装置との間でデータ通信を行うためのNIC(Network Interface Card)等の通信インタフェースであってもよい。また、入出力部11は、マウス、キーボード等の入力装置、及びディスプレイ等の出力装置を接続するためのインタフェースであってもよい。
記憶部12は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、光ディスク等の記憶装置である。なお、記憶部12は、RAM(Random Access Memory)、フラッシュメモリ、NVSRAM(Non Volatile Static Random Access Memory)等のデータを書き換え可能な半導体メモリであってもよい。記憶部12は、学習装置10で実行されるOS(Operating System)や各種プログラムを記憶する。また、記憶部12は、モデル情報121を記憶する。
モデル情報121は、深層学習モデルを構築するためのパラメータ等の情報であり、学習処理において適宜更新される。また、更新済みのモデル情報121は、入出力部11を介して他の装置等に出力されてもよい。
制御部13は、学習装置10全体を制御する。制御部13は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)等の電子回路や、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等の集積回路である。また、制御部13は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、内部メモリを用いて各処理を実行する。また、制御部13は、各種のプログラムが動作することにより各種の処理部として機能する。例えば、制御部13は、生成部131、変換部132、計算部133及び更新部134を有する。
生成部131は、乱数zを生成器Gに入力し第2のデータを生成する。
変換部132は、微分可能な関数を用いて、第1のデータ及び第2のデータを周波数成分に変換する。これは、逆誤差伝搬法によるパラメータの更新を可能にするためである。例えば、変換部132は、離散フーリエ変換(DFT:discrete Fourier transform)又は離散コサイン変換(DCT:discrete cosine transform)により第1のデータ及び第2のデータを周波数成分に変換する。
計算部133は、生成器Gと、敵対的学習モデルを構成し、第1のデータと第2のデータとを識別する第1の識別器Dsと、敵対的学習モデルを構成し、第1の周波数成分と第2の周波数成分とを識別する第2の識別器Dfと、を同時最適化する損失関数を計算する。ここでは、計算部133は、(1)式に示す損失関数を計算する。
F(・)は空間領域のデータを周波数成分に変換する関数である。x及びG(z)は、それぞれRealのデータ及びFakeのデータであり、第1のデータ及び第2のデータの一例である。また、F(x)は、第1の周波数成分に相当する。また、F(G(z))は、第2の周波数成分に相当する。
G(・)は、引数を基に生成器Gによって生成されたデータ(Fake)を出力する関数である。また、Ds(・)及びDf(・)は、引数として入力されたデータを、それぞれ識別器Ds及びDfがRealであると識別する確率を出力する関数である。
計算部133は、第1の識別器Dsの識別精度が高いほど小さくなる第1の項と、第2の識別器Dfの識別精度が高いほど小さくなる第2の項と、を有する損失関数をさらに計算する。このとき、計算部133は、第1の項に0より大きく1未満である第1の係数を掛け、第2の項に、第1の係数を1から引いた第2の係数を掛けた損失関数を計算してもよい。具体的には、計算部133は、(2)式に示すLGを計算する。αは、第1の係数の一例である。
ここで、変換部132による変換前のデータを空間ドメインのデータと呼び、変換後のデータ(周波数成分)を周波数ドメインのデータと呼ぶ。(1)式の損失関数は、空間ドメインと、周波数ドメインの両方で最適な生成器Gを得るためのものである。一方で、(1)式の最適は、必ずしも空間ドメイン及び周波数ドメイン単体について最適な生成器Gとなることを意味しない。
そこで、本実施形態では、空間ドメインでのデータ分布学習の安定化及び生成品質改善を図るため、(2)式のような生成器Gの損失関数において、空間ドメインを優先するためのトレードオフパラメータαを導入することができる。ただし、αはハイパーパラメータである。
さらに、計算部133は、第1の識別器Dsの識別精度と第2の識別器Dfの識別精度との差分が小さいほど小さくなる損失関数をさらに計算する。具体的には、計算部133は、(3)式のような損失関数を計算する。
(3)式のLcは、空間ドメイン用の識別器Dsと、周波数ドメイン用の識別器Dfの一貫性損失ということができる。ここで、空間ドメインと周波数ドメインの両ドメインの識別器に入力されるデータはドメインが異なるだけで、元は同一のデータであり、学習するデータ分布も同じである。このことから、識別器Dsと識別器Dfの出力は一致していることが望ましい。
(3)式は、識別器Dsと識別器Dfの出力を互いに近づけるための損失であり、これにより、識別器Dsと識別器Df間で知識が共有される。
更新部134は、計算部133によって計算された損失関数が最適化されるように、生成器、第1の識別器Ds及び第2の識別器Dfのパラメータを更新する。更新部134は、(1)式、(2)式及び(3)式の損失関数を最適化するように各モデルのパラメータを更新する。
[第1の実施形態の処理]
図4は、第1の実施形態に係る学習装置の処理の流れを示すフローチャートである。以下、図中のD_s及びD_fは、Ds及びDfと同意である。図4に示すように、まず、学習装置10は、学習データを読み込む(ステップS101)。ここでは、学習装置10は、実在するデータ(Real)を学習データとして読み込む。
図4は、第1の実施形態に係る学習装置の処理の流れを示すフローチャートである。以下、図中のD_s及びD_fは、Ds及びDfと同意である。図4に示すように、まず、学習装置10は、学習データを読み込む(ステップS101)。ここでは、学習装置10は、実在するデータ(Real)を学習データとして読み込む。
次に、学習装置10は、正規分布から乱数zをサンプリングし、G(z)によってサンプル(Fake)を生成する(ステップS102)。学習装置10は、RealとFakeをFで周波数変換し、生成器Gと識別器DfによるGAN損失を計算する(ステップS103)。生成器Gと識別器DfによるGAN損失は、(1)式の右辺の第4項に相当する。
そして、学習装置10は、生成器Gと識別器DsによるGAN損失を計算する(ステップS104)。生成器Gと識別器DsによるGAN損失は、(1)式の右辺の第2項に相当する。
ここで、学習装置10は、ハイパーパラメータαを用いてGに関する全体損失を計算する(ステップS105)。全体損失は、(2)式のLGに相当する。学習装置10は、(2)式の全体損失の逆誤差伝搬法によりGのパラメータ更新する(ステップS106)。
さらに、学習装置10は、RealとFakeから識別器Dsと識別器DfのGAN損失を計算する(ステップS107)。識別器Dsと識別器DfのGAN損失は、(1)式に相当する。
また、学習装置10は、識別器Ds及び識別器Dfの出力値から一貫性損失を計算する(ステップS108)。一貫性損失は、(3)式の右辺の||||内に相当する。
学習装置10は、ハイパーパラメータλcを用いてDsに関する全体損失を計算する(ステップS109)。λcを用いたDsに関する全体損失は、(3)式のLcに相当する。
そして、学習装置10は、DfのGAN損失の逆誤差伝搬によりDfのパラメータを更新する(ステップS110)。また、学習装置10は、Dsの全体損失の逆誤差伝搬によりDsのパラメータを更新する(ステップS111)。
このとき、最大学習ステップ数>学習ステップ数である場合(ステップS112、True)、学習装置10はステップS101に戻り処理を繰り返す。一方、最大学習ステップ数>学習ステップ数でない場合(ステップS112、False)、学習装置10は処理を終了する。
[第1の実施形態の効果]
これまで説明してきたように、変換部132は、第1のデータを第1の周波数成分に変換し、敵対的学習モデルを構成する生成器によって生成された第2のデータを第2の周波数成分を変換する。計算部133は、生成器と、敵対的学習モデルを構成し、第1のデータと第2のデータとを識別する第1の識別器と、敵対的学習モデルを構成し、第1の周波数成分と第2の周波数成分とを識別する第2の識別器と、を同時最適化する損失関数を計算する。更新部134は、計算部133によって計算された損失関数が最適化されるように、生成器、第1の識別器及び第2の識別器のパラメータを更新する。このように、学習装置10は、周波数成分の影響を学習に反映させることができる。これにより、本実施形態によれば、過学習の発生を抑止し、モデルの精度を向上させることができる。
これまで説明してきたように、変換部132は、第1のデータを第1の周波数成分に変換し、敵対的学習モデルを構成する生成器によって生成された第2のデータを第2の周波数成分を変換する。計算部133は、生成器と、敵対的学習モデルを構成し、第1のデータと第2のデータとを識別する第1の識別器と、敵対的学習モデルを構成し、第1の周波数成分と第2の周波数成分とを識別する第2の識別器と、を同時最適化する損失関数を計算する。更新部134は、計算部133によって計算された損失関数が最適化されるように、生成器、第1の識別器及び第2の識別器のパラメータを更新する。このように、学習装置10は、周波数成分の影響を学習に反映させることができる。これにより、本実施形態によれば、過学習の発生を抑止し、モデルの精度を向上させることができる。
計算部133は、第1の識別器の識別精度が高いほど小さくなる第1の項と、第2の識別器の識別精度が高いほど小さくなる第2の項と、を有する損失関数をさらに計算する。また、計算部133は、第1の項に0より大きく1未満である第1の係数を掛け、第2の項に、第1の係数を1から引いた第2の係数を掛けた損失関数を計算する。これにより、例えば空間ドメインと周波数ドメインの両方ではなく、空間ドメイン単体で生成器Gを最適化することができる。
計算部133は、第1の識別器の識別精度と第2の識別器の識別精度との差分が小さいほど小さくなる損失関数をさらに計算する。これにより、空間ドメインと周波数ドメインで識別器の出力を一致させることができる。
[実験]
上記の実施形態を実際に実施して行った実験について説明する。実験の設定は以下の通りである。
・実験設定
データセット:CIFAR-100(画像データセット、100クラス)
学習データセット:50,000枚
ニューラルネットワークアーキテクチャ:Resnet-SNGAN(参考文献8:Miyato, Takeru, et al. "Spectral normalization for generative adversarial networks." arXiv preprint arXiv:1802.05957 (ICLR 2018).)
・実験手順
(1)学習データを用いて100,000 iteration 学習
(2)1,000 iteration ごとに生成品質(FID)を計測(参考文献9:Heusel, Martin, et al. "Gans trained by a two time-scale update rule converge to a local nash equilibrium." Advances in neural information processing systems. 2017. (NIPS 2017))
(3)最もFIDのスコアが良いモデルを最終的な学習モデルとする
(4)全10回施行し、FIDの平均と標準偏差を求める
・実験パターン
SNGAN:ベースライン(通常のGAN)(参考文献8)
CVPR20:生成画像の周波数成分を最小化する既存手法(1次元DFT、Binary Cross-entropyを使用)(参考文献7)
FreqMSE:周波数成分一致損失(2次元DCT、Mean Squared Errorを使用)
SSD2GAN:空間・周波数ドメインの同時学習(2次元DCT)
SSD2GAN + Tradeoff:トレードオフ係数α を導入(α=0.8を使用)
SSD2GAN + SSCR:DsとDfの一貫性損失を導入(λ=0.001 を使用)
上記の実施形態を実際に実施して行った実験について説明する。実験の設定は以下の通りである。
・実験設定
データセット:CIFAR-100(画像データセット、100クラス)
学習データセット:50,000枚
ニューラルネットワークアーキテクチャ:Resnet-SNGAN(参考文献8:Miyato, Takeru, et al. "Spectral normalization for generative adversarial networks." arXiv preprint arXiv:1802.05957 (ICLR 2018).)
・実験手順
(1)学習データを用いて100,000 iteration 学習
(2)1,000 iteration ごとに生成品質(FID)を計測(参考文献9:Heusel, Martin, et al. "Gans trained by a two time-scale update rule converge to a local nash equilibrium." Advances in neural information processing systems. 2017. (NIPS 2017))
(3)最もFIDのスコアが良いモデルを最終的な学習モデルとする
(4)全10回施行し、FIDの平均と標準偏差を求める
・実験パターン
SNGAN:ベースライン(通常のGAN)(参考文献8)
CVPR20:生成画像の周波数成分を最小化する既存手法(1次元DFT、Binary Cross-entropyを使用)(参考文献7)
FreqMSE:周波数成分一致損失(2次元DCT、Mean Squared Errorを使用)
SSD2GAN:空間・周波数ドメインの同時学習(2次元DCT)
SSD2GAN + Tradeoff:トレードオフ係数α を導入(α=0.8を使用)
SSD2GAN + SSCR:DsとDfの一貫性損失を導入(λ=0.001 を使用)
SSD2GAN及びTradeoff又はSSCRを付加した手法は、第1の実施形態に相当する。Tradeoffは(2)式の損失関数である。また、SSCRは(3)式の損失関数である。FreqMSEは、第1の実施形態とは異なる方法により、周波数成分の影響を考慮してモデルの精度を向上させる他の手法である。
図5、図6、図7は、実験の結果を示す図である。図5に示すように、FreqMSE及びSSD2GAN + Tradeoff + SSCRでは、生成器GのFIDが小さくなり、生成品質が改善されたということができる。
また、図6に示すように、SNGANを除く各手法で過学習が抑制されている。SNGANは、40,000 iteration以降に過学習が発生し、FIDが悪化し続けている。
図7に示すように、各周波数成分の変換関数について、FreqMSE及びSSD2GANでは、生成されたサンプルに含まれる、存在しない高周波成分を抑制する効果が現れている。
[システム構成等]
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散及び統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散又は統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、CPU(Central Processing Unit)及び当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。なお、プログラムは、CPUだけでなく、GPU等の他のプロセッサによって実行されてもよい。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散及び統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散又は統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部又は任意の一部が、CPU(Central Processing Unit)及び当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。なお、プログラムは、CPUだけでなく、GPU等の他のプロセッサによって実行されてもよい。
また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部又は一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部又は一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
[プログラム]
一実施形態として、学習装置10は、パッケージソフトウェアやオンラインソフトウェアとして上記の学習処理を実行する学習プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の学習プログラムを情報処理装置に実行させることにより、情報処理装置を学習装置10として機能させることができる。ここで言う情報処理装置には、デスクトップ型又はノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やPHS(Personal Handyphone System)等の移動体通信端末、さらには、PDA(Personal Digital Assistant)等のスレート端末等がその範疇に含まれる。
一実施形態として、学習装置10は、パッケージソフトウェアやオンラインソフトウェアとして上記の学習処理を実行する学習プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の学習プログラムを情報処理装置に実行させることにより、情報処理装置を学習装置10として機能させることができる。ここで言う情報処理装置には、デスクトップ型又はノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やPHS(Personal Handyphone System)等の移動体通信端末、さらには、PDA(Personal Digital Assistant)等のスレート端末等がその範疇に含まれる。
また、学習装置10は、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記の学習処理に関するサービスを提供する学習サーバ装置として実装することもできる。例えば、学習サーバ装置は、学習用のデータを入力とし、学習済みモデルの情報を出力とする学習サービスを提供するサーバ装置として実装される。この場合、学習サーバ装置は、Webサーバとして実装することとしてもよいし、アウトソーシングによって上記の学習処理に関するサービスを提供するクラウドとして実装することとしてもかまわない。
図8は、学習プログラムを実行するコンピュータの一例を示す図である。コンピュータ1000は、例えば、メモリ1010、CPU1020を有する。また、コンピュータ1000は、ハードディスクドライブインタフェース1030、ディスクドライブインタフェース1040、シリアルポートインタフェース1050、ビデオアダプタ1060、ネットワークインタフェース1070を有する。これらの各部は、バス1080によって接続される。
メモリ1010は、ROM(Read Only Memory)1011及びRAM(Random Access Memory)1012を含む。ROM1011は、例えば、BIOS(BASIC Input Output System)等のブートプログラムを記憶する。ハードディスクドライブインタフェース1030は、ハードディスクドライブ1090に接続される。ディスクドライブインタフェース1040は、ディスクドライブ1100に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ1100に挿入される。シリアルポートインタフェース1050は、例えばマウス1110、キーボード1120に接続される。ビデオアダプタ1060は、例えばディスプレイ1130に接続される。
ハードディスクドライブ1090は、例えば、OS1091、アプリケーションプログラム1092、プログラムモジュール1093、プログラムデータ1094を記憶する。すなわち、学習装置10の各処理を規定するプログラムは、コンピュータにより実行可能なコードが記述されたプログラムモジュール1093として実装される。プログラムモジュール1093は、例えばハードディスクドライブ1090に記憶される。例えば、学習装置10における機能構成と同様の処理を実行するためのプログラムモジュール1093が、ハードディスクドライブ1090に記憶される。なお、ハードディスクドライブ1090は、SSD(Solid State Drive)により代替されてもよい。
また、上述した実施形態の処理で用いられる設定データは、プログラムデータ1094として、例えばメモリ1010やハードディスクドライブ1090に記憶される。そして、CPU1020は、メモリ1010やハードディスクドライブ1090に記憶されたプログラムモジュール1093やプログラムデータ1094を必要に応じてRAM1012に読み出して、上述した実施形態の処理を実行する。
なお、プログラムモジュール1093やプログラムデータ1094は、ハードディスクドライブ1090に記憶される場合に限らず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ1100等を介してCPU1020によって読み出されてもよい。あるいは、プログラムモジュール1093及びプログラムデータ1094は、ネットワーク(LAN(Local Area Network)、WAN(Wide Area Network)等)を介して接続された他のコンピュータに記憶されてもよい。そして、プログラムモジュール1093及びプログラムデータ1094は、他のコンピュータから、ネットワークインタフェース1070を介してCPU1020によって読み出されてもよい。
10 学習装置
11 入出力部
12 記憶部
121 モデル情報
13 制御部
131 生成部
132 変換部
133 計算部
134 更新部
11 入出力部
12 記憶部
121 モデル情報
13 制御部
131 生成部
132 変換部
133 計算部
134 更新部
Claims (6)
- 第1のデータを第1の周波数成分に変換し、敵対的学習モデルを構成する生成器によって生成された第2のデータを第2の周波数成分を変換する変換部と、
前記生成器と、前記敵対的学習モデルを構成し、前記第1のデータと前記第2のデータとを識別する第1の識別器と、前記敵対的学習モデルを構成し、前記第1の周波数成分と前記第2の周波数成分とを識別する第2の識別器と、を同時最適化する損失関数を計算する計算部と、
前記計算部によって計算された損失関数が最適化されるように、前記生成器、前記第1の識別器及び前記第2の識別器のパラメータを更新する更新部と、
を有することを特徴とする学習装置。 - 前記計算部は、前記第1の識別器の識別精度が高いほど小さくなる第1の項と、前記第2の識別器の識別精度が高いほど小さくなる第2の項と、を有する損失関数をさらに計算することを特徴とする請求項1に記載の学習装置。
- 前記計算部は、前記第1の項に0より大きく1未満である第1の係数を掛け、前記第2の項に、前記第1の係数を1から引いた第2の係数を掛けた損失関数を計算することを特徴とする請求項2に記載の学習装置。
- 前記計算部は、前記第1の識別器の識別精度と前記第2の識別器の識別精度との差分が小さいほど小さくなる損失関数をさらに計算することを特徴とする請求項1に記載の学習装置。
- 学習装置によって実行される学習方法であって、
第1のデータを第1の周波数成分に変換し、敵対的学習モデルを構成する生成器によって生成された第2のデータを第2の周波数成分を変換する変換工程と、
前記生成器と、前記敵対的学習モデルを構成し、前記第1のデータと前記第2のデータとを識別する第1の識別器と、前記敵対的学習モデルを構成し、前記第1の周波数成分と前記第2の周波数成分とを識別する第2の識別器と、を同時最適化する損失関数を計算する計算工程と、
前記計算工程によって計算された損失関数が最適化されるように、前記生成器、前記第1の識別器及び前記第2の識別器のパラメータを更新する更新工程と、
を含むことを特徴とする学習方法。 - コンピュータを、請求項1から4のいずれか1項に記載の学習装置として機能させるための学習プログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/037257 WO2022070343A1 (ja) | 2020-09-30 | 2020-09-30 | 学習装置、学習方法及び学習プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2022070343A1 JPWO2022070343A1 (ja) | 2022-04-07 |
JP7464138B2 true JP7464138B2 (ja) | 2024-04-09 |
Family
ID=80950019
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022553337A Active JP7464138B2 (ja) | 2020-09-30 | 2020-09-30 | 学習装置、学習方法及び学習プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230359904A1 (ja) |
JP (1) | JP7464138B2 (ja) |
WO (1) | WO2022070343A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018199031A1 (ja) | 2017-04-27 | 2018-11-01 | 日本電信電話株式会社 | 学習型信号分離方法、及び学習型信号分離装置 |
CN110428004A (zh) | 2019-07-31 | 2019-11-08 | 中南大学 | 数据失衡下基于深度学习的机械零部件故障诊断方法 |
CN111598966A (zh) | 2020-05-18 | 2020-08-28 | 中山大学 | 一种基于生成对抗网络的磁共振成像方法及装置 |
CN111612865A (zh) | 2020-05-18 | 2020-09-01 | 中山大学 | 一种基于条件生成对抗网络的mri成像方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6569047B1 (ja) * | 2018-11-28 | 2019-09-04 | 株式会社ツバサファクトリー | 学習方法、コンピュータプログラム、分類器、及び生成器 |
-
2020
- 2020-09-30 US US18/021,810 patent/US20230359904A1/en active Pending
- 2020-09-30 JP JP2022553337A patent/JP7464138B2/ja active Active
- 2020-09-30 WO PCT/JP2020/037257 patent/WO2022070343A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018199031A1 (ja) | 2017-04-27 | 2018-11-01 | 日本電信電話株式会社 | 学習型信号分離方法、及び学習型信号分離装置 |
CN110428004A (zh) | 2019-07-31 | 2019-11-08 | 中南大学 | 数据失衡下基于深度学习的机械零部件故障诊断方法 |
CN111598966A (zh) | 2020-05-18 | 2020-08-28 | 中山大学 | 一种基于生成对抗网络的磁共振成像方法及装置 |
CN111612865A (zh) | 2020-05-18 | 2020-09-01 | 中山大学 | 一种基于条件生成对抗网络的mri成像方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2022070343A1 (ja) | 2022-04-07 |
US20230359904A1 (en) | 2023-11-09 |
JPWO2022070343A1 (ja) | 2022-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Raghunathan et al. | Understanding and mitigating the tradeoff between robustness and accuracy | |
CN110503192B (zh) | 资源有效的神经架构 | |
Richtárik et al. | Parallel coordinate descent methods for big data optimization | |
Nguyen et al. | Fedsr: A simple and effective domain generalization method for federated learning | |
Scardapane et al. | Distributed semi-supervised support vector machines | |
CN110689139A (zh) | 用于机器学习的方法和计算机*** | |
Ting et al. | Isolation kernel and its effect on SVM | |
JP6870508B2 (ja) | 学習プログラム、学習方法及び学習装置 | |
Liu et al. | A survey on computationally efficient neural architecture search | |
US11645441B1 (en) | Machine-learning based clustering for clock tree synthesis | |
Nguyen et al. | Two-level quantile regression forests for bias correction in range prediction | |
US20220414490A1 (en) | Storage medium, machine learning method, and machine learning device | |
Asi et al. | Adapting to function difficulty and growth conditions in private optimization | |
Sun et al. | An improved multiclass LogitBoost using adaptive-one-vs-one | |
CN115699041A (zh) | 利用专家模型的可扩展迁移学习 | |
Liu et al. | Gradient‐Sensitive Optimization for Convolutional Neural Networks | |
Yin et al. | Learning energy-based models with adversarial training | |
US20240119266A1 (en) | Method for Constructing AI Integrated Model, and AI Integrated Model Inference Method and Apparatus | |
JP7464138B2 (ja) | 学習装置、学習方法及び学習プログラム | |
Nguyen et al. | Meta-learning and personalization layer in federated learning | |
KR20180028610A (ko) | 관련도 벡터 머신을 이용한 기계학습방법, 이를 구현하는 컴퓨터 프로그램 및 이를 수행하도록 구성되는 정보처리장치 | |
WO2022070342A1 (ja) | 学習装置、学習方法及び学習プログラム | |
US12008125B2 (en) | Privacy filters and odometers for deep learning | |
Dahinden et al. | Decomposition and model selection for large contingency tables | |
WO2022249418A1 (ja) | 学習装置、学習方法及び学習プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240227 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240311 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7464138 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |