JP7362165B2 - プライバシーのためにデータをコンシーリング処理することができる変造ネットワークに対応される適応ネットワークを学習する方法及びテストする方法、そしてこれを利用した学習装置及びテスト装置{method for training and testing adaption network corresponding to obfuscation network capable of processing data to be concealed for privacy、and training device and testing device using the same} - Google Patents
プライバシーのためにデータをコンシーリング処理することができる変造ネットワークに対応される適応ネットワークを学習する方法及びテストする方法、そしてこれを利用した学習装置及びテスト装置{method for training and testing adaption network corresponding to obfuscation network capable of processing data to be concealed for privacy、and training device and testing device using the same} Download PDFInfo
- Publication number
- JP7362165B2 JP7362165B2 JP2022520167A JP2022520167A JP7362165B2 JP 7362165 B2 JP7362165 B2 JP 7362165B2 JP 2022520167 A JP2022520167 A JP 2022520167A JP 2022520167 A JP2022520167 A JP 2022520167A JP 7362165 B2 JP7362165 B2 JP 7362165B2
- Authority
- JP
- Japan
- Prior art keywords
- learning
- adaptive
- characteristic information
- network
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003044 adaptive effect Effects 0.000 title claims description 1182
- 238000012549 training Methods 0.000 title claims description 679
- 238000012360 testing method Methods 0.000 title claims description 446
- 238000000034 method Methods 0.000 title claims description 271
- 238000012545 processing Methods 0.000 title description 16
- 230000006978 adaptation Effects 0.000 claims description 617
- 230000008569 process Effects 0.000 claims description 223
- 230000004048 modification Effects 0.000 claims description 48
- 238000012986 modification Methods 0.000 claims description 48
- 230000004075 alteration Effects 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 description 21
- 230000004913 activation Effects 0.000 description 13
- 238000010801 machine learning Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 238000013503 de-identification Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
- G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
- G06F21/12—Protecting executable software
- G06F21/14—Protecting executable software against software analysis or reverse engineering, e.g. by obfuscation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
- G06F21/106—Enforcing content protection by specific content processing
- G06F21/1066—Hiding content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
- G06F21/82—Protecting input, output or interconnection devices
- G06F21/84—Protecting input, output or interconnection devices output devices, e.g. displays or monitors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Bioethics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Technology Law (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Filters That Use Time-Delay Elements (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Digital Transmission Methods That Use Modulated Carrier Waves (AREA)
Description
110:メモリー、
120:プロセッサ、
200:テスト装置、
210:メモリー、
220:プロセッサ
Claims (22)
- 個人情報を保護するために原本データをコンシーリング(Concealing)処理するために使われる変造ネットワーク(Obfuscation Network)に対応される適応ネットワーク(Adaption Network)を学習する方法において、
(a)第1学習装置は、(i)前記変造ネットワークにトレーニングデータが入力されると、前記変造ネットワークをもって前記トレーニングデータを変造するようにして変造されたトレーニングデータを生成させるプロセス、(ii)(ii‐1)前記変造されたトレーニングデータを少なくとも一つの予め学習されたパラメータを持つラーニングネットワーク(Learning Network)に入力して、前記ラーニングネットワークをもって前記変造されたトレーニングデータに対して前記学習されたパラメータを利用したラーニング演算を適用することで学習用第1特性(Characteristic)情報を生成させ、(ii‐2)前記トレーニングデータを前記ラーニングネットワークに入力して、前記ラーニングネットワークをもって前記トレーニングデータに対して前記学習されたパラメータを利用した前記ラーニング演算を適用することで学習用第2特性情報を生成させるプロセス、及び(iii)前記学習用第1特性情報と前記学習用第2特性情報とを参照して算出された第1エラーが最小化され、前記トレーニングデータと前記変造されたトレーニングデータとを参照して算出された第2エラーが最大化されるように、前記変造ネットワークを学習するプロセスを遂行したか、又は遂行している状態で、第2学習装置が前記トレーニングデータを前記適応ネットワークに入力することで前記適応ネットワークをもって前記トレーニングデータを適応するようにして第1特徴適応データ(Feature Adapted Data)を生成させるプロセス、及びテストデータを前記適応ネットワークに入力することで前記適応ネットワークをもって前記テストデータを適応するようにして第2特徴適応データを生成させるプロセスを遂行する段階;及び
(b)前記第2学習装置は、(i)前記変造ネットワークによって生成された前記変造されたトレーニングデータに対応される第1適応GT(Adaption Ground Truth)を獲得し、(1)前記第1適応GTと(2)前記第1特徴適応データに対応される第1適応レファレンス(Reference)とを参照して算出された、第1適応エラーが最小化されるように前記適応ネットワークを学習するプロセス、及び(ii)前記テストデータを学習された前記変造ネットワークに入力して生成された、変造されたテストデータに対応される第2適応GTと前記第2特徴適応データに対応される第2適応レファレンスとを参照して算出された第2適応エラーが最小化されるように前記適応ネットワークを学習するプロセスの中で一つを遂行する段階;
を含む方法。 - 前記第2学習装置が(i)(i‐1)前記第1特徴適応データを前記ラーニングネットワークに入力することで、前記ラーニングネットワークをもって、前記第1特徴適応データに対して前記学習されたパラメータを利用した前記ラーニング演算を適用して前記第1特徴適応データに対応される第1適応特性情報を前記第1適応レファレンスとして出力させ、(i‐2)前記学習用第1特性情報と前記第1適応特性情報との間の差及び前記学習用第2特性情報と前記第1適応特性情報との間の差の中で一つを参照して前記第1適応エラーを獲得するプロセス、及び(ii)(ii‐1)前記第2特徴適応データを前記ラーニングネットワークに入力することで、前記ラーニングネットワークをもって前記第2特徴適応データに対して前記学習されたパラメータを利用した前記ラーニング演算を適用して前記第2特徴適応データに対応される第2適応特性情報を前記第2適応レファレンスとして出力させ、(ii‐2)(ii‐2a)前記変造されたテストデータを前記ラーニングネットワークに入力して生成されたテスト用第1特性情報と前記第2適応特性情報との間の差及び(ii‐2b)前記テストデータを前記ラーニングネットワークに入力して生成されたテスト用第2特性情報と前記第2適応特性情報との間の差の中で一つを参照して前記第2適応エラーを獲得するプロセスの中で一つを遂行する請求項1に記載の方法。
- 前記第1エラーは、(i)前記学習用第1特性情報を利用して生成された、前記変造されたトレーニングデータに対する学習用タスク特定出力(Task Specific Output)と(ii)前記トレーニングデータに対応されるトレーニングデータGTとを参照して獲得された変造ロスを利用して算出され、
前記第1適応エラーは、(i)前記第1適応特性情報を利用して生成された、前記第1特徴適応データに対する第1適応タスク特定出力と(ii)前記トレーニングデータGTとを参照して算出され、
前記第2適応エラーは、(i)前記第2適応特性情報を利用して生成された、前記第2特徴適応データに対する第2適応タスク特定出力と(ii)前記テストデータに対応されるテストデータGTとを参照して獲得された第2適応ロス(Adaption Loss)を利用して算出される請求項2に記載の方法。 - 前記第1エラーは、(i)前記学習用第1特性情報と前記学習用第2特性情報との間の差、及び(ii)(ii‐1)前記学習用第1特性情報を利用して生成された、前記変造されたトレーニングデータに対する学習用タスク特定出力と(ii‐2)前記トレーニングデータに対応されるトレーニングデータGTとを参照して獲得された変造ロスを参照して算出され、
前記第1適応エラーは、(i)前記学習用第1特性情報と前記第1適応特性情報との間の差または前記学習用第2特性情報と前記第1適応特性情報との間の差、及び(ii)(ii‐1)前記第1適応特性情報を利用して生成された、前記第1特徴適応データに対する第1適応タスク特定出力と(ii‐2)前記トレーニングデータGTとを参照して獲得された第1適応ロスを参照して算出され、
前記第2適応エラーは、(i)前記テスト用第1特性情報と前記第2適応特性情報との間の差または前記テスト用第2特性情報と前記第2適応特性情報との間の差、及び(ii)(ii‐1)前記第2適応特性情報を利用して生成された、前記第2特徴適応データに対する第2適応タスク特定出力と(ii‐2)前記テストデータに対応されるテストデータGTとを参照して獲得された第2適応ロスを参照して算出される請求項2に記載の方法。 - 前記ラーニングネットワークはそれぞれ少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n(前記nは1以上の整数である)学習されたパラメータを持つ第1ラーニングネットワークないし第nラーニングネットワークを含み、
前記第1学習装置が、(i)前記変造されたトレーニングデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記変造されたトレーニングデータに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して学習用第1_1特性情報ないし学習用第1_n特性情報を生成させるプロセス、(ii)前記トレーニングデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記トレーニングデータに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2_1特性情報ないし学習用第2_n特性情報を生成させるプロセス、(iii)前記学習用第1_1特性情報と前記学習用第2_1特性情報とを参照して算出された第1_1エラーないし前記学習用第1_n特性情報と前記学習用第2_n特性情報とを参照して算出された第1_nエラーの加重合計(Weighted Sum)である前記第1エラーを生成させるプロセス、及び(iv)前記第1エラーが最小化され、前記第2エラーが最大化されるように前記変造ネットワークを学習するプロセスを遂行したか、又は遂行している状態で、
前記第2学習装置は、(i)(i‐1)前記第1特徴適応データを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記第1特徴適応データに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して第1_1適応特性情報ないし第1_n適応特性情報を生成させ、(i‐2)前記学習用第1_1特性情報と前記第1_1適応特性情報との間の差ないし前記学習用第1_n特性情報と前記第1_n適応特性情報との間の差を加重和して前記第1適応エラーを獲得するプロセス、または前記学習用第2_1特性情報と前記第1_1適応特性情報との間の差ないし前記学習用第2_n特性情報と前記第1_n適応特性情報との間の差を加重和して前記第1適応エラーを獲得するプロセス、または(ii)(ii‐1)前記第2特徴適応データを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記第2特徴適応データに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して第2_1適応特性情報ないし第2_n適応特性情報を生成させ、(ii‐2)(1)テスト用第1_1特性情報ないしテスト用第1_n特性情報が、前記変造されたテストデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークに入力してそれぞれ生成される場合は、前記テスト用第1_1特性情報と前記第2_1適応特性情報との間の差ないし前記テスト用第1_n特性情報と前記第2_n適応特性情報との間の差を加重和して前記第2適応エラーを獲得するプロセス、または(2)テスト用第2_1特性情報ないしテスト用第2_n特性情報が、前記テストデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークに入力することでそれぞれ生成される場合は、前記テスト用第2_1特性情報と前記第2_1適応特性情報との間の差ないし前記テスト用第2_n特性情報と前記第2_n適応特性情報との間の差を加重和して前記第2適応エラーを獲得するプロセスを遂行する請求項2に記載の方法。 - 前記第1_1エラーないし前記第1_nエラーはそれぞれ(i)(i‐1)前記学習用第1_1特性情報を利用して生成された学習用第1タスク特定出力と(i‐2)前記トレーニングデータに対応するトレーニングデータGTとを参照して獲得された第1変造ロスないし(ii)(ii‐1)前記学習用第1_n特性情報を利用して生成された学習用第nタスク特定出力と(ii‐2)前記トレーニングデータGTとを参照して獲得された第n変造ロスをさらに参照してそれぞれ算出され、
(i)前記学習用第1_1特性情報と前記第1_1適応特性情報との間の差ないし前記学習用第1_n特性情報と前記第1_n適応特性情報との間の差のそれぞれは、前記第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_1適応ロスないし前記第1_n適応特性情報を利用して算出された第1_n適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_n適応ロスのそれぞれをさらに参照してそれぞれ決定されるプロセス、または(ii)前記学習用第2_1特性情報と前記第1_1適応特性情報との間の差ないし前記学習用第2_n特性情報と前記第1_n適応特性情報との間の差のそれぞれは、前記第1_1適応特性情報を利用して生成された前記第1_1適応タスク特定出力と前記トレーニングデータGTとを参照して算出された前記第1_1適応ロスないし前記第1_n適応特性情報を利用して算出された前記第1_n適応タスク特定出力と前記トレーニングデータGTとを参照して算出された前記第1_n適応ロスのそれぞれをさらに参照してそれぞれ決定されるプロセス、
(i)前記テスト用第1_1特性情報と前記第2_1適応特性情報との間の差ないし前記テスト用第1_n特性情報と前記第2_n適応特性情報との間の差のそれぞれは、前記第2_1適応特性情報を利用して生成された第2_1適応タスク特定出力と前記テストデータに対応するテストデータGTとを参照して算出された第2_1適応ロスないし前記第2_n適応特性情報を利用して算出された第2_n適応タスク特定出力と前記テストデータGTとを参照して算出された第2_n適応ロスのそれぞれをさらに参照してそれぞれ決定されるプロセス、または(ii)前記テスト用第2_1特性情報と前記第2_1適応特性情報との間の差ないし前記テスト用第2_n特性情報と前記第2_n適応特性情報との間の差のそれぞれは、前記第2_1適応特性情報を利用して生成された前記第2_1適応タスク特定出力と前記テストデータGTとを参照して算出された前記第2_1適応ロスないし前記第2_n適応特性情報を利用して算出された前記第2_n適応タスク特定出力と前記テストデータGTとを参照して算出された前記第2_n適応ロスのそれぞれをさらに参照してそれぞれ決定されるプロセスを遂行する請求項5に記載の方法。 - 前記ラーニングネットワークは、それぞれ少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n(前記nは1以上の整数である)学習されたパラメータを持つ第1ラーニングネットワークないし第nラーニングネットワークを含み、
前記第1学習装置は、(i)前記変造されたトレーニングデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記変造されたトレーニングデータに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して学習用第1_1特性情報ないし学習用第1_n特性情報を生成させるプロセス、(ii)前記トレーニングデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記トレーニングデータに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2_1特性情報ないし学習用第2_n特性情報を生成させるプロセス、(iii)前記学習用第1_1特性情報を利用して生成された学習用第1タスク特定出力と前記トレーニングデータに対応するトレーニングデータGTとを参照して算出された第1変造ロスないし前記学習用第1_n特性情報を利用して生成された学習用第nタスク特定出力と前記トレーニングデータGTとを参照して算出された第n変造ロスの加重合計である前記第1エラーを生成するプロセス、及び(iv)前記第1エラーが最小化されて前記第2エラーが最大化されるように前記変造ネットワークを学習するプロセスを遂行したか、又は遂行している状態で、
前記第2学習装置は、(i)(i‐1)前記第1特徴適応データを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記第1特徴適応データに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して第1_1適応特性情報ないし第1_n適応特性情報を生成させ、(i‐2)前記第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_1適応ロスないし前記第1_n適応特性情報を利用して生成された第1_n適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_n適応ロスを加重和して前記第1適応エラーを獲得するプロセス、または(ii)(ii‐1)前記第2特徴適応データを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記第2特徴適応データに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して第2_1適応特性情報ないし第2_n適応特性情報を生成させ、(ii‐2)前記第2_1適応特性情報を利用して生成された第2_1適応タスク特定出力と前記テストデータに対応するテストデータGTとを参照して算出された第2_1適応ロスないし前記第2_n適応特性情報を利用して生成された第2_n適応タスク特定出力と前記テストデータGTとを参照して算出された第2_n適応ロスを加重和して前記第2適応エラーを獲得するプロセスを遂行する請求項2に記載の方法。 - 前記ラーニングネットワークはそれぞれ少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n(前記nは1以上の整数である)学習されたパラメータを持つ第1ラーニングネットワークないし第nラーニングネットワークを含み、
前記第1学習装置は、(i)(i‐1)前記変造されたトレーニングデータである第1変造されたトレーニングデータを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記第1変造されたトレーニングデータに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して学習用第1_1特性情報を生成させ、(i‐2)前記トレーニングデータを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記トレーニングデータに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2_1特性情報を生成させ、(i‐3)前記学習用第1_1特性情報と前記学習用第2_1特性情報とを参照して算出された第1_1エラーが最小化され、前記トレーニングデータと前記第1変造されたトレーニングデータとを参照して算出された第2_1エラーが最大化されるように、前記変造ネットワークを学習することで前記変造ネットワークが第1学習された変造ネットワークになるようにするプロセス、及び(ii)定数のkを2からnまで増加させながら、(ii‐1)前記トレーニングデータを第(k‐1)学習された変造ネットワークに入力することで、前記第(k‐1)学習された変造ネットワークをもって第k変造されたトレーニングデータを生成させ、(ii‐2)(1)前記第k変造されたトレーニングデータを第kラーニングネットワークに入力することで、前記第kラーニングネットワークをもって前記第k変造されたトレーニングデータに対して前記第k学習されたパラメータを利用した前記ラーニング演算を適用して学習用第1_k特性情報を生成させ、(2)前記トレーニングデータを前記第kラーニングネットワークに入力することで、前記第kラーニングネットワークをもって前記トレーニングデータに対して前記第k学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2_k特性情報を生成させ、(ii‐3)前記学習用第1_k特性情報と前記学習用第2_k特性情報とを参照して算出された第1_kエラーが最小化され、前記トレーニングデータと前記第k変造されたトレーニングデータとを参照して算出された第2_kエラーが最大化されるように前記変造ネットワークを学習することで、前記第(k‐1)学習された変造ネットワークが第k学習された変造ネットワークになるようにするプロセスを遂行したか、又は遂行している状態で、
前記第2学習装置は、(i)(i‐1)前記第1特徴適応データである第1_1特徴適応データを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記第1_1特徴適応データに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して第1_1適応特性情報を生成させ、(i‐2)前記学習用第1_1特性情報と前記第1_1適応特性情報との間の差または前記学習用第2_1特性情報と前記第1_1適応特性情報との間の差を参照して算出された第1_1適応エラーが最小化されるように前記適応ネットワークを学習することで、前記適応ネットワークが第1学習された適応ネットワークになるようにし、前記トレーニングデータを第(k‐1)学習された適応ネットワークに入力して前記第(k‐1)学習された適応ネットワークをもって第1_k特徴適応データを生成させ、前記第1_k特徴適応データを前記第kラーニングネットワークに入力して前記第kラーニングネットワークをもって前記第1_k特徴適応データに対して前記ラーニング演算を適用して第1_k適応特性情報を生成させ、(i‐3)前記学習用第1_k特性情報と前記第1_k適応特性情報との間の差または前記学習用第2_k特性情報と前記第1_k適応特性情報との間の差を参照して算出された第1_k適応エラーが最小化されるように前記第(k‐1)学習された適応ネットワークを学習することで、前記第(k‐1)学習された適応ネットワークが第k学習された適応ネットワークになるようにするプロセス、または(ii)(ii‐1)前記変造されたテストデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークに入力して前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記変造されたテストデータに対して前記ラーニング演算を適用してテスト用第1_1特性情報ないしテスト用第1_n特性情報を生成するプロセス、または前記テストデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークに入力して前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記テストデータに対して前記ラーニング演算を適用してテスト用第2_1特性情報ないしテスト用第2_n特性情報を生成するプロセスを遂行し、(ii‐2)前記第2特徴適応データである第2_1特徴適応データを前記第1ラーニングネットワークに入力して前記第1ラーニングネットワークをもって前記第2_1特徴適応データに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して第2_1適応特性情報を生成させ、(ii‐3)前記テスト用第1_1特性情報と前記第2_1適応特性情報との間の差または前記テスト用第2_1特性情報と前記第2_1適応特性情報との間の差を参照して算出された第2_1適応エラーが最小化されるように前記適応ネットワークを学習することで前記適応ネットワークが第1学習された適応ネットワークになるようにし、前記テストデータを前記第(k‐1)学習された適応ネットワークに入力して前記第(k‐1)学習された適応ネットワークをもって第2_k特徴適応データを生成させ、前記第2_k特徴適応データを前記第kラーニングネットワークに入力して前記第kラーニングネットワークをもって前記第2_k特徴適応データに対して前記ラーニング演算を適用して第2_k適応特性情報を生成させ、(ii‐4)前記テスト用第1_k特性情報と前記第2_k適応特性情報との間の差または前記テスト用第2_k特性情報と前記第2_k適応特性情報との間の差を参照して算出された第2_k適応エラーが最小化されるように前記第(k‐1)学習された適応ネットワークを学習することで前記第(k‐1)学習された適応ネットワークが第k学習された適応ネットワークになるようにするプロセスを遂行する請求項2に記載の方法。 - 前記第1_kエラーは、(i)前記学習用第1_k特性情報を利用して生成された、前記第k変造されたトレーニングデータに対する学習用第kタスク特定出力と(ii)前記トレーニングデータに対応されるトレーニングデータGTとを参照して獲得された第k変造ロスをさらに参照して算出され、
(i)前記学習用第1_1特性情報と前記第1_1適応特性情報との間の差ないし前記学習用第1_n特性情報と前記第1_n適応特性情報との間の差のそれぞれは、前記第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_1適応ロスないし前記第1_n適応特性情報を利用して生成された第1_n適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_n適応ロスのそれぞれをさらに参照してそれぞれ決定されるプロセス、または(ii)前記学習用第2_1特性情報と前記第1_1適応特性情報との間の差ないし前記学習用第2_n特性情報と前記第1_n適応特性情報との間の差のそれぞれは、前記第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_1適応ロスないし前記第1_n適応特性情報を利用して生成された第1_n適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_n適応ロスのそれぞれをさらに参照してそれぞれ決定されるプロセス、
(i)前記テスト用第1_1特性情報と前記第2_1適応特性情報との間の差ないし前記テスト用第1_n特性情報と前記第2_n適応特性情報との間の差のそれぞれは、前記第2_1適応特性情報を利用して生成された第2_1適応タスク特定出力と前記テストデータに対応するテストデータGTとを参照して算出された第2_1適応ロスないし前記第2_n適応特性情報を利用して生成された第2_n適応タスク特定出力と前記テストデータGTとを参照して算出された第2_n適応ロスのそれぞれをさらに参照して決定されるプロセス、または(ii)前記テスト用第2_1特性情報と前記第2_1適応特性情報との間の差ないし前記テスト用第2_n特性情報と前記第2_n適応特性情報との間の差のそれぞれは、前記第2_1適応特性情報を利用して生成された前記第2_1適応タスク特定出力と前記テストデータGTとを参照して算出された前記第2_1適応ロスないし前記第2_n適応特性情報を利用して生成された前記第2_n適応タスク特定出力と前記テストデータGTとを参照して算出された第2_n適応ロスのそれぞれをさらに参照してそれぞれ決定されるプロセスを遂行する請求項8に記載の方法。 - 前記ラーニングネットワークはそれぞれ少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n(前記nは1以上の整数である)学習されたパラメータを持つ第1ラーニングネットワークないし第nラーニングネットワークを含み、
前記第1学習装置は、(i)(i‐1)前記変造されたトレーニングデータである第1変造されたトレーニングデータを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記第1変造されたトレーニングデータに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して学習用第1_1特性情報を生成させ、(i‐2)前記トレーニングデータを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記トレーニングデータに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2_1特性情報を生成させ、(i‐3)前記学習用第1_1特性情報と前記学習用第2_1特性情報とを参照して算出された第1_1エラーが最小化され、前記トレーニングデータと前記第1変造されたトレーニングデータとを参照して算出された第2_1エラーが最大化されるように前記変造ネットワークを学習することで、前記変造ネットワークをもって第1学習された変造ネットワークになるようにするプロセス、及び(ii)定数のkを2からnまで増加させながら、(ii‐1)前記トレーニングデータを第(k‐1)学習された変造ネットワークに入力することで、前記第(k‐1)学習された変造ネットワークをもって第k変造されたトレーニングデータを生成させ、(ii‐2)(1)前記第k変造されたトレーニングデータが第kラーニングネットワークに入力することで、前記第kラーニングネットワークをもって前記第k変造されたトレーニングデータに対して前記第k学習されたパラメータを利用した前記ラーニング演算を適用して学習用第1_k特性情報を生成させ、(2)前記トレーニングデータを前記第kラーニングネットワークに入力することで、前記第kラーニングネットワークをもって前記トレーニングデータに対して前記第k学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2_k特性情報を生成し、(ii‐3)前記学習用第1_k特性情報と前記学習用第2_k特性情報とを参照して算出された第1_kエラーが最小化され、前記トレーニングデータと前記第k変造されたトレーニングデータとを参照して算出された第2_kエラーが最大化されるように前記変造ネットワークを学習することで、前記第(k‐1)学習された変造ネットワークをもって前記第k学習された変造ネットワークになるようにするプロセスを遂行したか、又は遂行している状態で、
前記第2学習装置は、(i)(i‐1)前記第1特徴適応データである第1_1特徴適応データを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記第1_1特徴適応データに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して第1_1適応特性情報を生成させ、(i‐2)前記第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と前記トレーニングデータに対応するトレーニングデータGTとを参照して算出された第1_1適応ロスが最小化されるように前記適応ネットワークを学習して前記適応ネットワークが第1学習された適応ネットワークになるようにし、前記トレーニングデータを第(k‐1)学習された適応ネットワークに入力して前記第(k‐1)学習された適応ネットワークをもって第1_k特徴適応データを生成させ、前記第1_k特徴適応データを前記第kラーニングネットワークに入力して前記第kラーニングネットワークをもって前記第1_k特徴適応データに対して前記ラーニング演算を適用して第1_k適応特性情報を生成させ、(i‐3)前記第1_k適応特性情報を利用して生成された第1_k適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_k適応ロスが最小化されるように第(k‐1)学習された適応ネットワークを学習して前記第(k‐1)学習された適応ネットワークが第k学習された適応ネットワークになるようにするプロセス、または(ii)(ii‐1)前記第2特徴適応データである第2_1特徴適応データを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記第2_1特徴適応データに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して第2_1適応特性情報を生成させ、(ii‐2)前記第2_1適応特性情報を利用して生成された第2_1適応タスク特定出力と前記テストデータに対応するテストデータGTとを参照して算出された第2_1適応ロスが最小化されるように前記適応ネットワークを学習して前記適応ネットワークが第1学習された適応ネットワークになるようにし、前記テストデータを第(k‐1)学習された適応ネットワークに入力して前記第(k‐1)学習された適応ネットワークをもって第2_k特徴適応データを生成させ、前記第2_k特徴適応データを前記第kラーニングネットワークに入力して前記第kラーニングネットワークをもって前記第2_k特徴適応データに対して前記ラーニング演算を適用して第2_k適応特性情報を生成させ、(ii‐3)前記第2_k適応特性情報を利用して生成された第2_k適応タスク特定出力と前記テストデータGTとを参照して算出された第2_k適応ロスが最小化されるように第(k‐1)学習された適応ネットワークを学習して前記第(k‐1)学習された適応ネットワークが第k学習された適応ネットワークになるようにするプロセスを遂行する請求項2に記載の方法。 - 個人情報を保護するために原本データをコンシーリング(Concealing)処理するために使われる変造ネットワーク(Obfuscation Network)に対応される適応ネットワーク(Adaption Network)をテストする方法において、
(a)第1学習装置は、(i)前記変造ネットワークをもって前記変造ネットワークに入力されたトレーニングデータを変造するようにし、変造されたトレーニングデータを生成させるプロセス、(ii)(ii‐1)前記変造されたトレーニングデータを少なくとも一つの予め学習されたパラメータを持つラーニングネットワーク(Learning Network)に入力して、前記ラーニングネットワークをもって前記変造されたトレーニングデータに対して前記学習されたパラメータを利用したラーニング演算を適用して学習用第1特性(Characteristic)情報を生成させ、(ii‐2)前記トレーニングデータを前記ラーニングネットワークに入力して、前記ラーニングネットワークをもって前記トレーニングデータに対して前記学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2特性情報を生成させるプロセス、及び(iii)前記学習用第1特性情報と前記学習用第2特性情報とを参照して算出された第1エラーが最小化され、前記トレーニングデータと前記変造されたトレーニングデータとを参照して算出された第2エラーが最大化されるように、前記変造ネットワークを学習するプロセスを遂行した後または遂行する間、
第2学習装置が(i)(i‐1)前記トレーニングデータを前記適応ネットワークに入力することで前記適応ネットワークをもって前記トレーニングデータを適応するようにして第1特徴適応トレーニングデータ(Feature Adapted Training Data)を生成させるプロセス、及び(i‐2)第1テストデータを前記適応ネットワークに入力することで前記適応ネットワークをもって前記テストデータを適応するようにして第2特徴適応トレーニングデータを生成させるプロセスの中で一つ及び(ii)(ii‐1)前記変造ネットワークによって生成された前記変造されたトレーニングデータに対応される第1適応GT(Adaption Ground Truth)を獲得し、(1)前記第1適応GTと(2)第1特徴適応データに対応される第1適応レファレンス(Reference)とを参照して算出された、第1適応エラーが最小化されるように前記適応ネットワークを学習するプロセス及び(ii‐2)前記テストデータを学習された前記変造ネットワークに入力して生成された、変造されたテストデータに対応される第2適応GTと前記第2特徴適応トレーニングデータに対応される第2適応レファレンスとを参照して算出された第2適応エラーが最小化されるように前記適応ネットワークを学習するプロセスの中で一つを遂行した状態で、テスト装置がコンシーリング処理するための第2テストデータを獲得する段階;及び
(b)前記テスト装置が、前記第2テストデータを前記適応ネットワークに入力することで、前記適応ネットワークをもって前記第2テストデータを適応するようにして特徴適応テストデータを生成させ、前記特徴適応テストデータを前記第2テストデータのコンシーリング処理されたデータとして獲得する段階;
を含む方法。 - 個人情報を保護するために原本データをコンシーリング(Concealing)処理するために使われる変造ネットワーク(Obfuscation Network)に対応される適応ネットワーク(Adaption Network)を学習する第2学習装置において、
インストラクションを格納する少なくとも一つのメモリー;及び
(I)第1学習装置は、(i)前記変造ネットワークにトレーニングデータが入力されると、前記変造ネットワークをもって前記トレーニングデータを変造するようにして変造されたトレーニングデータを生成させるプロセス、(ii)(ii‐1)前記変造されたトレーニングデータを少なくとも一つの予め学習されたパラメータを持つラーニングネットワーク(Learning Network)に入力して、前記ラーニングネットワークをもって前記変造されたトレーニングデータに対して前記学習されたパラメータを利用したラーニング演算を適用することで学習用第1特性(Characteristic)情報を生成させ、(ii‐2)前記トレーニングデータを前記ラーニングネットワークに入力して、前記ラーニングネットワークをもって前記トレーニングデータに対して前記学習されたパラメータを利用した前記ラーニング演算を適用することで学習用第2特性情報を生成させるプロセス、及び(iii)前記学習用第1特性情報と前記学習用第2特性情報とを参照して算出された第1エラーが最小化され、前記トレーニングデータと前記変造されたトレーニングデータとを参照して算出された第2エラーが最大化されるように、前記変造ネットワークを学習するプロセスを遂行したか、又は遂行している状態で、前記トレーニングデータを前記適応ネットワークに入力することで前記適応ネットワークをもって前記トレーニングデータを適応するようにして第1特徴適応データ(Feature Adapted Data)を生成させるプロセス、及びテストデータを前記適応ネットワークに入力することで前記適応ネットワークをもって前記テストデータを適応するようにして第2特徴適応データを生成させるプロセスを遂行するプロセス;及び(II)(i)前記変造ネットワークによって生成された前記変造されたトレーニングデータに対応される第1適応GT(Adaption Ground Truth)を獲得し、(1)前記第1適応GTと(2)前記第1特徴適応データに対応される第1適応レファレンス(Reference)とを参照して算出された、第1適応エラーが最小化されるように前記適応ネットワークを学習するプロセス、及び(ii)前記テストデータを学習された前記変造ネットワークに入力して生成された、変造されたテストデータに対応される第2適応GTと前記第2特徴適応データに対応される第2適応レファレンスとを参照して算出された第2適応エラーが最小化されるように前記適応ネットワークを学習するプロセスの中で一つを遂行するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサ;
を含む装置。 - 前記プロセッサが、(i)(i‐1)前記第1特徴適応データを前記ラーニングネットワークに入力することで、前記ラーニングネットワークをもって前記第1特徴適応データに対して前記学習されたパラメータを利用した前記ラーニング演算を適用して前記第1特徴適応データに対応される第1適応特性情報を前記第1適応レファレンスとして出力させ、(i‐2)前記学習用第1特性情報と前記第1適応特性情報との間の差及び前記学習用第2特性情報と前記第1適応特性情報との間の差の中で一つを参照して前記第1適応エラーを獲得するプロセス、及び(ii)(ii‐1)前記第2特徴適応データを前記ラーニングネットワークに入力することで、前記ラーニングネットワークをもって前記第2特徴適応データに対して前記学習されたパラメータを利用した前記ラーニング演算を適用して前記第2特徴適応データに対応される第2適応特性情報を前記第2適応レファレンスとして出力させ、(ii‐2)(ii‐2a)前記変造されたテストデータを前記ラーニングネットワークに入力して生成されたテスト用第1特性情報と前記第2適応特性情報との間の差及び(ii‐2b)前記テストデータを前記ラーニングネットワークに入力して生成されたテスト用第2特性情報と前記第2適応特性情報との間の差の中で一つを参照して前記第2適応エラーを獲得するプロセスの中で一つを遂行する請求項12に記載の装置。
- 前記第1エラーは、(i)前記学習用第1特性情報を利用して生成された、前記変造されたトレーニングデータに対する学習用タスク特定出力(Task Specific Output)と(ii)前記トレーニングデータに対応されるトレーニングデータGTとを参照して獲得された変造ロスを利用して算出され、
前記第1適応エラーは(i)前記第1適応特性情報を利用して生成された、前記第1特徴適応データに対する第1適応タスク特定出力と(ii)前記トレーニングデータGTとを参照して算出され、
前記第2適応エラーは(i)前記第2適応特性情報を利用して生成された、前記第2特徴適応データに対する第2適応タスク特定出力と(ii)前記テストデータに対応されるテストデータGTとを参照して獲得された第2適応ロス(Adaption Loss)を利用して算出される請求項13に記載の装置。 - 前記第1エラーは、(i)前記学習用第1特性情報と前記学習用第2特性情報との間の差、及び(ii)(ii‐1)前記学習用第1特性情報を利用して生成された、前記変造されたトレーニングデータに対する学習用タスク特定出力と(ii‐2)前記トレーニングデータに対応されるトレーニングデータGTとを参照して獲得された変造ロスを参照して算出され、
前記第1適応エラーは、(i)前記学習用第1特性情報と前記第1適応特性情報との間の差または前記学習用第2特性情報と前記第1適応特性情報との間の差、及び(ii)(ii‐1)前記第1適応特性情報を利用して生成された、前記第1特徴適応データに対する第1適応タスク特定出力と(ii‐2)前記トレーニングデータGTとを参照して獲得された第1適応ロスを参照して算出され、
前記第2適応エラーは、(i)前記テスト用第1特性情報と前記第2適応特性情報との間の差または前記テスト用第2特性情報と前記第2適応特性情報との間の差、及び(ii)(ii‐1)前記第2適応特性情報を利用して生成された、前記第2特徴適応データに対する第2適応タスク特定出力と(ii‐2)前記テストデータに対応されるテストデータGTとを参照して獲得された第2適応ロスを参照して算出される請求項13に記載の装置。 - 前記ラーニングネットワークはそれぞれ少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n(前記nは1以上の整数である)学習されたパラメータを持つ第1ラーニングネットワークないし第nラーニングネットワークを含み、
前記第1学習装置が、(i)前記変造されたトレーニングデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記変造されたトレーニングデータに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して学習用第1_1特性情報ないし学習用第1_n特性情報を生成させるプロセス、(ii)前記トレーニングデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記トレーニングデータに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2_1特性情報ないし学習用第2_n特性情報を生成させるプロセス、(iii)前記学習用第1_1特性情報と前記学習用第2_1特性情報とを参照して算出された第1_1エラーないし前記学習用第1_n特性情報と前記学習用第2_n特性情報とを参照して算出された第1_nエラーの加重合計(Weighted Sum)である前記第1エラーを生成させるプロセス、及び(iv)前記第1エラーが最小化され、前記第2エラーが最大化されるように前記変造ネットワークを学習するプロセスを遂行したか、又は遂行している状態で、
前記プロセッサは、(i)(i‐1)前記第1特徴適応データを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記第1特徴適応データに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して第1_1適応特性情報ないし第1_n適応特性情報を生成させ、(i‐2)前記学習用第1_1特性情報と前記第1_1適応特性情報との間の差ないし前記学習用第1_n特性情報と前記第1_n適応特性情報との間の差を加重和して前記第1適応エラーを獲得するプロセス、または前記学習用第2_1特性情報と前記第1_1適応特性情報との間の差ないし前記学習用第2_n特性情報と前記第1_n適応特性情報との間の差を加重和して前記第1適応エラーを獲得するプロセス、または(ii)(ii‐1)前記第2特徴適応データを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記第2特徴適応データに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して第2_1適応特性情報ないし第2_n適応特性情報を生成させ、(ii‐2)(1)テスト用第1_1特性情報ないしテスト用第1_n特性情報が、前記変造されたテストデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークに入力してそれぞれ生成される場合は、前記テスト用第1_1特性情報と前記第2_1適応特性情報との間の差ないし前記テスト用第1_n特性情報と前記第2_n適応特性情報との間の差を加重和して前記第2適応エラーを獲得するプロセス、または(2)テスト用第2_1特性情報ないしテスト用第2_n特性情報が、前記テストデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークに入力することでそれぞれ生成される場合は、前記テスト用第2_1特性情報と前記第2_1適応特性情報との間の差ないし前記テスト用第2_n特性情報と前記第2_n適応特性情報との間の差を加重和して前記第2適応エラーを獲得するプロセスを遂行する請求項13に記載の装置。 - 前記第1_1エラーないし前記第1_nエラーは、それぞれ(i)(i‐1)前記学習用第1_1特性情報を利用して生成された学習用第1タスク特定出力と(i‐2)前記トレーニングデータに対応するトレーニングデータGTとを参照して獲得された第1変造ロスないし(ii)(ii‐1)前記学習用第1_n特性情報を利用して生成された学習用第nタスク特定出力と(ii‐2)前記トレーニングデータGTとを参照して獲得された第n変造ロスをさらに参照してそれぞれ算出され、
(i)前記学習用第1_1特性情報と前記第1_1適応特性情報との間の差ないし前記学習用第1_n特性情報と前記第1_n適応特性情報との間の差のそれぞれは、前記第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_1適応ロスないし前記第1_n適応特性情報を利用して算出された第1_n適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_n適応ロスのそれぞれをさらに参照してそれぞれ決定されるプロセス、または(ii)前記学習用第2_1特性情報と前記第1_1適応特性情報との間の差ないし前記学習用第2_n特性情報と前記第1_n適応特性情報との間の差のそれぞれは、前記第1_1適応特性情報を利用して生成された前記第1_1適応タスク特定出力と前記トレーニングデータGTとを参照して算出された前記第1_1適応ロスないし前記第1_n適応特性情報を利用して算出された前記第1_n適応タスク特定出力と前記トレーニングデータGTとを参照して算出された前記第1_n適応ロスのそれぞれをさらに参照してそれぞれ決定されるプロセス、
(i)前記テスト用第1_1特性情報と前記第2_1適応特性情報との間の差ないし前記テスト用第1_n特性情報と前記第2_n適応特性情報との間の差のそれぞれは、前記第2_1適応特性情報を利用して生成された第2_1適応タスク特定出力と前記テストデータに対応するテストデータGTとを参照して算出された第2_1適応ロスないし前記第2_n適応特性情報を利用して算出された第2_n適応タスク特定出力と前記テストデータGTとを参照して算出された第2_n適応ロスのそれぞれをさらに参照してそれぞれ決定されるプロセス、または(ii)前記テスト用第2_1特性情報と前記第2_1適応特性情報との間の差ないし前記テスト用第2_n特性情報と前記第2_n適応特性情報との間の差のそれぞれは、前記第2_1適応特性情報を利用して生成された前記第2_1適応タスク特定出力と前記テストデータGTとを参照して算出された前記第2_1適応ロスないし前記第2_n適応特性情報を利用して算出された前記第2_n適応タスク特定出力と前記テストデータGTとを参照して算出された前記第2_n適応ロスのそれぞれをさらに参照してそれぞれ決定されるプロセスを遂行する請求項16に記載の装置。 - 前記ラーニングネットワークは、それぞれ少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n(前記nは1以上の整数である)学習されたパラメータを持つ第1ラーニングネットワークないし第nラーニングネットワークを含み、
前記第1学習装置は、(i)前記変造されたトレーニングデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記変造されたトレーニングデータに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して学習用第1_1特性情報ないし学習用第1_n特性情報を生成させるプロセス、(ii)前記トレーニングデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記トレーニングデータに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2_1特性情報ないし学習用第2_n特性情報を生成させるプロセス、(iii)前記学習用第1_1特性情報を利用して生成された学習用第1タスク特定出力と前記トレーニングデータに対応するトレーニングデータGTとを参照して算出された第1変造ロスないし前記学習用第1_n特性情報を利用して生成された学習用第nタスク特定出力と前記トレーニングデータGTとを参照して算出された第n変造ロスの加重合計である前記第1エラーを生成するプロセス、及び(iv)前記第1エラーが最小化されて前記第2エラーが最大化されるように前記変造ネットワークを学習するプロセスを遂行したか、又は遂行している状態で、
前記プロセッサは、(i)(i‐1)前記第1特徴適応データを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記第1特徴適応データに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して第1_1適応特性情報ないし第1_n適応特性情報を生成させ、(i‐2)前記第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_1適応ロスないし前記第1_n適応特性情報を利用して生成された第1_n適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_n適応ロスを加重和して前記第1適応エラーを獲得するプロセス、または(ii)(ii‐1)前記第2特徴適応データを前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれに入力することで、前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記第2特徴適応データに対して前記第1学習されたパラメータないし前記第n学習されたパラメータを利用した前記ラーニング演算を適用して第2_1適応特性情報ないし第2_n適応特性情報を生成させ、(ii‐2)前記第2_1適応特性情報を利用して生成された第2_1適応タスク特定出力と前記テストデータに対応するテストデータGTとを参照して算出された第2_1適応ロスないし前記第2_n適応特性情報を利用して生成された第2_n適応タスク特定出力と前記テストデータGTとを参照して算出された第2_n適応ロスを加重和して前記第2適応エラーを獲得するプロセスを遂行する請求項13に記載の装置。 - 前記ラーニングネットワークは、それぞれ少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n(前記nは1以上の整数である)学習されたパラメータを持つ第1ラーニングネットワークないし第nラーニングネットワークを含み、
前記第1学習装置は、(i)(i‐1)前記変造されたトレーニングデータである第1変造されたトレーニングデータを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記第1変造されたトレーニングデータに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して学習用第1_1特性情報を生成させ、(i‐2)前記トレーニングデータを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記トレーニングデータに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2_1特性情報を生成させ、(i‐3)前記学習用第1_1特性情報と前記学習用第2_1特性情報とを参照して算出された第1_1エラーが最小化され、前記トレーニングデータと前記第1変造されたトレーニングデータとを参照して算出された第2_1エラーが最大化されるように、前記変造ネットワークを学習することで前記変造ネットワークが第1学習された変造ネットワークになるようにするプロセス、及び(ii)定数のkを2からnまで増加させながら、(ii‐1)前記トレーニングデータを第(k‐1)学習された変造ネットワークに入力することで、前記第(k‐1)学習された変造ネットワークをもって第k変造されたトレーニングデータを生成させ、(ii‐2)(1)前記第k変造されたトレーニングデータを第kラーニングネットワークに入力することで、前記第kラーニングネットワークをもって前記第k変造されたトレーニングデータに対して前記第k学習されたパラメータを利用した前記ラーニング演算を適用して学習用第1_k特性情報を生成させ、(2)前記トレーニングデータを前記第kラーニングネットワークに入力することで、前記第kラーニングネットワークをもって前記トレーニングデータに対して前記第k学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2_k特性情報を生成させ、(ii‐3)前記学習用第1_k特性情報と前記学習用第2_k特性情報とを参照して算出された第1_kエラーが最小化され、前記トレーニングデータと前記第k変造されたトレーニングデータとを参照して算出された第2_kエラーが最大化されるように前記変造ネットワークを学習することで、前記第(k‐1)学習された変造ネットワークが第k学習された変造ネットワークになるようにするプロセスを遂行したか、又は遂行している状態で、
前記プロセッサは、(i)(i‐1)前記第1特徴適応データである第1_1特徴適応データを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記第1_1特徴適応データに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して第1_1適応特性情報を生成させ、(i‐2)前記学習用第1_1特性情報と前記第1_1適応特性情報との間の差または前記学習用第2_1特性情報と前記第1_1適応特性情報との間の差を参照して算出された第1_1適応エラーが最小化されるように前記適応ネットワークを学習することで、前記適応ネットワークが第1学習された適応ネットワークになるようにし、前記トレーニングデータを第(k‐1)学習された適応ネットワークに入力して前記第(k‐1)学習された適応ネットワークをもって第1_k特徴適応データを生成させ、前記第1_k特徴適応データを前記第kラーニングネットワークに入力して前記第kラーニングネットワークをもって前記第1_k特徴適応データに対して前記ラーニング演算を適用して第1_k適応特性情報を生成させ、(i‐3)前記学習用第1_k特性情報と前記第1_k適応特性情報との間の差または前記学習用第2_k特性情報と前記第1_k適応特性情報との間の差を参照して算出された第1_k適応エラーが最小化されるように前記第(k‐1)学習された適応ネットワークを学習することで、前記第(k‐1)学習された適応ネットワークが第k学習された適応ネットワークになるようにするプロセス、または(ii)(ii‐1)前記変造されたテストデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークに入力して前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記変造されたテストデータに対して前記ラーニング演算を適用してテスト用第1_1特性情報ないしテスト用第1_n特性情報を生成するプロセス、または前記テストデータを前記第1ラーニングネットワークないし前記第nラーニングネットワークに入力して前記第1ラーニングネットワークないし前記第nラーニングネットワークのそれぞれをもって前記テストデータに対して前記ラーニング演算を適用してテスト用第2_1特性情報ないしテスト用第2_n特性情報を生成するプロセスを遂行し、(ii‐2)前記第2特徴適応データである第2_1特徴適応データを前記第1ラーニングネットワークに入力して前記第1ラーニングネットワークをもって前記第2_1特徴適応データに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して第2_1適応特性情報を生成させ、(ii‐3)前記テスト用第1_1特性情報と前記第2_1適応特性情報との間の差または前記テスト用第2_1特性情報と前記第2_1適応特性情報との間の差を参照して算出された第2_1適応エラーが最小化されるように前記適応ネットワークを学習することで前記適応ネットワークが第1学習された適応ネットワークになるようにし、前記テストデータを前記第(k‐1)学習された適応ネットワークに入力して前記第(k‐1)学習された適応ネットワークをもって第2_k特徴適応データを生成させ、前記第2_k特徴適応データを前記第kラーニングネットワークに入力して前記第kラーニングネットワークをもって前記第2_k特徴適応データに対して前記ラーニング演算を適用して第2_k適応特性情報を生成させ、(ii‐4)前記テスト用第1_k特性情報と前記第2_k適応特性情報との間の差または前記テスト用第2_k特性情報と前記第2_k適応特性情報との間の差を参照して算出された第2_k適応エラーが最小化されるように前記第(k‐1)学習された適応ネットワークを学習することで前記第(k‐1)学習された適応ネットワークが第k学習された適応ネットワークになるようにするプロセスを遂行する請求項13に記載の装置。 - 前記第1_kエラーは、(i)前記学習用第1_k特性情報を利用して生成された、前記第k変造されたトレーニングデータに対する学習用第kタスク特定出力と(ii)前記トレーニングデータに対応されるトレーニングデータGTとを参照して獲得された第k変造ロスをさらに参照して算出され、
(i)前記学習用第1_1特性情報と前記第1_1適応特性情報との間の差ないし前記学習用第1_n特性情報と前記第1_n適応特性情報との間の差のそれぞれは、前記第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_1適応ロスないし前記第1_n適応特性情報を利用して生成された第1_n適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_n適応ロスのそれぞれをさらに参照してそれぞれ決定されるプロセス、または(ii)前記学習用第2_1特性情報と前記第1_1適応特性情報との間の差ないし前記学習用第2_n特性情報と前記第1_n適応特性情報との間の差のそれぞれは、前記第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_1適応ロスないし前記第1_n適応特性情報を利用して生成された第1_n適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_n適応ロスのそれぞれをさらに参照してそれぞれ決定されるプロセス、
(i)前記テスト用第1_1特性情報と前記第2_1適応特性情報との間の差ないし前記テスト用第1_n特性情報と前記第2_n適応特性情報との間の差のそれぞれは、前記第2_1適応特性情報を利用して生成された第2_1適応タスク特定出力と前記テストデータに対応するテストデータGTとを参照して算出された第2_1適応ロスないし前記第2_n適応特性情報を利用して生成された第2_n適応タスク特定出力と前記テストデータGTとを参照して算出された第2_n適応ロスのそれぞれをさらに参照して決定されるプロセス、または(ii)前記テスト用第2_1特性情報と前記第2_1適応特性情報との間の差ないし前記テスト用第2_n特性情報と前記第2_n適応特性情報との間の差のそれぞれは、前記第2_1適応特性情報を利用して生成された前記第2_1適応タスク特定出力と前記テストデータGTとを参照して算出された前記第2_1適応ロスないし前記第2_n適応特性情報を利用して生成された前記第2_n適応タスク特定出力と前記テストデータGTとを参照して算出された第2_n適応ロスのそれぞれをさらに参照してそれぞれ決定されるプロセスを遂行する請求項19に記載の装置。 - 前記ラーニングネットワークは、それぞれ少なくとも一つの第1学習されたパラメータないし少なくとも一つの第n(前記nは1以上の整数である)学習されたパラメータを持つ第1ラーニングネットワークないし第nラーニングネットワークを含み、
前記第1学習装置は、(i)(i‐1)前記変造されたトレーニングデータである第1変造されたトレーニングデータを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記第1変造されたトレーニングデータに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して学習用第1_1特性情報を生成させ、(i‐2)前記トレーニングデータを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記トレーニングデータに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2_1特性情報を生成させ、(i‐3)前記学習用第1_1特性情報と前記学習用第2_1特性情報とを参照して算出された第1_1エラーが最小化され、前記トレーニングデータと前記第1変造されたトレーニングデータとを参照して算出された第2_1エラーが最大化されるように前記変造ネットワークを学習することで、前記変造ネットワークをもって第1学習された変造ネットワークになるようにするプロセス、及び(ii)定数のkを2からnまで増加させながら、(ii‐1)前記トレーニングデータを第(k‐1)学習された変造ネットワークに入力することで、前記第(k‐1)学習された変造ネットワークをもって第k変造されたトレーニングデータを生成させ、(ii‐2)(1)前記第k変造されたトレーニングデータが第kラーニングネットワークに入力することで、前記第kラーニングネットワークをもって前記第k変造されたトレーニングデータに対して前記第k学習されたパラメータを利用した前記ラーニング演算を適用して学習用第1_k特性情報を生成させ、(2)前記トレーニングデータを前記第kラーニングネットワークに入力することで、前記第kラーニングネットワークをもって前記トレーニングデータに対して前記第k学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2_k特性情報を生成し、(ii‐3)前記学習用第1_k特性情報と前記学習用第2_k特性情報とを参照して算出された第1_kエラーが最小化され、前記トレーニングデータと前記第k変造されたトレーニングデータとを参照して算出された第2_kエラーが最大化されるように前記変造ネットワークを学習することで、前記第(k‐1)学習された変造ネットワークをもって前記第k学習された変造ネットワークになるようにするプロセスを遂行したか、又は遂行している状態で、
前記プロセッサは、(i)(i‐1)前記第1特徴適応データである第1_1特徴適応データを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記第1_1特徴適応データに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して第1_1適応特性情報を生成させ、(i‐2)前記第1_1適応特性情報を利用して生成された第1_1適応タスク特定出力と前記トレーニングデータに対応するトレーニングデータGTとを参照して算出された第1_1適応ロスが最小化されるように前記適応ネットワークを学習して前記適応ネットワークが第1学習された適応ネットワークになるようにし、前記トレーニングデータを第(k‐1)学習された適応ネットワークに入力して前記第(k‐1)学習された適応ネットワークをもって第1_k特徴適応データを生成させ、前記第1_k特徴適応データを前記第kラーニングネットワークに入力して前記第kラーニングネットワークをもって前記第1_k特徴適応データに対して前記ラーニング演算を適用して第1_k適応特性情報を生成させ、(i‐3)前記第1_k適応特性情報を利用して生成された第1_k適応タスク特定出力と前記トレーニングデータGTとを参照して算出された第1_k適応ロスが最小化されるように第(k‐1)学習された適応ネットワークを学習して前記第(k‐1)学習された適応ネットワークが第k学習された適応ネットワークになるようにするプロセス、または(ii)(ii‐1)前記第2特徴適応データである第2_1特徴適応データを前記第1ラーニングネットワークに入力することで、前記第1ラーニングネットワークをもって前記第2_1特徴適応データに対して前記第1学習されたパラメータを利用した前記ラーニング演算を適用して第2_1適応特性情報を生成させ、(ii‐2)前記第2_1適応特性情報を利用して生成された第2_1適応タスク特定出力と前記テストデータに対応するテストデータGTとを参照して算出された第2_1適応ロスが最小化されるように前記適応ネットワークを学習して前記適応ネットワークが第1学習された適応ネットワークになるようにし、前記テストデータを第(k‐1)学習された適応ネットワークに入力して前記第(k‐1)学習された適応ネットワークをもって第2_k特徴適応データを生成させ、前記第2_k特徴適応データを前記第kラーニングネットワークに入力して前記第kラーニングネットワークをもって前記第2_k特徴適応データに対して前記ラーニング演算を適用して第2_k適応特性情報を生成させ、(ii‐3)前記第2_k適応特性情報を利用して生成された第2_k適応タスク特定出力と前記テストデータGTとを参照して算出された第2_k適応ロスが最小化されるように第(k‐1)学習された適応ネットワークを学習して前記第(k‐1)学習された適応ネットワークが第k学習された適応ネットワークになるようにするプロセスを遂行する請求項13に記載の装置。 - 個人情報を保護するために原本データをコンシーリング(Concealing)処理するために使われる変造ネットワーク(Obfuscation Network)に対応される適応ネットワーク(Adaption Network)をテストするテスト装置において、
インストラクションを格納する少なくとも一つのメモリー;及び
(I)第1学習装置は、(i)前記変造ネットワークをもって前記変造ネットワークに入力されたトレーニングデータを変造するようにし、変造されたトレーニングデータを生成させるプロセス、(ii)(ii‐1)前記変造されたトレーニングデータを少なくとも一つの予め学習されたパラメータを持つラーニングネットワーク(Learning Network)に入力して、前記ラーニングネットワークをもって前記変造されたトレーニングデータに対して前記学習されたパラメータを利用したラーニング演算を適用して学習用第1特性(Characteristic)情報を生成させ、(ii‐2)前記トレーニングデータを前記ラーニングネットワークに入力して、前記ラーニングネットワークをもって前記トレーニングデータに対して前記学習されたパラメータを利用した前記ラーニング演算を適用して学習用第2特性情報を生成させるプロセス、及び(iii)前記学習用第1特性情報と前記学習用第2特性情報とを参照して算出された第1エラーが最小化され、前記トレーニングデータと前記変造されたトレーニングデータとを参照して算出された第2エラーが最大化されるように、前記変造ネットワークを学習するプロセスを遂行した後または遂行する間、第2学習装置が(i)(i‐1)前記トレーニングデータを前記適応ネットワークに入力することで前記適応ネットワークをもって前記トレーニングデータを適応するようにして第1特徴適応トレーニングデータ(Feature Adapted Training Data)を生成させるプロセス、及び(i‐2)第1テストデータを前記適応ネットワークに入力することで前記適応ネットワークをもって前記テストデータを適応するようにして第2特徴適応トレーニングデータを生成させるプロセスの中で一つ及び、(ii)(ii‐1)前記変造ネットワークによって生成された前記変造されたトレーニングデータに対応される第1適応GT(Adaption Ground Truth)を獲得し、(1)前記第1適応GTと(2)第1特徴適応データに対応される第1適応レファレンス(Reference)とを参照して算出された、第1適応エラーが最小化されるように前記適応ネットワークを学習するプロセス及び(ii‐2)前記テストデータを学習された前記変造ネットワークに入力して生成された、変造されたテストデータに対応される第2適応GTと前記第2特徴適応トレーニングデータに対応される第2適応レファレンスとを参照して算出された第2適応エラーが最小化されるように前記適応ネットワークを学習するプロセスの中で一つを遂行した状態で、コンシーリング処理のための第2テストデータを獲得するプロセス;及び(II)前記第2テストデータを前記適応ネットワークに入力することで、前記適応ネットワークをもって前記第2テストデータを適応するようにして特徴適応テストデータを生成させ、前記特徴適応テストデータを前記第2テストデータのコンシーリング処理されたデータとして獲得するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサを含む装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/663,132 | 2019-10-24 | ||
US16/663,132 US10621379B1 (en) | 2019-10-24 | 2019-10-24 | Method for training and testing adaption network corresponding to obfuscation network capable of processing data to be concealed for privacy, and training device and testing device using the same |
PCT/KR2020/005581 WO2021080102A1 (en) | 2019-10-24 | 2020-04-28 | Method for training and testing adaption network corresponding to obfuscation network capable of processing data to be concealed for privacy, and training device and testing device using the same |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022551832A JP2022551832A (ja) | 2022-12-14 |
JP7362165B2 true JP7362165B2 (ja) | 2023-10-17 |
Family
ID=70223718
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022520167A Active JP7362165B2 (ja) | 2019-10-24 | 2020-04-28 | プライバシーのためにデータをコンシーリング処理することができる変造ネットワークに対応される適応ネットワークを学習する方法及びテストする方法、そしてこれを利用した学習装置及びテスト装置{method for training and testing adaption network corresponding to obfuscation network capable of processing data to be concealed for privacy、and training device and testing device using the same} |
Country Status (5)
Country | Link |
---|---|
US (1) | US10621379B1 (ja) |
EP (1) | EP3812988A1 (ja) |
JP (1) | JP7362165B2 (ja) |
KR (1) | KR102183335B1 (ja) |
WO (1) | WO2021080102A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11562134B2 (en) * | 2019-04-02 | 2023-01-24 | Genpact Luxembourg S.à r.l. II | Method and system for advanced document redaction |
US11681965B2 (en) * | 2019-10-25 | 2023-06-20 | Georgetown University | Specialized computing environment for co-analysis of proprietary data |
KR20210057401A (ko) * | 2019-11-12 | 2021-05-21 | 한국전자통신연구원 | 다중 생체정보 기반 사용자 인증 장치 및 방법 |
US10956598B1 (en) * | 2020-04-24 | 2021-03-23 | Deeping Source Inc. | Method for preventing breach of original data for deep learning and data breach preventing device using them |
US11017319B1 (en) * | 2020-06-23 | 2021-05-25 | Deeping Source Inc. | Method for training obfuscation network which conceals original data to be used for machine learning and training surrogate network which uses obfuscated data generated by obfuscation network and method for testing trained obfuscation network and learning device and testing device using the same |
US11017320B1 (en) * | 2020-06-24 | 2021-05-25 | Deeping Source Inc. | Method for training obfuscation network which conceals original data to be used for machine learning and training surrogate network which uses obfuscated data generated by obfuscation network and learning device using the same and method for testing trained obfuscation network and testing device using the same |
US11200494B1 (en) * | 2020-10-21 | 2021-12-14 | Deeping Source Inc. | Method for training and testing obfuscation network capable of obfuscating data for privacy, and training device and testing device using the same |
KR102642332B1 (ko) * | 2020-12-30 | 2024-03-05 | 동국대학교 산학협력단 | 동적 메모리 기반의 신경망을 이용한 Few-Shot 텍스트 분류 장치 및 그 방법 |
KR102417702B1 (ko) * | 2021-01-06 | 2022-07-07 | (주)유엠로직스 | 설명 가능한 인공지능 기법을 이용한 유해물질 처리 최적 공정 데이터 산출 시스템 및 그 방법 |
US11308359B1 (en) * | 2021-10-27 | 2022-04-19 | Deeping Source Inc. | Methods for training universal discriminator capable of determining degrees of de-identification for images and obfuscation network capable of obfuscating images and training devices using the same |
US11423643B1 (en) * | 2021-11-29 | 2022-08-23 | Deeping Source Inc. | Method for generating obfuscated image to be used in training learning net work and labeling device using the same |
US11669635B1 (en) * | 2021-11-29 | 2023-06-06 | Deeping Source Inc. | Learning method and learning device for training obfuscation network capable of obfuscating original data for privacy and testing method and testing device using the same |
US11886955B2 (en) | 2022-02-16 | 2024-01-30 | Protopia AI, Inc. | Self-supervised data obfuscation in foundation models |
CN114925858B (zh) * | 2022-07-19 | 2023-09-29 | 北京百度网讯科技有限公司 | 基于深度学习框架持续集成***的任务处理方法及装置 |
KR102518913B1 (ko) * | 2022-12-14 | 2023-04-10 | 라온피플 주식회사 | 인공지능 모델의 성능 관리 장치 및 방법 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180005626A1 (en) | 2015-02-26 | 2018-01-04 | Longsand Limited | Obfuscating training data |
US20180165597A1 (en) | 2016-12-08 | 2018-06-14 | Resurgo, Llc | Machine Learning Model Evaluation in Cyber Defense |
JP2018106216A (ja) | 2016-12-22 | 2018-07-05 | 日本電信電話株式会社 | 学習データ生成装置、開発データ生成装置、モデル学習装置、それらの方法、及びプログラム |
US20190095629A1 (en) | 2017-09-25 | 2019-03-28 | International Business Machines Corporation | Protecting Cognitive Systems from Model Stealing Attacks |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101784265B1 (ko) * | 2016-06-09 | 2017-10-12 | 주식회사 그리즐리 | 빅데이터의 비식별화 처리 방법 |
KR101861520B1 (ko) | 2017-03-15 | 2018-05-28 | 광주과학기술원 | 얼굴 비식별화 방법 |
KR20190104268A (ko) * | 2019-07-25 | 2019-09-09 | 엘지전자 주식회사 | 비식별화된 음성 신호를 학습하는 인공 지능 기기 및 그 방법 |
-
2019
- 2019-10-24 US US16/663,132 patent/US10621379B1/en active Active
-
2020
- 2020-04-28 JP JP2022520167A patent/JP7362165B2/ja active Active
- 2020-04-28 KR KR1020200051861A patent/KR102183335B1/ko active IP Right Grant
- 2020-04-28 WO PCT/KR2020/005581 patent/WO2021080102A1/en active Application Filing
- 2020-05-28 EP EP20177023.7A patent/EP3812988A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180005626A1 (en) | 2015-02-26 | 2018-01-04 | Longsand Limited | Obfuscating training data |
US20180165597A1 (en) | 2016-12-08 | 2018-06-14 | Resurgo, Llc | Machine Learning Model Evaluation in Cyber Defense |
JP2018106216A (ja) | 2016-12-22 | 2018-07-05 | 日本電信電話株式会社 | 学習データ生成装置、開発データ生成装置、モデル学習装置、それらの方法、及びプログラム |
US20190095629A1 (en) | 2017-09-25 | 2019-03-28 | International Business Machines Corporation | Protecting Cognitive Systems from Model Stealing Attacks |
Also Published As
Publication number | Publication date |
---|---|
US10621379B1 (en) | 2020-04-14 |
WO2021080102A1 (en) | 2021-04-29 |
EP3812988A1 (en) | 2021-04-28 |
JP2022551832A (ja) | 2022-12-14 |
KR102183335B1 (ko) | 2020-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7362165B2 (ja) | プライバシーのためにデータをコンシーリング処理することができる変造ネットワークに対応される適応ネットワークを学習する方法及びテストする方法、そしてこれを利用した学習装置及びテスト装置{method for training and testing adaption network corresponding to obfuscation network capable of processing data to be concealed for privacy、and training device and testing device using the same} | |
JP7040712B2 (ja) | 個人情報保護のために原本データをコンシーリング処理する変調ネットワークを学習する方法及びテストする方法、そして、これを利用した学習装置及びテスト装置 | |
JP7297226B2 (ja) | 個人情報を保護するために原本データをコンシーリング処理して生成された変造データを認識するために使われる使用者ラーニングネットワークを学習する方法及びテストする方法、そしてこれを利用した学習装置及びテスト装置 | |
KR102412832B1 (ko) | 개인 정보 보호를 위하여 원본 데이터를 변조하는 변조 네트워크를 학습하는 방법 및 테스팅하는 방법, 그리고, 이를 이용한 학습 장치 및 테스팅 장치 | |
US11017319B1 (en) | Method for training obfuscation network which conceals original data to be used for machine learning and training surrogate network which uses obfuscated data generated by obfuscation network and method for testing trained obfuscation network and learning device and testing device using the same | |
US11200342B1 (en) | Method for training and testing obfuscation network capable of processing data to be obfuscated for privacy, and training device and testing device using the same | |
US11017320B1 (en) | Method for training obfuscation network which conceals original data to be used for machine learning and training surrogate network which uses obfuscated data generated by obfuscation network and learning device using the same and method for testing trained obfuscation network and testing device using the same | |
US11366930B1 (en) | Method for training and testing obfuscation network capable of obfuscating data to protect personal information, and learning device and testing device using the same | |
US11244248B1 (en) | Method for training and testing user learning network to be used for recognizing obfuscated data created by obfuscating original data to protect personal information and user learning device and testing device using the same | |
US11308359B1 (en) | Methods for training universal discriminator capable of determining degrees of de-identification for images and obfuscation network capable of obfuscating images and training devices using the same | |
JP2021521566A (ja) | 原本データとマークデータとを合成してマーキング済みデータを生成するデータエンベディングネットワークを学習する方法、及びテストする方法、並びに、それを利用した学習装置及びテスト装置 | |
KR20230121974A (ko) | 개인 정보 보호를 위하여 원본 데이터를 변조하는 변조네트워크를 학습하는 방법 및 테스트하는 방법, 그리고, 이를 이용한 학습 장치 및 테스트 장치 | |
Hewage et al. | Optimizing the trade-off between classification accuracy and data privacy in the area of data stream mining | |
KR102260039B1 (ko) | 개인 정보 보호를 위하여 원본 데이터를 컨실링 처리하는 변조 네트워크를 학습하는 방법 및 테스트하는 방법, 그리고, 이를 이용한 학습 장치 및 테스트 장치 | |
KR102244190B1 (ko) | 데이터를 컨실링 처리하는 방법 및 이를 이용한 데이터 변조 장치 | |
KR102247769B1 (ko) | 원본 데이터와 마크 데이터를 합성하여 마킹된 데이터를 생성하는 데이터 임베딩 네트워크를 학습하는 방법 및 테스트하는 방법, 그리고 이를 이용한 학습 장치 및 테스트 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20220418 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220331 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230808 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230927 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7362165 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |