JP6789934B2 - 変換されたデータを用いた学習 - Google Patents
変換されたデータを用いた学習 Download PDFInfo
- Publication number
- JP6789934B2 JP6789934B2 JP2017522385A JP2017522385A JP6789934B2 JP 6789934 B2 JP6789934 B2 JP 6789934B2 JP 2017522385 A JP2017522385 A JP 2017522385A JP 2017522385 A JP2017522385 A JP 2017522385A JP 6789934 B2 JP6789934 B2 JP 6789934B2
- Authority
- JP
- Japan
- Prior art keywords
- training
- data
- value
- values
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 claims description 234
- 238000000034 method Methods 0.000 claims description 142
- 230000006870 function Effects 0.000 claims description 47
- 238000012360 testing method Methods 0.000 claims description 10
- 238000010801 machine learning Methods 0.000 claims description 5
- 238000009828 non-uniform distribution Methods 0.000 claims description 5
- 239000013598 vector Substances 0.000 description 40
- 206010028980 Neoplasm Diseases 0.000 description 19
- 201000011510 cancer Diseases 0.000 description 19
- 238000004891 communication Methods 0.000 description 14
- 238000009826 distribution Methods 0.000 description 14
- 230000000875 corresponding effect Effects 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 9
- 230000036541 health Effects 0.000 description 8
- 230000006399 behavior Effects 0.000 description 7
- 230000002776 aggregation Effects 0.000 description 6
- 238000004220 aggregation Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 239000000243 solution Substances 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 229940079593 drug Drugs 0.000 description 4
- 239000003814 drug Substances 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 102100030390 1-phosphatidylinositol 4,5-bisphosphate phosphodiesterase beta-1 Human genes 0.000 description 3
- 108050004629 1-phosphatidylinositol 4,5-bisphosphate phosphodiesterase beta-1 Proteins 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 238000009827 uniform distribution Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- PJVWKTKQMONHTI-UHFFFAOYSA-N warfarin Chemical compound OC=1C2=CC=CC=C2OC(=O)C=1C(CC(=O)C)C1=CC=CC=C1 PJVWKTKQMONHTI-UHFFFAOYSA-N 0.000 description 2
- 229960005080 warfarin Drugs 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 239000003085 diluting agent Substances 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000002773 nucleotide Substances 0.000 description 1
- 125000003729 nucleotide group Chemical group 0.000 description 1
- 102000054765 polymorphisms of proteins Human genes 0.000 description 1
- 239000011241 protective layer Substances 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 230000011273 social behavior Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012070 whole genome sequencing analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本願は、2014年10月24日に出願されたオーストラリア国仮特許出願第2014904261号の優先権を主張するものであり、そのすべての内容が参照によって本願に援用される。本願はまた、2015年2月2日に出願されたオーストラリア国仮特許出願第2015900308号の優先権を主張するものであり、そのすべての内容が参照によって本願に援用される。
複数のデータサンプルのサブセットをランダムに選択し、そのサブセットのデータサンプルの各々のラベルに基づいて、サブセットのデータサンプルの特徴値を組み合わせることによって、複数のトレーニングサンプルの各々を決定することを備える。
上記の方法に従ってトレーニングサンプルを受信することと、
修正されたトレーニングサンプルを決定するために、トレーニングサンプルの各特徴値ごとにランダム値を決定し、その特徴値にランダム値を加えることとを備える。
複数のデータサンプルを受信する入力ポートと、複数のデータサンプルの各々は、1つまたは複数の特徴値と、そのデータサンプルを分類するラベルとを備え、
複数のデータサンプルのサブセットをランダムに選択し、サブセットのデータサンプルの各々のラベルに基づいて、サブセットのデータサンプルの特徴値を組み合わせることによって、複数のトレーニングサンプルの各々を決定するプロセッサとを備える。
特徴インデックスに関係付けられる複数のトレーニング値を受信することと、各トレーニング値は、複数のデータラベルに基づいた複数のデータ値のサブセットの組合せに基づき、複数のデータラベルの各々は複数のデータ値のうちの1つと関係付けられる、
相関値が複数のデータ値の各々とそのデータ値に関係付けられるデータラベルとの間の相関を示すように、複数のトレーニング値に基づいて相関値を決定することと、
相関値に基づいて分類器係数を決定することとを備える。
最大トレーニング値を決定することと、
和を最大トレーニング値で除算することとを備え得る。
最大トレーニング値を決定することと、
最大トレーニング値に対する複数のトレーニング値のうちの1つの割合に基づいて、トレーニング値重みを決定することとを備え得る。
リッジ関数、
ラッソ関数、
L∞正則化、および
SLOPE正則化のうちの1つまたは複数を備え得る。
テスト値を受信することと、
分類器係数に基づいてテスト値の分類を決定することとをさらに備え得る。
特徴インデックスに関係付けられる複数のトレーニング値を受信する入力ポートと、各トレーニング値は、複数のデータラベルに基づいた複数のデータ値のサブセットの組合せに基づき、複数のデータラベルの各々は複数のデータ値のうちの1つと関係付けられる、
プロセッサと、そのプロセッサは、
相関値が複数のデータ値の各々とそのデータ値に関係付けられるデータラベルとの間の相関を示すように、複数のトレーニング値に基づいて相関値を決定し、
相関値に基づいて分類器係数を決定する、を備える。
・非中央Rademacher演算子
ステップ1:initialise jmax=−1,rmax=0
ステップ2:for j=1 to d
ステップ2.1:if((j=1)or(|rj|>rmax)) then jmax<−j
出力:jmax
ここで、rjは、(t)をjで置き換えた以下の式(30)である。したがって、プロセッサ402は、重みの現在のセット上のすべての特徴について、(30)のようにrtを計算する。プロセッサ402は次いで、rtがデータストア406に記憶されている絶対値において最大となるインデックスを保持する。
・θが線形である。少なくともいくつかの結果については、分類器のカーネル化が可能となり得る。
・変換
・データが「ワンショット」で伝達される、すなわち、S*が学習者に伝達され、他には何も伝達されない。したがって、
・UがF*を最適化するために知られる必要がなく、また通信される必要もない。
損失F*の定義
表記を多くしないために、表記においてSとUのみを維持してS*への参照を回避することにする。原理は以下の通りである。損失F(S,θ)が与えられると、プロセッサ402は、
・観測xi(i=1,2,...,m)
・クラスyi(i=1,2,...,m)
・パラメータセットU
・見本の数m
これは、m・d+m+m・|U|+1=(|U|+d+1)・m+1個の未知数を表す。
ロジスティック損失の場合
本発明者らはロジスティック損失を以下のように考える。
2乗損失の場合
本発明者らは2乗損失を以下のように考える。
ラドベースの勾配を通じた最適化
本発明者らは、上記となり得る設定で、手近の損失の勾配の通信を研究している。Ulogを、サポートUを伴った、以下のような離散分布であるとする。
プロセッサ402が、その要素
[t]Rademacher演算子ブースト(RadoBoost)
card(S*)=n、反復回数を
・wfiによって返される特徴は次式を満たす。
差分プライバシーの結果
本発明者らは、すべてのd記述変数が符号付きバイナリ値(xik∈{−1,1})であるデータセットを考える。|S|=mとし、一般性を失うことなく、以下を仮定する。
1.アルゴリズムDP−Featは特徴k上のε−差分プライバシーを与える。
2.アルゴリズムDP−Featは平均演算子に準拠する。
3.δ>0とする。確率≧1−δ、
計算上の複雑さの結果
・スパース近似I(SA−I)
・P={π1、π2,...,πn}、中央ラドのセット、整数m∈N*、最大誤差
・次式のような、m個のスパース見本{(xj,yj),j∈[m]}のセットおよびn個のRademacher割当てσ1,σ2,...,σn∈{−1,1}mのセットが存在するか。
備考:
・SA−1の硬度は、Rademacher変数をピッキングする組合せ硬度には依存しないが、サイズが制限されている(見本の数と見本のノルム)見本のセットをフィットさせることに依存する。
・フィーチャサインリークがある場合、すなわち、各特徴を取る得る可能性のある兆候を開示する場合、問題は依然としてNP完全である。
・プライバシーリークチェックI(PLC−I)。
・S見本のセット、P={π1、π2,...,πn}、中央ラドのセット、整数m∈N*、最大誤差
・観測されたラドスに近似的につながるSのm個の見本のサブセットが存在するか。より正確に言えば、次式のような、{(xj,yj),j∈[m]}⊆Sおよびn個のRademacher割当てσ1,σ2,...,σn∈{−1,1}mのセットが存在するか。
備考:
・PLC−Iの硬度は、Rademacher変数をピッキングする組合せ硬度には依存しないが、観測されたラドスにつながり得るデータセットの限定されたサブセットを発見することに依存する。
・フィーチャサインリークがある場合、すなわち、各特徴を取る得る可能性のある兆候を開示する場合、問題は依然としてNP完全である。
・この問題は、ドメインに関するすべてのデータを所有する第三者(エージェント、ビジネス)が、そのデータの一部をデータセットエンティティが所有し得るかどうかをチェックすることを望む状況で関心を引くものとなる。
ゲームおよび等価な見本/ラド損失
まず、本発明者らの一般的な2人プレイゲーム設定を定義および分析することから始める。表記の負担を避けるために、学習器がデータ(見本またはラドス)と分類器との両方に依存する一般的なベクトル
定義5:e−loss le(z)およびr−loss lr(z)が、(i) ともに真に増加する
(ラド)正則化損失を用いた学習
ここで学習設定について述べる。学習器は、見本S={(xi,yi),i=1,2,...,m}のセットを与えられ、ここで、
(ラド)正則化損失を用いたブースティング
図15は、式(88)における損失
正則化された損失および差分プライバシー
上記の説明は、一例では、単一の機密特徴の差別的プライベート(DP)保護を調べるものである。ここで、見本の完全な保護について調べる。
定理20:(SLOPEを用いたブースティング)Ω(.)=||.||Φとする。|θTk|≧|θT(k+1)|、∀kとし、ω=1を固定する。次のようにする。
[1]
複数のデータサンプルから複数のトレーニングサンプルを決定するためのコンピュータ実装される方法であって、前記複数のデータサンプルの各々は1つまたは複数の特徴値とそのデータサンプルを分類するラベルとを備え、前記方法は、
前記複数のデータサンプルのサブセットをランダムに選択し、前記サブセットの前記データサンプルの各々の前記ラベルに基づいて、前記サブセットの前記データサンプルの前記特徴値を組み合わせることによって、前記複数のトレーニングサンプルの各々を決定することを備える方法。
[2] 前記複数のデータサンプルの前記サブセットをランダムに選択することは、前記複数のデータサンプルの各々に、そのデータサンプルを選択するためにゼロに等しくないランダム選択値を、またはそのデータサンプルを選択解除するためにゼロに等しいランダム選択値を乗算することを備える、[1]に記載の方法。
[3] 前記データサンプルの前記特徴値を組み合わせることは、前記トレーニングサンプルの特徴の前記特徴値が前記データサンプルのその特徴の前記特徴値の和となるように、前記データサンプルの前記特徴値の和を決定することを備える、[1]または[2]に記載の方法。
[4] 前記和を決定することは、前記データサンプルの各々の前記ラベルに基づいて重み付けされる加重和を決定することを備える、[3]に記載の方法。
[5] 前記和を決定することは、前記複数のデータサンプルの前記サブセット中のデータサンプルの数に基づいて重み付けされる加重和を決定することを備える、[3]または[4]に記載の方法。
[6] 前記加重和は、前記複数のデータサンプルの前記サブセットをランダムに選択することが前記特徴値を組み合わせることと同時に実施されるように、乱数に基づいて重み付けされる、[4]または[5]に記載の方法。
[7] 複数のデータサンプルのサブセットをランダムに選択することが、非一様分布に基づいて複数のデータサンプルのサブセットをランダムに選択することを備える、[1]〜[6]のいずれか一項に記載の方法。
[8] 前記データサンプルは符号付きの実数値を特徴値として有し、
前記ラベルは「−1」および「+1」のいずれかである、[1]〜[7]のいずれか一項に記載の方法。
[9] 前記複数のトレーニングサンプルの各々を決定することは、前記複数のトレーニングサンプルの各々が少なくとも所定数のデータサンプルに基づくように、前記複数のトレーニングサンプルの各々を決定することを備える、[1]〜[8]のいずれか一項に記載の方法。
[10] 前記複数のデータサンプルのサブセットをランダムに選択することは、少なくとも所定数のデータサンプルを備える前記複数のデータサンプルのサブセットをランダムに選択することを備える、[9]に記載の方法。
[11] 複数のトレーニングサンプルを決定するためのコンピュータ実装される方法であって、 [1]に従ってトレーニングサンプルを受信することと、
修正されたトレーニングサンプルを決定するために、前記トレーニングサンプルの各特徴値ごとにランダム値を決定し、その特徴値に前記ランダム値を加えることとを備える方法。
[12] コンピュータにインストールされると、[1]〜[11]のいずれか一項に記載の方法を前記コンピュータに実施させるソフトウェア。
[13] 複数のデータサンプルから複数のトレーニングサンプルを決定するためのコンピュータシステムであって、
前記複数のデータサンプルを受信する入力ポートと、前記複数のデータサンプルの各々は、1つまたは複数の特徴値およびそのデータサンプルを分類するラベルを備え、
前記複数のデータサンプルのサブセットをランダムに選択し、前記サブセットの前記データサンプルの各々の前記ラベルに基づいて、前記サブセットの前記データサンプルの前記特徴値を組み合わせることによって、前記複数のトレーニングサンプルの各々を決定するプロセッサとを備えるコンピュータシステム。
[14] 特徴インデックスに関係付けられる分類器係数を決定するためのコンピュータ実装される方法であって、
前記特徴インデックスに関係付けられる複数のトレーニング値を受信することと、各トレーニング値は、複数のデータラベルに基づいた複数のデータ値のサブセットの組合せに基づき、前記複数のデータラベルの各々は前記複数のデータ値のうちの1つと関係付けられ、
相関値が複数のデータ値の各々とそのデータ値に関係付けられる前記データラベルとの間の相関を示すように、前記複数のトレーニング値に基づいて前記相関値を決定することと、
前記相関値に基づいて前記分類器係数を決定することとを備える方法。
[15] 前記複数のトレーニング値の各々に対して、そのトレーニング値に関係付けられるトレーニング値重みを決定すること、ここにおいて、前記相関値を決定することは、前記複数のトレーニング値の各々に関係付けられる前記トレーニング値重みに基づく、をさらに備える、[14]に記載の方法。
[16] 前記相関値を決定することは、前記複数のトレーニング値の各々に関係付けられる前記トレーニング値重みによって重み付けされたトレーニング値の和を決定することを備える、[15]に記載の方法。
[17] 前記相関値を決定することは、
最大トレーニング値を決定することと、
前記和を前記最大トレーニング値で除算することとを備える、[16]に記載の方法。
[18] 前記トレーニング値の各々に関係付けられる前記トレーニング値重みを決定することは、前記相関値に基づいて、前記複数のトレーニング値の各々に関係付けられる前記トレーニング値重みを決定することを備える、[15]〜[17]のいずれか一項に記載の方法。
[19] 前記複数のトレーニング値のうちの1つに関係付けられる各トレーニング値重みを決定することは、
最大トレーニング値を決定することと、
前記最大トレーニング値に対する前記複数のトレーニング値のうちの前記1つの割合に基づいて、前記トレーニング値重みを決定することとを備える、[18]に記載の方法。
[20] 複数の分類器係数を決定するために前記方法の複数の繰り返しを実施すること、ここにおいて、各分類器係数は複数の特徴インデックスのうちの1つに関係付けられる、をさらに備える、[14]〜[19]のいずれか一項に記載の方法。
[21] 前記トレーニング値重みを決定することは、現在の繰り返しの正則化関数の第1の値と、以前の繰り返しの前記正則化関数の第2の値との差に基づいて、前記トレーニング値重みを決定することを備える、[20]に記載の方法。
[22] 前記正則化関数は、前記対応する繰り返しに関係付けられる前記複数の分類器係数に依存する、[21]に記載の方法。
[23] 前記トレーニング値重みを決定することは、指数を有する指数関数に基づいて、前記差を前記指数に加えることによって、前記トレーニング値重みを決定することを備える、[21]または[22]に記載の方法。
[24] 前記正則化関数は、
リッジ関数、
ラッソ関数、
L ∞ 正則化、および
SLOPE正則化のうちの1つまたは複数を備える、[21]〜[23]のいずれか一項に記載の方法。
[25] 複数の特徴インデックスの順序付けに基づいて前記特徴インデックスを選択すること、ここにおいて、前記順序付けは前記差に基づく、をさらに備える、[21]〜[24]のいずれか一項に記載の方法。
[26] 前記方法を繰り返すことは、前記複数のデータ値のコスト関数を最適化するために前記方法を繰り返すことを備える、[20]〜[25]のいずれか一項に記載の方法。
[27] テスト値を受信することと、
前記分類器係数に基づいて前記テスト値の分類を決定することとをさらに備える、[14]〜[26]のいずれか一項に記載の方法。
[28] コンピュータにインストールされると、[14]〜[27]のいずれか一項に記載の方法を前記コンピュータに実施させるソフトウェア。
[29] 特徴インデックスに関係付けられる分類器重みを決定するためのコンピュータシステムであって、
前記特徴インデックスに関係付けられる複数のトレーニング値を受信する入力ポートと、各トレーニング値は、複数のデータラベルに基づいた複数のデータ値のサブセットの組合せに基づき、前記複数のデータラベルの各々は前記複数のデータ値のうちの1つと関係付けられ、
前記相関値が前記複数のデータ値の各々とそのデータ値に関係付けられる前記データラベルとの間の相関を示すように、前記複数のトレーニング値に基づいて相関値を決定し、 前記相関値に基づいて前記分類器係数を決定するプロセッサとを備えるシステム。
[30] 機械学習システムをトレーニングするためのコンピュータ実装される方法であって、凸損失関数を最適化することを備え、前記凸損失関数は、[1]に記載の方法に従って決定されたトレーニングサンプルに基づく、方法。
Claims (30)
- 複数のデータサンプルから複数のトレーニングサンプルを決定するためのコンピュータ実装される方法であって、前記複数のデータサンプルの各々は1つまたは複数の特徴値とそのデータサンプルを分類するラベルとを備え、前記方法は、
前記複数のデータサンプルのサブセットをランダムに選択し、前記トレーニングサンプルの特徴の前記特徴値が前記データサンプルのその特徴の前記特徴値の組み合わせとなるように、前記サブセットの前記データサンプルの各々の前記ラベルに基づいて、前記サブセットの前記データサンプルの前記特徴値を組み合わせることによって、前記複数のトレーニングサンプルの各々を決定することを備える方法。 - 前記複数のデータサンプルの前記サブセットをランダムに選択することは、前記複数のデータサンプルの各々に、そのデータサンプルを選択するためにゼロに等しくないランダム選択値を、またはそのデータサンプルを選択解除するためにゼロに等しいランダム選択値を乗算することを備える、請求項1に記載の方法。
- 前記データサンプルの前記特徴値を組み合わせることは、前記トレーニングサンプルの特徴の前記特徴値が前記データサンプルのその特徴の前記特徴値の和となるように、前記データサンプルの前記特徴値の和を決定することを備える、請求項1または2に記載の方法。
- 前記和を決定することは、前記データサンプルの各々の前記ラベルに基づいて重み付けされる加重和を決定することを備える、請求項3に記載の方法。
- 前記和を決定することは、前記複数のデータサンプルの前記サブセット中のデータサンプルの数に基づいて重み付けされる加重和を決定することを備える、請求項3または4に記載の方法。
- 前記加重和は、前記複数のデータサンプルの前記サブセットをランダムに選択することが前記特徴値を組み合わせることと同時に実施されるように、乱数に基づいて重み付けされる、請求項4または5に記載の方法。
- 複数のデータサンプルのサブセットをランダムに選択することが、非一様分布に基づいて複数のデータサンプルのサブセットをランダムに選択することを備える、請求項1〜6のいずれか一項に記載の方法。
- 前記データサンプルは符号付きの実数値を特徴値として有し、
前記ラベルは「−1」および「+1」のいずれかである、請求項1〜7のいずれか一項に記載の方法。 - 前記複数のトレーニングサンプルの各々を決定することは、前記複数のトレーニングサンプルの各々が少なくとも所定数のデータサンプルに基づくように、前記複数のトレーニングサンプルの各々を決定することを備える、請求項1〜8のいずれか一項に記載の方法。
- 前記複数のデータサンプルのサブセットをランダムに選択することは、少なくとも所定数のデータサンプルを備える前記複数のデータサンプルのサブセットをランダムに選択することを備える、請求項9に記載の方法。
- 複数のトレーニングサンプルを決定するためのコンピュータ実装される方法であって、 請求項1に従ってトレーニングサンプルを受信することと、
修正されたトレーニングサンプルを決定するために、前記トレーニングサンプルの各特徴値ごとにランダム値を決定し、その特徴値に前記ランダム値を加えることとを備える方法。 - コンピュータにインストールされると、請求項1〜11のいずれか一項に記載の方法を前記コンピュータに実施させるソフトウェア。
- 複数のデータサンプルから複数のトレーニングサンプルを決定するためのコンピュータシステムであって、
前記複数のデータサンプルを受信する入力ポートと、前記複数のデータサンプルの各々は、1つまたは複数の特徴値およびそのデータサンプルを分類するラベルを備え、
前記複数のデータサンプルのサブセットをランダムに選択し、前記トレーニングサンプルの特徴の前記特徴値が前記データサンプルのその特徴の前記特徴値の組み合わせとなるように、前記サブセットの前記データサンプルの各々の前記ラベルに基づいて、前記サブセットの前記データサンプルの前記特徴値を組み合わせることによって、前記複数のトレーニングサンプルの各々を決定するプロセッサとを備えるコンピュータシステム。 - 特徴インデックスに関係付けられる分類器係数を決定するためのコンピュータ実装される方法であって、
前記特徴インデックスに関係付けられる複数のトレーニング値を受信することと、ここにおいて、
前記複数のトレーニング値は複数のデータ値から決定され、
前記複数のデータ値の各々は、データラベルと関連し、
各トレーニング値は、各々のデータ値に関連した前記データラベルに基づいた前記複数のデータ値のサブセットの組合せに基づいており、
相関値が複数のデータ値の各々とそのデータ値に関係付けられる前記データラベルとの間の相関を示すように、前記複数のトレーニング値に基づいて前記相関値を決定することと、
前記相関値に基づいて前記分類器係数を決定することとを備える方法。 - 前記複数のトレーニング値の各々に対して、そのトレーニング値に関係付けられるトレーニング値重みを決定すること、ここにおいて、前記相関値を決定することは、前記複数のトレーニング値の各々に関係付けられる前記トレーニング値重みに基づく、をさらに備える、請求項14に記載の方法。
- 前記相関値を決定することは、前記複数のトレーニング値の各々に関係付けられる前記トレーニング値重みによって重み付けされたトレーニング値の和を決定することを備える、請求項15に記載の方法。
- 前記相関値を決定することは、
最大トレーニング値を決定することと、
前記和を前記最大トレーニング値で除算することとを備える、請求項16に記載の方法。 - 前記トレーニング値の各々に関係付けられる前記トレーニング値重みを決定することは、前記相関値に基づいて、前記複数のトレーニング値の各々に関係付けられる前記トレーニング値重みを決定することを備える、請求項15〜17のいずれか一項に記載の方法。
- 前記複数のトレーニング値のうちの1つに関係付けられる各トレーニング値重みを決定することは、
最大トレーニング値を決定することと、
前記最大トレーニング値に対する前記複数のトレーニング値のうちの1つの割合に基づいて、前記トレーニング値重みを決定することとを備える、請求項18に記載の方法。 - 複数の分類器係数を決定するために前記方法の複数の繰り返しを実施すること、ここにおいて、各分類器係数は複数の特徴インデックスのうちの1つに関係付けられる、をさらに備える、請求項14〜19のいずれか一項に記載の方法。
- 前記複数のトレーニング値の各々に対して、そのトレーニング値に関係付けられるトレーニング値重みを決定すること、ここにおいて、前記相関値を決定することは、前記複数のトレーニング値の各々に関係付けられる前記トレーニング値重みに基づく、をさらに備え、
前記トレーニング値重みを決定することは、現在の繰り返しの正則化関数の第1の値と、以前の繰り返しの前記正則化関数の第2の値との差に基づいて、前記トレーニング値重みを決定することを備える、請求項20に記載の方法。 - 前記正則化関数は、前記対応する繰り返しに関係付けられる前記複数の分類器係数に依存する、請求項21に記載の方法。
- 前記トレーニング値重みを決定することは、指数を有する指数関数に基づいて、前記差を前記指数に加えることによって、前記トレーニング値重みを決定することを備える、請求項21または22に記載の方法。
- 前記正則化関数は、
リッジ関数、
ラッソ関数、
L∞正則化、および
SLOPE正則化のうちの1つまたは複数を備える、請求項21〜23のいずれか一項に記載の方法。 - 複数の特徴インデックスの順序付けに基づいて前記特徴インデックスを選択すること、ここにおいて、前記順序付けは前記差に基づく、をさらに備える、請求項21〜24のいずれか一項に記載の方法。
- 前記方法を繰り返すことは、前記複数のデータ値のコスト関数を最適化するために前記方法を繰り返すことを備える、請求項20〜25のいずれか一項に記載の方法。
- テスト値を受信することと、
前記分類器係数に基づいて前記テスト値の分類を決定することとをさらに備える、請求項14〜26のいずれか一項に記載の方法。 - コンピュータにインストールされると、請求項14〜27のいずれか一項に記載の方法を前記コンピュータに実施させるソフトウェア。
- 特徴インデックスに関係付けられる分類器重みを決定するためのコンピュータシステムであって、
前記特徴インデックスに関係付けられる複数のトレーニング値を受信する入力ポートと、ここにおいて、
前記複数のトレーニング値は複数のデータ値から決定され、
前記複数のデータ値の各々は、データラベルと関連し、
各トレーニング値は、各々のデータ値に関連した前記データラベルに基づいた前記複数のデータ値のサブセットの組合せに基づいており、
相関値が前記複数のデータ値の各々とそのデータ値に関係付けられる前記データラベルとの間の相関を示すように、前記複数のトレーニング値に基づいて前記相関値を決定し、前記相関値に基づいて前記分類器重みを決定するプロセッサとを備えるシステム。 - 機械学習システムをトレーニングするためのコンピュータ実装される方法であって、凸損失関数を最適化することを備え、前記凸損失関数は、請求項1に記載の方法に従って決定されたトレーニングサンプルに基づく、方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
AU2014904261 | 2014-10-24 | ||
AU2014904261A AU2014904261A0 (en) | 2014-10-24 | Learning with transformed data | |
AU2015900308 | 2015-02-02 | ||
AU2015900308A AU2015900308A0 (en) | 2015-02-02 | Learning with transformed data | |
PCT/AU2015/050653 WO2016061628A1 (en) | 2014-10-24 | 2015-10-23 | Learning with transformed data |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017535857A JP2017535857A (ja) | 2017-11-30 |
JP6789934B2 true JP6789934B2 (ja) | 2020-11-25 |
Family
ID=55759954
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017522385A Active JP6789934B2 (ja) | 2014-10-24 | 2015-10-23 | 変換されたデータを用いた学習 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11521106B2 (ja) |
EP (1) | EP3210154A4 (ja) |
JP (1) | JP6789934B2 (ja) |
AU (1) | AU2015336942B2 (ja) |
SG (1) | SG11201703247WA (ja) |
WO (1) | WO2016061628A1 (ja) |
Families Citing this family (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10805331B2 (en) | 2010-09-24 | 2020-10-13 | BitSight Technologies, Inc. | Information technology security assessment system |
US9438615B2 (en) | 2013-09-09 | 2016-09-06 | BitSight Technologies, Inc. | Security risk management |
US11182720B2 (en) | 2016-02-16 | 2021-11-23 | BitSight Technologies, Inc. | Relationships among technology assets and services and the entities responsible for them |
CN107292326A (zh) * | 2016-03-31 | 2017-10-24 | 阿里巴巴集团控股有限公司 | 一种模型的训练方法和装置 |
US11106809B2 (en) * | 2016-12-28 | 2021-08-31 | Samsung Electronics Co., Ltd. | Privacy-preserving transformation of continuous data |
WO2018174873A1 (en) * | 2017-03-22 | 2018-09-27 | Visa International Service Association | Privacy-preserving machine learning |
US10425380B2 (en) | 2017-06-22 | 2019-09-24 | BitSight Technologies, Inc. | Methods for mapping IP addresses and domains to organizations using user activity data |
CN109214404A (zh) * | 2017-07-07 | 2019-01-15 | 阿里巴巴集团控股有限公司 | 基于隐私保护的训练样本生成方法和装置 |
US11030324B2 (en) * | 2017-11-30 | 2021-06-08 | Koninklijke Philips N.V. | Proactive resistance to re-identification of genomic data |
US10198399B1 (en) * | 2018-03-06 | 2019-02-05 | KenSci Inc. | Cryptographically secure machine learning |
US10257219B1 (en) | 2018-03-12 | 2019-04-09 | BitSight Technologies, Inc. | Correlated risk in cybersecurity |
US10812520B2 (en) | 2018-04-17 | 2020-10-20 | BitSight Technologies, Inc. | Systems and methods for external detection of misconfigured systems |
CN110163366B (zh) * | 2018-05-10 | 2022-08-26 | 腾讯科技(深圳)有限公司 | 深度学习前向预测的实现方法、装置和机器设备 |
US11537742B2 (en) * | 2018-08-28 | 2022-12-27 | Koninklijke Philips N.V. | Sampling from a remote dataset with a private criterion |
KR20200044173A (ko) | 2018-10-05 | 2020-04-29 | 삼성전자주식회사 | 전자 장치 및 그의 제어 방법 |
US11200323B2 (en) | 2018-10-17 | 2021-12-14 | BitSight Technologies, Inc. | Systems and methods for forecasting cybersecurity ratings based on event-rate scenarios |
US10521583B1 (en) | 2018-10-25 | 2019-12-31 | BitSight Technologies, Inc. | Systems and methods for remote detection of software through browser webinjects |
CN109447461B (zh) * | 2018-10-26 | 2022-05-03 | 北京三快在线科技有限公司 | 用户信用评估方法及装置、电子设备、存储介质 |
BR112021010468A2 (pt) * | 2018-12-31 | 2021-08-24 | Intel Corporation | Sistemas de segurança que empregam inteligência artificial |
CN111506617B (zh) * | 2019-01-31 | 2023-10-20 | 华为技术有限公司 | 一种基于用户数据生成标签的方法及装置 |
US11281999B2 (en) * | 2019-05-14 | 2022-03-22 | International Business Machines Corporation Armonk, New York | Predictive accuracy of classifiers using balanced training sets |
US11468148B2 (en) | 2019-06-29 | 2022-10-11 | Wipro Limited | Method and system for data sampling using artificial neural network (ANN) model |
US10726136B1 (en) * | 2019-07-17 | 2020-07-28 | BitSight Technologies, Inc. | Systems and methods for generating security improvement plans for entities |
US11755884B2 (en) | 2019-08-20 | 2023-09-12 | Micron Technology, Inc. | Distributed machine learning with privacy protection |
US11636334B2 (en) * | 2019-08-20 | 2023-04-25 | Micron Technology, Inc. | Machine learning with feature obfuscation |
US11956265B2 (en) | 2019-08-23 | 2024-04-09 | BitSight Technologies, Inc. | Systems and methods for inferring entity relationships via network communications of users or user devices |
US11443240B2 (en) * | 2019-09-06 | 2022-09-13 | Oracle International Corporation | Privacy preserving collaborative learning with domain adaptation |
US10848382B1 (en) | 2019-09-26 | 2020-11-24 | BitSight Technologies, Inc. | Systems and methods for network asset discovery and association thereof with entities |
US11032244B2 (en) | 2019-09-30 | 2021-06-08 | BitSight Technologies, Inc. | Systems and methods for determining asset importance in security risk management |
US10791140B1 (en) | 2020-01-29 | 2020-09-29 | BitSight Technologies, Inc. | Systems and methods for assessing cybersecurity state of entities based on computer network characterization |
US10893067B1 (en) | 2020-01-31 | 2021-01-12 | BitSight Technologies, Inc. | Systems and methods for rapidly generating security ratings |
US10764298B1 (en) | 2020-02-26 | 2020-09-01 | BitSight Technologies, Inc. | Systems and methods for improving a security profile of an entity based on peer security profiles |
US20210304039A1 (en) * | 2020-03-24 | 2021-09-30 | Hitachi, Ltd. | Method for calculating the importance of features in iterative multi-label models to improve explainability |
CN111523668B (zh) * | 2020-05-06 | 2021-08-20 | 支付宝(杭州)信息技术有限公司 | 基于差分隐私的数据生成***的训练方法及装置 |
US11023585B1 (en) | 2020-05-27 | 2021-06-01 | BitSight Technologies, Inc. | Systems and methods for managing cybersecurity alerts |
CN113836345A (zh) * | 2020-06-23 | 2021-12-24 | 索尼公司 | 信息处理设备、信息处理方法以及计算机可读存储介质 |
US11122073B1 (en) | 2020-12-11 | 2021-09-14 | BitSight Technologies, Inc. | Systems and methods for cybersecurity risk mitigation and management |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6789069B1 (en) * | 1998-05-01 | 2004-09-07 | Biowulf Technologies Llc | Method for enhancing knowledge discovered from biological data using a learning machine |
US7382286B2 (en) | 2003-06-09 | 2008-06-03 | Megadata Corp. | System and method for the correlation of multiple data feeds |
US7720675B2 (en) * | 2003-10-27 | 2010-05-18 | Educational Testing Service | Method and system for determining text coherence |
US7698250B2 (en) | 2005-12-16 | 2010-04-13 | Microsoft Corporation | Differential data privacy |
US7818335B2 (en) | 2005-12-22 | 2010-10-19 | Microsoft Corporation | Selective privacy guarantees |
US20070239444A1 (en) * | 2006-03-29 | 2007-10-11 | Motorola, Inc. | Voice signal perturbation for speech recognition |
US7668790B2 (en) * | 2006-07-27 | 2010-02-23 | The United States Of America As Represented By The Secretary Of The Navy | System and method for fusing data from different information sources with shared-sampling distribution based boosting |
US20080288292A1 (en) | 2007-05-15 | 2008-11-20 | Siemens Medical Solutions Usa, Inc. | System and Method for Large Scale Code Classification for Medical Patient Records |
US7827123B1 (en) | 2007-08-16 | 2010-11-02 | Google Inc. | Graph based sampling |
US8140502B2 (en) * | 2008-06-27 | 2012-03-20 | Microsoft Corporation | Preserving individual information privacy by providing anonymized customer data |
US8862614B2 (en) * | 2010-08-05 | 2014-10-14 | Carnegie Mellon University | Planning-based automated fusing of data from multiple heterogeneous sources |
US8972307B1 (en) * | 2011-09-15 | 2015-03-03 | Google Inc. | Method and apparatus for machine learning |
US9501749B1 (en) * | 2012-03-14 | 2016-11-22 | The Mathworks, Inc. | Classification and non-parametric regression framework with reduction of trained models |
US8837820B2 (en) * | 2012-05-25 | 2014-09-16 | Xerox Corporation | Image selection based on photographic style |
US9093069B2 (en) * | 2012-11-05 | 2015-07-28 | Nuance Communications, Inc. | Privacy-sensitive speech model creation via aggregation of multiple user models |
CN102968796A (zh) | 2012-11-30 | 2013-03-13 | 西安电子科技大学 | 基于采样学习的sar图像分割方法 |
WO2014118978A1 (ja) | 2013-02-01 | 2014-08-07 | 富士通株式会社 | 学習方法、情報処理装置および学習プログラム |
US9245191B2 (en) * | 2013-09-05 | 2016-01-26 | Ebay, Inc. | System and method for scene text recognition |
US20150278707A1 (en) * | 2014-03-31 | 2015-10-01 | International Business Machines Corporation | Predictive space aggregated regression |
US9639807B2 (en) * | 2014-06-10 | 2017-05-02 | Jose Oriol Lopez Berengueres | Method and system for forecasting future events |
-
2015
- 2015-10-23 WO PCT/AU2015/050653 patent/WO2016061628A1/en active Application Filing
- 2015-10-23 US US15/521,441 patent/US11521106B2/en active Active
- 2015-10-23 AU AU2015336942A patent/AU2015336942B2/en active Active
- 2015-10-23 JP JP2017522385A patent/JP6789934B2/ja active Active
- 2015-10-23 SG SG11201703247WA patent/SG11201703247WA/en unknown
- 2015-10-23 EP EP15853557.5A patent/EP3210154A4/en not_active Ceased
Also Published As
Publication number | Publication date |
---|---|
US20170337487A1 (en) | 2017-11-23 |
SG11201703247WA (en) | 2017-05-30 |
US11521106B2 (en) | 2022-12-06 |
AU2015336942B2 (en) | 2018-02-01 |
EP3210154A1 (en) | 2017-08-30 |
EP3210154A4 (en) | 2018-08-01 |
WO2016061628A1 (en) | 2016-04-28 |
JP2017535857A (ja) | 2017-11-30 |
AU2015336942A1 (en) | 2017-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6789934B2 (ja) | 変換されたデータを用いた学習 | |
US20210042645A1 (en) | Tensor Exchange for Federated Cloud Learning | |
El Emam et al. | Practical synthetic data generation: balancing privacy and the broad availability of data | |
Lamont et al. | Identification of predicted individual treatment effects in randomized clinical trials | |
Yang et al. | Modeling interdependent consumer preferences | |
US11468471B2 (en) | Audience expansion according to user behaviors | |
US20150154646A1 (en) | Storage, retrieval, analysis, pricing, and marketing of personal health care data using social networks, expert networks, and markets | |
WO2020053854A1 (en) | Systems and methods for secure prediction using an encrypted query executed based on encrypted data | |
Dittrich et al. | Network autocorrelation modeling: A Bayes factor approach for testing (multiple) precise and interval hypotheses | |
Corcoran | Divine exchanges: Applying social exchange theory to religious behavior | |
Eckles et al. | Bootstrap thompson sampling and sequential decision problems in the behavioral sciences | |
US20150347926A1 (en) | Fast Naive Bayesian Framework with Active-Feature Ordering | |
Anand et al. | Using deep learning to overcome privacy and scalability issues in customer data transfer | |
Caille et al. | A comparison of imputation strategies in cluster randomized trials with missing binary outcomes | |
Negeri et al. | Robust bivariate random-effects model for accommodating outlying and influential studies in meta-analysis of diagnostic test accuracy studies | |
Conlon et al. | Surrogacy assessment using principal stratification and a Gaussian copula model | |
Limon et al. | Reliability estimation considering usage rate profile and warranty claims | |
Yang et al. | A fully Bayesian approach to sparse reduced-rank multivariate regression | |
Sengupta et al. | Simple surveys: Response retrieval inspired by recommendation systems | |
Gallacher et al. | Extrapolating parametric survival models in health technology assessment using model averaging: a simulation study | |
Urkup et al. | Customer mobility signatures and financial indicators as predictors in product recommendation | |
US11301879B2 (en) | Systems and methods for quantifying customer engagement | |
Quintero et al. | Estimation for finite mixture of simplex models: applications to biomedical data | |
Thekkat et al. | Luxury shopping websites: The impact of ‘hygiene’design factors on trust and distrust | |
Tekwe et al. | Generalized multiple indicators, multiple causes measurement error models |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181017 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190927 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191008 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200108 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200623 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200923 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201006 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201104 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6789934 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |