JP7376593B2 - 人工知能を利用した安全保障システム - Google Patents
人工知能を利用した安全保障システム Download PDFInfo
- Publication number
- JP7376593B2 JP7376593B2 JP2021527195A JP2021527195A JP7376593B2 JP 7376593 B2 JP7376593 B2 JP 7376593B2 JP 2021527195 A JP2021527195 A JP 2021527195A JP 2021527195 A JP2021527195 A JP 2021527195A JP 7376593 B2 JP7376593 B2 JP 7376593B2
- Authority
- JP
- Japan
- Prior art keywords
- indication
- input
- output data
- data
- input data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013473 artificial intelligence Methods 0.000 title description 50
- 230000015654 memory Effects 0.000 claims description 228
- 238000000034 method Methods 0.000 claims description 104
- 238000003860 storage Methods 0.000 claims description 93
- 230000004044 response Effects 0.000 claims description 44
- 238000012544 monitoring process Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 description 285
- 238000012360 testing method Methods 0.000 description 112
- 230000004913 activation Effects 0.000 description 108
- 238000001994 activation Methods 0.000 description 108
- 238000005192 partition Methods 0.000 description 89
- 238000011012 sanitization Methods 0.000 description 69
- 238000013528 artificial neural network Methods 0.000 description 37
- 238000011084 recovery Methods 0.000 description 36
- 230000006870 function Effects 0.000 description 32
- 239000013598 vector Substances 0.000 description 31
- 230000000875 corresponding effect Effects 0.000 description 30
- 239000003550 marker Substances 0.000 description 28
- 239000000523 sample Substances 0.000 description 25
- 238000012216 screening Methods 0.000 description 20
- 230000003190 augmentative effect Effects 0.000 description 19
- 238000013527 convolutional neural network Methods 0.000 description 19
- 230000002596 correlated effect Effects 0.000 description 17
- 210000002569 neuron Anatomy 0.000 description 17
- 238000012545 processing Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 15
- 230000000670 limiting effect Effects 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 11
- 238000004519 manufacturing process Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 9
- 230000000306 recurrent effect Effects 0.000 description 9
- 230000006403 short-term memory Effects 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 239000000047 product Substances 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 241000282326 Felis catus Species 0.000 description 5
- 239000000872 buffer Substances 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 238000010304 firing Methods 0.000 description 5
- 230000000116 mitigating effect Effects 0.000 description 5
- 241000282414 Homo sapiens Species 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 4
- 210000004027 cell Anatomy 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000005291 magnetic effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 241000282472 Canis lupus familiaris Species 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 210000004205 output neuron Anatomy 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 235000012431 wafers Nutrition 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010367 cloning Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000001010 compromised effect Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000005294 ferromagnetic effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 229920000642 polymer Polymers 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- FMFKNGWZEQOWNK-UHFFFAOYSA-N 1-butoxypropan-2-yl 2-(2,4,5-trichlorophenoxy)propanoate Chemical compound CCCCOCC(C)OC(=O)C(C)OC1=CC(Cl)=C(Cl)C=C1Cl FMFKNGWZEQOWNK-UHFFFAOYSA-N 0.000 description 1
- 240000001436 Antirrhinum majus Species 0.000 description 1
- 241000269350 Anura Species 0.000 description 1
- 101100498818 Arabidopsis thaliana DDR4 gene Proteins 0.000 description 1
- 241000473391 Archosargus rhomboidalis Species 0.000 description 1
- 241000271566 Aves Species 0.000 description 1
- 241000282994 Cervidae Species 0.000 description 1
- 241000283086 Equidae Species 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003292 diminished effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000005242 forging Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000013067 intermediate product Substances 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000000206 photolithography Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000003245 working effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/554—Detecting local intrusion or implementing counter-measures involving event detection and direct action
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F2221/03—Indexing scheme relating to G06F21/50, monitoring users, programs or devices to maintain the integrity of platforms
- G06F2221/034—Test or assess a computer or a system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computer Security & Cryptography (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Storage Device Security (AREA)
- Image Analysis (AREA)
Description
本明細書に記載の実施形態は、人工知能（ＡＩ）の分野と、様々な種類のＡＩを利用したシステムに関する。より具体的には、実施形態は、推論エンジンなどのＡＩを利用する安全保障システムに関する。
人工知能（ＡＩ）は、マシンインテリジェンスとも呼ばれ、自己の環境を認識し、様々な目的の達成に成功する可能性を最大限高めるように動作する、デバイス、システム、またはプロセスを指す。ＡＩは、例えば自動車、工業、航空、軍事、製造、旅行、運送、人的交流など、多様な分野で利用されている。さらに、ＡＩは、例えば数学的研究および最適化、人工ニューラルネットワーク、統計、確率、経済など、多様な科学および学術的見識に基づく。
概して、極めて高いレベルでは、ＡＩシステムはブラックボックスとして示され得る。ブラックボックスは入力が提供され、入力に基づいていくつかの推論を行い、その後推論に対応する出力（１または複数）を提供する。出力（１または複数）は、いくつかの動作の指針を決定または判定するのに使用される。用途によっては、ＡＩシステムは、動作または挙動を誘導または制御し得る。例えば、制御がＡＩシステムからの出力に基づいて実施され得るように、ＡＩシステムはデバイス制御システムに結合され得る。具体例として、ＡＩシステムは、自動車のセンサおよび／またはカメラ、並びにブレーキシステムに結合され得る。当該ＡＩシステムは、センサおよび／またはカメラから受信した入力、およびそれら入力による推論に基づき、ブレーキを作動させ得る。
ＡＩシステムは複雑な性質であり、多様な分野で益々普及および利用されている。そのため、ＡＩシステムの安全保障または、ＡＩシステムの攻撃に対するハードニングが重要である。
本明細書に開示の実施形態は、ＡＩシステムを様々な攻撃に対してハードニングするための技術と装置を提供する。本明細書に記載の用語「ハードニングする」は、何らかの方法で、ＡＩシステムの攻撃されるエリア、またはＡＩシステムの攻撃に対する脆弱性を低減する方法、システム、装置、技術、または手法を意味することが意図される。ハードニングするという用語は、攻撃ベクトルに関連付けられたあらゆるリスクが低減される、またはあらゆる攻撃が止む、防止される、検出される、またはその他方法で軽減されることを意味するものではない。むしろ、本明細書で使用される何らかの攻撃または攻撃ベクトルに対して「ハードニングされた」システムとは、同システムが、攻撃（１または複数）を軽減するように設計されたハードウェア、ソフトウェア、ハードウェアおよびソフトウェアの組み合わせを含むことを意味し、あらゆる場合または状況で攻撃（１または複数）が軽減されるものではない。
なお、本出願では人工知能（ＡＩ）という用語が使用されているが、これは入力に基づいて推論を行うように構成された、コンピュータ実装システムを意味することが意図される。なお、ＡＩという用語は、異なる集団（例えば、学会、産業界、消費者など）に対して異なる意味となり得る。本明細書における用語ＡＩの使用は、限定的である意図はなく、推論エンジン、エキスパートシステム、機械学習モデル、ニューラルネットワーク、ディープラーニングシステム、ファジーロジックエンジン、またはＡＩとして分類され得るその他当該システム、モデル、およびエンジンを含むことが意図される。ＡＩの下にグループ化された用語は（例えば、ニューラルネットワーク、推論エンジンなど）は、本明細書で頻繁に同義として使用される。
概して、ＡＩは、データを通じた学習および発見を自動化するのに使用され得る。多くの場合、ＡＩは、既存の商品に「インテリジェンス」を追加するように使用される。例えば、画像認識および／または分類、パターン認識、音声認識、予測分析などが大量のデータと組み合わされ得る。これにより、ＡＩにより多様な技術が向上され得る。
ＡＩはデータから、漸進的に学習する。言い換えると、推論エンジンまたは「モデル」は訓練され、訓練時、データ内に構造と規則性を発見する。これにより、モデルは、まだ見ぬ、または未来のデータからなにかを推論できようになる（例えば、分類、予測、ランキングなど）。多様な種類のモデルと、これらモデルを訓練する技術が存在する。例としては、フィードフォワードニューラルネットワーク（ＦＦＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、長・短期記憶（ＬＳＴＭ）ネットワーク、ベイジアンビリーフネットワーク、ボルツマンマシンなどが挙げられる。本明細書では、分かりやすさと明確さのために、当該推論モデルとその訓練技術を徹底的に論じることはしない。ただし、ＡＩシステムの基になるモデルがなにであるかに関わらず、本開示の様々な実施形態を、当該ＡＩシステムのハードニングに適用できる。
上述のように、ＡＩは多様な分野で実施され得る。例えば、ヘルスケア分野において、ＡＩは、個別診断、Ｘ線画像分析、癌検診などを提供するように実施され得る。別の例として、小売り分野では、ＡＩは、顧客に合わせた商品の推薦、または消費者との購入オプションについての協議などを提供するように実施され得る。さらなる例として、製造分野では、ＡＩは、工場に対する想定負荷または需要の予測、ピックアンドプレースシステムに対する部品分類などを実行できる。これらは、ＡＩが実施可能な数多くの業界のほんの一部である。
上述のように、ＡＩシステムは様々な攻撃に対して脆弱であり得る。例えば、ＡＩシステム（例えば、ブラックボックス）は再構築またはクローン化され得る。ＡＩシステムは、プロービング型攻撃に脆弱である。ＡＩシステムへの入力は常に制御されるものではないので、敵対的となり得、または欠陥があり得る。ＡＩシステムは透明性が極めて低い。したがって、ＡＩシステムのオペレータおよびユーザは、ＡＩシステムがどのように動作するか、どのように訓練されたか、訓練データセットなどを把握できないことによるリスクに曝され得る。これらは、攻撃ベクトルまたはＡＩシステムの攻撃に対する脆弱性のほんの数例である。
本開示は、これら攻撃ベクトルの一部または全部に対してＡＩシステムをハードニングする、複数のシステムおよび技術を提供する。なお本開示は、あり得るあらゆるＡＩ攻撃ベクトルの記載を目的としていない。また、本開示は本明細書に記載のシステムおよび技術の間のマッピングや、それぞれのシステムまたは技術が軽減するＡＩ攻撃ベクトルを全て網羅したリストを提供しようとするものでもない。ただし、当業者が理解できるような適切な説明を提示するように、当該攻撃ベクトル、並びにこれら攻撃ベクトルに関連付けられたリスクを軽減するシステムおよび方法の多数の例を提供する。
本開示は、大まかに複数のセクションに整理される。各セクションでは、ある種の攻撃または関連する攻撃ベクトルに対するＡＩシステムの脆弱性を軽減する複数のシステムおよび方法が記載され得る。ただし、１つのセクションに記載の概念は、当該例で使用されるものとは異なる攻撃ベクトルによる攻撃を軽減するようにも適用され得る。特に、１つのセクションにおいて、または１種類の攻撃に対して記載のシステムおよび方法は、異なるセクションに記載されたものなど、別の種類の攻撃を軽減するようにも使用され得る。
本明細書で想定されるシステムおよび方法の詳細な説明の前に、本開示に応じて実施され得るハードニングされたシステムの概要が提供される。
本明細書で用いる表記または用語法に全般的に関して、以下の詳細な説明の１または複数の部分を、コンピュータまたはコンピュータのネットワークにおいて実行されるプログラム手順に関して提示し得る。これらの手順的な説明および表現は、当業者によってその本質的な作用を他の当業者に最も有効に伝えるためのものとして用いられている。ここでは、また一般に、手順とは、所望の結果をもたらす一貫した一連の動作として解される。これらの動作は、物理量の物理的な操作を必要とするものである。必ずではないが多くの場合、これらの量は、格納、移送、合成、比較、および他の形で操作されることの可能な電気的、磁気的、または光学的な信号の形態をとる。これらの信号をビット、値、要素、記号、文字、用語、または数などとして言及することは、一般的に使用されていることを主な理由として、場合によっては好都合である。しかしながら、これらのおよび類似の用語は、適切な物理量と結び付けて解されるべきであり、またそれらの量に適用される便宜的な標識にすぎないことに留意されたい。
更に、これらの操作はしばしば、人間のオペレータにより実行される知的活動と通常関連付けられる、追加または比較のような用語で言及される。しかしながら、１または複数の実施形態の一部を形成する本明細書で説明される複数の動作のいずれかにおいて、殆どの場合、人間のオペレータのそのような機能は必要とされない、または望まれない。むしろ、これらの動作は、機械の動作である。様々な実施形態の動作を実行するための有用な複数の機械は、本明細書における教示に従って書き込まれた範囲内で格納されるコンピュータプログラムにより選択的に達成または構成されるような汎用デジタルコンピュータを含み、および／または必要な目的のために特別に構築された装置を含む。様々な実施形態はまた、これらの動作を実行するための装置またはシステムにも関連する。これらの装置は、必要な目的のために特別に構築されてよく、または汎用コンピュータを含んでもよい。様々なこれらの機械に必要な構造は、与えられる説明から明らかになるであろう。
ここで図面を参照する。図面においては、全体にわたり、同様の参照符号は同様の要素を指すものとして用いられる。以下の説明においては、解説の目的で、多数の具体的な詳細が、その完全な理解を提供するべく記載されている。ただし、新規実施形態が、特定の詳細がなくても実施できることは明らかである。他の例では、広く知られている構造およびデバイスが、その説明を容易にするべくブロック図の形態で示されている。あらゆる請求項の範囲内の変形、均等物、および代替案を網羅する目的である。
図１は、本開示に応じて実施され得る、ハードニングされたシステム１０１を含む例示的推論環境１００を示す。ハードニングされたシステム１０１は、任意の数または種類のサーバ、ワークステーション、ノートパソコン、仮想化コンピューティングシステム、エッジコンピューティングデバイスなどのコンピューティングシステムで実施可能である。さらに、ハードニングされたシステム１０１は、ディープラーニングアクセラレータカード、ディープラーニングアクセラレーションを備えるプロセッサ、またはＮｅｕｒａｌ Ｃｏｍｐｕｔｅ Ｓｔｉｃｋなど、内蔵型システムであり得る。いくつかの実装において、ハードニングされたシステム１０１は、システムオンチップ（ＳｏＣ）を含み、別の実装では、ハードニングされたシステム１０１は２つ以上の個別コンポーネントを有するプリント回路基板またはチップパッケージを含む。さらに、ハードニングされたシステム１０１は、入力に基づいて、いくつかの結果、分類、または特徴を推論するように構成された、任意の多様な「モデル」のタイプを採用し得る。
ハードニングされたシステム１０１は、回路１１０とメモリ１２０とを備える。メモリ１２０は、推論モデル１２２、入力データ１２４、出力データ１２６、および命令１２８を格納する。動作時、回路１１０は、命令１２８および／または推論モデル１２２を実行して、入力データ１２４から出力データ１２６を生成し得る。出力データ１２６は、以下の実施形態で説明するように入力データ１２４から生成され得る。そのようないくつかの実施形態では、入力データ１２４は訓練データを含み得、回路１１０は、入力データ１２４に基づいて、命令１２８を実行して、出力データ１２６として推論モデル１２２を生成し得る。例えば、入力データは、猫を含むまたは含まないとしてラベル付けされた複数の画像を含み得る。そのような例では、複数の画像が、画像が猫を含むか否かを推論可能な推論モデルを生成するのに使用可能で、推論モデルは出力データとして提供可能である。そのような実施形態の多くで、回路１１０は、命令１２８および推論モデル１２２を実行して、入力データ１２４を分類し、入力データ１２４の分類を、出力データ１２６として提供し得る。例えば、入力データは画像を含み得、出力データは画像を、猫を含むまたは含まないのいずれかに分類し得る。様々なそのような実施形態において、入力データ１２４はテストデータセット（例えば、画像およびその分類）を含み得、回路１１０は命令１２８を実行して、テストデータセットにより推論モデル１２２の性能を評価し、その評価のインジケーションを出力データ１２６として提供し得る。命令１２８および／または推論モデル１２２を実行して、入力データ１２４から出力データ１２６を生成する、これらとその他様々な態様を、以下の例を参照にするなどして、より詳細に説明する。
ハードニングされたシステム１０１はインタフェース１３０をさらに備え得る。インタフェース１３０は、ハードニングされたシステム１０１外のデバイスなどの、推論環境１００における１または複数のデバイスに結合可能である。例えば、入力デバイス１５２、出力デバイス１５４、他のコンピューティングデバイス１５６が図示される。概して、インタフェース１３０は、ハードニングされたシステム１０１を別のデバイスまたはシステムに結合するため、インターコネクト（例えば、有線、無線など）に結合されるように構成されたハードウェアインタフェースまたはコントローラを含み得る。例えば、インタフェース１３０は、同じくインターコネクトに結合された別のデバイス（例えば、入力デバイス１５２、出力デバイス１５４、別のコンピューティングデバイス１５６、など）との間で情報要素（例えば、データ、制御信号などを含む）を通信および／または受信するために、インターコネクトを介して情報要素を送信および／または受信するように構成された処理回路を含み得る。いくつかの例において、インタフェース１３０は、様々な規格のうちの任意のものに準拠したインタフェースに結合するように構成され得る。いくつかの例において、インタフェース１３０は、イーサネット（登録商標）インターコネクト、セルラインターコネクト、ユニバーサルシリアルバス（ＵＳＢ）インターコネクト、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）などに結合されるように構成され得る。いくつかの例において、推論システム１００は、例えば、異なるインターコネクトを通じて異なるデバイスに結合される複数のインタフェースを有し得る。
概して、入力デバイス１５２は、ハードニングされたシステム１０１に対して、入力として信号を提供するように構成された任意のデバイスであり得る。いくつかの例では、入力デバイス１５２は、任意の数および種類のセンサであり得る。動作時、回路１１０は、インタフェース１３０を介してこれらセンサから信号を受信するように命令１２８を実行してよい。回路１１０は、命令１２８実行時に、受信した信号を入力データ１２４として格納し得る。あるいは、回路１１０は命令１２８実行時に、信号に基づいて（例えば、インタフェース１３０を介してセンサから受信した生信号にいくつかの処理を適用することにより）、入力データ１２４を生成し得る。別の例として、回路１１０は、入力データ１２４のインジケーションを含む情報要素を、他のコンピューティングデバイス１５６から受信するように、命令１２８を実行できる。いくつかの例において、入力デバイス１５２、出力デバイス１５４、および／または他のコンピューティングデバイス１５６の内の任意の１または複数が、ハードニングされたシステム１０１とともにパッケージ化され得る。例はこの文脈に限定されるものではない。
ハードニングされたシステム１０１は、ハードニング部１４０をさらに有する。概して、ハードニング部１４０は、ハードニングされたシステム１０１を標的とするのに用いられ得る１または複数の攻撃ベクトルを軽減するか、それに対する「ハードニング」を実行するように構成された、ハードウェア、ソフトウェア、および／または、その組み合わせを含み得る。以下の例に、ハードニング部１４０の多くの例を示す。ただしここでは、ハードニング部１４０は、スタンドアロンのハードウェア、ソフトウェア、および／またはハードニングされたシステム１０１のハードウェア、ソフトウェア要素の組み合わせであると示され、実施される。あるいは、ハードニング部１４０は、ハードニングされたシステム１０１または推論環境１００の１または複数の要素のうちの１つ内で実施され得る。例えば、回路１１０、メモリ１２０、インタフェース１３０、推論モデル１２２、入力データ１２４、出力データ１２６、および／または命令１２８が、ハードニング部１４０を含み得る。さらなる例として、ハードニング部１４０は、ハードニングされたシステム１０１を包含し得る、あるいはハードニングされたシステム１０１とは別個で独立し得る。例えば、ハードニング部は、インタフェース１４０、または入力デバイス１５２などの別のデバイスの一部に結合され得る。
上述のように、本開示は、推論モデル１２２を含むシステム１０１などの、ＡＩを使用したシステムに対する攻撃ベクトルを軽減または抑制するように構成される装置および方法を提供する。したがって、ハードニング部１４０は、これら攻撃ベクトルを軽減または抑制するように構成され、推論環境１００内に配置される。例えば、ハードニング部１４０は、一般的にモデル窃盗（ｍｏｄｅｌ ｔｈｅｆｔ）と称される攻撃ベクトルを軽減するように構成され得る。モデル窃盗は、推論モデル１２２そのものに対する窃盗である（例えば、抽出、クローニング、リバースエンジニアリング、モデル反転など）。ハードニング部１４０は、抽出されたモデルに対するモデルクローニング動作、モデル反転、またはリバースエンジニアリングを軽減するように構成され得る。例えば、ハードニング部１４０は、訓練データについての情報を取得しようとするプロービング攻撃を軽減するように構成され得る。別の例として、ハードニング部１４０は、敵対的入力と一般的に称される攻撃ベクトルを軽減するように構成され得る。敵対的入力は、推論システムを「騙す」、または入力に基づき特定の推論をトリガするように設計された入力である。ハードニング部１４０は、入力プロービング攻撃、入力歪曲、入力リダクションなどを軽減するように構成され得る。いくつかの例において、ハードニング部１４０は、入力データの信頼性、有効性、または相関を向上するように構成され得る（例えば、１または複数の入力デバイス特徴に基づく）。ハードニング部１４０は、入力デバイスを認証するように、または入力データをサニタイズするように構成され得る。別の例として、ハードニング部１４０は、プライバシー漏洩または曝露を軽減するように構成され得る。例えば、全出力（例えば、正確な推論、不正確な推論、高確率推論、低確率推論、分類子の数など）が、敵対的パーティにより、モデルおよび／または訓練データについての有用な情報を収集するのに用いられ得ることが理解されたい。そのような攻撃およびその他種類の攻撃に対するシステムハードニングの多くの例を、以下に詳述する。
概して、回路１１０は、従来の中央演算ユニット（ＣＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはその他ロジックなどの、ハードウェアを示す。例えば、回路１１０はグラフィックスプロセッシングユニット（ＧＰＵ）またはアクセラレータロジックを実装できる。具体例として、回路１１０は、Ｇｏｏｇｌｅ（登録商標）のＴｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ（登録商標）、Ｉｎｔｅｌ（登録商標）のＮｅｒｖａｎａ ＮＮＰ（登録商標）（ニューラルネットワークプロセッサ）、ＭｏｖｉｄｉｕｓのＭｙｒｉａｄ２（登録商標）プロセッサ、Ｍｏｂｉｌｅｅｙｅ（登録商標）のＥｙｅＱ（登録商標）プロセッサであり得る。いくつかの例において、回路１１０は、そのうちの１または複数がＡＩ命令を処理するように構成される、複数コアを有するプロセッサであり得る。例えば、Ｑｕａｌｃｏｍｍ（登録商標）のＳｎａｐｄｒａｇｏｎ８４５（登録商標）プロセッサまたはＡｐｐｌｅ（登録商標）のＡ１１／Ａ１２Ｂｉｏｎｉｃ ＳｏＣ（登録商標）である。これら例は、明確さと分かりやすさのために提供されたもので、限定的ではない。
回路１１０は、命令セット（不図示）を含み得るか、例えば、ｘ８６アーキテクチャなど任意の数の命令セットアーキテクチャに対応し得る。この命令セットは、３２ビット命令セット、６４ビット命令セットであり得る。さらに、命令セットは、半精度ｂｆｌａｏｔ１６浮動小数点フォーマットなど低精度演算を利用し得る。例はこの文脈に限定されない。
メモリ１２０は、多様な情報格納技術の内の任意のものに基づき得る。例えば、メモリ１２０は、電力の途切れない提供を要する揮発性技術、または電力の途切れない提供を必要とせずに、着脱可能または不能であり得る、機械可読記憶媒体の使用を伴い得る技術を含み得る不揮発性技術に基づき得る。したがって、これらストレージのそれぞれは、多様な記憶装置（または種類の組み合わせ）の任意のものを含み得る。当該ストレージデバイスとしては、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、ダブルデータレートＤＲＡＭ（ＤＤＲ－ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、ポリマーメモリ（例えば、強誘電性ポリマーメモリ）、オボニックメモリ、相変化または強誘電体メモリ、シリコン－酸化物－窒化物－酸化物－シリコン（ＳＯＮＯＳ）メモリ、磁気カードまたは光カード、１または複数の個別強磁性ディスクデバイス、または１または複数のアレイに整理された複数のストレージデバイス（例えば、レイドアレイ（ＲＡＩＤアレイ）に整理された複数の強磁性ディスクドライブ）が挙げられるがこれらに限定されない。
図２は、上述の推論環境１００のハードニングされたシステム１０１などにより、推論環境内で実施され得る例示的技術２００を示す。なお、分かりやすさおよび明確さのために、技術２００を図１の推論環境１００を参照して説明する。しかし、これは限定を意図したものではない。
技術２００は円２．１から開始し得る。円２．１において、入力デバイス１５２および／または別のコンピューティングデバイス１５６は入力データ１２４をハードニングされたシステム１０１に送り得る。円２．２において、ハードニングされたシステム１０１は入力データ１２４を受信し得る。例えば、入力データ１２４はインタフェース１３０を介して送られ得る。いくつかの実施形態において、ハードニング部１４０は、入力デバイス１５２、別のコンピューティングデバイス１５６、または推論モデル１２２に結合され、推論モデル１２２を攻撃ベクトルに対してハードニングするように構成され得る。例えば、ハードニング部１４０は、入力データ１２４をサニタイズするように構成され得る。別の例として、ハードニング部１４０は、入力デバイス１５２を検証するように構成され得る。さらなる例として、ハードニング部１４０は、入力データ１２４を変換するように構成され得る。これらおよびその他例を、以下により詳しく説明する。
技術２００は円２．３に進み得る。円２．３において、推論モデル１２２は、いくつかの推論を行う、または出力データ１２６を生成するために、入力データ１２４を実行またはそれに対して動作可能である。いくつかの実施形態において、ハードニング部１４０は推論モデル１２２に結合され得る。例えば、推論モデル１２２は、プロービング攻撃を特定するように構成された、複数の隠れクラスを含み得る。別の例として、推論モデル１２２は暗号化され得、または暗号化データに対して動作するように構成される活性化関数を含み得る。別の例として、推論モデル１２２は、異なるコンピューティングエンティティが、推論モデル１２２の異なる部分を実行し得るように、分割またはパーティションされ得る。また、さらなる例として、推論システムは、プロービング攻撃などのインジケーションを提供すべく、デジタル著作権管理の目的で、モデル識別を提供する、多数の隠れクラスを有して構成され得る。これらおよびその他例を、以下により詳しく説明する。
技術２００は円２．４に進み得る。円２．４において、ハードニングされたシステム１０１は、データ１２６を出力し得る。例えば、ハードニングされたシステム１００は、出力デバイス１５４（および／または別のコンピューティングデバイス１５６）にデータ１２６を送り得る。いくつかの実施形態、出力データ１２６は、入力データ１２４の分類など、入力データ１２４に関する推論を含み得る。円２．５において、出力デバイス１５４は出力データ１２６を受信し得る。例えば、出力データ１２６は、インタフェース１３０を介して送られ得る。いくつかの実施形態において、ハードニング部１４０は、攻撃ベクトルに対するハードニングのため、ハードニングされたシステム１０１の出力または、出力デバイス１５４に対して結合され得る。例えば、ハードニング部１４０は、出力データ１２４をプルーニングするように構成され得る。これらおよびその他例を、以下により詳しく説明する。
図３は、推論モデル（例えば、推論モデル１２２など）を訓練するために、推論環境１００のハードニングされたシステム１０１などにより、推論環境において実施され得る例示的訓練／テスト技術３００を示す。なお、分かりやすさおよび明確さのために、技術３００を図１の推論環境１００を参照して説明する。しかし、これは限定を意図したものではない。概して、推論モデルは反復プロセスで訓練される。本明細書において、推論モデル訓練のいくつかの例を示す。ただし、本明細書により提供された多くの例は、推論モデルの訓練に用いられたアルゴリズムとは独立して、攻撃に対して推論システムをハードニングするように実施され得る。
技術３００は円３．１から開始し得る。円３．１において、入力デバイス１５２および／または別のコンピューティングデバイス１５６は訓練データセット３６２をハードニングされたシステム１０１に送り得る。円３．２において、ハードニングされたシステム１０１は訓練データセット３６２を受信し得る。例えば、訓練データセット３６２はインタフェース１３０を介して送られ得る。いくつかの実施形態において、ハードニング部１４０は、入力デバイス１５２、別のコンピューティングデバイス１５６、または推論モデル１２２に結合され、推論モデル１２２を攻撃ベクトルに対してハードニングするように構成され得る。例えば、ハードニング部１４０は、推論モデル１２２が動作時に、敵対的攻撃を特定するように訓練され得るように、敵対的攻撃入力および関連付けられた出力を追加するように構成され得る。これらおよびその他例を、以下により詳しく説明する。
技術３００は円３．３に進み得る。円３．３において、推論モデル１２２は、いくつかの推論を行う、または出力データを生成するために、訓練データセット３６２からの入力データ１２４を実行またはそれに対して動作可能である。円３．４において、推論モデル１２２は、訓練データセット３６２の入力データから円３．３で生成された出力と、訓練データセット３６２の対応する所望の出力に基づいて調整され得る。例えば、推論モデルの重み、接続、層などが、円３．４で調整され得る。多くの場合、円３．３および３．４は、推論モデル１２２が許容可能な（例えば、閾値より大きいなど）成功率に集約（多くの場合、最少エラー状態に達したと称する）されるまで、インタラクティブに繰り返される。いくつかの実施形態において、訓練された推論モデルは出力データ１２６として提供され得る。いくつかの実施形態において、ハードニング部１４０は推論モデル１２２に結合され得る。例えば、推論モデル１２２は、訓練データセット３６２に影響する不正な入力データに基づいて、円３．４で行われた調整を解除するように、ロールバック機能を含み得る。これらおよびその他例を、以下により詳しく説明する。
推論モデル１２２が訓練されると、推論モデル１２２をテストできる。円３．５において、入力デバイス１５２および／または別のコンピューティングデバイス１５６はテストデータセット３６４をハードニングされたシステム１０１に送り得る。円３．６において、ハードニングされたシステム１０１はテストデータセット３６４を受信し得る。例えば、テストデータセット３６２は、インタフェース１３０を介して送られ得る。円３．７において、推論モデル１２２は、いくつかの推論を行う、または出力データ１２６を生成するために、テストデータセット３６４の入力データを実行またはそれに対して動作可能である。円３．８において、ハードニングされたシステム１０１は、例えば出力デバイス１５４（および／または別のコンピューティングデバイス１５６）に出力データ１２６を送り得る。円３．９において、出力デバイス１５４は、出力データ１２６を受信し得、出力データ１２６をテストデータセット３２４からの所望の出力データと比較して、推論モデル１２２による正しい出力の推論または生成の成績を判定し得る。いくつかの実施形態において、テストの結果が、出力データ１２６として提供され得る。なお、多くの場合、推論モデルの訓練およびテスト時に、入力デバイス１５２および出力デバイス１５４は同一であり得る。いくつかの実施形態において、ハードニング部１４０は推論モデル１２２に結合され得る。例えば、推論モデル１２２は、後に訓練データセット３６２による推論モデル１２２の訓練の裏付けとなるように、訓練データセット３６２に信頼できるように関連付けられ得る。これらおよびその他例を、以下により詳細に説明する。
次に本説明により、ハードニングされた推論システムと多数の例と、当該システムにより軽減可能な具体的な攻撃ベクトルの例が提供される。例は、攻撃ベクトルの分類に基づいて、大まかにセクション整理されている。モデル窃盗（またはＩＰ窃盗）に関する攻撃ベクトルを軽減するように実施可能な例をまとめて、セクション１に分類する。敵対的入力に関する攻撃ベクトルを軽減するように実施可能な例をまとめて、セクションＩＩに分類する。データ信頼性を提供するように実施可能な例をまとめて、セクションＩＩＩに分類する。推論モデル訓練向上のために実施可能な例をまとめて、セクションＩＶに分類する。推論モデルのプライバシー機能向上のために実施可能な例をまとめて、セクションＶに分類する。最後に、セクションＶＩは攻撃ベクトル全般を軽減するように実施可能な例を提供する。ただし、攻撃ベクトルの種類または分類に関する１つのセクションについて例が説明され得るが、その例は、他のセクションに記載の別の攻撃ベクトルを軽減するためにも実施され得る。さらに、複数の例を組み合わせて、複数の種類の攻撃ベクトルを軽減する、ハードニングされたシステムが提供され得る。例はこの文脈に限定されない。
［セクションＩ－推論モデル窃盗］
プロービングを介したモデル改変を軽減する出力トリミング
［セクションＩ－推論モデル窃盗］
プロービングを介したモデル改変を軽減する出力トリミング
図４は、本開示に応じて実施され得る例示的ハードニングされたシステム４０１を示す。ハードニングされたシステム４０１は回路４１０と、メモリ４２０と、入力デバイス４５２とを備える。メモリ４２０は、推論モデル４２２、入力データ４２４、出力データ４２６、命令４２８、推論確率４２３、閾値４２５、および無効出力データ４２７を格納する。動作時、回路４１０は、命令４２８および／または推論モデル４２２を実行して、入力データ４２４から出力データ４２６を生成し得る。
推論システムに対する一般的な攻撃として、多くの場合「プロービング」と呼ばれる、推論システムに対する繰り返しクエリが挙げられる。プロ―ビングの際、攻撃者は、例えば分類カテゴリなどのシステムの挙動を学習する目的で、多数のクエリをシステムに実行する。具体例として、推論システムを、画像分類のために訓練したカテゴリの種類を特定するため、画像を分類するように構成される推論システムは繰り返しクエリされ得る。本開示は、推論確率が閾値レベル未満であれば、出力をトリミングまたはマスクするように構成されたハードニングされたシステム４０１を提供する。
例えば動作時、回路４１０は、命令４２８を実行して、入力データ４２４を受信し得る。回路４１０は、推論モデル４２２を実行して、入力データ４２４から出力データ４２６を生成し得る。回路４１０は、命令４２８を実行して、出力４２６の推論確率４２３が閾値４２５を超えるか判定し得る。言い換えると、回路４１０は、命令４２８を実行して、出力４２６が正しい確率が、閾値レベルを超えるか判定し得る。概して、閾値４２５は、例えば、８０％正しい、８５％正しい、９０％正しい、９５％正しい、９９％正しいなど、プロ―ビングを断念させるほど高い任意の値であり得る。いくつかの例では、閾値４２５は動的に計算され得る（例えば、クエリソース、攻撃確率、クエリ頻度、同じソースなどのソースからのクエリの頻度などに基づく）。別の例では、閾値４２５は、例えばモデル所有者または権限のある管理者の動作中または前のモデル作成時に固定的に設定され得る。
回路４１０は、命令４２８を実行して、判定された推論確率４２３が閾値４２５を超えると、出力データ４２６を提供し、判定された推論確率４２３が閾値４２５を超えないと、無効出力データ４２７を提供し得る。いくつかの例において、無効出力データ４２７は「なし」であり得る（例えば、分類システムの場合）。
図５は論理フロー５００の実施形態を示す。論理フロー５００は、本明細書に記載の１または複数の実施形態により実行される一部または全部の動作を示し得る。例えば、ハードニングされたシステム４０１（またはそのコンポーネント）は、プロ―ビングを断念させるため、推論システムからの出力をトリミングするため、論理フロー５００における動作を実行し得る。
論理フロー５００が始まり得るブロック５１０「入力データ受信」において、システム４０１は入力データ４２４を受信し得る。例えば、ハードニングされたシステム４０１は入力デバイス４５２から入力データ４２４を受信し得る。ブロック５２０「受信した入力に基づいて、推論モデルを介して出力を生成」に進むと、システム４０１は、入力データ４２４から推論モデル４２２を介して出力データ４２６を生成可能である。例えば、回路４１０は、推論モデル４２２を実行して、入力データ４２４から出力データ４２６を生成し得る。ブロック５３０「生成された出力の推論確率を判定」に進むと、システム４０１は、生成された出力の推論確率を判定し得る。例えば、回路４１０は、命令４２８を実行して、出力データ４２６の推論確率４２３を判定し得る。
判定ブロック５４０「推論確率が閾値を超えるか？」に進むと、システム４０１は、ブロック５３０で判定された推論確率が閾値レベルを超えるか判定し得る。例えば、回路４１０は、命令４２８を実行して、推論確率４２３が閾値４２５を超えるか判定し得る。ブロック５４０から、論理フロー５００はブロック５５０または５６０の何れかに進み得る。論理フロー５００は、推論確率４２３が閾値４２５を超えるという判定に基づいてブロック５４０からブロック５５０に進み得る。一方、論理フロー５００は、推論確率４２３が閾値４２５を超えないという判定に基づいてブロック５４０からブロック５６０に進み得る。
ブロック５５０「生成された出力を提供」において、システム４０１は、ブロック５２０で生成された出力を提供し得る。例えば、回路４１０は、命令４２８を実行して、出力データ４２６を提供し得る（例えば、出力デバイス、別のコンピューティングデバイスなどに）。ブロック５６０「無効出力を提供」において、システム４０１は、無効出力データを提供し得る。例えば、回路４１０は、命令４２８を実行して、無効出力データ４２７を提供し得る（例えば、出力デバイス、別のコンピューティングデバイスなどに）。
モデルデジタル著作権管理用の安全マーキング
モデルデジタル著作権管理用の安全マーキング
図６は、本開示に応じて実施され得る例示的なハードニングされたシステム６０１を示す。ハードニングされたシステム６０１は、回路６１０と、メモリ６２０と、インタフェース６３０と、入力デバイス６５２と、信頼できる実行環境（ＴＥＥ）６７０とを備える。メモリ６２０は、推論モデル６２２、入力データ６２４、出力データ６２６、および命令６２８を格納する。ＴＥＥ６７０は、マーカー６７２および命令６７４を格納する。概して、ＴＥＥ６７０は、システム６０１内の任意の信頼できる実行エンクレーブまたはパーティションであり得る。例えば、ＴＥＥ６７０は、回路６１０内の信頼できる実行パーティションであり得る。別の例として、ＴＥＥ６７０は、回路６１０およびメモリ６２０から、信頼できるように分離した、独自の回路およびメモリ（不図示）を有し得る。概して、ＴＥＥ６７０は、マーカー６７２の信頼性とともに、（例えば、命令６７４の）隔離的実行などの安全性機能を提供し得る。
なお、訓練された推論モデル（例えば、推論モデル６２２）は極めて価値の高い知財財産であり、敵対的サードパーティにより盗まれ、別の製品に（競合製品など）に使用されてしまうことが不可避になり得ることが理解されたい。したがって、推論モデルの不正使用を検出する機能が望ましい。本明細書に詳述するいくつかの手法は、モデル利用の検出をしやすくするため、所謂「バックドアクラス」を利用し得る。例えば、推論モデルは、適切なクエリがシステムに送信されると推論または出力され得る隠れクラスにより訓練され得る。このクエリおよび対応する隠れクラス出力は、不正使用を検出するために、推論モデルの所有者により利用され得る。しかし、このような隠れクラスの使用でも、本質的に不正確になる傾向がある。即ち、場合によっては隠れクラスも誤分類され得る。さらに、隠れクラスを推論システムに追加すると（例えば、推論システムを隠れクラスで訓練する）、性能劣化、さらに訓練プロセスのコスト増が生じ得る。さらに、この方法はスケーラブルではない。新たな隠れクラスの追加によりモデル容量が減るからである。
本開示は、不正使用を判定するために、受け取るクエリの照合に使用可能なマーカー６７２を有するシステム６０１を提供する。なお、マーカー４７２は、例えばＴＥＥ４７０を介して、暗号化され、安全に格納される。したがって、マーカー４７２は安全使用できる。動作時、ＴＥＥ６７０は、命令６７４を実行して、入力データ６２４と、マーカー６７２とを照合し得る。いくつかの例では、ＴＥＥ６７０内の命令６７４は、ビット単位コンパレータにより実施され得る。したがって、動作時、ＴＥＥ６７０は、入力データ６２４がマーカー６７２に一致するかを判定するため、マーカー６７２の入力データ６２４に対するビット単位比較を適用し得る。いくつかの例において、ＴＥＥ６７０は、命令６７４を実行して、入力データ６２４の部分がマーカー６７２に一致するかを判定し得る（例えば、ビット単位比較を介してなど）。具体例として、命令６７４の実行において、ＴＥＥ６７０は、入力データ６２４の選択されたビット（例えば、ｘからｙビット。ｘ、ｙは整数で、ｘは１以上、ｙはｘよりも大きい）をマーカー６７２と比較し得る。即ち、「マーカー」は入力データ６２４内の任意箇所に挿入され得る。したがって動作時、ＴＥＥ６７０は、入力データ６２４内のその特定の箇所（例えば、特定のビット範囲など）を確認して、当該箇所がマーカー６７２に一致するか構成され得る。
入力データ６２４と、マーカー６７２とが一致すると判定されると、ＴＥＥ６７０は命令６７４の実行において、不正な推論モデル６２２利用のインジケーション（例えば出力データ６２６などを介して）を出力し得る。一致が確認されないと、推論モデル６２２は通常どおり使用できる。重要なこととして、システム６０１がロバストで、スケーラブルであるということに言及しておく。さらに、システム６０１は、将来的に変更され得る（例えば、マーカー６７４などを更新することによる）。いくつかの例において、マーカー６７４はプリロードされ得る（例えば、製造時など））。マーカー６７４は、例えばＴＥＥ６７０内のｅ－ｐｒｏｍ内に格納される、またはワンタイムヒューズにより符号化され得る。
図７は論理フロー７００の実施形態を示す。論理フロー７００は、本明細書に記載の１または複数の実施形態により実行される一部または全部の動作を示し得る。例えば、ハードニングされたシステム６０１（またはそのコンポーネント）は、推論モデルの不正使用を検出するため、論理フロー７００における動作を実行し得る。
論理フロー７００が始まり得るブロック７１０「入力データ受信」において、システム６０１は入力データ６２４を受信し得る。例えば、ハードニングされたシステム６０１は入力デバイス６５２から入力データ６２４を受信し得る。ブロック７２０「入力データをマーカーと照合」に進むと、システム６０１は受信した入力データをマーカーと照合できる。例えば、ＴＥＥ６７０は命令６７４を実行して、入力データ６２４と、マーカー６７２とを照合し得る。
判定ブロック７３０「マーカーが入力に一致？」に進むと、システム６０１は、マーカーが入力に一致するか判定可能である。例えば、回路６１０は、命令６２８を実行して、ＴＥＥ６７０が、マーカー６７４が入力データ６２４に一致したと示すか判定できる。ブロック７３０から、論理フロー７００はブロック７４０または７５０の何れかに進み得る。論理フロー７００は、マーカー６７４が入力データ６２４に一致しないと判定されたことに基づいて、ブロック７３０からブロック７４０に進み得。一方、論理フロー７００は、マーカー６７４が入力データ６２４に一致したと判定されたことに基づいて、ブロック７３０からブロック７５０に進み得る。
ブロック７４０「受信した入力に基づいて、推論モデルを介して出力を生成」において、システム６０１は、推論モデル６２２を介して、入力データ６２４から出力データ６２６を生成し得る。例えば、回路６１０は、推論モデル６２２を実行して、入力データ６２４から出力データ６２６を生成し得る。ブロック７５０「不正使用のインジケーション出力」で、システム６０１は、推論モデル６２２の不正使用のインジケーションを出力し得る。言い換えると、システム６０１は、受信した入力データ６２４の提供者が、推論モデル６２２に対する適切な所有権を有するか判定し得る。
いくつかの例では、入力データは、１または複数の推論モデルの所有権、有効ライセンス、正規の使用権、または推論モードの特徴を判定するために、多数のマークと比較され得る。図８は、本開示に応じて実施され得る例示的なハードニングされたシステム８０１を示す。ハードニングされたシステム８０１は、回路８１０と、メモリ８２０と、インタフェース８３０と、入力デバイス８５２と、信頼できる実行環境（ＴＥＥ）８７０とを備える。メモリ８２０は、推論モデル８２２－ｎ、入力データ８２４、出力データ８２６、および命令８２８を格納する。ＴＥＥ８７０は、マーカー８７２－ｎと命令８７４とを格納する。
概して、システム８０１は、マーカー８７２－ｎの１つに一致する入力データ８２４に基づいて、推論モデル８２２－ｎの１つをイネーブルするように構成され得る。例えば、この図は、推論モデル８２２－１、８２２－２、および８２２－３を含むメモリ８２０を示し、ＴＥＥ８７０はマーカー８７２－１、８７２－２、および８７２－３を格納する。動作時、ＴＥＥ８７０は、命令８７４を実行して、入力データ８２４と、マーカー８７２－１、８７２－２、または８７２－３の１つとを照合し得る。いくつかの例では、ＴＥＥ８７０内の命令８７４は、ビット単位コンパレータにより実施され得る。したがって、動作時、ＴＥＥ８７０は、入力データ８２４がマーカー８７２－１、８７２－２、または８７２－３の１つに一致するかを判定するため、マーカー８７２－１、８７２－２、または８７２－３の入力データ８２４に対するビット単位比較を適用し得る。
入力データ８２４と、マーカー８７２－１、８７２－２、または８７２－３の１つとが一致すると判定された場合、入力データの提供者が、対応する推論モデルに対して権限（例えば、所有権、ライセンス権など）を持つと見做すことができる。したがって、ＴＥＥ８７０は、命令８７４の実行において、入力データ８２４がマーカー８７２－１、８７２－２、または８７２－３の１つに一致するという判定に基づいて、対応するモデル８２２－１、８２２－２、または８２２－３の１つをイネーブルし得る。
いくつかの例において、入力データは、サードパーティによる入力データの窃盗および／またはマーカー偽造を目的とした再構築を軽減するように、暗号化され得る。図９は、本開示に応じて実施され得る例示的なハードニングされたシステム９０１を示す。ハードニングされたシステム９０１は、回路９１０と、メモリ９２０と、インタフェース９３０と、入力デバイス９５２と、信頼できる実行環境（ＴＥＥ）９７０とを備える。メモリ９２０は、推論モデル９２２、暗号化された入力データ９２４、出力データ９２６、および命令９２８を格納する。ＴＥＥ９７０はマーカー９７２、命令９７４、復号された入力データ９７５、および鍵９７６を格納する。
概して、システム９０１は、システム４０１と同様に、マーカー９７２に一致する入力データ９２４に基づいて、推論モデル９２２の所有権または使用権を確認するように構成され得る。しかし、ハードニングされたシステム９０１は、入力データが敵対するパーティに、マーカー９７２の再構築または偽造を目的として使用されることを防止するために、そのメモリ９２０に格納された入力が暗号化されることをさらに含む。
動作時、ＴＥＥ９７０は、命令９７４を実行して、鍵９７６を使用して暗号化された入力データ９２４を復号して、復号された入力データ９７５をマーカー９７２と照合し得る。
敵対的ウォーターマークを介した盗まれたモデル検出
敵対的ウォーターマークを介した盗まれたモデル検出
上述のように、訓練された推論モデルは極めて価値の高い知財財産であり、敵対的サードパーティより盗まれ、別の製品に（競合製品など）に使用されてしまうことが不可避になり得る。したがって、推論モデルの不正使用を検出する機能が望ましい。本開示のいくつかの例において、モデル不正使用の検出を促進するため、一部の敵対的入力を分類するように訓練された推論モデルを提供できる。
なお、敵対的入力は、正しくはないが、修正された分類に極めて近い入力である。ナイフを分類するように設計された分類システムへの敵対的入力は、例えばペンを模したナイフを、ナイフではなくペンとして分類し得る。本開示は、多数の敵対的入力を分類するように訓練された推論モデルを提供する。したがって、推論モデルは、モデルが訓練済みの敵対的入力セットに対して実行され得る。これにより、敵対的入力が正しく分類される。したがって、敵対的入力セットにより、モデル使用（例えば、不正使用の特定）の判定をしやすくできる。敵対的入力を異なるモデル（例えば、敵対的入力セットで訓練していない）に提供すると、誤った分類（例えば、ナイフをペンとして分類するなど）に帰結すると想定される。したがって、モデルが異なることが示される。敵対的入力の共用可能という特徴により、モデルの分類に任意の無作為な変更を行えば、数パーセント以上の敵対的入力の結果を変えることなく、通常の入力セットの否認防止に十分となる。したがって、敵対的パーティによりモデルが改変されたとしても、本明細書に詳述する敵対的入力分類検出機能を除去するのは困難である。このため、モデルがコピーされたという事実を隠すことは困難となる。
図１０Ａは、推論モデルを訓練する例示的システム１００１を示す。システム１００１は、回路１０１０と、メモリ１０２０とを備える。メモリ１０２０は、推論モデル１０２２、命令１０２８、テスト／訓練データセット１０６０、および出力データ１０２６を格納する。テスト／訓練データセット１０６０は、テストデータ１０６２と、訓練データ１０６４との両方を含む。テストデータ１０６２および訓練データ１０６４は、例えば図３の技術３００を利用して推論モデル１０２２を「訓練」するのに使用できる。
図１０Ｂにテスト／訓練データセット１０６０の例を示す。同図に簡潔に触れると、テスト／訓練データセット１０６０は、入力１０６１と、敵対的入力１０６３とを含む。テスト／訓練データセット１０６０は、入力１０６１および敵対的入力１０６３それぞれについて、想定出力１０６５をさらに含む。概して入力１０６１は、モデルを訓練（またはテスト）する通常入力であり得る。一方、敵対的入力は、本明細書に記載のモデル窃盗検出機能を提供するために、モデルを訓練（またはテスト）する敵対的入力であり得る。入力１０６１は、入力値（１または複数）１０６１－ｎを含み得る。ここでｎは、正の整数である。一方、敵対的入力１０６３は、敵対的入力値（１または複数）１０６３－ｍを含み得る。ここでｍは、正の整数である。なお、実行時、入力１０６１および敵対的入力１０６３の数はかなり大きくなり得る。ただし、この図に示される入力の数は、図示の簡潔性を意図している。例えば、入力値（１または複数）１０６１－１、入力値（１または複数）１０６１－２、入力値（１または複数）１０６１－３、入力値（１または複数）１０６１－４、入力値（１または複数）１０６１－５から入力値（１または複数）１０６１－Ｎが、入力１０６１について示される。同様に、敵対的入力値（１または複数）１０６３－１、敵対的入力値（１または複数）１０６３－２、敵対的入力値（１または複数）１０６３－３から敵対的入力値（１または複数）１０６３－Ｍが敵対的入力１０６３について示される。
入力値１０６１－ｎおよび敵対的入力値１０６３－ｍそれぞれについて、関連する想定出力１０６５が示される。各想定出力は、推論モデル１０２２は入力を割り当てるために訓練される推論（例えば、分類など）に対応し得る。例えば、想定出力１０６５は、推論モデル１０２２により入力が分類されるクラス１０６７のインジケーションを示す。例えば、クラス１０６７－１、クラス１０６７－２、およびクラス１０６７－３が示される。なお、推論モデルは、入力を任意の数のクラスに分類するように訓練され得る。ただし、この図に示される数は、図示の簡潔性を意図している。
回路１０１０は、命令１０２８を実行して、例えば、図３を参照して説明したようなテスト／訓練データセット１０６０を使用して、推論モデル１０２２を訓練し得る。したがって、動作時、訓練された推論モデル１０２２は、推論モデルに敵対的入力１０６３を提供し、出力１０２６を対応する想定出力１０６５と比較することで、不正使用（例えば、モデル窃盗などを示す）を判定するのに使用可能である。敵対的入力１０６３の正しい分類は、推論モデルが推論モデル１０２２と同一であることを示し得る。例えば、敵対的入力１０６３－Ｍをクラス１０６７－２に分類することで、敵対的入力１０６３－Ｍが提供された推論モデルが推論モデル１０２２同じであることが示され得る。
図１１は本開示に応じて実施され得る例示的なハードニングされたシステム１１０１を示す。ハードニングされたシステム１１０１は回路１１１０と、メモリ１１２０と、入力デバイス１１５２とを備える。メモリ１１２０は、推論モデル１１２２、入力データ１１２４、出力データ１１２６、および命令１１２８を格納する。いくつかの例において、メモリ１１２０は分類閾値１１２３も含み得る。動作時、回路１１１０は、命令１１２８および／または推論モデル１１２２を実行して、入力データ１１２４から出力データ１１２６を生成し得る。推論モデル１１２２は、推論モデル１０２２と同様に、多数の敵対的入力（例えば、敵対的入力１０６３－ｍなど）で訓練され得る。したがって、敵対的入力１０６３－ｍを推論モデル１１２２に提供し、出力データ１１２６を敵対的入力１０６３－ｍについての想定出力１０６５と比較することで、モデル窃盗を特定しやすくできる。
例えば動作時、回路１１１０は、命令１１２８を実行して、入力データ１１５２を受信し得る。回路１１１０は、推論モデル１１２２を実行して、入力データ１１２４から出力データ１１２６を生成し得る。入力データ１１５２が敵対的入力１０６３－ｍに対応する場合、回路１１１０は命令１１２８を実行して、出力１１２６が敵対的入力１０６３－ｍについての想定出力１０６５に対応するか判定し得る。言い換えると、回路１１１０は命令１１２８を実行して、推論モデル１１２２が入力データ１１２４（例えば、敵対的入力１０６３－ｍ）を正しいクラス１０６７に分類したか判定し得る。推論モデル１１２２が敵対的入力を正しく分類した場合、モデル１１２２はモデル１０２２であると見做され得る。
いくつかの例では、推論モデル１１２２が敵対的入力を、分類閾値１１２３を超える回数正しく分類した場合にのみ、推論モデル１１２２が不正に使用されていると見做され得る。いくつかの例では、推論モデル１１２２が敵対的入力を分類した回数を数え、随時（例えば、時間に基づく、提示された敵対的入力の数、入力の総数など）分類閾値１１２３と比較できる。
図１２は論理フロー１２００の実施形態を示す。論理フロー１２００は、本明細書に記載の１または複数の実施形態により実行される一部または全部の動作を示し得る。例えば、ハードニングされたシステム１１０１（またはそのコンポーネント）は、モデルの不正使用（例えば、モデル窃盗）を検出するため、論理フロー１２００における動作を実行し得る。
論理フロー１２００が始まり得るブロック１２１０「入力データ受信」において、システム１１０１は入力データ１１２４を受信し得る。例えば、ハードニングされたシステム１１０１は、入力デバイス１１５２から入力データ１１２４を受信し得る。いくつかの場合において、入力データは、図１０Ａおよび１０Ｂのテスト／訓練データセット１０６０の、任意の敵対的入力１０６３－ｍに対応し得る。
ブロック１２２０「受信した入力に基づいて、推論モデルを介して出力を生成」に進むと、システム１１０１は、推論モデル１１２２を介して、入力データ１１２４から出力データ１１２６を生成し得る。例えば、回路１１１０は、推論モデル１１２２を実行して、入力データ１１２４から出力データ１１２６を生成し得る。判定ブロック１２３０「入力データは敵対的？」に進むと、システム１１０１は、入力データ１１２４は敵対的か（例えば、入力が入力１０６３－ｍであるかなど）を判定できる。例えば、回路１１１０は命令１１２８を実行して、入力１１２４が敵対的か判定し得る。判定ブロック１２３０から、論理フロー１２００は、判定ブロック１２４０またはブロック１２５０のいずれかに進み得る。論理フロー１２００は、入力が敵対的ではないという判定に基づいて、判定ブロック１２３０から判定ブロック１２４０に進み得る。一方、論理フロー１２００は、入力が敵対的であるという判定に基づいて、判定ブロック１２３０から判定ブロック１２４０に進み得る。
判定ブロック１２４０「入力データが正しく分類された？」において、システム１１０１は、入力１１２４が正しく分類されたか判定し得る。例えば、回路１１１０は、命令１１２８を実行して、推論モデル１１２２が入力データ１１２４から生成した出力データ１１２６が、入力データ１１２４が対応する敵対的入力を正しく分類するか判定し得る。具体例として、敵対的入力がペンを模したナイフであれば、判定ブロック１２４０において、推論モデル１１２２がナイフをペンとして誤って分類せずに、正しくナイフをナイフとして分類したかを判定し得る。判定ブロック１２４０から、論理フロー１２００は、ブロック１２５０またはブロック１２６０のいずれかに進み得る。論理フロー１２００は、入力データが正しく分類されていないという判定に基づいて、判定ブロック１２４０からブロック１２５０に進み得る。一方、論理フロー１２００は、入力データが正しく分類されたという判定に基づいて、判定ブロック１２４０から判定ブロック１２６０に進み得る。
ブロック１２５０「生成された出力を提供」において、システム１１０１は、推論モデル１１２２および入力データ１１２４から生成された出力を提供し得る。例えば、回路１１１０は、推論モデル１１２２を実行して、出力データ１１２６を（例えば、ホストシステム、インターコネクトを介して結合されたシステムなどに）提供し得る。
ブロック１２６０「モデルが不正使用というインジケーションを提供」において、システム１１０１は、モデルが不正使用されている（例えば、モデルが盗まれたなど）というインジケーションを提供し得る。例えば、命令１１２８の実行において、回路１１１０は、モデル１１２２がモデル１０２２と同じであり得る（例えば、モデル１１２２が盗まれたということを示すなど）というインジケーションを含む情報要素を、報告機関（など）に送信できる。ブロック１２６０から、論理フロー１２００はブロック１２５０に進み得る。
いくつかの例において、モデルの不正使用のインジケーションは、分類閾値１１２３を超えた場合にのみ提供され得る。即ち、ブロック１２６０そのものが、分類閾値１１２３が超えたかを判定する論理フローに対応し得る。図１３は論理フロー１３００の実施形態を示す。論理フロー１３００は、本明細書に記載の１または複数の実施形態により実行される一部または全部の動作を示し得る。例えば、ハードニングされたシステム１１０１（またはそのコンポーネント）は、図１２におけるブロック１２６０などにおいて、推論モデルの不正使用（例えば、モデル窃盗）のインジケーションを出力するか判定するため、論理フロー１３００における動作を実行し得る。
論理フロー１３００が始まり得るブロック１３１０「カウンタを上げる」において、システム１１０１はカウンタを上げ得る。判定ブロック１３２０「分類閾値を超えた？」に進むと、システム１１０１は、分類閾値１１２３を超えたか判定し得る（例えば、カウンタなどによる）。判定ブロック１３２０から、論理フロー１３００は、判定ブロック１３３０または判定ブロック１３４０のいずれかに進み得る。論理フロー１３００は、分類閾値１１２３を超えたという判定に基づいて、判定ブロック１３２０からブロック１３３０に進み得る。一方、論理フロー１３００は、分類閾値１１２３を超えていないという判定に基づいて、判定ブロック１３２０からブロック１３４０に進み得る。
ブロック１３３０「モデルが不正使用というインジケーションを提供」において、システム１１０１は、モデルが不正使用されている（例えば、モデルが盗まれたなど）というインジケーションを提供し得る。例えば、命令１１２８の実行において、回路１１１０は、モデル１１２２がモデル１０２２と同じであり得る（例えば、モデル１１２２が盗まれたということなどを示す）というインジケーションを含む情報要素を、報告機関（など）に送信し得る。
判定ブロック１３４０「カウンタリセット必要？」において、システム１１０１は、カウンタをリセット（例えば、ブロック１３１０から）する必要があるかを判定し得る。例えば、いくつかの実装において、カウンタは、ある期間後にリセットされ得る。別の例では、カウンタは、ある期間後に下げられ得る。別の例では、カウンタは、ある数の入力が処理されると下げられ得る。
判定ブロック１３４０から、論理フロー１３００は、ブロック１３５０に進むか、終わり得る。論理フロー１３００は、カウンタをリセットする必要があるという判定に基づいて、判定ブロック１３４０からブロック１３５０に進み得る。一方、論理フロー１３００は、カウンタをリセットする必要がないという判定に基づいて、判定ブロック１３４０から終わり得る。
ブロック１３５０「カウンタリセット」において、システム１１０１はカウンタをリセットし得る。例えば、カウンタは、ゼロに下げるまたはリセットするなどされ得る。
モデル窃盗を防止するためのハードウェア依存入力変換
モデル窃盗を防止するためのハードウェア依存入力変換
図１４は、本開示に応じて実施され得る、ハードニングされたシステム１４０１の例を示す。ハードニングされたシステム１４０１は、回路１４１０と、メモリ１４２０と、インタフェース１４３０と、入力デバイス１４５２と、信頼できる実行環境（ＴＥＥ）１４７０とを備える。メモリ１４２０は、変換された入力データ１４２５、出力データ１４２６、プラットフォーム構成１４２７、および命令１４２８を格納する。ＴＥＥ１４７０は、推論モデル１４２２、プリロードされたプラットフォーム構成１４７２、リカバリされた入力データ１４７４、およびＴＥＥ命令１４７８を格納する。概して、ＴＥＥ１４７０は、システム１４０１内の任意の信頼できる実行エンクレーブまたはパーティションであり得る。例えば、ＴＥＥ１４７０は、回路１４１０内の信頼できる実行パーティションであり得る。別の例として、ＴＥＥ１４７０は、回路１４１０およびメモリ１４２０から、信頼できるように分離した、独自の回路およびメモリ（不図示）を有し得る。概して、ＴＥＥ１４７０は、プリロードされたプラットフォーム構成１４７２の信頼性とともに、（例えば、推論モデル１４２２のＴＥＥ命令１４７８の）隔離的実行などの安全性機能を提供し得る。
上述のように、訓練された推論モデル（例えば、推論モデル１４２２）は極めて価値の高い知財財産であり、敵対的サードパーティより盗まれ、別の製品に（競合製品など）に使用されてしまうことが不可避になり得る。したがって、推論モデルの不適切または不正使用を検出する機能が望ましい。
本開示は、コンピューティングプラットフォーム（例えば、入力データが収集されるプラットフォーム、推論モデルが実行されるプラットフォームなど）の特徴に基づいて、入力データを変換（例えば、符号化）するように構成されたシステム１４０１を提供する。入力を推論モデルに提供する前に、システム１４０１は、予め構成されたプラットフォーム特徴に基づいて、入力データをリカバリ（例えば、デコード）するように構成される。なお、入力リカバリは、ＴＥＥ１４７０において、機密状態に維持されるプリロードされたプラットフォーム構成１４７３に基づく。したがって、モデルが承認されていないプラットフォーム上で実行されている状況では、予め構成されたプラットフォーム特徴は、正しくデコードされず、入力データおよび入力が、推論モデルに対する入力として使用不能となる。即ち、出力が無意味となる。したがって、モデルの不正使用を断念させられ得る。
動作時、システム１４０１の回路１４１０は、命令１４２８を実行して、入力データ１４２４を受信し得る。例えば、回路１４１０は、入力デバイス１４５２から入力データ１４２４を受信し得る。別の例として、回路１４１０は、インタフェース１４３０を介して、別のコンピューティングデバイスから入力データ１４２４を受信し得る。命令１４２８の実行において、回路１４１０は、プラットフォーム構成１４２７を生成し得る。いくつかの例において、プラットフォーム構成１４２７は、システム１４０１の一意識別特徴であり得る。例えば、プラットフォーム構成１４２７は、システム１４０１に関連付けられた汎用一意識別子（ＵＵＩＤ）のインジケーションを含み得る。別の例として、プラットフォーム構成１４２７は、回路１４１０、メモリ１４２０、インタフェース１４３０、入力デバイス１４５２などに対する一意識別子のインジケーションを含み得る。いくつかの例において、プラットフォーム構成１４２７は、識別子（例えば、回路１４１０および入力デバイス１４５２に対するＵＵＩＤなど）の組み合わせのインジケーションを含み得る。
命令１４２８の実行において、回路１４１０は入力データ１４２４およびプラットフォーム構成１４２７から、変換された入力データ１４２５を生成し得る。例えば、命令１４２８の実行において、回路１４１０は、プラットフォーム構成１４２７を使用して、入力データ１４２４を符号化、暗号化、難読化などできる。単純な例として、回路１４１０は、プラットフォーム構成１４２７において示されたＵＵＩＤを暗号化鍵として使用して入力データ１４２５を暗号化できる。特に損失のない方式である、様々な符号化方式、暗号化方式のうちの任意のものが実施され得る。
ＴＥＥ命令１４７８の実行において、ＴＥＥ１４７０は、変換された入力データ１４２５およびプリロードされたプラットフォーム構成１４７２からリカバリされた入力データ１４７４を生成し得る。いくつかの例において、プリロードされたプラットフォーム構成１４７２は、システム（例えば、システム１４０１など）の一意識別特徴のインジケーションを含み得る。ＴＥＥ１４７０は、プリロードされたプラットフォーム構成１４７２により構成され得る（例えば、１４０１の提供時など）。したがって、動作時、ＴＥＥ１７０は、プリロードされたプラットフォーム構成１４７２および変換された入力データ１４２５からリカバリされた入力データ１４７４を生成し得る。単純な例として、ＴＥＥ１７０は、プリロードされたプラットフォーム構成１４７２を復号鍵として使用して、変換された入力データ１４２５を復号できる。システムが動作しているプラットフォームがプリロードされたプラットフォーム構成データに一致するものとすると、リカバリされた入力データ１４７４は入力データ１４２４に一致するはずである。言い換えると、システム１４０１がプリロードされたプラットフォーム構成１４７２に一致する構成情報（例えば、ＵＵＩＤなど）を有すると、入力データ１４２４の変換（例えば、暗号化）およびリカバリ（例えば、復号）は、入力データ１４２４の元の状態への復元に帰結する。
命令１４７８の実行において、ＴＥＥ１４７０は、推論モデル１４２２を実行して、リカバリされた出力データ１４７４から出力データ１４２６を生成し得る。上述のように、プラットフォーム構成１４２７がプリロードされたプラットフォーム構成１４７２に一致しなければ、リカバリされた入力データ１４７４は入力データ１４２４に対応せず、出力データ１４２６は無意味になる。したがって、推論モデル１４２２の不正使用が断念させられる。
いくつかの例では、変換された入力データは、入力デバイスから直接出力され得る。図１５は、図１４のシステム１４０１から入力デバイス１４５２として実装され得る入力デバイス１５５２の実施形態を示す。入力デバイス１５５２は、入力取得回路１５９１と、入力変換回路１５９２と、入力データバッファ１５９３とを備え得る。入力取得回路１５９１は、入力データ１５２４を取得するように構成された回路であり得る。より具体的には、入力取得回路１５９１は、例えば、マイク、画像センサ、ＧＰＳ、または熱センサなどの入力のインジケーションを取得し得る。入力変換回路１５９２は、入力取得回路１５９１により生成された取得された入力のインジケーションを変換するように構成された回路を含み得る。いくつかの例では、入力変換回路１５９２は、例えば入力デバイス１５５２に関連付けられたＵＵＩＤなど、入力デバイス１５５２の特徴に基づき、取得された入力を符号化するように構成され得る。いくつかの例では、入力変換回路１５９２は、例えばワンタイムプログラマブルヒューズ１５９４に格納された情報など、入力デバイス１５５２にハードコーディングされたデータの特徴に基づき、取得された入力を符号化するように構成され得る。入力データバッファ１５９３は、データを格納するように構成された回路を含み得る。例えば、入力データバッファ１５９３は変換された入力データ１５２５を格納し得る。
図１６は、本明細書に記載の入力データのハードウェア変換を介してモデルを保護する、ハードニングされたシステム（例えば、ハードニングされたシステム１４０１など）により実施され得る例示的技術１６００を示す。なお、分かりやすさおよび明確さのために、技術１６００を図１４のハードニングされたシステム１４０１を参照して説明する。しかし、これは限定を意図したものではない。推論モデル１４２２の窃盗（例えば、不正または不許可のプラットフォームでの実行）の防止は、変換された入力データ１４２５のリカバリに利用されたプリロードされたプラットフォーム構成１４７２を、信頼性を持って維持することで促進される（例えばＴＥＥ１４７０を介するなどして）。
技術１６００は円１６．１から開始し得る。円１６．１において、ハードニングされたシステム１４０１は入力データ１４２４を受信し得る。例えば、回路１４１０は、入力デバイス１４５２から入力データ１４２４を受信し得る。円１６．２において、回路１４１０は入力データ１４２４およびプラットフォーム構成１４２７から、変換された入力データ１４２５を生成し得る。より具体的には、入力データ１４２４は、変換された入力データ１４２５を生成するように、プラットフォーム構成１４２７に基づいて変換され得る。
円１６．３において、ＴＥＥ１４７０は、プリロードされたプラットフォーム構成１４７２に基づいて、変換された入力データ１４２５から入力データをリカバリし得る。より具体的には、変換された入力データ１４２５は、リカバリされた入力データ１４７４を生成するように、プリロードされたプラットフォーム構成１４７２を使用してデコードされ得る。円１６．４において、出力データは、リカバリされた入力データ１４７４に基づいて、推論モデル１４２２を使用して生成され得る。
図１７は、論理フロー１７００の実施形態を示す。論理フロー１７００は、本明細書に記載の１または複数の実施形態により実行される一部または全部の動作を示し得る。例えば、ハードニングされたシステム１４０１（またはそのコンポーネント）は、プラットフォームのハードウェア特徴に基づいて、入力データを変換およびリカバリすることで、推論モデルの不正使用を断念させるように論理フロー１７００における動作を実行し得る。
論理フロー１７００が始まり得るブロック１７１０「入力データ受信」において、システム１４０１は入力データ１４２４を受信し得る。例えば、ハードニングされたシステム１４０１は、インタフェース１４３０などを介して、入力デバイス１４５２から入力データ１４２４を受信し得る。ブロック１７２０「プラットフォーム構成決定」に進むと、システム１４０１は、システム１４０１のハードウェアのインジケーションを含む、プラットフォーム構成１４２７を決定し得る。例えば、回路１４１０、は、命令１４２８の実行において、システム１４０１のコンポーネント（例えば、回路１４１０、メモリ１４２０、インタフェース１４３０、入力デバイス１４５２など）に対するＵＵＩＤを決定し、決定したＵＵＩＤ（１または複数）をプラットフォーム構成１４２７として設定し得る。
ブロック１７３０「プラットフォーム構成に基づき入力データを変換」に進むと、システム１４０１は、構成データ１４２７に基づいて入力データ１４２４を変換し得る。例えば、回路１４１０は、命令１４２８の実行において、プラットフォーム構成１４２７を変換の鍵として使用して、入力データ１４２４を変換（例えば、符号化、暗号化など）することで、変換された入力データ１４２５を生成し得る。ブロック１７４０「プリロードされたプラットフォーム構成および変換された入力データに基づき、入力データをリカバリ」に進むと、システム１４０１は、変換された入力データ１４２５およびプリロードされたプラットフォーム構成１４７２から入力データ１４２４をリカバリできる。なお、システム１４０１は安全に入力データ１４２４をリカバリできる。即ち、プリロードされたプラットフォーム構成１４７２は、安全に格納され得（例えば、ＴＥＥ１４７０などに）、リカバリされた入力データ１４７４は安全な処理（例えば、ＴＥＥ１４７０などにおける）を介して生成され得る。例えば、ＴＥＥ１４７０は、命令１４７８の実行において、プリロードされたプラットフォーム構成１４７２をリカバリの鍵として利用して、変換された入力データ１４２５をリカバリ（例えば、復号、デコードなど）することで、リカバリされた入力データ１４７４を生成し得る。
ブロック１７５０「リカバリされた入力データに基づいて、推論モデルを介して出力を生成」に進むと、システム１４０１は、推論モデル１４２２を介して、リカバリされた入力データ１４７４から出力データ１４２６を生成し得る。例えば、ＴＥＥ１４７０は、推論モデル１４２２を実行して、リカバリされた入力データ１４７４から出力データ１４２６を生成し得る。上述のように、プリロードされたプラットフォーム構成１４７２（例えば、プリロードされたＵＵＩＤなど）が、ブロック１７２０で決定されたプラットフォーム構成（例えば、システム１４０１のＵＵＩＤ）に一致すると、リカバリされた入力データ１４７４は元の入力データ１４２４に一致する。一方、プリロードされたプラットフォーム構成１４７２（例えば、プリロードされたＵＵＩＤなど）が、ブロック１７２０で決定されたプラットフォーム構成（例えば、システム１４０１のＵＵＩＤ）に一致しないと、リカバリされた入力データ１４７４は元の入力データ１４２４に一致しない。したがって、出力データ１４２６は使用不能または無意味となり得、推論モデル１４２２の不正使用、または不正なハードウェアによる使用が断念させられる。
セクションＩＩ－敵対的入力
入力サニタイゼーションオフロード
セクションＩＩ－敵対的入力
入力サニタイゼーションオフロード
図１８は、サーバ１８０１およびクライアントシステム１８０３を備える、例示的推論環境１８００を示す。概して、サーバ１８０１およびクライアントシステム１８０３は、ワイドエリアネットワーク、ローカルエリアネットワーク、またはインターネットなどの、任意の適切なインターコネクトを介して結合され得る。サーバ１８０１は、回路１８１０－１と、メモリ１８２０－１と、インタフェース１８３０－１とを備える。メモリ１８２０－１は、推論モデル１８２２、出力データ１８２６、命令１８２８－１、サニタイゼーションペイロード１８２３、およびサニタイズされた入力データ１８２５を格納する。クライアントシステム１８０３は、回路１８１０－３と、メモリ１８２０－３と、インタフェース１８３０－３と入力デバイス１８５２とを備える。メモリ１８２０－３は、生入力データ１８２４、命令１８２８－３、サニタイゼーションペイロード１８２３、およびサニタイズされた入力データ１８２５を格納する。
多くの場合、推論システムは、敵対的入力、または特定の推論を呼び出すように構成または設計された入力の提供により攻撃され得る。本開示は、これ例では、サーバからクライアントへのサニタイゼーションのオフロードを提供する。概して、クライアントシステム１８０３は、生入力データ１８２４に対する入力サニタイゼーション処理のインジケーションを含む、サニタイゼーションペイロード１８２３を受信し得る。クライアントシステム１８０３は、サニタイゼーションペイロード１８２３および生入力データ１８２４に基づいて、サニタイズされた入力データ１８２５を生成し得る。例えば、サニタイゼーションペイロード１８２３は、敵対的入力軽減を図るため、生入力データ１８２４をサニタイズできる、デコード、フィルタリング、および符号化方式のインジケーションを含み得る。クライアントシステム１８０３は、推論モデル１８２２とともに利用されるように、サーバ１８０１にサニタイズされた入力データ１８２５を提供し得る。
いくつかの例において、サニタイゼーションペイロードは、生入力データ１８２４をサニタイズする、デコード技術、フィルタリング技術、および符号化技術などの、サニタイゼーションプロトコルのインジケーションを含み得る。いくつかの例において、サニタイゼーションペイロード１８２３は、信頼性レベル、または生入力データ１８２４の処理、および／またはサニタイズされた入力データ１８２５およびサニタイゼーションペイロード１８２３の取り扱いに関して実施される暗号化のインジケーションを含み得る。
具体例として、回路１８１０－１は、命令１８２８－１を実行して、サニタイゼーションペイロード１８２３をクライアントシステム１８０３に送信し得る。回路１８１０－３は、命令１８２８－３を実行して、サーバ１８０１からサニタイゼーションペイロード１８２３を受信し得る。例えば、サニタイゼーションペイロード１８２３は、インタフェース１８３０－１および１８３０－３を介して通信され得る。
回路１８１０－３は、命令１８２８－３を実行して、例えば、入力デバイス１８５２から、生入力データ１８２４を受信し得る。回路１８１０－３は、命令１８２８－３を実行して、サニタイゼーションペイロード１８２３に基づいて、生入力データ１８２４をサニタイズし得る。例えば、回路１８１０－３は、命令１８２８－３を実行して、生入力データ１８２４をデコード、フィルタリング、および符号化することで、サニタイズされた入力データ１８２５を生成し得る。別の例として、回路１８１０－３は、命令１８２８－３を実行して、生入力データ１８２４をトランスコードすることで、サニタイズされた入力データ１８２５を生成し得る（例えば、デコードおよび別のフォーマットに符号化、デコードおよび同じフォーマットに再符号化など）。回路１８１０－３は、命令１８２８－３を実行して、サニタイズされた入力データ１８２５をサーバ１８０１に送信し得る。回路１８１０－１は、命令１８２８－１を実行して、サニタイズされた入力データ１８２５を受信し得る。例えば、サニタイズされた入力データ１８２５は、インタフェース１８３０－１および１８３０－３を介して通信され得る。回路１８１０－１は、推論モデル１８２２を実行して、サニタイズされた入力データ１８２５から出力データ１８２６を生成し得る。
いくつかの例では、クライアントシステム１８０３は、入力データをサニタイズするように構成された信頼できる実行環境（ＴＥＥ）が設けられ得る。例えば、図１９は、サーバ１８０１およびクライアントシステム１９０３を備える、例示的推論環境１９００を示す。クライアントシステム１９０３は、クライアントシステム１９０３がＴＥＥ１９７０を含む以外、図１８のクライアントシステム１８０１と同様である。概して、ＴＥＥ１９７０は、クライアントシステム１９０３内の任意の信頼できる実行エンクレーブまたはパーティションであり得る。例えば、ＴＥＥ１９７０は、回路１８１０－３内の信頼できる実行パーティションであり得る。別の例として、ＴＥＥ１９７０は、回路１８１０－３およびメモリ１８２０－３から、信頼できるように分離した、独自の回路およびメモリ（不図示）を有し得る。概して、ＴＥＥ１９７０は、サニタイゼーションペイロード１８２３の信頼性とともに、隔離的実行などの安全性機能を提供し得る（例えば、サニタイズされた入力データ１８２５の生成）。
図２０は、サーバ１８０１、クライアントシステム１８０３、およびエッジデバイス２００５を備える、例示的推論環境２０００を示す。概して、エッジデバイス２００５は、サーバ１８０１またはサーバ１８０１に結合されたネットワーク内へのエントリポイントを提供する任意のデバイスであり得る。例えば、エッジデバイス２００５は、ルータ、統合アクセスデバイス（ＩＡＤ）、マルチプレクサ、セルノード、基地局などであり得る。推論環境２０００は、推論環境１８００および１９００と同様に、サーバ１８０１から生入力のサニタイゼーションをオフロードする。ただし、この例では、エッジデバイス２００５は、サニタイズされた入力データ１８２５を生成する。
エッジデバイス２００５は、回路１８１０－５と、メモリ１８２０－５と、インタフェース１８３０－５とを備える。メモリ１８２０－５は、生入力データ１８２４、命令１８２８－５、サニタイゼーションペイロード１８２３、およびサニタイズされた入力データ１８２５を格納する。動作時、エッジデバイス２００５は、クライアントシステム１８０３から生入力データ１８２４を受信し得、生入力データ１８２４をサニタイズし得、サニタイズされた入力データ１８２５をサーバ１８０１に提供し得る。
回路１８１０－１は、命令１８２８－１を実行して、サニタイゼーションペイロード１８２３をエッジデバイス２００５に送信し得る。回路１８１０－５は、命令１８２８－３を実行して、サーバ１８０１からサニタイゼーションペイロード１８２３を受信し得る。例えば、サニタイゼーションペイロード１８２３は、インタフェース１８３０－１および１８３０－３を介して通信され得る。
回路１８１０－３は、命令１８２８－３を実行して、例えば、入力デバイス１８５２から、生入力データ１８２４を受信し得る。回路１８１０－３は、命令１８２８－３を実行して、例えば、エッジデバイス２００５から、生入力データ１８２４を受信し得る。回路１８１０－５は、命令１８２８－５を実行して生入力データ１８２４を受信し得る。例えば、生入力データ１８２４は、インタフェース１８３０－３および１８３０－５を介して通信され得る。
回路１８１０－５は、命令１８２８－５を実行して、サニタイゼーションペイロード１８２３に基づいて、サニタイズ生入力データ１８２４を実行し得る。例えば、回路１８１０－５は、命令１８２８－５を実行して、生入力データ１８２４をデコード、フィルタリング、および符号化して、サニタイズされた入力データ１８２５を生成し得る。回路１８１０－５は、命令１８２８－５を実行して、サニタイズされた入力データ１８２５をサーバ１８０１に送信し得る。回路１８１０－１は、命令１８２８－１を実行して、サニタイズされた入力データ１８２５を受信し得る。例えば、サニタイズされた入力データ１８２５は、インタフェース１８３０－１および１８３０－５を介して通信され得る。回路１８１０－１は、推論モデル１８２２を実行して、サニタイズされた入力データ１８２５から出力データ１８２６を生成し得る。
図示されていないが、重要なこととして、エッジデバイス２００５は、例えば図１９のエッジデバイス１９０３と同様に、サニタイズされた入力データ１８２５がその内部で生成され得るＴＥＥを含み得ることに言及しておく。
図２１は、本明細書で詳述するように入力をサニタイズするように推論環境（例えば、推論環境１８００、推論環境１９００、または推論環境２０００など）内で実施され得る例示的技術２１００を示す。なお、分かりやすさおよび明確さのために、技術２１００を図２０のハードニングされた推論環境２０００を参照して説明する。しかし、これは限定を意図したものではない。
技術２１００は円２１．１から開始し得る。円２１．１において、ハードニングされたシステム２００１は生入力データ１８２４を受信し得る。例えば、クライアントシステム１８０３は、入力デバイス１８５２から生入力データ１８２４を受信し得る。なお、本明細書に記載のように、生入力データ１８２４の複数の異なるインスタンスが、受信およびサニタイズされ得る。例えば、本明細書に記載のように、クライアントシステム１８０３は、円２１．１で、繰り返し生入力データ１８２４を受信し、生入力データ１８２４をサニタイズし得る。
円２１．２において、サーバ１８０１は、クライアントシステム１８０３の計算性能を判定するため、クライアントシステム１８０３にクエリし得る。円２１．３において、クライアントシステム１８０３は、計算性能のインジケーションをサーバ１８０１に送信し得る。概して、サーバ１８０１は、クライアントシステム１８０３のサニタイゼーション性能を判定するため、クライアントシステム１８０３にクエリし得る。いくつかの例において、サーバ１８０１は、クライアントシステム１８０３が、サニタイゼーションペイロード１８２３（例えば、処理、信頼レベル、メモリなど）の最低計算要件を満たすかを判定するため、クライアントシステム１８０３にクエリし得る。円２１．４において、サーバ１８０１およびクライアントシステム１８０３は信頼できる接続を構築し得る。例えば、サーバ１８０１およびクライアントシステム１８０３は、信頼できるおよび／または暗号化された通信チャネルを構築するため、クレデンシャル（例えば、暗号化、検証など）を交換し得る。
円２１．５において、サーバ１８０１は、サニタイゼーションペイロードをクライアントシステム１８０３に送信し得る。いくつかの例において、サニタイゼーションペイロードは、生入力データ１８２４をサニタイズする、デコード技術、フィルタリング技術、および符号化技術などの、サニタイゼーションプロトコルのインジケーションを含み得る。円２１．６において、クライアントシステム１８０３は、サニタイゼーションペイロード１８２３に基づいて、生入力データ１８２４からサニタイズされた入力データ１８２５を生成し得る。例えば、クライアントシステム１８０３は、生入力データ１８２４をデコード、フィルタリング、および符号化し得る。
円２１．７において、クライアントシステム１８０３はサニタイズされた入力データ１８２５をサーバ１８０１に送信し得る。さらに、円２１．７において、サーバ１８０１は、クライアントシステム１８０３のステータス（例えば、セキュリティポリシー、計算資源など）を監視し得る。さらに、円２１．７において、サーバ１８０１は、サニタイゼーションペイロード１８２３を非活性化、および／またはクライアントシステム１８０３から除去し得る。
敵対的攻撃を発見するための隠れクラス
敵対的攻撃を発見するための隠れクラス
図２２は、例示的推論モデルに対するあり得る入力に対してプロットされた、潜在出力を表すグラフ２２００を示す。潜在出力は様々なクラスを含むものとして示される。具体的に、潜在出力は可視クラス２２１０－１、２２１０－２、２２１０－３、および２２１０－３と、隠れクラス２２２０－１、２２２０－２、とを含む２２２０－３。さらに、潜在出力はあり得る入力［２２０１、２２０３］に対してプロットされる。なお、あり得る入力２２０１および２２０３は、明確に提示するために二次元（２Ｄ）的に示されている。しかし実際には、推論モデルのドメインは多次元であり得る。
概して、本開示は、推論モデルのドメインが、可視クラス（例えば、クラス２２１０）と隠れクラス（２２２０）との両方を含み得るものとする。隠れクラスは、以下により詳述する、モデルに対するあり得るプロービング攻撃を検出するように構成される。プロービングは推論システムに対するセキュリティリスクの１つである。推論モデルは、システムを「騙す」入力を特定することを目的として、入力摂動によりプロービングされ得、または攻撃され得る。より具体的には、攻撃者は、画像入力内で使用される既知のオブジェクトの装飾、ノイズ注入、あるいはその他方法で推論モデルに対する入力を変換し得る。これら改変または変換された入力が、誤分類につながる入力の生成のために、推論モデルをプロービングするのに使用され得る。例えば、銃と蛇口の画像をモーフィングすれば、推論エンジンは銃の画像を蛇口として誤分類し得る。
別の例として、プロービングは、敵対的パーティが、モデルがサポートする機能を把握していない状況で生じ得る。そのような場合、敵対的パーティは、モデルの機能について理解することを意図して、人工的に生成された入力または高ノイズ入力を適用し得る。そのような入力は、典型的には従来の、または想定された入力では活性化されないモデルのエリアを活性化する、または刺激することが多い。
当該推論システムは、敵対的摂動をフィルタで除去するため、例えば入力を前処理して入力のサニタイズを試みる。しかし、そのような技術は必ずしも信頼できるものではない。さらに、そのような前処理に対する計算要件は、推論システムに対する必要な電力および計算資源要件を増加する。したがって、前処理は必ずしもスケーラブルではない。
図２３Ａは、推論モデルを訓練する例示的システム２３００を示す。システム２３００は、回路２３１０と、メモリ２３２０とを備える。メモリ２３２０は、推論モデル２３２２、命令２３２８、テスト／訓練データセット２３６０、および出力データ２３２６を格納する。テスト／訓練データセット２３６０は、テストデータ２３６２と、訓練データ２３６４との両方を含む。テストデータ２３６２および訓練データ２３６４は、例えば図３の技術３００を使用して、推論モデル２３２２を「訓練」するのに使用可能である。
図２３Ｂにテスト／訓練データセット２３６０の例を示す。同図に簡潔に触れると、テスト／訓練データセット２３６０は、入力２３６１と、想定出力２３６３とを含む。概して、想定入力は、入力値（１または複数）２３６１－ｎを含み得る。ｎは正の整数である。例えば、入力値（１または複数）２３６１－１、入力値（１または複数）２３６１－２、入力値（１または複数）２３６１－３、入力値（１または複数）２３６１－４、入力値（１または複数）２３６１－５から入力値（１または複数）２３６１－Ｎが、入力２３６１について示される。各入力値２３６１－ｎについて、関連付けられた想定出力２３６３が示される。想定出力２３６３はそれぞれ、可視クラス２２１０または隠れクラス２２２０のいずれかに対応する。これに対する入力の分類のために、推論モデル２３２２が訓練される。一例として、可視クラス２２１０は、ペン、ナイフ、剣、定規、ハサミ、および鉛筆など、推論システム２３２２により分類されるオブジェクトのカテゴリに対応し得る。隠れクラス２２２０は、例えばペンを模したナイフ、定規を模した剣など、潜在的なプロービングを示し得るカテゴリに対応し得る。いくつかの例では、隠れクラス２２２０は、入力として許可されていない、ブラックリストに登録されているオブジェクトに対応し得る。隠れクラスに関連付けられた入力値（１または複数）２３６１－ｎは、推論モデル２３２２の誤分類を引き起こす意図で変換された入力に対応し得る。例えば、銃の画像と、蛇口の画像のモーフィングにより、例示的入力値（１または複数）２３６１－ｎが生成され得る。
動作時、訓練された推論モデル２３２２は、入力が隠れクラスの１つの分類または推論を引き起こす場合に、ネットワークに対する潜在的プロービング攻撃を特定するのに使用され得る。推論モデル２３２２が実施される推論システムは、以下により詳細に説明する、いくつかの軽減動作をとるように構成され得る。
図２４は、ハードニングされたシステム２４０１およびサーバ２４０３を備える、例示的推論環境２４００を示す。概して、ハードニングされたシステム２４０１およびサーバ２４０３は、ワイドエリアネットワーク、ローカルエリアネットワーク、またはインターネットなどの、任意の適切なインターコネクトを介して結合され得る。ハードニングされたシステム２４０１は、回路２４１０－１と、メモリ２４２０－１と、インタフェース２４３０－１と、入力デバイス２２５２と、信頼できる実行環境（ＴＥＥ）２４７０とを備える。メモリ２４２０－１は、命令２４２８－１、入力データ２４２４、および難読化出力データ２４２７を格納する。ＴＥＥ２４７０は、信頼できる回路２４１１と、信頼できるメモリ２４２１とを含む。信頼できるメモリ２４２１は、ＴＥＥ命令２４２９、推論モデル２３２２、出力データ２４２６、難読化出力データ２４２７、フォレンジックデータ２４８２、およびプロービングアラート２４８４を格納する。
サーバ２４０３は、回路２４１０－３と、メモリ２４２０－３と、インタフェース２４３０－３とを備える。メモリ２４２０－３は、命令２４２８－３、フォレンジックデータ２４８２、プロービングアラート２４８４、およびフォレンジックデータベース２４８６を格納する。
概して、ハードニングされたシステム２４０１は、潜在的プロービング攻撃を検出するように動作する。回路２４１０－１は、命令２４２８－１を実行して、例えば、入力デバイス２４５２から、入力データ２４２４を受信し得る。ＴＥＥ回路２４１１は、入力データＤＤ３２４を使用して推論モデル２３２２を実行することで、出力データ２４２６を生成するように、ＴＥＥ命令２４２９を実行し得る。ＴＥＥ回路２４１１は、入力データ２４２４が潜在的なプロービング攻撃であり得るか、すなわち入力データＤＤ３２４が潜在的なプロービング攻撃に関連付けられるかを判定するようにＴＥＥ命令２４２９を実行し得る。例えば、ＴＥＥ回路２４１１は、ＴＥＥ命令２４２９の実行において、出力データ２４２６が隠れクラス２２２０に対応するか（例えば、その一つであるかなど）を判定できる。言い換えると、推論モデル２３２２が入力データ２４２４を隠れクラス２２２０の１つとして分類すると、ＴＥＥ回路２４１１は、入力データ２４２４がプロービング攻撃に関連付けられると判定し得る。
２４２４が潜在的なプロービング攻撃に関連付けられると判定されたことに応じて、ＴＥＥ回路２４１１は、ＴＥＥ命令２４２９の実行において、潜在的なプロービング攻撃についての情報を収集し、収集された情報をフォレンジックデータ２４８２として保存し得る。例えば、ＴＥＥ回路２４１１は、ＴＥＥ命令２４２９の実行において、入力デバイス２４５２、入力デバイス２４５２オペレータ、入力データ２４２４、および推論モデル２３２２についてのデータ（例えば、コンテキスト、履歴、状態など）のインジケーションを含む情報を、フォレンジックデータ２４８２として保存し得る。さらに、ＴＥＥ回路２４１１は、ＴＥＥ命令２４２９の実行において、プロービングアラート２４８４を生成し得、プロービングアラートのインジケーションを（例えば、インタフェース２４３０－１などを介して）、サーバ２４０３に送信し得る。プロービングアラート２４８４は、システム２４０１に対して潜在的なプロービング攻撃が始まったこと、そしてそのフォレンジックデータ２４８２が保存されたことのインジケーションを含み得る。さらに、ＴＥＥ回路２４１１は、ＴＥＥ命令２４２９の実行において、フォレンジックデータ２４８２をサーバ２４０３に提供できる。
いくつかの実装において、ハードニングされたシステム２４０１は、プロービングが検出され得たという事実を隠すため、出力データ２４２６を難読化し得る。例えば、ＴＥＥ回路２４１１は、ＴＥＥ命令２４２９の実行において、出力データ２４２６から、可視クラス２２１０のみを含み得る難読化出力データ２４２７を生成し得る。例えば、ＴＥＥ回路２４１１は、ＴＥＥ命令２４２９の実行において、出力データ２４２６の隠れクラス２２２０に関連付けられた可視クラス２２１０のインジケーションを含む難読化出力データ２４２７を生成し得る。上述の銃と蛇口の例を使用すると、出力データ２４２６は、銃を蛇口として騙す、または誤分類するように、銃を改変した画像である、入力データ２４２４に対応する隠れ分類２２２０のインジケーションを含み得る。しかし、難読化出力データ２４２７は、入力データ２４２４の蛇口としての分類を示し得る。例えば、難読化出力データ２４２７は、プロービングが検出されたことを攻撃者に通知しないように生成され得る。
回路２４１０－３は、命令２４２８－３を実行して、プロービングアラート２４８２を受信し得る。プロービングアラート２４８２を受信したことに応じて、回路２４１０－３は、命令２４２８－３の実行において、ハードニングされたシステム２４０１からフォレンジックデータ２４８２を受信し得、フォレンジックデータ２４８２をフォレンジックデータベース２４８６に追加し得る。フォレンジックデータベース２４８６は、例えばさらなる誤分類を防止するように使用され得る。
図２５は例示的論理フロー２５００の実施形態を示す。論理フロー２５００は、本明細書に記載の１または複数の実施形態により実行される一部または全部の動作を示し得る。例えば、ハードニングされたシステム２４０１（またはそのコンポーネント）は、隠れクラスを使用して潜在的なプロービングを検出するために、論理フロー２５００における動作を実行し得る。
論理フロー２５００が始まり得るブロック２５１０「入力データ受信」において、システム２４０１は入力データ２４２４を受信し得る。例えば、回路２４１０－１は、命令２４２８－１の実行において、入力データ２４２４を受信し得る（例えば、入力デバイス２４５２などから）。ブロック２５２０「受信した入力データに基づいて、推論モデルを介して出力データを生成」に進むと、ハードニングされたシステム２４０１は、推論モデル２３２２および入力データ２４２４から出力データ２４２６を生成し得る。例えば、ＴＥＥ回路２４１１は、命令２４２９の実行において、入力データ２４２４に推論モデル２３２２を実行することで、出力データ２４２６を生成し得る。
判定ブロック２５３０「出力データが隠れクラスに関連付けられる？」に進むと、ハードニングされたシステム２４０１は、出力データ２４２６が隠れクラス２２２０に関連付けられるか、または言い換えると、推論システム２３２２が入力データ２４２４を隠れクラス２２２０として分類するかを判定し得る。判定ブロック２５３０から、論理フロー２５００は、ブロック２５４０またはブロック２５５０のいずれかに進み得る。論理フロー２５００は、出力データ２４２６が隠れクラス２２２０に関連付けられないという判定に基づいて、判定ブロック２５３０からブロック２５４０に進み得る。一方、論理フロー２５００は出力データ２４２６が隠れクラス２２２０に関連付けられるという判定に基づいて、判定ブロック２５３０からブロック２５５０に進み得る。
ブロック２５４０「生成された出力を提供」において、ハードニングされたシステム２４０１は、出力データ２４２６を、出力データコンシューマ（例えば、出力デバイス、別のコンピューティングデバイスなど）に提供し得る。例えば、回路２４１０－１は、命令２４２８－１の実行において、出力データコンシューマに出力データ２４２６を提供し得る。ブロック２５４０から、論理フロー２５００は終わり得るか、新たな入力を受信したことに基づいて繰り返され得る。
ブロック２５５０「潜在的プロ―ビングを監視システムにアラート」において、ハードニングされたシステム２４０１は、潜在的なプロービング攻撃について監視システム（例えば、サーバ２４０３）にアラートを発し得る。例えば、回路２４１０－１は、命令２４２８－１の実行において、プロービングアラート２４８４をサーバ２４０３に提供し得る。ブロック２５６０「フォレンジックデータ収集」に進むと、ハードニングされたシステム２４０１は、潜在的なプロービング攻撃に関連付けられたフォレンジックデータを収集し得る。例えば、ＴＥＥ回路２４１１は、ＴＥＥ命令２４２９の実行において、潜在的なプロービング攻撃に関連付けられた情報を収集し、収集された情報のインジケーションをフォレンジックデータ２４８２として保存できる。ブロック２５７０「フォレンジックデータを監視システムに提供」に進むと、ハードニングされたシステム２４０１は、フォレンジックデータ２４８２を監視システム（例えば、サーバ２４０３）に提供し得る。例えば、ＴＥＥ回路２４１１は、ＴＥＥ命令２４２９の実行において、フォレンジックデータ２４８２をサーバ２４０３に提供し得る。
ブロック２５８０「出力データ難読化」に進むと、ハードニングされたシステム２４０１は、出力データ２４２６を難読化し得る。例えば、ＴＥＥ回路２４１１は、ＴＥＥ命令２４２９の実行において、出力データ２４２６から、難読化出力データ２４２７を生成し得る。ブロック２５９０に進むと、出力データコンシューマ（例えば、出力デバイス、別のコンピューティングデバイスなど）に「難読化出力データが提供される」。例えば、回路２４１０－１は、命令２４２８－１の実行において、難読化出力データ２４２７を出力データコンシューマに提供し得る。ブロック２５９０から、論理フロー２５００は終わり得るか、新たな入力を受信したことに基づいて繰り返され得る。
入力歪曲による、敵対的攻撃に対する防御
入力歪曲による、敵対的攻撃に対する防御
上述のように、推論モデルは、複数の攻撃ベクトルによる敵対的攻撃に対して脆弱である。例えば、当該攻撃ベクトルの２つとして、推論モデルの窃盗および／または不正使用と、プロービングに対する脆弱性が挙げられる。したがって、プロービングを防止または断念させ、推論モデルの不適切または不正使用を検出する機能が望ましい。
概して、本開示は、難読化入力データで訓練した推論モデルを提供する。言い換えると、本開示は、難読化された、またはある程度歪みを含む入力データを正しく分類するように訓練された推論モデルを提供する。難読化または歪みは、処理（図２６から２８）を介して、または入力デバイス（図２９および３０）の物理的性質の結果として提供され得る。したがって、モデルが通常の入力データに対して、難読化された入力データを分類するように訓練されているため、敵対的摂動に基づく攻撃の効果が薄れるか、無効化され得る。
いくつかの例において、入力データは、予め選択された鍵などを利用して、入力データを符号化することを介して、難読化され得る（例えば、図２６および２７）。別の例では、フィルタ、入力歪曲デバイスなどを介して、入力デバイス（例えば、図２８）で入力データが難読化され得る。なお本明細書において、撮像デバイスと画像難読化の例が多用される。しかし、例えば音声、動画、その他データ種類または構造などの、任意の種類の入力データなどを難読化するように、本開示は実施され得る。
図２６は、本開示に応じて実施され得る、ハードニングされたシステム２６０１の例を示す。ハードニングされたシステム２６０１は、回路２６１０と、メモリ２６２０と、インタフェース２６３０と、入力デバイス２６５２と、信頼できる実行環境（ＴＥＥ）２６７０とを備える。メモリ２６２０は、推論モデル２６２２、入力データ２６２４、難読化入力データ２６２５、出力データ２６２６、および命令２６２８を格納する。ＴＥＥ２６７０は、難読化鍵２６７２およびＴＥＥ命令２６７８を格納する。概して、ＴＥＥ２６７０は、システム２６０１内の任意の信頼できる実行エンクレーブまたはパーティションであり得る。例えば、ＴＥＥ２６７０は、回路２６１０内の信頼できる実行パーティションであり得る。別の例として、ＴＥＥ２６７０は、回路２６１０およびメモリ２６２０から、信頼できるように分離した、独自の回路およびメモリ（不図示）を有し得る。概して、ＴＥＥ２６７０は、難読化鍵２６７２の信頼性とともに、（例えば、ＴＥＥ命令２６７８の）隔離的実行などの安全性機能を提供し得る。概して、システム２６０１は、安全に難読化入力データを（例えば、ＴＥＥ２６７０などを介して）生成し得る。当該難読化入力データは、当該難読化入力データを分類するように訓練された推論モデル（例えば、推論モデル２６２２）に対する入力データとして使用され得る。したがって、入力データを正しく難読化しなければ、推論モデルは使用不能になり得る。即ち、推論モデルは、難読化入力データで訓練したため、入力データそのものは正しく分類しない可能性がある。これにより、モデル窃盗、モデルの不正使用、またはプロービングが断念させられ得る。
動作時、システム２６０１の回路２６１０は、命令２６２８を実行して、入力データ２６２４を受信できる。例えば、回路２６１０は、入力デバイス２６５２から入力データ２６２４を受信し得る。別の例として、回路２６１０は、インタフェース２６３０を介して、別のコンピューティングデバイスから入力データ２６２４を受信し得る。
ＴＥＥ２６７０は、命令２６７８の実行において、入力データ２６２４および難読化鍵２６７２から難読化入力データ２６２５を生成し得る。例えば、ＴＥＥ２６７０は、命令２６７８の実行において、難読化鍵２６７２を使用して、入力データ２６２４を符号化、歪曲、またはその他方法で難読化し得る。
命令２６２８の実行において、回路２６１０は、推論モデル２６２２を実行して、難読化入力データ２６２５から出力データ２６２６を生成し得る。上述のように、推論モデル２６２２は、難読化入力データ（例えば、難読化入力データ２６２５など）で訓練されるため、推論モデル２６２２は、本明細書に記載のように正しく難読化された入力データ２６２４のみを正しく分類し得る。
いくつかの例では、入力デバイスは難読化入力データを出力するように構成され得る。図２７は、システム２７０１および入力デバイス２７５２を含む推論環境２７００を示す。入力デバイス２７５２は、回路２７１０－１と、メモリ２７２０－１と、インタフェース２７３０－１と、入力取得回路２７５１と、信頼できる実行環境（ＴＥＥ）２７７０とを備える。メモリ２７２０－１は、入力データ２７２４、難読化入力データ２７２５、および命令２７２８－１を格納する。ＴＥＥ２７７０は、難読化鍵２７７２およびＴＥＥ命令２７７８を格納する。概して、ＴＥＥ２７７０は、入力デバイス２７５２内の任意の信頼できる実行エンクレーブまたはパーティションであり得る。例えば、ＴＥＥ２７７０は、回路２７１０－１内の信頼できる実行パーティションであり得る。別の例として、ＴＥＥ２７７０は、回路２７１０－１およびメモリ２７２０－１から、信頼できるように分離した、独自の回路およびメモリ（不図示）を有し得る。概して、ＴＥＥ２７７０は、難読化鍵２７７２の信頼性とともに、（例えば、ＴＥＥ命令２７７８の）隔離的実行などの安全性機能を提供し得る。
入力デバイス２７５２は、入力データを取得し、入力データを難読化し、難読化入力データをシステム２７０１に提供するように構成され得る。概して、入力デバイス２７５２は、安全に難読化入力データを生成し得る（例えば、ＴＥＥ２７７０などを介して）。入力取得回路２７５１は、入力データ２７２４を取得するように構成された任意のハードウェアであり得る。例えば、入力取得回路２７５１は、画像センサ（例えば、ＣＭＯＳセンサなど）、マイク、ＧＰＳセンサ、熱センサ、または生体認証センサなどであり得る。いくつかの例において、回路２７１０－１は、命令２７２８－１を実行して、入力取得回路２７５１により生成された信号を受信し、これら信号のインジケーションを入力データ２７２４として格納し得る。
ＴＥＥ２７７０は、命令２７７８の実行において、入力データ２７２４および難読化鍵２７７２から、難読化入力データ２７２５を生成し得る。例えば、ＴＥＥ２７７０は、命令２７７８の実行において、難読化鍵２７７２を使用して、入力データ２７２４を符号化、歪曲、またはその他方法で難読化し得る。回路２７１０－１は、命令２７２８－１を実行して、難読化入力データ２７２５をシステム２７０１に送信し得る。例えば、回路２７１０－１は、制御信号をインタフェース２７３０－１に送信して、インタフェース２７３０－１に難読化入力データ２７２５のインジケーションを含む情報要素をシステム２７０１に送信させ得る（例えば、インタフェース２７３０－２などを介する）。
命令２７２８－２の実行において、回路２７１０－２は、推論モデル２７２２を実行して、難読化入力データ２７２５から出力データ２７２６を生成し得る。上述のように、推論モデル２７２２は、難読化入力データ（例えば、難読化入力データ２７２５など）で訓練されるため、推論モデル２７２２は、本明細書に記載のように正しく難読化された入力データ２７２４のみを正しく分類し得る。
図２８は論理フロー２８００の実施形態を示す。論理フロー２８００は、本明細書に記載の１または複数の実施形態により実行される一部または全部の動作を示し得る。例えば、ハードニングされたシステム２６０１（またはそのコンポーネント）は、入力データを難読化することで、敵対的攻撃を断念させるように、論理フロー２８００の動作を実行し得る。別の例として、推論環境システム２７００（またはそのコンポーネント）は、入力データを難読化することで、敵対的攻撃を断念させるように、論理フロー２８００の動作を実行し得る。論理フロー２８００を、明確さのために、ハードニングされたシステム２６０１を参照して説明する。ただし、例はこの文脈に限定されない。
論理フロー２８００が始まり得るブロック２８１０「入力データ受信」において、システム２６０１は入力データ２６２４を受信し得る。例えば、ハードニングされたシステム２６０１は、インタフェース２６３０などを介して、入力デバイス２６５２から入力データ２６２４を受信し得る。ブロック２８２０「入力データ難読化」に進むと、システム２６０１は、難読化鍵２６７２に基づいて入力データ２６２４を難読化し得る。なお、システム２６０１は安全に難読化入力データ２６２４をリカバリし得る。即ち、難読化鍵２６７２は、安全に格納され得（例えば、ＴＥＥ２６７０などに）、難読化入力データ２６２５は安全な処理（例えば、ＴＥＥ２６７０などにおける）を介して生成され得る。例えば、ＴＥＥ２６７０は、命令２６７８の実行において、難読化鍵２６７２を使用して入力データ２６２４を難読化することで、難読化入力データ２６２５を生成し得る。
ブロック２８３０「難読化入力データに基づいて、推論モデルを介して出力を生成」に進むと、システム２６０１は、推論モデル２６２２を介して、難読化入力データ２６２５から出力データ２６２６を生成し得る。例えば、回路２６１０は、推論モデル２６２２を実行して、難読化入力データ２６２５から出力データ２６２６を生成し得る。
いくつかの実装において、入力は、入力デバイスのハードウェア特性、物理特性により難読化され得る。例えば、画像を分類するように構成された推論システム用の入力デバイスとして、カメラが多くの場合使用される。そのような例では、カメラは、撮像画像を歪曲または難読化するためのレンズが設けられ得、難読化入力データを提供し得る。
図２９は、システム２９０１および入力デバイス２９５２を含む推論環境２９００を示す。入力デバイス２９５２は、回路２９１０－１と、メモリ２９２０－１と、インタフェース２９３０－１と、入力取得回路２９５１とを備える。メモリ２９２０－１は、難読化入力データ２９２５および命令２９２８－１を格納する。入力デバイス２９５２は、入力データを難読化し、難読化入力データをシステム２９０１に提供するように構成され得る。概して、入力デバイス２９５２は、入力を取得し、入力の取得の一部として、取得した入力を難読化し得る。例えば、入力デバイス２９５２がカメラであれば、カメラは難読化レンズ２９５３が設けられ、カメラが撮影した画像を歪曲するように構成され得る。回路２９１０－１は、命令２９２８－１を実行して、入力取得回路２９５１により生成された信号を受信し、これら信号のインジケーションを難読化入力データ２９２５として格納し得る。さらに、回路２９１０－１は命令２９２８－１を実行して、難読化入力データ２９２５をシステム２９０１に送信し得る。例えば、回路２９１０－１は、制御信号をインタフェース２９３０－１に送信して、インタフェース２９３０－１に難読化入力データ２９２５のインジケーションを含む情報要素をシステム２９０１に送信させ得る（例えば、インタフェース２９３０－２などを介する）。
命令２９２８－２の実行において、回路２９１０－２は、推論モデル２９２２を実行して、難読化入力データ２９２５から出力データ２９２６を生成し得る。上述のように、推論モデル２９２２は、難読化入力データ（例えば、難読化入力データ２９２５など）で訓練されるため、推論モデル２９２２は、撮像回路２９５１および難読化レンズ２９５３を介して取得された入力のみを正しく分類し得る。
図３０は、論理フロー３０００の実施形態を示す。論理フロー３０００は、本明細書に記載の１または複数の実施形態により実行される一部または全部の動作を示し得る。例えば、推論環境システム２９００（またはそのコンポーネント）は、入力データを難読化することで、敵対的攻撃を断念させるように、論理フロー３０００の動作を実行し得る。
論理フロー３０００が始まり得るブロック３０１０「入力デバイスから難読化入力データを受信」において、難読化入力データ２９２５が入力デバイスから受信され得る。入力データ２９５２は、画像データを取得し、取得処理の一部として取得した画像データを難読化するように構成され得る（例えば、難読化レンズ２９５３などを介して）。
ブロック３０２０「難読化入力データに基づいて、推論モデルを介して出力を生成」に進むと、システム２９０１は、推論モデル２９２２を介して、難読化入力データ２９２５から出力データ２９２６を生成し得る。例えば、回路２９１０－２は、推論モデル２９２２を実行して、難読化入力データ２９２５から出力データ２９２６を生成し得る。
ネットワーク活性化に基づく推論確率
ネットワーク活性化に基づく推論確率
上述のように、推論システムに対する潜在的な攻撃ベクトルは、誤分類を生じさせる目的で、推論システムにおける根本的な不正確さ（例えば、損失関数など）を利用したものである。そのような攻撃の一般的な例としては、分類システムに画像を誤分類させるために、画像内の選択された画素を操作することが挙げられる。具体例として、ＣＩＦＡＲ－１０（Ｃａｎａｄｉａｎ Ｉｎｓｔｉｔｕｔｅ ｆｏｒ Ａｄｖａｎｃｅｄ Ｒｅｓｅａｒｃｈ）分類システムに単一画素画像が提供されると、８０％の信頼性で単一画素画像が航空機として分類される。
本開示は、推論システム（例えば、ネットワーク活性化など）からの出力の生成に関する情報を利用して、推論信頼性スコアを生成するように構成されたハードニングされたシステムを提供する。信頼性スコアは、推論モデルそのものにより生成された信頼性確率を拡張または修正することで生成され得る。言い換えると、一部の推論モデル（例えば、畳み込みニューラルネットワークなど）は、推論と、信頼性確率とのインジケーションを含む出力を生成する。そのような例では、信頼性スコアは、推論モデルにより生成される信頼性確率を補助するように生成され得る。
図３１は、本開示に応じて実施され得る、ハードニングされたシステム３１０１の例を示す。ハードニングされたシステム３１０１は、回路３１１０と、メモリ３１２０と、インタフェース３１３０と、入力デバイス３１５２とを備える。メモリ３１２０は、推論拡張マップ３１２１、推論モデル３１２２、入力エリア影響マップ３１２３、入力データ３１２４、信頼性スコア３１２５、出力データ３１２６、信頼性ルール３１２７、および命令３１２８を格納する。
概して、ハードニングされたシステム３１０１は、出力データ３１２６に影響を及ぼした入力データ３１２４の部分またはコンポーネントのインジケーションに部分的に基づいて信頼性スコアを提供し得る。動作時、システム３１０１の回路３１１０は、命令３１２８を実行して、入力データ３１２４を受信し得る。例えば、回路３１１０は、入力デバイス３１５２から入力データ３１２４を受信し得る。別の例として、回路３１１０は、インタフェース３１３０を介して、別のコンピューティングデバイスから入力データ３１２４を受信し得る。
回路３１１０は、命令３１２８の実行において、入力データ３１２４からの出力データ３１２６の生成、推論拡張マップ３１２１の生成の両方のために、推論モデル３１２２を実行し得る。言い換えると、推論モデル３１２２は入力データ３１２４に基づいて、（１）出力データ３１２６および（２）推論拡張マップ３１２１を出力し得る。概して、推論拡張マップ３１２１は、推論時に実行される演算動作、実行時の推論モデル３１２２の状態（例えば、出力３１２６生成時）などについてのインジケーションまたは情報を含み得る。いくつかの例では、推論拡張マップ３１２１は、出力データ３１２６生成時の、モデル活性化マップまたはネットワーク活性化ヒートマップ（例えば、層活性化、ニューロン活性化などのインジケーションを含む）を含み得る。いくつかの例では、推論拡張マップ３１２１は、複数の層を含み得る（例えば、各層が、推論モデル３１２２などのそれぞれの層のニューロン活性化に対応する）。
命令３１２８の実行において、回路３１１０は、入力エリア影響マップ３１２３を生成し得る。例えば、回路３１１０は、推論拡張マップ３１２１に基づいて、入力データ３１２４をマスクし得る。具体例として、回路３１１０は、推論モデル３１２２の活性化を担っていなかった、入力データ３１２４のエリア、部分、またはコンポーネントを特定して、出力データ３１２６を生成し得る。具体例として、推論モデル３１２２を画像分類器として、入力データ３１２４を画像とする。入力エリア影響マップ３１２３は、出力データ３１２６に影響を及ぼすこれらエリアを特定する入力データ３１２４のコピーを含み得る（推論拡張マップ３１２１に基づく）。いくつかの例では、回路３１１０は、推論拡張マップ３１２１および信頼性ルール３１２７に基づいて、入力エリア影響マップ３１２３を生成し得る。そのような例では、信頼性ルール３１２７は、ニューロン活性化に対応する閾値活性化レベルのインジケーションを含み得る。例えば、ニューロン活性化関数が、０と１の間の出力に帰結する場合、信頼性ルール３１２７は、出力データ３１２６に寄与または影響するように、ニューロン活性化が０．３を超えるべきというインジケーションを含み得る。いくつかの例では、信頼性ルール３１２７はドメイン、タスク、分類クラスなどの間で変動し得る。具体例として、信頼性ルール３１２７は、分類クラス「犬」についてのルールと、分類クラス「猫」に対する異なるルールを含み得る。
回路３１１０は、命令３１２８の実行において、入力エリア影響マップ３１２３および信頼性ルール３１２７に基づいて、信頼性スコア３１２５を生成し得る。上述の画像分類器の例を利用して、回路３１１０は、出力データ３１２６（例えば、入力エリア影響マップ３１２３などに基づく）に、入力データ３１２４（例えば、画像）が寄与した（または寄与しなかった）パーセンテージに基づいて信頼性スコア３１２５を生成し得る。別の例として、回路３１１０は、出力データ３１２６（例えば、入力エリア影響マップ３１２３などに基づく）に寄与する（または寄与しない）画像の部分についての、画像データの変動性（例えば、画素色、画素色間の変動など）に基づいて、信頼性スコア３１２５を生成し得る。いくつかの例では、回路３１１０は、出力データ３１２６に寄与しない画像の部分についての画像データの変動性（例えば、画素色、画素色間の変動など）に対する、出力データ３１２６に寄与する画像の部分についての画像データの変動性の比率に基づいて、信頼性スコア３１２５を生成し得る。いくつかの例では、回路３１１０は、入力データ３１２４変動性、入力データ３１２４の出力データ３１２６に対する寄与（または不寄与）のパーセンテージ、および／または入力データ変動性の割合の組み合わせに基づいて、信頼性スコア３１２５を生成し得る。いくつかの実施形態において、回路３１１０は、入力データ３１２４のどの部分が出力データ３１２６に寄与したか（しなかったか）に基づいて、信頼性スコア３１２５を生成し得る。例えば、入力データ３１２４の選択部分のみ（例えば、画像の隅など）が出力データ３１２６に寄与する場合、信頼性スコアはより低くなり得る。
図３２は、本明細書に記載のように、推論信頼性スコアを生成するように、ハードニングされたシステム（例えば、ハードニングされたシステム３１００など）により実施され得る例示的技術３２００を示す。分かりやすさおよび明確さのために、技術３２００を図３１のハードニングされたシステム３１００を参照して説明する。しかし、これは限定を意図したものではない。技術３２００は円３２．１から開始し得る。円３２．１において、入力デバイス３１５２は入力データ３１２４を取得し得る。
円３２．２において、推論モデル３１２２は出力データ３１２６を生成し得る。例えば、回路３１１０は、推論モデル３１２２を実行して、出力データ３１２６を生成し得る。いくつかの例において、出力データは、推論および推論確率の両方を含み得る。円３２．３において、推論モデル３１２２は、推論拡張マップ３１２１を出力し得る。例えば、推論モデル３１２２は、出力データ３１２６生成の一部として、推論拡張マップ３１２１を生成し得る。
円３２．４において、回路３１１０は、命令３１２８の実行において、入力エリア影響マップ３１２３を生成し得る。例えば、回路３１１０は、入力データ３１２４により推論モデル３１２２（例えば、推論拡張マップ３１２１に基づく）のどの部分が活性化されるか判定し得る。円３２．５において、回路３１１０は、命令３１２８の実行において、入力エリア影響マップ３１２３を生成し得る。例えば、回路３１１０は、信頼性ルールおよび入力エリア影響マップ３１２３に部分的に基づいて信頼性スコア３１２５を生成し得る。技術３２００は任意で円３２．６を含み得る。円３２．６において、回路３１１０は、出力データ３１２６の一部として、推論モデル３１２２により出力された確率を更新、修正、またはその他方法で拡張し得る。
図３３は、論理フロー３３００の実施形態を示す。論理フロー３３００は、本明細書に記載の１または複数の実施形態により実行される一部または全部の動作を示し得る。例えば、ハードニングされたシステム３１０１（またはそのコンポーネント）は、推論モデルにより生成された出力の信頼性のインジケーションを含む信頼性スコアを生成するために、論理フロー３３００における動作を実行し得る。論理フロー３３００を、明確さのために、ハードニングされたシステム３１０１を参照して説明する。ただし、例はこの文脈に限定されない。
論理フロー３３０が始まり得るブロック３３１０「入力データ受信」において、システム３１０１は入力データ３１２４を受信し得る。例えば、ハードニングされたシステム３１０１は、インタフェース３１３０などを介して、入力デバイス３１５２から入力データ３１２４を受信し得る。ブロック３３２０「推論モデルを介して、受信した入力データに基づき、出力データ生成」、およびブロック３３３０「推論モデルを介して推論拡張マップを生成」に進むと、システム３１０１は、推論モデル３１２２を介して、入力データ３１２４および推論拡張マップ３１２１から出力データ３１２６を生成し得る。例えば、回路３１１０は、推論モデル３１２２を実行して、入力データ３１２４と、推論モデル３１２２の実行（または推論）に関連付けられた推論拡張マップ３１２１から出力データ３１２６を生成し得る。上述のように、推論拡張マップ３１２１は、出力データ生成からの推論モデル活性化に基づく。したがって、推論拡張マップ３１２１は、出力データ３１２６生成時の、推論モデル３１２２の「活性化」に対応する。上述のように、推論拡張マップ３１２１は、推論モデル３１２２の活性化に対応するネットワーク活性化ヒートマップを含み得る。
ブロック３３４０「入力データおよび推論拡張マップに基づき入力エリア影響マップを生成」に進むと、システム３１０１は、出力データ３１２６に影響する入力データ３１２４のエリア（例えば、推論モデル３１２２の活性化に寄与）のインジケーションを含む入力エリア影響マップ３１２３を生成し得る。例えば、回路３１１０は、命令３１２８の実行において、推論拡張マップ３１２１に基づき、出力データ３１２６に寄与する、入力データ３１２４の部分を特定し得、入力データ３１２４の当該部分のインジケーションを含む入力エリア影響マップ３１２３を生成し得る。
ブロック３３５０「少なくとも入力エリア影響マップに基づいて信頼性スコア生成」に進むと、システム３１０１は、入力エリア影響マップ３１２３に基づいて、信頼性スコア３１２５を生成し得る。例えば、回路３１１０は、命令３１２８の実行において、入力エリア影響マップ３１２３に基づき、出力データ３１２６の信頼性を示すスコアを判定し、スコアのインジケーションを信頼性スコア３１２５として格納し得る。
論理フロー３３００は任意で、ブロック３３６０「信頼性スコアを推論モデルにより生成された確率と融合」を含み得る。ここで、システム３１０１は、出力データ３１２６の一部として、推論モデル３１２２により出力された確率を更新、修正、またはその他方法で拡張し得る。
セクションＩＩＩ‐データトラスト
サードパーティの推論を組み合わせることによる入力セットサニテーション
セクションＩＩＩ‐データトラスト
サードパーティの推論を組み合わせることによる入力セットサニテーション
図３４は、本開示に応じて実施され得る、ハードニングされたシステム３４０１の例を示す。ハードニングされたシステム３４０１は、回路３４１０と、メモリ３４２０と、入力デバイス３４５２とを備える。メモリ３４２０は、１または複数の推論モデル３４２２－１、３４２２－２、３４２２－Ｎ（または推論モデル３４２２）、訓練データセット３４２４、１または複数の分類データ３４２５－１、３４２５－２、３４２５－Ｎ（または分類データ３４２５）、非相関出力データ３４２６、相関出力データ３４２７、および命令３４２８を格納する。動作時、回路３４１０は、訓練データセット３４２４を非相関出力データ３４２６および／または相関出力データ３４２７に分けるため、命令３４２８および／または推論モデル３４２２の内の１または複数を実行し得る。
推論システムに対する攻撃は、推論モデルの訓練時のバックドア（例えば、隠れクラス）の生成を含み得る。バックドアは、脅威アクターにより、推論システムの１または複数の態様の、意図しないアクセスまたは制御で提供され得る。例えば、脅威アクター（例えば、不正データサイエンティストまたはデータサプライヤ）が、訓練セットに不適切なデータを注入し得る。これは、訓練された推論モデルの隠れた脆弱性に帰結する。このような脆弱性は、推論モデルによる入力データの誤分類を生じ得る。別の例として、訓練セットへの不適切なデータの注入により、テロリストと有名人の両方を特定する訓練された推論モデルに帰結し得る。
概して、訓練データに作成（例えば、ラベリング入力など）は手動で行われ、脅威アクターによる訓練データの修正などの攻撃ベクトルに曝される。不正に作成された訓練データの確認、検出、修正は、時間と労力のかかる処理である。本開示は、訓練データセット３４２４における各サンプルを、２つ以上の推論モデル３４２２で分類することで、サンプルのそれぞれが非相関出力データ３４２６または相関出力データ３４２７として考えられ得るか判定するように構成されたハードニングされたシステム３４０１を提供する。
例えば動作時、回路３４１０は命令３４２８を実行して、訓練データセット３４２４を（例えば、入力デバイスからの入力データとして）受信し得る。典型的には、訓練データセット３４２４は、複数のサンプルを含み得る。訓練データセット３４２４における各サンプルについて、回路３４１０は、推論モデル３４２２－１を実行して、分類データ３４２５－１を、推論モデル３４２２－２を実行して、分類データ３４２５－２を、推論モデルＣＡ１２２－Ｎを実行して分類データ３４２５－Ｎを生成し得る。場合によっては、訓練データセット３４２４における１または複数のサンプルに対する分類データは、サードパーティサービスにより生成され得る。回路３４１０は、命令３４２８を実行して、分類データ３４２５を比較し、訓練データセット３４２４の各サンプルが、推論モデル３４２２のそれぞれにより同じく分類されたか判定し得る。
さらに、回路３４１０は、命令３４２８を実行して、推論モデル３４２２のそれぞれにより同じく分類されなかった、訓練データセット３４２４におけるサンプルを非相関出力データ３４２６に加え、推論モデル３４２２のそれぞれにより同じく分類された、訓練データセット３４２４におけるサンプルを相関出力データ３４２７に加え得る。別の場合では、異なる分類の閾値数を使用して、サンプルを非相関出力データ３４２６に加えるか、または相関出力データ３４２７に加えるかを判定してよい。様々な実施形態において、推論モデル３４２２についての信頼パラメータが、同じ入力に対して異なるシステムにより提供された出力における分類子分布との関連性に基づいて構築され得る。
相関出力データ３４２７を利用して、バックドアを含まないと信頼できる推論モデルが訓練され得る。言い換えると、相関出力データ３４２７を、バックドアを含まないと信頼できる推論モデルを生成するために使用される機械学習アルゴリズムに対する訓練セットとして利用され得る。いくつかの実施形態において、相関出力データ相関出力データ３４２７で訓練した推論モデルは、信頼できる推論モデルと称され得る。さらに、非相関出力データ３４２６はさらに制御可能、敵対的または柔軟性訓練フローに利用され得る。場合によっては、回路３４１０は、命令３４２８を実行して、出力デバイス、別のコンピューティングデバイスなどに非相関出力データ３４２６および／または相関出力データ３４２７を提供し得る。１または複数の実施形態において、相関出力データ３４２６および／または非相関出力データを特徴づける測定値セットが生成され得る。
図３５は、論理フロー３５００の実施形態を示す。論理フロー３５００は、本明細書に記載の１または複数の実施形態により実行される一部または全部の動作を示し得る。例えば、ハードニングされたシステム３４０１（またはそのコンポーネント）は、論理フロー３５００の動作を実行して、訓練データセットを非相関出力データおよび相関出力データに分け得る。
論理フロー３５００が始まり得るブロック３５１０「複数のサンプルを有する訓練データセットを受信」において、ハードニングされたシステム３４０１は複数のサンプルを含む訓練データセット３４２４を受信し得る。例えば、ハードニングされたシステム３４０１は、入力デバイス３４５２から、訓練データセット３４２４を受信し得る。ブロック３５２０「訓練データセットにおけるサンプルに基づいて２つ以上の推論モデルに対する分類データを生成」に進むと、ハードニングされたシステム３４０１は、訓練データセット３４２４におけるサンプルに基づいて、２つ以上の推論モデル３４２２のそれぞれに対して、分類データ３４２５を生成し得る。例えば、ハードニングされたシステム３４０１は、推論モデル３４２２－１に基づいて、訓練データセット３４２４におけるサンプルに対する分類データ３４２５－１またはその一部を、推論モデル３４２２－２に基づいて、訓練データセット３４２４におけるサンプルに対する分類データ３４２５－２またはその一部を、および推論モデル３４２２－Ｎに基づいて、訓練データセット３４２４におけるサンプルに対する分類データ３４２５－Ｎまたはその一部を生成し得る。
判定ブロック３５３０「サンプルに基づいて各推論モデルに対して生成された分類データが相関閾値を満たす？」に進むと、ハードニングされたシステム３４０１は、訓練データセット３４２４内のサンプルに基づいて２つ以上の推論モデル３５３０のそれぞれに対して生成された分類データが、相関閾値を満たすか判定し得る。いくつかの実施形態において、ハードニングされたシステム３４０１は、訓練データセット３４２４におけるサンプルが、推論モデル３４２２の内の２つ以上により、最小信頼性レベルを有する共通分類が割り当てられたか判定し得る。例えば、ハードニングされたシステム３４０１は、サンプルに対応する分類データ３４２５－１の部分、サンプルに対応する分類データ３４２５－２の部分、およびサンプルに対応する分類データ３４２５－Ｎの部分が、相関閾値（例えば、８０％）を超えるまたは上位「ｘ」信頼性スコア内であるサンプル分類を含むか判定し得る。
相関閾値を満たすサンプルがない場合もある。判定ブロック３５３０から、論理フロー３５００は、ブロック３５４０またはブロック３５５０のいずれかに進み得る。多くの実施形態において、相関閾値を満たさないサンプル。論理フロー３５００は、サンプルに基づいて、各推論モデルに対して生成された分類データが一致するという判定に基づき、ブロック３５３０からブロック３５４０に進み得、論理フロー３５００は、サンプルに基づいて、各推論モデルに対して生成された分類データが一致しないという判定に基づき、ブロック３５３０からブロック３５５０に進み得る。
ブロック３５４０「訓練データセットにおけるサンプルを相関出力データに追加」において、ハードニングされたシステム３４０１は、訓練データセット３４２４からのサンプルを相関出力データ３４２７に追加し得る。ブロック３５５０「訓練データセットにおけるサンプルを非相関出力データに追加」において、ハードニングされたシステム３４０１は、訓練データセット３４２４からのサンプルを非相関出力データ３４２７に追加し得る。判定ブロック３５６０「訓練データセットにおける各サンプルが非相関出力データまたは相関出力データのいずれかに追加された？」に進むと、ハードニングされたシステム３４０１は、訓練データセット３４２４内の各サンプルが、非相関出力データ３４２６または相関出力データ３４２７のいずれかに追加されたか判定し得る。言い換えると、ハードニングされたシステム３４０１は、訓練データセット３４２４内の全てのサンプルが、非相関出力データ３４２６または相関出力データ３４２７の何れかに追加されたかを判定し得る。判定ブロック３５６０から、論理フロー３５００は、終わるか、３５２０に戻り、訓練データセット３４２４における次のサンプルに対して、ブロック３５２０から３５６０を繰り返し得る。
入力デバイスに対するソース信頼性適応
入力デバイスに対するソース信頼性適応
現行の推論システムの問題点の１つとして、様々な入力デバイスが、解像度、フォーマット、フレームレート、ダイナミックレンジ、信頼性などの、異なる特徴を持つ入力データを生成し得ることが挙げられる。様々な入力デバイスの異なる特徴は、様々な入力デバイスからの入力データが、どのように推論モデルが訓練されるかまたは分類されるかに影響し得る。例えば、高解像度の入力デバイス（例えば、ビデオカメラ）からの入力データで訓練した推論モデルは、低解像度の入力デバイスからの入力データを分類するのが困難であり得る。別の例において、入力デバイスは、様々なアクセシビリティの、様々な環境に配置され得る（例えば、入館が制限された建物と、出入り自由の公園）。出入り自由の公園などのアクセシビリティの高い環境では、脅威アクターにとって、上述のようにバックドアを生成するために、入力デバイスなどにより生成された入力データを操作する機会が多くなり得る。したがって、アクセシビリティが高い環境における入力デバイスは、アクセスが困難な環境における入力デバイスよりも低い信頼性レベルに関連付けら得る。
別の例において、入力デバイスと、ハードニングされたシステムとの間のデータ経路の安全性は、入力デバイスの信頼性レベルの要素であり得る（例えば、暗号化されたデータ経路は、暗号化されていないデータ経路よりも信頼できると考えられ得る）。いくつかの場合において、信頼性レベルは、１または複数の動作パラメータおよび／または入力デバイスの特徴を示し得る。したがって、本開示は、入力デバイスからの入力データに基づいて訓練する推論モデルの選択（例えば、図３６、３７参照）、および／または入力デバイスからの入力データを分類する推論モデルの選択（例えば、図６、７参照）に、入力デバイス特徴を要素として使用できる推論システムを提供する。いくつかの実施形態において、入力を修正することで、通常入力により確認された敵対的摂動の適用性が崩れ得る。
図３６は、本開示に応じて実施され得る、ハードニングされたシステム３６０１の例を示す。ハードニングされたシステム３６０１は、回路３６１０と、メモリ３６２０と、インタフェース３６３０と、入力デバイス３６５２－１および３６５２－２とを備える。メモリ３６２０は、１または複数の訓練されていない推論モデル３６２１－１、３６２１－２、３６２１－Ｎ（または訓練されていない推論モデル３６２１）、入力データ３６２４－１および３６２４－２、１または複数の入力デバイス特徴３６２５－１および３６２５－２、および命令３６２８を格納する。多くの実施形態において、入力データ３６２４は、訓練データセット（例えば、訓練データセット３６２）を含み得る。一方、訓練されていない推論モデル３６２１は、訓練データセット（例えば３６２４）に基づいて推論モデルを生成するアルゴリズムを示し得る。動作時、回路３６１０は、命令３６２８を実行して、それぞれの入力データ３６２４について、入力デバイス特徴３６２５に基づいて、入力データ３６２４で訓練する訓練されていない推論モデル３６２１の１つを選択し得る。
例えば、回路３６１０は命令３６２８を実行し、入力デバイス３６５２－１および３６５２－２それぞれからの入力データ３６２４－１および３６２４－２を受信し得る。回路３６１０は、命令３６２８を実行して、それぞれ入力デバイス３６５２－１および３６５２－２に対応する、入力デバイス特徴（１または複数）３６２５－１および３６２５－２を判定し得る。場合によっては、１または複数の入力デバイス特徴３６２５－１および３６２５－２は、インタフェース３６３０などを介して、起動時にそれぞれの入力デバイス（例えば、３６５２－１、３６５２－２など）をクエリすることで判定され得る。例えば、入力デバイス３６５２－１は、アプリケーションプログラミングインタフェース（ＡＰＩ）を有し得る。１または複数の入力デバイス特徴３６２５－１はＡＰＩを介して判定され得る。別の場合では、それぞれの入力デバイス（例えば、３６５２－１、３６５２－２など）が、メモリ３６２０に入力データ３６２４－１および３６２４－２の１または複数の部分を提供することに合わせて、１または複数の入力デバイス特徴３６２５－１および３６２５－２を提供し得る。例えば、入力デバイス３６５２－２は、入力データ３６２４－２を提供することに合わせて、入力デバイス特徴３６２５－２を提供し得る。
場合によっては、回路３６１０は、命令３６２８を実行して、メモリ３６２０を入力デバイス３６５２に結合するインタフェース３６３０に基づいて、またはインタフェース３６３０が入力デバイス３６５２と通信する通信方式に基づいて、１または複数の入力デバイス特徴３６２５－１を特定し得る。例えば、インタフェース３６３０に少なくとも部分的に基づいて、入力デバイス３６５２－１およびメモリ３６２０の間のデータ経路の安全性が判定され得る。そのような例では、データ経路の安全性は、入力デバイス３６５２－１および入力デバイス特徴３６２５－１に対する信頼性レベルを判定するのに、少なくとも部分的に使用され得る。なお、単一のインタフェース３６３０のみが示される。しかし、いくつかの例において、異なる特徴（例えば、異なる安全性要件など）を持つ異なる入力デバイス３６５２または入力デバイス３６５２に対して、異なるインタフェース３６３０が提供され得る。
回路３６１０は、命令３６２８を実行して、それぞれ入力デバイス特徴３６２５－１および３６２５－２に基づいて、入力データ３６２４－１または３６２４－２で訓練するのに最も適した訓練されていない推論モデル３６２１の１つを選択し得る。上述のように、様々な実施形態において、回路３６１０は、命令３６２８を実行して、複数の入力デバイス（例えば、入力デバイス３６５２－１および３６５２－２など）から入力データおよび／または入力デバイス特徴を受信し得る。そのような実施形態において、回路３６１０は命令３６２８を実行して、１または複数の入力デバイスからのデータを所望の入力デバイス特徴と組み合わせることで、特定の訓練されていない推論モデル用に訓練データセットを構築し得る。入力デバイス３６５２－１および３６５２－２の２つしか示されていないが、実際は多数の（例えば、アレイ、クラスタなど）の入力デバイス３６５２がハードニングされたシステム３６０１に結合され、訓練されていない推論モデル３６２１の訓練に使用され得る。
図３７は、論理フロー３７００の実施形態を示す。論理フロー３７００は、本明細書に記載の１または複数の実施形態により実行される一部または全部の動作を示し得る。例えば、ハードニングされたシステム３６０１（またはそのコンポーネント）は、入力デバイスからの入力データで訓練する訓練されていない推論モデルを特定するため、論理フロー３７００の動作を実行し得る。
論理フロー３７００が始まり得るブロック３７１０「入力デバイス特徴判定」において、ハードニングされたシステム３６０１は、入力デバイス３６５２－１の入力デバイス特徴３６２５－１、入力デバイス３６５２－２の入力デバイス特徴３６２５－２などを判定し得る。例えば、ハードニングされたシステム３６０１は、入力デバイス特徴３６２５－１を判定するため、ＡＰＩを介して、入力デバイス３６５２－１にクエリし得る。別の例として、ハードニングされたシステム３６０１は、入力データ３６２４－２の受信に合わせて、入力デバイス３６５２－２から入力デバイス特徴３６２５－２を受信し得る。
ブロック３７２０「入力デバイス特徴に基づいて、訓練されていない推論モデルを選択」に進むと、ハードニングされたシステム３６０１は、入力デバイス特徴３６２５－１、３６２５－２などに基づいて、１または複数の訓練されていない推論モデル３６２１から選択し得る。例えば、ハードニングされたシステム３６０１は、入力デバイス特徴３６２５－１に基づいて、入力データ３６２４－１で訓練する訓練されていない推論モデル３６２１－２を選択し得る。別の例として、ハードニングされたシステム３６０１は、入力デバイス特徴３６２５－２に基づいて、入力データ３６２４－２で訓練する訓練されていない推論モデル３６２１－１を選択し得る。
ブロック３７３０「入力デバイス特徴に基づいて選択した推論モデルを、入力デバイスからの入力データで訓練」に進むと、ハードニングされたシステム３６０１は、訓練されていない推論モデル１２１から選択された推論モデルを、入力データ（例えば、入力データ３６２４－１、入力データ３６２４－２など）で訓練し得る。例えば、ハードニングされたシステム３６０１は、入力デバイス特徴３６２５－１に基づいて、入力データ３６２４－１で、訓練されていない推論モデル３６２１－２を訓練し得、入力デバイス特徴３６２５－２に基づいて、入力データ３６２４－２で、訓練されていない推論モデル３６２１－１を訓練し得る。ブロック３７３０から、論理フロー３７００は終わり得るか、新たな入力を受信したことに基づいて繰り返され得る。
図３８は、本開示に応じて実施され得る、ハードニングされたシステム３８０１の例を示す。ハードニングされたシステム３８０１は、回路３８１０と、メモリ３８２０と、インタフェース３６３０と、入力デバイス３６５２－１および３６５２－２とを備える。メモリ３８２０は、１または複数の訓練された推論モデル３６２３－１、３６２３－２、３６２３－Ｎ（または訓練された推論モデル３６２３）、入力データ３８２４－１および３８２４－２、入力デバイス特徴３６２５－１および３６２５－２、および命令３８２８を格納する。多くの実施形態において、入力データ３８２４－１および３８２４－２は、訓練された推論モデル３６２３の１または複数で分類されたデータを含み得る。動作時、回路３８１０は、命令３８２８を実行して、入力デバイス特徴３６２５－１および３６２５－２のそれぞれに基づいて、入力データ３８２４－１および３８２４－２を分類する、訓練された推論モデル３６２３の１つを選択し得る。
例えば、動作時、回路３８１０は命令３８２８を実行して、入力デバイス３６５２－１の１または複数の入力デバイス特徴３６２５－１を判定し、入力デバイス３６５２－２の１または複数の入力デバイス特徴３６２５－２を判定し得る。場合によっては、１または複数の入力デバイス特徴３６２５は、起動時などに、インタフェース３６３０を介して、各入力デバイス３６５２にクエリすることで判定され得る。例えば、入力デバイス３６５２－１はＡＰＩを有し得る。１または複数の入力デバイス特徴３６２５－１はＡＰＩを介して判定され得る。別の場合では、入力デバイス３６５２は、メモリ３８２０に入力データ３６２４の１または複数の部分を提供することに合わせて、１または複数の入力デバイス特徴３６２５を提供し得る。例えば、入力デバイス３６５２－２は、入力データ３６２４－２を提供することに合わせて、入力デバイス特徴３６２５－２を提供し得る。
場合によっては、回路３８１０は、命令３８２８を実行して、メモリ３８２０を入力デバイス３６５２に結合するインタフェース３６３０に基づいて、またはインタフェース３６３０が入力デバイス３６５２と通信する通信方式に基づいて、１または複数の入力デバイス特徴３６２５を特定し得る。例えば、インタフェース３６３０に少なくとも部分的に基づいて、入力デバイス３６５２－１およびメモリ３８２０の間のデータ経路の安全性が判定され得る。そのような例では、データ経路の安全性は、入力デバイス３６５２－１および入力デバイス特徴３６２５－１に対する信頼性レベルを判定するのに、少なくとも部分的に使用され得る。なお、単一のインタフェース３６３０のみが示される。しかし、いくつかの例において、異なる入力デバイス３６５２、または異なる特徴（例えば、異なる安全性要件など）を持つ入力デバイス３６５２に対して、異なるインタフェース３６３０が提供され得る。いくつかの実施形態において、入力デバイス特徴および／または信頼性は、入力ソース品質条件を判定するのに使用されるか、またはそれに基づき得る。多くの実施形態において、入力ソース品質条件は、特定された信頼性および／または入力ソース品質条件と協働するように調整された推論モデルなど、推論モデルの選択の要素になり得る。
回路３８１０は、命令３８２８を実行して、それぞれ入力デバイス特徴３６２５－１および３６２５－２に基づいて、入力データ３８２４－１または３８２４－２を分類するのに最も適した訓練された推論モデル３６２３の１つを選択し得る。上述のように、様々な実施形態において、回路３８１０は、命令３８２８を実行して、複数の入力デバイス（例えば、入力デバイス４５２－１および４５２－２など）から入力データおよび／または入力デバイス特徴を受信し得る。そのような実施形態において、回路３８１０は、命令３８２８を実行して、入力データ３８２４を受信したそれぞれの入力デバイス３６５２について、入力デバイス特徴３６２５に基づいて、入力データ３８２４を分類するために使用される訓練された推論モデル３６２３を選択し得る。
図３９は、論理フロー３９００の実施形態を示す。論理フロー３９００は、本明細書に記載の１または複数の実施形態により実行される一部または全部の動作を示し得る。例えば、ハードニングされたシステム３８０１（またはそのコンポーネント）は、１または複数の入力デバイス特徴に基づいて、入力デバイスからの入力データを分類する訓練された推論モデルを選択するために、論理フロー３９００の動作を実行し得る。
論理フロー３９００が始まり得るブロック３９１０「入力デバイス特徴判定」において、ハードニングされたシステム３８０１は、入力デバイス３６５２－１および３６５２－２それぞれの入力デバイス特徴３６２５－１および３６２５－２を判定し得る。例えば、ハードニングされたシステム３８０１は入力デバイス特徴３６２５－１を判定するため、ＡＰＩを介して、入力デバイス３６５２－１にクエリし得る。別の例として、ハードニングされたシステム３８０１は、入力データ３８２４－２の受信に合わせて、入力デバイス特徴３６２５－２を受信し得る。いくつかの実施形態において、入力デバイス特徴３６２５－１、３６２５－２は、レンズ特徴およびオーディオアンプの１または複数を含み得る。
ブロック３９２０「入力デバイス特徴に基づいて、訓練された推論モデルを選択」に進むと、ハードニングされたシステム３８０１は、入力デバイス特徴３６２５（例えば、３６２５－１、３６２５－２など）に基づいて、１または複数の訓練された推論モデル３６２３から選択し得る。例えば、ハードニングされたシステム３８０１は、入力デバイス特徴３６２５－２に基づいて、入力データ３８２４－２を分類する訓練された推論モデル３６２３－１を選択し得る。別の例として、ハードニングされたシステム３８０１は、入力デバイス特徴３６２５－１に基づいて、入力データ３８２４－１を分類する訓練された推論モデル３６２３－２を選択し得る。
ブロック３９３０「入力デバイス特徴に基づいて選択された推論モデルで、入力デバイスからの入力データを分類」に進むと、ハードニングされたシステム３８０１は、訓練された推論モデル３６２３から選択された推論モデルにより入力データ３８２４を分類し得る。例えば、ハードニングされたシステム３８０１は、入力デバイス特徴３６２５－２に基づいて、訓練された推論モデル３６２３－１で入力データ３８２４－２を分類し得る。別の例として、ハードニングされたシステム３８０１は、入力デバイス特徴３６２５－１に基づいて、訓練された推論モデル３６２３－２で入力データ３８２４－１を分類し得る。ブロック３９３０から、論理フロー３９００は終わり得るか、新たな入力を受信したことに基づいて繰り返され得る。
訓練セットとモデルとの信頼できる関連付け
訓練セットとモデルとの信頼できる関連付け
図４０は、本開示に応じて実施され得る、ハードニングされたシステム４００１の例を示す。ハードニングされたシステム４００１は、回路４０１０と、メモリ４０２０と、信頼できる実行環境（ＴＥＥ）４０７０とを備える。メモリ４０２０は入力データ４０２４、命令４０２８、および出力データ４０２６を格納する。いくつかの実施形態において、入力データ４０２４は訓練データセットを含み得る。動作時、回路４０１０は、命令４０２８を実行して、ＴＥＥ４０７０に関連付けられた様々な入出力動作を実行し得る。ＴＥＥ４０７０は、信頼できる回路４０１１と、信頼できるメモリ４０２１とを備える。信頼できるメモリは、ＴＥＥ命令４０７２、トランスコードされた入力データ４０７４、訓練データセットインテグリティステート（ＴＳＩＳ）４０７６、訓練されていない推論モデル４０７８、訓練された推論モデル４０８０、および推論モデルインテグリティシグネチャ（ＩＭＩＳ）４０８２を格納する。多くの実施形態において、トランスコードされた入力データ４０７４は、トランスコードされた訓練データセットを含み得る。動作時、信頼できる回路４０１１は、ＴＥＥ命令４０７２を実行して、推論モデルが、指定の訓練データセットで訓練されたというということを確認し得る。
上述のように、推論システムに対する攻撃は、推論モデルの訓練時のバックドア（例えば、隠れクラス）の生成を含み得る。場合によっては、脅威アクター（例えば、不正データサイエンティストまたはデータサプライヤ）が、訓練された推論モデルに隠れた脆弱性を生じることを目的に、訓練データセットに不適切なデータを注入し得る。したがって、本開示は、推論モデルが意図した訓練データセットで訓練されたことを確認できるように構成されたハードニングされたシステム４００１を提供する。
例えば、動作時、回路４０１０は命令４０２８を実行して、ＴＥＥ４０７０に入力データ４０２４を利用可能にし得る。典型的には、入力データ４０２４は、複数のサンプルを持つ訓練データセットを含み得る。信頼できる回路４０１１は、ＴＥＥ命令４０７２を実行して、入力データ４０２４をトランスコードされた入力データ４０７４に変換し得る。例えば、入力データ４０２４内の各サンプルは、数学的表現に変換され得る。信頼できる回路４０１１は、ＴＥＥ命令４０７２を実行して、トランスコードされた入力データ４０７４に基づいて、ＴＳＩＳ４０７６を生成し得る。例えば、順序と繰り返しに左右されない暗号化アルゴリズムを使用して、トランスコードされた入力データ４０７４内の各サンプルに基づいて、ＴＳＩＳ４０７６を生成し得る。多くの実施形態において、訓練データセットの内容は、ＴＳＩＳ４０７６（例えば、ＴＳＩＳ４０７６を再計算することによる）で、サードパーティにより確認可能である。
さらに、信頼できる回路４０１１は、ＴＥＥ命令４０７２を実行して、トランスコードされた入力データ４０７４で訓練されていない推論モデル４０７８を訓練し、訓練された推論モデル４０８０を生成し得る。例えば、訓練されていない推論モデル４０７８は、トランスコードされた入力データ４０７４に基づいて、訓練された推論モデル４０８０を生成する機械学習アルゴリズムを含み得る。いくつかの実施形態において、訓練されていない推論モデル４０７８は訓練データを含み得る。様々な実施形態において、訓練されていない推論モデル４０７８は、訓練された推論モデル４０８０が生成された後に、メモリ内で保持されなくてよい。
信頼できる回路４０１１は、ＴＥＥ命令４０７２を実行して、推論モデルインテグリティストラクチャ（ＩＭＩＳ）４０８２を生成し得る。例えば、ＩＭＩＳ４０８２は、訓練された推論モデル４０８０の暗号化ハッシュを含み得る。多くの実施形態において、推論モデルの内容は、ＩＭＩＳ４０８２（例えば、ＩＭＩＳ４０８２を再計算することによる）で、サードパーティにより確認可能である。ＴＳＩＳ４０７６、ＩＭＩＳ４０８２、および訓練された推論モデル４０８０のうちの１または複数が、出力として提供され得る（例えば、出力データ４０２６として格納される）。例えば、信頼できる回路４０１１は、ＴＥＥ命令４０７２を実行して、ＴＳＩＳ４０７６、ＩＭＩＳ４０８２、および訓練された推論モデル４０８０をタプルとして出力し得る。場合によっては、回路４０１０は命令４０２８を実行して、出力デバイス、別のコンピューティングデバイスなどに出力データ４０２６を提供し得る。
図４１は、論理フロー４１００の実施形態を示す。論理フロー４１００は、本明細書に記載の１または複数の実施形態により実行される一部または全部の動作を示し得る。例えば、ハードニングされたシステム４００１（またはそのコンポーネント）は、訓練された推論モデル４０８０および／または訓練された推論モデル４０８０に対応する意図した訓練セットの確認を可能とするため、ＴＳＩＳ４０７６、ＩＭＩＳ４０８２、および訓練された推論モデル４０８０の内の１または複数を生成するように、論理フロー４１００における動作を実行し得る。
論理フロー４１００が始まり得るブロック４１１０「入力データ受信」において、ハードニングされたシステム４００１は入力データ４０２４を受信し得る。例えば、ハードニングされたシステム４００１は、入力データ４０２４として、複数のサンプルを有する訓練データセットを受信し得る。ブロック４１２０「入力データをトランスコード」に進むと、ハードニングされたシステム４００１は、入力データ４０２４をトランスコードして、トランスコードされた入力データ４０７４を生成し得る。例えば、トランスコードされた入力データ４０７４は、入力データ４０２４における各サンプルの数学的表現を含み得る。次に、論理フロー４１００はブロック４１３０および／またはブロック４１４０に進み得る。言い換えると、トランスコードされた入力データ４１２０を使用して、ブロック４１３０およびブロック４１４０が並列に実行され得る。
ブロック４１３０「トランスコードされた入力データに基づいて、ＴＳＩＳ値を生成」において、トランスコードされた入力データに基づいて、ＴＳＩＳ値が生成され得る。例えば、ハードニングされたシステム４００１は、暗号化アルゴリズムを使用して、トランスコードされた入力データ４０７４に基づいて、ＴＳＩＳ値４０７４を生成し得る。ブロック４１３０から、論理フロー４１００はブロック４１６０に進み得る。ブロック４１４０「トランスコードされた入力データで推論モデルを訓練」を再度参照すると、推論モデルが、トランスコードされた入力データに基づいて訓練され得る。例えば、ハードニングされたシステム４００１はトランスコードされた入力データ４０７４に基づいて、訓練された推論モデル４０８０を生成する機械学習アルゴリズムを含み得る。ブロック４１５０「推論モデルに基づいて、ＩＭＩＳ値を生成」に進むと、訓練された推論モデル４０８０に基づいて、ＩＭＩＳ値が生成され得る。例えば、暗号化ハッシュは、訓練された推論モデル４０８０に基づいてＩＭＩＳ値４０８２を生成するのに使用され得る。ブロック４１６０から、論理フロー４１００は終わり得るか、新たな入力を受信したことに基づいて繰り返され得る。
セクションＩＶ‐高度推論モデル訓練
敵対的訓練後の推論モデルリカバリ
セクションＩＶ‐高度推論モデル訓練
敵対的訓練後の推論モデルリカバリ
本明細書に詳述されるように、推論モデルは、データセット（例えば、訓練およびテストデータセット）を利用して訓練される。多くの場合、推論モデルは、異なるデータセットを使用して、繰り返し訓練され得る。例えば、推論モデルは第１のデータセットで訓練され、その後第２のデータセットで訓練され得る。いくつかの実装において、訓練データセットは、管理下にないソース（例えば、研究所、オープンソース、オンラインデータセットなど）から得られたものとなる。この結果、推論モデルは、推論モデルの性能を下げるデータを含むデータセットで訓練され得る。例えば、推論モデルは、推論モデルの性能を下げる、誤分類されたデータ（例えば、意図的に誤分類された、誤って誤分類されたなど）を含むデータセットで訓練され得る。いくつかの場合において、悪意のある団体が、バックドア、隠れクラス、または推論モデルへの既知の誤分類脆弱性を導入するため、訓練で使用されるデータセットを意図的に修正し得る。
本開示では、推論モデルの性能を低下させる訓練データセットの発見に対応する、「ハニーポット」クラスで意図的に訓練する。当該ハニーポットクラス（１または複数）は、低下した性能をリカバリし、訓練データセット内のエラーに基づく潜在的な敵対的攻撃を軽減するように訓練され得る。
図４２は、推論モデルを訓練する例示的システム４２０１を示す。システム４２０１は、回路４２１０と、メモリ４２２０と、インタフェース４２３０とを備える。メモリ４２２０は、推論モデル４２２２、命令４２２８、およびテスト／訓練データセット４２６０を格納する。メモリ４２２０は任意でリカバリされた推論モデル４２２３も含み得る。テスト／訓練データセット４２６０は、訓練データ４２６２と、テストデータ４２６４との両方を含む。上述のように、複数の異なる訓練および／またはテストデータセットを使用して、訓練が段階的に実施され得る。例えば、データセット４２６０は、訓練データセット４２６２－１、訓練データセット４２６２－２、および訓練データセット４２６２－３、並びにテストデータセット４２６４－１およびテストデータセット４２６４－１を含むように示される。なお、データセット４２６０は、任意の数の訓練データセット４２６２および任意の数のテストデータセット４２６４を含み得る。ここで示される数は明確性を目的に選択されたものであって、限定的ではない。さらに、メモリ４２２０は、リカバリ訓練データセット４２７２およびリカバリテストデータセット４２７４を含むリカバリテスト／訓練データセット４２７０を含み得る。リカバリ訓練データセット４２７２およびリカバリテストデータセット４２７４は、エラー（例えば、悪意を持って導入されたエラー、誤って導入されたエラーなど）を含む訓練データセット４２６２の１つを利用して、訓練推論モデル４２２２から「リカバリ」するのに使用され得る。より具体的には、リカバリ訓練データセット４２７２は、訓練データセット４２６２におけるエラーに基づく潜在的な敵対的攻撃を軽減するために、例えば、ハニーポットクラスなどの追加クラスで推論モデル４２２２を訓練するのに使用され得る。
図４３は、エラーを含むデータセットで行われた推論モデルの訓練からリカバリするため、図４２のシステム４２０１などのシステムで実施され得る例示的技術４３００を示す。なお、分かりやすさおよび明確さのために、技術４３００を図４２のシステム４２０１を参照して説明する。しかし、これは限定を意図したものではない。
技術４３００は円４３．１から開始し得る。円４３．１において、システム４２０１は、推論モデル４２２２を、訓練データセット４２６２－１を利用して訓練する。例えば、回路４２１０は、命令４２２８を実行して、推論モデル４２２２を、訓練データセット４２６２－１を利用して訓練する、推論モデル訓練アルゴリズム（例えば、図３の技術３００などに基づく）を実施し得る。推論モデル４２２２を、訓練データセット４２６２－１を利用して訓練することは、推論モデル４２２２－１のイテレーションに帰結し得る。円４３．２において、システム４２０１は、テストデータセット（例えば、テストデータセット４２６４－１など）を利用して、推論モデルイテレーション１ ４２２２－１をテストし得る。例えば、回路４２１０は、命令４２２８を実行して、テストデータセット４２６４－１を使用して、推論モデルイテレーション１ ４２２２－１の性能をテストし得る。
推論モデル４２２２は、追加の訓練データセットでさらに訓練され得る。円４３．３において、システム４２０１は、訓練データセット４２６２－２を使用して、推論モデル４２２２を訓練する。例えば、回路４２１０は、命令４２２８を実行して、推論モデルイテレーション１ ４２２２－１を、訓練データセット４２６２－２を利用して訓練する、推論モデル訓練アルゴリズム（例えば、図３の技術３００などに基づく）を実施し得る。推論モデルイテレーション１ ４２２２－１を、訓練データセット４２６２－２を利用して訓練することは、推論モデル４２２２のイテレーションに帰結し得る（例えば、推論モデルイテレーション２ ４２２２－２）。円４３．４において、システム４２０１は、テストデータセット（例えば、テストデータセット４２６４－１など）を利用して、推論モデルイテレーション２ ４２２２－２をテストし得る。例えば、回路４２１０は、命令４２２８を実行して、テストデータセット４２６４－１を使用して、推論モデルイテレーション２ ４２２２－２の性能をテストし得る。
推論モデル４２２２はさらに、第３の追加訓練データセットで再度訓練され得る。円４３．５において、システム４２０１は、訓練データセット４２６２－３を使用して、推論モデル４２２２を訓練する。例えば、回路４２１０は、命令４２２８を実行して、推論モデルイテレーション２ ４２２２－２を、訓練データセット４２６２－２を利用して訓練する、推論モデル訓練アルゴリズム（例えば、図３の技術３００などに基づく）を実施し得る。推論モデルイテレーション２ ４２２２－２を、訓練データセット４２６２－２を利用して訓練することは、推論モデル４２２２のイテレーションに帰結し得る（例えば、推論モデルイテレーション３ ４２２２－３）。円４３．６において、システム４２０１は、テストデータセット（例えば、テストデータセット４２６４－２など）を利用して、推論モデルイテレーション３ ４２２２－３をテストし得る。例えば、回路４２１０は、命令４２２８を実行して、テストデータセット４２６４－２を使用して、推論モデルイテレーション３ ４２２２－３の性能をテストし得る。
上述のように、現実のユースケースのいくつかにおいて、訓練データセット内でのエラーの発見は、訓練後に起き得る。円４３．７において、訓練データセット（例えば、訓練データセット４２６２－１、訓練データセット４２６２－２、および／または訓練データセット４２６２－３）内のエラーが発見され得る。いくつかの例では、推論モデルの過去のイテレーションの訓練で使用された訓練データセットでエラーが発見される。具体例として、エラーは訓練データセット４２６２－２において発見され得る。したがって、推論モデル４２２２内のエラー（または脆弱性）は、訓練データセット４２６２－２におけるエラーにより、推論モデルイテレーション２ ４２２２－２のように導入されていたこともあり得る。円４３．８において、リカバリテスト／訓練データセット４２７０（リカバリ訓練データセット４２７２およびリカバリテストデータセット４２７４を含む）が受信され得る。回路４２１０は、命令４２２８の実行において、インタフェース４２３０などを介して、リカバリテスト／訓練データセット４２７０を受信し得る。いくつかの実施形態において、リカバリ訓練データセット４２７２は、以前使用された訓練データセット４２６２におけるエラーに基づく敵対的攻撃を軽減するのに使用可能な追加のハニーポットクラスで、推論モデル４２２２（現在のイテレーションから開始）を訓練するように設計され得る。
円４３．９において、システム４２０１は、リカバリ訓練データセット４２７２を使用して、推論モデル４２２２を訓練し得る。例えば、回路４２１０は、命令４２２８を実行して、リカバリ訓練データセット４２７２を使用して、推論モデルイテレーション３ ４２２２－３を訓練するために、推論モデル訓練アルゴリズム（例えば、図３の技術３００などに基づく）を実施し得る。推論モデルイテレーション３ ４２２２－３を、リカバリ訓練データセット４２７２を利用して訓練することは、推論モデル４２２２の別のイテレーションに帰結し得る（例えば、リカバリされた推論モデル４２２３など）。円４３．１０において、システム４２０１は、リカバリされたテストデータセット４２７４を使用して、リカバリされた推論モデル４２２３をテストし得る。例えば、回路４２１０は命令４２２８を実行して、リカバリテストデータセット４２７４を使用して、リカバリされた推論モデル４２２３の性能をテストし得る。
システム４２０１および技術４３００は、敵対的攻撃の軽減（例えば、アラートトリガなど）を実現できるという効果を提供する。さらに、システム４２０１および技術４３００は、最初から、または取得段階（例えばイテレーションなど）から訓練を再度始める必要がないという効果を提供する。
上述のように本明細書、テスト／訓練データは、推論モデルの「訓練」および性能評価に使用される。しかし、テスト／訓練データセットはエラーを含み得る。例えば、図４４は、推論モデル４２２２の訓練に使用され得る例示的テスト／訓練データセット４４６０を示す。テスト／訓練データセット４４６０は、図４２のシステム４２０１の訓練データセット４２６２およびテストデータセット４２６４の１つに対応し得る、訓練データセット４４６２およびテストデータセット４４６４を含む。テスト／訓練データセット４４６０は、入力４４６１と、想定出力ｓ４４６５とを含み得る。概して、入力４４６１は、入力値（１または複数）４４６３－ｎを含み得、ｎは正の整数である。例えば、入力値（１または複数）４４６３－１、入力値（１または複数）４４６３－２、入力値（１または複数）４４６３－３、入力値（１または複数）４４６３－４、入力値（１または複数）４４６３－５から入力値（１または複数）４４６３－Ｎが、入力４４６１について示される。各入力値４４６３－ｎについて、関連付けられた想定出力４４６５が示される。想定出力４４６５はそれぞれ、推論モデル４２２２が入力（例えば、入力４４６１）の分類のために訓練される、クラス２２１０ ４４６７に対応する。概して、想定出力４４６５は、任意の数のクラス４４６７を含み得る。具体例として、クラス４４６７は、ＣＩＦＥＲ－１０分類データセット（例えば、飛行機、車、鳥、猫、鹿、犬、カエル、馬、船、およびトラックなど）からのカテゴリに対応し得る。ただし、例はこの文脈に限定されない。いくつかのユースケースでは、テスト／訓練データセット（例えば、４４６０）はエラー４４６９を含み得る。図示のように、データセット４４６０は複数のエラー４４６９を含む。具体例として、エラー４４６９の１つは、クラス４４６７－２に対応する、入力値（１または複数）４４６３－４を示す。説明のため、推論システム４２２２は、画像をクラスに分類するように構成された画像分類器であるとする。この例において、エラー４４６９は、不適切にラベル付けされた、または誤ったクラスに対応するようにタグ付けされた（例えば、銃の画像だが、ヘアブラシとしてタグ付けされるなど）入力値４４６３－４に関連付けられた画像であり得る。上述のように、このような不適切なラベル付けは、悪意のあるものか、不慮のものであり得る。しかし、本開示では、上記詳述したリカバリテスト／訓練データセットを使用して、テスト／訓練データセット４４６０にエラーがあっても、訓練が継続される。
図４５は、推論モデル４２２２の訓練に使用され得る例示的リカバリテスト／訓練データセット４５７０を示す。リカバリテスト／訓練データセット４５７０は、図４２のシステム４２０１のリカバリ訓練データセット４２７２およびリカバリテストデータセット４２７４に対応し得る、訓練データセット４５７２およびテストデータセット４５７４を含む。図４４のテスト／訓練データセット４４６０を参照して、リカバリテスト／訓練データセット４５７０を説明する。ただし、例はこの文脈に限定されない。
リカバリテスト／訓練データセット４５６０は、入力４４６１と、想定出力４４６５とを含む。概して、入力４４６１は、入力値（１または複数）４５７３－ｍを含み得る。ｍは正の整数である。さらに、入力４４６１は、エラー４４６９に関連付けられた任意の入力値（１または複数）を含み得る。例えば、テスト／訓練データセット４４６０からのエラー４４６９に関連付けられた入力値（１または複数）４４６３－４が、リカバリテスト／訓練データセット４５７０の入力４４６１に含まれる。さらに、入力値（１または複数）４５７３－１、入力値（１または複数）４５７３－２、入力値（１または複数）４５７３－３、入力値（１または複数）４５７３－４から入力値（１または複数）４５７３－Ｍが入力４４６１について示される。
入力値４４６３または４５７３それぞれについて、関連付けられた想定出力４４６５が示される。上述のように、リカバリテスト／訓練データセット４５７０は、画像を特定のハニーポットクラス４５７７として認識するように推論モデル４２２２を訓練するように設計または構成される。このハニーポットクラス４５７７は、推論モデル４２２２が分類するように訓練される新たなクラスであり得る。あるいは、ハニーポットクラス４５７７は、ハニーポットクラス４５７７として再利用された、クラスの１つ（例えば、図４４のクラス４４６７など）であり得る。例えば、へアブラシに見えるようにタグ付けされた銃という上記提供された仮定を使用すると、ハニーポットクラス４５７７は、「ヘアブラシに見える銃」、および入力をこの新しいハニーポットクラス４５７７に分類するように推論モデル４２２２を訓練するために提供するための入力値４５７３－４として提供される画像として導入され得る。
図４６は論理フロー４６００の実施形態を示す。論理フロー４６００は、本明細書に記載の１または複数の実施形態により実行される一部または全部の動作を示し得る。例えば、システム４２０１（またはそのコンポーネント）は、エラーを含むテスト／訓練データセット４２６０（例えば、エラー４４６９を含むデータセット４４６０など）で推論モデル４２２２を訓練した後のリカバリのために、論理フロー４６００の動作を実行し得る。
論理フロー４６００が始まり得るブロック４６１０「テスト／訓練データセットを受信」において、システム４２０１はテスト／訓練データセット４２６０を受信し得る。例えば、回路４２１０、命令４２２８の実行において、訓練データセット４２６２－１（およびテストデータセット４２６４－１など）を受信し得る。ブロック４６２０「テスト／訓練データセットに基づいて推論モデルを訓練」に進むと、システム４２０１は、ブロック４６１０で受信したテスト／訓練データセット４２６０に基づいて、推論モデル４２２２を訓練し得る。例えば、回路４２１０は、命令４２２８を実行して、推論モデル４２２２を、ブロック４６１０で受信したテスト／訓練データセット４２６０（例えば、訓練データセット４２６２－１、テストデータセット４２６４－１など）を利用して訓練する、推論モデル訓練アルゴリズム（例えば、図３の技術３００などに基づく）を実施し得る。
判定ブロック４６３０「テスト／訓練データセットでエラー検出？」に進むと、ブロック４６１０で受信し、ブロック４６２０で推論モデル４２２２の訓練に使用されたテスト／訓練データセット４２６０（例えば、訓練データセット４２６２－１など）内にエラーが存在するか判定され得る。判定ブロック４６３０から、論理フロー４６００は、判定ブロック４６４０またはブロック４６５０のいずれかに進み得る。論理フロー４６００は、ブロック４６１０で受信し、ブロック４６２０で推論モデル４２２２の訓練に使用されたテスト／訓練データセット４２６０内にエラーが存在しないという判定に基づき、判定ブロック４６３０から判定ブロック４６４０に進み得る。あるいは、論理フロー４６００は、ブロック４６１０で受信し、ブロック４６２０で推論モデル４２２２の訓練に使用されたテスト／訓練データセット４２６０内にエラーが存在しないという判定に基づき、判定ブロック４６３０からブロック４６５０に進み得る。
ブロック４６５０「リカバリテスト／訓練データセットを受信」において、システム４２０１はリカバリテスト／訓練データセット４２７０を受信し得る。例えば、回路４２１０、命令４２２８の実行において、リカバリ訓練データセット４２７２（およびテリカバリテストデータセット４２７４など）を受信し得る。ブロック４６６０「リカバリテスト／訓練データセットに基づいて推論モデルを訓練」に進むと、システム４２０１は、ブロック４６５０で受信したリカバリテスト／訓練データセット４２７０に基づいて、推論モデル４２２２を訓練し得る。例えば、回路４２１０は、命令４２２８の実行において、推論モデル４２２２を、ブロック４６１０で受信したリカバリテスト／訓練データセット４２７０（例えば、訓練データセット４２７２、テストデータセット４２７４など）を利用して訓練する、推論モデル訓練アルゴリズム（例えば、図３の技術３００などに基づく）を実施し得る。具体的には、推論モデル４２２２を、ハニーポットクラス４５７７に入力を分類するように、ブロック４６６０において訓練できる。
ブロック４６６０から、論理フローは、判定ブロック４６４０に進み得る。判定ブロック４６４０「追加のテスト／訓練データセット受信？」において、追加のテスト／訓練データセットを受信したか判定され得る。例えば、回路４２１０は、命令４２２８の実行において、追加のテスト／訓練データセット（例えば、訓練データセット４２６２－２、訓練データセット４２６２－３、テストデータセット４２７４－２など）を受信したか判定し得る。判定ブロック４６４０から、論理フロー４６００は、例えば新たに受信したテスト／訓練データセット４２６０を使用して推論モデル４２２２をさらに訓練するようにブロック４６２０に戻るか、あるいは終わり得る。論理フロー４６００は、追加のテスト／訓練データセット４２６０を受信したという判定に基づいて、判定ブロック４６４０からブロック４６２０に戻り得る。あるいは、論理フロー４６００は、追加のテスト／訓練データセット４２６０を受信しなかったという判定に基づいて終わり得る。安全なモデル実行のための敵対的訓練
図４７は、本開示に応じて実施され得る、ハードニングされたシステム４７０１の例を示す。ハードニングされたシステム４７０１は、回路４７１０と、メモリ４７２０と、インタフェース４７３０と、入力デバイス４７５２と、信頼できる実行環境（ＴＥＥ）４７７０とを備える。メモリ４７２０は、パブリック推論モデルパーティション４７２２－ＰＵＢ、入力データ４７２４、中間出力データ４７２３、出力データ４７２６、および命令４７２８を格納する。ＴＥＥ４７７０はプライベート推論モデルパーティション４７２２－ＰＲＩＶおよびＴＥＥ命令４７７８を格納する。概して、ＴＥＥ４７７０は、システム４７０１内の任意の信頼できる実行エンクレーブまたはパーティションであり得。例えば、ＴＥＥ４７７０は、回路４７１０内の信頼できる実行パーティションであり得る。別の例として、ＴＥＥ４７７０は、回路４７１０およびメモリ４７２０から、信頼できるように分離した、独自の回路およびメモリ（不図示）を有し得る。概して、ＴＥＥ４７７０は、プライベート推論モデルパーティション４７２２－ＰＲＩＶの信頼性とともに、（例えば、ＴＥＥ命令４７７８の）隔離的実行などの安全性機能を提供し得る。概して、システム４７０１は、安全に（例えば、ＴＥＥ４７７０内で）推論モデルの一部（例えば、プライベート推論モデルパーティション４７２２－ＰＲＩＶ）を実行し得る。一方、推論モデルの残部（例えば、パブリック推論モデルパーティション４７２２－ＰＵＢ）は、安全ではない計算資源（例えば、回路４７１０およびメモリ４７２０など）で実行される。
いくつかの実施形態において、パブリック推論モデルパーティション４７２２－ＰＵＢは、不正確なまたはより精度の低い極小値を解決するように、敵対的推論モデルにより訓練され得る。言い換えると、パブリック推論モデルパーティション４７２２－ＰＵＢは、そのものにより実行されると、不正確なまたはより精度の低い極小値を解決する。一方、推論モデル（例えば、パブリック推論モデルパーティション４７２２－ＰＵＢ＋プライベート推論モデルパーティション４７２２－ＰＲＩＶ）全体としては正しい極小値に解決する。
これにより、推論モデルの一部が安全に実行され、機密状態に維持されるため、同モデルが保護されるという効果を提供する。なおこれは、単純に推論モデル全体を安全な環境（ＴＥＥ）で実行するよりも有利である。例えば、多くの安全な環境では、メモリおよび計算資源が限定されている。したがって、現在の多くの推論モデルは、安全な環境で全体的に実行することはできない。なお、いくつかの例において、ＴＥＥ４７７０とは異なるシステムまたは技術を用いて、プライベート推論モデルパーティション４７２２－ＰＲＩＶを確保できる。例えば、４７２２－ＰＲＩＶは、準同型暗号化、マルチパーティ計算、またはその他同様の暗号化実行技術などを使用して、暗号化形式に移植され得る。そのような例では、ＴＥＥ４７７０の限られたメモリ空間とは異なり、暗号化されたモデルは、実行により多くの計算資源を要し、非暗号化実行よりもランタイムが長くなり得る。本明細書に提供された例では、ＴＥＥ４７７０を使用するが、開示の実施形態は、（例えば、暗号化された実行マルチパーティ実行など）ＴＥＥ４７７０とは異なる手段で確保されたプライベート推論モデルパーティション（例えば、４７２２－ＰＲＩＶ）について実施され得ることが理解されたい。
本開示は、推論モデルの一部のみが安全な環境に維持されて、推論モデルの安全性を提供するシステムおよび技術を提供する。さらに、パブリック推論モデルパーティション４７２２－ＰＵＢが不正確な、または精度の低い極小値を解決するため、敵対的パーティがパブリック推論モデルパーティション４７２２－ＰＵＢを取得しても、敵対的パーティは推論モデル４７２２の全機能を再現することはできない。
図４８は、本開示の実施形態に応じて実施されできる（例えば、図１のハードニングされたシステム４７０１の推論システム４７２２）、パーティションされた推論システム４８２２の例を示す。図４９は、安全に推論モデルを実行するために、ハードニングされたシステム（例えば、図１のハードニングされたシステム４７０１）により実施され得る例示的技術４９００を示す。図４８および４９を参照に、図１のハードニングされたシステム４７０１の動作を説明する。
より具体的に図４８を参照すると、推論モデル４８２２（またはパーティションされた推論モデル）が示される。推論モデル４８２２は、接続４８９３を介して接続された、複数のノード４８９１を含む。推論モデル４８２２は、例えばニューラルネットワークなど、様々な推論モデルのうちの任意のものであり得る。概して、ノード４８９１は、接続４８９３を介して入力（１または複数）を受信し、活性化関数に基づいて出力を得る。様々な活性化関数（例えばアイデンティティ、バイナリステップ、タンジェント、アークタンジェント、シグモイド、ロジスティックまたはソフトシグモイド、ガウスなど）の内の任意のものが使用され得る。さらに、多くの場合、値は各接続４８９３にて、重みと称する接続固有定数によりスケーリングされる。
ノード４８９１のグループを層４８９０と称し得る。例えば、層４８９０－１、層４８９０－２、層４８９０－３、層４８９０－４、および層４８９０－５が示される。なお、推論モデルに含まれる、ノードと、層の数、各層のノードの数などは任意であり得る。実際、推論モデルは多くの場合、本明細書に記載したよりも、かなり多くのノードおよび層を含む。本明細書に記載のネットワークアーキテクチャは、単に明確に示すものであり、限定的ではない。
推論モデル４８２２は、パブリック推論モデルパーティション４８２２－ＰＵＢと、プライベート推論モデルパーティション４８２２－ＰＲＩＶとにパーティションされ、パーティションの１つに選択された層が含まれる。例えば、パブリック推論モデルパーティション４８２２－ＰＵＢは、層４８９０－１、４８９０－２、および４８９０－３を含み、プライベート推論モデルパーティション４８２２－ＰＲＩＶは層４８９０－４および４８９０－５を含む。なお、プライベートパーティション、またはＴＥＥ４７７０内に維持されたパーティションは、示されるとおり、推論モデル４８２２のより後の層ではなく、より前または最初の層を含み得る。例はこの文脈に限定されない。
図４９をより具体的に参照すると、技術４９００は円４９．１から始まり得る。円４９．１において、ハードニングされたシステムは入力データ４７２４を受信し得る。例えば、システム４７０１の回路４７１０は、命令４７２８を実行して、入力データ４７２４を受信し得る。例えば、回路４７１０は、入力デバイス４７５２から入力データ４７２４を受信し得る。別の例として、回路４７１０は、インタフェース４７３０を介して、別のコンピューティングデバイスから入力データ４７２４を受信し得る。
円４９．２に進むと、ハードニングされたシステム４７０１はパブリック推論モデルパーティション４７２２－ＰＵＢを実行して、入力データ４７２４から中間出力データ４７２３を生成し得る。例えば、回路４７１０は、命令４７２８の実行において、入力データ４７２４をパーティションの最初の層４８９０への入力として使用して、パブリック推論モデルパーティション４７２２－ＰＵＢの層４８９０に関連付けられた計算に基づき、中間出力データ４７２３を生成し得る。具体例として、中間出力データ４７２３は、層４８９０－３からのノード、すなわち、パブリック推論モデルパーティション４７２２－ＰＵＢの最後の層からの出力に対応し得る。円ＢＤ３．３に進むと、ハードニングされたシステム４７０１のＴＥＥ４７７０は、中間出力データ４７２３を受信するか、それにアクセスし得る。例えば、ＴＥＥ４７７０は、ＴＥＥ命令４７７８の実行において、中間出力データ４７２３（例えば、メモリ４７２０からなど）にアクセスし得る。
円４９．４に進むと、ハードニングされたシステム４７０１は、安全にプライベート推論モデルパーティション４７２２－ＰＲＩＶを実行して、中間出力データ４７２３から出力データ４７２６を生成し得る。例えば、ＴＥＥ４７７０は、ＴＥＥ命令４７７８の実行において、中間入力データ４７２３をパーティションの最初の層４８９０への入力として使用して、プライベート推論モデルパーティション４７２２－ＰＲＩＶの層４８９０に関連付けられた計算に基づき、出力データ４７２６を生成し得る。具体例として、出力データ４７２６は、層４８９０－５からのノード、すなわち、プライベート推論モデルパーティション４７２２－ＰＲＩＶの最後の層からの出力に対応し得る。
図５０は、パーティションされた推論モデルを訓練するために実施され得るシステム５００１を示す。図５１は、論理フロー５１００の実施形態を示す。論理フロー５１００は、本明細書に記載の１または複数の実施形態において、パーティションされた推論モデル（例えば、推論モデル４７２２、推論モデル４８２２など）を訓練するために実行される一部または全部の動作を示し得る。例えば、システム５００１（またはそのコンポーネント）は、推論モデルに対してプライベートおよびパブリックパーティションを生成するために、論理フロー５１００の動作を実行し得る。システム５００１および論理フロー５１００は、互いに組み合わせて、さらに図４８のパーティションされた推論モデル４８２２を参照に説明される。ただし、例はこの文脈に限定されない。
図５０をより具体的に参照すると、システム５００１は、回路５０１０と、メモリ５０２０と、インタフェース５０３０とを備え得る。メモリ５０２０は、プライベート推論モデルパーティション５０２２－ＰＲＩＶおよびパブリック推論モデルパーティション５０２２－ＰＵＢを含む推論モデル５０２２を格納する。メモリ５０２０はさらに、パフォーマンス特徴５０２７、命令４２２８、パフォーマンスバジェット５０２９、および敵対的訓練モデル５０８０を含む。
図５１をより具体的に参照すると、論理フロー５１００はブロック５１１０から始まり得る。ブロック５１１０「パフォーマンスバジェット受信」において、システム５００１はパフォーマンスバジェット５０２９を受信し得る。例えば、回路５０１０は、命令５０２８の実行において、ユーザの選択に基づいて、パフォーマンスバジェットを受信し得る。いくつかの例において、パフォーマンスバジェット５０２９は、例えば全体的なランタイムの悪化など、性能劣化の許容レベルのインジケーションを含み得る。具体例として、パフォーマンスバジェット５０２９は、性能ペナルティが２０％まで許容できるというインジケーションを含み得る。
ブロック５１２０「層Ｌｉをプライベートパーティションに追加／パブリックパーティションから除去」に進むと、システム５００１は、層Ｌｉをプライベートモデルパーティション５０２２－ＰＲＩＶに追加し得る。いくつかの例では、プライベートと、パブリックパーティションとに層をグループ化することは、推論モデルの最後の層（例えば、出力に最も近い）から開始し得る。例えば、５つの層４８９０を有する推論モデル（例えば、推論モデル４８２２など）の場合、ｉは「５」から始まり得る。この例を使用すると、ブロック５２０において、回路５０１０は、命令５０２８を実行して、層５０９０－５をプライベート推論モデルパーティション５０９０－５に加え、パブリック推論モデルパーティション５０２２－ＰＵＢから層５０９０－５を除去し得る。
ブロック５１３０「プライベート推論モデルパーティションに対するコストパフォーマンス評価」に進むと、システム５００１は、安全な環境（例えば、ＴＥＥ４７７０など）でプライベート推論モデルパーティションＤＢＶ４２２－ＰＲＩＶを実行するコストパフォーマンスを評価し得る。いくつかの例において、ＴＥＥ４７７０は、ＴＥＥの計算性能（例えば、メモリ空間、動作（１または複数）ごとのパフォーマンスインパクト、ページサイズ、キャッシュサイズなど）を公開するアプリケーションプログラミングインタフェース（ＡＰＩ）を有し得る。したがって、いくつかの例において、ブロック５１３０（またはブロック５１２０の前）において、論理フロー５１００は、ＴＥＥ４７７０における推論モデルの実行に対する性能測定基準を決定し得る。いくつかの例では、ブロック５１３０（またはブロック５１２０の前）において、論理フロー５１００は、回路４７１０およびメモリ４７２０を使用する推論モデルの実行に対する性能測定基準を決定し得る。例えば、回路５０１０は、命令５０２８を実行して、ＴＥＥに関連付けられた性能測定基準を決定するためにＴＥＥ（例えば、ＴＥＥ４７７０）にクエリし得、当該性能測定基準のインジケーションを、パフォーマンス特徴５０２７として保存し得る。ブロックＢＤ５３０において、回路５０１０は、命令５０２８を実行して、推論モデル５０２２の層４８９０のアーキテクチャおよびパフォーマンス特徴５０２７に基づいて、ＴＥＥにおいてプライベート推論モデルパーティション５０２２－ＰＲＩＶ（またはプライベート推論モデルパーティション５０２２－ＰＩＲＶに追加する層）の実行に対する計算コストパフォーマンスを評価し得る。
判定ブロック５１４０「パフォーマンスバジェットを超えた？」に進むと、安全な環境において（例えば、ＴＥＥ４７７０において）プライベート推論モデルパーティション５０２２－ＰＲＩＶを実行することで、パフォーマンスバジェット５０２９を超えたか判定され得る。例えば、プライベート推論モデルパーティション５０２２－ＰＲＩＶが推論モデル４８２２の層４８９０－５を含み、ＴＥＥ４７７０において層４８９０－５を実行することで、１０％の性能ペナルティが導入されるものとする。さらに、パフォーマンスバジェット５０２９は、２０％未満の許容性能劣化を示すものとする。そのような例を使用して、層４８９０－５のみを含むプライベート推論モデルパーティション５０２２－ＰＲＩＶにより、パフォーマンスバジェット５０２９を超えることはない。いくつかの例では、回路５０１０は、命令５０２８の実行において、パフォーマンス特徴５０２７に基づいて、プライベート推論モデルパーティション５０２２－ＰＲＩＶの推定実行ランタイムが、パフォーマンスバジェット５０２９を超えるか判定し得る。
判定ブロック５１４０から、論理フロー５１００は、判定ブロック５１５０または判定ブロック５１６０のいずれかに進み得る。論理フロー５１００は、パフォーマンスバジェット５０２９を超えていないという判定に基づいて、判定ブロック５１４０から判定ブロック５１５０に進み得る。一方、論理フロー５１００は、パフォーマンスバジェット５０２９を超えたという判定に基づいて、判定ブロック５１４０から判定ブロック５１６０に進み得る。
判定ブロック５１５０「ｉが１を超える？」において、ｉが１を超えるか、即ち、パブリック推論モデルパーティション５０２２－ＰＵＢにまだ層があるか判定。判定ブロック５１５０から、論理フロー５１００は、ブロック５１７０またはブロック５１９０のいずれかに進み得る。論理フロー５１００は、ｉが１を超えるという判定に基づいて、判定ブロック５１５０からブロック５１７０に進み得る。一方、論理フロー５１００は、ｉが１を超えないという判定に基づいて、判定ブロック５１５０から判定ブロック５１９０に進み得る。
判定ブロック５１６０「プライベート推論モデルパーティション内の層複数？」において、プライベート推論モデルパーティション５０２２－ＰＲＩＶが複数の層を含むか判定される。例えば、回路５０１０は、命令５０２８を実行して、プライベート推論モデルパーティション５０２２－ＰＲＩＶが複数の層を含むか判定し得る。判定ブロック５１６０から、論理フロー５１００は、ブロック５１８０またはブロック５１９０のいずれかに進み得る。論理フロー５１００は、プライベート推論モデルパーティションが複数の層を含むという判定に基づき、判定ブロック５１６０からブロック５１８０に進み得る。一方、論理フロー５１００は、プライベート推論モデルパーティションが複数の層を含まないという判定に基づき、判定ブロック５１６０からブロック５１９０に進み得る。
ブロック５１７０「ｉを低減」において、システム５００１はｉを低減し得る。例えば、回路５０１０は命令５０２８の実行においてｉを低減し得る。ブロック５１７０から、論理フロー５１００は、プライベート推論モデルパーティションを評価し、場合によっては別の層を加えるように、ブロック５１２０に戻り得る。ブロック５１８０「層Ｌｉをプライベートパーティションから除去／パブリックパーティションに追加」において、システム５００１は、層Ｌｉをプライベートモデルパーティション５０２２－ＰＲＩＶから除去し、パブリック推論モデルパーティション５０２２－ＰＵＢに加え得る。
ブロック５１９０「敵対的モデルでパブリック推論モデルパーティションを訓練」において、システム５００１は、敵対的モデル５０８０でパブリック推論モデルパーティション５０２２－ＰＵＢを訓練し得る。概して、敵対的モデル５０８０でパブリック推論モデルパーティション５０２２－ＰＵＢを訓練すると、プライベートモデルの代わりに代替的サブモデルで実行された場合、パブリック推論モデルパーティション５０２２－ＰＵＢは、不正確または精度の低い極小値に達するように導かれる。即ち、敵対的損失により、プライベートモデルにおける層により生成された中間表現を暗号化またはスクランブルするように、モデル全体に「学習」させる。したがってプライベートモデルが鍵となる。
図５２は、敵対的訓練のために、敵対的モデル５２８０および代替的サブモデル５２８２に結合されたプライベート推論モデルパーティション５２２２－ＰＲＩＶと、２つのパブリック推論モデルパーティション５２２２－ＰＵＢ１および５２２２－ＰＵＢ２とに分割された例示的推論モデル５２２２を示す。上述のように、プライベートモデルの代わりに代替的サブモデル５２８２－１および５２８２－２で実行された場合、パブリック推論モデルパーティション５２２２－ＰＵＢ１および５２２２－ＰＵＢ２が不正確または精度の低い極小値に達するように導かれるように、訓練は動作する。訓練時、推論モデル５２２２は、モデルパーティション（例えば、パブリック推論モデルパーティション５２２２－ＰＵＢ１、プライベート推論モデルパーティション５２２２－ＰＲＩＶ、およびパブリック推論モデルパーティション５２２２－ＰＵＢ２）へのリードおよびライトアクセスを有する。さらに、敵対的モデル５２８０は、対応する代替的サブモデル５２８２へのリードおよびライトアクセスを有する（例えば、敵対的モデル５２８０－１は代替的サブモデル５２８２－１へのリードおよびライトアクセスを有し、敵対的モデル５２８０－２は代替的サブモデル５２８２－２へのリードおよびライトアクセスを有する）。残りの接続（例えば、点線の接続）はリードオンリーである。
いくつかの例において、メインモデル５２２２に、より多くの訓練イテレーション、敵対的モデル５２８－０－１および５２８０－２の重みに対するアクセス（例えばリードアクセス）（例えば、訓練時における敵対者の「傾向」を判定するために勾配を判定するため）、より多くの訓練データなどが設けられ得る。これにより、プライベート推論モデルパーティション５２２２－ＰＲＩＶの安全性、または暗号化が向上し得る。
セクションＶ－プライバシー
エッジデバイスに対するプライバシー配慮特徴バランサ
セクションＶ－プライバシー
エッジデバイスに対するプライバシー配慮特徴バランサ
現行の推論システムの問題点の１つとして、オブジェクト検出器（例えば、分類器モデル）が、プライバシーの影響に関わらず、検出した全てのオブジェクトを報告するように構成されていることが挙げられる。例えば、現行の推論システムは、画像における全てのオブジェクトを分類し、分類された全てのオブジェクトを報告する。したがって、プライバシー対策またはシステムのハードニングは環境における上層任せになる。本開示は、例えば一部の検出されたオブジェクトのプライバシー保護のため、定義された範囲外のオブジェクトの報告をスクリーニングするように構成され得る推論環境を提供する。この例は、カメラが撮影した画像内のオブジェクトを検出するように構成されたスマート監視カメラであり得る。スマート監視カメラは、指定の範囲外の検出物の報告をフィルタリングまたはスリーニングするように構成され得る。
法例または政府の規制により、プライバシー管理が益々強制的な物となっていることを理解されたい。例えば、欧州連合（ＥＵ）一般的データ保護規制（ＧＤＰＲ）は、個人の私的データの移転および使用を規制し、個人に自身の個人情報を制御できるようにしている。したがって、本明細書に記載のとおりに一部の検出されたオブジェクトのプライバシーを維持することは、いくつかの法律の下で必要となり得る。
図５３は、サーバ５３０１およびエッジデバイス５３０３を備える例示的推論環境５３００を示す。概して、エッジデバイス５３０３は、サーバ５３０３またはサーバ５３０３に結合されたネットワーク内へのエントリポイントを提供する任意のデバイスであり得る。例えば、エッジデバイス５３０３は、ルータ、統合アクセスデバイス（ＩＡＤ）、マルチプレクサ、セルノード、基地局など）であり得る。別の例として、エッジデバイス５３０３は、例えばカメラ又はマイクなどの、入力取得デバイスであり得る。概して、サーバ５３０１およびエッジデバイス５３０３はワイドエリアネットワーク、ローカルエリアネットワーク、またはインターネットなどの、任意の適切なインターコネクトを介して結合され得る。サーバ５３０１は回路５３１０－１と、メモリ５３２０－１と、インタフェース５３３０－１とを備える。メモリ５３２０－１は、命令５３２８－１、スクリーニング性能５３２９、プライバシーレベル仕様５３２３、およびプライバシースクリーニングされた出力データ５３２７を格納する。
エッジデバイス５３０３は、回路５３１０－３と、メモリ５３２０－３と、インタフェース５３３０－３と、入力デバイス５３５２とを備える。メモリ５３２０－３は、命令５３２８－３、入力データ５３２４、推論モデル５３２２、出力データ５３２６、スクリーニング性能５３２９、プライバシーレベル仕様５３２３、およびプライバシースクリーン出力データ５３２７を格納する。
回路５３１０－３は、命令５３２８－３を実行して、例えば、入力デバイス５３５２から、入力データ５３２４を受信し得る。さらに、回路５３１０－３は、命令５３２８－３を実行して、推論モデル５３２２および入力データ５３２４から出力データ５３２６を生成し得る。例えば、回路５３１０－３は、入力データ５３２４に推論モデル５３２２を実行して、出力データ５３２６を生成し得る。いくつかの例において、入力デバイス５３５２は、画像フレーム（例えば、静止画フレーム、動画フレームなど）を取得するように構成された画像センサであり得る。推論モデル５３２２は、入力データ５３２４を受信し、入力データ５３２４（例えば、画像フレームなどに示されるオブジェクト）からのオブジェクトを検出および分類するように構成され得る。
回路５３１０－１は、命令５３２８－１を実行して、エッジデバイス１２９のスクリーニング性能５３２９を収集および／または確認し得るするために、エッジデバイス５３０３にクエリし得る。概して、スクリーニング性能５３２９は、推論モデル５３２２により分類可能なオブジェクトのインジケーションを含み得る。例えば、スクリーニング性能５３２９は、入力データ５３２４から検出および分類され得るオブジェクト、動作、シーン、役者などのインジケーションを含み得る。さらに、回路５３１０－１は、命令５３２８－１を実行して、スクリーニング性能５３２９に部分的に基づいてプライバシーレベル仕様５３２３を生成するように、エッジデバイス５３０３をクエリし得、プライバシーレベル仕様５３２３をエッジデバイス５３０３に通信し得る。例えば、推論エンジンは、画像内の以下のオブジェクト［銃、ナイフ、爆弾、ペン、電話、鍵、岩、人間、犬、猫］を検出および分類するように構成されると仮定すると、スクリーニング性能５３２９は、推論エンジン５３２２が検出および分類するように構成されたオブジェクトのインジケーションを含み得る。スクリーニング性能によると、回路５３１０－１は、命令５３２８－１の実行において、銃、ナイフ、および爆弾以外の全検出オブジェクトをスクリーニング（またはフィルタリング）するインジケーションを含むプライバシーレベル仕様を生成し得る。
回路５３１０－３は、命令５３２８－３を実行して、出力データ５３２６およびプライバシーレベル仕様５３２３からスクリーニングされた出力データ５３２７を生成し得る。例えば、回路５３１０－３は、命令５３２８－３の実行において、出力データ５３２６から、プライバシーレベル仕様５３２３で示されたオブジェクトのリスト外の分類されたオブジェクトをフィルタリングし得る。さらに、回路５３１０－３は、命令５３２８－３を実行して、スクリーニングされた出力データ５３２７をサーバ５３０１に提供しる得る。例えば、回路５３１０－３は、インタフェース５３３０－３を介して、スクリーニングされた出力データ５３２７をサーバ５３０１に提供し得る。
図５４は、推論環境におけるプライバシー増強のために、エッジにおける出力をスクリーニングするため、環境５３００などの推論環境で実施され得る例示的技術５４００を示す。なお、分かりやすさおよび明確さのために、技術５４００を図５３の推論環境５３００を参照して説明する。しかし、これは限定を意図したものではない。
技術５４００は円５４．１から開始し得る。円５４．１において、サーバ５３０１は、エッジデバイス５３０３のスクリーニング性能を判定するため、エッジデバイス５３０３にクエリし得る。例えば、サーバ５３０１は、インタフェース５３３０－１を介して、エッジデバイス５３０３に、スクリーニング性能５３２９を受信するリクエストを送信し得る。円５４．２において、エッジデバイス５３０３は、サーバ５３０１にスクリーニング性能５３２９のインジケーションを含む情報要素を送信し得る。例えば、円５４．１でリクエストを受信したことに応じて、エッジデバイス５３０３はインタフェース５３３０－３を介して、スクリーニング性能５３２９をサーバ５３０１に送信し得る。さらに、円５４．２において、サーバ５３０１は、インタフェース５３３０－１を介して、エッジデバイス５３０３からスクリーニング性能５３２９を受信し得る。
円５４．３において、サーバ５３０１は、スクリーニング性能５３２９に部分的に基づいてプライバシーレベル仕様５３２３を生成し得る。例えば、エッジデバイス５３０３のスクリーニング性能５３２９により、サーバ５３０１は、プライバシー侵害を軽減または抑制するために、フィルタリングする分類カテゴリを生成し得る。円５４．４において、サーバ５３０１は、プライバシーレベル仕様５３２３のインジケーションを含む情報要素を、エッジデバイス５３０３に送信し得る。例えば、サーバ５３０１は、インタフェース５３３０－１を介して、プライバシーレベル仕様５３２３をエッジデバイス５３０３に送信し得る。さらに、円５４．４において、エッジデバイス５３０３は、インタフェース５３３０－３を介して、プライバシーレベル仕様５３２３をサーバ５３０１から受信し得る。
円５４．５において、エッジデバイス５３０３は入力データ５３２４を受信し得る。例えば、エッジデバイス５３０３は、入力デバイス５３５２から入力データ５３２４を受信し得る。なお、本明細書に記載のように、入力データ５３２４の複数の異なるインスタンスが、受信およびスクリーニング（またはフィルタリング）され得る。例えば、エッジデバイス５３０３は、円５４．５において、本明細書に記載のように、繰り返し入力データ５３２４を受信し、プライバシースクリーニングされた出力５３２７を生成し得る。円５４．６において、エッジデバイス５３０３は、推論モデル５３２２および入力データ５３２４から出力データ５３２６を生成し得る。例えば、エッジデバイス５３０３は、入力データ５３２４に推論モデル５３２２を実行して、出力データ５３２６を生成し得る。円５４．７において、エッジデバイス５３０３は、出力データ５３２６およびプライバシーレベル仕様５３２３からプライバシースクリーニングされた出力データ５３２７を生成し得る。例えば、エッジデバイス５３０３は、出力データ５３２６から報告されないオブジェクト（例えば、プライバシーレベル仕様５３２３に列挙されたオブジェクト、プライバシーレベル仕様５３２３から省略されたオブジェクトなど）をスクリーニング、フィルタリング、またはその他方法で除去し、プライバシースクリーニングされた出力データ５３２７としてフィルタリングされた出力を保存し得る。
円５４．８において、エッジデバイス５３０３は、サーバ５３０１にプライバシースクリーニングされた出力データ５３２７のインジケーションを含む情報要素を送信し得る。例えば、エッジデバイス５３０３は、インタフェース５３３０－３を介して、プライバシースクリーニングされた出力データ５３２７をサーバ５３０１に送信し得る。さらに、円５４．８において、サーバ５３０１は、インタフェース５３３０－１を介して、エッジデバイス５３０３からプライバシースクリーニングされた出力データ５３２７を受信し得る。
いくつかの例において、推論モデルそのものが、本明細書に記載のとおり、出力をスクリーニングするように変形され得る。例えば、推論モデルは、特定の出力を外すように変形され得る。具体例として、推論モデルの最後の層に接続する特定の重みは、推論モデルがこれら重みに関連付けられたクラスを出力しないように変形（例えば、０に設定されるなど）され得る。図５５は、サーバ５５０１およびエッジデバイス５５０３を備える例示的推論環境５５００を示す。概して、エッジデバイス５５０３は、サーバ５５０１またはサーバ５５０１に結合されたネットワーク内へのエントリポイントを提供する任意のデバイスであり得る。例えば、エッジデバイス５５０３は、ルータ、統合アクセスデバイス（ＩＡＤ）、マルチプレクサ、セルノード、基地局など）であり得る。別の例として、エッジデバイス５５０３は、例えばカメラ又はマイクなどの、入力取得デバイスであり得る。概して、サーバ５５０１およびエッジデバイス５５０３はワイドエリアネットワーク、ローカルエリアネットワーク、またはインターネットなどの、任意の適切なインターコネクトを介して結合され得る。サーバ５５０１は、回路５５１０－１と、メモリ５５２０－１と、インタフェース５５３０－１とを備える。メモリ５５２０－１は、命令５５２８－１およびプライバシースクリーニングされた出力データ５５２７を格納する。
エッジデバイス５５０３は、回路５５１０－３と、メモリ５５２０－３と、インタフェース５５３０－３と、入力デバイス５５５２とを備える。メモリ５５２０－３は、命令５５２８－３、入力データ５５２４、プライバシースクリーニングされた推論モデル５５２３、およびプライバシースクリーン出力データ５５２７を格納する。プライバシースクリーニングされた推論モデル５５２３は、プライバシースクリーニングされた出力データ５５２７を自動生成するように調整された推論モデルであり得る。例えば、プライバシースクリーニングされた推論モデル５５２３は、推論モデルに非プライベートクラス（など）に関連付けられたデータのみを出力させるように、推論モデルの重みまたは接続を調整することで生成され得る。上述の例を使用して、推論モデルは、銃、ナイフ、または爆弾の分類のみを出力する、プライバシースクリーニングされた推論モデル５５２３を生成するように、変形され得る（例えば、接続を調整することなどによる）。
回路５５１０－３は、命令５５２８－３を実行して、例えば、入力デバイス５５５２から、入力データ５５２４を受信し得る。さらに、回路５５１０－３は、命令５５２８－３を実行して、プライバシースクリーニングされた推論モデル５５２３および入力データ５５２４からプライバシースクリーニングされた出力データ５５２７を生成し得る。例えば、回路５５１０－３は入力データ５５２４にプライバシースクリーニングされた推論モデル５５２３を実行して、プライバシースクリーニングされた出力データ５５２７を生成し得る。いくつかの例において、入力デバイス５３５２は、画像フレーム（例えば、静止フレーム、動画フレームなど）を取得するように構成された画像センサであり得る。推論モデル５３２２は、入力データ５３２４を受信し、入力データ５３２４（例えば、画像フレームなどに示されるオブジェクト）からのオブジェクトを検出および分類するように構成され得る。
プライバシー配慮マルチロケーションモデル実行
プライバシー配慮マルチロケーションモデル実行
いくつかの実施形態において、推論モデルは、分散して実行され得る。例えば、推論モデルの一部は、サーバに結合されたエッジデバイス上で実行され得る。別の例として、複数のサーバを利用して、推論モデルを分散方式で実行し得る。即ち、各サーバがモデルの各部を実行する。当該推論モデル分散実行は、推論モデルが脆弱である攻撃ベクトルを明らかにする。例えば、値またはプライバシー懸念は、推論モデルの異なる部分間で異なり得る。具体例として、ニューラルネットワークにおける最初の層（例えば、入力により近い）は、リカバリ（例えば再構築）にかかる訓練イテレーションがより多くなることが多く、その後の層（例えば、出力により近い）は、推論モデルが訓練されたデータについての情報をより明らかにしやすくする場合が多い。
本開示は、分散コンピューティングプラットフォーム（例えば、サーバ、エッジデバイスなど）を調べて、プラットフォームの安全性能を判定し、その後推論モデルを分割し、判定された安全性能と、推論モデルの異なる部分の安全性要件に基づいて、部分（またはスライス）をプラットフォームに割り当て得る。
図５６は、クライアントデバイス５６０１と、サーバ５６０３および５６０５を備える例示的推論環境５６００を示す。概して、サーバ５６０３および５６０５は、推論モデルの部分を分散方式で実行するように構成される。サーバ５６０３および５６０５はクラウドベース（またはアクセス可能）計算資源、エッジデバイス、特定構成の推論モデル実行アクセラレータなどであり得る。さらに、同図では、２つのサーバ５６０３および５６０５のみが示されているが、任意の数（２、３、４、またはそれ以上）のサーバが、推論環境５６００内に提供され得ることが理解されたい。上述のように、推論環境５６００のサーバ５６０３および５６０５は、エッジデバイスであり得る。いくつかの例では、推論環境５６００は、クライアントデバイス５６０１が「エッジ」（例えば、エッジデバイス５６０３、５６０５など）における未使用計算能力を利用する、マルチエッジ環境であり得る。
クライアントデバイス５６０１と、サーバ５６０３および５６０５とは、ネットワーク（例えば、インターネットなどを含み得る）を介して結合され得る。より具体的には、インタフェース５６３０－１、５６３０－３、および５６３０－５は、デバイス間の通信またはデータ交換を促進するため、ネットワークに結合され得る。
クライアントデバイス５６０１は、回路５６１０－１と、メモリ５６２０－１と、インタフェース５６３０－１とを備える。メモリ５６２０－１は、推論モデル５６２２、入力データ５６２４、出力データ５６２６、モデル安全性要件５６２７、命令５６２８、およびサーバ性能５６２９を格納する。概して、クライアントデバイス５６０１は、モデル安全性要件５６２７およびサーバ性能５６２９に基づいて、推論モデル５６２２をモデルスライス５６２３に分割し、その後これらモデルスライス５６２３を、モデル安全性要件５６２７およびサーバ性能５６２９に基づいて、サーバ５６０３または５６０５の１つに割り当てるように動作する。したがって、推論モデル５６２２は、サーバのサーバ性能５６２９と、推論モデル５６２２の安全性要件５６２７に基づいて、モデルの部分に安全性保護を提供しながら、サーバ５６０３および５６０５により分散方式で実行され得る。
サーバ５６０３は、回路５６１０－３と、メモリ５６２０－３と、インタフェース５６３０－３とを備える。メモリ５６２０－３は、モデルスライス５６２２－１および命令５６２８－３を格納する。同様に、サーバ５６０５は、回路５６１０－５と、メモリ５６２０－５と、インタフェース５６３０－５とを備える。メモリ５６２０－５は、モデルスライス５６２２－２および命令５６２８－５を格納する。概して、サーバ５６０３および５６０５は、各サーバの安全性能（例えば、改竄保護、安全実行規定など）を公開する、アプリケーションプログラミングインタフェース（ＡＰＩ）を提供する。さらに、サーバ５６０３および５６０５は、推論モデル５６２２の部分（例えば、モデルスライス５６２３）を分散方式で実行するように構成される。
回路５６１０－１は、命令５６２８－１を実行して、各サーバのそれぞれの安全生性能を判定するように、サーバ５６０３および５６０５にクエリし得る。回路５６１０－３および５６１０－５は、クエリに応じてそれぞれ命令５６２８－３および５６２８－５を実行して、それぞれのサーバ５６０３または５６０５の安全性能をクライアントデバイス５６０１に送信し得る。回路５６１０－１は、命令５６２８－１を実行して、各サーバから受信した安全性能のインジケーションを、サーバ性能５６２９として格納し得る。
回路５６１０－１は、命令５６２８－１を実行して、サーバ性能と、モデル安全性要件５６２７とに基づいて、推論モデル５６２２をモデルスライス５６２３に分割し得る。概して、モデル安全性要件５６２７は、推論モデル５６２２の各層、部分、または部位についての安全性要件のインジケーションを含み得る。回路５６１０－１は、命令５６２８－１を実行して、どのサーバ５６０３または５６０５が、どのモデルスライス５６２３を実行するかを、モデル安全性要件５６２７およびサーバ性能５６２９に基づいて判定し得る。さらに、回路５６１０－１は、命令５６２８－１を実行して、割り当てられたモデルスライス５６２３と、モデルスライス５６２３を分散方式で実行する命令のインジケーションを含む、情報要素を各サーバ５６０３および５６０５に送信し得る（例えば、インタフェース５６３０－１などを介して）。
回路５６１０－３および５６１０－５は、それぞれ命令５６２８－３および５６２８－５を実行して、受信したモデルスライス５６２３を分散方式で実行し得る。
図５７は、分散コンピューティングプラットフォームの安全性能に基づいて、推論モデルを分散方式で実行するために、環境５６００などの推論環境で実施され得る、例示的技術５７００を示す。なお分かりやすさおよび明確さのために、技術５７００を図５６の推論環境５６００を参照して説明する。しかし、これは限定を意図したものではない。
技術５７００は円５７．１から始まり得る。円５７．１において、クライアントデバイス５６０１は、サーバ５６０３および５６０５の安全性能について、サーバ５６０３および５６０５にクエリし得る。例えば、クライアントデバイス５６０１は、インタフェース５６３０－１を介して、サーバ５６０３および５６０５のサーバ性能５６２９を受信するリクエストを送信し得る。エッジデバイス５３０３に。
円５７．２および５７．３において、サーバ５６０３および５６０５はそれぞれ、それらそれぞれの安全性能についてのインジケーションをクライアントデバイス５６０１に送信し得る。例えば、円５７．１でリクエストを受信したことに応じて、サーバ５６０３はインタフェース５６３０－３を介して、サーバ５６０３それぞれのサーバ性能５６２９をクライアントデバイス５６０１に送信し得る。同様に、円５７．１でリクエストを受信したことに応じて、サーバ５６０５はインタフェース５６３０－５を介して、サーバ５６０５それぞれのサーバ性能５６２９をクライアントデバイス５６０１に送信し得る。
円５７．４において、クライアントデバイス５６０１は、モデル安全性要件５６２７および受信したサーバ性能５６２９に部分的に基づいて、推論モデル５６２２をモデルスライス５６２３に分割し得る。さらに円５７．４において、クライアントデバイス５６０１は、サーバ性能５６２９およびモデル安全性要件５６２７に基づいて、分散方式での実行のために、モデルスライス５６２３をサーバ５６０３または５６０５の１つに割り当て得る。
円５７．５および５７．６において、クライアントデバイス５６０１は、サーバ５６０３および５６０５それぞれに、それぞれのサーバに割り当てられたモデルスライス５６２３のインジケーションとともに、受信したモデルスライス５６２３を分散方式で実行するインジケーションを送信し得る。例えば、円５７．５において、クライアントデバイス５６０１は、インタフェース５６３０－１を介してモデルスライス５６２３－１をサーバ５６０３に送信し得る。同様に、円５７．６において、クライアントデバイス５６０１は、インタフェース５６３０－１を介して、モデルスライス５６２３－２をサーバ５６０５に送信し得る。円５７．７および５７．８において、サーバ５６０３および５６０５は、受信したモデルスライス５６２３を分散方式で実行し得る。
セクションＶＩ－概要
入力品質補償のための繰り返し推論
セクションＶＩ－概要
入力品質補償のための繰り返し推論
現行の推論システムの問題の１つとして、入力データ品質および／または量が望ましくなくなり得ることが挙げられる。例えば、データセットにおいて過剰な数のサンプルが、許容不能と評価され得る。そのような場合、推論モデルは、閾値レベルの信頼性なしで、許容不能なサンプルを分類不能となり得る。さらに、これら許容不能なサンプルは、フィルタリングされて除去され得る。これにより、入力データ（例えば、訓練またはテスト用）量が低減され得る。したがって、本開示は、入力データにおける許容不能サンプルを、それらを許容可能なサンプルに変換する意図で、拡張可能な推論システムを提供する。
図５８は、本開示に応じて実施され得る、ハードニングされたシステム５８０１の例を示す。ハードニングされたシステム５８０１は、回路５８１０と、メモリ５８２０と、インタフェース５８３０と、入力デバイス５８５２とを備える。メモリ５８２０は、１または複数の推論モデル５８２２－１、５８２２－２、５８２２－Ｎ（または推論モデル５８２２）のセット、入力データ５８２４、拡張入力データ５８２５、出力データ５８２６、分類データ５８２８、拡張分類データ５８２９、および命令５８２８を格納する。多くの実施形態において、入力データ５８２４は、推論モデル５８２２の１または複数により分類される１または複数のサンプルのデータセットを含み得る。動作時、回路５８１０は、命令５８２８を実行して、推論モデル５８２２の１または複数により、入力データ５８２４に基づいて生成された分類データ５８２８が、許容不能と評価されたことに応じて、１または複数の拡張入力データ５８２５－１、５８２５－２、５８２５－Ｎのセット（または拡張入力データ５８２５のセット）を生成し得る。
さらに、回路５８１０は、命令５８２８を実行して、推論モデル５８２２の１または複数により、拡張入力データ５８２５を分類して、拡張分類データ５８２９を生成し得る。いくつかの実施形態において、このサイクルは、拡張分類データ５８２９が許容可能と評価されるまで繰り返し得る。場合によっては、回路５８１０は、命令５８２８を実行して、入力データ５８２４の品質、および／または量を補償するためなどに、１または複数の繰り返し推論を実行し得る。多くの実施形態において、分類データを許容可能または許容不能と評価することは、分類データ５８２８に含まれる信頼性レベルに基づき得る。例えば、入力データにおけるアーチファクト（例えば、動画／画像アーチファクト）は、低信頼性レベルに帰結し得る。分類データが許容可能と評価されると、入力データ５８２４、分類データ５８２８、拡張入力データ５８２５、および拡張分類データ５８２９またはそのインジケーションの１または複数が出力データ５８２６として提供され得る。
いくつかの実施形態において、分類または推論を決定するため、推論モデル５８２２のセットの中で、投票５８３２が行われ得る。様々な実施形態において、フローオーケストレーション５８３０により、データがどのように推論モデル５８２２のセットを通じて流れるか、マッピングされ得る。１または複数の実施形態において、推論モデル５８２２の１または複数による分類などに基づいて、アラート５８３４が生成され得る。
例えば、回路５８１０は、命令５８２８を実行して、推論モデル５２２による入力データ５８２４の分類における信頼性レベルが閾値（例えば、７５％）を超える場合に、分類データ（例えば、分類データ５８２８および／または拡張分類データ５８２９）を許容可能として評価し得る。様々な実施形態において、データセット（即ち、許容可能と評価）における使用可能なサンプル数を、許容不能サンプル１または複数の態様をそれらが拡張後に許容可能と評価されるように拡張することで増加してよい。いくつかの実施形態において、許容不能サンプルの拡張は、ガンマ変化、画素シフト、ノイズ除去、エラー修正などの１または複数を含み得る。場合によっては、１または複数の拡張は、並列に実行および／または分類され得る。さらに、動作異常などを特定するため、１または複数の拡張バージョンのセットを、比較および評価してよい。多くの場合、使用可能なサンプル数を増やすことで、ハードニングされたシステムの精度が向上し得る。例えば、推論モデル５８２２は、より大きいサンプルセットにより再訓練され得る。これは通常、向上した推論モデルに帰結する。
場合によっては、回路５８１０は、命令５８２８を実行して、メモリ５８２０を入力デバイス５８５２に結合するインタフェース５８３０に基づいて、またはインタフェース５８３０が入力デバイス５８５２と通信する通信方式に基づいて、入力データ５８２４を特定および／または受信し得る。多くの実施形態において、入力デバイス５８５２は、環境および／または状況に対する、特別、および／または困難なアクセスを含み得る。例えば、入力デバイス５８５２は、珍しいまたは限られたイベント（例えば、津波、地震、紛争、市場の異常、限られた歴史的記録など）を取得する、衛星、スパイカメラ、モノのインターネット（ＩｏＴ）デバイス、またはその他トランスデューサを含み得る。なお、単一のインタフェース５８３０のみが示される。しかし、いくつかの例において、異なる入力デバイス５８５２または異なる特徴（例えば、異なる安全性要件など）を持つ入力デバイス５８５２に対して、異なるインタフェース５８３０が提供され得る。
回路５８１０は、命令５８２８を実行して、推論モデル５８２２を利用して入力データ５８２４に基づいて、分類データ５８２８を生成し得る。その後、分類データ５８２８は、入力データ５８２４が許容可能（例えば、信頼性閾値を超えることによる）かを判定するように評価され得る。入力データ５８２４が、分類データ５８２８に基づくなどして許容不能とされた場合、回路５８１０は命令５８２８を実行して、拡張入力データ５８２５を生成する１または複数の方法で、入力データ５８２４を拡張し得る。いくつかの実施形態において、拡張は、ローカルプロパティを維持する変換を含み得る。拡張入力データ５８２５は、推論モデル５８２２により分類されて、拡張分類データ５８２９が生成され得る。拡張分類５８２９は、拡張分類データ５８２９が出力データとして提供されるように、許容可能か判定するように評価され得る。
様々な実施形態において、動作異常などを検出するように、分類データ５８２８および拡張分類データ５８２９の１または複数のバージョンが比較され得る。例えば、推論モデル５８２２が異なる分類および／または信頼性レベルを生成する、分類データ５８２８および拡張分類データ５８２９の１または複数のバージョンは、ハードニングされたシステム５８０１を騙す試みを示し得る。例えば、同じ入力に対する、拡張前後の２つの出力が、矛盾した予測につながる場合（例えば＜＜停止＞＞と＜＜制限９０＞＞）は、システムを騙す試みを示し得る。場合によっては、入力データ５８２４の評価に基づいて、アラートまたはログなどの通知が生成され得る。さらに、またはあるいは、１または複数の修正動作が、入力データ５８２４の評価に基づいて実施され得る。
図５９は、論理フロー５９００の実施形態を示す。論理フロー５９００は、本明細書に記載の１または複数の実施形態により実行される一部または全部の動作を示し得る。例えば、ハードニングされたシステム５８０１（またはそのコンポーネント）は、入力データ品質（例えば、入力データの推論モデルによる分類の精度または信頼性）を向上するために、入力データを拡張するように、論理フロー５９００の動作を実行し得る。
論理フロー５９００が始まり得るブロック５９１０「入力データ受信」において、ハードニングされたシステム５８０１は入力データ５８２４を受信し得る。例えば、入力データ５８２４は、インタフェース５８３０を介して入力デバイス５８５２から受信され得る。いくつかの実施形態において、入力データ５８２４は、ブロック５９１２の前に前処理され得る。ブロック５９１２「推論モデルに基づいて入力データを分類して分類データを生成」に進むと、入力データが、推論モデルに基づいて分類されて、分類データが生成され得る。例えば、推論モデル５８２２は、入力データ５８２４に基づいて、分類データ５８２８を生成し得る。判定ブロック５９１４「入力データ品質許容可能？」において、分類データに基づいて、入力データが許容可能または許容不能と評価され得る。例えば、入力データ５８２４は、分類データ５８２８に基づいて、許容可能または許容不能と評価され得る。論理フロー５９００は、入力データが許容不能と評価されると、ブロック５９１６に進み得、入力データが許容可能と評価されると、ブロック５９１８に進み得る。
ブロック５９１６「入力データ拡張」において、入力データが拡張され得る。例えば、入力データ５８２４を変形して、拡張入力データ５８２５が生成され得る。多くの実施形態において、論理フロー５９００がブロック５９１６を通過するたびに、異なる拡張が入力データに適用され得る。論理フロー５９００は、ブロック５９１２に戻り、上述のように繰り返し得る。一方、入力データが許容可能と評価され、論理フロー５９００がブロック５９１８に進むと、分類データは出力データとして提供され得る。例えば、拡張分類データ５８２９が出力データ５８２６として提供され得る。いくつかの実施形態において、入力データ５８２４、分類データ５８２８、および拡張入力データ５８２５の１または複数が拡張分類データ５８２９と共に、またはその代わりに出力データ５８２６として提供され得る。ブロック５９１８から、論理フロー５９００は終わり得るか、新たな入力を受信したことに基づいて繰り返され得る。
図６０は、論理フロー６０００の実施形態を示す。論理フロー６０００は、本明細書に記載の１または複数の実施形態により実行される一部または全部の動作を示し得る。例えば、ハードニングされたシステム５８０１（またはそのコンポーネント）は、入力データ品質（例えば、入力データの推論モデルによる分類の精度または信頼性）を向上するために、入力データを分割および／または拡張して投票を使用するように、論理フロー６０００の動作を実行し得る。
論理フロー６０００が始まり得るブロック６０１０「入力データ受信」において、ハードニングされたシステム５８０１は入力データ５８２４を受信し得る。例えば、入力データ５８２４は、インタフェース５８３０を介して入力デバイス５８５２から受信され得る。いくつかの実施形態において、入力データ５８２４は、ブロック６０１２の前に前処理され得る。ブロック６０１２「入力データに基づいて、それぞれ異なる拡張をされる拡張入力データのセットを生成」に進むと、拡張入力データのセットが生成される。いくつかの実施形態において、拡張入力データのセットは、拡張データ５８２５－１、５８２５－２、５８２５－Ｎを含み得る。例えば、拡張入力データのセットは、（例えば、ガンマ変化、画素シフト、ノイズ除去、エラー修正など）の様々な拡張の結果を含み得る。
ブロック６０１４「１または複数の推論モデルでセット内の各拡張入力データを分類」に進むと、１または複数の推論モデルで、様々な拡張のそれぞれが分類され得る。例えば、入力データの各拡張バージョンは、推論モデル５８２２－１、５８２２－２、５８２２－ｎのうちの１または複数で分類され得る。判定ブロック６０１６「異なる拡張入力データの分類に基づく投票を介して許容可能入力データ特定」に進むと、入力データ（またはその１または複数の拡張）が許容可能か、異なる拡張入力データの分類に基づく投票を介して判定され得る。判定ブロック６０１６の評価がｙｅｓであれば、論理フロー６０００は、ブロック６０２０に進み得る。判定ブロック６０１６の評価がｎｏであれば、論理フロー６０００は、ブロック６０１８に進み得る。
ブロック６０１８「入力データに対する新たな拡張セットを特定」において、入力データに対する新たな拡張セットが特定され得る。例えば、拡張入力データ５８２５は、入力データ５８２４に対する新たな拡張セットで更新され得る。ブロック６０１８後、論理フロー６０００は、ブロック６０１２に戻り、新たな拡張セットで上述のように繰り返し得る。ブロック６０１６での評価がｙｅｓである場合を再び参照すると、論理フロー６０００はブロック６０２０に進み得る。ブロック６０２０「最高の信頼性スコアを持つ分類データを出力データとして提供」において、最高の信頼性スコアを持つ分類が出力データとして提供され得る。いくつかの実施形態において、これはさらに、または代替的に投票に基づいて判定され得る。ブロック６０２０から、論理フロー６０００は終わり得るか、新たな入力を受信したことに基づいて繰り返され得る。
図６１は、論理フロー６１００の実施形態を示す。論理フロー６１００は、本明細書に記載の１または複数の実施形態により実行される一部または全部の動作を示し得る。例えば、ハードニングされたシステム５８０１（またはそのコンポーネント）は、入力データを分割および／または拡張し、異常を検出するのに投票を利用し、アラートを生成する、および／または敵対的なものをフィルタリングして除去するように、論理フロー６１００における動作を実行し得る。
論理フロー６１００が始まり得るブロック６１１０「入力データ受信」において、ハードニングされたシステム５８０１は入力データ５８２４を受信し得る。例えば、入力データ５８２４は、インタフェース５８３０を介して、入力デバイス５８５２から受信され得る。いくつかの実施形態において、入力データ５８２４は、ブロック５１２の前に前処理され得る。ブロック６１１２「入力データに基づいて、それぞれ異なる拡張をされる拡張入力データのセットを生成」に進むと、拡張入力データのセットが生成される。いくつかの実施形態において、拡張入力データのセットは、拡張データ５８２５－１、５８２５－２、５８２５－Ｎを含み得る。例えば、拡張入力データのセットは、（例えば、ガンマ変化、画素シフト、ノイズ除去、エラー修正など）様々な拡張の結果を含み得る。
ブロック６１１４「１または複数の推論モデルでセット内の各拡張入力データを分類」に進むと、１または複数の推論モデルで、様々な拡張のそれぞれが分類され得る。例えば、入力データの各拡張バージョンは、推論モデル５８２２－１、５８２２－２、５８２２－ｎのうちの１または複数で分類され得る。判定ブロック６１１６「入力データの異なる拡張の分類に基づく投票を介して異常が検出？」に進むと、異なる拡張入力データの分類に基づく投票を利用して異常が検出され得る。判定ブロック６１１６の評価がｙｅｓであれば、論理フロー６１００は、ブロック６１２０に進み得る。判定ブロック６１１６の評価がｎｏであれば、論理フロー６１００は、ブロック６１１８に進み得る。
ブロック６１１８「最高の信頼性スコアを持つ分類データを出力データとして提供」において、最高の信頼性スコアを持つ分類が出力データとして提供され得る。いくつかの実施形態において、これはさらに、または代替的に投票に基づいて判定され得る。ブロック６１１６での評価がｙｅｓである場合を再び参照すると、論理フロー６１００はブロック６１２０に進み得る。ブロック６１２０「異常をフィルタリングおよび／またはアラートを生成」において、異常の検出に応じて、アラートおよび／またはフィルタが実施され得る。例えば、アラートは、例外の生成を含み得る。ブロック６１２０から、論理フロー６１００は終わり得るか、新たな入力を受信したことに基づいて繰り返され得る。
暗号化モデルの活性化関数
暗号化モデルの活性化関数
現行の推論システムの問題の１つとして、ＡＩネットワーク内のノードの活性化が非効率となり得ることが挙げられる。したがって、本開示は、推論時に入力データに計算を必要とすることなく、効率的な活性化を可能にする推論システムを提供する。これにより、データ非依存システムが得られる。データ非依存システムは、準同型暗号化とともに使用され得る。様々な実施形態において、準同型暗号化は、暗号文への計算を可能にする暗号化の形式を含み得る。これは、復号された場合に、平文に実行されたとされる動作の結果に一致するような、暗号化された結果を生成する。典型的には、準同型暗号化は、多項式計算にのみ対応する。したがって、一般的な活性化関数（例えば、ＲｅＬＵ、ＴａｎＨ、Ｓｉｇｍｏｉｄ、Ｓｏｆｔｍａｘ）はそのまま使用できない。したがって、典型的には近似（例えば、Ｔａｙｌｏｒ ｓｅｒｉｅｓ、Ｃｈｅｂｙｓｈｅｖが準同型暗号化されたネットワークに使用される。しかし、これらは精度が低く、ランタイムが長くなる。
多くの実施形態において、本明細書に記載の推論システム（即ち、ハードニングされたシステム６２０１）は、一般的な活性化関数の場合のように精度（例えば、スコア変化＋／－１％以内）維持しながら、モデル格納に関してオーバヘッドが大きくないことが要され得る。活性化関数は、入力または入力セットに対して、ノード、またはニューロンの出力を定義し得る。多くの場合、この出力はその後次のノードの入力として使用され、解が見つかるまでそれが継続する。いくつかの実施形態において、ハードニングされたシステム６２０１は、近似に基づく活性化よりも数倍早く動作し得る。様々な実施形態において、ハードニングされたシステム６２０１は、訓練済みモデルに、方法を事後適用し得る。さらに、方法は微調整を必要としなくなり得る。場合によっては、効率向上のために、専用ハードウェアが含まれ得る。
図６２は、本開示に応じて実施され得る、ハードニングされたシステム６２０１の例を示す。ハードニングされたシステム６２０１は、回路６２１０と、メモリ６２２０と、インタフェース６２３０と、入力デバイス６２５２とを備え得る。メモリ６２２０は、入力データ６２２４、推論モデル６２２２、出力特徴マップ６２２５、パラメータ６２２７、活性化統計６２２３、出力データ６２２６、活性化マトリクス６２２９、および命令６２２８を格納する。多くの実施形態において、入力データ６２２４は訓練データセットを含み得る。動作時、回路６２１０は、命令６２２８を実行して、新規のデータ非依存活性化による、暗号化されたモデルに対する専用活性化関数を実施し得る。
より詳細に後述するように、回路６２１０は、命令６２２８を実行して、活性化統計６２２８の収集、活性化統計６２２８の分析、推論時での処理の内の１または複数を実行し得る。例えば、まず回路６２１０は、命令６２２８を実行して、推論モデル６２２２（例えば、訓練済みのディープニューラルネットワーク（ＤＮＮ）モデル）および入力データ６２２４（例えば、サンプルを有する訓練データセット）を取得し、全層に対する各出力特徴マップ６２２５に対応する空活性化マトリクス６２２９を初期化し得る。典型的に、入力データ６２２４における各訓練サンプルは、順伝播され得、一方全層に対する全活性化は、対応する活性化マトリクス６２２９に蓄積され、活性化マップ６２３１が生成される。様々な実施形態において、活性化統計６２２３は、完成した活性化マトリクス６２２９および／または活性化マップを含み得る。
次に、回路６２１０は、命令６２２８を実行して、活性化統計６２２３を分析し得る。いくつかの実施形態において、統計は、１または複数のパラメータ６２２７に基づいて分析され得る。場合によっては、１または複数のパラメータ６２２７はユーザにより提供され得る。多くの場合、１または複数のパラメータ６２２７は、第１、第２、および第３パラメータを含み得る。第１パラメータは、発火された活性化が固定されるパーセントを含み得る。第２パラメータは、発火されるべきニューロンの合計のパーセントを含み得る。第３パラメータは、固定された第１パラメータインデクスを取得する、総上位活性化のパーセンタイルを含み得る。例えば、ユーザは、第１パラメータを５０、第２パラメータを８０、そして第３パラメータを７０として選択し得る。そのような例では、これは以下を意味する。即ち、８０％のニューロンが発火し、その５０％が毎回ランダム化され、残りの５０％が事前に固定され、上位７０％の活性化からランダムに選択される。回路６２１０は、命令６２２８を実行して、各活性化マップ６２３１をスキャンし得る。これにより、最も活性化回数の多いニューロン（即ち、最も活性化された特徴マップ値）から選択された、ランダムな第１パラメータパーセントのインデクスのインデクスが保存される。
ランタイム時の推論において、回路６２１０は、命令６２２８を実行して、活性化統計６２２３を分析し得る。推論時の実際の活性化動作は、処理される層についての、対応する保存されたロケーションマップ（即ち、活性化マップ６２３１）内の全てのニューロンを通過することを含み得る。残りの（第２パラメータ－第１パラメータ）活性化パーセントは、必要数のニューロンをランダムに発火することで満たされ得る。この方法によると、データそのものに対して推論時に計算が行われない（したがって、データに依存しない）、効率的な活性化が可能になる。さらに、精度を維持しながらモデル格納に対して、小さなオーバヘッドのみを要するものとなり得、近似に基づく活性化よりも数倍早い動作が実現され得る。また、この方法は、訓練済みモデルに対して事後適用され得、微調整を要さない。
図６３は、論理フロー６３００の実施形態を示す。論理フロー６３００は、本明細書に記載の１または複数の実施形態により実行される一部または全部の動作を示し得る。例えば、ハードニングされたシステム６２０１（またはそのコンポーネント）は、効率的な推論システムのために、論理フロー６３００の動作を実行し得る。
論理フロー６３００はブロック６３０２から始まり得る。ブロック６３０２「推論モデルにおける各層についての出力特徴マップに対応する１または複数のマトリクスを初期化」において、推論モデルにおける各層についての出力特徴マップに対応する１または複数のマトリクスが初期化され得る。例えば、１または複数の出力特徴マップ６２２５に対応する１または複数の活性化マトリクス６２２９が初期化され得る。
ブロック６３０４「データセット内のサンプルの活性化を、１または複数のマトリクスに蓄積して、活性化統計を生成」に進むと、データセットデータセット内のサンプルの活性化が、対応するマトリクスに蓄積されて、活性化統計が生成され得る。例えば、各サンプルの各活性化は、活性化マトリクス６２２９に蓄積され得る。いくつかの実施形態において、各サンプルは順伝播され得、一方全層の全活性化マップは保存される。
ブロック６３０６「第１、第２、および第３パラメータを決定。第１パラメータは、固定される活性化のパーセントを含み、第２パラメータは、推論モデル内の発火すべきノードの総パーセントを含み、第３パラメータは、固定された活性化が得られる総上位活性化のパーセンタイルを含む」において、第１、第２、および第３パラメータが決定され得る。例えば、パラメータ６２２７は、第１、第２、および第３パラメータを含み得る。様々な実施形態において、パラメータ６２２７は、ユーザ入力に基づいて決定され得る。
ブロック６３０８「活性化統計、第１パラメータ、第２パラメータ、および第３パラメータに基づいて、専用活性化関数を実施」に進むと、活性化統計、第１パラメータ、第２パラメータ、および第３パラメータに基づいて、専用活性化関数が実施され得る。例えば、専用活性化関数は、パラメータ６２２７および活性化統計６２２３に基づいて実施され得る。そのような場合において、活性化統計６２２３は、活性化マトリクス６２２９および／または活性化マップ６２３１を含み得る。
図６４は、論理フロー６４００の実施形態を示す。論理フロー６４００は、本明細書に記載の１または複数の実施形態により実行される一部または全部の動作を示し得る。例えば、ハードニングされたシステム４０１（またはそのコンポーネントは、効率的な推論システムのために、論理フロー６４００の動作を実行し得る。
論理フロー６４００は、ブロック６４０２で始まり得る。ブロック６４０２「保存された固定活性化をロード」において、保存された固定活性化がロードされ得る。例えば、活性化マトリクス６２２９および活性化マップ６２３１の１または複数における固定された活性化がロードされ得る。ブロック６４０４、「構成：固定されたロケーションおよび発火する出力ニューロンのパーセント」に進むと、固定されたロケーションと、発火される出力ニューロンのパーセントを含む１または複数の構成パラメータが、決定、実施、および／または構成され得る。例えば、命令６２２８は、入力データ６２２４、推論モデル６２２２、活性化統計６２２３、出力特徴マップ６２２５、パラメータ６２２７、出力データ６２２６、および活性化マップ６２３１の内の１または複数に基づいて、固定されたロケーションおよび出力ニューロンのパーセントを決定／構成し得る。
ブロック６４０２を再度参照すると、保存された固定された活性化がロードされると、論理フロー６４００はブロック６４０６に進み得る。ブロック６４０６「固定されたロケーションのニューロンに加え、ランダムパーセントのニューロンを発火」において、固定されたロケーションでのニューロンと、ランダムパーセントのニューロンの、またはあるパーセントのランダムニューロンが発火される。例えば、ニューロンのランダムパーセントは、１または複数のパラメータ６２２７に基づいて判定され得る。いくつかの実施形態において、本明細書に記載の１または複数の活性化関数は、マルチパーティ計算（例えば、ＭＰＣ方式および／または準同型暗号化など）で暗号化されたニューラルネットワークに使用され得る。
モデル保護のためのマルチパーティ実行
モデル保護のためのマルチパーティ実行
推論モデルは、例えばクラウド計算資源、エッジデバイスなどにより、分散環境で実行され得る。推論システムの部分を当該環境で実行すると、データ漏洩のリスクに曝される。単純な例として、推論システムは、プライベートコンポーネント（例えば、健康記録、財産情報など）を有する情報を推論するように構成され得る。しかし、敵対的パーティも、分散環境内で推論システムを実行することによる入力および／または出力があれば、プライベート情報を推論可能であり得る。さらに、モデルの部分は、クラウドおよび／またはエッジデバイスで実行されると、抽出のリスクに曝されることが多い。
本開示は、各分散コンピューティングプラットフォーム（例えば、各モデルスライスなど）を示す敵対者を形成する。敵対者は、別の敵対者の入力および出力に対するアクセスを有する。したがって、訓練時、推論モデルは、接合損失（例えば、分類損失などの一般タスク特有損失）と、敵対的損失を適用して訓練され得る。これにより、モデルの各コンポーネントが重要であることが保証される。訓練されると、モデルスライスは、異なるコンピューティングプラットフォームにより分散方式で実行され得る。マルチパーティ敵対的訓練の結果、各モデルスライスは、推論の精度を維持しながら、プライバシーおよび／または安全性機能を発揮し得る。これは、モデルスライスを実行するコンピューティングプラットフォーム同士が、互いにＩ／Ｏアクセスを有する場合にも当てはまる。言い換えると、敵対的訓練は、モデルスライスを機密共有者として協働するように誘導するように使用され得る。ここで機密は、モデル機能（例えば、入力マッピングに対する推論モデル出力）である。即ち、機密はｆ（ｘ）→ｙで、ｘは入力サンプルで、ｙは結果（例えば、分類、予測、推論、生成された出力など）である。したがって、各モデルスライスは、機密（例えば、ｆ（ｘ）→ｙ）の確認に必須となる。一方、各モデルスライスを単独で使用しても、機密（ｆ（ｘ）→ｙ）の確認はできない。
図６５は、クライアントデバイス６５０１と、サーバ６５０３、６５０５、および６５０７を備える例示的推論環境６５００を示す。概して、サーバ６５０３、６５０５、および６５０７は、推論モデルの部分を分散方式で実行するように構成される。サーバ６５０３、６５０５および６５０７は、クラウドベース（またはアクセス可能）計算資源、エッジデバイス、特定構成の推論モデル実行アクセラレータなどであり得る。さらに、同図では、３つのサーバ６５０３、６５０５および６５０７のみが示されているが、任意の数（１、２、３、４、またはそれ以上）のサーバが、推論環境６５００内に提供され得ることが理解されたい。上述のように、推論環境６５００のサーバ６５０３、６５０５および６５０７は、エッジデバイスであり得る。いくつかの例では、推論環境６５００は、クライアントデバイス６５０１が「エッジ」（例えば、エッジデバイス６５０３、６５０５など）における未使用計算能力を利用してモデルスライスを実行する、マルチエッジ環境であり得る。
クライアントデバイス６５０１と、サーバ６５０３、６５０５、および６５０７とは、ネットワーク（例えば、インターネットなどを含み得る）を介して結合され得る。より具体的には、インタフェース６５３０－１、６５３０－３、６５３０－５、および６５３０－７は、デバイス間の通信またはデータ交換を促進するため、ネットワークに結合され得る。
クライアントデバイス６５０１は、回路６５１０－１と、メモリ６５２０－１と、インタフェース６５３０－１とを備える。メモリ６５２０－１は、推論モデル６５２２、入力データ６５２４、および出力データ６５２６を格納する。推論モデル６５２２は、モデルスライス６５２３を含む。概して、クライアントデバイス６５０１は、推論モデル６５２２の分散実行の調整および提供を行うために動作する。
サーバ６５０３は、回路６５１０－３と、メモリ６５２０－３と、インタフェース６５３０－３とを備える。メモリ６５２０－３は、モデルスライス６５２２－１および命令６５２８－３を格納する。同様に、サーバ６５０５は、回路６５１０－５と、メモリ６５２０－５と、インタフェース６５３０－５とを備える。メモリ６５２０－５は、モデルスライス６５２２－２および命令６５２８－５を格納する。さらに、サーバ６５０７は、回路６５１０－７と、メモリ６５２０－７と、インタフェース６５３０－７とを備える。メモリ６５２０－７は、モデルスライス６５２２－３および命令６５２８－７を格納する。概して、サーバ６５０３、６５０５、および６５０７は推論モデル６５２２（例えばモデルスライス６５２３－１、６５２３－２、および６５２３－３など）の部分に対する実行環境を提供する。
概して、サーバ６５０３、６５０５、および６５０７はそれぞれ、モデルスライス６５２３の１つを分散方式で実行し得る。例えば、回路６５１０－３は、命令６５２８－３を実行して、モデルスライス６５２３－１を実行し得、回路６５１０－５は、命令６５２８－５を実行してモデルスライス６５２３－２を実行し得、回路６５１０－７は、命令６５２８－７を実行して、モデルスライス６５２３－３を実行し得る。
上述のように、本開示は、分散型システムにおける各パーティを置き換える敵対的モデルで、モデルスライスを訓練可能にする。
図６６は、上述のように、分散環境において安全に実行される、パーティションされた推論モデルを訓練するために実施され得るシステム６６０１を示す。システム６６０１は、回路６６１０と、メモリ６６２０と、インタフェース６６３０とを備える。メモリ６６２０は、複数の部位に分割された推論モデル６６２２、またはモデルスライス６６２３を格納する。例えば、推論モデル６６２２は、モデルスライス６６２３－１、６６２３－２、および６６２３－３を含むように示される。概して、推論モデルは、分散型コンピューティングプラットフォームとして、多数の部分（またはスライス）に分割され得る。例えば、図６５の推論環境６５００は、具体的にはサーバ６５０３、６５０５、および６５０７である、モデル部分を実行可能な３つのコンピューティングプラットフォーム（またはパーティ）を示す。メモリ６６２０は、各モデルスライス６６２３に対する敵対的モデル６６２５も含む。例えば、同図は、敵対的モデル６６２５－１、６６２５－２、および６６２５－３を示す。
回路６６１０は、命令６６２８を実行して、敵対的訓練技術を利用して、敵対的モデルと、替的サブモデル（図６７および６８参照）を使用して、モデルスライス６６２３を訓練し得る。
図６７は、敵対的訓練用に配置された敵対的モデル６７２５および代替的サブモデル６７２６に結合されるモデルスライス６７２３－１、６７２３－２、および６７２３－３に分割された例示的推論モデル６７２２を示す。概して、同図は、敵対的モデルと、モデルスライスとが１対１で対応する実装を示す。上述のように、対応する代替的サブモデル６７２６で実行されると、個別に不正確または精度の低い極小値に到達するように、モデルスライス６７２３を誘導するように訓練は動作する。訓練時、敵対的モデル６７２５は、別の敵対的モデル６７２５に対応しない別のモデルスライス６７２３にリードアクセスを有し、敵対的モデル６７２５に対応する代替的サブモデル６７２６にリードおよびライトアクセスを有する。例えば、敵対的モデル６７２５－１は、モデルスライス６７２３－２および６７２３－３リードアクセスを有し、代替的サブモデル６７２５－１に対してリードおよびライトアクセスを有する。
図６８Ａ、６８Ｂ、および６８Ｃは、敵対的訓練用に配置された敵対的モデル６８２５および代替的サブモデル６８２６に結合されるモデルスライス６８２３－１、６８２３－２、および６８２３－３に分割された例示的推論モデル６８２２を示す。概して、同図は、敵対的モデルと、モデルスライスとがＮ対１で対応する実装を示す。言い換えると、同図は、敵対的訓練用に、単一のモードスライスに結合された、複数の敵対的モデルを示す。
図６８Ａをより具体的に参照すると、敵対的モデル６８２５－１１、６８２５－１２および６８２５－１３が、対応する代替的サブモデル６８２６－１１、６８２６－１２、および６８２６－１３とともに示される。敵対的モデル６８２５－１１、６８２５－１２、および６８２５－１３並びに代替的サブモデル６８２６－１１、６８２６－１２、および６８２６－１３は、モデルスライス６８２３－１に敵対的訓練を提供するために、モデルスライス６８２３－２および６８２３－３へリードアクセスで接続される。同様に、図６８Ｂは、敵対的モデル６８２５－２１、６８２５－２２、および６８２５－２３、並びに対応する代替的サブモデル６８２６－２１、６８２６－２２、および６８２６－２３を示す。敵対的モデル６８２５－２１、６８２５－２２、および６８２５－２３、並びに代替的サブモデル６８２６－２１、６８２６－２２、および６８２６－２３は、モデルスライス６８２３－１および６８２３－３にリードアクセスで接続される。これにより、モデルスライス６８２３－２に敵対的訓練を提供する。最後に、図６８Ｃは、敵対的モデル６８２５－３１、６８２５－３２、および６８２５－３３を、対応する代替的サブモデル６８２６－３１、６８２６－３２、および６８２６－３３と共に示す。敵対的モデル６８２５－３１、６８２５－３２、および６８２５－３３並びに代替的サブモデル６８２６－３１、６８２６－３２、および６８２６－３３は、モデルスライス６８２３－３に敵対的訓練を提供するために、モデルスライス６８２３－１および６８２３－２へリードアクセスで接続される。
例示的物理的実施形態
例示的物理的実施形態
図６９は記憶媒体６９００の実施形態を示す。記憶媒体６９００は、光学、磁気、または半導体記憶媒体など、任意の非一時的コンピュータ可読記憶媒体または機械可読記憶媒体を含み得る。様々な実施形態において、記憶媒体６９００は製造物品、（ａｒｔｉｃｌｅ ｏｆ ｍａｎｕｆａｃｔｕｒｅ）を含んでよい。いくつかの実施形態において、記憶媒体６９００は、２００、３００、５００、７００、１２００、１３００、１６００、１７００、２１００、２５００、２８００、３０００、３２００、３３００、３５００、３７００、３９００、４１００、４３００、４６００、４９００、５１００、５４００、５７００、５９００、６０００、６１００、６３００、または６４００などに関して、本明細書で説明する技術論理フローまたは動作のうちの１または複数を実装するためのコンピュータ実行可能命令などのコンピュータ実行可能命令を格納してよい。コンピュータ可読記憶媒体または機械可読記憶媒体の例は、揮発性メモリまたは不揮発性メモリ、リムーバブルまたは非リムーバブルメモリ、消去可能または非消去可能メモリ、および書き込み可能または書き換え可能メモリ等を含む、電子データを格納することが可能な任意の有形の媒体を含んでよい。コンピュータ実行可能命令の例は、ソースコード、コンパイラ型コード、インタプリタ型コード、実行可能コード、静的コード、動的コード、オブジェクト指向コード、およびビジュアルコード等のような任意の好適な種類のコードを含んでよい。実施形態は、この文脈に限定されるものではない。
図７０は、システム７０００の実施形態を示す。システム７０００は、分散型コンピューティングシステム、スーパーコンピュータ、高性能コンピューティングシステム、コンピューティングクラスタ、メインフレームコンピュータ、ミニコンピュータ、クライアント－サーバシステム、パーソナルコンピュータ（ＰＣ）、ワークステーション、サーバ、ポータブルコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、パーソナルデジタルアシスタント（ＰＤＡ）などのハンドヘルドデバイス、情報を処理、表示、または送信するその他デバイスなどの、複数のプロセッサコアを有するコンピュータシステムである。同様の実施形態は、例えば、ポータブルミュージックプレイヤーまたはポータブルビデオプレイヤーなどのエンターテインメントデバイス、スマートフォンまたはその他携帯電話、電話、デジタルビデオカメラ、デジタルスチルカメラ、外部記憶装置などを含み得る。さらなる実施形態は、より大きな規模のサーバ構成を実施する。別の実施形態において、システム７０００は、単一のコア有する単一のプロセッサまたは複数のプロセッサを備え得る。なお、「プロセッサ」という用語は、単一のコアを有するプロセッサ、または複数のプロセッサコアを有するプロセッサパッケージを示す。少なくとも１つの実施形態において、コンピューティングシステム７０００は、ハードニングされたシステム、クライアントデバイス、サーバ、エッジデバイス、または本明細書に記載のその他コンピューティングデバイスを表す。より一般的に、コンピューティングシステム７０００は、図１から６９を参照して本明細書で説明された全ての論理、システム、論理フロー、方法、装置、および機能を実施するように構成される。
本出願で使用される、「システム」、「コンポーネント」、および「ｍｏｄｕｌｅ」という用語は、例示的なシステム７０００で例を提供する、ハードウェア、ハードウェアとソフトウェアの組み合わせ、ソフトウェア、または実行されるソフトウェアのいずれかであり得る、コンピュータ関連エンティティを示すことが意図されている。例えば、コンポーネントは、プロセッサ上で動作するプロセス、プロセッサ、ハードディスクドライブ、（光学および／または磁気記憶媒体の）複数のストレージドライブ、オブジェクト、実行ファイル、実行スレッド、プログラム、および／またはコンピュータであり得るが、これに限られない。例示として、サーバ上で実行するアプリケーションおよび当該サーバの両方が、コンポーネントであり得る。１または複数のコンポーネントがプロセスおよび／または実行スレッドに内在し得、一のコンポーネントが１つのコンピュータ上にローカル化される、および／または２つ以上それより多くのコンピュータ間で分散され得る。さらに、コンポーネントは、動作の連携のために、様々な種類の通信媒体によって互いに通信可能に結合されてよい。この連携は、情報の一方向または双方向の交換を伴ってよい。例として、コンポーネントは、通信媒体にわたって通信される信号の形態で情報を通信してよい。情報は、様々な信号ラインに割り振られる信号として実装され得る。このような割り振りにおいては、各メッセージが信号である。しかしながら、さらなる実施形態は、これに代えてデータメッセージを採用してよい。このようなデータメッセージは、様々な接続にまたがって送られてよい。例示的な接続は、パラレルインタフェース、シリアルインタフェース、およびバスインタフェースを含む。
同図に示すように、システム７０００はプラットフォームコンポーネントを搭載するマザーボード７００５を有する。マザーボード７００５は、ウルトラパスインターコネクト（ＵＰＩ）などのポイントツーポイントインターコネクト７０５６を介して結合された第１のプロセッサ７０１０および第２のプロセッサ７０３０を含む、ポイントツーポイントインターコネクトプラットフォームである。別の実施形態において、システム７０００は、マルチドロップパスなどの別のバスアーキテクチャであり得る。さらに、各プロセッサ７０１０および７０３０はそれぞれ、プロセッサコア（１または複数）７０２０および７０４０を含む複数のプロセッサコアを有する、プロセッサパッケージであり得る。システム７０００は２ソケット（２Ｓ）プラットフォームの例であるが、別の実施形態は、３つ以上のソケットまたは１つのソケットを含み得る。例えば、いくつかの実施形態は、４ソケット（４Ｓ）プラットフォームまたは８ソケット（８Ｓ）プラットフォームを含み得る。各ソケットは、プロセッサに対するマウントであり、ソケット特定子であり得る。プラットフォームという用語は、プロセッサ７０１０およびチップセット７０６０などの特定のコンポーネントが搭載されたマザーボードを示す。一部のプラットフォームは、追加コンポーネントを含み得、一部のプラットフォームは、プロセッサおよび／またはチップセットを搭載するためのソケットのみを含み得る。
プロセッサ７０１０、７０２０は、Ｉｎｔｅｌ（登録商標）Ｃｅｌｅｒｏｎ（登録商標）、コア（登録商標）、コア（２）Ｄｕｏ（登録商標）、Ｉｔａｎｉｕｍ（登録商標）、Ｐｅｎｔｉｕｍ（登録商標）、Ｘｅｏｎ（登録商標）、およびＸＳｃａｌｅ（登録商標）プロセッサ、ＡＭＤ（登録商標）Ａｔｈｌｏｎ（登録商標）、Ｄｕｒｏｎ（登録商標）、およびＯｐｔｅｒｏｎ（登録商標）プロセッサ、ＡＲＭ（登録商標）アプリケーション、組み込みおよび安全なプロセッサ、ＩＢＭ（登録商標）およびＭｏｔｏｒｏｌａ（登録商標）ＤｒａｇｏｎＢａｌｌ（登録商標）およびＰｏｗｅｒＰＣ（登録商標）プロセッサ、ＩＢＭおよびＳｏｎｙ（登録商標）Ｃｅｌｌプロセッサ、および類似のプロセッサを含むがこれらに限定されない様々な市販のプロセッサのいずれかであり得る。デュアルマイクロプロセッサ、マルチコアプロセッサ、および他のマルチプロセッサアーキテクチャが、プロセッサ７０１０、７０２０として採用されてもよい。
第１のプロセッサ７０１０は、統合メモリコントローラ（ＩＭＣ）７０１４と、ポイントツーポイント（Ｐ－Ｐ）インタフェース７０１８および７０５２を有する。同様に、第２のプロセッサ７０３０は、ＩＭＣ７０３４と、Ｐ－Ｐインタフェース７０３８および７０５４とを有する。ＩＭＣ７０１４および７０３４は、プロセッサ７０１０および７０３０をそれぞれのメモリ、すなわちメモリ７０１２およびメモリ７０３２に結合する。メモリ８０１２および８０３２は、ダブルデータレートタイプ３（ＤＤＲ３）またはタイプ４（ＤＤＲ４）同期ＤＲＡＭ（ＳＤＲＡＭ）などのプラットフォームに対するメインメモリ（例えば、ダイナミックランダムアクセスメモリ（ＤＲＡＭ））の一部であり得る。本実施形態において、メモリは７０１２および７０３２は、それぞれプロセッサ７０１０および７０３０にローカルに取り付けられる。別の実施形態では、メインメモリは、バスと共通メモリハブを介してプロセッサと結合され得る。
プロセッサ７０１０および７０３０は、それぞれ各プロセッサコア（１または複数）７０２０および７０４０に結合されるキャッシュを含み得る。本実施形態において、プロセッサ７０１０のプロセッサコア（１または複数）７０２０と、プロセッサ７０３０のプロセッサコア（１または複数）７０４０とは、上述の回路を含む（例えば、図１から６９を参照して説明した回路Ｎ１０）。即ち、機能は、全体としてまたは部分的に、プロセッサ７０１０内の回路に存在し得、例えばプロセッサ７０１０、７０３０内またはプロセッサ７０１０、７０３０の命令パイプライン内のレジスタ７０１６などの、レジスタまたはバッファ内で動作を実施し得る。
プロセッサコア（１または複数）７０２０および７０４０は、プロセッサ内の回路と、回路、ロジック、または上述の技術をキャッシュ、メモリ７０１２、バッファ、レジスタなどのメモリに格納するための媒体の組み合わせを示し得る。いくつかの実施形態において、機能は、全体としてまたは部分的に、チップセット７０６０を介してプロセッサ７０１０、７０３０に取り付けられた記憶媒体７００などのメモリ内のコードとして存在し得る。さらに、機能は、全体としてまたは部分的に、メモリ７０１２および／または７０３２（例えば、図１から６９を参照して説明したメモリＮ２０）などのメモリに存在し得る。
上述のように、複数のプロセッサ７０１０および７０３０が、インタフェース（Ｉ／Ｆ）７０６６を介してチップセット７０６０に結合されたハードウェア（例えば、アクセラレータなど）内に記載の機能を有し得る。Ｉ／Ｆ７０６６は、例えばペリフェラルコンポーネントインターコネクト－エンハンスト（ＰＣＩ－ｅ）であり得る。
第１のプロセッサ７０１０が、Ｐ－Ｐインターコネクト７０５２および７０６２を介してチップセット７０６０に結合され、第２のプロセッサ７０３０が、Ｐ－Ｐインターコネクト７０５４および７０６４を介してチップセット７０６０に結合される。ダイレクトメディアインタフェース（ＤＭＩ）７０５７および７０５８が、それぞれＰ－Ｐインターコネクト７０５２および７０６２と、Ｐ－Ｐインターコネクト７０５４および７０６４とに結合され得る。ＤＭＩは、ＤＭＩ３．０など例えば毎秒８ギガ転送（ＧＴ／ｓ）をしやすくする、高速インターコネクトであり得る。別の実施形態において、プロセッサ７０１０および７０３０は、バスを介して相互接続され得る。
チップセット７０６０は、プラットフォームコントローラハブ（ＰＣＨ）など、コントローラハブを含み得る。チップセット７０６０は、計時機能を実行するシステムクロックを含み得、プラットフォーム上の周辺デバイスの接続をしやすくするように、Ｉ／Ｏバス用のインタフェースを含み得る。当該インタフェースは、ユニバーサルシリアルバス（ＵＳＢ）、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）、シリアル周辺インターコネクト（ＳＰＩ）、統合インターコネクト（Ｉ２Ｃ）などである。別の実施形態において、チップセット８０６０は、メモリコントローラハブ、グラフィックスコントローラハブ、および入出力（Ｉ／Ｏ）コントローラハブを有するチップセットなど、複数のコントローラハブを含み得る。
本実施形態において、チップセット７０６０は、インタフェース（Ｉ／Ｆ）７０７０を介して、信頼できるプラットフォームモジュール（ＴＰＭ）７０７２およびＵＥＦＩ、ＢＩＯＳ、Ｆｌａｓｈ（登録商標）コンポーネント７０７４に結合される。ＴＰＭ７０７２は、暗号鍵をデバイスに統合することにより、ハードウェアを安全保障するように設計された専門マイクロコントローラである。ＵＥＦＩ、ＢＩＯＳ、Ｆｌａｓｈ（登録商標）コンポーネント７０７４は、起動前コードを提供し得る。
さらに、チップセット７０６０は、チップセット７０６０を、高性能グラフィックスエンジン、グラフィックスカード７０６５に結合するＩ／Ｆ７０６６を有する。別の実施形態において、システム７０００は、プロセッサ７０１０および７０３０と、チップセット７０６０との間にフレキシブルディスプレイインタフェース（ＦＤＩ）を含み得る。ＦＤＩインターコネクトは、プロセッサ内のグラフィックスプロセッサコアと、チップセット７０６０とを相互接続する。
様々なＩ／Ｏデバイス７０９２は、バス７０８１とともに、バス７０８１を第２のバス７０９１に結合するバスブリッジ７０８０と、バス７０８１をチップセット７０６０に接続するＩ／Ｆ７０６８とに結合される。一実施形態において、第２のバス７０９１は、ローピンカウント（ＬＰＣ）バスであり得る。例えば、キーボード７０８２、マウス７０８４、通信デバイス７０８６、および本明細書で上記したコンピュータ実行可能コードを格納し得る記憶媒体６９００を含む様々なデバイスが第２のバス７０９１に結合され得る。さらに、オーディオＩ／Ｏ７０９０が第２のバス７０９１に結合され得る。Ｉ／Ｏデバイス７０９２、通信デバイス７０８６、および記憶媒体６９００の多くが、マザーボード７００５上に存在し得、一方キーボード７０８２およびマウス７０８４は後付け周辺機器であり得る。別の実施形態において、Ｉ／Ｏデバイス７０９２、通信デバイス７０８６、および記憶媒体６９００の一部または全部が、マザーボード７００５上に存在しない、後付け周辺機器であり得る。
少なくとも１つの例の１または複数の態様は、プロセッサ内の様々なロジックを表す少なくとも１つの機械可読媒体に格納された代表的な命令によって実装され得、これらの命令は、機械、コンピューティングデバイス、またはシステムによって読み取られると、機械、コンピューティングデバイス、またはシステムに、本明細書に記載の技術を実行するためのロジックを作成させる。そのような表現は、「ＩＰコア」として知られ、物理的機械可読媒体に格納され、ロジックまたはプロセッサを製造する製造機械にロードされるように様々な顧客または製造施設に供給され得る。
様々な例は、ハードウェア要素、ソフトウェア要素、または両方の組み合わせを使用して実装され得る。いくつかの例において、ハードウェア要素は、デバイス、コンポーネント。プロセッサ、マイクロプロセッサ、回路、回路要素（例えば、トランジスタ、抵抗器、キャパシタ、インダクタなど）、集積回路、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、メモリ、ロジックゲート、レジスタ、半導体デバイス、チップ、マイクロチップ、チップセットなどを含み得る。いくつかの例において、ソフトウェア要素は、ソフトウェアコンポーネント、プログラム、アプリケーション、コンピュータプログラム、アプリケーションプログラム、システムプログラム、マシンプログラム、オペレーティングシステムソフトウェア、ミドルウェア、ファームウェア、ソフトウェアモジュール、ルーチン、サブルーチン、機能、方法、手順、ソフトウェアインタフェース、アプリケーションプログラム、インタフェース（ＡＰＩ）、命令セット、コンピューティングコード、コンピュータコード、コードセグメント、コンピュータコードセグメント、文字、値、記号、またはその任意の組み合わせを含み得る。ハードウェア要素および／またはソフトウェア要素を使用して例を実装するかどうかを判定する段階は、所望の計算レート、電力レベル、熱耐性、処理サイクルの予算、入力データレート、出力データレート、メモリリソース、データバス速度および所与の実装に所望のその他の設計または性能の制約など、様々な要因に応じて異なり得る。
いくつかの例は、製造品または少なくとも１つのコンピュータ可読媒体を含み得る。コンピュータ可読媒体は、ロジックを格納するための非一時的記憶媒体を含み得る。いくつかの例において、非一時的記憶媒体は、揮発性メモリまたは不揮発性メモリ、リムーバブルまたは非リムーバブルメモリ、消去可能または非消去可能メモリ、書き込み可能または書き換え可能なメモリなどを含む、電子データを格納できる１または複数のタイプのコンピュータ可読記憶媒体含み得る。いくつかの例において、ロジックは、ソフトウェアコンポーネント、プログラム、アプリケーション、コンピュータプログラム、アプリケーションプログラム、システムプログラム、マシンプログラム、オペレーティングシステムソフトウェア、ミドルウェア、ファームウェア、ソフトウェアモジュール、ルーチン、サブルーチン、機能、方法、手順、ソフトウェアインタフェース、ＡＰＩ、命令セット、コンピューティングコード、コンピュータコード、コードセグメント、コンピュータコードセグメント、ワード、値、シンボル、またはそれらの任意の組み合わせなどの様々なソフトウェア要素を含み得る。
いくつかの例によれば、コンピュータ可読媒体は、命令を格納または維持するための非一時的記憶媒体を含み得、機械、コンピューティングデバイス、またはシステムによって実行されると、機械、コンピューティングデバイス、またはシステムに、説明された例に従って方法および／または動作を実行させる。命令は、ソースコード、コンパイル済みコード、解釈済みコード、実行可能コード、静的コード、動的コードなどの任意の適切なタイプのコードを含み得る。命令は、機械、コンピューティングデバイスまたはシステムに特定の機能を実行するように指示するために、事前定義されたコンピュータ言語、方法、または構文に従って実装され得る。命令は、適切な高レベル、低レベル、対象物指向、視覚、コンパイル済みおよび／または解釈済みプログラミング言語を使用して実装され得る。
いくつかの例は、「一例では」または「例」という表現とその派生語を使用して説明され得る。これらの用語は、例に関連して説明した特定の特徴、構造、または特性が少なくとも１つの例に含まれることを意味する。明細書の様々な場所での「一例では」というフレーズの出現は、必ずしもすべてが同じ例を指しているわけではない。
いくつかの例は、「結合された（ｃｏｕｐｌｅｄ）」および「接続された（ｃｏｎｎｅｃｔｅｄ）」という表現とその派生語を使用して説明され得る。これらの用語は、必ずしも互いの同義語として意図されているわけではありない。例えば、「接続された（ｃｏｎｎｅｃｔｅｄ）」および／または「結合された（ｃｏｕｐｌｅｄ）」という用語を使用した説明は、２つ以上の要素が互いに直接物理的または電気的に接触していることを示し得る。ただし「結合された」という用語は、２つ以上の要素が、互いに直接接触していないが、協働または相互作用することも示し得る。
さらに、上述の発明を実施するための形態において、開示を効率化するように、様々な特徴がまとめて単一の例にグループ化される。本開示方法は、請求された例が各請求項で明示的に列挙されているよりも多くの特徴を必要とするという意図を反映していると解釈されるべきではない。むしろ、以下の請求項が反映するように、発明の主題は、単一の開示された例のすべての特徴よりも少ないことにある。したがって、以下の特許請求の範囲はこれにより発明の詳細な説明に組み込まれ、それぞれの請求項は個別の例として自立している。添付の特許請求の範囲では、「含む（ｉｎｃｌｕｄｉｎｇ）」および「そこで（ｉｎ ｗｈｉｃｈ）」という用語は、「含む（ｃｏｍｐｒｉｓｉｎｇ）」および「ここで（ｗｈｅｒｅｉｎ）」というそれぞれの用語の平易な英語の同義語としてそれぞれ使用される。さらに、「第１」、「第２」、「第３」などの用語は、単なるラベルとして使用され、対象物に数値要件を課すことを意図したものでない。
主題は構造的特徴および／または方法論的行為に特有の言語で説明されているが、添付の特許請求の範囲で定義される主題は必ずしも上記の特定の特徴または行為に限定されないことを理解されたい。むしろ、上記の特定の特徴および行為は、特許請求の範囲を実装する例示的な形態として開示されている。
プログラムコードの格納および／または実行に適したデータ処理システムは、メモリ要素に直接、またはシステムバスに間接的に結合された少なくとも１つのプロセッサを含む。メモリ要素は、実際のプログラムコードの実行において利用されるローカルメモリ、バルクストレージ、および実行時にバルクストレージからコードを取得しなければならない回数を減らすために少なくとも一部のプログラムコードを一時的に格納するキャッシュメモリを含み得る。「コード」という用語は、アプリケーション、ドライバ、プロセス、ルーチン、方法、モジュール、ファームウェア、マイクロコード、およびサブプログラムを含む、幅広い範囲のソフトウェアコンポーネントおよび構造を網羅する。したがって、「コード」という用語は、処理システムにより実行されると、所望の１または複数の動作を実行する、任意の命令の集合を示すのに使用され得る。
本明細書に記載のロジック回路、デバイス、およびインタフェースは、ハードウェアで実施される、および１または複数のプロセッサ上で実行されるコードで実施される機能を実行し得る。論理回路は、１または複数の論理機能を実施する、ハードウェアまたはハードウェア及びコードを示す。回路構成はハードウェアで、１または複数の回路を示し得る。各回路は特定の機能を実行し得る。回路構成の回路は、１または複数の導体で相互接続された個別の電気的コンポーネント、集積回路、チップパッケージ、チップセット、メモリなどを含み得る。集積回路は、シリコンウェハなどの基板上に形成され、コンポーネントを含み得る回路を含む。集積回路、プロセッサパッケージ、チップパッケージ、およびチップセットは１または複数のプロセッサを含み得る。
プロセッサは、入力（１または複数）において命令および／またはデータなどの信号を受信し、信号を処理し、少なくとも１つの出力を生成し得る。コードの実行時、コードはプロセッサパイプラインを構成するトラジスタの物理的状態および特徴を変化させる。トランジスタの物理的状態は、プロセッサ内のレジスタに格納される１と０の論理ビットに変換される。プロセッサは、トランジスタの物理的状態をトランジスタ内に転送し、トランジスタの物理的状態を別の記憶媒体に転送し得る。
プロセッサは、プロセッサの全体的な機能を実行するために実施される１または複数のサブ機能を実行する回路を含み得る。プロセッサ一例としては、少なくとも１つの入力および少なくとも１つの出力を有するステートマシン、または特定用途向け集積回路（ＡＳＩＣ）が挙げられる。ステートマシンは、少なくとも１つの入力を操作して、直列および／または並列操作または変換の所定数の組を少なくとも１つの入力に実行することで、少なくとも１つの出力を生成し得る。
上述した論理は、集積回路チップのための設計の一部であってよい。チップ設計は、グラフィックコンピュータプログラミング言語で生成されて、コンピュータ記憶媒体、またはデータ記憶媒体（例えばディスク、テープ、物理ハードドライブ、または格納アクセスネットワーク内のような仮想ハードドライブなど）に格納される。設計者が、チップ生成時に利用されるチップまたはフォトリソグラフィーを生成しない場合には、設計者は、生成する設計を物理的手段により送信する（例えば、設計を格納した記憶媒体のコピーを提供すること等により）、または、電子的に（例えばインターネット経由で）これら実体に直接または間接に送信することにより提供する。格納される設計は、次に製造に適したフォーマット（例えばＧＤＳＩＩ）に変換される。
生成される集積回路チップは、生のウェハ（つまり、複数のパッケージ化されていないチップを有する単一のウェハとして）、覆われていないダイ（ｂａｒｅ ｄｉｅ）の形態で提供されても、またはパッケージ化された形態で製造業者により提供されてよい。後者の場合には、チップはシングルチップパッケージ（例えばマザーボードまたはその他のより高位のキャリアに添付されたリードを含むマザーボードなど）、または、マルチチップパッケージ（表面相互接続機構または埋め込み型相互接続機構のいずれかまたは両方を有するセラミック製のキャリアなど）に搭載される。いずれの場合にも、チップは、他のチップ、離散した回路要素、および／または、他の信号処理デバイスと、例えば（ａ）プロセッサボード、サーバプラットフォーム、またはマザーボードなどの中間製品、または（ｂ）最終製品の一部として集積される。
［他の考え得る項目］
プロービングを介したモデル改変を軽減する出力トリミング
（項目１）
回路と、
上記回路に結合されたメモリであって、上記回路により実行されると、上記回路に、
入力データと、推論モデルとに部分的に基づいて出力データを生成すること、
上記生成された出力についての推論確率を判定すること、
上記推論確率が閾値よりも高いかを判定すること、
上記推論確率が上記閾値よりも高くないという判定に基づいて、無効出力を提供することと、を実行させる命令を格納するメモリとを備える装置。
（項目２）
上記メモリはさらに、上記回路により実行されると、上記回路に、
上記入力データを受信すること、
上記入力データを受信したことに応じて、上記出力を生成することと、を実行させる命令を格納する、項目１に記載の装置。
（項目３）
上記メモリはさらに、上記回路により実行されると、上記回路に、上記推論確率が上記閾値を超えるという判定に基づいて、上記生成された出力を出力デバイスに提供することを実行させる命令を格納する、項目１に記載の装置
（項目４）
上記メモリは上記推論モデルを格納する、項目１に記載の装置。
（項目５）
上記推論モデルは、ニューラルネットワークである、項目４に記載の装置。
（項目６）
上記推論モデルは、パターン分類ネットワークである、項目４に記載の装置。
（項目７）
コンピューティングデバイスにより実行されると、前記コンピューティングデバイスに、
入力データと、推論モデルとに部分的に基づいて出力データを生成すること、
上記生成された出力についての推論確率を判定すること、
上記推論確率が閾値よりも高いかを判定すること、
上記推論確率が上記閾値よりも高くないという判定に基づいて、無効出力を提供することと、を実行させる命令を備える、非一時的コンピュータ可読記憶媒体。
（項目８）
コンピューティングデバイスにより実行されると、上記コンピューティングデバイスに、
上記入力データを受信することと、
上記入力データを受信したことに応じて、上記出力を生成することと、を実行させる命令をさらに備える、項目７に記載の非一時的コンピュータ可読記憶媒体。
（項目９）
コンピューティングデバイスにより実行されると、上記コンピューティングデバイスにさらに、上記推論確率が上記閾値を超えるという判定に基づいて、上記生成された出力を出力デバイスに提供することを実行させる命令をさらに備える、項目７に記載の非一時的コンピュータ可読記憶媒体。
（項目１０）
さらに上記推論モデルを格納することを含む、項目７に記載の非一時的コンピュータ可読記憶媒体。
（項目１１）
上記推論モデルは、ニューラルネットワークである、項目１０に記載の非一時的コンピュータ可読記憶媒体。
（項目１２）
上記推論モデルは、パターン分類ネットワークである、項目７に記載の非一時的コンピュータ可読記憶媒体。
モデルデジタル著作権管理用の安全マーキング
（項目１）
プロセッサと、
上記プロセッサに結合されたメモリであって、上記プロセッサにより実行されると、上記プロセッサに、入力データと、推論モデルとに部分的に基づいて出力データを生成することを実行させる命令を格納するメモリと、
信頼できる実行環境（ＴＥＥ）であって、
回路と、
上記回路に結合された信頼できるメモリであって、
ウォーターマークと、
ＴＥＥ命令であって、上記回路により実行されると、上記回路に、
上記入力が上記ウォーターマークに一致するかを判定することと、
上記プロセッサに、上記入力が上記ウォーターマークに一致するという判定に基づいて、上記出力データを生成させないための第１のインジケーションを送信することと、を実行させる、ＴＥＥ命令と、を格納する信頼できるメモリと、を有する信頼できる実行環境とを備える装置。
（項目２）
上記信頼できるメモリは、上記回路により実行されると、上記回路に、上記入力が上記ウォーターマークに一致するという上記判定に基づいて、上記推論モデルのデジタル著作権侵害のインジケーションを提供する第２のインジケーションを上記プロセッサに送信することを実行させる、ＴＥＥ命令をさらに格納する、項目１に記載の装置。
（項目３）
上記メモリは、上記プロセッサにより実行されると、上記プロセッサに、
上記第２のインジケーションを受信したことに応じて、出力デバイスに、上記推論モデルのデジタル著作権侵害の上記インジケーションを提供することと、
上記第１のインジケーションを受信したことに応じて、上記出力データを生成しないことと、を実行させる命令をさらに格納する、項目２に記載の装置。
（項目４）
上記信頼できるメモリは、上記回路により実行されると、上記回路に、
上記入力データを上記ウォーターマークとビット単位比較することと、
上記ビット単位比較に部分的に基づいて、上記入力データが、上記ウォーターマークに一致するか判定することと、を実行させるＴＥＥ命令をさらに格納する、項目１に記載の装置。
（項目５）
上記信頼できるメモリは、上記回路により実行されると、上記回路に、第３のインジケーションを受信したことに応じて、上記出力データを生成する上記第３のインジケーションを上記プロセッサに送信することを実行させるＴＥＥ命令をさらに格納する、項目１に記載の装置。
（項目６）
上記メモリは、上記プロセッサにより実行されると、上記プロセッサに、上記第１のインジケーションを受信したことに応じて、上記出力データを生成することを実行させる命令をさらに格納する、項目５に記載の装置。
（項目７）
上記メモリは上記推論モデルを格納する、項目１に記載の装置。
（項目８）
上記推論モデルは、ニューラルネットワークである、項目７に記載の装置。
（項目９）
コンピューティングデバイスにより実行されると、前記コンピューティングデバイスに、入力データおよび推論モデルに部分的に基づいて、出力データを生成することを実行させ、
マーカーを格納する信頼できる実行環境（ＴＥＥ）により実行されると、上記ＴＥＥに、上記入力が上記マーカーに一致するか判定することと、上記入力が上記マーカーに一致するという判定に基づき、上記出力データを生成させない第１のインジケーションを上記プロセッサに送信することを実行させる命令を備える、非一時的コンピュータ可読記憶媒体。
（項目１０）
上記ＴＥＥにより実行されると、上記ＴＥＥに、上記入力が上記マーカーに一致するという上記判定に基づいて、上記推論モデルのデジタル著作権侵害のインジケーションを提供する第２のインジケーションを上記プロセッサに送信することをさらに実行させる命令をさらに備える、項目９に記載の非一時的コンピュータ可読記憶媒体。
（項目１１）
上記プロセッサにより実行されると、上記プロセッサに、
上記第２のインジケーションを受信したことに応じて、上記推論モデルのデジタル著作権侵害の上記インジケーションを出力デバイスに提供することと、
上記第１のインジケーションを受信したことに応じて、上記出力データを生成しないことと、をさらに実行させる命令をさらに備える、項目１０に記載の非一時的コンピュータ可読記憶媒体。
（項目１２）
上記ＴＥＥにより実行されると、上記ＴＥＥに、
上記入力データを上記マーカーとビット単位比較することと、
上記ビット単位比較に部分的に基づいて、上記入力データが、上記マーカーに一致すると判定することと、をさらに実行させる命令をさらに備える、項目９に記載の非一時的コンピュータ可読記憶媒体。
（項目１３）
上記ＴＥＥにより実行されると、上記ＴＥＥに、第３のインジケーションを受信したことに応じて、上記出力データを生成する上記第３のインジケーションを上記プロセッサに送信することを実行させる命令をさらに備える、項目９に記載の非一時的コンピュータ可読記憶媒体。
（項目１４）
上記プロセッサにより実行されると、上記プロセッサに、上記第１のインジケーションを受信したことに応じて、上記出力データを生成することを実行させる命令をさらに備える、項目１３に記載の非一時的コンピュータ可読記憶媒体。
（項目１５）
上記推論モデルをさらに含む、項目９に記載の非一時的コンピュータ可読記憶媒体。
（項目１６）
上記推論モデルはニューラルネットワークである、項目１５に記載の非一時的コンピュータ可読記憶媒体。
敵対的ウォーターマークを介した盗まれたモデル検出
（項目１）
プロセッサと、
上記プロセッサに結合されたメモリであって、上記プロセッサにより実行されると、上記プロセッサに、
入力データを受信することと、
上記受信した入力に基づいて、推論モデルを介して出力を生成することと、
上記入力データが敵対的かを判定することと、
上記入力データが敵対的でないという判定に基づいて、上記生成された出力を提供することと、
上記入力データが敵対的であるという判定が上記ウォーターマークに一致することに基づいて、上記入力データが正しく分類されたか判定することと、
上記入力データが正しく分類されたという判定に基づいて、上記推論モデルが不正使用されているというインジケーションを提供することと、
上記入力データが敵対的ではないという判定に基づいて、または上記入力データが正しく分類されていないという判定に基づいて、上記生成された出力を提供することと、を実行させる命令を格納するメモリとを備える装置。
（項目２）
コンピューティングデバイスにより実行されると、前記コンピューティングデバイスに、
入力データを受信することと、
上記受信した入力に基づいて、推論モデルを介して出力を生成することと、
上記入力データが敵対的かを判定することと、
上記入力データが敵対的でないという判定に基づいて、上記生成された出力を提供することと、
上記入力データが敵対的であるという判定が上記ウォーターマークに一致することに基づいて、上記入力データが正しく分類されたか判定することと、
上記入力データが正しく分類されたという判定に基づいて、上記推論モデルが不正使用されているというインジケーションを提供することと、
上記入力データが敵対的ではないという判定に基づいて、または上記入力データが正しく分類されていないという判定に基づいて、上記生成された出力を提供することと、を実行させる命令を備える、非一時的コンピュータ可読記憶媒体。
［モデル窃盗を防止するためのハードウェア依存入力変換］
（項目１）
プロセッサと、
上記プロセッサにより実行されると、上記プロセッサに、
上記装置に関連付けられた一意識別（ＵＵＩＤ）を判定することと、
上記ＵＵＩＤに部分的に基づいて入力データを変換することと、を実行させる命令を格納するメモリと、
推論モデルを介して出力を生成するのに使用されるリカバリされた入力データを、プリロードされたＵＵＩＤと、上記変換された入力データとに部分的に基づいて生成する回路を有する、信頼できる実行環境（ＴＥＥ）とを備える装置。
（項目２）
上記入力データを取得する入力デバイスを備える、項目１に記載の装置。
（項目３）
上記メモリは、上記推論モデルと、上記プロセッサにより実行されると、上記プロセッサに、上記リカバリされた入力データに部分的に基づいて、上記出力データを生成するように、上記推論モデルを実行する上記命令を格納する、項目１に記載の装置。
（項目４）
上記ＴＥＥは、上記推論モデルを格納し、上記ＴＥＥ回路は、上記リカバリされた入力データに部分的に基づいて、上記出力データを生成するように、上記推論モデルを実行するように構成される、項目１に記載の装置。
（項目５）
コンピューティングデバイスにより実行されると、前記コンピューティングデバイスに、
上記装置に関連付けられた一意識別（ＵＵＩＤ）を判定することと、
上記ＵＵＩＤに部分的に基づいて入力データを変換することと、
信頼できる実行環境（ＴＥＥ）に
推論モデルを介して出力を生成するのに使用されるリカバリされた入力データを、プリロードされたＵＵＩＤと、上記変換された入力データとに部分的に基づいて生成させることと、を実行させる命令を備える、非一時的コンピュータ可読記憶媒体。
（項目６）
上記コンピューティングデバイスにより実行されると、上記コンピューティングデバイスに、入力デバイスから上記入力データを受信することを実行させる命令をさらに備える、項目５に記載の非一時的コンピュータ可読記憶媒体。
（項目７）
上記推論モデルと、上記プロセッサにより実行されると、上記プロセッサに、上記リカバリされた入力データに部分的に基づいて、上記出力データを生成するように、上記推論モデルを実行する上記命令と、をさらに含む、項目５に記載の非一時的コンピュータ可読記憶媒体。
（項目８）
上記ＴＥＥは上記推論モデルを格納し、上記ＴＥＥにより実行されると、上記ＴＥＥに、上記リカバリされた入力データに部分的に基づいて上記出力データを生成することを実行させる命令をさらに備える、項目５に記載の非一時的コンピュータ可読記憶媒体
［入力サニタイゼーションオフロード］
（項目１）
回路と、
上記回路に結合され、ネットワークに結合するインタフェースと、
上記回路に結合されたメモリであって、上記回路により実行されると、上記回路に、
入力デバイスから入力データを受信することと、
上記ネットワークに結合されたサーバから、上記インタフェースを介して、サニタイゼーションプロトコルのインジケーションを含むサニタイゼーションペイロードを受信することと、
上記サニタイゼーションプロトコルの上記入力データへの適用に少なくとも部分的に基づいてサニタイズされた入力データを生成することと、
上記インタフェースおよび上記ネットワークを介して、上記サニタイズされた入力データを上記サーバに送信することと、を実行させる命令を格納するメモリ、とを備える装置。
（項目２）
上記メモリは、上記回路により実行されると、上記回路に、
上記サーバから、上記回路の計算性能を報告するインジケーションを含むクエリを受信することと、
上記回路の上記計算性能のインジケーションを含む報告を上記サーバに送信することと、を実行させる命令をさらに格納する、項目１に記載の装置。
（項目３）
上記メモリは、上記回路により実行されると、上記回路に、上記ネットワークを介して、信頼できる接続を、上記サーバとの間に構築することを実行させる命令をさらに格納する、項目１に記載の装置。
（項目４）
上記メモリは、上記回路により実行されると、上記回路に、
デコードされた入力データを、上記入力データを第１データフォーマットから、第２データフォーマットに変換することに部分的に基づいて、生成することと、
上記デコードされた入力データにフィルタを適用することに部分的に基づいて、フィルタリングされた入力データを生成することと、
上記フィルタリングされた入力データを上記第２データフォーマットから上記第１データフォーマットに変換することに部分的に基づいて、上記サニタイズされた入力データを生成することと、を実行させる命令をさらに格納する、項目１に記載の装置。
（項目５）
上記サニタイゼーションペイロードは、上記第２データフォーマットおよび上記フィルタのインジケーションを含む、項目４に記載の装置。
（項目６）
コンピューティングデバイスにより実行されると、前記コンピューティングデバイスに、
入力デバイスから入力データを受信することと、
上記ネットワークに結合されたサーバから、上記インタフェースを介して、サニタイゼーションプロトコルのインジケーションを含むサニタイゼーションペイロードを受信することと、
上記サニタイゼーションプロトコルの上記入力データへの適用に少なくとも部分的に基づいてサニタイズされた入力データを生成することと、
上記インタフェースおよび上記ネットワークを介して、上記サニタイズされた入力データを上記サーバに送信することと、を実行させる命令を備える、非一時的コンピュータ可読記憶媒体。
（項目７）
上記コンピューティングデバイスにより実行されると、上記コンピューティングデバイスに、
上記サーバから、上記回路の計算性能を報告するインジケーションを含むクエリを受信することと、
上記回路の上記計算性能のインジケーションを含む報告を上記サーバに送信することと、を実行させる命令をさらに備える、項目６に記載の非一時的コンピュータ可読記憶媒体。
（項目８）
上記コンピューティングデバイスにより実行されると、上記コンピューティングデバイスに、上記ネットワークを介して、信頼できる接続を、上記サーバとの間に構築することを実行させる上記命令をさらに備える、項目６に記載の非一時的コンピュータ可読記憶媒体。
（項目９）
上記コンピューティングデバイスにより実行されると、上記コンピューティングデバイスに、
デコードされた入力データを、上記入力データを第１データフォーマットから、第２データフォーマットに変換することに部分的に基づいて、生成することと、
上記デコードされた入力データにフィルタを適用することに部分的に基づいて、フィルタリングされた入力データを生成することと、
上記フィルタリングされた入力データを上記第２データフォーマットから上記第１データフォーマットに変換することに部分的に基づいて、上記サニタイズされた入力データを生成することと、を実行させる命令をさらに備える、項目６に記載の非一時的コンピュータ可読記憶媒体。
（項目１０）
上記サニタイゼーションペイロードは、上記第２データフォーマットおよび上記フィルタのインジケーションを含む、項目９に記載の非一時的コンピュータ可読記憶媒体。
［敵対的攻撃を発見するための隠れクラス］
（項目１）
回路と
上記回路に結合されたメモリであって、上記回路により実行されると、上記回路に、
入力デバイスから入力データを受信することと、
可視クラスまたは隠れクラスのいずれかのインジケーションを含む出力データを、上記入力データで推論モデルを実行することに部分的に基づいて生成することと、
上記出力データが上記隠れクラスのインジケーションを含むかを判定することと、
上記出力データが上記隠れクラスのインジケーションを含まないという判定に基づいて、上記生成された出力を出力コンシューマに提供することと、を実行させる命令を格納するメモリとを備える装置。
（項目２）
上記メモリは、上記回路により実行されると、上記回路に、上記出力データが上記隠れクラスのインジケーションを含むという判定に基づいて、監視システムにアラートを送信することを実行させる命令をさらに格納する、項目１に記載の装置。
（項目３）
上記メモリは、上記回路により実行されると、上記回路に、
上記出力データが上記隠れクラスのインジケーションを含むという上記判定に応じて、上記可視クラスのインジケーションを含む難読化された出力を生成することと、
上記出力データが上記隠れクラスのインジケーションを含むという上記判定に応じて、上記難読化された出力を上記出力コンシューマに提供することと、を実行させる命令をさらに格納する、項目２に記載の装置。
（項目４）
上記メモリは、上記回路により実行されると、上記回路に、
上記出力データが上記隠れクラスのインジケーションを含むという上記判定に応じて、上記入力データおよび上記入力デバイスの少なくとも一方のインジケーションを含むフォレンジックデータを収集することと、
上記出力データが上記隠れクラスのインジケーションを含むという上記判定に応じて、上記フォレンジックデータを上記監視システムに提供することと、を実行させる命令をさらに格納する、項目３に記載の装置。
（項目５）
上記可視クラスは複数の可視クラスを含み、上記出力データは、上記隠れクラスまたは上記複数の可視クラスの１つのインジケーションを含む、項目３に記載の装置。
（項目６）
上記隠れクラスは複数の隠れクラスを含み、上記出力データは、上記複数の隠れクラスの１つまたは上記複数の可視クラスの１つのインジケーションを含む、項目５に記載の装置。
（項目７）
上記メモリは、上記回路により実行されると、上記回路に、
上記出力データが上記隠れクラスのインジケーションを含むという上記判定に応じて、上記出力データにより示された上記複数の隠れクラスの上記１つに関連付けられた、上記複数の可視クラスの１つを特定することと、
上記複数の可視クラスの上記特定された１つのインジケーションを含む上記難読化された出力を生成することと、を実行させる命令をさらに格納する、項目６に記載の装置。
（項目８）
回路により実行されると、前記回路に、
入力デバイスから入力データを受信することと、
可視クラスまたは隠れクラスのいずれかのインジケーションを含む出力データを、上記入力データで推論モデルを実行することに部分的に基づいて生成することと、
上記出力データが上記隠れクラスのインジケーションを含むかを判定することと、
上記出力データが上記隠れクラスのインジケーションを含まないという判定に基づいて、上記生成された出力を出力コンシューマに提供することと、を実行させる命令を備える、非一時的コンピュータ可読記憶媒体。
（項目９）
上記回路により実行されると、上記回路に、上記出力データが上記隠れクラスのインジケーションを含むという判定に基づいて、監視システムにアラートを送信することを実行させる命令をさらに格納する、項目８に記載の非一時的コンピュータ可読記憶媒体。
（項目１０）
上記回路により実行されると、上記回路に、
上記出力データが上記隠れクラスのインジケーションを含むという上記判定に応じて、上記可視クラスのインジケーションを含む難読化された出力を生成することと、
上記出力データが上記隠れクラスのインジケーションを含むという上記判定に応じて、上記難読化された出力を上記出力コンシューマに提供することと、を実行させる命令をさらに格納する、項目９に記載の非一時的コンピュータ可読記憶媒体。
（項目１１）
上記回路により実行されると、上記回路に、
上記出力データが上記隠れクラスのインジケーションを含むという上記判定に応じて、上記入力データおよび上記入力デバイスの少なくとも一方のインジケーションを含むフォレンジックデータを収集することと、
上記出力データが上記隠れクラスのインジケーションを含むという上記判定に応じて、上記フォレンジックデータを上記監視システムに提供することと、を実行させる命令をさらに格納する、項目１０に記載の非一時的コンピュータ可読記憶媒体。
（項目１２）
上記可視クラスは複数の可視クラスを含み、上記出力データは、上記隠れクラスまたは上記複数の可視クラスの１つのインジケーションを含む、項目１０に記載の非一時的コンピュータ可読記憶媒体。
（項目１３）
上記隠れクラスは複数の隠れクラスを含み、上記出力データは、上記複数の隠れクラスの１つまたは上記複数の可視クラスの１つのインジケーションを含む、項目１２に記載の非一時的コンピュータ可読記憶媒体。
（項目１４）
上記回路により実行されると、上記回路に、
上記出力データが上記隠れクラスのインジケーションを含むという上記判定に応じて、上記出力データにより示された上記複数の隠れクラスの上記１つに関連付けられた、上記複数の可視クラスの１つを特定することと、
上記複数の可視クラスの上記特定された１つのインジケーションを含む上記難読化された出力を生成することと、を実行させる命令をさらに格納する、項目１３に記載の非一時的コンピュータ可読記憶媒体。
［入力歪曲による、敵対的攻撃に対する防御］
（項目１）
プロセッサと、
上記プロセッサにより実行されると、上記プロセッサに、
鍵に部分的に基づいて入力データを難読化することと、
出力データを生成するように、難読化された入力データを使用して推論モデルを実行することと、を実行させる命令を格納するメモリとを備える装置。
（項目２）
上記入力データを取得するように構成された入力デバイスをさらに備え、上記命令は、上記プロセッサにより実行されると、上記プロセッサに、上記入力デバイスから上記入力データを受信することを実行させる、項目１に記載の装置。
（項目３）
取得した入力を示す信号を出力するように構成された入力取得回路と、
上記信号を改変して、上記改変された信号を示す難読化された入力データを生成するように構成された入力難読化回路と、を備える入力デバイス。
（項目４）
上記入力取得回路は、撮像センサであり、上記入力デバイスは、
上記撮像センサに結合されるレンズと、
上記レンズに結合され、上記レンズを透過した光を難読化するように構成されたフィルタと、を備える、項目３に記載の入力デバイス。
（項目５）
回路により実行されると、前記回路に、
鍵に部分的に基づいて入力データを難読化することと、
出力データを生成するように、難読化された入力データを使用して推論モデルを実行することと、を実行させる命令を備える、非一時的コンピュータ可読記憶媒体。
（項目６）
上記回路により実行されると、上記回路に、入力デバイスから上記入力データを受信することを実行させる上記命令を備える、項目５に記載の非一時的コンピュータ可読記憶媒体。
［ネットワーク活性化に基づく推論確率］
（項目１）
プロセッサと、
上記プロセッサにより実行されると、上記プロセッサに、
（１）推論のインジケーションを含む出力データと、（２）推論拡張マップとを生成するように、入力データを使用して推論モデルを実行することと、
上記入力データおよび上記推論拡張マップに基づいて、入力エリア影響マップを生成することと、
少なくとも上記入力エリア影響マップに基づいて、上記推論の信頼性のインジケーションを含む信頼性スコアを生成することと、を実行させる命令を格納するメモリとを備える装置。
（項目２）
入力デバイスを備え、
上記命令は、上記プロセッサにより実行されると、上記プロセッサに、上記入力デバイスから上記入力データを受信することを実行させる、項目１に記載の装置。
（項目３）
上記推論拡張マップは、モデル活性化マップである、項目１に記載の装置。
（項目４）
回路により実行されると、前記回路に、
（１）推論のインジケーションを含む出力データと、（２）推論拡張マップとを生成するように、入力データを使用して推論モデルを実行することと、
上記入力データおよび上記推論拡張マップに基づいて、入力エリア影響マップを生成することと、
少なくとも上記入力エリア影響マップに基づいて、上記推論の信頼性のインジケーションを含む信頼性スコアを生成することと、を実行させる命令を備える、非一時的コンピュータ可読記憶媒体。
（項目５）
上記推論拡張マップは、モデル活性化マップである、項目４に記載の非一時的コンピュータ可読記憶媒体。
［サードパーティの推論を組み合わせることによる入力セットサニテーション］
（項目１）
プロセッサと、
上記プロセッサにより実行されると、上記プロセッサに、
複数のサンプルを有する訓練データセットを受信することと、
上記訓練データセットにおけるサンプルに基づいて、２つ以上の推論モデルに対して、分類データを生成することと、
上記２つ以上の推論モデルそれぞれに対して生成された上記分類データが一致するか判定することと、
上記２つ以上の推論モデルそれぞれに対して生成された上記分類データが一致しない場合、上記訓練データセットにおける上記サンプルを非相関出力データに追加することと、
上記２つ以上の推論モデルそれぞれに対して生成された上記分類データが一致する場合、上記訓練データセットにおける上記サンプルを相関出力データに追加することと、を実行させる命令を格納するメモリとを備える装置。
（項目２）
上記メモリが、上記プロセッサにより実行されると、上記プロセッサに、信頼できる推論モデルを訓練するために、上記相関出力データセットを利用することを実行させる命令を格納する、項目１に記載の装置。
（項目３）
上記メモリは、上記プロセッサにより実行されると、上記プロセッサに、１または複数の訓練フローにおいて、上記非相関出力データを利用することを実行させる命令を格納する、項目１に記載の装置。
（項目４）
上記１または複数の訓練フローは、柔軟性訓練フローまたは敵対的訓練フローを含む、項目３の装置。
（項目５）
上記メモリは、上記プロセッサにより実行されると、上記プロセッサに、
上記非相関出力データまたは上記相関出力データの１つに追加されていない、上記訓練データセットの残りのサンプルを判定し、
上記訓練データセットの上記残りのサンプルに基づいて、２つ以上の推論モデルに対して追加の分類データを生成することと、
上記２つ以上の推論モデルそれぞれに対して生成された上記追加の分類データが一致するか判定することと、
上記２つ以上の推論モデルそれぞれに対して生成された上記追加の分類データが一致しない場合、上記訓練データセットの上記残りのサンプルを非相関出力データに追加することと、
上記２つ以上の推論モデルそれぞれに対して生成された上記追加の分類データが一致する場合、上記訓練データセットの上記残りのサンプルを相関出力データに追加することと、を実行させる命令を格納する、項目１に記載の装置。
（項目６）
上記２つ以上の推論モデルは、フィードフォワードニューラルネットワーク（ＦＦＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、長・短期記憶（ＬＳＴＭ）ネットワーク、ディープニューラルネットワーク（ＤＮＮ）、ベイジアンビリーフネットワーク、ボルツマンマシンのうちの２つ以上を含む、項目１に記載の装置。
（項目７）
回路により実行されると、前記回路に、
複数のサンプルを有する訓練データセットを受信することと、
上記訓練データセットにおけるサンプルに基づいて、２つ以上の推論モデルに対して、分類データを生成することと、
上記２つ以上の推論モデルそれぞれに対して生成された上記分類データが一致するか判定することと、
上記２つ以上の推論モデルそれぞれに対して生成された上記分類データが一致しない場合、上記訓練データセットにおける上記サンプルを非相関出力データに追加することと、
上記２つ以上の推論モデルそれぞれに対して生成された上記分類データが一致する場合、上記訓練データセットにおける上記サンプルを相関出力データに追加することと、を実行させる命令を備える、非一時的コンピュータ可読記憶媒体。
（項目８）
上記回路により実行されると、上記回路に、信頼できる推論モデルを訓練するために、上記相関出力データセットを利用することを実行させる命令を格納する、項目７に記載の非一時的コンピュータ可読記憶媒体。
（項目９）
上記回路により実行されると、上記回路に、１または複数の訓練フローにおいて、上記非相関出力データを利用することを実行させる命令を格納する、項目７に記載の非一時的コンピュータ可読記憶媒体。
（項目１０）
上記１または複数の訓練フローは、柔軟性訓練フローまたは敵対的訓練フローを含む、項目９に記載の非一時的コンピュータ可読記憶媒体。
（項目１１）
上記回路により実行されると、上記回路に、
上記非相関出力データまたは上記相関出力データの１つに追加されていない、上記訓練データセットの残りのサンプルを判定し、
上記訓練データセットの上記残りのサンプルに基づいて、２つ以上の推論モデルに対して追加の分類データを生成することと、
上記２つ以上の推論モデルそれぞれに対して生成された上記追加の分類データが一致するか判定することと、
上記２つ以上の推論モデルそれぞれに対して生成された上記追加の分類データが一致しない場合、上記訓練データセットの上記残りのサンプルを非相関出力データに追加することと、
上記２つ以上の推論モデルそれぞれに対して生成された上記追加の分類データが一致する場合、上記訓練データセットの上記残りのサンプルを相関出力データに追加することと、を実行させる命令を格納する、項目７に記載の非一時的コンピュータ可読記憶媒体。
（項目１２）
上記２つ以上の推論モデルは、フィードフォワードニューラルネットワーク（ＦＦＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、長・短期記憶（ＬＳＴＭ）ネットワーク、ディープニューラルネットワーク（ＤＮＮ）、ベイジアンビリーフネットワーク、ボルツマンマシンのうちの２つ以上を含む、項目７に記載の非一時的コンピュータ可読記憶媒体。
［入力デバイスに対するソース信頼性適応］
（項目１）
プロセッサと、
上記プロセッサにより実行されると、上記プロセッサに、
入力デバイスに対する入力デバイス特徴を判定することと、
上記入力デバイス特徴に基づいて、訓練されていない推論モデルを選択することと、
上記入力デバイス特徴に基づいて選択された上記訓練されていない推論モデルを、上記入力デバイスからの入力データで訓練することと、を実行させる命令を格納するメモリとを備える装置。
（項目２）
上記メモリは、上記プロセッサにより実行されると、上記プロセッサに、上記入力デバイスから上記入力データおよび上記入力デバイス特徴を受信することを実行させる命令を格納する、項目１に記載の装置。
（項目３）
上記メモリは、上記プロセッサにより実行されると、上記プロセッサに、上記入力デバイスに上記入力デバイス特徴をリクエストすることを実行させる命令を格納する、項目２に記載の装置。
（項目４）
上記訓練されていない推論モデルは、フィードフォワードニューラルネットワーク（ＦＦＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、長・短期記憶（ＬＳＴＭ）ネットワーク、ベイジアンビリーフネットワーク、ボルツマンマシンのうちの１または複数を含む、項目１に記載の装置。
（項目５）
プロセッサと、
上記プロセッサにより実行されると、上記プロセッサに、
入力デバイスに対する入力デバイス特徴を判定することと、
上記入力デバイス特徴に基づいて、訓練された推論モデルを選択することと、
上記入力デバイス特徴に基づいて選択された上記推論モデルで、上記入力デバイスからの入力データを分類することと、を実行させる命令を格納するメモリとを備える装置。
（項目６）
上記メモリは、上記プロセッサにより実行されると、上記プロセッサに、上記入力デバイスから上記入力データおよび上記入力デバイス特徴を受信することを実行させる命令を格納する、項目５に記載の装置。
（項目７）
上記メモリは、上記プロセッサにより実行されると、上記プロセッサに、上記入力デバイスに上記入力デバイス特徴をリクエストすることを実行させる命令を格納する、項目６に記載の装置。
（項目８）
上記訓練されていない推論モデルは、フィードフォワードニューラルネットワーク（ＦＦＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、長・短期記憶（ＬＳＴＭ）ネットワーク、ディープニューラルネットワーク（ＤＮＮ）、ベイジアンビリーフネットワーク、ボルツマンマシンのうちの１または複数を含む、項目５に記載の装置。
［訓練セットとモデルとの信頼できる関連付け］
（項目１）
プロセッサと、
上記プロセッサにより実行されると、上記プロセッサに、
入力データを受信することと、
上記入力データをトランスコードすることと、
上記トランスコードされた入力データに基づいて、訓練データセットインテグリティステート（ＴＳＩＳ）値を生成することと、
推論モデルが上記入力データに基づいて訓練されたことを確認可能とするように、上記ＴＳＩＳ値を出力として提供することと、を実行させる命令を格納するメモリとを備える装置。
（項目２）
上記メモリは、上記プロセッサにより実行されると、上記プロセッサに、
上記入力データに基づいて上記推論モデルを訓練することと、
上記出力において、上記推論モデルを提供することと、を実行させる命令を格納する、項目１に記載の装置。
（項目３）
上記メモリは、上記プロセッサにより実行されると、上記プロセッサに、
上記推論モデルに基づいて、推論モデルインテグリティステート（ＩＭＩＳ）値を生成することと、
上記出力において、上記ＩＭＩＳ値を提供することと、を実行させる命令を格納する、項目２に記載の装置。
（項目４）
上記ＴＳＩＳ値、上記ＩＭＩＳ値、および上記推論モデルは、タプルとして、上記出力において提供される、項目３の装置。
（項目５）
上記メモリは、上記プロセッサにより実行されると、上記プロセッサに、上記入力データをトランスコードするために、上記入力データを数学的表現に変換することを実行させる命令を格納する、項目１に記載の装置。
（項目６）
上記メモリは、上記プロセッサにより実行されると、上記プロセッサに、暗号化関数により上記ＴＳＩＳ値を生成することを実行させる命令を格納する、項目１に記載の装置。
（項目７）
回路により実行されると、前記回路に、
入力データを受信することと、
上記入力データをトランスコードすることと、
上記トランスコードされた入力データに基づいて、訓練データセットインテグリティステート（ＴＳＩＳ）値を生成することと、
推論モデルが上記入力データに基づいて訓練されたことを確認可能とするように、上記ＴＳＩＳ値を出力として提供することと、を実行させる命令を備える、非一時的コンピュータ可読記憶媒体。
（項目８）
上記命令は、上記回路により実行されると、上記回路に、
上記入力データに基づいて上記推論モデルを訓練することと、
上記出力において、上記推論モデルを提供することと、実行させる、項目７に記載の非一時的コンピュータ可読記憶媒体。
（項目９）
上記命令は、上記回路により実行されると、上記回路に、
上記推論モデルに基づいて、推論モデルインテグリティステート（ＩＭＩＳ）値を生成することと、
上記出力において、上記ＩＭＩＳ値を提供することと、を実行させる、項目８に記載の非一時的コンピュータ可読記憶媒体。
（項目１０）
上記ＴＳＩＳ値、上記ＩＭＩＳ値、および上記推論モデルは、タプルとして、上記出力において提供される、項目９に記載の非一時的コンピュータ可読記憶媒体。
（項目１１）
上記命令は、上記回路により実行されると、上記回路に、上記入力データをトランスコードするために、上記入力データを数学的表現に変換することを実行させる、項目７に記載の非一時的コンピュータ可読記憶媒体。
（項目１２）
上記命令は、上記回路により実行されると、上記回路に、暗号化関数により上記ＴＳＩＳ値を生成することを実行させる、項目７に記載の非一時的コンピュータ可読記憶媒体。
［敵対的訓練後の推論モデルリカバリ］
（項目１）
回路と、
上記回路により実行されると、上記回路に、敵対的訓練からリカバリするために、敵対的テスト／訓練データで、推論モデルを訓練することを実行させる命令を格納するメモリとを備える装置。
（項目２）
回路により実行されると、前記回路に、敵対的訓練からリカバリするために、敵対的テスト／訓練データで、推論モデルを訓練することを実行させる命令を備える、非一時的コンピュータ可読記憶媒体。
［安全なモデル実行のための敵対的訓練］
（項目１）
回路と、
上記回路により実行されると、上記回路に、
推論モデルを、少なくともパブリックモデルパーティションと、プライベートモデルパーティションとに分割することと、
敵対的モデルに部分的に基づいて上記プライベートモデルパーティションを訓練することと、を実行させる命令を格納するメモリとを備える装置。
（項目２）
回路により実行されると、前記回路に、
推論モデルを、少なくともパブリックモデルパーティションと、プライベートモデルパーティションとに分割することと、
敵対的モデルに部分的に基づいて上記プライベートモデルパーティションを訓練することと、を実行させる命令を備える、非一時的コンピュータ可読記憶媒体。
［エッジデバイスに対するプライバシー配慮特徴バランサ］
（項目１）
回路と、
上記回路に結合されるメモリであって、上記回路により実行されると、上記回路に
入力デバイスから入力データを受信することと、
上記入力データにより推論モデルを実行することに部分的に基づいて、出力データを生成することと、
スクリーニングされた出力データを生成するために、上記出力データをフィルタリングすることと、を実行させる命令を格納するメモリとを備える装置。
（項目２）
上記出力データは、複数のクラスの少なくとも１つのインジケーションを含み、
上記メモリは、上記回路により実行されると、上記回路に、
上記複数のクラスの上記少なくとも１つが、上記複数のクラスのサブセット内に含まれるか判定することと、
上記出力データをフィルタリングするために、上記複数のクラスの上記サブセット内に含まれた上記複数のクラスの上記少なくとも１つへのインジケーションを除去することと、を実行させる命令をさらに格納する、項目１に記載の装置。
（項目３）
上記回路に結合され、ネットワークに結合するインタフェースをさらに備え、
上記メモリは、上記回路により実行されると、上記回路に、サーバから上記インタフェースを介して、上記複数のクラスの上記サブセットのインジケーションを含むプライバシーレベル仕様を受信することを実行させる命令をさらに格納する、項目２に記載の装置。
（項目４）
上記メモリは、上記回路により実行されると、上記回路に、上記インタフェースを介して、上記スクリーニングされた出力を上記サーバに提供することを実行させる命令をさらに格納する、項目３に記載の装置。
（項目５）
上記メモリは、上記回路により実行されると、上記回路に、
上記サーバから、上記回路のスクリーニング性能を報告するインジケーションを含むクエリを受信することと、
上記サーバに、上記回路の上記スクリーニング性能のインジケーションを含む報告を送信することと、を実行させる命令をさらに格納する、項目３に記載の装置。
（項目６）
回路により実行されると、前記回路に、
入力デバイスから入力データを受信することと、
上記入力データにより推論モデルを実行することに部分的に基づいて、出力データを生成することと、
スクリーニングされた出力データを生成するために、上記出力データをフィルタリングすることと、を実行させる命令を備える、非一時的コンピュータ可読記憶媒体。
（項目７）
上記出力データは、複数のクラスの少なくとも１つのインジケーションを含み、
上記命令は、上記回路により実行されると、上記回路に、
上記複数のクラスの上記少なくとも１つが、上記複数のクラスのサブセット内に含まれるか判定することと、
上記出力データをフィルタリングするために、上記複数のクラスの上記サブセット内に含まれた上記複数のクラスの上記少なくとも１つへのインジケーションを除去することと、ことを実行させる、項目６に記載の非一時的コンピュータ可読記憶媒体。
（項目８）
上記回路に結合され、ネットワークに結合するインタフェースをさらに備え、
上記命令は、上記回路により実行されると、上記回路に、サーバから上記インタフェースを介して、上記複数のクラスの上記サブセットのインジケーションを含むプライバシーレベル仕様を受信することを実行させる、項目７に記載の非一時的コンピュータ可読記憶媒体。
（項目９）
上記命令は、上記回路により実行されると、上記回路に、上記インタフェースを介して、上記スクリーニングされた出力を上記サーバに提供することを実行させる、項目８に記載の非一時的コンピュータ可読記憶媒体。
（項目１０）
上記命令は、上記回路により実行されると、上記回路に、
上記サーバから、上記回路のスクリーニング性能を報告するインジケーションを含むクエリを受信することと、
上記サーバに、上記回路の上記スクリーニング性能のインジケーションを含む報告を送信することと、を実行させる、項目８に記載の非一時的コンピュータ可読記憶媒体。
［プライバシー配慮マルチロケーションモデル実行］
（項目１）
回路と、
上記回路により実行されると、上記回路に、
サーバ性能を判定するためにサーバにクエリすることと、
推論モデルを、上記サーバ性能に部分的に基づいて、複数のモデルスライスに分割することと、
上記サーバに、上記モデルスライスのインジケーションと、上記モデルスライスを分散方式で実行する命令とを含む情報要素を送信することと、を実行させる命令を格納するメモリとを備える装置。
（項目２）
回路により実行されると、前記回路に、
サーバ性能を判定するためにサーバにクエリすることと、
推論モデルを、上記サーバ性能に部分的に基づいて、複数のモデルスライスに分割することと、
上記サーバに、上記モデルスライスのインジケーションと、上記モデルスライスを分散方式で実行する命令とを含む情報要素を送信することと、を実行させる命令を備える、非一時的コンピュータ可読記憶媒体。
［入力品質補償のための繰り返し推論］
（項目１）
プロセッサと、
上記プロセッサにより実行されると、上記プロセッサに、
入力データを受信することと、
分類データを生成するために、推論モデルに基づいて、上記入力データを分類することと、
上記分類データに基づいて、上記入力データを許容不能と評価することと、
上記分類データが許容不能と評価されると、拡張入力データを生成するために、上記入力データを修正することと、
拡張分類データを生成するために、上記推論モデルに基づいて、上記拡張入力データを分類することと、
上記拡張分類データに基づいて、上記拡張入力データを許容可能と評価することと、
上記拡張分類データを出力データとして提供することと、を実行させる命令を格納するメモリとを備える装置。
（項目２）
上記分類データは、上記入力データのクラスと、上記クラスの精度に関連付けられた信頼性レベルとを含み、
上記メモリは、上記プロセッサにより実行されると、上記プロセッサに、上記分類データを、上記信頼性レベルが閾値未満であると許容不能と評価し、上記分類データを、上記信頼性レベルが上記閾値を超えると許容可能と評価することを実行させる命令を格納する、項目１に記載の装置。
（項目３）
上記メモリは、上記プロセッサにより実行されると、上記プロセッサに、ガンマ変化、画素シフト、ノイズ除去、エラー修正のうちの１または複数により、上記入力データを修正することを実行させる命令を格納する、項目２に記載の装置。
（項目４）
上記メモリは、上記プロセッサにより実行されると、上記プロセッサに、動作異常を検出するために、上記分類データと、上記拡張分類データとを比較することを実行させる命令を格納する、項目１記載の装置。
（項目５）
上記推論モデルは、フィードフォワードニューラルネットワーク（ＦＦＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、長・短期記憶（ＬＳＴＭ）ネットワーク、ディープニューラルネットワーク（ＤＮＮ）、ベイジアンビリーフネットワーク、ボルツマンマシンのうちの１または複数を含む、項目１に記載の装置。
（項目６）
上記入力データは、上記推論モデルにより分類される１または複数のサンプルのデータセットを含む、項目１に記載の装置。
（項目７）
回路により実行されると、前記回路に、
入力データを受信することと、
分類データを生成するために、推論モデルに基づいて、上記入力データを分類することと、
上記分類データに基づいて、上記入力データを許容不能と評価することと、
上記分類データが許容不能と評価されると、拡張入力データを生成するために、上記入力データを修正することと、
拡張分類データを生成するために、上記推論モデルに基づいて、上記拡張入力データを分類することと、
上記拡張分類データに基づいて、上記拡張入力データを許容可能と評価することと、
上記拡張分類データを出力データとして提供することと、を実行させる命令を備える、非一時的コンピュータ可読記憶媒体。
（項目８）
上記分類データは、上記入力データのクラスと、上記クラスの精度に関連付けられた信頼性レベルとを含み、
上記媒体は、上記回路により実行されると、上記回路に、上記分類データを、上記信頼性レベルが閾値未満であると許容不能と評価し、上記分類データを、上記信頼性レベルが上記閾値を超えると許容可能と評価することを実行させる命令を格納する、項目７に記載の非一時的コンピュータ可読記憶媒体。
（項目９）
上記命令は、上記回路により実行されると、上記回路に、ガンマ変化、画素シフト、ノイズ除去、エラー修正のうちの１または複数により、上記入力データを修正することを実行させる、項目８に記載の非一時的コンピュータ可読記憶媒体。
（項目１０）
上記命令は、上記回路により実行されると、上記回路に、動作異常を検出するために、上記分類データと、上記拡張分類データとを比較することを実行させる、項目７に記載の非一時的コンピュータ可読記憶媒体。
（項目１１）
上記推論モデルは、フィードフォワードニューラルネットワーク（ＦＦＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、長・短期記憶（ＬＳＴＭ）ネットワーク、ディープニューラルネットワーク（ＤＮＮ）、ベイジアンビリーフネットワーク、ボルツマンマシンのうちの１または複数を含む、項目７に記載の非一時的コンピュータ可読記憶媒体。
（項目１２）
上記入力データは、上記推論モデルにより分類される１または複数のサンプルのデータセットを含む、項目７に記載の非一時的コンピュータ可読記憶媒体。
［暗号化モデルの活性化関数］
（項目１）
プロセッサと、
上記プロセッサにより実行されると、上記プロセッサに、
推論モデル内の各層に対する各出力特徴マップに対応する１または複数のマトリクスを初期化することと、
活性化統計を生成するために、データセット内のサンプルの活性化を、上記１または複数のマトリクスに蓄積することと、
第１、第２、および第３パラメータを決定することであって、上記第１パラメータは、固定される活性化のパーセントを含み、上記第２パラメータは、上記推論モデル内の発火すべきノードの総パーセントを含み、上記第３パラメータは、固定された活性化が得られる総上位活性化のパーセンタイルを含む、決定することと、
上記活性化統計、上記第１パラメータ、上記第２パラメータ、および上記第３パラメータ基づいて、専用活性化関数を実施することと、を実行させる命令を格納するメモリとを備える装置。
（項目２）
上記データセット内のサンプルの活性化は、上記推論モデルの各層の活性化マップの格納時に、各サンプルを順伝播することで蓄積される、項目１に記載の装置。
（項目３）
上記専用活性化関数の実施は、処理される層に対する対応するマトリクス内の全てのノードを通過することを含む、項目１に記載の装置。
（項目４）
活性化パーセントは、上記推論モデル内の１または複数のノードをランダムに発火することで満たされる、項目１に記載の装置。
（項目５）
上記活性化パーセントは、上記第２パラメータ引く上記第１パラメータに等しい、項目４に記載の装置。
（項目６）
上記メモリは、上記プロセッサにより実行されると、上記プロセッサに、ユーザから受信した入力に基づいて、上記第１、第２、および第３パラメータを決定することを実行させる命令を格納する、項目１に記載の装置。
（項目７）
上記推論モデルは、フィードフォワードニューラルネットワーク（ＦＦＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、長・短期記憶（ＬＳＴＭ）ネットワーク、ディープニューラルネットワーク（ＤＮＮ）、ベイジアンビリーフネットワーク、ボルツマンマシンのうちの１または複数を含む、項目１に記載の装置。
（項目８）
回路により実行されると、前記回路に、
推論モデル内の各層に対する各出力特徴マップに対応する１または複数のマトリクスを初期化することと、
活性化統計を生成するために、データセット内のサンプルの活性化を、上記１または複数のマトリクスに蓄積することと、
第１、第２、および第３パラメータを決定することであって、上記第１パラメータは、固定される活性化のパーセントを含み、上記第２パラメータは、上記推論モデル内の発火すべきノードの総パーセントを含み、上記第３パラメータは、固定された活性化が得られる総上位活性化のパーセンタイルを含む、決定することと、
上記活性化統計、上記第１パラメータ、上記第２パラメータ、および上記第３パラメータ基づいて、専用活性化関数を実施することと、を実行させる命令を備える、非一時的コンピュータ可読記憶媒体。
（項目９）
上記データセット内のサンプルの活性化は、上記推論モデルの各層の活性化マップの格納時に、各サンプルを順伝播することで蓄積される、項目８に記載の非一時的コンピュータ可読記憶媒体。
（項目１０）
上記専用活性化関数の実施は、処理される層に対する対応するマトリクス内の全てのノードを通過することを含む、項目８に記載の非一時的コンピュータ可読記憶媒体。
（項目１１）
活性化パーセントは、上記推論モデル内の１または複数のノードをランダムに発火することで満たされる、項目１０に記載の非一時的コンピュータ可読記憶媒体。
（項目１２）
上記活性化パーセントは、上記第２パラメータ引く上記第１パラメータに等しい、項目１１に記載の非一時的コンピュータ可読記憶媒体。
（項目１３）
上記命令は、上記回路により実行されると、上記回路に、ユーザから受信した入力に基づいて、上記第１、第２、および第３パラメータを決定することを実行させる、項目８に記載の非一時的コンピュータ可読記憶媒体。
（項目１４）
上記推論モデルは、フィードフォワードニューラルネットワーク（ＦＦＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、長・短期記憶（ＬＳＴＭ）ネットワーク、ディープニューラルネットワーク（ＤＮＮ）、ベイジアンビリーフネットワーク、ボルツマンマシンのうちの１または複数含む、項目８に記載の非一時的コンピュータ可読記憶媒体。
［モデル保護のためのマルチパーティ実行］
（項目１）
回路と、
上記回路により実行されると、上記回路に、
推論モデルを、複数のモデルスライスに分割することと、
複数の敵対的モデルに部分的に基づいて上記複数のモデルスライスを訓練することと、を実行させる命令を格納するメモリと
を備える装置。
（項目２）
回路により実行されると、前記回路に、
推論モデルを、複数のモデルスライスに分割することと、
複数の敵対的モデルに部分的に基づいて上記複数のモデルスライスを訓練することと、を実行させる命令を備える、非一時的コンピュータ可読記憶媒体。
［他の考え得る項目］
プロービングを介したモデル改変を軽減する出力トリミング
（項目１）
回路と、
上記回路に結合されたメモリであって、上記回路により実行されると、上記回路に、
入力データと、推論モデルとに部分的に基づいて出力データを生成すること、
上記生成された出力についての推論確率を判定すること、
上記推論確率が閾値よりも高いかを判定すること、
上記推論確率が上記閾値よりも高くないという判定に基づいて、無効出力を提供することと、を実行させる命令を格納するメモリとを備える装置。
（項目２）
上記メモリはさらに、上記回路により実行されると、上記回路に、
上記入力データを受信すること、
上記入力データを受信したことに応じて、上記出力を生成することと、を実行させる命令を格納する、項目１に記載の装置。
（項目３）
上記メモリはさらに、上記回路により実行されると、上記回路に、上記推論確率が上記閾値を超えるという判定に基づいて、上記生成された出力を出力デバイスに提供することを実行させる命令を格納する、項目１に記載の装置
（項目４）
上記メモリは上記推論モデルを格納する、項目１に記載の装置。
（項目５）
上記推論モデルは、ニューラルネットワークである、項目４に記載の装置。
（項目６）
上記推論モデルは、パターン分類ネットワークである、項目４に記載の装置。
（項目７）
コンピューティングデバイスにより実行されると、前記コンピューティングデバイスに、
入力データと、推論モデルとに部分的に基づいて出力データを生成すること、
上記生成された出力についての推論確率を判定すること、
上記推論確率が閾値よりも高いかを判定すること、
上記推論確率が上記閾値よりも高くないという判定に基づいて、無効出力を提供することと、を実行させる命令を備える、非一時的コンピュータ可読記憶媒体。
（項目８）
コンピューティングデバイスにより実行されると、上記コンピューティングデバイスに、
上記入力データを受信することと、
上記入力データを受信したことに応じて、上記出力を生成することと、を実行させる命令をさらに備える、項目７に記載の非一時的コンピュータ可読記憶媒体。
（項目９）
コンピューティングデバイスにより実行されると、上記コンピューティングデバイスにさらに、上記推論確率が上記閾値を超えるという判定に基づいて、上記生成された出力を出力デバイスに提供することを実行させる命令をさらに備える、項目７に記載の非一時的コンピュータ可読記憶媒体。
（項目１０）
さらに上記推論モデルを格納することを含む、項目７に記載の非一時的コンピュータ可読記憶媒体。
（項目１１）
上記推論モデルは、ニューラルネットワークである、項目１０に記載の非一時的コンピュータ可読記憶媒体。
（項目１２）
上記推論モデルは、パターン分類ネットワークである、項目７に記載の非一時的コンピュータ可読記憶媒体。
モデルデジタル著作権管理用の安全マーキング
（項目１）
プロセッサと、
上記プロセッサに結合されたメモリであって、上記プロセッサにより実行されると、上記プロセッサに、入力データと、推論モデルとに部分的に基づいて出力データを生成することを実行させる命令を格納するメモリと、
信頼できる実行環境（ＴＥＥ）であって、
回路と、
上記回路に結合された信頼できるメモリであって、
ウォーターマークと、
ＴＥＥ命令であって、上記回路により実行されると、上記回路に、
上記入力が上記ウォーターマークに一致するかを判定することと、
上記プロセッサに、上記入力が上記ウォーターマークに一致するという判定に基づいて、上記出力データを生成させないための第１のインジケーションを送信することと、を実行させる、ＴＥＥ命令と、を格納する信頼できるメモリと、を有する信頼できる実行環境とを備える装置。
（項目２）
上記信頼できるメモリは、上記回路により実行されると、上記回路に、上記入力が上記ウォーターマークに一致するという上記判定に基づいて、上記推論モデルのデジタル著作権侵害のインジケーションを提供する第２のインジケーションを上記プロセッサに送信することを実行させる、ＴＥＥ命令をさらに格納する、項目１に記載の装置。
（項目３）
上記メモリは、上記プロセッサにより実行されると、上記プロセッサに、
上記第２のインジケーションを受信したことに応じて、出力デバイスに、上記推論モデルのデジタル著作権侵害の上記インジケーションを提供することと、
上記第１のインジケーションを受信したことに応じて、上記出力データを生成しないことと、を実行させる命令をさらに格納する、項目２に記載の装置。
（項目４）
上記信頼できるメモリは、上記回路により実行されると、上記回路に、
上記入力データを上記ウォーターマークとビット単位比較することと、
上記ビット単位比較に部分的に基づいて、上記入力データが、上記ウォーターマークに一致するか判定することと、を実行させるＴＥＥ命令をさらに格納する、項目１に記載の装置。
（項目５）
上記信頼できるメモリは、上記回路により実行されると、上記回路に、第３のインジケーションを受信したことに応じて、上記出力データを生成する上記第３のインジケーションを上記プロセッサに送信することを実行させるＴＥＥ命令をさらに格納する、項目１に記載の装置。
（項目６）
上記メモリは、上記プロセッサにより実行されると、上記プロセッサに、上記第１のインジケーションを受信したことに応じて、上記出力データを生成することを実行させる命令をさらに格納する、項目５に記載の装置。
（項目７）
上記メモリは上記推論モデルを格納する、項目１に記載の装置。
（項目８）
上記推論モデルは、ニューラルネットワークである、項目７に記載の装置。
（項目９）
コンピューティングデバイスにより実行されると、前記コンピューティングデバイスに、入力データおよび推論モデルに部分的に基づいて、出力データを生成することを実行させ、
マーカーを格納する信頼できる実行環境（ＴＥＥ）により実行されると、上記ＴＥＥに、上記入力が上記マーカーに一致するか判定することと、上記入力が上記マーカーに一致するという判定に基づき、上記出力データを生成させない第１のインジケーションを上記プロセッサに送信することを実行させる命令を備える、非一時的コンピュータ可読記憶媒体。
（項目１０）
上記ＴＥＥにより実行されると、上記ＴＥＥに、上記入力が上記マーカーに一致するという上記判定に基づいて、上記推論モデルのデジタル著作権侵害のインジケーションを提供する第２のインジケーションを上記プロセッサに送信することをさらに実行させる命令をさらに備える、項目９に記載の非一時的コンピュータ可読記憶媒体。
（項目１１）
上記プロセッサにより実行されると、上記プロセッサに、
上記第２のインジケーションを受信したことに応じて、上記推論モデルのデジタル著作権侵害の上記インジケーションを出力デバイスに提供することと、
上記第１のインジケーションを受信したことに応じて、上記出力データを生成しないことと、をさらに実行させる命令をさらに備える、項目１０に記載の非一時的コンピュータ可読記憶媒体。
（項目１２）
上記ＴＥＥにより実行されると、上記ＴＥＥに、
上記入力データを上記マーカーとビット単位比較することと、
上記ビット単位比較に部分的に基づいて、上記入力データが、上記マーカーに一致すると判定することと、をさらに実行させる命令をさらに備える、項目９に記載の非一時的コンピュータ可読記憶媒体。
（項目１３）
上記ＴＥＥにより実行されると、上記ＴＥＥに、第３のインジケーションを受信したことに応じて、上記出力データを生成する上記第３のインジケーションを上記プロセッサに送信することを実行させる命令をさらに備える、項目９に記載の非一時的コンピュータ可読記憶媒体。
（項目１４）
上記プロセッサにより実行されると、上記プロセッサに、上記第１のインジケーションを受信したことに応じて、上記出力データを生成することを実行させる命令をさらに備える、項目１３に記載の非一時的コンピュータ可読記憶媒体。
（項目１５）
上記推論モデルをさらに含む、項目９に記載の非一時的コンピュータ可読記憶媒体。
（項目１６）
上記推論モデルはニューラルネットワークである、項目１５に記載の非一時的コンピュータ可読記憶媒体。
敵対的ウォーターマークを介した盗まれたモデル検出
（項目１）
プロセッサと、
上記プロセッサに結合されたメモリであって、上記プロセッサにより実行されると、上記プロセッサに、
入力データを受信することと、
上記受信した入力に基づいて、推論モデルを介して出力を生成することと、
上記入力データが敵対的かを判定することと、
上記入力データが敵対的でないという判定に基づいて、上記生成された出力を提供することと、
上記入力データが敵対的であるという判定が上記ウォーターマークに一致することに基づいて、上記入力データが正しく分類されたか判定することと、
上記入力データが正しく分類されたという判定に基づいて、上記推論モデルが不正使用されているというインジケーションを提供することと、
上記入力データが敵対的ではないという判定に基づいて、または上記入力データが正しく分類されていないという判定に基づいて、上記生成された出力を提供することと、を実行させる命令を格納するメモリとを備える装置。
（項目２）
コンピューティングデバイスにより実行されると、前記コンピューティングデバイスに、
入力データを受信することと、
上記受信した入力に基づいて、推論モデルを介して出力を生成することと、
上記入力データが敵対的かを判定することと、
上記入力データが敵対的でないという判定に基づいて、上記生成された出力を提供することと、
上記入力データが敵対的であるという判定が上記ウォーターマークに一致することに基づいて、上記入力データが正しく分類されたか判定することと、
上記入力データが正しく分類されたという判定に基づいて、上記推論モデルが不正使用されているというインジケーションを提供することと、
上記入力データが敵対的ではないという判定に基づいて、または上記入力データが正しく分類されていないという判定に基づいて、上記生成された出力を提供することと、を実行させる命令を備える、非一時的コンピュータ可読記憶媒体。
［モデル窃盗を防止するためのハードウェア依存入力変換］
（項目１）
プロセッサと、
上記プロセッサにより実行されると、上記プロセッサに、
上記装置に関連付けられた一意識別（ＵＵＩＤ）を判定することと、
上記ＵＵＩＤに部分的に基づいて入力データを変換することと、を実行させる命令を格納するメモリと、
推論モデルを介して出力を生成するのに使用されるリカバリされた入力データを、プリロードされたＵＵＩＤと、上記変換された入力データとに部分的に基づいて生成する回路を有する、信頼できる実行環境（ＴＥＥ）とを備える装置。
（項目２）
上記入力データを取得する入力デバイスを備える、項目１に記載の装置。
（項目３）
上記メモリは、上記推論モデルと、上記プロセッサにより実行されると、上記プロセッサに、上記リカバリされた入力データに部分的に基づいて、上記出力データを生成するように、上記推論モデルを実行する上記命令を格納する、項目１に記載の装置。
（項目４）
上記ＴＥＥは、上記推論モデルを格納し、上記ＴＥＥ回路は、上記リカバリされた入力データに部分的に基づいて、上記出力データを生成するように、上記推論モデルを実行するように構成される、項目１に記載の装置。
（項目５）
コンピューティングデバイスにより実行されると、前記コンピューティングデバイスに、
上記装置に関連付けられた一意識別（ＵＵＩＤ）を判定することと、
上記ＵＵＩＤに部分的に基づいて入力データを変換することと、
信頼できる実行環境（ＴＥＥ）に
推論モデルを介して出力を生成するのに使用されるリカバリされた入力データを、プリロードされたＵＵＩＤと、上記変換された入力データとに部分的に基づいて生成させることと、を実行させる命令を備える、非一時的コンピュータ可読記憶媒体。
（項目６）
上記コンピューティングデバイスにより実行されると、上記コンピューティングデバイスに、入力デバイスから上記入力データを受信することを実行させる命令をさらに備える、項目５に記載の非一時的コンピュータ可読記憶媒体。
（項目７）
上記推論モデルと、上記プロセッサにより実行されると、上記プロセッサに、上記リカバリされた入力データに部分的に基づいて、上記出力データを生成するように、上記推論モデルを実行する上記命令と、をさらに含む、項目５に記載の非一時的コンピュータ可読記憶媒体。
（項目８）
上記ＴＥＥは上記推論モデルを格納し、上記ＴＥＥにより実行されると、上記ＴＥＥに、上記リカバリされた入力データに部分的に基づいて上記出力データを生成することを実行させる命令をさらに備える、項目５に記載の非一時的コンピュータ可読記憶媒体
［入力サニタイゼーションオフロード］
（項目１）
回路と、
上記回路に結合され、ネットワークに結合するインタフェースと、
上記回路に結合されたメモリであって、上記回路により実行されると、上記回路に、
入力デバイスから入力データを受信することと、
上記ネットワークに結合されたサーバから、上記インタフェースを介して、サニタイゼーションプロトコルのインジケーションを含むサニタイゼーションペイロードを受信することと、
上記サニタイゼーションプロトコルの上記入力データへの適用に少なくとも部分的に基づいてサニタイズされた入力データを生成することと、
上記インタフェースおよび上記ネットワークを介して、上記サニタイズされた入力データを上記サーバに送信することと、を実行させる命令を格納するメモリ、とを備える装置。
（項目２）
上記メモリは、上記回路により実行されると、上記回路に、
上記サーバから、上記回路の計算性能を報告するインジケーションを含むクエリを受信することと、
上記回路の上記計算性能のインジケーションを含む報告を上記サーバに送信することと、を実行させる命令をさらに格納する、項目１に記載の装置。
（項目３）
上記メモリは、上記回路により実行されると、上記回路に、上記ネットワークを介して、信頼できる接続を、上記サーバとの間に構築することを実行させる命令をさらに格納する、項目１に記載の装置。
（項目４）
上記メモリは、上記回路により実行されると、上記回路に、
デコードされた入力データを、上記入力データを第１データフォーマットから、第２データフォーマットに変換することに部分的に基づいて、生成することと、
上記デコードされた入力データにフィルタを適用することに部分的に基づいて、フィルタリングされた入力データを生成することと、
上記フィルタリングされた入力データを上記第２データフォーマットから上記第１データフォーマットに変換することに部分的に基づいて、上記サニタイズされた入力データを生成することと、を実行させる命令をさらに格納する、項目１に記載の装置。
（項目５）
上記サニタイゼーションペイロードは、上記第２データフォーマットおよび上記フィルタのインジケーションを含む、項目４に記載の装置。
（項目６）
コンピューティングデバイスにより実行されると、前記コンピューティングデバイスに、
入力デバイスから入力データを受信することと、
上記ネットワークに結合されたサーバから、上記インタフェースを介して、サニタイゼーションプロトコルのインジケーションを含むサニタイゼーションペイロードを受信することと、
上記サニタイゼーションプロトコルの上記入力データへの適用に少なくとも部分的に基づいてサニタイズされた入力データを生成することと、
上記インタフェースおよび上記ネットワークを介して、上記サニタイズされた入力データを上記サーバに送信することと、を実行させる命令を備える、非一時的コンピュータ可読記憶媒体。
（項目７）
上記コンピューティングデバイスにより実行されると、上記コンピューティングデバイスに、
上記サーバから、上記回路の計算性能を報告するインジケーションを含むクエリを受信することと、
上記回路の上記計算性能のインジケーションを含む報告を上記サーバに送信することと、を実行させる命令をさらに備える、項目６に記載の非一時的コンピュータ可読記憶媒体。
（項目８）
上記コンピューティングデバイスにより実行されると、上記コンピューティングデバイスに、上記ネットワークを介して、信頼できる接続を、上記サーバとの間に構築することを実行させる上記命令をさらに備える、項目６に記載の非一時的コンピュータ可読記憶媒体。
（項目９）
上記コンピューティングデバイスにより実行されると、上記コンピューティングデバイスに、
デコードされた入力データを、上記入力データを第１データフォーマットから、第２データフォーマットに変換することに部分的に基づいて、生成することと、
上記デコードされた入力データにフィルタを適用することに部分的に基づいて、フィルタリングされた入力データを生成することと、
上記フィルタリングされた入力データを上記第２データフォーマットから上記第１データフォーマットに変換することに部分的に基づいて、上記サニタイズされた入力データを生成することと、を実行させる命令をさらに備える、項目６に記載の非一時的コンピュータ可読記憶媒体。
（項目１０）
上記サニタイゼーションペイロードは、上記第２データフォーマットおよび上記フィルタのインジケーションを含む、項目９に記載の非一時的コンピュータ可読記憶媒体。
［敵対的攻撃を発見するための隠れクラス］
（項目１）
回路と
上記回路に結合されたメモリであって、上記回路により実行されると、上記回路に、
入力デバイスから入力データを受信することと、
可視クラスまたは隠れクラスのいずれかのインジケーションを含む出力データを、上記入力データで推論モデルを実行することに部分的に基づいて生成することと、
上記出力データが上記隠れクラスのインジケーションを含むかを判定することと、
上記出力データが上記隠れクラスのインジケーションを含まないという判定に基づいて、上記生成された出力を出力コンシューマに提供することと、を実行させる命令を格納するメモリとを備える装置。
（項目２）
上記メモリは、上記回路により実行されると、上記回路に、上記出力データが上記隠れクラスのインジケーションを含むという判定に基づいて、監視システムにアラートを送信することを実行させる命令をさらに格納する、項目１に記載の装置。
（項目３）
上記メモリは、上記回路により実行されると、上記回路に、
上記出力データが上記隠れクラスのインジケーションを含むという上記判定に応じて、上記可視クラスのインジケーションを含む難読化された出力を生成することと、
上記出力データが上記隠れクラスのインジケーションを含むという上記判定に応じて、上記難読化された出力を上記出力コンシューマに提供することと、を実行させる命令をさらに格納する、項目２に記載の装置。
（項目４）
上記メモリは、上記回路により実行されると、上記回路に、
上記出力データが上記隠れクラスのインジケーションを含むという上記判定に応じて、上記入力データおよび上記入力デバイスの少なくとも一方のインジケーションを含むフォレンジックデータを収集することと、
上記出力データが上記隠れクラスのインジケーションを含むという上記判定に応じて、上記フォレンジックデータを上記監視システムに提供することと、を実行させる命令をさらに格納する、項目３に記載の装置。
（項目５）
上記可視クラスは複数の可視クラスを含み、上記出力データは、上記隠れクラスまたは上記複数の可視クラスの１つのインジケーションを含む、項目３に記載の装置。
（項目６）
上記隠れクラスは複数の隠れクラスを含み、上記出力データは、上記複数の隠れクラスの１つまたは上記複数の可視クラスの１つのインジケーションを含む、項目５に記載の装置。
（項目７）
上記メモリは、上記回路により実行されると、上記回路に、
上記出力データが上記隠れクラスのインジケーションを含むという上記判定に応じて、上記出力データにより示された上記複数の隠れクラスの上記１つに関連付けられた、上記複数の可視クラスの１つを特定することと、
上記複数の可視クラスの上記特定された１つのインジケーションを含む上記難読化された出力を生成することと、を実行させる命令をさらに格納する、項目６に記載の装置。
（項目８）
回路により実行されると、前記回路に、
入力デバイスから入力データを受信することと、
可視クラスまたは隠れクラスのいずれかのインジケーションを含む出力データを、上記入力データで推論モデルを実行することに部分的に基づいて生成することと、
上記出力データが上記隠れクラスのインジケーションを含むかを判定することと、
上記出力データが上記隠れクラスのインジケーションを含まないという判定に基づいて、上記生成された出力を出力コンシューマに提供することと、を実行させる命令を備える、非一時的コンピュータ可読記憶媒体。
（項目９）
上記回路により実行されると、上記回路に、上記出力データが上記隠れクラスのインジケーションを含むという判定に基づいて、監視システムにアラートを送信することを実行させる命令をさらに格納する、項目８に記載の非一時的コンピュータ可読記憶媒体。
（項目１０）
上記回路により実行されると、上記回路に、
上記出力データが上記隠れクラスのインジケーションを含むという上記判定に応じて、上記可視クラスのインジケーションを含む難読化された出力を生成することと、
上記出力データが上記隠れクラスのインジケーションを含むという上記判定に応じて、上記難読化された出力を上記出力コンシューマに提供することと、を実行させる命令をさらに格納する、項目９に記載の非一時的コンピュータ可読記憶媒体。
（項目１１）
上記回路により実行されると、上記回路に、
上記出力データが上記隠れクラスのインジケーションを含むという上記判定に応じて、上記入力データおよび上記入力デバイスの少なくとも一方のインジケーションを含むフォレンジックデータを収集することと、
上記出力データが上記隠れクラスのインジケーションを含むという上記判定に応じて、上記フォレンジックデータを上記監視システムに提供することと、を実行させる命令をさらに格納する、項目１０に記載の非一時的コンピュータ可読記憶媒体。
（項目１２）
上記可視クラスは複数の可視クラスを含み、上記出力データは、上記隠れクラスまたは上記複数の可視クラスの１つのインジケーションを含む、項目１０に記載の非一時的コンピュータ可読記憶媒体。
（項目１３）
上記隠れクラスは複数の隠れクラスを含み、上記出力データは、上記複数の隠れクラスの１つまたは上記複数の可視クラスの１つのインジケーションを含む、項目１２に記載の非一時的コンピュータ可読記憶媒体。
（項目１４）
上記回路により実行されると、上記回路に、
上記出力データが上記隠れクラスのインジケーションを含むという上記判定に応じて、上記出力データにより示された上記複数の隠れクラスの上記１つに関連付けられた、上記複数の可視クラスの１つを特定することと、
上記複数の可視クラスの上記特定された１つのインジケーションを含む上記難読化された出力を生成することと、を実行させる命令をさらに格納する、項目１３に記載の非一時的コンピュータ可読記憶媒体。
［入力歪曲による、敵対的攻撃に対する防御］
（項目１）
プロセッサと、
上記プロセッサにより実行されると、上記プロセッサに、
鍵に部分的に基づいて入力データを難読化することと、
出力データを生成するように、難読化された入力データを使用して推論モデルを実行することと、を実行させる命令を格納するメモリとを備える装置。
（項目２）
上記入力データを取得するように構成された入力デバイスをさらに備え、上記命令は、上記プロセッサにより実行されると、上記プロセッサに、上記入力デバイスから上記入力データを受信することを実行させる、項目１に記載の装置。
（項目３）
取得した入力を示す信号を出力するように構成された入力取得回路と、
上記信号を改変して、上記改変された信号を示す難読化された入力データを生成するように構成された入力難読化回路と、を備える入力デバイス。
（項目４）
上記入力取得回路は、撮像センサであり、上記入力デバイスは、
上記撮像センサに結合されるレンズと、
上記レンズに結合され、上記レンズを透過した光を難読化するように構成されたフィルタと、を備える、項目３に記載の入力デバイス。
（項目５）
回路により実行されると、前記回路に、
鍵に部分的に基づいて入力データを難読化することと、
出力データを生成するように、難読化された入力データを使用して推論モデルを実行することと、を実行させる命令を備える、非一時的コンピュータ可読記憶媒体。
（項目６）
上記回路により実行されると、上記回路に、入力デバイスから上記入力データを受信することを実行させる上記命令を備える、項目５に記載の非一時的コンピュータ可読記憶媒体。
［ネットワーク活性化に基づく推論確率］
（項目１）
プロセッサと、
上記プロセッサにより実行されると、上記プロセッサに、
（１）推論のインジケーションを含む出力データと、（２）推論拡張マップとを生成するように、入力データを使用して推論モデルを実行することと、
上記入力データおよび上記推論拡張マップに基づいて、入力エリア影響マップを生成することと、
少なくとも上記入力エリア影響マップに基づいて、上記推論の信頼性のインジケーションを含む信頼性スコアを生成することと、を実行させる命令を格納するメモリとを備える装置。
（項目２）
入力デバイスを備え、
上記命令は、上記プロセッサにより実行されると、上記プロセッサに、上記入力デバイスから上記入力データを受信することを実行させる、項目１に記載の装置。
（項目３）
上記推論拡張マップは、モデル活性化マップである、項目１に記載の装置。
（項目４）
回路により実行されると、前記回路に、
（１）推論のインジケーションを含む出力データと、（２）推論拡張マップとを生成するように、入力データを使用して推論モデルを実行することと、
上記入力データおよび上記推論拡張マップに基づいて、入力エリア影響マップを生成することと、
少なくとも上記入力エリア影響マップに基づいて、上記推論の信頼性のインジケーションを含む信頼性スコアを生成することと、を実行させる命令を備える、非一時的コンピュータ可読記憶媒体。
（項目５）
上記推論拡張マップは、モデル活性化マップである、項目４に記載の非一時的コンピュータ可読記憶媒体。
［サードパーティの推論を組み合わせることによる入力セットサニテーション］
（項目１）
プロセッサと、
上記プロセッサにより実行されると、上記プロセッサに、
複数のサンプルを有する訓練データセットを受信することと、
上記訓練データセットにおけるサンプルに基づいて、２つ以上の推論モデルに対して、分類データを生成することと、
上記２つ以上の推論モデルそれぞれに対して生成された上記分類データが一致するか判定することと、
上記２つ以上の推論モデルそれぞれに対して生成された上記分類データが一致しない場合、上記訓練データセットにおける上記サンプルを非相関出力データに追加することと、
上記２つ以上の推論モデルそれぞれに対して生成された上記分類データが一致する場合、上記訓練データセットにおける上記サンプルを相関出力データに追加することと、を実行させる命令を格納するメモリとを備える装置。
（項目２）
上記メモリが、上記プロセッサにより実行されると、上記プロセッサに、信頼できる推論モデルを訓練するために、上記相関出力データセットを利用することを実行させる命令を格納する、項目１に記載の装置。
（項目３）
上記メモリは、上記プロセッサにより実行されると、上記プロセッサに、１または複数の訓練フローにおいて、上記非相関出力データを利用することを実行させる命令を格納する、項目１に記載の装置。
（項目４）
上記１または複数の訓練フローは、柔軟性訓練フローまたは敵対的訓練フローを含む、項目３の装置。
（項目５）
上記メモリは、上記プロセッサにより実行されると、上記プロセッサに、
上記非相関出力データまたは上記相関出力データの１つに追加されていない、上記訓練データセットの残りのサンプルを判定し、
上記訓練データセットの上記残りのサンプルに基づいて、２つ以上の推論モデルに対して追加の分類データを生成することと、
上記２つ以上の推論モデルそれぞれに対して生成された上記追加の分類データが一致するか判定することと、
上記２つ以上の推論モデルそれぞれに対して生成された上記追加の分類データが一致しない場合、上記訓練データセットの上記残りのサンプルを非相関出力データに追加することと、
上記２つ以上の推論モデルそれぞれに対して生成された上記追加の分類データが一致する場合、上記訓練データセットの上記残りのサンプルを相関出力データに追加することと、を実行させる命令を格納する、項目１に記載の装置。
（項目６）
上記２つ以上の推論モデルは、フィードフォワードニューラルネットワーク（ＦＦＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、長・短期記憶（ＬＳＴＭ）ネットワーク、ディープニューラルネットワーク（ＤＮＮ）、ベイジアンビリーフネットワーク、ボルツマンマシンのうちの２つ以上を含む、項目１に記載の装置。
（項目７）
回路により実行されると、前記回路に、
複数のサンプルを有する訓練データセットを受信することと、
上記訓練データセットにおけるサンプルに基づいて、２つ以上の推論モデルに対して、分類データを生成することと、
上記２つ以上の推論モデルそれぞれに対して生成された上記分類データが一致するか判定することと、
上記２つ以上の推論モデルそれぞれに対して生成された上記分類データが一致しない場合、上記訓練データセットにおける上記サンプルを非相関出力データに追加することと、
上記２つ以上の推論モデルそれぞれに対して生成された上記分類データが一致する場合、上記訓練データセットにおける上記サンプルを相関出力データに追加することと、を実行させる命令を備える、非一時的コンピュータ可読記憶媒体。
（項目８）
上記回路により実行されると、上記回路に、信頼できる推論モデルを訓練するために、上記相関出力データセットを利用することを実行させる命令を格納する、項目７に記載の非一時的コンピュータ可読記憶媒体。
（項目９）
上記回路により実行されると、上記回路に、１または複数の訓練フローにおいて、上記非相関出力データを利用することを実行させる命令を格納する、項目７に記載の非一時的コンピュータ可読記憶媒体。
（項目１０）
上記１または複数の訓練フローは、柔軟性訓練フローまたは敵対的訓練フローを含む、項目９に記載の非一時的コンピュータ可読記憶媒体。
（項目１１）
上記回路により実行されると、上記回路に、
上記非相関出力データまたは上記相関出力データの１つに追加されていない、上記訓練データセットの残りのサンプルを判定し、
上記訓練データセットの上記残りのサンプルに基づいて、２つ以上の推論モデルに対して追加の分類データを生成することと、
上記２つ以上の推論モデルそれぞれに対して生成された上記追加の分類データが一致するか判定することと、
上記２つ以上の推論モデルそれぞれに対して生成された上記追加の分類データが一致しない場合、上記訓練データセットの上記残りのサンプルを非相関出力データに追加することと、
上記２つ以上の推論モデルそれぞれに対して生成された上記追加の分類データが一致する場合、上記訓練データセットの上記残りのサンプルを相関出力データに追加することと、を実行させる命令を格納する、項目７に記載の非一時的コンピュータ可読記憶媒体。
（項目１２）
上記２つ以上の推論モデルは、フィードフォワードニューラルネットワーク（ＦＦＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、長・短期記憶（ＬＳＴＭ）ネットワーク、ディープニューラルネットワーク（ＤＮＮ）、ベイジアンビリーフネットワーク、ボルツマンマシンのうちの２つ以上を含む、項目７に記載の非一時的コンピュータ可読記憶媒体。
［入力デバイスに対するソース信頼性適応］
（項目１）
プロセッサと、
上記プロセッサにより実行されると、上記プロセッサに、
入力デバイスに対する入力デバイス特徴を判定することと、
上記入力デバイス特徴に基づいて、訓練されていない推論モデルを選択することと、
上記入力デバイス特徴に基づいて選択された上記訓練されていない推論モデルを、上記入力デバイスからの入力データで訓練することと、を実行させる命令を格納するメモリとを備える装置。
（項目２）
上記メモリは、上記プロセッサにより実行されると、上記プロセッサに、上記入力デバイスから上記入力データおよび上記入力デバイス特徴を受信することを実行させる命令を格納する、項目１に記載の装置。
（項目３）
上記メモリは、上記プロセッサにより実行されると、上記プロセッサに、上記入力デバイスに上記入力デバイス特徴をリクエストすることを実行させる命令を格納する、項目２に記載の装置。
（項目４）
上記訓練されていない推論モデルは、フィードフォワードニューラルネットワーク（ＦＦＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、長・短期記憶（ＬＳＴＭ）ネットワーク、ベイジアンビリーフネットワーク、ボルツマンマシンのうちの１または複数を含む、項目１に記載の装置。
（項目５）
プロセッサと、
上記プロセッサにより実行されると、上記プロセッサに、
入力デバイスに対する入力デバイス特徴を判定することと、
上記入力デバイス特徴に基づいて、訓練された推論モデルを選択することと、
上記入力デバイス特徴に基づいて選択された上記推論モデルで、上記入力デバイスからの入力データを分類することと、を実行させる命令を格納するメモリとを備える装置。
（項目６）
上記メモリは、上記プロセッサにより実行されると、上記プロセッサに、上記入力デバイスから上記入力データおよび上記入力デバイス特徴を受信することを実行させる命令を格納する、項目５に記載の装置。
（項目７）
上記メモリは、上記プロセッサにより実行されると、上記プロセッサに、上記入力デバイスに上記入力デバイス特徴をリクエストすることを実行させる命令を格納する、項目６に記載の装置。
（項目８）
上記訓練されていない推論モデルは、フィードフォワードニューラルネットワーク（ＦＦＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、長・短期記憶（ＬＳＴＭ）ネットワーク、ディープニューラルネットワーク（ＤＮＮ）、ベイジアンビリーフネットワーク、ボルツマンマシンのうちの１または複数を含む、項目５に記載の装置。
［訓練セットとモデルとの信頼できる関連付け］
（項目１）
プロセッサと、
上記プロセッサにより実行されると、上記プロセッサに、
入力データを受信することと、
上記入力データをトランスコードすることと、
上記トランスコードされた入力データに基づいて、訓練データセットインテグリティステート（ＴＳＩＳ）値を生成することと、
推論モデルが上記入力データに基づいて訓練されたことを確認可能とするように、上記ＴＳＩＳ値を出力として提供することと、を実行させる命令を格納するメモリとを備える装置。
（項目２）
上記メモリは、上記プロセッサにより実行されると、上記プロセッサに、
上記入力データに基づいて上記推論モデルを訓練することと、
上記出力において、上記推論モデルを提供することと、を実行させる命令を格納する、項目１に記載の装置。
（項目３）
上記メモリは、上記プロセッサにより実行されると、上記プロセッサに、
上記推論モデルに基づいて、推論モデルインテグリティステート（ＩＭＩＳ）値を生成することと、
上記出力において、上記ＩＭＩＳ値を提供することと、を実行させる命令を格納する、項目２に記載の装置。
（項目４）
上記ＴＳＩＳ値、上記ＩＭＩＳ値、および上記推論モデルは、タプルとして、上記出力において提供される、項目３の装置。
（項目５）
上記メモリは、上記プロセッサにより実行されると、上記プロセッサに、上記入力データをトランスコードするために、上記入力データを数学的表現に変換することを実行させる命令を格納する、項目１に記載の装置。
（項目６）
上記メモリは、上記プロセッサにより実行されると、上記プロセッサに、暗号化関数により上記ＴＳＩＳ値を生成することを実行させる命令を格納する、項目１に記載の装置。
（項目７）
回路により実行されると、前記回路に、
入力データを受信することと、
上記入力データをトランスコードすることと、
上記トランスコードされた入力データに基づいて、訓練データセットインテグリティステート（ＴＳＩＳ）値を生成することと、
推論モデルが上記入力データに基づいて訓練されたことを確認可能とするように、上記ＴＳＩＳ値を出力として提供することと、を実行させる命令を備える、非一時的コンピュータ可読記憶媒体。
（項目８）
上記命令は、上記回路により実行されると、上記回路に、
上記入力データに基づいて上記推論モデルを訓練することと、
上記出力において、上記推論モデルを提供することと、実行させる、項目７に記載の非一時的コンピュータ可読記憶媒体。
（項目９）
上記命令は、上記回路により実行されると、上記回路に、
上記推論モデルに基づいて、推論モデルインテグリティステート（ＩＭＩＳ）値を生成することと、
上記出力において、上記ＩＭＩＳ値を提供することと、を実行させる、項目８に記載の非一時的コンピュータ可読記憶媒体。
（項目１０）
上記ＴＳＩＳ値、上記ＩＭＩＳ値、および上記推論モデルは、タプルとして、上記出力において提供される、項目９に記載の非一時的コンピュータ可読記憶媒体。
（項目１１）
上記命令は、上記回路により実行されると、上記回路に、上記入力データをトランスコードするために、上記入力データを数学的表現に変換することを実行させる、項目７に記載の非一時的コンピュータ可読記憶媒体。
（項目１２）
上記命令は、上記回路により実行されると、上記回路に、暗号化関数により上記ＴＳＩＳ値を生成することを実行させる、項目７に記載の非一時的コンピュータ可読記憶媒体。
［敵対的訓練後の推論モデルリカバリ］
（項目１）
回路と、
上記回路により実行されると、上記回路に、敵対的訓練からリカバリするために、敵対的テスト／訓練データで、推論モデルを訓練することを実行させる命令を格納するメモリとを備える装置。
（項目２）
回路により実行されると、前記回路に、敵対的訓練からリカバリするために、敵対的テスト／訓練データで、推論モデルを訓練することを実行させる命令を備える、非一時的コンピュータ可読記憶媒体。
［安全なモデル実行のための敵対的訓練］
（項目１）
回路と、
上記回路により実行されると、上記回路に、
推論モデルを、少なくともパブリックモデルパーティションと、プライベートモデルパーティションとに分割することと、
敵対的モデルに部分的に基づいて上記プライベートモデルパーティションを訓練することと、を実行させる命令を格納するメモリとを備える装置。
（項目２）
回路により実行されると、前記回路に、
推論モデルを、少なくともパブリックモデルパーティションと、プライベートモデルパーティションとに分割することと、
敵対的モデルに部分的に基づいて上記プライベートモデルパーティションを訓練することと、を実行させる命令を備える、非一時的コンピュータ可読記憶媒体。
［エッジデバイスに対するプライバシー配慮特徴バランサ］
（項目１）
回路と、
上記回路に結合されるメモリであって、上記回路により実行されると、上記回路に
入力デバイスから入力データを受信することと、
上記入力データにより推論モデルを実行することに部分的に基づいて、出力データを生成することと、
スクリーニングされた出力データを生成するために、上記出力データをフィルタリングすることと、を実行させる命令を格納するメモリとを備える装置。
（項目２）
上記出力データは、複数のクラスの少なくとも１つのインジケーションを含み、
上記メモリは、上記回路により実行されると、上記回路に、
上記複数のクラスの上記少なくとも１つが、上記複数のクラスのサブセット内に含まれるか判定することと、
上記出力データをフィルタリングするために、上記複数のクラスの上記サブセット内に含まれた上記複数のクラスの上記少なくとも１つへのインジケーションを除去することと、を実行させる命令をさらに格納する、項目１に記載の装置。
（項目３）
上記回路に結合され、ネットワークに結合するインタフェースをさらに備え、
上記メモリは、上記回路により実行されると、上記回路に、サーバから上記インタフェースを介して、上記複数のクラスの上記サブセットのインジケーションを含むプライバシーレベル仕様を受信することを実行させる命令をさらに格納する、項目２に記載の装置。
（項目４）
上記メモリは、上記回路により実行されると、上記回路に、上記インタフェースを介して、上記スクリーニングされた出力を上記サーバに提供することを実行させる命令をさらに格納する、項目３に記載の装置。
（項目５）
上記メモリは、上記回路により実行されると、上記回路に、
上記サーバから、上記回路のスクリーニング性能を報告するインジケーションを含むクエリを受信することと、
上記サーバに、上記回路の上記スクリーニング性能のインジケーションを含む報告を送信することと、を実行させる命令をさらに格納する、項目３に記載の装置。
（項目６）
回路により実行されると、前記回路に、
入力デバイスから入力データを受信することと、
上記入力データにより推論モデルを実行することに部分的に基づいて、出力データを生成することと、
スクリーニングされた出力データを生成するために、上記出力データをフィルタリングすることと、を実行させる命令を備える、非一時的コンピュータ可読記憶媒体。
（項目７）
上記出力データは、複数のクラスの少なくとも１つのインジケーションを含み、
上記命令は、上記回路により実行されると、上記回路に、
上記複数のクラスの上記少なくとも１つが、上記複数のクラスのサブセット内に含まれるか判定することと、
上記出力データをフィルタリングするために、上記複数のクラスの上記サブセット内に含まれた上記複数のクラスの上記少なくとも１つへのインジケーションを除去することと、ことを実行させる、項目６に記載の非一時的コンピュータ可読記憶媒体。
（項目８）
上記回路に結合され、ネットワークに結合するインタフェースをさらに備え、
上記命令は、上記回路により実行されると、上記回路に、サーバから上記インタフェースを介して、上記複数のクラスの上記サブセットのインジケーションを含むプライバシーレベル仕様を受信することを実行させる、項目７に記載の非一時的コンピュータ可読記憶媒体。
（項目９）
上記命令は、上記回路により実行されると、上記回路に、上記インタフェースを介して、上記スクリーニングされた出力を上記サーバに提供することを実行させる、項目８に記載の非一時的コンピュータ可読記憶媒体。
（項目１０）
上記命令は、上記回路により実行されると、上記回路に、
上記サーバから、上記回路のスクリーニング性能を報告するインジケーションを含むクエリを受信することと、
上記サーバに、上記回路の上記スクリーニング性能のインジケーションを含む報告を送信することと、を実行させる、項目８に記載の非一時的コンピュータ可読記憶媒体。
［プライバシー配慮マルチロケーションモデル実行］
（項目１）
回路と、
上記回路により実行されると、上記回路に、
サーバ性能を判定するためにサーバにクエリすることと、
推論モデルを、上記サーバ性能に部分的に基づいて、複数のモデルスライスに分割することと、
上記サーバに、上記モデルスライスのインジケーションと、上記モデルスライスを分散方式で実行する命令とを含む情報要素を送信することと、を実行させる命令を格納するメモリとを備える装置。
（項目２）
回路により実行されると、前記回路に、
サーバ性能を判定するためにサーバにクエリすることと、
推論モデルを、上記サーバ性能に部分的に基づいて、複数のモデルスライスに分割することと、
上記サーバに、上記モデルスライスのインジケーションと、上記モデルスライスを分散方式で実行する命令とを含む情報要素を送信することと、を実行させる命令を備える、非一時的コンピュータ可読記憶媒体。
［入力品質補償のための繰り返し推論］
（項目１）
プロセッサと、
上記プロセッサにより実行されると、上記プロセッサに、
入力データを受信することと、
分類データを生成するために、推論モデルに基づいて、上記入力データを分類することと、
上記分類データに基づいて、上記入力データを許容不能と評価することと、
上記分類データが許容不能と評価されると、拡張入力データを生成するために、上記入力データを修正することと、
拡張分類データを生成するために、上記推論モデルに基づいて、上記拡張入力データを分類することと、
上記拡張分類データに基づいて、上記拡張入力データを許容可能と評価することと、
上記拡張分類データを出力データとして提供することと、を実行させる命令を格納するメモリとを備える装置。
（項目２）
上記分類データは、上記入力データのクラスと、上記クラスの精度に関連付けられた信頼性レベルとを含み、
上記メモリは、上記プロセッサにより実行されると、上記プロセッサに、上記分類データを、上記信頼性レベルが閾値未満であると許容不能と評価し、上記分類データを、上記信頼性レベルが上記閾値を超えると許容可能と評価することを実行させる命令を格納する、項目１に記載の装置。
（項目３）
上記メモリは、上記プロセッサにより実行されると、上記プロセッサに、ガンマ変化、画素シフト、ノイズ除去、エラー修正のうちの１または複数により、上記入力データを修正することを実行させる命令を格納する、項目２に記載の装置。
（項目４）
上記メモリは、上記プロセッサにより実行されると、上記プロセッサに、動作異常を検出するために、上記分類データと、上記拡張分類データとを比較することを実行させる命令を格納する、項目１記載の装置。
（項目５）
上記推論モデルは、フィードフォワードニューラルネットワーク（ＦＦＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、長・短期記憶（ＬＳＴＭ）ネットワーク、ディープニューラルネットワーク（ＤＮＮ）、ベイジアンビリーフネットワーク、ボルツマンマシンのうちの１または複数を含む、項目１に記載の装置。
（項目６）
上記入力データは、上記推論モデルにより分類される１または複数のサンプルのデータセットを含む、項目１に記載の装置。
（項目７）
回路により実行されると、前記回路に、
入力データを受信することと、
分類データを生成するために、推論モデルに基づいて、上記入力データを分類することと、
上記分類データに基づいて、上記入力データを許容不能と評価することと、
上記分類データが許容不能と評価されると、拡張入力データを生成するために、上記入力データを修正することと、
拡張分類データを生成するために、上記推論モデルに基づいて、上記拡張入力データを分類することと、
上記拡張分類データに基づいて、上記拡張入力データを許容可能と評価することと、
上記拡張分類データを出力データとして提供することと、を実行させる命令を備える、非一時的コンピュータ可読記憶媒体。
（項目８）
上記分類データは、上記入力データのクラスと、上記クラスの精度に関連付けられた信頼性レベルとを含み、
上記媒体は、上記回路により実行されると、上記回路に、上記分類データを、上記信頼性レベルが閾値未満であると許容不能と評価し、上記分類データを、上記信頼性レベルが上記閾値を超えると許容可能と評価することを実行させる命令を格納する、項目７に記載の非一時的コンピュータ可読記憶媒体。
（項目９）
上記命令は、上記回路により実行されると、上記回路に、ガンマ変化、画素シフト、ノイズ除去、エラー修正のうちの１または複数により、上記入力データを修正することを実行させる、項目８に記載の非一時的コンピュータ可読記憶媒体。
（項目１０）
上記命令は、上記回路により実行されると、上記回路に、動作異常を検出するために、上記分類データと、上記拡張分類データとを比較することを実行させる、項目７に記載の非一時的コンピュータ可読記憶媒体。
（項目１１）
上記推論モデルは、フィードフォワードニューラルネットワーク（ＦＦＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、長・短期記憶（ＬＳＴＭ）ネットワーク、ディープニューラルネットワーク（ＤＮＮ）、ベイジアンビリーフネットワーク、ボルツマンマシンのうちの１または複数を含む、項目７に記載の非一時的コンピュータ可読記憶媒体。
（項目１２）
上記入力データは、上記推論モデルにより分類される１または複数のサンプルのデータセットを含む、項目７に記載の非一時的コンピュータ可読記憶媒体。
［暗号化モデルの活性化関数］
（項目１）
プロセッサと、
上記プロセッサにより実行されると、上記プロセッサに、
推論モデル内の各層に対する各出力特徴マップに対応する１または複数のマトリクスを初期化することと、
活性化統計を生成するために、データセット内のサンプルの活性化を、上記１または複数のマトリクスに蓄積することと、
第１、第２、および第３パラメータを決定することであって、上記第１パラメータは、固定される活性化のパーセントを含み、上記第２パラメータは、上記推論モデル内の発火すべきノードの総パーセントを含み、上記第３パラメータは、固定された活性化が得られる総上位活性化のパーセンタイルを含む、決定することと、
上記活性化統計、上記第１パラメータ、上記第２パラメータ、および上記第３パラメータ基づいて、専用活性化関数を実施することと、を実行させる命令を格納するメモリとを備える装置。
（項目２）
上記データセット内のサンプルの活性化は、上記推論モデルの各層の活性化マップの格納時に、各サンプルを順伝播することで蓄積される、項目１に記載の装置。
（項目３）
上記専用活性化関数の実施は、処理される層に対する対応するマトリクス内の全てのノードを通過することを含む、項目１に記載の装置。
（項目４）
活性化パーセントは、上記推論モデル内の１または複数のノードをランダムに発火することで満たされる、項目１に記載の装置。
（項目５）
上記活性化パーセントは、上記第２パラメータ引く上記第１パラメータに等しい、項目４に記載の装置。
（項目６）
上記メモリは、上記プロセッサにより実行されると、上記プロセッサに、ユーザから受信した入力に基づいて、上記第１、第２、および第３パラメータを決定することを実行させる命令を格納する、項目１に記載の装置。
（項目７）
上記推論モデルは、フィードフォワードニューラルネットワーク（ＦＦＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、長・短期記憶（ＬＳＴＭ）ネットワーク、ディープニューラルネットワーク（ＤＮＮ）、ベイジアンビリーフネットワーク、ボルツマンマシンのうちの１または複数を含む、項目１に記載の装置。
（項目８）
回路により実行されると、前記回路に、
推論モデル内の各層に対する各出力特徴マップに対応する１または複数のマトリクスを初期化することと、
活性化統計を生成するために、データセット内のサンプルの活性化を、上記１または複数のマトリクスに蓄積することと、
第１、第２、および第３パラメータを決定することであって、上記第１パラメータは、固定される活性化のパーセントを含み、上記第２パラメータは、上記推論モデル内の発火すべきノードの総パーセントを含み、上記第３パラメータは、固定された活性化が得られる総上位活性化のパーセンタイルを含む、決定することと、
上記活性化統計、上記第１パラメータ、上記第２パラメータ、および上記第３パラメータ基づいて、専用活性化関数を実施することと、を実行させる命令を備える、非一時的コンピュータ可読記憶媒体。
（項目９）
上記データセット内のサンプルの活性化は、上記推論モデルの各層の活性化マップの格納時に、各サンプルを順伝播することで蓄積される、項目８に記載の非一時的コンピュータ可読記憶媒体。
（項目１０）
上記専用活性化関数の実施は、処理される層に対する対応するマトリクス内の全てのノードを通過することを含む、項目８に記載の非一時的コンピュータ可読記憶媒体。
（項目１１）
活性化パーセントは、上記推論モデル内の１または複数のノードをランダムに発火することで満たされる、項目１０に記載の非一時的コンピュータ可読記憶媒体。
（項目１２）
上記活性化パーセントは、上記第２パラメータ引く上記第１パラメータに等しい、項目１１に記載の非一時的コンピュータ可読記憶媒体。
（項目１３）
上記命令は、上記回路により実行されると、上記回路に、ユーザから受信した入力に基づいて、上記第１、第２、および第３パラメータを決定することを実行させる、項目８に記載の非一時的コンピュータ可読記憶媒体。
（項目１４）
上記推論モデルは、フィードフォワードニューラルネットワーク（ＦＦＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、長・短期記憶（ＬＳＴＭ）ネットワーク、ディープニューラルネットワーク（ＤＮＮ）、ベイジアンビリーフネットワーク、ボルツマンマシンのうちの１または複数含む、項目８に記載の非一時的コンピュータ可読記憶媒体。
［モデル保護のためのマルチパーティ実行］
（項目１）
回路と、
上記回路により実行されると、上記回路に、
推論モデルを、複数のモデルスライスに分割することと、
複数の敵対的モデルに部分的に基づいて上記複数のモデルスライスを訓練することと、を実行させる命令を格納するメモリと
を備える装置。
（項目２）
回路により実行されると、前記回路に、
推論モデルを、複数のモデルスライスに分割することと、
複数の敵対的モデルに部分的に基づいて上記複数のモデルスライスを訓練することと、を実行させる命令を備える、非一時的コンピュータ可読記憶媒体。
Claims (29)
- 回路と
前記回路に結合されたメモリであって、前記回路により実行されると、前記回路に、
入力デバイスから入力データを受信することと、
可視クラスまたは隠れクラスのいずれかのインジケーションを含む出力データを、前記入力データで推論モデルを実行することに部分的に基づいて生成することと、
前記出力データが前記隠れクラスのインジケーションを含むかを判定することと、
前記出力データが前記隠れクラスのインジケーションを含まないという判定に基づいて、前記生成された出力データを出力コンシューマに提供することと、
前記出力データが前記隠れクラスのインジケーションを含むという判定に応じて、前記可視クラスのインジケーションを含む難読化された出力を生成することと、
前記出力データが前記隠れクラスのインジケーションを含むという前記判定に応じて、前記難読化された出力を前記出力コンシューマに提供することと、
を実行させる命令を格納するメモリと
を備える装置。 - 前記可視クラスは、前記推論モデルにより分類されるオブジェクトのカテゴリに対応し、前記隠れクラスは、潜在的なプロービングを示すオブジェクトのカテゴリに対応する、請求項１に記載の装置。
- 前記メモリは、前記回路により実行されると、前記回路に、前記出力データが前記隠れクラスのインジケーションを含むという前記判定に基づいて、監視システムにアラートを送信することを実行させる命令をさらに格納する、請求項１または２に記載の装置。
- 前記メモリは、前記回路により実行されると、前記回路に、
前記出力データが前記隠れクラスのインジケーションを含むという前記判定に応じて、前記入力データおよび前記入力デバイスの少なくとも一方のインジケーションを含むフォレンジックデータを収集することと、
前記出力データが前記隠れクラスのインジケーションを含むという前記判定に応じて、前記フォレンジックデータを前記監視システムに提供することと、を実行させる命令をさらに格納する、請求項３に記載の装置。 - 前記可視クラスは複数の可視クラスを含み、前記出力データは、前記隠れクラスまたは前記複数の可視クラスの１つのインジケーションを含む、請求項１から４のいずれか一項に記載の装置。
- 前記隠れクラスは複数の隠れクラスを含み、前記出力データは、前記複数の隠れクラスの１つまたは複数の前記可視クラスの１つのインジケーションを含む、請求項１から５のいずれか一項に記載の装置。
- 前記複数の隠れクラスの少なくとも１つが、前記入力データとして許可されていない、ブラックリストに登録されているオブジェクトに対応する、請求項６に記載の装置。
- 前記メモリは、前記回路により実行されると、前記回路に、
前記出力データが前記隠れクラスのインジケーションを含むという前記判定に応じて、前記出力データにより示された前記複数の隠れクラスの前記１つに関連付けられた、前記複数の可視クラスの１つを特定することと、
前記複数の可視クラスの前記特定された１つのインジケーションを含む難読化された出力を生成することと、を実行させる命令をさらに格納する、請求項６に記載の装置。 - 回路と
前記回路に結合されたメモリであって、前記回路により実行されると、前記回路に、
入力デバイスから入力データを受信することと、
複数の可視クラスの１つまたは複数の隠れクラスの１つのいずれかのインジケーションを含む出力データを、前記入力データで推論モデルを実行することに部分的に基づいて生成することと、
前記出力データが前記隠れクラスのインジケーションを含むかを判定することと、
前記出力データが前記隠れクラスのインジケーションを含まないという判定に基づいて、前記生成された出力データを出力コンシューマに提供することと、
前記出力データが前記隠れクラスのインジケーションを含むという判定に応じて、前記出力データにより示された前記複数の隠れクラスの前記１つに関連付けられた、前記複数の可視クラスの１つを特定することと、
前記複数の可視クラスの前記特定された１つのインジケーションを含む難読化された出力を生成することと、
を実行させる命令を格納するメモリと
を備える装置。 - 前記回路および前記メモリを有する信頼できる実行環境（ＴＥＥ）を備える、請求項１から５のいずれか一項に記載の装置。
- 回路に、
入力デバイスから入力データを受信する手順と、
可視クラスまたは隠れクラスのいずれかのインジケーションを含む出力データを、前記入力データで推論モデルを実行することに部分的に基づいて生成する手順と、
前記出力データが前記隠れクラスのインジケーションを含むかを判定する手順と、
前記出力データが前記隠れクラスのインジケーションを含まないという判定に基づいて、前記生成された出力データを出力コンシューマに提供する手順と、
前記出力データが前記隠れクラスのインジケーションを含むという判定に応じて、前記可視クラスのインジケーションを含む難読化された出力を生成する手順と、
前記出力データが前記隠れクラスのインジケーションを含むという前記判定に応じて、前記難読化された出力を前記出力コンシューマに提供する手順と、
を実行させるための、プログラム。 - 前記可視クラスは、前記推論モデルにより分類されるオブジェクトのカテゴリに対応し、前記隠れクラスは、潜在的なプロービングを示すオブジェクトのカテゴリに対応する、請求項１１に記載のプログラム。
- 前記回路に、前記出力データが前記隠れクラスのインジケーションを含むという前記判定に基づいて、監視システムにアラートを送信する手順をさらに実行させるための、請求項１１または１２に記載のプログラム。
- 前記回路に、
前記出力データが前記隠れクラスのインジケーションを含むという前記判定に応じて、前記入力データおよび前記入力デバイスの少なくとも一方のインジケーションを含むフォレンジックデータを収集する手順と、
前記出力データが前記隠れクラスのインジケーションを含むという前記判定に応じて、前記フォレンジックデータを前記監視システムに提供する手順と、
をさらに実行させるための、請求項１３に記載のプログラム。 - 前記可視クラスは複数の可視クラスを含み、前記出力データは、前記隠れクラスまたは前記複数の可視クラスの１つのインジケーションを含む、請求項１１から１４のいずれか一項に記載のプログラム。
- 前記隠れクラスは複数の隠れクラスを含み、前記出力データは、前記複数の隠れクラスの１つまたは複数の可視クラスの１つのインジケーションを含む、請求項１１から１５のいずれか一項に記載のプログラム。
- 前記複数の隠れクラスの少なくとも１つが、前記入力データとして許可されていない、ブラックリストに登録されているオブジェクトに対応する、請求項１６に記載のプログラム。
- 前記回路に、
前記出力データが前記隠れクラスのインジケーションを含むという前記判定に応じて、前記出力データにより示された前記複数の隠れクラスの前記１つに関連付けられた、前記複数の可視クラスの１つを特定する手順と、
前記複数の可視クラスの前記特定された１つのインジケーションを含む難読化された出力を生成する手順と、
をさらに実行させるための、請求項１６に記載のプログラム。 - 回路に、
入力デバイスから入力データを受信する手順と、
複数の可視クラスの１つまたは複数の隠れクラスの１つのいずれかのインジケーションを含む出力データを、前記入力データで推論モデルを実行することに部分的に基づいて生成する手順と、
前記出力データが前記隠れクラスのインジケーションを含むかを判定する手順と、
前記出力データが前記隠れクラスのインジケーションを含まないという判定に基づいて、前記生成された出力データを出力コンシューマに提供する手順と、
前記出力データが前記隠れクラスのインジケーションを含むという前記判定に応じて、前記出力データにより示された前記複数の隠れクラスの前記１つに関連付けられた、前記複数の可視クラスの１つを特定する手順と、
前記複数の可視クラスの前記特定された１つのインジケーションを含む難読化された出力を生成する手順と、
を実行させるための、プログラム。 - 前記回路は信頼できる実行環境（ＴＥＥ）の一部である、請求項１１から１５のいずれか一項に記載のプログラム。
- 請求項１１から２０のいずれか一項に記載のプログラムを格納する非一時的コンピュータ可読記憶媒体。
- 入力デバイスから入力データを受信する段階と、
可視クラスまたは隠れクラスのいずれかのインジケーションを含む出力データを、前記入力データで推論モデルを実行することに部分的に基づいて生成する段階と、
前記出力データが前記隠れクラスのインジケーションを含むかを判定する段階と、
前記出力データが前記隠れクラスのインジケーションを含まないという判定に基づいて、前記生成された出力データを出力コンシューマに提供する段階と、
前記出力データが前記隠れクラスのインジケーションを含むという判定に応じて、前記可視クラスのインジケーションを含む難読化された出力を生成する段階と、
前記出力データが前記隠れクラスのインジケーションを含むという前記判定に応じて、前記難読化された出力を前記出力コンシューマに提供する段階と、
を備えるコンピュータ実装方法。 - 前記可視クラスは、前記推論モデルにより分類されるオブジェクトのカテゴリに対応し、前記隠れクラスは、潜在的なプロービングを示すオブジェクトのカテゴリに対応する、請求項２２に記載のコンピュータ実装方法。
- 前記出力データが前記隠れクラスのインジケーションを含むという前記判定に基づいて、監視システムにアラートを送信する段階を備える、請求項２２または２３に記載のコンピュータ実装方法。
- 前記出力データが前記隠れクラスのインジケーションを含むという前記判定に応じて、前記入力データおよび前記入力デバイスの少なくとも一方のインジケーションを含むフォレンジックデータを収集する段階と、
前記出力データが前記隠れクラスのインジケーションを含むという前記判定に応じて、前記フォレンジックデータを前記監視システムに提供する段階と、を備える、請求項２４に記載のコンピュータ実装方法。 - 前記可視クラスは複数の可視クラスを含み、前記出力データは、前記隠れクラスまたは前記複数の可視クラスの１つのインジケーションを含む、請求項２２から２５のいずれか一項に記載のコンピュータ実装方法。
- 前記隠れクラスは複数の隠れクラスを含み、前記出力データは、前記複数の隠れクラスの１つまたは前記複数の可視クラスの１つのインジケーションを含む、請求項２６に記載のコンピュータ実装方法。
- 前記出力データが前記隠れクラスのインジケーションを含むという前記判定に応じて、前記出力データにより示された前記複数の隠れクラスの前記１つに関連付けられた、前記複数の可視クラスの１つを特定する段階と、
前記複数の可視クラスの前記特定された１つのインジケーションを含む前記難読化された出力を生成する段階と、を備える、請求項２７に記載のコンピュータ実装方法。 - 入力デバイスから入力データを受信する段階と、
複数の可視クラスの１つまたは複数の隠れクラスの１つのいずれかのインジケーションを含む出力データを、前記入力データで推論モデルを実行することに部分的に基づいて生成する段階と、
前記出力データが前記隠れクラスのインジケーションを含むかを判定する段階と、
前記出力データが前記隠れクラスのインジケーションを含まないという判定に基づいて、前記生成された出力データを出力コンシューマに提供する段階と、
前記出力データが前記隠れクラスのインジケーションを含むという判定に応じて、前記出力データにより示された前記複数の隠れクラスの前記１つに関連付けられた、前記複数の可視クラスの１つを特定する段階と、
前記複数の可視クラスの前記特定された１つのインジケーションを含む難読化された出力を生成する段階と、
を備えるコンピュータ実装方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862786941P | 2018-12-31 | 2018-12-31 | |
| US62/786,941 | 2018-12-31 | ||
| PCT/US2019/028687 WO2020142110A1 (en) | 2018-12-31 | 2019-04-23 | Securing systems employing artificial intelligence |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2022515711A JP2022515711A (ja) | 2022-02-22 |
| JPWO2020142110A5 JPWO2020142110A5 (ja) | 2023-06-12 |
| JP7376593B2 true JP7376593B2 (ja) | 2023-11-08 |
Family
ID=71406672
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021527195A Active JP7376593B2 (ja) | 2018-12-31 | 2019-04-23 | 人工知能を利用した安全保障システム |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20210319098A1 (ja) |
| EP (2) | EP3906508B1 (ja) |
| JP (1) | JP7376593B2 (ja) |
| KR (1) | KR20210099564A (ja) |
| CN (1) | CN112334917A (ja) |
| BR (1) | BR112021010468A2 (ja) |
| WO (1) | WO2020142110A1 (ja) |
Families Citing this family (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SG10201809997SA (en) * | 2018-11-09 | 2020-06-29 | Accenture Global Solutions Ltd | Dark web content analysis and identification |
| US11507677B2 (en) * | 2019-02-15 | 2022-11-22 | Microsoft Technology Licensing, Llc | Image classification modeling while maintaining data privacy compliance |
| CN110727633A (zh) * | 2019-09-17 | 2020-01-24 | 广东高云半导体科技股份有限公司 | 基于SoC FPGA的边缘人工智能计算***构架 |
| US11637697B2 (en) * | 2019-10-10 | 2023-04-25 | Baidu Usa Llc | Method and system for signing output using a kernel |
| US11457002B2 (en) | 2019-10-10 | 2022-09-27 | Baidu Usa Llc | Method and system for encrypting data using a command |
| US11775692B2 (en) | 2019-10-10 | 2023-10-03 | Baidu Usa Llc | Method and system for encrypting data using a kernel |
| US11436305B2 (en) | 2019-10-10 | 2022-09-06 | Baidu Usa Llc | Method and system for signing an artificial intelligence watermark using implicit data |
| US11537689B2 (en) | 2019-10-10 | 2022-12-27 | Baidu Usa Llc | Method and system for signing an artificial intelligence watermark using a kernel |
| US11704390B2 (en) | 2019-10-10 | 2023-07-18 | Baidu Usa Llc | Method and system for signing an artificial intelligence watermark using a query |
| US11470053B2 (en) * | 2019-10-14 | 2022-10-11 | Nec Corporation | Privacy-preserving machine learning |
| US11611590B1 (en) * | 2019-12-09 | 2023-03-21 | Proofpoint, Inc. | System and methods for reducing the cybersecurity risk of an organization by verifying compliance status of vendors, products and services |
| WO2021171090A1 (en) * | 2020-02-28 | 2021-09-02 | Darktrace, Inc. | An artificial intelligence adversary red team |
| US20210357739A1 (en) * | 2020-05-14 | 2021-11-18 | Micron Technology, Inc. | Memory device to train neural networks |
| US11502829B2 (en) * | 2020-09-02 | 2022-11-15 | Vmware, Inc. | Robust input verification for secure multi-party computation (MPC) with clients |
| CN116057546A (zh) * | 2020-09-17 | 2023-05-02 | 株式会社日立高新技术 | 错误原因的推断装置和推断方法 |
| DE112021005116T5 (de) | 2020-10-01 | 2023-07-20 | Nec Laboratories America, Inc. | Abstimmungsbasierter ansatz für differentiell privates föderiertes lernen |
| WO2022075538A1 (en) * | 2020-10-09 | 2022-04-14 | Samsung Electronics Co., Ltd. | Methods and system for on-device ai model parameter run-time protection |
| US11853793B2 (en) | 2020-10-09 | 2023-12-26 | Samsung Electronics Co., Ltd. | Methods and system for on-device AI model parameter run-time protection |
| US11375582B2 (en) * | 2020-10-16 | 2022-06-28 | Verizon Patent And Licensing Inc. | Systems and methods for scalable edge-based microcontrollers |
| KR20220064665A (ko) * | 2020-11-12 | 2022-05-19 | 삼성전자주식회사 | 인공지능 모델을 분산 처리하는 전자 장치 및 그 동작 방법 |
| TWI768555B (zh) * | 2020-11-23 | 2022-06-21 | 威盛電子股份有限公司 | 調整神經網路輸入資料的系統及方法 |
| US20220179990A1 (en) * | 2020-12-03 | 2022-06-09 | International Business Machines Corporation | Federated private adversarial training |
| US20220198045A1 (en) * | 2020-12-21 | 2022-06-23 | Cryptography Research, Inc. | Protection of neural networks by obfuscation of activation functions |
| US11893132B2 (en) | 2021-02-23 | 2024-02-06 | International Business Machines Corporation | Discovery of personal data in machine learning models |
| JP2024507626A (ja) * | 2021-02-25 | 2024-02-21 | ロバスト インテリジェンス インコーポレイテッド | 人工知能モデルを安全に配備するための方法及びシステム |
| AU2022255324A1 (en) * | 2021-04-06 | 2023-11-23 | Wyze Labs, Inc. | Dynamic edge-cloud collaboration with knowledge adaptation |
| CN117355842A (zh) * | 2021-04-15 | 2024-01-05 | 百可德罗德公司 | 用于保护深度图像分类器的***和方法 |
| CN115345305A (zh) * | 2021-05-12 | 2022-11-15 | 华为云计算技术有限公司 | 一种推理***、方法、装置及相关设备 |
| CN113297574B (zh) * | 2021-06-11 | 2022-08-02 | 浙江工业大学 | 基于强化学习奖励机制的激活函数自适应变化模型窃取防御方法 |
| US20220400124A1 (en) * | 2021-06-14 | 2022-12-15 | Mellanox Technologies Ltd. | Network devices assisted by machine learning |
| IT202100018998A1 (it) * | 2021-07-19 | 2023-01-19 | Milano Politecnico | Sistema di controllo in tempo-reale implementato mediante computer per il controllo di un sistema o dispositivo fisico |
| DE102021213418A1 (de) * | 2021-11-29 | 2023-06-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein | Schnittstellenkomponente für verteilte Komponenten eines Systems des maschinellen Lernens |
| US12021986B2 (en) | 2021-12-27 | 2024-06-25 | Industrial Technology Research Institute | Neural network processing method and server and electrical device therefor |
| TWI776760B (zh) * | 2021-12-27 | 2022-09-01 | 財團法人工業技術研究院 | 神經網路之處理方法及其伺服器與電子裝置 |
| US20230245127A1 (en) * | 2022-02-02 | 2023-08-03 | Kyndryl, Inc. | Augmented user authentication |
| CN114897177B (zh) * | 2022-04-06 | 2024-07-23 | 中国电信股份有限公司 | 数据建模方法、装置、电子设备及存储介质 |
| US20230334161A1 (en) * | 2022-04-19 | 2023-10-19 | Bank Of America Corporation | System and method for providing complex data encryption |
| TWI832279B (zh) * | 2022-06-07 | 2024-02-11 | 宏碁股份有限公司 | 人工智慧模型運算加速系統及人工智慧模型運算加速方法 |
| KR102641628B1 (ko) * | 2022-08-05 | 2024-02-29 | 주식회사 노타 | 분할된 딥러닝 모델을 이용한 서비스 제공 방법 및 시스템 |
| CN115238250B (zh) * | 2022-09-15 | 2022-12-27 | 支付宝(杭州)信息技术有限公司 | 一种模型的处理方法、装置及设备 |
| CN115455484B (zh) * | 2022-09-22 | 2023-04-18 | 重庆蓝数软件有限公司 | 一种针对云计算空间的数据泄露应对方法及服务器 |
| CN115580443A (zh) * | 2022-09-22 | 2023-01-06 | 西安交通大学 | 一种图数据的处理方法、装置、设备和介质 |
| CN117857083A (zh) * | 2023-11-29 | 2024-04-09 | 慧之安信息技术股份有限公司 | 一种基于拟态防御的后门攻击防御办法和*** |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018173890A (ja) | 2017-03-31 | 2018-11-08 | Kddi株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| JP2018173843A (ja) | 2017-03-31 | 2018-11-08 | Kddi株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| WO2018216379A1 (ja) | 2017-05-26 | 2018-11-29 | 株式会社日立国際電気 | 機械学習モデル不正検知システム及び不正検知方法 |
Family Cites Families (685)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4849905A (en) * | 1987-10-28 | 1989-07-18 | International Business Machines Corporation | Method for optimized RETE pattern matching in pattern-directed, rule-based artificial intelligence production systems |
| US4890240A (en) * | 1988-09-20 | 1989-12-26 | International Business Machines Corporation | Coalescing changes in pattern-directed, rule-based artificial intelligence production systems |
| JPH03219232A (ja) * | 1990-01-24 | 1991-09-26 | Konica Corp | 分光増感されたハロゲン化銀写真感光材料 |
| US5248586A (en) * | 1990-04-06 | 1993-09-28 | Konica Corporation | Silver halide color photographic materials |
| US5258269A (en) * | 1990-07-09 | 1993-11-02 | Konica Corporation | Silver halide color photographic light sensitive material stored in roll and the photographic unit therefor |
| US5202229A (en) * | 1990-07-26 | 1993-04-13 | Konica Corporation | Method for forming a color photographic image |
| US5188925A (en) * | 1990-09-05 | 1993-02-23 | Konica Corporation | Processing method for silver halide color photographic light-sensitive material |
| JP2877579B2 (ja) * | 1991-08-26 | 1999-03-31 | コニカ株式会社 | ハロゲン化銀カラー写真感光材料 |
| JPH0588324A (ja) * | 1991-09-25 | 1993-04-09 | Konica Corp | ハロゲン化銀カラー写真感光材料 |
| JP2929511B2 (ja) * | 1991-09-25 | 1999-08-03 | コニカ株式会社 | ハロゲン化銀カラー写真感光材料 |
| EP0536889A1 (en) * | 1991-10-11 | 1993-04-14 | Konica Corporation | Silver halide color photographic light sensitive material |
| JP3160776B2 (ja) * | 1992-07-23 | 2001-04-25 | コニカ株式会社 | ハロゲン化銀写真感光材料 |
| US5362618A (en) * | 1992-07-23 | 1994-11-08 | Konica Corporation | Silver halide photographic light-sensitive material |
| JPH06118584A (ja) * | 1992-10-06 | 1994-04-28 | Konica Corp | ハロゲン化銀カラー写真感光材料 |
| US5398304A (en) * | 1992-12-22 | 1995-03-14 | Mitsubishi Denki Kabushiki Kaisha | Control process for artificial intelligence software shell |
| US5402524A (en) * | 1992-12-22 | 1995-03-28 | Mitsubishi Denki Kabushiki Kaisha | Case-based knowledge source for artificial intelligence software shell |
| US5412756A (en) * | 1992-12-22 | 1995-05-02 | Mitsubishi Denki Kabushiki Kaisha | Artificial intelligence software shell for plant operation simulation |
| US5402526A (en) * | 1993-01-05 | 1995-03-28 | Mitsubishi Denki Kabushiki Kaisha | Interruptibility/priority control scheme for artificial intelligence software shell |
| JPH06230534A (ja) * | 1993-02-05 | 1994-08-19 | Konica Corp | ハロゲン化銀カラー写真感光材料 |
| DE59406156D1 (de) * | 1993-02-11 | 1998-07-16 | Siemens Ag | Verfahren zur Herstellung einer dreidimensionalen Schaltungsanordnung |
| JPH06289527A (ja) * | 1993-04-01 | 1994-10-18 | Konica Corp | ハロゲン化銀写真乳剤及びハロゲン化銀写真感光材料 |
| JPH0736847A (ja) * | 1993-07-15 | 1995-02-07 | Jun Nakatani | 人工知能における学習・推論方法および装置 |
| US5473732A (en) * | 1993-11-02 | 1995-12-05 | Chang; Hou-Mei H. | Relational artificial intelligence system |
| US5599767A (en) * | 1994-05-27 | 1997-02-04 | Micro Flo Company | Salt sensitive binder system |
| US6074493A (en) * | 1994-06-15 | 2000-06-13 | Kawasaki Steel Corporation | Method of continuously carburizing metal strip |
| US5629142A (en) * | 1995-12-19 | 1997-05-13 | Eastman Kodak Company | Dual coating radiographic elements containing tabular grain emulsions with improved photographic vehicles |
| JP2000089399A (ja) * | 1998-09-09 | 2000-03-31 | Konica Corp | ハロゲン化銀写真乳剤及びハロゲン化銀写真感光材料 |
| US6200738B1 (en) * | 1998-10-29 | 2001-03-13 | Konica Corporation | Image forming method |
| FR2795848B1 (fr) * | 1999-07-01 | 2001-08-17 | Commissariat Energie Atomique | Systeme d'intelligence artificielle pour la classification d'evenements, d'objets ou de situations a partir de signaux et de parametres discriminants issus de modeles |
| US6446056B1 (en) * | 1999-09-10 | 2002-09-03 | Yamaha Hatsudoki Kabushiki Kaisha | Interactive artificial intelligence |
| US6604091B2 (en) * | 1999-09-10 | 2003-08-05 | Yamaha Hatsudoki Kabushiki Kaisha | Interactive artificial intelligence |
| US20020029205A1 (en) * | 2000-04-26 | 2002-03-07 | Alfonso Pedraza | Industry and/or other specific educatable/reasoning artificial intelligence analyzation control system(s), process(es)and/or method(s) to increase accuracy, reduce human error faults in new or existent system(s), process(es) and/or method(s) |
| US6738753B1 (en) * | 2000-08-21 | 2004-05-18 | Michael Andrew Hogan | Modular, hierarchically organized artificial intelligence entity |
| US7231652B2 (en) * | 2001-03-28 | 2007-06-12 | Koninklijke Philips N.V. | Adaptive sampling technique for selecting negative examples for artificial intelligence applications |
| WO2003044687A1 (en) * | 2001-11-16 | 2003-05-30 | Yuan Yan Chen | Pausible neural network with supervised and unsupervised cluster analysis |
| US8972316B2 (en) * | 2012-06-28 | 2015-03-03 | Knowmtech, Llc | Extensible adaptive classification framework |
| US7236963B1 (en) * | 2002-03-25 | 2007-06-26 | John E. LaMuth | Inductive inference affective language analyzer simulating transitional artificial intelligence |
| US20080255684A1 (en) * | 2002-11-18 | 2008-10-16 | Universiti Putra Malaysia | Artificial intelligence device and corresponding methods for selecting machinability data |
| MY141127A (en) * | 2002-11-18 | 2010-03-15 | Univ Putra Malaysia | Artificial intelligence device and corresponding methods for selecting machinability data |
| US7337157B2 (en) * | 2003-02-19 | 2008-02-26 | Kurzweil Technologies, Inc. | System, method, and product of manufacture for implementing an EAIL (enhanced artificial intelligence language) engine |
| US7305372B2 (en) * | 2003-03-04 | 2007-12-04 | Kurzweil Technologies, Inc. | Enhanced artificial intelligence language |
| US8856030B2 (en) * | 2003-04-07 | 2014-10-07 | Sevenecho, Llc | Method, system and software for associating attributes within digital media presentations |
| US20070181232A1 (en) * | 2004-03-25 | 2007-08-09 | Posco | Cold rolled steel sheet and hot dipped steel sheet with superior strength and bake hardenability and method for manufacturing the steel sheets |
| JP2005332480A (ja) * | 2004-05-19 | 2005-12-02 | Fuji Photo Film Co Ltd | 光情報記録担体 |
| US8065525B2 (en) * | 2004-09-22 | 2011-11-22 | Bekad Mgmt. Ii, Llc | Device with built-in user authentication and method for user authentication and identity theft protection |
| US7302855B2 (en) * | 2004-10-28 | 2007-12-04 | Denso Corporation | Pressure detection device |
| JP2008530210A (ja) * | 2005-02-16 | 2008-08-07 | ワイス | 放射線または化学療法誘発粘膜炎および放射線膀胱炎のためのエストロゲン受容体−β選択性アゴニストの使用 |
| US20070094195A1 (en) * | 2005-09-09 | 2007-04-26 | Ching-Wei Wang | Artificial intelligence analysis, pattern recognition and prediction method |
| KR100685037B1 (ko) * | 2005-09-23 | 2007-02-20 | 주식회사 포스코 | 내시효성이 우수한 고장력 소부경화형 냉간압연강판,용융도금강판 및 냉연강판의 제조방법 |
| US8128763B2 (en) * | 2005-09-23 | 2012-03-06 | Posco | Bake-hardenable cold rolled steel sheet with superior strength, galvannealed steel sheet using the cold rolled steel sheet and method for manufacturing the cold rolled steel sheet |
| US7941389B2 (en) * | 2006-02-10 | 2011-05-10 | Numenta, Inc. | Hierarchical temporal memory based system including nodes with input or output variables of disparate properties |
| US20080005137A1 (en) * | 2006-06-29 | 2008-01-03 | Microsoft Corporation | Incrementally building aspect models |
| WO2008057997A2 (en) * | 2006-11-03 | 2008-05-15 | Apeagyei Alex K | Antioxidant treatment of asphalt binders |
| US8062466B2 (en) * | 2008-05-06 | 2011-11-22 | Asahi Rubber Inc. | Base material for adhesion and silicone rubber-adhered article using thereof |
| IL191744A0 (en) * | 2008-05-27 | 2009-02-11 | Yuval Elovici | Unknown malcode detection using classifiers with optimal training sets |
| US9202171B2 (en) * | 2008-11-11 | 2015-12-01 | Digideal Corporation | Virtual game assistant based on artificial intelligence |
| US8280831B1 (en) * | 2009-02-23 | 2012-10-02 | The United States Of America As Represented By The Secretary Of The Navy | Type 6 KASER (knowledge amplification by structured expert randomization) for providing case-based inductive and analogical reasoning |
| US8660670B2 (en) * | 2009-09-10 | 2014-02-25 | Sam FREED | Controller with artificial intelligence based on selection from episodic memory and corresponding methods |
| US8343371B2 (en) * | 2010-01-15 | 2013-01-01 | Tokyo Electron Limited | Apparatus and method for improving photoresist properties using a quasi-neutral beam |
| US10568716B2 (en) * | 2010-03-17 | 2020-02-25 | ClearCorrect Holdings, Inc. | Methods and systems for employing artificial intelligence in automated orthodontic diagnosis and treatment planning |
| US9152767B2 (en) * | 2010-03-17 | 2015-10-06 | ClearCorrect Holdings, Inc. | Methods and systems for employing artificial intelligence in automated orthodontic diagnosis and treatment planning |
| US8478698B1 (en) * | 2010-03-17 | 2013-07-02 | James Mah | Methods and systems for employing artificial intelligence in automated orthodontic diagnosis and treatment planning |
| US9788917B2 (en) * | 2010-03-17 | 2017-10-17 | ClearCorrect Holdings, Inc. | Methods and systems for employing artificial intelligence in automated orthodontic diagnosis and treatment planning |
| US20180107940A1 (en) * | 2010-04-27 | 2018-04-19 | Jeremy Lieberman | Artificial intelligence method and apparatus |
| US10289959B2 (en) * | 2010-05-26 | 2019-05-14 | Automation Anywhere, Inc. | Artificial intelligence and knowledge based automation enhancement |
| FR2960556B3 (fr) * | 2010-05-31 | 2012-05-11 | Arcelormittal Wire France | Fil de forme en acier a hautes caracteristiques mecaniques resistant a la fragilisation par l'hydrogene |
| DE112011104312B4 (de) * | 2010-12-08 | 2024-07-18 | Omron Healthcare Co., Ltd. | Blutdruckinformation-Messeinrichtung und Verfahren für das Berechnen des Indexes des Grades der Arteriosklerose mit dieser Einrichtung |
| US9495541B2 (en) * | 2011-09-15 | 2016-11-15 | The Trustees Of Columbia University In The City Of New York | Detecting return-oriented programming payloads by evaluating data for a gadget address space address and determining whether operations associated with instructions beginning at the address indicate a return-oriented programming payload |
| ES2755780T3 (es) * | 2011-09-16 | 2020-04-23 | Veracode Inc | Análisis estático y de comportamiento automatizado mediante la utilización de un espacio aislado instrumentado y clasificación de aprendizaje automático para seguridad móvil |
| EP3792930B1 (en) * | 2011-10-24 | 2024-07-17 | President and Fellows of Harvard College | Enhancing diagnosis of disorder through artificial intelligence and mobile health technologies without compromising accuracy |
| US9349103B2 (en) * | 2012-01-09 | 2016-05-24 | DecisionQ Corporation | Application of machine learned Bayesian networks to detection of anomalies in complex systems |
| US20140046891A1 (en) * | 2012-01-25 | 2014-02-13 | Sarah Banas | Sapient or Sentient Artificial Intelligence |
| US8880445B2 (en) * | 2012-04-20 | 2014-11-04 | Unbound Concepts, Inc. | Method and apparatus for performing dynamic textual complexity analysis using machine learning artificial intelligence |
| US8447419B1 (en) * | 2012-05-02 | 2013-05-21 | Ether Dynamics Corporation | Pseudo-genetic meta-knowledge artificial intelligence systems and methods |
| CN104620267A (zh) * | 2012-06-21 | 2015-05-13 | 汤姆逊许可公司 | 用于推断用户人口统计的方法和装置 |
| US8972324B2 (en) * | 2012-07-25 | 2015-03-03 | Toytalk, Inc. | Systems and methods for artificial intelligence script modification |
| GB2504957A (en) * | 2012-08-14 | 2014-02-19 | Henkel Ag & Co Kgaa | Curable compositions comprising composite particles |
| US9461876B2 (en) * | 2012-08-29 | 2016-10-04 | Loci | System and method for fuzzy concept mapping, voting ontology crowd sourcing, and technology prediction |
| US20140082449A1 (en) * | 2012-09-18 | 2014-03-20 | Fan Zhang | LDPC Decoder With Variable Node Hardening |
| US9742791B2 (en) * | 2012-12-18 | 2017-08-22 | Tinfoil Security, Inc. | Site independent methods for deriving contextually tailored security vulnerability corrections for hardening solution stacks |
| US10078743B1 (en) * | 2013-01-31 | 2018-09-18 | Narus, Inc. | Cross identification of users in cyber space and physical world |
| US9904893B2 (en) * | 2013-04-02 | 2018-02-27 | Patternex, Inc. | Method and system for training a big data machine to defend |
| US20150032670A1 (en) * | 2013-07-26 | 2015-01-29 | Robert Brazell | Avatar Having Optimizing Artificial Intelligence for Identifying and Providing Relationship and Wellbeing Recommendations |
| US10986103B2 (en) * | 2013-07-31 | 2021-04-20 | Micro Focus Llc | Signal tokens indicative of malware |
| US9342796B1 (en) * | 2013-09-16 | 2016-05-17 | Amazon Technologies, Inc. | Learning-based data decontextualization |
| US9818061B1 (en) * | 2013-10-22 | 2017-11-14 | Lumin, LLC | Collaboration of audio sensors for geo-location and continuous tracking of multiple users in a device-independent artificial intelligence (AI) environment |
| US10846599B2 (en) * | 2013-10-22 | 2020-11-24 | Lumin, LLC | Collaboration of audio sensors for geo-location and continuous tracking of health conditions for users in a device-independent artificial intelligence (AI) environment |
| US9710753B1 (en) * | 2013-10-22 | 2017-07-18 | Lumin, LLC | Collaboration of audio sensors for geo-location of events in an artificial intelligence (AI) environment |
| US20170132822A1 (en) * | 2013-11-27 | 2017-05-11 | Larson-Juhl, Inc. | Artificial intelligence in virtualized framing using image metadata |
| CN104133666B (zh) * | 2013-11-29 | 2017-11-17 | 腾讯科技(成都)有限公司 | 确定人工智能行为的方法、装置及人工智能服务器 |
| CN104133667B (zh) * | 2013-11-29 | 2017-08-01 | 腾讯科技(成都)有限公司 | 实现人工智能行为的方法、装置及人工智能编辑器 |
| US10019520B1 (en) * | 2013-12-13 | 2018-07-10 | Joy Sargis Muske | System and process for using artificial intelligence to provide context-relevant search engine results |
| US9563771B2 (en) * | 2014-01-22 | 2017-02-07 | Object Security LTD | Automated and adaptive model-driven security system and method for operating the same |
| US11176475B1 (en) * | 2014-03-11 | 2021-11-16 | Applied Underwriters, Inc. | Artificial intelligence system for training a classifier |
| US9971973B1 (en) * | 2016-05-23 | 2018-05-15 | Applied Underwriters, Inc. | Artificial intelligence system for training a classifier |
| US20160078365A1 (en) * | 2014-03-21 | 2016-03-17 | Philippe Baumard | Autonomous detection of incongruous behaviors |
| US20180053114A1 (en) * | 2014-10-23 | 2018-02-22 | Brighterion, Inc. | Artificial intelligence for context classifier |
| US20150286945A1 (en) * | 2014-04-03 | 2015-10-08 | Vertical Data, LLC | Artificial Intelligence System and Method for Making Decisions About Data Objects |
| WO2015160367A1 (en) * | 2014-04-18 | 2015-10-22 | Hewlett-Packard Development Company, L.P. | Pre-cognitive security information and event management |
| GB2526541A (en) * | 2014-05-25 | 2015-12-02 | Corey Kaizen Reaux-Savonte | System, structure and method for a conscious, human-like artificial intelligence system in a non-natural entity |
| US10729351B1 (en) * | 2014-06-05 | 2020-08-04 | Guangren CHEN | Artificial intelligence (AI) electrocardiogram (ECG) |
| US11437125B2 (en) * | 2014-06-13 | 2022-09-06 | University Hospitals Cleveland Medical Center | Artificial-intelligence-based facilitation of healthcare delivery |
| CA2952125C (en) * | 2014-06-16 | 2019-06-11 | Eric Burton Baum | System, apparatus and method for supporting formal verification of informal inference on a computer |
| US20160004958A1 (en) * | 2014-07-01 | 2016-01-07 | Lawrence Byng | Digital quaternary fractal computer for applications of artificial intelligence |
| US10133987B2 (en) * | 2014-07-14 | 2018-11-20 | Federated Wireless, Inc. | Categorizing radio signals while obfuscating characteristics of federal radio signals |
| US20160055427A1 (en) * | 2014-10-15 | 2016-02-25 | Brighterion, Inc. | Method for providing data science, artificial intelligence and machine learning as-a-service |
| US20150046332A1 (en) * | 2014-08-08 | 2015-02-12 | Brighterion, Inc. | Behavior tracking smart agents for artificial intelligence fraud protection and management |
| US10133791B1 (en) * | 2014-09-07 | 2018-11-20 | DataNovo, Inc. | Data mining and analysis system and method for legal documents |
| US20180121824A1 (en) * | 2014-09-26 | 2018-05-03 | Dreamsquare Inc. | Artificial Intelligence for Decision Making Based on Machine Learning of Human Decision Making Process |
| US20160091965A1 (en) * | 2014-09-30 | 2016-03-31 | Microsoft Corporation | Natural motion-based control via wearable and mobile devices |
| US9705849B2 (en) * | 2014-09-30 | 2017-07-11 | Intel Corporation | Technologies for distributed detection of security anomalies |
| US20160063502A1 (en) * | 2014-10-15 | 2016-03-03 | Brighterion, Inc. | Method for improving operating profits with better automated decision making with artificial intelligence |
| US20160071017A1 (en) * | 2014-10-15 | 2016-03-10 | Brighterion, Inc. | Method of operating artificial intelligence machines to improve predictive model training and performance |
| US11341338B1 (en) * | 2016-08-31 | 2022-05-24 | Narrative Science Inc. | Applied artificial intelligence technology for interactively using narrative analytics to focus and control visualizations of data |
| WO2016061628A1 (en) * | 2014-10-24 | 2016-04-28 | National Ict Australia Limited | Learning with transformed data |
| US9985984B1 (en) * | 2014-10-27 | 2018-05-29 | National Technology & Engineering Solutions Of Sandia, Llc | Dynamic defense and network randomization for computer systems |
| DE102014016968A1 (de) * | 2014-11-18 | 2015-01-22 | Boris Kaplan | Ein Computersystem von einer Künstlichen Intelligenz von einem Cyborg oder einem Android, wobei eine aufgenommene Signal-Reaktion des Computersystems von der Künstlichen Intelligenz von dem Cyborg oder dem Android, eine entsprechende Assoziation des Computersystems von der Künstlichen Intelligenz von dem Cyborg oder dem Android, und ein entsprechender Gedanke des Computersystems von der Künstlichen Intelligenz von dem Cyborg oder dem Android in dem Computersystem physisch gebaut werden, und ein Arbeitsverfahren von dem Computersystem von der Künstlichen Intelligenz von dem Cyborg oder dem Android |
| US10248653B2 (en) * | 2014-11-25 | 2019-04-02 | Lionbridge Technologies, Inc. | Information technology platform for language translation and task management |
| US10410125B1 (en) * | 2014-12-05 | 2019-09-10 | Amazon Technologies, Inc. | Artificial intelligence based identification of negative user sentiment in event data |
| US10574675B2 (en) * | 2014-12-05 | 2020-02-25 | T-Mobile Usa, Inc. | Similarity search for discovering multiple vector attacks |
| US10410273B1 (en) * | 2014-12-05 | 2019-09-10 | Amazon Technologies, Inc. | Artificial intelligence based identification of item attributes associated with negative user sentiment |
| US20200067861A1 (en) * | 2014-12-09 | 2020-02-27 | ZapFraud, Inc. | Scam evaluation system |
| US20160162458A1 (en) * | 2014-12-09 | 2016-06-09 | Idibon, Inc. | Graphical systems and methods for human-in-the-loop machine intelligence |
| WO2016115319A1 (en) * | 2015-01-15 | 2016-07-21 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for generating and using a web page classification model |
| US11042910B2 (en) * | 2015-01-23 | 2021-06-22 | Conversica, Inc. | Systems and methods for processing message exchanges using artificial intelligence |
| US20180018571A1 (en) * | 2015-02-06 | 2018-01-18 | Quorum.Ai Inc. | System and method for using artificial intelligence in making decisions |
| US9892133B1 (en) * | 2015-02-13 | 2018-02-13 | Amazon Technologies, Inc. | Verifying item attributes using artificial intelligence |
| CN104821934B (zh) * | 2015-03-20 | 2018-11-20 | 百度在线网络技术（北京）有限公司 | 基于人工智能的声纹登录方法和装置 |
| WO2016154598A1 (en) * | 2015-03-25 | 2016-09-29 | Carnegie Mellon University | System and method for adaptive, rapidly deployable, human-intelligent sensor feeds |
| US9465940B1 (en) * | 2015-03-30 | 2016-10-11 | Cylance Inc. | Wavelet decomposition of software entropy to identify malware |
| US11221990B2 (en) * | 2015-04-03 | 2022-01-11 | The Mitre Corporation | Ultra-high compression of images based on deep learning |
| US10268969B2 (en) * | 2015-04-16 | 2019-04-23 | Disney Enterprises, Inc. | Artificial intelligence controlled entertainment performance |
| US20180150843A1 (en) * | 2015-04-18 | 2018-05-31 | Brighterion, Inc. | Reducing "declined" decisions with smart agent and artificial intelligence |
| US20160321563A1 (en) * | 2015-04-30 | 2016-11-03 | University Of Southern California | Optimized artificial intelligence machines that allocate patrol agents to minimize opportunistic crime based on learned model |
| NZ737959A (en) * | 2015-05-04 | 2023-03-31 | Syed Kamran Hasan | Method and device for managing security in a computer network |
| EP3098681B1 (en) * | 2015-05-27 | 2020-08-26 | Tata Consultancy Services Limited | Artificial intelligence based health management of host system |
| CN104951077A (zh) * | 2015-06-24 | 2015-09-30 | 百度在线网络技术（北京）有限公司 | 基于人工智能的人机交互方法、装置和终端设备 |
| CN105094315B (zh) * | 2015-06-25 | 2018-03-06 | 百度在线网络技术（北京）有限公司 | 基于人工智能的人机智能聊天的方法和装置 |
| US20190213464A9 (en) * | 2015-06-30 | 2019-07-11 | Robert Polkowski | Artificial Intelligence Support for Sufferers of Cognitive Dysfunction |
| US9280745B1 (en) * | 2015-07-08 | 2016-03-08 | Applied Underwriters, Inc. | Artificial intelligence expert system for screening |
| US9760564B2 (en) * | 2015-07-09 | 2017-09-12 | International Business Machines Corporation | Extracting veiled meaning in natural language content |
| US9928300B2 (en) * | 2015-07-16 | 2018-03-27 | NewsRx, LLC | Artificial intelligence article analysis interface |
| US9443192B1 (en) * | 2015-08-30 | 2016-09-13 | Jasmin Cosic | Universal artificial intelligence engine for autonomous computing devices and software applications |
| US9699205B2 (en) * | 2015-08-31 | 2017-07-04 | Splunk Inc. | Network security system |
| AU2016222401B1 (en) * | 2015-08-31 | 2017-02-23 | Accenture Global Solutions Limited | Intelligent data munging |
| WO2017062635A1 (en) * | 2015-10-06 | 2017-04-13 | Evolv Technologies, Inc. | Training artificial intelligence |
| US10142909B2 (en) * | 2015-10-13 | 2018-11-27 | The Board Of Trustees Of The University Of Alabama | Artificial intelligence-augmented, ripple-diamond-chain shaped rateless routing in wireless mesh networks with multi-beam directional antennas |
| JP5907469B2 (ja) * | 2015-10-16 | 2016-04-26 | 洋彰 宮崎 | 言語入力により自律的に知識を拡大する人工知能装置 |
| US20220210200A1 (en) * | 2015-10-28 | 2022-06-30 | Qomplx, Inc. | Ai-driven defensive cybersecurity strategy analysis and recommendation system |
| US20220377093A1 (en) * | 2015-10-28 | 2022-11-24 | Qomplx, Inc. | System and method for data compliance and prevention with threat detection and response |
| US20220201042A1 (en) * | 2015-10-28 | 2022-06-23 | Qomplx, Inc. | Ai-driven defensive penetration test analysis and recommendation system |
| US10503907B2 (en) * | 2015-12-14 | 2019-12-10 | Fmr Llc | Intelligent threat modeling and visualization |
| KR101694727B1 (ko) * | 2015-12-28 | 2017-01-10 | 주식회사 파수닷컴 | 인공 지능 기반 연관도 계산을 이용한 노트 제공 방법 및 장치 |
| US10679015B1 (en) * | 2015-12-28 | 2020-06-09 | Amazon Technologies, Inc. | Utilizing artificial intelligence-based machine translation to augment document summarization |
| US9652510B1 (en) * | 2015-12-29 | 2017-05-16 | Palantir Technologies Inc. | Systems and user interfaces for data analysis including artificial intelligence algorithms for generating optimized packages of data items |
| US20170193397A1 (en) * | 2015-12-30 | 2017-07-06 | Accenture Global Solutions Limited | Real time organization pulse gathering and analysis using machine learning and artificial intelligence |
| US20190026637A1 (en) * | 2016-01-08 | 2019-01-24 | Sunil Mehta | Method and virtual data agent system for providing data insights with artificial intelligence |
| US20170214701A1 (en) * | 2016-01-24 | 2017-07-27 | Syed Kamran Hasan | Computer security based on artificial intelligence |
| US11093855B1 (en) * | 2016-01-25 | 2021-08-17 | United Services Automobile Association (Usaa) | Crowd sourced training of an artificial intelligence system |
| US11775850B2 (en) * | 2016-01-27 | 2023-10-03 | Microsoft Technology Licensing, Llc | Artificial intelligence engine having various algorithms to build different concepts contained within a same AI model |
| US10586173B2 (en) * | 2016-01-27 | 2020-03-10 | Bonsai AI, Inc. | Searchable database of trained artificial intelligence objects that can be reused, reconfigured, and recomposed, into one or more subsequent artificial intelligence models |
| US11087024B2 (en) * | 2016-01-29 | 2021-08-10 | Samsung Electronics Co., Ltd. | System and method to enable privacy-preserving real time services against inference attacks |
| CN105786977B (zh) * | 2016-02-05 | 2020-03-03 | 北京百度网讯科技有限公司 | 基于人工智能的移动搜索方法和装置 |
| US11449785B2 (en) * | 2016-02-24 | 2022-09-20 | Line Corporation | Method and system for artificial intelligence learning using messaging service and method and system for relaying answer using artificial intelligence |
| CN105653738B (zh) * | 2016-03-01 | 2020-05-22 | 北京百度网讯科技有限公司 | 基于人工智能的搜索结果播报方法和装置 |
| CN105631052A (zh) * | 2016-03-01 | 2016-06-01 | 北京百度网讯科技有限公司 | 基于人工智能的检索方法和装置 |
| US10943036B2 (en) * | 2016-03-08 | 2021-03-09 | Az, Llc | Virtualization, visualization and autonomous design and development of objects |
| US10497012B1 (en) * | 2016-03-17 | 2019-12-03 | Amazon Technologies, Inc. | Correcting for location bias using artificial intelligence |
| US10853661B2 (en) * | 2016-04-06 | 2020-12-01 | Intellective Ai, Inc. | Methods and systems for optimized selection of data features for a neuro-linguistic cognitive artificial intelligence system |
| WO2017177128A1 (en) * | 2016-04-08 | 2017-10-12 | The Trustees Of Columbia University In The City Of New York | Systems and methods for deep reinforcement learning using a brain-artificial intelligence interface |
| US10043133B2 (en) * | 2016-04-08 | 2018-08-07 | Pearson Education, Inc. | Systems and methods of event-based content provisioning |
| US10411899B2 (en) * | 2016-04-25 | 2019-09-10 | Intertrust Technologies Corporation | Data management systems and methods |
| US20170308800A1 (en) * | 2016-04-26 | 2017-10-26 | Smokescreen Intelligence, LLC | Interchangeable Artificial Intelligence Perception Systems and Methods |
| US11157536B2 (en) * | 2016-05-03 | 2021-10-26 | International Business Machines Corporation | Text simplification for a question and answer system |
| US10515187B2 (en) * | 2016-06-29 | 2019-12-24 | Symantec Corporation | Artificial intelligence (AI) techniques for learning and modeling internal networks |
| US11003864B2 (en) * | 2016-05-11 | 2021-05-11 | Stratifyd, Inc. | Artificial intelligence optimized unstructured data analytics systems and methods |
| US10783535B2 (en) * | 2016-05-16 | 2020-09-22 | Cerebri AI Inc. | Business artificial intelligence management engine |
| US20190199733A1 (en) * | 2016-05-17 | 2019-06-27 | Arctic Alliance Ltd | Artificial intelligence data processing system and method |
| US11372381B1 (en) * | 2016-05-17 | 2022-06-28 | David Trowbridge | Synthetic engine for artificial intelligence |
| US20160300158A1 (en) * | 2016-05-24 | 2016-10-13 | Yoshida Masato | Nurturing Virtual Creatures with Augmented reality and artificial intelligence |
| KR101904453B1 (ko) * | 2016-05-25 | 2018-10-04 | 김선필 | 인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이 |
| US10956513B2 (en) * | 2016-05-27 | 2021-03-23 | International Business Machines Corporation | Heuristically programmed artificial intelligence for mainframe operating systems |
| US10505960B2 (en) * | 2016-06-06 | 2019-12-10 | Samsung Electronics Co., Ltd. | Malware detection by exploiting malware re-composition variations using feature evolutions and confusions |
| US10095747B1 (en) * | 2016-06-06 | 2018-10-09 | @Legal Discovery LLC | Similar document identification using artificial intelligence |
| US20170357910A1 (en) * | 2016-06-10 | 2017-12-14 | Apple Inc. | System for iteratively training an artificial intelligence using cloud-based metrics |
| US11886957B2 (en) * | 2016-06-10 | 2024-01-30 | Apple Inc. | Artificial intelligence controller that procedurally tailors itself to an application |
| JP6753707B2 (ja) * | 2016-06-16 | 2020-09-09 | 株式会社オルツ | コミュニケーションを支援する人工知能システム |
| CN106096037A (zh) * | 2016-06-27 | 2016-11-09 | 北京百度网讯科技有限公司 | 基于人工智能的搜索结果聚合方法、装置以及搜索引擎 |
| US10195531B2 (en) * | 2016-06-30 | 2019-02-05 | Sony Interactive Entertainment Inc. | Automated artificial intelligence (AI) personal assistant |
| US10601862B1 (en) * | 2016-07-15 | 2020-03-24 | Akamai Technologies, Inc. | Mitigating automated attacks in a computer network environment |
| AU2016206397A1 (en) * | 2016-07-22 | 2018-02-08 | Burnology Pty Ltd | A map centric emergency and field services management system |
| US10956586B2 (en) * | 2016-07-22 | 2021-03-23 | Carnegie Mellon University | Personalized privacy assistant |
| US10846308B2 (en) * | 2016-07-27 | 2020-11-24 | Anomalee Inc. | Prioritized detection and classification of clusters of anomalous samples on high-dimensional continuous and mixed discrete/continuous feature spaces |
| US10402740B2 (en) * | 2016-07-29 | 2019-09-03 | Sap Se | Natural interactive user interface using artificial intelligence and freeform input |
| US11010687B2 (en) * | 2016-07-29 | 2021-05-18 | Verizon Media Inc. | Detecting abusive language using character N-gram features |
| US11017901B2 (en) * | 2016-08-02 | 2021-05-25 | Atlas5D, Inc. | Systems and methods to identify persons and/or identify and quantify pain, fatigue, mood, and intent with protection of privacy |
| US10438264B1 (en) * | 2016-08-31 | 2019-10-08 | Amazon Technologies, Inc. | Artificial intelligence feature extraction service for products |
| US10848508B2 (en) * | 2016-09-07 | 2020-11-24 | Patternex, Inc. | Method and system for generating synthetic feature vectors from real, labelled feature vectors in artificial intelligence training of a big data machine to defend |
| US9965675B2 (en) * | 2016-09-15 | 2018-05-08 | Georgios P. Schinas | Using virtual reality for behavioral analysis |
| US10936969B2 (en) * | 2016-09-26 | 2021-03-02 | Shabaz Basheer Patel | Method and system for an end-to-end artificial intelligence workflow |
| US9919648B1 (en) * | 2016-09-27 | 2018-03-20 | Robert D. Pedersen | Motor vehicle artificial intelligence expert system dangerous driving warning and control system and method |
| US11681943B2 (en) * | 2016-09-27 | 2023-06-20 | Clarifai, Inc. | Artificial intelligence development via user-selectable/connectable model representations |
| US10152349B1 (en) * | 2016-09-27 | 2018-12-11 | Juniper Networks, Inc. | Kernel scheduling based on precedence constraints and/or artificial intelligence techniques |
| US11080616B2 (en) * | 2016-09-27 | 2021-08-03 | Clarifai, Inc. | Artificial intelligence model and data collection/development platform |
| US11093711B2 (en) * | 2016-09-28 | 2021-08-17 | Microsoft Technology Licensing, Llc | Entity-specific conversational artificial intelligence |
| EP4033697B1 (en) * | 2016-10-03 | 2023-07-19 | Telepathy Labs, Inc. | System and method for social engineering identification and alerting |
| US10534925B2 (en) * | 2016-10-05 | 2020-01-14 | Microsoft Technology Licensing, Llc | Detection of compromised devices via user states |
| CN109983490B (zh) * | 2016-10-06 | 2023-08-29 | 邓白氏公司 | 在赢得/失去分类上进行人工智能优化的潜在客户确定的机器学习分类器和预测引擎 |
| US10510088B2 (en) * | 2016-10-07 | 2019-12-17 | Bank Of America Corporation | Leveraging an artificial intelligence engine to generate customer-specific user experiences based on real-time analysis of customer responses to recommendations |
| US20180101760A1 (en) * | 2016-10-11 | 2018-04-12 | Ricoh Company, Ltd. | Selecting Meeting Participants for Electronic Meetings Using Artificial Intelligence |
| US10068494B2 (en) * | 2016-10-14 | 2018-09-04 | Invoy Holdings, Llc | Artificial intelligence based health coaching based on ketone levels of participants |
| US20190259499A1 (en) * | 2016-10-19 | 2019-08-22 | Peach Intellihealth Pte Ltd. | System and method for predicting sequential organ failure assessment (sofa) scores using artificial intelligence and machine learning |
| US10855714B2 (en) * | 2016-10-31 | 2020-12-01 | KnowBe4, Inc. | Systems and methods for an artificial intelligence driven agent |
| US11562382B2 (en) * | 2016-11-11 | 2023-01-24 | Jpmorgan Chase Bank, N.A. | System and method for providing data science as a service |
| US10372978B1 (en) * | 2016-11-17 | 2019-08-06 | Uipco, Llc | Artificial intelligence image and text processing |
| US10462170B1 (en) * | 2016-11-21 | 2019-10-29 | Alert Logic, Inc. | Systems and methods for log and snort synchronized threat detection |
| CN106528845B (zh) * | 2016-11-22 | 2019-09-03 | 北京百度网讯科技有限公司 | 基于人工智能的检索纠错方法及装置 |
| US10154379B2 (en) * | 2016-11-26 | 2018-12-11 | Informu Inc. | Artificial intelligence for loss prevention tags |
| US11373100B2 (en) * | 2016-11-29 | 2022-06-28 | Microsoft Technology Licensing, Llc | Using various artificial intelligence entities as advertising media |
| CN106547742B (zh) * | 2016-11-30 | 2019-05-03 | 百度在线网络技术（北京）有限公司 | 基于人工智能的语义解析结果处理方法和装置 |
| US20180150752A1 (en) * | 2016-11-30 | 2018-05-31 | NewsRx, LLC | Identifying artificial intelligence content |
| US10733530B2 (en) * | 2016-12-08 | 2020-08-04 | Resurgo, Llc | Machine learning model evaluation in cyber defense |
| US20180174088A1 (en) * | 2016-12-15 | 2018-06-21 | Dennis Eugene Brown | Systems and Methods for Artificial Intelligence-Based Gamified Retail Sales Accelerator |
| US20180174019A1 (en) * | 2016-12-15 | 2018-06-21 | NewsRx, LLC | Artificial intelligence analysis service |
| US10296794B2 (en) * | 2016-12-20 | 2019-05-21 | Jayant Rtti | On-demand artificial intelligence and roadway stewardship system |
| US10096384B2 (en) * | 2016-12-21 | 2018-10-09 | Disco Health, LLC | Artificial intelligence expert system |
| WO2018119423A1 (en) * | 2016-12-22 | 2018-06-28 | Surround. Io Corporation | Method and system for providing artificial intelligence analytic (aia) services for performance prediction |
| US20180365555A1 (en) * | 2016-12-22 | 2018-12-20 | Naveed Aslam | Artificial intelligence based algorithm for predicting pipeline leak and corrosion detection |
| US10826934B2 (en) * | 2017-01-10 | 2020-11-03 | Crowdstrike, Inc. | Validation-based determination of computational models |
| EP3349137A1 (en) * | 2017-01-11 | 2018-07-18 | Sap Se | Client-side attack detection in web applications |
| US20180204126A1 (en) * | 2017-01-17 | 2018-07-19 | Xerox Corporation | Method and system for assisting users in an automated decision-making environment |
| US20180211259A1 (en) * | 2017-01-23 | 2018-07-26 | Quyen Trong Vu | Artificial Intelligence Based Customer Service and Social Media Method |
| US10764313B1 (en) * | 2017-01-24 | 2020-09-01 | SlashNext, Inc. | Method and system for protection against network-based cyber threats |
| US10235734B2 (en) * | 2017-01-27 | 2019-03-19 | International Business Machines Corporation | Translation of artificial intelligence representations |
| US20180225616A1 (en) * | 2017-02-03 | 2018-08-09 | Icarus Ops LLC | Digital Checklist System Using Mobile Technology, Artificial Intelligence, and Infrared Technology |
| US11158012B1 (en) * | 2017-02-14 | 2021-10-26 | Casepoint LLC | Customizing a data discovery user interface based on artificial intelligence |
| US11568148B1 (en) * | 2017-02-17 | 2023-01-31 | Narrative Science Inc. | Applied artificial intelligence technology for narrative generation based on explanation communication goals |
| WO2018150227A1 (en) * | 2017-02-17 | 2018-08-23 | Dataspark Pte, Ltd | Mobility gene for trajectory data |
| US10762304B1 (en) * | 2017-02-17 | 2020-09-01 | Narrative Science | Applied artificial intelligence technology for performing natural language generation (NLG) using composable communication goals and ontologies to generate narrative stories |
| US11068661B1 (en) * | 2017-02-17 | 2021-07-20 | Narrative Science Inc. | Applied artificial intelligence technology for narrative generation based on smart attributes |
| US10699079B1 (en) * | 2017-02-17 | 2020-06-30 | Narrative Science Inc. | Applied artificial intelligence technology for narrative generation based on analysis communication goals |
| US10943069B1 (en) * | 2017-02-17 | 2021-03-09 | Narrative Science Inc. | Applied artificial intelligence technology for narrative generation based on a conditional outcome framework |
| US11087221B2 (en) * | 2017-02-20 | 2021-08-10 | Saudi Arabian Oil Company | Well performance classification using artificial intelligence and pattern recognition |
| US10288439B2 (en) * | 2017-02-22 | 2019-05-14 | Robert D. Pedersen | Systems and methods using artificial intelligence for routing electric vehicles |
| US11120361B1 (en) * | 2017-02-24 | 2021-09-14 | Amazon Technologies, Inc. | Training data routing and prediction ensembling at time series prediction system |
| US11037251B2 (en) * | 2017-03-01 | 2021-06-15 | Microsoft Technology Licensing, Llc | Understanding business insights and deep-dive using artificial intelligence |
| US11615326B2 (en) * | 2017-03-05 | 2023-03-28 | Cyberint Technologies Ltd. | Digital MDR (managed detection and response) analysis |
| US11436520B2 (en) * | 2017-03-07 | 2022-09-06 | Cylance Inc. | Redaction of artificial intelligence training documents |
| US11416956B2 (en) * | 2017-03-15 | 2022-08-16 | Coupa Software Incorporated | Machine evaluation of contract terms |
| KR102012374B1 (ko) * | 2017-03-15 | 2019-10-21 | 엘지전자 주식회사 | 동작 정보에 기반하여 인공지능으로 스케줄 정보를 생성하는 방법 및 이를 구현하는 서버와 냉장고 |
| US10963812B1 (en) * | 2017-03-17 | 2021-03-30 | Amazon Technologies, Inc. | Model-based artificial intelligence data mining system for dimension estimation |
| CA2998249A1 (en) * | 2017-03-17 | 2018-09-17 | Edatanetworks Inc. | Artificial intelligence engine incenting merchant transaction with consumer affinity |
| US20180276551A1 (en) * | 2017-03-23 | 2018-09-27 | Corey Kaizen Reaux-Savonte | Dual-Type Control System of an Artificial Intelligence in a Machine |
| US20180276524A1 (en) * | 2017-03-23 | 2018-09-27 | Corey Kaizen Reaux-Savonte | Creating, Qualifying and Quantifying Values-Based Intelligence and Understanding using Artificial Intelligence in a Machine. |
| US11164107B1 (en) * | 2017-03-27 | 2021-11-02 | Numerai, Inc. | Apparatuses and methods for evaluation of proffered machine intelligence in predictive modelling using cryptographic token staking |
| US10474673B2 (en) * | 2017-03-28 | 2019-11-12 | Salesforce.Com, Inc. | Methods and apparatus for performing machine learning to improve capabilities of an artificial intelligence (AI) entity used for online communications |
| US10387298B2 (en) * | 2017-04-04 | 2019-08-20 | Hailo Technologies Ltd | Artificial neural network incorporating emphasis and focus techniques |
| CN107220232B (zh) * | 2017-04-06 | 2021-06-11 | 北京百度网讯科技有限公司 | 基于人工智能的关键词提取方法及装置、设备与可读介质 |
| US10817608B2 (en) * | 2017-04-07 | 2020-10-27 | Zscaler, Inc. | System and method for malware detection on a per packet basis |
| WO2018184193A1 (en) * | 2017-04-07 | 2018-10-11 | Intel Corporation | Advanced artificial intelligence agent for modeling physical interactions |
| US10042636B1 (en) * | 2017-04-11 | 2018-08-07 | Accenture Global Solutions Limited | End-to end project management platform with artificial intelligence integration |
| WO2018191434A1 (en) * | 2017-04-12 | 2018-10-18 | Workpology, Inc. | Augmenting sustainable procurement data with artificial intelligence |
| CN107068161B (zh) * | 2017-04-14 | 2020-07-28 | 百度在线网络技术（北京）有限公司 | 基于人工智能的语音降噪方法、装置和计算机设备 |
| US11314862B2 (en) * | 2017-04-17 | 2022-04-26 | Tala Security, Inc. | Method for detecting malicious scripts through modeling of script structure |
| US11276015B2 (en) * | 2017-04-20 | 2022-03-15 | Capital One Services, Llc | Machine learning artificial intelligence system for predicting hours of operation |
| US10762201B2 (en) * | 2017-04-20 | 2020-09-01 | Level Effect LLC | Apparatus and method for conducting endpoint-network-monitoring |
| US10558917B2 (en) * | 2017-04-20 | 2020-02-11 | Tyco Fire & Security Gmbh | Artificial intelligence and natural language processing based building and fire systems management system |
| US11185780B2 (en) * | 2017-04-24 | 2021-11-30 | International Business Machines Corporation | Artificial intelligence profiling |
| KR102421487B1 (ko) * | 2017-04-24 | 2022-07-15 | 엘지전자 주식회사 | 인공 지능 기기 |
| US10782988B2 (en) * | 2017-04-25 | 2020-09-22 | Petuum Inc. | Operating system for distributed enterprise artificial intelligence programs on data centers and the clouds |
| US20180308008A1 (en) * | 2017-04-25 | 2018-10-25 | Xaxis, Inc. | Double Blind Machine Learning Insight Interface Apparatuses, Methods and Systems |
| US11880746B1 (en) * | 2017-04-26 | 2024-01-23 | Hrb Innovations, Inc. | Interface for artificial intelligence training |
| US9946789B1 (en) * | 2017-04-28 | 2018-04-17 | Shenzhen Cestbon Technology Co. Limited | Classifying electronic messages using individualized artificial intelligence techniques |
| US10950346B2 (en) * | 2017-04-28 | 2021-03-16 | International Business Machines Corporation | Utilizing artificial intelligence for data extraction |
| EP3628101B8 (en) * | 2017-04-28 | 2023-07-19 | Better Therapeutics, Inc. | Method and system for managing lifestyle and health interventions |
| CN107038157B (zh) * | 2017-05-05 | 2020-09-29 | 百度在线网络技术（北京）有限公司 | 基于人工智能的识别错误发现方法、装置及存储介质 |
| US20180322419A1 (en) * | 2017-05-08 | 2018-11-08 | Centurylink Intellectual Property Llc | Model Driven Modular Artificial Intelligence Learning Framework |
| US11100506B2 (en) * | 2017-05-09 | 2021-08-24 | Fair Isaac Corporation | Fraud score manipulation in self-defense of adversarial artificial intelligence learning |
| CN107193807B (zh) * | 2017-05-12 | 2021-05-28 | 北京百度网讯科技有限公司 | 基于人工智能的语言转换处理方法、装置及终端 |
| KR101980963B1 (ko) * | 2017-05-12 | 2019-08-28 | 정규영 | 인공지능에 기반한 지원자 맞춤형 정보 처리 및 제공 시스템 |
| US10488834B2 (en) * | 2017-05-13 | 2019-11-26 | Shadecraft, Inc. | Intelligent umbrella or robotic shading system having telephonic communication capabilities |
| US20220300306A1 (en) * | 2017-05-16 | 2022-09-22 | BlueOwl, LLC | Artificial intelligence based computing systems and methods for providing enhanced user help |
| CN107220317B (zh) * | 2017-05-17 | 2020-12-18 | 北京百度网讯科技有限公司 | 基于人工智能的匹配度评估方法、装置、设备及存储介质 |
| US20180336439A1 (en) * | 2017-05-18 | 2018-11-22 | Intel Corporation | Novelty detection using discriminator of generative adversarial network |
| CN107193792B (zh) * | 2017-05-18 | 2020-10-02 | 北京百度网讯科技有限公司 | 基于人工智能的生成文章的方法和装置 |
| US20180336463A1 (en) * | 2017-05-18 | 2018-11-22 | General Electric Company | Systems and methods for domain-specific obscured data transport |
| US11003995B2 (en) * | 2017-05-19 | 2021-05-11 | Huawei Technologies Co., Ltd. | Semi-supervised regression with generative adversarial networks |
| US11275994B2 (en) * | 2017-05-22 | 2022-03-15 | International Business Machines Corporation | Unstructured key definitions for optimal performance |
| CN107193974B (zh) * | 2017-05-25 | 2020-11-10 | 北京百度网讯科技有限公司 | 基于人工智能的地域性信息确定方法和装置 |
| US20180341878A1 (en) * | 2017-05-26 | 2018-11-29 | Get Attached, Inc. | Using artificial intelligence and machine learning to automatically share desired digital media |
| US10810472B2 (en) * | 2017-05-26 | 2020-10-20 | Oracle International Corporation | Techniques for sentiment analysis of data using a convolutional neural network and a co-occurrence network |
| CN107291828B (zh) * | 2017-05-27 | 2021-06-11 | 北京百度网讯科技有限公司 | 基于人工智能的口语查询解析方法、装置及存储介质 |
| US11424993B1 (en) * | 2017-05-30 | 2022-08-23 | Amazon Technologies, Inc. | Artificial intelligence system for network traffic flow based detection of service usage policy violations |
| RU2661750C1 (ru) * | 2017-05-30 | 2018-07-19 | Общество с ограниченной ответственностью "Аби Продакшн" | Распознавание символов с использованием искусственного интеллекта |
| US20190139098A1 (en) * | 2017-05-31 | 2019-05-09 | Adnomus, Inc. | Systems and methods for real-time data processing analytics engine with artificial intelligence for transaction handling |
| US20190138930A1 (en) * | 2017-05-31 | 2019-05-09 | Adnomus, Inc. | Systems and methods for real-time data processing analytics engine with artificial intelligence for target information protection |
| US20180349793A1 (en) * | 2017-06-01 | 2018-12-06 | Bank Of America Corporation | Employing machine learning and artificial intelligence to generate user profiles based on user interface interactions |
| US11144845B2 (en) * | 2017-06-02 | 2021-10-12 | Stitch Fix, Inc. | Using artificial intelligence to design a product |
| CN107423274B (zh) * | 2017-06-07 | 2020-11-20 | 北京百度网讯科技有限公司 | 基于人工智能的比赛解说内容生成方法、装置及存储介质 |
| US20180357557A1 (en) * | 2017-06-08 | 2018-12-13 | Microsoft Technology Licensing, Llc | Identification of decision bias with artificial intelligence program |
| US11494686B1 (en) * | 2017-06-09 | 2022-11-08 | Amazon Technologies, Inc. | Artificial intelligence system for relevance analysis of data stream items using similarity groups and attributes |
| US11250515B1 (en) * | 2017-06-09 | 2022-02-15 | Liberty Mutual Insurance Company | Self-service claim automation using artificial intelligence |
| CN107463601B (zh) * | 2017-06-13 | 2021-02-12 | 北京百度网讯科技有限公司 | 基于人工智能的对话理解***构建方法、装置、设备及计算机可读存储介质 |
| CN107273487A (zh) * | 2017-06-13 | 2017-10-20 | 北京百度网讯科技有限公司 | 基于人工智能的聊天数据的生成方法、装置及计算机设备 |
| CN107291867B (zh) * | 2017-06-13 | 2021-07-20 | 北京百度网讯科技有限公司 | 基于人工智能的对话处理方法、装置、设备及计算机可读存储介质 |
| US10776624B1 (en) * | 2017-06-13 | 2020-09-15 | State Farm Mutual Automobile Insurance Company | Systems and methods for hail damage verification on rooftops using computer vision and artificial intelligence |
| CN107291871B (zh) * | 2017-06-15 | 2021-02-19 | 北京百度网讯科技有限公司 | 基于人工智能的多域信息的匹配度评估方法、设备及介质 |
| CN107480162B (zh) * | 2017-06-15 | 2021-09-21 | 北京百度网讯科技有限公司 | 基于人工智能的搜索方法、装置、设备及计算机可读存储介质 |
| US20180365294A1 (en) * | 2017-06-16 | 2018-12-20 | Nec Laboratories America, Inc. | Artificial intelligence driven declarative analytic platform technology |
| CN107357830B (zh) * | 2017-06-19 | 2020-07-28 | 北京百度网讯科技有限公司 | 基于人工智能的检索语句语义片段获取方法、装置及终端 |
| US11061700B2 (en) * | 2017-06-20 | 2021-07-13 | Cleverspeck, LLC | Virtual assistants using state-based artificial intelligence |
| CN107491432B (zh) * | 2017-06-20 | 2022-01-28 | 北京百度网讯科技有限公司 | 基于人工智能的低质量文章识别方法及装置、设备及介质 |
| CN107273508B (zh) * | 2017-06-20 | 2020-07-10 | 北京百度网讯科技有限公司 | 基于人工智能的信息处理方法和装置 |
| EP3642783A4 (en) * | 2017-06-22 | 2020-12-02 | Avlani, Dipesh | SYSTEM ALLOWS THE AGGREGATION OF CONSUMER BEHAVIOR EVENT METADATA IN A STORE, DATA VERIFICATION AND CORRESPONDING ARTIFICIAL INTELLIGENCE ANALYSIS FOR DATA INTERPRETATION AND RELATED ACTION TRIGGER |
| JP6660030B2 (ja) * | 2017-06-22 | 2020-03-04 | カシオ計算機株式会社 | 情報処理装置、人工知能識別方法及びプログラム |
| US11283738B2 (en) * | 2017-06-23 | 2022-03-22 | Realpage, Inc. | Interaction driven artificial intelligence system and uses for same, including travel or real estate related contexts |
| WO2018237247A1 (en) * | 2017-06-23 | 2018-12-27 | Ascension Health Alliance | SYSTEMS AND METHODS OF USING ARTIFICIAL INTELLIGENCE CONTROL UNIT BASED ON VOICE |
| US20180374138A1 (en) * | 2017-06-23 | 2018-12-27 | Vufind Inc. | Leveraging delayed and partial reward in deep reinforcement learning artificial intelligence systems to provide purchase recommendations |
| CN107220380A (zh) * | 2017-06-27 | 2017-09-29 | 北京百度网讯科技有限公司 | 基于人工智能的问答推荐方法、装置和计算机设备 |
| US10922616B1 (en) * | 2017-06-27 | 2021-02-16 | Amazon Technologies, Inc. | Determining apparel sizes using physical measurements and artificial intelligence |
| CN107346336B (zh) * | 2017-06-29 | 2021-06-08 | 北京百度网讯科技有限公司 | 基于人工智能的信息处理方法和装置 |
| US10489502B2 (en) * | 2017-06-30 | 2019-11-26 | Accenture Global Solutions Limited | Document processing |
| US20190012442A1 (en) * | 2017-07-06 | 2019-01-10 | Bylined Me, Inc. | Facilitating retrieval of permissions associated with a media item |
| US10963525B2 (en) * | 2017-07-07 | 2021-03-30 | Avnet, Inc. | Artificial intelligence system for providing relevant content queries across unconnected websites via a conversational environment |
| US11176470B2 (en) * | 2017-07-07 | 2021-11-16 | Accenture Global Solutions Limited | Artificial intelligence based solution generator |
| US10349493B2 (en) * | 2017-07-07 | 2019-07-09 | Shadecraft, Inc. | Artificial intelligence (AI) computing device with one or more lighting elements |
| US20190012841A1 (en) * | 2017-07-09 | 2019-01-10 | Eyedaptic, Inc. | Artificial intelligence enhanced system for adaptive control driven ar/vr visual aids |
| US20200202400A1 (en) * | 2017-07-11 | 2020-06-25 | Wematch.Live R&D Ltd | Artificial intelligence negotiation system |
| US10949914B2 (en) * | 2017-07-12 | 2021-03-16 | Accenture Global Solutions Limited | Immersive and artificial intelligence based retail |
| US10984452B2 (en) * | 2017-07-13 | 2021-04-20 | International Business Machines Corporation | User/group servicing based on deep network analysis |
| US20190018692A1 (en) * | 2017-07-14 | 2019-01-17 | Intuit Inc. | System and method for identifying and providing personalized self-help content with artificial intelligence in a customer self-help system |
| US10664716B2 (en) * | 2017-07-19 | 2020-05-26 | Vispek Inc. | Portable substance analysis based on computer vision, spectroscopy, and artificial intelligence |
| WO2019018780A1 (en) * | 2017-07-20 | 2019-01-24 | The University Of North Carolina At Chapel Hill | NON-TRANSIENT COMPUTER-READABLE METHODS, SYSTEMS, AND MEDIA FOR THE AUTOMATED DESIGN OF MOLECULES HAVING DESIRED PROPERTIES USING ARTIFICIAL INTELLIGENCE |
| KR101830314B1 (ko) * | 2017-07-26 | 2018-02-20 | 재단법인 구미전자정보기술원 | 인공지능 기반 베이지안 네트워크를 이용한 췌장암 진단에 필요한 정보제공 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 |
| US10699062B2 (en) * | 2017-08-01 | 2020-06-30 | Samsung Electronics Co., Ltd. | Apparatus and method for providing summarized information using an artificial intelligence model |
| US10594757B1 (en) * | 2017-08-04 | 2020-03-17 | Grammarly, Inc. | Sender-receiver interface for artificial intelligence communication assistance for augmenting communications |
| US10607595B2 (en) * | 2017-08-07 | 2020-03-31 | Lenovo (Singapore) Pte. Ltd. | Generating audio rendering from textual content based on character models |
| US11011264B2 (en) * | 2017-08-09 | 2021-05-18 | Varian Medical Systems International Ag | Radiotherapy treatment planning using artificial intelligence (AI) engines |
| US11341439B2 (en) * | 2017-08-14 | 2022-05-24 | Accenture Global Solutions Limited | Artificial intelligence and machine learning based product development |
| US11004567B2 (en) * | 2017-08-15 | 2021-05-11 | Koko Home, Inc. | System and method for processing wireless backscattered signal using artificial intelligence processing for activities of daily life |
| CN107463698B (zh) * | 2017-08-15 | 2020-11-20 | 北京百度网讯科技有限公司 | 基于人工智能推送信息的方法和装置 |
| CN107463704B (zh) * | 2017-08-16 | 2021-05-07 | 北京百度网讯科技有限公司 | 基于人工智能的搜索方法和装置 |
| US10917435B2 (en) * | 2017-08-17 | 2021-02-09 | Acronis International Gmbh | Cloud AI engine for malware analysis and attack prediction |
| US11004135B1 (en) * | 2017-08-18 | 2021-05-11 | Amazon Technologies, Inc. | Artificial intelligence system for balancing relevance and diversity of network-accessible content |
| US11216737B2 (en) * | 2017-08-18 | 2022-01-04 | Uncountable Inc. | Artificial intelligence guided research and development |
| UY37492A (es) * | 2017-11-23 | 2018-01-31 | Biopremix Tech Llc | Procedimiento para la producción de un aditivo multiplicador y modulador de la microbiota ruminal |
| US9961204B1 (en) * | 2017-08-21 | 2018-05-01 | Avaya Inc. | Monitoring agent oversight of artificial intelligence content in a contact center |
| US11568265B2 (en) * | 2017-08-23 | 2023-01-31 | Sony Interactive Entertainment Inc. | Continual selection of scenarios based on identified tags describing contextual environment of a user for execution by an artificial intelligence model of the user by an autonomous personal companion |
| US11138249B1 (en) * | 2017-08-23 | 2021-10-05 | Realpage, Inc. | Systems and methods for the creation, update and use of concept networks to select destinations in artificial intelligence systems |
| CN107506434A (zh) * | 2017-08-23 | 2017-12-22 | 北京百度网讯科技有限公司 | 基于人工智能分类语音输入文本的方法和装置 |
| US11210396B2 (en) * | 2017-08-25 | 2021-12-28 | Drexel University | Light-weight behavioral malware detection for windows platforms |
| US11367117B1 (en) * | 2017-08-28 | 2022-06-21 | Amazon Technologies, Inc. | Artificial intelligence system for generating network-accessible recommendations with explanatory metadata |
| US10417350B1 (en) * | 2017-08-28 | 2019-09-17 | Amazon Technologies, Inc. | Artificial intelligence system for automated adaptation of text-based classification models for multiple languages |
| US11494721B1 (en) * | 2017-08-28 | 2022-11-08 | Thomas Lah | Artificial intelligence system for electronically monitoring and analyzing data transmitted through multiple electronic channels to suggest actions for increasing the effectiveness of data transmitted through the channels |
| US20190065498A1 (en) * | 2017-08-29 | 2019-02-28 | Chirrp, Inc. | System and method for rich conversation in artificial intelligence |
| US11687800B2 (en) * | 2017-08-30 | 2023-06-27 | P Tech, Llc | Artificial intelligence and/or virtual reality for activity optimization/personalization |
| US20190065464A1 (en) * | 2017-08-31 | 2019-02-28 | EMR.AI Inc. | Artificial intelligence scribe |
| US11375256B1 (en) * | 2017-09-05 | 2022-06-28 | Amazon Technologies, Inc. | Artificial intelligence system for modeling emotions elicited by videos |
| US11176484B1 (en) * | 2017-09-05 | 2021-11-16 | Amazon Technologies, Inc. | Artificial intelligence system for modeling emotions elicited by videos |
| US11983748B2 (en) * | 2017-09-07 | 2024-05-14 | Stitch Fix, Inc. | Using artificial intelligence to determine a size fit prediction |
| US10635858B2 (en) * | 2017-09-11 | 2020-04-28 | Nec Corporation | Electronic message classification and delivery using a neural network architecture |
| US20190080063A1 (en) * | 2017-09-13 | 2019-03-14 | Facebook, Inc. | De-identification architecture |
| US10949759B2 (en) * | 2017-09-13 | 2021-03-16 | OmicX | Identification of a series of compatible components using artificial intelligence |
| KR102489914B1 (ko) * | 2017-09-15 | 2023-01-20 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
| JP2019056970A (ja) * | 2017-09-19 | 2019-04-11 | カシオ計算機株式会社 | 情報処理装置、人工知能選択方法及び人工知能選択プログラム |
| WO2019060889A1 (en) * | 2017-09-25 | 2019-03-28 | Ventana 3D, Llc | ARTIFICIAL INTELLIGENCE (IA) CHARACTER SYSTEM CAPABLE OF NATURAL VERBAL AND VISUAL INTERACTIONS WITH A HUMAN BEING |
| US11855849B1 (en) * | 2017-09-26 | 2023-12-26 | Amazon Technologies, Inc. | Artificial intelligence based self-organizing event-action management system for large-scale networks |
| US11120368B2 (en) * | 2017-09-27 | 2021-09-14 | Oracle International Corporation | Scalable and efficient distributed auto-tuning of machine learning and deep learning models |
| US11481640B2 (en) * | 2017-09-29 | 2022-10-25 | Oracle International Corporation | Directed trajectories through communication decision tree using iterative artificial intelligence |
| WO2019067747A1 (en) * | 2017-09-29 | 2019-04-04 | Qloudable, Inc. | COMMUNICATION AND DEVICE MANAGEMENT IN COMPUTER DATA NETWORKS |
| US11321614B2 (en) * | 2017-09-29 | 2022-05-03 | Oracle International Corporation | Directed trajectories through communication decision tree using iterative artificial intelligence |
| US11803764B2 (en) * | 2017-09-29 | 2023-10-31 | Sony Interactive Entertainment Inc. | Mobile and autonomous personal companion based on an artificial intelligence (AI) model for a user |
| US10496396B2 (en) * | 2017-09-29 | 2019-12-03 | Oracle International Corporation | Scalable artificial intelligence driven configuration management |
| US11568480B2 (en) * | 2017-10-03 | 2023-01-31 | Cerebro Capital, Inc. | Artificial intelligence derived anonymous marketplace |
| US10516701B2 (en) * | 2017-10-05 | 2019-12-24 | Accenture Global Solutions Limited | Natural language processing artificial intelligence network and data security system |
| US10872125B2 (en) * | 2017-10-05 | 2020-12-22 | Realpage, Inc. | Concept networks and systems and methods for the creation, update and use of same to select images, including the selection of images corresponding to destinations in artificial intelligence systems |
| US10984342B2 (en) * | 2017-10-10 | 2021-04-20 | Stitch Fix, Inc. | Using artificial intelligence to determine a value for a variable size component |
| US11514345B2 (en) * | 2017-10-17 | 2022-11-29 | Evgeny Chereshnev | Systems and methods for generating automated decisions |
| KR102383461B1 (ko) * | 2017-10-17 | 2022-04-06 | 현대자동차주식회사 | 인공지능을 활용한 엔진동력특성 기반 엔진음색 제어방법 및 차량 |
| US10755188B2 (en) * | 2017-10-18 | 2020-08-25 | Nxgen Partners Ip, Llc | Unified nonlinear modeling approach for machine learning and artificial intelligence (attractor assisted AI) |
| US10671434B1 (en) * | 2017-10-19 | 2020-06-02 | Pure Storage, Inc. | Storage based artificial intelligence infrastructure |
| US10360214B2 (en) * | 2017-10-19 | 2019-07-23 | Pure Storage, Inc. | Ensuring reproducibility in an artificial intelligence infrastructure |
| US20200250780A1 (en) * | 2017-10-23 | 2020-08-06 | George Karypis | Decentralized Autonomous Evaluation Engine for Intellectual Property Assets |
| US11068817B2 (en) * | 2017-10-25 | 2021-07-20 | Accenture Global Solutions Limited | Artificial intelligence and machine learning based project management assistance |
| KR102455199B1 (ko) * | 2017-10-27 | 2022-10-18 | 엘지전자 주식회사 | 인공지능 디바이스 |
| US10832180B2 (en) * | 2017-10-30 | 2020-11-10 | The Aerospace Corporation | Artificial intelligence system that employs windowed cellular automata to create plausible alternatives |
| US11475337B1 (en) * | 2017-10-31 | 2022-10-18 | Virtustream Ip Holding Company Llc | Platform to deliver artificial intelligence-enabled enterprise class process execution |
| WO2019089651A1 (en) * | 2017-10-31 | 2019-05-09 | Myndshft Technologies, Inc. | System and method for configuring an adaptive computing cluster |
| US10657259B2 (en) * | 2017-11-01 | 2020-05-19 | International Business Machines Corporation | Protecting cognitive systems from gradient based attacks through the use of deceiving gradients |
| JP7050083B2 (ja) * | 2017-11-06 | 2022-04-07 | 株式会社日立製作所 | 制御装置 |
| US20190138635A1 (en) * | 2017-11-06 | 2019-05-09 | Getalert Ltd. | Methods Data Structures Circuits Devices Systems and Functionally Associated Machine Executable Code for Artificial Intelligence Based Situational Assessment |
| US11042692B1 (en) * | 2017-11-06 | 2021-06-22 | Open Law Library | Artificial intelligence-based legislative code validation and publication system |
| US11816540B2 (en) * | 2017-11-06 | 2023-11-14 | Xendee Corporation | Artificial intelligence microgrid and distributed energy resources planning platform |
| US20190138961A1 (en) * | 2017-11-07 | 2019-05-09 | Indidesk, S.L. (fna Smart Canvas Solutions Espana, S.L.) | System and method for project management using artificial intelligence |
| US10990901B2 (en) * | 2017-11-13 | 2021-04-27 | Accenture Global Solutions Limited | Training, validating, and monitoring artificial intelligence and machine learning models |
| US20190148023A1 (en) * | 2017-11-16 | 2019-05-16 | Google Llc | Machine-Learned Epidemiology |
| EP3486674A1 (en) * | 2017-11-17 | 2019-05-22 | Koninklijke Philips N.V. | Artificial intelligence-enabled localization of anatomical landmarks |
| CN109806497B (zh) * | 2017-11-20 | 2023-04-18 | 李顺裕 | 具有人工智能与物联网功能的医疗*** |
| US11663182B2 (en) * | 2017-11-21 | 2023-05-30 | Maria Emma | Artificial intelligence platform with improved conversational ability and personality development |
| US20190164202A1 (en) * | 2017-11-28 | 2019-05-30 | Sanjeev Sadanand Ukhalkar | System and method for real time artificial intelligence based price determination |
| US11960976B2 (en) * | 2017-11-30 | 2024-04-16 | B.yond, Inc. | Decomposing tasks through artificial intelligence chaining |
| US11436525B2 (en) * | 2017-12-01 | 2022-09-06 | Deepwave Digital, Inc. | Artificial intelligence radio transceiver |
| US10839083B2 (en) * | 2017-12-01 | 2020-11-17 | KnowBe4, Inc. | Systems and methods for AIDA campaign controller intelligent records |
| US10581910B2 (en) * | 2017-12-01 | 2020-03-03 | KnowBe4, Inc. | Systems and methods for AIDA based A/B testing |
| US10812527B2 (en) * | 2017-12-01 | 2020-10-20 | KnowBe4, Inc. | Systems and methods for aida based second chance |
| US11392751B1 (en) * | 2017-12-04 | 2022-07-19 | Amazon Technologies, Inc. | Artificial intelligence system for optimizing informational content presentation |
| US10847254B2 (en) * | 2017-12-05 | 2020-11-24 | Toyota Research Institute, Inc. | Artificial intelligence based stable materials discovery process |
| US11574204B2 (en) * | 2017-12-06 | 2023-02-07 | Accenture Global Solutions Limited | Integrity evaluation of unstructured processes using artificial intelligence (AI) techniques |
| US10452674B2 (en) * | 2017-12-07 | 2019-10-22 | Accenture Global Solutions Limited | Artificial intelligence and robotic process automation for automated data management |
| US11797769B1 (en) * | 2017-12-13 | 2023-10-24 | Amazon Technologies, Inc. | Artificial intelligence system using hybrid technique for task-oriented dialog management |
| US20190179647A1 (en) * | 2017-12-13 | 2019-06-13 | General Electric Company | Auto throttling of input data and data execution using machine learning and artificial intelligence |
| US20190176987A1 (en) * | 2017-12-13 | 2019-06-13 | James E. Beecham | System and method for fire suppression via artificial intelligence |
| RU2691214C1 (ru) * | 2017-12-13 | 2019-06-11 | Общество с ограниченной ответственностью "Аби Продакшн" | Распознавание текста с использованием искусственного интеллекта |
| US11443178B2 (en) * | 2017-12-15 | 2022-09-13 | Interntional Business Machines Corporation | Deep neural network hardening framework |
| US10650928B1 (en) * | 2017-12-18 | 2020-05-12 | Clarify Health Solutions, Inc. | Computer network architecture for a pipeline of models for healthcare outcomes with machine learning and artificial intelligence |
| US11520395B2 (en) * | 2017-12-19 | 2022-12-06 | Intel Corporation | Integrated circuit power systems with machine learning capabilities |
| US10599783B2 (en) * | 2017-12-26 | 2020-03-24 | International Business Machines Corporation | Automatically suggesting a temporal opportunity for and assisting a writer in writing one or more sequel articles via artificial intelligence |
| US20190197585A1 (en) * | 2017-12-26 | 2019-06-27 | Paypal, Inc. | Systems and methods for data storage and retrieval with access control |
| KR101930062B1 (ko) * | 2017-12-27 | 2019-03-14 | 클리어라인 주식회사 | 인공지능기술을 이용한 단계별 자동 교정 시스템 |
| US10769570B2 (en) * | 2017-12-27 | 2020-09-08 | Accenture Global Solutions Limited | Artificial intelligence based risk and knowledge management |
| US10915631B2 (en) * | 2017-12-28 | 2021-02-09 | Intel Corporation | Deep learning on execution trace data for exploit detection |
| US11250336B2 (en) * | 2017-12-28 | 2022-02-15 | Intel Corporation | Distributed and contextualized artificial intelligence inference service |
| US11709854B2 (en) * | 2018-01-02 | 2023-07-25 | Bank Of America Corporation | Artificial intelligence based smart data engine |
| US10977711B1 (en) * | 2018-01-03 | 2021-04-13 | Amazon Technologies, Inc. | Artificial intelligence system with hierarchical machine learning for interaction session optimization |
| CN108347430B (zh) * | 2018-01-05 | 2021-01-12 | 国网山东省电力公司济宁供电公司 | 基于深度学习的网络入侵检测和漏洞扫描方法及装置 |
| US20190213486A1 (en) * | 2018-01-06 | 2019-07-11 | Tiffany Quynh-Nhi Do | Virtual Adaptive Learning of Financial Articles Utilizing Artificial Intelligence |
| US10515002B2 (en) * | 2018-01-08 | 2019-12-24 | Accenture Global Solutions Limited | Utilizing artificial intelligence to test cloud applications |
| KR102561890B1 (ko) * | 2018-01-10 | 2023-08-01 | 주식회사 마크애니 | 스마트방송 콘텐츠를 위한 인공지능으로 학습된 모델 데이터의 디지털 권리 보호에 관한 장치 및 방법 |
| US10977737B2 (en) * | 2018-01-10 | 2021-04-13 | Liberty Mutual Insurance Company | Training gradient boosted decision trees with progressive maximum depth for parsimony and interpretability |
| US11561986B1 (en) * | 2018-01-17 | 2023-01-24 | Narrative Science Inc. | Applied artificial intelligence technology for narrative generation using an invocable analysis service |
| US11599927B1 (en) * | 2018-01-17 | 2023-03-07 | Amazon Technologies, Inc. | Artificial intelligence system using deep neural networks for pairwise character-level text analysis and recommendations |
| US20190258953A1 (en) * | 2018-01-23 | 2019-08-22 | Ulrich Lang | Method and system for determining policies, rules, and agent characteristics, for automating agents, and protection |
| WO2019147330A1 (en) * | 2018-01-24 | 2019-08-01 | Hrl Laboratories, Llc | System for continuous validation and protection of mobile applications |
| US11188838B2 (en) * | 2018-01-30 | 2021-11-30 | Salesforce.Com, Inc. | Dynamic access of artificial intelligence engine in a cloud computing architecture |
| US10706030B2 (en) * | 2018-01-31 | 2020-07-07 | Accenture Global Solutions Limited | Utilizing artificial intelligence to integrate data from multiple diverse sources into a data structure |
| US11257073B2 (en) * | 2018-01-31 | 2022-02-22 | Salesforce.Com, Inc. | Systems, methods, and apparatuses for implementing machine learning models for smart contracts using distributed ledger technologies in a cloud based computing environment |
| US10467527B1 (en) * | 2018-01-31 | 2019-11-05 | Pure Storage, Inc. | Method and apparatus for artificial intelligence acceleration |
| US11615331B2 (en) * | 2018-02-05 | 2023-03-28 | Accenture Global Solutions Limited | Explainable artificial intelligence |
| US10805341B2 (en) * | 2018-02-06 | 2020-10-13 | Cisco Technology, Inc. | Leveraging point inferences on HTTP transactions for HTTPS malware detection |
| US11562244B2 (en) * | 2018-02-07 | 2023-01-24 | Royal Bank Of Canada | Robust pruned neural networks via adversarial training |
| US20190251417A1 (en) * | 2018-02-12 | 2019-08-15 | Microsoft Technology Licensing, Llc | Artificial Intelligence System for Inferring Grounded Intent |
| US10706450B1 (en) * | 2018-02-14 | 2020-07-07 | Amazon Technologies, Inc. | Artificial intelligence system for generating intent-aware recommendations |
| US20210273953A1 (en) * | 2018-02-20 | 2021-09-02 | Darktrace Holdings Limited | ENDPOINT AGENT CLIENT SENSORS (cSENSORS) AND ASSOCIATED INFRASTRUCTURES FOR EXTENDING NETWORK VISIBILITY IN AN ARTIFICIAL INTELLIGENCE (AI) THREAT DEFENSE ENVIRONMENT |
| US20230007042A1 (en) * | 2018-02-20 | 2023-01-05 | Darktrace Holdings Limited | A method and system for determining and acting on an email cyber threat campaign |
| US20230095415A1 (en) * | 2018-02-20 | 2023-03-30 | Darktrace Holdings Limited | Helper agent and system |
| EP3528459B1 (en) * | 2018-02-20 | 2020-11-04 | Darktrace Limited | A cyber security appliance for an operational technology network |
| US10816978B1 (en) * | 2018-02-22 | 2020-10-27 | Msc.Software Corporation | Automated vehicle artificial intelligence training based on simulations |
| EP3756375B1 (en) * | 2018-02-25 | 2023-10-25 | Nokia Solutions and Networks Oy | Method and system for automated dynamic network slice deployment using artificial intelligence |
| US20190273509A1 (en) * | 2018-03-01 | 2019-09-05 | Crowdstrike, Inc. | Classification of source data by neural network processing |
| US20190273510A1 (en) * | 2018-03-01 | 2019-09-05 | Crowdstrike, Inc. | Classification of source data by neural network processing |
| US11379855B1 (en) * | 2018-03-06 | 2022-07-05 | Wells Fargo Bank, N.A. | Systems and methods for prioritizing fraud cases using artificial intelligence |
| US10909604B1 (en) * | 2018-03-07 | 2021-02-02 | Amazon Technologies, Inc. | Artificial intelligence system for automated selection and presentation of informational content |
| US10140553B1 (en) * | 2018-03-08 | 2018-11-27 | Capital One Services, Llc | Machine learning artificial intelligence system for identifying vehicles |
| US10747962B1 (en) * | 2018-03-12 | 2020-08-18 | Amazon Technologies, Inc. | Artificial intelligence system using phrase tables to evaluate and improve neural network based machine translation |
| JP6892404B2 (ja) * | 2018-03-15 | 2021-06-23 | 株式会社鷺宮製作所 | 圧力センサ |
| US11429862B2 (en) * | 2018-03-20 | 2022-08-30 | Sri International | Dynamic adaptation of deep neural networks |
| RU2695489C1 (ru) * | 2018-03-23 | 2019-07-23 | Общество с ограниченной ответственностью "Аби Продакшн" | Идентификация полей на изображении с использованием искусственного интеллекта |
| US20190302766A1 (en) * | 2018-03-28 | 2019-10-03 | Micron Technology, Inc. | Black Box Data Recorder with Artificial Intelligence Processor in Autonomous Driving Vehicle |
| US10650211B2 (en) * | 2018-03-28 | 2020-05-12 | Datalogic IP Tech, S.r.l. | Artificial intelligence-based machine readable symbol reader |
| US11210836B2 (en) * | 2018-04-03 | 2021-12-28 | Sri International | Applying artificial intelligence to generate motion information |
| US11245726B1 (en) * | 2018-04-04 | 2022-02-08 | NortonLifeLock Inc. | Systems and methods for customizing security alert reports |
| US11373257B1 (en) * | 2018-04-06 | 2022-06-28 | Corelogic Solutions, Llc | Artificial intelligence-based property data linking system |
| US11604937B2 (en) * | 2018-04-09 | 2023-03-14 | Kåre L. Andersson | Systems and methods for adaptive data processing associated with complex dynamics |
| US10816980B2 (en) * | 2018-04-09 | 2020-10-27 | Diveplane Corporation | Analyzing data for inclusion in computer-based reasoning models |
| US20190310592A1 (en) * | 2018-04-09 | 2019-10-10 | Diveplane Corporation | Computer based reasoning and artificial intelligence systems |
| US10816981B2 (en) * | 2018-04-09 | 2020-10-27 | Diveplane Corporation | Feature analysis in computer-based reasoning models |
| US20190318219A1 (en) * | 2018-04-11 | 2019-10-17 | International Business Machines Corporation | Personalized artificial intelligence interactions and customized responses of a computer system |
| US11416740B2 (en) * | 2018-04-13 | 2022-08-16 | Adtran, Inc. | Artificial intelligence optimized telecommunications systems |
| US11132444B2 (en) * | 2018-04-16 | 2021-09-28 | International Business Machines Corporation | Using gradients to detect backdoors in neural networks |
| US11568979B1 (en) * | 2018-04-18 | 2023-01-31 | Federal Leadership Institute, Inc. | Adaptive artificial intelligence system for identifying behaviors associated with mental illness and modifying treatment plans based on emergent recognition of aberrant reactions |
| US11514354B2 (en) * | 2018-04-20 | 2022-11-29 | Accenture Global Solutions Limited | Artificial intelligence based performance prediction system |
| US11341277B2 (en) * | 2018-04-20 | 2022-05-24 | Nec Corporation | Method and system for securing machine learning models |
| US20190325528A1 (en) * | 2018-04-24 | 2019-10-24 | Brighterion, Inc. | Increasing performance in anti-money laundering transaction monitoring using artificial intelligence |
| US20190332892A1 (en) * | 2018-04-25 | 2019-10-31 | General Electric Company | Data intelligence driven artificial intelligence model generation and consumption |
| US11010848B1 (en) * | 2018-04-25 | 2021-05-18 | Michele Colucci | Predicting legal matter outcome using artificial intelligence |
| US11494200B2 (en) * | 2018-05-02 | 2022-11-08 | Microsoft Technology Licensing, Llc. | Configuring an electronic device using artificial intelligence |
| US11727289B2 (en) * | 2018-05-04 | 2023-08-15 | International Business Machines Corporation | Iterative generation of top quality plans in automated plan generation for artificial intelligence applications and the like |
| US10742605B2 (en) * | 2018-05-08 | 2020-08-11 | International Business Machines Corporation | Context-based firewall for learning artificial intelligence entities |
| US11610165B2 (en) * | 2018-05-09 | 2023-03-21 | Volvo Car Corporation | Method and system for orchestrating multi-party services using semi-cooperative nash equilibrium based on artificial intelligence, neural network models,reinforcement learning and finite-state automata |
| EP3779966A4 (en) * | 2018-05-10 | 2021-11-17 | Llsollu Co., Ltd. | ARTIFICIAL INTELLIGENCE SERVICE PROCESS AND ASSOCIATED DEVICE |
| US10783375B2 (en) * | 2018-05-10 | 2020-09-22 | Apptarix Mobility Solutions Pvt Ltd | System and method for grouping independent machine learnt artificial intelligence to generate collective “machine wisdom” to obtain higher accuracy in identification of tags, objects and actions in a video |
| US11455493B2 (en) * | 2018-05-16 | 2022-09-27 | International Business Machines Corporation | Explanations for artificial intelligence based recommendations |
| US11399779B2 (en) * | 2018-05-16 | 2022-08-02 | Case Western Reserve University | System-independent quantitative perfusion imaging |
| US10839215B2 (en) * | 2018-05-21 | 2020-11-17 | Electronic Arts Inc. | Artificial intelligence for emulating human playstyles |
| US11429654B2 (en) * | 2018-05-21 | 2022-08-30 | Microsoft Technology Licensing, Llc | Exercising artificial intelligence by refining model output |
| US11443201B2 (en) * | 2018-05-21 | 2022-09-13 | Siemens Healthcare Gmbh | Artificial intelligence-based self-learning in medical imaging |
| US10929456B2 (en) * | 2018-05-21 | 2021-02-23 | Microsoft Technology Licensing, Llc | Indexing refined output of artificial intelligence models |
| US20190362645A1 (en) * | 2018-05-25 | 2019-11-28 | Open Text Corporation | Artificial Intelligence Based Data Processing System for Automatic Setting of Controls in an Evaluation Operator Interface |
| US11222138B2 (en) * | 2018-05-29 | 2022-01-11 | Visa International Service Association | Privacy-preserving machine learning in the three-server model |
| US11049594B2 (en) * | 2018-05-29 | 2021-06-29 | RevvPro Inc. | Computer-implemented system and method of facilitating artificial intelligence based revenue cycle management in healthcare |
| US10642869B2 (en) * | 2018-05-29 | 2020-05-05 | Accenture Global Solutions Limited | Centralized data reconciliation using artificial intelligence mechanisms |
| US10896214B2 (en) * | 2018-06-01 | 2021-01-19 | Accenture Global Solutions Limited | Artificial intelligence based-document processing |
| US11500904B2 (en) * | 2018-06-05 | 2022-11-15 | Amazon Technologies, Inc. | Local data classification based on a remote service interface |
| US11443058B2 (en) * | 2018-06-05 | 2022-09-13 | Amazon Technologies, Inc. | Processing requests at a remote service to implement local data classification |
| US11775857B2 (en) * | 2018-06-05 | 2023-10-03 | Wipro Limited | Method and system for tracing a learning source of an explainable artificial intelligence model |
| WO2019236125A1 (en) * | 2018-06-06 | 2019-12-12 | EmbodyVR, Inc. | Automated versioning and evaluation of machine learning workflows |
| US10542046B2 (en) * | 2018-06-07 | 2020-01-21 | Unifyvault LLC | Systems and methods for blockchain security data intelligence |
| US10282553B1 (en) * | 2018-06-11 | 2019-05-07 | Grey Market Labs, PBC | Systems and methods for controlling data exposure using artificial-intelligence-based modeling |
| US10306059B1 (en) * | 2018-06-11 | 2019-05-28 | Motorola Solutions, Inc. | System and method for artificial intelligence on hold call handling |
| US20230208869A1 (en) * | 2018-06-12 | 2023-06-29 | Akitra, Inc. | Generative artificial intelligence method and system configured to provide outputs for company compliance |
| US10771489B1 (en) * | 2018-06-12 | 2020-09-08 | Akitra, Inc. | Artificial intelligence method and system for detecting anomalies in a computer network |
| US10811139B1 (en) * | 2018-06-13 | 2020-10-20 | Clarify Health Solutions, Inc. | Computer network architecture with machine learning and artificial intelligence and dynamic patient guidance |
| US11875230B1 (en) * | 2018-06-14 | 2024-01-16 | Amazon Technologies, Inc. | Artificial intelligence system with intuitive interactive interfaces for guided labeling of training data for machine learning models |
| US20190385090A1 (en) * | 2018-06-14 | 2019-12-19 | Honeywell International Inc. | Systems and methods for using artificial intelligence models to identify a current threat scenario |
| US11868436B1 (en) * | 2018-06-14 | 2024-01-09 | Amazon Technologies, Inc. | Artificial intelligence system for efficient interactive training of machine learning models |
| US11120364B1 (en) * | 2018-06-14 | 2021-09-14 | Amazon Technologies, Inc. | Artificial intelligence system with customizable training progress visualization and automated recommendations for rapid interactive development of machine learning models |
| US10725827B2 (en) * | 2018-06-14 | 2020-07-28 | Accenture Global Solutions Limited | Artificial intelligence based virtual automated assistance |
| US11119630B1 (en) * | 2018-06-19 | 2021-09-14 | Palantir Technologies Inc. | Artificial intelligence assisted evaluations and user interface for same |
| US20190391901A1 (en) * | 2018-06-20 | 2019-12-26 | Ca, Inc. | Adaptive baselining and filtering for anomaly analysis |
| US11361211B2 (en) * | 2018-06-20 | 2022-06-14 | Accenture Global Solutions Limited | Artificial intelligence (AI) based chatbot creation and communication system |
| US11373117B1 (en) * | 2018-06-22 | 2022-06-28 | Amazon Technologies, Inc. | Artificial intelligence service for scalable classification using features of unlabeled data and class descriptors |
| US10853459B2 (en) * | 2018-06-26 | 2020-12-01 | Callsign Inc. | Verification request authentication machine |
| US20200004890A1 (en) * | 2018-06-27 | 2020-01-02 | Microsoft Technology Licensing, Llc | Personalized artificial intelligence and natural language models based upon user-defined semantic context and activities |
| US11244222B2 (en) * | 2018-06-27 | 2022-02-08 | Sony Corporation | Artificial intelligence-enabled device for network connectivity independent delivery of consumable information |
| US11030200B2 (en) * | 2018-06-27 | 2021-06-08 | Coupa Software Incorporated | Integration of artificial intelligence-based data classification processes with a procurement system to relativize an entity score |
| US11138520B2 (en) * | 2018-06-28 | 2021-10-05 | International Business Machines Corporation | Ranking and updating machine learning models based on data inputs at edge nodes |
| US20200005117A1 (en) * | 2018-06-28 | 2020-01-02 | Microsoft Technology Licensing, Llc | Artificial intelligence assisted content authoring for automated agents |
| US10628546B1 (en) * | 2018-06-29 | 2020-04-21 | Cadence Design Systems, Inc. | Method and system for automatically extracting layout design patterns for custom layout design reuse through interactive recommendations |
| US10699051B1 (en) * | 2018-06-29 | 2020-06-30 | Cadence Design Systems, Inc. | Method and system for performing cross-validation for model-based layout recommendations |
| US11500477B2 (en) * | 2018-07-02 | 2022-11-15 | Google Llc | Systems and methods for interacting and interfacing with an artificial intelligence system |
| US11087770B2 (en) * | 2018-07-03 | 2021-08-10 | American Express Travel Related Services Company, Inc. | Dispute initiation using artificial intelligence |
| US11636377B1 (en) * | 2018-07-03 | 2023-04-25 | Amazon Technologies, Inc. | Artificial intelligence system incorporating automatic model updates based on change point detection using time series decomposing and clustering |
| US11651271B1 (en) * | 2018-07-03 | 2023-05-16 | Amazon Technologies, Inc. | Artificial intelligence system incorporating automatic model updates based on change point detection using likelihood ratios |
| US11196746B2 (en) * | 2018-07-04 | 2021-12-07 | Microsoft Technology Licensing, Llc | Whitelisting of trusted accessors to restricted web pages |
| US10733292B2 (en) * | 2018-07-10 | 2020-08-04 | International Business Machines Corporation | Defending against model inversion attacks on neural networks |
| US11689566B2 (en) * | 2018-07-10 | 2023-06-27 | International Business Machines Corporation | Detecting and mitigating poison attacks using data provenance |
| US10887640B2 (en) * | 2018-07-11 | 2021-01-05 | Adobe Inc. | Utilizing artificial intelligence to generate enhanced digital content and improve digital content campaign design |
| EP3594666A1 (en) * | 2018-07-12 | 2020-01-15 | Aibi Dynamics Co., Ltd. | Artificial intelligence-based leather inspection method and leather product production method |
| US20190050564A1 (en) * | 2018-07-12 | 2019-02-14 | Intel Corporation | Protection for inference engine against model retrieval attack |
| US10839618B2 (en) * | 2018-07-12 | 2020-11-17 | Honda Motor Co., Ltd. | Applied artificial intelligence for natural language processing automotive reporting system |
| US10878388B2 (en) * | 2018-07-12 | 2020-12-29 | Visionx, Llc | Systems and methods for artificial-intelligence-based automated surface inspection |
| US11562304B2 (en) * | 2018-07-13 | 2023-01-24 | Accenture Global Solutions Limited | Preventative diagnosis prediction and solution determination of future event using internet of things and artificial intelligence |
| US20200027554A1 (en) * | 2018-07-18 | 2020-01-23 | International Business Machines Corporation | Simulating Patients for Developing Artificial Intelligence Based Medical Solutions |
| US20200027530A1 (en) * | 2018-07-18 | 2020-01-23 | International Business Machines Corporation | Simulating Patients for Developing Artificial Intelligence Based Medical Solutions |
| US11797866B2 (en) * | 2018-07-18 | 2023-10-24 | Salesforce.Com, Inc. | Systems and methods for accelerating execution of processes based on artificial intelligence (AI) prediction of blockchain consensus |
| US20200028885A1 (en) * | 2018-07-23 | 2020-01-23 | International Business Machines Corporation | Artificial intelligence for providing enhanced microblog message insertion |
| US11651043B2 (en) * | 2018-07-24 | 2023-05-16 | MachEye, Inc. | Leveraging analytics across disparate computing devices |
| US20200073475A1 (en) * | 2018-07-25 | 2020-03-05 | Christopher Keane | Artificial intelligence assisted neurofeedback brain wave training techniques, systems, and methods |
| US10777200B2 (en) * | 2018-07-27 | 2020-09-15 | International Business Machines Corporation | Artificial intelligence for mitigating effects of long-term cognitive conditions on patient interactions |
| US20200042888A1 (en) * | 2018-07-31 | 2020-02-06 | Gyrfalcon Technology Inc. | Self-sufficient artificial intelligence edge devices |
| US11164093B1 (en) * | 2018-08-03 | 2021-11-02 | Amazon Technologies, Inc. | Artificial intelligence system incorporating automatic model switching based on model parameter confidence sets |
| US20200042643A1 (en) * | 2018-08-06 | 2020-02-06 | International Business Machines Corporation | Heuristic q&a system |
| US10708363B2 (en) * | 2018-08-10 | 2020-07-07 | Futurewei Technologies, Inc. | Artificial intelligence based hierarchical service awareness engine |
| US11015576B2 (en) * | 2018-08-13 | 2021-05-25 | Inventus Holdings, Llc | Wind turbine control system including an artificial intelligence ensemble engine |
| US11763950B1 (en) * | 2018-08-16 | 2023-09-19 | Clarify Health Solutions, Inc. | Computer network architecture with machine learning and artificial intelligence and patient risk scoring |
| JP7216190B2 (ja) * | 2018-08-20 | 2023-01-31 | シーメンス アクチエンゲゼルシヤフト | プログラマブルロジックコントローラベースの人工知能用モジュール式アクセラレーションモジュール |
| US11531914B2 (en) * | 2018-08-20 | 2022-12-20 | Accenture Global Solutions Limited | Artificial intelligence (AI) based automatic rule generation |
| US10846678B2 (en) * | 2018-08-21 | 2020-11-24 | Sensormatic Electronics, LLC | Self-service product return using computer vision and Artificial Intelligence |
| US20200067851A1 (en) * | 2018-08-21 | 2020-02-27 | Argela Yazilim ve Bilisim Teknolojileri San. ve Tic. A.S. | Smart software-defined network (sdn) switch |
| CN112424713A (zh) * | 2018-08-23 | 2021-02-26 | 西门子股份公司 | 人工智能计算设备、控制方法及装置、工程师站及工业自动化*** |
| US11363031B2 (en) * | 2018-08-27 | 2022-06-14 | Ciena Corporation | Network architecture providing device identification and redirection using whitelisting traffic classification |
| US10956310B2 (en) * | 2018-08-30 | 2021-03-23 | International Business Machines Corporation | Automated test case generation for deep neural networks and other model-based artificial intelligence systems |
| US11734328B2 (en) * | 2018-08-31 | 2023-08-22 | Accenture Global Solutions Limited | Artificial intelligence based corpus enrichment for knowledge population and query response |
| US10901787B2 (en) * | 2018-08-31 | 2021-01-26 | Accenture Global Solutions Limited | Artificial intelligence (AI) based resource identification |
| US20200082293A1 (en) * | 2018-09-06 | 2020-03-12 | Every Life Works, LLC | Party-specific environmental interface with artificial intelligence (ai) |
| US11816575B2 (en) * | 2018-09-07 | 2023-11-14 | International Business Machines Corporation | Verifiable deep learning training service |
| US10706347B2 (en) * | 2018-09-17 | 2020-07-07 | Intel Corporation | Apparatus and methods for generating context-aware artificial intelligence characters |
| US11095621B2 (en) * | 2018-09-18 | 2021-08-17 | International Business Machines Corporation | Selective cognitive security for communication data |
| US20220050897A1 (en) * | 2018-09-18 | 2022-02-17 | Visa International Service Association | Microservice adaptive security hardening |
| US10694872B2 (en) * | 2018-09-19 | 2020-06-30 | Sensormatic Electronics, LLC | Point of sale artificial intelligence quality determination system |
| KR20200036085A (ko) * | 2018-09-19 | 2020-04-07 | 엘지전자 주식회사 | 인공지능 장치 |
| KR102128549B1 (ko) * | 2018-09-19 | 2020-07-08 | 주식회사 포티투마루 | 인공 지능 질의 응답 시스템, 방법 및 컴퓨터 프로그램 |
| US20200098030A1 (en) * | 2018-09-24 | 2020-03-26 | Salesforce.Com, Inc. | Inventory-assisted artificial intelligence recommendation engine |
| US11030203B2 (en) * | 2018-09-25 | 2021-06-08 | Sap Se | Machine learning detection of database injection attacks |
| US20200097582A1 (en) * | 2018-09-26 | 2020-03-26 | Ca, Inc. | Managing access to removable storage media using artificial intelligence |
| US11380443B2 (en) * | 2018-09-27 | 2022-07-05 | International Business Machines Corporation | Predicting non-communicable disease with infectious risk factors using artificial intelligence |
| US11354539B2 (en) * | 2018-09-27 | 2022-06-07 | International Business Machines Corporation | Encrypted data model verification |
| US10864638B2 (en) * | 2018-09-27 | 2020-12-15 | Logistics and Supply Chain MultiTech R&D Centre Limited | Reinforcement bar joint recognition using artificial intelligence vision |
| US11170335B2 (en) * | 2018-09-28 | 2021-11-09 | Accenture Global Solutions Limited | Adaptive artificial intelligence for user training and task management |
| US10942562B2 (en) * | 2018-09-28 | 2021-03-09 | Intel Corporation | Methods and apparatus to manage operation of variable-state computing devices using artificial intelligence |
| US11475053B1 (en) * | 2018-09-28 | 2022-10-18 | Splunk Inc. | Providing completion recommendations for a partial natural language request received by a natural language processing system |
| US10943101B2 (en) * | 2018-09-28 | 2021-03-09 | Accenture Global Solutions Limited | Target recognition and verification using image processing techniques and/or artifical intelligence |
| US11017764B1 (en) * | 2018-09-28 | 2021-05-25 | Splunk Inc. | Predicting follow-on requests to a natural language request received by a natural language processing system |
| US11762451B2 (en) * | 2018-09-29 | 2023-09-19 | Intel Corporation | Methods and apparatus to add common sense reasoning to artificial intelligence in the context of human machine interfaces |
| US20200111096A1 (en) * | 2018-10-04 | 2020-04-09 | Capital One Services, Llc | Artificial intelligence-based system and method |
| US10482554B1 (en) * | 2018-10-05 | 2019-11-19 | Capital One Services, Llc | Digital negotiation platform |
| US10783068B2 (en) * | 2018-10-11 | 2020-09-22 | International Business Machines Corporation | Generating representative unstructured data to test artificial intelligence services for bias |
| US10805343B2 (en) * | 2018-10-22 | 2020-10-13 | Booz Allen Hamilton Inc. | Network security using artificial intelligence and high speed computing |
| US10616343B1 (en) * | 2018-10-22 | 2020-04-07 | Motorola Mobility Llc | Center console unit and corresponding systems and methods |
| US11449986B2 (en) * | 2018-10-23 | 2022-09-20 | International Business Machines Corporation | Enhancing medical imaging workflows using artificial intelligence |
| US11010472B1 (en) * | 2018-10-23 | 2021-05-18 | Architecture Technology Corporation | Systems and methods for signature-less endpoint protection against zero-day malware attacks |
| US20200381131A1 (en) * | 2018-10-30 | 2020-12-03 | Chakravarthy Toleti | System and method for healthcare compliance |
| US11188797B2 (en) * | 2018-10-30 | 2021-11-30 | International Business Machines Corporation | Implementing artificial intelligence agents to perform machine learning tasks using predictive analytics to leverage ensemble policies for maximizing long-term returns |
| US10833010B2 (en) * | 2018-10-31 | 2020-11-10 | International Business Machines Corporation | Integration of artificial intelligence devices |
| US11663501B2 (en) * | 2018-11-01 | 2023-05-30 | American Express Travel Related Services Company, Inc. | Information support system using artificial intelligence |
| US11100222B2 (en) * | 2018-11-05 | 2021-08-24 | Nxp B.V. | Method for hardening a machine learning model against extraction |
| US10576380B1 (en) * | 2018-11-05 | 2020-03-03 | Sony Interactive Entertainment LLC | Artificial intelligence (AI) model training using cloud gaming network |
| US20200143274A1 (en) * | 2018-11-06 | 2020-05-07 | Kira Inc. | System and method for applying artificial intelligence techniques to respond to multiple choice questions |
| US10380613B1 (en) * | 2018-11-07 | 2019-08-13 | Capital One Services, Llc | System and method for analyzing cryptocurrency-related information using artificial intelligence |
| US10742813B2 (en) * | 2018-11-08 | 2020-08-11 | N3, Llc | Semantic artificial intelligence agent |
| US20200151821A1 (en) * | 2018-11-13 | 2020-05-14 | Bank Of America Corporation | Smart reserve system (srs) for use with a data-driven, artificial-intelligence-informed, transaction ecosystem |
| US10825446B2 (en) * | 2018-11-14 | 2020-11-03 | International Business Machines Corporation | Training artificial intelligence to respond to user utterances |
| US11120791B2 (en) * | 2018-11-15 | 2021-09-14 | International Business Machines Corporation | Collaborative artificial intelligence (AI) voice response system control for authorizing a command associated with a calendar event |
| US11036857B2 (en) * | 2018-11-15 | 2021-06-15 | International Business Machines Corporation | Protecting a machine learning model |
| US10755412B2 (en) * | 2018-11-20 | 2020-08-25 | International Business Machines Corporation | Automated patient complexity classification for artificial intelligence tools |
| US11288414B2 (en) * | 2018-11-20 | 2022-03-29 | The Boeing Company | Artificial intelligence-based manufacturing part design |
| US11277430B2 (en) * | 2018-11-23 | 2022-03-15 | Booz Allen Hamilton Inc. | System and method for securing a network |
| US10381006B1 (en) * | 2018-11-26 | 2019-08-13 | Accenture Global Solutions Limited | Dialog management system for using multiple artificial intelligence service providers |
| US10970322B2 (en) * | 2018-11-26 | 2021-04-06 | International Business Machines Corporation | Training an artificial intelligence to generate an answer to a query based on an answer table pattern |
| US10341430B1 (en) * | 2018-11-27 | 2019-07-02 | Sailpoint Technologies, Inc. | System and method for peer group detection, visualization and analysis in identity management artificial intelligence systems using cluster based analysis of network identity graphs |
| US11301535B2 (en) * | 2018-11-29 | 2022-04-12 | Sap Se | Systems and methods for determining a geographic location |
| US11250159B2 (en) * | 2018-11-29 | 2022-02-15 | International Business Machines Corporation | Secure data monitoring utilizing secure private set intersection |
| DE102018220711A1 (de) * | 2018-11-30 | 2020-06-04 | Robert Bosch Gmbh | Messung der Anfälligkeit von KI-Modulen gegen Täuschungsversuche |
| US11250387B2 (en) * | 2018-11-30 | 2022-02-15 | Microsoft Technology Licensing, Llc | Sentence attention modeling for event scheduling via artificial intelligence and digital assistants |
| US11244050B2 (en) * | 2018-12-03 | 2022-02-08 | Mayachitra, Inc. | Malware classification and detection using audio descriptors |
| US10984490B2 (en) * | 2018-12-07 | 2021-04-20 | Lehr Holdings, Inc. | Artificial intelligence real estate platform |
| US11171929B2 (en) * | 2018-12-17 | 2021-11-09 | International Business Machines Corporation | Applying differential security to API message payload data elements |
| US11824870B2 (en) * | 2018-12-19 | 2023-11-21 | Abnormal Security Corporation | Threat detection platforms for detecting, characterizing, and remediating email-based threats in real time |
| US11050793B2 (en) * | 2018-12-19 | 2021-06-29 | Abnormal Security Corporation | Retrospective learning of communication patterns by machine learning models for discovering abnormal behavior |
| US11431738B2 (en) * | 2018-12-19 | 2022-08-30 | Abnormal Security Corporation | Multistage analysis of emails to identify security threats |
| US11113653B2 (en) * | 2018-12-26 | 2021-09-07 | Accenture Global Solutions Limited | Artificial intelligence and machine learning based incident management |
| US11188643B2 (en) * | 2018-12-27 | 2021-11-30 | Intel Corporation | Methods and apparatus for detecting a side channel attack using hardware performance counters |
| US20190138719A1 (en) * | 2018-12-27 | 2019-05-09 | Salmin Sultana | Methods and apparatus for detecting a side channel attack using a cache state |
| US11824732B2 (en) * | 2018-12-28 | 2023-11-21 | Intel Corporation | Techniques for artificial intelligence capabilities at a network switch |
| US11170055B2 (en) * | 2018-12-28 | 2021-11-09 | Open Text Sa Ulc | Artificial intelligence augmented document capture and processing systems and methods |
| US10986121B2 (en) * | 2019-01-24 | 2021-04-20 | Darktrace Limited | Multivariate network structure anomaly detector |
| US11470110B2 (en) * | 2019-02-08 | 2022-10-11 | Imperva, Inc. | Identifying and classifying community attacks |
| US11637864B2 (en) * | 2019-02-13 | 2023-04-25 | Radware Ltd. | Hardening of cloud security policies |
| US11227215B2 (en) * | 2019-03-08 | 2022-01-18 | International Business Machines Corporation | Quantifying vulnerabilities of deep learning computing systems to adversarial perturbations |
| US11550908B2 (en) * | 2019-03-15 | 2023-01-10 | Paul J Long | Method and apparatus for producing a machine learning system for malware prediction in low complexity sensor networks |
| US11457031B1 (en) * | 2019-03-27 | 2022-09-27 | Akitra, Inc. | Apparatus having engine using artificial intelligence for detecting bot anomalies in a computer network |
| US11755726B2 (en) * | 2019-04-05 | 2023-09-12 | Zscaler, Inc. | Utilizing machine learning for smart quarantining of potentially malicious files |
| US11669779B2 (en) * | 2019-04-05 | 2023-06-06 | Zscaler, Inc. | Prudent ensemble models in machine learning with high precision for use in network security |
| US11475368B2 (en) * | 2019-04-05 | 2022-10-18 | Zscaler, Inc. | Machine learning model abstraction layer for runtime efficiency |
| US11636380B2 (en) * | 2019-04-09 | 2023-04-25 | Nxp B.V. | Method for protecting a machine learning model against extraction using an ensemble of a plurality of machine learning models |
| US20200336507A1 (en) * | 2019-04-17 | 2020-10-22 | Sew, Inc. | Generative attack instrumentation for penetration testing |
| US11973771B2 (en) * | 2019-04-26 | 2024-04-30 | The Trustees Of Princeton University | System and method for security in Internet-of-Things and cyber-physical systems based on machine learning |
| US11526610B2 (en) * | 2019-05-21 | 2022-12-13 | Veracode, Inc. | Peer-to-peer network for blockchain security |
| US20210027306A1 (en) * | 2019-07-23 | 2021-01-28 | Cisco Technology, Inc. | System to automatically find, classify, and take actions against counterfeit products and/or fake assets online |
| US20210037040A1 (en) * | 2019-07-29 | 2021-02-04 | The Toronto-Dominion Bank | Intelligent security automation and continuous verification and response platform |
| US20220360597A1 (en) * | 2019-08-29 | 2022-11-10 | Darktrace Holdings Limited | Cyber security system utilizing interactions between detected and hypothesize cyber-incidents |
| US12034767B2 (en) * | 2019-08-29 | 2024-07-09 | Darktrace Holdings Limited | Artificial intelligence adversary red team |
| US11681796B2 (en) * | 2019-09-10 | 2023-06-20 | International Business Machines Corporation | Learning input preprocessing to harden machine learning models |
| US11902318B2 (en) * | 2019-10-10 | 2024-02-13 | Alliance For Sustainable Energy, Llc | Network visualization, intrusion detection, and network healing |
| US11334671B2 (en) * | 2019-10-14 | 2022-05-17 | International Business Machines Corporation | Adding adversarial robustness to trained machine learning models |
| US11411992B2 (en) * | 2019-11-07 | 2022-08-09 | Mcafee, Llc | Visual detection of phishing websites via headless browser |
| WO2021118788A1 (en) * | 2019-11-20 | 2021-06-17 | University Of Tennessee Research Foundation | Methods of detecting anomalous operation of industrial systems and respective control systems, and related systems and articles of manufacture |
| US11501101B1 (en) * | 2019-12-16 | 2022-11-15 | NTT DATA Services, LLC | Systems and methods for securing machine learning models |
| US11423145B2 (en) * | 2019-12-26 | 2022-08-23 | Intel Corporation | Methods and arrangements for multi-layer in-vehicle network intrusion detection and characterization |
| US11483318B2 (en) * | 2020-01-07 | 2022-10-25 | International Business Machines Corporation | Providing network security through autonomous simulated environments |
| US11544527B2 (en) * | 2020-02-06 | 2023-01-03 | International Business Machines Corporation | Fuzzy cyber detection pattern matching |
| US10970188B1 (en) * | 2020-02-11 | 2021-04-06 | HoxHunt Oy | System for improving cybersecurity and a method therefor |
| EP3865558A1 (en) * | 2020-02-14 | 2021-08-18 | BASF Corporation | Process for the hydrogenation of hydrocarbon resins using catalysts with protective coatings |
| US20210273973A1 (en) * | 2020-02-28 | 2021-09-02 | Darktrace Holdings Limited | SOFTWARE AS A SERVICE (SaaS) USER INTERFACE (UI) FOR DISPLAYING USER ACTIVITIES IN AN ARTIFICIAL INTELLIGENCE (AI)-BASED CYBER THREAT DEFENSE SYSTEM |
| JP2023524619A (ja) * | 2020-02-28 | 2023-06-13 | ダークトレース ホールディングス リミテッド | 関心度に基づいてデータ・フローを異なって取り扱うこと |
| WO2021171090A1 (en) * | 2020-02-28 | 2021-09-02 | Darktrace, Inc. | An artificial intelligence adversary red team |
| US11483319B2 (en) * | 2020-03-05 | 2022-10-25 | International Business Machines Corporation | Security model |
| US11783025B2 (en) * | 2020-03-12 | 2023-10-10 | International Business Machines Corporation | Training diverse and robust ensembles of artificial intelligence computer models |
| US11568249B2 (en) * | 2020-04-07 | 2023-01-31 | International Business Machines Corporation | Automated decision making for neural architecture search |
| US11720686B1 (en) * | 2020-04-08 | 2023-08-08 | Wells Fargo Bank, N.A. | Security model utilizing multi-channel data with risk-entity facing cybersecurity alert engine and portal |
| US11558403B2 (en) * | 2020-05-06 | 2023-01-17 | International Business Machines Corporation | Quantum computing machine learning for security threats |
| US11416608B2 (en) * | 2020-05-29 | 2022-08-16 | Microsoft Technology Licensing, Llc | Layered analysis for network security risk detection |
| US11785022B2 (en) * | 2020-06-16 | 2023-10-10 | Zscaler, Inc. | Building a Machine Learning model without compromising data privacy |
| US11663486B2 (en) * | 2020-06-23 | 2023-05-30 | International Business Machines Corporation | Intelligent learning system with noisy label data |
| US20220069990A1 (en) * | 2020-06-23 | 2022-03-03 | Clemson University | Physical unclonable function from an integrated photonic interferometer |
| US20220006830A1 (en) * | 2020-07-02 | 2022-01-06 | Proofpoint, Inc. | Modeling Simulated Cybersecurity Attack Difficulty |
| US20220035961A1 (en) * | 2020-08-03 | 2022-02-03 | Ut-Battelle, Llc | System and method for artifact reduction of computed tomography reconstruction leveraging artificial intelligence and a priori known model for the object of interest |
| US11425151B2 (en) * | 2020-08-05 | 2022-08-23 | Paypal, Inc. | Client-side attack detection via simulation |
| US11722510B2 (en) * | 2020-08-10 | 2023-08-08 | Bank Of America Corporation | Monitoring and preventing remote user automated cyber attacks |
| US12001553B2 (en) * | 2020-08-20 | 2024-06-04 | Red Bend Ltd. | Detecting vehicle malfunctions and cyber attacks using machine learning |
| US11803641B2 (en) * | 2020-09-11 | 2023-10-31 | Zscaler, Inc. | Utilizing Machine Learning to detect malicious executable files efficiently and effectively |
| US11420296B2 (en) * | 2020-09-17 | 2022-08-23 | Te-Fu FANG | Welding filler wire for fusion welding precipitation-hardened austenitic Fe—Mn—Al—C alloys |
| US20220092464A1 (en) * | 2020-09-23 | 2022-03-24 | International Business Machines Corporation | Accelerated machine learning |
| US11824900B2 (en) * | 2020-10-23 | 2023-11-21 | Bank Of America Corporation | Artificial intelligence security configuration engine |
| US20220129712A1 (en) * | 2020-10-27 | 2022-04-28 | Raytheon Company | Deep neural network hardener |
| CN116348969A (zh) * | 2020-10-30 | 2023-06-27 | 矢崎总业株式会社 | 铝-碳金属基质复合材料磁导线 |
| WO2022103689A1 (en) * | 2020-11-10 | 2022-05-19 | Genentech, Inc. | Service orchestration within a distributed pod based system |
| US11770404B2 (en) * | 2020-11-10 | 2023-09-26 | Domain Tools, LLC | Enhanced neutral domain data selection for cybersecurity machine learning applications |
| US20220179990A1 (en) * | 2020-12-03 | 2022-06-09 | International Business Machines Corporation | Federated private adversarial training |
| US11893005B2 (en) * | 2021-01-08 | 2024-02-06 | Blackberry Limited | Anomaly detection based on an event tree |
| US20220300788A1 (en) * | 2021-03-19 | 2022-09-22 | Qualcomm Incorporated | Efficient compression of activation functions |
| JP7483654B2 (ja) * | 2021-04-06 | 2024-05-15 | 富士フイルムヘルスケア株式会社 | 医用画像処理装置および医用画像処理方法 |
| US20230012220A1 (en) * | 2021-07-07 | 2023-01-12 | Darktrace Holdings Limited | Method for determining likely malicious behavior based on abnormal behavior pattern comparison |
| US11415425B1 (en) * | 2021-09-14 | 2022-08-16 | Akitra Inc. | Apparatus having engine using artificial intelligence for detecting behavior anomalies in a computer network |
| US20230169176A1 (en) * | 2021-11-28 | 2023-06-01 | International Business Machines Corporation | Graph exploration framework for adversarial example generation |
| US20230205891A1 (en) * | 2021-12-28 | 2023-06-29 | SecureX.AI, Inc. | Systems and methods for prioritizing security findings using machine learning models |
| US20230208871A1 (en) * | 2021-12-28 | 2023-06-29 | SecureX.AI, Inc. | Systems and methods for vulnerability assessment for cloud assets using imaging methods |
| US20230208870A1 (en) * | 2021-12-28 | 2023-06-29 | SecureX.AI, Inc. | Systems and methods for predictive analysis of potential attack patterns based on contextual security information |
| US20230249847A1 (en) * | 2022-02-10 | 2023-08-10 | Brian Haney | Methods and Device for Autonomous Rocketry |
| EP4227854A1 (en) * | 2022-02-11 | 2023-08-16 | Robert Bosch GmbH | Device and method for determining adversarial patches for a machine learning system |
| US20230274003A1 (en) * | 2022-02-28 | 2023-08-31 | Accenture Global Solutions Limited | Identifying and correcting vulnerabilities in machine learning models |
| US20230319099A1 (en) * | 2022-03-31 | 2023-10-05 | Sophos Limited | Fuzz testing of machine learning models to detect malicious activity on a computer |
| US20220336415A1 (en) * | 2022-07-01 | 2022-10-20 | Lai Guan Tang | Grid-based interconnect system for modular integrated circuit systems |
| US20220337251A1 (en) * | 2022-07-01 | 2022-10-20 | Ankireddy Nalamalpu | Systems and methods for modular disaggregated integrated circuit systems |
| US20230103447A1 (en) * | 2022-11-23 | 2023-04-06 | Intel Corporation | Apparatus, Device, Method, and Computer Program for Managing Memory |
-
2019
- 2019-04-23 BR BR112021010468-2A patent/BR112021010468A2/pt unknown
- 2019-04-23 KR KR1020217016452A patent/KR20210099564A/ko active Search and Examination
- 2019-04-23 WO PCT/US2019/028687 patent/WO2020142110A1/en unknown
- 2019-04-23 CN CN201980042541.1A patent/CN112334917A/zh active Pending
- 2019-04-23 EP EP19907690.2A patent/EP3906508B1/en active Active
- 2019-04-23 JP JP2021527195A patent/JP7376593B2/ja active Active
- 2019-04-23 EP EP24163021.9A patent/EP4369229A2/en active Pending
- 2019-04-23 US US17/254,235 patent/US20210319098A1/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018173890A (ja) | 2017-03-31 | 2018-11-08 | Kddi株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| JP2018173843A (ja) | 2017-03-31 | 2018-11-08 | Kddi株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| WO2018216379A1 (ja) | 2017-05-26 | 2018-11-29 | 株式会社日立国際電気 | 機械学習モデル不正検知システム及び不正検知方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3906508A4 (en) | 2022-10-19 |
| EP3906508B1 (en) | 2024-03-13 |
| BR112021010468A2 (pt) | 2021-08-24 |
| KR20210099564A (ko) | 2021-08-12 |
| US20210319098A1 (en) | 2021-10-14 |
| CN112334917A (zh) | 2021-02-05 |
| EP4369229A2 (en) | 2024-05-15 |
| EP3906508A1 (en) | 2021-11-10 |
| WO2020142110A1 (en) | 2020-07-09 |
| JP2022515711A (ja) | 2022-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7376593B2 (ja) | 人工知能を利用した安全保障システム | |
| Kok et al. | Ransomware, threat and detection techniques: A review | |
| US11163860B2 (en) | Protecting deep learning models using watermarking | |
| Sharmeen et al. | Avoiding future digital extortion through robust protection against ransomware threats using deep learning based adaptive approaches | |
| Isakov et al. | Survey of attacks and defenses on edge-deployed neural networks | |
| Saha et al. | SHARKS: Smart hacking approaches for risk scanning in Internet-of-Things and cyber-physical systems based on machine learning | |
| US11824967B2 (en) | Electronic device using homomorphic encryption and encrypted data processing method thereof | |
| US20230274003A1 (en) | Identifying and correcting vulnerabilities in machine learning models | |
| US20200007512A1 (en) | AI-powered Cyber Data Concealment and Targeted Mission Execution | |
| CN112650985A (zh) | 使用隐式数据签名人工智能水印的方法和*** | |
| Peng et al. | Intellectual property protection of DNN models | |
| Bensaoud et al. | A survey of malware detection using deep learning | |
| Nagaraju et al. | Auxiliary-classifier GAN for malware analysis | |
| Liu et al. | Two sides of the same coin: Boons and banes of machine learning in hardware security | |
| Tayyab et al. | Cryptographic based secure model on dataset for deep learning algorithms | |
| US10103890B2 (en) | Membership query method | |
| US20240048354A1 (en) | Electronic device using homomorphic encryption and encrypted data processing method thereof | |
| Lachtar et al. | Ransomshield: A visualization approach to defending mobile systems against ransomware | |
| Andrade et al. | Malware classification using word embeddings algorithms and long‐short term memory networks | |
| CN112650982A (zh) | 数据处理加速器及由数据处理加速器执行的计算机实现的方法 | |
| CN112650981A (zh) | 数据处理加速器及由数据处理加速器执行的计算机实现的方法 | |
| CN111985008A (zh) | 涉及用于检测硬件木马的电路的设备和方法 | |
| Babar et al. | Trusted Deep Neural Execution—A Survey | |
| Shen | Security of AI Hardware Systems | |
| US20220327222A1 (en) | Method and system for securing neural network models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220302 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230307 |
|
| A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20230531 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230822 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230907 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230926 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231026 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7376593 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |