JP2020154386A - 情報処理方法及び情報処理装置 - Google Patents
情報処理方法及び情報処理装置 Download PDFInfo
- Publication number
- JP2020154386A JP2020154386A JP2019049615A JP2019049615A JP2020154386A JP 2020154386 A JP2020154386 A JP 2020154386A JP 2019049615 A JP2019049615 A JP 2019049615A JP 2019049615 A JP2019049615 A JP 2019049615A JP 2020154386 A JP2020154386 A JP 2020154386A
- Authority
- JP
- Japan
- Prior art keywords
- information processing
- neural network
- network model
- input data
- processing result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
- G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
- G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
【課題】脆弱性の向上を図るCNNモデルを実現できる情報処理方法を提供することにある。【解決手段】本実施形態の情報処理方法は、プロセッサ及び当該プロセッサの演算に用いられるメモリを使用し、トレーニングにより最適化されたニューラルネットワークモデルに適用する情報処理方法であって、第1の処理と、第2の処理と、第3の処理とを実行する。第1の処理は、第1の入力データに対する前記ニューラルネットワークモデルの第1の情報処理結果を出力する。第2の処理は、前記第1の入力データに摂動を印加した第2の入力データに対する前記ニューラルネットワークモデルの第2の情報処理結果を出力する。第3の処理は、前記第1と第2の各情報処理結果の比較結果に基づいて、前記第1の入力データに対する前記ニューラルネットワークモデルの信頼性を判定する。【選択図】図2
Description
本発明の実施形態は、ニューラルネットワークモデルに適用する情報処理方法及び情報処理装置に関する。
畳み込みニューラルネットワーク(Convolutional Neural Network:CNN)は、例えば、画像認識処理に有効であるディープニューラルネットワーク(Deep Neural Network:DNN)の一種である。
ディープラーニング(deep learning:深層学習)においては、例えば、学習データ(訓練データ)として多量の画像データを使用する学習処理により、画像認識処理に適合するCNNモデルが生成される。CNNモデルは、未知画像を認識(分類)する処理を実行する、画像認識システムに適用される。
CNNモデルを適用する画像認識システムにおいて、摂動(perturbations)と呼ばれる一種のノイズが入力画像に印加されることで、当該入力画像を誤認識(誤分類)する事象が問題となることがある。特に、CNNモデルに対する敵対的な脆弱性攻撃により、画像認識システムにおいて入力画像を誤認識する事象が問題になる。この敵対的な脆弱性攻撃は、Adversarial Examples、adversarial attack、adversarial perturbations、又は、adversarial imageなどと呼ばれている。
Aleksander Madry, Aleksander Makelov, Ludwing Schmid, Dimitris Tsipras, and Adrian Vladu, "Towards Deep Learning Models Resistant to Adversarial Attacks", arXiv:1706.06083v3[stat.ML] 9 Nov 2017, [2019年1月29日検索]インターネット<URL: https:// openreview.net/forum?id=rJzIBfZAb>
Ian J. Goodfellow, Jonathon Shlens & Christian Szegedy, "EXPLAINING AND HARNNESSING ADVERSARIAL EXAMPLES", a conference paper at ICLR 2015, [2019年1月29日検索]インターネット<URL: https:// arxiv.org/abs/1412.6572>
そこで、脆弱性の向上を図るCNNモデルを実現できる情報処理方法及び情報処理装置を提供することにある。
本実施形態の情報処理方法は、プロセッサ及び当該プロセッサの演算に用いられるメモリを使用し、トレーニングにより最適化されたニューラルネットワークモデルに適用する情報処理方法であって、第1の処理と、第2の処理と、第3の処理とを実行する。第1の処理は、第1の入力データに対する前記ニューラルネットワークモデルの第1の情報処理結果を出力する。第2の処理は、前記第1の入力データに摂動を印加した第2の入力データに対する前記ニューラルネットワークモデルの第2の情報処理結果を出力する。第3の処理は、前記第1と第2の各情報処理結果の比較結果に基づいて、前記第1の入力データに対する前記ニューラルネットワークモデルの信頼性を判定する。
以下図面を参照して、実施形態を説明する。
[システムの構成]
図1は、本実施形態のシステムの構成を示すブロック図である。図1に示すように、システムは、それぞれ本実施形態の要部であるプロセッサ10、メモリ11、センサデバイス12及びアプリケーション(AP)システム13を有する。
[システムの構成]
図1は、本実施形態のシステムの構成を示すブロック図である。図1に示すように、システムは、それぞれ本実施形態の要部であるプロセッサ10、メモリ11、センサデバイス12及びアプリケーション(AP)システム13を有する。
本実施形態では、プロセッサ10は、例えばGPU(Graphic Processing Unit)やCPU(Central Processing Unit)であり、ハードウェア及びソフトウェアにより構成されている。プロセッサ10は、学習処理により最適化されたCNN(Convolutional Neural Network)モデル20を使用して、センサデバイス12からの画像データ100に対する画像認識(分類)処理を実行する。
さらに、本実施形態のプロセッサ10は、後述するように、メモリ11を使用してCNNモデル20においてAdversarial Examples(以下、AdEと表記する場合がある)による事象が発生したことを判定する機能を実現する。
ここで、AdEは、CNNモデル20に入力される画像データ(入力画像)に、摂動(perturbations)と呼ばれる一種のノイズが印加されることで、例えば、当該入力画像を誤認識(誤分類)する事象を引き起こすような敵対的な脆弱性攻撃を意味する。本実施形態によれば、当該AdEに対するトレーニング(Adversarial Training)により最適化されたCNNモデル20の脆弱性の向上を図ることが可能な仕組みを実現することができる。換言すれば、本実施形態によれば、当該AdEに対するCNNモデル20のロバスト性(robustness)の向上を図ることが可能な仕組みを実現する。
センサデバイス12は、例えば1枚単位の画像をスキャンして得られる画像データ100をプロセッサ10に出力する。APシステム13は、プロセッサ10により実行されるCNNモデル20による画像認識結果を利用し、例えば、センサデバイス12から入力される未知の画像を認識する画像認識システムである。画像認識システムは、ハードウェア及びソフトウェアから構成されるコンピュータ、サーバシステム、又はWebサービスを実行するクラウドシステムを含む。
図2は、AdEに対するCNNモデル20を実行するプロセッサ10の機能を説明するための概念図を示す。図2に示すように、プロセッサ10は、ソフトウェア機能としての、ノイズ印加部21、判定部22、第1のスイッチ部23及び第2のスイッチ部24を含む。
ノイズ印加部21は、センサデバイス12からの画像データ100に摂動を印加する。判定部22は、後述するように、CNNモデル20においてAdEにより誤認識する事象が発生したことを判定する。第1のスイッチ部23は、CNNモデル20に対して、画像データ100を入力するか否かを切り替える。第2のスイッチ部24は、CNNモデル20に対して、ノイズ印加部21からノイズ印加された画像データ110を入力するか否かを切り替える。
また、ノイズ印加部21は、センサデバイス12からの画像データ100に対して、所定の計算方法により算出された摂動を印加し、当該摂動が印加された画像データ110を出力する。ここで、摂動とは、ランダムノイズではなく、視覚的に判別できない規則性のあるノイズを意味する。以下、摂動を、単にノイズと表記することがある。
ノイズ印加部21は、所定の計算方法により、CNNモデル20からの出力120に含まれる正解ラベル(後述する)を使用してノイズを算出する。ここで、CNNモデル20は、入力画像データ100に関する入力値Xに対する認識処理を実行し、出力120に含まれる当該認識結果である出力値Yを算出する。出力値Yは、入力値Xが属するラベルに対して、例えばソフトマックス関数(softmax function)により計算される確率を表す。
出力値Yは、最大値が1、最小値が0、全ラベル合計で1となるように正規化される値であり、各ラベルに対する信頼度またはスコアに相当する。正解ラベルとは、出力120の中で、最も確率が高く、正解と認識されたラベルである。例えば、入力画像データ100がパンダに類似した画像を示す場合に、出力値Yとして最も高い確率を示すパンダのラベルを選択して正解ラベルとする。
出力値Yは、最大値が1、最小値が0、全ラベル合計で1となるように正規化される値であり、各ラベルに対する信頼度またはスコアに相当する。正解ラベルとは、出力120の中で、最も確率が高く、正解と認識されたラベルである。例えば、入力画像データ100がパンダに類似した画像を示す場合に、出力値Yとして最も高い確率を示すパンダのラベルを選択して正解ラベルとする。
ノイズ印加部21は、CNNモデル20から出力120に含まれる正解ラベルを入力する。一方、ノイズ印加部21は、センサデバイス12からの画像データ100を入力して、CNNモデル20の認識処理と同様の処理を実行する。具体的には、ノイズ印加部21は、例えば、画像データ100に対する認識結果と当該正解ラベルとを比較し、当該比較結果である差分を示す損失を算出する。
当該損失は、CNNモデル20の学習処理時におけるバックプロパゲーション(back propagation)により逆伝播される誤差に対応する。ノイズ印加部21は、CNNモデル20の誤差伝播機能に相当する機能により当該損失を誤差伝播することで、入力画像(画像データ100)のどの画素をどちらの方向に動かせば、入力画像が属するラベルの確率が増減するかを判定できる。ノイズ印加部21は、CNNモデル20において、入力画像データ100に対する正解ラベルの確率を減少させるように、当該損失に基づいてノイズを算出し、このノイズを入力画像データ100に印加した画像データ110を生成する。これにより、CNNモデル20は、当該ノイズが印加された画像データ110に対する認識処理を実行した場合に、例えば、入力画像データ100がパンダに類似した画像を示す場合に、正解ラベルとしてパンダを示すラベルの確率が減少して、他の物体と誤認識する可能性が高くなる。
[システムの動作]
次に、図2及び図3を参照して、本実施形態のシステムの動作を説明する。図3は、プロセッサ10の処理手順を説明するフローチャートである。本実施形態では、CNNモデル20は、AdEに対するトレーニング(Adversarial Training)により最適化されたモデルである。具体的には、AdEに対するトレーニングでは、損失の増加の程度が、相対的に強くなるようにノイズ印加部21により算出されたノイズを印加した画像データ110に対応する入力値X2を使用する。本実施形態のトレーニングは、学習データとして当該ノイズが印加されていない入力画像を使用する学習処理(最適化されたCNNモデルを生成するための学習処理)とは異なる。
次に、図2及び図3を参照して、本実施形態のシステムの動作を説明する。図3は、プロセッサ10の処理手順を説明するフローチャートである。本実施形態では、CNNモデル20は、AdEに対するトレーニング(Adversarial Training)により最適化されたモデルである。具体的には、AdEに対するトレーニングでは、損失の増加の程度が、相対的に強くなるようにノイズ印加部21により算出されたノイズを印加した画像データ110に対応する入力値X2を使用する。本実施形態のトレーニングは、学習データとして当該ノイズが印加されていない入力画像を使用する学習処理(最適化されたCNNモデルを生成するための学習処理)とは異なる。
図3に示すように、プロセッサ10は、センサデバイス12から入力画像(画像データ100)を取得する(S1)。ここで、図2に示すように、プロセッサ10は、第1のスイッチ部23をオンし、第2のスイッチ部24をオフして、元の入力画像に対応する画像データ100を入力値X1としてCNNモデル20に入力する(S2)。
プロセッサ10は、CNNモデル20により、画像データ100に対する認識処理を実行する(S3)。プロセッサ10は、CNNモデル20からの出力120に含まれる認識結果(R1)をメモリ11に格納する(S4)。
次に、プロセッサ10は、第1のスイッチ部23をオフし、第2のスイッチ部24をオンして、元の入力画像に対してノイズを印加した入力画像(画像データ110)を入力値X2としてCNNモデル20に入力する(S5)。即ち、図2に示すように、プロセッサ10は、ノイズ印加部21により、センサデバイス12からの入力画像である画像データ100に対してノイズを印加し、当該ノイズが印加された画像データ110を入力値X2としてCNNモデル20に入力する。
ここで、図2に示すように、プロセッサ10は、CNNモデル20の出力120をノイズ印加部21に入力する。ノイズ印加部21は、出力120に含まれる正解ラベルを使用して前述の損失を算出し、当該損失の増加の程度が相対的に弱くなるようなノイズを算出する。
(コメント:図2では、データ100に対する出力120とデータ110に対する出力130とを区別しています)
図3に戻って、プロセッサ10は、CNNモデル20により、ノイズが印加された画像データ110に対する認識処理を実行する(S6)。プロセッサ10は、画像データ110に対するCNNモデル20からの出力130に含まれる認識結果(R2)を取得して、これを判定部22に入力する。プロセッサ10は、メモリ11から認識結果(R1)を取得して、これを判定部22に入力する。
図3に戻って、プロセッサ10は、CNNモデル20により、ノイズが印加された画像データ110に対する認識処理を実行する(S6)。プロセッサ10は、画像データ110に対するCNNモデル20からの出力130に含まれる認識結果(R2)を取得して、これを判定部22に入力する。プロセッサ10は、メモリ11から認識結果(R1)を取得して、これを判定部22に入力する。
プロセッサ10は、判定部22により、認識結果(R1)と認識結果(R2)とを比較する(S7)。プロセッサ10は、判定部22の比較結果140に基づいて、各認識結果(R1、R2)が同一であれば(S8のYES)、CNNモデル20が正常に認識したと判定する(S9)。
一方、プロセッサ10は、判定部22の比較結果140に基づいて、各認識結果(R1、R2)が異なる場合には(S8のNO)、CNNモデル20がAdEの影響により誤認識する事象が発生していると判定する(S10)。即ち、プロセッサ10は、CNNモデル20の認識処理に関する信頼性が低いと判定する。
以上のように本実施形態の方法によれば、AdEに対するトレーニングにより最適化されたCNNモデル20において、AdEに対する信頼性又は脆弱性を判定できる。即ち、当該CNNモデル20は、トレーニングにより、AdEに対してある程度の耐性を確保できる。
そこで、本実施形態の方法は、当該CNNモデル20により入力画像をそのまま認識処理した認識結果(R1)と、ノイズ印加部21によりノイズを印加された入力画像の認識結果(R2)とを比較する。この比較結果により、各認識結果(R1、R2)が同一であれば、CNNモデル20が正常に認識しており、信頼性が高いと判定できる。換言すれば、CNNモデル20は、トレーニングによりAdEに対する脆弱性が向上していると判定できる。
一方、比較結果により、各認識結果(R1、R2)が異なる場合には、CNNモデル20はトレーニングされていても、AdEに対する脆弱性を有し、信頼性が低いと判定できる。従って、本実施形態の方法であれば、AdEに対する脆弱性を有し、信頼性が低いという判定結果の場合には、当該CNNモデル20の運用を停止し、再度のトレーニングを行う等の対策を示唆できる。これにより、結果として、CNNモデルのAdEに対する脆弱性の向上を図ることが可能な仕組みを実現できる。換言すれば、当該AdEに対するCNNモデルのロバスト性の向上を図ることが可能な仕組みを実現できる。なお、本実施形態は、CNNモデルに適用する場合について説明したが、これに限ることなく、DNNの他のニューラルネットワークモデルにも適用可能である。
図4及び図5は、本実施形態の方法及び装置による効果の一例を説明するための図である。図4及び図5において、いずれの場合も、対象となるCNNモデル20は、相対的に強い程度のAdE(例えばノイズの程度としてe=8)に対するトレーニングにより最適化されたものである。トレーニングは、例えば、CIFAR10(トレーニング用サンプルとして共用に用意された画像データセット)を使用して、20エポックの学習処理を繰り返し実行した場合である。ここで、「e」はノイズの程度(大きさ)を示し、例えば「e=8」はその最大値を意味する。なお、画像データの値の範囲は、例えば「0〜255」である。
図4は、当該トレーニング後のCNNモデル20において、AdEとして損失の増加の程度が相対的に弱くなるように算出されたノイズ(例えばe=2)を使用した認識処理の結果を例示している。例えば、ノイズ印加部21により算出されたノイズ(e=2)を画像データ100に印加した場合に、このノイズ印加後の画像データ110に対する判定部22の認識結果を含む。この場合、判定部22の認識結果が同一となる認識率(DETECTION)は「0.3508」、入力画像に対する認識精度(ACCURACY)は「0.6034」、認識率と認識精度の合計(TOTAL)は「0.9542」となる。ここで、CNNモデル20では、AdEの影響がないクリーン(clean)な入力画像に対する認識処理の結果において、従来の認識精度(CONVENTIONAL ACCURACY)400が「0.8111」であるのに対して、当該認識精度(ACCURACY)410は「0.7121」となり低下する。なお、図4は、ノイズ(e=2)に対して、AdEとして損失の程度が相対的に強くなるように算出されたノイズ(例えばe=4,8,16)を使用した認識処理の結果も例示している。例えば、ノイズ印加部21により算出されたノイズ(e=4)を画像データ100に印加した場合に、このノイズ印加後の画像データ110に対する認識処理の結果としては、DETECTIONを除いて、ACCURACY及びTOTALは、ノイズ(e=2)を印加した場合と比較して数値が低下している。
図5は、当該トレーニング後のCNNモデル20において、AdEとして損失の増加の程度が相対的に弱くなるように算出されたノイズ(例えばe=4)を使用した認識処理の結果を例示している。この場合、判定部22の認識結果が同一となる認識率(DETECTION)は「0.6051」、入力画像に対する認識精度(ACCURACY)は「0.3762」、及び認識率と認識精度の合計(TOTAL)は「0.9813」となる。ここで、CNNモデル20では、AdEの影響がないクリーン(clean)な入力画像に対する認識処理において、従来の認識精度(CONVENTIONAL ACCURACY)500が「0.8111」に対して、当該認識精度(ACCURACY)510は「0.5954」となり低下する。なお、図5においても、ノイズ(e=4)に対して、AdEとして損失の程度が相対的に強くなるように算出されたノイズ(e=8,16)を使用した認識処理の結果も例示している。例えば、ノイズ印加部21により算出されたノイズ(e=8)を画像データ100に印加した場合に、このノイズ印加後の画像データ110に対する認識処理の結果としては、DETECTION、ACCURACY、及びTOTALは、ノイズ(e=4)を印加した場合と比較して、全ての数値が低下している。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
10…プロセッサ、11…メモリ、12…センサデバイス、13…APシステム、
20…畳み込みニューラルネットワーク(CNN)モデル、21…ノイズ印加部、
22…判定部。
20…畳み込みニューラルネットワーク(CNN)モデル、21…ノイズ印加部、
22…判定部。
Claims (16)
- プロセッサ及び当該プロセッサの演算に用いられるメモリを使用し、トレーニングにより最適化されたニューラルネットワークモデルに適用する情報処理方法であって、
第1の入力データに対する前記ニューラルネットワークモデルの第1の情報処理結果を出力する第1の処理と、
前記第1の入力データに摂動を印加した第2の入力データに対する前記ニューラルネットワークモデルの第2の情報処理結果を出力する第2の処理と、
前記第1の情報処理結果と前記第2の情報処理結果との比較結果に基づいて、前記第1の入力データに対する前記ニューラルネットワークモデルの信頼性を判定する第3の処理と
を実行する、情報処理方法。 - 前記ニューラルネットワークモデルは、
前記摂動の印加としてAdversarial Examplesに対するトレーニングにより最適化されたモデルである、請求項1に記載の情報処理方法。 - 前記第1の情報処理結果に基づいて所定の摂動を示す値を算出し、
算出した前記摂動を示す値を前記第1の入力データに印加して前記第2の入力データを出力する第4の処理を含む、請求項1に記載の情報処理方法。 - 前記第4の処理は、
前記第1の情報処理結果に含まれる損失が相対的に弱くなるような前記摂動を示す値を算出して、前記第1の入力データに印加する、請求項3に記載の情報処理方法。 - 前記第1の入力データに対する前記摂動の印加は、前記第1の入力データに対するAdversarial Examplesに相当する、請求項1、3、4のいずれか1項に記載の情報処理方法。
- 前記第3の処理は、
前記第1の情報処理結果と前記第2の情報処理結果との比較結果が同一の場合、前記ニューラルネットワークモデルが正常な情報処理結果を出力したと判定する、請求項1から5のいずれか1項に記載の情報処理方法。 - 前記第3の処理は、
前記第1の情報処理結果と前記第2の情報処理結果との比較結果が異なる場合、前記ニューラルネットワークモデルにおいて前記摂動の影響により誤認識する事象が発生していると判定する、請求項1から5のいずれか1項に記載の情報処理方法。 - 前記第3の処理は、
前記第1の情報処理結果と前記第2の情報処理結果との比較結果が異なる場合、前記Adversarial Examplesに対する前記ニューラルネットワークモデルの信頼性が低いと判定する、請求項5に記載の情報処理方法。 - 前記ニューラルネットワークモデルは畳み込みニューラルネットワークモデルを含み、
前記第1の入力データ及び前記第2の入力データはそれぞれ画像データを含み、
前記第1の情報処理結果と前記第2の情報処理結果はそれぞれ画像認識結果を含む、請求項1から8のいずれか1項に記載の情報処理方法。 - プロセッサ及び当該プロセッサの演算に用いられるメモリを使用し、トレーニングにより最適化されたニューラルネットワークモデルに適用する情報処理装置であって、
前記プロセッサは、
第1の入力データに対する前記ニューラルネットワークモデルの第1の情報処理結果を出力する第1の処理と、
前記第1の入力データに摂動を印加した第2の入力データに対する前記ニューラルネットワークモデルの第2の情報処理結果を出力する第2の処理と、
前記第1の情報処理結果と前記第2の情報処理結果との比較結果に基づいて、前記第1の入力データに対する前記ニューラルネットワークモデルの信頼性を判定する第3の処理とを実行する、情報処理装置。 - 前記ニューラルネットワークモデルは、
前記摂動の印加としてAdversarial Examplesに対するトレーニングにより最適化されたモデルである、請求項10に記載の情報処理装置。 - 前記プロセッサは、
前記第1の情報処理結果に基づいて所定の摂動を示す値を算出し、
算出した前記摂動を示す値を前記第1の入力データに印加して前記第2の入力データを出力する第4の処理を更に実行する、請求項10に記載の情報処理装置。 - 前記プロセッサは、
前記第3の処理として、
前記第1の情報処理結果と前記第2の情報処理結果との比較結果が同一の場合、前記ニューラルネットワークモデルが正常な情報処理結果を出力したと判定する、請求項10から12のいずれか1項に記載の情報処理装置。 - 前記プロセッサは、
前記第3の処理として、
前記第1の情報処理結果と前記第2の情報処理結果との比較結果が異なる場合、前記ニューラルネットワークモデルにおいて前記摂動の影響により誤認識する事象が発生していると判定する、請求項10から12のいずれか1項に記載の情報処理装置。 - 前記プロセッサは、
前記第3の処理として、
前記第1の情報処理結果と前記第2の情報処理結果との比較結果が異なる場合、Adversarial Examplesに対する前記ニューラルネットワークモデルの信頼性が低いと判定する、請求項10又は12に記載の情報処理装置。 - 前記ニューラルネットワークモデルは畳み込みニューラルネットワークモデルを含み、
前記第1の入力データ及び前記第2の入力データはそれぞれ画像データを含み、
前記第1の情報処理結果と前記第2の情報処理結果はそれぞれ画像認識結果を含む、請求項10から15のいずれか1項に記載の情報処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019049615A JP2020154386A (ja) | 2019-03-18 | 2019-03-18 | 情報処理方法及び情報処理装置 |
US16/565,810 US20200302287A1 (en) | 2019-03-18 | 2019-09-10 | Information processing method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019049615A JP2020154386A (ja) | 2019-03-18 | 2019-03-18 | 情報処理方法及び情報処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020154386A true JP2020154386A (ja) | 2020-09-24 |
Family
ID=72514594
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019049615A Pending JP2020154386A (ja) | 2019-03-18 | 2019-03-18 | 情報処理方法及び情報処理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20200302287A1 (ja) |
JP (1) | JP2020154386A (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11893111B2 (en) * | 2019-11-26 | 2024-02-06 | Harman International Industries, Incorporated | Defending machine learning systems from adversarial attacks |
JP7279685B2 (ja) * | 2020-04-23 | 2023-05-23 | トヨタ自動車株式会社 | 情報処理システム |
US11983271B2 (en) * | 2020-11-19 | 2024-05-14 | International Business Machines Corporation | Inline detection and prevention of adversarial attacks |
-
2019
- 2019-03-18 JP JP2019049615A patent/JP2020154386A/ja active Pending
- 2019-09-10 US US16/565,810 patent/US20200302287A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20200302287A1 (en) | 2020-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11514297B2 (en) | Post-training detection and identification of human-imperceptible backdoor-poisoning attacks | |
US11704409B2 (en) | Post-training detection and identification of backdoor-poisoning attacks | |
JP2020154386A (ja) | 情報処理方法及び情報処理装置 | |
US20210201181A1 (en) | Inferencing and learning based on sensorimotor input data | |
US9225738B1 (en) | Markov behavior scoring | |
JP2006031716A (ja) | 指数モデルの適合 | |
US11368478B2 (en) | System for detecting and preventing malware execution in a target system | |
US11315037B2 (en) | Systems and methods for generating and applying a secure statistical classifier | |
Behzadan et al. | Mitigation of policy manipulation attacks on deep q-networks with parameter-space noise | |
US20160364810A1 (en) | Hybrid classification system | |
Vasilatos et al. | Howkgpt: Investigating the detection of chatgpt-generated university student homework through context-aware perplexity analysis | |
WO2023167817A1 (en) | Systems and methods of uncertainty-aware self-supervised-learning for malware and threat detection | |
Ashmore et al. | A method for finding similarity between multi-layer perceptrons by forward bipartite alignment | |
Ahsan et al. | Network intrusion detection using machine learning approaches: Addressing data imbalance | |
KR102258206B1 (ko) | 이종 데이터 융합을 이용한 이상 강수 감지 학습 장치, 이상 강수 감지 학습 방법, 이종 데이터 융합을 이용한 이상 강수 감지 장치 및 이상 강수 감지 방법 | |
US20210117552A1 (en) | Detection of common patterns in user generated content with applications in fraud detection | |
JP2017151933A (ja) | データ分類装置、データ分類方法、及びプログラム | |
US20210365771A1 (en) | Out-of-distribution (ood) detection by perturbation | |
Pavate et al. | Performance evaluation of adversarial examples on deep neural network architectures | |
US20210374578A1 (en) | Inferencing and learning based on sensorimotor input data | |
Li et al. | Optimal crowdsourced classification with a reject option in the presence of spammers | |
CN115700615A (zh) | 计算机实现的方法、设备和计算机程序产品 | |
WO2021024297A1 (ja) | 敵対的事例検知システム、方法およびプログラム | |
US11451694B1 (en) | Mitigation of obstacles while capturing media content | |
CN112270316B (zh) | 文字识别、文字识别模型的训练方法、装置和电子设备 |