JP2020154386A - 情報処理方法及び情報処理装置 - Google Patents

Abstract

【課題】脆弱性の向上を図るＣＮＮモデルを実現できる情報処理方法を提供することにある。【解決手段】本実施形態の情報処理方法は、プロセッサ及び当該プロセッサの演算に用いられるメモリを使用し、トレーニングにより最適化されたニューラルネットワークモデルに適用する情報処理方法であって、第１の処理と、第２の処理と、第３の処理とを実行する。第１の処理は、第１の入力データに対する前記ニューラルネットワークモデルの第１の情報処理結果を出力する。第２の処理は、前記第１の入力データに摂動を印加した第２の入力データに対する前記ニューラルネットワークモデルの第２の情報処理結果を出力する。第３の処理は、前記第１と第２の各情報処理結果の比較結果に基づいて、前記第１の入力データに対する前記ニューラルネットワークモデルの信頼性を判定する。【選択図】図２

Description

本発明の実施形態は、ニューラルネットワークモデルに適用する情報処理方法及び情報処理装置に関する。

畳み込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ）は、例えば、画像認識処理に有効であるディープニューラルネットワーク（Deep Neural Network：ＤＮＮ）の一種である。

ディープラーニング（deep learning：深層学習）においては、例えば、学習データ（訓練データ）として多量の画像データを使用する学習処理により、画像認識処理に適合するＣＮＮモデルが生成される。ＣＮＮモデルは、未知画像を認識（分類）する処理を実行する、画像認識システムに適用される。

ＣＮＮモデルを適用する画像認識システムにおいて、摂動（perturbations）と呼ばれる一種のノイズが入力画像に印加されることで、当該入力画像を誤認識（誤分類）する事象が問題となることがある。特に、ＣＮＮモデルに対する敵対的な脆弱性攻撃により、画像認識システムにおいて入力画像を誤認識する事象が問題になる。この敵対的な脆弱性攻撃は、Adversarial Examples、adversarial attack、adversarial perturbations、又は、adversarial imageなどと呼ばれている。

特開２０１８−１３９０７１号公報 特開２０１８−９７８７５号公報 国際公開WO2018/167900号公報

Aleksander Madry, Aleksander Makelov, Ludwing Schmid, Dimitris Tsipras, and Adrian Vladu, "Towards Deep Learning Models Resistant to Adversarial Attacks", arXiv:1706.06083v3[stat.ML] 9 Nov 2017, ［2019年1月29日検索］インターネット＜URL: https:// openreview.net/forum?id=rJzIBfZAb> Ian J. Goodfellow, Jonathon Shlens & Christian Szegedy, "EXPLAINING AND HARNNESSING ADVERSARIAL EXAMPLES", a conference paper at ICLR 2015, ［2019年1月29日検索］インターネット＜URL: https:// arxiv.org/abs/1412.6572>

そこで、脆弱性の向上を図るＣＮＮモデルを実現できる情報処理方法及び情報処理装置を提供することにある。

本実施形態の情報処理方法は、プロセッサ及び当該プロセッサの演算に用いられるメモリを使用し、トレーニングにより最適化されたニューラルネットワークモデルに適用する情報処理方法であって、第１の処理と、第２の処理と、第３の処理とを実行する。第１の処理は、第１の入力データに対する前記ニューラルネットワークモデルの第１の情報処理結果を出力する。第２の処理は、前記第１の入力データに摂動を印加した第２の入力データに対する前記ニューラルネットワークモデルの第２の情報処理結果を出力する。第３の処理は、前記第１と第２の各情報処理結果の比較結果に基づいて、前記第１の入力データに対する前記ニューラルネットワークモデルの信頼性を判定する。

実施形態に関するシステムの構成を示すブロック図。 実施形態に関するシステムにおけるＣＮＮモデルを含むプロセッサの機能を説明するための概念図。 実施形態に関するシステムにおけるプロセッサの処理手順を説明するフローチャート。 実施形態に関するシステムの効果の一例を説明するための図。 実施形態に関するシステムの効果の他の一例を説明するための図。

以下図面を参照して、実施形態を説明する。
［システムの構成］
図１は、本実施形態のシステムの構成を示すブロック図である。図１に示すように、システムは、それぞれ本実施形態の要部であるプロセッサ１０、メモリ１１、センサデバイス１２及びアプリケーション（ＡＰ）システム１３を有する。

本実施形態では、プロセッサ１０は、例えばＧＰＵ（Graphic Processing Unit）やＣＰＵ（Central Processing Unit）であり、ハードウェア及びソフトウェアにより構成されている。プロセッサ１０は、学習処理により最適化されたＣＮＮ（Convolutional Neural Network）モデル２０を使用して、センサデバイス１２からの画像データ１００に対する画像認識（分類）処理を実行する。

さらに、本実施形態のプロセッサ１０は、後述するように、メモリ１１を使用してＣＮＮモデル２０においてAdversarial Examples（以下、ＡｄＥと表記する場合がある）による事象が発生したことを判定する機能を実現する。

ここで、ＡｄＥは、ＣＮＮモデル２０に入力される画像データ（入力画像）に、摂動（perturbations）と呼ばれる一種のノイズが印加されることで、例えば、当該入力画像を誤認識（誤分類）する事象を引き起こすような敵対的な脆弱性攻撃を意味する。本実施形態によれば、当該ＡｄＥに対するトレーニング（Adversarial Training）により最適化されたＣＮＮモデル２０の脆弱性の向上を図ることが可能な仕組みを実現することができる。換言すれば、本実施形態によれば、当該ＡｄＥに対するＣＮＮモデル２０のロバスト性（robustness）の向上を図ることが可能な仕組みを実現する。

センサデバイス１２は、例えば１枚単位の画像をスキャンして得られる画像データ１００をプロセッサ１０に出力する。ＡＰシステム１３は、プロセッサ１０により実行されるＣＮＮモデル２０による画像認識結果を利用し、例えば、センサデバイス１２から入力される未知の画像を認識する画像認識システムである。画像認識システムは、ハードウェア及びソフトウェアから構成されるコンピュータ、サーバシステム、又はＷｅｂサービスを実行するクラウドシステムを含む。

図２は、ＡｄＥに対するＣＮＮモデル２０を実行するプロセッサ１０の機能を説明するための概念図を示す。図２に示すように、プロセッサ１０は、ソフトウェア機能としての、ノイズ印加部２１、判定部２２、第１のスイッチ部２３及び第２のスイッチ部２４を含む。

ノイズ印加部２１は、センサデバイス１２からの画像データ１００に摂動を印加する。判定部２２は、後述するように、ＣＮＮモデル２０においてＡｄＥにより誤認識する事象が発生したことを判定する。第１のスイッチ部２３は、ＣＮＮモデル２０に対して、画像データ１００を入力するか否かを切り替える。第２のスイッチ部２４は、ＣＮＮモデル２０に対して、ノイズ印加部２１からノイズ印加された画像データ１１０を入力するか否かを切り替える。

また、ノイズ印加部２１は、センサデバイス１２からの画像データ１００に対して、所定の計算方法により算出された摂動を印加し、当該摂動が印加された画像データ１１０を出力する。ここで、摂動とは、ランダムノイズではなく、視覚的に判別できない規則性のあるノイズを意味する。以下、摂動を、単にノイズと表記することがある。

ノイズ印加部２１は、所定の計算方法により、ＣＮＮモデル２０からの出力１２０に含まれる正解ラベル（後述する）を使用してノイズを算出する。ここで、ＣＮＮモデル２０は、入力画像データ１００に関する入力値Ｘに対する認識処理を実行し、出力１２０に含まれる当該認識結果である出力値Ｙを算出する。出力値Ｙは、入力値Ｘが属するラベルに対して、例えばソフトマックス関数（softmax function）により計算される確率を表す。
出力値Ｙは、最大値が１、最小値が０、全ラベル合計で１となるように正規化される値であり、各ラベルに対する信頼度またはスコアに相当する。正解ラベルとは、出力１２０の中で、最も確率が高く、正解と認識されたラベルである。例えば、入力画像データ１００がパンダに類似した画像を示す場合に、出力値Ｙとして最も高い確率を示すパンダのラベルを選択して正解ラベルとする。

ノイズ印加部２１は、ＣＮＮモデル２０から出力１２０に含まれる正解ラベルを入力する。一方、ノイズ印加部２１は、センサデバイス１２からの画像データ１００を入力して、ＣＮＮモデル２０の認識処理と同様の処理を実行する。具体的には、ノイズ印加部２１は、例えば、画像データ１００に対する認識結果と当該正解ラベルとを比較し、当該比較結果である差分を示す損失を算出する。

当該損失は、ＣＮＮモデル２０の学習処理時におけるバックプロパゲーション（back propagation）により逆伝播される誤差に対応する。ノイズ印加部２１は、ＣＮＮモデル２０の誤差伝播機能に相当する機能により当該損失を誤差伝播することで、入力画像（画像データ１００）のどの画素をどちらの方向に動かせば、入力画像が属するラベルの確率が増減するかを判定できる。ノイズ印加部２１は、ＣＮＮモデル２０において、入力画像データ１００に対する正解ラベルの確率を減少させるように、当該損失に基づいてノイズを算出し、このノイズを入力画像データ１００に印加した画像データ１１０を生成する。これにより、ＣＮＮモデル２０は、当該ノイズが印加された画像データ１１０に対する認識処理を実行した場合に、例えば、入力画像データ１００がパンダに類似した画像を示す場合に、正解ラベルとしてパンダを示すラベルの確率が減少して、他の物体と誤認識する可能性が高くなる。

［システムの動作］
次に、図２及び図３を参照して、本実施形態のシステムの動作を説明する。図３は、プロセッサ１０の処理手順を説明するフローチャートである。本実施形態では、ＣＮＮモデル２０は、ＡｄＥに対するトレーニング（Adversarial Training）により最適化されたモデルである。具体的には、ＡｄＥに対するトレーニングでは、損失の増加の程度が、相対的に強くなるようにノイズ印加部２１により算出されたノイズを印加した画像データ１１０に対応する入力値Ｘ２を使用する。本実施形態のトレーニングは、学習データとして当該ノイズが印加されていない入力画像を使用する学習処理（最適化されたＣＮＮモデルを生成するための学習処理）とは異なる。

図３に示すように、プロセッサ１０は、センサデバイス１２から入力画像（画像データ１００）を取得する（Ｓ１）。ここで、図２に示すように、プロセッサ１０は、第１のスイッチ部２３をオンし、第２のスイッチ部２４をオフして、元の入力画像に対応する画像データ１００を入力値Ｘ１としてＣＮＮモデル２０に入力する（Ｓ２）。

プロセッサ１０は、ＣＮＮモデル２０により、画像データ１００に対する認識処理を実行する（Ｓ３）。プロセッサ１０は、ＣＮＮモデル２０からの出力１２０に含まれる認識結果（Ｒ１）をメモリ１１に格納する（Ｓ４）。

次に、プロセッサ１０は、第１のスイッチ部２３をオフし、第２のスイッチ部２４をオンして、元の入力画像に対してノイズを印加した入力画像（画像データ１１０）を入力値Ｘ２としてＣＮＮモデル２０に入力する（Ｓ５）。即ち、図２に示すように、プロセッサ１０は、ノイズ印加部２１により、センサデバイス１２からの入力画像である画像データ１００に対してノイズを印加し、当該ノイズが印加された画像データ１１０を入力値Ｘ２としてＣＮＮモデル２０に入力する。

ここで、図２に示すように、プロセッサ１０は、ＣＮＮモデル２０の出力１２０をノイズ印加部２１に入力する。ノイズ印加部２１は、出力１２０に含まれる正解ラベルを使用して前述の損失を算出し、当該損失の増加の程度が相対的に弱くなるようなノイズを算出する。

（コメント：図２では、データ１００に対する出力１２０とデータ１１０に対する出力１３０とを区別しています）
図３に戻って、プロセッサ１０は、ＣＮＮモデル２０により、ノイズが印加された画像データ１１０に対する認識処理を実行する（Ｓ６）。プロセッサ１０は、画像データ１１０に対するＣＮＮモデル２０からの出力１３０に含まれる認識結果（Ｒ２）を取得して、これを判定部２２に入力する。プロセッサ１０は、メモリ１１から認識結果（Ｒ１）を取得して、これを判定部２２に入力する。

プロセッサ１０は、判定部２２により、認識結果（Ｒ１）と認識結果（Ｒ２）とを比較する（Ｓ７）。プロセッサ１０は、判定部２２の比較結果１４０に基づいて、各認識結果（Ｒ１、Ｒ２）が同一であれば（Ｓ８のＹＥＳ）、ＣＮＮモデル２０が正常に認識したと判定する（Ｓ９）。

一方、プロセッサ１０は、判定部２２の比較結果１４０に基づいて、各認識結果（Ｒ１、Ｒ２）が異なる場合には（Ｓ８のＮＯ）、ＣＮＮモデル２０がＡｄＥの影響により誤認識する事象が発生していると判定する（Ｓ１０）。即ち、プロセッサ１０は、ＣＮＮモデル２０の認識処理に関する信頼性が低いと判定する。

以上のように本実施形態の方法によれば、ＡｄＥに対するトレーニングにより最適化されたＣＮＮモデル２０において、ＡｄＥに対する信頼性又は脆弱性を判定できる。即ち、当該ＣＮＮモデル２０は、トレーニングにより、ＡｄＥに対してある程度の耐性を確保できる。

そこで、本実施形態の方法は、当該ＣＮＮモデル２０により入力画像をそのまま認識処理した認識結果（Ｒ１）と、ノイズ印加部２１によりノイズを印加された入力画像の認識結果（Ｒ２）とを比較する。この比較結果により、各認識結果（Ｒ１、Ｒ２）が同一であれば、ＣＮＮモデル２０が正常に認識しており、信頼性が高いと判定できる。換言すれば、ＣＮＮモデル２０は、トレーニングによりＡｄＥに対する脆弱性が向上していると判定できる。

一方、比較結果により、各認識結果（Ｒ１、Ｒ２）が異なる場合には、ＣＮＮモデル２０はトレーニングされていても、ＡｄＥに対する脆弱性を有し、信頼性が低いと判定できる。従って、本実施形態の方法であれば、ＡｄＥに対する脆弱性を有し、信頼性が低いという判定結果の場合には、当該ＣＮＮモデル２０の運用を停止し、再度のトレーニングを行う等の対策を示唆できる。これにより、結果として、ＣＮＮモデルのＡｄＥに対する脆弱性の向上を図ることが可能な仕組みを実現できる。換言すれば、当該ＡｄＥに対するＣＮＮモデルのロバスト性の向上を図ることが可能な仕組みを実現できる。なお、本実施形態は、ＣＮＮモデルに適用する場合について説明したが、これに限ることなく、ＤＮＮの他のニューラルネットワークモデルにも適用可能である。

図４及び図５は、本実施形態の方法及び装置による効果の一例を説明するための図である。図４及び図５において、いずれの場合も、対象となるＣＮＮモデル２０は、相対的に強い程度のＡｄＥ（例えばノイズの程度としてe＝8）に対するトレーニングにより最適化されたものである。トレーニングは、例えば、CIFAR10（トレーニング用サンプルとして共用に用意された画像データセット）を使用して、２０エポックの学習処理を繰り返し実行した場合である。ここで、「e」はノイズの程度（大きさ）を示し、例えば「e＝8」はその最大値を意味する。なお、画像データの値の範囲は、例えば「0〜255」である。

図４は、当該トレーニング後のＣＮＮモデル２０において、ＡｄＥとして損失の増加の程度が相対的に弱くなるように算出されたノイズ（例えばe＝2）を使用した認識処理の結果を例示している。例えば、ノイズ印加部２１により算出されたノイズ（e＝2）を画像データ１００に印加した場合に、このノイズ印加後の画像データ１１０に対する判定部２２の認識結果を含む。この場合、判定部２２の認識結果が同一となる認識率（DETECTION）は「0.3508」、入力画像に対する認識精度（ACCURACY）は「0.6034」、認識率と認識精度の合計（TOTAL）は「0.9542」となる。ここで、ＣＮＮモデル２０では、ＡｄＥの影響がないクリーン（clean）な入力画像に対する認識処理の結果において、従来の認識精度（CONVENTIONAL ACCURACY）４００が「0.8111」であるのに対して、当該認識精度（ACCURACY）４１０は「0.7121」となり低下する。なお、図４は、ノイズ（e＝2）に対して、ＡｄＥとして損失の程度が相対的に強くなるように算出されたノイズ（例えばe＝4,8,16）を使用した認識処理の結果も例示している。例えば、ノイズ印加部２１により算出されたノイズ（e＝4）を画像データ１００に印加した場合に、このノイズ印加後の画像データ１１０に対する認識処理の結果としては、DETECTIONを除いて、ACCURACY及びTOTALは、ノイズ（e＝2）を印加した場合と比較して数値が低下している。

図５は、当該トレーニング後のＣＮＮモデル２０において、ＡｄＥとして損失の増加の程度が相対的に弱くなるように算出されたノイズ（例えばe＝4）を使用した認識処理の結果を例示している。この場合、判定部２２の認識結果が同一となる認識率（DETECTION）は「0.6051」、入力画像に対する認識精度（ACCURACY）は「0.3762」、及び認識率と認識精度の合計（TOTAL）は「0.9813」となる。ここで、ＣＮＮモデル２０では、ＡｄＥの影響がないクリーン（clean）な入力画像に対する認識処理において、従来の認識精度（CONVENTIONAL ACCURACY）５００が「0.8111」に対して、当該認識精度（ACCURACY）５１０は「0.5954」となり低下する。なお、図５においても、ノイズ（e＝4）に対して、ＡｄＥとして損失の程度が相対的に強くなるように算出されたノイズ（e＝8,16）を使用した認識処理の結果も例示している。例えば、ノイズ印加部２１により算出されたノイズ（e＝8）を画像データ１００に印加した場合に、このノイズ印加後の画像データ１１０に対する認識処理の結果としては、DETECTION、ACCURACY、及びTOTALは、ノイズ（e＝4）を印加した場合と比較して、全ての数値が低下している。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…プロセッサ、１１…メモリ、１２…センサデバイス、１３…ＡＰシステム、
２０…畳み込みニューラルネットワーク（ＣＮＮ）モデル、２１…ノイズ印加部、
２２…判定部。

Claims (16)

1. プロセッサ及び当該プロセッサの演算に用いられるメモリを使用し、トレーニングにより最適化されたニューラルネットワークモデルに適用する情報処理方法であって、
   第１の入力データに対する前記ニューラルネットワークモデルの第１の情報処理結果を出力する第１の処理と、
   前記第１の入力データに摂動を印加した第２の入力データに対する前記ニューラルネットワークモデルの第２の情報処理結果を出力する第２の処理と、
   前記第１の情報処理結果と前記第２の情報処理結果との比較結果に基づいて、前記第１の入力データに対する前記ニューラルネットワークモデルの信頼性を判定する第３の処理と
   を実行する、情報処理方法。
2. 前記ニューラルネットワークモデルは、
   前記摂動の印加としてAdversarial Examplesに対するトレーニングにより最適化されたモデルである、請求項１に記載の情報処理方法。
3. 前記第１の情報処理結果に基づいて所定の摂動を示す値を算出し、
   算出した前記摂動を示す値を前記第１の入力データに印加して前記第２の入力データを出力する第４の処理を含む、請求項１に記載の情報処理方法。
4. 前記第４の処理は、
   前記第１の情報処理結果に含まれる損失が相対的に弱くなるような前記摂動を示す値を算出して、前記第１の入力データに印加する、請求項３に記載の情報処理方法。
5. 前記第１の入力データに対する前記摂動の印加は、前記第１の入力データに対するAdversarial Examplesに相当する、請求項１、３、４のいずれか１項に記載の情報処理方法。
6. 前記第３の処理は、
   前記第１の情報処理結果と前記第２の情報処理結果との比較結果が同一の場合、前記ニューラルネットワークモデルが正常な情報処理結果を出力したと判定する、請求項１から５のいずれか１項に記載の情報処理方法。
7. 前記第３の処理は、
   前記第１の情報処理結果と前記第２の情報処理結果との比較結果が異なる場合、前記ニューラルネットワークモデルにおいて前記摂動の影響により誤認識する事象が発生していると判定する、請求項１から５のいずれか１項に記載の情報処理方法。
8. 前記第３の処理は、
   前記第１の情報処理結果と前記第２の情報処理結果との比較結果が異なる場合、前記Adversarial Examplesに対する前記ニューラルネットワークモデルの信頼性が低いと判定する、請求項５に記載の情報処理方法。
9. 前記ニューラルネットワークモデルは畳み込みニューラルネットワークモデルを含み、
   前記第１の入力データ及び前記第２の入力データはそれぞれ画像データを含み、
   前記第１の情報処理結果と前記第２の情報処理結果はそれぞれ画像認識結果を含む、請求項１から８のいずれか１項に記載の情報処理方法。
10. プロセッサ及び当該プロセッサの演算に用いられるメモリを使用し、トレーニングにより最適化されたニューラルネットワークモデルに適用する情報処理装置であって、
    前記プロセッサは、
    第１の入力データに対する前記ニューラルネットワークモデルの第１の情報処理結果を出力する第１の処理と、
    前記第１の入力データに摂動を印加した第２の入力データに対する前記ニューラルネットワークモデルの第２の情報処理結果を出力する第２の処理と、
    前記第１の情報処理結果と前記第２の情報処理結果との比較結果に基づいて、前記第１の入力データに対する前記ニューラルネットワークモデルの信頼性を判定する第３の処理とを実行する、情報処理装置。
11. 前記ニューラルネットワークモデルは、
    前記摂動の印加としてAdversarial Examplesに対するトレーニングにより最適化されたモデルである、請求項１０に記載の情報処理装置。
12. 前記プロセッサは、
    前記第１の情報処理結果に基づいて所定の摂動を示す値を算出し、
    算出した前記摂動を示す値を前記第１の入力データに印加して前記第２の入力データを出力する第４の処理を更に実行する、請求項１０に記載の情報処理装置。
13. 前記プロセッサは、
    前記第３の処理として、
    前記第１の情報処理結果と前記第２の情報処理結果との比較結果が同一の場合、前記ニューラルネットワークモデルが正常な情報処理結果を出力したと判定する、請求項１０から１２のいずれか１項に記載の情報処理装置。
14. 前記プロセッサは、
    前記第３の処理として、
    前記第１の情報処理結果と前記第２の情報処理結果との比較結果が異なる場合、前記ニューラルネットワークモデルにおいて前記摂動の影響により誤認識する事象が発生していると判定する、請求項１０から１２のいずれか１項に記載の情報処理装置。
15. 前記プロセッサは、
    前記第３の処理として、
    前記第１の情報処理結果と前記第２の情報処理結果との比較結果が異なる場合、Adversarial Examplesに対する前記ニューラルネットワークモデルの信頼性が低いと判定する、請求項１０又は１２に記載の情報処理装置。
16. 前記ニューラルネットワークモデルは畳み込みニューラルネットワークモデルを含み、
    前記第１の入力データ及び前記第２の入力データはそれぞれ画像データを含み、
    前記第１の情報処理結果と前記第２の情報処理結果はそれぞれ画像認識結果を含む、請求項１０から１５のいずれか１項に記載の情報処理装置。