JP7248807B2 - 敵対的攻撃の自動認識及び分類 - Google Patents

敵対的攻撃の自動認識及び分類 Download PDF

Info

Publication number
JP7248807B2
JP7248807B2 JP2021545871A JP2021545871A JP7248807B2 JP 7248807 B2 JP7248807 B2 JP 7248807B2 JP 2021545871 A JP2021545871 A JP 2021545871A JP 2021545871 A JP2021545871 A JP 2021545871A JP 7248807 B2 JP7248807 B2 JP 7248807B2
Authority
JP
Japan
Prior art keywords
metrics
image
signal
attack
attacks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021545871A
Other languages
English (en)
Other versions
JP2022519868A (ja
Inventor
ピーゲルト・エーリク
カルク・ミシェール
シャルフェンベルガー・クリスティアン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Conti Temic Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Publication of JP2022519868A publication Critical patent/JP2022519868A/ja
Application granted granted Critical
Publication of JP7248807B2 publication Critical patent/JP7248807B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Description

本発明は、自動化された検出システム、特に画像ベースの検出システム、例えばアシスト運転又は自動運転用のインテリジェントなカメラセンサのオブジェクト検出システムなどに対する敵対的攻撃を認識する方法及びシステムに関する。
人工知能、人工ニューラルネットワーク、機械学習、及び深層学習は、アシスト運転及び自動運転の分野でますます普及してきている。その際、コンピュータビジョンが、最も一般的な応用分野である。
Ｓｚｅｇｅｄｙらは、非特許文献１で、所謂「敵対的サンプル」が、正しく認識された画像サンプルと比べた変化は、人間の観察者には重要でないと思われるが、画像認識のためにトレーニングされた深層ニューラルネットワークによって驚くほど誤って分類されることを示している。これは、深層ネットワークの動作原理によるものであり、操作するために「敵対的攻撃」という形で悪用される可能性がある。
従来の技術では、様々な方法に基づく敵対的攻撃の作成及び、敵対的攻撃に対する防御のための様々な方法を含む。現在、画像に対して、部分的に非常に類似するものもあるが、全く異なるグローバル又はローカルな変更を加える多数の攻撃が存在する。しかし現時点では、敵対的攻撃による変化の質を評価するためメトリクスは、攻撃を生成するために既に用いられている、数少ないものに限られている。しかし、敵対的攻撃による画像内の変化を、完全に記述し、その攻撃の質を評価するには、存在しているメトリクスでは不十分であることが示された。
このテーマでは、以下の刊行物、非特許文献２、非特許文献３、非特許文献４がある。
Ｓｚｅｇｅｄｙら、"Ｉｎｔｒｉｇｕｉｎｇ ｐｒｏｐｅｒｔｉｅｓ ｏｆ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ"、ａｒＸｉｖ：１３１２．６１９９ｖ４ ［ｃｓ．ＣＶ］、［ｏｎｌｉｎｅ］、２０１４年２月１９日、［２０１９年０３月２１日検索］、インターネット＜ＵＲＬ：ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１３１２．６１９９＞ Ｕｙｅｏｎｇ Ｊａｎｇ， Ｘｉ Ｗｕ， ａｎｄ Ｓｏｍｅｓｈ Ｊｈａ． Ｏｂｊｅｃｔｉｖｅ ｍｅｔｒｉｃｓ ａｎｄ ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ ａｌｇｏｒｉｔｈｍｓ ｆｏｒ ａｄｖｅｒｓａｒｉａｌ ｅｘａｍｐｌｅｓ ｉｎ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ． Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ３３ｒｄ Ａｎｎｕａｌ Ｃｏｍｐｕｔｅｒ Ｓｅｃｕｒｉｔｙ Ａｐｐｌｉｃａｔｉｏｎｓ Ｃｏｎｆｅｒｅｎｃｅ， Ｏｒｌａｎｄｏ， ＦＬ， ＵＳＡ， Ｄｅｃｅｍｂｅｒ ４－８， ２０１７， ｐａｇｅｓ ２６２－２７７， ２０１７． ｄｏｉ：１０．１１４５／３１３４６００．３１３４６３５． Ｍａｈｍｏｏｄ Ｓｈａｒｉｆ， Ｌｕｊｏ Ｂａｕｅｒ， ａｎｄ Ｍｉｃｈａｅｌ Ｋ． Ｒｅｉｔｅｒ． Ｏｎ ｔｈｅ ｓｕｉｔａｂｉｌｉｔｙ ｏｆ Ｌｐ－ｎｏｒｍｓ ｆｏｒ ｃｒｅａｔｉｎｇ ａｎｄ ｐｒｅｖｅｎｔｉｎｇ ａｄｖｅｒｓａｒｉａｌ ｅｘａｍｐｌｅｓ． ＣｏＲＲ， ａｂｓ／１８０２．０９６５３， ２０１８． Ｎａｖｅｅｄ Ａｋｈｔａｒ ａｎｄ Ａｊｍａｌ Ｍｉａｎ． Ｔｈｒｅａｔ ｏｆ ａｄｖｅｒｓａｒｉａｌ ａｔｔａｃｋｓ ｏｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｉｎ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ： Ａ ｓｕｒｖｅｙ． ＩＥＥＥ Ａｃｃｅｓｓ， ６：１４４１０－１４４３０， ２０１８． ｄｏｉ：１０．１１０９／ＡＣＣＥＳＳ．２０１８．２８０７３８５． Ｈｏｒｅ， Ａ． ａｎｄ Ｚｉｏｕ， Ｄ．， ２０１０， Ａｕｇｕｓｔ． Ｉｍａｇｅ ｑｕａｌｉｔｙ ｍｅｔｒｉｃｓ： ＰＳＮＲ ｖｓ． ＳＳＩＭ． Ｉｎ ２０１０ ２０ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ｐｐ． ２３６６－２３６９）． ＩＥＥＥ． Ｇｏｌｄｂｅｒｇｅｒ， Ｊ．， Ｇｏｒｄｏｎ， Ｓ． ａｎｄ Ｇｒｅｅｎｓｐａｎ， Ｈ．， ２００３， Ｏｃｔｏｂｅｒ． Ａｎ ｅｆｆｉｃｉｅｎｔ ｉｍａｇｅ ｓｉｍｉｌａｒｉｔｙ ｍｅａｓｕｒｅ ｂａｓｅｄ ｏｎ ａｐｐｒｏｘｉｍａｔｉｏｎｓ ｏｆ ＫＬ－ｄｉｖｅｒｇｅｎｃｅ ｂｅｔｗｅｅｎ ｔｗｏ Ｇａｕｓｓｉａｎ ｍｉｘｔｕｒｅｓ． Ｉｎ ｎｕｌｌ （ｐ． ４８７）． ＩＥＥＥ． Ｒａｍａｒａｔｈｎａｍ Ｖｅｎｋａｔｅｓａｎ， Ｓ－Ｍ Ｋｏｏｎ， Ｍａｒｉｕｓｚ Ｈ Ｊａｋｕｂｏｗｓｋｉ， ａｎｄ Ｐｉｅｒｒｅ Ｍｏｕｌｉｎ． Ｒｏｂｕｓｔ ｉｍａｇｅ ｈａｓｈｉｎｇ． Ｉｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， ２０００． Ｐｒｏｃｅｅｄｉｎｇｓ． ２０００ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ， ｖｏｌｕｍｅ ３， ｐａｇｅｓ ６６４－６６６． ＩＥＥＥ， ２０００．
本発明の課題は、ネットワークに対する敵対的攻撃を、信頼性が高くかつ詳細に認識することを提供することである。
詳細な認識のための基本的なアスペクトは、どの敵対的攻撃によってネットワークが、攻撃されたのかを見つけること、即ち、敵対的攻撃を分類することである。分類の基準は、基準画像と比較して操作された可能性のある画像に加えられた変化である。メトリクスは、画像内における変化の尺度として利用され、そのメトリクスの計算が、二枚の画像に基づいて変化を定量化する。
敵対的攻撃の一つのクラス（敵対的クラス）は、単一のタイプの敵対的攻撃、又は同様の操作で画像を操作する敵対的攻撃の群が含まれ得る。画像の「変化無し」、「原因が他で説明可能である画像の変化」（例えば、画像撮影時の妨害）、及び「未知の潜在的攻撃」に対して、さらにクラスが設けられ得る。
本発明の一様態は、画像が受けた変化を記述するために複数のメトリクスを一緒に使用することである。
更なるアスペクトは、画像の変化のみに基づいて攻撃を区別し、認識することである。これにより、ネットワークによる検出のランタイム内で、敵対的攻撃を認識することを可能にする。
更に、有利には、攻撃クラスが認識されることで、特定の攻撃クラスに対して特別に開発された防衛対策（Ｄｅｆｅｎｓｅｓ、Ｃｏｕｎｔｅｒｍｅａｓｕｒｅｓ）を用いることができる。
従って、敵対的攻撃の早期の認識及び識別により、標的型防御メカニズムの開発と使用が可能になる。
画像の変化を説明できる十分な特徴／機能が開発された場合、変化の様々なクラスを、より良く理解し、将来的により優れた防御方法を開発することができる。
本発明の更なる様態は、使用される複数のメトリクスが高次元空間を作成し、その中で攻撃が分離可能になり、従って、既存の分類手段又は相応にトレーニングされた分類手段が攻撃を認識できることである。
解決策の開発の出発点は、既知の方法が、以下の欠点を有していると言う知見であった。
－攻撃クラスを認識しないこと
－攻撃されたか否かを早期に認識しないこと
－定義された攻撃クラスに対する防衛対策の使用と開発をしないこと
本発明は、以下の要素を備える。
１）機械学習に基づいて攻撃クラスを認識すること、即ち、特徴が自動的に認識され、これらの特徴に基づく学習方法を使用して様々な攻撃クラスが検出される。
２）攻撃を（オンライン）認識するための自動化された検出システムの範囲内で、上述の攻撃クラスの認識を使用すること。例えば、特定の攻撃に対する標的型オンライン防御のための判断を下すことができる。ここで言う「オンライン」とは、自動化された検出（の前に又はその最中）においてと言う意味である。
本発明は、入力シグナルに基づく検出又は分類のためにニューラルネットワークが使用される場合、任意の入力信号、特に画像シグナル、ビデオシグナル、又はオーディオシグナルに対する任意の攻撃に対して適用することができる。よって、この方法は、医療技術、言語処理、インターネット検索、又は車両システムにおいて使用することができる。
（画像シグナル／ビデオシグナル／オーディオシグナルを分類する第一ニューラルネットワークを備える）自動化された検出システムに対する敵対的攻撃を認識及び分類する、本発明に係る方法は、以下のステップを備える。
ａ）基準画像シグナル／基準ビデオシグナル／基準オーディオシグナル、例えばオリジナル画像、及び操作された可能性のある画像シグナル／操作された可能性のあるビデオシグナル／操作された可能性のあるオーディオシグナルを提供するステップ。
ｂ）基準シグナル及び操作された可能性があるシグナルとの間の差異を異なる方法で定量化するｎ個のメトリクスのセットを算出するステップであって、ｎは、「１」以上の自然数である、ステップ。
ｃ）算出されたメトリクスに基づいて、ｎ次元の特徴空間を構築するステップ。
ｄ）ｎ次元の特徴空間内で算出されたメトリクスを用いて敵対的攻撃の種類を分類するステップ。
ｅ）敵対的攻撃のクラスを出力するステップ。
自動化された検出システムは、画像シグナル／ビデオシグナル／オーディオシグナルを分類するための（第一の）ニューラルネットワークを備える。この場合、例えば、画像ベースのオブジェクト分類システム又はオーディオベースの言語認識システムであり得る。この自動化された検出システムは、敵対的攻撃によって、攻撃される可能性がある。そのためには、ニューラルネットワークへ入るシグナルを操作する必要がある。基準シグナルと操作された可能性のあるシグナルの比較により、違いが定量化される。（ステップｃ）「算出されたメトリクスに基づいて、ｎ次元の特徴空間を構築する」と言う表現は、「ｎ個の算出されたメトリクスを備えるｎ次元の特徴ベクトルを形成する」という表現と同義である。定量化された差分（又はｎ次元の特徴ベクトル）は、第二のニューラルネットワークによって予め定義され、かつ第二ニューラルネットワークによって訓練された敵対的攻撃のクラスに帰属される。
有利な発展形態では、以下の方法ステップｆ）において、敵対的攻撃のクリティカルとして認識されたクラスに対する特定の対策が開始される。この様な対策は、例えば、この攻撃のタイプに対してロバストである（他の）ＣＮＮベースの検出手段を使用しても良い。
好ましくは、自動化された検出システムが、車両のカメラベースのセンサシステムを有してもよい。その際、操作されている可能性のあるシグナルは、カメラベースのセンサシステムの少なくとも一台のカメラによって撮影された画像シグナル又はビデオシグナルである。オプションとして、基準シグナルも、少なくとも一台のカメラ用いて撮影されてもよい。ただし、他のカメラによって撮影された基準シグナルを使用することも可能である。
方法は、好ましくは、車両からオンラインデータベースへのシグナル転送中に、敵対的攻撃を認識するために実施され得る。
代替的には、検出システムは、車両内のマルチカメラシステムを備えてもよい。操作されている可能性のある画像シグナル又は操作されている可能性のあるビデオシグナルと基準画像シグナル又は基準ビデオシグナルとは、この実施形態のバリエーションにおいては、マルチカメラシステムの異なる単一カメラによる同じシーンのオーバーラップした撮影、又は時間的にシフトした撮影のことである。
好ましくは、メトリクスの算出は、操作されている可能性のある画像全体に対して行われる。基準画像が、同じカメラによって撮影された場合、基準画像全体と比較される。基準画像が、より大きな領域を描写している場合は、操作されている可能性のある画像の内容に対応する画像領域と比較される。
代替的には、メトリクスの算出は、操作されている可能性のある画像全体の画像一部分に対して行われる。これは、基準画像が、操作されている可能性のある画像の内容の一部分のみを描写している場合に必要になることがある。
好ましくは、メトリクスの算出は、一連の画像、又は一連の画像領域に対して行われる。
有利には、ｎ個のメトリクスは複数のメトリクスを備え、この複数のメトリクスが、以下の群、即ち、
ＳＳＩＭ；Ｌ １－ノルム、Ｌ２－ノルム、ＫＬ－ダイバージェンス、ＭＳＥ（平均二乗誤差）、ＭＡＥ（平均絶対誤差）、ＰＳＮＲ、Ｌ∞ ノルム（Ｌ＿無限ノルム）、Ｌ０ ノルム、エッジメトリクス、ハッシュメトリクス、並びにフーリエ変換メトリクス
から選択される。
既に記載した文献の他、これらのメトリクスに関する詳細は、以下の文献、即ち
非特許文献５、非特許文献６、非特許文献２、非特許文献７
に記載されている。
本方法のある好ましい実施形態によれば、最も関連性の高いｍ個のメトリクスを抽出するためにｎ個のメトリクスからサブセット（部分集合）が作成され、その際、ｍは、ｎよりも小さい自然数であり、ステップｄ）において、算出されたメトリクスを用いてｍ次元の特徴空間における分類が行われる。
更に、サブセットの作成は、機械学習に基づいて実装することができる。この場合、特徴が自動的に抽出される。メトリクスは、表現学習を使用して自動的に学習される。
本発明の更なる対象は、入力インターフェース、認識ユニット、及び出力インターフェースを備える自動化された検出システムへの敵対的攻撃を認識するシステムに関する。
敵対的攻撃を認識するシステムは、自動化された検出システムに一体化してもよいが、自動化された検出システムの上流に配置されてもよい。
入力インターフェースは、基準画像シグナル／基準ビデオシグナル／基準オーディオシグナルと操作された可能性のある画像シグナル／ビデオシグナル／オーディオシグナルを受信し、認識ユニットに提供するように構成されている。
認識ユニットは、攻撃の分類を行い、通常、第二のニューラルネットワークを備える。
認識ユニットは、
・基準画像シグナル／基準ビデオシグナル／基準オーディオシグナル、及び操作された可能性のある画像シグナル／ビデオシグナル／オーディオシグナルとの間の差異を異なる方法で定量化するｎ個のメトリクスのセットを算出する、かつ
・算出されたメトリクスに基づいて、ｎ次元の特徴空間を構築する、かつ
・ｎ次元の特徴空間内において算出されたメトリクスを用いて敵対的攻撃の種類を分類する、
ように構成されている。
出力インターフェースは、認識ユニットによって割出された敵対的攻撃のクラスを出力することができるように構成されている。
割出されたクラスは、加工された可能性のある画像シグナル／ビデオシグナル／オーディオシグナルが自動化された検出システムに転送される前に、攻撃クラスに対する標的型防衛対策を開始するために、下流の防衛ユニットによって使用することができる。代替的には、認識ユニットによって割出されたクラスは、出力インターフェースを介して自動化された検出システムに直接的に送信することもできる。
特に、敵対的攻撃を認識するシステムは、マイクロコントローラ又はマイクロプロセッサ、中央処理装置（ＣＰＵ）、画像処理装置（ＧＰＵ）、デジタルシグナルプロセッサ（ＤＳＰ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ／特定用途向け集積回路）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ／フィールドプログラマブルゲートアレイ）等、及び対応する方法ステップを実施するためのソフトウェアを備えてもよい。
従って、本発明は、デジタル電子回路、コンピュータハードウェア、ファームウェア、又はソフトウェアとして実施され得る。
以下では、機械学習に基づいて画像シグナルに対する攻撃クラスを認識するための更なる様態と実施形態を説明する。
先ず、画像間の違いを定量化するメトリクスのセットが算出される。これらのメトリクスは、オリジナルと改変された可能性のある画像からなる画像ペアから算出される。この場合、算出は、画像全体、又は関連する画像部分に関連付けることができる。したがって、メトリクスは、画像全体、画像の一部分、一連の画像、又は一連の画像部分から算出することができる。
最も関連性の高いメトリクスを抽出するために、これらのメトリクスからサブセットを作成することができる。これは、手動で行うことができる、又は機械学習（この場合、自動的な特徴抽出を用いる）に基づいて行うことができる。
この様なメトリクスを単独で見ると、様々な攻撃の大きな拡散やオーバーラップが頻繁に起こる。
この知見は、ここで評価された全てのメトリクスで一貫していて、攻撃をより適切に互いに分離できる様にするために、異なるメトリクスの組合わせを示唆している。一つのメトリクスだけでは、画像の変化を十分に説明するために、又は変化を攻撃クラスに割り当てたりすることができる様にするために、十分ではない。よって、攻撃クラスを認識するためには、十分なメトリクスのセットが必要である。これらのメトリクスは、機械学習で自動的に学習することができる、又は手動で定義することができる。
メトリクスの組合わせによって、対応する空間での攻撃が分離可能になる。
異なる二次元の組合わせにより、空間での攻撃の分離が異なる。この知見は、高次元空間での複数のメトリクスの組合わせを強める。
認識するための方法は、以下の様に要約することができる。
Ａ）トレーニング方法（トレーニングフェーズ）。
－二枚の画像間の違いを定量化するメトリクスの算出。これらのメトリクスは、手動で定義することができる（ＳＳＩＭ；Ｌ １－ノルム、Ｌ２－ノルム、ＫＬ－ダイバージェンス、ＭＳＥ、ＭＡＥ、ＰＳＮＲ、Ｌ∞ ノルム、Ｌ０ ノルム、エッジメトリクス、ハッシュメトリクス、並びにフーリエ変換メトリクス等）、又は機械学習に基づいて自動的に学習することができる。
－メトリクスに基づく多次元の特徴空間の構築。
－オプション。自動化された特徴抽出、又は手動による最も関連性の高い特徴の選択。
－メトリクスに基づく分類手段の学習。
Ｂ）ランタイムでの（テストフェーズ）推論。
－画像ペアに対するメトリクスの算出。
－特徴空間内の変換。
－トレーニングフェーズで学習した分類手段の使用。
Ｃ）拡張。
－深層学習と表現学習を使用することで、特徴抽出、特徴削減及び分類を統合し、１つのステップで一緒に学習することができる。
以下では、攻撃をオンライン認識するための自動化された画像ベースの検出システムの範囲内で、上述した攻撃クラスの認識を使用するための更なる様態と実施形態を説明する。
攻撃検出及び攻撃分類の使用は、安全性が重要な検出システムの画像を送信する場合に、送信時や送信中の攻撃を認識することができるため有利である。
例えば、クラウドへ、インターネットへ、又はＷＬＡＮを介して画像を送信する場合、画像は、様々なノードを通過する。そこで攻撃される可能性がある。この使用では、以前のノードからの基準画像が利用可能である。
その他の使用例としては、携帯デバイスとオンラインデータベース間、又は二つのオンラインデータベース間での画像送信が挙げられる。
車両とオンラインデータベース間、車両内の二つのプロセッサ間、又は組み込まれているシステムの二つのプロセッサ間の画像データ送信は、さらに有利な用途である。
認識方法は、安全性が重要な認識システム内に、以下の様に一体化することができる。
ａ）入力データが、敵対的攻撃にさらされる可能性のある画像から構成される。
ｂ）入力画像の他に、攻撃にさらされていない基準画像が存在する。基準画像は、他のカメラセンサの部分画像、時間的にシフトした画像、前若しくは後続のシステムコンポーネントからの画像、又はインターネットからのシーン（例えば、道路交通シーン）の基準画像であり得る。
ｃ）上述の攻撃認識が、攻撃又は攻撃クラスを特定する。
ｄ）攻撃又は攻撃クラスに基づいて、判断システムが判断を下す。この判断は、以下の事項が含まれる。
Ｄ１）攻撃を検出しない、又はクリティカルではない攻撃を検出。システムは、通常モードで作動を続ける。
Ｄ２）画像上の画素の妨害を引き起こす可能性のあるその他の問題（例えば露出過多、覆い隠し、汚れ）を検出。
Ｄ３）クリティカルな攻撃クラス、つまり攻撃の検出。攻撃／攻撃クラスに基づいて選択された防衛戦略による攻撃に対する防衛。
攻撃クラス用の認識システムは、様々な攻撃クラスに合わせた防衛戦略を開発するために必要である。
本発明は、画像の変化に基づいて「敵対的攻撃」を認識し、攻撃クラスを決定することを可能にする。これにより、攻撃クラスに基づいた防衛方法の選択と、攻撃（クリティカルな攻撃、又はクリティカルでない攻撃）の進め方を決定するための判断システムの使用が可能になる。
方法の別の用途は、認識アルゴリズムの画像処理パイプラインの処理ステップによって、画像の変化を認識することである。
車両のカメラベースのセンサへの一体化の例である。
Ａ）車両によって撮影されたデータをオンラインデータベースへの転送
将来的には、車載カメラによって把握されたオリジナル画像を、オンラインデータベース（例えば、クラウド）に無線（Ｖ２Ｘ通信）で送信できる様になる。クラウドサービスは、送信された画像の更なる処理（自動検出）を実行できる。ここで、攻撃の可能性のあるアタックポイントは、例えばインターネット経由などのデータ転送であり得る。攻撃者は、クラウドサービスによって自動検出する前に、クラウドコンピューティングに必要なインターフェースを介して送信された画像データにアクセスすることができる。基準画像は、以前の処理ステップからなる画像であり、例えば、インターネット上の以前のノード、又は、車両からカメラによって、（車両内に存在する）撮影されたオリジナル画像である。攻撃によるアタック及び攻撃クラスは、画像と基準画像に基づいて識別できる。攻撃のチェックは、定義された間隔、例えば、１００画像送信毎に行うことができる。
Ｂ）自律走行車両におけるマルチカメラシステム
ここでは、一つ又は複数のカメラセンサのソフトウェアが、攻撃を受ける可能性がある。基準画像は、異なるカメラからの同じシーンを、オーバーラップして撮影したもの又は時間的にシフトして撮影したものであり得る。攻撃が疑われる場合、攻撃認識を使用して攻撃クラスを決定し、適切な防衛メカニズムを選択することができる。
以下、実施例と図を詳しく説明する。
二台のカメラセンサと認識ユニットを備えた車両のカメラシステムを示す。 カメラシステムと画像データのデータ転送を示す。 様々な攻撃と異なるネットワークアーキテクチャに対するメトリクスの値のばらつきを示す。 敵対的攻撃を認識するための方法の手順を概略的に示す。
図１は、二台のカメラセンサを備える車両のカメラシステムを概略的に示している。第一カメラセンサ１は、基準画像として使用する第一画像を把握し、第一画像を認識ユニット１０に提供する。第二カメラセンサ２は、この例では、操作された可能性のある画像として使用する第二画像を把握し、かつ第二画像を認識ユニット１０に提供する。認識ユニットは、第一画像及び第二画像を処理し、その差に基づいて、敵対的攻撃が存在するかどうか、存在する場合には、その差をどの攻撃クラスに割り当てることができるかを分類する。
敵対的攻撃のクラスは、インターフェース１１を介して出力される。様々な実際の敵対的攻撃クラスに加え、どの敵対的攻撃にも対応しないクラスも指定できる。
図２は、カメラシステム、及び画像データのデータ送信を示す。
示されているカメラシステムは、画像データを中間ユニット５へ送信することができる一体化したデータインターフェース４を備えるカメラ３を備える。オプションとして、画像データをオリジナル画像として認識ユニット１０へ直接送信することもできる。中間ユニット５からは、画像データがさらにターゲットユニット６へ送信され、そして、オプションとして、認識ユニット１０へも送信される。画像データの操作をチェックできるように、画像データは、ターゲットユニット６から認識ユニット１０へ送信される。ターゲットユニット６は、例えば、オンラインデータベース、クラウド、又はバックボーンサーバであり得る。ここで、攻撃の可能性のあるアタックポイントは、例えばインターネット経由で行われるデータ転送であり得る。中間にあるユニット５は、例えば、そのインターネットの画像データを基準画像として使用することができる、インターネット内の前のノードであり得る。車両で撮影された画像は、一体化したデータインターフェース４から基準画像として認識ユニット１０に直接送信することができる。攻撃によるアタック及び攻撃クラスは、画像と関連する基準画像に基づいて識別できる。攻撃のチェックは、定義された間隔、例えば１００画像送信毎に実行できる。
図３は、様々な攻撃と異なるネットワークアーキテクチャに対するメトリクスの値の、実施例から算出したばらつきを、示している。
メトリクスは、基準画像又はオリジナル画像、並びに、操作された可能性のある画像からなる画像ペアに基づいて算出される。この場合、算出を、画像全体、又は関連する画像部分に適用することができる。
この様なメトリクスを単独で見ると、様々な攻撃の大きな拡散やオーバーラップが頻繁に起こる。図３では、Ｌ＿ｉｎｆノルム（Ｌ∞ ノルム）のばらつきは、使用されたメトリクスとして示されている。ネットワークアーキテクチャとして、ＶＧＧ１６、ＲｅｓＮｅｔ５０モデル、及びＩｎｃｅｐｔｉｏｎＶ３を使用する。ＶＧＧ１６、ＲｅｓＮｅｔ５０、及びＩｎｃｅｐｔｉｏｎＶ３は、主に画像処理の分野で、特にオブジェクト認識と分類に使用される、よく知られて広く使用されているニューラルネットワークのアーキテクチャである。この場合、アーキテクチャは、結合された処理ステップの複雑さとネットワーク内の分岐が、基本的には相違する。その際、表面的な評価では、基礎となる理論的なモデルに基づいて、ＶＧＧ１６は最も複雑ではなく、ＩｎｃｅｐｔｉｏｎＶ３が最も複雑な構造であると言える。
図３で評価された攻撃は、（左から右、又は凡例では、上から下に）：Ｌ－ＢＦＧＳ攻撃（Ｌ－ＢＦＧＳ Ａｔｔａｃｋ）、勾配符号攻撃（Ｇｒａｄｉｅｎｔ Ｓｉｇｎ Ａｔｔａｃｋ）、顕著性マップ攻撃（Ｓａｌｉｅｎｃｙ Ｍａｐ Ａｔｔａｃｋ）、ＤｅｅｐＦｏｏｌ攻撃、ＡＤｅｆ攻撃、勾配攻撃（Ｇｒａｄｉｅｎｔ Ａｔｔａｃｋ）、反復勾配攻撃（Ｉｔｅｒａｔｉｖｅ Ｇｒａｄｉｅｎｔ Ａｔｔａｃｋ）、反復勾配符号攻撃（Ｉｔｅｒａｔｉｖｅ Ｇｒａｄｉｅｎｔ Ｓｉｇｎ Ａｔｔａｃｋ）、ローカル検索攻撃（Ｌｏｃａｌ Ｓｅａｒｃｈ Ａｔｔａｃｋ）、及びコントラスト解像度攻撃（Ｃｏｎｔｒａｓｔ Ｒｅｓｏｌｕｔｉｏｎ Ａｔｔａｃｋ）。（アーキテクチャに対する）攻撃は、メトリクスで測定された特徴的な拡散（フットプリント）を有している。
複数のメトリクス、即ち、高次元の特徴量記述子を使用することにより、個々の攻撃を区別し、かつ認識するために、分類手段をトレーニングすることができる。次元削減によって、これらの高次元の空間が、二次元空間よりも、より優れた分離をもたらすことが示される可能性がある。
１２回の攻撃からなるセット（即ち、８．３３％の推定確率）における、様々な標準分離手段の精度、並びに、メトリクスの様々な組合わせを表１にまとめた：
Figure 0007248807000001
これらのメトリクスのみであっても、選択された分類手段によって良好な認識精度を達成できることが明確に見て取れる。結果を詳しく見れば、個々の異なる攻撃が攻撃クラスを形成する。クラスに基づいて認識精度を算出すると、ほぼ１００％に近い割合で得られる。
図４は、敵対的攻撃を認識するための方法の手順を概略的に示す。
ステップＳ１２では、オリジナル画像（基準画像）と操作された可能性のある画像が提供される。
ステップＳ１４では、異なる方法で、オリジナル画像と操作された可能性のある画像との間の差異を異なる方法で定量化するｎ個のマトリクスのセットが算出される。ここでは、ｎは、「１」よりも大きな自然数である。
ステップＳ１６では、ｎ個の算出されたメトリクスに基づいて、ｎ次元の特徴空間が構築される。言い換えれば、ｎ個の算出されたメトリクスを備える特徴ベクトルが形成される。
オプションとして、最も関連性の高いメトリクスを選択することができ、これにより、次元ｎが減少する。最も関連性の高いメトリクスの選択は、特徴抽出（Ｆｅａｔｕｒｅ Ｅｘｔｒａｃｔｉｏｎ）によって行うことができる、又は手動で選択することによって行うことができる。
ステップＳ１８では、特徴ベクトルが分類される。分類手段は、異なる敵対的攻撃クラスと、それに対応するメトリクス又はメトリクスベクトルからなるトレーニングデータを用いて事前にトレーニングさせた。
好ましくは、深層学習と表現学習を使用して、特徴抽出（“Ｆｅａｔｕｒｅ Ｅｘｔｒａｃｔｉｏｎ”）、特徴削減（“Ｄｉｍｅｎｓｉｏｎａｌｉｔｙ Ｒｅｄｕｃｔｉｏｎ”）及び分類（“Ｃｌａｓｓｉｆｉｃａｔｉｏｎ”）を統合し、１つのステップで一緒に学習することができる。
特定された攻撃クラスは、ステップＳ２０で出力することができる。
特に、ステップＳ２２において、特定された攻撃クラスに基づいて判断を行う判断システムに対して出力できる。これは、例えば、以下を含む。
Ｄ１）攻撃を検出しない、又はクリティカルではない攻撃の検出。この場合では、システムは、通常モードで作動を続ける。
Ｄ２）画像上の画素の妨害を引き起こす可能性のあるその他の問題（例えば、露出過多、覆い隠し、汚れ）の検出。
Ｄ３）（クリティカルな）攻撃クラス、つまり攻撃の検出。攻撃クラスに基づいて選択された防衛戦略による攻撃に対する防衛、即ち、ステップＳ３０における特定の対策の開始。
なお、本願は、特許請求の範囲に記載の発明に関するものであるが、他の観点として以下を含む。
１．自動化された検出システムに対する敵対的攻撃を認識及び分類する方法であって、
当該方法は、以下のステップ、即ち、
ａ）基準画像シグナル／基準ビデオシグナル／基準オーディオシグナル、及び操作された可能性のある画像シグナル／ビデオシグナル／オーディオシグナルの提供するステップ（Ｓ１２）と、
ｂ）基準シグナル及び操作された可能性のあるシグナルとの間の違いを、様々な方法で定量化するｎ個のメトリクスのセットを算出するステップ（１４）であって、ｎは、「１」以上の自然数である、ステップ（Ｓ１４）と、
ｃ）算出されたメトリクスに基づいて、ｎ次元の特徴空間を構築するステップ（Ｓ１６）と、
ｄ）ｎ次元の特徴空間内において算出されたメトリクスを用いて敵対的攻撃の種類を分類するステップ（Ｓ１８）と、
ｅ）敵対的攻撃のクラスを出力するステップ（Ｓ２０）とを備えることを特徴とする方法。
２．ｆ）危機的（Ｅ１）であるとして認識された敵対的攻撃のクラスに対して特定の対策を開始するステップ（Ｓ３０）を備えることを特徴とする上記１に記載の方法。
３．自動化された検出システムは、車両のカメラベースのセンサシステムを備え、操作された可能性のあるシグナルが、前記カメラベースのセンサシステムの少なくとも一台のカメラによって撮影された画像シグナル又はビデオシグナルであることを特徴とする上記１又は２に記載の方法。
４．敵対的攻撃を認識する方法は、車両からオンラインデータベースへのシグナルデータ転送中に実施されることを特徴とする上記３に記載の方法。
５．検出システムは、車両内のマルチカメラシステムを備え、操作された可能性のある画像シグナル又はビデオシグナル、及び基準画像シグナル又はビデオシグナルが、異なる単一カメラによる同じシーンを、オーバーラップして撮影したもの又は時間的にシフトして撮影したものであることを特徴とする上記３に記載の方法。
６．メトリクスの算出は、操作された可能性のある画像全体に対して実施されることを特徴とする上記３から５までの何れか一つに記載の方法。
７．メトリクスの算出は、操作された可能性のある画像の一つの画像領域に対して実施されることを特徴とする上記３から５までの何れか一つに記載の方法。
８．メトリクスの算出は、一連の画像、又は一連の画像領域に対して実施されることを特徴とする上記３から７までの何れか一つに記載の方法。
９．ｎ個のメトリクスが複数のメトリクスを含み、このメトリクスが、以下の群、即ち、
ＳＳＩＭ；Ｌ １ －ノルム、Ｌ ２ －ノルム、ＫＬ－ダイバージェンス、ＭＳＥ、ＭＡＥ、ＰＳＮＲ、Ｌ ∞ ノルム、Ｌ ０ ノルム、エッジメトリクス、ハッシュメトリクス、及びフーリエ変換メトリクス、
から選択されることを特徴とする上記３から８までの何れか一つに記載の方法。
１０．サブセットは、最も関連性の高いｍ個のメトリクスを抽出するためにｎ個のメトリクスから作成され、ｍは、ｎよりも小さい自然数であり、かつステップｄ）では、ｍ次元の特徴空間内において算出されたメトリクスを用いて分類することを特徴とする上記１から９までのうち何れか一つに記載の方法。
１１．サブセットの作成が、機械学習に基づいて実施され、かつこれらのメトリクスが、表現学習を使用して自動的に学習されることを特徴とする上記１０に記載の方法。
１２．自動化された検出システムに対する敵対的攻撃を認識するシステムであって、
入力インターフェース、認識ユニット（１０）、及び出力インターフェース（１１）を備える当該システムにおいて、
－入力インターフェースが、基準画像シグナル／基準ビデオシグナル／基準オーディオシグナル、及び操作された可能性のある画像シグナル／ビデオシグナル／オーディオシグナルを受信し、認識ユニット（１０）へ提供するように構成されていて、
－認識ユニット（１０）は、
・基準画像シグナル／基準ビデオシグナル／基準オーディオシグナル、及び操作された可能性のある画像シグナル／ビデオシグナル／オーディオシグナルとの間の違いを、様々な方法で定量するｎ個のメトリクスのセットを算出する、かつ
・算出されたメトリクスに基づいて、ｎ次元の特徴空間を構築する、かつ
・ｎ次元の特徴空間内において算出されたメトリクスを用いて敵対的攻撃の種類を分類する、
ように構成されていて、並びに
－出力インターフェース（１１）は、認識ユニット（１０）によって割出された敵対的攻撃のクラスを出力することができるように構成されていることを特徴とするシステム。

Claims (12)

  1. 自動化された検出システムに対する敵対的攻撃を認識及び分類する方法であって、
    当該方法は、以下のステップ、即ち、
    ａ）基準画像シグナル、基準ビデオシグナル、又は基準オーディオシグナル、及び操作された可能性のある画像シグナル、ビデオシグナル、又はオーディオシグナルの提供するステップ（Ｓ１２）と、
    ｂ）基準シグナル及び操作された可能性のあるシグナルとの間の違いを、様々な方法で定量化するｎ個のメトリクスのセットを算出するステップ（１４）であって、ｎは、「１」以上の自然数である、ステップ（Ｓ１４）と、
    ｃ）算出されたメトリクスに基づいて、ｎ次元の特徴空間を構築するステップ（Ｓ１６）と、
    ｄ）ｎ次元の特徴空間内において算出されたメトリクスを用いて敵対的攻撃の種類を分類するステップ（Ｓ１８）と、
    ｅ）敵対的攻撃のクラスを出力するステップ（Ｓ２０）とを備えることを特徴とする方法。
  2. ｆ）危機的（Ｅ１）であるとして認識された敵対的攻撃のクラスに対して特定の対策を開始するステップ（Ｓ３０）を備えることを特徴とする請求項１に記載の方法。
  3. 自動化された検出システムは、車両のカメラベースのセンサシステムを備え、操作された可能性のあるシグナルが、前記カメラベースのセンサシステムの少なくとも一台のカメラによって撮影された画像シグナル又はビデオシグナルであることを特徴とする請求項１又は２に記載の方法。
  4. 敵対的攻撃を認識する方法は、車両からオンラインデータベースへのシグナルデータ転送中に実施されることを特徴とする請求項３に記載の方法。
  5. 検出システムは、車両内のマルチカメラシステムを備え、操作された可能性のある画像シグナル又はビデオシグナル、及び基準画像シグナル又はビデオシグナルが、異なる単一カメラによる同じシーンを、オーバーラップして撮影したもの又は時間的にシフトして撮影したものであることを特徴とする請求項３に記載の方法。
  6. メトリクスの算出は、操作された可能性のある画像全体に対して実施されることを特徴とする請求項３から５までの何れか一項に記載の方法。
  7. メトリクスの算出は、操作された可能性のある画像の一つの画像領域に対して実施されることを特徴とする請求項３から５までの何れか一項に記載の方法。
  8. メトリクスの算出は、一連の画像、又は一連の画像領域に対して実施されることを特徴とする請求項３から７までの何れか一項に記載の方法。
  9. ｎ個のメトリクスが複数のメトリクスを含み、このメトリクスが、以下の群、即ち、
    ＳＳＩＭ；Ｌ１－ノルム、Ｌ２－ノルム、ＫＬ－ダイバージェンス、ＭＳＥ、ＭＡＥ、ＰＳＮＲ、Ｌ∞ノルム、Ｌ０ノルム、エッジメトリクス、ハッシュメトリクス、及びフーリエ変換メトリクス、
    から選択されることを特徴とする請求項３から８までの何れか一項に記載の方法。
  10. サブセットは、最も関連性の高いｍ個のメトリクスを抽出するためにｎ個のメトリクスから作成され、ｍは、ｎよりも小さい自然数であり、かつステップｄ）では、ｍ次元の特徴空間内において算出されたメトリクスを用いて分類することを特徴とする請求項１から９までのうち何れか一項に記載の方法。
  11. サブセットの作成が、機械学習に基づいて実施され、かつこれらのメトリクスが、表現学習を使用して自動的に学習されることを特徴とする請求項１０に記載の方法。
  12. 自動化された検出システムに対する敵対的攻撃を認識するシステムであって、
    入力インターフェース、認識ユニット（１０）、及び出力インターフェース（１１）を備える当該システムにおいて、
    －入力インターフェースが、基準画像シグナル、基準ビデオシグナル、又は基準オーディオシグナル、及び操作された可能性のある画像シグナル、ビデオシグナル、又はオーディオシグナルを受信し、認識ユニット（１０）へ提供するように構成されていて、
    －認識ユニット（１０）は、
    ・基準画像シグナル、基準ビデオシグナル、又は基準オーディオシグナル、及び操作された可能性のある画像シグナル、ビデオシグナル、又はオーディオシグナルとの間の違いを、様々な方法で定量するｎ個のメトリクスのセットを算出する、かつ
    ・算出されたメトリクスに基づいて、ｎ次元の特徴空間を構築する、かつ
    ・ｎ次元の特徴空間内において算出されたメトリクスを用いて敵対的攻撃の種類を分類する、
    ように構成されていて、並びに
    －出力インターフェース（１１）は、認識ユニット（１０）によって割出された敵対的攻撃のクラスを出力することができるように構成されていることを特徴とするシステム。
JP2021545871A 2019-03-28 2020-03-17 敵対的攻撃の自動認識及び分類 Active JP7248807B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102019204318.6 2019-03-28
DE102019204318.6A DE102019204318A1 (de) 2019-03-28 2019-03-28 Automatische Erkennung und Klassifizierung von Adversarial Attacks
PCT/DE2020/200018 WO2020192849A1 (de) 2019-03-28 2020-03-17 Automatische erkennung und klassifizierung von adversarial attacks

Publications (2)

Publication Number Publication Date
JP2022519868A JP2022519868A (ja) 2022-03-25
JP7248807B2 true JP7248807B2 (ja) 2023-03-29

Family

ID=70056780

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021545871A Active JP7248807B2 (ja) 2019-03-28 2020-03-17 敵対的攻撃の自動認識及び分類

Country Status (5)

Country Link
US (1) US20220174089A1 (ja)
JP (1) JP7248807B2 (ja)
CN (1) CN113474792A (ja)
DE (2) DE102019204318A1 (ja)
WO (1) WO2020192849A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021171090A1 (en) * 2020-02-28 2021-09-02 Darktrace, Inc. An artificial intelligence adversary red team
EP3944159A1 (en) * 2020-07-17 2022-01-26 Tata Consultancy Services Limited Method and system for defending universal adversarial attacks on time-series data
US12008079B1 (en) * 2020-08-03 2024-06-11 Hrl Laboratories, Llc Process to make machine object detection robust to adversarial attacks
DE102020213058A1 (de) 2020-10-15 2022-04-21 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum teilautomatisierten oder vollautomatisierten Steuern eines Fahrzeugs
CN112949678B (zh) * 2021-01-14 2023-05-02 西安交通大学 深度学习模型对抗样本生成方法、***、设备及存储介质
DE102021112169A1 (de) 2021-05-10 2022-11-10 Bayerische Motoren Werke Aktiengesellschaft Erkennen eines manipulierten Eingangssignals für einen Klassifikator eines Kraftfahrzeugs
JP6971514B1 (ja) * 2021-07-13 2021-11-24 望 窪田 情報処理装置、情報処理方法及びプログラム
CN113879334A (zh) * 2021-09-30 2022-01-04 郑州师范学院 一种适用于车辆自动驾驶的机器学习对抗攻击识别***
CN115021965B (zh) * 2022-05-06 2024-04-02 中南民族大学 一种基于生成式对抗网络的入侵检测***的攻击数据的生成方法及***
KR102615055B1 (ko) * 2022-08-03 2023-12-19 숭실대학교 산학협력단 적대적 이미지 복원 시스템 및 적대적 이미지 복원 방법
CN116843921A (zh) * 2023-09-01 2023-10-03 南京棋谋智胜信息科技有限公司 基于扰动的显著性图生成算法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010087124A1 (ja) 2009-01-29 2010-08-05 日本電気株式会社 特徴量選択装置
WO2014042514A2 (en) 2012-09-12 2014-03-20 Mimos Berhad A surveillance system and a method for tampering detection and correction
JP2014182440A (ja) 2013-03-18 2014-09-29 Fujitsu Ltd 映像特徴生成システム、映像特徴生成方法、映像特徴生成プログラム、映像照合システム、映像照合方法、映像照合プログラム
JP2016157455A (ja) 2016-03-30 2016-09-01 株式会社ユピテル ドライブレコーダおよびプログラム
JP2018165926A (ja) 2017-03-28 2018-10-25 株式会社Ｎｔｔドコモ 類似画像検索装置
WO2018230366A1 (ja) 2017-06-16 2018-12-20 ソニーセミコンダクタソリューションズ株式会社 信号処理装置および方法、並びにプログラム
JP2019036865A (ja) 2017-08-17 2019-03-07 沖電気工業株式会社 通信解析装置、通信解析プログラム、及び通信解析方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012045317A1 (en) * 2010-10-04 2012-04-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Detecting manipulations of digital video stream data
CN102184537B (zh) * 2011-04-22 2013-02-13 西安理工大学 基于小波变换和主成分分析的图像区域篡改检测方法
DE102011056671A1 (de) * 2011-12-20 2013-06-20 Conti Temic Microelectronic Gmbh Bestimmung eines Höhenprofils einer Fahrzeugumgebung mittels einer 3D-Kamera
DE102013209940A1 (de) * 2013-05-28 2014-12-04 Conti Temic Microelectronic Gmbh Kamerasystem für Fahrzeuge
US10339362B2 (en) * 2016-12-08 2019-07-02 Veridium Ip Limited Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
CN105261013B (zh) * 2015-09-25 2018-04-13 孙高磊 一种扫描图像质量综合评价方法及评价***
US9971953B2 (en) * 2015-12-10 2018-05-15 Intel Corporation Visual recognition using deep learning attributes
US10800434B1 (en) * 2020-03-07 2020-10-13 James E. Beecham Method and system for mitigating anticipated risks in self-driving vehicles via use of malicious roadway falsified appearances
US10733294B2 (en) * 2017-09-11 2020-08-04 Intel Corporation Adversarial attack prevention and malware detection system
CN108335289A (zh) * 2018-01-18 2018-07-27 天津大学 一种全参考融合的图像客观质量评价方法
US10944767B2 (en) * 2018-02-01 2021-03-09 International Business Machines Corporation Identifying artificial artifacts in input data to detect adversarial attacks
CN108399382A (zh) * 2018-02-13 2018-08-14 阿里巴巴集团控股有限公司 车险图像处理方法和装置
CN108491837B (zh) * 2018-03-07 2021-12-17 浙江工业大学 一种提高车牌攻击鲁棒性的对抗攻击方法
US11132444B2 (en) * 2018-04-16 2021-09-28 International Business Machines Corporation Using gradients to detect backdoors in neural networks
CN113811473A (zh) * 2019-03-29 2021-12-17 英特尔公司 自主交通工具***
US11042799B2 (en) * 2019-08-20 2021-06-22 International Business Machines Corporation Cohort based adversarial attack detection

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010087124A1 (ja) 2009-01-29 2010-08-05 日本電気株式会社 特徴量選択装置
WO2014042514A2 (en) 2012-09-12 2014-03-20 Mimos Berhad A surveillance system and a method for tampering detection and correction
JP2014182440A (ja) 2013-03-18 2014-09-29 Fujitsu Ltd 映像特徴生成システム、映像特徴生成方法、映像特徴生成プログラム、映像照合システム、映像照合方法、映像照合プログラム
JP2016157455A (ja) 2016-03-30 2016-09-01 株式会社ユピテル ドライブレコーダおよびプログラム
JP2018165926A (ja) 2017-03-28 2018-10-25 株式会社Ｎｔｔドコモ 類似画像検索装置
WO2018230366A1 (ja) 2017-06-16 2018-12-20 ソニーセミコンダクタソリューションズ株式会社 信号処理装置および方法、並びにプログラム
JP2019036865A (ja) 2017-08-17 2019-03-07 沖電気工業株式会社 通信解析装置、通信解析プログラム、及び通信解析方法

Also Published As

Publication number Publication date
DE112020001597A5 (de) 2022-02-24
JP2022519868A (ja) 2022-03-25
US20220174089A1 (en) 2022-06-02
DE102019204318A1 (de) 2020-10-01
WO2020192849A1 (de) 2020-10-01
CN113474792A (zh) 2021-10-01

Similar Documents

Publication Publication Date Title
JP7248807B2 (ja) 敵対的攻撃の自動認識及び分類
US10181090B2 (en) Secure and private tracking across multiple cameras
Wu et al. Deep matching and validation network: An end-to-end solution to constrained image splicing localization and detection
CN106415594B (zh) 用于面部验证的方法和***
US20200012923A1 (en) Computer device for training a deep neural network
US11321945B2 (en) Video blocking region selection method and apparatus, electronic device, and system
CN110674800B (zh) 一种人脸活体检测方法、装置、电子设备及存储介质
US20220327189A1 (en) Personalized biometric anti-spoofing protection using machine learning and enrollment data
CN112614187A (zh) 回环检测方法、装置、终端设备和可读存储介质
KR20150062880A (ko) 특징점 매칭을 이용한 영상매칭 방법
CN108875505B (zh) 基于神经网络的行人再识别方法和装置
CN110610123A (zh) 一种多目标车辆检测方法、装置、电子设备及存储介质
Mehta et al. Face detection and tagging using deep learning
US20230104196A1 (en) Device and a Method for Processing Data Sequences Using a Convolutional Neural Network
KR20200069911A (ko) 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법 및 장치
CN112580480A (zh) 一种高光谱遥感影像分类方法及装置
Wohlhart et al. Discriminative Hough Forests for Object Detection.
Cannas et al. Panchromatic imagery copy-paste localization through data-driven sensor attribution
KR20170005273A (ko) 얼굴 정렬을 위한 특징점별 특징을 추출하기 위한 서술자 생성 시스템 및 이를 이용한 특징점별 서술자 생성 방법
CN112381149A (zh) 一种基于深度学习用于源相机识别的合理对抗分析方法
WO2020192868A1 (en) Event detection
Hsiao et al. More accurate and robust PRNU-based source camera identification with 3-step 3-class approach
WO2022217294A1 (en) Personalized biometric anti-spoofing protection using machine learning and enrollment data
JP2018036870A (ja) 画像処理装置及びプログラム
Bhabad et al. Object detection for night vision using deep learning algorithms

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210805

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220810

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221107

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20230105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230316

R150 Certificate of patent or registration of utility model

Ref document number: 7248807

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150