JP7279685B2 - 情報処理システム - Google Patents

情報処理システム Download PDF

Info

Publication number
JP7279685B2
JP7279685B2 JP2020076792A JP2020076792A JP7279685B2 JP 7279685 B2 JP7279685 B2 JP 7279685B2 JP 2020076792 A JP2020076792 A JP 2020076792A JP 2020076792 A JP2020076792 A JP 2020076792A JP 7279685 B2 JP7279685 B2 JP 7279685B2
Authority
JP
Japan
Prior art keywords
output
input data
amount
data
perturbation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020076792A
Other languages
English (en)
Other versions
JP2021174199A (ja
Inventor
真太朗 福島
健行 笹井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020076792A priority Critical patent/JP7279685B2/ja
Priority to DE102021109276.0A priority patent/DE102021109276A1/de
Priority to US17/232,405 priority patent/US11810338B2/en
Priority to CN202110410968.1A priority patent/CN113554179B/zh
Publication of JP2021174199A publication Critical patent/JP2021174199A/ja
Application granted granted Critical
Publication of JP7279685B2 publication Critical patent/JP7279685B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、情報処理システムに関する。
非特許文献１には、ニューラルネットワークを用いて予め学習された学習済みモデルへの入力データに対する学習済みモデルの出力データの範囲を厳密に同定する技術が開示されている。
Xiang, Tran and Johnson, Reachable Set Computation and Safety Verification for Neural Networks with ReLU Activations (arXiv2017).
非特許文献１に記載の技術では、計算量が膨大であり、現実的ではないため、計算量の低減という観点で改善の余地がある。また、非特許文献１に記載の技術は、学習済みモデルにデータを入力して得られる出力データの信頼性を評価するものではない。
本発明は、以上の事実を考慮して成されたもので、計算量を低減しつつ、学習済みモデルにデータを入力して得られる出力データの信頼性を評価可能とすることを目的とする。
請求項１に記載の情報処理システムは、第１の入力データを予め学習された学習済みモデルへ入力することによって前記学習済みモデルから得られた第１の出力データに対する、前記第１の入力データに定められた摂動量の摂動を加えた第２の入力データを前記学習済みモデルへ入力することによって前記学習済みモデルから得られた第２の出力データの変化量が予め定められた閾値以下であるか否かの判定を行う第１判定部と、前記第１判定部により前記変化量が前記閾値以下であると判定された前記第１の入力データと前記摂動量とを表す情報として、前記第１の入力データを前記第１の入力データと同じ次元を有する空間の一点として表し、かつ前記一点を中心とした半径が前記摂動量の超球を出力する第１出力部と、を備えた情報処理装置、及び 前記学習済みモデルに入力するための第３の入力データを取得する取得部と、前記第３の入力データを前記第３の入力データと同じ次元を有する空間の一点として表した場合に、前記第１出力部により出力された超球に含まれるか否かの判定を行うことによって、前記第３の入力データが、前記第１出力部により出力された情報が表す前記第１の入力データを基準とする前記摂動量の範囲内に含まれるか否かの判定を行う第２判定部と、前記第２判定部により前記範囲内に含まれないと判定された前記第３の入力データを出力する第２出力部と、を備えた制御装置を含み、前記第１判定部は、前記第２出力部により出力された第３の入力データを前記第１の入力データとして前記判定を行い、前記第１出力部は、前記第１判定部により前記変化量が前記閾値以下であると判定された前記第３の入力データと前記摂動量とを表す情報を更に出力する。
請求項１に記載の情報処理システムによれば、情報処理装置により、第１の入力データを予め学習された学習済みモデルへ入力することによって学習済みモデルから得られた第１の出力データに対する、第１の入力データに定められた摂動量の摂動を加えた第２の入力データを学習済みモデルへ入力することによって学習済みモデルから得られた第２の出力データの変化量が予め定められた閾値以下であるか否かが判定される。また、情報処理装置により、変化量が閾値以下であると判定された第１の入力データと摂動量とを表す情報が出力される。また、制御装置により、学習済みモデルに入力するための第３の入力データが第１出力部により出力された情報が表す第１の入力データを基準とする摂動量の範囲内に含まれるか否かが判定される。また、制御装置により、上記範囲内に含まれないと判定された第３の入力データが出力される。そして、情報処理装置により、制御装置により出力された第３の入力データを第１の入力データとして上記判定が行われ、変化量が閾値以下であると判定された第３の入力データと摂動量とを表す情報が更に出力される。
従って、計算量を低減しつつ、学習済みモデルにデータを入力して得られる出力データの信頼性を評価することができる。
請求項２に記載の情報処理システムは、請求項１に記載の情報処理システムにおいて、前記第１判定部は、前記変化量が前記閾値を超える場合、前記第１の出力データに対する、前記摂動量を直前の値よりも小さくしたうえで再度得られた前記第２の出力データの変化量が前記閾値以下であるか否かを判定する処理を、前記変化量が前記閾値以下となるまで繰り返す。
請求項２に記載の情報処理システムよれば、変化量が閾値以下となるまで上記判定が繰り返されるため、学習済みモデルにデータを入力して得られる出力データの信頼性を精度良く評価することができる。
請求項１に記載の情報処理システムによれば、第１の入力データと摂動量とが超球で表現されるため、第１の入力データと摂動量とを表す情報を簡易に取り扱うことができる。
本発明によれば、計算量を低減しつつ、学習済みモデルにデータを入力して得られる出力データの信頼性を評価することができる、という効果が得られる。
情報処理システムの構成の一例を示すブロック図である。 情報処理装置のハードウェア構成の一例を示すブロック図である。 学習済みモデルを説明するための図である。 制御装置のハードウェア構成の一例を示すブロック図である。 情報処理装置及び制御装置の機能的な構成の一例を示すブロック図である。 第１出力処理の一例を示すフローチャートである。 第２出力処理の一例を示すフローチャートである。
以下、図面を参照して、本発明を実施するための形態例を詳細に説明する。
まず、図１を参照して、本実施形態に係る情報処理システム１０の構成を説明する。図１に示すように、情報処理システム１０は、情報処理装置１２及び制御装置１４を含む。情報処理装置１２は、テストフェーズで用いられる。情報処理装置１２の例としては、サーバコンピュータ等が挙げられる。制御装置１４は、車両に設けられる。また、制御装置１４は、運用フェーズで用いられる。制御装置１４の例としては、ＥＣＵ（Electronic Control Unit）等の車載のコンピュータが挙げられる。
次に、図２を参照して、本実施形態に係る情報処理装置１２のハードウェア構成を説明する。図２に示すように、情報処理装置１２は、ＣＰＵ（Central Processing Unit）２０、一時記憶領域としてのメモリ２１、及び不揮発性の記憶部２２を含む。また、情報処理装置１２は、液晶ディスプレイ等の表示部２３、キーボードとマウス等の入力部２４、及びネットワークに接続されるネットワークＩ／Ｆ（InterFace）２５を含む。ＣＰＵ２０、メモリ２１、記憶部２２、表示部２３、入力部２４、及びネットワークＩ／Ｆ２５は、バス２６に接続される。
記憶部２２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又はフラッシュメモリ等によって実現される。記憶媒体としての記憶部２２には、情報処理プログラム３０が記憶される。ＣＰＵ２０は、記憶部２２から情報処理プログラム３０を読み出してからメモリ２１に展開し、展開した情報処理プログラム３０を実行する。
また、記憶部２２には、学習済みモデル３２及び範囲データ３４が記憶される。学習済みモデル３２は、機械学習によって予め学習されたモデルであり、入力データである画像に写っている物体を特定するために用いられる。一例として図３に示すように、本実施形態に係る学習済みモデル３２は、１つの入力層、複数の中間層、及び１つの出力層を有するディープニューラルネットワークモデルである。学習済みモデル３２には、物体の画像が入力され、その入力に対応して、その画像に写っている物体の特定結果とその特定結果の確率とが出力される。物体の例としては、道路標識、交通信号機、車両、及び人等が挙げられる。なお、学習済みモデル３２は、ディープニューラルネットワークモデルに限定されない。また、範囲データ３４の詳細については後述する。
次に、図４を参照して、本実施形態に係る制御装置１４のハードウェア構成を説明する。図４に示すように、制御装置１４は、ＣＰＵ４０、一時記憶領域としてのメモリ４１、及び不揮発性の記憶部４２を含む。また、制御装置１４は、ネットワークに接続されるネットワークＩ／Ｆ４３、及び入出力Ｉ／Ｆ４４を含む。入出力Ｉ／Ｆ４４には、車載カメラ４６が接続される。ＣＰＵ４０、メモリ４１、記憶部４２、ネットワークＩ／Ｆ４３、及び入出力Ｉ／Ｆ４４は、バス４５に接続される。
記憶部４２は、ＨＤＤ、ＳＳＤ、又はフラッシュメモリ等によって実現される。記憶媒体としての記憶部４２には、制御プログラム５０が記憶される。ＣＰＵ４０は、記憶部４２から制御プログラム５０を読み出してからメモリ４１に展開し、展開した制御プログラム５０を実行する。また、記憶部４２には、記憶部２２と同様に学習済みモデル３２及び範囲データ３４が記憶される。
車載カメラ４６は、車両の車室内に搭載され、車両の前方を撮影して得られた画像を制御装置１４に出力する。
次に、図５を参照して、本実施形態に係る情報処理装置１２及び制御装置１４の機能的な構成を説明する。図５に示すように、情報処理装置１２は、第１取得部６０、導出部６２、第１判定部６４、及び第１出力部６６を含む。情報処理装置１２のＣＰＵ２０が情報処理プログラム３０を実行することにより、第１取得部６０、導出部６２、第１判定部６４、及び第１出力部６６として機能する。制御装置１４は、第２取得部７０、第２判定部７２、及び第２出力部７４を含む。制御装置１４のＣＰＵ４０が制御プログラム５０を実行することにより、第２取得部７０、第２判定部７２、及び第２出力部７４として機能する。
第１取得部６０は、テストデータｙ＿ｔを取得する。本実施形態に係るテストデータｙ＿ｔは、車載カメラ等の撮影装置により撮影された物体が写っている画像データである。テストデータｙ＿ｔが、開示の技術に係る第１の入力データに相当する。
導出部６２は、テストデータｙ＿ｔに加える摂動の摂動量εを導出する。具体的には、導出部６２は、以下の参考文献１に記載の手法を用いて、後述する閾値ＴＨを超える変化量の変化をもたらすテストデータｙ＿ｔへの摂動のうち、極力小さい（例えば、最小の）量を摂動量εとして導出する。ここでいう摂動の例としては、画像の数ピクセルの値を変化量の上限値を決めたうえで変化させたり、画素値の平均値の絶対値又は分散値の上限値を決めたうえでホワイトノイズを画像に対して付与したりすること等が挙げられる。なお、この上限値が摂動量εに対応することが多い。
参考文献１：Szegedy, Zaremba, Sutskever, Bruna, Erhan, Goodfellow and Fergus, Intriguing properties of neural networks, (ICLR2013).
第１判定部６４は、テストデータｙ＿ｔを学習済みモデル３２に入力することによって学習済みモデル３２から第１の出力データを得る。また、第１判定部６４は、テストデータｙ＿ｔに摂動量εの摂動を加えたテストデータｙ＿ｔεを学習済みモデル３２に入力することによって学習済みモデル３２から第２の出力データを得る。テストデータｙ＿ｔεが、開示の技術に係る第２の入力データに相当する。
第１判定部６４は、第１の出力データに対する第２の出力データの変化量Ｃを導出する。本実施形態では、変化量Ｃとして、第１の出力データとして学習済みモデル３２から出力された確率と、第２の出力データとして学習済みモデル３２から出力された確率との差の絶対値を適用した例を説明する。第１判定部６４は、導出した変化量Ｃが予め定められた閾値ＴＨ以下であるか否かを判定する。第１判定部６４は、変化量Ｃが閾値ＴＨを超える場合は、第１の出力データに対する、摂動量εを直前の値よりも小さくしたうえで再度得られた第２の出力データの変化量Ｃが閾値ＴＨ以下であるか否かを判定する処理を、変化量Ｃが閾値ＴＨ以下となるまで繰り返す。この場合における摂動量εをどの程度小さくするかは予め設定しておけばよく、例えば、直前の値よりも予め定められた割合（例えば、１％）だけ小さくすればよい。
第１出力部６６は、第１判定部６４により変化量Ｃが閾値ＴＨ以下であると判定されたテストデータｙ＿ｔと摂動量εとを表す情報を範囲データ３４として記憶部２２に出力（保存）する。本実施形態では、第１出力部６６は、テストデータｙ＿ｔをテストデータｙ＿ｔと同じ次元を有する空間の一点として表し、かつその一点を中心とした半径が摂動量εの超球を範囲データ３４として記憶部２２に出力する。例えば、テストデータｙ＿ｔがモノクロ画像（すなわち、各画素値が０又は１の２値の画像）で、かつ解像度が１０ピクセル×１０ピクセルの画像である場合、そのテストデータｙ＿ｔは、２×１０×１０次元の空間の一点として表すことができる。この超球は、摂動量εを加えても学習済みモデル３２の出力の変化量が小さい画像を表すものと言える。
情報処理装置１２は、複数の異なるテストデータｙ＿ｔそれぞれに対して以上の処理を行う。従って、範囲データ３４は、複数の異なるテストデータｙ＿ｔそれぞれについて求められた複数の超球の和集合となる。情報処理装置１２は、複数の異なるテストデータｙ＿ｔそれぞれに対して以上の処理を予め定められた並列数で並列に行うことによって計算時間を短縮することができる。この場合の並列数としては、例えば、ＣＰＵ２０が有するコア数を適用することができる。
以上の処理によって記憶部２２に記憶された範囲データ３４は、情報処理装置１２から制御装置１４に送信され、制御装置１４の記憶部４２にも記憶される。なお、第１出力部６６が、範囲データ３４を、ネットワークＩ／Ｆ２５を介して制御装置１４に出力（送信）してもよい。
第２取得部７０は、車載カメラ４６により撮影された画像データを、入出力Ｉ／Ｆ４４を介して取得する。この画像データは、例えば、制御装置１４が搭載された車両のイグニッションスイッチがオン状態とされている間、予め定められたフレームレートに従って車載カメラ４６により撮影される。以下では、この画像データを「本番データｙ＿ｈ」という。本番データｙ＿ｈが、開示の技術に係る学習済みモデル３２に入力するための第３の入力データに相当する。また、第２取得部７０が、開示の技術に係る取得部に相当する。本実施形態では、テストデータｙ＿ｔと本番データｙ＿ｈの次元数（すなわち、各画素のビット数及び画素数）が同じであるものとする。但し、テストデータｙ＿ｔと本番データｙ＿ｈの次元数が異なる場合は、同じ次元数になるようにテストデータｙ＿ｔと本番データｙ＿ｈの少なくとも一方に対して画像処理を行えばよい。
第２判定部７２は、本番データｙ＿ｈが、第１出力部６６により出力された情報が表すテストデータｙ＿ｔを基準とする摂動量εの範囲Ｒ内に含まれるか否かを判定する。具体的には、第２判定部７２は、本番データｙ＿ｈを本番データｙ＿ｈと同じ次元を有する空間の一点として表した場合に、範囲データ３４が表す複数の超球の和集合に含まれるか否かを判定する。
第２出力部７４は、第２判定部７２により本番データｙ＿ｈが範囲Ｒ内に含まれると判定された場合、その本番データｙ＿ｈを学習済みモデル３２に入力する。この入力に対応して学習済みモデル３２からは、本番データｙ＿ｈに含まれる物体の特定結果とその特定結果の確率とが出力される。この学習済みモデル３２からの出力は、例えば、車両の自動運転制御に使用される。
一方、第２出力部７４は、第２判定部７２により本番データｙ＿ｈが範囲Ｒ内に含まれないと判定された場合、その本番データｙ＿ｈを、ネットワークＩ／Ｆ４３を介して情報処理装置１２に出力（送信）する。情報処理装置１２は、このように制御装置１４から送信された本番データｙ＿ｈをテストデータｙ＿ｔとして取り扱う。すなわち、第１判定部６４は、第２出力部７４により出力された本番データｙ＿ｈをテストデータｙ＿ｔとして上記の判定を行う。そして、第１出力部６６は、第１判定部６４により変化量Ｃが閾値ＴＨ以下であると判定された本番データｙ＿ｈと摂動量εとを表す情報を範囲データ３４として記憶部２２に出力する。これにより、範囲Ｒ内に含まれない本番データｙ＿ｈが制御装置１４から情報処理装置１２にフィードバックされ、フィードバックされた本番データｙ＿ｈに基づいて、範囲データ３４が更新される。従って、学習済みモデル３２にデータを入力して得られる出力データの信頼性を評価することができる。
第２出力部７４は、範囲Ｒ内に含まれない本番データｙ＿ｈを記憶部４２に出力（保存）してもよい。この場合、第２出力部７４は、予め定められたタイミングで記憶部２２に記憶された本番データｙ＿ｈを情報処理装置１２に出力する。この予め定められたタイミングとしては、例えば、定期的なタイミング又は記憶部４２に記憶された本番データｙ＿ｈの数が一定数を超えたタイミング等が挙げられる。また、第２出力部７４は、第２判定部７２により本番データｙ＿ｈが範囲Ｒ内に含まれないと判定された場合、音声及びディスプレイへの表示の少なくとも一方によって警告を報知してもよい。
次に、図６を参照して、本実施形態に係る情報処理装置１２の作用について説明する。情報処理装置１２のＣＰＵ２０が情報処理プログラム３０を実行することによって、図６に示す第１出力処理が実行される。第１出力処理は、例えば、ユーザにより入力部２４を介して実行指示が入力された場合に実行される。また、第１出力処理は、複数のテストデータｙ＿ｔそれぞれについて並列に実行される。
図６のステップＳ１０で、第１取得部６０は、テストデータｙ＿ｔを取得する。ステップＳ１２で、導出部６２は、前述したように、ステップＳ１０で取得されたテストデータｙ＿ｔに加える摂動の摂動量εを導出する。
ステップＳ１４で、第１判定部６４は、ステップＳ１０で取得されたテストデータｙ＿ｔを学習済みモデル３２に入力することによって学習済みモデル３２から第１の出力データを得る。また、第１判定部６４は、ステップＳ１０で取得されたテストデータｙ＿ｔに摂動量εの摂動を加えたテストデータｙ＿ｔεを学習済みモデル３２に入力することによって学習済みモデル３２から第２の出力データを得る。この摂動量εは、ステップＳ１４が初回に実行される場合は、ステップＳ１２で導出された摂動量εであり、後述するステップＳ１８を経てステップＳ１４が２回目以降に実行される場合は、ステップＳ１８で小さくされた摂動量εである。そして、第１判定部６４は、前述したように、第１の出力データに対する第２の出力データの変化量Ｃを導出する。
ステップＳ１６で、第１判定部６４は、導出した変化量Ｃが予め定められた閾値ＴＨ以下であるか否かを判定する。この判定が否定判定となった場合は、処理はステップＳ１８に移行する。ステップＳ１８で、第１判定部６４は、前述したように、摂動量εを直前のステップＳ１４での値よりも小さくする。ステップＳ１８の処理が終了すると、処理はステップＳ１４に戻る。
一方、ステップＳ１６の判定が肯定判定となった場合は、処理はステップＳ２０に移行する。ステップＳ２０で、第１出力部６６は、前述したように、ステップＳ１６で変化量Ｃが閾値ＴＨ以下であると判定されたテストデータｙ＿ｔと摂動量εとを表す情報を範囲データ３４として記憶部２２に出力する。ステップＳ２０の処理が終了すると、第１出力処理が終了する。
次に、図７を参照して、本実施形態に係る制御装置１４の作用について説明する。制御装置１４のＣＰＵ４０が制御プログラム５０を実行することによって、図７に示す第２出力処理が実行される。第２出力処理は、例えば、車載カメラ４６により撮影された画像データ（本番データｙ＿ｈ）が制御装置１４に入力される毎に実行される。
図７のステップＳ３０で、第２取得部７０は、車載カメラ４６により撮影された本番データｙ＿ｈを、入出力Ｉ／Ｆ４４を介して取得する。ステップＳ３２で、前述したように、第２判定部７２は、ステップＳ３０で取得された本番データｙ＿ｈが、ステップＳ２０で出力された情報が表すテストデータｙ＿ｔを基準とする摂動量εの範囲Ｒ内に含まれるか否かを判定する。この判定が肯定判定となった場合は、処理はステップＳ３４に移行し、否定判定となった場合は、処理はステップＳ３６に移行する。
ステップＳ３４で、第２出力部７４は、ステップＳ３０で取得された本番データｙ＿ｈを学習済みモデル３２に入力する。この入力に対応して学習済みモデル３２からは、本番データｙ＿ｈに含まれる物体の特定結果とその特定結果の確率とが出力される。この学習済みモデル３２からの出力は、例えば、車両の自動運転制御に使用される。ステップＳ３４の処理が終了すると、第２出力処理が終了する。
ステップＳ３６で、第２出力部７４は、前述したように、ステップＳ３０で取得された本番データｙ＿ｈを、ネットワークＩ／Ｆ４３を介して情報処理装置１２に出力する。ステップＳ３６の処理が終了すると、第２出力処理が終了する。
以上説明したように、本実施形態によれば、計算量を低減しつつ、学習済みモデルにデータを入力して得られる出力データの信頼性を評価することができる。
なお、上記実施形態において、導出部６２及び第１判定部６４を一つの機能部としてまとめてもよい。この場合、その機能部は、例えば、以下の参考文献２に記載の手法を用いて、変化量Ｃが閾値ＴＨ以下となる最大の摂動量εを導出すればよい。
参考文献２：Wong and Kolter, Provable defenses against adversarial examples via the convex outer adversarial polytope, (ICML2018).
また、上記実施形態におけるＣＰＵ２０及びＣＰＵ４０により行われる処理は、プログラムを実行することにより行われるソフトウェア処理として説明したが、ＡＳＩＣ（Application Specific Integrated Circuit）及びＦＰＧＡ（Field-Programmable Gate Array）等のハードウェアで行われる処理としてもよい。また、ＣＰＵ２０及びＣＰＵ４０により行われる処理は、ソフトウェア及びハードウェアの双方を組み合わせて行われる処理としてもよい。また、記憶部２２に記憶される情報処理プログラム３０及び記憶部４２に記憶される制御プログラム５０は、各種記憶媒体に記憶して流通させてもよい。
また、本発明は、上記の形態例に限定されるものではなく、上記の形態例以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。
１０ 情報処理システム
１２ 情報処理装置
１４ 制御装置
２０ ＣＰＵ（第１判定部、第１出力部）
３０ 情報処理プログラム
３２ 学習済みモデル
３４ 範囲データ
４０ ＣＰＵ（取得部、第２判定部、第２出力部）
５０ 制御プログラム
６０ 第１取得部
６２ 導出部
６４ 第１判定部
６６ 第１出力部
７０ 第２取得部（取得部）
７２ 第２判定部
７４ 第２出力部

Claims (2)

  1. 第１の入力データを予め学習された学習済みモデルへ入力することによって前記学習済みモデルから得られた第１の出力データに対する、前記第１の入力データに定められた摂動量の摂動を加えた第２の入力データを前記学習済みモデルへ入力することによって前記学習済みモデルから得られた第２の出力データの変化量が予め定められた閾値以下であるか否かの判定を行う第１判定部と、
    前記第１判定部により前記変化量が前記閾値以下であると判定された前記第１の入力データと前記摂動量とを表す情報として、前記第１の入力データを前記第１の入力データと同じ次元を有する空間の一点として表し、かつ前記一点を中心とした半径が前記摂動量の超球を出力する第１出力部と、
    を備えた情報処理装置、及び
    前記学習済みモデルに入力するための第３の入力データを取得する取得部と、
    前記第３の入力データを前記第３の入力データと同じ次元を有する空間の一点として表した場合に、前記第１出力部により出力された超球に含まれるか否かの判定を行うことによって、前記第３の入力データが、前記第１出力部により出力された情報が表す前記第１の入力データを基準とする前記摂動量の範囲内に含まれるか否かの判定を行う第２判定部と、
    前記第２判定部により前記範囲内に含まれないと判定された前記第３の入力データを出力する第２出力部と、
    を備えた制御装置
    を含み、
    前記第１判定部は、前記第２出力部により出力された第３の入力データを前記第１の入力データとして前記判定を行い、
    前記第１出力部は、前記第１判定部により前記変化量が前記閾値以下であると判定された前記第３の入力データと前記摂動量とを表す情報を更に出力する
    情報処理システム。
  2. 前記第１判定部は、前記変化量が前記閾値を超える場合、前記第１の出力データに対する、前記摂動量を直前の値よりも小さくしたうえで再度得られた前記第２の出力データの変化量が前記閾値以下であるか否かを判定する処理を、前記変化量が前記閾値以下となるまで繰り返す
    請求項１に記載の情報処理システム。
JP2020076792A 2020-04-23 2020-04-23 情報処理システム Active JP7279685B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020076792A JP7279685B2 (ja) 2020-04-23 2020-04-23 情報処理システム
DE102021109276.0A DE102021109276A1 (de) 2020-04-23 2021-04-14 Informationsverarbeitungssystem
US17/232,405 US11810338B2 (en) 2020-04-23 2021-04-16 Machine learning model for image recognition used in autonomous vehicles
CN202110410968.1A CN113554179B (zh) 2020-04-23 2021-04-16 信息处理***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020076792A JP7279685B2 (ja) 2020-04-23 2020-04-23 情報処理システム

Publications (2)

Publication Number Publication Date
JP2021174199A JP2021174199A (ja) 2021-11-01
JP7279685B2 true JP7279685B2 (ja) 2023-05-23

Family

ID=78130119

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020076792A Active JP7279685B2 (ja) 2020-04-23 2020-04-23 情報処理システム

Country Status (4)

Country Link
US (1) US11810338B2 (ja)
JP (1) JP7279685B2 (ja)
CN (1) CN113554179B (ja)
DE (1) DE102021109276A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013196295A (ja) 2012-03-19 2013-09-30 Toshiba Corp 生体情報処理装置
US20160019459A1 (en) 2014-07-18 2016-01-21 University Of Southern California Noise-enhanced convolutional neural networks
JP2017049996A (ja) 2015-09-02 2017-03-09 富士通株式会社 画像認識に用いられるニューラルネットワークの訓練方法及び訓練装置
JP2019207561A (ja) 2018-05-29 2019-12-05 日鉄ソリューションズ株式会社 情報処理装置、情報処理方法及びプログラム

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2754984B2 (ja) * 1991-10-31 1998-05-20 三菱電機株式会社 動画像動き推定器と伝送装置
JP3311422B2 (ja) * 1993-01-19 2002-08-05 株式会社ジャパンテクニカルソフトウエア 識別システムおよびその方法並びに立体識別システム
JPH08305855A (ja) * 1995-05-01 1996-11-22 Nippon Telegr & Teleph Corp <Ntt> 画像のパターン認識方法及び装置
JP5521836B2 (ja) * 2010-07-05 2014-06-18 ソニー株式会社 撮像装置及び画像処理装置
JP5942771B2 (ja) * 2012-10-18 2016-06-29 富士通株式会社 画像処理装置及び画像処理方法
JP2014112790A (ja) * 2012-12-05 2014-06-19 Samsung R&D Institute Japan Co Ltd 画像処理装置、画像処理方法及び画像処理プログラム
JP6003673B2 (ja) * 2013-01-23 2016-10-05 株式会社デンソー ３次元位置推定装置、車両制御装置、および３次元位置推定方法
US9460624B2 (en) 2014-05-06 2016-10-04 Toyota Motor Engineering & Manufacturing North America, Inc. Method and apparatus for determining lane identification in a roadway
US9691140B2 (en) * 2014-10-31 2017-06-27 Intel Corporation Global matching of multiple images
JP6618766B2 (ja) * 2015-10-27 2019-12-11 株式会社デンソーテン 画像処理装置および画像処理方法
JP6493282B2 (ja) 2016-04-14 2019-04-03 トヨタ自動車株式会社 サーバー及び情報提供装置
JP6788187B2 (ja) * 2016-10-19 2020-11-25 富士通株式会社 シミュレーションプログラム、シミュレーション方法および情報処理装置
JP6583252B2 (ja) 2016-12-27 2019-10-02 トヨタ自動車株式会社 運転支援装置
US10546242B2 (en) * 2017-03-03 2020-01-28 General Electric Company Image analysis neural network systems
JP6638701B2 (ja) 2017-06-08 2020-01-29 トヨタ自動車株式会社 運転意識推定装置
JP7190842B2 (ja) * 2017-11-02 2022-12-16 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
JP6969993B2 (ja) * 2017-12-01 2021-11-24 株式会社デンソー 情報抽出装置
US10957188B2 (en) 2018-04-04 2021-03-23 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for determining traffic flow using observations of surrounding vehicles
JP7087654B2 (ja) 2018-05-14 2022-06-21 トヨタ自動車株式会社 車外報知装置、及び車外報知方法
JP7110729B2 (ja) 2018-05-25 2022-08-02 トヨタ自動車株式会社 自動運転システム及び自動運転システムの制御方法
CN108968811A (zh) * 2018-06-20 2018-12-11 四川斐讯信息技术有限公司 一种扫地机器人的物体识别方法及***
EP3629240B1 (en) 2018-09-07 2023-08-23 Panasonic Intellectual Property Corporation of America Generative adversarial networks for local noise removal from an image
JP7035945B2 (ja) 2018-10-04 2022-03-15 トヨタ自動車株式会社 地図情報システム
JP2020091523A (ja) 2018-12-03 2020-06-11 トヨタ自動車株式会社 情報処理システム、プログラム、及び制御方法
JP7293648B2 (ja) 2018-12-21 2023-06-20 トヨタ自動車株式会社 運転支援装置、車両、運転支援システム、及び運転支援方法
JP7088000B2 (ja) 2018-12-27 2022-06-21 トヨタ自動車株式会社 交通情報処理装置
US10974732B2 (en) 2019-01-04 2021-04-13 Toyota Motor Engineering & Manufacturing North America, Inc. System, method, and computer-readable storage medium for traffic intersection navigation
JP2020154386A (ja) * 2019-03-18 2020-09-24 キオクシア株式会社 情報処理方法及び情報処理装置
WO2021079478A1 (ja) * 2019-10-24 2021-04-29 富士通株式会社 劣化検出方法、劣化検出プログラムおよび情報処理装置
KR102295809B1 (ko) * 2019-10-25 2021-09-01 주식회사 멀티플아이 이동체의 전방향에 대한 거리 취득 장치 및 방법
US11250569B2 (en) * 2019-11-04 2022-02-15 GE Precision Healthcare LLC Systems and methods for functional imaging follow-up evaluation using deep neural network
EP3896613B1 (en) * 2020-04-14 2024-06-05 Robert Bosch GmbH Device and method for training a classifier and assessing the robustness of a classifier

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013196295A (ja) 2012-03-19 2013-09-30 Toshiba Corp 生体情報処理装置
US20160019459A1 (en) 2014-07-18 2016-01-21 University Of Southern California Noise-enhanced convolutional neural networks
JP2017049996A (ja) 2015-09-02 2017-03-09 富士通株式会社 画像認識に用いられるニューラルネットワークの訓練方法及び訓練装置
JP2019207561A (ja) 2018-05-29 2019-12-05 日鉄ソリューションズ株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
US20210331693A1 (en) 2021-10-28
US11810338B2 (en) 2023-11-07
CN113554179A (zh) 2021-10-26
DE102021109276A1 (de) 2021-10-28
CN113554179B (zh) 2024-02-09
JP2021174199A (ja) 2021-11-01

Similar Documents

Publication Publication Date Title
US10289909B2 (en) Conditional adaptation network for image classification
JP6873237B2 (ja) 画像ベースの車両損害評価方法、装置、およびシステム、ならびに電子デバイス
US9928213B2 (en) Event-driven spatio-temporal short-time fourier transform processing for asynchronous pulse-modulated sampled signals
EP3289528B1 (en) Filter specificity as training criterion for neural networks
CN110796154B (zh) 一种训练物体检测模型的方法、装置以及设备
KR102318027B1 (ko) 자율 주행을 위한 비전-기반 샘플-효율적 강화 학습 프레임워크
US20160071005A1 (en) Event-driven temporal convolution for asynchronous pulse-modulated sampled signals
JP7053213B2 (ja) 運転データ解析装置
CN111507459B (zh) 降低神经网络的注解费用的方法和装置
WO2020258902A1 (zh) 图像生成和神经网络训练方法、装置、设备和介质
CN114549369B (zh) 数据修复方法、装置、计算机及可读存储介质
CN112802076A (zh) 反射图像生成模型及反射去除模型的训练方法
CN117218622A (zh) 路况检测方法、电子设备及存储介质
US20220405574A1 (en) Model-aware data transfer and storage
JP7279685B2 (ja) 情報処理システム
JP7207227B2 (ja) 運転行動評価装置、運転行動評価方法、及び運転行動評価プログラム
CN111242176B (zh) 计算机视觉任务的处理方法、装置及电子***
JP2023154373A (ja) 情報処理装置
KR102633944B1 (ko) 3d 라이다 센서를 활용한 얼굴 인식 방법 및 장치
KR20220155882A (ko) 뉴럴 네트워크를 이용하는 데이터 처리 방법 및 장치
US20210133502A1 (en) Computing device, method and computer program product for generating training data for a machine learning system
JP2021018576A (ja) 画像認識評価プログラム、画像認識評価方法、評価装置及び評価システム
US20230101250A1 (en) Method for generating a graph structure for training a graph neural network
US20240127072A1 (en) Semi-supervised framework for efficient time-series ordinal classification
WO2022141865A1 (zh) 汽车道路监测数据处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220314

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230424

R151 Written notification of patent or utility model registration

Ref document number: 7279685

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151