JP6853543B2 - 自律走行に対する論理的根拠を提示するために、管理者が物体検出器の検出プロセスを評価できるように支援する方法及び装置 - Google Patents
自律走行に対する論理的根拠を提示するために、管理者が物体検出器の検出プロセスを評価できるように支援する方法及び装置 Download PDFInfo
- Publication number
- JP6853543B2 JP6853543B2 JP2020005680A JP2020005680A JP6853543B2 JP 6853543 B2 JP6853543 B2 JP 6853543B2 JP 2020005680 A JP2020005680 A JP 2020005680A JP 2020005680 A JP2020005680 A JP 2020005680A JP 6853543 B2 JP6853543 B2 JP 6853543B2
- Authority
- JP
- Japan
- Prior art keywords
- specific
- feature map
- roi
- representative
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 127
- 238000000034 method Methods 0.000 title claims description 126
- 230000008569 process Effects 0.000 title claims description 86
- 238000012360 testing method Methods 0.000 claims description 154
- 238000013527 convolutional neural network Methods 0.000 claims description 89
- 238000011176 pooling Methods 0.000 claims description 41
- 238000011156 evaluation Methods 0.000 claims description 38
- 238000012549 training Methods 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 11
- 210000002569 neuron Anatomy 0.000 claims description 11
- 230000010354 integration Effects 0.000 claims description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/945—User interactive design; Environments; Toolboxes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Image Analysis (AREA)
Description
前記数式で、Wcは、前記特定クラスcに対応する前記特定統合パラメータベクトルを意味し、fk(x、y)は、前記参照イメージのうちの一つの座標(x、y)に位置する前記ROIのうちの一つに対応する前記特定参照ROIプーリング済み特徴マップの一つに含まれた第kチャネルの値を意味し、Scは、前記特定最終FC出力値を意味し、nは前記特定参照ROIプーリング済み特徴マップのチャネルの個数を意味することを特徴とする。
前記数式で、Wcは、前記特定クラスcに対応する前記特定統合パラメータベクトルを意味し、fk(x、y)は、前記参照イメージのうちの一つの座標(x、y)に位置する前記ROIのうちの一つに対応する前記特定参照ROIプーリング済み特徴マップの一つに含まれた第kチャネルの値を意味し、Scは、前記特定最終FC出力値を意味し、nは、前記特定参照ROIプーリング済み特徴マップのチャネルの個数を意味することを特徴とする。
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者(以下「通常の技術者」)は、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。
この際、Wcは、前記特定クラスcに対する前記特定統合パラメータベクトルを、fk(x、y)は、前記参照イメージのうちの一つの座標(x、y) に位置する前記ROIのうちの一つに対応する前記特定参照ROIプーリング済み特徴マップの一つに含まれた第kチャネルの値を意味し得る。そして、Scは、前記特定最終FC出力値を、nは、前記特定参照ROIプーリング済みマップのチャネルの数を意味することができる。前記数式を参照すれば、前記特定統合パラメータベクトルを生成するプロセスが理解され得る。
Claims (30)
- 自律走行に対する論理的根拠を提示するために、少なくとも一つの管理者が一つ以上の物体検出器の一つ以上の検出プロセスを評価できるように支援する方法において、
(a)コンピューティング装置が、以前に学習が完了した物体検出CNN(Convolutional Neural Network)に含まれた一つ以上のコンボリューションレイヤをもって、これに入力された一つ以上の参照イメージに一つ以上のコンボリューション演算を適用して一つ以上の参照コンボリューション特徴マップを生成するようにした後、前記物体検出CNNに含まれている一つ以上のROI(region of interest)プーリングレイヤをもって、前記物体検出CNNと連動されたRPNから前記参照コンボリューション特徴マップ上のROIに対する情報を取得し、前記ROIに対応する値のうちの少なくとも一部をプーリングして一つ以上の参照ROIプーリング済み特徴マップを生成するようにする段階;及び
(b)前記コンピューティング装置が、代表選択ユニットをもって、前記参照イメージ上の前記ROIに含まれた物体のクラスに関する情報を参照にして、前記参照ROIプーリング済み特徴マップを分類した後、各クラスあたり少なくとも一つの代表特徴マップを生成するようにし、前記管理者が前記物体検出CNNの前記検出プロセスを評価できるように支援する段階;
を含むことを特徴とする方法。 - 前記(b)段階以前に、
前記コンピューティング装置が、前記代表選択ユニットをもって、(i)前記物体検出CNNの少なくとも一つのFC(fully connected)レイヤに含まれたFCニューロン間の関係を分析し、(i)前記FCレイヤに入力された特徴マップに対応する物体に対する情報が特定クラスに対応するか否かを判断するのに用いられる特定最終FC出力値を生成する、特定FCニューロンのパラメータの特定セットを取得した後、(iii)前記パラメータの前記特定セットを参照して特定統合パラメータベクトルを生成するようにし、
前記(b)段階で、
前記コンピューティング装置が、前記代表選択ユニットをもって、前記特定統合パラメータベクトルを利用するベクトル演算を前記特定クラスに対応する一つ以上の特定参照ROIプーリング済み特徴マップに適用することにより、一つ以上の特定参照FCの特徴マップを生成するようにした後、前記特定参照FC特徴マップを参照にして前記特定クラスに対応する少なくとも一つの特定代表特徴マップを生成するようにすることを特徴とする請求項1に記載の方法。 - 前記(b)段階で、
前記コンピューティング装置が、前記代表選択ユニットをもって、前記特定参照FC特徴マップに含まれた各要素の各平均を計算することで前記特定代表特徴マップを生成するようにすることを特徴とする請求項2に記載の方法。 - (c)前記コンピューティング装置が、前記代表選択ユニットをもって、前記特定代表特徴マップを参照にして前記特定参照FC特徴マップのうちの少なくとも一部を選択するようにし、前記選択された特定参照FC特徴マップに対応する前記参照イメージのうちの一部を前記特定クラスに対応する特定参照イメージとして設定するようにすることで、前記管理者が前記物体検出CNNの前記検出プロセスを評価できるように支援する段階;
をさらに含むことを特徴とする請求項2に記載の方法。 - 前記(c)段階で、
前記コンピューティング装置が、前記代表選択ユニットをもって、前記特定代表特徴マップと、前記特定参照FC特徴マップとの間の距離に関する情報を生成した後、前記特定代表イメージを設定するため、前記特定代表特徴マップからの距離が最も短い前記特定参照FC特徴マップの一部を選択するようにし、前記選択された特定参照FC特徴マップの数と、前記特定参照FC特徴マップの数とに対する特定比率が予め設定されていることを特徴とする請求項5に記載の方法。 - 前記(b)段階で、
前記コンピューティング装置が、前記代表選択ユニットをもって、前記クラスに関する情報を参照にして前記参照ROIプーリング済み特徴マップを分類した後、特定クラスに属する物体に対応する特定参照ROIプーリング済み特徴マップに含まれた各要素の各平均を計算させることにより、前記特定クラスに対応する少なくとも一つの特定代表特徴マップを生成するようにすることを特徴とする請求項1に記載の方法。 - 前記(a)段階以前に、
前記コンピューティング装置が、一つ以上のトレーニングイメージが取得されると、前記物体検出CNNをもって、前記トレーニングイメージに前記コンボリューションレイヤと、前記ROIプーリングレイヤと、FCレイヤとの演算を適用して学習用出力値を生成するようにした後、前記学習用出力値及びそれに対応するGT(Ground Truth)を用いたバックプロパゲーション(backpropagation)を遂行して、前記コンボリューションレイヤと、前記ROIプーリングレイヤと、前記FCレイヤとのうちの少なくとも一部に対するパラメータを学習するようにし、前記トレーニングイメージは、前記参照イメージのうちの少なくとも一部を含むことを特徴とする請求項1に記載の方法。 - 自律走行に対する論理的根拠を提示するために、少なくとも一つの管理者が一つ以上の物体検出器の一つ以上の検出プロセスを評価できるように支援するテスティング方法において、
(a)準備装置が、(1)以前に学習が完了した物体検出CNN(Convolutional Neural Network)に含まれた一つ以上のコンボリューションレイヤをもって、これに入力された一つ以上の参照イメージに一つ以上のコンボリューション演算を適用して一つ以上の参照コンボリューション特徴マップを生成するようにした後、前記物体検出CNNに含まれている一つ以上のROI(region of interest)プーリングレイヤをもって、前記物体検出CNNと連動されたRPNとから前記参照コンボリューション特徴マップ上のROIに対する情報を取得し、前記ROIに対応する値のうち少なくとも一部をプーリングして一つ以上の参照ROIプーリング済み特徴マップを生成するようにし、(2)代表選択ユニットをもって、前記参照イメージ上の前記ROIに含まれた物体のクラスに関する情報を参照にして、前記参照ROIプーリング済み特徴マップを分類した後、各クラスあたり少なくとも一つの代表特徴マップを生成するようにし、前記管理者が前記物体検出CNNの前記検出プロセスを評価できるように支援した状態で、テスティング装置が、テストイメージを取得すると、前記物体検出CNNをもって、これに含まれた前記コンボリューションレイヤと、前記ROIプーリングレイヤと、FCレイヤとを利用して一つ以上のテスティングROIプーリング済み特徴マップを生成するようにする段階;及び
(b)前記テスティング装置が、評価ユニットをもって、テスト用特定物体の特定クラスに対応する少なくとも一つの特定代表特徴マップと、特定テスティングROIプーリング済み特徴マップとを参照にして、前記テストイメージに含まれたテスト用物体のうちの前記テスト用特定物体に対する物体検出結果に対応する信頼度点数を生成するようにする段階;
を含むことを特徴とする方法。 - 前記(b)段階で、
前記特定代表特徴マップを含む代表特徴マップが参照FC特徴マップを利用して生成された場合、前記テスティング装置が、前記評価ユニットをもって、前記特定テスティングROIプーリング済み特徴マップにFC演算を適用して生成された特定テスティングFC特徴マップと、前記特定代表特徴マップとの間の距離に関する情報を生成するようにし、前記距離に関する情報を参照にして前記信頼度点数を生成させることを特徴とする請求項9に記載の方法。 - 前記(b)段階で、
前記特定代表特徴マップを含む代表特徴マップが参照ROIプーリング済み特徴マップを利用して生成された場合、前記テスティング装置が、前記評価ユニットをもって、前記特定代表特徴マップと、前記特定テスティングROIプーリング済み特徴マップとの間の距離に関する情報を生成するようにし、前記距離に関する情報を参照にして前記信頼度点数を生成させることを特徴とする請求項9に記載の方法。 - (c)前記テスティング装置が、前記評価ユニットをもって、前記特定クラスに対応する特定代表イメージのうちの少なくとも一部をディスプレイして、前記管理者が前記物体検出CNNの検出プロセスを評価できるように支援する段階;
をさらに含むことを特徴とする請求項9に記載の方法。 - 前記特定代表特徴マップを含む代表特徴マップが参照FC特徴マップを利用して生成された場合、前記テスティング装置が、前記評価ユニットをもって、前記特定テスティングROIプーリング済み特徴マップを利用して生成された特定テスティングFC特徴マップと、前記特定代表イメージに対応する特定参照FC特徴マップとの間の距離に関する情報を生成するようにし、ディスプレイする前記特定代表イメージの一部を選択するために、前記距離に関する情報を参照にして、前記特定参照FC特徴マップのうちの一部を選択するようにすることを特徴とする請求項12に記載の方法。
- 前記特定代表特徴マップを含む代表特徴マップが前記参照ROIプーリング済み特徴マップを利用して生成された場合、前記テスティング装置が、前記評価ユニットをもって、前記特定代表イメージに対応する特定参照ROIプーリング済み特徴マップと、前記特定テスティングROIプーリング済み特徴マップとの間の距離に関する情報を生成するようにした後、ディスプレイする前記特定代表イメージの一部を選択するために、前記距離に関する情報を参照にして、前記特定参照FC特徴マップのうちの一部を選択するようにすることを特徴とする請求項12に記載の方法。
- 前記(b)段階で、
前記テスティング装置が、前記物体検出CNNをもって、前記FCレイヤを利用して前記テストイメージに含まれた前記テスト用物体のクラスに関する情報を取得するようにし、前記評価ユニットをもって、前記テスト用物体のクラスに関する前記情報に含まれた、前記テスト用特定物体の前記特定クラスに関する情報を参照にして前記特定代表特徴マップを選択するようにすることを特徴とする請求項9に記載の方法。 - 自律走行に対する論理的根拠を提示するために、少なくとも一つの管理者が一つ以上の物体検出器の一つ以上の検出プロセスを評価できるように支援するコンピューティング装置において、
少なくとも一つの各インストラクションを格納する少なくとも一つのメモリ;及び
(I)以前に学習が完了した物体検出CNN(Convolutional Neural Network)に含まれた一つ以上のコンボリューションレイヤをもって、これに入力された一つ以上の参照イメージに一つ以上のコンボリューション演算を適用して一つ以上の参照コンボリューション特徴マップを生成するようにした後、前記物体検出CNNに含まれている一つ以上のROI(region of interest)プーリングレイヤをもって、前記物体検出CNNと連動されたRPNから前記参照コンボリューション特徴マップ上のROIに対する情報を取得し、前記ROIに対応する値のうちの少なくとも一部をプーリングして一つ以上の参照ROIプーリング済み特徴マップを生成するようにするプロセス、及び(II)代表選択ユニットをもって、前記参照イメージ上の前記ROIに含まれた物体のクラスに関する情報を参照にして、前記参照ROIプーリング済み特徴マップを分類した後、各クラスあたり少なくとも一つの代表特徴マップを生成するようにし、前記管理者が前記物体検出CNNの前記検出プロセスを評価できるように支援するプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ;
を含むことを特徴とするコンピューティング装置。 - 前記(II)プロセス以前に、
前記プロセッサが、前記代表選択ユニットをもって、(i)前記物体検出CNNの少なくとも一つのFC(fully connected)レイヤに含まれたFCニューロン間の関係を分析し、(i)前記FCレイヤに入力された特徴マップに対応する物体に対する情報が特定クラスに対応するか否かを判断するのに用いられる特定最終FC出力値を生成する、特定FCニューロンのパラメータの特定セットを取得した後、(iii)前記パラメータの前記特定セットを参照して特定統合パラメータベクトルを生成するようにし、
前記(II)プロセスで、
前記プロセッサが、前記代表選択ユニットをもって、前記特定統合パラメータベクトルを利用するベクトル演算を前記特定クラスに対応する一つ以上の特定参照ROIプーリングされた特徴マップに適用することにより、一つ以上の特定参照FC特徴マップを生成するようにした後、前記特定参照FC特徴マップを参照に、前記特定クラスに対応する少なくとも一つの特定代表特徴マップを生成するようにすることを特徴とする請求項16に記載のコンピューティング装置。 - 前記(II)プロセスで、
前記プロセッサが、前記代表選択ユニットをもって、前記特定参照FC特徴マップに含まれた各要素の各平均を計算することで前記特定代表特徴マップを生成するようにすることを特徴とする請求項17に記載のコンピューティング装置。 - 前記プロセッサが、(III)前記代表選択ユニットをもって、前記特定代表特徴マップを参照にして前記特定参照FC特徴マップのうちの少なくとも一部を選択するようにし、前記選択された特定参照FC特徴マップに対応する前記参照イメージのうちの一部を前記特定クラスに対応する特定参照イメージとして設定するようにすることで、前記管理者が前記物体検出CNNの前記検出プロセスを評価できるように支援するプロセスをさらに遂行することを特徴とする請求項17に記載のコンピューティング装置。
- 前記(III)プロセスで、
前記プロセッサが、前記代表選択ユニットをもって、前記特定代表特徴マップと、前記特定参照FC特徴マップとの間の距離に関する情報を生成した後、前記特定代表イメージを設定するため、前記特定代表特徴マップからの距離が最も短い前記特定参照FC特徴マップの一部を選択するようにし、前記選択された特定参照FC特徴マップの数と、前記特定参照FC特徴マップの数とに対する特定比率が予め設定されていることを特徴とする請求項20に記載のコンピューティング装置。 - 前記(II)プロセスで、
前記プロセッサが、前記代表選択ユニットをもって、前記クラスに関する情報を参照にして前記参照ROIプーリング済み特徴マップを分類した後、特定クラスに属する物体に対応する特定参照ROIプーリング済み特徴マップに含まれた各要素の各平均を計算させることにより、前記特定クラスに対応する少なくとも一つの特定代表特徴マップを生成するようにすることを特徴とする請求項16に記載のコンピューティング装置。 - 前記(I)プロセス以前に、
前記プロセッサが、一つ以上のトレーニングイメージが取得されると、前記物体検出CNNをもって、前記トレーニングイメージに前記コンボリューションレイヤと、前記ROIプーリングレイヤと、FCレイヤとの演算を適用して学習用出力値を生成するようにした後、前記学習用出力値及びそれに対応するGT(Ground Truth)を用いたバックプロパゲーション(backpropagation)を遂行して、前記コンボリューションレイヤと、前記ROIプーリングレイヤと、前記FCレイヤとのうちの少なくとも一部に対するパラメータを学習するようにし、前記トレーニングイメージは、前記参照イメージのうちの少なくとも一部を含むことを特徴とする請求項16に記載のコンピューティング装置。 - 自律走行に対する論理的根拠を提示するために、少なくとも一つの管理者が一つ以上の物体検出器の一つ以上の検出プロセスを評価できるように支援するテスティング装置において、
少なくとも一つの各インストラクションを格納する少なくとも一つのメモリ;及び
(I)準備装置が、(1)以前に学習が完了した物体検出CNN(Convolutional Neural Network)に含まれた一つ以上のコンボリューションレイヤをもって、これに入力された一つ以上の参照イメージに一つ以上のコンボリューション演算を適用して一つ以上の参照コンボリューション特徴マップを生成するようにした後、前記物体検出CNNに含まれている一つ以上のROI(region of interest)プーリングレイヤをもって、前記物体検出CNNと連動されたRPNとから前記参照コンボリューション特徴マップ上のROIに対する情報を取得し、前記ROIに対応する値のうち少なくとも一部をプーリングして一つ以上の参照ROIプーリング済み特徴マップを生成するようにし、(2)代表選択ユニットをもって、前記参照イメージ上の前記ROIに含まれた物体のクラスに関する情報を参照にして、前記参照ROIプーリング済み特徴マップを分類した後、各クラスあたり少なくとも一つの代表特徴マップを生成するようにし、前記管理者が前記物体検出CNNの前記検出プロセスを評価できるように支援した状態で、テストイメージを取得すると、前記物体検出CNNをもって、これに含まれた前記コンボリューションレイヤと、前記ROIプーリングレイヤと、FCレイヤとを利用して一つ以上のテスティングROIプーリング済み特徴マップを生成するようにするプロセス、及び(II)評価ユニットをもって、テスト用特定物体の特定クラスに対応する少なくとも一つの特定代表特徴マップと、特定テスティングROIプーリング済み特徴マップとを参照にして、前記テストイメージに含まれたテスト用物体のうちの前記テスト用特定物体に対する物体検出結果に対応する信頼度点数を生成するようにするプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ;
を含むことを特徴とするテスティング装置。 - 前記(II)プロセスで、
前記特定代表特徴マップを含む代表特徴マップが参照FC特徴マップを利用して生成された場合、前記プロセッサが、前記評価ユニットをもって、前記特定テスティングROIプーリング済み特徴マップにFC演算を適用して生成された特定テスティングFC特徴マップと、前記特定代表特徴マップとの間の距離に関する情報を生成するようにし、前記距離に関する情報を参照にして前記信頼度点数を生成させることを特徴とする請求項24に記載のテスティング装置。 - 前記(II)プロセスで、
前記特定代表特徴マップを含む代表特徴マップが参照ROIプーリング済み特徴マップを利用して生成された場合、前記プロセッサが、前記評価ユニットをもって、前記特定代表特徴マップと、前記特定テスティングROIプーリング済み特徴マップとの間の距離に関する情報を生成するようにし、前記距離に関する情報を参照にして前記信頼度点数を生成させることを特徴とする請求項24に記載のテスティング装置。 - 前記プロセッサが、(III)前記評価ユニットをもって、前記特定クラスに対応する特定代表イメージのうちの少なくとも一部をディスプレイして、前記管理者が前記物体検出CNNの検出プロセスを評価できるように支援するプロセスをさらに遂行することを特徴とする請求項24に記載のテスティング装置。
- 前記特定代表特徴マップを含む代表特徴マップが参照FC特徴マップを利用して生成された場合、前記プロセッサが、前記評価ユニットをもって、前記特定テスティングROIプーリング済み特徴マップを利用して生成された特定テスティングFC特徴マップと、前記特定代表イメージに対応する特定参照FC特徴マップとの間の距離に関する情報を生成するようにし、ディスプレイする前記特定代表イメージの一部を選択するために、前記距離に関する情報を参照にして、前記特定参照FC特徴マップのうちの一部を選択するようにすることを特徴とする請求項27に記載のテスティング装置。
- 前記特定代表特徴マップを含む代表特徴マップが前記参照ROIプーリング済み特徴マップを利用して生成された場合、前記プロセッサが、前記評価ユニットをもって、前記特定代表イメージに対応する特定参照ROIプーリング済み特徴マップと、前記特定テスティングROIプーリング済み特徴マップとの間の距離に関する情報を生成するようにした後、ディスプレイする前記特定代表イメージの一部を選択するために、前記距離に関する情報を参照にして、前記特定参照FC特徴マップのうちの一部を選択するようにすることを特徴とする請求項27に記載のテスティング装置。
- 前記(II)プロセスで、
前記プロセッサが、前記物体検出CNNをもって、前記FCレイヤを利用して前記テストイメージに含まれた前記テスト用物体のクラスに関する情報を取得するようにし、前記評価ユニットをもって、前記テスト用物体のクラスに関する前記情報に含まれた、前記テスト用特定物体の前記特定クラスに関する情報を参照にして前記特定代表特徴マップを選択するようにすることを特徴とする請求項24に記載のテスティング装置。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962799139P | 2019-01-31 | 2019-01-31 | |
US62/799,139 | 2019-01-31 | ||
US16/724,424 | 2019-12-23 | ||
US16/724,424 US10713815B1 (en) | 2019-01-31 | 2019-12-23 | Method and device for supporting administrators to processes of object detectors to provide logical driving |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020126621A JP2020126621A (ja) | 2020-08-20 |
JP6853543B2 true JP6853543B2 (ja) | 2021-03-31 |
Family
ID=69192004
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020005680A Active JP6853543B2 (ja) | 2019-01-31 | 2020-01-17 | 自律走行に対する論理的根拠を提示するために、管理者が物体検出器の検出プロセスを評価できるように支援する方法及び装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10713815B1 (ja) |
EP (1) | EP3690733A1 (ja) |
JP (1) | JP6853543B2 (ja) |
KR (1) | KR102313129B1 (ja) |
CN (1) | CN111507151B (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11386291B2 (en) * | 2018-01-10 | 2022-07-12 | Siemens Healthcare Diagnostics Inc. | Methods and apparatus for bio-fluid specimen characterization using neural network having reduced training |
CN112766687B (zh) * | 2021-01-12 | 2024-02-27 | 北京化工大学 | 一种基于深度cnn的飞机总装物料配送优先级分配方法 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9286524B1 (en) * | 2015-04-15 | 2016-03-15 | Toyota Motor Engineering & Manufacturing North America, Inc. | Multi-task deep convolutional neural networks for efficient and robust traffic lane detection |
US9965719B2 (en) * | 2015-11-04 | 2018-05-08 | Nec Corporation | Subcategory-aware convolutional neural networks for object detection |
US10002313B2 (en) * | 2015-12-15 | 2018-06-19 | Sighthound, Inc. | Deeply learned convolutional neural networks (CNNS) for object localization and classification |
US9858496B2 (en) * | 2016-01-20 | 2018-01-02 | Microsoft Technology Licensing, Llc | Object detection and classification in images |
WO2017139927A1 (en) * | 2016-02-17 | 2017-08-24 | Intel Corporation | Region proposal for image regions that include objects of interest using feature maps from multiple layers of a convolutional neural network model |
CN106599773B (zh) * | 2016-10-31 | 2019-12-24 | 清华大学 | 用于智能驾驶的深度学习图像识别方法、***及终端设备 |
JP6964234B2 (ja) * | 2016-11-09 | 2021-11-10 | パナソニックIpマネジメント株式会社 | 情報処理方法、情報処理装置およびプログラム |
JP6854344B2 (ja) * | 2016-11-15 | 2021-04-07 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 直方体検出のための深層機械学習システム |
US10380741B2 (en) * | 2016-12-07 | 2019-08-13 | Samsung Electronics Co., Ltd | System and method for a deep learning machine for object detection |
US10474908B2 (en) * | 2017-07-06 | 2019-11-12 | GM Global Technology Operations LLC | Unified deep convolutional neural net for free-space estimation, object detection and object pose estimation |
US9953437B1 (en) * | 2017-10-18 | 2018-04-24 | StradVision, Inc. | Method and device for constructing a table including information on a pooling type and testing method and testing device using the same |
KR102585216B1 (ko) * | 2017-12-14 | 2023-10-05 | 삼성전자주식회사 | 영상 인식 방법 및 그 장치 |
CN108416394B (zh) * | 2018-03-22 | 2019-09-03 | 河南工业大学 | 基于卷积神经网络的多目标检测模型构建方法 |
US10678253B2 (en) * | 2018-05-24 | 2020-06-09 | GM Global Technology Operations LLC | Control systems, control methods and controllers for an autonomous vehicle |
US10955842B2 (en) * | 2018-05-24 | 2021-03-23 | GM Global Technology Operations LLC | Control systems, control methods and controllers for an autonomous vehicle |
JP7135504B2 (ja) * | 2018-07-02 | 2022-09-13 | カシオ計算機株式会社 | 画像識別装置、画像識別方法及びプログラム |
US10325179B1 (en) * | 2019-01-23 | 2019-06-18 | StradVision, Inc. | Learning method and learning device for pooling ROI by using masking parameters to be used for mobile devices or compact networks via hardware optimization, and testing method and testing device using the same |
US10410120B1 (en) * | 2019-01-25 | 2019-09-10 | StradVision, Inc. | Learning method and testing method of object detector to be used for surveillance based on R-CNN capable of converting modes according to aspect ratios or scales of objects, and learning device and testing device using the same |
-
2019
- 2019-12-23 US US16/724,424 patent/US10713815B1/en active Active
-
2020
- 2020-01-06 KR KR1020200001723A patent/KR102313129B1/ko active IP Right Grant
- 2020-01-07 CN CN202010015507.XA patent/CN111507151B/zh active Active
- 2020-01-17 JP JP2020005680A patent/JP6853543B2/ja active Active
- 2020-01-24 EP EP20153663.8A patent/EP3690733A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
CN111507151B (zh) | 2023-08-18 |
CN111507151A (zh) | 2020-08-07 |
KR20200095359A (ko) | 2020-08-10 |
JP2020126621A (ja) | 2020-08-20 |
KR102313129B1 (ko) | 2021-10-18 |
US20200250853A1 (en) | 2020-08-06 |
EP3690733A1 (en) | 2020-08-05 |
US10713815B1 (en) | 2020-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6923960B2 (ja) | 自動駐車システムを提供するために決定地点間の関係及び決定地点に対するリグレッション結果を利用して駐車スペースを検出する学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置 | |
JP6869562B2 (ja) | トラッキングネットワークを含むcnnを使用して物体をトラッキングする方法、及びそれを利用した装置{method for tracking object by using convolutional neural network including tracking network and computing device using the same} | |
KR102337376B1 (ko) | 레인 마스크(Lane Mask)를 사용하여 후처리 없이 입력 이미지에 포함된 하나 이상의 차선을 검출하는 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치 | |
EP3693944A1 (en) | Method and device for short-term path planning of autonomous driving through information fusion by using v2x communication and image processing | |
JP6935946B2 (ja) | セグメンテーションスコアマップ及びクラスタリングマップを利用して自律走行車の走行経路を計画するための車線を検出するポストプロセッシング方法及び装置 | |
JP6857370B2 (ja) | ターゲット物体予測ネットワーク及びターゲット物体統合ネットワークを利用して、重要業績評価指標のようなユーザー要求事項に係る最適化のための再構成可能なネットワーク基盤の物体検出器を学習する方法及び学習装置、並びにこれを利用したテスティング方法及びテスティング装置 | |
JP6846070B2 (ja) | 自律走行ネットワークの検出プロセスを検証する説明可能な人工知能を利用して運転者に潜在的リスクの状況について警告することにより機能的安全性を提供する学習方法及び学習装置、そしてこれを用いたテスティング方法及びテスティング装置{learning method and learning device for providing functional safety by warning driver about potential dangerous situation by using explainable ai which verifies detection processes of autonomous driving network, and testing method and testing device using the same} | |
JP6847463B2 (ja) | CNN(Convolutional Neural Network)を利用して車線を検出するための学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置{LEARNING METHOD, LEARNING DEVICE FOR DETECTING LANE USING CNN AND TEST METHOD, TEST DEVICE USING THE SAME} | |
JP7092383B2 (ja) | 各領域において最適化された自律走行を遂行できるように位置基盤アルゴリズムの選択によってシームレスパラメータ変更を遂行する方法及び装置 | |
JP6910081B2 (ja) | 協調走行を遂行する各車両から取得された各走行イメージを統合する方法及びこれを利用した走行イメージ統合装置 | |
JP6941386B2 (ja) | 自律走行の安全性を提供するための方法及び装置 | |
JP6910664B2 (ja) | 自動駐車システム内のセマンティックセグメンテーションを利用した駐車領域を検出するための方法及び装置 | |
CN111491131B (zh) | 由每个对象检测器检测的对象检测信息的集成方法及装置 | |
US10733511B1 (en) | Learning method and learning device for updating HD map by reconstructing 3D space by using depth estimation information and class information on each object, which have been acquired through V2X information integration technique, and testing method and testing device using the same | |
JP6903352B2 (ja) | 非最大値抑制を学習する併合ネットワークを利用した異種センサ融合のための学習方法及び学習装置{learning method and learning device for heterogeneous sensor fusion by using merging network which learns non−maximum suppression} | |
JP6962605B2 (ja) | 連続学習を利用して検出可能なクラスの種類をリアルタイムにアップデートすることができる物体検出システムを提供する方法及びこれを利用した装置 | |
JP6853543B2 (ja) | 自律走行に対する論理的根拠を提示するために、管理者が物体検出器の検出プロセスを評価できるように支援する方法及び装置 | |
US10402686B1 (en) | Learning method and learning device for object detector to be used for surveillance based on convolutional neural network capable of converting modes according to scales of objects, and testing method and testing device using the same | |
JP6938056B2 (ja) | 競争的なコンピューティング及び情報フュージョンを利用して、車両の自律走行を支援するのに利用される自律走行サービスプラットフォームを提供する方法及びこれを利用したサーバ{method for providing autonomous driving service platform to be used for supporting autonomous driving of vehicles by using competitive computing and information fusion, and server using the same} | |
JP6865342B2 (ja) | Cnn基盤車線検出のための学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置 | |
JP6921443B2 (ja) | 自律走行モジュールまたは運転者のステアリング意図を対象車両のステアリング装置へより正確に伝達するための方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210303 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6853543 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |