JP7092383B2 - 各領域において最適化された自律走行を遂行できるように位置基盤アルゴリズムの選択によってシームレスパラメータ変更を遂行する方法及び装置 - Google Patents

各領域において最適化された自律走行を遂行できるように位置基盤アルゴリズムの選択によってシームレスパラメータ変更を遂行する方法及び装置 Download PDF

Info

Publication number
JP7092383B2
JP7092383B2 JP2020008780A JP2020008780A JP7092383B2 JP 7092383 B2 JP7092383 B2 JP 7092383B2 JP 2020008780 A JP2020008780 A JP 2020008780A JP 2020008780 A JP2020008780 A JP 2020008780A JP 7092383 B2 JP7092383 B2 JP 7092383B2
Authority
JP
Japan
Prior art keywords
cnn
region
autonomous driving
target vehicle
kth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020008780A
Other languages
English (en)
Other versions
JP2020123346A (ja
Inventor
- ヒョン キム、ケイ
キム、ヨンジュン
- キョン キム、ハク
ナム、ウヒョン
ブー、ソッフン
ソン、ミュンチュル
シン、ドンス
ヨー、ドンフン
リュー、ウジュ
- チュン イ、ミョン
イ、ヒョンス
チャン、テウン
ジョン、キュンチョン
チェ、ホンモ
チョウ、ホジン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2020123346A publication Critical patent/JP2020123346A/ja
Application granted granted Critical
Publication of JP7092383B2 publication Critical patent/JP7092383B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/285Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/085Changing the parameters of the control units, e.g. changing limit values, working points by control input
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0219Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)

Description

本発明は、自律走行車両に利用するための方法及び装置に関し、より詳しくは、各領域において最適化された自律走行を遂行できるように位置基盤アルゴリズムの選択によってシームレス(seamless)パラメータ変更を遂行する方法及び装置に関する。
ディープ・コンボリューション・ニューラル・ネットワーク(Deep Convolution Neural Networks;DeepCNN)は、ディープラーニング分野で起きた驚くべき発展の核心である。CNNは文字の認識問題を解決するために90年代にも利用されたが、近年になって機械学習(Machine Learning)分野において広く利用されるようになった。例えば、このようなCNNは、毎年開催されているソフトウェアコンテストであるイメージネットイメージ分類コンテスト(ImageNet Large Scale Visual Recognition Challenge)で、2012年に他の競争相手に勝って優勝を収めた。それから、CNNは、機械学習分野で非常に有用なツールとなった。
このようなCNNは、自律走行分野においても広く利用されている。自律走行分野において、CNNは物体検出、フリースペース(Free Space)検出及びセマンティックセグメンテーション(Semantic Segmentation)などの動作を遂行することができる。
このように自律走行分野でCNNを利用する上での問題は、数多くのコンボリューション演算を処理しなければならないため、コンピューティングパワーをたくさん所要するという点である。特に、自律走行車両で利用する際には、車両のコンピューティングパワーが限られているため、CNNが適切に作動しない恐れがある。
本発明は、前述した問題点を解決することを目的とする。
本発明は、それぞれの領域において最適化された自律走行を遂行できるように位置基盤アルゴリズムの選択によってシームレス(seamless)パラメータ変更を遂行する方法を提供することを他の目的とする。
また、本発明は、それぞれの前記領域において前記最適化された自律走行を遂行できるように、前記位置基盤アルゴリズムの選択によって前記シームレスパラメータの変更を遂行する前記方法を提供して、CNN(Convolutional Neural Network)が使用するコンピューティングリソースを削減できるようにすることをまた他の目的とする。
また、本発明は、それぞれの前記領域において前記最適化された自律走行を遂行できるように前記位置基盤アルゴリズムの選択によって前記シームレスパラメータ変更を遂行する前記方法を提供して、CNNがより正確に遂行できるようにすることをまた別の目的とする。
また、本発明は、それぞれの前記領域において前記最適化された自律走行を遂行できるように時間基盤アルゴリズムの選択によって前記シームレスパラメータ変更を遂行する方法を提供して、それぞれの時間範囲ごとの最適化されたCNNを利用できるようにすることをまた別の目的とする。
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は次の通りである。
本発明の一態様によれば、位置基盤アルゴリズムの選択によってシームレス(seamless)パラメータ変更を遂行することで、対象車両をもって、それぞれの領域において最適化された自律走行を遂行できるようにする学習方法において、(a)学習装置が、少なくとも一つの第K領域に対応する一つ以上第Kトレーニングイメージが取得されると、前記学習装置に含まれた、第1のCNN(Convolutional Neural Network)ないし第MのCNNのうちの一つである第KのCNNの少なくとも一つの第Kコンボリューションレイヤをもって、前記第Kトレーニングイメージに少なくとも一つの第Kコンボリューション演算を適用して一つ以上の第K特徴マップを生成するようにする段階;(b)前記学習装置が、前記第KのCNNの少なくとも一つの第K出力レイヤをもって、前記第K特徴マップに少なくとも一つの第K出力演算を適用して一つ以上の第K予測自律走行ソース情報を生成するようにする段階;(c)前記学習装置が、前記第KのCNNの少なくとも一つの第Kロスレイヤをもって、前記第K予測自律走行ソース情報及びこれに対応する一つ以上の第KのGT(Ground Truth)を参照して少なくとも一つの第Kロスを生成するようにし、前記第Kロスを利用してバックプロパーゲーション(backpropagation)を遂行することで前記第KのCNNの第Kパラメータのうちの少なくとも一部を学習するようにする段階;及び(d)前記学習装置が、前記第K領域の第K位置情報を前記第KのCNNにタグ付け(tagging)し、前記タグ付けされた第KのCNNをデータベースに格納する段階;を含み、Mは、1より大きな任意の整数(Integer)であり、Kは、1以上M以下の整数であることを特徴とする方法が開示される。
一実施例として、(e)前記学習装置が、(i)前記第1のCNNないし前記第MのCNNの中から選択される、前記第K領域からの距離が第1閾値未満である第K_1領域ないし第K_N領域(Nは、0より大きい任意の整数である)それぞれに対応する第K_1CNNないし第K_NのCNNそれぞれに対する情報を取得し、(ii)前記第K_1CNNの第K_1パラメータと前記第Kパラメータとの間の第K_1類似度ないし前記第K_NのCNNの第K_Nパラメータと前記第Kパラメータとの間の第K_N類似度を計算する段階;及び(f)前記学習装置が、(i)前記第K_1CNNないし前記第K_NのCNNのうち、類似度が第2閾値以上である一つ以上の特定CNNと(ii)前記第KのCNNとのうちの少なくとも一部を参照して、前記第K領域を含む第K広域領域に対応する第K代表CNNを生成する段階;をさらに含む。
Figure 0007092383000001
一実施例として、前記(f)段階で、前記学習装置が、前記特定CNN及び前記第KのCNNそれぞれのすべてのパラメータのうちの、それぞれの相対的同一位置に対応するそれぞれの構成パラメータに対する平均をそれぞれ計算して、前記平均をパラメータとして含む前記第K代表CNNを生成する。
一実施例として、地形的特性、気象的特性及び建物配置特性のうちの少なくとも一部を含む共通特性を、前記第K広域領域内の各領域間に一つ以上有する。
一実施例として、前記(a)段階で、前記学習装置が、前記第Kコンボリューションレイヤに含まれた一つ以上の第Kコンボリューションニューロンそれぞれをもって、自身に入力された値に少なくとも一つのコンボリューション演算を適用して出力された値を自身の次の第Kコンボリューションニューロンに伝達するプロセスを繰り返すようにすることにより、前記第Kトレーニングイメージに前記第Kコンボリューション演算を適用する。
一実施例として、前記(b)段階で、前記学習装置が、前記第Kコンボリューションレイヤに対応する第Kデコンボリューションレイヤで具現された前記第K出力レイヤをもって、第Kデコンボリューション演算に対応する前記第K出力演算を前記第K特徴マップに適用して、前記第Kトレーニングイメージに対応する第K予測セグメンテーションイメージに対する情報を含む前記第K予測自律走行ソース情報を生成するようにする。
一実施例として、前記(b)段階で、前記学習装置が、第KのFC(Fully-Connected)レイヤで具現された前記第K出力レイヤをもって、第KのFCネットワーク演算に対応する前記第K出力演算を前記第K特徴マップに適用して、前記第Kトレーニングイメージに対応する第K予測物体検出結果に対する情報を含む前記第K予測自律走行ソース情報を生成するようにさせる。
一実施例として、前記(d)段階で、前記学習装置が、(i)前記第Kトレーニングイメージが取得された第K時点に対応する第K時間情報とともに前記第K位置情報を前記第KのCNNにタグ付けし、前記タグ付けされた第KのCNNを前記データベースに格納し、(ii)前記第1のCNNないし前記第MのCNNの中から選択される、前記第K時点との差異が第3閾値以下である第K_1時点ないし第K_N時点それぞれに対応する第K_1CNNないし第K_NのCNNそれぞれに対する情報を取得し、(iii)前記第K_1CNNの第K_1パラメータと前記第Kパラメータとの間の第K_1類似度ないし前記第K_NのCNNの第K_Nパラメータと前記第Kパラメータとの間の第K_N類似度を計算し、(iv)(1)前記第K_1CNNないし前記第K_NのCNNのうち、類似度が第4閾値以上である一つ以上の特定CNNと(2)前記第KのCNNとのうちの少なくとも一部を参照して、前記第K時点を含む第K時間範囲に対応する第K代表CNNを生成する。
本発明の他の態様によれば、位置基盤アルゴリズムの選択によってシームレスパラメータ変更を遂行することで、対象車両をもって、それぞれの領域において最適化された自律走行を遂行できるようにするテスト方法において、(a)(1)学習装置が、少なくとも一つの第K領域に対応する一つ以上第Kトレーニングイメージが取得されると、前記学習装置に含まれた、第1のCNN(Convolutional Neural Network)ないし第MのCNNのうちの一つである第KのCNNの少なくとも一つの第Kコンボリューションレイヤをもって、前記第Kトレーニングイメージに少なくとも一つの第Kコンボリューション演算を適用して一つ以上の学習用第K特徴マップを生成するようにするプロセス、(2)前記学習装置が、前記第KのCNNの少なくとも一つの第K出力レイヤをもって、前記学習用第K特徴マップに少なくとも一つの第K出力演算を適用して一つ以上の学習用第K予測自律走行ソース情報を生成するようにするプロセス、(3)前記学習装置が、前記第KのCNNの少なくとも一つの第Kロスレイヤをもって、前記学習用第K予測自律走行ソース情報及びこれに対応する一つ以上の第KのGTを参照して少なくとも一つの第Kロスを生成するようにし、前記第Kロスを利用してバックプロパーゲーションを遂行することで前記第KのCNNの第Kパラメータのうちの少なくとも一部を学習するようにする段階;及び(4)前記学習装置が、前記第K領域の第K位置情報を前記第KのCNNにタグ付けし、前記タグ付けされた第KのCNNをデータベースに格納するプロセスを遂行した状態で、テスト装置が、第K時点に前記対象車両が位置した前記第K領域に対応する前記第KのCNNをもって、第Kテストイメージを利用してテスト用第K予測自律走行ソース情報を生成するようにする段階;及び(b)前記テスト装置が、自律走行モジュールをもって、前記テスト用第K予測自律走行ソース情報を参照して前記対象車両の自律走行を遂行するようにする段階;を含み、Mは、1より大きな任意の整数(Integer)であり、Kは、1以上M以下の整数であることを特徴とする方法が開示される。
一実施例として、前記テスト装置が、前記第K領域を含む第K広域領域に対する第K代表CNNを取得し、前記第K代表CNNをもって、前記テスト用第K予測自律走行ソース情報を生成するようにする。
一実施例として、前記(a)段階で前記テスト用第K予測自律走行ソース情報を生成するプロセス以前に、(a1)前記テスト装置が、前記第K時点より以前の時点である第K-1時点に前記第K領域に隣接した第K-1領域内に前記対象車両が位置した状態で、前記対象車両に搭載されたGPS(Global Positioning System)から取得された対象位置情報を参照して、前記対象車両が前記第K-1領域内の第(K-1)_1細部領域で前記第K-1領域内の第(K-1)_2細部領域に移動したか否かをモニタリングする段階;及び(a2)前記テスト装置が、前記対象車両が前記第(K-1)_1細部領域において、前記第(K-1)_2細部領域に移動したことが感知された場合、前記対象車両の予想移動経路を参照して、前記第K時点に前記対象車両が位置する前記第K領域に対応する前記第KのCNNを取得する段階;をさらに含む。
一実施例として、前記(a2)段階で、(i)前記対象車両が前記第(K-1)_2細部領域に移動した時点に自律走行モードで動作した状態である場合、前記テスト装置が、前記自律走行モジュールから前記予想移動経路に対する情報を取得し、(ii)前記対象車両が前記第(K-1)_2細部領域に移動した時点に半自律走行モードで動作していて、前記対象車両の目的地情報が前記対象車両のADAS(Advanced Driving Assistance System)に入力された状態である場合、前記テスト装置が、前記ADASから取得した前記目的地情報を参照して前記予想移動経路に対する情報を取得する。
一実施例として、前記(a2)段階で、前記対象車両が前記第(K-1)_2細部領域に移動した時点に手動走行モードで動作した状態であるか、前記対象車両が半自律走行モードで動作したが前記対象車両の目的地情報が前記対象車両のADASに入力されていない状態である場合、前記テスト装置が、第K-P時点(Pは、1以上T-1以下の整数である)ないし前記第K-1時点の時間範囲の間、前記対象車両が走行した過去の移動経路に対する情報を参照して逆強化学習(Inverse Reinforcement Learning)アルゴリズムを遂行することにより、前記予想移動経路を取得する。
一実施例として、前記(a)段階で、それぞれの前記第1のCNNないし第MのCNNが、それに対応するトレーニングイメージが取得されたそれぞれの取得位置及びそれぞれの取得時点に対する情報がタグ付けされて共に前記データベースに格納された場合、前記テスト装置が、前記第K領域に対応するだけでなく、前記第K時点を含む第K時間範囲に対応する前記第KのCNNをもって、前記テスト用第K予測自律走行ソース情報を生成するようにする。
本発明のまた他の態様によれば、位置基盤アルゴリズムの選択によってシームレスパラメータ変更を遂行することで、対象車両をもって、それぞれの領域において最適化された自律走行を遂行できるようにする学習装置において、一つの各インストラクションを格納する少なくとも一つのメモリ;及び(I)少なくとも一つの第K領域に対応する一つ以上第Kトレーニングイメージが取得されると、前記学習装置に含まれた、第1のCNN(Convolutional Neural Network)ないし第MのCNNのうちの一つである第KのCNNの少なくとも一つの第Kコンボリューションレイヤをもって、前記第Kトレーニングイメージに少なくとも一つの第Kコンボリューション演算を適用して一つ以上の第K特徴マップを生成するようにするプロセス、(II)前記第KのCNNの少なくとも一つの第K出力レイヤをもって、前記第K特徴マップに少なくとも一つの第K出力演算を適用して一つ以上の第K予測自律走行ソース情報を生成するようにするプロセス、(III)前記第KのCNNの少なくとも一つの第Kロスレイヤをもって、前記第K予測自律走行ソース情報及びこれに対応する一つ以上の第KのGTを参照して少なくとも一つの第Kロスを生成するようにし、前記第Kロスを利用してバックプロパーゲーションを遂行することで前記第KのCNNの第Kパラメータのうちの少なくとも一部を学習するようにするプロセス、及び(IV)前記第K領域の第K位置情報を前記第KのCNNにタグ付け(tagging)し、前記タグ付けされた第KのCNNをデータベースに格納するプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ;を含み、Mは、1より大きな任意の整数(Integer)であり、Kは、1以上M以下の整数であることを特徴とする装置が開示される。
一実施例として、前記プロセッサが、(V)(i)前記第1のCNNないし前記第MのCNNの中から選択される、前記第K領域からの距離が第1閾値未満である第K_1領域ないし第K_N領域(Nは、0より大きい任意の整数である)それぞれに対応する第K_1CNNないし第K_NのCNNそれぞれに対する情報を取得し、(ii)前記第K_1CNNの第K_1パラメータと前記第Kパラメータとの間の第K_1類似度ないし前記第K_NのCNNの第K_Nパラメータと前記第Kパラメータとの間の第K_N類似度を計算するプロセス、及び(VI)(i)前記第K_1CNNないし前記第K_NのCNNのうち、類似度が第2閾値以上である一つ以上の特定CNNと(ii)前記第KのCNNとのうちの少なくとも一部を参照して、前記第K領域を含む第K広域領域に対応する第K代表CNNを生成するプロセスをさらに遂行する。
Figure 0007092383000002
一実施例として、前記(VI)プロセスで、前記プロセッサが、前記特定CNN及び前記第KのCNNそれぞれのすべてのパラメータのうちの、それぞれの相対的同一位置に対応するそれぞれの構成パラメータに対する平均をそれぞれ計算して、前記平均をパラメータとして含む前記第K代表CNNを生成する。
一実施例として、地形的特性、気象的特性及び建物配置特性のうちの少なくとも一部を含む共通特性を、前記第K広域領域内の各領域間に一つ以上有する。
一実施例として、前記(I)プロセスで、前記プロセッサが、前記第Kコンボリューションレイヤに含まれた一つ以上の第Kコンボリューションニューロンそれぞれをもって、自身に入力された値に少なくとも一つのコンボリューション演算を適用して出力された値を自身の次の第Kコンボリューションニューロンに伝達するプロセスを繰り返すようにすることにより、前記第Kトレーニングイメージに前記第Kコンボリューション演算を適用する。
一実施例として、前記(II)プロセスで、前記プロセッサが、前記第Kコンボリューションレイヤに対応する第Kデコンボリューションレイヤで具現された前記第K出力レイヤをもって、第Kデコンボリューション演算に対応する前記第K出力演算を前記第K特徴マップに適用して、前記第Kトレーニングイメージに対応する第K予測セグメンテーションイメージに対する情報を含む前記第K予測自律走行ソース情報を生成するようにする。
一実施例として、前記(II)プロセスで、前記プロセッサが、第KのFCレイヤで具現された前記第K出力レイヤをもって、第KのFCネットワーク演算に対応する前記第K出力演算を前記第K特徴マップに適用して、前記第Kトレーニングイメージに対応する第K予測物体検出結果に対する情報を含む前記第K予測自律走行ソース情報を生成するようにさせる。
一実施例として、前記(IV)プロセスで、前記プロセッサが、(i)前記第Kトレーニングイメージが取得された第K時点に対応する第K時間情報とともに前記第K位置情報を前記第KのCNNにタグ付けし、前記タグ付けされた第KのCNNを前記データベースに格納し、(ii)前記第1のCNNないし前記第MのCNNの中から選択される、前記第K時点との差異が第3閾値以下である第K_1時点ないし第K_N時点それぞれに対応する第K_1CNNないし第K_NのCNNそれぞれに対する情報を取得し、(iii)前記第K_1CNNの第K_1パラメータと前記第Kパラメータとの間の第K_1類似度ないし前記第K_NのCNNの第K_Nパラメータと前記第Kパラメータとの間の第K_N類似度を計算し、(iv)(1)前記第K_1CNNないし前記第K_NのCNNのうち、類似度が第4閾値以上である一つ以上の特定CNNと(2)前記第KのCNNとのうちの少なくとも一部を参照して、前記第K時点を含む第K時間範囲に対応する第K代表CNNを生成する。
本発明のまた他の態様によれば、位置基盤アルゴリズムの選択によってシームレスパラメータ変更を遂行することで、対象車両をもって、それぞれの領域において最適化された自律走行を遂行できるようにするテスト装置において、一つの各インストラクションを格納する少なくとも一つのメモリ;及び(I)(1)学習装置が、少なくとも一つの第K領域に対応する一つ以上第Kトレーニングイメージが取得されると、前記学習装置に含まれた、第1のCNN(Convolutional Neural Network)ないし第MのCNNのうちの一つである第KのCNNの少なくとも一つの第Kコンボリューションレイヤをもって、前記第Kトレーニングイメージに少なくとも一つの第Kコンボリューション演算を適用して一つ以上の学習用第K特徴マップを生成するようにするプロセス、(2)前記学習装置が、前記第KのCNNの少なくとも一つの第K出力レイヤをもって、前記学習用第K特徴マップに少なくとも一つの第K出力演算を適用して一つ以上の学習用第K予測自律走行ソース情報を生成するようにするプロセス、(3)前記学習装置が、前記第KのCNNの少なくとも一つの第Kロスレイヤをもって、前記学習用第K予測自律走行ソース情報及びこれに対応する一つ以上の第KのGTを参照して少なくとも一つの第Kロスを生成するようにし、前記第Kロスを利用してバックプロパーゲーションを遂行することで前記第KのCNNの第Kパラメータのうちの少なくとも一部を学習するようにする段階;及び(4)前記学習装置が、前記第K領域の第K位置情報を前記第KのCNNにタグ付けし、前記タグ付けされた第KのCNNをデータベースに格納するプロセスを遂行した状態で、第K時点に前記対象車両が位置した前記第K領域に対応する前記第KのCNNをもって、第Kテストイメージを利用してテスト用第K予測自律走行ソース情報を生成するようにするプロセス、及び(II)自律走行モジュールをもって、前記テスト用第K予測自律走行ソース情報を参照して前記対象車両の自律走行を遂行するようにするプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ;を含み、Mは、1より大きな任意の整数(Integer)であり、Kは、1以上M以下の整数であることを特徴とする装置が開示される。
一実施例として、前記(I)プロセスで、前記プロセッサが、前記第K領域を含む第K広域領域に対する第K代表CNNを取得し、前記第K代表CNNをもって、前記テスト用第K予測自律走行ソース情報を生成するようにする。
一実施例として、前記(I)プロセスで前記テスト用第K予測自律走行ソース情報を生成するプロセス以前に、前記プロセッサが、(I-1)前記第K時点より以前の時点である第K-1時点に前記第K領域に隣接した第K-1領域内に前記対象車両が位置した状態で、前記対象車両に搭載されたGPSから取得された対象位置情報を参照して、前記対象車両が前記第K-1領域内の第(K-1)_1細部領域で前記第K-1領域内の第(K-1)_2細部領域に移動したか否かをモニタリングするプロセス、及び(I-2)前記対象車両が前記第(K-1)_1細部領域において、前記第(K-1)_2細部領域に移動したことが感知された場合、前記対象車両の予想移動経路を参照して、前記第K時点に前記対象車両が位置する前記第K領域に対応する前記第KのCNNを取得するプロセスをさらに遂行する。
一実施例として、前記(I-2)プロセスで、(i)前記対象車両が前記第(K-1)_2細部領域に移動した時点に自律走行モードで動作した状態である場合、前記プロセッサが、前記自律走行モジュールから前記予想移動経路に対する情報を取得し、(ii)前記対象車両が前記第(K-1)_2細部領域に移動した時点に半自律走行モードで動作していて、前記対象車両の目的地情報が前記対象車両のADASに入力された状態である場合、前記プロセッサが、前記ADASから取得した前記目的地情報を参照して前記予想移動経路に対する情報を取得することを特徴とする。
一実施例として、前記(I-2)プロセスで、前記対象車両が前記第(K-1)_2細部領域に移動した時点に手動走行モードで動作した状態であるか、前記対象車両が半自律走行モードで動作したが前記対象車両の目的地情報が前記対象車両のADASに入力されていない状態である場合、前記プロセッサが、第K-P時点(Pは、1以上T-1以下の整数である)ないし前記第K-1時点の時間範囲の間、前記対象車両が走行した過去の移動経路に対する情報を参照して逆強化学習(Inverse Reinforcement Learning)アルゴリズムを遂行することにより、前記予想移動経路を取得する。
一実施例として、前記(I)プロセスで、それぞれの前記第1のCNNないし第MのCNNが、それに対応するトレーニングイメージが取得されたそれぞれの取得の位置及びそれぞれの取得時点に対する情報がタグ付けされて共に前記データベースに格納された場合、前記プロセッサが、前記第K領域に対応するだけでなく、前記第K時点を含む第K時間範囲に対応する前記第KのCNNをもって、前記テスト用第K予測自律走行ソース情報を生成するようにする。
この他にも、本発明の方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読取可能な記録媒体がさらに提供される。
本発明によれば、それぞれの領域において最適化された自律走行を遂行できるように位置基盤アルゴリズムの選択によってシームレス(seamless)パラメータ変更を遂行する方法を提供できる効果がある。
また、本発明によれば、それぞれの前記領域において前記最適化された自律走行を遂行できるように、前記位置基盤アルゴリズムの選択によって前記シームレスパラメータの変更を遂行する前記方法を提供して、CNN(Convolutional Neural Network)が使用するコンピューティングリソースを削減できるようにする効果がある。
また、本発明によれば、それぞれの前記領域において前記最適化された自律走行を遂行できるように前記位置基盤アルゴリズムの選択によって前記シームレスパラメータ変更を遂行する前記方法を提供して、CNNがより正確に遂行できるようにする効果がある。
また、本発明によれば、それぞれの前記領域において前記最適化された自律走行を遂行できるように時間基盤アルゴリズムの選択によって前記シームレスパラメータ変更を遂行する方法を提供して、それぞれの時間範囲ごとの最適化されたCNNを利用できるようにする効果がある。
本発明の前記及び他の目的及び特長は、次の添付図面とともに与えられた好ましい実施例の説明において明らかになるであろう。
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者(以下「通常の技術者」)は、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。
図1は、本発明の一実施例に係るそれぞれの位置で最適化された自律走行を遂行できるように位置基盤アルゴリズムの選択によってシームレス(seamless)パラメータを変更する方法を遂行するコンピューティング装置の構成を概略的に示した図面である。 図2は、本発明の一実施例に係るそれぞれの前記位置で前記最適化された自律走行を遂行できるように前記位置基盤アルゴリズムの選択によって前記シームレスパラメータを変更する前記方法を遂行するために利用される第KのCNNの構成を概略的に示した図面である。 図3は、本発明の一実施例に係るそれぞれの前記位置で前記最適化された自律走行を遂行できるように前記位置基盤アルゴリズムの選択によって前記シームレスパラメータを変更する前記方法を概略的に示したフローチャートである。 図4は、本発明の一実施例に係るそれぞれの前記位置で前記最適化された自律走行を遂行できるように前記位置基盤アルゴリズムの選択によって前記シームレスパラメータを変更する前記方法を遂行するために利用される、第Kトレーニングイメージのうちの一つ、及び前記第Kトレーニングイメージの領域と類似した少なくとも一つの領域で撮影されたが、前記第Kトレーニングイメージとは異なるトレーニングイメージの一実施例を概略的に示した図面である。 図5は、本発明の一実施例に係るそれぞれの前記位置で前記最適化された自律走行を遂行できるように前記位置基盤アルゴリズムの選択によって前記シームレスパラメータを変更する前記方法を遂行するために利用される、第(K-1)_1細部領域及び第(K-1)_2細部領域を概略的に示した図面である。
後述する本発明に対する詳細な説明は、本発明の各目的、技術的解決方法及び長所を明確にするために、本発明が実施され得る特定実施例を例示として示す添付図面を参照する。これらの実施例は当業者が本発明を実施することができるように充分詳細に説明される。
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
さらに、本発明は、本明細書に示された実施例のあらゆる可能な組み合わせを網羅する。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一例と関連して、本発明の精神及び範囲を逸脱せず、かつ他の実施例で実装され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は、本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されれば、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似した参照符号は、いくつかの側面にかけて同一であるか類似した機能を指称する。
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体(例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物)を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ(例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ)でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体(例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物)を想定し得るが、必ずしもこれに限定されるものではない。
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面を参照して詳細に説明する。
図1は、本発明の一実施例に係るそれぞれの位置で最適化された自律走行を遂行できるように位置基盤アルゴリズムの選択によってシームレス(seamless)パラメータを変更する方法を遂行する学習装置の構成を概略的に示した図面である。
図1を参照すれば、前記学習装置100は、後に詳しく説明する構成要素である第1のCNNないし第MのCNNを格納しているデータベース200を含むことができる。前記データベース200の入出力及び演算過程は、それぞれ少なくとも一つの通信部110及び少なくとも一つのプロセッサ120によって行われることができる。ただし、図1では、前記通信部110と、前記プロセッサ120との具体的な連結関係を省略した。この際、前記メモリ115は、後述されるいくつかのインストラクションを格納した状態でもあり得、前記プロセッサ120は、前記メモリ115に格納された前記インストラクションを実行するように設定され、インストラクションを実行することで、後で説明する本発明の各プロセスを遂行することができる。このように前記学習装置100が描写されたところで、前記学習装置100が本発明を実施するためのプロセッサ、メモリ、ミディアム(medium)、または他のコンピューティング構成要素が統合された形態である統合プロセッサを含む場合を排除するものではない。
以上、本発明の実施例に係るそれぞれの前記領域で前記最適化された自律走行を遂行できるように前記位置基盤アルゴリズムの選択によって前記シームレスパラメータを変更する方法を遂行する前記学習装置100の構成について説明した。次に、シームレスパラメータ変更を遂行する学習方法を説明するために、図2を参照して第KのCNN210の構成について説明する。
図2は、本発明の一実施例に係るそれぞれの前記位置で前記最適化された自律走行を遂行できるように前記位置基盤アルゴリズムの選択によって前記シームレスパラメータを変更する前記方法を遂行するために利用される前記第KのCNNの構成を概略的に示した図面である。
図2を参照すれば、前記第KのCNN200は、少なくとも一つの第Kコンボリューションレイヤ211と、少なくとも一つの第K出力レイヤ212と、少なくとも一つの第Kロスレイヤ213とを含み得る。追って説明する一つ以上の第Kトレーニングイメージが前記第KのCNN210に入力されると、前記第Kコンボリューションレイヤ211及び前記第K出力レイヤ212によって処理(processing)され得る。ここで、前記第Kコンボリューションレイヤ211は、第Kコンボリューション演算を遂行することができるが、具体的には、前記学習装置100が、前記第Kコンボリューションレイヤに含まれた一つ以上の第Kコンボリューションニューロンそれぞれをもって、自身に入力された値に少なくとも一つのコンボリューション演算を適用して出力された値を自身の次の第Kコンボリューションニューロンに伝達するプロセスを繰り返すようにすることにより、前記第Kトレーニングイメージに前記第Kコンボリューション演算を適用するようにすることができる。前記第Kコンボリューション演算の結果として、一つ以上の第K特徴マップが生成され得る。
前記第K特徴マップは、前記第K出力レイヤ212に入力され得るが、前記第K出力レイヤ212はこれを実施例によって他の方式で処理することができる。具体的には、後に説明する前記第KのCNN210の出力である第K予測自律走行ソース情報に前記第Kトレーニングイメージのセグメンテーション情報を含めようとする場合、前記第K出力レイヤ212は、前記第Kコンボリューションレイヤに対応する第Kデコンボリューションレイヤの形態で具現され得る。この場合、前記第K出力レイヤ212は、第K出力演算を前記第K特徴マップに適用して、前記第Kトレーニングイメージに対応する第K予測セグメンテーションイメージに対する情報を含む前記第K予測自律走行ソース情報を生成することができる。
または、前記第K予測自律走行ソース情報に前記第Kトレーニングイメージ内の物体に対する情報を含めようとする場合、前記第K出力レイヤ212は、第KのFC(Fully-Connected)レイヤの形で具現され得る。この場合、前記第K出力レイヤ212は、前記第K出力演算を前記第K特徴マップに適用して、前記第Kトレーニングイメージに対する第K予測物体検出結果に対する情報を含む前記第K予測自律走行ソース情報を生成することができる。
このように、第K予測自律走行ソース情報が取得されると、前記第Kロスレイヤ213は、前記第K予測自律走行ソース情報及びこれに対応する一つ以上の第KのGT(Ground Truth)を参照して少なくとも一つの第Kロスを生成し、前記第Kロスを利用してバックプロパーゲーション(backpropagation)を遂行することで前記第KのCNN210の第Kパラメータのうちの少なくとも一部を学習するようにすることができる。このような前記第KのCNN210は、前記第Kコンボリューションレイヤ211、前記第K出力レイヤ212及び前記第Kロスレイヤ213によって遂行される前述のプロセスによって、前記第KのCNNに対応する前記第K領域で自律走行を遂行するのに利用される情報を生成するために最適化された状態であり得る。
以下、図3を参照して、前記第KのCNN210の前記学習方法について具体的に説明する。
図3は、本発明の一実施例に係るそれぞれの前記位置で前記最適化された自律走行を遂行できるように前記位置基盤アルゴリズムの選択によって前記シームレスパラメータを変更する前記方法を概略的に示したフローチャートである。
図3を参照にすれば、前記学習装置100は、前記第K領域に対応する前記第Kトレーニングイメージが取得されると、前記第KのCNN210の前記第Kコンボリューションレイヤ211をもって、前記第Kトレーニングイメージに前記第Kコンボリューション演算を適用して、前記第K特徴マップを生成するようにすることができる(S01)。そして、前記学習装置100は、前記第KのCNN210の前記第K出力レイヤ212をもって、前記第K特徴マップに前記第K出力演算を適用して、前記第K予測自律走行ソース情報を生成するようにすることができる(S02)。その後、前記学習装置100は、前記第KのCNN210の前記第Kロスレイヤ213をもって、前記第K予測自律走行ソース情報及びこれに対応する第KのGTを参照して前記第Kロスを生成するようにし、前記第Kロスを利用してバックプロパーゲーションを遂行することで前記第KのCNNの第Kパラメータのうちの少なくとも一部を学習するようにすることができる(S03)。その後、前記学習装置100は、前記第K領域の第K位置情報を前記第KのCNN210にタグ付け(tagging)し、前記タグ付けされた第KのCNNを前記データベースに格納することができる(S04)。
以上の段階は、本発明の前記学習方法の基本的な段階であり、前記学習方法の追加的段階を以下に説明する。前記学習装置100は、前記第Kの位置に近接した位置に対応する近接CNNを取得することができ、前記近接CNNの一部は、前記第KのCNN210と統合され得る。具体的には、前記学習装置100は、前記第1のCNNないし前記第MのCNNの中から選択される、前記第K領域からの距離が第1閾値未満である第K_1領域ないし第K_N領域それぞれに対応する第K_1CNNないし第K_NのCNNそれぞれに対する情報を取得することができる。この際、Nは、0より大きい任意の整数(Integer)である。ここで、二つの領域間の前記距離は、それぞれの前記二つの領域の中心点を比較することで、またはそれぞれの前記二つの領域内で統計的に車両が主に位置する特定地点を比較することによって計算され得るが、これに限られるものではない。前記第K_1CNNないし前記第K_NのCNNに対する情報が取得されると、前記学習装置100は、前記第K_1CNNの第K_1パラメータと前記第Kパラメータとの間の第K_1類似度ないし前記第K_NのCNNの第K_Nパラメータと第Kパラメータとの間の第K_N類似度を計算することができる。その後、前記学習装置100は、(i)前記第K_1CNNないし前記第K_NのCNNのうち、類似度が第2閾値以上である一つ以上の特定CNNと(ii)前記第KのCNNとのうちの少なくとも一部を参照して、前記第K領域及びこれに隣接する領域のうちの少なくとも一部を含む第K広域領域に対応する第K代表CNNを生成することができる。
Figure 0007092383000003
このように計算された前記第K_1類似度ないし前記第K_N類似度を利用して前記特定CNNが決定されると、前記学習装置100は、前記特定CNN及び前記第KのCNN210それぞれの全てのパラメータのうち、それぞれの相対的同一位置に対応するそれぞれの構成パラメータの平均をそれぞれ計算することができる。
以下、このような過程がなぜ必要であるかについて簡明に説明する。まず、前記学習装置100が取得した前記第K_1CNNないし前記第K_NのCNNは、前記第KのCNN210を学習するために前記第Kトレーニングイメージが取得された場所である前記第K領域と近い場所で取得されたイメージを利用して学習された状態であり得る。このようなCNNに対する情報を、前記学習装置100が取得する理由は、前記第K領域及びこれに隣接した領域のうちの少なくとも一部を含む前記第K広域領域に対象車両が位置する場合に利用される最適のCNN、つまり前記第K代表CNNを生成するためである。以降、前記学習装置100は、前記第K_1CNNないし前記K_NのCNNの中から、パラメータが前記第KのCNNのパラメータと類似した前記特定CNNを選択することができる。ここで、前記特定CNNパラメータと前記第KのCNNのパラメータとの間の差異の和が閾値未満であるか、前記差異の二乗の和が他の閾値未満であれば、前記特定CNNのパラメータは、前記第KのCNNのパラメータと類似するであろう。前記近接CNNのすべてが前記第KのCNNに統合されるに適しているわけではないが、前記近接CNNのうち、前記第KのCNNと類似ている少なくとも一つのCNN、すなわち、前記少なくとも一つの特定CNNは、前記第KのCNNと統合されるに適しているため、前記特定CNNが前記近接CNNの中から追加的に選択されなければならない。つまり、前記第K領域と近い場所で取得されたイメージのうちの一部は、前記イメージの一部が撮影された時点の状況または撮影された方向によって相違する場面を含み得、これは前記イメージの一部に対応する近接CNNと前記第KのCNNとの間の差異を誘発し得る。この場合、相違するイメージの利用で前記第KのCNN210との差異の大きい、前記近接CNNのうちの一部が前記第KのCNNと統合されたCNN、つまり前記第K代表CNNが適切に機能しないはずであるので、前記特定CNNが選択されなければならない。このような相違する場面の一例を、図4を参照して説明する。
図4は、本発明の一実施例に係るそれぞれの前記位置で前記最適化された自律走行を遂行できるように前記位置基盤アルゴリズムの選択によって前記シームレスパラメータを変更する前記方法を遂行するために利用される、前記第Kトレーニングイメージのうちの一つ、前記第Kトレーニングイメージの領域と類似した少なくとも一つの領域で撮影されたが、前記第Kトレーニングイメージとは異なるトレーニングイメージの一実施例を概略的に示した図面である。
図4を参照すれば、前記第Kトレーニングイメージの一つである特定第Kトレーニングイメージ410、及び前記第K_1CNNないし前記第K_NのCNNのうちの前記特定CNNではない一つのCNNを学習するのに利用された例示イメージ420を確認することができる。前記特定第Kトレーニングイメージ410は、川を右側にして川沿い道路を走行する車両から撮影したイメージであり、前記例示イメージ420は、同じ川沿い道路を反対方向に、つまり前記川を左側にして走行する車両から撮影したイメージである。ここで、前記特定第Kトレーニングイメージ410と類似した前記第Kトレーニングイメージを利用して学習された状態の前第KのCNN210は、これに入力されたイメージの右側領域に対しては相対的に小さなパラメータを、左側領域及び中央領域対しては相対的に大きいパラメータを含むであろう。これに比べ、前記例示イメージ420と類似した少なくとも一つのイメージを利用して学習された、前記特定CNNではないCNNは、これに入力されたイメージの左側領域に対して小さいパラメータを、右側領域及び中央領域に対して大きいパラメータを含むように学習された状態であり得る。前記特定第Kトレーニングイメージ410を参照して学習されたCNNと前記例示イメージ420とを参照して学習されたCNNいずれも第K領域に対応するが、二つのCNNの特性が異なるので、これらを分離する必要がある。前記第K_1類似度ないし前記第K_N類似度を生成する前述した過程は、類似した関係のCNNを前記二つのCNNに分離するためである。
このような過程によって選択された前記特定CNN及び前記第KのCNN210を利用して生成された前記第K代表CNNがカバーする領域である前記第K広域領域内の各領域は、これらの間に一つ以上の共通特性を有することができ、前記共通特性は、地形的特性、気象的特性及び建物配置の特性のうちの少なくとも一部を含む。一例として、前記第K広域領域内の各領域は、前記川を左側した川沿い道路に対応することができ、前記第K代表CNNは、これに入力されたイメージの中央領域及び右側領域に対する情報を抽出することができる。他の例示としては、前記第K広域領域内の各領域は、霧がよく発生する渓谷に対応でき、前記第K代表CNNは、これに入力されたイメージ上で微かに現れる物体を検出するように最適化された状態であり得る。
以上の過程は、位置基盤に最適化されたCNNを生成する方法についての基本的な実施例である。以下、他の実施例として、位置基盤及び時間基盤に最適化されたCNNを生成する方法について説明することにする。
つまり、図3を再び参照にすれば、前記基本的な実施例に係る前記S04段階において、前記第K位置情報が前記第KのCNN210にタグ付けされて前記データベース200に格納されるのだが、前記他の実施例の場合、前記第Kトレーニングイメージが取得された第K時点に対応する第K時間情報が前記第K位置情報と共に、前記第KのCNN210にタグ付けされ得る。その後、前記学習装置100は、前記第1のCNNないし前記第MのCNNの中から選択される、前記第K時点との差異が第3閾値以下である第K_1時点ないし第K_N時点それぞれに対応する第K_1CNNないし第K_NのCNNそれぞれに対する情報を取得することができる。その後、前記学習装置100は、前記第K_1CNNの第K_1パラメータと前記第Kパラメータとの間の第K_1類似度ないし前記第K_NのCNNの第K_Nパラメータと第Kパラメータとの間の第K_N類似度を計算し得る。そして、(i)前記第K_1CNNないし前記第K_NのCNNのうち、類似度が第4閾値以上である一つ以上の他の特定CNNと(ii)前記第KのCNNとのうちの少なくとも一部を参照して、前記第K時点を含む第K時間範囲に対応する第K代表CNNを生成することができる。その際、前記第K時間範囲は、前記第K時点のx秒前の時点から前記第K時点のy秒後の時点までの時間範囲であり得る。同じ地域であっても、昼と夜によってそのイメージが異なるはずなので、このような実施例が効率的であり得る。ここで、前記第K_1CNNないし前記第K_NのCNN及び前記類似度のような表記の一部は、前記基本的な実施例と同一だが、前記表記の意味は相互異なり得る。
次に、本発明のテスティング方法について説明する。
まず、テスト装置は、対象車両と連動するコンピューティング装置であり得る。この際、(1)前記学習装置100が、前記第K領域に対応する第Kトレーニングイメージが取得されると、前記学習装置に含まれた、前記第1のCNNないし第MのCNNのうちの一つである前記第KのCNN210の前記第Kコンボリューションレイヤ211をもって、前記第Kトレーニングイメージに前記第Kコンボリューション演算を適用して一つ以上の学習用第K特徴マップを生成するようにし、この際、Mは、1より大きい任意の整数であり、Kは、1以上M以下の整数であるプロセス、(2)前記学習装置100が、前記第KのCNN210の前記第K出力レイヤ212をもって、前記学習用第K特徴マップに前記第K出力演算を適用して、一つ以上の学習用第K予測自律走行ソース情報を生成するようにするプロセス、(3)前記学習装置100は、前記第KのCNN210の前記第Kロスレイヤ213をもって、前記学習用第K予測自律走行ソース情報及びこれに対応する第KのGTを参照して前記第Kロスを生成するようにし、前記第Kロスを利用してバックプロパーゲーションを遂行することで前記第KのCNNの第Kパラメータのうちの少なくとも一部を学習するようにするプロセス、及び(4)前記学習装置100が、前記第K領域の第K位置情報を前記第KのCNNにタグ付けし、前記タグ付けされた第KのCNNをデータベース200に格納するプロセスを遂行した状態で、前記テスト装置が、テスト用第K時点に前記対象車両が位置した前記第K領域に対応する前記第KのCNN210をもって、第Kテストイメージを利用してテスト用第K予測自律走行ソース情報を生成するようにすることができる。
そして、前記テスト装置が、自律走行モジュールをもって、前記テスト用第K予測自律走行ソース情報を参照して前記対象車両の自律走行を遂行するようにすることができる。
前記第K代表CNNが生成された状態の一実施例において、前記テスト装置は、前記第KのCNN210ではなく、前記第K代表CNNをもって、前記テスト用第K予測自律走行ソース情報を生成するようにすることができる。
このような第KのCNN210または第K代表CNNは、前記対象車両が前記第K領域または前記第K広域領域に進入する前に、前記データベース200から取得されたものであり得る。次に、どのように前記第KのCNN210または前記第K代表CNNが取得されるかについて説明する。説明の便宜上、以下の説明は前記第KのCNN210を取得する場合に対応する。
まず、前記第K時点より以前の時点である第K-1時点に前記第K領域に隣接した第K-1領域内に前記対象車両が位置した状態で、前記テスト装置が、前記対象車両に搭載されたGPS(Global Positioning System)から取得された対象位置情報を参照して、前記対象車両が前記第K-1領域内の第(K-1)_1細部領域で前記第K-1領域内の第(K-1)_2細部領域に移動したか否かをモニタリングすることができる。
この過程を説明するために、図5を参照する。
図5は、本発明の一実施例に係るそれぞれの前記位置で前記最適化された自律走行を遂行できるように前記位置基盤アルゴリズムの選択によって前記シームレスパラメータを変更する前記方法を遂行するために利用される、前記第(K-1)_1細部領域及び前記第(K-1)_2細部領域を概略的に示した図面である。
図5を参照にすれば、前記第(K-1)_1細部領域は、前記第K-1領域の中心に位置したものであり得、前記第(K-1)_2細部領域は、前記第K-1領域の端に位置したものであり得ることを確認することができる。前記対象車両が前記第(K-1)_1細部領域において前記第K(K-1)_2細部領域に移動する場合、前記対象車両が、他のCNNに対応する他の細部領域に移動しようとすることものと見られるので、このような移動がモニタリングされなければならない。
前記対象車両が前記第(K-1)_1細部領域において前記第(K-1)_2細部領域に移動したことが感知された場合、前記テスト装置は、前記対象車両の予想移動経路を参照して、前記第K時点に前記対象車両が位置する前記第K領域に対応する前記第KのCNN210を取得することができる。以下、前記予想移動経路の取得方式について説明する。
もし、前記対象車両が前記第(K-1)_2細部領域に移動した時点に自律走行モードで動作した状態である場合、前記テスト装置は、前記自律走行モジュールから前記予想移動経路に対する情報を取得することができるであろう。または、前記対象車両が前記第(K-1)_2細部領域に移動した時点に半自律走行モードで動作していて、前記対象車両の目的地情報がADAS(Advanced Driving Assistance System)に入力された状態である場合、前記テスト装置は、前記ADASから前記予想移動経路に対する情報を取得することができるであろう。
これと異なって、前記対象車両が前記第(K-1)_2細部領域に移動した時点に手動走行モードで動作した状態であるか、前記対象車両が前記半自律走行モードで動作したが前記対象車両の目的地情報が前記対象車両の前記ADASに入力されていない場合、前記テスト装置は、第K-P時点ないし前記第K-1時点の時間範囲の間、前記対象車両が走行した過去の移動経路に対する情報を参照して逆強化学習(Inverse Reinforcement Learning)アルゴリズムを遂行することで、前記予想移動経路を取得することができる。この際、Pは、1以上T-1以下の整数である。前記予想移動経路を生成するために前記逆強化学習アルゴリズムを前記過去移動経路に対する情報に適用するこれらの過程は、ジバート(Ziebart)らが発表した論文「Maximum Entropy Inverse Reinforcement Learning」に提示されているので、通常の技術者は前記説明を容易に理解することができるであろう。
一方、時間基盤に最適化されたCNNに対する前述した別途の実施例が前記テスト方法に適用された場合、時間に対する情報によって前記第KのCNNが取得できるであろう。つまり、それぞれの前記第1のCNNないし第MのCNNが、それに対応するトレーニングイメージが取得されたそれぞれの取得位置及びそれぞれの取得時点に対する情報がタグ付けされて共に前記データベースに格納された場合、前記テスト装置は、テスト用第K位置情報及びテスト用第K時間情報を参照してクエリ(query)を発信することで前記KのCNNを取得することができ、前記第K時点を含む前記第K時間範囲及び前記第K領域に対応する前記第KのCNNをもって、前記テスト用第K予測自律走行ソース情報を生成するようにすることができるであろう。この場合、一例として、前記川が自動車の左側にある川沿い道路の朝の時間帯に最適化された前記第KのCNNが自律走行遂行するために利用され得るということである。
このような方法を利用すれば、それぞれの状況ごとに最適化されたそれぞれのCNNを活用できるようになるため、自律走行をさらに効率的に遂行できるようになるはずである。
以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で具現されてコンピュータ読取り可能な記録媒体に記録され得る。前記コンピュータで読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。前記コンピュータ読取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知となって利用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、CD-ROM、DVDのような光記録媒体、フロプティカルディスク(flopticaldisk)のような磁気-光媒体(magneto-opticalmedia)、及びROM、RAM、フラッシュメモリなどといったプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。
従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

Claims (26)

  1. 対象車両をもって、それぞれの領域において最適化された自律走行を遂行できるようにする学習方法において、
    (a)学習装置が、少なくとも一つの第K領域に対応する一つ以上の第Kトレーニングイメージが取得されると、前記学習装置に含まれた、第1のCNN(Convolutional Neural Network)ないし第MのCNNのうちの一つである第KのCNNの少なくとも一つの第Kコンボリューションレイヤをもって、前記第Kトレーニングイメージに少なくとも一つの第Kコンボリューション演算を適用して一つ以上の第K特徴マップを生成するようにする段階;
    (b)前記学習装置が、前記第KのCNNの少なくとも一つの第K出力レイヤをもって、前記第K特徴マップに少なくとも一つの第K出力演算を適用して一つ以上の第K予測自律走行ソース情報を生成するようにする段階;
    (c)前記学習装置が、前記第KのCNNの少なくとも一つの第Kロスレイヤをもって、前記第K予測自律走行ソース情報及びこれに対応する一つ以上の第KのGT(Ground Truth)を参照にして少なくとも一つの第Kロスを生成するようにし、前記第Kロスを利用してバックプロパーゲーション(backpropagation)を遂行することで前記第KのCNNの第Kパラメータのうちの少なくとも一部を学習するようにする段階;及び
    (d)前記学習装置が、前記第K領域の第K位置情報を前記第KのCNNにタグ付け(tagging)し、前記タグ付けされた第KのCNNをデータベースに格納する段階;
    を含み、Mは、1より大きな任意の整数(Integer)であり、Kは、1以上M以下の整数であることを特徴とし、
    (e)前記学習装置が、(i)前記第1のCNNないし前記第MのCNNの中から選択される、前記第K領域からの距離が第1閾値未満である第K_1領域ないし第K_N領域(Nは、0より大きい任意の整数である)それぞれに対応する第K_1CNNないし第K_NのCNNそれぞれに対する情報を取得し、(ii)前記第K_1CNNの第K_1パラメータと前記第Kパラメータとの間の第K_1類似度ないし前記第K_NのCNNの第K_Nパラメータと前記第Kパラメータとの間の第K_N類似度を計算する段階;及び
    (f)前記学習装置が、(i)前記第K_1CNNないし前記第K_NのCNNのうち、類似度が第2閾値以上である一つ以上の特定CNNと(ii)前記第KのCNNとのうちの少なくとも一部を参照にして、前記第K領域を含む第K広域領域に対応する第K代表CNNを生成する段階;
    をさらに含むことを特徴とする方法。
  2. 前記(e)段階で、
    前記学習装置が、以下数式によって前記第K_1類似度ないし前記第K_N類似度を計算し、
    Figure 0007092383000004

    前記数式で、
    Figure 0007092383000005
    は、前記第K_1類似度ないし前記第K_N類似度の一つである第K_Q類似度(Qは、1以上N以下の整数である)を意味し、
    Figure 0007092383000006
    は、前記第Kパラメータのl番目構成パラメータを意味し、
    Figure 0007092383000007
    は、前記第K_Q類似度に対応する第K_QのCNNの第K_Qパラメータのl番目構成パラメータを意味することを特徴とする請求項に記載の方法。
  3. 前記(f)段階で、
    前記学習装置が、前記特定CNN及び前記第KのCNNそれぞれのすべてのパラメータのうちの、それぞれの相対的同一位置に対応するそれぞれの構成パラメータに対する平均をそれぞれ計算して、前記平均をパラメータとして含む前記第K代表CNNを生成することを特徴とする請求項に記載の方法。
  4. 地形的特性、気象的特性及び建物配置特性のうちの少なくとも一部を含む共通特性を、前記第K広域領域内の各領域間に一つ以上有することを特徴とする請求項に記載の方法。
  5. 前記(a)段階で、
    前記学習装置が、前記第Kコンボリューションレイヤに含まれた一つ以上の第Kコンボリューションニューロンそれぞれをもって、自身に入力された値に少なくとも一つのコンボリューション演算を適用して出力された値を自身の次の第Kコンボリューションニューロンに伝達するプロセスを繰り返すようにすることにより、前記第Kトレーニングイメージに前記第Kコンボリューション演算を適用することを特徴とする請求項1に記載の方法。
  6. 前記(b)段階で、
    前記学習装置が、前記第Kコンボリューションレイヤに対応する第Kデコンボリューションレイヤで具現された前記第K出力レイヤをもって、第Kデコンボリューション演算に対応する前記第K出力演算を前記第K特徴マップに適用して、前記第Kトレーニングイメージに対応する第K予測セグメンテーションイメージに対する情報を含む前記第K予測自律走行ソース情報を生成するようにすることを特徴とする請求項1に記載の方法。
  7. 前記(b)段階で、
    前記学習装置が、第KのFC(Fully-Connected)レイヤで具現された前記第K出力レイヤをもって、第KのFCネットワーク演算に対応する前記第K出力演算を前記第K特徴マップに適用して、前記第Kトレーニングイメージに対応する第K予測物体検出結果に対する情報を含む前記第K予測自律走行ソース情報を生成するようにさせることを特徴とする請求項1に記載の方法。
  8. 対象車両をもって、それぞれの領域において最適化された自律走行を遂行できるようにする学習方法において、
    (a)学習装置が、少なくとも一つの第K領域に対応する一つ以上の第Kトレーニングイメージが取得されると、前記学習装置に含まれた、第1のCNN(Convolutional Neural Network)ないし第MのCNNのうちの一つである第KのCNNの少なくとも一つの第Kコンボリューションレイヤをもって、前記第Kトレーニングイメージに少なくとも一つの第Kコンボリューション演算を適用して一つ以上の第K特徴マップを生成するようにする段階;
    (b)前記学習装置が、前記第KのCNNの少なくとも一つの第K出力レイヤをもって、前記第K特徴マップに少なくとも一つの第K出力演算を適用して一つ以上の第K予測自律走行ソース情報を生成するようにする段階;
    (c)前記学習装置が、前記第KのCNNの少なくとも一つの第Kロスレイヤをもって、前記第K予測自律走行ソース情報及びこれに対応する一つ以上の第KのGT(Ground Truth)を参照にして少なくとも一つの第Kロスを生成するようにし、前記第Kロスを利用してバックプロパーゲーション(backpropagation)を遂行することで前記第KのCNNの第Kパラメータのうちの少なくとも一部を学習するようにする段階;及び
    (d)前記学習装置が、前記第K領域の第K位置情報を前記第KのCNNにタグ付け(tagging)し、前記タグ付けされた第KのCNNをデータベースに格納する段階;
    を含み、Mは、1より大きな任意の整数(Integer)であり、Kは、1以上M以下の整数であることを特徴とし、
    前記(d)段階で、
    前記学習装置が、(i)前記第Kトレーニングイメージが取得された第K時点に対応する第K時間情報とともに前記第K位置情報を前記第KのCNNにタグ付けし、前記タグ付けされた第KのCNNを前記データベースに格納し、(ii)前記第1のCNNないし前記第MのCNNの中から選択される、前記第K時点との差異が第3閾値以下である第K_1時点ないし第K_N時点それぞれに対応する第K_1CNNないし第K_NのCNNそれぞれに対する情報を取得し、(iii)前記第K_1CNNの第K_1パラメータと前記第Kパラメータとの間の第K_1類似度ないし前記第K_NのCNNの第K_Nパラメータと前記第Kパラメータとの間の第K_N類似度を計算し、(iv)(1)前記第K_1CNNないし前記第K_NのCNNのうち、類似度が第4閾値以上である一つ以上の特定CNNと(2)前記第KのCNNとのうちの少なくとも一部を参照にして、前記第K時点を含む第K時間範囲に対応する第K代表CNNを生成することを特徴とする方法。
  9. 対象車両をもって、それぞれの領域において最適化された自律走行を遂行できるようにするテスト方法において、
    (a)(1)学習装置が、少なくとも一つの第K領域に対応する一つ以上の第Kトレーニングイメージが取得されると、前記学習装置に含まれた、第1のCNN(Convolutional Neural Network)ないし第MのCNNのうちの一つである第KのCNNの少なくとも一つの第Kコンボリューションレイヤをもって、前記第Kトレーニングイメージに少なくとも一つの第Kコンボリューション演算を適用して一つ以上の学習用第K特徴マップを生成するようにするプロセス、(2)前記学習装置が、前記第KのCNNの少なくとも一つの第K出力レイヤをもって、前記学習用第K特徴マップに少なくとも一つの第K出力演算を適用して一つ以上の学習用第K予測自律走行ソース情報を生成するようにするプロセス、(3)前記学習装置が、前記第KのCNNの少なくとも一つの第Kロスレイヤをもって、前記学習用第K予測自律走行ソース情報及びこれに対応する一つ以上の第KのGTを参照にして少なくとも一つの第Kロスを生成するようにし、前記第Kロスを利用してバックプロパーゲーションを遂行することで前記第KのCNNの第Kパラメータのうちの少なくとも一部を学習するようにする段階;及び(4)前記学習装置が、前記第K領域の第K位置情報を前記第KのCNNにタグ付けし、前記タグ付けされた第KのCNNをデータベースに格納するプロセスを遂行した状態で、テスト装置が、第K時点に前記対象車両が位置した前記第K領域に対応する前記第KのCNNをもって、第Kテストイメージを利用してテスト用第K予測自律走行ソース情報を生成するようにする段階;及び
    (b)前記テスト装置が、自律走行モジュールをもって、前記テスト用第K予測自律走行ソース情報を参照にして前記対象車両の自律走行を遂行するようにする段階;
    を含み、Mは、1より大きな任意の整数(Integer)であり、Kは、1以上M以下の整数であることを特徴とし、
    前記(a)段階で、
    前記テスト装置が、前記第K領域を含む第K広域領域に対する第K代表CNNを取得し、前記第K代表CNNをもって、前記テスト用第K予測自律走行ソース情報を生成するようにすることを特徴とする方法。
  10. 対象車両をもって、それぞれの領域において最適化された自律走行を遂行できるようにするテスト方法において、
    (a)(1)学習装置が、少なくとも一つの第K領域に対応する一つ以上の第Kトレーニングイメージが取得されると、前記学習装置に含まれた、第1のCNN(Convolutional Neural Network)ないし第MのCNNのうちの一つである第KのCNNの少なくとも一つの第Kコンボリューションレイヤをもって、前記第Kトレーニングイメージに少なくとも一つの第Kコンボリューション演算を適用して一つ以上の学習用第K特徴マップを生成するようにするプロセス、(2)前記学習装置が、前記第KのCNNの少なくとも一つの第K出力レイヤをもって、前記学習用第K特徴マップに少なくとも一つの第K出力演算を適用して一つ以上の学習用第K予測自律走行ソース情報を生成するようにするプロセス、(3)前記学習装置が、前記第KのCNNの少なくとも一つの第Kロスレイヤをもって、前記学習用第K予測自律走行ソース情報及びこれに対応する一つ以上の第KのGTを参照にして少なくとも一つの第Kロスを生成するようにし、前記第Kロスを利用してバックプロパーゲーションを遂行することで前記第KのCNNの第Kパラメータのうちの少なくとも一部を学習するようにする段階;及び(4)前記学習装置が、前記第K領域の第K位置情報を前記第KのCNNにタグ付けし、前記タグ付けされた第KのCNNをデータベースに格納するプロセスを遂行した状態で、テスト装置が、第K時点に前記対象車両が位置した前記第K領域に対応する前記第KのCNNをもって、第Kテストイメージを利用してテスト用第K予測自律走行ソース情報を生成するようにする段階;及び
    (b)前記テスト装置が、自律走行モジュールをもって、前記テスト用第K予測自律走行ソース情報を参照にして前記対象車両の自律走行を遂行するようにする段階;
    を含み、Mは、1より大きな任意の整数(Integer)であり、Kは、1以上M以下の整数であることを特徴とし、
    前記(a)段階で前記テスト用第K予測自律走行ソース情報を生成するプロセス以前に、
    (a1)前記テスト装置が、前記第K時点より以前の時点である第K-1時点に前記第K領域に隣接した第K-1領域内に前記対象車両が位置した状態で、前記対象車両に搭載されたGPS(Global Positioning System)から取得された対象位置情報を参照にして、前記対象車両が前記第K-1領域内の第(K-1)_1細部領域から前記第K-1領域内の第(K-1)_2細部領域に移動したか否かをモニタリングする段階;及び
    (a2)前記テスト装置が、前記対象車両が前記第(K-1)_1細部領域から前記第(K-1)_2細部領域に移動したことが感知された場合、前記対象車両の予想移動経路を参照にして、前記第K時点に前記対象車両が位置する前記第K領域に対応する前記第KのCNNを取得する段階;
    をさらに含むことを特徴とする方法。
  11. 前記(a2)段階で、
    (i)前記対象車両が前記第(K-1)_2細部領域に移動した時点に自律走行モードで動作した状態である場合、前記テスト装置が、前記自律走行モジュールから前記予想移動経路に対する情報を取得し、(ii)前記対象車両が前記第(K-1)_2細部領域に移動した時点に半自律走行モードで動作していて、前記対象車両の目的地情報が前記対象車両のADAS(Advanced Driving Assistance System)に入力された状態である場合、前記テスト装置が、前記ADASから取得した前記目的地情報を参照にして前記予想移動経路に対する情報を取得することを特徴とする請求項10に記載の方法。
  12. 前記(a2)段階で、
    前記対象車両が前記第(K-1)_2細部領域に移動した時点に手動走行モードで動作した状態であるか、前記対象車両が半自律走行モードで動作したが前記対象車両の目的地情報が前記対象車両のADASに入力されていない状態である場合、前記テスト装置が、第K-P時点(Pは、1以上T-1以下の整数である)ないし前記第K-1時点の時間範囲の間、前記対象車両が走行した過去の移動経路に対する情報を参照にして逆強化学習(Inverse Reinforcement Learning)アルゴリズムを遂行することにより、前記予想移動経路を取得することを特徴とする請求項10に記載の方法。
  13. 対象車両をもって、それぞれの領域において最適化された自律走行を遂行できるようにするテスト方法において、
    (a)(1)学習装置が、少なくとも一つの第K領域に対応する一つ以上の第Kトレーニングイメージが取得されると、前記学習装置に含まれた、第1のCNN(Convolutional Neural Network)ないし第MのCNNのうちの一つである第KのCNNの少なくとも一つの第Kコンボリューションレイヤをもって、前記第Kトレーニングイメージに少なくとも一つの第Kコンボリューション演算を適用して一つ以上の学習用第K特徴マップを生成するようにするプロセス、(2)前記学習装置が、前記第KのCNNの少なくとも一つの第K出力レイヤをもって、前記学習用第K特徴マップに少なくとも一つの第K出力演算を適用して一つ以上の学習用第K予測自律走行ソース情報を生成するようにするプロセス、(3)前記学習装置が、前記第KのCNNの少なくとも一つの第Kロスレイヤをもって、前記学習用第K予測自律走行ソース情報及びこれに対応する一つ以上の第KのGTを参照にして少なくとも一つの第Kロスを生成するようにし、前記第Kロスを利用してバックプロパーゲーションを遂行することで前記第KのCNNの第Kパラメータのうちの少なくとも一部を学習するようにする段階;及び(4)前記学習装置が、前記第K領域の第K位置情報を前記第KのCNNにタグ付けし、前記タグ付けされた第KのCNNをデータベースに格納するプロセスを遂行した状態で、テスト装置が、第K時点に前記対象車両が位置した前記第K領域に対応する前記第KのCNNをもって、第Kテストイメージを利用してテスト用第K予測自律走行ソース情報を生成するようにする段階;及び
    (b)前記テスト装置が、自律走行モジュールをもって、前記テスト用第K予測自律走行ソース情報を参照にして前記対象車両の自律走行を遂行するようにする段階;
    を含み、Mは、1より大きな任意の整数(Integer)であり、Kは、1以上M以下の整数であることを特徴とし、
    前記(a)段階で、
    それぞれの前記第1のCNNないし第MのCNNが、それに対応するトレーニングイメージが取得されたそれぞれの取得位置及びそれぞれの取得時点に対する情報がタグ付けされて共に前記データベースに格納された場合、前記テスト装置が、前記第K領域に対応するだけでなく、前記第K時点を含む第K時間範囲に対応する前記第KのCNNをもって、前記テスト用第K予測自律走行ソース情報を生成するようにすることを特徴とする方法。
  14. 対象車両をもって、それぞれの領域において最適化された自律走行を遂行できるようにする学習装置において、
    一つの各インストラクションを格納する少なくとも一つのメモリ;及び
    (I)少なくとも一つの第K領域に対応する一つ以上の第Kトレーニングイメージが取得されると、前記学習装置に含まれた、第1のCNN(Convolutional Neural Network)ないし第MのCNNのうちの一つである第KのCNNの少なくとも一つの第Kコンボリューションレイヤをもって、前記第Kトレーニングイメージに少なくとも一つの第Kコンボリューション演算を適用して一つ以上の第K特徴マップを生成するようにするプロセス、(II)前記第KのCNNの少なくとも一つの第K出力レイヤをもって、前記第K特徴マップに少なくとも一つの第K出力演算を適用して一つ以上の第K予測自律走行ソース情報を生成するようにするプロセス、(III)前記第KのCNNの少なくとも一つの第Kロスレイヤをもって、前記第K予測自律走行ソース情報及びこれに対応する一つ以上の第KのGTを参照にして少なくとも一つの第Kロスを生成するようにし、前記第Kロスを利用してバックプロパーゲーションを遂行することで前記第KのCNNの第Kパラメータのうちの少なくとも一部を学習するようにするプロセス、及び(IV)前記第K領域の第K位置情報を前記第KのCNNにタグ付け(tagging)し、前記タグ付けされた第KのCNNをデータベースに格納するプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ;
    を含み、Mは、1より大きな任意の整数(Integer)であり、Kは、1以上M以下の整数であることを特徴とし、
    前記プロセッサが、(V)(i)前記第1のCNNないし前記第MのCNNの中から選択される、前記第K領域からの距離が第1閾値未満である第K_1領域ないし第K_N領域(Nは、0より大きい任意の整数である)それぞれに対応する第K_1CNNないし第K_NのCNNそれぞれに対する情報を取得し、(ii)前記第K_1CNNの第K_1パラメータと前記第Kパラメータとの間の第K_1類似度ないし前記第K_NのCNNの第K_Nパラメータと前記第Kパラメータとの間の第K_N類似度を計算するプロセス、及び(VI)(i)前記第K_1CNNないし前記第K_NのCNNのうち、類似度が第2閾値以上である一つ以上の特定CNNと(ii)前記第KのCNNとのうちの少なくとも一部を参照にして、前記第K領域を含む第K広域領域に対応する第K代表CNNを生成するプロセスをさらに遂行することを特徴とする装置。
  15. 前記(V)プロセスで、
    前記プロセッサが、以下数式によって前記第K_1類似度ないし前記第K_N類似度を計算し、
    Figure 0007092383000008

    前記数式で、
    Figure 0007092383000009
    は、前記第K_1類似度ないし前記第K_N類似度の一つである第K_Q類似度(Qは、1以上N以下の整数である)を意味し、
    Figure 0007092383000010
    は、前記第Kパラメータのl番目構成パラメータを意味し、
    Figure 0007092383000011
    は、前記第K_Q類似度に対応する第K_QのCNNの第K_Qパラメータのl番目構成パラメータを意味することを特徴とする請求項14に記載の装置。
  16. 前記(VI)プロセスで、
    前記プロセッサが、前記特定CNN及び前記第KのCNNそれぞれのすべてのパラメータのうちの、それぞれの相対的同一位置に対応するそれぞれの構成パラメータに対する平均をそれぞれ計算して、前記平均をパラメータとして含む前記第K代表CNNを生成することを特徴とする請求項14に記載の装置。
  17. 地形的特性、気象的特性及び建物配置特性のうちの少なくとも一部を含む共通特性を、前記第K広域領域内の各領域間に一つ以上有することを特徴とする請求項14に記載の装置。
  18. 前記(I)プロセスで、
    前記プロセッサが、前記第Kコンボリューションレイヤに含まれた一つ以上の第Kコンボリューションニューロンそれぞれをもって、自身に入力された値に少なくとも一つのコンボリューション演算を適用して出力された値を自身の次の第Kコンボリューションニューロンに伝達するプロセスを繰り返すようにすることにより、前記第Kトレーニングイメージに前記第Kコンボリューション演算を適用することを特徴とする請求項14に記載の装置。
  19. 前記(II)プロセスで、
    前記プロセッサが、前記第Kコンボリューションレイヤに対応する第Kデコンボリューションレイヤで具現された前記第K出力レイヤをもって、第Kデコンボリューション演算に対応する前記第K出力演算を前記第K特徴マップに適用して、前記第Kトレーニングイメージに対応する第K予測セグメンテーションイメージに対する情報を含む前記第K予測自律走行ソース情報を生成するようにすることを特徴とする請求項14に記載の装置。
  20. 前記(II)プロセスで、
    前記プロセッサが、第KのFCレイヤで具現された前記第K出力レイヤをもって、第KのFCネットワーク演算に対応する前記第K出力演算を前記第K特徴マップに適用して、前記第Kトレーニングイメージに対応する第K予測物体検出結果に対する情報を含む前記第K予測自律走行ソース情報を生成するようにさせることを特徴とする請求項14に記載の装置。
  21. 対象車両をもって、それぞれの領域において最適化された自律走行を遂行できるようにする学習装置において、
    一つの各インストラクションを格納する少なくとも一つのメモリ;及び
    (I)少なくとも一つの第K領域に対応する一つ以上の第Kトレーニングイメージが取得されると、前記学習装置に含まれた、第1のCNN(Convolutional Neural Network)ないし第MのCNNのうちの一つである第KのCNNの少なくとも一つの第Kコンボリューションレイヤをもって、前記第Kトレーニングイメージに少なくとも一つの第Kコンボリューション演算を適用して一つ以上の第K特徴マップを生成するようにするプロセス、(II)前記第KのCNNの少なくとも一つの第K出力レイヤをもって、前記第K特徴マップに少なくとも一つの第K出力演算を適用して一つ以上の第K予測自律走行ソース情報を生成するようにするプロセス、(III)前記第KのCNNの少なくとも一つの第Kロスレイヤをもって、前記第K予測自律走行ソース情報及びこれに対応する一つ以上の第KのGTを参照にして少なくとも一つの第Kロスを生成するようにし、前記第Kロスを利用してバックプロパーゲーションを遂行することで前記第KのCNNの第Kパラメータのうちの少なくとも一部を学習するようにするプロセス、及び(IV)前記第K領域の第K位置情報を前記第KのCNNにタグ付け(tagging)し、前記タグ付けされた第KのCNNをデータベースに格納するプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ;
    を含み、Mは、1より大きな任意の整数(Integer)であり、Kは、1以上M以下の整数であることを特徴とし、
    前記(IV)プロセスで、
    前記プロセッサが、(i)前記第Kトレーニングイメージが取得された第K時点に対応する第K時間情報とともに前記第K位置情報を前記第KのCNNにタグ付けし、前記タグ付けされた第KのCNNを前記データベースに格納し、(ii)前記第1のCNNないし前記第MのCNNの中から選択される、前記第K時点との差異が第3閾値以下である第K_1時点ないし第K_N時点それぞれに対応する第K_1CNNないし第K_NのCNNそれぞれに対する情報を取得し、(iii)前記第K_1CNNの第K_1パラメータと前記第Kパラメータとの間の第K_1類似度ないし前記第K_NのCNNの第K_Nパラメータと前記第Kパラメータとの間の第K_N類似度を計算し、(iv)(1)前記第K_1CNNないし前記第K_NのCNNのうち、類似度が第4閾値以上である一つ以上の特定CNNと(2)前記第KのCNNとのうちの少なくとも一部を参照にして、前記第K時点を含む第K時間範囲に対応する第K代表CNNを生成することを特徴とする装置。
  22. 対象車両をもって、それぞれの領域において最適化された自律走行を遂行できるようにするテスト装置において、
    一つの各インストラクションを格納する少なくとも一つのメモリ;及び
    (I)(1)学習装置が、少なくとも一つの第K領域に対応する一つ以上の第Kトレーニングイメージが取得されると、前記学習装置に含まれた、第1のCNN(Convolutional Neural Network)ないし第MのCNNのうちの一つである第KのCNNの少なくとも一つの第Kコンボリューションレイヤをもって、前記第Kトレーニングイメージに少なくとも一つの第Kコンボリューション演算を適用して一つ以上の学習用第K特徴マップを生成するようにするプロセス、(2)前記学習装置が、前記第KのCNNの少なくとも一つの第K出力レイヤをもって、前記学習用第K特徴マップに少なくとも一つの第K出力演算を適用して一つ以上の学習用第K予測自律走行ソース情報を生成するようにするプロセス、(3)前記学習装置が、前記第KのCNNの少なくとも一つの第Kロスレイヤをもって、前記学習用第K予測自律走行ソース情報及びこれに対応する一つ以上の第KのGTを参照にして少なくとも一つの第Kロスを生成するようにし、前記第Kロスを利用してバックプロパーゲーションを遂行することで前記第KのCNNの第Kパラメータのうちの少なくとも一部を学習するようにする段階;及び(4)前記学習装置が、前記第K領域の第K位置情報を前記第KのCNNにタグ付けし、前記タグ付けされた第KのCNNをデータベースに格納するプロセスを遂行した状態で、第K時点に前記対象車両が位置した前記第K領域に対応する前記第KのCNNをもって、第Kテストイメージを利用してテスト用第K予測自律走行ソース情報を生成するようにするプロセス、及び(II)自律走行モジュールをもって、前記テスト用第K予測自律走行ソース情報を参照にして前記対象車両の自律走行を遂行するようにするプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ;
    を含み、Mは、1より大きな任意の整数(Integer)であり、Kは、1以上M以下の整数であることを特徴とし、
    前記(I)プロセスで、
    前記プロセッサが、前記第K領域を含む第K広域領域に対する第K代表CNNを取得し、前記第K代表CNNをもって、前記テスト用第K予測自律走行ソース情報を生成するようにすることを特徴とする装置。
  23. 対象車両をもって、それぞれの領域において最適化された自律走行を遂行できるようにするテスト装置において、
    一つの各インストラクションを格納する少なくとも一つのメモリ;及び
    (I)(1)学習装置が、少なくとも一つの第K領域に対応する一つ以上の第Kトレーニングイメージが取得されると、前記学習装置に含まれた、第1のCNN(Convolutional Neural Network)ないし第MのCNNのうちの一つである第KのCNNの少なくとも一つの第Kコンボリューションレイヤをもって、前記第Kトレーニングイメージに少なくとも一つの第Kコンボリューション演算を適用して一つ以上の学習用第K特徴マップを生成するようにするプロセス、(2)前記学習装置が、前記第KのCNNの少なくとも一つの第K出力レイヤをもって、前記学習用第K特徴マップに少なくとも一つの第K出力演算を適用して一つ以上の学習用第K予測自律走行ソース情報を生成するようにするプロセス、(3)前記学習装置が、前記第KのCNNの少なくとも一つの第Kロスレイヤをもって、前記学習用第K予測自律走行ソース情報及びこれに対応する一つ以上の第KのGTを参照にして少なくとも一つの第Kロスを生成するようにし、前記第Kロスを利用してバックプロパーゲーションを遂行することで前記第KのCNNの第Kパラメータのうちの少なくとも一部を学習するようにする段階;及び(4)前記学習装置が、前記第K領域の第K位置情報を前記第KのCNNにタグ付けし、前記タグ付けされた第KのCNNをデータベースに格納するプロセスを遂行した状態で、第K時点に前記対象車両が位置した前記第K領域に対応する前記第KのCNNをもって、第Kテストイメージを利用してテスト用第K予測自律走行ソース情報を生成するようにするプロセス、及び(II)自律走行モジュールをもって、前記テスト用第K予測自律走行ソース情報を参照にして前記対象車両の自律走行を遂行するようにするプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ;
    を含み、Mは、1より大きな任意の整数(Integer)であり、Kは、1以上M以下の整数であることを特徴とし、
    前記(I)プロセスで前記テスト用第K予測自律走行ソース情報を生成するプロセス以前に、
    前記プロセッサが、(I-1)前記第K時点より以前の時点である第K-1時点に前記第K領域に隣接した第K-1領域内に前記対象車両が位置した状態で、前記対象車両に搭載されたGPSから取得された対象位置情報を参照にして、前記対象車両が前記第K-1領域内の第(K-1)_1細部領域から前記第K-1領域内の第(K-1)_2細部領域に移動したか否かをモニタリングするプロセス、及び(I-2)前記対象車両が前記第(K-1)_1細部領域から前記第(K-1)_2細部領域に移動したことが感知された場合、前記対象車両の予想移動経路を参照にして、前記第K時点に前記対象車両が位置する前記第K領域に対応する前記第KのCNNを取得するプロセスをさらに遂行することを特徴とする装置。
  24. 前記(I-2)プロセスで、
    (i)前記対象車両が前記第(K-1)_2細部領域に移動した時点に自律走行モードで動作した状態である場合、前記プロセッサが、前記自律走行モジュールから前記予想移動経路に対する情報を取得し、(ii)前記対象車両が前記第(K-1)_2細部領域に移動した時点に半自律走行モードで動作していて、前記対象車両の目的地情報が前記対象車両のADASに入力された状態である場合、前記プロセッサが、前記ADASから取得した前記目的地情報を参照にして前記予想移動経路に対する情報を取得することを特徴とする請求項23に記載の装置。
  25. 前記(I-2)プロセスで、
    前記対象車両が前記第(K-1)_2細部領域に移動した時点に手動走行モードで動作した状態であるか、前記対象車両が半自律走行モードで動作したが前記対象車両の目的地情報が前記対象車両のADASに入力されていない状態である場合、前記プロセッサが、第K-P時点(Pは、1以上T-1以下の整数である)ないし前記第K-1時点の時間範囲の間、前記対象車両が走行した過去の移動経路に対する情報を参照にして逆強化学習(Inverse Reinforcement Learning)アルゴリズムを遂行することにより、前記予想移動経路を取得することを特徴とする請求項23に記載の装置。
  26. 対象車両をもって、それぞれの領域において最適化された自律走行を遂行できるようにするテスト装置において、
    一つの各インストラクションを格納する少なくとも一つのメモリ;及び
    (I)(1)学習装置が、少なくとも一つの第K領域に対応する一つ以上の第Kトレーニングイメージが取得されると、前記学習装置に含まれた、第1のCNN(Convolutional Neural Network)ないし第MのCNNのうちの一つである第KのCNNの少なくとも一つの第Kコンボリューションレイヤをもって、前記第Kトレーニングイメージに少なくとも一つの第Kコンボリューション演算を適用して一つ以上の学習用第K特徴マップを生成するようにするプロセス、(2)前記学習装置が、前記第KのCNNの少なくとも一つの第K出力レイヤをもって、前記学習用第K特徴マップに少なくとも一つの第K出力演算を適用して一つ以上の学習用第K予測自律走行ソース情報を生成するようにするプロセス、(3)前記学習装置が、前記第KのCNNの少なくとも一つの第Kロスレイヤをもって、前記学習用第K予測自律走行ソース情報及びこれに対応する一つ以上の第KのGTを参照にして少なくとも一つの第Kロスを生成するようにし、前記第Kロスを利用してバックプロパーゲーションを遂行することで前記第KのCNNの第Kパラメータのうちの少なくとも一部を学習するようにする段階;及び(4)前記学習装置が、前記第K領域の第K位置情報を前記第KのCNNにタグ付けし、前記タグ付けされた第KのCNNをデータベースに格納するプロセスを遂行した状態で、第K時点に前記対象車両が位置した前記第K領域に対応する前記第KのCNNをもって、第Kテストイメージを利用してテスト用第K予測自律走行ソース情報を生成するようにするプロセス、及び(II)自律走行モジュールをもって、前記テスト用第K予測自律走行ソース情報を参照にして前記対象車両の自律走行を遂行するようにするプロセスを遂行するための、前記各インストラクションを実行するように構成された少なくとも一つのプロセッサ;
    を含み、Mは、1より大きな任意の整数(Integer)であり、Kは、1以上M以下の整数であることを特徴とし、
    前記(I)プロセスで、
    それぞれの前記第1のCNNないし第MのCNNが、それに対応するトレーニングイメージが取得されたそれぞれの取得の位置及びそれぞれの取得時点に対する情報がタグ付けされて共に前記データベースに格納された場合、前記プロセッサが、前記第K領域に対応するだけでなく、前記第K時点を含む第K時間範囲に対応する前記第KのCNNをもって、前記テスト用第K予測自律走行ソース情報を生成するようにすることを特徴とする装置。
JP2020008780A 2019-01-30 2020-01-22 各領域において最適化された自律走行を遂行できるように位置基盤アルゴリズムの選択によってシームレスパラメータ変更を遂行する方法及び装置 Active JP7092383B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962798821P 2019-01-30 2019-01-30
US62/798,821 2019-01-30
US16/731,083 US10890916B2 (en) 2019-01-30 2019-12-31 Location-specific algorithm selection for optimized autonomous driving
US16/731,083 2019-12-31

Publications (2)

Publication Number Publication Date
JP2020123346A JP2020123346A (ja) 2020-08-13
JP7092383B2 true JP7092383B2 (ja) 2022-06-28

Family

ID=69187573

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020008780A Active JP7092383B2 (ja) 2019-01-30 2020-01-22 各領域において最適化された自律走行を遂行できるように位置基盤アルゴリズムの選択によってシームレスパラメータ変更を遂行する方法及び装置

Country Status (5)

Country Link
US (1) US10890916B2 (ja)
EP (1) EP3690725A1 (ja)
JP (1) JP7092383B2 (ja)
KR (1) KR102373472B1 (ja)
CN (1) CN111507373B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200011145A (ko) * 2018-07-24 2020-02-03 현대자동차주식회사 기어 검사장치 및 이를 이용한 기어 검사방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11880997B2 (en) 2020-08-28 2024-01-23 Samsung Electronics Co., Ltd. Method and apparatus with pose estimation
US11938941B2 (en) 2020-08-31 2024-03-26 Denso International America, Inc. Mode selection according to system conditions
KR102345267B1 (ko) * 2020-10-12 2021-12-31 서울대학교산학협력단 목표 지향적 강화학습 방법 및 이를 수행하기 위한 장치
KR102588450B1 (ko) * 2021-11-02 2023-10-13 주식회사 오비고 특정 사용자의 자율주행 경험 만족도 제고를 위한 자율주행 알고리즘 개인화 방법 및 장치
KR102421289B1 (ko) * 2022-01-03 2022-07-18 주식회사 아라종합기술 패러렐 디시전 보팅 알고리즘에 따른 영상기반 시정 탐지 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN117593686B (zh) * 2024-01-19 2024-04-09 福思(杭州)智能科技有限公司 基于车况真值数据的模型评测方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019125113A (ja) 2018-01-15 2019-07-25 キヤノン株式会社 情報処理装置、情報処理方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010049323A1 (en) * 2000-02-10 2001-12-06 Fox Gary T. Treadmill
US10019652B2 (en) * 2016-02-23 2018-07-10 Xerox Corporation Generating a virtual world to assess real-world video analysis performance
CN107180220B (zh) * 2016-03-11 2023-10-31 松下电器(美国)知识产权公司 危险预测方法
US10390003B1 (en) * 2016-08-29 2019-08-20 Perceptln Shenzhen Limited Visual-inertial positional awareness for autonomous and non-autonomous device
US10176388B1 (en) * 2016-11-14 2019-01-08 Zoox, Inc. Spatial and temporal information for semantic segmentation
US20180239969A1 (en) 2017-02-23 2018-08-23 Ford Global Technologies, Llc Free Space Detection Using Monocular Camera and Deep Learning
US10108850B1 (en) * 2017-04-24 2018-10-23 Intel Corporation Recognition, reidentification and security enhancements using autonomous machines
US10007269B1 (en) 2017-06-23 2018-06-26 Uber Technologies, Inc. Collision-avoidance system for autonomous-capable vehicle
US10474160B2 (en) 2017-07-03 2019-11-12 Baidu Usa Llc High resolution 3D point clouds generation from downsampled low resolution LIDAR 3D point clouds and camera images
US10496104B1 (en) * 2017-07-05 2019-12-03 Perceptin Shenzhen Limited Positional awareness with quadocular sensor in autonomous platforms
US10192113B1 (en) * 2017-07-05 2019-01-29 PerceptIn, Inc. Quadocular sensor design in autonomous platforms
US10095977B1 (en) * 2017-10-04 2018-10-09 StradVision, Inc. Learning method and learning device for improving image segmentation and testing method and testing device using the same
US10089743B1 (en) * 2017-10-05 2018-10-02 StradVision, Inc. Method for segmenting an image and device using the same
US10049323B1 (en) * 2017-10-13 2018-08-14 StradVision, Inc. Method and device for performing activation and convolution operation at the same time and learning method and learning device for the same
US10169679B1 (en) * 2017-10-13 2019-01-01 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using loss augmentation and testing method and testing device using the same
US10007865B1 (en) * 2017-10-16 2018-06-26 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using multi-scale feature maps and testing method and testing device using the same
US10902615B2 (en) * 2017-11-13 2021-01-26 Qualcomm Incorporated Hybrid and self-aware long-term object tracking
US11080886B2 (en) * 2017-11-15 2021-08-03 Qualcomm Incorporated Learning disentangled invariant representations for one shot instance recognition
US10535138B2 (en) * 2017-11-21 2020-01-14 Zoox, Inc. Sensor data segmentation
US10324467B1 (en) * 2017-12-29 2019-06-18 Apex Artificial Intelligence Industries, Inc. Controller systems and methods of limiting the operation of neural networks to be within one or more conditions
US20190361454A1 (en) * 2018-05-24 2019-11-28 GM Global Technology Operations LLC Control systems, control methods and controllers for an autonomous vehicle
US10311578B1 (en) * 2019-01-23 2019-06-04 StradVision, Inc. Learning method and learning device for segmenting an image having one or more lanes by using embedding loss to support collaboration with HD maps required to satisfy level 4 of autonomous vehicles and softmax loss, and testing method and testing device using the same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019125113A (ja) 2018-01-15 2019-07-25 キヤノン株式会社 情報処理装置、情報処理方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
山下 隆義(外2名),「Multiple Dilated Covolutional Blocksによるセマンティクセグメンテーション」,第23回 画像センシングシンポジウム(SSII 2017)予稿集,[USB],IS2-31, SO2-IS2-31,日本,画像センシング技術研究会,2017年06月08日,全7頁.
福井 宏(外4名),「Random DropoutとEnsemble Inference Networksによる歩行者検出と標識認識」,情報処理学会論文誌,日本,情報処理学会,2016年03月15日,Vol.57, No.3,第910~921頁,ISSN: 1882-7764, [online], [平成28年5月24日検索],インターネット,<URL: http://id.nii.ac.jp/1001/00158096/>.
藤吉 弘亘(外1名),「深層学習による画像認識」,日本ロボット学会誌,日本,一般社団法人 日本ロボット学会,2017年04月15日,Vol.35, No.3,第8~13頁,ISSN: 0289-1824.
鈴木 孝弘,「これだけは知っておきたい データサイエンスの基本がわかる本」,第1版,日本,株式会社オーム社,2018年03月25日,第126~132,145~148頁,ISBN: 978-4-274-22194-1.

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200011145A (ko) * 2018-07-24 2020-02-03 현대자동차주식회사 기어 검사장치 및 이를 이용한 기어 검사방법

Also Published As

Publication number Publication date
US10890916B2 (en) 2021-01-12
KR102373472B1 (ko) 2022-03-14
CN111507373B (zh) 2023-09-08
US20200241544A1 (en) 2020-07-30
KR20200094655A (ko) 2020-08-07
EP3690725A1 (en) 2020-08-05
CN111507373A (zh) 2020-08-07
JP2020123346A (ja) 2020-08-13

Similar Documents

Publication Publication Date Title
JP7092383B2 (ja) 各領域において最適化された自律走行を遂行できるように位置基盤アルゴリズムの選択によってシームレスパラメータ変更を遂行する方法及び装置
KR102296507B1 (ko) 트래킹 네트워크를 포함한 cnn을 사용하여 객체를 트래킹하는 방법 및 이를 이용한 장치
JP6916551B2 (ja) V2x通信及びイメージ処理を利用した情報融合によって自律走行の短期経路をプランニングするための方法及び装置{method and device for short−term path planning of autonomous driving through information fusion by using v2x communication and image processing}
CN111507150B (zh) 利用基于深度神经网络的多重图像块组合识别人脸的方法
KR102337376B1 (ko) 레인 마스크(Lane Mask)를 사용하여 후처리 없이 입력 이미지에 포함된 하나 이상의 차선을 검출하는 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
JP6857370B2 (ja) ターゲット物体予測ネットワーク及びターゲット物体統合ネットワークを利用して、重要業績評価指標のようなユーザー要求事項に係る最適化のための再構成可能なネットワーク基盤の物体検出器を学習する方法及び学習装置、並びにこれを利用したテスティング方法及びテスティング装置
US10410120B1 (en) Learning method and testing method of object detector to be used for surveillance based on R-CNN capable of converting modes according to aspect ratios or scales of objects, and learning device and testing device using the same
JP6847463B2 (ja) CNN(Convolutional Neural Network)を利用して車線を検出するための学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置{LEARNING METHOD, LEARNING DEVICE FOR DETECTING LANE USING CNN AND TEST METHOD, TEST DEVICE USING THE SAME}
JP6912835B2 (ja) 自律走行自動車のレベル4を満たすために要求されるhdマップアップデートに利用される、少なくとも一つのアダプティブロス重み付け値マップを利用したアテンションドリブン・イメージセグメンテーション学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置
CN110488842B (zh) 一种基于双向内核岭回归的车辆轨迹预测方法
JP6910081B2 (ja) 協調走行を遂行する各車両から取得された各走行イメージを統合する方法及びこれを利用した走行イメージ統合装置
JP6980289B2 (ja) 車線モデルを利用して車線を検出し得る学習方法及び学習装置そしてこれを利用したテスト方法及びテスト装置{learning method, learning device for detecting lane using lane model and test method, test device using the same}
EP3690756B1 (en) Learning method and learning device for updating hd map by reconstructing 3d space by using depth estimation information and class information on each object, which have been acquired through v2x information integration technique, and testing method and testing device using the same
US20230085296A1 (en) Systems and methods for predicting trajectories of multiple vehicles
JP7291299B2 (ja) 走行環境に適応するように自律走行車両のディープラーニング基盤のオブジェクト検出器をアップデートするための学習方法及び学習装置、並びにそれを利用したアップデート方法及びアップデート装置
JP6853543B2 (ja) 自律走行に対する論理的根拠を提示するために、管理者が物体検出器の検出プロセスを評価できるように支援する方法及び装置
JP6856852B2 (ja) 横フィルタマスクを利用して自律走行車の走行経路を計画するために車線要素を検出する方法及び装置
US20230082654A1 (en) System and method for inferring driving constraints from demonstrations

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210602

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220609

R150 Certificate of patent or registration of utility model

Ref document number: 7092383

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150