JP2020038667A - 自律走行状況での障害物検出のためのｃｎｎ学習用イメージデータセットの生成方法及び装置、そしてこれを利用したテスト方法及びテスト装置 - Google Patents

自律走行状況での障害物検出のためのｃｎｎ学習用イメージデータセットの生成方法及び装置、そしてこれを利用したテスト方法及びテスト装置 Download PDF

Info

Publication number
JP2020038667A
JP2020038667A JP2019160649A JP2019160649A JP2020038667A JP 2020038667 A JP2020038667 A JP 2020038667A JP 2019160649 A JP2019160649 A JP 2019160649A JP 2019160649 A JP2019160649 A JP 2019160649A JP 2020038667 A JP2020038667 A JP 2020038667A
Authority
JP
Japan
Prior art keywords
image
test
composite
learning
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019160649A
Other languages
English (en)
Other versions
JP6855082B2 (ja
Inventor
ゲヒョン キム
Kye-Hyeon Kim
ゲヒョン キム
ヨンジュン キム
Yong-Jun Kim
ヨンジュン キム
インス キム
Insu Kim
インス キム
ハクギョン キム
Hak Kyoung Kim
ハクギョン キム
ウンヒョン ナム
Woonhyun Nam
ウンヒョン ナム
ソクフン ブ
Sukhoon Boo
ソクフン ブ
ミョンチョル ソン
Myungchul Sung
ミョンチョル ソン
ドンフン ヨ
Donghun Yeo
ドンフン ヨ
ウジュ リュ
Wooju Ryu
ウジュ リュ
テウン ジャン
Taewoong Jang
テウン ジャン
ギョンジュン ジョン
Kyungjoong Jeong
ギョンジュン ジョン
ホンモ ジェ
Hongmo Je
ホンモ ジェ
ホジン ジョ
Hojin Cho
ホジン ジョ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2020038667A publication Critical patent/JP2020038667A/ja
Application granted granted Critical
Publication of JP6855082B2 publication Critical patent/JP6855082B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】自律走行の際の実際の道路走行状況において、頻繁に接することのない物体を検出する性能を高めるために利用される学習用イメージセットを確保するＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）学習用イメージデータセットの生成方法及び装置並びにこれを利用したテスト方法及びテスト装置を提供する。【解決手段】自律走行状況で、障害物検出のためのＣＮＮ学習用イメージデータセットを生成する方法であって、学習装置は、道路走行状況を示す原本イメージと原本イメージに対応する原本ラベルと、原本イメージに対応されない任意の特定の物体のイメージに対応される追加ラベルと、を利用して生成された合成ラベルを獲得する段階及び第１ＣＮＮモジュールをもって原本イメージ及び合成ラベルを利用して合成イメージを生成する段階を含む。【選択図】図２

Description

本発明は、自律走行状況で、少なくとも一つの障害物検出のためのＣＮＮ学習用イメージデータセットの生成方法に関し；より詳しくは、前記自律走行状況で前記障害物検出のための前記ＣＮＮ学習用イメージデータセットを生成する前記方法において、（ａ）（ｉ）道路走行状況を示す原本イメージ及び（ｉｉ）前記原本イメージに対応する原本ラベル（ｌａｂｅｌ）及び前記原本イメージに対応されない任意の特定の物体のイメージに対応される追加ラベルを利用して生成された合成ラベルを獲得する段階：及び（ｂ）第１ＣＮＮモジュールをもって前記原本イメージ及び前記合成ラベルを利用して合成イメージを生成するようにするものの、前記合成イメージは、前記原本イメージに前記追加ラベルに対応する前記任意の特定の物体のイメージが合成されたイメージである段階；を含む方法及び装置、そしてこれを利用したテスト方法及びテスト装置に関する。
ディープ・コンボリューション・ニューラル・ネットワーク（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；ＤｅｅｐＣＮＮ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮは、文字の認識問題を解くために９０年代にすでに使われたが、現在のように広く使われるようになったのは最近の研究結果のおかげである。このようなディープＣＮＮは２０１２年ＩｍａｇｅＮｅｔイメージ分類コンテストで他の競争相手に勝って優勝を収めた。そして、コンボリューションニューラルネットワークは機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ）分野で非常に有用なツールとなった。
一方、イメージセグメンテーション（Ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ）は、入力としてイメージ（トレーニングイメージまたはテストイメージ）を受けて、出力としてラベル（ｌａｂｅｌ）イメージを作り出す方法である。最近、ディープラーニング（Ｄｅｅｐ ｌｅａｒｎｉｎｇ）技術が脚光を浴び、セグメンテーションもディープラーニングを多く利用する傾向にある。
一方、自律走行状況で利用される障害物を検出するためにＣＮＮを学習する場合、学習装置は自律走行状況で遭遇する様々な物体を学習しなければならず、そのために学習用イメージは自律走行状況で向き合うことになる様々な物体が存在するイメージである必要がある。
しかしながら、実際の走行状況では、道路上に様々な物体が存在し得るが、このようなデータを収集することは容易ではない。つまり、道路上に頻繁に現れない特異な物体に対する学習イメージは、一般走行映像データでは容易には入手できないだろう。例えば、人や自転車、車両等に対しては、一般走行映像データから容易に得られるイメージであるため、このような物体が含まれる学習イメージでは検出性能を高めるための学習をし得るが、虎やワニ等に対しては、一般走行映像データから容易に入手できず、これにより特異な物体への検出性能を高めるための学習は容易でないという問題点が存在する。
本発明は、前述した問題点を解決することを目的とする。
本発明は、自律走行の際の実際の道路走行状況において、頻繁に接することのない物体を検出し得る性能を高めるために利用される学習用イメージセットを確保することを他の目的とする。
また、実際のイメージのように見える合成イメージを生成するための方法を提供し、前記合成イメージにバウンディングボックス等の様々な情報が含まれるようにし、今後学習に活用されるデータセットを確保するようにする方法を提供することを他の目的とする。
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は次の通りである。
本発明の一態様によれば、自律走行状況で、少なくとも一つの障害物検出のためのＣＮＮ学習用イメージデータセットを生成する方法において、（ａ）学習装置が、（ｉ）道路走行状況を示す原本イメージ及び（ｉｉ）前記原本イメージに対応する原本ラベル（ｌａｂｅｌ）及び前記原本イメージに対応されない任意の特定の物体のイメージに対応される追加ラベルを利用して生成された合成ラベルを獲得する段階：及び（ｂ）前記学習装置が、第１ＣＮＮモジュールをもって前記原本イメージ及び前記合成ラベルを利用して合成イメージを生成するようにするものの、前記合成イメージは、前記原本イメージに前記追加ラベルに対応する前記任意の特定の物体のイメージが合成されたイメージである段階；を含むことを特徴とする方法を開示する。
一例として、（ｃ）前記学習装置は、第２ＣＮＮモジュールをもって前記合成イメージを獲得するようにして、前記合成イメージが、合成されたイメージかあるいは実際のイメージかを示す第１出力値を算出するようにし、前記第２ＣＮＮモジュールをもって合成されたものではない任意の実際のイメージを追加的に獲得するようにして、前記任意の実際のイメージが、偽のイメージかあるいは実際のイメージかを示す第２出力値を算出するようにする段階；及び（ｄ）前記学習装置は、前記第２ＣＮＮモジュールをもって前記第１出力値を第１原本正解値と比較して第１ロスを算出して、前記第２出力値を第２原本正解値と比較して第２ロスを算出し、前記第１及び第２ロス値各々を前記第２ＣＮＮモジュールと前記第１ＣＮＮモジュールを経てバックプロパゲーションすることで、前記第２ＣＮＮモジュールと前記第１ＣＮＮモジュールを学習する段階；をさらに含むことを特徴とする。
一例として、前記（ｄ）段階で、前記学習装置は、前記第２ＣＮＮモジュールが前記合成イメージを実際のイメージとして判別する程度が高まる方向に前記第１ＣＮＮモジュールを学習するようにし、前記第２ＣＮＮモジュールをもって、これに入力された前記合成イメージ及び前記実際のイメージに対して、偽のイメージか実際のイメージかを判別する程度が高まる方向に学習するようにさせることを特徴とする。
一例として、前記（ａ）段階で、前記学習装置が、（ｉｉｉ）少なくとも一つのランダムシード値を追加的に獲得して、前記（ｂ）段階で、前記学習装置が、前記第１ＣＮＮモジュールをもって前記原本イメージ、前記合成ラベル及び前記ランダムシード値を利用して一つ以上の調整された合成イメージを生成するものの、前記調整された合成イメージ各々は、前記ランダムシード値を変化させながら前記合成イメージに含まれる前記特定の物体のサイズ、位置、カラーのうちの少なくとも一部を調整して生成されるイメージであることを特徴とする。
一例として 前記第１ＣＮＮモジュールは、前記原本イメージと前記合成ラベルに所定のコンボリューション演算を加えて特徴マップを生成するためのエンコーディングレイヤ、前記特徴マップ及び前記ランダムシード値を利用して調整された特徴マップを生成する調整レイヤ、及び前記調整された特徴マップに所定のデコンボリューション演算を加えて前記合成イメージを生成するデコーディングレイヤを含むことを特徴とする。
一例として 前記（ａ）段階で、前記学習装置が、前記原本イメージ及び前記合成ラベルを獲得する際、（ｉ）前記原本イメージに含まれる一つ以上の物体に対応する一つ以上の第１バウンディングボックスに対する情報及び（ｉｉ）前記合成ラベルに含まれる前記特定の物体に対応する第２バウンディンボックスに対する情報を追加的に獲得し、前記（ｂ）段階で、前記学習装置が、前記第１バウンディンボックスに対する情報及び前記第２バウンディンボックスに対する情報を利用して前記合成イメージ上に第３バウンディンボックスを追加的に生成するものの、前記第３バウンディンボックスは、（ｉ）前記原本イメージに含まれる前記一つ以上の物体のうちの少なくとも一つ及び（ｉｉ）前記合成ラベルに対応する前記特定の物体に対応するボックスのうちの少なくとも一部、またはこれをもとにサイズや位置などを微細に変更したボックスを含むことを特徴とする。
一例として、前記第２バウンディンボックスは、最小軸平行長方形（Ｍｉｎｉｍｕｍ Ａｘｉｓ−ｐａｒａｌｌｅｌ Ｒｅｃｔａｎｇｌｅ）方式を利用して生成されることを特徴とする。
一例として、前記（ａ）段階で、複数のデータセットの中から前記特定の物体の種類が選択された後、前記追加ラベルは、前記選択された物体の種類に対応する複数のマスクがサンプリングされることによって生成されることを特徴とする。
一例として、（ｅ）前記学習装置は、前記合成イメージと前記合成ラベルを、物体認識とイメージセグメンテーション学習のためのトレーニングデータセットとを含むデータベースに追加する段階；をさらに含むことを特徴とする。
本発明の他の態様によれば、自律走行状況で、少なくとも一つの障害物検出のための少なくとも一つのイメージデータセットを生成するテスト方法において、（ａ）（Ｉ）学習装置が、（ｉ）道路走行状況を示す学習用原本イメージ及び（ｉｉ）前記学習用原本イメージに対応する学習用原本ラベル及び前記学習用原本イメージに対応されない任意の学習用特定の物体のイメージに対応される学習用追加ラベルを利用して生成された学習用合成ラベルを獲得するプロセス、（ＩＩ）前記学習装置が、第１ＣＮＮモジュールをもって前記学習用原本イメージ及び前記学習用合成ラベルを利用して学習用合成イメージを生成するようにするものの、前記学習用合成イメージは、前記学習用原本イメージに前記学習用追加ラベルに対応する前記任意の学習用特定の物体のイメージが合成されたイメージであるプロセス、（ＩＩＩ）前記学習装置は、第２ＣＮＮモジュールをもって前記学習用合成イメージを獲得するようにし、前記学習用合成イメージが、合成されたイメージかあるいは実際のイメージかを示す第１出力値を算出するようにし、前記第２ＣＮＮモジュールをもって合成されたものではない任意の実際のイメージを追加的に獲得するようにして、前記任意の実際のイメージが、偽のイメージかあるいは実際のイメージかを示す第２出力値を算出するようにするプロセス、及び（ＩＶ）前記学習装置は、前記第２ＣＮＮモジュールをもって前記第１出力値を第１原本正解値と比較して第１ロスを算出して、前記第２出力値を第２原本正解値と比較して第２ロスを算出し、前記第１及び第２ロス値各々を前記第２ＣＮＮモジュールと前記第１ＣＮＮモジュールを経てバックプロパゲーションすることで、前記第２ＣＮＮモジュールと前記第１ＣＮＮモジュールを学習するプロセスを遂行した状態で、テスト装置が、（ｉ）道路走行状況を示すテスト用原本イメージ及び、（ｉｉ）前記テスト用原本イメージに対応されるテスト用原本ラベル及び前記テスト用原本イメージに対応されない任意のテスト用特定の物体のイメージに対応するテスト用追加ラベルを利用して生成されたテスト用合成ラベルを獲得する段階；及び（ｂ）前記テスト装置が、前記第１ＣＮＮモジュールをもって前記テスト用原本イメージ及び前記テスト用合成ラベルを利用してテスト用合成イメージを生成するようにするものの、前記テスト用合成イメージは、前記テスト用原本イメージに前記テスト用追加ラベルに対応する前記任意のテスト用特定の物体のイメージが合成されたイメージである段階；を含むことを特徴とする方法を開示する。
一例として、 前記（ａ）段階で、前記テスト装置が、（ｉｉｉ）少なくとも一つのテスト用ランダムシード値を追加的に獲得して、前記（ｂ）段階で、前記テスト装置が、前記第１ＣＮＮモジュールをもって前記テスト用原本イメージ、前記テスト用合成ラベル及び前記テスト用ランダムシード値を利用して一つ以上のテスト用調整された合成イメージを生成するものの、前記テスト用調整された合成イメージ各々は、前記ランダムシード値を変化させながら前記テスト用合成イメージに含まれる前記テスト用特定の物体のサイズ、位置、カラーのうちの少なくとも一部を調整して生成されるイメージであることを特徴とする。
一例として、前記第１ＣＮＮモジュールは、前記テスト用原本イメージと前記テスト用合成ラベルに所定のコンボリューション演算を加えてテスト用特徴マップを生成するためのエンコーディングレイヤ、前記テスト用特徴マップ及び前記テスト用ランダムシード値を利用して調整されたテスト用特徴マップを生成する調整レイヤ、及び前記調整されたテスト用特徴マップに所定のデコンボリューション演算を加えて前記テスト用合成イメージを生成するデコーディングレイヤを含むことを特徴とする。
一例として、前記（ａ）段階で、前記テスト装置が、前記テスト用原本イメージ及び前記テスト用合成ラベルを獲得する際、（ｉ）前記テスト用原本イメージに含まれる一つ以上の物体に対応する一つ以上の第１テスト用バウンディングボックスに対する情報及び（ｉｉ）前記テスト用合成ラベルに含まれる前記テスト用特定の物体に対応する第２テスト用バウンディンボックスに対する情報を追加的に獲得し、前記（ｂ）段階で、前記テスト装置が、前記第１テスト用バウンディンボックスに対する情報及び前記第２テスト用バウンディンボックスに対する情報を利用して前記テスト用合成イメージ上に第３テスト用バウンディンボックスを追加的に生成するものの、前記第３テスト用バウンディンボックスは、（ｉ）前記テスト用原本イメージに含まれる前記一つ以上の物体のうちの少なくとも一つ及び（ｉｉ）前記テスト用合成ラベルに対応する前記テスト用特定の物体に対応するボックスのうちの少なくとも一部、またはこれをもとにサイズや位置などを微細に変更したボックスを含むことを特徴とする。
一例として、前記第２テスト用バウンディンボックスは、最小軸平行長方形（Ｍｉｎｉｍｕｍ Ａｘｉｓ−ｐａｒａｌｌｅｌ Ｒｅｃｔａｎｇｌｅ）方式を利用して生成されることを特徴とする。
一例として、前記（ａ）段階で、複数のデータセットの中から前記テスト用特定の物体の種類が選択された後、前記テスト用追加ラベルは、前記選択された物体の種類に対応する複数のマスクがサンプリングされることによって生成されることを特徴とする。
本発明のさらに他の態様によれば、自律走行状況で、少なくとも一つの障害物検出のためのＣＮＮ学習用データセットを生成する学習装置において、（ｉ）道路走行状況を示す原本イメージ、及び（ｉｉ）前記原本イメージに対応される原本ラベル及び前記原本イメージに対応されない任意の特定の物体のイメージに対応される追加ラベルを利用して生成された合成ラベルを獲得する通信部；及び（Ｉ）第１ＣＮＮモジュールをもって前記原本イメージ及び前記合成ラベルを利用して合成イメージを生成するようにするものの、前記合成イメージは、前記原本イメージに前記追加ラベルに対応する前記任意の特定の物体のイメージが合成されたイメージであるプロセスを遂行するプロセッサ；を含む学習装置を開示する。
一例として、前記プロセッサは、（ＩＩ）前記第２ＣＮＮモジュールをもって前記合成イメージを獲得するようにし、前記合成イメージが、合成されたイメージかあるいは実際のイメージかを示す第１出力値を算出するようにし、前記第２ＣＮＮモジュールをもって合成されたものではない任意の実際のイメージを追加的に獲得するようにして、前記任意の実際のイメージが、偽のイメージかあるいは実際のイメージかを示す第２出力値を算出するようにするプロセスを及び（ＩＩＩ）前記第２ＣＮＮモジュールをもって前記第１出力値を第１原本正解値と比較して第１ロスを算出して、前記第２出力値を第２原本正解値と比較して第２ロスを算出し、前記第１及び第２ロス値各々を前記第２ＣＮＮモジュールと前記第１ＣＮＮモジュールを経てバックプロパゲーションすることで、前記第２ＣＮＮモジュールと前記第１ＣＮＮモジュールを学習するプロセスをさらに遂行することを特徴とする。
一例として、前記（ＩＩＩ）プロセスで、前記プロセッサは、前記第２ＣＮＮモジュールが前記合成イメージを実際のイメージとして判別する程度が高まる方向に前記第１ＣＮＮモジュールを学習するようにし、前記第２ＣＮＮモジュールをもって、これに入力された前記合成イメージ及び前記実際のイメージに対して、偽のイメージか実際のイメージかを判別する程度が高まる方向に学習するようにさせることを特徴とする。
一例として、前記通信部が、（ｉｉｉ）少なくとも一つのランダムシード値を追加的に獲得して、前記（Ｉ）プロセスで、前記プロセッサが、前記第１ＣＮＮモジュールをもって前記原本イメージ、前記合成ラベル及び前記ランダムシード値を利用して一つ以上の調整された合成イメージを生成するものの、前記調整された合成イメージ各々は、前記ランダムシード値を変化させながら前記合成イメージに含まれる前記特定の物体のサイズ、位置、カラーのうちの少なくとも一部を調整して生成されるイメージであることを特徴とする。
一例として、前記第１ＣＮＮモジュールは、前記原本イメージと前記合成ラベルに所定のコンボリューション演算を加えて特徴マップを生成するためのエンコーディングレイヤ、前記特徴マップ及び前記ランダムシード値を利用して調整された特徴マップを生成する調整レイヤ、及び前記調整された特徴マップに所定のデコンボリューション演算を加えて前記合成イメージを生成するデコーディングレイヤを含むことを特徴とする。
一例として、前記通信部が、前記原本イメージ及び前記合成ラベルを獲得する際、（ｉ）前記原本イメージに含まれる一つ以上の物体に対応する一つ以上の第１バウンディングボックスに対する情報及び（ｉｉ）前記合成ラベルに含まれる前記特定の物体に対応する第２バウンディンボックスに対する情報を追加的に獲得し、前記（Ｉ）プロセスで、前記プロセッサが、前記第１バウンディンボックスに対する情報及び前記第２バウンディンボックスに対する情報を利用して前記合成イメージ上に第３バウンディンボックスを追加的に生成するものの、前記第３バウンディンボックスは、（ｉ）前記原本イメージに含まれる前記一つ以上の物体のうちの少なくとも一つ及び（ｉｉ）前記合成ラベルに対応する前記特定の物体に対応するボックスのうちの少なくとも一部、またはこれをもとにサイズや位置などを微細に変更したボックスを含むことを特徴とする。
一例として、前記第２バウンディンボックスは、最小軸平行長方形（Ｍｉｎｉｍｕｍ Ａｘｉｓ−ｐａｒａｌｌｅｌ Ｒｅｃｔａｎｇｌｅ）方式を利用して生成されることを特徴とする。
一例として、複数のデータセットの中から前記特定の物体の種類が選択された後、前記追加ラベルは、前記選択された物体の種類に対応する複数のマスクがサンプリングされることによって生成されることを特徴とする。
一例として、前記プロセッサは、（ＩＶ）前記合成イメージと前記合成ラベルを、物体認識とイメージセグメンテーション学習のためのトレーニングデータセットとを含むデータベースに追加するプロセスを遂行することを特徴とする。
本発明のさらに他の態様によれば、自律走行状況で、少なくとも一つの障害物検出のための少なくとも一つのイメージデータセットを生成するテスト装置において、（１）学習装置が、（ｉ）道路走行状況を示す学習用原本イメージ及び（ｉｉ）前記学習用原本イメージに対応する学習用原本ラベル及び前記学習用原本イメージに対応されない任意の学習用特定の物体のイメージに対応される学習用追加ラベルを利用して生成された学習用合成ラベルを獲得するプロセス、（２）前記学習装置が、第１ＣＮＮモジュールをもって前記学習用原本イメージ及び前記学習用合成ラベルを利用して学習用合成イメージを生成するようにするものの、前記学習用合成イメージは、前記学習用原本イメージに前記学習用追加ラベルに対応する前記任意の学習用特定の物体のイメージが合成されたイメージであるプロセス、（３）前記学習装置は、第２ＣＮＮモジュールをもって前記学習用合成イメージを獲得するようにし、前記学習用合成イメージが、合成されたイメージかあるいは実際のイメージかを示す第１出力値を算出するようにし、前記第２ＣＮＮモジュールをもって合成されたものではない任意の実際のイメージを追加的に獲得するようにして、前記任意の実際のイメージが、偽のイメージかあるいは実際のイメージかを示す第２出力値を算出するようにするプロセス、及び（４）前記学習装置は、前記第２ＣＮＮモジュールをもって前記第１出力値を第１原本正解値と比較して第１ロスを算出して、前記第２出力値を第２原本正解値と比較して第２ロスを算出し、前記第１及び第２ロス値各々を前記第２ＣＮＮモジュールと前記第１ＣＮＮモジュールを経てバックプロパゲーションすることで、前記第２ＣＮＮモジュールと前記第１ＣＮＮモジュールを学習するプロセスを遂行した状態で、（ｉ）道路走行状況を示すテスト用原本イメージ、及び（ｉｉ）前記テスト用原本イメージに対応されるテスト用原本ラベル及び前記テスト用原本イメージに対応されない任意のテスト用特定の物体のイメージに対応するテスト用追加ラベルを使用して生成されたテスト用合成ラベルを獲得する通信部；及び（Ｉ）前記第１ＣＮＮモジュールをもって前記テスト用原本イメージ及び前記テスト用合成ラベルを利用してテスト用合成イメージを生成するようにするものの、前記テスト用合成イメージは、前記テスト用原本イメージに前記テスト用追加ラベルに対応する前記任意のテスト用特定の物体のイメージが合成されたイメージであるプロセスを遂行するプロセッサ；を含むテスト装置を開示する。
一例として、前記通信部が、（ｉｉｉ）少なくとも一つのテスト用ランダムシード値を追加的に獲得し、前記（Ｉ）プロセスで、前記プロセスが、前記第１ＣＮＮモジュールをもって前記テスト用原本イメージ、前記テスト用合成ラベル及び前記テスト用ランダムシード値を利用して一つ以上のテスト用調整された合成イメージを生成するものの、前記テスト用調整された合成イメージ各々は、前記ランダムシード値を変化させながら前記テスト用合成イメージに含まれる前記テスト用特定の物体のサイズ、位置、カラーのうちの少なくとも一部を調整して生成されるイメージであることを特徴とする。
一例として、前記第１ＣＮＮモジュールは、前記テスト用原本イメージと前記テスト用合成ラベルに所定のコンボリューション演算を加えてテスト用特徴マップを生成するためのエンコーディングレイヤ、前記テスト用特徴マップ及び前記テスト用ランダムシード値を利用して調整されたテスト用特徴マップを生成する調整レイヤ、及び前記調整されたテスト用特徴マップに所定のデコンボリューション演算を加えて前記テスト用合成イメージを生成するデコーディングレイヤを含むことを特徴とする。
一例として、前記通信部が、前記テスト用原本イメージ及び前記テスト用合成ラベルを獲得する際、（ｉ）前記テスト用原本イメージに含まれる一つ以上の物体に対応する一つ以上の第１テスト用バウンディングボックスに対する情報及び（ｉｉ）前記テスト用合成ラベルに含まれる前記テスト用特定の物体に対応する第２テスト用バウンディンボックスに対する情報を追加的に獲得し、前記（Ｉ）プロセスで、前記プロセッサは、前記第１テスト用バウンディンボックスに対する情報及び前記第２テスト用バウンディンボックスに対する情報を利用して前記テスト用合成イメージ上に第３テスト用バウンディンボックスを追加的に生成するものの、前記第３テスト用バウンディンボックスは、（ｉ）前記テスト用原本イメージに含まれる前記一つ以上の物体のうちの少なくとも一つ及び（ｉｉ）前記テスト用合成ラベルに対応する前記テスト用特定の物体に対応するボックスのうちの少なくとも一部、またはこれをもとにサイズや位置などを微細に変更したボックスを含むことを特徴とする。
一例として、前記第２テスト用バウンディンボックスは、最小軸平行長方形（Ｍｉｎｉｍｕｍ Ａｘｉｓ−ｐａｒａｌｌｅｌ Ｒｅｃｔａｎｇｌｅ）方式を利用して生成されることを特徴とする。
一例として、複数のデータセットの中から前記テスト用特定の物体の種類が選択された後、前記テスト用追加ラベルは、前記選択された物体の種類に対応する複数のマスクがサンプリングされることによって生成されることを特徴とする。
本発明によれば、自律走行の際の実際の道路走行状況において、頻繁に接することのない物体を検出し得る性能を高めるために利用される学習用イメージセットを確保し得る効果がある。
また、本発明によれば、敵対的生成ネットワーク（ＧＡＮ； Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）を利用することで、実際のイメージと類似度がより高い合成イメージを生成し、前記合成イメージにバウンディングボックス等の多様な情報が含まれるようにして、今後学習に活用されるデータセットを確保できる効果がある。
本発明の前記及び他の目的及び特徴は、次の添付図面とともに与えられた好ましい実施例の説明において明らかになるだろう。
図１は、本発明に係る学習装置のハードウェア構成を示した図面である。 図２は、本発明によって第１ＣＮＮモジュールが学習用イメージデータセットを生成する過程を示した図面である。 図３は、本発明によって前記第１ＣＮＮモジュールが第２ＣＮＮモジュールと敵対的（Ａｄｖｅｒｓａｒｉａｌ）に前記学習用データセットの生成方式を学習する過程を示した図面である。 図４は、本発明によって前記第１ＣＮＮモジュールがテスト装置として機能する時、前記第１ＣＮＮモジュール内部で入力値がどのように演算されるかを示した図面である。 図５は、本発明によって合成イメージでのバウンディングボックスに対する情報獲得過程の例を示した図面である。
後述する本発明に対する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は当業者が本発明を実施することができるように充分詳細に説明される。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一実施例に係る本発明の精神及び範囲を逸脱せずに他の実施例で具現され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されると、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得て、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面を参照して詳細に説明することとする。
図１は、本発明に係る学習装置の構成を示した図面である。
図１を参照すれば、前記学習装置１００は、第１ＣＮＮモジュール２００及び第２ＣＮＮモジュール３００を含み得る。前記第１ＣＮＮモジュール２００及び前記第２ＣＮＮモジュール３００の入出力、及び演算過程は、各々通信部１１０及びプロセッサ１２０によって行われ得る。ただし、図１では、前記通信部１１０及び前記プロセッサ１２０の具体的な連結関係を省略した。
図１の前記第１ＣＮＮモジュール２００をより具体的に説明するために、先に図４を参照して説明することにする。
図４を参照すれば、前記第１ＣＮＮモジュール２００は、エンコーディングレイヤ２１０、調整レイヤ２２０及びデコードレイヤ２３０などを含むことができる。
具体的に、前記エンコーディングレイヤ２１０は、原本イメージと合成ラベル（ｓｙｎｔｈｅｓｉｚｅｄ ｌａｂｅｌ）に所定のコンボリューション演算を加えて特徴マップを生成するためのプロセスを遂行し、調整レイヤ２２０は、前記エンコーディングレイヤから最終的に出力された特定の特徴マップやランダムシード値を利用して調整された特徴マップを生成するプロセスを遂行し、デコーディングレイヤ２３０は、前記調整された特徴マップに所定のデコンボリューション演算を加えて合成イメージを生成するプロセスを遂行し得る。
前記エンコーディングレイヤで随行される前記コンボリューション演算について具体的に見てみると、前記エンコーディングレイヤ２１０は、前記特徴マップを生成するために前記原本イメージと前記合成ラベルとを獲得する。前記原本イメージや前記合成ラベルは各々３チャネル、１チャネルデータだが、前記エンコーディングレイヤ２１０は、これをチャネルワイズコンカチネーション（Ｃｈａｎｎｅｌ−ｗｉｓｅ Ｃｏｎｃａｔｅｎａｔｉｏｎ）して生成された４チャネルデータに前記コンボリューション演算を加えることである。
一方、前記第２ＣＮＮモジュール３００は、前記第１ＣＮＮモジュール２００と類似して構成され得るので、詳しい説明は省略する。ただし、前記第２ＣＮＮモジュール３００が前記第１ＣＮＮモジュール２００と連動して本発明の特殊なプロセスを遂行することになるので、これについては以降に詳しく説明することにする。
前記学習装置１００がどのような方式で学習用データセットを生成するのかについても図２を参照して確認する。
図２は、前記第１ＣＮＮモジュールが本発明に係る学習用データセットを生成する過程を示した図面である。
図２を参照すれば、前記学習装置１００は、前記通信部１１０を通じて（ｉ）道路走行状況を示す前記原本イメージ、及び（ｉｉ）前記合成ラベルを獲得し得る。前記合成ラベルとは、前記原本イメージに対応する原本ラベル及び任意の特定の物体のイメージに対応する追加ラベルを利用して生成されたラベルを利用して生成される。
そして、前記原本イメージと、前記合成ラベルが前記学習装置１００に入力されると、前記学習装置１００は、前記第１ＣＮＮモジュール２００をもって前記原本イメージ及び前記合成ラベルを利用して前記合成イメージを生成するようにする。
前記合成イメージは、（ｉ）前記追加ラベルに対応する前記特定の物体のイメージを（ｉｉ）前記原本イメージに合成して生成される。具体的に図２を参照すれば、前記原本イメージ上に前記追加ラベルに対応するバスのイメージが合成されたことがわかる。前記合成イメージの生成は、前記プロセッサ１２０で遂行され得る。
例えば、図２のように（ｉ）道路を含む前記原本イメージと、（ｉｉ）前記道路を含む前記原本イメージに対応する前記原本ラベル及び（ｉｉｉ）大型バスに対応する前記追加ラベル（これ以外にも、道路に存在し得るが頻繁に見られない障害物、例えば、牛、キバノロ、落石などがそれに該当し得る）が獲得されると、前記大型バスに対応する前記追加ラベルを前記原本ラベルと合成して前記合成ラベルが生成され得る。それから、前記第１ＣＮＮモジュールが前記原本イメージ内の前記道路に前記大型バスが位置するように前記大型バスのイメージを前記原本イメージに合成して前記合成されたイメージを作り出すのだ。
ここで、前記合成ラベルは、前記学習装置１００が直接合成して獲得され得て、前記学習装置１００と連動される他の装置（未図示）が合成してから、これを前記学習装置１００に伝達してからも獲得し得る。前者の場合、前記学習装置１００が、前記原本ラベルと前記追加ラベルを入力として受け入れ得る。
一方、前記学習用データセットを生成するには、一般的に知られているイメージ合成技術が用いられるが、これは前記追加ラベルが前記合成ラベルに合成されると前記追加ラベルが前記合成ラベルに合成された位置に対応するように、前記原本イメージに前記追加ラベルに対応するイメージを合成し得る。
また、図２、図３、図４の前記合成ラベル及び前記合成イメージに表示された丸は、追加ラベル及びこれに対応するバスのイメージが各々前記合成ラベル及び前記合成イメージ上に合成されたことを強調するための図面上の印に過ぎず、前記合成ラベル及び前記合成イメージに丸自体が含まれているものではないことを明らかにしておく。
図２には、前記第１ＣＮＮモジュールがランダムシード値も獲得して前記合成イメージを生成すると示されているが、これは本発明の実施に必須的な要素ではない。ここで、「シード」とは、関数の入力の一つであるが、シード値が一定であれば、関数の出力値のうち少なくとも一部の特性が一定になる。前記ランダムシード値は、変化し続ける乱数として、前記関数の前記出力値の特性が多様に出るようにするために利用される。前記ランダムシード値がどのように使われるかについては、この後に具体的に説明することにする。
一方、前述したように前記合成イメージが生成された場合、前記原本イメージに前記追加ラベルに対応するイメージを合成した状態は、現実と乖離しかねないので、追加的な学習過程を経ることができる。これについては、図３を参照に説明する。
図３は、前記第１ＣＮＮモジュール及び前記第２ＣＮＮモジュールが連動して敵対的（Ａｄｖｅｒｓａｒｉａｌ）に学習する過程を示した図面である。
図３を参照すれば、前記学習装置１００は、前記第１ＣＮＮモジュール２００をもって前記合成イメージを出力し、前記第２ＣＮＮモジュール３００に伝達するようにして、前記第２ＣＮＮモジュールをもって前記合成イメージが偽のイメージか、あるいは実際のイメージかを判別した結果を示す第１出力値を算出するようにし、これとは別に、任意の実際のイメージを前記第２ＣＮＮモジュールに入力するようにして、前記任意の実際のイメージが偽のイメージか、あるいは実際のイメージなのかを判別した結果を示す第２出力値を算出するようにする。
そして前記学習装置１００は、前記第２ＣＮＮモジュールをもって前記第１出力値を第１原本正解値と比較して第１ロスを算出するようにし、前記第２出力値を第２原本正解値と比較して第２ロスを算出するようにして、前記第１及び前記第２ロス各々を前記第２ＣＮＮモジュールと前記第１ＣＮＮモジュールを経て、バックプロパゲーションするようにすることで、前記第２ＣＮＮモジュールと前記第１ＣＮＮモジュールを学習することになる。
これは、敵対的生成ネットワーク（ＧＡＮ； Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）技法を利用したもので、前記第１ＣＮＮモジュールがいわゆる生成者（Ｇｅｎｅｒａｔｏｒ）の役割をして、前記第２ＣＮＮモジュールがいわゆる判別者（Ｄｉｓｃｒｉｍｉｎａｔｏｒ）の役割を果たすのである。具体的に、前記第１ＣＮＮモジュールは、前記第２ＣＮＮモジュールが前記合成イメージを実際のイメージとして区分するように騙す方向へ、つまり実際のイメージと類似して前記合成イメージを生成するように学習することになる。前記第２ＣＮＮモジュールは、前記合成イメージと、前記任意の実際のイメージ各々が、実際のイメージまたは偽のイメージの中どちらに該当するかを正確に区分する方向へ学習される。
このような過程が敵対的（Ａｄｖｅｒｓａｒｉａｌ）に行われると、前記第２ＣＮＮモジュールは、実際のイメージと合成イメージを区分できないようになり、結局この時点に到達すると学習が完了する。
ところが、このような方式で学習を進める場合、一定の特性を持つ合成イメージのみが導き出される危険がある。したがって、再び図２を参照すれば、先に述べたように、前記第１ＣＮＮモジュール２００が前記ランダムシード値を追加的に獲得して、前記学習装置１００は、前記第１ＣＮＮモジュール２００によって前記原本イメージ、前記合成ラベル及び前記ランダムシード値を利用して前記合成イメージを複数生成するようにし得る。
例えば、もし前記第１ＣＮＮモジュールが前記ランダムシード値を追加的に獲得しなかったり、一定のシード値を獲得したりする場合、前記第１ＣＮＮモジュールは、単に前記大型バスのイメージが合成された前記合成イメージを作り出すだけなので、学習に必要な様々なケースを反映することが難しくなり得る。このような短所を防ぐため、多様な値に変わり続ける前記ランダムシード値が追加的に入力され、前記バスのカラー、形状及び位置の少なくとも一つが異なる様々な前記合成イメージが生成され得るようになる。
一方、前記第１ＣＮＮ装置は、バウンディンボックスに対する情報も含めて前記合成イメージを生成し得る。以降、さらに詳しく説明するが、本発明の目的は、自律走行の際のＣＮＮのパラメータを学習するための多様なイメージセットを作ることであるので、前記バウンディンボックスに対する情報を含む前記合成イメージが生成されれば、前記第１ＣＮＮモジュールは、前記バウンディンボックスに対する情報を利用してさらに容易にＣＮＮの前記パラメータを学習し得るだろう。これに対する説明は、後から具体的に説明することにする。
次に、図４は、前記第１ＣＮＮモジュールがテスト装置として機能する際、入力値に多様な演算を加える過程を示す。
図４を参照すれば、前記テスト装置は、前記第１ＣＮＮモジュール２００を含み得り、先に説明したように、前記第１ＣＮＮモジュール２００は、前記エンコーディングレイヤ２１０、前記調整レイヤ２２０、及び前記デコードレイヤ２３０を含み得る。これは図３で提示された前記学習装置で学習が完了した後、前記第２ＣＮＮモジュールが除去された構造と同じである。
このような構造を有する前記テスト装置は、前記ランダムシード値を変化させることで、様々な特性を有する前記合成イメージを生成し得るだろう。すなわち、このような一つ以上の各合成イメージは、前記学習用データセットに追加され、物体検出（ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ）やセマンティック・セグメンテーション（ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ）などを学習するために利用され得る。一方、前記学習装置の例示のように、前記テスト装置でも前記ランダムシード値が必須ではないだろう。
また、前述したように、前記テスト装置は、自律走行装置内のＣＮＮの学習過程に役立つように前記バウンディングボックスに対する情報を含む前記合成イメージを生成し得る。
図２を参照してみると、前記第１ＣＮＮモジュール２００が前記原本イメージ及び前記合成ラベルを獲得する際、前記原本イメージに含まれた少なくとも一つの物体に対応する一つ以上の第１バウンディンボックスに対する情報及び前記特定の物体に対応する第２バウンディンボックスに対する情報を獲得する。以降、前記第１ＣＮＮモジュール２００が、前記第１バウンディンボックスに対する情報及び前記第２バウンディンボックスに対する情報を利用して前記合成イメージ上に第３バウンディンボックスを追加的に生成することになる。
前記第２バウンディンボックスは、いくつかの方式で生成され得るが、特に、少なくとも最小軸平行長方形（Ｍｉｎｉｍｕｍ Ａｘｉｓ−ｐａｒａｌｌｅｌ Ｒｅｃｔａｎｇｌｅ）方式を利用して生成され得る。前記最小軸平行長方形方式とは、ターゲット物体のすべての点が含まれる、軸と平行した辺を持つ最小面積の長方形をイメージ上に生成することでバウンディングボックスを生成する方式を指す。
前記第３バウンディンボックスは、（ｉ）前記原本イメージに含まれる一つ以上の物体のうちの少なくとも一つ及び（ｉｉ）前記合成ラベルに対応する前記特定の物体に対応するボックスのうちの少なくとも一つ、またはこれをもとにサイズや位置などを微細に変更したボックスを含むものを言う。この過程は、図５を参照すればより具体的に理解し得るだろう。
図５は、本発明によって合成イメージでのバウンディングボックスに対する情報獲得過程の例を示した図面である。
図５を参照すれば、前記合成イメージ上に、前記原本イメージに存在していたバウンディンボックスだけでなく、前記追加ラベルに対応する前記大型バスのバウンディンボックスが追加されて存在していることがわかる。
先に述べたように、このような前記バウンディングボックスに対する情報は、今後自律走行装置の学習に役立つが、特に前記物体検出のための学習に役立つ。物体を検出する際、一般的にこれに対応するバウンディングボックスが生成される必要があるが、本発明の一実施例によれば、前記バウンディングボックスを生成する時間を相当短縮し得るのである。
また、前記追加ラベルは、様々な方式で生成され得るが、複数のデータセットの中から前記特定の物体の種類が選択されれば、前記追加ラベルは、前記特定の物体の前記選択された種類に対応する複数のマスクをサンプリングすることによっても生成され得るだろう。
例えば、学習しようとする物体の種類としてキバノロが選択されれば、獲得済みのキバノロのマスクのうちの一部のマスクが利用され、キバノロのイメージに対応するラベルが生成されるだろう。
前記方法により、前記合成イメージ及び前記合成ラベルが生成されれば、これを物体検出及びイメージセグメンテーションのうち少なくとも一つの学習のための学習用データセットを含むデータベースに追加し得るだろう。
本発明技術分野の通常の技術者に理解され、前記で説明されたイメージ、例えば原本イメージ、原本ラベル及び追加ラベルといったイメージデータの送受信が学習装置及びテスト装置の各通信部によって行われ得て、特徴マップと演算を遂行するためのデータが学習装置及びテスト装置のプロセッサ（及び／またはメモリ）によって保有／維持でき得て、コンボリューション演算、デコンボリューション演算、ロス値の演算過程が主に学習装置及びテスト装置のプロセッサにより遂行され得るが、本発明はこれに限定されるものではない。
以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で具現されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで判読可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。前記コンピュータ判読可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を保存して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記のハードウェア装置は本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得て、その逆も同様である。
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。
従って、本発明の思想は前記説明された実施例に極限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

Claims (30)

  1. 自律走行状況で、少なくとも一つの障害物検出のためのＣＮＮ学習用イメージデータセットを生成する方法において、
    （ａ）学習装置が、（ｉ）道路走行状況を示す原本イメージ及び（ｉｉ）前記原本イメージに対応する原本ラベル（ｌａｂｅｌ）及び前記原本イメージに対応されない任意の特定の物体のイメージに対応される追加ラベルを利用して生成された合成ラベルを獲得する段階：及び
    （ｂ）前記学習装置が、第１ＣＮＮモジュールをもって前記原本イメージ及び前記合成ラベルを利用して合成イメージを生成するようにするものの、前記合成イメージは、前記原本イメージに前記追加ラベルに対応する前記任意の特定の物体のイメージが合成されたイメージである段階；
    を含むことを特徴とする方法。
  2. （ｃ）前記学習装置は、第２ＣＮＮモジュールをもって前記合成イメージを獲得するようにして、前記合成イメージが、合成されたイメージかあるいは実際のイメージかを示す第１出力値を算出するようにし、前記第２ＣＮＮモジュールをもって合成されたものではない任意の実際のイメージを追加的に獲得するようにして、前記任意の実際のイメージが、偽のイメージかあるいは実際のイメージかを示す第２出力値を算出するようにする段階；及び
    （ｄ）前記学習装置は、前記第２ＣＮＮモジュールをもって前記第１出力値を第１原本正解値と比較して第１ロスを算出して、前記第２出力値を第２原本正解値と比較して第２ロスを算出し、前記第１及び第２ロス値各々を前記第２ＣＮＮモジュールと前記第１ＣＮＮモジュールを経てバックプロパゲーションすることで、前記第２ＣＮＮモジュールと前記第１ＣＮＮモジュールを学習する段階；
    をさらに含むことを特徴とする請求項１に記載の方法。
  3. 前記（ｄ）段階で、
    前記学習装置は、前記第２ＣＮＮモジュールが前記合成イメージを実際のイメージとして判別する程度が高まる方向に前記第１ＣＮＮモジュールを学習するようにし、前記第２ＣＮＮモジュールをもって、これに入力された前記合成イメージ及び前記実際のイメージに対して、偽のイメージか実際のイメージかを判別する程度が高まる方向に学習するようにさせることを特徴とする請求項２に記載の方法。
  4. 前記（ａ）段階で、
    前記学習装置が、（ｉｉｉ）少なくとも一つのランダムシード値を追加的に獲得して、
    前記（ｂ）段階で、
    前記学習装置が、前記第１ＣＮＮモジュールをもって前記原本イメージ、前記合成ラベル及び前記ランダムシード値を利用して一つ以上の調整された合成イメージを生成するものの、前記調整された合成イメージ各々は、前記ランダムシード値を変化させながら前記合成イメージに含まれる前記特定の物体のサイズ、位置、カラーのうちの少なくとも一部を調整して生成されるイメージであることを特徴とする請求項１に記載の方法。
  5. 前記第１ＣＮＮモジュールは、
    前記原本イメージと前記合成ラベルに所定のコンボリューション演算を加えて特徴マップを生成するためのエンコーディングレイヤ、
    前記特徴マップ及び前記ランダムシード値を利用して調整された特徴マップを生成する調整レイヤ、及び
    前記調整された特徴マップに所定のデコンボリューション演算を加えて前記合成イメージを生成するデコーディングレイヤを含むことを特徴とする請求項４に記載の方法。
  6. 前記（ａ）段階で、
    前記学習装置が、前記原本イメージ及び前記合成ラベルを獲得する際、（ｉ）前記原本イメージに含まれる一つ以上の物体に対応する一つ以上の第１バウンディングボックスに対する情報及び（ｉｉ）前記合成ラベルに含まれる前記特定の物体に対応する第２バウンディンボックスに対する情報を追加的に獲得し、
    前記（ｂ）段階で、
    前記学習装置が、前記第１バウンディンボックスに対する情報及び前記第２バウンディンボックスに対する情報を利用して前記合成イメージ上に第３バウンディンボックスを追加的に生成するものの、
    前記第３バウンディンボックスは、（ｉ）前記原本イメージに含まれる前記一つ以上の物体のうちの少なくとも一つ及び（ｉｉ）前記合成ラベルに対応する前記特定の物体に対応するボックスのうちの少なくとも一部、またはこれをもとにサイズや位置などを微細に変更したボックスを含むことを特徴とする請求項１に記載の方法。
  7. 前記第２バウンディンボックスは、最小軸平行長方形（Ｍｉｎｉｍｕｍ Ａｘｉｓ−ｐａｒａｌｌｅｌ Ｒｅｃｔａｎｇｌｅ）方式を利用して生成されることを特徴とする請求子う６に記載の方法。
  8. 前記（ａ）段階で、複数のデータセットの中から前記特定の物体の種類が選択された後、前記追加ラベルは、前記選択された物体の種類に対応する複数のマスクがサンプリングされることによって生成されることを特徴とする請求項１に記載の方法。
  9. （ｅ）前記学習装置は、前記合成イメージと前記合成ラベルを、物体認識とイメージセグメンテーション学習のためのトレーニングデータセットとを含むデータベースに追加する段階；
    をさらに含むことを特徴とする請求項１に記載の方法。
  10. 自律走行状況で、少なくとも一つの障害物検出のための少なくとも一つのイメージデータセットを生成するテスト方法において、
    （ａ）（Ｉ）学習装置が、（ｉ）道路走行状況を示す学習用原本イメージ及び（ｉｉ）前記学習用原本イメージに対応される学習用原本ラベル及び前記学習用原本イメージに対応されない任意の学習用特定の物体のイメージに対応される学習用追加ラベルを利用して生成された学習用合成ラベルを獲得するプロセス、（ＩＩ）前記学習装置が、第１ＣＮＮモジュールをもって前記学習用原本イメージ及び前記学習用合成ラベルを利用して学習用合成イメージを生成するようにするものの、前記学習用合成イメージは、前記学習用原本イメージに前記学習用追加ラベルに対応する前記任意の学習用特定の物体のイメージが合成されたイメージであるプロセス、（ＩＩＩ）前記学習装置は、第２ＣＮＮモジュールをもって前記学習用合成イメージを獲得するようにし、前記学習用合成イメージが、合成されたイメージかあるいは実際のイメージかを示す第１出力値を算出するようにし、前記第２ＣＮＮモジュールをもって合成されたものではない任意の実際のイメージを追加的に獲得するようにして、前記任意の実際のイメージが、偽のイメージかあるいは実際のイメージかを示す第２出力値を算出するようにするプロセス、及び（ＩＶ）前記学習装置は、前記第２ＣＮＮモジュールをもって前記第１出力値を第１原本正解値と比較して第１ロスを算出して、前記第２出力値を第２原本正解値と比較して第２ロスを算出し、前記第１及び第２ロス値各々を前記第２ＣＮＮモジュールと前記第１ＣＮＮモジュールを経てバックプロパゲーションすることで、前記第２ＣＮＮモジュールと前記第１ＣＮＮモジュールを学習するプロセスを遂行した状態で、テスト装置が、（ｉ）道路走行状況を示すテスト用原本イメージ及び（ｉｉ）前記テスト用原本イメージに対応されるテスト用原本ラベル及び前記テスト用原本イメージに対応されない任意のテスト用特定の物体のイメージに対応するテスト用追加ラベルを利用して生成されたテスト用合成ラベルを獲得する段階；及び
    （ｂ）前記テスト装置が、前記第１ＣＮＮモジュールをもって前記テスト用原本イメージ及び前記テスト用合成ラベルを利用してテスト用合成イメージを生成するようにするものの、前記テスト用合成イメージは、前記テスト用原本イメージに前記テスト用追加ラベルに対応する前記任意のテスト用特定の物体のイメージが合成されたイメージである段階；
    を含むことを特徴とする方法。
  11. 前記（ａ）段階で、
    前記テスト装置が、（ｉｉｉ）少なくとも一つのテスト用ランダムシード値を追加的に獲得して、
    前記（ｂ）段階で、
    前記テスト装置が、前記第１ＣＮＮモジュールをもって前記テスト用原本イメージ、前記テスト用合成ラベル及び前記テスト用ランダムシード値を利用して一つ以上のテスト用調整された合成イメージを生成するものの、前記テスト用調整された合成イメージ各々は、前記ランダムシード値を変化させながら前記テスト用合成イメージに含まれる前記テスト用特定の物体のサイズ、位置、カラーのうちの少なくとも一部を調整して生成されるイメージであることを特徴とする請求項１０に記載の方法。
  12. 前記第１ＣＮＮモジュールは、
    前記テスト用原本イメージと前記テスト用合成ラベルに所定のコンボリューション演算を加えてテスト用特徴マップを生成するためのエンコーディングレイヤ、
    前記テスト用特徴マップ及び前記テスト用ランダムシード値を利用して調整されたテスト用特徴マップを生成する調整レイヤ、及び
    前記調整されたテスト用特徴マップに所定のデコンボリューション演算を加えて前記テスト用合成イメージを生成するデコーディングレイヤを含むことを特徴とする請求項１１に記載の方法。
  13. 前記（ａ）段階で、
    前記テスト装置が、前記テスト用原本イメージ及び前記テスト用合成ラベルを獲得する際、（ｉ）前記テスト用原本イメージに含まれる一つ以上の物体に対応する一つ以上の第１テスト用バウンディングボックスに対する情報及び（ｉｉ）前記テスト用合成ラベルに含まれる前記テスト用特定の物体に対応する第２テスト用バウンディンボックスに対する情報を追加的に獲得し、
    前記（ｂ）段階で、
    前記テスト装置が、前記第１テスト用バウンディンボックスに対する情報及び前記第２テスト用バウンディンボックスに対する情報を利用して前記テスト用合成イメージ上に第３テスト用バウンディンボックスを追加的に生成するものの、
    前記第３テスト用バウンディンボックスは、（ｉ）前記テスト用原本イメージに含まれる前記一つ以上の物体のうちの少なくとも一つ及び（ｉｉ）前記テスト用合成ラベルに対応する前記テスト用特定の物体に対応するボックスのうちの少なくとも一部、またはこれをもとにサイズや位置などを微細に変更したボックスを含むことを特徴とする請求項１０に記載の方法。
  14. 前記第２テスト用バウンディンボックスは、最小軸平行長方形（Ｍｉｎｉｍｕｍ Ａｘｉｓ−ｐａｒａｌｌｅｌ Ｒｅｃｔａｎｇｌｅ）方式を利用して生成されることを特徴とする請求項１３に記載の方法。
  15. 前記（ａ）段階で、複数のデータセットの中から前記テスト用特定の物体の種類が選択された後、前記テスト用追加ラベルは、前記選択された物体の種類に対応する複数のマスクがサンプリングされることによって生成されることを特徴とする請求項１０に記載の方法。
  16. 自律走行状況で、少なくとも一つの障害物検出のためのＣＮＮ学習用データセットを生成する学習装置において、
    （ｉ）道路走行状況を示す原本イメージ、及び（ｉｉ）前記原本イメージに対応される原本ラベル及び前記原本イメージに対応されない任意の特定の物体のイメージに対応される追加ラベルを利用して生成された合成ラベルを獲得する通信部；及び
    （Ｉ）第１ＣＮＮモジュールをもって前記原本イメージ及び前記合成ラベルを利用して合成イメージを生成するようにするものの、前記合成イメージは、前記原本イメージに前記追加ラベルに対応する前記任意の特定の物体のイメージが合成されたイメージであるプロセスを遂行するプロセッサ；
    を含む学習装置。
  17. 前記プロセッサは、
    （ＩＩ）前記第２ＣＮＮモジュールをもって前記合成イメージを獲得するようにし、前記合成イメージが、合成されたイメージかあるいは実際のイメージかを示す第１出力値を算出するようにし、前記第２ＣＮＮモジュールをもって合成されたものではない任意の実際のイメージを追加的に獲得するようにして、前記任意の実際のイメージが、偽のイメージかあるいは実際のイメージかを示す第２出力値を算出するようにするプロセスを及び（ＩＩＩ）前記第２ＣＮＮモジュールをもって前記第１出力値を第１原本正解値と比較して第１ロスを算出して、前記第２出力値を第２原本正解値と比較して第２ロスを算出し、前記第１及び第２ロス値各々を前記第２ＣＮＮモジュールと前記第１ＣＮＮモジュールを経てバックプロパゲーションすることで、前記第２ＣＮＮモジュールと前記第１ＣＮＮモジュールを学習するプロセスをさらに遂行することを特徴とする請求項１６に記載の学習装置。
  18. 前記（ＩＩＩ）プロセスで、
    前記プロセッサは、前記第２ＣＮＮモジュールが前記合成イメージを実際のイメージとして判別する程度が高まる方向に前記第１ＣＮＮモジュールを学習するようにし、前記第２ＣＮＮモジュールをもって、これに入力された前記合成イメージ及び前記実際のイメージに対して、偽のイメージか実際のイメージかを判別する程度が高まる方向に学習するようにさせることを特徴とする請求項１７に記載の学習装置。
  19. 前記通信部が、（ｉｉｉ）少なくとも一つのランダムシード値を追加的に獲得して、
    前記（Ｉ）プロセスで、前記プロセッサが、前記第１ＣＮＮモジュールをもって前記原本イメージ、前記合成ラベル及び前記ランダムシード値を利用して一つ以上の調整された合成イメージを生成するものの、前記調整された合成イメージ各々は、前記ランダムシード値を変化させながら前記合成イメージに含まれる前記特定の物体のサイズ、位置、カラーのうちの少なくとも一部を調整して生成されるイメージであることを特徴とする請求項１６に記載の学習装置。
  20. 前記第１ＣＮＮモジュールは、
    前記原本イメージと前記合成ラベルに所定のコンボリューション演算を加えて特徴マップを生成するためのエンコーディングレイヤ、
    前記特徴マップ及び前記ランダムシード値を利用して調整された特徴マップを生成する調整レイヤ、及び
    前記調整された特徴マップに所定のデコンボリューション演算を加えて前記合成イメージを生成するデコーディングレイヤを含むことを特徴とする請求項１９に記載の学習装置。
  21. 前記通信部が、前記原本イメージ及び前記合成ラベルを獲得する際、（ｉ）前記原本イメージに含まれる一つ以上の物体に対応する一つ以上の第１バウンディングボックスに対する情報及び（ｉｉ）前記合成ラベルに含まれる前記特定の物体に対応する第２バウンディンボックスに対する情報を追加的に獲得し、
    前記（Ｉ）プロセスで、
    前記プロセッサが、前記第１バウンディンボックスに対する情報及び前記第２バウンディンボックスに対する情報を利用して前記合成イメージ上に第３バウンディンボックスを追加的に生成するものの、
    前記第３バウンディンボックスは、（ｉ）前記原本イメージに含まれる前記一つ以上の物体のうちの少なくとも一つ及び（ｉｉ）前記合成ラベルに対応する前記特定の物体に対応するボックスのうちの少なくとも一部、またはこれをもとにサイズや位置などを微細に変更したボックスを含むことを特徴とする請求項１６に記載の学習装置。
  22. 前記第２バウンディンボックスは、最小軸平行長方形（Ｍｉｎｉｍｕｍ Ａｘｉｓ−ｐａｒａｌｌｅｌ Ｒｅｃｔａｎｇｌｅ）方式を利用して生成されることを特徴とする請求項２１に記載の学習装置。
  23. 複数のデータセットの中から前記特定の物体の種類が選択された後、前記追加ラベルは、前記選択された物体の種類に対応する複数のマスクがサンプリングされることによって生成されることを特徴とする請求項１６に記載の学習装置。
  24. 前記プロセッサは、（ＩＶ）前記合成イメージと前記合成ラベルを、物体認識とイメージセグメンテーション学習のためのトレーニングデータセットとを含むデータベースに追加するプロセスを遂行することを特徴とする請求項１６に記載の学習装置。
  25. 自律走行状況で、少なくとも一つの障害物検出のための少なくとも一つのイメージデータセットを生成するテスト装置において、
    （１）学習装置が、（ｉ）道路走行状況を示す学習用原本イメージ及び（ｉｉ）前記学習用原本イメージに対応する学習用原本ラベル及び前記学習用原本イメージに対応されない任意の学習用特定の物体のイメージに対応される学習用追加ラベルを利用して生成された学習用合成ラベルを獲得するプロセス、（２）前記学習装置が、第１ＣＮＮモジュールをもって前記学習用原本イメージ及び前記学習用合成ラベルを利用して学習用合成イメージを生成するようにするものの、前記学習用合成イメージは、前記学習用原本イメージに前記学習用追加ラベルに対応する前記任意の学習用特定の物体のイメージが合成されたイメージであるプロセス、（３）前記学習装置は、第２ＣＮＮモジュールをもって前記学習用合成イメージを獲得するようにし、前記学習用合成イメージが、合成されたイメージかあるいは実際のイメージかを示す第１出力値を算出するようにし、前記第２ＣＮＮモジュールをもって合成されたものではない任意の実際のイメージを追加的に獲得するようにして、前記任意の実際のイメージが、偽のイメージかあるいは実際のイメージかを示す第２出力値を算出するようにするプロセス、及び（４）前記学習装置は、前記第２ＣＮＮモジュールをもって前記第１出力値を第１原本正解値と比較して第１ロスを算出して、前記第２出力値を第２原本正解値と比較して第２ロスを算出し、前記第１及び第２ロス値各々を前記第２ＣＮＮモジュールと前記第１ＣＮＮモジュールを経てバックプロパゲーションすることで、前記第２ＣＮＮモジュールと前記第１ＣＮＮモジュールを学習するプロセスを遂行した状態で、（ｉ）道路走行状況を示すテスト用原本イメージ、及び（ｉｉ）前記テスト用原本イメージに対応されるテスト用原本ラベル及び前記テスト用原本イメージに対応されない任意のテスト用特定の物体のイメージに対応するテスト用追加ラベルを使用して生成されたテスト用合成ラベルを獲得する通信部；及び
    （Ｉ）前記第１ＣＮＮモジュールをもって前記テスト用原本イメージ及び前記テスト用合成ラベルを利用してテスト用合成イメージを生成するようにするものの、前記テスト用合成イメージは、前記テスト用原本イメージに前記テスト用追加ラベルに対応する前記任意のテスト用特定の物体のイメージが合成されたイメージであるプロセスを遂行するプロセッサ；
    を含むテスト装置。
  26. 前記通信部が、（ｉｉｉ）少なくとも一つのテスト用ランダムシード値を追加的に獲得し、
    前記（Ｉ）プロセスで、
    前記プロセスが、前記第１ＣＮＮモジュールをもって前記テスト用原本イメージ、前記テスト用合成ラベル及び前記テスト用ランダムシード値を利用して一つ以上のテスト用調整された合成イメージを生成するものの、前記テスト用調整された合成イメージ各々は、前記ランダムシード値を変化させながら前記テスト用合成イメージに含まれる前記テスト用特定の物体のサイズ、位置、カラーのうちの少なくとも一部を調整して生成されるイメージであることを特徴とする請求項２５に記載のテスト装置。
  27. 前記第１ＣＮＮモジュールは、
    前記テスト用原本イメージと前記テスト用合成ラベルに所定のコンボリューション演算を加えてテスト用特徴マップを生成するためのエンコーディングレイヤ、
    前記テスト用特徴マップ及び前記テスト用ランダムシード値を利用して調整されたテスト用特徴マップを生成する調整レイヤ、及び
    前記調整されたテスト用特徴マップに所定のデコンボリューション演算を加えて前記テスト用合成イメージを生成するデコーディングレイヤを含むことを特徴とする請求項２６に記載のテスト装置。
  28. 前記通信部が、前記テスト用原本イメージ及び前記テスト用合成ラベルを獲得する際、（ｉ）前記テスト用原本イメージに含まれる一つ以上の物体に対応する一つ以上の第１テスト用バウンディングボックスに対する情報及び（ｉｉ）前記テスト用合成ラベルに含まれる前記テスト用特定の物体に対応する第２テスト用バウンディンボックスに対する情報を追加的に獲得し、
    前記（Ｉ）プロセスで、
    前記プロセッサは、前記第１テスト用バウンディンボックスに対する情報及び前記第２テスト用バウンディンボックスに対する情報を利用して前記テスト用合成イメージ上に第３テスト用バウンディンボックスを追加的に生成するものの、
    前記第３テスト用バウンディンボックスは、（ｉ）前記テスト用原本イメージに含まれる前記一つ以上の物体のうちの少なくとも一つ及び（ｉｉ）前記テスト用合成ラベルに対応する前記テスト用特定の物体に対応するボックスのうちの少なくとも一部、またはこれをもとにサイズや位置などを微細に変更したボックスを含むことを特徴とする請求項２５に記載のテスト装置。
  29. 前記第２テスト用バウンディンボックスは、最小軸平行長方形（Ｍｉｎｉｍｕｍ Ａｘｉｓ−ｐａｒａｌｌｅｌ Ｒｅｃｔａｎｇｌｅ）方式を利用して生成されることを特徴とする請求項２８に記載のテスト装置。
  30. 複数のデータセットの中から前記テスト用特定の物体の種類が選択された後、前記テスト用追加ラベルは、前記選択された物体の種類に対応する複数のマスクがサンプリングされることによって生成されることを特徴とする請求項２５に記載のテスト装置。

JP2019160649A 2018-09-05 2019-09-03 自律走行状況での障害物検出のためのｃｎｎ学習用イメージデータセットの生成方法及び装置、そしてこれを利用したテスト方法及びテスト装置 Active JP6855082B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/121,635 US10311335B1 (en) 2018-09-05 2018-09-05 Method and device for generating image data set to be used for learning CNN capable of detecting obstruction in autonomous driving circumstance, and testing method, and testing device using the same
US16/121,635 2018-09-05

Publications (2)

Publication Number Publication Date
JP2020038667A true JP2020038667A (ja) 2020-03-12
JP6855082B2 JP6855082B2 (ja) 2021-04-07

Family

ID=66286231

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019160649A Active JP6855082B2 (ja) 2018-09-05 2019-09-03 自律走行状況での障害物検出のためのｃｎｎ学習用イメージデータセットの生成方法及び装置、そしてこれを利用したテスト方法及びテスト装置

Country Status (5)

Country Link
US (1) US10311335B1 (ja)
EP (1) EP3620955A1 (ja)
JP (1) JP6855082B2 (ja)
KR (1) KR102279350B1 (ja)
CN (1) CN110879959B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021149160A (ja) * 2020-03-16 2021-09-27 日本製鉄株式会社 深層学習装置、画像生成装置及び深層学習方法
JP2022055302A (ja) * 2020-09-28 2022-04-07 ペキン シャオミ パインコーン エレクトロニクス カンパニー， リミテッド 遮蔽された画像の検出方法、装置、及び媒体

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6585995B2 (ja) * 2015-11-06 2019-10-02 クラリオン株式会社 画像処理システム
CN108830277B (zh) * 2018-04-20 2020-04-21 平安科技（深圳）有限公司 语义分割模型的训练方法、装置、计算机设备和存储介质
KR102190527B1 (ko) * 2019-02-28 2020-12-14 현대모비스 주식회사 자동 영상 합성 장치 및 방법
US12046000B2 (en) 2019-06-25 2024-07-23 Nec Corporation Learning device, object detection device, learning method, and recording medium
US11182652B2 (en) * 2019-08-16 2021-11-23 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and system for inferring perception based on augmented feature maps of a perception network
WO2021201774A1 (en) * 2020-03-31 2021-10-07 Agency For Science, Technology And Research Method and system for determining a trajectory of a target object
KR102520133B1 (ko) 2020-10-21 2023-04-11 주식회사 팀솔루션 기계 학습용 이미지 데이터 생성 방법 및 그 장치
KR102256409B1 (ko) * 2020-11-23 2021-05-25 주식회사 에이모 학습 데이터 세트를 생성하는 방법 및 학습 데이터 세트를 생성하기 위한 컴퓨터 장치
KR102583586B1 (ko) * 2020-11-30 2023-10-05 성균관대학교산학협력단 Multi-class 데이터 잠재공간 분리를 위한 오토인코더 모델
FR3119697A1 (fr) * 2021-02-05 2022-08-12 Psa Automobiles Sa Procédé de génération d’une base de données d’images pour l’entrainement d’un réseau de neurones artificiels destiné à être implémenté à bord d’un véhicule automobile
TWI795752B (zh) * 2021-03-30 2023-03-11 歐特明電子股份有限公司 行車智能系統學習的開發裝置及其開發方法
KR102354681B1 (ko) * 2021-11-08 2022-01-24 주식회사 테스트웍스 신경망 모델 기반의 이미지 증강 방법, 서버 및 컴퓨터 프로그램
WO2024136373A1 (en) * 2022-12-19 2024-06-27 Samsung Electronics Co., Ltd. Method and electronic device for neuro-symbolic learning of artificial intelligence model

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9767565B2 (en) * 2015-08-26 2017-09-19 Digitalglobe, Inc. Synthesizing training data for broad area geospatial object detection
US10049308B1 (en) * 2017-02-21 2018-08-14 A9.Com, Inc. Synthesizing training data

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021149160A (ja) * 2020-03-16 2021-09-27 日本製鉄株式会社 深層学習装置、画像生成装置及び深層学習方法
JP7417085B2 (ja) 2020-03-16 2024-01-18 日本製鉄株式会社 深層学習装置、画像生成装置及び深層学習方法
JP2022055302A (ja) * 2020-09-28 2022-04-07 ペキン シャオミ パインコーン エレクトロニクス カンパニー， リミテッド 遮蔽された画像の検出方法、装置、及び媒体

Also Published As

Publication number Publication date
CN110879959B (zh) 2023-09-01
KR102279350B1 (ko) 2021-07-21
KR20200027885A (ko) 2020-03-13
CN110879959A (zh) 2020-03-13
EP3620955A1 (en) 2020-03-11
US10311335B1 (en) 2019-06-04
JP6855082B2 (ja) 2021-04-07

Similar Documents

Publication Publication Date Title
JP2020038667A (ja) 自律走行状況での障害物検出のためのｃｎｎ学習用イメージデータセットの生成方法及び装置、そしてこれを利用したテスト方法及びテスト装置
US10373026B1 (en) Learning method and learning device for generation of virtual feature maps whose characteristics are same as or similar to those of real feature maps by using GAN capable of being applied to domain adaptation to be used in virtual driving environments
US10325201B1 (en) Method and device for generating deceivable composite image by using GAN including generating neural network and discriminating neural network to allow surveillance system to recognize surroundings and detect rare event more accurately
Kim et al. High-speed drone detection based on yolo-v8
JP2020038668A (ja) 自律走行状況で、障害物検出のためのｃｎｎ学習用イメージデータセットの生成方法及びコンピューティング装置
US10373023B1 (en) Learning method and learning device for runtime input transformation of real image on real world into virtual image on virtual world, to be used for object detection on real images, by using cycle GAN capable of being applied to domain adaptation
KR102337358B1 (ko) 모바일 장치 또는 소형 네트워크에 적용 가능한 하드웨어를 최적화하는데 사용될 수 있는 roi를 풀링하기 위하여, 마스킹 파라미터를 이용하는 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR102372703B1 (ko) V2v 통신을 통해 획득된 타 자율 주행 차량의 공간 탐지 결과를 자신의 자율 주행 차량의 공간 탐지 결과와 통합하는 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN111105439B (zh) 一种使用残差注意力机制网络的同步定位与建图方法
JP2020038666A (ja) 自律走行状況で障害物検出のための学習用データセットの生成方法及びこれを利用したコンピューティング装置、学習方法及び学習装置
US10872297B2 (en) Learning method and learning device for generating training data from virtual data on virtual world by using generative adversarial network, to thereby reduce annotation cost required in training processes of neural network for autonomous driving, and a testing method and a testing device using the same
US10311336B1 (en) Method and device of neural network operations using a grid generator for converting modes according to classes of areas to satisfy level 4 of autonomous vehicles
US10325185B1 (en) Method and device for online batch normalization, on-device learning, and continual learning applicable to mobile devices or IOT devices additionally referring to one or more previous batches to be used for military purpose, drone or robot, and testing method and testing device using the same
KR102372687B1 (ko) 비최대값 억제를 학습하는 병합 네트워크를 이용한 이종 센서 융합을 위한 학습 방법 및 학습 장치
KR102204565B1 (ko) 객체 검출기의 학습 방법, 이를 수행하기 위한 기록매체 및 장치
CN114792116B (zh) 一种时间序列深度卷积网络农作物遥感分类方法
EP4064126B1 (en) Methods for training and testing perception network by using images obtained from multiple imaging devices having diverse specifications and learning device and testing device using the same
US20240020854A1 (en) Bilateral attention transformer in motion-appearance neighboring space for video object segmentation
Forte et al. World-Map Misalignment Detection for Visual Navigation Systems.
Kumar et al. Salient Region Detection in Images Based on U-Net and Deep Learning
KR20240038367A (ko) Uav 환경에서 조난자 탐지 학습을 위한 합성 영상 생성 방법 및 그 장치
WO2024015177A1 (en) Bilateral attention transformer in motion-appearance neighboring space for video object segmentation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190903

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210310

R150 Certificate of patent or registration of utility model

Ref document number: 6855082

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250