本発明は、上述した問題点を解決することを目的とする。
本発明は、ジッタリング(Jittering)が起きたイメージを安定化させる過程において生成されたワーピングされた(Warped)イメージで生じた歪曲を、GANを利用して減らす方法を提供することを目的とする。
本発明の一態様によると、ジッタリング(Jittering)が起きたイメージを安定化させるプロセスで生成されたワーピングされた(Warped)イメージに発生した歪曲(Distortion)を、生成ネットワーク(Generating Network)と判別ネットワーク(Discriminating Network)とを含むGANを利用して減らすための学習方法において、(a)少なくとも1つの初期イメージ(Initial Image)を取得すると、学習装置が、調整レイヤ(Adjusting Layer)をもって、前記初期イメージに含まれているピクセルに対応する少なくとも一部の初期特徴値(Initial Feature Value)を調整させて前記初期イメージを少なくとも1つの調整イメージ(Adjusted Image)に変換させる段階;及び(b)前記学習装置が、(i)前記調整イメージが前記判別ネットワークによりリアルイメージであるものと判断される少なくとも一つの確率を表す少なくとも一つの自然度スコア(Naturality Score)と、(ii)前記初期イメージに含まれている少なくとも一つの初期物体(Initial Object)が固有の特性が保持された状態で前記調整イメージに含まれているのかを表す少なくとも一つの特性保持スコア(Maintenance Score)と、(iii)前記初期イメージ及び前記調整イメージ間の類似する程度を表す少なくとも一つの類似度スコア(Similarity Score)とのうち少なくとも一部を取得すると、前記生成ネットワークに含まれているロスレイヤ(Loss Layer)をもって、前記自然度スコアと、前記特性保持スコアと、前記類似度スコアとを参照して生成ネットワークロス(Generating Network Loss)を生成させ、前記生成ネットワークロスをバックプロパゲーションすることによって前記生成ネットワークのパラメータを学習させる段階;を含むことを特徴とする。
一実施例において、前記(b)段階で、前記判別ネットワークは、前記調整イメージに対応する特徴マップを参照して、前記調整イメージがリアル(Real)イメージ又はバーチャル(Fake)イメージに該当するのかに関する少なくとも一つの前記確率を判断し、これを通じて前記自然度スコアを生成することを特徴とする。
一実施例において、前記判別ネットワークは、前記調整イメージと、追加して取得された少なくとも一つの学習用リアルイメージ(Real Image)と、これに対応する原本正解とを参照して判別ネットワークロスを生成し、これをバックプロパゲーションすることによって判別ネットワークのパラメータを学習して、前記調整イメージを含む少なくとも一つの入力されたイメージがリアルイメージまたはバーチャルイメージに該当する確率を判断させることを特徴とする。
一実施例において、前記(b)段階で、前記物体検出ネットワークは、前記調整イメージに含まれている少なくとも1つの調整物体(Adjusted Object)に該当する少なくとも1つのROIに対する少なくとも1つのクラススコア(Class Score)を生成し、前記クラススコアを参照して前記特性保持スコアを生成することを特徴とする。
一実施例において、前記(b)段階で、前記生成ネットワークに含まれている比較レイヤ(Comparing Layer)は、前記初期特徴値と、これに対応する、前記調整イメージに含まれている調整特徴値(Adjusted Feature Value)との間の差に関する情報を参照して前記類似度スコアを生成することを特徴とする。
一実施例において、前記類似度スコアは、前記初期特徴値をさらに参照して生成されることを特徴とする。
一実施例において、前記(b)段階で、前記生成ネットワークロスは、前記自然度スコアと、前記特性保持スコアと、前記類似度スコアとのうち少なくとも一部を参照して算出された統合スコア(Integrated Score)が大きくなるように前記生成ネットワークに含まれているパラメータが学習されるようにすることを特徴とする。
一実施例において、前記統合スコアは、前記自然度スコアと、前記特性保持スコアと、前記類似度スコアとのうち少なくとも一部の加重和(Weighted Sum)を参照して生成されることを特徴とする。
本発明の他の態様によると、ジッタリング(Jittering)が起きたイメージを安定化させるプロセスで生成されたワーピングされた(Warped)イメージに発生した歪曲(Distortion)を、生成ネットワーク(Generating Network)と判別ネットワーク(Discriminating Network)とを含むGANを利用して減らすためのテスト方法において、(1)学習装置が、調整レイヤ(Adjusting Layer)をもって、少なくとも一つの学習用初期イメージ(Initial Image)に含まれているピクセルに対応する少なくとも一部の学習用初期特徴値(Initial Feature Value)を調整させて前記学習用初期イメージを少なくとも一つの学習用調整イメージ(Adjusted Image)に変換させ、(2)前記学習装置が、(i)前記学習用調整イメージが前記判別ネットワークによりリアルイメージであるものと判断される少なくとも一つの確率を表す少なくとも一つの自然度スコア(Naturality Score)と、(ii)前記学習用初期イメージに含まれている少なくとも一つの学習用初期物体(Initial Object)が固有の特性が保持された状態で前記学習用調整イメージに含まれているのかを表す少なくとも一つの特性保持スコア(Maintenance Score)と、(iii)前記学習用初期イメージ及び前記学習用調整イメージ間の類似する程度を表す少なくとも一つの類似度スコア(Similarity Score)とのうち少なくとも一部を参照して前記生成ネットワークに含まれているロスレイヤ(Loss Layer)をもって生成ネットワークロス(Generating Network Loss)を生成させた状態で、テスト装置が、前記生成ネットワークに含まれている前記調整レイヤ(Adjusting Layer)をもって、少なくとも一つのテスト用初期イメージに含まれているピクセルに対応する少なくとも一部のテスト用初期特徴値(Initial Feature Value)を調整させて前記テスト用初期イメージを少なくとも一つのテスト用調整イメージに変換させる段階;を含むことを特徴とする。
本発明のまた他の態様によると、ジッタリング(Jittering)が起きたイメージを安定化させるプロセスで生成されたワーピングされた(Warped)イメージに発生した歪曲(Distortion)を、生成ネットワーク(Generating Network)と判別ネットワーク(Discriminating Network)とを含むGANを利用して減らすための学習装置において、インストラクションを格納する少なくとも一つのメモリと、(I)少なくとも一つの初期イメージ(Initial Image)を取得すると、調整レイヤ(Adjusting Layer)をもって、前記初期イメージに含まれているピクセルに対応する少なくとも一部の初期特徴値(Initial Feature Value)を調整させて前記初期イメージを少なくとも一つの調整イメージ(Adjusted Image)に変換させるプロセス、及び(II)(i)前記調整イメージが前記判別ネットワークによりリアルイメージであるものと判断される少なくとも一つの確率を表す少なくとも一つの自然度スコア(Naturality Score)と、(ii)前記初期イメージに含まれている少なくとも一つの初期物体(Initial Object)が固有の特性が保持された状態で前記調整イメージに含まれているのかを表す少なくとも一つの特性保持スコア(Maintenance Score)と、(iii)前記初期イメージ及び前記調整イメージ間の類似する程度を表す少なくとも一つの類似度スコア(Similarity Score)とのうち少なくとも一部を取得すると、前記生成ネットワークに含まれているロスレイヤ(Loss Layer)をもって、前記自然度スコアと、前記特性保持スコアと、前記類似度スコアとを参照して生成ネットワークロス(Generating Network Loss)を生成させ、前記生成ネットワークロスをバックプロパゲーションすることによって前記生成ネットワークのパラメータを学習させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする。
一実施例において、前記(II)プロセスで、前記判別ネットワークは、前記調整イメージに対応する特徴マップを参照して、前記調整イメージがリアル(Real)イメージ又はバーチャル(Fake)イメージに該当するのかに関する少なくとも一つの前記確率を判断し、これを通じて前記自然度スコアを生成することを特徴とする。
一実施例において、前記判別ネットワークは、前記調整イメージと、追加して取得された少なくとも一つの学習用リアルイメージ(Real Image)と、これに対応する原本正解とを参照して判別ネットワークロスを生成し、これをバックプロパゲーションすることによって判別ネットワークのパラメータを学習して、前記調整イメージを含む少なくとも一つの入力されたイメージがリアルイメージまたはバーチャルイメージに該当する確率を判断させることを特徴とする。
一実施例において、前記(II)プロセスで、前記物体検出ネットワークは、前記調整イメージに含まれている少なくとも1つの調整物体(Adjusted Object)に該当する少なくとも1つのROIに対する少なくとも1つのクラススコア(Class Score)を生成し、前記クラススコアを参照して前記特性保持スコアを生成することを特徴とする。
一実施例において、前記(II)プロセスで、前記生成ネットワークに含まれている比較レイヤ(Comparing Layer)は、前記初期特徴値と、これに対応する、前記調整イメージに含まれている調整特徴値(Adjusted Feature Value)との間の差に関する情報を参照して前記類似度スコアを生成することを特徴とする。
一実施例において、前記類似度スコアは、前記初期特徴値をさらに参照して生成されることを特徴とする。
一実施例において、前記(II)プロセスで、前記生成ネットワークロスは、前記自然度スコアと、前記特性保持スコアと、前記類似度スコアとのうち少なくとも一部を参照して算出された統合スコア(Integrated Score)が大きくなるように前記生成ネットワークに含まれているパラメータが学習されるようにすることを特徴とする。
一実施例において、前記統合スコアは、前記自然度スコアと、前記特性保持スコアと、前記類似度スコアとのうち少なくとも一部の加重和(Weighted Sum)を参照して生成されることを特徴とする。
本発明の他の態様によると、ジッタリング(Jittering)が起きたイメージを安定化させるプロセスで生成されたワーピングされた(Warped)イメージに発生した歪曲(Distortion)を、生成ネットワーク(Generating Network)と判別ネットワーク(Discriminating Network)とを含むGANを利用して減らすためのテスト装置において、インストラクションを格納する少なくとも一つのメモリと、(1)学習装置が、調整レイヤ(Adjusting Layer)をもって、少なくとも一つの学習用初期イメージ(Initial Image)に含まれているピクセルに対応する少なくとも一部の学習用初期特徴値(Initial Feature Value)を調整させて前記学習用初期イメージを少なくとも一つの学習用調整イメージ(Adjusted Image)に変換させ、(2)前記学習装置が、(i)前記学習用調整イメージが前記判別ネットワークによりリアルイメージであるものと判断される少なくとも一つの確率を表す少なくとも一つの自然度スコア(Naturality Score)と、(ii)前記学習用初期イメージに含まれている少なくとも一つの学習用初期物体(Initial Object)が固有の特性が保持された状態で前記学習用調整イメージに含まれているのかを表す少なくとも一つの特性保持スコア(Maintenance Score)と、(iii)前記学習用初期イメージ及び前記学習用調整イメージ間の類似する程度を表す少なくとも一つの類似度スコア(Similarity Score)とのうち少なくとも一部を参照して前記生成ネットワークに含まれているロスレイヤ(Loss Layer)をもって生成ネットワークロス(Generating Network Loss)を生成させた状態で、前記生成ネットワークに含まれている前記調整レイヤ(Adjusting Layer)をもって、少なくとも一つのテスト用初期イメージに含まれているピクセルに対応する少なくとも一部のテスト用初期特徴値(Initial Feature Value)を調整させて前記テスト用初期イメージを少なくとも一つのテスト用調整イメージに変換させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする。
本発明は、RGBフォーマットであるトレーニングイメージのセットをサイクルGANを利用して非RGBフォーマットに変換して非RGBフォーマットのトレーニングイメージセットに生じる問題を緩和させる効果がある。
後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体(例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物)を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ(例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ)でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体(例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物)を想定し得るが、必ずしもこれに限定されるものではない。
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。
図1は、本発明の一実施例によるジッタリング(Jittering)が起きたイメージを安定化させる過程でワーピングされた(Warped)イメージに発生した歪曲を、GANを利用して減らす方法を遂行するための学習装置の構成を簡略に示した図面である。
図1を参照すると、学習装置100は、追って詳細に説明する構成要素である生成ネットワーク130と、判別ネットワーク140と、物体検出ネットワーク150とを含むことができる。生成ネットワーク130、判別ネットワーク140及び物体検出ネットワーク150の入出力及び演算の過程は、それぞれ通信部110及びプロセッサ120によって行われ得る。ただし、図1では、通信部110及びプロセッサ120の具体的な連結関係を省略した。この場合、メモリ115は後述する様々なインストラクション(Instruction)を格納した状態であり得、プロセッサ120は、メモリ115に格納されたインストラクションを遂行することができ、追って説明するプロセスを遂行することによって本発明を遂行することができる。このように学習装置100が描写されたからといって、学習装置100が本発明を実施するためのプロセッサ、メモリ、媒体又は他の学習装置の全ての組み合わせを含む統合プロセッサ(Integrated Processor)を含む場合を排除するわけではない。
以上、GANを利用してジッタリングが起きたイメージを安定化させるプロセスで生成された、ワーピングされたイメージ内に発生した歪曲を減らすための学習方法を遂行する学習装置100の構成を考察した。以下、前記学習方法について図2を参照して検討することにする。
図2は、本発明の一実施例によるジッタリングが起きたイメージを安定化させる過程でワーピングされたイメージに発生した歪曲を、GANを利用して減らす方法を学習するプロセスを簡略に示した図面である。
図2を参照すると、少なくとも一つの初期イメージが生成ネットワーク130に入力されると、生成ネットワーク130に含まれている調整レイヤ131により少なくとも一つの調整イメージ(Adjusted Image)が生成され得る。以後、生成ネットワーク130に含まれているロスレイヤ133が、(i)生成ネットワーク130に含まれている比較レイヤ132と、判別ネットワーク140と、物体検出ネットワーク150とによって生成された調整イメージに対するスコアを取得し、(ii)前記スコアを参照して生成ネットワークロスを生成した後、(iii)これをバックプロパゲーションすることによって生成ネットワーク130のパラメータを学習することができる。
具体的に、学習装置100は、初期イメージを取得することができる。初期イメージは、ジッタリングが起きたイメージからジッタリングを除去するプロセスを通じて生成された安定化したイメージのうち一つであり得る。この場合、前記ジッタリング除去プロセスは、ジッタリングが起きたイメージを複数のグリッドに分けるプロセスと、カメラが揺れて発生したグリッドの動きを示すジッタリングベクトルを算出するプロセスと、それぞれのジッタリングベクトルのそれぞれの逆方向にそれぞれのグリッドを動かすジッタリングイメージをワーピングするプロセスとを含むことができる。問題は、ワーピングプロセスが他の方向にグリッドを移動させて安定化したイメージ上に一部歪曲現象を引き起こし得るという点である。よって、このような過程を経て生成された初期イメージは、その内部の物体の形が一部歪曲している状態であり得る。
少なくとも一つの初期イメージが取得されると、学習装置100は、生成ネットワーク130をもって初期イメージを少なくとも一つの調整イメージに変換させることができる。具体的に、学習装置100は、生成ネットワーク130に含まれている調整レイヤ131をもって、初期イメージに含まれているピクセルに対応する初期特徴値の少なくとも一部を調整することによって初期イメージを調整イメージに変換させることができる。
調整レイヤ131は、初期特徴値に対してコンボリューション演算及びデコンボリューション演算を少なくとも一回ずつ適用することによって初期イメージを調整イメージに変換することができるであろう。この際、初期特徴値は、初期イメージがRGBフォーマットとして表現されている場合、色相値を含むことができる。初期イメージがRGBフォーマットでない場合、該当フォーマットの値を含むことができる。また、初期イメージが複数チャンネルの値を含んでいるのであれば、初期値もこれを含むことができる。
以後、調整イメージは、生成ネットワーク130に含まれている比較レイヤ132と、判別ネットワーク140と、物体検出ネットワーク150とに伝達された後、生成ネットワークロスを生成するためのそれぞれのスコアを生成するのに使用されるようになる。以下、それぞれのスコアを生成するプロセスについて説明するが、まず、判別ネットワーク140により遂行されるプロセスについて説明することにする。
第一に、判別ネットワーク140は、調整イメージがリアル(Real)イメージと判断される、少なくとも一つの確率を表す少なくとも一つの自然度スコア(Naturality Score)を生成することができる。具体的に、判別ネットワーク140は、調整イメージにコンボリューション演算を少なくとも一回適用することによって調整イメージに対応する特徴マップ(Feature Map)を生成し、これを参照して、調整イメージがリアルイメージ又はバーチャル(Fake)イメージであるのかを表す少なくとも一つの確率を判断することによって、自然度スコアを生成することができる。自然度スコアを生成するために、判別ネットワーク140は、生成ネットワーク130と並列して学習され得る。
具体的に、生成ネットワーク130により生成された調整イメージが取得される間、判別ネットワーク140は、それ自体に入力されたイメージが調整イメージであるのか学習用リアルイメージであるのかを表す学習用リアルイメージと、これに対応する原本正解とをさらに取得することができる。この際、それぞれの原本正解は、それぞれに対応するイメージがリアルイメージであるのかバーチャルイメージであるのかを示す。以後、判別ネットワーク140は、調整イメージと学習用リアルイメージとを含んでそれ自体に入力されたそれぞれのイメージに対してコンボリューション演算を少なくとも一回適用して生成されたそれぞれの特徴マップを参照して、それ自体に入力されたイメージがリアルイメージであるのかバーチャルイメージであるのかを判断することができる。判別ネットワーク140は、判断の結果とそれに対応する原本正解とを参照して判別ネットワークロスを生成した後、これをバックプロパゲーションすることによって判別ネットワークのパラメータを学習することができる。
このような学習プロセスを通じて、判別ネットワーク140は、生成ネットワーク130と並列して学習され得るようになる。
ただし、その他の実施例として、判別ネットワーク140は調整イメージのサブ領域(Sub−region)がリアルイメージであるのか又はバーチャルイメージであるのかを表す確率を決定することができ、この確率を参照して自然度スコアを生成することができる。この際、サブ領域は、「スライディングウィンドウ(Sliding Window)」と呼ばれる方法により選択され得る。詳細には、第1サブ領域が調整イメージ内に選択され得、第1サブ領域等を少しずつ動かして行って第2サブ領域を選択することができる。
第二に、物体検出ネットワーク150は、初期イメージに含まれている少なくとも一つの初期物体が固有の特性が保持された状態で調整イメージに含まれているのかを表す、少なくとも一つの特性保持スコアを生成することができる。具体的に、物体検出ネットワーク150は、(i)RPNからそれ自体に入力されたイメージ上のそれぞれのROIを取得することができ、(ii)それぞれのROIに対してコンボリューション演算を少なくとも一回適用することによってそれぞれの特徴マップを生成した後、(iii)それぞれの特徴マップに対してFC演算を適用することによってそれぞれのROIに含まれるそれぞれの物体のクラスに対応する確率を含むそれぞれのクラススコアを生成することができる。この際、クラススコアに関する特定の情報を、例を挙げて説明すると、物体検出ネットワーク150が検出する物体を歩行者クラスと、自動車クラスと、背景クラスとを含む3つのクラスに分類すれば、特定の物体に対応する特定のクラススコアは、第一に特定ROIに含まれている特定の物体が歩行者である確率、第二に特定の物体が自動車である確率、及び第三に特定の物体が背景である確率である3つの構成要素を含むことができる。残りのクラススコアがほぼ同様に生成された後、物体検出ネットワーク150は、それぞれのクラススコアを参照して特性保持スコアを生成することができる。
一例として、特性保持スコアは、それぞれのクラススコアに対応する、それぞれの部分特性保持スコアの和として算出され得る。この場合、前記特定の物体に対応する部分特性保持スコアのうち特定の部分特性保持スコアは、(i)特定の物体が背景クラスでない物体クラスに含まれる確率のうち最も大きい値と(ii)特定の物体が背景クラスに含まれる確率と1との間の差を足し合わせて算出することができる。たとえば、特定のクラススコアが(0.7、0.2、0.1)であれば、特定の一部特性保持スコアは0.7+(1−0.1)=1.6と計算されるはずである。
前記判別ネットワーク140と異なり、物体検出ネットワーク150は、生成ネットワーク130と並列して学習するのではなく、生成ネットワーク130の学習過程が遂行される以前にすでに学習されたものであり得る。
最後に、比較レイヤ132は、初期イメージ及び調整イメージ間の類似する程度を表す類似度スコアを生成することができる。具体的に、比較レイヤ132は、初期特徴値と、これに対応する、調整イメージに含まれている調整特徴値との間の差に関する情報を生成した後、これを利用して類似度スコアを生成することができる。
例示として、比較レイヤ132は、それぞれの初期特徴値と、それに対応するそれぞれの調整特徴値との間のそれぞれのユークリッド距離(Euclidean Distance)を算出して差に関する情報を生成することができ、構成要素がすべて0である元来の地点からそれぞれの初期特徴値までのそれぞれのユークリッド距離を足し合わせて和の情報(Sum Information)を生成することができる。その後、比較レイヤ132は、差に関する情報を前記和で割った後、これを1から引くことによって、類似度スコアを生成することができる。
以上、自然度スコア、特性保持スコア、類似度スコアを生成する方法について具体的に考察してみた。このようなスコアがどのように使用されるのかに関する説明は、以下、ロスレイヤ133について説明しつつ併せて詳細に説明する。
学習装置100は、ロスレイヤ133をもって、自然度スコアと、特性保持スコアと、類似度スコアとを参照して生成ネットワークロスを生成させることができる。生成ネットワークロスは、統合スコアが大きくなるように生成ネットワーク130に含まれているパラメータが学習されるようにすることができる。この際、統合スコアは、少なくとも一つの自然度スコアと、特性保持スコアと、類似度スコアとを参照して算出され得る。例示として、統合スコアは、自然度スコアと、特性保持スコアと、類似度スコアとのうち少なくとも一部の加重和(Weighted Sum)を参照して生成され得る。ロスレイヤは、下記の数式によって生成ネットワークロスを生成することができる。
前記数式でE
1(G)は自然度スコアを意味し、E
2(G)は特性保持スコアを意味し、E
3(G)は類似度スコアを意味し得る。そして、αとβとはそれぞれの項(Term)に対応する重み付け値を意味する。
第一に、E1(G)は、上記で見られるように基本的な実施例では、「スライディングウィンドウ」と呼ばれる方法を利用する場合、
であり得、又は単にD(G(I))として与えられ得るが、これは、判別ネットワーク140が調整イメージをリアルイメージとして判断する確率を表す。「スライディングウィンドウ」という方法を用いる場合には、
項は、調整イメージに含まれるそれぞれのサブ領域がリアルイメージ又はバーチャルイメージであるそれぞれの確率を足し合わせて、その結果として生じた値を正規化(Nomalizing)するためのものである。K
wは前記サブ領域の幅、K
hは前記サブ領域の高さを意味し、Wは調整イメージの幅、Hは調整イメージの高さを意味する。S
xは前記サブ領域の左辺と調整イメージ左辺との間の距離を意味し、S
yは前記サブ領域の上辺と調整イメージの上辺との間の距離を意味する。数式によってE
1(G)は、以前に説明したような機能をすることができる。
第二に、E2(G)で、
項は第i物体が背景クラスでない物体クラスに含まれるものと判断される確率のうち最も大きい値を意味し、
項は1から、第i物体が背景クラスに含まれるものと判断される確率を引いた値を意味する。この場合、
は、第i物体を含むバウンディングボックス(Bounding Box)の位置を意味し得る。
第三に、E3(G)で、Iは初期特徴値に対応するベクトル、G(I)は調整特徴値に対応するベクトルを意味する。
このように、統合スコアが大きくなるようにする方向に生成ネットワークロスを生成する理由について、以下で説明することにする。
第一に、自然度スコアを高くなるようにすることによって、調整イメージがより自然に見えるようにする。調整イメージに含まれている物体が歪曲されれば、調整イメージは自然であるように見えない。調整イメージに含まれている物体の歪曲が少ないほど、ディスクリミネーティングネットワーク140は、調整イメージがリアルイメージである確率を高く評価するので、自然度スコアが高くなり得る。そうすると、自然度スコアが大きくなって、調整イメージに含まれている初期物体の歪曲を減らすことができる。
第二に、特性保持スコアを高くすることによって、調整イメージに含まれている物体がそれ自体の特性を十分に保持することができる。物体検出ネットワーク150が、調整イメージに含まれている物体を容易に検出するほど、特性保持スコアが高くなり得る。そのため、特性保持スコアが高くなるようにすることによって、初期物体の特性が調整プロセスの後にも十分に保持されるようにし得るのである。
第三に、類似度スコアが高くなるようにすることによって、調整イメージにおいて初期物体に対応しない新たな物体が生成されるのを防ぐことができる。類似度スコアなしに自然度スコアと特性保持スコアのみを使用するようになると、調整レイヤ131のパラメータは歪曲された初期物体を調整するだけでなく、調整イメージ内に新たな物体を生成する方向に学習され得るからである。よって、類似度スコアが高くなるようにすることによって、望まない新たな物体が調整イメージ上に生成されるのを防ぐことができるのである。
先に説明したように、自然度スコアと、特性保持スコアと、類似度スコアとのうち少なくとも一部の加重和を参照して統合スコアを生成することができる。この際、それぞれのスコアに対応するそれぞれの重み付け値はユーザが調整することができる。例えば、初期イメージと調整イメージとがあまりにも類似していることから物体の歪曲が減らない場合、類似度スコアに対する重み付け値を減らすことができる。
前記のような方法によって生成ネットワークロスが生成されると、学習装置100は、ロスレイヤ133をもって、生成ネットワークロスをバックプロパゲーションすることによって生成ネットワーク130のパラメータを学習させることができる。
参考までに、以下の説明で混同を避けるために「学習用」という文句は、前述の学習プロセスに関する用語に対して追加され、「テスト用」という文句はテストプロセスに関する用語に対して追加される。
具体的に、(1)少なくとも一つの学習用初期イメージが取得されると、学習装置が、生成ネットワーク130に含まれている調整レイヤ131をもって、学習用初期イメージ(Initial Image)に含まれているピクセルに対応する少なくとも一部の学習用初期特徴値(Initial Feature Value)を調整させて学習用初期イメージを少なくとも一つの学習用調整イメージ(Adjusted Image)に変換させ、(2)学習装置が、(i)学習用調整イメージが判別ネットワークによってリアルイメージであるものと判断される、少なくとも一つの確率を表す少なくとも一つの自然度スコア(Naturality Score)と、(ii)学習用初期イメージに含まれている少なくとも一つの学習用初期物体(Initial Object)が固有の特性が保持された状態で学習用調整イメージに含まれているのかを表す、少なくとも一つの特性保持スコア(Maintenance Score)と、(iii)学習用初期イメージ及び学習用調整イメージ間の類似する程度を表す、少なくとも一つの類似度スコア(Similarity Score)とのうち少なくとも一部を参照して生成ネットワークに含まれているロスレイヤ(Loss Layer)をもって生成ネットワークロス(Generating Network Loss)を生成させた状態で、少なくとも一つのテスト用初期イメージが取得されると、テスト装置が、生成ネットワーク130に含まれている調整レイヤ(Adjusting Layer)をもって、少なくとも一つのテスト用初期イメージに含まれているピクセルに対応する少なくとも一部のテスト用初期特徴値(Initial Feature Value)を調整させてテスト用初期イメージを少なくとも一つのテスト用調整イメージに変換させることができる。
テストプロセスにおいて、前述した学習装置100の構成で、ディスクリミネーティングネットワーク140と、物体検出ネットワーク150と、生成ネットワーク130とに含まれている比較レイヤ132及びロスレイヤ133は、除外された状態であり得る。
このようにテストする場合の効果を検討するために、図3を参照することにする。
図3は、本発明の一実施例によるジッタリングが起きたイメージを安定化させる過程でワーピングされたイメージに発生した歪曲を、GANを利用して減らすプロセスの効果を簡略に示した図面である。
図3を参照すると、先に言及したとおり、初期物体はイメージワーピングのために歪曲されたことを確認することができる。この際、本発明の一実施例による方法を初期イメージに適用すると、初期イメージが図3のように歪曲が大幅に減った調整イメージに変換され得る。
本発明は、GANを利用して歪曲を減らすことによってジッタリングが起きたイメージを安定化させるプロセス中に生成された、ワーピングされたイメージに発生した歪曲の問題を緩和することができるポジティブな効果がある。
本発明の一実施例による方法は、極限状況において、フォールトトレランス(Fault Tolerance)及びフラクチュエーションロバスト性(Fluctuation Robustness)を向上させるのに使用され得、行動予測、超精密物体の検出又は追跡に使用されてもよい。
本発明の技術分野における通常の技術者に理解され得るところとして、前記で説明されたイメージ、例えば、オリジナルイメージ、オリジナルラベル及び追加ラベルのようなイメージデータの送受信が学習装置及びテスト装置の各通信部により行われ得、特徴マップと演算を遂行するためのデータが学習装置及びテスト装置のプロセッサ(及び/又はメモリ)によって保有/保持され得、コンボリューション演算、デコンボリューション演算、ロス値演算の過程が主に学習装置及びテスト装置のプロセッサによって遂行され得るが、本発明がこれに限定されはしないであろう。
以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、CD−ROM、DVDのような光記録媒体、フロプティカルディスク(Floptical Disk)のような磁気−光メディア(Magneto−Optical Media)、及びROM、RAM、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であると、かかる記載から多様な修正及び変形が行われ得る。
従って、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。