JP6681965B2 - 自律走行のための学習対象イメージ抽出装置及び方法 - Google Patents

Description

本発明は、自律走行のための学習対象イメージ抽出装置及び方法に関する。

近年、人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、ＡＩ）のトレンドは、音声及びテキスト認識からビデオ映像認識へ技術的に変わりつつある。ビデオ映像認識は、自律走行自動車の制御、ブラックボックス映像、ＣＣＴＶ映像の分析及び医療映像の判読などに用いることができ、多様な産業において波及効果が非常に大きい。その中でも、レベル４の自律走行自動車の研究開発において、全世界的に１、６００億ｋｍ分のビデオ映像データが必要であり、都市別に１億ｋｍ分の映像が必要であると判断されている。また、ビデオ映像の認識は、収集されたビデオ映像データを、映像の知能化に用いるために別途の加工作業を必要とするが、加工作業は人の認知能力に基づいて手作業で行われ、多くの時間とコストが発生する。

韓国公開特許公報第１０-２００４-００２６８２５号明細書

そこで、本発明は、上記事情に鑑みてなされたものであって、その目的は、自律走行のための学習対象イメージ抽出装置及び方法を提供することにある。

本発明が解決しようとする課題は、上記された課題に限定されず、言及されていない他の課題は、以下の記載から通常の技術者が明確に理解できるはずである。

上述した課題を解決するための本発明の一側面に係る自律走行のための学習対象イメージ抽出装置及び方法は、オリジナル道路走行映像を受信するオリジナル動画受信段階と、前記オリジナル道路走行映像のメタデータに基づいて抽出数を決定し、前記オリジナル道路走行映像から前記決定された数のフレームイメージを抽出する１次サンプリング段階と、前記決定された数のフレームイメージそれぞれが第１学習対象オブジェクトを含んでいるか否か、及び、前記第１学習対象オブジェクトの移動量に基づいて、前記決定された数のフレームイメージから１つ以上の学習対象フレームイメージを抽出する２次サンプリング段階と、を含み、前記オリジナル道路走行映像の前記メタデータは、前記オリジナル道路走行映像と関連する前記車両のＧＰＳ情報、前記車両の移動速度情報及び前記オリジナル道路走行映像の撮影時間のうち１つ以上を含む。

一実施形態において、前記１次サンプリング段階は、前記オリジナル道路走行映像と関連する地域の密集変数を算出する密集変数算出段階を更に含み、前記オリジナル道路走行映像と関連する地域の前記密集変数に更に基づいて前記抽出数を決定する。

一実施形態において、前記密集変数算出段階は、前記オリジナル道路走行映像と関連する地域の人口統計データ又は車両統計データのうち１つ以上を用いて、前記オリジナル道路走行映像と関連する地域の密集変数を算出する。

一実施形態において、前記２次サンプリング段階は、オブジェクト検出アルゴリズムを用いて、それぞれの前記決定された数のフレームイメージ上で予め定められた１つ以上の類型の１つ以上の前記第１学習対象オブジェクトを検出する第１学習対象オブジェクト検出段階と、第ｎ（ｎは２以上の自然数）フレームイメージ上の検出された前記１つ以上の第１学習対象オブジェクトの位置と、前記第ｎフレームイメージの直前の第ｎ−１フレームイメージ上の検出された前記１つ以上の第１学習対象オブジェクトの位置と、を比較し、前記第ｎフレームイメージ上の検出された前記１つ以上の第１学習対象オブジェクトそれぞれの移動量を測定する第１学習対象オブジェクト移動量測定段階を含む。

一実施形態において、前記２次サンプリング段階は、それぞれの前記決定された数のフレームイメージ上で前記第１学習対象オブジェクトを除外した背景を除去する背景除去段階を更に含む。

一実施形態において、前記１つ以上の学習対象フレームイメージを加工処理して学習用データセットを生成する学習用データセット生成段階を更に含む。

一実施形態において、前記学習用データセット生成段階は、前記学習対象フレームイメージ上で予め定められた１つ以上の類型の１つ以上の第２学習対象オブジェクトを検出する第２学習対象オブジェクト検出段階と、前記学習対象フレームイメージ上の検出された前記１つ以上の第２学習対象オブジェクトに対して注釈化処理を行う学習対象オブジェクト注釈化段階と、を含む。

一実施形態において、前記学習用データセット生成段階は、前記学習用データセットの有効性を検証する有効性検証段階を更に含む。

上述した課題を解決するための本発明の他の側面に係る自律走行のための学習対象イメージ抽出装置は、自律走行のための人工知能学習対象イメージ生成装置において、オリジナル道路走行映像を受信するオリジナル道路走行映像受信部、前記オリジナル道路走行映像のメタデータに基づいて抽出数を決定し、前記オリジナル道路走行映像から前記決定された数のフレームイメージを抽出する第１サンプリング部、及び前記決定された数のフレームイメージそれぞれが第１学習対象オブジェクトを含んでいるか否か、及び、前記第１学習対象オブジェクトの移動量に基づいて、前記決定された数のフレームイメージから１つ以上の学習対象フレームイメージを抽出する第２サンプリング部を含み、前記オリジナル道路走行映像の前記メタデータは、前記オリジナル道路走行映像と関連する前記車両のＧＰＳ情報、前記車両の移動速度情報及び前記オリジナル道路走行映像の撮影時間のうち１つ以上を含む。

本発明のその他の具体的な事項は、詳細な説明及び図面に含まれている。

本発明の自律走行のための学習対象イメージ抽出装置及び方法によれば、第１サンプリング部は、オリジナル道路走行映像のメタデータに基づいてオリジナル道路走行映像を１次サンプリングするため、その後に行われる２次サンプリング段階及び学習用データセット生成段階でデータを処理するのにかかるコストと時間を画期的に短縮でき、自律走行のための学習対象イメージを抽出する効率を上げることができるという効果を奏する。

また、第２サンプリング部は、第１学習対象オブジェクトの移動量の基準を設定し、事前に決定された基準以上のものに該当するフレームイメージを学習対象フレームイメージとして選定することによって、不要なフレームイメージは低減し、必要なフレームイメージのみを選定することができる。

更に、１次サンプリング及び２次サンプリングを通じて核心的なフレームイメージのみを学習対象フレームイメージとして抽出することによって、学習対象フレームイメージの数が少ないにも拘らず、サンプリングのないフレームイメージに対して同等な水準の性能を有する自律走行のための学習対象イメージが抽出されるようにすることができる。

本発明の効果は、上記された効果に限定されず、言及されていない他の効果は、以下の記載から通常の技術者が明確に理解できるはずである。

本発明の一実施形態に係る自律走行のための学習対象イメージ抽出方法の概略的なフローチャートである。 本発明の一実施形態に係る図１の１次サンプリング段階により抽出されたフレームイメージの例示図である。 図１の２次サンプリング段階の概略的なフローチャートである。 図１の２次サンプリング段階で第１学習対象オブジェクトの移動量を測定するための方法を説明する例示図である。 背景除去段階が追加された図１の２次サンプリング段階の概略的なフローチャートである。 背景除去段階が追加された図１の２次サンプリング段階で背景が除去されたフレームイメージを用いて第１学習対象オブジェクトの移動量を測定するための方法を説明する例示図である。 本発明の他の実施形態に係る密集変数算出段階が追加された自律走行のための学習対象イメージ抽出方法の概略的なフローチャートである。 本発明の他の実施形態に係る学習用データセット生成段階が追加された自律走行のための学習対象イメージ抽出方法の概略的なフローチャートである。 図８の学習用データセット生成段階の概略的なフローチャートである。 有効性検証段階が追加された図８の学習用データセット生成段階の概略的なフローチャートである。 図１０の有効性検証段階の概略的なフローチャートである。 本発明の他の実施形態に係る自律走行のための学習対象イメージ抽出装置の概略的な構成図である。

本発明の利点及び特徴、そしてそれらを達成する方法は、添付の図面と共に詳細に後述されている実施形態を参照すれば明確になるはずである。しかし、本発明は、以下で開示される実施形態に限定されるものではなく、互いに異なる多様な形態で実現することができる。但し、本実施形態は、本発明の開示を完全なものにし、本発明が属する技術分野における通常の技術者に本発明の範囲を完全に理解させるために提供されるものであり、本発明は特許請求の範囲により定義されるに過ぎない。

本明細書で用いられる用語は、実施形態を説明するためのものであり、本発明を制限しようとするものではない。本明細書において、単数型は特に言及しない限り複数型も含む。明細書で用いられる「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」は、言及された構成要素以外に１つ以上の他の構成要素の存在又は追加を排除しない。明細書全体に亘って同一の図面符号は同一の構成要素を示し、「及び／又は」は言及された構成要素のそれぞれ及び１つ以上のあらゆる組み合わせを含む。たとえ「第１」「第２」などが多様な構成要素を叙述するために用いられていても、これらの構成要素はこれらの用語により限定されないのは当然である。これらの用語は、単に１つの構成要素を他の構成要素と区別するために用いる。従って、以下で言及される第１構成要素は、本発明の技術的思想内で第２構成要素であり得ることは当然である。

他の定義がなければ、本明細書で用いられる全ての用語（技術及び科学的用語を含む）は、本発明が属する技術分野における通常の技術者が共通して理解できる意味として使用され得る。また、一般に用いられる辞典に定義されている用語は、明白に特に定義されていない限り、理想的に又は過度に解釈されない。

以下、添付の図面を参照し、本発明の実施形態を詳細に説明する。

図１は、本発明の一実施形態に係る自律走行のための学習対象イメージ抽出方法の概略的なフローチャートである。

図１を参照すれば、自律走行のための学習対象イメージ抽出方法は、オリジナル動画受信段階（Ｓ１００）と、１次サンプリング段階（Ｓ２００）と、２次サンプリング段階（Ｓ３００）と、を含む。

段階Ｓ１００で、オリジナル道路走行映像受信部６１０は、オリジナル道路走行映像を受信する。オリジナル道路走行映像は、車両内外部、車道などに設けられたカメラで収集される動画である。例えば、自動車の自律走行のための人工知能映像学習データを生成するためにオリジナル道路走行映像を受信する場合、オリジナル道路走行映像は、自律走行のための学習データの生成のためにカメラを取り付けた自動車から獲得した動画など、自律走行のための学習データの生成が可能な映像が全て含まれることができ、これに限定されない。

段階Ｓ２００で、第１サンプリング部６２０は、オリジナル道路走行映像のメタデータに基づいて抽出数を決定し、オリジナル道路走行映像から決定された数のフレームイメージを抽出する。オリジナル道路走行映像のメタデータは、オリジナル道路走行映像と関連する車両のＧＰＳ情報、車両の移動速度情報、及び、オリジナル道路走行映像の撮影時間のうち１つ以上を含む。

一実施形態において、第１サンプリング部６２０は、オリジナル道路走行映像のメタデータの車両のＧＰＳ情報に基づいて、車両のＧＰＳ情報が事前に決定された地域に含まれる場合、該当地域に相応する数のフレームイメージを抽出する。例えば、第１サンプリング部６２０は、車両が繁華なＡ地域にある場合、１秒当たりに３０フレームを抽出し、車両が閑静なＢ地域にある場合、１秒当たりに１５フレームを抽出できる。

一実施形態において、第１サンプリング部６２０は、オリジナル道路走行映像のメタデータの車両移動速度情報に基づいて、車両の移動速度が事前に決定された速度範囲に含まれる場合、該当速度範囲に相応する数のフレームイメージを抽出する。例えば、第１サンプリング部６２０は、車両の移動速度が比較的高速な１００ｋｍ／ｈである場合、１秒当たりに３０フレームを抽出し、車両の移動速度が比較的低速な５０ｋｍ／ｈである場合、１秒当たりに１５フレームを抽出できる。

一実施形態において、第１サンプリング部６２０は、オリジナル道路走行映像のメタデータの撮影時間に基づいて、車両の移動時間が事前に決定された時間範囲に含まれる場合、該当時間範囲に相応する数のフレームイメージを抽出する。例えば、第１サンプリング部６２０は、車両の移動時間が混雑する出／退勤時間である７時から９時、又は、１８時から２０時までの場合、１秒当たりに３０フレームを抽出し、車両の移動時間が閑散な明け方である１時から５時までの場合、１秒当たりに１５フレームを抽出できる。

他の実施形態において、第１サンプリング部６２０は、オリジナル道路走行映像のメタデータの撮影時間に相応する天気情報に基づいて、天気情報が事前に決定された天気に含まれる場合、該当天気に相応する数のフレームイメージを抽出する。例えば、第１サンプリング部６２０は、撮影時間に相応する天気情報が曇り、強風、暴雨、大雪などである場合、１秒当たりに３０フレームを抽出し、天気情報が晴れである場合、１秒当たりに１５フレームを抽出できる。

段階Ｓ３００で、第２サンプリング部６３０は、決定された数のフレームイメージそれぞれが第１学習対象オブジェクトを含んでいるか否か、及び、第１学習対象オブジェクトの移動量に基づいて、決定された数のフレームイメージから１つ以上の学習対象フレームイメージを抽出する。２次サンプリング段階（Ｓ３００）は、図５で更に具体的に説明する。

図２は、本発明の一実施形態に係る図１の１次サンプリング段階により抽出されたフレームイメージの例示図である。

図２を参照すれば、フレームイメージは、１次サンプリング段階（Ｓ２００）により、例えば、６０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）、３０ｆｐｓ、又は、１ｆｐｓにて抽出できる。

段階Ｓ２００で、第１サンプリング部６２０は、オリジナル道路走行映像のメタデータに基づいて抽出数を決定し、オリジナル道路走行映像から決定された数のフレームイメージを抽出する。例えば、オリジナル道路走行映像のフレームレート（ｆｒａｍｅ ｒａｔｅ）が６０ｆｐｓである場合、第１サンプリング部６２０は、オリジナル道路走行映像のメタデータによって、１秒当たりに６０個、３０個又は１個のフレームを抽出できる。

段階Ｓ２００で、第１サンプリング部６２０は、オリジナル道路走行映像のメタデータに基づいてオリジナル道路走行映像を１次サンプリングするため（即ち、不要なデータを除去して２次サンプリング段階に伝達されるデータの量を減少させるため）、後に行われる２次サンプリング段階（Ｓ３００）及び学習用データセット生成段階（Ｓ５００）でデータを処理するのにかかるコストと時間を画期的に短縮することができる。

図３は、図１の２次サンプリング段階の概略的なフローチャートである。

図３を参照すれば、２次サンプリング段階（Ｓ３００）は、第１学習対象オブジェクト検出段階（Ｓ３１０）と、第１学習対象オブジェクト移動量測定段階（Ｓ３２０）と、を含む。

段階Ｓ３１０で、第２サンプリング部６３０は、オブジェクト検出アルゴリズムを用いて、それぞれの決定された数のフレームイメージ上で予め定められた１つ以上の類型の１つ以上の第１学習対象オブジェクトを検出する。

第１学習対象オブジェクトは、フレームイメージに含まれているオブジェクトである。フレームイメージには１つ以上の第１学習対象オブジェクトが含まれ、１つ以上の類型の第１学習対象オブジェクトが含まれる。例えば、第１学習対象オブジェクトは、人、自動車、自転車、建物、電信柱、オートバイ、木、花、子犬、猫、道路、交通表示板、過速防止用段差、ロードコーン、車線などを含むことができるが、前記例に限定されず、オブジェクトとして区別が可能なものを全て含む。また、第１学習対象オブジェクトの類型は、オブジェクトの前面、後面、右側面、左側面などを含むが、各学習対象オブジェクトの類型は、前記例に限定されず、前記例よりも細分化させて区分することができ、前記例とは全く異なる類型として区分することができる。

第１学習対象オブジェクト検出で１つ以上の類型の１つ以上のオブジェクトを検出することは、オブジェクト検出アルゴリズムを用いて検出することであり、オブジェクト検出アルゴリズムは、Ｒ-ＣＮＮモデルを含むことができるが、これに限定されない。

段階Ｓ３２０で、第２サンプリング部６３０は、第ｎ（ｎは２以上の自然数）フレームイメージ上の検出された１つ以上の第１学習対象オブジェクトの位置と、第ｎフレームイメージの直前の第ｎ−１フレームイメージ上の検出された１つ以上の第１学習対象オブジェクトの位置を比較し、第ｎフレームイメージ上の検出された１つ以上の第１学習対象オブジェクトそれぞれの移動量を測定する。

学習対象フレームイメージを抽出する方法は、検出された１つ以上の第１学習対象オブジェクトの移動量が事前に決定された基準以上かを判断し、検出された１つ以上の第１学習対象オブジェクトのうち予め定められた数以上の第１学習対象オブジェクトの移動量が事前に決定された基準以上である場合、該当フレームイメージを学習対象フレームイメージとして選定する。しかし、検出された１つ以上の第１学習対象オブジェクトのうち予め定められた数以上の第１学習対象オブジェクトの移動量が事前に決定された基準以上に該当しない場合、該当フレームイメージを学習対象フレームイメージとして選定しない。

第１学習対象オブジェクトの移動量の基準を設定し、事前に決定された基準以上のものに該当するフレームイメージを学習対象フレームイメージとして選定することによって、不要なフレームイメージは低減し、必要なフレームイメージのみを選定することができる。

従って、学習対象フレームイメージは、抽出されたフレームイメージの全てが学習対象フレームイメージとして選定されず、オブジェクトの移動量が少なく、学習において影響を大きく及ぼさないフレームイメージを除いて残ったフレームイメージのみが、学習対象フレームイメージとして選定されることによって、以後の段階で学習データセットの量を低減することができる。従って、人工知能モジュールを学習するにおいて、量が減少した学習データセットを用いて、学習にかかる時間が短縮されることができる。

他の実施形態において、第２サンプリング部６３０は、フレームイメージから交通統制オブジェクトの有無を判断し、該当交通統制オブジェクトが事前に決定された基準に符合する場合、交通統制オブジェクトに更に基づいて、フレームイメージから１つ以上の学習対象フレームイメージを抽出する。交通統制オブジェクトは、フレームイメージ上の信号機、交通安全標識、交通安全線、及び、道路附帯施設などであり得るが、これに限定されない。例えば、第２サンプリング部６３０は、フレームイメージから信号機が検出され、該当信号機が赤色から緑色へ変わる場合、該当フレームイメージ全部を学習対象フレームとして抽出し、該当信号機が赤色に維持される場合、１秒当たりのフレームイメージの数を半分にして該当フレームイメージの中から一部のみを学習対象フレームとして抽出できる。

他の実施形態において、第２サンプリング部６３０は、オリジナル道路走行映像を撮影する時に、車両の内部音及び外部音のうち少なくとも１つを抽出し、車両の内部音及び外部音の周波数が所定の基準範囲にある場合、車両の内部音及び外部音のうち少なくとも１つに更に基づいて、フレームイメージから１つ以上の学習対象フレームイメージを抽出する。例えば、第２サンプリング部６３０は、ブラックボックスの道路走行映像からオーディオデータを抽出し、該当オーディオデータから悲鳴の声が検出される場合、１秒当たりに３０個の学習対象フレームを抽出し、何らの音も検出されない場合、１秒当たりに１５個の学習対象フレームを抽出できる。

第１学習対象オブジェクト移動量測定段階（Ｓ３２０）は、図４で具体的に説明する。

図４は、図１の２次サンプリング段階で第１学習対象オブジェクトの移動量を測定するための方法を説明する例示図である。

図４を参照すれば、第１学習対象オブジェクト移動量測定段階（Ｓ３２０）での移動量測定方法が示される。図４（ａ）は、第ｎ−１フレームイメージ１１、図４（ｂ）は、第ｎフレームイメージ１２を示す。

第１学習対象オブジェクトの移動量の測定は、第ｎ−１フレームイメージ１１上での第１学習対象オブジェクト２１と、第ｎフレームイメージ１２上での第１学習対象オブジェクト２２の位置と、を比較するものである。

第ｎ−１フレームイメージ１１上での第１学習対象オブジェクト２１と第ｎフレームイメージ１２上での第１学習対象オブジェクト２２は、同一形態のオブジェクトであって、第１学習対象オブジェクトの同一位置に該当する部分をまず選定する。

第１学習対象オブジェクトの同一位置に該当する部分の選定は、コンピュータが第ｎ−１フレームイメージ１１上の第１学習対象オブジェクト２１において特定部分を「Ａ」と選定したとするとき、第ｎフレームイメージ１２上の第１学習対象オブジェクト２２上において「Ａ」と同一位置に該当する部分を「Ａ’」として選定する。

コンピュータは、第１学習対象オブジェクトの同一位置に該当する部分を選定した後、第ｎ−１フレームイメージ１１と第ｎフレームイメージ１２を同一平面上に置いた後、「Ａ」及び「Ａ’」に対する座標を抽出する。

コンピュータは、「Ａ」及び「Ａ’」に対する座標を抽出した後、「Ａ」の座標と「Ａ’」の座標の差を用いて移動量を測定する。

図５は、背景除去段階が追加された図１の２次サンプリング段階の概略的なフローチャートである。

図５を参照すれば、背景除去段階（Ｓ３３０）は、第１学習対象オブジェクト検出段階（Ｓ３１０）の後に実行される。

段階Ｓ３３０で、第２サンプリング部６３０は、それぞれの決定された数のフレームイメージ上で第１学習対象オブジェクトを除いた背景を除去する。

背景除去段階（Ｓ３３０）は、フレームイメージ上で検出された第１学習対象オブジェクトを除いたものを背景として処理し、背景部分を全て除去する。背景部分の除去は、背景に該当する領域のピクセルの値をｎｕｌｌ状態にするか、所定の特殊な値で処理することを含むことができる。例えば、背景に該当する領域のピクセルのグレー（ｇｒａｙ）を０グレー又は２５６グレーで処理することができるが、これに限定されない。

背景除去段階（Ｓ３３０）が追加された２次サンプリング段階（Ｓ３００）は、図６で具体的に説明する。

図６は、背景除去段階が追加された図１の２次サンプリング段階で背景が除去されたフレームイメージを用いて、第１学習対象オブジェクトの移動量を測定するための方法を説明する例示図である。

図６を参照すれば、図６（ａ）は１次サンプリング段階（Ｓ２００）により抽出されたフレームイメージ１０を示しており、フレームイメージ１０は第１学習対象オブジェクト２０及び背景３０を含む。

図６を参照すれば、図６（ｂ）は、図６（ａ）であるフレームイメージ１０で背景除去段階（Ｓ３３０）により背景３０が除去されたことを示す図であって、フレームイメージ１０は第１学習対象オブジェクト２０のみを含む。

図６を参照すれば、図６（ｃ）は、第ｎ（ｎは２以上の自然数）フレームイメージ上の検出された１つ以上の第１学習対象オブジェクト２１の位置と、第ｎフレームイメージの直前の背景が除去された第ｎ−１フレームイメージ上の検出された１つ以上の第１学習対象オブジェクト２２の位置とを比較することを示す図である。

コンピュータは、それぞれの第１学習対象オブジェクト２１、２２間の比較を通じて、第１学習対象オブジェクトの移動量を測定できる。

第１学習対象オブジェクト２１、２２の位置比較を通じて移動量を測定した後、コンピュータは、検出された１つ以上の第１学習対象オブジェクト２０のうち、予め定められた数以上の第１学習対象オブジェクトの移動量が予め定められた基準以上の場合は、第ｎフレームイメージを学習対象フレームイメージとして選定し、そうでない場合には、第ｎフレームイメージを学習対象フレームイメージとして選定しない。

例えば、コンピュータは、第１フレームイメージ上で検出された第１学習対象オブジェクトと第２フレームイメージ上で検出された第１学習対象オブジェクトの移動量とを比較して、移動量が予め定められた基準以上の場合は、第２フレームイメージを学習対象フレームイメージとして選定する。移動量が予め定められた基準以上に該当しない場合には、第２フレームイメージを学習対象フレームイメージとして選定しない。

また、コンピュータは、第２フレームイメージを学習対象フレームイメージとして選定又は選定しないことに止まらず、再び第２フレームイメージ上で検出された第１学習対象オブジェクトと第３フレームイメージ上で検出された第１学習対象オブジェクトの移動量を比較し、移動量が予め定められた基準以上の場合には、第３フレームイメージを学習対象フレームイメージとして選定する。

フレームイメージ上の第１学習対象オブジェクトの移動量を測定し、学習対象フレームイメージとして選定又は選定しない段階は、第ｎ（ｎは２以上の自然数）フレームイメージ上の検出された１つ以上の第１学習対象オブジェクトと第ｎ−１フレームイメージ上の検出された１つ以上の第１学習対象オブジェクトの位置を比較することによって、抽出された全てのフレームイメージ上の検出された１つ以上の第１学習対象オブジェクトに対して比較し、学習対象フレームとして選定又は選定しないことが完了するまで繰り返される。

第１学習対象オブジェクト２０は１つ以上であって、コンピュータは１つのフレームイメージ１０上に複数の第１学習対象オブジェクト２０がある場合、それぞれの第１学習対象オブジェクト２０を比較して、それぞれの第１学習対象オブジェクト２０の移動量を測定する。

例えば、１つのフレームイメージ１０上に複数の第１学習対象オブジェクト２０を含む場合、コンピュータは、複数の第１学習対象オブジェクト２０全部の移動量を測定し、予め定められた数の第１学習対象オブジェクト２０の移動量が予め定められた基準以上の場合、該当フレームイメージ１０を学習対象フレームイメージとして選定する。

一実施形態において、コンピュータは、複数の第１学習対象オブジェクト２０全部の移動量を測定し、複数の第１学習対象オブジェクト２０全部の移動量が予め定められた基準以上の場合、該当フレームイメージ１０を学習対象フレームイメージとして選定する。

他の実施形態において、コンピュータは、複数の第１学習対象オブジェクト２０のうち予め定められた数の第１学習対象オブジェクト２０の移動量のみを測定し、測定した第１学習対象オブジェクト２０の移動量うち予め定められた数の第１学習対象オブジェクト２０の移動量が予め定められた基準以上の場合、該当フレームイメージ１０を学習対象フレームイメージとして選定する。

更に他の実施形態において、コンピュータは、複数の第１学習対象オブジェクト２０のうち予め定められた数の第１学習対象オブジェクト２０の移動量のみを測定し、測定した第１学習対象オブジェクト２０全部の移動量が予め定められた基準以上の場合、該当フレームイメージ１０を学習対象フレームイメージとして選定する。

図６（ｃ）の移動量測定により選定された学習対象フレームイメージは、図４の（ｄ）に示すように、抽出されたフレームイメージ１１、１２、１３、１４、１５の中から選定された学習対象フレームイメージ１２、１４として選定される。

図７は、本発明の他の実施形態に係る密集変数算出段階が追加された自律走行のための学習対象イメージ抽出方法の概略的なフローチャートである。

図７を参照すれば、密集変数算出段階（Ｓ４００）は、オリジナル動画受信段階（Ｓ１００）の後に実行される。

段階Ｓ４００で、密集変数算出部６４０は、オリジナル道路走行映像と関連する地域の密集変数を算出する。密集変数は、特定地域と関連して人口又は車両が密集している程度を示す。例えば、密集変数が相対的に高ければ、該当地域の自律走行のためには相対的に多くのデータの学習が必要であると解析できる。密集変数算出部６４０は、特定地域に対する人口統計データ又は車両統計データのうち１つ以上を用いて特定地域の密集変数を算出する。人口統計データは、道路走行映像が撮影された位置及び時間に対応する人口密度、人口分布及び流動人口のうち少なくとも１つを含むことができるが、これに限定されない。また、車両統計データは、道路走行映像が撮影された位置及び時間に対応する車両登録台数、時間帯別の交通量統計及び公共交通手段分布のうち少なくとも１つを含むことができるが、これに限定されない。密集変数算出部６４０は、オリジナル道路走行映像と関連する地域の人口統計データ又は車両統計データのうち１つ以上を用いてオリジナル道路走行映像と関連する地域の密集変数を算出する。

第１サンプリング部６２０は、メタデータ以外にもオリジナル道路走行映像と関連する地域の密集変数に更に基づいて抽出数を決定し、オリジナル道路走行映像から決定された数のフレームイメージを抽出する。

一実施形態において、第１サンプリング部６２０は、密集変数が所定の基準以上である場合、フレームイメージを所定の基準以上の数で抽出する。例えば、密集変数が１ないし１０の値を有することができると仮定する。第１サンプリング部６２０は、密集変数が１０で比較的高い地域では１秒当たり３０個のフレームイメージを抽出し、密集変数が５で比較的低い地域では１秒当たり１５個のフレームイメージを抽出できる。

第１サンプリング部６２０は、公共データサーバを介して人口統計データ又は車両統計データに該当する密集変数の提供を受けることができるが、これに限定されない。

図８は、本発明の他の実施形態に係る学習用データセット生成段階が追加された自律走行のための学習対象イメージ抽出方法の概略的なフローチャートである。

図８を参照すれば、学習用データセット生成段階（Ｓ５００）は、２次サンプリング段階（Ｓ３００）の後に実行される。

段階Ｓ５００で、学習用データセット生成部６５０は、１つ以上の学習対象フレームイメージを加工処理して学習用データセットを生成する。段階Ｓ５００は、図９で具体的に説明する。

図９は、図８の学習用データセット生成段階の概略的なフローチャートである。

図９を参照すれば、学習用データセット生成段階（Ｓ５００）は、第２学習対象オブジェクト検出段階（Ｓ５１０）と、第２学習対象オブジェクト注釈化段階（Ｓ５２０）と、を含む。

段階Ｓ５１０で、学習用データセット生成部６５０は、学習対象フレームイメージ上で予め定められた１つ以上の類型の１つ以上の第２学習対象オブジェクトを検出する。

第２学習対象オブジェクトは、学習対象フレームイメージに含まれているオブジェクトである。学習対象フレームイメージには、１つ以上の第２学習対象オブジェクトが含まれ、１つ以上の類型の第１学習対象オブジェクトが含まれる。例えば、第２学習対象オブジェクトは、人、自動車、自転車、建物、電信柱、オートバイ、木、花、子犬、猫、道路、交通表示板、過速防止用段差、ロードコーン、車線などを含むことができるが、前記例に限定されず、オブジェクトとして区別が可能なものを全て含む。また、第２学習対象オブジェクトの類型は、オブジェクトの前面、後面、右側面、左側面などを含むが、各学習対象オブジェクトの類型は前記例に限定されず、前記例よりも細分化させて区分することができ、前記例とは全く異なる類型として区分することができる。

上述した段階Ｓ３００で、第１学習対象オブジェクトの検出が、人工知能の学習のためのイメージの選別、即ち、学習対象フレームイメージの選別のためのものであったのであれば、段階Ｓ５１０で、第２学習対象オブジェクトの検出は、注釈化処理のための対象の選別のためのものである。

第２学習対象オブジェクトの検出で１つ以上の類型の１つ以上のオブジェクトを検出することは、オブジェクト検出アルゴリズムを用いて検出することであり、オブジェクト検出アルゴリズムは、Ｒ-ＣＮＮモデルを含むことができるが、これに限定されない。

段階Ｓ５２０で、学習用データセット生成部６５０は、学習対象フレームイメージ上の検出された１つ以上の第２学習対象オブジェクトに対して、注釈化処理を行う。

注釈化処理は、学習対象フレームイメージ上の検出された第２学習対象オブジェクトを説明するデータの生成作業を意味する。注釈化処理は、第２学習対象オブジェクトに対してラベリング（ｌａｂｅｌｉｎｇ）、カラーリング（ｃｏｌｏｒｉｎｇ）又はレイヤリング（ｌａｙｅｒｉｎｇ）を行うことを含む。また、第２学習対象オブジェクトが何であるかを表示することは、全て注釈化処理として含めることができる。例えば、学習対象フレームイメージ上の検出された１つ以上の第２学習対象オブジェクトは、ボックス（ｂｏｘ）などの形態により領域を区分して表示することができる。注釈化処理は、自動処理されるツールを活用することができる。

第２学習対象オブジェクトとして区分されて表示された領域に対して、各第２学習対象オブジェクトが何であるかの説明を作成することができ、ラベリングは、１つの単語で作成されてもよく、１つの単語ではない、文章で詳細に作成されてもよい。

注釈化処理は、１つ以上の作業者がラベリング、カラーリング又はレイヤリングした情報をデータベース化し、コンピュータにより学習されたモジュールを生成し、学習されたモジュールにより、新しく入ってきた学習対象フレームイメージ上の第２学習対象オブジェクトがデータベース化された第２学習対象オブジェクトと類似しているかを判断することによって、該当第２学習対象オブジェクトにラベリング、カラーリング又はレイヤリングを行うことができる。

他の実施形態において、学習用データセット生成部６５０は、映像処理を用いて学習対象フレームイメージ上の検出された１つ以上の第２学習対象オブジェクトの重要度を判断し、重要度が所定の基準以上である場合、該当第２学習対象オブジェクトに対する注釈情報を生成できる。学習用データセット生成部６５０は、１つ以上の第２学習対象オブジェクトがある場合、重要度が高い第２学習対象オブジェクトに対してのみ注釈情報を生成できる。例えば、学習対象フレームイメージ上に自動車、信号機がある場合、該当自動車、信号機を重要度が高いと判断し、該当学習自動車、信号機に対してのみ注釈情報を生成できる。

図１０は、有効性検証段階が追加された図８の学習用データセット生成段階の概略的なフローチャートである。

図１０を参照すれば、有効性検証段階（Ｓ５３０）は、学習対象オブジェクト注釈化段階の後に実行される。

段階Ｓ５３０で、検査者は、学習用データセットの有効性を検証する。検査者端末は、自律走行のための学習対象イメージ抽出装置６００から学習用データセットを受信する。段階Ｓ５３０は、図１１で具体的に説明する。

図１１は、図１０の有効性検証段階の概略的なフローチャートである。

図１１を参照すれば、有効性検証段階（Ｓ５３０）は、学習用データセットの検査を要請する段階（Ｓ５３１）と、学習用データセットを検査する段階（Ｓ５３２と、）を含む。

段階Ｓ５３１で、自律走行のための学習対象イメージ抽出装置６００は、検査者端末に検査を要請する。

段階Ｓ５３２で、検査者端末を介して、検査者は、学習用データセットを受信して検査を行う。

一実施形態において、検査者端末は学習用データセットの検査結果、学習用データセットの信頼度が所定の基準以上である場合、該当学習用データセットと該当信頼度を自律走行のための学習対象イメージ抽出装置６００に送信する。従って、自律走行のための学習対象イメージ抽出装置６００は、該当学習用データセットが人工知能モジュールに対して使用することに適したデータセットであることを確認することができる。

一実施形態において、学習用データセットの検査結果、学習用データセットの信頼度が所定の基準未満である場合、該当学習用データセットを返却する。その後、検査者端末は、自律走行のための学習対象イメージ抽出装置６００に該当学習用データセットの再作業を要請する。自律走行のための学習対象イメージ抽出装置６００により再作業された学習用データセットは、段階Ｓ５３１ないしＳ５３２の段階により再検査を受ける。

図１２は、本発明の他の実施形態に係る自律走行のための学習対象イメージ抽出装置の概略的な構成図である。

図１２を参照すれば、自律走行のための学習対象イメージ抽出装置６００は、オリジナル道路走行映像受信部６１０と、第１サンプリング部６２０と、第２サンプリング部６３０と、密集変数算出部６４０と、学習用データセット生成部６５０と、を含む。

図１２の自律走行のための学習対象イメージ抽出装置６００の構成要素は、図１ないし図１１を参照して説明した方法の構成要素に対応する。オリジナル道路走行映像受信部６１０はオリジナル動画受信段階（Ｓ１００）を実行し、第１サンプリング部６２０は１次サンプリング段階（Ｓ２００）を実行し、第２サンプリング部６３０は２次サンプリング段階（Ｓ３００）を実行し、密集変数算出部６４０は密集変数算出段階（Ｓ４００）を実行し、学習用データセット生成部６５０は学習用データセット生成段階（Ｓ５００）を実行できる。以下、装置６００の各構成要素の機能又は動作を説明するにおいて重複する説明は省略する。

オリジナル道路走行映像受信部６１０は、オリジナル道路走行映像を受信する。

第１サンプリング部６２０は、オリジナル道路走行映像のメタデータに基づいて抽出数を決定し、オリジナル道路走行映像から決定された数のフレームイメージを抽出する。

オリジナル道路走行映像のメタデータは、オリジナル道路走行映像と関連する車両のＧＰＳ情報、車両の移動速度情報及びオリジナル道路走行映像の撮影時間のうち１つ以上を含む。

第２サンプリング部６３０は、決定された数のフレームイメージそれぞれが第１学習対象オブジェクトを含んでいるか否か及び第１学習対象オブジェクトの移動量に基づいて、決定された数のフレームイメージから１つ以上の学習対象フレームイメージを抽出する。

密集変数算出部６４０は、オリジナル道路走行映像と関連する地域の密集変数を算出する。

学習用データセット生成部６５０は、１つ以上の学習対象フレームイメージを加工処理して学習用データセットを生成する。

本発明の実施形態と関連して説明された方法又はアルゴリズムの段階は、ハードウェアで直接実現するか、ハードウェアにより実行されるソフトウェアモジュールで実現するか、又はこれらの結合により実現することができる。ソフトウェアモジュールは、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）、ハードディスク、脱着型ディスク、ＣＤ-ＲＯＭ又は本発明が属する技術分野における周知されている任意の形態のコンピュータ読み取り可能な記録媒体に存在することもできる。

以上、添付の図面を参照して本発明の実施形態を説明したが、本発明が属する技術分野における通常の技術者は、本発明がその技術的思想や必須の特徴を変更することなく、他の具体的な形態で実施され得ることが理解できるはずである。従って、以上で記述した実施形態は全ての面で例示的なものであり、制約的ではないものとして理解すべきである。

６００ 自律走行のための学習対象イメージ抽出装置
６１０ オリジナル道路走行映像受信部
６２０ 第１サンプリング部
６３０ 第２サンプリング部
６４０ 密集変数算出部
６５０ 学習用データセット生成部

Claims (10)

1. オリジナル道路走行映像を受信するオリジナル動画受信段階と、
   前記オリジナル道路走行映像のメタデータに基づいて抽出数を決定し、前記オリジナル道路走行映像から前記決定された数のフレームイメージを抽出する１次サンプリング段階と、
   前記決定された数のフレームイメージそれぞれが第１学習対象オブジェクトを含んでいるか否か、及び、前記第１学習対象オブジェクトの移動量に基づいて、前記決定された数のフレームイメージから１つ以上の学習対象フレームイメージを抽出する２次サンプリング段階と、を含み、
   前記オリジナル道路走行映像の前記メタデータは、前記オリジナル道路走行映像を撮影した車両のＧＰＳ情報、前記車両の移動速度情報及び前記オリジナル道路走行映像の撮影時間のうち１つ以上を含む、自律走行のための学習対象イメージ抽出方法。
2. 前記１次サンプリング段階は、
   前記オリジナル道路走行映像と関連する地域の密集変数を算出する密集変数算出段階を更に含み、
   前記オリジナル道路走行映像と関連する地域の前記密集変数に更に基づいて、前記抽出数を決定することを特徴とする請求項１に記載の自律走行のための学習対象イメージ抽出方法。
3. 前記密集変数算出段階は、
   前記オリジナル道路走行映像と関連する地域の人口統計データ又は車両統計データのうち１つ以上を用いて、前記オリジナル道路走行映像と関連する地域の密集変数を算出することを特徴とする請求項２に記載の自律走行のための学習対象イメージ抽出方法。
4. 前記２次サンプリング段階は、
   オブジェクト検出アルゴリズムを用いてそれぞれの前記決定された数のフレームイメージ上で予め定められた１つ以上の類型の１つ以上の前記第１学習対象オブジェクトを検出する第１学習対象オブジェクト検出段階と、
   第ｎ（ｎは２以上の自然数）フレームイメージ上の検出された前記１つ以上の第１学習対象オブジェクトの位置と前記第ｎフレームイメージの直前の第ｎ−１フレームイメージ上の検出された前記１つ以上の第１学習対象オブジェクトの位置とを比較し、前記第ｎフレームイメージ上の検出された前記１つ以上の第１学習対象オブジェクトそれぞれの移動量を測定する第１学習対象オブジェクト移動量測定段階と、
   を含むことを特徴とする請求項１に記載の自律走行のための学習対象イメージ抽出方法。
5. 前記２次サンプリング段階は、
   それぞれの前記決定された数のフレームイメージ上で前記第１学習対象オブジェクトを除いた背景を除去する背景除去段階を更に含むことを特徴とする請求項４に記載の自律走行のための学習対象イメージ抽出方法。
6. 前記１つ以上の学習対象フレームイメージを加工処理して学習用データセットを生成する学習用データセット生成段階を更に含むことを特徴とする請求項１に記載の自律走行のための学習対象イメージ抽出方法。
7. 前記学習用データセット生成段階は、
   前記学習対象フレームイメージ上で予め定められた１つ以上の類型の１つ以上の第２学習対象オブジェクトを検出する第２学習対象オブジェクト検出段階と、
   前記学習対象フレームイメージ上の検出された前記１つ以上の第２学習対象オブジェクトに対して注釈化処理を行う学習対象オブジェクト注釈化段階と、
   を含むことを特徴とする請求項６に記載の自律走行のための学習対象イメージ抽出方法。
8. 前記学習用データセット生成段階は、
   前記学習用データセットの有効性を検証する有効性検証段階を更に含むことを特徴とする請求項７に記載の自律走行のための学習対象イメージ抽出方法。
9. オリジナル道路走行映像を受信するオリジナル道路走行映像受信部と、
   前記オリジナル道路走行映像のメタデータに基づいて抽出数を決定し、前記オリジナル道路走行映像から前記決定された数のフレームイメージを抽出する第１サンプリング部と、
   前記決定された数のフレームイメージそれぞれが第１学習対象オブジェクトを含んでいるか否か、及び、前記第１学習対象オブジェクトの移動量に基づいて、前記決定された数のフレームイメージから１つ以上の学習対象フレームイメージを抽出する第２サンプリング部と、を含み、
   前記オリジナル道路走行映像の前記メタデータは、前記オリジナル道路走行映像を撮影した車両のＧＰＳ情報、前記車両の移動速度情報及び前記オリジナル道路走行映像の撮影時間のうち１つ以上を含む、自律走行のための学習対象イメージ抽出装置。
10. コンピュータと結合し、請求項１〜請求項８の何れか１項に記載の自律走行のための学習対象イメージ抽出方法を実行させるためにコンピュータ読み取り可能な記録媒体に格納されたコンピュータプログラム。

Images