JP2022164640A - マルチモーダル自動ラベル付けと能動的学習のためのデータセットとモデル管理のためのシステムと方法 - Google Patents

Abstract

【課題】データセットを管理する方法及びシステムを提供すること。
【解決手段】自律運転システム及びマルチモーダル場面のためのデータセットに、従来の手動データラベル付けの制限を緩和するために、以前に訓練されたモデルを使用して自動的にラベル付けしてもよい。モデルの重みと、モデルを以前に訓練したデータセットの知識とを含む、適切にバージョン管理されたモデルを使用して、ラベルのないデータに対して推論操作を実施し、データセットに自動的にラベル付けしてもよい。次に、新たにラベル付けされたデータセットを使用して、半教師あり又は弱教師ありの方式で、疎データセットを含む新たなモデルを訓練してもよい。
【選択図】図５

Description

本開示は、機械学習の改善、さらに具体的には、自律運転モデル及びネットワークのためのデータセットに自動的にラベルを付けることに関する。

機械学習では、自律走行車両の設計、プログラミング及び操作の基礎が提供される。自律走行車両と半自律走行車両を、環境データと状況データに従って訓練して、車両が既知の軌道及び未知の軌道を動作し、航行することができるようにする場合がある。自我車両、即ち、自律走行車両又は半自律走行車両に設置され構成されたセンサが、機械学習システムに環境データを提供する。単眼カメラが、ＬｉＤＡＲ、ステレオカメラなどをはじめとする、さらに複雑な画像化システムと比較した場合、費用効果の高い手法であるが、単眼カメラからのセンサデータには奥行き情報が明示的に含まれていない。代わりに、車両は、単眼画像から奥行き情報を抽出する処理ルーチンを実施する。

機械学習の課題の１つには、データセットのラベル付けが挙げられる。能動的学習に依存するシステムが、収集された膨大な量のデータを処理するには、データの特徴にラベルを付ける必要がある。収集されたデータの特徴にラベルを付けることで、システムは、後に取得されるデータの同一又は類似の特徴を識別することができる。従来、コンピュータビジョンと自律運転モデリングでは、データセットには、動画フレームなどのデータを表示し、目標の特徴にラベルを付与する従業員、請負業者又はクラウドソーシングによるリソースによって手動でラベルが付けられている。データセットのラベル付けは、多くのセンサ及び搭載システムによって生データが収集される速度に比例しない、時間とコストのかかるプロセスである。

本開示の態様では、能動的学習パイプラインでのマルチモーダルデータセットを管理するためのシステム及び方法が提供される。データセットで訓練され、既にラベル付けされているモデルが、マルチモーダル場面に対する実際のラベルに適切な事前情報を提供する場合がある。本開示の追加の態様では、特定のタスクのために、いくつかの高性能モデル又は集合体の推論結果の組み合わせが提供され、このような疑似ラベルの品質がさらに改善される。本開示の態様では、（モデルの重み及びその重みが訓練されたデータセットを含む）適切にバージョン管理されたモデルが活用されて、ラベルのないデータに対して推論を実施し、これにより自動ラベル付けされたデータセットを生成する場合がある。次に、このような自動ラベル付けされたデータセットは、新たなモデルを訓練するために使用される場合がある。システムは、新たなモデルが自動ラベルを使用して取得されたことのほか、どのモデルとラベルのないデータが自動ラベルに導かれたかを記録する場合がある。システムはこのほか、まばらにラベル付けされたデータセットを活用する能力を支持する場合がある。この場合、自動ラベルを使用してギャップを埋めることができるため、半教師あり及び弱教師あり(semi and weakly supervised)の方式で訓練を実施する場合がある。

一態様によれば、データセットを管理するための方法が開示されている。第１のデータセットを受信する場合がある。第１のデータセットは、ラベルのないデータを含む場合がある。第１のデータセットは、訓練されたネットワークに入力される場合がある。訓練されたネットワークは、既存のモデルで訓練される場合がある。第１のデータセットのラベルのないデータは、訓練されたネットワークからの推論を使用してラベル付けされて、ラベル付きデータセットを生成する場合がある。訓練されていないネットワークを、ラベル付きデータセットを使用して訓練して、新たなモデルを生成する場合がある。

別の態様によれば、データセットを管理するためのシステムが開示されている。システムは、１つ又は複数のプロセッサ、１つ又は複数のプロセッサに通信可能に結合されたメモリを備える場合がある。メモリは、１つ又は複数のプロセッサによって実行されると、１つ又は複数のプロセッサにラベル付きデータセットを生成させる命令を含む推論モジュールを保存する場合がある。データセットは、ラベルのないデータを含む第１のデータセットを受信し、訓練されたネットワークに第１のデータセットを入力することによって生成される場合がある。訓練されたネットワークは、既存のモデルで訓練される場合がある。第１のデータセットのラベルのないデータは、訓練されたネットワークからの推論を使用してラベル付けされて、ラベル付きデータセットを生成する場合がある。訓練されていないネットワークを、ラベル付きデータセットを使用して訓練する場合がある。

別の態様によれば、データセットを管理するための非一時的なコンピュータ可読媒体が開示されている。媒体は、１つ又は複数のプロセッサによって実行されると、１つ又は複数のプロセッサに第１のデータセットを受信させる命令であって、第１のデータセットはラベルのないデータを含み、第１のデータセットを訓練されたネットワークに入力する命令を含む場合がある。訓練されたネットワークは、既存のモデルで訓練される場合がある。第１のデータセットのラベルのないデータは、訓練されたネットワークからの推論を使用してラベル付けされて、ラベル付きデータセットを生成する場合がある。訓練されていないネットワークを、ラベル付きデータセットを使用して訓練する場合がある。

これまで、以下の詳細な説明がさらによく理解されるように、本開示の特徴及び技術的利点をかなり広く概説してきた。本開示の追加の特徴及び利点を以下に説明する。この本開示は、本開示の同じ目的を遂行するための他の構造を修正するか設計するための基礎として容易に利用され得ることを当業者は理解されたい。このほか、そのような同等の構成が、添付の特許請求の範囲に記載されている本開示の教示から逸脱しないことを当業者は理解されたい。本開示の特徴であると考えられる新規の特徴は、その機構及び操作方法の両方に関して、追加の目的及び利点とともに、添付の図と併せて検討すると、以下の説明からいっそうよく理解されるであろう。しかし、図のそれぞれは、例示及び説明のみを目的として提供されており、本開示の範囲の規定を意図するものではないことを明確に理解されたい。

本開示の特徴、性質及び利点は、類似の参照文字が全体を通して対応して識別する図面と併せて解釈される場合、以下に記載される詳細な説明からさらに明らかになるであろう。

本開示の態様による自律型動作主体の一例を示す図である。 本開示の態様によるラベル付けされたフレームの例を示す図である。 本開示の態様による推論によってフレームにラベルを付ける一例を示す図である。 本開示の態様によるモデルを訓練するための流れ図である。 本開示の態様によるデータセットに自動的にラベルを付けるための流れ図である。 本開示の態様によるデータセットにラベルを付ける方法を示す図である。

添付の図面に関連して以下に記載する詳細な説明は、さまざまな構成を説明することを意図するものであり、本明細書で説明する概念が実施され得る唯一の構成を表すことを意図するものではない。詳細な説明には、さまざまな概念を全体的に理解するための具体的な詳細が含まれている。しかし、このような概念は、このような特定の詳細なしで実践され得ることが当業者には明らかであろう。場合によっては、そのような概念を曖昧にすることを避けるために、周知の構造と構成要素がブロック図の形態で示される。

自律型動作主体及び半自律型動作主体の行動を、動作主体の近傍で検出されたオブジェクトに基づいて制御しても調整してもよい。例えば、道路上の他のオブジェクトの位置に基づいて、自律型動作主体のルートを計画してもよい。別の例として、検出されたオブジェクトが動作主体の経路にある場合、衝突を回避するようにルートを調整してもよい。本開示では、動作主体とは、自律型動作主体又は半自律型動作主体を指す。

動作主体は、さまざまなセンサの出力からオブジェクトを検出してもよい。例えば、２Ｄカメラが２Ｄ赤－緑－青（ＲＧＢ）画像を生成し、光検出及び測距（ＬＩＤＡＲ）センサが高さと奥行きの情報を提供する３Ｄ点群を生成してもよい。センサ出力は、一連のフレームが動画を生成するマルチモーダルフレームに組み合わされてもよい。畳み込みニューラルネットワーク（ＣＮＮ）などのオブジェクト検出モデルを、各フレームにて対象のオブジェクトを識別するように訓練する。識別された各オブジェクトには、境界ボックスを用いてラベルを付けても、注釈を付けてもよい。一連のフレームのフレームごとに、モデルは、識別された各オブジェクトに対応する分類ラベルと、各オブジェクトの位置に対応する境界ボックスとを出力してもよい。オブジェクト検出モデルは、モデルと呼ばれる場合がある。注釈付きフレームが、生成された境界ボックスを含むフレームを指す場合がある。注釈付きフレームはこのほか、分類ラベル又は分類ラベルへの参照を含む場合がある。

モデルを改善するために、特定のモデルには未知である可能性のある対象のオブジェクトにラベルを付けて、モデルを再度実行したときに、そのようなオブジェクトと、類似の属性を有すると考えられるオブジェクトをさらに容易に識別することができるようにすることが望ましい。対象のオブジェクトに自動的にラベルを付けると、後続のシステム及びネットワークを訓練し得る信頼性の高いデータセットを生成する際に必要なコストと時間が削減される。

機械学習モデルによって生成された動画が、高解像度（例えば、高品質）の動画である場合がある。このため、動画ファイルのサイズが大きくなる場合がある。例えば、動画ファイルのサイズは、オブジェクト検出モデルの出力の２倍を超える場合がある。当業者に知られているように、従来の無線ネットワークの帯域幅は、限られたものであった。さらに、従来の無線ネットワークのサービスエリアが均一ではないため、サービスの品質に一貫性がない。このため、自律型動作主体が自宅のガレージなどの場所に高帯域幅のデータ接続で駐車されている場合、データをサーバなどの遠隔装置にアップロードする場合がある。即ち、データは、動作主体が遠隔装置との高帯域幅接続を確立したときに送信される場合がある。データには、動画とオブジェクト検出モデルの出力とが含まれる場合がある。さらに、場合によっては、動作主体はこのほか、センサデータをアップロードする。

高帯域幅接続を介して送信されたデータは、モデルの分析とモデルの更新に使用されてもよい。未確認のオブジェクト又は誤って分類されたオブジェクトには、データセットを更新してモデルを再訓練するために、オフラインで適切にラベル付けしてもよい。従来のシステムでは、注釈のないデータにラベルを付けるには、人間の分析者による手動のラベル付けが必要であった。時間の経過とともにさらに多くのデータが収集され、ラベル付けされると、モデルが再訓練される可能性がある。再訓練されたモデルが以前のモデルの改良である場合、再訓練されたモデルが展開される。初期のモデルを訓練してからモデルを再訓練するまでの時間は、数日又は数カ月程度になる場合がある。

本開示の態様によれば、従来の手動データラベル付けの制限を緩和するために、自律運転システム及びマルチモーダル場面のためのデータセットには、以前に訓練されたモデルを使用して自動的にラベル付けしてもよい。モデルの重みと、モデルを以前に訓練したデータセットの知識とを含む、適切にバージョン管理されたモデルを使用して、ラベルのないデータに対して推論操作を実施し、データセットに自動的にラベルを付けることができる。次に、新たにラベル付けされたデータセットを使用して、半教師あり又は弱教師ありの方式で、疎データセットを含む新たなモデルを訓練してもよい。

図１Ａは、本開示の態様による、センサ１０６、１０８を使用してオブジェクト１０４、１１６、１１８を検出する動作主体１００の一例を示している。図１Ａに示すように、動作主体１００は、道路１１０上を移動している可能性がある。第１の車両１０４が、動作主体１００の前にある場合があり、第２の車両１１６が、動作主体１００に隣接する場合がある。さらに、サイクリスト１１８が、動作主体１００に隣接する自転車レーン１０２にいる場合がある。この例では、動作主体１００のオブジェクト検出システムが、２ＤのＲＧＢカメラなどの２Ｄカメラ１０８及びＬＩＤＡＲセンサ１０６と通信している。２Ｄカメラ１０８及びＬＩＤＡＲセンサ１０６は、動作主体１００と一体であってもよい。このほか、無線検出及び測距（ＲＡＤＡＲ）及び／又は超音波などの他のセンサが検討される。これに加えて、あるいはこれとは別に、動作主体１００は、１つ又は複数の追加の２Ｄカメラ及び／又はＬＩＤＡＲセンサを備えてもよい。例えば、追加のセンサは、側面向き及び／又は背面向きのセンサであってもよい。

１つの構成では、２Ｄカメラ１０８は、２Ｄカメラ１０８の視野１１４内のオブジェクトを含む２Ｄ画像を取り込む。ＬＩＤＡＲセンサ１０６は、１つ又は複数の出力ストリームを生成してもよい。第１の出力ストリームは、３６０°の視野１１２（例えば、鳥瞰図）などの第１の視野内のオブジェクトの３Ｄクラウド点を含んでもよい。第２の出力ストリームは、前向きの視野１２６などの第２の視野内のオブジェクトの３Ｄクラウド点を含んでもよい。オブジェクト検出システムは、ＬＩＤＡＲセンサ１０６のデータストリームを使用して、環境内のオブジェクトを検出してもよい。

２Ｄカメラによって取り込まれた２Ｄ画像は、第１の車両１０４及びサイクリスト１１８が２Ｄカメラ１０８の視野１１４内にあるため、第１の車両１０４及びサイクリスト１１８の２Ｄ画像を含んでもよい。動作主体１００のオブジェクト検出システムは、２Ｄ画像内の対象のオブジェクトから特徴を抽出してもよい。例えば、オブジェクト検出システムの畳み込みニューラルネットワークなどの人工ニューラルネットワークが、第１の車両１０４及びサイクリスト１１８の特徴を抽出してもよい。抽出された特徴に基づいて、オブジェクト検出システムは、第１の車両１０４を自動車として分類し、サイクリスト１１８を自転車に乗る人として分類してもよい。さらに、オブジェクト検出システムは、図１Ｂに示すように、第１の車両１０４及びサイクリスト１１８を第１のフレーム１５０内に位置づけてもよい。

図１Ｂは、本開示の態様による、オブジェクト検出システムによって生成されたフレーム１５０の一例を示している。この例では、フレーム１５０は、２Ｄカメラ１０８の視野１１４内のオブジェクトを含む。具体的には、フレームは、第１の車両１０４及びサイクリスト１１８の両方が２Ｄカメラ１０８の視野１１４内にあるため、第１の車両１０４及びサイクリスト１１８を含む。

オブジェクト検出モデルによって抽出された特徴に基づいて、第１の車両１０４及びサイクリスト１１８にラベル（例えば、「自動車」及び「自転車に乗る人」）を付けてもよい。本明細書で説明するように、ラベルは、以前に訓練されたモデルからの遺物であっても、オブジェクトをそのように自動的にラベル付けするための推論モジュールのオフライン分析の結果であってもよい。

オブジェクト検出システムはこのほか、オブジェクト検出モデルによって生成された境界ボックス１５２、１５４を用いて各オブジェクトの位置に注釈を付けることによって、第１の車両１０４及びサイクリスト１１８を位置特定してもよい。図１Ｂに示すように、第１の境界ボックス１５２を、第１の車両１０４に対応するエリア周りに描いてもよく、第２の境界ボックス１５４を、サイクリスト１１８に対応するエリア周りに描いてもよい。当業者は、図１Ｂのラベルが例示を目的とするものであり、本開示の態様が、図１Ｂに示すラベルに従ってオブジェクトにラベルを付けることに限定されないことを理解するであろう。

図１Ｂの第１のフレーム１５０は、一連のフレーム（例えば、動画）のうちの１つのフレームを表してもよい。自律運転システムが、各フレームで検出されたオブジェクトに基づいて、動作主体１００の行動を制御してもよい。一連のフレームから生成された動画は、後に分析するために動作主体１００に保存されてもよい。さらに、センサデータ及び／又はモデル出力はこのほか、後に分析するために動作主体１００に保存されてもよい。例えば、動画、センサデータ及びモデル出力を、動作主体のメモリ装置に保存してもよい。保存された動画、センサデータ及び／又はモデル出力は、データセット及びマルチモーダル場面情報を使用して、以前にラベル付けされていないオブジェクトのラベル及び境界に関して追加の推論を生成することを含む、本明細書で説明する追加の分析のために、遠隔装置に送信されてもよい。

例えば、訓練システム又はパイプラインが、図１Ｂのフレーム１５０を受信して、モデルにラベルのないオブジェクトが含まれていたかどうかを判定してもよい。オフライン分析では、現在のデータセット内のラベルのないオブジェクトに類似したオブジェクトを有する他のデータセットを活用して、ラベルのないオブジェクトのラベルを推論してもよい。分析では、ラベル（「自動車」及び「自転車に乗る人」）が第１の車両１０４及びサイクリスト１１８に対応すると判定し、そのようなラベルを場面内のオブジェクトに自動的に提供してもよい。

図２は、本開示の態様による、フレーム２００の自動ラベル付けの一例を示している。図２に示すように、初期フレーム２００は、動作主体の推論モジュール２１２によって処理されてもよい。自律運転システム又は他の情報源から取得されたフレーム２００は、道路２０６上の車両２０４及び道路２０６に隣接する自転車レーン２０２上のサイクリスト２１８など、これまで知られていなかった対象のオブジェクトを含む場合がある。フレーム２００はこのほか、ガードレール２０８及び樹木２１０を含む場合がある。オブジェクト検出モデルでは、第１の車両２０４及びサイクリスト２１８、あるいは類似のオブジェクトを、事前の訓練にて対象のオブジェクトとして以前に識別した可能性がある。推論モデル２１２は、モデル出力２１４からそのようなオブジェクトに関連するデータを受信してもよい。モデル出力２１４からのデータは、フレーム２００内のオブジェクトを識別する際に推論モジュール２１２を支援するために活用されてもよい。このため、推論モジュール２１２は、車両２０４及びサイクリスト２１８にそれぞれ対応する分類ラベル（「自動車」及び「自転車に乗る人」）及び境界ボックス２５２、２５４を出力してもよい。

別の態様によれば、車両２０４及びサイクリスト２１８は、以前の訓練操作中に、モデルによって以前にラベル付けされていた可能性がある。しかし、ガードレール２０８又は樹木２１０などの他のオブジェクトに、以前にラベル付けしていない可能性がある。推論モジュール２１２は、モデル出力２１４から入力データ情報を取り入れて、人的交流なしに、推論モジュールの識別及びガードレール２１０及び樹木２１０の自動ラベル付けを支援してもよい。

一態様によれば、オブジェクト及び推論モデルの一意の識別子を使用するハッシュ関数を使用して、ユニバーサル一意識別子（ＵＵＩＤ）を判定してもよい。推論モジュール２１２は、タスク固有のものであると考えられる可能性がある。そのため、推論モジュール２１２は、１つ又は複数の関連するオントロジー(ontologies)を有してもよく、推論モジュール２１２が生成しようとしているラベル／注釈タイプが事前にわかってもよい。

一態様によれば、推論モジュールは、１つ又は複数のオントロジーに従ってフレーム２００を処理して、自動ラベル付け機能を広範囲の用途に適用可能にしてもよい。例えば、推論モジュールは、車両２０４が「自動車」２５２としてラベル付けされ、サイクリスト２１８が「自転車に乗る人」２５４としてラベル付けされている第１のオントロジー２２０に従ってラベル付きデータセットを出力してもよい。別の適用モデルによれば、推論モジュール２１２は、同じフレーム２００を分析して、第２のオントロジー２３０に従って、車両２０４を「自動」２５２’として、サイクリスト２１８を「手動」２５４’として識別し、ラベル付けしてもよい。第３のオントロジー２４０を使用して、推論モジュール２１２は、車両２０４を「オブジェクト」２５２’’として、サイクリスト２１８を「人間」２５４’’として識別してもよい。当業者は、他のオントロジー及び潜在的なラベルが、本開示の範囲内及び本開示の精神の範囲内で検討され得ることを認識するであろう。

本開示の推論モジュール２１２は、深層学習アーキテクチャを使用してもよい。深層学習アーキテクチャは、深層畳み込みニューラルネットワーク（ＣＮＮ）で具体化されてもよい。訓練中、ＣＮＮにはさまざまなオブジェクトカテゴリのさまざまな視点が提示されてもよい。ネットワーク設計者は、ＣＮＮに未確認のオブジェクト及び対応するポーズの推定値を高い信頼度で出力させたい場合がある。訓練前は、ＣＮＮによって生成された出力が正しいものではない可能性が高いため、実際の出力と目標出力との間で誤差が計算される可能性がある。次に、ＣＮＮの重みを調整して、ＣＮＮの出力が目標（例えば、地上検証データ）といっそう密接に位置合わせされるようにしてもよい。

重みを調整するために、学習機能を用いて重みの勾配ベクトルを計算してもよい。勾配は、重みをわずかに調整した場合に誤差が増大するか減少するであろう量を示してもよい。最上層では、勾配は、最後から２番目の層の活性化されたニューロンと出力層のニューロンとを接続する重みの値に直接対応する場合がある。下位層では、勾配は、重みの値と上位層の計算された誤差勾配とに依存する場合がある。次に、重みを調整して誤差を低減してもよい。重みを調整するこの方法は、ニューラルネットワークを介した「復路」を伴うため、「誤差逆伝搬」と呼ばれる場合がある。

実際には、重みの誤差勾配は少数の例に関して計算することができるため、計算された勾配は真の誤差勾配に近似する。この近似法は、確率的勾配降下法と呼ばれる場合がある。確率的勾配降下法は、システム全体の達成可能な誤差率の低下が止まるまで、あるいは誤差率が目標レベルに達するまで繰り返されてもよい。

図３は、本開示の一態様による、１つ又は複数の機械学習モデル３００を訓練するための流れ図を示している。一構成では、画像（ｘ）を、訓練サーバなどのデータソース３０２に保存してもよい。データソースは、画像（ｘ）内の１つ又は複数のオブジェクトに対応する地上検証データサンプル（ｙ＊）を保存してもよい。

機械学習モデル３００は、一組のパラメータ（ｗ）によって初期化されてもよい。パラメータ（ｗ）は、機械学習モデル３００の層１、層２及び層３などの機械学習モデル３００の層によって使用されて、重み及びバイアスを設定してもよい。層３は完全に接続された層であってもよい。訓練中、機械学習モデル３００は画像（ｘ）を受信して、検出されたオブジェクトにラベルを付ける。

機械学習モデル３００は、各画像（ｘ）内の１つ又は複数のオブジェクトに対する推定ラベル（ｙ）を出力してもよい。推定ラベル（ｙ）は、損失関数３０８にて受信されてもよい。損失関数３０８は、予測されたラベル（ｙ）を地上検証データアクション（ｙ＊）と比較してもよい。予測誤差は、予測されたラベル（ｙ）と地上検証データアクション（ｙ＊）との間の差（例えば、損失）である。予測誤差は、損失関数３０８から機械学習モデル３００に出力される。誤差は、パラメータを更新するために機械学習モデル５００を介して逆伝搬される場合がある。訓練は、機械学習モデル３００のオフライン段階中に実施されてもよい。

別の態様によれば、追加の画像（ｚ）を、既知のデータ画像（ｘ）を有する１つ又は複数の機械学習モデル３００に入力して、以前の画像からモデル３００へのデータを使用して画像（ｚ）からオブジェクトに自動的にラベルを付ける場合、機械学習モデル３００を許可する。次に、そのような新たにラベル付けされた画像とデータは、新たなデータセットに対する将来及びその後の訓練操作で使用される可能性がある。システムは、既知の画像（ｘ）から立てた推論に基づいて、新たな画像（ｚ）にラベルを付与してもよい。このようにして、機械学習モデル３００は、自己教師あり(self-supervised)又は弱教師ありの方式でモデル３００自体を訓練してもよい。このほか、そのような実施により、人間の注釈者がこのようなオフラインデータセットに手動でラベルを付ける必要がなくなる場合がある。

図４は、本開示の態様による、自律運転システム４００のハードウェア実装の一例を示す図である。自律運転システム４００は、車両、ロボット装置又は他の装置の構成要素であってもよい。例えば、図４に示すように、自律運転システム４００は、自動車４２８の構成要素である。もちろん、このほか、バス、ボート、ドローン又はロボットなどの他の装置が自律運転システム４００を使用する対象に検討されるため、本開示の態様が、自動車４２８の構成要素である自律運転システム４００に限定されることはない。

一態様によれば、自律運転システム４００は、局所及び遠隔の複数の構成要素に分散されてもよい。例えば、本明細書に記載の構成要素は、自動車４２８の構成要素であってもよく、さらに具体的には、特定の構成要素が、自動車４２８から離れていてもよい。本明細書で説明するように、特定の機能、データ分析、機械学習、モデルの作成及び変更などを、遠隔サーバ上で完了してもよい。次に、そのような分析及び処理の結果は、そのさまざまな通信構成要素を使用して自動車４２８に読み込まれてもよい。説明を簡潔にするために、特定のモジュール及び構成要素を自動車４２８の一部として示しているが、当業者は、モジュール及び構成要素が自動車４２８の遠隔又は外部であり得ることを認識するであろう。

自律運転システム４００は、バス４３０によって概ね表されるバスアーキテクチャを用いて実装されてもよい。バス４３０は、自律運転システム４００の特定の用途及び全体的な設計上の制約に応じて、任意の数の相互接続バス及びブリッジを含んでもよい。バス４３０は、プロセッサ４２０、通信モジュール４２２、位置モジュール４１８、センサモジュール４０２、移動モジュール４２６、計画モジュール４２４及びコンピュータ可読媒体４１４によって表される１つ又は複数のプロセッサ及び／又はハードウェアモジュールを含むさまざまな回路を互いに結び付ける。バス４３０はこのほか、タイミングソース、周辺機器、電圧調整器及び電力管理回路などのさまざまな他の回路を結び付けてもよい。このような回路は当技術分野で周知であるため、これ以上説明することはしない。

自律運転システム４００は、プロセッサ４２０に結合されたトランシーバ４１６と、センサモジュール４０２と、人工ニューラルネットワークモジュール４０８と、通信モジュール４２２と、位置モジュール４１８と、移動モジュール４２６と、計画モジュール４２４と、コンピュータ可読媒体４１４と、を備える。トランシーバ４１６は、アンテナ４３４に結合されている。トランシーバ４１６は、伝送媒体を介して他のさまざまな装置と通信する。例えば、トランシーバ４１６は、ユーザ又は遠隔装置からの送信を介してコマンドを受信してもよい。別の例として、トランシーバ４１６は、運転統計データ及び情報を人工ニューラルネットワークモジュール４０８から（図示しない）サーバに送信してもよい。一態様によれば、人工ニューラルネットワーク４０８は、本明細書で説明するように、無線ネットワークを介して入力装置及び他の車両システムと通信するオフラインシステムであってもよい。そのような構成では、人工ニューラルネットワーク４０８は、その後の展開又は再展開のために、自律運転モデルをオフラインで発展させ、訓練してもよい。

自律運転システム４００は、コンピュータ可読媒体４１４に結合されたプロセッサ４２０を備える。プロセッサ４２０は、本開示による機能を提供するコンピュータ可読媒体４１４に保存されたソフトウェアの実行を含む処理を実施する。ソフトウェアは、プロセッサ４２０によって実行されると、自律運転システム４００に、自動車４２８又はモジュール４０２、４０８、４１４、４１６、４１８、４２０、４２２、４２４、４２６のいずれかなどの特定の装置について説明されたさまざまな機能を実行させる。コンピュータ可読媒体４１４はこのほか、ソフトウェアを実行するときにプロセッサ４２０によって操作されるデータを保存するために使用されてもよい。

センサモジュール４０２は、第１のセンサ４０６及び第２のセンサ４０４などの異なるセンサを介して測定値を取得するために使用されてもよい。第１のセンサ４０６は、２Ｄ画像を取り込むためのステレオカメラ又は赤－緑－青（ＲＧＢ）カメラなどの視覚センサであってもよい。第２のセンサ４０４は、光検出及び測距（ＬＩＤＡＲ）センサ又は無線検出及び測距（ＲＡＤＡＲ）センサなどの測距センサであってもよい。もちろん、本開示の態様は、例えば、熱、ソナー及び／又はレーザなどの他のタイプのセンサがこのほか、センサ４０４、４０６のいずれかについて検討されるため、前述のセンサに限定されない。第１のセンサ４０６及び第２のセンサ４０４の測定値は、プロセッサ４２０、センサモジュール４０２、人工ニューラルネットワークモジュール４０８、通信モジュール４２２、位置モジュール４１８、移動モジュール４２６、計画モジュール４２４のうちの１つ又は複数によって、本明細書で説明する機能を実装するためのコンピュータ可読媒体４１４と組み合わせて、処理されてもよい。一構成では、第１のセンサ４０６及び第２のセンサ４０４によって取り込まれたデータは、トランシーバ４１６を介して外部装置に送信されてもよい。第１のセンサ４０６及び第２のセンサ４０４は、自動車４２８に結合されても、自動車４２８と通信してもよい。

位置モジュール４１８は、自動車４２８の位置を判定するために使用されてもよい。例えば、位置モジュール４１８は、全地球測位システム（ＧＰＳ）を使用して、自動車４２８の位置を判定してもよい。通信モジュール４２２は、トランシーバ４１６を介した通信を容易にするために使用されてもよい。例えば、通信モジュール４２２は、ＷｉＦｉ、ロングタームエボリューション（ＬＴＥ）、３Ｇなどのような異なる無線プロトコルを介して通信能力を提供するように構成されてもよい。通信モジュール４２２はこのほか、自律運転システム４００のモジュールではない、自動車４２８の他の構成要素と通信するために使用されてもよい。

移動モジュール４２６は、自動車４２８の移動を容易にするために使用されてもよい。一例として、移動モジュール４２６は、車輪の動きを制御してもよい。別の例として、移動モジュール４２６は、エンジン又はバッテリなどの自動車４２８の電源と連通してもよい。もちろん、本開示の態様は、車輪を介して移動を提供することに限定されず、プロペラ、踏み板、フィン及び／又はジェットエンジンなど、移動を提供するための他のタイプの構成要素について検討される。

自律運転システム４００はこのほか、人工ニューラルネットワーク４０８によって実施される分析に基づいて、移動モジュール４２６を介して、ルートを計画するか、自動車４２８の移動を制御するための計画モジュール４２４を備える。一構成では、計画モジュール４２４は、ユーザ入力が衝突を引き起こすことが予想される（例えば、予測される）ときに、ユーザ入力を無効にする。モジュールは、プロセッサ４２０で実行されるソフトウェアモジュール、コンピュータ可読媒体４１４に常駐／保存されるソフトウェアモジュール、プロセッサ４２０に結合された１つ又は複数のハードウェアモジュール、あるいはそのいくつかの組み合わせであってもよい。

人工ニューラルネットワーク４０８は、センサモジュール４０２、トランシーバ４１６、プロセッサ４２０、通信モジュール４２２、位置モジュール４１８、移動モジュール４２６、計画モジュール４２４及びコンピュータ可読媒体４１４と通信してもよい。一構成では、人工ニューラルネットワーク４０８は、センサモジュール４０２からセンサデータを受信する。センサモジュール４０２は、第１のセンサ４０６及び第２のセンサ４０４からセンサデータを受信してもよい。本開示の態様によれば、センサモジュール４０２は、データをフィルタリングしても、ノイズを除去しも、データを符号化しても、データを復号しても、データをマージしても、フレームを抽出しても、他の機能を実行してもよい。代替構成では、人工ニューラルネットワーク４０８は、第１のセンサ４０６及び第２のセンサ４０４から直接センサデータを受信してもよい。

マルチモーダルかつマルチラベルのデータセットを適切に管理するシステムを設計するのは特に難しい場合がある。このため、データセット管理システムがデータセットを保持し、バージョン管理するように、本開示の態様を設計し、構成する。１つ又は複数の態様によれば、マルチモーダルデータセットを自動ラベル付けすると、いくつかの可能性が有効になる。例えば、ＬｉＤＡＲとカメラを同期して、画像に対して２Ｄ検出を実施し、そのような検出を３Ｄレンダリング又は検出に引き上げてもよい。本システムの態様ではこのほか、例えば、単眼カメラからの奥行きの推定、あるいは訓練時間中のＬｉＤＡＲ入力からの奥行きの推定などの追加のシステム全体の機能が可能になる。

図４に示すように、人工ニューラルネットワーク４０８は、特徴抽出器４１０、分類器４１２及び推論モジュール４３２を含んでもよい。特徴抽出器４１０、分類器４１２及び推論モジュール４３２は、深部畳み込みニューラルネットワーク（ＣＮＮ）など、同じ人工ニューラルネットワーク又は異なる人工ニューラルネットワークの構成要素であってもよい。人工ニューラルネットワーク４０８は、ＣＮＮに限定されず、サポートベクターマシン（ＳＶＭ）などの別のタイプの人工ニューラルネットワークであってもよい。特徴抽出器４１０は、第１のセンサ４０６及び第２のセンサ４０４からデータストリームを受信する。データストリームは、第１のセンサ４０６からの２ＤのＲＧＢ画像及び第２のセンサ４０４からのＬＩＤＡＲデータ点を含んでもよい。異なる空間環境を各データストリームにて取り込んでもよい。さらに、ＬＩＤＡＲデータ点は複数のストリームに分離されてもよい。例えば、１つのＬＩＤＡＲデータストリームが鳥瞰図の空間表現を提供し、別のＬＩＤＡＲデータストリームが前方視の空間表現を提供してもよい。データストリームには、画像フレームなどの複数のフレームが含まれてもよい。

特徴抽出器４１０は、データストリームの各フレームから対象のエリアを抽出する（例えば、識別する）。例えば、特徴抽出器４１０は、対象のオブジェクトの特徴を抽出するように訓練されてもよい。別の例として、特徴抽出器４１０は、道路、歩道、建物及び背景などの異なる地形の特徴を抽出するように訓練されてもよい。即ち、特徴抽出器４１０は、訓練に基づいて注意すべきエリアを識別する。人工ニューラルネットワーク４０８は、１つ又は複数の特徴抽出器４４０を含んでもよい。例えば、１つの特徴抽出器４１０を、オブジェクトを検出するように構成し、別の特徴抽出器４１０を、道路、歩道、建物及び背景などのデータの異なる要素を分割するように構成してもよい。別の例では、センサ４０２、４０４から出力された各データストリームは、別個の特徴抽出器４１０で受信されてもよい。

特徴抽出器４１０は、多次元テンソル内の特徴の各組を符号化してもよい。分類器４１２は、特徴抽出器４１０から受信した特徴の各組を分類する。推論モジュール４３２は、本明細書で説明するように、１つ又は複数の対象のオブジェクトを分類（例えば、ラベル付け）し、対象の各オブジェクトを境界ボックスを用いて特定の地域に限定してもよい。特徴抽出器４１０、分類器４１２及び推論モジュール４３２は、オブジェクト検出モデルと呼ばれる場合がある。

分類器４１２／推論モジュール４３２は、ラベル及び境界ボックスを、センサモジュール４０２、トランシーバ４１６、プロセッサ４２０、通信モジュール４２２、位置モジュール４１８、移動モジュール４２６、計画モジュール４２４及びコンピュータ可読媒体４１４のうちの１つ又は複数に出力されてもよい。例えば、分類された特徴は、プロセッサ４２０に出力されて、検出されたオブジェクトと、自動車４２８との関係のなかでのオブジェクトそれぞれの位置に基づいて実施され得る一連の行動を判定してもよい。行動は、コンピュータ可読媒体４１４又は計画モジュール４２４から検索されてもよい。さらに、分類された特徴に基づいて、モジュール４０２、４０８、４１４、４１６、４１８、４２０、４２２、４２４、４２６のうちの１つ又は複数が、自動車４２８の行動を判定しても更新してもよい。計画モジュール４２４は、分類された特徴に基づいて、ルート計画、衝突回避又は他の計画機能を実施してもよい。

また、さらに具体的には、本開示の態様では、人工ニューラルネットワーク４０８は、オフラインで使用されて１つ又は複数のモデルを訓練するか更新し、未知のオブジェクトを有するデータセットに自動的にラベルを付ける遠隔のシステム又は構成要素であってもよい。オフライン処理は、オンライン実行のために自動車４２８にダウンロードされ得るオブジェクト検出モデルを更新するために、本明細書で説明するように実施されてもよい。本明細書で説明するように、人工ニューラルネットワーク４０８はこのほか、以前に適切に訓練されたモデルに依存して、新たなデータセット内のオブジェクトを識別し、自動的にラベル付けしてもよい。システムは、自動ラベルを使用して新たなモデルが取得されたことを追跡してもよいほか、どのモデルとラベルのないデータが自動ラベルに導かれたかを追跡してもよい。

図５は、本開示の１つ又は複数の態様に従ってデータセットにラベルを付ける方法５００を示している。システムは、本明細書で説明するように、モデルの重みと、モデルが訓練されたデータセットの識別とを含む適切にバージョン管理されたモデルを活用することによって、以前にラベル付けされていないデータを自動的に推論し、同データにラベルを付与するように構成された人工ニューラルネットワークなどの構成要素として推論モジュールを備えてもよい。一態様によれば、ブロック５０２に示すように、システムはデータセットを受信してもよい。本明細書で説明するように、システム、あるいはシステムの特定の構成要素は、オフライン構成要素であってもよい。データセットは、車両上の稼働中のセンサから収集されたオンラインシステムから取得されても、別の情報源から取得されてもよい。データセットは、一態様によれば、限定はしないが、ＬｉＤＡＲ、ＲＡＤＡＲ、ＲＧＢカメラなどのオンボードセンサから取得されたマルチモーダルデータを含んでもよい。

ブロック５０４に示すように、システムは、データセット内のラベルのないデータを識別してもよい。一態様によれば、データセットは、ラベル付きデータとラベルのないデータの両方を含んでもよい。ラベル付きデータは、一態様によれば、ラベルのないデータに対するラベルを推論するために使用される文脈情報を提供してもよい。ブロック５０６に示すように、データセットは、訓練されたニューラルネットワークに入力されてもよい。訓練されたニューラルネットワークは、ラベル付きデータを含む第２のデータセットを含むモデル５０８で以前に訓練された可能性がある。一態様によれば、以前に訓練されたモデルは、堅固であり、適切にバージョン管理され、重み付けされたモデルであってもよい。

ブロック５１０に示すように、システムは、以前に訓練されたモデルを使用して、ラベルのないデータに対する自動ラベルを推論してもよい。以前に適切に訓練されたモデルを活用することにより、現在のデータセットとラベルのないデータに対して推論を実施して、そのようなデータに適用ラベルを自動的に生成してもよい。本明細書で説明するように、複数のセンサからのデータを同期させて、マルチモーダル場面に対するラベルを推論してもよい。ブロック５１２に示すように、新たにラベル付けされたデータセットを使用して、追加のネットワークを訓練してもよい。システムは、新たなモデルが自動ラベルを使用して取得されたことを追跡してもよいほか、どのモデルとラベルのないデータが自動ラベルに導かれたかを追跡してもよい。システムはこのほか、まばらにラベル付けされたデータセットを活用するように構成されてもよい。この場合、自動ラベルを使用してギャップを埋めることができるため、半教師あり及び弱教師ありの方式で訓練することができる。

教示に基づいて、当業者は、本開示の範囲が、本開示の任意の他の態様とは独立して、あるいは他の態様と組み合わせて実施されるかどうかにかかわらず、本開示の任意の態様を網羅することを意図していることを理解する必要がある。例えば、装置を実装しても、方法を、記載した任意の数の態様を使用して実施してもよい。さらに、本開示の範囲は、記載した本開示のさまざまな態様に加えて、あるいはさまざまな態様以外の他の構造、機能、あるいは構造及び機能を使用して実施されるそのような装置又は方法を網羅することを意図している。本開示の任意の態様は、特許請求の範囲の１つ又は複数の要素によって具体化され得ることを理解されたい。

「例示的」という用語は、本明細書では、「例、実例又は例示として機能する」ことを意味するために使用される。本明細書で「例示的」と記載されている任意の態様が、必ずしも他の態様よりも好ましい、あるいは有利であると解釈されるべきではない。

特定の態様を本明細書で説明しているが、このような態様の多くの変形及び並べ替えが、本開示の範囲内にある。好ましい態様のいくつかの利益及び利点に言及しているが、本開示の範囲は、特定の利益、用途又は目的に限定されることを意図するものではない。むしろ、本開示の態様が、異なる技術、システム構成、ネットワーク及びプロトコルに広く適用可能であることを意図するものであり、態様のうちのいくつかを、好ましい態様の図及び以下の説明に例として示している。詳細な説明及び図面は、限定するものではなく、本開示の単なる例示であり、本開示の範囲は、添付の特許請求の範囲及びその同等物によって規定される。

本明細書で使用する場合、「判定する」という用語は、多種多様な行動を包含する。例えば、「判定する」は、計算、演算、処理、導出、調査、検索（例えば、表、データベース又は別のデータ構造での検索）、確認などを含む場合がある。さらに、「判定する」は、受信（例えば、情報の受信）、アクセス（例えば、メモリ内のデータへのアクセス）などを含む場合がある。さらに、「判定する」には、解決、選択、選定、確立などが含まれる場合がある。

本明細書で使用する場合、項目の列挙のうちの「少なくとも１つ」を指す句は、単一の部材を含む、そのような項目の任意の組み合わせを指す。例として、「ａ、ｂ又はｃの少なくとも１つ」は、ａ、ｂ、ｃ、ａ－ｂ、ａ－ｃ、ｂ－ｃ及びａ－ｂ－ｃを網羅することを目的とするものである。

本開示に関連して説明するさまざまな例示的な論理ブロック、モジュール及び回路は、本開示で考察する機能を実行するように特別に構成されたプロセッサを用いて実装されても、実施されてもよい。プロセッサは、本明細書に記載の機能を実行するように設計されたニューラルネットワークプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ信号（ＦＰＧＡ）又は他のプログラマブルロジック装置（ＰＬＤ）、ディスクリートゲート又はトランジスタロジック、個別のハードウェア構成要素又はその任意の組み合わせであってもよい。これとは別に、処理システムは、ニューロンモデル及び本明細書に記載のニューラルシステムのモデルを実装するための１つ又は複数のニューロモーフィックプロセッサを備えてもよい。プロセッサは、本明細書で説明するように特別に構成されたマイクロプロセッサ、コントローラ、マイクロコントローラ又は状態機械であってもよい。このほか、プロセッサを、計算装置の組み合わせ、例えば、ＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと組み合わせた１つ又は複数のマイクロプロセッサ、あるいは本明細書で説明するような他の特別な構成として実装してもよい。

本開示に関連して説明した方法又はアルゴリズムのステップは、ハードウェア、プロセッサによって実施されるソフトウェアモジュール、あるいはこの２つの組み合わせで直接具体化されてもよい。ソフトウェアモジュールが、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ－ＲＯＭ又は他の光ディスク記憶装置、磁気ディスク記憶装置又は他の磁気記憶装置などの記憶装置又は機械可読媒体、あるいは命令の形式又はデータ構造で所望のプログラムコードを伝送するか保存するために使用することができ、コンピュータからアクセスすることができる任意の他の媒体に常駐してもよい。ソフトウェアモジュールが、単一の命令又は多くの命令を含んでもよく、いくつかの異なるコードセグメントにわたって、異なるプログラム間に分散され、複数の記憶媒体にわたって分散されてもよい。記憶媒体をプロセッサに結合して、その結果、プロセッサは記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるようになる。これとは別に、記憶媒体はプロセッサと一体であってもよい。

本明細書に開示した方法は、記載の方法を達成するための１つ又は複数のステップ又は行動を含む。方法のステップ及び／又は行動は、特許請求の範囲から逸脱することなく、互いに交換されてもよい。言い換えれば、ステップ又は行動の特定の順序が指定されていない限り、特定のステップ及び／又は行動の順序及び／又は使用は、特許請求の範囲から逸脱することなく変更されてもよい。

説明した機能は、ハードウェア、ソフトウェア、ファームウェア、あるいはその任意の組み合わせに実装されてもよい。ハードウェアに実装されている場合、ハードウェア構成の例には、装置内の処理システムが含まれてもよい。処理システムは、バスアーキテクチャを用いて実装されてもよい。バスには、処理システムの特定の用途と全体的な設計上の制約に応じて、任意の数の相互接続するバスとブリッジが含まれてもよい。バスは、プロセッサ、機械可読媒体及びバスインターフェースを含むさまざまな回路を相互に結び付けてもよい。バスインターフェースは、とりわけ、バスを介してネットワークアダプタを処理システムに接続するために使用されてもよい。ネットワークアダプタは、信号処理機能を実装するために使用されてもよい。特定の態様では、ユーザインターフェース（例えば、キーパッド、ディスプレイ、マウス、ジョイスティックなど）もバスに接続されてもよい。バスはこのほか、タイミングソース、周辺機器、電圧調整器、電力管理回路など、当技術分野で周知であるため、これ以上説明しない他のさまざまな回路を結び付けてもよい。

プロセッサは、バスの管理と、機械可読媒体に保存されたソフトウェアの実行を含む処理とを担当してもよい。ソフトウェアとは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語などと呼ばれるかどうかにかかわらず、命令、データ、あるいはその任意の組み合わせを意味すると解釈されるものとする。

ハードウェア実装では、機械可読媒体は、プロセッサとは別の処理システムの一部であってもよい。しかし、当業者が容易に理解するであろうように、機械可読媒体又はその任意の部分は、処理システムの外部にあってもよい。例として、機械可読媒体は、伝送線路、データによって変調された搬送波及び／又は装置とは別のコンピュータ製品を含んでもよく、ここに挙げたものはいずれも、バスインターフェースを介してプロセッサによってアクセスされてもよい。これとは別に、あるいはこれに加えて、機械可読媒体又はその任意の部分は、キャッシュ及び／又は特殊なレジスタファイルを伴う可能性のある場合など、プロセッサに統合されてもよい。考察したさまざまな構成要素は、局所的構成要素などの特定の場所にあるものとして説明する場合があるが、このほか、分散計算システムの一部として構成されている特定の構成要素など、さまざまな方法で構成されてもよい。

機械可読媒体は、いくつかのソフトウェアモジュールを含んでもよい。ソフトウェアモジュールは、送信モジュール及び受信モジュールを含んでもよい。各ソフトウェアモジュールは、単一の記憶装置に常駐する場合もあれば、複数の記憶装置に分散する場合もある。例として、引き金となる事象が発生したときにソフトウェアモジュールをハードドライブからＲＡＭに読み込んでもよい。ソフトウェアモジュールの実行中に、プロセッサはアクセス速度を上げるためにいくつかの命令をキャッシュに読み込んでもよい。次に、１つ又は複数のキャッシュラインを、プロセッサによる実行のために特別な目的のレジスタファイルに読み込んでもよい。以下のソフトウェアモジュールの機能を参照する場合、そのような機能は、そのソフトウェアモジュールからの命令を実行するときにプロセッサによって実行されることが理解されよう。さらに、本開示の態様が、そのような態様を実施するプロセッサ、コンピュータ、機械又は他のシステムの機能の改善をもたらすことを理解されたい。

機能は、ソフトウェアに実装されている場合、１つ又は複数の命令又はコードとして、コンピュータ可読媒体上に保存されても、同媒体を経由して伝送されてもよい。コンピュータ可読媒体には、コンピュータ記憶媒体も、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の記憶媒体を含む通信媒体も含まれる。

さらに、本明細書に記載の方法及び技術を実施するためのモジュール及び／又は他の適切な手段を、必要に応じて、ユーザ端末及び／又は基地局によってダウンロードしたり、及び／又は他の方法で取得したりすることができることを理解されたい。例えば、そのような装置は、本明細書に記載の方法を実施するための手段の転送を容易にするためにサーバに結合することができる。これとは別に、本明細書に記載のさまざまな方法を、記憶手段を介して提供することができ、その結果、ユーザ端末及び／又は基地局が、記憶手段を装置に結合するか提供するときにさまざまな方法を取得することができる。さらに、本明細書に記載の方法及び技術を装置に提供するための他の任意の適切な技術を利用することができる。

特許請求の範囲は、上記の詳細な構成及び構成要素に限定されないことを理解されたい。特許請求の範囲から逸脱することなく、上記の方法及び装置の配置、操作及び詳細に、さまざまな修正、変更及び変形を施す場合がある。

Claims (20)

1. データセットを管理する方法であって、
   ラベルのないデータを含む第１のデータセットを受信することと、
   既存のモデルで訓練されたネットワークに前記第１のデータセットを入力することと、
   前記訓練されたネットワークからの推論を使用して前記第１のデータセットの前記ラベルのないデータにラベルを付けて、ラベル付きデータセットを生成することと、
   前記ラベル付きデータセットを使用して、訓練されていないネットワークを訓練して、新たなモデルを生成することと、
   を含む、方法。
2. 前記第１のデータセットは、２つ以上のセンサからのデータを含む、請求項１に記載の方法。
3. 前記２つ以上のセンサは、ＬｉＤＡＲセンサ、ＲＡＤＡＲセンサ、ＲＧＢカメラ、単眼カメラ、ステレオカメラのうちの少なくとも２つを含む、請求項２に記載の方法。
4. 前記既存のモデルは、バージョン管理されたモデルを含む、請求項１に記載の方法。
5. 前記バージョン管理されたモデルは、重み付けされたモデルを含む、請求項４に記載の方法。
6. 前記バージョン管理されたモデルは、訓練データセットの識別を含む、請求項４に記載の方法。
7. 前記新たなモデルを、自動ラベル付けされたものとして追跡することをさらに含む、請求項１に記載の方法。
8. 前記既存のモデル及び第１のデータセットを追跡することをさらに含む、請求項１に記載の方法。
9. 前記訓練されていないネットワークを訓練することは、半教師あり訓練を含む、請求項１に記載の方法。
10. 前記ラベルのないデータセットにラベル付けすることは、第１のオントロジーに従って、前記ラベルのないデータセットにラベル付けすることを含む、請求項１に記載の方法。
11. 前記ラベルのないデータセットは、第２のオントロジーに従ってラベル付けされる、請求項１０に記載の方法。
12. データセットを管理するシステムであって、
    １つ又は複数のプロセッサと、
    前記１つ又は複数のプロセッサに通信可能に結合されるメモリであって、該メモリは、
    命令を含む推論モジュールであって、前記命令は、前記１つ又は複数のプロセッサによって実行されるときに、前記１つ又は複数のプロセッサに、
    ラベルのないデータを含む第１のデータセットを受信することと、
    既存のモデルで訓練されたネットワークに前記第１のデータセットを入力することと、
    前記訓練されたネットワークからの推論を使用して前記第１のデータセットの前記ラベルのないデータにラベル付けして、ラベル付きデータセットを生成することと、
    前記ラベル付きデータセットを使用して、訓練されていないネットワークを訓練することと、によってラベル付きデータセットを生成させる、推論モジュールを保存するメモリと、
    を具備する、システム。
13. 前記第１のデータセットは、２つ以上のセンサからのデータを含む、請求項１２に記載のシステム。
14. 前記２つ以上のセンサは、ＬｉＤＡＲセンサ、ＲＡＤＡＲセンサ、ＲＧＢカメラ、単眼カメラ、ステレオカメラのうちの少なくとも２つを含む、請求項１３に記載のシステム。
15. 前記既存のモデルは、バージョン管理されたモデルを含む、請求項１２に記載のシステム。
16. 前記バージョン管理されたモデルは、重み付けされたモデルを含む、請求項１５に記載のシステム。
17. 前記バージョン管理されたモデルは、訓練データセットの識別を含む、請求項１５に記載のシステム。
18. 前記新たなモデルは、自動ラベル付けされたものとして追跡される、請求項１２に記載のシステム。
19. 前記訓練されていないネットワークは、半教師あり訓練を含む、請求項１２に記載の方法。
20. データセットを管理し、命令を含む非一時的なコンピュータ可読媒体であって、
    前記命令は、１つ又は複数のプロセッサによって実行されたときに、前記１つ又は複数のプロセッサに、
    ラベルのないデータを含む第１のデータセットを受信させ、
    既存のモデルで訓練されたネットワークに前記第１のデータセットを入力させ、
    前記訓練されたネットワークからの推論を使用して前記第１のデータセットの前記ラベルのないデータにラベル付けして、ラベル付きデータセットを生成させ、
    前記ラベル付きデータセットを使用して、訓練されていないネットワークを訓練させる、非一時的なコンピュータ可読媒体。

Images