JP2023104040A - 車両用装置、データ収集システム、および、機械学習用データの収集方法 - Google Patents

Abstract

【課題】機械学習による学習済みモデルにとっての苦手データを効率良く集めることができる技術を提供する。【解決手段】例示的な本発明の車両用装置は、車両に配置される車両用装置であって、前記車両の周辺を撮影した画像データの入力により推論を行う処理部を備える。前記処理部は、他の車両における前記推論の結果と異なる前記推論の結果を導出した前記画像データの抽出を行う。【選択図】図２

Description

本発明は、機械学習用データを収集する技術に関する。

特許文献１に開示される運転支援システムは、複数の車両と、それら車両がネットワークを介して接続する学習支援サーバとを備える。車載装置は、画像認識処理により撮影した画像データ中の物体をラベリングする。車載装置は、ラベリング処理について能動学習を行い、苦手データを学習支援サーバに送信する。学習支援サーバは、苦手データを利用して、画像認識処理におけるパラメータを学習によって更新し、車両に返信する。特許文献１において、苦手データとは、学習器にとって情報量の多いデータを指し、具体的には、不確かさ度が高いデータである。

特開２０１９－２１２０１号公報

機械学習による学習済みモデルの処理の不確かさ度が高くなり易い苦手データを効率良く集めることができると、モデルの性能の向上を図る学習を効率良く行うことができるために便利である。このために、苦手データを効率良く集めることができる技術が求められている。

本発明は、上記の点に鑑み、機械学習による学習済みモデルにとっての苦手データを効率良く集めることができる技術を提供することを目的とする。

例示的な本発明の車両用装置は、車両に配置される車両用装置であって、前記車両の周辺を撮影した画像データの入力により推論を行う処理部を備える。前記処理部は、他の車両における前記推論の結果と異なる前記推論の結果を導出した前記画像データの抽出を行う。

例示的な本発明によれば、機械学習による学習済みモデルにとっての苦手データを効率良く集めることができる。

データ収集システムの概略構成を示す図 車両用装置の構成を示すブロック図 収集装置の構成を示すブロック図 機械学習用データを収集する際の、収集装置の動作の流れを示すフローチャート 機械学習用データの収集方法を説明するための図 車両用装置における画像データの抽出処理の一例を示すフローチャート 変形例の車両用装置の構成を示すブロック図 変形例の車両用装置の動作例を示すフローチャート

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。

＜１．データ収集システム＞
（１－１．システムの概要）
図１は、本発明の実施形態に係るデータ収集システム１００の概略構成を示す図である。データ収集システム１００は、機械学習用のデータを収集するシステムである。詳細には、データ収集システム１００は、機械学習による学習済みモデルの処理の不確かさ度が高くなり易い苦手データを効率良く集めることができるシステムである。

図１に示すように、データ収集システム１００は、車両用装置１と収集装置２とを備える。詳細には、データ収集システム１００は、複数の車両用装置１を含む。複数の車両用装置１のそれぞれと、収集装置２とは、通信可能に設けられる。詳細には、複数の車両用装置１のそれぞれと、収集装置２とは、例えばインターネットや携帯電話回線網などのネットワーク３を介して通信可能に設けられる。

車両用装置１は、車両に配置される。車両用装置１は、車両に搭載される車載装置であってよい。また、車両用装置１は、車両に持ち込むこと、または、車両から持ち去ることができる可搬型の装置であってもよい。車両用装置１は、例えば、ドライブレコーダ、または、ドライブレコーダに含まれる装置であってよい。また、車両用装置１は、スマートフォン等の携帯端末、または、携帯端末に含まれる装置であってもよい。車両用装置１の詳細については後述する。

収集装置２は、車両用装置１によって抽出された画像データを収集する。詳細は後述するが、収集装置２は、車両用装置１から、車両用装置１が備える機械学習による学習済みモデルの苦手画像データを収集する。収集装置２は、複数の車両に配置される各車両用装置１から苦手画像データを収集する。収集装置２は、例えば、いわゆるサーバ装置であってよい。サーバ装置は、物理サーバであっても、クラウドサーバ等の仮想サーバであってもよい。

本実施形態のデータ収集システム１００によれば、複数の車両用装置１を利用して学習済みモデルの苦手画像データを効率良く収集することができる。このために、苦手画像データを含めた学習データセットを効率良く生成することができる。苦手画像データを含めた学習データセットにより、モデルの性能の向上を図ることができる。

（１－２．車両用装置）
図２は、本発明の実施形態に係る車両用装置１の構成を示すブロック図である。なお、図２においては、実施形態の特徴を説明するために必要な構成要素のみを示しており、一般的な構成要素についての記載は省略されている。図２に示すように、車両用装置１は処理部１１を備える。車両用装置１は、メモリ部１２と通信部１３とをさらに備える。

処理部１１は、例えば、１又は複数のプロセッサにより構成される。プロセッサは、例えばＣＰＵ（Central Processing Unit）またはＧＰＵ（Graphics Processing Unit）を含んで構成されてよい。また、プロセッサは、例えば、ＣＰＵおよびＧＰＵを含んで構成されてもよい。

メモリ部１２は、揮発性メモリおよび不揮発性メモリを含んで構成される。揮発性メモリには、ＲＡＭ（Random Access Memory）が含まれてよい。不揮発性メモリには、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ハードディスドライブ等が含まれてよい。不揮発性メモリには、コンピュータにより読み取り可能なプログラムおよびデータが格納されている。本実施形態においては、学習済みモデル用のパラメータが、不揮発性メモリに格納されている。

通信部１３は、無線通信を用いてネットワーク３と接続され、ネットワーク３を介して収集装置２と通信を行う。

図２に示すように、処理部１１には、車両の周辺を撮影するカメラ４で撮影した撮影画像のデータが入力される。カメラ４は、単数であっても複数であってもよい。カメラ４は、例えば、車両の前方、後方、左側方、および、右側方のうちの少なくともいずれか一方を撮影する。本実施形態では、カメラ４は、車両用装置１とは別の装置である。ただし、カメラ４は、車両用装置１に含まれてもよい。

処理部１１は、車両の周辺を撮影した画像データの入力により推論を行う。推論は、機械学習による学習済みモデルを用いて行われる。なお、機械学習は、好ましい形態としてディープラーニングである。ただし、学習済みモデルは、他の機械学習手法によって学習が行われたモデルであってもよい。学習済みモデルは、例えば、画像分類や物体検出等を行う画像認識用のニューラルネットワークである。別の言い方をすると、推論により、例えば、物体検出または画像分類等の画像認識が行われる。

処理部１１の機能例について、さらに詳細に説明する。図２に示すように、処理部１１は、機能的な構成として、画像取得部１１１、イベント検出部１１２、イベント通知部１１３、および、抽出部１１４を備える。処理部１１が備える各部１１１～１１４の機能は、例えば、メモリ部１２の不揮発性メモリに格納されるプログラムに従った演算処理をプロセッサが実行することによって実現される。

なお、本実施形態の範囲には、車両用装置１の少なくとも一部の機能をプロセッサ（コンピュータ）に実現させるコンピュータプログラムが含まれてよい。また、本実施形態の範囲には、そのようなコンピュータプログラムを記録するコンピュータ読取り可能な不揮発性記録媒体が含まれてよい。

また、上記各部１１１～１１４は、上述のように、プロセッサにプログラムを実行させること、すなわちソフトウェアにより実現されてよいが、他の手法により実現されてもよい。上記各部１１１～１１４は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等を用いて実現されてもよい。すなわち、上記各部１１１～１１４は、専用のＩＣ等を用いてハードウェアにより実現されてもよい。また、上記各部１１１～１１４は、ソフトウェアおよびハードウェアを併用して実現されてもよい。また、上記各部１１１～１１４は、概念的な構成要素である。１つの構成要素が実行する機能を複数の構成要素に分散させてよい。また、複数の構成要素が有する機能を１つの構成要素に統合させてもよい。

画像取得部１１１は、カメラ４で撮影した画像のデータ（画像データ）を取得する。画像取得部１１１は、例えば、一定の時間間隔で画像データを取得する。画像取得部１１１は、取得した画像データを揮発性メモリに一時的に記録する構成であってよい。一時的に揮発性メモリに記録された画像データのうち、例えば、抽出部１１４で抽出された画像データのような特定の画像データについて、不揮発性メモリに記録する構成であってよい。

イベント検出部１１２は、学習済みモデルを用いた推論によりイベントを検出する。すなわち、処理部１１は、推論によりイベントを検出する。イベントは、例えば、物体検出や画像分類の結果に応じて検出される。イベントは、例えば、道路環境や交通安全のための設備等に異常が生じた状態である。例えば、道路に落下物が存在している場合や、信号機に異常が発生している場合等に、イベントが検出される。例えば、学習済みモデルの物体検出機能を用いて道路上の落下物が検出された場合に、イベントが検出される。

なお、イベント検出部１１２は、イベントを検出した場合に、イベントの検出位置（画像を撮影した位置）を記録することが好ましい。位置情報の取得には、例えばＧＰＳ（Global Positioning System）情報が用いられてよい。また、イベント検出部１１２は、イベントを検出した場合に、イベントの検出時刻（画像の撮影時刻）、イベントを検出した際の周囲の状況等を記憶することがさらに好ましい。周囲の状況には、例えば天候が含まれてよい。天候は、例えば、車両に搭載される雨滴センサや、インターネット検索に基づいて取得されてよい。

イベント通知部１１３は、イベントを検出した場合に、イベントを検出したことを収集装置２に通知する。イベント検出の通知は、ネットワーク３を介して行われる。イベント検出の通知により、収集装置２は、詳細は後述する所定の処理を行い、車両用装置１に特定の画像データの収集を行わせるか否かを判定する。

抽出部１１４は、収集装置２からの指示により、特定の画像データの収集を行う。特定の画像データは、１つの画像のデータでも複数の画像のデータであってもよい。特定の画像データについては後述する。本実施形態では、好ましい形態として、抽出部１１４は、抽出した画像データを外部に送信する。すなわち、処理部１１は、抽出により得られた画像データを外部に送信する。このような構成とすると、本実施形態のように複数の車両のそれぞれに車両用装置１が備えられている場合に、各車両から画像データを自動的に集めることができる。すなわち、所望の画像データを効率良く大量に集めることができる。

詳細には、抽出部１１４は、抽出した画像データを通信部１３およびネットワーク３を介して収集装置２に送信する。抽出部１１４は、抽出した画像データを抽出した後、即座に収集装置２に送信してよい。ただし、抽出部１１４は、画像データを抽出した後、即座に送信せず、一旦、メモリ部１２に格納する処理のみを行い、時間をおいて収集装置２に送信してもよい。抽出部１１４は、特定の通信環境（例えばＷｉ－Ｆｉ（登録商標）環境）が得られた場合に、抽出した画像データを送信する構成としてもよい。また、抽出部１１４は、抽出したデータを自動的に外部に送信せず、単に、メモリ部１２に含まれる不揮発性メモリに格納する構成であってもよい。この場合、不揮発性メモリに格納された画像データが、ユーザの操作を介して収集装置２に送信されてよい。

なお、抽出部１１４は、抽出した画像データを送信する際に、画像データを撮影した場所の情報、画像データを撮影した時刻の情報、および、撮影時の天候等の環境情報を含めて送信することが好ましい。また、抽出部１１４は、抽出した画像データを不揮発性メモリに格納する際に、画像データを撮影した場所の情報、画像データを撮影した時刻の情報、および、撮影時の天候等の環境情報を含めて格納することが好ましい。

（１－３．収集装置）
図３は、本発明の実施形態に係る収集装置２の構成を示すブロック図である。なお、図３においては、実施形態の特徴を説明するために必要な構成要素のみを示しており、一般的な構成要素についての記載は省略されている。図３に示すように、収集装置２は、処理部２１と、メモリ部２２と、通信部２３とを備える。

処理部２１は、例えば、１又は複数のプロセッサにより構成される。プロセッサは、例えばＣＰＵまたはＧＰＵを含んで構成されてよい。また、プロセッサは、例えば、ＣＰＵおよびＧＰＵを含んで構成されてもよい。

メモリ部２２は、揮発性メモリおよび不揮発性メモリを含んで構成される。不揮発性メモリには、コンピュータにより読み取り可能なプログラムおよびデータが格納されている。

通信部２３は、ネットワーク３と有線又は無線で接続され、ネットワーク３を介して車両用装置１と通信を行う。

図３に例示するように、処理部２１は、機能的な構成として、イベント通知受信部２１１、車両群特定部２１２、判定部２１３、抽出指示部２１４、および、画像データ受信部２１５を備える。処理部２１が備える各部２１１～２１５の機能は、例えば、メモリ部２２の不揮発性メモリに格納されるプログラムに従った演算処理をプロセッサが実行することによって実現される。

なお、本実施形態の範囲には、収集装置２の少なくとも一部の機能をプロセッサ（コンピュータ）に実現させるコンピュータプログラムが含まれてよい。また、本実施形態の範囲には、そのようなコンピュータプログラムを記録するコンピュータ読取り可能な不揮発性記録媒体が含まれてよい。

また、上記各部２１１～２１５は、上述のように、プロセッサにプログラムを実行させること、すなわちソフトウェアにより実現されてよいが、他の手法により実現されてもよい。上記各部２１１～２１５は、例えば、ＡＳＩＣやＦＰＧＡ等を用いて実現されてもよい。すなわち、上記各部２１１～２１５は、専用のＩＣ等を用いてハードウェアにより実現されてもよい。また、上記各部２１１～２１５は、ソフトウェアおよびハードウェアを併用して実現されてもよい。また、上記各部２１１～２１５は、概念的な構成要素である。１つの構成要素が実行する機能を複数の構成要素に分散させてよい。また、複数の構成要素が有する機能を１つの構成要素に統合させてもよい。

イベント通知受信部２１１は、各車両に配置される車両用装置１のイベント通知部１１３から送信されるイベント検出の通知を受信する。

車両群特定部２１２は、或る車両用装置１のイベント通知部１１３からイベント検出の通知を受信した場合に車両群の特定を行う。例えば、車両群特定部２１２は、最初にイベント検出の通知を行った車両用装置１が配置される車両を基準として車両群の特定を行う。例えば、車両群特定部２１２は、基準となった車両と同じ場面（シーン）を撮影すると推定される車両を車両群に特定する。同じ場面を撮影すると推定される車両は、例えば、同じ位置を通る車両である。位置は、例えばＧＰＳにより得られる位置であってよい。また、同じ場面を撮影すると推定される車両は、前述の位置条件に加えて、基準となった車両との速度差が所定の範囲内である車両であってよい。所定の範囲内は、例えば±５ｋｍ／ｈ以内であってよい。また、車両群特定部２１２は、基準となった車両と同じ経路を走行する車両を車両群に特定してよい。道路に同一方向に進行する複数の車線（レーン）がある場合には、同一方向に進行する複数の車線のいずれかを通る車両は、同じ経路を走行する車両とみなされてよい。

なお、車両群特定部２１２は、同じ場面を所定時間内に撮影すると推定される車両や、同じ経路を所定時間内に走行すると推定される車両を、車両群に特定する構成としてよい。所定時間は、検出するイベントの種類によって適宜変更されてよい。

より詳細な例として、上述の基準となった車両と同じレーンを走行する車両が車両群に特定されてよい。また、例えば、上述の基準となった車両と同じレーンを所定時間内に走行する車両が車両群に特定されてよい。例えば、イベントの検出対象として、一定時間の間に撤去される道路上の落下物が含まれる構成の場合には、所定時間が短く設定されることが好ましい。例えば、イベントの検出対象として、一定時間の間に撤去される可能性が低い信号機等の固定設備が含まれる構成の場合には、所定時間は長く設定されてよい。なお、例えばイベントが信号機の検出に関わる構成の場合においては、基準となった車両と同方向に他のレーンを走行する車両が車両群に特定されてもよい。

判定部２１３は、車両群に特定された複数の車両に配置される車両用装置１における学習済みモデルを用いた推論の結果に相違があるか否かを判定する。本実施形態においては、推論の結果の相違は、イベントの検出の有無の相違である。判定部２１３は、車両群に特定された車両に配置される車両用装置１から通知されるイベント通知の有無に相違があるか否かを判定する。例えば、或る車両に配置される車両用装置１からイベント通知が受信されているにもかかわらず、他の車両に配置される車両用装置１からイベント通知が受信されていない場合は、イベントの検出の有無に相違があると判定される。車両群に特定された全ての車両用装置１からイベント通知が受信されている場合、或いは、イベント通知が受信されていない場合は、イベントの検出の有無に相違がないと判定される。

なお、推論の結果の相違は、イベントの検出の有無に相違に限らない。例えば、推論の結果の相違は、推論結果に含まれるコンフィデンス（信頼度）又は信頼度を数値で表したコンフィデンススコアの相違であってもよい。

抽出指示部２１４は、車両群に特定された複数の車両に配置される車両用装置１における学習済みモデルを用いた推論の結果に相違があった場合に、車両用装置１に対して特定の画像データの抽出を指示する。本実施形態においては、抽出指示部２１４は、車両群に特定された複数の車両に配置される車両用装置１からのイベント通知に相違があった場合に、車両用装置１に対して特定の画像データの抽出を指示する。

例えば、抽出指示部２１４は、イベント通知がなかった車両用装置１に対して特定の画像データの抽出を指示する。また、例えば、抽出指示部２１４は、イベント通知があった車両用装置１に対して特定の画像データの抽出を指示する。また、例えば、抽出指示部２１４は、イベント通知がなかった車両用装置１、および、イベント通知があった車両用装置１に特定の画像データの抽出を指示する。

特定の画像データは、車両群に特定された他の車両に配置される車両用装置１における推論の結果と異なる推論の結果を導出した画像データである。詳細には、特定の画像データは、同じ場面を撮影すると推定される他の車両における推論の結果と異なる推論の結果を導出した画像データである。特定の画像データは、例えば、自車両と同じ経路を通ったと推定される他の車両に配置される車両用装置１における推論の結果と異なる推論の結果を導出した画像データであってよい。

抽出指示部２１４の指示に応じて、車両用装置１の抽出部１１４は、特定の画像データを抽出し、抽出した画像データを収集装置２に送信する。画像データ受信部２１５は、抽出部１１４から送信された画像データを受信する。画像データ受信部２１５は、受信した画像データを苦手データとしてメモリ部２２に保存する。画像データ受信部２１５は、収集した画像データを用いて機械学習用の学習データセットを生成してもよい。すなわち、収集装置２は、受信した画像データを用いて機械学習用の学習データセットを生成してもよい。これにより、苦手データを集めた学習データセットを効率良く作成することができる。

（１－４．特記）
以上からわかるように、車両用装置１の処理部１１は、他の車両における推論の結果と異なる推論の結果を導出した画像データの抽出を行う。このように構成することで、複数の学習済みモデルの間で推論の結果が異なる画像データを効率良く集めることができる。。推論の結果が異なる画像データは、学習済みモデルの処理の不確かさ度が高い苦手データと推定できる。すなわち、本構成によれば、学習済みモデルが苦手とする画像データを効率良く集めることができる。

また、抽出の対象となる画像データは、他の車両における推論に用いられた画像データと同じ場面を撮影していると推定される画像データである。このような構成とすれば、推論の結果を適切に比較することができ、苦手データを適切に収集することができる。なお、同じ場面を撮影しているとの推定は、例えば、各車両から収集した車両位置情報（ＧＰＳ情報等）、および、撮影の時刻情報等に基づいて行われればよい。

また、他の車両は、自装置１が配置される車両（自車両）と同じ経路を通ったと推定される車両であることが好ましい。このような構成とすれば、同じ場面を撮影した画像データの収集を行い易く、推論の結果の比較を適切に行うことができる。なお、他の車両と同じ経路を通った否かは、例えば、各車両から収集したＧＰＳ情報等の車両位置情報から判定されてよい。

また、推論の結果の相違は、イベントの検出の有無の相違であってよい。このような構成によれば、イベントの検出があった場合を契機として苦手データの収集に関わる処理を行う構成とすることができる。すなわち、苦手データの収集を特定の状況に限って行う構成とすることができ、処理部１１の処理負担や、通信に関わる費用を低減することができる。

また、収集装置２は、複数の車両用装置１から推論の結果を収集可能に設けられ、複数の推論の結果の中に異なる推論の結果が含まれるか否かを判定する構成であってよい。このような構成では、複数の車両から推論結果を一箇所に集めて、複数の推論結果に相違があるか否かを判定することができる。このために、例えば、複数の推論結果が一致しているにもかかわらず、一部だけが推論結果が異なる場合に、当該異なる推論結果を導出した学習済みモデルを性能の低いモデルとして判定することができる。すなわち、本構成によれば、性能低いモデルが配置された車両を特定することができる。

なお、異なる推論の結果が含まれる場合には、収集装置２は、少なくともいずれか一つの車両用装置１に対して特定の画像データの抽出を指示することが好ましい。また、上述のように性能の低いモデルを搭載した車両が特定できた場合には、当該車両に対して、モデルの性能に問題があることを通知するアラート通知を表示させてよい。アラート通知の表示の代わりに、例えば、モデルの自動更新が行われてもよい。

＜２．機械学習用データの収集方法＞
次に、本実施形態の機械学習用データの収集方法について説明する。なお、本実施形態の機械学習用データの収集方法は、車両用装置１と収集装置２とを含むデータ収集システムにより実現される。本実施形態の機械学習用データの収集方法の少なくとも一部をコンピュータにより実現させるコンピュータプログラム、および、そのようなコンピュータプログラムを記録するコンピュータ読取り可能な不揮発性記録媒体は、本実施形態に含まれてよい。

図４は、機械学習用データを収集する際の、収集装置２の動作の流れを示すフローチャートである。図５は、機械学習用データの収集方法を説明するための図である。主に図４および図５を参照しながら、機械学習用データの収集方法について説明する。

ステップＳ１では、イベント通知受信部２１１がイベント通知（イベントの検出の通知）の受信を監視する。イベント通知受信部２１１がイベント通知を受信すると（ステップＳ１でＹｅｓ）、次のステップＳ２に処理が進められる。苦手データの収集には、学習済みモデルによる推論（イベントの検出）が前提となる。すなわち、機械学習用データの収集方法は、車両の周辺を撮影した画像データの入力により推論を行う推論工程を備える。なお、本実施形態においては、機械学習用データの収集方法は、複数の車両の推論の結果を収集する推論結果収集工程をさらに備える。

図５に示す例では、道路２００に落下物２０１が存在する。このために、道路２００を走行する各車両３００に搭載される車両用装置１のイベント検出部１１２は、原則として、イベントを検出する。すなわち、図５に示す例では、原則として、各車両の車両用装置１（イベント通知部１１３）からイベント通知が送信され、イベント通知受信部２１１が、各車両からイベント通知を受信する。

ステップＳ２では、車両群特定部２１２が、最初にイベント通知を行った車両用装置１が配置される車両と同じ場面（シーン）を撮影すると推定される車両を車両群に特定する。なお、車両群の特定には、各車両から受信される位置情報（例えばＧＰＳ情報）が適宜使用される。車両群が特定されると、次のステップＳ３に処理が進められる。

図５に示す例では、車両群特定部２１２は、最初にイベント通知を行った車両用装置１が配置される車両を基準に車両群を特定する。車両群特定部２１２は、基準とした車両より後方を走行する車両であって、基準とした車両と同一のレーンを走行する車両を車両群に特定する。車両群に特定される車両は、基準とした車両からの所定の距離範囲に存在する車両や、基準とした車両がイベントを検出した時間から所定の時間内にイベント通知を行った車両であってよい。所定の距離範囲や所定の時間は、実験等によって適宜決められてよい。所定の時間は、カメラ４による撮影の環境が変更されない範囲で適宜設定されることが好ましい。図５に示す例では、先頭の車両３００ａに配置される車両用装置１が最初にイベントを検出する。先頭の車両３００ａと、先頭の車両３００ａの後方を同じレーンで走行する２つの車両３００ｂ、３００ｃとが、車両群に特定される。

ステップＳ３では、判定部２１３が、車両群に特定した全ての車両からイベント通知を受信しているか否かを判定する。言い換えると、判定部２１３は、複数の車両における推論の結果に相違があるか否かを判定する。つまり、機械学習用データの収集方法は、複数の車両における推論の結果に相違があるか否かを判定する判定工程を備える。全ての車両からイベント通知を受信している場合（ステップＳ３でＹｅｓ）、各車両用装置１における推論に相違がなく、苦手データと推定される画像データが認められないために、苦手データが収集されることなく、図４に示す処理が終了する。一部の車両からイベント通知を受信していない場合（ステップＳ３でＮｏ）、次のステップＳ４に処理が進められる。

図５に示す例では、イベント通知受信部２１１が３つの車両３００ａ、３００ｂ、３００ｃの全てからイベント通知を受信している場合には、苦手データが収集されることなく、図４に示す処理が終了する。イベント通知受信部２１１が、２番目を走行する車両３００ｂと、３番目を走行する車両３００ｃとのうち、少なくともいずれか一方からイベント通知を受信していない場合に、ステップＳ４に処理が進められる。

ステップＳ４では、抽出指示部２１４が、車両用装置１に対して、他の車両における推論の結果と異なる推論の結果を導出した画像データの抽出を指示する。抽出指示部２１４は、車両群を構成する車両に配置される全ての車両用装置１に対して画像データの抽出を指示してよい。別の例として、抽出指示部２１４は、車両群を構成する車両に配置される一部の車両用装置１に対して画像データの抽出を指示してよい。画像データの抽出を指示すると、次のステップＳ５に処理が進められる。

ここで、図５に示す例において、１番目と３番目の車両３００ａ、３００ｃに配置される車両用装置１はイベント通知を行い、２番目を走行する車両３００ｂに配置される車両用装置１はイベント通知をしていないと仮定する。言い換えると、１番目と３番目の車両３００ａ、３００ｃに配置される車両用装置１はイベントの検出に成功し、２番目を走行する車両３００ｂに配置される車両用装置１はイベントの検出に失敗したと仮定する。このような場合において、イベントの検出の成功および失敗にかかわらず、抽出指示部２１４は、全ての車両３００ａ、３００ｂ、３００ｃに配置される車両用装置１に対して画像データの抽出を指示してよい。別の例として、抽出指示部２１４は、イベントの検出に失敗した２番目の車両３００ｂに配置される車両用装置１に対してのみ、画像データの抽出を指示してもよい。

図６は、車両用装置１における画像データの抽出処理の一例を示すフローチャートである。図６に示す例では、イベントの検出に失敗した車両に対してのみ、画像データの抽出が指示されている。

ステップＳ１１では、抽出部１１４が、車両群を構成する車両のうち、イベントの検出に成功した車両のタイムスタンプを取得する。タイムスタンプは、詳細には、イベントを検出した画像の撮影時刻を示す。例えば、抽出部１１４は、イベントの検出に成功した一部の車両のタイムスタンプを取得する。また、別の例として、抽出部１１４は、イベントの検出に成功した全ての車両のタイムスタンプを取得する。イベントの検出に成功した車両のタイムスタンプを取得すると、次のステップＳ１２に処理が進められる。なお、抽出部１１４は、例えば車両の位置情報（ＧＰＳ情報等）等の必要な情報も適宜取得する。

ステップＳ１２では、抽出部１１４が、取得したタイムスタンプに基づいて、イベントに遭遇した時刻を推定する。ここで言うイベントに遭遇した時刻は、イベントの検出に失敗した時刻と同じである。イベントの検出に失敗した時刻は、他の車両における推論の結果と異なる推論の結果を導出した画像データを取得した時刻とほぼ同じである。

例えば、抽出部１１４は、車両の位置情報を用いて、タイムスタンプを取得した車両との位置関係を求め、当該位置関係と取得したタイムスタンプからイベントに遭遇した時刻を推定する。また、別の例として、抽出部１１４は、イベントの検出に成功した全ての車両から取得したタイムスタンプの平均値を、イベントに遭遇した推定時刻としてもよい。イベントに遭遇した時刻が推定されると、次のステップＳ１３に処理が進められる。

ステップＳ１３では、抽出部１１４は、推定された時刻に撮影された画像データを揮発性メモリに一時的に記録された画像データの中から抽出する。すなわち、機械学習用データの収集方法は、推論の結果に相違がある場合に、当該相違を生じた画像データの抽出を行う抽出工程を備える。抽出部１１４は、画像データを抽出すると、収集装置２に送信する。なお、抽出部１１４は、推定された時刻に撮影された画像データがない場合には、推定された時刻に最も近い時刻に撮影された画像データを抽出すればよい。また、推定された時刻近傍に撮影された画像データを複数枚抽出して収集装置２に送信してもよい。

図４に戻って、ステップＳ５では、収集装置２の画像データ受信部２１５が、車両用装置１から送信された画像データを受信する。すなわち、機械学習用データの収集方法は、抽出を行った画像データを収集するデータ収集工程を備える。抽出された画像データを受信すると、次のステップＳ６に処理が進められる。

ステップＳ６では、画像データ受信部２１５が収集した画像データ（苦手データ）を機械学習用の学習データセットに追加する。画像データ受信部２１５は、苦手データを含む学習データセットを生成する。なお、ステップＳ６の処理は、収集装置２とは別の装置で行われてもよい。ステップＳ６の処理は、機械学習用データの収集方法に含まれても、含まれなくてもよい。

以上からわかるように、本実施形態の機械学習用のデータの収集方法によれば、複数の学習済みモデルの間で推論の結果が異なる画像データを効率良く集めることができる。推論の結果が異なる画像データは、学習済みモデルの処理の不確かさ度が高い苦手データと推定できる。すなわち、本実施形態の機械学習用のデータの収集方法によれば、学習済みモデルが苦手とする画像データを効率良く集めることができる。このようにして集めた画像データを学習データセットとして利用することで、学習済みモデルの性能の向上を図ることができる。

＜３．変形例＞
以上に示した実施形態では、車両用装置１における推論の結果が、他の車両の車両用装置１の推論の結果と異なるか否かを、車両用装置１の外部に設けられる装置（詳細には収集装置２）が判定する構成とした。ただし、これは例示であり、車両用装置１において、自装置の推論の結果が他の車両の車両用装置１の推論の結果と異なるか否かを判定する構成としてよい。

図７は、変形例の車両用装置１Ａの構成を示すブロック図である。変形例の車両用装置１Ａは、処理部１１Ａと、メモリ部１２Ａと、通信部１３Ａとを備える。メモリ部１２Ａは、上述の実施形態の構成と同様であるために、その説明は省略する。通信部１３Ａは、上述の実施形態の機能に加えて、他の車両との無線通信を可能に設けられる。すなわち、変形例においては、各車両に配置される車両用装置１Ａ同士は、車車間通信可能に設けられる。この点は、上述の実施形態と異なる。

また、処理部１１Ａのハードウェア構成は、上述の実施形態と同様である。ただし、処理部１１Ａは、一部の機能が上述の実施形態と異なる。以下、上述の実施形態と異なる機能を中心に説明する。

図７に示すように、処理部１１Ａは、機能的な構成として、画像取得部１１１Ａ、イベント検出部１１２Ａ、他車両情報取得部１１５、判定部１１６、および、抽出部１１４Ａを備える。処理部１１Ａが備える各部１１１Ａ、１１２Ａ、１１５、１１６、１１４Ａの機能は、例えば、メモリ部１２Ａの不揮発性メモリに格納されるプログラムに従った演算処理をプロセッサが実行することによって実現される。

なお、本変形例の範囲には、車両用装置１Ａの少なくとも一部の機能をプロセッサ（コンピュータ）に実現させるコンピュータプログラムが含まれてよい。また、本変形例の範囲には、そのようなコンピュータプログラムを記録するコンピュータ読取り可能な不揮発性記録媒体が含まれてよい。また、各部１１１Ａ、１１２Ａ、１１５、１１６、１１４Ａの機能は、ハードウェアにより実現されてもよいし、ソフトウェアおよびハードウェアを併用して実現されてもよい。

画像取得部１１１Ａおよびイベント検出部１１２Ａの構成は、上述の実施形態と同様である。このために、これらの機能部１１１Ａ、１１２Ａの説明は省略する。

他車両情報取得部１１５は、車車間通信を利用して、他の車両の情報を取得する。他の車両の情報には、イベントの検出に関する情報であるイベント検出情報が含まれる。イベント検出情報は、例えば、イベントの検出の有無を含む。詳細には、他車両情報取得部１１５は、イベント検出情報の送信依頼を他の車両に送信する。これに応じて他の車両が、イベント検出情報を送信することにより、他車両情報取得部１１５は、他の車両のイベント検出情報を取得する。他車両情報取得部１１５が取得する他の車両の情報には、イベント検出情報だけでなく、例えば他の車両の位置情報（ＧＰＳ情報等）等が含まれてよい。

なお、他車両情報取得部１１５が、情報の取得対象とする他の車両は、自車両と同じ場面（シーン）を撮影すると推定される車両である。他の車両は、例えば、自車両と同じ経路を走行する車両である。より詳細な例を挙げると、他の車両は、自車両と同じレーンを走行する車両である。また、例えば、他の車両は、自車両と同じレーンを所定時間内に走行する車両である。所定時間は、検出するイベントの種類によって適宜変更されてよい。

判定部１１６は、自車両に配置される車両用装置１Ａの推論の結果が他の車両に配置される車両用装置１Ａの推論の結果と異なるか否かを判定する。すなわち、処理部１１Ａは、推論の結果が他の車両の推論の結果と異なるか否かを判定する。このような構成によれば、推論の結果の相違に関する判定を各車両で行うことができるために、収集装置２の処理負担が過度になることを抑制することができる。

詳細には、判定部１１６は、自車両におけるイベントの検出情報と、他の車両におけるイベントの検出情報が異なるか否かを判定する。自車両でイベントが検出されているにもかかわらず、他の車両においてイベントが検出されていない場合、自車両の推論の結果と、他の車両の推論の結果とが異なると判定される。自車両でイベントが検出されていないにもかかわらず、他の車両においてイベントが検出されている場合、自車両の推論の結果と、他の車両の推論の結果とが異なると判定される。

抽出部１１４Ａは、自車両の推論の結果と、他の車両の推論の結果とが異なると判定される場合に、特定の画像データの抽出を行う。特定の画像は、上述の実施形態と同様に、他の車両における推論の結果と異なる推論の結果を導出した画像データである。例えば、特定の画像データは、自車両においてイベントを検出した画像データである。また、例えば、特定の画像データは、他の車両においてイベントを検出した画像データと同じ場面（シーン）を撮影していると推定される画像データである。このような画像データは、例えば、他の車両においてイベントを検出した画像データの撮影時刻と、他の車両と自車両の位置関係とに基づいて抽出することができる。

なお、抽出部１１４Ａは、上述の実施形態と同様に、抽出した画像データを収集装置２に送信する構成であっても、不揮発性メモリに格納する構成であってもよい。本変形例では、抽出部１１４Ａは、抽出した画像データを、ネットワーク３を介して収集装置２に送信する。

図８は、変形例の車両用装置１Ａの動作例を示すフローチャートである。図８に示す車両用装置１Ａにおける画像データの収集方法（抽出方法）の少なくとも一部を、コンピュータを用いて実現させるコンピュータプログラムは、本変形例の範囲に含まれてよい。また、そのようなコンピュータプログラムを記録するコンピュータ読取り可能な不揮発性記録媒体は、本変形例の範囲に含まれてよい。

ステップＳ２１では、イベント検出部１１２Ａが、画像取得部１１１Ａで取得した画像データを処理してイベントを検出したか否かを判定する。イベント検出部１１２Ａがイベントを検出しなかった場合（ステップＳ２１でＮｏ）、ステップＳ２２に処理が進められる。イベント検出部１１２Ａがイベントを検出した場合（ステップＳ２１でＹｅｓ）、ステップＳ２３に処理が進められる。

ステップＳ２２では、他の車両からイベント検出情報の送信依頼があったか否かが判定される。当該判定は、例えば、他車両情報取得部１１５によって行われてよい。他の車両は、自車両と同じ場面を撮影すると推定される車両である。他の車両にてイベントが検出された場合に、他の車両は、イベント検出情報を取得するためにイベント検出情報の送信依頼を行う。他の車両からイベント検出情報の送信依頼があった場合（ステップＳ２２でＹｅｓ）、ステップＳ２４に処理が進められる。なお、ステップＳ２４に処理を進める代わりに、ステップＳ２５に処理が進められてもよい。他の車両からイベント検出情報の送信依頼がない場合（ステップＳ２２でＮｏ）、ステップＳ２１に処理が戻される。

ステップＳ２３では、他車両情報取得部１１５が、イベント検出情報の送信を依頼し、イベント検出情報を取得する。イベント検出情報が取得されると、次のステップＳ２４に処理が進められる。

ステップＳ２４では、判定部１１６が、自車両と他の車両との間でイベント検出結果が相違するか否かを判定する。自車両でイベントが検出されているにもかかわらず、他の車両でイベントが検出されていない場合には、判定部１１６はイベントの検出結果が相違すると判定する。自車両でイベントが検出されていないにもかかわらず、他の車両でイベントが検出されている（イベント検出情報の送信依頼があった場合が該当する）場合には、判定部１１６はイベントの検出結果が相違すると判定する。イベントの検出結果に相違ありと判定された場合（ステップＳ２４でＹｅｓ）、次のステップＳ２５に処理が進められる。イベントの検出結果に相違がないと判定された場合（ステップＳ２４でＮｏ）、画像データの抽出、および、抽出した画像データの収集装置２への送信が行われることなく、図８に示す処理が終了する。

ステップＳ２５では、抽出部１１４Ａが、揮発性メモリに一時的に記録された画像データの中から、他の車両における推論の結果と異なる推論の結果を導出した画像データを抽出する。画像データが抽出されると、次のステップＳ２６に処理が進められる。

ステップＳ２６では、抽出部１１４Ａが、抽出した画像データを収集装置２に送信する。これにより、図８に示す処理が完了する。抽出した画像データを送信された収集装置２が行う処理は、上述の実施形態と同様である。

＜４．留意事項等＞
本明細書の、発明を実施するための形態に開示される種々の技術的特徴は、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。また、本明細書の、発明を実施するための形態に開示される複数の実施形態および変形例は可能な範囲で組み合わせて実施されてよい。

１、１Ａ・・・車両用装置
２・・・収集装置
１１、１１Ａ・・・処理部
１００・・・データ収集システム

Claims (10)

1. 車両に配置される車両用装置であって、
   前記車両の周辺を撮影した画像データの入力により推論を行う処理部を備え、
   前記処理部は、他の車両における前記推論の結果と異なる前記推論の結果を導出した前記画像データの抽出を行う、車両用装置。
2. 前記抽出の対象となる前記画像データは、前記他の車両における前記推論に用いられた前記画像データと同じ場面を撮影していると推定される画像データである、請求項１に記載の車両用装置。
3. 前記他の車両は、自装置が配置される車両と同じ経路を通ったと推定される車両である、請求項１又は２に記載の車両用装置。
4. 前記処理部は、前記抽出により得られた前記画像データを外部に送信する、請求項１から３のいずれか１項に記載の車両用装置。
5. 前記処理部は、前記推論によりイベントを検出し、
   前記推論の結果の相違は、前記イベントの検出の有無の相違である、請求項１から４のいずれか１項に記載の車両用装置。
6. 前記処理部は、前記推論の結果が前記他の車両の前記推論の結果と異なるか否かを判定する、請求項１から５のいずれか１項に記載の車両用装置。
7. 請求項１から６のいずれか１項に記載の車両用装置と、
   前記車両用装置によって抽出された前記画像データを収集する収集装置と、
   を備える、データ収集システム。
8. 請求項１から５のいずれか１項に記載の車両用装置と、
   前記車両用装置によって抽出された前記画像データを収集する収集装置と、
   を備え、
   前記収集装置は、複数の前記車両用装置から前記推論の結果を収集可能に設けられ、複数の前記推論の結果の中に異なる前記推論の結果が含まれるか否かを判定する、データ収集システム。
9. 前記収集装置は、受信した前記画像データを用いて機械学習用の学習データセットを生成する、請求項７又は８に記載のデータ収集システム。
10. 車両の周辺を撮影した画像データの入力により推論を行う推論工程と、
    複数の車両における前記推論の結果に相違があるか否かを判定する判定工程と、
    前記推論の結果に相違がある場合に、当該相違を生じた前記画像データの抽出を行う抽出工程と、
    を備える、機械学習用データの収集方法。

Images