JP2023104040A - 車両用装置、データ収集システム、および、機械学習用データの収集方法 - Google Patents
車両用装置、データ収集システム、および、機械学習用データの収集方法 Download PDFInfo
- Publication number
- JP2023104040A JP2023104040A JP2022004789A JP2022004789A JP2023104040A JP 2023104040 A JP2023104040 A JP 2023104040A JP 2022004789 A JP2022004789 A JP 2022004789A JP 2022004789 A JP2022004789 A JP 2022004789A JP 2023104040 A JP2023104040 A JP 2023104040A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image data
- inference
- event
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000010801 machine learning Methods 0.000 title claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 51
- 239000000284 extract Substances 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims description 49
- 238000013480 data collection Methods 0.000 claims description 18
- 238000001514 detection method Methods 0.000 description 60
- 230000006870 function Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 13
- 238000004590 computer program Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 7
- 239000000470 constituent Substances 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 2
- 238000013075 data extraction Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
【課題】機械学習による学習済みモデルにとっての苦手データを効率良く集めることができる技術を提供する。【解決手段】例示的な本発明の車両用装置は、車両に配置される車両用装置であって、前記車両の周辺を撮影した画像データの入力により推論を行う処理部を備える。前記処理部は、他の車両における前記推論の結果と異なる前記推論の結果を導出した前記画像データの抽出を行う。【選択図】図2
Description
本発明は、機械学習用データを収集する技術に関する。
特許文献1に開示される運転支援システムは、複数の車両と、それら車両がネットワークを介して接続する学習支援サーバとを備える。車載装置は、画像認識処理により撮影した画像データ中の物体をラベリングする。車載装置は、ラベリング処理について能動学習を行い、苦手データを学習支援サーバに送信する。学習支援サーバは、苦手データを利用して、画像認識処理におけるパラメータを学習によって更新し、車両に返信する。特許文献1において、苦手データとは、学習器にとって情報量の多いデータを指し、具体的には、不確かさ度が高いデータである。
機械学習による学習済みモデルの処理の不確かさ度が高くなり易い苦手データを効率良く集めることができると、モデルの性能の向上を図る学習を効率良く行うことができるために便利である。このために、苦手データを効率良く集めることができる技術が求められている。
本発明は、上記の点に鑑み、機械学習による学習済みモデルにとっての苦手データを効率良く集めることができる技術を提供することを目的とする。
例示的な本発明の車両用装置は、車両に配置される車両用装置であって、前記車両の周辺を撮影した画像データの入力により推論を行う処理部を備える。前記処理部は、他の車両における前記推論の結果と異なる前記推論の結果を導出した前記画像データの抽出を行う。
例示的な本発明によれば、機械学習による学習済みモデルにとっての苦手データを効率良く集めることができる。
以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。
<1.データ収集システム>
(1-1.システムの概要)
図1は、本発明の実施形態に係るデータ収集システム100の概略構成を示す図である。データ収集システム100は、機械学習用のデータを収集するシステムである。詳細には、データ収集システム100は、機械学習による学習済みモデルの処理の不確かさ度が高くなり易い苦手データを効率良く集めることができるシステムである。
(1-1.システムの概要)
図1は、本発明の実施形態に係るデータ収集システム100の概略構成を示す図である。データ収集システム100は、機械学習用のデータを収集するシステムである。詳細には、データ収集システム100は、機械学習による学習済みモデルの処理の不確かさ度が高くなり易い苦手データを効率良く集めることができるシステムである。
図1に示すように、データ収集システム100は、車両用装置1と収集装置2とを備える。詳細には、データ収集システム100は、複数の車両用装置1を含む。複数の車両用装置1のそれぞれと、収集装置2とは、通信可能に設けられる。詳細には、複数の車両用装置1のそれぞれと、収集装置2とは、例えばインターネットや携帯電話回線網などのネットワーク3を介して通信可能に設けられる。
車両用装置1は、車両に配置される。車両用装置1は、車両に搭載される車載装置であってよい。また、車両用装置1は、車両に持ち込むこと、または、車両から持ち去ることができる可搬型の装置であってもよい。車両用装置1は、例えば、ドライブレコーダ、または、ドライブレコーダに含まれる装置であってよい。また、車両用装置1は、スマートフォン等の携帯端末、または、携帯端末に含まれる装置であってもよい。車両用装置1の詳細については後述する。
収集装置2は、車両用装置1によって抽出された画像データを収集する。詳細は後述するが、収集装置2は、車両用装置1から、車両用装置1が備える機械学習による学習済みモデルの苦手画像データを収集する。収集装置2は、複数の車両に配置される各車両用装置1から苦手画像データを収集する。収集装置2は、例えば、いわゆるサーバ装置であってよい。サーバ装置は、物理サーバであっても、クラウドサーバ等の仮想サーバであってもよい。
本実施形態のデータ収集システム100によれば、複数の車両用装置1を利用して学習済みモデルの苦手画像データを効率良く収集することができる。このために、苦手画像データを含めた学習データセットを効率良く生成することができる。苦手画像データを含めた学習データセットにより、モデルの性能の向上を図ることができる。
(1-2.車両用装置)
図2は、本発明の実施形態に係る車両用装置1の構成を示すブロック図である。なお、図2においては、実施形態の特徴を説明するために必要な構成要素のみを示しており、一般的な構成要素についての記載は省略されている。図2に示すように、車両用装置1は処理部11を備える。車両用装置1は、メモリ部12と通信部13とをさらに備える。
図2は、本発明の実施形態に係る車両用装置1の構成を示すブロック図である。なお、図2においては、実施形態の特徴を説明するために必要な構成要素のみを示しており、一般的な構成要素についての記載は省略されている。図2に示すように、車両用装置1は処理部11を備える。車両用装置1は、メモリ部12と通信部13とをさらに備える。
処理部11は、例えば、1又は複数のプロセッサにより構成される。プロセッサは、例えばCPU(Central Processing Unit)またはGPU(Graphics Processing Unit)を含んで構成されてよい。また、プロセッサは、例えば、CPUおよびGPUを含んで構成されてもよい。
メモリ部12は、揮発性メモリおよび不揮発性メモリを含んで構成される。揮発性メモリには、RAM(Random Access Memory)が含まれてよい。不揮発性メモリには、ROM(Read Only Memory)、フラッシュメモリ、ハードディスドライブ等が含まれてよい。不揮発性メモリには、コンピュータにより読み取り可能なプログラムおよびデータが格納されている。本実施形態においては、学習済みモデル用のパラメータが、不揮発性メモリに格納されている。
通信部13は、無線通信を用いてネットワーク3と接続され、ネットワーク3を介して収集装置2と通信を行う。
図2に示すように、処理部11には、車両の周辺を撮影するカメラ4で撮影した撮影画像のデータが入力される。カメラ4は、単数であっても複数であってもよい。カメラ4は、例えば、車両の前方、後方、左側方、および、右側方のうちの少なくともいずれか一方を撮影する。本実施形態では、カメラ4は、車両用装置1とは別の装置である。ただし、カメラ4は、車両用装置1に含まれてもよい。
処理部11は、車両の周辺を撮影した画像データの入力により推論を行う。推論は、機械学習による学習済みモデルを用いて行われる。なお、機械学習は、好ましい形態としてディープラーニングである。ただし、学習済みモデルは、他の機械学習手法によって学習が行われたモデルであってもよい。学習済みモデルは、例えば、画像分類や物体検出等を行う画像認識用のニューラルネットワークである。別の言い方をすると、推論により、例えば、物体検出または画像分類等の画像認識が行われる。
処理部11の機能例について、さらに詳細に説明する。図2に示すように、処理部11は、機能的な構成として、画像取得部111、イベント検出部112、イベント通知部113、および、抽出部114を備える。処理部11が備える各部111~114の機能は、例えば、メモリ部12の不揮発性メモリに格納されるプログラムに従った演算処理をプロセッサが実行することによって実現される。
なお、本実施形態の範囲には、車両用装置1の少なくとも一部の機能をプロセッサ(コンピュータ)に実現させるコンピュータプログラムが含まれてよい。また、本実施形態の範囲には、そのようなコンピュータプログラムを記録するコンピュータ読取り可能な不揮発性記録媒体が含まれてよい。
また、上記各部111~114は、上述のように、プロセッサにプログラムを実行させること、すなわちソフトウェアにより実現されてよいが、他の手法により実現されてもよい。上記各部111~114は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等を用いて実現されてもよい。すなわち、上記各部111~114は、専用のIC等を用いてハードウェアにより実現されてもよい。また、上記各部111~114は、ソフトウェアおよびハードウェアを併用して実現されてもよい。また、上記各部111~114は、概念的な構成要素である。1つの構成要素が実行する機能を複数の構成要素に分散させてよい。また、複数の構成要素が有する機能を1つの構成要素に統合させてもよい。
画像取得部111は、カメラ4で撮影した画像のデータ(画像データ)を取得する。画像取得部111は、例えば、一定の時間間隔で画像データを取得する。画像取得部111は、取得した画像データを揮発性メモリに一時的に記録する構成であってよい。一時的に揮発性メモリに記録された画像データのうち、例えば、抽出部114で抽出された画像データのような特定の画像データについて、不揮発性メモリに記録する構成であってよい。
イベント検出部112は、学習済みモデルを用いた推論によりイベントを検出する。すなわち、処理部11は、推論によりイベントを検出する。イベントは、例えば、物体検出や画像分類の結果に応じて検出される。イベントは、例えば、道路環境や交通安全のための設備等に異常が生じた状態である。例えば、道路に落下物が存在している場合や、信号機に異常が発生している場合等に、イベントが検出される。例えば、学習済みモデルの物体検出機能を用いて道路上の落下物が検出された場合に、イベントが検出される。
なお、イベント検出部112は、イベントを検出した場合に、イベントの検出位置(画像を撮影した位置)を記録することが好ましい。位置情報の取得には、例えばGPS(Global Positioning System)情報が用いられてよい。また、イベント検出部112は、イベントを検出した場合に、イベントの検出時刻(画像の撮影時刻)、イベントを検出した際の周囲の状況等を記憶することがさらに好ましい。周囲の状況には、例えば天候が含まれてよい。天候は、例えば、車両に搭載される雨滴センサや、インターネット検索に基づいて取得されてよい。
イベント通知部113は、イベントを検出した場合に、イベントを検出したことを収集装置2に通知する。イベント検出の通知は、ネットワーク3を介して行われる。イベント検出の通知により、収集装置2は、詳細は後述する所定の処理を行い、車両用装置1に特定の画像データの収集を行わせるか否かを判定する。
抽出部114は、収集装置2からの指示により、特定の画像データの収集を行う。特定の画像データは、1つの画像のデータでも複数の画像のデータであってもよい。特定の画像データについては後述する。本実施形態では、好ましい形態として、抽出部114は、抽出した画像データを外部に送信する。すなわち、処理部11は、抽出により得られた画像データを外部に送信する。このような構成とすると、本実施形態のように複数の車両のそれぞれに車両用装置1が備えられている場合に、各車両から画像データを自動的に集めることができる。すなわち、所望の画像データを効率良く大量に集めることができる。
詳細には、抽出部114は、抽出した画像データを通信部13およびネットワーク3を介して収集装置2に送信する。抽出部114は、抽出した画像データを抽出した後、即座に収集装置2に送信してよい。ただし、抽出部114は、画像データを抽出した後、即座に送信せず、一旦、メモリ部12に格納する処理のみを行い、時間をおいて収集装置2に送信してもよい。抽出部114は、特定の通信環境(例えばWi-Fi(登録商標)環境)が得られた場合に、抽出した画像データを送信する構成としてもよい。また、抽出部114は、抽出したデータを自動的に外部に送信せず、単に、メモリ部12に含まれる不揮発性メモリに格納する構成であってもよい。この場合、不揮発性メモリに格納された画像データが、ユーザの操作を介して収集装置2に送信されてよい。
なお、抽出部114は、抽出した画像データを送信する際に、画像データを撮影した場所の情報、画像データを撮影した時刻の情報、および、撮影時の天候等の環境情報を含めて送信することが好ましい。また、抽出部114は、抽出した画像データを不揮発性メモリに格納する際に、画像データを撮影した場所の情報、画像データを撮影した時刻の情報、および、撮影時の天候等の環境情報を含めて格納することが好ましい。
(1-3.収集装置)
図3は、本発明の実施形態に係る収集装置2の構成を示すブロック図である。なお、図3においては、実施形態の特徴を説明するために必要な構成要素のみを示しており、一般的な構成要素についての記載は省略されている。図3に示すように、収集装置2は、処理部21と、メモリ部22と、通信部23とを備える。
図3は、本発明の実施形態に係る収集装置2の構成を示すブロック図である。なお、図3においては、実施形態の特徴を説明するために必要な構成要素のみを示しており、一般的な構成要素についての記載は省略されている。図3に示すように、収集装置2は、処理部21と、メモリ部22と、通信部23とを備える。
処理部21は、例えば、1又は複数のプロセッサにより構成される。プロセッサは、例えばCPUまたはGPUを含んで構成されてよい。また、プロセッサは、例えば、CPUおよびGPUを含んで構成されてもよい。
メモリ部22は、揮発性メモリおよび不揮発性メモリを含んで構成される。不揮発性メモリには、コンピュータにより読み取り可能なプログラムおよびデータが格納されている。
通信部23は、ネットワーク3と有線又は無線で接続され、ネットワーク3を介して車両用装置1と通信を行う。
図3に例示するように、処理部21は、機能的な構成として、イベント通知受信部211、車両群特定部212、判定部213、抽出指示部214、および、画像データ受信部215を備える。処理部21が備える各部211~215の機能は、例えば、メモリ部22の不揮発性メモリに格納されるプログラムに従った演算処理をプロセッサが実行することによって実現される。
なお、本実施形態の範囲には、収集装置2の少なくとも一部の機能をプロセッサ(コンピュータ)に実現させるコンピュータプログラムが含まれてよい。また、本実施形態の範囲には、そのようなコンピュータプログラムを記録するコンピュータ読取り可能な不揮発性記録媒体が含まれてよい。
また、上記各部211~215は、上述のように、プロセッサにプログラムを実行させること、すなわちソフトウェアにより実現されてよいが、他の手法により実現されてもよい。上記各部211~215は、例えば、ASICやFPGA等を用いて実現されてもよい。すなわち、上記各部211~215は、専用のIC等を用いてハードウェアにより実現されてもよい。また、上記各部211~215は、ソフトウェアおよびハードウェアを併用して実現されてもよい。また、上記各部211~215は、概念的な構成要素である。1つの構成要素が実行する機能を複数の構成要素に分散させてよい。また、複数の構成要素が有する機能を1つの構成要素に統合させてもよい。
イベント通知受信部211は、各車両に配置される車両用装置1のイベント通知部113から送信されるイベント検出の通知を受信する。
車両群特定部212は、或る車両用装置1のイベント通知部113からイベント検出の通知を受信した場合に車両群の特定を行う。例えば、車両群特定部212は、最初にイベント検出の通知を行った車両用装置1が配置される車両を基準として車両群の特定を行う。例えば、車両群特定部212は、基準となった車両と同じ場面(シーン)を撮影すると推定される車両を車両群に特定する。同じ場面を撮影すると推定される車両は、例えば、同じ位置を通る車両である。位置は、例えばGPSにより得られる位置であってよい。また、同じ場面を撮影すると推定される車両は、前述の位置条件に加えて、基準となった車両との速度差が所定の範囲内である車両であってよい。所定の範囲内は、例えば±5km/h以内であってよい。また、車両群特定部212は、基準となった車両と同じ経路を走行する車両を車両群に特定してよい。道路に同一方向に進行する複数の車線(レーン)がある場合には、同一方向に進行する複数の車線のいずれかを通る車両は、同じ経路を走行する車両とみなされてよい。
なお、車両群特定部212は、同じ場面を所定時間内に撮影すると推定される車両や、同じ経路を所定時間内に走行すると推定される車両を、車両群に特定する構成としてよい。所定時間は、検出するイベントの種類によって適宜変更されてよい。
より詳細な例として、上述の基準となった車両と同じレーンを走行する車両が車両群に特定されてよい。また、例えば、上述の基準となった車両と同じレーンを所定時間内に走行する車両が車両群に特定されてよい。例えば、イベントの検出対象として、一定時間の間に撤去される道路上の落下物が含まれる構成の場合には、所定時間が短く設定されることが好ましい。例えば、イベントの検出対象として、一定時間の間に撤去される可能性が低い信号機等の固定設備が含まれる構成の場合には、所定時間は長く設定されてよい。なお、例えばイベントが信号機の検出に関わる構成の場合においては、基準となった車両と同方向に他のレーンを走行する車両が車両群に特定されてもよい。
判定部213は、車両群に特定された複数の車両に配置される車両用装置1における学習済みモデルを用いた推論の結果に相違があるか否かを判定する。本実施形態においては、推論の結果の相違は、イベントの検出の有無の相違である。判定部213は、車両群に特定された車両に配置される車両用装置1から通知されるイベント通知の有無に相違があるか否かを判定する。例えば、或る車両に配置される車両用装置1からイベント通知が受信されているにもかかわらず、他の車両に配置される車両用装置1からイベント通知が受信されていない場合は、イベントの検出の有無に相違があると判定される。車両群に特定された全ての車両用装置1からイベント通知が受信されている場合、或いは、イベント通知が受信されていない場合は、イベントの検出の有無に相違がないと判定される。
なお、推論の結果の相違は、イベントの検出の有無に相違に限らない。例えば、推論の結果の相違は、推論結果に含まれるコンフィデンス(信頼度)又は信頼度を数値で表したコンフィデンススコアの相違であってもよい。
抽出指示部214は、車両群に特定された複数の車両に配置される車両用装置1における学習済みモデルを用いた推論の結果に相違があった場合に、車両用装置1に対して特定の画像データの抽出を指示する。本実施形態においては、抽出指示部214は、車両群に特定された複数の車両に配置される車両用装置1からのイベント通知に相違があった場合に、車両用装置1に対して特定の画像データの抽出を指示する。
例えば、抽出指示部214は、イベント通知がなかった車両用装置1に対して特定の画像データの抽出を指示する。また、例えば、抽出指示部214は、イベント通知があった車両用装置1に対して特定の画像データの抽出を指示する。また、例えば、抽出指示部214は、イベント通知がなかった車両用装置1、および、イベント通知があった車両用装置1に特定の画像データの抽出を指示する。
特定の画像データは、車両群に特定された他の車両に配置される車両用装置1における推論の結果と異なる推論の結果を導出した画像データである。詳細には、特定の画像データは、同じ場面を撮影すると推定される他の車両における推論の結果と異なる推論の結果を導出した画像データである。特定の画像データは、例えば、自車両と同じ経路を通ったと推定される他の車両に配置される車両用装置1における推論の結果と異なる推論の結果を導出した画像データであってよい。
抽出指示部214の指示に応じて、車両用装置1の抽出部114は、特定の画像データを抽出し、抽出した画像データを収集装置2に送信する。画像データ受信部215は、抽出部114から送信された画像データを受信する。画像データ受信部215は、受信した画像データを苦手データとしてメモリ部22に保存する。画像データ受信部215は、収集した画像データを用いて機械学習用の学習データセットを生成してもよい。すなわち、収集装置2は、受信した画像データを用いて機械学習用の学習データセットを生成してもよい。これにより、苦手データを集めた学習データセットを効率良く作成することができる。
(1-4.特記)
以上からわかるように、車両用装置1の処理部11は、他の車両における推論の結果と異なる推論の結果を導出した画像データの抽出を行う。このように構成することで、複数の学習済みモデルの間で推論の結果が異なる画像データを効率良く集めることができる。。推論の結果が異なる画像データは、学習済みモデルの処理の不確かさ度が高い苦手データと推定できる。すなわち、本構成によれば、学習済みモデルが苦手とする画像データを効率良く集めることができる。
以上からわかるように、車両用装置1の処理部11は、他の車両における推論の結果と異なる推論の結果を導出した画像データの抽出を行う。このように構成することで、複数の学習済みモデルの間で推論の結果が異なる画像データを効率良く集めることができる。。推論の結果が異なる画像データは、学習済みモデルの処理の不確かさ度が高い苦手データと推定できる。すなわち、本構成によれば、学習済みモデルが苦手とする画像データを効率良く集めることができる。
また、抽出の対象となる画像データは、他の車両における推論に用いられた画像データと同じ場面を撮影していると推定される画像データである。このような構成とすれば、推論の結果を適切に比較することができ、苦手データを適切に収集することができる。なお、同じ場面を撮影しているとの推定は、例えば、各車両から収集した車両位置情報(GPS情報等)、および、撮影の時刻情報等に基づいて行われればよい。
また、他の車両は、自装置1が配置される車両(自車両)と同じ経路を通ったと推定される車両であることが好ましい。このような構成とすれば、同じ場面を撮影した画像データの収集を行い易く、推論の結果の比較を適切に行うことができる。なお、他の車両と同じ経路を通った否かは、例えば、各車両から収集したGPS情報等の車両位置情報から判定されてよい。
また、推論の結果の相違は、イベントの検出の有無の相違であってよい。このような構成によれば、イベントの検出があった場合を契機として苦手データの収集に関わる処理を行う構成とすることができる。すなわち、苦手データの収集を特定の状況に限って行う構成とすることができ、処理部11の処理負担や、通信に関わる費用を低減することができる。
また、収集装置2は、複数の車両用装置1から推論の結果を収集可能に設けられ、複数の推論の結果の中に異なる推論の結果が含まれるか否かを判定する構成であってよい。このような構成では、複数の車両から推論結果を一箇所に集めて、複数の推論結果に相違があるか否かを判定することができる。このために、例えば、複数の推論結果が一致しているにもかかわらず、一部だけが推論結果が異なる場合に、当該異なる推論結果を導出した学習済みモデルを性能の低いモデルとして判定することができる。すなわち、本構成によれば、性能低いモデルが配置された車両を特定することができる。
なお、異なる推論の結果が含まれる場合には、収集装置2は、少なくともいずれか一つの車両用装置1に対して特定の画像データの抽出を指示することが好ましい。また、上述のように性能の低いモデルを搭載した車両が特定できた場合には、当該車両に対して、モデルの性能に問題があることを通知するアラート通知を表示させてよい。アラート通知の表示の代わりに、例えば、モデルの自動更新が行われてもよい。
<2.機械学習用データの収集方法>
次に、本実施形態の機械学習用データの収集方法について説明する。なお、本実施形態の機械学習用データの収集方法は、車両用装置1と収集装置2とを含むデータ収集システムにより実現される。本実施形態の機械学習用データの収集方法の少なくとも一部をコンピュータにより実現させるコンピュータプログラム、および、そのようなコンピュータプログラムを記録するコンピュータ読取り可能な不揮発性記録媒体は、本実施形態に含まれてよい。
次に、本実施形態の機械学習用データの収集方法について説明する。なお、本実施形態の機械学習用データの収集方法は、車両用装置1と収集装置2とを含むデータ収集システムにより実現される。本実施形態の機械学習用データの収集方法の少なくとも一部をコンピュータにより実現させるコンピュータプログラム、および、そのようなコンピュータプログラムを記録するコンピュータ読取り可能な不揮発性記録媒体は、本実施形態に含まれてよい。
図4は、機械学習用データを収集する際の、収集装置2の動作の流れを示すフローチャートである。図5は、機械学習用データの収集方法を説明するための図である。主に図4および図5を参照しながら、機械学習用データの収集方法について説明する。
ステップS1では、イベント通知受信部211がイベント通知(イベントの検出の通知)の受信を監視する。イベント通知受信部211がイベント通知を受信すると(ステップS1でYes)、次のステップS2に処理が進められる。苦手データの収集には、学習済みモデルによる推論(イベントの検出)が前提となる。すなわち、機械学習用データの収集方法は、車両の周辺を撮影した画像データの入力により推論を行う推論工程を備える。なお、本実施形態においては、機械学習用データの収集方法は、複数の車両の推論の結果を収集する推論結果収集工程をさらに備える。
図5に示す例では、道路200に落下物201が存在する。このために、道路200を走行する各車両300に搭載される車両用装置1のイベント検出部112は、原則として、イベントを検出する。すなわち、図5に示す例では、原則として、各車両の車両用装置1(イベント通知部113)からイベント通知が送信され、イベント通知受信部211が、各車両からイベント通知を受信する。
ステップS2では、車両群特定部212が、最初にイベント通知を行った車両用装置1が配置される車両と同じ場面(シーン)を撮影すると推定される車両を車両群に特定する。なお、車両群の特定には、各車両から受信される位置情報(例えばGPS情報)が適宜使用される。車両群が特定されると、次のステップS3に処理が進められる。
図5に示す例では、車両群特定部212は、最初にイベント通知を行った車両用装置1が配置される車両を基準に車両群を特定する。車両群特定部212は、基準とした車両より後方を走行する車両であって、基準とした車両と同一のレーンを走行する車両を車両群に特定する。車両群に特定される車両は、基準とした車両からの所定の距離範囲に存在する車両や、基準とした車両がイベントを検出した時間から所定の時間内にイベント通知を行った車両であってよい。所定の距離範囲や所定の時間は、実験等によって適宜決められてよい。所定の時間は、カメラ4による撮影の環境が変更されない範囲で適宜設定されることが好ましい。図5に示す例では、先頭の車両300aに配置される車両用装置1が最初にイベントを検出する。先頭の車両300aと、先頭の車両300aの後方を同じレーンで走行する2つの車両300b、300cとが、車両群に特定される。
ステップS3では、判定部213が、車両群に特定した全ての車両からイベント通知を受信しているか否かを判定する。言い換えると、判定部213は、複数の車両における推論の結果に相違があるか否かを判定する。つまり、機械学習用データの収集方法は、複数の車両における推論の結果に相違があるか否かを判定する判定工程を備える。全ての車両からイベント通知を受信している場合(ステップS3でYes)、各車両用装置1における推論に相違がなく、苦手データと推定される画像データが認められないために、苦手データが収集されることなく、図4に示す処理が終了する。一部の車両からイベント通知を受信していない場合(ステップS3でNo)、次のステップS4に処理が進められる。
図5に示す例では、イベント通知受信部211が3つの車両300a、300b、300cの全てからイベント通知を受信している場合には、苦手データが収集されることなく、図4に示す処理が終了する。イベント通知受信部211が、2番目を走行する車両300bと、3番目を走行する車両300cとのうち、少なくともいずれか一方からイベント通知を受信していない場合に、ステップS4に処理が進められる。
ステップS4では、抽出指示部214が、車両用装置1に対して、他の車両における推論の結果と異なる推論の結果を導出した画像データの抽出を指示する。抽出指示部214は、車両群を構成する車両に配置される全ての車両用装置1に対して画像データの抽出を指示してよい。別の例として、抽出指示部214は、車両群を構成する車両に配置される一部の車両用装置1に対して画像データの抽出を指示してよい。画像データの抽出を指示すると、次のステップS5に処理が進められる。
ここで、図5に示す例において、1番目と3番目の車両300a、300cに配置される車両用装置1はイベント通知を行い、2番目を走行する車両300bに配置される車両用装置1はイベント通知をしていないと仮定する。言い換えると、1番目と3番目の車両300a、300cに配置される車両用装置1はイベントの検出に成功し、2番目を走行する車両300bに配置される車両用装置1はイベントの検出に失敗したと仮定する。このような場合において、イベントの検出の成功および失敗にかかわらず、抽出指示部214は、全ての車両300a、300b、300cに配置される車両用装置1に対して画像データの抽出を指示してよい。別の例として、抽出指示部214は、イベントの検出に失敗した2番目の車両300bに配置される車両用装置1に対してのみ、画像データの抽出を指示してもよい。
図6は、車両用装置1における画像データの抽出処理の一例を示すフローチャートである。図6に示す例では、イベントの検出に失敗した車両に対してのみ、画像データの抽出が指示されている。
ステップS11では、抽出部114が、車両群を構成する車両のうち、イベントの検出に成功した車両のタイムスタンプを取得する。タイムスタンプは、詳細には、イベントを検出した画像の撮影時刻を示す。例えば、抽出部114は、イベントの検出に成功した一部の車両のタイムスタンプを取得する。また、別の例として、抽出部114は、イベントの検出に成功した全ての車両のタイムスタンプを取得する。イベントの検出に成功した車両のタイムスタンプを取得すると、次のステップS12に処理が進められる。なお、抽出部114は、例えば車両の位置情報(GPS情報等)等の必要な情報も適宜取得する。
ステップS12では、抽出部114が、取得したタイムスタンプに基づいて、イベントに遭遇した時刻を推定する。ここで言うイベントに遭遇した時刻は、イベントの検出に失敗した時刻と同じである。イベントの検出に失敗した時刻は、他の車両における推論の結果と異なる推論の結果を導出した画像データを取得した時刻とほぼ同じである。
例えば、抽出部114は、車両の位置情報を用いて、タイムスタンプを取得した車両との位置関係を求め、当該位置関係と取得したタイムスタンプからイベントに遭遇した時刻を推定する。また、別の例として、抽出部114は、イベントの検出に成功した全ての車両から取得したタイムスタンプの平均値を、イベントに遭遇した推定時刻としてもよい。イベントに遭遇した時刻が推定されると、次のステップS13に処理が進められる。
ステップS13では、抽出部114は、推定された時刻に撮影された画像データを揮発性メモリに一時的に記録された画像データの中から抽出する。すなわち、機械学習用データの収集方法は、推論の結果に相違がある場合に、当該相違を生じた画像データの抽出を行う抽出工程を備える。抽出部114は、画像データを抽出すると、収集装置2に送信する。なお、抽出部114は、推定された時刻に撮影された画像データがない場合には、推定された時刻に最も近い時刻に撮影された画像データを抽出すればよい。また、推定された時刻近傍に撮影された画像データを複数枚抽出して収集装置2に送信してもよい。
図4に戻って、ステップS5では、収集装置2の画像データ受信部215が、車両用装置1から送信された画像データを受信する。すなわち、機械学習用データの収集方法は、抽出を行った画像データを収集するデータ収集工程を備える。抽出された画像データを受信すると、次のステップS6に処理が進められる。
ステップS6では、画像データ受信部215が収集した画像データ(苦手データ)を機械学習用の学習データセットに追加する。画像データ受信部215は、苦手データを含む学習データセットを生成する。なお、ステップS6の処理は、収集装置2とは別の装置で行われてもよい。ステップS6の処理は、機械学習用データの収集方法に含まれても、含まれなくてもよい。
以上からわかるように、本実施形態の機械学習用のデータの収集方法によれば、複数の学習済みモデルの間で推論の結果が異なる画像データを効率良く集めることができる。推論の結果が異なる画像データは、学習済みモデルの処理の不確かさ度が高い苦手データと推定できる。すなわち、本実施形態の機械学習用のデータの収集方法によれば、学習済みモデルが苦手とする画像データを効率良く集めることができる。このようにして集めた画像データを学習データセットとして利用することで、学習済みモデルの性能の向上を図ることができる。
<3.変形例>
以上に示した実施形態では、車両用装置1における推論の結果が、他の車両の車両用装置1の推論の結果と異なるか否かを、車両用装置1の外部に設けられる装置(詳細には収集装置2)が判定する構成とした。ただし、これは例示であり、車両用装置1において、自装置の推論の結果が他の車両の車両用装置1の推論の結果と異なるか否かを判定する構成としてよい。
以上に示した実施形態では、車両用装置1における推論の結果が、他の車両の車両用装置1の推論の結果と異なるか否かを、車両用装置1の外部に設けられる装置(詳細には収集装置2)が判定する構成とした。ただし、これは例示であり、車両用装置1において、自装置の推論の結果が他の車両の車両用装置1の推論の結果と異なるか否かを判定する構成としてよい。
図7は、変形例の車両用装置1Aの構成を示すブロック図である。変形例の車両用装置1Aは、処理部11Aと、メモリ部12Aと、通信部13Aとを備える。メモリ部12Aは、上述の実施形態の構成と同様であるために、その説明は省略する。通信部13Aは、上述の実施形態の機能に加えて、他の車両との無線通信を可能に設けられる。すなわち、変形例においては、各車両に配置される車両用装置1A同士は、車車間通信可能に設けられる。この点は、上述の実施形態と異なる。
また、処理部11Aのハードウェア構成は、上述の実施形態と同様である。ただし、処理部11Aは、一部の機能が上述の実施形態と異なる。以下、上述の実施形態と異なる機能を中心に説明する。
図7に示すように、処理部11Aは、機能的な構成として、画像取得部111A、イベント検出部112A、他車両情報取得部115、判定部116、および、抽出部114Aを備える。処理部11Aが備える各部111A、112A、115、116、114Aの機能は、例えば、メモリ部12Aの不揮発性メモリに格納されるプログラムに従った演算処理をプロセッサが実行することによって実現される。
なお、本変形例の範囲には、車両用装置1Aの少なくとも一部の機能をプロセッサ(コンピュータ)に実現させるコンピュータプログラムが含まれてよい。また、本変形例の範囲には、そのようなコンピュータプログラムを記録するコンピュータ読取り可能な不揮発性記録媒体が含まれてよい。また、各部111A、112A、115、116、114Aの機能は、ハードウェアにより実現されてもよいし、ソフトウェアおよびハードウェアを併用して実現されてもよい。
画像取得部111Aおよびイベント検出部112Aの構成は、上述の実施形態と同様である。このために、これらの機能部111A、112Aの説明は省略する。
他車両情報取得部115は、車車間通信を利用して、他の車両の情報を取得する。他の車両の情報には、イベントの検出に関する情報であるイベント検出情報が含まれる。イベント検出情報は、例えば、イベントの検出の有無を含む。詳細には、他車両情報取得部115は、イベント検出情報の送信依頼を他の車両に送信する。これに応じて他の車両が、イベント検出情報を送信することにより、他車両情報取得部115は、他の車両のイベント検出情報を取得する。他車両情報取得部115が取得する他の車両の情報には、イベント検出情報だけでなく、例えば他の車両の位置情報(GPS情報等)等が含まれてよい。
なお、他車両情報取得部115が、情報の取得対象とする他の車両は、自車両と同じ場面(シーン)を撮影すると推定される車両である。他の車両は、例えば、自車両と同じ経路を走行する車両である。より詳細な例を挙げると、他の車両は、自車両と同じレーンを走行する車両である。また、例えば、他の車両は、自車両と同じレーンを所定時間内に走行する車両である。所定時間は、検出するイベントの種類によって適宜変更されてよい。
判定部116は、自車両に配置される車両用装置1Aの推論の結果が他の車両に配置される車両用装置1Aの推論の結果と異なるか否かを判定する。すなわち、処理部11Aは、推論の結果が他の車両の推論の結果と異なるか否かを判定する。このような構成によれば、推論の結果の相違に関する判定を各車両で行うことができるために、収集装置2の処理負担が過度になることを抑制することができる。
詳細には、判定部116は、自車両におけるイベントの検出情報と、他の車両におけるイベントの検出情報が異なるか否かを判定する。自車両でイベントが検出されているにもかかわらず、他の車両においてイベントが検出されていない場合、自車両の推論の結果と、他の車両の推論の結果とが異なると判定される。自車両でイベントが検出されていないにもかかわらず、他の車両においてイベントが検出されている場合、自車両の推論の結果と、他の車両の推論の結果とが異なると判定される。
抽出部114Aは、自車両の推論の結果と、他の車両の推論の結果とが異なると判定される場合に、特定の画像データの抽出を行う。特定の画像は、上述の実施形態と同様に、他の車両における推論の結果と異なる推論の結果を導出した画像データである。例えば、特定の画像データは、自車両においてイベントを検出した画像データである。また、例えば、特定の画像データは、他の車両においてイベントを検出した画像データと同じ場面(シーン)を撮影していると推定される画像データである。このような画像データは、例えば、他の車両においてイベントを検出した画像データの撮影時刻と、他の車両と自車両の位置関係とに基づいて抽出することができる。
なお、抽出部114Aは、上述の実施形態と同様に、抽出した画像データを収集装置2に送信する構成であっても、不揮発性メモリに格納する構成であってもよい。本変形例では、抽出部114Aは、抽出した画像データを、ネットワーク3を介して収集装置2に送信する。
図8は、変形例の車両用装置1Aの動作例を示すフローチャートである。図8に示す車両用装置1Aにおける画像データの収集方法(抽出方法)の少なくとも一部を、コンピュータを用いて実現させるコンピュータプログラムは、本変形例の範囲に含まれてよい。また、そのようなコンピュータプログラムを記録するコンピュータ読取り可能な不揮発性記録媒体は、本変形例の範囲に含まれてよい。
ステップS21では、イベント検出部112Aが、画像取得部111Aで取得した画像データを処理してイベントを検出したか否かを判定する。イベント検出部112Aがイベントを検出しなかった場合(ステップS21でNo)、ステップS22に処理が進められる。イベント検出部112Aがイベントを検出した場合(ステップS21でYes)、ステップS23に処理が進められる。
ステップS22では、他の車両からイベント検出情報の送信依頼があったか否かが判定される。当該判定は、例えば、他車両情報取得部115によって行われてよい。他の車両は、自車両と同じ場面を撮影すると推定される車両である。他の車両にてイベントが検出された場合に、他の車両は、イベント検出情報を取得するためにイベント検出情報の送信依頼を行う。他の車両からイベント検出情報の送信依頼があった場合(ステップS22でYes)、ステップS24に処理が進められる。なお、ステップS24に処理を進める代わりに、ステップS25に処理が進められてもよい。他の車両からイベント検出情報の送信依頼がない場合(ステップS22でNo)、ステップS21に処理が戻される。
ステップS23では、他車両情報取得部115が、イベント検出情報の送信を依頼し、イベント検出情報を取得する。イベント検出情報が取得されると、次のステップS24に処理が進められる。
ステップS24では、判定部116が、自車両と他の車両との間でイベント検出結果が相違するか否かを判定する。自車両でイベントが検出されているにもかかわらず、他の車両でイベントが検出されていない場合には、判定部116はイベントの検出結果が相違すると判定する。自車両でイベントが検出されていないにもかかわらず、他の車両でイベントが検出されている(イベント検出情報の送信依頼があった場合が該当する)場合には、判定部116はイベントの検出結果が相違すると判定する。イベントの検出結果に相違ありと判定された場合(ステップS24でYes)、次のステップS25に処理が進められる。イベントの検出結果に相違がないと判定された場合(ステップS24でNo)、画像データの抽出、および、抽出した画像データの収集装置2への送信が行われることなく、図8に示す処理が終了する。
ステップS25では、抽出部114Aが、揮発性メモリに一時的に記録された画像データの中から、他の車両における推論の結果と異なる推論の結果を導出した画像データを抽出する。画像データが抽出されると、次のステップS26に処理が進められる。
ステップS26では、抽出部114Aが、抽出した画像データを収集装置2に送信する。これにより、図8に示す処理が完了する。抽出した画像データを送信された収集装置2が行う処理は、上述の実施形態と同様である。
<4.留意事項等>
本明細書の、発明を実施するための形態に開示される種々の技術的特徴は、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。また、本明細書の、発明を実施するための形態に開示される複数の実施形態および変形例は可能な範囲で組み合わせて実施されてよい。
本明細書の、発明を実施するための形態に開示される種々の技術的特徴は、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。また、本明細書の、発明を実施するための形態に開示される複数の実施形態および変形例は可能な範囲で組み合わせて実施されてよい。
1、1A・・・車両用装置
2・・・収集装置
11、11A・・・処理部
100・・・データ収集システム
2・・・収集装置
11、11A・・・処理部
100・・・データ収集システム
Claims (10)
- 車両に配置される車両用装置であって、
前記車両の周辺を撮影した画像データの入力により推論を行う処理部を備え、
前記処理部は、他の車両における前記推論の結果と異なる前記推論の結果を導出した前記画像データの抽出を行う、車両用装置。 - 前記抽出の対象となる前記画像データは、前記他の車両における前記推論に用いられた前記画像データと同じ場面を撮影していると推定される画像データである、請求項1に記載の車両用装置。
- 前記他の車両は、自装置が配置される車両と同じ経路を通ったと推定される車両である、請求項1又は2に記載の車両用装置。
- 前記処理部は、前記抽出により得られた前記画像データを外部に送信する、請求項1から3のいずれか1項に記載の車両用装置。
- 前記処理部は、前記推論によりイベントを検出し、
前記推論の結果の相違は、前記イベントの検出の有無の相違である、請求項1から4のいずれか1項に記載の車両用装置。 - 前記処理部は、前記推論の結果が前記他の車両の前記推論の結果と異なるか否かを判定する、請求項1から5のいずれか1項に記載の車両用装置。
- 請求項1から6のいずれか1項に記載の車両用装置と、
前記車両用装置によって抽出された前記画像データを収集する収集装置と、
を備える、データ収集システム。 - 請求項1から5のいずれか1項に記載の車両用装置と、
前記車両用装置によって抽出された前記画像データを収集する収集装置と、
を備え、
前記収集装置は、複数の前記車両用装置から前記推論の結果を収集可能に設けられ、複数の前記推論の結果の中に異なる前記推論の結果が含まれるか否かを判定する、データ収集システム。 - 前記収集装置は、受信した前記画像データを用いて機械学習用の学習データセットを生成する、請求項7又は8に記載のデータ収集システム。
- 車両の周辺を撮影した画像データの入力により推論を行う推論工程と、
複数の車両における前記推論の結果に相違があるか否かを判定する判定工程と、
前記推論の結果に相違がある場合に、当該相違を生じた前記画像データの抽出を行う抽出工程と、
を備える、機械学習用データの収集方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022004789A JP2023104040A (ja) | 2022-01-17 | 2022-01-17 | 車両用装置、データ収集システム、および、機械学習用データの収集方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022004789A JP2023104040A (ja) | 2022-01-17 | 2022-01-17 | 車両用装置、データ収集システム、および、機械学習用データの収集方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023104040A true JP2023104040A (ja) | 2023-07-28 |
Family
ID=87379406
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022004789A Pending JP2023104040A (ja) | 2022-01-17 | 2022-01-17 | 車両用装置、データ収集システム、および、機械学習用データの収集方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023104040A (ja) |
-
2022
- 2022-01-17 JP JP2022004789A patent/JP2023104040A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7218535B2 (ja) | 交通違反車両識別システム及びサーバ | |
JP6230673B2 (ja) | 交通信号マップ作成及び検出 | |
EP3104284B1 (en) | Automatic labeling and learning of driver yield intention | |
US11333517B1 (en) | Distributed collection and verification of map information | |
US10827725B2 (en) | Animal rescue system and animal rescue method, and server used for animal rescue system and animal rescue method | |
US11990041B2 (en) | Moving body tracking system, moving body tracking method, and program | |
JP2016126605A (ja) | 走行環境認識システム | |
US20180224296A1 (en) | Image processing system and image processing method | |
JP6939362B2 (ja) | 車両捜索システム、車両捜索方法、ならびに、それに用いられる車両およびプログラム | |
CN110634306A (zh) | 车辆位置的确定方法及装置、存储介质、计算设备 | |
KR101678004B1 (ko) | 노드-링크 기반 카메라 네트워크 통합 감시 시스템 및 감시 방법 | |
KR20230010262A (ko) | 경찰차를 활용한 포트홀 실시간 탐지 방법 | |
KR102189926B1 (ko) | 관심 영역 변화를 검출하는 방법 및 시스템 | |
JP2021051470A (ja) | 対象追跡手段の切り替えが可能な対象追跡プログラム、装置及び方法 | |
JP2020095565A (ja) | 情報処理システム、プログラム、及び情報処理方法 | |
JP2016218895A (ja) | 同一人物検証システム、方法およびプログラム | |
KR102460915B1 (ko) | 교통정보 제공 방법, 장치 및 그러한 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램 | |
JP2020144656A (ja) | 支援時間提示システム | |
JP2023104040A (ja) | 車両用装置、データ収集システム、および、機械学習用データの収集方法 | |
US11679771B2 (en) | Vehicle event identification | |
CN111311919B (zh) | 服务器、车载装置、非易失性存储介质、信息提供***、提供信息的方法,以及车辆 | |
JP7254000B2 (ja) | 画像配信装置及び方法並びに画像配信システム | |
KR102129173B1 (ko) | 사고와 관련된 정보 처리 시스템 및 그 방법 | |
WO2020194391A1 (ja) | 事故予測率算出コンピュータ、方法及びプログラム | |
JP2021124633A (ja) | 地図生成システム及び地図生成プログラム |