JP2021056841A

JP2021056841A - 教師データ作成装置及び画像分類装置

Info

Publication number: JP2021056841A
Application number: JP2019180165A
Authority: JP
Inventors: 祐一梅実; Yuichi Umemi
Original assignee: Suzuki Motor Corp
Current assignee: Suzuki Motor Corp
Priority date: 2019-09-30
Filing date: 2019-09-30
Publication date: 2021-04-08
Also published as: FR3101462B1; US20210097340A1; FR3101462A1

Abstract

【課題】機械学習の技術を用いて、ある車両の周囲に存在する別の車両を効率的に検出する。【解決手段】教師データ作成装置１００は、車載カメラにより撮影された、周囲の車両の画像を取得する取得部１１０と、前記取得部により取得された前記画像に写っている車両に関し、教師あり学習のための正解データを受け付ける受付部１２０と、前記取得部により取得された前記画像と、前記受付部により受け付けられた前記正解データとを組み合わせてなる教師あり学習のための教師データを作成する作成部１３０とを備える。前記受付部は、前記正解データとして、前記画像に写っている車両の種類と、前記画像において車両が写っている領域の位置及びサイズとを受け付ける。【選択図】図４

Description

本発明は、教師データ作成装置及び画像分類装置に関する。

特許文献１に、車両などの移動体に搭載され、該移動体の周囲の対象物体を監視する周辺監視装置が記載されている。この周辺監視装置は、移動体の周囲の画像を時系列に取得する画像取得部と、その画像取得部で得られた時系列画像から移動成分を算出する時系列情報算出部とを備えている。移動成分として２次元オプティカルフローが挙げられている。

特開２０１０−２８６９２６号公報

周辺監視装置などの装置において、オプティカルフローを用いて何らかの物体が検出されたとしても、同装置にとってその物体が何であるかはわからないのが通常である。そのため、物体の検出結果に基づいてなされる警報あるいは注意喚起が誤ったものとなる可能性がある。また、オプティカルフローの算出に必要な計算量は、検出精度の向上を図るべく、膨大になりやすい。

本発明は、機械学習の技術を用いて、ある車両の周囲に存在する別の車両を効率的に検出することを目的とする。

上記目的を達成するために、教師データ作成装置は、車載カメラにより撮影された、周囲の車両の画像を取得する取得部と、前記取得部により取得された前記画像に写っている車両に関し、教師あり学習のための正解データを受け付ける受付部と、前記取得部により取得された前記画像と、前記受付部により受け付けられた前記正解データとを組み合わせてなる教師あり学習のための教師データを作成する作成部とを備え、前記受付部は、前記正解データとして、前記画像に写っている車両の種類と、前記画像において車両が写っている領域の位置及びサイズとを受け付ける。

本発明によれば、機械学習の技術を用いて、ある車両の周囲に存在する別の車両を効率的に検出することができる。

車両の通行状況を示す説明図である。車載カメラにより撮影された画像を示す説明図である。教師あり学習のための例題画像を示す説明図である。教師データ作成装置の機能構成例を示す説明図である。教師データ作成装置のコンピュータハードウェア構成例を示す説明図である。車載システムの説明図である。

以下、本発明を図示の実施の形態に基づいて説明する。ただし、本発明は、以下に説明する実施の形態によって限定されるものではない。

以下に述べる実施形態は、安全な車両運転を支援する技術に関する。具体的には、本実施形態は、四輪自動車などの車両（自車）が高速道路などの道路を走行している場合に、当該車両周囲における別の車両（後続車など）の存在を把握しやすくするための技術に関する。

後続車の状況の例を以下に挙げる。
（１）自車の走行車線に隣接する車線を走行し、自車を追い越そうとしている。
（２）自車に接近しながら、自車と同じ車線を走行している。
（３）自車との車間距離を保ったまま、自車と同じ車線を走行している。

前述のとおり、従来技術の問題は、検出されたものが検出を行った装置にとって何であるかがわからないということである。これを踏まえて、以下に述べる実施形態は、生データ収集後の処理に、検出するものを直接認識するプロセスが組み込めれば、処理の全体的な流れがシンプルになり、誤検出に伴う誤警報を減らすこともできるという見地に基づくものである。本実施形態では、生データ収集後の処理に、機械学習による物体認識を適用する。

機械学習の適用に際しては、「学習のさせ方」と「判定時の結果の利用方法」とが重要である。

［１．学習のさせ方］
図１に、３つの車線Ａ１〜Ａ３を有する平坦な道路における通行状況の一例を示す。第１車線Ａ１と第２車線Ａ２と第３車線Ａ３とはいずれも直線状かつ通行方向が同じであり、第１車線Ａ１の通行方向右側に第２車線Ａ２が位置し、さらに第２車線Ａ２の通行方向右側に第３車線Ａ３が位置している。

同図において、符号Ｂ１は第１車線Ａ１の通行方向左側の境界であり、符号Ｂ２は第１車線Ａ１と第２車線Ａ２との境界である。また、符号Ｂ３は第２車線Ａ２と第３車線Ａ３との境界であり、符号Ｂ４は第３車線Ａ１の通行方向右側の境界である。

第１車両１は、一例として軽自動車であり、第２車線Ａ２を走行している。第２車両２は、一例としてトラックであり、第１車両１の後方において第１車線Ａ１を走行している。

第１車両１の後部には、当該車両の車両後方を撮影するカメラが取り付けられている。このカメラで撮影した際に画像に写る範囲を符号Ｄにより示す。

図１において、直線Ｌ１及びＬ２並びに直線Ｍ１〜Ｍ４は仮想的なものである。まず、直線Ｌ１は、第１車両１の後端部の直下にある道路上の点を通り、かつ車幅方向に延びている。直線Ｌ２は、第２車両２の前端部の直下にある道路上の点を通り、かつ車幅方向に延びている。直線Ｌ１と直線Ｌ２との距離を符号Ｎにより示す。

直線Ｍ１は、直線Ｌ２と境界Ｂ４との交点を通り、かつ重力方向に延びており、直線Ｍ２は、直線Ｌ２と境界Ｂ３との交点を通り、かつ重力方向に延びている。また、直線Ｍ３は、直線Ｌ２と境界Ｂ２との交点を通り、かつ重力方向に延びており、直線Ｍ４は、直線Ｌ２と境界Ｂ１との交点を通り、かつ重力方向に延びている。

図２に、上記カメラにより得られた矩形の画像ＩＭ１を示す。この画像には、車線Ａ１〜Ａ３と境界Ｂ１〜Ｂ４と第２車両２とが写っている。この画像において、符号Ｄ２は、第２車両２が写っている領域を含み、かつ大きさが最も小さい矩形の領域である。この矩形領域の４つの辺のうち、２つの辺は画像ＩＭ１の水平方向に延び、残りの２つの辺は画像ＩＭ１の垂直方向に延びている。

仮想的な直線Ｌ２ａは、領域Ｄ２の左下の頂点と右下の頂点とを通り、画像ＩＭ１の水平方向に延びている。直線Ｌ２ａは、画像ＩＭ１の最も左上にあるピクセルを原点とする画像座標系において、第ｎ番目の行ピクセルにあたる。ただし、序数ｎは自然数である。直線Ｌ２ａは図１の直線Ｌ２と対応し、序数ｎは図１の距離Ｎと対応する。距離Ｎが小さいほど序数ｎは大きくなり、距離Ｎが大きいほど序数ｎは小さくなる。

仮想的な直線Ｍ１ａは、画像上の境界Ｂ４と直線Ｌ２ａとの交点Ｐ_１を通り、画像の垂直方向に延びている。この直線Ｍ１ａは、上記画像座標系において第ｍ_１番目の列ピクセルにあたり、図１の直線Ｍ１と対応する。ただし、序数ｍ_１は自然数である。
仮想的な直線Ｍ２ａは、画像上の境界Ｂ３と直線Ｌ２ａとの交点Ｐ_２を通り、画像の垂直方向に延びている。この直線Ｍ２ａは、上記画像座標系において第ｍ_２番目の列ピクセルにあたり、図１の直線Ｍ２と対応する。ただし、序数ｍ_２は自然数である。
仮想的な直線Ｍ３ａは、画像上の境界Ｂ２と直線Ｌ２ａとの交点Ｐ_３を通り、画像の垂直方向に延びている。この直線Ｍ３ａは、上記画像座標系において第ｍ_３番目の列ピクセルにあたり、図１の直線Ｍ３と対応する。ただし、序数ｍ_３は自然数である。
仮想的な直線Ｍ４ａは、画像上の境界Ｂ１と直線Ｌ２ａとの交点Ｐ_４を通り、画像の垂直方向に延びている。この直線Ｍ４ａは、上記画像座標系において第ｍ_４番目の列ピクセルにあたり、図１の直線Ｍ４と対応する。ただし、序数ｍ_４は自然数である。
序数ｍ_１〜ｍ_４について、ｍ_１＜ｍ_２＜ｍ_３＜ｍ_４が成り立つ。

画像ＩＭ１を例題画像として教師データを作成する際は、第２車両２が写っている領域Ｄ２に関する情報（画像内の位置、サイズなど）を正解データとする。このようにして作成された教師データにより学習がなされた学習済みモデルに、分類の対象となる対象画像を入力すると、対象画像からトラックを抽出する際、矩形の領域のピクセル値を結果として出力する。このいわゆる判定領域（下図中の水色で示したトラック前面の矩形領域）の下端は道路上のトラックの前端を示すことになる。

［２．判定時の結果の利用方法］
自車のカメラ位置及び角度と、自車と道路上の車線の方向との間の関係とが既知であることから、図２に示した画像ＩＭ１における行ピクセル及び列ピクセルと、図１に示した実際の空間上の距離との間には、一対一対応の関係が成り立つ。

分類の対象となる対象画像において、トラックと判定された判定領域の下端線Ｌ２ａの画像中の位置によって、自車からトラックまでの実際の距離（図１の距離Ｎ）が判別できる。さらに、判定された車両の走行車線（自車と同一の車線又は隣接する車線）が判別できる。

後続車が現れる画像内位置が学習されるため、対象画像の分類時には、その位置に車両が出現するのを待ち構える、という考え方である。

上記「１．学習のさせ方」及び「２．判定時の結果の利用方法」によって、従来手法で用いていた分別処理が不要となり、処理の早い段階で移動物と判定し、自車との関係において安全か否かの判定に移行することができる。従来技術に比べ、処理時間短縮と検出精度向上とのバランスを高い水準で実現できる。

以下に述べる実施形態は、３つの段階に分けられる。第１段階では教師データが作成される。第２段階では、第１段階で作成された教師データによる学習が行われて学習済みモデルが生成される。第３段階では、第２段階で生成された学習済みモデルを用いて、分類の対象となる対象画像の分類が行われる。

［第１段階教師データの作成］
図３に、教師あり学習の例題となる例題画像ＤＴ１を示す。この例題画像に対して正解データが付与され、例題画像と正解データとの組み合わせである教師データが作成される。以下、この例題画像を用いた教師データの作成について具体的に説明する。

なお、例題画像ＤＴ１は静止画像である。例題画像Ｄ１は、動画から抽出された静止画像でもよい。

なお、正解データは、ラベル又はタグとも呼ばれる。例題画像に教師データを付与する処理は、ラベル付け、タグ付け又はアノテーションとも呼ばれる。

例題画像ＤＴ１は、図２に示した画像ＩＭ１と同様、車線Ａ２を走行中の第１車両１の車載カメラにより撮影された周囲の車両の画像である。例題画像ＤＴ１には、第１物体Ｃ１と第２物体Ｃ２とが写っている。符号Ｆ１は、第１物体Ｃ１が写っている領域を含み、かつ大きさが最も小さい矩形の領域である。この矩形領域の４つの辺のうち、２つの辺は画像の水平方向に延び、残りの２つの辺は画像の垂直方向に延びている。符号Ｆ２は、第２物体Ｃ２が写っている領域を含み、かつ大きさが最も小さい矩形の領域である。この矩形領域の４つの辺のうち、２つの辺は画像の水平方向に延び、残りの２つの辺は画像の垂直方向に延びている。

第１物体に関して付与される正解データは以下の通りである。
種類：乗用車
画像内サイズ：１５，１０
画像内位置：３００，９０
距離１００メートル
車線自車と同じ車線（中央車線）

第２物体に関して付与される正解データは以下の通りである。
種類：トラック
画像内サイズ：４５，４０
画像内位置：３２５，１００
距離８０メートル
車線自車の車線の通行方向左側にある車線

上記正解データのうち、「種類」は車両の種類であり、例えば「乗用車」と「トラック」と「バス」とを種類の候補として定めることができる。候補の定め方によって、後述する第３段階における画像分類の分類先が変わることから、所望の分類先に応じて候補を定めればよい。本例では、第１物体の種類は「乗用車」であり、第２物体の種類は「トラック」である。

「画像内サイズ」は、画像において第１物体及び第２物体の各々が写っている矩形領域Ｆ１及びＦ２の水平方向及び垂直方向のサイズである。第１物体の場合は、水平方向のサイズが１５ピクセル、垂直方向のサイズが１０ピクセルである。第２物体の場合は、水平方向のサイズが４５ピクセル、垂直方向のサイズが４０ピクセルである。

「画像内位置」は、各矩形領域Ｆ１及びＦ２の最も左下にあるピクセルの座標である。第１物体の場合は、ｘ座標が３００であり、ｙ座標が９０である。第２物体の場合は、ｘ座標が３２５であり、ｙ座標が１００である。

「距離」は、自車から各物体までの距離（図１の距離Ｎ）である。第１物体が写っている矩形領域Ｆ１の下端を通る直線が第９０番目の行ピクセルに相当する。このことから、自車から第１物体までの「距離」は１００メートルである。また、第２物体が写っている矩形領域Ｆ２の下端を通る直線が第１００番目の行ピクセルに相当する。このことから、自車から第２物体までの「距離」は８０メートルである。

一例であるが、自車から１００メートルの位置にある車両を撮影し、その撮影画像において車両が写っている領域の下端の行ピクセル番号を事前に得ておく。その行ピクセル番号を基準として、上記第１物体及び第２物体の「距離」を求めることができる。

「車線」は、各車両が走行する車線である。第１物体の場合は、距離が１００メートルで画像内位置が３００，９０であることから、「車線」は「自車と同じ車線」である。第２物体の場合は、距離が８０メートルで画像内位置が３２５，１００であることから、「車線」は「自車の車線の通行方向左側にある車線」である。

正解データとして、「種類」と「画像内サイズ」と「画像内位置」と「距離」と「車線」という５つの項目を挙げたが、これはあくまでも一例である。正解データとして、「種類」と「距離」と「車線」という３つの項目に絞ってもよい。あるいは、正解データとして、「種類」と「画像内サイズ」と「画像内位置」という３つの項目に絞ってもよい。「画像内サイズ」及び「画像内位置」と、「距離」及び「車線」とが対応関係にあることは、図１を参照しながら述べたとおりである。

正解データを、「種類」と「距離」と「車線」という３つの項目とした場合についてさらに説明する。以下の表１に、各項目が取りうる具体的なデータを示す。まず、「種類」の具体的なデータは、一例として、「乗用車」と「トラック」と「二輪車」の３通りとする。「車線」の具体的なデータは、一例として、「自車と同じ車線」、「隣接する右側車線」、「隣接する左側車線」の３通りとする。「距離」の具体的なデータは、一例として、「１０ｍ」、「５０ｍ」、「８０ｍ」、「１００ｍ」の４通りとする。つまり、３×３×４＝３６通りの正解データを用意することができる。

教師データの作成は、図４に示す教師データ作成装置１００により行われる。教師データ作成装置１００は、取得部１１０と受付部１２０と作成部１３０とを備えている。

取得部１１０は、車載カメラにより撮影され、自車とは別の車両が写っている画像ＤＴ１を取得する。受付部１２０は、取得部１１０により取得された画像ＤＴ１に写っている車両に関し、手作業により入力された正解データを受け付ける。画像ＤＴ１に関する正解データは先に述べたとおりである。作成部１３０は、取得部１１０により取得された画像ＤＴ１と、受付部１２０により受け付けられた正解データとを組み合わせてなる教師データを作成する。

図５に、教師データ作成装置１００のコンピュータハードウェア構成例を示す。教師データ作成装置１００は、ＣＰＵ１５１と、インタフェース装置１５２と、表示装置１５３と、入力装置１５４と、ドライブ装置１５５と、補助記憶装置１５６と、メモリ装置１５７とを備えており、これらがバス１５８により相互に接続されている。

教師データ作成装置１００の機能を実現するプログラムは、ＣＤ−ＲＯＭ等の記録媒体１５９によって提供される。プログラムを記録した記録媒体１５９がドライブ装置１５５にセットされると、プログラムが記録媒体１５９からドライブ装置１５５を介して補助記憶装置１５６にインストールされる。あるいは、プログラムのインストールは必ずしも記録媒体１５９により行う必要はなく、ネットワーク経由で行うこともできる。補助記憶装置１５６は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

メモリ装置１５７は、プログラムの起動指示があった場合に、補助記憶装置１５６からプログラムを読み出して格納する。ＣＰＵ１５１は、メモリ装置１５７に格納されたプログラムにしたがって教師データ作成装置１００の機能を実現する。インタフェース装置１５２は、ネットワークを通して他のコンピュータに接続するためのインタフェースとして用いられる。表示装置１５３はプログラムによるＧＵＩ（Graphical User Interface）等を表示する。入力装置１５４はキーボード及びマウス等である。

［第２段階学習済みモデルの生成］
第２段階では、第１段階にて作成された教師データによる学習が行われる。これにより、学習済みモデルが生成される。教師データから学習済みモデルを生成する方法は既に知られており、本実施形態においても既知の方法を用いる。

［第３段階対象画像の分類］
第３段階では、第２段階にて生成された学習済みモデルを用いて、分類の対象となる対象画像の分類が行われる。第３段階は、図６に示す車載システム２００により行われる。車載システム２００においてはさらに、対象画像の分類結果に応じて、当該システムが搭載された車両の運転者に対し警報が出される。

車載システム２００は、車載カメラ２１０と、コントローラ２２０と、ＨＭＩ（ヒューマン・マシン・インターフェース）装置２３０とを備えている。コントローラ２２０は、取得部２２２ａ及び分類部２２２ｂを有する画像分類装置２２２と、警報生成装置２２４とを備えている。

車載カメラ２１０は、車載システム２００が搭載された当該車両の車両後方を撮影する。車載カメラ２１０により取得された対象画像は、コントローラ２２０内の画像分類装置２２２へ送られる。

画像分類装置２２２内の取得部２２２ａは、車載カメラ２１０から送られてきた対象画像を取得し、当該画像を分類部２２２ｂに送る。分類部２２２ｂには、第２段階にて生成された学習済みモデルが組み込まれている。分類部２２２ｂは、この学習済みモデルを用いて、取得部２２２ａから送られてきた対象画像を、その対象画像に写っている車両の種類とその車両が位置する車線と自車からその車両までの距離とに応じて分類する。分類先は、第１段階において設定された正解データのパターンのいずれかである。一つの対象画像に複数の車両が写っている場合は、車両ごとに分類が行われる。

分類部２２２ｂは、対象画像が既に学習済みの正解データのモデルと一致するかどうかを判定する。上記第１段階において３６通りの正解データを用意した場合、この第３段階では、対象画像に写っている各車両が、３６通りのパターンのうちのどのパターンに当てはまるかが判定される。どのパターンにも当てはまらない場合は、対象画像に車両が写っていないものと判定される。上記第１段階及び上記第２段階により、後続車が現れる画像内位置が学習されており、第３段階では、学習された画像内位置に車両が出現するのを待ち構える、という考え方である。

警報生成装置２２４には、画像分類装置２２２による分類結果が入力される。警報生成装置２２４は、入力された分類結果に基づいて、当該車両の運転者に向けた警報を生成する。この警報は、ＨＭＩ装置２３０を介して当該車両の運転者へ伝えられる。ＨＭＩ装置の例として、表示装置、音声出力装置が挙げられる。

分類部２２２ｂにより、対象画像が正解データのいずれかのパターンと一致すると判定された場合は、当該パターンに対応する車両の種類、車線位置及び自車からの距離がＨＭＩ装置２３０に表示される。

なお、車載システム２００のコンピュータハードウェア構成も、図５に示した構成とすることができる。

これまでに述べたように、第１段階において、車両の種類とその車両が写っている領域の位置及びサイズを正解データとして有する教師データが作成され、その教師データをもとにした学習済みモデルが第２段階にて生成される。この学習済みモデルを用いて、第３段階で対象画像の分類が行われる。第３段階では、対象画像中の移動物を車両と認識することができる。そのため、従来技術とは異なり、検出対象外のもの（電柱、建物などの固定物、建物などが路面に映す影など）を検出対象から除外するためのフィルタリングが不要である。検出精度が従来技術と同等でよいならば、従来技術に比べて処理時間を短縮することができる。あるいは、処理時間が従来技術と同等でよいならば、従来技術に比べて検出精度が向上する。

検出された車両の種類も検出されるため、どのような種類の車両が接近しているかを運転者に知らせることができる。つまり、危険回避のためにより正確な情報を提供することができる。

また、走行中の車載カメラの映像を出力するモニターにおいて、検出された移動物にマークを重畳表示することもできる。つまり、より分かりやすい情報提供が実現される。

上記の実施形態において、車載カメラは、車両の後部に取り付けられ、当該車両の車両後方を撮影するバックカメラとした。しかし、これに限られない。車載カメラとして、車両の側部に取り付けられて当該車両の側方を撮影するサイドカメラを用いてもよく、あるいは、車両の前部に取り付けられて当該車両の前方を撮影するフロントカメラを用いてもよい。ただし、学習の効果を最大限に引き出すために、例題画像を撮影するカメラと分類対象となる対象画像を撮影するカメラとを同種のものとすることが望ましい。例えば、前者がフロントカメラであれば、後者もフロントカメラとすることが望ましい。

フロントカメラを用いる場合には、低速走行時に人を検知する機能を実現することができる。サイドカメラを用いる場合は、自車と並走する車両を検知する機能を実現することができる。さらには、車両の前後左右のカメラを連携させて、自車の周囲に存在する車両を検知する機能を実現することも可能である。

正解データに、以下の情報のうち１つ以上を追加してもよい。これにより、追加された情報に応じて画像の分類を行うことができる。
・例題画像の撮影が昼間、夜間のいずれにおいて行われたのかという情報
・例題画像の撮影時の天候に関する情報
・例題画像に写っている車両のヘッドライトが点灯しているかどうかの情報
・例題画像に写っている道路の傾斜に関する情報

図４を参照しながら述べた教師データ作成は、装置としての側面だけではなく、方法としての側面及びコンピュータプログラムとしての側面をも有している。図６を参照しながら述べた画像分類についても同様である。

以上、本発明の実施の形態につき述べたが、本発明は既述の実施の形態に限定されるものではなく、本発明の技術的思想に基づいて各種の変形及び変更が可能である。

１００教師データ作成装置、１１０取得部、１２０受付部、１３０作成部
２００車載システム、２１０カメラ、２２０コントローラ、２３０ＨＭＩ装置
２２２画像分類装置、２２４警報生成装置
２２２ａ取得部、２２２ｂ分類部

Claims

車載カメラにより撮影された、周囲の車両の画像を取得する取得部と、
前記取得部により取得された前記画像に写っている車両に関し、教師あり学習のための正解データを受け付ける受付部と、
前記取得部により取得された前記画像と、前記受付部により受け付けられた前記正解データとを組み合わせてなる教師あり学習のための教師データを作成する作成部と
を備え、
前記受付部は、前記正解データとして、前記画像に写っている車両の種類と、前記画像において車両が写っている領域の位置及びサイズとを受け付ける、
教師データ作成装置。
車載カメラにより撮影され、分類の対象となる対象画像を取得する取得部と、
請求項１に記載の教師データ作成装置により作成された教師データによる学習がなされた学習済みモデルを用いて、前記対象画像を、前記対象画像に写っている車両の種類と前記車両が位置する車線と自車から前記車両までの距離とに応じて分類する分類部と
を備える画像分類装置。
車載カメラにより撮影され、分類の対象となる対象画像を取得する取得ステップと、
請求項１に記載の教師データ作成装置により作成された教師データによる学習がなされた学習済みモデルを用いて、前記対象画像を、前記対象画像に写っている車両の種類と前記車両が位置する車線と自車から前記車両までの距離とに応じて分類する分類ステップと
を含む画像分類方法。