JP2021135522A

JP2021135522A - 標識識別システム

Info

Publication number: JP2021135522A
Application number: JP2020028574A
Authority: JP
Inventors: 宣行田中; Nobuyuki Tanaka
Original assignee: Daihatsu Motor Co Ltd
Current assignee: Daihatsu Motor Co Ltd
Priority date: 2020-02-21
Filing date: 2020-02-21
Publication date: 2021-09-13

Abstract

【課題】画像中に複数の標識が存在する場合でも、自車線の標識を識別できる標識識別システムを提供する。【解決手段】カメラ２が撮影した第１の画像Ｉ１および第２の画像Ｉ２のそれぞれから、一時停止標識の形状に基づいて、一時停止標識の候補Ｍ１、Ｍ２を抽出する抽出処理（Ｓ１２）と、第１の画像Ｉ１中の候補Ｍ１のサイズに対する第２の画像Ｉ２中の候補Ｍ１のサイズの増加量と、第１の画像Ｉ１中の候補Ｍ２のサイズに対する第２の画像Ｉ２中の候補Ｍ２のサイズの増加量とを計算する計算処理（Ｓ１４）と、増加量が最も大きい候補Ｍ１を、自車線側に存在し、かつ、前記車両に最も近い候補として選択する選択処理（Ｓ１５）とを実行する。【選択図】図４

Description

本発明は、標識識別システムに関する。

従来、車両の前方を撮影するカメラが撮影した画像に基づいて一時停止標識を識別する方法が、提案されている（下記特許文献１参照）。

この方法では、カメラが撮影した画像から赤色領域を抽出し、抽出した赤色領域がＴ字形状であるか否かを判定することにより、一時停止標識を識別する。

特開２０１４−１０６７４２号公報

上記した特許文献１に記載の方法では、画像中に複数の標識が存在する場合、どの標識が自車線の標識であるか識別することができない。

そこで、本発明の目的は、画像中に複数の標識が存在する場合でも、自車線の標識を識別できる標識識別システムを提供することにある。

本発明は、車両の前方を撮影するカメラと、前記カメラが撮影した画像に基づいて特定の道路標識を識別する制御装置とを備え、前記制御装置が、第１の画像と、前記第１の画像の後に撮影された第２の画像とを取得する取得処理と、前記特定の道路標識の形状に基づいて、前記第１の画像および前記第２の画像のそれぞれから、前記特定の道路標識の候補を抽出する抽出処理と、前記第１の画像中の前記候補のサイズに対する、前記第２の画像中の前記候補のサイズの増加量を計算する計算処理と、前記増加量が最も大きい前記候補を、自車線側に存在し、かつ、前記車両に最も近い候補として選択する選択処理とを実行する、標識識別システムを含む。

このような構成によれば、画像中に複数の標識が存在する場合に、第１の画像と、第１の画像の後に撮影された第２の画像とから、サイズの増加量が最も大きい候補を、自車線側に存在し、かつ、前記車両に最も近い候補として選択できる。

その結果、画像中に複数の標識が存在する場合でも、自車線の標識を識別できる。

本発明の標識識別システムによれば、画像中に複数の標識が存在する場合でも、自車線の標識を識別できる。

図１は、本発明の一実施形態としての標識識別システムのブロック図である。図２は、標識識別システムの動作を説明するためのフローチャートである。図３は、図２の標識識別ルーチンを説明するためのフローチャートである。図４Ａは、カメラが撮影した第１の画像の一例である。図４Ｂは、図４Ａに示す第１の画像に連続して撮影された第２の画像の一例である。図５は、変形例を説明するための説明図であって、図４Ｂに示す第２の画像に連続して撮影された第３の画像の一例である。

１．標識識別システムの構成
標識識別システム１は、車両に搭載される。なお、標識識別システム１は、車両に取り付けられるドライブレコーダーであってもよい。標識識別システム１は、特定の道路標識を識別する。特定の道路標識としては、例えば、一時停止標識などの規制標識が挙げられる。

図１に示すように、標識識別システム１は、カメラ２と、制御装置３と、必要により、ストレージ４と、報知器５とを備える。

（１）カメラ
カメラ２は、車両の前方を撮影する。

（２）制御装置
制御装置３は、標識識別システム１の動作を制御する。制御装置３は、有線または無線により、カメラ２、ストレージ４および報知器５と通信可能である。制御装置３は、カメラ２が撮影した画像に基づいて特定の道路標識を識別する。詳しくは、制御装置３は、メインメモリ６と、プロセッサ７とを有する。

メインメモリ６は、カメラ２が撮影した画像を記憶する。メインメモリ６としては、例えば、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）が挙げられる。

プロセッサ７は、メインメモリ６に記憶されている画像に基づいて、特定の道路標識を識別する。プロセッサ７としては、例えば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ−ＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）などが挙げられる。プロセッサ７は、特定の道路標識の形状が記憶されたＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）を有してもよい。なお、制御装置３は、特定の道路標識の形状が記憶されたＲＯＭを、プロセッサ７とは独立に有してもよい。

なお、制御装置３は、車両の動作を制御するＥＣＵであってもよい。また、制御装置３は、ＥＣＵから独立していてもよい。制御装置３がＥＣＵから独立している場合、制御装置３は、有線または無線により、ＥＣＵと通信可能であってもよい。

（３）ストレージ
ストレージ４は、必要により、メインメモリ６に記憶されている画像を記憶する。ストレージ４としては、例えば、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）などが挙げられる。

（４）報知器
報知器５は、特定の道路標識の接近を、ユーザーに報知する。報知器５は、例えば、スピーカーである。なお、報知器５は、カーナビゲーションシステムであってもよい。報知器５がカーナビゲーションシステムである場合、報知器５は、特定の道路標識の接近を画面に表示してもよい。

２．標識識別システムの制御
次に、標識識別システム１の制御について説明する。

図２に示すように、標識識別システム１が起動すると、制御装置３は、標識識別ルーチン（Ｓ１）を実行する。制御装置３は、標識識別ルーチン（Ｓ１）により、カメラ２が撮影した画像に基づいて特定の道路標識を識別する。

（１）標識識別ルーチン
図３に示すように、標識識別ルーチン（Ｓ１）において、制御装置３は、取得処理（Ｓ１１）と、抽出処理（Ｓ１２）と、計算処理（Ｓ１４）と、選択処理（Ｓ１５）とを実行する。

なお、以下の説明では、交差点で一時停止標識（特定の道路標識の一例）を識別する場合を例に挙げて、説明する。

（１−１）取得処理
取得処理（Ｓ１１）では、制御装置３は、第１の画像Ｉ１（図４Ａ参照）と、第１の画像Ｉ１の後に撮影された第２の画像Ｉ２（図４Ｂ参照）とを取得する。

図４Ａに示すように、車両が交差点に差し掛かる前にカメラ２が撮影した第１の画像Ｉ１には、自車線側の一時停止標識Ｍ１と、対向車線側の一時停止標識Ｍ２とが写っている。また、図４Ｂに示すように、第１の画像Ｉ１の後に撮影された第２の画像Ｉ２には、第１の画像Ｉ１中の一時停止標識Ｍ１よりも大きな一時停止標識Ｍ１と、第１の画像Ｉ１中の一時停止標識Ｍ２よりも大きな一時停止標識Ｍ２とが写っている。

（１−２）抽出処理
抽出処理（Ｓ１２）では、制御装置３は、ＲＯＭに記憶されている一時停止標識の形状（逆三角形）に基づいて、第１の画像Ｉ１および第２の画像Ｉ２のそれぞれから、一時停止標識の候補を抽出する。

詳しくは、制御装置３は、第１の画像Ｉ１および第２の画像Ｉ２のそれぞれの中から、テンプレートマッチングなどの画像処理によって、一時停止標識の形状と類似する形状を、一時停止標識の候補として抽出する。この実施形態では、制御装置３は、第１の画像Ｉ１および第２の画像Ｉ２のそれぞれの中から、自車線側の一時停止標識Ｍ１と、対向車線側の一時停止標識Ｍ２とを、一時停止標識の候補として抽出する。

（１−３）計算処理
図３に示すように、抽出処理（Ｓ１２）において、第１の画像Ｉ１および第２の画像Ｉ２の両方の中から、一時停止標識の候補が抽出された場合（Ｓ１３、ＹＥＳ）、制御装置３は、計算処理（Ｓ１４）を実行する。

なお、抽出処理（Ｓ１２）において、第１の画像Ｉ１および第２の画像Ｉ２の少なくとも一方から、一時停止標識の候補が１つも抽出されなかった場合（Ｓ１３、ＮＯ）、制御装置３は、再度、取得処理（Ｓ１１）を実行する。

計算処理（Ｓ１４）では、制御装置３は、第１の画像Ｉ１中の候補のサイズに対する、第２の画像Ｉ２中の候補のサイズの増加量を計算する。

候補のサイズとしては、例えば、候補の画像の面積、候補の画像の画素数、候補の画像の寸法などが挙げられる。好ましくは、候補のサイズは、候補の画像の画素数である。候補のサイズが候補の画像の画素数であると、カメラが撮影した画像データから容易に計測することができる。また、画素数の変化量は、距離の変化量の二乗である。そのため、候補のサイズが候補の画像の画素数であると、車両から遠い候補のサイズの増加量と比べて、車両に近い候補のサイズの増加量が大きくなる。その結果、選択処理において、車両に近い候補を確実に選択できる。

この実施形態では、増加量は、第１の画像Ｉ１中の候補の画素数と、第２の画像Ｉ２中の候補の画素数との差である。なお、第１の画像Ｉ１中の候補の画素数と、第２の画像Ｉ２中の候補の画素数との割合であってもよい。

具体的には、第１の画像Ｉ１中の候補Ｍ１の画素数が２０００ピクセルであり、第１の画像Ｉ１中の候補Ｍ２の画素数が５００ピクセルであり、第２の画像Ｉ２中の候補Ｍ１の画素数が５０００ピクセルであり、第２の画像Ｉ２中の候補Ｍ２の画素数が１５００ピクセルであった場合、計算処理（Ｓ１４）では、制御装置３は、第２の画像Ｉ２中の候補Ｍ１の画素数（５０００ピクセル）と第１の画像Ｉ１中の候補Ｍ１の画素数（２０００ピクセル）との差（３０００ピクセル）を計算するとともに、第２の画像Ｉ２中の候補Ｍ２の画素数（１５００ピクセル）と第１の画像Ｉ１中の候補Ｍ２の画素数（５００ピクセル）との差（１０００ピクセル）を計算する。

（１−４）選択処理
選択処理（Ｓ１５）では、制御装置３は、増加量が最も大きい候補を、自車線側に存在し、かつ、車両に最も近い候補として選択する。

具体的には、制御装置３は、候補Ｍ１、Ｍ２の中で増加量が最も大きい候補Ｍ１を、自車線側に存在し、かつ、車両に最も近い候補として選択する。

その後、制御装置３は、標識識別ルーチン（Ｓ１）を終了する。

（２）運転者への報知
図２に示すように、標識識別ルーチン（Ｓ１）が終了した後、車両と候補Ｍ１との距離が所定の距離以下となった場合、すなわち、車両が一時停止標識に接近した場合（Ｓ２：ＹＥＳ）、制御装置３は、報知器５により、一時停止標識の接近を、運転者に報知する（Ｓ３）。

制御装置３は、車両が停止したこと、すなわち、車両の速度が０ｋｍ／時になったことを条件として（Ｓ４：ＹＥＳ）、報知を停止する（Ｓ５）。

３．作用効果
標識識別システム１によれば、図４Ａおよび図４Ｂに示すように、画像中に複数の標識Ｍ１、Ｍ２が存在する場合に、第１の画像Ｉ１と、第１の画像Ｉ１の後に撮影された第２の画像Ｉ２とから、サイズの増加量が最も大きい候補Ｍ１を、自車線側に存在し、かつ、前記車両に最も近い候補として選択する。

具体的には、図３に示すように、第１の画像Ｉ１および第２の画像Ｉ２のそれぞれから一時停止標識の候補Ｍ１、Ｍ２を抽出し（抽出処理（Ｓ１２））、第１の画像Ｉ１中の候補Ｍ１の画素数と第２の画像Ｉ２中の候補Ｍ１の画素数との差（候補Ｍ１のサイズの増加量）を計算するとともに、第１の画像Ｉ１中の候補Ｍ２の画素数と第２の画像Ｉ２中の候補Ｍ２の画素数との差（候補Ｍ２のサイズの増加量）を計算する（計算処理（Ｓ１４））。

そして、増加量が最も大きい候補Ｍ１を、自車線側に存在し、かつ、車両に最も近い候補として選択する（選択処理（Ｓ１５））。

４．変形例
次に、変形例について説明する。なお、変形例において、上記した実施形態と同様の部材、同様の処理には同じ符号を付し、説明を省略する。

図５に示すように、第２の画像Ｉ２（図４Ｂ参照）の後に撮影された第３の画像Ｉ３において、第２の画像Ｉ２に写っていた一時停止標識Ｍ１がフレームアウトし、一時停止標識Ｍ２だけが写っている場合が想定される。この場合、一時停止標識Ｍ２を自車線の標識として誤って識別する可能性がある。

そこで、制御装置３は、第２の画像Ｉ２の後に撮影された第３の画像Ｉ３から一時停止標識の候補を抽出する場合、第３の画像Ｉ３中の候補から、選択処理（Ｓ１５、図３参照）で選択されなかった候補Ｍ２を除外する。

詳しくは、制御装置３は、選択処理（Ｓ１５）で選択されなかった候補Ｍ２をメインメモリ６に記憶しておいて、第３の画像Ｉ３から候補Ｍ２を抽出した場合、候補Ｍ２を自車線の標識ではないと判断する。

選択処理（Ｓ１５）で選択されなかった候補Ｍ２が第３の画像Ｉ３中に写っていた場合に、その候補Ｍ２を除外することで、自車線の標識を、より正確に識別できる。

１標識識別システム
２カメラ
３制御装置
Ｉ１第１の画像
Ｉ２第２の画像
Ｍ１、Ｍ２候補
Ｓ１１取得処理
Ｓ１２抽出処理
Ｓ１４計算処理
Ｓ１５選択処理

Claims

車両の前方を撮影するカメラと、
前記カメラが撮影した画像に基づいて特定の道路標識を識別する制御装置と、
を備え、
前記制御装置は、
第１の画像と、前記第１の画像の後に撮影された第２の画像とを取得する取得処理と、
前記特定の道路標識の形状に基づいて、前記第１の画像および前記第２の画像のそれぞれから、前記特定の道路標識の候補を抽出する抽出処理と、
前記第１の画像中の前記候補のサイズに対する、前記第２の画像中の前記候補のサイズの増加量を計算する計算処理と、
前記増加量が最も大きい前記候補を、自車線側に存在し、かつ、前記車両に最も近い候補として選択する選択処理と
を実行することを特徴とする、標識識別システム。