JP7405643B2 - 標識識別システム - Google Patents

標識識別システム Download PDF

Info

Publication number
JP7405643B2
JP7405643B2 JP2020030728A JP2020030728A JP7405643B2 JP 7405643 B2 JP7405643 B2 JP 7405643B2 JP 2020030728 A JP2020030728 A JP 2020030728A JP 2020030728 A JP2020030728 A JP 2020030728A JP 7405643 B2 JP7405643 B2 JP 7405643B2
Authority
JP
Japan
Prior art keywords
sign
candidate
control device
intersection
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020030728A
Other languages
English (en)
Other versions
JP2021135678A (ja
Inventor
憲司 野田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daihatsu Motor Co Ltd
Original Assignee
Daihatsu Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daihatsu Motor Co Ltd filed Critical Daihatsu Motor Co Ltd
Priority to JP2020030728A priority Critical patent/JP7405643B2/ja
Publication of JP2021135678A publication Critical patent/JP2021135678A/ja
Application granted granted Critical
Publication of JP7405643B2 publication Critical patent/JP7405643B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、標識識別システムに関する。
従来、車両の前方を撮影するカメラが撮影した画像に基づいて一時停止標識を識別する方法が、提案されている（下記特許文献１参照）。
この方法では、カメラが撮影した画像から赤色領域を抽出し、抽出した赤色領域がＴ字形状であるか否かを判定することにより、一時停止標識を識別する。
特開２０１４－１０６７４２号公報
上記した特許文献１に記載の方法では、夜間や逆光など、一時停止標識の露光環境により、一時停止標識の色彩を正確に撮影することが困難な場合がある。
その場合、識別すべき一時停止標識を、識別できない場合がある。
そこで、本発明の目的は、識別すべき特定の道路標識を、より確実に識別できる標識識別システムを提供することにある。
本発明は、車両の前方を撮影するカメラと、前記カメラが撮影した画像に基づいて特定の道路標識を識別する制御装置とを備え、前記制御装置は、前記特定の道路標識の形状に基づいて、前記画像から、前記特定の道路標識の候補を抽出する標識抽出処理と、前記画像から、車線を区画する線を抽出する車線抽出処理と、前記候補を通る垂線と前記線との交点を抽出する交点抽出処理と、前記交点の座標に基づいて、自車線側に存在し、かつ、前記車両に最も近い候補を選択する選択処理とを実行する、標識識別システムを含む。
このような構成によれば、カメラが撮影した画像から、特定の道路標識の形状に基づいて、特定の道路標識の候補を抽出する。
そして、車線を区画する線を抽出し、候補を通る垂線と自車線側の線との交点の座標に基づいて、自車線側に存在し、かつ、車両に最も近い候補、すなわち、識別すべき候補を抽出する。
その結果、識別すべき特定の道路標識を、より確実に識別できる。
また、標識識別システムは、特定の道路標識の形状が認識できる程度の画像を撮影できる比較的安価なカメラを備えていればよい。
そのため、標識識別システムのコスト低減を図ることもできる。
本発明の標識識別システムによれば、識別すべき特定の道路標識を、より確実に識別できる。
図１は、本発明の一実施形態としての標識識別システムのブロック図である。 図２は、標識識別システムの動作を説明するためのフローチャートである。 図３は、図２の標識識別ルーチンを説明するためのフローチャートである。 図４は、カメラが撮影した画像の一例である。 図５は、第２の変形例を説明するための説明図である。 図６は、第３の変形例を説明するための説明図である。 図７は、第３の変形例における面積とｙ座標との相関を示すグラフである。
１．標識識別システムの構成
標識識別システム１は、車両に搭載される。なお、標識識別システム１は、車両に取り付けられるドライブレコーダーであってもよい。標識識別システム１は、特定の道路標識を識別する。特定の道路標識としては、例えば、一時停止標識などの規制標識が挙げられる。
図１に示すように、標識識別システム１は、カメラ２と、制御装置３と、必要により、ストレージ４と、報知器５とを備える。
（１）カメラ
カメラ２は、車両の前方を撮影する。
（２）制御装置
制御装置３は、標識識別システム１の動作を制御する。制御装置３は、有線または無線により、カメラ２、ストレージ４および報知器５と通信可能である。制御装置３は、カメラ２が撮影した画像に基づいて特定の道路標識を識別する。詳しくは、制御装置３は、メインメモリ６と、プロセッサ７とを有する。
メインメモリ６は、カメラ２が撮影した画像を記憶する。メインメモリ６としては、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）が挙げられる。
プロセッサ７は、メインメモリ６に記憶されている画像に基づいて、特定の道路標識を識別する。プロセッサ７としては、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ－Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などが挙げられる。プロセッサ７は、特定の道路標識の形状が記憶されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）を有してもよい。なお、制御装置３は、特定の道路標識の形状が記憶されたＲＯＭを、プロセッサ７とは独立に有してもよい。
なお、制御装置３は、車両の動作を制御するＥＣＵであってもよい。また、制御装置３は、ＥＣＵから独立していてもよい。制御装置３がＥＣＵから独立している場合、制御装置３は、有線または無線により、ＥＣＵと通信可能であってもよい。
（３）ストレージ
ストレージ４は、必要により、メインメモリ６に記憶されている画像を記憶する。ストレージ４としては、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などが挙げられる。
（４）報知器
報知器５は、特定の道路標識の接近を、ユーザーに報知する。報知器５は、例えば、スピーカーである。なお、報知器５は、カーナビゲーションシステムであってもよい。報知器５がカーナビゲーションシステムである場合、報知器５は、特定の道路標識の接近を画面に表示してもよい。
２．標識識別システムの制御
次に、標識識別システム１の制御について説明する。
図２に示すように、標識識別システム１が起動すると、制御装置３は、標識識別ルーチン（Ｓ１）を実行する。制御装置３は、標識識別ルーチン（Ｓ１）により、カメラ２が撮影した画像に基づいて特定の道路標識を識別する。
（１）標識識別ルーチン
図３に示すように、標識識別ルーチン（Ｓ１）において、制御装置３は、標識抽出処理（Ｓ１１）と、車線抽出処理（Ｓ１２）と、交点抽出処理（Ｓ１４）と、選択処理（Ｓ１６）とを実行する。
なお、以下の説明では、図４に示すように、交差点で一時停止標識（特定の道路標識の一例）を識別する場合を例に挙げて、説明する。車両が交差点に差し掛かる前にカメラ２が撮影した画像Ｉ(n)には、自車線側の一時停止標識Ｍ１、Ｍ２と、対向車線側の一時停止標識Ｍ３とが移っている。自車線側の一時停止標識Ｍ２は、車両の進行方向において、自車線側の一時停止標識Ｍ１よりも車両から遠くに配置されている。
（１－１）標識抽出処理
標識抽出処理（Ｓ１１、図３参照）において、制御装置３は、ＲＯＭに記憶されている一時停止標識の形状（逆三角形状）に基づいて、画像Ｉ(n)から、一時停止標識の候補を抽出する。
詳しくは、制御装置３は、画像Ｉ(n)の中から、テンプレートマッチングなどの画像処理によって、一時停止標識の形状と類似する形状を、一時停止標識の候補として抽出する。この実施形態では、制御装置３は、自車線側の一時停止標識Ｍ１、Ｍ２と、対向車線側の一時停止標識Ｍ３とを、一時停止標識の候補として抽出する。
（１－２）車線抽出処理
また、車線抽出処理（Ｓ１２、図３参照）において、制御装置３は、画像Ｉ(n)から、車線を区画する線を抽出する。
具体的には、制御装置３は、画像Ｉ(n)の中から、テンプレートマッチングなどの画像処理によって、車線を区画する線Ｌ１、Ｌ２を抽出する。なお、以下の説明において、線Ｌ１を自車線側の線Ｌ１と記載し、線Ｌ２を対向車線側の線Ｌ２と記載する。
（１－３）交点抽出処理
図３に示すように、標識抽出処理（Ｓ１１）において、一時停止標識の候補が抽出された場合（Ｓ１３、ＹＥＳ）、制御装置３は、交点抽出処理（Ｓ１４）を実行する。
なお、標識抽出処理（Ｓ１１）において、一時停止標識の候補が１つも抽出されなかった場合（Ｓ１３、ＮＯ）、制御装置３は、再度、標識抽出処理（Ｓ１１）を実行する。
図４に示すように、交点抽出処理（Ｓ１４）では、制御装置３は、候補Ｍ１を通る垂線Ｌ３と自車線側の線Ｌ１との交点Ｐ１、候補Ｍ２を通る垂線Ｌ４と自車線側の線Ｌ１との交点Ｐ２、および、候補Ｍ３を通る垂線Ｌ５と対向車線側の線Ｌ２との交点Ｐ３を抽出する。
なお、「候補を通る垂線」とは、カメラ２が撮影した画像Ｉ(n)において、左右方向をｘ方向とし、上下方向をｙ方向とした場合に、候補の中心を通り、ｙ方向に延びる線である。
（１－４）選択処理
図３に示すように、交点抽出処理（Ｓ１４）において、１以上の交点が抽出された場合（Ｓ１５、ＹＥＳ）、制御装置３は、選択処理（Ｓ１６）を実行する。
なお、交点抽出処理（Ｓ１４）において、交点が抽出されなかった場合（Ｓ１５、ＮＯ）、制御装置３は、再度、標識抽出処理（Ｓ１１）を実行する。
選択処理（Ｓ１６）では、制御装置３は、交点抽出処理（Ｓ１４）によって抽出された交点Ｐ１、Ｐ２、Ｐ３の座標に基づいて、自車線側に存在し、かつ、車両に最も近い候補を選択する。
具体的には、図４に示す画像Ｉ(n)において、左上方の角を座標（０，０）とし、右方へ向かうにつれてｘ座標の数値が大きくなり、下方へ向かうにつれてｙ座標の数値が大きくなる場合、制御装置３は、交点Ｐ１、交点Ｐ２、交点Ｐ３のうち、ｙ座標が最も大きい交点Ｐ１に対応する候補Ｍ１を、選択する。
その後、制御装置３は、標識識別ルーチン（Ｓ１）を終了する。
（２）運転者への報知
図２に示すように、標識識別ルーチン（Ｓ１）が終了した後、車両と候補Ｍ１との距離が所定の距離以下となった場合、すなわち、車両が一時停止標識に接近した場合（Ｓ２：ＹＥＳ）、制御装置３は、報知器５により、一時停止標識の接近を、運転者に報知する（Ｓ３）。
制御装置３は、車両が停止したこと、すなわち、車両の速度が０ｋｍ／時になったことを条件として（Ｓ４：ＹＥＳ）、報知を停止する（Ｓ５）。
３．作用効果
標識識別システム１によれば、図４に示すように、カメラ２が撮影した画像Ｉ(n)から、一時停止標識の形状に基づいて、一時停止標識の候補Ｍ１、Ｍ２、Ｍ３を抽出する（標識抽出処理（Ｓ１１）、図３参照）。
そして、車線を区画する線Ｌ１、Ｌ２を抽出し（車線抽出処理（Ｓ１２）、図３参照）、候補Ｍ１を通る垂線Ｌ３と自車線側の線Ｌ１との交点Ｐ１、候補Ｍ２を通る垂線Ｌ４と自車線側の線Ｌ１との交点Ｐ２、および、候補Ｍ３を通る垂線Ｌ５と対向車線側の線Ｌ２との交点Ｐ３を、画像Ｉ(n)から抽出する（交点抽出処理（Ｓ１４）、図３参照）。
そして、交点Ｐ１、Ｐ２、Ｐ３の座標に基づいて、自車線側に存在し、かつ、車両に最も近い候補、すなわち、識別すべき候補を選択する（選択処理（Ｓ１６）、図３参照）。
具体的には、画像Ｉ(n)の左上方の角を座標（０，０）とし、右方へ向かうにつれてｘ座標の数値が大きくなり、下方へ向かうにつれてｙ座標の数値が大きくなる場合、交点Ｐ１、交点Ｐ２、交点Ｐ３のうち、ｙ座標が最も大きい交点Ｐ１に対応する候補Ｍ１を、選択する。
その結果、識別すべき一時停止標識を、より確実に識別できる。
また、標識識別システム１は、一時停止標識の形状が認識できる程度の画像を撮影できる比較的安価なカメラ２を備えていればよい。
そのため、標識識別システム１のコスト低減を図ることもできる。
４．変形例
次に、変形例について説明する。なお、変形例において、上記した実施形態と同様の部材、同様の処理には同じ符号を付し、説明を省略する。
（１）選択処理（Ｓ１６）において、制御装置３は、候補Ｍ１、Ｍ２、Ｍ３から、候補を通る垂線が自車線側の線Ｌ１と交わる候補Ｍ１、Ｍ２を選択し、その後、交点のｙ座標が最も大きい候補Ｍ１を選択してもよい。
（２）図５に示すように、画像Ｉ(n)（図４参照）の後に撮影された画像Ｉ(n+1)において、画像Ｉ(n)に写っていた一時停止標識Ｍ１がフレームアウトし、対向車線側の一時停止標識Ｍ３だけが写っている場合が想定される。この場合、選択処理（Ｓ１６）において、ｙ座標が最も大きい交点に対応する候補を選択すると、一時停止標識Ｍ３を自車線の標識として誤って識別してしまう。
そこで、制御装置３は、対向車線側の線Ｌ２の端点Ｅよりもｙ座標が小さい交点Ｐ３に対応する一時停止標識Ｍ３を、画像Ｉ(n+1)中の候補から除外してもよい。
これにより、自車線の標識を、より正確に識別できる。
（３）また、図６に示すように、画像Ｉ(m)中に、別の車道の一時停止標識Ｍ４が写り込んでいる場合が想定される。この場合、候補Ｍ４を通る垂線Ｌ６と対向車線側の線Ｌ２との交点Ｐ４のｙ座標は、候補Ｍ１を通る垂線Ｌ３と自車線側の線Ｌ１との交点Ｐ１のｙ座標よりも大きくなる。この場合も、選択処理（Ｓ１６）において、ｙ座標が最も大きい交点に対応する候補を選択すると、一時停止標識Ｍ４を自車線の標識として誤って識別してしまう。
そこで、制御装置３は、候補Ｍ１、Ｍ４の面積（画素数）を計算し、面積とｙ座標との相関を示す関数Ｆ（図７参照）に基づいて、面積に対してｙ座標が大きすぎる場合（図７のエリアＡ１に該当する場合）、画像Ｉ(m)中の候補から除外してもよい。
これにより、制御装置３は、選択処理（Ｓ１６）において、関数Ｆに基づいて、面積に対してｙ座標が妥当な範囲（図７のエリアＡ１に該当する場合）にある候補Ｍ１を、選択でき、自車線の標識を、より正確に識別できる。
１ 標識識別システム
２ カメラ
３ 制御装置
Ｉ(n) 画像
Ｌ１、Ｌ２ 線
Ｌ３～Ｌ５ 垂線
Ｍ１～Ｍ３ 候補
Ｐ１～Ｐ３ 交点
Ｓ１１ 標識抽出処理
Ｓ１２ 車線抽出処理
Ｓ１４ 交点抽出処理
Ｓ１６ 選択処理

Claims (2)

  1. 車両の前方を撮影するカメラと、
    前記カメラが撮影した画像に基づいて特定の道路標識を識別する制御装置と、
    を備え、
    前記制御装置は、
    前記特定の道路標識の形状に基づいて、前記画像から、前記特定の道路標識の候補を抽出する標識抽出処理と、
    前記画像から、車線を区画する線を抽出する車線抽出処理と、
    前記候補を通る垂線と前記線との交点を抽出する交点抽出処理と、
    前記候補の面積を計算する面積抽出処理と、
    前記垂線が延びる方向における前記交点の座標と前記面積との相関を示す関数に基づいて、前記垂線が延びる方向における前記交点の座標が、前記面積に対し、自車線側の候補が含まれ対向車線側の候補が除外される特定の範囲内にある候補を選択する選択処理と
    を実行することを特徴とする、標識識別システム。
  2. 車両の前方を撮影するカメラと、
    前記カメラが撮影した画像に基づいて特定の道路標識を識別する制御装置と、
    を備え、
    前記制御装置は、
    前記特定の道路標識の形状に基づいて、前記画像から、前記特定の道路標識の候補を抽出する標識抽出処理と、
    前記画像から、車線を区画する線として、自車線側の線と対向車線側の線とを抽出する車線抽出処理と、
    前記候補を通る垂線と、前記自車線側の線または前記対向車線側の線との交点を抽出する交点抽出処理と、
    前記候補を通る垂線が前記自車線側の線と交わる場合、前記候補を自車線側の候補として選択し、その後、前記自車線側の候補のうち、交点の座標が前記車両に最も近い候補を選択する選択処理と
    を実行することを特徴とする、標識識別システム。
JP2020030728A 2020-02-26 2020-02-26 標識識別システム Active JP7405643B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020030728A JP7405643B2 (ja) 2020-02-26 2020-02-26 標識識別システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020030728A JP7405643B2 (ja) 2020-02-26 2020-02-26 標識識別システム

Publications (2)

Publication Number Publication Date
JP2021135678A JP2021135678A (ja) 2021-09-13
JP7405643B2 true JP7405643B2 (ja) 2023-12-26

Family

ID=77661304

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020030728A Active JP7405643B2 (ja) 2020-02-26 2020-02-26 標識識別システム

Country Status (1)

Country Link
JP (1) JP7405643B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257299A (ja) 2006-03-23 2007-10-04 Honda Motor Co Ltd 車外認識装置
JP2017102665A (ja) 2015-12-01 2017-06-08 株式会社デンソー 運転支援装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257299A (ja) 2006-03-23 2007-10-04 Honda Motor Co Ltd 車外認識装置
JP2017102665A (ja) 2015-12-01 2017-06-08 株式会社デンソー 運転支援装置

Also Published As

Publication number Publication date
JP2021135678A (ja) 2021-09-13

Similar Documents

Publication Publication Date Title
KR102421855B1 (ko) 주행 차로를 식별하는 방법 및 장치
KR102541559B1 (ko) 관심 객체를 검출하는 방법 및 장치
US11113544B2 (en) Method and apparatus providing information for driving vehicle
US11486727B2 (en) Map generation device, map generation method, and map generation computer program
WO2020000251A1 (zh) 基于摄像机协同接力的路口违章视频识别方法
CN106170828B (zh) 外界识别装置
JP4680131B2 (ja) 自車位置測定装置
US7894632B2 (en) Apparatus and method of estimating center line of intersection
CN109074742B (zh) 周边认知装置、周边认知方法和计算机可读取的记录介质
US8050460B2 (en) Method for recognition of an object
JP6688090B2 (ja) 物体認識装置および物体認識方法
JP6303362B2 (ja) マップマッチング装置及びこれを備えたナビゲーション装置
KR20200045693A (ko) 캘리브레이션 방법 및 장치
CN114729803A (zh) 更新地图数据
JP6129268B2 (ja) 車両用運転支援システムおよび運転支援方法
CN110879943A (zh) 一种图像数据处理方法及***
JP4951481B2 (ja) 路面標示認識装置
KR20200028679A (ko) 차선을 검출하는 방법 및 장치
CN113869440A (zh) 图像处理方法、装置、设备、介质及程序产品
JP7405643B2 (ja) 標識識別システム
CN114729810A (zh) 人行横道检测
CN116524454A (zh) 物体追踪装置、物体追踪方法及存储介质
US20150178577A1 (en) Image processing apparatus, and image processing method
CN110736991B (zh) 车辆雷达控制装置和方法
US20220058416A1 (en) Printed character recognition

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221104

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231214

R150 Certificate of patent or registration of utility model

Ref document number: 7405643

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150