JP5370375B2 - 画像認識装置 - Google Patents

Description

本発明は、画像中の円形標識の認識を行う画像認識装置に関するものである。

従来から、画像中の規制標識の認識を行う技術が知られている。例えば特許文献１には、カメラで撮像した撮像画像から２つの円を検出し、この２つの円が同心であること、および半径の比率が一定値であることをもとに、撮像画像中の制限速度規制標識を認識する技術が開示されている。

特開平１１−２０３４５８号公報

しかしながら、特許文献１に開示の技術では、撮像画像中の制限速度規制標識を認識する際に、必ず半径が異なる２つの円を検出する必要があるため、円を１つしか検出できなかった場合には制限速度規制標識を認識できないという問題を有していた。つまり、撮像画像中の円形標識を精度良く認識できないという問題点を有していた。

本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、撮像画像中の円形標識をより精度良く認識することを可能にする画像認識装置を提供することにある。

請求項１の画像認識装置においては、車両の前方を撮像した撮像画像から円検出部で円を検出し、前記撮像画像のうち、検出した円に内接する内接四角形の内部領域、および内接四角形と円検出部で検出した円に外接する外接四角形との間の所定領域のうちの少なくともいずれかの領域である比率判断領域の色の比率をもとに、標識認識手段が円形標識を認識することになる。

円形標識であれば、比率判断領域の配色の比率が定まっている。よって、請求項１の構成のように、撮像画像の特定の範囲内における色の比率をもとに円形標識であることを精度良く認識することが可能になる。また、請求項１の構成によれば、円を１つ検出しさえすれば円形標識の認識が可能になるので、半径が異なる２つの円が存在する円形標識について、２つの円のうちの一方しか検出できない状況であっても円形標識であることを精度良く認識することができる。さらに、請求項１の構成によれば、円を１つ検出しさえすれば円形標識の認識が可能になるので、円が１つしか存在しない円形標識についても、円形標識であることを精度良く認識することができる。従って、撮像画像中の円形標識をより精度良く認識することが可能になる。

円形標識であれば、前述したように比率判断領域の配色の比率が定まっているため、請求項２の構成のように、特定の範囲内における撮像画像の所定の色相の領域、所定の彩度の領域、および所定の明度の少なくともいずれかの比率をもとに円形標識であることを精度良く認識することができる。

円形標識は、前述したように比率判断領域の配色の比率が定まっているため、請求項３の構成のように、カラー画像の特定の範囲内における所定の色相の領域および所定の彩度の領域のうちの少なくともいずれかの比率をもとに円形標識であることを精度良く認識することができる。

外周部が赤色の円形規制標識である赤色円形規制標識は、比率判断領域の配色の比率が定まっているため、請求項４の構成のように、カラー画像の特定の範囲内における所定の色相の領域および所定の彩度の領域のうちの少なくともいずれかの比率をもとに円形標識であることを精度良く認識することができる。

所定の色相の領域および所定の彩度の領域のうちの少なくともいずれかの比率をもとに円形標識を認識する場合、請求項５のように、内接四角形の内部領域に対する無彩色の領域の比率をもとに赤色円形規制標識を認識することが好ましい。赤色円形規制標識では無彩色の領域の比率がほぼ定まっているため、特定の範囲内における無彩色の領域の比率をもとに赤色円形規制標識であることを精度良く認識することができる。

請求項５のようにする場合には、請求項６のように内接四角形の内部領域に対する無彩色の領域の比率が第１の所定割合以上であることをもとに赤色円形規制標識を認識することが好ましい。赤色円形規制標識は、一般的に赤枠、白地、青記号の配色となっており、指定などを表示する青地、白記号の円形規制標識に比べ、白色の割合が多い。よって、無彩色の領域の比率が第１の所定割合以上であることをもとにして、赤色円形規制標識を青地、白記号の円形規制標識等と区別して認識することができる。

また、所定の色相の領域および所定の彩度の領域のうちの少なくともいずれかの比率をもとに赤色円形規制標識を認識する場合、請求項７のように、内接四角形の内部領域に対する赤色の領域の比率をもとに赤色円形規制標識を認識することが好ましい。赤色円形規制標識では赤色の領域の比率がほぼ定まっているため、特定の範囲内における赤色の領域の比率をもとに赤色円形規制標識であることを精度良く認識することができる。

請求項７のようにする場合には、請求項８のように内接四角形の内部領域に対する赤色の領域の比率が第２の所定割合以下であることをもとに赤色円形規制標識を認識することが好ましい。赤色円形規制標識は、赤枠、白地、青記号の配色となっており、白地に比べて赤枠の領域が少なくなっているものが多い。よって、赤色の領域の比率が第２の所定割合以下であることをもとにして、赤色円形規制標識を精度良く認識することができる。

また、所定の色相の領域および所定の彩度の領域のうちの少なくともいずれかの比率をもとに赤色円形規制標識を認識する場合、請求項９のように、内接四角形と外接四角形との間の所定領域に対する赤色の領域の比率をもとに赤色円形規制標識を認識することが好ましい。赤色円形規制標識では赤色の領域の比率がほぼ定まっているため、特定の範囲内における赤色の領域の比率をもとに赤色円形規制標識であることを精度良く認識することができる。

また、請求項５〜９の構成を組み合わせ、赤色円形規制標識を認識する場合の条件を増やすことで、赤色円形規制標識であることをさらに精度良く認識することができるため、請求項５〜９の構成を種々に組み合わせることがさらに好ましい。

請求項１０の構成によれば、種類の識別を行う対象となる円形標識を精度良く絞り込んだ上で種類の識別を行うので、円形標識の種類の識別の処理の負荷を低減することができる。

標識認識システム１００の概略的な構成を示すブロック図である。 （ａ）は自車両を左方向から見た模式図であって、（ｂ）は自車両を上から見た模式図である。 標識認識装置２の動作フローを示すフローチャートである。 速度規制標識判定処理のフローの一例を示すフローチャートである。 第１条件判定処理のフローの一例を示すフローチャートである。 第１条件判定処理での各ピクセルの処理の順番を示す模式図である。 （ａ）は円検出処理で赤色円形規制標識の外形の円を検出した場合の例を示す模式図であり、（ｂ）は円検出処理で赤色円形規制標識の内部の円を検出した場合の例を示す模式図である。 第２条件判定処理のフローの一例を示すフローチャートである。 内接四角形と外接四角形との間の所定の領域Ｆ〜Ｉおよび第２条件判定処理の処理順を説明するための模式図である。 円検出処理で赤色円形規制標識の外形の円を検出した場合の内接四角形Ｅと外接四角形Ｊとの間の領域の一例を示す模式図である。 第３条件判定処理のフローの一例を示すフローチャートである。 内接四角形と外接四角形との間の所定の領域Ｋ〜Ｎおよび第３条件判定処理の処理順を説明するための模式図である。 円検出処理で赤色円形規制標識の内部の円を検出した場合の内接四角形Ｅと外接四角形Ｊとの間の領域の一例を示す模式図である。

以下、本発明の実施形態について図面を用いて説明する。図１は、本発明が適用された標識認識システム１００の概略的な構成を示すブロック図である。図１に示す標識認識システム１００は、車両に搭載されるものであり、カラーカメラ１、標識認識装置２、ディスプレイ３、スピーカ４、インジケータ５、エンジンＥＣＵ６、およびブレーキＥＣＵ７を含んでいる。なお、標識認識システム１００を搭載している車両を以降では自車両と呼ぶ。

カラーカメラ１は、図２（ａ）および図２（ｂ）に示すように、自車両において例えばルームミラー近傍に取り付けられ、自車両の前方の所定範囲を撮影する。図２（ａ）は自車両を左方向から見た模式図であって、図２（ｂ）は自車両を上から見た模式図である。他にもカラーカメラ１を車両のフロント等に設ける構成としてもよい。カラーカメラが請求項の撮像装置に相当する。

カラーカメラ１は、レンズ１１を含む光学系と撮像素子１２とにより構成される。カラーカメラ１では、レンズ１１を含む光学系を通して撮像素子１２に入力された光学画像情報を撮像画像データ（ＲＧＢ信号）に変換してカラー画像を得て、そのカラー画像を標識認識装置２へ出力する。以降では、このカラー画像を撮像画像と呼ぶものとする。撮像素子１２は撮像対象の光学画像を画像データに変換する素子であり、ＣＣＤ（Charge Coupled Device）等が使用される。また本実施形態では、撮影画像の全てのピクセルはＲ値（赤色度合い）、Ｇ値（緑色度合い）、Ｂ値（青色度合い）の各々が０〜２５５のディジタル値であるＲＧＢ値で表される。

標識認識装置２は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ等よりなるマイクロコンピュータを主体として構成され、カラーカメラ１から入力される撮像画像データをもとに、ＲＯＭに記憶された各種の制御プログラムを実行することで速度規制標識を認識する処理を実行する。標識認識装置２が請求項の画像認識装置に相当する。標識認識装置２は、図１に示すように機能ブロックとして、検出画像作成部２１、標識検出処理部２２、および標識識別処理部２３を備えている。

ディスプレイ３は、車載用の小型ディスプレイであり、標識認識装置２から出力された画像データを取得し、当該画像データの示す画像を表示する。画像の表示に関しては、例えば車載ナビゲーション装置で利用するディスプレイを用いる構成としてもよいし、車載用のヘッドアップディスプレイを用いることとしてもよい。

スピーカ４は、車載用の小型スピーカであり、標識認識装置２から出力された音声信号を取得し、当該音声信号の示す音声を出力する。音声の出力に関しては、例えば車載ナビゲーション装置で利用するスピーカを用いる構成としてもよいし、車載オーディオのスピーカを用いる構成としてもよい。インジケータ５は、例えばＬＥＤであり、標識認識装置２から出力される信号を取得すると点灯する。なお、ＬＥＤの点灯の代わりに、ＬＥＤを点滅させる構成としてもよい。

エンジンＥＣＵ６は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ等よりなるマイクロコンピュータを主体として構成され、入力される情報をもとに、ＲＯＭに記憶された各種の制御プログラムを実行することでエンジン出力の制御に関する各種の処理を実行する。ブレーキＥＣＵ７は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ等よりなるマイクロコンピュータを主体として構成され、入力される情報をもとに、ＲＯＭに記憶された各種の制御プログラムを実行することで自車両の制動に関する各種の処理を実行する。

続いて、図３を用いて、標識認識装置２の動作フローについての説明を行う。図３は、標識認識装置２の動作フローを示すフローチャートである。なお、本フローは、カラーカメラ１から撮像画像データが入力されたときに開始される。

まず、ステップＳ１では、カラーカメラ１から入力される撮像画像を取得し、例えばＲＡＭ等の一時保存メモリに格納してステップＳ２に移る。

ステップＳ２では、検出画像作成部２１が検出画像作成処理を行ってステップＳ３に移る。検出画像作成処理では、後のハフ変換のために公知のエッジ検出を撮像画像に対して行う。検出画像作成処理では、例えば鏡像に変換する鏡像変換やレンズの特性で画像周辺部に生じる歪みを補正する歪み補正等の画像処理も行う構成としてもよい。

ステップＳ３では、標識検出処理部２２が円検出処理を行ってステップＳ４に移る。よって、標識検出処理部２２が請求項の円検出部に相当する。円検出処理では、ステップＳ２で画像処理を行った撮像画像から円を検出する。撮像画像からの円の検出については、例えば公知の円ハフ（Hough）変換を利用すればよい。円検出処理では、円を検出する際に円の中心の座標と円の半径の情報も得られるものとする。

ステップＳ４では、標識検出処理部２２が速度規制標識判定処理を行ってステップＳ５に移る。ここで、図４のフローチャートを用いて、速度規制標識判定処理の概略について説明を行う。図４は、速度規制標識判定処理のフローの一例を示すフローチャートである。

ステップＳ１０１では、候補領域抽出処理を行ってステップＳ１０２に移る。候補領域抽出処理では、円検出処理で検出した円に外接する四角形（以下、外接四角形）に相当する撮像画像の領域を候補領域として抽出する。詳しくは、撮像画像中での円の上端のピクセル座標のｙ座標値Ａ、下端のピクセル座標のｙ座標値Ｂ、左端のピクセル座標のｘ座標値Ｃ、右端のピクセル座標のｘ座標値Ｄをもとに、ピクセル座標（Ｃ，Ａ）、（Ｄ，Ａ）、（Ｃ，Ｂ）、（Ｄ，Ｂ）の４点で囲まれる領域を外接四角形の領域として抽出する。ここで、ピクセル座標は左右方向（以下、ｘ軸方向）と上下方向（以下、ｙ軸方向）との２軸で表され、左上の隅のピクセル座標を（０，０）とするものとし、以降の説明でも同様とする。

ステップＳ１０２では、第１条件判定処理を行って、ステップＳ１０３に移る。ここで、図５のフローチャートを用いて、第１条件判定処理の概略について説明を行う。図５は、第１条件判定処理のフローの一例を示すフローチャートである。

第１条件判定処理では、円検出処理で検出した円に内接する四角形（図６のＥ参照）の内部領域に対して、左上のピクセルから右下のピクセルまで順番に処理を行う。詳しくは、左端のピクセルから右端のピクセルまでの処理を行った後、１ピクセル下の左端のピクセルに移って上記処理を繰り返すことによって、左上のピクセルから右下のピクセルまで順番に処理を行う（図６の矢印参照）。この内接四角形の内部領域が請求項の比率判断領域に相当する。

ステップＳ１００１では、円検出処理で検出した円に内接する四角形（以下、内接四角形）を算出し、ステップＳ１００２に移る。内接四角形の算出では、候補領域抽出処理で抽出した外接四角形に相当する撮像画像の領域の左上から右下への対角線と上記円とが交わる点の座標を算出する。詳しくは、上記円の中心の座標から上記円の半径分だけで離れた上記対角線上の点を算出する。そして、このようにして算出された左上の点（Ｘ１_Ｓ，Ｙ１_Ｓ）と右下の点（Ｘ１_Ｅ，Ｙ１_Ｅ）とをそれぞれ左上の頂点、右下の頂点とする四角形を内接四角形として算出する。

内接四角形は、言い換えると上記外接四角形の各辺とそれぞれ平行な辺を持つ四角形であって、且つ、軸方向の辺とｙ軸方向の辺との比が上記外接四角形のｘ軸方向の辺とｙ軸方向の辺と同じ四角形であって、例えば正方形である。

ステップＳ１００２では、左上の点（Ｘ１_Ｓ，Ｙ１_Ｓ）から以下の処理を開始し、ステップＳ１００３に移る。つまり、ｘ＝Ｘ１_Ｓ、ｙ＝Ｙ１_Ｓとして以下の処理を開始する。デフォルトでは、内接四角形の内部領域の総ピクセル数（all_pix）＝０、内接四角形の内部領域の赤色ピクセル数（red_pix）＝０、内接四角形の内部領域の無彩色ピクセル数（achroma_pix）＝０となっているものとする。all_pixは内接四角形の内部領域の総面積、red_pixは内接四角形の内部領域の赤色の領域の面積、achroma_pixは内接四角形の内部領域の無彩色の領域の面積に相当する。

ステップＳ１００３では、ｙ≦Ｙ１_Ｅであった場合（ステップＳ１００３でＹＥＳ）には、ステップＳ１００４に移る。また、ｙ≦Ｙ１_Ｅでなかった場合（ステップＳ１００３でＮＯ）には、ステップＳ１０１２に移る。

ステップＳ１００４では、ｘ≦Ｘ１_Ｅであった場合（ステップＳ１００４でＹＥＳ）には、ステップＳ１００５に移る。また、ｘ≦Ｘ１_Ｅでなかった場合（ステップＳ１００４でＮＯ）には、ステップＳ１０１１に移る。

ステップＳ１００５では、all_pixを１加算してステップＳ１００６に移る。ステップＳ１００６では、対象となっている座標（ｘ，ｙ）のピクセルが赤色であるか否かを判定する。詳しくは、Ｒ値（Ｒ_ＸＹ）からＧ値（Ｇ_ＸＹ）を差し引いた差分とＲ値（Ｒ_ＸＹ）からＢ値（Ｂ_ＸＹ）を差し引いた差分との両方が０よりも大きい場合（つまり、Ｒ_ＸＹ−Ｇ_ＸＹ＞０＆＆Ｒ_ＸＹ−Ｂ_ＸＹ＞０）に、対象となっている座標（ｘ，ｙ）のピクセルが赤色であると判定する。

そして、対象となっている座標（ｘ，ｙ）のピクセルが赤色であると判定した場合（ステップＳ１００６でＹＥＳ）には、ステップＳ１００７に移る。また、対象となっている座標（ｘ，ｙ）のピクセルが赤色であると判定しなかった場合（ステップＳ１００６でＮＯ）には、ステップＳ１００９に移る。

ステップＳ１００７では、red_pixを１加算してステップＳ１００８に移る。ステップＳ１００８では、対象となっている座標のｘ座標値に１加算した座標を新たな処理の対象とし、ステップＳ１００４に戻ってフローを繰り返す。

ステップＳ１００９では、対象となっている座標（ｘ，ｙ）のピクセルが無彩色であるか否かを判定する。詳しくは、Ｒ値（Ｒ_ＸＹ）からＧ値（Ｇ_ＸＹ）を差し引いた差分の絶対値とＲ値（Ｒ_ＸＹ）からＢ値（Ｂ_ＸＹ）を差し引いた差分の絶対値とＢ値（Ｂ_ＸＹ）からＧ値（Ｇ_ＸＹ）を差し引いた差分の絶対値とを加算した値が所定の閾値（ACHROMA_TH）よりも小さいか否かを判定する。そして、肯定判定した場合（つまり、abs（Ｒ_ＸＹ−Ｇ_ＸＹ）＋abs（Ｒ_ＸＹ−Ｂ_ＸＹ）+ abs（Ｂ_ＸＹ−Ｇ_ＸＹ）＜ACHROMA_TH）に、対象となっている座標（ｘ，ｙ）のピクセルが無彩色であると判定する。ここで言うところの所定の閾値とは、無彩色と言える程度の値を区別できる値であればよく、任意に設定可能な値である。

ステップＳ１００９では、対象となっている座標（ｘ，ｙ）のピクセルが無彩色であると判定した場合（ステップＳ１００９でＹＥＳ）には、ステップＳ１０１０に移る。また、対象となっている座標（ｘ，ｙ）のピクセルが無彩色であると判定しなかった場合（ステップＳ１００９でＮＯ）には、ステップＳ１００８に移る。

ステップＳ１０１０では、achroma_pixを１加算してステップＳ１００８に移る。ステップＳ１０１１では、対象となっている座標のｙ座標値に１加算するとともに、ｘ座標値をＸ１_Ｓとした座標を新たな処理の対象とし、ステップＳ１００３に戻ってフローを繰り返す。

ステップＳ１０１２では、内接四角形の内部領域の無彩色の領域の面積（以下、無彩色領域面積）が内部領域の総面積（以下、内接四角形総面積）に対して第１の一定割合（ｋ_１）以上であって、且つ、内接四角形の内部領域の赤色の領域の面積（以下、第１赤色領域面積）が内接四角形総面積に対して第２の一定割合（ｋ_２）以下であるか否かを判定する。

無彩色領域面積の内接四角形総面積に対する比率がｋ_１以上であるか否かについては、積算されたachroma_pixを積算されたall_pixで除算し、得られた値がｋ_１以上であるかを判定することで行う。また、第１赤色領域面積の内接四角形総面積に対する比率がｋ_２以下であるか否かについては、積算されたred _pixを積算されたall_pixで除算し、得られた値がｋ_２以下であるかを判定することで行う。

ここで言うところの第１の一定割合（ｋ_１）とは、既存の外周部が赤色の円形規制標識（以下、赤色円形規制標識）における無彩色領域面積の比率をもとに予め設定される値であって、任意に設定可能な値である。また、第２の一定割合（ｋ_２）とは、既存の赤色円形規制標識における第１赤色領域面積の比率をもとに予め設定される値であって、任意に設定可能な値である。

より詳しくは、ｋ_１は既存の赤色円形規制標識の外形の円の内接四角形と内部の円の内接四角形との両方の領域における無彩色領域面積の内接四角形総面積に対する比率を少なくとも下回るように設定されている。これにより、円検出処理で検出された円が外形の円であっても内部の円であっても、同じｋ_１の値を用いてステップＳ１０１２の判定を同様に行うことができるようになっている（図７（ａ）および図７（ｂ）参照）。図７（ａ）は円検出処理で赤色円形規制標識の外形の円を検出した場合の内接四角形Ｅの内部領域の一例を示しており、図７（ｂ）は円検出処理で赤色円形規制標識の内部の円を検出した場合の内接四角形Ｅの一例を示している。

赤色円形規制標識では無彩色の領域の比率がほぼ定まっているため、特定の範囲内における無彩色の領域の比率をもとに赤色円形規制標識であることを精度良く認識することができる。また、赤色円形規制標識は、一般的に赤枠、白地、青記号の配色となっており、指定などを表示する青地、白記号の円形規制標識に比べ、白色の割合が多い。よって、無彩色の領域の比率がｋ_１以上であることをもとにして、赤色円形規制標識を青地、白記号の円形規制標識等と区別して認識することが可能になる。

また、ｋ_２については、既存の赤色円形規制標識の外形の円の内接四角形と内部の円の内接四角形との両方の領域における第１赤色領域面積の内接四角形総面積に対する比率を少なくとも上回るように設定されている。これにより、円検出処理で検出された円が外形の円であっても内部の円であっても、同じｋ_２の値を用いてステップＳ１０１２の判定を同様に行うことができるようになっている（図７（ａ）および図７（ｂ）参照）。なお、第１の一定割合（ｋ_１）が請求項の第１の所定割合に相当し、第２の一定割合（ｋ_２）が請求項の第２の所定割合に相当する。

赤色円形規制標識では赤色の領域の比率がほぼ定まっているため、特定の範囲内における赤色の領域の比率をもとに赤色円形規制標識であることを精度良く認識することができる。また、赤色円形規制標識は、赤枠、白地、青記号の配色となっており、白地に比べて赤枠の領域が少なくなっているものが多い。よって、赤色の領域の比率がｋ_２以下であることをもとにして、赤色円形規制標識を精度良く認識することができる。

既存の赤色円形規制標識としては、例えば速度規制標識のように特定の種類の赤色円形規制標識を対象としてもよいし、車両進入禁止の標識を除く赤枠白地の赤色円形規制標識全体を対象としてもよい。

図５に戻って、ステップＳ１０１２では、無彩色領域面積が内接四角形総面積に対して第１の一定割合（ｋ_１）以上であって、且つ、第１赤色領域面積が内接四角形総面積に対して第２の一定割合（ｋ_２）以下であると判定した場合（ステップＳ１０１２でＹＥＳ）には、ステップＳ１０１３に移る。また、無彩色領域面積が内接四角形総面積に対して第１の一定割合（ｋ_１）以上であって、且つ、第１赤色領域面積が内接四角形総面積に対して第２の一定割合（ｋ_２）以下であると判定しなかった場合（ステップＳ１０１２でＮＯ）には、ステップＳ１０１４に移る。ステップＳ１０１３では、条件を満たしたと判定してステップＳ１０３に移る。また、ステップＳ１０１４では、条件を満たさなかったと判定してステップＳ１０３に移る。

図４に戻って、ステップＳ１０３では、第１条件判定処理で条件を満たしたと判定された場合（ステップＳ１０３でＹＥＳ）には、ステップＳ１０４に移る。また、第１条件判定処理で条件を満たしたと判定されなかった場合（ステップＳ１０３でＮＯ）には、ステップＳ１０９に移る。

ステップＳ１０４では、第２条件判定処理を行って、ステップＳ１０５に移る。ここで、図８のフローチャートを用いて、第２条件判定処理の概略について説明を行う。図８は、第２条件判定処理のフローの一例を示すフローチャートである。

第２条件判定処理では、円検出処理で検出した円の内接四角形と外接四角形との間の所定の領域（図９中のＦ、Ｇ、Ｈ、Ｉ）の各々に対して、領域内の左上のピクセルから右下のピクセルまで順番に処理を行う（図９の矢印参照）。詳しくは、左端のピクセルから右端のピクセルまでの処理を行った後、１ピクセル下の左端のピクセルに移って上記処理を繰り返すことによって、左上のピクセルから右下のピクセルまで順番に処理を行う。また、以下のｉは０〜３まであり、ｉ＝０がＦの領域、ｉ＝１がＧの領域、ｉ＝２がＨの領域、ｉ＝３がＩの領域に該当する。この内接四角形と外接四角形との間の所定の領域Ｆ〜Ｉが請求項の比率判断領域に相当する。

ステップＳ２００１では、Ｆの領域については、領域内の左上の点（ｘ_ｓ［０］，ｙ_ｓ［０］）を（０，Ｙ１_Ｓ）、右下の点（ｘ_ｅ［０］，ｙ_ｅ［０］）を（Ｘ１_Ｓ−１，Ｙ１_Ｅ）とする。Ｇの領域については、領域内の左上の点（ｘ_ｓ［１］，ｙ_ｓ［１］）を（Ｘ１_Ｅ＋１，Ｙ１_Ｓ）、右下の点（ｘ_ｅ［１］，ｙ_ｅ［１］）を（ＷＩＤＴＨ−１，Ｙ１_Ｅ）とする。ここで言うところのＷＩＤＴＨとは、外接四角形のｘ軸方向の長さの値である。Ｈの領域については、領域内の左上の点（ｘ_ｓ［２］，ｙ_ｓ［２］）を（Ｘ１_Ｓ，０）、右下の点（ｘ_ｅ［２］，ｙ_ｅ［２］）を（Ｘ１_Ｅ，Ｙ１_Ｓ−１）とする。Ｉの領域については、領域内の左上の点（ｘ_ｓ［３］，ｙ_ｓ［３］）を（Ｘ１_Ｓ，Ｙ１_Ｅ＋１）、右下の点（ｘ_ｅ［３］，ｙ_ｅ［３］）を（Ｘ１_Ｅ，ＨＥＩＧＨＴ−１）とする。ここで言うところのＨＥＩＧＨＴとは、外接四角形のｙ軸方向の長さの値である。

ステップＳ２００１では、デフォルトでは、ｉ＝０、ｘ＝０、ｙ＝０、Ｆ〜Ｉの領域の総ピクセル数（all_pix）＝０、Ｆ〜Ｉの領域の赤色ピクセル数（red_pix）＝０となっているものとする。第２条件判定処理におけるall_pixはＦ〜Ｉの領域の総面積、red_pixはＦ〜Ｉの領域の赤色の領域の総面積に相当する。なお、Ｆ〜Ｉの領域は、内接四角形の各頂点から外接四角形の各辺に垂線を引いた場合にその垂線と内接四角形の各辺と外接四角形の各辺とで囲まれる領域であって、請求項の内接四角形と外接四角形との間の所定領域に相当する。

続いて、ステップＳ２００２では、ｉ＜４であった場合（ステップＳ２００２でＹＥＳ）には、ステップＳ２００３に移る。また、ｉ＜４でなかった場合（ステップＳ２００２でＮＯ）には、ステップＳ２０１２に移る。

ステップＳ２００３では、対象とする領域についての左上の点（ｘ_ｓ［ｉ］，ｙ_ｓ［ｉ］）から以下の処理を開始し、ステップＳ２００４に移る。例えば、対象とする領域がＦである場合には、（ｘ_ｓ［０］，ｙ_ｓ［０］）＝（０，Ｙ１_Ｓ）なので、ｘ＝０、ｙ＝Ｙ１_Ｓとして以下の処理を開始する。

ステップＳ２００４では、ｙ≦ｙ_ｅ［ｉ］であった場合（ステップＳ２００４でＹＥＳ）には、ステップＳ２００５に移る。また、ｙ≦ｙ_ｅ［ｉ］でなかった場合（ステップＳ２００４でＮＯ）には、ステップＳ２０１１に移る。例えば、対象とする領域がＦである場合には、ｙ_ｅ［０］＝Ｙ１_Ｅであるので、ｙ≦Ｙ１_Ｅであるか否かに応じて処理を進める。

ステップＳ２００５では、ｘ≦ｘ_ｅ［ｉ］であった場合（ステップＳ２００５でＹＥＳ）には、ステップＳ２００６に移る。また、ｘ≦ｘ_ｅ［ｉ］でなかった場合（ステップＳ２００５でＮＯ）には、ステップＳ２０１０に移る。例えば、対象とする領域がＦである場合には、ｘ_ｅ［０］＝Ｘ１_Ｓ−１であるので、ｘ≦Ｘ１_Ｓ−１であるか否かに応じて処理を進める。

ステップＳ２００６では、all_pixを１加算してステップＳ２００７に移る。ステップＳ２００７では、対象となっている座標（ｘ，ｙ）のピクセルが赤色であるか否かを判定する。詳しくは、Ｒ値（Ｒ_ＸＹ）からＧ値（Ｇ_ＸＹ）を差し引いた差分とＲ値（Ｒ_ＸＹ）からＢ値（Ｂ_ＸＹ）を差し引いた差分との両方が０よりも大きい場合（つまり、Ｒ_ＸＹ−Ｇ_ＸＹ＞０＆＆Ｒ_ＸＹ−Ｂ_ＸＹ＞０）に、対象となっている座標（ｘ，ｙ）のピクセルが赤色であると判定する。

そして、対象となっている座標（ｘ，ｙ）のピクセルが赤色であると判定した場合（ステップＳ２００７でＹＥＳ）には、ステップＳ２００８に移る。また、対象となっている座標（ｘ，ｙ）のピクセルが赤色であると判定しなかった場合（ステップＳ２００７でＮＯ）には、ステップＳ２００９に移る。

ステップＳ２００８では、red_pixを１加算してステップＳ２００９に移る。ステップＳ２００９では、対象となっている座標のｘ座標値に１加算した座標を新たな処理の対象とし、ステップＳ２００５に戻ってフローを繰り返す。

ステップＳ２０１０では、対象となっている座標のｙ座標値に１加算するとともに、ｘ座標値をｘ_ｓ［ｉ］とした座標を新たな処理の対象とし、ステップＳ２００４に戻ってフローを繰り返す。

ステップＳ２０１１では、ｉの数値に１加算して対象とする領域を変更し、ステップＳ２００２に戻ってフローを繰り返す。例えば、対象とする領域がＦであった場合には、０に１を加算した１を新しいｉの数値とし、対象とする領域をｉ＝１に対応するＧの領域に変更することになる。

ステップＳ２０１２では、Ｆ〜Ｉの領域の赤色の領域の総面積（以下、第２赤色領域面積）がＦ〜Ｉの領域の総面積（以下、第１所定領域総面積）に対して第３の一定割合（ｋ_３）以上であるか否かを判定する。

第２赤色領域面積の第１所定領域総面積に対する比率がｋ_３以上であるか否かについては、積算されたred_pixを積算されたall_pixで除算し、得られた値がｋ_３以上であるかを判定することで行う。ここで言うところの第３の一定割合（ｋ_１）とは、既存の赤色円形規制標識における赤色領域面積の比率をもとに予め設定される値であって、任意に設定可能な値である。

より詳しくは、ｋ_３は既存の赤色円形規制標識の外形の円の内接四角形と外接四角形との間のＦ〜Ｉの領域に相当する領域における第２赤色領域面積の第１所定領域総面積に対する比率を少なくとも下回るように設定されている。これにより、円検出処理で検出された円が外形の円であった場合に、ｋ_３の値を用いてステップＳ２０１２の判定を行うことができるようになっている（図１０参照）。図１０は円検出処理で赤色円形規制標識の外形の円を検出した場合の内接四角形Ｅと外接四角形Ｊとの間の領域の一例を示す模式図である。なお、図１０中の破線で囲った領域がＦ〜Ｉの領域に相当する領域である。

図８に戻って、ステップＳ２０１２では、第２赤色領域面積が第１所定領域総面積に対して第３の一定割合（ｋ_３）以上であると判定した場合（ステップＳ２０１２でＹＥＳ）には、ステップＳ２０１３に移る。また、第２赤色領域面積が第１所定領域総面積に対して第３の一定割合（ｋ_３）以上であると判定しなかった場合（ステップＳ２０１２でＮＯ）には、ステップＳ２０１４に移る。ステップＳ２０１３では、条件を満たしたと判定してステップＳ１０５に移る。また、ステップＳ２０１４では、条件を満たさなかったと判定してステップＳ１０５に移る。

本実施形態では、Ｆ〜Ｉの領域の赤色の領域の総面積がＦ〜Ｉの領域の総面積に対して第３の一定割合（ｋ_３）以上であるか否かを判定する構成を示したが、必ずしもこれに限らない。例えば、Ｆ〜Ｉの各領域の赤色の領域の面積がＦ〜Ｉの各領域の面積に対してそれぞれ第３の一定割合（ｋ_３）以上であるか否かを判定し、ｋ_３以上であると判定した領域の数が一定数以上であった場合に、条件を満たしたと判定する構成としてもよい。一例としては、Ｆ〜Ｉの領域のうち３つ以上の領域でｋ_３以上であると判定した場合に、条件を満たしたと判定する構成とすればよい。

図４に戻って、ステップＳ１０５では、第２条件判定処理で条件を満たしたと判定された場合（ステップＳ１０５でＹＥＳ）には、ステップＳ１０８に移る。また、第２条件判定処理で条件を満たしたと判定されなかった場合（ステップＳ１０５でＮＯ）には、ステップＳ１０６に移る。

ステップＳ１０６では、第３条件判定処理を行って、ステップＳ１０７に移る。ここで、図１１のフローチャートを用いて、第３条件判定処理の概略について説明を行う。図１１は、第３条件判定処理のフローの一例を示すフローチャートである。

第３条件判定処理では、円検出処理で検出した円の内接四角形と外接四角形との間の所定の領域（図１２中のＫ、Ｌ、Ｍ、Ｎ）の各々に対して、領域内の左上のピクセルから右下のピクセルまで順番に処理を行う。詳しくは、左端のピクセルから右端のピクセルまでの処理を行った後、１ピクセル下の左端のピクセルに移って上記処理を繰り返すことによって、左上のピクセルから右下のピクセルまで順番に処理を行う（図１２の矢印参照）。また、以下のｉは０〜３まであり、ｉ＝０がＫの領域、ｉ＝１がＬの領域、ｉ＝２がＭの領域、ｉ＝３がＮの領域に該当する。この内接四角形と外接四角形との間の所定の領域Ｋ〜Ｎが請求項の比率判断領域に相当する。

ステップＳ３００１では、Ｋの領域については、領域内の左上の点（ｘ_ｓ［０］，ｙ_ｓ［０］）を（０，０）、右下の点（ｘ_ｅ［０］，ｙ_ｅ［０］）を（Ｘ１_Ｓ−１，Ｙ１_Ｓ−１）とする。Ｌの領域については、領域内の左上の点（ｘ_ｓ［１］，ｙ_ｓ［１］）を（Ｘ１_Ｅ＋１，０）、右下の点（ｘ_ｅ［１］，ｙ_ｅ［１］）を（ＷＩＤＴＨ−１，Ｙ１_Ｓ−１）とする。Ｍの領域については、領域内の左上の点（ｘ_ｓ［２］，ｙ_ｓ［２］）を（０，Ｙ１_Ｅ＋１）、右下の点（ｘ_ｅ［２］，ｙ_ｅ［２］）を（Ｘ１_Ｓ−１，ＨＥＩＧＨＴ−１）とする。Ｎの領域については、領域内の左上の点（ｘ_ｓ［３］，ｙ_ｓ［３］）を（Ｘ１_Ｅ+１，Ｙ１_Ｅ＋１）、右下の点（ｘ_ｅ［３］，ｙ_ｅ［３］）を（ＷＩＤＴＨ−１，ＨＥＩＧＨＴ−１）とする。ここで言うところのＷＩＤＴＨとは、外接四角形のｘ軸方向の長さの値であり、ＨＥＩＧＨＴとは、外接四角形のｙ軸方向の長さの値である。

ステップＳ３００１では、デフォルトでは、ｉ＝０、ｘ＝０、ｙ＝０、Ｋ〜Ｎの領域の総ピクセル数（all_pix）＝０、Ｋ〜Ｎの領域の赤色ピクセル数（red_pix）＝０となっているものとする。第３条件判定処理におけるall_pixはＫ〜Ｎの領域の総面積、red_pixはＫ〜Ｎの領域の赤色の領域の総面積に相当する。なお、Ｋ〜Ｎの領域は、内接四角形の各頂点から外接四角形の各辺に垂線を引いた場合にその垂線と内接四角形の各辺と外接四角形の各辺とで囲まれる領域を内接四角形と外接四角形との間の領域から除いた領域であって、請求項の内接四角形と外接四角形との間の所定領域に相当する。

ステップＳ３００２〜ステップＳ３０１１では、ステップＳ２００２〜ステップＳ２０１１と同様の処理を行う。ステップＳ２００２〜ステップＳ２０１１と異なっているのは、対象とする領域がＫ〜Ｎの領域であるという点である。

ステップＳ３０１２では、Ｋ〜Ｎの領域の赤色の領域の総面積（以下、第３赤色領域面積）がＫ〜Ｎの領域の総面積（以下、第２所定領域総面積）に対して第４の一定割合（ｋ_４）以上であるか否かを判定する。

第３赤色領域面積の第２所定領域総面積に対する比率がｋ_４以上であるか否かについては、積算されたred_pixを積算されたall_pixで除算し、得られた値がｋ_４以上であるかを判定することで行う。ここで言うところの第４の一定割合（ｋ_１）とは、既存の赤色円形規制標識における赤色領域面積の比率をもとに予め設定される値であって、任意に設定可能な値である。

より詳しくは、ｋ_４は既存の赤色円形規制標識の外形の円の内接四角形と外接四角形との間のＦ〜Ｉの領域に相当する領域における第３赤色領域面積の第２所定領域総面積に対する比率を少なくとも下回るように設定されている。これにより、円検出処理で検出された円が内部の円であった場合に、ｋ_４の値を用いてステップＳ２０１２の判定を行うことができるようになっている（図１３参照）。図１３は円検出処理で赤色円形規制標識の内部の円を検出した場合の内接四角形Ｅと外接四角形Ｊとの間の領域の一例を示す模式図である。なお、図１３中の破線で囲った領域がＫ〜Ｎの領域に相当する領域である。

図１１に戻って、ステップＳ３０１２では、第３赤色領域面積が第２所定領域総面積に対して第４の一定割合（ｋ_４）以上であると判定した場合（ステップＳ３０１２でＹＥＳ）には、ステップＳ３０１３に移る。また、第３赤色領域面積が第２所定領域総面積に対して第４の一定割合（ｋ_４）以上であると判定しなかった場合（ステップＳ３０１２でＮＯ）には、ステップＳ３０１４に移る。ステップＳ３０１３では、条件を満たしたと判定してステップＳ１０７に移る。また、ステップＳ３０１４では、条件を満たさなかったと判定してステップＳ１０７に移る。

本実施形態では、Ｋ〜Ｎの領域の赤色の領域の総面積がＫ〜Ｎの領域の総面積に対して第４の一定割合（ｋ_４）以上であるか否かを判定する構成を示したが、必ずしもこれに限らない。例えば、Ｋ〜Ｎの各領域の赤色の領域の面積がＫ〜Ｎの各領域の面積に対してそれぞれ第４の一定割合（ｋ_４）以上であるか否かを判定し、ｋ_４以上であると判定した領域の数が一定数以上であった場合に、条件を満たしたと判定する構成としてもよい。一例としては、Ｋ〜Ｎの領域のうち３つ以上の領域でｋ_４以上であると判定した場合に、条件を満たしたと判定する構成とすればよい。

図４に戻って、ステップＳ１０７では、第３条件判定処理で条件を満たしたと判定された場合（ステップＳ１０７でＹＥＳ）には、ステップＳ１０８に移る。また、第３条件判定処理で条件を満たしたと判定されなかった場合（ステップＳ１０７でＮＯ）には、ステップＳ１０９に移る。ステップＳ１０８では、速度規制標識を認識した（速度規制標識が存在する）ものと標識検出処理部２２が判断してステップＳ５に移る。ステップＳ１０９では、速度規制標識を認識しなかったものと標識検出処理部２２が判断してステップＳ５に移る。よって、標識検出処理部２２が請求項の規制標識認識手段に相当する。

なお、本実施形態では、第１条件判定処理で条件を満たした場合に第２条件判定処理を行い、第２条件判定処理で条件を満たさなかった場合に第３条件判定処理を行う構成を示したが、必ずしもこれに限らない。例えば、第１条件判定処理で条件を満たした場合に第３条件判定処理を行い、第３条件判定処理で条件を満たさなかった場合に第２条件判定処理を行う構成としてもよい。

図３に戻って、ステップＳ５では、標識検出処理部２２が速度規制標識を認識したものと判断していた場合（ステップＳ５でＹＥＳ）には、ステップＳ６に移る。また、標識検出処理部２２が速度規制標識を認識しなかったものと判断していた場合（ステップＳ５でＮＯ）には、フローを終了する。

ステップＳ６では、標識識別処理部２３が速度規制標識識別処理を行ってフローを終了する。速度規制標識識別処理では、円検出処理で検出した円の内部領域に相当する撮像画像を抽出し、公知のパターンマッチングにより、速度規制標識内部に記載された速度制限値を認識する。具体的には、速度制限値別の速度規制標識の画像例を標識認識装置２のＥＥＰＲＯＭ等の不揮発性メモリ等に格納しておく。そして、この不揮発性メモリに格納されている画像例と円検出処理で検出した円の内部領域に相当する撮像画像との類似度をもとに、速度規制標識判定処理で認識した速度規制標識の種類（つまり、速度制限値）を特定する。よって、標識識別処理部２３が請求項の種類識別部に相当する。

パターンマッチングの具体的アルゴリズムは、種々の公知のものを採用できる。例えば予め速度制限値別の速度規制標識の画像例について機械学習して構築されたパターンを用いて、パターンマッチングする構成としてもよい。また、パターンが合致した割合を表すマッチング率の計算方法についても種々の公知の方法を採用できる。パターンマッチングは、円検出処理で検出した円の内部領域に相当する撮像画像以外にも、円の外接四角形の領域など、円が含まれる所定領域に相当する撮像画像を対象として行う構成としてもよい。

速度規制標識判定処理で速度規制標識の種類を特定した後は、特定した速度規制標識の種類に応じて標識認識装置２が種々の処理を行う。例えば、特定した速度規制標識の種類を示すアイコン画像やテキストをディスプレイ３に表示させてもよいし、特定した速度規制標識の種類を示す音声案内をスピーカ４から出力させてもよいし、特定した速度規制標識の種類に応じたインジケータ５を点灯や点滅させたりしてもよい。また、図示しない速度センサからのセンサ信号をもとに、特定した速度規制標識の速度制限値から自車両の速度が所定値以上となった場合に、エンジンＥＣＵ６に駆動力を低減させたり、ブレーキＥＣＵ７に制動力を増加させたりして、自車両の速度を減速させてもよい。

以上の構成によれば、円検出処理で検出した円の内接四角形に相当する領域や内接四角形と外接四角形との間の所定領域といった特定の範囲内における撮像画像の赤色や無彩色の比率をもとに速度規制標識であることを精度良く認識することができる。これは、速度規制標識は、赤枠、白地、青記号といった各要素の配色の比率がほぼ定まっているためである。

また、以上の構成によれば、第１条件判定処理と第２条件判定処理や第３条件判定処理とを組み合わせ、速度規制標識を認識する場合の条件を増やしているので、速度規制標識であることをさらに精度良く認識することができる。

他にも、以上の構成によれば、円を１つ検出しさえすれば速度規制標識の認識が可能になるので、速度規制標識について、２つの円のうちの一方しか検出できない状況であっても速度規制標識であることを精度良く認識することができる。

なお、前述の実施形態では、速度規制標識の認識を行って、速度規制標識の種類を特定する構成を示したが、必ずしもこれに限らない。例えば、速度規制標識以外の赤色円形規制標識の認識を行って、その赤色円形規制標識の種類を特定する構成としてもよい。この場合には、認識対象とする赤色円形規制標識の種類に応じてｋ_１〜ｋ_４の値を変更してもよいし、変更しない構成としてもよい。パターンマッチングに用いる画像例やパターンは認識対象とする赤色円形規制標識の種類に応じて変更すればよい。

他にも、赤色円形規制標識以外の円形標識の認識を行って、その円形標識の種類を特定する構成としてもよい。この場合には、認識対象とする円形標識の種類（詳しくは配色の比率）に応じてｋ_１〜ｋ_４の値を変更すればよい。パターンマッチングに用いる画像例やパターンも認識対象とする円形標識の種類に応じて変更すればよい。

また、前述の実施形態では、特定の範囲内における撮像画像の色の比率として、所定の色相（例えば赤色）の領域や所定の彩度（例えば無彩色）の領域の比率をもとに、円形標識を認識する構成を示したが、必ずしもこれに限らない。例えば、特定の範囲内における撮像画像の色の比率として、所定の明度の領域の比率をもとに、円形標識を認識する構成としてもよい。一例としては、速度規制標識を認識する場合には、標識中の赤色に相当する明度や白色に相当する明度を求めておき、特定の範囲内における撮像画像の赤色に相当する明度の領域や白色に相当する明度の領域の比率をもとに、赤色の領域や無彩色の領域の比率をもとにする場合と同様にして速度規制標識を認識する構成とすればよい。この場合には、カラーカメラ１の代わりにモノクロカメラを用いる構成としてもよい。

なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１ カラーカメラ（撮像装置）、２ 標識認識装置（画像認識装置）、３ ディスプレイ、４ スピーカ、５ インジケータ、６ エンジンＥＣＵ、７ ブレーキＥＣＵ、１１ レンズ、１２ 撮像素子、２１ 検出画像作成部、２２ 標識検出処理部（円検出部、標識認識手段）、２３ 標識識別処理部（種類識別部）、１００ 標識認識システム

Claims (10)

1. 車両に搭載される撮像装置で前記車両の前方を撮像した撮像画像から円を検出する円検出部を備える画像認識装置であって、
   前記撮像画像のうち、前記円検出部で検出した円に内接する内接四角形の内部領域、および前記内接四角形と前記円検出部で検出した円に外接する外接四角形との間の所定領域のうちの少なくともいずれかの領域である比率判断領域の色の比率をもとに、円形標識を認識する標識認識手段を備えることを特徴とする画像認識装置。
2. 請求項１において、
   前記標識認識手段は、色の比率として、前記比率判断領域に対する所定の色相の領域、所定の彩度の領域、および所定の明度の領域のうちの少なくともいずれかの比率をもとに、円形標識を認識することを特徴とする画像認識装置。
3. 請求項２において、
   前記円検出部は、車両に搭載されるカラーカメラで前記車両の前方を撮像したカラー画像の撮像画像から円を検出するものであって、
   前記標識認識手段は、色の比率として、前記比率判断領域に対する所定の色相の領域および所定の彩度の領域のうちの少なくともいずれかの比率をもとに、円形標識を認識することを特徴とする画像認識装置。
4. 請求項３において、
   前記標識認識手段は、色の比率として、前記比率判断領域に対する所定の色相の領域および所定の彩度の領域のうちの少なくともいずれかの比率をもとに、外周部が赤色の円形規制標識である赤色円形規制標識を認識することを特徴とする画像認識装置。
5. 請求項４において、
   前記標識認識手段は、前記内接四角形の内部領域に対する無彩色の領域の比率をもとに、前記赤色円形規制標識を認識することを特徴とする画像認識装置。
6. 請求項５において、
   前記標識認識手段は、前記内接四角形の内部領域に対する無彩色の領域の比率が第１の所定割合以上であることをもとに、前記赤色円形規制標識を認識することを特徴とする画像認識装置。
7. 請求項４〜６のいずれか１項において、
   前記標識認識手段は、前記内接四角形の内部領域に対する赤色の領域の比率をもとに、前記赤色円形規制標識を認識することを特徴とする画像認識装置。
8. 請求項７において、
   前記標識認識手段は、前記内接四角形の内部領域に対する赤色の領域の比率が第２の所定割合以下であることをもとに、前記赤色円形規制標識を認識することを特徴とする画像認識装置。
9. 請求項４〜８のいずれか１項において、
   前記標識認識手段は、前記内接四角形と前記外接四角形との間の所定領域に対する赤色の領域の比率をもとに、前記赤色円形規制標識を認識することを特徴とする画像認識装置。
10. 請求項１〜９のいずれか１項において、
    前記標識認識手段で円形標識を認識した場合に、前記円が含まれる所定領域および前記円の内部領域のうちのいずれかの領域に相当する撮像画像についてパターンマッチングを行うことにより、当該円形標識の種類を識別する種類識別部をさらに備えることを特徴とする画像認識装置。

Images