JP2006155126A - 車両番号認識装置 - Google Patents

Abstract

【課題】コントラストが低い画像や、斜めに撮影され幾何歪のある画像からも確実に車両番号を認識できる車両番号認識装置を提供することにある。
【解決手段】 ナンバープレート画像から、大文字列と小文字列に挟まれる隙間領域を直線として抽出し、抽出した直線からナンバープレートの画像上での傾き角を算出し、算出された傾き角により、前記ナンバープレート画像の傾き補正を行った後、前記ナンバープレート画像に含まれる文字列領域の切り出しを行うことを特徴とする。
【選択図】 図１

Description

本発明は、車両番号認識装置に関する。特に、簡易設置カメラから撮像したコントラストが低く、幾何歪のある画像からも確実に車両番号を認識できるように改良したものである。

従来の車両番号認識は、以下の方法により行われている。
先ず、対象のナンバープレート画像を入力した後、文字と背景を分離するために文字線の強調（２値化）を行い、ラベリング処理や輝度射影分布等を用いて文字らしい大きさの領域を抽出し、文字切り出し処理を行う。
続いて文字切り出しされた領域において、文字の形状特徴（例えば輪郭線の方向特徴など）を抽出し、パターン認識により文字を認識する。
特開２０００−３２２６８５ 特開２００３−１０８９２２

上記のような処理を行う際、路側のポールや車両内等に簡易に設置されたカメラから撮像した画像では、画像の幾何歪や、照明不十分によるコントラスト低下が発生する（画像が低品質化する）。
幾何歪の発生により文字が水平に並ばなくなるため、文字列位置の推定が困難となる。コントラスト低下により文字と背景の輝度差が小さくなるため、２値化を行うと文字線の欠落や連結が発生しやすくなる。

以上の理由から、簡易設置カメラから撮像した画像においては、正しく文字を切り出すことが困難になり、文字認識に失敗するという問題が生じる。
このため通常は大掛かりな路側設備（ガントリ等）にカメラを固定し、十分な光量の照明を用いて画像を撮影する必要があり、システム全体のコストが高くなるということが問題であった。

そこで、ナンバープレート画像の幾何歪に対応した方法の一つとしては、予めプレートの傾き角を設定し、その方向に輝度値を射影した射影分布の情報を用いることにより、文字領域を推定し文字認識を行い、認識結果が不十分と判断した場合は、角度を補正して再度認識をやり直し、最終的に最適なプレートの傾き角を推定する方法がある（特許文献１参照）。

しかし、この方法では、初期傾き角を設定する必要があるため、毎回プレート画像の傾きが変化するカメラ設置条件では、処理時間が大きくなるという問題がある。
また、文字の低コントラスト化に対応した手法の一つとしては、濃淡画像に対して、正規化相互相関法を用いることにより、文字切り出しを行う方法がある（特許文献２）。
しかし、この方法では、画像上で文字領域が水平に並んでいること、および予め文字の大きさとフォント情報が既知であることが仮定されているため、幾何歪を有する画像に対しては処理を行うことができない。

上記課題を解決する本発明の請求項１に係る車両番号認識装置は、ナンバープレート画像から、大文字列と小文字列に挟まれる隙間領域を直線として抽出し、抽出した直線からナンバープレートの画像上での傾き角を算出し、算出された傾き角により、前記ナンバープレート画像の傾き補正を行った後、前記ナンバープレート画像に含まれる文字列領域の切り出しを行うことを特徴とする。

上記課題を解決する本発明の請求項２に係る車両番号認識装置は、請求項１において、前記隙間領域をたどる経路を動的計画法（ＤＰ：Dynamic Programming）により探索し、探索された経路を最小二乗法により直線として求めることを特徴とする。

上記課題を解決する本発明の請求項３に係る車両番号認識装置は、請求項２において、動的計画法は、前記隙間領域内で、前記ナンバープレートのおおよその傾き角に基づく探索方向に沿って実施することを特徴とする。

上記課題を解決する本発明の請求項４に係る車両番号認識装置は、請求項１，２又は３において、小文字列の上部隙間部若しくは大文字列の下部隙間領域を直線として抽出し、抽出した直線からナンバープレートの画像上での傾き角を算出し、算出された複数の傾き角を併用することにより、前記ナンバープレート画像の傾き補正を行うことを特徴とする。

上記課題を解決する本発明の請求項５に係る車両番号認識装置は、請求項１，２，３又は４において、算出された傾き角が所定角度より小さいときには、傾き補正を行わないことを特徴とする。

上記課題を解決する本発明の請求項６に係る車両番号認識装置は、請求項１，２，３，４又は５において、切り出された文字列領域に対して文字認識処理を行い、認識された大文字列又は小文字列の認識結果を利用して、ナンバープレートの画像上での傾き角を算出し、算出された複数の傾き角を併用することにより、前記ナンバープレート画像の傾き補正を行うことを特徴とする。

上記課題を解決する本発明の請求項７に係る車両番号認識装置は、請求項１，２，３，４又は５において、切り出された文字列領域に対して、微分処理を行った後、更に横方向に射影分布を作成し、作成した射影分布から文字列領域と隙間パターンを抽出し、予め学習により作成した隙間パターンと前記隙間パターンとをマッチング処理し、最も近いパターンをマッチング結果とし、該マッチング結果により前記文字列領域から文字を切り出すことを特徴とする。

上記課題を解決する本発明の請求項８に係る車両番号認識装置は、請求項７において、予め学習により作成した隙間パターンは、複数の文字よりなる文字コードよりなることを特徴とする。

上記課題を解決する本発明の請求項９に係る車両番号認識装置は、請求項７において、切り出された文字列領域は、画像下半分であることを特徴とする。

本発明では、濃淡画像のままで文字列および文字の隙間情報を用いて文字切り出し処理を行うことにより、従来の２値化処理では、文字線の欠落・連結により切り出し精度が低下する恐れのある低品質画像に対しても、正確に文字切り出し・文字認識を行うことが可能となる。

即ち、請求項１に係る発明では、小文字列と大文字列に挟まれる隙間領域の情報を用いるため、ナンバープレート端が画像内に含まれていない場合も、プレートの傾きおよび小文字列と大文字列の存在領域を特定することが可能である。また、２値化処理を行わないため、低コントラストのナンバープレート画像に対しても隙間領域を推定することができる。

また、請求項２に係る発明では、小文字列と大文字列に挟まれる隙間領域の情報を用いるため、ナンバープレート端が画像内に含まれていない場合も、プレートの傾きおよび小文字列と大文字列の存在領域を推定することが可能である。また、動的計画法を用いるため、高速に隙間探索処理を行うことが可能である。

また、請求項３に係る発明では、請求項２に比較し、大まかなプレート画像の傾きを推定することにより、隙間領域探索の範囲を限定することができ、動的計画法の処理時間を削減するとともに、傾きの検出精度向上を図ることができる。

また、請求項４に係る発明では、請求項１又は２に比較し、小文字列上部と大文字列下部等の情報を併用することにより、角度算出精度向上が期待できる利点がある。

また、請求項５に係る発明では、請求項３又は４に比較し、傾きが大きい場合のみ傾き補正を行うことにより、補正による発生する処理時間増加や文字画像の歪による文字認識精度低下を防ぐという効果を奏する。

また、請求項６に係る発明では、請求項１又は２に比較し、プレート画像の傾き角を再度算出するため、傾き角の精度が高いという利点がある。特に、文字が大きく、数字のみのため文字認識処理結果の信頼性が小文字に比べて高い大文字の幾何的な情報を用いることにより、プレート角度算出精度が向上するという効果もを奏する。

また、請求項７に係る発明では、ナンバープレート画像の微分値射影値の特徴だけではなく、過去の事例データから学習した隣接文字間の隙間パターンを用いることで、低コントラスト画像に対して、高精度に文字列領域と文字隙間位置を抽出することができる利点がある。

また、請求項８に係る発明では、請求項７に比較し、画像の微分値射影値の特徴だけではなく、過去の事例データから学習した文字コード間の隙間パターン用いることで、高速に文字列領域と文字コード位置を求めることができる利点がある。更に、学習データとしては、文字コード毎で良いので学習量が少なくてすむという利点がある。

また、請求項９に係る発明では、請求項７又は８に比較し、文字画像部にビスが写り込むことによって起こりうるマッチングの失敗を防ぐことができる利点がある。

本発明は、図１に示すように、ナンバープレート画像に対して、文字列領域切り出し処理（Ｓ１）、文字切り出し処理（Ｓ２）を実施する。
文字列領域切り出し処理（Ｓ１）とは、図２（ａ）（ｂ）に示すように、プレート画像を、「神戸９９」よりなる小文字列（陸支コード＋車種コード）と、「あ１２−３４」よりなる大文字列（用途コード＋一連番号）とを、二つの文字列領域として切り出す処理をいい、文字切り出し処理（Ｓ２）とは、図２（ｃ）（ｄ）に示すように、切り出された「神戸９９」よりなる小文字列と、「あ１２−３４」よりなる大文字列とを、それぞれの文字候補として抽出する処理を言う（例えば、「神」、「戸」、「９」、「９」）。

文字列領域切り出し処理（Ｓ１）を実施する最良の形態は、以下の実施例１〜６であり、文字切り出し処理（Ｓ２）を実施するための最良の形態は、以下の実施例７〜９である。
文字列領域切り出し処理（Ｓ１）、文字切り出し処理（Ｓ２）の後に、図１に示すように、文字認識処理（Ｓ３）を経て、文字認識結果（Ｓ４）及び文字数（Ｓ５）の情報が得られる。

本発明の第１の実施例に係る車両番号認識装置の説明図を図３に示す。
本実施例は、図３に示すように、ナンバープレート画像から、大文字列（一連番号）と小文字列（陸支コード＋車種コード）に挟まれる隙間領域を直線として抽出し、その直線からナンバープレートの画像上での傾き角を算出し、傾き補正・文字列領域の切り出しを行う方法である。

先ず、図３（ａ）にナンバープレート画像に対して微分処理を施し、図３（ｂ）に示す微分画像を作成する。図３（ｂ）において、白は低周波領域（微分値が小さい）であり、プレート内の文字以外の領域であるのに対し、黒は高周波領域（微分値が大きい）であり、文字領域である。
次に、図３（ｂ）に示す微分画像を、図３（ｃ）に示すように、図中横方向に所定幅で短冊状に等分割して短冊状画像とし、図３（ｈ）に示すように、短冊状画像毎に微分値をＹ軸（図中縦方向）に射影（値を足しこむ）して、微分値射影分布を作成する。

引き続き、図３（ｄ）に示す微分画像の中から、図３（ｉ）に示すように、隣接する二つの短冊状画像を抜き出し、図３（ｊ）に示すように、共に微分値射影値が小さい部分を隙間候補領域として抽出する。
具体的には、図３（ｋ）に示すように、全ての隣接する２つの短冊状画像において、左右どちらかの射影分布をＹ軸方向に１ピクセルずつずらして、射影分布の相関が高くなるずらし幅を求める。相関にはたとえば絶対値差分等を用いる。

図３（ｋ）は、ある隣接する２つの短冊状画像において、ずらし幅＝３で相関が高くなった場合であり、図３（ｌ）は、全ての隣接する２つの短冊状画像において、ずらし幅＝…４，２，３，３…で相関が高くなった場合である。
そして、全ての隣接短冊状画像におけるずらし幅の平均値（例えば、ずらし幅＝３）を求めることで、図３（ｍ）に示すように、おおよその傾き角を求め、この傾き角を基に、隙間領域探索領域を設定する。

更に、隙間領域探索領域において、左右の隣接する短冊状画像の射影分布が共に閾値より小さい領域を求めて隙間候補領域とする（図３（ｊ））。
更に、図３（ｅ）（ｆ）に示すように、全て短冊状画像の隙間候補領域を通る直線（回帰直線）を最小二乗法により求める。この回帰直線は、大文字列と小文字列に挟まれる隙間領域として抽出されたものである。従って、回帰直線の傾きは、ナンバープレート画像の傾きである。
その後、図３（ｆ）（ｇ）に示すように、回帰直線により小文字列領域を切り出し、回転補正を行う。

上述したように、本実施例では、小文字列と大文字列に挟まれる隙間領域の情報を用いるため、ナンバープレート端が画像内に含まれていない場合も、プレートの傾きおよび小文字列と大文字列の存在領域を特定することが可能である。また、２値化処理を行わないため、低コントラストのナンバープレート画像に対しても隙間領域を推定することができる。
特許文献１の方法では、処理ごとに射影分布を投影する角度を設定しておく必要があり、さらにその角度から徐々に最適な角度まで補正をかけるという手法を用いるため、処理時間が大きいという問題があるが、本実施例では角度を設定しておく必要が無いため、処理時間が小さいという利点がある。

即ち、特許文献１の方法では、プレートの傾き推定角を少しずつ変化させて、一致するところを求める方式であるため、入力画像の傾き角と初期設定角の差が大きい場合、処理に時間がかかるのに対し、本実施例では、初期のプレート傾き角を設定する必要が無いため、入力画像の傾き角に関係なく一定の処理時間で傾きを算出することが可能となる利点がある。
なお、本実施例に係る車両番号認識装置は、ハードウェア的に実現しても良いが、コンピュータプログラムによりソフトウェア的に実現しても良い。

本発明の第２の実施例に係る車両番号認識装置の説明図を図４に示す。
本実施例は、図４に示すように、ナンバープレート画像から、大文字列（一連番号）と小文字列（陸支コード＋車種コード）の隙間領域を直線として抽出し、その直線からナンバープレートの画像上での傾き角を算出し、傾き補正・文字列領域の切り出しを行う方法である。

先ず、図４（ａ）に示すナンバープレート画像に微分処理を施し、微分画像を作成する。図４（ｂ）において、白は低周波領域（微分値が小さい）であり、プレート内の文字以外の領域であるのに対し、黒は高周波領域（微分値が大きい）であり、文字領域である。
次に、図４（ｃ）に示すように、大文字列と小文字列に挟まれた隙間領域をたどる経路では、周波数（微分値）の累積値（合計値）が小さいという性質を利用し、この累積値が最も小さくなる経路を探索する。求まった経路を隙間領域とする。

なお、図４（ｃ）に示す経路探索の際、全探索を行うと処理時間が膨大になってしまうため、動的計画法を用いて経路を高速かつ最適に求めることが望ましい。
引き続き、図４（ｄ）（ｅ）に示すように、隙間領域をたどる折れ線状の経路から最小二乗法により隙間領域を回帰直線として求め、これからプレート画像の傾きを求める。
その後、図４（ｆ）に示すように、回帰直線により、小文字列領域を切り出し回転補正を行う。

上述したように本実施例では、小文字列と大文字列に挟まれる隙間領域の情報を用いるため、ナンバープレート端が画像内に含まれていない場合も、プレートの傾きおよび小文字列と大文字列の存在領域を推定することが可能である。また、動的計画法を用いるため、高速に隙間探索処理を行うことが可能であるという利点がある。
なお、本実施例に係る車両番号認識装置は、ハードウェア的に実現しても良いが、コンピュータプログラムによりソフトウェア的に実現しても良い。

本発明の第３の実施例に係る車両番号認識装置の説明図を図５に示す。
本実施例は、図５に示すように、実施例２において隙間領域を動的計画法によって求める際（図４（ｃ））、プレートの微分画像の情報から、プレートのおおまかな傾き方向を算出する方法であり、その他は実施例２と同様である。

即ち、図５（ａ）に示すように、微分画像であるプレート画像を左側と右側の２領域に分割し、それぞれの画像ごとに微分値をＹ軸方向に射影し、射影分布を作成する。
この射影分布をＹ方向にずらして相関マッチングを行い、最も相関が大きいときのずらし幅からおおよそのプレート傾き方向（例えば右上がりか右下がりか）を導出し、隙間探索領域の設定と動的計画法の局所探索範囲の絞り込みを行う。
例えば、図５（ｂ）に示すように、おおよそのプレート傾きが右下がりなので、隙間領域の探索方向を右，右下の２方向に設定する。つまり、右上の探索は行わない。

本実施例では、実施例２に比較し、大まかなプレート画像の傾きを推定することにより、隙間領域探索の範囲を限定することができ、動的計画法の処理時間を削減するとともに、傾きの検出精度向上を図ることができる。
なお、本実施例に係る車両番号認識装置は、ハードウェア的に実現しても良いが、コンピュータプログラムによりソフトウェア的に実現しても良い。

本発明の第４の実施例に係る車両番号認識装置の説明図を図６に示す。
本実施例は、図６に示すように、実施例１，２においてプレート画像の傾き角度として求めた回帰直線を修正する方法であり、その他は実施例１，２と同様である。

先ず、図６（ａ）に示すように、回帰直線求めた後、次に、図６（ｃ）に示すように、小文字列の上部隙間領域若しくは大文字列の下部隙間領域を実施例１，２と同様の方法によって抽出する。例えば、上部隙間領域の場合、探索領域を、小文字列とナンバープレート画像の上辺との隙間に設定して同様の処理にて、図６（ｄ）に示すように、回帰直線を算出する。
そして、図６（ａ）（ｂ）で求めた回帰直線の角度の情報を利用することにより、例えば、回帰直線の角度の平均値を用いることにより、角度算出性能を高める。

本実施例では、実施例１，２に比較し、小文字列上部と大文字列下部等の情報を併用することにより、角度算出精度向上が期待できる利点がある。
なお、本実施例に係る車両番号認識装置は、ハードウェア的に実現しても良いが、コンピュータプログラムによりソフトウェア的に実現しても良い。

本発明の第５の実施例に係る車両番号認識装置の説明図を図７に示す。
本実施例は、図７に示すように、実施例３，４において求めた回帰直線の角度が小さい時は、傾き補正が不要と判断する方法であり、その他は実施例３，４と同様である。

即ち、図７（ａ）に示すプレート画像から、実施例３，４に示す方法により、図７（ｂ）に示すように、ナンバープレート画像の傾きとして回帰直線を求め、図７（ｃ）に示すように、回帰直線の傾きθが所定角度より大きい場合のみ、傾きを補正した後に文字切り出し・文字認識処理を行う一方、回帰直線の傾きが所定角度より小さい場合は、傾き補正をすることなく、そのまま文字切り出し・文字認識処理を行う。所定角度は、例えば文字認識処理に対して、影響が出ない角度として設定する。

本実施例では、実施例３，４に比較し、傾きが大きい場合のみ傾き補正を行うことにより、補正による発生する処理時間増加や文字画像の歪による文字認識精度低下を防ぐという効果を奏する。更に、傾き角が所定角度以下で補正する必要がない画像に対する、補正による処理時間増加や文字画像の歪による文字認識精度低下を防ぐこともできる。
なお、本実施例に係る車両番号認識装置は、ハードウェア的に実現しても良いが、コンピュータプログラムによりソフトウェア的に実現しても良い。

本発明の第６の実施例に係る車両番号認識装置の説明図を図８に示す。
本実施例は、図８に示すように、実施例１，２の改良に関する。

先ず、図８（ａ）（ｂ）に示すように、実施例１，２の方法を用いて、プレート画像の傾き角度を算出し、小文字列と大文字列を切り出す。
次に、図８（ｃ）に示すように、大文字部分（一連番号のみ）に対して文字切り出し・文字認識処理を行い、認識結果を得る（このときの認識方法は２値化処理による認識でもよい）。

引き続き、図８（ｄ）に示すように、大文字画像の幾何学的情報（例えば、文字の外接長方形の中心を結ぶ直線）を基に、図８（ｅ）に示すように、プレート画像の傾き角を再度算出する。
更に、図８（ｆ）に示すように、実施例１，２の方法を用いて算出した傾き角と上記処理にて再度算出した傾き角を併用して小文字列領域を切り出す（例えば、両者の傾き角の平均値を切り出しの角度とする）。
これにより、図８（ｇ）に示す小文字列画像が得られる。

本実施例は、実施例１，２に比較し、プレート画像の傾き角を再度算出するため、傾き角の精度が高いという利点がある。特に、文字が大きく、数字のみのため文字認識処理結果の信頼性が小文字に比べて高い大文字の幾何的な情報を用いることにより、プレート角度算出精度が向上するという効果もを奏する。
なお、本実施例に係る車両番号認識装置は、ハードウェア的に実現しても良いが、コンピュータプログラムによりソフトウェア的に実現しても良い。

本発明の第７の実施例に係る車両番号認識装置の説明図を図９に示す。
本実施例は、図９に示すように、ナンバープレートの文字列「神戸９９」を含む画像（小文字列画像）に対し、画像の微分値射影値と予め学習により作成した隣接文字間の隙間パターンとのマッチング結果の情報を併用し、文字列領域と文字隙間位置を求める方法である。

先ず、図９（ａ）に示す小文字列画像に対して、微分処理を施すことにより、図９（ｂ）に示す微分画像を求める。
次に、図９（ｃ）に示すように、微分画像の微分値をＸ軸に射影（足しこむ）ことにより射影分布（射影ヒストグラム）を求める。射影分布は、文字の存在する領域ほど高く、隙間領域ほど低くなる。

引き続き、図９（ｃ）で求めた射影分布の情報から、図９（ｄ）に示すように、文字列領域及び文字列領域における隙間パターンを求める。
一方、予め学習により、図９（ｇ）に示す隙間パターンが作成されており、これらの学習データと図９（ｄ）で求めた隙間パターンとを、図９（ｅ）に示すように、マッチング処理することにより、学習データのうちで最も近い隙間パターンをマッチング結果とする。

図９（ｇ）に示す学習データは、一文字毎の隙間パターンについて作成された矩形波状のものである。
その後、図９（ｆ）に示すように、マッチング結果に基づいて、文字列領域の切り出しを行う。
マッチング結果として学習データのうちで最も近い一文字毎の隙間パターンが得られるので、文字列領域は、「神」、「戸」、「９」、「９」の各文字に切り出される。

本実施例は、ナンバープレート画像の微分値射影値の特徴だけではなく、過去の事例データから学習した隣接文字間の隙間パターンを用いることで、低コントラスト画像に対して、高精度に文字列領域と文字位置を抽出することができる利点がある。
なお、本実施例に係る車両番号認識装置は、ハードウェア的に実現しても良いが、コンピュータプログラムによりソフトウェア的に実現しても良い。

本発明の第８の実施例に係る車両番号認識装置の説明図を図１０に示す。
本実施例は、図１０に示すように、ナンバープレートの文字列「神戸９９」を含む画像（小文字列画像）に対し、画像の微分値射影値と予め学習により作成した纏まった文字コード毎（例えば陸支コードと車種コード）の間の隙間パターンとのマッチング結果の情報を用いて文字列領域と文字コード位置を求める方法である。

先ず、図１０（ａ）に示す小文字列画像に対して、微分処理を施すことにより、図１０（ｂ）に示す微分画像を求める。
次に、図１０（ｃ）に示すように、微分画像の微分値をＸ軸に射影（足しこむ）ことにより射影分布（射影ヒストグラム）を求める。射影分布は、文字の存在する領域ほど低く、隙間領域ほど高くなる。

引き続き、図１０（ｃ）で求めた射影分布の情報から、図１０（ｄ）に示すように、文字列領域及び文字列領域における隙間パターンを求める。
一方、予め学習により、図１０（ｇ）に示す隙間パターンが作成されており、これらの学習データと図１０（ｄ）で求めた隙間パターンとを、図１０（ｅ）に示すように、マッチング処理することにより、学習データのうちで最も近い隙間パターンをマッチング結果とする。

図１０（ｇ）に示す学習データは、陸支コードと車種コードの隙間パターンについて作成された矩形波状のものである。
その後、図１０（ｆ）に示すように、マッチング結果に基づいて、文字列領域の切り出しを行う。
マッチング結果として学習データのうちで最も近い文字コード毎の隙間パターンが得られるので、文字列領域は、「神戸」、「９９」の各文字コード毎に切り出される。

本実施例は、実施例７に比較し、画像の微分値射影値の特徴だけではなく、過去の事例データから学習した文字コード間の隙間パターン用いることで、高速に文字列領域と文字コード位置を求めることができる利点がある。更に、学習データとしては、文字コード毎で良いので学習量が少なくてすむという利点がある。
なお、本実施例に係る車両番号認識装置は、ハードウェア的に実現しても良いが、コンピュータプログラムによりソフトウェア的に実現しても良い。

本発明の第９の実施例に係る車両番号認識装置の説明図を図１１に示す。
本実施例は、実施例７，８の改良に関するものである。
即ち、実施例７，８の文字候補抽出において、ナンバープレート画像では小文字列の両端にビスが写っていることがあり、文字候補抽出の失敗を招く可能性がある。これを防ぐため、本実施例は、図１１に示すように、小文字列の画像の下半分の領域を切り出し、その領域に対して処理を行う。

先ず、図１１（ａ）に示す小文字列画像に対して、画像下半分を切り出して（画像上半分を削除して）、図１１（ｂ）に示すように下半分画像を求め、微分処理を施すことにより、図１１（ｃ）に示す微分画像を求める。
次に、図１１（ｄ）に示すように、微分画像の微分値をＸ軸に射影（足しこむ）ことにより射影分布（射影ヒストグラム）を求める。射影分布は、文字の存在する領域ほど低く、隙間領域ほど高くなる。
但し、小文字列の左右両側に写っていたビスは、画像上半分と共に削除され、射影分布に影響を及ぼさない。

引き続き、図１１（ｄ）で求めた射影分布の情報から、図１１（ｅ）に示すように、文字列領域及び文字列領域における隙間パターンを求める。
一方、予め学習により、図１１（ｈ）に示す隙間パターンが作成されており、これらの学習データと図１１（ｅ）で求めた隙間パターンとを、図１１（ｆ）に示すように、マッチング処理することにより、学習データのうちで最も近い隙間パターンをマッチング結果とする。

図１１（ｈ）に示す学習データは、陸支コードと車種コードの隙間パターンについて作成された矩形波状のものであるが、一文字毎の隙間パターンについて作成された矩形波状のものとしても良い。
その後、図１１（ｇ）に示すように、マッチング結果に基づいて、文字列領域の切り出しを行う。
マッチング結果として学習データのうちで最も近い文字コード毎の隙間パターンが得られるので、文字列領域は、「神戸」、「９９」の各文字コード毎に切り出される。

本実施例では、実施例７，８に比較し、文字画像部にビスが写り込むことによって起こりうるマッチングの失敗を防ぐことができる利点がある。
なお、本実施例に係る車両番号認識装置は、ハードウェア的に実現しても良いが、コンピュータプログラムによりソフトウェア的に実現しても良い。

本発明は、コントラストが低い画像や、斜めに撮影され幾何歪のある画像からも確実に車両番号を認識できるため、低コスト交通監視システムに広く利用可能なものである。

本発明の車両番号認識装置の説明図である。 本発明の車両番号認識装置により、プレート画像から文字候補が抽出される状況の説明図である。 本発明の第１の実施例に係る車両番号認識装置の説明図である。 本発明の第２の実施例に係る車両番号認識装置の説明図である。 本発明の第３の実施例に係る車両番号認識装置の説明図である。 本発明の第４の実施例に係る車両番号認識装置の説明図である。 本発明の第５の実施例に係る車両番号認識装置の説明図である。 本発明の第６の実施例に係る車両番号認識装置の説明図である。 本発明の第７の実施例に係る車両番号認識装置の説明図である。 本発明の第８の実施例に係る車両番号認識装置の説明図である。 本発明の第９の実施例に係る車両番号認識装置の説明図である。

符号の説明

Ｓ１ 文字列領域切り出し処理
Ｓ２ 文字切り出し処理
Ｓ３ 評価範囲設定処理
Ｓ４ 文字認識処理
Ｓ５ 文字列評価処理
Ｓ６ 最適切り出し位置・認識結果決定処理
Ｓ７ 文字認識結果
Ｓ８ 文字数

Claims (9)

1. ナンバープレート画像から、大文字列と小文字列に挟まれる隙間領域を直線として抽出し、抽出した直線からナンバープレートの画像上での傾き角を算出し、算出された傾き角により、前記ナンバープレート画像の傾き補正を行った後、前記ナンバープレート画像に含まれる文字列領域の切り出しを行うことを特徴とする車両番号認識装置。
2. 請求項１において、前記隙間領域をたどる経路を動的計画法により探索し、探索された経路を最小二乗法により直線として求めることを特徴とする車両番号認識装置。
3. 請求項２において、動的計画法は、前記隙間領域内で、前記ナンバープレートのおおよその傾き角に基づく探索方向に沿って実施することを特徴とする車両番号認識装置。
4. 請求項１，２又は３において、小文字列の上部隙間部若しくは大文字列の下部隙間領域を直線として抽出し、抽出した直線からナンバープレートの画像上での傾き角を算出し、算出された複数の傾き角を併用することにより、前記ナンバープレート画像の傾き補正を行うことを特徴とする車両番号認識装置。
5. 請求項１，２，３又は４において、算出された傾き角が所定角度より小さいときには、傾き補正を行わないことを特徴とする車両番号認識装置。
6. 請求項１，２，３，４又は５において、切り出された文字列領域に対して文字認識処理を行い、認識された大文字列又は小文字列の認識結果を利用して、ナンバープレートの画像上での傾き角を算出し、算出された複数の傾き角を併用することにより、前記ナンバープレート画像の傾き補正を行うことを特徴とする車両番号認識装置。
7. 請求項１，２，３，４又は５において、切り出された文字列領域に対して、微分処理を行った後、更に横方向に射影分布を作成し、作成した射影分布から文字列領域と隙間パターンを抽出し、予め学習により作成した隙間パターンと前記隙間パターンとをマッチング処理し、最も近いパターンをマッチング結果とし、該マッチング結果により前記文字列領域から文字を切り出すことを特徴とする車両番号認識装置。
8. 請求項７において、予め学習により作成した隙間パターンは、複数の文字よりなる文字コードよりなることを特徴とする車両番号認識装置。
9. 請求項７において、切り出された文字列領域は、画像下半分であることを特徴とする車両番号認識装置。

Images