JP2016184316A - 車種判別装置および車種判別方法 - Google Patents

Abstract

【課題】カメラを用いて詳細な車種判別ができるようにする。
【解決手段】実施形態の車種判別装置は、カメラの設置状況に関する第１の情報および車両の特徴的な部分の形状モデルの第２の情報を登録する登録手段と、画像入力手段と、画像から画像中の所定の特徴量を抽出する特徴量抽出手段と、抽出された特徴量を有する画像中の特徴点の各々を対応づける対応付け手段と、登録された第１の情報を基に各特徴点の仮想的な３次元空間上の幾何的な位置を計算することにより、車両形状を表す形状データを得る形状推定手段と、車両の形状データの座標を車両の形状データと形状モデルの第２の情報とを照合できるように向きを補正する補正手段と、車両の形状データと形状モデルの第２の情報とを照合し、判別対象の車両の所定部分に対しその形状を判別することにより車種判別を行う車種判別手段とを備える。
【選択図】図３

Description

本発明の実施形態は、車種判別装置および車種判別方法に関する。

道路交通法における取締対象の車種区分は、料金収受システムで用いられる車種区分より細分化される傾向にある。例えば、大型車両においては、車種毎に許可される車両の幅、高さ、長さ、および重量が定められている。現在、道路の老朽化の要因として、過積載で重量オーバーの大型車両の通行が問題になっており、大型車両に対する取締りの効率化が求められている。現状では、その取締りは人手によって行われ、自動化には高精度の車種判別の機能が必要である。現状の車種判別を自動化する装置では、レーザーセンサが用いられている。また、従来技術として、カメラを用いて、車両前面に注目したパターンマッチングにより車種判別を行う方法などが提案されている。

特許第３８０４４０４号公報 特開２０１１−１８６５２６号公報 特開平８−２３３５２５号公報 特開２０００−９９８７４号公報 特開平７−４４６８９号公報

しかしながら、詳細な車種判別を行うためには、車両の詳細な形状情報を取得する必要があり、現状では多数のレーザーセンサを道路に沿って設置する必要がある。

一方、カメラを用いて車種判別を行う方法なども提案されているが、例えば細分化された大型車の車種区分に対応した、高精度の車種判別を行うことは困難である。

本発明が解決しようとする課題は、カメラを用いて、詳細な車種判別を簡易な構成で高精度に行うことができる車種判別装置および車種判別方法を提供することである。

実施形態の車種判別装置は、道路の上方から、車両前面側が撮影されるように、または車両後面側が撮影されるように設置された第１のカメラの設置状況に関する第１の情報、および、車両の特徴的な部分の形状モデルの第２の情報を、記憶部に登録する登録手段を備える。また、実施形態の車種判別装置は、第１のカメラからの画像を入力する画像入力手段と、画像入力手段で入力された画像から、画像中の所定の特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により特徴量が抽出された複数の画像間において、車両の移動に伴って移動する、抽出された特徴量を有する画像中の特徴点の各々を対応づける対応付け手段と、登録された第１の情報を基に、第１のカメラと、対応付けられた各特徴点との位置関係から、各特徴点の、仮想的な３次元空間上の幾何的な位置を計算することにより、車両形状を表す形状データを得る形状推定手段と、車両の形状データの座標を、幾何変換により、車両の形状データと形状モデルの第２の情報とを照合できるように向きを補正する補正手段と、車両の形状データと形状モデルの第２の情報とを照合し、判別対象の車両の所定部分に対しその形状を判別することにより車種判別を行う車種判別手段と、を備える。

図１は、第１の実施形態にかかる車種判別装置と車両を撮像するためのカメラとからなるシステムの全体構成を示す図である。 図２は、車両通行時のカメラ映像の模式図である。 図３は、第１の実施形態にかかる車種判別装置の構成を示すブロック図である。 図４Ａは、第１の実施形態にかかる車種判別装置の動作フロー（事前の登録処理）を示すフローチャートである。 図４Ｂは、第１の実施形態にかかる車種判別装置の動作フロー（車種判別のための処理）を示すフローチャートである。 図５Ａは、点列データのもととなる画像の例である。 図５Ｂは、図５Ａに示した画像から得られた車両外郭部分の点列データをもとにした車種判定を説明する模式図である。 図６Ａは、通行車両の前面側および側面側を撮影できるように設置した２台のカメラにより、通行車両を撮影する様子を示した図である。 図６Ｂは、図６Ａに示した通行車両の前面側および側面側を撮影できるように設置した２台のカメラのそれぞれにより得られる点列データの模式図である。 図６Ｃは、図６Ｂに示した通行車両の前面側および側面側を撮影できるように設置した２台のカメラより得られた点列データを統合して得られる点列データの模式図である。 図７Ａは、側面側のカメラからの画像データから得られる、牽引部を含む点列データの模式図である。 図７Ｂは、側面側のカメラからの画像データから得られる、牽引部を含む点列データの模式図である。 図８は、車両の点列データを、車両真上より俯瞰した点列データに幾何変換し、車幅、車長の計測を説明する模式図である。 図９Ａは、点列データのもととなる画像の例である。 図９Ｂは、図９Ａに示した画像から得られた車両外郭部分の点列データをもとにした点列データを用い、規定サイズのナンバープレート部分を抽出し、車幅および車高の計測精度を向上させることについて説明する模式図である。 図１０Ａは、道路の１車線を示す白線沿いに道路幅に対応する特徴物体を移動させて得た点列データ（図中、実線で表示）を参照し、車幅の計測精度を向上させるための動作を説明する模式図である。 図１０Ｂは、図１０Ａとともに、道路の１車線を示す白線沿いに道路幅に対応する特徴物体を移動させて得た点列データを参照し、車幅の計測精度を向上させるための動作を説明する模式図である。 図１１は、第２の実施形態にかかる車種判別装置の構成を示すブロック図である。 図１２Ａは、第２の実施形態にかかる車種判別装置の動作フロー（事前の登録処理）を示すフローチャートである。 図１２Ｂは、第２の実施形態にかかる車種判別装置の動作フロー（車種判別およびナンバープレート認識のための処理）を示すフローチャートである。 図１３は、第２の実施形態にかかる車種判別装置による、ナンバープレート認識の精度向上を説明する図である。 図１４は、第２の実施形態にかかる車種判別装置による、ナンバープレート認識の精度向上を説明する図である。 図１５は、点列データをもとにした車種判別において、判別が困難な領域について、登録済みのテクスチャの情報を利用して、車種判別の精度を向上させるための動作を説明する模式図である。

（第１の実施形態）
図１は、第１の実施形態にかかる車種判別装置と車両を撮像するためのカメラとからなるシステムの全体構成を示す図である。

図１に例示したシステム１は、道路上の車両の進行方向の斜め上方または斜め後方に単眼カメラ（または、ステレオカメラ；以下、カメラと記す）１０または２０が、車両に対して高さ５〜７ｍ程度（なお、車両の法定高さは３．８ｍ）、俯角２５〜４５度程度で見下ろすように調整されてガントリー（ＧＴ）に設置されている。このカメラ１０または２０からの映像が、車種判別装置としての電子計算機（以下、車種判別装置と記す）１００に転送され、この車種判別装置１００が後述の処理を行って、車両の前方および後方からの形状を計測し、車種を判別できる構成となっている。

なお、カメラ１０または２０の設置に際しては、視野内を高速に移動する車両が、少なくとも数フレーム分映るように設定される。

図２は、車両通行時のカメラ映像の模式図である。具体的には、図２に示すように、画像をその上下方向に３分割し、画像内の車両前面または後面の位置について、車両進入時２０１、車両滞留時２０２、車両退出時２０３の３つの状態が少なくとも３フレームに撮影できるよう設定しておく。

図３は、第１の実施形態にかかる車種判別装置の構成を示すブロック図である。

車種判別装置１００は、そのハードウェアとして、ＣＰＵおよびメモリ等を有し車種判別のための処理を実行する処理部１１０と、処理部１１０が使用する各種データや各種プログラムを記憶するＨＤＤ等の記憶部１３０とを備える。

処理部１１０は、大まかには、事前に登録する登録手段としての機能部と、車種判別のための設定や画像処理等を行う機能部とに分けられる。

事前に必要な情報を登録するための機能部は、カメラ設置位置登録部１１１、道路領域登録部１１２、視野内特徴登録部１１３、および、仮想車両領域登録部１１４を備える。カメラ設置位置登録部１１１、道路領域登録部１１２、視野内特徴登録部１１３、および、仮想車両領域登録部１１４は、記憶部１３０を備える。

カメラ設置位置登録部１１１は、記憶部１３０に対して、カメラの設置状況に関する情報（第１の情報）を登録する。道路領域登録部１１２は、記憶部１３０に対して、道路領域に関する情報を登録する。視野内特徴登録部１１３は、記憶部１３０に対して、カメラ視野内に設置されている構造物に関する情報を登録する。仮想車両領域登録部１１４は、記憶部１３０に対して、車両の特徴的な部分を含んだ形状モデルデータ（第２の情報）を登録する。また、仮想車両領域登録部１１４は、記憶部１３０に対して、スケールが既知の車両の形状モデルのデータ、及び当該スケールを含む形状情報を登録する。

また、車種判別のための設定や画像処理等を行う機能部は、パラメータ設定部１１５、画像入力部１１６、特徴量抽出部１１７、車両検知部１１８、特徴量対応照合部１１９、形状推定部１２０、座標補正部１２１、車種判別部１２２、車幅推定部１２３、車長推定部１２４、車高推定部１２５、および、結果出力部１２６を備える。

パラメータ設定部１１５は、登録情報１３１を取得し、その設定をする（ここでは、例えば図示しないワークメモリ上に一時保持する）機能部である。

画像入力部１１６は、カメラ１０または２０で撮像された映像の画像データを入力する画像入力手段としての機能部である。

特徴量抽出部１１７は、画像入力部１１６で入力された画像データから、例えば周知のＳＩＦＴ（Scale-Invariant Feature Transform）特徴量と呼ばれる、スケール変換や回転変換にロバストな特徴量（以下、特徴量と記す）を抽出する特徴量抽出手段としての機能部である。なお、車両は、照度条件によって特徴量の出力に差異が発生するため、特徴量として、ＳＩＦＴ特徴量以外のスケール変換や回転変換にロバストな特徴量を採用することも考えられる。また、後段では同じ種類の特徴量を使って位置移動の組み合わせ照合（対応付け）を行うが、特徴量抽出部１１７において複数の特徴量を抽出するようにして、それらを位置移動の組み合わせ照合に利用するようにしてもよい。なお、本実施形態は、ＳＩＦＴ特徴量を用いた例について説明するが、画像中の所定の特徴量であればよい。

また、特徴量抽出部１１７は、パラメータ設定部１１５により設定された、カメラ１０または２０視野内に設置されている構造物に関する情報に基づいて、抽出した特徴量から、カメラ１０または２０の視野内の特徴的な構造物の特徴量を除去する。

車両検知部１１８は、カメラ１０または２０で撮像した映像の中に検出対象である車両が含まれているかを確認する機能部である。

特徴量対応照合部１１９は、特徴量抽出部１１７で抽出された特徴量が抽出された、移動する車両をとらえた画像フレーム間において、各画像フレームから抽出された特徴量を有する画像中の特徴点の位置移動の組み合わせ照合（対応付け）を行う、対応付け手段としての機能部である。この特徴点の位置移動の組み合わせ照合については、例えば周知のＲＡＮＳＡＣ等の手法を用いればよい。また、車両は途中で後戻りしないなどの条件に入れることにより、ＲＡＮＳＡＣ以外の方式の採用も可能である。

形状推定部１２０は、特徴量対応照合部１１９で対応付けられた各画像フレーム内の特徴点から、各特徴点の３次元空間内の位置を表す点列データ（形状データ）を算出する形状推定手段としての機能部である。一般に、凹凸がない部分は特徴点が抽出しにくい。このため、車両の特徴点は、車両の外郭に相当する部分に多く得られるので、この外郭部分の特徴点から車両の外郭の形状（輪郭）が推定される。

なお、形状推定部１２０は、カメラ１０または２０の設置状況に関する情報を基に、カメラ１０または２０と、カメラ１０または２０で撮影された複数画像フレーム内の対応関係のある特徴点との位置関係から、仮想の３次元空間内での車両の特徴点を含む各特徴点の幾何座標を、点列データとして求めることができる。この幾何座標を求める際には、記憶部１３０では、カメラ１０または２０の設置状況に関する情報として、登録情報１３１にカメラ１０または２０の設置高さ、俯角および水平面における向き等の情報や道路領域に関する情報が予め登録されているので、形状推定部１２０が、上記位置関係を決定する際に、その情報を利用することができる。なお、車両の特徴点は、複数画像フレーム内で移動している特徴点として特定できる。

また、カメラ１０または２０としてステレオカメラを用いた場合は、特徴量抽出部１１７が、ステレオカメラを構成する２つのカメラから得られる画像データから特徴点（例えばエッジ）を抽出するようにする。そして、この抽出をした画像をもとに、形状推定部１２０が、周知の手法で距離画像を生成し、この距離画像から３次元空間内での各特徴点の幾何座標を求めるようにする。

座標補正部１２１は、形状推定部１２０により求められた点列データと形状モデルとを照合できるように、また、車両が斜めに進行することもあるので車両のサイズを正確に計測するために、点列データに対し幾何変換を行う補正手段としての機能部である。また、画像フレーム間で位置移動の組み合わせ照合された特徴点から推定された車両の点列データにおける幾何座標のスケール（大きさ）は不定であるため、座標補正部１２１は、スケールパラメータを推定することも行う。ここでスケールパラメータは、点列データの幾何座標が含まれる３次元空間上のスケールを、現実の空間上のスケールに変換するための係数であり、記憶部１３０の登録情報１３１として登録されている、スケールが既知の車両の形状モデルのデータ、及び当該スケールを含む形状情報に基づいて導出される係数とする。

車種判別部１２２は、座標補正部１２１で幾何変換された点列データを用いて車種判別を行う車種判別手段としての機能部である（詳細は後述）。

車幅推定部１２３、車長推定部１２４、および車高推定部１２５はそれぞれ、車両の点列データから得られる車幅、車長、車高に前述のスケールパラメータを適用して、現実の車両の車幅、車長、及び車高のうちいずれか一つを含む車両形状を推定した車両のスケールを算出する手段としての機能部である。

結果出力部１２６は、車種判別部１２２、車幅推定部１２３、車長推定部１２４、および車高推定部１２５による処理結果を出力する処理を行う機能部である。

なお、処理部１１０を構成する上記各部は、車種判別装置１００に実装される車種判別プログラムにおいてそれぞれの機能を実現するモジュールであり、電子計算機である車種判別装置１００に備わる上記ＣＰＵが、この車種判別プログラムを実行することにより各機能が実現される。また、各登録部により登録される情報は、登録情報１３１として記憶部１３０に保存される。

図４Ａは、第１の実施形態にかかる車種判別装置１００の動作フロー（事前の登録処理）を示すフローチャートである。以下に説明する各部は、図４Ａに示す処理の流れに沿って、それぞれの処理を実行するようになっている。

カメラ設置位置登録部１１１は、記憶部１３０の登録情報１３１として、カメラの設置状況に関する情報を登録する（Ｓ１１１）。ここで、設置状況に関する情報とは、設置されたカメラ１０または２０について、その設置高さ、俯角、視野角、水平面における向き等の情報である。

道路領域登録部１１２は、記憶部１３０の登録情報１３１として、道路に塗布された白線部分を特徴点としてその間隔、白線の種類、および白線幅、白線とカメラ１０または２０との距離情報などの道路領域に関する情報を登録する（Ｓ１１２）。

視野内特徴登録部１１３は、記憶部１３０の登録情報１３１として、カメラ視野内に設置されている構造物（ガードレール、反射器、ミラー、標識など）の特徴量（後述）と、さらにはその位置情報（例えば緯度や経度といった地理情報など）の登録をする（Ｓ１１３）。

仮想車両領域登録部１１４は、記憶部１３０の登録情報１３１として、車軸を表す円の形状モデルや、牽引部を表す矩形の形状モデルや、ナンバープレートを表す矩形の形状モデルなど、パターンマッチングにより車両の各部分（領域）を認識するための形状モデルデータを登録する（Ｓ１１４）。なお、本実施形態では、車両の特徴的な部分を含んだ形状モデルデータとして、車軸を表す円の形状モデルや、牽引部を表す矩形の形状モデルや、ナンバープレートを表す矩形の形状モデルを含んだ例について説明するが、車両の他の部分の形状モデルを用いてもよい。

図４Ｂは、第１の実施形態にかかる車種判別装置１００の動作フロー（車種判別のための処理）を示すフローチャートであるである。以下に説明する各部は、図４Ｂに示す処理の流れに沿って、それぞれの処理を実行するようになっている。

パラメータ設定部１１５は、カメラ設置位置登録部１１１、道路領域登録部１１２、視野内特徴登録部１１３、仮想車両領域登録部１１４で事前に登録されている登録情報１３１を取得しその設定をする（Ｓ１１５）。なお、図示しない登録部が、周知の手法で得られるレンズ歪などのパラメータを、登録情報１３１の１つとして登録しておき、パラメータ設定部１１５が、登録情報１３１を参照して、こうしたパラメータも設定するようにしてもよい。この場合、下記の画像入力部１１６でこのパラメータを利用して、入力される画像データからレンズ歪等の影響を除去することにより、形状推定時の誤差を低減させることも可能である。

画像入力部１１６は、カメラ１０または２０で撮像された映像の画像データを入力する（Ｓ１１６）。ここでは、上記のように、さらにレンズ歪等の影響を除去するようにしてもよい。なお、カメラ１０または２０に対しては、昼夜の照度条件の変化に関わらず、車両の外郭部分と背景の道路とのコントラストが確保できるよう、適切にカメラパラメータの制御が行われ、必要なコントラストの画像データが入力されるものとする。

特徴量抽出部１１７は、画像入力部１１６で入力された画像データから、前述の特徴量（例えばＳＩＦＴ特徴量）を抽出する（Ｓ１１７）。

車両検知部１１８は、カメラ１０または２０で撮像した映像の中に検出対象である車両が含まれているかを確認する（Ｓ１１８）。道路やその他の常に映っている構造物のみが映っている場合、すなわち検出対象である車両が映っていない場合は、車種判別のための処理を行わない。このため、前述の特徴量抽出部１１７で特徴量を求める際には、特徴量抽出部１１７は、常に映っている構造物などについて、その特徴量が、視野内特徴登録部１１３で予め登録しておいた構造物の特徴量に合致または類似するものについて、抽出した特徴量から除外する。そして、特徴量に対して一定の閾値となる条件を設けて、上記除外がなされた抽出済みの特徴量に変化が見られるか否かで、車両検知部１１８は車両の存在／不在を確認する。そして、車両が検知されない場合は、Ｓ１１６に戻り、画像入力部１１６による画像入力処理を行う。

ところで、先に述べた視野内特徴登録部１１３は、カメラ視野内に常に存在する柱、街灯などの構造物の特徴量を登録するが、その位置も登録する。これにより、車種判別装置１００において、これらの位置が移動しているかどうかを確認するようにすることもできる。つまり、車種判別装置１００で、カメラ１０または２０の設置状況にずれが発生していないかを判定するようにすることも可能である。

次に、前述の車両検知部１１８が、車両が存在すると判定した場合は、特徴量対応照合部１１９が、特徴量抽出部１１７で先に抽出しておいた特徴量を用い、移動する車両をとらえた画像フレーム間で、特徴点の位置移動の組み合わせ照合（対応付け）を行う（Ｓ１１９）。

形状推定部１２０は、特徴量対応照合部１１９で対応付けられた各画像フレーム内の特徴点から、各特徴点の３次元空間内の位置を表す点列データ（形状データ）を算出する（Ｓ１２０）。

次に、座標補正部１２１は、座標補正処理（Ｓ１２１）として、前述のように、上記で得られた点列データと形状モデルとを照合できるように、また、車両のサイズを正確に計測するために、点列データに対し幾何変換を行う。さらに、前述のスケールパラメータを推定する。なお、ここでのスケールパラメータの推定は、カメラ１０または２０と車両との位置関係からスケールパラメータを決定するようにしてもよいし、後述のように視野内特徴登録部１１３などで登録した既知の構造物のサイズ等を考慮してスケールパラメータを決定するようにしてもよい。

図５Ａは、点列データのもととなる画像の例である。また、図５Ｂは、図５Ａに示した画像から得られた車両外郭部分の点列データをもとにした車種判定を説明する模式図である。

以上の各部による処理の結果、図５Ａのようなカメラ１０または２０からの画像入力に対し、例えば車両の側面側から見たものとして、図５Ｂの５０１で示すような、車両の点列データを得る。車両の特徴点は、前述のように車両の外郭に相当する部分に多く得られる。このため、以降の車両を表す図の説明においては、車両の点列データに相当する部分を、図のように点列で表現する（他図においても同様）。なお、入力された画像から直接得られる点列データは、図５Ｂに示すような車両の側面を表すものではないが、座標補正部１２１において点列データに対し幾何変換を施すことにより、同図に示すような点列データを得ることができる。

図４のフローに戻って、続いて、車種判別部１２２が、上記のようにして得た点列データを用いて車種判別を行う（詳細は後述）（Ｓ１２２）。

そして、車幅推定部１２３、車長推定部１２４、および車高推定部１２５がそれぞれ、車両の点列データから得られる車幅、車長、車高に前述のスケールパラメータを適用して、現実の車両の車幅、車長、車高の推定（Ｓ１２３〜Ｓ１２５）を行う。

最後に、結果出力部１２６が、車種判別部１２２、車幅推定部１２３、車長推定部１２４、および車高推定部１２５による処理結果を出力する（Ｓ１２６）。

車種判別部１２２は、上記Ｓ１２２にて、点列データを用いて車種判別を行うが、具体的には、以下のようにして車種判別を行う。例えば、点列データを得て、図５Ａに示すような大型車両から得られる点列データ５０１について、５０２，５０３，５０４のような種類の大型車の車種判別を行う場合、車種判別部１２２は、１つ目の車軸の後部の荷台または荷台に相当する部分の点列データ（形状データ）を車種判別のための照合に用いる。この照合の際、形状モデルと点列データとの差分を累積しこの差分をペナルティとして換算すれば、類似しない点列データほど高いペナルティ値を持つことになる。このため、車種判別部１２２は、特に５０２，５０３，５０４の太い点線で示した部分（大型車の車種によって異なる特徴的な部分）について照合する。図５Ｂの例では５０１の点列データは５０３の点列データに近いものとなる。なお、車軸は、車軸を表す円の形状モデルを用意しておき、パターンマッチングにより画像中の車軸を認識する。

ところで、例えば車両前方のみにカメラ１０を設置した場合、カメラ１０では車両の側面が見えにくくなる。そのため、車両側面側に見られる特徴点を得ることが難しくなり、車両側面の形状を正確に推定することが困難となる。

ここで、図６Ａは、通行車両の前面側および側面側を撮影できるように設置した２台のカメラにより、通行車両を撮影する様子を示した図である。

上記困難があることから、図６Ａに示すように、カメラ１０に加え、車両側面側を撮影する位置にカメラ３０を設置する構成も考えられる。

この構成では、カメラ設置位置登録部１１１が、記憶部１３０に対して、カメラ３０の設置状況に関する情報を予め登録しておく。

画像入力部１１６は、カメラ１０または２０の他に、カメラ３０で撮像された映像の画像データを入力する。

なお、特徴量抽出部１１７、特徴量対応照合部１１９、および、形状推定部１２０は、上記実施形態で示したカメラ１０または３０からの映像に対する処理と同様の処理をカメラ３０からの映像に対して行う。その上で、特徴量対応照合部１１９が通行車両の前方のカメラ１０で抽出された特徴量を有する特徴点と通行車両の側面を撮影するカメラ３０で抽出された特徴量を有する特徴点との対応をとって、形状推定部１２０により各特徴点からなる点列データを得る。

図６Ｂは、図６Ａに示した通行車両の前面側および側面側を撮影できるように設置した２台のカメラのそれぞれにより得られる点列データの模式図である。また、図６Ｃは、図６Ｂに示した通行車両の前面側および側面側を撮影できるように設置した２台のカメラより得られた点列データを統合して得られる点列データの模式図である。

上記の結果、図６Ｂに示す、通行車両の前方のカメラ１０の映像のみから取得される点列データ６０１と通行車両の側面を撮影するカメラ３０の映像のみから取得される点列データ６０２を統合したものとなる点列データ（例えば、図６Ｃの点列データ６０３）を得る。

車種判別部１２２は、統合された点列データを用いて車種判別を行う。

また、本実施形態は、カメラを多数設置する拡張性について柔軟であり、上記構成以外のカメラの設置の態様を用いても良い。例えば、図１に示したような、車両の前面側を撮影するカメラ１０と車両の後面側を撮影するカメラ２０の２台を同時に用いた構成も考えられる。本実施形態は、カメラを多数増やしても、同一の枠組みで特徴点同士の対応をとれ、より詳細な車両の形状特徴を点列データとして再現できる。

なお、前述の車両の側面側を撮影できるようにカメラ３０を設置する利点は、例えば車両を牽引するような形態の車両（図７Ａ、図７Ｂ）の車両形状を推定する場合に発生する。

図７Ａは、側面側のカメラからの画像データから得られる、牽引部を含む点列データの模式図である。

図７Ａに示す車両は、その前部と後部が牽引部（牽引棒）で繋がっている。車両側面撮影用のカメラ３０による映像から得られる特徴点をつなぎ合わせると、太い点線部分で表す牽引部の点列データを取得することが可能となる。従って、車両の側面側を撮影できるようにカメラ３０を設置することにより、車種判別装置１００は、牽引部の形状も認識することが可能となる。

なお、牽引部を認識するには、車種判別部１２２が、まず、車軸を表す円の形状モデルを用いて、パターンマッチングにより画像中の車軸を認識し、車軸の数を車両前方からカウントする。なお、車両前方部分の認識は、事前に記憶部１３０の登録情報１３１として記憶された形状モデルを用いたパターンマッチングにより行う。そして認識された車軸の２個目と３個目の間について、予め用意している棒の形状モデルを用いて、車種判別部１２２が、地面からの一定の高さ範囲でパターンマッチングを行う。棒の形状モデルに類似する部分が検出された場合には、その部分の前側にある部分と後側にある部分についての形状は、分離することができる。車種判別部１２２は、分離したそれぞれの形状についてパターンマッチングを行うことにより、図７Ａの例では車両と判断できるため、この車両は連結された車両であることが判る。

このように、カメラ１０に加え、車両側面側を撮影する位置にカメラ３０を設置する構成における車種判別部１２２は、形状モデルのデータを用いて、車軸と、車両側面から観察される、連結された部分を検出する。さらに、車種判別部１２２は、連結された部分を介して牽引される部分を判別する。

ここで、車種判別部１２２で判別される牽引される部分が、荷台（コンテナ）である場合について説明する。

図７Ｂは、側面側のカメラからの画像データから得られる、牽引部を含む点列データの模式図である。

ここでは、図７Ｂのように車両の後方にコンテナが牽引棒で繋がっている場合を想定する。上記と同様に太い点線部分の牽引部の点列データが取得できる。車種判別部１２２は、地面からの一定の高さ範囲で上記と同様にパターンマッチングを行う。このとき棒の形状モデルに類似する部分が検出された場合には、牽引部を分離ポイントとして車両の点列データは３分割できる。このため、車種判別部１２２は、３分割したそれぞれの形状を表す点列データについて、形状モデルを用いたパターンマッチングにより、牽引された部分が、車両なのか、コンテナなのかを判別する。この判断の結果、６０２の車両についてはコンテナを２台牽引している車両であることが判る。本実施形態の車種判別装置１００によれば、車種判定の対象車両とする、このような特殊な車両も、判別することが可能である。

図８は、車両の点列データを、車両真上より俯瞰した点列データに幾何変換し、車幅、車長の計測を説明する模式図である。

図８で示すような車両の点列データ８０１を取得した場合について、座標補正部１２１は、この点列データ８０１に対し車両の上方より鳥瞰するような幾何変換を施し、８０２の点列データを得る。ここで、幾何変換のためのパラメータは、カメラ１０または２０と車両の位置関係（座標）から求める。このとき、８０２のようにカメラ１０または２０と車両の位置関係から、車両の点列データが図の８０２のように斜めになっている場合、座標補正部１２１は、車両前面あるいは車両の後面の外郭に相当する線分がｘ軸方向（図中横方向）に平行となるような幾何変換（ここでは回転変換）をさらに施すことで、８０３のような点列データへと変換する。そして、車幅推定部１２３および車長推定部１２４は、車幅および車長としてそれぞれ、点列データのｘ軸方向およびｙ軸方向（図中縦方向）の長さを計測する。このとき、前述のスケールパラメータを適用すれば、実物の車幅、車長（推定値）が得られる。

（ナンバープレートの幅に基づく車幅の計測）
図９Ａは、点列データのもととなる画像の例である。
図９Ｂは、図９Ａに示した画像から得られた車両外郭部分の点列データをもとにした点列データを用い、規定サイズのナンバープレート部分を抽出し、車幅および車高の計測精度を向上させることについて説明する模式図である。

次に、図９Ａに示す画像に対する図９Ｂの９０１（図８の８０１に相当）の車両の点列データについて、車両前面に相当する部分を観測できるよう図８の８０３の変換後の車両の点列データに対して行ったように、座標補正部１２１が、車両の前面を表すようにさらに幾何変換を施す。

その結果、図９Ｂの９０２のような車両の点列データを得る。この幾何変換により、車両の前面部分の点列データ上にナンバープレートの形状を表す部分が得られるので、車種判別部１２２が、予め用意したナンバープレートに相当する矩形の形状モデルとのパターンマッチングを行い、この点列データにおけるナンバープレートの位置を抽出する。その上で、図８の例と同様に車幅推定部１２３が車幅を計測する。ナンバープレートのサイズは既知であるため、ナンバープレートの実際の大きさと、点列データ９０２から計測されたナンバープレート部分の幅の比からなる補正係数に基づき、車幅推定部１２３は、上記の点列データ８０３から計測した車幅の値を補正する。この処理によって、車幅の計測値は正確なものとなる。また、このような補正は、車長や車高についても同様に行うことができる。

（道路幅に基づく車幅の計測）
図１０Ａは、道路の１車線を示す白線沿いに道路幅に対応する特徴物体を移動させて得た点列データ（図中、実線で表示）を参照し、車幅の計測精度を向上させるための動作を説明する模式図である。

図１０Ｂは、図１０Ａとともに、道路の１車線を示す白線沿いに道路幅に対応する特徴物体を移動させて得た点列データを参照し、車幅の計測精度を向上させるための動作を説明する模式図である。

次に、道路幅を予め計測しておき、図９Ｂを用いて説明したように点列データにおけるナンバープレートの幅を計測してその値を補正したのと同様に、図１０Ａ、図１０Ｂで、１００１および１００２に複数の四角として仮想的に示す道路幅に相当する仮想モデルを予め作成しておく。この仮想モデルは、例えば、道路の１車線を示す白線沿いに道路幅に対応する特徴物体を移動させて得た点列データとして作成する。そして、座標補正部１２１が、車両の点列データに対する幾何変換を施す際に、道路幅の仮想モデルに対しても車両の点列データに対する幾何変換と同様の幾何変換を施す。

そして、図１０Ｂに示す相対関係を用いて、実際の道路幅と点列データから計測された車幅との比を用いて、１００３に示す車両正面の点列データから計測され車幅を補正することも可能である。なお、道路幅は設置位置によって若干変わる可能性があるため、実際の道路状況に応じて道路幅に相当する仮想モデルを複数作成しておき、さらにこの仮想モデルに対応させてその道路幅の実測値を用意しておく。このような補正は、車高についても同様に行うことができる。また、車幅等の補正は、道路幅に代え、道路領域の情報として登録されている白線の情報を利用して行うことも可能である。

ところで、上述の車種判別装置１００では、車種判別のために十分な点列データが得られることを想定しているが、車両毎に得られる点列データが極端に少なく、車高や車幅などの計測が困難となる場合も生じうる。そのような場合には、特徴量抽出部１１７が抽出不十分な部分を特定し、図示しない登録手段がその部分に対応する画像と当該車両の点列データとをデータベース化し記憶部１３０に登録しておく。そして、車種判別装置１００により、このデータベースの画像と点列データとに類似する車両が検知された場合で、車高や車幅が計測できた場合、そのデータもデータベース上で対応付けて管理しておく。そして、再度、同様の車両で取得される点列データが不十分な場合には、車種判別装置１００にて、登録されているデータベースの情報（過去に計測できた計測値）を利用して、車高などの計測を補助するようにしてもよい。

以上に説明したように、本実施形態によれば、従来はレーザーセンサで実現していた車両の形状情報の取得を、カメラ１０または２０、さらには３０を用いて実現できる。このため、従来は強靭なガントリーを予め多数設置するなど、機器および設置コストがかかっていたが、本実施形態では、少数のカメラで同等の機能を実現できるため、機器コストおよび設置コストの低減を実現できる。

（第２の実施形態）
次に、料金収受システムのナンバープレート認識装置としても用いることができる、第２の実施形態の車種判別装置の構成を図１１に示す。

図１１は、第２の実施形態にかかる車種判別装置の構成を示すブロック図である。

図１１に示す車種判別装置１００’の処理部１１０’では、図３で示した車種判別装置１００の処理部１１０の構成に加え、ナンバープレート認識部１２７が追加されている。また、車種判別部１２２が機能を追加した車種判別部１２２’となり、結果出力部１２６が統合結果出力部１２６’に変更されている。

本実施形態では、ナンバープレート認識部１２７によるナンバープレートの認識結果（ここでは、認識したナンバープレートに基づき判別される車種）と、車種判別機能による車種判定の結果とが一致しない場合は、ナンバープレート認識部１２７において、ナンバープレートの再認識を行うようにしている。これにより、本実施形態では、ナンバープレートの認識精度を向上させることができる。

図１２Ａは、第２の実施形態にかかる車種判別装置１００’（事前の登録処理）の動作フローを示すフローチャートである。図１２Ａの動作フローと図４Ａに示した動作フローとは同じである。

図１２Ｂは、第２の実施形態にかかる車種判別装置の動作フロー（車種判別およびナンバープレート認識のための処理）を示すフローチャートである。図１２Ｂの動作フローが、図４Ｂに示した動作フローと異なる点は、図１２Ｂにおいて、Ｓ１２１の座標補正処理の次に、Ｓ１２７のナンバープレート認識処理を加えた点と、図４ＢのＳ１２６の結果出力処理を図１２ＢではＳ１２６’の統合結果出力処理に変更した点と、ナンバープレート認識結果と車種判別結果とが整合しない場合に、（１）図１２Ｂの車種判別処理Ｓ１２２’にて、Ｓ１２３で推定された車幅を用いる点と、（２）図１２Ｂのナンバープレート認識処理Ｓ１２７においてＳ１２２の車種判別処理による車種判別結果を利用する点のみである。その他は第１の実施形態のものと同様である。

なお、統合結果出力処理Ｓ１２６’は、車種判別結果および車幅・車長・車高の推定値と、ナンバープレート認識結果を統合して出力する。

以下では、具体例を挙げ、本実施形態の車種判別装置１００’について説明する。

図１３は、第２の実施形態にかかる車種判別装置による、ナンバープレート認識の精度向上を説明する図である。

図１３の１３０１の車両に対し、ナンバープレート認識部１２７によるナンバープレート認識処理により、小型車のナンバープレートを認識するものの、日照条件等の理由から誤って中型車と判定したと仮定する。ここで、ナンバープレート認識処理は、既知の任意の手法をものとする。このとき、車種判別装置１００’は、車両の形状を表す点列データ１３０２に対し、前述の図８で示したような幾何変換の結果から車幅を推定しさらに前述の車幅の補正を行う。その結果、車種判別部１２２’は、車幅推定部１２３で推定された車幅を得て、この車幅から、中型車１３０４や大型車１３０５ではなく小型車１３０３に相当すると判定すれば、それは、ナンバープレート認識部１２７によるナンバープレートの認識結果と異なることになる。この場合、車種判別部１２２’は、点列データ上のナンバープレートを矩形モデルとのパターンマッチングによって抽出する。そして、ナンバープレート認識部１２７は、元の入力画像についてナンバープレートの入力画像上の位置を、１３０１の車両の図にて示す矩形の枠に相当する部分に限定し、再認識を行うようにする。これによりナンバープレートの判定誤りを低減させることが可能となる。

図１４は、第２の実施形態にかかる車種判別装置による、ナンバープレート認識の精度向上を説明する図である。

図１４では一般的な大型車１４０１および中型車１４０３に対する車種判別装置１００’による判別結果（１４０２，１４０４）を示している。本実施形態では、小型車のみならず、中型車や大型車、その他の車両についても同様にナンバープレートの判定誤りを低減させることが可能となる。また、本実施形態の車種判別装置１００’は、図６で示したように、連結車両のような特殊車両が入ってきた場合にも対応可能であり、さらに車両の詳細形状まで判別できるため、従来のナンバープレート認識装置よりも、認識精度の高い装置を実現できる。このように、本実施形態によれば、第１の実施形態の効果に加え、少数のカメラ構成で、ナンバープレート認識の精度を向上させることも可能となる。

（第３の実施形態）
次に、第３の実施形態として、図１５を用いて、車種判別の精度向上に関する実施形態について説明する。

図１５は、点列データをもとにした車種判別において、判別が困難な領域について、登録済みのテクスチャの情報を利用して、車種判別の精度を向上させるための動作を説明する模式図である。

図１５の１５０１のように荷台には規定されたもの以外の様々な積荷があり、全てを登録することはできない現状がある。そのため、１５０１のような幌やビニールで覆われた積荷については、画像処理結果として車両としての特徴点が取得できない。また、多様な材質によって、積荷部分の形状取得が困難となる場合がある。具体的には１５０２の点列データのように、車両高さの判定が不定となりうる。そこで、照合困難と思われる物体のテクスチャを、仮想車両領域登録部１１４にて前述の車種判別装置１００または１００’記憶部１３０のデータベースに登録しておく。そして、カメラ１０または２０からの入力画像に対し登録済みのテクスチャとのパターンマッチングにより、車種判別装置１００または１００’の車種判別部１２２または１２２’にて、規定外の積荷も認識できるようにする。

また、予め車両としての特徴量の取得が困難なものの画像パターンを登録しておくだけでなく、パターンマッチングによる照合が困難な領域の頻度やスコアを蓄積することにより、特徴量取得の精度向上を支援する機能を実現する。例えば、このような車両が多数通行した場合には、ユーザに警告を促すようなシステムを構成することも可能である。また、このような車両としての特徴量の取得が困難なものの画像パターンを蓄積し利用することにより、車両形状推定可能な特徴量を設計する際に利用することも可能となる。

以上説明したとおり、第１〜第３の実施形態によれば、監視カメラとしても使用可能である少数のカメラを用いて、詳細な車種判別を実施することができる。また、上述の車種判別装置１００および１００’は、車両カウンタとしても、車軸検知機能を併せ持つ車種判別装置としても利用可能である。また、このような車種判別装置１００または１００’を利用する料金収受システムの仕組みは、フリーフローだけでなく、ロードプライシングを考慮した一般道にまで拡張可能である。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０、２０、３０ カメラ
１００，１００’ 車種判別装置
１１０，１１０’ 処理部
１１１ カメラ設置位置登録部
１１２ 道路領域登録部
１１３ 視野内特徴登録部
１１４ 仮想車両領域登録部
１１５ パラメータ設定部
１１６ 画像入力部
１１７ 特徴量抽出部
１１８ 車両検知部
１１９ 特徴量対応照合部
１２０ 形状推定部
１２１ 座標補正部
１２２、１２２’ 車種判別部
１２３ 車幅推定部
１２４ 車長推定部
１２５ 車高推定部
１２６ 結果出力部
１２６’ 統合結果出力部
１２７ ナンバープレート認識部
１３０ 記憶部
１３１ 登録情報

Claims (14)

1. 道路の上方から、車両前面側が撮影されるように、または車両後面側が撮影されるように設置された第１のカメラの設置状況に関する第１の情報、および、車両の特徴的な部分の形状モデルの第２の情報を、記憶部に登録する登録手段と、
   前記第１のカメラからの画像を入力する画像入力手段と、
   前記画像入力手段で入力された画像から、画像中の所定の特徴量を抽出する特徴量抽出手段と、
   前記特徴量抽出手段により特徴量が抽出された複数の画像間において、車両の移動に伴って移動する、前記抽出された特徴量を有する前記画像中の特徴点の各々を対応づける対応付け手段と、
   登録された前記第１の情報を基に、前記第１のカメラと、対応付けられた各前記特徴点との位置関係から、各特徴点の、仮想的な３次元空間上の幾何的な位置を計算することにより、車両形状を表す形状データを得る形状推定手段と、
   前記車両の形状データの座標を、幾何変換により、前記車両の形状データと前記形状モデルの第２の情報とを照合できるように向きを補正する補正手段と、
   前記車両の形状データと前記形状モデルの第２の情報とを照合し、判別対象の車両の所定部分に対しその形状を判別することにより車種判別を行う車種判別手段と、
   を備える車種判別装置。
2. 前記登録手段は、前記第１のカメラの視野内の特徴的な構造物にかかるデータをさらに登録し、
   前記特徴量抽出手段は、抽出した前記特徴量から、前記カメラの視野内の特徴的な構造物の特徴量を除去する、
   請求項１に記載の車種判別装置。
3. 前記登録手段は、スケールが既知のものの形状モデルのデータおよびそのスケールを含む形状情報をさらに登録し、
   前記形状情報を利用して、前記車両形状を推定した車両のスケールを算出する手段をさらに有する、請求項１に記載の車種判別装置。
4. 前記登録手段は、車両側面側を撮影する第２のカメラの設置状況にかかる情報をさらに登録し、
   前記画像入力手段は、前記第２のカメラからの画像を、さらに入力し、
   前記特徴量抽出手段、前記対応付け手段、および、前記形状推定手段は、前記第１のカメラからの映像に対する処理と同様の処理を前記第２のカメラからの映像に対して行い、
   前記形状推定手段は、さらに、前記第１および第２のカメラの位置関係から、前記第１および第２のカメラの映像から得られる各形状データ上の各点の対応付けを行うことにより、前記第１および第２のカメラからの画像から得られる形状データを統合し、
   前記車種判別手段は、前記統合された形状データを用いて車種判別を行う、請求項１に記載の車種判別装置。
5. 前記車種判別手段は、前記形状モデルのデータを用いて、車軸と、車両側面から観察される連結部分とを検出する機能を有し、前記連結部分を介して牽引される部分を、さらに判別する、請求項４に記載の車種判別装置。
6. 前記車種判別手段は、前記連結部分を介して牽引される部分が、車両であるのか、荷台であるのか判別する、請求項５に記載の車種判別装置。
7. 前記登録手段は、車両の荷台に搭載されうる荷物のテクスチャのデータをさらに登録し、
   前記車種判別手段は、前記連結部分を介して牽引される部分が、荷台であると判別されるときに、前記荷物のテクスチャのデータを用いて、前記荷台上の荷物を判別する、請求項６に記載の車種判別装置。
8. カメラからの画像データをもとに車種判別を行う車種判別装置における車種判別方法であって、
   登録手段が、道路の上方から、車両前面側が撮影されるように、または車両後面側が撮影されるように設置された第１のカメラの設置状況に関する第１の情報、および、車両の特徴的な部分の形状モデルの第２の情報を、事前に記憶部に登録する工程と、
   前記車種判別装置において車種判別を行う際、
   画像入力手段が、前記第１のカメラからの画像を入力する工程と、
   特徴量抽出手段が、前記画像入力手段で入力された画像から、画像中の所定の特徴量を抽出する工程と、
   対応付け手段が、前記特徴量抽出手段により特徴量が抽出された複数の画像間において、車両の移動に伴って移動する、前記抽出された特徴量を有する前記画像中の特徴点の各々を対応づける工程と、
   形状推定手段が、登録された前記第１の情報を基に、前記第１のカメラと、対応付けられた各前記特徴点との位置関係から、各特徴点の、仮想的な３次元空間上の幾何的な位置を計算することにより、車両形状を表す形状データを得る工程と、
   補正手段が、前記車両の形状データの座標を、幾何変換により、前記車両の形状データと前記形状モデルの第２の情報とを照合できるように向きを補正する工程と、
   車種判別手段が、前記車両の形状データと前記形状モデルの第２の情報とを照合し、判別対象の車両の所定部分に対しその形状を判別することにより車種判別を行う工程と、
   を含む車種判別方法。
9. 前記登録手段が、前記第１のカメラの視野内の特徴的な構造物にかかるデータをさらに登録する工程と、
   前記特徴量抽出手段が、抽出した前記特徴量から、前記カメラの視野内の特徴的な構造物の特徴量を除去する工程と、
   を含む請求項８に記載の車種判別方法。
10. 前記登録手段が、スケールが既知のものの形状モデルのデータおよびそのスケールを含む形状情報をさらに登録する工程と、
    車両のスケールを算出する手段が、前記形状情報を利用して、前記車両形状を推定した車両のスケールを算出する工程と、
    を含む請求項８に記載の車種判別方法。
11. 前記登録手段が、車両側面側を撮影する第２のカメラの設置状況にかかる情報をさらに登録する工程と、
    前記画像入力手段が、前記第２のカメラからの画像を、さらに入力する工程と、
    前記特徴量抽出手段、前記対応付け手段、および、前記形状推定手段が、前記第１のカメラからの映像に対する処理と同様の処理を前記第２のカメラからの映像に対して行う工程と、
    前記形状推定手段が、さらに、前記第１および第２のカメラの位置関係から、前記第１および第２のカメラの映像から得られる各形状データ上の各点の対応付けを行うことにより、前記第１および第２のカメラからの画像から得られる形状データを統合する工程と、
    前記車種判別手段が、前記統合された形状データを用いて車種判別を行う工程と、
    を含む請求項８に記載の車種判別方法。
12. 前記車種判別手段が、前記形状モデルのデータを用いて、車軸と、車両側面から観察される連結部分とを検出する工程と、前記連結部分を介して牽引される部分を、さらに判別する工程と、を含む請求項１１に記載の車種判別方法。
13. 前記車種判別手段が、前記連結部分を介して牽引される部分が、車両であるのか、荷台であるのか判別する工程を含む、請求項１２に記載の車種判別方法。
14. 前記登録手段が、車両の荷台に搭載されうる荷物のテクスチャのデータをさらに登録する工程と、
    前記車種判別手段が、前記連結部分を介して牽引される部分が、荷台であると判別されるときに、前記荷物のテクスチャのデータを用いて、前記荷台上の荷物を判別する工程と、
    を含む請求項１３に記載の車種判別方法。

Images