JP6292708B2 - 画像情報から交通量推定のためのパラメータを求める方法 - Google Patents

Description

本発明は、画像情報から交通量推定のためのパラメータを求める方法に関し、より具体的には、複数の車両を含む比較的低品質な画像から車両台数を推定するための特徴量を求める方法に関する。

交通シュミレーションには入力として交通量等の交通データが必要であるが、正確な交通データを取得するにはGPSやセンサー等の設置コストが大きい等の問題がある。一方で、センサーに限らずとも多くの地域に既に設置されている交通カメラ（交通監視カメラ、ライブカメラとも呼ばれる）には多くの交通情報が含まれており、これらの交通カメラの画像から交通データを得ることが考えられる。しかし、一部の交通カメラの画像は解像度が低く、テンプレートマッチング等の画像認識の手法は用いることが出来ないのが現状である

そうした現状において、本発明者らは、交通カメラ等の低品質な画像から車両台数を計測する方法として、閾値処理を用いた２値化によって得られる特徴量（白画素の面積）を教師なし学習に用いることを提案している。その教師なし学習には、車両数に対して線形に変化する特徴量を用いる必要がある。しかし、その閾値処理を用いた２値化による特徴抽出では、様々な環境変化（照明環境の変化、車両スケールの変化、局所的環境変化）に必ずしも十分には対応できない恐れがある。

特許文献１、２には、カメラ画像から車両を検出する方法を開示する。しかし、これらの方法は、交通カメラ等の低品質な画像から車両台数を計測するための方法ではなく、特徴量を教師なし学習に用いることを利用するものでもない。

特開平０６−３３７９９８号公報 特開２００２−７４３６８号公報

本発明の目的は、交通カメラ等の低品質な画像から車両台数を計測する方法において、本発明者らが既に提案している、２値化によって得られる特徴量（白画素の面積）を教師なし学習に用いることよりもさらに環境変化に柔軟／適切に対応可能な特徴量／車両数に対して線形性のより高い特徴量の抽出方法を提供することである。

本発明は、コンピュータを用いた画像情報から交通量を推定するための特徴量を求めるための方法を提供する。その方法は、
（ａ）複数の車両を含む画像を複数の矩形領域に分割するステップと、
（ｂ）その画像から画素値がその周辺画素値から変化するコーナーを検出し、その検出したコーナーの位置を抽出するステップと、
（ｃ）その矩形領域の中からそのコーナーの位置が含まれる矩形領域の数を特徴量として抽出するステップと、を含む。

本発明の一態様では、複数の矩形領域に分割するステップ（ａ）は、分割前にその画像を類似画素領域平坦化フィルタによって処理するステップを含むことができる。また、その画像は、広視野角のカメラで撮影された低解像度の画像であることを含むことができる。

本発明の一態様では、複数の矩形領域に分割するステップ（ａ）は、フィルタ処理後の画像を評価関数のしきい値Ｘを用いて４分木法によって分割するステップを含むことができる。その４分木法によって分割するステップは、評価関数がしきい値Ｘ以上である場合、分割後の対応する矩形領域をさらに分割するステップを含むことができる。その評価関数は、画像の矩形領域中の画素の輝度値の分散を含むことができる。

本発明の一態様では、複数の前記画像の各々に対して、しきい値Ｘを変化させながら前記ステップ（ａ）を実行するステップと、（ｂ）及び（ｃ）のステップを実行して、複数の画像の各々についての特徴量を抽出するステップと、抽出された特徴量と対応する画像中の車両数との間の線形性を分析するステップと、線形性が最も高くなる場合のしきい値ＸＬを評価関数のしきい値Ｘとして選択するステップとを含むことができる。

本発明の一態様では、コーナーの位置を抽出するステップ（ｂ）は、コーナーの検出前に画像を境界強調フィルタによって処理するステップを含むことができる。

本発明の方法を実施するシステムの構成例を示す図である。 本発明の方法を実行するコンピュータの構成例を示すブロック図である。 本発明の方法のフローを示す図である。 本発明の方法のフローを説明するためのイメージ図である。 本発明の方法の実施例を示す図である。 本発明の方法の実施例を示す図である。

図面を参照しながら本発明の実施の形態を説明する。図１は、本発明の方法を実施するシステムの構成例を示す図である。システム100は、通信ネットワーク40を介して相互に通信可能に接続されたホスト（サーバー）10、PC（端末）20、ネットワーク・ドライブ30、交通カメラ50、中継器60を含む。ネットワーク・ドライブ30は、HDDやテープ・ドライブ等の記憶手段を含む。図１では、ホスト（サーバー）10、ネットワーク・ドライブ30及び中継器60はそれぞれ１つ、PC（端末）20は２つ、交通カメラ50は３つ描かれているが、これらはあくまで例示であって、各装置がそれぞれ任意の台数を含むことができることは言うまでもない。ネットワーク40は、有線及び無線の任意の通信ネットワークを含むことができる。

交通カメラ50は、例えばビルの屋上等に設置され、一定時間間隔で周辺の道路を静止画撮影または動画撮影する（定点撮影）。交通カメラ50は、周辺の道路を走る車両の台数をカウントするために、改めて導入した専用のものである必要はなく、既存の汎用交通カメラで足りる。その性能も比較的低品質のもの（例えば、数百万画素程度）でもよい。交通カメラ50で撮影された画像は、中継器60へ送られ、そこから通信ネットワーク40を介してホスト10／PC20へ送信される。受信された画像はホスト10／PC20内で処理された後、必要に応じて／定期的にネットワーク・ドライブ30に保管される。なお、中継器60を使用せずに、交通カメラ50で撮影された画像を通信ネットワーク40を介して直接ホスト10／PC20へ送信してもよい。

詳細は後述する本発明の方法は、図１の構成において、例えばPC20が、サーバー10やネットワーク・ドライブ30からダウンロードしたソフトウェア、あるいは自己の記憶手段内に保管されたソフトウェアを呼び出して実行することにより実施される。

図２は、本発明の方法を実行するコンピュータの構成例を示すブロック図である。図２では、図１のPC20の構成例を例示している。PC20は、バス230を介して相互に接続された演算処理装置（CPU）200、記憶手段210、各種I/F220を含む。各種I/F220は、入力I/F、出力I/F、外部記憶I/F、外部通信I/F等を含む総称として用いられ、各I/Fが、それぞれ対応するキーボード、マウス等の入力手段240、CRT、LCD等の表示手段250、USB接続の半導体メモリやHDD等の外部記憶手段260等に接続する。記憶手段210は、RAM、ROM等の半導体メモリ、HDD等を含むことができる。

図３と図４を参照しながら本発明の方法のフローについて説明する。図３は、本発明の方法のフローを示す図である。図４は、本発明の方法のフローを説明するためのイメージ図である。図３のステップＳ１１において、カメラ画像を取得する。ここで言うカメラ画像は、交通カメラ50等で撮影された後、ホスト10／PC20内の記憶手段あるいはネットワーク・ドライブ30に保管された画像データである。ステップＳ１１では、その画像データ（以降、単に「画像」と呼ぶ）をメモリから読み出して利用する。画像としては、例えば、図４（ａ）の道路上の車両を含む比較的広域な画像が該当する。以下、この図４（ａ）の画像を例にとり説明する。

図３のステップＳ１２において、ステップＳ１１で取得された画像を分割する。分割に先立ち画像を類似画素領域平坦化フィルタによって処理して、画像全体をぼかした画像とすることができる。類似画素領域平坦化フィルタの各パラメータは、後述する特徴量と車両数の線形性が高くなるように設定（選択）することができる。図４（ｂ）はそのフィルタ処理後の画像の例である。次にそのフィルタ処理後の画像を分割する。分割は、例えば４分木（Quad Tree）法によって画像を複数の矩形領域に分割する。４分木法による領域分割において用いる評価関数としては、例えば画素の輝度値あるいはその統計量（分散等）を用いることができる。なお、一例として４分木法を用いるのは、本発明が低解像度の画像を対象とし、長方形である車両の領域を必ずしも正確に検出する必要が無いことから、他の高精度な画像分割法をあえて用いなくても良いからである。

図４（ｃ）は、本発明の一実施形態として、画素の輝度値の分散を用いて４分木法による領域分割をおこなった例である。その分割に際して、輝度値の分散について所定のしきい値を設定する。各領域の画素の輝度値の分散がそのしきい値以上である場合、該当領域の画素の輝度値のばらつきが大きいとしてさらにその領域の分割をおこなう。一方、分散がそのしきい値よりも小さい場合、該当領域の画素の輝度値のばらつきが小さい、言い換えれば、その領域が類似画素の集合によって構成されているとして、その領域のさらなる分割を止める。分割後の各領域の情報（座標）は、メモリに保管される。なお、そのしきい値の設定については後述する。

図３のステップＳ１３において、ステップＳ１１で取得された画像中、特に道路領域において、画素値がその周辺画素値から変化するコーナーの位置（座標）を検出する。より具体的には、コーナーは例えば隣接画素間の輝度値の勾配がＸ、Ｙの両方向で所定値よりも大きい点（位置）として検出する。そのコーナーの位置検出に先立ち、画像を境界強調フィルタによって処理することができる。図４（ｄ）は、その境界強調フィルタ処理後の画像の例である。図４（ｄ）の画像の道路領域から車両を想定したコーナー位置の検出結果のイメージを図４（ｅ）に示す。図４（ｅ）中の白い点（丸）が検出されたコーナー位置を表している。そのコーナー位置の座標はメモリに保管される。

図３のステップＳ１４において、ステップＳ１２とＳ１３で得られた領域及び位置情報から特徴量を抽出する。特徴量は、一般に機械学習を用いた物体認識等において利用される物体の情報（パラメータ、ベクトル等）を意味する。本発明では、特に、画像情報から車両数を推定するための特徴量を意味する。ステップＳ１４では、例えば、図４（ｆ）においてイメージされるように、分割ステップＳ１２で得られた図４（ｃ）の各領域とステップＳ１３で得られたコーナー位置とを融合させて（組み合わせて）、コーナー位置が含まれる矩形領域を抽出（選択）する。

図４（ｆ）では、矩形領域Ａ〜Ｇの７つ（数７）が特徴量として抽出される。なお、矩形領域Ｂ、Ｅ、Ｆに例示されるように、分割後の矩形領域の大きさ、あるいはコーナー位置の緊密度（近接度）に応じて、１つの矩形領域に２以上のコーナー位置が存在する場合がある。その場合も２以上のコーナー位置が存在する矩形領域を１つの特徴量（数１）として抽出する。

このように、本発明では、画像中のコーナー（エッジ）位置といった単一のパラメータを用いて特徴量を求めるのではなく、所定の評価関数を用いて分割された領域とコーナー位置とを組み合わせて特徴量を求めることに発明としての１つの特徴がある。これにより、低品質（低解像度）カメラで撮影されたような比較的低解像度の画像であっても、車両数を推定するために有効な／精度の高い特徴量を求めることが可能となる。得られた特徴量は、メモリに保管された後、次のステップＳ１５において、任意の車両数推定モデルにおいて車両数の推定のために利用される。

本発明では、特徴量と車両数との間の線形性を高めるためにさらに以下の工夫を行っている。すなわち、図３のステップＳ１２の画像分割で用いる評価関数（例えば、画素の輝度値の分散）のしきい値を以下の方法で決定することができる。また、同様な方法で分割前処理の類似画素領域平坦化フィルタの各パラメータを決定することができる。

（ｉ）図３のステップＳ１１で取得可能な複数の画像の各々に対して、しきい値Ｘの値を変化させながら図３のステップＳ１２〜Ｓ１４を順次実行して、各画像についての特徴量を抽出してメモリに保管する。
（ｉｉ）抽出された特徴量の各々と対応する画像中の車両数との間の線形性を分析する。具体的には、例えば、車両数を目的関数（従属変数）とし、特徴量を説明変数（独立変数）として回帰分析を行う。なお、各画像における車両数は、例えば、道路領域の車両数を目視によって計数したものを利用する。
（ｉｉｉ）線形性が最も高くなる場合のしきい値ＸＬを評価関数のしきい値Ｘとして選択する。上記（ｉｉ）の回帰分析を行う場合を例にとると、回帰直線との差が最小となる場合のしきい値ＸＬを選択する。

図５と図６を参照しながら本発明の実施例について説明する。図５と図６は、特徴量と車両数の相関を示す図である。図５は、天候が晴れの場合に取得された画像についての相関図である。図６は、天候が曇りの場合に取得された画像についての相関図である。両図において、（ａ）が本発明の方法によって得られた特徴量を用いた場合であり、（ｂ）は参照例として、しきい値処理を用いた２値化によって得られる特徴量（白画素の面積）を用いた場合である。

晴れと曇りの各画像は、教師画像としてそれぞれ２００画像準備した。画像は交通カメラで撮影された道路上の複数の車両を含む比較的広域な画像を用いている。両図の（ａ）の本発明の方法の場合では、上述した線形性が最も高くなる場合の評価関数（分散）のしきい値ＸＬ及び分割前処理の類似画素領域平坦化フィルタの各パラメータを採用した場合の特徴量を用いている。また、両図の（ｂ）の参照例では、既存の２値化による特徴量においてしきい値を０〜２５５まで変化させて、車両数に対して特徴量が最も線形になるしきい値を採用した場合の特徴量を用いている。

図５と図６における（ａ）と（ｂ）の図の比較から、晴れおよび曇りのいずれの場合の画像においても、本発明の方法によって得られた特徴量は、参照例に比べて車両数との間の線形性が高いことがわかる。特に、図６の曇りの画像においては、（ｂ）の参照例に比べて、本発明の方法は、各段に線形性が向上していることがわかる。このように、本発明の方法によれば、天候等を含む撮影条件／環境の変化に対して、車両数との間の線形性の低下を抑制することができ、車両推定のための安定した精度の高い特徴量を提供することが可能となる。

本発明の実施形態について、図を参照しながら説明をした。しかし、本発明はこれらの実施形態に限られるものではない。例えば、画像を４分木法によって分割する際の評価関数としては、隣接画素との関係統計量を用いることができる。また、４分木法以外の他のアルゴリズム（Nearest neighbor algorithm等）を用いた領域分割をおこなうことも可能である。さらに、車両数推定モデルを用いることなく、本発明の方法によって得られた特徴量から直接的に車両数を推定することもできる。本発明はその趣旨を逸脱しない範囲で当業者の知識に基づき種々なる改良、修正、変形を加えた態様で実施できるものである。

１０ サーバー（ホスト）
２０ コンピュータ（PC）
３０ ネットワーク・ドライブ
４０ ネットワーク
５０ カメラ（交通カメラ）
６０ 中継器
１００ システム

Claims (8)

1. コンピュータを用いた画像情報から交通量を推定するための特徴量を求めるための方法であって、
   （ａ）道路領域に複数の車両を含む画像を複数の矩形領域に分割するステップであって、前記矩形領域は画素の輝度値の分散が所定のしきい値よりも小さい画素領域を含む、ステップと、
   （ｂ）前記画像中の前記道路領域から隣接画素間の輝度値の勾配がＸ、Ｙの両方向で所定値よりも大きいコーナーを検出し、その検出したコーナーの位置を抽出するステップと、
   （ｃ）前記矩形領域の中から前記コーナーの位置が含まれる前記矩形領域の数を前記特徴量として抽出するステップと、を含む方法。
2. 前記複数の矩形領域に分割するステップ（ａ）は、
   分割前に前記画像を類似画素領域平坦化フィルタによって処理するステップを含む、請求項１に記載の方法。
3. 前記複数の矩形領域に分割するステップ（ａ）は、
   前記フィルタ処理後の画像を前記画素の輝度値の分散のしきい値Ｘを用いて４分木法によって分割するステップを含む、請求項２に記載の方法。
4. 前記４分木法によって分割するステップは、
   前記画素の輝度値の分散が前記しきい値Ｘ以上である場合、分割後の対応する前記矩形領域をさらに分割するステップを含む、請求項３に記載の方法。
5. 複数の前記画像の各々に対して、前記しきい値Ｘを変化させながら前記ステップ（ａ）を実行するステップと、
   前記（ｂ）及び（ｃ）のステップを実行して、複数の前記画像の各々についての前記特徴量を抽出するステップと、
   抽出された前記特徴量と対応する前記画像中の車両数との間の線形性を分析するステップと、
   前記線形性が最も高くなる場合のしきい値ＸＬを前記しきい値Ｘとして選択するステップと、を含む請求項４に記載の方法。
6. 前記コーナーの位置を抽出するステップ（ｂ）は、前記コーナーの検出前に前記画像を境界強調フィルタによって処理するステップを含む、請求項１〜５のいずれか１項に記載の方法。
7. 前記画像は、広視野角のカメラで撮影された低解像度の画像である、請求項１〜６のいずれか１項に記載の方法。
8. 請求項１〜７のいずれか１項の各ステップを実行するためのコンピュータ・プログラム。

Images