JP3359729B2 - 交通流自動計測方法と装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、道路における自動車の
交通量、平均速度、密度、渋滞度などの交通流の計測に
画像処理を利用する装置と方法に係わり、撮像画像の放
射強度によるヒストグラムをニューラルネットワークへ
の入力値とすることにより、天候、時間帯、画像認識処
理が必要とする情報などを自動的に判別し、その状況に
応じた画像認識アルゴリズムやパラメータの自動選択な
どを実現できる交通流自動計測方法と装置に関するもの
である。

【０００２】

【従来の技術】最近の交通流計測装置では、工業用テレ
ビカメラ（ＩＴＶ）と画像処理装置および画像認識装置
を応用した技術が採用されはじめている。実用レベルに
達している応用例として、トンネル内の車両速度測定が
ある。例えば、特開昭６３−２９２０６７号公報には
「車両の速度測定装置」の発明が開示されていて、この
装置はトンネル内の自動車速度を求めるため、しきい値
によって２値化した画像から車両のテールランプを特定
点として位置座標を抽出し、次に入力した画像との移動
量から速度を求めるものである。トンネル内は人工照明
のため、画像処理とその結果の認識は比較的容易であ
る。一方、通常の屋外の道路上の車両検出や速度計測で
は、技術的課題が山積されており、これらを解決すべく
多くの特許出願がなされている。屋外環境で路面の明る
さが一定でないため、道路と車両の画像を分離するため
の明度のしきい値の取り方について、いくつかの特許出
願がある。例えば、特開昭６０−２７９９８号の発明で
は、道路と自動車で２つの明度ピークが得られることに
着目し、その昼間明度をしきい値としている。同様に特
開平２−１４１８９８号では輝度ヒストグラムよりしき
い値を時々刻々更新する技術が開示されている。また、
特開平２−１６６５９８号の発明では同じ路面上の位置
の明度を累積し、基準路面明度を求めている。

【０００３】以上の明度の問題を回避するために、特開
平４−８４３００号では△ｔ時間間隔の２画像の差から
車両を検出し、さらに空間微分で車両の輪郭を取り出す
方式が提案されている。別の課題への対応として影によ
る誤判定の回避がある。特開平３−２６５１００号では
影による誤判定をさけるため、車頭と側部の特徴点を利
用することが開示されている。また、夜間のヘッドライ
トのハレーションを避けるために特開平３−１１５００
号の発明では監視用カメラの露出調整をすることが記載
されている。さらに、ニューラルネットワークを利用し
た交通渋滞の程度（以下、渋滞度）を判定する例もあ
る。特開平５−４０８９６号の発明は、画像処理の後、
車両の移動量から得られた特徴量をニューラルネットワ
ークで構成される渋滞度判定処理部に入力して渋滞度を
計測する装置である。さらに、上記の各例からも推定さ
れるように、現地でのしきい値などの調整に多大な日数
が必要であり、実用化のための大きなネックになってい
た。

【０００４】

【発明が解決しようとする課題】以上概観してきたよう
に、従来の画像式交通流計測方式では、次に記載するよ
うな問題点があるため、一般の屋外の道路に対し十分な
信頼性を持った計測ができなかった。第１に、天候の変
化への対応であるが、晴天と曇天での道路輝度の変化へ
の対応が不十分であった。晴天時の影への対策も十分と
は言えない。また、雨天時には路面の反射が強まり、車
両が判別しにくくなることへの対応ができていない。さ
らに雪や霧などの天候の場合、路面と車両の判別が十分
でなかった。第２に、天候の変化と同様に時刻による変
化、すなわち昼夜および薄暮時への対応の問題がある。
一般に昼は車体形状、夜はライトを手がかりにするが、
一部の車両がヘッドライトを点灯させている薄暮時の対
応ができていない。

【０００５】第３に現地調整の問題がある。比較的簡単
なトンネル内での調整であっても、１〜２カ月かかるこ
ともあると言われている。さらに難しい屋外道路に対し
て、ほとんど無調整で利用できることが必要である。そ
こで本発明の目的は一般の屋外の道路に対し十分な信頼
性を持った交通流の自動計測を可能にすることである。
また、本発明の目的は天候の変化への対応、時刻の変化
の対応が可能で検出確度の高い交通流自動計測を行うこ
とである。さらに、本発明の目的は現地での調整が容易
に行える交通流自動計測方法と装置を提供することであ
る。

【０００６】

【課題を解決するための手段】本発明は上記課題を解決
するために、以下の手段を用いる。撮像装置から入力し
た画像に対し、画像処理と画像認識処理を利用して車両
認識を行い、その結果に基づいて車両台数、車両速度、
車両の時間占有率、車両の空間占有率及びこれらの値を
用いて演算される諸量（車種、車両長さなど）の内の少
なくとも一つの車両計測処理を行う交通流自動計測方法
において、撮像装置から入力した画像の放射強度による
ヒストグラムを統計処理し、その統計処理後の放射強度
によるヒストグラムをニューラルネットワークに入力
し、交通流の自動計測に必要なパラメータをニューラル
ネットワークから出力させて、この出力値を用いて車両
計測処理を行う交通流自動計測方法とそのための装置で
ある。また、撮像装置から入力した画像の放射強度によ
るヒストグラムを統計処理し、得られた統計処理後の放
射強度によるヒストグラムを教師信号として予め学習し
ておいてニューラルネットワークに入力し、新たに得ら
れた統計処理前の放射強度によるヒストグラムをニュー
ラルネットワークに入力する方法を用いても良い。

【０００７】上記第１の問題の天候変化、第２の問題の
昼夜などの時間帯への対応について、本発明では、撮像
装置から入力した画像の放射強度によるヒストグラムの
統計量がそれぞれの場合によって異なる点に着目した。
具体的には、それぞれの場合の放射強度によるヒストグ
ラムの統計量から、当該ヒストグラムの頻度を累積加算
して得られる累積ヒストグラム、その累積ヒストグラム
において放射強度の頻度を平均処理して得られる平均ヒ
ストグラム、所定時間内に得られたヒストグラムの各放
射強度に対する頻度において最小値を選択して得られる
最小ヒストグラム、同様に頻度の最大値を選択して得ら
れる最大ヒストグラム、累積・平均・最大・最小の各ヒ
ストグラムのそれぞれ単独あるいは前記各ヒストグラム
間で行われる演算結果により得られるヒストグラム（例
えば平均ヒストグラムと累積ヒストグラムとの残差ヒス
トグラム）などをニューラルネットワークに入力して、
それぞれの状況を判断させる。

【０００８】上記のように、放射強度によるヒストグラ
ムの他に、色フィルター処理画像などにより得られるヒ
ストグラムからも同様の処理が可能である。また、本発
明は統計処理前の画像の放射強度によるヒストグラムを
ニューラルネットワークに入力する方法を用いることも
できる。この場合には、あらかじめ統計処理した放射強
度のヒストグラム等を教師信号としてあらかじめ学習し
ておくことで交通流計測が可能になる。また、ニューラ
ルネットワークへの入力として、上記した画像の放射強
度によるヒストグラムの他に、現地時刻や当該ヒストグ
ラム作成時の時刻などの時間データ、緯度・経度などの
位置情報、該位置情報から類推される日の出と日の入り
時刻情報、照度計・雨量計などの気象センサからのデー
タなども与えることができる。

【０００９】本発明においては、ヒストグラムのデータ
そのものをニューラルネットワークに入力する。具体的
にはヒストグラムのパターンを認識させるために必要な
データ（例えば図３の横軸：輝度、明度など、縦軸：頻
度）を入力する。その場合、図３の例で、横軸が２５６
階調の放射強度であるとすると、２５６階調のすべての
データをニューラルネットワークに入力する必要はな
く、ヒストグラムのパターンが認識可能であれば、２５
６階調の中の１／２、１／３のデータ数を入力する方法
でも良い。ニューラルネットワークの出力として画像認
識処理に利用するデータとして、晴れ・曇りなどの天候
状態、昼・夜などの時間帯、一次微分・二次微分・ラプ
ラシアンなど微分処理に用いるしきい値やリファレンス
などの画像処理パラメータを用いることもできる。この
場合はニューラルネットワークの出力として、晴れ・曇
りなどの天候状態、昼・夜などの時間帯、一次微分・二
次微分・ラプシアンなどの微分処理に用いるしきい値ま
たはリファレンスなどの画像処理パラメータなど、画像
認識処理に利用する情報が得られるため、上記天候変
化、昼夜などの時間帯の問題による交通流計測への影響
は解決される。本発明のニューラルネットワークは、バ
ックプロパゲーションによる学習機能と３層以上かつ中
間層が１層以上から構成される多層ニューラルネットワ
ークである。

【００１０】本発明では、画像処理を用いた交通流計測
に必要なパラメータをニューラルネットワークで自動的
に判断させることにより、画像処理パラメータ切り替え
を自動化することに特徴がある。従って、ニューラルネ
ットワークからは交通流計測部での画像処理に必要なパ
ラメータが出力され、交通流の計測自身は、交通流計測
部において行なわれる。交通流計測部は、リアルタイム
にニューラルネットワークから画像を取り込んで画像処
理／認識を行う。ニューラルネットワークの入力データ
が統計処理データである場合はその性質上、ニューラル
ネットワークの出力は、ある一定間隔出力となる。ニュ
ーラルネットワークの出力が一定間隔でしか得られない
ことについては、例えば天候の急変があったとしても、
その後、例えば１秒後にさらに急変していることは極め
て少ないと考えられるので、問題のない画像処理速度が
得られる。そして、交通流計測部から交通流結果（例え
ば車両平均速度など）が出力される。

【００１１】第３の問題点である現地調整について、本
発明のニューラルネットワークは、前述の入出力値から
なるデータを外部から教師情報として、ある一定間隔で
自動的にもしくは意図的に加えることができ、教師情報
と近似する出力が得られるようにニューラルネットワー
クの各層の重み情報を更新する自動学習機能を有するた
め、教師データ、教師画像などによる各路面状況の自動
学習が可能となる。従って、本発明の交通流自動計測方
法と装置では計測結果が適切に判断されるよう予め調整
できるので、現地での調整の問題は解決される。本発明
において、ヒストグラムの放射強度とは可視光、赤外
光、紫外光を対象とした輝度、明度、彩度、色相などの
頻度を指している。

【００１２】以下の実施例では、輝度によるヒストグラ
ムを採用しているが、明度、彩度、色相の場合について
もほぼ同じようなパターンのヒストグラムが得られるた
め、明度、彩度、色相によるヒストグラムの場合でも輝
度のヒストグラムの処理内容と同様の手順により実現で
きる。また、赤外光または紫外光の場合もヒストグラム
の分布の違いこそあれ、原理的には可視光線による場合
と同じ処理で実現が可能である。なお、本発明では画像
の放射強度によるヒストグラムにおいて、前記累積ヒス
トグラムあるいは平均ヒストグラムと最小ヒストグラム
の差分により得られる移動体のヒストグラム、または前
記最小ヒストグラムと移動体のヒストグラムの演算によ
り得られるヒストグラムのいずれかもしくはすべてを用
いてこれをニューラルネットワークに入力しても良い。

【００１３】

【作用】本発明は画像処理を用いた交通流計測に必要な
パラメータをニューラルネットワークで自動的に判断さ
せることにより、画像処理パラメータの切り替えを自動
化するというものである。従って、ニューラルネットワ
ークの出力が交通流を判断するのではなく、あくまで交
通流計測部の画像処理で必要とするパラメータだけを出
力し、計測自身は交通流計測部において行う。その交通
流計測部から交通流結果（例えば車両平均速度など）を
出力する。本発明は画像処理を用いた交通流計測のため
のニューラルネットワークに入力するヒストグラムは統
計処理前の撮像装置から入力した画像の放射強度による
ヒストグラムまたは当該画像の放射強度によるヒストグ
ラムを統計処理して得られる放射強度のヒストグラムで
ある。

【００１４】統計処理前の画像の放射強度によるヒスト
グラムをニューラルネットワークに入力する方法を用い
る場合には、あらかじめ統計処理した放射強度のヒスト
グラム等を教師信号としてあらかじめ学習しておくこと
で交通流計測が可能になる。例えば、日中、晴れの学習
を行う場合には、その状況の画像から得られる放射強度
のヒストグラムを統計処理し、更に天候の出力として、
晴れの出力を１．０とし、その他の曇り、雨、雪等の出
力値は０．０とする教師信号を作成する。また、時間帯
も日中を１．０とし、その他は０．０とする。この教師
信号を基に学習させることにより、このニューラルネッ
トワークは日中・晴れの場合の統計処理前のヒストグラ
ムにおいて、天候・時間帯を自動認識することができ
る。ただし、原画像に例えば大きなトラック等が検出さ
れた場合には、ヒストグラムのパターンが大きく変動す
るため、ニューラルネットワークの判断の誤りが大きく
なる。そこで、統計処理後の画像の放射強度のヒストグ
ラムを用いれば、上記した画像変動分は吸収されるた
め、ニューラルネットワークの判断の確度がより向上
し、検出確度の高い交通流計測が可能となる。

【００１５】統計処理後の放射強度によるヒストグラム
として、累積値、最大値、最小値、平均値ヒストグラム
の単独またはこれらの演算結果により得られるヒストグ
ラムを用いることで、リアルタイムに得られた１つのヒ
ストグラムを用いて天候、時刻などの判断を行うことに
よる上記した大型トラックの通過等の変動の大きい原画
像により判断結果が左右されやすい欠点を補うことがて
きる。またこれらの統計処理値を用いることにより統計
処理の中で処理速度の比較的早い演算で得られる。前記
統計処理後のヒストグラムの中では累積値＞最大値＞平
均値＞最小値ヒストグラムの順でデータ量が少なくなる
ため、処理速度もこの順序で早くなる。これら統計処理
後の値を用いて演算すると、路面と車両の分離が容易に
できるヒストグラムが得られるので、路面を示すヒスト
グラムのパターンと車両を示すパターンから天候、時間
帯などを容易に判断できる。

【００１６】以上述べた考え方からなる本発明の特徴点
は次の通りである。第１に、晴天、曇天、雨天など各天
候状況における画像の放射強度によるヒストグラムを統
計処理し、その結果得られるヒストグラムの相違点を車
両と路面の識別の判断に利用しているので、それぞれの
場合に最適な画像認識処理を選択することができる。ま
た強雨、降雪、霧など車両と路面の明度差の小さな場合
の対応も同様に可能である。第２に、上記第１の特徴点
と同様に、昼夜の時間帯も比較的容易に判断できる。ま
た、ニューラルネットワークには天候状況、昼夜の時間
帯などの状態を予め学習させておくことが可能であるた
め、それぞれの状況において適切なパラメータによる画
像認識処理を行うなどが可能となる。第３に現地調整の
簡略化ができる。本発明の画像認識処理に必要な情報
は、ニューラルネットワークが自動的に学習しながら更
新していくので人手による調整は少なくて良い。

【００１７】自動学習方法にはある一定時間周期で、前
述のヒストグラム入出力値からなるデータや判断結果を
外部から教師情報として加え、教師情報と近似する出力
が得られるように各層の重み情報を自動的に更新する方
法を用いる。また、特殊処理として、人手による学習も
可能である。ある入力画像に対し予め決められた形式、
例えば可視光画像での輝度によるヒストグラムなどを入
力側の教師情報とし、更にタイマや気象センサなどから
得たデータとオペレータが教示する天候の情報を出力側
の教師情報として、ニューラルネットワークに与え、そ
の後は自動学習手順と同様の処理を行うことで実現でき
る。この場合の学習ではオペレータとの対話式操作法に
より操作性の問題は少ない。従って、現場または中央監
視室での調整作業は非常に効率的となる。

【００１８】

【実施例】本発明の実施例を図面と共に説明する。 実施例１ 図１は本発明の一実施例である交通流自動計測方法のニ
ューラルネットワークシステム構成図である。ＩＴＶカ
メラ１０１から入力された画像に対し、交通流計測装置
１００のヒストグラム検出部１０２で輝度によるヒスト
グラムの検出が行われる。この処理は一定間隔時間ある
いは連続的に処理される。輝度によるヒストグラムＨｎ
の検出の結果は統計処理部１０３で統計処理され、統計
ヒストグラムとして出力される。統計ヒストグラムとし
ては、平均ヒストグラムＨａｖｅ、最小ヒストグラムＨ
ｍｉｎ、最大ヒストグラムＨｍａｘの３種類を取り出し
ている。平均ヒストグラムＨａｖｅは、輝度によるヒス
トグラムＨｎの累積加算をとった累積ヒストグラムのそ
れぞれの輝度における頻度の平均をとってヒストグラム
に置き換えたものであり、最小ヒストグラムＨｍｉｎ、
最大ヒストグラムＨｍａｘは、サンプリングデータの各
輝度における頻度の最大値と最小値からなるヒストグラ
ムである。

【００１９】ここで、統計ヒストグラムとしては、平均
ヒストグラムＨａｖｅ、最小ヒストグラムＨｍｉｎ、最
大ヒストグラムＨｍａｘの３種類を用いる理由を説明す
ると、例えば原画像に大きなトラック等が検出された場
合に、ヒストグラムのパターンが大きく変動するので、
それを避けるためである。例えば、図２にはリアルタイ
ムの各輝度での頻度を表すヒストグラムＨｎを示し、日
中・曇りの状況下で、普通車が検出された場合のヒスト
グラム（図２（ａ））と大型車が検出された場合のヒス
トグラム（図２（ｂ））を示す。図２には統計処理前の
ヒストグラムＨｎが示され、実線は路面のヒストグラム
Ｈｎであり、破線の部分が車両による変動部分を表す。
黒い車両は路面の輝度ａのピーク値より暗い値の方に変
動分が生じ、白い車両は路面輝度ａでのピーク値より明
るい値の方に変動分が出る。また路面の白線等は輝度ｂ
にピーク値が出る。路面のヒストグラムＨｎは車両通過
時に大きく変動するが、図２（ａ）に示す普通車の場合
に比較して図２（ｂ）に示す大型車の場合には、原画像
内の大部分が車両画像になるため、路面のヒストグラム
Ｈｎのピークが消えてしまい、路面の輝度ａのピーク値
の値が大きくずれるために、ニューラルネットワークで
も判断の確度が低下する。

【００２０】そこで、統計処理後のヒストグラムを用い
れば、輝度ヒストグラムＨｎを取得したときの原画像に
判断結果が左右されずに、上記した変動分は吸収される
ため、判断の確度がより向上し、検出確度の高い交通流
計測が可能となる。そして、統計処理後のヒストグラム
として平均ヒストグラムＨａｖｅ、最小ヒストグラムＨ
ｍｉｎ、最大ヒストグラムＨｍａｘを用いる。その理由
は、これらの値が統計処理の中で処理速度の比較的早い
演算であるためである。これら統計処理後の値を用いて
演算すると、図８に示すように、路面と車両の分離が容
易にできるヒストグラムが得られるので、路面を示すヒ
ストグラムのパターンと車両を示すパターンから天候、
時間帯などを容易に判断できる。ここで、統計処理の結
果得られる統計ヒストグラムとしては、上記３種類の他
にある特定部分のみを部分抽出したヒストグラムや、サ
ンプリングした輝度によるヒストグラム間で演算処理を
施した結果得られたヒストグラムを利用することもでき
る。

【００２１】図３には、日中における輝度によるヒスト
グラムＨｎの一般形を示す。実線は路面のヒストグラム
Ｈｎであり、路面輝度ａにおいて大きなピーク値となっ
て現れる。また、道路にある白線や車両の反射などが輝
度ｂにおいて第２のピーク値となって現れる。破線の部
分が車両による変動部分を表す。車両は路面輝度ａのピ
ーク値の両端になだらかな形で現れる。また、図４に
は、夜間における輝度によるヒストグラムＨｎの一般形
を示す。夜間の場合は画像の暗さが目立つため、ヒスト
グラムＨｎは暗い部分になだらかな傾斜のピーク値をも
つ輝度ａが得られる。この部分が路面と車両との両方の
輝度によるヒストグラムＨｎである。さらに、車のライ
トなどの輝度ｂが第２のピーク値となって現れる。これ
らの輝度によるヒストグラムＨｎを統計処理部１０３で
統計処理して得られた各々のヒストグラムＨａｖｅ、Ｈ
ｍｉｎ、Ｈｍａｘをニューラルネットワーク１０４に入
力する。ニューラルネットワーク１０４では、入力デー
タをもとに判断処理を行い、例えば日中、夜、朝、夕方
などの時間帯、晴れ、曇り、雨、雪などの天候状態、微
分処理に用いる最適しきい値などの画像認識処理パラメ
ータなどを出力する。最適しきい値は、図３では上限し
きい値１３８、下限しきい値１２８の２種類が得られ、
図４では、１つのしきい値１１８が得られる。

【００２２】図５には、それぞれの天候状態、時間帯に
よるヒストグラムＨｎの一般形を示す。この図５では、
輝度によるヒストグラムＨｎを示したが、明度、彩度、
色相によるヒストグラムでも傾向はほぼ同じである。図
５において、輝度ａ、ａ′、ａ″の各々の頻度ピークは
路面によるものであり、輝度ｂの頻度ピークは道路の白
線などの路面ペイント、輝度ｃの頻度ピークは車両のヘ
ッドライト、輝度ｄの頻度ピークは太陽光の反射および
輝度ｅの頻度ピークは車などの影によるものである。更
にヒストグラムＨｎの斜線部には車両による変動分が含
まれている。雨または雪の場合のヒストグラムＨｎに
は、路面の反射により路面ピークが＋α分加算したとこ
ろに出る。なお、雨の場合のヒストグラムＨｎに対する
雪による変動分は破線に示す。それぞれの場合におい
て、しきい値は路面のピークを示す輝度（ａ、 ａ′、
ａ″）を基準に±ｘあるいは＋ｘ分の幅をとったところ
に設定することで、車両検出ができる。また、夜の場合
の晴れと曇りでは、ほぼ同じパターンのヒストグラムが
得られるので、しきい値も同じになるが、ヒストグラム
Ｈｎに大きな変化がない限り、画像処理への影響はな
い。

【００２３】これらのヒストグラムＨｎを基に演算を行
い、ニューラルネットワーク１０４に入力することで、
画像処理に最適なしきい値や、画像処理切り替えに必要
な天候、時間帯の情報を自動的に判断することができ
る。例えば、天候状態を示す値、時間帯を示す値、最適
しきい値等の情報は、図６に示すように、重み変更処理
部１０５にフィードバックされ、ニューラルネットワー
ク１０４の自動学習を行っている。また、オペレータが
実際の画像をモニタして、判断の誤りがあった場合に
は、教師データによりニューラルネットワーク１０４に
教示することもできる。その際には誤りが発生したとき
のヒストグラムＨｎも重み変更処理部１０５に入力され
学習の参考にされる。例えばニューラルネットワーク１
０４の判断結果と実際の画像をオペレータがモニタし、
晴れ．日中の画像の時に、ニューラルネットワーク１０
４が曇り．朝（夕）方と判断した場合には、あらかじめ
決められた固定値を教師データとしてニューラルネット
ワーク１０４に教示することができる。ニューラルネッ
トワーク１０４の判定結果は、交通流計測部１０６に送
られ、原画像の認識処理に利用される。交通流計測部１
０６は、交通流の計測データとして、車両平均速度、車
両時間密度、車両空間密度、車両長、車種（トラック・
自家用車等）などを出力する。ここで、車両平均速度と
は、一定時間に認識された車両の速度の調和平均であ
り、車両時間密度は、原画像内に車両が存在した時間の
割合であり、車両空間密度は、原画像内における車両進
行方向の長さに対する車両の占める長さである。

【００２４】実施例２ 図７は本発明の他の実施例である交通流自動計測方法の
ニューラルネットワークシステム構成図である。ＩＴＶ
カメラ１０１から入力された画像に対し、輝度によるヒ
ストグラムＨｎの検出が交通流計測装置４００のヒスト
グラム検出部１０２で行われる。この処理は一定間隔時
間あるいは連続で処理される。ヒストグラム検出部１０
２の結果は、統計処理部４０１で統計処理され、累積ヒ
ストグラムＨｃｕｒ、最小ヒストグラムＨｍｉｎ、平均
ヒストグラムＨａｖｅが得られ、最小ヒストグラムＨｍ
ｉｎと累積ヒストグラムＨｃｕｒが演算処理部４０２に
入力される。図８に、輝度によるヒストグラムＨｎの演
算結果例（日中の一般形）を示す。最小ヒストグラムＨ
ｍｉｎ５０２では路面ピーク値５０５と路面上の白線５
０４の輝度が顕著に現れるため、これは路面を示すヒス
トグラムと言える。また、累積ヒストグラムＨｃｕｒ５
０１と最小ヒストグラムＨｍｉｎ５０２の差分を表す残
差ヒストグラムＨｒｅｓ５０３が移動体、この場合には
車両５０６を示すヒストグラムと言える。また、残差ヒ
ストグラムＨｒｅｓ５０３には車両の影５０７によるピ
ークも現れる。演算処理部４０２での演算処理の例とし
て、本実施例ではサンプリングしたヒストグラムＨｎを
累積加算した累積ヒストグラムＨｃｕｒ５０１と、最小
ヒストグラムＨｍｉｎ５０２の差分をとり、残差ヒスト
グラムＨｒｅｓ５０３を算出している。

【００２５】図７では、この残差ヒストグラムＨｒｅｓ
５０３と累積ヒストグラムＨｃｕｒ５０１の平均である
平均ヒストグラムＨａｖｅをニューラルネットワーク４
０３に入力する例を示している。さらに、タイマ４０５
より現時点での時刻ｔをニューラルネットワーク４０３
の判断材料として与えている。ニューラルネットワーク
４０３では、これらの入力データをもとに判断処理を行
い、車両の有無を判定している。この判定結果である車
両の有無の情報は、重み変更処理部４０４にフィードバ
ックされ、ニューラルネットワーク４０３の自動学習を
行っている。また、オペレータが実際の画像をモニター
して、判断の誤りがあった場合には、教師データによ
り、ニューラルネットワークに教示することもできる。
その際には、誤りが発生した時のヒストグラムＨｎも重
み変更処理部４０４に入力され学習の参考にされる。ニ
ューラルネットワークの判定結果は交通流計測部４０６
に送られ、原画像の認識処理に利用される。交通流計測
部４０６は、交通流の計測データとして、車両平均速
度、車両時間密度、車両空間密度、車種・車両長などを
出力する。本実施例では輝度によるヒストグラムＨｎを
用いているが、その他には、赤外光の輝度によるヒスト
グラム、色フィルターを通過した画像に対する色相によ
るヒストグラム、明度によるヒストグラムなど気象条件
や環境などにより車両が検知されやすいヒストグラムを
選択することができる。

【００２６】例えば、視界が悪い場所においては、赤外
光によるヒストグラムが有効になる。赤外光によるヒス
トグラムの例を図９に示す。輝度ａと輝度ａ’における
頻度のピーク値は、路面によるピークを示しており、日
中から夜にかけて路面温度による変動がある。季節によ
り前記路面によるピークは変動する。また、輝度ｂにお
ける頻度のピーク値は車両によるピークであり、車両の
温度が路面温度より高いため、路面と車両の分離が簡単
になる。赤外光によるヒストグラムは天候や時間帯の影
響を受けにくい点は優れているが、赤外光対応のカメラ
を用いることが必須になる。また、色フィルターを通過
した画像を用いた場合も赤外光による方法と同様であ
る。明度によるヒストグラムの場合は、輝度によるヒス
トグラムＨｎの場合と効果、パターン共にほぼ同一であ
る。また、以上のような各種のヒストグラムの中から気
象条件や環境などにより車両が検知されやすいヒストグ
ラムを選択するように、気象センサなどから情報を得て
切り換えることも可能である。

【００２７】実施例３ ＩＴＶカメラ１０１から入力された画像に対し、輝度に
よるヒストグラムの検出が図７のヒストグラム検出部１
０２で行われる。この処理は一定間隔時間あるいは連続
で処理される。ニューラルネットワーク４０３の入力と
して、現在時刻や当該ヒストグラム作成時刻などの時間
データ、緯度・経度などの位置情報、当該位置情報から
類推される日の出・日の入り時刻の情報、照度計・雨量
計・視程計といった気象センサからのデータを与えるこ
とができる。図１０に本実施例によるニューラルネット
ワーク１０４を示す。ニューラルネットワーク１０４の
入力層には、統計ヒストグラムから得られる累積ヒスト
グラムのパターンと最小ヒストグラム、更にこれらの差
分の残差ヒストグラムのパターンを入力する。また、
０．０〜２４．０で示される現在時刻、日の出、日の入
り時刻から計算できる日照時間、照度計から得られる照
度データ、雨量計から得られる雨量データ、視程計から
得られる視程データを入力している。また、ニューラル
ネットワーク１０４の出力層には、時間帯、天候および
しきい値がすべて含まれている。

【００２８】また、図１１、図１２、図１３に示すよう
に時間帯、天候およびしきい値を個別に分離してニュー
ラルネットワーク１０４に入出力することも可能であ
る。これらのデータを基に、ニューラルネットワーク１
０４にて時間帯、天候、画像処理で利用するしきい値を
判断し、出力する。出力する時間帯は、日中と判断した
場合には日中を１．０、朝・夕方を０．０とし、夜と判
断した場合には夜を１．０、日中、朝・夕方を０．０と
する。天候も同様である。また、画像処理用パラメータ
であるしきい値は、例えば輝度（０〜２５５階調）を出
力する。これらの出力値を例えば図７に示すような交通
流計測部４０６に入力し、しきい値は画像認識、理解の
処理に利用され、天候、時間帯などは画像処理アルゴリ
ズムを切り替えるための目安に利用する。

【００２９】

【発明の効果】本発明によれば、晴天、曇天、雨天での
道路の画像から得られる放射強度によるヒストグラムを
統計処理し、ニューラルネットワークの入力として与え
ることで、画像認識処理のアルゴリズム選択やパラメー
タ選択の自動化を実現でき、交通流計測を自動化でき
る。また当該ヒストグラムの統計処理結果を多種組み合
わせ、演算を行ったヒストグラムや、時刻、気象センサ
などのデータを、ニューラルネットワークへ入力するこ
とで、車両の自動認識も行うことができる。以上の処理
により路面と車両の明度差の小さくなる強雨、降雪、霧
の場合の明度差の減少への対応も可能である。また積雪
路面は輝度が高いので、車両の識別は容易であり、昼夜
など時刻変化への対応も上記の処理で実現できる。さら
に、本発明によれば現地調整の簡略化が可能となる。路
面輝度などの画像処理・画像認識用パラメータは前述の
ようにニューラルネットワークが自動的に学習しながら
更新していくので人手による調整は極めて少ない。認
識、判断の誤り修正による教示も、対話型操作で簡単に
行うことができる。また、これらの操作は画像処理の専
門知識を必要としない。

【図面の簡単な説明】

【図１】 本発明の実施例のニューラルネットワークを
用いた交通流自動計測方法のシステムを示すブロック図
である。

【図２】 本発明の実施例の日中曇りの場合の普通車と
大型車による路面ヒストグラムの変動を比較して説明す
る図である。

【図３】 本発明の実施例の日中における輝度によるヒ
ストグラムの一般形を示す図である。

【図４】 本発明の実施例の夜間における輝度によるヒ
ストグラムの一般形を示す図である。

【図５】 本発明の実施例の各種条件下での統計ヒスト
グラムを示す図である。

【図６】 本発明の実施例のニューラルネットワークの
自動学習を説明する図である。

【図７】 本発明の実施例のニューラルネットワークを
用いた交通流自動計測方法のシステムを示すブロック図
である。

【図８】 本発明の実施例の輝度によるヒストグラムの
演算結果例（日中の一般形）を示す図である。

【図９】 本発明の実施例の赤外光の輝度ヒストグラム
を示す図である。

【図１０】 本発明の実施例のニューラルネットワーク
を示すブロック図である。

【図１１】 本発明の実施例のニューラルネットワーク
を示すブロック図である。

【図１２】 本発明の実施例のニューラルネットワーク
を示すブロック図である。

【図１３】 本発明の実施例のニューラルネットワーク
を示すブロック図である。

【符号の説明】

１０１…ＩＴＶカメラ、１０２…ヒストグラム検出部、
１０３、４０１…統計処理部、１０４、４０３…ニュー
ラルネットワーク、１０５、４０４…重み変更処理部、
１０６、４０６…交通流計測部、４０２…演算処理部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ Ｇ０８Ｇ 1/04 Ｇ０８Ｇ 1/04 Ｃ (72)発明者 小中 克己 神奈川県横浜市磯子区磯子一丁目２番10 号 バブコック日立株式会社 横浜エン ジニアリングセンタ内 (72)発明者 新谷 定則 広島県呉市宝町３番36号 バブコック日 立株式会社 呉研究所内 (56)参考文献 特開 平２−141898（ＪＰ，Ａ) 特開 平６−4795（ＪＰ，Ａ) 特開 平５−40896（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 330 G06F 15/18 560 G08G 1/00 G08G 1/01 G08G 1/04

Claims (14)

(57)【特許請求の範囲】
1. 【請求項１】 撮像装置から入力した画像に対し、画像
   処理と画像認識処理を利用して車両認識を行い、その結
   果に基づいて車両台数、車両速度、車両の時間占有率、
   車両の空間占有率及びこれらの値を用いて演算される諸
   量の内の少なくとも一つの車両計測処理を行う交通流自
   動計測方法において、 撮像装置から入力した画像の放射強度によるヒストグラ
   ムを統計処理し、その統計処理後の放射強度によるヒス
   トグラムをニューラルネットワークに入力し、交通流の
   自動計測に必要なパラメータをニューラルネットワーク
   から出力させて、この出力値を用いて車両計測処理を行
   うことを特徴とする交通流自動計測方法。
2. 【請求項２】 撮像装置から入力した画像の放射強度に
   よるヒストグラムを統計処理し、得られた統計処理後の
   放射強度によるヒストグラムを教師信号として予め学習
   しておいてニューラルネットワークに入力し、新たに得
   られた統計処理前の放射強度によるヒストグラムをニュ
   ーラルネットワークに入力することを特徴とする請求項
   １記載の交通流自動計測方法。
3. 【請求項３】 ニューラルネットワークに入力する画像
   の放射強度によるヒストグラムは、放射強度によるヒス
   トグラムの頻度を累積加算して得られる累積ヒストグラ
   ム、その累積ヒストグラムにおいて放射強度の頻度を平
   均処理して得られる平均ヒストグラム、所定時間内に得
   られたヒストグラムの各放射強度に対する頻度におい
   て、最小値を選択して得られる最小ヒストグラム、同様
   に頻度の最大値を選択して得られる最大ヒストグラムの
   内のいずれか単独または前記各ヒストグラム間で行われ
   る演算結果により得られるヒストグラムであることを特
   徴とする請求項１または２記載の交通流自動計測方法。
4. 【請求項４】 ニューラルネットワークに入力する画像
   の放射強度は可視光、赤外光または紫外光を対象とした
   輝度、明度、彩度または色相の頻度を表すことを特徴と
   する請求項１ないし３のいずれかに記載の交通流自動計
   測方法。
5. 【請求項５】 撮像装置から入力した画像の放射強度に
   よるヒストグラムあるいは予め撮像して得られた画像の
   放射強度によるヒストグラムを外部から教師情報とし
   て、ある一定間隔で自動的にもしくは意図的に加え、教
   師情報と近似する出力が得られるようニューラルネット
   ワークの各層の重み情報を更新する自動学習機能を有す
   るニューラルネットワークを用いたことを特徴とする請
   求項１ないし４のいずれかに記載の交通流自動計測方
   法。
6. 【請求項６】 撮像装置から入力した画像に対し、画像
   処理と画像認識処理を利用して車両認識を行い、その結
   果に基づいて車両台数、車両速度、車両の時間占有率、
   車両の空間占有率及びこれらの値を用いて演算される諸
   量の内の少なくとも一つの車両計測処理を行う交通流自
   動計測方法において、 撮像装置から入力した画像の放射強度によるヒストグラ
   ムを統計処理し、その統計処理後の放射強度によるヒス
   トグラムと共に、時間データ、位置情報あるいは該位置
   情報から類推される日の出と日の入り時刻情報、気象セ
   ンサからのデータの少なくともいずれかをニューラルネ
   ットワークに入力し、ニューラルネットワークの出力と
   して天候状態、時間帯および微分処理に用いるしきい値
   またはリファレンスからなる画像処理パラメータの少な
   くともいずれかを出力して、この出力値を用いて車両計
   測処理を行うことを特徴とする交通流自動計測方法。
7. 【請求項７】 撮像装置から入力した画像の放射強度に
   よるヒストグラムを統計処理し、得られた統計処理後の
   放射強度によるヒストグラムを教師信号として予め学習
   しておいてニューラルネットワークに入力し、新たに得
   られた統計処理前の放射強度によるヒストグラムをニュ
   ーラルネットワークに入力することを特徴とする請求項
   ６記載の交通流自動計測方法。
8. 【請求項８】 ニューラルネットワークに入力する画像
   の放射強度によるヒストグラムは、放射強度によるヒス
   トグラムの頻度を累積加算して得られる累積ヒストグラ
   ム、その累積ヒストグラムにおいて放射強度の頻度を平
   均処理して得られる平均ヒストグラム、所定時間内に得
   られたヒストグラムの各放射強度に対する頻度におい
   て、最小値を選択して得られる最小ヒストグラム、同様
   に頻度の最大値を選択して得られる最大ヒストグラムの
   内のいずれか単独または前記各ヒストグラム間で行われ
   る演算結果により得られるヒストグラムであることを特
   徴とする請求項６または７記載の交通流自動計測方法。
9. 【請求項９】 ニューラルネットワークに入力する画像
   の放射強度は可視光、赤外光または紫外光を対象とした
   輝度、明度、彩度または色相の頻度を表すことを特徴と
   する請求項６ないし８のいずれかに記載の交通流自動計
   測方法。
10. 【請求項１０】 撮像装置から入力した画像の放射強度
    によるヒストグラム、予め撮像して得られた画像の放射
    強度によるヒストグラムおよび時間データ、位置情報あ
    るいは該位置情報から類推される日の出と日の入り時刻
    情報、気象センサからのデータの少なくともいずれかを
    ニューラルネットワークに入力し、ニューラルネットワ
    ークの出力として天候状態、時間帯および微分処理に用
    いるしきい値またはリファレンスからなる画像処理パラ
    メータの少なくともいずれかのデータを外部から教師情
    報として、ある一定間隔で自動的にもしくは意図的に加
    え、教師情報と近似する出力が得られるようニューラル
    ネットワークの各層の重み情報を更新する自動学習機能
    を有するニューラルネットワークを用いたことを特徴と
    する請求項６ないし９のいずれかに記載の交通流自動計
    測方法。
11. 【請求項１１】 撮像装置から入力した画像に対し、画
    像処理と画像認識処理を利用して車両認識を行い、その
    結果に基づいて車両台数、車両速度、車両の時間占有
    率、車両の空間占有率及びこれらの値を用いて演算され
    る諸量の内の少なくとも一つの車両計測処理を行う交通
    流計測装置において、 撮像装置から入力した画像の放射強度によるヒストグラ
    ムの検出部と、該ヒストグラムの統計処理部と、その統
    計処理後の放射強度によるヒストグラムを入力し、交通
    流の自動計測に必要なパラメータを出力するニューラル
    ネットワークと、該ニューラルネットワークの出力値を
    用いて車両計測処理を行う交通流計測部とを備えたこと
    を特徴とする交通流自動計測装置。
12. 【請求項１２】 ヒストグラムの統計処理部は画像の放
    射強度によるヒストグラムの頻度を累積加算して得られ
    る累積ヒストグラム、その累積ヒストグラムにおいて放
    射強度の頻度を平均処理し得られる平均ヒストグラム、
    所定時間内に得られたヒストグラムの各放射強度に対す
    る頻度において、最小値を選択し得られる最小ヒストグ
    ラム、同様に頻度の最大値を選択して得られる最大ヒス
    トグラムの内のいずれか単独または前記各ヒストグラム
    間で行われる演算結果により得られるヒストグラムを算
    出する機能を有することを特徴とする請求項１１記載の
    交通流自動計測装置。
13. 【請求項１３】 撮像装置から入力した画像の放射強度
    によるヒストグラムあるいは予め撮像して得られた画像
    の放射強度によるヒストグラムを外部から教師情報とし
    て、ある一定間隔で自動的にもしくは意図的に加えるた
    めの重み変更処理部を備えたことを特徴とする請求項１
    １または１２記載の交通流自動計測装置。
14. 【請求項１４】 ニューラルネットワークには撮像装置
    から入力した画像の放射強度によるヒストグラムを統計
    処理し、その統計処理後の放射強度によるヒストグラム
    あるいは統計処理前の放射強度によるヒストグラムと共
    に、時間データ、位置情報あるいは該位置情報から類推
    される日の出と日の入り時刻情報、気象センサからのデ
    ータの少なくともいずれかを入力し、天候状態、時間帯
    および微分処理に用いるしきい値またはリファレンスか
    らなる画像処理パラメータの少なくともいずれかを出力
    する機能を有することを特徴とする請求項１１ないし１
    ３のいずれかに記載の交通流自動計測装置。