JP3516127B2 - 画像処理方法およびその装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、所定の対象物に対す
る観測処理を実施するための画像処理方法および装置に
関連するもので、特に、ある観測位置に向けて配備され
た複数の撮像手段からの画像を用いて、対象物の３次元
認識処理を実施するための画像処理方法および装置に関
する。

【０００２】

【従来の技術】道路を走行する車輌や所定の出入り口を
通過する人間などの対象物を精度良く認識するための方
法として、複数台のテレビカメラを観測位置に向けて配
置し、各カメラにより得られた画像を取り込んで対象物
の３次元形状を認識する装置が開発されている。

【０００３】図１は、上記観測装置の設置例を示す。こ
の観測装置は、道路上を走行する車輌を観測対象とし
て、各車輌の車種や位置を認識するとともに、その認識
結果の時間的な推移に基づき道路上の交通流計測を実施
するためのもので、道路ＬＤの近傍位置に設置された支
柱３に、２台のカメラ１ａ，１ｂと制御装置２とが配備
される。

【０００４】各カメラ１ａ，１ｂは、等しい焦点距離を
具備し、光軸を平行にして縦並びに配備される。制御装
置２は、各カメラ１ａ，１ｂからの画像データを逐次取
り込んで、３次元計測処理を実施する。

【０００５】図２は、前記カメラ１ａ，１ｂからの入力
画像の一例であって、図２（１）は上側のカメラ１ａか
らの入力画像を、図２（２）は下側のカメラ１ｂからの
入力画像を、それぞれ示す。図示例は、各カメラ１ａ，
１ｂが正常に機能して適正な画像データを出力している
状態を示すもので、制御装置２は、各画像上からエッジ
などの特徴点を抽出した後、各特徴点を画像間で対応づ
け、さらに対応づけられた特徴点毎に、それぞれの特徴
点の２次元座標を３角測量の原理にあてはめて３次元座
標を算出する。こうして算出された３次元座標に表され
る高さデータなどにより、道路上の各車輌が認識され、
その位置や大きさが特定される。

【０００６】

【発明が解決しようとする課題】上記構成の観測装置に
おいて、図３に示すように、いずれかのカメラのレンズ
面に異物が付着したり、カメラの視野が物体により遮ら
れたりして、画像上の観測対象部分に異物の画像４が入
り込むと、前記した特徴点の対応づけ処理は困難とな
る。またいずれかのカメラに故障が生じて適正な画像を
生成できなくなった場合も同様であって、観測処理は、
事実上不可能になる。しかしながら従来、このような異
常事態を把握する手段がなく、長時間、装置の誤動作が
続くという不具合があった。

【０００７】この発明は上記問題点に着目してなされた
もので、撮像手段に生じた異常状態に対応するために、
その異常状態を自動的かつ速やかに把握することを技術
課題とする。

【０００８】

【課題を解決するための手段】請求項１の発明は、所定
の観測位置に向けて配備された複数の撮像手段からの画
像データを用いた３次元認識処理により前記観測位置の
観測処理を実施する方法に関するもので、前記複数の撮
像手段毎に出力された複数の画像データに対し、実際の
空間において各撮像手段の視野に共通に含まれる領域に
対応する画像領域をそれぞれ設定して、各画像領域から
所定の特徴量を抽出するステップと、画像領域毎に抽出
された特徴量を相互に比較するステップと、前記比較結
果に基づき、適正な画像データを出力していない撮像手
段があるか否かを判定するステップとを、前記観測処理
に先立ち実行することを特徴とする。

【０００９】請求項２以下の発明は、所定の観測位置に
向けて配備された複数の撮像手段からの画像データを入
力し、これらの画像データを用いた３次元認識処理によ
り前記観測位置の観測処理を実施する画像処理装置に関
する。請求項２の発明にかかる画像処理装置は、前記複
数の撮像手段毎に入力された複数の画像データに対し、
実際の空間において各撮像手段の視野に共通に含まれる
領域に対応する画像領域をそれぞれ設定して、各画像領
域から所定の特徴量を抽出する特徴量抽出手段と、前記
特徴量抽出手段が画像領域毎に抽出した特徴量を相互に
比較する比較手段と、前記比較手段の比較結果に基づ
き、適正な画像データを出力していない撮像手段がある
か否かを判定する判定手段とを備えている。

【００１０】請求項３の発明では、前記特徴量抽出手段
は、各撮像手段から入力された複数の画像データに対
し、実際の空間において前記複数の撮像手段のいずれの
視野にも含まれる特定の領域に対応する画像領域を設定
するように構成される。

【００１１】請求項４の発明では、前記各撮像手段は、
光軸を定めた状態で特定の位置に固定配備される。ま
た、前記特徴量抽出手段は、前記複数の撮像手段のいず
れの視野にも含まれており、かつ時間の推移によっても
その位置が変動しない特定の対象物（たとえば樹木）を
基準にして、前記画像領域を設定するように構成され
る。

【００１２】請求項５の発明にかかる画像処理装置は、
複数の撮像手段毎に入力された複数の画像データを相互
に比較する比較手段と、前記比較手段の比較結果に基づ
き、各撮像手段から適正な画像データを出力していない
撮像手段があるか否かを判定する判定手段と、前記判定
手段により適正な画像データを出力していない撮像手段
があると判定されたとき、各撮像手段からの画像データ
を用いて前記適正な画像データを出力していない撮像手
段を特定する異常特定手段とを具備する。

【００１３】請求項６の発明では、前記異常特定手段
は、各撮像手段毎に、それぞれ最新の画像データを所定
時間前に入力された画像データと比較して、適正な画像
データを出力していない撮像手段を特定するように構成
される。

【００１４】請求項７の発明では、前記撮像手段は、少
なくとも３台配備されており、前記異常特定手段は、い
ずれか１台の撮像手段からの画像データを基準として設
定し、他の撮像手段からの画像データをそれぞれ前記基
準の画像データと比較して、適正な画像データを出力し
ていない撮像手段を特定するように構成される。

【００１５】請求項８の発明にかかる画像処理装置は、
請求項２の発明と同様の特徴量抽出手段、比較手段、判
定手段を備えるほか、各撮像手段に発生した異常を取り
除くための異常除去手段と、前記判定手段によりいずれ
かの撮像手段からの画像データが適正でないと判定され
たとき前記異常除去手段を駆動する駆動手段とを具備し
ている。

【００１６】

【作用】各撮像手段が正常に機能して観測位置にかかる
適正な画像データを生成している場合は、各画像データ
には大きな差違は生じない。しかしながらいずれかの撮
像手段が、何らかの要因により観測位置の適正な画像を
生成できなくなった場合、この撮像手段からの画像デー
タと、他の正常に機能する撮像手段からの画像データと
を比較すると、両者の間には大きな差違が生じることに
なる。

【００１７】この発明では、上記原理に基づき、各撮像
手段からの画像データを相互に比較した結果により、各
撮像手段から適正な画像データが出力されているか否か
を自動的に認識するので、異常事態に速やかに対応する
ことが可能となる。

【００１８】

【実施例】以下に示す各実施例は、前記図１に示した観
測装置の制御装置２に、各カメラ１ａ，１ｂから適正な
画像データが入力されているか否かを自動的に認識する
ための機能を具備させたもので、ここでは説明を簡単に
するために、制御装置２の機能のうち、カメラからの画
像データの適否判別にかかる機能のみを取り出して、説
明する。なお各実施例とも、図１の装置に限らず、人な
ど他の対象物を立体認識する装置にも適用することがで
きる。

【００１９】（１） 第１実施例 この実施例の制御装置２は、図４に示すごとく、画像入
力部５ａ，５ｂ，比較処理部６，判定部７，出力部８な
どを具備して成る。各画像入力部５ａ，５ｂは、それぞ
れカメラ１ａ，１ｂから入力されたアナログ量の画像デ
ータをディジタル量に変換するためのＡ／Ｄ変換回路な
どを具備する。比較処理部６は、このディジタル変換後
の各入力画像を取り込んで、両画像間の画像データの比
較処理を実施する。判定部７は、この比較結果に基づ
き、入力画像の適否を判定するためのもので、その判定
結果は出力部８を介して、図示しない認識処理部へと出
力される。

【００２０】図５は、上記制御装置２における適否判定
の具体的な手順を示す。なお図中、ＳＴはステップを示
す。まずステップ１では、各カメラ１ａ，１ｂからの画
像データが入力され、画像入力部５ａ，５ｂによるディ
ジタル変換処理が施される。変換処理後の各画像データ
は、それぞれ図示しない画像メモリ内に格納され、比較
処理部６の処理へと移行する。

【００２１】つぎのステップ２で比較処理部６は、各入
力画像について、前記画像メモリより対応する画素毎の
輝度データを読み出して両者の差分を算出した後、続く
ステップ３で、各差分値の絶対値の総和Ｄ（以下「差分
総和値Ｄ」という）を算出する。

【００２２】いま各カメラ１ａ，１ｂより観測位置を適
正にとらえた画像データが出力されているものとする
と、図２に示すように、カメラ１ａ，１ｂの位置関係に
基づく位相差をもった画像が得られる。したがって各画
像間で対応する画素毎に差分処理を実施すると、それぞ
れ位相差に応じた差分値が得られる。しかしながら両画
像データは、同じ観測位置を捉えたものであるから、す
べての差分値が大きな値をとるとは、考えられない。ま
たあらかじめ種々の状態下の観測位置を撮像して得られ
た画像により、差分総和値Ｄのおおよその値を予想する
ことができる。

【００２３】一方、いずれかのカメラのレンズ面に異物
が付着したり、カメラの視野が何らかの物体により遮ら
れたり、あるいはカメラが故障するなどの異常が発生し
た場合には、両画像データ間に大きな差違が生じ、その
結果、広い領域にわたって大きな差分値が算出されると
予想される。

【００２４】この原理に基づき、判定部７は、つぎのス
テップ４で、前記差分総和値Ｄを所定のしきい値ｔｈ１
と比較する。このしきい値ｔｈ１は、前記したように、
種々の状態下で得られた画像により予想した差分総和値
Ｄに基づき設定されるもので、このステップ４の判定が
「ＮＯ」、すなわち差分総和値Ｄがしきい値ｔｈ１以下
であれば、ステップ５へと移行して、各入力画像とも適
正であるという判定結果が出力される。この判定結果を
受けて、図示しない認識処理部は、各入力画像からエッ
ジなどの特徴点を抽出し、以下、各特徴点の対応づけ処
理，対応づけ結果を用いた３次元座標算出処理を経て、
道路上の各車輌の位置や大きさなどを認識する。

【００２５】一方、ステップ４が「ＹＥＳ」、すなわち
差分総和値Ｄがしきい値ｔｈ１を上回る場合にはステッ
プ６へと移行し、いずれかのカメラに異常が発生してい
るという判定がなされる。この判定結果は、前記認識処
理部へと出力されて、上記した一連の認識処理が中止さ
れる。また同時に、前記判定結果は図示しない警報装置
などに出力され、外部にエラーの発生が報知される。

【００２６】なお上記ステップ４の比較処理において、
処理前に各画像間のオフセット補正を行って、カメラ１
ａ，１ｂの出力レベルの違いに起因する輝度差を消去す
るようにすれば、より精度の良い判定処理を行うことが
できる。

【００２７】このように画像入力の都度、各カメラ１
ａ，１ｂ毎の入力画像を比較して、各画像データが適正
であるか否かを判定するので、いずれかのカメラにおい
て異常状態が発生した場合、直ちにその異常をチェック
するなどの対応処理を実施することができ、長時間装置
が誤動作し続けるという問題が解消できる。

【００２８】（２）第２実施例 以下の第２〜４の各実施例は、各入力画像毎に所定の特
徴量を抽出して、各抽出結果を比較することにより、各
入力画像の適否を判定するようにしている。まず図６に
示す第２の制御装置２は、特徴量として画像の輝度平均
値を抽出するようにしたもので、前記図４と同様の画像
入力部５ａ，５ｂ，判定部７，出力部８のほか、各入力
画像毎の輝度平均算出部９ａ，９ｂ，輝度平均差算出部
１０を構成として具備する。

【００２９】図７は、上記制御装置２における判定処理
の手順を示す。ステップ１で各カメラ１ａ，１ｂからの
画像データが入力されると、つぎのステップ２で、前記
輝度平均算出部９ａ，９ｂにより各入力画像毎の輝度平
均値μ１，μ２が算出される。ついでステップ３では、
輝度平均差算出部１０により、各輝度平均値μ１，μ２
の差分処理が行われ、輝度平均差Δμが求められる。

【００３０】算出された輝度平均差Δμは判定部７に与
えられ、ステップ４で所定のしきい値ｔｈ２との比較処
理が行われる。この結果、輝度平均差Δμがしきい値ｔ
ｈ２以下であれば、ステップ５へと移行して各入力画像
とも適正であると判定される。しかしながら輝度平均差
Δμがしきい値ｔｈ２を上回る値をとる場合には、ステ
ップ６へと移行し、いずれかのカメラに異常が発生して
いると判定される。

【００３１】（３）第３実施例 図８に示す第３の制御装置２は、各入力画像上で最も優
勢な輝度レベル（以下これを「ピークレベル」という）
を用いて入力画像の適否を判定するもので、各入力画像
に対し、それぞれ画像入力部５ａ，５ｂ，輝度ヒストグ
ラム作成部１１ａ，１１ｂ，ピークレベル抽出部１２
ａ，１２ｂの各部を具備するほか、ピークレベル差算出
部１３，判定部７，出力部８などを構成として含んでい
る。

【００３２】各輝度ヒストグラム作成部１１ａ，１１ｂ
は、それぞれ対応する入力画像について、画像メモリよ
り各画素毎の輝度値を順に読み込んで、図９に示すよう
な輝度レベルのヒストグラムを作成する。ピークレベル
抽出部１２ａ，１２ｂは、このヒストグラム上で最大の
度数をとる輝度レベル（図９の例では度数Ｐ_max をとる
輝度レベルＬ）をピークレベルとして抽出するもので、
各入力画像毎のピークレベルはピークレベル差算出部１
３により差分処理され、判定部７に与えられる。

【００３３】図１０は、上記制御装置２における判定処
理の手順を示す。ステップ１で、各カメラ１ａ，１ｂか
らの画像データが入力されると、つぎのステップ２で、
各輝度ヒストグラム作成部１１ａ，１１ｂにより入力画
像毎の輝度ヒストグラムが作成される。ついでステップ
３では、各ピークレベル抽出部１２ａ，１２ｂにより、
それぞれのヒストグラム上で最大の度数データをとる輝
度レベルＬ１，Ｌ２が、前記ピークレベルとして抽出さ
れる。

【００３４】つぎのステップ４で、前記ピークレベル差
算出部１３は、各ピークレベルＬ１，Ｌ２の差分絶対値
ΔＬを算出し、その算出値を判定部７に出力する。判定
部７は、この算出値ΔＬを所定のしきい値ｔｈ３と比較
し、ΔＬがしきい値ｔｈ３以下であれば各入力画像は適
正であると判定し、ΔＬがしきい値ｔｈ３を上回る場合
は、いずれかのカメラに異常が生じたものと判定する
（ステップ５〜７）。

【００３５】（４）第４実施例 図１１は、特徴量として、入力画像の輝度値の分散値を
算出するようにしたもので、各入力画像に対し、画像入
力部５ａ，５ｂ，輝度ヒストグラム作成部１１ａ，１１
ｂ，分散値算出部１４ａ，１４ｂの各部を具備するほ
か、分散値差算出部１５，判定部７，出力部８の各部を
構成として含んでいる。

【００３６】輝度ヒストグラム作成部１１ａ，１１ｂ
は、前記第３の実施例と同様にして、各入力画像毎の輝
度ヒストグラムを作成する。分散値算出部１４ａ，１４
ｂは、作成されたヒストグラムの分布状態に基づき、各
入力画像上の輝度の分散値を算出する。この算出値は分
散値差算出部１５に与えられて差分処理が実施されるも
ので、判定部７は、この分散値の差分絶対値を所定のし
きい値と比較することにより、入力画像の適否を判定す
る。なおこの実施例における判定処理の手順は、前記第
３の実施例に準ずるものであり、図示および詳細な説明
は省略する。

【００３７】（５）判定処理の精度を向上するための展
開例 図１２〜図１４は、上記（１）〜（４）のいずれの構成
にも適用できるもので、判定処理の精度を向上させるた
めに、各画像間で処理対象とする画像データが同じ観測
対象を捉えたものとなるように、処理対象の画像領域を
限定するようにした例を示す。

【００３８】図１２（１）（２）は、各入力画像におい
て、いずれのカメラ１ａ，１ｂの視野にも含まれる共通
視野領域を処理対象としたものである。図１３（１）
（２）は、各入力画像上に、それぞれ実際の空間内の特
定の領域に対応する画像領域を設定して処理対象とした
ものである。いずれの実施例でも、各入力画像毎に、処
理対象として設定された画像領域内の画像データもしく
はその特徴量が抽出され、各画像間で抽出結果を比較す
ることにより、入力画像の適否が判定される。なおいず
れの実施例においても、処理対象領域は、同一のサイズ
となるように補正処理される。

【００３９】図１４（１）（２）に示す例は、各入力画
像上で同様の対象物を含む画像領域を切り出して処理対
象とするもので、ここでは、各入力画像とも、道路脇の
樹木の画像を含む画像領域が、処理対象として設定され
ている。なおこの場合も、各画像領域は、同一サイズと
なるように調整される。この実施例のように、時間の推
移によっても位置の変動しない対象物を基準として処理
対象の領域を定めることにより、常に安定した判定処理
を行うことができる。

【００４０】図１５に示す例は、各入力画像をそれぞれ
同様の条件をもって分割処理し、各画像間で対応する位
置にある小領域毎に、画像データの比較処理を実施する
ようにしたものである。このような処理によれば、例え
ば、レンズ面の一部に異物が付着して一部画像データの
みに不備が生じた場合にも、その異常状態を精度良く抽
出することが可能である。

【００４１】（６）第５実施例 図１６は、異常が生じたカメラを特定するようにした制
御装置２の構成を示すもので、各入力画像に対し、それ
ぞれ画像入力部５ａ，５ｂ，特徴量抽出部１６ａ，１６
ｂ，特徴量記憶部１７ａ，１７ｂ，特徴変動量算出部１
８ａ，１８ｂの各部を具備するほか、特徴量差算出部１
９，判定部７，異常カメラ特定部２０，出力部８の各部
を備えている。

【００４２】なおここでいう特徴量抽出部１６ａ，１６
ｂは、前記第２の実施例と同様の輝度平均値を算出する
ものとするが、これに限らず、第３の実施例に示したピ
ークレベルや第４の実施例に示した輝度値の分散値を抽
出するものとしてもよい。あるいは第１の実施例のよう
に、各入力画像の差分処理を行ってその差分総和値Ｄを
特徴量として出力してもよい。また前記（５）の各展開
例に示したように、各入力画像上に所定の処理対象領域
を設定して、その領域内の特徴量を抽出することも可能
である。

【００４３】特徴量記憶部１７ａ，１７ｂは、所定時間
前に得られた輝度平均値を記憶するためのもので、特徴
変動量算出部１８ａ，１８ｂは、対応する入力画像につ
いての最新の輝度平均値と前記特徴量記憶部１７ａ，１
７ｂに記憶された過去の輝度平均値とを差分して、特徴
量の変動量を算出する。特徴量差算出部１９は、各入力
画像毎の最新の輝度平均値を差分して、前記第２の実施
例と同様の輝度平均差Δμを算出するためのもので、判
定部７は、この輝度平均差Δμの算出値により、各入力
画像が適正であるか否かの判定処理を実施する。

【００４４】なおこの実施例の特徴量記憶部１７ａ，１
７ｂの記憶データは、画像入力のタイミングに応じて更
新されるが、必ずしもこのように構成する必要はなく、
数秒単位の時間間隔で更新するようにしても十分であ
る。

【００４５】異常カメラ特定部２０は、前記判定部７に
よりいずれかの入力画像が不適正であると判定されたと
き、各特徴変動量算出部１８ａ，１８ｂからの算出結果
を入力して両者を比較することにより、いずれのカメラ
に異常が生じているかを特定する。判定部７および異常
カメラ特定部２０の処理結果は、出力部８を介して外部
に出力される。

【００４６】図１７は、上記制御装置２における判定処
理手順を示す。ステップ１，２は、前記図７と同様の処
理であって、各入力画像毎に輝度平均値μ１，μ２が算
出される。つぎのステップ３では、特徴量差算出部１９
により輝度平均差Δμが算出されると同時に、各特徴変
動量算出部１８ａ，１８ｂにより各入力画像毎の特徴量
の変動量ｄμ₁ ，ｄμ₂ が算出される。

【００４７】つぎのステップ４で、判定部７による判定
処理が行われ、前記輝度平均差Δμがしきい値ｔｈ２以
下であれば、各入力画像とも適正であると判定される
（ステップ５）。一方、輝度平均差Δμがしきい値ｔｈ
２を上回る場合はステップ６に移行して、いずれかのカ
メラに異常があるという判定がなされた後、異常の生じ
たカメラを特定するための処理が行われる。

【００４８】異常カメラ特定部２０は、ステップ７で、
前記各特徴変動量ｄμ₁ ，ｄμ₂ を比較し、その大小関
係によりいずれのカメラに異常が生じているかを判定す
る。この判定処理は、異常の生じたカメラにかかる特徴
変動量は正常なカメラにかかる特徴変動量よりも大きく
なるという原理に基づくもので、ｄμ₁ がｄμ₂ より大
きい場合はカメラ１ａに異常があると判定され（ステッ
プ８）、ｄμ₂ がｄμ ₁ よりも大きい場合はカメラ１ｂ
に異常があると判定される（ステップ９）。

【００４９】このように、各カメラ１ａ，１ｂからの画
像データを用いてどのカメラに異常が生じたかを簡単に
特定することができるので、この特定結果をもって異常
の生じたカメラへのメンテナンスを速やかに行うことが
できる。

【００５０】（７）第６実施例 この実施例は、撮像手段として、前記図１のカメラ１
ａ，１ｂのほかに、第３のカメラ１ｃを加え、各カメラ
からの画像を用いた認識処理を行うことを前提とするも
ので、いずれか１台のカメラ（ここではカメラ１ａとす
る）からの入力画像を基準として、他のカメラ１ｂ，１
ｃからの入力画像を基準画像と比較することにより、各
入力画像の適否判別および異常の生じたカメラの特定処
理を行うようにしたものである。

【００５１】なおこの実施例でも、各カメラ１ａ，１
ｂ，１ｃは、同じ焦点距離を有し、各光軸を平行にして
配備されるものである。また以下の説明では、基準とさ
れた第１のカメラ１ａからの入力画像を「基準画像」と
呼び、第２，第３のカメラ１ｂ，１ｃからの入力画像
を、前記基準画像に対応させて、「第２画像」「第３画
像」と呼ぶことにする。

【００５２】制御装置２は、各入力画像に対し、それぞ
れ画像入力部５ａ，５ｂ，５ｃ，特徴量抽出部１６ａ，
１６ｂ，１６ｃを具備するほか、２個の特徴量差算出部
１９Ａ，１９Ｂ，判定部７，異常カメラ特定部２０，出
力部８などの構成を備えている。なおこの実施例におい
ても、前記第５の実施例と同様、各特徴量抽出部１６
ａ，１６ｂ，１６ｃは前記第２の実施例に記載の輝度平
均値を算出するものとして説明を進めるが、他の特徴量
を抽出するように構成してもよい。

【００５３】第１の特徴量差算出部１９Ａは、基準画像
より抽出された輝度平均値μ１と第２画像における輝度
平均値μ２との差分処理を実施して、第１の輝度平均差
Δμ_A を算出する。他方、第２の特徴量差算出部１９Ｂ
は、基準画像，第３画像の各画像にかかる輝度平均値μ
１，μ３の差分処理を実施して、第２の輝度平均差Δμ
_B を算出する。判定部７は、これら輝度平均差Δμ_A ，
Δμ_B を用いて入力画像の適否を判定する。またこの判
定部７により、いずれかのカメラに異常が生じていると
判定されたとき、各輝度平均差Δμ_A ，Δμ_B は判定部
７を介して異常カメラ特定部２０に取り込まれ、どのカ
メラに異常が生じているかが判定される。

【００５４】図１９は、上記制御装置２における判定処
理の手順を示す。まずステップ１で、各カメラ１ａ，１
ｂ，１ｃより画像データが入力され、続くステップ２
で、各特徴量抽出部１６ａ，１６ｂ，１６ｃにより各入
力画像の輝度平均値μ１，μ２，μ３が算出される。つ
ぎにステップ３では、特徴量差算出部１９Ａ，１９Ｂに
より第１，第２の各輝度平均差Δμ_A ，Δμ_B が算出さ
れる。

【００５５】つぎのステップ４，５で、判定部７は、各
輝度平均差Δμ_A ，Δμ_B をそれぞれ所定のしきい値ｔ
ｈと比較する。この結果、いずれの輝度平均差Δμ_A ，
Δμ_B もしきい値ｔｈ以下であれば、ステップ６へと移
行して、３つの入力画像はいずれも適正であると判定さ
れる。

【００５６】一方、いずれかの輝度平均差Δμ_A ，Δμ
_B がしきい値ｔｈを上回る値をとる場合には、ステップ
７へと移行して、いずれかカメラに異常があるという判
定がなされ、さらにステップ８以降の異常カメラ特定部
２０による判定処理へと移行する。

【００５７】この判定処理は、各輝度平均差Δμ_A ，Δ
μ_B の値を比較することにより行われるもので、Δμ_A
がΔμ_B よりも大きい場合には、ステップ８が「ＹＥ
Ｓ」となり、カメラ１ｂに異常が生じていると判定され
る（ステップ１０）。反対にΔμ_B がΔμ_A よりも大き
い場合には、ステップ９が「ＹＥＳ」となり、カメラ１
ｃに異常が生じていると判定される（ステップ１１）。
なおこのステップ８，９では、所定の誤差を含んだ比較
処理が行われる。

【００５８】ステップ８，９がいずれも「ＮＯ」の場
合、すなわちΔμ_A ≒Δμ_B となる場合、いずれの輝度
平均差Δμ_A ，Δμ_B もしきい値ｔｈを上回ることにな
る。この場合、異常カメラ特定部２０は、基準画像が適
正でないものと判断して、カメラ１ａに異常が生じてい
ると判定する（ステップ１２）。

【００５９】このように第２、第３の各入力画像の特徴
量を基準画像の特徴量と比較することにより、いずれの
カメラに異常が生じているかを、簡単に特定することが
できるもので、この特定結果を用いて発生した異常状態
に迅速かつ適切に対応することができる。

【００６０】（８）異常を除去するための具体例 ここまでの各実施例では、いずれかのカメラからに異常
が発生したと判定されたとき、認識処理を中止するとと
もに、出力部８を介して外部に警報などを出力するもの
である。しかしながらレンズ面に異物が付着したことに
起因する異常の場合には、つぎのような装置を用いて異
常を簡単に除去することができる。

【００６１】図２０は、カメラ収容用のケース体２１を
示す。このケース体２１は、前面にレンズ窓２２が形成
されるとともに、１端部にレンズ窓払拭用のワイパ２３
が軸支されており、カメラは、ケース体２１内に、前記
レンズ窓２２にレンズ面を当接させた状態で配備され
る。

【００６２】上記した第１〜第４の各実施例において、
各カメラ１ａ，１ｂにこの図２０の構成を適用した場
合、いずれかのカメラに異常が生じていると判定される
と、出力部８から各カメラ１ａ，１ｂのワイパ２３，２
３に駆動信号が出力され、各ケース体２１のレンズ窓２
２が払拭される。また異常の生じたカメラが特定される
第５，第６の実施例の場合には、特定されたカメラに対
応するワイパ２３にのみ駆動信号が出力される。この払
拭動作によりレンズ窓２２に付着した異物が取り除かれ
ると、つぎの段階で取り込まれた入力画像は適正な状態
に復帰するから、認識処理をすぐに再開することがで
き、実用性の高い観測装置を提供することができる。

【００６３】

【発明の効果】請求項１〜４の発明では、各撮像手段毎
に得た複数の画像データから抽出された特徴量を相互に
比較した結果に基づき、適正な画像データを出力してい
ない撮像手段があるか否かを判定するので、いずれかの
撮像手段が、故障や異物などにより適正な画像データを
生成できなくなったとき、その異常事態を自動的かつ速
やかに認識して対処することができる。また、比較処理
の対象となる特徴量は、実際の空間において各撮像手段
の視野に共通に含まれる領域に対応する画像領域から抽
出されるので、各画像間で同じ観測対象を捉えた画像デ
ータを比較することができ、判定処理の精度を向上させ
ることができる。

【００６４】また、請求項４の発明では、各撮像手段を
光軸を定めた状態で特定の位置に固定配備するととも
に、これら撮像手段の視野に共通に含まれ、かつ時間の
推移によってもその位置が変動しない特定の対象物を基
準にして、特徴量を抽出するための画像領域を設定する
ので、常に安定した判定処理を行うことが可能となる。

【００６５】

【００６６】請求項５〜７の発明では、適正な画像デー
タを出力していない撮像手段があると判定されたとき、
さらに適正な画像データを出力していない撮像手段を特
定するので、異常の発生した撮像手段に対するメンテナ
ンスを迅速に実施して、装置動作を正常な状態に復帰さ
せることができる。

【００６７】請求項８の発明では、適正な画像データを
出力していない撮像手段があると判定されたとき、異常
除去手段を駆動して撮像手段に生じた異常を取り除くの
で、異常状態が自動的に解除され、装置動作を速やかに
正常な状態に復帰させることができる。

【図面の簡単な説明】

【図１】この発明の一実施例にかかる観測装置の設置例
を示す斜視図である。

【図２】図１の各カメラからの入力画像を示す説明図で
ある。

【図３】図１の各カメラからの入力画像を示す説明図で
ある。

【図４】制御装置の第１の構成を示すブロック図であ
る。

【図５】図４の制御装置による判定処理手順を示すフロ
ーチャートである。

【図６】制御装置の第２の構成を示すブロック図であ
る。

【図７】図６の制御装置による判定処理手順を示すフロ
ーチャートである。

【図８】制御装置の第３の構成を示すブロック図であ
る。

【図９】輝度ヒストグラムの一例を示す説明図である。

【図１０】図８の制御装置による判定処理手順を示すフ
ローチャートである。

【図１１】制御装置の第４の構成を示すブロック図であ
る。

【図１２】処理対象領域の設定例を示す説明図である。

【図１３】処理対象領域の設定例を示す説明図である。

【図１４】処理対象領域の設定例を示す説明図である。

【図１５】小領域毎に画像データを比較する方法を示す
説明図である。

【図１６】制御装置の第５の構成を示すブロック図であ
る。

【図１７】図１６の制御装置による判定処理手順を示す
フローチャートである。

【図１８】制御装置の第６の構成を示すブロック図であ
る。

【図１９】図１８の制御装置による判定処理手順を示す
フローチャートである。

【図２０】カメラ収納用のケース体の構成を示す斜視図
である。

【符号の説明】

１ａ，１ｂ，１ｃ カメラ ２ 制御装置 ６ 比較処理部 ７ 判定部 ２０ 異常カメラ特定部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ Ｈ０４Ｎ 5/225 Ｈ０４Ｎ 13/02 13/02 Ｇ０１Ｂ 11/24 Ｋ (56)参考文献 特開 平７−120255（ＪＰ，Ａ) 特開 平４−301513（ＪＰ，Ａ) 特開 平４−303047（ＪＰ，Ａ) 特開 平７−218251（ＪＰ，Ａ) 特開 平９−113221（ＪＰ，Ａ) 実開 平６−82509（ＪＰ，Ｕ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 - 7/60 G01B 11/24 G08G 1/04 H04N 7/18 H04N 5/225 H04N 13/02

Claims (8)

(57)【特許請求の範囲】
1. 【請求項１】 所定の観測位置に向けて配備された複数
   の撮像手段からの画像データを用いた３次元認識処理に
   より前記観測位置の観測処理を実施する方法において、前記複数の撮像手段毎に出力された複数の画像データに
   対し、実際の空間において各撮像手段の視野に共通に含
   まれる領域に対応する画像領域をそれぞれ設定して、各
   画像領域から所定の特徴量を抽出するステップと、画像
   領域毎に抽出された特徴量を相互に比較するステップ
   と、前記比較結果に基づき、適正な画像データを出力し
   ていない撮像手段があるか否かを判定するステップと
   を、前記観測処理に先立ち実行する ことを特徴とする画
   像処理方法。
2. 【請求項２】 所定の観測位置に向けて配備された複数
   の撮像手段からの画像データを入力し、これらの画像デ
   ータを用いた３次元認識処理により前記観測位置の観測
   処理を実施する画像処理装置であって、前記複数の撮像手段毎に入力された複数の画像データに
   対し、実際の空間において各撮像手段の視野に共通に含
   まれる領域に対応する画像領域をそれぞれ設定して、各
   画像領域から所定の特徴量を抽出する特徴量抽出手段
   と、 前記特徴量抽出手段が画像領域毎に抽出した特徴量を 相
   互に比較する比較手段と、 前記比較手段の比較結果に基づき、適正な画像データを
   出力していない撮像手段があるか否かを判定する判定手
   段とを備えて成る画像処理装置。
3. 【請求項３】 前記特徴量抽出手段は、各撮像手段から
   入力された複数の画像データに対し、実際の空間におい
   て前記複数の撮像手段のいずれの視野にも含まれる特定
   の領域に対応する画像領域をそれぞれ設定する請求項２
   に記載された画像処理装置。
4. 【請求項４】 前記各撮像手段は、光軸を定めた状態で
   特定の位置に固定配備されており、前記特徴量抽出手段
   は、前記複数の撮像手段のいずれの視野にも含まれてお
   り、かつ時間の推移によってもその位置が変動しない特
   定の対象物を基準にして、前記画像領域を設定する請求
   項２に記載された画像処理装置。
5. 【請求項５】 所定の観測位置に向けて配備された複数
   の撮像手段からの画像データを入力し、これらの画像デ
   ータを用いた３次元認識処理により前記観測位置の観測
   処理を実施する画像処理装置であって、前記複数の撮像手段毎に入力された複数の画像データを
   相互に比較する比較手段と、 前記比較手段の比較結果に基づき、適正な画像データを
   出力していない撮像手段があるか否かを判定する判定手
   段と、 前記判定手段により適正でない画像データを出力してい
   る撮像手段があると判定されたとき、各撮像手段からの
   画像データを用いて前記適正な画像データを出力してい
   ない撮像手段を特定する異常特定手段とを具備して成る
   画像処理装置。
6. 【請求項６】 前記異常特定手段は、各撮像手段毎に、
   それぞれ最新の画像データを所定時間前に入力された画
   像データと比較して、適正な画像データを出力していな
   い撮像手段を特定する請求項５に記載された画像処理装
   置。
7. 【請求項７】 前記撮像手段は、少なくとも３台配備さ
   れており、 前記異常特定手段は、いずれか１台の撮像手段からの画
   像データを基準として設定し、他の撮像手段からの画像
   データをそれぞれ前記基準の画像データと比較して、適
   正な画像データを出力していない撮像手段を特定する請
   求項５に記載された画像処理装置。
8. 【請求項８】 所定の観測位置に向けて配備された複数
   の撮像手段からの画像データを入力し、これらの画像デ
   ータを用いた３次元認識処理により前記観測位置の観測
   処理を実施する画像処理装置であって、前記複数の撮像手段毎に入力された複数の画像データに
   対し、実際の空間において各撮像手段の視野に共通に含
   まれる領域に対応する画像領域をそれぞれ設定して、各
   画像領域から所定の特徴量を抽出する特徴量抽出手段
   と、 前記特徴量抽出手段が画像領域毎に抽出した特徴量 を相
   互に比較する比較手段と、 前記比較手段の比較結果に基づき、適正な画像データを
   出力していない撮像手段があるか否かを判定する判定手
   段と、 各撮像手段に発生した異常を取り除くための異常除去手
   段と、 前記判定手段により適正な画像データを出力していない
   撮像手段があると判定されたとき前記異常除去手段を駆
   動する駆動手段とを備えて成る画像処理装置。