JP4552409B2 - 画像処理装置 - Google Patents

Description

本発明は、電車に設置されたＩＴＶカメラからパンタグラフとトロリー線を撮影し、撮影した映像から画像処理によりパンタグラフとトロリー線を検出する技術に関するものである。

現在の技術として、画像処理によりパンタグラフとトロリー線を検出するものがある（特許文献１、「特願２００２−１５１８４０号」参照）。
ここで、パンタグラフ検出は、映像と予め登録されたパンタグラフのパタンとのパタンマッチングより検出している（特許文献２参照）。
また、トロリー線検出は、映像中に直線で見えるトロリー線をエッジ検出で検出している（特許文献３参照）。
なお、画像処理に使用される数学的変換については、非特許文献１に記載されている。
特開２００２−１３９３０５（特願２００２−３３２８４１「パンタグラフ支障物検知方法及び装置」） 特開平７−２７１９７９号（特願平６−５７９２４号「画像認識方法及びその装置」） 特開平８−１４８２０号（特願平６−１４９２４６号「画像処理装置のエッジ検出回路」） 「特集：画像や光の分野で使われる数学的変換 ハフ変換」Ｏ plus Ｅ 1995年12月 pp94-pp106 「論文：ディジタル直線の標本化誤差を考慮した組合せハフ変換の改良」電子情報通信学会論文誌 D-II Vol.J78-D-II No.12 pp.1767-1776 1995年12月

現在の技術で、カメラの映像にいろいろな物体が多様な形状で画像に映り込む場合、これらを誤って検出する問題がある。
従って、誤検出のないようパンタグラフやトロリー線を検出する必要がある。

上記課題を解決する本発明の請求項１に係る画像処理装置は、入力画像からエッジ検出でトロリー線のエッジを検出し、検出したエッジの座標をＨｏｕｇｈ変換でＨｏｕｇｈ空間へ投票し、投票されたＨｏｕｇｈ空間の頂点を検出することで直線であるトロリー線を検出する画像処理装置において、前記エッジ検出は、トロリー線が画像上で垂直方向のエッジを多く持ち、太さが一定な特徴を利用した演算子を画像に積和してトロリー線のエッジを検出するものであり、かつ、画像を地面に対し水平なスリット状の集合に分割し、分割された水平なスリット状の集合について濃淡値を取得し、取得された濃淡値から求められる主成分分析及びヒストグラムの最頻値に応じて昼間用・夜間用の演算子を入れ替えてトロリー線のエッジを検出することを特徴とする。

上記課題を解決する本発明の請求項２に係る画像処理装置は、請求項１において、前記Ｈｏｕｇｈ変換の原点として、検出されたパンタグラフの中心座標を使用することを特徴とする。

上記課題を解決する本発明の請求項３に係る画像処理装置は、請求項１において、前記Ｈｏｕｇｈ変換の原点の高さとして、検出されたパンタグラフの高さを使用することを特徴とする。

上記課題を解決する本発明の請求項４に係る画像処理装置は、請求項２又は３において、前記パンタグラフは、２台以上のカメラ画像のパタンマッチングで得られたパンタグラフ候補の座標からオフセットを除き、この座標をカメラ毎に照合して座標の差が最小になる座標として検出されたものであることを特徴とする。

上記課題を解決する本発明の請求項５に係る画像処理装置は、請求項１，２，３又は４において、前記トロリー線を複数検出する場合には、最も高い頂点を中心とする微小領域をＨｏｕｇｈ空間から除外し、次に高い頂点を探索することを繰り返すことを特徴とする。

上記課題を解決する本発明の請求項６に係る画像処理装置は、請求項１，２，３，４又は５において、前記トロリー線を複数検出する場合には、前記トロリー線を三次元座標に変換し、地面と水平でパンタグラフとほぼ同じ高さの領域に存在するか否かを検証し、前記領域に存在しないものを誤ったトロリー線として排除することを特徴とする。

本発明は、画像処理によってパンタグラフとトロリー線の位置を検出する装置であり、以下の利点がある。
１）画像上に映るトロリー線が垂直で所定の太さである特徴に着目した演算子によりエッジ検出するため、信頼性高くトロリー線のエッジ検出ができる利点がある。
２）画像のスリット毎に演算子を切り替えるため、トロリー線の背景の濃淡値が部分的に異なる場合でもトロリー線のエッジ検出ができる利点がある。
３）Ｈｏｕｇｈ変換の原点をパンタグラフの中心にするため、均一な分解能でトロリー線検出できる利点がある。
４）Ｈｏｕｇｈ変換の原点をパンタグラフの高さにするため、メータθを制約でき、計算量が少なくてすむ利点がある
５）２台以上のカメラで得られたパンタグラフの位置から、予め求めておいたオフセットを除くことで、誤検出したパンタグラフを排除するため、信頼性の高いパンタグラフの位置検出ができる利点がある。
６）複数のトロリー線を所定の角度θ_P，所定の距離ρ_pで単純に分類するため、処理が高速な利点がある。また複雑な裾野形状でも頂点の領域分けが確実な利点がある。
７）トロリー線は対地とほぼ水平でパンタグラフとほぼ同じ高さであることを利用し、複数のカメラのトロリー線候補の座標を検証してトロリー線を検出するため、信頼性の高いトロリー線検出ができる利点がある。

以下に述べるとおり、実施例１〜実施例７を組み合わせたものが最良の形態である。

本実施例は、２台以上のカメラ画像からパンタグラフの位置を検出し、この位置からオフセットを除いた位置が、各カメラ間で一致するかどうか検証し、パンタグラフの位置を検出する画像処理装置である。

本実施例の詳細を図１のフローチャートに示す。
先ず、２台以上のカメラ１〜ｎ（ｎ≧２）をパンタグラフが映るように設置し、映像を取得する（ステップＳ３）。

予め、各カメラ画像のパンタグラフの領域をパタンとして登録し（ステップＳ１）、カメラ１を基準とする各画像間のパンタグラフ中心位置の相対的なずれをオフセットとして記録しておく（ステップＳ２）。

次に、映像取得された各カメラの画像１〜ｎについてパタンマッチングを行い（ステップＳ４）、カメラ毎に得られるパンタグラフの複数の位置からオフセットを除く（ステップＳ５）。
各画像間のこの位置の相対差が最小の位置を、検出したパンタグラフの位置とする（ステップＳ６）。
以上の処理を必要な画像が終了するまで繰り返す（ステップＳ７）。

本実施例は、２台以上のカメラ画像からパンタグラフの位置を検出する場合に、各カメラで一致しないパンタグラフの位置を排除するため、信頼性の高いパンタグラフ検出ができる利点がある。
なお、上記フローチャートの処理をソフトウェア的に実現するプログラムによって、本実施例の画像処理装置を実現しても良い。

本実施例は、トロリー線が画像上で垂直方向のエッジを多く持ち太さが一定な特徴を利用し、図２に示す演算子を画像へ積和し、トロリー線のエッジだけ検出する画像処理装置である。
即ち、画像に図２の演算子を積和し、その計算結果が閾値以上であればエッジ、閾値以下であれば０とする。
閾値は実験的に決定する。

図２のｗは画像上のトロリー線の太さ（幅）に一致するよう奇数で設定する。
また、Ｗ’は、Ｗ’＝ （ｗ＋１）／２の幅に設定し演算子の総和が０になるようする。
なお、縦方向の数を増やすと、精度を上げることができるが、通常は１〜３である。
夜間の映像は夜間用演算子を使用し、昼間の映像は昼間用演算子を使用する。

夜間用演算子と昼間用演算子の各要素の正負が逆であるのは、昼間では、背景が白く、トロリー線が黒く写るのに対し、夜間では、背景が黒く、照明によりトロリー線が白く写るためである。
なお、画像上方ではトロリー線が太く、画像下方ではトロリー線が細く映り、太さ変化があるが、この太さ変化は許容値の範囲内であり、問題とならない。

本実施例は以下の利点がある。
映像には多様な物体が映り込むため、通常のエッジ検出ではトロリー線でないエッジを検出する問題がある。
本実施例は、トロリー線が画像上で垂直方向のエッジを多く持ち太さが一定な特徴を利用した演算子を画像に積和するので、トロリー線らしき太さとおおむね垂直なエッジだけ検出できる利点がある。

本実施例は、画像をスリット状に分割し、スリット内部の濃淡値の集合から実施例２の昼間用又は夜間用演算子を入れ替えてエッジを検出する画像処理装置である。
本実施例の詳細を図３に示す。

予め、図３のように、画像を地面に対し水平なスリットに分割する。
カメラが傾いている場合、図３に示した様な右上がりに傾いた領域になるが、カメラが水平に設置されれば画像に対して水平なスリットの領域になる。
次に図の斜線領域の濃淡値を集合として取得する。

この集合から主成分分析やヒストクラムの最頻値を求め、この最頻値が閾値１より暗ければ夜間用の演算子、明るければ昼間用の演算子をこの領域に積和し、その計算結果が閾値２以上であればエッジ、閾値２以下であれば０とする。
閾値は実験的に決定する。
以上の処理を図３のスリット毎に演算子を決定しエッジを取得する。
なお、閾値１、閾値２と、スリットｙ方向の幅は実験的に決定する。

本実施例は、夜間用演算子と昼間用演算子を入れ替えるため、夜間の橋脚通過時や昼間のトンネル通過等で１枚の画像上に背景の濃淡値が部分的に異なる場合でも、適切にトロリー線のエッジが検出できる利点がある。

本実施例は、パンタグラフの中心座標をＨｏｕｇｈ変換の原点に使用し、トロリー線を検出する画像処理装置である。
本実施例を図４のフローチャートに示す。

先ず、カメラにから画像を取得（入力）し、取得された画像からパンタグラフの位置を検出する（ステップＴ１）。
２台以上のカメラを使用する場合は、実施例１に示すように、パタンマッチの位置からオフセットを除いてその最小値からパンタグラフを検出しても良い。
次に、入力画像からエッジ検出でトロリー線のエッジを検出する（ステップＴ２）。
この際、実施例２，３のエッジ検出を利用してもよい。

引き続き、得られたトロリー線のエッジを、図５に示すように、パンタグラフ１０の中心ａを原点として座標変換する（ステップＴ３）。
更に、この座標を式（１）のＨｏｕｇｈ変換でＨｏｕｇｈ空間に投票し（ステップＴ４）、投票されたＨｏｕｇｈ空間の値の頂点を検出することで直線を検出する（ステップＴ５）。
ρ＝ｘcosθ＋ｙsinθ …（１）
以上の処理を画像の入力毎に繰り返す（ステップＴ６）。

本実施例は、以下の利点を有する。
即ち、トロリー線は直線で検出できるが、通常の直線検出ではトロリー線のエッジが他の物体で分断や交差し直線検出が難しい。
本実施例は、Ｈｏｕｇｈ変換を使用するためトロリー線に干渉する他の物体の影響を受けにくい第１の利点がある。

また、Ｈｏｕｇｈ変換には原点の位置によって検出する直線の分解能が不均一になる問題がある。
これは、非特許文献２の図１に示すように、θ＝０，ρ＝０の原点付近では分解能が均一だが、θ＝０，ρ＝０から離れると分解能が不均一になるためである。
これに対し、本実施例はパンタグラフの中心座標をＨｏｕｇｈ変換の原点に設定するため、パンタグラフ付近のトロリー線＝原点付近のトロリー線となり、均一な分解能でトロリー線検出できる第２の利点がある。

更に、Ｈｏｕｇｈ変換から複数の直線を検出するにはＨｏｕｇｈ空間内の複数の頂点を検出するが、本実施例はこの頂点の形状がパンタグラフ上でおおむね同じ形状になるので、複数の頂点を求めやすい第３の利点もある。
なお、上記フローチャートの処理をソフトウェア的に実現するプログラムによって、本実施例の画像処理装置を実現しても良い。

本実施例は、パンタグラフの中心座標の高さをＨｏｕｇｈ変換の原点のｙ座標に使用し、トロリー線を検出する画像処理装置である。
本実施例は、図４に示すフローチャートのステップＴ３において、得られたトロリー線のエッジを、パンタグラフの中心を原点として座標変換するのではなく、図６に示すように、パンタグラフの高さｂを原点として座標変換し、この座標を式（１）のＨｏｕｇｈ変換でＨｏｕｇｈ空間に投票し、投票されたＨｏｕｇｈ空間の値の頂点を検出することで直線を検出するものである。
その他の処理は、実施例４と同様である。

なお、図６では画像左端とパンタグラフの高さの交点を原点にしているが、点線上のパンタグラフの高さであればどこに設定しても良い。
本実施例は、実施例４に比べ、分解能が不均一になる不具合があるが、式（１）のパラメータθをパンタグラフと交差するトロリー線の角度だけに制約し、計算量を減らせ演算処理がはやいという利点がある。

本実施例は、実施例４や実施例５で求めたＨｏｕｇｈ空間の頂点を所定の距離θ_P，所定の角度ρ_pで除外し、複数のトロリー線を検出する画像処理装置である。
本実施例は以下のように行う。
先ず、入力画像からエッジ検出によりトロリー線のエッジを検出する。
この際、実施例２，３のエッジ検出を利用してもよい。
得られたトロリー線のエッジをＨｏｕｇｈ変換で図７のＨｏｕｇｈ空間へ投票し、Ｈｏｕｇｈ空間から最も高い頂点１を検出し、頂点１のθ_p，ρ_pをトロリー線として登録する。
Ｈｏｕｇｈ空間の頂点は、実施例４や実施例５の座標変換により求めても良い。

この頂点１を中心としてθ_p，ρ_pで囲まれる斜線領域を頂点の属する領域としてＨｏｕｇｈ空間から除外し、次に高い頂点を探索し頂点２を検出し除外する。
以上の処理を必要な頂点数に繰り返す。
本実施例は以下の利点がある。
即ち、１本のトロリー線は、非特許文献２の図１０に示すように、Ｈｏｕｇｈ空間の１つの頂点に対応する。

トロリー線を複数検出するには、Ｈｏｕｇｈ空間の頂点とその頂点に属する裾野を探索し、この探索を繰り返して複数のトロリー線を検出する必要があるが、裾野の探索は時間がかかる問題がある。
また、通常の頂点から裾野への形状は、非特許文献２の図１に示すような正規分布等の連続的なプロファイル形状にならないため、探索による正確な裾野の検出が難しい問題がある。

本実施例は、パンタグラフと接触する複数のトロリー線は、架線の構造上所定の距離ρ_pと所定の角度θ_P離れる条件を利用し、頂点からθ_p，ρ_pの領域を頂点に属する領域として単純に除外し、裾野の探索なしに次の頂点を探索するものである。
これにより裾野の探索が不要で処理が高速になる第１の利点がある。
また複雑な裾野形状でも頂点の領域分けが確実になる第２の利点がある。

本実施例は、２台以上のカメラ画像から検出したトロリー線の座標を、３Ｄ座標で検証する画像処理装置である。
本実施例を図８のフローチャートに示す。
先ず、図１０に示すように、パンタグラフ１０とトロリー線２０が映る２台以上のカメラ画像を取得し（ステップＶ１）、各カメラ画像ごとエッジ検出でエッジを検出し（ステップＶ２）、複数のトロリー線候補を検出する（ステップＶ３）。
このトロリー線検出には、実施例４、実施例５、実施例６を使用してもよい。

このトロリー線とパンタグラフの交点の座標と、画像上端の座標をそれぞれステレオ計測により三次元座標に投影変換し（ステップＶ４）、図９に示すように、図中斜線で示す妥当な領域に、トロリー線とパンタグラフの交点ｃの座標が存在し、かつ、トロリー線の画像上端ｄの座標が存在するかどうか検証し、何れも妥当な領域に入っているものをトロリー線とする（ステップＶ５）。
この領域は、トロリー線２０がほぼ水平で高さがパンタグラフ１０と同じかどうか検証する領域で、実験的に決める。
以上の処理を画像の入力毎に繰り返す（ステップＶ６）。

本実施例は、各カメラ間で検出したトロリー線を３Ｄ座標に変換し、トロリー線の画像上端点が地面に対しほぼ水平で高さがパンタグラフと同じかどうか検証して誤ったトロリー線を排除するため、信頼性の高いトロリー線が検出できる利点がある。
なお、上記フローチャートの処理をソフトウェア的に実現するプログラムによって、本実施例の画像処理装置を実現しても良い。

本発明は、検出したパンタグラフとトロリー線は、規定の位置に映っているかどうかで設備保全に利用される。

本発明の第一の実施例に係る画像処理の手順を示すフローチャートである。 本発明の第二の実施例に係るトロリー線検出演算子を示す説明図である。 本発明の第三の実施例に係る最頻値の取得を示す説明図である。 本発明の第四、第五の実施例に係る画像処理の手順を示すフローチャートである。 本発明の第四の実施例に係る座標変換の原点を示す説明図である。 本発明の第五の実施例に係る座標変換の原点を示す説明図である。 本発明の第六の実施例に係るを示すＨｏｕｇｈ空間の頂点と裾野の領域を示す説明図である。 本発明の第七の実施例に係る画像処理の手順を示すフローチャートである。 本発明の第七の実施例に係るトロリーの三次元座標を示す説明図である。 本発明の第七の実施例に係る２台のカメラ画像を示す説明図である。

符号の説明

１０ パンタグラフ
２０ トロリー線
ａ パンタグラフ中心
ｂ パンタグラフ高さ
ｃ トロリー線とパンタグラフの交点
ｄ トロリー線の画像上端

Claims (6)

1. 入力画像からエッジ検出でトロリー線のエッジを検出し、検出したエッジの座標をＨｏｕｇｈ変換でＨｏｕｇｈ空間へ投票し、投票されたＨｏｕｇｈ空間の頂点を検出することで直線であるトロリー線を検出する画像処理装置において、前記エッジ検出は、トロリー線が画像上で垂直方向のエッジを多く持ち、太さが一定な特徴を利用した演算子を画像に積和してトロリー線のエッジを検出するものであり、かつ、画像を地面に対し水平なスリット状の集合に分割し、分割された水平なスリット状の集合について濃淡値を取得し、取得された濃淡値から求められる主成分分析及びヒストグ
   ラムの最頻値に応じて昼間用・夜間用の演算子を入れ替えてトロリー線のエッジを検出することを特徴とする画像処理装置。
2. 前記Ｈｏｕｇｈ変換の原点として、検出されたパンタグラフの中心座標を使用することを特徴とする請求項１記載の画像処理装置。
3. 前記Ｈｏｕｇｈ変換の原点の高さとして、検出されたパンタグラフの高さを使用することを特徴とする請求項１記載の画像処理装置。
4. 前記パンタグラフは、２台以上のカメラ画像のパタンマッチングで得られたパンタグラフ候補の座標からオフセットを除き、この座標をカメラ毎に照合して座標の差が最小になる座標として検出されたものであることを特徴とする請求項２又は３記載の画像処理装置。
5. 前記トロリー線を複数検出する場合には、最も高い頂点を中心とする微小領域をＨｏｕｇｈ空間から除外し、次に高い頂点を探索することを繰り返すことを特徴とする請求項１，２，３又は４記載の画像処理装置。
6. 前記トロリー線を複数検出する場合には、前記トロリー線を三次元座標に変換し、地面と水平でパンタグラフとほぼ同じ高さの領域に存在するか否かを検証し、前記領域に存在しないものを誤ったトロリー線として排除することを特徴とする請求項１，２，３，４又は５記載の画像処理装置。

Images