JP4751991B2

JP4751991B2 - 管渠内部の欠陥検出・判別方法及び装置

Info

Publication number: JP4751991B2
Application number: JP2005209677A
Authority: JP
Inventors: アリレザアハラリ
Original assignee: Kitakyushu Foundation for Advancement of Industry Science and Technology
Current assignee: Kitakyushu Foundation for Advancement of Industry Science and Technology
Priority date: 2005-07-20
Filing date: 2005-07-20
Publication date: 2011-08-17
Anticipated expiration: 2025-07-20
Also published as: JP2007024746A

Description

本発明は、下水道管等の管渠内部の欠陥の有無、状況を自動検査するための方法及びそのための装置に関する。

下水道管内やトンネル等の内部の欠陥の有無、程度を早期に検出し必要な処置を的確に施すことは、インフラ構造の安全性を確保・維持する上で重要である。たとえば、トンネル内部壁面に発生する析出物、湧水、浮き、ひび割れといった異常部分を発見するための検査を行う場合、検査員がトンネル内に入り、ライトで内壁面を照らし、目視によって異常部分を検出するという方法によっている。また、レール上を走行する車両にライト及びビデオを搭載し、内壁面の状況を撮影してこの画像によって検査することも行われている。

一方、トンネル内部等の広い空間の画像を取得すべく、図９に示すように、多数のカメラをレール上を走行する台車に搭載して撮像し、その画像を合成してトンネル内壁面のひび割れを検出する方法が提案されている（たとえば、特許文献１参照）。図９において、１１０はひび割れ検出装置、１２０は内部壁面、１２１はトンネル、１３０は撮像装置、１３１はカメラ、１３２は照明装置、１３３は画像記憶媒体、１４０は移動装置、１４１は台車である。この先行技術による場合、取得された画像データは、図１０および図１１に示すように、小区分に分割され濃度変化処理を施されてさらに、欠陥線の特徴処理を施される。これによって欠陥認知を行う。なお、図１０および図１１において、１３４は画像、１３５は連続画像、１７０は分布図、１７１は広範囲分布図、ＲＯは画像データ、Ｐ１〜Ｐｉはファイルである。このトンネル内のひび割れ検出方法は、すべてのデータを解析することを前提としている処から、連続画像を分析するには多大の時間を要していた。
特開２００１−１４１６６０号公報

前述のように、特許文献１に開示されている発明によるときは、多くのカメラ（特許文献１における図１乃至図３に示される処では、４台のカメラ）で撮像されたすべての画像を処理する必要がある処から、多大の画像処理時間を必要とし、欠陥検出・判別のリアルタイム性に欠ける問題があった。

本発明は、上記従来技術における問題を解決し、要処理画像データ量を格段に減少せしめ、下水道管等の内部欠陥の検出・判別をリアルタイムに行い得る管渠内部の欠陥検出・判別方法及びそのための装置を提供することを目的とする。

上記課題を解決するための請求項１に記載の発明は、ａ．管内部を無線又は有線で自動走行する管内走行装置に搭載され魚眼レンズを装着した１台の撮像装置で、管内部の画像を取得するステップ、
ｂ．輝度変化が大きな管継目部に注目してエッジ抽出を行った後、管継目部の管軸方向前後に亘る領域の画像の切り出しを、予め用意したマスクによって関心領域外の画像をマスクした後に行うステップ、
ｃ．該切り出された画像を分割し、分割された各部の輝度画像変換を行い、平均画像と各部の個別画像箇所との相関を演算算出し、一定の閾値以下の相関を示した画像箇所部に欠陥ありとリアルタイムで判定するステップ
とを有する管渠内部の欠陥検出・判別方法である。

請求項２に記載の発明は、管内部を無線又は有線で自動走行する管内走行装置と、該管内走行装置に搭載され管内を管軸方向に移動自在な、魚眼レンズを装着した１台の撮像装置と、該撮像装置によって取得された原画像における輝度変化が大きな管継目部のエッジ抽出を行った後、管継目部の管軸方向前後に亘る領域の画像の切り出しを、予め用意したマスクによって関心領域外の画像をマスクした後に行うとともに該切り出された画像を分割し分割された各部の輝度変換を行う画像処理手段と、各部の個別画像と平均画像との相関を演算算出し、一定の閾値以下の相関を示す画像箇所部分を欠陥部として検出・判別する演算手段とを有する管渠内部の欠陥検出・判別装置である。

本発明によれば、自動走行する管内走行装置に搭載された、魚眼レンズを装着した１台のカメラで下水道管等の内部を撮像するようにしたから、カメラが１台で済むとともに撮像領域を変えるための移動機構および／または首振り機構も不要となる。

また、下水道管の場合、その欠陥は殆ど管の周方向に延在する管継ぎ目部に存在する。而して、撮像画像の輝度変化が大きな管継ぎ目部のエッジ抽出を行った後、管継ぎ目部の管軸方向における所定領域を除く部分をマスクして画像の切り出しを行うようにしたから、１台のカメラのみでの撮像と相俟って要処理画像データ量を大きく低減せしめ得る。従って、従来技術に比し、画像データ処理時間を約１／１０とすることができ、リアルタイム性のある欠陥検出・判別システムを構築できる。

さらに、管継ぎ目部の管軸方向における所定領域のみの画像を切り出すようにし、それ以外の領域をマスクするようにしたから、魚眼レンズによる撮像の場合に不可避な、原画像のコア部および周縁部における歪み部分を取り除くことができ、魚眼レンズによる撮像における画像の歪みの問題も併せ解決することができる。而して、シンプルな管内欠陥の検出・判別システムを構成することができる。

本発明において、魚眼レンズを装着した１台のカメラを搭載する管内走行装置としては、出願人が特願２００５−０１７３８４号にて提案した、図７および図８に示す管内走行装置を好適に用いることができる。この管内走行装置は、図７および図８に示すように、フレーム２と、フレーム２の前部右側、前部左側、後部右側および後部左側に設けられた回動軸１８〜２１に軸支されて水平面内で回動自在な第１乃至第４のアーム３〜６と、第１乃至第４のアーム３〜６の一端に軸支されて水平面内で回転駆動される第１乃至第４の駆動輪１１〜１４と、第１乃至第４のアーム３〜６に回動軸１８〜２１回りの復元力を印加する第１および第２のばね１５、１６を備えた構成になる。

上記構成になる管内走行装置は、複雑な操舵機構や外部制御機構を用いることなく、彎曲した管路、内径の変化する管路、分岐のある管路等を自在に走行できるので、各種配管、わけても地中に埋設された上下水道配管、ガス配管の内部を検査する検査装置用として有用である。

本発明における管内撮像システムは、上記管内走行装置に搭載される、魚眼レンズを装着した１台のカメラで構成される。管内走行装置（ロボット）は、魚眼レンズを装着したカメラ（撮像装置）を１台搭載して下水道管等の管渠内を自律的に移動し、管内を魚眼レンズを装着したカメラで撮像して取得した画像データを、管内走行装置（ロボット）本体内に配設されたハードディスク等（図示せず）の記憶装置に格納するか或いは外部のコンピュータに伝送する。

而して本発明の管渠内部の欠陥検出・判別装置は、管渠内部を無線又は有線で自動走行する管内走行装置と、該管内走行装置に搭載され管内を管軸方向に移動自在な、魚眼レンズを装着した１台の撮像装置と、該撮像装置によって取得された原画像における輝度変化が大きな管継目部のエッジ抽出を行った後、管継目部の管軸方向前後に亘る領域の画像の切り出しを、予め用意したマスクによって関心領域外の画像をマスクした後に行うとともに該切り出された画像を分割し分割された各部の輝度変換を行う画像処理手段と、各部の個別画像と平均画像との相関を演算算出し、一定の閾値以下の相関を示す画像箇所部分を欠陥部として検出・判別する演算手段とから構成される。

本発明で対象とする下水道管等の場合、欠陥はその殆どが管の周方向に延在する管継ぎ目部に存在する。而して、魚眼レンズを装着したカメラで下水道管等の管渠内の画像を得、特に輝度変化が大きな管継ぎ目部に注目してエッジ抽出を行う。即ち、取得した画像に対しエッジ強度を算出することによって管継ぎ目部分の抽出が可能となる。然る後、管継ぎ目部の管軸方向前後に亘る所定領域、たとえば管継ぎ目部の上流方向に１０ｃｍ、下流方向に１０ｃｍ、合計２０ｃｍの領域Ｘの画像の切り出しを、該所定領域以外の部分を予め用意したマスクによってマスキングした後に行う。管継ぎ目部の管軸方向前後に亘る所定領域Ｘを大きくすれば広範囲でラフな欠陥検出・判別となり、小さくすれば狭範囲で詳細な欠陥検出・判別が可能となる。而してこの管継ぎ目部の管軸方向前後に亘る所定領域Ｘは必要に応じて適宜選択される。なお、上記マスキングは、コンピュータにおけるソフトウェア上で行うことができる。

こうして切り出された画像を、欠陥部を検出しやすいように、パノラマ展開し欠陥部強調処理を施す。欠陥部強調処理は、エッジ強度算出→輝度画像変換→画像の平滑化をパノラマ画像に施すことによってなされる。然る後、パノラマ画像を任意の部分に分割し、分割された個別画像と平均画像との相関を演算算出し、一定の閾値以下の相関を示した画像箇所部に欠陥ありと判定する。

図１に、魚眼レンズを装着したカメラで対象の画像を取得するときの視野を示す。図１に示すように、魚眼レンズの前面３６０°の視野を撮像対象とすることができる。図２および図３に、図７および図８に示す管内走行装置３１に魚眼レンズ３３を装着したカメラ（撮像装置）３２を搭載した状態を示す。図２は側面図、図３は正面図である。

管内走行装置３１は管内を自律的に移動し、カメラ３２で撮像された画像データを管内走行装置（ロボット）３１本体内に配設されたハードディスク（図示せず）の記憶装置に格納するか或いは外部のコンピュータに伝送する。

こうして取得された画像データを、以下のように処理する。
処理手順１）画像の切り出し
取得されたビデオ画像から、特に輝度変化が大きな管継ぎ目部分を抽出する。管継ぎ目部分の抽出は、管継ぎ目部のエッジ強度を算出することによってなされる。次いで、図４（ｂ）に示す、幅Ｘの環状部のコアおよび外周より外側部に予め用意したマスクを入力画像にかけ、図４（ａ）に示す、管継ぎ目部３４の管軸方向における所定領域Ｘに相当する環状部分の切り出しを行う。本発明においては、下水道管等における欠陥の殆どは管の継ぎ目部に存在しているとの発明者の知見から、幅Ｘの環状部のコアおよび外周より外側部にマスクを入力画像にかけることによって、うまくこの管継ぎ目部３４の管軸方向における所定領域Ｘに相当する環状部分の領域を抽出している。マスクの設定に際しては、管継ぎ目部３４の管軸方向における前後２０ｃｍ（図４（ａ）におけるＸの領域）の画像を分析すれば必要十分である処から、図４（ｂ）に示すように、管継ぎ目部３４を中心とするＸ領域以外がマスクされるように、マスクの設定を行う。

処理手順２）パノラマ展開
管継ぎ目部３４近傍の管内壁のみの情報を抽出するために、得られた切り出し画像から図５に示すように、図５における斜線部分の画像のみを抽出する。図５における領域ｒは図５のパノラマ展開図において、領域ｒとして表示される。パノラマ展開図において、図５におけるＸ部分は、高さＸとして表示される。

処理手順３）欠陥部強調処理
管内の欠陥部をより検出しやすいように、パノラマ展開した画像を、エッジ強度算出→輝度画像変換→画像の平滑化のプロセスによって欠陥部強調処理を施す。本発明においては、欠陥部には大きな輝度変化が起きているとの発明者の知見に基づいて、前記欠陥部強調処理を施す。

ａ．エッジ強度算出
エッジ強度の算出に際しては、エッジ抽出に利用するオペレータとして、ラプラシアンオペレータ、Sobelオペレータ、Prewittオペレータ等を適用することができる。
ｂ．輝度画像変換
カラー画像として得られるパノラマ画像における各画素の（Ｒ、Ｇ、Ｂ）値を、輝度情報Ｙへ置き換える。この実施例においては、アルゴリズム
Ｙ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂによって変換している。
ｃ．画像の平滑化
ガウシアンフィルタによる輝度画像の平滑化を行う。これによって、ノイズを除去したり、軟調化したりする効果がある。

処理手順４）欠陥部の判別
上記処理を施したパノラマ画像を、図６に示すように、任意の部分に分割する。この分割は、処理時間と欠陥箇所の位置精度との関連で適宜設定される。ここで、欠陥がない下水道管は、分割されたどの部分を切り出しても同じような画像であると仮定できる。そこで、下水道管内壁部の分割部分の平均画像を求めてこれをテンプレート画像とし、分割されたパノラマ画像の各分割部分との相関値を、たとえば次式によって算出する。

ｔ_ｘ，ｔ_ｙ：取得された画像の幅および高さ
ｘ：原画像の水平軸における画素の座標

平均画像Ｉ_averageは、次式によって算出される。

Ｎ＝９４２−５０，ｔ_ｘ＝５０，ｔ_ｙ＝５０
Ｎ：テンプレート画像作成に用いられた画素の数

而して、予め設定した閾値以下の相関を示す画像分割部分がある場合は、その部分が欠陥部であると判別される。なお、前記閾値は、欠陥検出率（欠陥があることを検出できる確率）と誤検出率（欠陥ではないのに、欠陥であると判別する確率）との関係によって適宜設定される。下水道管等の内部欠陥がリアルタイムで検出・判別できることによって、欠陥部をその場でより詳細に撮像し、施すべき処置を的確に判断するのに資する。

本発明の管渠内部の欠陥検出・判別方法および装置は、下水道管等において、殆どの欠陥が発生する管継ぎ目のように、欠陥部位を特定できる場合に、画像の要処理量を大幅に減少せしめ得、欠陥検出・判別のリアルタイム性を確実ならしめる点で、特に有効である。しかし、トンネル等欠陥発生部位を特定できない場合であっても、魚眼レンズを装着した１台のカメラ（撮像装置）のみの画像取得で足りるから、画像処理時間の短縮に大きな効果を奏する。

本発明の一実施例に係る、魚眼レンズを装着したカメラで撮像するときの視野を示す平面図本発明の一実施例に係る、魚眼レンズを装着したカメラを管内走行装置（ロボット）に搭載した状態を示す側面図本発明の一実施例に係る、魚眼レンズを装着したカメラを管内走行装置（ロボット）に搭載した状態を示す正面図本発明の一実施例に係る、下水道管等の画像切り出し領域である管継ぎ目部の、管軸方向における所定領域Ｘを示す模式図（ａ）は正面図（ｂ）は管軸方向から見た画像切り出し領域およびマスク領域を示す模式図本発明の一実施例に係る、画像切り出し領域Ｘ（斜線部分）およびマスク領域ｍならびに画像切り出し領域におけるある領域ｒをパノラマ展開図上に対応させて示す模式図本発明の一実施例に係る、パノラマ展開図における画像分割部分を示す模式図本発明の一実施例に係る、管内走行装置（ロボット）を示す平面図本発明の一実施例に係る、管内走行装置（ロボット）を示す正面図従来の、トンネル内部壁面のひび割れ検出装置を示す正面図図９に示すトンネル内部壁面のひび割れ検出装置におけるカメラの相対位置を示す説明図図９に示すトンネル内部壁面のひび割れ検出装置における画像処理の状況を示す説明図

符号の説明

１管内走行装置
２フレーム
３第１のアーム
４第２のアーム
５第３のアーム
６第４のアーム
７第１の駆動モータ
８第２の駆動モータ
９第３の駆動モータ
１０第４の駆動モータ
１１第１の駆動輪
１２第２の駆動輪
１３第３の駆動輪
１４第４の駆動輪
１５第１のばね
１６第２のばね
１７ペイロード
１８回動軸
１９回動軸
２０回動軸
２１回動軸
２２主管
３１管内走行装置（ロボット）
３２カメラ（撮像装置）
３３魚眼レンズ
３４管継ぎ目部
Ｘ管継ぎ目部を含む管軸方向における所定領域
ｒ領域
１１０ひび割れ検出装置
１２０内部壁面
１２１トンネル
１３０撮像装置
１３１カメラ
１３２照明装置
１３３画像記憶媒体
１３４画像
１３５連続画像
１４０移動装置
１４１台車
１７０分布図
１７１広範囲分布図
ＲＯ画像データ
Ｐ１〜Ｐｉファイル

Claims

ａ．管内部を無線又は有線で自動走行する管内走行装置に搭載され魚眼レンズを装着した撮像装置で、管内部の画像を取得するステップ、
ｂ．管継目部に注目してエッジ抽出を行った後、管継目部の管軸方向前後に亘る所定領域の画像の切り出しを、予め用意したマスクによって関心領域外の画像をマスクした後に行うステップ、
ｃ．該切り出された画像を分割し、分割された各部の輝度画像変換を行い、平均画像と各部の個別画像箇所との相関を演算算出し、一定の閾値以下の相関を示した画像箇所部に欠陥ありとリアルタイムで判定するステップ
とを有することを特徴とする管渠内部の欠陥検出・判別方法。
管内部を無線又は有線で自動走行する管内走行装置と、該管内走行装置に搭載され管内を管軸方向に移動自在な、魚眼レンズを装着した撮像装置と、該撮像装置によって取得された原画像における管継目部のエッジ抽出を行った後、管継目部の管軸方向前後に亘る所定領域の画像の切り出しを、予め用意したマスクによって関心領域外の画像をマスクした後に行うとともに該切り出された画像を分割し分割された各部の輝度変換を行う画像処理手段と、各部の個別画像と平均画像との相関を演算算出し、一定の閾値以下の相関を示す画像箇所部分を欠陥部として検出・判別する演算手段とを有することを特徴とする管渠内部の欠陥検出・判別装置。