JP6822919B2 - 管路施設内検査システム - Google Patents

Description

本発明は、管路施設内検査システムに係り、特に、長手方向に延在する構造物、例えば下水管などの管路施設内を移動して画像を取得し、管路施設の内面の状態を把握する管路施設内検査システムに関する。

近年、下水管の老朽化の問題が大きくなりつつある。老朽化が進行するとひび割れや破損などの異常が発生する。その結果、土砂が管外から管内に入って地中に空隙ができ、それが原因となって下水管の上の道路が陥没する事故が発生している。そこで、下水管のひび割れや破損などの異常を効率的に把握する技術が必要となっている。このようなニーズに対し、移動体を下水管の中に移動させ、管内の状態をモニタする技術が提案されている。

管内の状態は画像でモニタされるが、移動体が備える撮影装置で撮影した画像がマンホールから水平方向にどの程度の距離の画像であるかを知ることが必要である。これに対し、例えば特許文献１のように移動体の移動距離を計測する技術が提案されている。
特許文献１では、管路内を移動させる移動体に広角レンズを有する全方位カメラを搭載し、この移動体を管路内で移動させることによって全方位カメラで管路の内面を撮影し、全方位カメラで撮影された画像を画像処理手段で平面画像に変換し、これを地上の表示監視盤で表示する旨開示されている。そして、特許文献１では、全方位カメラを搭載する移動体の位置測定は、同軸ケーブル（電力供給及び画像信号の送信に供される）を巻き取るガイドローラの回転数を距離に変換することで行う旨記載されている。

特開２００４−３３３２８５号公報

しかしながら特許文献１に記載される、一端が移動体に接続される同軸ケーブルを巻き取るガイドローラの回転数を移動距離に換算する方式では、仮にケーブルのテンションコントロールをした場合であっても、ケールにたるみが生じ得る可能性があり、それによって換算される移動距離に誤差が含まれる虞がある。また、そもそも特許文献１では、無線通信及びバッテリー（電池）駆動の移動体については何ら考慮されていない。
そこで、本発明は、ケーブル或いは水平方向の移動距離センサを要することなく、長手方向に延在する管路施設内を検査のために撮像される画像データから移動体の移動距離を取得し得る管路施設内検査システムを提供する。

上記課題を解決するため、本発明に係る管路施設内検査システムは、撮像装置を搭載し、長手方向に延在する管路施設内を移動する移動体と、前記移動体の移動を制御する制御端末と、前記撮像装置により撮像される画像データを処理する画像処理装置と、を備え、前記画像処理装置は、前記管路施設内において長手方向に異なる２地点にて前記撮像装置にて撮像された第１の画像データ及び第２の画像データを取得し、前記第１の画像データ又は第２の画像データから特定領域を抽出する領域抽出部と、抽出された特定領域が、他方の画像データ内で対応する領域を探索する探索部と、前記第１の画像データ及び第２の画像データにおける特定領域間の位置の偏差を求める位置差分抽出部と、抽出された位置の偏差に基づき前記管路施設の内面から前記撮像装置までの距離を求める内面距離算出部と、
前記特定領域の視野角と前記内面から前記撮像装置までの距離に基づき、前記２地点の間の距離を求める移動距離算出部と、を有することを特徴とする。

本発明によれば、ケーブル或いは水平方向の移動距離センサを要することなく、長手方向に延在する管路施設内を検査のために撮像される画像データから移動体の移動距離を取得し得る管路施設内検査システムを提供することが可能となる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の一実施例に係る実施例１の管路施設内検査システムの全体概略構成図である。 実施例１に係る画像処理装置の機能ブロック図である。 実施例１に係る画像処理装置の主要部のブロック線図である。 図１に示す撮像装置により撮像される直視画像の模式図である。 撮像された画像データから抽出する第１の領域及び第２の領域の位置の一例を示す模式図である。 長手方向に延在する構造物（管路施設）の内面を異なる２地点から撮像する撮像装置の位置関係を示す模式図である。 撮像画像データから抽出する第１の領域が、第１の画像データと第２の画像データで異なる位置にあることを示す模式図である。 撮像画像データから抽出する第２の領域が、第１の画像データと第２の画像データで異なる位置にあることを示す模式図である。 撮影画像データから抽出する第１の領域と第２の領域の位置が、第１の画像データと第２の画像データで異なる位置にあり、それぞれ異なる偏差を有することを示す模式図である。 第１の画像データと第２の画像データにおける光学的幾何関係を示す模式図である。 第２の画像データに含まれる第２の領域と画像中心の位置関係を示す模式図である。 第２の画像データに含まれる第２の領域に対する軸方向からの角度の光学的幾何関係を示す模式図である。 撮像装置の光学的特性を示した模式図である。 第２の画像データに含まれる第２の領域に対する軸方向からの角度の光学的幾何関係を示す模式図である。 表示部の画面表示例の一例である。 表示部の画面表示例の他の例である。 本発明の他の実施例に係る実施例２の管路施設内検査システムを構成する画像処理装置の機能ブロック図である。 撮像装置により撮像される直視画像の模式図である。 撮像された画像データから抽出する第１の領域の位置の一例を示す模式図である。 撮像画像データから抽出する第１の領域が、第１の画像データと第２の画像データで異なる位置にあることを示す模式図である。 撮影画像データから抽出する第１の領域の位置が、第１の画像データと第２の画像データで異なる位置にあり、それらの偏差を有することを示す模式図である。 第１の画像データと第２の画像データにおける光学的幾何関係を示す模式図である。

本明細書において、本発明に係る管路施設内検査システムが検査対象とする長手方向に延在する構造物すなわち管路施設としては、例えば、下水道管、ガス管、トンネル、集合管、内容物を抜いて気体で置換した水道管、蒸気配管、オイル配管、伏せ越し管、放流渠、マンホール、煙突などがあり、これらのいずれかに限定されるものではない。また、長手方向に延在する構造物（管路施設）は横断面が円形である必要はなく、横断面が矩形であっても良い。
また、管路施設内を撮像する撮像装置を搭載し管路施設内を移動する移動体として、例えば、ドローン等の飛行体、車輪又はクローラを有する車型の移動体、又は船などが含まれ、これらのいずれかに限定されるものではない。
以下では一例として、管路施設として下水道管を対象とし、移動体としてドローン等の飛行体を用いる場合を想定し、図面を用いて本発明の実施例について説明する。

＜管路施設内検査システムの構成＞
図１は、本発明の一実施例に係る実施例１の管路施設内検査システムの全体概略構成図である。図１に示すように、管路施設内検査システム１は、撮像装置５を搭載する移動体２（ドローン等の飛行体）、移動体用コントローラー（制御端末）３、及び電子端末４から構成される。図１に示す状態では、移動体２が左側の開口部（マンホール）６を通り、長手方向に延在する構造物（管路施設）６０内を右側の開口部（マンホール）６側へと飛行している状態を示している。
作業員は、移動体用コントローラー（制御端末）３を操作し、移動体２を、長手方向に延在する構造物（管路施設）６０（以下、下水道管称する場合もある）内を下水５２に接触することなく飛行させる。例えば、長手方向に延在する構造物（管路施設）６０（下水道管）内を点検・調査（ひび割れや破損の点検）するために移動体２に搭載される撮像装置５からの画像データ（管内において長手方向に撮像した直視画像）を、移動体用コントローラー（制御端末）３の表示部にて、作業員が確認することで、移動体２を所望の移動経路にて移動させることができる。

図１において、黒塗り矢印にて示すように、移動体２は、左側の開口部（マンホール）６より下水道管６０内に侵入し、下水道管内を右側の開口部（マンホール）６側へと飛行しつつ下水道管６０の内面をモニタリングし、右側の開口部（マンホール）６を通り、下水道管６０の外へと帰還する。なお、これに代えて、移動体２が、点線矢印にて示すように、左側の開口部（マンホール）６より下水道管６０内に侵入し、下水道管６０内を右側の開口部（マンホール）６側へと飛行しつつ下水道管６０の内面をモニタリング（ひび割れや破損の点検）し、右側の開口部（マンホール）６付近或いは右側の開口部（マンホール）６の直下に到達した時点で折り返し、左側の開口部（マンホール）６を通り長手方向に延在する構造物（管路施設）６０（下水道管）外へ帰還するよう、移動体用コントローラー（制御端末）３により操作しても良い。

このように、長手方向に延在する構造物（管路施設）６０（下水道管）内を移動しつつ、移動体２に搭載された撮像装置５により撮像された画像データは、無線通信により電子端末４へ送信される。電子端末４は、詳細後述する画像処理装置７（図示せず）を備え、画像処理装置７（図示せず）は受信された画像データに対し各種の処理を実行し、少なくとも移動体２の移動距離を求める。

なお、移動体２と移動体用コントローラー（制御端末）３の間での無線通信、及び、移動体２と電子端末４の間での無線通信をより安定に実現するため、左右の開口部（マンホール）６を通過し、下水道管６０内へと延伸するよう送受信アンテナ（図示せず）を設置することが望ましい。また、移動体２はバッテリーを電源とするため、当該バッテリーの残量を監視する電圧センサ等を、移動体２に搭載することが望ましい。

＜画像処理装置の構成＞
図２は本実施例に係る画像処理装置の機能ブロック図であり、図３は本実施例に係る画像処理装置の主要部のブロック線図である。
図２に示すように、画像処理装置7は、移動体２から送信される撮像装置５による長手方向に延在する構造物（管路施設）６０（下水道管）内の撮像された画像データを受信可能とする通信Ｉ／Ｆ３１、受信された画像データ中の特定領域（詳細後述する）を抽出する領域抽出部１４、探索部（マッチング部）２０、位置差分算出部２６、左右内面距離算出部３２、視野角算出部３６、移動距離算出部３８、積算部４０、記憶部３３、及び表示制御部３４を備え、これらは内部バス１１２にて相互に接続されている。また、画像処理装置7は、表示制御部３４に接続される表示部４２を有する。領域抽出部１４、探索部（マッチング部）２０、位置差分算出部２６、左右内面距離算出部３２、視野角算出部３６、移動距離算出部３８、積算部４０、及び表示制御部３４は、例えば、ＣＰＵ等のプロセッサ、プログラムを格納するＲＯＭ、ＲＯＭより読み出されたプログラムをプロセッサが実行する過程のデータ等を一時的に格納するＲＡＭ等の記憶装置にて実現される。

記憶部３３は、通信Ｉ／Ｆ３１を介して受信される移動体２から送信される撮像装置５による長手方向に延在する構造物（管路施設）６０（下水道管）内の撮像された画像データ、詳細後述する積算部４０にて算出された移動距離積算値、及び上記画像データが撮像された日時と、を紐づけて、所定の記憶領域に格納する。また、記憶部３３は、検査対象となる長手方向に延在する構造物（管路施設）６０の管路網図を予め所定の記憶領域に格納している。

図３に示すように、画像処理装置７に入力される情報は、第１の画像データ１２および第２の画像データ１０である。第１の画像データ１２及び第２の画像データ１０は、下水道管６０内において長手方向に撮影した直視画像であり、ここでその模式図を図４に示す。図４は、図１に示す撮像装置５により撮像される直視画像の模式図である。なお、図４では分かりやすさのため、下水５２及び下水道管６０の継ぎ目５４も示している。

［領域抽出部］
図３に示すように、第２の画像データ１０は、領域抽出部１４に入力される。領域抽出部１４は、特定領域として、第２の画像データ１０から、第２の画像データ１０の第１の領域１６、第２の画像データ１０の第２の領域１８の２つの領域を抽出する。これら第２の画像データ１０の第１の領域１６及び第２の画像データ１０の第２の領域１８は、画像中心から対称で、相互にできるだけ離れた位置にあることが望ましい。例えば、撮像された画像データから抽出する第１の領域及び第２の領域の位置の一例を示す模式図である図５に示すように、第２の画像データ１０の左端付近を第２の画像データの第１の領域１６として、また、第２の画像データ１０の右端付近を第２の画像データの第２の領域１８として用いるのが望ましい。下水道管６０のように下方に液体が流れており、その表面の特徴が短時間で変化してしまう場合には、画像データの下端付近を第１の領域及び第２の領域として用いないことが望ましい。これら第２の画像データ１０の第１の領域１６及び第２の画像データ１０の第２の領域１８は、いずれも第２の画像データ１０の端付近に位置することが望ましいが、レンズの歪みが大きい場合や、ブレ或いはピントのずれがある場合には必ずしも端である必要はない。第２の画像データ１０の第１の領域１６及び第２の画像データ１０の第２の領域１８の領域の大きさについては限定されないが、以降の処理を高速化したい場合には小さく設定することが望ましい。

以下、第２の画像データ１０の第１の領域１６を画像の左端付近に、第２の画像データ１０の第２の領域１８を画像の右端付近の小領域に設定した場合について説明する。

［探索部（マッチング部）］
図３に示すように、探索部（マッチング部）２０は、領域抽出部１４により抽出された第１の領域１６を有する第２の画像データ１０を、内部バス１１２（図２）を介して入力する。探索部（マッチング部）２０には、通信Ｉ／Ｆ３１（図２）を介して受信された第１の画像データ１２が内部バス１１２を介して転送される。ここで、第１の画像データ１２は第２の画像データ１０の撮像範囲よりも広範囲を撮像したものとする。すなわち、第１の画像データ１２の撮像位置は、第２の画像データ１０の撮像位置よりも後方に位置する。移動体２に搭載される撮像装置５により画像を撮像する場合には、移動体２の進行方向側の画像データを撮像することが一般的であることから、第１の画像データ１２は、第２の画像データ１０よりも過去の時点で撮像されることになる。第１の画像データ１２及び第２の画像データ１０の撮像位置の関係を図６に示す。図６は、長手方向に延在する構造物（管路施設）６０（下水道管）の内面を異なる２地点から撮像する撮像装置の位置関係を示す模式図である。図６では便宜上２台の撮像装置５６及び撮像装置５８が描かれているが、実際上は、白抜き矢印にて示すように、１台の撮像装置が移動体２よって移動した前と後の位置関係を示している。第１の画像データ１２を撮像する位置にある撮像装置５６が、第２の画像データ１０を撮像する位置にある撮像装置５８よりも左側、すなわち後方に位置する（以下では、第１の画像データ１２を撮像した位置５６、第２の画像データを撮像した位置５８と称する場合もある）。

探索部（マッチング部）２０は、第１の画像データ１２の中で、第２の画像データ１０の第１の領域１６がもっとも整合する領域を探索する。この際には第１の画像データ１２の全領域を探索しても良いが、第１の画像データ１２と第２の画像データ１０の撮像時刻の差が短い場合には、第２の画像データ１０の第１の領域１６の存在した付近の座標で第１の画像データ１２を探索することが良い。

具体的には、検査対象である長手方向に延在する構造物（管路施設）６０内の内面に仮に、文字或いは内面に付着する特徴的な形状を有する汚れがある場合には、これらは特徴量となり得る。よって、探索部（マッチング部）２０は、第２の画像データ１０の第１の領域１６内に存在する文字或いは汚れの輪郭を既知の画像処理にて抽出すると共に、同様に第１の画像データ１２内に存在する文字或いは汚れの輪郭を既知の画像処理にて抽出する。そして、探索部（マッチング部）２０は、抽出された第２の画像データ１０の第１の領域１６内に存在する文字或いは汚れの輪郭のパターンをテンプレートとし、同様に文字或いは汚れの輪郭が抽出され第１の画像データ１２に対しパターンマッチング処理を実行する。これにより、第１の画像データ１２の中で、第２の画像データ１０の第１の領域１６がもっとも整合する領域が特定領域として抽出（探索）される。
なお仮に、検査対象である長手方向に延在する構造物（管路施設）６０内の内面に上述のような、特徴量となり得る内面に付着する汚れ或いは文字などが存在しない場合には、探索部（マッチング部）２０は、例えば、継ぎ目５４の画像の第２の画像データ１０と第１の画像データ１２の面積比を求め、求めた面積比に基づき第１の画像データ１２における第２の画像データ１０内の第１の領域１６に相当する座標（画素）を決定し、特定領域として抽出（探索）する構成としても良い。面積比に代えて、継ぎ目５４の画像における周方向の長さの比を求め、求めた長さの比に基づき第１の画像データ１２における第２の画像データ１０内の第１の領域１６に相当する座標（画素）を決定し、特定領域として抽出（探索）しても良い。

図７は、撮像画像データから抽出する第１の領域が、第１の画像データ１２と第２の画像データ１０で異なる位置にあることを示す模式図であって、探索結果の例を示す模式図である。図７の下図に示すように、探索部（マッチング部）２０により、抽出した第１の領域１６が第１の画像データ１２中で対応する領域６２が示されている。図７の上図に示す第２の画像データ１０の第１の領域１６の位置、及び図７の下図に示す抽出した第１の領域１６が第１の画像データ１２中で対応する領域６２の位置から成る第１の領域の対応情報２２（図３）が、内部バス１１２を介して、位置差分算出部２６及び視野角算出部３６へ転送される。

探索部（マッチング部）２０は、第２の画像データ１０の第２の領域１８についても、上記と同様の処理を実行する。図８は、撮像画像データから抽出する第２の領域が、第１の画像データ１２と第２の画像データ１０で異なる位置にあることを示す模式図であって、探索結果の例を示す模式図である。図８の下図に示すように、探索部（マッチング部）２０により、抽出した第２の画像データ１０の第２の領域１８が第１の画像データ１２中で対応する領域６４が示されている。上述の第１の領域の場合と同様に、図８の上図に示す抽出した第２の画像データ１０の第２の領域１８の位置、及び図８の下図に示す抽出した第２の領域１８の第１の画像データ１２中で対応する領域６４の位置から成る第２の領域の対応情報２４（図３）が、内部バス１１２を介して、位置差分算出部２６及び視野角算出部３６へ転送される。

［位置差分算出部］
位置差分算出部２６は、第２の画像データ１０の第１の領域１６が第１の画像データ１２の中でどの程度ずれているかを計算する。このずれは、第２の画像データ１０の第１の領域１６と、第２の画像データ１０の第２の領域１８を結ぶ線と平行な方向（水平方向）に向かう偏差とする。このずれの情報は、第１の領域の位置の偏差２８として、内部バス１１２を介して左右内面距離算出部３２へ転送される。
同様に、位置差分算出部２６は、第２の画像データ１０の第２の領域１８が第１の画像データ１２の中でどの程度ずれているかを計算する。このずれは、第２の画像データ１０の第２の領域１６と、第２の画像データ１０の第２の領域１８を結ぶ線上方向に向かう偏差とする。このずれの情報は、第２の領域の位置の偏差３０として、内部バス１１２を介して左右内面距離算出部３２へ転送される。
［左右内面距離算出部］
図９は、撮影画像データから抽出する第１の領域と第２の領域の位置が、第１の画像データ１２と第２の画像データ１０で異なる位置にあり、それぞれ異なる偏差を有することを示す模式図である。第１の領域の位置の偏差２８が、第２の領域の位置の偏差３０に比べて大きい例を示している。
左右内面距離算出部３２は、第１の領域の位置の偏差２８及び第２の領域の位置の偏差３０の値に基づき、長手方向に延在する構造物（管路施設）６０の内面から撮像装置までの距離を計算する。図１０は、第１の画像データ１２と第２の画像データ１０における光学的幾何関係を示す模式図である。撮像装置５の焦点距離７６により、第１の画像データ１２が投影される等価画像平面６６には第２の画像データ１０の第１の領域１６と第２の画像データ１０の第２の領域１８も映り込む。その映り込む位置は、第２の画像データ１０が投影される等価画像平面６８の上での第２の画像データ１０の第１の領域１６と第２の画像データ１０の第２の領域１８の投影位置とは、それぞれ第１の領域の位置の偏差２８及び第２の領域の位置の偏差３０だけずれることになる。これは、撮像装置５を搭載する移動体２が、長手方向に延在する構造物（管路施設）６０内の水平方向中央部よりも左側に所定量ずれた状態で、長手方向に延在する構造物（管路施設）６０内の長手方向に沿って直進することに因るものである。

第１の領域の位置の偏差２８と第２の領域の位置の偏差３０の比率は、幾何学的な位置関係に基づき、撮像装置５の視野角に関する係数、第１の画像データ１２を撮像した位置５６と第２の画像データを撮像した位置５８との差分７０、左側内面との距離７２、右側内面との距離７４を用いて以下の式（１）で表すことができる。ただし、ｄＬ：第１の領域の位置の偏差２８、ｄＲ：第２の領域の位置の偏差３０、Ｌ：左側内面との距離７２、Ｒ: 右側内面との距離７４、ｍ：第１の画像データ１２を撮像した位置５６と第２の画像データ１０を撮像した位置５８との差分７０、ａ：撮像装置の視野角に関する係数である。
ｄＬ：ｄＲ＝ａ・ｍ＋Ｒ：ａ・ｍ＋Ｌ ・・・（１）
ここで、第１の画像データ１２を撮像した位置５６と第２の画像データ１０を撮像した位置５８との差分７０が、左側内面との距離７２及び右側内面との距離７４に比べて十分に小さければ、視野角が９０°のときでａはたかだか１．０（広角カメラの場合、視野角は一般的に９０°であり式（１）における視野角に関する係数は１．０）であるため、式（１）の右辺の微小項となるａ・ｍを無視することができ、
ｄＬ：ｄＲ＝Ｒ：Ｌ ・・・（２）
式（２）が成り立つ。撮像装置５が動画データを撮像する装置の場合、１秒間に５０フレームから６０フレームの画像データを撮像できるのが普通であり、第１の画像データ１２を撮像した位置５６と第２の画像データ１０を撮像した位置５８との差分７０を十分小さく設定できる。換言すれば、移動体２の移動速度を考慮しても、１秒間に５０フレームから６０フレームの画像データが取得されることからフレーム差分をとれば、第１の画像データ１２を撮像した位置５６と第２の画像データ１０を撮像した位置５８との差分７０はかなり小さい値となる。すなわち、上記式（２）を用いることで、第１の領域の位置の偏差２８及び第２の領域の位置の偏差３０の値に基づき、長手方向に延在する構造物（管路施設）６０の左右内面から撮像装置５までの距離の比率を算出することができる。

図３に示すように、左右内面距離算出部３２には、長手方向に延在する構造物（管路施設）６０の内面の断面寸法５０も入力され、これと上述の長手方向に延在する構造物（管路施設）６０の左右内面から撮像装置５までの距離の比率を用いることで、左側内面との距離７２及び右側内面との距離７４が計算される。なお、上記長手方向に延在する構造物（管路施設）６０の内面の断面寸法５０は記憶部３３（図２）の所定の記憶領域に予め格納されている。
長手方向に延在する構造物（管路施設）６０の横断面形状が円形の円管の場合、長手方向に延在する構造物（管路施設）６０の内面の断面寸法５０として直径Ｃが与えられるとすると、以下の式（３）及び式（４）により距離を計算できる。ここで、Ｌ：左側内面との距離７２、Ｒ：右側内面との距離７４、ｄＬ：第１の領域の位置の偏差２８、ｄＲ：第２の領域の位置の偏差３０である。
Ｌ＝Ｃ×（ｄＲ÷（ｄＬ＋ｄＲ）） ・・・（３）
Ｒ＝Ｃ×（ｄＬ÷（ｄＬ＋ｄＲ）） ・・・（４）
横断面形状が矩形の場合には、直径Ｃに代えて矩形の幅Ｗを乗じることで、左側内面との距離７２、右側内面との距離７４を、以下の式（５）及び式（６）により計算できる。
Ｌ＝Ｗ×（ｄＲ÷（ｄＬ＋ｄＲ）） ・・・（５）
Ｒ＝Ｗ×（ｄＬ÷（ｄＬ＋ｄＲ）） ・・・（６）
［視野角算出部］
視野角算出部３６は、詳細後述する半視野角４８を求める。視野角算出部３６には、内部バス１１２を介して、図３に示すように、探索部（マッチング部）２０より第１の領域の対応情報２２及び第２の領域の対応情報２４が転送されると共に、左右内面距離算出部３２より左側内面との距離７２及び右側内面との距離７４が転送される。まず、第２の領域の対応情報２４に含まれる右側の第２の画像データ１０の第２の領域１８について述べる。
図１１は、第２の画像データ１０に含まれる第２の領域１８と画像中心７８の位置関係を示す模式図である。先ず、視野角算出部３６は、図１１に示すように、第２の画像データ１０の第２の領域１８が第２の画像データ１０の画像中心７８からずれている画素の個数、すなわち画像中心７８からの画素数８０を計算する。これは、画像データから容易に求めることができる。
この場合の第２の画像データ１０に含まれる第２の領域１８に対する軸方向（光軸）からの角度の光学的幾何関係を示す模式図を図１２に示す。第２の画像データ１０を撮像する位置にある撮像装置５８が長手方向に延在する構造物（管路施設）６０の軸方向を向いている場合、第２の画像データ１０の第２の領域１８は軸方向（光軸）からの半視野角４８に位置する。半視野角４８（視野角のうち光軸に対し片側のみのなす角度）は、画像中心７８からの画素数８０に基づき以下の手順で求めることができる。

図１３は、撮像装置の光学的特性を示した模式図である。横軸は画像中心からの画素数、縦軸は半視野角（軸方向からの角度）である。画像中心７８からずれている画素の数が０の場合、半視野角は０である。画像中心７８からの画素数が増えるに従い、軸方向（光軸）からの角度（半視野角）も大きくなる。この光学的特性の形状は撮像装置５によって異なるが、撮像装置５に固有の特性であるため、予め撮像装置５の仕様に基づいて、或いは簡単な模擬撮像試験で得ることができる。この光学的特性の数式或いはテーブルを用いることにより、画像データから半視野角４８（軸方向からの角度）を求めることができる。なお、図１３に示す撮像装置の光学的特性は、記憶部３３（図２）の所定の記憶領域に予め格納されている。
視野角算出部３６は、求めた半視野角４８を移動距離算出部３８へ内部バス１１２を介して転送する。

[移動距離算出部]
移動距離算出部３８は、内部バス１１２を介して、視野角算出部３６により求められた半視野角４８、及び、左右内面距離算出部３２により求められた左側内面との距離７２及び右側内面との距離７４を入力し、第１の画像データ１２及び第２の画像データ１０を撮像した間に移動体２が移動した距離を以下のようにして計算する。図１４は、第２の画像データ１０に含まれる第２の領域１６に対する軸方向からの角度の光学的幾何関係を示す模式図である。図１４において、Ｘは右側内面との距離７４、θ_Ｂは軸方向からの角度（半視野角）、ｄ_ｂは撮像装置と第２の画像データ１０の第２の領域１８までの軸方向の距離８４である。このうちＸとθ_Ｂは上述したように求めることができる。ｄ_ｂは幾何学的関係によって次式（７）により計算できる。
ｄ_ｂ＝Ｘ・ｔａｎ（９０°−θ_Ｂ） ・・・（７）
同様にして、抽出した第２の領域１８が第１の画像データ１２中で対応する領域６４についても、撮像装置と第２の画像データ１０の第２の領域１８までの軸方向の距離８４を求めることができる。これをｄ_ｂ２とすると、第１の画像データ１２を撮像した位置と第２の画像データ１０を撮像した位置の差分７０はｄ_ｂ２−ｄ_ｂとなる。

さらに同様にして、第１の領域１６の対応情報２２に含まれる第２の画像データ１０の第１の領域１６、及び、抽出した第１の領域１６が第１の画像データ１２中で対応する領域６２を用いて、第１の画像データ１２を撮像した位置と第２の画像データ１０を撮像した位置の差分７０を求めることができる。第１の画像データ１２を撮像する位置にある撮像装置５６及び第２の画像データ１０を撮像する位置にある撮影装置５８（図１０）が、いずれも長手方向に延在する構造物（管路施設）６０の軸方向を完全に向いている場合には、第１の画像データ１２を撮像した位置と第２の画像データ１０を撮像した位置の差分７０の２つの値は等しくなるはずである。２つの値が異なる場合には、撮像装置５の向きがずれているか、あるいは長手方向に延在する構造物（管路施設）６０が曲がっていると見做せ、その平均値を用いて移動距離とするのが良い。
以上のように、移動距離算出部３８は、左側内面との距離７２、右側内面との距離７４、及び半視野角４８を用いて第１の画像データ１２を撮像した位置と第２の画像データ１０を撮影した位置の差分７０を求める。移動距離算出部３８により求められた第１の画像データ１２を撮像した位置と第２の画像データ１０を撮影した位置の差分７０は、内部バス１１２を介して積算部４０へ転送される。

［積算部］
積算部４０は、内部バス１１２を介して移動距離算出部３８より転送される、第１の画像データ１２を撮像した位置と第２の画像データ１０を撮影した位置の差分７０の値を所定の周期にて積算し、移動距離積算値４６を求める。すなわち、積算部４０は、移動体２に搭載される撮像装置５により撮像される画像データが連続的に存在する場合、上述の移動距離算出部３８により所定の周期にて求められる２地点間の距離（第１の画像データ１２を撮像した位置と第２の画像データ１０を撮影した位置の差分７０の値）を積算し、移動距離積算値４６を求める。
積算部４０は、所定の周期にて求めた移動距離積算値４６を、表示制御部３４へ内部バス１１２を介して転送する。

［表示制御部及び表示部の画面表示］
図１５は、表示部４２の画面表示例の一例である。図１５に示すように表示部４２の表示画面９０は、第１表示領域９１及び第２表示領域９２から構成される。図１５に示す例では、第１表示領域９１に検査対象画像である管路内（下水道管６０内）の直視画像が表示され、第２表示領域９２に管路網図と移動体２の移動軌跡を示す黒塗り矢印及び移動距離積算値４６が数値３４ｍとして表示される場合を示している。

表示制御部３４は、積算部４０により所定の周期にて求められた移動距離積算値４６が内部バス１１２を介して転送されると、移動距離積算値４６が求められたときの管路内（下水道管６０内）の直視画像を記憶部３３より読み出し内部バス１１２を介して表示部へ転送することにより、第１表示領域９１に検査対象画像である管路内（下水道管６０内）の直視画像を表示させる。また、表示制御部３４は、管路網図を記憶部３３より読み出し、当該管路網図中における移動距離積算値４６に相当する黒塗り矢印を生成し、移動距離積算値４６の数値と共に表示部４２へ内部バス１１２を介して転送することにより、第２表示領域９２に管路網図と移動体２の移動軌跡を示す黒塗り矢印及び移動距離積算値４６の数値３４ｍを重畳して表示させる。
なお、図１５に示す例では、第２表示領域９２に地下に埋設された管路網図と移動体２の移動軌跡を示す黒塗り矢印及び移動距離積算値４６の数値３４ｍを重畳して表示させる一例を示しているが、これに限られるものではない。例えば、管路網図に加え地上の構造物（道路、建物など）を重畳表示する構成としても良い。また、第２表示領域９２に移動距離積算値４６の数値のみを表示する構成としても良い。
また、表示部４２を有する（画像処理装置７が実装された）電子端末４としては、例えば、一般的なモニタを有する計算機、モバイルパソコン、ノートパソコン、タブレット、スマートフォン、或は携帯電話などいずれでもよく、特に限定されるものではない。

現地で実際に使う場合、移動体２の操縦のため作業員は電子端末４の表示画面９０を見ておれない場合や、屋外で周辺が明るすぎるため表示画面９０が良く見えない場合が生じ得る。このような場合は、移動距離（移動距離積算値４６）を音或いは音声などの音声情報としてスピーカから出力する機能を備えることが好ましい。これにより、効率的に作業を進めることができる。

撮像装置５が移動体２に搭載される場合、２枚の画像データ（第１の画像データ１２及び第２の画像データ１０）の撮像時刻には違いがある。その時刻情報を用いて、２枚の画像データを撮像した時間差を求めることができる。第１の画像データ１２を撮像した位置と第２の画像データ１０を撮像した位置の差分７０をこの時間差で除算することで、移動体の移動速度を計算することができる。表示画面９０に、この移動速度も数値或いは図として表示するのが好ましい。
撮像装置５を搭載する移動体２の移動速度が過度に速過ぎると、撮像される画像データにブレが生じ得る。下水道管６０内をモニタするための画像データにブレがあることは望ましくないため、移動体２の移動速度は一定レベル以下とする必要がある。実際に使用する際に、移動体２の速度の情報を知り得ると撮像に有効である。しかし、作業員が移動体２の操縦のため表示画面９０を見ておれない場合や、屋外で周辺が明るすぎるため表示画面９０が良く見えない場合がある。このような場合にも、移動速度を音或いは音声などの音声情報としてスピーカから出力する機能を備えることが好ましい。

さらに、撮像された画像データにブレが生じるレベルの速度に達する、或いはそのレベルの速度に近づくとアラーム音を発報する機能を備えることが好ましい。移動体２が仮に自律移動可能な場合には、上述のようにして得た移動速度に基づき移動体２の移動速度を自動制御しても良い。

移動体は前進するばかりではなく、後退する場合もある。その場合にも撮像装置５や移動体の位置を把握するため、積算部４０ではマイナスの移動距離も加算、すなわち減算できることが望ましい。この際も、数値あるいは図として移動距離積算値４６が出力されることが望ましい。

なお、図１５においては、第１表示領域９１及び第２表示領域９２を異なる領域に配される表示画面９０の例を説明したが、これに限られず、表示画面９０が第１表示領域９１のみを有し、直視画像が表示される第１表示領域９１の例えば右下部に上述の第２の表示領域９２をスーパーインポーズにて表示させる構成としても良い。

図１６は、表示部４２の画面表示例の他の例である。図１６に示すように、表示部４２の表示画面９０は、第１表示領域９１及び第２表示領域９２から構成される。第２表示領域９２には、管路網図と移動体２の移動軌跡を示す黒塗り矢印及び移動距離積算値４６の数値が重畳表示される。この状態で、作業員或いはユーザにより、第２表示領域９２内に表示される移動体２の移動軌跡を示す黒塗り矢印の所望の位置にカーソルが移動されクリックされると、当該クリックにより指定された位置までの移動距離積算値４６が数値として第２表示領域９２に表示される。図１６に示す例では、指定された位置までの移動距離積算値４６が１７ｍである場合を示している。表示制御部３４は記憶部３３に格納される直視画像のうち、指定された位置までの移動距離積算値４６が１７ｍにおける直視画像を読み出すことで、第１表示領域９１に移動距離積算値４６が１７ｍにおける直視画像が表示される。このように、ユーザ或いは作業員は、直視画像により下水道管６０内のひび割れや破損の点検の見落としが仮にあった場合においても、下水道管６０内の所望の位置における直視画像を容易に確認することが可能となる。

なお、本実施例では、画像処理装置７を電子端末４に実装する場合を一例として説明したが、画像処理装置７の一部の機能を移動体２に実装する構成としても良い。この場合、例えば、上述の図２に示した画像処理装置７の機能ブロックのうち、通信Ｉ／Ｆ３１、領域抽出部１４、探索部（マッチング部）２０、位置差分算出部２６、左右内面距離算出部３２、視野角算出部３６、移動距離算出部３８、及び積算部４０を移動体２に実装し、その他を電子端末４に実装すれば良い。また、通信Ｉ／Ｆ３１と、領域抽出部１４、探索部（マッチング部）２０、位置差分算出部２６、左右内面距離算出部３２、視野角算出部３６、移動距離算出部３８、及び積算部４０のうち少なくともいずれか一つを移動体２に実装し、その他を電子端末４に実装することで機能分散させる構成としても良く、機能分散のさせ方は適宜設定すれば良い。
また、本実施例では、第２の画像データ１０中の第１の領域１６及び第２の領域１８を基準とする場合を一例として説明したが必ずしもこれに限られるものではなく、第１の画像データ１２における２つの特定領域を基準として、上述の処理を実行する構成としても良い。

以上の通り、本実施例によれば、ケーブル或いは水平方向の移動距離センサを要することなく、長手方向に延在する管路施設内を検査のために撮像される画像データから移動体の移動距離を取得し得る管路施設内検査システムを提供することが可能となる。
また、本実施例によれば移動体の軽量化が可能となり、電池（バッテテリー）により駆動される移動体の移動時間の減少を防止しつつ移動体に搭載される撮像装置による撮像位置を把握することができる。
さらに、本実施例によれば、移動体の移動速度の情報に基づいてブレの少ない高品質の画像データの撮像が可能となる。

図１７は、本発明の他の実施例に係る実施例２の管路施設内検査システムを構成する画像処理装置の機能ブロック図である。管路施設内検査システム１の全体構成については、実施例１と同様であり、本実施例では管路施設内検査システム１を構成する画像処理装置７ａが後述する内面距離算出部３２ａを有する点が実施例１と異なる。以下では、実施例１と同様の構成要素に同一の符号を付し、実施例１と重複する説明を省略する。
図１７に示すように、本実施例の画像処理装置７ａは、上述の実施例１における左右内面距離算出部３２に代えて内面距離算出部３２ａを有する点に特徴がある。
図１８は、撮像装置２により撮像される直視画像の模式図である。上述の実施例１における図４と比較すると明らかなように、図１８に示される直視画像における長手方向に延在する構造物（管路施設）の継ぎ目５４は、直視画像の水平方向略中央に位置している。
図１９は、撮像された画像データから抽出する第１の領域の位置の一例を示す模式図である。図１９に示すように本実施例では、領域抽出部１４は、特定領域として、第２の画像データ１０から、第２の画像データ１０の第１の領域１６のみを抽出する。すなわち、本実施例では、第２の画像データ１０から抽出される特定領域は１つの領域のみである。

図２０に撮像画像データから抽出する第１の領域１６が、第１の画像データ１２と第２の画像データ１０で異なる位置にあることを示す模式図を示す。探索部（マッチング部）２０は、領域抽出部１４により抽出された第１の領域１６を有する第２の画像データ１０に基づき、上述の実施例１と同様に、第１の画像データ１２の中で、第２の画像データ１０の第１の領域１６がもっとも整合する領域を探索する。図２０に示すように、探索部（マッチング部）２０により、抽出した第１の領域１６が第１の画像データ１２中で対応する領域６２が示されている。図２０の上図に示す第２の画像データ１０の第１の領域１６の位置、及び図２０の下図に示す抽出した第１の領域１６が第１の画像データ１２中で対応する領域６２の位置から成る第１の領域の対応情報２２が、内部バス１１２を介して、位置差分算出部２６及び視野角算出部３６へ転送される。

位置差分算出部２６及び視野角算出部３６については実施例１と同様であるため、ここでは説明を省略する。
図２１は、撮影画像データから抽出する第１の領域１６の位置が、第１の画像データ１２と第２の画像データ１０で異なる位置にあり、それらの偏差を有することを示す模式図である。内面距離算出部３２ａは、図２１に示す第１の領域の位置の偏差２８の値に基づき、長手方向に延在する構造物（管路施設）６０の内面から撮像装置までの距離を計算する。図２２は、第１の画像データ１２と第２の画像データ２０における光学的幾何関係を示す模式図である。図２２に示すように、撮像装置５を搭載する移動体２は、長手方向に延在する構造物（管路施設）６０内の水平方向略中央部を移動することが、第１の画像データを撮像する位置にある撮像装置５６及び第２の画像データを撮像する位置にある撮像装置５８より分かる。点線で示すように、仮想的に第２の領域１８が抽出された場合を想定すると、第１の領域の位置の偏差２８と第２の領域の位置の偏差３０とは等しくなる。従って図２２に示すように、左側内面との距離７２と右側内面との距離７４も当然等しい値となることから、本実施例の内面距離算出部３２ａは、左側内面との距離７２のみを求めることで足りることが分かる。
移動距離算出部３８及び積算部４０並びに表示部４２につても実施例１と同様であるため、ここでは説明を省略する。

以上の通り本実施例によれば、撮像装置により撮像される画像データから１つの特定領域のみを抽出することで、最終的に移動距離積算値を求めることが可能となるため、実施例１の効果に加え、画像処理装置７ａにおける処理負荷を低減することが可能となる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

１…管路施設内検査システム
２…移動体
３…移動体用コントローラー（制御端末）
４…電子端末
５…撮像装置
６…開口部（マンホール）
７，７ａ…画像処理装置
１０…第２の画像データ
１２…第１の画像データ
１４…領域抽出部
１６…第２の画像データの第１の領域
１８…第２の画像データの第２の領域
２０…探索部（マッチング部）
２２…第１の領域の対応情報
２４…第２の領域の対応情報
２６…位置差分算出部
２８…第１の領域の位置の偏差
３０…第２の領域の位置の偏差
３１…通信Ｉ／Ｆ
３２…左右内面距離算出部
３２ａ…内面距離算出部
３３…記憶部
３４…表示制御部
３６…視野角算出部
３８…移動距離算出部
４０…積算部
４２…表示部
４６…移動距離積算値
４８…半視野角
５０…長手方向に延在する構造物（管路施設）の内面の断面寸法
５２…下水
５４…長手方向に延在する構造物（管路施設）の継ぎ目
５６…第１の画像データを撮像する位置にある撮像装置
５８…第２の画像データを撮像する位置にある撮像装置
６０…長手方向に延在する構造物（管路施設）
６２…抽出した第１の領域が第１の画像データ中で対応する領域
６４…抽出した第２の領域が第１の画像データ中で対応する領域
６６…第１の画像データが投影される等価画像平面
６８…第２の画像データが投影される等価画像平面
７０…１の画像データを撮像した位置と第２の画像データを撮像した位置の差分
７２…左側内面との距離
７４…右側内面との距離
７６…焦点距離
７８…画像中心
８０…画像中心からの画素数
８４…撮像装置と第２の画像データの第２の領域までの軸方向の距離
９０…表示画面
９１…第１表示領域
９２…第２表示領域
１１２…内部バス

Claims (8)

1. 撮像装置を搭載し、長手方向に延在する管路施設内を移動する移動体と、
   前記移動体の移動を制御する制御端末と、
   前記撮像装置により撮像される画像データを処理する画像処理装置と、を備え、
   前記画像処理装置は、
   前記管路施設内において長手方向に異なる２地点にて前記撮像装置にて撮像された第１の画像データ及び第２の画像データを取得し、前記第１の画像データ又は第２の画像データの右側に第１の領域を特定領域として抽出し、左側に第２の領域を特定領域として抽出する領域抽出部と、
   抽出された特定領域が、他方の画像データ内で対応する領域を探索する探索部と、
   前記第１の画像データ及び第２の画像データにおける前記第１の領域間の位置の偏差と、前記第２の領域間の位置の偏差を求める位置差分抽出部と、
   抽出された前記第１の領域間の位置の偏差と、前記第２の領域間の位置の偏差に基づき前記管路施設の内面から前記撮像装置までの距離を求める内面距離算出部と、
   前記特定領域の視野角と前記内面から前記撮像装置までの距離に基づき、前記２地点の間の距離を求める移動距離算出部とを有することを特徴とする管路施設内検査システム。
2. 請求項１に記載の管路施設内検査システムにおいて、
   前記画像処理装置は、
   所定の周期にて、前記移動距離算出部により求められる２地点の間の距離を積算し、積算移動距離を求める積算部を有することを特徴とする管路施設内検査システム。
3. 請求項２に記載の管路施設内検査システムにおいて、
   前記画像処理装置は、
   前記積算部により求められた積算移動距離を表示情報及び/又は音声情報として出力する出力装置を備えることを特徴とする管路施設内検査システム。
4. 請求項１に記載の管路施設内検査システムにおいて、
   前記画像処理装置は、前記移動距離算出部により求められる２地点の間の距離を、前記第１の画像データ及び第２の画像データの撮像時刻の差で除算することにより、撮像装置を搭載する前記移動体の移動速度を求める移動速度算出部を備えることを特徴とする管路施設内検査システム。
5. 請求項４に記載の管路施設内検査システムにおいて、
   前記画像処理装置は、
   前記移動速度算出部により求めた前記移動体の移動速度が、所定の値を越えた場合には、警報を表示情報又は音声情報として出力する出力装置を備えることを特徴とする管路施設内検査システム。
6. 請求項２記載の管路施設内検査システムにおいて、
   前記撮像装置を搭載する移動体が前記管路施設内を後退する場合には、前記積算部は２地点の間の移動距離を積算移動距離から減算することを特徴とする管路施設内検査システム。
7. 請求項５に記載の管路施設内検査システムにおいて、
   前記出力装置は表示部を有し、
   前記表示部の表示画面は、前記撮像装置により撮像される前記管路施設内における直視画像を表示する第１表示領域と、少なくとも前記積算部により求められた積算移動距離を表示情報として表示する第２表示領域と、を有することを特徴とする管路施設内検査システム。
8. 請求項７に記載の管路施設内検査システムにおいて、
   前記第２表示領域に、前記積算部により求められた積算移動距離と予め記憶された管路網図を重畳表示することを特徴とする管路施設内検査システム。

Images