JPH11337493A - 画像処理による異常点位置検出システム - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】 ＩＲカメラの分解能の低さを通常のカメラの
画像を用いて十分に補い、路面等の異常を詳細に分析で
きるシステムを提供する。 【解決手段】 所定の相対的位置に設置され、共通な撮
影範囲を含む赤外線カメラ及び通常のカメラと、前記基
準点の位置に基づいて、あおり撮影歪みを持つ通常のカ
メラの第１の画像を正射投影画像に補正変換する第１の
変換パラメータ決定部と、同様に赤外線カメラの第１の
画像。第２の変換パラメータ決定部とからなるキャリブ
レーション部と、前記と異なる相対位置既知点の位置に
基づいて、あおり撮影歪みを持つ通常のカメラの第２の
画像を正射投影画像に補正変換する第３の変換パラメー
タ決定部と、第２及び第３の補正変換パラメータとの差
に基づいて赤外線カメラの第２の画像を正射投影画像に
補正変換する第４の変換パラメータ決定部とで構成され
た画像補正部とからなる画像処理による異常点位置検出
システム。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、赤外線による画像
を処理して異常点位置を検出する画像処理による異常点
位置検出システムに関し、特に可視画像を併用すること
によって、赤外線カメラによる画像を用いて検出した異
常点の位置を容易に特定するための画像処理による異常
点位置検出システム及びその方法に関する。

【０００２】

【従来の技術】従来、路面の異常、例えば地下に埋設さ
れた水道管からの漏水、舗装の亀裂あるいは剥離等を診
断する手段として、路面上の所定の位置に赤外線カメラ
（ＩＲカメラ）で撮影可能な基準物を配置し、該基準物
を画面内に含むようにＩＲカメラで路面の画像を撮影
し、該画像によって検出した路面の温度分布から把握さ
れる路面の異常点位置を前記基準物の位置に基づいて特
定する診断する方法が知られている。

【０００３】また、撮影範囲を重複させて撮影したディ
ジタル画像を用いて、前記重複部分に含まれる点の画像
データに基づいて画像を繋ぎ合わせてパノラマ写真を作
成するソフトウェアが知られている。

【０００４】

【発明が解決しようとする課題】前記従来のＩＲカメラ
を用いた異常点位置検出システムにおいては、ＩＲカメ
ラの検出素子の画素数が数万画素であるためＩＲカメラ
による画像の分解能が低く、前記基準点の画像上の位置
や被検査物上における温度分布の状態が不明確であるた
め、異常箇所や異常状態の詳細な特定・分析が困難であ
った。

【０００５】ＩＲカメラによる画像の分解能の低さを補
う目的で、ＩＲカメラでの撮影と同一箇所を通常のカメ
ラでも撮影することもあるが、夫々のカメラは独立した
ものであり撮影倍率や撮影範囲、あおり撮影による画像
の歪みの状態が異なるため、参考とするに留まり、被検
査物の状態を詳細に分析することはできなかった。ま
た、診断する被検査物全体の状況を把握するために画像
をパノラマ化しようとしても、パノラマ化の基準となる
形状の外形線や相対的位置が既知の点の位置が前記と同
様に明確でないため前記処理が困難であった。

【０００６】そこで、本発明の目的は、ＩＲカメラによ
る画像の分解能の低さを通常のカメラの画像を用いて補
い、被検査物の異常の状態や、その位置を詳細に分析す
ることができる画像処理による異常点位置検出システム
を提供することにある。

【０００７】

【課題を解決するための手段】上記目的を達成するため
の本発明の第１は、所定の相対的位置に設置され、両者
に共通する範囲を含む撮影範囲をあおり角をもって撮影
する赤外線カメラ及び通常のカメラからなる撮影部と、
前記赤外線カメラの画像と通常のカメラの画像とを処理
する処理部とからなり、前記処理部は、前記共通撮影範
囲内の相対的位置が既知の複数の基準点を撮影した前記
赤外線カメラの第１の画像と前記通常のカメラの第１の
画像のうち、前記通常のカメラで撮影された第１の画像
中の前記基準点の位置に基づいて、前記あおり撮影によ
って発生する画像の歪みを持った前記通常のカメラの第
１の画像を正射投影画像に補正変換するための第１の補
正変換パラメータを求める第１の変換パラメータ決定部
と、前記あおり撮影によって発生する画像の歪みを持っ
た前記赤外線カメラで撮影された第１の画像を、前記通
常のカメラでの撮影に基づく画像に基づいて、正射投影
画像に補正変換するための第２の補正変換パラメータを
求める第２の変換パラメータ決定部とからなるキャリブ
レーション部と、前記赤外線カメラと前記通常のカメラ
との前記共通撮影範囲に相対的位置が既知の複数の点を
含むように撮影された前記赤外線カメラの第２の画像と
前記通常のカメラの第２の画像のうち、前記通常のカメ
ラで撮影された第２の画像中の前記相対位置既知点の位
置に基づいて、前記あおり撮影によって発生する画像の
歪みを持った前記通常のカメラの第２の画像を正射投影
画像に補正変換するための第３の補正変換パラメータを
求める第３の変換パラメータ決定部と、前記第２の補正
変換パラメータと前記第３の補正変換パラメータとの差
に基づいて前記赤外線カメラの第２の画像を正射投影画
像に補正変換するための第４の補正変換パラメータを求
める第４の変換パラメータ決定部とで構成される画像補
正部とからなる画像処理による異常点位置検出システム
である。

【０００８】前記第２の補正変換パラメータを求めるに
際して用いる通常のカメラで撮影した画像は、前記あお
り撮影によって発生する画像の歪みを持った画像、ある
いは前記第１の補正変換パラメータによって変換された
正射投影画像とすることができる。また、前記画像補正
部は、前記赤外線カメラの第２の画像を前記第４の補正
変換パラメータによって補正変換し、及び／又は前記通
常のカメラの第２の画像を前記第３の補正変換パラメー
タによって補正変換し、正射影投影画像とする画像変換
部をさらに備えることが好ましい。

【０００９】異常を診断するＩＲカメラの画像が、正射
影投影画像に変換されるので対象物上における異常点の
位置が容易に特定される。更には、通常のカメラの画像
も正射影投影画像に変換し両画像を対比すれば、対象物
上における異常点の位置がさらに容易に特定される。更
に、既知点間の寸法の正射投影画像上の値と実際の寸法
との比を求めることによって、前記異常点の実座標値、
異常箇所の大きさ（長さ、面積など）を知ることもでき
る。

【００１０】上記発明のいずれかにおいて、前記第３の
補正変換パラメータを用いて変換された通常のカメラの
第２の画像の正射投影画像に対して、前記第４の補正変
換パラメータを用いて変換された赤外線カメラの第２の
画像の正射投影画像を前記通常のカメラの第２の画像の
正射投影画像の該当する部分と置換した画像を作成する
画像合成部を更に設けることができる。これによって、
より容易に異常点位置が特定される。

【００１１】上記システムによって路面の異常を診断す
る場合には、センターライン、縁石などの路面上又は路
面の近傍に設けられた構築物を基準点として用いると、
特別な基準点を設置することが不要となるので好まし
い。

【００１２】

【発明の実施の形態】本発明の実施の形態例として、道
路の路面の異常点の位置を検出する画像処理を用いた異
常点位置検出システムを説明する。しかしながら、かか
る実施の形態例が本発明の技術的範囲を限定するもので
はない。本実施の形態例の画像処理を用いた異常点位置
検出システムは、観察対象道路の路面を撮影してその画
像を取得する撮影部と、前記路面の異常点の位置を求め
るために前記取得した画像を処理する処理部とで構成さ
れる。

【００１３】図１は、前記撮影部による路面の撮影状況
の概要を示す図である。路面１０を移動する移動手段２
０にＩＲカメラ３０とディジタルカメラ４０とが設けら
れている。ＩＲカメラ３０とディジタルカメラ４０とは
夫々の撮影範囲の中心がほぼ一致するように各カメラの
位置及び光軸方向が設定されている。ディジタルカメラ
４０の光軸は路面が水平であるとき水平に対して未知の
角度α１下方を向いている。ＩＲカメラ３０の光軸は路
面が水平であるとき水平に対して未知の角度α２下方を
向いている。通常、α１とα２とは一致しない。

【００１４】ＩＲカメラ３０による画像及びディジタル
カメラ４０による画像は夫々ディジタル化された画像情
報として記録される。但し、いずれのカメラによる画像
情報も、フィルムに撮影された画像をフィルムスキャナ
等でディジタル化したものでも良い。本システムでは、
まず所定の基準状態において前記撮影部で位置又は寸法
既知の基準点を撮影し、前記撮影部の各カメラの画像を
夫々正射投影画像に変換する第１及び第２の補正変換パ
ラメータを求めるキャリブレーションを行う。

【００１５】そして、次に異常点位置検出を行う。異常
点位置検出では、ＩＲカメラ３０の画像では必ずしも特
定できないが、ディジタルカメラ４０の画像では特定で
きる位置又は寸法既知の基準点のある路面を任意の状態
で撮影し、該ディジタルカメラ４０の画像を正射投影画
像に変換する第３及の補正変換パラメータを求め、前記
第２の補正変換パラメータに前記第１の補正変換パラメ
ータと前記第３の補正変換パラメータとの差に基づく補
正を加えた第４の補正変換パラメータを求める。

【００１６】そして更に、前記任意の状態で撮影した画
像を前記第３及び／又は第４の補正変換パラメータで補
正変換して所望の画像を得る。前記第１、第２、第３及
び第４の補正変換パラメータを求める第１〜第４の変換
パラメータ決定部、及び前記各カメラで撮影した画像を
前記各補正変換パラメータで補正変換して所望の画像を
得る画像変換部とはパソコンなどで構成された処理部で
行われる。第１〜第４の変換パラメータ決定部及び画像
変換部については後に詳述する。

【００１７】まず最初に、前記キャリブレーションを説
明する。路面１０上の所定の相対的位置に配置した、Ｉ
Ｒカメラ３０の画像によっても位置を明確に特定できる
複数の基準物をＩＲカメラ３０及びディジタルカメラ４
０で撮影する。前記基準物としては、ＩＲカメラ３０の
画素上で複数の画素上にわたる大きさに結像される、例
えば円板や十字形状板を用いることができる。ＩＲカメ
ラ３０の画像を画像処理して円形や十字形状の中心位置
を求めることによって、分解能の低いＩＲカメラ３０の
画像であっても高い精度で基準物の位置を決定すること
ができる。

【００１８】なお、ＩＲカメラ３０の温度分解能は高い
ので、通常路面上に配置された前記基準物を検知するこ
とができるが、要すれば事前に熱する、あるいは冷やす
ことによって容易に検知できるようにしておく。また、
前記基準物は路面上又は路面近傍に設置されている寸法
或いは相対的位置が既知の既存の構築物、例えば道路幅
員の中心を示す道路錨などであっても良い。

【００１９】以下の説明は、前記基準物をほぼ水平な路
面上で所定の寸法の矩形の各頂点に配置した場合を説明
する。図２は、ディジタルカメラ４０で前記基準物を撮
影した画像の状態を説明する説明図である。ディジタル
カメラ４０による路面の撮影はあおり角＝α１をもって
なされる。その結果、撮影された画像は前記あおり角に
よって歪んだ画像となる。

【００２０】即ち、図２において、４１はディジタルカ
メラ４０で撮影された画像４２の大きさ（範囲）を示し
ている。該画像４２に撮影された実際の路面の範囲の平
面形状は一点鎖線４３で示された範囲である。そして該
画像４２中には前記矩形の各頂点に配置された基準物の
画像４４ａ、４４ｂ、４４ｃ、４４ｄが含まれている。
実際には矩形の頂点である基準物の画像４４ａ〜４４
ｄはあおり撮影による画像歪みのために破線で示した台
形４５の頂点の位置となっている。ＩＲカメラ３０で撮
影された画像も、前記あおり角にのためにディジタルカ
メラ４０で撮影された前記画像と同様に歪んだ画像とな
る。

【００２１】図３は、パソコンで構成された処理部１０
０の構成を示す図である。処理部１００は補正変換パラ
メータ決定部１１０及び画像変換部１２０を備えてい
る。補正変換パラメータ決定部１１０は第１の補正変換
パラメータ決定部１１０Ａ、第２の補正変換パラメータ
決定部１１０Ｂ、第３の補正変換パラメータ決定部１１
０Ｃ、第４の補正変換パラメータ決定部１１０Ｄからな
る。

【００２２】第１の補正変換パラメータ決定部１１０Ａ
と第２の補正変換パラメータ決定部１１０Ｂとはキャリ
ブレーション部を構成する。第３の補正変換パラメータ
決定部１１０Ｃと第４の補正変換パラメータ決定部１１
０Ｄと画像変換部１２０とは画像補正部を構成する。処
理部１００は、補正変換パラメータ決定部１１０で求め
た補正変換パラメータなどを記憶するメモリ１３０を備
えている。

【００２３】ここで、ディジタルカメラ４０による画像
４２の画像情報を第１の補正変換パラメータ決定部１１
０Ａに読み込み、ソフトウェアによって前記あおり撮影
歪みを補正するための第１の補正変換パラメータを求め
る。前記あおり撮影歪みの補正の原理を図４によって説
明する。図４は前記矩形の頂点に配置された基準物を撮
影した画像であり、前記基準物は前記あおり撮影歪によ
って台形の頂点４４ａ〜４４ｄに位置した画像となって
いる。同図において、図２と同じものには同一の符号を
付して説明を簡略にする。

【００２４】前記のように、基準物の点を結んだ実際の
形状は寸法既知（例えばＡ＊Ｂcm）の矩形である。そこ
で、台形４４の各頂点４４ａ〜４４ｄに対応する点４４
ａ１〜４４ｄ１が、点４４ａ、４４ｂを通る辺４４ａｂ
の垂直線上で、４４ａｂ：４４ｂｃ１＝Ａ：Ｂとなるよ
うに変換する第１の補正変換パラメータを求める。ここ
では、補正変換後の４４ａ１、４４ｂ１が夫々４４ａ、
４４ｂに一致するようにした。前記の如く変換された点
を結んだ矩形４４ａ１−４４ｂ１−４４ｃ１−４４ｄ１
は、基準物の点を結んだ矩形と相似な形状であり、基準
点を結んだ形状の縮小された正射投影図形である。

【００２５】なお、前記第１の補正変換パラメータは、
４４ａｂ：４４ｂｃ１＝Ａ：Ｂ＊Ｍとなるように決定し
ても良い。但し、Ｍは一方向、ここではセンターライン
の長手方向のみに適用される縮尺を示す任意の定数であ
る。即ち、第１の補正変換パラメータは、ディジタルカ
メラ４０の画像のあおり撮影歪みを補正して正射投影画
像に変換する補正変換パラメータである。

【００２６】次に、ＩＲカメラ３０による画像を処理部
１００の第２の補正変換パラメータ決定部１１０Ｂに読
み込み、ＩＲカメラ３０による画像の基準点の位置がデ
ィジタルカメラ４０による画像の基準点の位置と一致す
るようにＩＲカメラによる画像を変換する第２の補正変
換パラメータを決定する。この際、ディジタルカメラ４
０による画像として、前記補正変換前の画像又は前記補
正変換後の画像を用いることができる。前記補正変換後
の画像は画像変換部１２０によって前記ディジタルカメ
ラの画像を第１の補正変換パラメータで補正変換して求
める。前記補正変換前の画像を用いて求めた第２の補正
変換パラメータは、ＩＲカメラ３０の画像をディジタル
カメラ４０による画像と同じ画像歪みをもつ画像に変換
する補正変換パラメータである。この画像を更に前記第
１の補正変換パラメータを用いて変換すればディジタル
カメラ４０の画像と同一の縮尺の正射投影画像が得られ
る。

【００２７】前記補正変換後の画像を用いて求めた第２
の補正変換パラメータは、ＩＲカメラ３０の画像をディ
ジタルカメラ４０の画像と同一の縮尺の正射投影画像に
変換する補正変換パラメータである。もし、ＩＲカメラ
３０とディジタルカメラ４０とが光軸周りに相対的に回
転した状態に設置されており、その結果、ＩＲカメラ３
０による画像がディジタルカメラ４０による画像に対し
て回転したものとなっていても前記のように第２の補正
変換パラメータを決定することによって回転関係は解消
される。

【００２８】そして、前記第１の補正変換パラメータ及
び第２の補正変換パラメータはパソコンのメモリに記憶
される。なお、ＩＲカメラ３０とディジタルカメラ４０
とが近接して設置されており、両者の画像歪みの差が小
さい場合には、ディジタルカメラの画像に基づいて求め
た前記第１の補正変換パラメータをそのまま第２の補正
変換パラメータとしても良い。ＩＲカメラ３０の光軸と
ディジタルカメラ４０の光軸とが平行になるように設置
されている場合も同様である。

【００２９】次に、異常点位置検出を説明する。異常点
位置検出では、異常の有無、状態を検出すべき対象を前
記移動手段２０に設けられたＩＲカメラ３０及びディジ
タルカメラ４０で撮影する。この場合、ＩＲカメラ３０
で特定できる位置又は寸法既知の基準物は必ずしも必要
なく、ディジタルカメラ４０で特定できる位置又は寸法
既知の基準物があれば良い。ディジタルカメラ４０は可
視画像であり、画素数１００万画素を超える高精細な画
像の得られるものが市販されており、ＩＲカメラ３０で
はとらえることことができないがディジタルカメラ４０
ではとらえることができる前記基準物を容易に選択する
ことができる。

【００３０】以下、例として路面のセンターラインを前
記基準物として含む路面の異常点位置を検出する場合に
ついて説明する。なお、ＩＲカメラ３０とディジタルカ
メラ４０とは連動させて同時に撮影することが望まし
く、特に移動手段２０を連続的に移動させつつ撮影する
場合にはそのようにすることが望ましい。移動手段２０
全体の姿勢が場所による路面状態の違いによってＩＲカ
メラ３０による撮影時とディジタルカメラ４０での撮影
時で異なることの影響を除くためである。

【００３１】図５（ａ）はディジタルカメラ４０による
センターラインを含む路面の撮影画像である。センター
ラインの画像５０は前記あおり撮影による画像歪みのた
めに台形となっている。ところで、センターラインは例
えば線幅＊長さ＝１０ｃｍ＊２０００ｃｍの矩形と既知
である。そこで、前記キャリブレーションで行ったと同
様にして台形に歪んだセンターラインの画像５０を実際
のセンターラインの形状と相似な矩形の画像に変換する
第３の補正変換パラメータを補正変換パラメータ決定部
１１０Ｃで求める。

【００３２】この第３の補正変換パラメータは、前記第
１の補正変換パラメータと一般に一致しない。キャリブ
レーションのための撮影を行った状態とは、路面の起伏
などのために例えばあおり角や撮影距離、基準物の対す
るカメラの光軸周りの姿勢などが異なり、基準物への撮
影方向も異なるからである。図５（ｂ）の５１は図５
（ａ）とは異なる撮影方向から撮影したセンターライン
の画像であり、台形が歪んだ形状となっている。前記第
３の補正変換パラメータには、前記撮影方向が異なるた
めの画像歪みの違いも補正するものである。

【００３３】そして、第３の補正変換パラメータ決定部
１１０Ｃは、前記第１の補正変換パラメータと前記第３
の補正変換パラメータとの差異を求め、第４の補正変換
パラメータ決定部１１０Ｄと画像変換部１２０とに出力
する。そして、第４の補正変換パラメータ決定部１１０
Ｄは、前記第２の変換パラメータに前記第３の補正変換
パラメータ決定部１１０Ｃからの前記差異に基づく修正
を加え第４の補正変換パラメータを求め、画像変換部１
２０に出力する。このようにして求めた第４の補正変換
パラメータは、ＩＲカメラ３０による異常点位置検出の
ための画像を正射投影画像に変換する変換パラメータで
ある。

【００３４】そして、画像変換部１２０は、ディジタル
カメラ４０で撮影した路面の画像を前記第３の補正変換
パラメータによって変換して、異常点位置を検出すべき
路面のディジタルカメラ４０の画像の正射投影画像を求
める。同様に、ＩＲカメラ３０で撮影した路面の画像を
前記第４の補正変換パラメータによって変換して、異常
点位置を検出すべき路面のＩＲカメラ３０の画像の正射
投影画像を求める。このようにして求めた二つの正射投
影画像は、対応する点同士を互い重ね合わせることがで
きる画像である。

【００３５】なお、異常点位置検出用画像の撮影時の状
態がキャリブレーション時の状態とほぼ同じであれば、
第３、第４の補正変換パラメータを求めることなく、Ｉ
Ｒカメラの診断撮影画像に第２の補正変換パラメータを
適用しても良い。ＩＲカメラ３０で撮影された画像とデ
ィジタルカメラ４０で撮影された画像とを対応させるこ
とは、前記ＩＲカメラ３０での画像の解像度の低さに加
えて、前記あおり角の差（α１−α２）に基づく画像歪
みの差、各カメラの撮影レンズの焦点距離の差に基づく
撮影倍率の差、各カメラの撮像素子の大きさの差に基づ
く画像の大きさの差があるので困難である。

【００３６】しかしながら、正射投影画像に変換された
前記二つの画像は、前記した如く対応する点同士を互い
重ね合わせることができる画像であるから、両者の画像
を対比させることによって、ＩＲカメラ３０による画像
によって発見した路面の異常箇所を、容易に路面上に特
定することができる。さらに、ＩＲカメラ３０による画
像を補正変換した画像をディジタルカメラ４０による画
像を補正変換した画像の該当する位置にはめ込み合成す
ることができる。さらに又、撮影範囲の一部が重複した
複数の画像からパノラマ画像を作成することもできる。
かかる処理は前記パソコンを画像合成部として用いるこ
とによって実現される。このようにすれば異常点を検出
すべき対象の全体像の把握、図面との対比を容易に行う
ことができ上記特定作業がより容易となる。

【００３７】なお、これまでに説明した補正変換パラメ
ータを用いた補正変換は、いずれも一種の座標変換であ
り、そのアルゴリズムは知られたものである。次に、処
理部１００で行うキャリブレーション、補正変換パラメ
ータ決定、画像変換の処理の手順を、キャリブレーショ
ンの手順を示す図６、及び異常点位置検出の手順を示す
図７のフロチャートによって説明する。図６において、
キャリブレーションの処理が開始されると、前記キャリ
ブレーション用基準点を含むディジタルカメラ４０の画
像が第１の補正変換パラメータ決定部１１０Ａに読み込
まれ、表示される（ステップ１１）。そこで、表示され
た画面上での基準点の位置の指示と実際の寸法の入力を
行う（ステップ１２）。すると、第１の補正変換パラメ
ータ決定部１１０Ａは指示された基準点間の寸法を入力
された寸法に該当させる第１の補正変換パラメータを算
出する（ステップ１３）。

【００３８】そして次に、前記キャリブレーション用基
準点を含むＩＲカメラ３０の画像が第２の変換パラメー
タ決定部１１０Ｂに読み込まれ、表示される（ステップ
１４）。そこで、表示された画面上での基準点の位置を
指示する（ステップ１５）。更に、基準とするディジタ
ルカメラの画像の種類、即ちあおり撮影による画像歪み
のある画像か、正射投影画像に変換後の画像かを指示す
る（ステップ１６）。

【００３９】すると、第２の補正変換パラメータ決定部
１１０Ｂはステップ１５で指示された基準点の位置がス
テップ１６で指示された画像中の基準点の位置に該当す
るように第２の補正変換パラメータを算出して（ステッ
プ１７）、第１及び第２の補正変換パラメータをメモリ
に記憶して（ステップ１８）、キャリブレーション処理
を終了する。

【００４０】図７において、異常点位置検出処理が開始
されると、異常点位置を検出すべき対象物を撮影したデ
ィジタルカメラ４０の画像が第３の補正変換パラメータ
決定部１１０Ｃに読み込まれ、表示される（ステップ２
１）。そこで、表示された画面上での基準点の位置の指
示と実際の寸法の入力を行う（ステップ２２）。する
と、第３の補正変換パラメータ決定部１１０Ｃは指示さ
れた基準点間の寸法が入力された寸法に該当させる第３
の補正変換パラメータを算出する（ステップ２３）。そ
して、メモリから読み出した第１の補正変換パラメータ
とステップ２３で求めた第３の補正変換パラメータとの
差異を求める（ステップ２４）。

【００４１】次いで、第４の補正変換パラメータ決定部
１１０Ｄはメモリから第２の補正変換パラメータを読み
出し、ステップ２４で求めた補正変換パラメータの差異
に基づいて第２の補正変換パラメータを補正し、第４の
補正変換パラメータを求める（ステップ２５）。そし
て、画像変換部１２０は、前記異常点位置検出対象物を
撮影したディジタルカメラの画像及び／又はＩＲカメラ
の画像を第３及び／又は第４の補正変換パラメータで補
正変換して正射投影画像を求め、表示し（ステップ２
６）、さらに、要すればステップ２６で求めたディジタ
ルカメラの画像及び／又はＩＲカメラの画像に基づく正
射投影画像を用いて、はめ込み合成やパノラマ合成処理
を行い（ステップ２７）、異常点位置検出処理を終了す
る。

【００４２】本発明の適用分野は、奥行き方向に広がる
対象物、例えば路面状態の観察・分析に限定されるもの
ではなく、カメラに対向する平面状対象物、例えば橋脚
やビルの壁面及び窓枠、プラント等の構築物などの平面
部分に適用することができる。

【００４３】

【発明の効果】本発明のよれば、ＩＲカメラによる画像
の分解能の低さを通常のカメラの画像を用いて十分に補
い、路面等の異常を詳細に分析可能な画像を得ることが
できる。その結果、路面等の異常状態を詳細に把握する
こと、異常箇所を特定すること等路面等の状態の分析を
容易に行うことができる。

【図面の簡単な説明】

【図１】本発明の実施の形態例の画像撮影部による路面
の撮影状況の概要を示す図。

【図２】図１のディジタルカメラで撮影された画像の状
態を説明する説明図。

【図３】本発明の実施の形態例の処理部の構成を示す概
略構成図。

【図４】あおり撮影歪みの補正方法の原理を説明する説
明図。

【図５】異常点位置検出用画像の一例としての、センタ
ーラインを含む路面の画像。

【図６】キャリブレーション処理の手順を示したフロー
チャート。

【図７】異常点位置検出処理の手順を示したフローチャ
ート。

【符号の説明】

３０………………………ＩＲカメラ ４０………………………ディジタルカメラ ４４ａ〜４４ｄ…………キャリブレーションにおける基
準点の画像 ４４ａ１〜４４ｄ１……補正変換された正射投影画像に
おける基準点の位置 ５０、５１………………センターラインの画像 １００……………………処理部 １１０……………………補正変換パラメータ決定部 １２０……………………画像変換部 １３０……………………メモリ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 ＦＩ Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｅ Ｋ // Ｅ０１Ｃ 23/01 Ｅ０１Ｃ 23/01

Claims (7)

【特許請求の範囲】
1. 【請求項１】 所定の相対的位置に設置され、両者に共
   通する範囲を含む撮影範囲をあおり角をもって撮影する
   赤外線カメラ及び通常のカメラからなる撮影部と、 前記赤外線カメラの画像と通常のカメラの画像とを処理
   する処理部とからなり、 前記処理部は、前記共通撮影
   範囲内の相対的位置が既知の複数の基準点を撮影した前
   記赤外線カメラの第１の画像と前記通常のカメラの第１
   の画像のうち、前記通常のカメラで撮影された第１の画
   像中の前記基準点の位置に基づいて、前記あおり撮影に
   よって発生する画像の歪みを持った前記通常のカメラの
   第１の画像を正射投影画像に補正変換するための第１の
   補正変換パラメータを求める第１の変換パラメータ決定
   部と、前記あおり撮影によって発生する画像の歪みを持
   った前記赤外線カメラで撮影された第１の画像を、前記
   通常のカメラでの撮影に基づく画像に基づいて、正射投
   影画像に補正変換するための第２の補正変換パラメータ
   を求める第２の変換パラメータ決定部とからなるキャリ
   ブレーション部と、前記赤外線カメラと前記通常のカメ
   ラとの前記共通撮影範囲に相対的位置が既知の複数の点
   を含むように撮影された前記赤外線カメラの第２の画像
   と前記通常のカメラの第２の画像のうち、前記通常のカ
   メラで撮影された第２の画像中の前記相対位置既知点の
   位置に基づいて、前記あおり撮影によって発生する画像
   の歪みを持った前記通常のカメラの第２の画像を正射投
   影画像に補正変換するための第３の補正変換パラメータ
   を求める第３の変換パラメータ決定部と、前記第２の補
   正変換パラメータと前記第３の補正変換パラメータとの
   差に基づいて前記赤外線カメラの第２の画像を正射投影
   画像に補正変換するための第４の補正変換パラメータを
   求める第４の変換パラメータ決定部とで構成された画像
   補正部とからなることを特徴とする画像処理による異常
   点位置検出システム。
2. 【請求項２】 請求項１において、 前記キャリブレーション部が前記第２の補正変換パラメ
   ータを求めるに際して用いる通常のカメラでの撮影に基
   づく画像は、前記あおり撮影によって発生する画像の歪
   みを持った画像であることを特徴とする画像処理による
   異常点位置検出システム。
3. 【請求項３】 請求項１において、 前記キャリブレーション部が前記第２の補正変換パラメ
   ータを求めるに際して用いる通常のカメラでの撮影に基
   づく画像は、前記第１の補正変換パラメータによって変
   換された正射投影画像であることを特徴とする画像処理
   による異常点位置検出システム。
4. 【請求項４】 請求項１〜請求項３において、 前記画像補正部は、前記赤外線カメラの第２の画像を前
   記第４の補正変換パラメータによって補正変換し、及び
   ／又は前記通常のカメラの第２の画像を前記第３の補正
   変換パラメータによって補正変換し、正射影投影画像と
   する画像変換部をさらに備えることを特徴とする画像処
   理による異常点位置検出システム。
5. 【請求項５】 請求項１〜請求項４において、 前記第３の補正変換パラメータを用いて変換された通常
   のカメラの第２の画像の正射投影画像に対して、前記第
   ４の補正変換パラメータを用いて変換された赤外線カメ
   ラの第２の画像の正射投影画像を前記通常のカメラの第
   ２の画像の正射投影画像の該当する部分と置換した画像
   を作成する画像合成部を更に設けたことを特徴とする画
   像処理による異常点位置検出システム。
6. 【請求項６】 請求項１〜請求項５において、 前記相対的位置が既知の複数の基準点は、路面上に又は
   路面に隣接して設けられた構築物であることを特徴とす
   る画像処理による異常点位置検出システム。
7. 【請求項７】 所定の相対的位置に設置され、両者に共
   通する範囲を含む撮影範囲をあおり角をもって撮影する
   赤外線カメラ及び通常のカメラからなる撮影部によっ
   て、前記共通撮影範囲内の相対的位置が既知の複数の基
   準点を前記赤外線カメラの第１の画像と前記通常のカメ
   ラの第１の画像として撮影するステップと、 前記通常のカメラで撮影された第１の画像中の前記基準
   点の位置に基づいて、前記あおり撮影によって発生する
   画像の歪みを持った前記通常のカメラで撮影された第１
   の画像を正射投影画像に補正変換するための第１の補正
   変換パラメータを求める第１の変換パラメータ決定ステ
   ップと、 前記あおり撮影によって発生する画像の歪みを持った前
   記赤外線カメラで撮影された第１の画像を、前記通常の
   カメラでの撮影に基づく画像に基づいて、正射投影画像
   に補正変換するための第２の補正変換パラメータを求め
   る第２の変換パラメータ決定ステップと、 前記撮影部の前記赤外線カメラと前記通常のカメラとの
   前記共通撮影範囲に相対的位置が既知の複数の点を含む
   ように前記赤外線カメラの第２の画像と前記通常のカメ
   ラの第２の画像を撮影するステップと、 前記通常のカメラで撮影された第２の画像中の前記相対
   位置既知点の位置に基づいて、前記あおり撮影によって
   発生する画像の歪みを持った前記通常のカメラの第２の
   画像を正射投影画像に補正変換するための第３の補正変
   換パラメータを求める第３の変換パラメータ決定ステッ
   プと、 前記第２の補正変換パラメータと前記第３の補正変換パ
   ラメータとの差に基づいて前記赤外線カメラの第２の画
   像を正射投影画像に補正変換するための第４の補正変換
   パラメータを求める第４の変換パラメータ決定ステップ
   とからなることを特徴とする画像処理による異常点位置
   検出方法。