JP5097480B2

JP5097480B2 - 画像測定装置

Info

Publication number: JP5097480B2
Application number: JP2007222002A
Authority: JP
Inventors: 伸夫高地; 哲治穴井; 仁志大谷
Original assignee: Topcon Corp
Current assignee: Topcon Corp
Priority date: 2007-08-29
Filing date: 2007-08-29
Publication date: 2012-12-12
Anticipated expiration: 2027-08-29
Also published as: JP2009053126A; US8300986B2; EP2031558A2; EP2031558A3; US20090245653A1

Description

本発明は、画像測定装置に係り、特に、遠方にある計測対象物を詳細にかつ精度よく三次元計測する画像測定装置に関する。

従来は、例えば、クラックなどのひび割れを計測したい場合に、定規のような道具（クラックスケール）をひび割れ部分にあてて幅を測定し、その形状を鉛筆で紙にスケッチする方法で行われていた。
しかしながら、このような定規を用いる方法は、煙突や外壁など高所での調査の場合、足場が必要となり、さらに計測結果が手書きによるスケッチであるため、測定誤差が生じる。
一方、近年では、ノンプリズム・トータルステーションを利用した計測法が開発されているが、この方法だと計測データと座標を同時取得し、さらに三次元での記録を保存することが可能である。なお、例えば、距離測定装置と角度測定装置等を一体化した測定装置をトータルステーションと呼ぶ。これによれば、例えば１ｍ〜３５０ｍと離れた場所から、立ち入れない場所や手の届かない場所などでも安全に計測できるという利点がある。
また、特許文献１には、画像図面（オルソ画像）を現地にてリアルタイムで確認しながら簡単に作成することができる画像形成装置が記載されている。また、特許文献２には、通常のカメラで三次元計測する際に、安定して、信頼性が高く、かつ精度良いステレオ画像を容易に取得することができるステレオ画像撮影システムが記載されている。
特開２０００−２９２１６６号公報特開２００２−１０２９７号公報

しかしながらノンプリズム・トータルステーションを利用した計測の場合、その距離や機器の性能によって、クラックなどの特徴点の計測ができない場合がある。例えば、クラックの幅は、通常コンクリートのひび割れの場合、漏水の関係から、０．２ｍｍ以上を抽出する必要があるが、現状では、例えば、望遠鏡の倍率の関係で３０ｍまでしか離れられない。橋梁や災害現場など、トータルステーション設置場所の問題から３０ｍ以上から計測したい場合も多いが、その場合、所望の分解能が得られなくなることがある。
また、クラックなどその特徴を計測したい場合、あらかじめ現地調査にて、計測したい場所を決めておき、トータルステーションをマニュアル操作によって計測したい場所を視準しながら対象物を詳細に順番に見ていく、という作業が必要である。そのため、時間と手間が膨大にかかる、といった課題がある。特に高倍率で計測する場合は、視準範囲が狭くなるため、観察する量が増大し効率化を妨げる。
従って、望遠鏡の倍率を上げたものや高解像度のカメラを利用するという方法も考えられるが、例えば距離が１ｍから３５０ｍと広い範囲を一律０．２ｍｍ以上で分解するというのは、機器側の製作において構造的にもコスト的にもあまり得策でなく、また、遠方から狭い範囲をマニュアルにて視準していくのは作業量として大変困難なものである。
ここではクラック計測を例にあげているが、クラック以外でもその壁面の状態で計測したい場合や、マーキング等してある場所などの計測やそれら経時変化の測定でも同様である。
本発明は、以上の点に鑑み、たとえ計測対象物が遠距離であってもその詳細な特徴を精度よく簡便に測定できる画像測定装置を提供することを目的とする。

本発明の第１の解決手段によると、
測定対象物を、撮像エリアを微動させながら撮影した複数の第１画像を取得するための測定処理部と、
上記測定処理部により取得された第１画像から対象物の概略特徴部分を抽出する特徴抽出処理部と、
上記特徴抽出処理部で抽出された概略特徴部分近傍で、上記測定処理部で取得された複数の第１画像をグループ化することで複数の第１部分画像を形成する部分画像形成処理部と、
上記部分画像形成処理部により形成された複数の第１部分画像から超解像画像を形成する超解像画像形成処理部と
を備え、
上記特徴抽出処理部は、超解像画像から詳細特徴部分を抽出するように構成されていることを特徴とする画像測定装置が提供される。
また、本発明の第２の解決手段によると、
測定対象物を低倍率で撮影した第１画像を取得するための測定処理部と、
上記測定処理部により取得された第１画像から対象物の概略特徴部分を抽出する特徴抽出処理部と、
上記特徴抽出処理部で抽出された概略特徴部分近傍で、概略特徴部分を含む撮像エリアを微動させながら第１画像よりも高い倍率で撮影された複数の第２画像から超解像画像を形成する超解像画像形成処理部と
を備え、
上記特徴抽出処理部は、超解像画像から詳細特徴部分を抽出するように構成されていることを特徴とする画像測定装置が提供される。

本発明によれば、遠方からでも高精細にしかも自動で特徴点の三次元計測を行い図面化することが可能になるといった卓越した効果がある。

１．装置構成
図１に、画像測定のための説明図を示す。図中、計測装置が撮影する計測対象の全計測エリア（パノラマ）と詳細計測エリアが示される。
図１４に、画像測定システムの構成図を示す。
画像測定システムは、計測装置２０と画像測定装置１０を備える。
計測装置２０は、画像を取得する画像取得部２１、及び、距離と角度を測定（三次元計測でもよい）する（三次元）距離角度測定部２２を備える。これらは、モータードライブにて画像を取得、距離及び角度を測定する。一体型の場合は、画像取得と距離及び角度測定を同時に行える。
画像測定装置１０は、画像測定処理を実行するためのＣＰＵ１、適宜のデータの設定や指示等を入力するための入力部３、取得画像、測定結果、処理結果等を出力するための出力部２、各種設定値、入力データ、出力データ、中間データ等を適宜のタイミングで、又は、必要に応じて適宜書込み及び読み出すための記憶部４を備える。ＣＰＵ１は、各種処理・全体的な処理を実行するとともに、パノラマ画像形成部１１、オルソ画像形成部１２、測定処理部１３、特徴抽出処理部１４、部分画像形成処理部１５、超解像画像形成処理部１６を有する。
パノラマ画像を形成するパノラマ画像形成部１１は、画像取得部２１からの複数の画像データをパノラマ画像に変換するものであるが、別のパノラマカメラから画像を取得、入力するという構成にしてもよい。
オルソ画像（正射投影画像）を形成するオルソ画像形成部１２は、距離角度測定部２２より得られた距離（三次元）情報により、取得された画像をオルソ（正射投影）画像化するもので、計測点の数によりその精度が異なるが、計測点と画像上での対応付けが最低４点以上から、この画像を作成できる。密なほど比高歪みが補正されるので精度がよい。また、複数画像で処理する場合、これを合成してパノラマ画像としてもよい。この場合、点の密度が高ければより正確なパノラマ・オルソ画像が作成できる。
なお、オルソ画像の詳細については、後述する（６−１．参照）。

測定処理部１３は、計測装置２０の画像取得部２１を用いて画像を取得し、距離角度測定部２２を用いて距離及び角度等を測定する処理を実行する。
画像から特徴を抽出する特徴抽出処理部１４は、これら画像から特徴を抽出する処理を実行する。例えば、エッジであれば、画像処理にてエッジを抽出したり、特徴点であれば、その特徴のものをテンプレートとしてテンプレートマッチングしてもよい。
部分画像形成処理部１５は、特徴抽出処理部１４で抽出された概略特徴部分の近傍の部分画像を複数形成する処理を実行する。
超解像画像形成処理部１６は、画像取得部２１を微動させることにより複数画像を取得し、それら画像から超解像画像を作成する処理を実行する。画像の微動には、モータードライブを利用し精密に微動させたり、ピエゾ素子に画像センサを取り付けて微動したりする。

図６は、計測装置の構成例を示す図である。
計測対象物を計測する計測装置２０は、例えば、以下の構成（ｉ）〜（ｉｖ）がある。
（ｉ）トータルステーション（以下ＴＳという。）とデジタルカメラが一体となったもの（（図６（ａ）：画像ＴＳ）、ＴＳにデジタルカメラを搭載したもの（ＴＳにカメラを取り付け、カメラの位置とＴＳの光軸位置をキャリブレーションしたもの：（図６（ｂ）））。これらは、モーター駆動しＴＳとデジタルカメラが一体となって動く。
（ｉｉ）レーザスキャナーとデジタルカメラが一体となったもの、レーザスキャナーにデジタルカメラを搭載したもの、でモーター駆動し一体となって動く（形態は図６（ａ）（ｂ）と同じ）。
（ｉｉｉ）パノラマカメラ単体、もしくは、パノラマカメラで撮影したパノラマ画像をスキャナに読み取らせる、市販のデジタルカメラで複数枚撮影したものから市販あるいは付属ソフトでパノラマ画像を作成し読み取らせる。あるいは魚眼レンズをつけてパノラマ画像を取得する。パノラマカメラとは、光学的に広視野を得るものや（全方位カメラ：ｈｔｔｐ：／／ｗｗｗ２．ｓｈａｒｐ．ｃｏ．ｊｐ／ｄｏｃｓ１／ｓｓｃ／ｐｒｏｄｕｃｔｓ／ａｌｌ＿ｄｉｒｅｃ．ｈｔｍｌ）、本体のカメラヘッドを動かしながら自動でパノラマ画像を取得する据え置き型の装置などがあり、特に後者は、エリアセンサタイプだけでなくラインセンサタイプもあり駆動は高精度に行うことが可能である（ｈｔｔｐ：／／ｐｅｎｃｉｌ−ｊｐ．ｎｅｔ／ｗｅｂｌｏｇ／ａｒｃｈｉｖｅｓ／０１０００ｈａｒｄｗａｒｅ＿ｆｏｒ＿ｑｔｖｒ／０１０７０ｌｉｎｅ＿ｓｃａｎ＿ｃｃｄ／）。
もちろん市販の産業用デジタルカメラ（ＣＣＤカメラ）などをモーターで駆動してもよい（図６（ｃ））。
（ｉｖ）レーザスキャナー単体、単体のみでも、本体で輝度画像や距離画像が同時に取得可能である。しかしながら、輝度画像は、それ専用用途ではないため、通常は、市販のデジタルカメラと比較しても画質が相当劣化したものとなる。
なお、トータルステーション及びレーザスキャナーの原理の詳細については後述する（６−２．参照）。

２．画像測定（第１の実施の形態）
以下、本発明の第一実施の形態について説明する。
この場合、計測装置２０の機器構成としては、上述の構成（ｉ）又は（ｉｉ）とする。すなわち、計測装置２０は、画像取得が可能でかつ距離及び角度の測定部もハードウェアとして持っている。
計測を行う前処理として、特徴抽出処理部１４の抽出範囲を対象物の全範囲と設定しない場合は、抽出範囲を指定する必要がある。指定する場合、現況調査にて、計測を詳細にする場所をある程度決めておく必要がある。経時変化等みるときは、特徴抽出処理する範囲の近辺をマーキングしたり、その位置がわかるようにターゲットなどを貼ってもよい。このようにしておけば、特に経時変化を観測する場合は自動化が可能である。あるいは、一度計測しておいた場所を基準座標系にして、いつもその位置を計測できるようにしておいても自動化が可能である。また、最初に全範囲として計測する場合、次回からその位置を覚えておくことで効率化をはかってもよい。なお、当然、毎回全範囲を計測することでもよい。

図１５は、画像測定の第１の実施の形態（高倍系なし）のフローチャート、図２は、全範囲のメッシュ化についての説明図、図３は、メッシュ内の測定点についての説明図、図４は、パノラマ画像作成についての説明図、図５は、部分画像作成についての説明図、図１０は、マーカーを付与した場合のテンプレートマッチングの説明図である。

以下、例えば、レンズの倍率は一つの場合の対応に関して、各ステップの処理を説明する。
‐Ｓ１０
ＣＰＵ１は、測定処理部１３により、計測装置２０の画像取得部２１で計測する画像取得（計測）範囲を設定する。測定処理部１３は計測範囲が全範囲のときは全範囲を、計測範囲が全体を必要としない場合で、局所ごとの観測でよい場合は、それら画像を個々に取得する。測定処理部１３は、計測装置２０の画像取得部２２を用いて、例えば、全範囲の場合は、図２にあるように、全範囲をメッシュ状にして、各箇所（位置）について画像を取得しスキャンする。
‐Ｓ２０
次に、ＣＰＵ１は、測定処理部１３により、その範囲内の画像について、微動しながら画像を取得し、記憶部４にそれら画像を記憶する。測定処理部１３は、画像取得部２１を用いて、画像個々を取得する際に、そのエリアにつき超解像処理を行うため、画像を微動させながら画像を複数取得する。従って、測定処理部１３は、複数の位置（箇所：例えばメッシュの各位置）で取得する場合は、それぞれの位置において微動画像をさらに複数取得する。微動量は、駆動した水平方向、垂直方向の角度と撮影距離から計算できる。従って、所望の分解能としたい場合の量をふるなどする。ここで、微動とは、例えば、受光素子の画素分ぴったりでなく、ずれが出る状態であれば、１画素分ない又は数画素程度ずれるものでもよい。
‐Ｓ３０
ＣＰＵ１は、測定処理部１３により、計測装置２０の距離角度測定部２２を用いて、さらにその画像取得位置につき距離角度（三次元）測定を行い、測定結果を記憶部４に記憶する。この測定は、微動画像についても行ってもよいが、その中心となる画像一つについての測定でもよい。この場合の計測点は、個々の位置（箇所）の画像につき、図３（ａ）（ｂ）（ｃ）のように、範囲内に一つ、あるいは、周囲に４箇所以上、などとする。レーザスキャナーの場合は、密に点群を取得するほうが得意なので、最初から図３（ｃ）のように高密度にとってかまわない。全範囲を行う場合は、図４のように各画像がオーバーラップし、オーバーラップ部に距離角度測定部２２により計測する点が入るようにする。
全範囲を必要とせず、局所での観測や、重点をおいた箇所の測定だけとするときは、測定処理部１３は、その分だけＳ２０とＳ３０を繰り返す。一方、全範囲取得する場合は、測定処理部１３は、ステップＳ２０、Ｓ３０を全範囲終わるまで繰り返す。全範囲とするか否かは、記憶部４に予め記憶されたデータやデフォルト値又は入力部３等により設定することができる。
‐Ｓ４０
次に、ＣＰＵ１はオルソ画像形成部１２により、取得した画像についてオルソ画像を作成し、記憶部４に記憶する。この場合、距離角度測定部２２で計測した点が多ければ、作成されるオルソ画像（正射投影画像）の精度はよいものとなるが、少なければ概略のものとなる。
なお、オルソ画像の詳細については、航空写真の例をあげて、後述する（６−１．参照）。
‐Ｓ５０
ＣＰＵ１は、特徴抽出処理部１４により、記憶部４から読み出した取得された画像から、それぞれ特徴抽出を行う。なお、特徴・特徴部（部分）とは、例えば、クラックなどのひび割れ、きず、マーク等を含むことができる。
特徴抽出は、複数位置の画像を取得している場合は、その代表位置一つについて行ってもよいし、微動画像も含むすべてを行ってもよい。特徴抽出は、対象がひび割れなどのクラックを計測したい場合は、エッジ抽出処理を、経時変化を見たい場合などでマーキングしてあるもの等はテンプレートマッチングの処理などの画像処理を利用する。いずれかとするかは、記憶部４や入力部３により予め設定することができる。
なお、エッジ抽出処理の詳細については後述する（６−３．参照）。

マーキングしたところなどを検出したい場合は、テンプレートマッチング処理などを行って、その特徴位置を抽出する。例えば、位置を特定しやすいようにマーカーを貼ってある場合など、こちらの画像処理を利用する。例えば、図１０に示されるように、特定しやすいマーカーを貼ってある場合、これをテンプレートとしてテンプレートマッチング処理にて探索する。探索範囲は取得画像全体や、部分特定をしても構わない。このようにすれば、微細な特徴部も見つけやすくなる。
なお、テンプレートマッチングの詳細については後述する（６−４．参照）。

図１３に、エッジ抽出オペレータにてエッジ抽出処理した原画像とその結果を示す。
‐Ｓ６０
ＣＰＵ１は、ステップＳ５０で特徴抽出処理部１４により抽出された特徴部分につき、部分画像形成処理部１５により、記憶部４から画像を読み出し、部分画像を形成する。例えば、図５の例では、エッジ抽出処理によって処理された領域で、取得された画像をグルーピングして、その部分ごとを部分画像として作成したものが示される。このグルーピングを、全範囲画像取得している場合は、特徴抽出されたものを１画像ごととしてもよいし、画像からその中をさらに詳細にグルーピングしてもよい。
‐Ｓ７０
次に、ＣＰＵ１は、超解像画像形成処理部１６により超解像画像を作成し、記憶部４にその超解像画像を記憶する。
超解像処理とは、複数の画像からより高解像、高分解能な画像を推定すること、あるいは、元画像が高解像、高分解能な画像であったとして複数の劣化画像から元画像を再構成することである。例えば、具体的には、画像の位置あわせ（変形）と合成を繰り返し行うことにより実現される。

図１６に、超解像処理についての原理的な概念図を示す。
図の例では、現画像に対し、精密に半画素ずつ上下左右にずらした場合を示している。現画像が３×３＝９画素に対して、半画素ずつずらした場合、同じエリアでその４倍の６×６＝３６画素となっているのがわかる。単純にこのエリアの情報を上下左右４枚加えただけで情報量が４倍になっていることがわかる。すなわち、現画像に対し、ｎ倍の解像力を持った超解像画像を作成したい場合、理論的には２のｎ乗倍の画像が必要となる。これを正確に実現させるためには、例えば、画像センサ（ｅｘ．ＣＣＤ）を精密にピエゾなどで駆動して図１６のように画素ずらしを行える機構を搭載することにより、微動画像をこのような機構から得てもよい。
さらに、微動機構を正確な画素ずらしでなく、装置を回転させながら（角度を変えながら）取得していく場合、比高による歪と撮影時の傾きによる歪みが加わり取得位置により画像が変形していく。すなわち、対象物に対して視野、視点が変わり、それぞれの計測箇所までの距離が変わるので、場所により倍率が変わるだけでなく形状が変形する。このように複雑に画像が変形、歪んでいくために、推定法を利用して超解像画像を作成する。すなわち、具体的には、抽出部の画像位置あわせを行い、変形により歪みを補正し（あるいは揃え）、所望の解像度に拡大を行い合成する。合成は変化が少なくなるまで、あるいは所定の回数を行う。
なお、超解像処理の詳細については後述する（６−５．参照）。

‐Ｓ８０
ＣＰＵ１は、超解像処理により作成された高解像度画像を記憶部４から読み出し、その高解像度画像に対して、特徴抽出処理部１４により、再び特徴抽出を行う。ＣＰＵ１は、記憶部４又は入力部３による指示に従い、ステップＳ２３０又はＳ２００に移行する。
特徴抽出の結果は、この場合、超解像画像にて特徴抽出がなされているため、その画像をプリントアウトすれば、その状態の詳細が記録として残される。またそれらから計測することももちろん可能である（Ｓ２００）。ここで、ＣＰＵ１は、ステップＳ２３０に移行し、特徴抽出された結果をそのまま最終結果としても良いが、さらに詳細に精度よく計測を行う場合以下の処理を行う。
‐Ｓ２００
ＣＰＵ１は、測定処理部１３により、計測装置２０の距離角度測定部２２を用いて、抽出された特徴部を、特徴部に沿って、あるいはその部分画像エリア全体の距離角度測定（三次元計測）を行い、測定結果を記憶部４に記憶する。たとえばこの場合、図５に示すように、部分画像作成部全体、あるいは特徴抽出された箇所のみ、などとすることができる。この処理により例えばクラックであれば、そのクラックのＸＹ方向の大きさから、奥行き方向の段差までが正確に求めることができる。あるいは面としてクラック周辺の凹凸まで調べることが出来る。
‐Ｓ２１０
ＣＰＵ１は、オルソ画像形成部１２により計測された点と画像から、その部分の詳細なオルソ画像を作成する。このオルソ画像を、詳細なクラックの図面とすることができる。
‐Ｓ２２０
ＣＰＵ１は、計測位置が複数、全範囲となっている場合は、Ｓ４０で作成された全体のオルソ画像に詳細画像を重ね合わせる（置き換える）。この場合、座標がわかっているので容易に重ねあわせることができる。これで、計測対象の全体のクラックの分布図と詳細図が作成できる。
‐Ｓ２３０
ＣＰＵ１は、結果を、記憶部４に記憶し、及び／又は、出力部２に出力する。これら結果は、全体図面と詳細図面、さらにそれらの凹凸情報まで含まれるため、断面図作成や、クラックに沿ったクラックの凹凸と大きさの評価が可能となる。

３．画像測定装置の第２の実施の形態
次に、本発明の第２の実施の形態につき説明する。
これは、特徴抽出が微細な精度で行わなければならないため、さらに画像取得を低倍率、高倍率とし、超解像処理を行うことでさらに高精度に求めようというものである。本実施の形態では、さらに低倍率系でパノラマ（オルソ）画像を作成することができる。
図１７は、画像測定の第２の実施の形態（高倍系＋低倍系）のフローチャートを示す。前述のように、図２は、全範囲のメッシュ化についての説明図である。

以下、各ステップの処理について説明する。
‐Ｓ１００
ＣＰＵ１は、測定処理部１３により、計測装置２０の画像取得部２１で計測する画像取得（計測）範囲を設定する。測定処理部１３は、計測範囲が全範囲のときは全範囲を、計測範囲が全体を必要としない場合で、局所ごとの観測でよい場合は、それら画像を個々に取得する。
測定処理部１３は、計測装置２０の画像取得部２１を用いて、例えば、全範囲の場合は、図２にあるように、全範囲をメッシュ状にして、各箇所について画像を取得しスキャンする。
‐Ｓ１２０
ＣＰＵ１は、測定処理部１３により、画像取得部２１を用いて、画像取得を低倍率で行い、記憶部４に画像を記憶する。この場合、微動画像は取得しない。従って、全範囲画像を取得する場合、例えば図２のようにメッシュ状に行う場合は、それぞれのメッシュに画像一つずつとなる。
‐Ｓ１３０
ＣＰＵ１は、測定処理部１３により、計測装置２０の距離角度測定部２２を用いて、さらにその画像取得位置につき距離角度（三次元）測定を行い、記憶部４に測定結果を記憶する。この場合の計測点は、個々の画像につき、図３（ａ）（ｂ）のように、範囲内に一つ、あるいは、周囲に４箇所以上などとする。全範囲を行う場合は、図４のように各画像がオーバーラップし、オーバーラップ部に距離角度測定部２２により計測する点が入るようにする。
全範囲を必要とせず、局所での観測や、重点をおいた箇所の測定だけとするときは、その分だけＳ１２０とＳ１３０を繰り返す。一方、全範囲取得する場合は、Ｓ１２０、Ｓ１３０を全範囲終わるまで繰り返す。全範囲とするか否かは、記憶部４に予め記憶されたデータやデフォルト値又は入力部３等により設定することができる。
‐Ｓ１４０
次にＣＰＵ１は、オルソ画像形成部１２により、取得した画像についてオルソ画像を作成し、記憶部４にオルソ画像を記憶する。複数範囲を画像取得した場合でオーバーラップ部をもうけ、距離角度測定部２２にて計測を行っている場合は、このオルソ画像がパノラマ画像となる。このパノラマ画像は、三次元座標値が画像に反映されているために、精度のよい画像である。
‐Ｓ１５０
ＣＰＵ１は、特徴抽出処理部１４により、取得された画像から、それぞれ特徴抽出を行う。特徴抽出法については、先に説明したものと同様である。
‐Ｓ１６０
ＣＰＵ１は、測定処理部１３により、特徴抽出された部分についての計測エリアを設定する。この場合、測定処理部１３は、特徴抽出されたエリアについて部分画像を作成し、高倍率系の撮像エリアを設定する。
‐Ｓ１６５
ＣＰＵ１は、測定処理部１３により、計測装置２０の画像取得部２１を用いて、設定された計測エリアそれぞれにつき、高倍率で画像を取得し、記憶部４にその画像を記憶する。この場合は、測定処理部１３は、画像取得部２１により微動させながら画像を取得する。
‐Ｓ１７０
ＣＰＵ１は、超解像画像形成処理部１６により、各特徴抽出部分について超解像画像を作成し、記憶部４に超解像画像を記憶する。
‐Ｓ１８０
ＣＰＵ１は、超解像処理により作成された高解像度画像を記憶部４から読み出し、その高解像度画像に対して、特徴抽出処理部１４により、再び特徴抽出を行う。
ＣＰＵ１は、記憶部４又は入力部３による指示に従い、ステップＳ２３０又はＳ２００に移行する。

特徴抽出の結果は、この場合、超解像画像にて特徴抽出がなされているため、その画像をプリントアウトすれば、その状態の詳細が記録として残される。またそれら抽出された特徴部から距離及び角度を計測することももちろん可能である（Ｓ２３０）。ここで、ＣＰＵ１は、ステップＳ２３０に移行し、特徴抽出された結果をそのまま最終結果としても良いが、さらに詳細に精度よく計測を行う場合以下の処理を行う。
その後の処理、ステップＳ２００〜Ｓ２３０まで、図１５で示したように、第１の実施の形態と同様である。

なお、市販のデジタルカメラ等を使用して、上記ステップＳ１００，Ｓ１２０の代替とすることもできる。この場合、例えば、市販のデジカメにて計測したい箇所の画像を撮影する。そして、ＣＰＵ１は、（画像測定）装置にその画像を読み込ませ、記憶部４に記憶する。
その後、ＣＰＵ１は、ステップＳ１３０、Ｓ１４０の処理にて撮影画像と装置の位置合わせとし、オルソ画像作成ができる。また、ＣＰＵ１は、距離角度の測定が行われているので、撮影された画像での寸法、スケールを知ることができる。

４．画像測定の第３の実施の形態
次に、本発明の第３の実施の形態につき説明する。
本実施の形態は、特に、上述の計測装置２０の構成（ｉ）〜（ｉｖ）のいずれかを用いることができる。計測装置２０の構成（ｉｉｉ）の形態は、パノラマカメラでカメラ部が上下左右モーター駆動して自動で画像を取得できるものや、市販の産業用のカメラに上下左右でモーター駆動できるものなどである（図６（ｃ））。
本実施の形態では、単純に画像を微動させながら取得し、特徴抽出を行って部分画像として特徴点をきりだし、超解像処理を行い、特徴部分を詳細に抽出させるものである。
図１８は、画像測定の第３の実施の形態のフローチャートである。なお、上述のように、図２は、全範囲のメッシュ化についての説明図、及び、図５は、部分画像作成についての説明図である。

以下、各ステップの処理について説明する。
‐Ｓ３００
ＣＰＵ１は、測定処理部１３により、計測装置２０の画像取得部２１で計測する画像を取得し、記憶部４に画像を記憶する。測定処理部１３は、計測範囲が全範囲のときは全範囲を、計測範囲が全体を必要としない場合で、局所ごとの観測でよい場合は、それら画像を個々に取得する。測定処理部１３は、計測装置２０の画像取得部２１を用いて、例えば、全範囲の場合は、図２にあるように、全範囲をメッシュ状にして、各箇所について画像を取得しスキャンする。測定処理部１３は、画像個々を取得する際に、そのエリアにつき超解像処理を行うため、そのエリアで画像を微動させながら複数取得する。
‐Ｓ３１０
ＣＰＵ１は、特徴抽出処理部１４により、取得された複数画像を記憶部４から読み出し、それら複数画像から、それぞれ特徴抽出を行う。特徴抽出は、対象がひび割れなどのクラックを計測したい場合は、エッジ抽出処理を、経時変化を見たい場合でマーキングしてあるもの等はテンプレートマッチングの処理などの画像処理を利用する。エッジ抽出は、例えば、線検出オペレータを使用したり、ＬＯＧフィルタでゼロ交差点を求めたり、キャニーオペレータを使用したり、何を使用してもよい。
‐Ｓ３２０
ＣＰＵ１は、部分画像形成処理部１５により、抽出された特徴部分につき、部分画像を形成し、記憶部４に記憶する。例えば、図５の例では、エッジ抽出処理によって処理された領域をグルーピングしてその部分ごとを部分画像として、複数画像分作成する。
‐Ｓ３３０
ＣＰＵ１は、超解像画像形成処理部１６により、超解像画像を作成し、記憶部４に記憶する。
‐Ｓ３４０
ＣＰＵ１は、特徴抽出処理部１４により、超解像処理なされた画像に対して、再び特徴抽出を行う。
‐Ｓ４００
ＣＰＵ１は、記憶部４又は入力部３による指示に従い、結果出力するか、後処理Ｓ２００〜２３０へ移行する。
結果は、この場合、超解像画像にて特徴抽出なされているため、その画像をプリントアウトすれば、その状態の詳細が記録として残される。
ステップＳ２００〜Ｓ２３０の処理は、図１５及び図１７に示したように、第１及び第２の実施の形態と同様である。
なお、距離角度測定部２２をステレオカメラ構成とすることもできる（後述）。

５．変形例
次に本発明の他の実施の形態について説明する。以下の実施の形態は、上述の第１〜３の実施の形態と適用可能である。

５−１．変形例１（パノラマ画像を外部機器から作成させる場合の対応）
本実施の形態は、画像取得（計測）範囲設定を簡略化するための処理である。すなわち、あらかじめ全体の画像を取得し、その画像を画像測定装置１０に入力することで、自動計測を行う。
図１９は、前処理にパノラマ画像を用いる処理についてのフローチャートである。
以下、各ステップについて説明する。
（Ｓ２：パノラマ画像取得）
計測する全体の範囲について、市販のデジタルカメラ等の画像取得装置で複数枚の画像をオーバーラップさせながら作成する。そしてパノラマ画像合成ソフトによりパノラマ画像を作成する。これは、デジタルカメラに付属している場合もあれば、別売しているものもあるが、それらを利用する。デジタルカメラ使用の場合は、レンズを魚眼レンズなど利用すると一度に広範囲を撮影できる。但し、解像力があまりよくない場合がある。後述するオルソ画像との違いは、三次元座標が反映されていないため、画像の精度が比較的よくないという点である。
あるいは、パノラマカメラを使用して取得してもよい。これは、精密にＣＣＤをスキャンニングさせて取得するタイプや、光学的に凹面鏡などをつけて一度に広角画像を取得するタイプなどある。これらを利用すれば、出力自体がパノラマ画像となっている。特に精密にスキャンニングさせるタイプはより精度的に信頼がおけるものである。
‐Ｓ４
ＣＰＵ１は、入力部３又はインターフェス等を用いて、取得された画像を測定装置本体の記憶部４に読み込む。
‐Ｓ６
ＣＰＵ１は、撮影画像と計測装置２０の位置合わせを行う。
この場合、ＣＰＵ１は画像測定装置１０の出力部２の画面上で読み込まれた画像を表示する。操作者はその画像を見ながら、画像の左右両端から例えば最低４点以上の点を入力部３により指定し、ＣＰＵ１の測定処理部１３は、その指定に従い、距離角度測定部２２により計測を行う。これで画像測定装置１０とパノラマ画像の位置合わせが行える。なお、当然点数が多ければ位置合わせはより正確になる。
その後、ＣＰＵ１は、ステップＳ１０に移り、測定処理部１３により、計測エリアの設定を行う。これは手動にて範囲を指定しても、特徴抽出処理部１４により特徴抽出させエリアを決定させてもよい。この後の処理は、第１〜第３の実施の形態等と同様である（図１５、図１７、図１８）
以上のように、最初にパノラマ画像を取得してラフに全体画像を入力させることにより、絞った計測範囲での自動計測が可能となる。こうすることで、計測範囲を最初に絞り込めるので、より自動化が容易になる。

５−２．変形例２（距離角度測定部２２がステレオ）
本実施の形態は、距離角度（三次元座標）測定部から計測される三次元座標をステレオ画像から取得するものである。この場合の利点は、ＴＳやレーザスキャナーと比べると、超高解像画像からステレオマッチング処理を行い三次元座標を得るために、精度がよく高精細（高密度）であるといったことがあげられる。
本実施の形態は、上述の計測装置２０の構成（ｉ）〜（ｉｖ）のいずれかを用いることができる。すなわちカメラがモーター駆動にて上下左右に動く構成となっている。基本的に、左右のステレオ画像から数点〜数万点以上の三次元座標（点群）が取得できるので、パノラマカメラの場合や画像ＴＳに適した構成である。すなわち、カメラ部を高精細にできれば精密な計測が可能となる。画像ＴＳの場合は、三次元座標の取得点数が少ない場合、例えばパノラマ画像を作成する場合や、第一画像を取得してオルソ画像を得るときは、距離角度測定部２２から三次元座標を算出し、抽出された特徴抽出処理部１４について左右画像から詳細な三次元座標を得る、という構成にすると効率的である。

図７は、パノラマカメラを用いたステレオ画像取得についての説明図である。
図７に示されるように、例えば、本装置を２台おいてステレオで画像を取得するものである。例えばＰＣで２台を接続することにより、同時に同じエリアを撮像することにより左右画像を取得する。
画像測定のフローチャートは、図１５あるいは図１７に示したように、第１又は第２の実施の形態と同様であるが、ステップＳ３０（あるいはステップＳ１３０）とステップＳ２００の距離角度計測（三次元計測）の部分が異なる。すなわち、ステップＳ３０（Ｓ１３０）の処理において、ＣＰＵ１は、測定処理部１３により、計測装置２０を用いて、三次元測定したいポイント（図３（ａ）（ｂ））をテンプレートマッチングにて左右画像（図７の場合の左と右の装置から得られる画像）から求めることにより、三次元座標を得る。
あるいは、ＴＳの機能がある場合、計測装置２０の構成（ｉ）の場合は、図３（ａ）（ｂ）の測定を距離角度測定部２２を用いて測定処理部１３にて行い、三次元座標に変換し、基準座標とする。そして、ＣＰＵ１は、オルソ画像形成部１２により、ステップＳ４０（Ｓ１４０）のオルソ画像作成処理で左右画像からステレオマッチングを行い、求められた面の三次元座標と基準座標を利用してオルソ画像を作成する。こうすることで、精密なオルソ画像が作成できる。
ＣＰＵ１は、ステップＳ２００、Ｓ２１０も、ステップＳ３０（Ｓ１３０），Ｓ４０（Ｓ１４０）と同様に処理することで、すなわち超解像画像から作成抽出された特徴部分である部分画像の左右画像をステレオマッチングすることで、特徴部および部分画像全体のオルソ画像が精密に得られる。
このような構成にすると、特徴抽出された部分の三次元計測が詳細に精度よく行える。

５−３．変形例３（スキャナの対応：スキャナ内部のセンサで輝度画像を同時にとる場合）
本実施の形態は、レーザスキャナー内部のセンサでレーザスキャンニング時に、同時に取得できる輝度画像で超解像処理を行う例について説明する。

図９は、レーザビームについての説明図である。
レーザスキャナーは、対象物上を一点一点スキャンニングしながら各点における距離を計測し、大量な距離情報を短時間で取得できる装置である。これによれば、距離取得の際に計測装置２０は角度情報も得ているため、スキャナを中心とした対象物体の三次元座標を得ることができる。本来は距離情報だけであるが、一点一点のレーザ光の戻り光の強弱を画像として構成したり（ｈｔｔｐ：／／ｗｗｗ．ｋｒｃｎｅｔ．ｃｏ．ｊｐ／ｔｅｃｈｎｉｃａｌ／３Ｄｌａｓｅｒ／３Ｄｌａｓｅｒ０２．ｈｔｍ）、あるいは、内蔵されている輝度センサにより、一点一点距離情報を取得するのと同時に輝度値が取得できる構造となっており、それを画像化するものがある。
これらレーザスキャナーは、本来画像を取得することを目的としていないために（あるいは装置構成上の制約から最適化できず）、画質が比較的良くないだけでなく、原理上、距離が遠くなるとビーム径が大きくなる、といった課題がある（図９参照）。
これらレーザスキャナーに対し、単一受光面の受光素子で受光する場合には、その一点一点得られる距離情報を色情報として画像として扱う、あるいは、その強度情報を画像として扱う、あるいは内蔵された輝度情報を画像として扱い、超解像化することは重要であり、本発明のすべての実施の形態に適用することが可能である。また、レーザスキャナーにおいて、反射光をＣＣＤのような受光部で受光する形式の場合には、受光部で得られる画像が、そのまま画像データ（第１画像、第２画像等）として取り扱われる。
この場合、図１５のフローチャートの構成（画像取得光学系１つ）の場合は、例えば、ステップＳ２０の画像取得とステップＳ３０の距離角度（三次元）測定との処理が同時に行える。また、ステップＳ４０、Ｓ２１０のオルソ画像作成処理が、取得した点情報を画像として並べるだけの処理でよい。
第１７図のフローチャートは、レーザスキャナーに計測用光学系が低倍率と高倍率２種類含まれている場合であり、この場合も、ステップＳ１２０とステップＳ１３０が同時に取得できる、また、ステップＳ１４０、Ｓ２１０のオルソ画像作成処理が、取得した点情報を画像として並べるだけの処理となる。

５−４．変形例４（第３の実施の形態のパノラマカメラ対応）
図２７は、パノラマカメラ対応のフローチャートである。
本実施の形態では、計測装置２０としてパノラマカメラを用いる。以下、各ステップの処理を説明する。
‐Ｓ１１
ＣＰＵ１は、測定処理部１３により、計測装置２０の画像取得部２１で計測する画像取得（計測）範囲を設定する。測定処理部１３は計測範囲が全範囲のときは全範囲を、計測範囲が全体を必要としない場合で、局所ごとの観測でよい場合は、それら画像を個々に取得する。測定処理部１３は、計測装置２０の画像取得部２２を用いて、例えば、全範囲の場合は、全範囲をメッシュ状にして、各箇所（位置）について画像を取得しスキャンする。
‐Ｓ１２
次に、ＣＰＵ１は、測定処理部１３により、その範囲内の画像について、微動しながら画像を取得し、記憶部４にそれら画像を記憶する。測定処理部１３は、画像取得部２１を用いて、画像個々を取得する際に、そのエリアにつき超解像処理を行うため、画像を微動させながら画像を複数取得する。従って、測定処理部１３は、複数の位置（箇所：例えばメッシュの各位置）で取得する場合は、それぞれの位置において微動画像をさらに複数取得する。
‐Ｓ１３
ＣＰＵ１は、測定処理部１３により、さらにパノラマ画像を作成し、その結果を記憶部４に記憶する。
‐Ｓ１４
ＣＰＵ１は、特徴抽出処理部１４により、記憶部４から読み出した取得されたパノラマ画像から、それぞれ特徴抽出を行う。
‐Ｓ１５
ＣＰＵ１は、ステップＳ１４で特徴抽出処理部１４により抽出された特徴部分につき、部分画像形成処理部１５により、記憶部４から画像を読み出し、部分画像を形成する。
以下、ステップＳ３００〜Ｓ４００の処理については、第３の実施の形態と同様である。

６．詳細処理
以下に、詳細処理について説明する。
６−１．オルソ（正射投影）画像
図２０に、オルソ（正射投影）画像の説明図を示す。
図２１に、中心投影における比高による像の偏位についての説明図を示す。
オルソ（正射投影）画像とは、中心投影像を地図と同じような平行投影画像とするもので、三次元の座標値により、その比高歪みを補正しながら画像を修正するものである。従って三次元座標も密度が高いほどオルソ画像の精度がよくなる。
比高歪みとは、次のものをいう。
‐対象物（図の例では地表面）が平坦でない場合に、その起伏（比高）によって生じる写真中心点からの写真像の偏位
‐レンズから対象物（地表面）までの距離（Ｈ）が異なるため、同一写真内に生じる撮影縮尺の大小の変化
空中写真は、レンズを中心とする透視投影系であり、地表面に比高があるとレンズを中心として、映像は、レンズを通る光線の地表面に垂直に交わる点（Ｎ＝鉛直点）を中心に放射状に偏位する。図からわかるように、点Ａは、Ｏを通ってａに写る。Ａの基準面への投影点Ａ’はａ’に移るはずであるが、実際はａ’ａだけずれて（偏位）写ることになる。言い換えると、比高（ｈ）による像の偏位量は、Ａ’Ａ’’を基準面上で求めて縮尺化した量だけ増大する。図において、Ｏをレンズ、Ｈを基準面までの対地高度（撮影高度）とすると、点Ａの偏位する量は、
Δｒ＝Ａ’Ａ’’・ｆ／Ｈ
従って、対象物の三次元座標がわかれば、中心投影の原理から、偏位量Δｒを補正できる。

６−２．トータルステーション・レーザスキャナーの原理
距離角度測定は、測量で利用される通常のトータルステーションと呼ばれるものがある。これは、水平・垂直に精度よく角度を計測できる測角機能を有したセオドライトと光やレーザにより対象物までの距離を計測する光波距離計を合体したものである。近年では、これに画像センサを搭載したもの、モータードライブできるものなどが開発されている。
一方、レーザスキャナーは、原理はトータルステーションと類似しており、レーザを一点一点対象物に向かって照射させ、面上にスキャンニングしながらその反射に戻ってくるまでの一点一点の時間により各斜距離として面上の距離情報を得る装置である。この装置によれば、一括で自動的に高密度な点計測が可能（数千〜数百万点）であるが、高速にスキャンニングする分、トータルステーションより精度が劣る。
これらは、距離情報と水平・垂直角度が同時に得られるため、三次元座標が計算できる。ＴＳは三角測量にて計測を行っていくものであるが、基準を自分の機械位置とした場合、どちらも類似なものである。
図８は、トータルステーション及びレーザスキャナーの、その原理を示す説明図である。
すなわち、対象物の三次元座標ｐ（ｘ、ｙ、ｚ）は、水平角をα、垂直角をγ、斜距離をＤ、とすれば、
ｐ（ｘ、ｙ、ｚ）＝（Ｄ・ｓｉｎγ・ｓｉｎα、Ｄ・ｓｉｎγ・ｃｏｓα、Ｄ・ｃｏｓγ）
となる。
これを地上座標系に変換するためには、基準点４点以上を使い、座標変換する。
基準点は、ローカルでよい場合は、基準としたいところに設置してＴＳで測定する。あるいは、ＧＰＳを利用してもよい。

６−３．エッジ検出処理
エッジ抽出は、例えば、線検出オペレータを使用したり、ＬＯＧフィルタでゼロ交差点を求めたり、キャニーオペレータ（Ｊ．Ｆ．Ｃａｎｎｙ． “Ａｃｏｍｐｕｔａｔｉｏｎａｌａｐｐｒｏａｃｈｔｏｅｄｇｅｄｅｔｅｃｔｉｏｎ”，ＩＥＥＥＴｒａｎｓ．ｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，８（６）：６７９−−６９８，Ｎｏｖｅｍｂｅｒ１９８６．）を使用したり、何を使用してもよい。ここでは、ＬＯＧフィルタでゼロ交差点を求めたものについて説明する。
図２２に、ラプラシアンオペレータの説明図を示す。
図２３に、線検出オペレータの説明図を示す。

（１）ＬＯＧフィルタによるエッジ抽出
エッジ抽出処理は、画像の鮮鋭化を行い、その画像の濃度値のゼロ交差点をエッジとすることにより行なうことができる。
画像の鮮鋭化には、画像にラプラシアンフィルタやラプラシアンガウシアンフィルタ等の処理を施し、ぼけ画像を作成、元の画像からぼけ画像を差分することにより得ることができる。
ＬＯＧ（ＬａｐｌａｃｉａｎＯｆＧａｕｓｓｉａｎ）フィルタは、局所領域の画素にガウス分布関数による平滑化を施し、さらにラプラシアンを作用させるフィルタである。他の微分オペレータと比べてノイズに強く、比較的滑らかな濃度変化に対してもフィルタ出力のゼロクロス点を求めることにより、エッジを抽出できる。これは他の微分フィルタが局所領域に作用するのに対して、ＬＯＧフィルタは平滑化の影響により、比較的広い領域に渡って作用する為である。（高木幹雄、下田陽久（編），“画像解析ハンドブック”，東京大学出版会，１９９１参照）
ｇ（ｉ，ｊ）＝ｆ（ｉ、ｊ）−∇^２ｆ（ｉ，ｊ）
ｇ（ｉ，Ｊ）：鮮鋭化画像、ｆ（ｉ，ｊ）：入力画像、
∇^２ｆ（ｉ，ｊ）：入力画像のラプラシアン
ここで、∇^２ｆ（ｉ，ｊ）に関しては、いろいろな形の微分オペレータがある。
例えば一例を図２２に示すがこれに限られたものではない。
また、これにガウシアンを施したものとしてもよい。
以上により、鮮鋭画像が得られる。鮮鋭画像の求め方はこれによらず、多種のものがある。

また、上述のようなデジタル的な方法でなく、下式に示されるような計算処理によって求めてもよい。
下式は、計算処理的なガウシアンを施したものである。

ここで、σ：ガウス関数のパラメータ

この場合、差分は以下の式となる。
ｇ（ｘ，ｙ）＝ｆ（ｘ、ｙ）−∇^２Ｇ（ｘ，ｙ）
ｇ（ｘ，ｙ）：鮮鋭化画像、ｆ（ｘ，ｙ）：入力画像、
∇^２Ｇ（ｘ，ｙ）：入力画像のラプラシアンガウシアン
また、撮影時において、ピントのあった状態（上式ｆ（ｘ、ｙ）に相当）とピントの合っていない状態（上式∇^２Ｇ（ｘ，ｙ）に相当）の同一画像を撮影し、その差分画像を得ることによっても同様の効果が得られるため、そのようにしても良い。
次に、この鮮鋭化された画像からエッジ抽出を行う。
エッジ抽出処理は、先にもとめた鮮鋭化画像の濃度値のゼロ交差点をエッジとすることにより行なうことができる。
すなわち、ゼロとなった点のみを画像化する、あるいはゼロを境にしてプラス領域を白、マイナス領域を黒とすることにより画像化される。
これらのエッジ画像と原画像、あるいはエッジ画像と鮮鋭化画像を重ね合わせることによって、さらにエッジを強調した画像とし表示することもできる。
（２）他のオペレータの例
また、ある特定方向や任意の形状を強調、抽出することも可能である。
例えば、図２３の線検出オペレータは縦線検出の例で、横線検出を行いたいときは、横に＋１をならべたものをオペレータとして画像に畳み込む。抽出したい形状に合わせてこのような相関フィルタを構成、すなわち検出したい形状に合わせ＋１、それ以外は−１／２、−１などとして行列を形成すれば、任意の形状の検出が行える。

６−４．テンプレートマッチング
テンプレートマッチングは、正規化相関法や残差逐次検定法（ＳＳＤＡ法）などがあり、本実施の形態では、どれを用いても良い。残差逐次検定法を使用すれば処理が高速化できる。
（１）残差逐次検定法
図２４に、入力画像とテンプレート画像の説明図を示す。
図に示すようにＮ_１×Ｎ_１画素のテンプレート画像を、それより大きいＭ_１×Ｍ_１画素の入力画像内の探索範囲（Ｍ_１−Ｎ_１＋１）^２上で動かし、以下に示す式のＲ（ａ，ｂ）が最小になるようなテンプレート画像の左上位置を求めて、テンプレート画像に対し探索されたとみなす。
残差逐次検定法の式を以下に示す。
残差Ｒ（ａ，ｂ）が最小になる点が求める画像の位置である。処理の高速化をはかるため、上式の加算において、Ｒ（ａ，ｂ）の値が過去の残差の最小値を越えたら加算を打ち切り、次の（ａ，ｂ）に移るよう計算処理を行う。

（２）正規化相関法
図に示すようにＮ_１×Ｎ_１画素のテンプレート画像を、それより大きいＭ_１×Ｍ_１画素の入力画像内の探索範囲（Ｍ_１−Ｎ_１＋１）^２上で動かし、以下に示す式のＣ（ａ，ｂ）が最大になるようなテンプレート画像の左上位置を求めて、テンプレート画像に対し探索されたとみなす。
相互相関法の式を以下に示す。

６−５．超解像処理の説明
図２５に、他の例にて実際に超解像画像を作成した例を示す。
微動した量が概略あらかじめわかっていれば、そしてまた、異なる位置に微動したものを数多くとることによって、推定結果をより確実にすることができる。本実施の形態の場合、所望の解像力で画像を作成したければ、装置から対象物までの距離と画像センサ上に写る画像エリアとの関係（倍率）、一画素分解能から、何倍の解像力がいるかを計算し画像枚数と微動量を設定する。ＴＳやレーザスキャナーにより距離情報が得られ、画像も同時に取得できる場合は装置上で計算できる。
例えば、対象物の距離が３０ｍで望遠鏡が３０倍の倍率とした場合、センサ上の１画素で０．３ｍｍ分解する設定となっている場合、０．２ｍｍ必要であれば、その倍もしくは４倍の超解像設定にし、微動位置を４〜１６に設定する。
尚、微動画像はモータードライブにて取得するが、画像センサをピエゾなどで振動させてもよい。ピエゾで振動させる場合は画像の合成処理が容易かつ確実に高精度化できる。

図２６に、超解像処理のフローチャートを示す。
図１１に、テンプレートと探索エリアについての説明図を示す。また、図１２に、特徴点についての説明図を示す。
以下、各ステップの処理について説明する。
‐Ｓ５００
ＣＰＵ１の超解像画像形成処理部１６は、特徴抽出された画像の位置情報から作成された部分画像の位置合わせを行う。
微動した複数画像から作成された部分画像は、微動させた情報から画像上のずれ量が概略計算できる。例えば、画像を取得した際の計測箇所までの距離、すなわち特徴抽出処理部１４や部分画像作成部までの距離情報とそのときの角度情報から計算できる（ＴＳ・レーザスキャナー説明の式参照）。従ってこの式からズレ量を計算し、その分が位置あわせ量となる。正確に部分画像の位置までの距離でなくとも代表される箇所の距離情報で概略位置計算をしてもよい。
さらに厳密に位置あわせする場合や、距離情報がない場合でも、次の処理によって詳細に位置あわせができる。仮に位置情報がある場合は、探索範囲を狭く出来るので処理が高速になる。
すなわち、超解像画像形成処理部１６は、抽出した部分画像どうしでテンプレートマッチングを行う。その場合、超解像画像形成処理部１６は、基準画像（たとえば微動する前の中心の画像とする）の抽出された特徴部をテンプレートとし、他の微動画像の同じ位置の特徴部にマッチングをかける。例えば、図１１（ａ）の、きりだされた領域全体（部分画像）をテンプレートとして探索してもよい。あるいは抽出された特徴の一部分でテンプレートマッチングをかけてもよい。図１１（ａ）は複数画像中の一つから、部分画像の一部をテンプレートに設定した例で、図１１（ｂ）及び（ｃ）は、他の画像中から、探索エリアを設定し、その中をテンプレートマッチングによって探索する例である。ズレ量を式から概略計算しておけば、位置はそんなにずれないので探索エリアは狭く取れる。
テンプレートマッチング処理は先に説明したものと同じである。マッチングをかける画像は、グレースケール画像でも、エッジ抽出を行ったあとに二値化した画像で行ってもよい。

‐Ｓ５１０
次に、超解像画像形成処理部１６は、画像の変形を行う。これは複数画像中の例えば微動前の中心の画像を基準にして、その基準とこれの部分画像同士で行う。演算処理は、例えば、射影変換やアフィン変換など使う（センサをピエゾで微動させる場合は、変形を行う必要はないので、平行移動でだけでよい）。
たとえば、図３（ｂ）（Ｃ）のように既に計測している点を利用する（この場合点の場所がわかっている）。あるいは、図１２に示すように、複数画像について、特徴抽出処理部１４（図の例ではクラック上）の変曲点を特徴点として４点以上検出し、画像変換をかける。
超解像画像形成処理部１６は、次の観測方程式に画像座標を代入し、アフィン係数を求め、変換をそれぞれの画像にかける。

基本（微動前）の画像座標と微動後の画像座標を上式に代入して観測方程式をたて、アフィン係数ａ_１〜ａ_６を求め、微動画像を微動前の画像と同じ形に（変形）する。
‐Ｓ５２０
超解像画像形成処理部１６は、画像の拡大を行う。例えば、２倍にしたければ、２倍の画像エリアを、４倍にしたければ、４倍の画像エリアを用意しておく。この処理は、線形補間（バイリニア）法や３次補間（キュービック）法などを使う。
‐Ｓ５３０
超解像画像形成処理部１６は、画像合成する。加算していくだけでよい。すなわち複数画像分足し合わせていく。微動量があらかじめわかっており、分解能から微動画像の枚数を決定している場合は、超解像画像形成処理部１６は、微動画像数分、処理を繰り返す。そうでない場合や、微動画像を多数取得している場合は、超解像画像形成処理部１６は、画像の変化が少なくなるまでこれを繰り返す。すなわち、超解像画像形成処理部１６は、合成画像の変化が少なくなるまで繰り返す。例えば閾値を設定し、作成した合成画像から一つ前に作成した合成画像を差分することで変化量を計算する。
‐Ｓ５４０
超解像画像形成処理部１６は、画像を記憶部４に記憶し、出力部２に出力して、処理を終了する。

本発明は、橋の他にも、ビル、煙突等の様々な建築物の画像測定に適用することができる。
また、本発明は、ひび割れ以外にも、きず、マーク、きれつ等の各種の形状の測定に適用することができる。
さらに、本発明は、レーザ光や可視光の他にも、Ｘ線等を利用することにより、表面内部のひび割れ等の形状の測定に適用することができる。

画像測定のための説明図。全範囲のメッシュ化についての説明図。メッシュ内の測定点についての説明図。パノラマ画像作成についての説明図。部分画像作成についての説明図。計測装置の構成例を示す図。パノラマカメラを用いたステレオ画像取得についての説明図。座標系についての説明図。レーザビームについての説明図。マーカーを付与した場合のテンプレートマッチングの説明図。テンプレートと探索エリアについての説明図。特徴点についての説明図。エッジ抽出についての説明図。画像測定システムの構成図。画像測定の第１の実施の形態（高倍系なし）のフローチャート。超解像概念図についての説明図。画像測定の第２の実施の形態（高倍系＋低倍系）のフローチャート。画像測定の第３の実施の形態のフローチャート。前処理にパノラマ画像を用いる処理についてのフローチャート。オルソ（正射投影）画像の説明図。中心投影における比高による像の偏位についての説明図。ラプラシアンオペレータの説明図。線検出オペレータの説明図。入力画像とテンプレート画像の説明図。他の例にて実際に超解像画像を作成した例。超解像のフローチャート。パノラマカメラ対応のフローチャート。

符号の説明

１ＣＰＵ
２出力部
３入力部
４記憶部
１０画像測定装置
１１パノラマ画像形成部
１２オルソ画像形成部
１３測定処理部
１４特徴抽出処理部
１５部分画像形成処理部
１６超解像画像形成処理部
２０計測装置
２１画像取得部
２２距離角度測定部

Claims

測定対象物を、撮像エリアを微動させながら撮影した複数の第１画像を取得するための測定処理部と、
上記測定処理部により取得された第１画像から対象物の概略特徴部分を抽出する特徴抽出処理部と、
上記特徴抽出処理部で抽出された概略特徴部分近傍で、上記測定処理部で取得された複数の第１画像をグループ化することで複数の第１部分画像を形成する部分画像形成処理部と、
上記部分画像形成処理部により形成された複数の第１部分画像から超解像画像を形成する超解像画像形成処理部と
を備え、
上記特徴抽出処理部は、超解像画像から詳細特徴部分を抽出するように構成されていることを特徴とする画像測定装置。
測定対象物を低倍率で撮影した第１画像を取得するための測定処理部と、
上記測定処理部により取得された第１画像から対象物の概略特徴部分を抽出する特徴抽出処理部と、
上記特徴抽出処理部で抽出された概略特徴部分近傍で、概略特徴部分を含む撮像エリアを微動させながら第１画像よりも高い倍率で撮影された複数の第２画像から超解像画像を形成する超解像画像形成処理部と
を備え、
上記特徴抽出処理部は、超解像画像から詳細特徴部分を抽出するように構成されていることを特徴とする画像測定装置。
さらに、上記低倍率で撮影した複数の第１画像を組合わせて全体のパノラマ画像を形成するパノラマ画像形成部を有し、
上記特徴抽出処理部は、パノラマ画像から対象物の概略特徴部分を抽出するように構成されていることを特徴とする請求項２記載の画像測定装置。
さらに、第１画像に含まれる点までの距離と角度を測定する距離角度測定部と、
上記距離角度測定部により測定された距離と第１画像の位置に基づき画像中の各点をオルソ画像に形成するオルソ画像形成部と
を有することを特徴とする請求項１又は２記載の画像測定装置。
上記距離角度測定部は、レーザスキャナー、光波距離計、トータルステーションのいずれか一つの構成を少なくとも含み、距離と角度を測定することを特徴とする請求項４記載の画像測定装置。
第１画像又は第２画像は、測定対象物を重複して、異なる撮影位置で複数のステレオ画像として形成されたものであり、それらのステレオ画像から距離を求めることを特徴とする請求項１又は２記載の画像測定装置。
上記概略特徴部分又は詳細特徴部分は、測定対象部分の境界部分又はエッジ又はそれらの近傍であることを特徴とする請求項１又は２記載の画像測定装置。
さらに、レーザスキャナーを有し、第１画像に含まれる点までの距離と角度を測定する距離角度測定部を備え、
レーザスキャナーからのレーザ光束が対象物で反射された反射レーザ光に基づき各点における距離情報を色情報として第１画像又は第２画像として扱う、その反射レーザ光の強度情報を第１画像又は第２画像として扱う、又は、内蔵された輝度情報を第１画像又は第２画像として扱うことを特徴とする請求項１又は２記載の画像測定装置。
さらに、超解像画像で得られた詳細特徴部分の位置の距離と角度を測定する距離角度測定部を有することを特徴とする請求項１又は２記載の画像測定装置。
第２画像のオルソ画像を形成するように構成されている請求項９記載の画像測定装置。
上記超解像画像処理部は、撮像エリアが微動された複数の第１部分画像又は第２画像について、概略特徴部分の位置合わせを行い、画像合成することで詳細特徴部分を含む超解像画像を形成することを特徴とする請求項１又は２記載の画像測定装置。
計測装置により取得した画像のオルソ画像を作成するオルソ画像形成部をさらに備え、
上記測定処理部により、計測装置で計測する画像取得範囲を設定し、
上記測定処理部により、その範囲内の画像について、微動しながら画像を取得し、
上記測定処理部により、上記計測装置を用いて、さらにその画像取得位置につき距離角度測定又は３次元測定を行い、
上記オルソ画像形成部により、取得した画像についてオルソ画像を作成し、
上記特徴抽出処理部により、それぞれ特徴抽出を行い、
上記特徴抽出処理部により抽出された特徴部分につき、上記部分画像形成処理部により、部分画像を形成し、
上記超解像画像形成処理部により超解像画像を作成し、
超解像処理により作成された高解像度画像に対して、上記特徴抽出処理部により、再び特徴抽出を行い、
特徴抽出された結果を記憶部に記憶又は出力部に出力すること
を特徴とする請求項１に記載の画像測定装置。
計測装置により取得した画像のオルソ画像を作成するオルソ画像形成部をさらに備え、
上記測定処理部により、計測装置で計測する画像取得範囲を設定し、
上記測定処理部により、上記計測装置を用いて、画像取得を低倍率で行い、
上記測定処理部により、上記計測装置を用いて、さらにその画像取得位置につき距離角度測定又は３次元測定を行い、
上記オルソ画像形成部により、取得した画像についてオルソ画像を作成し、
上記特徴抽出処理部により、取得された画像から、それぞれ特徴抽出を行い、
上記測定処理部により、特徴抽出された部分についての計測エリアを設定し、
上記測定処理部により、上記計測装置を用いて、設定された計測エリアそれぞれにつき、高倍率で画像を取得し、
上記超解像画像形成処理部により、各特徴抽出部分について超解像画像を作成し、
超解像処理により作成された高解像度画像に対して、上記特徴抽出処理部により、再び特徴抽出を行い、
特徴抽出された結果を記憶部に記憶又は出力部に出力すること
を特徴とする請求項２に記載の画像測定装置。
上記測定処理部により、計測装置で計測する画像を取得し、
上記特徴抽出処理部により、取得された複数画像から、それぞれ特徴抽出を行い、
上記部分画像形成処理部により、抽出された特徴部分につき、部分画像を形成し、
上記超解像画像形成処理部により、超解像画像を作成し、
上記特徴抽出処理部により、超解像処理なされた画像に対して、再び特徴抽出を行い、
特徴抽出された結果を記憶部に記憶又は出力部に出力すること
を特徴とする請求項１に記載の画像測定装置。