JP2004340753A - キャリブレーションチャート画像表示装置 - Google Patents

Abstract

【課題】カメラの内部パラメータを簡易に測定するためのキャリブレーション装置やキャリブレーション方法に用いて好適な、平面的なキャリブレーションチャート表示装置を提供する。
【解決手段】所定のキャリブレーション撮影方向から撮影されたキャリブレーションチャート１の画像を記憶する校正画像記憶部１２と、校正画像記憶部１２に記憶されたキャリブレーションチャート画像を、前記キャリブレーション撮影方向に応じて表示するキャリブレーションチャート画像表示部１４とを備えている。
【選択図】 図１

Description

【０００１】
【産業上の利用分野】
本発明は、カメラの画像歪曲を修正するのに必要とされる内部パラメータ｛例えば、レンズの主点位置、画面距離（焦点距離）、歪曲パラメータ等｝を測定するためのキャリブレーションチャートの表示装置に関する。
【０００２】
【従来の技術】
従来から、写真測量や写真計測の分野では、収差の少ない画像を得ることが重要である。そこで、写真測量や写真計測の分野では、撮影用カメラのレンズとして収差が少ない高精度のレンズを使用している。さらに、写真測量分野では、精密に計測された３次元上に配置された多数の点を複数方向から計測することにより、カメラの内部パラメータ（主点位置、画面距離、歪曲パラメータ）を解析的に求めている。また、写真計測の分野で用いられる計測用カメラの場合は、製作されたカメラを精密に計測することにより、カメラの内部パラメータを求めている。
【０００３】
【発明が解決しようとする課題】
しかしながら、写真測量分野のように精密に計測された３次元上の測定点を撮影計測して、カメラ内部パラメータを求める方法では、以下の課題がある。
▲１▼３次元上に測定点（ターゲット）が配置されている。そこで、複数方向から撮影すると死角が生じて、画像間でみえないターゲットが生じる。
▲２▼撮影された画像において、３次元上の測定点相互の位置関係に逆転が生じる場合があり、測定点の計測や各画像間の対応付けが困難で、自動化できない。
▲３▼そこで、相当の熟練をした作業員により、測定点の計測や各画像間の対応付けを行っている。すると、カメラの内部パラメータを得るために、高額のコストと長時間の作業が必要となってくる。
また、製作された計測用カメラを精密に計測する方法も、専用の冶工具が必要なだけでなく、熟練を要し特殊な設備のある機関でしか計測できず、計測専用カメラとして高価になるという課題がある。
【０００４】
そこで、近年では、３次元上の測定点に代わるものとして、シートに印刷された２次元の測定点を計ることにより、レンズ収差を計測するキャリブレーション方式が提案されている。しかし、シートに印刷された測定点を計測することによりレンズ収差を求める方法は、測定点が２次元状に配置されているために、計測できるパラメータがレンズ収差に限られており、レンズの焦点距離が測定できないという課題がある。ここで、レンズの焦点距離は、立体視できる画像の組を用いて３次元計測を行う場合に必要なパラメータである。
【０００５】
また、撮影方法もシートに印刷された測定点を複数の位置や方向から撮影しなければならなく、さらに焦点距離により撮影位置が異なり、撮影にノウハウが必要で難しい、という課題がある。更に、ズームレンズであれば、ズームレンズの焦点位置のいくつかにおいてキャリブレーションしなければならず、時間がかかると同時に撮影が簡単に行えない、という課題があった。
【０００６】
本発明は、上述する課題を解決したもので、第１の目的はカメラの内部パラメータを簡易に測定するためのキャリブレーション装置やキャリブレーション方法に用いて好適な、平面的なキャリブレーションチャート表示装置を提供するである。第２の目的は、固定焦点だけでなく、ズームレンズにも簡単に対応できるキャリブレーションチャート表示装置を提供するである。
【０００７】
【課題を解決するための手段】
本発明のキャリブレーションチャート画像表示装置は、第１の目的を達成するもので、図１に示すように、所定のキャリブレーション撮影方向から撮影されたキャリブレーションチャート１の画像を記憶する校正画像記憶部１２と、校正画像記憶部１２に記憶されたキャリブレーションチャート画像を、前記キャリブレーション撮影方向に応じて表示するキャリブレーションチャート画像表示部１４とを備えている。
【０００８】
このように構成された装置においては、校正画像記憶部１２には所定のキャリブレーション撮影方向から撮影されたキャリブレーションチャート１の画像が記憶されている。キャリブレーションチャート画像表示部１４は、校正画像記憶部１２に記憶されたキャリブレーションチャート画像を、キャリブレーション撮影方向に応じて表示する。ここで、キャリブレーション撮影方向とは、例えば図４（Ａ）、図５に示すように、キャリブレーションチャート１の第１マークの一つ（Ｉ）を正面として撮影する第１の撮影方向と、前記第１マークと前記所定距離ｄだけ離れた他の第１マーク（ＩＩ，ＩＩＩ，ＩＶ，Ｖ）を正面にカメラ位置を設けて、且つ前記レンズの撮影方向を前記第１マーク（Ｉ）に前記レンズの光軸が向くようにする第２の撮影方向とを含んでいる。すると、被校正撮影装置１９はキャリブレーションチャート１に対して所望の角度を正確に付した画像を得ることができ、高さ（奥行き）方向の変化を確実にし、キャリブレーションチャートによって被校正撮影装置１９の焦点距離を正確に算出できる。『キャリブレーション撮影方向に応じて表示する』とは、例えば第１の撮影方向、第２の撮影方向（左上（ＩＩ）、左下（ＩＶ）、右上（ＩＩＩ）及び右下（Ｖ））の順序で、順次表示することをいう。
【０００９】
好ましくは、校正画像記憶部１２に記憶されているキャリブレーションチャート画像は、歪が補正された画像とすると、カメラのような被校正撮影装置１９にて撮影された画像に含まれる歪曲、例えばレンズ収差を除去するのに必要とされるカメラの内部パラメータの演算が容易に行なえる。歪が補正された画像は、例えば撮影したカメラにおけるレンズ収差の影響を補償するパラメータを適用して、撮影されたキャリブレーションチャート画像からレンズ収差の影響を除去して、生成する。
【００１０】
本発明のキャリブレーションチャート画像表示装置は、第１の目的を達成するもので、図１７に示すように、所定のキャリブレーション撮影方向からキャリブレーションチャート１を観察した状態の画像を形成する画像形成部４０と、画像形成部４０で形成されたキャリブレーションチャート画像を表示するキャリブレーションチャート画像表示部４４とを備えている。
【００１１】
このように構成された装置においては、画像形成部４０では所定のキャリブレーション撮影方向からキャリブレーションチャート１を観察した状態の画像を形成する。キャリブレーションチャート画像表示部４４は、画像形成部４０で形成されたキャリブレーションチャート画像を表示する。
【００１２】
好ましくは、画像形成部４０は、特定方向から撮影されたキャリブレーションチャートの画像を記憶する基準画像記憶部４１と、基準画像記憶部４１に記憶された画像を用いて、特定方向とキャリブレーション撮影方向との画像変換関係を適用して、キャリブレーション撮影方向のキャリブレーションチャートの画像を形成する画像変換処理部４２を備える構成とするとよい。すると、基準画像記憶部４１で撮影されているキャリブレーションチャートの画像を用いて、画像変換処理部４２により他のキャリブレーション撮影方向のキャリブレーションチャートの画像を形成できるので、キャリブレーションチャート１を多数のキャリブレーション撮影方向から撮影する作業が困難な場合にも、容易にキャリブレーションチャートの画像を取得できる。
【００１３】
好ましくは、さらに、キャリブレーションチャート画像表示部（１４、３４）に表示されるキャリブレーションチャート画像を、被校正対象となる撮影装置１９の撮影動作に連動して、順次選択する表示順序制御部（１５、３５）を備えている構成とするとよい。すると、表示順序制御部を用いることで、キャリブレーションチャート画像表示部１４によって、校正画像記憶部１２に記憶されたキャリブレーションチャート画像を、キャリブレーション撮影方向に応じて表示することが容易に行なえる。
【００１４】
好ましくは、表示順序制御部（１５、３５）は、さらに、キャリブレーションチャート画像表示部（１４、３４）が、キャリブレーションチャート画像を表示した後、撮影信号を被校正撮影装置１９に出力する撮影信号出力部（１６、３６）と、被校正撮影装置１９によるキャリブレーションチャート画像の撮影完了信号を入力して、キャリブレーションチャート画像表示部（１４、３４）に後続するキャリブレーションチャート画像の表示命令信号を出力する校正画像切換え指示部（１７、３７）とを備えている。すると、表示順序制御部の動作が被校正撮影装置１９と連動するので、キャリブレーションチャート画像の切換えが自動化される。
【００１５】
好ましくは、本発明のキャリブレーションチャート画像表示装置を被校正撮影装置１９としてのズームレンズに対応させて、第２の目的を達成する為に、キャリブレーション対象となる被校正撮影装置１９から取得された焦点距離情報に応じて、キャリブレーションチャート画像表示部（１４、３４）に表示されるキャリブレーションチャート画像の大きさ又は密度の少なくとも一方を変更する焦点距離修正制御部（１８、３８）を備えている。このように構成された装置においては、ズームレンズのように焦点距離が可変の被校正撮影装置１９に対しても、容易に最適なキャリブレーションチャート画像に変換して表示できる。
【００１６】
【発明の実施の形態】
以下図面を用いて本発明を説明する。図１は本発明の第１の実施の形態を説明する全体構成ブロック図である。図において、本発明のキャリブレーションチャート画像表示装置は、校正画像記憶部１２、表示画像メモリ１３、キャリブレーションチャート画像表示部１４、表示順序制御部１５、撮影信号出力部１６、校正画像切換え指示部１７を備えている。校正画像記憶部１２は、所定のキャリブレーション撮影方向から撮影されたキャリブレーションチャート１の画像を記憶する。なお、キャリブレーションチャート１とキャリブレーション撮影方向の詳細は後で説明する。表示画像メモリ１３は、キャリブレーションチャート画像表示部１４に表示される画像を記憶するメモリである。キャリブレーションチャート画像表示部１４は、校正画像記憶部１２に記憶されたキャリブレーションチャート画像を、キャリブレーション撮影方向に応じて表示するもので、例えばパソコンのＣＲＴや液晶のようなモニター装置が用いられる。
【００１７】
表示順序制御部１５は、キャリブレーションチャート画像表示部１４に表示されるキャリブレーションチャート画像を、被校正対象となる撮影装置１９の撮影動作に連動して、順次選択する。撮影信号出力部１６は、キャリブレーションチャート画像表示部１４が、キャリブレーションチャート画像を表示した後、撮影信号を被校正撮影装置１９に出力する。校正画像切換え指示部１７は、被校正撮影装置１９によるキャリブレーションチャート画像の撮影完了信号を入力して、キャリブレーションチャート画像表示部１４に後続するキャリブレーションチャート画像の表示命令信号を出力する。被校正撮影装置１９としては、例えば可動焦点距離式のズームレンズや固定焦点式レンズを用いたカメラが用いられる。
【００１８】
なお、被校正撮影装置１９が撮影信号出力部１６の撮影信号を受信すると撮影したり、撮影完了信号を出力する構造となっていない場合には、撮影信号出力部１６と校正画像切換え指示部１７を用いることはなく、撮影者がマニュアルで被校正撮影装置１９のシャッターを操作してキャリブレーションチャート１の撮影を行なう。マニュアルで被校正撮影装置１９を操作する場合には、表示順序制御部１５は、キャリブレーション撮影方向毎に一定時間（例えば１０秒間）キャリブレーションチャート画像を表示させる。
【００１９】
次に、キャリブレーションチャートとしてのチャート１について説明する。ここでは、チャート１として紙やプラスチックシートに所定のマークを印刷してある場合を例に説明するが、平面画面に所定のマークを配列した画像を表示するものでもよい。
【００２０】
図２は、キャリブレーションチャートの一例を示す平面図である。チャート１は、平面的なシート形状であって、表側に視認容易な第１マークと多数の点から構成される第２マークが印刷されている。ここでは、第１マークはチャート１に総計５個配置されるもので、外形菱形で、中心部分に第２マークと共通の図柄が描かれている。第１マーク１ａ、１ｂ、１ｃ、１ｄは、チャート１を４象限に区分したとき、各象限に設けられるもので、第１マーク１ａは左上象限、第１マーク１ｂは右上象限、第１マーク１ｃは左下象限、第１マーク１ｄは右下象限に位置している。第１マーク１ｅは、各象限と共通となる原点位置に設けられている。例えば第１マーク１ａ、１ｂ、１ｃ、１ｄは、第１マーク１ｅに対して等距離ｄの位置に設けられている。チャート１が矩形であるとして、第１マーク１ａ、１ｂと第１マーク１ｅとの縦方向の間隔をｈ、第１マーク１ｃ、１ｄと第１マーク１ｅとの縦方向の間隔をｌとする。このとき、第１マーク１ａ、１ｂ、１ｃ、１ｄと第１マーク１ｅとの距離ｄは、以下の関係を充足する。
ｄ＝（ｈ２＋ｌ２）^１／２ （１）
【００２１】
第１マークと第２マークは、予め所望の寸法で印刷するか、もしくは寸法を計測しておく。第１マークと第２マークの印刷位置の数値は、キャリブレーション装置のマーク座標記憶部１０に読込んで、概略マーク位置測定部５において概略位置測定と対応づけのために利用される。なお、チャート１は、コンピュータの記憶装置に画像データとして記憶させておき、キャリブレーションする場所において印刷して使用しても良い。第１マークと第２マークの位置は、予めキャリブレーション装置の中に記憶してあるものを使い、その記憶された座標にてシートに印刷すれば、計測作業は不要になるので作業は簡単なものになる。あるいは、チャート１を精密に計測して、第１マークと第２マークの座標位置を測定し、その座標値をマーク座標記憶部１０に格納して利用する構成としてもよい。
【００２２】
第１マークは、概略マーク位置測定及び対応付けに利用されるだけでなく、撮影方向を決める視標としても利用される。さらに、第１マークの外形菱形の中心部分は第２マークと共通の図柄とすることにより、精密マーク位置測定部６で精密測定する際のテンプレートとして使用される。
【００２３】
図３は第１マークの一例を示す説明図で、（Ａ）は菱形、（Ｂ）は４本の矢印、（Ｃ）は黒塗り矩形を示している。図３（Ａ）、（Ｂ）では、第１マークは第２マークと共通の図柄を囲むように菱形又は４本の矢印を配置し、作業者にとって視認容易になるように配慮してある。このように視認容易な図柄とすることで、第１マークの抽出が容易なものとなると共に、被校正撮影装置１９の撮影方向として広い撮影角度の中から一つの撮影角度を選択しても、撮影された画像から第１マークを見逃すことがない。図３（Ｃ）では、第１マークは黒塗り矩形とし、中心部の図柄は第２マークとは反転した色彩になっているが、このようにしても検出は容易である。また、精密マーク位置測定部５にて測定する際にも、図３（Ｃ）の図柄に対しては、第１マークの階調を反転することにより、第２マークのテンプレートとすることができる。
【００２４】
第２マークは、被校正撮影装置１９によって撮影されたチャート１の画像データの位置を指定するもので、ターゲットとも呼ばれており、好ましくは均等の密度で満遍なくチャート１に配置する。第２マークは、チャート１の３０箇所以上に設けられるのが好ましく、さらに好ましくは１００〜２００箇所程度にするとよい。しかし、第２マークを徒に多く設けると、第２マーク自体が小さくなって見難くなると共に、レンズ収差の測定演算時間も長くなるため、実際上の上限は存在しており、例えば１０００個である。第２マークは、チャート１に満遍なく多数配置されるので、精密位置計測のしやすいものであれば、各種の図柄を採択して良い。例えば、第２マークとしては、黒丸『●』、プラス『＋』、二重丸『◎』、英文字『Ｘ』、星印『★』、黒塗り四角『■』、黒塗り三角形『▲』、黒塗り菱形『◆』等を用いることができる。
【００２５】
続いて、レンズ収差の極めて少ないレンズによって、キャリブレーションチャート画像用に、チャート１を撮影する手順について説明する。図４はキャリブレーション撮影方向を説明する図で、（Ａ）はキャリブレーション撮影方向のカメラ配置を示した立体図であり、（Ｂ）は一般的に標準レンズ及び望遠レンズを使用したときのキャリブレーション撮影方向に対応するカメラ間隔を示した図である。チャート１を異なる撮影角度から撮影した画像として、所定のキャリブレーション撮影方向に関する２枚以上の画像があれば、キャリブレーション画像として利用可能となる。好ましくは、チャート１としてシートに印刷された平面チャートを用いる場合には、３以上の撮影角度方向から撮影することによって、各キャリブレーション要素、特に焦点距離、の測定値が安定し、かつ信頼性の高いものになる。また、カメラ２は、例えば写真測量や写真計測用の撮影用カメラのように、キャリブレーション画像撮影用のレンズ収差の極度に少ない高性能カメラを用いる。
【００２６】
キャリブレーション画像は、図４（Ａ）に示すような５方向、即ち正面（Ｉ）、左上（ＩＩ）、右上（ＩＩＩ）、左下（ＩＶ）、右下（Ｖ）をキャリブレーション撮影方向として撮影する。カメラ２の光軸と平面チャートとの撮影入射角は、実際の撮影現場での奥行き精度を１ｃｍ程度に設定すると、１０度〜３０度の範囲が好ましく、他方レンズの焦点深度との関係でピントの合う距離も限られていることも考慮すると、１２度〜２０度の範囲がさらに好ましい。典型的には、カメラ２の光軸と平面チャートとの撮影入射角として１５度を採用するとよい。
【００２７】
以下、図５を参照して各キャリブレーション撮影方向によるチャート１の撮影手順を説明する。図５は、（Ａ１）、（Ａ２）、（Ａ３）、（Ａ４）にてカメラの画像を示し、カメラ画像に対応するチャート１とカメラ２の位置関係を（Ｂ１）、（Ｂ２）、（Ｂ３）、（Ｂ４）にて示している。なお、番号（Ｉ）〜（Ｖ）は図４（Ａ）のカメラ位置に対応している。
【００２８】
（Ｉ）：正面から、チャート１の第１マークと第２マーク全てが一杯に入るよう撮影する（図５（Ａ１）、（Ｂ１））。第１マークと第２マークをなるべく一杯に、撮影画像のすみまでいれることにより、レンズ周辺部までのディストーション補正が確実になる。そこで、カメラの焦点距離に応じて、撮影距離Ｈが変化する。
（ＩＩ）：次に、一般的に標準レンズ及び望遠レンズを使用した場合、正面のカメラ位置を中心として、撮影距離Ｈの１／３程度離れた位置にカメラを移動させて、例えば左上象限の第１マーク１ａが撮影中心となるようにカメラ位置を変える（図５（Ａ２）、（Ｂ２））。但し、一般的に広角レンズを使用した際に、撮影距離Ｈが約１ｍ以内の場合は、カメラ位置は目的とする第１マークが正面に来るようにカメラ２を移動させればよい。そして、カメラ２のカメラ位置をそのままにして、中央にある第１マーク１ｅが中心となるようにカメラ２の方向を向ける（図５（Ａ３）、（Ｂ３））。次に、カメラ２をチャート１に近づけるように移動して、カメラ２の撮影画像に対して第１マークと第２マークが一杯に入るようにして撮影する（図５（Ａ４）、（Ｂ４））。
【００２９】
（ＩＩＩ）：右上象限の第１マーク１ｂが撮影中心となるようにカメラ位置を変える。そして、カメラをそのまま中央にある第１マーク１ｅが中心となるようにカメラの方向を向け、第１マークと第２マークが一杯に入るようにして撮影する。（ＩＶ）：左下象限の第１マーク１ｃが撮影中心となるようにカメラ位置を変える。そして、カメラをそのまま中央にある第１マーク１ｅが中心となるようにカメラの方向を向け、第１マークと第２マークが一杯に入るようにして撮影する。
（Ｖ）：右下象限の第１マーク１ａが撮影中心となるようにカメラ位置を変える。そして、カメラをそのまま中央にある第１マーク１ｅが中心となるようにカメラの方向を向け、第１マークと第２マークが一杯に入るようにして撮影する。
このような手順によって、カメラ２の角度が必要な撮影角度の差として確保できるので、焦点距離が確実に測定できるようになる。
【００３０】
ここで、カメラ２とチャート１の間隔Ｈは、標準レンズや広角レンズの焦点距離ｆから定められる。例えば、焦点距離が３５ｍｍの標準レンズでは、撮影距離Ｈは９０ｃｍ程度になる。チャート１に設けられた第１マークの相互間隔ｄは、例えば２０ｃｍであるから、正面（Ｉ）から左上（ＩＩ）等に撮影方向を傾けるとき、撮影角度として約１０度が確保される。
なお、撮影方向の傾斜角度の上限は焦点深度などによって定まる。即ち、撮影方向の傾斜角度が大きいとカメラ２と第１マーク間の距離が各第１マークによって相違し、画像に写る第１マークの像がボケてしまう。そこで、撮影方向の傾斜角度の上限は、例えば３０度となる。実際の撮影手順は上記（Ｉ）〜（Ｖ）に示した通りで、カメラの画面一杯に第１マークと第２マークが入るように撮影すれば、自ずと上記条件になるので、撮影距離と位置の条件が満足される。
【００３１】
望遠レンズや標準レンズのレンズ収差を計測する場合は、撮影レンズの画角が狭くなり、角度がつかなくなるため、正面（Ｉ）から左上（ＩＩ）等に撮影方向を傾けるとき、撮影角度としての１０度が確保されなくなる。即ち、焦点距離が長い場合にはカメラ２とチャート１の撮影距離Ｈが１ｍ以上であって、第１マークの相互間隔ｄが２０ｃｍ程度に過ぎないためである。そこで、図４（Ｂ）に示すように、正面のカメラ位置を中心として、左側のカメラ位置（ＩＩ）、（ＩＶ）と、右側のカメラ位置（ＩＩＩ）、（Ｖ）を定める。この際に、左右のカメラ位置の間隔を正面（Ｉ）の位置からそれぞれ撮影距離Ｈの１／３程度とった位置にカメラを設置して、上述の左上（ＩＩ）、左下（ＩＶ）及び右上（ＩＩＩ）、右下（Ｖ）での撮影を行えばよい。カメラの光軸は、チャート１の法線方向と一致させればよいが、チャート１方向を向けても良い。
【００３２】
なお、上記の実施の形態においては、撮影位置として正面（Ｉ）、左上（ＩＩ）、右上（ＩＩＩ）、左下（ＩＶ）、右下（Ｖ）の５方向の場合を示したが、撮影位置は最低の場合には左右２方向あればよく、また３方向以上でもよい。左右２方向の場合も、撮影角度として約１０度が確保されるようにしてチャート１の撮影を行う。
【００３３】
また、チャート１は、平面シートに代えて、例えばノートパソコンのような平面的な表示画面を有する機器に、第１マークと第２マークが表示された平面シートの画像表示を用いてもよい。液晶表示画面のようにガラスを用いた画面は、紙やプラスチックに比較して湿度や温度による平面の伸縮が極めて少ないため、チャート１の表示装置として適している。また、液晶表示画面として携帯型パソコンの表示画面を用いると、表示精度がよい点に加えて、可搬性に優れているので、作業現場であっても防水や衝撃に注意すれば、通常の使用に耐える。
【００３４】
図６はキャリブレーションチャート画像表示部１４によって表示されるキャリブレーション画像の一例を説明する図である。キャリブレーション画像は、例えば図４（Ａ）で説明した正面（Ｉ）、左上（ＩＩ）、右上（ＩＩＩ）、左下（ＩＶ）、右下（Ｖ）の５方向をキャリブレーション撮影方向として、図２で示すチャート１を撮影したものである。
【００３５】
図７は、本発明が適用されるキャリブレーション装置を説明する全体構成ブロック図である。キャリブレーションチャート画像表示部１４は、キャリブレーション画像をキャリブレーション撮影方向が判別できる態様で表示する。被校正撮影装置１９は、キャリブレーションの対象となるカメラで、典型的には汎用の光学式カメラやデジタルカメラのように、レンズ収差が写真測量や写真計測用の撮影用カメラに比較して、大きいものである。被校正撮影装置１９は、広角レンズや標準レンズでもよく、また望遠レンズを備えていても良い。
【００３６】
画像データ記憶部３は、被校正撮影装置１９によって撮影されたキャリブレーション画像データを記憶する記憶装置で、例えば磁気ディスク、ＣＤ−ＲＯＭのような電磁気的記憶媒体が用いられる。画像データ記憶部３では、キャリブレーション撮影方向が判別できる態様で、被校正撮影装置１９が撮影したキャリブレーション画像が記憶されているとよい。
【００３７】
キャリブレーション装置は、抽出部４、概略マーク位置測定部５、精密マーク位置測定部６、演算処理部７、画像処理部８、マーク座標記憶部１０並びにレンズ収差補償パラメータ記憶部１１を備えると共に、外部機器として画像データ記憶部３や表示部９を備えている。キャリブレーション装置には、例えばＣＰＵとしてインテル社製のペンティアム（登録商標）やセレロン（登録商標）を搭載したコンピュータを用いるとよい。
【００３８】
抽出部４は、画像データ記憶部３に格納される画像データから第１マークを抽出して、第１マークの画像座標値を求める第１マーク抽出処理を行う。第１マーク抽出処理は、概略マーク位置測定部５による第２マークの概略位置算出と対応付けの前処理として行われる。この第１マークの画像座標値は、マーク座標記憶部１０に記憶される。なお、第１マークが第２マークと共通の図柄を含んでいる場合には、第１マーク内の第２マーク位置によって第１マークの画像座標値とするとよい。抽出部４による第１マーク抽出処理の詳細は、後で説明する。
【００３９】
概略マーク位置測定部５は、抽出部４にて抽出された第１マークの画像座標値から射影変換を行って外部標定要素を求め、単写真標定の定理、並びに共線条件式を用いて、第２マークの概略位置を演算して、校正用写真組の画像相互の対応付けを行う。概略マーク位置測定部５による第２マークの概略位置演算処理の詳細は、後で説明する。
【００４０】
精密マーク位置測定部６は、校正用写真組の画像に対して第２マークの認識を行い、重心位置検出法等によって第２マークの位置を精密に演算する。演算処理部７は、精密マーク位置測定部６にて演算された第２マークの位置が、チャート１の画像データにおける他の第２マークの位置と著しい齟齬が生じていた場合には、齟齬の生じた第２マークの位置を除外する機能を有する。また、演算処理部７は、精密マーク位置測定部６にて演算された第２マークのうち、キャリブレーションに適切な第２マークを抽出して、外部標定要素と対象点座標を同時調整すると共に、被校正撮影装置１９の内部パラメータを演算する。演算された被校正撮影装置１９の内部パラメータは、レンズ収差補償パラメータ記憶部１１に格納すると良い。被校正撮影装置１９の内部パラメータには、主点位置、画面距離、歪曲パラメータがある。なお、ここでは歪曲パラメータのみを求めているが、ザイデルの５収差を構成する球面収差、コマ、非点収差、像面のそりについても、求めても良い。演算処理部７にて求められた内部パラメータは、表示部９にてグラフィック表示される。なお、精密マーク位置測定部６、並びに演算処理部７の被校正撮影装置１９の内部パラメータ演算処理に関しての詳細は、後で説明する。
【００４１】
画像処理部８は、演算処理部７にて求められた内部パラメータを用いて、被校正撮影装置１９によって撮影された画像（特に、チャート１以外の画像）のデータ画像を再配列する。すると、被校正撮影装置１９によって撮影された画像が、レンズ収差の大部分が除去された歪の著しく少ない画像として、表示部９に表示される。表示部９は、ＣＲＴや液晶ディスプレイのような画像表示装置である。マーク座標記憶部１０には、第１マークの画像座標値が記憶されていると共に、第２マークの管理番号並びにその画像座標値が記憶されている。レンズ収差補償パラメータ記憶部１１には、演算処理部７にて演算された被校正撮影装置１９の内部パラメータが記憶されている。
【００４２】
次に、図８を参照して、本発明のキャリブレーションチャート画像表示装置及びキャリブレーション装置を用いたキャリブレーション処理の流れ全体について説明する。図８は、キャリブレーション処理の流れ全体を説明するフローチャートである。まず、レンズ収差の補償対象となる被校正撮影装置１９によって、キャリブレーションチャート画像表示部１４に表示されたキャリブレーション画像を撮影する（Ｓ１０）。ここで、Ｓ１０の詳細を説明する。図９はＳ１０におけるキャリブレーションチャート画像表示装置を用いたキャリブレーション画像撮影を説明するフローチャートである。
【００４３】
まず最初に、被校正撮影装置１９がズームレンズの場合には、キャリブレーションしたい焦点距離に設定する（Ｓ１１）。焦点距離は、例えば広角側と望遠側のうち、ズームレンズの広角側に設定するのが良いが、望遠側でも差し支えない。なお、被校正撮影装置１９が固定焦点の場合は、ステップＳ１１を省略してよい。
【００４４】
次に、キャリブレーションチャート画像表示部１４に、キャリブレーションチャート画像を表示する（Ｓ１２）。表示するキャリブレーションチャート画像は、キャリブレーションチャート１を撮影したものでも、コンピュータにて生成されたキャリブレーションチャートでもよい。キャリブレーションチャート画像表示部１４は、例えばパソコンのモニタ画面を用いるのが良く、表示するキャリブレーション画像は、モニタ画面いっぱいに第１及び第２のマーク（ターゲット）が表示されるのがよい。キャリブレーション画像のキャリブレーション撮影方向としては、例えば図６（Ｅ）のように、第１画面として被校正撮影装置１９とキャリブレーション画像が正対した画像を選択する。
【００４５】
次に、被校正撮影装置１９の画面に、キャリブレーションチャート画像表示部１４に表示されたキャリブレーション画像がいっぱいに映るようにカメラ位置を設定する（Ｓ１３）。カメラ位置とは、被校正撮影装置１９とキャリブレーションチャート画像表示部１４との距離を含む概念である。そして、被校正撮影装置１９により、キャリブレーションチャート画像表示部１４に表示されたキャリブレーション画像を撮影する（Ｓ１４）。
【００４６】
そして、被校正撮影装置１９がキャリブレーションに必要な画像をすべて撮影したか判断する（Ｓ１５）。例えば、図６に示すような、正面（Ｉ）、左上（ＩＩ）、右上（ＩＩＩ）、左下（ＩＶ）、右下（Ｖ）の５方向をキャリブレーション撮影方向とするキャリブレーション画像に対して、被校正撮影装置１９による撮影がすべて終了したか、判定する。もし終了していなければ、Ｓ１２に戻って、他のキャリブレーション撮影方向から撮影したのと等価なキャリブレーション画像をキャリブレーションチャート画像表示部１４に表示して、被校正撮影装置１９による撮影を必要枚数繰り返す（例えば、図６（Ｅ）以外の残り４方向）。
【００４７】
被校正撮影装置１９について、一つの焦点距離で必要枚数の撮影が終了したのち、被校正撮影装置１９がズームレンズの場合には、必要とする全ての焦点距離で撮影が終了したか判定する（Ｓ１６）。なお、被校正撮影装置１９が固定焦点の場合は、必要とされる焦点距離が一つなので、キャリブレーション画像の撮影作業を終了する。被校正撮影装置１９がズームレンズの場合は、Ｓ１６にて未了と判断されると、必要とされる次の焦点距離に対する撮影処理をＳ１１に戻って繰り返す。例えば、被校正撮影装置１９の焦点距離として、補間したい必要焦点数についてズームレンズを調整して、Ｓ１１〜Ｓ１６の処理を繰り返す。ここで、被校正撮影装置１９のキャリブレーション画像の対象となる焦点距離数はキャリブレーションの必要精度に変えるのが良く、またズームレンズのレンジに応じて変えてもよい。この焦点距離数は、最低値として２焦点距離であるが、３以上の焦点距離でもよい。例えば、被校正撮影装置１９が広角から望遠まで５焦点の場合は５回行う。従って、被校正撮影装置１９について焦点距離変更した場合、キャリブレーション画像を被校正撮影装置１９の画面いっぱいに撮影できるよう、カメラ位置を変更して繰り返す。
【００４８】
被校正撮影装置１９によるキャリブレーション画像の撮影が終了したら、撮影されたキャリブレーション画像を画像データ記憶部３に格納する（Ｓ１７）。キャリブレーション画像の格納は、フレキシブルディスクのような電磁気的記憶媒体でも良く、またインターネット経由にて通信によりキャリブレーション装置に画像データを転送してもよい。そして、Ｓ１７の処理が完了すると戻しとなる。
【００４９】
図８に戻り、画像データ記憶部３に格納されたキャリブレーション画像に関して、画像上に記録されている焦点位置を読み込む（Ｓ２０）。次に、キャリブレーション画像に関して、被校正撮影装置１９の同一焦点距離の画像を一グループとして、各焦点距離ごとのキャリブレーション画像グループを作成する（Ｓ２５）。なお、被校正撮影装置１９が固定焦点式であれば、単一の焦点距離に関してキャリブレーション処理を行なえば良い。
【００５０】
続いて、各焦点距離ごとに形成されたキャリブレーション画像グループから今回の処理対象となる画像が選択される（Ｓ３０）。即ち、キャリブレーション装置は、選択されたキャリブレーション画像グループの画像データを画像データ記憶部３から読込んで、表示部９に表示する。そして、操作者は表示部９に表示された画像から、ターゲットの対応付け及び計測を行う画像を選択する。そして、抽出部４により、選択された画像につき第１マーク抽出処理を行う（Ｓ４０）。
【００５１】
（Ｉ）：第１マーク抽出処理
第１マーク抽出処理では、測定対象面に設定されたチャート１の平面座標とその画像座標（カメラ側）との二次射影変換式を決定するため、平面座標上の第１マークのうち、最低３点以上を画像データ上で計測する。ここでは、第１マークの中に第２マークを含んでいるので、含まれた第２マークの位置を指定することで、正確に第１マークの位置を指定する。第１マーク抽出処理は、次のＩ−▲１▼からＩ−▲４▼までの処理を第１マークの点数分繰り返す。例えば、図２に示すチャート１では、左右各２点の第１マーク１ａ、１ｂ、１ｃ、１ｄについて行う。
【００５２】
Ｉ−▲１▼…操作者は表示部９に表示された全体画像上で、検出したい第１マーク中の第２マークにマウスのカーソル位置を合わせクリックし、第１マークの概略位置を求める。
Ｉ−▲２▼…Ｉ−▲１▼で求められた画像座標を中心として、拡大画像より第２マークを含んだ、局所となる画像を切り出して、表示する。このとき、第２マークを含む画像を第２マーク精密位置測定のテンプレートとして使うことができる。
Ｉ−▲３▼…Ｉ−▲２▼で表示した拡大画像に対して、第２マークの重心位置にマウスのカ−ソル位置を合わせクリックし、この画像座標を第１マークの重心位置とする。なお、後続の処理で概略位置対応付けを行うために、Ｉ−▲３▼での位置あわせは厳密でなくともよい。
Ｉ−▲４▼…次に、マーク座標記憶部１０に記憶された第２マークの管理番号と対応させるために、Ｉ−▲３▼で計測された第１マークの重心位置に対応する第２マークの管理番号を入力する。このとき、入力された第２マークの管理番号には、Ｉ−▲３▼で計測された第１マークの重心位置が基準点座標として記憶される。
【００５３】
なお、第１マーク抽出処理では、例えばチャート１上の第１マークの計測順序を予め決めておけば、第２マークの管理番号を入力せずとも、抽出部４側で自動採番処理が可能である。また、第１マーク抽出処理では、操作者が作業しやすいように、例えば、表示部９に表示されている選択画像を二つに分割し、片側に図２のような全体画像、もう一方側に図３（Ａ）、（Ｂ）、（Ｃ）のような拡大画像を表示するようにすれば、位置計測がしやすくなる。
【００５４】
次に、第１マーク抽出処理の他の処理手順として、拡大画像を用いないで図２のような全体画像だけで計測する方式がある。この場合、Ｉ−▲１▼の処理を行うと共に、Ｉ−▲４▼においてＩ−▲１▼で計測された第１マークの重心位置に対応する第２マークの管理番号を入力する。このようにすると、拡大画像を用いないため、Ｉ−▲２▼、Ｉ−▲３▼の処理が省略できる。ただし全体画像表示なので、第１マークが小さく表示されるため、操作者の好みで拡大画像を利用するかしないか判断すればよい。
【００５５】
次に、第１マーク抽出処理を抽出部４により自動処理する場合を説明する。まず、第１マークのうち第２マークを含まない外枠部分をテンプレートとして登録する。この登録は、例えば先に説明した、第１マーク抽出処理における最初の第１マークをテンプレート画像として登録すればよい。すると、テンプレートマッチング処理にて、残りの第１マークを自動で計測することができる。また、第１マークの場合の位置対応付けは、第１マークの位置が画像上から明確であるため容易に行える。例えば図２の第１マーク配置であれば、その検出座標から５点の第１マークの対応付けを行うのは容易である。なお、テンプレートマッチングの処理については、後で説明する第２マーク精密位置測定におけるターゲットの認識処理（Ｓ６２）と同様なので、説明を省略する。
【００５６】
続いて、第１マーク抽出処理を抽出部４によりさらに自動処理する場合を説明する。第１マーク抽出処理における第１マークのテンプレート画像を、予め抽出部４に登録しておく。すると、第１マークのテンプレート画像を用いて、テンプレートマッチングの処理により第１マークが個別に抽出されるので、Ｉ−▲１▼の第１マークを指定する作業は全て省略することも可能である。即ち第１マークが第２マークに対して明確に異なるマークであれば、仮想のテンプレート画像を抽出部４が持つことによっても、自動処理が可能となる。
しかしながら、第１マークは最低３点以上計測すればよいので、マニュアルによる作業でも、簡単な作業である。
【００５７】
図８に戻り、概略マーク位置測定部５により第２マーク概略位置測定と対応付けを行う（Ｓ５０）。第２マーク概略位置測定と対応付けは、外部標定要素を求める工程（ＩＩ−１）と、第２マークの概算位置を演算する工程（ＩＩ−２）を含んでいる。
（ＩＩ−１）：外部標定要素を求める工程
概略マーク位置測定部５では、Ｓ４０で求めた第１マークの画像座標と対応する基準点座標を式（２）に示す二次の射影変換式に代入し、観測方程式をたてパラメ−タ−ｂ１〜ｂ８を求める。
Ｘ＝（ｂ１・ｘ＋ｂ２・ｙ＋ｂ３）／（ｂ７・ｘ＋ｂ８・ｙ＋１）
Ｙ＝（ｂ４・ｘ＋ｂ５・ｙ＋ｂ６）／（ｂ７・ｘ＋ｂ８・ｙ＋１） （２）
ここで、ＸとＹは基準点座標、ｘとｙは画像座標を示している。
【００５８】
次に、基準点座標と画像座標の関係を説明する。図１１（Ａ）は中心投影における画像座標系と対象座標系の説明図である。中心投影の場合、投影中心点Ｏｃを基準にしてチャート１の置かれる基準点座標系としての対象座標系５２と、被校正撮影装置１９のフィルム又はＣＣＤが置かれる画像座標系５０が図１１（Ａ）のような位置関係にある。対象座標系５２における基準マークのような対象物の座標を（Ｘ，Ｙ，Ｚ）、投影中心点Ｏｃの座標を（Ｘ０，Ｙ０，Ｚ０）とする。画像座標系５０における座標を（ｘ，ｙ）、投影中心点Ｏｃから画像座標系５０までの画面距離をＣとする。ω、φ、κは、画像座標系５０の対象座標系５２を構成する３軸Ｘ，Ｙ，Ｚに対するカメラ撮影時の傾きを表すもので、外部標定要素と呼ばれる。
【００５９】
そして、式（２）のパラメ−タ−ｂ１〜ｂ８を用いて、式（３）より次の外部標定要素を求める。
ω＝ｔａｎ^−１（Ｃ・ｂ８）
φ＝ｔａｎ^−１（−Ｃ・ｂ７・ｃｏｓω）
κ＝ｔａｎ^−１（−ｂ４／ｂ１） （φ＝０のとき）
κ＝ｔａｎ^−１（−ｂ２／ｂ５） （φ≠０、ω＝０のとき）
κ＝ｔａｎ^−１｛−（Ａ１・Ａ３−Ａ２・Ａ４）／（Ａ１・Ａ２−Ａ３・Ａ４）｝（φ≠０、ω≠０のとき）
【００６０】

ただし、Ａ１＝１＋ｔａｎ^２φ、Ａ２＝Ｂ１＋Ｂ２・ｔａｎφ／ｓｉｎω、Ａ３＝Ｂ４＋Ｂ５・ｔａｎφ／ｓｉｎω、Ａ４＝ｔａｎφ／（ｃｏｓφ・ｔａｎω）とする。また、Ｚｍは第１マーク１ａ、１ｂ、１ｃ、１ｄ４点の基準点の平均標高とする。ここでは、第１マーク１ａ、１ｂ、１ｃ、１ｄ４点の基準点は平面座標上なので、標高一定の面と仮定できる。Ｃは焦点距離で、前述の画面距離に相当している。
【００６１】
（ＩＩ−２）：第２マークの概算位置を演算する工程
次に、単写真標定の原理から、対象座標系５２で表される地上の対象物（Ｘ，Ｙ，Ｚ）に対する、画像座標系５０で表される傾いたカメラ座標系におけるカメラ座標（ｘｐ、ｙｐ、ｚｐ）は、式（４）で与えられる。
【数１】

ここで、Ｘ０、Ｙ０、Ｚ０は、前述したように、図１１（Ａ）に示すような投影中心点Ｏｃの地上座標とする。
【００６２】
ここで、式（３）で求めたカメラの傾き（ω、φ、κ）を、式（４）中に代入し、回転行列の計算をして、回転行列の要素ａ１１〜ａ３３を求める。
【００６３】
次に、求めた回転行列の要素ａ１１〜ａ３３と式（３）で求めたカメラの位置（Ｘ０、Ｙ０、Ｚ０）、及びタ−ゲットの基準点座標（Ｘ，Ｙ，Ｚ）を共線条件式｛式（５）｝に代入し、タ−ゲットの画像座標（ｘ、ｙ）を求める。ここで、共線条件式とは、投影中心、写真像及び地上の対象物が一直線上にある場合に成立する関係式である。これにより、レンズ収差がない場合の第２マークの位置が算出されるので、レンズ収差のある現実の被校正撮影装置１９で撮影した画像におけるタ−ゲットの概略の画像座標が求める。

【００６４】
ところで、式（３）中のｔａｎ^−１の演算では解が二つ求めるため、カメラの傾き（ω、φ、κ）はそれぞれ２つ解をもち全通りの計算を行う。そして、第１マーク抽出処理で計測した第１マーク１ａ、１ｂ、１ｃ、１ｄ４点の画像座標と、式（５）で求めた対応する４点の画像座標との残差の比較により、正解となるω、φ、κを算出する。
なお、ここでは射影変換式として二次の射影変換式を用いて説明したが、本発明はこれに限定されるものではなく、三次の射影変換式等の他の射影変換式を利用しても良い。また、概略マーク位置測定部５では、例えばマーク座標記憶部１０に格納されている基準点座標ファイルに付加してある第２マークの管理番号を、各第１マークのタ−ゲット（第２マーク）に割り振ることにより、第２マークの対応づけを行う。
【００６５】
図８に戻り、精密マーク位置測定部６によって第２マークの精密位置測定を行う（Ｓ６０）。以下、図１０を用いて第２マークの精密位置測定の処理手順を詳細に説明する。まず、精密マーク位置測定部６は、第２マークとしてのタ−ゲットを認識する（Ｓ６２）。このターゲット認識には、例えば正規化相関を用いたテンプレ−トマッチングを用いる。以下、ターゲット認識の詳細について説明する。
【００６６】
（ＩＩＩ）ターゲット認識
図１１（Ｂ）はターゲット認識に用いられる正規化相関のテンプレ−ト画像と対象画像の説明図である。まず、第１マーク抽出処理（Ｓ４０）で計測した第１マーク、例えば第１マーク１ａ、１ｂ、１ｃ、１ｄ４点のタ−ゲットの重心位置の中から、任意のタ−ゲットを選ぶ。正規化相関のテンプレ−ト画像は、選ばれたターゲットの重心位置（画像座標）を中心とする、Ｍ×Ｍ画素の画像とする。また、第２マーク概略位置測定（Ｓ５０）で算出したタ−ゲットの概略位置（画像座標）を中心として、Ｎ×Ｎ画素の画像を対象画像とする。
【００６７】
次に、対象画像に対して、式（６）に示す正規化相関によるテンプレ−トマッチングを施し、相関値が最大となる位置を求める。この相関値が最大値となる位置にて重ね合わせが達成され、最大値となる位置にてタ−ゲットが認識されたとみなす。ここでのテンプレ−ト画像の中心座標を等倍画像上の画像座標に換算し、検出点とする。

ここで、Ａは相関値、Ｍはテンプレ−ト画像の正方サイズ、Ｘｉは対象画像、Ｔｉはテンプレ−ト画像とする。また、画像の正方サイズＮ、Ｍは可変であるが、処理時間の高速化をはかるため、Ｎ、Ｍはタ−ゲットが十分格納できるのを前提にできるだけ小さくするのがよい。
【００６８】
図１０に戻り、第２マークの精密位置測定を行うために、第２マークのサブピクセルエッジ検出を行う（Ｓ６４）。第２マークのサブピクセルエッジ検出を行う対象画像は、Ｓ６２でタ−ゲットと認識された検出点を中心としてＮ×Ｎ画素の画像とする。対象画像に存在する濃淡波形に、式（７）に示すガウス関数の二次微分であるラプラシアン・ガウシアン・フィルタ（ＬＯＧフィルタ）を施し、演算結果の曲線の２箇所のゼロ交差点、つまりエッジをサブピクセルで検出する。ここで、サブピクセルとは一画素よりも細かい精度で位置検出を行うことを言う。

ここで、σはガウス関数のパラメ−タ−である。
【００６９】
次に、ターゲットの重心位置を検出し（Ｓ６６）、戻しとする（Ｓ６８）。ここでは、式（７）を用いて求めたｘ、ｙ方向のエッジ位置より、その交点をタ−ゲットの重心位置とする。なお、第２マークの精密位置測定は、Ｓ６２〜Ｓ６６に開示した処理に限定されるものではなく、他の重心位置検出法、例えばモーメント法やテンプレートマッチング法をさらに改良して利用するなど、どのような求め方をしても良い。
【００７０】
図８に戻り、全タ−ゲット重心位置の確認をし、一見明白な過誤のないことを確認する（Ｓ７０）。即ち、ターゲット認識されたターゲットの位置検出が適切であるか確認する。操作者による確認の便宜のために、検出されたターゲットの位置を表示部９に表示する。過誤がない場合には、Ｓ８０に行く。過誤があれば、不適切なターゲットの位置を修正する（Ｓ７５）。例えば、Ｓ６２で演算された相関値が低いターゲットや、重心検出位置が概略検出位置とあまりにかけ離れてしまったターゲットは、表示部９上にそのターゲット表示を赤くするなど、操作者に明確にわかるように表示する。すると、過誤のあったターゲットに関しては、操作者によるマニュアルにて計測しなおす（マウスで重心位置を指定する）。なお、ここで過誤のあったターゲット位置を無理に修正しなくとも、あとのキャリブレーションパラメータを求めるためのＳ９０の処理過程によっても、異常点として検出されるので、取り除くことが可能である。
【００７１】
そして、Ｓ３０〜Ｓ７５の処理を、レンズ収差の測定に必要な画像分繰り返す（Ｓ８０）。例えば、撮影された画像が５枚であれば、全ての５枚について繰り返しても良く、またレンズ収差の測定に必要な画像分に到達していれば、撮影された画像の全部を繰り返して処理しなくてもよい。
【００７２】
レンズ収差の測定に必要な画像分の計測処理を終了したら、次に演算処理部７のカメラの内部パラメータ演算処理を用いて、レンズ収差のキャリブレーション要素を求める処理に移る（Ｓ９０）。ここでは、キャリブレーション要素の演算対象として、チャート１上の第２マークについて、概略マーク位置測定部５と精密マーク位置測定部の処理により対応づけがなされ重心位置が求められている全ての第２マークについて行う。
【００７３】
（ＩＶ）：カメラの内部パラメータ演算処理（セルフキャリブレーション付きバンドル調整法）
演算処理部７のカメラの内部パラメータ演算処理としては、例えば写真測量分野で使用されている「セルフキャリブレーション付きバンドル調整法」を用いる。ここで、「バンドル調整」とは、被写体、レンズ、ＣＣＤ面を結ぶ光束（バンドル）は同一直線上になければならないという共線条件に基づき、各画像の光束１本毎に観測方程式をたて、最小２乗法によりカメラの位置と傾き（外部標定要素）と第２マークの座標位置を同時調整する方法である。「セルフキャリブレーション付き」とはさらに、キャリブレーション要素、即ちカメラの内部定位（レンズ収差、主点、焦点距離）を求めることができる方法である。セルフキャリブレーション付きバンドル調整法（以下単に「バンドル調整法」という）の共線条件基本式は、次の（式８）と（式９）である。
【００７４】
【数２】

【数３】

【００７５】
この（式８）と（式９）は、第１マーク抽出処理で説明した単写真標定の共線条件式（５）を基本式とするものである。即ちバンドル調整法は、（式８）と（式９）を用いて、複数画像から最小二乗近似して、各種解を算出する手法であり、各撮影位置のカメラの外部標定要素を同時に求めることが可能となる。即ち、カメラのキャリブレーション要素を求めることが可能となる。
【００７６】
次に、内部定位の補正モデル（レンズ収差）として、放射方向レンズ歪を有する場合の一例を次の（式１０）に示す。
【数４】

補正モデルはこれに限らず、使用レンズにあてはまるものを選択すればよい。これら計算は、基準点を地上座標と画像座標で６点以上あれば、逐次近似解法によって算出される。なお、演算処理部７では、逐次近似解法の閾値によって、閾値以上となった場合の誤差の大きいチャート１上の第２マークを省くことによって、正確なキャリブレーション要素を求めることが可能となる。そこで、ターゲット位置重心位置確認（Ｓ７０）において、誤差の大きい第２マークとして検出されなかった場合でも、Ｓ９０にて過誤のある第２マークを検出して、除去することが可能である。
【００７７】
図８に戻り、演算処理部７によるキャリブレーション要素を求める演算処理結果を判断し（Ｓ１００）、演算処理が収束しなかったり、或いは得られたキャリブレーション要素が適正と思われないものであった場合、Ｓ１１０にて対処する。Ｓ１１０では、過誤のある第２マークを含む画像を選択する。Ｓ９０におけるキャリブレーション終了時点で、演算処理部７によりどの画像のどの第２マークに過誤があるか判明しているので、その各画像における該当ターゲット検出点を表示して、確認する。
【００７８】
そして、操作者はマニュアル操作にて過誤のある第２マークを修正する（Ｓ１２０）。即ち、過誤のある第２マークの重心位置座標がずれて表示されているので、過誤のある第２マークとして表示されているマークを、適性として表示されている重心位置に移動させることで、修正が行われる。そして、過誤のある第２マークの位置修正が完了したか判断し（Ｓ１３０）、完了していればＳ９０のキャリブレーション要素演算に戻り、キャリブレーション要素を演算しなおす。他方、他に修正箇所があれば、Ｓ１１０に戻って、過誤のある第２マークの位置修正操作を繰り返す。
【００７９】
キャリブレーション要素を求める演算処理結果が適性であれば、他の焦点距離のキャリブレーション画像グループが存在するか判断する（Ｓ１３５）。もし、他の焦点距離のキャリブレーション画像グループが存在が存在していれば、Ｓ３０に戻る。全ての焦点距離のキャリブレーション画像グループに関して、キャリブレーション要素を求める演算処理結果が適性であれば、結果を表示部９に表示する（Ｓ１４０）。図１２は、キャリブレーション要素の演算処理結果の一例を示す説明図である。例えば、表示部９への表示には、キャリブレーション要素である焦点距離、主点位置、歪曲パラメータを表示する。レンズ収差を示すディストーションについては、補正前曲線１０２、補正後曲線１０４、理想に補正された場合１０６、についてグラフィック表示するとわかりやすい。
【００８０】
さらに、キャリブレーションした結果に基づいて、ディストーション補正した画像を、画像処理部８にて作成して表示部９に表示することもできる。こうすれば、ディストーションの大きいカメラにて撮影した画像も、ディストーション補正されて表示する画像表示装置を提供することが可能となる。
【００８１】
図１３は本発明の第２の実施の形態を説明する全体構成ブロック図である。図において、第２の実施の形態のキャリブレーションチャート画像表示装置は、校正画像記憶部１２、表示画像メモリ１３、キャリブレーションチャート画像表示部１４、表示順序制御部１５、撮影信号出力部１６、校正画像切換え指示部１７、焦点距離修正制御部１８を備えている。焦点距離修正制御部１８は、キャリブレーション対象となる被校正撮影装置１９から取得された焦点距離情報に応じて、キャリブレーションチャート画像表示部１４に表示されるキャリブレーションチャート画像の大きさ又は密度の少なくとも一方を変更する機能を有する。
【００８２】
図１４は、被校正撮影装置１９の焦点距離にあわせてキャリブレーション画像の密度を変更する場合の説明図で、（Ａ）は粗の場合、（Ｂ）は密の場合を示している。焦点距離修正制御部１８は、被校正撮影装置１９の焦点距離にあわせて、被校正撮影装置１９のファインダー上でいっぱいになるような密度と大きさになるキャリブレーション画像を計算して、キャリブレーションチャート画像表示部１４に表示させる。
【００８３】
図１５は、被校正撮影装置とキャリブレーション装置とが連携をとってキャリブレーション処理を行なう場合の配置図である。被校正撮影装置１９としてのカメラは、キャリブレーションチャート画像表示部１４に対して固定した位置に設置される。カメラとキャリブレーション装置としてのパソコンとを通信線を用いて接続すれば、画像の転送及び撮影のコントロールが撮影信号出力部１６、校正画像切換え指示部１７によって自動で行える。ズームレンズ対応のカメラの場合も、カメラとパソコンと接続すれば、焦点距離によってカメラとキャリブレーションチャート画像表示部１４との位置を変える必要はない。
【００８４】
図１６は、被校正撮影装置１９がズームレンズの場合に、キャリブレーション装置と連携をとってキャリブレーション処理を説明するフローチャートである。まず、被校正撮影装置１９とキャリブレーション装置用のソフトウェアをインストールしたパソコンとを信号線を用いて接続して、パソコンの電源を立ち上げる（Ｓ２００）。そして、被校正撮影装置１９のズームレンズを一番広角側に設定する（Ｓ２１０）。次に、キャリブレーションチャート画像表示部１４が被校正撮影装置１９のファインダーいっぱいになるような位置に被校正撮影装置１９を設定する（Ｓ２２０）。被校正撮影装置１９の位置が決まったら、被校正撮影装置１９を三脚に取り付けて、キャリブレーション装置によるキャリブレーションを撮影信号出力部１６、校正画像切換え指示部１７を用いて行える。
【００８５】
即ち、キャリブレーション装置は、キャリブレーションチャート画像表示部１４上にキャリブレーション画像を写す（Ｓ２３０）。そして、被校正撮影装置１９によりキャリブレーション画像を撮影する（Ｓ２４０）。ここで、キャリブレーション装置側から被校正撮影装置１９の撮影を撮影信号出力部１６、校正画像切換え指示部１７を用いてコントロールできるのであれば、キャリブレーション連携操作ソフトウェアを起動して、被校正撮影装置１９により撮影させる。あるいは操作者が手動で被校正撮影装置１９のシャッターを押してもよい。
【００８６】
次に、被校正撮影装置１９によるキャリブレーション画像の撮影が終了したか判断する（Ｓ２５０）。もし、被校正撮影装置１９の焦点距離について必要枚数撮影していなければ、Ｓ２３０に戻って、異なるキャリブレーション撮影方向のキャリブレーション画像を映し出し、所定枚数終了するまで被校正撮影装置１９の撮影を繰り返す。なお、キャリブレーション装置と被校正撮影装置１９が連動して動作できる構造であれば、キャリブレーションチャート画像表示部１４の画面をソフトウェアにて切り替えた後、撮影信号出力部１６、校正画像切換え指示部１７の機能を搭載したキャリブレーション連携操作ソフトウェアにより被校正撮影装置１９を操作して、キャリブレーション画像の撮影を自動で行える。
【００８７】
次に、被校正撮影装置１９の一つの焦点距離において、キャリブレーションが終了したら、被校正撮影装置１９の焦点位置を変更する（Ｓ２６０）。焦点位置については、ズームレンズをどのくらいの精度でキャリブレーションするかによって決める。また、焦点位置の変更は、マニュアル式の被校正撮影装置１９に対しては操作者が行ない、電動式でキャリブレーション装置側からコントロール可能なものであれば、キャリブレーション連携操作ソフトウェアを用いて位置を変更する。焦点位置の変更処理は、被校正撮影装置１９が焦点距離を電動で調整できる形式である場合は全自動で、マニュアルで調整する形式である場合は、被校正撮影装置１９の焦点距離をマニュアルであわせた後、被校正撮影装置１９とキャリブレーション装置の通信により焦点情報をキャリブレーション装置側に転送する。仮に通信機能が無くとも、画像転送機能が被校正撮影装置１９とキャリブレーション装置間にあれば、被校正撮影装置１９の焦点距離を変えた状態でキャリブレーション画像を一枚撮影すれば、その画像上から焦点距離を読み込むことができる。
【００８８】
次に、焦点距離修正制御部１８により、被校正撮影装置１９の変更した焦点位置の情報を基礎として、キャリブレーションチャート画像表示部１４のターゲットの密度を変更して、キャリブレーション画像を自動で表示させる（Ｓ２７０）。例えば図１４（Ａ）のパターンを、被校正撮影装置１９の焦点距離に合わせ、図１４（Ｂ）のように画素密度を密に表示する。
【００８９】
そして、被校正撮影装置１９は、表示されたキャリブレーション画像を撮影する（Ｓ２８０）。Ｓ２８０の処理も、被校正撮影装置１９の焦点位置変更と同様に、操作者が行なっても良く、又はキャリブレーション連携操作ソフトウェアを用いて、キャリブレーションチャート画像表示部１４の表示が変更された後、被校正撮影装置１９のシャッターを切っても良い。
【００９０】
キャリブレーション装置又は操作者は、被校正撮影装置１９が撮影するキャリブレーション画像が所定枚数終了したか判定する（Ｓ２９０）。もし、撮影が終了していなければ、Ｓ２６０に戻り、表示順序制御部１５に従い、焦点距離やキャリブレーション撮影方向の異なるキャリブレーション画像を映し、キャリブレーションチャート画像表示部１４に焦点距離修正制御部１８で処理された画素密度にて表示させる。
【００９１】
キャリブレーション装置又は操作者は、被校正撮影装置１９が各焦点距離にてキャリブレーション画像の撮影が終了したか判定する（Ｓ３００）。もし終了していなければ、Ｓ２６０に戻り、再び焦点距離を変えて同様の操作を繰り返す。所定の焦点位置についてすべての撮影が終了したら、それらの画像について解析処理を行い、各焦点位置におけるカメラパラメータを算出する（Ｓ３１０）。
【００９２】
本実施の形態のように、被校正撮影装置１９とキャリブレーション装置を接続すれば、全自動にてズームレンズのキャリブレーションが行えるため、操作者による作業は、キャリブレーションチャート画像表示部１４の前に被校正撮影装置１９を設置するだけでよい。また、被校正撮影装置１９のズームが手動のタイプでも、キャリブレーションチャート画像表示部１４の前に被校正撮影装置１９を一度設定したら、その後は被校正撮影装置１９のレンズの焦点距離を変更させるだけでよい。
【００９３】
図１７は本発明の第３の実施の形態を説明する全体構成ブロック図である。図において、第３の実施の形態のキャリブレーションチャート画像表示装置は、画像形成部４０、基準画像記憶部４１、画像変換処理部４２、表示画像メモリ４３、キャリブレーションチャート画像表示部４４、表示順序制御部４５を備えている。
【００９４】
画像形成部４０では所定のキャリブレーション撮影方向からキャリブレーションチャート１を観察した状態の画像を形成するもので、基準画像記憶部４１と画像変換処理部４２を備えている。基準画像記憶部４１は、特定方向から撮影されたキャリブレーションチャートの画像を記憶するもので、図２に示すような標準となるキャリブレーションチャート１の画像を記憶させておいてもよい。画像変換処理部４２は、基準画像記憶部４１に記憶された画像を用いて、特定方向とキャリブレーション撮影方向との画像変換関係を適用して、キャリブレーション撮影方向のキャリブレーションチャートの画像を形成する。
【００９５】
表示画像メモリ４３は、キャリブレーションチャート画像表示部４４に表示される画像を記憶するメモリである。キャリブレーションチャート画像表示部４４は、画像形成部４０で形成されたキャリブレーションチャート画像を表示するもので、例えばパソコンのＣＲＴや液晶のようなモニター装置が用いられる。表示順序制御部４５は、キャリブレーションチャート画像表示部４４に表示されるキャリブレーションチャート画像を、被校正対象となる撮影装置１９の撮影動作に連動して、順次選択する。撮影信号出力部４６、校正画像切換え指示部４７は、前述した撮影信号出力部１６、校正画像切換え指示部１７と同様の働きをする。
【００９６】
このように構成された装置の動作について説明する。図１８は、画像形成部４０により形成されるキャリブレーションチャート画像の一例を示す図である。図１８で示すキャリブレーションチャート画像は、例えば図２で示すキャリブレーションチャート１の第１及び第２のマークを、キャリブレーションチャート画像表示部４４の所定位置に表示するものであればよい。画像変換処理部４２は、例えば平面パターンの場合には、前述の式（２）で示す射影変換式を用いて、ある平面の点（ｘ，ｙ）を投影中心Ｏに関して、他の平面上の点（Ｘ，Ｙ）として投影する。さらに、図１８のように規則正しく並んだ画像に高さを持たせたい場合には、次の式（１１）を用いて、その高さを考慮した変換画像を作成することができる。即ち、三次元の点（Ｘ，Ｙ，Ｚ）が投影中心Ｏに関して平面の点（ｘ，ｙ）に投影されるとき、次式が成立する。
【数５】

【００９７】
なお、上記の実施の形態においては、キャリブレーションチャートとして平面的な画像の場合を示したが、本発明はこれに限定されるものでは、立体的なものでも良い。図１９は立体基準チャートの一例を示す構成斜視図である。図において、立体基準チャート２０は、ターゲット２０ａ〜２０ｈの位置が三次元的に正確に測定されているもので、ターゲットの数、高さ、並びに平面的な座標は三次元計測に適するように適宜に定められている。
【００９８】
図２０はキャリブレーションチャート画像表示部１４によって表示される三次元キャリブレーション画像の一例を説明する図である。キャリブレーション画像は、例えば図４（Ａ）で説明した正面（Ｉ）、左上（ＩＩ）、右上（ＩＩＩ）、左下（ＩＶ）、右下（Ｖ）の５方向をキャリブレーション撮影方向として、図１９で示す立体基準チャート２０を撮影したものである。
【００９９】
【発明の効果】
以上説明したように、本発明のキャリブレーションチャート画像表示装置によれば、所定のキャリブレーション撮影方向から撮影されたキャリブレーションチャートの画像を記憶する校正画像記憶部と、校正画像記憶部に記憶されたキャリブレーションチャート画像を、前記キャリブレーション撮影方向に応じて表示するキャリブレーションチャート画像表示部とを備えているので、被校正撮影装置はキャリブレーションチャートに対して所望の角度を正確に付した画像を得ることができ、高さ（奥行き）方向の変化を確実にし、キャリブレーションチャートによって被校正撮影装置の焦点距離を正確に算出できる。
【０１００】
また実施の形態のように、キャリブレーションチャート画像表示装置としてＰＣ（パソコン）のような情報処理プロセッサを搭載したコンピュータ、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）モニタのような表示装置、並びにＰＣにインストールするキャリブレーションチャート画像表示用のソフトウェアが存在すれば、デジタルカメラのような被校正撮影装置の画像に含まれる歪曲成分を除去するのに必要とされる撮影画像が取得できる。そこで、従来キャリブレーション作業で必要とされていた、高価で精密な専用機材を用いなくても、汎用で低価格のコンピュータとモニタ装置を用いて安価にシステム構築ができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を説明する全体構成ブロック図である。
【図２】キャリブレーションチャートの一例を示す平面図である。
【図３】第１マークの一例を示す説明図である。
【図４】レンズ収差を計測する場合のカメラ配置を説明する図で、（Ａ）はカメラ配置を示した立体図であり、（Ｂ）は一般的に標準レンズ及び望遠レンズを使用したときのカメラ間隔を示した図である。
【図５】標準レンズや広角レンズのカメラによるチャートの撮影手順の説明図で、（Ａ１）〜（Ａ４）はカメラの画像、（Ｂ１）〜（Ｂ４）はカメラ画像に対応するチャートとカメラの位置関係を示している。
【図６】キャリブレーションチャート画像表示部１４によって表示されるキャリブレーション画像の一例を説明する図である。
【図７】本発明が適用されるキャリブレーション装置を説明する全体構成ブロック図である。
【図８】キャリブレーション装置を用いたキャリブレーション方法を説明するフローチャートである。
【図９】Ｓ１０におけるキャリブレーションチャート画像表示装置を用いたキャリブレーション画像撮影を説明するフローチャートである。
【図１０】Ｓ６０における第２マーク精密位置計測を説明するフローチャートである。
【図１１】（Ａ）は中心投影における画像座標系と対象座標系の説明図、（Ｂ）はターゲット認識に用いられる正規化相関のテンプレ−ト画像と対象画像の説明図である。
【図１２】キャリブレーション要素の演算処理結果の一例を示す説明図である。
【図１３】本発明の第２の実施の形態を説明する全体構成ブロック図である。
【図１４】被校正撮影装置１９の焦点距離にあわせてキャリブレーション画像の密度を変更する場合の説明図である。
【図１５】被校正撮影装置とキャリブレーション装置とが連携をとってキャリブレーション処理を行なう場合の配置図である。
【図１６】被校正撮影装置がズームレンズの場合に、キャリブレーション装置と連携をとってキャリブレーション処理を説明するフローチャートである。
【図１７】本発明の第３の実施の形態を説明する全体構成ブロック図である。
【図１８】画像形成部４０により形成されるキャリブレーションチャート画像の一例を示す図である。
【図１９】立体基準チャートの一例を示す構成斜視図である。
【図２０】キャリブレーションチャート画像表示部１４によって表示される三次元キャリブレーション画像の一例を説明する図である。
【符号の説明】
１ チャート（キャリブレーションチャート）
２ カメラ
３ 画像データ記憶部
４ 抽出部
５ 概略マーク位置測定部
６ 精密マーク位置測定部
７ 演算処理部
８ 画像処理部
９ 表示部
１２ 校正画像記憶部
１３ 表示画像メモリ
１４ キャリブレーションチャート画像表示部
１５ 表示順序制御部
１６ 撮影信号出力部
１７ 校正画像切換え指示部
１８ 焦点距離修正制御部
１９ 被校正撮影装置

Claims (7)

1. 所定のキャリブレーション撮影方向から撮影されたキャリブレーションチャートの画像を記憶する校正画像記憶部と；
   前記校正画像記憶部に記憶されたキャリブレーションチャート画像を、前記キャリブレーション撮影方向に応じて表示するキャリブレーションチャート画像表示部と；
   を備えるキャリブレーションチャート画像表示装置。
2. 前記校正画像記憶部に記憶されているキャリブレーションチャート画像は、歪が補正された画像である請求項１に記載のキャリブレーションチャート画像表示装置。
3. 所定のキャリブレーション撮影方向からキャリブレーションチャートを観察した状態の画像を形成する画像形成部と；
   該画像形成部で形成されたキャリブレーションチャート画像を表示するキャリブレーションチャート画像表示部と；
   を備えるキャリブレーションチャート画像表示装置。
4. 前記画像形成部は；
   特定方向から撮影されたキャリブレーションチャートの画像を記憶する基準画像記憶部と；
   前記基準画像記憶部に記憶された画像を用いて、前記特定方向と前記キャリブレーション撮影方向との画像変換関係を適用して、前記キャリブレーション撮影方向のキャリブレーションチャートの画像を形成する画像変換処理部を備える；
   請求項３に記載のキャリブレーションチャート画像表示装置。
5. さらに、前記キャリブレーションチャート画像表示部に表示されるキャリブレーションチャート画像を、被校正対象となる撮影装置の撮影動作に連動して、順次選択する表示順序制御部を備える；
   請求項１乃至請求項４の何れか１項に記載のキャリブレーションチャート画像表示装置。
6. 前記表示順序制御部は、さらに；
   前記キャリブレーションチャート画像表示部が、キャリブレーションチャート画像を表示した後、撮影信号を前記撮影装置に出力する撮影信号出力部と；
   前記撮影装置による前記キャリブレーションチャート画像の撮影完了信号を入力して、前記キャリブレーションチャート画像表示部に後続するキャリブレーションチャート画像の表示命令信号を出力する校正画像切換え指示部とを備える；
   請求項５に記載のキャリブレーションチャート画像表示装置。
7. さらに、キャリブレーション対象となる撮影装置から取得された焦点距離情報に応じて、前記キャリブレーションチャート画像表示部に表示されるキャリブレーションチャート画像の大きさ又は密度の少なくとも一方を変更する焦点距離修正制御部を備える；
   請求項１乃至請求項６の何れか１項に記載のキャリブレーションチャート画像表示装置。

Images