JP4262830B2 - 三次元対象体画像解析方法及びその関連技術 - Google Patents

三次元対象体画像解析方法及びその関連技術 Download PDF

Info

Publication number
JP4262830B2
JP4262830B2 JP13638299A JP13638299A JP4262830B2 JP 4262830 B2 JP4262830 B2 JP 4262830B2 JP 13638299 A JP13638299 A JP 13638299A JP 13638299 A JP13638299 A JP 13638299A JP 4262830 B2 JP4262830 B2 JP 4262830B2
Authority
JP
Japan
Prior art keywords
dimensional
image data
affine
image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP13638299A
Other languages
English (en)
Other versions
JP2000331145A (ja
Inventor
厚 岡本
Original Assignee
岡本 真雅紀
有限会社画像計測研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 岡本 真雅紀, 有限会社画像計測研究所 filed Critical 岡本 真雅紀
Priority to JP13638299A priority Critical patent/JP4262830B2/ja
Publication of JP2000331145A publication Critical patent/JP2000331145A/ja
Application granted granted Critical
Publication of JP4262830B2 publication Critical patent/JP4262830B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、三次元対象体についての二次元画像を利用して各種測量やオルソ画像作成等を行うための画像解析方法、画像解析システム、及び画像解析プログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【0002】
【従来の技術及び発明が解決しようとする課題】
地球観測衛星から得られる地表面の高分解能画像は、写真測量地形図作成やオルソ画像作成等を始めとする広範な利用が期待されている。
【0003】
しかしながら、人工衛星搭載のラインスキャナ等の画像取得装置により得られる画像の画角、特に高分解能画像の画角は、航空カメラと比べて非常に狭い。そのため、中心投影による射影関係を用いたモデルの形成の際の標定パラメータ間における相関性が強く、モデル形成のための標定パラメータの精度として十分に満足することができるものとはなり得なかった。
【0004】
本発明は、従来技術に存した上記のような点に鑑み行われたものであって、その目的とするところは、人工衛星搭載のラインスキャナ等による高分解能画像のように通常必要な画角よりも小さい画角の中心投影二次元画像データを用いて精度良く三次元モデル空間を形成することが可能な三次元対象体画像解析方法、三次元対象体画像解析システム、及び三次元対象体画像解析プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することにある。
【0005】
【課題を解決するための手段】
(1) 本発明の三次元対象体画像解析方法は、
対象体から離れた左右経路において得られる左右二次元アッフィン(affine)画像データであってこの両画像が対象とする部分が全部又は部分的に重複するものと、前記対象体の三次元座標との間に、二次元アッフィン変換が前記左右二次元アッフィン画像データにおける重複部の全てにおいて成立するという条件により、その二次元アッフィン変換のパラメータを決定(標定)することによって、三次元モデル空間を形成する画像解析方法であって、
前記左右二次元アッフィン画像データが、対象体上においてほぼ線状をなす左右細長部が左右経路の方向に平行状に複数連続した部分についての写像であるものである(請求項1)。
【0006】
左右経路と左右細長部の線状方向(長手方向)がなす角は、例えば70度乃至90度とすることができ、直角又は直角に近いことが望ましい。
【0007】
前記左細長部と右細長部の数は同数であることが好ましいが必ずしも同数に限るものではない。
【0008】
この方法により、対象体についての左右二次元アッフィン画像データから、精度良く三次元モデル空間を形成することが可能である。その左右二次元アッフィン画像データとしては、中心投影画像をそのまま用いて解析する場合に通常必要な画角よりも小さい画角(例えば数度以下の画角)の左右線状中心投影画像が平行状に複数連続してなる左右二次元画像データを変換して得られるものを用いることができる。その場合、画角が小さくなるほど、中心投影からアッフィン投影に変換する誤差が小さくなることにより、形成する三次元モデル空間の精度をより良いものとすることができる。元の左右二次元画像がラインスキャナ画像である場合も、走査線の外部標定要素は時間変動のない関数として取り扱われ、これによりラインスキャン画像を空中写真とほとんど同じように処理することができる。
【0009】
(1-1) (1)の解析方法は、
対象体についての左右二次元アッフィン画像データを得るために、
対象体から離れた左右経路上からそれぞれ取得した左右二次元画像データであってその左右画像が対象とする部分が全部又は部分的に重複するものを、それぞれ左右二次元アッフィン画像データに変換するステップを有し、
前記左右二次元画像データは、前記左右経路に対し対象体上においてほぼ線状をなす左右細長部が左右経路の方向に平行状に複数連続した部分についての画像データであって、ほぼ線状をなす左右線状中心投影画像がそれぞれ前記左右経路の方向に対応した方向に平行状に複数連続してなり、
各左右線状中心投影画像は、左右経路上における各左右細長部に対応する位置から取得した画像データであるものとすることが望ましい(請求項2)。
【0010】
左経路上の前記各位置同士の位置関係と対象体上の各左細長部同士の位置関係、及び、右経路上の前記各位置同士の位置関係と対象体上の各右細長部同士の位置関係が、それぞれ中心投影とアッフィン投影で表される位置関係を座標変換することを可能にしている。
【0011】
上記左右線状中心投影画像は、その線状である方向において一定画角であるものとすることができる。なお、左右の線状中心投影画像の画角は同一であっても異なっていても良い。
【0012】
左右二次元画像データは、ステレオペアを構成する。
【0013】
この場合、中心投影画像をそのまま用いて解析する場合に通常必要な画角よりも小さい画角(例えば数度以下の画角)の左右線状中心投影画像が平行状に複数連続してなる左右二次元画像データを変換して得られる左右二次元アッフィン画像データを用いて、精度良く三次元モデル空間を形成することが可能であり、元の左右二次元画像を構成する左右線状中心投影画像の線方向の画角が小さくなるほど三次元モデル空間の精度をより良いものとすることができる。その画角としては好ましくは5度又は4度(SPOT画像)以下、特に好ましくは2度又は1度(IKONOS画像)以下である。元の左右二次元画像がラインスキャナ画像である場合も、走査線の外部標定要素は時間変動のない関数として取り扱われ、これによりラインスキャン画像を空中写真とほとんど同じように処理することができる。
【0014】
この解析方法において三次元モデル空間を形成するには、左右二次元画像についての鉛直傾斜角と画面距離の近似値があればよく、左右経路のデータ(人工衛星搭載の撮影装置による二次元画像を用いる例においては、衛星軌道パラメータのデータ)は必要ではない。前記の左右二次元画像と三次元モデル空間との関係は幾何学的に非常に安定なので、前記の鉛直傾斜角と画面距離の近似値があれば、パラメータの重量(重み)の変化にほとんど影響を受けないで精度の良い解(例えば三角測量の結果)が得られる。なお、初期値として用いる鉛直傾斜角と画面距離の近似値は、ある程度の精度(例えばそれぞれ10度及び10%以内の誤差の範囲内)があれば繰り返し計算により十分な精度を実現することができる。
【0015】
この場合、中心投影画像をそのまま用いて解析する場合に比し、格段に安定した解が得られ、三次元モデル空間を利用した対象体についての画像三角測量の精度も良いものとなる。たとえ対象体に相当な起伏がある場合(例えば1000mの標高差のある地形)であっても同様である。
【0016】
(1-2) (1)及び(1-1)の解析方法は、
上記三次元モデル空間と対象体の三次元空間との間の三次元アッフィン変換のパラメータを、左右二次元アッフィン画像データの共面条件及び対象体における左右二次元アッフィン画像データに重複する4基準点の座標データにより決定(標定)するステップを有するものとすることができる(請求項3)。
【0017】
このように、得られた三次元モデル空間を対象体の三次元空間に変換することによって、対象体についての左右二次元アッフィン画像データから対象体の三次元座標データを得ることができる。この場合、繰り返し計算により安定的に精度良く解を得ることが可能である。対象体における基準点が左右二次元画像上にかたよりなく分布していれば、計画した精度が得られる。なお、三次元モデル空間の形成において、左右二次元画像データを変換して得られる左右二次元アッフィン画像データを用いる場合、その左右二次元画像を構成する左右線状中心投影画像の線方向の画角が小さくなるほど対象体の三次元空間の精度をより良いものとすることができる。
【0018】
(2) また、本発明の三次元対象体画像解析方法は、
対象体から離れた第1乃至第n左右経路[nは正の整数]において得られる左右二次元アッフィン画像データであって第1乃至第nの各左右二次元アッフィン画像が対象とする部分が全部又は部分的に重複すると共に第m左画像と第(m+1)左画像及び第m右画像と第(m+1)右画像[mは(n−1)以下の任意の正の整数]が対象とする部分が部分的に隣接重複するものと前記対象体の三次元座標との間に、二次元アッフィン変換が前記第m及び第(m+1)左右二次元アッフィン画像データのそれぞれにおける左右重複部の全てにおいて成立するという条件により、その二次元アッフィン変換のパラメータを決定(標定)することによって、第m及び第(m+1)三次元モデル空間を形成するステップと、
第m三次元モデル空間と第(m+1)三次元モデル空間との間の三次元アッフィン変換のパラメータを決定(標定)するステップを備える画像解析方法であって、
前記第1乃至第nの各左右二次元アッフィン画像が、対象体上においてほぼ線状をなす第1乃至第n左右細長部が、それぞれ左右経路の方向に平行状に複数連続した部分についての写像であるものとすることができる(請求項4)。
【0019】
この方法により、上記(1)と同様に、対象体についての第m左右二次元アッフィン画像データから、精度良く第m三次元モデル空間を形成することが可能であり、更に、その第m三次元モデル空間と部分的に隣接重複する第(m+1)三次元モデル空間との間の三次元アッフィン変換により、第m三次元モデル空間と第(m+1)三次元モデル空間を接続することができる。このようにして、一部重複し合う隣接三次元モデル空間同士を次々と接続することができる。
【0020】
(2-1) (2)の解析方法は、
対象体についての第m及び第(m+1)左右二次元アッフィン画像データを得るために、
対象体から離れた第1乃至第n左経路上及び第1乃第n右経路上からそれぞれ取得した第1乃至第n左右二次元画像データであって第1乃至第nの各左右画像が対象とする部分が全部又は部分的に重複すると共に第m左画像と第(m+1)左画像及び第m右画像と第(m+1)右画像が対象とする部分が部分的に隣接重複するものを、それぞれ第1乃至第n左右二次元アッフィン画像データに変換するステップを有し、
前記第1乃至第n左右二次元画像データは、前記第1乃至第n左右経路に対し対象体上においてほぼ線状をなす第1乃至第n左右細長部が、それぞれ第1乃至第n左右経路の方向に平行状に複数連続した部分についての画像データであって、ほぼ線状をなす第1乃至第nの左右線状中心投影画像がそれぞれ前記第1乃至第n左右経路の方向に対応した方向に平行状に複数連続してなり、
第1乃至第nの各左右線状中心投影画像は、それぞれ第1乃至第n左右経路上における第1乃至第nの各左右細長部に対応する位置から取得した画像データであるものとすることが望ましい(請求項5)。
【0021】
第1乃至第n左経路上における前記各位置同士の位置関係と対象体上の第1乃至第nの各左細長部同士の位置関係、及び、第1乃至第n右経路上における前記各位置同士の位置関係と対象体上の第1乃至第nの各右細長部同士の位置関係が、それぞれ中心投影とアッフィン投影で表される位置関係を座標変換することを可能にしている。
【0022】
第m左右細長部はそれぞれ複数であり、第m左右経路上における第m左右細長部に対応する位置も、それぞれ複数である。
【0023】
上記(1-1)と同様に、中心投影画像をそのまま用いて解析する場合に通常必要な画角よりも小さい画角の左右二次元画像データを変換して得られる左右二次元アッフィン画像データを用いて、精度良く三次元モデル空間を形成することが可能である。三次元モデル空間を形成するには、左右二次元画像についての鉛直傾斜角と画面距離の近似値があればよい。
【0024】
(2-2) (2)及び(2-1)の解析方法は、
第m及び第(m+1)三次元モデル空間と対象体の三次元空間との間の三次元アッフィン変換のパラメータを、第m及び第(m+1)左右二次元アッフィン画像データの共面条件及び第m及び第(m+1)左右二次元アッフィン画像データのそれぞれにおいて重複する対象体における4基準点の座標データにより決定(標定)するステップを有するものとすることができる(請求項6)。
【0025】
このようにして、接続された隣接三次元モデル空間を対象体の三次元空間に変換することによって、対象体についての左右二次元アッフィン画像データから対象体の三次元座標データを得ることができる。
【0026】
(3) 本発明の三次元対象体画像解析システムは、
対象体から離れた左右経路において得られる左右二次元アッフィン画像データであってこの両画像が対象とする部分が全部又は部分的に重複するものと、前記対象体の三次元座標との間に、二次元アッフィン変換が前記左右二次元アッフィン画像データにおける重複部の全てにおいて成立するという条件により、その二次元アッフィン変換のパラメータを決定(標定)することによって、三次元モデル空間を形成する画像解析システムであって、
前記左右二次元アッフィン画像データが、対象体上においてほぼ線状をなす左右細長部が左右経路の方向に平行状に複数連続した部分についての写像であるものである(請求項7)。
【0027】
このシステムにより、上記(1)と同様に、対象体についての左右二次元アッフィン画像データから、精度良く三次元モデル空間を形成することが可能である。
【0028】
(3-1) (3)の解析システムは、
対象体についての左右二次元アッフィン画像データを得るために、
対象体から離れた左右経路上からそれぞれ取得した左右二次元画像データであってその左右画像が対象とする部分が全部又は部分的に重複するものを、それぞれ左右二次元アッフィン画像データに変換する手段を有し、
前記左右二次元画像データは、前記左右経路に対し対象体上においてほぼ線状をなす左右細長部が左右経路の方向に平行状に複数連続した部分についての画像データであって、ほぼ線状をなす左右線状中心投影画像がそれぞれ前記左右経路の方向に対応した方向に平行状に複数連続してなり、
各左右線状中心投影画像は、左右経路上における各左右細長部に対応する位置から取得した画像データであるものとすることが望ましい。
【0029】
上記(1-1)と同様に、中心投影画像をそのまま用いて解析する場合に通常必要な画角よりも小さい画角の左右二次元画像データを変換して得られる左右二次元アッフィン画像データを用いて、精度良く三次元モデル空間を形成することが可能であり、三次元モデル空間を形成するには、左右二次元画像についての鉛直傾斜角と画面距離の近似値があればよい。
【0030】
(3-2) (3)及び(3-1)の解析システムは、
上記三次元モデル空間と対象体の三次元空間との間の三次元アッフィン変換のパラメータを、左右二次元アッフィン画像データの共面条件及び対象体における左右二次元アッフィン画像データに重複する4基準点の座標データにより決定(標定)する手段を有するものとすることができる。
【0031】
これにより、(1-2)と同様に、得られた三次元モデル空間を対象体の三次元空間に変換することによって、対象体についての左右二次元アッフィン画像データから対象体の三次元座標データを得ることができる。この場合、繰り返し計算により安定的に精度良く解を得ることが可能である。
【0032】
(3-3) (3)、(3-1)及び(3-2)の解析システムは、
上記(3)により得られる隣接する三次元モデル空間であって、両三次元モデル空間を形成するための左二次元アッフィン画像同士及び右二次元アッフィン画像同士がそれぞれ部分的に隣接重複するものについて、前記両三次元モデル空間の間の三次元アッフィン変換のパラメータ決定(標定)する手段を備えるものとすることができる。
【0033】
これにより、上記(2)と同様に、隣接三次元モデル空間の間の三次元アッフィン変換によって、両三次元モデル空間を接続することができる。
【0034】
(4) 本発明の三次元対象体画像解析プログラムを記録したコンピュータ読み取り可能な記録媒体は、その三次元対象体画像解析プログラムが、
対象体から離れた左右経路において得られる左右二次元アッフィン画像データであってこの両画像が対象とする部分が全部又は部分的に重複するものと、前記対象体の三次元座標との間に、二次元アッフィン変換が前記左右二次元アッフィン画像データにおける重複部の全てにおいて成立するという条件により、その二次元アッフィン変換のパラメータを決定することによって、三次元モデル空間を形成する画像解析プログラムであって、
前記左右二次元アッフィン画像データが、対象体上においてほぼ線状をなす左右細長部が左右経路の方向に平行状に複数連続した部分についての写像であるものである(請求項8)。
【0035】
この記録媒体に記録したプログラムにより、上記(1)と同様に、対象体についての左右二次元アッフィン画像データから、コンピュータに前記二次元アッフィン変換のパラメータを算出させ、精度良く三次元モデル空間を形成することが可能である。
【0036】
(4-1) (4)の三次元対象体画像解析プログラムを記録したコンピュータ読み取り可能な記録媒体における三次元対象体画像解析プログラムは、
対象体についての左右二次元アッフィン画像データを得るために、
対象体から離れた左右経路上からそれぞれ取得した左右二次元画像データであってその左右画像が対象とする部分が全部又は部分的に重複するものを、それぞれ左右二次元アッフィン画像データに変換する手順を有し、
前記左右二次元画像データは、前記左右経路に対し対象体上においてほぼ線状をなす左右細長部が左右経路の方向に平行状に複数連続した部分についての画像データであって、ほぼ線状をなす左右線状中心投影画像がそれぞれ前記左右経路の方向に対応した方向に平行状に複数連続してなり、
各左右線状中心投影画像は、左右経路上における各左右細長部に対応する位置から取得した画像データであるものとすることが望ましい。
【0037】
上記(1-1)と同様に、中心投影画像をそのまま用いて解析する場合に通常必要な画角よりも小さい画角の左右二次元画像データを変換して得られる左右二次元アッフィン画像データを用いて、精度良く三次元モデル空間を形成することが可能であり、三次元モデル空間を形成するには、左右二次元画像についての鉛直傾斜角と画面距離の近似値があればよい。
【0038】
(4-2) (4)及び(4-1)の三次元対象体画像解析プログラムを記録したコンピュータ読み取り可能な記録媒体における三次元対象体画像解析プログラムは、
上記三次元モデル空間と対象体の三次元空間との間の三次元アッフィン変換のパラメータを、左右二次元アッフィン画像データの共面条件及び対象体における左右二次元アッフィン画像データに重複する4基準点の座標データにより決定(標定)する手順を有するものとすることができる。
【0039】
これにより、(1-2)と同様に、得られた三次元モデル空間を対象体の三次元空間に変換することによって、対象体についての左右二次元アッフィン画像データから対象体の三次元座標データを得ることができる。この場合、繰り返し計算により安定的に精度良く解を得ることが可能である。
【0040】
(4-3) (4)、(4-1)及び(4-2)の三次元対象体画像解析プログラムを記録したコンピュータ読み取り可能な記録媒体における三次元対象体画像解析プログラムは、
上記(4)により得られる隣接する三次元モデル空間であって、両三次元モデル空間を形成するための左二次元アッフィン画像同士及び右二次元アッフィン画像同士がそれぞれ部分的に隣接重複するものについて、前記両三次元モデル空間の間の三次元アッフィン変換のパラメータ決定(標定)する手順を備えるものとすることができる。
【0041】
これにより、上記(2)と同様に、隣接三次元モデル空間の間の三次元アッフィン変換によって、両三次元モデル空間を接続することができる。
【0042】
【発明の実施の形態】
本発明の実施の形態を説明する。
[1] 左右二次元画像データは、例えば、対象体から離れた直線又は曲線(例えばほぼ直線状である曲線)を構成する左経路(例えば図1におけるFL)及び右経路(例えば図1におけるFR)上の各位置L乃至L、R乃至Rから、対象体(例えば図1におけるOP。但し、通常の場合、このような平坦面よりも、起伏のある面を構成するもの(地形等)を対象とすることが多い。)上において左右経路に対しそれぞれねじれの位置にあるほぼ線状をなす左右細長部P乃至P(左右細長部P乃至Pは左右経路の方向に平行状に連続している。図1の場合、左右の細長部は同一、すなわち全部重複するものとして描かれているが、一部重複であっても良い。また、通常の場合、細長部の長さと幅の比は、例えば数千乃至数万対1程度とすることができる。左右経路に対し左右細長部は、通常の場合、ねじれの位置にある。)を線状に走査して得られる左右線状中心投影画像を、左経路及び右経路上をそれぞれ移動しつつ各経路の方向に平行に連続取得することにより得ることができる。各経路に対し走査方向がなす角度、画角(例えば数度以内の画角)、経路上の走査を行う位置(L乃至L、R乃至R)とその位置から走査される線状走査対象部(ほぼ線状をなす左又は右細長部P乃至P)の両者を含む平面(例えばPを直線とみなして底辺としLを頂点とする三角形を含む平面)と経路(FL又はFR)とがなす角度(90度の場合直下視のスキャニング画像となり、90度以外であって線状走査対象部が走査を行う位置よりも前方に位置する場合は前視のスキャニング画像、後方に位置する場合は後視のスキャニング画像となる。前視、直下視、後視の何れでも可能である。)、及び、経路上の走査を行う位置とその位置から走査される線状走査対象部との位置関係は、それぞれ実質上一定とすることができる。
【0043】
より具体的には、例えば、人工衛星の飛行経路(左右経路、例えば図1におけるFL)に対し一定角度(好ましくは90度又はなるべく90度に近い角度、例えば70度乃至90度)をなす地表面走査方向において、その人工衛星に搭載したラインスキャナにより地表面を走査することにより左右何れかの線状中心投影画像データを得ることができる。その場合、線状中心投影画像の画角(例えば数度以内の画角)、飛行経路上の走査を行う位置とその位置から走査される地表面における線状走査対象部(ほぼ線状をなす左又は右細長部)の両者を含む平面と飛行経路とがなす角度、及び、飛行経路上の走査を行う位置とその位置から走査される線状走査対象部との位置関係は、それぞれ実質上一定である。
【0044】
飛行方向に平行に地表面における線状走査対象部が連続するように、人工衛星の進行に伴い走査を繰り返すことにより、連続する線状走査対象部にそれぞれ対応する線状中心投影画像を飛行方向に対応した方向に平行状に連続取得して左右何れかの二次元画像データを得ることができる。飛行経路上で前記走査を行った位置同士の位置関係と、それぞれの位置から走査された地表面における各線状走査対象部同士の位置関係は、それぞれ中心投影とアッフィン投影で表される位置関係を座標変換することを可能にしている。
【0045】
例えば連続した経路における一部重複した異なる区間において、又は別個の経路において、上記のような二次元画像データを複数得ることにより、例えば第1乃至第nの各左二次元画像データ又は右二次元画像データが得られる。また、飛行経路を変えて、又は別の飛行経路の別の人工衛星に搭載したラインスキャナにより、同様に地表面を走査することにより、左右のうち他方の第1乃至第nの各画像データが得られる。第1乃至第n左経路及び第1乃第n右経路は、それぞれ人工衛星の飛行曲線等の一定の直線又は曲線に沿うものとすることができる。
【0046】
各画像同士に必要な重複は、飛行経路と撮影方向と撮影(走査)タイミングを適切に設定することにより実現し得る。なお、各線状中心投影画像の撮影は、所要画角範囲を一定方向に走査するのでなく、プッシュブルーム方式のラインスキャナのように、所要の画角について同時に行うことも可能である。ラインスキャナやその他の左右画像データを得るための装置としては、例えばCCD[Charge Coupled Device]等の撮像素子を用いたものを利用することができる。CCDラインスキャナの場合、例えば1列×数千乃至数万以上の個数の画素からなるものとすることができるほか、数列×数千乃至数万以上の個数の画素からなるものとすることも可能である。
【0047】
本発明における対象体は、一般的には地形であるが、それ以外のものであってもよい。
【0048】
左経路及び右経路における左及び右は、対象体に対する位置関係が異なることを示すものであり、必ずしも両者が左右の位置関係にあることを意味するものではない。他の用語における左及び右についても、必ずしも両者が左右の位置関係にあることを意味するものではない。
【0049】
[2] 上記二次元画像データの二次元アッフィン画像データへの変換は、例えば次のように行うことができる。例として、人工衛星に搭載されたCCDカメラにより地表面(対象体)についての二次元画像データを得る場合を挙げる。
【0050】
地表面が平坦であり、その二次元画像が、地表面に対するCCDカメラの飛行方向回りの回転角がω、飛行方向に直交する水平方向回りの回転角がφである状態で撮影されたものとする。
【0051】
図2に示されるように、基準座標系(X',Y',Z')を、前記画像の投影中心を原点としX'-Y'平面が画像面の大きさに縮小された地表面に平行である右手系のデカルト直交座標系とする。更に、前記画像は、その主点が画像面の大きさに縮小された地表面上に位置する状態でその画像面の大きさに縮小された地表面に交差するものとする。
【0052】
すると、前記二次元画像上の点p(x,y)の三次元座標(X'p,Y'p,Z'p)は、基準座標系において次式(1)で表される。
【0053】
【数1】
Figure 0004262830
【0054】
式(1)中、cは前記画像の画面距離である。
【0055】
また、前記二次元画像上の主点Hは、前記基準座標系において次式(2)で表される。
【0056】
【数2】
Figure 0004262830
【0057】
更に、前記pと投影中心を通る光線
【0058】
【数3】
Figure 0004262830
が画像面の大きさに縮小された地表面に交差する点を
【0059】
【数4】
Figure 0004262830
とすると、この点の三次元座標は次式(3)
【0060】
【数5】
Figure 0004262830
で表される。
【0061】
画像面の大きさに縮小された地表面上の点
【0062】
【数6】
Figure 0004262830
を、前記画像についての座標系(x,y,z)において観察すると、二次元アッフィン画像における対応点pa(xa,ya)は、下記式(4)で表される。
【0063】
【数7】
Figure 0004262830
【0064】
二次元画像データの二次元アッフィン画像データへの変換においては、標定要素の近似値による誤差と、撮影された地形(対象体)の高低差による誤差が不可避である。
【0065】
外部標定要素(ω,φ)及び内部標定要素(xH,yH,c)は精度の良い近似値が得られるため、標定要素の近似値による誤差は小さいものとすることができる。その場合、前者、すなわち標定要素の近似値による誤差は、標定要素ai(i=1,...,8)において自動的に修正される。
【0066】
後者による変換誤差は、高低差の増大に応じて増大するものであり、地形上にほぼランダムに分布する。この誤差の修正には、標定計算の反復が最も好適である。地表面の位置の画像変換エラーは、画面距離の変更により修正される。この画面距離の変更量は、直前の反復計算において得られた平均高さとの差に対応する。
【0067】
[3] 三次元対象空間における対象体上の点P(X,Y,Z)と左右二次元アッフィン画像データとの間の二次元アッフィン変換は、左二次元アッフィン画像上の点Pの座標を(Xc1,Yc1)、右二次元アッフィン画像上の点Pの座標を(Xc2,Yc2)とすると、例えば、次式(5)・(6)で表される。
【0068】
【数8】
Figure 0004262830
そのニ次元アッフィン変換が前記左右二次元アッフィン画像データにおける重複部の全てにおいて成立するという条件は、次式(7)で表される。
【0069】
【数9】
Figure 0004262830
【0070】
この式は、左右画像データの対応する光線の共面条件と等価である。
【0071】
式(7)の条件下で、二次元アッフィン変換のパラメータ(a11-a18)及び(a21-a28)を標定して三次元モデル空間(XM,YM,ZM)を形成することができる。
[4] 前記三次元モデル空間は、次式(8)で表される三次元アッフィン変換により、対象体の三次元空間に変換することができる。
【0072】
【数10】
Figure 0004262830
【0073】
式(8)における12のパラメータのうち4つは、左右二次元アッフィン画像データの重複部分についての対応する光線の共面条件により決定(標定)することができる。残りのパラメータは、対象体における4基準点の座標データにより決定(標定)することができる。基準点の座標データによる3Dアッフィン変換パラメータの決定(標定)は、4基準点の座標データを、対応する左右二次元アッフィン画像データに変換し、それを更に対応する三次元モデルにおけるデータに変換することにより行うことができる。なお、基準点は4以上であってもよい。
【0074】
対象体上の任意の点の座標は、例えば空中三角測量の手法により特定することができる。
【0075】
[5] 隣接する三次元モデル空間であって、両三次元モデル空間を形成するための左二次元アッフィン画像同士及び右二次元アッフィン画像同士がそれぞれ部分的に隣接重複するものについて、隣接重複する一方の三次元モデル(XM2,YM2,ZM2)は、次式(9)で表される三次元アッフィン変換により、隣接重複する他方の三次元モデル(XM1,YM1,ZM1)に変換することができる。
【0076】
【数11】
Figure 0004262830
式(9)におけるパラメータは、第(m+1)三次元モデルと第m三次元モデルの3Dアッフィン変換により標定することができる。
【0077】
【実施例】
表1に示す条件で地表面についてのステレオ人工衛星ラインスキャナ画像(SPOT画像)を得、その画像データを用いて、本発明に従った標定と、他の5種の方法による標定を行った。
【0078】
【表1】
Figure 0004262830
【0079】
5−10mレベルの標定精度を得るために、SPOT画像の点位置確認と測定は、ディジタルステレオ図化機上で1/4乃至1/10ピクセル単位で単眼及びステレオ視を用いて行った。標定計算に際しては、大誤差検出法(デンマーク法)を用いて計測されたデータの洗浄を行った。なお、検出された大誤差は、主に点同一位置確認誤差であった。また、スキャナの飛行コースに沿った外部標定パラメータの挙動を考察するために、Hofmannによって数式化された線形補間を伴う標定画像ラインブロックを採用した。
本発明に従った標定結果と、他の5種の方法による標定結果を、表2に示す。
【0080】
前記5種の方法は、中心投影標定法に属する4つの方法、すなわち▲1▼通常の中心投影標定法、▲2▼拡張したDLT中心投影標定法、▲3▼時間変動する標定要素を持つ一次元(1D)中心投影(射影変換)標定法、及び、▲4▼中心投影/平行投影標定法[スキャンライン(走査線)において中心投影、衛星飛行方向において平行投影]と、アッフィン標定法に属する▲5▼時間変動する標定要素を持つ一次元(1D)アッフィン変換標定法である。一方、本発明における方法は、アッフィン標定法に属するもので、▲6▼標定要素が時間変動しない二次元(2D)アッフィン変換標定法である。
【0081】
【表2】
Figure 0004262830
【0082】
表2中、
GCP/NOIL:地上基準点数/ 画像上標定区域線数
Check Pts:地上検証点数、平面位置と標高
EEINI-RMS:検証点での初期値の標準偏差・平均二乗誤差
σ0:計測された画像座標の先験的な標準偏差
AIECH:検証点での平均内的誤差(平均二乗誤差値、地上基準点を含まない)
AEECH:検証点での平均外的誤差(平均二乗誤差値、地上基準点を含まない)
である。
前記▲1▼乃至▲6▼の標定法の特徴は下記の通りである。
【0083】
中心投影標定法に属する▲1▼乃至▲4▼の標定法では、センサの画角が広くなれば精度が向上する。大きな比高差がある場合には、より厳密な数式化により適正に処理することが可能である。
【0084】
アッフィン標定法に属する▲5▼及び▲6▼の標定法では、得られる精度は、センサの画角が狭くなるほどよくなる。ある程度の起伏の大きい画像範囲については、中心投影からアッフィンへの変換を繰り返し方式により行うことにより精度が保証される。
【0085】
アッフィン標定法は中心投影標定法よりもずっと安定した解法を与え、同時に地上での検証点での精度も高い。相当な起伏(例えば比高が1000m程度)のある地形についての画像に関しても同様である。
【0086】
▲1▼通常の中心投影標定法
時間変動する標定要素を持つので近似値の取得はきわめて困難である。経験的には標定要素の最初の重み付けが困難であり、これが幾何学的な弱さを示すものである。従って解が不安定になる。画角が狭いこの例の場合、実用的に最も問題があることがわかった。
【0087】
▲2▼拡張したDLT中心投影標定法
個別の標定要素の近似値が多くの場合必要とされないので、画像モデルが厳密性を欠く場合でも近似値の取得が確実に行われる。ある程度の幾何学的な安定性が得られるが、地上基準点が少ししかない場合には精度の劣化が生じるものと認められる。
【0088】
▲3▼時間変動する標定要素を持つ一次元(1D)中心投影(射影変換)標定法
最小二乗三角測量調整計算(未知の標定要素と地上座標値)の際のパラメータ近似値の取得は容易である。しかしながら、モデル形成は確実性を欠き、安定した結果を得るには、限られた数の標定画像線にあわせて地上基準点の適正な配置と数量が必要である。この標定法は安定性が問題となるので、写真測量での適用は常時実用的であるとは限らない。
【0089】
▲4▼中心投影/平行投影標定法[スキャンライン(走査線)において中心投影、衛星飛行方向において平行投影]
多くの画像取得状況では不必要な近似計算処理工程を用いて、パラメータの近似値が容易に得られる。但し、この標定法は数値的に不安定であることがある。
【0090】
▲5▼時間変動する標定要素を持つ一次元(1D)アッフィン変換標定法
センサの鉛直傾斜角と画面距離のよい近似値が、安定した標定の解を得るために必要である。中心投影からアッフィン投影への繰り返し変換で満足できる結果が得られるが、地形図作成を前提とすると、全域にわたって安定してはいないと判断される。
【0091】
▲6▼本発明による二次元(2D)アッフィン変換標定法
投影変換のためには、鉛直傾斜角とセンサ画面距離についての概略の近似値だけが必要である。これらの近似値があれば、この標定法は幾何学的に非常に安定しており、パラメータの重量の変化にほとんど影響を受けないで1次元アッフィンモデルよりももっと精度のよい標定結果が得られる。中心投影からアッフィン投影への変換での繰り返し解もまた満足できるものであり、ある程度の地上基準点が二次元画像面にかたよりなく分布していれば、計画した精度が得られる。また、ステレオ観測もできるので、写真測量地形図作成に好適であり、ステレオ衛星画像シーンから安定した三次元モデルを得る上で最適である。
【0092】
【発明の効果】
本発明によれば、対象体についての左右二次元アッフィン画像データから、精度良く三次元モデル空間を形成することが可能である。左右中心投影画像データを左右二次元アッフィン画像データに変換して用いる場合、左右二次元画像についての鉛直傾斜角と画面距離の近似値があれば、通常必要な画角よりも小さい画角の二次元画像データを用いて精度良く三次元モデル空間を形成することが可能であり、その画角が小さくなるほど精度をより良いものとすることができる。高低差の大きい対象体の二次元画像データについては、繰り返し計算により十分な精度で二次元アッフィン画像データに変換することができる。そのため人工衛星搭載のラインスキャナ等による高分解能画像のように画角が極めて小さい画像の解析、それによる写真測量地形図作成、ディジタルステレオ図化機の実現及びそれによるオルソ画像作成等に最適である。
【図面の簡単な説明】
【図1】左右二次元画像撮影の概要を示す図である。
【図2】二次元画像データの二次元アッフィン画像データへの変換についての説明図である。

Claims (13)

  1. 対象体から離れた左右経路において得られる左右二次元アッフィン画像データであってこの両画像が対象とする部分が全部又は部分的に重複するものと、前記対象体の三次元座標との間に、二次元アッフィン変換が前記左右二次元アッフィン画像データにおける重複部の全てにおいて成立するという条件により、その二次元アッフィン変換のパラメータを決定することによって、三次元モデル空間を形成する画像解析方法であって、
    前記左右二次元アッフィン画像データが、対象体上においてほぼ線状をなす左右細長部が左右経路の方向に平行状に複数連続した部分についての左右二次元画像データがそれぞれ左右二次元アッフィン画像データに変換されたものであり、
    前記左右二次元画像データは、ほぼ線状をなす左右線状中心投影画像がそれぞれ前記左右経路の方向に対応した方向に平行状に複数連続してなるものである三次元対象体画像解析方法。
  2. 上記左右線状中心投影画像の線方向の画角が5度以下である請求項1記載の三次元対象体画像解析方法。
  3. 対象体についての左右二次元アッフィン画像データを得るために、
    対象体から離れた左右経路上からそれぞれ取得した左右二次元画像データであってその左右画像が対象とする部分が全部又は部分的に重複するものを、それぞれ左右二次元アッフィン画像データに変換するステップを有し、
    前記左右二次元画像データは、前記左右経路に対し対象体上においてほぼ線状をなす左右細長部が左右経路の方向に平行状に複数連続した部分についての画像データであって、ほぼ線状をなす左右線状中心投影画像がそれぞれ前記左右経路の方向に対応した方向に平行状に複数連続してなり、
    各左右線状中心投影画像は、左右経路上における各左右細長部に対応する位置から取得した画像データである請求項1又は2記載の三次元対象体画像解析方法。
  4. 上記左右二次元画像データを、繰り返し計算により、それぞれ左右二次元アッフィン画像データに変換する請求項3記載の三次元対象体画像解析方法。
  5. 三次元モデル空間と対象体の三次元空間との間の三次元アッフィン変換のパラメータを、左右二次元アッフィン画像データの共面条件及び対象体における左右二次元アッフィン画像データに重複する4基準点の座標データにより決定するステップを有する請求項1乃至4の何れか1項に記載の三次元対象体画像解析方法。
  6. 対象体から離れた第1乃至第n左右経路[nは正の整数]において得られる左右二次元アッフィン画像データであって第1乃至第nの各左右二次元アッフィン画像が対象とする部分が全部又は部分的に重複すると共に第m左画像と第(m+1)左画像及び第m右画像と第(m+1)右画像[mは(n−1)以下の任意の正の整数]が対象とする部分が部分的に隣接重複するものと、前記対象体の三次元座標との間に、二次元アッフィン変換が前記第m及び第(m+1)左右二次元アッフィン画像データのそれぞれにおける左右重複部の全てにおいて成立するという条件により、その二次元アッフィン変換のパラメータを決定することによって、第m及び第(m+1)三次元モデル空間を形成するステップと、
    第m三次元モデル空間と第(m+1)三次元モデル空間との間の三次元アッフィン変換のパラメータを決定するステップを備える画像解析方法であって、
    前記第1乃至第nの各左右二次元アッフィン画像が、対象体上においてほぼ線状をなす第1乃至第n左右細長部が、それぞれ左右経路の方向に平行状に複数連続した部分についての第1乃至第n左右二次元画像データがそれぞれ第1乃至第n左右二次元アッフィン画像データに変換されたものであり、
    前記第1乃至第n左右二次元画像データは、ほぼ線状をなす第1乃至第nの左右線状中心投影画像がそれぞれ前記第1乃至第n左右経路の方向に対応した方向に平行状に複数連続してなるものである三次元対象体画像解析方法。
  7. 上記左右線状中心投影画像の線方向の画角が5度以下である請求項6記載の三次元対象体画像解析方法。
  8. 対象体についての第m及び第(m+1)左右二次元アッフィン画像データを得るために、
    対象体から離れた第1乃至第n左経路上及び第1乃第n右経路上からそれぞれ取得した第1乃至第n左右二次元画像データであって第1乃至第nの各左右画像が対象とする部分が全部又は部分的に重複すると共に第m左画像と第(m+1)左画像及び第m右画像と第(m+1)右画像が対象とする部分が部分的に隣接重複するものを、それぞれ第1乃至第n左右二次元アッフィン画像データに変換するステップを有し、
    前記第1乃至第n左右二次元画像データは、前記第1乃至第n左右経路に対し対象体上においてほぼ線状をなす第1乃至第n左右細長部が、それぞれ第1乃至第n左右経路の方向に平行状に複数連続した部分についての画像データであって、ほぼ線状をなす第1乃至第nの左右線状中心投影画像がそれぞれ前記第1乃至第n左右経路の方向に対応した方向に平行状に複数連続してなり、
    第1乃至第nの各左右線状中心投影画像は、それぞれ第1乃至第n左右経路上における第1乃至第nの各左右細長部に対応する位置から取得したものである請求項6又は7記載の三次元対象体画像解析方法。
  9. 上記第1乃至第n左右二次元画像データを、繰り返し計算により、それぞれ第1乃至第n左右二次元アッフィン画像データに変換する請求項8記載の三次元対象体画像解析方法。
  10. 第m及び第(m+1)三次元モデル空間と対象体の三次元空間との間の三次元アッフィン変換のパラメータを、第m及び第(m+1)左右二次元アッフィン画像データの共面条件及び第m及び第(m+1)左右二次元アッフィン画像データのそれぞれにおいて重複する対象体における4基準点の座標データにより決定するステップを有する請求項6乃至9の何れか1項に記載の三次元対象体画像解析方法。
  11. 対象体から離れた左右経路において得られる左右二次元アッフィン画像データであってこの両画像が対象とする部分が全部又は部分的に重複するものと、前記対象体の三次元座標との間に、二次元アッフィン変換が前記左右二次元アッフィン画像データにおける重複部の全てにおいて成立するという条件により、その二次元アッフィン変換のパラメータを決定することによって、三次元モデル空間を形成する画像解析システムであって、
    前記左右二次元アッフィン画像データが、対象体上においてほぼ線状をなす左右細長部が左右経路の方向に平行状に複数連続した部分についての左右二次元画像データがそれぞれ左右二次元アッフィン画像データに変換されたものであり、
    前記左右二次元画像データは、ほぼ線状をなす左右線状中心投影画像がそれぞれ前記左右経路の方向に対応した方向に平行状に複数連続してなるものである三次元対象体画像解析システム。
  12. 三次元対象体画像解析プログラムを記録したコンピュータ読み取り可能な記録媒体であって、その三次元対象体画像解析プログラムが、
    対象体から離れた左右経路において得られる左右二次元アッフィン画像データであってこの両画像が対象とする部分が全部又は部分的に重複するものと、前記対象体の三次元座標との間に、二次元アッフィン変換が前記左右二次元アッフィン画像データにおける重複部の全てにおいて成立するという条件により、その二次元アッフィン変換のパラメータを決定することによって、三次元モデル空間を形成する画像解析プログラムであって、
    前記左右二次元アッフィン画像データが、対象体上においてほぼ線状をなす左右細長部が左右経路の方向に平行状に複数連続した部分についての左右二次元画像データがそれぞれ左右二次元アッフィン画像データに変換されたものであり、
    前記左右二次元画像データは、ほぼ線状をなす左右線状中心投影画像がそれぞれ前記左右経路の方向に対応した方向に平行状に複数連続してなるものである三次元対象体画像解析プログラムを記録したコンピュータ読み取り可能な記録媒体。
  13. 対象体から離れた左右経路において得られる左右二次元アッフィン画像データであってこの両画像が対象とする部分が全部又は部分的に重複するものと、前記対象体の三次元座標との間に、二次元アッフィン変換が前記左右二次元アッフィン画像データにおける重複部の全てにおいて成立するという条件により、その二次元アッフィン変換のパラメータを決定することによって、三次元モデル空間を形成する画像解析プログラムであって、
    前記左右二次元アッフィン画像データが、対象体上においてほぼ線状をなす左右細長部が左右経路の方向に平行状に複数連続した部分についての左右二次元画像データがそれぞれ左右二次元アッフィン画像データに変換されたものであり、
    前記左右二次元画像データは、ほぼ線状をなす左右線状中心投影画像がそれぞれ前記左右経路の方向に対応した方向に平行状に複数連続してなるものである三次元対象体画像解析プログラム。
JP13638299A 1999-05-17 1999-05-17 三次元対象体画像解析方法及びその関連技術 Expired - Fee Related JP4262830B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP13638299A JP4262830B2 (ja) 1999-05-17 1999-05-17 三次元対象体画像解析方法及びその関連技術

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP13638299A JP4262830B2 (ja) 1999-05-17 1999-05-17 三次元対象体画像解析方法及びその関連技術

Publications (2)

Publication Number Publication Date
JP2000331145A JP2000331145A (ja) 2000-11-30
JP4262830B2 true JP4262830B2 (ja) 2009-05-13

Family

ID=15173856

Family Applications (1)

Application Number Title Priority Date Filing Date
JP13638299A Expired - Fee Related JP4262830B2 (ja) 1999-05-17 1999-05-17 三次元対象体画像解析方法及びその関連技術

Country Status (1)

Country Link
JP (1) JP4262830B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103597513A (zh) * 2011-03-23 2014-02-19 Metaio有限公司 利用直射变换翘曲函数配准第一和第二图像的至少一个部分的方法
CN103597513B (zh) * 2011-03-23 2016-11-30 Metaio有限公司 利用直射变换翘曲函数配准第一和第二图像的至少一个部分的方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100365635C (zh) 2002-03-19 2008-01-30 社团法人日本中小型造船工业会 外板展开、制造方法
JP5471620B2 (ja) * 2010-03-08 2014-04-16 富士通株式会社 観測計画装置、観測計画方法、および観測計画プログラム
JP5830737B2 (ja) * 2011-06-17 2015-12-09 名古屋市 路面画像処理システム及び路面画像処理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103597513A (zh) * 2011-03-23 2014-02-19 Metaio有限公司 利用直射变换翘曲函数配准第一和第二图像的至少一个部分的方法
CN103597513B (zh) * 2011-03-23 2016-11-30 Metaio有限公司 利用直射变换翘曲函数配准第一和第二图像的至少一个部分的方法

Also Published As

Publication number Publication date
JP2000331145A (ja) 2000-11-30

Similar Documents

Publication Publication Date Title
CN107316325B (zh) 一种基于图像配准的机载激光点云与影像配准融合方法
KR100912715B1 (ko) 이종 센서 통합 모델링에 의한 수치 사진 측량 방법 및장치
EP2847741B1 (en) Camera scene fitting of real world scenes for camera pose determination
US7751651B2 (en) Processing architecture for automatic image registration
Morgan Epipolar resampling of linear array scanner scenes
US8107722B2 (en) System and method for automatic stereo measurement of a point of interest in a scene
JP4181800B2 (ja) ステレオ画像を用いた地形計測システム及び記憶媒体並びにプログラム
EP1589482A2 (en) Three-dimensional image measuring apparatus and method
CN110246221A (zh) 真正射影像获得方法及装置
JP5134784B2 (ja) 空中写真測量方法
JP4247371B2 (ja) 三次元データ取得装置
CN108399631B (zh) 一种尺度不变性的倾斜影像多视密集匹配方法
JP2002156229A (ja) 構造物の移動式変位計測方法及び装置
US11568638B2 (en) Image targeting via targetable 3D data
CN117665841B (zh) 一种地理空间信息采集测绘方法及装置
CN113566793A (zh) 基于无人机倾斜影像的真正射影像生成方法和装置
KR101346192B1 (ko) 항공측량 전용 촬영이미지의 실시간 정사 보정용 항공측량시스템
Altuntas et al. Image based methods for surveying heritage of masonry arch bridge with the example of Dokuzunhan in Konya, Turkey
Sai et al. Geometric accuracy assessments of orthophoto production from uav aerial images
JP3808833B2 (ja) 空中写真測量方法
Gong et al. A detailed study about digital surface model generation using high resolution satellite stereo imagery
Elbahnasawy et al. Multi-sensor integration onboard a UAV-based mobile mapping system for agricultural management
JP4262830B2 (ja) 三次元対象体画像解析方法及びその関連技術
Grun et al. Automatic DTM generation from three-line-scanner (TLS) images
Wu Photogrammetry: 3-D from imagery

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20050616

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20050617

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20050617

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050830

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081002

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081014

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090120

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090210

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120220

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120220

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130220

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130220

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20180220

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees