JP2002245462A - Image change extracting method and its image processing program - Google Patents
Image change extracting method and its image processing programInfo
- Publication number
- JP2002245462A JP2002245462A JP2001037321A JP2001037321A JP2002245462A JP 2002245462 A JP2002245462 A JP 2002245462A JP 2001037321 A JP2001037321 A JP 2001037321A JP 2001037321 A JP2001037321 A JP 2001037321A JP 2002245462 A JP2002245462 A JP 2002245462A
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- change
- images
- movement vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、画像間の変化を抽
出する画像変化抽出方法およびそのプログラムに関す
る。The present invention relates to an image change extracting method for extracting a change between images and a program thereof.
【０００２】[0002]
【従来の技術】市街地図の更新、被災地の状況分析など
の分野では、地理状況の変化を迅速に検出する方法が求
められる。従来、この種の方法として、撮影時期の異な
る２枚の航空写真や高解像度衛星写真を、人手により比
較する方法が知られている。この方法は、左右の眼で画
像を個別に観測できる専門家が、画像間の違いを逐一検
出するものである。2. Description of the Related Art In the fields of updating a city map and analyzing the situation of a disaster area, a method for quickly detecting a change in geographical situation is required. Conventionally, as this type of method, a method of manually comparing two aerial photographs and high-resolution satellite photographs at different photographing times has been known. In this method, an expert who can observe images individually with left and right eyes detects differences between images one by one.
【０００３】通常、２枚の画像間には、撮影位置やアン
グルやレンズ収差の違いにより、非線形な対応ズレが生
じる。上述した専門家による比較作業は、この対応ズレ
を無意識に除去し、地理状況の変化のみを的確に検出で
きるという点で非常に優れた方法である。Normally, a non-linear displacement occurs between two images due to a difference in a photographing position, an angle, and a lens aberration. The above-described comparison work by the expert is a very excellent method in that this correspondence deviation is unconsciously removed and only a change in the geographical situation can be accurately detected.
【０００４】ところで、このような比較作業を機械化す
る場合、画像間の非線形な対応ズレを如何に補正するか
が重要な問題になる。この対応ズレの補正には、ゴム膜
上の画像を部分的に伸縮するような非線形写像が必要に
なる。When mechanizing such a comparison operation, how to correct the non-linear misalignment between images becomes an important problem. Correction of this correspondence shift requires a non-linear mapping that partially expands and contracts the image on the rubber film.
【０００５】本発明者は、特開平７−２３９９３５号公
報において、このような処理に適した非線形写像を提案
している。この非線形写像は、下記〜の手順に従っ
て概略実施される。 画像空間上の複数箇所について画像間の対応箇所を検
索し、複数の移動ベクトルを暫定的に決定するステップ 画像は連続的に変形するという前提に基づき、求めた
移動ベクトル群を平滑化処理し、移動ベクトル群の空間
連続性を高めるステップ 上記動作を反復して移動ベクトル群の検出精度を高
め、移動ベクトル群を確定するステップ 確定した移動ベクトル群を用いて、画像間の対応ズレ
を補正するステップ この非線形写像により画像間の対応ズレを補正した後
に、画像比較を行うことにより、地理状況の変化を的確
に検出することが可能になる。The present inventor has proposed a nonlinear mapping suitable for such processing in Japanese Patent Application Laid-Open No. 7-239935. This non-linear mapping is roughly performed according to the following procedures. A step of searching for corresponding points between images for a plurality of points in the image space and tentatively determining a plurality of movement vectors Based on the assumption that the images are continuously deformed, smoothing processing is performed on the obtained movement vector group, Step of increasing the spatial continuity of the motion vector group Step of increasing the detection accuracy of the motion vector group by repeating the above operation, and determining the motion vector group Step of correcting the correspondence deviation between images using the determined motion vector group After correcting the misalignment between the images by the non-linear mapping, the image comparison is performed, so that a change in the geographical situation can be accurately detected.
【０００６】[0006]
【発明が解決しようとする課題】ところで、阪神淡路大
震災などの大規模地震では、断層の発生が報告されてい
る。このような断層検出は、地震のメカニズムを明らか
にしたり、地震予知の予備情報を得る上で、重要な意味
をもっている。この種の断層の多くは、航空写真や衛星
写真の画像上において、断層部を境にした２〜５画素程
度の非連続な画像ズレとして現れる。By the way, it has been reported that a fault occurs in a large-scale earthquake such as the Great Hanshin-Awaji Earthquake. Such fault detection is important for clarifying the mechanism of earthquakes and obtaining preliminary information on earthquake prediction. Many of these types of tomograms appear on images of aerial photographs and satellite photographs as discontinuous image shifts of about 2 to 5 pixels bordering on the tomographic portion.
【０００７】上述した非線形写像では、この断層部の非
連続な画像ズレが、移動ベクトルの平滑化の過程で周辺
に波及する。そのため、補正後の画像データは、断層部
のぼけた画像データになりやすく、画像比較において断
層部の境界を明確に検出することが困難になる。In the above-described nonlinear mapping, the discontinuous image shift of the tomographic portion spreads to the periphery in the process of smoothing the movement vector. Therefore, the corrected image data is likely to be blurred image data of the tomographic portion, and it becomes difficult to clearly detect the boundary of the tomographic portion in the image comparison.
【０００８】そこで、本発明は、画像間に生じた断層変
化を明確に検出する画像変化抽出方法およびそのプログ
ラムを提供することを目的とする。Accordingly, an object of the present invention is to provide an image change extracting method for clearly detecting a tomographic change occurring between images and a program therefor.
【０００９】[0009]
【課題を解決するための手段】上述した課題を解決する
ため、本発明は下記のように構成される。To solve the above-mentioned problems, the present invention is configured as follows.
【００１０】《請求項１》請求項１に記載の発明は、入
力された２つの画像Ａ，Ｂについて、画像変化を求める
画像変化抽出方法であって、画像Ａから複数の微小領域
を抽出する標本ステップと、微小領域の対応箇所を画像
Ｂ上からそれぞれ探索して、複数の微小領域の移動ベク
トルを求める探索ステップと、探索ステップで求めた移
動ベクトルの群を、画像空間上に予め定められる扁平ブ
ロックの単位に平滑化して、移動ベクトル群の連続性を
高める協調ステップと、探索ステップおよび協調ステッ
プを反復して対応箇所の探索精度を上げ、移動ベクトル
群を確定する反復ステップと、反復ステップで確定した
移動ベクトル群について、扁平ブロックの短軸方向の変
化を検出し、画像Ａ，Ｂ間の断層変化を求める検出ステ
ップとを有することを特徴とする。[0010] [Claim 1] The invention according to claim 1 is an image change extraction method for obtaining an image change for two input images A and B, and extracts a plurality of minute regions from the image A. A sample step, a search step for searching the corresponding position of the minute area from the image B to obtain the movement vectors of the plurality of minute areas, and a group of the movement vectors obtained in the search step are predetermined in the image space. A coordination step for smoothing in units of flat blocks to increase the continuity of the motion vector group; an iterative step of repeating the search step and the coordination step to increase the accuracy of searching for the corresponding location and determining the motion vector group; A detection step of detecting a change in the short-axis direction of the flat block and obtaining a tomographic change between the images A and B for the movement vector group determined in the step (a). The features.
【００１１】《請求項２》請求項２に記載の発明は、請
求項１に記載の画像変化抽出方法において、短軸方向の
異なる複数種類の扁平ブロックについて、探索ステッ
プ、協調ステップ、反復ステップおよび検出ステップを
各実行し、画像Ａ，Ｂ間の断層変化を複数方向にわたっ
て検出することを特徴とする。(2) The image change extraction method according to (1), wherein the search step, the coordination step, the repetition step, and the repetition step are performed for a plurality of types of flat blocks having different short-axis directions. The method is characterized in that each of the detecting steps is performed to detect a tomographic change between the images A and B in a plurality of directions.
【００１２】《請求項３》請求項３に記載の発明は、入
力された２つの画像Ａ，Ｂについて、画像変化を求める
画像変化抽出方法であって、画像Ａから複数の微小領域
を抽出する標本ステップと、微小領域の対応箇所を画像
Ｂ上からそれぞれ探索して、複数の微小領域の移動ベク
トルを求める探索ステップと、探索ステップで求めた移
動ベクトルの群をクラスタリングにより区分し、移動ベ
クトル群をその区分ごとに平滑化して、移動ベクトル群
の連続性を高める協調ステップと、探索ステップおよび
協調ステップを反復して対応箇所の探索精度を上げ、移
動ベクトル群を確定する反復ステップと、反復ステップ
で確定した移動ベクトル群について空間変化を検出し、
画像Ａ，Ｂ間の断層変化を求める検出ステップとを有す
ることを特徴とする。[Claim 3] The invention according to claim 3 is an image change extraction method for obtaining an image change for two input images A and B, and extracts a plurality of minute regions from the image A. A sample step and a search step for searching the corresponding position of the minute area from the image B to obtain the movement vectors of the plurality of minute areas, and a group of the movement vectors obtained in the search step are divided by clustering to obtain a movement vector group. A smoothing step for each segment to increase the continuity of the movement vector group, a repetition step of repeating the search step and the cooperation step to increase the search accuracy of the corresponding portion and determine the movement vector group, The spatial change is detected for the movement vector group determined in
Detecting a tomographic change between the images A and B.
【００１３】《請求項４》請求項４に記載の発明は、請
求項１ないし請求項３のいずれか１項に記載の画像変化
抽出方法において、画像Ａ，Ｂを境界分割した細分画像
の単位に、標本ステップ、探索ステップ、協調ステッ
プ、反復ステップおよび検出ステップを各実行すること
を特徴とする。According to a fourth aspect of the present invention, in the image change extracting method according to any one of the first to third aspects, a unit of a subdivided image in which the images A and B are boundary-divided. In addition, a sample step, a search step, a coordination step, a repetition step, and a detection step are executed.
【００１４】《請求項５》請求項５に記載のプログラム
は、コンピュータに、請求項１ないし請求項４のいずれ
か１項に記載の標本ステップ、探索ステップ、協調ステ
ップ、反復ステップおよび検出ステップを実行させるこ
とを特徴とする。<Claim 5> A program according to claim 5 causes a computer to execute a sample step, a search step, a coordination step, a repetition step, and a detection step according to any one of claims 1 to 4. It is characterized by being executed.
【００１５】[0015]
【発明の実施の形態】以下、本発明における実施の形態
を説明する。Embodiments of the present invention will be described below.
【００１６】《第１の実施形態》第１の実施形態は、請
求項１，２、５に対応する実施形態である。図１は、コ
ンピュータ上で実行される画像変化抽出方法（画像処理
プログラム）を説明する流れ図である。図２は、処理過
程の様子を示す図である。以下、図１に示すステップ番
号の順に、画像変化抽出方法を説明する。<< First Embodiment >> The first embodiment is an embodiment corresponding to claims 1, 2 and 5. FIG. 1 is a flowchart illustrating an image change extraction method (image processing program) executed on a computer. FIG. 2 is a diagram showing a state of the processing process. Hereinafter, the image change extraction method will be described in the order of the step numbers shown in FIG.
【００１７】ステップＳ１： コンピュータは、撮影時
点の異なる２枚の画像Ａ，Ｂを取得する。Step S1: The computer acquires two images A and B at different photographing times.
【００１８】ステップＳ２： コンピュータは、画像Ａ
から微小領域を所定間隔おきに抽出する。Step S2: The computer sets the image A
Are extracted at predetermined intervals.
【００１９】ステップＳ３： コンピュータは、各微小
領域に対応付けて、メモリ上に移動ベクトルを作成す
る。この移動ベクトルは、画像Ａ上の微小領域を始点と
し、画像Ｂ上の対応箇所を終点とするベクトルデータで
ある。コンピュータは、これらの移動ベクトルの要素を
（０，０）に初期化する。Step S3: The computer creates a movement vector on the memory in association with each minute area. This movement vector is vector data having a micro area on the image A as a start point and a corresponding point on the image B as an end point. The computer initializes the elements of these movement vectors to (0,0).
【００２０】ステップＳ４： コンピュータは、画像Ｂ
上において、各移動ベクトルの終点近傍に、探索範囲を
設定する。コンピュータは、この探索範囲内から、微小
領域に略一致する対応箇所を探索する。このような探索
には、例えば、残差逐次検定法などのテンプレートマッ
チング法が使用される。コンピュータは、これらの探索
結果に基づいて、微小領域毎に移動ベクトルを更新す
る。Step S4: The computer sets the image B
In the above, a search range is set near the end point of each movement vector. The computer searches for a corresponding portion that substantially matches the minute area from within the search range. For such a search, for example, a template matching method such as a residual sequential test method is used. The computer updates the movement vector for each minute area based on these search results.
【００２１】ステップＳ５： コンピュータは、ステッ
プＳ４における移動ベクトルの更新状況から、移動ベク
トル群が収束したか否かを判定する。ここで、移動ベク
トル群が収束していない場合、コンピュータはステップ
Ｓ６に動作を移行する。一方、移動ベクトル群が収束し
た場合、コンピュータはステップＳ７に動作を移行す
る。Step S5: The computer determines whether or not the group of movement vectors has converged from the update status of the movement vectors in step S4. Here, if the movement vector group has not converged, the computer shifts the operation to step S6. On the other hand, when the movement vector group has converged, the computer shifts the operation to step S7.
【００２２】ステップＳ６： コンピュータは、移動ベ
クトル毎に横長の扁平ブロックＨ（図２参照）を設定す
る。コンピュータは、扁平ブロックＨ毎に移動ベクトル
のメディアンを求め、移動ベクトルの空間連続性を横方
向に高める。この動作の後、コンピュータはステップＳ
４に動作を戻す。その結果、移動ベクトル群が収束する
まで、ステップＳ４〜Ｓ６の動作が反復される。Step S6: The computer sets a horizontally long flat block H (see FIG. 2) for each movement vector. The computer obtains the median of the movement vector for each flat block H, and increases the spatial continuity of the movement vector in the horizontal direction. After this operation, the computer proceeds to step S
Return the operation to 4. As a result, the operations of steps S4 to S6 are repeated until the movement vector group converges.
【００２３】ステップＳ７： 一方、移動ベクトル群が
収束した場合、コンピュータは、移動ベクトル群につい
て縦方向に空間微分（差分）を求める。コンピュータ
は、この空間微分から、移動ベクトルが縦方向に非連続
変化している箇所（図２中の断層ラインＦ２）を求め
る。Step S7: On the other hand, when the movement vector group converges, the computer obtains a spatial differential (difference) in the vertical direction for the movement vector group. The computer obtains a position where the movement vector discontinuously changes in the vertical direction (tomographic line F2 in FIG. 2) from the spatial differentiation.
【００２４】ステップＳ８： コンピュータは、移動ベ
クトル群の要素を（０，０）に初期化する。Step S8: The computer initializes the elements of the movement vector group to (0, 0).
【００２５】ステップＳ９： コンピュータは、画像Ｂ
上において、各移動ベクトルの終点近傍に、探索範囲を
設定する。コンピュータは、この探索範囲内から、微小
領域に略一致する対応箇所を探索する。このような探索
には、例えば、残差逐次検定法などが使用される。コン
ピュータは、これらの探索結果に基づいて、微小領域毎
に移動ベクトルを更新する。Step S9: The computer sets the image B
In the above, a search range is set near the end point of each movement vector. The computer searches for a corresponding portion that substantially matches the minute area from within the search range. For such a search, for example, a residual sequential test method or the like is used. The computer updates the movement vector for each minute area based on these search results.
【００２６】ステップＳ１０： コンピュータは、ステ
ップＳ９における移動ベクトルの更新状況から、移動ベ
クトル群が収束したか否かを判定する。ここで、移動ベ
クトル群が収束していない場合、コンピュータはステッ
プＳ１１に動作を移行する。一方、移動ベクトル群が収
束した場合、コンピュータはステップＳ１２に動作を移
行する。Step S10: The computer determines whether or not the group of movement vectors has converged based on the update state of the movement vectors in step S9. Here, when the movement vector group does not converge, the computer shifts the operation to step S11. On the other hand, when the movement vector group has converged, the computer shifts the operation to step S12.
【００２７】ステップＳ１１： コンピュータは、移動
ベクトル毎に縦長の扁平ブロックＶ（図２参照）を設定
する。コンピュータは、扁平ブロックＶ毎に移動ベクト
ルのメディアンを求め、移動ベクトルの空間連続性を縦
方向に高める。この動作の後、コンピュータはステップ
Ｓ９に動作を戻す。その結果、移動ベクトル群が収束す
るまで、ステップＳ９〜Ｓ１１の動作が反復される。Step S11: The computer sets a vertically long flat block V (see FIG. 2) for each movement vector. The computer obtains the median of the movement vector for each flat block V, and increases the spatial continuity of the movement vector in the vertical direction. After this operation, the computer returns the operation to Step S9. As a result, the operations of steps S9 to S11 are repeated until the movement vector group converges.
【００２８】ステップＳ１２： 一方、移動ベクトル群
が収束した場合、コンピュータは、移動ベクトル群につ
いて横方向に空間微分（差分）を求める。コンピュータ
は、この空間微分から、移動ベクトルが横方向に非連続
変化している箇所（図２中の断層ラインＦ１）を求め
る。Step S12: On the other hand, when the motion vector group has converged, the computer obtains a spatial differential (difference) in the horizontal direction for the motion vector group. The computer obtains a position where the movement vector discontinuously changes in the horizontal direction (tomographic line F1 in FIG. 2) from the spatial derivative.
【００２９】ステップＳ１３： コンピュータは、ステ
ップＳ７およびステップＳ１２で求めた空間微分を合成
し、断層変化の箇所を特定する。Step S13: The computer synthesizes the spatial derivatives obtained in steps S7 and S12, and specifies the position of the tomographic change.
【００３０】上述した一連の動作により、画像Ａ，Ｂ間
に生じた断層変化の場所（図２中の断層ラインＦ１，Ｆ
２）を求めることが可能になる。次に、別の実施形態に
ついて説明する。The location of a tomographic change between the images A and B by the above-described series of operations (tomographic lines F1 and F1 in FIG. 2)
2) can be obtained. Next, another embodiment will be described.
【００３１】《第２の実施形態》第２の実施形態は、請
求項３，５に対応する実施形態である。図３は、コンピ
ュータ上で実行される画像変化抽出方法（画像処理プロ
グラム）を説明する流れ図である。図４および図５Ａ
は、処理過程の様子を示す概念図である。以下、図３の
ステップ番号の順に、画像変化抽出方法を説明する。<< Second Embodiment >> A second embodiment is an embodiment corresponding to claims 3 and 5. FIG. 3 is a flowchart illustrating an image change extraction method (image processing program) executed on a computer. 4 and 5A
FIG. 3 is a conceptual diagram showing a state of a processing process. Hereinafter, the image change extraction method will be described in the order of the step numbers in FIG.
【００３２】ステップＳ２１： コンピュータは、撮影
時点の異なる２枚の画像Ａ，Ｂを取得する。Step S21: The computer acquires two images A and B at different photographing times.
【００３３】ステップＳ２２： コンピュータは、画像
Ａから微小領域を所定間隔おきに抽出する。Step S22: The computer extracts minute regions from the image A at predetermined intervals.
【００３４】ステップＳ２３： コンピュータは、各微
小領域に対応付けて、メモリ上に移動ベクトルを作成す
る。この移動ベクトルは、画像Ａ上の微小領域を始点と
し、画像Ｂ上の対応箇所を終点とするベクトルデータで
ある。コンピュータは、これらの移動ベクトルの要素を
（０，０）に初期化する。Step S23: The computer creates a movement vector on the memory in association with each minute area. This movement vector is vector data having a micro area on the image A as a start point and a corresponding point on the image B as an end point. The computer initializes the elements of these movement vectors to (0,0).
【００３５】ステップＳ２４： コンピュータは、画像
Ｂ上において、各移動ベクトルの終点近傍に、探索範囲
を設定する。コンピュータは、この探索範囲内から、微
小領域に略一致する対応箇所を探索する。このような探
索には、例えば、残差逐次検定法などのテンプレートマ
ッチング法が使用される。コンピュータは、これらの探
索結果に基づいて、微小領域毎に移動ベクトルを更新す
る。Step S24: On the image B, the computer sets a search range near the end point of each movement vector. The computer searches for a corresponding portion that substantially matches the minute area from within the search range. For such a search, for example, a template matching method such as a residual sequential test method is used. The computer updates the movement vector for each minute area based on these search results.
【００３６】ステップＳ２５： コンピュータは、ステ
ップＳ２４における移動ベクトルの更新状況から、移動
ベクトル群が収束したか否かを判定する。ここで、移動
ベクトル群が収束していない場合、コンピュータはステ
ップＳ２６に動作を移行する。一方、移動ベクトル群が
収束した場合、コンピュータはステップＳ２８に動作を
移行する。Step S25: The computer determines whether or not the motion vector group has converged based on the update status of the motion vector in step S24. Here, when the movement vector group does not converge, the computer shifts the operation to step S26. On the other hand, when the movement vector group has converged, the computer shifts the operation to step S28.
【００３７】ステップＳ２６： 図４に示すように、コ
ンピュータは、移動ベクトルのＸＹ成分値に基づいて、
クラスタリングを実行する。このクラスタリングによ
り、移動ベクトル群は複数の区分（図５Ａに示す区分Ｒ
１，Ｒ２）に分割される。ここでのクラスタリングに
は、例えば、Ｋ平均アルゴリズム法などが使用される。Step S26: As shown in FIG. 4, the computer calculates, based on the XY component values of the movement vector,
Perform clustering. By this clustering, the movement vector group is divided into a plurality of sections (section R shown in FIG. 5A).
1, R2). For the clustering here, for example, a K-means algorithm is used.
【００３８】ステップＳ２７： コンピュータは、区分
ごとに移動ベクトルのメディアンを求める。なお、ここ
でのメディアン処理は、一つの区分の全域にわたって行
ってもよいし、区分内の局所ブロック単位に各実行して
もよい。このような処理により、区分ごとに独立して、
移動ベクトルの空間連続性が高められる。このような動
作の後、コンピュータはステップＳ２４に動作を戻す。
その結果、移動ベクトル群が収束するまで、ステップＳ
２４〜２７の動作が反復される。Step S27: The computer obtains the median of the movement vector for each section. The median processing here may be performed over the entire area of one section, or may be executed for each local block in the section. By such processing, independently for each segment,
The spatial continuity of the movement vector is enhanced. After such an operation, the computer returns the operation to Step S24.
As a result, until the movement vector group converges, step S
Operations 24 to 27 are repeated.
【００３９】ステップＳ２８： 一方、移動ベクトル群
が収束した場合、コンピュータは、移動ベクトル群につ
いて、縦方向および横方向の空間微分（差分）を求め
る。コンピュータは、この空間微分から、移動ベクトル
が非連続変化している箇所（図５Ａに示す断層ラインＦ
３，Ｆ４）を求める。Step S28: On the other hand, when the movement vector group has converged, the computer obtains the spatial differentiation (difference) in the vertical and horizontal directions for the movement vector group. From the spatial derivative, the computer calculates a point where the movement vector changes discontinuously (the tomographic line F shown in FIG. 5A).
3, F4).
【００４０】《第２の実施形態の処理結果について》第
２の実施形態における具体的な処理過程を、図６Ａ〜Ｃ
に示す。図６Ａは、断層を生じる前の画像Ａである。一
方、図６Ｂは、断層を生じた後の画像Ｂである。図６Ｃ
は、これらの画像Ａ、Ｂに上述した処理（図３に示す流
れ図）を施し、断層変化を検出した図である。この図６
Ｃからは、画像Ａ、Ｂの間において矩形状の断層変化が
画面左下に生じたことが分かる。<< Regarding the Processing Result of the Second Embodiment >> The specific processing steps in the second embodiment will be described with reference to FIGS.
Shown in FIG. 6A is an image A before a tomogram is generated. On the other hand, FIG. 6B is an image B after a tomographic image has been generated. FIG. 6C
Is a diagram in which the above-described processing (the flowchart shown in FIG. 3) is performed on these images A and B, and a tomographic change is detected. This figure 6
From C, it can be seen that a rectangular tomographic change between the images A and B occurred at the lower left of the screen.
【００４１】《実施形態の補足事項》なお、上述した第
１および第２の実施形態では、メディアン処理により移
動ベクトル群を平滑化している。しかしながら、本発明
はこれに限定されるものではない。例えば、平均化処理
や多数決処理により、移動ベクトル群を平滑化してもよ
い。<< Supplementary Items of the Embodiment >> In the first and second embodiments described above, the movement vector group is smoothed by the median processing. However, the present invention is not limited to this. For example, the movement vector group may be smoothed by averaging processing or majority processing.
【００４２】また、上述した第１および第２の実施形態
では、画像全体を一度に処理する場合について説明し
た。しかしながら、本発明はこれに限定されるものでは
ない。例えば、請求項４に記載するように、画像Ａ，Ｂ
を境界分割した細分画像の単位に処理を実行してもよ
い。In the first and second embodiments, the case where the entire image is processed at one time has been described. However, the present invention is not limited to this. For example, as described in claim 4, images A and B
May be executed in units of subdivided images obtained by dividing the boundary.
【００４３】また、第１の実施形態では、縦長または横
長の扁平ブロックを用いて、断層変化を検出している。
しかしながら、本発明はこれに限定されるものではな
い。例えば、斜めに傾いた扁平ブロックなどを使用して
もよい。Further, in the first embodiment, a tomographic change is detected using a vertically long or horizontally long flat block.
However, the present invention is not limited to this. For example, a flat block inclined at an angle may be used.
【００４４】なお、第２の実施形態では、図５Ａに示す
ように、２つの区分Ｒ１，Ｒ２に分割する場合について
説明した。しかしながら、本発明はこれに限定されるも
のではない。例えば、図５Ｂに示すように、クラスタリ
ングにより３つ以上の区分Ｒ１〜Ｒ３に分割してもよ
い。この場合、より細かく断層変化を検出することが可
能になる。In the second embodiment, as shown in FIG. 5A, a case has been described where the image is divided into two sections R1 and R2. However, the present invention is not limited to this. For example, as shown in FIG. 5B, it may be divided into three or more sections R1 to R3 by clustering. In this case, it is possible to detect a tomographic change more finely.
【００４５】また、第２の実施形態では、移動ベクトル
のＸＹ成分値に基づいて、クラスタリングを実行してい
る。しかしながら、本発明はこれに限定されるものでは
ない。例えば、移動ベクトルの極座標値に基づいて、ク
ラスタリングを実行してもよい。この場合、移動ベクト
ルの方向または大きさを基準にして、クラスタリングを
実行することが可能になる。In the second embodiment, clustering is performed based on the XY component values of the movement vector. However, the present invention is not limited to this. For example, clustering may be performed based on the polar coordinate values of the movement vector. In this case, clustering can be performed based on the direction or magnitude of the movement vector.
【００４６】[0046]
【発明の効果】《請求項１》請求項１の画像変化抽出方
法では、移動ベクトルを扁平ブロック単位に平滑化す
る。通常、探索ステップのミスにより生じる移動ベクト
ルの矛盾（非連続的変化）は、単発的に生じるものであ
り、断層変化のような方向性は見られない。したがっ
て、単発的な移動ベクトルの矛盾については、扁平ブロ
ックの偏った形状に係わらず、扁平ブロック単位の平滑
化により十分にうち消すことができる。一方、断層部で
は、断層ラインを境にして移動ベクトル群に非連続変化
が生じる。ここで、扁平ブロックの長軸方向が断層ライ
ンの方向に略一致する場合を想定する。このとき、移動
ベクトル群の変化の方向は、扁平ブロックの短軸方向に
略一致する。そのため、長軸方向主体となる扁平ブロッ
ク単位の平滑化を行っても、断層ライン上の非連続的変
化は殆どうち消されない。このように本発明では、探索
ミスによる単発的な非連続的変化を軽減し、かつ長軸方
向に延びる断層ライン上の非連続的変化を良好に保存す
る。したがって、移動ベクトルの確定後、扁平ブロック
の短軸方向について移動ベクトル群の非連続的変化を検
出することにより、画像間に生じた断層変化を的確に検
出することが可能になる。According to the first aspect of the present invention, the motion vector is smoothed in flat block units. Usually, the contradiction (discontinuous change) of the movement vector caused by a mistake in the search step occurs only sporadically, and does not show the directionality like the change in tomography. Therefore, the inconsistency of one-shot motion vectors can be sufficiently eliminated by smoothing the flat block unit regardless of the uneven shape of the flat block. On the other hand, in the tomographic portion, a discontinuous change occurs in the movement vector group at the boundary of the tomographic line. Here, it is assumed that the long axis direction of the flat block substantially matches the direction of the tomographic line. At this time, the direction of change of the movement vector group substantially coincides with the short axis direction of the flat block. Therefore, even if smoothing is performed in units of flat blocks mainly in the long axis direction, discontinuous changes on the tomographic line are hardly eliminated. As described above, according to the present invention, a single discontinuous change due to a search error is reduced, and a discontinuous change on a tomographic line extending in the long axis direction is well preserved. Therefore, after the movement vector is determined, by detecting discontinuous changes in the movement vector group in the short axis direction of the flat block, it is possible to accurately detect a tomographic change occurring between images.
【００４７】《請求項２》請求項２の画像変化抽出方法
では、短軸方向の異なる複数種類の扁平ブロックについ
て、探索ステップ、協調ステップ、反復ステップおよび
検出ステップを各実行する。その結果、画像空間上を複
数方向に走る断層変化を的確に検出することが可能にな
る。[Claim 2] In the image change extraction method of claim 2, a search step, a coordination step, a repetition step, and a detection step are executed for a plurality of types of flat blocks having different short-axis directions. As a result, it is possible to accurately detect a tomographic change running in a plurality of directions on the image space.
【００４８】《請求項３》請求項３の画像変化抽出方法
では、移動ベクトル群をクラスタリングにより区分し、
その区分ごとに独立して移動ベクトル群の平滑化を行
う。通常、探索ステップのミスにより生じる移動ベクト
ルの矛盾（非連続的変化）は、単発的に生じる。そのた
め、区分ごとの平滑化処理によって十分に軽減すること
ができる。一方、画像間に断層変化があった場合、断層
ラインを境にして移動ベクトル群が変化する。したがっ
て、上記クラスタリングでは、断層ラインを境に移動ベ
クトル群が区分される可能性が高い。そのため、区分ご
との平滑化処理では、断層ラインにまたがって移動ベク
トルが平滑化されるおそれが少なく、断層ライン上の非
連続的変化は殆どうち消されない。このように本発明で
は、探索ミスによる単発的な非連続的変化を軽減し、か
つ断層ライン上の非連続的変化を良好に保存する。した
がって、移動ベクトルの確定後、移動ベクトル群の非連
続的変化を検出することにより、画像間に生じた断層変
化を的確に検出することが可能になる。[Claim 3] In the image change extracting method according to claim 3, the movement vector group is divided by clustering,
The motion vector group is smoothed independently for each of the sections. Usually, the inconsistency (discontinuous change) of the motion vector caused by a mistake in the search step occurs sporadically. For this reason, it is possible to sufficiently reduce the amount by the smoothing processing for each section. On the other hand, when there is a tomographic change between images, the movement vector group changes at the tomographic line. Therefore, in the clustering described above, there is a high possibility that the movement vector group is divided by the tomographic line. Therefore, in the smoothing processing for each section, there is little possibility that the motion vector is smoothed across the tomographic line, and discontinuous changes on the tomographic line are hardly eliminated. As described above, according to the present invention, a single discontinuous change due to a search error is reduced, and the discontinuous change on the tomographic line is well preserved. Therefore, after determining the movement vector, by detecting the discontinuous change of the movement vector group, it is possible to accurately detect a tomographic change occurring between images.
【００４９】《請求項４》請求項４の画像変化抽出方法
では、画像Ａ，Ｂを境界分割した細分画像の単位に、標
本ステップ、探索ステップ、協調ステップ、反復ステッ
プおよび検出ステップを各実行する。特に、請求項３の
ようにクラスタリングを行う場合には、処理単位を細分
化することによってクラスタリングの処理負荷を軽減す
ることが可能になる。さらに、請求項３の場合には、ク
ラスタリング後の領域の大きさを、細分画像の大きさで
予め制限しておくことができる。この場合、平滑化処理
が必要以上に広範囲に行われるおそれがなくなり、非線
形写像による画像間の対応ズレ補正を適正に行うことが
可能になる。[Claim 4] In the image change extracting method according to claim 4, a sample step, a search step, a coordination step, a repetition step, and a detection step are executed in units of subdivided images obtained by dividing the images A and B into boundaries. . In particular, when clustering is performed as in claim 3, it is possible to reduce the processing load of clustering by subdividing the processing units. Furthermore, in the case of claim 3, the size of the area after clustering can be limited in advance by the size of the subdivided image. In this case, there is no possibility that the smoothing process is performed over a wide range more than necessary, and it is possible to appropriately correct the correspondence deviation between images by non-linear mapping.
【００５０】《請求項５》請求項５に記載のプログラム
は、コンピュータに、請求項１〜４のいずれか１項に記
載の標本ステップ、探索ステップ、協調ステップ、反復
ステップおよび検出ステップを実行させる。したがっ
て、コンピュータ上において、請求項１〜４のいずれか
１項に記載の画像変化抽出方法を実行することが可能に
なる。Claim 5 A program according to claim 5 causes a computer to execute a sample step, a search step, a coordination step, a repetition step, and a detection step according to any one of claims 1 to 4. . Therefore, it is possible to execute the image change extraction method according to any one of claims 1 to 4 on a computer.
【図１】第１の実施形態における画像変化抽出方法を説
明する流れ図である。FIG. 1 is a flowchart illustrating an image change extraction method according to a first embodiment.
【図２】第１の実施形態の処理過程を説明する図であ
る。FIG. 2 is a diagram illustrating a processing process according to the first embodiment.
【図３】第２の実施形態における画像変化抽出方法を説
明する流れ図である。FIG. 3 is a flowchart illustrating an image change extraction method according to a second embodiment.
【図４】第２の実施形態におけるクラスタリングを説明
する図である。FIG. 4 is a diagram illustrating clustering in the second embodiment.
【図５】第２の実施形態の処理過程を説明する図であ
る。FIG. 5 is a diagram illustrating a processing process according to a second embodiment.
【図６】第２の実施形態の処理結果を示すためのディス
プレー上の中間調画像の写真である。FIG. 6 is a photograph of a halftone image on a display for showing a processing result of the second embodiment.
Ｈ 横長の扁平ブロック Ｖ 縦長の扁平ブロック Ｒ１〜Ｒ３ クラスタリングにより分割された領域 Ｆ１〜Ｆ５ 断層ライン H Horizontal flat block V Vertical flat block R1 to R3 Regions divided by clustering F1 to F5 Fault line
───────────────────────────────────────────────────── フロントページの続き (72)発明者 坂元 光輝 東京都新宿区新宿４−２−18新宿光風ビル アジア航測株式会社内 (72)発明者 魯 偉 東京都新宿区新宿４−２−18新宿光風ビル アジア航測株式会社内 (72)発明者 土居原 健 東京都新宿区新宿４−２−18新宿光風ビル アジア航測株式会社内 (72)発明者 尾幡 昌芳 東京都新宿区新宿４−２−18新宿光風ビル アジア航測株式会社内 Ｆターム(参考） 5B050 AA01 BA02 BA17 DA07 EA07 EA08 EA18 5B057 AA14 DA20 DB02 DB09 DC03 DC08 DC19 DC32 DC36 5L096 AA06 BA20 FA03 FA35 FA72 GA04 GA19 HA04 MA07 ──────────────────────────────────────────────────続 き Continuing on the front page (72) Inventor Mitsuteru Sakamoto 4-2-18 Shinjuku Shinjuku, Shinjuku-ku, Tokyo Shinjuku Kofu Building Inside Asia Air Survey Co., Ltd. (72) Inventor Lu Wei 4-2-18 Shinjuku, Shinjuku, Shinjuku-ku, Tokyo Shinjuku Kofu Building Asia Air Survey Co., Ltd. (72) Inventor Ken Doihara 4-2-18 Shinjuku, Shinjuku-ku, Tokyo Shinjuku Kofu Building Asia Air Survey Co., Ltd. (72) Inventor Masayoshi Obata 4-2 Shinjuku, Shinjuku-ku, Tokyo 18 Shinjuku Kofu Building Asia Air Survey Co., Ltd. F-term (reference) 5B050 AA01 BA02 BA17 DA07 EA07 EA08 EA18 5B057 AA14 DA20 DB02 DB09 DC03 DC08 DC19 DC32 DC36 5L096 AA06 BA20 FA03 FA35 FA72 GA04 GA19 HA04 MA07
Claims (5)
画像変化を求める画像変化抽出方法であって、 前記画像Ａから複数の微小領域を抽出する標本ステップ
と、 前記微小領域の対応箇所を前記画像Ｂ上からそれぞれ探
索して、前記複数の微小領域の移動ベクトルを求める探
索ステップと、 前記探索ステップで求めた前記移動ベクトルの群を、画
像空間上に予め定められる扁平ブロックの単位に平滑化
して、前記移動ベクトル群の連続性を高める協調ステッ
プと、 前記探索ステップおよび前記協調ステップを反復して前
記対応箇所の探索精度を上げ、前記移動ベクトル群を確
定する反復ステップと、 前記反復ステップで確定した前記移動ベクトル群につい
て、前記扁平ブロックの短軸方向の変化を検出し、前記
画像Ａ，Ｂ間の断層変化を求める検出ステップとを有す
ることを特徴とする画像変化抽出方法。1. For two input images A and B,
An image change extraction method for obtaining an image change, comprising: a sampling step of extracting a plurality of minute regions from the image A; and searching for a corresponding portion of the minute region from the image B. A search step of obtaining a motion vector, a coordination step of smoothing the group of the motion vectors obtained in the search step into a unit of a predetermined flat block in an image space to increase continuity of the motion vector group, An iterative step of repeating the search step and the coordination step to increase the search accuracy of the corresponding portion, and determining the movement vector group; and for the movement vector group determined in the iteration step, a short-axis direction of the flat block Detecting a change in the tomographic image and calculating a tomographic change between the images A and B. Extraction method.
いて、 前記短軸方向の異なる複数種類の前記扁平ブロックにつ
いて、前記探索ステップ、前記協調ステップ、前記反復
ステップおよび前記検出ステップを各実行し、 前記画像Ａ，Ｂ間の断層変化を複数方向にわたって検出
することを特徴とする画像変化抽出方法。2. The image change extraction method according to claim 1, wherein the search step, the coordination step, the iterative step, and the detection step are executed for each of the plurality of types of flat blocks having different short-axis directions. An image change extracting method, wherein a tomographic change between the images A and B is detected in a plurality of directions.
画像変化を求める画像変化抽出方法であって、 前記画像Ａから複数の微小領域を抽出する標本ステップ
と、 前記微小領域の対応箇所を前記画像Ｂ上からそれぞれ探
索して、前記複数の微小領域の移動ベクトルを求める探
索ステップと、 前記探索ステップで求めた前記移動ベクトルの群をクラ
スタリングにより区分し、前記移動ベクトル群を前記区
分ごとに平滑化して、前記移動ベクトル群の連続性を高
める協調ステップと、 前記探索ステップおよび前記協調ステップを反復して前
記対応箇所の探索精度を上げ、前記移動ベクトル群を確
定する反復ステップと、 前記反復ステップで確定した前記移動ベクトル群につい
て空間変化を検出し、前記画像Ａ，Ｂ間の断層変化を求
める検出ステップとを有することを特徴とする画像変化
抽出方法。3. For two input images A and B,
An image change extraction method for obtaining an image change, comprising: a sampling step of extracting a plurality of minute regions from the image A; and searching for a corresponding portion of the minute region from the image B. A search step of obtaining a motion vector; a coordination step of dividing the group of the motion vectors obtained in the search step by clustering, smoothing the group of the motion vectors for each of the sections, and increasing continuity of the group of the motion vectors; Repeating the search step and the coordination step to increase the search accuracy of the corresponding portion, and determining the movement vector group; and detecting a spatial change with respect to the movement vector group determined in the iteration step, Detecting a tomographic change between the images A and B.
に記載の画像変化抽出方法において、 画像Ａ，Ｂを境界分割した細分画像の単位に、前記標本
ステップ、前記探索ステップ、前記協調ステップ、前記
反復ステップおよび前記検出ステップを各実行すること
を特徴とする画像変化抽出方法。4. The image change extraction method according to claim 1, wherein the sample step, the search step, and the coordination are performed in units of a subdivided image obtained by dividing the images A and B into boundaries. An image change extracting method, wherein each of the step, the iterative step, and the detecting step is performed.
本ステップ、前記探索ステップ、前記協調ステップ、前
記反復ステップおよび前記検出ステップを実行させるた
めの画像処理プログラム5. An image processing program for causing a computer to execute the sample step, the search step, the coordination step, the repetition step, and the detection step according to any one of claims 1 to 4.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001037321A JP3539632B2 (en) | 2001-02-14 | 2001-02-14 | Image change extraction method and image processing program thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001037321A JP3539632B2 (en) | 2001-02-14 | 2001-02-14 | Image change extraction method and image processing program thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002245462A true JP2002245462A (en) | 2002-08-30 |
| JP3539632B2 JP3539632B2 (en) | 2004-07-07 |
Family
ID=18900464
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001037321A Expired - Lifetime JP3539632B2 (en) | 2001-02-14 | 2001-02-14 | Image change extraction method and image processing program thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3539632B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015207308A (en) * | 2010-03-29 | 2015-11-19 | ソニー株式会社 | Data processing apparatus and method, and data processing system |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07239935A (en) * | 1992-09-16 | 1995-09-12 | Yukio Kosugi | Nonlinear image converter and standard image calculation method |
| JPH0863601A (en) * | 1994-08-22 | 1996-03-08 | Nec Corp | Method and device for dividing area |
| JPH08159762A (en) * | 1994-12-01 | 1996-06-21 | Asahi Koyo Kk | Method and apparatus for extracting three-dimensional data and stereo image forming apparatus |
-
2001
- 2001-02-14 JP JP2001037321A patent/JP3539632B2/en not_active Expired - Lifetime
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07239935A (en) * | 1992-09-16 | 1995-09-12 | Yukio Kosugi | Nonlinear image converter and standard image calculation method |
| JPH0863601A (en) * | 1994-08-22 | 1996-03-08 | Nec Corp | Method and device for dividing area |
| JPH08159762A (en) * | 1994-12-01 | 1996-06-21 | Asahi Koyo Kk | Method and apparatus for extracting three-dimensional data and stereo image forming apparatus |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015207308A (en) * | 2010-03-29 | 2015-11-19 | ソニー株式会社 | Data processing apparatus and method, and data processing system |
| US9786052B2 (en) | 2010-03-29 | 2017-10-10 | Sony Corporation | Image processing apparatus and method for evaluating objects in an image |
| US10311582B2 (en) | 2010-03-29 | 2019-06-04 | Sony Corporation | Image processing apparatus and method for evaluating objects in an image |
| US10692223B2 (en) | 2010-03-29 | 2020-06-23 | Sony Corporation | Image processing apparatus and method for evaluating objects in an image |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3539632B2 (en) | 2004-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4889351B2 (en) | Image processing apparatus and processing method thereof | |
| US6865289B1 (en) | Detection and removal of image occlusion errors | |
| CN101563709B (en) | Calibrating a camera system | |
| JP4851239B2 (en) | Image processing apparatus and processing method thereof | |
| JP5087264B2 (en) | Image processing apparatus and method | |
| WO2017022033A1 (en) | Image processing device, image processing method, and image processing program | |
| US11348323B2 (en) | Information processing apparatus for correcting three-dimensional map, information processing method for correcting three-dimensional map, and non-transitory computer-readable storage medium for correcting three-dimensional map | |
| JP2007327938A (en) | Image processing device and method therefor | |
| CN110118556A (en) | A kind of robot localization method and device based on covariance mixing together SLAM | |
| DE112009002612T5 (en) | Display input device | |
| US10204445B2 (en) | Information processing apparatus, method, and storage medium for determining a failure of position and orientation measurement of an image capturing device | |
| CN101150725A (en) | Apparatus and method for detecting motion vector and for creating interpolation frame | |
| JP2009014629A (en) | Position measuring apparatus and position measuring method | |
| CN114514412B (en) | Error estimation device, error estimation method, and storage medium | |
| CN111242855A (en) | Iterative depth map structure repairing method based on RGB-D SSIM structure similarity | |
| JPWO2007074605A1 (en) | Image processing method, image processing program, image processing apparatus, and imaging apparatus | |
| JP2008217526A (en) | Image processor, image processing program, and image processing method | |
| EP3716103A2 (en) | Method and apparatus for determining transformation matrix, and non-transitory computer-readable recording medium | |
| EP3699862B1 (en) | Image registration method, and apparatus | |
| Keivan et al. | Constant-time monocular self-calibration | |
| JP2007322404A (en) | Image processing device and its processing method | |
| CN117635421A (en) | Image stitching and fusion method and device | |
| US20180061078A1 (en) | Image processing device, image processing method, and non-transitory computer-readable recording medium | |
| JP3539632B2 (en) | Image change extraction method and image processing program thereof | |
| CN114690226A (en) | Monocular vision distance measurement method and system based on carrier phase difference technology assistance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040316 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040318 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3539632 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080402 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090402 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090402 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100402 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110402 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110402 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120402 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120402 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130402 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140402 Year of fee payment: 10 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |