JP2011204121A - Single image generation method - Google Patents
Single image generation method Download PDFInfo
- Publication number
- JP2011204121A JP2011204121A JP2010072453A JP2010072453A JP2011204121A JP 2011204121 A JP2011204121 A JP 2011204121A JP 2010072453 A JP2010072453 A JP 2010072453A JP 2010072453 A JP2010072453 A JP 2010072453A JP 2011204121 A JP2011204121 A JP 2011204121A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- aerial
- color
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012937 correction Methods 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 22
- 230000004807 localization Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 239000003086 colorant Substances 0.000 abstract description 5
- 235000019646 color tone Nutrition 0.000 abstract 1
- 239000011159 matrix material Substances 0.000 description 4
- 238000013507 mapping Methods 0.000 description 2
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
Description
本発明は、複数の航空写真を接合して単一の画像を生成する単画像の生成方法に関するものである。 The present invention relates to a single image generation method for generating a single image by joining a plurality of aerial photographs.
例えば、カラー航空写真画像からオルソフォト画像を生成する方法としては、特許文献1に記載のものが知られている。この従来例において、複数の航空写真画像はデジタルステレオ図化機を使用して正射投影変換された後、各画像をモザイク処理してオルソフォト画像が生成される。
For example, as a method for generating an orthophoto image from a color aerial photograph image, the method described in
モザイク処理時には、修正工程において位置ずれ、色調の調整等が行われ、出力される。 At the time of mosaic processing, positional deviation, color tone adjustment, etc. are performed and output in the correction process.
しかし、上述した従来例において、一旦生成したオルソフォト画像の色調等を改めて修正するには手間がかかり、さらに、境界部のみの色調整では全体の不自然さは解消できないという欠点がある。 However, in the above-described conventional example, it takes time to correct the color tone and the like of the once generated orthophoto image, and there is a drawback that the whole unnaturalness cannot be solved by color adjustment only at the boundary.
本発明は、以上の欠点を解消すべくなされたものであって、写真の継ぎ目等における色調整を簡単かつ、正確に行うことのできる単画像の生成方法の提供を目的とする。また、本発明の他の目的は、上記方法を利用したオルソフォト画像の生成方法の提供にある。 The present invention has been made to solve the above-described drawbacks, and an object of the present invention is to provide a method for generating a single image that can easily and accurately perform color adjustment in a seam or the like of a photograph. Another object of the present invention is to provide a method for generating an orthophoto image using the above method.
本発明によれば上記目的は、
複数枚の航空写真画像を、画像間で共通する共通点での色調の一致または近接一致を条件に画像間の色調整をして接続し、単画像を生成する単画像の生成方法であって、
前記色調整時の共通点として、画像間を接続する際に使用した接続点1を使用する単画像の生成方法を提供することにより達成される。
According to the present invention, the object is
A method for generating a single image, in which a plurality of aerial images are connected by adjusting the color between images under the condition of color matching or proximity matching at a common point common to the images. ,
This is achieved by providing a method of generating a single image using the
各航空写真画像間には、カメラのレンズの特性、撮影時の時間の変化による太陽光の分布特性、地形の傾斜による反射特性、大気による光の散乱特性等、種々の要因により色調のばらつきが発生し、これらを単に合成すると、境界部に境目が出たり、異質の画像を単に継ぎ合わせたような状態になって見栄えが悪くなるために、色調整が必要となる。 Between each aerial photograph image, there are variations in color tone due to various factors such as camera lens characteristics, sunlight distribution characteristics due to changes in time during shooting, reflection characteristics due to terrain inclination, and light scattering characteristics due to the atmosphere. If these occur and they are simply combined, a boundary appears at the boundary, or the images look different from each other when the images of different kinds are simply joined together, so that color adjustment is required.
色調整をそれぞれの要因に対して個別に解決するには、例えば、レンズの周辺減光のための画像フィルタリングによる補正、画像間の標準偏差、平均法等の統計手法による整合、大気補正のための放射伝達方程式の利用等の方法があるが、これらを総合的に考慮した色調補正は非常に困難であり、現実的でない。 In order to solve the color adjustment individually for each factor, for example, correction by image filtering for lens peripheral dimming, standard deviation between images, matching by statistical methods such as average method, and atmospheric correction Although there is a method such as the use of the radiative transfer equation, it is very difficult to correct the color tone considering these comprehensively, and it is not practical.
また、上述した従来例のように、色調整を画像の状態をみて個別に行なう場合には、統一的な調整が不可能な上に、調整効率も悪くなる。 In addition, when the color adjustment is performed individually by looking at the state of the image as in the conventional example described above, uniform adjustment is impossible and adjustment efficiency is also deteriorated.
一方、例えば、オルソフォト画像を生成する場合を例にとれば、中心投影画像である複数枚のステレオペア画像の画素に地上座標を付与した後、数値地形モデルを使用した比高による画像のずれの補正、すなわち、各画素を正射投影位置に再配置することにより行われる。 On the other hand, for example, in the case where an orthophoto image is generated, an image shift due to a specific height using a numerical terrain model is performed after assigning ground coordinates to pixels of a plurality of stereo pair images that are central projection images. Correction, that is, by rearranging each pixel at an orthographic projection position.
画像に地上座標を対応付けるには、画像撮影時のカメラ位置、カメラ姿勢等の所謂外部標定要素を知ることが必要であり、地上座標に対応付けられた外部標定要素の算定は、1つのコースの中に配置されてステレオモデル間を接続するパスポイント、あるいは、コース間を接続するタイポイントと呼ばれる接続点1を使用した空中三角測量計算処理により行われる。すなわち、空中三角測量においては、地上座標との関連が既知の地上基準点を利用してステレオモデルの構築に必要なパスポイント等の接続点1の地上座標が与えられ、画像撮影時におけるGPS/IMU出力値を外部標定要素として暫定使用する直接定位においては、調整計算として実行されて高精度な外部標定要素、あるいはパスポイント等の接続点1の地上座標が与えられる。
In order to associate the ground coordinates with the image, it is necessary to know so-called external orientation elements such as the camera position and the camera posture at the time of image capturing, and the calculation of the external orientation elements associated with the ground coordinates is performed in one course. This is performed by an aerial triangulation calculation process using a
本発明は、これら接続点1がステレオモデルの精度を高めるために、画像内に均一に配置されていることに注目してなされたもので、これら接続点1を色調整の共通点として使用することにより、画像全域に渡る自然な色調整が可能になる。
The present invention was made by paying attention to the fact that these
また、上記接続点1を色調整の基準とすることにより、改めて調整基準点を検索する必要がなくなるために、効率的な調整操作が可能になる。
In addition, by using the
さらに、写真画像に対する画素調整を空中三角測量計算に並行して実行すると、空中三角測量完了時に色調整情報を準備することが可能なるために、各ピクセルの正射影位置への再配置をしながら色調整も行うことが可能になるために、処理効率が向上する。 Furthermore, if pixel adjustment for a photographic image is performed in parallel with aerial triangulation calculation, color adjustment information can be prepared when aerial triangulation is completed. Since color adjustment can be performed, the processing efficiency is improved.
本発明によれば、写真の継ぎ目等における色調整を簡単かつ、正確に行うことができる。 According to the present invention, it is possible to easily and accurately perform color adjustment at a seam or the like of a photograph.
図1に本発明のオルソフォト画像生成方法を例にとって本発明の手順を示す。本実施の形態において、写真の外部標定要素の算定に当たっては、直接定位によるディジタル空中写真測量手法を使用する場合が示されるが、対空標識の設置を伴う従来型の空中三角測量を使用するディジタルマッピング手法を使用するものであってもよい。 FIG. 1 shows the procedure of the present invention taking the orthophoto image generation method of the present invention as an example. In this embodiment, in the calculation of the external orientation element of a photograph, a case where a digital aerial photogrammetry method by direct localization is used is shown, but digital mapping using a conventional aerial triangulation with installation of an anti-air sign A method may be used.
直接定位を可能にするために、航空写真画像はGPS/IMU(慣性計測装置)が搭載された航空機から撮影され(ステップS1)、直接定位計算によって、撮影時のGPS/IMUからの出力値から撮影時のカメラの位置、姿勢(外部標定要素)が地上座標に関連付けて特定される(ステップS2)。この直接定位は、ディジタルマッピング手法においては、必須ではないが、従来型の空中三角測量を採用する場合であっても、本工程による直接定位をステレオマッチングの際の初期値として使用することによってステレオペア画像上にエピポーラ線を正確に設定することができるために、画像相関に基づいてパスポイント、タイポイント(接続点1)を自動抽出する場合、ステレオマッチング率の向上に資することができる。 In order to enable direct localization, an aerial photograph image is taken from an aircraft equipped with GPS / IMU (Inertial Measurement Unit) (step S1), and from the output value from GPS / IMU at the time of shooting by direct localization calculation The position and orientation (external orientation element) of the camera at the time of shooting are specified in association with the ground coordinates (step S2). This direct localization is not indispensable in the digital mapping method, but even if the conventional aerial triangulation is adopted, the direct localization by this process is used as the initial value in stereo matching. Since the epipolar line can be accurately set on the pair image, when the pass point and tie point (connection point 1) are automatically extracted based on the image correlation, the stereo matching rate can be improved.
GPS/IMU値のみを使用して求めた外部標定要素は、直接定位結果と地上座標系との結合、あるいはモデル間、コース間の調整がされていないために、高い精度を期待できないことから、同時調整が行われる(ステップS4)。 Since the external orientation elements obtained using only GPS / IMU values are not coupled directly with the localization results and the ground coordinate system, or between models and between courses, high accuracy cannot be expected. Simultaneous adjustment is performed (step S4).
同時調整は、上記直接定位により求めた外部標定要素と、航空写真画像間を連結するパスポイント、タイポイントをブロック調整により同時に調整することによりパスポイント、およびタイポイント等の接続点1に地上座標を付与する空中三角測量計算処理を内容とするもので、同時調整に先立って、まず、各航空写真画像の画素に座標を設定し(ステップS3)、次いで、画像相関に基づくパスポイント、タイポイントを自動抽出する(S41)。パスポイント等の自動抽出に際しては、上述したように、直接定位計算による結果を利用できる。
Simultaneous adjustment is performed by adjusting the ground coordinates at the
以上のようにして求められたパスポイント、およびタイポイントに対しては、写真座標が付与され、さらに、色調整のための補正値演算工程が実行される。補正値演算工程に際し、まず、上記パスポイント等の色情報が取得され(ステップS42)、この後、色調整式のパラメータを算出する(S43)。 Photo coordinates are assigned to the pass points and tie points obtained as described above, and a correction value calculation step for color adjustment is executed. In the correction value calculation step, first, the color information such as the pass point is acquired (step S42), and then the parameters of the color adjustment formula are calculated (S43).
図2に基づいて、色調整式のパラメータの算出方法を説明する。図2は60%の連続重複度と30%のコース間重複度で撮影された6枚の航空写真画像を示すもので、図2における横方向がコース方向を示す。 図2には、自動抽出された接続点1のうち、理解を容易にするために便宜上選択された接続点A、B、C、D、E、Fが示されており、接続点1毎に観察できる画像枚数が異なっている。すなわち、A点は、全ての画像(1〜6)に観測されており、これをA点(6枚:画像1、2、3、4、5、6)と表すと、他の点は、同様に、
B点(5枚:画像1、2、4、5、6)
C点(4枚:画像1、2、4、5)
D点(3枚:画像4、5、6)
E点(2枚:画像5、6)
F点(1枚:画像6)
の観測画像数を有している。
Based on FIG. 2, a method of calculating the parameters of the color adjustment formula will be described. FIG. 2 shows six aerial photographs taken with 60% continuous overlap and 30% course overlap. The horizontal direction in FIG. 2 indicates the course direction. FIG. 2 shows connection points A, B, C, D, E, and F that are selected for convenience in order to facilitate understanding among the
Point B (5 images:
Point C (4 images:
Point D (3 images:
Point E (2 images:
Point F (1 sheet: image 6)
The number of observed images.
これら接続点1の抽出に際し、画像上の座標と色情報が求められており、これらの座標値をxpij,ypij、色情報をRGB表記によりRij,Gij,Bijで表す。
In extracting these
ただし、iは画像、jは点を示し、例えば、xp5Eは、画像5におけるE点のx座標値を示し、R5Eは、画像5におけるE点の赤階調数を示す。
However, i represents an image, j represents a point, for example, xp 5E represents the x coordinate value of the point E in the
以上を前提に、全画像での色調の一致条件は、
各点の色をCijとすると、
Cij=(Rij,Gij,Bij) ただしijは上述した例と同様に、画像上の点を示す
C1A=C2A=C3A=C4A=C5A=C6A
C1B=C2B=C4B=C5B=C6B
C1C=C2C=C4C=C5C
・・・
・・・
C5E=C6E
で与えられる。
Based on the above, the color matching condition for all images is
If the color of each point is C ij ,
C ij = (R ij , G ij , B ij ) where ij indicates a point on the image as in the above example. C 1A = C 2A = C 3A = C 4A = C 5A = C 6A
C 1B = C 2B = C 4B = C 5B = C 6B
C 1C = C 2C = C 4C = C 5C
...
...
C 5E = C 6E
Given in.
色調補正値は、上述した条件に対する統計的な充足解として与えられ、各画像に与えるRGB毎の色補正量をΔRi、ΔGi、ΔBiとすると、補正後の各点の色C’ijは、
C’ij=(Rij+ΔRi,Gij+ΔGi,Bij+ΔBi)
で与えられる。
The tone correction value is given as a statistical satisfaction solution to the above-described conditions. When the color correction amount for each RGB given to each image is ΔR i , ΔG i , ΔB i , the corrected color C ′ ij of each point Is
C ′ ij = (R ij + ΔR i , G ij + ΔG i , B ij + ΔB i )
Given in.
いま、A点に関し、それぞれの画像1〜6のR、G、Bの補正量を加えると、補正後の色C’1A、C’2A、C’3A、C’4A、C’5A、C’6Aはそれぞれ、
C’1A=(R1A+ΔR1,G1A+ΔG1,B1A+ΔB1)
C’2A=(R2A+ΔR2,G2A+ΔG2,B2A+ΔB2)
C’3A=(R3A+ΔR3,G3A+ΔG3,B3A+ΔB3)
C’4A=(R4A+ΔR4,G4A+ΔG4,B4A+ΔB4)
C’5A=(R5A+ΔR5,G5A+ΔG5,B5A+ΔB5)
C’6A=(R6A+ΔR6,G6A+ΔG6,B6A+ΔB6)
で与えられ、以下、各点B、C、D、Eにおいても同様に定義できる。
Now, regarding the point A, when the correction amounts of R, G, and B of the
C ′ 1A = (R 1A + ΔR 1 , G 1A + ΔG 1 , B 1A + ΔB 1 )
C ′ 2A = (R 2A + ΔR 2 , G 2A + ΔG 2 , B 2A + ΔB 2 )
C ′ 3A = (R 3A + ΔR 3 , G 3A + ΔG 3 , B 3A + ΔB 3 )
C ′ 4A = (R 4A + ΔR 4 , G 4A + ΔG 4 , B 4A + ΔB 4 )
C ′ 5A = (R 5A + ΔR 5 , G 5A + ΔG 5 , B 5A + ΔB 5 )
C ′ 6A = (R 6A + ΔR 6 , G 6A + ΔG 6 , B 6A + ΔB 6 )
In the following, each point B, C, D, E can be defined similarly.
したがって、補正後の状態における色調一致の条件は、
C’1A=(R1A+ΔR1,G1A+ΔG1,B1A+ΔB1)
=C’2A=(R2A+ΔR2,G2A+ΔG2,B2A+ΔB2)
=C’3A=(R3A+ΔR3,G3A+ΔG3,B3A+ΔB3)
=C’4A=(R4A+ΔR4,G4A+ΔG4,B4A+ΔB4)
=C’5A=(R5A+ΔR5,G5A+ΔG5,B5A+ΔB5)
=C’6A=(R6A+ΔR6,G6A+ΔG6,B6A+ΔB6)
・・・
・・・
C’5E=(R5E+ΔR5,G5E+ΔG5,B5E+ΔB5)
=C’6E=(R6E+ΔR6,G6E+ΔG6,B6E+ΔB6)
で与えられる。
Therefore, the condition of color matching in the corrected state is
C ′ 1A = (R 1A + ΔR 1 , G 1A + ΔG 1 , B 1A + ΔB 1 )
= C ′ 2A = (R 2A + ΔR 2 , G 2A + ΔG 2 , B 2A + ΔB 2 )
= C ′ 3A = (R 3A + ΔR 3 , G 3A + ΔG 3 , B 3A + ΔB 3 )
= C ′ 4A = (R 4A + ΔR 4 , G 4A + ΔG 4 , B 4A + ΔB 4 )
= C ′ 5A = (R 5A + ΔR 5 , G 5A + ΔG 5 , B 5A + ΔB 5 )
= C ′ 6A = (R 6A + ΔR 6 , G 6A + ΔG 6 , B 6A + ΔB 6 )
...
...
C ′ 5E = (R 5E + ΔR 5 , G 5E + ΔG 5 , B 5E + ΔB 5 )
= C ' 6E = (R 6E + ΔR 6 , G 6E + ΔG 6 , B 6E + ΔB 6 )
Given in.
なお、点Fは1画像上にしか存在しないので、色調一致の条件には使用されない。 Since the point F exists only on one image, it is not used for the condition of color matching.
また、色が既知の点がある場合には、これを条件とすることが可能であり、例えば、F点が白の場合、
C’6F=(R6F+ΔR6,G6F+ΔG6,B6F+ΔB6)
=(255,255,255)
となり、黒の場合、
C’6F=(0,0,0)となる。
In addition, when there is a point whose color is known, it is possible to make this a condition. For example, when the point F is white,
C ′ 6F = (R 6F + ΔR 6 , G 6F + ΔG 6 , B 6F + ΔB 6 )
= (255, 255, 255)
And in the case of black,
C ′ 6F = (0, 0, 0).
ここで、例えば、ΔRの補正を例に取ると、A点の色調一致条件から、
C’1A=(R1A+ΔR1)
=C’2A=(R2A+ΔR2)
=C’3A=(R3A+ΔR3)
=C’4A=(R4A+ΔR4)
=C’5A=(R5A+ΔR5)
=C’6A=(R6A+ΔR6)
というように、6C2=15通りの組み合わせが作られ、同様に、B点では5C2=10通り、C点では4C2=6通り、D点では3C2=3通り、E点では
C’5E=(R5E+ΔR5)=C’6E=(R6E+ΔR6)の1通りの組み合わせが作られる。
Here, for example, taking ΔR as an example, from the tone matching condition of point A,
C ′ 1A = (R 1A + ΔR 1 )
= C ' 2A = (R 2A + ΔR 2 )
= C ' 3A = (R 3A + ΔR 3 )
= C ' 4A = (R 4A + ΔR 4 )
= C ' 5A = (R 5A + ΔR 5 )
= C ' 6A = (R 6A + ΔR 6 )
Thus, 6 C 2 = 15 combinations are made, and similarly, 5 C 2 = 10 ways at point B, 4 C 2 = 6 ways at point C, 3 C 2 = 3 ways at point D, E In terms of points, one combination of C ′ 5E = (R 5E + ΔR 5 ) = C ′ 6E = (R 6E + ΔR 6 ) is made.
もし、E点、F点の色が白色として既知である場合、
C’5E=(R5E+ΔR5)=C’6E=(R6E+ΔR6)
=255
C’6F=(R6F+ΔR6)=255
となる。
If the colors of points E and F are known as white,
C ′ 5E = (R 5E + ΔR 5 ) = C ′ 6E = (R 6E + ΔR 6 )
= 255
C ′ 6F = (R 6F + ΔR 6 ) = 255
It becomes.
これらの全ての条件を満たすことのできる解、すなわち、ΔR1〜ΔR6は一般に存在しないため、それぞれの条件に誤差が存在することとし、この誤差の二乗和を最小にすることを条件としてΔR1〜ΔR6を決定する。 There is generally no solution that can satisfy all of these conditions, that is, ΔR 1 to ΔR 6, so that there is an error in each condition, and ΔR on condition that the sum of squares of this error is minimized. 1 to ΔR 6 are determined.
すなわち、2枚の画像間に存在する誤差をvikj(ただし、kは2枚目の画像を示す)とすると、
v12A=C’1A−C’2A=(R1A+ΔR1)−(R2A+ΔR2)
・・・
・・・
v56A=C’5A−C’6A=(R5A+ΔR5)−(R6A+ΔR6)
v56E=C’5E−C’6E=(R5E+ΔR5)−(R6E+ΔR6)
となる。
That is, if an error existing between two images is v ikj (where k represents the second image),
v 12A = C '1A -C' 2A = (R 1A + ΔR 1) - (R 2A + ΔR 2)
...
...
v 56A = C '5A -C' 6A = (R 5A + ΔR 5) - (R 6A + ΔR 6)
v 56E = C '5E -C' 6E = (R 5E + ΔR 5) - (R 6E + ΔR 6)
It becomes.
この方程式は、例えば、画像2と画像3の差は、画像1と画像2の差、および画像1と画像3の差と同意であるために、共通点の組み合わせの数−1通りの数だけ存在する。
For example, since the difference between the
また、色が既知の場合(本例においては、E、F点が白色)、
v5E=(R5E+ΔR5)−255=C’5E
v6E=(R6E+ΔR6)−255=C’6E
v6F=(R6F+ΔR6)−255=C’6F
となり、この方程式は、色が既知の点数分存在する。
If the color is known (in this example, E and F points are white)
v 5E = (R 5E + ΔR 5 ) −255 = C ′ 5E
v 6E = (R 6E + ΔR 6 ) −255 = C ′ 6E
v 6F = (R 6F + ΔR 6 ) −255 = C ′ 6F
This equation has as many points as known colors.
ここで、6個のパラメータai、bi、ci、di、ei、fiを導入し、ΔRをこれらのパラメータを媒介とする以下の多項式で表わす。 Here, six parameters a i , b i , c i , d i , e i , and f i are introduced, and ΔR is expressed by the following polynomial using these parameters as a medium.
ΔRi=ai+bi・xpij+ci・ypij+di・xpij・ypij+ei・xpij 2+fi・ypij 2
上記多項式により、誤差を、各画像毎のパラメータをa1〜a6、b1〜b6、c1〜c6、d1〜d6、e1〜e6、f1〜f6を使用して表示すると、
v12A=(ΔR1−ΔR2)+(R1A−R2A)
=(a1+b1・xpiA+ci・ypiA+di・xpiA・ypiA+ei・xpiA 2+fi・ypiA 2)
−(a2+b2・xp2A+c2・yp2A+d2・xp2A・yp2A+e2・xp2A 2+f2・yp2A 2)
+(R1A−R2A)
・・・
・・・
v56E
=(a5+b5・xp5E+c5・yp5E+d5・xp5E・yp5E+e5・xp5E 2+f5・yp5E 2)
−(a6+b6・xp6E+c6・yp6E+d6・xp6E・yp6E+e6・xp6E 2+f6・yp6E 2)
+(R5E−R6E)
v5E
=(a5+b5・xp5E+c5・yp5E+d5・xp5E・yp5E+e5・xp5E 2+f5・yp5E 2)+(R5E−255)
v6E
=(a6+b6・xp6E+c6・yp6E+d6・xp6E・yp6E+e6・xp6E 2+f6・yp6E 2)+(R6E−255)
v6F
=(a6+b6・xp6F+c6・yp6F+d6・xp6F・yp6F+e6・xp6F 2+f6・yp6F 2)+(R6F−255)
となる。
ΔR i = a i + b i · x p ij + c i · yp ij + d i · xp ij · yp ij + e i · xp ij 2 + f i · yp ij 2
By the polynomial, using an error, the a 1 ~a 6, b 1 ~b 6,
v 12A = (ΔR 1 −ΔR 2 ) + (R 1A −R 2A )
= (A 1 + b 1 · xp iA + c i · yp iA + d i · xp iA · yp iA + e i · xp iA 2 + f i · yp iA 2 )
− (A 2 + b 2 · xp 2A + c 2 · yp 2A + d 2 · xp 2A · yp 2A + e 2 · xp 2A 2 + f 2 · yp 2A 2 )
+ (R 1A -R 2A )
...
...
v 56E
= (A 5 + b 5 · xp 5E +
- (a 6 + b 6 · xp 6E + c 6 · yp 6E + d 6 · xp 6E · yp 6E + e 6 · xp 6E 2 + f 6 · yp 6E 2)
+ (R 5E -R 6E )
v 5E
= (A 5 + b 5 · xp 5E +
v 6E
= (A 6 + b 6 · xp 6E + c 6 · yp 6E + d 6 · xp 6E · yp 6E + e 6 · xp 6E 2 + f 6 · yp 6E 2 ) + (R 6E -255)
v 6F
= (A 6 + b 6 · xp 6F + c 6 · yp 6F + d 6 · xp 6F · yp 6F + e 6 · xp 6F 2 + f 6 · yp 6F 2 ) + (R 6F -255)
It becomes.
これらを残差ベクトル(V)、係数の行列(A)、未知数のベクトル(X)、および定数項のベクトル(L)とする行列表示(V=AX−L)で表示すると、
となる。 It becomes.
上記観測方程式から最小二乗法での二乗和を最小にし、Xを求める条件は、
VTPV=min
ただし、Pは重量行列であり、全ての観測が独立同精度であれば単位行列となる。
The condition for minimizing the sum of squares in the least squares method from the above observation equation and obtaining X is:
V T PV = min
However, P is a weight matrix and becomes a unit matrix if all observations are independent and of the same precision.
VTPV=(AX−L)TP(AX−L)
=(XTAT−LT)P(AX−L)
=XTATPAX−XTATPL−LTPAX+LTPL (1)
Xは上式(1)の極値を与えるので、
(式(1)のXによる偏微分)=0
を求めると、
ATPAX=ATPL
となり、
X=(ATPA)-1ATPL
が求められ、これにより、未知数ベクトルX(a1〜f6)の最適解が求められる。
V T PV = (AX−L) T P (AX−L)
= (X T A T -L T ) P (AX-L)
= X T AT PAX-X T AT PL-L T PAX + L T PL (1)
Since X gives the extreme value of the above equation (1),
(Partial differential with X in equation (1)) = 0
Ask for
A T PAX = A T PL
And
X = (A T PA) −1 A T PL
Thus, the optimum solution of the unknown vector X (a 1 to f 6 ) is obtained.
上述したように、R値への色補正量ΔRは、
ΔRi=ai+bi・xpij+ci・ypij+di・xpij・ypij+ei・xpij 2+fi・ypij 2
として求められるために、これに未知数ベクトルXを代入すると、画像iにおけるR値への色補正量が決定される。
As described above, the color correction amount ΔR to the R value is
ΔR i = a i + b i · x p ij + c i · yp ij + d i · xp ij · yp ij + e i · xp ij 2 + f i · yp ij 2
Therefore, when the unknown vector X is substituted for this, the color correction amount to the R value in the image i is determined.
以上R値の色補正量を例示したが、G、B値に対しても同様の手順でΔGi、ΔBiを求め、補正値演算工程が終了する。 Although the color correction amount of the R value has been exemplified above, ΔG i and ΔB i are obtained for the G and B values in the same procedure, and the correction value calculating step is completed.
この補正値演算工程に次いで、対応する画像のRGB補正値を画像全体に適用することによって画素調整工程(S44)が実行されて色調整が終了する。 Following this correction value calculation step, the pixel adjustment step (S44) is executed by applying the RGB correction values of the corresponding image to the entire image, and the color adjustment is completed.
一方、同時調整において外部標定要素が決定されると(ステップS5)、周知のオルソフォト画像生成工程によって、まず、数値表層モデル(DSM)、およびの数値地形モデル(DTM)を生成した後(ステップS6)、画像を正射影変換して正射投影画像を作成する(ステップS7)。この後、モザイク処理ソフトウエアを使用して隣接する各正射投影画像を重ね合わせて結合し(ステップS8)、連続したオルソフォト画像が生成される(ステップS9)。 On the other hand, when an external orientation element is determined in the simultaneous adjustment (step S5), first, a numerical surface model (DSM) and a numerical terrain model (DTM) are generated by a known orthophoto image generation process (step S5). S6) The image is orthographically transformed to create an orthographic projection image (step S7). Thereafter, adjacent orthographic projection images are superimposed and combined using mosaic processing software (step S8), and a continuous orthophoto image is generated (step S9).
上記色調整のうち、補正値演算工程は、同時調整工程に併行して実行することにより、処理時間の短縮をはかることが望ましいが、画素調整工程は、補正値演算工程に続けて実行すること以外に、正射影変換工程において、画素の再配置と同時に行うことも可能である。 Among the color adjustments described above, the correction value calculation step is preferably performed in parallel with the simultaneous adjustment step, so that the processing time is preferably shortened. However, the pixel adjustment step is performed following the correction value calculation step. In addition, in the orthogonal projection conversion step, it can be performed simultaneously with the rearrangement of pixels.
また、以上においては、全航空写真画像に対する一括処理を直ちに行う場合を示したが、この前に、画像ごとに別途、中心減光の補正を行ない、この後、上述した接続点1を利用した色調整を行うことができる。具体的には、レンズ中心と画像中心とがずれている場合、GPS/IMU出力による外部標定要素を使用してカメラ位置、カメラ姿勢を補正した状態での中心減光補正を行うことができる。
In the above, the case where the batch processing for all the aerial photograph images is performed immediately has been shown, but before this, center dimming is separately corrected for each image, and thereafter, the
なお、以上においては、オルソフォト画像の接合を例にとって本発明を説明したが、正射投影変換することなく複数の画像を単に接合して単画像を生成する場合にも本発明を適用することができる。 In the above description, the present invention has been described by taking an orthophoto image as an example. However, the present invention can also be applied to a case where a single image is generated by simply joining a plurality of images without orthographic projection conversion. Can do.
1 接続点 1 connection point
Claims (7)
前記色調整時の共通点として、画像間を接続する際に使用した接続点を使用する単画像の生成方法。 A method for generating a single image, in which a plurality of aerial images are connected by adjusting the color between images under the condition of color matching or proximity matching at a common point common to the images. ,
A method of generating a single image using a connection point used when connecting images as a common point in the color adjustment.
前記色調整が、
前記画像結合処理において使用され、複数の航空写真画像に表示された同一の接続点での色調を近接一致させるために該接続点の画素に作用させる補正値を各航空写真画像ごとに求める補正値演算工程と、
前記補正値を各航空写真画像に加えて航空写真画像間の色調の調整を行なう画素調整工程と、
を含む単画像の生成方法。 A method for generating a single image, in which a plurality of aerial images are connected by adjusting the color between images under the condition of color matching or proximity matching at a common point common to the images. ,
The color adjustment is
A correction value used in the image combining process to obtain a correction value for each aerial image to be applied to the pixels of the connection point in order to closely match the color tone at the same connection point displayed in a plurality of aerial photograph images A calculation process;
A pixel adjustment step of adjusting the color tone between the aerial photograph images by adding the correction value to each aerial photograph image;
Of generating a single image including
前記色調整時の共通点として、空中三角測量計算処理において使用した接続点を使用する請求項1から5のいずれかに記載の単画像の生成方法。 The single image is an orthophoto image obtained by orthographic projection conversion of the aerial photo image through aerial triangulation calculation processing,
6. The method for generating a single image according to claim 1, wherein a connection point used in aerial triangulation calculation processing is used as the common point at the time of color adjustment.
前記色調整が、
前記三角測量計算処理において使用され、複数の航空写真画像に表示された同一の接続点での色調を近接一致させるために該接続点の画素に作用させる補正値を各航空写真画像ごとに求める補正値演算工程と、
前記補正値を各航空写真画像に加えて航空写真画像間の色調の調整を行なう画素調整工程とを含み、
前記補正値演算工程が、空中三角測量計算処理における標定要素演算に併行して行なわれるオルソフォト画像の生成方法。 Orthophoto image of multiple aerial image images undergoing orthographic projection conversion through aerial triangulation calculation processing, and color adjustment between images on condition of color matching or proximity matching at common points common between images An orthophoto image generating method for generating
The color adjustment is
A correction used in the triangulation calculation processing to obtain a correction value for each aerial image to be applied to the pixels of the connection point in order to closely match the color tone at the same connection point displayed in a plurality of aerial photograph images A value calculation process;
A pixel adjustment step of adjusting the color tone between the aerial photograph images by adding the correction value to each aerial photograph image,
An orthophoto image generation method in which the correction value calculation step is performed in parallel with the orientation element calculation in the aerial triangulation calculation processing.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010072453A JP5580091B2 (en) | 2010-03-26 | 2010-03-26 | Single image generation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010072453A JP5580091B2 (en) | 2010-03-26 | 2010-03-26 | Single image generation method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011204121A true JP2011204121A (en) | 2011-10-13 |
JP5580091B2 JP5580091B2 (en) | 2014-08-27 |
Family
ID=44880683
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010072453A Active JP5580091B2 (en) | 2010-03-26 | 2010-03-26 | Single image generation method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5580091B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017221641A1 (en) * | 2016-06-22 | 2017-12-28 | コニカミノルタ株式会社 | Plant growth index measurement device, method, and program |
KR102117276B1 (en) * | 2019-12-10 | 2020-06-01 | (주)태영정보시스템 | Improvement of seam line extraction method using DSM data for mosaic processing of aerial photographs, satellite images, and drones |
WO2020181469A1 (en) * | 2019-03-11 | 2020-09-17 | 深圳市大疆创新科技有限公司 | Image processing method, device, system, and storage medium |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05165402A (en) * | 1991-04-25 | 1993-07-02 | Fujiretsukusu Kk | Device and method for generating simplified photographic map |
JPH09212626A (en) * | 1996-02-01 | 1997-08-15 | Hitachi Ltd | Image editing method and device therefor |
JP2004021366A (en) * | 2002-06-13 | 2004-01-22 | Suminoe Textile Co Ltd | Image processing device and image processing method |
JP2006279297A (en) * | 2005-03-28 | 2006-10-12 | Fuji Xerox Co Ltd | Image reading apparatus |
JP2008258679A (en) * | 2007-03-30 | 2008-10-23 | Pasuko:Kk | Color correcting method for line sensor observation image |
JP2009271895A (en) * | 2008-04-30 | 2009-11-19 | Kokusai Kogyo Co Ltd | Image set and method for independent rectification |
-
2010
- 2010-03-26 JP JP2010072453A patent/JP5580091B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05165402A (en) * | 1991-04-25 | 1993-07-02 | Fujiretsukusu Kk | Device and method for generating simplified photographic map |
JPH09212626A (en) * | 1996-02-01 | 1997-08-15 | Hitachi Ltd | Image editing method and device therefor |
JP2004021366A (en) * | 2002-06-13 | 2004-01-22 | Suminoe Textile Co Ltd | Image processing device and image processing method |
JP2006279297A (en) * | 2005-03-28 | 2006-10-12 | Fuji Xerox Co Ltd | Image reading apparatus |
JP2008258679A (en) * | 2007-03-30 | 2008-10-23 | Pasuko:Kk | Color correcting method for line sensor observation image |
JP2009271895A (en) * | 2008-04-30 | 2009-11-19 | Kokusai Kogyo Co Ltd | Image set and method for independent rectification |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017221641A1 (en) * | 2016-06-22 | 2017-12-28 | コニカミノルタ株式会社 | Plant growth index measurement device, method, and program |
JPWO2017221641A1 (en) * | 2016-06-22 | 2019-04-11 | コニカミノルタ株式会社 | Plant growth index measuring device, method and program |
WO2020181469A1 (en) * | 2019-03-11 | 2020-09-17 | 深圳市大疆创新科技有限公司 | Image processing method, device, system, and storage medium |
KR102117276B1 (en) * | 2019-12-10 | 2020-06-01 | (주)태영정보시스템 | Improvement of seam line extraction method using DSM data for mosaic processing of aerial photographs, satellite images, and drones |
Also Published As
Publication number | Publication date |
---|---|
JP5580091B2 (en) | 2014-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6757445B1 (en) | Method and apparatus for producing digital orthophotos using sparse stereo configurations and external models | |
CN104729532B (en) | A kind of tight scaling method of panorama camera | |
EP3358480B1 (en) | Drawing creation device and drawing creation method | |
JP2009177251A (en) | Generation method of orthophoto image and photographing device | |
KR20110052993A (en) | Method and apparatus for compensating image | |
KR20110082903A (en) | Method of compensating and generating orthoimage for aerial-photo | |
JP5580091B2 (en) | Single image generation method | |
CN112232319A (en) | Scanning splicing method based on monocular vision positioning | |
JP2011100426A (en) | Image processing device and method | |
JP5771423B2 (en) | Image color correction apparatus and image color correction method | |
KR101346192B1 (en) | Aviation surveying system for correction realtime of aviation image | |
Finlayson et al. | Color homography color correction | |
CN114998399B (en) | Heterogeneous optical remote sensing satellite image stereopair preprocessing method | |
JP4696018B2 (en) | Observation position following video presentation device, observation position following video presentation program, video presentation device, and video presentation program | |
CN105571598B (en) | A kind of assay method of laser satellite altimeter footmark camera posture | |
JP5991821B2 (en) | Photogrammetry equipment | |
KR101346206B1 (en) | Aviation surveying system for processing the aviation image in gps | |
JP2014515574A (en) | Method and apparatus for correcting color distortion in image forming system or image output system | |
CN107146281B (en) | Lunar surface high-resolution DEM extraction method | |
CN112422848B (en) | Video stitching method based on depth map and color map | |
JP4480212B2 (en) | Calculation method of aerial photo position and orientation | |
KR102217215B1 (en) | Server and method for 3dimension model production using scale bar | |
CN109612439B (en) | Stereo image intersection angle and base line length estimation method based on rational function model | |
CN106780324B (en) | Edge joint correction method for orthoimage mosaic | |
JP2011054068A (en) | Image processing system, image processor, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131029 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20131226 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20140325 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140325 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140701 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140710 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5580091 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |