CN108474661A - 用于多光谱数据的几何参照的方法和*** - Google Patents
用于多光谱数据的几何参照的方法和*** Download PDFInfo
- Publication number
- CN108474661A CN108474661A CN201780005962.8A CN201780005962A CN108474661A CN 108474661 A CN108474661 A CN 108474661A CN 201780005962 A CN201780005962 A CN 201780005962A CN 108474661 A CN108474661 A CN 108474661A
- Authority
- CN
- China
- Prior art keywords
- image
- subset
- sequence
- photogrammetric
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000000007 visual effect Effects 0.000 claims abstract description 23
- 238000006073 displacement reaction Methods 0.000 claims abstract description 11
- 230000005855 radiation Effects 0.000 claims abstract description 10
- 238000004590 computer program Methods 0.000 claims abstract description 5
- 238000001228 spectrum Methods 0.000 claims description 35
- 238000003384 imaging method Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 13
- 230000003595 spectral effect Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000009738 saturating Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 241001074085 Scophthalmus aquosus Species 0.000 description 1
- 235000009754 Vitis X bourquina Nutrition 0.000 description 1
- 235000012333 Vitis X labruscana Nutrition 0.000 description 1
- 240000006365 Vitis vinifera Species 0.000 description 1
- 235000014787 Vitis vinifera Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 239000003653 coastal water Substances 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 108010072348 sperm releasing substance Proteins 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000002198 surface plasmon resonance spectroscopy Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/02—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by astronomical means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
- G01C11/025—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures by scanning the object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/2823—Imaging spectrometer
- G01J2003/2826—Multispectral imaging, e.g. filter imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Automation & Control Theory (AREA)
- Astronomy & Astrophysics (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种用于图像序列中的多光谱数据的几何参照的方法，所述图像包含表示相应不同波长的成像辐射的不同区域，该方法包括：从图像序列中选择子集，所述子集中包含多个图像，其中每个图像表示与相同子集中的至少一个其他图像的视场重叠的视场；通过对子集中的图像执行摄影测量3D重构来生成3D模型；估计所述图像序列的连续图像对之间的位移和偏航；以及使用所述3D模型和所述估计的位置和偏航来计算针对不在所述所选子集中的所述图像序列的图像的摄影测量参数。本发明还涉及对应的***和对应的计算机程序产品。
Description
发明领域
本发明涉及例如在航空成像中的图像捕获领域。更具体地，本发明涉及用于获得多光谱图像的感测***、对应的成像***和使用它们的方法。
背景技术
高光谱成像是光谱成像的一种形式，其中来自跨电磁频谱的信息被收集在许多窄光谱带中并被处理。从收集到的不同光谱图像中可以推导出被成像对象的信息。例如，由于某些对象在图像中留下甚至可能取决于对象的状态的独特光谱特征，因此通过多光谱成像获得的信息可以提供关于被成像区域中的对象的存在和/或状态的信息。在选择将被成像的光谱范围之后，由于可以采集该完整光谱范围中的光谱图像，因此不需要具有对象的详细先验知识，并且后处理可允许获得所有可用信息。
虽然最初的高光谱遥感主要被用于采矿和地质学，但是其他应用(诸如生态、农业和监控之类)也利用成像技术。
使用摄影测量技术从获取到的二维图像推断三维信息尤其是高程信息是共知的。在Alsadik,B.S.、Gerke,M.以及Vosselman,G.在2012年的“Optimal Camera NetworkDesign For 3D Modeling Of Cultural Heritage(针对文化遗产的3D建模的最佳的相机网络设计)”，ISPRS Annals of the Photogrammetry(SPRS摄影测量年鉴),RemoteSensing and Spatial Information Sciences(遥感与空间信息科学)，I-3,7–12.中公开了这样的技术的示例。
已知其中高光谱遥感被使用的一些农业和生态应用，举例而言，用于监测农作物的发育和健康、葡萄品种检测、监测各个森林冠层、植物化学成分的检测以及疾病爆发的早期检测、监测污染和其他环境因素的影响等是一些感兴趣的农业应用。高光谱成像也被用于内陆和沿海水域的研究以检测生物物理属性。在矿物学中，有价值的矿物(诸如金或钻石)的检测可使用高光谱感测来执行，而且还设想了检测来自管道和天然井的油气泄漏。地球上或甚至在其他行星、小行星或彗星处的土壤组成的检测也是高光谱成像的可能应用。例如，在监控中，高光谱成像可被执行以用于生物的检测。
以本申请人的名义的国际专利申请公开WO 2011/073430 A1公开了一种用于获得相对于感测设备相对移动的感兴趣区域的几何参照式多光谱图像数据的感测设备。该感测设备包括第一二维传感器元件以及光谱滤光器。光谱滤光器和第一传感器元件被布置成使用第一传感器元件的一部分来获得在第一波长或波长范围的光谱信息，并且使用第一传感器元件的另一部分来获得在第二波长或波长范围的光谱信息。作为这种布置的结果，用第一传感器获取的单个图像的不同部分将表示在如不同相应波长的辐照中所见的成像场景。
至今，不存在令人满意的方式来将上述摄影测量技术直接应用于多光谱或高光谱图像(诸如借助于WO 2011/073430 A1的第一传感器获取到的那些)。无论如何，关于所捕获的多光谱或高光谱图像的全摄影测量信息对于将任何特定波长带中的所扫描场景的图像正确地缝合在一起是必要的。
在WO 2011/073430A1中，这一问题是通过在相同基板上提供第二传感器来解决的，该第二传感器同时获取由第一传感器成像的区域的全色图像。该全色图像被用于执行3D建模，并且该3D模型信息随后被转置为由多光谱或高光谱第一传感器覆盖的不同波长带中场景的复合图像。
以本申请人的名义的未公开国际专利申请PCT/EP2015/065523描述了一种用于获得相对于感测设备相对移动的感兴趣区域的几何参照式多光谱图像数据的感测设备，该感测设备包括：至少第一二维传感器元件，该感测设备被适配成用于在感兴趣区域相对于该感测设备的相对运动期间获得随后的多光谱图像，从而使用第一传感器元件为该感兴趣区域的不同部分提供有区别的光谱信息；第二二维传感器元件，该感测设备被适配成用于使用第二传感器元件来提供感兴趣区域的图像以生成要被耦合到有区别的光谱信息的几何参照信息；第一二维传感器元件在第一帧速率下可操作以捕获第一帧序列，而第二二维传感器元件在第二帧速率下可操作以捕获第二帧序列；其中第一帧速率高于第二帧速率；并且其中该感测设备进一步包括处理器，该处理器被配置成生成要被耦合到第一帧序列的帧的中间几何参照信息，对于第一帧序列的帧，来自第二帧序列的同步帧不可用，该中间几何参照信息是从来自第二帧序列的一个或多个时间上类似帧导出的。以此方式，相对于WO2011/073430 A1的***，PCT/EP2015/065523的***能够借助于内插或外推来减少执行几何参照所需要的全色图像的数量。然而，PCT/EP2015/065523的***不改变全色图像仍然必要的假设。
由本发明的申请人A.Sima等人的文章“Semi-Automated Registration ofClose-Range Hyperspectral Scans Using Oriented Digital Camera Imagery And A3D Model(使用定向数码相机图像和3D模型的近距离高光谱扫描仪的半自动配准)”，摄影测量记录，第29期(2104)，号145揭示了一种利用LIDAR模型和常规数字摄影来配准地面全景高光谱图像的半自动方法。该方法依赖于找到在电磁波谱的显著不同部分中从不同视角获取的、并且具有不同的空间分辨率和几何投影的各图像之间的相应点。该文章认识到，在高光谱波段与覆盖(全色)数码相机图像之间匹配的同源点随波长而变，并且提出了依赖于其中可匹配最大数量的点的光谱波段的公正选择的技术。
以本申请人的名义的未公开国际专利申请PCT/EP2015/065524描述了一种用于执行在图像序列中成像的对象的摄影测量3D重构的方法，该图像包含表示各个不同波长的成像辐射的不同区域，该方法包括：从图像序列中选择多个子集，该多个子集中的每一个包含多个图像，其中每个图像表示与相同子集中的至少一个其他图像的视场重叠的视场；通过对子集中的相应子集中的图像执行摄影测量3D重构来生成一组中间3D模型；以及将中间3D模型从一组3D模型重组为经组合的3D模型。然而，该方法仍然要求显著的处理量。
以URC风险投资公司的名义的国际专利申请公开号WO2014/151746A2揭示了用于分析以各种方式经由移动设备获取的图像的技术，包括估计针对图像中的一个或多个对象的一个或多个属性的测量。例如，所描述的技术被陈述为可用于基于当人类用户绕过一些或所有对象时经由他或她携带的移动设备获取的图像，来测量储存的材料或其他大对象的体积。在感兴趣的对象的一系列数字图像的获取期间，各种类型的用户反馈可被提供给移动设备的人类用户操作者，并且特定图像可被选择以用于按各种方式进行进一步分析。此外，对象体积的计算和/或其它经确定的对象信息可包括根据所选图像来生成并操纵计算机模型或对象的其它表示。该文章中揭示的技术不涉及表示不同波长的辐射的图像。
由Lichun Li等人的文章，“A new navigation approach of terrain contourmatching based on 3-D terrain reconstruction from onboard image sequence(基于板载图像序列的三维地形重构的地形轮廓匹配的新导航办法)”，中国科学技术科学第35期(2010)，号5，1176-1183揭示了通过根据由板载相机获取的图像序列重构3D地形的地形轮廓匹配的被动导航方法。为了实现用于导航的图像序列处理的自动化和同时性，提出了基于控制点跟踪的相应配准方法，该方法贯穿整个图像序列跟踪稀疏的控制点并且将它们用作关系几何解决方案中的对应关系。探究了基于图像重叠率和相交角的关键帧选择方法，并且随后提供了对相机***配置的要求。所提出的方法还包括根据控制点的最佳本地单应性估计算法，该算法有助于正确预测要被匹配的点及其相应的速度。因此，由此重构的轨迹的实时3D地形与所参照的地形图匹配，并且该结果提供导航信息。该文章中揭示的技术不涉及表示不同波长的辐射的图像。
由Turner Darren等人的文章“Direct Georeferencing ofUltrahigh-Resolution UAV Imagery(超高分辨率无人机影像的直接地理定位)”，IEEE地球科学与遥感学报，第52期(2014)，号5，2738－2754揭示了针对相机地球定位***(GPS)模块的概念，该模块允许用由10-20cm精度的GPS所记录的机身位置进行相机曝光的同步。杆臂校正被应用于相机位置以计及GPS相机与相机中心之间的位置差。图像选择算法被实现以消除模糊图像和具有过度重叠的图像。该研究比较三种不同的软件方法(Photoscan、Pix4D网页服务和内部打包机方法)，基于处理时间、易用性和产生的最终马赛克的空间准确性来评价每一者。该文章提及需要移除这些重叠图像中的一些以改善处理效率，这是通过从图像EXIF标题中读取图像位置信息来实现的。约80％的图像重叠被陈述为产生针对基于SfM图像处理算法的最好结果。图像子集构造是通过计算连续图像之间的距离来实现的。该文章中揭示的技术不涉及表示不同波长的辐射的图像。
以Visual Intelligence(视觉智能)LP名义的国际专利申请公开号WO 2014/031284 A1揭示了一种成像传感器***，包括：安装单元，该安装单元固定到车辆或平台并且具有置于该安装单元内的至少三个成像传感器，其中第一、第二和第三成像传感器中的每一者具有通过安装单元中的孔的焦轴，其中第一图像传感器生成目标区域的包括第一像素阵列的第一图像区域，其中第二图像传感器生成目标区域的包括第一像素阵列的第二图像区域，其中第一和第二成像传感器偏移以在目标区域中具有第一图像重叠区域，其中第一传感器图像数据在第一图像重叠区域中平分第二传感器图像数据。描述了各个实施例。相机阵列组件被配置成使得相关图像区域的毗邻边界稍微重叠。尽管该文档建议使用标准摄影测量技术来正交矫正重叠图像序列以产生正交映射，其中每个像素具有唯一纬度和精度左边以及唯一海拔坐标，但它不涉及处理在不同光谱范围内获取的图像。
以M7Visual Intelligence(视觉智能)LP名义的国际专利申请公开号WO 2004/027348 A2揭示了一种使用自锁旅行模式和目标遥感数据来校准车载遥感***的方法。该自锁旅行模式包括在毗邻旅行线路之间具有重叠条带宽度的数个并行的旅行线路。该重叠条带宽度被用于确定远程传感器设备的瞄准角和距离偏移。另外，该方法可被用于生成估计的水平和垂直位移误差。这些估计的误差可被用作对距离偏移和瞄准角的校正因子。
需要一种几何参照的多光谱或高光谱图像的替代方式，该方式不依赖于同时获得的全色图像并且具有有限的计算复杂度。
发明内容
根据本发明的一方面，提供了一种图像序列中的多光谱数据的几何参照的方法，该图像包含表示相应不同波长的成像辐射的不同区域，该方法包括：从图像序列中选择子集，所述子集中包含多个图像，其中每个图像表示与相同子集中的至少一个其他图像的视场重叠的视场；通过对子集中的图像执行摄影测量3D重构来生成3D模型；估计所述图像序列的连续图像对之间的位移和偏航；以及使用所述3D模型和所述估计的位置和偏航来计算针对不在所述所选子集中的所述图像序列的图像的摄影测量参数。
贯穿本申请，术语“多光谱”被理解为包括“高光谱”，除非另外指明。
本发明的优势是通过明智地结合摄影测量技术，可以更高效地对分段多光谱图像集进行几何参照―对于足够间隔开的图像―具有内插技术－对于针对摄影测量选择的图像之间的所有图像。
类似于未公开的专利申请号PCT/EP2015/065524中描述的方面，本发明特别是基于发明人的惊人洞察力：尽管不同图像中相同特征的外观不同，如果用于3D重构的图像相距甚远，3D建模可以成功地被应用于多光谱图像。因此，当为摄影测量3D建模选择图像对时，光谱接近度的矛盾要求(成像波长越近，图像视觉上越相似)和空间分离(拍摄的图像越远，深度信息将越明显)产生一个令人惊讶的“甜蜜点”，其中对于多光谱或高光谱图像对的高效和精确摄影处理结果是可能的。然而，本发明通过将其应用限制于图像子集并且借助于内插来解析针对干涉图像的参数来减轻PCT/EP2015/065524的摄影测量技术的过度处理要求。
在一实施例中，根据本发明的方法进一步包括借助于具有感测元件的高光谱传感器来获得图像序列，所述感测元件具有对不同波长敏感的不同部件。
本发明人已经发现本发明尤其很好地适合于解决在高光谱图像中发生的参照问题。
在根据本发明的方法的实施例中，图像序列包括在传感器的运动方向上紧密间隔以便在所述方向上具有大约99％的重叠的图像。
通过使用本发明获得的计算复杂性的改善在要被处理的图像是极度紧密间隔时(如是针对在航空光谱摄影中或得的高光谱图像的情形)是尤其显著的。
根据本发明的一方面，提供了一种包括被配置成在被执行时致使处理器执行如上所述的方法的步骤的代码手段的计算机程序产品。
根据本发明的一方面，提供了一种图像序列中的多光谱数据的几何参照的***，该图像包含表示相应不同波长的成像辐射的不同区域，该***包括被配置用于以下的处理器：从图像序列中选择子集，所述子集中包含多个图像，其中每个图像表示与相同子集中的至少一个其他图像的视场重叠的视场；通过对子集中的图像执行摄影测量3D重构来生成3D模型；估计所述图像序列的连续图像对之间的位移和偏航；以及使用所述3D模型和所述估计的位置和偏航来计算针对不在所述所选子集中的所述图像序列的图像的摄影测量参数。
在根据本发明的***的实施例中图像是由具有感测元件的高光谱传感器获得的高光谱图像，该感测元件具有对不同波长敏感的不同部件。
在根据本发明的***的实施例中，图像序列包括在传感器的运动方向上紧密间隔以便在所述方向上具有大约99％的重叠的图像。
根据本发明的计算机程序产品和***的各实施例的技术效果和优点加以必要的修改对应于根据本发明的方法的实施例的那些技术效果和优点。
附图简述
本发明的实施例的这些以及其他技术方面和优点现在将参照附图更具体地描述，其中：
图1示意性地例示了被用来获取地球图像的示例性飞行器所采用的飞行路径以及由这样的飞行器上的传感器获取到的连续图像的边界；
图2提供了通过图1的示意图中的两次连续采集而成像的区域的透视图；
图3示意性地表示图1和图2的传感器对于连续成像位置的视角；
图4提供了通过多光谱传感器尤其是高光谱传感器的连续采集而成像的区域的透视图；
图5示意性地表示图4的传感器对于连续成像位置的视角；
图6示意性地例示了本发明的原理；以及
图7提供了表示根据本发明的方法的实施例的流程图。
实施例描述
如本说明书中所使用的“3D重构”是捕获真实对象的形状(和外观)的过程。
如本说明书中所使用的摄影测量“3D重构”，也称为“根据运动建构(structurefrom motion)”或“基于图像的建模”，是使用成像来捕获真实对象的形状(和外观)的过程。对象的摄影测量3D重构要求从不同视角获取到的该对象的最少2个图像；在许多实际情况下，当相机校准不够精确时，将要求3个图像。与一个地面位置(对象点)对应的图像序列中的像素的坐标被用于同时导出(光束平差法)：地面点(对象点)的内部图像定向参数、外部图像定向参数以及3D坐标。3D重构结果的精度(除了别的之外)取决于图像网络(例如前向和侧向重叠)。
为了在最佳情形中执行摄影测量，图像集可能必须具有足够的细节程度(例如，每个方向至少500-1000个像素)，以及恰适的形状因子(优选地在X和Y方向上类似的大小，因为非常细长的形状因子往往会降低精度)。
优选地，用于摄影测量的连续图像具有约80％的重叠。如果重叠量实质上较少，则对于两个图像公共的区域较小，从而产生较少的公共特征。如果重叠两实质上较多，则图像之间的角位移非常小，从而导致较不准确的估计。
图1(非按比例)示意性地例示出被示为二维示意图(平面图)的被用来获取地球图像的示例性飞行器所采用的飞行路径以及由这样的飞行器上的传感器获取到的连续图像的边界。这样获取到的图像序列在下文中还将被称为“图像网络”。传感器可以在视觉范围(例如，RGB传感器)内或在另一特定光谱区域(例如近红外、短波红外等)内有效。
由于获取到的图像是二维的，所以需要多个图像以允许所成像地形的三维重构。具体而言，各个特征的三维重构要求这些特征呈现在从不同角度拍摄的若干图像中，这意味着由传感器获取到的后续图像必须显示足够的重叠，如以上所解释的。如图1所例示的，在给定飞行方向上拍摄的连续图像之间的重叠量的典型值为大约80％。在相邻的相应地形带的第一遍和第二遍期间获取到的图像之间的侧向重叠(其中该第一遍和第二遍通常对应于不同的飞行方向)大约为20－30％。
图2提供了通过图1的示意图中的两次连续采集而成像的区域的透视图，该透视图尤其指示了所成像区域之间的重叠区域。
图3示意性地表示图1和图2的传感器对于连续成像位置的视角，并且例示了从传感器到任何给定地面对象的观测光线如何从一个图像(图像i)显著地变化到下一个图像(图像i+1)。视角的这种差异允许特征的3D特性，具体而言是其高程的摄影测量重构。
图4提供了通过多光谱传感器尤其是高光谱传感器的连续采集而成像的区域的透视图。在本申请人的国际专利申请公开WO 2011/073430 A1中公开了高光谱传感器的示例，其中该高光谱传感器被描述为与第二(可见范围)传感器协同操作的“第一传感器”。虽然将参照WO 2011/073430 A1的第一传感器摂以便阐明本发明，但是必须理解到本发明不限于此。
对这种高光谱传感器来说典型的是感测元件的不同部分对不同波长敏感。该效应可通过提供具有过滤层的感测元件来获得，该过滤层具有在感测元件的表面上变化的波长响应。因此，由这种高光谱传感器拍摄的每个图像实际上是马赛克，其中图像的不同部分表示如在不同相应波长带的辐照中所见的地形的对应部分。为了获得在一个特定波长带的辐照中所见的任何给定区域的图像，大量的这种马赛克的相关部分必须被拼接在一起。显然，这些高光谱传感器要求紧密间隔的图像，例如在前向为99％(这取决于传感器移动的速度，可能要求非常高的帧速率)，以确保在光谱的所有相关频带中的全空间覆盖。
因此，考虑个体图像，图像线在前向中的各个频带上被划分。结果，在每个个体图像中，个体频带仅用较小数量(例如，对于超过100个频带的高光谱成像，该数量可小于10)的线来覆盖。该情景阻止在这些个体频带上使用摄影测量。
图5示意性地表示图4的传感器对于连续成像位置的视角，并且例示了从传感器到任何给定地面对象的观测光线如何从一个图像(图像i)变化到下一个图像(图像i+1)。作为这些高光谱传感器的高帧速率的结果，地面特征的3D特性的摄影测量重构所需要的视角的差异变得非常小。这会通过应用摄影测量对用这种图像能够实现的(在垂直位置估计、外部图像定向、内部图像定向等方面的)精确度产生负面影响。此外，用于处理小视差图像集的方法从计算的角度来看往往要求很高，以致于在实践中对于大数据集是不可行的。
本发明尤其基于发明人的创造性洞察力：尽管光谱接近度和空间分离的相互矛盾的要求，但所选择的多光谱或高光谱图像集的高效和精确摄影测量处理结果是可能的。本发明还基于发明人的进一步洞察力：可以在相对简单的位移和偏航(z轴旋转)估计的基础上，更有效地处理为摄影测量处理而选择的各图像之间的剩余图像，而对于所选图像获得的摄影测量参数可以被内插到剩余图像。
图6示意性地解说了从图像序列中选择子集的概念。出于本发明的目的，从图像序列中选择子集，其中图像对具有至少最低要求的重叠以允许摄影测量处理，同时呈现足够大的视差(例如，在前向上80％的重叠)。
图7是根据本发明的方法的一实施例的流程图。该方法对借助于多光谱传感器获取710的一系列图像进行操作。
根据足够的重叠和视差的上述标准来选择720所获取的图像的子集。对3D重构该子集的图像执行730 3D重构，从而允许计算针对所选图像的全摄影测量参数740；即对于每个所选图像而言，可用参数将包括(x、y、z)坐标以及传感器的俯仰角、横摇角和偏航角。
剩余图像经过处理，包括从一个图像到下一个图像估计相对位移和z轴旋转750。给定具有渐变波长敏感度的多光谱传感器，大多数特征从一个图像到下一个图像将看起来非常相似，因为它们在相距不远的波长带中被表示。因此，该处理远不如具有非常小的视差的全摄影测量处理那么复杂。在估计相对位移和z轴旋转的基础上，可使用作为已知边界值的摄影测量经处理子集的参数通过内插来导出针对每个剩余图像的全摄影测量参数集。
可使用如本领域已知的数学技术来执行内插。
本发明还涉及一种图像序列中的多光谱数据的几何参照的***，该图像包含表示相应不同波长的成像辐射的不同区域，该***包括被配置用于以下的处理器：从图像序列中选择子集，所述子集中包含多个图像，其中每个图像表示与相同子集中的至少一个其他图像的视场重叠的视场；通过对子集中的图像执行摄影测量3D重构来生成3D模型；估计所述图像序列的连续图像对之间的位移和偏航；以及使用所述3D模型和所述估计的位置和偏航来计算针对不在所述所选子集中的所述图像序列的图像的摄影测量参数。
如以上所指代的“处理器”可作为一个或多个专用硬件组件(例如，ASIC)、可配置硬件组件(例如，FPGA)、例如，具有恰适的软件(例如，通用处理器或DSP)的可编程组件、或其任何组合来实现。一个或多个相同组件还可执行其他功能。
该***可进一步包括适合的接口以访问包含多光谱数据的图像序列，以及输出所生成的几何参照信息。术语“接口”表示必要的硬件和软件以允许处理器与数据源或接收方交换数据。优选地，接口根据标准化的协议栈来操作，诸如针对存储区域网络(SAN)、局域网(LAN；例如IEEE 802.3“以太网”标准)、或个人区域网络(PAN；例如USB)的标准。在网络和传输层，接口可根据TCP/IP协议族来操作，从而尤其允许其中在因特网上获取图像的部署和/或方法的结果通过因特网提供给它们的目的地。
本发明还涉及计算机程序产品，其包括配置成使得处理器执行根据本发明的方法的所述特性的确定的代码装置。
尽管本文中参照具体实施例描述了本发明，这已经完成以阐明而非限制本发明，本发明的范围要参照所附的权利要求书确定。
Claims (7)
1.一种用于图像序列中的多光谱数据的几何参照的方法，所述图像包含表示相应不同波长的成像辐射的不同区域，所述方法包括：
从所述图像序列中选择子集(720)，所述子集中包含多个图像，其中每个图像表示与相同子集中的至少一个其他图像的视场重叠的视场；
通过对所述子集中的图像执行摄影测量3D重构来生成3D模型(730、740)；
估计所述图像序列的连续图像对之间的位移和偏航(750)；以及
使用所述3D模型和所述估计的位置和偏航来计算针对不在所述所选子集中的所述图像序列的图像的摄影测量参数(760)。
2.如权利要求1所述的方法，其特征在于，进一步包括借助于具有感测元件的高光谱传感器来获得所述图像序列，所述感测元件具有对不同波长敏感的不同部件。
3.如前述权利要求中任一项所述的方法，其特征在于，所述图像序列包括在传感器的运动方向上紧密间隔，以便在所述方向上具有大约99％的重叠的图像。
4.一种包括被配置成在被执行时使处理器执行根据权利要求1至3中任一项所述的方法步骤的代码手段的计算机程序产品。
5.一种用于图像序列中的多光谱数据的几何参照的***，所述图像包含表示相应不同波长的成像辐射的不同区域，所述***包括被配置用于以下的处理器：
从所述图像序列中选择子集，所述子集中包含多个图像，其中每个图像表示与相同子集中的至少一个其他图像的视场重叠的视场；
通过对子集中的图像执行摄影测量3D重构来生成3D模型；
估计所述图像序列的连续图像对之间的位移和偏航；以及
使用所述3D模型和所述估计的位置和偏航来计算针对不在所述所选子集中的所述图像序列的图像的摄影测量参数。
6.如权利要求5所述的***，其特征在于，所述图像是由具有感测元件的高光谱传感器获得的高光谱图像，所述感测元件具有对不同波长敏感的不同部件。
7.如权利要求5到6中任一项所述的***，其特征在于，所述图像序列包括在传感器的运动方向上紧密间隔，以便在所述方向上具有大约99％的重叠的图像。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP16151160.5 | 2016-01-13 | ||
| EP16151160 | 2016-01-13 | ||
| PCT/EP2017/050717 WO2017121876A1 (en) | 2016-01-13 | 2017-01-13 | Method and system for geometric referencing of multi-spectral data |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108474661A true CN108474661A (zh) | 2018-08-31 |
Family
ID=55221274
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201780005962.8A Withdrawn CN108474661A (zh) | 2016-01-13 | 2017-01-13 | 用于多光谱数据的几何参照的方法和*** |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US10565789B2 (zh) |
| EP (1) | EP3193136B8 (zh) |
| JP (1) | JP2019503484A (zh) |
| CN (1) | CN108474661A (zh) |
| AU (1) | AU2017206966A1 (zh) |
| CA (1) | CA3007619A1 (zh) |
| ES (1) | ES2731451T3 (zh) |
| PL (1) | PL3193136T3 (zh) |
| WO (1) | WO2017121876A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111596594A (zh) * | 2020-06-08 | 2020-08-28 | 厦门理工学院 | 一种全景大数据应用监测管控*** |
| TWI801662B (zh) * | 2018-09-21 | 2023-05-11 | 大陸商深圳幀觀德芯科技有限公司 | 一種成像系統及成像方法 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7251474B2 (ja) * | 2017-04-28 | 2023-04-04 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム |
| JP7049220B2 (ja) * | 2018-08-30 | 2022-04-06 | オリンパス株式会社 | 画像取得装置および画像取得装置の作動方法 |
| CN112009708B (zh) * | 2020-09-04 | 2022-06-17 | 广州飞图信息科技有限公司 | 一种固定翼无人机、单镜头倾斜摄影***及方法 |
| CN112857328B (zh) * | 2021-03-30 | 2022-06-14 | 宁波市特种设备检验研究院 | 一种无标定摄影测量方法 |
| CN113362265B (zh) * | 2021-08-10 | 2021-11-16 | 成都新橙北斗智联有限公司 | 一种低成本的无人机正射影像快速地理拼接方法 |
| WO2023149963A1 (en) | 2022-02-01 | 2023-08-10 | Landscan Llc | Systems and methods for multispectral landscape mapping |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7212938B2 (en) | 2002-09-17 | 2007-05-01 | M7 Visual Intelligence, Lp | Method of using a self-locking travel pattern to achieve calibration of remote sensors using conventionally collected data |
| US20050089213A1 (en) * | 2003-10-23 | 2005-04-28 | Geng Z. J. | Method and apparatus for three-dimensional modeling via an image mosaic system |
| ES2541482T3 (es) * | 2009-12-18 | 2015-07-21 | Vito Nv (Vlaamse Instelling Voor Technologisch Onderzoek Nv) | Referenciación geométrica de datos multiespectrales |
| EP2718668B1 (en) * | 2011-06-07 | 2023-07-26 | Creaform Inc. | Sensor positioning for 3d scanning |
| US20130027554A1 (en) * | 2011-07-31 | 2013-01-31 | Meadow William D | Method and Apparatus for Automated Camera Location and Orientation with Image Processing and Alignment to Ground Based Reference Point(s) |
| CN104704424B (zh) | 2012-08-21 | 2018-02-09 | 视觉智能有限合伙公司 | 基础设施测绘***和方法 |
| US9196084B2 (en) | 2013-03-15 | 2015-11-24 | Urc Ventures Inc. | Determining object volume from mobile device images |
| US20140300686A1 (en) * | 2013-03-15 | 2014-10-09 | Tourwrist, Inc. | Systems and methods for tracking camera orientation and mapping frames onto a panoramic canvas |
| GB201412060D0 (en) | 2014-07-07 | 2014-08-20 | Vito Nv | Method and system for photogrammetric processing of images |
| GB201412061D0 (en) | 2014-07-07 | 2014-08-20 | Vito Nv | Method and system for geometric referencing of multi-spectral data |
| US10482628B2 (en) * | 2017-09-30 | 2019-11-19 | United States Of America As Represented By The Secretary Of The Army | Photogrammetric point cloud compression for tactical networks |
-
2017
- 2017-01-13 CA CA3007619A patent/CA3007619A1/en not_active Abandoned
- 2017-01-13 PL PL17151487T patent/PL3193136T3/pl unknown
- 2017-01-13 ES ES17151487T patent/ES2731451T3/es active Active
- 2017-01-13 AU AU2017206966A patent/AU2017206966A1/en not_active Abandoned
- 2017-01-13 WO PCT/EP2017/050717 patent/WO2017121876A1/en active Application Filing
- 2017-01-13 EP EP17151487.0A patent/EP3193136B8/en active Active
- 2017-01-13 US US16/067,841 patent/US10565789B2/en active Active
- 2017-01-13 CN CN201780005962.8A patent/CN108474661A/zh not_active Withdrawn
- 2017-01-13 JP JP2018536273A patent/JP2019503484A/ja not_active Withdrawn
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI801662B (zh) * | 2018-09-21 | 2023-05-11 | 大陸商深圳幀觀德芯科技有限公司 | 一種成像系統及成像方法 |
| US12011308B2 (en) | 2018-09-21 | 2024-06-18 | Shenzhen Xpectvision Technology Co., Ltd. | Imaging system |
| CN111596594A (zh) * | 2020-06-08 | 2020-08-28 | 厦门理工学院 | 一种全景大数据应用监测管控*** |
| CN111596594B (zh) * | 2020-06-08 | 2021-07-23 | 厦门理工学院 | 一种全景大数据应用监测管控*** |
| US11703820B2 (en) | 2020-06-08 | 2023-07-18 | Xiamen University Of Technology | Monitoring management and control system based on panoramic big data |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3193136A1 (en) | 2017-07-19 |
| CA3007619A1 (en) | 2017-07-20 |
| ES2731451T3 (es) | 2019-11-15 |
| ES2731451T8 (es) | 2022-04-01 |
| AU2017206966A1 (en) | 2018-06-21 |
| US10565789B2 (en) | 2020-02-18 |
| WO2017121876A1 (en) | 2017-07-20 |
| PL3193136T3 (pl) | 2019-12-31 |
| US20190340811A1 (en) | 2019-11-07 |
| EP3193136B8 (en) | 2020-05-27 |
| EP3193136B1 (en) | 2019-04-17 |
| JP2019503484A (ja) | 2019-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108474661A (zh) | 用于多光谱数据的几何参照的方法和*** | |
| Bryson et al. | Kite aerial photography for low-cost, ultra-high spatial resolution multi-spectral mapping of intertidal landscapes | |
| US9798928B2 (en) | System for collecting and processing aerial imagery with enhanced 3D and NIR imaging capability | |
| US20180268239A1 (en) | Method and System of Image-Based Change Detection | |
| Pérez et al. | Low cost surveying using an unmanned aerial vehicle | |
| Piermattei et al. | Suitability of ground-based SfM–MVS for monitoring glacial and periglacial processes | |
| CN106537089B (zh) | 用于多光谱数据的几何参照的方法和*** | |
| Oliveira et al. | Generating a hyperspectral digital surface model using a hyperspectral 2D frame camera | |
| EP3167432B1 (en) | Method and system for photogrammetric processing of images | |
| JP7160037B2 (ja) | 画像処理装置、画像処理方法、並びにプログラム | |
| Hirschmüller et al. | Stereo vision based reconstruction of huge urban areas from an airborne pushbroom camera (HRSC) | |
| Sefercik et al. | 3D positioning accuracy and land cover classification performance of multispectral RTK UAVs | |
| US20230247313A1 (en) | Systems and Methods For Multispectral Landscape Mapping | |
| Berveglieri et al. | Bundle adjustment of a time-sequential spectral camera using polynomial models | |
| Zhang et al. | Tests and performance evaluation of DMC images and new methods for their processing | |
| Short | 3-D Point Cloud Generation from Rigid and Flexible Stereo Vision Systems | |
| Shahbazi et al. | Seamless co-registration of images from multi-sensor multispectral cameras | |
| Gonçalves | Using structure-from-motion workflows for 3D mapping and remote sensing | |
| Berveglieri et al. | Tie point generation in hyperspectral cubes for orientation with polynomial models | |
| Pateraki et al. | Experiences on automatic image matching for DSM generation with ADS40 pushbroom sensor data | |
| Fujiwara et al. | Construction method of voxel model and the application for Agro-Forestry | |
| Määttänen et al. | Landscape scale mapping of tundra vegetation structure at ultra-high resolution using UAVs and computer vision | |
| Pucino | Help From The Sky: The UAVs Contribution to Climate Change Mitigation in the Pacific Island Countries | |
| Gianinetto et al. | A sustainable approach for upgrading geographic databases based on high resolution satellite imagery | |
| Bostater Jr | Resolution enhancement optimizations for hyperspectral and multispectral synthetic image fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20180831 |
|
| WW01 | Invention patent application withdrawn after publication |