WO2021170745A1 - Verfahren zur bildkorrektur - Google Patents

Verfahren zur bildkorrektur Download PDF

Info

Publication number
WO2021170745A1
WO2021170745A1 PCT/EP2021/054733 EP2021054733W WO2021170745A1 WO 2021170745 A1 WO2021170745 A1 WO 2021170745A1 EP 2021054733 W EP2021054733 W EP 2021054733W WO 2021170745 A1 WO2021170745 A1 WO 2021170745A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
camera
recording
terrain
vehicle
Prior art date
Application number
PCT/EP2021/054733
Other languages
English (en)
French (fr)
Inventor
Martin Ponticelli
Stephan DOHR
Marc MUICK
Michael Gruber
Original Assignee
Vexcel Imaging Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vexcel Imaging Gmbh filed Critical Vexcel Imaging Gmbh
Publication of WO2021170745A1 publication Critical patent/WO2021170745A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Definitions

  • the present disclosure relates to a method for image correction of a recording of a terrain structure, the recording being recorded by a movable camera.
  • the present disclosure relates to an image recording system for creating recordings of terrain structures, the image recording system having a camera with at least one image sensor and at least one optical unit that can be mounted in a defined position in a vehicle, preferably an aircraft, and the image recording system having control electronics and a Having storage unit.
  • Convolution matrices are usually calculated and applied to the individual image areas, wherein a convolution matrix can be used either for an individual pixel, for a pixel area or for the entire image. Since there are often different reasons for the blurring in different image areas of a recording, a better result can be achieved if different convolution matrices are applied to the different image areas.
  • No. 9,445,003 B1 discloses an image sharpening method that takes into account both accelerations of the camera, which are determined on the basis of IMU data, and a detailed depth profile (possibly on a pixel basis).
  • No. 8,619,082 B1 discloses the determination of a depth profile of a recording and its use for image sharpening.
  • the depth profile is determined by an image analysis.
  • the method should be equally suitable for vertical recordings and for oblique recordings, with the particularities of the recording geometry being able to be taken into account, particularly in the case of oblique recordings from an aircraft.
  • a method of the type mentioned at the outset in which at least one image point of the recording is assigned to a terrain point of the terrain structure, a trajectory of the terrain point being determined which shows a relative movement of the terrain point with respect to the camera during a Describes the recording duration, whereby position, position, movement and / or acceleration data of the camera during the recording and geodesics of the terrain point are taken into account for the determination of the trajectory Optimization problem a corrected image is determined.
  • the method is particularly advantageous for cameras with image sensors in the medium format or large format, since in these formats, particularly in the case of oblique image recordings, the motion blur can vary more strongly over the recording.
  • the method also allows various causes of the image migration (in particular image migration due to forward movement as opposed to image migration due to changes in the viewing angle) to be activated or deactivated as desired.
  • the camera can be arranged on or in a vehicle, in particular an aircraft. This enables high-resolution terrain surveys to be created.
  • the camera can advantageously be arranged in a movable mounting structure, in particular a stabilizing camera suspension. This again improves the accuracy of the recordings, with the compensatory movements of the assembly structure being taken into account when modeling the optimization problem.
  • fuzziness can be taken into account that arise due to elevations in the ground, such as high-rise buildings, mountains or the like. This is particularly advantageous in the case of aerial photographs from a low altitude and / or in the case of photographs with a high focal length.
  • the accelerations can be determined in preferably all translational and rotational degrees of freedom and the corresponding movements can be derived therefrom. In this way, very precise trajectories can be created.
  • the location, position, movement and / or acceleration data of the camera during the recording and / or the geodata of the terrain point can advantageously be supplemented by data that are known from the planning of the recording project. This avoids calculation errors and increases the accuracy of the method.
  • At least one setting and / or property of an optical unit of the camera can be taken into account when modeling the optimization problem.
  • this enables the optical unit to be exchanged or adjusted during a recording project, and on the other hand, the achievable image sharpness is increased.
  • the focal lengths for color and panchromatic which may differ, can advantageously be must be taken into account.
  • optimized image sharpening can be carried out independently for each channel.
  • the method for image sharpening can be supplemented by an image analysis.
  • an image analysis In this way, on the one hand, incorrect data can be determined and compensated for, and on the other hand, the resolution of the data can be improved.
  • the present disclosure relates to an image recording system of the type mentioned at the outset, the control electronics having a first interface for connection to an inertial navigation system, which allows acceleration and / or speed to be determined in relation to the camera, and a second interface for connection to a position determination system which allows a position determination defined with respect to the camera, the control electronics being designed to execute one of the methods disclosed herein on a recording made with the camera and to store the recording in the memory unit.
  • an image recording system allows the methods disclosed herein to be advantageously implemented.
  • the camera can advantageously be mounted on or in a vehicle, in particular an aircraft.
  • the camera can be arranged in a movable mounting structure, in particular a stabilizing camera suspension.
  • a further advantageous embodiment can provide that the camera control controls the setting of the optics unit and the image generation by the image sensor. This allows the relevant data to be taken into account in a simple manner.
  • the first interface and / or the second interface can advantageously be implemented for connection to a data bus of the vehicle, the data bus allowing data to be transmitted from an inertial navigation system of the vehicle and / or a position determination system of the vehicle.
  • the structure of the actual image recording system can be simplified by using data from devices implemented in the vehicle.
  • a shutter profile of the camera is preferably taken into account when modeling the optimization model.
  • an image section of the recording is assigned to a terrain point of the terrain structure, the optimization problem being modeled on the basis of image migrations of the image section.
  • the image section of the recording is assigned to a terrain point of the terrain structure, a trajectory of the terrain point being determined which shows a relative movement of the terrain point with respect to the camera during a Describes the recording duration, whereby position, position, movement and / or acceleration data of the camera during the recording and geodesics of the terrain point are taken into account for the determination of the trajectory, with an optimization problem being modeled on the basis of image wanderings of the image section and an optimization problem being modeled by solving the optimization problem corrected image is determined.
  • the image migration of the image points within, for example freely definable, overlapping or non-overlapping image sections is preferably assumed to be constant.
  • optimization problems can be modeled and efficiently solved for each image section independently of one another.
  • the sharpened overall image or partial image can then be calculated using the solutions to the optimization problems of the respective image sections.
  • the subdivision of the recording into image sections is particularly advantageous if the image sensor has a large area, e.g. medium format or large format.
  • a subdivision into image sections is advantageous if it can be assumed that the image migration of the individual image points (pixels) within the defined image sections differ only slightly.
  • the blurring can thus be assumed to be constant within the section and the problem can thus be solved efficiently.
  • FIGS. 1 to 2 show exemplary, schematic and non-limiting advantageous embodiments of the invention. It shows
  • FIG. 1 shows a schematic representation of a camera mounted in an aircraft for the creation of terrain recordings
  • FIG. 2 shows a schematic representation of an image recording system.
  • a vehicle 5 in particular an aircraft, for example an airplane, a drone or a zeppelin
  • a receptacle 1 which can be picked up by the vehicle 5 in the position shown, is shown by way of example in a schematic illustration.
  • a clearly defined spatial position can be assigned to each point of the terrain structure 2 (a terrain point G is shown as an example in FIG. 1), with each point being able to be assigned to a spatially fixed geographic coordinate system (x, y, z) in the illustrated case.
  • a body-fixed coordinate system (x ‘, y‘, z ‘) is assigned to the vehicle 5, the origin of the coordinates being shown lying at point P for the sake of simplicity.
  • the vehicle 5 can execute movements and accelerations in all six degrees of freedom in relation to the geographic coordinate system, the position, speed and acceleration of the vehicle 5 being describable by the position, movement and acceleration of the body-fixed coordinate system in relation to the geographic coordinate system.
  • the camera 3 can be fixedly mounted in the vehicle 5 so that its position does not change in relation to the body-fixed coordinate system.
  • the camera 3 is arranged precisely in the coordinate origin of the body-fixed coordinate system of the vehicle 5.
  • the point P thus also defines the position of the camera.
  • the camera 3 can also be arranged in a movable mounting structure, for example a stabilizing camera suspension, which compensates for movements of the vehicle 5 to a certain extent, so that the orientation of the camera 3 remains as constant as possible in relation to a direction of travel or flight.
  • another body-fixed coordinate system that moves with the camera 3 can be defined, the relationship between the body-fixed coordinate system of the vehicle 5 and the body-fixed coordinate system of the camera 3 being always known, so that the position of the camera 3 in relation to the geographic coordinate system is unambiguous is defined.
  • the terrain structure 2 is shown in FIG. 1 as a two-dimensional line, but it is clear that the recording area 14 is an area which corresponds to an essentially rectangular projection onto the terrain structure 2.
  • the position of the terrain point G in the recording 1 (this corresponds to the image point B at the beginning of the recording) can shift over several pixels during the exposure time, which results in an image blurring.
  • the movement of the pixel from position B to position B ' is shown in FIG. 1 by a dashed line.
  • the dashed line corresponds to a two-dimensional image of a three-dimensional trajectory T of the terrain point G in the body-fixed coordinate system of the camera 3 between the beginning of the exposure (position B) and the end of the exposure (position B ').
  • An image point B can also be referred to as a pixel.
  • the term “trajectory” refers to the movement of a point in relation to a specific coordinate system.
  • the movement of each terrain point G in relation to the body-fixed coordinate system of the aircraft 5 or the camera 3 can be defined as a three-dimensional (or, if the course of time is also considered, four-dimensional) trajectory, or the movement of the image point from position B to Position B 'in the recording 1 can be defined as a two-dimensional (or, if the course of time, three-dimensional) trajectory is taken into account.
  • the consideration of the distance of the terrain points can be neglected, for example if the maximum deviation of the terrain points from the plane of focus is too small to generate relevant blurring and can therefore be neglected. In that case it can be sufficient if only the trajectory of the Image point B, which represents the terrain point G, is taken into account in the image plane of the recording 1 for the modeling of the motion blur.
  • the trajectory T of the terrain point G (or of the corresponding image point B) is determined during the recording duration (i.e. the exposure duration).
  • the recording duration i.e. the exposure duration.
  • geodesics of the terrain point G, as well as position data, movement data and, if necessary, acceleration data of the camera can be evaluated.
  • the geodesics of the terrain point G can be obtained, for example, from proprietary databases available on the Internet.
  • An exemplary usable data collection from terrain points is available, for example, at the Internet link https://data.opendataportal.at/dataset/dtm-europe.
  • the resulting matrix (A) describes line by line for each pixel in the blurred image (g) the trajectory that this pixel travels in the sharpened image (f). Since this matrix is generally not invertible, the solution to this problem is traced back to a minimization problem, which can be solved with known mathematical methods such as 'conjugate gradient', with the help of the Fourier transformation or with other iterative algorithms.
  • the same trajectory can also be assumed for each pixel across images (e.g. in the case of negligible changes in the camera rotations during the recording).
  • the respective blurred image sections can also be modeled as a convolution of the blur kernel with the sharpened, as yet unknown, image sections.
  • An associated minimization problem can thus be set up and efficiently solved for each image section.
  • the sharpened overall image can then be calculated using the solutions in the respective image sections.
  • the number and choice of image sections depend on how much the trajectories of the image points differ within the image.
  • R can be defined per pixel, for the entire image or for overlapping or non-overlapping image sections.
  • the response function R can take into account radiometric adjustments previously applied to the image, such as adjusting the white balance or reducing or eliminating vignetting.
  • geometrical distortions e.g. lens map
  • geometrical distortions can also advantageously be taken into account in the calculation of the matrix A or the blur kernel a.
  • image processing algorithms such as denoising or demosaicing, can also be used in the course of compensating for the motion blur.
  • FIG. 2 shows the components of an image recording system 4, on the basis of which the mode of operation of the method for image sharpening disclosed herein is explained.
  • the image recording system 4 comprises a camera 3 with at least one optical unit 13 and at least one image sensor 12, to which the optical unit 13 can be adjusted.
  • the camera 3 can be fastened in the vehicle 5 in a mounting structure 17, the orientation of the camera 3 in relation to the vehicle 5 either being unchangeable (fixed installation) or the orientation of the camera 3 in relation to the vehicle in a more defined and known manner Way is changeable, for example as part of a stabilizing camera suspension.
  • the mounting structure 17 is shown in a highly schematic manner in FIG. 2. Correspondingly usable assembly structures 17 are known per se in the specialist field.
  • the camera 3 comprises a camera control 16 which controls, for example, the setting of the optics unit 13 and the image generation by the image sensor 12.
  • the camera control 16 can also control the shutter speed, which defines the recording duration or exposure duration of each recording.
  • the shutter speed can be controlled by a mechanical shutter, by electronic shutter technology (e.g. the read-out of a CMOS image sensor called “global shutter” or “rolling shutter”), or by a combination of these techniques.
  • the image sensor 12 is preferably a medium format sensor or a large format sensor.
  • the shutter profile resulting from the shutter system can also be used in the calculation (modified weights of the described trajectories of the pixels) of the matrix A and / or of the kernel a are taken into account
  • the camera control 16 has a data connection to control electronics 6, which manage and process the recordings made by the camera 3.
  • the control electronics 6 have access to a memory unit 11 in which the recordings and other data, such as geodata, position data, movement data and / or acceleration data recorded during the recording, can be stored.
  • the control electronics 6 can be implemented in a conventional computer or control electronics 6 specifically manufactured for this purpose can be used. If necessary, the control electronics 6 and the camera control 16 can also be combined in a single device.
  • the control electronics 6 have a first interface 7 and a second interface 9, the first interface 7 allowing a data connection to an inertial navigation system 8 and the second interface 9 allowing a data connection to a position determination system 10.
  • the inertial navigation system 8 and the second interface 9 allow a data connection to a position determination system 10.
  • Position determination system 10 externally connected devices, which may be sensors or units of the vehicle 5, for example.
  • the interfaces 7, 9 can be implemented, for example, as connections to a data bus of the vehicle 5 if this allows the data from the inertial navigation system 8 and the position determination system 10 to be transmitted.
  • the inertial navigation system 8 and / or the position determination system 10 can be implemented as part of the image recording system 4, as indicated schematically in FIG. 2 by the internal inertial navigation system 8, which is connected to the control electronics 6 via an internal interface 7 ‘.
  • the image recording system 4 can thus have an interface 9 for the position determination system 10 of the vehicle 5 and an internal inertial navigation system 8 which measures the accelerations of the camera 3 directly on it.
  • the position data of the camera 3 for example a geoposition and an altitude above ground or flight altitude
  • the movement data of the camera 3 at least along the main direction of movement of the vehicle 5, for example as the "ground speed" designated speed over ground
  • the accelerations can be determined in all translational and rotational degrees of freedom, from which the corresponding movements can also be derived in a known manner permit. If necessary, the compensatory movements of a stabilizing camera suspension can also be taken into account if such a suspension is used.
  • inertial navigation systems 8 and / or position determination systems 10 that can be used in connection with the methods and devices disclosed herein include, for example, the companies Applanix, IGI Systems or Novatel.
  • the components, data connections and system limits shown in FIG. 2 are purely exemplary and should not be interpreted as restrictive.
  • the camera control 16 and the control electronics 6 can be designed as a single device.
  • the functions of the camera control 16 and the control electronics 6 disclosed herein can also be carried out by a large number of devices that communicate with one another.
  • the control electronics 6 are able to relate the position, movement and acceleration data of the camera 3 to the geographic coordinate system. It is thus possible, using this data and the geodesics of the terrain structure 2, to create a trajectory T for each recording 1 for terrain points G in the field of view 15 of the camera or for image points B in the recording 1.
  • a trajectory can be described for each pixel and this can be incorporated into the modeling of the motion blur of the recording.
  • numerous image blurring of the recording 1 can be compensated and an image of optimal sharpness can thus be created.
  • the model can either depict different blurring of individual pixels or different image areas, or a uniform blurring of the entire image 1.
  • the data can be supplemented with data that is known from the planning of the corresponding recording project.
  • the recording positions and terrain information can be defined in advance.
  • different fields of view can be taken into account, which can result from different settings of the optics unit 13 or from replacing the optics unit 13 or from cameras formed by more than one optics unit.
  • the respective focusing setting can also be taken into account, which defines the distance of the focal plane from the camera 3. If necessary, can also different focal lengths for color and panchromatic will be used, the corrections then having to be carried out with different parameters.
  • the methods disclosed herein can be carried out without additional distance sensors and without complex image evaluation. If necessary, however, the image sharpening process can also be improved by an image analysis.
  • the position of prominent terrain points can be determined and thus the trajectories of the individual image points can be corrected to increase the accuracy.
  • elevation models that are created a posteriori can be used for an (adaptive) adjustment of the trajectories of the image points.
  • Control electronics (6) first interface (7) inertial navigation system (8) second interface (9) position determination system (10) memory unit (11)

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

Verfahren zur Bildkorrektur einer Aufnahme (1) einer Geländestruktur (2), wobei die Aufnahme (1) von einer beweglichen Kamera (3) aufgenommen wird. Zumindest ein Bildpunkt (B) der Aufnahme (1) wird einem Geländepunkt (G) der Geländestruktur (2) zugeordnet. Eine Trajektorie des Geländepunkts (G) wird ermittelt, welche eine Relativbewegung des Geländepunkts (G) gegenüber der Kamera (3) während einer Aufnahmedauer beschreibt. Für die Ermittlung der Trajektorie werden Lage-, Positions-, Bewegungs- und/oder Beschleunigungsdaten der Kamera (3) während der Aufnahme und Geodäten des Geländepunkts (G) berücksichtig. Anhand von Bildwanderungen der Bildpunkte (B) wird ein Optimierungsproblem modelliert und durch Lösen des Optimierungsproblems wird ein korrigiertes Bild ermittelt.

Description

Verfahren zur Bildkorrektur
Die gegenständliche Offenbarung betrifft ein Verfahren zur Bildkorrektur einer Aufnahme einer Geländestruktur, wobei die Aufnahme von einer beweglichen Kamera aufgenommen wird.
In einem weiteren Aspekt betrifft die gegenständliche Offenbarung ein Bildaufnahmesystem zur Erstellung von Aufnahmen von Geländestrukturen, wobei das Bildaufnahmesystem eine in einem Fahrzeug, vorzugsweise einem Luftfahrzeug, lagedefiniert montierbare Kamera mit zumindest einem Bildsensor und zumindest einer Optikeinheit aufweist und wobei das Bildaufnahmesystem eine Steuerelektronik, und eine Speichereinheit aufweist.
Bei der Aufnahme von Geländestrukturen von einem bewegten Fahrzeug aus ergeben sich aufgrund der Bewegung während der Belichtungszeit Bildunschärfen, die sich mit erheblichem technischen Aufwand zwar einschränken, aber nicht vollständig vermeiden lassen.
Zur Verringerung der Bildunschärfe ist es beispielsweise bekannt, den Bildsensor der Kamera während der Belichtungszeit mittels eines Piezoantriebs in einer auf eine Bewegung des Fahrzeuges (also beispielsweise auf die Fluggeschwindigkeit eines Flugzeugs oder eines anderen Fluggeräts) abgestimmten Bewegung zu verschieben, sodass jeder Pixel des Bildsensors möglichst genau auf einen bestimmten Geländepunkt ausgerichtet bleibt. Dadurch kann jedoch nur eine bekannte Vorwärtsbewegung des Fahrzeuges ausgeglichen werden. Andere Bewegungen und Beschleunigungen, insbesondere ein Nicken, Gieren oder Rollen des Fahrzeuges, wie es bei Flugzeugen beispielsweise beim Durchfliegen von Turbolenzen auftreten kann, kann auf diese Weise nicht ausgeglichen werden.
Bis zu einem gewissen Ausmaß können störende und unerwartete Bewegungen des Fahrzeugs durch eine stabilisierende Kameraaufhängung ausgeglichen werden, doch auch dieser sind technische Grenzen gesetzt.
Eine weitere Verbesserung der Bildschärfe ist mithilfe von Bildschärfungsalgorithmen erzielbar. Dabei werden üblicherweise Faltungsmatrizen errechnet und auf die einzelnen Bildbereiche angewendet, wobei eine Faltungsmatrix entweder für einen einzelnen Pixel, für einen Pixelbereich oder für das gesamte Bild verwendet werden kann. Da in unterschiedlichen Bildbereichen einer Aufnahme oft unterschiedliche Gründe für die Unschärfe vorliegen, kann ein besseres Ergebnis erzielt werden, wenn unterschiedliche Faltungsmatrizen auf die unterschiedlichen Bildbereiche angewendet werden.
Der Fachartikel „Accurate Motion Deblurring using Camera Motion Tracking and Scene Depth“, Hyeoungho Bae et al., 2013 IEEE Workshop on Applications of Computer Vision, offenbart die Ermittlung einer Faltungsmatrix („Blur Kernel“) zur Bildschärfung, wobei eine Kamerabewegung während der Aufnahme berücksichtigt wird. Weiters wird auf Basis einer Sensormessung ein Tiefenprofil erstellt und bei der Erstellung von Faltungsmatrizen für unterschiedliche Bildbereiche berücksichtigt.
Der Fachartikel „Automated Blur Detection and Removal in Airborne Imaging Systems using IMU Data", C.A. Shah et al., International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XXXIX-B1, 2012, betrifft die Bildschärfung von Flugaufnahmen. Nicken, Gieren und/oder Rollen des Flugzeugs während der Aufnahme werden mit einer inertialen Messeinheit (Englisch: „inertial measurement unit“ - IMU) gemessen und bei der Erstellung des Blur Kernels berücksichtigt.
US 9,445,003 B1 offenbart ein Bildschärfungsverfahren, das sowohl Beschleunigungen der Kamera, die auf Basis von IMU-Daten ermittelt werden, als auch eine detailliertes Tiefenprofil (gegebenenfalls auf Pixelbasis) berücksichtigt.
US 8,619,082 B1 offenbart die Ermittlung eines Tiefenprofils einer Aufnahme und deren Benutzung zur Bildschärfung. Das Tiefenprofil wird durch eine Bildanalyse ermittelt.
Aufgrund der schnellen Entwicklung von modernen Mappingtechniken werden immer höhere Ansprüche an die Qualität von Geländeaufnahmen gestellt. Gleichzeitig sollen die Vorrichtungen und Verfahren zur Aufnahme von Geländeaufnahmen günstiger werden. Es besteht daher ein Bedarf an Vorrichtungen und Verfahren, die mit möglichst geringem Aufwand Geländeaufnahmen hoher Qualität erstellen können.
Es ist ein Ziel der gegenständlichen Offenbarung, Vorrichtungen und Verfahren bereitzustellen, mit denen die Qualität von Geländeaufnahmen verbessert werden kann. Insbesondere soll das Verfahren für Senkrechtaufnahmen und für Schrägaufnahmen gleichermaßen geeignet sein, wobei insbesondere bei Schrägbildaufnahmen aus einem Luftfahrzeug die Besonderheiten der Aufnahmegeometrie berücksichtigt werden können.
Dies ist besonders für die Erstellung von 3D-Geländeaufnahmen hilfreich, bei denen mehrere, unter zur Bodenebene schrägen Winkeln aufgenommene Aufnahmen miteinander zu komplexen 3d-Modellen kombiniert werden.
Diese und weitere Ziele werden in einem ersten Aspekt durch ein Verfahren der eingangs genannten Art erreicht, bei dem zumindest ein Bildpunkt der Aufnahme einem Geländepunkt der Geländestruktur zugeordnet wird, wobei eine Trajektorie des Geländepunkts ermittelt wird, welche eine Relativbewegung des Geländepunkts gegenüber der Kamera während einer Aufnahmedauer beschreibt, wobei für die Ermittlung der Trajektorie Lage-, Positions-, Bewegungs- und/oder Beschleunigungsdaten der Kamera während der Aufnahme und Geodäten des Geländepunkts berücksichtig werden, wobei anhand von Bildwanderungen der Bildpunkte ein Optimierungsproblem modelliert wird und wobei durch Lösen des Optimierungsproblems ein korrigiertes Bild ermittelt wird. Das Verfahren ist besonders für Kameras mit Bildsensoren im Mittelformat oder Großformat vorteilhaft, da bei diesen Formaten, insbesondere bei Schrägbildaufnahmen, die Bewegungsunschärfe über die Aufnahme stärker variieren kann.
Das Verfahren erlaubt es darüber hinaus, dass verschiedene Ursachen der Bildwanderung (insbesondere Bildwanderung durch Vorwärtsbewegung im Gegensatz zu Bildwanderung durch Änderungen der Blickwinkel) beliebig aktiviert oder deaktiviert werden können.
In einer vorteilhaften Ausführungsform kann die Kamera an oder in einem Fahrzeug, insbesondere einem Luftfahrzeug angeordnet werden. Dadurch lassen sich hochauflösende Geländeaufnahmen erstellen.
In vorteilhafter Weise kann die Kamera in einer bewegbaren Montagestruktur, insbesondere einer stabilisierenden Kameraaufhängung angeordnet werden. Dies verbessert die Genauigkeit der Aufnahmen abermals, wobei die Ausgleichbewegungen der Montagestruktur bei der Modellierung des Optimierungsproblems berücksichtigt werden.
In einerweiteren vorteilhaften Ausführungsform können bei der Modellierung des Optimierungsproblems Unschärfen berücksichtigt werden, die aufgrund von Bodenerhebungen, wie etwa Hochhäusern, Bergen oder ähnlichem, entstehen. Dies ist insbesondere bei Flugaufnahmen aus niedriger Höhe und/oder bei Aufnahmen mit hoher Brennweite vorteilhaft.
Für die Ermittlung der Trajektorie können die Beschleunigungen in vorzugsweise allen translatorischen und rotatorischen Freiheitsgraden ermittelt und daraus die entsprechenden Bewegungen abgeleitet werden. Auf diese Weise lassen sich sehr genaue Trajektorien erstellen.
In vorteilhafter Weise können die Lage-, Positions-, Bewegungs- und/oder Beschleunigungsdaten der Kamera während der Aufnahme und/oder die Geodäten des Geländepunkts durch Daten ergänzt werden, die aus der Planung des Aufnahmeprojekts bekannt sind. Dadurch lassen sich Berechnungsfehler vermeiden und die Genauigkeit des Verfahrens erhöhen.
Gemäß einer vorteilhaften Ausführungsform können zumindest eine Einstellung und/oder Eigenschaft einer Optikeinheit der Kamera bei der Modellierung des Optimierungsproblems berücksichtigt werden. Dies ermöglicht einerseits ein Auswechseln oder Verstellen der Optikeinheit während eines Aufnahmeprojekts, andererseits wird die erreichbare Bildschärfe erhöht.
In vorteilhafter Weise können bei der Modellierung des Optimierungsproblems die Brennweiten für Farbe und Panchromatik, die sich gegebenenfalls unterscheiden können, berücksichtigt werden. Dadurch kann für jeden Kanal unabhängig eine optimierte Bildschärfung erfolgen.
Gemäß einer weiteren Ausführungsform kann das Verfahren zur Bildschärfung durch eine Bildanalyse ergänzt werden. Dadurch lassen sich einerseits fehlerhafte Daten ermitteln und ausgleichen, andererseits kann die Auflösung der Daten verbessert werden.
In einem weiteren Aspekt betrifft die gegenständliche Offenbarung ein Bildaufnahmesystem der eingangs genannten Art, wobei die Steuerungselektronik eine erste Schnittstelle zur Verbindung mit einem Trägheitsnavigationssystem, welches eine in Bezug auf die Kamera definierte Beschleunigungs- und/oder Geschwindigkeitsermittlung erlaubt, und eine zweite Schnittstelle zur Verbindung mit einem Positionsbestimmungssystem, welches eine in Bezug auf die Kamera definierte Positionsermittlung erlaubt, aufweist, wobei die Steuerelektronik ausgebildet ist, auf eine mit der Kamera gemachte Aufnahme eines der hierin offenbarten Verfahren auszuführen und die Aufnahme in der Speichereinheit zu speichern. Ein solches Bildaufnahmesystem erlaubt eine vorteilhafte Umsetzung der hierin offenbarten Verfahren.
In vorteilhafter Weise kann die Kamera an oder in einem Fahrzeug, insbesondere einem Luftfahrzeug montiert sein.
Gemäß einer weiteren vorteilhaften Ausgestaltung kann die Kamera in einer bewegbaren Montagestruktur, insbesondere einer stabilisierenden Kameraaufhängung angeordnet sein.
Eine weitere vorteilhafte Ausführungsform kann vorsehen, dass die Kamerasteuerung die Einstellung der Optikeinheit und die Bilderzeugung durch den Bildsensor steuert. Dadurch können die entsprechenden Daten auf einfache Weise berücksichtigt werden.
In vorteilhafter Weise kann die erste Schnittstelle und/oder die zweite Schnittstelle zur Anbindung an einen Datenbus des Fahrzeuges implementiert sind, wobei der Datenbus eine Datenübermittlung von einem Trägheitsnavigationssystem des Fahrzeuges und/oder einem Positionsbestimmungssystem des Fahrzeuges erlaubt. Dadurch kann der Aufbau des eigentlichen Bildaufnahmesystems vereinfacht werden, indem Daten von im Fahrzeug implementierten Geräten verwendet werden.
Vorzugsweise wird bei der Modellierung des Optimierungsmodells ein Shutterverlauf der Kamera berücksichtigt.
Besonders vorteilhaft ist es, wenn ein Bildabschnitt der Aufnahme einem Geländepunkt der Geländestruktur zugeordnet wird, wobei das Optimierungsproblem anhand von Bildwanderungen des Bildabschnitts modelliert wird.
Das bedeutet, dass der Bildabschnitt der Aufnahme einem Geländepunkt der Geländestruktur zugeordnet wird, wobei eine Trajektorie des Geländepunkts ermittelt wird, welche eine Relativbewegung des Geländepunkts gegenüber der Kamera während einer Aufnahmedauer beschreibt, wobei für die Ermittlung der Trajektorie Lage-, Positions-, Bewegungs- und/oder Beschleunigungsdaten der Kamera während der Aufnahme und Geodäten des Geländepunkts berücksichtig werden, wobei anhand von Bildwanderungen des Bildabschnitts ein Optimierungsproblem modelliert wird und wobei durch Lösen des Optimierungsproblems ein korrigiertes Bild ermittelt wird.
Vorzugsweise wird die Bildwanderung der Bildpunkte innerhalb von, z.B. frei definierbaren, überlappenden oder nichtüberlappenden, Bildabschnitten als konstant angenommen werden.
Bei der Verwendung von Bildabschnitten können Optimierungsprobleme für jeden Bildabschnitt unabhängig voneinander modelliert und effizient gelöst werden.
Wird erst das Gesamtbild oder ein Teilbild in Bildabschnitte unterteilt, dann kann das geschärfte Gesamtbild oder Teilbild anschließend anhand der Lösungen der Optimierungsprobleme der jeweiligen Bildabschnitte berechnet werden. Die Unterteilung der Aufnahme in Bildabschnitte ist besonders vorteilhaft, wenn der Bildsensor eine große Fläche aufweist, z.B. Mittelformat oder Großformat.
Besonders vorteilhaft für die Qualität der Aufnahme ist es jedoch, wenn für jeden Bildpunkt (Pixel) die zugehörige Bildwanderung beschrieben wird. Das führt zum besten Resultat, ist aber gegenüber einer Unterteilung in Bildabschnitte größer einem Pixel, innerhalb derer die Bildwanderung der Bildpunkte als konstant angenommen werden kann, weniger effizient.
Eine Unterteilung in Bildabschnitte ist hingegen vorteilhaft, wenn angenommen werden kann, dass sich die Bildwanderung der einzelnen Bildpunkte (Pixel) innerhalb der definierten Bildabschnitte nur gering unterscheiden. Damit kann die Unschärfe als konstant innerhalb des Ausschnitts angenommen werden und somit das Problem effizient gelöst werden.
Die gegenständliche Erfindung wird nachfolgend unter Bezugnahme auf die Figuren 1 bis 2 näher erläutert, die beispielhaft, schematisch und nicht einschränkend vorteilhafte Ausgestaltungen der Erfindung zeigen. Dabei zeigt
Fig.1 eine schematische Darstellung einer in einem Flugzeug montierten Kamera zur Erstellung von Geländeaufnahmen und
Fig. 2 eine schematische Darstellung eines Bildaufnahmesystems.
In Fig. 1 ist schematisch ein Fahrzeug 5 (insbesondere ein Luftfahrzeug, beispielsweise ein Flugzeug, eine Drone oder ein Zeppelin) dargestellt, welches sich über einer Geländestruktur 2 hinwegbewegt und dabei mit einer an dem Fahrzeug 5 montierten Kamera 3 Geländeaufnahmen erstellt. In Fig. 1 ist in einer schematischen Darstellung eine Aufnahme 1, die in der dargestellten Position von dem Fahrzeug 5 aufgenommen werden kann, beispielhaft dargestellt. Mithilfe von Geodäten kann jedem Punkt der Geländestruktur 2 (in Fig. 1 ist ein Geländepunkt G beispielhaft dargestellt) eine eindeutig definierte räumliche Lage zugeordnet werden, wobei im dargestellten Fall jeder Punkt einem raumfesten Geokoordinatensystem (x, y, z) zugeordnet werden kann. Beispielsweise lässt sich die Position des Geländepunkts G in dem Geokoordinatensystem durch den Vektor G=(XG, yc, ZG) beschreiben und die Position des Fahrzeugs 5 (oder eines Referenzpunkts dieses Fahrzeugs 5) lässt sich durch den Vektor P=(XP, yp, ZP) beschreiben.
Dem Fahrzeug 5 ist ein körperfestes Koordinatensystem (x‘, y‘, z‘) zugeordnet, wobei der Koordinatenursprung der Einfachheit halber im Punkt P liegend dargestellt ist. Das Fahrzeug 5 kann in Bezug auf das Geokoordinatensystem Bewegungen und Beschleunigungen in allen sechs Freiheitsgraden ausführen, wobei die Position, Geschwindigkeit und Beschleunigung des Fahrzeuges 5 durch die Lage, Bewegung und Beschleunigung des körperfesten Koordinatensystems in Bezug auf das Geokoordinatensystem beschreibbar sind.
Die Kamera 3 kann in dem Fahrzeug 5 fix montiert sein, sodass sich seine Lage in Bezug auf das körperfeste Koordinatensystem nicht ändert. In Fig. 1 ist beispielsweise die Kamera 3 genau im Koordinatenursprung des körperfesten Koordinatensystems des Fahrzeugs 5 angeordnet. Der Punkt P definiert somit auch die Position der Kamera. Gegebenenfalls kann die Kamera 3 auch in einer bewegbaren Montagestruktur angeordnet sein, beispielsweise einer stabilisierenden Kameraaufhängung, welche Bewegungen des Fahrzeugs 5 bis zu einem gewissen Ausmaß ausgleicht, sodass die Ausrichtung der Kamera 3 in Bezug auf eine Fahrt- bzw. Flugrichtung möglichst konstant bleibt. In dem Fall kann ein weiteres körperfestes, mit der Kamera 3 mitbewegtes Koordinatensystem definiert sein, wobei die Beziehung zwischen dem körperfesten Koordinatensystem des Fahrzeugs 5 und dem körperfesten Koordinatensystem der Kamera 3 stets bekannt sind, sodass die Lage der Kamera 3 in Bezug auf das Geokoordinatensystem eindeutig definiert ist.
Die Lage der Kamera 3 und deren mit einer Optikeinheit 13 eingestelltes Sichtfeld 15 bestimmen in Verbindung mit der Form der Geländestruktur 2 einen Aufnahmebereich 14, der in Fig. 1 schematisiert als Strich-Punkt-Linie angedeutet ist. Der Übersichtlichkeit halber ist die Geländestruktur 2 in Fig. 1 als zweidimensionale Linie dargestellt, es ist jedoch klar, dass der Aufnahmebereich 14 eine Fläche ist, die einer im Wesentlichen rechteckigen Projektion auf die Geländestruktur 2 entspricht.
Die in der dargestellten Lage von der Kamera 3 gemachte Aufnahme 1 ist in Fig. 1 schematisch dargestellt, wobei ein Bildpunkt B dem Geländepunkt G zugeordnet werden kann. Tatsächlich ist diese Zuordnung jedoch nicht immer eindeutig, da sich die Position des Fahrzeugs 5 und der Kamera 3 während der für die Aufnahme erforderlichen Belichtungszeit nicht nur in Flugrichtung weiterbewegt hat, sondern dabei gegebenenfalls auch andere translatorische und/oder rotatorische Bewegungen aufgetreten sind. Während eine translatorische Bewegung quer zur Bewegungsrichtung (also in Richtung der Achsen y' und z‘) den Aufnahmebereich 14 nur sehr geringfügig verschiebt, und daher manchmal auch vernachlässigt werden kann, hat jede Rotation um eine der Achsen (die im Zusammenhang mit Flugfahrzeugen üblicherweise als Rollen, Nicken und Gieren bezeichnet werden) eine sehr deutliche Verschiebung des Aufnahmebereichs 14 zur Folge. Dabei kann sich die Position des Geländepunkts G in der Aufnahme 1 (dies entspricht zum Beginn der Aufnahme dem Bildpunkt B) während der Belichtungszeit über mehrere Pixel verschieben, was eine Bildunschärfe zur Folge hat. Die Bewegung des Bildpunkts von der Position B zur Position B‘ ist in Fig. 1 durch eine Strichlinie dargestellt. Die Strichlinie entspricht einer zweidimensionalen Abbildung einer dreidimensionalen Trajektorie T des Geländepunkts G in dem körperfesten Koordinatensystem der Kamera 3 zwischen dem Beginn der Belichtung (Position B) und dem Ende der Belichtung (Position B‘). Ein Bildpunkt B kann auch als Pixel bezeichnet werden.
Als „Trajektorie“ wird im Zusammenhang mit der gegenständlichen Offenbarung die Bewegung eines Punktes in Bezug auf ein bestimmtes Koordinatensystem bezeichnet. Beispielsweise kann die Bewegung jedes Geländepunkts G in Bezug auf das körperfeste Koordinatensystem des Flugzeugs 5 oder der Kamera 3 als dreidimensionale (oder, wenn auch der Zeitliche Verlauf betrachtet wird, vierdimensionale) Trajektorie definiert werden oder es kann die Bewegung des Bildpunkts von der Position B zur Position B‘ in der Aufnahme 1 als zweidimensionale (oder, bei Berücksichtigung des Zeitverlaufs, dreidimensionale) Trajektorie definiert werden.
Bei genauer Kenntnis des Verlaufs der Trajektorie T ist es möglich, für den entsprechenden Bildpunkt (oder für einen definierten Bildbereich) ein sehr wirkungsvolles Modell für die Abbildung der Bewegungsunschärfe zu erstellen, welches die tatsächlichen Verhältnisse sehr gut berücksichtigt. Dabei können nicht nur die translatorischen und rotatorischen Bewegungen und Beschleunigungen der Kamera 3 in allen Richtungen berücksichtig werden, sondern es kann auch die Unschärfe berücksichtigt werden, die, etwa aufgrund von Bodenerhebungen wie Hochhäuser, Berge oder ähnlichem, durch die Entfernung eines Geländepunkts von der Schärfeebene, auf die die Optikeinheit 13 der Kamera 3 eingestellt ist, entstehen kann.
In vielen Fällen kann die Berücksichtigung der Entfernung der Geländepunkte jedoch vernachlässigt werden, etwa wenn die maximale Abweichung der Geländepunkte von der Schärfeebene zu gering ist, um relevante Unschärfen zu erzeugen, und daher vernachlässigt werden kann. In dem Fall kann es ausreichend sein, wenn lediglich die Trajektorie des Bildpunkts B, der den Geländepunkt G repräsentiert, in der Bildebene der Aufnahme 1 für die Modellierung der Bewegungsunschärfe berücksichtigt wird.
Um die Bewegungsunschärfe modellieren zu können, können an sich bekannte Algorithmen verwendet werden, wie sie in der einschlägigen Fachliteratur beschrieben sind, wobei der Fachmann in der Lage ist, bei Kenntnis der hierin offenbarten Lehren die geeigneten Algorithmen auszuwählen und zu implementieren.
Eine Modellierung von Bewegungsunschärfen ist beispielsweise in den folgenden Publikationen offenbart:
„Fast Motion Deblurring Using Sensor-Aided Motion Trajectory Estimation”, Lee et. al., 2014.
“Single Image Deblurring Using Motion Density Functions”, Gupta et. al. 2010.
“Image Deblurring using Inertial Measurement Sensors”, Joshi et. al., 2010.
“Blind restoration of aerial imagery degraded by spatially varying motion blur”, Punnappurath, Rajagopalan, Seetharaman, 2014.
Die Inhalte der oben zitierten Druckschriften werden für die Jurisdiktionen, in denen dies möglich ist, zum Inhalt der vorliegenden Beschreibung bzw. Anmeldung gemacht
Gemäß der gegenständlichen Offenbarung wird die Trajektorie T des Geländepunktes G (beziehungsweise des entsprechenden Bildpunkts B) während der Aufnahmedauer (d.h. der Belichtungsdauer) ermittelt. Dazu können Geodäten des Geländepunkts G, sowie Positionsdaten, Bewegungsdaten und gegebenenfalls Beschleunigungsdaten der Kamera ausgewertet werden.
Die Geodäten des Geländepunkts G können beispielsweise aus im Internet verfügbaren oder proprietären Datenbanken erhalten werden. Eine beispielhafte verwendbare Datensammlung von Geländepunkten ist beispielsweise unter dem Internetlink https://data.opendataportal.at/dataset/dtm-europe verfügbar.
Im Folgenden wird die Modellierung der Bewegungsunschärfe, sowie die Erstellung und Lösung eines darauf aufbauenden Optimierungsproblems gemäß einer vorteilhaften Ausführungsform der hierin offenbarten Lehren detailliert beschrieben.
Aufgrund der aufgezeichneten Kamerabewegungen und gegebenenfalls der Geodäten des Aufnahmebereichs lässt sich für jeden Bildpunkt im aufgenommenen, unscharfen Bild (g) der Pfad des Bildpunktes im zu berechnenden, geschärften, Bild (f) angeben. Somit lässt sich, aufgrund der errechneten Trajektorien, jeder Pixel im unscharfen Bild (g) als gewichtete Summe der Pixel im (unbekannten) geschärften Bild (f) darstellen. Wird die Trajektorie für jeden Pixel beschrieben, resultiert daraus ein lineares Gleichungssystem, das das aufgenommene, unscharfe, Bild (g) in Abhängigkeit des noch unbekannten, zu errechnenden Bildes (f) darstellt (A f = g, f ist zu berechnen). Die dabei erstellte Matrix (A) beschreibt zeilenweise für jeden Pixel im unscharfen Bild (g) die Trajektorie, die dieser Pixel im geschärften Bild (f) zurücklegt. Da diese Matrix im Allgemeinen nicht invertierbar ist, wird die Lösung dieses Problems auf ein Minimierungsproblem zurückgeführt, welches mit bekannten mathematischen Methoden, wie z.B. .Conjugate Gradient ‘, mit Hilfe der Fourier Transformation oder mit anderen iterativen Algorithmen gelöst werde kann.
Optional kann auch bildübergreifend für jeden Pixel die gleiche Trajektorie angenommen werden (z.B. bei vernachlässigbaren Änderungen der Kamerarotationen während der Aufnahme). In diesem Fall kann das unscharfe Bild (g) als Faltung des über dem gesamten Bild konstanten Blur-Kernels (Trajektorie der Bildpunkte) mit dem zu errechnenden, geschärften Bild (f) dargestellt werden (a * f = g). ln diesem Fall spricht man auch von einer Faltungsmatrix (a). Auch hierfür wird die Lösung (Invertierung) dieser Faltungsoperation auf die Lösung eines mathematischen Minimierungsproblems zurückgeführt, was sich jedoch aufgrund der Darstellung als Faltung (a * f = g, f ist zu berechnen) effizient lösen lässt.
Ändert sich die Trajektorie innerhalb des gesamten Bildes nur langsam (z.B. bei schrägblickende Sensoren oder bei Rotationen um die Hochachse), können optional auch überlappende oder nichtüberlappende Bildabschnitte definiert werden, innerhalb deren der Blur-Kernel als konstant angenommen werden kann. In diesem Fall können die jeweiligen unscharfen Bildabschnitte ebenfalls als Faltung der Blur-Kernel mit den geschärften, noch unbekannten, Bildabschnitten modelliert werden. Somit kann für jeden Bildabschnitt ein zugehöriges Minimierungsproblem aufgestellt und effizient gelöst werden. Das geschärfte Gesamtbild kann anschließend anhand der Lösungen in den jeweiligen Bildabschnitten berechnet werden. Die Anzahl und die Wahl der Bildabschnitte hängen davon ab, wie stark sich die Trajektorien der Bildpunkte innerhalb des Bildes unterscheiden.
Aufgrund der Sättigungseigenschaften der in der Kamera vorgesehenen Bildsensoren können beim Lösen des zuvor beschriebenen linearen Gleichungssystems Artefakte neben gesättigten Pixel (-Bereichen) auftreten. Um dies zu verhindern, kann im mathematischen Modell eine Sättigungseigenschaft für die Beseitigung der Bewegungsunschärfe berücksichtigt werden. Die Sättigung kann dabei durch die sogenannte nichtlineare Antwortfunktion des Sensors, im Folgenden bezeichnet als R, modelliert werden. Ein sehr einfaches, normalisiertes Modell davon kann z.B. durch die Funktion R(x) = min(x, 1) beschrieben werden, wobei x den normalisierten Wert eines bestimmten Pixels definiert. Diese Funktion R kann an die tatsächliche Antwortfunktion des Bildsensors individuell angepasst und der Übergang zwischen linearen und gesättigten Bereichen entsprechend modelliert werden. Das lineare Modell A f = g (oder a * f = g) ändert sich demnach zu R(A f)
= g (oder R(a * f) = g), wobei die Anwendung der Funktion R hier pixelweise zu verstehen ist. Da es sich hierbei nun um ein nichtlineares mathematisches Modell handelt, werden zur effizienten Lösung des Optimierungsproblems vorzugsweise adaptierte iterative Verfahren angewandt. Die Definition von R kann wie zuvor pro Pixel, für das gesamte Bild oder für überlappende oder nichtüberlappende Bildabschnitte erfolgen. So kann z.B. die Antwortfunktion R auf das Bild zuvor angewandte radiometrische Anpassungen wie Anpassung des Weißabgleichs oder Verringerung oder Beseitigung einer Vignettierung berücksichtigen.
In vorteilhafter Weise können neben extrinsischen Parametern (Kamerabewegungen und gegebenenfalls Geodäten des Aufnahmebereichs) und intrinsischen Parametern des Kameramodells, zusätzlich auch geometrische Verzerrungen (z.B. Linsenverzeichung) in der Berechnung der Matrix A oder des Blur-Kernels a berücksichtigt werden.
Alternativ oder zusätzlich können andere Bildbearbeitungsalgorithmen, wie z.B. Denoising oder Demosaicing, auch im Zuge des Ausgleichs der Bewegungsunschärfe angewandt werden.
In Fig. 2 sind die Komponenten eines Bildaufnahmesystems 4 dargestellt, anhand derer die Funktionsweise der hierin offenbarten Verfahren zur Bildschärfung erläutert wird.
Das Bildaufnahmesystem 4 umfasst eine Kamera 3 mit zumindest einer Optikeinheit 13 und zumindest einem Bildsensor 12, auf den die Optikeinheit 13 einstellbar ist. Die Kamera 3 kann in dem Fahrzeug 5 in einer Montagestruktur 17 befestigt werden, wobei die Ausrichtung des Kamera 3 in Bezug auf das Fahrzeug 5 entweder unveränderlich ist (fixe Montage) oder wobei die Ausrichtung der Kamera 3 in Bezug auf das Fahrzeug in definierter und bekannter Weise veränderbar ist, beispielsweise im Rahmen einer stabilisierenden Kameraaufhängung. Die Montagestruktur 17 ist in Fig. 2 stark schematisiert dargestellt. Entsprechend verwendbare Montagestrukturen 17 sind im Fachbereich an sich bekannt.
Die Kamera 3 umfasst eine Kamerasteuerung 16, welche beispielsweise die Einstellung der Optikeinheit 13 und die Bilderzeugung durch den Bildsensor 12 steuert. Dabei kann die Kamerasteuerung 16 auch die Verschlusszeit steuern, welche die Aufnahmedauer bzw. Belichtungsdauer jeder Aufnahme definiert. Die Verschlusszeit kann durch einen mechanischen Verschluss, durch eine elektronische Shuttertechnik (z.B. die als „global shutter“ oder „rolling shutter“ bezeichnete Auslesung eines CMOS-Bildsensors), oder durch eine Kombination dieser Techniken gesteuert werden.
Vorzugsweise ist der Bildsensor 12 ein Mittelformatsensor oder ein Großformatsensor.
Ist an der Kamera 3 ein mechanischer Verschluss oder ein elektronischer Verschluss oder eine Kombination von mechanischer und elektronischer Shuttertechnik vorgesehen, so kann zusätzlich der sich aus dem Verschlusssystem ergebende Shutter-Verlauf in der Berechnung (modifizierte Gewichte der beschriebenen Trajektorien der Pixel) der Matrix A und/oder des Kernels a berücksichtigt werden
Die Kamerasteuerung 16 weist eine Datenverbindung zu einer Steuerelektronik 6 auf, welche die Verwaltung und Verarbeitung der von der Kamera 3 gemachten Aufnahmen ausführt. Die Steuerelektronik 6 hat Zugriff auf eine Speichereinheit 11 , in der die Aufnahmen, sowie weitere Daten, wie etwa während der Aufnahme aufgezeichnete Geodäten, Positionsdaten, Bewegungsdaten und/oder Beschleunigungsdaten gespeichert werden können. Die Steuerelektronik 6 kann in einem herkömmlichen Computer implementiert sein oder es kann eine zu diesem Zweck spezifisch hergestellte Steuerelektronik 6 verwendet werden. Gegebenenfalls können die Steuerelektronik 6 und die Kamerasteuerung 16 auch in einem einzigen Gerät kombiniert sein.
Die Steuerelektronik 6 weist eine erste Schnittstelle 7 und eine zweite Schnittstelle 9 auf, wobei die erste Schnittstelle 7 eine Datenanbindung an ein Trägheitsnavigationssystem 8 erlaubt und wobei die zweite Schnittstelle 9 eine Datenanbindung an eine Positionsbestimmungssystem 10 erlaubt. In der in Fig. 2 dargestellten beispielhaften Ausführungsform sind das Trägheitsnavigationssystem 8 und das
Positionsbestimmungssystem 10 extern angebundene Geräte, wobei es sich beispielsweise um Sensoren bzw. Einheiten des Fahrzeugs 5 handeln kann. Die Schnittstellen 7, 9 können beispielsweise als Anbindungen an einen Datenbus des Fahrzeuges 5 implementiert sein, wenn diese eine Übermittlung der Daten von Trägheitsnavigationssystem 8 und Positionsbestimmungssystem 10 erlaubt. Alternativ können das Trägheitsnavigationssystem 8 und/oder das Positionsbestimmungssystem 10 als Teil des Bildaufnahmesystems 4 implementiert sein, wie dies in Fig. 2 durch das interne Trägheitsnavigationssystem 8‘ schematisch angedeutet ist, welches über eine interne Schnittstelle 7‘ mit der Steuerelektronik 6 verbunden ist. Beispielsweise kann somit das Bildaufnahmesystem 4 eine Schnittstelle 9 für das Positionsbestimmungssystem 10 des Fahrzeugs 5 und ein internes Trägheitsnavigationssystem 8‘ aufweisen, welches die Beschleunigungen der Kamera 3 direkt an dieser misst.
Mithilfe der von dem Positionsbestimmungssystem 10 ermittelten Daten können die Positionsdaten der Kamera 3 (zum Beispiel eine Geoposition und eine Höhe über Grund bzw. Flughöhe) und die Bewegungsdaten der Kamera 3 (zumindest entlang der Hauptbewegungsrichtung des Fahrzeugs 5, beispielsweise die als „Ground Speed“ bezeichnete Geschwindigkeit über Grund) ermittelt werden.
Mithilfe der vom Trägheitsnavigationssystem 8 ermittelten Daten können insbesondere die Beschleunigungen in allen translatorischen und rotatorischen Freiheitsgraden ermittelt werden, woraus sich in bekannter Weise auch die entsprechenden Bewegungen ableiten lassen. Gegebenenfalls können die Ausgleichsbewegungen einer stabilisierenden Kameraaufhängung ebenfalls berücksichtigt werden, falls eine solche Aufhängung verwendet wird.
Zu Anbietern von Trägheitsnavigationssystemen 8 und/oder Positionsbestimmungssystemen 10, die im Zusammenhang mit den hierin offenbarten Verfahren und Vorrichtungen verwendet werden können, zählen beispielsweise die Firmen Applanix, IGI Systems oder Novatel.
Die in Fig. 2 dargestellten Komponenten, Datenverbindungen und Systemgrenzen sind rein beispielhaft und sollen nicht einschränkend ausgelegt werden. Beispielsweise können die Kamerasteuerung 16 und die Steuerelektronik 6 als ein einziges Gerät ausgeführt sein. Andererseits können die hierin offenbarten Funktionen der Kamerasteuerung 16 und der Steuerelektronik 6 auch von einer Vielzahl von miteinander kommunizierenden Geräten ausgeführt werden.
Die Steuerelektronik 6 ist in der Lage, die Positions-, Bewegungs- und Beschleunigungsdaten der Kamera 3 mit dem Geokoordinatensystem in Beziehung zu setzen. Damit ist es möglich, unter Verwendung dieser Daten und der Geodäten der Geländestruktur 2 bei jeder Aufnahme 1 für Geländepunkte G im Sichtfeld 15 der Kamera beziehungsweise für Bildpunkte B in der Aufnahme 1 eine Trajektorie T zu erstellen.
Dadurch kann die Bewegung des Bildpunkts von der Position B zur Position B‘ (der dem Geländepunkt G zugeordnet ist) über den Bildbereich der Aufnahme 1, und gegebenenfalls auch die Entfernung des Geländepunkts G von der Kamera 3 zu jedem Zeitpunkt während der Aufnahme ermittelt werden. Somit kann anhand dieser Daten für jeden Bildpunkt eine Trajektorie beschrieben werden und diese in die Modellierung der Bewegungsunschärfe der Aufnahme einfließen. Durch Lösen des daraus resultierenden Optimierungsproblems können zahlreiche Bildunschärfen der Aufnahme 1 ausgeglichen und damit ein Bild optimaler Schärfe erstellt werden. Das Modell kann dabei entweder unterschiedliche Unschärfen einzelner Pixel bzw. verschiedener Bildbereiche, oder eine einheitliche Unschärfe der gesamten Aufnahme 1 abbilden.
Gegebenenfalls können die Daten durch Daten ergänzt werden, die aus der Planung des entsprechenden Aufnahmeprojekts bekannt sind. So können beispielsweise die Aufnahmepositionen und Geländeinformationen vorab definiert werden.
Gegebenenfalls können unterschiedliche Sichtfelder berücksichtigt werden, die sich durch unterschiedliche Einstellungen der Optikeinheit 13 oder durch eine Auswechslung der Optikeinheit 13 oder durch mehr als eine Optikeinheit gebildete Kamera ergeben können. Weiters kann auch die jeweilige Fokussierungseinstellung berücksichtigt werden, die die Entfernung der Schärfeebene von der Kamera 3 definiert. Gegebenenfalls können auch unterschiedliche Brennweiten für Farbe und Panchromatik verwenden werden, wobei die Korrekturen dann jeweils mit unterschiedlichen Parametern durchzuführen sind.
Die hierin offenbarten Verfahren können ohne zusätzliche Entfernungssensoren und ohne eine aufwändige Bildauswertung ausgeführt werden. Gegebenenfalls kann jedoch das Bildschärfungsverfahren zusätzlich durch eine Bildanalyse verbessert werden.
Beispielsweise kann die Position markanter Geländepunkte ermittelt und damit die Trajektorien der einzelnen Bildpunkte zur Erhöhung der Genauigkeit korrigiert werden. Beispielweise können Höhenmodelle die a posteriori erstellt werden, für eine (adaptive) Anpassung der Trajektorien der Bildpunkte verwendet werden. Die in den einzelnen Ausgestaltungen und Beispielen angegebenen einzelnen Merkmale und Varianten können (sofern nicht an Ort und Stelle etwas anderes ausgeführt ist) mit denen der anderen Beispiele und Ausgestaltungen frei kombiniert und insbesondere zur Kennzeichnung der Erfindung in den Ansprüchen ohne zwangläufige Mitnahme der anderen Details der jeweiligen Ausgestaltung bzw. des jeweiligen Beispiels verwendet werden. In der Beschreibung und den Ansprüchen bedeutet die Ausdrücke „im Wesentlichen“ oder „etwa“, sofern nichts anderes an Ort und Stelle angegeben ist, eine Abweichung von bis zu 10 % des angegebenen Wertes, wenn es physikalisch möglich ist, sowohl nach unten als auch nach oben, ansonsten nur in die sinnvolle Richtung, bei Gradangaben (Winkel und Temperatur) sind damit ! 10° gemeint.
Bezuqszeichen:
Aufnahme (1)
Geländestruktur (2) Kamera (3)
Bildaufnahmesystem (4)
Fahrzeug (5)
Steuerelektronik (6) erste Schnittstelle (7) Trägheitsnavigationssystem (8) zweite Schnittstelle (9) Positionsbestimmungssystem (10) Speichereinheit (11)
Bildsensor (12) Optikeinheit (13)
Aufnahmebereich 14 Sichtfeld 15 Kamerasteuerung 16 Montagestruktur 17

Claims

Patentansprüche
1. Verfahren zur Bildkorrektur einer Aufnahme (1) einer Geländestruktur (2), wobei die Aufnahme (1) von einer beweglichen Kamera (3) aufgenommen wird, dadurch gekennzeichnet, dass zumindest ein Bildpunkt (B) der Aufnahme (1) einem Geländepunkt (G) der Geländestruktur (2) zugeordnet wird, wobei eine Trajektorie des Geländepunkts (G) ermittelt wird, welche eine Relativbewegung des Geländepunkts (G) gegenüber der Kamera (3) während einer Aufnahmedauer beschreibt, wobei für die Ermittlung der Trajektorie Lage-, Positions-, Bewegungs- und/oder Beschleunigungsdaten der Kamera (3) während der Aufnahme und Geodäten des Geländepunkts (G) berücksichtig werden, wobei anhand von Bildwanderungen der Bildpunkte (B) ein Optimierungsproblem modelliert wird und wobei durch Lösen des Optimierungsproblems ein korrigiertes Bild ermittelt wird.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass die Kamera (3) an oder in einem Fahrzeug (5), insbesondere einem Luftfahrzeug angeordnet wird.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Kamera (3) in einer bewegbaren Montagestruktur, insbesondere einer stabilisierenden Kameraaufhängung angeordnet wird.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass bei der Modellierung des Optimierungsproblems Unschärfen berücksichtigt werden, die aufgrund von Bodenerhebungen, wie etwa Hochhäusern, Bergen oder ähnlichem, entstehen.
5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass für die Ermittlung der Trajektorie die Beschleunigungen in vorzugsweise allen translatorischen und rotatorischen Freiheitsgraden ermittelt und daraus die entsprechenden Bewegungen abgeleitet werden.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Lage- , Positions-, Bewegungs- und/oder Beschleunigungsdaten der Kamera (3) während der Aufnahme und/oder die Geodäten des Geländepunkts (G) durch Daten ergänzt werden, die aus der Planung des Aufnahmeprojekts bekannt sind.
7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass zumindest eine Einstellung und/oder Eigenschaft einer Optikeinheit (13) der Kamera (3) bei der Modellierung des Optimierungsproblems berücksichtigt wird.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass bei der Modellierung des Optimierungsproblems die Brennweiten für Farbe und Panchromatik, die sich gegebenenfalls unterscheiden können, berücksichtigt werden.
9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass das Verfahren zur Bildschärfung durch eine Bildanalyse ergänzt wird.
10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass bei der Modellierung des Optimierungsmodells ein Shutterverlauf der Kamera (3) berücksichtigt wird.
11. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass ein Bildabschnitt der Aufnahme (1) einem Geländepunkt (G) der Geländestruktur (2) zugeordnet wird, und dass das Optimierungsproblem anhand von Bildwanderungen des Bildabschnitts modelliert wird.
12. Bildaufnahmesystem (4) zur Erstellung von Aufnahmen (1) von Geländestrukturen (2), wobei das Bildaufnahmesystem (4) eine in einem Fahrzeug (5), vorzugsweise einem Luftfahrzeug, lagedefiniert montierbare Kamera (3) mit zumindest einem Bildsensor (12) und zumindest einer Optikeinheit (13) aufweist und wobei das Bildaufnahmesystem (4) eine Steuerelektronik (6), und eine Speichereinheit (11) aufweist, dadurch gekennzeichnet, dass die Steuerungselektronik (6) eine erste Schnittstelle (7) zur Verbindung mit einem Trägheitsnavigationssystem (8), welches eine in Bezug auf die Kamera (3) definierte Beschleunigungs- und/oder Geschwindigkeitsermittlung erlaubt, und eine zweite Schnittstelle (9) zur Verbindung mit einem Positionsbestimmungssystem (10), welches eine in Bezug auf die Kamera (3) definierte Positionsermittlung erlaubt, aufweist, wobei die Steuerelektronik (6) ausgebildet ist, auf eine mit der Kamera (3) gemachte Aufnahme (1) ein Verfahren gemäß einem der Ansprüche 1 bis 9 auszuführen und die Aufnahme (1) in der Speichereinheit (11) zu speichern.
13. Bildaufnahmesystem (4) nach Anspruch 12, dadurch gekennzeichnet, dass die Kamera (3) an oder in einem Fahrzeug (5), insbesondere einem Luftfahrzeug montiert ist.
14. Bildaufnahmesystem (4) nach Anspruch 12 oder 13, dadurch gekennzeichnet, dass die Kamera (3) in einer bewegbaren Montagestruktur, insbesondere einer stabilisierenden Kameraaufhängung angeordnet ist.
15. Bildaufnahmesystem (4) nach einem der Ansprüche 12 bis 14, dadurch gekennzeichnet, dass die Kamerasteuerung (16) die Einstellung der Optikeinheit (13) und die Bilderzeugung durch den Bildsensor (12) steuert.
16. Bildaufnahmesystem (4) nach einem der Ansprüche 12 bis 15, dadurch gekennzeichnet, dass die erste Schnittstelle (7) und/oder die zweite Schnittstelle (9) zur Anbindung an einen Datenbus des Fahrzeuges (5) implementiert sind, wobei der Datenbus eine Datenübermittlung von einem Trägheitsnavigationssystem (8) des Fahrzeuges (5) und/oder einem Positionsbestimmungssystem (10) des Fahrzeuges (5) erlaubt.
PCT/EP2021/054733 2020-02-26 2021-02-25 Verfahren zur bildkorrektur WO2021170745A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
ATA50141/2020 2020-02-26
ATA50141/2020A AT523556A1 (de) 2020-02-26 2020-02-26 Verfahren zur Bildkorrektur

Publications (1)

Publication Number Publication Date
WO2021170745A1 true WO2021170745A1 (de) 2021-09-02

Family

ID=74758802

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2021/054733 WO2021170745A1 (de) 2020-02-26 2021-02-25 Verfahren zur bildkorrektur

Country Status (3)

Country Link
AT (1) AT523556A1 (de)
TW (1) TW202138755A (de)
WO (1) WO2021170745A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023186848A1 (de) * 2022-03-29 2023-10-05 Vexcel Imaging Gmbh Verfahren zur bildkorrektur von bildunschärfe in einer digitalen bildaufnahme
CN117848303A (zh) * 2024-03-07 2024-04-09 山东建勘集团有限公司 一种建筑工程的测绘智能规划方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5835137A (en) * 1995-06-21 1998-11-10 Eastman Kodak Company Method and system for compensating for motion during imaging
US8619082B1 (en) 2012-08-21 2013-12-31 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras that contain occlusions using subsets of images to perform depth estimation
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002308651A1 (en) * 2001-05-04 2002-11-18 Leberl, Franz, W. Digital camera for and method of obtaining overlapping images
US7636486B2 (en) * 2004-11-10 2009-12-22 Fotonation Ireland Ltd. Method of determining PSF using multiple instances of a nominally similar scene
US20080100716A1 (en) * 2006-11-01 2008-05-01 Guoyi Fu Estimating A Point Spread Function Of A Blurred Digital Image Using Gyro Data
US10873831B2 (en) * 2018-05-24 2020-12-22 International Electronic Machines Corp. Sensitive area management

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5835137A (en) * 1995-06-21 1998-11-10 Eastman Kodak Company Method and system for compensating for motion during imaging
US8619082B1 (en) 2012-08-21 2013-12-31 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras that contain occlusions using subsets of images to perform depth estimation
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
C.A. SHAH ET AL.: "Automated Blur Detection and Removal in Airborne Imaging Systems using IMU Data", INTERNATIONAL ARCHIVES OF THE PHOTOGRAMMETRY, REMOTE SENSING AND SPATIAL INFORMATION SCIENCES, vol. XXXIX-B1, 2012
C.A. SHAH ET AL.: "Automated Blur Detection and Removal in Airborne Imaging Systems using IMU Data", INTERNATIONAL ARCHIVES OF THE PHOTOGRAMMETRY, REMOTE SENSING AND SPATIAL INFORMATION SCIENCES, vol. XXXIX-B1, 2012, XP002803053 *
NEEL JOSHI ET AL: "Image Deblurring using Inertial Measurement Sensors", ACM SIGGRAPH CONFERENCE PROCEEDINGS,, 1 January 2010 (2010-01-01), pages 1 - 8, XP007914259 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023186848A1 (de) * 2022-03-29 2023-10-05 Vexcel Imaging Gmbh Verfahren zur bildkorrektur von bildunschärfe in einer digitalen bildaufnahme
CN117848303A (zh) * 2024-03-07 2024-04-09 山东建勘集团有限公司 一种建筑工程的测绘智能规划方法及***
CN117848303B (zh) * 2024-03-07 2024-05-14 山东建勘集团有限公司 一种建筑工程的测绘智能规划方法及***

Also Published As

Publication number Publication date
TW202138755A (zh) 2021-10-16
AT523556A1 (de) 2021-09-15

Similar Documents

Publication Publication Date Title
DE112014004506B4 (de) Fahrzeugumgebungsbildanzeigevorrichtung und Kameraeinstellverfahren
DE102018200154A1 (de) Kalibrationsvorrichtung, Kalibrationsverfahren und Programm für einen visuellen Sensor
DE69021354T2 (de) System zur Detektion eines Hindernisses.
EP2981786B1 (de) Steuerung einer bildauslösung zur luftbilderfassung in nadir-ausrichtung für ein unbemanntes fluggerät
WO2021170745A1 (de) Verfahren zur bildkorrektur
EP3620842B1 (de) Konzept zum einstellen eines head-up-displays in einem kraftfahrzeug
EP2880853B1 (de) Vorrichtung und verfahren zur bestimmung der eigenlage einer bildaufnehmenden kamera
EP3205090A1 (de) Stereokamera für fahrzeuge
CN102428347B (zh) 航空摄影机***和修正航拍失真的方法
DE102017206295B3 (de) Verfahren, Vorrichtung und Computerprogramm zum Kalibrieren einer Fahrzeugkamera eines Fahrzeugs
DE102010062496A1 (de) Verfahren und Vorrichtung zum Verarbeiten von Bildinformationen zweier zur Bilderfassung geeigneter Sensoren eines Stereo-Sensor-Systems
EP2369296A2 (de) Navigationsverfahren für einen Flugkörper
DE112018004529T5 (de) Positionsschätzeinrichtung und positionsschätzverfahren einer mobileinheit
DE10258545B4 (de) Verfahren und System zur Stabilisierung einer Translationsbewegungsgröße eines Flugkörpers
EP3711289B1 (de) Verfahren zur automatischen wiederherstellung eines eingemessenen zustands eines projektionssystems
DE102015208442A1 (de) Verfahren und Vorrichtung zum Ermitteln zumindest eines Objektabbildes in einer Umgebung um einen änderunssensitiven optischen Bildsensor
DE112019006274B4 (de) Synchronisiertes Kamerasystem mit zwei unterschiedlichen Kameras und Verfahren zur Steuerung bzw. Synchronisierung einer ersten und einer zweiten Kamera des Kamerasystems
DE102009017135A1 (de) Verfahren, Vorrichtung und Computerprogramm zur Videodatenanalyse
DE3000654A1 (de) System zur darstellung der bewegung eines fahrzeugs relativ zu einer oberflaeche
DE19502045A1 (de) Kompensation von Bildverwaschungen
WO2023186848A1 (de) Verfahren zur bildkorrektur von bildunschärfe in einer digitalen bildaufnahme
EP3556088B1 (de) Verfahren und vorrichtung zur ermittlung der schnittkanten von zwei sich überlappenden bildaufnahmen einer oberfläche
DE102019114404A1 (de) Bilderfassungssystem
DE102016222548A1 (de) Verfahren und Steuergerät zur Bestimmung einer Verzeichnungseigenschaft eines optischen Mediums während des Fahrtbetriebs
DE19957495B4 (de) Verfahren und Vorrichtung zur Kalibrierung von Luftbildkameras

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21708212

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21708212

Country of ref document: EP

Kind code of ref document: A1