DE10348911A1 - Determination of disparities between reference and search images by comparison of the brightness of search blocks in a search image relative to the brightness of search blocks in a reference image - Google Patents

Determination of disparities between reference and search images by comparison of the brightness of search blocks in a search image relative to the brightness of search blocks in a reference image Download PDF

Info

Publication number
DE10348911A1
DE10348911A1 DE10348911A DE10348911A DE10348911A1 DE 10348911 A1 DE10348911 A1 DE 10348911A1 DE 10348911 A DE10348911 A DE 10348911A DE 10348911 A DE10348911 A DE 10348911A DE 10348911 A1 DE10348911 A1 DE 10348911A1
Authority
DE
Germany
Prior art keywords
block
search
brightness value
image
search block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE10348911A
Other languages
German (de)
Inventor
Colin Estermann
Robert Dr. Kutka
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Priority to DE10348911A priority Critical patent/DE10348911A1/en
Publication of DE10348911A1 publication Critical patent/DE10348911A1/en
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

Method for determining disparities between reference and search images has the following steps: selection of a reference block (3) from the reference image, determination of a corresponding reference brightness value, selection of a search block (4) in the search image determination of a corresponding brightness value, scaling of the brightness value of the search block so that it matches that of the reference block and determination of evaluation criterion to permit determination of a degree of agreement between the blocks. The invention also relates to a corresponding computer program.

Description

Die Anmeldung betrifft ein Verfahren zum Bestimmen der Disparität zwischen einem Referenzbild und einem Suchbild. Die Disparität ist eine kleine relative Verschiebung von Objekten in zwei Bildern, die durch die unterschiedliche Perspektive der beiden Bilder auf die Objekte verursacht ist. Da die Verschiebung von der Entfernung der Objekte abhängt, kann aus der Disparität die Entfernung der Objekte berechnet werden. Mit der Bestimmung der Disparität ist es möglich, die räumliche Struktur der Umgebung, zu erfassen.The The application relates to a method for determining the disparity between a reference image and a search image. The disparity is one small relative displacement of objects in two images, through the different perspective of the two images on the objects caused. Because the shift from the distance of the objects depends can out of the disparity the distance of the objects can be calculated. With the provision the disparity Is it possible, the spatial Structure of the environment, to capture.

Zur Bestimmung der Disparität sind sog. regionenbasierte Schätzverfahren bekannt, die die Bildinhalte regionenweise, zum Beispiel durch Verschieben von Bildblöcken unter Verwendung eines geeigneten Ähnlichkeitskriteriums, vergleichen. Das Verschieben der Bildblöcke wird auch als „Blockmatching" bezeichnet. Blockmatching-Verfahren zur Abschätzung der Bewegung eines Vektors bestimmen, zum Beispiel durch Minimieren eines bestimmten Bewertungskriteriums, welcher Block in einem Suchbild (Suchblock) einem Block im Referenzbild (Referenzblock) entspricht. Die Bewertungskriterien hängen dabei in der Regel unter anderem von der Bildstruktur der zu vergleichenden Blöcke ab. Häufig verwendete Bewertungskriterien sind zum Beispiel die Summe der absoluten Differenzen (SAD) oder das mittlere Fehlerquadrat (MSE).to Determination of disparity are so-called region-based estimation methods known, the image content by region, for example, by moving of image blocks using a suitable similarity criterion. Moving the image blocks is also referred to as "block matching." Block matching method for estimation determine the motion of a vector, for example by minimizing one certain rating criteria, which block in a search image (Search block) corresponds to a block in the reference image (reference block). The evaluation criteria depend thereby usually among other things of the pictorial structure of the to be compared blocks from. Often For example, the evaluation criteria used are the sum of the absolute ones Differences (SAD) or mean square error (MSE).

Voraussetzung für die Bestimmung der Disparität ist damit die Bestimmung korrespondierender Bildpunkte oder -bereiche in einem stereoskopischen Bildpaar. Das zur Disparitätsschatzung notwendige Bildpaar kann auf zweierlei Weise gewonnen werden.requirement for the Determination of disparity is thus the determination of corresponding pixels or areas in a stereoscopic image pair. The disparity estimate necessary image pair can be obtained in two ways.

In einer ersten Variante werden die Objekte von zwei bildaufnehmenden Geräten, zum Beispiel einer Videokamera, aus zwei unterschiedlichen Perspektiven gleichzeitig aufgenommen. Dies weist den Nachteil auf, dass eine verhältnismäßig aufwendige Hardware-Ausrüstung bereitgestellt werden muss.In In a first variant, the objects of two image-receiving Devices, for example, a video camera, from two different perspectives recorded simultaneously. This has the disadvantage that a relatively expensive Hardware equipment must be provided.

In einer zweiten Variante wird lediglich ein bildaufnehmendes Gerät benötigt, welches entlang einer kreisförmigen Bahn geschwenkt wird. Die zu vergleichenden Bilder werden dem „Videofilm" zu zwei unterschiedlichen Zeitpunkten entnommen. Der Nachteil dieser Variante besteht darin, dass Bilder, die zu unterschiedlichen Zeitpunkten aufgenommen wurden, miteinander verglichen werden müssen. Auch bei einer nur geringen Zeitdifferenz können sich Unterschiede in der Anordnung der Objekte zueinander, deren Ausleuchtung oder deren Schattenwurf zueinander ergeben, was die Auswertung erheblich erschwert.In In a second variant, only one image-receiving device is needed, which along a circular Railway is pivoted. The images to be compared become "video" two different Times taken. The disadvantage of this variant is that pictures taken at different times have to be compared with each other. Even with a small time difference, differences in the Arrangement of objects to each other, their illumination or their Shadow throw each other, which makes the evaluation considerably more difficult.

Die bislang verwendeten Vorgehensweisen zur Bestimmung der Disparität führen entweder zu unbefriedigenden Ergebnissen oder erfordern einen verhältnismäßig hohen Aufwand bei der Datenbeschaffung bzw. der Datenauswertung.The Methods used to date to determine disparity either result to unsatisfactory results or require a relatively high Effort in data acquisition or data evaluation.

Die Aufgabe der vorliegenden Erfindung besteht deshalb darin, ein Verfahren zum Bestimmen der Disparität eines Referenzbildes und eines Suchbildes anzugeben, welches auf einfache Weise durchzuführen ist und zuverlässige Ergebnisse produziert.The The object of the present invention is therefore a method for determining the disparity a reference image and a search image indicate which on easy way to perform is and reliable Produced results.

Diese Aufgabe wird mit einem Verfahren mit den Merkmalen des Patentanspruches 1 sowie mit einem Computerprogrammprodukt mit den Merkmalen des Patentanspruches 10 gelöst. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den abhängigen Patentansprüchen.These Task is with a method with the features of claim 1 as well as with a computer program product with the features of Claim 10 solved. Advantageous embodiments of the invention will become apparent from the dependent Claims.

Das erfindungsgemäße Verfahren umfasst die folgenden Schritte:
Auswahl eines Referenzblocks aus dem Referenzbild;
Bestimmung eines Referenz-Helligkeitswerts des Referenzblocks;
Auswahl eines Suchblocks aus dem Suchbild, dessen Größe der Größe des Referenzblocks entspricht;
Bestimmung eines Helligkeitswerts des Suchblocks;
Skalierung des Helligkeitswerts des Suchblocks auf den Referenz-Helligkeitswert, so dass der Helligkeitswert des Suchblocks dem Helligkeitswert des Referenzblocks entspricht;
Ermittlung eines Bewertungskriteriums, um den Grad der Übereinstimmung zwischen dem Suchblock und dem Referenzblock ausfindig zu machen.The method according to the invention comprises the following steps:
Selecting a reference block from the reference image;
Determining a reference brightness value of the reference block;
Selecting a search block from the search image whose size corresponds to the size of the reference block;
Determining a brightness value of the search block;
Scaling the brightness value of the search block to the reference brightness value such that the brightness value of the search block corresponds to the brightness value of the reference block;
Determining a rating criterion to find the degree of correspondence between the search block and the reference block.

Das Prinzip der Erfindung besteht damit darin, den mit dem Referenzblock zu vergleichenden Suchblock in seinem Helligkeitswert an den Helligkeitswert des Referenzblocks anzupassen. Durch die Skalierung der Luminanzwerte des Suchblocks hängt das Bewertungskriterium in vorteilhafterweise nur noch von der Struktur, das heißt der Verteilung der Luminanzwerte, ab und ist somit Gesamtluminanz-Schwankungen gegenüber unempfindlich.The principle of the invention is thus to adapt the search block to be compared with the reference block in its brightness value to the brightness value of the reference block. By scaling Of the luminance values of the search block, the evaluation criterion depends advantageously only on the structure, that is to say the distribution of the luminance values, and is thus insensitive to overall luminance fluctuations.

Dieses Vorgehen ermöglicht in vorteilhafter Weise, dass das Referenzbild und das Suchbild mit lediglich einer Kamera aufgenommen werden können, welche entlang einer Kreisbahn geschwenkt wird. Referenzbild und Suchbild werden dieser „Videoaufnahme" zu unterschiedlichen Zeitpunkten entnommen. Diesem aus dem Stand der Technik prinzipiell bekannten Vorgehen liegt allgemein die Problematik zu Grunde, dass bei der Aufnahme von Stereobildern durch einen Schwenk des Bild aufzeichnenden Gerätes die Blende häufig nachgeregelt wird oder ein automatischer Weißabgleich vorgenommen wird, wodurch sich die Helligkeit der nacheinander aufgenommenen Bilder verändert. Bewegt sich der von dem Bild aufnehmenden Gerät aufgenommene Bildausschnitt beispielsweise in einen helleren Bereich hinein, so wird das gesamte Bild abgedunkelt und die korrespondierenden, das heißt später zu vergleichenden, Bildbereiche unterscheiden sich in der Helligkeit. Diese Unterschiede in der Helligkeit führten bislang zu Fehleinschätzun gen und erforderten den Einsatz von außerordentlich aufwendigen Matching-Algorithmen.This Approach possible in an advantageous manner that the reference image and the search image with Only a camera can be recorded, which along a Circular path is pivoted. Reference image and search image will be this "video recording" to different Times taken. This from the prior art in principle known procedure is generally based on the problem that when taking stereo pictures by panning the picture recording device the aperture frequently readjusted or an automatic white balance is made, which increases the brightness of successively captured images changed. Moves the picture taken by the picture-taking device For example, in a lighter area, so the whole Darkened image and the corresponding, that is to be compared later, Image areas differ in brightness. Those differences led in the brightness so far false misjudgments and required the use of extremely complex matching algorithms.

Durch das erfindungsgemäße Vorgehen, zwei zu vergleichende Bildblöcke vor dem Durchführen oder auch während der Durchführung des Matching-Verfahrens, auf gleiche Helligkeit zu bringen, können bekannte, einfache Blockmatching-Verfahren eingesetzt werden, zum Beispiel zur Ermittlung der Summe der absoluten Differenzen oder zur Ermittlung des mittleren Fehlerquadrats.By the procedure according to the invention, two image blocks to be compared before performing or even while the implementation The matching method of bringing equal brightness can be familiar, simple Blockmatching methods are used, for example, for the determination the sum of the absolute differences or to determine the mean Squared error.

Die Bestimmung des Referenz-Helligkeitswertes des Referenzblocks umfasst dabei die Berechnung des Mittelwertes seiner Luminanzwerte. Die Luminanzwerte des Suchblocks werden dann vor oder bei der Berechnung des Bewertungskriteriums im Rahmen des Blockmatching-Verfahrens skaliert, so dass der Mittelwert der Luminanzwerte des Suchblocks dem Mittelwert des Referenzblocks entspricht.The Determining the reference brightness value of the reference block comprises doing the calculation of the mean of its luminance values. The Luminance values of the search block are then used before or during the calculation the evaluation criterion in the context of the block matching method scales, so the mean of the luminance values of the search block corresponds to the mean value of the reference block.

Für den Fall, dass der Referenzblock und der Suchblock die kleinstmögliche Auflösung bilden, kann der Luminanzwert des Suchblocks direkt mit dem Luminanzwert des Referenzblocks skaliert werden. Im Fall, dass die Referenzblöcke in jeweils M·N Teilblöcke unterteilt ist, umfasst der Schritt der Bestimmung des Referenz-Helligkeitswertes eines Referenzblocks die Bestimmung des Mittelwertes aller Luminanzwerte der M·N Teilblöcke des Referenzblocks. Für den Referenzblock, bestehend aus den M·N Teilblöcken, wird somit ein einziger Luminanzwert ermittelt. Die Größe der Teilblöcke kann so gewählt sein, dass diese weiter unterteilbar sind. Vorzugsweise stellt ein Teilblock eine unteilbare Einheit, zum Beispiel ein Pixel, dar. Bei der Skalierung wird jedes Pixel oder jede Pixelgruppe des Suchblocks dann auf den gemittelten Luminanzwert des Referenzblocks skaliert. Das Skalieren erfolgt hier iterativ für jedes der Pixel oder jede Pixelgruppe des Suchblocks.In the case, that the reference block and the search block form the smallest possible resolution, The luminance value of the search block can be directly related to the luminance value of the reference block. In the case that the reference blocks in each case M · N subblocks divided , the step of determining the reference brightness value of a reference block, the determination of the mean value of all luminance values the M · N subblocks of the Reference block. For The reference block, consisting of the M * N subblocks, thus becomes a single Luminance value determined. The size of the subblocks can so chosen be that these are further subdivided. Preferably provides Sub-block is an indivisible unit, for example a pixel. Scaling turns each pixel or group of pixels of the search block then scaled to the averaged luminance value of the reference block. Scaling is done iteratively for each of the pixels or each Pixel group of the search block.

In einer vorteilhaften Ausgestaltung der Erfindung weist der Schritt der Skalierung des Helligkeitswertes des Suchblocks auf den Referenz-Helligkeitswert die Multiplikation der Luminanzwerte jeweiliger Teilblöcke des Referenzblocks und des Suchblocks gemäß folgender Formel auf:

Figure 00050001
wobei:
Ls(M, N) Luminanz eines Teilblocks im Suchblock,
MWref Luminanz Mittelwert des Referenzblocks,
MWsuch Luminanz Mittelwert des Suchblocks.In an advantageous embodiment of the invention, the step of scaling the brightness value of the search block to the reference brightness value comprises multiplying the luminance values of respective sub-blocks of the reference block and the search block according to the following formula:
Figure 00050001
in which:
L s (M, N) Luminance of a subblock in the search block,
MW ref luminance mean of the reference block,
MW search luminance average of the search block.

Die Skalierung über eine Multiplikation der oben genannten Art erweist sich bei Luminanzschwankungen, die von der automatischen Blende des Bild aufnehmenden Gerätes hervorgerufen wurden, als sehr zuverlässig, da diese einer gleichmäßigen Helligkeitsänderung entspricht.The Scaling over a multiplication of the above-mentioned kind proves to be due to luminance fluctuations, caused by the automatic iris of the image receiving device were, as very reliable, since this a uniform brightness change equivalent.

Alternativ kann der Schritt der Skalierung des Helligkeitswertes des Suchblocks auf den Referenz-Helligkeitswert das Aufaddieren eines Offset-Wertes auf einen jeweiligen Helligkeitswert eines Teilblocks des Suchblocks gemäß folgender Formel aufweisen: L's(M, N) = Ls(M, N) + (MWref – MWsuch)wobei:
Ls(M, N) Luminanz eines Teilblocks im Suchblock,
MWref Luminanz Mittelwert des Referenzblocks,
MWsuch Luminanz Mittelwert des Suchblocks.Alternatively, the step of scaling the brightness value of the search block to the reference brightness value may comprise adding an offset value to a respective brightness value of a sub-block of the search block according to the following formula: L ' s (M, N) = L s (M, N) + (MW ref - MW search ) in which:
L s (M, N) Luminance of a subblock in the search block,
MW ref luminance mean of the reference block,
MW search luminance average of the search block.

In einer weiteren vorteilhaften Ausgestaltung ist zum ausfindig machen eines Suchblocks, der mit dem Referenzblock die größte Übereinstimmung aufweist, die iterative Wiederholung folgender Verfahrensschritte vorgesehen:
Auswahl eines weiteren Suchblocks aus dem Suchbild, dessen Größe der Größe des Referenzblocks entspricht, wobei der weitere Suchblock relativ zu dem Suchblock verschoben ist;
Bestimmung eines Helligkeitswerts des weiteren Suchblocks;
Skalierung des Helligkeitswerts des weiteren Suchblocks auf den Referenz-Helligkeitswert, so dass der Helligkeitswert des weiteren Suchblocks dem Helligkeitswert des Referenzblocks entspricht;
Ermittlung eines Bewertungskriteriums, um den Grad der Übereinstimmung zwischen dem weiteren Suchblock und dem Referenzblock ausfindig zu machen.In a further advantageous embodiment, the iterative repetition of the following method steps is provided for locating a search block which has the greatest match with the reference block:
Selecting a further search block from the search image whose size corresponds to the size of the reference block, the further search block being shifted relative to the search block;
Determining a brightness value of the further search block;
Scaling the brightness value of the further search block to the reference brightness value, such that the brightness value of the further search block corresponds to the brightness value of the reference block;
Determining a rating criterion to find the degree of correspondence between the further search block and the reference block.

Der Schritt der Auswahl des weiteren Suchblocks aus dem Suchbild kann dabei eine Verschiebung des weiteren Suchblocks in x- und/oder y-Richtung des Suchbilds relativ zu dem Suchblock umfassen. Sofern der Schwenk des Bild aufzeichnenden Gerätes gleichmäßig oder zumindest nahezu gleichmäßig in einer Waagerechten stattfindet, kann auf eine Verschiebung des Suchblocks in y-Richtung des Rasters verzichtet werden. Hierdurch vereinfacht sich das durchzuführende Verfahren erheblich.Of the Step of selecting the further search block from the search image can while a shift of the other search block in the x and / or y direction of the search image relative to the search block. Unless the pan of the image recording device evenly or at least almost evenly in one Horizontal takes place, can be on a shift of the search block dispensed in the y direction of the grid. Simplified the to be carried out Procedure considerably.

Die Verschiebung des Suchblocks könnte zum Beispiel Blockweise oder Teilblockweise erfolgen. Da die Blöcke ein relativ grobes Raster über der Fläche des Such- bzw. Referenzbildes darstellen, lässt sich mit verhältnismäßig wenigen iterativen Schritten die beste Übereinstimmung zwischen dem Suchblock und dem Referenzblock ausfindig machen.The Shifting the search block could for example blockwise or partial blockwise. As the blocks enter relatively coarse grid over the area of the search or reference image, can be with relatively few iterative steps the best match between the search block and the reference block.

Ein sehr viel genaueres Ergebnis lässt sich allerdings dann erzielen, wenn die Verschiebung des Suchblocks Pixelweise in x- und/oder y-Richtung erfolgt.One much more accurate result leaves However, then achieve, if the shift of the search block Pixel by pixel in the x and / or y direction.

In der Praxis hat es sich als besonders vorteilhaft herausgestellt, wenn M = N = 8 ist. Ein Block besteht in diesem Fall aus 8·8 = 64 Teilblöcken, das heißt Pixeln.In In practice, it has proven to be particularly advantageous when M = N = 8. One block in this case consists of 8 · 8 = 64 Sub-blocks, this means Pixels.

Sind iterativ alle möglichen Suchblöcke, die die gleiche Größe wie der Referenzblock aufweisen, ausgewählt, skaliert und bewertet worden, so wird ein weiterer Referenzblock ausgewählt und das beschriebene Verfahren beginnt von neuem. Das Verschieben des Referenzblocks kann im x-y-Koordinatensystem Blockweise, Teilblockweise oder auch Pixelweise erfolgen. In den beiden letzten Fällen könnten die Ergebnisse der Bewertung einem jeweiligen Teilblock oder einem jeweiligen Pixel zugewiesen werden. Die durch dieses Vorgehen erhöhte Genauigkeit erfordert dann M·N-fache Anzahl an iterativen Wiederholungen der oben genannten Schritte.are iteratively all possible Search blocks, the same size as the one Reference block, selected, has been scaled and evaluated, then becomes another reference block selected and the method described begins again. The move of the reference block can in the x-y coordinate system blockwise, partial blockwise or also pixel-wise. In the last two cases, the Results of the evaluation a respective sub-block or a respective Be assigned to pixels. The increased accuracy through this procedure then requires M × N times Number of iterative repetitions of the above steps.

Die Erfindung umfasst weiterhin ein Computerprogramm-Produkt, das direkt in den internen Speicher eines Computers geladen werden kann und Software Codeabschnitte umfasst, mit denen die Schritte gemäß einem der vorherigen Ansprüche ausgefüllt werden, wenn das Produkt in einem Computer läuft.The The invention further includes a computer program product directly can be loaded into the internal memory of a computer and Software includes code sections that complete the steps in accordance with a the previous claims filled out when the product is running in a computer.

Das erfindungsgemäße Verfahren eignet sich insbesondere zur Bestimmung der Disparität eines stereoskopischen Bildpaares, zur Bestimmung der Geschwindigkeit eines bewegten Objekts sowie zur Bestimmung von Objektverschiebungen.The inventive method is particularly suitable for determining the disparity of a stereoscopic image pair, to determine the speed a moving object as well as for determining object displacements.

Die Erfindung und deren Vorteile werden nachfolgend anhand der Figuren weiter erläutert. Es zeigen:The Invention and its advantages will be described below with reference to FIGS further explained. Show it:

1 ein Referenzbild und ein Suchbild, die zu unterschiedlichen Zeitpunkten von unterschiedlichen Positionen mit einem Bild aufzeichnenden Gerät aufgenommen wurden, und über die ein Raster mit jeweils x·y Blöcken gelegt ist, 1 a reference image and a search image, which were taken at different times from different positions with an image-recording device, and over which a grid with x x y blocks is placed,

2a die nach der Durchführung des erfindungsgemäßen Verfahrens entstandene Tiefenkarte, wobei eine Skalierung der Helligkeitswerte vorgenommen wurde, 2a the depth map resulting from the execution of the method according to the invention, wherein a scaling of the brightness values has been carried out,

2b eine mit einem herkömmlichen Bewertungsverfahren entstandene Tiefenkarte der zu vergleichenden Bilder aus 1 ohne Skalierung der Luminanzwerte, und 2 B a resulting from a conventional evaluation process depth map of the images to be compared 1 without scaling the luminance values, and

3 eine nach dem Verfahren vorliegende Erfindung erzielbare Tiefenkarte. 3 an achievable according to the invention present invention depth map.

Das nachfolgende Ausführungsbeispiel erläutert das erfindungsgemäße Verfahren anhand der Bestimmung der Disparität eines stereoskopischen Bildpaars.The following embodiment explained the inventive method by determining the disparity of a stereoscopic image pair.

1 zeigt, übereinander angeordnet und jeweils schematisch, ein Referenzbild und ein Suchbild, die zu verschiedenen Zeitpunkten mit einem einzigen Bild aufzeichnenden Gerät, aufgenommen wurden. Die Bilder zeigen zwei sich gegenübersitzende Personen, die jeweils an einem Monitor arbeiten. Im Hintergrund sind ein Schrank und ein Bild dargestellt. Das Referenzbild und das Suchbild zeigen diese Objekte in unterschiedlichen Perspektiven. 1 shows, superposed and each schematically, a reference image and a search image, which were recorded at different times with a single image recording device. The pictures show two persons sitting opposite each other, each working on a monitor. In the background a cabinet and a picture are shown. The reference image and the search image show these objects in different perspectives.

Das erfindungsgemäße Verfahren erlaubt es, die zu vergleichenden Bilder mittels eines einzigen Bild aufzeichnenden Gerätes, zum Beispiel einer (digitalen) Kamera oder einem Videohandy, aufzunehmen. Das Bild aufzeichnende Gerät wird dabei vorzugsweise entlang einer waagerecht verlaufenden Kreisbahn um die zu erfassenden Objekte geschwenkt. Aus dem dabei entstandenen Videofilm können zwei zu unterschiedlichen Zeitpunkten t1 und t2 aufgenommene Bilder herausgegriffen und gegenüber gestellt werden.The inventive method allows the images to be compared by means of a single one Image recording device, For example, a (digital) camera or a video phone to record. The picture recording device is preferably along a horizontal circular path panned around the objects to be detected. From the resulting Video movie can two images taken at different times t1 and t2 singled out and opposite be put.

Bild aufzeichnende Geräte der oben genannten Art weisen die Eigenschaft auf, dass diese bei einer Schwenkbewegung, das heißt einer Aufnahme der aufzuzeichnenden Objekte aus unterschiedlichen Blickrichtungen, ihre Blende automatisch nachregeln bzw. einen Weißabgleich vornehmen. Durch die Veränderung des Bildausschnittes, zum Beispiel in einen helleren Bereich, wird das gesamte Bild abgedunkelt und die korrespondierenden Bereiche unterscheiden sich in ihrer Helligkeit.image recording devices of the above type have the property that these at a pivoting movement, that is a recording of the objects to be recorded from different Directions, adjust their aperture automatically, or adjust white balance make. By the change of the image section, for example into a lighter area the whole picture darkens and the corresponding areas differ in their brightness.

Zur Bestimmung der Disparität kann ein Tiefenschätzungsalgorithmus unter Verwendung eines Blockmatching-Verfahrens verwendet werden. Als Bewertungskriterium kann beispielsweise die Summe der absoluten Differenzen (SAD) verwendet werden. Dieses Verfahren ist aus dem Stand der Technik bereits bekannt und wird gemäß folgender Formel durchgeführt:

Figure 00090001
wobei
M und N die Anzahl der Teilblöcke eines Blocks,
Ls(x,y) der Luminanzwert eines Teilblocks im Suchbild,
LR(x,y) der Luminanzwert eines Teilblocks im Referenzbild,
xpos, ypos die Position des Referenzblocks,
sx, sy die Suchbereichsverschiebung.To determine the disparity, a depth estimation algorithm using a block matching technique may be used. For example, the sum of the absolute differences (SAD) can be used as the evaluation criterion. This method is already known from the prior art and is carried out according to the following formula:
Figure 00090001
in which
M and N are the number of subblocks of a block,
L s (x, y) is the luminance value of a subblock in the search image,
L R (x, y) is the luminance value of a subblock in the reference image,
x pos , y pos the position of the reference block,
s x , s y is the search range shift.

Zu diesem Zweck wird zumindest über das Referenzbild ein Raster mit x·y Blöcken gelegt. Der Ursprung des so entstandenen Koordinatensystems liegt in dem Beispiel der 1 in dem unteren linken Block (0,0). Jeder der x·y Blöcke ist wiederum in M·N Teilblöcke, die Pixel darstellen, unterteilt. Es hat sich als vorteilhaft herausgestellt, die Blockgröße so zu wählen, dass dieser 8·8 Teilblöcke (Pixel) umfasst.For this purpose, a grid with x.y blocks is placed at least over the reference image. The origin of the resulting coordinate system lies in the example of 1 in the lower left block (0,0). Each of the x x y blocks is again divided into M x N subblocks representing pixels. It has proven to be advantageous to choose the block size such that it comprises 8 × 8 subblocks (pixels).

Zur Durchführung des Verfahrens wird zunächst ein Referenzblock 3, der die Koordinaten (xpos, ypos) aufweist, gewählt.To carry out the method, first a reference block 3 having the coordinates (x pos , y pos ) selected.

Dann wird im Suchbild ein Suchblock 4 bestimmt, der mit dem Referenzblock 3 verglichen werden soll. Zweckmäßigerweise wählt man diesen derart, dass er im Suchbild die gleichen Koordinaten (xpos, ypos) aufweist.Then in the search image is a search block 4 determined with the reference block 3 to be compared. It is expedient to select it in such a way that it has the same coordinates (x pos , y pos ) in the search image.

Bevor ein Vergleich bzw. eine Bewertung zwischen dem Referenzblock 3 und dem ausgewählten Suchblock 4 mittels des Blockmatching-Verfahrens durchgeführt wird, findet erfindungsgemäß eine Skalierung der Helligkeitswerte des Suchblocks bzw. jedes einzelnen Teilblocks des Suchblocks auf den Referenz-Helligkeitswert statt, so dass der mittlere Helligkeitswert des Suchblocks dem Helligkeitswert des Referenzblocks entspricht. Zu diesem Zweck wird zunächst der Luminanzmittelwert des Referenzblocks bestimmt. Dies geschieht nach folgender Formel

Figure 00100001
Before a comparison or a rating between the reference block 3 and the selected search block 4 is carried out by means of the block matching method, a scaling of the brightness values of the search block or of each individual sub-block of the search block to the reference brightness value takes place according to the invention, so that the mean brightness value of the search block corresponds to the brightness value of the reference block. For this purpose, first the luminance mean value of the reference block is determined. This is done according to the following formula
Figure 00100001

Die Bestimmung des Luminanzmittelwerts des Referenzblocks und der Schritt der Auswahl eines Suchblocks können natürlich auch in umgekehrter Reihenfolge durchgeführt werden.The Determining the Luminance Mean of the Reference Block and Step the selection of a search block Naturally also be carried out in reverse order.

Anschließend wird der Luminanzmittelwert des Suchblocks 4 gemäß folgender Formel bestimmt:

Figure 00100002
wobei sx, sy eine Verschiebung des Suchbereiches bzw. des Suchblocks im Rahmen der iterativen Durchführung vorher beschriebener Schritte darstellen. Im ersten Durchgang werden sx = sy = 0 gesetzt. sx = 1 bzw. sy = 1 bedeutet zum Beispiel, dass der Suchblock im x-y-Koordinatensystem bzw. -raster Blockweise oder Pixelweise nach rechts bzw. oben verschoben wird.Subsequently, the luminance average of the search block becomes 4 determined according to the following formula:
Figure 00100002
where s x , s y represent a shift of the search area or the search block in the context of the iterative execution of previously described steps. In the first pass, s x = s y = 0 are set. s x = 1 or s y = 1 means, for example, that the search block in the xy coordinate system or grid is moved block by block or pixel by pixel to the right or up.

Mittels des oben gewählten Blockmatching-Verfahrens kann die Summe der absoluten Differenzen mit folgender Formel berech net werden, wobei eine Skalierung der Luminanz durchgeführt wird:

Figure 00110001
By means of the above-mentioned block matching method, the sum of the absolute differences can be calculated with the following formula, wherein a scaling of the luminance is carried out:
Figure 00110001

Die oben aufgeführten Schritte (mit Ausnahme der Auswahl eines Referenzblocks) werden iterativ wiederholt, das heißt sx und sy sind ungleich 0, wodurch der Suchblock 4 im x-y-Koordinatensystem bzw. -raster des Suchbildes verschoben wird (so dass der neue Suchblock das Bezugszeichen 4a trägt). Nach Durchlauf einer Reihe von Iterationsschritten kann davon ausgegangen werden, dass dem Suchblock, der bezüglich des Referenzblocks ein minimales Bewertungskriterium aufweist, die höchste Übereinstimmung mit dem Referenzblock aufweist. Im vorliegenden Beispiel ist die höchste Übereinstimung beim Suchblock (sx + xpos, ypos) gegeben (Bezugszeichen 5 im Suchbild der 1).The above steps (with the exception of the selection of a reference block) are repeated iteratively, that is s x and s y are not equal to 0, whereby the search block 4 is moved in the xy coordinate system or grid of the search image (so that the new search block the reference number 4a wearing). After passing through a series of iteration steps, it can be assumed that the search block, which has a minimal evaluation criterion with regard to the reference block, has the highest correlation with the reference block. In the present example, the highest coincidence in the search block (s x + x pos , y pos ) given (reference numeral 5 in the search image of 1 ).

Nachdem zum Referenzblock 3 ein Suchblock mit bester Übereinstimmung gefunden wurde, wird ein weiterer Referenzblock 3a ausgewählt und das oben beschriebene Verfahren wiederholt. Ist zu diesem Referenzblock ein Suchblock mit bestmöglicher Übereinstimmung gefunden worden, so wird ein weiterer Referenzblock ausgewählt und das Verfahren wiederholt, usw. Schließlich kann mit diesem Vorgehen zu jedem Referenzblock des Referenzbilds ein dazu passender Suchblock im Suchbild aufgefunden werden, solange übereinstimmende bildliche Elemente vorhanden sind. Das heißt, die als Ergebnis entstehende Tiefenkarte ist aufgrund der Objektverschiebung der zwei Bilder kleiner (schmäler bei einem horizontalen Kameraschwenk) als die ursprünglichen Bilder.After to the reference block 3 a search block with the best match is found, becomes another reference block 3a selected and the procedure described above repeated. If a search block with the best possible match has been found for this reference block, a further reference block is selected and the method is repeated, etc. Finally, with this procedure, a matching search block can be found in the search image for each reference block of the reference image as long as matching pictorial elements are present , That is, the resulting depth map is smaller (narrower with a horizontal pan of the camera) than the original images because of the object shift of the two images.

2a zeigt eine Tiefenkarte, die nach Durchführung des erfindungsgemäßen Verfahrens erstellt wurde, im Vergleich zu einer Tiefenkarte, die mit einem herkömmlichen Verfahren zur Bestimmung der Disparität der Bilder aus 1 erstellt wurde (2b). Trotz der groben Rasterung ist gut erkennbar, dass die Skalierung der Helligkeitswerte vor bzw. während des eigentlichen Blockmatching-Verfahrens zu einem besseren Ergebnis führt. Die im Vordergrund sitzende Person, die in den 2a und 2b hellgrau wiedergegeben ist, ist in 2a in ihren Umrissen deutlich besser zu erkennen, als in 2b. 2a shows a depth map, which was created after performing the method according to the invention, as compared to a depth map, with a conventional method for determining the disparity of the images 1 was created ( 2 B ). Despite the coarse screening, it can be clearly seen that the scaling of the brightness values before or during the actual block matching procedure leads to a better result. The person sitting in the foreground sitting in the 2a and 2 B is reproduced in light gray, is in 2a clearly better to recognize in their outlines than in 2 B ,

3 zeigt das Ergebnis des Verfahrens zum Bestimmen der Disparität des Referenzbildes und des Suchbildes aus 1, wenn die Anzahl der Iterationen genügend groß ist. Objekte im Vordergrund sind in einem helleren Grauton dargestellt, als die von dem Bild aufzeichnenden Gerät weiter weg gelegenen Objekte. 3 shows the result of the method for determining the disparity of the reference image and the search image 1 if the number of iterations is large enough. Objects in the foreground are displayed in a lighter shade of gray than the device recording the image further away.

Das erfindungsgemäße Verfahren zur Bestimmung der Disparität kann in vielerlei Anwendungen eingesetzt werden. So kann es neben der Tiefenmessung zur Fernerkundung (Luftbild Geographie) zur Codierung von Stereo-Videos (die Bestimmung der Disparität wird zur Prädiktion zwischen linkem und rechtem Bild benutzt und erhöht die Datenkompression) verwendet werden. Es ist die Erzeugung von Stereobildern möglich, obwohl diese mit nur einer unkalibrierten Kamera aufgenommen wurden. Das Verfahren kann auch Grundlage für die sogenannte „augmented reality", die eine Kombination realer und künstlicher Objekte darstellt, sein. Das Verfahren kann mit Bewegungsschätzverfahren zur Codierung bei veränderten Lichtverhältnissen kombiniert werden. Es ist darüber hinaus mit beliebigen Algorithmen (hierarchisch, unterschiedliche Blockgrößen, dynamische Programmierung, Subpixel Auflösung) kombinierbar. Ein weiteres Einsatzfeld betrifft die Geschwindigkeitsbestimmung von Objekten, zum Beispiel von Fahrzeugen.The inventive method for determining the disparity can be used in many applications. So it can be next to the depth measurement for remote sensing (aerial geography) for coding of stereo videos (the determination of disparity becomes prediction used between left and right image and increases data compression) become. It is possible to generate stereo images, although these are only possible with an uncalibrated camera. The procedure can also basis for the so-called "augmented reality ", the one Combination of real and artificial Represents objects. The method can be used with motion estimation for coding at changed light be combined. It is about it In addition, with arbitrary algorithms (hierarchical, different Block sizes, dynamic Programming, subpixel resolution) combined. Another field of application concerns speed determination of objects, for example of vehicles.

Claims (10)

Verfahren zum Bestimmen einer Objektverschiebung in einem Referenzbild (1) und einem Suchbild (2), mit den Schritten: Auswahl eines Referenzblocks (3) aus dem Referenzbild (1); Bestimmung eines Referenz-Helligkeitswerts des Referenzblocks (3); Auswahl eines Suchblocks (4) aus dem Suchbild (2), dessen Größe der Größe des Referenzblocks (3) entspricht; Bestimmung eines Helligkeitswerts des Suchblocks (4); Skalierung des Helligkeitswerts des Suchblocks (4) auf den Referenz-Helligkeitswert, so dass der Helligkeitswert des Suchblocks dem Helligkeitswert des Referenzblocks entspricht; Ermittlung eines Bewertungskriteriums, um den Grad der Übereinstimmung zwischen dem Suchblock (4) und dem Referenzblock (3) ausfindig zu machen.Method for determining an object displacement in a reference image ( 1 ) and a search image ( 2 ), with the steps: Selection of a reference block ( 3 ) from the reference image ( 1 ); Determining a Reference Brightness Value of the Reference Block ( 3 ); Selection of a search block ( 4 ) from the search image ( 2 ) whose size corresponds to the size of the reference block ( 3 ) corresponds; Determination of a brightness value of the search block ( 4 ); Scaling the brightness value of the search block ( 4 ) to the reference brightness value such that the brightness value of the search block corresponds to the brightness value of the reference block; Determining a rating criterion to determine the degree of correspondence between the search block ( 4 ) and the reference block ( 3 ) to detect. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Schritte Auswahl eines weiteren Suchblocks (4a) aus dem Suchbild (2), dessen Größe der Größe des Referenzblocks (3) entspricht, wobei der weitere Suchblock (4a) relativ zu dem Suchblock (4) verschoben ist; Bestimmung eines Helligkeitswerts des weiteren Suchblocks (4a); Skalierung des Helligkeitswerts des weiteren Suchblocks (4a) auf den Referenz-Helligkeitswert, so dass der Helligkeitswert des weiteren Suchblocks (4a) dem Helligkeitswert des Referenzblocks (3) entspricht; Ermittlung eines Bewertungskriteriums, um den Grad der Übereinstimmung zwischen dem weiteren Suchblock (4a) und dem Referenzblock (3) ausfindig zu machen; iterativ wiederholt werden, um einen Suchblock ausfindig zu machen, der mit dem Referenzblock (3) die größte Übereinstimmung aufweist.Method according to claim 1, characterized in that the steps of selecting a further search block ( 4a ) from the search image ( 2 ) whose size corresponds to the size of the reference block ( 3 ), with the further search block ( 4a ) relative to the search block ( 4 ) is shifted; Determination of a brightness value of the further search block ( 4a ); Scaling of the brightness value of the further search block ( 4a ) to the reference brightness value, so that the brightness value of the further search block ( 4a ) the brightness value of the reference block ( 3 ) corresponds; Determination of a rating criterion to determine the degree of correspondence between the further search block ( 4a ) and the reference block ( 3 ) to detect; be repeated iteratively to find a search block associated with the reference block ( 3 ) has the largest match. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass der Schritt der Auswahl des weiteren Suchblocks (4a) aus dem Suchbild eine Verschiebung des weiteren Suchblocks (4a) in xund/oder y-Richtung des Suchbilds (2) relativ zu dem Suchblock (4) umfasst.Method according to claim 2, characterized in that the step of selecting the further search block ( 4a ) from the search image a shift of the other search block ( 4a ) in the x and / or y direction of the search image ( 2 ) relative to the search block ( 4 ). Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass die Verschiebung des Suchblocks (4) Pixelweise erfolgt.Method according to claim 2 or 3, characterized in that the displacement of the search block ( 4 ) Pixel by pixel. Verfahren nach der Ansprüche 2 bis 4, dadurch gekennzeichnet, dass nach dem Auffinden des Suchblocks, der mit dem Referenzblock (3) die größte Übereinstimmung aufweist, ein weiterer Referenzblock (3a) aus dem Referenzbild (1) ausgewählt wird, der relativ zu dem Referenzblock verschoben ist.Method according to Claims 2 to 4, characterized in that, after finding the search block which matches the reference block ( 3 ) has the largest match, another reference block ( 3a ) from the reference image ( 1 ) shifted relative to the reference block. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass jeder der Referenzblöcke (3, 3a) in M·N Teilblöcke unterteilt ist, und der Schritt der Bestimmung eines Referenz-Helligkeitswerts des Referenzblocks (3, 3a) die Bestimmung des Mittelwerts aller Luminanzwerte der M·N Teilblöcke des Referenzblocks (3, 3a) aufweist.Method according to one of the preceding claims, characterized in that each of the reference blocks ( 3 . 3a ) is subdivided into M * N sub-blocks, and the step of determining a reference brightness value of the reference block ( 3 . 3a ) the determination of the mean value of all luminance values of the M × N subblocks of the reference block ( 3 . 3a ) having. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Schritt der Skalierung des Helligkeitswerts des Suchblocks (4, 4a) auf den Referenz-Helligkeitswert die Multiplikation der Luminanzwerte jeweiliger Teilblöcke des Referenzblocks (3, 3a) und des Suchblocks (4, 4a) gemäß folgender Formel aufweist:
Figure 00140001
wobei: Ls(M, N) Luminanz eines Teilblocks im Suchblock, MWref Luminanzmittelwert des Referenzblocks, MWsuch Luminanzmittelwert des Suchblocks.Method according to one of the preceding claims, characterized in that the step of scaling the brightness value of the search block ( 4 . 4a ) to the reference brightness value the multiplication of the luminance values of respective sub-blocks of the reference block ( 3 . 3a ) and the search block ( 4 . 4a ) according to the following formula:
Figure 00140001
where: Ls (M, N) luminance of a sub-block in the search block, MW ref luminance average of the reference block, MW search luminance average of the search block. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass der Schritt der Skalierung des Helligkeitswerts des Suchblocks (4, 4a) auf den Referenz-Helligkeitswert das Aufaddieren eines Offset-Werts auf einen jeweiligen Helligkeitswert eines Teilblocks des Suchblocks gemäß folgender Formel aufweist: L's(M, N) = Ls(M, N) + (MWref – MWsuch)wobei: Ls(M, N) Luminanz eines Teilblocks im Suchblock, MWref Luminanzmittelwert des Referenzblocks, MWsuch Luminanzmittelwert des Suchblocks.Method according to one of claims 1 to 6, characterized in that the step of scaling the brightness value of the search block ( 4 . 4a ) has added to the reference brightness value the addition of an offset value to a respective brightness value of a sub-block of the search block according to the following formula: L ' s (M, N) = L s (M, N) + (MW ref - MW search ) where: Ls (M, N) luminance of a sub-block in the search block, MW ref luminance average of the reference block, MW search luminance average of the search block. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Ermitteln eines Bewertungskriteriums das Minimieren des Bewertungskriteriums umfasst.Method according to one of the preceding claims, characterized characterized in that determining a rating criterion the Minimizing the evaluation criterion includes. Computerprogrammprodukt, das direkt in den internen Speicher eines Computers geladen werden kann und Softwarecodeabschnitte umfasst, mit denen die Schritte gemäß einem der vorhergehenden Ansprüche ausgeführt werden, wenn das Produkt in einem Computer läuft.Computer program product directly into the internal Memory of a computer can be loaded and software code sections comprises, with which the steps according to one of the preceding claims accomplished when the product is running in a computer.
DE10348911A 2003-10-21 2003-10-21 Determination of disparities between reference and search images by comparison of the brightness of search blocks in a search image relative to the brightness of search blocks in a reference image Ceased DE10348911A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE10348911A DE10348911A1 (en) 2003-10-21 2003-10-21 Determination of disparities between reference and search images by comparison of the brightness of search blocks in a search image relative to the brightness of search blocks in a reference image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE10348911A DE10348911A1 (en) 2003-10-21 2003-10-21 Determination of disparities between reference and search images by comparison of the brightness of search blocks in a search image relative to the brightness of search blocks in a reference image

Publications (1)

Publication Number Publication Date
DE10348911A1 true DE10348911A1 (en) 2005-02-17

Family

ID=34072106

Family Applications (1)

Application Number Title Priority Date Filing Date
DE10348911A Ceased DE10348911A1 (en) 2003-10-21 2003-10-21 Determination of disparities between reference and search images by comparison of the brightness of search blocks in a search image relative to the brightness of search blocks in a reference image

Country Status (1)

Country Link
DE (1) DE10348911A1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4442643A1 (en) * 1994-01-31 1995-08-03 Samsung Electronics Co Ltd Estimating movement of object in moving frame

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4442643A1 (en) * 1994-01-31 1995-08-03 Samsung Electronics Co Ltd Estimating movement of object in moving frame

Similar Documents

Publication Publication Date Title
DE69635347T2 (en) METHOD AND SYSTEM FOR REPRODUCING AND COMBINING IMAGES
DE69333846T2 (en) METHOD FOR MIXING IMAGES AND DEVICE THEREFOR.
DE69938278T2 (en) INTEGRATION OF ADDITIONAL DATA INTO A SIGNAL
DE69434657T2 (en) System and method for electronic image stabilization
DE69734747T2 (en) Method and device for image processing
DE102014113433B4 (en) Device and method for three-dimensional imaging of an object
EP1585059A2 (en) Method and apparatus for evaluation of motion vectors allocated to image regions
DE69531536T2 (en) SYNTHETIC IMAGE GENERATION PROCEDURE WITH SPHERICAL BUFFER
DE112018002112T5 (en) SYSTEMS AND METHODS FOR RENDERING & PRE-CODED LOAD TREASURY-BASED CODER-ADDRESS-RELATED APPLICATIONS
DE102007021518B4 (en) Method of processing a video data set
DE602004012341T2 (en) Method and system for providing a volume rendering of a three-dimensional object
DE60032452T2 (en) METHOD FOR GLOBAL MOTOR ESTIMATION
DE602005000425T2 (en) Method and apparatus for generating candidate vectors for image interpolation systems using motion estimation and compensation
EP1177690B1 (en) Method and devices for the computer-assisted motion compensation of a digitalized image and computer program products and computer-readable storage media
DE102018212652B4 (en) CEILING MAP MAKING METHOD, CEILING MAP MAKING APPARATUS AND CEILING MAP MAKING PROGRAM
EP2893510B1 (en) Method and image processing apparatus for removing a visual object from an image
DE10348911A1 (en) Determination of disparities between reference and search images by comparison of the brightness of search blocks in a search image relative to the brightness of search blocks in a reference image
DE102005025634A1 (en) Method and device for determining motion vectors
DE69922482T2 (en) METHOD AND DEVICE FOR OPTICAL DEFLECTION
DE10310849B4 (en) Method for photogrammetric distance and / or position determination
WO2019057473A1 (en) Method and device for evaluating images, operating assistance method, and operating device
DE19630194B4 (en) Method for detecting objects
DE102005058394A1 (en) Method and device for stabilizing digital image sequences according to a picture-based transformation rule
DE102020131576A1 (en) Generating a panoramic map to capture a scene with multiple cameras
DE102007051174A1 (en) Method for motion estimation in image processing

Legal Events

Date Code Title Description
OAV Publication of unexamined application with consent of applicant
OP8 Request for examination as to paragraph 44 patent law
8131 Rejection