DE19625727C2 - Device for determining the disparity in a stereo image pair - Google Patents
Device for determining the disparity in a stereo image pairInfo
- Publication number
- DE19625727C2 DE19625727C2 DE19625727A DE19625727A DE19625727C2 DE 19625727 C2 DE19625727 C2 DE 19625727C2 DE 19625727 A DE19625727 A DE 19625727A DE 19625727 A DE19625727 A DE 19625727A DE 19625727 C2 DE19625727 C2 DE 19625727C2
- Authority
- DE
- Germany
- Prior art keywords
- disparity
- phase
- signals
- amplitude
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims description 17
- 238000010606 normalization Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 230000010355 oscillation Effects 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/167—Synchronising or controlling image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/363—Image reproducers using image projection screens
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Measurement Of Optical Distance (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
Die Erfindung bezieht sich auf eine Einrichtung zur Bestimmung
der Disparität in einem Stereobildpaar, aufweisend zwei, in
fester Geometrie montierte, bewegliche Kameras, zwei
Signalwandler zur Erzeugung eines mit der nachfolgenden
Disparitätsbestimmungseinheit kompatiblen Datenformates und
einer Disparitätsbestimmungseinheit, wobei die
Disparitätsbestimmungseinheit umfasst
The invention relates to a device for determining the disparity in a stereo image pair, comprising two movable cameras mounted in a fixed geometry, two signal converters for generating a data format compatible with the subsequent disparity determination unit, and a disparity determination unit, the disparity determination unit comprising
- - zwei Filter- two filters
- - einen Phasenvergleicher, der die Phasendifferenz Φ der beiden Filtersignale ermittelt,- A phase comparator, the phase difference Φ of the two filter signals,
- - zwei Amplitudenermittlungseinheiten, welche die Genauigkeit der ermittelten Stereodisparitätswerte überprüfen und gleichzeitig eine Normierungsinformation für Normierungsschritt und Gatter liefern,- Two amplitude determination units, which the accuracy check the determined stereo disparity values and at the same time a standardization information for Supply standardization step and gate,
- - eine Normierungsstufe, welche Amplitudenschwankungen der Resonatoren ausgleicht, und- A standardization level, which fluctuations in amplitude Balances resonators, and
- - ein Gatter mit einstellbarer Schwelle, welches einerseits diejenigen normierten Phasenwerte verwirft bzw. markiert, für die das Amplitudenermittlungsverfahren eine nicht vertretbare Ungenauigkeit ergibt und andererseits die zuverlässigen Werte einer Auswertung zugeführt werden.- A gate with adjustable threshold, which on the one hand discard or mark those standardized phase values, for which the amplitude determination method is not justifiable inaccuracy and on the other hand the reliable values can be evaluated.
Es ist bekannt, zur ausschließlichen Bestimmung der horizontalen Disparität nur eine Menge von Bildpunkten entlang einer Bildzeile und damit eine eindimensionale Wertefolge zu untersuchen (Kost, B.: Konstruktion von Zwischenansichten für Multi-Viewpoint-3DTV-Systeme in "FERNSEH- UND KINOTECHNIK, 42. Jahrgang, Nr. 2/1988, dort Seite 69, linke Spalte, Absatz 3 und 4 sowie DE 41 10 951 A1, dort Seite 2, Zeilen 22-52).It is known for the exclusive determination of the horizontal Disparity just a lot of pixels along one Image line and thus a one-dimensional sequence of values examine (Kost, B .: construction of intermediate views for Multi-Viewpoint-3DTV-Systems in "TELEVISION AND CINEMA TECHNOLOGY, 42. Vintage, No. 2/1988, there page 69, left column, paragraph 3 and 4 and DE 41 10 951 A1, there page 2, lines 22-52).
Der Erfindung liegt die Aufgabe zu Grunde, eine Einrichtung der eingangs genannten Art so auszugestalten, um aus der ermittelten Disparität mit Hilfe der bekannten Geometrie des Bildaufnahmegerätes die räumliche Tiefe der Objektpunkte ermitteln zu können.The invention is based on the object of a device type mentioned in the beginning so as to derive from the determined Disparity using the known geometry of the Imaging device the spatial depth of the object points to be able to determine.
Erreicht wir dies durch eine Einrichtung der eingangs genannten Art, bei welcher die Filter Resonatoren sind, welche die Signale der Wandler empfangen und mit einer abklingenden Schwingung mit der Resonanzfrequenz fx reagieren.We achieve this by means of a device of the type mentioned at the outset, in which the filters are resonators, which receive the signals from the transducers and react with a decaying oscillation at the resonance frequency f x .
Die Verwendung von Resonatoren für die Tiefen- /Disparitätsbestimmung in Stereobildpaaren ist aus dem Stand der Technik nicht bekannt.The use of resonators for the deep / Disparity determination in stereo image pairs is from the state of the Technology not known.
In den Unteransprüchen sind zweckmäßige Ausgestaltungen der Einrichtung nach der Erfindung charakterisiert worden.In the dependent claims, expedient configurations of the Device according to the invention have been characterized.
Die Erfindung wird nachstehend anhand der Zeichnungen beispielsweise erläutert:The invention is described below with reference to the drawings for example:
Fig. 1 zeigt ein Blockdiagramm der Einrichtung gemäß der Erfindung. Fig. 1 shows a block diagram of the device according to the invention.
Fig. 2 und 3 zeigen Einzelheiten der Disparitätseinheit für die Einrichtungen gemäß der Erfindung. Fig. 2 and 3 show details of the Disparitätseinheit for devices according to the invention.
Die Erfindung soll dreidimensionale Erkennungsvorgänge, ähnlich wie sie vom menschlichen Sehsystem durchgeführt werden, mit Mitteln der Technik, z. B. Fernsehkameras und speziellen elektronischen Bildauswer telogiken, nachzuahmen gestatten. Dazu werden zwei Bildaufnehmer 1, 2 verwendet, welche Bilder zeilenweise abtasten und dabei einen analogen oder digitalen Datenstrom erzeugen. Diese Bildaufnehmer befinden sich mit ihren zweidimensionalen Aufnahmeflächen in der gleichen Ebene und sind dort fest miteinander mechanisch verbunden. Die vertikale Anordnung der Aufnehmer ist so gestaltet, daß Zeilen mit der gleichen Zeilennummer sich auf gleicher Höhe befinden. In der Horizontalen sind sie durch einen festen Abstand d gekennzeichnet. Vor den beiden Aufnehmern befindet sich jeweils ein Objektiv, welches den Bereich scharf abbildet, der für die Tiefenbestimmung in der jeweiligen Anwendung relevant ist. Durch diese Anordnung regt ein Punkt, welcher unendlich entfernt sind, exakt die gleichen lichtempfindlichen Positionen auf den Bildaufnehmern an. Der Abstand dieser korrespondierenden Positionen zwischen beiden Bildaufnehmern ist dann gleich d. Objekte, die sich näher an der Anordnung befinden, werden nun mit einem größeren Abstand als d abgebildet. Diese Abweichung wird Stereodisparität genannt.The invention is intended to three-dimensional recognition processes, similar to how they are carried out by the human visual system, by means of technology, e.g. B. television cameras and special electronic image analysis telogics allow to imitate. For this purpose, two image recorders 1 , 2 are used, which scan images line by line and thereby generate an analog or digital data stream. With their two-dimensional recording surfaces, these image recorders are located in the same plane and are mechanically connected to one another there. The vertical arrangement of the transducers is designed so that lines with the same line number are at the same height. In the horizontal they are identified by a fixed distance d. There is a lens in front of each of the two sensors, which provides a sharp image of the area that is relevant for depth determination in the respective application. With this arrangement, a point that is infinitely distant excites exactly the same light-sensitive positions on the image recorders. The distance between these corresponding positions between the two image recorders is then equal to d. Objects that are closer to the arrangement are now displayed with a greater distance than d. This deviation is called stereo disparity.
Die meisten Verfahren zur Tiefenbestimmung arbeiten so, daß sie vom linken und rechten Bild jeweils einen
Ausschnitt von identischer Position und gleicher Größe betrachten und diese beiden Teilbilder horizontal
solange verschieben, bis sie optimal übereinanderliegen (US PS 5383013, DE 34 25 946
A1). Um dieses Optimum zu finden, kann man zwei Maße heranziehen. Zum einen kann die Korrelation zwischen
den verschobenen Teilbildern gebildet werden,
Most methods for depth determination work in such a way that they each view a section of the same position and the same size from the left and right image and move these two partial images horizontally until they lie optimally one above the other (US PS 5383013, DE 34 25 946 A1). Two dimensions can be used to find this optimum. On the one hand, the correlation between the shifted partial images can be formed,
oder das mittlere Fehlerquadrat.
or the mean square of the error.
Die Korrelation muß hierbei maximiert und das mittlere Fehlerquadrat minimiert werden. Wie üblich wird dazu jeweils die Ableitung nach d null gesetzt. Hierbei treten aber Probleme auf: dieses Verfahren findet zwar Extrema, aber diese sind eventuell keine globalen Extrema. Um die globalen Maxima oder Minima zu finden, bedarf es zusätzlichen Rechenaufwandes. Zusätzlich sind diese Verfahren sehr empfindlich gegenüber Kontrast- und Helligkeitsunterschieden der beiden Bilder. Diese Probleme können nur durch eine aufwendige Vorverar beitung kompensiert werden.The correlation must be maximized and the mean square of errors minimized. As is common for this purpose the derivative is set to zero. However, problems arise here: this process does take place Extremes, but these may not be global extremes. To find the global maxima or minima, additional computational effort is required. In addition, these methods are very sensitive to contrast and differences in brightness of the two images. These problems can only be solved by a complex preprocessing processing can be compensated.
Es existieren noch weitere Verfahren, welche sich mit der Problematik der Stereo-Tiefenbestim mung beschäftigen. Diese wurden aber nie technisch realisiert. Das liegt vor allem an dem hohen Rechenauf wand, welcher den Einsatz in Echtzeitsystemen (z. B. Robotern) verhindert.There are other methods that deal with the problem of stereo depth determination busy. However, these were never implemented technically. This is mainly due to the high computing overhead wall, which prevents use in real-time systems (e.g. robots).
Neuere Verfahren entfernen sich vom direkten Vergleich der Bilder. Wurden bei den obigen Verfahren Fenster verwendet, um Teilbereiche der Bilder zu untersuchen, werden hier die Bilder mit Funktionen gefaltet, welche eine hohe Lokalität sowohl im Frequenz- als auch im Ortsraum besitzen (Gabor-Funktionen, DOGs bzw. Difference of Gaussians). So erhält man für jeden Bildpunkt sowohl Amplitudenwert als auch Phasenwert. Dieser kann dann mit demjenigen des anderen Bildes direkt verglichen werden, welcher in direktem Zusammen hang zur Disparität steht (Sanger, T. D.: Stereo Disparity Computation Using Gabor Filters. Biological Cyberne tics, 59: 405-418, 1988). Nachteilig ist die sehr rechenintensive Faltung, die für jeden Punkt durchgeführt werden muß.Newer methods move away from the direct comparison of the images. Have been in the above procedure Windows used to examine parts of the images, here the images are folded with functions, which have a high locality in both frequency and local space (Gabor functions, DOGs or Difference of Gaussians). In this way, both the amplitude value and the phase value are obtained for each pixel. This can then be compared directly with that of the other picture, which is in a direct combination (Sanger, T. D .: Stereo Disparity Computation Using Gabor Filters. Biological Cyberne tics, 59: 405-418, 1988). A disadvantage is the very computationally intensive folding that is carried out for each point got to.
Zusammenfassend kann man sagen, daß die Verfahren, die zur Verfügung stehen, Mängel aufweisen. Die korrelationsbasierten Verfahren arbeiten zwar sehr schnell, aber auch sehr unzuverlässig und sind sehr empfind lich gegenüber Heiligkeitsunterschieden zwischen den beiden Eingangsbildern. Die phasenbasierten Verfahren müssen rechenintensive Faltungen durchführen, welche sich schlecht in Echtzeit durchgeführen lassen. Die Ergebnisse der phasenbasierten Verfahren sind aber sehr gut. Mit der hier vorgestellten Erfindung sollen die Vorteile der phasenbasierten Methoden genutzt und die Berechnungen in Echtzeit möglich sein.In summary, it can be said that the methods that are available have shortcomings. The Correlation-based methods work very quickly, but they are also very unreliable and are very sensitive compared to differences in holiness between the two input images. The phase-based process have to perform computationally intensive folds, which are difficult to carry out in real time. The The results of the phase-based procedures are very good. With the invention presented here the benefits of phase based methods are used and the calculations in Be possible in real time.
In der hier vorgestellten Erfindung liefern die beiden Kameras K1 und K2 jeweils einen seriellen Datenstrom, welcher die zeitliche Abtastung der Zeilen darstellt. Betrachtet man den Zeitraum, in dem genau eine Zeile abgetastet wird, so sieht man, daß die räumliche x-Achse und die Zeitachse für diesen Zeitraum die gleiche Bedeutung besitzen. Korrespondierende Punkte von unendlich entfernten Objekten tauchen also bei der seriellen Abtastung an den Ausgängen der Kameras zum gleichen Zeitpunkt auf, wogegen nähere Objekte zu unterschiedlichen Zeitpunk ten in den beiden Datenströmen erscheinen. Dieser Zeitunterschied einspricht direkt der Stereodisparität. Gelingt es den Zeitunterschied zu messen und richtig zuzuordnen, dann kann man daraus die Tiefe des zugehöri gen Objektpunktes ermitteln. Man kann jedoch die somit nötige Zeitmessung deutlich vereinfachen, wenn man beide Signalströme auf eine einzige Frequenzkomponente d. h. auf zwei Sinusschwingungen gleicher Frequenz reduziert. In diesem Falle reicht es aus, die Phasendifferenz beider Sinusschwingungen zu ermitteln, welche direkt äquivalent zur Zeitdifferenz ist.In the invention presented here, the two cameras K1 and K2 each deliver a serial data stream, which is the represents temporal sampling of the lines. If you look at the period in which exactly one line is scanned, one can see that the spatial x-axis and the time axis have the same meaning for this period. Corresponding points of infinitely distant objects appear at the serial scanning Outputs of the cameras at the same time, whereas closer objects at different times appear in the two data streams. This time difference directly speaks to stereo disparity. If it is possible to measure the time difference and assign it correctly, then the depth of the belonging can be derived from it determine the object point. However, you can significantly simplify the timing required if you: both signal currents on a single frequency component d. H. on two sine waves of the same frequency reduced. In this case, it is sufficient to determine the phase difference between the two sine waves, which one is directly equivalent to the time difference.
Zu diesem Zwecke sind die Ausgänge der beiden Kameras K1 und K2 jeweils mit einem Resonator verbun
den, welcher in einem ersten Verarbeitungsschritt nur noch eine Frequenzkomponente aus dem seriellen
Datenstrom herausfiltert. Der Resonator besitzt die zwei freien Parameter: Resonanzfrequenz fx und Güte Q, die
das räumliche Auflösungsvermögen und den Signal-Rauschabstand bestimmen. Entscheidend für eine präzise
Auswertung der Disparität sind scharfe Kanten oder Helligkeitssprünge in den Bildern, da sie hohe Frequenz
komponenten aufweisen und somit gut lokalisierbar sind. Aus diesem Grunde wird für die Resonatoren am
besten eine möglichst hohe Resonanzfrequenz fx gewählt. Somit regen Kanten oder Helligkeitssprünge die
Resonatoren zu einer starken Antwort an, wobei die Güte Q in etwa die Anzahl der abklingenden Schwingungen
angibt. Die beiden Resonatoren besitzen im Laplace-Raum die Übertragungsfunktion:
For this purpose, the outputs of the two cameras K1 and K2 are each connected to a resonator which, in a first processing step, filters out only one frequency component from the serial data stream. The resonator has two free parameters: resonance frequency f x and quality Q, which determine the spatial resolution and the signal-to-noise ratio. Sharp edges or jumps in brightness in the images are crucial for a precise evaluation of the disparity, since they have high frequency components and are therefore easy to locate. For this reason, the best possible resonance frequency f x is chosen for the resonators. Edges or jumps in brightness thus stimulate the resonators to give a strong response, the quality Q roughly indicating the number of decaying vibrations. The two resonators have the transfer function in Laplace space:
Die beiden komplex konjugierten Polstellen s∞ und s*∞ sorgen für den eigentlichen Resonanzeffekt. Die
Nullstelle bei s = 0 bewirkt eine vollständige Filterung des Gleichanteils (DC-Anteils). Die Güte Q und die
Frequenz fx hängen mit den Polstellen folgendermaßen zusammen:
The two complex conjugate poles s ∞ and s * ∞ ensure the actual resonance effect. The zero at s = 0 causes the direct component (DC component) to be completely filtered. The quality Q and the frequency f x are related to the pole points as follows:
Das Filterergebnis beider Resonatoren gelangt dann auf einen Phasenvergleicher 7. Da beide Resonatorsi gnale im wesentlichen (gedämpfte) Sinusschwingungen sind, kann man die Phasendifferenz zwischen ihnen nach den mathematischen Sätzen für trigonometrische Funktionen durch eine Multiplikation beider Signale ermitteln. Bei der Multiplikation 11 entstehen zwei Signalanteile, die sich im Spektrum deutlich unterscheiden. Zum einen erhält man eine Frequenzkomponente bei 2fx, zum anderen gibt es ein Gleichanteil, welcher direkt die Phasendifferenz repräsentiert. Mit einem entsprechend gewählten Tiefpaß 12 kann man nun die Komponente bei 2fx eliminieren, so daß nur der Gleichanteil, welcher die Phasendifferenz repräsentiert, nach der Tiefpaßfilte rung erhalten bleibt. Als zweckmäßige Grenzfrequenz für den Tiefpaß hat sich fx/2 erwiesen. Bei einer Phase von 0° liefert der Ausgang des Tiefpasses dann den höchsten (positiven) und bei 180° den niedrigsten (negativen) Wert. Die Phaseninformation läßt sich ohne weiteres wieder in eine Disparitätsinformation umwandeln. Eine Phase von 0° entspricht hierbei einer Disparität von 0 und eine Phase von 180° einer Disparität von 1/(2fx). Dieser Wert stellt auch gleichzeitig die Auflösungsgrenze dar. Größere Disparitätswerte sind bei vorgegebener Frequenz fx nicht bestimmbar.The filter result of both resonators then reaches a phase comparator 7 . Since both resonators signals are essentially (damped) sinusoidal oscillations, the phase difference between them can be determined according to the mathematical theorems for trigonometric functions by multiplying the two signals. Multiplication 11 produces two signal components that differ significantly in the spectrum. On the one hand you get a frequency component at 2f x , on the other hand there is a DC component that directly represents the phase difference. With an appropriately selected low-pass filter 12 , the component at 2f x can now be eliminated, so that only the DC component, which represents the phase difference, is retained after the low-pass filter filter. F x / 2 has proven to be a suitable cut-off frequency for the low-pass filter. With a phase of 0 ° the output of the low pass then delivers the highest (positive) and at 180 ° the lowest (negative) value. The phase information can easily be converted back into disparity information. A phase of 0 ° corresponds to a disparity of 0 and a phase of 180 ° corresponds to a disparity of 1 / (2f x ). This value also represents the resolution limit. Larger disparity values cannot be determined at a given frequency f x .
Das Signal des Phasenkomparators 7 enthält zwar die Disparitätsinformation, diese ist aber noch von der Amplitude der Resonatoren 6 abhängig. Das Signal muß also normiert werden. Dazu berechnet man die Hüllkurven der Resonatorsignale 8, welche die Amplitude der Resonanz widerspiegeln, und teilt dann das Signal des Phasenvergleichers durch die Hüllkurven 9. Die beiden Hüllkurven werden ermittelt, indem man die Resonatorsignale jeweils quadriert 13 und dann in gleicher Weise wie beim Phasenvergleicher tiefpaßfiltert 14. Durch dieses Vorgehen ist in beiden Signalwegen (Phasenvergleich 7 bzw. Hüllkurvenermittlung 8) die spektrale Verteilung identisch (Aus diesem Grunde: Eine Gleichrichtung mit nachfolgender Tiefpaßfilterung verbietet sich, da in diesem Falle eine spektrale Verformung auftritt, die unterschiedliche Gruppenlaufzeiten für den Phasenverkehr bzw. die Hüllkurvenermittlung zur Folge hat, welches eine zusätzliche unerwünschte Pha senverschiebung zwischen diesen beiden Signalen ergibt). Um den gleichen Signalpegel wie vor der Quadrierung zu erhalten, wird dann noch jeweils die Wurzel 15 aus beiden Hüllkurvensignalen gezogen.The signal of the phase comparator 7 contains the disparity information, but this is still dependent on the amplitude of the resonators 6 . The signal must therefore be standardized. For this purpose, one calculates the envelopes of the resonator signals 8 , which reflect the amplitude of the resonance, and then divides the signal of the phase comparator by the envelopes 9 . The two envelopes are determined by squaring the resonator signals 13 and then low-pass filtering 14 in the same way as for the phase comparator 14 . This procedure means that the spectral distribution is identical in both signal paths (phase comparison 7 or envelope curve determination 8 ) (for this reason: rectification with subsequent low-pass filtering is forbidden, since in this case a spectral deformation occurs that causes different group delays for phase traffic or Envelope determination has resulted, which results in an additional undesirable Pha senshift between these two signals). In order to obtain the same signal level as before the squaring, the root 15 is then drawn from both envelope signals.
Wenn die Frequenzkomponente, die durch den Resonator herausgefiltert wird, nur schwach im Bild repräsen tiert ist und somit der Resonatorausgang geringe Werte liefert, dann ist auch das Signal hinter dem Phasenver gleicher gering. Zum Beispiel werden die Resonatorsignale zu null, wenn die Bildabtastung eine gleichförmig helle Fläche überstreicht. An diesen Bildpunkten ist die Disparität undefiniert und kann durch keines der bekannten Verfahren ermittelt werden. D. h. es ist sinnvoll, solche Bildpunkte als "unzuverlässig" zu markieren. In der hier vorgestellten Erfindung erfolgt dies durch ein Gatter 10 unter erneuter Benutzung der Hüllkurven der Resonatorsignale 8. Sind die Hüllkurven kleiner als eine einstellbare Schwelle so wandelt das Gatter 10 den Ausgang der Normierungsstufe in einen Markierungswert (Flag) um, der der Darstellungs- 4 und Speicherein richtung 5 signalisiert, daß an diesem Bildpunkt die Disparität nicht zuverlässig bestimmt werden kann. Liegen die Hüllkurven über der Schwelle, so wird der Ausgangswert der Normierstufe 9 unverändert an die nachfol gende Darstellungs- und Speichereinrichtung weitergeleitet. If the frequency component that is filtered out by the resonator is only weakly represented in the image and thus the resonator output delivers low values, then the signal behind the phase comparator is also low. For example, the resonator signals become zero when the image sweeps over a uniformly bright area. The disparity at these pixels is undefined and cannot be determined by any of the known methods. That is, it makes sense to mark such pixels as "unreliable". In the invention presented here, this is done by a gate 10 using the envelopes of the resonator signals 8 again . If the envelopes are smaller than an adjustable threshold, the gate 10 converts the output of the normalization stage into a marking value (flag) which signals the display 4 and storage device 5 that the disparity cannot be reliably determined at this pixel. If the envelopes are above the threshold, the output value of the normalization stage 9 is passed on unchanged to the subsequent display and storage device.
Als instruktives Beispiel sei hier kurz ein rechteckförmiger Einheitshelligkeitssprung (eine "Kante" mit Hellig
keitsunterschied 1) erwähnt. Wenn der Helligkeitssprung zuerst im linken Bild und dann im rechten Bild auftritt,
dann erscheint am Ausgang des Phasenvergleichers folgendes Signal:
As an instructive example, a rectangular jump in uniform brightness (an "edge" with brightness difference 1) should be mentioned here briefly. If the jump in brightness occurs first in the left image and then in the right image, the following signal appears at the output of the phase comparator:
mit:
With:
Hier ist a = const. und tr - tl entspricht der Disparität, welche in der Konstanten K enthalten ist. Diese ist direkt nach dem zweiten Heiligkeitssprung (d. h. für t = tr) in voller Höhe vorhanden und klingt durch den Term L ab. Das Produkt der Normierungssignale 8 ist identisch zum Term L; d. h. nach Normierung 9, d. h. Division, erhält man die Konstante K ohne den störenden Amplitudenabfall. Daraus kann nach Anwendung der arccos Funktion die Disparität tr - tl ermittelt werden. Die Konstante K und damit der ermittelte Disparitätswert ist für ca. Q Resonatorschwingungsperioden am Ausgang stabil und kann nach Umrechnung als Tiefenwert in die Darstellungs- und Speichereinrichtung übernommen werden.Here a = const. and t r - t l corresponds to the disparity contained in the constant K. This is present in full immediately after the second holiness leap (ie for t = t r ) and subsides through the term L. The product of the normalization signals 8 is identical to the term L; ie after normalization 9 , ie division, the constant K is obtained without the disturbing drop in amplitude. From this, the disparity t r - t l can be determined after using the arccos function. The constant K and thus the determined disparity value is stable for approximately Q resonator oscillation periods at the output and, after conversion, can be adopted as a depth value in the display and storage device.
Die vorgestellte Erfindung vereint die Vorteile der phasenbasierten Verfahren mit den Echtzeiteigenschaften von kausalen Filtern. Der Resonator entspricht hier einem Filter, welcher sowohl im Frequenz- als auch im Ortsraum lokalisiert ist, d. h. der Ersatz in zeitkritischen Bereichen ist möglich. Die Anwendung der Erfindung findet sich vor allem in der Robotik. Dadurch, daß sie - mit entsprechend schnellen digitalen oder analogen Filtern - in der Lage ist, Tiefeninforma tion in Echtzeit von zwei handelsüblichen CCD-Kameras zu gewinnen, eignet sie sich als preiswerte und zuverlässige Ausgangsbasis eines Navigationssystems.The presented invention combines the advantages of the phase-based method with the real-time properties of causal filters. The resonator here corresponds to a filter, which is both in frequency and in Location is localized, d. H. the replacement in time-critical areas is possible. The invention is used primarily in robotics. Because - with correspondingly fast digital or analog filters - it is able to provide in-depth information tion in real time from two commercially available CCD cameras, it is suitable as an inexpensive and reliable starting point for a navigation system.
Claims (3)
- - zwei Filter (6)
- - einen Phasenvergleicher (7), der die Phasendifferenz der beiden Filtersignale ermittelt,
- - zwei Amplitudenermittlungseinheiten (8), welche die Genauigkeit der ermittelten Stereodisparitätswerte überprüfen und gleichzeitig eine Normierungsinformation für Normierungsschritt (9) und Gatter (10) liefern,
- - eine Normierungsstufe (9), welche Amplitudenschwankungen der Resonatoren ausgleicht, und
- - ein Gatter mit einstellbarer Schwelle (10) welches einerseits diejenigen normierten Phasenwerte verwirft bzw. markiert, für die das Amplitudenermittlungsverfahren eine nicht vertretbare Ungenauigkeit ergibt und andererseits die zuverlässigen Werte einer Auswertung zugeführt werden, dadurch gekennzeichnet, dass die Filter (6) Resonatoren sind, welche die Signale der Wandler (2) empfangen und mit einer abklingenden Schwingung mit der Resonanzfrequenz fx reagieren.
- - two filters ( 6 )
- a phase comparator ( 7 ) which determines the phase difference of the two filter signals,
- two amplitude determination units ( 8 ), which check the accuracy of the determined stereo disparity values and at the same time provide standardization information for standardization step ( 9 ) and gate ( 10 ),
- - A normalization stage ( 9 ), which compensates for fluctuations in amplitude of the resonators, and
- a gate with an adjustable threshold ( 10 ) which on the one hand rejects or marks those standardized phase values for which the amplitude determination method results in an unacceptable inaccuracy and on the other hand the reliable values are fed into an evaluation, characterized in that the filters ( 6 ) are resonators, which receive the signals from the transducers ( 2 ) and react with a decaying oscillation at the resonance frequency f x .
- - ein Quadrierglied (13),
- - einen Tiefpaß (14) mit Grenzfrequenz ≦ fx,
- - und ein Quadratwurzelziehglied (15), aufweisen,
- - a square member ( 13 ),
- - a low-pass filter ( 14 ) with a cut-off frequency ≦ f x ,
- - And have a square root pulling member ( 15 ),
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE19625727A DE19625727C2 (en) | 1996-06-27 | 1996-06-27 | Device for determining the disparity in a stereo image pair |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE19625727A DE19625727C2 (en) | 1996-06-27 | 1996-06-27 | Device for determining the disparity in a stereo image pair |
Publications (2)
Publication Number | Publication Date |
---|---|
DE19625727A1 DE19625727A1 (en) | 1998-01-02 |
DE19625727C2 true DE19625727C2 (en) | 2000-11-09 |
Family
ID=7798166
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE19625727A Expired - Fee Related DE19625727C2 (en) | 1996-06-27 | 1996-06-27 | Device for determining the disparity in a stereo image pair |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE19625727C2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114459461B (en) * | 2022-01-26 | 2023-11-28 | 西安应用光学研究所 | Navigation positioning method based on GIS and real-time photoelectric video |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4456926A (en) * | 1982-06-21 | 1984-06-26 | Thomson-Csf Broadcast, Inc. | Enhancement of fluroscopically generated images |
DE4110951A1 (en) * | 1991-04-05 | 1992-10-08 | Bundesrep Deutschland | Reducing transmitted information for stereoscopic image data - producing difference image data and combining with left channel data to define additional bit signal |
EP0738872A2 (en) * | 1995-04-21 | 1996-10-23 | Matsushita Electric Industrial Co., Ltd. | Stereo matching method and disparity measuring method |
-
1996
- 1996-06-27 DE DE19625727A patent/DE19625727C2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4456926A (en) * | 1982-06-21 | 1984-06-26 | Thomson-Csf Broadcast, Inc. | Enhancement of fluroscopically generated images |
DE4110951A1 (en) * | 1991-04-05 | 1992-10-08 | Bundesrep Deutschland | Reducing transmitted information for stereoscopic image data - producing difference image data and combining with left channel data to define additional bit signal |
EP0738872A2 (en) * | 1995-04-21 | 1996-10-23 | Matsushita Electric Industrial Co., Ltd. | Stereo matching method and disparity measuring method |
Non-Patent Citations (3)
Title |
---|
GELLERT, W., KÄSTNER, H., NEUBER, S.: Lexikon der Mathematik, Bibliographisches Institut Leipzig, 1977, S. 539-541 * |
KOST, B.: Konstruktion von Zwischenansichten für Multi-Viewpoint-3DTV-Systeme Fernseh- und Kinotechnik, 2/1988, S. 67-73 * |
WERNSTEDT, J.: Experimentelle Prozeßanalyse, Verlag Technik Berlin, S. 131, 132 * |
Also Published As
Publication number | Publication date |
---|---|
DE19625727A1 (en) | 1998-01-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE69624614T2 (en) | Stereo matching and inequality measurement method | |
DE68913499T2 (en) | Discrete autofocus setting for imaging in a radar with synthetic aperture and very high resolution. | |
DE69221052T2 (en) | Image acquisition system with a wide field of view | |
DE60106439T2 (en) | METHOD AND ARRANGEMENT FOR MIXING IMAGES | |
DE19882939C2 (en) | Method for determining the relative camera orientation position to produce visible 3-D images | |
DE69530566T2 (en) | Hough transform with fuzzy gradient and choice | |
DE10153237A1 (en) | Method and device for the automated determination of the modulation transfer function (MTF) of focal plane array (FPA) cameras | |
DE2156617A1 (en) | DEVICE FOR IMAGE CORRELATION | |
DE102007020791A1 (en) | Vehicle lane marking-detection device, has parameter tracing unit implementing tracing method of parameters to define mid line position and mid line form based on computed mid line position and mid line form | |
DE112014000155B4 (en) | Method for determining depth maps from stereo images with improved depth resolution in an area | |
DE2322459C3 (en) | Measuring method for a photogrammetric device and device for carrying out the method | |
DE102011103423A1 (en) | System and method for 3D video stabilization by merging alignment sensor measurements and image arrangement estimates | |
DE69022143T2 (en) | Computational methods and electronic camera device for determining the distance of objects, for fast autofocusing and to achieve improved image sharpness. | |
DE102009013667A1 (en) | A method of producing a known fixed spatial relationship between a laser scanner and a digital camera for traffic surveillance | |
DE112017007695T5 (en) | FACETE EYE IMAGING DEVICE, IMAGE PROCESSING METHOD, PROGRAM AND RECORDING MEDIUM | |
DE10156040B4 (en) | Method, apparatus and computer program product for equalizing a scanned image | |
DE102018104913A1 (en) | Vibration monitoring of an object using a video camera | |
DE102008015535A1 (en) | Stereo images processing method, involves determining image data of original image from stereo images, and determining depth map of selectable section of original image with maximum dissolution | |
DE102017113615A1 (en) | System, method and marker for determining the position of a moving object in space | |
DE69423708T2 (en) | Detection of global translation between images | |
DE102012211961A1 (en) | Method and apparatus for calculating a change in a magnification of an object | |
DE2311522A1 (en) | DEVICE FOR DETECTING A RADIATION SITE | |
DE19625727C2 (en) | Device for determining the disparity in a stereo image pair | |
DE102014204360A1 (en) | Method and device for estimating the distance of a moving vehicle from an object | |
DE2144487C3 (en) | Device for non-contact measurement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OP8 | Request for examination as to paragraph 44 patent law | ||
8122 | Nonbinding interest in granting licences declared | ||
D2 | Grant after examination | ||
8327 | Change in the person/name/address of the patent owner |
Owner name: I-TO-I GMBH, 21079 HAMBURG, DE |
|
8381 | Inventor (new situation) |
Free format text: PORR, BERND, 44789 BOCHUM, DE WOERGOETTER, FLORENTIN, 44789 BOCHUM, DE |
|
8364 | No opposition during term of opposition | ||
8327 | Change in the person/name/address of the patent owner |
Owner name: I-TO-I EFKON MOBILITY GMBH, 21079 HAMBURG, DE |
|
8320 | Willingness to grant licences declared (paragraph 23) | ||
R082 | Change of representative | ||
R081 | Change of applicant/patentee |
Owner name: EFKON AG, AT Free format text: FORMER OWNER: I-TO-I EFKON MOBILITY GMBH, 21079 HAMBURG, DE Effective date: 20111121 |
|
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |
Effective date: 20140101 |