-
Die Erfindung betrifft ein Trägersystem, ein Verfahren zur Bestimmung einer Drift eines Lagesensors und ein Verfahren zur fortlaufenden Stabilisierung der Lage und/oder der Ausrichtung einer Komponente.
-
Komponenten, wie beispielsweise Sichtsysteme in oder auf bewegten Trägern, insbesondere Fahrzeugen, Schiffen, Flugzeugen, Bojen, Masten, usw., sollten insbesondere dann bezüglich ihrer Lage und/oder Ausrichtung stabilisiert sein, wenn es sich um Systeme mit kleinen Sehfeldern handelt. Fehlt eine derartige Lagestabilisierung, so ist eine Beobachtung während der Bewegung des Trägers oder der Basis nicht oder nur schwer möglich bzw. die Sichtreichweite kann negativ beeinflusst werden. Es ist bekannt, derartige Komponenten in Trägersystemen anzuordnen, die mit, insbesondere inertial messenden Lagesensoren, vorzugsweise Drehlagesensoren (z. B. Gyroskopsensoren/mechanische Kreiselsensoren) oder Drehratensensoren (z. B. Gyrometer), versehen sind, welche die Bewegung der Sichtlinie (Line-Of-Sight/LOS) erfassen. Dabei kann ein nachgeschalteter Stabilisierungsregler in Verbindung mit entsprechenden Aktuatoren zur Achsdrehung (z. B. Motoren oder dergleichen) die Drehbewegung derart kompensieren, dass unabhängig von den Eigenbewegungen der Referenzfläche, d. h. des Befestigungspunkts des Sichtsystems bzw. der Komponente oder des Trägersystems am Träger, die Sichtlinie konstant bleibt. Solche Trägersysteme können dabei als Teil des Trägers ausgeführt sein oder, z. B. mittels einer geeigneten Befestigungseinrichtung (Befestigungsflansch oder dergleichen) auf dem Träger angebracht bzw. mit diesem verbunden sein.
-
Es sind Lagesensoren, insbesondere Drehlagesensoren oder Drehratensensoren unterschiedlichster Technologien bekannt. Dazu gehören beispielsweise mechanische Trägheitskreisel, faseroptische Gyroskope (FOG), Laserkreisel oder moderne MEMS(Micro-Electro-Mechanical Systems)-Gyroskope/-Kreisel.
-
Derartige Sensoren zeigen jedoch eine – wenn auch geringe – Eigendrift. Diese Eigendrift ist von verschiedenen charakteristischen, individuellen und dynamischen Faktoren abhängig. Dabei spielen die verwendete Kreiseltechnologie, Bauteilstreuungen, Temperaturen oder auch die Alterung eine Rolle.
-
Aufgrund dieser Eigendrift bleibt eine Sichtlinie eines Sichtsystems, welches mittels eines Drehlagesensors oder Drehratensensors stabilisiert wird, über eine längere Zeit nicht konstant, sondern bewegt sich von der ursprünglichen Ausrichtung allmählich weg.
-
Um eine eingestellte Beobachtungsposition konstant zu halten, sollte diese Drift verhindert bzw. beseitigt werden. Aus der Praxis bekannte Systeme kompensieren die Drift, indem der Benutzer manuell, z. B. getrennt für jede Achsrichtung, eine Korrektur einstellt. Diese Vorgehensweise reduziert die Drift zwar deutlich. Jedoch enthält die Drift der Lagesensoren auch eine beispielsweise in Abhängigkeit von der Temperatur variierende Komponente, so dass mittels der manuell eingestellten Driftkompensation über eine längere Zeit kein gleichbleibender Erfolg erzielt werden kann. Der Benutzer muss in nachteiliger Weise erneut eingreifen und die Drift wieder manuell kompensieren. Da insbesondere Drehlagesensoren oder Drehratensensoren inertial messende Sensoren sind, hat die Erdrotation ebenfalls einen Einfluss auf die Drift. Dieser Einfluss ist breitengradabhängig und bezüglich des Höhenwinkels (Elevation) auch abhängig von der azimutalen Blickrichtung der Sichtlinie. So kehrt sich zum Beispiel der Einfluss der Erdrotation auf die Elevationsachse bei einer azimutalen Drehung um 180° um. Sonach erfordert eine azimutale Drehung einen erneuten Abgleich der Drift bezüglich der Elevation.
-
Ein automatischer Driftabgleich, bei welchem die Kreiseldrift im Stillstand eines Trägersystems erfasst wird, ist ebenfalls bereits bekannt. Hierzu ist jedoch zwingend ein Stillstand der Plattformreferenzfläche bzw. des Trägers (z. B. in Form eines Land-/See-/Luftfahrzeugs, eines Mastes, einer Boje, usw.) erforderlich. Ebenso kann bei einem automatischen Driftabgleich ein externes hochwertiges Referenzkreiselsystem, wie beispielsweise eine Navigationsanlage, vonnöten sein.
-
Zumeist ist ein Stillstand des Trägers oder des Trägersystems zumindest im Betrieb nicht zu erreichen, da dies bei Land- oder Luftfahrzeugen einem vorgegebenen Missionsziel entgegenstehen kann. Auf einem maritimen Träger, wie beispielsweise einem Boot, einem Schiff oder einer Boje, ist aufgrund des in der Regel vorherrschenden Seegangs ein völliger Stillstand des Trägersystems praktisch unmöglich. Für hohe Masten ist ein Ruhigstellen der Trägerplattform aufgrund der Windbewegung ebenfalls nicht immer möglich. Bisherige Verfahren mit Stützdaten einer Navigationsplattform scheitern zum Teil an der unzureichenden Leistungsfähigkeit der verwendeten Navigationsplattform. Höherwertige Navigationsplattformen kommen oft aus Kostengründen nicht in Betracht. Zudem wird nach einer azimutalen Drehung die Drift durch den breitengradabhängigen Einfluss der Erdrotation erneut verstimmt.
-
Bei optronischen Sichtsystemen ist ein Ersatz der Kreiselstabilisierung durch eine digitale Bildstabilisierung nicht praktikabel, da dies zu einer geringeren Stabilisierungsgüte und zu reduzierten Reichweiten führt, was in den meisten Systemen nicht akzeptabel ist. Außerdem ist der Dynamikbereich (bedingt durch die Amplitude der Störungen) in diesem Fall kleiner. Darüber hinaus ist das System bei einer Verwendung einer digitalen Bildstabilisierung und mechanisch gekoppelten Sicht- oder Wirksystemen nicht für Peil- und Zielanwendungen geeignet. Durch die Verarbeitung der Bilder kommt außerdem eine Zeitverzögerung des dargestellten Bildes hinzu, die oftmals nicht tolerierbar ist.
-
Die Publikation "Visual Gyroscope: Integration of Visual Information with Gyroscope for Attitude Measurement of Mobile Platform" von Deokhwa Hong et al., veröffentlicht auf der "IEEE International Conference on Control, Automation and Systems 2008" (ICCAS), behandelt ein Verfahren zur Sensorfusion von Lagesensoren und bildgebenden Sensoren zur Anwendung in einem ferngesteuerten Roboter. Die Fusion der Daten wird dabei für die elektrische Kalibrierung des Lagesensors während der Laufzeit verwendet.
-
Die
US 8 749 648 B1 betrifft ein Verfahren und/oder eine Architektur für digitale Videocodierung, insbesondere bezüglich der Kompensation von Kamerabewegungen.
-
Die
US 8 151 640 B1 bezieht sich allgemein auf On-Chip-Navigationssysteme und insbesondere auf robuste Navigationssysteme auf Basis der MEMS-Technologie, wobei Sensorfehler bedingt durch Änderungen der Umgebungsbedingungen korrigierbar sind.
-
Die
GB 2 481 027 A betrifft ein Bildverarbeitungsgerät und -verfahren, beispielsweise zur Verarbeitung von Bilddaten, die von Abbildungsvorrichtungen erzeugt werden, die sich während der Aufnahme bewegen.
-
Die
US 5 995 141 A beschreibt eine Bildaufnahmevorrichtung, die insbesondere digitale Bilddaten auszugeben vermag, wobei Mittel zur Bewegungserkennung der Vorrichtung vorgesehen sind.
-
Die
US 2014/0 320 661 A1 bezieht sich auf ein Aufnahmesystem für Innenräume. Dabei ist vorgesehen, dass mit einem Handgerät, das mit einer Kamera ausgestattet ist, Videos von Räumen erstellt werden, deren Frames mit räumlichen Indizes versehen werden, und wobei ferner Türen markiert und Übergänge von Raum zu Raum durch die Türen aufgezeichnet werden.
-
Schließlich betrifft die
US 2012/0 229 385 A1 Handgeräte mit integrierten Gyroskopen. Genauer gesagt betrifft sie Verfahren bzw. Systeme um Gyroskop-Driftfehler und Handzittern in solchen Geräten abzuschwächen.
-
Ausgehend davon liegt der vorliegenden Erfindung die Aufgabe zugrunde, ein Trägersystem der eingangs erwähnten Art zu schaffen, welches die Nachteile des Standes der Technik vermeidet, insbesondere bei welchem die Drift eines vorhandenen Lagesensors im dynamischen Betrieb des Trägersystems sicher bestimmt und ggf. kompensiert werden kann.
-
Erfindungsgemäß wird diese Aufgabe durch ein Trägersystem gelöst, wenigstens umfassend:
- – eine lagestabilisierte Komponente;
- – einen bildgebenden Sensor, welcher dazu eingerichtet ist, fortlaufend Bildsignale eines Umgebungsbereichs des Trägersystems zu erfassen;
- – einen, insbesondere inertialen Lagesensor;
- – Stabilisierungsmittel zur fortlaufenden Stabilisierung der Lage und/oder der Ausrichtung der Komponente und des bildgebenden Sensors oder zumindest dessen Sichtlinie in Abhängigkeit von Messsignalen des Lagesensors; und
- – Bildverarbeitungsmittel, welche dazu eingerichtet sind, automatisch eine vorhandene Drift des Lagesensors aus den von dem bildgebenden Sensor erfassten Bildsignalen zu bestimmen, wobei
- – das Trägersystem dazu eingerichtet ist, automatisch die von den Bildverarbeitungsmitteln bestimmte vorhandene Drift des Lagesensors durch die Stabilisierungsmittel, wenigstens annähernd oder vollständig auszuregeln und/oder zu kompensieren.
-
Durch die erfindungsgemäßen Maßnahmen kann eine automatische Driftkompensation bzw. eine Driftabgleich während des Betriebs bzw. während der Fahrt oder Bewegung des Trägersystems bzw. des zugehörigen Trägers (z. B. ein Fahrzeug) realisiert werden. Dies ist einer Driftkompensation im Stillstand des Trägersystems vorzuziehen, da dies die generelle Nutzung wesentlich verbessert. Ein Stillstand der Plattformreferenzfläche bzw. des Trägers ist somit in vorteilhafter Weise nicht erforderlich. Die Driftkompensation kann im dynamischen Betrieb, also mit Bewegung der Plattformreferenzfläche (z. B. Fahrzeugbewegung) erfolgen. Die Driftkompensation kann im Falle einer Drehung den Breitengrad abhängigen Einfluss der Erdrotation auf die Drift selbsttätig ausregeln. Es ist kein externes hochwertiges Referenzkreiselsystem, wie beispielsweise eine Navigationsanlage oder dergleichen erforderlich. Sonach wird eine dynamische Kompensation der Drift einer stabilisierten Plattform auf Basis von Szenendaten geschaffen. Die Szenendaten werden dem bildgebenden Sensor entnommen, dessen Sichtlinie durch das stabilisierende System inertial stabilisiert wird. Als bildgebender Sensor kann ein visueller Sensor (Kamera), ein thermischer Sensor (Wärmebildgerät oder dergleichen), ein Radarsensor (Radarszene) oder ein anderer im elektromagnetischen Spektrum passiv oder aktiv abbildender Sensor in Frage kommen. Durch die erfindungsgemäße automatische Driftkompensation können generell Kreisel zur Anwendung kommen, deren Drifteigenschaft eine geringe Stabilität aufweist, ohne dass der betrachtete Bereich allmählich verlassen wird. Dadurch können erhebliche Kosten eingespart werden.
-
In Anspruch 13 ist ein Verfahren zur fortlaufenden Stabilisierung der Lage und/oder der Ausrichtung einer Komponente mittels Stabilisierungsmitteln, basierend auf von einem Lagesensor erhaltenen Messignalen, angegeben, wobei:
- – die lagestabilisierte Komponente wenigstens einen bildgebenden Sensor oder ein Element, welches die Sichtlinie des wenigstens einen bildgebenden Sensors stabilisiert, aufweist, wobei
- – eine Drift des Lagesensors fortlaufend bestimmt wird, indem der wenigstens eine bildgebende Sensor oder zumindest dessen Sichtlinie in Abhängigkeit von den Messsignalen des Lagesensors bezüglich der Lage und/oder der Ausrichtung stabilisiert wird, wobei in Bildsignalen des wenigstens einen bildgebenden Sensors wenigstens eine globale Bewegung der von dem wenigstens einen bildgebenden Sensor aufgenommenen Szene innerhalb eines vorgebbaren zeitlichen Abstands erfasst wird, aus welcher die Drift des Lagesensors bestimmt wird, wonach
- – bei Vorhandensein der Drift des Lagesensors diese unter Verwendung der Stabilisierungsmittel wenigstens annähernd ausgeregelt und/oder kompensiert wird.
-
Ferner kann ein Verfahren vorgesehen sein, insbesondere zur fortlaufenden automatischen Bestimmung einer Drift eines Lagesensors, insbesondere im dynamischen Betrieb, wobei:
- – wenigstens ein bildgebender Sensor oder zumindest dessen Sichtlinie in Abhängigkeit von Messsignalen des Lagesensors bezüglich der Lage und/oder der Ausrichtung stabilisiert wird, und wobei
- – in Bildsignalen des wenigstens einen bildgebenden Sensors wenigstens eine globale Bewegung der von dem wenigstens einen bildgebenden Sensor aufgenommenen Szene innerhalb eines vorgebbaren zeitlichen Abstands erfasst wird, aus welcher die Drift des Lagesensors bestimmt wird.
-
Es kann auch ein Verfahren zur, insbesondere fortlaufenden automatischen Stabilisierung der Lage und/oder der Ausrichtung einer Komponente, insbesondere während des dynamischen Betriebs, mittels Stabilisierungsmitteln basierend auf von einem Lagesensor erhaltenen Messsignalen vorgesehen sein, wobei eine Drift des Lagesensors mittels des erfindungsgemäßen Verfahrens zur Bestimmung einer Drift eines Lagesensors fortlaufend bestimmt wird, und wonach bei Vorhandensein der Drift des Lagesensors diese, insbesondere unter Verwendung der Stabilisierungsmittel, wenigstens annähernd oder vollständig ausgeregelt und/oder kompensiert wird.
-
Das erfindungsgemäße Verfahren zur fortlaufenden Stabilisierung der Lage einer Komponente kann vorteilhafterweise auch als optionales Zubehör bzw. Add-on für Neuanlagen, aber auch für die Nachrüstung bereits existierender Anlagen verwendet werden.
-
Vorteilhaft ist es, wenn die Bildverarbeitungsmittel dazu eingerichtet sind, die vorhandene Drift des Lagesensors aus und/oder in Abhängigkeit von einer globalen Bewegung der von dem Bildsensor aufgenommenen Szene, insbesondere innerhalb eines vorgebbaren oder variablen zeitlichen Abstands, zu bestimmen.
-
Die Szenendaten des bildgebenden Sensors können somit mit einer Bildverarbeitung auf Szenenbewegungen analysiert werden. Anhand des Bildinhalts wird eine globale Bewegung über eine längere Zeit erkannt, welche anschließend zur automatischen Driftkompensation verwendet wird. Der zeitliche Abstand kann dabei fest vorgegeben sein oder variabel bestimmt werden.
-
Das Trägersystem kann dazu eingerichtet sein, die globale Bewegung der von dem bildgebenden Sensor aufgenommenen Szene in eine Winkelbewegung des bildgebenden Sensors umzurechnen.
-
Die aus der Szene ermittelte globale Bewegung kann mittels der Sehfeldauflösung auf eine Winkelbewegung der Kamera umgerechnet werden.
-
Bei dem Trägersystem kann eine Driftreglereinheit vorhanden sein, welche dazu eingerichtet ist, aus der globalen Bewegung der von dem bildgebenden Sensor aufgenommenen Szene oder aus der Winkelbewegung des bildgebenden Sensors ein Driftkompensationssignal zu bilden.
-
Die ermittelte globale Bewegung der Szene oder die Winkelbewegung der Kamera kann einer Driftreglereinheit zugeführt werden, die daraus einen Kompensationswert bildet, mit welchem die Drift des Lagesensors beseitigt werden kann.
-
Das Trägersystem kann dazu eingerichtet sein, die in den Messsignalen des Lagesensors enthaltene Drift des Lagesensors mittels des Driftkompensationssignals der Driftreglereinheit wenigstens annähernd oder vollständig auszuregeln und/oder zu kompensieren, insbesondere bevor die Messsignale des Lagesensors den Stabilisierungsmitteln zugeführt werden.
-
Um eine ausreichende Beruhigung der Komponente bzw. der Sichtlinie der Komponente zu erreichen, kann die im Ausgangssignal des Lagesensors enthaltene Eigendrift vor dem Stabilisierungsregler kompensiert werden.
-
Die Driftreglereinheit kann dazu eingerichtet sein, das Driftkompensationssignal, insbesondere mit einer großen Zeitkonstante, nachzuführen.
-
Der Driftregler kann somit die Szenenbewegung zu Null regeln, indem er das Driftkompensationssignal, insbesondere mit großer Zeitkonstante, nachführt. Die Stabilisierungsmittel können sich zeitlich schnell ändernde Bewegungen des Trägersystems ausgleichen, während der Driftregler lediglich die sich zeitlich träge ändernden Driftbewegungen ausregelt.
-
In vorteilhafter Weise können die Bildverarbeitungsmittel dazu eingerichtet sein, zur Bestimmung der globalen Bewegung der von dem Bildsensor aufgenommenen Szene wenigstens einen statischen Bereich in einem von dem bildgebenden Sensor erfassten Bild zu bestimmen, welcher anschließend mittels einer Objektverfolgung oder einem Verfahren zur Objektverfolgung verfolgt wird.
-
Hierbei kann ein erkannter statischer Bereich in der Szene an eine Objektverfolgung (Tracking) übergeben werden. Verfahren zur Objektverfolgung sind aus dem Stand der Technik hinlänglich bekannt. Diese Objektverfolgung kann dann die Position eines manuell definierten oder eines zuvor erkannten und automatisch eingelernten statischen Bereichs in der Szene verfolgen und die dabei erkannten Positionsänderungen, vorzugsweise zeitlich tiefpassgefiltert, an die Driftreglereinheit zur Kompensation weitergeben. Somit können die globale Bewegung und damit die vorhandene Drift des Lagesensors mit einfachen Mitteln bestimmt werden.
-
Die Bildverarbeitungsmittel können dazu eingerichtet sein, zur Bestimmung der globalen Bewegung der von dem bildgebenden Sensor aufgenommen Szene wenigstens zwei von dem bildgebenden Sensor erfasste Bilder in einem zeitlichen Abstand, insbesondere von 0,01 Sekunden bis 1 Stunde, vorzugsweise von 1 Sekunde bis 60 Sekunden zu verwenden oder zu vergleichen.
-
Die Berechnung der globalen Bewegung bzw. der globalen Drift kann etwa mit einem in der
EP 1 441 316 A2 offenbarten Verfahren zur Ermittlung einer Sensoreigenbewegung erfolgen. Im vorliegenden Fall kann eine zeitlich weiter auseinander liegende Betrachtung verwendet werden. Dazu können wenigstens zwei Bilder des bildgebenden Sensors in einem zeitlichen Abstand von 0,01 Sekunden bis 1 Stunde, vorzugsweise von 1 Sekunde bis 60 Sekunden verwendet werden. Die wenigstens zwei Bilder können dann tiefpassgefiltert und mittels einer Fast-Fourier-Transformation (FFT) in den Frequenzraum überführt werden. Dort können sie gefaltet werden, was einer Korrelation im Ortsraum entspricht und das Ergebnis kann mittels einer Reverse-FFT wieder in den Ortsraum zurück transformiert werden. In dem daraus entstehenden Ergebnisbild sind die Resultate aller Korrelationen als Grauwerte angegeben. Die Position des hellsten Grauwerts im Ergebnisbild entspricht demnach der Verschiebung des zweiten Bildes gegenüber dem ersten Bild des bildgebenden Sensors und somit der Drift des Stabilisierungssystems bzw. des Lagesensors im Zeitraum zwischen den beiden Aufnahmen. Die globale Bewegung der von dem bildgebenden Sensor aufgenommenen Szene bzw. der Driftvektor kann anhand des aktuellen Sehfeldes in eine Winkelbewegung des bildgebenden Sensors bzw. in einen Winkelwert umgerechnet werden und dem Driftregler zugeführt und damit ausgeregelt werden.
-
Somit können zur Bestimmung der globalen Bewegung der von dem bildgebenden Sensor aufgenommenen Szene:
- – wenigstens zwei von dem bildgebenden Sensor erfasste Bilder in einem zeitlichen Abstand, insbesondere von 0,01 Sekunden bis 1 Stunde, vorzugsweise von 1 Sekunde bis 60 Sekunden, verwendet und/oder miteinander verglichen werden; und/oder
- – wenigstens ein statischer Bereich in einem von dem bildgebenden Sensor erfassten Bild bestimmt werden, welcher anschließend mittels einer Objektverfolgung verfolgt wird. Es stehen daher zwei alternative Vorgehensweisen zur Verfügung, die auch miteinander kombinierbar sind.
-
Aus der globalen Bewegung der von dem bildgebenden Sensor aufgenommenen Szene oder aus der Winkelbewegung des bildgebenden Sensors kann ein Driftkompensationssignal gebildet werden. Die in den Messsignalen des Lagesensors enthaltene Drift des Lagesensors kann mittels des Driftkompensationssignals wenigstens annähernd oder vollständig ausgeregelt und/oder kompensiert werden, bevor die Messsignale des Lagesensors den Stabilisierungsmitteln zugeführt werden. Das Driftkompensationssignal kann, insbesondere mit einer großen Zeitkonstante nachgeführt werden.
-
Sehr vorteilhaft ist es, wenn die ermittelte globale Bewegung der von dem Bildgebenden Sensor aufgenommenen Szene, insbesondere unter Verwendung eines Differenzbildes, auf Plausibilität geprüft wird.
-
Bei extremen Bewegungen in der Szene kann es eventuell zu Fehlberechnungen des Verschiebungsvektors kommen. Es ist somit vorteilhaft, derartige Fehlberechnungen zu erkennen und dann nicht zur Stabilisierung bzw. zur Kompensation der Drift zu verwenden. Dies kann z. B. mittels einer lokaltoleranten Subtraktion in einer sogenannten Neuner-Nachbarschaft beider Bilder mit einer Detektionsschwelle unter Beachtung des ermittelten Verschiebungsvektors erfolgen. In der digitalen Bildverarbeitung bedeutet eine Nachbarschaft eine kleine, definierte Bildregion um einen Pixel, wobei jeder Pixel eines Bildes vier, horizontale und vertikale, Nachbarn aufweist, welche sich dadurch auszeichnen, dass sie mit dem Pixel jeweils eine Pixelkante gemeinsam haben. Des Weiteren hat jeder Pixel eines Bildes auch vier diagonale Nachbarn, welche mit dem Pixel nur eine Ecke gemeinsam haben. Sonach kann z. B. von einer Vierer-Nachbarschaft oder einer Achter-Nachbarschaft gesprochen werden. Bei der im vorliegenden Fall verwendeten Neuner-Nachbarschaft handelt es sich um eine Achter-Nachbarschaft, welche um den mittleren bzw. zentralen Pixel erweitert wurde. Pixel, welche an Eckpunkten oder Rändern eines Bildes angeordnet sind, können entsprechend weniger Nachbarn aufweisen. Bei korrekter Berechnung und geringer Bewegung sind kaum Markierungen in einem auf diese Weise erstellten Differenzbild zu finden. Ist ein Großteil des Differenzbildes als Unterschied markiert, so ist die Berechnung fehlgeschlagen und das Ergebnis sollte nicht verwendet werden, wobei eine neue Berechnung erfolgen sollte. Bei lokalen Bereichen mit Differenzen fand eine Bewegung in der Szene statt. Ab einem einstellbaren Grenzwert, z. B. zwischen etwa 5% und etwa 50%, des Anteils dieser lokalen Bewegung im Bild kann entweder auch diese Berechnung nicht mehr verwendet werden oder die Berechnung muss erneut unter Ausmaskierung dieser Bereiche erfolgen. Da die Driftkompensation in zeitlich größeren Abständen erfolgt und somit bei Weitem keinen Videoechtzeitanforderungen unterliegt, können derartige iterative oder wiederholte Berechnungen bei Fehlern problemlos erfolgen.
-
In einer Ausgestaltung der Erfindung können die Stabilisierungsmittel umfassen:
- – Antriebsmittel, um eine, insbesondere definierte Bewegung der lagestabilisierten Komponente durchzuführen; und
- – eine Stabilisierungsreglereinheit, welche mit den Antriebsmitteln und dem Lagesensor kommunikationsverbunden ist, welche die Messsignale des Lagesensors als Eingangssignale erhält und welche dazu eingerichtet ist, um eine in den Messsignalen des Lagesensors vorhandene inertiale Drehbewegung zu Null zu regeln, indem sie die Antriebsmittel derart ansteuert, dass die lagestabilisierte Komponente und insbesondere der Lagesensor nachgeführt werden.
-
Durch diese Maßnahme wird die Bewegung des Trägersystems ausgeglichen und die Komponente bzw. deren Sichtlinie stabilisiert.
-
Der, insbesondere inertiale Lagesensor kann als Drehlagesensor (z. B. Gyroskopsensor, mechanischer Kreisel oder dergleichen) oder als Drehratensensor (z. B. Gyrometer oder dergleichen) ausgeführt sein. Es eignen sich Lagesensoren beliebiger bzw. unterschiedlicher Technologien, z. B. mechanische Trägheitskreisel, faseroptische Gyroskope, Laserkreisel oder moderne MEMS-Gyroskope/-Kreisel.
-
Die lagestabilisierte Komponente kann den wenigstens einen bildgebenden Sensor oder ein Element, welches die Sichtlinie des bildgebenden Sensors stabilisiert, aufweisen.
-
Die lagestabilisierte Komponente kann ein optronisches Sichtsystem sein.
-
Während eines manuellen Richtvorgangs des optronischen Sichtsystems (Ändern der Sichtlinie/LOS) kann die Driftreglereinheit bzw. die Driftkompensation angehalten werden, um einer Fehlkompensation vorzubeugen. Nach Abschluss des Richtvorgangs wird die neu gewählte Sichtlinie und die neu zu erfassende Szene als Referenz verwendet.
-
Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindungen ergeben sich aus den Unteransprüchen. Nachfolgend ist anhand der Zeichnung prinzipmäßig ein Ausführungsbeispiel der Erfindung beschrieben.
-
Es zeigen:
-
1 eine schematische Darstellung des Wirkprinzips eines erfindungsgemäßen Trägersystems;
-
2 eine schematische Darstellung zur Verdeutlichung einer globalen Bildbewegung bzw. einer Drift in einem Bild;
-
3 eine schematische Darstellung zur Veranschaulichung eines kleinen lokalen bewegten Bereichs; und
-
4 eine schematische Darstellung eines erfindungsgemäßen Trägersystems.
-
In den Figuren sind funktionsgleiche Elemente mit denselben Bezugszeichen versehen.
-
In 1 ist das Wirkprinzip der erfindungsgemäßen automatischen Driftkompensation anhand einer Achse verdeutlicht. Dabei wird anhand des Bildinhalts eine globale Bewegung über eine längere Zeit erkannt und diese Bewegung als zusätzliche Kompensation verwendet. 1 zeigt ein Trägersystem 1, welches mittels einer Befestigungseinrichtung 10a (z. B. ein Befestigungsflansch oder dergleichen) auf einem, insbesondere beweglichen Träger 10b (z. B. ein Fahrzeug) angeordnet ist. In weiteren nicht dargestellten Ausführungsbeispielen könnte das Trägersystem 1 auch Teil eines, insbesondere beweglichen Trägers oder einer, insbesondere beweglichen Basis sein. Das Trägersystem 1 weist als lagestabilisierte Komponente ein optronisches Sichtsystem 2 mit einer Kamera (z. B. im visuellen Bereich) als bildgebendem Sensor 2a auf, welcher dazu eingerichtet ist, fortlaufend Bildsignale eines Umgebungsbereichs des Trägersystems 1 zu erfassen. In anderen Ausführungsbeispielen kann der bildgebende Sensor auch als Wärmebildgerät ausgeführt sein. Des Weiteren kann das optronische Sichtsystem 2 auch mehrere, insbesondere unterschiedliche bildgebende Sensoren aufweisen. Eine Sichtlinie LOS des bildgebenden Sensors 2a ist in 1 als gestrichelter Pfeil angedeutet. Das Trägersystem 1 weist ferner einen als Drehratensensor 3 ausgebildeten Lagesensor auf. In weiteren Ausführungsbeispielen könnte hier auch ein anderer Lagesensor, z. B. ein Drehlagesensor zum Einsatz kommen. Im vorliegenden Ausführungsbeispiel sind das optronische Sichtsystem 2 mit dem bildgebenden Sensor 2a und der Drehratensensor 3 auf einer stabilisierten Plattform 4 angeordnet. In weiteren nicht dargestellten Ausführungsbeispielen könnte mit den notwendigen Änderungen auch auf eine stabilisierte Plattform 4 oder dergleichen verzichtet werden. In diesem Fall könnte das Trägersystem zur Stabilisierung dienen. Der Drehratensensor 3 kann, wie in 1 angedeutet, eine Drift oder eine Eigendrift aufweisen. Das Trägersystem 1 umfasst ferner Stabilisierungsmittel 5 zur fortlaufenden Stabilisierung der Lage des optronischen Sichtsystems 2 und des bildgebenden Sensors 2a oder zumindest dessen Sichtlinie LOS in Abhängigkeit von Messsignalen m_s des Drehratensensors 3 (in rad/s), welche eine inertiale Drehrate, insbesondere mit einer Drift, aufweisen können. Das Trägersystem 1 umfasst ferner Bildverarbeitungsmittel 6, welche dazu eingerichtet sind, automatisch eine vorhandene Drift des Drehratensensors 3 aus den von dem bildgebenden Sensor 2a erfassten und an die Bildverarbeitungsmittel 6 weitergeleiteten Bildsignalen v_s zu bestimmen. Das Trägersystem 1 ist dazu eingerichtet, automatisch die von den Bildverarbeitungsmitteln 6 bestimmte vorhandene Drift des Drehratensensors 3 durch die Stabilisierungsmittel 5 wenigstens annähernd oder vollständig auszuregeln und/oder zu kompensieren.
-
Die Stabilisierungsmittel 5 umfassen als Motor, vorzugsweise Elektromotor, ausgebildete Antriebsmittel 5a, um eine Bewegung der stabilisierten Plattform 4 bzw. der lagestabilisierten Komponente bzw. des optronischen Sichtsystems 2 durchzuführen, und eine Stabilisierungsreglereinheit 5b, welche mit den Antriebsmitteln 5a und dem Drehratensensor 3 kommunikationsverbunden ist, welche die Messsignale m_s des Drehratensensors 3 als Eingangssignale erhält, und welche dazu eingerichtet ist, eine in den Messsignalen m_s des Drehratensensors 3 vorhandene inertiale Drehbewegung zu Null zu regeln, indem sie die Antriebsmittel 5a derart ansteuert, dass das optronische Sichtsystem 2 und der Drehratensensor 3 bzw. die stabilisierte Plattform 4, auf welcher das optronische Sichtsystem 2 und der Drehratensensor 3 angeordnet sind, nachgeführt wird.
-
Die Bildverarbeitungsmittel 6 erhalten als Eingangssignal die von dem bildgebenden Sensor 2a erfassten Bildsignale v_s. Die Bildverarbeitungsmittel 6 sind dazu eingerichtet, die vorhandene Drift des Drehratensensors 3 aus bzw. in Abhängigkeit von einer globalen Bewegung der von dem bildgebenden Sensor 2a aufgenommenen Szene innerhalb eines vorgebbaren oder variablen zeitlichen Abstands zu bestimmen. Die Bildverarbeitungsmittel 6 liefern als Ausgangssignal ein Signal, welches die globale Bewegung der von dem bildgebenden Sensor 2a aufgenommenen Szene charakterisiert (in Pixel/s) und welches in der 1 mit dem Bezugszeichen b_s versehen ist. Das Trägersystem 1 ist dazu eingerichtet, die ermittelte globale Bewegung b_s der von dem bildgebenden Sensor 2a aufgenommenen Szene, vorzugsweise mittels einer Sehfeldauflösung A, in eine Winkelbewegung des bildgebenden Sensors 2a (in rad/s) umzurechnen. Das die Winkelbewegung des bildgebenden Sensors 2a charakterisierende Signal ist in 1 mit dem Bezugszeichen w_s versehen und wird einer Driftreglereinheit 7 wiederum als Eingangssignal zugeführt. Die Driftreglereinheit 7 ist dazu eingerichtet, aus dem Signal b_s der globalen Bewegung der von dem bildgebenden Sensor 2a aufgenommenen Szene und/oder aus dem Signal w_s der Winkelbewegung des bildgebenden Sensors 2a ein Driftkompensationssignal d_s (in rad/s) zu bilden.
-
Wie aus 1 ersichtlich, können die Antriebsmittel 5a die stabilisierte Plattform 4 bzw. das optronische Sichtsystem 2 und den Drehratensensor 3 in einer durch den Doppelpfeil P1 angedeuteten Verstellrichtung bzw. Achse stabilisieren. Das Prinzip lässt sich jedoch gleichermaßen für eine zwei- und dreiachsige Stabilisierung verwenden. Durch die Nachführung des optronischen Sichtsystems 2 wird die Sichtlinie LOS des optronischen Sichtsystems 2 bzw. des bildgebenden Sensors 2a stabilisiert.
-
Die in den Messsignalen m_s des Drehratensensors 3 enthaltene Drift des Drehratensensors 3 wird mittels des Driftkompensationssignals d_s der Driftreglereinheit 7 ausgeregelt und/oder kompensiert, bevor die Messsignale m_s des Drehratensensors 3 den Stabilisierungsmitteln 5 zugeführt werden. Hierzu wird das Driftkompensationssignal d_s in geeigneter Weise auf die Messsignale m_s des Drehratensensors 3 addiert, wonach diese driftbereinigten Messsignale mb_s des Drehratensensors 3 der Stabilisierungsreglereinheit 5b der Stabilisierungsmittel 5 als Eingangssignal zugeführt werden. Die driftbereinigten Messsignale mb_s des Drehratensensors 3 sind somit um die Drift des Drehratensensors 3 bereinigt. Die Driftreglereinheit 7 ist dazu eingerichtet, das Driftkompensationssignal d_s, insbesondere mit einer großen Zeitkonstante, nachzuführen.
-
In 2 wird eine globale Bildbewegung bzw. ein Driftvektor in einem von einem bildgebenden Sensor erfassten Bild durch Pfeile P2 verdeutlicht. Im Gegensatz dazu ist in 3 ein kleiner lokal bewegter Bereich L in einem Differenzbild angedeutet.
-
Die Bildverarbeitungsmittel 6 können dazu eingerichtet sein, zur Bestimmung der globalen Bewegung b_s der von dem bildgebenden Sensor 2a aufgenommenen Szene wenigstens zwei von dem bildgebenden Sensor 2a erfasste Bilder in einem zeitlichen Abstand, insbesondere von 0,01 Sekunden bis 1 Stunde, vorzugsweise von 1 Sekunde bis 60 Sekunden, zu verwenden.
-
Die Berechnung der globalen Bewegung bzw. der globalen Drift kann hierzu mit einem in der
EP 1 441 316 A2 beschriebenen Verfahren zur Ermittlung einer Sensoreigenbewegung erfolgen. Im vorliegenden Fall kann eine zeitlich weiter auseinander liegende Betrachtung verwendet werden. Dazu können wenigstens zwei Bilder des bildgebenden Sensors
2a in einem zeitlichen Abstand von 0,01 Sekunden bis 1 Stunde, vorzugsweise von 1 Sekunde bis 60 Sekunden verwendet werden. Die wenigstens zwei Bilder können dann tiefpassgefiltert und mittels einer Fast-Fourier-Transformation (FFT) in den Frequenzraum überführt werden. Dort können sie gefaltet werden, was einer Korrelation im Ortsraum entspricht und das Ergebnis kann mittels einer Reverse-FFT wieder in den Ortsraum zurück transformiert werden. In dem daraus entstehenden Ergebnisbild sind die Resultate aller Korrelationen als Grauwerte angegeben. Die Position des hellsten Grauwerts im Ergebnisbild entspricht demnach der Verschiebung des zweiten Bildes gegenüber dem ersten Bild des bildgebenden Sensors
2a und somit der Drift des Stabilisierungssystems bzw. des Drehratensensors
3 im Zeitraum zwischen den beiden Aufnahmen (siehe
2).
-
Die ermittelte globale Bewegung b_s der von dem bildgebenden Sensor 2a aufgenommenen Szene kann, insbesondere unter Verwendung eines Differenzbildes, auf Plausibilität geprüft werden.
-
Bei extremen Bewegungen in der Szene kann es eventuell zu Fehlberechnungen des Driftvektors kommen. Es ist somit vorteilhaft, derartige Fehlberechnungen zu erkennen und nicht zur Stabilisierung bzw. zur Kompensation der Drift zu verwenden. Dies kann z. B. mittels einer lokaltoleranten Subtraktion in einer sogenannten Neuner-Nachbarschaft beider Bilder mit einer Detektionsschwelle unter Beachtung des ermittelten Driftvektors erfolgen. Bei korrekter Berechnung und geringer Bewegung sind kaum Markierungen in einem auf diese Weise erstellten Differenzbild zu finden. Ist ein Großteil des Differenzbildes als Unterschied markiert, so ist die Berechnung fehlgeschlagen und das Ergebnis sollte somit nicht verwendet werden, wobei eine neue Berechnung erfolgen sollte. Bei lokalen Bereichen mit Differenzen fand eine Bewegung in der Szene statt (siehe 3). Ab einem einstellbaren Grenzwert, z. B. zwischen etwa 5% und etwa 50%, des Anteils dieser lokalen Bewegung im Bild kann entweder auch diese Berechnung nicht mehr verwendet werden oder die Berechnung muss erneut unter Ausmaskierung dieser Bereiche erfolgen. Da die Driftkompensation in zeitlich größeren Abständen erfolgt und somit bei Weitem keinen Videoechtzeitanforderungen unterliegt, können derartige iterative oder wiederholte Berechnungen bei Fehlern problemlos erfolgen.
-
Alternativ oder zusätzlich können die Bildverarbeitungsmittel 6 dazu eingerichtet sein, zur Bestimmung der globalen Bewegung b_s der von dem bildgebenden Sensor 2a aufgenommenen Szene wenigstens einen statischen Bereich in einem von dem bildgebenden Sensor 2a erfassten Bild zu bestimmen, welcher anschließend mittels einer Objektverfolgung verfolgt wird.
-
Hierbei kann ein erkannter statischer Bereich in der Szene an eine Objektverfolgung (Tracking) der Bildverarbeitungsmittel 6 übergeben werden. Verfahren zur Objektverfolgung sind aus dem Stand der Technik hinlänglich bekannt. Diese Objektverfolgung kann dann die Position eines zuvor erkannten und automatisch eingelernten statischen Bereichs in der Szene verfolgen und die dabei erkannten Positionsänderungen, vorzugsweise zeitlich tiefpassgefiltert, an die Driftreglereinheit zur Kompensation weitergeben. Auf diese Weise können die globale Bewegung und damit die vorhandene Drift des Drehratensensors 3 mit einfachen Mitteln bestimmt werden.
-
Somit ist ein Verfahren zur Bestimmung der Drift des Drehratensensors 3 angegeben, wobei:
- – der bildgebende Sensor 2a oder zumindest dessen Sichtlinie LOS in Abhängigkeit von den Messsignalen m_s des Drehratensensors 3 bezüglich der Lage und/oder der Ausrichtung stabilisiert wird, und wobei
- – in den Bildsignalen v_s des bildgebenden Sensors 2a wenigstens eine globale Bewegung b_s der von dem bildgebenden Sensor 2a aufgenommenen Szene innerhalb eines vorgebbaren zeitlichen Abstands erfasst wird, aus welcher die Drift des Drehratensensors 3 bestimmt wird.
-
Des Weiteren wird ein Verfahren zur fortlaufenden Stabilisierung der Lage und/oder der Ausrichtung des optronischen Sichtsystems 2 mittels der Stabilisierungsmittel 5 basierend auf von dem Drehratensensors 3 erhaltenen Messsignalen m_s bereitgestellt, wobei die Drift des Drehratensensors 3 mittels des vorstehend angegebenen Verfahrens zur Bestimmung der Drift des Drehratensensors 3 fortlaufend bestimmt wird, und wonach bei Vorhandensein der Drift, diese, insbesondere unter Verwendung der Stabilisierungsmittel 5, wenigstens annähernd oder vollständig ausgeregelt und/oder kompensiert wird.
-
4 zeigt eine Ausführungsform eines beweglichen erfindungsgemäßen Trägersystems 1 mit einem in zwei Achsen EL (Elevation) und AZ (Azimut) stabilisierten, als Sensorkopf ausgeführten, optronischen Sichtsystem 2. Die als Befestigungsflansch ausgeführte Befestigungseinrichtung 10a verbindet das optronische Sichtsystem 2 bzw. das Trägersystem 1 mit dem Träger 10b. Eine Verstellbarkeit des optronischen Sichtsystems 2 als lagestabilisierte Komponente bezüglich der Achsen EL und AZ ist durch Doppelpfeile P3a und P4a angedeutet. Hierdurch können durch Doppelpfeile P3b und P4b angedeutete Bewegungen des Trägers 10b bezüglich der Achsen EL und AZ durch die Lagestabilisierung entsprechend ausgeglichen werden. Translatorische Richtungen sind durch die Doppelpfeile P5 symbolisiert. Das optronische Sichtsystem 2 weist einen als Kamera ausgeführten bildgebenden Sensor 2a und einen weiteren als Wärmebildgerät ausgeführten bildgebenden Sensor 2b auf. Ein Drehratensensor 3, welcher in beiden Achsen EL, AZ Messsignale liefert, ist in dem optronischen Sichtsystem 2 integriert (gestrichelt angedeutet). Des Weiteren sind erste Antriebsmittel 5a.1 zur Verstellung des optronischen Sichtsystems 2 entlang der Achse EL und zweite Antriebsmittel 5a.2 zur Verstellung des optronischen Sichtsystems 2 entlang der Achse AZ vorgesehen. Selbstverständlich kann das optronische Sichtsystem 2 bzw. das Trägersystem 1 gemäß 4 auch die Komponenten 5b, 6 und 7 aufweisen (gestrichelt angedeutet). Zur Bestimmung der Drift können prinzipiell beide bildgebende Sensoren 2a und 2b sowohl einzeln als auch in Kombination herangezogen werden.
-
Bezugszeichenliste
-
- 1
- Trägersystem
- 2
- optronisches Sichtsystem
- 2a, 2b
- bildgebende Sensoren
- 3
- Drehratensensor
- 4
- stabilisierte Plattform
- 5
- Stabilisierungsmittel
- 5a, 5a.1, 5a.2
- Antriebsmittel
- 5b
- Stabilisierungsreglereinheit
- 6
- Bildverarbeitungsmittel
- 7
- Driftreglereinheit
- 10a
- Befestigungseinrichtung
- 10b
- Träger
- LOS
- Line-of-Sight/Sichtlinie
- A
- Sehfeldauflösung
- L
- lokal bewegter Bereich
- EL
- Achse Elevation
- AZ
- Achse Azimut
- m_s
- Messsignale des Lagesensors
- mb_s
- driftbereinigte Messsignale des Lagesensors
- v_s
- Bildsignale des bildgebenden Sensors
- b_s
- Signal bezüglich der globalen Bewegung der Szene
- w_s
- Signal bezüglich der Winkelbewegung des bildgebenden Sensors
- d_s
- Driftkompensationssignal
- P1, P2, P3a, P3b, P4a, P4b, P5
- Pfeile/Doppelpfeile
