DE60001841T2

DE60001841T2 - System zur verfolgung von kopfbewegungen

Info

Publication number: DE60001841T2
Application number: DE60001841T
Authority: DE
Inventors: Christopher Travers Barlett
Original assignee: BAE Systems Electronics Ltd
Current assignee: BAE Systems PLC
Priority date: 1999-07-28
Filing date: 2000-07-11
Publication date: 2003-09-25
Anticipated expiration: 2020-07-12
Also published as: DE60001841D1; EP1203285A1; EP1203285B1; US6377401B1; JP2003505985A; ATE235709T1; AU5997200A; ZA200109938B; IL146975A0; WO2001007995A1; GB9917591D0; DK1203285T3; CA2376184C; ES2194756T3; CA2376184A1; JP3490706B2

Description

Die Erfindung bezieht sich auf ein Kopfnachführungssystem und insbesondere, aber nicht ausschließlich, auf ein Kopfnachführungssystem zur Benutzung in einem Flugzeug, in dem der Pilot mit einem im Helm montierten Display ausgerüstet ist.
Kopfnachführungssysteme sind allgemein bekannt und bewirken eine Bestimmung der Kopflage und Kopfposition des Benutzers relativ zu einem festen Bezugspunkt, wie dies in der GB-A-2301968 beschrieben ist. Ursprünglich wurden diese Systeme zur Benutzung in der militärischen Luftfahrt entwickelt; sie haben jedoch in neuester Zeit auch Anwendung gefunden für Systeme der Realitätssimulation.
Seit den frühen Tagen der militärischen Luftfahrt bevorzugen es die Piloten, die Navigation und die Ausrüstung von Waffen durchzuführen, während sie geradeaus und aus dem Cockpit schauen, was nicht überrascht. Dies führt zu einer Evolution der Blickfeld-Darstellungsgeräte (HUD), welche nützliche Symbole wiedergeben, die in geeigneter Weise auf die Außenwelt bezogen sind (diese werden oft als "raumstabilisiert" bezeichnet). HUDs besitzen im typischen Fall einen Sichtwinkel von 30º oder weniger, und sie können infolgedessen nur betrachtet werden, wenn der Pilot allgemein nach vorne schaut. Um dieses Betrachtungsfeld zu erhöhen (d. h. das Gesamtvolumen im Raum, über das der Pilot die Symbole betrachten kann und die Kopfbewegung des Piloten umfaßt), sind im Helm montierte Displays (HMDs) entwickelt worden, die im wesentlichen ein HUD umfassen, das am Helm des Piloten innerhalb seines Sichtfeldes montiert ist. Damit bodenstabilisierte Symbole oder Bilder dem Piloten in der richtigen Orientierung gegenüber der Außenwelt vermittelt werden, muß der Symbolgenerator des HUD Kenntnisse in allen drei Achsen haben, d. h. in der Höhe, im Azimuth und in der Längsachse, in der der Kopf des Piloten gerichtet ist. Dies wird bestimmt durch (a) die Winkelorientierung des Kopfes des Piloten gegenüber der Flugzeugachse und (b) durch Orientierung (Lage) des Flugzeugs gegenüber der Außenwelt. Die erstere Forderung hat zu der Notwendigkeit geführt, ein Kopfnachführungssystem zu entwickeln. Die HMDs arbeiten in Verbindung mit einem Kopfnachführungssystem, das die Winkelorientierung des Kopfes des Benutzers gegenüber der Flugzeugachse bestimmt, um zu gewährleisten, daß die dargestellte Information im Raum genau ausgerichtet ist oder genau über Objekte in der Außenwelt gefügt ist. Beispielsweise ist es in der militärischen Luftfahrt wichtig, daß eine Waffenzielmarkierung genau über das Ziel ausgerichtet wird.
Im typischen Fall umfaßt ein Kopfnachführungssystem eine Kopflagerung, im allgemeinen einen Helm, der am Kopf des Benutzers befestigt ist und ein Sensorsystem zur Bestimmung der Winkelorientierung des Helmes relativ zu einem festen Bezugspunkt. Obgleich genau genommen ein Kopfnachführungssystem tatsächlich die Orientierung der Kopflagerung nachführt und nicht den Kopf des Benutzers, liefert das System dennoch eine genaue Messung der Orientierung des Kopfes des Benutzers, vorausgesetzt, daß die Kopflagerung in einer festen Orientierung relativ zum Kopf des Benutzers verbleibt.
Das Bezugssystem ist im typischen Fall dreiachsig und läuft durch einen bekannten Punkt am Fahrzeug oder am Flugzeug. Es sind eine Reihe von Sensorsystemen vorgeschlagen worden. Beispielsweise benutzten die früheren Nachführsysteme mechanische Verbindungen zwischen dem Helm und dem Fahrzeug und, obgleich diese Systeme relativ genau waren, so waren sie doch sehr kompliziert in ihrem Aufbau und die Bewegung des Benutzers war beschränkt, und es ergaben sich spezielle Probleme während des Ausstiegs aus einem Flugzeug. Spätere Systeme umfassen optische Sensorsysteme, bei denen der Helm eine Anzahl von Leuchtdioden trägt, die im Infrarotbereich arbeiten und durch Positionsdetektoren erfaßt wurden, die im Cockpit des Flugzeugs montiert waren. Andere bekannte optische Systeme benutzen bestimmte physikalische Markierungen, die durch eine Kamera detektiert werden. Es sind auch magnetische Sensorsysteme bekannt, bei denen ein alternatierendes oder pulsierendes Magnetfeld durch Sensoren am Helm detektiert wird. Es wurden auch Massenkraftsysteme vorgeschlagen, bei denen Kreisel und Beschleunigungsmesser benutzt wurden, und es gibt Hybridsysteme, die eine Kombination von zwei oder mehreren der obengenannten Systeme benutzen.
Ein spezielles Erfordernis für ein Kopfnachführungssystem, welches in der militärischen Luftfahrt Anwendung finden soll, ist eine hohe Genauigkeit, verbunden mit einem schnellen dynamischen Ansprechen, da die Bewegungen des Kopfes des Piloten oft extrem schnell sind; im typischen Fall können diese Bewegungen schneller sein als 200º pro Sekunde. Diese beiden Forderungen schließen sich oft gegenseitig aus und, obgleich Fortschritte in der Sensortechnologie, beispielsweise bei Festkörpergyroskopen, das dynamische Ansprechen des Nachführsystems verbessert haben, so ist doch die Genauigkeit einiger dieser Systeme begrenzt durch eine Abdrift über ausgedehnte Zeiträume des Betriebes.
Es ist bekannt, zu Beginn das Kopfnachführungssystem einzustellen oder zu eichen, was oft als Visierkontrolle bezeichnet wird, wobei dies geschieht, bevor der Betrieb beginnt. Beispielsweise ist es bei militärischen Hubschraubern bekannt, einen oder gelegentlich auch zwei systemkonforme Fadenkreuzvisier-Einheiten (BRU) mit bekannten Sichtlinien vorzusehen. Die BRU zeigen eine Zielmarke, die als parallel gerichtetes Bild präsentiert wird, und zwar oft in Form eines Kreises mit Fadenkreuz mit einem engen Betrachtungswinkel, im typischen Fall in der Größenordnung von 2º. Da das BRU ein im wesentlichen parallelisiertes Bild liefert, ist das Bild im wesentlichen im Unendlichen dargestellt und infolgedessen nur sichtbar, wenn die Orientierung des Kopfes des Benutzers (speziell die des Helmes) in einer gegebenen Ausrichtung zur BRU-Achse verläuft. Wenn der Pilot in den Hubschrauber einsteigt und den Helm und das HMD aufsetzt, drückt er einen Knopf, um einen Zielmodus der Arbeitsweise zu aktivieren. Im Zielmodus wird das BRU aktiviert, und die geeignete Zielsymbolik wird am HMD als raumstabilisiertes Bild dargestellt. Dann benutzt der Pilot eine Handsteuerung, um das HMD-Symbol einzustellen, bis es das BRU überlappt. An dieser Stelle fallen das Auge des Piloten, das HMB-Symbol und die BRU-Markierung zusammen, und das System berechnet eine entsprechende Versetzung, die bei den folgenden Operationen in Verbindung mit dem Kopfnachführungs-Ausgang benutzt wird, um die HMD- Symbole zu positionieren. Wenn ein zweites BRU vorgesehen ist, wiederholt der Pilot die Prozedur, und so wird das Nachführsystem mit zwei bekannten Startbedingungen versehen. Das Kopfnachführungssystem und das HMD sind nur zu Beginn der Arbeitsweise ausgerichtet, und das BRU ist demgemäß nicht weiter in Benutzung und wird infolgedessen häufig deaktiviert.
Im Falle eines Flugzeugs mit festem Tragflügel, welches mit einem HUD versehen ist, ist es bekannt, das HUD zur Erzeugung eines Fadenkreuzes anstelle des BRU zu benutzen. Obgleich ein HUD einen größeren Betrachtungswinkel hat, und zwar im typischen Fall 30º, erzeugt es dennoch ein höchstparallelisiertes Bild und kann infolgedessen benutzt werden, um das Kopflager genau auszurichten.
Die anfängliche Visierung, wie sie in der GB-A-2301968 beschrieben ist, gewährleistet, daß das Nachführsystem und das HMD genau zu Beginn des Betriebes arbeiten, jedoch können hierbei keine mechanischen Mißausrichtungen des HMD gegenüber dem Helm oder irgendwelche Abdriften im Nachführsystem kompensiert werden. Obgleich der Visierprozeß nicht lange dauert, kann dies immerhin als unerwünschte Verzögerung betrachtet werden, bevor das Fahrzeug betriebsbereit ist.
Gegenwärtig erreichen die HMDs nicht die Genauigkeit von HUDs, selbst wenn sie in der Visierachse arbeiten, weil eine begrenzte Genauigkeit der Kopfnachführung besteht, was zum Teil eine Folge der Abdrift ist. Außerdem kann die verteilte Architektur der HMDs nicht auf einfache Weise eine hohe Integrität aufweisen, welche die Gewähr dafür ist, daß eine genaue Information geliefert wird. Im Falle von HMDs, die ein zweiäugiges Display benutzen, liefert die Beobachtung zwischen den jeweiligen Kanälen ein gewisses Maß von Integrität. Im Falle eines Kopfnachführungssystems gibt es jedoch keinen unabhängigen parallelen Pfad, über den die Genauigkeit der Nachführung bestätigt werden kann. Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Kopfnachführungssystem zu schaffen, welches wenigstens teilweise die Probleme bekannter Kopfnachführungssysteme überwindet.
Gemäß der Erfindung umfaßt ein Kopfnachführungssystem zur Bestimmung der Orientierung des Kopfes relativ zu einem Bezugspunkt die folgenden Teile: ein Kopflager zur Festlegung des Kopfes des Benutzers und ein Sensorsystem zur Feststellung der Orientierung des Kopflagers relativ zu dem Bezugspunkt, und die Erfindung ist gekennzeichnet durch eine unterscheidbare Markierung und einen optischen Sensor, der im Betrieb jeweils relativ zu einem ersten bekannten Festpunkt und relativ zu einem zweiten bekannten Festpunkt relativ zum Bezugspunkt oder umgekehrt fixiert ist und durch Prozessormittel zur Bestimmung, wenn die Markierung im Sichtfeld des optischen Sensors liegt, wobei der Ausgang der Prozessormittel benutzt wird, um eine Abdrift in dem Sensorsystem zu korrigieren oder um eine unabhängige Verifikation darüber zu liefern, daß das System mit vorbestimmten Toleranzen arbeitet.
Ein spezieller Vorteil des Kopfnachführungssystems gemäß der Erfindung besteht darin, daß jede Abdrift im System automatisch für jeden Zeitpunkt kompensiert werden kann, wo eine Markierung innerhalb des Sichtfeldes des optischen Sensors festgestellt wird. Zusätzlich zur automatischen Kompensierung der Abdrift kann die Erfindung weiter die Notwendigkeit einer anfänglichen Sichtlinienausrichtung vermeiden und daher jede Verzögerung beträchtlich vermindern, bevor das System voll arbeitsfähig wird. Alternativ zur Korrektur der Abdrift oder zusätzlich liefert die vorliegende Erfindung eine unabhängige Gewähr dafür, daß die Kopfnachführung innerhalb vorbestimmter Toleranzen voll arbeitsfähig ist. Dies ist insbesondere wichtig bei Anwendungen, wo ein weiteres System, beispielsweise ein Waffenzielsystem oder ein Infrarot-Nachtsichtsystem, auf der Genauigkeit beruht, mit der die Orientierung des Kopfes des Benutzers bekannt ist.
Die unterscheibare Markierung kann ein räumliches Muster aufweisen und/oder kann teilweise durch wenigstens die Farbe definiert sein. Das einzige Erfordernis der Markierung besteht darin, daß sie unzweifelhaft festgestellt werden kann und eine bekannte Position und Orientierung der Kopflagerung relativ zu einem festen Bezugspunkt anzeigt. Gemäß einem Ausführungsbeispiel umfaßt die Markierung Merkmale der Umgebung um den Benutzer herum, beispielsweise in einem Flugzeug, einem Teil der Cockpitstruktur oder des Instrumentenaufbaus. Um die Sichtbarkeit der Markierung zu verbessern, ist es zweckmäßig, dieses unter Benutzung retro-reflektierender Materialien zu definieren.
Stattdessen kann die Kopfnachführungs-Vorrichtung weiter einen Markierungsgenerator aufweisen, um die unterscheidbare Markierung zu erzeugen. Bei einem derartigen Generator wird die Farbe der Markierung zweckmäßigerweise durch die Wellenlänge des Lichtes definiert, das vom Generator erzeugt wird. Außerdem kann die Markierung als zeitweise Veränderung durch Modulation des Lichtes definiert werden, das durch den Markierungsgenerator erzeugt wird. Die Markierung könnte auch durch eine Kombination von zwei oder mehreren der obengenannten drei Techniken definiert werden, beispielsweise könnte die Markierung eine spezielle Formgestalt mit einer speziellen Wellenlänge haben, die moduliert wird durch An- und Abschaltung mit einer gewählten Frequenz.
Gemäß einer speziell bevorzugten Ausführung ist die visuelle Markierung ein kollimatisiertes Bild mit einer Achse, die vorbestimmt ist und durch den zugeordneten bekannten Punkt verläuft. Mit einer derartigen Markierung wird der optische Sensor, der vorzugsweise eine Videokamera ist, im Unendlichen fokussiert. Ein spezieller Vorteil einer solchen Anordnung besteht darin, daß die Verarbeitungsmittel die Orientierung der Kopflagerung relativ zu dem bekannten Bezugspunkt immer dann kennen, wenn das Vorhandensein der Markierung festgestellt wird, da die Markierung nur dann sichtbar ist, wenn die Achse des Sichtfeldes des optischen Sensors und die Markierung im wesentlichen zusammenfallen.
Vorzugsweise sind erster und zweiter bekannter Fixpunkt so gewählt, daß die Markierung innerhalb des Sichtfeldes des Sensors immer dann liegt, wenn der Kopf des Benutzers in einer Richtung orientiert ist, in der er im Betrieb meist ausgerichtet ist, und im typischen Fall ist dies die Richtung, die im wesentlichen nach vorn weist. Ein spezieller Vorteil dieser Anordnung besteht darin, daß die Zahl der Zeiten, in denen die Markierung innerhalb des Sichtfeldes des optischen Sensors liegt, maximiert wird, und dadurch wird die Frequenz maximiert, bei der die Abdrift kompensiert und/oder das System verifiziert wird. Vorzugsweise ist der optische Sensor mit dem ersten Fixpunkt derart verknüpft, daß es die Kopflagerung ist, die zweckmäßigerweise als Helm ausgebildet ist, wobei die Achse des Sichtfeldes des Sensors im wesentlichen auf die Vorwärtsrichtung des Benutzers derart ausgerichtet ist, daß der Ausgang des optischen Sensors repräsentativ ist für das Sichtfeld des Benutzers. Eine solche Information kann beispielsweise im Falle eines Flugzeugs aufgezeichnet und danach benutzt werden, um das Verhalten des Piloten zu berechnen. Gemäß einem speziell bevorzugten Ausführungsbeispiel umfaßt der Markierungsgenerator ein Zielfadenkreuz. Wenn das Kopfnachführungssystem der Benutzung in einem Flugzeug oder in einem anderen Fahrzeug dient, welches ein Blickfeld-Darstellungsgerät aufweist, dann wird die unterscheidbare Markierung vorteilhafterweise unter Benutzung des Blickfeld-Darstellungsgerätes erzeugt.
Wenn stattdessen die Markierung kein ausgerichtetes Bild ist, beispielsweise eine physikalische Markierung, eine nicht ausgerichtete Lichtquelle oder ein Feld derartiger Quellen, dann wird der optische Sensor in einer Entfernung fokussiert, die der erwarteten Entfernung zwischen dem Sensor und der Markierung entspricht. Da die Markierung über einen größeren Teil des Sichtfeldes des Sensors sichtbar ist, bewirkt der Prozessor, daß die Position der Markierung im Sichtfeld des Sensors detektiert wird, um die Orientierung der Kopflagerung zu bestimmen. Um die zu verarbeitende Menge zu reduzieren, bewirkt der Prozessor vorzugsweise eine Feststellung immer dann, wenn die Markierung in einem gewählten Teil des Sichtfeldes des Sensors liegt, beispielsweise innerhalb der zentralen Position.
Zweckmäßigerweise besteht der optische Sensor aus einer Videokamera, beispielsweise einer ladungsgekoppelten Vorrichtung. Vorzugsweise umfaßt das Kopfnachführungssystem außerdem wenigstens zwei bekannte feste Punkte mit einer jeweiligen zugeordneten unterscheidbaren Markierung.
Gemäß einem bevorzugten Ausführungsbeispiel umfaßt der Prozessor einen Korrelator, der die Szenendaten, die vom optischen Sensor aufgenommen werden, mit den Daten korreliert, die für die oder jede Markierung repräsentativ sind, um festzustellen, ob die Markierung oder jede Markierung innerhalb des Sichtfeldes des optischen Sensors liegt und/oder wo sie innerhalb des Sichtfeldes des optischen Sensors befindlich ist.
Ein Kopfnachführungssystem gemäß der Erfindung wird im folgenden anhand der beiliegenden Zeichnung beschrieben. Die einzige Figur der Zeichnung zeigt eine schematische Ansicht des Kopfnachführungssystems zur Benutzung in einem Flugzeug.
In der Zeichnung ist ein Helm 2 dargestellt, der eine Kopflagerung zur Befestigung am Kopf eines Piloten bildet. Der Helm ist mit einer Sichtvorrichtung 4 ausgestattet. Innerhalb des Helmes ist dieser mit einem vom Helm getragenen Display (HMD) versehen (nicht dargestellt), das ein Display auf eine teilweise reflektierende innere Oberfläche der Sichtvorrichtung 4 richtet, oder es sind einzelne Okkulare vorgesehen, so daß das Display wenigstens teilweise über das Sichtfeld des Piloten durch die Sichtvorrichtung 4 überlagert wird. Wie bekannt, wird die Symbolik, die auf dem HMD dargestellt wird, durch einen Symbolgenerator 6 erzeugt, der innerhalb des Flugzeugs angeordnet ist. Die Signale, die zum Treiben des HMD benutzt werden, werden dem Helm 2 über ein Versorgungskabel 8 zugeführt, das in bekannter Weise mit einem Schnell-Freigabe-Verbinder 9 versehen ist, der innerhalb des Cockpits angeordnet ist.
Der Helm 2 trägt eine Sensoreinheit 10, die einen Teil eines Magnetkopf- Nachführungssystems in Verbindung mit einer Sendereinheit 12 aufweist, die in der Kanzel des Cockpits benachbart zum Helm 2 angeordnet ist. Die Sendereinheit 12 erzeugt drei senkrecht aufeinanderstehende Magnetfelder, die durch jeweilige Sensoren in der Sensoreinheit 10 detektiert werden. Die Sensoren erzeugen Signale, die sich auf die Orientierung des Helmes 2 um die drei Achsen beziehen: Höhe, Azimuth und Längsneigung; relativ zu einem festen Bezugspunkt 13, der relativ zur Flugzeugzelle eingestellt wird. Diese Signale von der Sensoreinheit 10 werden über das Versorgungskabel 8 dem Prozessor 14 zugeführt, der die Orientierung des Helmes 2 relativ zur Flugzeugzelle in Ausdrücken der Winkellage um jede der Achsen bestimmt. Bei dem dargestellten Ausführungsbeispiel ist das magnetische Kopfnachführungsgerät ein bekanntes System, wie dies beispielsweise in dem europäischen Patent 0285658 beschrieben ist, welches hiermit als Bezug eingeführt wird. Die vorliegende Erfindung bezieht sich auch auf andere Ausbildungen von Kopfnachführungssystemen, beispielsweise solche, die auf Massenkraftsensoren oder einem Hybridsystem beruhen. Der Ausgang des Prozessors 14 wird einem Symbolgenerator 6 zugeführt, der diese Daten benutzt, um zu gewährleisten, daß die auf dem HMD wiedergegebenen Symbole korrekt auf die gegenwärtige Orientierung des Kopfes des Piloten ausgerichtet sind. Um zu gewährleisten, daß die Symbole richtig mit am Boden stabilisierten Merkmalen orientiert sind, empfängt der Symbolgenerator 6 auch einen Eingang vom Trägheits- Navigationssystem 16, welches die gegenwärtige Orientierung des Flugzeugs angibt.
Zusätzlich zu dem insoweit beschriebenen Kopfnachführungssystem, welches eine bekannte Anordnung betrifft, umfaßt das Kopfnachführungssystem außerdem eine Mini-Farbvideokamera 18 in Form einer ladungsgekoppelten Einrichtung (CCD), die starr mit dem Helm 2 verbunden ist. Die Achse des Sichtfeldes der Videokamera 18 ist genau auf eine eingestellte Bezugsachse innerhalb des Helms 2 ausgerichtet. Im typischen Fall ist die Achse der Kamera so ausgerichtet, daß sie mit der nach vorn weisenden Richtung des Piloten übereinstimmt, und die Kamera ist auf Unendlich oder eine etwas kleinere Entfernung fokussiert, um irgendwelche Wirkungen der Windschutzscheibe 20 der Kanzel zu kompensieren, die diese hat, so daß der Ausgang repräsentativ ist für die vom Piloten erkannte Sicht, vermindert um Symbole, die von dem HMD erzeugt werden. Im Umfang der vorliegenden Erfindung entspricht "unendlich" in praktischen Ausdrücken vier Metern oder mehr. Die Auflösung der Kamera ist ein VGA-Standard, d. h. sechshundertvierzig mal vierhundertachtzig Pixel. Das Videosignal von der Kamera wird über das Zuführungskabel 8 einem Videoprozessor 22 zugeführt, der genau die Symbole überlagert, die vom Symbolgenerator 6 erzeugt werden, und das Verbund- Videosignal wird in einem Videorekorder 24 aufgezeichnet. Das vom Videorekorder 24 aufgezeichnete Signal ist repräsentativ für das, was der Pilot während des Fluges gesehen hat, und es wird nach dem Flug benutzt, um die Flugdurchführung für den Piloten zu berechnen.
An der Flugzeugzelle ist an einer bekannten Stelle eine Zielvorrichtung (BRU) 26 angeordnet, die einen gerichteten Lichtstrahl vorbestimmter Wellenlänge erzeugt und ein unterscheidbares Symbol oder eine Markierung, beispielsweise ein Fadenkreuz, aufweist. Die Achse des gerichteten Bildes, das vom BRU 26 erzeugt wird, ist längs einer vorbestimmten Richtung ausgerichtet, die in dem beschriebenen Beispiel so gewählt ist, daß sie der nach vom weisenden Beobachtungsrichtung des Piloten entspricht. Gemäß der folgenden Beschreibung wird das BRU 26 zusammen mit der Videokamera 18 benutzt, um automatisch das Nachführsystem 10, 12, 14 zu aktualisieren oder auszurichten.
Im Betrieb wird das Videosignal von der Videokamera 18 über ein wellenlängenselektives Filter 27 einer Korrelator-Prozessoreinheit 28 zugeführt, die kontinuierlich die Videodaten verarbeitet, um das Vorhandensein einer erkannten Markierung zu detektieren, die vom BRU 26 erzeugt wurde. Das wellenlängenselektive Filter 27 ist in der Lage, die Markierung aus dem übrigen Video-Vollbild zu extrahieren. Immer, wenn die Korrelator-Prozessoreinheit 28 das Vorhandensein einer erkannten Markierung feststellt, weiß das System, daß der Helm 2 zu der Zeit, wo das Videobild geschossen wurde, in einer speziellen Richtung orientiert werden muß. Diese bekannte Orientierung wird mit dem Ausgang des Nachführsystems zu einer bestimmten Zeit verglichen, um festzustellen, ob ein Unterschied zwischen den Ablesungen besteht, und dieser Unterschied wird benutzt, um die Arbeitsweise der Prozessoreinheit 14 zu korrigieren. Im Normalbetrieb sollte der Unterschied nicht mehr als fünf Milliradianten betragen, und das System aktualisiert dann automatisch die Prozessoreinheit 14. Wenn jedoch eine Abweichung festgestellt wird, die unannehmbar groß ist, beispielsweise größer als zehn Milliradianten, dann hört das System auf, die Prozessoreinheit 14 zu aktualisieren und unterrichtet den Piloten darüber, daß ein potentieller Fehler im Kopfnachführungssystem aufgetreten ist.
Wie erwähnt, erzeugt das BRU 26 eine unterscheidbare, d. h. eine eindeutig erkennbare Markierung, die in Ausdrücken eines räumlichen Musters, beispielsweise eines Fadenkreuzes, einer vorbestimmten Wellenlänge definiert ist. Der Zweck des BRU 26 besteht darin, eine Markierung zu erzeugen, die unschwer durch die Korrelator-Prozessoreinheit 28 identifiziert werden kann.
Das Verfahren, durch welches der Korrelator-Prozessor 28 bestimmt, ob die Markierung innerhalb des Sichtfeldes der Kamera liegt, kann unter Benutzung zahlreicher Techniken durchgeführt werden. Beispielsweise kann eine digitale Verarbeitungstechnik Verwendung finden oder Frequenzdetektor-Methoden oder optische Korrelationsmethoden zur Erkennung des Musters. Bei der ersten dieser Techniken wird das Videosignal von der Kamera, das vom Helm als Standard- Analogsignal übertragen wird, zunächst durch die Korrelator-Prozessoreinheit 28 digitalisiert, und diese Daten werden auf einer Basis Pixel um Pixel mit einem gespeicherten Bild korreliert, welches repräsentativ ist für ein von der BRU 26 erzeugtes Muster.
Wenn die BRU 26 die unterscheidbare Markierung durch Modulation ihres Lichtausganges definiert, dann benutzt die Korrelator-Prozessoreinheit 28 eine geeignete Technik, um eine Wellenlänge oder ein Modulationsmuster zu identifizieren. Es ist klar, daß die Verarbeitung auf verschiedene Weise erfolgen kann, beispielsweise durch analoge oder digitale Filterung oder durch eine schnelle Fourier-Transformation (FFT) oder eine optische Korrelation. Die Benutzung einer optischen Korrelation ist bei weitem das schnellste Verfahren und ermöglicht eine sehr schnelle Aktualisierung des Kopfnachführungssystems.
Da die BRU 26 ein ausgerichtetes Bild erzeugt, dessen Achse mit der Vorwärts- Betrachtungsrichtung des Piloten übereinstimmt, liegt die unterscheidbare Markierung nur dann innerhalb des Sichtfeldes der Kamera 18, wenn der Pilot im wesentlichen nach vorwärts blickt, Infolgedessen kann die Korrelator- Prozessoreinheit 28 das Vorhandensein der Markierung oft ein zweites Mal während des Normalbetriebes feststellen. Da eine Re-Orientierung oder Zielausrichtung vom Kopfnachführungssystem nur alle paar Minuten durchgeführt werden muß, können, wenn irgendein Bild von der Videokamera aufgenommen wird, das unvollständig ist, diese Daten mit Sicherheit ausgeschieden werden. Um die Menge der Signalverarbeitung zu vermindern, kann der Korrelator-Prozessor 28 so programmiert werden, daß er in gewissen Festzeitintervallen arbeitet, und die BRU 26 kann kontinuierlich betrieben werden, wie dies beschrieben wurde, oder sie kann nur während dieser Zeitintervalle angeschaltet sein.
Es ist klar, daß die vorliegende Erfindung nicht auf die beschriebenen spezifischen Ausführungsbeispiele beschränkt ist und daß Modifikationen durchgeführt werden können, ohne vom Rahmen der Erfindung abzuweichen. Beispielsweise könnte die Videokamera 18 am Flugzeug montiert werden, und die BRU 26 könnte am Helm 2 vorgesehen werden. Vorteilhafterweise sind Videokamera und Markierung relativ zueinander derart angeordnet und orientiert, daß die Markierung innerhalb des Sichtfeldes der Kamera immer dann liegt, wenn der Kopf des Benutzers in einer Richtung orientiert ist, in der er gewöhnlich im Betrieb schaut. Eine derartige Anordnung gewährleistet, daß die Prozessoreinheit in der Lage ist, das Vorhandensein der Markierung genügend oft während eines gegebenen Zeitintervalls festzustellen, um in der Lage zu sein, jede Abdrift im Nachführsystem zu kompensieren und/oder eine unabhängige Verifizierung zu liefern, wonach das Kopfnachführungssystem innerhalb vorbestimmter Toleranzen arbeitet. Bei dem speziellen beschriebenen Ausführungsbeispiel ist diese Richtung so gewählt, daß sie zusätzlich mit der im wesentlichen nach vorn gerichteten Betrachtungsrichtung des Piloten zusammenfällt, und die Kamera ist auf Unendlich derart fokussiert, daß der Ausgang der Videokamera repräsentativ ist für das Sichtfeld des Piloten und zusätzlich zur Kompensation der Nachführungsdrift aufzeichnet und danach benutzt werden kann, um die Arbeitsweise des Piloten zu berechnen. Bei abgewandelten Ausführungsbeispielen können die Kamera und die Markierungen in der beschriebenen Weise benutzt werden, jedoch ohne daß die Kamera auf die nach vorn gerichtete Betrachtungsrichtung des Benutzers ausgerichtet ist, so daß beispielsweise die Kamera im Flugzeug hinter oder seitlich vom Benutzer montiert werden kann, und der Markierungsgenerator kann in geeigneter Weise am Helm oder umgekehrt angeordnet werden. Es ist klar, daß die Markierung auf irgendeine Weise erzeugt werden kann, um unterscheidbar zu sein, d. h. es soll eine fehlerfrei erkennbare Markierung erzeugt werden. Gemäß einer abgewandelten Ausführungsform definiert die BRU 26 das unterscheidbare Muster, indem Wellenlängen des Lichtes erzeugt werden oder ein zeitliches Muster geschaffen wird, welches aus einem modulierten Lichtausgang besteht, oder es kann eine Kombination dieser Techniken angewandt werden. Wenn die Kamera auf Unendlich fokussiert ist, dann wird die Markierung vorzugsweise in Form eines genau ausgerichteten Bildes erzeugt, das eine vorbestimmte Achse hat, so daß die Markierung nur sichtbar wird, wenn die Achse des Sichtfeldes der Kamera und die Achse der Markierung zusammenfallen. Bei einem derartigen System braucht die Korrelator-Prozessoreinheit nur das Vorhandensein der Markierung innerhalb des Sichtfeldes der Kamera festzustellen. Im vorstehenden wurde die Benutzung einer Farb-Videokamera beschrieben, jedoch sind andere Formen optischer Sensoren, beispielsweise Positionssensoren, anwendbar, und zwar insbesondere, wenn die Markierung in Form eines ausgerichteten Bildes besteht, das eine vorbestimmte Wellenlänge besitzt, und in diesem Fall muß der Sensor nur das Vorhandensein der Markierung feststellen.
Gemäß einem abgewandelten Ausführungsbeispiel könnte die Markierung in Form eines nicht gerichteten Bildes erzeugt werden, beispielsweise in Form einer physikalischen Markierung, oder es könnten Einzelheiten des Aufbaus des Cockpits oder des Instrumentariums benutzt werden. In einem solchen Fall würde die Kamera auf das Nahfeld fokussiert, d. h. auf eine Entfernung, die der erwarteten Entfernung zwischen Kamera und Markierung entspricht. Da eine solche Markierung über einen großen Teil des Sichtfeldes der Kamera sichtbar wird, kann der Prozessor feststellen, wo die Markierung innerhalb des Sichtfeldes liegt, um auf diese Weise die Orientierung des Helmes zu bestimmen. Um die erforderliche Verarbeitung zu reduzieren, ist es zweckmäßig, daß der Prozessor feststellt, wann die Markierung innerhalb eines gegebenen Bereiches des Sichtfeldes der Kamera liegt. Am zweckmäßigsten ist dies, wenn die Einstellung dem Mittelbereich entspricht.
Um zu vermeiden, daß das System den Benutzer täuscht, wird die Wellenlänge der Markierung in einem Teil des elektromagnetischen Spektrums gewählt, der dem Benutzer nicht sichtbar ist, beispielsweise im Infrarotbereich.
Gemäß einem weiteren Ausführungsbeispiel wird die Markierung in einem Blickfeld- Darstellungsgerät 30 erzeugt, und zwar anstelle oder zusätzlich zum BRU 26. Obgleich die Benutzung eines Markierungsgenerators beschrieben wird, ist es zweckmäßig, mehrere Markierungen an bekannter Stelle um das Cockpit herum anzuordnen, um die Genauigkeit des Systems weiter zu verbessern. Das Nachführsystem wurde vorstehend unter Bezugnahme auf ein Flugzeug beschrieben. Es ist jedoch klar, daß es auch bei anderen Anwendungen, z. B. anderen Fahrzeugen wie Panzern oder Hubschraubern oder überall dort benutzt werden kann, wo es erforderlich ist, die Orientierung des Kopfes des Benutzers relativ zu einem bestimmten Bezugspunkt genau zu kennen, beispielsweise bei einem Realitäts-Simulationssystem. Ein spezieller Vorteil der Erfindung besteht darin, daß das Kopfnachführungssystem automatisch arbeitet und im Betrieb kontinuierlich eine Visierausrichtung bewirkt und benutzt werden kann, um eine Abdrift bei der Kopfnachführung zu kompensieren.
Stattdessen oder zusätzlich zur Korrektur der Abdrift gewährleistet die Erfindung unabhängig davon, daß die Kopfnachführung innerhalb vorbestimmter Toleranzen arbeitet. Dies ist insbesondere wichtig bei Anwendungen, bei denen ein weiteres System, beispielsweise ein Waffen-Richtsystem oder ein Infrarot-Nachtsichtsystem, auf einer genauen Kenntnis der Orientierung des Kopfes des Benutzers beruht.
Zusätzlich zur automatischen Kompensierung der Abdrift im Kopfnachführungssystem kann die vorliegende Erfindung potentiell die Notwendigkeit einer Visierausrichtung erübrigen, und dies kann beträchtlich jede Verzögerung vermindern, bevor das System voll wirksam ist.
Gemäß einem weiteren Ausführungsbeispiel ist die Videokamera so angeordnet, daß die Abbildung durch die Sichtvorrichtung derart erfolgt, daß die Kamera das gleiche Sichtfeld wie der Pilot hat und die Symbole enthält, die vom HMD erzeugt werden. Ein spezieller Vorteil dieses Systems besteht darin, daß die Notwendigkeit der Überlagerung von Symbolen auf die Szene erübrigt wird, die vom Displayprozessor abgebildet wird, wodurch ein noch genaueres Verbundbild geliefert wird. Außerdem kann ein solches System eine vollständige Prüfung von einem Ende nach dem anderen des befohlenen Bildes gegenüber dem dargestellten Bild zwecks einer Monitorintegrierung liefern. Die Visierlinien-Überprüfung erfolgt in Koinzidenz von Auge, Kamera, Ausrichtsymbol und BRU, wodurch eine noch größere Sicherheit einer richtigen Arbeitsweise gewährleistet wird. Ein weiterer Vorteil eines derartigen Systems besteht darin, daß es benutzt werden kann, um das Vorhandensein von primären Flugsymbolen zu prüfen.

Claims

1. Kopfnachführungssystem zur Bestimmung der Orientierung des Kopfes eines Benutzers relativ zu einem Bezugspunkt (13), welches ein Kopflager zur Festlegung des Kopfes des Benutzers und ein Sensorsystem aufweist, um die Orientierung des Kopflagers relativ zu dem Bezugspunkt (13) festzustellen, gekennzeichnet durch eine unterscheidbare Markierung und einen optischen Sensor (10), der im Betrieb jeweils relativ zu einem ersten bekannten Festpunkt und relativ zu einem zweiten bekannten Festpunkt relativ zum Bezugspunkt (13) oder umgekehrt fixiert ist und durch Prozessormittel (14, 28) zur Bestimmung, wenn die Markierung im Sichtfeld des optischen Sensors (10) liegt, wobei der Ausgang der Prozessormittel (14) benutzt wird, um eine Abdrift in dem Sensorsystem zu korrigieren oder um eine unabhängige Verifikation darüber zu liefern, daß das System mit vorbestimmten Toleranzen arbeitet.

2. Kopfnachführungssystem nach Anspruch 1, bei welchem die unterscheidbare Markierung ein räumliches Muster aufweist.

3. Kopfnachführungssystem nach den Ansprüchen 1 oder 2, bei welchem die unterscheidbare Markierung zum Teil wenigstens durch die Farbe der Markierung definiert ist.

4. Kopfnachführungssystem nach einem der vorhergehenden Ansprüche, welches außerdem einen Markierungsgenerator (26) aufweist, um die unterscheidbare Markierung zu erzeugen.

5. Kopfnachführungssystem nach Anspruch 4 in Abhängigkeit von Anspruch 3, bei welchem die Farbe der Markierung durch die Wellenfänge des Lichtes definiert ist, das durch den Markierungsgenerator (26) erzeugt wird.

6. Kopfnachführungssystem nach Anspruch 4 oder 5, bei welchem die Markierung zum Teil wenigstens durch Modulation des vom Markierungsgenerator (26) erzeugten Lichtes definiert wird.

7. Kopfnachführungssystem nach einem der vorhergehenden Ansprüche, bei welchem die Markierung ein im wesentlichen parallel gerichtetes Bild ist, dessen Achse vorbestimmt ist und das durch den zugeordneten bekannten Punkt hindurchläuft.

8. Kopfnachführungssystem nach einem der vorhergehenden Ansprüche, bei welchem der erste bekannte Festpunkt und der zweite bekannte Festpunkt derart gewählt sind, daß die Markierung innerhalb des Sichtfeldes des optischen Sensors (10) immer dann liegt, wenn der Kopf des Benutzers in eine Richtung weist, in der er im Betrieb allgemein gerichtet ist.

9. Kopfnachführungssystem nach Anspruch 8, bei welchem der optische Sensor (10) dem ersten bekannten Punkt zugeordnet ist, wobei die Achse des Sichtfeldes des Sensors (10) im wesentlichen auf die Vorwärts-Blickrichtung des Benutzers ausgerichtet ist.

10. Kopfnachführungssystem nach den Ansprüchen 7, 8 oder 9, bei welchem der Markierungsgenerator (26) eine Fadenkreuz-Visiervorrichtung aufweist.

11. Kopfnachführungssystem nach den Ansprüchen 7, 8 oder 9, welches bei Benutzung in einem Flugzeug oder einem anderen Fahrzeug mit einem Blickfeld- Darstellungsgerät dieses Blickfeld-Darstellungsgerät benutzt, um die unterscheidbare Markierung zu erzeugen.

12. Kopfnachführungssystem nach einem der vorhergehenden Ansprüche, bei welchem der optische Sensor (10) eine Videokamera (18) ist.

13. Kopfnachführungssystem nach einem der vorhergehenden Ansprüche, welches wenigstens zwei bekannte Festpunkte aufweist, denen jeweils eine unterscheidbare Markierung zugeordnet ist.

14. Kopfnachführungssystem nach einem der vorhergehenden Ansprüche, bei welchem die Prozessormittel (14, 28) Szenendaten, die durch den optischen Sensor (10) aufgenommen wurden, mit Daten korreliert, die für die oder jede Markierung repräsentativ sind, um zu bestimmen, ob die oder jede Markierung innerhalb des Sichtfeldes des optischen Sensors (10) und wo diese in diesem Sichtfeld liegt.