DE2260086C2 - Optischer Korrelator - Google Patents

Optischer Korrelator

Info

Publication number
DE2260086C2
DE2260086C2 DE2260086A DE2260086A DE2260086C2 DE 2260086 C2 DE2260086 C2 DE 2260086C2 DE 2260086 A DE2260086 A DE 2260086A DE 2260086 A DE2260086 A DE 2260086A DE 2260086 C2 DE2260086 C2 DE 2260086C2
Authority
DE
Germany
Prior art keywords
optical
image
light
grid
correlator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired
Application number
DE2260086A
Other languages
English (en)
Other versions
DE2260086A1 (de
Inventor
Eckart Dipl.-Ing. 6331 Hermannstein Delingat
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ernst Leitz Wetzlar GmbH
Original Assignee
Ernst Leitz Wetzlar GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ernst Leitz Wetzlar GmbH filed Critical Ernst Leitz Wetzlar GmbH
Priority to DE2260086A priority Critical patent/DE2260086C2/de
Priority to US417203A priority patent/US3906220A/en
Priority to GB5357373A priority patent/GB1448840A/en
Priority to FR7342377A priority patent/FR2210283A5/fr
Publication of DE2260086A1 publication Critical patent/DE2260086A1/de
Application granted granted Critical
Publication of DE2260086C2 publication Critical patent/DE2260086C2/de
Expired legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06EOPTICAL COMPUTING DEVICES; COMPUTING DEVICES USING OTHER RADIATIONS WITH SIMILAR PROPERTIES
    • G06E3/00Devices not provided for in group G06E1/00, e.g. for processing analogue or hybrid data
    • G06E3/001Analogue devices in which mathematical operations are carried out with the aid of optical or electro-optical elements
    • G06E3/003Analogue devices in which mathematical operations are carried out with the aid of optical or electro-optical elements forming integrals of products, e.g. Fourier integrals, Laplace integrals, correlation integrals; for analysis or synthesis of functions using orthogonal functions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D5/00Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable
    • G01D5/26Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable characterised by optical transfer means, i.e. using infrared, visible, or ultraviolet light
    • G01D5/268Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable characterised by optical transfer means, i.e. using infrared, visible, or ultraviolet light using optical fibres
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/46Systems using spatial filters
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/04Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres
    • G02B6/06Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres the relative position of the fibres being the same at both ends, e.g. for transporting images

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Nonlinear Science (AREA)
  • Electromagnetism (AREA)
  • Power Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

(a) ein Objektiv, welches das Objekt auf einen Bildteiler abbildet und
(b) dem Bildteiler nachgeordnete und die die Bildebene verlassenden Lichtflüsse erfassende und wandelnde fotoel-ektrische Empfänger,
dadurch gekennzeichnet, daß als Bildteiler '5 die ersten Stirnflächen (6', T) einer Vielzahl von Lichtleitern vorgesehen sind, welche je Koordinatenrichtung zu zwei Gruppen (6, 7) zusammengeführt sind, daß die Gruppenzugehörigkeit von den in der Bildebene benachbarten ersten Lichtleitecstirnflächen wechselt und daß jede Lichtleitergruppe (6, 7) mit je eisren fotoelektrischen Empfänger (10, 11) zusammenarbeitet, der jeweilr allen zweiten Stirnflächen der Lichtleiter einer Lichtleitergruppe (6,7) zugeordnet ist M
2. Optischer Korrelator nach Anspruch 1, dadurch gekennzeichnet daß die Lichtleiterstirnflächen in der Bildebene rasterartig angeordnet sind.
3. Optischer Korrelator nach Anspruch 1, dadurch gekennzeichnet, daß die Lichtleiterstirnflächen in der Bildebene streifenförmig angeordnet sind.
4. Optischer Korrelator nach Anspruch 2, dadurch gekennzeichnet, daß die Größe der sich ergebenden Rasterelemente so geivählt isi, daß diese die erfaßte Bildebene in mindestem einer Koordinatenrichtung aperiodisch aufteilen.
5. Optischer Korrelator nach Anspruch 1 bis 4, dadurch gekennzeichnet, daß die Eigenschaften der Lichtleitfasern in den einzelnen Lichtleitern, wie Durchmesser, Querschnittsform, Material und rarbe 4" so gewählt sind, daß sie nur Licht bestimmter Polarisation oder Farbe übertragen.
6. Optischer Korrelator nach den Ansprüchen ! bis 5, dadurch gekennzeichnet, daß die durch die sich ergebenden Rasterelemente bzw. Streifen in der *5 Bildebene definierte Richtung bzw. Richtungen mit der Bewegungsrichtung des Objektes einen Winkel ungleich π · 90° einschließen, wobei η eine ganze Zahl ist.
7. Optischer Korrelator nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß eine zusätzliche Lichtleitergruppe (19) vorgesehen ist, welche von einer Quelle (20) stammendes Licht in die Objektebene leitet
55
Die Erfindung betrifft einen optischen Korrelator zum Ausfiltern von Bildstrukturen mit bestimmten Ortsfrequenzen und/oder zum Erfassen bzw. zum Messen der jeweiligen relativen räumlichen Lage eines Objektes mit einem das Objekt auf einen Bildteiler abbildenden Objektiv und mit diesem Bildteiler nachgeordneten und die die Bildebene verlassenden p*' l.ichtfliissc erfassenden und wandelnden fotoelektrisch^ Finpfänsrern.
[■'' sind mit unwsdiiedlichep iSikllcilern aii
optische Korrelatoren bekannt, bei denen die zu kontierenden Bildstrukturen Referenzstrukturen überlagert und die dabei resultierenden Lichtflüsse gemessen werden. Als Referenzstrukturen sind einfache ein- oder zweidimensional Amplitudengitter ebenso vorbeschrieben wie Phasengitter und Rasterstrukturen. Als Rasterstruktur haben sich Furehejiraster (Prismenraster) und Pyramidenraster als zweckmäßig erwiesen.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, einen weiteren optischen Korrelatoi anzugeben, mit welchem ein Bild in definierter Weise in Teile zerlegt werden kann und die diesen Teilen zugeordneten Lichtflüsse möglichst vollständig und in vorgegebener Kombination zu fotoelektrischen Empfängern leitbar sind.
Diese Aufgabe wird durch einen optischen Korrelator der eingangs genannten Art gelöst, welcher sich dadurch auszeichnet, daß als Bildteiler die ersten Stirnflächen einer Vielzahl von Lichtleitern vorgesehen sind, weiche je Koordinatenrichtung zu zwei Gruppen zusammengeführt sind, daß die Gruppenzugehörigkeit von den in der Bildebene benachbarten ersten Lichtleiterstirnflächen wechselt, und daß jede Lichtleitergruppe mit einem fotoelektrischen Empfänger zusammenarbeitet, der jeweils allen zweiten Stirnflächen der Lichtleiter einer Lichtleitergruppe zugeordnet ist Vorteilhafte Ausführungsformen zeichnen sich dadurch aus, daß die Lichtleiterstirnflächen in der Bildebene rasterartig angeordnet sind oder daß die Lichtleiterstirnflächen in der Bildebene streifenförmig angeordnet sind. Die Größe der sich ergebenden Rasterelemente kann so gewählt sein, daß diese die erfaßte Bildebene in mindestens einer Koordinatenrichtung aperiodisch aufteilen. Bei einer weiteren Ausführungsform sind die Eigenschaften der Lichtleitfasern in den einzelnen Lichtleitern wie Durchmesser, Querschnittsform, Material und Farbe so gewählt, daß sie nur Licht bestimmter Polarisation oder Farbe übertragen. Der optische Korrelator wird mit Vorteil so verwendet daß die durch die sich ergebenden Fasterelemente bzw. Streifen in der Bildebene definierte Richtung bzw. Richtungen mit der Bewegungsrichtung des Objektes einen Winkel ungleich π · 90° einschließen, wobei η eine ganze Zahl ist.
Schließlich kann bei einem erfindungsgemäßen Korrelator eine zusätzliche Lichtleitergruppe vorgesehen sein, welche von einer Quelle stammendes Licht in die Objektebene leitet.
Ein Vorteil des erfindungsgemäßen Korrelators ist, daß der darin verwundete Bildteiler eine gute räumliche Anpassung der modulierten Lichtflüsse an die Geometrie der fotoelektrischen Empfänger erlaubt.
Ein anderer Vorteil des neuen Korrelators im Gegensatz zum Bekannten bzw. Vorbeschriebenen liegt darin, daß der neue Korrelator mit hoher Lichtausbeute arbeitet, so daß auch weniger gut beleuchtete Objekte exakt erfaßt und ihre Bewegungen vermessen werden können.
Eine beispielsweise Ausführungsform der Erfindung wird nachfolgend anhand schematischer Zeichnungen näher beschrieben. Es zeigt
Fig. 1 einen Korrelator mit Prismenraster bekannter Art,
F i g. 2 eine Bildteilcranordnung mit Lichtleitfasern.
F i g. 3 eine fiiklieileranordnurig zur Zweikoordinalcnmessung.
F i μ. 4 eine Bildteileraiiorrinuns; mn einer /us.lt/li eben Lichtlcitcrirniprx; /ur Obi'-kihclcin |-,!,::i>·
10
15
In Fig, 1 ist ein bekannter optischer Korrelator mit einem Durehljehtraster als Bild teiler gezeigt, welches als gleichschenkliges Prismenraster ausgeführt ist. Das von einer Lichtquelle 2 beleuchtete Objekt 1 wird mittels einer Optik 4 in eine Bildebene abgebildet, in welcher sich das genannte Raster 5 befindet. Zwei nachgeschaltete fotoeleivtrische Empfänger 10, 11 empfangen die Strahlungsteile, welche durch das Raster in zwei diskrete Richtungen gelenkt werden. Aus dem Verhältnis dieser beid^i Signale ergibt sich das Maß der relativen Bewegung des Objektes zur optischen Achse des soweit beschriebenen Systems nach einer Koordinatenrichiung. Will man nach zwei Koordinatenrichtungen messen, so muß man nach diesem Stand der Technik zwei solcher Korrelatoren vorsehen, die entsprechend der Raumlage der beiden gewünschten Meßrichtungen zueinander orientiert sind oder beispielsweise gemäß GB-Patent 12 49 302 ein Pyramidenraster als Bildteiler verwenden.
Ein gemäß der Erfindung aufgebautes Korrelatorsystern enthält als Bildteiler bzw. anstelle des Rasters 5 είπε Lichtleiteranordnung, wie sie beispielsweise in Fig.2 und wie sie beispielsweise in der DE-OS 15 48 729 für eine optische Prüfvorrichtung (Meßschrittgeber) dargestellt ist. Bei dieser Anordnung sind die Lichtleiter in zwei einzelne Gruppen 6 und 7 unterteilt und nebeneinanderliegend so angeordnet, daß in der Bildebene des Korrelators die Stirnflächen 6' bzw. T der einzelnen Gruppen aneinander anschließende Streifen bilden und so ein den Prismen des Rasters 5 wirkungsähnliches Muster bilden. Den anderen Stirnflächen jeder Gruppe ist einer der fotoelektrischen Empfänger 10 bzw. 11 zugeordnet
30 Zum Messen nach zwei Koordinatenrichtungen kann eine Lichtleiteranordnung vorgesehen werden, bei der die Lichtleiter vier Lichtleitergruppen 12—15 bilden, die ihrerseits wieder aufgespalten und mit den Leitern der anderen Gruppen so angeordnet sind, daß sich in der Bildebene ein Stirnflächenmuster nach Fig.3 ergibt Jeweils die beiden Licluleitergruppen, deren Leiter mit ihren Stirnflächen in einem Rasterquadrat 16 zwei sich nur mit ihren Ecken berührende Dreiecke bilden, werden zur Signalbildung in der Meßrichtung herangezogen, die durch die Winkelhalbierende der am Berührungspunkt der Dreiecke anliegenden Winkel bestimmt ist
Eine weitere Ausgestaltungsmöglichkeit für den optischen Korrelator ergibt sich aus Fig.4. Wie ersichtlich, gelangen hier drei Lichtleitergruppen 17,18, 19 zum Einsatz, von denen zwei Gruppen 17, 18 entsprechend dem in F i g. 2 Gezeigten angeordnet sind; die Gruppe 19 hingegen ist in zwei Anteile 19', 19" unterteilt, deren Stirnflächen in der Bildebene die von den Stirnflächen der beiden anderen T.ruppen gebildeten Meßebene flankieren. Diese dritte iichtleitergruppe 19 dient im dargestellten Fall der Belichtung des Objektes. Es ist also mit dieser Anordnung möglich, opake Objekte zu messen.
Es liegt nahe, einen Bildteiler mit streifenförmiger Teilung mit der Streifenrichtung senkrecht zur Meßrichtung zu orientieren. Eine hiervon abweichende Orientierung gestattet es. Signale zu erzeugen, deren Frequenz außer von der Objektgeschwindigkeit in der Hauptmeßrichtung auch noch von der dazu senkrechten Bewegung abhängt
Hierzu 1 Blatt Zeichnungen

Claims (1)

  1. Patentansprüche;
    1t Optischer Korrelator zum Ausfiltem von Bildstrukturen mit bestimmten Ortsfrequenzen und/ oder zum Erfassen bzw. zum Messen der jeweiligen relativen räumlichen Lage eines Objektes, welcher beinhaltet
DE2260086A 1972-12-08 1972-12-08 Optischer Korrelator Expired DE2260086C2 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE2260086A DE2260086C2 (de) 1972-12-08 1972-12-08 Optischer Korrelator
US417203A US3906220A (en) 1972-12-08 1973-11-19 Optical correlator
GB5357373A GB1448840A (en) 1972-12-08 1973-11-19 Optical correlator
FR7342377A FR2210283A5 (de) 1972-12-08 1973-11-28

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE2260086A DE2260086C2 (de) 1972-12-08 1972-12-08 Optischer Korrelator

Publications (2)

Publication Number Publication Date
DE2260086A1 DE2260086A1 (de) 1974-06-12
DE2260086C2 true DE2260086C2 (de) 1983-01-27

Family

ID=5863872

Family Applications (1)

Application Number Title Priority Date Filing Date
DE2260086A Expired DE2260086C2 (de) 1972-12-08 1972-12-08 Optischer Korrelator

Country Status (4)

Country Link
US (1) US3906220A (de)
DE (1) DE2260086C2 (de)
FR (1) FR2210283A5 (de)
GB (1) GB1448840A (de)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2454299C3 (de) * 1974-11-15 1982-03-11 Standard Elektrik Lorenz Ag, 7000 Stuttgart Einrichtung zur berührungslosen Bestimmung der Richtung einer Relativbewegung
US4013893A (en) * 1975-08-07 1977-03-22 Welch Allyn, Inc. Optical bar code scanning device
DE2637844C2 (de) * 1976-08-23 1986-06-26 Ernst Leitz Wetzlar Gmbh, 6330 Wetzlar Verfahren und Anordnung zur getrennten Auswertung von Bildinhalten nach zwei Koordinatenrichtungen der Bewegung
DE2802477C3 (de) * 1978-01-20 1981-08-20 Precitronic Gesellschaft für Feinmechanik und Electronik mbH, 2000 Hamburg Einrichtung zum Senden und/oder Empfangen von Laserlicht mit mehreren Laserlicht emittierenden und/oder detektierenden optronischen Elementen
US4200787A (en) * 1978-05-30 1980-04-29 CLS Industries, Inc. Fiber optic elevation sensing apparatus
FR2432159A1 (fr) * 1978-07-28 1980-02-22 Applic Tech Et Perfectionnements aux dispositifs detecteurs opto-electroniques a fibres optiques
US4486095A (en) * 1980-06-27 1984-12-04 Movement Techniques Limited Movement measuring apparatus and landmarks for use therewith
US4482805A (en) * 1982-03-15 1984-11-13 General Dynamics, Pomona Division Fiber optic matrix multiplier
US4567362A (en) * 1982-06-25 1986-01-28 Gretag Aktiengesellschaft Process and apparatus for the focusing of a beam of light on an object
EP0101536B1 (de) * 1982-08-06 1989-10-11 Robert Bosch Gmbh Sensor für Relativbewegungen
US4509826A (en) * 1983-04-11 1985-04-09 Xerox Corporation Optical image staggering/destaggering arrangement for multiple array scanning system
AT379432B (de) * 1983-06-24 1986-01-10 Voest Alpine Ag Einrichtung zur kontrolle der position einer streckenvortriebsmaschine
US4856895A (en) * 1984-01-24 1989-08-15 Beloit Corporation Method and apparatus for headbox jet velocity measurement
DE3508687A1 (de) * 1985-03-12 1986-09-18 Wirth Maschinen- und Bohrgeräte-Fabrik GmbH, 5140 Erkelenz Positionsanzeige bei maschinen zur herstellung von schaechten, tunneln, strecken o.dgl.
DE3516048A1 (de) * 1985-05-04 1986-11-06 Werner 7750 Konstanz Strauch Vorrichtung zum eingeben, speichern und bearbeiten von dokumenten
US5102226A (en) * 1989-01-12 1992-04-07 Matsushita Electric Works, Ltd. Optical measurement system for determination of an object profile
US5088828A (en) * 1989-02-28 1992-02-18 Siemens Aktiengesellschaft Method and apparatus for three-dimensional testing of printed circuitboards
JP4350220B2 (ja) * 1999-08-06 2009-10-21 株式会社ミツトヨ 変位測定装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3399347A (en) * 1964-01-09 1968-08-27 Bausch & Lomb Photoelectric system for generating a signal proportional to the movement of a meter
US3430057A (en) * 1965-06-22 1969-02-25 Schneider Co Optische Werke Episcopic scanning head having smaller optical fibers interleaved in interstices formed by contiguous larger fibers
GB1159033A (en) * 1965-08-04 1969-07-23 Molins Machine Co Ltd Improvements relating to Optical Inspection Devices.
US3509354A (en) * 1967-06-29 1970-04-28 Binary Systems Inc Optical,label read-out device
GB1249302A (en) * 1968-01-16 1971-10-13 Secr Defence Improvements in or relating to optical beam splitter devices and apparatus
US3483389A (en) * 1968-01-23 1969-12-09 Dynamics Res Corp Electro-optical encoder having fiber optic coupling
US3571796A (en) * 1968-05-28 1971-03-23 Bendix Corp Rotation translation independent feature extraction means

Also Published As

Publication number Publication date
DE2260086A1 (de) 1974-06-12
FR2210283A5 (de) 1974-07-05
US3906220A (en) 1975-09-16
GB1448840A (en) 1976-09-08

Similar Documents

Publication Publication Date Title
DE2260086C2 (de) Optischer Korrelator
DE1548707C3 (de) Fotoelektrischer Schrittgeber
DE2209667C3 (de) Einrichtung zur beruhrungslosen Messung
DE2501373C3 (de) Anordnung zur Winkel- oder Längenmessung
DE1921507B1 (de) Einrichtung zur Erzeugung phasenverschobener elektrischer Signale
CH488202A (de) Verfahren und Vorrichtung zur automatischen Scharfeinstellung optischer Systeme
DD150119A5 (de) Auf dem prinzip der beugung arbeitendes farbfilter
DE2137466C3 (de) Optisches System für eine Farbfernsehkamera mit Farbtrennung
WO1990007691A1 (de) Verfahren und vorrichtung zur beobachtung von moiremustern von zu untersuchenden oberflächen unter anwendung des moireverfahrens mit phasenshiften
DE2636211B1 (de) Interferometrisches verfahren zur abstands- oder ebenheitsmessung
DE2210681A1 (de) Einrichtung zur beruehrungslosen messung
DE1136834B (de) Vorrichtung zum Messen von Lageaenderungen
EP3147700B1 (de) Verfahren und vorrichtung zur vergrösserung des sichtfelds einer kamera sowie damit ausgestattete kamera
EP0491749B1 (de) Vorrichtung zur absoluten zweidimensionalen positionsmessung
DE4035144A1 (de) Optisches strahlenteilersystem zur erzeugung einer mehrzahl von reellen abbildungen
DE2141364B2 (de) Verfahren und Vorrichtung zum Erkennen der Farbe einer Vorlage
DE2163200C2 (de) Einrichtung zur berührungslosen Messung
DE2637844C2 (de) Verfahren und Anordnung zur getrennten Auswertung von Bildinhalten nach zwei Koordinatenrichtungen der Bewegung
DE2160877C3 (de) Einrichtung zum Messen der relativen Bewegung eines Objektes
DE2756954A1 (de) Optisch-elektronische fokussiereinrichtung
DE3322713A1 (de) Verfahren und vorrichtung zur laufenden messung des rollwinkels eines beweglichen maschinenteiles
DE3533582C2 (de)
DD291848A5 (de) Verfahren zur beruehrungslosen geschwindigkeitsmessung auf der basis flaechenabtastender sensoren
DE4230108A1 (de) MoirE-Verfahren und Vorrichtung zum Vermessen einer Oberfläche
DE4227389C2 (de) Vorrichtung zum Messen der exakten Winkelposition eines Schwingspiegels

Legal Events

Date Code Title Description
OD Request for examination
D2 Grant after examination
8364 No opposition during term of opposition
8320 Willingness to grant licences declared (paragraph 23)
8339 Ceased/non-payment of the annual fee