DE2443265A1 - Optic-electronic method recognising and position objects - on a series of light sensitive layers - Google Patents

Optic-electronic method recognising and position objects - on a series of light sensitive layers

Info

Publication number
DE2443265A1
DE2443265A1 DE2443265A DE2443265A DE2443265A1 DE 2443265 A1 DE2443265 A1 DE 2443265A1 DE 2443265 A DE2443265 A DE 2443265A DE 2443265 A DE2443265 A DE 2443265A DE 2443265 A1 DE2443265 A1 DE 2443265A1
Authority
DE
Germany
Prior art keywords
const
layers
signals
filters
photoelectric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE2443265A
Other languages
German (de)
Inventor
Karl Dipl Ing Dr Bergold
Ernst H Dr Ludwig
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BBC Brown Boveri France SA
Original Assignee
BBC Brown Boveri France SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BBC Brown Boveri France SA filed Critical BBC Brown Boveri France SA
Priority to DE2443265A priority Critical patent/DE2443265A1/en
Priority to CH1035675A priority patent/CH592923A5/xx
Priority to SE7510016A priority patent/SE7510016L/en
Priority to NO753084A priority patent/NO753084L/no
Publication of DE2443265A1 publication Critical patent/DE2443265A1/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/88Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Optic/electronic arrangement has light sensitive layers with filters (4) whose translucence performs one or more functions. The layers are divided into electrically isolated sections. Its signals serve for sizing and positioning of object (1), and are still further processed. The signals from layer (5) are interconnected; F1 and F2 are zero when the axis of the system points to the centre of the image; and F3 will be zero when the cross of the coordinates for the optic system is covered by the main axis of the image. One filter is used in which the translucence assumes a monotone radial.

Description

Opto-clektronisches Verfahren zum Erkennen und Positionieren eines Objektes Die Erfindung bezieht sich auf ein opto-elektronisches Verfahren zum Erkennen und Positionieren eines Objektes mit hilfe der Abbildung dieses Objektes auf lichtelektrischen Schichten, wie es z.B. bei Handhabeautomaten (Industrie-Robotern, Manipulatoren) angewendet werden kann.Opto-electronic procedure for the detection and positioning of a Object The invention relates to an opto-electronic method for recognition and positioning an object with the help of the image of this object on photoelectric Layers, such as in handling machines (industrial robots, manipulators) can be applied.

Die bekannten Handhabeautomaten sind im allgemeinen blind.The known automatic handling machines are generally blind.

Die zu greifenden Objekte m üssen daher mit anderen Mitteln, z.B. mechanischen Führungen, erst zurechtgelegt werden.The objects to be gripped must therefore be handled by other means, e.g. mechanical guides, first to be laid out.

Besonders schwierig gestaltet sich die Aufgabe, werni verschiedenartige Objekte in beliebiger Folge erfasst werden sollen. Das Problem ist mit der Erkennung von Schriftzeichen verwandt. Entsprechend gibt es such im mechanischen Bereich Lösungen, die die Korrelation der Abbildung mit ganz bestimmten Mustern bzw. Masken feststellen. Der elektronische Rechen- und Speicheraufwand is-t jedoch vergleichsweise sehr hoch und die Lernfähigkeit solcher Systeme ist eng begrenzt.The task turns out to be particularly difficult, werni varied Objects are to be recorded in any order. The problem is with the detection related to characters. Accordingly, there are solutions in the mechanical area, which determine the correlation of the image with very specific patterns or masks. However, the electronic computing and storage requirements are comparatively very high and the learning ability of such systems is narrowly limited.

Dic Erfindung beruht auf dem Grundgedanken, daß das abgebilde-te Objekt durch wenige charakteristische Größen definiert ist.The invention is based on the basic idea that the object depicted is defined by a few characteristic quantities.

Solche Größen sind z.B. Momente höherer Ordnung und Hauptachsen. Sie lassen sich in bekannter Weise ermitteln, wenn der zu identifizierende Gegenstand auf einem abtastbaren Rasterfeld abgebildet wird. Der Elektronikaufwand für Rechner- und Speichereinheit ist jedoch relativ groß, besonders wenn die Verarbeitungsgeschwindigkeit den praktischen Erfordernissen bei Handhabeautomater entsprechen soll.Such quantities are e.g. moments of higher order and principal axes. she can be determined in a known manner when the object to be identified is imaged on a scannable grid field. The electronics effort for computer and storage unit, however, is relatively large, especially when the processing speed should correspond to the practical requirements of automatic handling equipment.

Es ist deshalb Aufgabe der Erfindung, einerseits den Rechneraufwand drastisch zu verringern und andererseits die zum Identifizieren erforderlichen Daten und den zugehöl igen Speiche raufwand klein zu halten.It is therefore the object of the invention, on the one hand, to reduce the complexity of the computer drastically reduce and on the other hand the data required for identification and to keep the associated storage costs small.

Erfindungsgemäß wird dies dadurch erreicht, daß lichtdurchlässige Filter benutzt werden, deren Lichtdurchlässigkeit einer oder mehreren Funktionen folgt und deren zugehörige lichtempfindliche Schichten in elektrisch voneinander isolierte Sektoren aufgeteilt sind und deren Signale für die Erfassung und Positionierung eines Objektes weiterverarbeitet werden.According to the invention this is achieved in that translucent Filters are used whose light transmission has one or more functions follows and their associated photosensitive layers in electrical from each other isolated sectors are divided and their signals for detection and positioning of an object can be further processed.

der Erfindung In Ausgestaltung (werden vor fünf lichtelektrisch empfindlichen Schichten optisch wirksame Filter angeordnet, deren JJichtdurchlässigkeit in x, y-Eoordinaten den Funktionen F 1 = const # |x| F 2 = const # |y| F 3 = const # |x| # |y| F 4 = const # x2 F 5 = const # y2 folgt, werden die lichtelektrischen Signale dieser Schichten miteinander verirnüpft und einer Positionierungseinrichtung derart zugeführt, daß die Signale aus F 1 und F 2 zu Null werden, wenn die Achse des optischen Systems auf den Schwerpunkt der Abbildung zielt, ferner wird das Signal aus F 3 zu Null, wenn das Koordinatenkreuz des optischen Systems sich mit den Hauptträgheitsachsen der Abbildung des Objektes deckt. of the invention In development (are in front of five photoelectrically sensitive Layers of optically effective filters are arranged whose light permeability in x, y coordinates correspond to the functions F 1 = const # | x | F 2 = const # | y | F 3 = const # | x | # | y | F 4 = const # x2 F 5 = const # y2 follows, the photoelectric signals these layers are linked to one another and a positioning device in such a way supplied that the signals from F 1 and F 2 to zero be when the axis of the optical system is aimed at the center of gravity of the image, furthermore the signal from F 3 becomes zero when the coordinate system of the optical system coincides with the main axes of inertia of the image of the object.

Die Teilsignale der voneinander isolierten Sektoren werden miteinander verknüpft und/oder zur Identifizierung und Codierung herangezogen.The partial signals of the sectors isolated from one another are mutually exclusive linked and / or used for identification and coding.

In einer weiteren Ausgestaltung finden bei einer Vororientierung der Winkellage des Objektes weniger als fünf Filter und zugehörige lichtelektrische Schichten Anwendung. Dabei wird nur ein Filter benutzt, bei dem die LichtdurchlässigkeiW monoton radial zunimmt.In a further embodiment, the Angular position of the object less than five filters and associated photoelectric Layers application. Only one filter is used in which the light permeability increases monotonously radially.

Der Vorteil der Erfindung liegt in erster Linie darin, daß mit Hilfe der durch die lichtempfindlichen Schichten erzeugten Signale ohne digitalen Rechenaufwand die erforderlichen Manipulationen zum Erfassen des Gegenstandes vorgenommen werden könnten. Vorteilhaft ist weiter, daß dadurch und ganz besonders bei einer Vororientierung des zu erkennenden Objektes, wenn es beispielsweise auf einem Förderband liegt, die Anzahl der verwendeten Filter und damit der Schaltungs- und Geräteaufwanl drastisch reduziert wird.The advantage of the invention is primarily that with the help of the signals generated by the light-sensitive layers without digital computing effort the necessary manipulations to grasp the object are carried out could. It is also advantageous that as a result, and especially in the case of a pre-orientation the object to be recognized, for example if it is on a conveyor belt, the number of filters used and thus the circuit and device costs are drastic is reduced.

Ein Ausführungsbeispiel ist nachstehend anhand der Zeichnung näher erläutert.An exemplary embodiment is detailed below with reference to the drawing explained.

Das zu erfassende Objekt 1 wird über die Optik 2 in dem Bildvervielfacher 3 abgebildet. Dieser liefert fünf gleichartige Bilder, die über nachgeschaltete Funktior-swilter 4 und lichtempfindliche Zellen 5 die Signale zur Verstellung eines nicht dargestellten Manipulators liefern. Ein Stellmotor 6 verschiebt die optische Achse in x-Richtung, Stellmotor 7 in y-Richtung. Die Motoren kommen zur Ruhe, wenn die optische Achse den Schwerpunkt der Abbildung trifft. Die fünf Filter 4 sind mit F 1 bis F 5 bezeichnet.The object 1 to be detected is via the optics 2 in the image multiplier 3 pictured. This provides five images of the same type, which are followed by Functional swilter 4 and light-sensitive cells 5 the signals for adjusting a deliver manipulator not shown. A servomotor 6 moves the optical Axis in x-direction, servomotor 7 in y-direction. The engines come to rest when the optical Axis hits the center of gravity of the figure. The five Filters 4 are denoted by F 1 to F 5.

Die Winkellage der Hauptachse wird aus der Verdrehung einer Drehspule 12 abgeleitet, die sich im Feld von vier gekreuzten Magnetspulen 8, 9, 10 und 11 befindet, deren Erregung von den Funktionsfiltern F 3, F 4 und F 5 bestimmt wird.The angular position of the main axis is derived from the rotation of a moving coil 12, which are located in the field of four crossed magnetic coils 8, 9, 10 and 11 is located, the excitation of which is determined by the function filters F 3, F 4 and F 5.

Das erfindungsgemäße Verfahren Sie'ilt dementsprechend vor, daS$ zu erkennende Objekt optisch zu erfassen, sein Bild in bekannter Weise zu vervielfachen und jeweils über die Filter F 1 bis F 5 auf die lichtemfpindlichen Sensoren 5 weiterzuleiten.The method according to the invention accordingly takes precedence over that to capture the recognizing object optically, to multiply its image in a known manner and forward them to the light-sensitive sensors 5 via the filters F 1 to F 5.

Die Lichtdurchlässigkeit dieser Filter F 1 bis F 5 folgt von der Mitte ausgehend monotonen Funkt@enen in x, y-Koordinaten, wie z.B.The light transmission of these filters F 1 to F 5 follows from the center starting from monotonic functions in x, y-coordinates, e.g.

F 1 = const ixl F 2 = const # |y| F 3 = const lxi . F 1 = const ixl F 2 = const # | y | F 3 = const lxi.

F 4 = const x2 x2 F 5 = const # y2 Die über die Filter Fl und F2 abgeleiteten Signale liefern den Flächenschwerpunkt der Abbildung. Über F 3 läßt sich das sogenannte Zentrifugalmoment ableiten, über F 4 und F 5 die Trägheitsmomente um die y- bzw. x-Achse. F 4 = const x2 x2 F 5 = const # y2 The filters Fl and F2 derived signals provide the center of gravity of the figure. About F 3 lets the so-called centrifugal moment can be derived from F 4 and F 5 the moments of inertia around the y or x axis.

Während mittels der Filter F 1 und F 2 die Optik 2 automatisch den Schwerpunkt der Abbildung trifft,erfolgt die Verdrehung nach der Hauptträglritsachse der Abbildung ebenfalls selbsttätig, wenn die zu F 3 bis F 5 gehörenden Signale in dem Kreuzspulmeßwerk in geeigneter Weise zu einem Stellbefehl verknüpft werden. Denn der Winkel für die Trägheitsachse des zu erkennenden Objektes ergibt sich in bekannter Weise aus 2 # F 3 α = ½ # arc tg F 4 - F 5 Somit nimmt der Manipulator bei jedem Gegenstand eine ganz bestimmte Stellung ein, die durch Schwerpunkt und Hauptachse festgelegt ist. Der Einstellyorgang beruht auf Nullabgleichen.While using the filters F 1 and F 2, the optics 2 automatically When the center of gravity of the figure meets, the rotation takes place according to the main axis of rotation the figure also automatically when the signals belonging to F 3 to F 5 be linked in a suitable manner to an actuating command in the cross-coil measuring mechanism. Because the angle for the axis of inertia of the object to be recognized results in a known way from 2 # F 3 α = ½ # arc tg F 4 - F 5 Thus the manipulator assumes a very specific position for each object, the is determined by the center of gravity and the main axis. The setting organ is based on Zeroing.

h1derungen der Speisespannung und der Bildhelligkeit sind daher ohne wesentlichen Einfluß.Changes in the supply voltage and the image brightness are therefore without significant influence.

Zum Erkennen bzw. Einordnen des Gegenstandes werden die Absolutwerte uns,-der dG Verhältnis der Signale F 4 zu F 5 benutzt Diese Größen werden z.B. in bekannter Weise digitalisiert und mit entsprechenden Speicherdaten verglichen, worauf die zugeordneten Stellbefehle erfolgen Ein wesentliches Merkmal des erfindungsgemäßen Verfahrens liegt darin, daß die lichtempfindlichen Schichten aus elektrisch voneinander isolierten Sektoren bestehen, vorzugsweise entsprechend den Quadranten der vorgeschalteten Funktionsfilter, und daß die Teilsignale dieser Sektoren in geeigneter Verknüpfung weiterverarbeitet werden können. Hierdurch kommt man in vielen Fällne, wenn die Achse des Gegenstandes schon ungefähr die Sollage besitzt, mit einem einzigen Funktionsfilter aus, dessen Lichtdurchlässigkeit zu B. radialsymmetrisch monoton zunimmt Dadurch wird in vorteilhafter Weise eine starke Reduzierung der verwendeten Bauteile verbunden mit einer erheblichen Kosteneinsparung erzielt.The absolute values are used to recognize or classify the object us, -the dG ratio of the signals F 4 to F 5 is used.These quantities are e.g. in digitized in a known manner and compared with corresponding memory data, whereupon the assigned control commands take place An essential feature of the invention Method is that the photosensitive layers are electrically separated from each other isolated sectors exist, preferably corresponding to the quadrants of the upstream Function filter, and that the partial signals of these sectors in a suitable combination can be further processed. This is how you get in many cases when the The axis of the object already has approximately the target position, with a single function filter whose light permeability increases monotonically to B. radially symmetrically a significant reduction in the number of components used is advantageously associated achieved with a significant cost saving.

Da das zu erkennende Objekt optisch unter Zwischenschaltung besonderer Filter auf einer lichtempfindlichen Schicht abgebildet wird, kann die Filterdurchlässigkeit so ausgelegt werden, daß beliebige Objekte durch Vergleich mit bekannten" in einem Datenspeicher vorhandenen Kennwerten wiedererkannt werden. Die Erkennung ist insbesondere von der Lage in dem Sichtfeld unabhängig, d.h., das erfindungsgemäße System kann auch zwischen einer Istlage und einer Sollage vergleichen und entsprechende Steuersignale abgeben.Because the object to be recognized is optically special Filter is imaged on a light-sensitive layer, the filter permeability be designed in such a way that any objects can be compared with known " in characteristic values present in a data memory can be recognized. The detection is in particular independent of the position in the field of view, i.e. the one according to the invention The system can also compare between an actual position and a target position and make appropriate Issue control signals.

Claims (6)

PatentansprücheClaims 1. Opto-elektronisches Verfahren zum Erkennen und Positionieren eines Objektes mit Hilfe der Abbildung dieses Objektes auf lichtelektrischen Schichten, dadurch gekennzeichnet, daß lichtdurchlässige Filter (4) benutzt werden, deren Lichtdurchlässigkeit einer oder mehreren Funktionen folgt und deren zugehörige lichtempfindliche Schichten (5) in elektrisch voneinander isolierte Sektoren aufgeteilt sind und deren Signale für die Erfassung und Positionierung eines Objektes (1) weiterverarbeitet werden.1. Opto-electronic method for recognizing and positioning a Object with the help of the mapping of this object on photoelectric layers, characterized in that transparent filters (4) are used, the transparency of which follows one or more functions and their associated photosensitive layers (5) are divided into electrically isolated sectors and their signals for the detection and positioning of an object (1) are further processed. 2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß vor fünf lichtelektrischen Schichten (5) optisch wirksame Filter (4) angeordnet sind, deren lichtdurchlässigkeit in x, y-Koordinaten den Funktionen F 1 = const # |x| F 2 = const tyl F 3 = const e Ixl e fyl F 4 = const x2 F 5 = const y2 folgt, daß die lichtelektrischen Signale dieser Schichten (5)~miteinander verknüpft und einer Pcsitionierungseinrichtung derart zugeführt werden, daß die Signale aus F 1 und F 2 zu Null werden, wenn die Achse des optischen Systems auf den Schwerpunkt der Abbildung zielt, daß ferner das Signal aus F 3 zu Null wird, wenn das.Koordinatenkreuz des optischen Systems sich mit den Hauptträgheitsachsen der Abbildung des Objektes (l) deckt.2. The method according to claim 1, characterized in that before five photoelectric layers (5) optically effective filters (4) are arranged, the translucency in x, y coordinates to the functions F 1 = const # | x | F 2 = const tyl F 3 = const e Ixl e fyl F 4 = const x2 F 5 = const y2 it follows that the photoelectric Signals from these layers (5) are linked to one another and a positioning device are supplied in such a way that the signals from F 1 and F 2 become zero when the Axis of the optical system on the focus of the image aims that further the signal from F 3 becomes zero when the coordinate cross of the optical system coincides with the main axes of inertia of the image of the object (l). 3. Vorfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, daß bei einer Vororientierung der Winkellage des Objektes weniger als fünf Filter und zugehörige lichtelektrische Schichten Anwendung finden.3. Ancestors according to one of claims 1 or 2, characterized in that that with a pre-orientation of the angular position of the object fewer than five filters and associated photoelectric layers are used. 4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß nur ein Filter benutzt wird, bei dem die Lichtdurcklässigkeit monoton radial zunimmt.4. The method according to claim 3, characterized in that only one Filter is used in which the light transmittance increases monotonically radially. 5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß die Teilsignale der voneinander isolierten Sektoren miteinander verknüpft und/oder zur Identifizierung und Codierung des Cbjektes herangezogen werden.5. The method according to any one of claims 1 to 4, characterized in that that the partial signals of the sectors isolated from one another are linked and / or can be used to identify and code the object. 6. Verfahren nach einem der Ansprüche l bis 5, dadurch gekennzeichnet, daß die über die Filter F 3 bis F 5 erzeugten Ströme derart verknüpft werden, daß das resultierende Signal dem Verdrehungswinkel der Hauptträgheitsachse der Abbildung des Objektes entspricht.6. The method according to any one of claims l to 5, characterized in that that the currents generated via the filters F 3 to F 5 are linked in such a way that the resulting signal corresponds to the angle of rotation of the main axis of inertia of the figure of the property.
DE2443265A 1974-09-10 1974-09-10 Optic-electronic method recognising and position objects - on a series of light sensitive layers Pending DE2443265A1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE2443265A DE2443265A1 (en) 1974-09-10 1974-09-10 Optic-electronic method recognising and position objects - on a series of light sensitive layers
CH1035675A CH592923A5 (en) 1974-09-10 1975-08-08
SE7510016A SE7510016L (en) 1974-09-10 1975-09-09 OPTOELECTRONIC PROCEDURE FOR DETERMINING AND SETTING UP AN OBJECT
NO753084A NO753084L (en) 1974-09-10 1975-09-09

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE2443265A DE2443265A1 (en) 1974-09-10 1974-09-10 Optic-electronic method recognising and position objects - on a series of light sensitive layers

Publications (1)

Publication Number Publication Date
DE2443265A1 true DE2443265A1 (en) 1976-03-18

Family

ID=5925323

Family Applications (1)

Application Number Title Priority Date Filing Date
DE2443265A Pending DE2443265A1 (en) 1974-09-10 1974-09-10 Optic-electronic method recognising and position objects - on a series of light sensitive layers

Country Status (4)

Country Link
CH (1) CH592923A5 (en)
DE (1) DE2443265A1 (en)
NO (1) NO753084L (en)
SE (1) SE7510016L (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0020897A2 (en) * 1979-06-26 1981-01-07 International Business Machines Corporation Device for determining the optimum scanning angle of printed matter

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0020897A2 (en) * 1979-06-26 1981-01-07 International Business Machines Corporation Device for determining the optimum scanning angle of printed matter
EP0020897A3 (en) * 1979-06-26 1982-04-28 International Business Machines Corporation Device for determining the optimum scanning angle of printed matter

Also Published As

Publication number Publication date
NO753084L (en) 1976-03-11
SE7510016L (en) 1976-03-11
CH592923A5 (en) 1977-11-15

Similar Documents

Publication Publication Date Title
EP0152594B1 (en) Means for recording, analysing by measuring techniques, and/or controlling successive phases of technical processes
EP0979990B1 (en) Device for starting technical controlling operations and/or for starting the execution of technical functions
DE1034690B (en) Arrangement for setting the coordinate position of a point light source on a surface as a function of binary encrypted signals
DE2725617A1 (en) METHOD AND ARRANGEMENT FOR DISTANCE MEASUREMENT
DE102019110882A1 (en) Securing a moving machine part
DE2702452A1 (en) DETECTION DEVICE
DE3203897C2 (en)
DE2443265A1 (en) Optic-electronic method recognising and position objects - on a series of light sensitive layers
EP1146353A2 (en) Optoelectronic sensor device and method of operating an optoelectronic sensor device
DE2749682C2 (en)
DE2841748C1 (en) Search head, especially for automatic target tracking
DE102014224599A1 (en) Method for operating an input device, input device
DE2403698C2 (en) Method and device for determining the spatial position of robot limbs
DE1448536B1 (en) Device for evaluating two stereophotographic, translucent images
EP3582140B1 (en) System for the automatic recognition of laboratory work objects and method for operating a system for automatic recognition of laboratory work objects
DE3205189A1 (en) Arrangement for detecting an orientation symbol
EP0039944B1 (en) Mirror reflex camera with an opto-electronic rangefinder
EP0039942A1 (en) Mirror reflex camera having a built-in opto-electronic rangefinder in the area of the view-finder eye-piece
DE2055786C3 (en) Device for optical character recognition
DE3234608A1 (en) Method and circuit arrangement for generating a position-independent object signature
DE102014114272B4 (en) Method for controlling a robot arrangement guided by image acquisition
Eross et al. Optical tracking system for automatic guided vehicles using cellular neural networks
DE2238766C3 (en) Device for recognizing signs attached to diffusely scattering carriers
DE2039849C (en) Light signal button with a motor-driven slide
DE10139596A1 (en) Method of positioning an object on a target

Legal Events

Date Code Title Description
OHJ Non-payment of the annual fee