EP1435065A1 - Automatische ermittlung von geometrischen modellen für optische teilerkennungen - Google Patents

Automatische ermittlung von geometrischen modellen für optische teilerkennungen

Info

Publication number
EP1435065A1
EP1435065A1 EP02774450A EP02774450A EP1435065A1 EP 1435065 A1 EP1435065 A1 EP 1435065A1 EP 02774450 A EP02774450 A EP 02774450A EP 02774450 A EP02774450 A EP 02774450A EP 1435065 A1 EP1435065 A1 EP 1435065A1
Authority
EP
European Patent Office
Prior art keywords
model
groups
features
describing
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP02774450A
Other languages
English (en)
French (fr)
Inventor
Wilhelm Beutel
Christian Hoffmann
Kai BARBEHÖN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of EP1435065A1 publication Critical patent/EP1435065A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries

Definitions

  • the invention relates to the generation of a model which represents an image object class and thus serves as a recognition model for new members of this class.
  • optical and / or acoustic methods are used to control workpieces in production, quality control or identity recognition.
  • the methods used must be highly adaptive and stable, since physical changes in the products to be tested usually vary due to poor quality, orientation, or damage, as well as different lighting conditions, the properties of the object to be examined.
  • the recognition of objects or patterns is known to be carried out by means of digital image and signal recording technology, to which image and signal processing routines for classifying the objects or patterns are added.
  • the routines use methods in which the image objects occurring in the digital images are analyzed on the basis of shape features such as gray value contours, texture, and also edges, corners and straight lines.
  • shape features such as gray value contours, texture, and also edges, corners and straight lines.
  • shape features such as gray value contours, texture, and also edges, corners and straight lines.
  • shape features such as gray value contours, texture, and also edges, corners and straight lines.
  • the particularly characteristic, reliable and descriptive shape features of an object are combined to form a model. Different shape features " lead to different models.
  • the object is placed under a camera and recorded.
  • the resulting images are first analyzed for the shape characteristics of the objects in the image.
  • shape characteristics such as straight lines, corners, circles, lines or parts of surfaces recognized, extracted from the image and summarized in a model.
  • the selection of the shape features suitable for the models is based on a statistical assessment of all extracted features from many images.
  • the measured values of the features initially scatter randomly around an average value due to lighting differences, object differences and camera noise.
  • the complications introduced here are currently compensated for by an interactive process with a specialist, whereby the models are generally created and tested by a specialist.
  • the formation of groups which are used in the invention is a result of a similarity determination of the shape features generated from the images.
  • the development of groups that are used to create a model is based on similarities such as Feature type, length, angle, form factor, area or brightness. Similar features are grouped. In this method, for example, a group could represent the size of an area with a certain brightness or an edge shape with a certain intensity. More information from a new picture, such as a similar brightness distribution or edge shape are then added to the existing groups.
  • the invention is therefore based on the object of specifying a method for the automatic generation of models in which an automatic detection of object-describing features leads to the representative strength of the models compared to the objects to be recognized and thus enables a cost-effective adaptivity of a recognition system.
  • the invention essentially consists in the fact that groups of shape features, which can be properties of an image object, by adding further shape features that are similar to existing group shape features, are based on a control with selectable threshold values and the inclusion of additional information depending on the changed circumstances complete the object and thus approximately represent an object class to be recognized.
  • the model generated in this way can be used in a first step for optical partial recognition.
  • the features of the object recognized by the partial recognition can lead to an expansion and completion of the model.
  • a selection of image signal information is acquired in an object-describing group which has object-describing shape features.
  • First similarity criteria lead to the decision whether an object descriptive characteristic can be assigned to the group.
  • a selectable threshold enables the decision whether the group becomes part of the recognition model, at least strong groups being used for a model for partial recognition of an object. The strength is determined according to the number of group features, further image recordings being carried out after the generation of a first model, and new features describing the object can thus be obtained.
  • Partial recognition is understood to mean, in particular, a recognition of a part of an image object that clearly has the most important features of the object or a specific feature.
  • the method is optimally carried out in such a way that further object-describing features are added to the already existing groups in accordance with a similarity determination until the groups no longer change significantly.
  • These statistical values can be mean values and / or maximum values and scatter measurement values can be stored for each feature describing the object, these measurement values being used to characterize a model.
  • one of the optical ones is identified based on a first partial recognition
  • Image acquisition axis of the displaced object, transformation coefficients for the displaced object position, and obtained with the shape features of the moved object are added to a reverse transformation with sufficient similarity to the corresponding already existing groups, as a result of which larger groups can be generated.
  • the transformation coefficients describe a change in size and / or a change in position of the object.
  • a further step in the generation of a robust geometric model is achieved by creating mapping equations for the relative position determination of an object feature, taking into account the image recording technique and the perspective distortion from an object position.
  • an object-describing model can be generated from a central location in the recording field and this model can be used for partial recognition of appropriately moved objects in order to generate a more extensive model for at least one further object location, the appropriate displacement being carried out in all directions and for each Step the model is adjusted.
  • Figure 2 shows a process for expanding a model taking into account difficult image recording circumstances
  • Figure 3 shows a process for expanding a model taking into account perspective differences and properties of the recording electronics
  • FIG. 1 shows the process for developing a geometric model with the help of thresholds and similarity determinations.
  • the provisional procedure for generating a first geometric model is indicated by A.
  • the image acquisition of an object is specified in step 1 and is followed by a feature extraction in step 2.
  • the extent of a desired similarity is determined by thresholds for the similarity of each feature in step 3. Since features that have to be extracted from many images, the above steps are carried out several times.
  • the recorded shape features have scattering, which initially characterize a group of similar features in the form of feature mean values or scattering. These mean values or measures of scatter serve as a further basis for evaluating the similarity of a candidate to be newly admitted to the group, for example from a newly recorded image. These statistical values can be saved or saved at the latest in step 9.
  • step 4 The following sequence for storing a group of shape features is represented in FIG. 1 with step 4. This step is outside of both frames A and B shows that the groups are used both in process A and in process B. The number of members assigned to a group is saved as a group strength.
  • the feature similarity thresholds By appropriate selection of the feature similarity thresholds, similar, new features are added to the group, i.e. the group grows in number of members and thus in group strength. For example, the distance of a new feature to the calculated mean of the previously accepted members of a group can be used for a similarity value. A lower and / upper threshold for this distance would be referred to as a threshold in this example. A further threshold can be used from a minimum number of object-describing features, which are each assigned to corresponding groups). Less similar features are excluded from the group. A larger group contains more information about the object described more precisely by the group or by the scatter values.
  • the average of the set of all features contained in the group is suitable for the description of a model, for example for the representation of brightness distributions.
  • a maximum of the set of all features contained in the group would be suitable in order to be able to recognize straight lines with a maximum length from future images.
  • a particular advantage of the above-mentioned method is that the larger the number of group members, the more precisely an ideal mean value can be calculated and the geometry of the object to be recognized can be described.
  • the strong Groups represent those shape features that are extracted particularly reliably from the images and are therefore well suited for describing the object for partial recognition.
  • Step 5 merged for part recognition. It is preferred to use strong groups from step 4, since these groups represent those shape features that are extracted particularly reliably and repeatably from the recorded images and are therefore optimally suited for describing the object or model for at least one partial recognition.
  • the model is used for a first partial recognition or position determination for the object to be recognized. However, this model is not sufficient to perform partial recognition with high accuracy under difficult circumstances. However, based on this model basis, as explained below, there is a possibility of generating a more robust model.
  • differences between captured images must be taken into account, e.g. Differences due to camera noise, lighting differences or changed camera perspectives.
  • step 6 After the generation of the first model, further image recordings are made in step 6 under changed circumstances and the descriptive shape features of these images are extracted therefrom in step 7. This are further compared with the existing groups from step 4 and are included in the groups if they are sufficiently similar. Thresholds that may have been changed under the new circumstances can be used with step 8. Overall, very small groups (which did not contribute to the first model) can therefore continue to grow initially. Then, in step 10, a further model is derived from the groups, which represents a more complete and reliable description of the object. This process of change is repeated a few times until the groups no longer change significantly.
  • the change in position and size of the object is determined on the basis of an existing model with partial recognition from step 1 of FIG. 2, since at least partial recognition is possible even with shape features that have been changed in perspective.
  • the differences between the new position thus determined and the position of the model (which contains the first, undistorted object position) define those for a reverse transformation. on necessary coefficients. These differences are carried out with the evaluation shown in step 2.
  • the object recognized with the partial recognition is shown in the left graphic and the distorted object in the right graphic.
  • the transformation is shown using the dashed arrow and the changed coordinates x-> x ⁇ and y-> y ⁇ .
  • the results of the transformation can first be saved in a step 3.
  • the scatter parameters of the groups show how strongly the feature parameters will scatter during the partial recognition for the different image recording conditions.
  • measurement values are stored in the recognition model for each characteristic, which characterize this scatter and, in the recognition, for the tolerance of small deviations between the parameters of the model features and those of the new ones generated from the image recordings Characteristics. These scatter measurement values are called tolerances and are derived from the scatter parameters of the groups during model generation.
  • the recognition model must take these differences in distance into account so that the influence of the object position in the image on the mutual ge location of the shape features, ie, the influence of perspective distortion can be taken into account.
  • recognition models can be generated automatically for different object positions in the image, in which the mutual position of the shape features in the image (2-D) is different due to the perspective distortion.
  • This process is shown in Figure 3.
  • the perspective image of the camera K and the optics is modeled and a system of imaging equations is created for each object position, which can be done, for example, with an evaluation unit A.
  • the system of equations is then solved for the unknown distances of the features.
  • These distances can also be specified relative to a basic distance (e.g. relative to the table level on which the object is moved). Then they are called feature heights.
  • a model is first created in the middle of the image. Then the object is shifted towards the edge of the image in small steps, the model being adapted to the new object position, ie to the new perspective distortion, with regard to its position parameters after each shift step and after the partial recognition with position calculation. " After some of these adjustment steps, a distance from the optical center (or a relative height above the plane of displacement) can be calculated for each shape feature by comparison with the original model for the center of the image. This shift is calculated in different directions (e.g. in the four Corners of the Image). The distance from the optical center for each shape feature can be determined with the greatest accuracy by means of a compensation calculation over all displacement steps.
  • the invention is optimally used in industrial production systems for automatic optical part recognition.
  • the invention has the task of determining the position or the installation location of objects, parts or workpieces in the production process and / or of recognizing their type or identity.
  • the invention can be used in a quality control to check completeness, manufacturing errors, damage or other quality defects of objects.
  • the images could be recorded using a camera, suitable robotics and a computer arrangement.
  • the robotics would ensure that the objects to be captured are placed under the camera under different circumstances.
  • the camera would first use the commands of a computer to record areas of the image which can first be stored and evaluated by a suitable, stored computer program according to the inventive method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung besteht im wesentlichen darin, dass Gruppen von Formmerkmalen, welche Eigenschaften eines Bildobjektes sein können, durch Hinzunahme von weiteren Formmerkmalen, die eine Ähnlichkeit mit existierenden Gruppenformmerkmalen aufweisen, sich anhand einer Kontrolle mit auswählbaren Schwellwerten und der Aufnahme von zusätzlichen Informationen je nach geänderten Umständen des Objekts vervollständigen und somit annähernd eine zu erkennende Objektklasse repräsentieren. Das hiermit erzeugte Modell kann in einem ersten Schritt für eine optische Teilerkennung verwendet werden. In einem zweiten Schritt können die Merkmale des durch die Teilerkennung erkannten Objekts zu einer Erweiterung und Vervollständigung des Modells führen. Es ergibt sich der Vorteil, dass die Notwendigkeit einer interaktiven Kontrolle des Erkennungssystems mit einem Fachmann erspart wird und Modelle mit hoher Repräsentationsstärke erzeugt werden können.

Description

Beschreibung
Automatische Ermittlung von geometrischen Modellen für opti- sehe Teilerkennungen
Die Erfindung betrifft die Erzeugung eines Modells, welches eine Bildobjektklasse repräsentiert und somit als Erkennungsmodell für neue Mitglieder dieser Klasse dient.
In vielen Bereichen der Industrie werden optische und / oder akustische Verfahren zur Kontrolle von Werkstücken in der Produktion, Qualitätskontrolle oder Identitätserkennung verwendet. Zusätzlich zur Erkennung von Produkten müssen die verwendeten Verfahren eine hohe Adaptivität und Stabilität aufweisen, da in der Regel physikalische Veränderungen der zu prüfenden Produkte aufgrund schlechter Qualität, Orientierung, oder Beschädigungen sowie unterschiedliche Beleuch- tungsumstände die Eigenschaften des zu untersuchenden Objek- tes variieren.
Die Erkennung von Objekten oder Muster wird bekannterweise mittels digitaler Bild- und Signalaufnahmetechnik ausgeführt, der Bild- und Signalverarbeitungsroutinen für die Klassifi- zierung der Objekten oder Muster hinzugefügt werden. Die Routinen verwenden Verfahren, bei denen die in den digitalen Bildern vorkommenden Bildobjekte anhand von Formmerkmalen wie Grauwertkonturen, Textur sowie Kanten, Ecken, Geradenstücke analysiert werden. Dabei werden die besonders charakteristi- sehen, zuverlässigen und beschreibenden Formmerkmale eines Objekts zu einem Modell zusammengefasst . Unterschiedliche Formmerkmale" führen dabei zu unterschiedlichen Modellen.
Für die Aufnahme des zu untersuchenden Objektes wird das Ob- jekt unter eine Kamera gelegt und aufgenommen. Die resultierenden Bilder werden zunächst nach Formmerkmalen der im Bild vorkommenden Objekte analysiert. Somit werden besonders cha- rakteristische Formmerkmale wie Geradenstücke, Ecken, Kreise, Linien oder Flächenteile erkannt, aus dem Bild extrahiert und in einem Modell zusa mengefasst . Dabei beruht die Auswahl der für die Modelle geeigneten Formmerkmale auf einer statisti- sehen Bewertung aller extrahierten Merkmale aus vielen Bildern. Die Messwerte der Merkmale streuen zunächst zufällig um einen Mittelwert aufgrund von Beleuchtungsunterschieden, Objektunterschieden und Kamerarauschen. Die hiermit eingeführten Komplikationen werden z.Z. durch ein interaktives Verfah- ren mit einem Fachmann ausgeglichen, wobei die Modelle grundsätzlich von einem Fachmann erstellt und erprobt werden.
Die Bildung von Gruppen, welche in der Erfindung zur Verwendung kommen, ist ein Resultat einer Ähnlichkeitsbestimmung der aus den Bildern erzeugten Formmerkmale. Die Entwicklung von Gruppen, die zur Erzeugung eines Modells dienen, wird anhand von Ähnlichkeiten wie z.B. Merkmalsart, Länge, Winkel, Formfaktor, Fläche oder Helligkeit ausgeführt. Ähnliche Merkmale werden in Gruppen geordnet. In diesem Verfahren könnte bspw. eine Gruppe die Größe einer Fläche mit einer bestimmten Helligkeit oder eine Kantenform mit einer bestimmten Intensität darstellen. Weitere Informationen aus einem neuen Bild, wie z.B. eine ähnliche Helligkeitsverteilung oder Kantenform, werden anschließend zu den bereits existierenden Gruppen hin- zugefügt.
Da eine Variation der Objekteigenschaften die automatische Erzeugung eines repräsentativen Modells, und die dafür notwendigen Gruppen, verkompliziert und in der Regel sogar ver- bietet, wird, wie bereits erläutert, der interaktive Einsatz eines in dem Bereich erfahrenen Technikers notwendig. Da dieser Einsatz "allerdings auf keiner festen, logischen Grundlage beruht, kann die Qualität, d.h. die Güte der Modelle, nicht garantiert werden. Die Folgen der genannten Nachteile führen zu einem erheblichen Kostenaufwand für den Einsatz des Fachmanns und zu einem Mangel an stabiler Adaptivität des Erken- nungssystems, d.h. die fehlende „Güte" der gesammelten Formmerkmalen, Gruppen und der daraus resultierenden Modelle.
Somit liegt der Erfindung die Aufgabe zugrunde, ein Verfahren für die automatische Erzeugung von Modellen anzugeben, bei dem eine automatische Erfassung von objektbeschreibenden Merkmalen zur repräsentativen Stärke der Modelle gegenüber den zu erkennenden Objekten führt und somit eine kostengünstige Adaptivität eines Erkennungssystems ermöglicht wird.
Die Aufgabe wird durch die Merkmale des Patentanspruchs 1 gelöst. Bevorzugte Weiterbildungen der Erfindung ergeben sich aus den Unteransprüchen.
Die Erfindung besteht im wesentlichen darin, dass Gruppen von Formmerkmalen, welche Eigenschaften eines Bildobjektes sein können, durch Hinzunahme von weiteren Formmerkmalen, die eine Ähnlichkeit mit existierenden Gruppenformmerkmalen aufweisen, sich anhand einer Kontrolle mit auswählbaren Schwellwerten und der Aufnahme von zusätzlichen Informationen je nach geänderten Umständen des Objekts vervollständigen und somit annähernd eine zu erkennende Objektklasse repräsentieren. Das hiermit erzeugte Modell kann in einem ersten Schritt für eine optische Teilerkennung verwendet werden. In einem zweiten Schritt können die Merkmale des durch die Teilerkennung erkannten Objekts zu einer Erweiterung und Vervollständigung des Modells führen.
Es ergibt sich der Vorteil, dass die Notwendigkeit einer in- teraktiven Kontrolle des Erkennungssystems mit einem Fachmann erspart wird und Modelle mit hoher Repräsentationsstärke erzeugt werden können.
Beim Verfahren zur automatischen Erzeugung eines objekt- beschreibenden Modells, wird eine Auswahl von Bildsignalinformationen in einer objektbeschreibenden Gruppe erfasst, welche objektbeschreibende Formmerkmale aufweist. Zunächst führen Ähnlichkeitskriterien zur Entscheidung, ob ein objektbeschreibendes Merkmal der Gruppe zugeordnet werden kann. Eine auswählbare Schwelle ermöglicht die Entscheidung, ob die Gruppe zum Bestandteil des Erkennungsmodells wird, wobei min- destens starke Gruppen für ein Modell für eine Teilerkennung eines Objektes verwendet werden. Die Stärke wird je nach Anzahl der Gruppenmerkmale bestimmt, wobei nach der Generierung eines ersten Modells weitere Bildaufnahmen ausgeführt werden, und somit neue objektbeschreibende Merkmale gewonnen werden können. Diese Merkmale unterliegen einer Ähnlichkeitsbestimmung und können zu bereits existierenden Gruppen hinzugefügt werden, wodurch die Gruppen sich weiterhin vervollständigen können.
Dabei wird unter „Teilerkennung" insbesondere eine Erkennung eines Teils eines Bildobjektes verstanden, das die wesentlichsten Merkmale des Objekts oder ein bestimmtes Merkmal deutlich aufweist.
Das Verfahren wird optimal derart ausgeführt, dass weitere objektbeschreibende Merkmale gemäß einer Ähnlichkeitsbestimmung den bereits existierenden Gruppen solange hinzugefügt werden, bis die Gruppen sich nicht mehr wesentlich ändern.
Es wird bevorzugt, statistische Werte zur Bestimmung eines
Ähnlichkeitsmaßes zwischen bereits in den Gruppen aufgenommenen Merkmalen und neuen Merkmalen zu verwenden.
Dabei können diese statistischen Werte Mittelwerte und/oder Maximumwerte sein und Streuungsmesswerte für jedes objektbeschreibenden Merkmal gespeichert werden, wobei diese Messwerte zur Charakterisierung eines Modells herangezogen werden.
In einer äußerst wichtigen Weiterbildung der Erfindung werden anhand einer ersten Teilerkennung eines von der optischen
Bildaufnahmeachse verschobenen Objekts, Transformationskoeffizienten für die verschobene Objektlage gewonnen, und mit einer Rücktransformation die Formmerkmale des verschobenen Objekts bei genügender Ähnlichkeit zu den entsprechenden bereits bestehenden Gruppen hinzugefügt, wodurch umfangreichere Gruppen erzeugt werden können.
Die Transformationskoeffizienten beschreiben dabei eine Größenänderung und/oder eine Lageänderung des Objekts.
Für eine erhöhte Robustheit des Erkennungssystems werden Bilder unter erschwerten Umständen, geänderten Bildaufnahmebedingungen, geänderter Beleuchtung, oder geänderter Objektposition aufgenommen. Aus den Bildern werden zunächst Objektmerkmale extrahiert welche nach einer Ähnlichkeitsbestimmung zu bereits existierenden Gruppen hinzugefügt werden und somit die Gruppen umfangreicher werden.
Ein weiterer Schritt zur Erzeugung eines robusten geometrischen Modells wird dadurch erreicht, dass unter Berücksichtigung der Bildaufnahmetechnik und der perspektivischen Verzer- rung aus einer Objektlage Abbildungsgleichungen zur relativen Positionsbestimmung eines Objektmerkmals erstellt werden.
Zusätzlich oder Alternativ kann ein objektbeschreibendes Modell aus einer im Aufnahmefeld zentralen Lage erzeugt werden und dieses Modell für Teilerkennungen von zweckmäßig verschobenen Objekten verwendet werden um ein umfangreicheres Modell für mindestens eine weitere Objektlage zu erzeugen, wobei die zweckmäßige Verschiebung in allen Richtungen ausgeführt wird und bei jedem Schritt das Modell angepasst wird.
Es kann danach anhand einer Ausgleichsberechnung über alle Verschiebung'sschritte die relative dreidimensionale Position eines Objekts und/oder Objektmerkmals bestimmt werden.
Die Erfindung wird zunächst anhand Ausführungsbeispiele näher erläutert. Die Erfindung wird anhand von Zeichnungen und Ausführungsbeispielen näher erläutert. Dabei zeigt
Figur 1 ein Ablauf der Schritte zur Erzeugung eines geomet- rischen Modells
Figur 2 ein Ablauf zur Erweiterung eines Modells unter Berücksichtigung von erschwerten Bildaufnahmeumstän- den
Figur 3 ein Ablauf zur Erweiterung eines Modells unter Berücksichtigung perspektivischer Unterschiede und Eigenschaften der Aufnahmeelektronik
In Figur 1 ist der Ablauf zur Entwicklung eines geometrischen Modells mit Hilfe von Schwellen und Ähnlichkeitsbestimmungen angegeben. Dabei ist der vorläufige Ablauf zur Erzeugung eines ersten geometrischen Modells mit A angegeben. In Schritt 1 ist die Bildaufnahme eines Objekts angegeben und wird von einer Merkmalsextraktion in Schritt 2 gefolgt. Für die Entwicklung einer Gruppe wird das Ausmaß einer gewünschten Ähnlichkeit durch Schwellen für die Ähnlichkeit eines jeden Merkmals in Schritt 3 festgelegt. Da Merkmale die aus vielen Bildern extrahiert werden müssen, werden die genannten Schritte mehrmals ausgeführt. Ferner weisen die aufgenommenen Formmerkmale Streuungen auf, welche zunächst eine Gruppe ähnlicher Merkmale in Form von Merkmalsmittelwerten oder Streuungen charakterisieren. Diese Mittelwerte, bzw. Streuungsmaße dienen als weitere Grundlage für die Bewertung der Ähnlichkeit eines neu in die Gruppe aufzunehmenden Kandidaten, beispielsweise aus einem neu aufgenommenen Bild. Diese statistischen Werte können aufbewahrt werden, bzw. spätestens im Schritt 9 gespeichert werden.
Der folgende Ablauf zum Abspeichern einer Gruppe von Formmerkmalen wird in der Figur 1 mit Schritt 4 repräsentiert. Dieser Schritt ist außerhalb der Beiden Rahmen A und B ge- zeigt, da die Gruppen sowohl im Ablauf A als auch im Ablauf B verwendet werden. Die Anzahl der einen Gruppe zugeordneten Mitglieder wird als Gruppenstärke gespeichert.
Durch geeignete Wahl der Merkmals-Ähnlichkeits-Schwellen werden ähnliche, neue Merkmale der Gruppe hinzugefügt, d.h., die Gruppe wächst an Mitgliederzahl und damit an Gruppenstärke. Dabei kann bspw. die Distanz eines neuen Merkmals zum berechneten Mittelwert der bisher akzeptierten Mitglieder einer Gruppe für ein Ähnlichkeitswert verwendet werden. Eine untere und/obere Schwelle für diese Distanz würde in diesem Beispiel als Schwelle bezeichnet werden. Dabei kann eine weitere Schwelle aus eine Mindestzahl von objektbeschreibenden Merkmalen, die jeweils entsprechende Gruppen zugeordnet sind) verwendet werden. Weniger ähnliche Merkmale werden dabei von der Gruppe ausgeschlossen. Eine größere Gruppe beinhaltet mehr Information über das durch die Gruppe, bzw. durch die Streuungswerte genauer beschriebene Objekt.
Geeignet für die Beschreibung eines Modells, bspw. für die Repräsentation von Helligkeitsverteilungen, ist der Mittelwert der Menge aller in der Gruppe enthaltenen Merkmale. Für andere im Bild vorkommenden Merkmale, wie z.B. die Länge einer geraden Linie oder Kante, wäre ein Maximum der Menge al- 1er in der Gruppe enthaltenen Merkmale geeignet, um Geraden mit einer maximalen Länge aus zukünftigen Bildern auch erkennen zu können.
Somit werden erfindungsgemäß entsprechend der Eigenschaften eines Bildobjektes entweder die Mittelwerte, Maximumwerte oder sonstige, geeignete statistische Werte als charakterisierende Merkmale eines Modells herangezogen.
Von besonderem Vorteil des oben genannten Verfahrens ist, dass je größer die Anzahl der Gruppenmitglieder, um so genauer ein idealer Mittelwert berechnet und die Geometrie des zu erkennenden Objektes beschrieben werden kann. Die starken Gruppen repräsentieren diejenigen Formmerkmale, die besonders zuverlässig aus den Bildern extrahiert werden und daher gut zur Beschreibung des Objekts für eine Teilerkennung geeignet sind.
Nachdem eine Reihe von Bildaufnahmen eines Objekts und die daraus extrahierten Formmerkmale die Gruppen zu einer genügenden Mindestgröße gefüllt haben, d.h., die Schritte 1 bis 4 aus Figur 1 mehrmals ausgeführt worden sind, werden aus ihnen Modellmerkmale abgeleitet und zu einem ersten Modell in
Schritt 5 für die Teilerkennung zusammengefügt. Es wird die Verwendung von starken Gruppen aus Schritt 4 bevorzugt, da diese Gruppen diejenigen Formmerkmale, die besonders zuverlässig und wiederholbar aus den aufgenommenen Bildern extra- hiert werden und daher optimal zur Beschreibung des Objekts oder Modells für mindestens einer Teilerkennung geeignet sind, repräsentieren. Dabei wird das Modell für eine erste Teilerkennung oder Positionsbestimmung für das zu erkennende Objekt verwendet. Dieses Modell reicht jedoch nicht, eine Teilerkennung unter erschwerten Umständen mit hoher Genauigkeit auszuführen. Allerdings ergibt sich ausgehend von dieser Modellbasis, wie folgendermaßen erläutert, eine Möglichkeit zur Erzeugung eines robusteren Modells.
Für die Erzeugung adaptiver und zuverlässig objektbeschreibender Modelle müssen Unterschiede zwischen aufgenommenen Bildern berücksichtigt werden, wie z.B. Unterschiede aufgrund von Kamerarauschen, Beleuchtungsunterschieden oder veränderten Kameraperspektiven.
Der Ablauf des erfinderischen Verfahrens zur Erzeugung eines solchen Modells ist in B eingerahmt. Die aus den oben genannten Effekten streuenden Messwerte müssen vollständig erfasst werden. Dafür werden erfindungsgemäß nach der Generierung des ersten Modells weitere Bildaufnahmen in Schritt 6 unter geänderten Umständen gemacht und daraus in Schritt 7 wieder die beschreibenden Formmerkmale dieser Bilder extrahiert. Diese werden weiter mit den schon bestehenden Gruppen aus Schritt 4 verglichen und bei genügender Ähnlichkeit in die Gruppen hineingenommen. Schwellen, welche ggf. unter den neuen Umständen geändert worden sind können mit dem Schritt 8 verwendet wer- den. Insgesamt können somit können unter Umständen anfänglich sehr kleine Gruppen (die nicht zum ersten Modell beigetragen haben) weiter anwachsen. Anschließend wird in Schritt 10 ein weiteres Modell aus den Gruppen abgeleitet, welches eine vollständigere und zuverlässigere Beschreibung des Objektes darstellt. Dieser Prozess der Änderung wird einige Male wiederholt, bis die Gruppen sich nicht mehr wesentlich verändern.
Obwohl die oben genannten Verfahren bereits eine hohe Flexi- bilität des Erkennungssystems gewährleisten, müssen weitere Effekte wie z.B. eine starke Änderung der Perspektive, und die damit verbundenen Änderungen eines Objektprofils, die Längen von Geraden, Kreisradien sowie Flächen, berücksichtigt werden. Dabei können z.B. die Parameter eines Objekts in ei- ner neuen Objektlage nicht ohne weiteres mehr mit den Parametern aus dem ursprünglichen Modell verglichen werden. Zur Behandlung dieses Problems wird eine geometrische Transformation herangezogen, anhand deren Ausführung die Lage- oder Größenänderung des Objektes in die Lage- Größenordnung einer be- stehenden Gruppe transformiert werden kann, und somit die in den Gruppen stehenden Formmerkmale weiterhin die Eigenschaften eines zu erkennenden Objekts repräsentieren. Dieser Ablauf wird mit der Figur 2 gezeigt.
Um die geometrischen Eigenschaften dieser Transformation zu gewinnen, wird die Lage- und Größenänderung des Objektes anhand eines bestehenden Modells mit einer Teilerkennung aus Schritt 1 der Figur 2 bestimmt, da zumindest eine Teilerkennung auch bei perspektivisch geänderten Formmerkmalen möglich ist. Die Unterschiede zwischen der so ermittelten neuen Position zu der Lage des Modells (welches die erste, unverzerrte Objektlage enthält) definieren die für eine Rücktransformati- on notwendigen Koeffizienten. Diese Unterschiede werden mit der in Schritt 2 gezeigten Auswertung ausgeführt. Dabei ist das mit der Teilerkennung erkannte Objekt in der linken Graphik und das verzerrt Objekt in der rechten Graphik gezeigt. Die Transformation wird anhand des gestrichelten Pfeils und der geänderten Koordinaten x->xΛ und y->yΛ dargestellt. Die Resultate der Transformation können zunächst in einem Schritt 3 gespeichert werden. Mit dieser Rücktransformation werden alle positionsbestimmenden Merkmale aus den Bildern für eine neue Objektlage aus dieser Lage zurück in die Modellage transformiert, ebenso werden alle größenbestimmenden Merkmale aus den Bildern mit einem neuen Abbildungsmaßstab auf die Modellgröße transformiert, so dass die transformierten Parameter wieder mit denen der ursprünglichen Gruppen ähnlich sind und damit ein Ähnlichkeitsvergleich möglich wird. Die Teilerkennung mit Positionsbestimmung dient auch zur Erprobung des Modells auf seine Eignung hin.
Die Streuungsparameter der Gruppen zeigen, wie stark die Merkmalsparameter bei der Teilerkennung für die unterschiedlichen Bildaufnahmebedingungen streuen werden. Um den Prozess der Teilerkennung möglichst unempfindlich gegen solche Variationen zu machen, werden im Erkennungsmodell für jedes Merkmal Messwerte mitgespeichert, welche diese Streuung charakte- risieren und bei der Erkennung für die Tolerierung geringer Abweichungen zwischen den Parametern der Modellmerkmale und denen der neuen aus den Bildaufnahmen generierten Merkmale sorgen. Diese Streuungsmesswerte werden als Toleranzen bezeichnet und werden bei der Modellgenerierung aus den Streu- ungsparametern der Gruppen abgeleitet.
Wenn die Fo mmerkmale eines Objekts nicht nur zweidimensional in einer Ebene, also orthogonal zur optischen Achse der Kamera, liegen, sondern unterschiedliche Entfernungen zur Kamera in Richtung der optischen Achse aufweisen, dann muss das Erkennungsmodell diese Entfernungsunterschiede berücksichtigen, damit der Einfluss der Objektlage im Bild auf die gegenseiti- ge Lage der Formmerkmale, d.h., der Einfluss der perspektivischen Verzerrung, berücksichtigt werden kann.
Um diese Entfernungsunterschiede im Zuge der Modellgenerie- rung automatisch zu messen, können für verschiedene Objektlagen im Bild jeweils automatisch Erkennungsmodelle erzeugt werden, bei denen die gegenseitige Lage der Formmerkmale im Bild (2-D) wegen der perspektivischen Verzerrung jeweils unterschiedlich ist. Dieser Ablauf ist in Figur 3 angegeben. Durch einen Vergleich dieser Modelle aus verschiedenen Objektlagen, pl, p2 und p3, und durch Zuordnung der entsprechenden Formmerkmale kann für jedes Formmerkmal, zusammen mit Zusatzinformation über die Parameter der Kamera und Optik, die Entfernung des Merkmals vom optischen Zentrum in Richtung der optischen Achse berechnet werden. Dabei wird die perspektivische Abbildung der Kamera K und der Optik modelliert und für jede Objektlage ein System von Abbildungsgleichungen erstellt, welches beispielsweise mit einer Auswerteeinheit A erfolgen kann. Das Gleichungssystem wird dann nach den unbe- kannten Entfernungen der Merkmale aufgelöst. Diese Entfernungen können auch relativ zu einer Grundentfernung (z.B. relativ zur Tischebene, auf der das Objekt verschoben wird) angegeben werden. Dann werden sie als Merkmalshöhen bezeichnet.
In einem weiteren Ausführungsbeispiel zur Berechnung der
Merkmalsentfernungen wird zuerst ein Modell in der Mitte des Bildes erzeugt. Dann wird das Objekt in kleinen Schritten zum Bildrand hin verschoben, wobei das Modell nach jedem Verschiebungsschritt, und nach der Teilerkennung mit Lageberech- nung, hinsichtlich seiner Positionsparameter an die neue Objektlage, d.h. an die neue perspektivische Verzerrung, ange- passt wird. "Nach einigen dieser Anpassungsschritte kann für jedes Formmerkmal durch Vergleich mit dem ursprünglichen Modell für die Bildmitte eine Entfernung vom optischen Zentrum (oder eine relative Höhe über der Verschiebungsebene) berechnet werden. Diese Verschiebung wird ausgehend von der Bildmitte in verschiedenen Richtungen (z.B. in die vier Ecken des Bildes) durchgeführt. Durch eine Ausgleichsrechnung über alle Verschiebungsschritte kann die Entfernung vom optischen Zentrum für jedes Formmerkmal mit höchster Genauigkeit bestimmt werden. Somit wird auch eine automatische Bestimmung der Höhe, d.h. Entfernung von der Kamera, einzelner Formmerkmale gewährleistet. Durch Drehung des Objektes können für verschiedene Perspektiven auch Formmerkmale gesehen und in das Modell übernommen werden, die für eine Lage oder einen eingeschränkten Lagebereich (z.B. in der Bildmitte) unsicht- bar waren.
Die Erfindung wird optimal in industriellen Fertigungssystemen zur automatischen optischen Teilerkennung eingesetzt. Die Erfindung hat in diesem Fall die Aufgabe, die Lage oder den Einbauort von Objekten, Teilen oder Werkstücken im Ferti- gungsprozess zu bestimmen und/oder ihren Typ oder Identität zu erkennen. Außerdem kann die Erfindung bei einer Qualitätskontrolle zur Überprüfung von Vollständigkeit, Fertigungsfehler, Beschädigungen oder sonstige Qualitätsm ngel von Objek- ten eingesetzt werden.
Die Aufnahme der Bilder könnte grundsätzlich mittels einer Kamera, einer geeigneten Robotik und einer Rechneranordnung ausgeführt werden. Dabei würde die Robotik dafür sorgen, die Objekte die aufgenommen werden sollen unter die Kamera unter unterschiedlichen Umständen zu stellen. Die Kamera würde zunächst mittels der Befehle einer Rechners Bereiche des Bildes aufnehmen, welche zunächst gespeichert und von einem geeigneten, gespeicherten Computerprogramm nach dem erfinderischen Verfahren ausgewertet werden können.

Claims

Patentansprüche
1. Verfahren zur automatischen Erzeugung eines objektbeschreibenden Modells, bei dem - eine Auswahl von Bildsignalinformationen in einer objektbeschreibenden Gruppe erfasst wird, welche objektbeschreibende Formmerkmale aufweist, und
- Ähnlichkeitskriterien zur Entscheidung führen, ob ein objektbeschreibendes Merkmal der Gruppe zugeordnet wird, und
- eine auswählbare Schwelle eine Entscheidung erlaubt, ob die Gruppe zum Bestandteil des Erkennungsmodells wird, und
- mindestens starke Gruppen für ein Modell für eine Tei- lerkennung eines Objektes verwendet werden, wobei die
Stärke je nach Anzahl der Gruppenmerkmale bestimmt wird, und nach der Generierung eines ersten Modells weitere Bildaufnahmen ausgeführt werden, wobei neue objektbe- schreibende Merkmale derart gewonnen werden, dass diese Merkmale einer Ähnlichkeitsbestimmung unterliegen und zu bereits existierenden Gruppen hinzugefügt werden und die Gruppen sich somit vervollständigen.
2. Verfahren nach Anspruch 1, bei dem weitere objektbeschreibende Merkmale gemäß einer Ähnlichkeitsbestimmung bereits existierenden Gruppen solange hinzugefügt werden, bis die Gruppen sich nicht mehr wesentlich ändern.
3. Verfahren einem der Ansprüche 1 oder 2, bei dem statistische Werte zur Bestimmung eines Ähnlichkeitsmaßes zwischen bereits in den Gruppen aufgenommenen Merkmalen und neuen Merkmalen verwendet werden.
4. Verfahren nach einem der Ansprüche 1 bis 3, bei dem Mittelwerte und/oder Maximumwerte zur Bestimmung eines Ähnlichkeitsmaßes verwendet werden.
5. Verfahren nach einem der Ansprüche 1 bis 4, bei dem
Streuungsmesswerte für jedes objektbeschreibenden Merk- mal gespeichert werden und diese Streuungsmesswerte zur Charakterisierung eines Modells herangezogen werden.
6. Verfahren nach einem der Ansprüche 1 bis 5, bei dem an- hand einer ersten Teilerkennung eines von der optischen
Bildaufnahmeachse verschobenen Objekts, Transformationskoeffizienten für die verschobene Objektläge gewonnen werden und mit einer Rücktransformation die Formmerkmale des verschobenen Objekts bei genügender Ähnlichkeit zu den entsprechenden bereits bestehenden Gruppen hinzugefügt werden und somit umfangreichere Gruppen erzeugt werden.
7. Verfahren nach Anspruch 6, bei dem die Transformations- koeffizienten eine Größenänderung und/oder eine Lageänderung des Objekts beschreiben.
8. Verfahren nach einem der Ansprüche 1 bis 7, bei dem Bilder unter erschwerten Umständen oder unter geänderten Bildaufnahmebedingungen oder geänderter Beleuchtung oder geänderter Objektposition aufgenommen werden und aus den Bildern Objektmerkmale extrahiert werden und nach einer Ähnlichkeitsbestimmung zu bereits existierenden Gruppen hinzugefügt werden und somit die Gruppen umfangreicher werden.
9. Verfahren nach einem der Ansprüche 1 bis 8, bei dem unter Berücksichtigung der Bildaufnahmetechnik und der perspektivischen Verzerrung aus einer Objektlage Abbil- dungsgleichungen zur relativen Positionsbestimmung eines Objektmerkmals erstellt werden.
10. Verfahren nach einem der Ansprüche 1 bis 9, bei dem ein objektbeschreibendes Modell aus einer im Aufnahmefeld zentralen Lage erzeugt wird und dieses Modell für Teilerkennungen von zweckmäßig verschobenen Objekten ver- wendet wird um ein umfangreicheres Modell für mindestens eine weitere Objektlage zu erzeugen.
11. Verfahren nach Anspruch 10, bei dem die zweckmäßige Verschiebung in allen Richtungen ausgeführt wird und bei jedem Schritt das Modell angepasst wird.
12. Verfahren nach Anspruch 11, bei dem eine Ausgleichsberechnung über alle Verschiebungsschritte die relative dreidimensionale Position eines Objekts und/oder Objekt- merkmals bestimmt.
EP02774450A 2001-10-11 2002-10-09 Automatische ermittlung von geometrischen modellen für optische teilerkennungen Withdrawn EP1435065A1 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE10150105 2001-10-11
DE10150105A DE10150105A1 (de) 2001-10-11 2001-10-11 Automatische Ermittlung von geometrischen Modellen für optische Teilerkennungen
PCT/DE2002/003814 WO2003034327A1 (de) 2001-10-11 2002-10-09 Automatische ermittlung von geometrischen modellen für optische teilerkennungen

Publications (1)

Publication Number Publication Date
EP1435065A1 true EP1435065A1 (de) 2004-07-07

Family

ID=7702121

Family Applications (1)

Application Number Title Priority Date Filing Date
EP02774450A Withdrawn EP1435065A1 (de) 2001-10-11 2002-10-09 Automatische ermittlung von geometrischen modellen für optische teilerkennungen

Country Status (4)

Country Link
US (1) US20040258311A1 (de)
EP (1) EP1435065A1 (de)
DE (1) DE10150105A1 (de)
WO (1) WO2003034327A1 (de)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8447329B2 (en) 2011-02-08 2013-05-21 Longsand Limited Method for spatially-accurate location of a device using audio-visual information
US8392450B2 (en) * 2011-02-08 2013-03-05 Autonomy Corporation Ltd. System to augment a visual data stream with user-specific content
US8488011B2 (en) 2011-02-08 2013-07-16 Longsand Limited System to augment a visual data stream based on a combination of geographical and visual information
US8493353B2 (en) 2011-04-13 2013-07-23 Longsand Limited Methods and systems for generating and joining shared experience
US9066200B1 (en) 2012-05-10 2015-06-23 Longsand Limited User-generated content in a virtual reality environment
US9064326B1 (en) 2012-05-10 2015-06-23 Longsand Limited Local cache of augmented reality content in a mobile computing device
US9430876B1 (en) 2012-05-10 2016-08-30 Aurasma Limited Intelligent method of determining trigger items in augmented reality environments

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0848347A1 (de) * 1996-12-11 1998-06-17 Sony Corporation Verfahren zur Bestimmung von Gegenstände charakterisierenden Merkmalen
AU8116498A (en) * 1997-06-17 1999-01-04 British Telecommunications Public Limited Company Generating an image of a three-dimensional object
US6266442B1 (en) * 1998-10-23 2001-07-24 Facet Technology Corp. Method and apparatus for identifying objects depicted in a videostream
JP4392886B2 (ja) * 1999-01-22 2010-01-06 キヤノン株式会社 画像抽出方法及び装置
GB0028491D0 (en) * 2000-11-22 2001-01-10 Isis Innovation Detection of features in images
US6834288B2 (en) * 2001-04-13 2004-12-21 Industrial Technology Research Institute Content-based similarity retrieval system for image data
US7337093B2 (en) * 2001-09-07 2008-02-26 Purdue Research Foundation Systems and methods for collaborative shape and design
JP2003132090A (ja) * 2001-10-26 2003-05-09 Olympus Optical Co Ltd 類似データ検索装置および方法
US7043474B2 (en) * 2002-04-15 2006-05-09 International Business Machines Corporation System and method for measuring image similarity based on semantic meaning

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO03034327A1 *

Also Published As

Publication number Publication date
US20040258311A1 (en) 2004-12-23
WO2003034327A1 (de) 2003-04-24
DE10150105A1 (de) 2003-04-30

Similar Documents

Publication Publication Date Title
DE19521346C2 (de) Bilduntersuchungs/-Erkennungsverfahren, darin verwendetes Verfahren zur Erzeugung von Referenzdaten und Vorrichtungen dafür
DE10081029B4 (de) Bildbearbeitung zur Vorbereitung einer Texturnalyse
DE602005002176T2 (de) Vorrichtung und Verfahren zur dreidimensionalen Bildvermessung
DE60307967T2 (de) Bildverarbeitungsverfahren für die untersuchung des erscheinungsbildes
DE102017001366A1 (de) Geometrie-messsystem, geometrie-messapparat und geometrie-messverfahren
DE102004004528A1 (de) Verfahren, Vorrichtung und Programm zur Verarbeitung eines Stereobildes
DE4418217A1 (de) Formerkennungsverfahren
DE60317359T2 (de) Verfahren, code und system für die untersuchung von gelenkdeformität
DE19746939A1 (de) System und Verfahren zur Messung des Herzmuskels in Herzbildern
DE3505331A1 (de) Verfahren und geraet zur vermessung des bei der eindringhaertepruefung in einer probe hinterlassenen eindrucks
EP2753897A1 (de) Verfahren und vorrichtung zum erkennen von abweichungen einer oberfläche eines objekts
DE19633693C1 (de) Verfahren und Vorrichtung zur Erfassung von Targetmustern in einer Textur
EP1882232B1 (de) Verfahren und vorrichtung zum bestimmen von materialgrenzen eines prüfobjekts
EP3649614B1 (de) Verfahren zur bestimmung von unsicherheiten in messdaten aus einer messung eines objekts
DE3718620C2 (de)
DE112019006855T5 (de) Simulationsvorrichtung und simulationsverfahren
DE19928231C2 (de) Verfahren und Vorrichtung zur Segmentierung einer Punkteverteilung
DE102005025220B4 (de) Gerät, Verfahren und Programm zum Beseitigen von Poren
DE19951146A1 (de) Verfahren zum Reduzieren des Rauschens in einem durch Abbildung erhaltenen Signal
DE102017110339A1 (de) Computerimplementiertes Verfahren zur Vermessung eines Objekts aus einer digitalen Darstellung des Objekts
WO2003034327A1 (de) Automatische ermittlung von geometrischen modellen für optische teilerkennungen
DE102019131693A1 (de) Messgerät zur untersuchung einer probe und verfahren zum bestimmen einer höhenkarte einer probe
DE102014103137A1 (de) Verfahren zur Bestimmung und Korrektur von Oberflächendaten zur dimensionellen Messung mit einer Computertomografiesensorik
DE102009056467A1 (de) Verfahren zur Bestimmung von Oberflächen in Voxeldaten
DE102021201031A1 (de) Programmerstellungsvorrichtung, Objekterkennungssystem, Ankersetzverfahren und Ankersetzprogramm

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20040406

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LI LU MC NL PT SE SK TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20050503