AT504626B1 - Verfahren und einrichtung zur aufnahme, prüfung und auswertung von bildern eines gegenstandes - Google Patents

Description

2 AT 504 626 B1

Die Erfindung betrifft ein Verfahren gemäß dem Oberbegriff des Patentanspruches 1. Des Weiteren betrifft die Erfindung eine Einrichtung gemäß dem Oberbegriff des Anspruches 15.

Verfahren zur Aufnahme von Gegenständen mit Sensoren sind aus der US 6683293 B1, EP 0897596 B1 und EP 0559764 B1 bekannt. Schwierigkeiten bei der Aufnahme bereiten Bildverzerrungen.

Wesentliches Ziel der Erfindung ist es, Aufnahmen von Gegenständen nach einem mit dem TDI-Prinzip vergleichbaren Prinzip möglichst verzerrungsfrei vorzunehmen, insbesondere zur Überprüfung und Beurteilung derartiger Gegenstände. TDI ist die Abkürzung für Time Delay Integration. Darunter wird in der Fachliteratur üblicherweise eine Methode verstanden, bei der mehrere Zeilen eines zur Zeilenrichtung normal bewegten Gegenstandes auf einen CCD-Sen-sor abgebildet werden, wobei die am CCD-Sensor durch die Belichtung akkumulierten Ladungsträger dermaßen verschoben werden, dass die Bewegung des Gegenstandes und die Bewegung der Ladungsträger synchron erfolgt. Erreicht eine Zeile von Ladungsträgern die letzte Zeile des Sensors, wird diese Zeile ausgelesen. Eine TDI-Kamera liefert daher Daten wie eine Zeilenkamera. Durch das Verschieben der Bildpunkte synchron mit den Gegenstandspunkten wird erreicht, dass über einen längeren Zeitraum Ladungsträger akkumuliert, d.h. aufintegriert, werden, was gegenüber einer Zeilenkamera, die jeweils nur für die Zeit des Auslesens einer einzigen Zeile Sensorpunkte belichten kann, eine Steigerung der Empfindlichkeit um den Faktor der Anzahl der Zeilen auf dem TDI-Sensor bedeutet.

Die TDI-Methode hat mehrere Vorteile: - höhere effektive Empfindlichkeit durch längere Belichtungszeit - Unempfindlichkeit gegenüber lokalen Störungen einzelner Bildpunkte, die durch Verschmutzung, Defekte einzelner Sensorpunkte und dergleichen verursacht werden, da ein Ergebnis durch die Integration über einen längeren und örtlich variablen Bereich gewonnen wird.

Die Nachteile der TDI-Methode sind: - Die Bewegung des Objektes muss gleichförmig oder zumindest genau bekannt sein, damit die Voraussetzung der Synchronität der Objektbewegung zur Bewegung der Ladungsträger im Sensor erfüllt werden kann. - Die Bewegung muss exakt normal zur Richtung der Sensorzeilen sein, da Ladungsträger des Sensors nur in dieser Richtung verschoben werden können. - Bei zu langsamer Bewegung kann es zu Überbelichtungen kommen, da ein TDI-Sensor ununterbrochen belichtet wird. - Schwierigkeiten ergeben sich auch, wenn bei derartigen Aufnahmen die Abbildung der Gegenstandszeilen verzerrt erfolgt. In diesem Fall ist eine exakte Auswertung nicht gut möglich. Üblicherweise werden TDI-Kameras in der genannten Weise in CCD-Technologie realisiert.

Ziel der Erfindung ist es, ein Verfahren und eine Einrichtung zu erstellen, mit denen Aufnahmen von Gegenständen erfolgen können, die sich nicht normal zur Zeilenrichtung bewegen bzw. deren Abbildungen sich nicht geradlinig bzw. synchron zum Zeilentakt bewegen bzw. die verzerrt abgebildet werden.

Erfindungsgemäß werden diese Ziele mit den im Kennzeichen des Anspruches 1 angeführten Merkmalen erreicht. Eine Einrichtung der eingangs genannten Art ist durch die im Kennzeichen des Anspruches 15 angeführten Merkmale charakterisiert. 3 AT 504 626 B1

Mit der erfindungsgemäßen Vorgangsweise wird erreicht, dass die Abbildungen derjenigen Gegenstandszeilen, welche jeweils in unterschiedlicher Weise bzw. verzerrt auf die Bildpunkte des Flächensensors abgebildet werden, jede für sich entzerrt und in entzerrter Form ausgewertet werden können.

Erfindungsgemäß wird ein Flächensensor, vorzugsweise ein CMOS-Sensor, in schneller Folge ausgelesen und die Integration bzw. die Aufsummierung erfolgt digital, vorzugsweise in elektronischen Schaltungen wie etwa ASICs oder FPGAs, wobei jedem vermessenen Bildpunkt des Flächensensors, an dem eine Ermittlung eines Wertes erfolgen soll, ein Akkumulationsregister zugeordnet wird. Für die einzelnen Abbildungen einer jeden Gegenstandszeile wird angegeben, an welchen Adressen des Flächensensors der betreffende Messwert zu ermitteln ist; diese für die einzelnen Abbildungen erhaltenen Messwerte werden sodann für jede der Gegenstandszeilen im Akkumulationsregister aufaddiert. Da pro Resultatzeile mehrere Sensorzeilen ausgelesen werden müssen, muss der Sensorchip eine entsprechend schnelle Möglichkeit zum Auslesen besitzen. Eine praktikable Lösung ist die Verwendung von CMOS- Sensoren mit mehreren Ausgängen, so genannten Taps, bei denen die Daten parallel ausgelesen und einer digitalen Akkumulierungseinheit zugeführt werden.

Die TDI-Funktion wird bei der erfindungsgemäßen Vorgangsweise also rechnerisch simuliert; dazu wird mit Hilfe der Vorgabe der Adressen derjenigen Bildpunkte des Flächensensors, an denen die der Akkumulationseinheit zuzuführenden Werte ausgelesen werden sollen, eine geometrische Entzerrung bzw. ein Warping vorgenommen. Damit werden die oben erwähnten Nachteile der TDI-Methode ausgeschaltet.

Die Entzerrungseinheit bzw. die Adresszuordnungseinheit werden mittels vorgegebener Parameter im Zuge eines Kalibriervorganges bzw. einer fixen oder dynamisch veränderlichen Zuordnung zwischen den Adressen der Bildpunkte des Flächensensors und den Gegenstandszeilen derart konfiguriert, dass auch nicht geradlinige bzw. verzerrt auf den Flächensensor abgebildete Gegenstandszeilen durch die Entzerrung bzw. Adressvorgabe den Arbeitsbedingungen der Akkumulations-Stufe genügen. Die Warping- bzw. Entzerrungseinheit bzw. Adresszuordnungseinheit gibt für die Abbildungen der einzelnen Gegenstandszeilen jene Adressen und Positionen des Flächensensors vor, an denen die Werte für Helligkeit und/oder Intensität der abgebildeten Gegenstandszeilen zu ermitteln sind. Die Resultatzeilen entsprechen damit einer Gegenstandszeile, als ob diese unverzerrt abgebildet worden wäre.

Besonders vorteilhaft sind das erfindungsgemäße Verfahren bzw. die erfindungsgemäße Einrichtung zum Entzerren von Abbildungen einsetzbar, die durch nicht ideale Abbildungseigenschaften aufweisende Objektive generiert werden, die z.B. typischerweise kissen- oder tonnenförmige Verzerrungen aufweisen. Sofern kreisförmige Bewegungen bzw. rotierende Gegenstände, z. B. Scheiben oder Reifen, abgebildet werden sollen, wird die durch die kreisförmige Bewegung bedingte Verzerrung der abgebildeten Gegenstandszeilen im Zuge des Warpingvor-gangs derart ausgeglichen, dass die Gegenstandszeilen scheinbar eine geradlinige Bewegung vollführen. Auch eine Entzerrung von perspektivisch bedingten Verzerrungen ist durch den Warpingvorgang möglich. Es wird möglich, Objekte bzw. Flächen unter einem Winkel schräg aufzunehmen und im Zuge der Entzerrung die verzerrten Abbildungen von Gegenstandszeilen, die sich nicht normal zu den Zeilen des Flächensensors bewegen, gerade zu richten und auszuwerten.

Es ist möglich, dass die Werte für die Helligkeit und/oder Farbintensität an Bildpunkten des Flächensensors mit vorgegebenen Adressen ermittelt werden, die abhängig sind von der Lage bzw. dem Verlauf der Abbildungen der Gegenstandszeilen am Flächensensor, oder dass die Adressen der Bildpunkte, an denen diese Werte zu ermitteln sind, dynamisch insbesondere abhängig von der Lage der Abbildungen am Flächensensor generiert werden.

Die Merkmale der Ansprüche 8, 9, 10 oder 11 geben eine vorteilhafte Vorgangsweise bei der 4 AT 504 626 B1

Auffindung jener Bereiche des Sensors an, an welchen die interessierenden Werte für Helligkeit und/oder Farbintensität ermittelt werden sollen bzw. jener Adressen, an denen diese ausgelesen werden sollen, damit die Werte für die Bildung der Resultatzeilen verwendet werden können.

Insbesondere die Merkmale des Anspruches 12 ermöglichen eine einfache dynamische Festlegung der Adressen, insbesondere auch von Subpixeladressen, an denen die Werte der Abbildungen der Gegenstandszeilen zu ermitteln sind.

Eine rasche, in Echtzeit erfolgende Akkumulierung der ermittelten Werte ergibt sich bei Verwirklichung der Merkmale des Anspruches 13.

In den Ansprüchen 16 bis 25 sind vorteilhafte Merkmale zur Ausbildung der erfindungsgemäßen Einrichtung angeführt, mit denen eine rasche und unterschiedlichen Betriebserfordernissen angepasste Akkumulierung und folgende Auswertung der den Gegenstandszeilen zugeordneten Resultatzeilen erfolgen kann.

Im Folgenden wird die Erfindung anhand der Zeichnung beispielsweise näher erläutert.

Fig. 1 zeigt in schematischer Darstellung eine erfindungsgemäße Einrichtung. Fig. 2 bis 5 zeigen schematisch die Abbildungen von Gegenstandszeilen auf einen Flächensensor.

In der Zeichnung ist als Beispiel für einen Gegenstand eine rotierende Scheibe 1 dargestellt, die geprüft werden soll. Definierte bzw. untereinander gleichen Verlauf besitzende bzw. deckungsgleiche Gegenstandszeilen 5a, 5b, 5c eines Kreissektors befinden sich zur Gänze im Aufnahmebereich 3 einer mit einem Flächensensor 6 versehenen Bildaufnahmeeinheit 4. Eine Auswertung dieser einen Winkel mit den Zeilen des Zeilensensors 6 einschließenden Gegenstandsgeraden ist nach dem TDI-Prinzip nicht möglich. Gleiches gilt auch, wenn die optische Achse der Bildaufnahmeeinheit 4 zur Oberfläche der Scheibe 1 geneigt ist, da dann die Gegenstandszeilen im Kreissektor 2 unterschiedlich lang bzw. verzerrt abgebildet bzw. aufgenommen werden bzw. die Geometrie der Abbildung auf dem Flächensensor 6 nicht den tatsächlichen Gegebenheiten entspricht.

Bei 14 ist eine Darstellung gegeben, wie die Gegenstandszeilen 5a, 5b, 5c auf den Flächensensor 6 abgebildet werden. Auf dem Flächensensor 6 sind für jede der einzelnen Abbildungen 5a,M, 5b", 5c' bestimmte Adressgruppen 8, 8', 8" vorgegeben, an denen die Werte für Helligkeit und/oder Farbintensität für die jeweilige Abbildung 5a'", 5b", 5c ermittelt werden. Diese, insbesondere nach entsprechender Kalibrierung bzw. aufgrund der Abbildungsgeometrie gewählten, Adressgruppen 8, 8', 8" werden mit einer Adresszuordnungseinheit 10 festgelegt, und zwar entweder fix vorgegeben oder dynamisch generiert. Diese Adressen sind in den Fig. 1 bis 5 für die unterschiedlichen Positionen der Abbildungen der Gegenstandszeilen mit Kreuzen (Adressen 8), Kreisen (Adressen 8') bzw. Quadraten (Adressen 8") dargestellt. Für jede unterschiedliche Position der Abbildung einer Gegenstandszeile (z.B. 5a) auf dem Flächensensor ist eine eigene Adressgruppe festgelegt. Diese Abbildungen 5a', 5a", 5a"’ der Gegenstandszeile 5a werden in zeitlichen Abständen entsprechend der Aufnahmefrequenz der Bildaufnahmeeinheit erhalten. Gleiches gilt auch für alle anderen Gegenstandszeilen (5b, 5c,...) und ihre Abbildungen.

Bei jeder der aufeinander folgenden Aufnahmen nehmen die Abbildungen 5a', 5b', 5c', 5a", 5b", 5c".... der einzelnen Gegenstandszeilen 5a, 5b, 5c auf dem Flächensensor 6 eine unterschiedliche Position ein, da sich Gegenstand 1 und Bildaufnahmeeinheit 4 relativ zueinander bewegen.

Zu Abbildungsbeginn wird die erste Gegenstandszeile 5a auf den Flächensensor 6 gemäß Fig. 2 auf die durch ein Kreuz dargestellte Adressgruppe 8 abgebildet. Die Zuordnung der Abbildung 5a' der Gegenstandszeile 5a zu dieser vorgegebenen Adressgruppe 8 wurde vorab 5 AT 504 626 B1 durch entsprechende Vorversuche bzw. Kalibrierungsvorgänge festgelegt bzw. wird eine Ad-ressgruppe 8 vorgegeben, auf welche die Abbildung von 5a im Betrieb tatsächlich zu liegen kommt. Bei der folgenden Aufnahme des Gegenstandes 1 (Fig. 3) liegen bereits zwei Gegenstandszeilen 5a und 5b im Aufnahmebereich der Kamera 4 und werden auf die vorab festgelegten bzw. den Abbildungen 5a", 5b' zugeordneten Adressgruppen 8, 8' abgebildet. Für die nächste Aufnahme (Fig. 4) haben sich die Gegenstandszeilen wieder weiterbewegt. Auf die Adressen der Adressgruppe 8, auf die in der ursprünglichen Abbildung gemäß Fig. 2 die Gegenstandszeile 5a abgebildet wurde, wird nunmehr die Gegenstandszeile 5c abgebildet; auf die Adressgruppe 8', auf die in Fig. 3 die Gegenstandszeile 5a abgebildet wurde, wird nunmehr die Gegenstandszeile 5b abgebildet; die Abbildung 5a'" der Gegenstandszeile 5a liegt auf den Adressen der Adressgruppe 8".

Bei der nächsten Aufnahme entsprechend Fig. 5 wird die Gegenstandszeile 5a nicht mehr abgebildet; es wird dafür die Abbildung 5d' einer neuen Gegenstandszeile 5d erstmalig auf den Flächensensor 6 abgebildet. Für die weitere Abbildung von Gegenstandszeilen wird analog vorgegangen.

Es werden nunmehr für die Abbildungen 5a', 5b', 5c', 5a", 5b", 5c", ... der Gegenstandszeilen 5a, 5b, 5c entsprechend den Fig. 2, 3 und 4 an den jeweiligen vorgegebenen Adressen der Adressgruppen 8 bzw. 8' bzw. 8" die Werte für Helligkeit und/oder Farbintensität ermittelt und akkumuliert. Diese Akkumulierung geschieht derart, dass bereits für die erste Abbildung 5a' der Gegenstandszeile 5a entsprechend Fig. 2 die an den Adressen der Adressgruppe 8 ermittelten Werte den Speichern 11a, 11b, 11c einer Akkumulierungseinheit 9 zugeführt werden, die für jede auszulesende Adresse einen Wertespeicher 11 besitzt. Für die Abbildung der Gegenstandszeilen 5a, 5b entsprechend Fig. 3 werden in die der Gegenstandszeile 5a zugeordneten Wertespeicher die für die Abbildung 5a" an den Adressen der Adressgruppe 8' ermittelten Werte akkumuliert bzw. zu den bereits eine Aufnahme früher von den Adressen der Adressgruppe 8 ermittelten Werten addiert sowie die für die Abbildung 5b' auf den Adressen 8 ermittelten Werte als erste Werte den dieser Gegenstandszeile 5b zugeordneten Speichern eingegeben. In der folgenden Aufnahme entsprechend Fig. 4 werden die an den Adressen der Adressgruppe 8" für die Abbildung 5a'" ermittelten Werte für Helligkeit und/oder Farbintensität ebenfalls in die der Gegenstandszeile 5a zugeordeneten Wertespeicher 11a aufaddiert usw.

Nachdem nunmehr durch drei Aufnahmen die vorgesehenen drei Abbildungen der Gegenstandszeile 5a erhalten wurden und an den vorgegebenen Adressen der Adressgruppe 8 bzw. 8' bzw. 8" des Flächensensors 6 die aufgetretenen Werte ermittelt und im Wertespeicher 11a akkumuliert wurden, werden diese für die Gegenstandszeile 5a akkumulierten Werte in Form einer Resultatzeile 15 ausgelesen bzw. zur Verfügung gestellt. Die Anzahl der in der Resultatzeile 15 enthaltenen Werte entspricht der Anzahl der Adressen, auf die jede Abbildung der Gegenstandszeile erfolgt ist. Die Anzahl der Adressen 8, 8' und 8", an denen die Werte für die Abbildungen 5a', 5b', 5c', 5a", 5b", 5c", ... ermittelt werden, ist zweckmäßigerweise gleich groß.

In der Akkumulierungseinheit 9 sind die einzelnen Akkumulierungseinheiten bzw. Reihen 11 von Wertespeichern 11a, 11b, 11c enthalten, in denen die Werte der einzelnen Abbildungen 5a', 5a", 5a'", 5b', 5b", 5b'", 5c', 5c", 5c'" für jede einzelne Gegenstandszeile 5a, 5b, 5c akkumuliert werden. Im vorliegenden Fall, gemäß dem jeweils die Werte von drei Abbildungen einer Gegenstandszeile akkumuliert werden, würde es ausreichen, in der Akkumulierungseinheit 9 drei Reihen von Speichern 11a, 11b, 11c vorzusehen, das heißt für jede der gleichzeitig zur Auswertung abgebildeten Gegenstandszeilen eine Speicherreihe vorzusehen, die jede jeweils, da drei aufeinander folgende Abbildungen akkumuliert werden, dreimal beschickt wird und danach eine Resultatzeile zur Verfügung stellen kann.

Die Werte, die an einzelnen durch die vorgegebenen bzw. generierten Adressen der Adressgruppen 8, 8', 8" bestimmten Bildpunkten, für die einzelnen zeitlich aufeinander folgend vorgenommenen Abbildungen 5a', 5a", 5a'" bzw. 5b', 5b", 5b'" bzw. 5c', 5c", 5c"' ein und derselben 6 AT 504 626 B1

Gegenstandszeile 5a bzw. 5b bzw. 5c ermittelt werden, werden der Akkumulierungseinheit 9 zugeführt. Für die Ermittlung der einer Gegenstandszeile entsprechenden Resultatzeile 15 wird eine Anzahl von Speichereinheiten 11 benötigt, die der Anzahl der durch die vorgegebenen Adressen bestimmten Bildpunkte entspricht, an denen die Werte ermittelt werden.

Die Adressen 8, 8', 8" der Bildpunkte, an denen die Werte für die Helligkeit und/oder die Farbintensität ermittelt werden sollen, können willkürlich vorgegeben werden bzw. können an die erwartete Form und erwartete Lage der Abbildungen der Gegenstandszeilen angepasst werden.

In der Praxis bestehen bezüglich der Anzahl der gleichzeitig abzubildenden Gegenstandszeilen Beschränkungen aufgrund der Dimensionen des Flächensensors. Die Anzahl der gleichzeitig abgebildeten Gegenstandszeilen bestimmt die maximale Anzahl der Akkumulierungsschritte.

Es wird somit eine vorgegebene Anzahl von Gegenstandszeilen 5a, 5b, 5c ... gleichzeitig am Flächensensor 6 abgebildet; bei jeder folgenden Aufnahme wird jede Gegenstandszeile in einer anderen Position abgebildet.

Wie bei 14 dargestellt, werden die Gegenstandszeilen 5a, 5b, 5c bei den zeitlich aufeinander folgenden Aufnahmen auf unterschiedliche Bereiche bzw. Bildpunkte des Flächensensors 6 abgebildet und die Abbildungen 5a', 5b', 5c', 5a", 5b", 5c" usw. können bei jeder Aufnahme bzw. Werteermittlung einen anderen Verlauf bzw. eine andere Gestalt bzw. andere Lage besitzen. Aufgrund der Rotation des Gegenstandes 1 entsprechend Pfeilrichtung wird bei jeder Aufnahme jede Gegenstandszeile an einer neuen Position bzw. an neuen Adressen des Flächensensors 6 abgebildet, bis die vorgegebene Anzahl von Aufnahmen erfolgt ist und alle vorgegebenen Positionen durchlaufen sind.

Zur Entzerrung werden Adressen festgelegt oder dynamisch generiert, die den, insbesondere durch das optische Abbildungsverfahren bedingten, Positionen dieser Abbildungen entsprechen sollen. Die Adressen werden mit einer, gegebenenfalls eine Interpolationseinheit umfassenden, Adresszuordnungseinheit 10 am Zeilensensor 6 festgelegt. An diesen Adressen werden die Werte für Helligkeit und/oder Farbintensität ermittelt bzw. gemessen. Die Ermittlung kann durch Vornahme einer entsprechenden Interpolation auch für Sub-Pixelbereiche erfolgen.

Den einzelnen Adressen der Adressgruppen 8, 8’, 8" werden Speicher 11 einer Akkumulierungseinheit 9 zugeordnet, in die die ermittelten Werte für die einzelnen Bildpunkte der jeweiligen Abbildung 5a'", 5b", 5c' eingetragen werden. Jeder der Abbildungen 5a"', 5b", 5c' der einzelnen Gegenstandszeilen 5a, 5b, 5c... wird eine Anzahl von Speichern 11 zugeordnet, die der Anzahl der für die jeweilige Abbildung vorgegebenen Adressen entspricht und in denen die ermittelten Werte eingetragen werden. Die Zuordnung erfolgt mittels der Adresszuordnungseinheit 10, die einen Adressspeicher umfasst. Diese Einheit 10 kann auch die Subpixeladressen auf dem Flächensensor 6 ermitteln bzw. generieren bzw. stellt die an den vorgegebenen Adressen bzw. Subpixeladressen auftretenden Helligkeiten und/oder Farbintensitäten fest, d.h. für die einzelnen Abbildungen werden an den ihnen zugeordneten bzw. für sie generierten Adressen die Helligkeiten und/oder Farbintensitäten ermittelt. Die Resultat-Zeilen 15 können weiter, z.B. im Hinblick auf die Qualität des Gegenstandes, ausgewertet werden.

In der Akkumulierungseinheit 9 ist für jede abzubildende Gegenstandszeile 5a, 5b, 5c... eine der Anzahl der Adressen, an denen Werte ermittelt werden, entsprechende Anzahl von Wertespeichern 11 vorhanden, in die die sich bei den aufeinander folgenden Aufnahmen ergebenden Werte für Helligkeit und/oder Farbintensität eingegeben bzw. zu deren Inhalt sie addiert werden. Die Anzahl der Gruppen 11a, 11b, 11c, 11d von Werte-Speichern 11 entspricht der Anzahl von Gegenstandszeilen 5a, 5b, 5c..., die gleichzeitig auf den Flächensensor 6 abgebildet wird.

Sobald alle Werte der vorgegebenen Anzahl von Abbildungen 5a', 5a", 5a'", 5b', 5b", 5b'", 5c', 7 AT 504 626 B1 5c", 5c"'... der jeweiligen Gegenstandszeilen 5a, 5b, 5c... abgetastet bzw. ermittelt und aufaddiert wurden, ist für die jeweilige Gegenstandszeile eine Resultat-Zeile 15 akkumuliert und wird aus dem Speicher an die Auswerteeinheit 12 weitergeleitet.

Es besteht die Möglichkeit, die Adressen-Zuordnung fix vorzugeben bzw. zu speichern oder durch eine Zuordnung bzw. Formel abhängig von Parametern laufend, d.h. für jede Aufnahme neu, zu generieren. Sofern beispielsweise die Bildpunkte einer Abbildung 5a', 5b’, 5c’ auf dem Flächensensor 6 äquidistant auf einer Geraden liegen bzw. von dort ausgelesen werden sollen, genügt die Vorgabe einer Adresse für den ersten Bildpunkt. Danach können die Adressen der jeweils nächsten Bildpunkte, an denen Werte zu ermitteln sind, durch Addition eines spezifischen Abstandswertes festgelegt werden.

Eine Alternative zu einer fixen Zuordnung kann auch darin liegen, dass die Parameter zur Erzeugung der Adressen variabel sind und beispielsweise von der aktuellen Bewegung des Gegenstandes 1 abhängen. Beispielsweise können die Abweichungen von der erwarteten Bewegung des Gegenstandes mit einem Sensor, z.B. Positionssensor, Beschleunigungssensor, Drehratensensor od. dgl., gemessen werden und in Abhängigkeit von den Messergebnissen können Korrekturberechnungen für die Adressenzuordnung bzw. -wähl vorgenommen werden, um damit allfällige Abweichungen der Ist-Bewegung des Gegenstandes von der erwarteten Soll-Bewegung zu kompensieren. Die Adressen der Bildpunkte des Flächensensors 6, an denen die Helligkeit bzw. Farbintensität festgestellt werden soll, werden in diesem Fall laufend rechnerisch ermittelt.

Es kann aber auch die aktuelle Abweichung der Bewegung des Gegenstandes von einer erwarteten Bewegung aus den am Flächensensor 6 vorliegenden Abbildungen 5a', 5a", 5a'", 5b', 5b", 5b'", 5c', 5c", 5c'".... der Gegenstandszeilen ermittelt und als Parameter eingesetzt werden. Dazu können die Adressen bzw. Bildpunkte, auf die die Gegenstandszeilen aktuell abgebildet werden, mit den Adressen bzw. Bildpunkten verglichen werden, auf die in einer vorhergehenden Aufnahme eine Abbildung erfolgt ist. Der Vergleich erfolgt insbesondere bildpunktweise, allenfalls unter Berücksichtigung einer erwarteten Verschiebung. Aus den ermittelten Differenzwerten bzw. ermittelten Unterschieden kann ein Korrelationsmaß berechnet werden. Abhängig davon kann eine affine Transformation errechnet werden, die die Lageänderung genau oder approximativ beschreibt bzw. können die Lageänderung bzw. eine Verschiebung und/oder Drehung insbesondere innerhalb eines vorgegebenen Intervalls in X- und/oder Y-Richtung variiert werden, bis eine beste bzw. ausreichend genaue Übereinstimmung gefunden wird. Da eine derartige Berechnung für sämtliche Bildpunkte aufwändig ist, kann vorgesehen sein, dass nur eine bestimmte ausgewählte Teilmenge der Bildpunkte von abgebildeten Gegenstandszeilen zur Ermittlung der besten Übereinstimmung herangezogen wird.

Diese Vorgangsweise, nämlich die aktuelle Bewegung des Gegenstandes und/oder der Bildaufnahmeeinheit erst bei der Aufnahme der Gegenstandszeilen zu ermitteln bzw. zu berücksichtigen und das vorgenommene Warping bzw. die vorgesehene Adresszuordnung in Abhängigkeit von der aktuellen Relativ-Bewegung bzw. relativen Bewegungsänderung vorzunehmen bzw. die Adresszuordnung zu korrigieren, ist geeignet, um Gegenstände aufzunehmen, die relativ zur Kamera vibrieren bzw. um Gegenstände auf einem Transportband aufzunehmen, das einen Schlupf aufweist, sodass die Bewegungsgeschwindigkeit nicht exakt konstant ist, bzw. um Gegenstände aufzunehmen, die sich mit unbekannter Geschwindigkeit bewegen, z.B. Schienenfahrzeuge oder Fahrzeuge im Straßenverkehr.

In der Zeichnung ist die Einheit zur dynamischen Abänderung der Adresszuordnung mit 13 bezeichnet. Diese Einheit 13 kann abhängig von den vorgegebenen Parametern und/oder von am Gegenstand und/oder an der Transporteinrichtung für den Gegenstand und/oder an der Aufnahmekamera ermittelten Parametern die Adressen abändern, an denen die Helligkeits-und/oder Farbintensitäten der auf den Flächensensor abgebildeten Gegenstandszeilen ermittelt werden.

Claims (22)

1. 8 AT 504 626 B1 Patentansprüche: 1. Verfahren zur Aufnahme, Prüfung und Auswertung von Abbildungen eines Gegenstandes mit einer einen Flächensensor (6) aufweisenden Bildaufnahmeeinheit (4), insbesondere zur Beurteilung des Gegenstandes, - wobei der Gegenstand (1) und die Bildaufnahmeeinheit (4) eine Relativbewegung vollführen, und - wobei in vorgegebenen zeitlichen Abständen eine vorgegebene Anzahl von am Gegenstand (1) definierten unterschiedlichen Gegenstandszeilen (5a, 5b, 5c ...) gleichzeitig auf den Flächensensor (6) abgebildet wird und bei jeder Aufnahme zumindest eine bereits mehrfach abgebildete Gegenstandszeile weggelassen und/oder zumindest eine neue Gegenstandszeile hinzugefügt wird, dadurch gekennzeichnet, - dass die Abbildungen (5a\ 5a", 5a'", 5b', 5b", 5b'", 5c', 5c", 5c'") der aufgenommenen Gegenstandszeilen (5a, 5b, 5c...) einem geometrischen Entzerrungsvorgang unterworfen werden, indem die Abbildungen insbesondere nicht geradliniger bzw. verzerrt bzw. geneigt zur Zeilenrichtung aufgenommener bzw. abgebildeter Gegenstandszeilen durch ein War-pingverfahren entzerrt werden, wobei die Werte für die Helligkeit und/oder Farbintensität der einzelnen Bildpunkte dieser Abbildungen (5a’, 5b', 5c') am Flächensensor (6) an vorgegebenen Adressen bzw. vorgegebenen Adressen von Adressgruppen (8, 8', 8") abgetastet bzw. ermittelt und die für die einzelnen Abbildungen (5a’, 5a", 5a"’, 5b', 5b", 5b"’, 5c', 5c", 5c'") der jeweiligen Gegenstandszeile (5a, 5b, 5c) ermittelten Werte einer Akkumulierung unterzogen werden, - dass für die Akkumulierung diese Werte für alle in zeitlichen Abständen aufgenommenen Abbildungen (5a', 5a", 5a'", 5b', 5b", 5b'", 5c, 5c", 5c'") an vorgegebenen oder gewählten bzw. ermittelten Positionen bzw. Adressen (8, 8', 8"), insbesondere auch Sub-Pixeladressen, des Flächensensors (6) ermittelt und die Werte von ein- und demselben Gegenstandspunkt zugeordneten Adressen (8, 8', 8") der einzelnen Abbildungen (5a', 5a", 5a'", 5b', 5b", 5b'", 5c', 5c", 5c'") rechnerisch akkumuliert werden und - dass daraufhin die für die jeweilige Gegenstandszeile (5a, 5b, 5c, ...) durch Akkumulieren an den vorgegebenen Adressen der Adressgruppen (8, 8', 8") ermittelten Werte für die Helligkeit und/oder Farbintensität, insbesondere in Form einer Resultatzeile (15), einer weiteren Auswertung unterzogen werden.
2. 2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei jeder Aufnahme eine vorgegebene Anzahl von jeweils gleichen Verlauf am Gegenstand (1) aufweisenden Gegenstandszeilen (5a, 5b, 5c ...) gleichzeitig auf dem Flächensensor (6) abgebildet wird.
3. 3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Werte für die Helligkeit und/oder Farbintensität an Bildpunkten des Flächensensors (6) an vorgegebenen Adressen von Adressgruppen (8, 8', 8") abhängig von der Lage bzw. dem Verlauf der Abbildungen (5a’, 5a", 5a'", 5b’, 5b", 5b'", 5c', 5c", 5c'") der Gegenstandszeilen (5a, 5b, 5c) am Flächensensor (6) ermittelt werden oder dass die Adressen der Adressgruppen (8, 8', 8") der Bildpunkte, an denen diese Werte zu ermitteln sind, dynamisch, insbesondere abhängig von der Lage der Abbildungen (5a’, 5a", 5a'", 5b', 5b", 5b"', 5c', 5c", 5c"’) am Flächensensor (6) und/oder der Relativbewegung zwischen Gegenstand (1) und Bildaufnahmeeinheit (4) generiert werden.
4. 4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die an den vorgegebenen bzw. generierten Adressen der Adressgruppen (8, 8', 8") des Flächensensors (6) ermittelten Werte der Helligkeit und/oder Farbintensität der Abbildungen (5a', 5a", 5a’", 5b', 5b", 5b'", 5c', 5c", 5c"') der jeweiligen Gegenstandszeile (5a, 5b, 5c) in der Reihenfolge ihrer Ermittlung akkumuliert werden und/oder dass die Werte für die einzelnen Abbildungen (5a', 5a", 5a'", 5b', 5b", 5b'", 5c', 5c", 5c'") einer Gegenstandszeile (5a, 5b, 5c) für immer dieselbe Anzahl von Bildpunkten bzw. Adressen ermittelt werden und/oder dass bei einer fixen Adressenvorgabe die Werte der Abbildungen (5a', 5a", 5a'", 5b', 5b", 5b'", 9 AT 504 626 B1 5c', 5c", 5c'") der einzelnen Gegenstandszeilen (5a, 5b, 5c) immer an denselben Bildpunkten bzw. Adressen (8,8', 8") ermittelt werden.
5. 5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die an den für die einzelnen Abbildungen (5a', 5a”, 5a"', 5b', 5b", 5b"’, 5c', 5c", 5c’") ein- und derselben Gegenstandszeile (5a, 5b, 5c) am Flächensensor (6) vorgegebenen bzw. generierten Adressen (8, 8', 8") ermittelten Werte für die Helligkeit und/oder Farbintensität addiert werden.
6. 6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass während der Übertragung bzw. des Auslesens bzw. Akkumulierens der an den vorgegebenen bzw. generierten Adressen des Flächensensors (6) ermittelten Werte der Abbildungen (5a’", 5b", 5c') die nächste Aufnahme von Gegenstandszeilen (5a, 5b, 5c) erfolgt, und dass nach einer Akkumulierung der von allen Abbildungen (5a', 5a", 5a'", 5b’, 5b", 5b'", 5c', 5c", 5c'") einer Gegenstandszeile (5a, 5b, 5c...) erhaltenen Werte diese Werte in Form einer Resultatzeile (15) zusammengestellt bzw. zur weiteren Auswertung zur Verfügung gestellt werden.
7. 7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass als Flächensensor (6) ein mit einer Bayer-Matrix versehener Flächensensor eingesetzt wird.
8. 8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die Gegenstandszeilen (5a, 5b, 5c ...) auf diesen fix zugeordnete Adressen (8, 8', 8") des Flächensensors (6) abgebildet und für jede Aufnahme die Werte für Helligkeit und/oder Farbintensität an diesen Adressen (8, 8', 8") ermittelt werden.
9. 9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die Adressen (8, 8', 8"), an denen die Werte für Helligkeit und/oder Farbintensität bei jeder Aufnahme ermittelt werden, dynamisch generiert werden, insbesondere in Abhängigkeit von Parametern und deren Veränderung, insbesondere Bewegung, Bewegungsänderungen und/oder Bewegungsrichtungsänderungen des Gegenstandes (1) und/oder der Bildaufnahmeeinheit (4).
10. 10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass die Adressen (8, 8', 8"), an denen die Werte für Helligkeit und/oder Farbintensität bei jeder Aufnahme ermittelt werden, dynamisch generiert werden, indem der jeweiligen abzubildenden Gegenstandszeile (5a, 5b, 5c) vorab festgelegte Adressen (8, 8', 8") zugeordnet werden und in Abhängigkeit von der Bewegung und/oder Bewegungsänderung des Gegenstandes und/oder der Bildaufnahmeeinheit diese Adressen, z.B. durch Hinzufügen eines spezifischen Wertes, abgeändert werden.
11. 11. Verfahren nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass die Abweichung in den Adressen (8, 8', 8") der Bildpunkte bei der Abbildung einer Gegenstandszeile (5a, 5b, 5c) auf den Flächensensor (6) von erwarteten bzw. vorgegebenen Adressen (8, 8', 8") zur Ermittlung bzw. zur Festlegung von neu festgelegten Adressen herangezogen wird, an denen die Werte für die Abbildung (5a', 5a", 5a"', 5b', 5b", 5b"', 5c', 5c",5c'") dieser Gegenstandszeile tatsächlich ermittelt werden.
12. 12. Verfahren nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass für eine vorgegebene Anzahl von Bildpunkten der Abbildung (5a", 5b", 5c") einer vorangehend abgebildeten Gegenstandszeile (5a, 5b, 5c) ein Vergleich der Lage bzw. Abbildungsposition, insbesondere hinsichtlich vorgegebener Bildmerkmale, der aktuellen Abbildung (5a", 5b", 5c") dieser Gegenstandszeile (5a, 5b, 5c) mit der vorangehenden Abbildung (5a1, 5b', 5c') derselben Gegenstandszeile (5a, 5b, 5c) vorgenommen und basierend auf den ermittelten Abweichungen bzw. Unterschieden zwischen diesen beiden zeitlich aufeinander folgenden Abbildungen ein Korrelationsmaß errechnet wird und dass abhängig vom Korrelationsmaß eine Änderung der Adressen zur Werteermittlung für die aktuelle Abbildung, insbesondere 10 AT 504 626 B1 innerhalb eines vorgegebenen Intervalls und/oder durch eine affine Transformation, insbesondere eine Verschiebung in X- oder Y-Richtung und/oder eine Drehung, erfolgt, solange, bis, insbesondere hinsichtlich vorgegebener Bildmerkmale, eine beste Übereinstimmung mit der vorangehenden aufgenommenen Abbildung (5a', 5b', 5c') gefunden wird, worauf die an diesen Adressen ermittelten Werte der Helligkeit und/oder Farbintensität der aktuell abgebildeten Gegenstandszeile (5a, 5b, 5c) zugeordnet werden.
13. 13. Verfahren nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass die Ermittlung der Adressen und das Auslesen der Werte der diesen Adressen zugeordneten Bildpunkte unmittelbar anschließend an jede neue Aufnahme der Gegenstandszeilen (5a, 5b, 5c...) vorgenommen und bis zur nächstfolgenden Abbildung der Gegenstandszeilen (5a, 5b, 5c) beendet wird.
14. 14. Verfahren nach einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, dass in Abhängigkeit von ermittelten Differenzen bzw. Unterschieden zwischen den Adressen (8, 8', 8") der Abbildung (5a1, 5b', 5c') einer Gegenstandszeile (5a, 5b, 5c) und den Adressen, an denen die Abbildung dieser Gegenstandszeile erwartet wurde, eine Abänderung bzw. Anpassung der Aufnahmefrequenz und/oder Bewegung des Gegenstandes (1) bzw. einer Transporteinheit insbesondere an eine vorgegebene Geschwindigkeit vorgenommen wird.
15. 15. Einrichtung zur Aufnahme, Prüfung und Auswertung von Abbildungen eines Gegenstandes (1) mit einer einen Flächensensor (6) aufweisenden Bildaufnahmeeinheit (4) mit angeschlossener Auswerteeinheit (12), - wobei der Gegenstand (1) und die Bildaufnahmeeinheit (4) eine Relativbewegung vollführen, und - wobei in vorgegebenen zeitlichen Abständen eine vorgegebene Anzahl von am Gegenstand (1) definierten unterschiedlichen, jeweils gleichen Verlauf besitzenden, Gegenstandszeilen (5a, 5b, 5c ...) gleichzeitig auf den Flächensensor (6) abgebildet wird und bei jeder Aufnahme eine bereits mehrfach abgebildete Gegenstandszeile weggelassen und/oder eine neue Gegenstandszeile hinzugefügt wird, insbesondere zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 14, dadurch gekennzeichnet, - dass eine Entzerrungseinheit (16) vorgesehen ist, mit der die Abbildungen (5a', 5a", 5a’", 5b', 5b", 5b'", 5c', 5c", 5c'") der aufgenommenen Gegenstandszeilen (5a, 5b, 5c...) einem geometrischen Entzerrungsvorgang in Form eines Warpingverfahrens unterworfen werden, mit dem die Werte für die Helligkeit und/oder Farbintensität für Bildpunkte der einzelnen Abbildungen (5a‘, 5a", 5a'", 5b', 5b", 5b"', 5c', 5c", 5c"') der jeweiligen Gegenstandszeilen (5a, 5b, 5c) an vorgegebenen Adressen bzw. vorgegebenen Adressen von Adressgruppen (8, 8', 8") ermittelt werden, - dass eine Akkumulierungseinheit (9) vorgesehen ist, zur Akkumulierung der die an vorgegebenen oder gewählten Positionen bzw. Adressen (8) für alle erhaltenen Abbildungen (5a', 5a", 5a'", 5b', 5b", 5b"', 5c', 5c", 5c'") der jeweiligen Gegenstandszeile (5a, 5b, 5c...) ermittelten Werte und - dass eine der Akkumuliereinheit (9) nachgeordnete Auswerteeinheit (12) vorgesehen ist, der die für die Bildpunkte der Abbildungen (5a1, 5a", 5a"', 5b', 5b", 5b’", 5c', 5c", 5c"’) der einzelnen Gegenstandszeilen (5a, 5b, 5c, ...) durch Akkumulieren ermittelten Werte für die Helligkeit und/oder Farbintensität, insbesondere in Form einer Resultatzeile (15), zugeführt sind.
16. 16. Einrichtung nach Anspruch 15, dadurch gekennzeichnet, dass die Entzerrungseinheit (16) eine Adresszuordnungseinheit (10) umfasst, die einer vorgegebenen Anzahl von untereinander gleichen Verlauf am Gegenstand (1) aufweisenden Gegenstandszeilen (5a, 5b, 5c ...) vorgegebene Positionen bzw. Adressen auf dem Flächensensor (6) zuordnet.
17. 17. Einrichtung nach Anspruch 15 oder 16, dadurch gekennzeichnet, dass die Entzerrungseinheit (16) eine Adresszuordnungseinheit (10) umfasst, 1 1 AT 504 626 B1 - welche die Adressen am Flächensensor (6) vorgibt, an denen die Werte für die Helligkeit und/oder Farbintensität abhängig von der Lage bzw. dem Verlauf der Abbildungen (5a1, 5a", 5a'" 5b', 5b", 5b"', 5c', 5c", 5c"') der Gegenstandszeilen am Flächensensor (6) zu ermitteln sind oder die Adressen am Flächensensor (6), an denen diese Werte zu ermitteln sind, dynamisch generiert.
18. 18. Einrichtung nach einem der Ansprüche 15 bis 17, dadurch gekennzeichnet, dass die Akkumulierungseinheit (9) Speicher bzw. Addiereinheiten für die an den vorgegebenen bzw. generierten Adressen (8, 8', 8") des Flächensensors (6) ermittelten Werte der Helligkeit und/oder Farbintensität der einzelnen Abbildungen (5a', 5a", 5a'", 5b', 5b", 5b'", 5c', 5c", 5c'") der jeweiligen Gegenstandszeilen (5a, 5b, 5c...) aufweist und diese Werte in Form einer Resultatzeile (15) bereitstellt.
19. 19. Einrichtung nach einem der Ansprüche 15 bis 18, dadurch gekennzeichnet, dass als Flächensensor (6) ein mit einer Bayer-Matrix versehener Flächensensor vorgesehen ist.
20. 20. Einrichtung nach einem der Ansprüche 17 bis 19, dadurch gekennzeichnet, dass der Ad-resszuordnungseinheit (9) eine Einheit (13) zum Vergleich einer vorgegebene Anzahl von Bildpunkten einer bei einer vorangehenden Aufnahme abgebildeten Gegenstandszeile (5a, 5b, 5c) mit der aktuellen Abbildung zugeordnet ist, die basierend auf den ermittelten Abweichungen bzw. Unterschieden zwischen diesen beiden Abbildungen ein Korrelationsmaß errechnet.
21. 21. Einrichtung nach einem der Ansprüche 15 bis 25, dadurch gekennzeichnet, dass die Akkumulierungseinheit (9) Speichereinheiten (11) umfasst, wobei jeder der gleichzeitig auf den Flächensensor (6) abgebildeten Gegenstandszeilen (5a, 5b, 5c) eine Reihe bzw. Anzahl (11a, 11b, 11c) dieser Speichereinheiten (11) zugeordnet ist, wobei die Anzahl dieser Speicher der Anzahl der von der Adresszuordnungseinheit (9) vorgegebenen Adressen bzw. Bildpunkte entspricht, an denen Werte für die einzelnen Abbildungen (5a', 5a", 5a’", 5b', 5b", 5b"', 5c', 5c", 5c'") ermittelt werden.
22. 22. Computerprogrammprodukt mit Programmcode-Mitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um das Verfahren nach jedem beliebigen der Ansprüche 1 bis 14 durchzuführen, wenn das Programmprodukt auf einem Computer ausgeführt wird. Hiezu 2 Blatt Zeichnungen