DE102011102777B4

DE102011102777B4 - Verfahren zur Aufnahme von Bildern von Gegenständen

Info

Publication number: DE102011102777B4
Application number: DE102011102777.0A
Authority: DE
Inventors: Mag. Dr. Huber-Mörk Reinhold; Dipl.-Ing. Mayer Konrad
Original assignee: AIT Austrian Institute of Technology GmbH
Current assignee: AIT Austrian Institute of Technology GmbH
Priority date: 2010-06-14
Filing date: 2011-05-28
Publication date: 2019-08-14
Anticipated expiration: 2031-05-29
Also published as: AT509970A1; DE102011102777A1; AT509970B1

Abstract

Bildsensor zur Aufnahme von relativ zu ihm mittels eines Transportbands (1) bewegten Gegenständen (3), umfassend eine Anzahl von rasterförmig in Zeilen (23) und Spalten (24) angeordneten Pixelsensoren (22) sowie ein Abbildungssystem (25) mit einer optischen Achse (27), das den Gegenstand (3) auf die Pixelsensoren (22) abbildet, dadurch gekennzeichnet, dass die optische Achse (27) normal zur Gegenstandsebene des Transportbands (1) steht und die innerhalb derselben Zeile (23) des Bildsensors (2) liegenden Pixelsensoren (22) jeweils denselben Abstand von einer zur optischen Achse normal liegenden Ebene (28) aufweisen und die Zeilen von Pixelsensoren (22) zu der Ebene (28) jeweils unterschiedlichen Abstand aufweisen.

Description

Die Erfindung betrifft ein Verfahren zur Aufnahme von Bildern von Gegenständen.
Weiters betrifft die Erfindung einen Bildsensor zur Aufnahme von relativ zu ihm bewegten Gegenständen.
Bei der Aufnahme von dreidimensionalen Objekten oder Szenen mit einem Sensorsystem besteht das Problem eines begrenzten Schärfentiefebereichs, d.h. nur Teile der abgebildeten Szene erscheinen scharf. Der Schärfentiefebereich kann durch Änderung der optischen Parameter, d.h. Verkürzung der Brennweite, durch Verkleinerung der Blendenöffnung oder durch Vergrößerung des Objektabstandes erhöht werden. Alle diese Maßnahmen sind bei optischen Inspektionssystemen, die durch hohe Auflösung und hohe Geschwindigkeiten einer Relativbewegung zwischen Sensor und Objekt gekennzeichnet sind, jedoch nicht zielführend.
Aus der DE 10 2005 000 980 A1 ist ein mit einer Abbildungsvorrichtung versehenes elektronisches Gerät bekannt, das eine Aufnahmeoptik, die ein Objektbild erzeugt und eine Bildaufnahmevorrichtung aufweist, die einen Lichtempfangsbereich hat und Bildpixelsignale aus dem in dem Lichtempfangsbereich erzeugten Objektbild erzeugt. Der Lichtempfangsbereich ist gegenüber einer zur optischen Achse senkrechten Richtung in einem vorgegebenen Winkel geneigt. Das elektronische Gerät hat eine Verarbeitungseinheit, die ein Schärfenbild aus dem Objektbild in Form von Schärfenbilddaten auf Grundlage der Bildpixelsignale extrahiert, eine Verarbeitungseinheit, welche die Schärfenbilddaten in einem Speicher aufnimmt, und eine Verarbeitungseinheit, die das Schärfenbild auf einer Anzeige entsprechend den Schärfenbilddaten darstellt.
Die DE 696 05 792 T2 offenbart eine Einrichtung zur Bestimmung zumindest einer Abmessung eines Objekts, welches auf einem sich bewegenden Förderer bewegt wird, wobei die Einrichtung eine Vorrichtung zur Bewegung eines Abtaststrahls über den Förderer aufweist, so dass der Strahl wiederholt das Objekt schneidet, und der Strahl in einem Winkel θ in Bezug auf eine durch den Förderer verlaufende Ebene angeordnet ist, wobei die Einrichtung eine Detektorvorrichtung umfasst, welche ein Liniensichtfeld aufweist, welches parallel zu der Ebene liegt und sich entsprechend dem Strahl bewegt, und von dort reflektierte Bilder empfängt und wobei eine Vorrichtung zur Berechnung der Höhe h mehrerer Bildpunkte für das Objekt auf der Grundlage der reflektierten Bilder vorgesehen ist.
Ziel der Erfindung ist es, ein Verfahren bzw. einen Bildsensor zu schaffen, mit denen Objekte, die sich bei ihrer Relativbewegung gegenüber dem Sensor in unterschiedlichen Abständen vom Sensor befinden, stets scharf aufzunehmen und den Schärfentiefebereich des Sensorsystems zu erhöhen. Insbesondere ist es Aufgabe der Erfindung, Gegenstände in gleichmäßiger Schärfe aufzunehmen, selbst wenn diese Gegenstände unterschiedliche Teilbereiche aufweisen, die in jeweils unterschiedlichen Normalabständen vom Sensor relativ zu diesem bewegt werden.
Bei bekannten Ausführungsformen des Standes der Technik ist der Schärfentiefebereich relativ gering; um eine scharfe Abbildung der aufzunehmenden Gegenstände zu erhalten, ist es somit erforderlich, dass sich die aufzunehmende Oberfläche des Gegenstands in einem relativ schmalen Bereich bewegt. Diese Anforderung kann mitunter nur durch eine aufwendige Optik ausreichend erfüllt werden.
Die Erfindung löst die Aufgabe bei einem Bildsensor der eingangs genannten Art mit den kennzeichnenden Merkmalen des Patentanspruchs 1.
Erfindungsgemäß ist bei einem Bildsensor zur Aufnahme von relativ zu ihm mittels eines Transportbands bewegten Gegenständen, umfassend eine Anzahl von rasterförmig in Zeilen und Spalten angeordneten Pixelsensoren sowie ein Abbildungssystem mit einer optischen Achse, das den Gegenstand auf die Pixelsensoren abbildet vorgesehen, dass die optische Achse normal zur Gegenstandsebene des Transportbands steht und die innerhalb derselben Zeile des Bildsensors liegenden Pixelsensoren jeweils denselben Abstand von einer zur optischen Achse normal liegenden Ebene aufweisen und die Zeilen von Pixelsensoren zu der Ebene jeweils unterschiedlichen Abstand aufweisen.
Hierdurch wird ein Bildsensor mit einem erweiterten Schärfentiefebereich erreicht, der für die Aufnahme von Gegenständen eingesetzt werden kann, deren Abstand vom Bildsensor a priori unbekannt ist.
Weiters kann vorgesehen sein, dass die Pixelsensoren entlang einer Spalte des Bildsensors ansteigenden oder absteigenden Abstand von der Ebene aufweisen.
Durch diese besondere Ausgestaltung des Bildsensors kann eine besonders einfache Detektion vorgenommen werden.
Es ist bei einer solchen Anordnung insbesondere möglich, ein Gesamtbild eines Gegenstands durch Zusammensetzen eines Bildes aus einzelnen mit dem Bildsensor aufgenommenen Zeilenbildern zu erreichen.
Weiters kann ein die Sehstrahlen ablenkendes vorgeschaltetes Abbildungssystem, insbesondere eine Sammellinse, vorgesehen sein.
Dies ermöglicht je nach Anwendungsbereich die exakte Positionierung des Schärfentiefebereichs, innerhalb dessen mit dem Bildsensor scharfe Gegenstandsbilder aufgenommen werden können.
Weiters kann vorgesehen sein, dass eine durch die Pixelsensoren einer Zeile verlaufende Gerade gegenüber der Ebene um zumindest 2°, insbesondere maximal 10°, vorzugsweise zwischen 3° und 5°, verkippt ist.
Durch diese Maßnahme wird der Aufbau eines erfindungsgemäßen Bildsensors erleichtert.
Liegt der Verkippungswinkel unterhalb von 10° gegenüber der Relativbewegung, werden Verzerrungen durch die vorgeschaltete Optik und den schrägen Lichteinfall auf den Sensor weitestgehend vermieden.
Liegt der Verkippwinkel zwischen 3° und 5°, kann bei geringen Verzerrungen eine besonders gute Schärfentiefe erreicht werden.
Vorteilhafterweise sieht die Erfindung eine Vorrichtung umfassend einen erfindungsgemäßen Bildsensor vor, die eine dem Bildsensor nachgeschaltete Auswerteschaltung enthält. Die Auswerteschaltung umfasst einen dem Bildsensor nachgeschalteten Zwischenspeicher zum Ablegen von mit dem Bildsensor ermittelten Intensitätswerten, eine dem Zwischenspeicher nachgeschaltete Bewertungseinheit, die auf die Intensitätswerte der Pixelsensoren einer Bildzeile ein Schärfemaß anwendet und dieses an ihrem Ausgang zur Verfügung hält, eine dem Zwischenspeicher und der Bewertungseinheit nachgeschaltete Vergleichseinheit, die die vom selben Teilbereich des Gegenstandes aufgenommenen Zeilenbilder in Hinblick auf ihr Schärfemaß vergleicht und dieses jeweils an ihrem Ausgang zur Verfügung hält und einen der Vergleichseinheit nachgeschalteten Bildspeicher, in dem die von der Vergleichseinheit ermittelten Zeilenbilder abgelegt zu einem Bild zusammengefügt sind.
Die Erfindung löst die Aufgabe bei einem Verfahren der eingangs genannten Art mit den kennzeichnenden Merkmalen des Patentanspruchs 6.
Die Erfindung betrifft ein Verfahren zur Aufnahme von Bildern von Gegenständen mit einem Bildsensor gemäß einem der Ansprüche 1 bis 4 oder einer Vorrichtung gemäß dem Anspruch 5,

a) wobei der Gegenstand relativ zum Bildsensor mittels eines Transportbands bewegt wird, wobei die optische Achse des Abbildungssystems des Bildsensors normal zur Gegenstandsebene des Transportbands steht, wobei eine Sensorebene gegenüber der optischen Achse um den Winkel α gedreht ist, wobei die Pixelsensoren des Bildsensors, die in derselben Zeile liegen, jeweils denselben Abstand von der Ebene aufweisen und wobei die Pixelsensoren entlang einer jeweiligen Spalte aufsteigenden oder absteigenden Abstand von der Ebene aufweisen,
b) wobei zu jedem Aufnahmezeitpunkt mit jeder der Zeilen jeweils ein Zeilenbild des Gegenstands aufgenommen wird, und
c) wobei die Aufnahmezeitpunkte vorgegeben werden, sodass gleiche Teilbereiche, insbesondere Gegenstandszeilen, des durch die Relativbewegung durch den Aufnahmebereich des Bildsensors geführten Gegenstands jeweils zu aufeinander folgenden Aufnahmezeitpunkten auf aufeinander folgende bzw. benachbarte Zeilen von Pixelsensoren des Bildsensors abgebildet werden. Dabei ist vorgesehen, dass
d) das Zeilenbild jeder der Zeilen ausgewertet wird, indem auf dieses Zeilenbild eine Bewertungsfunktion, insbesondere ein Schärfemaß, angewendet wird und als Resultat eine Bewertung ermittelt wird, mit der das Zeilenbild, insbesondere in Hinblick auf seine Schärfe, beurteilt wird,
e) die Bewertung der Zeilenbilder für jeden aufgenommenen Teilbereich miteinander verglichen werden und schließlich
f) für jeden Teilbereich des Gegenstands das Zeilenbild mit der minimalen oder maximalen Bewertung ausgewählt wird und aus den einzelnen ausgewählten Zeilenbildern der Teilbereiche des Gegenstands ein Flächenbild zusammengesetzt wird.

Erfindungsgemäß wird erreicht, dass relativ zum Sensor bewegte Gegenstände mit höherer Schärfentiefe geprüft werden können, ohne dass dabei eine adaptiv verstellbare Optik vor dem Sensor erforderlich ist.
Eine weitere besondere Ausführungsform des erfindungsgemäßen Verfahrens sieht vor, dass jedes der ausgewählten Zeilenbilder derart skaliert wird, dass gleich große Teilbereiche des Gegenstands auf gleich große Bildbereiche abgebildet werden.
Hierdurch wird erreicht, dass Gegenstände, die vom Sensor bei ihrer Aufnahme weiter entfernt sind, gleich groß erscheinen wie Gegenstände, die bei ihrer Aufnahme dem Sensor näher sind.
Vorzugsweise kann vorgesehen sein, dass

a) vorab eine Zeile des Bildsensors ausgewählt wird und diese als Referenzzeile festgelegt wird,
b) die Bilder desselben Teilbereichs des Gegenstands mit sämtlichen Zeilen von Pixelsensoren ermittelt werden,
c) jeweils eine Transformation, insbesondere durch Streckung und Verschiebung des Zeilenbilds, bestimmt wird, die das jeweilige Zeilenbild auf das Zeilenbild der Referenzzeile abbildet und diese Transformation der jeweiligen Zeile zuordnet,
d) nach der Auswahl des schärfsten Zeilenbilds dieses ausgewählte Zeilenbild derjenigen Transformation, die der Zeile, mit der das ausgewählte Zeilenbild aufgenommen worden ist, zugeordnet ist, unterzogen wird, und
e) die so erzielten Zeilenbilder zu einem Flächenbild zusammengesetzt werden.

Hierdurch kann selbst für Gegenstände, die Teilbereiche mit unterschiedlichem Abstand zum Bildsensor aufweisen, ein scharfes Abbild sämtlicher Bereiche erzielt werden.
Die Erfindung wird anhand eines Beispiels ohne Einschränkung des allgemeinen erfinderischen Gedankens dargestellt.

1a zeigt eine Ausführungsform der Erfindung mit einem Transportband und einem Bildsensor.
1b zeigt eine alternative Ausführungsform der Erfindung zur Oberflächenanalyse von Eisenbahnschienen.
2 zeigt die Anordnung der Pixelsensoren auf einer geneigten Sensorebene in einem Abbildungssystem mit einer Sammellinse.
3 zeigt schematisch den Schärfentiefenbereich und den Tiefenschärfenbereich bei einem Abbildungssystem mit einer Sammellinse.
4 zeigt schematisch die Abbildung eines Gegenstands mit einer Sammellinse.
5 zeigt schematisch die unterschiedlichen erzielbaren Schärfentiefenbereiche mit einem Abbildungssystem mit einer Sammellinse.
6 zeigt schematisch die rasterförmige Anordnung der Pixelsensoren auf der Sensorebene.
7 zeigt schematisch eine Schaltung zur Auswertung der mit dem Bildsensor aufgenommenen Bilddaten.

In 1a ist ein Transportband 1 dargestellt, auf dem ein Gegenstand 3 transportiert wird. Der Gegenstand 3 liegt auf dem Transportband 1 auf und weist über seine Längserstreckung in Transportrichtung R des Transportbands 1 unterschiedliche Höhe bzw. Dicke auf.
Ziel der Erfindung ist es, auf möglichst einfache Weise ein Abbild des Gegenstands 3 zu schaffen, wobei es zweckmäßig ist, die Aufnahme unmittelbar im Zuge der Relativbewegung des Gegenstands 3 zu erhalten. Zu diesem Zweck ist auf einen Teil des Transportbands 1 ein Bildsensor 2 gerichtet, der Gegenstände 3, die sich auf dem Transportband 1 befinden und die mittels des Transportbands 1 transportiert bzw. gefördert werden, erfasst und ein Abbild dieser Gegenstände 3 erstellt. Die Abbildung wird vorteilhafterweise derart erstellt, dass einzelne Aufnahmen des Gegenstands 3, die während dessen Relativbewegung angefertigt worden sind, typischerweise einzelne Zeilenbilder des Gegenstands 3, zu einem Flächenbild zusammengesetzt werden. Dies erlaubt die Verwendung relativ einfach aufgebauter Sensoren und bewirkt einen annähernd gleichmäßigen anfallenden Datenstrom an Bilddaten. Der Bildsensor 2 weist eine Anzahl von in Zeilen 23 und Spalten 24 rasterförmig angeordneten Pixelsensoren 22, dargestellt in 6, auf. Dem Bildsensor 2 ist ein Abbildungssystem 25 vorgeschaltet, das eine optische Achse 27 aufweist. Diese optische Achse 27 steht im vorliegenden Fall normal zur Gegenstandsebene des Transportbands 1. In dem in 2 dargestellten Beispiel umfasst das Abbildungssystem eine Konvexlinse bzw. Sammellinse 25'. Die optische Achse 27' der Konvexlinse entspricht dabei der optischen Achse 27 des Abbildungssystems. Es können jedoch - je nach Anwendungsfall - unterschiedlich komplex aufgebaute Abbildungssysteme eingesetzt werden, um eine auf den jeweiligen Anwendungsfall angepasste Abbildung zu ermöglichen.
Anstelle eines Transportbandes 1 kann jede Vorrichtung, wie in 1b dargestellt, herangezogen werden, die eine Relativbewegung zwischen dem Bildsensor 2 und dem aufzuzeichnenden Gegenstand 3 ermöglicht. So können auch Schienen 301 untersucht werden, indem der Bildsensor 2 auf einem Schienenfahrzeug 200 angebracht und auf die Schienen 301 gerichtet ist. Das Schienenfahrzeug 200 bewegt sich auf den Schienen 301 und weist eine Halteeinrichtung 201 zur Halterung eines Bildsensors 2 auf. Der Bildsensor 2 ist auf die Schienen 301 ausgerichtet und nimmt Bilder der Oberfläche der Schienen 301 auf.
Ganz allgemein kann dieses Vorgehen für unterschiedlichste Anwendungen eingesetzt werden. Wesentlich ist dabei lediglich, dass eine Relativbewegung zwischen dem Bildsensor 2 und dem jeweils aufzunehmenden Gegenstand 3, etwa den Schienen 301, stattfindet.
Im folgenden wird die Abbildung mittels des Abbildungssystems im Detail diskutiert.
Bei der Aufnahme von Gegenständen unterschiedlicher Höhe bzw. Dicke stellt sich das Problem des endlichen Schärfentiefebereiches s, d.h. nur Teile der im Aufnahmebereich 21 des Bildsensors 2 befindlichen Szene, insbesondere des abgebildeten Gegenstands 3, erscheinen scharf. Das Abbildungssystem 25 des Bildsensors 2 bündelt Licht durch Fokussierung, d.h. die Lichtstrahlen von einem Bereich des Gegenstands 3 werden auf einen Bereich in der Fokusebene, die üblicherweise in einer Ebene senkrecht zur optischen Achse verläuft, abgebildet.
Das Bild aller Gegenstandsbereiche, die so auf die Fokusebene abgebildet werden, ist scharf. Die Schärfentiefe s ist jener Bereich vor und hinter dem aufzunehmenden Gegenstand, in dem bei vorgegebener Bildebene ein aufgenommenes Bild scharf erscheint, siehe 3. Zur numerischen Bestimmung des Schärfentiefe s wird ein Unschärfekreis definiert, dessen Durchmesser d typischerweise im Bereich der Pixelgröße liegt. In die Berechnung der Schärfentiefe s fließen neben dem Durchmesser des Unschärfekreises die Brennweite f, die Blendenzahl F, das ist das Öffnungsverhältnis F = f/D, wobei D der Blendendurchmesser ist, und die Objektdistanz α ein. Die vordere Schärfentiefe s_v und hintere Schärfentiefe s_h sind gegeben durch: $\begin{matrix} S_{v} = \frac{d F a^{2}}{f^{2} + d F a}, & S_{h} \end{matrix} = \frac{d F a^{2}}{f^{2} - d F a}$
Die Schärfentiefe s = s_v + s_h ist bei kurzen Brennweiten f hoch und bei langen Brennweiten / niedrig, bei kleinen Blendenöffnungen mit Durchmesser D hoch und großen Blendenöffnungen mit Durchmesser D niedrig, bei großen Abständen a hoch und bei kleinen Abständen a niedrig.
Die Tiefenschärfe t ist jener Bereich vor und hinter der Bildebene, in dem der Unschärfekreis mit Durchmesser a' noch scharf erscheinen würde. Die Tiefenschärfe t ist gegeben durch t = dF.
Die Tiefenschärfe t ist im Gegensatz zur Schärfentiefe s symmetrisch um den Fokuspunkt. Die vordere Schärfentiefe s_v ist kleiner als die hintere Schärfentiefe s_h. Der Abbildungsmaßstab m = h/w, d.h. die Vergrößerung oder Verkleinerung eines Objektes, ist ein weiterer wichtiger Parameter eines optischen Systems, siehe 4.
Im Allgemeinen lässt sich unter den Aufnahmebedingungen für Hochgeschwindigkeitsanwendungen von Bildsensoren, z.B. Zeilenkameras, wegen der hohen Geschwindigkeiten und damit u.a. großer Blendenöffnung oft keine ausreichend große Schärfentiefe s einstellen. Dieses Problem tritt vorzugsweise dann auf, wenn sich nicht alle Bereiche der aufgenommenen Oberfläche des abzubildenden Gegenstands 3 in gleichem Abstand zum Bildsensor 2 befinden. Dies kann sowohl bei Gegenständen mit unterschiedlicher Dicke als auch bei blattförmigen Gegenständen, die im Zuge Ihrer Bewegung geknickt oder gewölbt werden, der Fall sein. Insbesondere ist dies bei Geldscheinen der Fall, die im Zuge Ihrer Aufnahme nur einseitig gehalten in einem Teilbereich der Transporteinrichtung transportiert werden, um eine bessere Sicht auf den Geldschein zu gewährleisten.
Beispielsweise bei Gegenständen 3 mit unterschiedlicher Dicke bzw. Höhe, gemessen in Richtung oder parallel zur optischen Achse des Abbildungssystems 25 ist es nachteilig, wenn das optische Abbildungssystem 25 nur einen relativ kleinen Schärfentiefebereich s = s_v + s_h umfasst, innerhalb dessen die Abbildung eine ausreichende Bildschärfe aufweist. Überschreiten die Schwankungen des Unterschieds der aufgenommenen Oberfläche des Gegenstands 3 gemessen in Richtung oder parallel zur optischen Achse des Abbildungssystems 25 den Schärfentiefebereich S, sind die Aufnahmen des jeweils aufgenommenen Bereichs des Gegenstands 3 unscharf.
Die Erfindung ermöglicht die Lösung des Problems, indem die einzelnen Pixelsensoren 22 unterschiedlichen Normalabstand zu einer Fläche normal zur optischen Achse 27 des Abbildungssystems 25 aufweisen. Insbesondere sind die einzelnen Pixelsensoren 22 in einer Ebene angeordnet, die gegenüber einer normal zur optischen Achsen 27 des Abbildungssystems 25 stehenden Ebene verkippt ist. Dabei weisen die Pixelsensoren 22, die in derselben Zeile 23 liegen jeweils denselben Abstand von der Ebene auf. Die Pixelsensor 22 entlang einer Spalte 24 weisen vorteilhafterweise entlang der jeweiligen Spalte 24 aufsteigenden oder absteigenden Abstand von der Ebene auf. Die Pixelsensor 22 sind in diesem Ausführungsbeispiel in einer Ebene angeordnet. Eine durch die Pixelsensor 22 einer Spalte 24 verlaufenden Gerade ist um zumindest 2°, maximal 10°, vorzugsweise zwischen 3° und 5° gegeneinander verkippt.
Die Pixel können entweder auf einem gemeinsamen Träger in Form eines Flächensensors angeordnet sein. Alternativ kann auch eine Anzahl von einzelnen Zeilensensoren herangezogen werden, die jeweils eine Zeile 23 von Pixelsensoren 22 umfassen.
Durch die Verwendung mehrerer Zeilen 23, die gleichzeitig aufgenommen werden, lässt sich der Abstandsbereich vom Bildsensor 2, innerhalb dessen scharfe Bilder erzielbar sind, vergrößern. Die Pixelsensoren 22 sind im folgenden Ausführungsbeispiel auf einer gemeinsamen Sensorebene 29 angeordnet.
Durch Schrägstellen der Sensorebene 29 gegenüber der optischen Achse, d.h. Drehung der Sensorebene 29 um den Winkel α, dargestellt in 5, um eine zu den Zeilen 23 parallele Drehachse, lassen sich unterschiedliche Bilddistanzen für die Zeilen 23 einstellen. Zeilen 23, die zur Sammellinse 25 geneigt sind bilden dann Bereiche des Gegenstands 3, die vom Bildsensor 2 weiter entfernt sind, scharf ab. Von der Sammellinse 25 weg geneigte Zeilen 23 des Bildsensors 2 bilden Gegenstände 3, die näher beim Bildsensor 2 liegen, scharf ab.
Die Neigung der Sensorebene 29 wird vorteilhafterweise durch den geforderten Schärfetiefebereich 5 = (u_max - s_hmax) - (u_min + s_vmin) = U_max - U_min und der Anzahl n der verwendeten Sensorzeilen festgelegt. Der sich so ergebende Tiefenschärfebereich ist folglich $T = \frac{f U m a x}{f + U m a x} - \frac{f U m i n}{f + U m i n} .$
Aus der Pixelgröße p und der Anzahl Sensorzeilen n lässt sich sodann der notwendige Verdrehwinkel des Sensors nach $α = {sin}^{- 1} \frac{2 T}{np}$
berechnen.
Durch diesen Aufbau wird es möglich, dass Pixelsensoren 22, die in unterschiedlichen Zeilen 23 liegen, unterschiedliche Schärfentiefebereiche aufweisen. Der Schärfentiefenbereich S des Bildsensors 2, innerhalb dessen scharfe Bilder aufgenommen werden können wird somit wesentlich, wie in 5 dargestellt, erhöht.
Wird der Gegenstand durch den Aufnahmebereich 21 des Bildsensors 2 bewegt, werden jeweils Bereiche des Gegenstands 3, im folgenden Gegenstandszeilen 31 genannt, auf jeweils eine Zeile 23 von Pixelsensoren 22 abgebildet. Im Zuge der Bewegung des Gegenstands 3 relativ zum Bildsensor 2 gelangt jede Gegenstandszeile 31 in den Aufnahmebereich einer jeden Zeile 23 von Pixelsensoren. Wie bereits erwähnt weisen die Pixelsensoren 22 der einzelnen Zeilen 23 unterschiedliche Schärfentiefenbereiche auf. Wird nun ein Gegenstand 3 durch den Aufnahmebereich 21 des Bildsensors 2 bewegt, wird ein und dieselbe Gegenstandszeile 31 des Gegenstands 3 von sämtlichen Zeilen 23 des Bildsensors 2 erfasst. Da jede Zeile 23 von Pixelsensoren 22 einen unterschiedlichen Schärfentiefenbereich aufweist, sind die Aufnahmen der Gegenstandszeile 32 unterschiedlich scharf. Diese Aufnahmen werden zwischengespeichert, wobei auf jede einzelne der Aufnahmen eine Funktion zur Bestimmung der Schärfe, auch Schärfemaß M genannt, angewendet wird.
Bewertung der Bildzeilen
In der Literatur wurden eine Vielzahl von Schärfemaßen definiert, die alle auf der Auswertung lokaler statistischer Kenngrößen beruhen. Diese Schärfemaße M sind z.B. lokale mittlere Abweichung vom Mittelwert, lokale Varianz, Tenengrad (eine Kombination von Sobel-Operatoren), Laplace-Operator, FFT-basierte, Sum-Modulus-Differenz und lokales Variations-Histogramm.
Der Tenengrad hat sich dabei als Schärfemaß effizient berechenbar und gute Ergebnisse liefernd herausgestellt. Der Tenengrad S_T ist definiert als S_T = ∑_wE · (E > T), wobei T ein Schwellenwert ist, bei W handelt es sich um ein Bildfenster und die Kantenstärke E berechnet sich aus $E = e \frac{2}{x} + e \frac{2}{y} .$
Die horizontalen und vertikalen Sobel-Operatoren sind gegeben durch $e_{x} = (\begin{array}{l} - 1 & 0 & 1 \\ - 2 & 0 & 2 \\ - 1 & 0 & 1 \end{array}) und e_{y} = (\begin{array}{l} 1 & 2 & 1 \\ 0 & 0 & 0 \\ - 1 & - 2 & - 1 \end{array}) .$
Alternativ bzw. zusätzlich zum Schärfemaß M lassen sich auch andere Gütekriterien betrachten, z. B. Reflexionsvermeidung. An Objekten mit spiegelnder Oberfläche ergibt sich von unterschiedlicher Beobachtungsposition unterschiedliches Rückstrahlungsverhalten. Mittels eines entsprechenden Kriteriums kann z.B. spiegelnde Reflexion unterdrückt werden. Als Kriterium für Reflexionsvermeidung kann beispielsweise für jedes Pixels der kleinste Grauwert, für den auch das Schärfemaß unter einem Schwellwert liegt, herangezogen werden.
Allgemeiner kann anstelle eines Schärfemaßes somit eine Bewertungsfunktion M verwendet werden, die unterschiedliche Aspekte der aufgenommenen Bildzeile berücksichtigt. Dabei wird nicht ausschließlich auf die Schärfe sondern, wie bereits erwähnt auch auf eventuell vorhandene Bildreflexionen abgestellt.
Auf sämtliche Aufnahmen derselben Gegenstandszeile 31 wird dieselbe Bewertungsfunktion M angewendet und man erhält jeweils für jede Gegenstandszeile 31 eine Bewertung m. Die einzelnen für die Aufnahme derselben Gegenstandszeile ermittelten Bewertungen werden miteinander verglichen. Schließlich wird diejenige Aufnahme ausgewählt, die die höchste bzw. niedrigste Bewertung m aufweist, je nachdem, ob ein numerisch hoher oder niedriger Wert jeweils hohe Bildqualität indiziert. Ein derartiges Vorgehen kann für sämtliche der Gegenstandszeilen 31 eines Gegenstands 3 vorgenommen werden.
Es ist dabei vorteilhaft, dass die Aufnahmezeitpunkte, zu denen die einzelnen Aufnahmen durchgeführt werden, so aufeinander abgestimmt sind, dass gleiche Gegenstandszeilen 32 bzw. gleiche Teilbereiche des Gegenstands 3 durch die Relativbewegung jeweils zu aufeinander folgenden Aufnahmezeitpunkten auf aufeinander folgende bzw. benachbarte Zeilen 23 des Bildsensors 2 abgebildet werden.
Korrektur der Verzerrung
Im folgenden Ausführungsbeispiel der Erfindung wird eine zusätzliche Verzerrungskorrektur verwendet, die Verzerrungen betrifft, die dadurch entstehen, dass einzelne Gegenstandszeilen 31 dem Bildsensor 2 näher sind als andere Gegenstandszeilen 31. Näher beim Bildsensor 2 befindliche Gegenstandszeilen 31 werden typischerweise größer dargestellt als Gegenstandszeilen 31, die weiter vom Bildsensor 2 entfernt sind. Zur Ableitung eines gleichmäßig scharfen Bildes werden, entsprechend der Schärfefunktion, in Transportrichtung versetzte Zeilen ausgewählt. Beide Effekte können in einem der Schärfebestimmung nachgelagerten Schritt eliminiert werden.
Um dies zu bewerkstelligen, kann beispielsweise ein Gegenstand 3 mit dem Bildsensor 2 aufgenommen werden, wobei ein- und dieselbe Gegenstandszeile 31 von jeder der Zeilen 23 von Pixelsensoren 22 erfasst wird. Obwohl nicht alle Zeilen 23 von Pixelsensoren 22 gleich scharf aufgenommene Zeilenbilder liefern, ist es möglich, die Position und Größe der Gegenstandszeile 31 auf den einzelnen Zeilenbildern zu ermitteln. Es wird eine Zeile 23 als Referenzzeile 23' ausgewählt und festgelegt; diese Auswahl ist völlig willkürlich, beispielsweise kann die Zeile gewählt werden, in der das Abbild am kleinsten, am größten oder am schärfsten erscheint. Die übrigen Zeilenbilder werden vorzugsweise einer Transformation unterworfen, beispielsweise einer linearen Transformation, bei der das jeweilige Bild verschoben und gestreckt wird. Es wird für jede der Zeilen eine Transformation gesucht, die das Abbild der Gegenstandszeile 31 der Zeile 23 möglichst gut in das Abbild der Referenzzeile 23' überführt. Eine solche Transformation kann automatisiert aufgefunden werden, beispielsweise durch Optimierungs- oder Fitting-Verfahren. Dieses Vorgehen kann vorab, beispielsweise als Kalibrierungsschritt, durchgeführt werden. Jeder Zeile 23 wird jeweils eine Transformation zugeordnet, die ein von dieser Zeile 23 aufgenommene Bild in ein Bild überführt, das einem mit der Referenzzeile 23' aufgenommenen Bild entspricht. Der Unterschied zwischen einem so transformierten Bild und dem mit der Referenzzeile 23' selbst aufgenommenen Bild liegt in der Bildschärfe, wobei das mit der Referenzzeile 23' aufgenommene Bild jeweils eine geringere Bildschärfe aufweist als das ausgewählte Zeilenbild mit dem jeweils besten Bildschärfe.
Die Transformationen sind sodann für sämtliche nachfolgenden Detektionen gültig. Es ist jedoch auch möglich die Transformation für jedes einzelne aufgenommene Zeilenbild erneut durch einen entsprechenden Kalibrierungsschritt zu ermitteln. Dies liefert verbesserte Ergebnisse, benötigt jedoch eine zusätzliche Anzahl an Berechnungen.
Im folgenden wird der Zusammenhang der Verzerrung des aufgenommenen Bilds mit der Schrägstellung der Sensorebene 29 erläutert. Die durch das Schrägstellen der Sensorebene 29 bewirkte Projektion kann analytisch durch eine warping-Transformation modelliert werden, bei der sogenanntes backward mapping verwendet wird, d.h. für jeden Bildpunkt des aufgenommenen Abbilds wird durch lineare Interpolation der Helligkeits- bzw. Intensitätswerte der Bildpunkte des Pixelsensors 22 ein Helligkeits- bzw. Intensitätswert bestimmt. Die Koeffizienten der warping-Transformation hängen von der Verdrehung der Sensorebene 29 ab und können für gegeben Verdrehwinkel vorab berechnet werden.
Jedes so aufgenommene Abbild weist eine Verzerrung mit einem über das Bild veränderlichen Maßstab auf. Der Abbildungsmaßstab ist allgemein gegeben durch den folgenden Zusammenhang m = (f - b - z sin α)/f und hängt von der jeweiligen Position des Bildpunkts im Bild bzw. des mit dem Bildpunkt korrespondierenden Pixelsensors auf der Sensorebene ab. Der Abbildungsmaßstab des Bildes ist ergibt sich folglich zu m = (f - b - ip sin α)/p, wobei i den Bildindex und p die Pixelgröße bezeichnen.
Vergleicht man die Bilder, die mit unterschiedlichen Zeilen 23 des Bildsensors 2 aufgenommen worden sind, erscheint deren korrespondierender Inhalt, d. h. eine Abbildung desselben Gegenstandsbereichs bzw. derselben Gegenstandszeile 31, verschoben und gestreckt bzw. gestaucht. Die sich zu einem gewissen Zeitpunkt im Aufnahmebereich einer Zeile 23 befindliche Gegenstandszeile 31 befindet sich abhängig von der Bewegungsrichtung zum einem späteren Zeitpunkt im Aufnahmebereich einer weiteren Zeile 23 des Bildsensors 2.
Um Deckungsgleichheit der Bilder zu erreichen, ist deshalb nach dem warping, d. h. nach dem Strecken oder Stauchen des aufgenommenen Zeilenbilds, noch eine Verschiebung bzw. Translation des aufgenommenen Zeilenbildes notwendig. Dies kann mit der folgenden Manipulationsvorschrift bewerkstelligt werden: g_i(x,y) = g(x,y + i), wobei es sich bei g_i(x,y) um einen bestimmten Objektabschnitt handelt, welcher sich zum Zeitpunkt t unter der Zeile i = 0 befindet. Der selbe Objektabschnitt befindet sich, abhängig von der Bewegungsrichtung, zum Zeitpunkt t + 1 unter der Zeile i = -1 bzw. i = +1.
Um aus den mit den Pixelsensoren 22 ermittelten Helligkeits- bzw. Intensitätswerten ein Bild zu erzeugen, ist dem Bildsensor 2 eine Auswerteschaltung, dargestellt in 7, nachgeschaltet. Die Auswerteschaltung weist einen Zwischenspeicher 41 auf, dem die von den Pixelsensoren 22 ermittelten Helligkeits- bzw. Intensitätswerte zugeführt sind. Sämtliche Helligkeits- bzw. Intensitätswerte werden mit im Zwischenspeicher 41 abgelegt, wobei für jede Gegenstandszeile 31 jeweils so viele Abbilder zwischengespeichert werden, wie Zeilen 23 von Pixelsensoren 22 vorhanden sind. Dem Zwischenspeicher 41 ist eine Bewertungseinheit 42 nachgeschaltet, die für jedes mit jeweils einer Zeile 23 von Pixelsensoren 22 aufgenommenes Zeilenbild jeweils mittels der Bewertungsfunktion M eine Bewertung m ermittelt. Die Bewertungseinheit 42 weist einen Ausgang auf, an dem das jeweils ermittelte Bewertung anliegt.
Diese Bewertung m wird den jeweiligen abgespeicherten Zeilenbildern zugeordnet, insbesondere wird im Zwischenspeicher 41 hierfür jeweils ein Speicherplatz im Speicherbereich eines Zeilenbilds reserviert. Dem Zwischenspeicher 41 und auch der Bewertungseinheit 42 ist eine Vergleichseinheit 43 nachgeschaltet, die die Zeilenbilder in Hinblick auf die ermittelten Bewertungen m, insbesondere Schärfemaße, miteinander vergleicht. Sie wählt dabei dasjenige Zeilenbild mit der höchsten Bewertung m bzw. Bildschärfe aus. Dies ist je nach Definition der Bewertungsfunktion M das Zeilenbild mit der jeweils kleinsten bzw. größten zugeordneten Bewertung m.
Gegebenenfalls kann eine, nicht dargestellte, Transformationseinheit vorgesehen werden, die das ausgewählte Zeilenbild, wie oben beschrieben transformiert.
Das ausgewählte Zeilenbild wird in einem Bildspeicher 44 abgelegt und bildet gemeinsam mit den übrigen ausgewählten Zeilenbildern der jeweiligen Gegenstandszeilen 31 das Abbild des Gegenstands 3.

Claims

Bildsensor zur Aufnahme von relativ zu ihm mittels eines Transportbands (1) bewegten Gegenständen (3), umfassend eine Anzahl von rasterförmig in Zeilen (23) und Spalten (24) angeordneten Pixelsensoren (22) sowie ein Abbildungssystem (25) mit einer optischen Achse (27), das den Gegenstand (3) auf die Pixelsensoren (22) abbildet, dadurch gekennzeichnet, dass die optische Achse (27) normal zur Gegenstandsebene des Transportbands (1) steht und die innerhalb derselben Zeile (23) des Bildsensors (2) liegenden Pixelsensoren (22) jeweils denselben Abstand von einer zur optischen Achse normal liegenden Ebene (28) aufweisen und die Zeilen von Pixelsensoren (22) zu der Ebene (28) jeweils unterschiedlichen Abstand aufweisen.
Bildsensor nach Anspruch 1, dadurch gekennzeichnet, dass die Pixelsensoren (22) entlang einer Spalte (24) des Bildsensors (2) ansteigenden oder absteigenden Abstand von der Ebene (28) aufweisen.
Bildsensor nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass das Abbildungssystem eine Sammellinse aufweist.
Bildsensor nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass eine durch die Pixelsensoren (22) einer Spalte verlaufende Gerade gegenüber der Ebene (28) um zumindest 2° verkippt ist.
Vorrichtung umfassend einen Bildsensor (2) nach einem der Ansprüche 1 bis 4, gekennzeichnet durch eine Auswerteschaltung (4), die dem Bildsensor (2) nachgeschaltet ist, umfassend a) einen dem Bildsensor (2) nachgeschalteten Zwischenspeicher (41) zum Ablegen von mit den Pixelsensoren (22) ermittelten Intensitätswerten, b) eine dem Zwischenspeicher (41) nachgeschaltete Bewertungseinheit (42), die auf die Intensitätswerte der Pixelsensoren (22) einer Zeile (23) jeweils eine Bewertungsfunktion (M) anwendet und auswertet und das Resultat dieser Bewertungsfunktion (M) an ihrem Ausgang als Bewertung (m) zur Verfügung hält, c) eine dem Zwischenspeicher (41) und der Bewertungseinheit (42) nachgeschaltete Vergleichseinheit (43), die die vom selben Teilbereich des Gegenstandes (3) aufgenommenen Zeilenbilder in Hinblick auf ihre Bewertung (m) vergleicht, dasjenige Zeilenbild eines Gegenstandsbereichs auswählt, dessen Bewertung (m) die höchste Bildschärfe indiziert und dieses jeweils an ihrem Ausgang zur Verfügung hält und d) einen der Vergleichseinheit (43) nachgeschalteten Bildspeicher (44), in dem die von der Vergleichseinheit (43) ausgewählten Zeilenbilder abgelegt und zu einem Bild zusammengefügt vorliegen.
Verfahren zur Aufnahme von Bildern von Gegenständen (3) mit einem Bildsensor (2) gemäß einem der Ansprüche 1 bis 4 oder mit einer Vorrichtung gemäß Anspruch 5, a) wobei der Gegenstand (3) relativ zum Bildsensor (2) mittels eines Transportbands (1) bewegt wird, wobei die optische Achse (27) des Abbildungssystems (25) des Bildsensors (2) normal zur Gegenstandsebene des Transportbands (1) steht, wobei eine Sensorebene (29) gegenüber der optischen Achse (27) um den Winkel a gedreht ist, wobei die Pixelsensoren (22) des Bildsensors (2), die in derselben Zeile (23) liegen, jeweils denselben Abstand von der Ebene (28) aufweisen und wobei die Pixelsensoren (22) entlang einer jeweiligen Spalte (24) aufsteigenden oder absteigenden Abstand von der Ebene aufweisen, b) wobei zu jedem Aufnahmezeitpunkt mit jeder der Zeilen jeweils ein Zeilenbild des Gegenstands (3) aufgenommen wird, und c) wobei die Aufnahmezeitpunkte vorgegeben werden, sodass gleiche Teilbereiche des durch die Relativbewegung durch den Aufnahmebereich des Bildsensors (2) geführten Gegenstands (3) jeweils zu aufeinander folgenden Aufnahmezeitpunkten auf aufeinander folgende Zeilen (23) von Pixelsensoren (22) des Bildsensors (2) abgebildet werden, dadurch gekennzeichnet, dass d) das Zeilenbild jeder der Zeilen (23) ausgewertet wird, indem auf dieses Zeilenbild eine Bewertungsfunktion (M) angewendet wird und als Resultat eine Bewertung (m) ermittelt wird, mit der das Zeilenbild beurteilt wird, e) die Bewertungen (M) der Zeilenbilder für jeden aufgenommenen Teilbereich miteinander verglichen werden und schließlich f) für jeden Teilbereich des Gegenstands das Zeilenbild mit der minimalen oder maximalen Bewertung (m) ausgewählt wird und aus den einzelnen ausgewählten Zeilenbildern der Teilbereiche des Gegenstands (3) ein Flächenbild zusammengesetzt wird.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass jedes der ausgewählten Zeilenbilder derart skaliert wird, dass gleich große Teilbereiche des Gegenstands auf gleich große Bildbereiche abgebildet werden.
Verfahren nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass a) vorab eine Zeile (23) des Bildsensors (2) ausgewählt wird und diese als Referenzzeile festgelegt wird, b) die Bilder desselben Teilbereichs des Gegenstands (3) mit sämtlichen Zeilen (23) von Pixelsensoren (22) ermittelt werden, c) jeweils eine Transformation bestimmt wird, die das jeweilige Zeilenbild auf das Zeilenbild der Referenzzeile abbildet und diese Transformation der jeweiligen Zeile zuordnet, d) nach der Auswahl des schärfsten Zeilenbilds dieses ausgewählte Zeilenbild derjenigen Transformation, die der Zeile, mit der das ausgewählte Zeilenbild aufgenommen worden ist, zugeordnet ist, unterzogen wird, und e) die so erzielten Zeilenbilder zu einem Flächenbild zusammengesetzt werden.