DE102005048240A1 - Verfahren zur spektralen, integrierten Kalibrierung eines Bildsensors mittels monochromatischer Lichtquellen - Google Patents
Verfahren zur spektralen, integrierten Kalibrierung eines Bildsensors mittels monochromatischer Lichtquellen Download PDFInfo
- Publication number
- DE102005048240A1 DE102005048240A1 DE102005048240A DE102005048240A DE102005048240A1 DE 102005048240 A1 DE102005048240 A1 DE 102005048240A1 DE 102005048240 A DE102005048240 A DE 102005048240A DE 102005048240 A DE102005048240 A DE 102005048240A DE 102005048240 A1 DE102005048240 A1 DE 102005048240A1
- Authority
- DE
- Germany
- Prior art keywords
- image sensor
- image
- light
- imaging device
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000003595 spectral effect Effects 0.000 title claims abstract description 17
- 238000001228 spectrum Methods 0.000 claims abstract description 33
- 238000003384 imaging method Methods 0.000 claims abstract description 13
- 239000003086 colorant Substances 0.000 claims description 23
- 238000012937 correction Methods 0.000 claims description 16
- 230000011514 reflex Effects 0.000 claims description 3
- 238000001454 recorded image Methods 0.000 claims 1
- 230000008901 benefit Effects 0.000 description 13
- 238000005259 measurement Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 239000000049 pigment Substances 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 101000666896 Homo sapiens V-type immunoglobulin domain-containing suppressor of T-cell activation Proteins 0.000 description 1
- 102100038282 V-type immunoglobulin domain-containing suppressor of T-cell activation Human genes 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 239000012876 carrier material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- IJJVMEJXYNJXOJ-UHFFFAOYSA-N fluquinconazole Chemical compound C=1C=C(Cl)C=C(Cl)C=1N1C(=O)C2=CC(F)=CC=C2N=C1N1C=NC=N1 IJJVMEJXYNJXOJ-UHFFFAOYSA-N 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001795 light effect Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000005808 skin problem Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
- H04N1/6033—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer using test pattern analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Facsimile Scanning Arrangements (AREA)
- Color Television Image Signal Generators (AREA)
- Image Input (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Image Processing (AREA)
Abstract
Ein
Verfahren zur spektralen integrierten Kalibrierung eines Bildsensors
(6) in einem Bildaufnahmegerät
(1). Dabei wird der Bildsensor (6) mit einer Mehrzahl vorbestimmter
Lichtspektren beleuchtet, vorzugsweise durch monochromatische Lichtquellen.
Das Verfahren umfasst die Schritte: Bereitstellen eines Bildaufnahmegeräts (1) mit
einer darin integrierten Einrichtung zum Bereitstellen der Mehrzahl
vorbestimmter Lichtspektren und Beleuchten des Bildsensors (6) mit
der Mehrzahl vorbestimmter Lichtspektren der Einrichtung. Außerdem ein
Bildaufnahmegerät
(1) mit einem Bildsensor (6), wobei das Bildaufnahmegerät (1) eine
Einrichtung umfasst, die zur spektralen Kalibrierung des Bildsensors
(6) eine Mehrzahl vorbestimmter Lichtspektren bereitstellt, mit
denen der Bildsensor (6) beleuchtbar ist.
Description
- Hintergrund der Erfindung
- Die Erfindung betrifft ein Verfahren zur spektralen Kalibrierung eines Bildsensors in einem Bildaufnahmegerät. Genauer betrifft die Erfindung ein solches Verfahren, bei dem der Bildsensor mit einer Mehrzahl vorbestimmter Lichtspektren beleuchtet wird. Die Erfindung betrifft weiter ein Bildaufnahmegerät mit einem Bildsensor.
- Bei der digitalen Fotografie, Videoaufnahmen oder dem Scannen von Bildern werden von photoelektrisch sensitiven Schaltkreisen wie zum Beispiel Photodioden analoge Daten erzeugt, die anschließend mittels eines AD (Analog-Digital)-Wandlers in digitale Werte umgesetzt werden. Für Schwarz/Weiß-Aufnahmen werden die Intensitätswerte über ein gesamtes gemeinsames Spektrum gemessen. Für Farbaufnahmen werden durch bestimmte Maßnahmen, zum Beispiel durch unterschiedlich photosensitive Schaltkreise, unterschiedliche Messspektren gemessen. Dabei entspricht jede Farbe einem Messspektrum. Aus den Messungen der verschiedenen Messspektren entsteht ein Farbdatensatz. Dabei kommt in der digitalen Fotografie, bei Videoaufnahmen sowie beim Scannen das sogenannte RGB (Rot-Grün-Blau)-Verfahren zum Einsatz. Dieses beschreibt alle erfassbaren Farbwerte des verwendeten Sensors als eine Addition der Grundfarben Rot, Grün und Blau, womit sich dann alle innerhalb eines vorbestimmten Farbgamuts, also Farbumfangs, befindlichen Farben definieren lassen.
- Aufgrund unterschiedlicher Kennlinien der einzelnen photoelektrisch sensitiven Schaltkreise von unterschiedlichen digitalen Eingabegeräten und abhängig von der vorhandenen Beleuchtung ergeben sich bei dem in diesen Geräten üblichen RGB Verfahren für ein und das gleiche Objekt unterschiedliche Farbwerte. Für eine weitere Verarbeitung ist es aber notwendig unverfälschte Farben zu erhalten. Daher ist eine Kalibrierung der Kameras und Scanner notwendig.
- Bisherige Verfahren sehen vor, dass eine Kalibriervorlage bzw. ein Kalibriertarget durch eine Kamera oder einen Scanner erfasst, das entstandene Bild mit Referenzwerten verglichen und daraus Korrekturwerte ermittelt werden, mit denen dann das farbkorrigierte Bild erstellt wird. Letzteres kann beispielsweise mittels der bekannten ICC (International-Color-Consortium)-Profile geschehen.
- Die Kalibriertargets werden meist auf Fotopapier, durch Druckverfahren oder manuelles Auftragen von Pigmenten hergestellt, wirken also subtraktiv, d.h. durch Mischen von Pigmenten auf einem Trägermaterial. So wird aber sowohl die maximale Dichte, also der Farbumfang, auch genannt Farbgamut, durch die verwendeten Pigmente als auch die maximale Helligkeit durch das Trägermaterial begrenzt. Diese Targets nennt man daher auch reflektiv. Ist nun aber das Farbgamut der aufzunehmenden Vorlage oder der Szene größer als das Gamut des Targets, kann dieses Target nur ausschnittsweise die verwendeten Farben beschreiben. Weiterhin sind die Farben des Targets durch die Lichtquelle der herrschenden Beleuchtung immer Weißpunkt-abhängig und Metamerie-belastet, beschreiben also nicht notwendigerweise die Farbeigenschaften eines anderen Materials mit anderen Pigmenten aber gleichen Farbmesswerten bei ähnlichem Illuminanten, also ähnlicher Lichtquelle.
- Im Dezember 2004 wurde als Entwicklung der Firma HP ein emissives, also ein farbiges Licht emittierendes Target vorgestellt, das beschrieben ist in "Emissive Chart for Imager Calibration", Jeffrey M. DiCarlo et al., in Twelfth Color Imaging Conference: Color Science and Engineering Systems, Technologies, Applications, Scottsdale, AZ; 9. November 2004, Seiten 295 bis 301, ISBN/ISSN: 0-89208-254-2. Es soll benutzt werden, um das spektrale Verhalten des Bilderfassungsgerätes zu ermitteln und es dann durch die erhaltenen Korrekturwerte spektral zu kalibrieren. Somit soll vermieden werden, dass der Weißpunkt der verwendeten Beleuchtung für die weitere Verarbeitung definiert werden muss, was eines der Hautprobleme bei ICC-Profilen darstellt. Auch das Metamerie-Problem soll entfallen, da nur Lichtfarben mit absoluten Werten gemessen und danach kalibriert werden. Im optischen Aufbau ähnelt das bekannte emissive Target dem sogenannten Colorchecker, das von Gretag Macbeth als Aufsichtstarget entwickelt worden ist.
- Das bekannte emissive Target weist unter anderem den Nachteil auf, dass seine Verwendung nur möglich ist, wenn die das Target umgebende Beleuchtung soweit dunkler ist, dass die emittierten Lichtfarben nicht überbelichtet oder verfälscht werden. Außerdem kann es zu einer Verfälschung der Farben durch Wechseloptiken kommen, insbesondere bei digitalen Spiegelreflexkameras. Weiterhin können Spiegelungen oder Streulichteinwirkungen auf der Targetfläche das Messergebnis verfälschen. Problematisch kann es außerdem sein, dass die emittierenden Lichtquellen bei Spannungsschwankungen andere Farbwerte erzeugen. Die Erzielung und Messung von Mischfarben und Grauwerten erfordert im Allgemeinen genaueste und teure Spektralmessgeräte. Es ist auch zu befürchten, dass das bekannte Target im Betrieb ständig auf Farbhaltigkeit überprüft werden muss, was im Alltag, anders als bei Laboranwendungen, wenig praktikable ist. Darüber hinaus besteht die Gefahr, dass das bekannte Target durch die Handhabung verschmutzt, mechanisch abgenutzt oder beschädigt wird.
- Der Erfindung Zugrundeliegendes Problem
- Der Erfindung liegt die Aufgabe zugrunde, ein verbessertes Verfahren zur spektralen Kalibrierung eines Bildsensors in einem Bildaufnahmegerät bereitzustellen. Der Erfindung liegt außerdem die Aufgabe zugrunde, ein verbessertes Bildaufnahmegerät mit einem Bildsensor bereitzustellen. Insbesondere liegt der Erfindung die Aufgabe zugrunde, einen oder mehrere Nachteile des genannten Standes der Technik zu überwinden.
- Erfindungsgemäße Lösung
- Die Aufgabe wird durch ein Verfahren zur spektralen Kalibrierung eines Bildsensors in einem Bildaufnahmegerät, mit den Merkmalen des Patentanspruchs 1 gelöst. Dabei liegt der Erfindung der Gedanke zugrunde, die Vorteile der bekannten spektralen Kalibrierung zu bewahren, sie aber von ihren Nachteilen zu trennen. Dadurch, dass die Einrichtung zum Bereitstellen der vorbestimmten Lichtspektren in dem Bildaufnahmegerät integriert ist, ist es ein erreichbarer Vorteil der Erfindung, dass die Kalibrierung von äußeren Einflüssen, insbesondere Streulicht, Reflexionen, zu großer Umgebungshelligkeit, Linsenfehlern und/oder Spannungsschwankungen weniger stark beeinflusst wird oder im Wesentlichen unberührt bleibt.
- Die Aufgabe wird außerdem durch das Bildaufnahmegerät mit einem Bildsensor nach Anspruch 6 gelöst. Dadurch, dass das Bildaufnahmegerät selbst die Einrichtung zur spektralen Kalibrierung des Bildsensors umfasst, ist es ein erreichbarer Vorteil der Erfindung, die Kalibrierung von äußeren Einflüssen, insbesondere Streulicht, Reflexionen, zu großer Umgebungshelligkeit, Linsenfehlern und/oder Spannungsschwankungen besser abzuschirmen. Mit der Erfindung kann erreicht werden, dass eine Kalibrierung mit einem externen reflektiven oder emissiven Target überflüssig wird. Die Erfindung eignet sich besonders für tragbare Bildaufnahmegeräte wie zum Beispiel tragbare Foto- und Videokameras.
- Aufbau und Weiterbildung der erfindungsgemäßen Lösung
- Bei einer bevorzugten Ausführung des erfindungsgemäßen Verfahrens werden die Messwerte des mit den vorbestimmten Lichtspektren beleuchteten Bildsensors ausgelesen, gegebenenfalls als Bild gespeichert, mit vorbestimmten Sollwerten verglichen, und anschließen Korrekturwerte auf Grundlage des Vergleichs zwischen Messwerten und Sollwerten ermittelt. Besonders bevorzugt bilden die Korrekturwerte zusammen eine oder mehrere Korrekturtabellen. Es ist ein erreichbarer Vorteil der Erfindung, dass mit diesen Korrekturwerten darauf folgende Bilder unabhängig von äußeren Lichteinflüssen, Fehlern durch das optische System oder anderen Schwankungen linearisiert und/oder kalibriert werden können.
- Da das Kalibrieren vorzugsweise nur so lange dauert, wie eine Belichtung durchgeführt wird und die Korrekturwerte ausgelesen werden, ist es erreichbar, dass dies sekundenschnell und vollautomatisch, aber auch auf Benutzeranforderung, erfolgt. Bei einer ersten Ausführung der Erfindung ist das Bildaufnahmegerät so eingestellt, dass zum Erzielen höchster Qualität in regelmäßigen Zeitabständen oder nach einer festgelegten Anzahl von Bildern immer wieder eine Kalibrierung durchgeführt wird. bei einer zweiten Ausführung wird die Kalibrierung immer nach dem Einschalten des Bildaufnahmegeräts durchgeführt. Bei einer dritten Ausführung wird die Kalibrierung vor jeder neuen Aufnahme oder Aufnahmeserie durchgeführt. Es ist auch denkbar, die drei genannten Ausführungen zu kombinieren.
- Bei einer Ausführung der Erfindung werden die zur Kalibrierung notwendigen Berechnungen in dem Bildaufnahmegerät mittels Software ausgeführt. In einer anderen Ausführung werden die Berechnungen auf einem externen Rechner durchgeführt. Es ist auch denkbar, einen Teil der Kalibrierung in dem Bildaufnahmegerät und einen anderen Teil außerhalb des Bildaufnahmegeräts auszuführen. Es ist ein erreichbarer Vorteil der beiden letztgenannten Ausführungen, dass die Kalibrierung auch ausgeführt werden kann, wenn die Rechenkapazität des in dem Bildaufnahmegerät verwendeten Rechners dazu nicht ausreicht, zum Beispiel, wenn bei professionellen Kamerarückteilen sehr große Bilddateien erzeugt werden.
- In einer Ausführung der Erfindung werden die Korrekturwerte dem Bilddatensatz angehängt. Die RAW-Daten werde bei dieser Ausführung vorzugsweise nicht verändert. Bei einer ersten besonders bevorzugten Ausführung werden die Korrekturwerte wie ICC Profile behandelt. Bei einer zweiten besonders bevorzugten Ausführung werden die erhaltenen Korrekturwerte zu Rohdaten, den sogenannten RAW-Datensätzen, eines mit dem Bildaufnahmegerät aufgenommenen Bildes hinzugefügt, besonders bevorzugt als EXIF-Tag. Bei einer dritten besonders bevorzugten Ausführung werden die Korrekturwerte einem Bilddatensatz als XML (eXtended Markup Language)-Daten angehängt. Alternativ können die Korrekturdaten auch herstellerspezifisch in den jeweiligen RAW-Datensatz integriert werden. Bei einer anderen Ausführung der Erfindung werden die Korrekturwerte auf ein mit dem Bildaufnahmegerät aufgenommenes Bild angewandt, um es in einen vorbestimmten Arbeitsfarbraum zu transformieren. Besonders vorzugsweise wird das transformierte Bild anschließend von dem Bildaufnahmegerät ausgegeben, vorzugsweise im TIF- oder JPG-Format. Es ist auch denkbar, die genannten Verfahren miteinander zu kombinieren.
- Es ist ein erreichbarer Vorteil der Erfindung, dass im Arbeitsablauf beim Fotografieren zum Erzielen einer optimalen Farbgenauigkeit durch Kalibrieren keinerlei Targets mehr verwendet werden müssen. Besonders vorzugsweise geschieht die Kalibrierung vollautomatisch. Es ist ein erreichbarer Vorteil der Erfindung, dass der Anwender beim normalen Gebrauch des Bildaufnahmegeräts die Kalibrierung und/oder deren Anwendung nicht bemerkt.
- Bei einer bevorzugten Ausführung der Erfindung wird der Weißpunkt der fotografierten Szene mittels Vollautomatik mit einem der dazu bekannten oder zukünftig bekannt werdenden Verfahren festgelegt. Vorzugsweise stehen die Farbinformationen, zum Beispiel in Form von RAW-Daten, in jeder Bearbeitungsstufe zur Verfügung. Es ist ein erreichbarer Vorteil dieser Ausführung der Erfindung, dass der Weißpunkt nachträglich noch geändert werden kann.
- In einer bevorzugten Ausführung ist die Erfindung mit dem Modell des Windows-Color-Systems (WCS), das die Fa. Microsoft als Komponente des zukünftigen Windows "VISTA"-Computerbetriebssystems vorgestellt hat, und das sich mit vollautomatischen Workflows zur Erzielung bester Farbgenauigkeit ohne Benutzersteuerung beschäftigt, kompatibel. Das WCS sieht vor, dass verstärkt sensorspezifische Informationen in den Workflow eingebracht werden und bei der Weiterverarbeitung zu Automatisierung benutzt werden. Mit dieser Ausführung der Erfindung ist eine weitgehende Automatisierung und hohe Farbgenauigkeit im Umfeld des Windows-Betriebssystems erreichbar.
- In einer bevorzugten Ausführung des erfindungsgemäßen Bildaufnahmegeräts umfasst der Bildsensor photoelektrisch sensitive Schaltkreise, zum Beispiel Photodioden. Ein besonders bevorzugter Bildsensor ist ein zweidimensionales CCD-Feld oder eine CCD-Zeile. Der bevorzugte Bildsensor umfasst einen AD-Wandler, um Analoge Messwerte der photosensitiven Schaltkreise in digitale Werte umzusetzen.
- Die Spektren sind vorzugsweise jeweils im Wesentlichen monochromatisch. Vorzugsweise stellt die Einrichtung drei Lichtspektren bereit. Besonders vorzugsweise entsprechen die Spektren den Grundfarben Rot, Grün und Blau.
- Es ist ein erreichbarer Vorteil der Erfindung, dass eine rein spektrale Kalibrierung und Linearisierung vorgenommen werden kann. Vorzugsweise werden die Spektren direkt auf den Bildsensor projiziert. In einer bevorzugten Ausführung der Erfindung ist die Einrichtung relativ zum Bildsensor so angeordnet, dass die Mehrzahl von Lichtspektren sich beim Auftreffen auf den Bildsensor teilweise überlappen und sich in den Überlappungsbereichen mischen. Besonders vorzugsweise überlappen sich die drei jeweils im wesentlichen monochromatischen roten, grünen und blauen Spektren. Es ist so erreichbar, beliebige Farbabstufungen in der gewünschten Intensität zu erzeugen. Insbesondere können die Mischfarben Gelb, Cyan, Magenta, alle möglichen Zwischenwerte und Weiß mit der Erfindung erzeugt werden. In einer bevorzugten Ausführung überlappen sich die Spektren derart, dass auch Farbverläufe und deren Gleichmäßigkeit darstell- und überprüfbar sind. Es ist ein erreichbarer Vorteil der Erfindung, dass das erzeugte Farbgamut dieser Lichtfarben durch vorbestimmte Einwirkung sowie Auswahl des Spektralbereiches der monochromatischen Lichtquellen weit größer sein kann als das Farbgamut des auslesenden Sensors.
- Die Lichtspektren werden vorzugsweise nicht durch Reflexion erzeugt. Eine bevorzugte Einrichtung zur spektralen Kalibrierung des Bildsensors umfasst eine Mehrzahl von Lichtquellen, von denen jede ein Lichtspektrum erzeugt. Als Lichtquelle kommen vorzugsweise im Wesentlichen monochromatische Emitter in den Grundfarben Rot, Grün und Blau zum Einsatz. Bevorzugte Emitter sind Leuchtdioden (LED's), Diodenlaser oder Kleinlaser, insbesondere abstimmbare Laser, sowie alle zukünftig geeigneten Lichtquellen. Handelt es sich bei dem Bildsensor um ein zweidimensionales Sensor-Array, umfasst die Einrichtung vorzugsweise mindestens 3 Lichtquellen. Bei einer eindimensionalen Sensorzeile umfasst die Einrichtung vorzugsweise mindestens 5 Lichtquellen.
- Die Einrichtung umfasst in einer bevorzugten Ausführung zusätzlich zu den im Wesentlichen monochromatischen roten, grünen und blauen Lichtquellen eine Lichtquelle, die ein im Wesentlichen weißes Lichtspektrum erzeugt, vorzugsweise eine weiße Breitband-LED. Hierdurch kann insbesondere ein maximaler Helligkeitswert zum Kalibrieren zur Verfügung gestellt werden.
- In einer bevorzugten Ausführung der Erfindung wird das Licht durch Linsen und/oder Spiegel von der Einrichtung auf den Sensor projiziert. Zum Beispiel können Mikrolinsen und/oder Mikrospiegel, wie sie aus der DLP (Digital Light Processing)-Technik bekannt sind, verwendet werden. In einer anderen Ausführung der Erfindung kommt ein Laser mit Bildsteuerung zum Einsatz.
- Die erfindungsgemäße Einrichtung zur spektralen Kalibrierung des Bildsensors ist vorzugsweise hinter dem Objektiv, jeweils unmittelbar vor den Bildsensor angeordnet. In einer Ausführung der Erfindung ist das Bildaufnahmegerät eine digitale Fotokamera oder eine Videokamera, besonders bevorzugt eine Spiegelreflexkamera. Hier ist die Farbquelle vorzugsweise innerhalb des Spiegelkastens angeordnet. Die jeweilige Anordnung und Anzahl der Lichtquellen ist auch abhängig von der Positionierung des Autofocussystems, das bei manchen Kameras mit einem unterhalb des Hauptspiegels befestigten Hilfsspiegel arbeitet. Es ist auch eine Projektion aus mehreren Winkeln denkbar.
- In einer anderen Ausführung der Erfindung ist das Bildaufnahmegerät ein Scanner, der eine Vorlage zeilenweise abtastet. Der Bildsensor umfasst eine Sensorzeile, die das Bild entlang ihrer Längsachse (Haupt-Scan-Richtung) auflöst. Die Sensorzeile wird, vorzugsweise mittels eines Schrittmotors, in die Sub-Scan-Richtung bewegt, um das Bild so zeilenweise abzutasten. Vorzugsweise werden fünf oder mehr Lichtquellen, besonders vorzugsweise Leuchtdioden, unter der Sensorzeile so angebracht, dass statt oder zusätzlich zu dem ohnehin bei Scannern üblichen Weißabgleich eine spektrale Kalibrierung vorgenommen wird. In einer bevorzugten Ausführung der Erfindung sind die Leuchtdioden im Gehäuse, in einer anderen bevorzugten Ausführung im Vorlagendeckel des Scanners angeordnet.
- Es ist ein erreichbarer Vorteil der Erfindung, dass die zusätzlichen Kosten für den Einbau einer erfindungsgemäßen Einrichtung zur spektralen Kalibrierung in eine hochwertige digitale Fotokamera, eine Videokamera oder einen Scanner selbst bei anfänglich niedrigen Stückzahlen nur wenige Euro betragen. Es ist außerdem erreichbar, dass bei einer Massenfertigung solche Emittereinheiten vorgefertigt und für wenige Eurocent hergestellt werden.
- Vorzugsweise werden die Einrichtungen mit hoher Präzision als komplette, jeweils speziell auf die Gegebenheiten des Bildaufnahmegeräts wie Sensorgröße, Sensortyp oder gewünschte Qualitätsstufe angepasste Emittereinheiten hergestellt und vorkalibriert. Dafür die Benutzung der LEDs bereits genaue Normen und Messvorschriften der CIE und der ISO existieren, ist es ein erreichbarer Vorteil der Erfindung, dass die Kalibrierung nach schon vorhandenen Messgerätespezifikationen durchgeführt werden kann. Darüber hinaus kann eine praktisch unbeschränkte Lebensdauer dieser Emittereinheit erreicht werden, weil zum Beispiel LEDs bei Dauerlicht zwischen 60'000 und 100'000 Stunden gleichmäßig störungsfrei funktionieren können.
- Es ist ein erreichbarer Vorteil der Erfindung, dass die Fertigungskosten digitaler Fotokameras, Videokameras und Scanner gesenkt werden, da durch die individuelle Kalibrierung der verwendeten Bildsensoren auch solche Sensoren verwendet werden können, die normalerweise außerhalb gewisser Qualitätsspezifikationen liegen. Es ist deshalb denkbar, dass eine diesbezügliche Endkontrolle entfällt, und sich die Kamera oder der Scanner selbst auf optimale Qualitätswerte einstellt, sobald der Kalibrierungssensor in Betrieb ist.
- Kurzbeschreibung der Zeichnungen
- Die Erfindung wird im Folgenden anhand schematischer Zeichnungen einiger Ausführungsbeispiele näher erläutert.
- Es zeigen
-
1a und1b eine Vorderansicht eines ersten und zweiten Ausführungsbeispiels eines erfindungsgemäßen Bildaufnahmegeräts, -
2 eine Seitenansicht eines dritten Ausführungsbeispiels eines erfindungsgemäßen Bildaufnahmegeräts, -
3 eine Vorderansicht eines vierten Ausführungsbeispiels eines erfindungsgemäßen Bildaufnahmegeräts, -
4 eine perspektivische Ansicht eines fünften Ausführungsbeispiels eines erfindungsgemäßen Bildaufnahmegeräts, -
5 eine erste beispielhafte Auswahl von Messfeldern bei einem zweidimensionalen Bildsensor bei zentraler Projektion der Lichtspektren auf den Sensor, -
6 eine zweite beispielhafte Auswahl von Messfeldern bei einem zweidimensionalen Bildsensor bei seitlicher Projektion der Lichtspektren auf den Sensor, und -
7 eine beispielhafte Auswahl von Messpunkten bei einer Sensorzeile. - Ausführliche Beschreibung eines Ausführungsbeispiels
- Die in
1a und1b dargestellten Ausführungsbeispiele eines erfindungsgemäßen Bildaufnahmegeräts1 ist eine Spiegelreflexkamera mit einem Kameragehäuse und einer Objektivfassung2 . Die im Kameragehäuse angeordneten roten, grünen und blauen LEDs3 ,4 und5 als Lichtquellen projizieren ihr Licht beidseitig von rechts und links bzw. einseitig nur von rechts seitlich direkt auf den Bildsensor6 . Die kreissymmetrischen Lichtkegel erzeugen aufgrund der seitlichen Projektion im Wesentlichen eiförmige Farbflächen R, G und B auf der Oberfläche des Bildsensors (6 ). Außerdem überlappen sich die Lichtkegel der einzelnen Lichtquellen3 ,4 und5 teilweise und bilden auf dem Bildsensor6 in einigen Bereichen Mischfarben. - Auch das in
2 dargestellte Ausführungsbeispiel zeigt eine Spiegelreflexkamera. Die Kamera ist wie üblich mit einem Rückschwingspiegel7 ausgestattet, der durch ein Linsensystem8 des Objektivs einfallende Licht zu einem Pentaprisma9 leitet, von wo es den Sucher10 erreicht. In der Ausführung der2 projizieren die LEDs3 ,4 und5 von unten über die hierzu ebenfalls verspiegelte Rückseite des Rückschwingspiegels7 ihr Licht senkrecht und mittig auf den Bildsensor6 . Die Lichtflecken sind daher kreisförmig. Wiederum entstehen in Überlappungsbereichen der Lichtkegel Mischfarben. In dem in3 dargestellten Ausführungsbeispiel projizieren die LEDs3 ,4 und5 in den Farben Rot, Grün und Blau ihr Licht von schräg unterhalb des Rückschwingspiegels7 fast senkrecht auf den Bildsensor6 . Die Lichtflecken R, G und B sind daher im selben Maße fast kreisförmig. - Das Ausführungsbeispiel der
4 zeigt einen Aufsichtsscanner11 , bei dem fünf LEDs in den Farben Rot3 , Grün4 , Blau5 und noch einmal Blau12 der Sensorzeile13 gegenüberliegend angebracht sind. Außerdem ist eine weiße LED14 vorgesehen. Die Anordnung befindet sich im Gehäuse des Scanners oberhalb des Vorlagenglases15 , an der Stelle, an der sich bei gewöhnlichen Scannern häufig eine Einrichtung für einen Weißabgleich befindet. - Wie in
5 und6 zu sehen, überlappen sich die Lichtkegel der einzelnen LEDs3 ,4 und5 , in den Ausführungsbeispielen der1 bis3 , wobei die Ränder der Kegel allerdings nicht scharf sind, sondern die jeweilige Lichtintensität in einem Übergansbereich auf im Wesentlichen Null abfällt. Dadurch bilden sich in den Überlappungsbereichen16 ,17 ,18 und19 kontinuierlich verlaufende Abstufungen von Mischfarben, einschließlich der Farben Cyan im Uberlappungsbereich16 , Magenta im Uberlappungsbereich17 , Gelb im Überlappungsbereich18 , und Weiß im Überlappungsbereich19 . Einige dieser Mischfarben werden durch vorbestimmte Messfelder, von denen eines stellvertretend für alle mit dem Bezugszeichen20 bezeichnet ist, für die Kalibrierung ausgewählt. -
7 zeigt, wie sich die Farbkegel der LEDs3 ,4 ,5 und14 auch im Ausführungsbeispiel des Aufsichtsscanners der4 überlappen. Wiederum entstehen in den Überlappungsbereichen kontinuierlich verlaufende Abstufungen von Mischfarben, einschließlich der Farben Cyan im Überlappungsbereich16 , Magenta im Überlappungsbereich17 und Gelb im Uberlappungsbereich18 . Weiterhin erzeugt die weiße LED einen weißen Lichtfleck. Zur Kalibrierung werden durch vorbestimmte Messpunkte, von denen wiederum einer stellvertretend für alle mit dem Bezugszeichen21 bezeichnet ist, bestimmte Mischfarben ausgewählt.
Claims (15)
- Verfahren zur spektralen Kalibrierung eines Bildsensors (
6 ) in einem Bildaufnahmegerät (1 ,11 ), wobei der Bildsensor (6 ) mit einer Mehrzahl vorbestimmter Lichtspektren beleuchtet wird, dadurch gekennzeichnet, dass das Verfahren die Schritte umfasst: – Bereitstellen eines Bildaufnahmegeräts (1 ,11 ) mit einer darin integrierten Einrichtung zum Bereitstellen der Mehrzahl vorbestimmter Lichtspektren, und – Beleuchten des Bildsensors (6 ) mit der Mehrzahl vorbestimmter Lichtspektren der Einrichtung. - Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Verfahren außerdem die Schritte umfasst: – Auslesen von Messwerten des mit den vorbestimmten Lichtspektren beleuchteten Bildsensors (
6 ), – Vergleichen der Messwerte mit vorbestimmten Sollwerten, und – Ermitteln von Korrekturwerten auf Grundlage des Vergleichs zwischen Messwerten und Sollwerten. - Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass das Verfahren außerdem den Schritt des Hinzufügens der Korrekturwerte zu Rohdaten eines mit dem Bildaufnahmegerät (
1 ,11 ) aufgenommenen Bildes umfasst. - Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass das Verfahren außerdem die Schritte umfasst: – Anwenden der Korrekturwerte auf ein mit dem Bildaufnahmegerät (
1 ,11 ) aufgenommenes Bild, um es in einen Arbeitsfarbraum zu transformieren, und – Ausgeben des Bildes. - Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass es außerdem den Schritt des Festlegens eines Weißpunktes umfasst.
- Bildaufnahmegerät (
1 ,11 ) mit einem Bildsensor (6 ), dadurch gekennzeichnet, dass das Bildaufnahmegerät (1 ,11 ) eine Einrichtung umfasst, die zur spektralen Kalibrierung des Bildsensors (6 ) eine Mehrzahl vorbestimmter Lichtspektren bereitstellt, mit denen der Bildsensor (6 ) beleuchtbar ist. - Bildaufnahmegerät (
1 ,11 ) nach Anspruch 6, dadurch gekennzeichnet, dass die Einrichtung mindestens drei im Wesentlichen monochromatische Lichtspektren bereitstellt, die den Grundfarben Rot, Grün und Blau entsprechen. - Bildaufnahmegerät (
1 ,11 ) nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass die Einrichtung relativ zum Bildsensor (6 ) so angeordnet ist, dass die Mehrzahl von Lichtspektren sich beim Auftreffen auf den Bildsensor (6 ) mindestens teilweise überlappen und sich in den Überlappungsbereichen mischen. - Bildaufnahmegerät (
1 ,11 ) nach einem der Ansprüche 6 bis 8, dadurch gekennzeichnet, dass die Einrichtung eine Mehrzahl von Lichtquellen (3 ,4 ,5 ,12 ,14 ) umfasst, von denen jede ein Lichtspektrum der Mehrzahl von Lichtspektren erzeugt. - Bildaufnahmegerät (
1 ,11 ) nach Anspruch 9, dadurch gekennzeichnet, dass die Einrichtung eine Lichtquelle (14 ) umfasst, die ein im Wesentlichen weißes Lichtspektrum erzeugt. - Bildaufnahmegerät (
1 ,11 ) nach einem der Ansprüche 6 bis 10, dadurch gekennzeichnet, dass das Licht durch mindestens eine Linse und/oder mindestens einen Spiegel (7 ) von der Einrichtung auf den Sensor projiziert wird. - Bildaufnahmegerät (
1 ,11 ) nach einem der Ansprüche 6 bis 11, dadurch gekennzeichnet, dass die Einrichtung innerhalb eines Gehäuses des Bildaufnahmegeräts angeordnet ist. - Bildaufnahmegerät (
1 ) nach einem der Ansprüche 6 bis 12, dadurch gekennzeichnet, dass das Bildaufnahmegerät (1 ) eine Fotokamera oder eine Videokamera ist. - Bildaufnahmegerät (
1 ) nach einem der Ansprüche 6 bis 13, dadurch gekennzeichnet, dass das Bildaufnahmegerät (1 ) eine Spiegelreflexkamera mit einem Spiegelkasten ist, und die Einrichtung innerhalb des Spiegelkastens angeordnet ist. - Bildaufnahmegerät (
11 ) nach einem der Ansprüche 6 bis 13, dadurch gekennzeichnet, dass das Aufnahmegerät (11 ) ein Scanner ist, der eine Vorlage zeilenweise abtastet.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102005048240A DE102005048240A1 (de) | 2005-10-07 | 2005-10-07 | Verfahren zur spektralen, integrierten Kalibrierung eines Bildsensors mittels monochromatischer Lichtquellen |
JP2008533920A JP2009510959A (ja) | 2005-10-07 | 2006-10-02 | 単色光源により画像センサをスペクトル統合校正するための方法 |
PCT/EP2006/009555 WO2007042171A1 (de) | 2005-10-07 | 2006-10-02 | Verfahren zur spektralen, integrierten kalibrierung eines bildsensors mittels monochromatischer lichtquellen |
US12/089,396 US20080212874A1 (en) | 2005-10-07 | 2006-10-02 | Method for Spectral Integrated Calibration of an Image Sensor by Means of a Monochromatic Light Source |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102005048240A DE102005048240A1 (de) | 2005-10-07 | 2005-10-07 | Verfahren zur spektralen, integrierten Kalibrierung eines Bildsensors mittels monochromatischer Lichtquellen |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102005048240A1 true DE102005048240A1 (de) | 2007-04-19 |
Family
ID=37808201
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102005048240A Withdrawn DE102005048240A1 (de) | 2005-10-07 | 2005-10-07 | Verfahren zur spektralen, integrierten Kalibrierung eines Bildsensors mittels monochromatischer Lichtquellen |
Country Status (4)
Country | Link |
---|---|
US (1) | US20080212874A1 (de) |
JP (1) | JP2009510959A (de) |
DE (1) | DE102005048240A1 (de) |
WO (1) | WO2007042171A1 (de) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102008001051A1 (de) | 2008-04-08 | 2009-10-15 | Stefan Steib | Verfahren zur Korrektur eines mit einem Bildaufnahmegerät durch ein Objektiv aufgenommenen Bildes |
EP2244461A3 (de) * | 2009-04-20 | 2010-11-17 | Carlo Gavazzi Services AG | Digitalkamera und Verfahren zum Testen der Funktion einer Digitalkamera |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11490037B2 (en) | 2014-10-29 | 2022-11-01 | Palo Alto Research Center Incorporated | Liquid crystal fourier transform imaging spectrometer |
US10469771B2 (en) * | 2014-10-29 | 2019-11-05 | Palo Alto Research Center Incorporated | Liquid crystal fourier transform imaging spectrometer |
US10760967B2 (en) | 2014-10-29 | 2020-09-01 | Palo Alto Research Center Incorporated | Liquid crystal fourier transform imaging spectrometer |
US10142353B2 (en) | 2015-06-05 | 2018-11-27 | Cisco Technology, Inc. | System for monitoring and managing datacenters |
US9967158B2 (en) | 2015-06-05 | 2018-05-08 | Cisco Technology, Inc. | Interactive hierarchical network chord diagram for application dependency mapping |
US10536357B2 (en) | 2015-06-05 | 2020-01-14 | Cisco Technology, Inc. | Late data detection in data center |
US10768497B2 (en) | 2016-10-03 | 2020-09-08 | Xerox Corporation | Hyperspectral imaging system |
US10564504B2 (en) | 2017-11-30 | 2020-02-18 | Palo Alto Research Center Incorporated | Liquid-crystal variable retarder using liquid crystal cells of differing thicknesses |
US10663346B2 (en) | 2017-12-29 | 2020-05-26 | Palo Alto Research Center Incorporated | Method and apparatus for transforming uniformly or non-uniformly sampled interferograms to produce spectral data |
US10983338B2 (en) | 2017-12-29 | 2021-04-20 | Palo Alto Research Center Incorporated | Exit-pupil expander used distribute light over a liquid-crystal variable retarder |
US10175116B1 (en) | 2017-12-29 | 2019-01-08 | Palo Alto Research Center Incorporated | Color filter used with liquid-crystal polarization interferometer |
US10379043B2 (en) | 2017-12-29 | 2019-08-13 | Palo Alto Research Center Incorporated | Measuring path delay through a liquid-crystal variable retarder at non-uniform retardance intervals |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0613291A1 (de) * | 1993-02-24 | 1994-08-31 | Nikon Corporation | Bildlesegerät mit verbesserter Schattierungskorrektur und Messung des Lichtmengenverhältnisses |
US6205244B1 (en) * | 1998-06-23 | 2001-03-20 | Intel Corporation | Method for imager device color calibration utilizing light-emitting diodes or other spectral light sources |
US6300621B1 (en) * | 1998-12-09 | 2001-10-09 | Intel Corporation | Color calibration device and method |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6122042A (en) * | 1997-02-07 | 2000-09-19 | Wunderman; Irwin | Devices and methods for optically identifying characteristics of material objects |
US5982957A (en) * | 1998-03-31 | 1999-11-09 | Eastman Kodak Company | Scanner illumination |
US6088095A (en) * | 1998-11-12 | 2000-07-11 | Xerox Corporation | Model-based spectral calibration of color scanners |
JP2001186401A (ja) * | 1999-12-24 | 2001-07-06 | Minolta Co Ltd | デジタルカメラ |
JP2001309405A (ja) * | 2000-04-07 | 2001-11-02 | Hewlett Packard Co <Hp> | イメージング・システムを校正する方法 |
EP1158760A1 (de) * | 2000-05-26 | 2001-11-28 | GRETAG IMAGING Trading AG | Fotografische Leuchtdioden-Bilderfassungsvorrichtung |
US6839088B2 (en) * | 2001-03-31 | 2005-01-04 | The Board Of Trustees Of The Leland Stanford Junior University | System and method for estimating physical properties of objects and illuminants in a scene using modulated light emission |
US6759814B2 (en) * | 2002-03-28 | 2004-07-06 | Eastman Kodak Company | Illuminator and method of making same |
US7012634B2 (en) * | 2002-03-28 | 2006-03-14 | Eastman Kodak Company | System and method for calibrating an image capture device |
US20040119860A1 (en) * | 2002-12-23 | 2004-06-24 | Eastman Kodak Company | Method of colorimetrically calibrating an image capturing device |
US8705151B2 (en) * | 2004-04-05 | 2014-04-22 | Hewlett-Packard Development Company, L.P. | Imaging device calibration methods, imaging device calibration instruments, imaging devices, and articles of manufacture |
-
2005
- 2005-10-07 DE DE102005048240A patent/DE102005048240A1/de not_active Withdrawn
-
2006
- 2006-10-02 WO PCT/EP2006/009555 patent/WO2007042171A1/de active Application Filing
- 2006-10-02 US US12/089,396 patent/US20080212874A1/en not_active Abandoned
- 2006-10-02 JP JP2008533920A patent/JP2009510959A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0613291A1 (de) * | 1993-02-24 | 1994-08-31 | Nikon Corporation | Bildlesegerät mit verbesserter Schattierungskorrektur und Messung des Lichtmengenverhältnisses |
US6205244B1 (en) * | 1998-06-23 | 2001-03-20 | Intel Corporation | Method for imager device color calibration utilizing light-emitting diodes or other spectral light sources |
US6300621B1 (en) * | 1998-12-09 | 2001-10-09 | Intel Corporation | Color calibration device and method |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102008001051A1 (de) | 2008-04-08 | 2009-10-15 | Stefan Steib | Verfahren zur Korrektur eines mit einem Bildaufnahmegerät durch ein Objektiv aufgenommenen Bildes |
EP2244461A3 (de) * | 2009-04-20 | 2010-11-17 | Carlo Gavazzi Services AG | Digitalkamera und Verfahren zum Testen der Funktion einer Digitalkamera |
Also Published As
Publication number | Publication date |
---|---|
WO2007042171A1 (de) | 2007-04-19 |
US20080212874A1 (en) | 2008-09-04 |
JP2009510959A (ja) | 2009-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102005048240A1 (de) | Verfahren zur spektralen, integrierten Kalibrierung eines Bildsensors mittels monochromatischer Lichtquellen | |
DE69729218T2 (de) | Vorrichtung und verfahren zur messung der farbkarakteristik | |
DE69513209T2 (de) | Abtastung von Farbnegativen und Umwandlung in die Farben der Originalszene | |
DE69733946T2 (de) | Farbsensor mit luminanzpriorität | |
DE60216664T2 (de) | Spektrophotometer zur Farbsteuerung eines Farbdruckgeräts, unempfindlich gegen Winkel-, Azimuth- und Abstandsänderung | |
DE60133160T2 (de) | Digitalbild-Verarbeitungsverfahren und Vorrichtung zur Helligkeitseinstellung von Digitalbildern | |
DE60304094T2 (de) | Verfahren und System zum Kalibrieren einer Abtastvorrichtung | |
DE69520472T2 (de) | Farbbildreproduktion von Szenen mit verstärkter Farbgebung und verbesserter Farbtonabbildung | |
DE3787611T2 (de) | Farbbildlesegerät oder Farbbilderzeugungsgerät. | |
DE102009001555B4 (de) | Bildverarbeitungsvorrichtung | |
DE69913632T2 (de) | Verfahren zur Messung von Spektralantwort-Kenndaten einer Bildaufnahmevorrichtung | |
DE10310595B4 (de) | Messvorrichtung mit Bildverarbeitung, Beleuchtungssystem dafür, Verfahren zur Steuerung des Beleuchtungssystems, Steuerungsprogramm für das Beleuchtungssystem und Speichermedium mit dem darauf gespeicherten Programmen zur Steuerung des Beleuchtungssystems | |
DE102005028472A1 (de) | Verfahren und Vorrichtung zum Einstellen eines Weißabgleichs | |
DE69829326T2 (de) | Vorrichtung und Verfahren zum Eichen eines Fotofinishing-Systems | |
DE102007003571A1 (de) | Farbkorrekturvorrichtung | |
DE112012003105T5 (de) | Bildaufnahmevorrichtung, Steuerungsverfahren hierfür und Programm | |
DE102005018092A1 (de) | Biochip-Messverfahren und Biochip-Messvorrichtung | |
DE4416314C2 (de) | Verfahren und Vorrichtung zur Aufnahme einer Bildszene und Verwendung der Vorrichtung in einem Kopiergerät | |
DE69122454T2 (de) | Verfahren zur Bestimmung der Belichtung zum Gebrauch in einem Bilderzeugungsgerät | |
DE10357245A1 (de) | Optischer Bildscanner mit beweglichem Kalibrierungsziel | |
DE69609156T2 (de) | Bezugselement für einen Fernsehfilmabtaster und System und Verfahren zum Erzeugen von Belichtungsinformationen einer Szene | |
EP0360751B1 (de) | Belichtungssteuerungsverfahren und fotografisches Farbkopiergerät | |
DE19938211B4 (de) | Belichtungssteuersystem für eine Kamera und Kamera | |
DE19833742A1 (de) | Vorrichtung und Verfahren für die automatische Farbtemperaturkorrektur | |
DE3620525A1 (de) | Verfahren und vorrichtung zur spektrografischen messung der dichte eines farbnegativfilms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OP8 | Request for examination as to paragraph 44 patent law | ||
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |
Effective date: 20130501 |