-
TECHNISCHES GEBIET
-
Ein Aspekt der Ausführungsformen betrifft ein Lichtkorrekturkoeffizient-Vorhersageverfahren, eine Lichtkorrekturkoeffizient-Vorhersagevorrichtung, ein Maschinenlernverfahren, ein Vorverarbeitungsverfahren beim Maschinenlernen und ein trainiertes Lernmodell.
-
HINTERGRUND
-
Konventionell sind Techniken zur Korrektur von Abbildungsfehlern, die durch ein optisches System, beispielsweise eine Objektivlinse, verursacht werden, bekannt. Um beispielsweise in der Objektivlinse vorhandene Abbildungsfehler zu korrigieren, beschreibt die nachstehende Patentliteratur 1 eine Technik zur Änderung eines Zernike-Koeffizienten, um eine Wellenfrontform zur Einstellung eines Phasenmusters zu erhalten, das auf ein Wellenfrontmodulationselement angewendet werden soll, auf einen Koeffizienten, der den Punktdurchmesser des Laserlichts in einem virtuellen Bild minimiert. Darüber hinaus wird in der nachstehenden Patentliteratur 2 eine Technik beschrieben, bei der beim Korrigieren von Abbildungsfehlern, die in einem optischen System, beispielsweise einem Lasermikroskop, auftreten, der Betrag der Aberrationskorrektur als eine Phasenverteilung jeder Funktion des Zernike-Polynoms ausgedrückt wird, ein Phasenmodulationsprofil durch Ändern des relativen Phasenmodulationsbetrags jeder Funktion berechnet wird und das Phasenmodulationsprofil durch Anlegen einer Spannung an Elektroden erzeugt wird, die in einem Phasenmodulationselement vorgesehen sind. Darüber hinaus wird in der nachstehenden Patentliteratur 3 ein Verfahren zur Korrektur der Abbildungsfehler eines Auges bei der Fundusuntersuchung beschrieben, bei dem ein Koeffizient für jede Ordnung berechnet wird, indem eine von einem Wellenfrontsensor gemessene Wellenfront als Zernike-Funktion modelliert wird und der Modulationsbetrag einer Vorrichtung zur Wellenfrontkorrektur auf der Grundlage des Koeffizienten berechnet wird.
-
Zitierliste
-
Patentliteratur
-
- Patentliteratur 1: Ungeprüfte japanische Patentveröffentlichung Nr. 2011 -133580
- Patentliteratur 2: Internationale Veröffentlichung WO 2013/172085
- Patentliteratur 3: Ungeprüfte japanische Patentveröffentlichung Nr. 2012-235834
-
ZUSAMMENFASSUNG DER ERFINDUNG
-
Technische Aufgabenstellung
-
Bei den oben beschriebenen konventionellen Verfahren nimmt der Rechenaufwand bei der Ableitung von Koeffizienten zur Korrektur von Abbildungsfehlern tendenziell zu, und auch die Rechenzeit nimmt tendenziell zu. Daher ist es erforderlich, die Berechnungszeit bei der Durchführung der Abbildungsfehler-Korrektur zu verkürzen.
-
Daher wurde ein Aspekt der Ausführungsformen im Hinblick auf solche Probleme gemacht, und eine Aufgabe davon ist es, ein Lichtkorrekturkoeffizient-Vorhersageverfahren, eine Lichtkorrekturkoeffizient-Vorhersagevorrichtung, ein Maschinenlernverfahren, ein Vorverarbeitungsverfahren beim Maschinenlernen und ein trainiertes Lernmodell vorzusehen, die eine effiziente Korrektur von optischen Abbildungsfehlern in einer kurzen Berechnungszeit ermöglichen.
-
Lösung der Aufgabenstellung
-
Ein Lichtkorrekturkoeffizient-Vorhersageverfahren gemäß einem Aspekt der Ausführungsformen umfasst: einen Schritt des Erfassens einer Intensitätsverteilung entlang einer vorbestimmten Richtung für ein Intensitätsbild, das durch Beobachten einer Aktion erhalten wird, die durch Licht verursacht wird, das unter Verwendung eines Lichtmodulators basierend auf einem Lichtkorrekturkoeffizienten korrigiert wird; einen Schritt des Berechnens eines Vergleichsergebnisses zwischen der Intensitätsverteilung und einer Zielverteilung, um Vergleichsdaten zu erzeugen; und einen Schritt des Vorhersagens eines Lichtkorrekturkoeffizienten, der zum Durchführen einer Aberrationskorrektur in Bezug auf das Licht dient, so dass sich die Intensitätsverteilung der Zielverteilung annähert, durch Eingeben der Vergleichsdaten und des Lichtkorrekturkoeffizienten, der eine Basis der Intensitätsverteilung ist, in ein Lernmodell.
-
Alternativ dazu umfasst eine Lichtkorrekturkoeffizient-Vorhersagevorrichtung gemäß einem anderen Aspekt der Ausführungsformen: eine Erfassungseinheit, die eine Intensitätsverteilung entlang einer vorbestimmten Richtung für ein Intensitätsbild erfasst, das durch Beobachten einer Aktion erhalten wird, die durch Licht verursacht wird, das unter Verwendung eines Lichtmodulators basierend auf einem Lichtkorrekturkoeffizienten korrigiert wird; eine Erzeugungseinheit, die ein Vergleichsergebnis zwischen der Intensitätsverteilung und einer Zielverteilung berechnet, um Vergleichsdaten zu erzeugen; und eine Vorhersageeinheit, die einen Lichtkorrekturkoeffizienten vorhersagt, der zum Durchführen einer Abbildungsfehlerkorrektur in Bezug auf das Licht dient, so dass sich die Intensitätsverteilung der Zielverteilung annähert, indem die Vergleichsdaten und der Lichtkorrekturkoeffizient, der eine Basis der Intensitätsverteilung ist, in ein Lernmodell eingegeben werden.
-
Alternativ dazu umfasst ein maschinelles Lernverfahren gemäß einem anderen Aspekt der Ausführungsformen: einen Schritt des Erfassens einer Intensitätsverteilung entlang einer vorbestimmten Richtung für ein Intensitätsbild, das durch Beobachten einer durch Licht verursachten Aktion erhalten wird, die unter Verwendung eines Lichtmodulators basierend auf einem Lichtkorrekturkoeffizienten korrigiert wird; einen Schritt des Berechnens eines Vergleichsergebnisses zwischen der Intensitätsverteilung und einer Zielverteilung, um Vergleichsdaten zu erzeugen; und einen Schritt des Trainierens eines Lernmodells, um einen Lichtkorrekturkoeffizienten auszugeben, der zur Durchführung einer Abbildungsfehlerkorrektur in Bezug auf das Licht dient, so dass sich die Intensitätsverteilung der Zielverteilung annähert, indem die Vergleichsdaten und der Lichtkorrekturkoeffizient, der eine Basis der Intensitätsverteilung ist, in das Lernmodell eingegeben werden.
-
Alternativ ist ein Verarbeitungsverfahren beim maschinellen Lernen gemäß einem anderen Aspekt der Ausführungsformen ein Vorverarbeitungsverfahren beim maschinellen Lernen zum Erzeugen von Daten, die in das Lernmodell eingegeben werden sollen, das in dem maschinellen Lernverfahren gemäß dem obigen Aspekt verwendet wird, und umfasst einen Erfassungsschritt des Erfassens einer Intensitätsverteilung entlang einer vorbestimmten Richtung für ein Intensitätsbild, das durch Beobachten einer Aktion, die durch Licht verursacht wird, das unter Verwendung eines Lichtmodulators korrigiert wird, basierend auf einem Lichtkorrekturkoeffizienten, erhalten wird; einen Schritt des Berechnens eines Vergleichsergebnisses zwischen der Intensitätsverteilung und einer Zielverteilung, um Vergleichsdaten zu erzeugen; und einen Schritt des Verkettens der Vergleichsdaten und des Lichtkorrekturkoeffizienten, der eine Basis der Intensitätsverteilung ist.
-
Alternativ ist ein trainiertes Lernmodell gemäß einem anderen Aspekt der Ausführungsformen ein Lernmodell, das durch Training unter Verwendung des Maschinenlernverfahrens gemäß dem obigen Aspekt erstellt wurde.
-
Gemäß einem der obigen Aspekte und anderen Aspekten wird die Intensitätsverteilung entlang einer vorbestimmten Richtung aus dem Intensitätsbild erfasst, das durch Beobachtung der durch das Licht, dessen Wellenfront unter Verwendung des Lichtmodulators korrigiert wurde, verursachten Wirkung erhalten wird, werden Vergleichsdaten zwischen der Intensitätsverteilung und der Zielverteilung erzeugt, und der Lichtkorrekturkoeffizient, der eine Grundlage für die Korrektur durch den Lichtmodulator ist, und die Vergleichsdaten werden in das Lernmodell eingegeben. Daher ist es für ein Lernmodell, das einen Lichtkorrekturkoeffizienten vorhersagt, mit dem es möglich ist, eine Korrektur zu realisieren, so dass sich die Intensitätsverteilung entlang einer vorbestimmten Richtung der Zielverteilung annähert, möglich, Daten einzugeben, die die Menge an Daten haben, die aus dem Intensitätsbild komprimiert sind und die Intensitätsverteilung entlang der vorbestimmten Richtung genau wiedergeben. Dadurch ist es möglich, die Berechnungszeit während des Lernens des Lernmodells oder der Vorhersage des Lichtkorrekturkoeffizienten zu verkürzen und eine hochgenaue Abbildungsfehler-Korrektur zu realisieren.
-
Vorteilhafte Effekte der Erfindung
-
Gemäß einem Aspekt der vorliegenden Offenbarung ist es möglich, optische Abbildungsfehler in einer kurzen Berechnungszeit effizient zu korrigieren.
-
KURZBESCHREIBUNG DER ZEICHNUNGEN
-
- 1 ist ein schematisches Konfigurationsdiagramm eines optischen Systems 1 gemäß einer ersten Ausführungsform.
- 2 ist ein Blockdiagramm, das ein Beispiel für die Hardwarekonfiguration einer Steuervorrichtung 11 in 1 zeigt.
- 3 ist ein Blockdiagramm, das die funktionelle Konfiguration der Steuervorrichtung 11 in 1 zeigt.
- 4 ist ein Diagramm, das ein Beispiel für ein Intensitätsbild zeigt, das von einem bildgebenden Element 7 in 1 eingegeben wird.
- 5 ist ein Diagramm der Intensitätsverteilung, dargestellt durch verkettete Daten der Intensitätsverteilung, die von einer Erfassungseinheit 201 in 3 erfasst wurde.
- 6 ist ein Flussdiagramm, das ein Verfahren der Lernverarbeitung im optischen System 1 zeigt.
- 7 ist ein Flussdiagramm, das einen Vorgang der Beobachtungsverarbeitung im optischen System 1 zeigt.
- 8 ist ein Blockdiagramm, das die funktionelle Konfiguration einer Steuervorrichtung 11A gemäß einer zweiten Ausführungsform zeigt.
- 9 ist ein Blockdiagramm, das die funktionelle Konfiguration einer Steuervorrichtung 11A gemäß einer dritten Ausführungsform zeigt.
- 10 ist ein schematisches Konfigurationsdiagramm eines optischen Systems 1A gemäß einem Modifikationsbeispiel.
- 11 ist ein schematisches Konfigurationsdiagramm eines optischen Systems 1B gemäß einem Modifikationsbeispiel.
- 12 ist ein schematisches Konfigurationsdiagramm eines optischen Systems 1C gemäß einem Modifikationsbeispiel.
- 13 ist ein schematisches Konfigurationsdiagramm eines optischen Systems 1D gemäß einem Modifikationsbeispiel.
- 14 ist ein schematisches Konfigurationsdiagramm eines optischen Systems 1E gemäß einem Modifikationsbeispiel.
- 15 ist ein schematisches Konfigurationsdiagramm eines optischen Systems 1F gemäß einem Modifikationsbeispiel.
- 16 ist ein Diagramm, das ein Beispiel für ein Intensitätsbild zeigt, das von einem bildgebenden Element 7 in einem Modifikationsbeispiel eingegeben wird.
- 17 ist ein Diagramm der Intensitätsverteilung, dargestellt durch verkettete Daten von Intensitätsverteilungsdaten, die in einem Modifikationsbeispiel erfasst wurden.
-
BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
-
Nachfolgend werden Ausführungsformen der vorliegenden Offenbarung unter Bezugnahme auf die beigefügten Diagramme im Detail beschrieben. Darüber hinaus werden in der Beschreibung die gleichen Elemente oder Elemente mit den gleichen Funktionen durch die gleichen Bezugszeichen bezeichnet, und wiederholte Beschreibungen davon werden weggelassen.
-
[Erste Ausführungsform]
-
1 ist ein Konfigurationsdiagramm eines optischen Systems 1 gemäß einer ersten Ausführungsform. Das optische System 1 ist ein optisches System zum Aussenden von Licht auf eine Probe, um die Probe zu beobachten. Wie in 1 gezeigt, umfasst das optische System 1: eine Lichtquelle 3, die kohärentes Licht, wie beispielsweise Laserlicht, erzeugt; eine Sammellinse 5 zum Sammeln des von der Lichtquelle 3 emittierten Lichts; ein bildgebendes Element 7, wie beispielsweise eine CCD-Kamera (Charge-Coupled-Device) und eine CMOS-Kamera (Complementary-Metal-Oxide-Semiconductor), das an der Brennpunktposition der Sammellinse 5 angeordnet ist und das eine zweidimensionale Intensitätsverteilung erkennt (beobachtet), die durch die Wirkung des Lichts von der Lichtquelle 3 erzeugt wird, und ein Intensitätsbild ausgibt, das die Intensitätsverteilung zeigt; einen räumlichen Lichtmodulator 9, der auf dem optischen Pfad des Lichts zwischen der Lichtquelle 3 und der Kondensorlinse 5 angeordnet ist, um die räumliche Verteilung der Phase des Lichts zu modulieren; und eine Steuervorrichtung 11, die mit dem bildgebenden Element 7 und dem räumlichen Lichtmodulator 9 verbunden ist. In dem optischen System 1, das wie oben beschrieben konfiguriert ist, wird, nachdem der Einstellvorgang, der sich auf die Abbildungsfehler-Korrektur bezieht, durch die Steuervorrichtung 11 auf der Grundlage des Intensitätsbildes, das von dem bildgebenden Element 7 ausgegeben wird, abgeschlossen ist, die zu beobachtende Probe für die tatsächliche Beobachtung an der Brennpunktposition der Kondensorlinse 5 anstelle des bildgebenden Elements 7 angeordnet.
-
Der in dem optischen System 1 vorgesehene räumliche Lichtmodulator 9 ist beispielsweise eine Vorrichtung mit einer Struktur, bei der Flüssigkristalle auf einem Halbleiterträgermaterial angeordnet sind. Es handelt sich um ein optisches Element, das in der Lage ist, die Phase des einfallenden Lichts räumlich zu modulieren und phasenmoduliertes Licht auszugeben, indem es die Steuerung der an jedes Pixel des Halbleiterträgermaterials angelegten Spannung ermöglicht. Der räumliche Lichtmodulator 9 ist so konfiguriert, dass er ein Phasenbild von der Steuervorrichtung 11 empfangen kann, und führt eine Phasenmodulation durch, die der Helligkeitsverteilung des Phasenbildes zugehört.
-
Die Steuervorrichtung 11 ist eine Lichtkorrekturkoeffizient-Vorhersagevorrichtung der vorliegenden Ausführungsform. Beispielsweise ist die Steuervorrichtung 11 ein Computer, beispielsweise ein PC (Personal-Computer). 2 zeigt die Hardwarekonfiguration der Steuervorrichtung 11. Wie in 2 dargestellt, handelt es sich bei der Steuervorrichtung 11 um einen Computer, der eine CPU (Central-Processing-Unit) 101 als Prozessor, einen RAM (Random-Access-Memory) 102 oder einen ROM (Read-Only-Memory) 103 als Aufzeichnungsmedium, ein Kommunikationsmodul 104, ein Eingabe-/Ausgabemodul 106 und dergleichen umfasst, die elektrisch miteinander verbunden sind. Darüber hinaus kann die Steuervorrichtung 11 ein Display, eine Tastatur, eine Maus, ein Touchpanel-Display und dergleichen als Eingabe- und Anzeigevorrichtungen umfassen und eine Datenaufzeichnungsvorrichtung, beispielsweise ein Festplattenlaufwerk und einen Halbleiterspeicher, umfassen. Darüber hinaus kann die Steuervorrichtung 11 durch eine Vielzahl von Computern konfiguriert werden.
-
3 ist ein Blockdiagramm, das die funktionelle Konfiguration der Steuervorrichtung 11 zeigt. Die Steuervorrichtung 11 umfasst eine Erfassungseinheit 201, eine Erzeugungseinheit 202, eine Lerneinheit 203, eine Vorhersageeinheit 204, eine Steuereinheit 205 und eine Modellspeichereinheit 206. Jede Funktionseinheit der in 3 dargestellten Steuervorrichtung 11 wird durch das Einlesen eines Programms in die Hardware, beispielsweise die CPU 101 und den RAM 102, und durch den Betrieb des Kommunikationsmoduls 104, des Eingabe-/Ausgabemoduls 106 und dergleichen sowie durch das Lesen und Schreiben von Daten im RAM 102 unter der Kontrolle der CPU 101 realisiert. Die CPU 101 der Steuervorrichtung 11 führt das Computerprogramm aus, so dass die Steuervorrichtung 11 als jede in 3 gezeigte Funktionseinheit funktioniert, wodurch sie sequentiell eine Verarbeitung ausführt, die einem Lichtkorrekturkoeffizient-Vorhersageverfahren, einem maschinellen Lernverfahren und einem Vorverarbeitungsverfahren beim maschinellen Lernen entspricht, die später beschrieben werden. Darüber hinaus kann die CPU ein einzelnes Stück Hardware sein oder in einer programmierbaren Logik wie beispielsweise einem FPGA implementiert sein, wie ein Softprozessor. Der Arbeitsspeicher oder das ROM können eigenständige Hardware sein oder in eine programmierbare Logik wie beispielsweise ein FPGA eingebaut sein. Verschiedene Arten von Daten, die für die Ausführung des Computerprogramms erforderlich sind, und verschiedene Arten von Daten, die durch die Ausführung des Computerprogramms erzeugt werden, werden alle in einem eingebauten Speicher, beispielsweise dem ROM 103 und dem RAM 102, oder einem Speichermedium, beispielsweise einem Festplattenlaufwerk, gespeichert.
-
Zusätzlich wird in der Steuervorrichtung 11 ein Lernmodell 207, das zum Ausführen des Lichtkorrekturkoeffizienten-Vorhersageverfahrens und des Maschinenlernverfahrens verwendet wird, im Voraus in der Modellspeichereinheit 206 gespeichert, indem es von der CPU 101 gelesen wird. Das Lernmodell 207 ist ein Lernmodell zum Vorhersagen eines Lichtkorrekturkoeffizienten, der später beschrieben wird, durch maschinelles Lernen. Maschinelles Lernen umfasst überwachtes Lernen, tiefes Lernen, Verstärkungslernen, Lernen mit neuronalen Netzen und dergleichen. In der vorliegenden Ausführungsform wird ein neuronales Faltungsnetzwerk als Beispiel für einen tiefen Lernalgorithmus zur Realisierung eines Lernmodells verwendet. Das neuronale Faltungsnetzwerk ist ein Beispiel für Deep Learning mit einer Struktur, die eine Eingabeschicht, eine Faltungsschicht, eine Pooling-Schicht, eine vollständig verbundene Schicht, eine Dropout-Schicht, eine Ausgabeschicht und dergleichen umfasst. Als Lernmodell 207 können jedoch auch Algorithmen wie beispielsweise ein RNN (Recurrent Neural Network) und ein LSTM (Long Short-Term Memory) verwendet werden. Nach dem Herunterladen auf die Steuervorrichtung 11 wird das Lernmodell 207 durch maschinelles Lernen in der Steuervorrichtung 11 erstellt und zu einem trainierten Lernmodell aktualisiert.
-
Nachfolgend wird die Funktion der einzelnen Funktionseinheiten der Steuervorrichtung 11 im Detail beschrieben.
-
Die Erfassungseinheit 201 erfasst Intensitätsverteilungsdaten entlang einer vorbestimmten Richtung aus dem Intensitätsbild, das von dem bildgebenden Element 7 eingegeben wird. Beispielsweise legt die Erfassungseinheit 201 ein zweidimensionales, durch die X-Achse und die Y-Achse definiertes Koordinatensystem X-Y auf das Intensitätsbild, projiziert die Helligkeitswerte der das Intensitätsbild bildenden Pixel auf jede Koordinate auf der X-Achse, zählt die Summe der Helligkeitswerte der auf jede Koordinate projizierten Pixel und erfasst die Verteilung der Summe der Helligkeitswerte (Helligkeitsverteilung) als Intensitätsverteilungsdaten entlang der X-Achse. Zu diesem Zeitpunkt kann die Erfassungseinheit 201 einen Mittelwert und eine Standardabweichung der Summe der Helligkeitswerte berechnen und die Verteilung (Helligkeit) jeder Koordinate so normalisieren, dass der Mittelwert der Intensitätsverteilungsdaten 0 und die Standardabweichung der Daten 1 ist. Alternativ dazu kann die Erfassungseinheit 201 einen Maximalwert der Summe der Helligkeitswerte bestimmen und die Verteilung jeder Koordinate mit dem Maximalwert normalisieren. In ähnlicher Weise erfasst die Erfassungseinheit 201 Intensitätsverteilungsdaten entlang der Y-Achse und erfasst verkettete Daten der Intensitätsverteilung durch eindimensionale Verkettung der Intensitätsverteilungsdaten entlang der X-Achse und der Intensitätsverteilungsdaten entlang der Y-Achse.
-
4 ist ein Diagramm, das ein Beispiel eines Intensitätsbildes zeigt, das von dem bildgebenden Element 7 eingegeben wird, und 5 ist ein Graph der Intensitätsverteilung, der durch die verketteten Daten der Intensitätsverteilung dargestellt wird, die von der Erfassungseinheit 201 erfasst wird. Auf diese Weise erhält man im Intensitätsbild beispielsweise die Intensitätsverteilung des von der Kondensorlinse 5 auf einen Punkt fokussierten Laserlichts. Durch die Verarbeitung des Intensitätsbildes durch die Erfassungseinheit 201 werden verkettete Daten erhalten, in denen die Intensitätsverteilung für jede Koordinate auf der X-Achse, die eine Spitze hat, und die Intensitätsverteilung für jede Koordinate auf der Y-Achse, die eine Spitze hat, eindimensional verkettet sind.
-
Um zu 3 zurückzukehren, berechnet die Erzeugungseinheit 202 Differenzdaten, d.h. Vergleichsdaten, die durch Vergleich der verketteten Daten der Intensitätsverteilung, die von der Erfassungseinheit 201 erfasst wurde, und der Zielverteilung, die im Voraus festgelegt wurde, erhalten werden. Beispielsweise werden als Zieldaten der Intensitätsverteilung Daten, in denen die ideale Intensitätsverteilung entlang der X-Achse und die ideale Intensitätsverteilung entlang der Y-Achse verkettet sind, für das auf einen Punkt fokussierte Laserlicht im Voraus festgelegt. Die Berechnungseinheit 202 berechnet einen Differenzwert zwischen den jeweiligen Koordinaten zwischen den verketteten Daten der Intensitätsverteilung und den Zieldaten der Intensitätsverteilung und erzeugt Differenzdaten durch eindimensionales Anordnen der berechneten Differenzwerte. Darüber hinaus kann die Erzeugungseinheit 202 als Vergleichsdaten anstelle der Differenzdaten einen Divisionswert zwischen den jeweiligen Koordinaten zwischen den verketteten Daten der Intensitätsverteilung und den Zieldaten der Intensitätsverteilung erzeugen.
-
Darüber hinaus können die für die Erzeugung der Differenzdaten durch die Erzeugungseinheit 202 verwendeten Zieldaten auf Daten eingestellt werden, die verschiedenen Intensitätsverteilungen zugehören. Beispielsweise können die zum Erzeugen der Differenzdaten durch die Erzeugungseinheit 202 verwendeten Zieldaten Daten sein, die der Intensitätsverteilung von auf einen Punkt fokussiertem Laserlicht mit einer Gaußschen Verteilung zugehören, können Daten sein, die der Intensitätsverteilung von auf mehrere Punkte fokussiertem Laserlicht zugehören, oder können Daten sein, die der Intensitätsverteilung von Laserlicht mit einem Streifenmuster zugehören.
-
Die Steuereinheit 205 steuert die Phasenmodulation des räumlichen Lichtmodulators 9, wenn die Verarbeitung entsprechend dem Lichtkorrekturkoeffizient-Vorhersageverfahren, dem maschinellen Lernverfahren und dem Vorverarbeitungsverfahren beim maschinellen Lernen von der Verarbeitungsvorrichtung 11 ausgeführt wird. Das heißt, wenn die Verarbeitung, die dem Lichtkorrekturkoeffizient-Vorhersageverfahren entspricht, ausgeführt wird, steuert die Steuereinheit 205 die Phasenmodulation des räumlichen Lichtmodulators 9, um eine Phasenmodulation entgegengesetzt zu dem Abbildungsfehler hinzuzufügen, so dass der Abbildungsfehler, der durch das optische System des optischen Systems 1 verursacht wird, aufgehoben wird. Während der Ausführung der Verarbeitung, die dem Lichtkorrekturkoeffizienten-Vorhersageverfahren, dem maschinellen Lernverfahren und dem Vorverarbeitungsverfahren beim maschinellen Lernen zugehört, stellt die Steuereinheit 205 ein Phasenbild ein, das dem räumlichen Lichtmodulator 9 zur Abbildungsfehler-Korrektur gegeben werden soll, basierend auf der Form der Wellenfront, die unter Verwendung eines Zernike-Polynoms berechnet wird. Das Zernike-Polynom ist ein orthogonales Polynom, das auf dem Einheitskreis definiert ist und zur Korrektur von Abbildungsfehlern verwendet wird, da das Zernike-Polynom Terme enthält, die den fünf Seidelschen Abbildungsfehlern, den so genannten monochromatischen Abbildungsfehlern, zugehören. Genauer gesagt setzt die Steuereinheit 205 eine Vielzahl von Zernike-Koeffizienten (beispielsweise sechs Zernike-Koeffizienten) des Zernike-Polynoms als Lichtkorrekturkoeffizienten, berechnet die Form der Wellenfront auf der Grundlage der Zernike-Koeffizienten und steuert den räumlichen Lichtmodulator 9 unter Verwendung eines der Form zugehörigen Phasenbildes.
-
Die Lerneinheit 203 hat die Funktion, die folgende Verarbeitung durchzuführen, wenn sie die Verarbeitung ausführt, die dem maschinellen Lernverfahren und dem Vorverarbeitungsverfahren im maschinellen Lernen zugehört. Das heißt, die Lerneinheit 203 ändert kontinuierlich eine Kombination von Werten einer Vielzahl von Zernike-Koeffizienten, die für die Phasenmodulationssteuerung der Steuereinheit 205 verwendet werden, auf eine Kombination von verschiedenen Werten und stellt die Steuerung der Steuereinheit 205 so ein, dass die Phasenmodulation durch die Kombination der Werte gesteuert wird. Dann erfasst die Lerneinheit 203 Differenzdaten, die von der Erzeugungseinheit 202 entsprechend der Phasenmodulationssteuerung der Steuereinheit 205 erzeugt werden, für jede Kombination von Zernike-Koeffizientenwerten. Darüber hinaus erzeugt die Lerneinheit 203 eine Vielzahl von Eingabedaten durch eindimensionale Verkettung einer Kombination von Werten von Zernike-Koeffizienten, die den Differenzdaten zugehören, zu den Differenzdaten und baut das Lernmodell 207 durch maschinelles Lernen (Training) unter Verwendung der Vielzahl von Eingabedaten als Lerndaten und Trainingsdaten für das Lernmodell 207, die in der Modellspeichereinheit 206 gespeichert sind, auf. Insbesondere aktualisiert die Lerneinheit 203 Parameter wie beispielsweise einen Gewichtungsfaktor in dem Lernmodell 207, um die Zernike-Koeffizienten vorherzusagen, die die Differenzdaten näher an kontinuierliche Daten mit Nullwert bringen, d.h. die Intensitätsverteilung näher an die Zielverteilung der Intensität bringen. Durch den Aufbau eines solchen Lernmodells ist es möglich, ein trainiertes Lernmodell zur Vorhersage eines Lichtkorrekturkoeffizienten aufzubauen, der den Übergang zur Zielintensitätsverteilung ermöglicht, indem der Vergleich zwischen dem Lichtkorrekturkoeffizienten, der für den Übergang zu den Zieldaten vorhergesagt wird, und dem tatsächlich erforderlichen Lichtkorrekturkoeffizienten wiederholt wird.
-
Die Vorhersageeinheit 204 hat die Funktion, die folgende Verarbeitung durchzuführen, wenn sie die dem Lichtkorrekturkoeffizienten-Vorhersageverfahren zugehörige Verarbeitung ausführt. Das heißt, die Vorhersageeinheit 204 setzt eine Kombination von Werten einer Vielzahl von Zernike-Koeffizienten, die für die Phasenmodulationssteuerung der Steuereinheit 205 verwendet werden, auf vorher festgelegte Werte oder auf Werte, die von dem Bediener (Anwender) der Steuervorrichtung 11 eingegeben werden, und setzt die Steuerung der Steuereinheit 205 so, dass die Phasenmodulation durch die Kombination der Werte gesteuert wird. Dann erfasst die Vorhersageeinheit 204 Differenzdaten, die von der Erzeugungseinheit 202 gemäß der Phasenmodulationssteuerung der Steuereinheit 205 erzeugt werden. Darüber hinaus erzeugt die Vorhersageeinheit 204 Eingangsdaten durch eindimensionale Verkettung einer Kombination von Werten von Zernike-Koeffizienten, die für die Phasenmodulationssteuerung der Steuereinheit 205 verwendet werden, mit den Differenzdaten und gibt die Eingangsdaten in das trainierte Lernmodell 207 ein, das in der Modellspeichereinheit 206 gespeichert ist, so dass das Lernmodell 207 einen vorhergesagten Wert der Kombination der Werte der Zernike-Koeffizienten ausgibt. Das heißt, dass die Vorhersageeinheit 204 unter Verwendung des Lernmodells 207 eine Kombination von Zernike-Koeffizientenwerten vorhersagt, die die Intensitätsverteilung näher an die Zielverteilung bringt. Darüber hinaus stellt die Vorhersageeinheit 204 die Steuerung der Steuereinheit 205 so ein, dass die Phasenmodulation bei der Beobachtung der tatsächlichen Probe durch die vorhergesagte Kombination von Zernike-Koeffizientenwerten gesteuert wird.
-
Als nächstes wird das Verfahren der Lernverarbeitung in dem optischen System 1 gemäß der vorliegenden Ausführungsform beschrieben, d.h. der Ablauf des maschinellen Lernverfahrens und des Vorverarbeitungsverfahrens beim maschinellen Lernen gemäß der vorliegenden Ausführungsform. 6 ist ein Flussdiagramm, das das Verfahren der Lernverarbeitung durch das optische System 1 zeigt.
-
Zuerst, wenn eine Anweisung zum Starten der Lernverarbeitung von einem Bediener empfangen wird, setzt die Steuervorrichtung 11 eine Kombination von Werten von Zernike-Koeffizienten zur Steuerung der Phasenmodulation des räumlichen Lichtmodulators 9 auf einen Anfangswert (Schritt S1). Dann steuert die Steuereinheit 205 der Steuervorrichtung 11 den räumlichen Lichtmodulator 9, um die Phasenmodulation basierend auf der eingestellten Kombination von Zernike-Koeffizientenwerten durchzuführen (Schritt S2).
-
Darüber hinaus erfasst die Erfassungseinheit 201 der Steuervorrichtung 11 verkettete Daten der Intensitätsverteilung auf der Grundlage des Intensitätsbildes des phasenmodulierten Lichts (Schritt S3). Danach erzeugt die Erzeugungseinheit 202 der Steuervorrichtung 11 Differenzdaten, indem sie einen Differenzwert zwischen den verketteten Daten der Intensitätsverteilung und den Zieldaten berechnet (Schritt S4).
-
Zusätzlich erzeugt die Lerneinheit 203 der Steuervorrichtung 11 Eingabedaten, indem sie zu den Differenzdaten eine Kombination aktueller Zernike-Koeffizientenwerte verkettet, die für die Phasenmodulationssteuerung bei der Erzeugung der Differenzdaten verwendet werden (Schritt S5). Dann bestimmt die Lerneinheit 203, ob es einen nächsten Sollwert der Kombination von Zernike-Koeffizientenwerten gibt oder nicht (Schritt S6). Wenn als Ergebnis der Bestimmung festgestellt wird, dass es einen nächsten Sollwert gibt (Schritt S6; JA), wird die Verarbeitung der Schritte S1 bis S5 wiederholt, um Eingangsdaten für die nächste Kombination von Zernike-Koeffizientenwerten zu erzeugen. Wenn dann Eingabedaten für eine vorbestimmte Anzahl von Kombinationen von Zernike-Koeffizientenwerten erzeugt werden (Schritt S6; NEIN), baut die Lerneinheit 203 das Lernmodell 207 auf, indem sie die Vielzahl der erzeugten Eingabedaten als Lerndaten und Trainingsdaten verwendet (Schritt S7: Ausführung des Trainings). Wenn jedoch beispielsweise der Experte zuvor die Zernike-Koeffizienten und das den Koeffizienten zugehörige Intensitätsbild erfasst hat, ist es möglich, die Ausführung der Phasenmodulation durch den räumlichen Lichtmodulator 9 im obigen Schritt S2 und die Erfassung des Intensitätsbildes durch die Erfassungseinheit 201 im Schritt S3 auszulassen. Stattdessen kann eine Kombination aus den Zernike-Koeffizienten und den Intensitätsbildern, die im Voraus erfasst wurden, verwendet werden.
-
Als nächstes wird das Verfahren der Beobachtungsverarbeitung im optischen System 1 gemäß der vorliegenden Ausführungsform, d.h. der Ablauf des Lichtkorrekturkoeffizienten-Vorhersageverfahrens gemäß der vorliegenden Ausführungsform, beschrieben. 7 ist ein Flussdiagramm, das den Ablauf der Beobachtungsverarbeitung durch das optische System 1 zeigt.
-
Zuerst, wenn eine Anweisung zum Starten der voreingestellten Verarbeitung vor der Beobachtung von einem Bediener empfangen wird, setzt die Steuervorrichtung 11 eine Kombination von Werten von Zernike-Koeffizienten zur Steuerung der Phasenmodulation des räumlichen Lichtmodulators 9 auf einen vorbestimmten Wert (Schritt S101). Dann steuert die Steuereinheit 205 der Steuervorrichtung 11 den räumlichen Lichtmodulator 9, um die Phasenmodulation basierend auf der eingestellten Kombination von Zernike-Koeffizientenwerten durchzuführen (Schritt S102).
-
Zusätzlich erfasst die Erfassungseinheit 201 der Steuervorrichtung 11 verkettete Daten der Intensitätsverteilung basierend auf dem Intensitätsbild des phasenmodulierten Lichts (Schritt S103). Danach erzeugt die Erzeugungseinheit 202 der Steuervorrichtung 11 Differenzdaten durch Berechnen eines Differenzwertes zwischen den verketteten Daten der Intensitätsverteilung und den Zieldaten (Schritt S104).
-
Zusätzlich erzeugt die Vorhersageeinheit 204 der Steuervorrichtung 11 Eingabedaten, indem sie zu den Differenzdaten eine Kombination aktueller Zernike-Koeffizientenwerte verkettet, die für die Phasenmodulationssteuerung bei der Erzeugung der Differenzdaten verwendet werden (Schritt S105). Anschließend gibt die Vorhersageeinheit 204 die erzeugten Eingangsdaten in das trainierte Lernmodell 207 ein, um eine Kombination von Zernike-Koeffizientenwerten vorherzusagen, die die Intensitätsverteilung näher an die Zielverteilung heranbringt (Schritt S106). Um die Genauigkeit der Vorhersage zu verbessern, kann die obige Verarbeitung der Schritte S101 bis S106 bei Bedarf mehrfach wiederholt werden.
-
Danach steuert die Steuereinheit 205 der Steuervorrichtung 11 die Phasenmodulation des räumlichen Lichtmodulators 9 auf der Grundlage der vorhergesagten Kombination von Zernike-Koeffizientenwerten (Schritt S107). Schließlich wird eine zu beobachtende Probe in das optische System 1 eingestellt, und die Probe wird mit Hilfe des phasenmodulierten Lichts beobachtet (Schritt S108).
-
Gemäß dem oben beschriebenen optischen System 1 wird die Intensitätsverteilung entlang der vorbestimmten Richtung aus dem Intensitätsbild erfasst, das durch Beobachtung des Lichts erhalten wird, dessen Wellenfront unter Verwendung des räumlichen Lichtmodulators 9 korrigiert wurde, die Differenzdaten zwischen der Intensitätsverteilung und der Zielverteilung werden erzeugt, und der Lichtkorrekturkoeffizient und die Differenzdaten davon, die die Grundlage der Korrektur durch den Lichtmodulator bilden, werden in das Lernmodell eingegeben. Daher ist es möglich, Daten, die die Intensitätsverteilung entlang der vorbestimmten Richtung genau widerspiegeln, d.h. Daten, die durch Komprimieren der Datenmenge aus dem Intensitätsbild erhalten werden, in das Lernmodell 207 einzugeben, das die Zernike-Koeffizienten vorhersagt, mit denen es möglich ist, eine Wellenfrontkorrektur zu realisieren, so dass sich die Intensitätsverteilung entlang der vorbestimmten Richtung der Zielverteilung annähert. Dadurch ist es möglich, die Berechnungszeit während des Lernens des Lernmodells 207 oder der Vorhersage der Zernike-Koeffizienten zu verkürzen und eine hochgenaue Korrektur der Abbildungsfehler zu realisieren. Das heißt, die herkömmliche Methode, ein Bild als Eingabe für ein Lernmodell zu verwenden, führt tendenziell zu einem Anstieg der Lernzeit, einem Anstieg der Vorhersagezeit und einem Anstieg der während des Lernens und der Vorhersage erforderlichen Berechnungsressourcen. Andererseits ist es in der vorliegenden Ausführungsform möglich, die Berechnungszeit während des Lernens und Vorhersagens zu verkürzen und die Berechnungsressourcen zu reduzieren.
-
In dem optischen System 1 werden die Koeffizienten des Zernike-Polynoms, die die Form der Wellenfront des Lichts angeben, als Lichtkorrekturkoeffizienten für die Steuereinheit der Phasenmodulation verwendet. In diesem Fall kann eine hochgenaue Korrektur der Abbildungsfehler durch eine Korrektur auf der Grundlage der durch das Lernmodell vorhergesagten Zernike-Koeffizienten realisiert werden.
-
Darüber hinaus wird im optischen System 1 die Intensitätsverteilung als Helligkeitsverteilung erfasst, indem die Helligkeitswerte der Pixel im Intensitätsbild auf vorgegebene Koordinaten projiziert werden. In diesem Fall können Daten, die die Intensitätsverteilung entlang der vorgegebenen Richtung auf der Grundlage des Intensitätsbildes genauer wiedergeben, in das Lernmodell eingegeben werden, das die Zernike-Koeffizienten vorhersagt. Infolgedessen ist es möglich, eine genauere Korrektur von Abbildungsfehlern zu realisieren.
-
Insbesondere wird in dem optischen System 1 die Intensitätsverteilung als eine Verteilung der Summe der Helligkeitswerte von Pixeln erfasst, die auf vorbestimmte Koordinaten projiziert werden. In diesem Fall können Daten, die die Intensitätsverteilung entlang einer vorgegebenen Richtung auf der Grundlage des Intensitätsbildes genauer wiedergeben, in das Lernmodell eingegeben werden, das die Zernike-Koeffizienten vorhersagt. Dadurch ist es möglich, eine genauere Korrektur von Abbildungsfehlern zu realisieren.
-
Darüber hinaus werden in dem optischen System 1 die Daten, die durch einfaches eindimensionales Verketten der Differenzdaten, bei denen es sich um kontinuierliche Daten handelt, und des aktuellen Lichtkorrekturkoeffizienten erhalten werden, als Eingabe für das Lernmodell verwendet. Mit einem solchen einfachen Dateneingabeverfahren kann in kurzer Rechenzeit ein Lichtkorrekturkoeffizient vorhergesagt werden, der die Intensitätsverteilung näher an die Zielintensitätsverteilung bringt. Insbesondere wird in der vorliegenden Ausführungsform als Lernmodell 207 ein Faltungsalgorithmus eines neuronalen Netzes verwendet. Gemäß einem solchen Lernmodell 207 werden Bedeutungsunterschiede von Eingabedaten (Trennung verschiedener Arten von Daten) automatisch erkannt. Daher ist es möglich, ein Lernmodell effizient zu erstellen.
-
[Zweite Ausführungsform]
-
Als nächstes wird eine weitere Ausführungsform der Steuervorrichtung 11 beschrieben. 8 ist ein Blockdiagramm, das die funktionelle Konfiguration einer Steuervorrichtung 11A gemäß einer zweiten Ausführungsform zeigt. In der Steuervorrichtung 11A gemäß der zweiten Ausführungsform unterscheiden sich die Funktionen einer Erfassungseinheit 201A, einer Lerneinheit 203A und einer Vorhersageeinheit 204A von denen der ersten Ausführungsform. Im Folgenden werden nur die Unterschiede zur ersten Ausführungsform beschrieben.
-
Die Erfassungseinheit 201A erfasst weiterhin Parameter, die zu Abbildungsfehlern beitragen, die durch das optische System des optischen Systems 1 verursacht werden. Zu diesem Zeitpunkt kann die Erfassungseinheit 201A die Parameter von einem Sensor erfassen, der in dem optischen System 1 vorgesehen ist, oder sie kann die Parameter erfassen, indem sie eine Eingabe von dem Bediener der Steuervorrichtung 11 erhält. Als solche Parameter wird die Erfassungseinheit 201A beispielsweise Parameter erfassen, die sich auf direkte Faktoren beziehen, beispielsweise die Position, die Vergrößerung, die Brennweite und den Brechungsindex jeder Linse, aus der das optische System besteht, und die Wellenlänge des von der Lichtquelle 3 emittierten Lichts, sowie Parameter, die sich auf indirekte Faktoren beziehen, beispielsweise die Temperatur, die Feuchtigkeit, die Zeit und die verstrichene Zeit von einem beliebigen Zeitpunkt an. In diesem Fall kann die Erfassungseinheit 201A eine Art von Parameter erfassen oder eine Vielzahl von Arten von Parametern erfassen.
-
Beim Aufbau des Lernmodells 207 verkettet die Lerneinheit 203A die Parameter, die von der Erfassungseinheit 201A erfasst werden, mit jeder der Vielzahl von Eingangsdaten und baut das Lernmodell 207 unter Verwendung der Vielzahl von Eingangsdaten auf, mit denen die Parameter verkettet werden. Die Vorhersageeinheit 204A verkettet die Parameter, die von der Erfassungseinheit 201A erfasst wurden, mit den Eingangsdaten und gibt die Eingangsdaten, mit denen die Parameter verkettet sind, in das trainierte Lernmodell 207 ein, wodurch eine Kombination von Zernike-Koeffizientenwerten vorhergesagt wird.
-
Gemäß der Steuervorrichtung 11A nach der zweiten Ausführungsform ist es möglich, ein robustes Lernmodell aufzubauen, das gegenüber Änderungen von Faktoren, beispielsweise einer Umgebung, im optischen System 1 resistent ist. Die Beziehung zwischen der Intensitätsverteilung und dem Lichtkorrekturkoeffizienten, die in den in der ersten Ausführungsform verwendeten Lerndaten erfasst ist, umfasst Informationen über Abbildungsfehler des optischen Systems, wenn die Lerndaten erfasst werden. Die Abbildungsfehler können sich jedoch aufgrund von Änderungen von Faktoren, beispielsweise einer falschen Ausrichtung der optischen Achse des optischen Systems, ändern. Daher kann es zwischen der Erstellung des Lernmodells (während des Lernvorgangs) und der Durchführung der Abbildungsfehler-Korrektur (während der Verarbeitung der Beobachtungsdaten) zu einem Unterschied in den Abbildungsfehlern des optischen Systems aufgrund von Änderungen der Faktoren kommen. Ein solcher Unterschied in den Abbildungsfehlern kann zu einer Verringerung der Vorhersagegenauigkeit der Zernike-Koeffizienten führen. Gemäß der zweiten Ausführungsform ist es möglich, den Unterschied in der Abbildungsfehler-Korrektur zwischen dem Zeitpunkt des Lernens und dem Zeitpunkt der Beobachtungsverarbeitung zu verringern, indem die Parameter, die Faktoren sind, die den Abbildungsfehler des optischen Systems verändern, mit den Lerndaten und den Eingabedaten verknüpft werden. Dadurch ist es möglich, eine genauere Abbildungsfehlerkorrektur zu realisieren, um sich der Zielintensitätsverteilung anzunähern.
-
Insbesondere wird in der vorliegenden Ausführungsform als Lernmodell 207 ein Faltungsalgorithmus eines neuronalen Netzes verwendet. Gemäß einem solchen Lernmodell 207 werden Bedeutungsunterschiede von Eingabedaten, mit denen Parameter verkettet sind (Trennung von Daten von verketteten Parametern), automatisch erkannt. Daher ist es möglich, ein Lernmodell effizient zu erstellen. Darüber hinaus ist es möglich, Parameter, von denen man annimmt, dass sie die Korrektur beeinflussen, an die Eingabedaten zu ketten. Auf diese Weise ist es möglich, Abbildungsfehler unter Berücksichtigung der Auswirkungen von Parametern zu korrigieren, zu denen der Mensch noch keine Beziehung gefunden hat.
-
[Dritte Ausführungsform]
-
Als nächstes wird noch eine weitere Ausführungsform der Steuervorrichtung 11 beschrieben. 9 ist ein Blockdiagramm, das den Funktionsaufbau einer Steuervorrichtung 11B gemäß einer dritten Ausführungsform zeigt. In der Steuervorrichtung 11B gemäß der dritten Ausführungsform unterscheiden sich die Funktionen einer Lerneinheit 203B, einer Vorhersageeinheit 204B und einer Steuereinheit 205B von denen der zweiten Ausführungsform. Im Folgenden werden nur die Unterschiede zur zweiten Ausführungsform beschrieben.
-
Neben der Steuerung des räumlichen Lichtmodulators 9 hat die Steuereinheit 205B auch die Funktion, zusätzliche Parameter einzustellen, die zu optischen Abbildungsfehlern im optischen System 1 beitragen. Beispielsweise hat die Steuereinheit 205B die Funktion, die Position der Linse im optischen System als einen solchen zusätzlichen Parameter über eine im optischen System 1 vorgesehene Positionseinstellfunktion einzustellen. Als Parameter, die zu Abbildungsfehlern außer der Position der Linse im optischen System beitragen, können die zusätzlichen Parameter Parameter sein, die im optischen System 1 eingestellt werden können, beispielsweise die Anordnung der Komponenten, aus denen das optische System besteht, die Vergrößerung, die Brennweite und der Brechungsindex jeder Linse, aus der das optische System besteht, und die Wellenlänge des von der Lichtquelle 3 emittierten Lichts. Darüber hinaus kann eine Vielzahl von Parametertypen umfasst werden, ohne dass eine Beschränkung auf einen Typ von Zusatzparametern besteht.
-
Beim Aufbau eines Lernmodells 207B verwendet die Lerneinheit 203B eine Vielzahl von Eingabedaten, zu denen Parameter, die zusätzliche Parameter umfassen, in der gleichen Weise wie in der zweiten Ausführungsform verkettet werden, wodurch das Lernmodell 207B aufgebaut wird, das in der Lage ist, zusätzlich zu den Kombinationen von Zernike-Koeffizientenwerten vorhergesagte Werte der zusätzlichen Parameter auszugeben, mit denen Abbildungsfehler korrigiert werden können. Die zu diesem Zeitpunkt in den Eingabedaten verwendeten Parameter können eine andere Art von Parametern umfassen als die zusätzlichen Parameter. Darüber hinaus ist es vorteilhaft, wenn die Eingangsdaten während des Lernprozesses erfasst werden, während die zusätzlichen Merkmale aktiv geändert werden.
-
Die Vorhersageeinheit 204B verkettet die Parameter einschließlich der zusätzlichen Parameter mit den Eingangsdaten und gibt die Eingangsdaten, mit denen die Parameter verkettet sind, in das trainierte Lernmodell 207B ein, wodurch zusätzliche Parameter zur Korrektur von Abbildungsfehlern zusätzlich zu einer Kombination von Zernike-Koeffizientenwerten vorhergesagt werden.
-
Gemäß der Steuervorrichtung 11B nach der dritten Ausführungsform ist es möglich, ein robustes Lernmodell aufzubauen, das gegenüber Änderungen von Faktoren, beispielsweise einer Umgebung, im optischen System 1 resistent ist, indem die vorhergesagten Werte der einstellbaren zusätzlichen Parameter erfasst werden. Das heißt, die Abbildungsfehler des optischen Systems können durch die Verwendung anderer Parameter korrigiert werden, die Änderungen in den Abbildungsfehlern des optischen Systems verursachen. Daher ist es möglich, Abbildungsfehler zu korrigieren, die nur mit den Zernike-Koeffizienten schwer zu korrigieren sind.
-
Obwohl die verschiedenen Ausführungsformen der vorliegenden Offenbarung oben beschrieben wurden, ist die vorliegende Offenbarung nicht auf die oben beschriebenen Ausführungsformen beschränkt und kann modifiziert oder auf andere angewandt werden, ohne von dem in den Ansprüchen beschriebenen Umfang abzuweichen.
-
Das optische System 1 gemäß jeder der oben beschriebenen ersten bis dritten Ausführungsformen kann wie folgt modifiziert werden. 10 bis 15 sind schematische Konfigurationsdiagramme der optischen Systeme 1A bis 1F gemäß Modifikationsbeispielen.
-
Das in 10 gezeigte optische System 1A ist ein Beispiel für ein optisches System, das reflektiertes Licht aufnimmt, das durch die Wirkung des Lichts der Lichtquelle 3 verursacht wird. Das optische System 1A unterscheidet sich von dem optischen System 1 dadurch, dass ein Spiegel 15, der an der Position des bildgebenden Elements 7 angeordnet ist, ein Halbspiegel 13, der zwischen dem räumlichen Lichtmodulator 9 und der Kondensorlinse 5 angeordnet ist, und eine Kondensorlinse 17 zur Bündelung des von dem Spiegel 15 und dem Halbspiegel 13 reflektierten Lichts in Richtung des bildgebenden Elements 7 vorgesehen sind. Auch mit einer solchen Konfiguration ist es möglich, eine hochgenaue Abbildungsfehler-Korrektur auf der Grundlage des Intensitätsbildes des reflektierten Lichts zu realisieren.
-
Das in 11 gezeigte optische System 1B unterscheidet sich von dem optischen System 1A dadurch, dass eine zu beobachtende Probe S während des Aufbaus des Lernmodells und der Vorverarbeitung vor der Beobachtung neben der Lichtquellenseite 3 des Spiegels 15 angeordnet wird. Gemäß einer solchen Konfiguration ist es bei der Anwendung der Beobachtung des Inneren einer Probe mit einem großen Brechungsindex möglich, die Abbildungsfehler zu korrigieren, die durch das Innere der Probe verursacht werden. Daher ist es möglich, die Auflösung bei der Beobachtung und dergleichen zu verbessern.
-
Das in 12 gezeigte optische System 1C ist ein Beispiel für ein optisches System, das für die Beobachtung von Fluoreszenz, die durch die Wirkung des Lichts der Lichtquelle 3 angeregt wird, verwendet werden kann. Das optische System 1C hat den gleichen Aufbau wie das optische System 1 für das Anregungslicht und umfasst einen dichroitischen Spiegel 19, einen Filter 21 für das Anregungslicht und eine kondensierende Linse 17 als optisches System für die Fluoreszenzbeobachtung. Der dichroitische Spiegel 19 ist zwischen dem räumlichen Lichtmodulator 9 und der Kondensorlinse 5 vorgesehen und hat die Eigenschaft, das Anregungslicht durchzulassen und die Fluoreszenz zu reflektieren. Der Anregungslicht-Sperrfilter 21 lässt die vom dichroitischen Spiegel 19 reflektierte Fluoreszenz durch und schneidet die Komponenten des Anregungslichts ab. Die kondensierende Linse 17 ist zwischen dem Anregungslicht-Sperrfilter 21 und dem bildgebenden Element 7 vorgesehen und bündelt die durch den Anregungslicht-Sperrfilter 21 durchlaufende Fluoreszenz in Richtung des bildgebenden Elements 7. In dem optischen System 1C mit einer solchen Konfiguration wird eine Standardprobe S0, die eine gleichmäßige Fluoreszenz in Bezug auf das Anregungslicht aussendet, während des Aufbaus des Lernmodells und der Vorverarbeitung vor der Beobachtung in die Brennpunktposition der Kondensorlinse 5 gebracht. Mit einer solchen Konfiguration ist es möglich, eine sehr genaue Abbildungsfehlerkorrektur in einem optischen System zur Beobachtung der in einer Probe erzeugten Fluoreszenz zu realisieren.
-
Das in 13 gezeigte optische System 1D ist ein Beispiel für ein optisches System, das in der Lage ist, ein Interferenzbild zu beobachten, das durch die Wirkung des Lichts von der Lichtquelle 3 verursacht wird, und das die Konfiguration eines optischen Systems eines Fizeau-Interferometers aufweist. Im Einzelnen umfasst das optische System 1D: einen räumlichen Lichtmodulator 9 und einen Strahlteiler 23, die auf dem optischen Pfad des Laserlichts von der Lichtquelle 3 vorgesehen sind; eine Referenzplatte 25 und eine Standardprobe S0, die auf dem optischen Pfad des Laserlichts angeordnet sind, das durch den räumlichen Lichtmodulator 9 und den Strahlteiler 23 hindurchgeht; und eine Kondensorlinse 17 und ein bildgebendes Element 7 zum Beobachten eines Interferenzbildes, das durch zwei reflektierte Lichtkomponenten, die durch eine Referenzoberfläche 25a der Referenzplatte 25 und die Oberfläche der Standardprobe S0 erzeugt werden, durch den Strahlteiler 23 hindurch verursacht wird. Als Standardprobe S0 kann ein ebenes, reflektierendes Trägermaterial verwendet werden. Mit einem solchen optischen System 1D ist es möglich, eine hochgenaue Korrektur der Abbildungsfehler in einem optischen System zur Beobachtung eines Interferenzbildes zu realisieren.
-
Das in 14 gezeigte optische System 1E ist ein Beispiel für ein optisches System, das ein durch Wellenfrontmessung erhaltenes Bild zur Korrektur von Abbildungsfehlern des optischen Systems verwendet. Hier wird ein Shack-Hartmann-Wellenfrontsensor verwendet, bei dem ein Mikrolinsen-Array 27 vor dem bildgebenden Element 7 angeordnet ist, um durch die Einwirkung des Lichts der Lichtquelle 3 verursachte Mehrpunktbilder zu erhalten. So kann auch mit einem optischen System, das ein Bild erfassen kann, das durch Wellenfrontmessung gewonnen wurde, eine hochgenaue Korrektur der Abbildungsfehler realisiert werden.
-
Das in 15 gezeigte optische System 1F ist ein Beispiel für ein optisches System, das Bilddaten verwendet, die ein Phänomen (eine Aktion) widerspiegeln, das durch die Emission des Laserlichts von der Lichtquelle 3 verursacht wird, anstatt das Laserlicht zu beobachten. Beispielsweise gibt es ein Beispiel für ein Phänomen, das durch die Emission von Laserlicht verursacht wird, ein Laserbearbeitungsphänomen, bei dem ein Material wie beispielsweise Glas durch Fokussieren des Laserlichts auf die Oberfläche des Materials bearbeitet wird (Schneiden, Bohren und dergleichen). Auch in den Laserbearbeitungsspuren, die durch das Laserbearbeitungsphänomen verursacht werden, können Abbildungsfehler des optischen Systems auftreten. Daher ist es von Vorteil, die Abbildungsfehler zu korrigieren, um die beabsichtigte Laserbearbeitung durchführen zu können. Das optische System 1F umfasst zusätzlich zu der gleichen Konfiguration wie das optische System 1C eine Lichtquelle für die Beobachtung 29, die Beobachtungslicht von der gegenüberliegenden Seite der Bearbeitungsoberfläche der Standardprobe S0, beispielsweise einer Glasplatte, aussendet. Bei einer solchen Konfiguration kann die Laserbearbeitungsmarkierung der Standardprobe S0 beobachtet werden, indem das durch das Beobachtungslicht erzeugte Streulicht als Bild mit dem bildgebenden Element 7 erkannt wird. Somit ist es auch mit einem optischen System, das die Beobachtung eines Laserbearbeitungsphänomens als Bild ermöglicht, möglich, eine hochpräzise Abbildungsfehlerkorrektur in Bezug auf das zur Bearbeitung verwendete Laserlicht zu realisieren. Darüber hinaus können, wie bei der Laserbearbeitung, Bilddaten, die als Ergebnis der Beobachtung der Querschnittsform einer Probe mit Streulicht, einem SEM (Rasterelektronenmikroskop) oder ähnlichem erhalten wurden, als Lerndaten für die Korrektur von Abbildungsfehlern verwendet werden. Mit einem solchen optischen System, das in der Lage ist, Abbildungsfehler zu korrigieren, ist es möglich, eine Laserbearbeitung zu realisieren, die in der Lage ist, eine gewünschte Querschnittsform zu erhalten.
-
Darüber hinaus können in dem optischen System 1 gemäß jeder der oben beschriebenen ersten bis dritten Ausführungsformen die Erfassungseinheiten 201 und 201A die Daten der Intensitätsverteilung wie folgt erfassen. Das heißt, die Erfassungseinheiten 201 und 201A stellen ein Polarkoordinatensystem (R, θ) ein, das durch einen Abstand R vom Pol, der sich dem Zentrum eines kreisförmigen Bildes im Intensitätsbild annähert, und ein Argument θ von der Ausgangslinie definiert ist, projizieren die Helligkeitswerte von Pixeln, die das Intensitätsbild bilden, auf jede Koordinate des Abstands R und jede Koordinate des Arguments θ, und erfassen die Verteilung der Summe der Helligkeitswerte der auf jede Koordinate projizierten Pixel als Intensitätsverteilungsdaten entlang der Richtung des Abstands R und Intensitätsverteilungsdaten entlang der Richtung des Arguments θ. Zu diesem Zeitpunkt können die Erfassungseinheiten 201 und 201A einen Durchschnittswert und eine Standardabweichung der Summe der Helligkeitswerte berechnen und die Verteilung jeder Koordinate so normalisieren, dass der Durchschnittswert der Intensitätsverteilungsdaten 0 und die Standardabweichung der Daten 1 ist oder die Verteilung jeder Koordinate mit dem Maximalwert normalisieren. Dann erfassen die Erfassungseinheiten 201 und 201A verkettete Daten der Intensitätsverteilung durch eindimensionale Verkettung der Intensitätsverteilungsdaten entlang der Richtung des Abstands R und der Intensitätsverteilungsdaten entlang der Richtung des Arguments θ.
-
16 ist ein Diagramm, das beispielsweise ein Intensitätsbild zeigt, das von einem bildgebenden Element eingegeben wird, und 17 ist ein Graph der Intensitätsverteilung, der durch die verketteten Daten der Intensitätsverteilung dargestellt wird, die von den Erfassungseinheiten 201 und 201A erfasst wird. So erhält man im Intensitätsbild beispielsweise die Intensitätsverteilung des Laserlichts, das durch die Kondensorlinse 5 so gebündelt wird, dass konzentrische Intensitätsspitzen entstehen. Durch die Verarbeitung des Intensitätsbildes durch die Erfassungseinheiten 201 und 201A erhält man verkettete Daten, in denen die Intensitätsverteilung in Richtung des Arguments θ, das eine konstante Verteilung aufweist, und die Intensitätsverteilung in Richtung der Entfernung R, die zwei Spitzen aufweist, eindimensional verkettet sind.
-
Auch in einem solchen Modifikationsbeispiel ist es möglich, die Rechenzeit beim Lernen des Lernmodells 207 oder der Vorhersage der Zernike-Koeffizienten zu verkürzen und eine hochgenaue Korrektur der Abbildungsfehler zu realisieren.
-
Darüber hinaus kann in dem optischen System 1 gemäß jeder der oben beschriebenen ersten bis dritten Ausführungsformen beim Aufbau eines Lernmodells (während der Lernverarbeitung) ein trainiertes Lernmodell, das bereits aufgebaut wurde, verwendet werden, um die Lerndaten zu reduzieren und die Lernzeit zu verkürzen. Beispielsweise wird davon ausgegangen, dass die Beziehung zwischen dem Zernike-Koeffizienten und der Intensitätsverteilung des Lichts aufgrund einer Fehlausrichtung der optischen Achse des optischen Systems leicht abweicht, wenn seit der letzten Erstellung eine bestimmte Zeitspanne verstrichen ist. In diesem Fall können mit der Methode des so genannten Transferlernens die Daten, die bei der Beobachtung der Probe gewonnen wurden, neu gelernt werden. Dadurch kann ein Lernmodell, das während der Beobachtung wirksam ist, in kürzerer Zeit mit einer kleineren Menge an Daten erstellt werden. Wenn beispielsweise die Auswirkung des Parameters, der sich auf die optische Achse des optischen Systems bezieht, auf das Ausgabeergebnis im Lernmodell 207 durch Abstimmung einiger Schichten des neuronalen Netzes absorbiert werden kann, lernt die Lerneinheit 203A nur die Gewichte einiger Schichten neu, ohne die Gewichte aller Schichten beim Aufbau des Lernmodells 207 neu zu lernen. Gemäß einem solchen Modifikationsbeispiel ist es möglich, die Konvergenz von Fehlern in den Ausgabewerten des Lernmodells zu beschleunigen und somit die Effizienz des Lernens zu verbessern.
-
In jeder der oben beschriebenen Ausführungsformen ist es bevorzugt, dass die Lichtkorrekturkoeffizienten Koeffizienten des Zernike-Polynoms sind, um die Form der Wellenfront des Lichts anzugeben. In diesem Fall kann eine hochgenaue Korrektur von Abbildungsfehlern durch eine Korrektur auf der Grundlage des durch das Lernmodell vorhergesagten Lichtkorrekturkoeffizienten realisiert werden.
-
Darüber hinaus ist es in jeder der oben beschriebenen Ausführungsformen bevorzugt, die Intensitätsverteilung als Helligkeitsverteilung zu erfassen, indem die Helligkeitswerte der Pixel im Intensitätsbild auf vorbestimmte Koordinaten projiziert werden. In diesem Fall können dem Lernmodell, das den Lichtkorrekturkoeffizienten vorhersagt, Daten zugeführt werden, die die Intensitätsverteilung entlang einer vorgegebenen Richtung auf der Grundlage des Intensitätsbildes genauer wiedergeben. Dadurch ist es möglich, eine genauere Korrektur von Abbildungsfehlern zu realisieren.
-
Darüber hinaus ist es in jeder der oben beschriebenen Ausführungsformen vorzuziehen, dass die Intensitätsverteilung als eine Verteilung der Summe der Helligkeitswerte von Pixeln erfasst wird, die auf vorbestimmte Koordinaten projiziert werden. In diesem Fall können in das Lernmodell, das den Lichtkorrekturkoeffizienten vorhersagt, Daten eingegeben werden, die die Intensitätsverteilung entlang einer vorgegebenen Richtung auf der Grundlage des Intensitätsbildes genauer wiedergeben. Infolgedessen ist es möglich, eine genauere Korrektur von Abbildungsfehlern zu realisieren.
-
Darüber hinaus ist es in jeder der oben beschriebenen Ausführungsformen vorteilhaft, zusätzlich zu den Lichtkorrekturkoeffizienten und den Vergleichsdaten auch Parameter in das Lernmodell einzugeben, die Abbildungsfehler betreffen, die mit dem Licht zusammenhängen. Gemäß einer solchen Konfiguration können die Parameter, die Abbildungsfehler in Bezug auf Licht betreffen, weiter in das Lernmodell eingegeben werden, das den Lichtkorrekturkoeffizienten vorhersagt. Dadurch ist es möglich, eine genauere Korrektur von Abbildungsfehlern zu realisieren.
-
Darüber hinaus ist es in jeder der oben beschriebenen Ausführungsformen auch vorteilhaft, einstellbare Parameter, die Abbildungsfehler in Bezug auf Licht betreffen, unter Verwendung des Lernmodells vorherzusagen. In diesem Fall werden die Parameter, die Abbildungsfehler in Bezug auf Licht betreffen, durch das Lernmodell vorhergesagt, das den Lichtkorrekturkoeffizienten vorhersagt. Durch Einstellen des optischen Systems und dergleichen auf der Grundlage der vorhergesagten Parameter ist es dann möglich, eine genauere Korrektur der Abbildungsfehler zu realisieren.
-
BEZUGSZEICHENLISTE
-
- 1, 1A, 1B, 1C, 1D, 1E, 1F
- optisches System,
- 3
- Lichtquelle,
- 7
- bildgebendes Element,
- 9
- räumlicher Lichtmodulator,
- 11, 11A, 11B
- Steuervorrichtung,
- 201, 201A
- Erfassungseinheit,
- 202
- Erzeugungseinheit,
- 203, 203A, 203B
- Lerneinheit,
- 205, 205B
- Steuereinheit,
- 204, 204A, 204B
- Vorhersageeinheit,
- 207, 207B
- Lernmodell.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- WO 2013/172085 [0002]
- JP 2012235834 [0002]