DE102019108815A1 - Processing of data sets from a confocal laser scanning microscope - Google Patents

Abstract

Die vorliegende Erfindung betrifft ein Verfahren, ein Computerprogramm mit Instruktionen sowie eine Vorrichtung zum Verarbeiten von Datensätzen eines konfokalen Laser-Scanning-Mikroskops. Bei dem Verfahren werden mit dem konfokalen Laser-Scanning-Mikroskop aufgenommene Daten (33) oder noch aufzunehmende Daten (33) sowie Bereiche von Interesse (34) in Bezug auf die aufgenommenen Daten oder die noch aufzunehmenden Daten in einer hierarchischen Struktur erfasst, die zumindest unmittelbare räumliche Beziehungen und Verknüpfungen zwischen den aufgenommenen Daten (33) oder den noch aufzunehmenden Daten (33) und den Bereichen von Interesse (34) umfasst.

The present invention relates to a method, a computer program with instructions and a device for processing data records from a confocal laser scanning microscope. In the method, data (33) recorded with the confocal laser scanning microscope or data to be recorded (33) as well as areas of interest (34) with regard to the recorded data or the data to be recorded are recorded in a hierarchical structure, which at least immediate spatial relationships and links between the recorded data (33) or the data to be recorded (33) and the areas of interest (34).

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Verarbeiten von Datensätzen eines konfokalen Laser-Scanning-Mikroskops. Die Erfindung betrifft zudem ein Computerprogramm mit Instruktionen sowie eine Vorrichtung zum Verarbeiten von Datensätzen eines konfokalen Laser-Scanning-Mikroskops, in denen das erfindungsgemäße Verfahren umgesetzt ist.The present invention relates to a method for processing data sets from a confocal laser scanning microscope. The invention also relates to a computer program with instructions and a device for processing data records from a confocal laser scanning microscope, in which the method according to the invention is implemented.

Beim Betreiben eines konfokalen Laser-Scanning-Mikroskops fallen große Mengen von Daten an, insbesondere Bilddatensätze, die durch einen Computer verarbeitet und in einer Speichervorrichtung abgelegt werden müssen.When operating a confocal laser scanning microscope, large amounts of data arise, in particular image data sets, which have to be processed by a computer and stored in a storage device.

Vor diesem Hintergrund beschreibt US 8,582,924 B2 ein Bildaufnahmesystem zur Aufzeichnung und Speicherung großer Bilddatensätze. Hierzu wird ein Bild in Sektionen unterteilt, wobei zu jeder Sektion Charakteristika erfasst werden. Die Sektionen werden klassifiziert, die Bilddaten einer Sektion werden komprimiert und jeweils in eine Datenbank geschrieben. Die zu einer Sektion gehörenden Charakteristika werden in eine Datenbankdatei geschrieben. Charakteristika-Daten einer Sektion sind dabei assoziiert mit Bilddaten der zugehörigen Sektion.With this in mind, describes US 8,582,924 B2 an image recording system for the recording and storage of large image data sets. For this purpose, an image is divided into sections, with characteristics being recorded for each section. The sections are classified, the image data of a section are compressed and each written into a database. The characteristics belonging to a section are written to a database file. Characteristic data of a section are associated with image data of the associated section.

Im Rahmen einer Messreihe an einer Probe werden üblicherweise eine Reihe von Datensätzen generiert, die zur Messreihe gehören. In diesem Zusammenhang ist es bekannt, eine Ordnerstruktur zu verwenden, bei der einer Messreihe bzw. einem Experiment ein Ordner zugeordnet ist, in dem die Datensätze der Messreihe abgelegt werden.As part of a series of measurements on a sample, a series of data sets that belong to the series of measurements are usually generated. In this context, it is known to use a folder structure in which a measurement series or an experiment is assigned a folder in which the data records of the measurement series are stored.

Es ist eine Aufgabe der Erfindung, verbesserte Lösungen für das Verarbeiten von Datensätzen eines konfokalen Laser-Scanning-Mikroskops bereitzustellen, die es einem Bediener des konfokalen Laser-Scanning-Mikroskops erleichtern, Zusammenhänge zwischen den Datensätzen nachzuvollziehen.It is an object of the invention to provide improved solutions for the processing of data sets of a confocal laser scanning microscope which make it easier for an operator of the confocal laser scanning microscope to understand relationships between the data sets.

Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1, durch ein Computerprogramm mit Instruktionen mit den Merkmalen des Anspruchs 21 sowie durch eine Vorrichtung mit den Merkmalen des Anspruchs 22 gelöst. Bevorzugte Ausgestaltungen der Erfindung sind Gegenstand der abhängigen Ansprüche.This object is achieved by a method with the features of claim 1, by a computer program with instructions with the features of claim 21 and by a device with the features of claim 22. Preferred embodiments of the invention are the subject matter of the dependent claims.

Gemäß einem ersten Aspekt der Erfindung werden bei einem Verfahren zum Verarbeiten von Datensätzen eines konfokalen Laser-Scanning-Mikroskops mit dem konfokalen Laser-Scanning-Mikroskop aufgenommene Daten oder noch aufzunehmende Daten sowie Bereiche von Interesse in Bezug auf die aufgenommenen Daten oder die noch aufzunehmenden Daten in einer hierarchischen Struktur erfasst, die zumindest unmittelbare räumliche Beziehungen und Verknüpfungen zwischen den aufgenommenen Daten oder den noch aufzunehmenden Daten und den Bereichen von Interesse umfasst.According to a first aspect of the invention, in a method for processing data sets of a confocal laser scanning microscope with the confocal laser scanning microscope, recorded data or data still to be recorded as well as areas of interest in relation to the recorded data or the data still to be recorded recorded in a hierarchical structure that includes at least immediate spatial relationships and links between the recorded data or the data yet to be recorded and the areas of interest.

Gemäß einem weiteren Aspekt der Erfindung umfasst ein Computerprogramm Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung des erfindungsgemäßen Verfahrens zum Verarbeiten von Datensätzen eines konfokalen Laser-Scanning-Mikroskops veranlassen.According to a further aspect of the invention, a computer program comprises instructions which, when executed by a computer, cause the computer to execute the method according to the invention for processing data records of a confocal laser scanning microscope.

Der Begriff Computer ist dabei breit zu verstehen. Insbesondere umfasst er auch Workstations, verteilte Systeme und andere prozessorbasierte Datenverarbeitungsvorrichtungen.The term computer should be understood broadly. In particular, it also includes workstations, distributed systems and other processor-based data processing devices.

Das Computerprogramm kann beispielsweise für einen elektronischen Abruf bereitgestellt werden oder auf einem computerlesbaren Speichermedium gespeichert sein.The computer program can, for example, be provided for electronic retrieval or be stored on a computer-readable storage medium.

Gemäß einem weiteren Aspekt der Erfindung ist eine Vorrichtung zum Verarbeiten von Datensätzen eines konfokalen Laser-Scanning-Mikroskops dazu eingerichtet, ein erfindungsgemäßes Verfahren zum Verarbeiten der Datensätze auszuführen.According to a further aspect of the invention, a device for processing data sets of a confocal laser scanning microscope is set up to carry out a method according to the invention for processing the data sets.

Bei der erfindungsgemäßen Lösung werden aufgenommene Daten und ggf. noch aufzunehmende Daten sowie Bereich von Interesse in Bezug auf diese Daten in einer hierarchischen Datenstruktur erfasst, d.h. einer logischen Struktur von Daten und zugehörigen Metadaten, in der die aufgenommenen Daten beim Speichern abgelegt werden. In dieser Datenstruktur sind zumindest unmittelbare räumliche Beziehungen und Verknüpfungen zwischen den aufgenommenen Daten oder den noch aufzunehmenden Daten und den Bereichen von Interesse abgelegt. Zudem können bevorzugt in der hierarchischen Struktur auch semantische Verknüpfungen erfasst werden. Auf Basis dieser Datenstruktur kann der zwischen den Daten bestehende Kontext auf einfache Weise ermittelt und dem Bediener des konfokalen Laser-Scanning-Mikroskops zugänglich gemacht werden. Der Kontext beinhaltet insbesondere den räumlichen Kontext, wodurch beispielsweise Bild-in-Bild-Darstellungen, d.h. Darstellungen von Bereichen von Interesse in einem übergeordneten Bild, ermöglicht werden. Der Kontext kann über die räumliche Information hinaus weitere Informationen enthalten, die sich beispielsweise zur Parametereinstellung in einem nachfolgenden Bildbearbeitungsschritt nutzen lassen, z.B. für eine Entfaltung. Bei dem konfokalen Laser-Scanning-Mikroskops kann es sich beispielsweise um ein STED-Mikroskop (STED: Stimulated Emission Depletion), ein RESOLFT-Mikroskop (RESOLFT: Reversible Saturable Optical Linear Fluorescence Transitions), ein MINFLUX-Mikroskop (MINFLUX: Minimum Emission Fluxes) oder ein MINFIELD-Mikroskop handeln.In the solution according to the invention, recorded data and possibly data still to be recorded as well as areas of interest in relation to this data are recorded in a hierarchical data structure, ie a logical structure of data and associated metadata in which the recorded data are stored when they are saved. In this data structure, at least direct spatial relationships and links between the recorded data or the data yet to be recorded and the areas of interest are stored. In addition, semantic links can preferably also be recorded in the hierarchical structure. On the basis of this data structure, the context between the data can be determined in a simple manner and made accessible to the operator of the confocal laser scanning microscope. The context includes, in particular, the spatial context, which enables, for example, picture-in-picture representations, ie representations of areas of interest in a superordinate picture. In addition to the spatial information, the context can contain further information that can be used, for example, to set parameters in a subsequent image processing step, for example for an unfolding. The confocal laser scanning microscope can be, for example, a STED microscope (STED: Stimulated Emission Depletion), a RESOLFT microscope (RESOLFT: Reversible Saturable Optical Linear Fluorescence Transitions), a MINFLUX Microscope (MINFLUX: Minimum Emission Fluxes) or a MINFIELD microscope.

Der Kontext bleibt nicht nur von z.B. einer Übersichtsaufnahme bis zu einem sich darin befindlichen Bereich von Interesse gewahrt, sondern auch bis hin zu weiteren sich darin befindenden Aufnahmen von Unterbereichen von Interesse. Der Benutzer hat am Ende somit sowohl Detailbilder von unter Umständen sehr kleinen Bereichen von Interesse als auch die Information, wie diese Detailbilder sich in die größere räumliche Umgebung einfügen. Insbesondere bei MINFLUX-Mikroskopen und MINFIELD-Mikroskopen ergeben sich überaus kleine Bereiche von Interesse. Der räumliche Kontext ist wichtig, um beispielsweise beurteilen zu können, auf welche Zellregion sich ein hochaufgelöst aufgenommenes Detailbild bezieht, z.B. Zellkern, Soma oder Membran, etc., oder um für eine Publikation nachzuweisen, dass die Analyse eines Detailbildes aussagekräftig ist, dass dieses sich beispielsweise auf eine gesunde Zelle bezieht. Diese Information wird dem Nutzer dabei ohne eine für ihn mühsame Analyse von Metadaten von Bilddaten zur Verfügung gestellt.The context does not only remain of e.g. an overview recording up to an area of interest located therein, but also up to further recordings of sub-areas of interest located therein. In the end, the user thus has both detailed images of possibly very small areas of interest as well as information on how these detailed images fit into the larger spatial environment. Particularly with MINFLUX microscopes and MINFIELD microscopes, extremely small areas of interest arise. The spatial context is important in order to be able to assess, for example, which cell region a high-resolution detailed image refers to, e.g. Cell nucleus, soma or membrane, etc., or to prove for a publication that the analysis of a detailed image is meaningful, that it relates, for example, to a healthy cell. This information is made available to the user without a laborious analysis of metadata from image data.

Gemäß einem Aspekt der Erfindung wird für eine Messreihe ein Hauptordner als Element der obersten Ebene angelegt. Die Verwendung eines solchen Hauptordners ermöglicht es, alle in einer bzw. zu einer Messreihe generierten Daten mittels eines einzelnen übergeordneten Elementes zu verwalten. Dieses kann zwanglos zu einem späteren Zeitpunkt um weitere Daten ergänzt werden. Für die Probe wird auf diese Weise ein Proben-Ordner angelegt, der im weiteren Verlauf der Messung mit Angaben zu Bereichen von Interessen und den für diese erstellten Datenelementen gefüllt wird. Für jede Übersichtsaufnahme kann dabei beispielsweise ein Bereich von Interesse angelegt werden, dessen Koordinaten sich auf den Probentisch des Mikroskops beziehen. Alternativ kann der Hauptordner anstatt für die Messreihe auch lediglich für eine Übersichtsaufnahme angelegt werden.According to one aspect of the invention, a main folder is created as an element of the top level for a series of measurements. The use of such a main folder makes it possible to manage all the data generated in or for a series of measurements by means of a single higher-level element. This can be easily supplemented with further data at a later point in time. In this way, a sample folder is created for the sample, which is filled in the further course of the measurement with information on areas of interest and the data elements created for these. For each overview recording, for example, an area of interest can be created, the coordinates of which relate to the sample table of the microscope. Alternatively, the main folder can only be created for an overview recording instead of for the series of measurements.

Gemäß einem Aspekt der Erfindung wird in der Messreihe zumindest ein Kanal erfasst und für jeden in der Messreihe erfassten Kanal ein Bild als Element der obersten Ebene angelegt, das im Hauptordner referenziert wird. Zwar können Datenstrukturen vorsehen, dass ein Bild mehr als einen Kanal umfassen kann, allerdings vereinfacht die Beschränkung auf einen Kanal je Bild insbesondere die konsistente Handhabung von Bereichen von Interesse. Die in der Messreihe erfassten Kanäle können beispielsweise durch die in der Messreihe genutzten Fluoreszenzfarbstoffe festgelegt sein. Dabei kann für jeden genutzten Fluoreszenzfarbstoff ein Kanal erfasst werden.According to one aspect of the invention, at least one channel is recorded in the measurement series and an image is created as a top-level element for each channel recorded in the measurement series and is referenced in the main folder. Although data structures can provide that an image can comprise more than one channel, the restriction to one channel per image in particular simplifies the consistent handling of areas of interest. The channels recorded in the series of measurements can be defined, for example, by the fluorescent dyes used in the series of measurements. A channel can be recorded for each fluorescent dye used.

Gemäß einem Aspekt der Erfindung wird für einen Bereich von Interesse ein ROI-Element als Element der obersten Ebene angelegt, das von dem Bild referenziert wird, für das der Bereich von Interesse festgelegt wurde. Im ROI-Element (ROI: Region of Interest, Bereich von Interesse) sind Form und Lage eines Bereichs von Interesse definiert. Dadurch, dass das ROI-Element ein Top-Level-Element ist, ist seine Verwendung nicht auf das Bild beschränkt, für das er festgelegt wurde.According to one aspect of the invention, an ROI element is created for an area of interest as a top-level element that is referenced by the image for which the area of interest was defined. The shape and position of an area of interest are defined in the ROI element (ROI: Region of Interest). Because the ROI element is a top-level element, its use is not limited to the image for which it was defined.

Gemäß einem Aspekt der Erfindung wird das ROI-Element von dem Ordner referenziert, der das Bild, für das der Bereich von Interesse festgelegt wurde, referenziert. Über die Referenz auf das ROI-Element ist ausgehend vom Ordner nachvollziehbar, wo Aufnahmen, die für einen Bereich von Interesse erstellt wurden, im Bild angeordnet sind.According to one aspect of the invention, the ROI element is referenced by the folder that references the image for which the area of interest has been defined. Using the reference to the ROI element, starting from the folder, you can see where recordings that were made for an area of interest are arranged in the image.

Gemäß einem Aspekt der Erfindung wird das ROI-Element von allen Bildern referenziert, die von dem gleichen Ordner referenziert werden wie das Bild, für das der Bereich von Interesse festgelegt wurde. Eine Messung kann mehrere Kanäle aufweisen, bei der vorliegenden Umsetzung somit mehrere Bilder. Diese Bilder werden durch einen gemeinsamen Ordner referenziert. Wird nun für jedes der Bilder derselben Messung eine Referenz auf das ROI-Element geschrieben, so kann der Bereich von Interesse in jedem Bild derselben Messung in einer grafischen Benutzeroberfläche markiert werden.According to one aspect of the invention, the ROI element is referenced by all images that are referenced by the same folder as the image for which the area of interest was determined. A measurement can have several channels, thus several images in the present implementation. These images are referenced by a shared folder. If a reference is now written on the ROI element for each of the images of the same measurement, the area of interest in each image of the same measurement can be marked in a graphical user interface.

Gemäß einem Aspekt der Erfindung wird für eine Aufnahme eines Bereichs von Interesse ein Unterordner als Element der obersten Ebene angelegt, der von dem Ordner referenziert wird, der das Bild referenziert, für das der Bereich von Interesse festgelegt wurde. Für jeden für den Bereich von Interesse erfassten Kanal wird ein Bild als Element der obersten Ebene angelegt, das im Unterordner referenziert wird. Die Kanäle können dabei vom Hauptordner übernommen werden, sodass nicht nur die Kanäle übernommen werden, die in dem tatsächlich angezeigten Bild, in dem der Bereich von Interesse festgelegt wurde, genutzt wurden. Über die Referenz auf die Unterordner ist ausgehend vom Ordner nachvollziehbar, wo die zu einem Bereich von Interesse erstellten Aufnahmen zu finden sind.According to one aspect of the invention, a subfolder is created as a top-level element for recording an area of interest, which subfolder is referenced by the folder that references the image for which the area of interest was defined. For each channel captured for the area of interest, an image is created as a top-level element that is referenced in the subfolder. The channels can be taken over from the main folder so that not only the channels are taken over that were used in the actually displayed image in which the area of interest was defined. Using the reference to the subfolders, starting from the folder, you can see where the recordings made for an area of interest can be found.

Gemäß einem Aspekt der Erfindung sind in der hierarchischen Struktur vererbbare Parameter für die Messreihe erfasst. Beispielsweise kann eine einem bestimmten Kanal für die Bilddarstellung zugeordnete Farbtabelle von einem übergeordneten Bild an die untergeordneten Bereiche von Interesse (dynamisch) vererbt werden. Auf diese Weise kann eine über alle Ansichten eines Kanals einheitliche Darstellung sichergestellt werden.According to one aspect of the invention, inheritable parameters for the series of measurements are recorded in the hierarchical structure. For example, a color table assigned to a specific channel for image display can be inherited (dynamically) from a superordinate image to the subordinate areas of interest. In this way, a uniform representation across all views of a channel can be ensured.

Gemäß einem Aspekt der Erfindung wird die hierarchische Struktur einem Nutzer des konfokalen Laser-Scanning-Mikroskops in Form einer Baumstruktur bereitgestellt. Die Baumstruktur erlaubt es, Bilder zu einem Bereich von Interesse direkt dem Bild bzw. den Bildern der Messung zuzuordnen, zu der der betreffende Bereich von Interesse festgelegt wurde. Dies gilt auch für Bilder zu Bereichen von Interesse, die in einer Messung zu einem Bereich von Interesse auf einer höheren Ebene durchgeführt wurden. Alle Unterbilder können in den Kontext der initialen Messung eingebettet werden.According to one aspect of the invention, the hierarchical structure is provided to a user of the confocal laser scanning microscope in the form of a tree structure. The tree structure makes it possible to assign images for an area of interest directly to the image or images of the measurement for which the relevant area of interest was defined. This also applies to images of areas of interest that were carried out in a measurement of an area of interest at a higher level. All subpictures can be embedded in the context of the initial measurement.

Die Darstellung mehrerer Bereiche von Interesse in einer Baumstruktur erhält den Kontext jedes Bereichs von Interesse zu dem übergeordneten Bild bzw. den Kinder-Bereichen von Interesse und verknüpft auch Geschwister-Bereiche von Interesse miteinander. Der Kontext beinhaltet insbesondere den räumlichen Kontext, wodurch beispielsweise Bild-in-Bild-Darstellungen, d.h. Darstellungen von Bereichen von Interesse in einem übergeordneten Bild, ermöglicht werden. Dabei können das übergeordnete Bild und die Kinder-Bereiche von Interesse auch aus unterschiedlichen Bildaufnahmequellen stammen, z.B. einem Kamerabild für die Übersicht und einem konfokalen Scan für die Bereiche von Interesse.The representation of several areas of interest in a tree structure maintains the context of each area of interest to the parent image or the children's areas of interest and also links sibling areas of interest to one another. The context includes, in particular, the spatial context, whereby for example picture-in-picture representations, i.e. Representations of areas of interest in a higher-level image are made possible. The parent image and the children's areas of interest can also come from different image recording sources, e.g. a camera image for the overview and a confocal scan for the areas of interest.

Die Baumstruktur ist zudem die natürliche Darstellung eines Bildes über mehrere Detailstufen, die wiederum mit unterschiedlichen Bildaufnahmetechniken aufgenommen werden können. Die Bilddarstellung kann dann vorteilhaft durch Hereinzoomen in das Bild unter Verwendung der für die jeweilige Zoom-Einstellung passenden Hierarchieebene der Bilddaten erfolgen, selbst dann, wenn der Gesamtdatensatz nicht im Arbeitsspeicher gehalten werden kann.The tree structure is also the natural representation of an image over several levels of detail, which in turn can be recorded with different image recording techniques. The image can then advantageously be displayed by zooming in on the image using the hierarchical level of the image data that is appropriate for the respective zoom setting, even if the entire data set cannot be kept in the main memory.

Die Baumstruktur ermöglicht weiterhin die Realisierung einer Vererbungsstruktur, über die sich einzelne Parameter global oder für einen Zweig des Baumes einstellen lassen.The tree structure also enables the implementation of an inheritance structure via which individual parameters can be set globally or for a branch of the tree.

Gemäß einem Aspekt der Erfindung wird ein Objekt der hierarchischen Struktur unveränderlich, wenn für dieses Objekt ein untergeordnetes Objekt angelegt wird. Auf diese Weise kann sichergestellt werden, dass der Kontext zwischen Bildern und ihren Bereichen von Interesse nicht korrumpiert werden kann. Für die Baumstruktur bedeutet dies, dass einzelne Knoten des Baums unveränderlich werden sobald sie über Kindknoten verfügen, d.h. dass die in dem Knoten gespeicherten Bildaufnahmeparameter nicht mehr verändert werden können.According to one aspect of the invention, an object of the hierarchical structure becomes immutable when a subordinate object is created for this object. This ensures that the context between images and their areas of interest cannot be corrupted. For the tree structure this means that individual nodes of the tree become immutable as soon as they have child nodes, i.e. that the image acquisition parameters stored in the node can no longer be changed.

Gemäß einem Aspekt der Erfindung sind Knoten der Baumstruktur durch eine Nutzereingabe klonbar. Vorzugsweise werden beim Klonen eines Knotens dem Knoten zugeordnete Parameter für den Klon des Knotens übernommen. Durch das Klonen kann der Bediener komfortabel neue Aufnahmen auf Grundlage von bereits existierenden Aufnahmen generieren. Die existierenden Aufnahmen können aus der gleichen Messreihe oder aus einer anderen Messreihe stammen. Im Rahmen des Klonens kann der Bediener Bilder vollständig klonen, ebenso lassen sich Parameter bis auf die Position klonen.According to one aspect of the invention, nodes of the tree structure can be cloned by a user input. When a node is cloned, parameters assigned to the node are preferably adopted for the clone of the node. With cloning, the operator can easily generate new recordings based on existing recordings. The existing recordings can come from the same measurement series or from a different measurement series. As part of cloning, the operator can completely clone images, and parameters can also be cloned down to the position.

Gemäß einem Aspekt der Erfindung wird ein Knoten der Baumstruktur geklont, indem für den Knoten ein Bezug zu einem anderen Knoten der Baumstruktur hergestellt wird. Dieser Bezug kann beispielsweise dadurch herstellbar sein, dass eine grafische Repräsentanz des Knotens in einer grafischen Anzeige auf eine grafische Repräsentanz des anderen Knoten bewegt wird. Auf diese Weise lassen sich sehr leicht und intuitiv Knoten der Baumstruktur klonen.According to one aspect of the invention, a node in the tree structure is cloned by establishing a reference for the node to another node in the tree structure. This reference can be established, for example, by moving a graphic representation of the node in a graphic display to a graphic representation of the other node. In this way, nodes in the tree structure can be cloned very easily and intuitively.

Gemäß einem Aspekt der Erfindung ist beim Klonen eines Knotens auswählbar, ob der Klon des Knotens ein Elternknoten oder ein Kindknoten ist. Vorzugsweise ist beim Klonen eines Elternknotens zudem auswählbar, ob der Elternknoten mitsamt seinen Kindknoten, mitsamt einer Auswahl seiner Kindknoten oder ohne seine Kindknoten geklont werden soll. Zu diesem Zweck können dem Bediener Hinweise oder Auswahlmöglichkeiten gegeben werden, damit die gewünschten Klone generiert werden.According to one aspect of the invention, when cloning a node, it can be selected whether the clone of the node is a parent node or a child node. When cloning a parent node, it is preferably also possible to select whether the parent node is to be cloned together with its child nodes, together with a selection of its child nodes, or without its child nodes. For this purpose, the operator can be given hints or options so that the desired clones are generated.

Weitere Merkmale der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung und den angehängten Ansprüchen in Verbindung mit den Figuren ersichtlich.

• 1 zeigt eine grafische Benutzeroberfläche einer Vorrichtung zum Betreiben eines konfokalen Laser-Scanning-Mikroskops in einem Einrichtungsmodus;
• 2 zeigt die grafische Benutzeroberfläche in einem Aufnahmemodus;
• 3 zeigt die grafische Benutzeroberfläche nach Abschluss einer Übersichtsaufnahme;
• 4 zeigt die grafische Benutzeroberfläche nach Abschluss einer Aufnahme eines Bereichs von Interesse;
• 5 zeigt eine Übersichtsdarstellung einer Reihe von Übersichtsbildern einer Probe;
• 6 zeigt die für die erfindungsgemäße Lösung genutzten Elemente einer Datenstruktur;
• 7 zeigt ein Diagramm der Datenstruktur eines Ordners;
• 8 zeigt ein Diagramm der Datenstruktur eines Bildes;
• 9 zeigt ein Diagramm eines Auszugs der Datenstruktur eines Elements „Pixels“;
• 10 zeigt ein Diagramm der Datenstruktur eines ROI-Elements;
• 11 zeigt einen Ausschnitt aus einer Baumstruktur;
• 12 zeigt einen Ansatz für das Klonen eines Knotens mit einer Auswahlmöglichkeit;
• 13 zeigt einen weiteren Ansatz für das Klonen eines Knotens mit einer Auswahlmöglichkeit;
• 14-22 verdeutlichen die Behandlung von Parametern beim Klonen von Knoten; und
• 23 illustriert exemplarisch die Möglichkeiten des Klonens innerhalb der grafischen Benutzeroberfläche.

Further features of the present invention will become apparent from the following description and the appended claims in conjunction with the figures.

• 1 shows a graphical user interface of a device for operating a confocal laser scanning microscope in a setup mode;
• 2 shows the graphical user interface in a recording mode;
• 3 shows the graphical user interface after completing an overview recording;
• 4th shows the graphical user interface after an area of interest capture has been completed;
• 5 shows an overview representation of a series of overview images of a sample;
• 6th shows the elements of a data structure used for the solution according to the invention;
• 7th Figure 3 shows a diagram of the data structure of a folder;
• 8th Figure 3 shows a diagram of the data structure of an image;
• 9 shows a diagram of an extract of the data structure of an element "Pixels";
• 10 Figure 3 shows a diagram of the data structure of an ROI element;
• 11 shows a section from a tree structure;
• 12 Figure 3 shows one approach to cloning a single choice node;
• 13 Figure 3 shows another approach to cloning a single choice node;
• 14-22 clarify the handling of parameters when cloning nodes; and
• 23 exemplifies the possibilities of cloning within the graphical user interface.

Zum besseren Verständnis der Prinzipien der vorliegenden Erfindung werden nachfolgend Ausführungsformen der Erfindung anhand der Figuren detaillierter erläutert. Es versteht sich, dass sich die Erfindung nicht auf diese Ausführungsformen beschränkt und dass die beschriebenen Merkmale auch kombiniert oder modifiziert werden können, ohne den Schutzbereich der Erfindung zu verlassen, wie er in den angehängten Ansprüchen definiert ist.For a better understanding of the principles of the present invention, embodiments of the invention are explained in more detail below with reference to the figures. It goes without saying that the invention is not restricted to these embodiments and that the features described can also be combined or modified without departing from the scope of protection of the invention as defined in the appended claims.

1 zeigt eine grafische Benutzeroberfläche 1 einer Vorrichtung zum Betreiben eines konfokalen Laser-Scanning-Mikroskops. Die Benutzeroberfläche 1 befindet sich in einem Einrichtungsmodus, in dem ein Verwaltungsbereich 2 bereitgestellt wird, in dem Bezeichner 3 aufgenommener Daten sowie ggf. noch aufzunehmender Daten in Art einer Baumstruktur 4 angezeigt werden. Diese Baumstruktur 4 korrespondiert sowohl mit einer logischen Struktur der Datenorganisation im Speicher des Steuerrechners, aus dem heraus Daten zur bildhaften Anzeige auf dem Monitor heraus aufgerufen werden können, als auch mit einer logischen Struktur von Daten und zugehörigen Metadaten, in der die aufgenommenen Daten beim Speichern abgelegt werden. Des Weiteren werden im Einrichtungsmodus ein Übersichtsbereich 5 und ein Auswahlbereich 6 angezeigt. Im Übersichtsbereich 5 werden zur Verfügung stehende Farbstoffe in einer Auswahlliste 7 aufgelistet. Zu Beginn einer neuen Messung wählt der Bediener die Farbstoffe aus, mit denen die Probe angefärbt ist und anhand derer die Messungen realisiert werden. Im Auswahlbereich 6 werden die vom Bediener aus der Auswahlliste 7 selektierten Farbstoffe angezeigt. Nach Abschluss dieser Auswahl startet der Bediener über eine Schaltfläche 8 eine neue Übersicht. Die Benutzeroberfläche 1 wechselt daraufhin in einen Aufnahmemodus zum Aufnehmen einer Übersichtsaufnahme. 1 shows a graphical user interface 1 a device for operating a confocal laser scanning microscope. The user interface 1 is in a setup mode in which an administrative area 2 is provided in the identifier 3 recorded data as well as any data still to be recorded in the form of a tree structure 4th are displayed. This tree structure 4th Corresponds both to a logical structure of the data organization in the memory of the control computer, from which data can be called up for visual display on the monitor, and to a logical structure of data and associated metadata in which the recorded data is stored when saving. There is also an overview area in the setup mode 5 and a selection area 6th displayed. In the overview area 5 available dyes are shown in a selection list 7th listed. At the beginning of a new measurement, the operator selects the dyes with which the sample is colored and on the basis of which the measurements are carried out. In the selection area 6th are made by the operator from the selection list 7th selected dyes are displayed. After completing this selection, the operator starts with a button 8th a new overview. The user interface 1 then changes to a recording mode for recording an overview recording.

2 zeigt die grafische Benutzeroberfläche 1 im Aufnahmemodus. Beim Wechsel in den Aufnahmemodus wird in der im Verwaltungsbereich 2 angezeigten Baumstruktur 4 unterhalb eines Bezeichners 9 „Probe 1“ der Probe ein Eintrag 10 für die neue Übersicht angelegt. Im Beispiel ist der Eintrag 10 mit „Übersicht 1“ bezeichnet, der Name ist aber änderbar. Der Eintrag 10 für die neue Übersicht stellt einen (Haupt-)Ast der Baumstruktur 4 dar und korrespondiert mit einem Ordner. Der Eintrag 10 für die neue Übersicht ist zunächst kursiv beschriftet, wodurch zum Ausdruck gebracht wird, dass noch keine Daten aufgenommen wurden. Neben dem Verwaltungsbereich 2 werden im Aufnahmemodus ein Steuerbereich 11 für Parameter des konfokalen Laser-Scanning-Mikroskops sowie einen Bildbereich 12 zur Anzeige aufgenommener Daten angezeigt. Im Steuerbereich 11 ist eine Schaltfläche 13 „Live“ hervorgehoben, hier durch einen dicken durchgezogenen Rahmen angedeutet, deren Betätigung eine sich wiederholende Bildaufnahme auslöst. Zu sehen ist zudem eine Schaltfläche 14 „Stop“, mit der die sich wiederholende Bildaufnahme beendet werden kann. Diese ist zunächst inaktiv, angedeutet durch den gestrichelten Rahmen, und kann daher nicht betätigt werden. Erst nachdem eine sich wiederholende Bildaufnahme gestartet wurde, ist die Schaltfläche 14 aktiv. Alternativ oder zusätzlich kann die Schaltfläche 13 „Live“ als An-Aus-Taster konzipiert sein. 2 shows the graphical user interface 1 in shooting mode. When switching to recording mode, the in the administration area 2 displayed tree structure 4th below an identifier 9 "Sample 1" of the sample is an entry 10 created for the new overview. In the example the entry is 10 labeled "Overview 1", but the name can be changed. The entry 10 for the new overview represents a (main) branch of the tree structure 4th and corresponds to a folder. The entry 10 for the new overview is initially written in italics, which indicates that no data has yet been recorded. Next to the administrative area 2 become a control area in the shooting mode 11 for parameters of the confocal laser scanning microscope and an image area 12 to display recorded data. In the tax area 11 is a button 13 "Live" highlighted, indicated here by a thick solid frame, the actuation of which triggers a repeated image recording. You can also see a button 14th "Stop", with which the repeated image acquisition can be ended. This is initially inactive, indicated by the dashed frame, and can therefore not be operated. The button is only available after a repeated image acquisition has been started 14th active. Alternatively or additionally, the button 13 "Live" be designed as an on-off button.

In der Regel wird der Bediener, ohne vorher irgendwelche Parameter zu ändern, die Schaltfläche 13 betätigen, die eine sich wiederholende Bildaufnahme auslöst. Das dabei aufgenommene Livebild wird im Bildbereich 12 angezeigt. Während der sich wiederholenden Bildaufnahme wird der Bediener nun Parameter einstellen, z.B. die Anregungsleistung erhöhen, wenn die Probe zu dunkel scheint. Wenn der Bediener schließlich die Schaltfläche 14 „Stop“ betätigt, wird das (Live-) Bild, welches gerade aufgenommen wird bzw. gerade aufgenommen wurde, im Bildbereich 12 angezeigt. In der Baumstruktur 4 werden die verschiedenen zugehörigen Kanäle bzw. „Channels“, z.B. die zu den Farbstoffen zugehörigen Farbkanäle, nicht separat angeführt. Die Bildanzeige im Bildbereich 12 kann aber getrennt nach Kanälen erfolgen, d.h. alle Bilder eines Ordners können separat angezeigt werden.As a rule, the operator will press the button without changing any parameters beforehand 13 that triggers a repetitive image acquisition. The live image recorded is in the image area 12 displayed. During the repeated image acquisition, the operator will now set parameters, eg increase the excitation power if the sample seems too dark. When the operator finally hits the button 14th If “Stop” is pressed, the (live) image that is currently being recorded or has just been recorded is displayed in the image area 12 displayed. In the tree structure 4th the various associated channels or "channels", eg the color channels associated with the dyes, are not listed separately. The image display in the image area 12 but can be done separately according to channels, ie all images in a folder can be displayed separately.

3 zeigt die grafische Benutzeroberfläche 1 nach Abschluss einer Übersichtsaufnahme. Bei der in der Figur gezeigten Übersichtaufnahme handelt es sich lediglich um ein Platzhalterbild und nicht um eine tatsächliche Aufnahme. Das aktuelle Element der Baumstruktur 4 ist der Eintrag 10 für die neue Übersicht, angedeutet durch den durchgezogenen Rahmen. Dieser Eintrag 10 ist nun nicht mehr kursiv beschriftet, da inzwischen Daten aufgenommen wurden. Im Zentrum des angezeigten Bildes wird jetzt standardmäßig ein Bereich von Interesse 15, auch als „Region of Interest“ oder „ROI“ bezeichnet, mit Standardabmessungen eingezeichnet. In der Baumstruktur 4 wird ein Eintrag 16 für ein neues Bild angelegt, visuell erkennbar etwas eingerückt unterhalb des Eintrags 10 für die Übersicht. Dieser Eintrag 16 für ein neues Bild ist wiederum kursiv beschriftet, da noch keine Daten aufgenommen wurden. In Hinblick auf die Datenstruktur korrespondiert dieser Eintrag 16 wiederum mit einem Ordner. Den Bereich von Interesse 15 kann der Bediener frei im Übersichtsbild 17 bewegen, ihn drehen oder seine Kantenlängen ändern. In 3 ist ein Zustand nach einer Änderung aller genannten Parameter dargestellt. Im Steuerbereich 11 sind nun die Elemente aktivierbar, die sich auf Einstellungen für ein verfügbares Aufnahmeverfahren beziehen. Im dargestellten Beispiel sind STED-Bildaufnahmen möglich. Daher ist für den Menüeintrag 18 „Scan“ das Feineinstellungsmenu 19 bzw. die Eskalationsstufe für die Einstellung der Scan-Parameter gezeigt. In dieser ist der Schalter für STED auf „aus“ gestellt, aber aktiv. Nachdem der STED-Laser durch den Bediener aktiviert wurde, wird durch einen Doppelklick in einen ausgewählten Bereich von Interesse die Möglichkeit geboten, für diesen Bereich von Interesse 15 eine Bildaufnahme zu starten. 3 shows the graphical user interface 1 after completing a survey. The overview recording shown in the figure is merely a placeholder image and not an actual recording. The current element of the tree structure 4th is the entry 10 for the new overview, indicated by the solid frame. This entry 10 is no longer italicized because data has been recorded in the meantime. By default, an area of interest will now be in the center of the displayed image 15th , also known as "Region of Interest" or "ROI", drawn in with standard dimensions. In the tree structure 4th becomes an entry 16 created for a new picture, visually recognizable slightly indented below of the entry 10 for the overview. This entry 16 for a new image is again italicized because no data has yet been recorded. This entry corresponds with regard to the data structure 16 turn with a folder. The area of interest 15th the operator can freely use the overview screen 17th move it, rotate it or change its edge lengths. In 3 a state is shown after a change in all parameters mentioned. In the tax area 11 the elements that relate to settings for an available recording method can now be activated. In the example shown, STED image recordings are possible. Therefore, for the menu entry 18th "Scan" the fine-tuning menu 19th or the escalation level for setting the scan parameters is shown. In this the switch for STED is set to "off" but is active. After the STED laser has been activated by the operator, a double-click in a selected area of interest offers the possibility of this area of interest 15th start taking a picture.

4 zeigt die grafische Benutzeroberfläche 1 nach Abschluss einer Aufnahme eines Bereichs von Interesse. Das aktuelle Element der Baumstruktur 4 ist nun der Eintrag 16 für das neue Bild, angedeutet durch den durchgezogenen Rahmen, nicht mehr der Eintrag 10 für die neue Übersicht. Der Eintrag 16 für das neue Bild ist aufgrund der Aufnahme der Daten nun nicht mehr kursiv beschriftet. Da der STED-Laser hier aktiviert ist, werden standardmäßig im Bildbereich 12 ein Konfokalbild 20 und ein STED-Bild 21 nebeneinander dargestellt. Bei den in der Figur gezeigten Bildern 20, 21 handelt es sich wiederum lediglich um Platzhalterbilder. 4th shows the graphical user interface 1 after completing a recording of an area of interest. The current element of the tree structure 4th is now the entry 16 for the new picture, indicated by the solid frame, no longer the entry 10 for the new overview. The entry 16 for the new image is no longer italicized due to the inclusion of the data. Since the STED laser is activated here, by default in the image area 12 a confocal image 20th and a STED image 21st shown side by side. At the pictures shown in the figure 20th , 21st it is again only a placeholder image.

5 zeigt eine Übersichtsdarstellung einer Reihe von Übersichtsbildern 17 einer Probe. Durch Verschieben eines Probentischs des Mikroskops können an unterschiedlichen Positionen innerhalb der Probe Übersichtsaufnahmen erstellt werden, die auch überlappen können. Diese werden durch entsprechende Einträge 10 in der Baumstruktur 4 repräsentiert. Im Bildbereich werden die entsprechenden Übersichtsbilder 17 ortskorrekt in Bezug auf die Probe dargestellt. In diesem Ausführungsbeispiel wird als Hauptordner ein Ordner für die Probe angelegt, in dem die Übersichtsaufnahmen referenziert werden. Dies ist nicht notwendigerweise der Fall, die Übersichtsaufnahmen können auch auf andere Weise verwaltet werden. 5 shows an overview of a number of overview images 17th a sample. By moving a specimen table of the microscope, overview recordings can be made at different positions within the specimen, which can also overlap. These are indicated by appropriate entries 10 in the tree structure 4th represents. The corresponding overview images are displayed in the image area 17th Shown correctly in relation to the sample. In this exemplary embodiment, a folder for the sample is created as the main folder in which the overview recordings are referenced. This is not necessarily the case; the overview recordings can also be managed in other ways.

Nachfolgend soll beispielhaft eine Struktur von Metadaten beschrieben werden, die für eine Umsetzung des erfindungsgemäßen Verfahrens geeignet ist. Die Struktur beruht auf einem Standardformat des „Open Microscopy Environment“ (OME) [1]. Das Open Microscopy Environment ist ein Gemeinschaftsprojekt einer Reihe von Institutionen, die Dateiformate und Softwarestandards für die Lichtmikroskopie entwickeln. Es versteht sich, dass die erfindungsgemäße Lösung auch mit anderen Datenstrukturen realisiert werden kann.A structure of metadata that is suitable for implementing the method according to the invention is to be described below by way of example. The structure is based on a standard format of the "Open Microscopy Environment" (OME) [1]. The Open Microscopy Environment is a joint project of a number of institutions that develop file formats and software standards for light microscopy. It goes without saying that the solution according to the invention can also be implemented with other data structures.

Die beschriebenen Metadaten werden in der Regel nicht schon dann in einen Speicher geschrieben, wenn der Nutzer in der grafischen Oberfläche eine Aktion durchführt bzw. auswählt, es werden aber korrespondierende Strukturen auf der Nutzeroberfläche sowie im Speicher des Steuerrechners angelegt, zu denen beim Abspeichern entsprechende Metadaten in der im Folgenden beschriebenen Struktur abgespeichert werden. Im Folgenden wird nicht streng zwischen dem Speichern der Strukturen und dem bloßen Anlegen korrespondierender Strukturen unterschieden, da spätestens mit dem Speichern die Metadatenstrukturen tatsächlich angelegt werden.The described metadata are usually not already written to a memory when the user carries out or selects an action in the graphical interface, but corresponding structures are created on the user interface and in the memory of the control computer, for which corresponding metadata when saving can be saved in the structure described below. In the following, no strict distinction is made between the saving of the structures and the mere creation of corresponding structures, since the metadata structures are actually created at the latest when they are saved.

Die zu den Metadaten gehörenden Bilddaten werden beim Abspeichern in dasselbe File wie die Metadaten gespeichert. Das hierbei verwendete binäre Format hat für die erfindungsgemäße Lösung keine Relevanz.The image data belonging to the metadata are saved in the same file as the metadata when they are saved. The binary format used here has no relevance for the solution according to the invention.

6 zeigt die für die erfindungsgemäße Lösung genutzten Elemente einer Datenstruktur. Dargestellt sind nur die Elemente der obersten Ebene. Von Bedeutung sind hier das Element „Ordner“ bzw. „Folder“ 30, das Element „Bild“ bzw. „Image“ 33, sowie das Element „ROI“ 34. 6th shows the elements of a data structure used for the solution according to the invention. Only the elements of the top level are shown. The element “folder” or “folder” 30, the element “image” or “image” 33, and the element “ROI” 34 are important here.

Durch Verweise innerhalb dieser Elemente lassen sich unmittelbare räumliche Beziehungen und Verknüpfungen zwischen den aufgenommenen Daten oder den noch aufzunehmenden Daten und den Bereichen von Interesse erfassen.References within these elements allow immediate spatial relationships and links between the recorded data or the data to be recorded and the areas of interest to be recorded.

7 zeigt ein Diagramm der Datenstruktur eines Ordners 30. Der Ordner bzw. „Folder“ 30 ist ein Element der obersten Ebene, d.h. ein Top-Level-Element, und hat die Attribute 31 „ID“ und „Name“. Das Attribut „ID“ ist ein eindeutiger Bezeichner für den Ordner 30. Das Attribut „Name“ ist ein Name des Ordners, der einem Bediener angezeigt werden kann. Der Ordner 30 kann optional zudem eine Reihe weiterer Elemente 32 enthalten. In 7 zu sehen sind die Elemente 32 „Description“, „FolderRef“, „ImageRef“, „ROIRef“ und „AnnotationRef“. Das Element „Description“ ist für eine Beschreibung des Ordners 30 vorgesehen. Das Element „FolderRef“ verweist durch Angabe der entsprechenden „ID“ auf einen weiteren Ordner. Mittels einer Anzahl von „FolderRef“-Elementen kann angegeben werden, welche Unterordner der Ordner 30 enthält. „lmageRef“ wird verwendet, um auf ein Bild zu verweisen, während „ROIRef“ auf einen Bereich von Interesse verweist. „AnnotationRef“ kann genutzt werden, um einen Bezug zu einer Anmerkung herzustellen. 7th shows a diagram of the data structure of a folder 30th . The folder or “folder” 30 is a top-level element, ie a top-level element, and has the attributes 31 "ID" and "Name". The "ID" attribute is a unique identifier for the folder 30th . The "Name" attribute is a name of the folder that can be displayed to an operator. The folder 30th can optionally also have a number of other elements 32 contain. In 7th you can see the elements 32 “Description”, “FolderRef”, “ImageRef”, “ROIRef” and “AnnotationRef”. The "Description" element is for a description of the folder 30th intended. The “FolderRef” element refers to another folder by specifying the corresponding “ID”. A number of "FolderRef" elements can be used to specify which sub-folders the folder 30th contains. "LmageRef" is used to refer to an image, while "ROIRef" refers to an area of interest. "AnnotationRef" can be used to create a reference to an annotation.

Für die Probe wird ein Proben-Ordner angelegt, der im weiteren Verlauf der Messung mit „ROIRef“-Elementen und korrespondierenden „FolderRef“-Elementen gefüllt wird. Für jede Übersichtsaufnahme wird dazu ebenfalls ein Bereich von Interesse bzw. ein Element „ROI“ angelegt, dessen Koordinaten sich auf den Probentisch des Mikroskops beziehen und dessen „ROIRef“-Element neben dem entsprechenden „FolderRef“-Element eingetragen wird. „Image“-Elemente gibt es für diesen Proben-Ordner allerdings nicht.A sample folder is created for the sample, which is filled with "ROIRef" elements and corresponding "FolderRef" elements as the measurement continues. For each overview image, an area of interest or an "ROI" element is created, the coordinates of which relate to the specimen table of the microscope and whose "ROIRef" element is entered next to the corresponding "FolderRef" element. However, there are no “Image” elements for this sample folder.

Wie oben schon erwähnt entspricht eine Messung mit beliebig vielen Kanälen einem „Folder“. Nach Start einer neuen Messung ist ein erster Ordner 30 angelegt. In der Baumstruktur der grafischen Benutzeroberfläche ist entsprechend ein Hauptast angelegt. Diese Messung kann ein oder mehrere Kanäle aufweisen. Im Zusammenhang mit der Durchführung der Messung wird nun nicht nur ein Ordner 30 angelegt, sondern es werden auch ein oder mehrere Bild-Objekte als Top-Level-Objekte angelegt. Für diese wird das Element „Image“ genutzt. Zudem werden in die Order-Struktur ein oder mehrere entsprechende Referenzen auf die Bild-Objekte bzw. auf das eine oder die mehreren Top-Level-Objekte „Image“ geschrieben. Dazu wird das Element „lmageRef“ genutzt.As mentioned above, a measurement with any number of channels corresponds to a "folder". After starting a new measurement there is a first folder 30th created. A main branch has been created accordingly in the tree structure of the graphical user interface. This measurement can have one or more channels. In connection with the implementation of the measurement, there is now not just one folder 30th one or more picture objects are also created as top-level objects. The "Image" element is used for this. In addition, one or more corresponding references to the image objects or to the one or more top-level objects “Image” are written into the order structure. The "lmageRef" element is used for this.

8 zeigt ein Diagramm der Datenstruktur eines Bildes 33. Das Bild bzw. „Image“ 33 ist ein Top-Level-Element und hat die Attribute 31 „ID“ und „Name“. Das Attribut „ID“ ist ein eindeutiger Bezeichner für das Bild 33. Das Attribut „Name“ ist ein Name des Bildes, der einem Bediener angezeigt werden kann. Das Bild 30 kann zudem eine Reihe weiterer Elemente 32 enthalten, von denen an dieser Stelle lediglich zwei erwähnt werden sollen. Das Element „ROIRef“ wird genutzt, um auf einen Bereich von Interesse zu verweisen. Das Element „Pixels“ wird verwendet, um einen Bezug zu den Bilddaten herzustellen. 8th Figure 3 shows a diagram of the data structure of an image 33 . The image or “Image” 33 is a top-level element and has the attributes 31 "ID" and "Name". The “ID” attribute is a unique identifier for the image 33 . The attribute “Name” is a name of the picture that can be displayed to an operator. The picture 30th can also have a number of other elements 32 included, of which only two should be mentioned at this point. The "ROIRef" element is used to refer to an area of interest. The "Pixels" element is used to create a reference to the image data.

9 zeigt ein Diagramm eines Auszugs der Datenstruktur des Elements „Pixels“. Gemäß Schema kann ein „Image“ mehrere Kanäle bzw. „Channel“ haben. Vorzugsweise ist die erfindungsgemäße Lösung allerdings derart umgesetzt, dass ein „Image“ genau einen „Channel“ umfasst. Werden z.B. zwei Farbstoffe ausgewählt und wird dann eine Aufnahme gemacht, so werden die tatsächlichen Bildrohdaten in unterschiedliche Speicherbereiche geschrieben und es wird je Kanal genau ein „Image“ im Sinne eines Top-Level-Metadaten-Objekts angelegt. Zudem wird bevorzugt „Metadata only“ ausgewählt, die Bilddaten werden also nicht inline geschrieben. Die Menge aller Kanäle, vorliegend also auch die Menge aller „Images“, korrespondieren mit einem „Folder“. Im obigen Beispiel korrespondieren also die zwei Bilder mit einem „Folder“. 9 shows a diagram of an excerpt from the data structure of the element "Pixels". According to the scheme, an "image" can have several channels or "channels". However, the solution according to the invention is preferably implemented in such a way that an “image” comprises exactly one “channel”. If, for example, two dyes are selected and a picture is then taken, the actual raw image data is written to different memory areas and exactly one "image" is created for each channel in the sense of a top-level metadata object. In addition, "Metadata only" is preferred, so the image data is not written inline. The set of all channels, in this case also the set of all “images”, correspond to a “folder”. In the example above, the two images correspond to a “folder”.

10 zeigt ein Diagramm der Datenstruktur eines ROI-Elements 34. Das ROI-Element bzw. „ROI“ 34 ist ein Top-Level-Element und hat die Attribute 31 „ID“ und „Name“. Das Attribut „ID“ ist ein eindeutiger Bezeichner für das ROI-Element 34. Das Attribut „Name“ ist ein Name des ROI-Elements 34, der einem Bediener angezeigt werden kann. Das ROI-Element 34 kann zudem eine Reihe weiterer Elemente 32 enthalten, von denen an dieser Stelle lediglich das Element „Union“ erwähnt werden soll. In diesem sind Form und Lage des Bereichs von Interesse definiert. 10 shows a diagram of the data structure of an ROI element 34 . The ROI element or “ROI” 34 is a top-level element and has the attributes 31 "ID" and "Name". The “ID” attribute is a unique identifier for the ROI element 34 . The “Name” attribute is a name of the ROI element 34 that can be displayed to an operator. The ROI element 34 can also have a number of other elements 32 of which only the element "Union" should be mentioned at this point. This defines the shape and location of the area of interest.

Wird nun in irgendeinem „Image“ bzw. Kanal der Messung ein Bereich von Interesse angelegt, so legt dieser eine Position innerhalb der gesamten Messung, zugehörige Abmessungen sowie gegebenenfalls auch eine Form fest. Das zugehörige ROI-Element 34 wird als ein einziges Top-Level-Objekt angelegt. Da eine Messung mehrere Kanäle aufweisen kann, bei der vorliegenden Umsetzung somit mehrere Bilder, wird für jedes der Bilder derselben Messung im Element „Folder“ unter Verwendung des Elements „ROIRef“ eine Referenz auf dieses eine Top-Level-ROI-Element 34 geschrieben. Bilder im Element „Folder“ sind dabei diejenigen „Images“, die im „Folder“ mittels des Elements „lmageRef“ referenziert werden. Der Bereich von Interesse kann daher auf dem Bildschirm in jedem Bild derselben Messung bzw. jedem Bild eines Astes der Baumstruktur der grafischen Benutzeroberfläche markiert werden.If an area of interest is created in any “image” or channel of the measurement, this defines a position within the entire measurement, associated dimensions and, if necessary, also a shape. The associated ROI element 34 is created as a single top-level object. Since a measurement can have several channels, in the present implementation therefore several images, a reference to this one top-level ROI element is created for each of the images of the same measurement in the “Folder” element using the “ROIRef” element 34 written. Images in the “Folder” element are those “Images” that are referenced in the “Folder” using the “ImageRef” element. The area of interest can therefore be marked on the screen in each image of the same measurement or each image of a branch of the tree structure of the graphical user interface.

Auch wenn ein ROI-Element 34 ein Top-Level-Element ist, so wird die Position, die im Element „ROI“ angegeben ist, immer relativ zum Rand des Bildes angegeben, in dem der Bereich von Interesse ausgewählt wurde.Even if an ROI element 34 is a top-level element, the position specified in the "ROI" element is always given relative to the edge of the image in which the area of interest was selected.

Zu einem ausgewählten Bereich von Interesse können nun wieder mehrere Kanäle ausgewählt werden. Zudem können die Parameter der neuen Messung, z.B. die Pixelgröße oder die Laserleistung neu festgelegt werden. Die Pixelgröße korrespondiert dabei mit der Auflösung. Eine hohe Auflösung ist gleichbedeutend mit einer kleinen Pixelgröße. Anschließend wird ein neues Top-Level-Element „Folder“ angelegt, das einen Unterorder bzw. einen „Kind-Folder“ darstellt. Im Eltern-Element vom Typ „Folder“, d.h. dem „Eltern-Folder“, wird daher eine Referenz auf das neue „Folder“-Element angelegt. Zudem wird je Kanal ein „Image“ angelegt. Im „Kind-Folder“ werden wiederum Referenzen auf die „Images“ angelegt. In der grafischen Benutzeroberfläche wird die Baumstruktur entsprechend angelegt, d.h. es wird ein Unterast zum Hauptast angezeigt.Several channels can now be selected again for a selected area of interest. In addition, the parameters of the new measurement, e.g. the pixel size or the laser power can be redefined. The pixel size corresponds to the resolution. A high resolution is synonymous with a small pixel size. A new top-level element "Folder" is then created, which represents a sub-folder or a "child folder". In the parent element of the "Folder" type, i.e. the "parent folder", a reference to the new "folder" element is created. In addition, an "image" is created for each channel. References to the “images” are created in the “child folder”. The tree structure is created accordingly in the graphical user interface, i.e. a sub-branch to the main branch is displayed.

Die Kanäle werden vorzugsweise vom „Eltern-Folder“ übernommen, es werden also nicht nur die Kanäle übernommen, die in dem tatsächlich angezeigten Bild, in dem der Bereich von Interesse festgelegt wurde, genutzt wurden.The channels are preferably taken from the "parent folder", so not only the channels that are actually in the folder are taken over displayed image in which the area of interest has been determined.

Das oben skizzierte Schema kann iterativ fortgesetzt werden. Zu jedem Unterordner kann durch entsprechende Auswahl auf Basis jedes beliebigen angezeigten Bildes des Unterordners ein ROI Bereich von Interesse festgelegt werden. Zu diesem wird entsprechend ein Ordner einer nächsttieferen Ebene angelegt. Die Baumstruktur in der grafischen Benutzeroberfläche wird entsprechend fortgesetzt. Ein Unterordner korrespondiert also mit einer Unter-Messung zu einer Messung einer höheren Ebene.The scheme outlined above can be continued iteratively. An ROI area of interest can be defined for each sub-folder by appropriate selection based on any displayed image of the sub-folder. A folder on the next lower level is created for this. The tree structure in the graphical user interface is continued accordingly. A sub-folder therefore corresponds to a sub-measurement to a measurement of a higher level.

In der beschriebenen Datenstruktur „kennt“ grundsätzlich jeweils nur ein Eltern-Element seine Kind-Elemente, ein Kind-Element „kennt“ aber nicht sein Eltern-Element. Jedes Element, sowohl Eltern-Elemente wie Kind-Elemente, enthalten aber Verweise auf ihre jeweiligen „Images“. Grundsätzlich kann die Hierarchie aber auch umgekehrt aufgebaut werden.In the data structure described, only one parent element "knows" its child elements, but a child element does not "know" its parent element. Each element, both parent elements and child elements, contain references to their respective “images”. In principle, however, the hierarchy can also be set up in reverse.

Wenn eine Untermessung angelegt wird, so wird jeweils korrespondierend ein ROI-Element angelegt und ein Unterordner angelegt. Der Unterordner enthält Referenzen auf seine „Images“ sowie eine Referenz auf das neu angelegte ROI-Element. Zudem wird eine Referenz auf den Unterordner angelegt. Über die Referenz auf das ROI-Element wissen die Eltern-Elemente somit, wo die Kind-Elemente sind. Über die Referenz auf die Unterordner wissen die Eltern-Elemente zudem, wer die Kind-Elemente sind. Die erste Messung hat wie alle weiteren Übersichtsbilder auch den Proben-Ordner als Eltern-Element, in dem auch die entsprechenden ROI-Elemente referenziert sind, die die Lage in der Probe vermerken.If a sub-measurement is created, a corresponding ROI element is created and a subfolder is created. The subfolder contains references to its "images" as well as a reference to the newly created ROI element. A reference to the subfolder is also created. The parent elements therefore know where the child elements are from the reference to the ROI element. The parent elements also know who the child elements are via the reference to the subfolders. Like all other overview images, the first measurement also has the sample folder as a parent element, in which the corresponding ROI elements are also referenced, which note the position in the sample.

Die oben bereits erwähnte Baumstruktur kann genutzt werden, um auf intuitive Weise Knoten der Baumstruktur zu klonen. Dies soll nachfolgend anhand von 11 bis 23 beschrieben werden.The tree structure already mentioned above can be used to clone nodes in the tree structure in an intuitive way. This is to be done below using 11 to 23 to be discribed.

11 zeigt einen Ausschnitt aus einer Baumstruktur 4. Zu sehen sind ein Eintrag für eine Übersicht sowie mehrere Einträge für Bilder. Beim Eintrag „Image 1“ handelt es sich um einen Elternknoten, beim Eintrag „Image 1.1“ um eine zugehörigen Kindknoten. Zusätzlich gibt es einen weiteren Eintrag „Image 2“. Durch ein durch einen Pfeil angedeutetes Drag&Drop, d.h. „Ziehen und Ablegen“, von „Image 1“ auf „Image 2“ möchte der Bediener den Eintrag „Image 1“ klonen. Dabei stellt sich die Frage, was mit dem Eintrag „Image 1.1“ geschehen soll. 11 shows a section of a tree structure 4th . You can see an entry for an overview and several entries for images. The entry "Image 1" is a parent node, the entry "Image 1.1" is an associated child node. There is also another entry, "Image 2". The operator would like to clone the entry “Image 1” by dragging and dropping, indicated by an arrow, ie “dragging and dropping” from “Image 1” to “Image 2”. The question arises as to what should be done with the entry "Image 1.1".

Ein erster Ansatz besteht darin, dass nur markierte Einträge mitgeführt werden. Ein Ablegen von „Image 1“ auf „Image 2“ klont dann nur „Image 1“, ein Ablegen von „Image 1“ und „Image 1.1“ auf „Image 2“ klont beide. Um auf diese Weise Arbeitsabläufe zu duplizieren, sind unter Umständen mehrere Aktionen nötig. Ein Vorteil besteht aber darin, dass dieser Ansatz sehr flexibel ist. Beispielsweise kann auch „Image 1.1“ auf „Image 2“ abgelegt werden, wodurch Parameter von „Image 1.1“ auf „Image 2“ übertragen werden können.A first approach is that only marked entries are carried along. Storing "Image 1" on "Image 2" then only clones "Image 1", while storing "Image 1" and "Image 1.1" on "Image 2" clones both. To duplicate workflows in this way, several actions may be necessary. One advantage, however, is that this approach is very flexible. For example, “Image 1.1” can also be stored on “Image 2”, whereby parameters can be transferred from “Image 1.1” to “Image 2”.

Ein weiterer Ansatz besteht darin, die untergeordneten Einträge immer mitzuführen. Ein Ablegen von „Image 1“ auf „Image 2“ klont dann automatisch auch „Image 1.1“ sodass es im Ergebnis auch „Image 2.1“ gibt. Ein Vorteil besteht darin, dass Arbeitsabläufe schnell dupliziert werden können. Allerdings ist der Ansatz relativ unflexibel, gegebenenfalls werden untergeordnete Einträge dupliziert, die nicht benötigt werden.Another approach is to always keep the subordinate entries with you. Storing “Image 1” on “Image 2” then automatically clones “Image 1.1” so that the result is also “Image 2.1”. One advantage is that workflows can be quickly duplicated. However, the approach is relatively inflexible; subordinate entries that are not required may be duplicated.

12 zeigt einen Ansatz für das Klonen eines Knotens mit einer Auswahlmöglichkeit. Der Bediener zieht den Eintrag „Image 1“ der Baumstruktur auf den Eintrag „Image 2“. Bevor der Bediener den Eintrag „Image 1“ dort ablegt, wechselt die Darstellung des Eintrags „Image 2“ und es wird schematisch ein Untereintrag angedeutet. Zusätzlich kann ein erläuternder Text eingeblendet werden. Wenn der Bediener den Eintrag „Image 1“ nun auf dem angedeuteten Untereintrag ablegt, wird der Kindknoten „Image 1.1“ ebenfalls dupliziert. Legt der Bediener den Eintrag „Image 1“ hingegen direkt auf dem Eintrag „Image 2“ ab, wird nur „Image 1“ dupliziert. 12 shows one approach to cloning a single-choice node. The operator pulls the entry "Image 1" in the tree structure onto the entry "Image 2". Before the operator stores the entry "Image 1" there, the display of the entry "Image 2" changes and a subentry is indicated schematically. In addition, an explanatory text can be displayed. If the operator places the entry "Image 1" on the indicated subentry, the child node "Image 1.1" is also duplicated. If, on the other hand, the operator places the “Image 1” entry directly on the “Image 2” entry, only “Image 1” is duplicated.

13 zeigt einen weiteren Ansatz für das Klonen eines Knotens mit einer Auswahlmöglichkeit. In diesem Beispiel hat der Elternknoten „Image 1“ keine Kindknoten. Der Bediener zieht den Eintrag „Image 1“ der Baumstruktur auf den Eintrag „Image 2“. Bevor der Bediener den Eintrag „Image 1“ dort ablegt, wechselt die Darstellung des Eintrags „Image 2“ und es wird wiederum schematisch ein Untereintrag angedeutet. Zusätzlich kann ein erläuternder Text einblendet werden. Wenn der Bediener den Eintrag „Image 1“ nun auf dem angedeuteten Untereintrag ablegt, wird der Knoten „Image 1“ als Kindknoten dupliziert. Legt der Bediener den Eintrag „Image 1“ hingegen direkt auf dem Eintrag „Image 2“ ab, wird „Image 1“ als Elternknoten dupliziert. Diese Möglichkeit besteht entsprechend, wenn ein Kindknoten auf „Image 2“ gezogen wird. 13 Figure 11 shows another approach to cloning a single choice node. In this example, the parent node "Image 1" has no child nodes. The operator pulls the entry "Image 1" in the tree structure onto the entry "Image 2". Before the operator stores the entry "Image 1" there, the display of the entry "Image 2" changes and a sub-entry is again indicated schematically. In addition, an explanatory text can be displayed. If the operator places the entry "Image 1" on the indicated subentry, the node "Image 1" is duplicated as a child node. If, on the other hand, the operator places the “Image 1” entry directly on the “Image 2” entry, “Image 1” is duplicated as the parent node. This possibility exists accordingly if a child node is dragged onto "Image 2".

14 bis 22 verdeutlichen die Behandlung von Parametern beim Klonen von Knoten. Beim Klonen können unterschiedliche Situationen auftreten. Das „Ziehen und Ablegen“ ist in den Figuren jeweils durch einen Pfeil angedeutet. 14th to 22nd clarify the handling of parameters when cloning nodes. Different situations can arise when cloning. "Dragging and dropping" is indicated in each of the figures by an arrow.

In 14 soll ein Elternknoten „Image 1“ geklont werden. Der Klon soll wiederum ein Elternknoten sein. „Image 1“ hat einen Parametersatz „P1“. „Image 1“ hat zudem einen Kindknoten „Image 1.1“ mit dem Parametersatz „P1.1“. Dieser Kindknoten soll nicht geklont werden. Der Bediener zieht den Eintrag „Image 1“ auf den Eintrag „Image 2“, der den Parametersatz „P2“ hat. Nachdem das Klonen abgeschlossen ist, hat „Image 2“ den Parametersatz „P1“.In 14th a parent node "Image 1" should be cloned. The clone should in turn be a parent node. "Image 1" has a parameter set "P1". "Image 1" also has a child node "Image 1.1" with the parameter set "P1.1". This child node should not be cloned. The operator pulls the entry "Image 1" onto the entry "Image 2", which has the parameter set "P2". After the cloning is complete, "Image 2" has the parameter set "P1".

In 15 soll der Kindknoten „Image 1.1“ geklont werden. Der Klon soll dabei ein Elternknoten sein. „Image 1.1“ hat den Parametersatz „P1.1“. Der Bediener zieht den Eintrag „Image 1.1“ auf den Eintrag „Image 2“, der den Parametersatz „P2“ hat. Nachdem das Klonen abgeschlossen ist, hat „Image 2“ den Parametersatz „P1.1“.In 15th the child node "Image 1.1" should be cloned. The clone should be a parent node. "Image 1.1" has the parameter set "P1.1". The operator pulls the entry "Image 1.1" onto the entry "Image 2", which has the parameter set "P2". After the cloning is complete, "Image 2" has the parameter set "P1.1".

In 16 soll der Elternknoten „Image 1“ mitsamt dem Kindknoten „Image 1.1“ geklont werden. Der Klon von „Image 1“ soll wiederum ein Elternknoten sein. Der Bediener zieht den Eintrag „Image 1“ auf den Eintrag „Image 2“. Dabei wechselt die Darstellung des Eintrags „Image 2“ und es werden zwei Ablagefelder angezeigt. Das obere Ablagefeld bewirkt ein Klonen der Kindknoten, das untere Ablagefeld hingegen ein Klonen als Kindknoten. Der Bediener legt daraufhin den Eintrag „Image 1“ auf dem oberen Ablagefeld ab. Nach Abschluss des Klonens hat „Image 2“ den Parametersatz „P1“ und zudem einen Kindknoten „Image 2.1“ mit dem Parametersatz „P1.1“.In 16 the parent node "Image 1" is to be cloned together with the child node "Image 1.1". The clone of "Image 1" should in turn be a parent node. The operator pulls the entry "Image 1" onto the entry "Image 2". The display of the entry "Image 2" changes and two storage fields are displayed. The upper storage area causes the child nodes to be cloned, while the lower storage area causes cloning as a child node. The operator then places the entry "Image 1" on the upper storage field. After the cloning is complete, "Image 2" has the parameter set "P1" and also a child node "Image 2.1" with the parameter set "P1.1".

In 17 soll der Kindknoten „Image 1.1“ geklont werden. Der Klon von „Image 1.1“ soll dabei ein Elternknoten sein. Der Bediener zieht den Eintrag „Image 1.1“ auf den Eintrag „Image 2“. Dabei wechselt die Darstellung des Eintrags „Image 2“ und es wird ein Ablagefeld angezeigt, das ein Klonen als Kindknoten bewirkt. Der Bediener legt daraufhin den Eintrag „Image 1.1“ auf diesem Ablagefeld ab. Nach Abschluss des Klonens hat „Image 2“ den Parametersatz „P2“ und zudem einen Kindknoten „Image 2.1“ mit dem Parametersatz „P1.1“.In 17th the child node "Image 1.1" should be cloned. The clone of "Image 1.1" is supposed to be a parent node. The operator pulls the entry "Image 1.1" onto the entry "Image 2". The display of the entry "Image 2" changes and a storage field is displayed, which causes cloning as a child node. The operator then places the entry "Image 1.1" on this storage field. After cloning is complete, “Image 2” has the parameter set “P2” and also a child node “Image 2.1” with the parameter set “P1.1”.

In 18 soll der Elternknoten „Image 1“ ohne seinen Kindknoten „Image 1.1“ geklont werden. Der Klon von „Image 1“ soll allerdings ein Kindknoten sein. Der Bediener zieht den Eintrag „Image 1“ auf den Eintrag „Image 2“. Dabei wechselt die Darstellung des Eintrags „Image 2“ und es werden zwei Ablagefelder angezeigt. Das obere Ablagefeld bewirkt ein Klonen der Kindknoten, das untere Ablagefeld hingegen ein Klonen als Kindknoten. Der Bediener legt daraufhin den Eintrag „Image 1“ auf dem unteren Ablagefeld ab. Nach Abschluss des Klonens hat „Image 2“ den Parametersatz „P2“ und zudem einen Kindknoten „Image 2.1“ mit dem Parametersatz „P1“.In 18th the parent node "Image 1" should be cloned without its child node "Image 1.1". The clone of "Image 1" is supposed to be a child node. The operator pulls the entry "Image 1" onto the entry "Image 2". The display of the entry "Image 2" changes and two storage fields are displayed. The upper storage area causes the child nodes to be cloned, while the lower storage area causes cloning as a child node. The operator then places the entry "Image 1" on the lower storage field. After the cloning is complete, “Image 2” has the parameter set “P2” and also a child node “Image 2.1” with the parameter set “P1”.

In 19 soll der Elternknoten „Image 1“ mitsamt einer Auswahl seiner Kindknoten geklont werden. In diesem Beispiel hat „Image 1“ die Kindknoten „Image 1.1“ mit dem Parametersatz „P1.1“, „Image 1.2“ mit dem Parametersatz „P1.2“ und „Image 1.3“ mit dem Parametersatz „P1.3“. Der Klon von „Image 1“ soll wiederum ein Elternknoten sein. Der Bediener markiert die Einträge „Image 1“, „Image 1.2“ und „Image 1.3“ und zieht diese auf den Eintrag „Image 2“. Durch die Auswahl, die hier durch gestrichelte Rechtecke angedeutet ist, ist klar, dass „Image 1“ als Elternknoten geklont werden soll, während „Image 1.2“ und „Image 1.3“ als Kindknoten geklont werden sollen. Nach Abschluss des Klonens hat „Image 2“ den Parametersatz „P1“ und zudem zwei Kindknoten „Image 2.1“ mit dem Parametersatz „P1.2“ und „Image 2.2“ mit dem Parametersatz „P1.3“.In 19th the parent node "Image 1" is to be cloned together with a selection of its child nodes. In this example, "Image 1" has the child nodes "Image 1.1" with the parameter set "P1.1", "Image 1.2" with the parameter set "P1.2" and "Image 1.3" with the parameter set "P1.3". The clone of "Image 1" should in turn be a parent node. The operator marks the entries "Image 1", "Image 1.2" and "Image 1.3" and pulls them onto the entry "Image 2". Through the selection, which is indicated here by dashed rectangles, it is clear that “Image 1” should be cloned as the parent node, while “Image 1.2” and “Image 1.3” should be cloned as child nodes. After the cloning process, "Image 2" has the parameter set "P1" and also two child nodes "Image 2.1" with the parameter set "P1.2" and "Image 2.2" with the parameter set "P1.3".

In 20 soll eine Auswahl der Kindknoten des Elternknotens „Image 1“ geklont werden. Der Bediener markiert die Einträge „Image 1.2“ und „Image 1.3“ und zieht diese auf den Eintrag „Image 2“. Durch die Auswahl, die hier durch gestrichelte Rechtecke angedeutet ist, ist klar, dass „Image 1.2“ und „Image 1.3“ als Kindknoten geklont werden sollen. Nach Abschluss des Klonens hat „Image 2“ den Parametersatz „P2“ und zudem zwei Kindknoten „Image 2.1“ mit dem Parametersatz „P1.2“ und „Image 2.2“ mit dem Parametersatz „P1.3“.In 20th a selection of the child nodes of the parent node "Image 1" is to be cloned. The operator marks the entries "Image 1.2" and "Image 1.3" and pulls them onto the entry "Image 2". The selection, which is indicated here by dashed rectangles, makes it clear that “Image 1.2” and “Image 1.3” are to be cloned as child nodes. After cloning is complete, “Image 2” has the parameter set “P2” and also two child nodes “Image 2.1” with the parameter set “P1.2” and “Image 2.2” with the parameter set “P1.3”.

In 21 soll auf Grundlage des Elternknotens „Image 1“ ein neuer Eintrag erzeugt werden. Dabei soll der Kindknoten „Image 1.1“ unberücksichtigt bleiben. Der Bediener zieht den Eintrag „Image 1“ auf einen Platzhalter für ein neues Bild. Dabei wechselt die Darstellung des Platzhalters und es werden zwei Ablagefelder angezeigt. Das obere Ablagefeld bewirkt das Erzeugen eines neuen Bildes ohne Berücksichtigung der Kindknoten, das untere Ablagefeld hingegen das Erzeugen eines neuen Bildes mit Berücksichtigung der Kindknoten. Der Bediener legt daraufhin den Eintrag „Image 1“ auf dem oberen Ablagefeld ab. Nach Abschluss des Klonens gibt es einen neuen Eintrag „Image 2“ mit dem Parametersatz „P1“.In 21st a new entry should be created based on the parent node "Image 1". The child node "Image 1.1" should not be taken into account. The operator pulls the entry "Image 1" onto a placeholder for a new image. The display of the placeholder changes and two storage fields are displayed. The upper storage field causes the creation of a new image without taking the child nodes into account, while the lower storage field creates a new image with consideration of the child nodes. The operator then places the entry "Image 1" on the upper storage field. After the cloning is complete, there is a new entry "Image 2" with the parameter set "P1".

In 22 soll auf Grundlage des Elternknotens „Image 1“ ein neuer Eintrag erzeugt werden. Dabei soll der Kindknoten „Image 1.1“ berücksichtigt werden. Der Bediener zieht wiederum den Eintrag „Image 1“ auf den Platzhalter für ein neues Bild. Dieses Mal legt der Bediener den Eintrag „Image 1“ auf dem unteren Ablagefeld ab. Nach Abschluss des Klonens gibt es einen neuen Eintrag „Image 2“ mit dem Parametersatz „P1“ und zudem einen Eintrag „Image 2.1“ mit dem Parametersatz „P 1.1“.In 22nd a new entry should be created based on the parent node "Image 1". The child node "Image 1.1" should be taken into account. The operator in turn pulls the entry "Image 1" onto the placeholder for a new image. This time the operator places the entry "Image 1" on the lower storage field. After the cloning has been completed, there is a new entry "Image 2" with the parameter set "P1" and an entry "Image 2.1" with the parameter set "P 1.1".

23 illustriert exemplarisch die Möglichkeiten des Klonens innerhalb der grafischen Benutzeroberfläche 1. Das beschriebene Klonen von Knoten ermöglicht es, Klone von Bildern zu erzeugen oder Bilder anzulegen, bei denen alle Parameter geklont werden bis auf die Position in der Übersicht 17 bzw. im Bereich von Interesse 15, falls es sich um ein Bild eines Unterbereichs eines Bereich von Interesse 15 handelt. „Bild“ steht hier nicht für die visuelle Darstellung, sondern für einen neuen Teildatensatz, für den ein vollständiger Parametersatz angelegt wird. Nach dem Anlegen ist das „Bild“ leer, erst nach Durchführen einer Bildaufnahme wird diese Hülle mit Bilddaten gefüllt. 23 exemplifies the possibilities of cloning within the graphical user interface 1 . The described cloning of nodes makes it possible to create clones of images or to create images in which all parameters are cloned except for the position in the overview 17th or in the area of interest 15th if it is an image of a sub-area of an area of interest 15th acts. "Image" does not stand for the visual representation, but for a new partial data set for which a complete set of parameters is created. After it has been created, the "image" is empty; this envelope is only filled with image data after an image has been recorded.

Zum vollständigen Klonen wird der Eintrag 16 für das Bild in der Baumstruktur 4 mit der Maus gegriffen und auf dem jeweiligen Eltern-Eintrag abgelegt. Dies ist z.B. dann sinnvoll, wenn ein identischer Bereich mit unterschiedlichen Parametern aufgenommen werden soll.For full cloning, the entry 16 for the picture in the tree structure 4th grabbed with the mouse and placed on the respective parent entry. This is useful, for example, if an identical area with different parameters is to be recorded.

Zum Klonen der Parameter ohne Klonen der Position kann der betreffende Eintrag 16 für das Bild in der Baumstruktur 4 mit der Maus gegriffen, über den Baumstruktureintrag 10, 16 eines Bildes einer höheren Hierarchieebene, z.B. des Eltern-Bildes oder des Übersichtsbildes 17, geführt werden. Das Bild dieses Eintrags 10, 16 wird dann im Bildbereich 12 angezeigt. Daraufhin wird die Maus in dieses Bild hineingeführt. Am Ort des Mauszeigers wird dabei der Bereich von Interesse 15 in der Größe und Form des zu Grunde liegenden Bildes angezeigt. Der Bereich von Interesse 15 wird schließlich mit der Maus platziert. Dadurch werden alle Parameter bis auf die Position geklont.To clone the parameters without cloning the position, the relevant entry 16 for the picture in the tree structure 4th grabbed with the mouse, over the tree structure entry 10 , 16 an image of a higher hierarchical level, eg the parent image or the overview image 17th , be performed. The picture of this entry 10 , 16 will then be in the image area 12 displayed. The mouse is then moved into this picture. The area of interest appears at the location of the mouse pointer 15th displayed in the size and shape of the underlying image. The area of interest 15th is finally placed with the mouse. This clones all parameters except for the position.

In beiden Fällen, vollständiges Klonen oder Klonen von Parametern, können die Bereiche von Interesse bzw. die zugehörigen Parameter nachträglich geändert werden. In both cases, full cloning or cloning of parameters, the areas of interest or the associated parameters can be changed afterwards.

In 23 ist ein Zustand dargestellt, nachdem in der Probe „Probe 1“ eine „Übersicht 1“ angelegt wurde, in der „Übersicht 1“ als Bereich von Interesse 15 ein „Image 1“ angelegt wurde, innerhalb dieses „Image 1“ ein weiterer Bereich von Interesse angelegt und zu diesem ein Bild „Image 1.1“ aufgenommen wurde. Auf Basis der Parameter von „Image 1“ wurde ein als „Duplikat von Image 1“ bezeichnetes Bild im Zentrum des Übersichtsbildes 17 angelegt. Zudem wurde ein echter Klon dieses „Duplikat von Image 1“ angelegt, als „Image 3“ bezeichnet. Im Übersichtsbild 17 ist nun ein schräg liegender gestrichelter Rahmen für den Bereich von Interesse 15 zu sehen, der Position, Größe und Orientierung von „Image 1“ anzeigt. Für den darin liegenden weiteren Bereich von Interesse wird kein Rahmen angezeigt. Weiter wird ein Rahmen 35 angezeigt, der die Lage und Größe von „Duplikat von Image 1“ sowie auch von „Image 3“ kennzeichnet. Die gestrichelt angedeutete Verbreiterung dieses Rahmens 35 zeigt an, dass mehrere Bereiche von Interesse, korrespondierend mit „Image 1“, „Duplikat von Image 1“ und dessen echtem Klon „Image 3“, exakt übereinanderliegen. In der Baumstruktur 4 ist zu erkennen, dass der Fokus auf „Image 3“ liegt. Eine gezielte, einfache Auswahl separater, übereinanderliegender Bereiche von Interesse im Bild wird schließlich durch Indikatoren 36 am Rand der Bereiche von Interesse ermöglicht.In 23 a state is shown after an “Overview 1” was created in the “Sample 1” sample, in the “Overview 1” as an area of interest 15th an "Image 1" was created, within this "Image 1" another area of interest was created and an image "Image 1.1" was recorded for this. Based on the parameters of “Image 1”, an image called a “Duplicate of Image 1” was placed in the center of the overview image 17th created. In addition, a real clone of this "duplicate of Image 1" was created, called "Image 3". In the overview image 17th is now an inclined dashed frame for the area of interest 15th showing the position, size and orientation of "Image 1". No frame is displayed for the wider area of interest within. Next is a frame 35 that indicates the position and size of "Duplicate of Image 1" as well as of "Image 3". The broadening of this frame indicated by dashed lines 35 indicates that several areas of interest, corresponding to "Image 1", "Duplicate of Image 1" and its real clone "Image 3", are exactly on top of each other. In the tree structure 4th it can be seen that the focus is on "Image 3". A targeted, simple selection of separate, superimposed areas of interest in the image is finally made possible by indicators 36 at the edge of the areas of interest.

Referenzencredentials

• [1] https://www.openmicroscopy.org/[1] https://www.openmicroscopy.org/

BezugszeichenlisteList of reference symbols

11

Benutzeroberflächeuser interface

22

VerwaltungsbereichAdministrative area

33

BezeichnerIdentifier

44th

BaumstrukturTree structure

55

ÜbersichtsbereichOverview area

66th

AuswahlbereichSelection area

77th

Auswahllistepick list

88th

Schaltfläche für neue ÜbersichtNew overview button

99

Bezeichner der ProbeIdentifier of the sample

1010

Eintrag für ÜbersichtEntry for overview

1111

SteuerbereichTax area

1212

BildbereichImage area

1313

Schaltfläche zum Auslösen einer sich wiederholenden BildaufnahmeButton for triggering a repetitive image acquisition

1414th

Schaltfläche zum Beenden einer sich wiederholenden BildaufnahmeButton for ending a repeated image acquisition

1515th

Bereich von InteresseArea of interest

1616

Eintrag für BildEntry by picture

1717th

ÜbersichtsbildOverview image

1818th

Menüeintrag für Scan-ParameterMenu entry for scan parameters

1919th

FeineinstellungsmenuFine adjustment menu

2020th

KonfokalbildConfocal image

2121st

STED-BildSTED image

3030th

Ordnerfolder

3131

Attributattribute

3232

Elementelement

3333

Bildimage

3434

ROI-ElementROI element

3535

Rahmenframe

3636

Indikatorindicator

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

• US 8582924 B2 [0003]US 8582924 B2 [0003]

Claims (23)

Verfahren zum Verarbeiten von Datensätzen eines konfokalen Laser-Scanning-Mikroskops, bei dem mit dem konfokalen Laser-Scanning-Mikroskop aufgenommene Daten (33) oder noch aufzunehmende Daten (33) sowie Bereiche von Interesse (34) in Bezug auf die aufgenommenen Daten oder die noch aufzunehmenden Daten in einer hierarchischen Struktur erfasst werden, die zumindest unmittelbare räumliche Beziehungen und Verknüpfungen zwischen den aufgenommenen Daten (33) oder den noch aufzunehmenden Daten (33) und den Bereichen von Interesse (34) umfasst.Method for processing data sets of a confocal laser scanning microscope, in which the data (33) recorded with the confocal laser scanning microscope or data to be recorded (33) as well as areas of interest (34) in relation to the recorded data or the data that are still to be recorded are recorded in a hierarchical structure which includes at least direct spatial relationships and links between the recorded data (33) or the data yet to be recorded (33) and the areas of interest (34). Verfahren gemäß Anspruch 1, wobei in der hierarchischen Struktur semantische Verknüpfungen erfasst werden.Procedure according to Claim 1 , whereby semantic links are recorded in the hierarchical structure. Verfahren gemäß Anspruch 1 oder 2, wobei für eine Messreihe ein Hauptordner (30) als Element der obersten Ebene angelegt wird.Procedure according to Claim 1 or 2 , whereby a main folder (30) is created as an element of the top level for a series of measurements. Verfahren gemäß Anspruch 3, wobei in der Messreihe zumindest ein Kanal erfasst wird und für jeden in der Messreihe erfassten Kanal ein Bild (33) als Element der obersten Ebene angelegt wird, das im Hauptordner (30) referenziert wird.Procedure according to Claim 3 , wherein at least one channel is recorded in the measurement series and an image (33) is created as an element of the top level for each channel recorded in the measurement series and is referenced in the main folder (30). Verfahren gemäß Anspruch 4, wobei die in der Messreihe erfassten Kanäle durch in der Messreihe genutzte Fluoreszenzfarbstoffe festgelegt sind.Procedure according to Claim 4 , whereby the channels recorded in the series of measurements are determined by the fluorescent dyes used in the series of measurements. Verfahren gemäß einem der Ansprüche 2 bis 5, wobei für einen Bereich von Interesse (15) ein ROI-Element (34) als Element der obersten Ebene angelegt wird, das von dem Bild (33) referenziert wird, für das der Bereich von Interesse (15) festgelegt wurde.Method according to one of the Claims 2 to 5 wherein an ROI element (34) is created as a top-level element for an area of interest (15) which is referenced by the image (33) for which the area of interest (15) was defined. Verfahren gemäß Anspruch 6, wobei das ROI-Element (34) von dem Ordner (30) referenziert wird, der das Bild (33), für das der Bereich von Interesse (15) festgelegt wurde, referenziert.Procedure according to Claim 6 wherein the ROI element (34) is referenced by the folder (30) which references the image (33) for which the area of interest (15) has been established. Verfahren gemäß Anspruch 6 oder 7, wobei das ROI-Element (34) von allen Bildern (33) referenziert wird, die von dem gleichen Ordner (30) referenziert werden wie das Bild (33), für das der Bereich von Interesse (15) festgelegt wurde.Procedure according to Claim 6 or 7th wherein the ROI element (34) is referenced by all images (33) referenced by the same folder (30) as the image (33) for which the area of interest (15) has been determined. Verfahren gemäß einem der Ansprüche 6 bis 8, wobei für eine Aufnahme eines Bereichs von Interesse (15) ein Unterordner (30) als Element der obersten Ebene angelegt wird, der von dem Ordner (30) referenziert wird, der das Bild (33) referenziert, für das der Bereich von Interesse (15) festgelegt wurde.Method according to one of the Claims 6 to 8th , wherein a subfolder (30) is created as a top-level element for recording an area of interest (15), which is referenced by the folder (30) that references the image (33) for which the area of interest ( 15) was established. Verfahren gemäß Anspruch 9, wobei für jeden für den Bereich von Interesse (15) erfassten Kanal ein Bild (33) als Element der obersten Ebene angelegt wird, das im Unterordner (30) referenziert wird.Procedure according to Claim 9 wherein for each channel recorded for the area of interest (15) an image (33) is created as a top-level element, which is referenced in the subfolder (30). Verfahren gemäß Anspruch 10, wobei die Kanäle vom Hauptorder (30) übernommen werden.Procedure according to Claim 10 , whereby the channels are taken over from the main folder (30). Verfahren gemäß einem der vorherigen Ansprüche, wobei in der hierarchischen Struktur vererbbare Parameter für die Messreihe erfasst sind.Method according to one of the preceding claims, wherein inheritable parameters for the series of measurements are recorded in the hierarchical structure. Verfahren gemäß einem der vorherigen Ansprüche, wobei ein Objekt der hierarchischen Struktur unveränderlich wird, wenn für dieses Objekt ein untergeordnetes Objekt angelegt wird.Method according to one of the preceding claims, wherein an object of the hierarchical structure becomes immutable when a subordinate object is created for this object. Verfahren gemäß einem der vorherigen Ansprüche, wobei die hierarchische Struktur einem Nutzer des konfokalen Laser-Scanning-Mikroskops in Form einer Baumstruktur (4) bereitgestellt wird.Method according to one of the preceding claims, wherein the hierarchical structure is provided to a user of the confocal laser scanning microscope in the form of a tree structure (4). Verfahren gemäß Anspruch 14, wobei Knoten der Baumstruktur (4) durch eine Nutzereingabe klonbar sind.Procedure according to Claim 14 , whereby nodes of the tree structure (4) can be cloned by a user input. Verfahren gemäß Anspruch 15, wobei ein Knoten der Baumstruktur (4) geklont wird, indem für den Knoten ein Bezug zu einem anderen Knoten der Baumstruktur (4) hergestellt wird.Procedure according to Claim 15 wherein a node of the tree structure (4) is cloned by establishing a reference for the node to another node of the tree structure (4). Verfahren gemäß Anspruch 16, wobei der Bezug zu einem anderen Knoten dadurch herstellbar ist, dass eine grafische Repräsentanz des Knotens in einer grafischen Anzeige (1) auf eine grafische Repräsentanz des anderen Knoten bewegt wird.Procedure according to Claim 16 wherein the reference to another node can be established by moving a graphic representation of the node in a graphic display (1) to a graphic representation of the other node. Verfahren gemäß einem der Ansprüche 15 bis 17, wobei beim Klonen eines Knotens auswählbar ist, ob der Klon des Knotens ein Elternknoten oder ein Kindknoten ist.Method according to one of the Claims 15 to 17th , whereby when a node is cloned it can be selected whether the clone of the node is a parent node or a child node. Verfahren gemäß einem der Ansprüche 15 bis 18, wobei beim Klonen eines Elternknotens auswählbar ist, ob der Elternknoten mitsamt seiner Kindknoten, mitsamt einer Auswahl seiner Kindknoten oder ohne seine Kindknoten geklont werden soll.Method according to one of the Claims 15 to 18th , whereby when a parent node is cloned, it can be selected whether the parent node is to be cloned together with its child nodes, together with a selection of its child nodes, or without its child nodes. Verfahren gemäß einem der Ansprüche 15 bis 19, wobei beim Klonen eines Knotens dem Knoten zugeordnete Parameter für den Klon des Knotens übernommen werden.Method according to one of the Claims 15 to 19th , whereby when a node is cloned, parameters assigned to the node are adopted for the clone of the node. Verfahren gemäß einem der vorherigen Ansprüche, wobei das konfokale Laser-Scanning-Mikroskop ein STED-Mikroskop, ein RESOLFT-Mikroskop, ein MINFLUX-Mikroskop oder ein MINFIELD-Mikroskop ist.Method according to one of the preceding claims, wherein the confocal laser scanning microscope is a STED microscope, a RESOLFT microscope, a MINFLUX microscope or a MINFIELD microscope. Computerprogramm mit Instruktionen, die bei Ausführung durch einen Computer den Computer zur Ausführung der Schritte eines Verfahrens gemäß einem der Ansprüche 1 bis 21 zum Verarbeiten von Datensätzen eines konfokalen Laser-Scanning-Mikroskops veranlassen.Computer program with instructions which, when executed by a computer, enable the computer to carry out the steps of a method according to one of the Claims 1 to 21st cause data sets to be processed by a confocal laser scanning microscope. Vorrichtung zum Verarbeiten von Datensätzen eines konfokalen Laser-Scanning-Mikroskops, wobei die Vorrichtung eingerichtet ist, ein Verfahren gemäß einem der Ansprüche 1 bis 21 auszuführen.Apparatus for processing data records from a confocal laser scanning microscope, the apparatus being set up to provide a method according to one of the Claims 1 to 21st execute.

Images