ES2567379A1 - Microscope and procedure for generating 3d images of a collection shows (Machine-translation by Google Translate, not legally binding) - Google Patents

Microscope and procedure for generating 3d images of a collection shows (Machine-translation by Google Translate, not legally binding) Download PDF

Info

Publication number
ES2567379A1
ES2567379A1 ES201431546A ES201431546A ES2567379A1 ES 2567379 A1 ES2567379 A1 ES 2567379A1 ES 201431546 A ES201431546 A ES 201431546A ES 201431546 A ES201431546 A ES 201431546A ES 2567379 A1 ES2567379 A1 ES 2567379A1
Authority
ES
Spain
Prior art keywords
sample
image
images
microscope
sheet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
ES201431546A
Other languages
Spanish (es)
Other versions
ES2567379B1 (en
Inventor
Jorge Ripoll Lorenzo
Alicia ARRANZ DE MIGUEL
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universidad Carlos III de Madrid
Original Assignee
Universidad Carlos III de Madrid
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universidad Carlos III de Madrid filed Critical Universidad Carlos III de Madrid
Priority to ES201431546A priority Critical patent/ES2567379B1/en
Priority to EP15851669.0A priority patent/EP3211595B1/en
Priority to US15/521,220 priority patent/US10551609B2/en
Priority to PCT/ES2015/070455 priority patent/WO2016062907A1/en
Publication of ES2567379A1 publication Critical patent/ES2567379A1/en
Application granted granted Critical
Publication of ES2567379B1 publication Critical patent/ES2567379B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/18Arrangements with more than one light path, e.g. for comparing two specimens
    • G02B21/20Binocular arrangements
    • G02B21/22Stereoscopic arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/006Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

The invention describes a microscope and method for obtaining 3d images of several transparent or semi-transparent samples basically comprising: causing, while maintaining a constant acquisition angle, a relative displacement according to the direction of detection between the illumination sheet and the sample; obtaining, for said acquisition angle, a single 2d projection image formed by a representative parameter for each pixel; modify the acquisition angle by means of a relative rotation between the illumination sheet and the sample combined with a relative vertical translation between the illumination sheet and the sample, and repeat the previous steps; and generate, from the set of 2d projection images obtained, a 3d image of each of the samples. (Machine-translation by Google Translate, not legally binding)

Description

Microscopio y procedimiento para la generación de imágenes 3D de una colección de muestras Microscope and procedure for the generation of 3D images of a sample collection

OBJETO DE LA INVENCiÓN OBJECT OF THE INVENTION

La presente invención pertenece al campo de las técnicas de iluminación de haz plano utilizadas en los microscopios ópticos para la obtención de imágenes de varias muestras transparentes o semi-transparentes tales como embriones, tejidos y otras muestras biológicas, así como otros materiales. The present invention belongs to the field of flat beam lighting techniques used in optical microscopes to obtain images of several transparent or semi-transparent samples such as embryos, tissues and other biological samples, as well as other materials.

Un primer objeto de la presente invención es un nuevo procedimiento capaz de obtener imágenes 3D de muestras transparentes o semi-transparentes con una calidad mayor que la de los microscopios ópticos actuales. A first object of the present invention is a new method capable of obtaining 3D images of transparent or semi-transparent samples with a higher quality than that of current optical microscopes.

Un segundo objeto de la presente invención es un microscopio especialmente diseñado para llevar a cabo el procedimiento anterior. A second object of the present invention is a microscope specially designed to carry out the above procedure.

ANTECEDENTES DE LA INVENCiÓN BACKGROUND OF THE INVENTION

Los estudios de embriones y muestras biológicas similares a través de microscopio óptico presentan, a diferencia de lo que sucede con células individuales, problemas particulares relacionados con la absorción de la luz y la pérdida de resolución debida a la dispersión de la luz. Para solucionar estos problemas, en los últimos años se han desarrollado mejoras importantes sobre los microscopios de haz láser plano, cuya invención data del 1903. Véase, por ejemplo, el documento "Ultramicroscopy~ de Siedentopf y Zsigmondy (Analen der Physik 10(1 ), 1903). Tras pequeñas mejoras propuestas por Voie et al, en J. Micros. 170, 1993; (técnica denominada OPFOS por los autores), o por Fuchs et al en Opto Exp. 2002 denominada uThin laser light sheet microscope" o TSLlM, en 2004 el grupo de Stelzer presentó un microscopio de haz láser plano que denominó SPIM (Microscopio de Iluminación en Plano Selectivo, Se/ective Plane flumination Microscope segun sus siglas en inglés), que tiene aplicaciones tanto en la imagen in vivo como en tejido fijado y muestras transparentes o semi-transparentes en general. Embryo studies and similar biological samples through an optical microscope present, unlike what happens with individual cells, particular problems related to light absorption and loss of resolution due to light scattering. To solve these problems, significant improvements have been made in recent years on flat laser beam microscopes, whose invention dates back to 1903. See, for example, the document "Ultramicroscopy ~ by Siedentopf and Zsigmondy (Analen der Physik 10 (1) , 1903) After minor improvements proposed by Voie et al, in J. Micros. 170, 1993; (technique called OPFOS by the authors), or by Fuchs et al in Opto Exp. 2002 called uThin laser light sheet microscope "or TSLlM In 2004, Stelzer's group presented a flat laser beam microscope that he called SPIM (Selective Plane Lighting Microscope, Se / ective Plane flumination Microscope according to its acronym in English), which has applications in both in vivo and tissue imaging fixed and transparent or semi-transparent samples in general.

Un microscopio de haz láser plano está formado fundamentalmente por una cámara acoplada a un objetivo de alta apertura numérica y dispuesta segun una dirección denominada "dirección de detección", y un medio de iluminación capaz de emitir una lámina delgada de luz según una dirección denominada "dirección de iluminación" que es perpendicular a la dirección de detección, siguiendo la configuración original de Siedentopf y Zsigmondy acoplada a una cámara de detección. Con esta configuración, la cámara puede obtener una imagen 20 de fluorescencia de la parte de la muestra iluminada por la lámina o plano de iluminación. Si además se desplaza la muestra en la dirección del eje de detección y se toman varias imágenes 20 en diferentes posiciones, se genera un conjunto o pila de imágenes 20 donde cada una de las imágenes 20 corresponde a una posición del plano de iluminación con respecto a la muestra. Esta pila de imágenes 2D contiene información de la posición en z (profundidad de la muestra según la dirección de detección) obtenida al mover la muestra, y de las posiciones x e y, presentes en cada imagen 20. La pila de imágenes 20 puede entonces fusionarse para generar una imagen 30 de la muestra, como se describe en el documento US 7,554,725 de Stelzer et al. A flat laser beam microscope is mainly formed by a camera coupled to a high numerical aperture lens and arranged according to a direction called "detection direction", and a lighting medium capable of emitting a thin sheet of light according to a direction called " lighting direction "which is perpendicular to the detection direction, following the original configuration of Siedentopf and Zsigmondy coupled to a detection chamber. With this configuration, the camera can obtain a fluorescence image 20 of the part of the sample illuminated by the illumination sheet or plane. If the sample is also moved in the direction of the detection axis and several images 20 are taken in different positions, a set or stack of images 20 is generated where each of the images 20 corresponds to a position of the illumination plane with respect to the sample. This stack of 2D images contains information on the z-position (depth of the sample according to the detection direction) obtained by moving the sample, and on the x and y positions, present in each image 20. The image stack 20 can then be merged to generate an image 30 of the sample, as described in US 7,554,725 of Stelzer et al.

Un inconveniente de la técnica de microscopía de haz láser plano es que presenta peor resolución en el eje de detección que el plano de la imagen. Es decir, en la imagen 30 la resolución en los ejes x e y resulta más precisa que la resolución en el eje z. Para solucionar esta anisotropía, se ha desarrollado la técnica multi-view SPIM o mSPIM (ver documento US 2011/115895 de Huisken). Esta técnica consiste fundamentalmente incluir un brazo de iluminación adicional para obtener al menos dos medidas de iluminación opuestas 180 grados. Mediante un leve pivoteo de menos de 10 grados del plano de luz sobre el plano de iluminación se puede mejorar la resolución de la imagen. Si adicionalmente se incluye una cámara adicional, se pueden realizar cuatro medidas simultáneas correspondientes a todas las combinaciones posibles entre cámara/brazo de iluminación. Estas imágenes 20 posteriormente se fusionan para generar una única imagen en 3D de mayor calidad de la muestra en cuestión. A drawback of the flat laser beam microscopy technique is that it has a worse resolution in the detection axis than the image plane. That is, in image 30 the resolution on the x and y axes is more accurate than the resolution on the z axis. To solve this anisotropy, the SPIM or mSPIM multi-view technique has been developed (see Huisken document US 2011/115895). This technique consists essentially of including an additional lighting arm to obtain at least two opposing lighting measurements 180 degrees. By a slight pivot of less than 10 degrees from the plane of light on the plane of illumination the resolution of the image can be improved. If an additional camera is additionally included, four simultaneous measurements can be made corresponding to all possible combinations between camera / lighting arm. These images 20 are subsequently merged to generate a single, higher quality 3D image of the sample in question.

Otra de las formas propuestas para mejorar la anisotropía y la calidad de las imágenes es combinar varias medidas angulares en una única medida 3D. Es decir, se hace rotar la muestra alrededor de su propio eje, normalmente un eje vertical, de manera que se captan varias pilas de imágenes 2D (comúnmente denominadas "medidas angulares"), cada una de las cuales corresponde a un ángulo de rotación de la muestra diferente. Esta ha sido la propuesta publicada por S. Preibisch et al, Nature Methods 7 (2010), quienes proponen el uso de marcadores de referencia para poder alinear de forma apropiada estas medidas angulares. Another of the proposed ways to improve anisotropy and image quality is to combine several angular measures into a single 3D measure. That is, the sample is rotated around its own axis, usually a vertical axis, so that several stacks of 2D images (commonly called "angular measurements") are captured, each of which corresponds to a rotation angle of The different sample. This has been the proposal published by S. Preibisch et al, Nature Methods 7 (2010), who propose the use of reference markers to properly align these angular measures.

Para una comprensión más clara de esta técnica, se adjuntan las Figs. 1 a y 1 b que muestran dos ejemplos de microscopios (100) de haz láser plano. En la Fig. 1a se dispone la muestra (107) en un soporte (101) dentro de un baño (102). Un haz (103) de iluminación lineal Gaussiano, Bessel o Airy incide sobre una lente (104) cilíndrica que lo enfoca gracias a un objetivo (105) de iluminación para generar la lámina (106) de iluminación plana vertical. Esta lámina (106) de iluminación plana vertical incide sobre la muestra (107) según la dirección de iluminación (DI), y la luz fluorescente (108) es recogida por un objetivo (109) de detección orientado según la dirección de detección (DO), que es perpendicular a la dirección de iluminación (DI). En la Fig. 1b se muestra un microscopio (100) similar, aunque en este caso la formación de la lámina (106) plana de iluminación tiene lugar mediante el escaneo vertical del haz (103) de iluminación lineal mediante un espejo galvanométrico (104') o similar. En ambos casos, el soporte (101 ) puede girar alrededor de su eje vertical para permitir la toma de varias medidas angulares de acuerdo con la técnica propuesta por Preibisch. For a clearer understanding of this technique, Figs. 1 a and 1 b showing two examples of flat laser beam microscopes (100). In Fig. 1a the sample (107) is arranged on a support (101) inside a bath (102). A beam (103) of Gaussian, Bessel or Airy linear lighting strikes a cylindrical lens (104) that focuses on it thanks to a lighting objective (105) to generate the vertical flat illumination sheet (106). This sheet (106) of vertical flat lighting strikes the sample (107) according to the lighting direction (DI), and the fluorescent light (108) is collected by a detection lens (109) oriented according to the detection direction (OD) ), which is perpendicular to the lighting direction (DI). A similar microscope (100) is shown in Fig. 1b, although in this case the formation of the flat illumination sheet (106) takes place by vertical scanning of the linear lighting beam (103) by means of a galvanometric mirror (104 ' ) or similar. In both cases, the support (101) can rotate around its vertical axis to allow several angular measurements to be taken in accordance with the technique proposed by Preibisch.

La Fig. 2 muestra un detalle de la formación de una pila de imágenes 20 de la muestra con un microscopio (100) de haz láser plano según la Fig . 1a o 1b. Se aprecia cómo la lámina Fig. 2 shows a detail of the formation of a stack of images 20 of the sample with a flat laser beam microscope (100) according to Fig. 1a or 1b. It shows how the sheet

(106) se desplaza según la dirección de detección, tomándose una imagen 20 por cada una de dichas posiciones. El resultado final es la obtención de una pila de imágenes 20. Para llevar a cabo el método propuesto por Preibisch et al, este proceso se repite varias veces para diferentes ángulos de rotación de la muestra alrededor del eje vertical, lo que permite obtener una imagen 3D de la muestra con una mayor isotropía. (106) moves according to the direction of detection, taking a picture 20 for each of said positions. The final result is to obtain a stack of images 20. To carry out the method proposed by Preibisch et al, this process is repeated several times for different angles of rotation of the sample around the vertical axis, which allows to obtain an image 3D of the sample with greater isotropy.

Sin embargo, la introducción de estas medidas angulares supone incrementar el tiempo de exposición y la duración del experimento de forma proporcional al número de medidas angulares. En efecto, dado que se desconoce la posición exacta del centro de rotación, fusionar todas las imágenes angulares obtenidas en un microscopio de haz láser plano requiere el uso de marcadores (fiducials) para generar la imagen 3D final (véase S. Preibisch, et al, Nature Methods 7, 2010), lo cual requiere una gran potencia de cálculo, capacidad de almacenamiento y complica la medida experimental. However, the introduction of these angular measures means increasing the exposure time and the duration of the experiment proportionally to the number of angular measures. Indeed, since the exact position of the center of rotation is unknown, merging all angular images obtained in a flat laser beam microscope requires the use of markers (fiducials) to generate the final 3D image (see S. Preibisch, et al , Nature Methods 7, 2010), which requires high computing power, storage capacity and complicates the experimental measurement.

DESCRIPCiÓN DE LA INVENCiÓN DESCRIPTION OF THE INVENTION

La presente invención resuelve el problema anterior gracias a un nuevo microscopio y procedimiento de generación de imágenes 3D que requiere mucha menos potencia de cálculo y capacidad de almacenamiento que las actuales técnicas de haz láser plano. Ello no sólo es ventajoso en lo que respecta a los requerimientos de un microscopio diseñado para llevar a cabo este procedimiento, sino que además permite generar las imágenes 3D con una mayor resolución y una menor anisotropía. En el contexto de la adquisición de imágenes de muestras in vivo la rapidez en la obtención de las imágenes es crucial, ya que de ello depende que pueda obtenerse información útil para la comprensión de determinados procesos biológicos. Además, el nuevo microscopio y procedimiento permite obtener imágenes de varias muestras diferentes ubicadas verticalmente una encima de la otra, lo que no es posible con los equipos actuales. The present invention solves the above problem thanks to a new microscope and 3D image generation procedure that requires much less computing power and storage capacity than current flat laser beam techniques. This is not only advantageous in terms of the requirements of a microscope designed to carry out this procedure, but also allows 3D images to be generated with a higher resolution and lower anisotropy. In the context of the acquisition of images of samples in vivo, the rapidity in obtaining the images is crucial, since it depends on this that useful information can be obtained for the understanding of certain biological processes. In addition, the new microscope and procedure allows to obtain images of several different samples located vertically one on top of the other, which is not possible with the current equipment.

En aras de asegurar la claridad de la descripción, se describe a continuación una serie de términos que se utilizarán en este documento. In order to ensure the clarity of the description, a series of terms that will be used in this document are described below.

Dirección de iluminación: Dirección a lo largo de la cual se proyecta la lámina o plano de iluminación que atraviesa la muestra. Lighting direction: Direction along which the illumination sheet or plane through the sample is projected.

Lámina de iluminación: Lámina delgada de luz emitida hacia la muestra según la dirección de iluminación. El plano que contiene la lámina de iluminación, denominado plano de iluminación, es normalmente vertical. Illumination sheet: Thin sheet of light emitted towards the sample according to the direction of illumination. The plane containing the lighting sheet, called the lighting plane, is normally vertical.

Dirección de detección: Dirección según la cual está dispuesto el objetivo de la cámara para obtener imágenes 2D de la muestra. Es perpendicular a la lámina de iluminación, y por tanto es normalmente horizontal. El objetivo de la cámara puede ser de magnificación alta o baja, y su apertura numérica alta o baja. Detection address: Address according to which the camera lens is arranged to obtain 2D images of the sample. It is perpendicular to the illumination sheet, and therefore is normally horizontal. The objective of the camera can be high or low magnification, and its numerical aperture high or low.

Imagen 2D: Cada una de las imágenes individuales que obtiene la cámara. Cada una de tales imágenes individuales corresponde a una posición de la lámina de iluminación con relación a la muestra. 2D Image: Each of the individual images obtained by the camera. Each such individual image corresponds to a position of the illumination sheet in relation to the sample.

Pila de imágenes 2D: Conjunto de imágenes 2D obtenidas por la cámara y que corresponden posiciones paralelas de la lámina de iluminación como resultado bien del desplazamiento de la muestra según la dirección de detección o bien del desplazamiento de la lámina de iluminación en la misma dirección. Stack of 2D images: Set of 2D images obtained by the camera and corresponding parallel positions of the illumination sheet as a result of either the displacement of the sample according to the direction of detection or the displacement of the illumination sheet in the same direction.

Imagen 3D: Imagen generada a partir de un conjunto de pilas de imágenes 2D correspondientes a iluminar la muestra desde diferentes orientaciones. 3D Image: Image generated from a set of stacks of 2D images corresponding to illuminate the sample from different orientations.

Imagen de proyección: Imagen 2D que puede generarse iluminando la muestra y obteniendo, en el lado de la muestra opuesto a aquel desde el que se ha iluminado, una imagen de proyección que puede asimilarse a la "sombra" que se ha proyectado. También se puede obtener a partir de una pila de imágenes 2D aplicando un parámetro a cada pixel de la imagen, por ejemplo un parámetro estadístico como la varianza, el valor máximo, el valor mínimo, el valor medio, la correlación entre pixeles, etc. Projection image: 2D image that can be generated by illuminating the sample and obtaining, on the side of the sample opposite to the one from which it has been illuminated, a projection image that can be assimilated to the "shadow" that has been projected. It can also be obtained from a stack of 2D images by applying a parameter to each pixel of the image, for example a statistical parameter such as variance, maximum value, minimum value, average value, correlation between pixels, etc.

Ángulo de adquisición: Se trata del ángulo el plano horizontal entre la dirección de detección y un plano vertical de la muestra, por ejemplo el plano de simetría o similar en el caso de determinados organismos. Como se ha comentado, este permanece constante durante la adquisición de cada pila de imágenes 2D. Acquisition angle: The angle is the horizontal plane between the direction of detection and a vertical plane of the sample, for example the plane of symmetry or similar in the case of certain organisms. As mentioned, this remains constant during the acquisition of each stack of 2D images.

Los inventores de la presente invención han desarrollado un nuevo microscopio y procedimiento para la generación de la imagen 3D que combina las técnicas habitualmente utilizadas en microscopía de haz láser plano con las que se suelen emplear en microscopía The inventors of the present invention have developed a new microscope and method for the generation of the 3D image that combines the techniques commonly used in flat laser beam microscopy with those commonly used in microscopy

OPT. OPT.

La técnica OPT (Tomografía de Proyección Óptica, Oplical Projection Tomography según sus siglas en inglés), descrita en el documento US20060122498 A1 , es relativamente similar a la tomografía por rayos X. Se basa fundamentalmente en iluminar ópticamente la muestra de forma homogénea y obtener, en el lado de la muestra opuesto a aquel desde el que se ilumina, una imagen que puede asimilarse a la "sombra" que proyecta la muestra sobre un plano, o en el caso de medir la fluorescencia, la emisión total del volumen iluminado. Esta "sombra" o emisión de fluorescencia, normalmente denominada imagen de proyección, tiene diferentes tonos de gris en función de la absorción de la luz y/o emisión de fluorescencia que se produce en diferentes partes de la muestra. Si se ilumina la muestra desde varios ángulos, es posible implementar un algoritmo de reconstrucción sobre todas las imágenes obtenidas para generar una imagen 3D de dicha muestra. Este algoritmo de reconstrucción suele estar basado en resolver la transformada de Radon, originalmente desarrollada para la imagen 3D con rayos X. The OPT technique (Optical Projection Tomography, Oplical Projection Tomography), described in US20060122498 A1, is relatively similar to X-ray tomography. It is essentially based on optically illuminating the sample homogeneously and obtaining, on the side of the sample opposite to the one from which it is illuminated, an image that can be assimilated to the "shadow" that the sample casts on a plane, or in the case of measuring the fluorescence, the total emission of the illuminated volume. This "shadow" or fluorescence emission, normally called projection image, has different shades of gray depending on the absorption of light and / or fluorescence emission that occurs in different parts of the sample. If the sample is illuminated from several angles, it is possible to implement a reconstruction algorithm on all the images obtained to generate a 3D image of said sample. This reconstruction algorithm is usually based on solving the Radon transform, originally developed for the X-ray 3D image.

Los microscopios tipo OPT (Optical Projection Tomography, Sharpe Science 2002), a diferencia de los microscopios de haz láser plano, iluminan la muestra completa de forma simultánea, y basan su reconstrucción 3D en las medidas angulares, de forma análoga a un Tomógrafo Computerizado de Rayos-X (TAC) pero con medidas ópticas, tanto de absorción como fluorescencia . Una desventaja de los microscopios OPT es la necesidad de usar bajas aperturas numéricas para mantener toda o al menos la mitad de la muestra dentro del plano focal, reduciendo así tanto la sensibilidad como la resolución de estos aparatos. Por otro lado, las medidas de OPT son sencillas de implementar, al consistir cada medida angular en una única proyección del volumen completo, pudiendo utilizar algoritmos existentes como el Filtered Back Projection (Retroproyección Filtrada), o incluso modelar la dispersión de la luz presente en la muestra y obtener imágenes de muestras con un alto coeficiente de dispersión. OPT (Optical Projection Tomography, Sharpe Science 2002) microscopes, unlike flat laser beam microscopes, illuminate the entire sample simultaneously, and base their 3D reconstruction on angular measurements, analogously to a Computerized Tomograph of X-ray (CT) but with optical measures, both absorption and fluorescence. A disadvantage of OPT microscopes is the need to use low numerical apertures to keep all or at least half of the sample within the focal plane, thus reducing both the sensitivity and resolution of these devices. On the other hand, OPT measurements are simple to implement, since each angular measure consists of a single projection of the entire volume, being able to use existing algorithms such as Filtered Back Projection, or even modeling the dispersion of light present in the sample and obtain images of samples with a high dispersion coefficient.

Las Fig. 3 muestra de manera esquemática el funcionamiento de un microscopio OPT (200). El montaje consiste fundamentalmente en un objetivo (201 ) de detección acoplado a una cámara y dirigido hacia la muestra (202) para recoger la fluorescencia o trans-iluminación Fig. 3 shows schematically the operation of an OPT microscope (200). The assembly consists essentially of a detection lens (201) coupled to a camera and directed towards the sample (202) to collect the fluorescence or trans-illumination

(203) provocada por la iluminación homogénea emitida por un elemento que no se muestra en la imagen. La muestra (202), que está contenida en un baño (204) fijado a un soporte (205), gira en torno a su propio eje, normalmente un eje vertical, de manera que se toman varias imágenes correspondientes a diferentes ángulos. Posteriormente, se implementa la transformada inversa de Radon (usando la retroprojección filtrada, Filtered Backprojection, por ejemplo, u otro algoritmo de reconstrucción) para construir una única imagen 3D de la muestra. (203) caused by the homogeneous illumination emitted by an element that is not shown in the image. The sample (202), which is contained in a bath (204) fixed to a support (205), revolves around its own axis, usually a vertical axis, so that several images corresponding to different angles are taken. Subsequently, the Radon reverse transform is implemented (using filtered backprojection, Filtered Backprojection, for example, or another reconstruction algorithm) to construct a single 3D image of the sample.

El microscopio y procedimiento propuesto por los inventores de la presente solicitud combina características de ambas técnicas de un modo tal que se mejora la resolución y calidad de la imagen 3D final, combinando ambos equipos en uno sólo. El microscopio y procedimiento de la invención emplea, al igual que la técnica de haz láser plano, una lámina de iluminación para obtener información nítida del interior de la muestra. Esto permite aumentar la apertura numérica de la cámara, ya que la distancia entre el objetivo y el plano de iluminación es siempre conocida, mejorando así la resolución de las imágenes obtenidas. Por otra parte, como ocurre en la técnica OPT, el microscopio y procedimiento de la invención no almacena una imagen 2D por cada posición de la lámina de iluminación, sino que para cada ángulo de adquisición almacena únicamente un parámetro representativo de cada píxel. Es decir, para cada ángulo de adquisición se almacena una única imagen de proyección 2D (similar a la técnica OPT), en lugar de toda una pila de imágenes 2D (como en la técnica de haz de láser plano). Esto permite no sólo disminuir los requerimientos del sistema, sino también aumentar la velocidad de adquisición. Además, mediante una translación vertical y el uso de un contenedor en el que se puedan colocar varias muestras, esta nueva invención permite obtener imágenes de varias muestras dispuestas una encima de la otra, como se aprecia en la Fig . 4. The microscope and procedure proposed by the inventors of the present application combines characteristics of both techniques in a way that improves the resolution and quality of the final 3D image, combining both devices into one. The microscope and method of the invention employ, like the flat laser beam technique, a lighting sheet to obtain clear information from inside the sample. This allows to increase the numerical aperture of the camera, since the distance between the lens and the illumination plane is always known, thus improving the resolution of the images obtained. On the other hand, as in the OPT technique, the microscope and method of the invention do not store a 2D image for each position of the illumination sheet, but for each acquisition angle it stores only one representative parameter of each pixel. That is, for each acquisition angle a single 2D projection image (similar to the OPT technique) is stored, instead of a whole stack of 2D images (as in the flat laser beam technique). This allows not only to decrease the system requirements, but also to increase the acquisition speed. Furthermore, by means of a vertical translation and the use of a container in which several samples can be placed, this new invention allows to obtain images of several samples arranged one above the other, as can be seen in Fig. Four.

De acuerdo con esto, la presente invención describe un procedimiento para la generación de imágenes 3D de una colección de muestras mediante un microscopio que comprende un medio de adquisición de imágenes dirigido hacia la colección de muestras según una dirección de detección, y un medio de iluminación configurado para emitir una lámina de iluminación plana hacia la colección de muestras según una dirección perpendicular a la dirección de detección. Como se ha comentado anteriormente en este documento, la colección de muestras comprende varias muestras ubicadas una encima de la otra. El procedimiento comprende los siguientes pasos: Accordingly, the present invention describes a method for generating 3D images of a collection of samples by a microscope comprising an image acquisition means directed towards the collection of samples according to a detection direction, and a lighting medium configured to emit a flat illumination sheet towards the sample collection according to a direction perpendicular to the detection direction. As discussed earlier in this document, the sample collection comprises several samples located one above the other. The procedure includes the following steps:

1) Provocar, manteniendo un ángulo de adquisición constante, un desplazamiento relativo según la dirección de detección entre la lámina de iluminación y la muestra. 1) Provoke, maintaining a constant acquisition angle, a relative displacement according to the direction of detection between the illumination sheet and the sample.

Como es conocido en la técnica, este desplazamiento relativo puede realizarse de dos modos: manteniendo la lámina de iluminación inmóvil y desplazando la muestra según la dirección de detección; o bien manteniendo inmóvil la muestra y desplazando la lámina de iluminación. En cualquiera de los casos, el hecho es que la lámina de iluminación realiza un "escaneo" de la muestra a lo largo de la dirección de detección. As is known in the art, this relative displacement can be carried out in two ways: keeping the illumination sheet still and moving the sample according to the detection direction; or keeping the sample still and moving the illumination sheet. In either case, the fact is that the illumination sheet performs a "scan" of the sample along the detection direction.

2) Obtener, para dicho ángulo de adquisición, una única imagen de proyección en 2D formada por un parámetro representativo para cada pixel. 2) Obtain, for said acquisition angle, a single 2D projection image formed by a representative parameter for each pixel.

De acuerdo con una realización preferida de la invención, el parámetro representativo para cada píxel es un parámetro estadístico, como por ejemplo el valor máximo, la varianza , el valor mínimo, la desviación estándar, el valor promedio, la correlación entre pixeles, etc. En este caso, la obtención del parámetro estadístico se puede llevar a cabo adquiriendo las imágenes en modo continuo para cada ángulo de adquisición. Es decir, provocando un movimiento relativo continuo entre la lámina de iluminación y la muestra según la dirección de detección a la vez que se adquieren imágenes a alta velocidad (más de 100 imágenes por segundo). Al estar interesados en la estadística de cada pixel, los tiempos de exposición pueden ser extremadamente cortos, con valores de señal ruido inferiores a los usados en un microscopio de haz láser plano. According to a preferred embodiment of the invention, the representative parameter for each pixel is a statistical parameter, such as the maximum value, the variance, the minimum value, the standard deviation, the average value, the correlation between pixels, etc. In this case, obtaining the statistical parameter can be carried out by acquiring the images in continuous mode for each acquisition angle. That is, causing a continuous relative movement between the illumination sheet and the sample according to the direction of detection while acquiring images at high speed (more than 100 images per second). Being interested in the statistics of each pixel, the exposure times can be extremely short, with noise signal values lower than those used in a flat laser beam microscope.

De acuerdo con otra realización alternativa de la invención, el parámetro representativo para cada píxel es la suma de las intensidades de cada píxel. La suma de las intensidades de cada pixel se puede obtener provocando un movimiento relativo continuo entre la lámina de iluminación y la muestra según la dirección de detección a la vez que se mantiene abierta la exposición del medio de adquisición de imágenes. Es decir, en la imagen de proyección obtenida cada pixel tiene como valor final la suma de intensidades que ese píxel ha recibido durante todo el proceso de desplazamiento de la lámina de iluminación a lo largo de la muestra. According to another alternative embodiment of the invention, the representative parameter for each pixel is the sum of the intensities of each pixel. The sum of the intensities of each pixel can be obtained by causing a continuous relative movement between the illumination sheet and the sample according to the detection direction while keeping the exposure of the image acquisition medium open. That is, in the projection image obtained each pixel has as its final value the sum of intensities that pixel has received during the entire process of moving the illumination sheet throughout the sample.

3) Modificar el ángulo de adquisición mediante un giro relativo entre la lámina de iluminación y la muestra combinado con una traslación vertical relativa entre la lámina de iluminación y la muestra, y repetir los pasos anteriores. 3) Modify the acquisition angle by a relative rotation between the illumination sheet and the sample combined with a relative vertical translation between the illumination sheet and the sample, and repeat the previous steps.

Una vez obtenida y almacenada la imagen de proyección para un ángulo de adquisición determinado, se modifica el ángulo de adquisición y se repite el proceso, y así sucesivamente para un número de ángulos de adquisición configurable, de manera que se obtiene un conjunto de imágenes de proyección en 20. Esta información angular correspondería de forma efectiva a una medida de OPT realizada con un objetivo de apertura numérica alta, medida irrealizable con los requisitos de baja apertura numérica necesarios para OPT. Además, al no iluminar el volumen completo de la muestra simultáneamente se reducen drásticamente los Once the projection image is obtained and stored for a given acquisition angle, the acquisition angle is modified and the process is repeated, and so on for a number of configurable acquisition angles, so that a set of images of projection at 20. This angular information would effectively correspond to an OPT measurement carried out with a high numerical aperture objective, an unrealizable measure with the low numerical aperture requirements necessary for OPT. In addition, by not illuminating the entire volume of the sample simultaneously, dramatically reduce the

efectos de fotoblanqueo y fototoxicidad. photobleaching and phototoxicity effects.

Como se ha comentado con anterioridad, el hecho de que en esta técnica se obtenga As previously mentioned, the fact that this technique obtains

y almacene únicamente una imagen de proyección en 20 para cada ángulo de adquisición contrasta con la técnica multi-angular de haz láser plano propuesta por Preibisch (Nat. Meth. 2010) o con el multiview SPIM propuesto por Huisken, en los cuales se almacena toda una pila de imágenes 20 por cada ángulo de adquisición, ya que el almacenamiento y procesamiento de toda esa información ralentiza considerablemente el proceso e impone mayores requisitos con relación al equipo necesario para llevarla a cabo. and store only one projection image at 20 for each acquisition angle contrasts with the multi-angular flat laser beam technique proposed by Preibisch (Nat. Meth. 2010) or with the multiview SPIM proposed by Huisken, in which all a stack of images 20 for each acquisition angle, since the storage and processing of all that information considerably slows down the process and imposes greater requirements in relation to the equipment necessary to carry it out.

Por otra parte, al paso de modificación del ángulo de adquisición se añade aquí una traslación vertical relativa entre la lámina de iluminación y la muestra mediante el uso de un motor de largo recorrido. Es decir, se aplica lo que se conoce como helical OPT (hOPT), equivalente al CT helicoidal o espiral. Como se ha comentado, esto se puede hacer bien desplazando la muestra verticalmente, o bien desplazando la lámina de iluminación verticalmente junto con el sistema de detección. En cualquier caso, la combinación del giro con la traslación genera un movimiento helicoidal que permite obtener información de varias muestras dispuestas una encima de la otra o bien de una única muestra muy alargada, lo que no es posible con la técnica de haz láser plano actual. On the other hand, a relative vertical translation between the illumination sheet and the sample is added to the step of modifying the acquisition angle by using a long-haul motor. That is, what is known as helical OPT (hOPT), equivalent to helical or spiral CT, is applied. As mentioned, this can be done either by moving the sample vertically, or by moving the illumination sheet vertically together with the detection system. In any case, the combination of the rotation with the translation generates a helical movement that allows obtaining information from several samples arranged one above the other or from a single very elongated sample, which is not possible with the current flat laser beam technique .

Adicionalmente, en una realización preferida de la invención comprende además modificar la posición de la muestra dentro de un plano perpendicular al eje de giro de dicha muestra para centrar siempre la misma porción de la muestra frente a la dirección de detección. Es decir, la muestra se recentra en el campo de visión del microscopio mediante un movimiento en el plano mencionado (que también se puede definir como perpendicular a la traslación vertical, o plano que contiene las direcciones de detección e iluminación). Esto permite analizar tejidos o muestras muy grandes, lo cual no es posible actualmente. Additionally, in a preferred embodiment of the invention it further comprises modifying the position of the sample within a plane perpendicular to the axis of rotation of said sample to always center the same portion of the sample in front of the detection direction. That is to say, the sample is recentra in the microscope's field of vision by means of a movement in the mentioned plane (which can also be defined as perpendicular to the vertical translation, or plane that contains the directions of detection and illumination). This allows to analyze very large tissues or samples, which is currently not possible.

4) Generar, a partir del conjunto de imágenes de proyección obtenidas, una imagen 3D de cada una de las muestras. 4) Generate, from the set of projection images obtained, a 3D image of each of the samples.

Por último, se implementa un algoritmo de reconstrucción a la información del conjunto de imágenes de proyección obtenidas para generar una única imagen 3D de la muestra. Por ejemplo, las imágenes de proyección se pueden introducir en un algoritmo de Filtered Back Projection o en un algoritmo de reconstrucción de proyección como la transformada inversa de Radon , generando la imagen 3D de la muestra. Finally, a reconstruction algorithm is implemented to the information of the set of projection images obtained to generate a single 3D image of the sample. For example, the projection images can be introduced in a Filtered Back Projection algorithm or in a projection reconstruction algorithm such as the Radon reverse transform, generating the 3D image of the sample.

Es importante resaltar que un microscopio haz láser plano convencional no obtiene sus imágenes 3D de esta forma. En esos casos, la imagen 3D se construye a partir de la pila de imágenes 20 obtenida, o en el caso del multi-angle SPIM de Preibsch o el mSPIM de Huisken , la fusión de varias pilas de imágenes 2D correspondientes a cada ángulo. En ninguna invención de haz láser plano en general se describe el uso de la transformada inversa de Radon para general una imagen 3D. It is important to highlight that a conventional flat laser beam microscope does not obtain its 3D images in this way. In these cases, the 3D image is constructed from the image stack 20 obtained, or in the case of the Preibsch multi-angle SPIM or the Huisken mSPIM, the fusion of several stacks of 2D images corresponding to each angle. In no invention of flat laser beam in general the use of the inverse transform of Radon to generate a 3D image is described.

Adicionalmente, acuerdo con otra realización preferida de la invención, el procedimiento comprende además el paso de combinar varias imágenes 3D obtenidas usando diferentes parámetros para obtener una imagen 3D final mejorada. Por ejemplo, si a la imagen 3D que se obtiene usando como parámetro la intensidad máxima se le resta la imagen 3D que se obtiene usando la suma de intensidades, se puede mejorar el contraste eliminando el fondo. Por otro lado, es posible que la imagen 3D que se obtiene de la varianza proporcione información adicional que no tiene una imagen obtenida a partir de la intensidad, con más detalle anatómico, por ejemplo. Additionally, according to another preferred embodiment of the invention, the method further comprises the step of combining several 3D images obtained using different parameters to obtain an improved final 3D image. For example, if the 3D image obtained using the maximum intensity is subtracted from the 3D image obtained using the sum of intensities, the contrast can be improved by removing the background. On the other hand, it is possible that the 3D image obtained from the variance provides additional information that does not have an image obtained from the intensity, with more anatomical detail, for example.

Un segundo aspecto de la invención está dirigido a un microscopio especialmente diseñado para llevar a cabo el procedimiento descrito que comprende un medio de adquisición de La Fig. 3 muestra una vista esquemática de un microscopio convencional de tipo OPT de acuerdo con la técnica anterior. A second aspect of the invention is directed to a microscope specially designed to carry out the described process comprising an acquisition means of Fig. 3 shows a schematic view of a conventional OPT type microscope according to the prior art.

S S
imágenes dirigido hacia la colección de muestras según una dirección de detección, y un medio de iluminación configurado para emitir una lámina de iluminación plana hacia la colección de muestras según una dirección perpendicular a la dirección de detección , donde la colección de muestras comprende varias muestras ubicadas una encima de la otra. Además el microscopio de la invención comprende: images directed towards the sample collection according to a detection direction, and a lighting medium configured to emit a flat illumination sheet towards the sample collection according to a direction perpendicular to the detection direction, where the sample collection comprises several samples located one on top of the other. In addition, the microscope of the invention comprises:

10 10
a) Medios para provocar, manteniendo un ángulo de adquisición constante, un desplazamiento relativo según la dirección de detección entre la lámina de iluminación y la muestra. b) Medios para obtener, para dicho ángulo de adquisición, una única imagen de proyección en 20 formada por un parámetro representativo para cada pixel. a) Means to cause, maintaining a constant acquisition angle, a relative displacement according to the direction of detection between the illumination sheet and the sample. b) Means for obtaining, for said acquisition angle, a single projection image in 20 formed by a representative parameter for each pixel.

15 fifteen
c) Medios para modificar el ángulo de adquisición mediante un giro relativo entre la lámina de iluminación y la muestra combinado con una traslación vertical relativa entre la lámina de iluminación y la muestra. c) Means for modifying the acquisition angle by a relative rotation between the illumination sheet and the sample combined with a relative vertical translation between the illumination sheet and the sample.

20 twenty
d) Medios para generar, a partir del conjunto de imágenes de proyección en 20 obtenidas, una imagen 3D de cada una de las muestras. En una realización preferida de la invención, los medios para provocar un desplazamiento relativo según la dirección de detección entre la lámina de iluminación y la muestra están configurados para realizar un desplazamiento continuo. d) Means to generate, from the set of projection images in 20 obtained, a 3D image of each of the samples. In a preferred embodiment of the invention, the means for causing a relative displacement according to the direction of detection between the illumination sheet and the sample are configured to perform a continuous displacement.

25 25
En otra realización preferida de la invención, los medios para realizar una traslación vertical relativa entre la lámina de iluminación y la muestra comprenden un motor eléctrico de largo recorrido. In another preferred embodiment of the invention, the means for performing a relative vertical translation between the illumination sheet and the sample comprise a long-distance electric motor.

30 30
BREVE DESCRIPCiÓN DE LAS FIGURAS Las Figs. 1a y 1 b muestran respectivamente una vista esquemática de dos ejemplos de microscopio convencional de tipo haz láser plano de acuerdo con la técnica anterior. BRIEF DESCRIPTION OF THE FIGURES Figs. 1a and 1b respectively show a schematic view of two examples of conventional flat laser beam microscope according to the prior art.

35 35
La Fig. 2 muestra un detalle de la adquisición de un conjunto de imágenes 2D de la muestra. Fig. 2 shows a detail of the acquisition of a set of 2D images of the sample.

La Fig. 4 muestra un soporte diseñado para alojar la colección de muestras dispuestas una encima de la otra. Fig. 4 shows a support designed to house the collection of samples arranged one above the other.

Las Fig. 5(a), 5(b), 5(c) y 5(d) muestran respectivamente: la Fig. 5(a) muestra un esquema numérico de una imagen 20 de un objeto; la Fig. 5(b) muestra ejemplos de proyecciones sobre la imagen 20 de la Fig. 5(a) correspondientes a diferentes parámetros para un ángulo de giro de 0°; la Fig. 5(c) muestra ejemplos de proyecciones sobre la imagen 20 de la Fig. 5(a) correspondientes a diferentes parámetros para un ángulo de giro de 90°; y la Fig . 5(d) muestra ejemplos de proyecciones sobre la imagen 20 de la Fig. 5(a) correspondientes al parámetro "Suma" para los ángulos de giro 0°, 90°, 180° Y 270°. Fig. 5 (a), 5 (b), 5 (c) and 5 (d) show respectively: Fig. 5 (a) shows a numerical scheme of an image 20 of an object; Fig. 5 (b) shows examples of projections on the image 20 of Fig. 5 (a) corresponding to different parameters for a rotation angle of 0 °; Fig. 5 (c) shows examples of projections on the image 20 of Fig. 5 (a) corresponding to different parameters for a rotation angle of 90 °; and Fig. 5 (d) shows examples of projections on the image 20 of Fig. 5 (a) corresponding to the "Sum" parameter for the angles of rotation 0 °, 90 °, 180 ° and 270 °.

La Fig. 6 muestra un diagrama de flujo del procedimiento que se lleva a cabo para obtener la imagen de proyección para cada ángulo. Fig. 6 shows a flow chart of the procedure that is carried out to obtain the projection image for each angle.

REALIZACiÓN PREFERENTE DE LA INVENCiÓN PREFERRED EMBODIMENT OF THE INVENTION

Las Figuras 5(a)-5(d) representan un ejemplo simplificado que muestra el proceso de obtención de imágenes de proyección angulares de un objeto bidimensional correspondientes a distintos parámetros. Los parámetros utilizados en este ejemplo son la media, el valor mínimo, la varianza, la suma y el valor máximo. Figures 5 (a) -5 (d) represent a simplified example showing the process of obtaining angular projection images of a two-dimensional object corresponding to different parameters. The parameters used in this example are the mean, the minimum value, the variance, the sum and the maximum value.

La Fig. 5(a) muestra el objeto con los valores obtenidos después de la adquisición de cinco imágenes correspondientes a un determinado ángulo de adquisición que, debido a la simplificación de este ejemplo, serían monodimensionales. Se pOdría decir que se trata de una pila de 5 imágenes 1 D (cinco filas) que representan 5 secciones del objeto. Fig. 5 (a) shows the object with the values obtained after the acquisition of five images corresponding to a given acquisition angle that, due to the simplification of this example, would be monodimensional. It could be said that it is a stack of 5 1 D images (five rows) representing 5 sections of the object.

A partir de estos datos, se pueden generar varios parámetros de proyección. La Fig. 5(b) muestra un ejemplo de obtención de varias imágenes de proyección a partir de la pila de imágenes correspondiente a un ángulo de adquisición de O grados. Nótese que, en la presente invención, no es necesario almacenar todas las imágenes de la pila de imágenes obtenida, ya que el cálculo del parámetro puede realizarse a medida que se van obteniendo las imágenes durante el "escaneado" del objeto según la dirección de detección. From this data, several projection parameters can be generated. Fig. 5 (b) shows an example of obtaining several projection images from the image stack corresponding to an acquisition angle of O degrees. Note that, in the present invention, it is not necessary to store all the images of the image stack obtained, since the calculation of the parameter can be performed as the images are obtained during the "scanning" of the object according to the detection direction .

Una vez generada la imagen de proyección correspondiente, se rota la muestra y se adquiere una nueva pila de imágenes a partir de los cuales se obtendrá otra imagen de proyección. En caso de haber un desplazamiento vertical, normalmente éste tendría lugar después de la rotación. La Fig. 5(c) muestra un ejemplo correspondiente a un ángulo de adquisición de 90° para los mismos parámetros. Por motivos de simplicidad, se ha utilizado la misma pila de imágenes que en la Fig. 5(b}, aunque como es lógico en un caso real se Once the corresponding projection image is generated, the sample is rotated and a new stack of images is acquired from which another projection image will be obtained. If there is a vertical displacement, this would normally take place after the rotation. Fig. 5 (c) shows an example corresponding to an acquisition angle of 90 ° for the same parameters. For simplicity, the same stack of images as in Fig. 5 (b) has been used, although as is logical in a real case,

obtendría una pila de imágenes diferente de la anterior. I would get a different stack of images from the previous one.

Este proceso se repite para un número determinado de medidas angulares, en este ejemplo concreto cuatro medidas correspondientes a 0°, 90°, 180° Y 270°. El resultado se muestra en la Fig. 5(d), que muestra las cuatro imágenes de proyección correspondientes al parámetro suma. Estas imágenes de proyección se introducen a continuación en un código que resuelva la transformada inversa de Radon, por ejemplo, o en un código más avanzado de proyección tomográfica que tenga en cuenta la presencia de dispersión, generando la imagen 3D final. This process is repeated for a specific number of angular measurements, in this specific example four measurements corresponding to 0 °, 90 °, 180 ° and 270 °. The result is shown in Fig. 5 (d), which shows the four projection images corresponding to the sum parameter. These projection images are then introduced in a code that solves the inverse Radon transform, for example, or in a more advanced tomographic projection code that takes into account the presence of scattering, generating the final 3D image.

El procedimiento completo se muestra en el algoritmo representado en la Fig. 6. En primer lugar, se toma una imagen 20 correspondiente a un ángulo de adquisición determinado. A continuación, se desplaza la lámina de iluminación y se toma otra imagen 20. Este proceso se repite las veces que sea necesario hasta que se han tomado imágenes que abarcan todo el volumen requerido. A continuación, se calcula del parámetro determinado para cada uno The complete procedure is shown in the algorithm shown in Fig. 6. First, an image 20 corresponding to a given acquisition angle is taken. Next, the illumination sheet is moved and another image 20 is taken. This process is repeated as many times as necessary until images have been taken covering the entire required volume. Next, the determined parameter for each one is calculated

de los píxeles de las imágenes 20 obtenidas, lo que da como resultado la imagen de proyección correspondiente a ese primer ángulo de adquisición. La imagen de proyección 20 resultante se almacena. of the pixels of the obtained images 20, which results in the projection image corresponding to that first acquisition angle. The resulting projection image 20 is stored.

A continuación, después de imprimir a la muestra una rotación hasta un segundo ángulo de adquisición combinada con un desplazamiento vertical, se repiten las operaciones anteriores. Todo este proceso se repite hasta haber completado una vuelta completa alrededor de la muestra o las muestras. Por último, el conjunto de imágenes de proyección que se ha ido almacenando se introduce en un algoritmo para generar la imagen 3D final. Por ejemplo, empleando un algoritmo de tipo Filtered Back Projection o un algoritmo de transformada inversa de Radon. Then, after printing a rotation to the second acquisition angle combined with a vertical offset to the sample, the above operations are repeated. This whole process is repeated until a complete round around the sample or samples has been completed. Finally, the set of projection images that has been stored is introduced into an algorithm to generate the final 3D image. For example, using a Filtered Back Projection type algorithm or a Radon reverse transform algorithm.

Un ejemplo concreto de uso de este procedimiento podría consistir en una muestra de embrión de pez cebra que expresa una proteína. Este embrión se puede introducir en un contenedor transparente (un tubo FEP, por ejemplo), o puede embeber en agarosa de modo que se pueda desplazar en el plano de medida, y se pueda rotar en torno a un eje de rotación. Una vez colocada esta muestra sobre el microscopio de la invención, se procedería a encender la fuente de iluminación para crear un haz plano de luz. Una vez elegido el parámetro a guardar (la intensidad máxima de la pila de imágenes 2D, por ejemplo), se procedería a mover el plano de luz con respecto a la muestra desde una posición inicial hasta una posición final, guardando la imagen de proyección en 2D que contiene la información estadística de este desplazamiento. Este proceso se repetiría para cada ángulo de medida hasta un total de M ángulos, generando una pila M imágenes de proyección. A concrete example of the use of this procedure could be a zebrafish embryo sample that expresses a protein. This embryo can be introduced into a transparent container (an FEP tube, for example), or it can be embedded in agarose so that it can move in the measurement plane, and can be rotated around an axis of rotation. Once this sample was placed on the microscope of the invention, the light source would be turned on to create a flat beam of light. Once the parameter to be saved has been chosen (the maximum intensity of the 2D image stack, for example), we would proceed to move the light plane with respect to the sample from an initial position to an final position, saving the projection image in 2D that contains the statistical information of this displacement. This process would be repeated for each measurement angle up to a total of M angles, generating a stack M projection images.

5 Estas imágenes de proyección se introducirían en un algoritmo de Filtered Back Projection, por ejemplo, o en un algoritmo de reconstrucción de proyección predefinido, generando la imagen 3D de la muestra. 5 These projection images would be introduced in a Filtered Back Projection algorithm, for example, or in a predefined projection reconstruction algorithm, generating the 3D image of the sample.

Otro ejemplo pOdría consistir en N muestras de tejido con tinción fluorescente, previamente Another example could consist of N tissue samples with fluorescent staining, previously

10 clareado y fijado. Estas N muestras se pueden introducir en un único contenedor transparente, o se pueden embeber en agarosa de modo que se las pueda desplazar tanto en el plano de medida como verticalmente, y se pueda rotar el conjunto de muestras en torno a un eje de rotación. El resultado sería similar al que se muestra en la Fig. 4. Una vez colocadas estas muestras sobre el microscopio de la invención, se procedería a encender la 10 cleared and fixed. These N samples can be introduced into a single transparent container, or they can be embedded in agarose so that they can be moved both in the measurement plane and vertically, and the set of samples can be rotated around an axis of rotation. The result would be similar to that shown in Fig. 4. Once these samples were placed on the microscope of the invention, the

15 fuente de iluminación para crear un haz plano de luz. Una vez elegido el parámetro a guardar (la intensidad máxima de la pila de imágenes 20, por ejemplo), se procedería a mover el plano de iluminación con respecto a la muestra desde una posición inicial hasta una posición final, guardando la imagen de proyección en 20 que contiene la información estadística de este desplazamiento. Una vez finalizado el barrido del plano de luz, se 15 lighting source to create a flat beam of light. Once the parameter to be saved has been chosen (the maximum intensity of the image stack 20, for example), the lighting plane would be moved relative to the sample from an initial position to an final position, saving the projection image in 20 containing the statistical information of this displacement. Once the scanning of the light plane is finished,

20 procedería a la rotación, y, de forma simultánea, la translación vertical de la muestra. Este proceso se repetiría hasta que la muestra en su totalidad ha sido escaneada, requiriendo para ello realizar varias rotaciones completas con un total de M ángulos, generando una pila de M imágenes de proyección helicoidal. Estas imágenes de proyección se introducirían en un algoritmo de Filtered Back Projection con desplazamiento helicoidal, por ejemplo, o en un 20 would proceed to the rotation, and, simultaneously, the vertical translation of the sample. This process would be repeated until the entire sample has been scanned, requiring several complete rotations with a total of M angles, generating a stack of M helical projection images. These projection images would be introduced in a Filtered Back Projection algorithm with helical displacement, for example, or in a

25 algoritmo de reconstrucción de proyección con traslación vertical predefinido, generando la imagen 3D de todas las muestras de forma simultánea. 25 projection reconstruction algorithm with predefined vertical translation, generating the 3D image of all samples simultaneously.

Claims (13)

REIVINDICACIONES
1. one.
Procedimiento para la generación de imágenes 30 de una colección de muestras mediante un microscopio, caracterizado por que el microscopio comprende un medio de adquisición de imágenes dirigido hacia la colección de muestras según una dirección de detección, y un medio de iluminación configurado para emitir una lámina de iluminación plana hacia la colección de muestras según una dirección perpendicular a la dirección de detección, donde la colección de muestras comprende varias muestras ubicadas una encima de la otra, comprendiendo el procedimiento los siguientes pasos: -provocar, manteniendo un ángulo de adquisición constante, un desplazamiento relativo según la dirección de detección entre la lámina de iluminación y la muestra; -obtener, para dicho ángulo de adquisición , una única imagen de proyección en 20 formada por un parámetro representativo para cada píxel; -modificar el ángulo de adquisición mediante un giro relativo entre la lámina de iluminación y la muestra combinado con una traslación vertical relativa entre la lámina de iluminación y la muestra, y repetir los pasos anteriores; y -generar, a partir del conjunto de imágenes de proyección en 20 obtenidas, una imagen 30 de cada una de las muestras. Method for generating images 30 of a sample collection by means of a microscope, characterized in that the microscope comprises an image acquisition means directed towards the sample collection according to a detection direction, and a lighting means configured to emit a sheet of flat illumination towards the sample collection according to a direction perpendicular to the detection direction, where the sample collection comprises several samples located one above the other, the procedure comprising the following steps: -provoking, maintaining a constant acquisition angle, a relative displacement according to the direction of detection between the illumination sheet and the sample; - obtaining, for said acquisition angle, a single projection image in 20 formed by a representative parameter for each pixel; -modify the acquisition angle by a relative rotation between the illumination sheet and the sample combined with a relative vertical translation between the illumination sheet and the sample, and repeat the above steps; and -generating, from the set of projection images in 20 obtained, an image 30 of each of the samples.
2. 2.
Procedimiento de acuerdo con la reivindicación 1, donde el parámetro representativo para cada píxel es un parámetro estadístico. Method according to claim 1, wherein the representative parameter for each pixel is a statistical parameter.
3. 3.
Procedimiento de acuerdo con la reivindicación 2, donde el parámetro estadístico se selecciona de entre el valor máximo, la varianza, el valor mínimo, la desviación estándar, el valor promedio y la correlación entre píxeles. Method according to claim 2, wherein the statistical parameter is selected from the maximum value, the variance, the minimum value, the standard deviation, the average value and the correlation between pixels.
4. Four.
Procedimiento de acuerdo con cualquiera de las reivindicaciones 2-3, donde la obtención del parámetro estadístico se lleva a cabo provocando un movimiento relativo continuo entre la lámina de iluminación y la muestra según la dirección de detección y adquiriendo imágenes a alta velocidad . Method according to any of claims 2-3, wherein obtaining the statistical parameter is carried out by causing a continuous relative movement between the illumination sheet and the sample according to the detection direction and acquiring images at high speed.
5. 5.
Procedimiento de acuerdo con la reivindicación 1, donde el parámetro representativo para cada píxel es la suma de las intensidades de cada píxel. Method according to claim 1, wherein the representative parameter for each pixel is the sum of the intensities of each pixel.
6. 6.
Procedimiento de acuerdo con la reivindicación 5, donde la suma de las intensidades de cada píxel se obtiene provocando un movimiento relativo continuo entre la lámina de Method according to claim 5, wherein the sum of the intensities of each pixel is obtained by causing a continuous relative movement between the sheet of
iluminación y la muestra según la dirección de detección a la vez que se mantiene abierta la exposición del medio de adquisición de imágenes. lighting and the sample according to the detection direction while keeping the exposure of the image acquisition medium open.
7. 7.
Procedimiento de acuerdo con cualquiera de las reivindicaciones anteriores, donde el paso de modificar el ángulo de adquisición comprende además modificar la posición de la muestra dentro de un plano perpendicular al eje de giro de dicha muestra para centrar siempre la misma porción de la muestra frente a la dirección de detección. Method according to any of the preceding claims, wherein the step of modifying the acquisition angle further comprises modifying the position of the sample within a plane perpendicular to the axis of rotation of said sample to always center the same portion of the sample against The detection address.
8. 8.
Procedimiento de acuerdo con cualquiera de las reivindicaciones anteriores, donde el paso de generar una imagen 3D de la muestra comprende aplicar un algoritmo de retroproyección filtrada (Filtered Back Projection) al conjunto de imágenes de proyección obtenidas. Method according to any of the preceding claims, wherein the step of generating a 3D image of the sample comprises applying a filtered back projection algorithm to the set of projection images obtained.
9. 9.
Procedimiento de acuerdo con cualquiera de las reivindicaciones 1-7, donde el paso de generar una imagen 3D de la muestra comprende aplicar la transformada inversa de Radon al conjunto de imágenes de proyección obtenidas. Method according to any of claims 1-7, wherein the step of generating a 3D image of the sample comprises applying the inverse transform of Radon to the set of projection images obtained.
10. 10.
Procedimiento de acuerdo con cualquiera de las reivindicaciones anteriores, que además comprende combinar varias imágenes 3D obtenidas empleando diferentes parámetros representativos para obtener una imagen 3D mejorada. Method according to any of the preceding claims, which further comprises combining several 3D images obtained using different representative parameters to obtain an improved 3D image.
11. eleven.
Microscopio para la generación de imágenes 3D de una colección de muestras capaz de llevar a cabo el procedimiento de cualquiera de las reivindicaciones anteriores, caracterizado por que comprende un medio de adquisición de imágenes dirigido hacia la colección de muestras según una dirección de detección, y un medio de iluminación configurado para emitir una lámina de iluminación plana hacia la colección de muestras según una dirección perpendicular a la dirección de detección, donde la colección de muestras comprende varias muestras ubicadas una encima de la otra, que además comprende: -medios para provocar, manteniendo un ángulo de adquisición constante, un desplazamiento relativo según la dirección de detección entre la lámina de iluminación y la muestra; -medios para obtener, para dicho ángulo de adquisición, una única imagen de proyección en 2D formada por un parámetro representativo para cada pixel; -medios para modificar el ángulo de adquisición mediante un giro relativo entre la lámina de iluminación y la muestra combinado con una traslación vertical relativa entre la lámina de iluminación y la muestra; y Microscope for the generation of 3D images of a collection of samples capable of carrying out the method of any of the preceding claims, characterized in that it comprises an image acquisition means directed towards the collection of samples according to a detection direction, and a lighting medium configured to emit a flat illumination sheet towards the sample collection according to a direction perpendicular to the detection direction, where the sample collection comprises several samples located one above the other, which also comprises: means for causing, maintaining a constant acquisition angle, a relative displacement according to the direction of detection between the illumination sheet and the sample; - means for obtaining, for said acquisition angle, a single 2D projection image formed by a representative parameter for each pixel; - means for modifying the acquisition angle by means of a relative rotation between the lighting sheet and the sample combined with a relative vertical translation between the lighting sheet and the sample; Y
--
medios para generar, a partir del conjunto de imágenes de proyección en 2D obtenidas, una imagen 3D de cada una de las muestras. means to generate, from the set of 2D projection images obtained, a 3D image of each of the samples.
12. Microscopio de acuerdo con la reivindicación 11 , donde los medios para provocar un 12. Microscope according to claim 11, wherein the means for causing a 5 desplazamiento relativo según la dirección de detección entre la lámina de iluminación y la muestra están configurados para realizar un desplazamiento continuo. 5 relative displacement according to the direction of detection between the illumination sheet and the sample are configured to perform a continuous displacement. 13. Microscopio de acuerdo con cualquiera de las reivindicaciones 11-12, donde los 13. Microscope according to any of claims 11-12, wherein medios para realizar una traslación vertical relativa entre la lámina de iluminación y la 10 muestra comprenden un motor eléctrico. Means for performing a relative vertical translation between the illumination sheet and the sample 10 comprise an electric motor.
ES201431546A 2014-10-21 2014-10-21 Microscope and procedure for the generation of 3D images of a demonstration collection Active ES2567379B1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
ES201431546A ES2567379B1 (en) 2014-10-21 2014-10-21 Microscope and procedure for the generation of 3D images of a demonstration collection
EP15851669.0A EP3211595B1 (en) 2014-10-21 2015-06-10 Microscope and method for generating 3d images of a collection of samples
US15/521,220 US10551609B2 (en) 2014-10-21 2015-06-10 Microscope and method for generating 3D images of a collection of samples
PCT/ES2015/070455 WO2016062907A1 (en) 2014-10-21 2015-06-10 Microscope and method for generating 3d images of a collection of samples

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
ES201431546A ES2567379B1 (en) 2014-10-21 2014-10-21 Microscope and procedure for the generation of 3D images of a demonstration collection

Publications (2)

Publication Number Publication Date
ES2567379A1 true ES2567379A1 (en) 2016-04-21
ES2567379B1 ES2567379B1 (en) 2017-02-03

Family

ID=55747574

Family Applications (1)

Application Number Title Priority Date Filing Date
ES201431546A Active ES2567379B1 (en) 2014-10-21 2014-10-21 Microscope and procedure for the generation of 3D images of a demonstration collection

Country Status (4)

Country Link
US (1) US10551609B2 (en)
EP (1) EP3211595B1 (en)
ES (1) ES2567379B1 (en)
WO (1) WO2016062907A1 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2567379B1 (en) 2014-10-21 2017-02-03 Universidad Carlos Iii De Madrid Microscope and procedure for the generation of 3D images of a demonstration collection
WO2017035078A1 (en) * 2015-08-26 2017-03-02 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Systems and methods for multi-view nonlinear optical imaging for improved signal-to-noise ratio and resolution in point scanning multi-photon microscopy
WO2019230741A1 (en) * 2018-05-28 2019-12-05 国立研究開発法人理化学研究所 Acquisition method, acquisition device, and control program for tomographic image data by means of angular offset
WO2020036988A1 (en) * 2018-08-13 2020-02-20 The Board Of Regents Of The University Of Texas System Flexible light sheet generation by field synthesis
DK3709258T3 (en) * 2019-03-12 2023-07-10 L & T Tech Services Limited GENERATION OF COMPOSITE IMAGE FROM NUMEROUS IMAGES TAKEN OF OBJECT
USD1009113S1 (en) * 2021-05-25 2023-12-26 Mitutoyo Corporation Microscope unit

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6160908A (en) * 1996-12-02 2000-12-12 Nikon Corporation Confocal microscope and method of generating three-dimensional image using confocal microscope
US20090091566A1 (en) * 2007-10-05 2009-04-09 Turney Stephen G System and methods for thick specimen imaging using a microscope based tissue sectioning device
US20090213214A1 (en) * 2008-01-23 2009-08-27 Tatsuki Yamada Microscope System, Image Generating Method, and Program for Practising the Same
US20130200255A1 (en) * 2012-02-02 2013-08-08 Applied Materials Israel, Ltd. Three-dimensional mapping using scanning electron microscope images
WO2013176549A1 (en) * 2012-05-24 2013-11-28 Stichting Vu-Vumc Optical apparatus for multiple points of view three-dimensional microscopy and method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10257423A1 (en) 2002-12-09 2004-06-24 Europäisches Laboratorium für Molekularbiologie (EMBL) Microscope used in molecular biology comprises a focussing arrangement producing an extended planar object illumination region, a detection device, and a movement arrangement
US20070258122A1 (en) * 2004-10-06 2007-11-08 Bc Cancer Agency Computer-Tomography Microscope and Computer-Tomography Image Reconstruction Methods
US9134521B2 (en) 2008-07-30 2015-09-15 The Regents Of The University Of California Multidirectional selective plane illumination microscopy
US20140362436A1 (en) * 2013-06-07 2014-12-11 Clemex Technologies Inc. Automatic slide loading system and method
US10539772B2 (en) * 2013-10-09 2020-01-21 Howard Hughes Medical Institute Multiview light-sheet microscopy
ES2567379B1 (en) 2014-10-21 2017-02-03 Universidad Carlos Iii De Madrid Microscope and procedure for the generation of 3D images of a demonstration collection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6160908A (en) * 1996-12-02 2000-12-12 Nikon Corporation Confocal microscope and method of generating three-dimensional image using confocal microscope
US20090091566A1 (en) * 2007-10-05 2009-04-09 Turney Stephen G System and methods for thick specimen imaging using a microscope based tissue sectioning device
US20090213214A1 (en) * 2008-01-23 2009-08-27 Tatsuki Yamada Microscope System, Image Generating Method, and Program for Practising the Same
US20130200255A1 (en) * 2012-02-02 2013-08-08 Applied Materials Israel, Ltd. Three-dimensional mapping using scanning electron microscope images
WO2013176549A1 (en) * 2012-05-24 2013-11-28 Stichting Vu-Vumc Optical apparatus for multiple points of view three-dimensional microscopy and method

Also Published As

Publication number Publication date
EP3211595A1 (en) 2017-08-30
US20170351082A1 (en) 2017-12-07
EP3211595B1 (en) 2020-03-04
US10551609B2 (en) 2020-02-04
EP3211595A4 (en) 2018-06-20
ES2567379B1 (en) 2017-02-03
WO2016062907A1 (en) 2016-04-28

Similar Documents

Publication Publication Date Title
ES2567379B1 (en) Microscope and procedure for the generation of 3D images of a demonstration collection
ES2900148T3 (en) Light sheet-based imaging device with increased depth of field
ES2935506T3 (en) Microscopy of a tissue sample using structured illumination
JP5599314B2 (en) Method and optical apparatus for inspection of samples
ES2383526T3 (en) Procedure and system for superresolution of confocal images acquired through an image guide, and device used for the implementation of said procedure
BRPI0717385A2 (en) DEVICE, APPARATUS AND METHOD FOR FORMING PICTURE OF AN OBJECT
ES2772073T3 (en) Rapid confocal microscopy to support surgical procedures
Smith et al. Quantitatively imaging chromosomes by correlated cryo-fluorescence and soft x-ray tomographies
ES2800680T3 (en) Line scan and sample scan multimodal confocal microscope
US20150008339A1 (en) Angular multiplexed optical projection tomography
Buytaert et al. Design and quantitative resolution measurements of an optical virtual sectioning three-dimensional imaging technique for biomedical specimens,<? xpp qa?> featuring two-micrometer slicing resolution
WO2016020684A1 (en) Multiplexed optical tomography
CN107121065A (en) A kind of portable phase quantitative testing device
Liu et al. Three-dimensional, isotropic imaging of mouse brain using multi-view deconvolution light sheet microscopy
BR112020007609B1 (en) IMAGE RECONSTRUCTION METHOD AND DEVICE AND MICROSCOPIC IMAGING DEVICE
ES2741809T3 (en) Procedure for determining the height of an object
Calisesi et al. Three-dimensional bright-field microscopy with isotropic resolution based on multi-view acquisition and image fusion reconstruction
Rasmi et al. Limited-view light sheet fluorescence microscopy for three dimensional volume imaging
Ancora et al. Phase-retrieved tomography enables imaging of a tumor spheroid in mesoscopy regime
ES2630733B1 (en) Automatic lens change device for flat laser beam microscope
JP2022544292A (en) Sample imaging via two-step brightfield reconstruction
Psycharakis et al. High resolution 3D imaging of primary and secondary tumor spheroids using multicolor multi-angle Light Sheet Fluorescence Microscopy (LSFM)
CN103750824A (en) Method for extracting information of fluorescence tomography system for small animals
Lin et al. Tilt-angle Stimulated Raman Projection Tomography for Fast Volumetric Chemical Imaging
Hejazi et al. Development and evaluation of a multislice fluorescence molecular tomography using finite element method

Legal Events

Date Code Title Description
FG2A Definitive protection

Ref document number: 2567379

Country of ref document: ES

Kind code of ref document: B1

Effective date: 20170203