ES2578356B1

ES2578356B1 - Método para determinar la amplitud compleja del campo electromagnético asociado a una escena

Info

Publication number: ES2578356B1
Application number: ES201431900A
Authority: ES
Inventors: José Manuel Rodriguez Ramos; Juan Manuel TRUJILLO SEVILLA; Juan José FERNÁNDEZ VALDIVIA; Jonas PHILIPP LÜKE
Original assignee: Universidad de La Laguna
Current assignee: Universidad de La Laguna
Priority date: 2014-12-22
Filing date: 2014-12-22
Publication date: 2017-08-04
Anticipated expiration: 2034-12-22
Also published as: CN107209061B; EP3239672A4; US20180007342A1; KR20170099959A; EP3239672B1; EP3239672A1; JP2018512070A; IL253142B; TW201643391A; KR102501402B1; US10230940B2; CN107209061A; TWI687661B; JP6600360B2; WO2016102731A1; ES2578356A1; DK3239672T3; IL253142A0

Abstract

Método para determinar la amplitud compleja del campo electromagnético asociado a una escena, que comprende a) capturar mediante una cámara fotográfica una pluralidad de imágenes de la escena enfocadas en planos de enfoque dispuestos a distinta distancia, en donde la cámara comprende una lente de distancia focal F y un sensor dispuesto a una cierta distancia de la lente en su espacio imagen, tomar al menos un par de imágenes de la pluralidad de imágenes y determinar el frente de onda acumulado hasta el plano conjugado en el espacio objeto correspondiente al plano intermedio a los planos de enfoque de las dos imágenes del par.

Description

5

10

15

20

25

30

35

DESCRIPCION

METODO PARA DETERMINAR LA AMPLITUD COMPLEJA DEL CAMPO ELECTROMAGNETICO ASOCIADO A UNA ESCENA

OBJETO DE LA INVENCION

La presente invention se refiere a un metodo para determinar la amplitud compleja del campo electromagnetico asociado a una escena.

El metodo de la invencion permite la reconstruction optica de la escena al completo (modulo y fase del campo electromagnetico), lo que permite su posterior utilization en diversas aplicaciones, tales como la obtencion del mapa de distancias de la escena, representation de la escena en modo 3D estereo o en modo 3D integral, representacion de la escena completamente enfocada, aberrada opticamente a voluntad, o corregida de distorsion optica (por cambio de mdice de refraction).

La invencion es aplicable en distintos campos tecnicos, que incluyen la fotografia computacional y la optica adaptativa (astronomica, oftalmologica, microscopia...).

ANTECEDENTES DE LA INVENCION

Hasta ahora para generar imagen tridimensional (estereo o integral) de una escena se ha hecho uso de la captura de la escena desde diversos puntos de vista.

Orth (Orth, A., & Crozier, K. B. (2013), Light field moment imaging, Optics letters, 38(15), 2666-2668) genera imagen estereo (no integral) a partir de 2 imagenes desenfocadas, haciendo uso del metodo “Light Field Moment Imaging”, trabajando en el dominio transformado.

Park (Park, J. H., Lee, S. K., Jo, N. Y., Kim, H. J., Kim, Y. S., & Lim, H. G. (2014). Light ray field capture using focal plane sweeping and its optical reconstruction using 3D displays. Optics Express, 22(21), 25444-25454) propone un algoritmo de retroproyecciones filtradas aplicado al lightfield de modo que a partir de imagenes desenfocadas de la escena crean imagen 3D estereo e integral. En este caso, las imagenes desenfocadas (intensidades) son cortes a diferentes angulos del lightfield en espacio transformado. Adquirir pocas imagenes

2

5

10

15

20

25

30

desenfocadas es lo mas apropiado en escenarios de baja iluminacion. Sin embargo, trabajar en el dominio transformado con pocas imagenes desenfocadas provoca blurring debido a la ausencia de information en ciertas frecuencias espaciales.

El sensor de curvatura recupera fase de frente de onda en pupila a partir de dos imagenes desenfocadas. El sensor geometrico propuesto por Van Dam y Lane (Van Dam, M. A., & Lane, R. G. (2002). Wave-front sensing from defocused images by use of wave-front slopes. Applied optics, 41(26), 5497-5502) tambien recupera la fase de frente de onda en pupila a partir de dos imagenes desenfocadas. Sin embargo, la medida de la fase de frente de onda en pupila permite unicamente corregir aberraciones en el eje optico.

DESCRIPCION DE LA INVENCION

Los problemas anteriores se resuelven mediante un metodo segun la reivindicacion 1 y un dispositivo segun la reivindicacion 10. Las reivindicaciones dependientes definen realizaciones preferidas de la invention.

En un primer aspecto inventivo se define un metodo para determinar la amplitud compleja del campo electromagnetico asociado a una escena, que comprende las siguientes etapas:

a) capturar mediante una camara fotografica una pluralidad de imagenes de la escena, estando las imagenes enfocadas en planos de enfoque dispuestos a distinta distancia, en donde la camara comprende una lente de distancia focal F y un sensor dispuesto a cierta distancia de la lente en su espacio imagen,

b) tomar al menos un par de imagenes de entre la pluralidad de imagenes y determinar el frente de onda acumulado hasta el plano conjugado en el espacio objeto correspondiente al plano intermedio a los planos de enfoque de las dos imagenes del par, determinando el frente de onda W(x,y) como:

N-1

W(x,y) = ^ dp Zp(x,y)

p = 0

siendo {zp(x,y)}un conjunto de polinomios predeterminado y N el numero de polinomios empleados en el desarrollo,

en donde los coeficientes dj se determinan mediante la resolution del sistema de ecuaciones:

u2 y(^) uiy(k)

2 z

U2X (P — U1X (j)

2 z

imagen1

Uix(j)+u2X(j) UiY(k)+u?Y(k)

2 ' y 2

Mi x(j)+u7.x(j) u1Y(k)+u2Y(k)

2 ' y 2

siendo 2z la distancia entre los pianos de enfoque de las dos imagenes del par, siendo

{(ulx(i)'U1Y(k))'j'k = 1 ...T} puntos pertenecientes a la primera imagen del par, y [(u2x(j)'U2Y(k))'j'k = 1 ...T} puntos pertenecientes a la segunda imagen del par, tales que 5 para cada 1 < j, k < T, se verifica

siendo s(j) una secuencia de numeros reales de valores entre 0 y 1, monotona creciente para cada 1 < j < T,

siendo fXY la funcion de densidad bidimensional que contabiliza la probabilidad de ocurrencia 10 de un foton y viene dada en cada caso por la intensidad normalizada I(x,y) de la imagen correspondiente del par, es decir:

La presente invencion permite generar no solo imagen tridimensional a partir de imagenes desenfocadas de la escena tomadas desde un unico punto de vista, sino tambien la 15 distribucion tomografica de fase de la escena. Ello significa disponer al completo del campo electromagnetico contenido en la escena sin hacer uso de distintos puntos de vista, como ocurre en las camaras plenopticas de captura del campo de luz (Lightfield), con la consiguiente mejora en la resolucion optica final obtenida, que en el caso de las camaras plenopticas esta limitada por el diametro de las subaperturas asociadas a cada punto de

imagen2

y

imagen3

imagen4

imagen5

20 vista.

5

10

15

20

25

30

35

En el contexto de la invention se entendera que una pluralidad de imagenes es un numero de imagenes mayor o igual que dos.

La camara fotografica con que se capturan las imagenes corresponde a un sistema optico convencional: incluye una unica lente, o sistema de lentes, que trabaja a distancia focal fija o variable (indistintamente), y un sensor dispuesto a cierta distancia del sistema optico en el espacio imagen. .

Las imagenes capturadas por la camara son imagenes conjugadas en distintos planos. Cada una incluye elementos enfocados (aquellos elementos dispuestos en el plano de enfoque de la imagen) y elementos desenfocados (los situados por delante y por detras del plano de enfoque).

De acuerdo con el metodo de la invencion, cada par de imagenes de la pluralidad de imagenes capturadas, permite la determination de la fase del frente de onda acumulado hasta la capa de turbulencia conjugada a la position de adquisicion siguiendo las reglas clasicas de lentes convergentes. De forma tal que, restando la contribucion de cada par de imagenes obtenidas a diferentes distancias conjugadas, se logra hallar el valor de la turbulencia a esa distancia en terminos de imagen de fase, de mapa de fase de frente de onda. Asi, cuando la pluralidad de imagenes incluye solo dos imagenes, el metodo de la invencion permite obtener el frente de ondas en un unico plano a distancia conjugada del par de imagenes desenfocadas asociadas.

En una realization preferida, las dos imagenes de cada par de imagenes seleccionado estan tomadas, respectivamente, a uno y otro lado del foco. En una realizacion preferida, las dos imagenes de cada par de imagenes seleccionado estan tomadas, a distancias simetricas a uno y otro lado del foco. Sin embargo, el metodo de la invencion es valido para cualesquier par de imagenes desenfocadas.

El metodo de la invencion es un metodo de tomografia multiconjugada orientado a capa de turbulencia (Layer oriented MCAO), basado en el uso de imagenes desenfocadas de objetos extensos, en lugar de emplear sensores bidimensionales de fase clasicos como el Shack- Hartman o el piramide.

El metodo de la presente invencion permite determinar la amplitud compleja del campo electromagnetico asociado a una escena a partir de la captura de imagenes desenfocadas

5

10

15

20

25

30

de la misma, adquiridas incluso en tiempo real (menor de 10ms en el caso de trabajar en el visible con turbulencia atmosferica, 24 imagenes por segundo en el caso de video,...), con una sola lente y un unico punto de vista, sin que la camara empleada para la captura disponga de una matriz de microlentes en el camino optico.

En una realization el frente de onda viene dado por la expresion:

N-1N-1

W(x,y) = II dpq^pq

p=0q=0

siendo

para cada 0 < p, q < N -1.

Ventajosamente, en esta realizacion se recupera el frente de onda bidimensional desarrollado en funcion de exponenciales complejas, lo que permite obtener directamente la distribution cartesiana de los gradientes horizontal y vertical de fase de frente de onda, y por tanto la utilization de metodos clasicos de integration de los gradientes, tales como filtro de transformada de Fourier o Hudgin.

En una realizacion el frente de onda acumulado se determina para una pluralidad de pares de imagenes.

En una realizacion el metodo comprende adicionalmente determinar la variation de fase entre dos planos del espacio objeto como la resta de los frentes de onda acumulados hasta dichos planos que se han determinado. De manera preferida, se determina la variacion de fase para una pluralidad de planos.

La presente invention permite obtener al completo el campo electromagnetico (modulo y fase), no solo intensidad, trabajando las imagenes desenfocadas en el dominio de medida (no en el dominio transformado), junto con una recuperation tomografica de la fase de frente de onda. Ventajosamente, los resultados trabajando en el dominio de medida resultan muchisimo mas limpios que trabajando en el dominio transformado, donde la ausencia de informacion en ciertas frecuencias espaciales provoca blurring cuando se parte de pocas imagenes desenfocadas. Adquirir pocas imagenes desenfocadas es lo mas apropiado en escenarios de baja iluminacion.

5

10

15

20

25

30

Frente a los metodos del estado de la tecnica que recuperan la fase de frente de onda unicamente en la pupila, la presente invencion presenta la ventaja de recuperar tomograficamente la fase de frente de onda que mejor se ajusta al conjunto de imagenes desenfocadas adquiridas de una escena. La medida tomografica de la fase de frente de onda permite corregir aberraciones en todo el campo de vision de la pupila de entrada.

En una realizacion el metodo comprende adicionalmente determinar, a partir de P imagenes seleccionadas de entre la pluralidad de imagenes capturadas, el valor del lightfield (L) enfocado a distancia F a M valores distintos de u, M < P, como los valores del lightfield que verifican el sistema de ecuaciones:

£"=iLF(n+ [(x-n)/aj],n) = ajF2lj(x), Vj 6 {1...P} A Vx£ {1 ...k}

siendo P el numero de imagenes consideradas para la determinacion del lightfield, F la distancia focal de la lente, LF el valor del lightfield enfocado a distancia F, ajF la distancia de enfoque de la imagen j y jx) la intensidad de la imagen j, y donde [x] denota el entero mas cercano a x,

obteniendo como resultado para cada imagen j, con 1 < j < P, el lightfield LF (x) evaluado en el valor de uj resultante del ajuste, es decir, la vista del lightfield correspondiente al valor u, siendo x y u los vectores bidimensionales que determinan la posicion en el sensor y en la lente de la camara, respectivamente.

A pesar de que se ha descrito la determinacion del lightfield en combination con el procedimiento para determinar la fase de frente de onda segun el primer aspecto inventivo, el metodo de determinacion del lightfield puede llevarse a cabo aisladamente. Asi, en un aspecto inventivo adicional se presenta un metodo para determinar el lightfield que comprende:

a) capturar mediante una camara fotografica una pluralidad de imagenes de la escena, estando las imagenes enfocadas en planos de enfoque dispuestos a distinta distancia, en donde la camara comprende una lente de distancia focal F y un sensor dispuesto a una distancia de la lente igual a su distancia focal, y

b) determinar, a partir de P imagenes seleccionadas de entre la pluralidad de imagenes capturadas, el valor del lightfield (L) enfocado a distancia F a M valores distintos de u, M < P, como los valores del lightfield que verifican el sistema de ecuaciones:

Yjn=iLF{n+ [(x — ri)/aj],n) = ajF2lj(x), Vj 6 {1...P} A Vx 6 {1 ...k}

5

10

15

20

25

30

35

siendo P el numero de imagenes consideradas para la determination del lightfield, F la distancia focal de la lente, LF el valor del lightfield enfocado a distancia F, ajF la distancia de enfoque de la imagen j y jx) la intensidad de la imagen j, y donde [x] denota el entero mas cercano a x,

obteniendo como resultado para cada imagen j, con 1 < j < P, el lightfield LF (x) evaluado en el valor de uj resultante del ajuste, es decir, la vista del lightfield correspondiente al valor u, siendo x y u los vectores bidimensionales que determinan la position en el sensor y en la lente de la camara, respectivamente.

En una realization, el valor del lightfield se determina resolviendo el sistema de ecuaciones mediante mmimos cuadrados, es decir, minimizando la expresion:

||£n=iLF(n + O - n)/aj,n) - afF2Ij(x)\\2.

En un segundo aspecto, se define un dispositivo para determinar la amplitud compleja del campo electromagnetico asociado a una escena, que comprende

medios para capturar imagenes, que comprenden una lente de distancia focal F y un sensor de imagen dispuesto en paralelo a la lente, a cierta distancia de la lente en su espacio imagen, y

medios de procesamiento configurados para llevar a cabo la etapa b) del metodo segun el primer aspecto inventivo.

Todas las caracteristicas y/o las etapas de metodos descritas en esta memoria (incluyendo las reivindicaciones, description y dibujos) pueden combinarse en cualquier combination, exceptuando las combinaciones de tales caracteristicas mutuamente excluyentes.

DESCRIPCION DE LOS DIBUJOS

Para complementar la descripcion que seguidamente se va a realizar y con objeto de ayudar a una mejor comprension de las caracteristicas de la invention, de acuerdo con un ejemplo preferente de realizacion practica de la misma, se acompana como parte integrante de dicha descripcion, un juego de dibujos en donde con caracter ilustrativo y no limitativo, se ha representado lo siguiente:

Las figuras 1 y 2 representan esquematicamente una parte del metodo de la invencion.

5

10

15

20

25

30

La figura 3 representa esquematicamente el lightfield entre la lente y el sensor de una camara.

Las figuras 4 y 5 ejemplifican de manera esquematica una parte del metodo de la invencion.

La figura 6 representa de manera esquematica la obtencion de la fase de frente de onda correspondiente a distintos planos.

Las figuras 7 y 8 muestran recomposiciones de imagen realizadas en domino transformado y en dominio de medida, respectivamente.

REALIZACION PREFERIDA DE LA INVENCION

Reconstruction del frente de onda en dos dimensiones

El metodo de la invencion permite recuperar, a partir de dos o mas imagenes desenfocadas, la distribution cartesiana de los gradientes horizontal y vertical de fase de frente de onda en bases de polinomios, lo que a su vez permite el uso de cualquier metodo de recomposition de la fase a partir de los gradientes, ya sean metodos zonales (Hudgin,...) o modales. En el caso de metodos modales, el conjunto de polinomios sobre el que se desarrolla y ajusta el mapa de fases del frente de onda puede ser elegido segun la necesidad del problema: polinomios de Zernike (coinciden con las aberraciones opticas clasicas o de Seidel), exponenciales complejas (contienen el kernel de la transformada de Fourier, cuyo uso acelera el computo), Karhunen-Loeve (sin forma analrtica pero constituyendo base en pupila anular -tipica en telescopios), etc.

En general, el procedimiento para restaurar el mapa de fases a partir de su desarrollo en un conjunto de polinomios Zj(x,y) comprende considerar la fase del frente de onda en un punto (x,y) como sigue:

(1) W (x, y) = £"= o1 dj zj (x, y)

donde N indica el numero de polinomios utilizados en el desarrollo.

Los gradientes cartesianos horizontal y vertical, Sx y Sy respectivamente, corresponden a las siguientes derivadas parciales del frente de onda:

N-1

(2): d Sx = —W(x,y) = dx v-1 d


: 7 = 0


: N-1

/—\ 00: d sy = —W(x,y) = dy ' d Z,drdZ2i^x-y} 7=0

Suponemos que un foton se desplaza desde un plano -z hasta un plano +z y estimamos el frente de onda en puntos (x, y) del plano intermedio.

La intensidad del frente de onda propagado se representa por una funcion de densidad 5 (PDF) bidimensional para contabilizar la probabilidad de ocurrencia de un foton (que denotaremos por fXY (x, y)), a traves de la funcion de distribution acumulativa (CDF) bidimensional correspondiente (a la que denotaremos C(x, y)).

La funcion de densidad verifica:

10

p +OT p +OT

I I fXY(x,y)dxdy = 1

J — OO J — OO

Construimos la funcion de distribucion acumulativa marginal en la variable x como:

Cx(x) = I fx(s)ds

J — OO

siendo fX una funcion de densidad marginal que se construye a partir de la funcion de densidad (fXY) de la siguiente forma:

15

r +OT

fxto = I fxY(x,y)dy

J — OO

Se conserva para la funcion de densidad marginal la propiedad de ser una funcion de distribucion acumulativa en la variable correspondiente. Asi,

imagen6

fx(x)dx

=1

20 Puesto que se tienen datos en los planos -z y +z, correspondientes a las dos imagenes consideradas, se tienen dos funciones de distribucion acumulativas. Denotamos C1X a la funcion de distribucion acumulativa marginal en el plano -z y C2X a la funcion de distribucion acumulativa marginal en el plano +z.

Dado que partimos de los valores de fXY en los pianos -z y +z, suponemos que los datos asociados al plano -z vienen definidos por f1XY y aquellos asociados al plano +z vienen determinados por f2XY:

Consideramos una secuencia monotona creciente de numeros reales (s(j)) con 1 < j < T, de valores entre 0 y 1. Esto es, 0 < s(j) < 1 para cada 1 < j < T.

Realizamos la especificacion del histograma en la funcion de distribucion acumulativa 10 marginal, buscando la contraimagen de los valores de la funcion de distribucion acumulativa de los valores de s(j). Esto es, buscamos el valor u1X(j) que cumpla:

Cix(uix(j)) = s(j)

para cada 1 < j < T, y el valor u2X(j) que cumpla:

C2x(u2x(D) = s(j)

Asi, para cada valor fijo de s(j) se han encontrado u1X(j) y u2X(j). Graficamente, se ha realizado una busqueda con barrido en abscisas de puntos correspondientes, identificando 15 todas las ordenadas, como se representa esquematicamente en la figura 1.

Lo que proporciona valores mas exactos es realizar ahora un recorrido desde la funcion de densidad en las dos variables para cada uno de estos valores, buscando, para cada valor k desde 1 hasta T, los valores u1Y (k) y u2Y (k) que cumplen:

imagen7

imagen8

y

imagen9

imagen10

5

imagen11

y

imagen12

donde las funciones f1XY(x,y) y f2xy(x>y) corresponden respectivamente a las imagenes consideradas /1(x,y) y /2(x,y).

Graficamente, lo que se hace es asociar a cada valor en la abscisa correspondiente, la 5 ordenada que hace que las contraimagenes por la funcion de distribution acumulada coincidan, como se representa esquematicamente en la figura 2.

El resultado es una malla bidimensional de puntos dados por i(ulx(j),u1Y(k)),j,k = 1... T} a altura -z, y 10 i(u2X(j),u2Y(k)),j,k = 1 ...T} a altura +z,

de forma que para cada 1 < j, k < T, los puntos (u1X(j), u1Y (k)) y (u2Xj), u2Y(k)) vienen

asociados al mismo valor de un rayo en el frente de onda.

15

Las derivadas direccionales del frente de onda en los puntos del plano intermedio se pueden considerar dadas por las expresiones:

, ^ T„, (uix(j) + u2X(/) u1Y(k) + u2Y(k)\ u2X(j) - ulx(/)

(4) 2 ' 2 1= Tz '

para cada 1 < j < T, y

(5)

Wy

Uix(j) + u2X(j) u1Y(k) + u2Y(k) 2 ' 2

u2Y(k') ulY(k)

2 z

para cada 1 < k < T.

20

Por tanto, podemos escribir el sistema de las ecuaciones (2) y (3) como:

U2X O') — U1X (j)

2 z

u2Y(k') ulY(k)

2 z

o de forma simplificada:

(6) S=A-d

ZdpdxZp(x'y)

p = 0

.. U1 x(j)+u?.x(j) u1Y(k)+u7Y(k)

x 2 ' y 2

imagen13

.. ui x(j)+u?.x(j) u1Y(k)+u7Y(k)

x 2 ' y 2

donde la incognita es la matriz de coeficientes d. La ecuacion (6) representa un sistema 25 sobredeterminado de ecuaciones donde hay mas ecuaciones (2T2) que incognitas (N), siendo 2T2 el numero de pixeles (x,y) de que se dispone.

Los coeficientes d del desarrollo pueden ser hallados como el mejor ajuste sobre el plano en el sentido de mmimos cuadrados. Una forma preferida de resolver el sistema anterior es la resolucion por mmimos cuadrados como:

(7) d = (AtA)-1AtS = A+ S

La ecuacion (7) puede ser resuelta por multitud de tecnicas conocidas para el experto en la materia, dependiendo de si la matriz AtA es o no singular.

10

En una realization particular, el frente de onda se desarrolla en funcion de exponenciales complejas. Truncaremos el desarrollo en un cierto N > 1 de forma que este puede ser escrito en la forma

N-1N-1

W(x,y) = II dpq^pq

p=0q=0

donde (dpq)p,q > 0 es una familia doblemente indexada de coeficientes, y siendo

(8) Z„,

15 para cada 0 < p, q < N - 1.

En estos momentos se puede resolver un problema de mmimos cuadrados con los datos obtenidos ya que de la expresion (8), derivando respecto a x o y, se tiene

N-1N-1

(9) 5x^(x'^) = ^ ^ dpq — Zpq(x,y),

p=0 q=0 N-1N-1

(10) ~gZ^(x,y') = ^ ^ dpq—Zpq(x,y),

y p=0q=0 y

20

Asi, para cada 0 < p, q < N -1:

d 2 nip

— Zpq(x,y) = Zpq ^ ,

d 2niq

~^Zpq(X,y) = Zpq ^ .

Evaluando en los puntos medios, teniendo en cuenta las expresiones (4) y (5) y sustituyendo estos valores en las ecuaciones (9) y (10) se llega al sistema sobredeterminado:

N-1N-1

u2xii) - ulx(j)^s^ 2nip ^ (ulx{j) + u2X(j) u1Y{k) + u2Y(k)\

2 z ~ LL vq N pq\ 2 ’ 2 I

p=0q=0 v 7

N-lN-i

u2Y(k) - u1Y(k)^s^ 2niq ^ (ulx(j) + u2X(j) u1Y(k) + u2Y(k)\

2z ~ LL vq N pq\ 2 ' 2 I

p=0 q=0 v '

con N2 incognitas y 2T2 ecuaciones. El valor de Tviene dado por los datos, que se considera que sera mucho mayor que el numero de sumandos en el desarrollo de la fase en terminos 5 de exponenciales.

En este caso los coeficientes del desarrollo pueden ser obtenidos de la expresion:

-2[i sin(nP/N)DF{S*) + i sm^/^OFtf*} ]

4[sin'(*'/JV) + sin>(*»/w)]

donde DF denota la transformada discreta de Fourier.

Restauracion tomografica de la imagen

10

El metodo de la invencion proporciona una restauracion bidimensional de la fase de frente de onda a partir de las imagenes desenfocadas. La fase de frente de onda obtenida corresponde a los desfases acumulados hasta la posicion conjugada en el espacio objeto. Esto es, que si se toman dos imagenes desenfocadas tan alejadas del foco de la lente que 15 casi se correspondan con imagenes tomadas en pupila (o con muy poca separacion de la pupila de entrada del sistema optico), se obtendria la fase acumulada en todo el campo de vision de la escena hasta la llegada al objetivo. A medida que el par de imagenes desenfocadas empleadas se acercan al foco, el plano conjugado en el espacio objeto corresponded a un plano mas alejado de la pupila de entrada, y describira la fase 20 acumulada en la escena hasta ese plano.

La diferencia entre ambas fases acumuladas proporciona la variacion de fase presente entre el plano mas alejado y el plano pupila del sistema optico. Por tanto, cuanto mayor sea el numero de imagenes desenfocadas empleadas mas completas seran la discretizacion del 25 espacio objeto y la distribucion tomografica obtenida de la fase de frente de onda. Esta distribucion tomografica de la fase de frente de onda tendra la resolucion optica original

5

10

15

20

25

30

35

bidimensional asociada al sensor de captura, y la resolution tridimensional (en eje optico z) que el numero de imagenes empleadas permita. Es importante destacar que la resolucion tridimensional no coincide estrictamente con el numero de planos o imagenes desenfocadas adquiridas, pues es posible considerar cualquier pareja de planos de adquisicion para obtener una subdiscretizacion de fases de frente de onda acumuladas, como se representa esquematicamente en la figura 6.

Con los planos Ia e Ib se halla la fase acumulada W^x,y) hasta la pupila Con Ia e Ib' se halla la fase acumulada W2(x,y). La diferencia entre W2 y W1 proporciona la fase en el tramo senalado por la llave. Usando mas planos (mas imagenes capturadas), aumentamos la resolucion en eje z de la fase, y obtenemos un mapa tridimensional de la fase de frente de onda.

El metodo de la presente invention tiene aplicacion en cualquier campo tecnico en el que se requiera conocer el frente de onda asociado a la observation de una escena, incluyendo la fotografia computacional y la optica adaptativa, en particular en aplicaciones de observaciones astronomicas para obtener el mapa tridimensional de turbulencias (fases de frente de onda) asociado a una columna de la atmosfera, en aplicaciones en las que sea necesario corregir la vision a traves de medios turbulentos (por ejemplo en moviles, microscopios, endoscopios o gafas de realidad aumentada), en aplicaciones para la medida tomografica de las variaciones de mdice de refraction en muestras de tejido organico transparentes o en aplicaciones de comunicaciones opticas a traves de medios turbulentos (atmosfera, oceano, fluidos corporales...).

Recomposition de la intensidad de la imagen

El lightfield L es una representation en cuatro dimensiones de los rayos de luz que atraviesan el objetivo de una camara. Por simplicidad, se usara una notation simplificada de dos dimensiones. Asi, LF(x,u) representa el rayo que atraviesa la lente principal de la camara en la position u = (u1, u2) y llega al sensor en la position x = (x1, x2) para una camara de distancia focal F, como se representa en la figura 3.

Se tiene, por tanto, un volumen de 4 dimensiones que representa todos los rayos que entran en la camara y sus posiciones de llegada al sensor. Ng (Ng, R., Fourier slice photography, In ACM Transactions on Graphics (TOG), Vol. 24, No. 3, pp. 735-744, ACM, 2005, July) demuestra que la imagen que se proyectaria sobre el sensor si este estuviera a una

15

5

10

15

20

25

30

distancia aF seria correspondiente a una proyeccion en 2 dimensiones del lightfield a un angulo 9 = tan 1(1/a):

como se representa esquematicamente en la figura 4.

El metodo de la invencion se basa en interpretar Ia(x) como una suma de imagenes a distintos valores u desplazados entre s^ como se representa esquematicamente en la figura 5, y en estimar imagenes a distintos valores u, encontrando que conjunto de imagenes desplazadas debido a un valor a’ y sumadas entre si se aproximan mas a la imagen de entrada capturada con una distancia de enfoque Fa’. De este modo el desplazamiento en la dimension x (en pixeles) es u+(x-u)/a’.

El metodo comprende estimar el valor del lightfield enfocado a distancia F (LF) a M valores distintos de u a partir de P imagenes (I1(x), I2(x)...IP(x)) enfocadas a distancias aF, a2F ... aPF y capturadas con una camara fotografica convencional. Para ello se buscan los valores del lightfield de modo que se cumpla:

La anterior expresion puede representarse de manera sencilla por un sistema lineal de ecuaciones del tipo Ax = b. Este sistema puede resolverse con encontrando x tal que

minimice ||Ax -6||2.

Hasta ahora se han supuesto imagenes de un unico canal. En el caso de imagenes en color (varios canales) basta con generar una vez la matriz A. Posteriormente se crea un nuevo vector b conteniendo la information de las imagenes en el canal que se desea resolver.

El metodo para recomponer la intensidad de la imagen segun la invencion permite la generation de una sola imagen completamente enfocada y con toda la resolution optica (“all-in-focus”), generacion del par estereo all-in focus, generacion de imagen multiestereo (lightifield) all-in-focus y generacion de Lightfield enfocado a gusto donde se desee, con aplicaciones en microscopia, fotografia, endoscopia, cine, etc.

imagen14

imagen15

Ejemplo:

Supondremos dos imagenes de 8 elementos I1(x) e I2(x) enfocadas a distancias a1=2 y a2=4, con F = 1 m. El sumatorio en este caso es con indices desde n = 1 hasta n = 2.

Las ecuaciones para j = 1 son:

Y para j=2

5 Desarrollando:

LF

Lf

1 + 1 + 1+

1+

r1 - 1]

. 2 . r2 - 1] . 2 . r3 - 1]

. 2 .

r8- 1i

. 2 .

r1 -1]

. 4 . r2 -1] . 4 . r3 -1]

. 4 .

r8 -1]

. 4 .

,1^ + Lf

, 1^ + Lp , 1^ + Lp

, 1^ + Lp

, 1^ + Lp , 1^ + Lp , 1^ + Lp

, 1^ + Lp

2+

1-2

2

2-2

2

3-2

,2

8-2

,2

1-2

4

2-2

4

3-2

4

,2

8-2

4

,2

22/1(1)

22/i(2)

22/i(3)

22/i(8)

42/2(1)

42/2(2)

42/2(3)

42/2(8)

Lf(1,1) + Lf(2,2) = 22/1(1)

Lf(2,1) + Lf(2,2) = 22/i(2)

Lf(2,1) + Lf(3,2) = 22/i(3) Lf(3,1) + Lf(3,2) = 22/1(4) Lf(3,1) + Lf(4,2) = 22/!(5) Lf(4,1) + Lf(4,2) = 22/i(6) Lf(4,1) + Lf(5,2) = 22/i(7) Lf(5,1) + Lf(5,2) = 22/i(8) LF(1,1)+LF(2,2) =42/2(1) LF(1,1)+LF(2,2) =42/2(2) LF(2,1)+LF(2,2) =42/2(3) LF(2,1)+LF(3,2) =42/2(4) LF(2,1)+LF(3,2) =42/2(5) LF(2,1)+LF(3,2) =42/2(6)

En forma matricial:

1: 0 0 0 0 0 0 0 0 1 0 0

0: 1 0 0 0 0 0 0 0 1
0
0

0: 1 0 0 0 0 0 0 0 0 1
0

0
0: 1 0 0 0 0 0 0 0 1
0

0
0: 1 0 0 0 0 0 0 0 0 1

0
0
0: 1 0 0 0 0 0 0 0 1

0
0
0: 1
0
0
0
0
0
0
0
0

0
0
0
0: 1
0
0
0
0
0
0
0

0
0
0
0
0
0
0
0
0: 1
0
0

0
0
0
0
0
0
0
0
0: 1
0
0

0: 1 0 0 0 0 0 0 0 1
0
0

1
1: 0 0 0 0 0 0 0 0 1 0

1
1: 0 0 0 0 0 0 0 0 1 0

0: 1 0 0 0 0 0 0 0 0 1
0

0
0: 1 0 0 0 0 0 0 0 1
0

0
0: 1 0 0 0 0 0 0 0 0 1

LF(3,1)+LF(3,2) =42/2(7) LF(3,1)+LF(4,2) =42/2(8)

0000: ■LF(i,iy ■22/!(1)-

0 0 0 0: £f(2,1) 22/i(2)

0 0 0 0: Lf(3,1) 22/i(3)

0 0 0 0: Ip (4,1) 22/i(4)

0 0 0 0: If(5,1) 22/i(5)

0 0 0 0: If (6,1) 22/i(6)

10 0 0: if (7,1) 22/i(7)

10 0 0: If (8,1) 22/i(8)

0 0 0 0: £f(1,2) 42/2(1)

0 0 0 0: if (2,2) 42/2(2)

0 0 0 0: If (3,2) 42/2(3)

0 0 0 0: if (4,2) 42/2(4)

0 0 0 0: If (5,2) 42/2(5)

0 0 0 0: If (6,2) 42/2(6)

0 0 0 0: if (7,2) 42/2(7)

0 0 0 0-: -if (8,2)- -42/2(8)-

La resolucion del sistema anterior proporciona los valores del lightfield LF. Los valores del 5 lightfield que no estan definidos en ninguna ecuacion en el sistema anterior toman el valor 0.

La figura 7 muestra la recomposicion de imagen de una escena realizada en domino transformado, segun un procedimiento del estado de la tecnica. La figura 8 muestra la recomposicion de imagen de la misma escena realizada en dominio de medida, empleando 10 el procedimiento de la presente invencion de obtencion del lightfield a partir de imagenes desenfocadas. Aunque las imagenes de las figuras 7 y 8 no estan normalizadas al mismo valor de intensidad de senal, puede apreciarse que la recomposicion realizada en el dominio de medida es mas limpia, mas contrastada, en los bordes de las figuras de los tests de resolucion. La zona marcada con un recuadro y ampliada para su mejor apreciacion ilustra 15 perfectamente la diferencia de calidad entre ambas recuperaciones.

Claims

REIVINDICACIONES

10

15

1.- Metodo para determinar la amplitud compleja del campo electromagnetico asociado a una escena, que comprende las siguientes etapas:

a) capturar mediante una camara fotografica una pluralidad de imagenes de la escena, estando las imagenes enfocadas en planos de enfoque dispuestos a distinta distancia, en donde la camara comprende una lente o sistema de lentes de distancia focal F y un sensor dispuesto a cierta distancia de la lente en el espacio imagen,

b) tomar al menos un par de imagenes de la pluralidad de imagenes y determinar el frente de onda acumulado hasta el plano conjugado en el espacio objeto correspondiente al plano intermedio a los planos de enfoque de las dos imagenes del par, determinando el frente de onda W(x,y) como:

N-l

W(x,y) = ^ dp Zp(x,y)

p = 0

siendo {zp(x,y)}un conjunto de polinomios predeterminado y N el numero de polinomios empleados en el desarrollo,

en donde los coeficientes dj se determinan mediante la resolucion del sistema de ecuaciones:

U2X O') — U1X O') 2

2 z

ZdpdxZp(x,y)

p = 0

.. uix(j)+u?.x(j) n. UiY(k)+u7Y(k) x 2 , y 2

u2Y(k') UlY(k) 2 Z

imagen1

.. uix(j)+U7X(j) n. u1Y(k)+u7Y(k) x 2 , y 2

siendo 2z la distancia entre los planos de enfoque de las dos imagenes del par, siendo [(ulx(j),u1Y(k)),j, k = 1 ...T} puntos pertenecientes a la primera imagen del par, y 20 [(u2x(j),u2Y(k)),j,k = 1 ...T} puntos pertenecientes a la segunda imagen del par, tales que

para cada 1 < j, k < T, se verifica

ruiY(k) ruix(j)

I I f1XY(x,y)dxdy = s(j)s(k)

y

u2Y(k) ru2xU)

ru2Y(K) r J — TO J -

f2XY(x,y)dxdy = s(j)s(k)

siendo sj) una secuencia de numeros reales de valores entre 0 y 1, monotona creciente para cada 1 < j < T,

siendo fXY la funcion de densidad bidimensional que contabilizar la probabilidad de ocurrencia de un foton y viene dada en cada caso por la intensidad normalizada I (x,y) de la imagen correspondiente del par, es decir:

ru1Y(k) ruix(j")

I I I1(x,y)dxdy = s(/)s(k)

U2V(k) ru2X(j)

ru2Y(K-) r J J -

Iz(x,y)dxdy = s(j)s(k).

5
2.- Metodo segun la reivindicacion 1, en donde el frente de onda viene dado por la expresion:

N-lN-l

W(x,y) = II dpq^pq (x,y)

p=0q=0

siendo

1 2ni

7^vq(x,y)=-e n

(px+qy)

para cada 0 < p, q < N -1.

10 3.- Metodo segun cualquiera de las reivindicaciones anteriores, que comprende determinar

el frente de onda acumulado para una pluralidad de pares de imagenes.
4. - Metodo segun la reivindicacion 3, que comprende determinar la variacion de fase entre dos planos del espacio objeto como la resta de los frentes de onda acumulados hasta dichos

15 planos.
5. - Metodo segun la reivindicacion 4, que comprende determinar la variacion de fase para una pluralidad de planos objeto.

20 6.- Metodo segun cualquiera de las reivindicaciones anteriores, que comprende

adicionalmente:

determinar, a partir de P imagenes seleccionadas de entre la pluralidad de imagenes capturadas, el valor del lightfield (L) enfocado a distancia F a M valores distintos de u, M < P, como los valores del lightfield que verifican el sistema de ecuaciones:

25 In=iLp(n + [(x — n)/aj],n) = a^F2Ij(x'), Vj e {1...P} A Vx£ {1 ...k}

siendo P el numero de imagenes consideradas para la determinacion del lightfield, F la distancia focal de la lente, LF el valor del lightfield enfocado a distancia F, ajF la distancia de

5

10

15

20

25

30

enfoque de la imagen j y Ij(x) la intensidad de la imagen j, y donde [x] denota el entero mas cercano a x,

obteniendo como resultado para cada imagen j, con 1 < j < P, el lightfield LF (x) evaluado en el valor de uj resultante del ajuste, es decir, la vista del lightfield correspondiente al valor uj, siendo x y u los vectores bidimensionales que determinan la posicion en el sensor y en la lente de la camara, respectivamente.
7. - Metodo segun la reivindicacion 6, en donde el valor del lightfield se determina resolviendo el sistema de ecuaciones mediante mmimos cuadrados, es decir, minimizando:

||£n=iLF(n + (x - n)/aj,n) - afF2Ij(x)\\2.
8. - Metodo segun cualquiera de las reivindicaciones anteriores, en el que las dos imagenes de cada par de imagenes seleccionado estan tomadas, respectivamente, a uno y otro lado del foco.
9. - Metodo segun la reivindicacion anterior, en el que las dos imagenes de cada par de imagenes seleccionado estan tomadas a distancias simetricas a uno y otro lado del foco.
10. - Dispositivo para determinar la amplitud del campo electromagnetico asociado a una escena, que comprende

medios para capturar imagenes, que comprenden una lente de distancia focal F y un sensor de imagen dispuesto en paralelo a la lente, a cierta distancia de la lente en su espacio imagen y

medios de procesamiento configurados para llevar a cabo la etapa b) del metodo segun la reivindicacion 1.
11. - Dispositivo segun la reivindicacion 10, en el que los medios de procesamiento estan configurados adicionalmente para llevar a cabo las acciones definidas en cualquiera de las reivindicaciones 2 a 9.