ES2714172T3 - Procedimiento y dispositivo, así como programa de ordenador para determinar una representación de un borde de lente de gafas - Google Patents

Procedimiento y dispositivo, así como programa de ordenador para determinar una representación de un borde de lente de gafas Download PDF

Info

Publication number
ES2714172T3
ES2714172T3 ES17153651T ES17153651T ES2714172T3 ES 2714172 T3 ES2714172 T3 ES 2714172T3 ES 17153651 T ES17153651 T ES 17153651T ES 17153651 T ES17153651 T ES 17153651T ES 2714172 T3 ES2714172 T3 ES 2714172T3
Authority
ES
Spain
Prior art keywords
glasses
lens
image
data
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES17153651T
Other languages
English (en)
Other versions
ES2714172T5 (es
Inventor
Claudia Nieuwenhuis
Oliver Schwarz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Vision International GmbH
Carl Zeiss AG
Original Assignee
Carl Zeiss Vision International GmbH
Carl Zeiss AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=57914863&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=ES2714172(T3) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Carl Zeiss Vision International GmbH, Carl Zeiss AG filed Critical Carl Zeiss Vision International GmbH
Application granted granted Critical
Publication of ES2714172T3 publication Critical patent/ES2714172T3/es
Publication of ES2714172T5 publication Critical patent/ES2714172T5/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00Optical parts
    • G02C7/02Lenses; Lens systems ; Methods of designing lenses
    • G02C7/024Methods of designing ophthalmic lenses
    • G02C7/028Special mathematical design techniques
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C13/00Assembling; Repairing; Cleaning
    • G02C13/003Measuring during assembly or fitting of spectacles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B24GRINDING; POLISHING
    • B24BMACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B13/00Machines or devices designed for grinding or polishing optical surfaces on lenses or surfaces of similar shape on other work; Accessories therefor
    • B24B13/06Machines or devices designed for grinding or polishing optical surfaces on lenses or surfaces of similar shape on other work; Accessories therefor grinding of lenses, the tool or work being controlled by information-carrying means, e.g. patterns, punched tapes, magnetic tapes
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C13/00Assembling; Repairing; Cleaning
    • G02C13/003Measuring during assembly or fitting of spectacles
    • G02C13/005Measuring geometric parameters required to locate ophtalmic lenses in spectacles frames
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00Optical parts
    • G02C7/02Lenses; Lens systems ; Methods of designing lenses
    • G02C7/024Methods of designing ophthalmic lenses
    • G02C7/027Methods of designing ophthalmic lenses considering wearer's parameters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/149Segmentation; Edge detection involving deformable models, e.g. active contour models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Eyeglasses (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Procedimiento implementado por ordenador para la determinación automática de la representación del borde (26) de una lente de gafas (28) o de una lente de gafas izquierda (28) y de una lente de gafas derecha (29) para un usuario de gafas (20), que comprende proporcionar una imagen (36) del usuario de gafas (20) con datos de imágenes b(x) al usuario de gafas (20) con una montura de gafas puesta, y calcular datos de información I(x) derivados de los datos de imágenes b(x), caracterizado por los siguientes pasos: determinar un segmento de imagen (38) de la imagen (36) del usuario de gafas (20) a partir de sus características faciales, en donde los datos de información I(x) son datos de información de los cantos (46) calculados a partir de datos de imágenes del segmento bA(x) del segmento de imagen (38); calcular una función de costos E(u) que enlaza los datos de información I(x) con datos de la lente de gafas u(x), describiendo los datos de la lente de gafas u(x) la extensión en el espacio de al menos una lente de gafas (28) sujeta en la montura de gafas (24) y establecer un recorrido de un borde (26) de la lente de gafas (28) o de la lente de gafas izquierda (28) y de la lente de gafas derecha (29) mediante la optimización de la función de costos E(u).

Description

DESCRIPCION
Procedimiento y dispositivo, asi como programa de ordenador para determinar una representacion de un borde de lente de gafas
La invencion se refiere a un procedimiento implementado por ordenador y a un dispositivo para la determinacion automatica de una representacion del borde de al menos una lente de gafas para un usuario de gafas. Ademas de ello, la invencion se refiere a un programa de ordenador con el que se puede llevar a cabo el procedimiento antes mencionado.
Por la representacion del borde de una lente de gafas, la invencion entiende una representacion del borde de apoyo de la lente de gafas recogida en la norma EN ISO 13666:2012 (D/E) en el parrafo 13.1.
Una representacion del borde de una lente de gafas es un conjunto de datos, a partir del cual se puede determinar de manera inequivoca el recorrido tridimensional del borde de apoyo de la lente de gafas, alejado del usuario de gafas sobre la base de magnitudes adicionales que describen la lente de gafas. Una representacion del borde de una lente de gafas puede ser, p. ej., la superficie rodeada por la proyeccion del borde de la lente de gafas en el plano de la imagen de un sensor de imagenes de un dispositivo de captacion de imagenes en la que se representa la lente de gafas para la captacion de imagenes.
En el caso de una gafa de borde completo, el borde de apoyo de una lente de gafas corresponde a un borde interno de la montura de gafas. En el caso de una gafa de borde parcial, por el borde de apoyo de una lente de gafas se ha de entender, por una parte, el borde de una lente de gafas correspondiente al borde interno de la montura de gafas y el borde externo de la lente no unido a la montura de gafas. El borde de apoyo de una lente de gafas en una gafa sin borde es el borde externo de la lente.
Con el fin de adaptar correctamente las lentes de gafas en una montura de gafas es necesario, por una parte, determinar los denominados parametros de centrado, con el fin de que los centros opticos de las lentes puedan coincidir con los ejes visuales de los ojos correspondientes con el fin de conocer asi, p. ej., la informacion sobre la distancia de la pupila y la informacion sobre la altura de las pupilas en relacion con la montura de gafas. Por otra parte, es necesario conocer el borde de apoyo de la lente de gafas, predeterminado por la montura de gafas en el que se haya de alojar la lente de gafas.
Junto a la informacion de la distancia de la pupila y la informacion sobre la altura de las pupilas en relacion con la montura de gafas, por la expresion parametros de centrado se sub-suman, en particular, las siguientes magnitudes: distancia monocular de la pupila PD, distancia del vertice de la cornea HS tras el requisito del punto de referencia y/o tras el requisito del punto de giro del ojo, distancia monocular del punto de centrado, coordenadas del punto de centrado, distancia del disco, descentrado del punto de centrado, altura y anchura del disco, distancia media del disco, inclinacion de la lente de gafas a, angulo del disco de la montura p, altura de esmerilado.
Los parametros de centrado son determinados regularmente por un optico. Parametros de centrado importantes se definen, p. ej., en la norma EN ISO 13666:2012 (D/E) y pueden determinarse al estar de pie o sentados uno frente a otro un optico y un sujeto de estudio, en donde el sujeto de estudio se coloca la montura de su eleccion con un disco de lente incorporado en la misma. Se ruega al voluntario mirar en la lejania, y el optico dibuja entonces a simple vista sobre el disco o sobre una lamina de contacto con una cruz la vision de conjunto tal como la reconoce en el caso de la mirada mutua. Esta cruz (cruz de centrado) determina entonces la posicion del punto medio optico de la lente de gafas a incorporar en la montura. Este procedimiento se lleva a cabo individualmente para cada uno de los ojos de un sujeto de estudio. La distancia de la cruz de centrado determinada de esta manera es la distancia de la pupila PD.
Sin embargo, entretanto, para la determinacion de los parametros de centrado se emplean tambien sistemas de medicion automatizados. Un sistema de medicion de este tipo se describe, p. ej., en el documento WO 01/84222 A1. Este sistema contiene una videocamara digital dispuesta de manera desplazable en altura en una columna, cuyo objetivo esta dispuesto, junto con un espejo y una fuente de luz, en la zona de la superficie frontal de la carcasa. El sistema posibilita, en particular, la medicion de distancias y la deteccion de medidas que se han de tener en cuenta para el esmerilado de lentes de gafas. En el sistema existe un ordenador unido con la videocamara digital, el cual, a partir de la imagen de un usuario de gafas con una montura de gafas y con un arco del micrometro ajustado a la montura de gafas, determina parametros de centrado para la montura de gafas por medio de la evaluacion de la imagen.
Para un optico que asesora al cliente final es importante que la determinacion de los parametros de centrado se pueda llevar a cabo de modo lo mas sencillo, rapido y fiable posible. Con el fin de que el optico pueda asesorar de forma altamente cualitativa a los clientes finales son de interes, por lo tanto, flujos de trabajo que sean inherentemente inequfvocos y que se puedan llevar a cabo de forma rapida.
En D. Borza et al., Eyeglasses Lens Contour Extraction from Facial Images Using an Efficient Shape Description”, Sensors, Tomo 13, N° 14, Pags. 13638-13658 (2013) se describe un procedimiento implementado por ordenador del tipo mencionado al comienzo para la determinacion del borde de lentes de gafas en una primera imagen de un usuario de gafas, en el que la cantidad de puntos de los puntos de imagenes situados en el borde de las lentes de gafas se modela como una transposicion de funciones matematicas basadas en la definicion de los denominados descriptores de Fourier. Estas funciones matematicas describen diferentes formas del borde de la gafa. Las fracciones utilizadas aquf para la modelacion del borde de las lentes de gafas se eligen de forma estocastica, es decir, segun un principio aleatorio, a partir de una cantidad finita de posibles funciones. El modelo descrito con ayuda de las funciones elegidas para el borde de las lentes de gafas se compara y evalua entonces con un borde de lente de gafas determinado en un primer procedimiento de deteccion de los cantos.
En C. Nieuwenhuis et al., Spatially Varying Color Distributions for Interactive Multilabel Segmentation, IEEE Transactions on Pattern Analysis and Machine Intelligence, IEEE Comuuter Society, EE.UU. Tomo 35, N° 5, Pags.
1234 - 1247 (2013) se describe un procedimiento para la segmentacion de diferentes zonas en imagenes digitales. Aquf, se evalua el color de los puntos de imagen en las imagenes digitales. Para ello, una persona de servicio marca en un ordenador diferentes zonas de la imagen que han de ser segmentadas, manualmente, p. ej., con un raton de ordenador. Las diferentes zonas de la imagen se segmentan entonces mediante optimizacion de una funcion de costos basada en las probabilidades condicionadas. Para ello, para cada uno de los puntos de imagen de las imagenes se maximiza, con ayuda de la informacion del color a las zonas de imagenes marcadas manualmente la probabilidad condicionada de que el punto de la imagen se encuentre en una zona de la imagen determinada.
En A. Fernandez et al., Glasses detection on real images based on robust alignment” Machine Vision and Applications, Springer Verlag, Tomo 26, N° 4, Pags. 519-531 (2015) se da a conocer un procedimiento para la evaluacion de fotograffas de personas, con el fin de reconocer si las personas son usuarios de gafas. Este procedimiento evalua diferentes caracterfsticas faciales de personas utilizando datos de ejemplos de un banco de datos en el que estan almacenados datos caracterfsticos de personas con y sin gafas.
De C. Wu et al., Automatic Eyeglasses removal from Face Images, IEEE Transactions on Pattern Analysis and Machine Intelligence, IEEE Comuuter Society, EE.UU. Tomo 26, N° 3, Pags. 332 - 336 (2004) se da a conocer un procedimiento, el cual sirve para la retirada de gafas y lentes de gafas a partir de fotograffas digitales de personas. El procedimiento utiliza en este caso modelos estudiados, elegidos estocasticamente, para una montura de gafas. El documento DE 10 2011 115 239 A1 5 describe determinar, en una imagen digital de un usuario de gafas, el contorno del borde de las lentes de gafas recurriendo a un conjunto de datos de trazador especfficos para la lente de gafas, que contiene la informacion del borde de la lente de gafas.
Mision de la invencion es indicar una representacion exacta del borde de una lente de gafas que pueda ser incorporada en una montura de gafas, p. ej., con el fin de tener en cuenta esta informacion en la determinacion de parametros de centrado.
Para la solucion de este problema se proponen las combinaciones de caracterfsticas indicadas en la reivindicacion 1 y la reivindicacion 15. Ejecuciones ventajosas y perfeccionamientos de la invencion resultan de las reivindicaciones dependientes.
Para un optico es importante tener, en el caso de la determinacion de parametros de centrado, un flujo de trabajo lo mas rapido e inequfvoco posible con el fin de conseguir una elevada calidad de asesoramiento que tiene como foco al cliente final y que no este dominado por procesos tecnicos. A este respecto, es necesario un modo de funcionamiento (robustez) lo mas exento de perturbaciones posible de los procedimientos automaticos. Esto se puede conseguir con metodos del analisis digital de imagenes y del aprendizaje mecanico.
Los autores de la invencion han reconocido que con metodos del analisis digital de imagenes se puede conseguir determinar el borde de lentes de gafas adaptado a una montura de gafas predeterminada, no solo con una elevada exactitud, sino tambien con una gran fiabilidad de un modo muy robusto frente a influencias erroneas.
De acuerdo con la invencion, para determinar la representacion del borde de una lente de gafas o de una lente de gafas izquierda y una lente de gafas derecha para un usuario de gafas se realizan los siguientes pasos:
Se proporcionan datos de imagenes b(x) del usuario de gafas con una montura de gafas puesta.
Se calculan datos de informacion I(x) derivados de los datos de imagenes b(x).
Se calcula una funcion de costos E(u) que enlaza los datos de informacion I(x) con datos de la lente de gafas u(x), describiendo los datos de la lente de gafas u(x) la extension en el espacio de al menos una lente de gafas sujeta en la montura de gafas, y luego se establece el recorrido de un borde de la lente de gafas o de la lente de gafas izquierda y de la lente de gafas derecha mediante la optimizacion de la funcion de costos E(u).
De acuerdo con la invencion, la funcion de costos E(u) puede ser una suma de terminos de energia ponderados. Al optimizar la funcion de costos E(u) bajo la condicion obligatoria de que se penalizan desviaciones de un modelo de color o de un modelo de lente de gafas y que se tienen en cuenta reflejos en una lente de gafas o en una montura de gafas, puede alcanzarse una elevada precision para una representacion del borde de una lente de gafas adaptada a una montura de gafas. Condiciones obligatorias en la optimizacion de la funcion de costos pueden ser tambien condiciones de simetria en 2D o 3D establecidas a una representacion del borde de una lente de gafas. Es ventajoso que la optimizacion de la funcion de costos E(u) tenga lugar solo dentro de una seccion de interes (region de interes) que esta establecida por las caracteristicas faciales detectadas.
Se ha de observar que la funcion de costos E(u) en el marco de la invencion puede ser minimizada a varios tipos, p. ej., a traves de metodos continuos (enfoques primales-duales), metodos de corte de graficos discretos, modelos de contorno activo o similares. Metodos continuos se definen debido a que describen a la imagen como una funcion continua y, con ello, la funcion de costos esta definida en un espacio matematico continuo. La discretizacion de la funcion de costos sobre la base de puntos de imagenes en datos de imagenes u(x) (base de pixeles) tiene lugar preferiblemente solo en una ultima etapa antes de la optimizacion. A diferencia de ello, los denominados metodos de optimizacion discretos definen la funcion de optimizacion directamente en el plano de puntos de imagenes (plano de pixeles). Los metodos continuos tienen la ventaja, frente a los metodos discretos, de que evitan artefactos en los cantos y son mucho mas facilmente paralelizables, lo cual posibilita rapidos calculos en una tarjeta grafica.
Los datos de informacion I(x) calculados, derivados de los datos de imagenes b(x), pueden comprender una imagen de informacion de cantos g(x) determinada a partir de los datos de imagenes b(x) detectados mediante un algoritmo de deteccion de cantos. De este modo, en una imagen de la cara de un usuario de gafas se pueden reconocer monturas de gafas. El algoritmo de deteccion de cantos puede contener, p. ej., un detector de cantos. Un detector de cantos de este tipo posibilita detectar en los datos de imagenes b(x) puntos de imagenes que corresponden a pixeles fotosensibles en el plano de la imagen del sensor de imagenes de un dispositivo de captacion de imagenes y se encuentran en los cantos de la montura de gafas. En este caso, para cada uno de los puntos de imagenes se indica un valor que representa la probabilidad de que un canto pertenezca al canto de la gafa. El detector de cantos puede ser tambien un denominado detector de cantos general, el cual detecta cualquier tipo de canto de imagen o puede haber sido entrenado especialmente a los cantos de gafas. De este modo se puede diferenciar, p. ej., entre cantos de monturas de gafas y cantos de no monturas de gafas o entre un canto de la montura de gafas externo y el canto de la montura de gafas interno.
El detector de cantos en el algoritmo de deteccion de cantos puede ser, en particular, un detector de cantos del grupo gradiente, gradiente de color, detector del borde de Canny, filtro orientado, filtro Sobel. Es posible que el algoritmo de deteccion de cantos para la deteccion de cantos recurra a un banco de filtros con una cantidad de filtros tales como, p. ej., filtros de Gabor o filtros estudiados. Tambien es ventajoso que el algoritmo de deteccion de cantos este configurado como un algoritmo autodidacta.
Los autores de la invencion han encontrado que con ayuda del denominado aprendizaje mecanico se puede conseguir que la determinacion del borde de una lente de gafas que esta adaptado para una montura de gafas, se pueda garantizar no solo con una elevada precision, sino tambien con una gran fiabilidad de una manera que es muy robusta frente a influencias de errores.
Una idea de la invencion es que los datos de informacion I(x) calculados, derivados de los datos de imagenes b(x), comprendan una imagen de informacion de color f(x) determinada a partir de los datos de imagenes b(x) detectados mediante un algoritmo de evaluacion del color que evalua el color de datos de imagenes b(x). La funcion de costos E(u) puede ser, en particular, una suma ponderada de un termino de costos de deteccion de cantos Eborde(u) y un termino de costos de evaluacion del color Ecolor(u).
Un algoritmo de evaluacion del color de este tipo sirve para diferenciar puntos de imagenes, que corresponden a puntos situados en una lente de gafas, de puntos de imagenes que corresponden a puntos situados en la montura de gafas o a puntos situados en el fondo de la montura de gafas. El algoritmo de evaluacion del color puede utilizar para ello un modelo de color, p. ej., un modelo del color de la piel, que separa puntos de imagenes, que corresponden a puntos en la cara del usuario de gafas, de puntos de imagenes que corresponden a puntos situados en la montura de gafas. Tambien es ventajoso alisar fuertemente en el algoritmo la imagen con un filtro de paso bajo, con el fin de obtener de este modo una aproximacion a la cara del usuario de gafas sin montura de gafas. Esta aproximacion puede formar entonces un modelo de color para puntos de imagenes situados dentro de la lente de gafas. Con el fin de obtener una aproximacion a la cara del usuario de gafas sin montura de gafas, es tambien posible que el algoritmo contenga una rutina para el aprendizaje mecanico a base de datos de ejemplos de personas sin una montura de gafas, o una rutina que, a partir de los datos de imagenes b(x) del usuario de gafas con la montura de gafas, genera, mediante el denominado Analisis de Componentes Principales, un conjunto de datos que corresponden a una imagen de la cara del usuario de gafas o bien a una imagen de una seccion de la cara del usuario de gafas sin la montura de gafas.
En el marco del algoritmo de evaluacion del color puede estar previsto tambien un cambio del espacio de color del espacio de color RGB a un espacio de color que separa la claridad y el color, p. ej., un cambio en el espacio YCbCr o el espacio de color HSV. Esta medida posibilita trabajar de forma relativamente independiente de la iluminacion. Se ha de observar que en el marco de la invencion, un espacio de color puede ser aprendido tambien a partir de datos de imagenes b(x) que corresponden a una pluralidad de varias imagenes. Ademas, se ha de observar que en el marco de la invencion puede estar previsto definir un espacio del color de la piel adecuado con ayuda de puntos de color de la piel conocidos en datos de imagenes b(x), p. ej., con ayuda de puntos de imagenes que corresponden al puntos del dorso de una nariz. De manera favorable, en el caso del algoritmo de evaluacion del color con un modelo de color de este tipo esta previsto entonces evaluar la informacion de la distancia de puntos de imagenes en los datos de imagenes detectados de los ojos del usuario de gafas, con el fin de tener en cuenta que puntos de imagenes que se encuentran proximos a los ojos del usuario de gafas se encuentran en la zona de lentes de gafas incorporados en la montura de gafas con una mayor probabilidad que los puntos de imagenes en los datos de imagenes b(x) que tienen una gran distancia de los ojos del usuario de gafas. En el algoritmo de evaluacion de color puede estar previsto para ello, p. ej., una rutina de la funcion de la distancia que calcula para cualquier punto de imagen, es decir, cualquier pixel de un sensor de imagenes 15 de un dispositivo de captacion de imagenes, la distancia mas corta a un punto de imagen, es decir, un pixel del correspondiente sensor de imagenes, que se encuentra en los ojos del usuario de gafas. Cuanto mayor sea esta distancia mas corta determinada, tanto mayores costos se acercaran entonces al termino de color de la funcion de costos.
Una forma de realizacion preferida de la invencion preve que como funcion de costos E(u) para encontrar los datos de la lente de gafas u(x) buscados, se elija una funcion convexa.
Por una funcion convexa se entiende en este caso, al igual que en el analisis de una funcion de valor real, cuyo grafico se encuentra por debajo de cualquier tramo de union de dos de sus puntos. Esto tiene el mismo significado a que el epigrafe de la funcion, es decir, la cantidad de los puntos por encima del grafico, sea una denominada cantidad convexa.
La convexidad de la funcion de costos E(u) alcanza la invencion particularmente debido a que esta es una suma de terminos de funcion de costos convexos. P. ej., la funcion de costos puede estar formada a base de un termino de costos de color convexo Eco0f{u(x)), que correlaciona el color de los datos de imagenes b(x) con datos de la lente de gafas u(x) y los evalua mediante un modelo de color y un termino de costos de cantos convexo Eb0rde(u(x)), que es una correlacion de cantos de imagenes en los datos de imagenes b(x) con los datos de la lente de gafas u(x) o con el borde 26 de una lente de gafas 28 o de dos lentes de gafas 28, 29 representado por una derivada de los datos de la lente de gafas b(x).
La convexidad de la funcion de costos conlleva tres grandes ventajas: en general, las funciones tienen optimos globales y locales. Por lo tanto, los procedimientos de optimizacion garantizan solo el hallazgo de un optimo local, no del optimo global. En el caso de funciones convexas se encuentra, por el contrario, siempre el optimo global, dado que no existen optimos locales. En el caso de funciones de costos convexas puede utilizarse un valor de partida arbitrario (p. ej. u(x) = 0 = superficie negra sin lente de gafas), dado que el procedimiento converge siempre a un optimo global. En el caso de funciones no convexas es necesario un buen valor de partida que se encuentra proximo al optimo global, con el fin de obtener buenos resultados. En el caso de funciones de costos convexas, incluso procedimientos de optimizacion muy sencillos, tales como la disminucion del gradiente, conducen siempre a un optimo global.
Es ventajoso que el calculo de datos de informacion I(x) derivados de los datos de imagenes comprenda la determinacion de datos de informacion de reflexiones s(x) con un algoritmo para el reconocimiento de reflexiones en la montura de gafas y/o de una lente de gafas incorporada en la montura de gafas. En este caso, es ventajoso que este algoritmo este disenado de modo que se puedan diferenciar reflexiones en una lente de gafas de reflexiones en la montura de gafas. De este modo, se puede aumentar asimismo la precision de la representacion determinada del borde de una lente de gafas. Ventajoso para la exactitud del procedimiento es tambien el hecho de que cuando el algoritmo de evaluacion del color y el detector de los cantos tenga en cuenta los datos de informacion de reflexiones s(x) calculados a partir de los datos de imagenes b(x), dado que las reflexiones tienen en una imagen fuertes cantos perturbadores que pueden confundirse facilmente con el borde de la lente.
El calculo de datos de informacion I(x) derivados de los datos de imageries b(x) puede comprender la determinacion de datos de informacion de caracteristicas faciales m(x) con un algoritmo para el reconocimiento de caracteristicas faciales.
Una idea de la invencion es tambien que el algoritmo para el reconocimiento de caracteristicas faciales este disenado para el reconocimiento de una o varias caracteristicas faciales del grupo de ojo, pupila, ceja, nariz o boca. En particular, es posible que el algoritmo de evaluacion del color y/o el algoritmo de deteccion de los cantos tengan en cuenta los datos de informacion de caracteristicas faciales m(x) calculados a partir de los datos de imagenes b(x). Dado que tambien los ojos de un usuario de gafas en las imagenes, que se basan en los datos de imagenes b(x) detectados, provocan cantos que perturban la determinacion del borde de lentes de gafas, es ventajoso que tambien el algoritmo de deteccion de cantos tenga en cuenta cantos provocados por los ojos del usuario de gafas en imagenes que se basan en datos de imagenes b(x) detectados, evaluandose a partir de los datos de imagenes b(x) datos de informacion de caracteristicas faciales m(x) calculados.
Con el fin de determinar la cara y la denominada region de interes en la que se encuentra la montura de gafas, es decir, la gafa en la imagen, puede ser de ayuda la deteccion de caracteristicas faciales. Caracteristicas faciales son en este caso, p. ej., una o varias caracteristicas del grupo ojos, posicion de las pupilas, cejas, nariz y/o boca de una cara. Basandose en una o varias caracteristicas, se puede calcular en que zona se buscan los cantos de las gafas. Ademas, con los ojos se conocen puntos que se encuentran en cualquier caso dentro de la lente.
Para el calculo de datos de informacion I(x) derivados de los datos de imagenes b(x), la determinacion de datos de informacion de lentes de gafas di(x) puede estar provista de un algoritmo que, con ayuda de un modelo de lente de gafas aportado al algoritmo o con ayuda de una pluralidad de modelos de lentes de gafas aportados al algoritmo como datos de informacion de lente de gafas di(x) indique un modelo parametrico o un mapa que represente las probabilidades sobre la probabilidad de que los datos de imagenes detectados se encuentren en una lente de gafas. En particular, puede estar previsto que el calculo de datos de informacion I(x) derivados de los datos de imagenes comprenda la determinacion de datos de informacion de la forma de la lente de gafas di(x) con un algoritmo que, con ayuda de una pluralidad de modelos de lentes de gafas aportados al algoritmo como datos de informacion de forma de lente de gafas di(x) indique una forma en 2D o una forma en 3D de una lente de gafas incorporable en la montura de gafas.
Una idea de la invencion es, p. ej., determinar, mediante ejemplos previamente segmentados a mano para lentes de gafas, un modelo para la forma de una lente de gafas. Un modelo de este tipo puede ser un mapa de probabilidades que para cada uno de los puntos de imagenes indica en los datos de imagenes b(x) detectados, la probabilidad de que el punto que corresponde a este punto de imagen se encuentre dentro de la lente de gafas. No obstante, tambien es posible estimar la forma de lentes de gafas en modelos parametricos, p. ej., a partir de la lente de gafas como superficie en la vista de la imagen o a partir de puntos correspondientes a un contorno de la lente de gafas. Los parametros de estos modelos pueden entonces optimizarse. Ademas de ello, se ha de observar que un modelo puede utilizarse tambien como una condicion secundaria en la optimizacion, p. ej., como condicion secundaria de que el contorno final se encuentre dentro del espacio del modelo previamente estudiado. Se entiende que en lugar de estudiar modelos a partir de ejemplos, en el marco de la invencion se pueden definir tambien correspondientes modelos, p. ej., modelos que se basan en los denominados datos de trazador, p. ej., en forma de coordenadas en 3D o en forma de coordenadas en 2D que se proporcionan mediante un aparato trazador que palpa el recorrido de los bordes internos de la montura en una montura de gafas.
Es ventajoso que el algoritmo de evaluacion del color tenga en cuenta los datos de informacion de la forma de la lente de gafas di(x) calculados a partir de los datos de imagenes b(x). Los datos de informacion I(x) calculados, derivados de los datos de imagenes b(x), pueden comprender tambien un centro M del puente determinado mediante un algoritmo de deteccion del centro del puente. Ademas de ello, es posible que los datos de imagenes b(x) proporcionados al usuario de gafas se basen en imagenes tomadas a partir de al menos dos angulos de vision diferentes.
Los datos de informacion I(x) calculados, derivados a partir de los datos de imagenes b(x), pueden comprender, ademas, datos de mapas de profundidad t(x) calculados mediante un algoritmo de triangulacion a partir de los datos de imagenes b(x) o partir de los datos de la lente de gafas u(x). En este caso, es ventajoso que la funcion de costos E(u) en un termino de funcion de costos tenga en consideracion, como una condicion obligatoria, que una lente de gafas izquierda y una derecha incorporadas en una montura de gafas sean simetricas entre si. Esto puede suceder, p. ej., debido a que la funcion de costos se evalua con una condicion estereo de puntos representados consecutivamente en datos de lente de gafas u(x) para imagenes que corresponden a diferentes direcciones de captacion de los dispositivos de captacion de imagenes, p. ej., al representar un punto en 3D en la cara del usuario de gafas, es decir, un punto con informacion de la profundidad en varias imagenes, de modo que puntos correspondientes en imageries basadas en los datos de imageries b(x) en cada imagen, sean asociados en cada una de las imagenes a una lente de gafas o a un fondo situado detras de una lente de gafas.
Se ha de observar que la funcion de costos para encontrar los datos de la lente de gafas u(x) buscados puede contener tambien un termino de costos de simetria Esim(u(x)) que correlaciona simetrias contenidas en los datos de imagenes b(x) con datos de la lente de gafas u(x).
Una idea de la invencion es recurrir para ello a la informacion del centro M del puente de una montura de gafas, con el fin de definir un plano especular en 3D para las lentes de gafas. En el caso de fotografias frontales, el centro M del puente posibilita tambien adaptar los datos de lentes de gafas u(x) para una lente de gafas izquierda y una derecha entre si y para la adaptacion formular una condicion obligatoria de simetria (restriccion de simetria). El centro M del puente puede tambien estimarse calculando el centro del borde de la lente interna izquierda y la derecha de lentes de gafas.
Inicialmente, el centro M del puente puede determinarse, p. ej., con ayuda de los puntos centrales entre los centros de la pupila detectados, la posicion del dorso de la nariz o una combinacion ponderada de ambas caracteristicas. Al detectar datos de imagenes b(x) con dispositivos de deteccion de imagenes, que captan la cara del usuario de gafas con angulos de vision diferentes de una montura de gafas portada por este y al ser conocidas informaciones de calibracion con respecto a estos dispositivos de deteccion de imagenes, es posible mediante la triangulacion en la cara del sujeto de estudio con la montura de gafas calcular el mapa de profundidad t(x) precedentemente mencionado en forma de una nube de puntos. A partir de esta nube de puntos se puede estimar luego la forma de las lentes de gafas en 3D, p. ej., como planos en una aproximacion al contorno real de las lentes de gafas. A partir de estos planos puede garantizarse entonces, mediante una condicion obligatoria de los planos especulares que se establece a la funcion de costos, una simetria de la montura de gafas en tres dimensiones. En el marco de la invencion, estas informaciones en 3D pueden tambien utilizarse para calcular parametros de centrado.
Un algoritmo de acuerdo con la invencion para el calculo del borde de lentes de gafas, es decir, el contorno de gafas mediante minimizacion de una funcion de costos mediante una rutina de optimizacion puede contener, por lo tanto, una o varias rutinas del grupo de rutina de deteccion de cantos, rutina de evaluacion del color, rutina de reflexiones, rutina de la posicion de la lente de gafas, rutina de triangulacion, rutina de reconocimiento del centro del puente, rutina de reconocimiento de la caracteristica facial, rutina para la estimacion del recorrido en 3D de lentes de gafas. La invencion se extiende tambien a un programa de ordenador con un codigo de programa que se carga y se ejecuta en un sistema de ordenador para llevar a cabo un procedimiento segun se establece en una de las reivindicaciones precedentes.
Un dispositivo de acuerdo con la invencion para determinar el recorrido del borde de una lente de gafas para un usuario de gafas contiene al menos un dispositivo de deteccion de imagenes para la provision de datos de imagenes b(x) del usuario de gafas que porta una montura de gafas y tiene medios para calcular datos de informacion I(x) derivados de los datos de imagenes b(x), medios para calcular una funcion de costos E(u) que enlaza los datos de informacion I(x) con datos de las lentes de gafas u(x), en donde los datos de lentes de gafas u(x) describen la extension en el espacio de al menos una lente de gafas sujetada en la montura de gafas y medios para establecer el recorrido de un borde de la lente de gafas mediante la optimizacion de la funcion de costos E(u).
En lo que sigue se explica con mayor detalle la invencion con ayuda de un ejemplo de realizacion representado de manera esquematica en el dibujo. Muestran
La Fig. 1, un dispositivo para determinar una representacion del borde de las dos lentes de gafas en una montura de gafas;
la Fig. 2, una representacion del borde de una lente de gafas izquierda y de una derecha ajustado a la montura de gafas;
la Fig. 3a a
la Fig. 3f, diferentes parametros de centrado para una lente de gafas;
la Fig. 4, un algoritmo de un programa de ordenador para determinar una representacion del borde de las lentes de gafas incorporadas en una montura de gafas;
la Fig. 5, datos de imagenes de un usuario de gafas con una montura de gafas;
la Fig. 6, caracteristicas faciales de un usuario de gafas con una montura de gafas;
la Fig. 7, datos de imagenes elegidos de un usuario de gafas con una montura de gafas;
la Fig. 8, una imagen de informacion de los cantos;
la Fig. 9, una imagen de informacion del color;
la Fig. 10, una imagen de informacion de primeras reflexiones;
la Fig. 11, una imagen de informacion de segundas reflexiones;
la Fig. 12, un mapa de probabilidades del modelo de lentes;
la Fig. 13, datos de imagenes con un centro del puente;
la Fig. 14, datos de informacion de mapas de profundidad;
la Fig. 15, una primera representacion de datos de lentes de gafas;
la Fig. 16, valores de una funcion de costos para diferentes datos de lentes de gafas; y
la Fig. 17 a
la Fig. 22, otras representaciones de datos de lentes de gafas.
El dispositivo 10 mostrado en la Fig. 1 es un sistema de centrado basado en camara y posibilita la determinacion de una representacion del borde de las dos lentes de gafas en una montura de gafas. El dispositivo 10 tiene una columna 12 que porta dispositivos de captacion de imagenes 14, 16, 18 referenciados con relacion entre si con sensores de imagenes 15 para la deteccion de datos de imagenes de un usuario de gafas 20. Contiene una unidad de ordenador 21 unida con los dispositivos de captacion de imagenes 14, 16, 18 con un teclado como interfaz de entrada 22 y una interfaz de salida 23 en forma de un monitor.
Para la deteccion de datos de imagenes mediante los dispositivos de captacion de imagenes 14, 16, 18, el usuario de gafas 20 se situa, p. ej., en una optica, con una montura de gafas 24 elegida a una distancia de grabacion A = 30 cm de la columna 12. Mediante los dispositivos de captacion de imagenes 14, 16, 18 la cara 25 del usuario de gafas 20 puede ser detectada en diferentes direcciones de grabacion 19.
El dispositivo 10 permite la determinacion de una representacion del borde de las lentes de gafas que deben ser recibidos y mantenidos en una montura de gafas 24 elegida por el usuario de gafas 20, con el fin de corregir su vista defectuosa y, en lo posible, compensarla. Para ello, mediante los dispositivos de captacion de imagenes 14, 16, 18 se graba un conjunto de datos de imagenes b(x) que muestra la cara 25 del usuario de gafas 20 con la montura de gafas 24 colocada. Con el fin de determinar la representacion del borde de las lentes de gafas ajustados a la montura de gafas 24, puede grabarse el conjunto de datos de imagenes b(x) sin que la montura de gafas 24 portada por el usuario de gafas 20 contenga lentes de gafas. Sin embargo, tambien es posible grabar un correspondiente conjunto de datos de imagenes b(x), cuando el usuario de gafas 20 porte una montura de gafas 24, en la que estan montadas lentes de apoyo o lentes de gafas.
La Fig. 2 muestra una lente de gafas izquierda 28 y una lente de gafas derecha 29 con el sector de una montura de gafas 24 que sujeta a la lente de gafas 28. Por el borde 26 del lente de gafas 28 se entiende en el presente caso el borde de apoyo de una lente de gafas definido en la norma DIN EN ISO 13666:2013-10 en el parrafo 13.4. El borde de apoyo rodea y limita a la parte lenticular de una lente de gafas, es decir, aquella parte que, de acuerdo con la definicion en el parrafo 13.2 de la norma DIN EN ISO 13666:2013-10, tiene el efecto dioptrico descrito de la lente de gafas 28, 29. El borde de apoyo de una lente de gafas puede coincidir, en el caso de gafas sin borde, con el borde alejado del usuario de gafas 20 de la superficie lateral 30 de una lente de gafas 28, 29, el denominado borde externo de la lente. El borde externo de la lente esta oculto en parte por la montura de gafas 24 portada por el usuario de gafas 20.
Como representacion del borde 26 de un lente de gafas 28 ajustado a la montura de gafas 24, el dispositivo 10 determina como conjunto de datos una cantidad de puntos situada en el plano de la imagen del sensor de imagenes 15 del dispositivo de captacion de imagenes 16, que describe la proyeccion del borde de apoyo 26 de la lente de gafas 28 en este plano de la imagen.
El conocimiento exacto del recorrido del borde 26 de una lente de gafas 28 ajustado a una montura de gafas 24 posibilita, teniendo en cuenta otras magnitudes que describen la lente de gafas 28, una determinacion precisa de los denominados parametros de centrado.
La Fig. 3a muestra el parametro de centrado de la distancia de la pupila PD para lentes de gafas 28 en una montura de gafas 24 que porta un usuario de gafas 20. En la Fig. 3b se puede ver, como otro parametro de centrado, la altura de esmerilado E. La Fig. 3c muestra el parametro de centrado de la distancia del vertice de la cornea HS. En la Fig. 3d se puede ver como parametro de centrado el angulo de inclinacion a referido a la vertical 31. La Fig. 3e muestra como parametro de centrado el angulo del disco de la montura p, es decir, el angulo entre el plano de la montura y el plano del disco izquierdo o bien derecho, y la Fig. 3f muestra los parametros de centrado de medida de la caja, es decir, la anchura del disco sb, la altura del disco sh, asi como la distancia bw entre las lentes de gafas 28 en una montura de gafas 24.
La unidad de ordenador 21 en el dispositivo 10 contiene un programa de ordenador que determina, a partir de los datos de imagenes b(x) proporcionados mediante los dispositivos de captacion de imagenes 14, 16, 18, una representacion del borde 26 de las lentes de gafas 28 incorporados en la montura de gafas 24. Este programa de ordenador posibilita que caracteristicas, tales como los centros de las pupilas y el borde de la montura, se puedan detectar automaticamente con ayuda de los datos de imagenes b(x) proporcionados y se pueda determinar con una precision inferior al pixel su posicion en un sistema de coordenadas 32 referenciado con respecto a la montura de gafas 24. El programa de ordenador determina en este caso, mediante triangulacion, tambien las posiciones de los planos de imagenes de los sensores de imagenes 15 de los dispositivos de captacion de imagenes 14, 16, 18 referenciadas con respecto al sistema de coordenadas 32 de la montura de gafas 24.
Con ayuda de la Fig. 4 se describe en lo que sigue el algoritmo 34 realizado para determinar la representacion del borde 26 de una lente de gafas 28.
En un primer paso, el algoritmo 34 determina, a partir de los datos de imagenes b(x) proporcionados por el dispositivo de captacion de imagenes 16 de una imagen 36 mostrada en la Fig. 5 del usuario de gafas 20 con una montura de gafas 24, tal como lo muestra en la Fig. 4, un segmento de imagen 38 relevante.
Para la determinacion del segmento de imagen 38 relevante, los datos de imagenes b(x) se elaboran en una rutina de reconocimiento de las caracteristicas faciales 40. La rutina de reconocimiento de las caracteristicas faciales 40 determina, a parir de los datos de imagenes b(x), la posicion de la parte de la nariz, de los ojos, de la parte del menton y de la parte de los labios mediante una comparacion con modelos de datos 42 que se muestran en la Fig. 6 y que son caracteristicos para correspondientes fotografias de la cara de un usuario 20 con una montura de gafas 24 colocada.
Basandose en una caracteristica facial o en varias caracteristicas faciales del usuario de gafas 20 es posible calcular en que region se encuentran habitualmente los cantos de la montura de gafas 24 de una montura de gafas portada por un usuario de gafas 20. Se ha de senalar que, p. ej., puntos de imagenes correspondientes a los ojos del usuario de gafas 20 son puntos de imagenes situados sobre una lente de gafas 28.
La Fig. 7 muestra mediante la rutina de reconocimiento de caracteristicas faciales 40 de los datos de imagenes del segmento bA(x) determinados a partir de los datos de imagen b(x) en el segmento de imagen 38 buscado con la montura de gafas 24. En el algoritmo 34 se calcula entonces, a partir de los datos de imagen del segmento bA(x) en una rutina de deteccion de cantos 44 mediante un algoritmo de deteccion de los cantos, una imagen de formacion de los cantos g(x) con datos de informacion de los cantos 46. La Fig. 8 muestra la imagen de informacion de los cantos g(x) con datos de informacion de los cantos 46 como puntos de imagen en una imagen de tono gris 48.
En el algoritmo 34 se calcula ademas, a partir de los datos de imagenes b(x), en una rutina de evaluacion del color 50 mediante un algoritmo de evaluacion del color una imagen de informacion del color f(x).
El algoritmo de evaluacion del color f(x) sirve para diferenciar puntos de imagenes en regiones de imagenes, en las que esta presente una lente de gafas 28, de puntos de imagenes que se encuentran en las regiones de imagenes correspondientes a la montura de gafas 24. El algoritmo de evaluacion del color utiliza para ello un modelo de color, p. ej., un modelo de color de la piel, mediante el cual puntos de imagenes en la cara 25 del usuario de gafas 20 pueden ser separados de puntos de imagenes situados en una montura de gafas o una montura de gafas 24. El algoritmo de evaluacion del color contiene una rutina de filtro de paso bajo, mediante la cual se alisan los datos de imagenes b(x) detectados con uno o varios dispositivos de captacion de imagenes 14, 16, 18, con el fin de obtener de este modo datos que corresponden a una representacion aproximada de la cara 25 del usuario de gafas 20 sin la montura de gafas 24 portada por el. Los datos de esta representacion aproximada se consultan entonces como un modelo de color para los puntos de imagenes situados dentro de una lente de gafas 28. En el algoritmo de evaluacion del color f(x) puede tener lugar, p. ej., tambien un cambio del espacio de color del espacio de color RGB al espacio de color YCbCr o el espacio de color HSV, con el fin de separar de este modo la informacion de la claridad de puntos de imagenes de la informacion del color de puntos de imagenes. Se ha de observar tambien que el algoritmo de evaluacion del color puede posibilitar que se estudie un espacio de color adecuado a base de una pluralidad de imagenes, o que se estudie un espacio de color, p. ej., un espacio del color de la piel con ayuda de determinados puntos de imagenes en la imagen de un usuario de gafas 20 detectada mediante un dispositivo de captacion de imagenes 14, 16, 18, por ejemplo sobre la base de puntos de imagenes que corresponden a puntos situados en el dorso de la nariz en la cara 25 del usuario de gafas 20.
La Fig. 9 muestra datos de informacion del color 52 determinados en el marco del algoritmo de evaluacion del color como puntos de imagenes en una imagen de tonos grises 48 adicional. Reflexiones o reflejos 54 que son visibles en las lentes de gafas 28 y/o la montura de gafas 24, generan fuertes cantos que se pueden confundir facilmente con el borde de las gafas. Puntos de imagen a reflexiones o reflejos tienen ademas colores que son diferentes del color de la piel del usuario de gafas 20 y del color de muchas monturas de gafas o bien monturas de gafas 24.
Con el fin de reconocer puntos de imagenes en los datos de imagenes b(x) que, por una parte, se remiten a reflexiones y reflejos de la luz en la montura de gafas o bien la montura de gafas 24 y, por otra parte, en reflexiones y reflejos de la luz en las lentes de gafas 28, en el algoritmo 34 existe una rutina de deteccion de reflexiones 58. La rutina de deteccion de reflexiones 58 reconoce en los datos de imagenes b(x) puntos de imagenes, cuya claridad se encuentra por encima de un valor umbral y proporciona esta informacion en forma de datos de informacion de reflexiones s(x).
Alternativa o adicionalmente es tambien posible, no obstante, para el reconocimiento de correspondientes reflexiones y reflejos de la luz, transformar los datos de imagenes b(x) en otro espacio de color, p. ej., el espacio de color CMYK, y establecer entonces en este adecuados valores umbrales para los tres canales de color, en los que al rebasarles se califica un punto de imagen como un punto de imagen situado en una reflexion o en un reflejo. Con el fin de reconocer puntos de imagenes en los datos de imagenes b(x), que se remiten por un lado a reflexiones y reflejos de la luz en la montura de gafas o bien la montura de gafas 24 es ademas posible evaluar la forma de reflexiones y reflejos de la luz en las lentes de gafas 28 y la montura de gafas 24. Asi, p. ej., reflexiones en la montura de gafas tienen, por norma general, una forma alargada. En la rutina de reflexion, para el reconocimiento de reflexiones y reflejos en virtud de la forma pueden utilizarse, por lo tanto, tambien factores de forma o una relacion de las longitudes de los ejes principales de una elipse inscribible en una cantidad de puntos de imagenes correspondientes a un reflejo o una reflexion. Se ha de tener en cuenta que, de manera ventajosa para el reconocimiento de reflexiones y reflejos de la luz correspondientes en los datos de imagenes b(x) tambien se evaluan distancias de primeros puntos de imagenes a segundos puntos de imagenes que corresponden a puntos que se encuentran en los ojos del usuario de las gafas.
La Fig. 10 muestra los puntos de imagenes de datos de imagenes b(x) determinados mediante la rutina de deteccion de reflexiones 58 que se encuentran en un reflejo 54 o bien una reflexion sobre las lentes de gafas 28, en una imagen en blanco y negro 56. En la Fig. 11 los puntos de imagenes de los datos de imagenes b(x) determinados mediante la rutina de deteccion de reflexiones 58 que se encuentran en un reflejo 54 o bien una reflexion sobre la montura de gafas 24, en una imagen de blanco y negro 56.
Con el fin de simplificar el reconocimiento de puntos de imagenes en los datos de imagenes b(x) que se encuentran en lentes de gafas 28 montadas en una montura de gafas 24, el algoritmo 34 contiene una rutina de la posicion de la lente de gafas 60.
La rutina de la posicion de la lente de gafas 60 determina, con ayuda de una pluralidad de datos de informacion de lentes de gafas en forma de modelos de lentes de gafas, un mapa de probabilidades sobre la probabilidad de que los datos de imagenes detectados se encuentren en una lente de gafas 28, 29. La Fig. 12 muestra los valores de probabilidad w(x) del mapa de probabilidades como datos de informacion de probabilidades 62 en una imagen de tono gris 48.
Se ha de tener en cuenta que, alternativamente a ello, tambien se pueden estimar modelos parametricos de la forma de lentes de gafas 28, p. ej., en virtud de la informacion contenida en los datos de imagenes b(x) sobre las superficies de lentes de gafas 28 o de la informacion contenida en los datos de imagenes b(x) con respecto a los puntos de imagenes situados en el contorno de lentes de gafas 28. En este caso, se pueden optimizar entonces los parametros de estos modelos.
Con el fin de simplificar el reconocimiento de puntos de imagenes en los datos de imagenes b(x) que se encuentran en lentes de gafas 28 montados en una montura de gafas 24, el algoritmo 34 contiene una rutina de reconocimiento del centro del puente 64 que, a partir de los datos de imagenes b(x), determina un centro M del puente 27 de la montura de gafas 24 que se reconoce en la Fig. 13. La rutina de reconocimiento del centro del puente 64 calcula, mediante un tratamiento de la imagen, el centro del puente 25 de la montura de gafas 24 mediante la determinacion del centro del borde de las lentes de gafas 28 izquierda y derecha a partir de los datos de imagenes b(x) detectados con un dispositivo de deteccion de imagenes 14, 16, l8. La Fig. 13 muestra los datos de imagenes determinados mediante la rutina de reconocimiento de caracteristicas faciales 40 a partir de los datos de imagenes b(x) en la seccion de imagen 38 buscada (region de interes) con la montura de gafas 24 y un centro del puente 66 determinado a partir de los datos de imagenes b(x). Se ha de tener en cuenta que el centro del puente 66 puede determinarse tambien, p. ej., con ayuda de los puntos centrales entre centros de pupilas detectados, con ayuda de la posicion del dorso de la nariz o con ayuda de una combinacion ponderada de estas dos caracteristicas.
La rutina de reconocimiento del centro del puente 64 en el algoritmo 34 transmite la informacion del centro del puente 66 a una rutina de simetria 68.
El algoritmo 34 presenta, ademas, una rutina de triangulacion 69 que a partir de la informacion de los datos de imagenes b(x) de una imagen 37 adicional que es detectada con otro dispositivo de deteccion de imagenes 14, 16, 18, calcula con ayuda de informaciones de calibracion conocidas como constante del aparato en una rutina de calibracion 39, con respecto a dispositivos de deteccion de imagenes 14, 16, 18 mediante triangulacion en los datos de informacion de mapas de profundidad t(x) mostrados en la Fig. 14.
Por las informaciones de calibracion respecto a un dispositivo de deteccion de imagenes 14, 16, 18 se entienden en este caso tanto propiedades extrinsecas, tales como la orientacion relativa del dispositivo de captacion 19 en el espacio de un dispositivo de captacion de imagenes, es decir, la orientacion relativa del eje optico del dispositivo de grabacion 19, como tambien las propiedades intrinsecas del dispositivo de deteccion de imagenes 14, 16, 18, es decir, las propiedades del dispositivo de deteccion de imagenes 14, 16, 18 que definen la forma en que las coordenadas de un punto en el espacio en un sistema de coordenadas referenciado con respecto al dispositivo de deteccion de imagenes 14, 16, 18 correspondiente, que es representado en el plano de la imagen del sensor de imagenes 15 del dispositivo de deteccion de imagenes 14, 16, 18, se transforma en las coordenadas del punto de la imagen de este punto situado en el plano de la imagen del sensor de imagenes 15. Una descripcion amplia de la calibracion de dispositivos de deteccion de imagenes en forma de camaras se encuentra, p. ej., en la pagina 8 en el libro de texto “Multiple View Geometry in Computer Vision” de Richard Hartley y Andrew Zisserman 2a edicion, Cambridge University Press 2004, al que se hace con ello referencia y cuya divulgacion se incluye en la presente descripcion de la invencion.
La informacion de los datos de informacion de mapas de profundidad corresponde a un mapa de profundidad en forma de una nube de puntos que posibilita estimar la extension en el espacio de lentes de gafas en 3D, p. ej., en forma de planos como aproximacion al contorno de la lente real.
Los datos de informacion de mapas de profundidad t(x) se aportan a una rutina de supuestos estereo 71.
El algoritmo 34 contiene una rutina de funcion de costos 70. En la rutina de funcion de costos 70, los datos de informacion de los cantos g(x) de una imagen de informacion de los cantos g(x) mostrada en la Fig. 8 como imagen de tono gris 48 y los datos de informacion de color f(x) corregidos en reflexiones y reflejos, asi como con ayuda de modelos de lentes para gafas, mostrados en la Fig. 9 como una imagen de tono gris 48, asi como datos de evaluacion de simetria r(x) y datos de evaluacion de estereo d(x), que tambien contienen la informacion de los datos de informacion de mapas de profundidad t(x), se enlazan con datos de lentes de gafas u(x) para formar una funcion de costos E(u). Esta funcion de costos E(u) se optimiza entonces en una rutina de optimizacion 75 del algoritmo 34.
La Fig. 15 es una representacion de datos de lentes de gafas u(x) como datos iniciales para una rutina de optimizacion 75 en el algoritmo 34 mostrado en la Fig. 4. La Fig. 15 muestra los datos de lentes de gafas u(x) como una imagen en bianco y negro 56 en forma de los valores de una funcion binaria u: Q - > {0,1} que, dentro de la superficie de los lentes de gafas, adopta el valor 1 y fuera adopta el valor 0. c E2 es en este caso las coordenadas de imagen de la imagen en la que se han de detectar los lentes de gafas. La denominada derivada distributiva de esta funcion binaria corresponde entonces al borde 26 buscado de una lente de gafas 28 mostrado en la Fig. 2.
Una representacion de datos de lentes de gafas u(x) puede consistir, sin embargo, tambien, p. ej., en una secuencia de n puntos p1,..., pn e Q, que se encuentran en el borde 26 de una lente de gafas 28 mostrado en la Fig. 2 y que con ello describen este borde. Una representacion de datos de lentes de gafas u(x) puede ser tambien una curva cerrada L7:1R ^ 23, qUe describe el contorno de una lente de gafas 28. Curvas de este tipo pueden parametrizarse particularmente a traves de la longitud de la curva. Con el fin de garantizar una continuidad y una menor curvatura de las curvas, es posible describir curvas de este tipo, p. ej., como combinacion lineal de funciones base adecuadas, p. ej., funciones base en forma de splines. Se ha de observar tambien que la extension en el espacio de lentes de 3 gafas 28 puede representarse mediante una funcion implfcita, en particular con ayuda de una funcion en 3D, -» M , su cantidad de nivel en un determinado valor, p. ej., 0, es decir, los valores del intervalo de definicion de esta funcion que se representan en el mismo valor, definen el borde de la lente de gafas 28 en forma de una curva del borde.
La funcion de costos E(u) generada en la rutina de funcion de costos 70 del algoritmo 34, se reproduce en lo que sigue. Se cumple.
Figure imgf000012_0001
con el termino de costos de color
Figure imgf000012_0002
en donde los datos de las lentes de gafas u(x) describen la expansion en el espacio de al menos una lente de gafas 28 soportado en la montura de gafas 24, y en donde f(x) son los datos de informacion de color determinados a partir de los datos de imagenes b(x), y
con el termino de costos de los cantos
Figure imgf000012_0003
en donde D es el gradiente de u en sentido distributivo y el termino calcula la longitud del contorno de las lentes de gafas ponderado con los datos de informacion de los cantos g(x), que es minima cuando los cantos de datos de la lente de gafas coinciden con los cantos detectados a partir de los datos de imagenes b(x),
y con el termino de costos de simetrfa
Figure imgf000012_0004
que evalua la simetrfa de una lente de gafas 28 izquierda y una derecha en relacion con un plano central en la montura de gafas 24.
En el termino de costos de color Ecoior (u(x)) se correlaciona y evalua el color de los datos de imagenes b(x) con datos de lentes de gafas u(x). El termino de costos de cantos Eborde (u(x)) es una correlacion de cantos de imagenes en los datos de imagenes b(x) con los datos de lentes de gafas u(x). El termino de costos de simetrfa Es,m(u(x)) se correlaciona en las simetrfas contenidas en los datos de imagenes b(x) con datos de lentes de gafas u(x), al reflejar los datos de lentes de gafas u(x) en el plano central a traves del centro del puente y evaluar desviaciones de los datos de lentes de gafas u(x) de los datos reflejados.
En el termino de costos de simetrfa Es m (u(x)) se calcula una hipotesis de simetrfa en 3D basada en los datos de informacion del mapa de profundidad t(x), segun el cual una lente de gafas izquierda y una lente de gafas derecha en la montura de gafas 24 son simetricas a un plano en 3D que se define por el centro 66 del puente en forma de lfnea, determinado en la rutina de reconocimiento del centro del puente 64 y mediante informaciones de calibracion de uno de los dispositivos de deteccion de imagenes 14, 16, 18 en el dispositivo 10.
Al plano en 3D determinado se le reconoce en el sistema de costos de simetrfa Esm (u(x)) la funcion de un plano de reflexion que representa sucesivamente los puntos situados en el espacio tridimensional en una lente de gafas izquierda y una derecha, evaluandose en el termino de costes de simetrfa Es m (u(x)) desviaciones r(x) de valores reales a nominales de esta representacion. El termino de simetrfa Es m (u(x)) presenta entonces datos de lentes de gafas u(x) que corresponden a dos lentes de gafas que no son simetricas entre si, valores de costos que son tanto mayores cuanto mayores sean las desviaciones de las dos lentes de gafas que funcionan en el algoritmo 34 como datos de evaluacion de simetrfa r(x). De este modo se garantiza que datos de lentes de gafas u(x) encontrados en la optimizacion de la funcion de costos, describan entre si lentes de gafas simetricas. Alternativamente a ello, es tambien posible predeterminar en una condicion obligatoria que los datos de lentes de gafas u(x) encontrados mediante la optimizacion de la funcion de costos sean simetricos.
Se ha de observar que es posible calcular hipotesis de simetrfa en 2D en el sistema de costos de simetrfa Esim(u(x)), aun cuando no esten presentes datos de informacion de mapas de profundidad, p. ej., reflejando los datos de lentes de gafas u(x) de una lente de gafas 28 izquierda en la linea central 66 del puente en el plano de la imagen del sensor de imagenes 15 de un dispositivo de deteccion de imagenes 14, 16, 18 sobre los datos de lentes de gafas u(x) de una lente de gafas 29 derecha y calcular entonces de nuevo desviaciones r(x) de valores reales con respecto a valores nominales que acompanan a la funcion de costos.
Se ha de observar que informaciones de calibracion de varios dispositivos de deteccion de imagenes sobre la base de datos de imagenes u(x), que corresponden al menos a dos imagenes detectadas mediante el dispositivo de deteccion de imagenes, posibilitan aumentar la robustez del algoritmo. En particular, informaciones de calibracion de este tipo posibilitan que, con ayuda de los datos de imagenes b(x), pueda utilizarse con respecto a estas imagenes un borde interno de la montura de gafas o bien un borde de las lentes de gafas al mismo tiempo y pueda referirse entre si datos del borde del cristal u1(x),...., un(x) para en cada caso dos imagenes durante la optimizacion. Con ello, los datos de los bordes de las lentes pueden influirse mutuamente en las distintas imagenes.
Con el fin de relacionar entre si los datos del borde de lentes determinados a partir de dos imagenes u1(x) y u2(x), en la funcion de costos E(u) puede introducirse tambien un termino de costos adicional o para la optimizacion de la funcion de costos puede predeterminarse una condicion obligatoria que se base en el calculo de informaciones estereo. Informaciones estereo de este tipo pueden incluir el que en cada punto de imagen en una imagen detectada con un primer dispositivo de deteccion de imagenes se encuentre aquel punto de imagen en una segunda imagen sobre el que se representa el mismo punto en 3D. Sobre la base de estas informaciones puede entonces predeterminarse una condicion obligatoria o un termino de costos, que calcula una desviacion que funciona como datos de evaluacion estereo d(x) de datos de lentes de gafas u1(x) de los estereopuntos asociados en los datos de lentes de gafas u2(x). Estos datos de evaluacion estereo d(x) pueden calcularse, en particular, para cada uno de los pares de imagenes.
Los datos de evaluacion estereo d(x) pueden tambien tenerse en cuenta como un termino de costos adicional Eestereo(ui (x), U2 (x)) en la funcion de costos E(u), o como una condicion obligatoria en la optimizacion de la funcion de costos E(u), que garantiza que entre los datos de las lentes de gafas u(x), en los que se fundamentan diferentes imagenes, se detectan con uno o varios dispositivos de deteccion de imagenes, no deban existir diferencias.
La Fig. 16 muestra los valores de la funcion de costos E(u) para diferentes resultados intermedios i = 0, 1, 2, 3 . de la rutina de optimizacion para conjuntos de datos de lentes de gafas con datos de lentes de gafas u(x). Mediante la variacion de los datos de lentes de gafas u(x), la funcion de costos E(u) se puede optimizar a un minimo 72. Esta medida posibilita entonces el hallazgo de aquellos datos de lentes de gafas u(x) que describen de manera precisa el borde de una lente de gafas 28 adaptado a la montura de gafas 24 portada por el usuario de gafas 20.
El algoritmo 34 contiene una rutina de optimizacion 75 que, con respecto a la funcion de costos de la rutina de funcion de costos 70, determina aquellos datos de gafas u(x) para los que la funcion de costos E(u) es minima.
Las Fig. 17 a Fig. 22 muestran como imagenes en blanco y negro 56 representaciones 74, 76, 78, 80 y 82 de diferentes conjuntos de datos de lentes de gafas i, i = 74, i = 76, i = 78, i = 80 e i = 82 correspondientes a datos de lentes de gafas u(x) que corresponden a los valores 84, 86, 88, 90 expuestos en la Fig. 15 y que corresponden al minimo 72 de la funcion de costos E(u). Los datos de lentes de gafas u(x) representados en la Fig. 15 son un conjunto de datos inicial, con ayuda del cual se optimiza la funcion de costos E(u). Los datos de lentes de gafas u(x) representados en la Fig. 22 son los encontrados mediante la optimizacion de la funcion de costos E(u). Contienen en forma del borde de las dos superficies 94, 96 la informacion del borde buscado de lentes de gafas 28 que son adecuadas para la montura en la montura de gafas 24 portada por el usuario de gafas 20 mostrado en la Fig. 1. En el algoritmo 34 se determina el borde buscado de una lente de gafas 28 a partir de los datos de lentes de gafas u(x) encontrados mediante optimizacion de la funcion de costos E(u) en una rutina del calculo del borde 77. Esta rutina del calculo del borde 77 puede tambien prever que a partir del borde de apoyo buscado de una lente de gafas se calcule un borde exterior de la lente, p. ej., predeterminando que el borde externo de la lente tenga una distancia fija del borde de apoyo determinado de la lente de gafas 28 correspondiente.
La funcion de costos E(u) es, por consiguiente, una suma de terminos de energia y se somete a condiciones obligatorias. A los datos de lentes de gafas se establecen condiciones de simetria en 2D y/o 3D. La optimizacion de la funcion de costos u(x) tiene lugar solo dentro de los datos de imagenes b(x) situados en el segmento de imagen 38 relevante.
Se ha de observar que es posible ponderar el termino de energia en la funcion de costos E(u). En particular, es posible ponderar terminos de energia individuales en la funcion de costos E(u) con el factor 0, es decir, omitir terminos de energia individuales en la funcion de costos E(u) y, por consiguiente, no tenerlos en cuenta. Ademas, es posible minimizar la longitud del borde de las lentes de gafas 28, en particular a traves de la primera derivada de esta curva. Tambien es posible penalizar desviaciones del modelo de color teniendo en cuenta un modelo de cristal y las informaciones generadas en la deteccion de reflexiones y/o reflejos. Finalmente, se ha de observar que las condiciones de simetrfa en 2D y en 3D tenidas en cuenta en el algoritmo 34 y determinadas a partir de planos de las lentes, pueden basarse en informaciones en 3D que tambien posibilitan la determinacion de parametros de centrado.
Basicamente, la funcion de costos E(u) se puede minimizar de diferente manera. En particular, es posible minimizar la funcion de costos E(u), p. ej., a traves de metodos continuos (enfoques primales-duales), metodos de corte de grafico discretos, modelos de contorno activos o similares.
Metodos continuos se definen debido a que describen la imagen en forma de una funcion continua y, con ello, la funcion de costos se define en un espacio matematico continuo. La discretizacion de la funcion de costos a base de puntos de imagenes tiene lugar entonces solo en un ultimo paso antes de la optimizacion. A diferencia de ello, metodos de optimizacion discretos definen la funcion de optimizacion directamente en el plano de los pixeles.
Se ha de tener en cuenta tambien que, tal como se describe en la publicacion C. Niewenhuis et al. Spatially Varying Color Distributions for Interactive Multilabel Segmentation, IEEE Transactions on Pattern Analysis and Machine Intelligence, 35, 1 (2013), metodos continuos tienen la ventaja frente a los discretos de que evitan artefactos en cantos y son mucho mas facilmente paralelizables. La paralelizacion posibilita, en particular, rapidos calculos sobre un mapa grafico de un ordenador.
A este respecto, se ha de tener en cuenta, en particular, que las condiciones de simetrfa en 2D y 3D, tenidas en cuenta en el algoritmo 34, determinadas a partir de planos de la lente se basan en informaciones en 3D que posibilitan tambien la determinacion de parametros de centrado.
Se ha de tener en cuenta, ademas, que a los modelos de la forma de lentes de gafas 28 precedentemente descritos puede recurrirse tambien como una condicion obligatoria o bien secundaria en la optimizacion de la funcion de costos E(u). Una condicion obligatoria o bien secundaria de este tipo puede ser, p. ej., que el borde final determinado de una lente de gafas 28 se encuentre dentro del espacio del modelo previamente estudiado. Se entiende que en lugar de aprender de los ejemplos modelo, estos tambien se pueden definir.
El algoritmo 34 precedentemente descrito puede llevarse a cabo basicamente tambien sin que se lleven a cabo una o varias rutinas de las rutinas precedentemente descritas del grupo de rutina de reconocimiento de la caracterfstica facial 40, rutina de deteccion de reflexiones 58, rutina de posicion de los lentes para gafas 60, rutina de reconocimiento del centro del puente 64 o rutina de triangulacion 69. Tambien puede llevarse a cabo el algoritmo 34 precedentemente descrito sin que la funcion de costos E(u) a optimizar contenga un termino de costos de simetrfa Esim(u(x)) o se optimice teniendo en cuenta una condicion obligatoria de simetrfa. La funcion de costos E(u) a optimizar tampoco debe contener obligatoriamente al mismo tiempo un termino de costos de color Ecoior(u(x)) y un termino de costos de cantos Etorde(u(x)).
En particular, el algoritmo 34 puede llevarse a cabo tambien con datos de imagenes b(x) que contienen la informacion unicamente de una imagen detectada con un unico dispositivo de captacion de imagenes 16 del usuario de gafas 20 mostrado en la Fig. 1. En el marco de la invencion deben proporcionarse como no obligatorios datos de imagenes b(x) que se basen en diferentes dispositivos de deteccion de imagenes 14, 16, 18 a partir de datos de imagenes b(x) detectados de diferentes dispositivos de captacion con respecto a la cara 25 del usuario de gafas 20 con una montura para gafas 24 portada por este.
En resumen, se han de retener las siguientes caracterfsticas preferidas de la invencion: la invencion se refiere a un procedimiento para determinar la representacion del borde 26 de una lente de gafas 28 o de una lente de gafas izquierda 28 y una lente de gafas 29 derecha para un usuario de gafas 20. De acuerdo con la invencion, para ello se llevan a cabo los siguientes pasos:
proporcionar datos de imagenes b(x) al usuario de gafas 20 con una montura de gafas 24 puesta,
calcular datos de informacion I(x) derivados de los datos de imagenes b(x),
calcular una funcion de costos E(u) que enlaza los datos de informacion I(x) con datos de las lentes de gafas u(x), describiendo los datos de lentes de gafas u(x) la extension en el espacio de al menos una lente de gafas 28 incorporada en la montura de gafas 24, y
establecer un recorrido de un borde 26 de la lente de gafas 28 o de la lente de gafas izquierda y de la lente de gafas 29 derecha mediante la optimizacion de la funcion de costos E(u).
Lista de si'mbolos de referenda
10 dispositivo
12 columna
14, 16, 18 dispositivo de deteccion de imageries
15 sensor de imagenes
19 dispositivo de grabacion
20 usuario de gafas
21 unidad de ordenador
22 interfaz de entrada
23 interfaz de salida
24 montura de gafas
25 puente de la montura de gafas
26 borde
28 lente de gafas izquierda
29 lente de gafas derecha
30 superficie lateral
31 vertical
32 sistema de coordenadas
34 algoritmo
36 imagen
37 imagen adicional
38 segmento de imagen
39 rutina de calibracion
40 rutina de reconocimiento de las caracteristicas faciales 42 modelo de datos
44 rutina de deteccion de cantos
46 datos de informacion de los cantos
48 imagen de tono gris
50 rutina de evaluacion del color
52 datos de informacion del color
54 reflexiones/reflejos
56 imagen en blanco y negro
58 rutina de deteccion de reflexiones
60 rutina de la posicion de la lente de gafas
62 datos de informacion de probabilidades
64 rutina de reconocimiento del centro del puente
66 centro del puente
68 rutina de simetria
69 rutina de triangulacion
70 rutina de funcion de costos
71 supuesto estereo
72 minimo
74 representacion
75 rutina de optimizacion
77 rutina del calculo del borde
76, 78, 80, 82 representaciones de conjuntos de datos de lentes de gafas a traves de datos de la lente de gafas u(x)
84, 86, 88, 90, 92valores de la funcion de costos E(u)
94, 96 superficie
A distancia de grabacion
bw distancia de lentes de gafas
b(x) conjunto de datos de imagenes / datos de imagenes
E altura de esmerilado
E(u) funcion de costos
f(x) datos de informacion de color
g(x) datos de informacion de cantos
HS distancia del vertice de la cornea
sb anchura del disco
sh altura del disco
d(x) datos de evaluacion de estereo
di(x) datos de informacion de lentes de gafas
r(x) datos de evaluacion de simetria
s(x) datos de informacion de reflexiones
t(x) datos de informacion de mapas de profundidad
u(x) datos de la lente de gafas
w(x) valores de probabilidad
a angulo de inclinacion
p angulo del disco de la montura

Claims (15)

REIVINDICACIONES
1. Procedimiento implementado por ordenador para la determinacion automatica de la representacion del borde (26) de una lente de gafas (28) o de una lente de gafas izquierda (28) y de una lente de gafas derecha (29) para un usuario de gafas (20), que comprende
proporcionar una imagen (36) del usuario de gafas (20) con datos de imagenes b(x) al usuario de gafas (20) con una montura de gafas puesta, y
calcular datos de informacion I(x) derivados de los datos de imagenes b(x),
caracterizado por los siguientes pasos:
determinar un segmento de imagen (38) de la imagen (36) del usuario de gafas (20) a partir de sus caracteristicas faciales,
en donde los datos de informacion I(x) son datos de informacion de los cantos (46) calculados a partir de datos de imagenes del segmento bA(x) del segmento de imagen (38);
calcular una funcion de costos E(u) que enlaza los datos de informacion I(x) con datos de la lente de gafas u(x), describiendo los datos de la lente de gafas u(x) la extension en el espacio de al menos una lente de gafas (28) sujeta en la montura de gafas (24) y
establecer un recorrido de un borde (26) de la lente de gafas (28) o de la lente de gafas izquierda (28) y de la lente de gafas derecha (29) mediante la optimizacion de la funcion de costos E(u).
2. Procedimiento segun la reivindicacion 1, caracterizado por que los datos de informacion I(x) calculados, derivados de los datos de imagenes b(x), comprenden una imagen de informacion de cantos g(x) determinada a partir de los datos de imagenes b(x) detectados mediante un algoritmo de deteccion de cantos.
3. Procedimiento segun la reivindicacion 2, caracterizado por que el algoritmo de deteccion de cantos contiene un detector de cantos del grupo gradiente, gradiente de color, detector del borde de Canny, filtro orientado, en particular filtro Sobel o por que el algoritmo de deteccion de cantos recurre para la deteccion de los cantos a un banco de filtros con detectores de cantos estudiados, o por que el algoritmo de deteccion de cantos este configurado como un algoritmo autodidacta con procedimientos del aprendizaje mecanico.
4. Procedimiento segun la reivindicacion 1, caracterizado por que los datos de informacion I(x) calculados, derivados de los datos de imagenes b(x), comprenden una imagen de informacion de color f(x) determinada a partir de los datos de imagenes b(x) detectados mediante un algoritmo de evaluacion del color que evalua el color de datos de imagenes b(x).
5. Procedimiento segun una de las reivindicaciones 2 o 3, caracterizado por que los datos de informacion I(x) calculados, derivados de los datos de imagenes b(x), comprenden una imagen de informacion de color f(x) determinada a partir de los datos de imagenes b(x) detectados mediante un algoritmo de evaluacion del color que evalua el color de datos de imagenes.
6. Procedimiento segun la reivindicacion 4 o 5, caracterizado por que la funcion de costos E(u) es una suma ponderada de un termino de costos de deteccion de cantos Eg(u) y un termino de costos de evaluacion del color Ef(u).
7. Procedimiento segun la reivindicacion 6, caracterizado por que el calculo de datos de informacion I(x) derivados de los datos de imagenes comprende la determinacion de datos de informacion de reflexiones s(x) con un algoritmo para el reconocimiento de reflexiones en la montura de gafas y/o de una lente de gafas incorporada en la montura de gafas.
8. Procedimiento segun la reivindicacion 7, caracterizado por que el algoritmo de evaluacion del color y/o el algoritmo de deteccion de cantos tiene en cuenta los datos de informacion de reflexiones s(x) calculados a partir de los datos de imagenes b(x).
9. Procedimiento segun una de las reivindicaciones 6 a 8, caracterizado por que el calculo de datos de informacion I(x) derivados de los datos de imagenes b(x) comprende la determinacion de datos de informacion de caracteristicas faciales m(x) con un algoritmo para el reconocimiento de caracteristicas faciales, en particular un algoritmo para el reconocimiento de caracteristicas faciales que esta disenado para el reconocimiento de una o varias caracteristicas faciales del grupo de ojo, pupila, ceja, nariz o boca.
10. Procedimiento segun la reivindicacion 8 o 9, caracterizado por que el algoritmo de evaluacion del color y/o el algoritmo de deteccion de los cantos tiene en cuenta los datos de informacion de caracterfsticas faciales m(x) calculados a partir de los datos de imagenes b(x).
11. Procedimiento segun una de las reivindicaciones 1 a 9, caracterizado por que la funcion de costos E(u) para la determinacion del borde de una lente de gafas izquierda (28) y de una lente de gafas derecha (29) para un usuario de gafas (20) evalua una simetrfa de datos de lente de gafas u(x) y/o por que la funcion de costos E(u) para la determinacion del borde (26) de una lente de gafas izquierda (28) y de una lente de gafas derecha (29) para un usuario de gafas (20) evalua con una condicion estereo puntos representados consecutivamente en datos de lente de gafas u(x) para imagenes que corresponden a diferentes direcciones de captacion (19) de los dispositivos de captacion de imagenes (14, 16, 18).
12. Procedimiento segun una de las reivindicaciones 6 a 11, caracterizado por que el calculo de datos de informacion I(x) derivados de los datos de imagenes b(x) comprende la determinacion de datos de informacion de lentes de gafas di(x) con un algoritmo que, con ayuda de un modelo de lente de gafas aportado al algoritmo o con ayuda de una pluralidad de modelos de lentes de gafas aportados al algoritmo como datos de informacion de lente de gafas di(x) indica un modelo parametrico o un mapa que representa las probabilidades sobre la probabilidad de que los datos de imagenes b(x) detectados se encuentren en una lente de gafas (28, 29)
y/o
por que el calculo de datos de informacion I(x) derivados de los datos de imagenes b(x) comprende la determinacion de datos de informacion de la forma de la lente de gafas di(x) con un algoritmo (34) que, con ayuda de una pluralidad de modelos de lentes de gafas aportados al algoritmo como datos de informacion de forma de lente de gafas di(x) indica una forma en 2D o una forma en 3D de una lente de gafas (28, 29) incorporable en la montura de gafas (24),
y/o
por que el algoritmo de evaluacion del color tiene en cuenta los datos de informacion de la forma de la lente de gafas di(x) calculados a partir de los datos de imagenes b(x).
13. Procedimiento segun una de las reivindicaciones 1 a 12, caracterizado por que los datos de informacion I(x) calculados, derivados de los datos de imagenes b(x), comprenden un centro M del puente determinado mediante un algoritmo de deteccion del centro del puente,
y/o por que los datos de imagenes b(x) proporcionados al usuario de gafas (20) se basan en imagenes tomadas a partir de al menos dos angulos de vision diferentes.
14. Programa de ordenador que comprende un codigo del programa que, cuando esta cargado y realizado en un sistema de ordenador, esta disenado para llevar a cabo un procedimiento segun una de las reivindicaciones precedentes.
15. Dispositivo para la determinacion automatica del recorrido del borde de una lente de gafas (28) o de una lente de gafas izquierda (28) y de una lente de gafas derecha (29) para un usuario de gafas (20),
caracterizado por
al menos un dispositivo de deteccion de imagenes (14, 16, 18) para la provision de una imagen (36) del usuario de gafas (20) con datos de imagenes b(x) del usuario de gafas (20) que porta una montura de gafas (24),
medios para determinar un segmento de imagen (38) de la imagen (36) del usuario de gafas (20) a partir de sus caracterfsticas faciales;
medios para calcular datos de informacion I(x) derivados de los datos de imagenes b(x), en donde los datos de informacion I(x) son datos de informacion de los cantos (46) calculados a partir de datos de imagenes del segmento bA(x) del segmento de imagen (38);
medios para calcular una funcion de costos E(u) que enlaza los datos de informacion I(x) con datos de las lentes de gafas u(x), en donde los datos de lentes de gafas u(x) describen la extension en el espacio de al menos una lente de gafas (28) sujeta en la montura de gafas (24) y
medios para establecer el recorrido de un borde (26) de la lente de gafas (28) o de la lente de gafas izquierda (28) y de la lente de gafas derecha (29) mediante la optimizacion de la funcion de costos E(u).
ES17153651T 2017-01-27 2017-01-27 Procedimiento y dispositivo, así como programa de ordenador para determinar una representación de un borde de lente de gafas Active ES2714172T5 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP17153651.9A EP3355104B2 (de) 2017-01-27 2017-01-27 Verfahren und vorrichtung sowie computerprogramm zum ermitteln einer repräsentation eines brillenglasrands

Publications (2)

Publication Number Publication Date
ES2714172T3 true ES2714172T3 (es) 2019-05-27
ES2714172T5 ES2714172T5 (es) 2022-09-07

Family

ID=57914863

Family Applications (1)

Application Number Title Priority Date Filing Date
ES17153651T Active ES2714172T5 (es) 2017-01-27 2017-01-27 Procedimiento y dispositivo, así como programa de ordenador para determinar una representación de un borde de lente de gafas

Country Status (8)

Country Link
US (1) US10564446B2 (es)
EP (2) EP3355104B2 (es)
KR (1) KR102056333B1 (es)
CN (1) CN109804302B (es)
BR (1) BR112019006165B1 (es)
CA (1) CA3039116C (es)
ES (1) ES2714172T5 (es)
WO (1) WO2018137863A1 (es)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016003512A1 (de) 2016-03-22 2017-09-28 Rodenstock Gmbh Verfahren und Vorrichtung zur Ermittlung von 3D-Koordinaten zumindest eines vorbestimmten Punktes eines Objekts
EP3355214A1 (de) * 2017-01-27 2018-08-01 Carl Zeiss Vision International GmbH Verfahren, recheneinrichtung und computerprogramm zum bereitstellen eines fassungsrandmodells
GB2559978A (en) * 2017-02-22 2018-08-29 Fuel 3D Tech Limited Systems and methods for obtaining eyewear information
EP3413122B1 (de) 2017-06-08 2020-03-04 Carl Zeiss Vision International GmbH Verfahren, vorrichtung und computerprogramm zum bestimmen eines nah-durchblickpunktes
EP3422087B1 (de) 2017-06-28 2019-12-25 Carl Zeiss Vision International GmbH Verfahren zur korrektur von zentrierparametern und/oder einer achslage sowie entsprechendes computerprogramm und verfahren
DE102018105917A1 (de) 2018-03-14 2019-09-19 tooz technologies GmbH Verfahren zur benutzerindividuellen Kalibrierung einer auf den Kopf eines Benutzers aufsetzbaren Anzeigevorrichtung für eine augmentierte Darstellung
CN109636844B (zh) * 2018-11-19 2023-05-02 南昌大学 一种基于3d双边对称的复杂桌面点云分割的方法
EP3702831A1 (de) 2019-03-01 2020-09-02 Carl Zeiss Vision International GmbH Datensatz zur verwendung in einem verfahren zur herstellung eines brillenglases
US11238611B2 (en) * 2019-07-09 2022-02-01 Electric Avenue Software, Inc. System and method for eyewear sizing
EP3851903A1 (en) * 2020-01-15 2021-07-21 Essilor International A method and system for providing an eyeglasses frame
CN111461970B (zh) * 2020-04-09 2023-08-11 北京百度网讯科技有限公司 图像处理方法、装置和电子设备
CN111488843A (zh) * 2020-04-16 2020-08-04 贵州安防工程技术研究中心有限公司 基于漏报与误报率分步骤抑制的人脸墨镜判别方法
WO2022022765A1 (de) * 2020-07-31 2022-02-03 Tribe Gmbh Verfahren und vorrichtung zum automatischen bestimmen von herstellungsparametern für eine brille
EP4348343A1 (en) * 2021-05-28 2024-04-10 Essilor International A photography and thermography combining method of obtaining a fitting parameter to fit an ophthalmic lens into a spectacle frame
EP4227731A1 (en) 2022-02-14 2023-08-16 Carl Zeiss Vision International GmbH Method and mobile device for determining a visual point of a person
CN116883446B (zh) * 2023-09-08 2023-11-21 鲁冉光电(微山)有限公司 一种车载摄像头镜片碾磨程度实时监测***

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2165976B (en) * 1984-03-02 1987-12-02 Hoya Corp Device for obtaining data related to the shape of spectacle frames
KR910000591B1 (ko) * 1986-10-30 1991-01-26 가부시기가이샤 도시바 안경 프레임 화상처리 기록방법 및 이를 실시하기 위한 시스템
US4806011A (en) * 1987-07-06 1989-02-21 Bettinger David S Spectacle-mounted ocular display apparatus
DE10033983A1 (de) 2000-04-27 2001-10-31 Frank Mothes Einrichtung zur Bestimmung der Brillenglas-Zentrierdaten
ATE534098T1 (de) * 2005-09-23 2011-12-15 Koninkl Philips Electronics Nv Verfahren und system zur anpassung eines geometrischen modells mit mehreren teil- transformationen
JP4871226B2 (ja) 2007-07-06 2012-02-08 株式会社エヌ・ティ・ティ・ドコモ 認識装置および認識方法
DE102009004381B4 (de) * 2008-01-10 2011-09-01 Rodenstock Gmbh Vorrichtung, Verfahren und Computerprogrammprodukt
US8885926B2 (en) * 2009-04-15 2014-11-11 Massachusetts Institute Of Technology Image and data segmentation
DE102011115239B4 (de) 2011-09-28 2016-02-11 Rodenstock Gmbh Bestimmung der Scheibenform unter Berücksichtigung von Tracerdaten
WO2014084841A1 (en) * 2012-11-30 2014-06-05 Compagnie Generale Des Etablissements Michelin Uniformity correction using progressive ablation
BR112015030451B1 (pt) * 2013-06-13 2022-05-03 Essilor International Método para otimizar um contorno medido de uma armação de óculos e método para otimizar pelo menos uma superfície óptica de uma lente oftálmica adaptada para encaixar em uma armação de óculos
DE102014012452A1 (de) 2014-08-21 2016-02-25 Rodenstock Gmbh Ermittlung von Benutzerdaten unter Berücksichtigung von Bilddaten einer ausgewählten Brillenfassung
DE102014013447A1 (de) * 2014-09-16 2016-03-17 Hans-Joachim Ollendorf Verfahren zur messgenauen Bestimmung von optischen Parametern eines Probanden zur Anpassung einer Brille an den Probanden und immobiles Videozentriersystem
EP3262617A1 (en) * 2015-02-23 2018-01-03 Fittingbox Process and method for real-time physically accurate and realistic-looking glasses try-on
US10330958B2 (en) * 2015-04-10 2019-06-25 Bespoke, Inc. Systems and methods for creating eyewear with multi-focal lenses

Also Published As

Publication number Publication date
EP3542211B1 (de) 2020-04-08
KR20190088524A (ko) 2019-07-26
BR112019006165B1 (pt) 2023-10-17
WO2018137863A1 (de) 2018-08-02
EP3355104B1 (de) 2018-12-12
CN109804302B (zh) 2020-07-03
CA3039116C (en) 2020-02-18
US10564446B2 (en) 2020-02-18
CA3039116A1 (en) 2018-08-02
US20190271858A1 (en) 2019-09-05
EP3355104A1 (de) 2018-08-01
EP3542211A1 (de) 2019-09-25
ES2714172T5 (es) 2022-09-07
CN109804302A (zh) 2019-05-24
BR112019006165A2 (pt) 2019-06-18
EP3355104B2 (de) 2022-06-01
KR102056333B1 (ko) 2019-12-16

Similar Documents

Publication Publication Date Title
ES2714172T3 (es) Procedimiento y dispositivo, así como programa de ordenador para determinar una representación de un borde de lente de gafas
EP3453316B1 (en) Eye tracking using eyeball center position
CN103091843B (zh) 透视显示器亮度控制
ES2528030T3 (es) Procedimiento y sistema de selección on line de una montura de gafas virtual
JP6232287B2 (ja) 累進焦点眼鏡用レンズを選択する方法
US8182089B2 (en) Apparatus for determining the orientation of ophthalmic lenses belonging to a frame
US20180038768A1 (en) Methods and Apparatus for Small Aperture Lensometer
CN103530623B (zh) 信息观察方法及信息观察装置
JP2018057872A (ja) 眼鏡を着用する人物の行動特性、姿勢特性、又は幾何形態特性を判定する方法
US10620454B2 (en) System and method of obtaining fit and fabrication measurements for eyeglasses using simultaneous localization and mapping of camera images
US10571721B2 (en) Computer-implemented method for determining a representation of a rim of a spectacles frame or a representation of the edges of the spectacle lenses
CN109844486A (zh) 接触镜片检查方法和***
US11057606B2 (en) Method and display system for information display based on positions of human gaze and object
US20170186170A1 (en) Facial contour recognition for identification
CN105354822B (zh) 自动识别读写场景中读写元素位置的智能装置及应用
CN103604412A (zh) 定位方法及定位装置
JP2006095008A (ja) 視線検出方法
JP2003329541A (ja) アイポイントの位置決定方法及びアイポイント測定システム
ES2933452T3 (es) Procedimiento y dispositivo para la medición de la potencia de refracción local y/o de la distribución de la potencia de refracción de una lente de gafas
CN116964513A (zh) 框架调整***
CN114830015A (zh) 用于确定配戴着眼睛配戴物的受试者的至少一个几何形态参数的值的方法
FR2690832A1 (fr) Procédé d'identification du positionnement réel du centre d'une pupille d'Óoeil.
ES2901154T3 (es) Método y aparato para determinar una postura de referencia de la cabeza de un sujeto
US20200209652A1 (en) System and Method of Obtaining Fit and Fabrication Measurements for Eyeglasses Using Depth Map Scanning
CN112528714A (zh) 基于单光源的注视点估计方法、***、处理器及设备