ES2808873T3 - Métodos y sistemas para producir una imagen 3D ampliada - Google Patents

Métodos y sistemas para producir una imagen 3D ampliada Download PDF

Info

Publication number
ES2808873T3
ES2808873T3 ES15872096T ES15872096T ES2808873T3 ES 2808873 T3 ES2808873 T3 ES 2808873T3 ES 15872096 T ES15872096 T ES 15872096T ES 15872096 T ES15872096 T ES 15872096T ES 2808873 T3 ES2808873 T3 ES 2808873T3
Authority
ES
Spain
Prior art keywords
image
enlarged
parallax
images
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES15872096T
Other languages
English (en)
Inventor
Ron Schneider
Abraham Zeitouny
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Elbit Systems Ltd
Original Assignee
Elbit Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Elbit Systems Ltd filed Critical Elbit Systems Ltd
Application granted granted Critical
Publication of ES2808873T3 publication Critical patent/ES2808873T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0096Synchronisation or controlling aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

Un método para producir una imagen tridimensional (3D) ampliada de un objeto según un parámetro de ampliación, en donde el tamaño del objeto en la imagen 3D ampliada indica que el objeto está ubicado a una distancia a objeto ampliado (Dmag) y el paralaje del objeto en la imagen 3D indica que el objeto está ubicado a una distancia a objeto de paralaje (Dobj), comprendiendo el método los siguientes procedimientos: adquirir una primera imagen de dicho objeto mediante una primera cámara y adquirir una segunda imagen de dicho objeto mediante una segunda cámara a una distancia a objeto (300); determinar dicho parámetro de ampliación (302); y generar una primera imagen ampliada al ampliar una parte de dicha primera imagen que contiene dicho objeto según dicho parámetro de ampliación, y generar una segunda imagen ampliada al ampliar una parte de dicha segunda imagen que contiene dicho objeto según dicho parámetro de ampliación (304), en donde el paralaje de dicho objeto en dichas imágenes ampliadas primera y segunda es el mismo que el paralaje de dicho objeto en dichas imágenes primera y segunda; modificar la geometría de dicha primera imagen ampliada y de dicha segunda imagen ampliada como función de dicho parámetro de ampliación (306) y una posición de píxel de los píxeles en dicha primera imagen ampliada y dicha segunda imagen ampliada, en donde dicha modificación de la geometría comprende desplaza respectivamente dichos píxeles en dicha primera imagen ampliada y dicha segunda imagen ampliada no uniformemente, produciendo de ese modo una primera imagen modificada y una segunda imagen modificada, en donde dicho objeto en dicha primera imagen modificada y en dicha segunda imagen modificada tiene un paralaje modificado que coincide con el tamaño del objeto ampliado, y la distancia a objeto de paralaje coincide con la distancia a objeto ampliado y mostrar dicha primera imagen modificada y dicha segunda imagen modificada, caracterizado por que dicho desplazamiento no uniforme de dichos píxeles en dicha primera imagen ampliada y dicha segunda imagen ampliada es una modificación de orden superior dependiente de las posiciones de dichos píxeles y que comprende una pluralidad de coeficientes en donde al menos uno de dicha pluralidad de coeficientes es dependiente de dicho parámetro de ampliación.

Description

DESCRIPCIÓN
Métodos y sistemas para producir una imagen 3D ampliada
Campo de la técnica divulgada
La técnica divulgada está relacionada con la ampliación de imágenes estereoscópicas, en general, y con métodos y sistemas para modificar imágenes estereoscópicas ampliadas según la ampliación para producir una imagen tridimensional (3D) ampliada, en particular.
Antecedentes de la técnica divulgada
El paralaje es el desplazamiento aparente, o la diferencia en dirección aparente, de un objeto visto desde dos puntos diferentes (que no están posicionados en una línea recta con el objeto). El paralaje proporciona pistas visuales para percepción de profundidad y es empleada por el cerebro humano para la estereopsis. En particular, los objetos cercanos exhiben un mayor paralaje que los objetos distantes.
La Distancia Interpupilar (DIP) es la distancia entre las pupilas de un sistema o de personas. Diferentes personas tienen diferente DIP, y por lo tanto pueden ver el mismo objeto, desde la misma distancia, en un paralaje ligeramente diferente.
Ahora se hace referencia a la solicitud de patente de EE. UU. n.° de publicación 2013/0100253 de Sawachi, y titulada “Image Processing Device, Imaging Capturing Device, and Method for Processing Image”. Esta Publicación está relacionada con un dispositivo de procesamiento de imagen que incluye una unidad de adquisición de imagen, una unidad de adquisición de valor de zum, una unidad de cálculo de cantidad de paralaje, y una unidad de corrección de cantidad de paralaje. La unidad de adquisición de imagen adquiere imágenes estereoscópicas. La unidad de adquisición de valor de zum adquiere un valor de zum de las imágenes estereoscópicas. La unidad de cálculo de cantidad de paralaje calcula una cantidad de paralaje de cada píxel entre las imágenes de punto de vista. La unidad de cálculo de cantidad de paralaje calcula una cantidad de valor de corrección de paralaje para corregir una cantidad de paralaje de cada píxel de las imágenes estereoscópicas (p. ej., una imagen de ojo izquierdo y una imagen de ojo derecho) según la cantidad de paralaje calculado por la unidad de cálculo de cantidad de paralaje y según el valor de zum adquirido por la unidad de adquisición de valor de zum.
Ahora se hace referencia a la patente de EE. UU. n.° 8.094.927 expedida para Jin et al., y titulada “Stereoscopic Display System with Flexible Rendering of Disparity Map According a The Stereoscopic Fusing Capability of The Observer”. Esta Publicación está relacionada con un método para personalizar contenido de escena, según un usuario, para una exposición estereoscópica dada. El método incluye las etapas de obtener información de personalización acerca del usuario, obtener un mapa de disparidad de escena, determinar un intervalo de disparidad de intención para el usuario, generar un mapa de disparidad personalizado, y aplicar el mapa de disparidad personalizado. La información de personalización es respectiva a un usuario específico y se debe obtener para cada usuario. El mapa de disparidad de escena se obtiene de una pareja de imágenes estéreo dadas. El intervalo de disparidad de intención se determina a partir de la información de personalización para el usuario. El mapa de disparidad personalizado se genera para correlacionar con la capacidad de fusión del usuario de la exposición estereoscópica dada. El mapa de disparidad personalizado se aplica para generar las imágenes estéreo para la subsiguiente exposición.
Ahora se hace referencia a la solicitud de patente de EE. UU. n.° de publicación 2004/0238732 de State et al., y titulada “Methods and Systems for Dynamic Virtual Convergence and Head Mountable Display”. Esta Publicación está relacionada con un método para convergencia virtual dinámica para vídeo visto a través de exposiciones montables en la cabeza para permitir visualización estereoscópica de objetos de corto alcance. El método incluye las etapas de muestrear una imagen con cámaras primera y segunda, estimar una distancia de mirada para un observador, transformar troncos de exposición para que converjan en la distancia de mirada estimada, volver a proyectar la imagen muestreada por las cámaras a los troncos de exposición y exponer la imagen reproyectada. Cada cámara que tiene un primer campo de visión. La imagen reproyectada se expone al observador en exposiciones que tienen un segundo campo de visión más pequeño que el primer campo de visión (de las cámaras), permitiendo de ese modo visualización estereoscópica de objetos de corto alcance.
Ahora se hace referencia a la solicitud de patente de EE. UU. n.° de publicación 2012/229608 que está relacionada con una imagen estereoscópica que es ampliada por un zum electrónico. El paralaje se corrige sobre la base del valor de zum y la cantidad de paralaje cambiado al comprimir el paralaje.
Ahora se hace referencia a la solicitud de patente de EE. UU. n.° de publicación 2011/018969 que está relacionada con una exposición estereoscópica con función de zum, en donde después de amplificar, el paralaje es corregido por traslación, corte, recorte de la imagen.
Compendio de la presente técnica divulgada
Un objeto de la técnica divulgada es proporcionar un método y un sistema novedosos para producir una imagen tridimensional (3D) ampliada de un objeto que tiene un paralaje modificado según la ampliación. Según una realización de la técnica divulgada, así se proporciona un método para producir una imagen 3D ampliada de un objeto.
La presente técnica divulgada es definida por la materia de asunto según las reivindicaciones 1 y 3 independientes. Aspectos adicionales se definen según las reivindicaciones dependientes. Referencias a realizaciones que no se encuentran dentro del alcance de las reivindicaciones se tienen que entender como ejemplos útiles para entender la invención.
Breve descripción de los dibujos
La técnica divulgada se entenderá y apreciará más totalmente a partir de la siguiente descripción detallada tomada conjuntamente con los dibujos en los que:
las figuras 1A, 1B, 1C, 1D y 1E, son ilustraciones esquemáticas de un sistema para producir imágenes 3D ampliadas según un parámetro de ampliación para promover estereopsis, construido y operativo según una realización de la técnica divulgada;
la figura 2 es una ilustración esquemática de un sistema para producir imágenes 3D ampliadas según un parámetro de ampliación para promover estereopsis, construido y operativo según otra realización de la técnica divulgada;
la figura 3 es una ilustración esquemática de un método para producir imágenes 3D ampliadas según un parámetro de ampliación para promover estereopsis, operativo según una realización adicional de la técnica divulgada; y
la figura 4 es una ilustración esquemática de un método para producir imágenes 3D ampliadas según un parámetro de ampliación para promover estereopsis, operativo según incluso otra realización de la técnica divulgada.
Descripción detallada de las realizaciones
La técnica divulgada vence las desventajas de la técnica anterior al proporcionar un método para producir imágenes tridimensionales (3D) ampliadas según un parámetro de ampliación. Una imagen izquierda y una imagen derecha son adquiridas por una cámara izquierda y una cámara derecha separadas espacialmente (o por una única cámara que tiene dos canales), respectivamente. Cada una de la imagen izquierda y la imagen derecha contiene un objeto. Debido a diferentes perspectivas de las cámaras izquierda y derecha, el objeto parece de manera diferente en la imagen izquierda y en la imagen derecha (p. ej., parece en una ubicación diferente dentro de cada imagen - paralaje).
En un sistema amplificador, la ampliación de imagen provoca un efecto similar al cambio del punto de vista (es decir, la posición ventajosa), donde la escena se observa desde una distancia más cercana. Dicho de otro modo, una imagen ampliada simula una imagen adquirida a una distancia más corta del objeto. Así, cuando el usuario desea ver el objeto desde una distancia más cercana, la imagen del objeto puede ser ampliada. El usuario proporciona un parámetro de ampliación y por consiguiente la imagen es ampliada. Esto es, se amplía una parte de imagen que contiene el objeto. La imagen puede ser ampliada de cualquier manera conocida en la técnica (p. ej., ópticamente o digitalmente).
Como las cámaras no se mueven durante la ampliación de imagen, sus perspectivas del objeto permanecen sin cambiar. Por ejemplo, el paralaje del objeto en las imágenes permanece sin cambiar. Sin embargo, el objeto ampliado da la impresión de distancia a objeto más corta. Por lo tanto, el usuario que ve las imágenes ampliadas recibe pistas visuales contradictorias, y puede experimentar incomodidad y padecer fatiga, náuseas y similares. Así, la geometría de las imágenes ampliadas debe ser modificada para producir una imagen 3D ampliada que reduzca la incomodidad del usuario.
Según una realización de la técnica divulgada, el método para producir imágenes 3D ampliadas implica recibir un parámetro de ampliación del usuario que indica la ampliación deseada (o el punto de vista o la distancia a objeto deseados). Las imágenes izquierda y derecha se amplían, y en particular se amplía al menos la parte que contiene el objeto.
Entonces se modifica la geometría de las imágenes ampliadas. La modificación geométrica es una función del parámetro de ampliación. Dicho de otro modo, sobre las imágenes ampliadas se aplica una función de modificación geométrica (es decir, una función del parámetro de ampliación). Por ejemplo, la modificación de geometría puede ser por medio de desplazamiento de los píxeles del objeto ampliado, o deformando de otro modo la imagen. La geometría de las imágenes ampliadas se modifica de manera que el objeto parecería como si se tomara una imagen desde un punto de vista más cercano (es decir, más cerca de la ubicación original de las cámaras). Dicho de otro modo, las imágenes ampliadas simulan imágenes adquiridas a una distancia a objeto más corta (es decir, se le hace referencia en esta memoria como distancia a objeto ampliado).
En caso de modificación mediante desplazamiento de píxeles, la parte ampliada de las imágenes puede ser desplazada uniformemente (como función de la ampliación). Esto es, los píxeles se desplazan linealmente independientemente de la posición de píxel, y dependiendo únicamente de la ampliación. Esto significa que la imagen redefinida (tras la corrección) se crea al mover los píxeles enteros la misma cantidad en el eje vertical, horizontal o rotacional. A este desplazamiento uniforme se le hace referencia en esta memoria como modificación de orden cero, o modificación lineal.
La modificación puede ser de órdenes más altos, tales como una modificación de primer orden, modificación de segundo orden, etc. En cada una de las órdenes más altos de modificación (es decir, mayor orden que orden cero), el desplazamiento de un píxel desplazado depende de su ubicación original dentro de la imagen. Por lo tanto, las modificaciones de orden más alto pueden dar mejores resultados para imágenes que tienen un sustancial alcance de profundidad.
Según otra realización de la técnica divulgada, el método para producir imágenes 3D ampliadas implica producir un modelo tridimensional (3D) del objeto. El modelo 3D mapea la profundidad de los elementos del objeto (y posiblemente de otros objetos en las imágenes). Tras recibir el parámetro de ampliación del usuario, se determina una distancia a objeto ampliado. La distancia a objeto ampliado es la distancia a la que el objeto parecería como ampliado como indica el parámetro de ampliación. Por ejemplo, la ampliación deseada es una ampliación por un factor de dos. La distancia a objeto ampliado es una distancia del objeto a las cámaras, a la que el objeto parecería dos veces mayor que en las imágenes originales.
Después de eso, a partir del modelo 3D del objeto se produce una pareja de imágenes ampliadas. Las imágenes ampliadas simulan imágenes que se habrían adquirido a partir de la distancia a objeto ampliado. Esto es, las imágenes ampliadas producidas muestran el objeto como si se tomara la imagen desde la distancia a objeto ampliado (es decir, desde las perspectivas de las cámaras en caso de que el objeto estuviera ubicado a la distancia a objeto ampliado). De ese modo, las imágenes ampliadas producidas muestran el objeto en la ampliación deseada y en el paralaje natural, promoviendo de ese modo estereopsis. Las imágenes ampliadas producidas forman juntas una imagen 3D ampliada.
Ahora se hace referencia a las figuras 1A, 1B, 1C, 1D y 1E, que son ilustraciones esquemáticas de un sistema de imagen 3D ampliada, generalmente referenciado 100, para producir imágenes 3D ampliadas según un parámetro de ampliación, construido y operativo según una realización de la técnica divulgada. La figura 1A representa el sistema de imagen 3D ampliada y un objeto del que se ha tomado imagen. La figura 1B representa imágenes izquierda y derecha adquiridas por las cámaras del sistema de imagen 3D ampliada. La figura 1C representa el sistema de imagen 3D ampliada y una representación del objeto ampliado del que se ha tomado imagen. La figura 1D representa una imagen izquierda ampliada y una imagen derecha ampliada. La figura 1E representa una imagen izquierda modificada y una imagen derecha modificada.
El sistema de imagen 3D ampliada 100 incluye una primera cámara 102 (p. ej., una cámara izquierda 102) y una segunda cámara 104 (p. ej., una cámara derecha 104), cada una asociada con un campo de visión (FOV, del inglés Field of View). En el ejemplo presentado en la figura 1A, la FOV de la cámara 102 se indica mediante dos líneas de puntos, y la FOV de cámara 104 se indica mediante dos líneas de trazos. Cada una de las cámaras incluye un sensor de imagen y un conjunto óptico (ninguno se muestra). Cada una de las cámaras 102 y 104 se acopla con un procesador de imagen (p. ej., el procesador de imagen 206 de la figura 2).
Cada una de las cámaras 102 y 104 adquiere una imagen de un objeto 106 ubicado a una distancia Dobj desde las cámaras. Cabe señalar que la distancia a objeto desde la cámara 102 podría ser ligeramente diferente que desde la cámara 104. Sin embargo, estas ligeras diferencias son insignificantes, y en particular son mucho más pequeñas que la distancia entre la misma cámara 102 y la cámara 104. Por lo tanto, más adelante en esta memoria, Dobj está relacionada con la distancia entre el objeto 106 y la cámara 102, y la distancia entre el objeto 106 y la cámara 104 (o simplemente como la distancia entre el objeto y las cámaras). La distancia del objeto a las cámaras (Dobj) también se puede describir por el punto de vista de las cámaras (p. ej., el punto de vista corresponde a la distancia a objeto). Por ejemplo, el punto de vista de las cámaras se ubica a 1,5 metros del objeto, y así la distancia a objeto es de 1,5 metros.
Como se puede ver en la figura 1A, cada una de las cámaras 102 y 104 adquiere la respectiva imagen del objeto desde una perspectiva ligeramente diferente. Como se puede ver por la ubicación diferente del objeto 106 dentro de cada uno de los FOV de las cámaras, el objeto 106 parecería en una ubicación ligeramente diferente dentro de cada una de las imágenes. Esto es, el objeto 106 exhibiría un paralaje entre su ubicación en la imagen izquierda y su ubicación en la imagen derecha.
Con referencia a la figura 1B, se presenta una imagen izquierda 110 y una imagen derecha 112. Como se puede ver, cada una de la imagen izquierda 110 y la imagen derecha 112 contiene el objeto 106. El objeto 106 parece en una ubicación diferente en cada una de las imágenes (es decir, exhibiendo un paralaje). Específicamente, en la imagen izquierda 110 el centro del objeto 106 está ubicado a la izquierda del centro de la imagen, y en la imagen derecha 112 el centro del objeto 106 está ubicado a la derecha del centro de la imagen. El paralaje del objeto 106 en las imágenes 110 y 112 es definido por la ubicación de cada una de las cámaras 102 y 104, y por la ubicación del objeto 106 con respecto a las cámaras - Dobj.
El objeto 106 puede ser ampliado. La ampliación puede ser óptica o digital. La ampliación óptica emplea elementos ópticos (p. ej., conjunto de lente telescópica o conjunto de lente de zum) para ampliar el objeto 106 como lo ve un usuario, detectado por una cámara, o expuesto por una pantalla. La ampliación digital emplea técnicas de procesamiento de imagen para recortar la parte de imagen ampliada y potencialmente extrapolar valores de píxel. Cuando se amplía el objeto 106, parece como si estuviera más cerca de las cámaras. Esto es, la ampliación del objeto 106 simula una distancia a objeto más corta (es decir, un punto de vista más cercano de las cámaras).
Con referencia a la figura 1C, una imagen izquierda ampliada 120 y una imagen derecha ampliada 122 representan un objeto ampliado 116 (y sus alrededores). Como se puede ver en la figura 1C, el objeto ampliado 116 exhibe el mismo paralaje en las imágenes 120 y 122 que el objeto 106 en las imágenes 110 y 112. Dicho de otro modo, el centro del objeto ampliado 116 en cada una de las imágenes 120 y 122 está en la misma ubicación que el centro del objeto 106 en las imágenes 110 y 112. El paralaje no ha cambiado con la ampliación de objeto, ya sea realizada digitalmente u ópticamente, ya que la distancia a objeto y las ubicaciones y orientaciones de cámaras (es decir, las perspectivas de las cámaras) no cambiaron.
Sin embargo, cabe señalar que la ampliación de objeto hace que el objeto ampliado 116 aparezca más cerca que el objeto 106 (es decir, más cerca de las cámaras 102 y 104). Con referencia a la figura 1D, el objeto ampliado 116 parece (según su nuevo tamaño ampliado) como si estuviera ubicado a una distancia a objeto ampliado - Dmag - desde las cámaras, donde Dmag es menor que Dobj. Dicho de otro modo, el punto de vista de las cámaras 102 y 104 parece estar más cerca del objeto ampliado 116 que del objeto 106.
Las imágenes ampliadas 120 y 122 proporcionan pistas de profundidad visual contradictorias a un observador. Por un lado, el tamaño del objeto ampliado 116 indica que el objeto está ubicado a la distancia a objeto ampliado Dmag, y por otro lado, el paralaje del objeto ampliado 116 en las imágenes 120 y 122 indica que objeto 116 está ubicado a la distancia a objeto Dobj. De ese modo, las imágenes ampliadas 120 y 122 pueden provocar incomodidad visual al observador. La técnica divulgada ajusta las imágenes ampliadas según la ampliación para impedir tal incomodidad de observador.
Con referencia a la figura 1E, se representa una imagen ajustada izquierda 130 y una imagen ajustada derecha 132. El objeto ampliado 116 está desplazado en cada una de las imágenes 130 y 132 (con respecto a las imágenes 120 y 122), en direcciones opuestas, y se representa como objeto desplazado 126. En particular, al menos algunos de los píxeles de las imágenes 120 y 122 están desplazados.
Según una realización de la técnica divulgada, el objeto ampliado es trasladado, y la traslación se determina como función de la ampliación. Específicamente, todos los píxeles son trasladados uniformemente independientemente de la posición de píxel. A esta traslación uniforme se le hace referencia en esta memoria como modificación de orden cero. De ese modo, la técnica divulgada modifica las imágenes ampliadas, de manera que el paralaje del objeto ampliado corresponde al tamaño ampliado del objeto para promover estereopsis.
Una función de desplazamiento ejemplar se da por [Ddesplazamiento = ampliación * a (milímetros)]. Donde ‘a’ es un coeficiente constante, tal como 0,1. Así, cuando se amplía el objeto por un factor de ampliación de 2, el desplazamiento son 2 milímetros. Otras funciones de desplazamiento ejemplares se dan por [Ddesplazamiento = ampliación * a2 b (milímetro)]. Donde ‘a’ y ‘b’ son coeficientes constantes. Así, para a=1,5 y b=3, cuando se amplía la escena seleccionada por un factor de ampliación de dos, la magnitud de traslación son 7,5 milímetros. Como alternativa, el desplazamiento se puede relacionar con la ampliación mediante cualquier otra función. De esta manera, las pistas de profundidad visual de las imágenes 130 y 132 se ajustan para promover estereopsis (p. ej., se ajustan de manera que el tamaño de objeto ampliado 126 corresponde al paralaje de objeto 126 en las imágenes).
Según otras realizaciones de la técnica divulgada, diferentes píxeles se pueden desplazar de manera diferente. Específicamente, el desplazamiento de un píxel (o un conjunto de píxeles) es dependiente de la posición del píxel, así como de la ampliación. A tales desplazamientos no uniformes se les hace referencia en esta memoria como modificaciones orden superior (p. ej., una modificación de primer orden, una modificación de segundo orden, una modificación de tercer orden, etc.). Las modificaciones de orden superior pueden proporcionar mejores resultados para imágenes ampliadas que tienen un sustancial alcance de profundidad.
Un ejemplo de un desplazamiento de primer orden se da por [Ddesplazamiento = aX+b]. Un ejemplo de un desplazamiento de segundo orden se da por [Ddesplazamiento = aX2+bX+c]. Otro ejemplo de un desplazamiento de segundo orden se da por [Ddesplazamiento = aX+bY+c]. En donde, ‘X’ es la coordenada de píxel a lo largo del eje X, ‘Y‘ es la coordenada de píxel a lo largo del eje Y, y ‘a’, ‘b’ y ‘c’ son coeficientes. Cabe señalar que al menos uno de los coeficientes es dependiente de la ampliación de objeto. Un ejemplo de una modificación de primer orden se da por [Ddesplazamiento = f(ampliación)*X g(ampliación)], en donde ‘f' y ‘g’ son funciones de la ampliación.
Según otras realizaciones de la técnica divulgada, la modificación geométrica de las imágenes ampliadas, implica otros métodos para deformar las imágenes ampliadas. Por ejemplo, las imágenes (o diferentes partes de las imágenes) se pueden estirar, contraer, rotar, y cualquier combinación de lo mismo. Las modificaciones geométricas son función del parámetro de ampliación, y se dirigen a modificar las imágenes, de manera que el objeto ampliado parecería como si se tomara la imagen desde la distancia a objeto ampliado.
Según incluso otra realización, otras modificaciones además de modificaciones geométricas también se aplican en las imágenes ampliadas. Por ejemplo, valores de modificación de píxel para modificar tonalidades y colores, o modificar el tono.
Según incluso otra realización de la técnica divulgada, el sistema de modificación de imagen genera imágenes ampliadas (y modificadas), en lugar de modificar imágenes ya ampliadas. El sistema de modificación de imagen recibe la ampliación deseada desde el usuario. El sistema de modificación de imagen produce un modelo tridimensional (3D) del objeto a partir de las imágenes izquierda y derecha. El modelo 3D de la escena puede ser creado, por ejemplo, a partir del conocimiento del punto de vista real de las cámaras (con respecto al objeto), la posición relativa de las cámaras, y la correlación entre las imágenes desde las dos cámaras. Esto es, el sistema de modificación de imagen mapea la profundidad de los diferentes elementos del objeto. El sistema de modificación de imagen genera las imágenes ajustadas como si fueran adquiridas desde la distancia a objeto ampliado a partir del modelo 3D. Esta realización se detalla aún más en adelante en esta memoria, con referencia a la figura 4.
Como alternativa, el modelo 3D se puede producir a partir de datos adicionales o alternativos, tales como datos recibidos de una fuente externa (p. ej., otro dispositivo de obtención de imágenes o de escaneo, luz estructurada, tiempo de vuelo, etc.), datos de imágenes previamente adquiridas del objeto, y similares. Cabe señalar que en caso de que se reciban tales datos 3D adicionales, el modelo 3D se puede producir a partir de una única imagen adquirida por una única cámara. Como alternativa, el modelo 3D completo se recibe de una fuente externa y no hay necesidad de producir el modelo a partir de imágenes de las cámaras.
En los ejemplos presentados en las figuras 1A-1E, el objeto fue ampliado para parecer más grande. Sin embargo, la técnica divulgada se puede aplicar de manera similar para un objeto disminuido (es decir, disminución en lugar de ampliación), en cuyo caso el objeto se hace parecer más pequeño. En tal caso, el paralaje de objeto se ajusta de manera que el paralaje se reduzca para corresponder con el tamaño reducido del objeto (es decir, que parezca más distante).
Ahora se hace referencia a la figura 2, que es una ilustración esquemática de un sistema, generalmente referenciado 200, para producir imágenes 3D ampliadas según un parámetro de ampliación para promover estereopsis, construido y operativo según otra realización de la técnica divulgada. El sistema 200 incluye una cámara izquierda 202, una cámara derecha 204, un procesador de imagen 206, una interfaz de datos de usuario 208, una exposición izquierda 210 una exposición derecha 212, y una interfaz de usuario 214. Cada una de las cámaras 202 y 204 se acopla con el procesador de imagen 206. El procesador de imagen se acopla además con la interfaz de datos de usuario 208 y con cada una de la exposición izquierda 210 y la exposición derecha 212, y con la interfaz de usuario 214.
Cada una de las cámaras 202 y 204 es sustancialmente similar a las cámaras 102 y 104 de la figura 1A, y se posiciona de manera similar. El procesador de imagen 206 se puede implementar mediante cualquier sistema informático. Por ejemplo, el sistema informático puede incluir una unidad de procesamiento (o varias unidades de procesamiento), memoria de sistema, (p. ej., Memoria de Acceso Aleatorio y Memoria de Solo Lectura), un dispositivo de almacenamiento masivo (p. ej., un disco duro), dispositivos de Entrada/Salida (p. ej., un teclado, un ratón, un pantalla, y un altavoz), e interfaces de comunicación (p. ej., un módem). Estos componentes se acoplan entre los mismos mediante un bus (o buses) de sistema. Cada uno de estos componentes se estructura y funciona como se conoce en la técnica, y por lo tanto no se elaboran adicionalmente en esta memoria. El procesador 206 controla cada uno de los componentes de sistema de modificación de imagen 200, y adicionalmente modifica las imágenes ampliadas. Por ejemplo, el procesador 206 controla las cámaras 202 y 204, recibe datos de la interfaz de datos de usuario 208 y de la interfaz de usuario 214, y genera imágenes para la exposición 210 y 212.
La interfaz de datos de usuario 208 es una interfaz para proporcionar datos de usuario al procesador 206. Los datos de usuario están relacionados con las características visuales del usuario, tal como la Distancia Interpupilar (IPD) del usuario. Los datos de usuario pueden ser determinados por la propia interfaz de datos de usuario 208, o se pueden recuperar de una fuente externa. Por ejemplo, para determinar la DIP de un usuario, la interfaz de datos de usuario 208 puede incluir una herramienta de medición de DIP, o puede acceder a una base de datos médica que contiene las mediciones de DIP de un usuario seleccionado. La exposición izquierda 210 y la exposición derecha 212 son interfaces de salida visual para presentar imágenes al usuario. La interfaz de usuario 214 permite al sistema 200 recibir aportes de un usuario. Por ejemplo, el usuario puede indicar el nivel de ampliación deseado por medio de un mando de zum, o por medio de una interfaz de teclado.
Cada una de las cámaras izquierda y derecha 202 y 204 adquiere una imagen respectiva. Cada una de las imágenes adquiridas contiene un objeto. El procesador de imagen 206 recibe las imágenes adquiridas y presenta las imágenes al usuario por medio de exposiciones 210 y 212. Cabe señalar que las cámaras izquierda y derecha (también se les hace referencia en esta memoria como primera y segunda cámara), pueden ser sustituidas por una única cámara que tiene dos canales. Así cualquier referencia en esta memoria a una primera cámara y una segunda cámara, también se refiere una única cámara de doble canal. La única cámara puede tener dos sensores de imagen separados, o un único sensor de imagen que tiene partes dedicadas para detectar cada una de las imágenes.
El procesador de imagen 206 determina un parámetro de ampliación para ampliar las imágenes. Por ejemplo, el procesador de imagen 206 recibe el parámetro de ampliación del usuario. El usuario proporciona el parámetro de ampliación por medio de la interfaz de usuario 214. Por ejemplo, el usuario indica que desea ver el objeto ampliado en un factor seleccionado, o que desea ver desde un punto de vista más cercano, y por consiguiente desea hacer zum en las imágenes en una magnitud seleccionada.
Según una realización de la técnica divulgada, el procesador de imagen 206 produce imágenes ampliadas de las imágenes originalmente adquiridas según el parámetro de ampliación. Por ejemplo, el procesador de imagen 206 opera las cámaras 202 y 204 para adquirir una imagen ampliada al cambiar la longitud focal de las cámaras 202 y 204. Como alternativa, el procesador de imagen amplia digitalmente una parte seleccionada de las imágenes adquiridas (es decir, amplia el objeto). Cabe señalar que la ampliación del objeto puede relacionarse con un aumento en la apariencia de la escena, o una disminución (es decir, reducción).
El procesador de imagen 206 puede recuperar datos de usuario, tales como la DIP de usuario, desde la interfaz de datos de usuario 208. El procesador de imagen 206 modifica las imágenes ampliadas según la ampliación, y posiblemente además según los datos de usuario. El procesador de imagen 206 genera imágenes ampliadas modificadas y las expone por medio de exposiciones izquierda y derecha 210 y 212, como imagen 3D ampliada. Dicho de otro modo, el procesador de imagen 206 genera las imágenes ampliadas modificadas según el parámetro de ampliación, de manera que una ubicación del objeto dentro de las imágenes ampliadas modificadas corresponde a una ampliación del objeto. Dicho de otro modo, el paralaje del objeto ampliado en las imágenes modificadas es modificado según la ampliación (es decir, como función del parámetro de ampliación), de manera que el paralaje modificado corresponde a la ampliación.
Según otra realización de la técnica divulgada, el procesador de imagen 206 genera las imágenes ampliadas modificadas en lugar de modificar las imágenes ampliadas. El procesador de imagen 206 produce un modelo 3D del objeto a partir de las imágenes izquierda y derecha, mapeando la profundidad de los diferentes elementos del objeto. El procesador de imagen 206 recibe el parámetro de ampliación del usuario desde la interfaz de usuario 214. El procesador de imagen 206 determina una distancia a objeto ampliado simulada por la ampliación deseada. El procesador de imagen 206 genera imágenes ampliadas modificadas a partir del modelo 3D del objeto. Las imágenes modificadas son imágenes ampliadas del objeto como serían adquiridas en caso de que el objeto estuviera ubicado a la distancia a objeto ampliado desde las cámaras 202 y 204 (es decir, en caso de que las cámaras estuvieran posicionadas en el punto de vista simulado, simulado por la ampliación).
Según incluso otra realización de la técnica divulgada, el objeto se puede ajustar según datos de usuario (además de según la ampliación). Por ejemplo, la DIP de usuario puede afectar al paralaje ajustado del objeto en las imágenes ampliadas. Diferentes usuarios tienen diferentes DIP y por lo tanto pueden percibir el mismo objeto, desde la misma distancia, con un paralaje diferente. El paralaje modificado del objeto ampliado en las imágenes ampliadas se puede modificar a la DIP específica del usuario específico, de manera que la percepción de profundidad del objeto ampliado según su tamaño correspondería a la percepción de profundidad del objeto ampliado según el paralaje modificado en las imágenes.
En los ejemplos presentados en esta memoria antes con referencia a las figuras 1A-1E y 2, los sistemas de modificación de imagen tienen dos cámaras. Como alternativa, se puede emplear mayor número de cámaras para adquirir imágenes del objeto desde un mayor número de perspectivas. Las imágenes ampliadas se ajustan de manera que el objeto parecería como si las imágenes fueran adquiridas a la distancia a objeto ampliado.
Ahora se hace referencia a la figura 3, que es una ilustración esquemática de un método para producir imágenes 3D ampliadas según un parámetro de ampliación para promover estereopsis, operativo según una realización adicional de la técnica divulgada. En el procedimiento 300, se adquiere una primera imagen y una segunda imagen de un objeto. La primera imagen es adquirida por una primera cámara, y la segunda imagen es adquirida por una segunda cámara. La posición del objeto en la primera imagen y en la segunda imagen exhibe un paralaje debido a diferentes posiciones de cámara. Cabe señalar que las cámaras primera y segunda pueden ser sustituidas por una única cámara de doble canal. Con referencia a las figuras 1A y 1B, las cámaras 102 y 104 adquirieron imágenes 110 y 112, respectivamente. Cada una de las imágenes 110 y 112 contiene un objeto 106.
En el procedimiento 302, se determina un parámetro de ampliación. El usuario ve las imágenes adquiridas por medio de exposiciones de imagen. Cuando el usuario desea tener una vista más cercana del objeto, el usuario proporciona un parámetro de ampliación. El parámetro de ampliación es proporcionado por un usuario por medio de una interfaz de usuario. Por ejemplo, el usuario opera un mando de aumento/disminución de zum (y por consiguiente se determina el parámetro de ampliación), o proporciona la salida de ampliación por medio de un teclado. El parámetro de ampliación indica una ampliación deseada. La ampliación de imagen simula un cambio en el punto de vista, o la distancia a objeto (es decir, un cambio en la distancia entre la cámara y la escena de la que se ha tomado la imagen). Con referencia a la figura 2, el usuario proporciona un parámetro de ampliación por medio de la interfaz de usuario 214.
Adicionalmente, también se pueden recibir datos de usuario. Los datos de usuario se pueden determinar o recuperar de una fuente externa. Los datos de usuario pueden estar relacionados con la DIP del usuario, y con características de vista del usuario, tal como su ángulo de visión, y similares. Con referencia a la figura 2, la interfaz de datos de usuario 208 determina datos de usuario, tal como la DIP de usuario, y proporciona los datos de usuario al procesador de imagen 206.
En el procedimiento 304, se genera una primera imagen ampliada y una segunda imagen ampliada. La primera imagen ampliada se genera al ampliar una parte de la primera imagen, que contiene el objeto, según (es decir, como función de) el parámetro de ampliación. La segunda imagen ampliada se genera al ampliar una parte de la segunda imagen, que contiene el objeto, según el parámetro de ampliación. El objeto puede ser ampliado ya sea ópticamente o digitalmente. La ampliación no cambia la ubicación o las proporciones del objeto en las imágenes.
Tras la ampliación el objeto ampliado parece estar más cerca de las cámaras (debido a su tamaño ampliado). Sin embargo, las proporciones y la ubicación del objeto en cada una de las imágenes ampliadas (p. ej., el paralaje del objeto en las imágenes ampliadas), no indica un cambio en la distancia a objeto, o un cambio en el punto de vista de las cámaras. Por lo tanto, las imágenes ampliadas proporcionan pistas de profundidad visual contradictorias, que puede provocar incomodidad al usuario. Con referencia a las figuras 1C y 1D, las imágenes ampliadas 120 y 122 representan el objeto ampliado 116. Debido a su tamaño ampliado, el objeto ampliado 116 parece estar ubicado a una distancia Dmag desde las cámaras, que está más cerca que la distancia real Dobj.
En el procedimiento 306, se modifica una geometría de la primera imagen ampliada y de la segunda imagen ampliada, como función del parámetro de ampliación. De ese modo, se produce una primera imagen modificada y una segunda imagen modificada. El paralaje del objeto ampliado en las imágenes modificadas se modifica según el parámetro de ampliación. De esta manera, el paralaje del objeto ampliado corresponde a la ampliación del objeto ampliado, reduciendo así incomodidad al observador y promoviendo la estereopsis.
La modificación geométrica se puede realizar al desplazar los píxeles del objeto en cada una de las imágenes ampliadas, en direcciones opuestas, en un desplazamiento determinado según el parámetro de ampliación. De ese modo, por ejemplo, el paralaje modificado corresponde a la ampliación, y el observador no experimenta incomodidad de estereopsis cuando ve las imágenes modificadas. Adicionalmente, el desplazamiento puede ser determinado además según los datos de usuario, tal como la DIP de usuario, de manera que las imágenes ajustadas se adaptan específicamente para el usuario disminuyendo de ese modo aún más la incomodidad del usuario.
Los píxeles del objeto ampliado pueden ser desplazados juntos de la misma manera. Como alternativa, se determina un desplazamiento respectivo para cada píxel o conjunto de píxeles. El desplazamiento se puede determinar según la ubicación de píxel dentro de la imagen. Por ejemplo, el desplazamiento es una función lineal de la coordenada X del píxel, o una función cuadrática de ambas coordenadas X e Y del píxel. De esta manera, el objeto no únicamente es trasladado sino también deformado. La deformación del objeto ampliado proporciona mejor compensación para imágenes que tienen un sustancial alcance de profundidad. De esta manera, las imágenes modificadas que contienen el objeto ampliado modificado parecen como si fueran adquiridas desde la distancia a objeto ampliado simulada por la ampliación deseada. Generalmente, se puede emplear cualquier imagen geométrica, o de otro modo, modificación para modificar las imágenes ampliadas para que parezcan como si fueran adquiridas desde la distancia a objeto ampliado (más cerca que la distancia a objeto real). Las imágenes modificadas forman juntas una imagen 3D ampliada, que permiten al usuario 3D ver del objeto ampliado.
Según otra realización de la técnica divulgada, el desplazamiento de cada píxel está relacionado con la distancia a objeto relativa del elemento representado por ese píxel. Por ejemplo, en caso de que el objeto sea un grupo de objetos, cada uno ubicado a una distancia diferente de las cámaras. El desplazamiento de píxeles que representa un primer objeto ubicado a una distancia más corta sería mayor que el desplazamiento de píxeles que representa un segundo objeto ubicado a una distancia más larga. De ese modo, el paralaje de cada objeto se ajusta según la distancia a objeto específica de ese objeto.
Adicionalmente, las imágenes pueden ser modificadas (p. ej., al desplazar píxeles) para acomodar característica de usuario específico, tal como la DIP de usuario. Esto es, las imágenes se ajustan de manera que parecen como si el usuario específico, que tiene un DIP específica, estuviera viendo el objeto desde el punto de vista simulado.
Con referencia a las figuras 2 y 1E, el procesador de imagen 206 desplaza los píxeles de la escena seleccionada ampliada según la ampliación (y posiblemente según datos de usuario) para permitir una estereopsis conveniente. El desplazamiento se dirige a modificar geométricamente las imágenes ampliadas para que parezcan como si fueran adquiridas cuando el objeto está ubicado a la distancia a objeto ampliado, simulada por la ampliación de imagen. El procesador de imagen 206 produce las imágenes 130 y 132 en las que el objeto ajustado 126 es trasladado desde la ubicación del objeto ampliado 116, modificando de ese modo geométricamente las imágenes 130 y 132 para promover la estereopsis.
Con referencia al procedimiento 308, la imagen 3D ampliada se expone a un usuario. Las imágenes modificadas ampliadas forman juntas la imagen 3D ampliada. La primera imagen modificada se expone a un primer ojo del usuario, y la segunda imagen modificada se expone a un segundo ojo del usuario. De ese modo, la imagen 3D ampliada se expone al usuario. Las imágenes modificadas, promueven la estereopsis y el usuario ve una imagen 3D ampliada del objeto. Con referencia a las figuras 2 y 1E, la primera exposición 210 expone la primera imagen modificada 130 y la segunda exposición 212 expone la segunda imagen modificada 132.
Ahora se hace referencia a la figura 4, que es una ilustración esquemática de un método para producir imágenes 3D ampliadas según un parámetro de ampliación para promover estereopsis, operativo según incluso otra realización de la técnica divulgada. En el procedimiento 400, se adquiere una primera imagen y una segunda imagen de un objeto. La primera imagen es adquirida por una primera cámara, y la segunda imagen es adquirida por una segunda cámara. La posición del objeto en la primera imagen y en la segunda imagen exhibe un paralaje debido a diferentes posiciones de cámara. Con referencia a las figuras 1A y 1B, las cámaras 102 y 104 adquirieron imágenes 110 y 112, respectivamente. Cada una de las imágenes 110 y 112 contiene un objeto 106.
En el procedimiento 402, se produce un modelo tridimensional (3D) del objeto a partir de las imágenes primera y segunda. El modelo 3D mapea la profundidad de cada elemento del objeto. El modelo 3D de la escena se crea, por ejemplo, a partir del conocimiento del punto de vista real de las cámaras, la posición relativa de las cámaras, y la correlación entre las imágenes desde las dos cámaras. Como alternativa, el modelo 3D se puede producir a partir de datos adicionales o alternativos, tales como datos recibidos de una fuente externa, datos de imágenes previamente adquiridas del objeto, y similares. En tales casos, el modelo 3D se puede producir de únicamente una única imagen, o se puede producir completamente de datos adicionales sin las imágenes. Con referencia a la figura 2, el procesador de imagen 206 produce el modelo 3D de la escena seleccionada a partir de la imagen izquierda y la imagen derecha.
En el procedimiento 404, se determina un parámetro de ampliación. El procedimiento 404 es similar al procedimiento 302 de la figura 3, y de manera similar puede incluir la etapa de recibir datos de usuario, tal como la DIP de usuario. Con referencia a la figura 2, el usuario proporciona un parámetro de ampliación por medio de la interfaz de usuario 214.
En el procedimiento 406, se determina una distancia a objeto ampliado según el parámetro de ampliación. La distancia a objeto ampliado es una distancia simulada del objeto desde las cámaras, en la que se ampliaría el objeto según el parámetro de ampliación. Por ejemplo, en caso de que la ampliación deseada sea por un factor de dos, la distancia a objeto ampliado, es la distancia a la que el objeto parecería dos veces mayor que en las imágenes adquiridas originalmente. Con referencia a las figuras 1D y 2, el procesador de imagen 206 determina las imágenes a distancia a objeto ampliado Dmag según el parámetro de ampliación.
En el procedimiento 408, a partir del modelo 3D se genera una primera imagen ampliada y una segunda imagen ampliada. Cada una de la primera imagen ampliada y la segunda imagen ampliada contiene el objeto como parecería desde la distancia a objeto ampliado. Como se ha mencionado anteriormente, la ampliación de imagen simula una distancia a objeto más corta. Sin embargo, la imagen ampliada es diferente de una imagen adquirida a una distancia más corta porque la perspectiva de la cámara no cambia por la ampliación. Las imágenes modificadas ampliadas se generan para simular un punto de vista más cercano que corresponde a la ampliación. Las imágenes modificadas ampliadas se generan a partir del modelo 3D del objeto. Las imágenes modificadas ampliadas, forman juntas una imagen 3D ampliada del objeto.
La distancia a objeto ampliado (o el punto de vista simulado) se determina según el parámetro de ampliación. Por ejemplo, la distancia es inversamente proporcional a la ampliación. Esto es, una ampliación por un factor de dos, se traduce en una distancia a objeto que es la mitad de la distancia a objeto original. Se pueden emplear otras relaciones entre la ampliación y la distancia. Según una realización de la técnica divulgada, se produce una tabla empírica para las cámaras. Esto es, las cámaras se posicionan a distancias diferentes de un objeto, y la ampliación de objeto en cada distancia se almacena en una Tabla de búsqueda. Como se ha mencionado anteriormente, las imágenes modificadas se pueden adaptar para un usuario específico que tiene características específicas de vista, tales como DIP.
Según otra realización de la técnica divulgada, las imágenes incluyen una pluralidad de objetos (o en caso de que el objeto incluya una pluralidad de elementos), cada una posicionada a una distancia diferente de las cámaras. En este caso, se puede determinar una distancia a objeto ampliado para cada uno de los objetos (o para cada elemento del objeto). Las imágenes ampliadas se generan de manera que cada objeto parece como si se tomara su imagen desde la distancia a objeto ampliado respectiva para producir una imagen 3D que promueve la estereopsis.
Con referencia a las figuras 1E y 2, el procesador de imagen 206 genera las imágenes 130 y 132, en las que el objeto 126 parece como si se hubiera tomado su imagen desde una distancia a objeto ampliado Dmag. El procesador de imagen 206 presenta las imágenes 130 y 132 al usuario por medio de exposiciones 210 y 212 como imagen 3D ampliada.
Los expertos en la técnica apreciarán que la técnica divulgada no se limita a lo que se ha mostrado y divulgado particularmente arriba en esta memoria. En cambio el alcance de la técnica divulgada es definido únicamente por la reivindicaciones, que siguen.

Claims (5)

REIVINDICACIONES
1. Un método para producir una imagen tridimensional (3D) ampliada de un objeto según un parámetro de ampliación, en donde el tamaño del objeto en la imagen 3D ampliada indica que el objeto está ubicado a una distancia a objeto ampliado (Dmag) y el paralaje del objeto en la imagen 3D indica que el objeto está ubicado a una distancia a objeto de paralaje (Dobj),
comprendiendo el método los siguientes procedimientos:
adquirir una primera imagen de dicho objeto mediante una primera cámara y adquirir una segunda imagen de dicho objeto mediante una segunda cámara a una distancia a objeto (300);
determinar dicho parámetro de ampliación (302); y
generar una primera imagen ampliada al ampliar una parte de dicha primera imagen que contiene dicho objeto según dicho parámetro de ampliación, y generar una segunda imagen ampliada al ampliar una parte de dicha segunda imagen que contiene dicho objeto según dicho parámetro de ampliación (304), en donde el paralaje de dicho objeto en dichas imágenes ampliadas primera y segunda es el mismo que el paralaje de dicho objeto en dichas imágenes primera y segunda;
modificar la geometría de dicha primera imagen ampliada y de dicha segunda imagen ampliada como función de dicho parámetro de ampliación (306) y una posición de píxel de los píxeles en dicha primera imagen ampliada y dicha segunda imagen ampliada, en donde dicha modificación de la geometría comprende desplaza respectivamente dichos píxeles en dicha primera imagen ampliada y dicha segunda imagen ampliada no uniformemente, produciendo de ese modo una primera imagen modificada y una segunda imagen modificada, en donde dicho objeto en dicha primera imagen modificada y en dicha segunda imagen modificada tiene un paralaje modificado que coincide con el tamaño del objeto ampliado, y la distancia a objeto de paralaje coincide con la distancia a objeto ampliado y
mostrar dicha primera imagen modificada y dicha segunda imagen modificada,
caracterizado por que dicho desplazamiento no uniforme de dichos píxeles en dicha primera imagen ampliada y dicha segunda imagen ampliada es una modificación de orden superior dependiente de las posiciones de dichos píxeles y que comprende una pluralidad de coeficientes en donde al menos uno de dicha pluralidad de coeficientes es dependiente de dicho parámetro de ampliación.
2. El método de la reivindicación 1, que comprende además el procedimiento de recibir datos de usuario que caracterizan a un usuario seleccionado, y en donde dicho procedimiento de modificar la geometría se realiza además según dichos datos de usuario.
3. Un sistema (200) adaptado para producir una imagen tridimensional (3D) ampliada de un objeto según un parámetro de ampliación, en donde el tamaño del objeto en la imagen 3D ampliada indica que el objeto está ubicado a una distancia a objeto ampliado (Dmag) y el paralaje del objeto en la imagen 3D indica que el objeto está ubicado a una distancia a objeto de paralaje (Dobj),
comprendiendo el sistema:
una primera cámara (202) configurada para adquirir una primera imagen del objeto que se ubica a una distancia a objeto desde dicha primera cámara;
una segunda cámara (204) configurada para adquirir una segunda imagen de dicho objeto que se ubica en dicha distancia a objeto desde dicha segunda cámara;
una primera exposición (210) configurada para exponer una primera imagen modificada a un usuario; una segunda exposición (212) configurada para exponer una segunda imagen modificada a dicho usuario; y un procesador de imagen (206) acoplado con dicha primera cámara, dicha segunda cámara, dicha primera exposición y dicha segunda exposición, dicho procesador de imagen configurado para generar una primera imagen ampliada y una segunda imagen ampliada según dicho parámetro de ampliación,
en donde el paralaje de dicho objeto en dichas imágenes ampliadas primera y segunda es el mismo que el paralaje de dicho objeto en dichas imágenes primera y segunda,
en donde dicho procesador de imagen se configura para generar dicha primera imagen ampliada al ampliar una parte de dicha primera imagen que contiene dicho objeto según dicho parámetro de ampliación, y generar dicha segunda imagen ampliada al ampliar una parte de dicha segunda imagen que contiene dicho objeto según dicho parámetro de ampliación, dicho procesador de imagen se configura además para modificar la geometría de dicha primera imagen ampliada y de dicha segunda imagen ampliada como función de dicho parámetro de ampliación y una posición de píxel de los píxeles en dicha primera imagen ampliada y dicha segunda imagen ampliada,
en donde dicho procesador de imagen desplaza respectivamente dichos píxeles en dicha primera imagen ampliada y dicha segunda imagen ampliada no uniformemente, produciendo de ese modo una primera imagen modificada y una segunda imagen modificada, de manera que dicho objeto en dicha primera imagen modificada y en dicha segunda imagen modificada tiene un paralaje modificado que coincide con el tamaño del objeto ampliado, y la distancia a objeto de paralaje coincide con la distancia a objeto ampliado; y
caracterizado por que dicho procesador de imagen respectivamente desplaza no uniformemente dichos píxeles en dicha primera imagen ampliada y dicha segunda imagen ampliada usando una modificación de orden superior dependiente de las posiciones de dichos píxeles y que comprende una pluralidad de coeficientes en donde al menos uno de dicha pluralidad de coeficientes es dependiente de dicho parámetro de ampliación.
4. El sistema de la reivindicación 3, en donde dicho procesador de imagen se configura para producir un modelo 3D de dicho objeto, dicho procesador de imagen se configura además para determinar dicho Dmag según dicho parámetro de ampliación, dicho Dmag es una distancia simulada de dicho objeto desde dicha primera cámara y dicha segunda cámara, a la que dicho objeto se ampliaría según dicho parámetro de ampliación, y en donde dicho procesador de imagen se configura para generar dicha primera imagen ampliada y dicha segunda imagen ampliada a partir de dicho modelo 3D, cada una de dicha primera imagen ampliada y dicha segunda imagen ampliada contiene dicho objeto como parecería a partir de dicha Dmag.
5. El sistema de la reivindicación 3, que comprende además una interfaz de datos de usuario (214) configurada para recibir datos de usuario (208) que caracterizan a un usuario seleccionado, y en donde dicho procesador de imagen se configura además para generar dicha primera imagen ampliada y dicha segunda imagen ampliada además según dichos datos de usuario.
ES15872096T 2014-12-23 2015-12-21 Métodos y sistemas para producir una imagen 3D ampliada Active ES2808873T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IL236420A IL236420A (en) 2014-12-23 2014-12-23 Methods and systems for producing an enlarged 3D image
PCT/IL2015/051236 WO2016103255A1 (en) 2014-12-23 2015-12-21 Methods and systems for producing a magnified 3d image

Publications (1)

Publication Number Publication Date
ES2808873T3 true ES2808873T3 (es) 2021-03-02

Family

ID=54347963

Family Applications (1)

Application Number Title Priority Date Filing Date
ES15872096T Active ES2808873T3 (es) 2014-12-23 2015-12-21 Métodos y sistemas para producir una imagen 3D ampliada

Country Status (7)

Country Link
US (1) US9918066B2 (es)
EP (1) EP3238178B1 (es)
JP (1) JP2018500690A (es)
CN (1) CN107209949B (es)
ES (1) ES2808873T3 (es)
IL (1) IL236420A (es)
WO (1) WO2016103255A1 (es)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6681467B2 (ja) 2016-06-08 2020-04-15 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
JP6584664B2 (ja) * 2016-06-08 2019-10-02 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
US10869026B2 (en) * 2016-11-18 2020-12-15 Amitabha Gupta Apparatus for augmenting vision
US11612307B2 (en) 2016-11-24 2023-03-28 University Of Washington Light field capture and rendering for head-mounted displays
CN112004816B (zh) * 2018-01-31 2024-01-05 米拉蒂医疗股份有限公司 Prc2抑制剂

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3653790B2 (ja) * 1995-05-23 2005-06-02 松下電器産業株式会社 立体電子ズーム装置及び立体画質制御装置
JPH08336165A (ja) * 1995-06-09 1996-12-17 Canon Inc 複眼撮像装置
JP3802630B2 (ja) 1996-12-28 2006-07-26 オリンパス株式会社 立体画像生成装置および立体画像生成方法
JPH1188910A (ja) * 1997-09-02 1999-03-30 Canon Inc 3次元モデル生成装置、3次元モデル生成方法、3次元モデル生成プログラムを記録した媒体、3次元モデル再生装置、3次元モデル再生方法及び3次元モデル再生プログラムを記録した媒体
JPH11102438A (ja) 1997-09-26 1999-04-13 Minolta Co Ltd 距離画像生成装置及び画像表示装置
MXPA03001029A (es) 2000-08-04 2003-05-27 Dynamic Digital Depth Res Pty Tecnica de codificacion y conversion de imagen.
JP2002354505A (ja) 2001-05-29 2002-12-06 Vstone Kk 立体視システム
JP2003052058A (ja) 2001-08-06 2003-02-21 Nippon Hoso Kyokai <Nhk> 立体画像撮像装置
WO2003034705A2 (en) 2001-10-19 2003-04-24 University Of North Carolina At Chapel Hill Methods and systems for dynamic virtual convergence and head mountable display
US8094927B2 (en) 2004-02-27 2012-01-10 Eastman Kodak Company Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer
WO2006017771A1 (en) 2004-08-06 2006-02-16 University Of Washington Variable fixation viewing distance scanned light displays
JP5450200B2 (ja) 2009-07-17 2014-03-26 富士フイルム株式会社 撮像装置、方法およびプログラム
JP5491786B2 (ja) * 2009-07-21 2014-05-14 富士フイルム株式会社 画像再生装置及び方法
US20110075257A1 (en) 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
JP2011205358A (ja) 2010-03-25 2011-10-13 Fujifilm Corp ヘッドマウントディスプレイ装置
WO2011121920A1 (ja) * 2010-03-30 2011-10-06 パナソニック株式会社 撮像制御装置、没入位置情報生成装置、撮像制御方法、没入位置情報生成方法
DE202010007397U1 (de) 2010-05-31 2011-08-02 Deutsches Zentrum für Luft- und Raumfahrt e.V. Anzeigevorrichtung
JP4988971B2 (ja) * 2010-06-30 2012-08-01 富士フイルム株式会社 画像処理装置、撮像装置及び画像処理方法
JP5484577B2 (ja) * 2010-06-30 2014-05-07 富士フイルム株式会社 画像処理装置、撮像装置及び画像処理方法
EP2608553A4 (en) 2010-08-19 2014-04-16 Panasonic Corp STEREOSCOPIC IMAGE RECORDING DEVICE AND STEREOSCOPIC IMAGE RECORDING METHOD
JP5059922B2 (ja) * 2010-09-15 2012-10-31 シャープ株式会社 立体画像生成装置、立体画像表示装置、立体画像調整方法、立体画像調整方法をコンピュータに実行させるためのプログラム、及びそのプログラムを記録した記録媒体
FR2969791B1 (fr) 2010-12-23 2012-12-28 Thales Sa Procede de correction de l'hyperstereoscopie et systeme de visualisation de casque associe
EP2696588B1 (en) * 2011-04-01 2019-09-04 Panasonic Corporation Three-dimensional image output device and method of outputting three-dimensional image
US9191659B2 (en) 2011-11-16 2015-11-17 Christie Digital Systems Usa, Inc. Collimated stereo display system
JP6031755B2 (ja) 2011-12-14 2016-11-24 ソニー株式会社 立体画像撮像装置

Also Published As

Publication number Publication date
US9918066B2 (en) 2018-03-13
IL236420A0 (en) 2015-04-30
JP2018500690A (ja) 2018-01-11
WO2016103255A1 (en) 2016-06-30
EP3238178A4 (en) 2018-04-25
CN107209949A (zh) 2017-09-26
CN107209949B (zh) 2020-01-17
EP3238178A1 (en) 2017-11-01
US20170359562A1 (en) 2017-12-14
IL236420A (en) 2016-06-30
EP3238178B1 (en) 2020-05-13

Similar Documents

Publication Publication Date Title
ES2808873T3 (es) Métodos y sistemas para producir una imagen 3D ampliada
US20240022704A1 (en) Combining video-based and optic-based augmented reality in a near eye display
ES2395147T3 (es) Dispositivo de presentación visual para la visualización estereoscópica
US20210142508A1 (en) Calibration system and method to align a 3d virtual scene and a 3d real world for a stereoscopic head-mounted display
EP1704730B1 (en) Method and apparatus for generating a stereoscopic image
JP2020516090A (ja) ヘッドマウントディスプレイのための光照射野キャプチャおよびレンダリング
US20150304635A1 (en) Stereoscopic depth mapping
JP2015221201A (ja) 頭部装着型仮想現実統合プラットフォーム
CN105739093A (zh) 透过式增强现实近眼显示器
JP2010072477A (ja) 画像表示装置、画像表示方法及びプログラム
JP2007052304A (ja) 映像表示システム
JP6491477B2 (ja) ライブ3dx線観視
CN114945853A (zh) 用于头戴式显示***中的变形的补偿
TWI825891B (zh) 用於真實空間導航的擴增實境系統以及使用該系統的手術系統
BR112020014275A2 (pt) Aparelho para gerar imagens de visualização, método para gerar imagens de visualização e produto de programa de computador
CN104887316A (zh) 基于主动立体显示技术的虚拟立体内窥镜显示方法
KR20170044319A (ko) 헤드 마운트 디스플레이의 시야 확장 방법
USRE32487E (en) Binocular presentation of visual information
JP7336871B2 (ja) 全天周映像処理装置及びプログラム
KR100893381B1 (ko) 실시간 입체영상 생성방법
Massey Procedural calibration of haploscope wings to establish accurate focal vergence depth
KR20180013607A (ko) 플립영상을 차단하는 무안경 원통형 홀로그램 디스플레이 방법
EP3306373A1 (en) Method and device to render 3d content on a head-up display
Karwowski Augmented Reality
JP2005284183A (ja) 立体視画像作成方法および装置