ES2597252T3 - Ajuste de profundidad de una superposición de imagen en una imagen 3D - Google Patents

Ajuste de profundidad de una superposición de imagen en una imagen 3D Download PDF

Info

Publication number
ES2597252T3
ES2597252T3 ES13774158.3T ES13774158T ES2597252T3 ES 2597252 T3 ES2597252 T3 ES 2597252T3 ES 13774158 T ES13774158 T ES 13774158T ES 2597252 T3 ES2597252 T3 ES 2597252T3
Authority
ES
Spain
Prior art keywords
zone
depth
signal
screen
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES13774158.3T
Other languages
English (en)
Inventor
Waltherus Antonius Hendrikus Roelen
Bart Gerard Bernard Barenbrug
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ultra D Cooperatief UA
Original Assignee
Ultra D Cooperatief UA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ultra D Cooperatief UA filed Critical Ultra D Cooperatief UA
Application granted granted Critical
Publication of ES2597252T3 publication Critical patent/ES2597252T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

Un sistema (100) para procesar una señal de imagen tridimensional [3D], comprendiendo la señal de imagen 3D una señal de imagen bidimensional [2D] y una señal auxiliar 2D, siendo la señal auxiliar 2D una señal relacionada con la profundidad 2D para permitir la reproducción en 3D de la señal de imagen 2D en una pantalla 3D (200), comprendiendo el sistema: - una entrada de señal (120) para obtener la señal de imagen 2D (122) y la señal auxiliar 2D (122); - un subsistema de interfaz de usuario (180) para permitir a un usuario establecer una zona 2D definida por el usuario (182) en la señal de imagen 2D, comprendiendo la zona 2D definida por el usuario una superposición; - un definidor de zona (140) para, basándose en la zona 2D definida por el usuario, definir una zona auxiliar 2D (142) en la señal auxiliar 2D, correspondiendo la señal auxiliar 2D a una zona de pantalla en un plano de pantalla de la pantalla 3D cuando se reproduce en 3D la señal de imagen 2D usando la señal auxiliar 2D; y - un procesador de profundidad (160) para: i) obtener un parámetro de reducción de profundidad (162), representando el parámetro de reducción de profundidad una cantidad deseada de reducción de profundidad en la zona de pantalla hacia una profundidad de pantalla neutra cuando se reproduce en 3D la señal de imagen 2D en la pantalla 3D, y ii) derivar un valor de ganancia a partir del parámetro de reducción de profundidad para permitir el establecimiento de la reducción de profundidad en la zona de pantalla hacia la profundidad de pantalla neutra al iii) restar una desviación correspondiente a la profundidad de pantalla neutra de los valores de señal de la señal auxiliar 2D dentro de la zona auxiliar 2D, aplicando el valor de ganancia como un factor de multiplicación, y volver a sumar la desviación.

Description

5
10
15
20
25
30
35
40
45
50
55
60
65
DESCRIPCION
Ajuste de profundidad de una superposicion de imagen en una imagen 3D Campo de la invencion
La invencion se refiere a un sistema y un metodo para procesar una senal de imagen tridimensional [3D], comprendiendo la senal de imagen 3D una senal de imagen bidimensional [2D] y una senal auxiliar 2D, permitiendo la senal auxiliar 2D la reproduccion en 3D de la senal de imagen 2D en una pantalla 3D. La invencion se refiere, ademas, a un dispositivo de pantalla 3D que comprende el sistema.
Antecedentes de la tecnica
Cada vez mas, los dispositivos de pantalla, tales como televisores, marcos de fotos digitales, tabletas y telefonos inteligentes comprenden pantallas 3D para proporcionar al usuario una perception de profundidad cuando se ve el contenido en un dispositivo de este tipo. Con este fin, tales dispositivos de pantalla 3D pueden, o bien por si mismos o junto con unas gafas que se pone el usuario, proporcionar al usuario diferentes imagenes en cada ojo con el fin de proporcionar al usuario una percepcion de profundidad basada en estereoscopia, es decir, una percepcion estereoscopica de profundidad.
Los dispositivos de pantalla 3D usan habitualmente un contenido que contiene information de profundidad con el fin de establecer el contenido en la pantalla con un grado de profundidad. La informacion de profundidad puede proporcionarse implicitamente en el contenido. Por ejemplo, en el caso del denominado contenido estereo, la informacion de profundidad se proporciona por las diferencias entre una senal de imagen izquierda y una senal de imagen derecha del contenido estereo. Por lo tanto, la senal de imagen izquierda y la senal de imagen derecha constituyen juntas una senal de imagen 3D estereo. La informacion de profundidad tambien puede proporcionarse explicitamente en el contenido. Por ejemplo, en el contenido codificado en el denominado formato de imagen + profundidad, la informacion de profundidad se proporciona por una senal de profundidad 2D que comprende valores de profundidad que son indicativos de las distancias que los objetos dentro de la senal de imagen 2D tienen hacia una camara o un visor. En lugar de valores de profundidad, tambien pueden usarse valores de disparidad, es decir, la senal de profundidad 2D puede ser una senal de disparidad 2D o, en general, una senal relacionada con la profundidad 2D. La senal de imagen 2D y la senal relacionada con la profundidad 2D constituyen juntas una alternativa a la senal de imagen 3D estereo.
En esencia, una senal de imagen 3D comprende, por lo tanto, al menos una senal de imagen 2D y una senal auxiliar 2D, siendo esta ultima, por ejemplo, una senal relacionada con la profundidad 2D, o una senal de imagen 2D adicional que, junto con la senal de imagen 2D, constituye una senal de imagen 3D estereo.
Con respecto a las propias pantallas 3D, denominadas pantallas autoestereoscopicas, proporcionan dicha percepcion estereoscopica de profundidad sin necesidad de que el espectador lleve puestas unas gafas polarizadas o basadas en obturador. Con este fin, se usan componentes opticos, tales como series de lentes lenticulares (o, en general, medios lenticulares o protectores), que permiten que la pantalla emita un cono de vision de cada punto dado en la pantalla 3D, comprendiendo el cono de vision al menos una vista izquierda y una vista derecha de una escena. Esto permite que el espectador vea una imagen diferente con cada ojo cuando esta colocado como corresponde dentro del cono de vision. Algunas pantallas autoestereoscopicas, a veces denominadas pantallas automultiescopicas, proporcionan multiples vistas de la misma escena, en lugar de solo una vista izquierda y una vista derecha. Esto permite al espectador asumir multiples posiciones en el cono de vision, es decir, se mueven a derecha-izquierda frente a la pantalla, mientras que aun se obtiene una percepcion estereoscopica de la escena.
Los ejemplos de tales pantallas autoestereoscopicas se describen en un articulo de C. van Berkel et al titulado “Multiview 3D - LCD", publicado en SPIE Proceedings Vol. 2653, 1996, paginas 32 a 39 y en el documento GB-A- 2196166. En estos ejemplos, la pantalla autoestereoscopica comprende un panel de pantalla de LC (cristal liquido) de matriz que tiene filas y columnas de pixeles (elementos de pantalla) y que actua como un modulador de luz espacial para modular la luz procedente de una fuente de luz. El panel de pantalla puede ser del tipo usado en otras aplicaciones de pantalla, por ejemplo, monitores de ordenador, para presentar informacion de pantalla en forma bidimensional. Una lamina lenticular, por ejemplo en forma de una lamina moldeada o mecanizada de material polimero, se superpone al lado de salida del panel de pantalla con sus elementos lenticulares, que comprenden elementos de lente (semi)cilmdricos, extendiendose en la direction de la columna con cada elemento lenticular asociado con un grupo respectivo de dos, o mas, columnas adyacentes de elementos de pantalla y extendiendose en un plano que corre paralelo con las columnas de elemento de pantalla. En una disposition en la que cada lente se asocia con dos columnas de elementos de pantalla, el panel de pantalla se acciona para visualizar una imagen compuesta que comprende dos sub-imagenes 2D intercaladas verticalmente, visualizando las columnas alternas de los elementos de pantalla las dos imagenes y proporcionando los elementos de pantalla en cada columna un corte vertical de la (sub)imagen 2D respectiva. La lamina lenticular dirige estos dos cortes, y los cortes correspondientes de las columnas de elementos de pantalla asociadas con las otras lentes, a los ojos izquierdo y derecho, respectivamente, de un espectador frente a la lamina, de manera que, teniendo las sub-imagenes una disparidad
5
10
15
20
25
30
35
40
45
50
55
60
65
binocular apropiada, el espectador percibe una sola imagen estereoscopica. En otras disposiciones multi-vista, en las que cada lente se asocia con un grupo de mas de dos elementos de pantalla adyacentes en la direccion de la fila, y las columnas correspondientes de elementos de pantalla en cada grupo estan dispuestas apropiadamente para proporcionar un corte vertical de una (sub)imagen 2-D respectiva, a medida que se mueve la cabeza de un espectador, se perciben una serie de vistas estereoscopicas sucesivas diferentes, para crear, por ejemplo, una impresion de mirar alrededor (“look-around”).
Las pantallas autoestereoscopicas del tipo anterior pueden usarse para diversas aplicaciones, por ejemplo, el entretenimiento en casa o portatil, la formacion de imagenes medicas y el diseno por ordenador (CAD).
Cabe senalar que el documento US 2011/0316991 A1 describe un dispositivo de pantalla estereoscopico que incluye: una seccion de ajuste de paralaje que realiza un ajuste de paralaje tanto en la imagen de ojo derecho como en la imagen de ojo izquierdo que se introducen; y una seccion de pantalla que visualiza la imagen de ojo izquierdo y la imagen de ojo derecho que resultan del ajuste de paralaje por la seccion de ajuste de paralaje. La seccion de ajuste de paralaje realiza el ajuste de paralaje solo en una zona distinta de una zona de imagen OSD con una imagen oSd superpuesta en la misma tanto en la imagen de ojo izquierdo como en la imagen de ojo derecho. Por lo tanto, el documento US 2011/0316991 A1 excluye la imagen OSD del control de paralaje. Sin embargo, el documento US 2011/0316991 no desvela que se permite a un usuario establecer una zona 2D definida por el usuario con el fin de establecer una reduccion de la profundidad en una zona de pantalla en la pantalla 3D. Por el contrario, el documento US 2011/0316991 selecciona una zona fija, en concreto, la de la imagen OSD, a partir de la que va aplicarse el control de paralaje. De hecho, en el documento US 2011/0316991, la imagen OSD esta explicitamente disponible para el sistema. En consecuencia, el documento US 2011/0316991 no ofrece una solucion para tratar con superposiciones codificadas de manera compleja en una senal de imagen 3D.
El documento EP 2451176 A2 describe un metodo de comunicacion de video de una comunicacion de video 3D, del que se dice que incluye adquirir una pluralidad de imagenes 2D correspondientes a un hablante usando una camara 3D, ajustar un punto de convergencia de la pluralidad de imagenes 2D usando un punto caracteristico preestablecido del hablante, detectar un objeto localizado entre el hablante y la camara 3D usando la pluralidad de imagenes 2D adquiridas, escalar una sensacion de profundidad original del objeto detectado a una nueva sensacion de profundidad, y generar una imagen de hablante 3D que incluye el objeto con la nueva sensacion de profundidad y transmitir la imagen de hablante 3D a un aparato de comunicacion de video 3D de un oyente. Sin embargo, el documento EP 2451176 A2, no desvela que se permite a un usuario establecer una zona 2D definida por el usuario con el fin de establecer una reduccion de la profundidad en una zona de pantalla en la pantalla 3D. Por el contrario, en el documento EP 2451176, el objeto se detecta automaticamente usando una unidad de deteccion de objetos 135 [0077]. De hecho, el documento EP 2451176 hace uso de la profundidad del objeto para detectar el objeto, es decir, el objeto se localiza de manera eficaz en 3D [0077 a 0082], y por lo tanto se basa en la distancia que se ha obtenido correctamente por la camara 3D. Se apreciara que esto no proporciona una solucion para hacer frente a las superposiciones codificadas de manera compleja en una senal de imagen 3D a la que un estimador de profundidad puede haber asignado una profundidad erronea.
El documento US 2012/0162199 A1 describe un aparato y un metodo para visualizar una realidad 3D aumentada. Se dice que si la realidad aumentada se implementa como una imagen 3D, parte de la informacion 3D aumentada puede degradarse en terminos de eficiencia de entrega de informacion. Se dice tambien que los efectos 3D pueden eliminarse selectivamente de un objeto seleccionado de una imagen de realidad aumentada 3D proporcionando una unidad de deteccion de area de objeto para detectar una primera area de objeto de una trama de imagen izquierda de una imagen 3D y una segunda area de objeto de una trama de imagen derecha de la imagen 3D basada en un objeto seleccionado de la imagen 3D, y una unidad de ajuste de trama para ajustar la trama de imagen izquierda y la trama de imagen derecha para cambiar un efecto 3D del objeto seleccionado. Sin embargo, en el documento US 2012/0162199, los objetos se conocen per se, es decir, se definen por la informacion de objeto [vease 0036, 0048], permitiendo de este modo el aparato conocer que objeto se selecciona por el usuario, o permitiendo incluso que el objeto se seleccione automaticamente [vease 0059]. En consecuencia, en vez de permitir a un usuario establecer una zona 2D definida por el usuario con el fin de establecer una reduccion de profundidad en una zona de pantalla en la pantalla 3D, el documento US 2012/0162199 permite al usuario seleccionar directamente un objeto a traves de la informacion de objeto. Por lo tanto, el documento US 2012/0162199 se dirige al problema de como eliminar un efecto tridimensional de un objeto definido por la informacion de objeto, y no ofrece una solucion cuando se trata de superposiciones codificadas de manera compleja en una senal de imagen 3D, es decir, para las que dicha informacion de objeto no esta disponible.
Sumario de la invencion
Los inventores han reconocido que cuando el contenido de una senal de imagen 3D se ve en una pantalla 3D, todas las caracteristicas de gran detalle en el contenido se visualizan mejor a una profundidad de pantalla que no este demasiado lejos del plano de pantalla, es decir, a una profundidad de pantalla relativamente neutra. Una razon para esto es que puede producirse una interferencia, como una interferencia optica, entre las sub-imagenes estereoscopicas percibidas por el usuario. Tal interferencia conduce normalmente al denominado efecto fantasma. En general, el efecto fantasma es molesto para un espectador. El efecto fantasma en las caracteristicas de gran
5
10
15
20
25
30
35
40
45
50
55
60
65
detalle en el contenido es especialmente molesto para el espectador. Dicho efecto fantasma se reduce visualizando las caracteristicas de gran detalle a una profundidad de pantalla relativamente neutra.
Ejemplos de tales caracteristicas de gran detalle son los subtitulos, los logotipos de la emisora, o los elementos de interfaz grafica de usuario (GUI), o en general, todo aquello que implique que el usuario necesita visualizar de forma legible un texto pequeno. En general, tales caracteristicas de gran detalle se denominaran a partir de ahora superposiciones debidas a los subtitulos, logotipos, etc., que se superponen habitualmente a otro tipo de contenido.
Cuando tales superposiciones se entregan por separado de la senal de imagen 2D, por ejemplo, como capas o corrientes separadas dentro o al lado de la senal de imagen 3D, las superposiciones pueden visualizarse a una profundidad que no esta demasiado lejos del plano de pantalla asignando valores de profundidad correspondientes a las superposiciones. Sin embargo, deben tenerse en cuenta limitaciones tales como, por ejemplo, que los subtitulos se asignan a una profundidad que los coloca en frente del contenido, es decir, mas cerca del espectador, que el contenido que se superpone y rodea los subtitulos. Los inventores han reconocido que tal asignacion de profundidad es mucho mas dificil cuando las superposiciones ya se han compuesto en el contenido, es decir, que se han codificado de manera compleja en la senal de imagen 3D. Aunque es posible detectar una superposicion, por ejemplo, usando una deteccion de superposicion (tambien conocida como segmentation de superposicion) que se conoce per se en el campo del analisis de imagenes, tal deteccion de superposicion es con frecuencia imperfecta. Por lo tanto, una superposicion detectada puede no coincidir perfectamente con la superposicion real en la senal de imagen 3D. En particular, es dificil la deteccion de superposicion con precision de (sub)pixeles.
En principio, ya es posible asignar una profundidad de pantalla relativamente neutra a las superposiciones cuando se genera la senal de imagen 3D. Con este fin, puede usarse una conversion de 2D a 3D que inherentemente o por diseno intenta asignar dicha profundidad de pantalla neutra a las superposiciones. Sin embargo, los inventores han reconocido que es dificil la estimation de profundidad para textos pequenos similares a subtitulos, ya que comprenden estructuras delgadas separadas. En consecuencia, es dificil para un estimador de profundidad asignar la misma profundidad a dichas partes separadas de la superposicion. Esto puede provocar fluctuaciones (espacial y temporalmente) de la profundidad asignada a dichas superposiciones. Estas pueden ser muy molestas para un espectador.
Seria ventajoso proporcionar un sistema y un metodo que haga frente a las preocupaciones anteriores.
La invention proporciona un sistema, un dispositivo de pantalla 3D, un metodo y un producto de programa informatico como se define en las reivindicaciones adjuntas.
Las medidas anteriores proporcionan un subsistema de interfaz de usuario para permitir a un usuario definir una zona 2D definida por el usuario en la senal de imagen 2D. Por ejemplo, el usuario puede definir la zona 2D definida por el usuario usando una interfaz grafica de usuario (GUI) para definir el lado superior, el lado inferior, el lado izquierdo y el lado derecho de una zona 2D rectangular definida por el usuario, o seleccionar la zona 2D definida por el usuario entre una pluralidad de zonas 2D predeterminadas, etc. Basandose en la zona 2D definida por el usuario, se define una zona 2D en la senal auxiliar 2D. La zona 2D corresponde a una zona de pantalla en un plano de pantalla de la pantalla 3D cuando se reproduce en 3D la senal de imagen 2D usando la senal auxiliar 2D. Se obtiene un parametro de reduction de profundidad para la zona de pantalla, representando el parametro de reduction de profundidad una cantidad deseada de reduccion de profundidad en la zona de pantalla. En este caso, la expresion reduccion de profundidad se refiere a una reduccion hacia una profundidad de pantalla neutra cuando se reproduce en 3D la senal de imagen 2D en la pantalla 3D. Para permitir que se establezca la reduccion de profundidad, se deriva un valor de ajuste a partir del parametro de reduccion de profundidad. En consecuencia, puede establecerse la reduccion de profundidad en la zona de pantalla, en concreto, ajustando los valores de senal de la senal auxiliar 2D dentro de la zona 2D basandose en el valor de ajuste.
Las medidas anteriores tienen el efecto de que se define una zona 2D y se proporciona un valor de ajuste, lo que en conjunto permite establecer la reduccion de profundidad en la zona de pantalla ajustando los valores de senal de la senal auxiliar 2D dentro de la zona 2D basandose en el valor de ajuste. Esto tiene el efecto ventajoso de que cuando la senal de imagen 3D comprende superposiciones codificadas de manera compleja, se permite al usuario definir la zona 2D definida por el usuario para incluir las superposiciones codificadas de manera compleja, haciendo de este modo que el sistema proporcione un valor de ajuste para una zona 2D correspondiente en la senal auxiliar, permitiendo el valor de ajuste que la profundidad de las superposiciones codificadas de manera compleja en la zona de pantalla se reduzca hacia una profundidad de pantalla neutra. En consecuencia, en caso de que un estimador de profundidad haya asignado una profundidad erronea a la superposicion codificada de manera compleja, puede reducirse la profundidad erronea, reduciendo de este modo tambien las fluctuaciones de profundidad habitualmente asociadas con una profundidad erronea de este tipo. Ventajosamente, no es necesario basarse en una deteccion de superposicion (automatica) que es con frecuencia imperfecta por las razones mencionadas anteriormente. Por el contrario, se permite al usuario definir la zona 2D definida por el usuario por si mismo, es decir, de manera manual.
A continuation se describen los aspectos opcionales de la presente invencion.
5
10
15
20
25
30
35
40
45
50
55
60
65
Opcionalmente, el definidor de zona comprende un detector de superposicion para la deteccion de una superposicion en la senal de imagen 3D, y el subsistema de interfaz de usuario esta dispuesto para permitir al usuario establecer la zona 2D definida por el usuario basandose en la superposicion detectada. Aunque se ha reconocido que un detector de superposicion puede fallar en la deteccion perfecta de superposiciones codificadas de manera compleja en una senal de imagen 3D, una superposicion detectada puede, sin embargo, usarse como una base para el usuario en la definicion de la zona 2D definida por el usuario. Por ejemplo, la superposicion detectada puede guiar al usuario hacia la localizacion de la superposicion de manera compleja, permitiendo de este modo al usuario definir de manera rapida y conveniente la zona 2D definida por el usuario. Otro ejemplo es que, a veces, la superposicion detectada puede detectarse lo suficientemente bien, permitiendo de este modo al usuario definir la zona 2D definida por el usuario basandose directamente en la superposicion detectada.
Opcionalmente, el subsistema de interfaz de usuario esta dispuesto para usar la superposicion detectada para:
- inicializar la zona 2D definida por el usuario; y/o
- establecer una cuadricula para proporcionar al usuario una funcionalidad de ajuste a la cuadricula cuando se establece la zona 2D definida por el usuario.
Opcionalmente, el subsistema de interfaz de usuario esta dispuesto para permitir al usuario especificar la cantidad deseada de reduccion de profundidad en la zona de pantalla, estableciendo de este modo el parametro de reduccion de profundidad.
Opcionalmente, la senal de entrada esta dispuesta para obtener metadatos indicativos de una zona 2D predefinida, y el definidor de zona esta dispuesto para definir la zona 2D basandose en la zona 2D predefinida.
Opcionalmente, el procesador de profundidad esta dispuesto para derivar un valor de desviacion a partir del parametro de reduccion de profundidad para permitir el ajuste de los valores de senal de la senal auxiliar 2d dentro de la zona 2D aplicando dicho valor de desviacion a los valores de senal.
Opcionalmente, la senal auxiliar 2D es una senal relacionada con la profundidad 2D, y el procesador de profundidad esta dispuesto para derivar un valor de ganancia a partir del parametro de reduccion de profundidad para permitir el ajuste de los valores de senal de la senal relacionada con la profundidad 2D dentro de la zona 2D aplicando el valor de ganancia a los valores de senal.
Opcionalmente, el procesador de profundidad esta dispuesto para ajustar los valores de senal de la senal auxiliar 2D dentro de la zona 2D basandose en el valor de ajuste con el fin de establecer la reduccion de profundidad en la zona de pantalla.
Opcionalmente, el procesador de profundidad esta dispuesto para ajustar los valores de senal de la senal auxiliar 2D dentro de la zona 2D basandose en la mezcla-alfa de los valores de senal con un valor de profundidad neutro.
Opcionalmente, el procesador de profundidad esta dispuesto para establecer una transition gradual entre los valores de senal ajustados dentro de la zona 2D y los valores de senal no ajustados fuera de la zona 2D.
Opcionalmente, la transicion gradual es, sustancialmente, una transicion lineal de primer orden o una transicion no lineal de segundo orden.
Opcionalmente, el sistema comprende, ademas, un procesador de imagen para:
- establecer una zona de imagen 2D en la senal de imagen 2D que corresponde a la zona 2D en la senal auxiliar 2D; y
- aplicar una tecnica de mejora de imagen a los valores de imagen de la senal de imagen 2D dentro de la zona de imagen 2D.
Opcionalmente, la tecnica de mejora de imagen es al menos una del grupo de: una mejora de contraste, un ajuste de nitidez y un filtrado temporal.
Breve descripcion de los dibujos
Estos y otros aspectos de la invention seran evidentes a partir de, y se aclararan con referencia a, las realizaciones descritas en lo sucesivo en el presente documento. En los dibujos,
la figura 1 muestra un sistema para procesar una senal de imagen 3D;
la figura 2 muestra un metodo para procesar una senal de imagen 3D;
la figura 3 muestra un producto de programa informatico para realizar el metodo;
la figura 4a muestra una senal de imagen 2D que comprende subtitulos;
la figura 4b muestra una senal de profundidad 2D correspondiente a la senal de imagen 2D;
5
10
15
20
25
30
35
40
45
50
55
60
65
la figura 5a muestra una GUI para permitir a un usuario establecer una zona 2D definida por el usuario; la figura 5b muestra la senal de profundidad 2D reflejando la GUI;
la figura 6a muestra al usuario estableciendo la zona 2D definida por el usuario usando la GUI;
la figura 6b muestra al definidor de zona estableciendo la zona 2D definida por el usuario como la zona 2D, y al
procesador de profundidad estableciendo la reduccion de profundidad en la zona de pantalla;
la figura 7a muestra una vista en primer plano de la senal de profundidad 2D sin reduccion de profundidad;
la figura 7b muestra una vista en primer plano de la senal de profundidad 2D con reduccion de profundidad;
la figura 7c ilustra la zona de pantalla y una zona de transicion; y
la figura 8 muestra un valor de ganancia que varia como una funcion de la posicion vertical en la pantalla.
Cabe senalar que los elementos que tienen los mismos numeros de referencia en diferentes figuras, tienen las mismas caracteristicas estructurales y las mismas funciones, o son las mismas senales. Cuando la funcion y/o la estructura de tal articulo se han explicado, no hay necesidad de una explication repetida del mismo en la description detallada.
Descripcion de la invencion
La figura 1 muestra un sistema 100 para procesar una senal de imagen tridimensional [3D], comprendiendo la senal de imagen 3D una senal de imagen bidimensional [2D] y una senal auxiliar 2D, permitiendo la senal auxiliar 2D la reproduction en 3D de la senal de imagen 2D en una pantalla 3D 200. La senal auxiliar 2D puede ser, por ejemplo, una senal de disparidad 2D, una senal de profundidad 2D u otra senal de imagen 2D. Cuando la senal auxiliar 2D se combina con la senal de imagen 2D, se hace posible una reproduccion en 3D de la senal de imagen 2D en una pantalla 3D. La reproduccion en 3D puede implicar la realization de una reproduccion visual, por ejemplo, para generar otra senal de imagen 2D a partir de la senal de imagen 2D y la senal relacionada con la profundidad 2D. La reproduccion en 3D tambien puede implicar el procesamiento de dos senales de imagen 2D para permitir una vision estereoscopica.
El sistema 100 comprende una entrada de senal 120 para obtener la senal de imagen 2D 122 y la senal auxiliar 2D 122. El sistema 100 comprende ademas un definidor de zona 140 para definir una zona 2D 142 en la senal auxiliar 2D, correspondiendo la zona 2D a una zona de pantalla en un plano de pantalla de la pantalla 3D cuando se reproduce en 3D la senal de imagen 2D. Por lo tanto, la zona 2D tiene una forma y una posicion. La zona 2D puede estar constituida por parametros de zona que describen un contorno de la zona 2D. Los parametros de zona pueden ser parametros de posicion. La zona 2D corresponde a una zona de pantalla en un plano de pantalla de la pantalla 3D cuando se reproduce en 3D la senal de imagen 2D. En otras palabras, en una zona de pantalla en el plano de pantalla de la pantalla 3D, la profundidad percibida por el usuario se establece por los valores de senal de la senal auxiliar 2D dentro de la zona 2D. La zona de pantalla es una zona en el plano de pantalla que se extiende en anchura y en altura sobre el plano de pantalla. La expresion plano de pantalla se refiere al plano que coincide con la superficie de emision de luz principal de la pantalla 3D y que tiene sustancialmente la misma profundidad, es decir, correspondiente a la de la superficie de emision de luz principal.
El sistema 100 comprende ademas un procesador de profundidad 160 para obtener un parametro de reduccion de profundidad 162, representando el parametro de reduccion de profundidad una cantidad deseada de reduccion de profundidad en la zona de pantalla cuando se reproduce en 3D la senal de imagen 2D. El parametro de reduccion de profundidad puede obtenerse internamente, por ejemplo, estableciendose por otra parte del sistema o preestableciendose. El parametro de reduccion de profundidad tambien puede obtenerse externamente, por ejemplo, de un usuario, tal como se tratara mas adelante. El parametro de reduccion de profundidad representa una cantidad deseada de reduccion de profundidad en la zona de pantalla cuando se reproduce en 3D la senal de imagen 2D. En este caso, el adjetivo deseada se refiere al parametro de reduccion de profundidad que se ha establecido con el fin de efectuar dicha reduccion de profundidad. La expresion reduccion de profundidad se refiere a la profundidad dentro de la zona de pantalla que esta mas cerca de una profundidad de pantalla neutra, es decir, que da como resultado que el contenido que se ha establecido sea menos sobresaliente con respecto a, o se hunda en, la pantalla 3D.
El procesador de profundidad 160 esta dispuesto para derivar un valor de ajuste a partir del parametro de reduccion de profundidad para permitir el establecimiento de la reduccion de profundidad en la zona de pantalla ajustando los valores de senal de la senal auxiliar 2D dentro de la zona 2D basandose en el valor de ajuste. Por lo tanto, el parametro de ajuste esta dispuesto para, cuando se ajustan los valores de senal de la senal auxiliar 2D dentro de la zona 2D basandose en el valor de ajuste, establecer la reduccion de profundidad en la zona de pantalla. En consecuencia, la reduccion de profundidad se efectua despues de dicho ajuste de los valores de senal.
Cabe senalar que el procesador de profundidad 160 puede estar dispuesto para ajustar realmente los valores de senal de la senal auxiliar 2D dentro de la zona 2D basandose en el valor de ajuste. De hecho, esto se muestra en la figura 1, en la que el procesador de profundidad 160 obtiene la senal auxiliar 2D 124 de la entrada 120 y establece una senal auxiliar 2D ajustada 124A. Se muestra la senal auxiliar 2D ajustada 124A que debe proporcionarse a la pantalla 3D 200. Aunque no se muestra en la figura 1, el sistema 100 puede proporcionar, ademas, la senal de imagen 2D 122 a la pantalla 3D 200. Como alternativa, la pantalla 3D 200 puede recibir la senal de imagen 2D 122
5
10
15
20
25
30
35
40
45
50
55
60
65
de otra parte, por ejemplo, un sistema o dispositivo diferente.
Aunque no se muestra en la figura 1, el procesador de pantalla 160 tambien puede abstenerse de ajustar realmente la valores de senal de la senal auxiliar 2D dentro de la zona 2D basandose en el valor de ajuste. En este caso, el procesador de profundidad 160 puede proporcionar el valor de ajuste para su uso por otro procesador de profundidad. El otro procesador de pantalla puede estar comprendido en otro dispositivo, tal como la pantalla 3D 200. Por ejemplo, el otro procesador de pantalla puede ser un reproductor visual 3D de la pantalla 200. Los reproductores visuales se conocen per se en el campo del procesamiento de imagenes 3D. Ademas, el definidor de zona y/o el procesador de profundidad 160 pueden proporcionar la zona 2D al otro procesador de profundidad. Por ejemplo, el sistema 100 puede estar constituido por un dispositivo decodificador, y el procesador de profundidad 160 del dispositivo decodificador puede proporcionar el valor de ajuste a la pantalla 3D 200 que, a continuacion, ajusta los valores de senal de la senal auxiliar 2D dentro de la zona 2D. El ajuste puede efectuarse en la pantalla 3D 200 modificando los parametros de reproduction del reproductor visual basandose en el valor de ajuste, o usando el valor de ajuste directamente como un parametro de reproduccion. Cabe senalar que, en este caso, puede que no sea necesario que el sistema 100 reciba la senal de imagen 2D 122. Ademas, puede que no sea necesario que el sistema 100 reciba la senal auxiliar 2D 124 y, por lo tanto, puede que no sea necesario que comprenda la entrada 120. En general, se observa que el procesador de profundidad 160 tambien puede constituir un subsistema de procesamiento de profundidad 160 que se extiende a traves de multiples dispositivos, por ejemplo, a traves de un dispositivo decodificador y una pantalla 3D 200.
La figura 2 muestra un metodo 300 para procesar una senal de imagen tridimensional [3D], comprendiendo la senal de imagen 3D una senal de imagen bidimensional [2D] y una senal auxiliar 2D, permitiendo la senal auxiliar 2D la reproduccion en 3D de la senal de imagen 2D en una pantalla 3D. El metodo 300 comprende, en una primera etapa, obtener 310 la senal de imagen 2D y la senal auxiliar 2D. El metodo 300 comprende ademas, en una segunda etapa, definir 320 una zona 2D en la senal auxiliar 2D, correspondiendo la zona 2D a una zona de pantalla en un plano de pantalla de la pantalla 3D cuando se reproduce en 3D la senal de imagen 2D. El metodo 300 comprende ademas, en una tercera etapa, obtener 330 un parametro de reduction de profundidad, representando el parametro de reduccion de profundidad una cantidad deseada de reduccion de profundidad en la zona de pantalla cuando se reproduce en 3D la senal de imagen 2D. El metodo 300 incluye ademas, en una cuarta etapa, derivar 340 un valor de ajuste a partir del parametro de reduccion de profundidad para permitir el establecimiento de la reduccion de profundidad en la zona de pantalla ajustando los valores de senal de la senal auxiliar 2D dentro de la zona 2D basandose en el valor de ajuste. El metodo 300 puede corresponder a una operation del sistema 100. Sin embargo, el metodo 300 tambien puede realizarse por separado del sistema 100.
La figura 3 muestra un medio legible por ordenador 350 que comprende un producto de programa informatico 260 para hacer que un sistema de procesador realice el metodo de la figura 2. Con este fin, el producto de programa informatico 360 comprende instrucciones para el sistema de procesador que, tras la ejecucion, hacen que el sistema de procesador realice el metodo. El producto de programa informatico 360 puede estar comprendido en el medio legible por ordenador 350 como una serie de marcas fisicas legibles por maquina y/o como una serie de elementos que tienen, por ejemplo, diferentes propiedades o valores electricos, magneticos u opticos.
El sistema 100 puede comprender, ademas, un subsistema de interfaz de usuario 180 para permitir a un usuario establecer una zona 2D definida por el usuario 182. Con este fin, el subsistema de interfaz de usuario 180 puede estar dispuesto para establecer una interfaz grafica de usuario (GUI) en la pantalla 3D 200 con el fin de permitir al usuario establecer la zona 2D definida por el usuario 182 usando la GUI. Por ejemplo, la GUI puede permitir al usuario definir una position vertical en la pantalla por debajo de la que se reduce la profundidad. En efecto, la zona por debajo de la posicion vertical constituye la zona 2D definida por el usuario 182. La GUI tambien puede permitir al usuario definir el lado superior, el lado inferior, el lado izquierdo y el lado derecho de una zona 2D 182 rectangular definida por el usuario usando, por ejemplo, unos dispositivos deslizantes de posicion correspondientes a las posiciones respectivas de los lados respectivos. La figura 5a muestra un ejemplo de una GUI de este tipo. Cabe senalar que pueden usarse de manera ventajosa diversos medios alternativos para establecer la zona 2D definida por el usuario 182. Por ejemplo, el usuario puede seleccionar la zona 2D definida por el usuario 182 entre una pluralidad de zonas 2D predeterminadas. Ademas, en lugar de usar una GUI, pueden usarse otros medios, por ejemplo, botones pulsadores, control de voz, etc.
El definidor de zona 140 puede estar dispuesto para definir la zona 2D 142 basandose en la zona 2D definida por el usuario 182. Por ejemplo, el definidor de zona 140 puede definir la zona 2D 142 para que sea igual a la zona 2D definida por el usuario 182. Por lo tanto, el usuario puede tener un control total sobre la zona 2D, y puede definir la zona 2D estableciendo la zona 2D definida por el usuario 182. Como alternativa, el definidor de zona 140 puede definir la zona 2D 142 basandose en la zona 2D definida por el usuario 182 mediante, por ejemplo, la initialization de la zona 2D con la zona 2D definida por el usuario 182, o el uso de la zona 2D definida por el usuario 182 de cualquier otra manera adecuada para definir la zona 2D 142. Esencialmente, la zona 2D 142 constituye, por lo tanto, un area de profundidad reducida configurable por el usuario dentro de la senal de imagen 3D.
Como alternativa o adicionalmente, el definidor de zona 140 puede comprender un detector de superposition para detectar una superposicion en la senal de imagen 3D 122, 124, y el subsistema de interfaz de usuario 180 puede
5
10
15
20
25
30
35
40
45
50
55
60
65
estar dispuesto para permitir al usuario establecer la zona 2D definida por el usuario 182 basandose en la superposicion detectada. Por ejemplo, puede mostrarse al usuario la superposicion detectada, es dedr, en forma de unos indicadores de contorno o de posicion, permitiendo de este modo al usuario basar su establecimiento de la zona 2D definida por el usuario 182 en la superposicion detectada. El subsistema de interfaz de usuario 180 tambien puede usar la superposicion detectada para inicializar la zona 2D definida por el usuario 182. En consecuencia, la superposicion detectada puede proporcionar una zona 2D inicial, y el usuario puede ajustar la zona 2D inicial con el fin de establecer la zona 2D definida por el usuario 182. Como alternativa o adicionalmente, el subsistema de interfaz de usuario 180 puede establecer una cuadricula para proporcionar al usuario la funcionalidad de ajuste a la cuadricula cuando se establece la zona 2D definida por el usuario 182. Por lo tanto, el usuario puede guiarse hacia el establecimiento de la zona 2D definida por el usuario 182.
Alternativa o adicionalmente, el subsistema de interfaz de usuario 180 puede estar dispuesto para permitir al usuario especificar la cantidad deseada de reduccion de profundidad en la zona de pantalla, estableciendo de este modo el parametro de reduccion de profundidad 162. Por ejemplo, el usuario puede ajustar un dispositivo deslizante de reduccion de profundidad. Cabe senalar que en lugar del establecimiento por parte del usuario del parametro de reduccion de profundidad 162, el parametro de reduccion de profundidad 162 tambien puede preestablecerse o determinarse por el sistema 100. Por ejemplo, el parametro de reduccion de profundidad 162 puede depender de la cantidad total de profundidad en la senal de imagen 3D.
La senal de entrada 120 puede estar dispuesta para obtener metadatos indicativos de una zona 2D predefinida, y el definidor de zona 140 puede estar dispuesto para definir la zona 2D basandose en la zona 2D predefinida. La zona 2D predefinida puede proporcionarse por el sistema o dispositivo anterior o previo en la cadena de transmision de senales. Cabe senalar que el sistema 100 puede, a su vez, estar dispuesto para proporcionar la zona 2D como se define por el definidor de zona 140 y/o el valor de ajuste para un sistema o dispositivo posterior o proximo en la cadena de transmision de senales, por ejemplo, en forma de metadatos adicionales.
El procesador de profundidad 160 pueden estar dispuesto para derivar un valor de desviacion a partir del parametro de reduccion de profundidad 162 para permitir el ajuste de los valores de senal de la senal auxiliar 2D 124 dentro de la zona 2D aplicando dicho valor de desviacion a los valores de senal. La desviacion puede ser una desviacion relacionada con la profundidad en caso de que la senal auxiliar 2D 124 sea una senal relacionada con la profundidad 2D. Como tal, el valor de desviacion puede sumarse y/o restarse de las senales relacionadas con la profundidad de la senal relacionada con la profundidad 2D dentro de la zona 2D. La desviacion tambien puede ser una desviacion de disparidad en caso de que la senal auxiliar 2D 124 sea otra senal de imagen 2D. La desviacion de disparidad puede usarse para desplazar horizontalmente los valores de imagen de la senal auxiliar 2D 124 en la zona 2D. En caso de que la senal auxiliar 2D 124 sea una senal relacionada con la profundidad 2D, el procesador de profundidad 160 tambien puede estar dispuesto para derivar un valor de ganancia a partir del parametro de reduccion de profundidad 162 para permitir el ajuste de los valores relacionados con la profundidad de la senal relacionada con la profundidad 2D dentro de la zona 2D aplicando el valor de ganancia a los valores relacionados con la profundidad. Como tal, el valor de ganancia puede multiplicarse con las senales relacionadas con la profundidad de la senal relacionada con la profundidad 2D dentro de la zona 2D. El procesador de profundidad 160 puede estar dispuesto para derivar tanto un valor de ganancia como un valor de desviacion a partir del parametro de reduccion de profundidad 162. La desviacion puede aplicarse en primer lugar y, a continuacion, la ganancia, o viceversa.
En caso de que el procesador de profundidad 160 este dispuesto para ajustar los valores de senal de la senal auxiliar 2D dentro de la zona 2D basandose en el valor de ajuste, el procesador de profundidad 160 puede realizar dicho ajuste basandose en una mezcla-alfa de los valores de senal con un valor de profundidad neutro. El valor alfa en la mezcla-alfa puede derivarse a partir del parametro de reduccion de profundidad 162. Cabe senalar que la mezcla-alfa se conoce per se en el campo del procesamiento de imagenes. Ademas, el procesador de profundidad 160 puede estar dispuesto para establecer una transicion gradual entre los valores de senal ajustados dentro de la zona 2D y los valores de senal no ajustados fuera de la zona 2D. Por lo tanto, se establece una zona de transicion que rodea la zona 2D en la que se efectua la transicion gradual. Ventajosamente, se evita o se reduce una percepcion de ruptura que se produciria de uno u otro modo si un objeto se extendiera tanto dentro de la zona 2D como fuera de dicha zona. La transicion gradual puede ser, sustancialmente, una transicion lineal de primer orden o una transicion no lineal de segundo orden.
Aunque no se muestra en la figura 1, el sistema 100 puede comprender, ademas, un procesador de imagen 180 para i) establecer una zona de imagen 2D en la senal de imagen 2D 122 que corresponde a la zona 2D en la senal auxiliar 2D 124, y ii) aplicar una tecnica de mejora de imagen a los valores de imagen de la senal de imagen 2D dentro de la zona de imagen 2D. La tecnica de mejora de imagen puede ser uno o mas de: una mejora de contraste, un ajuste de nitidez, y un filtrado temporal. Ventajosamente, se mejora ademas la legibilidad de la superposicion, especialmente una superposicion basada en texto.
Cabe senalar que la expresion senal de imagen se refiere a una senal que representa al menos una imagen. La senal de imagen tambien puede representar multiples imagenes, por ejemplo, una secuencia de imagenes tal como una secuencia de video. Por lo tanto, cada senal de imagen puede constituir de manera eficaz una senal de video.
5
10
15
20
25
30
35
40
45
50
55
60
65
El funcionamiento del sistema 100 y el metodo 300 puede explicarse en detalle con referencia a la figura 4a a continuacion. La figura 4a muestra una senal de imagen 2D 122 que comprende los subtitulos del texto “Algunos turistas dejan su huella”. Los subtitulos constituyen una superposition codificada de manera compleja, es decir, son parte de la senal de imagen 2D 122. La figura 4b muestra una senal de profundidad 2D 124 correspondiente a la senal de imagen 2D. En este caso, la intensidad es inversamente proporcional a la distancia con respecto al espectador, es decir, una intensidad mas alta corresponde a estar mas cerca del espectador, y una intensidad mas baja corresponde a estar mas lejos del espectador. En este ejemplo, una intensidad mas baja, es decir, mayor oscuridad, corresponde a una profundidad detras del plano de pantalla y una intensidad mas alta, es decir, mayor brillo, corresponde a una profundidad delante del plano de pantalla.
La figura 5a muestra un ejemplo del subsistema de interfaz de usuario 180 que establece una GUI en la pantalla para permitir al usuario establecer una zona 2D definida por el usuario. La GUI comprende un dispositivo deslizante denominado “factor de Kmite”, que permite al usuario especificar la cantidad deseada de reduction de profundidad en la zona de pantalla. La GUI comprende ademas cuatro dispositivos deslizantes que permiten al usuario establecer multiples zonas 2D definidas por el usuario, es decir, una en cada lado de la senal de imagen 2D 122. Si las cuatro zonas 2D definidas por el usuario se establecen por el usuario con un tamano distinto de cero, dichas zonas juntas tiene la forma de un marco de ventana y, por lo tanto, constituyen de manera eficaz una sola zona 2D definida por el usuario. Cabe senalar que pueden concebirse muchas alternativas para permitir al usuario establecer la o las zonas 2D definidas por el usuario. Por lo tanto, haciendo funcionar los dispositivos deslizantes adecuados, el usuario puede establecer la zona 2D definida por el usuario. La figura 5b muestra la senal de profundidad 2D que refleja la GUI, es decir, que muestra que la GUI tambien se establece a una profundidad.
La figura 6a muestra al usuario completando los ajustes del dispositivo deslizante mediante el establecimiento de una zona 2D definida por el usuario en la parte inferior de la pantalla, es decir, que comprende en este ejemplo especifico todas las 89 lineas de imagen de la parte inferior de la senal de imagen 2D 122. La figura 6b muestra un resultado del definidor de zona 140 que establece la zona 2D definida por el usuario como la zona 2D, y el procesador de profundidad 160 que establece la reduccion de profundidad en la zona de pantalla. Puede observarse que se ajustan los valores de profundidad de la senal de profundidad 2D dentro de la zona 2D, proporcionando de este modo los subtitulos con una profundidad que resulta de que los subtitulos tengan una mayor distancia con respecto al espectador, es decir, que tienen una profundidad reducida. La figura 7a muestra una vista en primer plano de la senal de profundidad 2D 122 sin reduccion de profundidad. La figura 7b muestra una vista en primer plano de la senal de profundidad 2D con reduccion de profundidad, es decir, con la senal de profundidad 2D 124 ajustada. En este caso, se indica la extension de la zona 2D 400. Ademas, puede verse una zona de transition 410. En este caso, se muestra un resultado del procesador de profundidad 160 que establece una transicion gradual entre los valores de senal ajustados dentro de la zona 2D 400 y los valores de senal no ajustados fuera de la zona 2D, produciendose dicha zona de transicion 410. La figura 7c ilustra la zona de pantalla y una zona de transicion usando rectangulos de trazos.
La senal de profundidad 2D ajustada 124a de las figuras 6b, 7b y 7c puede obtenerse aplicando un valor de ganancia a la senal de profundidad 2D 122 que varia como una funcion de position vertical. La figura 8 muestra un ejemplo de un valor de ganancia variable de este tipo. En este caso, se muestra una grafica que representa a lo largo de su eje horizontal 510 una posicion vertical, es decir, la posicion y, en la pantalla, y a lo largo de su eje vertical 520 un valor de ganancia. La grafica muestra una variation gradual del valor de ganancia como funcion de la posicion y, es decir, una funcion de valor de ganancia 500 que varia de un primer valor de ganancia 524 de, por ejemplo, 0,3 dentro de la zona 2D 400 a un segundo valor de ganancia 524 de 1,0 fuera de la zona 2D, realizando el valor de ganancia una transicion lenta de 0,3 a 1,0 en la zona de transicion 410. El valor de ganancia puede aplicarse en primer lugar restando una desviacion de la senal de profundidad 2D 122. La desviacion puede corresponder a un valor de profundidad neutro, por ejemplo, uno que corresponda a una profundidad de pantalla neutra. Despues de aplicar el valor de ganancia, la desviacion puede sumarse de nuevo a la senal de profundidad 2D 122. Todos los valores de profundidad de la senal de profundidad 2D 122 podrian multiplicarse por el valor de ganancia. Como alternativa, solo los valores de profundidad en la zona 2D 400 y la zona de transicion 410 podrian multiplicarse por el valor de ganancia. Cabe senalar que otra expresion para el valor de ganancia es factor de ganancia.
Se apreciara que, de acuerdo con la presente invention, puede proporcionarse un sistema para procesar una senal de imagen 3D, comprendiendo la senal de imagen 3D una senal de imagen bidimensional 2D y una senal auxiliar 2D, permitiendo la senal auxiliar 2D la reproduction en 3D de la senal de imagen 2D en una pantalla 3D, comprendiendo el sistema:
- una entrada de senal para obtener la senal de imagen 2D y la senal auxiliar 2D;
- un definidor de zona para definir una zona 2D en la senal auxiliar 2D, correspondiendo la zona 2D a una zona de pantalla en un plano de pantalla de la pantalla 3D cuando se reproduce en 3D la senal de imagen 2D;
- un procesador de profundidad para: i) obtener un parametro de reduccion de profundidad, representando el parametro de reduccion de profundidad una cantidad deseada de reduccion de profundidad en la zona de pantalla cuando se reproduce en 3D la senal de imagen 2D, y ii) derivar un valor de ajuste a partir del parametro de reduccion de profundidad para permitir el establecimiento de la reduccion de profundidad en la zona de
pantalla ajustando los valores de senal de la senal auxiliar 2D dentro de la zona 2D, basandose en el valor de ajuste.
Cabe senalar que las realizaciones mencionadas anteriormente ilustran la invencion en lugar de limitarla, y que los 5 expertos en la materia seran capaces de disenar muchas realizaciones alternativas.
En las reivindicaciones, ningun signo de referencia colocado entre parentesis debe interpretarse como limitante de la reivindicacion. El uso del verbo “comprender” y sus conjugaciones no excluye la presencia de elementos o etapas distintos de los indicados en una reivindicacion. El articulo “un” o “una” precediendo a un elemento no excluye la 10 presencia de una pluralidad de tales elementos. La invencion puede implementarse por medio de un hardware que comprende varios elementos diferentes, y por medio de un ordenador adecuadamente programado. En la reivindicacion del dispositivo que enumera varios medios, varios de estos medios pueden estar compuestos por uno y el mismo elemento de hardware. El mero hecho de que determinadas medidas se enumeren en reivindicaciones dependientes diferentes entre si no indica que no pueda usarse de manera ventajosa una combination de estas 15 medidas.

Claims (10)

  1. 5
    10
    15
    20
    25
    30
    35
    40
    45
    50
    55
    60
    65
    REIVINDICACIONES
    1. Un sistema (100) para procesar una senal de imagen tridimensional [3D], comprendiendo la senal de imagen 3D una senal de imagen bidimensional [2D] y una senal auxiliar 2D, siendo la senal auxiliar 2D una senal relacionada con la profundidad 2D para permitir la reproduccion en 3D de la senal de imagen 2D en una pantalla 3D (200), comprendiendo el sistema:
    - una entrada de senal (120) para obtener la senal de imagen 2D (122) y la senal auxiliar 2D (122);
    - un subsistema de interfaz de usuario (180) para permitir a un usuario establecer una zona 2D definida por el usuario (182) en la senal de imagen 2D, comprendiendo la zona 2D definida por el usuario una superposicion;
    - un definidor de zona (140) para, basandose en la zona 2D definida por el usuario, definir una zona auxiliar 2D (142) en la senal auxiliar 2D, correspondiendo la senal auxiliar 2D a una zona de pantalla en un plano de pantalla de la pantalla 3D cuando se reproduce en 3D la senal de imagen 2D usando la senal auxiliar 2D; y
    - un procesador de profundidad (160) para:
    i) obtener un parametro de reduccion de profundidad (162), representando el parametro de reduccion de profundidad una cantidad deseada de reduccion de profundidad en la zona de pantalla hacia una profundidad de pantalla neutra cuando se reproduce en 3D la senal de imagen 2D en la pantalla 3D, y
    ii) derivar un valor de ganancia a partir del parametro de reduccion de profundidad para permitir el establecimiento de la reduccion de profundidad en la zona de pantalla hacia la profundidad de pantalla neutra al
    iii) restar una desviacion correspondiente a la profundidad de pantalla neutra de los valores de senal de la senal auxiliar 2D dentro de la zona auxiliar 2D, aplicando el valor de ganancia como un factor de multiplicacion, y volver a sumar la desviacion.
  2. 2. El sistema (100) de acuerdo con la reivindicacion 1, en el que:
    - el definidor de zona (140) comprende un detector de superposicion para detectar la superposicion en la senal de imagen 3D (122, 124); y
    - el subsistema de interfaz de usuario (180) esta dispuesto para permitir al usuario establecer la zona 2D definida por el usuario (182) basandose en la superposicion detectada.
  3. 3. El sistema (100) de acuerdo con la reivindicacion 2, en el que el subsistema de interfaz de usuario (180) esta dispuesto para usar la superposicion detectada para:
    - inicializar la zona 2D definida por el usuario; y/o
    - establecer una cuadricula para proporcionar al usuario una funcionalidad de ajuste a la cuadricula cuando se establece la zona 2D definida por el usuario.
  4. 4. El sistema (100) de acuerdo con una cualquiera de las reivindicaciones 1-3, en el que el subsistema de interfaz de usuario (180) esta dispuesto para permitir al usuario especificar la cantidad deseada de reduccion de profundidad en la zona de pantalla, estableciendo de este modo el parametro de reduccion de profundidad (162).
  5. 5. El sistema (100) de acuerdo con la reivindicacion 1, en el que la entrada de senal (120) esta dispuesta para obtener metadatos indicativos de una zona 2D predefinida, y en el que el definidor de zona (140) esta dispuesto para definir la zona 2D basandose ademas en la zona 2D predefinida.
  6. 6. El sistema (100) de acuerdo con la reivindicacion 1, en el que el procesador de profundidad (160) esta dispuesto para establecer una transicion gradual entre los valores de senal ajustados dentro de la zona auxiliar 2D y los valores de senal no ajustados fuera de la zona auxiliar 2D.
  7. 7. El sistema (100) de acuerdo con la reivindicacion 6, en el que la transicion gradual es, sustancialmente, una transicion lineal de primer orden o una transicion no lineal de segundo orden.
  8. 8. Dispositivo de pantalla 3D que comprende el sistema de acuerdo con una cualquiera de las reivindicaciones anteriores.
  9. 9. Metodo (300) para procesar una senal de imagen tridimensional [3D], comprendiendo la senal de imagen 3D una senal de imagen bidimensional [2D] y una senal auxiliar 2D, siendo la senal auxiliar 2D una senal relacionada con la profundidad 2D para permitir la reproduccion en 3D de la senal de imagen 2D en una pantalla 3D, comprendiendo el metodo:
    - obtener (310) la senal de imagen 2D y la senal auxiliar 2D;
    - permitir a un usuario establecer una zona 2D definida por el usuario en la senal de imagen 2D, comprendiendo la zona 2D definida por el usuario una superposicion;
    - definir (320), basandose en la zona 2D definida por el usuario, una zona auxiliar 2D en la senal auxiliar 2D,
    10
    correspondiendo la senal auxiliar 2D a una zona de pantalla en un plano de pantalla de la pantalla 3D cuando se reproduce en 3D la senal de imagen 2D usando la senal auxiliar 2D;
    - obtener (330) un parametro de reduccion de profundidad, representando el parametro de reduccion de profundidad una cantidad deseada de reduccion de profundidad en la zona de pantalla hacia una profundidad de pantalla neutra 3D cuando se reproduce en 3D la senal de imagen 2D en la pantalla 3D; y
    - derivar (340) un valor de ganancia a partir del parametro de reduccion de profundidad para permitir el establecimiento de la reduccion de profundidad en la zona de pantalla hacia la profundidad de pantalla neutra al
    - restar una desviacion correspondiente a la profundidad de pantalla neutra de los valores de senal de la senal auxiliar 2D dentro de la zona 2D, aplicando el valor de ganancia como un factor de multiplicacion, y volver a sumar la desviacion.
  10. 10. Producto de programa informatico (360) que comprende instrucciones para hacer que un sistema de procesador realice el metodo (300) de acuerdo con la reivindicacion 9.
ES13774158.3T 2012-10-11 2013-10-08 Ajuste de profundidad de una superposición de imagen en una imagen 3D Active ES2597252T3 (es)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
NL2009616A NL2009616C2 (en) 2012-10-11 2012-10-11 Adjusting depth in a three-dimensional image signal.
NL2009616 2012-10-11
PCT/EP2013/070926 WO2014056899A1 (en) 2012-10-11 2013-10-08 Depth adjustment of an image overlay in a 3d image

Publications (1)

Publication Number Publication Date
ES2597252T3 true ES2597252T3 (es) 2017-01-17

Family

ID=47388672

Family Applications (1)

Application Number Title Priority Date Filing Date
ES13774158.3T Active ES2597252T3 (es) 2012-10-11 2013-10-08 Ajuste de profundidad de una superposición de imagen en una imagen 3D

Country Status (13)

Country Link
US (1) US20150249817A1 (es)
EP (1) EP2907305B1 (es)
JP (1) JP2016500947A (es)
KR (1) KR102128437B1 (es)
CN (1) CN104737535B (es)
BR (1) BR112015007473A2 (es)
CA (1) CA2887477A1 (es)
ES (1) ES2597252T3 (es)
IL (1) IL237767B (es)
NL (1) NL2009616C2 (es)
RU (1) RU2649959C2 (es)
TW (1) TWI581210B (es)
WO (1) WO2014056899A1 (es)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10311633B2 (en) 2014-01-17 2019-06-04 Nokia Technologies Oy Method and apparatus for visualization of geo-located media contents in 3D rendering applications
US10334221B2 (en) * 2014-09-15 2019-06-25 Mantisvision Ltd. Methods circuits devices systems and associated computer executable code for rendering a hybrid image frame
EP3357238A4 (en) 2015-10-06 2018-10-10 Blinxel Pty Ltd. Volumetric depth video recording and playback
GB2553782B (en) * 2016-09-12 2021-10-20 Niantic Inc Predicting depth from image data using a statistical model
US10152815B2 (en) 2017-01-17 2018-12-11 Opentv, Inc. Overlay emphasis modification in augmented reality displays
US10235788B2 (en) * 2017-01-17 2019-03-19 Opentv, Inc. Overlay contrast control in augmented reality displays
KR102201763B1 (ko) 2018-10-02 2021-01-12 엘지전자 주식회사 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
WO2021237065A1 (en) 2020-05-21 2021-11-25 Looking Glass Factory, Inc. System and method for holographic image display
WO2021262860A1 (en) 2020-06-23 2021-12-30 Looking Glass Factory, Inc. System and method for holographic communication
US11388388B2 (en) 2020-12-01 2022-07-12 Looking Glass Factory, Inc. System and method for processing three dimensional images
CN114615487B (zh) * 2022-02-22 2023-04-25 聚好看科技股份有限公司 一种三维模型的显示方法及设备
EP4373079A1 (en) 2022-11-21 2024-05-22 Leica Instruments (Singapore) Pte Ltd System, method, and computer program for an optical imaging system and corresponding optical imaging system

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8623490D0 (en) 1986-09-30 1986-11-05 Bass M L Display means for stereoscopic images
AUPQ363299A0 (en) * 1999-10-25 1999-11-18 Silverbrook Research Pty Ltd Paper based information inter face
US8330801B2 (en) * 2006-12-22 2012-12-11 Qualcomm Incorporated Complexity-adaptive 2D-to-3D video sequence conversion
EP3454549B1 (en) * 2008-07-25 2022-07-13 Koninklijke Philips N.V. 3d display handling of subtitles
KR20110059790A (ko) * 2008-09-25 2011-06-03 코닌클리케 필립스 일렉트로닉스 엔.브이. ３차원 이미지 데이터 처리
CN101841727B (zh) * 2009-12-30 2011-12-07 福州华映视讯有限公司 影像处理方法
MX2012008461A (es) * 2010-01-21 2012-08-15 Gen Instrument Corp Superposicion de graficos de video estereoscopico.
JP5505637B2 (ja) * 2010-06-24 2014-05-28 ソニー株式会社 立体表示装置および立体表示装置の表示方法
EP2418857A1 (en) * 2010-08-12 2012-02-15 Thomson Licensing Stereoscopic menu control
KR20120023431A (ko) * 2010-09-03 2012-03-13 삼성전자주식회사 깊이 조정이 가능한 2차원/3차원 영상 변환 방법 및 그 장치
KR101732135B1 (ko) * 2010-11-05 2017-05-11 삼성전자주식회사 3차원 영상통신장치 및 3차원 영상통신장치의 영상처리방법
KR101315398B1 (ko) * 2010-12-28 2013-10-07 주식회사 팬택 3차원 증강 현실 표시 장치 및 방법

Also Published As

Publication number Publication date
JP2016500947A (ja) 2016-01-14
EP2907305A1 (en) 2015-08-19
EP2907305B1 (en) 2016-08-17
CA2887477A1 (en) 2014-04-17
IL237767B (en) 2018-02-28
RU2015117528A (ru) 2016-12-10
BR112015007473A2 (pt) 2017-07-04
NL2009616C2 (en) 2014-04-14
KR20150070262A (ko) 2015-06-24
KR102128437B1 (ko) 2020-07-01
US20150249817A1 (en) 2015-09-03
TW201417039A (zh) 2014-05-01
CN104737535A (zh) 2015-06-24
RU2649959C2 (ru) 2018-04-05
WO2014056899A1 (en) 2014-04-17
CN104737535B (zh) 2017-02-22
TWI581210B (zh) 2017-05-01

Similar Documents

Publication Publication Date Title
ES2597252T3 (es) Ajuste de profundidad de una superposición de imagen en una imagen 3D
CN109495734B (zh) 用于自动立体三维显示器的图像处理方法和设备
US7440004B2 (en) 3-D imaging arrangements
KR102121389B1 (ko) 무안경 3d 디스플레이 장치 및 그 제어 방법
JP2007156390A (ja) ２次元及び３次元映像選択可能ディスプレイ装置
US20160044305A1 (en) Multiview image display apparatus and control method thereof
KR20150055322A (ko) 다시점 영상 디스플레이 장치 및 그 다시점 영상 디스플레이 방법
KR20150121386A (ko) 입체 영상 표시 장치 및 영상 처리 방법
US20140104268A1 (en) Method and apparatus for correcting stereoscopic display edge violations
JP2010171628A (ja) 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
KR20130123526A (ko) 입체 영상 디스플레이 장치 및 입체 영상 디스플레이 방법
WO2019131160A1 (ja) 情報処理装置、情報処理方法、および記録媒体
US20140268324A1 (en) Method of displaying 3d images from 2d source images using a barrier grid
JP6377155B2 (ja) 多視点映像処理装置及びその映像処理方法
TWI497117B (zh) Naked stereoscopic display
US8994791B2 (en) Apparatus and method for displaying three-dimensional images
JP2007072269A (ja) 立体表示装置
KR101980275B1 (ko) 다시점 영상 디스플레이 장치 및 디스플레이 방법
US11496724B2 (en) Overscan for 3D display
JP2011128235A (ja) 表示装置および表示方法
KR20130123693A (ko) 무안경 입체영상 처리 장치
KR20090027836A (ko) 가변형 다시점 입체 카메라 시스템
KR20120071296A (ko) 원통형 입체영상 표시 장치 및 그 방법
KR20180038264A (ko) 무안경 3d 디스플레이 장치