ES2692444T3 - Gestión de visualización para vídeo de alto rango dinámico - Google Patents

Gestión de visualización para vídeo de alto rango dinámico Download PDF

Info

Publication number
ES2692444T3
ES2692444T3 ES16706272.8T ES16706272T ES2692444T3 ES 2692444 T3 ES2692444 T3 ES 2692444T3 ES 16706272 T ES16706272 T ES 16706272T ES 2692444 T3 ES2692444 T3 ES 2692444T3
Authority
ES
Spain
Prior art keywords
output image
pixel values
image
function
intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES16706272.8T
Other languages
English (en)
Inventor
Robin Atkins
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Application granted granted Critical
Publication of ES2692444T3 publication Critical patent/ES2692444T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6058Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6002Corrections within particular colour systems
    • H04N1/6005Corrections within particular colour systems with luminance or chrominance signals, e.g. LC1C2, HSL or YUV
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/643Hue control means, e.g. flesh tone control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0673Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/06Colour space transformation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

Un procedimiento que comprende: acceder a una imagen de entrada (102) en un primer espacio de color con un primer rango dinámico; aplicar una etapa de transformación de color (110) a la imagen de entrada (102) para determinar una primera imagen de salida (112) en un espacio de color IPT cuantificado perceptualmente (IPT-PQ), comprendiendo la primera imagen de salida (112) valores de píxel de intensidad (302) y valores de píxel de componentes de croma (304), en el que la etapa de transformación de color (110) comprende aplicar una función de cuantificador perceptual no lineal a una función de la imagen de entrada (102); aplicar una función de mapeo de volumen de color (115) a la primera imagen de salida (112) para generar una imagen de salida con tonos mapeados, comprendiendo la imagen de salida con tonos mapeados valores de píxel de intensidad (314) y valores de píxel de componentes de croma (327), en el que la función de mapeo de volumen de color (115) comprende una función de mapeo de tono (310), una función de mapeo de saturación (320) y una función de estimación de saturación de píxel (330), en el que la función de mapeo de tono (310) genera los valores de píxel de intensidad (314) de la imagen de salida con tonos mapeados aplicando un mapeo no lineal a los valores de píxel de intensidad (302) de la primera imagen de salida (112), en el que la función de mapeo de saturación (320) genera los valores de píxel de componentes de croma (327) de la imagen de salida con tonos mapeados ajustando los valores de píxel de componentes de croma (304) de la primera imagen de salida (112) basándose en cambios en la intensidad, en el que la función de estimación de saturación de píxel (330) calcula una métrica de saturación (S) como la suma de cuadrados de los valores de píxel de componentes de croma (304) de la primera imagen de salida (112), en el que la métrica de saturación se aplica a la imagen de salida con tonos mapeados para oscurecer los colores brillantes saturados y para desaturar los colores muy saturados, modificando así los valores de píxel de intensidad (314) y los valores de píxel de componentes de croma (327); y aplicar una función de conservación de detalles (125) a los valores de píxel de intensidad modificados (314) de la imagen de salida con tonos mapeados para generar valores de píxel de intensidad (127) de una imagen de salida con tonos mapeados filtrada, comprendiendo la imagen de salida con tonos mapeados filtrada los valores de píxel de componentes de croma modificados (327) de la imagen de salida con tonos mapeados, y en el que la imagen de salida con tonos mapeados filtrada tiene un rango dinámico que es menor que el de la imagen de entrada (102).

Description

5
10
15
20
25
30
35
40
45
50
55
60
65
DESCRIPCION
Gestion de visualizacion para video de alto rango dinamico Tecnologia
La presente invencion se refiere en general a imagenes. Mas particularmente, una forma de realizacion de la presente invencion se refiere al proceso de gestion de visualizacion de imagenes con alto rango dinamico o rango dinamico mejorado.
Antecedentes
Como se utiliza en el presente documento, el termino ’rango dinamico’ (DR) puede referirse a la capacidad del sistema visual humano (HVS) para percibir un rango de intensidad (por ejemplo, luminancia, luma) en una imagen, por ejemplo, desde los oscuros mas oscuros (negros) hasta los brillos mas brillantes (blancos). En este sentido, DR se refiere a una intensidad ’referida a la escena’. DR tambien se puede referir a la capacidad de un dispositivo de visualizacion para generar de manera adecuada o aproximada un rango de intensidad de una amplitud particular. En este sentido, DR se refiere a una intensidad ’referida a la visualizacion’. A menos que de manera explicita se especifique que un sentido particular tiene un significado particular en cualquier punto en la descripcion en el presente documento, debe deducirse que el termino puede utilizarse en cualquier sentido, por ejemplo, de manera intercambiable.
Como se utiliza en el presente documento, el termino alto rango dinamico (HDR) se refiere a una amplitud de DR que se extiende por los 14-15 ordenes de magnitud del sistema visual humano (HVS). En la practica, el DR por el cual un ser humano puede percibir simultaneamente una amplitud extensa en el rango de intensidad puede estar algo truncado, en relacion con HDR. Como se utiliza en el presente documento, los terminos rango dinamico mejorado (EDR) o rango dinamico visual (VDR) pueden referirse de manera individual o intercambiable al DR que puede percibirse simultaneamente por el sistema visual humano (HVS). Como se utiliza en el presente documento, EDR puede referirse a un DR que se extiende de 5 a 6 ordenes de magnitud. Por tanto, aunque quizas sea algo mas estrecho en relacion con el HDR referido a un escenario real, no obstante el EDR representa una gran amplitud de DR y tambien puede denominarse HDR.
En la practica, las imagenes comprenden una o varias componentes de color (por ejemplo, luma Y y croma Cb y Cr) estando representada cada componente de color por una precision de n bits por pixel (por ejemplo, n=8). Utilizando codificacion de luminancia lineal, las imagenes en las que n < 8 (por ejemplo, imagenes JPEG a color de 24 bits) se consideran imagenes de rango dinamico convencional, mientras que las imagenes en las que n > 8 pueden considerarse imagenes de rango dinamico mejorado. Las imagenes de EDR y HDR tambien pueden guardarse y distribuirse utilizando formatos de punto flotante de alta precision (por ejemplo, 16 bits), tales como el formato de archivo OpenEXR desarrollado por Industrial Light and Magic.
La mayor parte de pantallas de escritorio de consumidor soportan una luminancia de 200 a 300 cd/m2 o nits. La mayor parte de televisiones de alta definicion (HDTV) de consumidor oscilan entre 300 y 1000 cd/m2. Por tanto, estas pantallas convencionales tipifican un bajo rango dinamico (LDR), tambien denominado rango dinamico convencional (SDR), en relacion con HDR o EDR. Como la disponibilidad de contenido EDR aumenta debido a los avances tanto en el equipo de captura (por ejemplo, camaras) como en las pantallas EDR (por ejemplo, el monitor de referencia profesional PRM-4200 de Dolby Laboratories), el contenido EDR puede tener una graduacion de colores y visualizarse en pantallas EDR que soportan rangos dinamicos mas altos (por ejemplo, de 1.000 nits a 5.000 nits o mas). En general, los procedimientos de la presente divulgacion se refieren a cualquier rango dinamico superior a SDR. Como aprecian los inventores en este caso, son deseables tecnicas mejoradas para la gestion de visualizacion de imagenes de alto rango dinamico sobre pantallas HDR y SDR tanto para retrocompatibilidad como para una experiencia de inmersion superior.
Como se utiliza en el presente documento, el termino “gestion de visualizacion” indica el procesamiento (por ejemplo, mapeo de tono y gama) requerido para mapear una senal de video de entrada de un primer rango dinamico (por ejemplo, 1000 nits) a una visualizacion de un segundo rango dinamico (por ejemplo, 500 nits).
Los enfoques descritos en esta seccion son enfoques que podrian buscarse, pero no necesariamente enfoques que se hayan concebido o buscado anteriormente. Por tanto, a menos que se indique de otro modo, no debe suponerse que ninguno de los enfoques descritos en esta seccion se califica como estado de la tecnica simplemente por su inclusion en esta seccion. De manera similar, no debe suponerse que los aspectos identificados con respecto a uno o varios enfoques se han reconocido en ningun estado de la tecnica basandose en esta seccion, a menos que se indique de otro modo.
Breve descripcion de los dibujos
5
10
15
20
25
30
35
40
45
50
55
60
65
Una forma de realizacion de la presente invencion se ilustra a modo de ejemplo, y no en forma de limitacion, en las figuras de los dibujos adjuntos y en los que numeros de referencia similares se refieren a elementos similares y en los que:
la figura 1 representa un proceso de ejemplo para la gestion de visualizacion de imagenes de EDR segun una forma de realizacion de la presente invencion;
la figura 2 representa un proceso de ejemplo para convertir datos EDR de entrada de un espacio de color de entrada en un espacio cuantificado perceptualmente segun una forma de realizacion de la presente invencion;
la figura 3 representa un proceso de ejemplo para mapeo de volumen de color para imagenes de EDR segun una forma de realizacion de la presente invencion;
la figura 4 representa un proceso de ejemplo para la conservacion de detalles segun una forma de realizacion de la presente invencion; y
la figura 5 representa un proceso de ejemplo para la conversion de color de salida segun una forma de realizacion de la presente invencion.
Descripcion de formas de realizacion de ejemplo
En el presente documento se describe la gestion de visualizacion eficaz (por ejemplo, mapeo de tono y gama) de imagenes de rango dinamico mejorado (EDR). En la siguiente descripcion, a efectos explicativos, se exponen numerosos detalles especificos con el fin de proporcionar una comprension profunda de la presente invencion. Sin embargo, resultara evidente que la presente invencion puede ponerse en practica sin estos detalles especificos. En otros casos, no se describen en detalle las estructuras y dispositivos bien conocidos con el fin de evitar innecesariamente interferir en, complicar o confundir la presente invencion.
Sumario
Las formas de realizacion a modo de ejemplo descritas en el presente documento se refieren a la gestion de visualizacion eficaz de imagenes de EDR. Un procesador de gestion de visualizacion recibe una imagen de entrada con rango dinamico mejorado para su visualizacion en una visualizacion objetivo que tiene un rango dinamico diferente en comparacion con una pantalla de referencia de origen. La imagen de entrada se transforma en primer lugar de un espacio de color de entrada (por ejemplo, RGB o YCbCr) en un espacio de color cuantificado perceptualmente (PQ), preferiblemente el espacio de color IPT-PQ. Una funcion de mapeo de volumen de color, que incluye una funcion de mapeo de tono adaptativa y una funcion de mapeo de gama de color adaptativa, genera una primera imagen mapeada. Se aplica una etapa de conservacion de detalles a la componente de intensidad de la primera imagen mapeada para generar una imagen mapeada final con una imagen de intensidad con tonos mapeados filtrada. A continuacion se convierte la imagen mapeada final de vuelta al espacio de color preferido de la pantalla. Se proporcionan ejemplos de las funciones de mapeo de tono y mapeo de gama adaptativas.
Flujo de procesamiento de gestion de visualizacion de ejemplo
La figura 1 representa un proceso de ejemplo para la gestion de visualizacion de imagenes de EDR (que tambien pueden denominarse imagenes de HDR) segun una forma de realizacion de la presente invencion. Este proceso comparte muchas similitudes con el proceso de gestion de visualizacion descrito en la solicitud PCT con n.° de serie PCT/US2014/016304, que en adelante se denominara solicitud ’304, presentada el 13 de febrero de 2014; sin embargo, las formas de realizacion propuestas incluyen multiples mejoras que permiten una complejidad computacional reducida mejorando al mismo tiempo la calidad de imagen global.
Como se representa en la figura 1, un procesador de video (por ejemplo, un servidor multimedia, un decodificador de television, una pantalla de imagenes, u otro procesador de imagenes adecuado) recibe una entrada EDR Vi (102) y opcionalmente metadatos de origen y contenido asociados (104) y metadatos objetivo (106). La entrada EDR (102) puede comprender parte de un fotograma o un fotograma completo de una secuencia de imagenes, tal como una senal de video EDR. Como se utiliza en el presente documento, el termino “metadatos” se refiere a cualquier informacion auxiliar que se transmite como parte del flujo de bits codificado y ayuda a un decodificador a generar una imagen decodificada. Tales metadatos pueden incluir, pero no se limitan a, informacion de gama o espacio de color, parametros de visualizacion de referencia y parametros de senales auxiliares, como los que se describen en el presente documento.
La entrada EDR recibida (102) puede estar en formato de color RGB o cualquier otro espacio de color, tal como YCbCr, XYZ, y similar. La imagen recibida puede haberse sometido a graduacion de colores en un monitor EDR de referencia que puede tener diferentes caracteristicas de gama de color y rango dinamico en comparacion con un monitor de visualizacion objetivo. Como se utiliza en el presente documento, el termino “graduacion de colores”
5
10
15
20
25
30
35
40
45
50
55
60
65
indica el proceso de ajustar el color de una imagen o video para corregir alteraciones de color y/o coincidir con la intencion del director.
La entrada EDR (102) tambien puede incluir metadatos de visualizacion de origen (104) relacionados con la pantalla utilizada para realizar una graduacion de colores de la imagen durante la produccion del programa. Por ejemplo, estos metadatos pueden incluir la funcion de transferencia electrooptica de referencia (EOTF) (por ejemplo, Rec. ITU-R BT.1866 (03/2011) o SMPTE ST 2084:2014). La entrada EDR tambien puede incluir metadatos de visualizacion y contenido de origen adicionales (104), tales como el brillo maximo y minimo de la pantalla de origen o referencia, el tono maximo, minimo y tono medio promedio de los datos y la intensidad de la luz ambiente durante la graduacion de colores. Por ejemplo, los metadatos para un monitor de referencia pueden incluir los siguientes parametros de ejemplo utilizados en produccion:
brillo minimo de monitor de origen, Smin= 0,005 nits;
brillo maximo de monitor de origen, Smax = 4000 nits;
Luz ambiente, Samb = 10 nits;
Gamma, Sgamma = 2,4;
Espacio de color = DCI P3, Punto blanco = D65;
Los metadatos para el monitor de referencia tienen que transmitirse normalmente solo una vez; sin embargo, los metadatos para los datos de video pueden transmitirse por cada fotograma, por cada escena o siempre que haya un cambio. Si no hay metadatos relacionados con el contenido de origen, entonces en algunas formas de realizacion tales datos pueden extraerse analizando el contenido de video de origen. Los metadatos objetivo (106) se suministran mediante la visualizacion objetivo y pueden describir las caracteristicas de visualizacion objetivo (por ejemplo, brillo maximo, gama de colores, y similares).
El espacio de color IPT-PQ
El flujo de procesamiento (100) se realiza en lo que se denomina el espacio de color IPT cuantificado perceptualmente o IPT-PQ. Como se aprecia por el inventor, la operacion en el espacio de color IPT-PQ ofrece una serie de ventajas, tales como: llevar a cabo el flujo de gestion de visualizacion en un punto fijo y a una profundidad de bits menor y reducir las alteraciones de color debido a las operaciones de mapeo de tono y mapeo de gama. IPT, tal como se describe en “Development and testing of a color space (ipt) with improved hue uniformity”, de F. Ebner y M.D. Fairchild, en Proc. 6th Color Imaging Conference: Color Science, Systems, and Applications, IS&T, Scottsdale, Arizona, noviembre de 1998, pags. 8-13 (al que se hara referencia como articulo de Ebner), es un modelo de la diferencia de color entre conos en el sistema visual humano. En este sentido es como los espacios de color YCbCr o CIE-Lab; sin embargo, se ha demostrado en algunos estudios cientificos que imitan mejor el procesamiento visual humano que estos espacios. Como CIE-Lab, IPT es un espacio normalizado con respecto a cierta luminancia de referencia. En una forma de realizacion, la normalizacion se basa en la luminancia maxima de la visualizacion objetivo.
El termino “PQ” como se utiliza en el presente documento se refiere a cuantificacion perceptual. El sistema visual humano responde a niveles de luz crecientes de una manera muy no lineal. La capacidad del ser humano para ver un estimulo se ve afectada por la luminancia de ese estimulo, el tamano del estimulo, la(s) frecuencia(s) espacial(es) que constituye(n) el estimulo, y el nivel de luminancia al que se han adaptado los ojos en el momento particular en el que se visualiza el estimulo. En una forma de realizacion preferida, una funcion de cuantificador perceptual mapea niveles de gris de entrada lineales a niveles de gris de salida que coinciden mejor con los umbrales de sensibilidad al contraste en el sistema visual humano. Ejemplos de funciones de mapeo de PQ se describen en la solicitud PCT con numero de serie PCT/US2012/068212 (a la que se hara referencia como solicitud ’212) titulada “Perceptual luminance nonlinearity-based image data exchange across different display capabilities”, de J. S. Miller et al., presentada el 6 de diciembre de 2012, en la que dado un tamano de estimulo fijo, para cada nivel de luminancia (es decir, el nivel de estimulo), se selecciona una etapa de contraste visible minimo a ese nivel de luminancia segun el nivel de adaptacion mas sensible y la frecuencia espacial mas sensible (segun los modelos HVS). Comparado con la curva gamma tradicional, que representa la curva de respuesta de un dispositivo de tubos de rayos catodicos (CRT) fisico y de manera coincidente puede tener una similitud muy aproximada con la manera en que responde el sistema visual humano, una curva PQ, como se determina mediante la solicitud ’212, imita la respuesta visual verdadera del sistema visual humano utilizando un modelo funcional relativamente simple.
Un ejemplo de una EOTF basada en una curva PQ se define en SMPTE ST 2084:2014 “High Dynamic Range EOTF of Mastering Reference Displays”. Otro ejemplo de una EOTF cuantificada perceptualmente se presenta en “Chromaticity based color signals for wide color gamut and high dynamic range”, de J. Stessen et al., ISO/IEC JTC1/SC29/WG11 MPEG2014/M35065, octubre de 2014.
5
10
15
20
25
30
35
40
La tabla 1 describe el calculo de la curva perceptual EOTF para convertir valores de codigo de video digital en niveles de luminancia lineal absoluta en un punto de visualizacion. Tambien se incluye el calculo de la EOTF inversa (OETF) para convertir la luminancia lineal absoluta en valores de codigo digital
Tabla 1
Definiciones de ecuaciones a modo de ejemplo:
D = valor de codigo digital de curva perceptual, numero entero sin signo valido para SDI, 10 o 12 bits b = numero de bits por componente en representacion de senales digitales, 10 o 12
V = valor de senal de curva perceptual normalizada, 0 < V < 1
Y = valor de luminancia normalizada, 0 < Y < 1
L = valor de luminancia absoluta, 0 < L < 10.000 cd/m2 * Ecuaciones de decodificacion de EOTF a modo de ejemplo:
imagen1
Ecuaciones de codificacion de EOTF inversa a modo de ejemplo:
imagen2
D = INT( 1015 ■ V ■ 2b~10) + 4 ■ 2b~10
Constantes a modo de ejemplo:
2610 1
n =
4096 4
2523
x —« 0,
m
4096
Ci = c3-c2 + l
c2 =
2413
4096
15930176
x 128 = 78,84375
= 0,8359375
x 32 = 18,8515625
3424
4096
2392
c3 = —— X 32 = 18,6875 3 4096
Notas:
1. El operador INT devuelve el valor de 0 para partes fraccionarias en el intervalo de 0 a 0,4999... y +1 para partes fraccionarias en el intervalo de 0,5 a 0,9999..., es decir, redondea por exceso fracciones por encima de 0,5.
2. Todas las constantes se definen como multiplos exactos de racionales de 12 bits para evitar problemas de
redondeo.
5
10
15
20
25
30
35
40
45
50
55
60
3. Las componentes de senal R, G o B se calcularan de la misma manera que la componente de senal Y descrita anteriormente.
La figura 2 representa en mas detalle un proceso de ejemplo para la etapa de conversion de color (110), segun una forma de realizacion. Como se representa en la figura 2, dada la senal EDR de entrada Vi (102) que esta en un primer formato de color (por ejemplo, YCbCr 4:2:0 o RGB gamma 4:4:4), la etapa de transformacion de espacio de color (110) la convierte en la senal Vil (112) en el espacio de color IPT corregido perceptualmente (IPT-PQ). Esta transformacion de color puede comprender las etapas siguientes:
a) La etapa (215), en caso necesario, puede realizar el aumento de la tasa de muestreo de crominancia u otras operaciones de preprocesamiento (por ejemplo, ajustar a escala la entrada para que este dentro del intervalo (0, 1)) para generar la salida (217).
b) La senal EDR de entrada (102) puede someterse a codificacion gamma o codificacion PQ, lo que se senaliza normalmente utilizando metadatos de origen (104). La etapa (220) puede utilizar la EOTF (segun lo establecido por los metadatos (104)) para revertir o deshacer la conversion de la visualizacion de origen de los valores de codigo a la luminancia. Por ejemplo, si la senal de entrada se somete a codificacion gamma, entonces esta etapa aplica una funcion gamma inversa. Si la senal de entrada se somete a codificacion PQ (por ejemplo, segun SMPTE ST 2084), entonces esta etapa aplica una funcion PQ inversa. En la practica, la etapa de linealizacion (220) puede realizarse utilizando tres tablas de consulta (LUT) 1-D previamente calculadas.
c) La etapa (225) convierte la senal linealizada (222) en una senal (227) en el espacio de color LMS. Normalmente, esta etapa se realiza a) convirtiendo la entrada al espacio de color XYZ utilizando transformadas convencionales, y a continuacion aplicando una matriz de 3 x 3 para convertir la senal de XYZ a LMS.
d) (Etapa 230). Segun el articulo de Ebner, la conversion tradicional de espacio de color LMS a IPT comprende aplicar en primer lugar una funcion de potencia no lineal a los datos LMS y a continuacion aplicar una matriz de transformacion lineal. Aunque se puede transformar los datos de LMS a IPT y a continuacion aplicar la funcion PQ para estar en el dominio IPT-PQ, en una forma de realizacion preferida, en la etapa (230) la funcion de potencia tradicional para una codificacion no lineal de LMS a IPT se sustituye por la codificacion no lineal PQ. Por ejemplo, los valores L, M y S no lineales se calculan de la misma manera que la senal V en la ecuacion (t2), en la que la senal Y se sustituye por los valores de componente L, M o S lineales. En algunas formas de realizacion, puede utilizarse una version normalizada de codificacion PQ, en la que puede omitirse la etapa de la ecuacion (t3) y el intervalo de valores PQ de salida esta entre 0 y 1. En algunas formas de realizacion, tambien pueden aplicarse codificaciones PQ alternativas (por ejemplo, como la sugerida por Stessen).
e) Utilizando una transformada lineal 3 x 3 LMS a IPT convencional, la etapa (235) completa la conversion de la senal (102) al espacio de color IPT-PQ.
En algunas formas de realizacion, el flujo de transformacion de color completo (por ejemplo, 110) puede calcularse utilizando una LUT 3D. Ademas, en formas de realizacion en las que la senal de entrada ya esta en el espacio IPT- PQ, puede saltarse la conversion de espacio de color de entrada (110).
Mapeo de volumen de color
Despues de la etapa de transformacion de color (110), la intensidad (lo) y croma (P/T) de la senal Vil (112) tiene que mapearse para entrar dentro de las restricciones de la visualizacion objetivo. La figura 3 representa una implementacion de ejemplo de un proceso de mapeo de volumen de color (115) segun una forma de realizacion. La primera parte del proceso de mapeo de volumen de color (115) determina una cantidad para oscurecer los colores basandose tanto en su saturacion como en su intensidad. En una forma de realizacion, sin limitacion, puede calcularse una metrica de saturacion S como la suma del cuadrado de las componentes de croma, o
imagen3
La funcion de mapeo de tono (310) aplica un mapeo no lineal a la intensidad lo (302) de los datos de entrada Vil (112) para generar datos de intensidad con tonos mapeados lm (314) (por ejemplo, lm = fr(lo)). A. Ballestad et al., en la patente estadounidense 8.593.480 (a la que se hara referencia como patente ’480), titulada “Method and apparatus for image data transformation” describen una transformada de mapeo no lineal de ejemplo.
Segun la patente ’480, una funcion de transferencia de ejemplo para mapeo no lineal puede indicarse como
imagen4
5
10
15
20
25
30
35
40
45
donde Ci, C2 y C3 son constantes, Yen es el valor de entrada para un canal de color (por ejemplo, Io), Ysai es el valor de salida para el canal de color, y pendiente y cafda son parametros. Esta funcion de transferencia es un ejemplo de una funcion de curva de tono sigmoidea parametrizada. El exponente pendiente especifica el contraste deseado en el punto medio. Puede derivarse de la razon entre visualizaciones de origen y objetivo para permitir un contraste ligeramente superior para imagenes mas oscuras. El exponente cafda determina como de pronunciada es la cafda de la curva en la parte superior e inferior de la curva. Un valor menor da como resultado una cafda mas pronunciada. Los parametros Ci, C2 y C3 se determinan basandose en la definicion de tres puntos de anclaje, que a su vez se definen basandose en las caracteristicas de brillo de la visualizacion de referencia (o de origen), que normalmente se extraen de metadatos de entrada (104), y las caracteristicas de brillo de la visualizacion objetivo, que normalmente ya se conocen por el procesador que realiza el proceso de gestion de visualizacion a traves de metadatos objetivo (106).
El concepto clave en el mapeo de tono es conservar el aspecto de imagen global haciendo el menor cambio posible del contraste y la intensidad al punto medio. A continuacion se mapean suavemente las sombras y los reflejos en el rango de luminancia de la visualizacion objetivo. En una forma de realizacion de ejemplo, la etapa (310) puede calcular los parametros de curva de tono de la ecuacion (2) de la siguiente manera:
Tmfn y Tmax designaran el brillo minimo y maximo de la visualizacion objetivo, representada con la codificacion PQ. Smfn y Smax tambien designaran el brillo minimo y maximo de la visualizacion de origen, tambien con codificacion PQ, a continuacion, en una forma de realizacion, s2Trazon puede definirse como:
imagen5
S2Trazon = Smed - Tmed.
Dada S2Trazon, en una forma de realizacion,
S2TraZon
y
Pendiente— S2.T razon -|- 1
El valor de Desplazamiento indica el punto medio de la curva de mapeo, o la cantidad a oscurecer la imagen de entrada para adaptarla a las capacidades de la visualizacion objetivo. Sin perder la generalidad, en una forma de realizacion, se elige quedarse a mitad de camino entre los puntos medio de visualizacion de origen y objetivo para conservar parte de la intencion creativa del director para la imagen.
En una forma de realizacion, de manera subjetiva se ha determinado un valor de cafda = 1/3 para proporcionar una buena calidad de imagen para una amplia variedad de imagenes.
Dadas las ecuaciones (2-4), pueden derivarse los parametros Ci, C2 y C3 resolviendo el sistema de ecuaciones que determinan la curva de mapeo de tono que pasa a traves de los puntos de control minimo, maximo y medio.
[xlr x2, x3] = [Smin, Smeci, Smax] y± = max (Smin — Despiaz. Tmin) Y2 = Smed -Despiaz. y3 — mm(Smax —Despiaz., Tmax)
(cA
c
r
e = x3 v3 (A3 - x,) + x, yn (x3 — Xj) + Xj (x, - x3)
'*2*3(v2 - y3)
•v v;(y;-y ) *i*2(yi-y2f
*3.V3-*2.V2
*i.Vi-*3.V3 *2.V2-*i.Vi .v2
V *3 _ *2
Xj - x3 *2 “ *1 , ,-V3,
5
10
15
20
25
30
35
40
45
50
55
En algunas formas de realizacion, puede ser deseable una modificacion de la curva de tono descrita anteriormente, por ejemplo cuando se realiza un mapeo a un entorno de visualizacion mas brillante o mas oscuro. Esto puede alcanzarse a traves de dos parametros adicionales que pueden ajustarse de manera subjetiva: contraste y brillo. Dado el contraste y brillo, los parametros de desplazamiento y pendiente originales de la ecuacion (4) pueden ajustarse como
S2Traz6n , ,
Desplaz. =----------------------------\- brillo,
2
Pendiente = S2.T razon + 1 + contraste.
(6)
El control del brillo tiene el efecto de aumentar o disminuir de manera global el brillo de toda la imagen, aunque puede afectar solo al punto medio dependiendo del rango dinamico de la visualizacion objetivo. El control del contraste tiene el efecto de elevar o disminuir el contraste alrededor del punto medio, aunque puede disminuir el contraste en las sombras o reflejos dependiendo del rango dinamico de la visualizacion objetivo.
Los controles de brillo y contraste pueden modificarse para alcanzar dos propositos. En primer lugar pueden ajustarse con respecto a una visualizacion final con el fin de compensar un entorno de vision diferente. Esto se realiza a traves de una operacion de tipo PLUGE, en la que un usuario ajusta el brillo y/o contraste hasta que el detalle en negro y blanco es visible de manera subjetiva en una imagen. El segundo uso de estos parametros es como parte de los metadatos para ajustar de manera fina el mapeo por defecto para una foto particular con el fin de conseguir una impresion subjetiva particular.
Dado el parametro Ci, C2 y C3 anterior, en una forma de realizacion, la intensidad mapeada puede calcularse como:
imagen6
En la practica, el calculo de la imagen con tonos mapeados (314) se implementa normalmente utilizando una tabla de consulta.
Como se representa en la figura 3, el mapeo de volumen de color (115) incluye una funcion de mapeo de saturacion (320) que se utiliza para ajustar los valores de croma (P/T) (304) basandose en los cambios en la intensidad. A medida que se reduce la intensidad de colores, tambien se disminuye su saturacion para mantener su aspecto o equilibrio. En una forma de realizacion, el mapeo de saturacion (320) puede expresarse como
/sa?(7o) - tm-I0 + I- (8)
Las curvas de saturacion y el mapeo de tono se calculan para las capacidades de visualizacion de origen y objetivo especificadas, y opcionalmente, cualquier ajuste de usuario. Una vez calculadas, pueden aplicarse a cada pixel independientemente para mapear de un volumen de color de origen a un volumen de color objetivo. La parte principal del procedimiento es aplicar en primer lugar la curva de tono a la intensidad de entrada, y a continuacion ajustar a escala cada uno de los canales de croma mediante la curva de saturacion. Aplicando la misma escala a ambos canales de croma se conservan las tonalidades, que en IPT se definen por el angulo entre P y T. Por tanto, en una forma de realizacion,
An = /t(Aj)>
Pm=fsM0o)*P, (9)
Tm = fsiviOo) * T •
Esto produce en general buenos resultados para colores que terminan dentro del volumen de color de la visualizacion objetivo. Sin embargo, no tiene en cuenta el hecho de que la visualizacion objetivo puede no ser capaz de producir colores brillantes, saturados. En ese caso, como se aprecia por el inventor, puede ser necesario algun ajuste de croma adicional.
Despues del mapeo de volumen de color, cualquier color que quede fuera del volumen de color de visualizacion objetivo se recortara en el espacio RGB, lo que puede introducir alteraciones. Para reducir los colores que quedan fuera, una forma de realizacion proporciona dos medios para mapear adicionalmente colores con el volumen de color de visualizacion objetivo. El primero es oscurecer los colores brillantes, saturados, y el segundo es desaturar los colores muy saturados. A continuacion puede modificarse el procedimiento de mapeo de volumen de color de la ecuacion (9) como se muestra a continuacion
5
10
15
20
25
30
35
40
45
S = P2+T2,
Im = fTQo)*a-S*a),
Pm=P*fsMVo)*V-S*P),
(10)
Tm = T*fSM(I0)*(l-S*P),
donde a y p son pesos, normalmente recibidos a traves de los metadatos.
En la ecuacion (10), en primer lugar se calcula la saturacion de pixel S y se utiliza como mascara para el mapeo de gama adaptativo. Esto garantiza que los colores casi neutros no se vean afectados mientras que los colores muy saturados son los mas afectados. La intensidad de colores se ajusta segun su saturacion e intensidad por una cantidad a. Del mismo modo, la saturacion se ajusta segun la saturacion y otra cantidad p. Especificando los pesos entre estos dos indicadores es posible controlar la estrategia de mapeo de volumen de color para mejorar la precision del color y reducir las alteraciones de color en la imagen de salida. El mayor ajuste se aplica a los colores brillantes, saturados. En una forma de realizacion, los valores tipicos de estos pesos oscilan entre 5 y 15. En una forma de realizacion, la ecuacion (10) tambien puede incluir operaciones de recorte de modo que los valores de (1 - S * a) y (1 - S * b) nunca sean negativos o cero.
En otra forma de realizacion, las ecuaciones (10) pueden generalizarse como
An = /r(A) * frs (S) >
Pm = P * /smOo) * fss(S),
(10a)
An = T * /sm(A>) * /ssGAA
donde frs(S) y fss(S) indican funciones lineales o no lineales muy generales de S. Por ejemplo, para frs(S) = (1 - S *
a) y fss(S) = (1 - S * b), la ecuacion (10a) se convierte en la ecuacion (10). Las ecuaciones (10a), a su vez, tambien pueden generalizarse adicionalmente en cuanto a funciones de mapeo conjunto como
An /r; (A>< »
Pm = P * fsjQo>S)’
(10b)
Tm = T.fSJ(l0,S).
La ventaja de las ecuaciones (10) y (10a) frente al enfoque generalizado de (10b) es que los mapeos se expresan como ecuaciones separables, lo que simplifica los requisitos de procesamiento.
Conservacion de detalles
El operador de mapeo de tono de la ecuacion (4) se denomina normalmente operador de mapeo de tono global puesto que se aplica la misma ecuacion a toda una imagen o fotograma. El mapeo de tono global va seguido de un operador de conservacion de detalles (125) que mejora el contraste local. Esta etapa tambien restablece el detalle de alta frecuencia en el canal de intensidad, perdido debido a la operacion de mapeo de tono. Ejemplos de operadores de mapeo de tono local se describen en la patente ’480 y en la solicitud ’304. La figura 4 representa otro ejemplo de conservacion de detalles segun una forma de realizacion. Dadas las entradas Io (302), Im (314) y los metadatos de origen (104), el proceso (125) genera una imagen de intensidad filtrada Imf (127) segun las etapas siguientes.
Wmse y Wms designaran pesos ajustables (por ejemplo, Wms = 1, Wmse = 4), que pueden extraerse de los metadatos de origen. Estos pesos controlan la cantidad de conservacion de detalles a aplicar. Como se representa en la figura 4,
D A> An>
(ID
5
10
15
20
25
30
35
40
45
50
55
B = F(D,H)
(12)
donde F(D,H) indica aplicar a una imagen D un filtro con nucleo H. En un forma de realizacion de ejemplo, H comprende un filtro gaussiano 5 x 11 separable con o=2; sin embargo, tambien pueden aplicarse filtros alternativos.
Los filtros Hx y Hy son filtros de deteccion de bordes 1-D. En una forma de realizacion, los nucleos de filtro para Hx y Hy corresponden a [-1 0 1] y [-1 0 1]T, respectivamente. Por tanto, dado
Ex = F(B,Hx),
Ey = F(B,Hy),
(13)
E = (\Ex\ + \Ey\) * WMSE + (1 - WMS).
En alguna forma de realizacion, tambien puede aplicarse una funcion de restriccion (420) a E para garantizar que su valor siempre oscile entre 0 y 1. Por ejemplo,
E = max(0, mfn(l, QEx\ + \Ey\) * WMSE + (1 - WMS)))
Entonces
Imf=I0-B-E*(D-B) .
(14)
Conversion de color de salida
La figura 5 representa un ejemplo de un proceso de conversion de color (135) para convertir la senal EDR mapeada Vm (que comprende las componentes Im, Pm, Tm o Imf, Pm, Tm) del espacio de color cuantificado perceptualmente (por ejemplo, IPT-PQ) de vuelta a un espacio de color deseado (por ejemplo, RGB o YCbCr). Este proceso reproduce las etapas de procesamiento en el convertidor de color de entrada (110), realizadas ahora en orden inverso. Como se representa en la figura 5, la conversion de color puede incluir las etapas siguientes:
a) Etapa (505): convertir la senal mapeada Vm del espacio IPT-PQ al espacio LMS-PQ utilizando una transformacion IPT a LMS 3 x 3.
b) Etapa (510): convertir la senal LMS-PQ (507) del espacio LMS-PQ al espacio LMS. Esta etapa se calcula utilizando las ecuaciones de la tabla 1. En una forma de realizacion, esta etapa puede realizarse utilizando tres LUT 1-D.
c) Etapa (515): convertir la senal LMS (512) al color de visualizacion objetivo (por ejemplo, RGB) (517), realizado normalmente utilizando una matriz de 3 x 3 basandose en el perfil de la visualizacion objetivo.
d) Etapa (520): aplicar la EOTF de la visualizacion (por ejemplo, codificacion gamma o PQ) a la senal (517) para generar la senal de salida (522).
e) Etapa (525): en caso necesario, aplicar un posprocesamiento adicional (por ejemplo, conversion de color y submuestreo de color).
Esta etapa es puramente colorimetrica, lo que significa que los parametros se derivan de mediciones o especificaciones de visualizacion conocidas, y normalmente no es necesario un ajuste o modificacion subjetiva. Despues de la fase (520) puede haber algunos valores restantes fuera de las capacidades de visualizacion objetivo. En este caso la practica recomendada es recortar en funcion de las capacidades de visualizacion; sin embargo, tambien se puede intentar ajustar los pesos de mapeo de volumen de color (por ejemplo, a y b) para conseguir la salida deseada.
Como se aprecia por el inventor, el flujo de gestion de visualizacion propuesto (100) ofrece una serie de diferentes ventajas sobre las soluciones anteriores, que incluyen:
• Mapeo de tono adaptativo
5
10
15
20
25
30
35
40
45
50
55
• Mapeo de gama adaptativo
• Mejor precision de color de salida debido a pesos ajustables relacionados con el croma
• Conservacion de detalles computacionalmente mas simple, pero mejorada
• Ajustes adaptativos (por ejemplo, para brillo y contraste) basandose en el entorno de vision de visualizacion objetivo (tal como caracteristicas de luz ambiente o preferencias del observador).
Implementacion del sistema informatico de ejemplo
Las formas de realizacion de la presente invencion pueden implementarse con un sistema informatico, sistemas configurados en un conjunto de circuitos y componentes electronicos, un dispositivo de circuito integrado (IC) tal como un microcontrolador, una disposicion de puertas programables en campo (FPGA), u otro dispositivo logico configurable o programable (PLD), un procesador de senales digitales (DSP) o de tiempo discreto, un IC de aplicacion especifica (ASIC), y/o aparato que incluya uno o varios de estos sistemas, dispositivos o componentes. El ordenador y/o IC puede realizar, controlar o ejecutar instrucciones relativas a la gestion de visualizacion y visualizacion de imagenes con rango dinamico mejorado, tales como las descritas en el presente documento. El ordenador y/o IC puede calcular cualquiera de una variedad de parametros o valores relativos a los procesos de gestion de visualizacion descritos en el presente documento. Las formas de realizacion de imagen y video pueden implementarse en hardware, software, firmware y diversas combinaciones de los mismos.
Ciertas implementaciones de la invencion comprenden procesadores informaticos que ejecutan instrucciones de software que hacen que los procesadores realicen un procedimiento de la invencion. Por ejemplo, uno o varios procesadores en una pantalla, un codificador, un decodificador de television, un transcodificador o similar pueden implementar procedimientos relacionados con la gestion de visualizacion de imagenes de EDR como se describio anteriormente ejecutando instrucciones de software en una memoria de programa accesible a los procesadores. La invencion tambien puede proporcionarse en forma de producto de programa. El producto de programa puede comprender cualquier medio no transitorio que lleve un conjunto de senales legibles por ordenador que comprenden instrucciones que, cuando se ejecutan por un procesador de datos, hacen que el procesador de datos ejecute un procedimiento de la invencion. Los productos de programa segun la invencion pueden estar en cualquiera de una amplia variedad de formas. El producto de programa puede comprender, por ejemplo, medios fisicos tales como medios de almacenamiento de datos magneticos incluyendo disquetes flexibles, unidades de disco duro, medios de almacenamiento de datos opticos incluyendo CD ROM, DVD, medios de almacenamiento de datos electronicos incluyendo memorias ROM, flash RAM, o similares. Las senales legibles por ordenador en el producto de programa pueden estar opcionalmente comprimidas o cifradas.
Cuando anteriormente se ha hecho referencia a un componente (por ejemplo un modulo de software, procesador, conjunto, dispositivo, circuito, etc.), a menos que se indique de otro modo, la referencia a ese componente (incluyendo una referencia a un “medio”) se interpretara incluyendo como equivalentes de ese componente cualquier componente que realice la funcion del componente descrito (por ejemplo, funcionalmente equivalente), incluyendo componentes que no sean estructuralmente equivalentes a la estructura descrita que realiza la funcion en las formas de realizacion a modo de ejemplo ilustradas de la invencion.
Equivalentes, extensiones, alternativas y varios
Por tanto, se describen formas de realizacion a modo de ejemplo que se refieren a la gestion de visualizacion eficaz de imagenes de EDR. En la memoria descriptiva anterior, se han descrito formas de realizacion de la presente invencion con referencia a numerosos detalles especificos que pueden variar de una implementacion a otra. Por tanto, el unico y exclusivo indicador de lo que es la invencion, y se pretende por los solicitantes que sea la invencion, es el conjunto de reivindicaciones que se derivan de esta solicitud, en la forma especifica en la que se derivan tales reivindicaciones, incluyendo cualquier correccion posterior. Ninguna definicion expuesta expresamente en el presente documento para los terminos contenidos en estas reivindicaciones regira el significado de estos terminos tal como se utilizan en las reivindicaciones. Por tanto, ninguna limitacion, elemento, propiedad, caracteristica, ventaja o atributo no recitado expresamente en una reivindicacion limitara el alcance de tal reivindicacion de ningun modo. Por consiguiente, la memoria descriptiva y los dibujos se consideraran en un sentido ilustrativo en lugar de restrictivo.

Claims (15)

  1. 5
    10
    15
    20
    25
    30
    35
    40
    45
    50
    55
    60
    65
    REIVINDICACIONES
    1. Un procedimiento que comprende:
    acceder a una imagen de entrada (102) en un primer espacio de color con un primer rango dinamico;
    aplicar una etapa de transformacion de color (110) a la imagen de entrada (102) para determinar una primera imagen de salida (112) en un espacio de color IPT cuantificado perceptualmente (IPT-PQ), comprendiendo la primera imagen de salida (112) valores de pixel de intensidad (302) y valores de pixel de componentes de croma (304), en el que la etapa de transformacion de color (110) comprende aplicar una funcion de cuantificador perceptual no lineal a una funcion de la imagen de entrada (102);
    aplicar una funcion de mapeo de volumen de color (115) a la primera imagen de salida (112) para generar una imagen de salida con tonos mapeados, comprendiendo la imagen de salida con tonos mapeados valores de pixel de intensidad (314) y valores de pixel de componentes de croma (327),
    en el que la funcion de mapeo de volumen de color (115) comprende una funcion de mapeo de tono (310), una funcion de mapeo de saturacion (320) y una funcion de estimacion de saturacion de pixel (330),
    en el que la funcion de mapeo de tono (310) genera los valores de pixel de intensidad (314) de la imagen de salida con tonos mapeados aplicando un mapeo no lineal a los valores de pixel de intensidad (302) de la primera imagen de salida (112),
    en el que la funcion de mapeo de saturacion (320) genera los valores de pixel de componentes de croma (327) de la imagen de salida con tonos mapeados ajustando los valores de pixel de componentes de croma (304) de la primera imagen de salida (112) basandose en cambios en la intensidad,
    en el que la funcion de estimacion de saturacion de pixel (330) calcula una metrica de saturacion (S) como la suma de cuadrados de los valores de pixel de componentes de croma (304) de la primera imagen de salida (112), en el que la metrica de saturacion se aplica a la imagen de salida con tonos mapeados para oscurecer los colores brillantes saturados y para desaturar los colores muy saturados, modificando asi los valores de pixel de intensidad (314) y los valores de pixel de componentes de croma (327); y
    aplicar una funcion de conservacion de detalles (125) a los valores de pixel de intensidad modificados (314) de la imagen de salida con tonos mapeados para generar valores de pixel de intensidad (127) de una imagen de salida con tonos mapeados filtrada, comprendiendo la imagen de salida con tonos mapeados filtrada los valores de pixel de componentes de croma modificados (327) de la imagen de salida con tonos mapeados, y en el que la imagen de salida con tonos mapeados filtrada tiene un rango dinamico que es menor que el de la imagen de entrada (102).
  2. 2. El procedimiento segun la reivindicacion 1, en el que aplicar la etapa de transformacion de color (110) comprende ademas:
    eliminar cualquier codificacion no lineal (220) de la imagen de entrada (102) para generar una imagen lineal (222); convertir la imagen lineal (222) en una imagen de color LMS (227); y
    aplicar la funcion de cuantificador perceptual (PQ) no lineal a la imagen de color LMS para generar la primera imagen de salida (112).
  3. 3. El procedimiento segun la reivindicacion 2, en el que la funcion de cuantificador perceptual no lineal comprende la funcion de mapeo SMPTE ST 2084.
  4. 4. El procedimiento segun cualquiera de las reivindicaciones 1 -3, en el que la funcion de mapeo de tono (310) se expresa como una funcion de curva de tono sigmoidea parametrizada, en el que los parametros de la funcion se determinan basandose en caracteristicas de una visualizacion de origen y una visualizacion objetivo.
  5. 5. El procedimiento segun la reivindicacion 4, en el que las caracteristicas de la visualizacion de origen comprenden un valor de brillo minimo y un valor de brillo maximo para la visualizacion de origen; y/o
    en el que las caracteristicas de la visualizacion objetivo comprenden un valor de brillo minimo y un valor de brillo maximo para la visualizacion objetivo.
  6. 6. El procedimiento segun la reivindicacion 4 o reivindicacion 5, en el que se accede a las caracteristicas de la visualizacion de origen a traves de metadatos de visualizacion de origen recibidos (104).
    5
    10
    15
    20
    25
    30
    35
    40
    45
    50
    55
  7. 7. El procedimiento segun cualquiera de las reivindicaciones 4-6, en el que la funcion de tono sigmoidea se expresa como
    imagen1
    donde Ci, C2, C3, pendiente y cafda son constantes que definen los parametros de la funcion de mapeo de tono (310), y para una entrada Io, representada por un valor de pixel de intensidad (302) de la primera imagen de salida, Im es un valor de salida correspondiente, representado por el valor de pixel de intensidad correspondiente (314) de la imagen de salida con tonos mapeados.
  8. 8. El procedimiento segun cualquiera de las reivindicaciones 4-7, en el que adicionalmente se determinan parametros de la funcion de mapeo de tono (310) basandose en un valor de brillo y un valor de contraste para ajustar el brillo y contraste global de la imagen de salida con tonos mapeados.
  9. 9. El procedimiento segun cualquiera de las reivindicaciones 1-8, en el que la funcion de mapeo de saturacion (320) se expresa como
    fsM^Jo) ~ Im Io F 1
    donde Im indica la salida de la funcion de mapeo de tono, e Io indica los valores de pixel de intensidad (302) de la primera imagen de salida, y
    en el que aplicar la funcion de mapeo de volumen de color (115) comprende calcular:
    Im = frOo) * (1 — S * a),
    Pm = P * fsM(Jo) * (1 — S * /?),
    Tm = T * fsM Ido) * (1 — S * /?),
    donde S indica la metrica de saturacion generada por la funcion de estimacion de saturacion de pixeles (330), a y b indican pesos de entrada, fr{Io) indica la funcion de mapeo de tono (310), fsM(Io) indica la funcion de mapeo de saturacion (320), Io indica los valores de pixel de intensidad (302) de la primera imagen de salida, P y T indican los valores de pixel de componentes de croma (304) de la primera imagen de salida, Im indica los valores de pixel (314) de la imagen de salida con tonos mapeados, y Pm y Tm indican los valores de pixel de componentes de croma (327) de la imagen de salida con tonos mapeados.
  10. 10. El procedimiento segun la reivindicacion 9, en el que los valores de (1 - S * a) y (1 - S * b) se restringen para ser siempre mayores que cero.
  11. 11. El procedimiento segun cualquiera de las reivindicaciones 1-10, en el que la funcion de conservacion de detalles (125) comprende un filtro de desenfoque y filtros de deteccion de bordes horizontales y verticales acoplados al filtro de desenfoque.
  12. 12. El procedimiento segun la reivindicacion 11, en el que aplicar la funcion de conservacion de detalles (125) comprende ademas calcular:
    D Io Im>
    5 = F(D,H),
    Ex — F(B,Hx),
    Ey = F(B,Hy),
    E = (\Ex\ + \Ey\) * WMSE + (1 - WMS), Imf = I0 ~ B ~ E * (D — B)
    donde F(D,H) indica aplicar a la imagen D un filtro con nucleo H, Io indica valores de pixel de intensidad de la primera imagen de salida (302), Im indica los valores de pixel de intensidad (314) de la imagen de salida con tonos mapeados, Imf indica los valores de pixel de intensidad (127) de la imagen de salida con tonos mapeados filtrada, B indica la salida del filtro de desenfoque, Ex indica la salida del filtro de deteccion de bordes horizontales, Ey indica la salida del filtro de deteccion de bordes verticales, y Wmse y Wms son pesos.
  13. 13. El procedimiento segun la reivindicacion 12, en el que el valor de salida E se restringe ademas para estar entre 0 y 1; y/o
    en el que el nucleo H comprende un filtro gaussiano de 5x11 con una desviacion estandar igual a 2; y/o 5
    en el que el nucleo H comprende un filtro paso bajo.
  14. 14. Un aparato que comprende un procesador y esta configurado para realizar el procedimiento segun cualquiera de las reivindicaciones 1-13.
    10
  15. 15. Un medio de almacenamiento legible por ordenador no transitorio que tiene almacenado en el mismo una instruccion ejecutable por ordenador para ejecutar el procedimiento segun cualquiera de las reivindicaciones 1-13.
ES16706272.8T 2015-01-19 2016-01-14 Gestión de visualización para vídeo de alto rango dinámico Active ES2692444T3 (es)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562105139P 2015-01-19 2015-01-19
US201562105139P 2015-01-19
PCT/US2016/013352 WO2016118395A1 (en) 2015-01-19 2016-01-14 Display management for high dynamic range video

Publications (1)

Publication Number Publication Date
ES2692444T3 true ES2692444T3 (es) 2018-12-03

Family

ID=55411728

Family Applications (1)

Application Number Title Priority Date Filing Date
ES16706272.8T Active ES2692444T3 (es) 2015-01-19 2016-01-14 Gestión de visualización para vídeo de alto rango dinámico

Country Status (16)

Country Link
US (1) US9961237B2 (es)
EP (1) EP3248367B1 (es)
JP (1) JP6362793B2 (es)
KR (2) KR102117522B1 (es)
CN (1) CN107211076B (es)
AU (1) AU2016209615C1 (es)
CA (1) CA2973909C (es)
ES (1) ES2692444T3 (es)
IL (1) IL253409B (es)
MX (1) MX359721B (es)
PL (1) PL3248367T3 (es)
RU (2) RU2659485C1 (es)
SG (2) SG11201705702XA (es)
TR (1) TR201815542T4 (es)
WO (1) WO2016118395A1 (es)
ZA (1) ZA201704922B (es)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016182307A1 (ko) * 2015-05-11 2016-11-17 삼성전자 주식회사 메타데이터에 기초한 영상 처리 장치 및 영상 처리 방법
EP3295451B1 (en) 2015-05-12 2020-07-01 Dolby Laboratories Licensing Corporation Metadata filtering for display mapping for high dynamic range images
KR20230066493A (ko) * 2015-08-28 2023-05-15 애리스 엔터프라이지즈 엘엘씨 높은 동적 범위 및 넓은 컬러 영역 시퀀스들의 코딩에서의 컬러 볼륨 변환들
US10140953B2 (en) * 2015-10-22 2018-11-27 Dolby Laboratories Licensing Corporation Ambient-light-corrected display management for high dynamic range images
US10638105B2 (en) * 2016-06-27 2020-04-28 Intel Corporation Method and system of multi-dynamic range multi-layer video blending with alpha channel sideband for video playback
KR20230173225A (ko) 2016-10-05 2023-12-26 돌비 레버러토리즈 라이쎈싱 코오포레이션 소스 색 볼륨 정보 메시징
JP6789760B2 (ja) * 2016-10-31 2020-11-25 キヤノン株式会社 撮像装置及びその制御方法、プログラム、並びに記憶媒体
US10930223B2 (en) 2016-12-22 2021-02-23 Dolby Laboratories Licensing Corporation Ambient light-adaptive display management
EP3367659A1 (en) * 2017-02-28 2018-08-29 Thomson Licensing Hue changing color gamut mapping
CN110383802B (zh) * 2017-03-03 2021-05-25 杜比实验室特许公司 利用逼近函数的彩色图像修改方法
WO2018160847A1 (en) * 2017-03-03 2018-09-07 Dolby Laboratories Licensing Corporation Color image modification with approximation function
CN110383801B (zh) * 2017-03-03 2021-08-10 杜比实验室特许公司 不均匀颜色空间中的颜色饱和度调整
WO2018175337A1 (en) 2017-03-20 2018-09-27 Dolby Laboratories Licensing Corporation Perceptually preserving scene-referred contrasts and chromaticities
EP3566203B1 (en) 2017-03-20 2021-06-16 Dolby Laboratories Licensing Corporation Perceptually preserving scene-referred contrasts and chromaticities
JP7141200B2 (ja) * 2017-03-27 2022-09-22 東芝ライテック株式会社 情報処理システム
CN107197266B (zh) * 2017-06-26 2020-05-15 杭州当虹科技股份有限公司 一种hdr视频编码方法
JP6846307B2 (ja) * 2017-07-31 2021-03-24 日本放送協会 輝度調整用信号生成装置およびそのプログラム、ならびに、映像表示装置
US11252401B2 (en) 2017-08-07 2022-02-15 Dolby Laboratories Licensing Corporation Optically communicating display metadata
KR102525546B1 (ko) * 2017-11-21 2023-04-26 삼성디스플레이 주식회사 영상 처리 방법 및 이를 수행하는 영상 처리 장치
EP3493542A1 (en) 2017-11-30 2019-06-05 Thomson Licensing Saturation control for high-dynamic range reconstruction
US11785193B2 (en) * 2017-12-12 2023-10-10 Interdigital Vc Holdings, Inc. Processing an image
US10445865B1 (en) * 2018-03-27 2019-10-15 Tfi Digital Media Limited Method and apparatus for converting low dynamic range video to high dynamic range video
WO2019245876A1 (en) * 2018-06-18 2019-12-26 Dolby Laboratories Licensing Corporation Image capture methods and systems
CN108882028B (zh) 2018-07-05 2019-06-14 华为技术有限公司 视频信号的处理方法及装置
CN112703529B (zh) * 2018-09-17 2022-05-31 杜比实验室特许公司 功率限制显示器上高动态范围图像的显示映射
US11503310B2 (en) * 2018-10-31 2022-11-15 Ati Technologies Ulc Method and apparatus for an HDR hardware processor inline to hardware encoder and decoder
US11404025B2 (en) * 2019-04-10 2022-08-02 Mediatek Inc. Video processing system for performing artificial intelligence assisted picture quality enhancement and associated video processing method
EP3959709A1 (en) 2019-04-23 2022-03-02 Dolby Laboratories Licensing Corporation Display management for high dynamic range images
ES2945657T3 (es) * 2019-04-25 2023-07-05 Dolby Laboratories Licensing Corp Analizador de rango de PQ con consciencia de contenido, y mapeo de tono en alimentaciones en vivo
KR20210045027A (ko) * 2019-10-16 2021-04-26 주식회사 실리콘웍스 미세 보정이 가능한 색역 매핑 장치
CN112689137B (zh) * 2019-10-18 2022-05-10 华为技术有限公司 一种视频信号处理方法及装置
CN110933416B (zh) * 2019-11-12 2021-07-20 宁波大学 高动态范围视频自适应预处理方法
EP3872749A1 (en) * 2020-02-25 2021-09-01 STMicroelectronics (Research & Development) Limited Local tone mapping for hdr video
US11837140B2 (en) * 2020-04-17 2023-12-05 Dolby Laboratories Licensing Corporation Chromatic ambient light correction
WO2021222310A1 (en) * 2020-04-28 2021-11-04 Dolby Laboratories Licensing Corporation Image-dependent contrast and brightness control for hdr displays
WO2022006281A1 (en) * 2020-06-30 2022-01-06 Dolby Laboratories Licensing Corporation Systems and methods for ambient light compensation using pq shift
JP2023537939A (ja) 2020-08-17 2023-09-06 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジビデオ用のピクチャメタデータ
US11283967B1 (en) * 2020-09-24 2022-03-22 Edward M. Granger Image transformation system and method
US11557265B2 (en) 2020-11-13 2023-01-17 Samsung Electronics Co., Ltd. Perceptual color enhancement based on properties of responses of human vision system to color stimulus
US11776163B1 (en) 2020-12-30 2023-10-03 Waymo Llc Systems, methods, and apparatus for correcting desaturation of images with transformed color values by appling a matrix
KR20220142751A (ko) * 2021-04-15 2022-10-24 삼성전자주식회사 비디오를 인코딩하는 전자 장치 및 그 제어 방법
US20220358627A1 (en) * 2021-05-05 2022-11-10 Nvidia Corporation High dynamic range image processing with fixed calibration settings
EP4377879A1 (en) 2021-07-29 2024-06-05 Dolby Laboratories Licensing Corporation Neural networks for dynamic range conversion and display management of images
EP4392928A1 (en) 2021-08-24 2024-07-03 Dolby Laboratories Licensing Corporation Neural networks for precision rendering in display management
AU2022358503A1 (en) 2021-09-28 2024-04-11 Dolby Laboratories Licensing Corporation Multi-step display mapping and metadata reconstruction for hdr video
WO2023055612A1 (en) 2021-09-30 2023-04-06 Dolby Laboratories Licensing Corporation Dynamic spatial metadata for image and video processing
WO2023094276A1 (en) * 2021-11-25 2023-06-01 Interdigital Vc Holdings France, Sas Methods and devices for perception-based rendering
CN113850743B (zh) * 2021-11-30 2022-03-01 江苏游隼微电子有限公司 一种基于自适应参数的视频全局色调映射方法
WO2023150074A1 (en) 2022-02-01 2023-08-10 Dolby Laboratories Licensing Corporation Beta scale dynamic display mapping
WO2023177873A2 (en) * 2022-03-18 2023-09-21 Dolby Laboratories Licensing Corporation Image optimization in mobile capture and editing applications
CN115601267B (zh) * 2022-10-31 2023-04-07 哈尔滨理工大学 一种具有局部细节补偿能力的全局色阶映射方法
WO2024107472A1 (en) 2022-11-16 2024-05-23 Dolby Laboratories Licensing Corporation Estimating metadata for images having absent metadata or unusable form of metadata

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5737032A (en) 1995-09-05 1998-04-07 Videotek, Inc. Serial digital video processing with concurrent adjustment in RGB and luminance/color difference
GB2352913A (en) 1999-07-30 2001-02-07 Sony Uk Ltd Method of processing signals and apparatus for signal processing
US20040066388A1 (en) * 2002-07-16 2004-04-08 Leather Mark M. Method and apparatus for improved transform functions for non gamma corrected graphics systems
US7822270B2 (en) 2005-08-31 2010-10-26 Microsoft Corporation Multimedia color management system
US8605083B2 (en) * 2009-03-06 2013-12-10 Koninklijke Philips N.V. Method for converting input image data into output image data, image conversion unit for converting input image data into output image data, image processing apparatus, display device
WO2010147941A1 (en) * 2009-06-15 2010-12-23 Marvell World Trade Ltd. System and methods for gamut bounded saturation adaptive color enhancement
US20130050245A1 (en) * 2010-05-13 2013-02-28 Dolby Laboratories Licensing Corporation Gamut Compression for Video Display Devices
WO2012012489A2 (en) * 2010-07-22 2012-01-26 Dolby Laboratories Licensing Corporation Display management server
TWI538473B (zh) 2011-03-15 2016-06-11 杜比實驗室特許公司 影像資料轉換的方法與設備
WO2012137114A1 (en) 2011-04-08 2012-10-11 Koninklijke Philips Electronics N.V. Video encoding and decoding
WO2012142506A1 (en) 2011-04-14 2012-10-18 Dolby Laboratories Licensing Corporation Image prediction based on primary color grading model
JP6407717B2 (ja) 2011-09-27 2018-10-17 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 画像のダイナミックレンジ変換のための装置及び方法
EP2774361B1 (en) 2011-11-01 2015-09-16 Dolby Laboratories Licensing Corporation Adaptive false contouring prevention in layered coding of images with extended dynamic range
PT3800542T (pt) 2011-12-06 2021-11-09 Dolby Laboratories Licensing Corp Dispositivo e método de melhorar a troca de dados de imagem com base na não linearidade da luminância perceptual ao longo de diferentes capacidades de monitor
TWI556629B (zh) * 2012-01-03 2016-11-01 杜比實驗室特許公司 規定視覺動態範圍編碼操作及參數
CN102611897B (zh) * 2012-03-04 2015-01-07 侯克杰 对彩色数字图像进行视觉感知高保真变换的方法及***
CN103843032B (zh) 2012-08-08 2016-04-20 杜比实验室特许公司 用于高动态范围图像的图像处理
CN105009580B (zh) * 2013-02-21 2017-09-29 杜比实验室特许公司 高动态范围视频的显示管理
FR3003378A1 (fr) * 2013-03-12 2014-09-19 St Microelectronics Grenoble 2 Procede de mappage de tons
US8958658B1 (en) * 2013-09-10 2015-02-17 Apple Inc. Image tone adjustment using local tone curve computation
US9554020B2 (en) 2013-11-13 2017-01-24 Dolby Laboratories Licensing Corporation Workflow for content creation and guided display management of EDR video
US9584786B2 (en) 2014-03-05 2017-02-28 Dolby Laboratories Licensing Corporation Graphics blending for high dynamic range video
US9230338B2 (en) 2014-03-05 2016-01-05 Dolby Laboratories Licensing Corporation Graphics blending for high dynamic range video

Also Published As

Publication number Publication date
CN107211076B (zh) 2018-10-30
SG10201710918XA (en) 2018-02-27
US9961237B2 (en) 2018-05-01
KR20170091744A (ko) 2017-08-09
EP3248367A1 (en) 2017-11-29
KR102117522B1 (ko) 2020-06-01
JP2018510574A (ja) 2018-04-12
MX359721B (es) 2018-10-08
RU2017143016A3 (es) 2021-04-15
IL253409B (en) 2019-02-28
EP3248367B1 (en) 2018-08-29
US20180013927A1 (en) 2018-01-11
RU2755873C2 (ru) 2021-09-22
SG11201705702XA (en) 2017-08-30
AU2016209615B2 (en) 2017-09-07
ZA201704922B (en) 2018-12-19
AU2016209615C1 (en) 2018-03-22
MX2017009230A (es) 2017-11-15
CA2973909C (en) 2017-12-19
JP6362793B2 (ja) 2018-07-25
KR20170140437A (ko) 2017-12-20
RU2017143016A (ru) 2019-02-14
WO2016118395A1 (en) 2016-07-28
IL253409A0 (en) 2017-09-28
CA2973909E (en) 2016-07-28
PL3248367T3 (pl) 2018-12-31
TR201815542T4 (tr) 2018-11-21
RU2659485C1 (ru) 2018-07-02
CA2973909A1 (en) 2016-07-28
BR112017015479A2 (pt) 2018-01-30
AU2016209615A1 (en) 2017-07-27
CN107211076A (zh) 2017-09-26

Similar Documents

Publication Publication Date Title
ES2692444T3 (es) Gestión de visualización para vídeo de alto rango dinámico
RU2762384C1 (ru) Переформирование сигналов для сигналов широкого динамического диапазона
ES2708954T3 (es) Gestión de visualización para video de alto rango dinámico
BR112017015479B1 (pt) Método, aparelho e mídia de armazenamento não transitória legível por computador para gerenciamento de exibição para vídeo de alta faixa dinâmica