ES2734072T3

ES2734072T3 - Método y aparato de tratamiento de imágenes y dispositivo electrónico

Info

Publication number: ES2734072T3
Application number: ES17201321T
Authority: ES
Inventors: Cheng Tang
Original assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Current assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date: 2016-11-29
Filing date: 2017-11-13
Publication date: 2019-12-04
Anticipated expiration: 2037-11-13
Also published as: US10559070B2; US20180150935A1; US10559069B2; CN106507080A; WO2018099031A1; CN106507080B; EP3328079A1; EP3328079B1; US20190122337A1

Abstract

Un método de tratamiento de imágenes para un dispositivo electrónico que incluye un sensor (200) de imagen, el sensor (200) de imagen comprende una agrupación (210) de unidades (210a) de píxeles fotosensibles y una agrupación (220) de unidades (220a) de filtros dispuestas en la agrupación (210) de unidades (210a) de píxeles fotosensibles, cada unidad (220a) de filtros corresponde con una unidad (210a) de píxeles fotosensibles, y comprende una pluralidad de filtros con un mismo color, cada unidad (210a) de píxeles fotosensibles comprende una pluralidad de píxeles (212) fotosensibles adyacentes entre sí, y cada píxel (212) fotosensible está cubierto por un filtro, estando caracterizado por que, el método de tratamiento de imágenes comprende: controlar (10) la agrupación (210) de unidades (210a) de píxeles fotosensibles para exponer con diferentes parámetros de exposición y emitir múltiples fotogramas de imagen de bloque de color, en donde, cada fotograma de imagen de bloque de color comprende unidades de píxeles de imagen correspondientes a unidades de píxeles fotosensibles dispuestas en una agrupación predeterminada, la agrupación predeterminada comprende una agrupación de Bayer, cada unidad del píxel de imagen comprende una pluralidad de píxeles originales adyacentes entre sí y dispuestos en agrupación, y cada píxel (212) fotosensible corresponde con un píxel original; fusionar (20) los múltiples fotogramas de la imagen de bloque de color para obtener una imagen de bloque de color HDR; realizar una compensación (35a) de balance de blancos sobre la imagen de bloque de color HDR; convertir (30) la imagen de bloque de color HDR con balance de blancos en una imagen de simulación usando un algoritmo de interpolación, en donde, la imagen de simulación comprende píxeles de simulación dispuestos en la agrupación de Bayer, y cada píxel (212) fotosensible corresponde con un píxel de simulación; y realizar una compensación (37a) de balance de blancos inversa sobre la imagen de simulación.

Description

DESCRIPCIÓN

Método y aparato de tratamiento de imágenes y dispositivo electrónico

Campo

La presente descripción se refiere al campo de la tecnología de formación de imágenes, y más particularmente a un método de tratamiento de imágenes, un aparato de tratamiento de imágenes y un dispositivo electrónico.

Antecedentes

Cuando una imagen se procesa usando un método de tratamiento de imágenes convencional, o bien la imagen obtenida tiene una resolución baja, o bien requiere mucho tiempo y muchos recursos obtener una imagen HDR (alto rango dinámico), ambos son inconvenientes para los usuarios.

El documento US2013/021492A1 se refiere a un dispositivo de tratamiento de imágenes que incluye una unidad de selección de exposición de línea. La unidad de selección de exposición de línea es capaz de cambiar un patrón de selección de un primer tiempo de exposición y de un segundo tiempo de exposición.

El documento EP2753082 se refiere a un dispositivo y a un método para ejecutar un tratamiento remosaic para realizar la conversión a una imagen de una agrupación de píxeles diferente.

El documento US2013/0051665A1 se refiere a un aparato de tratamiento de imágenes que incluye una sección de corrección de señal de imágenes que realiza un proceso de corrección de imágenes.

Descripción

La presente descripción tiene como objetivo resolver al menos uno de los problemas existentes en la técnica relacionada al menos en la medida. Por consiguiente, la presente descripción proporciona un método de tratamiento de imágenes, un aparato de tratamiento de imágenes y un dispositivo electrónico. La invención se define en las reivindicaciones independientes. Las realizaciones de la presente descripción proporcionan un método de tratamiento de imágenes. El método de tratamiento de imágenes se aplica en un dispositivo electrónico. El dispositivo electrónico incluye un sensor de imagen. El sensor de imagen incluye una agrupación de unidades de píxeles fotosensibles y una agrupación de unidades de filtros dispuestas en la agrupación de unidades de píxeles fotosensibles. Cada unidad de filtro corresponde con una unidad de píxeles fotosensibles, e incluye una pluralidad de filtros, cada unidad de píxeles fotosensibles incluye una pluralidad de píxeles fotosensibles adyacentes entre sí, y cada píxel fotosensible está cubierto por un filtro. El método de tratamiento de imágenes incluye: controlar la agrupación de unidades de píxeles fotosensibles para exponer con diferentes parámetros de exposición y emitir múltiples fotogramas de imagen de bloque de color, en que, cada fotograma de la imagen de bloque de color incluye unidades de píxeles de imagen dispuestas en una agrupación predeterminada, la agrupación predeterminada comprende una agrupación de Bayer, cada unidad de píxeles de imagen incluye una pluralidad de píxeles originales adyacentes entre sí y dispuestos en una agrupación, y cada píxel fotosensible corresponde con un píxel original; fusionar los múltiples fotogramas de la imagen de bloque de color para obtener una imagen de bloque de color HDR; convertir la imagen de bloque de color HDR en una imagen de simulación usando un algoritmo de interpolación, en el que, la imagen de simulación incluye píxeles de simulación dispuestos en la agrupación de Bayer, y cada píxel fotosensible corresponde con un píxel de simulación; realizar una compensación de balance de blancos sobre la imagen de bloque de color HDR; y realizar una compensación de balance de blancos inversa sobre la imagen de simulación.

Las realizaciones de la presente descripción proporcionan además un aparato de tratamiento de imágenes. El aparato de tratamiento de imágenes se aplica en un dispositivo electrónico. El dispositivo electrónico incluye un sensor de imagen. El sensor de imagen incluye una agrupación de unidades de píxeles fotosensibles y una agrupación de unidades de filtros dispuestas en la agrupación de unidades de píxeles fotosensibles. Cada unidad de filtro corresponde con una unidad de píxeles fotosensibles e incluye una pluralidad de filtros, cada unidad de píxeles fotosensibles incluye una pluralidad de píxeles fotosensibles adyacentes entre sí, y cada píxel fotosensible está cubierto por un filtro. El aparato de tratamiento de imágenes incluye un módulo de control, un módulo de fusión y un módulo de conversión. El módulo de control está configurado para controlar la agrupación de unidades de píxeles fotosensibles para exponer con diferentes parámetros de exposición y emitir múltiples fotogramas de imagen de bloque de color. Cada fotograma de imagen de bloque de color incluye unidades de pixel de imagen dispuestas en una agrupación predeterminada, la agrupación predeterminada comprende una agrupación de Bayer. Cada unidad del píxeles de imagen incluye una pluralidad de píxeles originales adyacentes entre sí y dispuestos en agrupación, y cada píxel fotosensible corresponde con un píxel original. El módulo de fusión está configurado para fusionar los múltiples fotogramas de la imagen de bloque de color para obtener una imagen de bloque de color HDR. El módulo de conversión está configurado para convertir la imagen de bloque de color HDR en una imagen de simulación usando un algoritmo de interpolación. La imagen de simulación incluye píxeles de simulación dispuestos en Bayer, y cada píxel fotosensible corresponde con un píxel de simulación. El módulo de conversión incluye una primera unidad de compensación y una unidad de restauración. La primera unidad de compensación está configurada para realizar una conversión de balance de blancos sobre la imagen de bloque de color HDR. La unidad de restauración está configurada para realizar una compensación de balance de blancos inversa sobre la imagen de simulación.

Las realizaciones de la presente descripción proporcionan un dispositivo electrónico. El dispositivo electrónico incluye un alojamiento, un procesador, una memoria, una placa de circuito, un circuito de alimentación eléctrica y un aparato de formación de imágenes. La placa de circuito está limitada por el alojamiento. El procesador y la memoria están posicionados en la placa de circuito. El circuito de alimentación eléctrica está configurado para proporcionar alimentación eléctrica a los circuitos o componentes respectivos del dispositivo electrónico. El aparato de formación de imágenes incluye un sensor de imagen. El sensor de imagen incluye una agrupación de unidades de píxeles fotosensibles y una agrupación de unidades de filtros dispuestas en la agrupación de unidades de píxeles fotosensibles. Cada unidad de filtro corresponde con una unidad de píxeles fotosensibles, e incluye una pluralidad de filtros, cada unidad de píxeles fotosensibles incluye una pluralidad de píxeles fotosensibles adyacentes entre sí, y cada pixel fotosensible está cubierto por un filtro. La memoria está configurada para almacenar códigos de programa ejecutables. El procesador está configurado para ejecutar un programa correspondiente a los códigos de programa ejecutables mediante la lectura de los códigos de programa ejecutables almacenados en la memoria, para realizar el método de tratamiento de imágenes según las realizaciones de la presente descripción.

Los aspectos y ventajas adicionales de las realizaciones de la presente descripción se darán en parte en las siguientes descripciones, serán evidentes en parte a partir de las siguientes descripciones, o se aprenderán de la práctica de las realizaciones de la presente descripción.

Breve descripción de los dibujos

Estos y otros aspectos y ventajas de las realizaciones de la presente descripción serán evidentes y se apreciarán más fácilmente a partir de las siguientes descripciones realizadas con referencia a los dibujos.

La fig. 1 es un diagrama de flujo de un método de tratamiento de imágenes según una realización de la presente descripción.

La fig. 2 es un diagrama de bloques de un sensor de imagen según una realización de la presente descripción.

La fig. 3 es un diagrama esquemático de un sensor de imagen según una realización de la presente descripción.

La fig. 4 es un diagrama de flujo que ilustra un circuito de un sensor de imagen según una realización de la presente descripción.

La fig. 5 es un diagrama esquemático de una agrupación de unidades de filtros según una realización de la presente descripción.

La fig. 6 es un diagrama esquemático de una imagen de bloque de color según una realización de la presente descripción.

La fig. 7 es un diagrama de flujo de un método de tratamiento de imágenes según otra realización de la presente descripción.

La fig. 8 es un diagrama esquemático que ilustra un proceso de conversión de una imagen de bloque de color en una imagen de simulación según una realización de la presente descripción.

La fig. 9 es un diagrama de flujo de un método de tratamiento de imágenes según una realización de la presente descripción.

La fig. 10 es un diagrama de flujo de un método de tratamiento de imágenes según una realización de la presente descripción.

La fig. 11 es un diagrama de flujo de un método de tratamiento de imágenes según una realización de la presente descripción.

La fig. 12 es un diagrama esquemático que muestra una unidad de píxeles de imagen de una imagen de bloque de color según una realización de la presente descripción.

La fig. 13 es un diagrama de flujo de un método de tratamiento de imágenes según una realización de la presente descripción.

La fig. 14 es un diagrama de bloques de un aparato de tratamiento de imágenes según una realización de la presente descripción.

La fig. 15 es un diagrama de bloques de un módulo de determinación según una realización de la presente descripción.

La fig. 16 es un diagrama de bloques de una tercera unidad de determinación en el módulo de conversión según una realización de la presente descripción.

La fig. 17 es un diagrama de bloques de un aparato de tratamiento de imágenes según otra realización de la presente descripción.

La fig. 18 es un diagrama de bloques de un aparato de tratamiento de imágenes según otra realización de la presente descripción.

La fig. 19 es un diagrama de bloques de un dispositivo electrónico según una realización de la presente descripción.

Realizaciones de la presente descripción

Ahora se hará referencia en detalle a realizaciones ejemplares, ejemplos de las cuales se ilustran en los dibujos adjuntos, en los que números de referencia iguales o similares en todos los dibujos representan elementos iguales o similares o elementos que tienen funciones iguales o similares. Las realizaciones descritas a continuación con referencia a los dibujos son meramente ejemplares y se usan para explicar la presente descripción, y no deberían comprenderse como limitación de la presente descripción.

En la técnica relacionada, un sensor de imagen incluye una agrupación de unidades de píxeles fotosensibles y una agrupación de unidades de filtros dispuestas en la agrupación de unidades de píxeles fotosensibles. Cada unidad de filtros corresponde y cubre una unidad de píxeles fotosensibles, y cada unidad de píxeles fotosensibles incluye una pluralidad de píxeles fotosensibles. Cuando se trabaja, el sensor de imagen se controla para emitir una imagen fusionada, que se puede convertir en una imagen de color verdadero fusionada mediante un método de tratamiento de imágenes y se puede guardar. La imagen fusionada incluye una agrupación de píxeles fusionados, y la pluralidad de píxeles fotosensibles en una misma unidad de píxeles fotosensibles se emiten colectivamente como un píxel fusionado. Así, se incrementa una relación señal-ruido de la imagen fusionada. Sin embargo, se reduce una resolución de la imagen fusionada.

Ciertamente, el sensor de imagen se puede controlar para emitir una imagen de bloque de color de píxel elevado, que incluye una agrupación de píxeles originales, y cada píxel fotosensible corresponde con un píxel original. Sin embargo, ya que una pluralidad de píxeles originales que corresponden a una misma unidad de filtros tienen el mismo color, la resolución de la imagen de bloque de color aún no se puede aumentar. Así, la imagen de bloque de color de píxel elevado necesita convertirse en una imagen de simulación de píxel elevado mediante un algoritmo de interpolación, en el que la imagen de simulación incluye una agrupación de Bayer de píxeles de simulación. Sin embargo, cuando una función de alto rango dinámico (HDR para abreviar) se aplica, se necesita una imagen de simulación de múltiples fotogramas de diferente brillo, es decir, son necesarios múltiples cálculos de interpolación, consumiendo por tanto recursos y tiempo.

Así, las realizaciones de la presente descripción proporcionan un nuevo método de tratamiento de imágenes.

Con referencia a la Fig. 1, se ilustra un método de tratamiento de imágenes. El método de tratamiento de imágenes se aplica en un dispositivo electrónico. El dispositivo electrónico incluye un aparato de formación de imágenes que incluye un sensor de imagen. Como se ilustra en la fig. 2 el sensor 200 de imagen incluye una agrupación 210 de unidades de píxeles fotosensibles y una agrupación 220 de unidades de filtros dispuestas en la agrupación 210 de unidades de píxeles fotosensibles. Como se ilustra en la fig. 3, cada unidad 220a de filtro corresponde con una unidad 210a de píxeles fotosensibles, y cada unidad 210a de píxeles fotosensibles incluye una pluralidad de píxeles 212 fotosensibles. Al menos en una realización, existe una correspondencia uno a uno entre las unidades de filtros y las unidades de píxeles fotosensibles. El método de tratamiento de imágenes incluye lo siguiente.

En el bloque 10, la agrupación de unidades de píxeles fotosensibles se controla para exponer con diferentes parámetros de exposición y emitir múltiples fotogramas de imagen de bloque de color.

Cada fotograma de la imagen de bloque de color incluye unidades de píxeles de imagen dispuestas en una agrupación predeterminada. Cada unidad de píxeles de imagen incluye una pluralidad de píxeles originales y cada píxel fotosensible corresponde con un píxel original. Al menos en una realización, existe una correspondencia uno a uno entre los píxeles fotosensibles y los píxeles originales.

En el bloque 20, los múltiples fotogramas de la imagen de bloque de color son fusionados para obtener una imagen de bloque de color HDR.

En el bloque 30, la imagen de bloque de color HDR se convierte a una imagen de simulación usando un algoritmo de interpolación.

La imagen de simulación incluye píxeles de simulación dispuestos en una agrupación, y cada píxel fotosensible corresponde con un píxel de simulación. Al menos en una realización, existe una correspondencia uno a uno entre los píxeles fotosensibles y los píxeles de simulación.

Con el método de tratamiento de imágenes según las realizaciones de la presente descripción, en un modo HDR, se fusionan los múltiples fotogramas de la imagen de bloque de color, y a continuación se convierte la imagen de bloque de color HDR, en vez de convertir cada fotograma de la imagen de bloque de color a la imagen de simulación y a continuación se fusionan. En una realización de la presente descripción, solamente se necesita una conversión de la imagen de bloque de color a la imagen de simulación, reduciendo por tanto el tiempo de cálculo y de procesamiento del tratamiento de la imagen, mejorando una eficacia de la función HDR, y mejorando la experiencia del usuario.

La fig. 4 es un diagrama esquemático que ilustra un circuito de un sensor de imagen según una realización de la presente descripción. La fig. 5 es un diagrama esquemático de una agrupación de unidades de filtros según una realización de la presente descripción. Las figs. 2-5 se ven mejor juntas.

Con referencia a las figs. 2-5, el sensor 200 de imagen según una realización de la presente descripción incluye una agrupación 210 de unidades de píxeles fotosensibles y una agrupación 220 de unidades de filtros dispuestas sobre la agrupación de 210 de unidades de píxeles fotosensibles.

Además, la agrupación 210 de unidades de píxeles fotosensibles incluye una pluralidad de unidades 210a de píxeles fotosensibles. Cada unidad 210a de píxeles fotosensibles incluye una pluralidad de píxeles 212 fotosensibles adyacentes. Cada píxel 212 fotosensible incluye un elemento 2121 fotosensible y un tubo 2122 de transmisión. El elemento 2121 fotosensible puede ser un fotodiodo, y el tubo 2122 de transmisión puede ser un transistor MOS.

La agrupación 220 de unidades de filtros incluye una pluralidad de unidades 220a de filtros. Cada unidad 220a de filtros corresponde con una unidad 210a de píxeles fotosensibles.

En detalle, en algunos ejemplos, las unidades de filtros están dispuestas en una agrupación de Bayer. Al menos en una realización, cuatro unidades 220a de filtros adyacentes incluyen una unidad de filtro rojo, una unidad de filtro azul y dos unidades de filtro verde.

Cada unidad 210a de píxeles fotosensibles corresponde con una unidad 220a de filtros con un mismo color. Si una unidad 210a de píxeles fotosensibles incluye n elementos 2121 fotosensibles adyacentes, una unidad 220a de filtros cubre n elementos 2121 fotosensibles en una unidad 210a de píxeles fotosensibles. La unidad 220a puede estar formada íntegramente, o puede estar formada ensamblando n sub-filtros separados.

En algunas implementaciones, cada unidad 210a de píxeles fotosensibles incluye cuatro píxeles 212 fotosensibles adyacentes. Dos píxeles 212 fotosensibles adyacentes forman colectivamente una subunidad 2120 de píxeles fotosensibles. La subunidad 2120 de píxeles fotosensibles incluye además un seguidor 2123 de fuente y un convertidor 2124 analógico-digital. La unidad 210a de píxeles fotosensibles incluye además un sumador 213. Un primer electrodo de cada tubo 2122 de transmisión en la subunidad 2120 de píxeles fotosensibles se acopla a un electrodo de cátodo de un elemento 2121 fotosensible correspondiente. Los segundos electrodos de todos los tubos 2122 de transmisión se acoplan colectivamente a un electrodo de puerta del seguidor 2123 de fuente y se acoplan a un convertidor 2124 analógico-digital mediante el electrodo fuente del seguidor 2123 de fuente. El seguidor 2123 de fuente puede ser un transistor MOS. Dos subunidades 2120 de píxeles fotosensibles se acoplan al sumador 213 mediante sus respectivos seguidores 2123 de fuente y sus respectivos convertidores 2124 analógico-digital.

Al menos en una realización, cuatro elementos 2121 fotosensibles adyacentes en una unidad 210a de píxeles fotosensibles del sensor 200 de imágenes según una realización de la presente descripción usan colectivamente una unidad 220a de filtro con el mismo color que la unidad de píxeles fotosensibles. Cada elemento 2121 fotosensible se acopla a un tubo 2122 de transmisión de manera correspondiente. Dos elementos 2121 fotosensibles adyacentes usan colectivamente un seguidor 2123 de fuente y un convertidor 2124 analógico-digital. Cuatro elementos 2121 fotosensibles adyacentes usan colectivamente un sumador 213.

Además, cuatro elementos 2121 fotosensibles adyacentes están dispuestos en una agrupación de 2 por 2. Dos elementos 2121 fotosensibles en una subunidad 2120 de píxeles fotosensibles pueden estar en una misma fila.

Durante un proceso de formación de imágenes, cuando cuatro elementos 2121 fotosensibles cubiertos por una misma unidad 220a de filtros se exponen simultáneamente, la imagen de bloque de color puede emitirse mediante el tratamiento de imágenes.

En detalle, el elemento 2121 fotosensible está configurado para convertir la luz a cargas, y la cantidad de cargas es proporcional a una intensidad de iluminación. El tubo 2122 de transmisión está configurado para controlar un circuito para encenderse o apagarse según una señal de control. Cuando se enciende el circuito, el seguidor 2123 de fuente está configurado para convertir la carga generada a través de la iluminación de la luz a una señal de tensión. El convertidor 2124 analógico-digital está configurado para convertir la señal de tensión a una señal digital. El sumador 2122 está configurado para añadir y emitir dos señales digitales.

Con referencia a la fig. 6, se toma un sensor 200 de imagen de 16M como ejemplo. El sensor de imagen según una realización de la presente descripción puede emitir píxeles 212 fotosensibles de 16M, es decir, el sensor 200 de imagen emite la imagen de bloque de color. La imagen de bloque de color incluye unidades de píxeles de imagen. La unidad de píxeles de imagen incluye píxeles originales dispuestos en una agrupación de 2 por 2. El tamaño del píxel original es el mismo que el del píxel fotosensible. Sin embargo, ya que una unidad 220a de filtros que cubre cuatro elementos 2121 fotosensibles adyacentes tiene un mismo color (es decir, aunque cuatro elementos 2121 fotosensibles están expuestos respectivamente, la unidad 220a de filtro que cubre los cuatro elementos fotosensibles tiene un mismo color), cuatro píxeles originales adyacentes en cada unidad de píxeles de imagen de la imagen emitida tiene un mismo color y así, no se puede aumentar la resolución de la imagen.

En algunas realizaciones, cuando se emite una imagen de bloque de color, se emite cada píxel 212 fotosensible de forma separada. Ya que cuatro píxeles 212 fotosensibles adyacentes tienen un mismo color, cuatro píxeles originales adyacentes y una unidad de píxeles de imagen tienen un mismo color, que forman una agrupación atípica de Bayer. Sin embargo, la agrupación atípica de Bayer no puede procesarse directamente. Por lo tanto, se requiere convertir la imagen de bloque de color a la imagen de simulación, y la imagen de simulación incluye píxeles de simulación dispuestos en la agrupación predeterminada o en la agrupación de Bayer. De esta manera, la unidad de píxeles de imagen en una agrupación atípica de Bayer puede convertirse a píxeles de simulación dispuestos en la agrupación típica de Bayer.

Además, cuando se aplica el modo HDR, los múltiples fotogramas de la imagen de bloque de color emitida bajo diferentes parámetros de exposición son fusionados para obtener la imagen de bloque de color en el modo HDR, es decir, la imagen de bloque de color HDR.

Como se ha descrito anteriormente, cada una de las unidades de píxeles de imagen en la imagen de bloque de color está dispuesta en la agrupación atípica de Bayer. Por lo tanto, no puede procesarse directamente, y lo mismo es cierto para la imagen de bloque de color HDR. Al menos en una realización, si una imagen de color verdadero HDR ha de ser emitida, se requiere procesar la imagen de bloque de color HDR. Por ejemplo, la imagen de bloque de color HDR puede convertirse a la imagen de simulación por el algoritmo de interpolación.

Con referencia a la fig. 7, en algunas implementaciones, la acción en el bloque 30 incluye lo siguiente.

En el bloque 32, se determina si un color de un píxel de simulación es idéntico al de un píxel original en una misma posición como el píxel de simulación, si es así, se ejecuta una acción en el bloque 34, de lo contrario, se ejecuta una acción en el bloque 36.

En el bloque 34, un valor de píxel del píxel original se determina como un valor de píxel del píxel de simulación.

En el bloque 36, el valor de píxel del píxel de simulación se determina según un valor de píxel de un píxel de asociación.

El píxel de asociación se selecciona de una unidad de píxeles de imagen con un mismo color como el píxel de simulación y adyacente a una unidad de píxeles de imagen incluyendo el píxel original.

Con referencia a la fig. 8, para los píxeles de simulación R3'3' y R5'5', los píxeles originales correspondientes son R33 y B55.

Cuando se obtiene el píxel de simulación R3'3', ya que el píxel de simulación R3'3' tiene el mismo color que el píxel original R33 correspondiente, el valor de píxel del píxel original R33 se determina directamente como el valor de píxel del píxel de simulación R3'3' durante la conversión.

Cuando se obtiene el píxel de simulación R5'5', ya que el píxel de simulación R5'5' tiene un color diferente al del píxel original B55 correspondiente, el valor de píxel del píxel original B55 no se puede determinar directamente como el valor de píxel del píxel de simulación R5'5', y se requiere calcular el valor de píxel del píxel de simulación R5'5' según un píxel de asociación del píxel de simulación R5'5' mediante un algoritmo de interpolación.

Debería observarse que, un valor de píxel de un píxel mencionado en el contexto debería comprenderse en un sentido amplio como un valor de atributo de color del píxel, tal como un valor de color.

El píxel de asociación se selecciona de una unidad de píxeles de asociación. Puede haber más de una unidad de píxeles de asociación para cada píxel de simulación, por ejemplo, puede haber cuatro unidades de píxeles de asociación, en las que las unidades de píxeles de asociación tienen el mismo color que el píxel de simulación y son adyacentes al píxel original en la misma posición que el píxel de simulación.

Debería observarse que, "adyacente" aquí debería comprenderse en un sentido amplio. Tomando la fig. 8 como ejemplo, el píxel de simulación R5'5' corresponde con el píxel original B55. Las unidades 400, 500, 600 y 700 de píxeles de imagen se seleccionan como unidades de píxeles de asociación, pero otras unidades de píxeles de imagen rojos alejadas de la unidad de píxeles de imagen donde se encuentra el píxel original B55 no se seleccionan como unidades de píxeles de asociación. En cada unidad de píxeles de asociación, el píxel original rojo más cercano al píxel original B55 se selecciona como el píxel de asociación, lo que significa que los píxeles de asociación del píxel de simulación R5'5' incluyen los píxeles originales R44, R74, r 47 y R77. El píxel de simulación R5'5' es adyacente a y tiene el mismo color que los píxeles originales R44, R74, R47 y R77.

En diferentes casos, los píxeles originales se pueden convertir a píxeles de simulación de diferentes maneras, convirtiendo así la imagen de bloque de color HDR en la imagen de simulación. Ya que el sensor 200 de imagen adopta los filtros en la agrupación de Bayer, se mejora la relación señal-ruido de la imagen. Durante el procedimiento de tratamiento de imágenes, se realiza el tratamiento de interpolación en la imagen de bloque de color HDR, de tal manera que se puede mejorar la capacidad de distinción y la resolución de la imagen.

Con referencia a la fig. 9, en algunas implementaciones, la acción en el bloque 36 (es decir, determinar el valor de píxel del píxel de simulación según el valor de píxel del píxel de asociación) incluye lo siguiente.

En el bloque 361, se calcula un cambio del color del píxel de simulación en cada dirección de al menos dos direcciones según el valor de píxel del píxel de asociación.

En el bloque 362, se calcula un peso en cada dirección de dichas al menos dos direcciones según el cambio.

En el bloque 363, se calcula el valor de píxel del píxel de simulación según el peso y el valor de píxel del píxel de asociación.

En detalle, el tratamiento de interpolación se realiza de la siguiente manera: con referencia a los cambios de energía de la imagen en diferentes direcciones y según los pesos de los píxeles de asociación en diferentes direcciones, el valor de píxel del píxel de simulación se calcula mediante una interpolación lineal. Desde la dirección que tiene un cambio de energía más pequeño, puede obtener un valor de referencia más alto, es decir, el peso para esta dirección en la interpolación es alto.

En algunos ejemplos, por razones de conveniencia, solamente se consideran la dirección horizontal y la dirección vertical.

El valor de píxel del píxel de simulación R5'5' se obtiene mediante una interpolación basada en los píxeles originales R44, R74, R47 y R77. Ya que no existe píxel original con un mismo color que el píxel de simulación (es decir, R) en la dirección horizontal y en la dirección vertical del píxel original R55 correspondiente al píxel de simulación R5'5', un componente de este color (es decir, R) en cada una de las direcciones horizontal y vertical se calcula según los píxeles de asociación. Los componentes en la dirección horizontal son R45 y R75, los componentes en la dirección vertical son R54 y R57. Todos los componentes se pueden calcular según los píxeles originales R44, R74, R47 y R77.

En detalle, R45=R44*2/3+R47*1/3, R75=2/3*R74+1/3*R77, R54=2/3*R44+1/3*R74, R57=2/3*R47+1/3*R77.

El cambio de color y el peso en cada una de las direcciones horizontal y vertical se calculan respectivamente. Al menos en una realización, según el cambio de color en cada dirección, se determina el peso de referencia en cada dirección usado en la interpolación. El peso en la dirección con un pequeño cambio es alto, mientras que el peso en la dirección con un cambio grande es bajo. El cambio en la dirección horizontal es X1=|R45-R75|. El cambio en la dirección vertical es X2=|R54-R57|, W1=X1/(X1+X2), W2=X2/(X1+X2).

Después del cálculo anterior, el valor de píxel del píxel de simulación R5'5' se puede calcular como R5'5'=(2/3*R45+1/3*R75)*W2 (2/3*R54+1/3*R57)*W1. Se puede comprender que, si X1>X2, entonces W1>W2. El peso en la dirección horizontal es W2, y el peso en la dirección vertical es W1, y viceversa.

Por consiguiente, el valor de píxel del píxel de simulación puede calcularse mediante el algoritmo de interpolación. Después de los cálculos en los píxeles de asociación, los píxeles originales se pueden convertir en los píxeles de simulación dispuestos en la agrupación típica de Bayer. Al menos en una realización, cuatro píxeles de simulación adyacentes dispuestos en la agrupación de 2 por 2 incluyen un píxel de simulación rojo, dos píxeles de simulación verdes y un píxel de simulación azul.

Debería observarse que, el tratamiento de interpolación no se limita al método mencionado anteriormente, en el que solamente se consideran los valores de píxeles de píxeles con un mismo color que el píxel de simulación en la dirección vertical y en la dirección horizontal durante el cálculo del valor de píxel del pixel de simulación. En otras realizaciones, también se pueden considerar los valores de píxel de píxeles con otros colores.

Con referencia a la Fig. 10, en algunas realizaciones, antes de la acción en el bloque 36, el método incluye además realizar una compensación del balance de blancos sobre la imagen del bloques de color HDR, como se ilustra en el bloque 35a.

Por consiguiente, después de la acción en 36, el método incluye además realizar una compensación de balance de blancos inversa sobre la imagen de simulación, como se ilustra en el bloque 37a.

En detalle, en algunos ejemplos, cuando se convierte la imagen de bloque de color HDR en la imagen de simulación, durante la interpolación, los píxeles de simulación rojo y azul no se refieren solamente a los pesos de color de los píxeles originales que tienen el mismo color que los píxeles de simulación, sino también se refieren a los pesos de color de los píxeles originales con el color verde. Así, se requiere realizar la compensación del balance de blancos antes de la interpolación para excluir un efecto del balance de blancos en el cálculo de interpolación. Con el fin de evitar el balance de blancos de la imagen de bloque de color, se requiere realizar la compensación de balance de blancos inversa después de la interpolación según los valores de ganancia de los colores rojo, verde y azul en la compensación.

De esta manera, se puede excluir el efecto del balance de blancos en el cálculo de interpolación, y la imagen de simulación obtenida después de la interpolación puede mantener el balance de blancos de la imagen de bloque de color.

Con referencia nuevamente a la fig. 10, en algunas implementaciones, antes de la acción en el bloque 36, el método incluye además realizar una compensación de punto incorrecto sobre la imagen del bloques de color HDR, como se ilustra en el bloque 35b.

Se puede comprender que, limitado por el proceso de fabricación, puede haber puntos incorrectos en el sensor 200 de imagen. El punto incorrecto presenta un mismo color todo el tiempo sin variar con la fotosensibilidad, lo que afecta la calidad de la imagen. Con el fin de asegurar la precisión de la interpolación e impedir el efecto de los puntos incorrectos, se requiere realizar la compensación del punto incorrecto antes de la interpolación.

En detalle, durante la compensación del punto incorrecto, se detectan los píxeles originales. Cuando un píxel original se detecta como el punto incorrecto, la compensación de punto incorrecto se realiza según los valores de píxel de otros píxeles originales en la unidad de píxeles de imagen donde se encuentra el píxel original.

De esta manera, se puede evitar el efecto del punto incorrecto en la interpolación, mejorando así la calidad de la imagen.

Con referencia nuevamente a la fig. 10, en algunas implementaciones, antes de la acción en el bloque 36, el método incluye realizar una compensación de diafonía sobre la imagen del bloques de color HDR, como se ilustra en el bloque 35c.

En detalle, cuatro píxeles fotosensibles en una unidad de píxeles fotosensibles cubren los filtros con el mismo color, y los píxeles 212 fotosensibles tienen diferencias en fotosensibilidad, de tal manera que puede producirse ruido de espectro fijo en áreas de color puro en la imagen de simulación de color verdadero emitida después de convertir la imagen de simulación y la calidad de la imagen puede verse afectada. Por lo tanto, se requiere realizar la compensación de diafonía.

Con referencia a la fig. 11, como se ha explicado anteriormente, con el fin de realizar la compensación de diafonía, se requiere obtener los parámetros de compensación durante el proceso de fabricación del sensor 200 de imagen, y almacenar los parámetros relacionados con la compensación de diafonía en el almacenamiento del aparato de formación de imágenes o en el dispositivo electrónico proporcionado con el aparato de formación de imágenes, tal como el teléfono móvil o la tableta.

En algunas implementaciones, una acción para configurarlos parámetros de compensación puede incluir lo siguiente.

En el bloque 351, se proporciona un entorno luminoso predeterminado.

En el bloque 352, se configuran los parámetros de formación de imágenes del aparato de formación de imágenes.

En el bloque 353, se capturan imágenes de múltiples fotogramas.

En el bloque 354, se procesan las imágenes de múltiples fotogramas para obtener los parámetros de compensación de diafonía.

En el bloque 355, se almacenan los parámetros de compensación de diafonía.

El entorno luminoso predeterminado, por ejemplo, puede incluir una placa uniforme de LED que tiene una temperatura de color de aproximadamente 5000K y un brillo de aproximadamente 1000 lux. Los parámetros de formación de imágenes pueden incluir un valor de ganancia, un valor de obturador y una ubicación de una lente. Después de configurar los parámetros relacionados, se pueden obtener los parámetros de compensación de diafonía.

Durante el proceso, se obtienen múltiples imágenes de bloque de color usando los parámetros de imagen predeterminados en el entorno luminoso predeterminado, y se fusionan en una imagen fusionada de bloque de color, de tal manera que se puede reducir el efecto del ruido causado por el uso de una sola imagen de bloque de color como referencia.

Con referencia a la fig. 12, se toma la unidad de píxeles de imagen Gr como ejemplo. La unidad de píxeles de imagen Gr incluye los píxeles originales Gr1, Gr2, Gr3 y Gr4. El propósito de la compensación de diafonía es ajustar los píxeles fotosensibles que pueden tener diferentes fotosensibilidades para tener la misma fotosensibilidad. Un valor de píxel promedio de la unidad de píxeles de imagen es Gr_avg=(Gr1+Gr2+Gr3+Gr4)/4, que representa un nivel promedio de fotosensibilidades de los cuatro píxeles fotosensibles. Al configurar el valor promedio como un valor de referencia, se calculan las relaciones de Gr1/Gr_avg, Gr2/Gr_avg, Gr3/Gr_avg y Gr4/Gr_avg. Puede comprenderse que, mediante el cálculo de una relación del valor de píxel de cada píxel original al valor de píxel promedio de la unidad de píxeles de imagen, se puede reflejar una desviación entre cada píxel original y el valor de referencia. Se pueden registrar cuatro relaciones en un almacenamiento de un dispositivo relacionado como parámetros de compensación, y se pueden recuperar durante el proceso de formación de imágenes para compensar cada píxel original, reduciendo así la diafonía y mejorando la calidad de la imagen.

Generalmente, después de configurar los parámetros de compensación de diafonía, la verificación se realiza en los parámetros para determinar la precisión de los parámetros.

Durante la verificación, se obtiene una imagen de bloque de color con el mismo entorno luminoso y los mismos parámetros de formación de imágenes que el entorno luminoso predeterminado y los parámetros de imagen predeterminados, y la compensación de diafonía se realiza sobre la imagen de bloque de color según los parámetros de compensación calculados para calcular el Gr'_avg compensado, Gr'1/Gr'_avg, Gr'2/Gr'_avg, Gr'3/Gr'_avg y Gr'4/Gr'_avg. La precisión de los parámetros se puede determinar según los resultados de los cálculos desde una perspectiva macro y una perspectiva micro. A partir de la perspectiva micro, cuando un cierto píxel original después de la compensación aún tiene una gran desviación que el usuario puede detectar fácilmente después del proceso de formación de imágenes, significa que los parámetros no son precisos. A partir de la perspectiva macro, cuando hay demasiados píxeles originales con desviaciones después de la compensación, el usuario puede detectar las desviaciones como un todo, incluso si un solo píxel original tiene una pequeña desviación, y en este caso, los parámetros tampoco son precisos. Así, se puede establecer un umbral de relación para la perspectiva micro, y otro umbral de relación y un umbral numérico se pueden establecer para la perspectiva macro. De esta manera, la verificación se puede realizar en los parámetros de compensación de diafonía para asegurar la precisión de los parámetros de compensación y para reducir el efecto de la diafonía en la calidad de la imagen.

Con referencia a la fig. 13, en algunas implementaciones, después de la acción en el bloque 36, el método incluye además realizar al menos una corrección de forma de espejo, un tratamiento de interpolación cromática, un tratamiento de eliminación de ruidos y un tratamiento de nitidez de bordes sobre la imagen de simulación, como se ilustra en el bloque 37b.

Se puede comprender que, después de que la imagen de bloque de color HDR se convierta en imagen de simulación, los píxeles de simulación están dispuestos en la agrupación típica de Bayer. La imagen de simulación se puede procesar, durante la cual, se incluyen la corrección de la forma de espejo, el tratamiento de interpolación cromática, el tratamiento de eliminación de ruidos y el tratamiento de nitidez de bordes, de tal manera que la imagen procesada se puede convertir en la imagen de color verdadero.

En otro aspecto, la presente descripción proporciona también un aparato de tratamiento de imágenes.

La fig. 14 es un diagrama de bloques de un aparato de tratamiento de imágenes según una realización de la presente descripción. Con referencia a la fig. 14, se ilustra un aparato 100 de tratamiento de imágenes. El aparato 100 de tratamiento de imágenes se aplica en un dispositivo electrónico. El dispositivo electrónico incluye un aparato de formación de imágenes que incluye un sensor 200 de imagen. Como se ha ilustrado anteriormente, el sensor 200 de imagen incluye una agrupación 210 de unidades de píxeles fotosensibles y una agrupación 220 de unidades de filtros dispuestas en la agrupación 210 de unidades de píxeles fotosensibles. Cada unidad 220a de filtros corresponde con una unidad 210a de píxeles fotosensibles, y cada unidad 210a de píxeles fotosensibles incluye una pluralidad de píxeles 212 fotosensibles. Al menos en una realización, existe una correspondencia uno a uno entre las unidades de píxeles fotosensibles y las unidades de filtros. El aparato 100 de tratamiento de imágenes incluye un módulo 110 de control, un módulo 120 de fusión y un módulo 130 de conversión.

El módulo 110 de control está configurado para controlar la agrupación de unidades de píxeles fotosensibles para exponer con diferentes parámetros de exposición y emitir múltiples fotogramas de imagen de bloque de color. Cada fotograma de la imagen de bloque de color incluye unidades de píxeles de imagen dispuestas en una agrupación predeterminada. Cada unidad de píxeles de imagen incluye una pluralidad de píxeles originales, y cada píxel 212 fotosensible corresponde con un píxel original. Al menos en una realización, existe una correspondencia uno a uno entre los píxeles fotosensibles y los píxeles originales. El módulo 120 de fusión está configurado para fusionar los múltiples fotogramas de la imagen de bloque de color para obtener una imagen de bloque de color HDR. El módulo 130 de conversión está configurado para convertir la imagen de bloque de color HDR en una imagen de simulación usando un algoritmo de interpolación. La imagen de simulación incluye píxeles de simulación dispuestos en una agrupación, y cada píxel 212 fotosensible corresponde con un píxel de simulación. Al menos en una realización, existe una correspondencia uno a uno entre los píxeles fotosensibles y los píxeles de simulación.

Al menos en una realización, la acción en el bloque 10 puede implementarse mediante el módulo 110 de control. La acción en el bloque 20 puede implementarse mediante el módulo 120 de fusión. La acción en el bloque 30 puede implementarse mediante el módulo 130 de conversión.

Con referencia a la fig. 15, en algunas implementaciones, el módulo 130 de conversión incluye una primera unidad 132 de determinación, una segunda unidad 134 de determinación, y una tercera unidad 136 de determinación. La primera unidad 132 de determinación está configurada para determinar si un color de un píxel de simulación es idéntico al de un píxel original en una misma posición que el píxel de simulación. La segunda unidad 134 de determinación está configurada para determinar un valor de píxel del píxel original como un valor de píxel del píxel de simulación cuando el color del píxel de simulación es idéntico al color del píxel original en la misma posición que el píxel de simulación. La tercera unidad 136 de determinación está configurada para determinar el valor de píxel del píxel de simulación según los valores de píxel de los píxeles de asociación cuando el color del píxel de simulación es diferente del color del píxel original en la misma posición que el píxel de simulación. Los píxeles de asociación son seleccionados a partir de una unidad de píxeles de imagen con un mismo color que el píxel de simulación y adyacentes a la unidad de píxeles de imagen que incluyen el píxel original.

Al menos en una realización, la acción en el bloque 32 puede implementarse mediante el primer módulo 132 de determinación. La acción en el bloque 34 puede implementarse mediante el segundo módulo 134 de determinación. La acción en el bloque 36 puede implementarse mediante el tercer módulo 136 de determinación.

Con referencia a la fig. 16, en algunas implementaciones la tercera unidad 136 de determinación incluye una primera subunidad 1361 de cálculo, una segunda subunidad 1362 de cálculo y una tercera subunidad 1363 de cálculo. La primera subunidad 1361 de cálculo está configurada para calcular un cambio del color del píxel de simulación en cada dirección de al menos dos direcciones según el valor de píxel del píxel de asociación. La segunda subunidad 1362 de cálculo está configurada para calcular un peso en cada dirección de dichas al menos dos direcciones según el cambio. La tercera subunidad 1363 de cálculo está configurada para calcular el valor de píxel del píxel de simulación según el peso y el valor de píxel del píxel de asociación.

Al menos en una realización, la acción en el bloque 361 puede implementarse mediante la primera subunidad 1361 de cálculo. La acción en el bloque 362 puede implementarse mediante la segunda subunidad 1362 de cálculo. La acción en el bloque 363 puede implementarse mediante la tercera subunidad 1363 de cálculo.

Con referencia a la fig. 17, en algunas implementaciones, el módulo 130 de conversión incluye además una primera unidad 135a de compensación y una unidad 137a de restauración. La primera unidad 135a de compensación está configurada para realizar una compensación de balance de blancos sobre la imagen de bloque de color HDR. La unidad 137a de restauración está configurada para realizar una compensación de balance de blancos inversa sobre la imagen de simulación.

En al menos una realización, la acción en el bloque 35a se puede implementar mediante la primera unidad 135a de compensación. La acción en el bloque 37a se puede implementar mediante la unidad 137a de restauración.

Con referencia nuevamente a la fig. 17, en algunas implementaciones, el módulo 130 de conversión incluye además al menos una de entre una segunda unidad 135b de compensación y una tercera unidad 135c de compensación. La segunda unidad 135b de compensación está configurada para realizar una compensación de punto incorrecto sobre la imagen de bloque de color HDR. La tercera unidad 135c de compensación está configurada para realizar una compensación de diafonía sobre la imagen de bloque de color HDR.

Al menos en una realización, la acción en el bloque 35b puede implementarse mediante la segunda unidad 135b de compensación. La acción en el bloque 35c puede implementarse mediante la tercera unidad 135c de compensación.

Con referencia a la fig. 18, en algunas implementaciones, el módulo 130 de conversión incluye una unidad 137b de tratamiento. La unidad 137b de tratamiento está configurada para realizar al menos uno de entre una corrección de forma de espejo, un tratamiento de interpolación cromática, un tratamiento de eliminación de ruidos y un tratamiento de nitidez de bordes sobre la imagen de simulación. Al menos en una realización, la acción en el bloque 37b puede implementarse mediante la unidad 137b de tratamiento.

La presente descripción proporciona también un dispositivo electrónico.

La figura 19 es un diagrama de bloques de un dispositivo electrónico según una realización de la presente descripción. Con referencia a la fig. 19, el dispositivo 10000 electrónico de la presente descripción incluye un alojamiento 10001, un procesador 10002, una memoria 10003, una placa 10006 de circuito, un circuito 10007 de alimentación eléctrica y un aparato 2000 de formación de imágenes. La placa 10006 de circuito está limitada por el alojamiento 10001. El procesador 10002 y la memoria 10003 están posicionados sobre la placa 10006 de circuito. El circuito 10007 de alimentación eléctrica está configurado para proporcionar energía a los circuitos o componentes respectivos del dispositivo 10000 electrónico. La memoria 10003 está configurada para almacenar códigos de programa ejecutables.

El aparato 2000 de formación de imágenes incluye un sensor 200 de imagen. Como se ha ilustrado anteriormente, el sensor 200 de imagen incluye una agrupación 210 de unidades de píxeles fotosensibles y una agrupación 220 de unidades de filtros dispuestas en la agrupación 210 de unidades de píxeles fotosensibles. Cada unidad 220a de filtros corresponde con una unidad 210a de píxeles fotosensibles, y cada unidad 210a de píxeles fotosensibles incluye una pluralidad de píxeles 212 fotosensibles. Al menos en una realización, existe una correspondencia uno a uno entre las unidades de píxeles fotosensibles y las unidades de filtro.

El procesador 10002 está configurado para ejecutar un programa correspondiente a los códigos de programa ejecutables mediante la lectura de los códigos de programa ejecutables almacenados en la memoria, para realizar las siguientes operaciones: controlar la agrupación de unidades de píxeles fotosensibles para exponer con diferentes parámetros de exposición y emitir múltiples fotogramas de imagen de bloque de color, en que, cada fotograma de la imagen de bloque de color incluye unidades de píxeles de imagen dispuestas en una agrupación predeterminada, cada unidad de píxeles de imagen incluye una pluralidad de píxeles originales, y cada píxel fotosensible corresponde con un píxel original; fusionar los múltiples fotogramas de la imagen de bloque de color para obtener una imagen de bloque de color HDR; convertir la imagen de bloque de color HDR a una imagen de simulación usando un algoritmo de interpolación, en el que, la imagen de simulación incluye píxeles de simulación dispuestos en una agrupación, y cada píxel fotosensible corresponde con un píxel de simulación.

En algunas implementaciones, el aparato de formación de imágenes incluye una cámara frontal o una cámara real (no ilustrada en la fig. 19).

En algunas implementaciones, el procesador 10002 está configurado para ejecutar un programa correspondiente a los códigos de programa ejecutables mediante la lectura de los códigos de programa ejecutables almacenados en la memoria, para realizar la conversión de la imagen de bloque de color HDR a una imagen de simulación usando un algoritmo de interpolación mediante las acciones de: determinar si un color de un píxel de simulación es idéntico al de un píxel original en la misma posición que el píxel de simulación; cuando el color del píxel de simulación es idéntico al del píxel original en la misma posición que el píxel de simulación, determinar un valor de píxel del píxel original como valor de píxel del píxel de simulación; y cuando el color del píxel de simulación es diferente al del píxel original en la misma posición que el píxel de simulación, determinar el valor de píxel del píxel de simulación según un valor de píxel de un píxel de asociación, en el que se selecciona el píxel de asociación a partir de una unidad de píxeles de imagen con un mismo color que el píxel de simulación y adyacente a una unidad de píxeles de imagen que incluye el píxel original.

En algunas implementaciones, el procesador 1002 está configurado para ejecutar un programa correspondiente a los códigos de programa ejecutables mediante la lectura de los códigos de programa ejecutables almacenados en la memoria, para realizar la determinación del valor de píxel del píxel de simulación según un valor de píxel de un píxel de asociación mediante las acciones de: calcular un cambio del color del píxel de simulación en cada dirección de al menos dos direcciones según el valor de píxel del píxel de asociación; calcular un peso en cada dirección de dichas al menos dos direcciones según el cambio; y calcular el valor de píxel del píxel de simulación según el peso y el valor de píxel del píxel de asociación.

En algunas implementaciones, el procesador 10002 está configurado para ejecutar un programa correspondiente a los códigos de programa ejecutables mediante la lectura de los códigos de programa ejecutables almacenados en la memoria, para realizar las siguientes operaciones: realizar una compensación del balance de blancos sobre la imagen del bloques de color HDR; y realizar una compensación de balance de blancos inversa sobre la imagen de simulación.

En algunas implementaciones, el procesador 10002 está configurado para ejecutar un programa correspondiente a los códigos de programa ejecutables mediante la lectura de los códigos de programa ejecutables almacenados en la memoria, para realizar la siguiente operación: realizar al menos una de entre una compensación de punto incorrecto y una compensación de diafonía sobre la imagen del bloques de color HDR.

En algunas implementaciones, el procesador 10002 está configurado para ejecutar un programa correspondiente a los códigos de programa ejecutables mediante la lectura de los códigos de programa ejecutables almacenados en la memoria, para realizar las siguientes operaciones: realizar al menos una de entre una corrección de forma de espejo, un tratamiento de interpolación cromática, un tratamiento de eliminación de ruido y un tratamiento de nitidez de bordes sobre la imagen de simulación.

En algunas implementaciones, el dispositivo electrónico puede ser un teléfono móvil o una tableta, que no se ha limitado en la presente memoria.

El dispositivo 10000 electrónico puede incluir además un componente de entrada (no ilustrado en la fig. 19). Debería comprenderse que, el componente de entrada puede incluir además uno o más de los siguientes: una interfaz de entrada, un botón físico del dispositivo 10000 electrónico, un micrófono, etc.

Debería comprenderse que el dispositivo 10000 electrónico puede incluir además uno o más de los siguientes componentes (no ilustrados en la fig. 19): un componente de audio, una interfaz de entrada/salida (E/S), un componente de sensor y un componente de comunicación. El componente de audio está configurado para emitir y/o recibir señales de audio, por ejemplo, el componente de audio incluye un micrófono. La interfaz de E/S está configurada para proporcionar una interfaz entre el procesador 10002 y los módulos de interfaz periféricos. El componente de sensor incluye uno o más sensores para proporcionar evaluaciones de estado de diversos aspectos del dispositivo 10000 electrónico. El componente de comunicación está configurado para facilitar la comunicación, cableada o inalámbrica, entre el dispositivo 10000 electrónico y otros dispositivos.

Debería comprenderse que la fraseología y la terminología usadas en la presente memoria con referencia a la orientación del dispositivo o del elemento (tales como, términos como "centro", "longitudinal", "lateral", "longitud", "ancho", "altura", "arriba", "abajo", "frontal", "posterior", "izquierda", "derecha", "vertical", "horizontal", "superior", "inferior", "dentro", "fuera", "en el sentido de las agujas del reloj", "en sentido contrario a las agujas del reloj", "axial", "radial", "circunferencial") solamente se usan para simplificar la descripción de la presente invención, y no indican ni implican que el dispositivo o elemento al que se hace referencia deba tener o ser operado en una orientación particular. No pueden ser vistos como límites a la presente descripción.

Además, los términos "primero" y "segundo" solamente se usan para la descripción y no se puede considerar que indiquen o impliquen una importancia relativa o que indiquen o impliquen el número de las características técnicas indicadas. Así, las características definidas con "primero" y "segundo" pueden comprender o implicar al menos una de estas características. En la descripción de la presente exposición, "una pluralidad de” significa dos o más de dos, a menos que se especifique lo contrario.

En la presente descripción, a menos que se especifique o se limite lo contrario, los términos "montado", "conectado", "acoplado", "fijo" y similares se usan ampliamente, y pueden ser, por ejemplo, conexiones fijas, conexiones desmontables o conexiones integrales; También pueden ser conexiones mecánicas o eléctricas; También pueden ser conexiones directas o conexiones indirectas mediante estructuras intermedias; También pueden ser comunicaciones internas de dos elementos o interacciones de dos elementos, que pueden ser comprendidas por los expertos en la técnica según situaciones específicas.

En la presente descripción, a menos que se especifique o se limite lo contrario, una estructura en la que una primera característica está "en" una segunda característica puede incluir una realización en la que la primera característica está directamente en contacto con la segunda característica, y también puede incluir una realización en la que la primera característica está indirectamente en contacto con la segunda característica mediante un medio intermedio. Además, una estructura en la que una primera característica está "en", "sobre" o "encima" de una segunda característica puede indicar que la primera característica está justo encima de la segunda característica u oblicuamente encima de la segunda característica, o simplemente indica que un nivel horizontal de la primera característica es mayor que el de la segunda característica. Una estructura en la cual una primera característica está "por debajo", o "debajo" de una segunda característica puede indicar que la primera característica está justo debajo de la segunda característica u oblicuamente debajo de la segunda característica, o simplemente indica que el nivel horizontal de la primera característica es inferior que el de la segunda característica.

En la siguiente descripción se proporcionan varias realizaciones y ejemplos para implementar diferentes estructuras de la presente descripción. Con el fin de simplificar la presente descripción, se describirán ciertos elementos y configuraciones. Sin embargo, estos elementos y configuraciones son solamente ejemplos y no pretenden limitar la presente descripción. Además, los números de referencia se pueden repetir en diferentes ejemplos en la descripción. Esta repetición es con el propósito de simplificación y clarificación, y no se refiere a las relaciones entre diferentes realizaciones y/o configuraciones. Además, en la presente descripción se proporcionan ejemplos de diferentes procesos y materiales. Sin embargo, los expertos en la técnica apreciarían que también se pueden aplicar otros procesos y/o materiales.

La referencia a lo largo de esta especificación a "una realización", "algunas realizaciones", "un ejemplo", "un ejemplo específico" o "algunos ejemplos", significa que una característica, estructura, material o distintivo particular descrito en relación con la realización o se incluye un ejemplo al menos en una realización o ejemplo de la presente descripción. En esta especificación, las descripciones ejemplares de los términos mencionados anteriormente no se refieren necesariamente a la misma realización o ejemplo. Además, las características, estructuras, materiales o distintivos particulares se pueden combinar de cualquier manera adecuada en una o más realizaciones o ejemplos. Además, los expertos en la técnica podrían combinar diferentes realizaciones o diferentes características en realizaciones o ejemplos descritos en la presente descripción.

Se puede comprender que cualquier proceso o método descrito en un diagrama de flujo o descrito en la presente memoria de otras maneras incluye uno o más módulos, segmentos o porciones de códigos de instrucciones ejecutables para lograr funciones o etapas lógicas específicas en el proceso, y el alcance de una realización preferida de la presente descripción incluye otras implementaciones, en donde el orden de ejecución puede diferir de lo que se representa o se describe, incluyendo según la función involucrada, ejecutándose concurrentemente o con concurrencia parcial o en el orden contrario para realizar la función, que debería comprenderse por los expertos en la técnica.

La lógica y/o la etapa descritas de otras maneras en la presente memoria o mostradas en el diagrama de flujo, por ejemplo, una tabla de secuencia particular de instrucciones ejecutables para realizar la función lógica, pueden lograrse específicamente en cualquier medio legible por ordenador para ser usado por el sistema, dispositivo o equipos de ejecución de instrucciones (tales como el sistema basado en ordenadores, el sistema que comprende procesadores u otros sistemas capaces de adquirir la instrucción del sistema, dispositivo y equipos de ejecución de instrucciones y ejecutar la instrucción), o para usarse en combinación con el sistema, dispositivo y equipos de ejecución de instrucciones. En cuanto a la especificación, "el medio legible por ordenador" puede ser cualquier dispositivo adaptable para incluir, almacenar, comunicar, propagar o transferir programas para ser usados por o en combinación con el sistema, dispositivo o equipo de ejecución de instrucciones. Los ejemplos más específicos del medio legible por ordenador comprenden, pero no están limitados a: una conexión electrónica (un dispositivo electrónico) con uno o más cables, un recinto de ordenador portátil (un dispositivo magnético), una memoria de acceso aleatorio (RAM), una memoria de solo lectura (ROM), una memoria de solo lectura programable y que se puede borrar (EPROM o memoria flash), un dispositivo de fibra óptica y una memoria de solo lectura de disco compacto portátil (CDROM). Además, el medio legible por ordenador puede ser incluso un papel u otro medio apropiado capaz de imprimir programas en él, esto se debe a que, por ejemplo, el papel u otro medio apropiado puede ser ópticamente escaneado y a continuación editado, desencriptado o procesado con otros métodos apropiados cuando sea necesario para obtener los programas de una manera eléctrica, y a continuación los programas pueden almacenarse en las memorias del ordenador.

Debería comprenderse que cada parte de la presente descripción puede realizarse mediante hardware, software, firmware o su combinación. En las realizaciones anteriores, una serie de etapas o métodos pueden realizarse mediante el software o el firmware almacenado en la memoria y ejecutados por el sistema de ejecución de instrucciones apropiado. Por ejemplo, si se realiza mediante el hardware, del mismo modo en otra realización, las etapas o métodos se pueden realizar mediante una o una combinación de los siguientes procedimientos conocidos en la técnica: un circuito lógico discreto que tiene un circuito de puerta lógica para realizar una función lógica de una señal de datos, un circuito integrado específico de la aplicación que tiene un circuito de puerta lógica de combinación apropiada, una agrupación de puerta programable (PGA), una agrupación de puerta programable de campo (FPGA), etc.

Los expertos en la técnica comprenderán que la totalidad o parte de las etapas en el método de ejemplificación anterior para la presente descripción se puede lograr al ordenar el hardware relacionado con los programas, los programas se pueden almacenar en un medio de almacenamiento legible por ordenador, y los programas comprende uno o una combinación de las etapas en las realizaciones del método de la presente descripción cuando se ejecuta en un ordenador.

Además, cada celda de función de las realizaciones de la presente descripción puede integrarse en un módulo de tratamiento, o estas celdas pueden ser de existencia física separada, o dos o más celdas están integradas en un módulo de tratamiento. El módulo integrado puede realizarse en forma de hardware o en forma de módulos de funciones de software. Cuando el módulo integrado se realiza en una forma de módulo de función de software y se vende o se usa como un producto independiente, el módulo integrado puede almacenarse en un medio de almacenamiento legible por ordenador.

El medio de almacenamiento mencionado anteriormente puede ser, memorias de solo lectura, discos magnéticos, CD, etc.

Aunque las realizaciones de la presente descripción se han mostrado y descrito anteriormente, debería comprenderse que las realizaciones anteriores son solamente explicativas, y no pueden construirse para limitar la presente descripción, para los expertos en la técnica, pueden hacerse cambios, alternativas y modificaciones a las realizaciones sin desviarse del espíritu, principios y alcance de la presente descripción.

Claims

REIVINDICACIONES

1. - Un método de tratamiento de imágenes para un dispositivo electrónico que incluye un sensor (200) de imagen, el sensor (200) de imagen comprende una agrupación (210) de unidades (210a) de píxeles fotosensibles y una agrupación (220) de unidades (220a) de filtros dispuestas en la agrupación (210) de unidades (210a) de píxeles fotosensibles, cada unidad (220a) de filtros corresponde con una unidad (210a) de píxeles fotosensibles, y comprende una pluralidad de filtros con un mismo color, cada unidad (210a) de píxeles fotosensibles comprende una pluralidad de píxeles (212) fotosensibles adyacentes entre sí, y cada píxel (212) fotosensible está cubierto por un filtro, estando caracterizado por que, el método de tratamiento de imágenes comprende:

controlar (10) la agrupación (210) de unidades (210a) de píxeles fotosensibles para exponer con diferentes parámetros de exposición y emitir múltiples fotogramas de imagen de bloque de color, en donde, cada fotograma de imagen de bloque de color comprende unidades de píxeles de imagen correspondientes a unidades de píxeles fotosensibles dispuestas en una agrupación predeterminada, la agrupación predeterminada comprende una agrupación de Bayer, cada unidad del píxel de imagen comprende una pluralidad de píxeles originales adyacentes entre sí y dispuestos en agrupación, y cada píxel (212) fotosensible corresponde con un píxel original;

fusionar (20) los múltiples fotogramas de la imagen de bloque de color para obtener una imagen de bloque de color HDR;

realizar una compensación (35a) de balance de blancos sobre la imagen de bloque de color HDR;

convertir (30) la imagen de bloque de color HDR con balance de blancos en una imagen de simulación usando un algoritmo de interpolación, en donde, la imagen de simulación comprende píxeles de simulación dispuestos en la agrupación de Bayer, y cada píxel (212) fotosensible corresponde con un píxel de simulación; y realizar una compensación (37a) de balance de blancos inversa sobre la imagen de simulación.

2. - El Método de tratamiento de imágenes según la reivindicación 1, en donde la conversión (30) de la imagen de bloque de color HDR a una imagen de simulación usando un algoritmo de interpolación comprende:

determinar (32) si un color de un píxel de simulación es idéntico al de un píxel de la imagen de bloque de color HDR en una misma posición que la del píxel de simulación;

cuando el color del píxel de simulación es idéntico al del píxel de la imagen de bloque de color HDR en la misma posición que el píxel de simulación, determinar (34) un valor de píxel del píxel de imagen de bloque de color HDR como un valor de píxel del píxel de simulación; y

cuando el color del píxel de simulación es diferente al del píxel de imagen de bloque de color HDR en la misma posición que el píxel de simulación, determinar (36) el valor de píxel del píxel de simulación según un valor de píxel de un píxel de asociación, en donde se selecciona el píxel de asociación en una unidad de píxeles de imagen con un mismo color que el píxel de simulación y adyacente a una unidad de píxeles de imagen que comprende el píxel de imagen de bloque de color HDR.

3. - El método de tratamiento de imágenes según la reivindicación 2, en donde, la determinación (36) del valor del píxel de simulación según un valor de pixel de un píxel de asociación comprende:

calcular (361) un cambio del color del píxel de simulación en cada dirección de al menos dos direcciones según el valor de píxel del píxel de asociación;

calcular (362) un peso en cada dirección de dichas al menos dos direcciones según el cambio; y

calcular (363) el valor de píxel del píxel de simulación según el peso y el valor de píxel del píxel de asociación.

4. - El método de tratamiento de imágenes según cualquiera de las reivindicaciones 1 a 3, que comprende además:

realizar al menos una de entre una compensación (35b) de punto incorrecto y una compensación (35c) de diafonía sobre la imagen de bloque de color HDR;

5. - El método de tratamiento de imágenes según cualquiera de las reivindicaciones 1 a 4, que comprende además:

realizar (37b) al menos uno de entre un tratamiento de interpolación cromática, un tratamiento de eliminación de ruido y un tratamiento de nitidez de bordes sobre la imagen de simulación.

6. - Un dispositivo electrónico que comprende un aparato (100) de tratamiento de imágenes, y un sensor (200) de imagen, el sensor (200) de imágenes comprende una agrupación (210) de unidades (210a) de píxeles fotosensibles y una agrupación (220) de unidades (220a) de filtros dispuestas en la agrupación (210) de unidades (210a) de píxeles fotosensibles, cada unidad (220a) de filtros corresponde con una unidad (210a) de píxeles fotosensibles, y comprende una pluralidad de filtros con un mismo color, y cada unidad (210a) de píxeles fotosensibles comprende una pluralidad de píxeles (212) fotosensibles adyacentes entre sí, y cada píxel (212) fotosensible está cubierto por un filtro; estando caracterizado por que, el aparato (100) de tratamiento de imágenes comprende:

Un módulo (110) de control, configurado para controlar la agrupación (210) de unidades (210a) de píxeles fotosensibles para exponer con diferentes parámetros de exposición y emitir múltiples fotogramas de imagen de bloque de color, en donde, cada fotograma de la imagen de bloque de color comprende unidades de píxeles de imagen correspondientes a unidades de píxeles fotosensibles respectivas dispuestas en una agrupación predeterminada, la agrupación predeterminada comprende una agrupación de Bayer, cada unidad de píxeles de imagen comprende una pluralidad de píxeles originales adyacentes entre sí y dispuestos en agrupación, y cada píxel (212) fotosensible corresponde con un píxel original;

un módulo (120) de fusión, configurado para fusionar los múltiples fotogramas de la imagen de bloque de color para obtener una imagen de bloque de color HDR (alto rango dinámico); y

un módulo (130) de conversión, configurado para convertir la imagen de bloque de color HDR en una imagen de simulación usando un algoritmo de interpolación, en donde, la imagen de simulación comprende píxeles de simulación dispuestos en la agrupación de Bayer, y cada píxel fotosensible corresponde con un píxel de simulación,

en donde el módulo (130) de conversión comprende:

una primera unidad (135a) de compensación configurada para realizar una compensación de balance de blancos sobre la imagen de bloque de color HDR antes de la conversión de la imagen de bloque de color HDR con balance de blancos en la imagen de simulación; y

una unidad (137a) de restauración configurada para realizar una compensación de balance de blancos inversa sobre la imagen de simulación.

7. - El aparato (100) de tratamiento de imágenes según la reivindicación 6, en donde el módulo (130) de conversión comprende:

una primera unidad (132) de determinación, configurada para determinar si un color de un píxel de simulación es idéntico al de un píxel de la imagen de bloque de color HDR en una misma posición que el píxel de simulación;

una segunda unidad (134) de determinación, configurada para determinar un valor de píxel del píxel de imagen de bloque de color HDR como un valor de píxel del píxel de simulación cuando el color del píxel de simulación es idéntico al del píxel de imagen de bloque de color HDR en la misma posición que el píxel de simulación; y

una tercera unidad (136) de determinación, configurada para determinar el valor de píxel del píxel de simulación según un valor de píxel de un píxel de asociación cuando el color del píxel de simulación es diferente al del píxel de la imagen de bloque de color HDR en la misma posición que el píxel de simulación, en donde se selecciona el píxel de asociación en una unidad de píxeles de imagen con un mismo color que el píxel de simulación y adyacente a una unidad de píxeles de imagen que comprende el píxel de imagen de bloque de color HDR.

8. - El aparato (100) de tratamiento de imágenes según la reivindicación 7, en donde la tercera unidad (136) de determinación comprende:

una primea subunidad (1361) de cálculo, configurada para calcular un cambio del color del píxel de simulación en cada dirección de al menos dos direcciones según el valor de píxel del píxel de asociación;

una segunda subunidad (1362) de cálculo, configurada para calcular un peso en cada dirección de dichas al menos dos direcciones según el cambio; y

una tercera subunidad (1363) de cálculo, configurada para calcular el valor de píxel del píxel de simulación según el peso y el valor de píxel del píxel de asociación.

9. - El aparato (100) de tratamiento de imágenes según cualquiera de las reivindicaciones 6 a 8, en donde el módulo (130) de conversión comprende al menos una de entre una segunda unidad (135b) de compensación y una tercera unidad (135c) de compensación; en donde

la segunda unidad (135b) de compensación está configurada para realizar una compensación de punto incorrecto sobre la imagen de bloque de color HDR; y

la tercera unidad (135c) de compensación está configurada para realizar una compensación de diafonía sobre la imagen de bloque de color HDR.

10. - El aparato (100) de tratamiento de imágenes según cualquiera de las reivindicaciones 6 a 9, en donde el módulo (130) de conversión comprende:

una unidad (137c) de tratamiento, configurada para realizar al menos uno de entre un tratamiento de interpolación cromática, un tratamiento de eliminación de ruido y un tratamiento de nitidez de bordes sobre la imagen de simulación.

11.- Un dispositivo (10000) electrónico, que comprende un alojamiento (10001), un procesador (10002), una memoria (10003), una placa (10006) de circuito, un circuito (10007) de alimentación eléctrica y un aparato (2000) de formación de imágenes, en donde, la placa (10006) de circuito está dispuesta dentro de un espació delimitado por el alojamiento (10001);

el procesador (10002) y la memoria (10003) están dispuestos sobre la placa (10006) de circuito;

el circuito (10007) de alimentación eléctrica está configurado para proporcionar energía a los circuitos o componentes respectivos del dispositivo (10000) electrónico;

el aparato (2000) de formación de imágenes comprende un sensor (200) de imagen, en donde el sensor (200) de imagen comprende una agrupación (210) de unidades (210a) de píxeles fotosensibles y una agrupación (220) de unidades (220a) de filtros dispuestas en la agrupación (210) de unidades (210a) de píxeles fotosensibles, cada unidad (220a) de filtros corresponde con una unidad (210a) de píxeles fotosensibles, y comprende una pluralidad de filtros, y la unidad (210a) de píxeles fotosensibles comprende una pluralidad de píxeles (212) fotosensibles adyacentes entre sí, y cada píxel (212) fotosensible está cubierto por un filtro;

la memoria (10003) está configurada para almacenar códigos de programa ejecutables; en donde el procesador (10002) está configurado para ejecutar un programa correspondiente a los códigos de programa ejecutables mediante la lectura de los códigos de programa ejecutables almacenados en la memoria (10002), para realizar un método de tratamiento de imágenes según cualquiera de las reivindicaciones 1 a 5.