ES2925453T3 - Dispositivo de adquisición de imágenes y procedimiento de control del mismo - Google Patents

Dispositivo de adquisición de imágenes y procedimiento de control del mismo Download PDF

Info

Publication number
ES2925453T3
ES2925453T3 ES20190447T ES20190447T ES2925453T3 ES 2925453 T3 ES2925453 T3 ES 2925453T3 ES 20190447 T ES20190447 T ES 20190447T ES 20190447 T ES20190447 T ES 20190447T ES 2925453 T3 ES2925453 T3 ES 2925453T3
Authority
ES
Spain
Prior art keywords
image
data
sub
acquisition device
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES20190447T
Other languages
English (en)
Inventor
Jaeho Jung
Yeultak Sung
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Application granted granted Critical
Publication of ES2925453T3 publication Critical patent/ES2925453T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/60Image enhancement or restoration using machine learning, e.g. neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Vehicle Body Suspensions (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

Se proporciona un sistema de inteligencia artificial (AI) que imita funciones, como el reconocimiento y la determinación por parte del cerebro humano, mediante el uso de un algoritmo de aprendizaje automático y aplicaciones del sistema Al. Se describe un dispositivo de adquisición de imágenes que incluye una cámara configurada para adquirir una primera imagen, al menos un procesador configurado para: introducir la primera imagen en una primera red neuronal de IA; detectar, mediante la primera red neuronal Al a partir de datos correspondientes a una pluralidad de objetos incluida la primera imagen, primeros datos correspondientes al objeto principal y segundos datos correspondientes al subobjeto, y generar, utilizando una segunda red neuronal Al, una segunda imagen mediante la restauración de terceros datos correspondientes a al menos una parte del objeto principal oculta por el subobjeto, en el que los terceros datos reemplazan a los segundos datos; y una pantalla configurada para mostrar al menos una de la primera imagen y la segunda imagen. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Dispositivo de adquisición de imágenes y procedimiento de control del mismo
Campo técnico
Una o más realizaciones se refieren a un dispositivo de adquisición de imágenes y a un procedimiento de control del mismo.
Técnica anterior
Los sistemas de inteligencia artificial (AI) son sistemas informáticos configurados para llevar a cabo una inteligencia de nivel humano y entrenarse y tomar determinaciones de forma espontánea para ser más inteligentes, en contraste con los sistemas inteligentes existentes basados en reglas. Dado que los índices de reconocimiento de los sistemas de IA han mejorado y los sistemas de IA comprenden con mayor precisión las preferencias del usuario cuanto más se utilizan, los sistemas inteligentes basados en reglas existentes están siendo sustituidos gradualmente por sistemas de IA de aprendizaje profundo.
La tecnología de IA incluye el aprendizaje automático (aprendizaje profundo) y las tecnologías de elementos que emplean el aprendizaje automático.
El aprendizaje automático es una tecnología de algoritmos que autoclasifica/aprende las características de los datos de entrada, y cada una de las tecnologías de elementos es una tecnología que utiliza un algoritmo de aprendizaje automático, tal como el aprendizaje profundo, e incluye campos técnicos, tales como la comprensión lingüística, la comprensión visual, la deducción/predicción, la representación del conocimiento y el control de operaciones.
Varios campos a los que se aplica la tecnología de IA son los siguientes. La comprensión lingüística es una técnica de reconocimiento del lenguaje/carácter de un humano y de aplicación/procesamiento del lenguaje/carácter de un humano, e incluye el procesamiento del lenguaje natural, la traducción automática, un sistema de conversación, preguntas y respuestas, reconocimiento/síntesis de voz, y similares. La comprensión visual es una técnica de reconocimiento y procesamiento de un objeto como en la visión humana, e incluye el reconocimiento de objetos, el seguimiento de objetos, la búsqueda de imágenes, el reconocimiento humano, la comprensión de la escena, la comprensión del espacio, la mejora de la imagen y similares. La deducción/predicción es una tecnología que permite llevar a cabo deducciones y predicciones lógicas mediante la determinación de la información, e incluye la deducción basada en el conocimiento/probabilidad, la predicción de optimización, un plan basado en las preferencias, la recomendación, etc. La representación del conocimiento es una técnica de procesamiento automático de la información de la experiencia humana como datos de conocimiento, e incluye el establecimiento del conocimiento (generación/clasificación de datos), la gestión del conocimiento (utilización de datos), y similares. El control de funcionamiento es una técnica de control de la conducción autónoma de un vehículo y de los movimientos de un robot, e incluye el control del movimiento (navegación, evitación de colisiones y conducción), el control de la manipulación (control del comportamiento) y otros similares.
La tecnología de IA también se puede utilizar para adquirir imágenes, tales como fotografías o imágenes en movimiento. Chao Yang et al, High-Resolution Image Inpainting using Multi-Scale Neural Patch Synthesis, ARXIV.ORG, 30 de noviembre de 2016 desvela el relleno de agujeros en imágenes naturales. El documento US 2015/178591A1 desvela un sistema para restaurar una imagen tomada a través de una ventana. Babaee Mohammadreza et al: Una red neuronal convolucional profunda para la sustracción de fondos de secuencias, Pattern Recognition, Elsevier, GB, vol. 76, 29 de septiembre de 2017, páginas. 635 a 649 y Lim Kyungsun et al: Sustracción de fondo utilizando una red neuronal convolucional estructurada codificadora-decodificadora, 14th IEEE International Conference on Advanced Video and Signal Based Surveillance, 29 de agosto de 2017, páginas 1­ 6 relacionan con la sustracción de fondo de vídeos por medio de redes neuronales.
Solución técnica
De acuerdo con un aspecto de la invención, se proporciona un procedimiento como el definido en la reivindicación 1 y un dispositivo de adquisición de imágenes como el definido en la reivindicación 6.
Las características opcionales se establecen en las reivindicaciones dependientes.
De acuerdo con un aspecto de esta divulgación, se proporciona un procedimiento de adquisición de una imagen por medio del uso de una red neuronal de inteligencia artificial (Al), el procedimiento incluye la adquisición de una primera imagen por medio del uso de una cámara, en la que una parte de un objeto principal está oculta de la cámara por un subobjeto.
Descripción de los Dibujos
Los anteriores y otros aspectos, características, y ventajas de determinadas realizaciones de la presente divulgación serán más evidentes a partir de la siguiente descripción tomada en conjunto con los dibujos adjuntos, en los cuales: La FIG. 1 ilustra un ejemplo en el que un dispositivo de adquisición de imágenes adquiere una imagen, de acuerdo con algunas realizaciones;
La FIG. 2 es un diagrama de flujo de un procedimiento, llevado a cabo por el dispositivo de adquisición de imágenes, para adquirir una imagen, de acuerdo con algunas realizaciones;
Las FIGS. 3, 4 y 5 son vistas que ilustran ejemplos de visualización de un indicador que señala un subobjeto, de acuerdo con algunas realizaciones;
La FIG. 6 es un diagrama de flujo de un procedimiento de restauración de al menos una parte de un objeto principal oculto por un subobjeto, de acuerdo con algunas realizaciones;
Las FIGS. 7, 8, 9, 10 y 11 ilustran ejemplos de restauración de al menos una parte de un objeto principal oculto por un subobjeto, de acuerdo con algunas realizaciones;
La FIG. 12 es un diagrama de flujo de un procedimiento de detección de un subobjeto en respuesta a una entrada del usuario, de acuerdo con algunas realizaciones;
Las FIGS. 13 y 14 ilustran ejemplos de detección de un subobjeto en respuesta a una entrada del usuario, de acuerdo con algunas realizaciones;
La FIG. 15 es un diagrama de flujo de un procedimiento para restaurar al menos una parte de un objeto principal oculto por un subobjeto en respuesta a una entrada del usuario, de acuerdo con algunas realizaciones;
Las FIGS. 16, 17 y 18 ilustran ejemplos de restauración de al menos una parte de un objeto principal oculto por un subobjeto, en respuesta a una entrada del usuario, de acuerdo con algunas realizaciones;
La FIG. 19 es un diagrama de flujo de un procedimiento de seguimiento de un movimiento de un subobjeto dentro de una imagen, de acuerdo con algunas realizaciones;
Las FIGS. 20, 21, 22 y 23 son vistas que ilustran ejemplos de seguimiento de un movimiento de un subobjeto dentro de una imagen, de acuerdo con algunas realizaciones;
La FIG. 24 es un diagrama de flujo de un procedimiento de restauración de al menos una parte de un objeto principal oculto por un subobjeto, en base a las ubicaciones relativas entre una cámara y al menos uno de los objetos principales y el subobjeto, de acuerdo con algunas realizaciones;
Las FIGS. 25 y 26 ilustran ejemplos de detección de un objeto principal y un subobjeto cuando la cámara se mueve, de acuerdo con algunas realizaciones;
La FIG. 27 es una vista que ilustra un procedimiento de visualización de un indicador que indica un subobjeto utilizando un servidor, de acuerdo con algunas realizaciones;
Las FIGS. 28 y 29 son vistas que ilustran ejemplos de visualización de un indicador que indica un subobjeto por medio del uso del servidor, de acuerdo con algunas realizaciones;
Las FIGS. 30 y 31 son diagramas de bloques del dispositivo de adquisición de imágenes de acuerdo con algunas realizaciones;
La FIG. 32 es un diagrama de bloques del servidor de acuerdo con algunas realizaciones;
La FIG. 33 es un diagrama de bloques de un procesador incluido en el dispositivo de adquisición de imágenes, de acuerdo con algunas realizaciones;
La FIG. 34 es un diagrama de bloques de un aprendiz de datos incluido en el procesador, de acuerdo con algunas realizaciones;
La FIG. 35 es un diagrama de bloques de un reconocedor de datos incluido en el procesador, de acuerdo con algunas realizaciones; y
La FIG. 36 es un diagrama de bloques que ilustra un ejemplo en el que el dispositivo de adquisición de imágenes y el servidor interoperan para aprender y reconocer datos, de acuerdo con algunas realizaciones.
Modo de la invención
Las realizaciones de la presente divulgación se describen en detalle en el presente documento con referencia a los dibujos adjuntos para que esta divulgación pueda ser llevada a cabo fácilmente por una persona con conocimientos ordinarios en la técnica a la que pertenece la presente divulgación. Sin embargo, la presente invención se puede llevar a cabo en muchas formas diferentes y no se limita en modo alguno a las realizaciones ejemplares expuestas en la presente memoria. En los dibujos, las partes irrelevantes para la descripción se omiten para simplificar la explicación, y los números similares se refieren a elementos similares en todo el documento.
Las realizaciones antes mencionadas se pueden describir en términos de componentes de bloques funcionales y varias etapas de procesamiento. Algunos o todos estos bloques funcionales pueden ser llevados a cabo por cualquier número de componentes de hardware y/o software configurados para llevar a cabo las funciones especificadas. Por ejemplo, los bloques funcionales de acuerdo con la divulgación pueden ser llevados a cabo por uno o más microprocesadores o por componentes de circuito para una función predeterminada. Además, por ejemplo, los bloques funcionales de acuerdo con la divulgación se pueden implementar con cualquier lenguaje de programación o de scripting. Los bloques funcionales se pueden implementar en algoritmos que se ejecutan en uno o más procesadores. Además, la divulgación descrita en el presente documento podría emplear cualquier número de técnicas convencionales para la configuración de la electrónica, el procesamiento y/o control de la señal, el procesamiento de datos y similares. Las palabras "mecanismo", "elemento", "medio" y "configuración" se utilizan en sentido amplio y no se limitan a las realizaciones mecánicas o físicas.
A lo largo de la especificación, cuando se hace referencia a un elemento como "conectado" o "acoplado" a otro elemento, puede estar directamente conectado o acoplado al otro elemento, o puede estar conectado o acoplado eléctricamente al otro elemento con elementos intermedios interpuestos entre ellos. Además, los términos "comprende" y/o "que comprende" o "incluye" y/o "incluyendo", cuando se utilizan en esta especificación, especifican la presencia de los elementos indicados, pero no excluyen la presencia o adición de uno o más elementos.
Además, las líneas de conexión o los conectores mostrados en las diversas figuras presentadas pretenden representar relaciones funcionales ejemplares y/o acoplamientos físicos o lógicos entre los diversos componentes. Las conexiones entre componentes pueden estar representadas por numerosas relaciones funcionales, conexiones físicas o conexiones lógicas alternativas o adicionales en un dispositivo práctico.
Aunque se pueden utilizar términos como "primero", "segundo", etc., para describir varios componentes, dichos componentes no se deben limitar a los términos mencionados. Los términos mencionados anteriormente se utilizan únicamente para distinguir un componente de otro.
Un objeto principal utilizado en la presente memoria significa un objeto que un usuario de un dispositivo de adquisición de imágenes 1000 desea incluir en una imagen, y un subobjeto utilizado en la presente memoria significa un objeto que el usuario no desea incluir en una imagen.
La divulgación se describirá ahora más completamente con referencia a los dibujos adjuntos, en los que se muestran realizaciones ejemplares de la divulgación.
La FIG. 1 ilustra un ejemplo en el que el dispositivo de adquisición de imágenes 1000 adquiere una imagen, de acuerdo con algunas realizaciones.
Con referencia a la FIG. 1, el dispositivo de adquisición de imágenes 1000 adquiere una imagen mediante el uso de una cámara incluida en el dispositivo de adquisición de imágenes 1000. En el ejemplo de la Figura 1, los objetos 1a, 1b, 2a, 2b y 2c están en un campo de visión de la cámara. En el ejemplo de la Figura 1, el objeto 1b es un edificio y los objetos 2a, 2b, 2c y 1a son personas. Partes del edificio 1b no son visibles para la cámara porque están ocultas detrás de los objetos 2a, 2b, 2c y 1a. La imagen adquirida por el dispositivo de adquisición de imágenes 1000 puede incluir objetos principales 1a y 1b y subobjetos 2a, 2b y 2c.
Cuando sea necesario para la claridad, el objeto tridimensional en el campo de visión de la cámara se distinguirá de una imagen del objeto tridimensional capturado por la cámara. La cosa tridimensional en el campo de visión puede ser referida directamente como el objeto mientras que la imagen del objeto puede ser referida como los datos correspondientes al objeto. Por ejemplo, el edificio 1b es un objeto en el campo de visión de la cámara. La parte de una imagen que representa el edificio 1b se puede denominar datos correspondientes al edificio 1b. Cuando no hay riesgo de confusión al hablar del contenido de una imagen, los datos que representan un objeto se pueden denominar el objeto de la imagen, o algo similar.
El dispositivo de adquisición de imágenes 1000 puede detectar los objetos principales 1a y 1b y los subobjetos 2a, 2b y 2c a partir de la imagen adquirida. El dispositivo de adquisición de imágenes 1000 puede eliminar los subobjetos 2a, 2b y 2c de la imagen. En algunas realizaciones, la eliminación de un subobjeto se puede lograr por medio de la sustitución de los datos asociados al subobjeto por datos predeterminados que representan una pantalla en blanco. La eliminación de los subobjetos 2a, 2b y 2c de la imagen, en algunas realizaciones, se basa en un resultado de la detección de los objetos principales 1a y 1b y de los subobjetos 2a, 2b y 2c. El dispositivo de adquisición de imágenes 1000 puede restaurar al menos una parte del objeto principal 1b oculto por los subobjetos 2a, 2b y 2c, para de este modo adquirir una imagen. Por ejemplo, en la porción inferior de la FIG. 1 que muestra el dispositivo de adquisición de imágenes 1000 con una segunda imagen, después de eliminar los subobjetos 2a, 2b y 2c, el edificio 1b aparece ahora completo y continuo detrás del objeto 1a. Por ejemplo, una línea vertical completa que marca una esquina del edificio 1b, antes parcialmente oculta por el objeto 2c, aparece ahora completa para un espectador de la imagen.
La imagen adquirida por el dispositivo de adquisición de imágenes 1000 puede incluir una imagen final que se almacenará en el dispositivo de adquisición de imágenes 1000, y una imagen de vista previa que se muestra en el dispositivo de adquisición de imágenes 1000 para obtener la imagen final.
El dispositivo de adquisición de imágenes 1000 puede detectar al menos uno de los objetos principales 1a y 1b y los subobjetos 2a, 2b y 2c a partir de la imagen adquirida mediante el uso de un modelo entrenado 3000. El dispositivo de adquisición de imágenes 1000 puede restaurar al menos una parte del objeto principal 1b oculto por los subobjetos 2a, 2b y 2c, mediante el uso del modelo entrenado 3000. Tras el restablecimiento de la parte oculta del objeto 1b, el efecto acumulativo para un espectador de la imagen es el de una representación completa y continua del objeto 1b, incluida la parte que antes estaba oculta por uno o varios de los subobjetos.
El modelo entrenado 3000 puede incluir una pluralidad de modelos entrenados. En otras palabras, los modelos entrenados correspondientes a cada uno de los diversos usos pueden ser denominados colectivamente como el modelo entrenado 3000. Por ejemplo, el modelo entrenado 3000 incluye un primer modelo entrenado para detectar al menos uno de los objetos principales 1a y 1b y detectar al menos uno de los subobjetos 2a, 2b y 2c entre la pluralidad de objetos incluidos en la imagen y un segundo modelo entrenado para restaurar al menos una porción del objeto principal 1b oculta por los subobjetos 2a, 2b y 2c. En lo sucesivo, varios modelos entrenados para implementar las realizaciones desveladas se describen colectivamente como un modelo entrenado 3000.
El modelo entrenado 3000 se puede establecer al considerar, por ejemplo, un campo de aplicación de un modelo de reconocimiento, un propósito de aprendizaje o el rendimiento informático de un dispositivo. El modelo entrenado 3000 puede incluir, por ejemplo, un modelo basado en una red neuronal de IA. Por ejemplo, un modelo, tal como una red neuronal profunda (DNN), una red neuronal recurrente (RNN), o una DNN recurrente bidireccional (BRDNN), y Redes Generativas Adversariales (GAN) puede ser utilizado como el modelo entrenado 3000, pero las realizaciones no se limitan a ello.
De acuerdo con una realización, el modelo entrenado 3000 puede aprender datos de aprendizaje de acuerdo con una norma preestablecida para detectar al menos uno de los objetos principales 1a y 1b y los subobjetos 2a, 2b y 2c de la imagen adquirida. Por ejemplo, el modelo entrenado 3000 puede detectar al menos uno de los objetos principales 1a y 1b y los subobjetos 2a, 2b y 2c al llevar a cabo un aprendizaje supervisado, un aprendizaje no supervisado y un aprendizaje de refuerzo con respecto a los datos de aprendizaje. El modelo entrenado 3000 puede detectar al menos uno de los objetos principales 1a y 1b y los subobjetos 2a, 2b y 2c de la imagen adquirida por medio del aprendizaje de los datos de acuerdo con la tecnología DNN.
De acuerdo con una realización, el modelo entrenado 3000 puede aprender los datos de aprendizaje de acuerdo con una norma preestablecida para restaurar al menos una porción del objeto principal 1b oculto por los subobjetos 2a, 2b y 2c. Por ejemplo, el modelo entrenado 3000 puede restaurar al menos una porción del objeto principal 1b oculto por los subobjetos 2a, 2b y 2c realizando un aprendizaje supervisado, un aprendizaje no supervisado y un aprendizaje de refuerzo con respecto a los datos de aprendizaje. El modelo entrenado 3000 puede restaurar al menos una porción del objeto principal 1b oculto por los subobjetos 2a, 2b y 2c, por medio del aprendizaje de los datos de aprendizaje de acuerdo con la tecnología DNN.
De acuerdo con una realización, el usuario puede adquirir al menos una de las imágenes de vista previa y la imagen final, como una imagen que incluye sólo los objetos principales.
La FIG. 2 es un diagrama de flujo de un procedimiento, llevado a cabo por el dispositivo de adquisición de imágenes 1000, para adquirir una imagen, de acuerdo con algunas realizaciones. Las FIGS. 3 a 5 son vistas que ilustran ejemplos de visualización de un indicador que indica un subobjeto, de acuerdo con algunas realizaciones.
Con referencia a la FIG. 2, en la operación S210 el dispositivo de adquisición de imágenes 1000 puede adquirir una primera imagen mediante el uso de la cámara. En general, la cámara capta la luz de los objetos tridimensionales que se encuentran en el campo de visión de la cámara y graba imágenes bidimensionales compuestas por datos correspondientes a los objetos tridimensionales. En la operación S230, el diagrama de flujo de la FIG. 2 ilustra que el dispositivo de adquisición de imágenes 1000 puede detectar al menos uno de los objetos principales y un subobjeto de la primera imagen. Específicamente, esto puede ser referido como la detección de los primeros datos correspondientes al objeto principal y la detección de los segundos datos correspondientes al subobjeto. Sin embargo, por lo general, los datos de la imagen se pueden denominar directamente como el objeto cuando no hay riesgo de confusión. En la operación S250, el diagrama de flujo de la FIG. 2 ilustra que el dispositivo de adquisición de imágenes 1000 puede mostrar un indicador que señala el subobjeto detectado.
De acuerdo con una realización, el dispositivo de adquisición de imágenes 1000 puede adquirir la primera imagen mediante el uso de la cámara incluida en el dispositivo de adquisición de imágenes 1000. Alternativamente, el dispositivo de adquisición de imágenes 1000 puede adquirir una imagen de una cámara externa conectada al dispositivo de adquisición de imágenes 1000 de acuerdo con al menos una de las formas de cableado y una forma inalámbrica. La primera imagen adquirida por la cámara puede incluir una imagen de vista previa para adquirir una imagen final que se almacenará en el dispositivo de adquisición de imágenes 1000. La imagen de previsualización se puede mostrar en una pantalla del dispositivo de adquisición de imágenes 1000 o se puede mostrar en una pantalla externa conectada al dispositivo de adquisición de imágenes 1000 de acuerdo con al menos uno de los modos de conexión por cable y de los modos inalámbricos.
En la operación S230, el dispositivo de adquisición de imágenes 1000 puede detectar un objeto principal y un subobjeto de la primera imagen. El objeto principal puede incluir un objeto que el usuario del dispositivo de adquisición de imágenes 1000 desea incluir en la imagen final. El subobjeto también puede incluir otro objeto que el usuario no desee incluir en la imagen final.
Con referencia a la FIGS. 3 a 5, el dispositivo de adquisición de imágenes 1000 puede detectar los objetos principales 1a y 1b y los subobjetos 2a, 2b y 2c de la primera imagen.
De acuerdo con una realización, el objeto principal 1a incluye un humano. Por ejemplo, el objeto principal 1a puede incluir al usuario del dispositivo de adquisición de imágenes 1000. Alternativamente, el objeto principal 1a puede incluir una persona asociada al usuario del dispositivo de adquisición de imágenes 1000. En detalle, el objeto principal 1a puede ser un miembro de la familia, un amante o un pariente del usuario del dispositivo de adquisición de imágenes 1000.
De acuerdo con una realización, el objeto principal 1b puede incluir adicionalmente un edificio, una escultura y/o un paisaje natural. Por ejemplo, el objeto principal 1b puede incluir un punto de referencia de una región en la que se encuentra el dispositivo de adquisición de imágenes 1000. Como otro ejemplo, el objeto principal 1b puede incluir una escultura situada alrededor o cerca del dispositivo de adquisición de imágenes 1000. Como otro ejemplo, el objeto principal 1b puede incluir paisajes naturales, tales como el cielo, el césped, un lago y/o el mar.
De acuerdo con una realización, los subobjetos 2a, 2b y 2c pueden incluir personas. Por ejemplo, los subobjetos 2a, 2b y 2c incluyen a seres humanos situados cerca del usuario. En detalle, los subobjetos 2a, 2b y 2c pueden incluir un transeúnte que pasa cerca del usuario, una persona que está tomando una foto con el objeto principal 1b como fondo y una persona que vende algo cerca del usuario. En general, las personas incluidas en los subobjetos 2a, 2b y 2c pueden no estar relacionadas con el usuario, pero las realizaciones no se limitan a ello.
De acuerdo con una realización, un subobjeto puede incluir un objeto específico. Por ejemplo, un subobjeto puede incluir al menos un objeto que oculte el objeto principal 1b o una porción del objeto principal 1b dentro de la primera imagen. Por ejemplo, cuando un subobjeto en el campo de visión bloquea parte de la luz del objeto principal 1b que llega a la cámara, este bloqueo de luz significa que parte del objeto principal 1b queda oculto a la cámara por el subobjeto. Debido al bloqueo de la luz, los datos presentes en la imagen captada por la cámara son incompletos en el sentido de que porciones del objeto principal 1b no son visibles en la imagen captada por la cámara. Como ejemplos, un subobjeto puede incluir objetos, tales como un árbol, un cubo de basura, un quiosco de prensa, una pared y una valla de alambre de púas, que ocultan el objeto principal 1b, pero las realizaciones no se limitan a ello. De acuerdo con una realización, los objetos principales 1a y 1b y los subobjetos 2a, 2b y 2c se pueden detectar a partir de la primera imagen al introducir la primera imagen en una red neuronal de IA. Por ejemplo, la red neuronal de IA puede detectar varias porciones de datos dentro de la primera imagen, las diversas porciones de datos correspondientes respectivamente a los diferentes subobjetos. Por ejemplo, el dispositivo de adquisición de imágenes 1000 puede introducir la primera imagen en la red neuronal de IA, y la red neuronal de IA puede detectar al menos uno de los objetos principales 1a y 1b y los subobjetos 2a, 2b y 2c a partir de la primera imagen, en base a un resultado de aprendizaje de los datos de aprendizaje.
De acuerdo con una realización, la red neuronal de IA puede aprender mediante el uso de al menos una imagen almacenada en el dispositivo de adquisición de imágenes 1000 como datos de aprendizaje. Por ejemplo, la red neuronal de IA puede utilizar, como datos de aprendizaje, una imagen que incluya la cara del usuario e imágenes que incluyan las caras de personas asociadas con el usuario, en las que las imágenes se almacenan en el dispositivo de adquisición de imágenes 1000.
En muchos casos, el usuario del dispositivo de adquisición de imágenes 1000 toma fotos que incluyen su cara y las caras de las personas asociadas con el usuario. En consecuencia, una pluralidad de imágenes, cada una de las cuales incluye la cara del usuario, y una pluralidad de imágenes, cada una de las cuales incluye personas (miembros de la familia, un amante y parientes) asociadas con el usuario, se pueden almacenar en el dispositivo de adquisición de imágenes 1000. En consecuencia, cuando la red neuronal de IA aprende, como datos de aprendizaje, al menos una imagen almacenada en el dispositivo de adquisición de imágenes 1000, la red neuronal de IA puede detectar al menos uno de los usuarios y las personas asociadas con el usuario, como el objeto principal 1a.
El dispositivo de adquisición de imágenes 1000 puede almacenar una pluralidad de imágenes, cada una de ellas asociada a una región específica en la que se encuentra el usuario. Cuando el usuario quiere viajar a una región específica, generalmente busca materiales asociados a la región en Internet, y almacena las imágenes asociadas a la región en el dispositivo de adquisición de imágenes 1000. En particular, el usuario generalmente almacena las imágenes asociadas a los principales edificios, esculturas y paisajes naturales de la región específica en el dispositivo de adquisición de imágenes 1000. En consecuencia, cuando la red neuronal de IA aprende, como datos de aprendizaje, al menos una imagen almacenada en el dispositivo de adquisición de imágenes 1000, la red neuronal de IA puede detectar al menos uno de los edificios principales, las esculturas y los paisajes naturales de la región específica en la que se encuentra el usuario, como el objeto principal 1b.
De acuerdo con una realización, la red neuronal de IA puede aprender mediante el uso de al menos una imagen divulgada en Internet como datos de aprendizaje. Por ejemplo, la red neuronal de IA puede utilizar una imagen divulgada en Internet y asociada a la región específica, como datos de aprendizaje. Cuando el usuario quiere viajar a una región concreta, puede buscar imágenes asociadas a esa región en Internet. La red neuronal de IA puede detectar un edificio, una escultura y/o un paisaje natural de la región específica en la que se encuentra el usuario, como objeto principal 1b. La red neuronal de IA puede llevar a cabo la detección al aprender, como datos de aprendizaje, imágenes asociadas a la región específica encontrada por el usuario en Internet.
La red neuronal de IA puede utilizar imágenes divulgadas en Internet y asociadas a objetos generales, como datos de aprendizaje. La red neuronal de IA puede utilizar una pluralidad de imágenes divulgadas en Internet, como datos de aprendizaje, a fin de reconocer objetos generales (por ejemplo, un árbol, un cubo de basura, una farola, semáforos, un puesto, un humano y un animal) dentro de una imagen. La red neuronal de IA puede detectar los subobjetos 2a, 2b y 2c a partir de la primera imagen al aprender, como datos de aprendizaje, las imágenes asociadas a los objetos generales divulgados en Internet.
En la operación S250, el dispositivo de adquisición de imágenes 1000 puede mostrar un indicador que indique que un objeto detectado es un subobjeto. Por ejemplo, el dispositivo de adquisición de imágenes 1000 puede mostrar tanto la primera imagen como un indicador que señale un subobjeto, en la pantalla incluida en el dispositivo de adquisición de imágenes 1000. Alternativamente, el dispositivo de adquisición de imágenes 1000 puede mostrar tanto la primera imagen como un indicador que señale un subobjeto en la pantalla externa conectada al dispositivo de adquisición de imágenes 1000, en el que la conexión puede ser por cable o inalámbrica.
Con referencia a la FIGS. 3 a 5, el dispositivo de adquisición de imágenes 1000 puede mostrar un indicador que señale un subobjeto de acuerdo con varios procedimientos.
De acuerdo con una realización, el dispositivo de adquisición de imágenes 1000 puede mostrar indicadores 3a, 3b y 3c cerca de los subobjetos 2a, 2b y 2c, como se muestra en la FIG. 3. En detalle, el dispositivo de adquisición de imágenes 1000 puede mostrar indicadores 3a, 3b y 3c, cada uno con forma de estrella, cerca de los subobjetos 2a, 2b y 2c. Una persona con conocimientos ordinarios en la técnica reconocerá que un indicador se puede mostrar con diversas formas.
De acuerdo con una realización, el dispositivo de adquisición de imágenes 1000 puede mostrar un indicador que señala un subobjeto, al indicar los subobjetos 2a, 2b y 2c en líneas discontinuas, como se muestra en la FIG. 4. Por ejemplo, el dispositivo de adquisición de imágenes 1000 puede mostrar los subobjetos 2a, 2b y 2c delineando los subobjetos 2a, 2b y 2c con líneas discontinuas. Como otro ejemplo, el dispositivo de adquisición de imágenes 1000 puede mostrar los subobjetos 2a, 2b y 2c en líneas discontinuas semitransparentes, de forma que al menos una parte del objeto principal 1b oculto por los subobjetos 2a, 2b y 2c se muestra dentro de los subobjetos 2a, 2b y 2c. De acuerdo con una realización, el dispositivo de adquisición de imágenes 1000 puede mostrar un indicador que indique un subobjeto al superponer al menos porciones respectivas de los subobjetos 2a, 2b y 2c con al menos uno de los colores y patrones preestablecidos, como se muestra en la FIG. 5.
La FIG. 6 es un diagrama de flujo de un procedimiento de restauración de al menos una parte de un objeto principal oculto por un subobjeto, de acuerdo con algunas realizaciones. Las FIGS. 7 a 11 ilustran ejemplos de restauración de al menos una porción de un objeto principal oculto por un subobjeto, de acuerdo con algunas realizaciones. Con referencia a la FIG. 6, el dispositivo de adquisición de imágenes 1000 puede adquirir la primera imagen mediante el uso de la cámara, en la operación S610, detectar al menos uno de los objetos principales y un subobjeto de la primera imagen, en la operación S630, eliminar el subobjeto detectado de la primera imagen, en la operación S650, generar una segunda imagen al restaurar un área donde se encontraba el subobjeto eliminado, en la operación S670, y almacenar la segunda imagen generada, en la operación S690.
La operación S610 es similar a la operación S210, por lo que se omitirá una descripción redundante de la misma. La operación S630 es similar a la operación S230, por lo que se omitirá una descripción redundante de la misma. En la operación S650, el dispositivo de adquisición de imágenes 1000 puede eliminar el subobjeto detectado de la primera imagen. En algunas realizaciones, la eliminación del subobjeto detectado corresponde a la identificación de los datos dentro de la imagen para ser sobrescritos por una segunda imagen.
De acuerdo con una realización, como se muestra en la FIG. 7, el dispositivo de adquisición de imágenes 1000 puede eliminar, de la primera imagen, los datos asociados con al menos algunas áreas de la primera imagen en la que se encuentran los subobjetos detectados 2a, 2b y 2c. En detalle, el dispositivo de adquisición de imágenes 1000 puede eliminar sólo los datos asociados a los subobjetos 2a, 2b y 2c de la primera imagen. Alternativamente, como se muestra en las áreas 5a, 5b y 5c de la FIG. 8, el dispositivo de adquisición de imágenes 1000 puede eliminar, de la primera imagen, los datos asociados a las áreas 4a, 4b y 4c que incluyen los subobjetos 2a, 2b y 2c. El dispositivo de adquisición de imágenes 1000 puede mostrar o no una imagen de la que se han eliminado los datos asociados a un subobjeto.
De acuerdo con una realización, el dispositivo de adquisición de imágenes 1000 puede eliminar, de la primera imagen, los datos asociados con las al menos algunas áreas de la primera imagen en la que se encuentran los subobjetos 2a, 2b y 2c, mediante el uso de la red neuronal de IA. La red neuronal de IA puede detectar un área asociada a un subobjeto de forma que la restauración se lleve a cabo de forma eficiente, y eliminar el área detectada, al aprender como datos de aprendizaje una imagen parcialmente eliminada y una imagen en la que se ha restaurado una porción eliminada.
En la operación S670, el dispositivo de adquisición de imágenes 1000 puede restaurar las al menos algunas áreas de la primera imagen de las que se han eliminado datos. En algunas realizaciones, la restauración de los datos eliminados corresponde a la sustitución de los datos eliminados por otros datos, en la que los otros datos corresponden a una parte de un objeto, por ejemplo una parte de un edificio, que estaba oculta a la cámara en el momento de la captura de la primera imagen.
De acuerdo con una realización, el dispositivo de adquisición de imágenes 1000 puede restaurar las áreas 5a, 5b y 5c de las que se han eliminado datos, de forma que se incluya al menos una porción del objeto principal 1b oculto por los subobjetos 2a, 2b y 2c. Con referencia a la FIG. 9, el dispositivo de adquisición de imágenes 1000 puede restaurar las áreas 5a, 5b y 5c de las que se han eliminado datos, de forma que se incluya al menos una porción del objeto principal 1b, para de este modo obtener las áreas restauradas 6a, 6b y 6c.
De acuerdo con una realización, el dispositivo de adquisición de imágenes 1000 puede restaurar un área de la que se han eliminado datos, de forma que se incluya al menos una porción del objeto principal 1b, mediante el uso de la red neuronal de IA. Por ejemplo, la red neuronal de IA puede restaurar un área tal que la al menos porción del objeto principal 1b esté incluida, al aprender, como los datos de aprendizaje, al menos una imagen asociada con el objeto principal 1b. En detalle, la red neuronal de IA puede aprender, como datos de aprendizaje, al menos una imagen almacenada en el dispositivo de adquisición de imágenes 1000 y asociada al objeto principal 1b. La red neuronal de IA puede aprender al menos una imagen desvelada en Internet y asociada al objeto principal 1b, como datos de aprendizaje. La red neuronal de IA puede aprender imágenes asociadas a objetos generales, como los datos de aprendizaje. La red neuronal de IA puede generar una segunda imagen al restaurar un área de datos eliminados de forma que se incluya al menos una parte del objeto principal 1b, por medio de un modelo tal como una red generativa adversarial (GAN).
De acuerdo con una realización, el dispositivo de adquisición de imágenes 1000 puede restaurar el área eliminada de datos de forma que la nitidez de un área restaurada corresponde a la nitidez de la vecindad del área restaurada. La nitidez corresponde a una percepción subjetiva que está relacionada con el contraste de los bordes de una imagen. El dispositivo de adquisición de imágenes 1000 puede adquirir una primera imagen en la que el objeto principal 1a está "enfocado" y el objeto principal 1b está "desenfocado", por ejemplo, una primera nitidez" En este caso, el objeto principal 1a enfocado puede ser claro, y el objeto principal 1b desenfocado puede ser poco claro, por ejemplo, borroso. El dispositivo de adquisición de imágenes 1000 puede restaurar el área eliminada de datos de forma que la nitidez del área restaurada, por ejemplo, una segunda nitidez, corresponda a la nitidez, en este ejemplo, borrosa por estar desenfocada, por ejemplo, una primera nitidez, del objeto principal 1b incluido en la primera imagen.
De acuerdo con una realización, para restaurar el área eliminada de datos de forma que la nitidez del área restaurada corresponda a la nitidez de la vecindad del área restaurada, el dispositivo de adquisición de imágenes 1000 puede determinar la nitidez del objeto principal 1b incluido en el área restaurada para que corresponda a la nitidez del objeto principal 1b incluido en la primera imagen. El dispositivo de adquisición de imágenes 1000 puede llevar a cabo adicionalmente un procesamiento de imágenes de forma que la nitidez del objeto principal 1b incluido en la zona restaurada corresponda a la nitidez del objeto principal 1b incluido en la primera imagen.
Con referencia a la FIG. 10, las zonas del objeto principal 1b incluidas en las zonas restauradas 6d, 6e y 6f pueden ser más claras que las proximidades de las zonas restauradas 6d, 6e y 6f. Con referencia a la FIG. 11, el dispositivo de adquisición de imágenes 1000 puede llevar a cabo un procesamiento de imágenes de forma que la nitidez de un área claramente restaurada como en la FIG. 10 corresponde a la nitidez de las proximidades de la zona restaurada. Por ejemplo, el dispositivo de adquisición de imágenes 1000 puede llevar a cabo un procesamiento de imágenes para reducir la nitidez del objeto principal 1b incluido en las áreas restauradas 6d, 6e y 6f. La nitidez del objeto principal 1b incluida en las áreas de procesamiento de imágenes 6g, 6h y 6i puede corresponder a la nitidez del objeto principal 1b incluida en la primera imagen.
Aunque se ha descrito anteriormente que las áreas ocultas del objeto principal 1b se restauran claramente y luego se lleva a cabo adicionalmente un procesamiento de imágenes para reducir la nitidez de las áreas claramente restauradas del objeto principal 1b, las realizaciones no se limitan a ello. Sin llevar a cabo el procesamiento de la imagen para reducir la nitidez de las áreas claramente restauradas del objeto principal 1b, las áreas ocultas del objeto principal 1b se pueden restaurar de forma que la nitidez del objeto principal 1b incluida en las áreas restauradas corresponda a la nitidez de las proximidades de las áreas restauradas
La FIG. 12 es un diagrama de flujo de un procedimiento de detección de un subobjeto en correspondencia con una entrada del usuario, de acuerdo con algunas realizaciones. Las FIGS. 13 y 14 ilustran ejemplos de detección de un subobjeto en correspondencia con una entrada del usuario, de acuerdo con algunas realizaciones.
Con referencia a la FIG. 12, el dispositivo de adquisición de imágenes 1000 puede recibir una entrada de selección de un objeto incluido en una primera imagen, en la operación S1210, detectar el objeto seleccionado como un subobjeto, en la operación S1230, y mostrar un indicador que indique que el objeto detectado es un subobjeto, en la operación S1250.
En la operación S1210, el dispositivo de adquisición de imágenes 1000 puede recibir una entrada de selección de un objeto incluido en la primera imagen del usuario a través de una interfaz de entrada del usuario.
Con referencia a la FIG. 13, un usuario 10 puede seleccionar un objeto 2c incluido en la primera imagen mostrada en una pantalla táctil del dispositivo de adquisición de imágenes 1000. Por ejemplo, el usuario 10 puede seleccionar un área en la que se encuentra el objeto 2c, mediante el uso de la pantalla táctil.
En la operación S1230, el dispositivo de adquisición de imágenes 1000 puede detectar el objeto seleccionado 2c como un subobjeto.
De acuerdo con una realización, el dispositivo de adquisición de imágenes 1000 puede detectar el objeto seleccionado 2c como un subobjeto mediante el uso de la red neuronal de IA. La red neuronal de IA puede detectar las apariencias de los objetos (por ejemplo, un árbol, un cubo de basura, una farola, semáforos, un puesto, un humano y un animal) incluidos en una imagen por medio del aprendizaje de imágenes de las apariencias de los objetos como datos de aprendizaje. El dispositivo de adquisición de imágenes 1000 puede detectar un objeto que incluye un área que ha recibido una entrada del usuario o que se encuentra en las proximidades del área, por medio del uso de una red neuronal de IA.
Con referencia a la FIG. 13, el dispositivo de adquisición de imágenes 1000 puede detectar el objeto 2c situado en las proximidades de una zona que ha recibido una entrada del usuario 10. El dispositivo de adquisición de imágenes 1000 puede detectar la apariencia del objeto 2c, que también se denomina humano 2c, situado en las proximidades de la zona que ha recibido una entrada del usuario 10, mediante el uso de la red neuronal de IA. El dispositivo de adquisición de imágenes 1000 puede detectar al ser humano 2c como un subobjeto, en base a la apariencia del ser humano 2c detectado.
En la operación S1250, el dispositivo de adquisición de imágenes 1000 puede mostrar un indicador que indique que el objeto seleccionado 2c es un subobjeto.
Con referencia a la FIG. 14, el dispositivo de adquisición de imágenes 1000 puede mostrar un indicador en forma de estrella que indica que el objeto seleccionado 2c es un subobjeto, cerca del objeto 2c. Sin embargo, las realizaciones no se limitan a ello. Como se muestra en la FIG. 4, el objeto 2c puede estar marcado por una línea discontinua para indicar que el objeto 2c es un subobjeto. Como se muestra en la FIG. 5, al menos una porción del objeto 2c se puede superponer con al menos uno de los colores y patrones preestablecidos y luego se puede mostrar. El dispositivo de adquisición de imágenes 1000 puede mostrar un indicador que señale que el objeto seleccionado 2c es un subobjeto, en base al aspecto del objeto 2c detectado por medio de la red neuronal de IA. La FIG. 15 es un diagrama de flujo de un procedimiento para restaurar al menos una porción de un objeto principal oculto por un subobjeto en correspondencia con una entrada del usuario, de acuerdo con algunas realizaciones. Las FIGS. 16 a 18 ilustran ejemplos de restauración de al menos una parte de un objeto principal oculto por un subobjeto, en correspondencia con una entrada del usuario, de acuerdo con algunas realizaciones.
Con referencia a la FIG. 15, el dispositivo de adquisición de imágenes 1000 puede recibir una entrada de selección de un objeto incluido en una primera imagen (una "selección" de la representación, los datos o la apariencia del objeto en la primera imagen), en la operación S1510, detectar el objeto seleccionado como un subobjeto, en la operación S1530, eliminar el objeto seleccionado de la primera imagen, en la operación S1550, y generar una segunda imagen restaurando un área en la que se encontraba el objeto eliminado, en la operación S1570.
En la operación S1510, el dispositivo de adquisición de imágenes 1000 puede recibir una entrada de selección de un objeto incluido en la primera imagen, del usuario a través de la interfaz de entrada del usuario.
Con referencia a la FIG. 16, el usuario 10 puede seleccionar el objeto 2c incluido en la primera imagen mostrada en la pantalla táctil del dispositivo de adquisición de imágenes 1000. Por ejemplo, el usuario 10 puede seleccionar un área en la que se encuentra el objeto 2c, mediante el uso de la pantalla táctil.
En la operación S1530, el dispositivo de adquisición de imágenes 1000 puede detectar el objeto seleccionado 2c como un subobjeto. La operación S1530 es similar a la operación S1230, por lo que se omitirá una descripción redundante de la misma.
En la operación S1550, el dispositivo de adquisición de imágenes 1000 puede eliminar el objeto seleccionado 2c de la primera imagen.
De acuerdo con una realización, el dispositivo de adquisición de imágenes 1000 puede eliminar, de la primera imagen, los datos asociados con al menos alguna zona de la primera imagen en la que se encuentra el objeto 2c. Por ejemplo, el dispositivo de adquisición de imágenes 1000 puede eliminar sólo los datos asociados al subobjeto 2c de la primera imagen. Alternativamente, como se muestra en el área 7a de la FIG. 17, el dispositivo de adquisición de imágenes 1000 puede eliminar, de la primera imagen, los datos asociados a la zona 7a que incluye el subobjeto 2c. La operación S1550 es similar a la operación S650, por lo que se omitirá una descripción redundante de la misma.
En la operación S1570, el dispositivo de adquisición de imágenes 1000 puede restaurar al menos una parte de la primera imagen de la que se han eliminado datos.
De acuerdo con una realización, el dispositivo de adquisición de imágenes 1000 puede restaurar el área 7a de datos eliminados de forma que se incluya al menos una porción del objeto principal 1b oculto por el subobjeto 2c. Con referencia a la FIG. 18, el dispositivo de adquisición de imágenes 1000 puede restaurar el área 7a eliminada de datos de forma que se incluya al menos una parte del objeto principal 1b, para de este modo generar un área restaurada 7b. La operación S1570 es similar a la operación S670, por lo que se omitirá una descripción redundante de la misma.
La FIG. 19 es un diagrama de flujo de un procedimiento de seguimiento de un movimiento de un subobjeto dentro de una imagen, de acuerdo con algunas realizaciones. Las FIGS. 20 a 23 son vistas que ilustran ejemplos de seguimiento de un movimiento de un subobjeto dentro de una imagen, de acuerdo con algunas realizaciones.
Con referencia a la FIG. 19, el dispositivo de adquisición de imágenes 1000 puede adquirir una primera imagen mediante el uso de la cámara, en la operación S1910, detectar al menos uno de los objetos principales y un subobjeto de la primera imagen, en la operación S1930, seguir un movimiento del subobjeto detectado, en la operación S1950, y mostrar un indicador que indique el subobjeto detectado, en base al movimiento del subobjeto, en la operación S1970.
La operación S1910 es similar a la operación S210, por lo que se omitirá una descripción redundante de la misma. La operación S1930 es similar a la operación S230, por lo que se omitirá una descripción redundante de la misma. En la operación S1950, el dispositivo de adquisición de imágenes 1000 puede seguir el movimiento del subobjeto detectado.
De acuerdo con una realización, el dispositivo de adquisición de imágenes 1000 puede seguir los movimientos de los subobjetos 2a y 2b al introducir la primera imagen en la red neuronal de IA. Con referencia a la FIG. 20, la red neuronal de IA puede detectar las apariencias de los subobjetos 2a y 2b a partir de la primera imagen y puede seguir los movimientos de los subobjetos 2a y 2b, en base a las apariencias detectadas de los subobjetos 2a y 2b. Por ejemplo, la red neuronal de IA puede seguir el movimiento del subobjeto 2a de izquierda a derecha al reconocer la apariencia del subobjeto 2a como la forma de un humano que camina de izquierda a derecha. Como otro ejemplo, la red neuronal de IA puede seguir el movimiento del subobjeto 2b desde un extremo inferior izquierdo hasta un extremo superior derecho al reconocer la apariencia del subobjeto 2b como la forma de un humano que camina desde el extremo inferior izquierdo hasta el extremo superior derecho.
De acuerdo con una realización, el dispositivo de adquisición de imágenes 1000 puede seguir los movimientos de los subobjetos 2a y 2b mediante el uso de un sensor incluido en la cámara. El sensor incluido en la cámara puede incluir un sensor capaz de detectar una diferencia de fase de un objeto. El sensor de detección de diferencia de fase puede detectar un cambio de fase provocado de acuerdo con los movimientos de los subobjetos 2a y 2b. El dispositivo de adquisición de imágenes 1000 puede rastrear los movimientos de los subobjetos 2a y 2b, en base a los cambios de las fases de los subobjetos 2a y 2b detectados.
De acuerdo con una realización, el dispositivo de adquisición de imágenes 1000 puede adquirir una pluralidad de imágenes mediante el uso de la cámara y seguir el movimiento del subobjeto detectado, en base a la pluralidad de imágenes adquiridas. El dispositivo de adquisición de imágenes 1000 puede seguir los movimientos de los subobjetos 2a y 2b al introducir la pluralidad de imágenes adquiridas en la red neuronal de IA. Por ejemplo, el dispositivo de adquisición de imágenes 1000 puede seguir los movimientos de los subobjetos 2a y 2b al detectar los vectores de movimiento de los subobjetos 2a y 2b a partir de la primera imagen. El dispositivo de adquisición de imágenes 1000 puede detectar los vectores de movimiento de los subobjetos 2a y 2b al adquirir una pluralidad de imágenes antes y después de la primera imagen mediante el uso de la cámara e introducir la pluralidad de imágenes adquiridas antes y después de la primera imagen en la red neuronal de IA. Por ejemplo, la red neuronal AI puede detectar los vectores de movimiento de los subobjetos 2a y 2b al comparar los subobjetos 2a y 2b incluidos en la primera imagen con los subobjetos 2a y 2b incluidos en la pluralidad de imágenes adquiridas antes y después de la primera imagen. Como otro ejemplo, la red neuronal de IA puede detectar los vectores de movimiento de los subobjetos 2a y 2b al dividir la primera imagen en una pluralidad de bloques y cada una de la pluralidad de imágenes adquiridas antes y después de la primera imagen en una pluralidad de bloques y al comparar la pluralidad de bloques de la primera imagen con la pluralidad de bloques de cada una de la pluralidad de imágenes adquiridas antes y después de la primera imagen.
En la operación S1970, el dispositivo de adquisición de imágenes 1000 puede mostrar un indicador que señale el subobjeto detectado, en base al movimiento del subobjeto detectado.
Con referencia a la FIGS. 20 y 21, el dispositivo de adquisición de imágenes 1000 puede mostrar los indicadores 3a y 3b que indican los subobjetos 2a y 2b para corresponder a los movimientos de los subobjetos 2a y 2b. Cuando el subobjeto 2a se mueve hacia la derecha, el dispositivo de adquisición de imágenes 1000 puede mostrar el indicador 3a de forma que el indicador 3a situado cerca del subobjeto 2a se encuentra cerca del subobjeto 2a movido hacia la derecha. A medida que el subobjeto 2b se desplaza hacia el extremo superior derecho, el dispositivo de adquisición de imágenes 1000 puede mostrar el indicador 3b de forma que el indicador 3b situado cerca del subobjeto 2b se encuentre cerca del subobjeto 2b desplazado hacia el extremo superior derecho.
Con referencia a la FIGS. 22 y 23, el dispositivo de adquisición de imágenes 1000 puede mostrar las apariencias de los subobjetos 2a y 2b en líneas discontinuas. El dispositivo de adquisición de imágenes 1000 puede mostrar las apariciones de los subobjetos 2a y 2b en líneas discontinuas, para corresponder a los movimientos de los subobjetos 2a y 2b.
Cuando el dispositivo de adquisición de imágenes 1000 superpone al menos porciones respectivas de los subobjetos 2a y 2b con al menos uno de un color preestablecido y un patrón preestablecido y muestra un resultado de la superposición, el dispositivo de adquisición de imágenes 1000 puede superponer al menos porciones respectivas de los subobjetos 2a y 2b en movimiento con al menos uno de un color preestablecido y un patrón preestablecido para corresponder a los movimientos de los subobjetos 2a y 2b, y puede mostrar un resultado de la superposición.
La FIG. 24 es un diagrama de flujo de un procedimiento de restauración de al menos una porción de un objeto principal oculto por un subobjeto, en base a las ubicaciones relativas entre una cámara y al menos uno de los objetos principales y el subobjeto, de acuerdo con algunas realizaciones. Las FIGS. 25 y 26 ilustran ejemplos de detección de un objeto principal y un subobjeto cuando la cámara se mueve, de acuerdo con algunas realizaciones. Con referencia a la FIG. 24, el dispositivo de adquisición de imágenes 1000 puede adquirir una primera imagen mediante el uso de la cámara, en la operación S2410, detectar el objeto principal y el subobjeto a partir de la primera imagen, en la operación S2430, adquirir información sobre las ubicaciones relativas entre la cámara y al menos uno de los objetos principales y el subobjeto, en la operación S2450, y mostrar una segunda imagen, en base a la información adquirida sobre las ubicaciones relativas, en la operación S2470.
La operación S2410 es similar a la operación S210, por lo que se omitirá una descripción redundante de la misma. La operación S2430 es similar a la operación S230, por lo que se omitirá una descripción redundante de la misma. En la operación S2450, el dispositivo de adquisición de imágenes 1000 puede adquirir la información sobre las ubicaciones relativas entre la cámara y al menos uno de los objetos principales y el subobjeto.
De acuerdo con una realización, el dispositivo de adquisición de imágenes 1000 puede adquirir información de localización de la cámara. Por ejemplo, el dispositivo de adquisición de imágenes 1000 puede adquirir la información de ubicación de la cámara mediante el uso de un sensor de posición, tal como un módulo de sistema de posicionamiento global (GPS). Como otro ejemplo, el dispositivo de adquisición de imágenes 1000 puede adquirir la información de ubicación de la cámara mediante el uso de una técnica de comunicación de corto alcance, tal como Wifi, Bluetooth, Zigbee y beacon.
De acuerdo con una realización, el dispositivo de adquisición de imágenes 1000 puede adquirir la información de localización de la cámara a partir de la primera imagen mediante el uso de la red neuronal de IA.
Por ejemplo, la red neuronal de IA puede reconocer el objeto principal 1b incluido en la primera imagen y adquirir información de localización de una región en la que se encuentra el objeto reconocido 1b. En detalle, cuando el objeto principal 1b es un edificio importante en una región determinada, la red neuronal de IA puede adquirir información de localización de la región en la que se encuentra el objeto principal 1b. Dado que la cámara que captura la primera imagen que incluye el objeto principal 1b estará situada en una región similar a la región en la que se encuentra el objeto principal 1b, la red neuronal de IA puede adquirir la información de ubicación de la cámara. Como otro ejemplo, la red neuronal de IA puede adquirir la información de localización del objeto principal 1b mediante el uso de la información de localización de la región en la que se encuentra el objeto principal 1b incluido en la primera imagen, la información de la fotografía (por ejemplo, una longitud focal) de la primera imagen, y un tamaño del objeto principal 1b dentro de la primera imagen.
De acuerdo con una realización, el dispositivo de adquisición de imágenes 1000 puede adquirir información de localización de un objeto principal. Por ejemplo, el dispositivo de adquisición de imágenes 1000 puede adquirir la información de ubicación de la cámara mediante el uso del sensor de posición, tal como un módulo GPS, y puede adquirir la información de ubicación del objeto principal mediante el uso de la información de la fotografía (por ejemplo, una distancia focal) de la primera imagen, y un tamaño del objeto principal dentro de la primera imagen. De acuerdo con una realización, el dispositivo de adquisición de imágenes 1000 puede adquirir la información de localización del objeto principal a partir de la primera imagen mediante el uso de la red neuronal de IA. Por ejemplo, la red neuronal de IA puede reconocer el objeto principal 1b incluido en la primera imagen y adquirir información de localización de una región en la que se encuentra el objeto principal 1b reconocido. En detalle, cuando el objeto principal 1b es un edificio importante en una región determinada, la red neuronal de IA puede adquirir información de localización de la región en la que se encuentra el objeto principal 1b.
De acuerdo con una realización, el dispositivo de adquisición de imágenes 1000 puede adquirir piezas de información de localización de los subobjetos 2a, 2b y 2c. Por ejemplo, el dispositivo de adquisición de imágenes 1000 puede adquirir la información de ubicación de la cámara mediante el uso del sensor de posición, tal como un módulo GPS, y puede adquirir la información de ubicación del objeto principal mediante el uso de la información fotográfica (por ejemplo, una distancia focal) de la primera imagen y los tamaños respectivos de los subobjetos 2a, 2b y 2c dentro de la primera imagen.
De acuerdo con una realización, el dispositivo de adquisición de imágenes 1000 puede adquirir información de ubicaciones relativas entre la cámara y el objeto principal. Por ejemplo, el dispositivo de adquisición de imágenes 1000 puede adquirir la información de las ubicaciones relativas entre la cámara y el objeto principal, en base a la información de ubicación adquirida de la cámara y la información de ubicación adquirida del objeto principal. La información de las ubicaciones relativas depende, por ejemplo, de la profundidad o la distancia de la cámara a un objeto en el campo de visión de la cámara. Como otro ejemplo, el dispositivo de adquisición de imágenes 1000 puede adquirir la información de las ubicaciones relativas entre la cámara y el objeto principal mediante el uso de la información fotográfica (por ejemplo, una longitud focal) de la primera imagen y el tamaño del objeto principal dentro de la primera imagen, mediante el uso de la red neuronal AI.
De acuerdo con una realización, el dispositivo de adquisición de imágenes 1000 puede adquirir información de ubicaciones relativas entre la cámara y el subobjeto. Por ejemplo, el dispositivo de adquisición de imágenes 1000 puede adquirir la información de las ubicaciones relativas entre la cámara y el subobjeto, en base a la información de ubicación adquirida de la cámara y la información de ubicación del subobjeto. Como otro ejemplo, el dispositivo de adquisición de imágenes 1000 puede adquirir la información de las ubicaciones relativas entre la cámara y el subobjeto mediante el uso de la información fotográfica (por ejemplo, una longitud focal) de la primera imagen y el tamaño del subobjeto dentro de la primera imagen, mediante el uso de la red neuronal AI.
En la operación S2470, el dispositivo de adquisición de imágenes 1000 puede generar una segunda imagen, en base a la información de las ubicaciones relativas entre la cámara y al menos uno de los objetos principales y el subobjeto.
De acuerdo con una realización, el dispositivo de adquisición de imágenes 1000 puede eliminar, de la primera imagen, los datos asociados con al menos algunas áreas de la primera imagen en las que se encuentran los subobjetos 2a, 2b y 2c, respectivamente, mediante el uso de la red neuronal de IA.
La red neuronal de IA rastrea los movimientos de los subobjetos 2a, 2b y 2c, en base a la información de las ubicaciones relativas entre la cámara y los subobjetos 2a, 2b y 2c. Por ejemplo, la red neuronal de IA puede detectar un cambio en la información de las ubicaciones relativas entre la cámara y los subobjetos 2a, 2b y 2c, mediante el uso del sensor de detección de diferencia de fase incluido en la cámara. Por ejemplo, las ubicaciones relativas se pueden determinar tanto en un primer momento como en un segundo momento. El cambio en la información es el cambio en la información de la ubicación relativa de la primera vez a la segunda vez. La red neuronal de IA detecta el cambio en la información de las ubicaciones relativas entre la cámara y los subobjetos 2a, 2b y 2c, al comparando una pluralidad de imágenes entre sí. Como otro ejemplo, la red neuronal de IA puede detectar el cambio en la información de las ubicaciones relativas entre la cámara y los subobjetos 2a, 2b y 2c, por medio de la detección de vectores de movimiento a partir de una pluralidad de imágenes adquiridas con la cámara. La red neuronal de IA puede predecir las direcciones y velocidades de los movimientos de los subobjetos 2a, 2b y 2c, en base al cambio de la información de las ubicaciones relativas entre la cámara y los subobjetos 2a, 2b y 2c. La red neuronal de IA puede seguir los movimientos de los subobjetos 2a, 2b y 2c, en base a las direcciones y velocidades previstas de los movimientos de los subobjetos 2a, 2b y 2c. El seguimiento del movimiento de un subobjeto mediante el uso de la red neuronal de IA es similar a la operación S1950, por lo que se omitirá una descripción redundante de la misma. Con referencia a la FIGS. 25 y 26, a medida que la cámara se aleja de los objetos principales 1a y 1b y de los subobjetos 2a, 2b y 2c, la información de las ubicaciones relativas entre la cámara y los objetos principales 1a y 1b y los subobjetos 2a, 2b y 2c puede cambiar. Cuando el usuario toma una foto, puede cambiar la ubicación de la cámara para cambiar la composición de la foto. Por ejemplo, el usuario puede tomar una fotografía al moverse un paso hacia atrás desde el objeto principal 1b, que también se denomina edificio 1b, de una determinada región, a fin de capturar en una fotografía una vista más amplia del edificio 1b. En consecuencia, la información de las ubicaciones relativas entre la cámara y cada uno de los objetos principales 1a y 1b y los subobjetos 2a, 2b y 2c puede cambiar porque el usuario con la cámara se alejó más del edificio 1b.
El dispositivo de adquisición de imágenes 1000 puede rastrear los movimientos de los subobjetos 2a, 2b y 2c, en base a la información de localización modificada. El dispositivo de adquisición de imágenes 1000 puede mostrar un indicador que señala los subobjetos 2a y 2b en correspondencia con los movimientos de los subobjetos 2a y 2b. Con referencia a las FIGS. 25 y 26, el dispositivo de adquisición de imágenes 1000 puede seguir los movimientos de los subobjetos 2a y 2b en una dirección hacia un extremo superior derecho. El dispositivo de adquisición de imágenes 1000 puede mostrar el indicador que señala los subobjetos 2a y 2b al marcar o representar las apariencias de los subobjetos 2a y 2b en líneas discontinuas en correspondencia con los movimientos de los subobjetos 2a y 2b. En algunas realizaciones, los datos de la imagen correspondientes a un objeto en el campo de visión de la cámara pueden ser referidos como una apariencia correspondiente al objeto, o simplemente como una apariencia.
La red neuronal de IA puede eliminar eficientemente, de la primera imagen, los datos asociados con al menos algunas áreas de la primera imagen en la que los subobjetos 2a, 2b y 2c están respectivamente localizados, en base a los movimientos de los subobjetos 2a, 2b y 2c. La eliminación, por parte del dispositivo de adquisición de imágenes 1000 , de la primera imagen, de los datos asociados con al menos algunas áreas de la primera imagen en las que se encuentran respectivamente los subobjetos 2a, 2b y 2c es similar a la operación s650, por lo que se omitirá una descripción redundante de la misma.
De acuerdo con una realización, el dispositivo de adquisición de imágenes 1000 puede rastrear los movimientos de los subobjetos 2a, 2b, y 2 y puede eliminar, de la primera imagen, los datos asociados con al menos algunas áreas de la primera imagen en la que los subobjetos 2a, 2b, y 2c se encuentran respectivamente. El seguimiento, por parte del dispositivo de adquisición de imágenes 1000, de los movimientos de los subobjetos 2a, 2b y 2c es similar a la operación S1950 y el dispositivo de adquisición de imágenes 1000 que elimina, de la primera imagen, los datos asociados con al menos algunas áreas de la primera imagen en la que se encuentran los subobjetos 2a, 2b y 2c respectivamente son similares a la operación S650, por lo que se omitirán las descripciones redundantes de las mismas.
De acuerdo con una realización, el dispositivo de adquisición de imágenes 1000 puede restaurar un área de eliminación de datos de forma que se incluya al menos una porción del objeto principal 1b oculto por los subobjetos 2a, 2b y 2c, en base a la información de las ubicaciones relativas entre la cámara y el objeto principal 1b, mediante el uso de la red neuronal de IA. Por ejemplo, la red neuronal de IA puede adquirir información de localización del objeto principal 1b, que es un edificio situado en una región determinada. Como en la operación S2450, la red neuronal de IA puede adquirir información de las ubicaciones relativas entre la cámara y el objeto principal 1b. La red neuronal de IA puede buscar una imagen del objeto principal 1b, similar a la primera imagen, en base a la información de localización del objeto principal 1b y en la información de las localizaciones relativas entre la cámara y el objeto principal 1b. La red neuronal de IA puede restaurar el área de datos eliminados de la primera imagen por medio del aprendizaje de al menos una imagen encontrada como datos de aprendizaje. La red neuronal de IA puede generar la segunda imagen al restaurar el área de datos eliminados dentro de la primera imagen.
De acuerdo con una realización, el dispositivo de adquisición de imágenes 1000 puede mostrar la segunda imagen en la pantalla al restaurar el área de datos eliminados dentro de la primera imagen. El dispositivo de adquisición de imágenes 1000 puede almacenar la segunda imagen en una memoria. En este caso, el dispositivo de adquisición de imágenes 1000 puede almacenar la segunda imagen en la memoria cuando la segunda imagen se genera al restaurar el área de datos eliminados dentro de la primera imagen, o puede almacenar la segunda imagen en la memoria en respuesta a una entrada del usuario.
La FIG. 27 es una vista que ilustra un procedimiento de visualización de un indicador que indica un subobjeto mediante el uso de un servidor 2000, de acuerdo con algunas realizaciones. Las FIGS. 28 y 29 son vistas que ilustran ejemplos de visualización de un indicador que indica un subobjeto mediante el uso del servidor 2000, de acuerdo con algunas realizaciones.
Con referencia a la FIG. 27, el dispositivo de adquisición de imágenes 1000 puede recibir una entrada de accionamiento de la cámara por parte del usuario, en la operación S2710, acceder al servidor 2000, en la operación S2720, adquirir la primera imagen mediante el uso de la cámara, en la operación S2730, y transmitir la primera imagen al servidor 2000, en la operación S2740. El servidor 2000 puede detectar un objeto principal y un subobjeto a partir de la primera imagen recibida, en la operación S2750, y transmitir información sobre un resultado de la detección del objeto principal y del subobjeto al dispositivo de registro de imágenes 1000, en la operación S2760. En la operación S2770, el dispositivo de adquisición de imágenes 1000 puede mostrar el indicador que señala el subobjeto, en base a la información recibida del servidor 2000.
En la operación S2710, el dispositivo de adquisición de imágenes 1000 puede recibir una entrada de conducción de la cámara, desde el usuario. Con referencia a la FIG. 28, el dispositivo de adquisición de imágenes 1000 puede recibir, del usuario 10, una entrada con respecto a un botón para accionar la cámara. Alternativamente, el dispositivo de adquisición de imágenes 1000 puede recibir, del usuario 10, una entrada para manejar una aplicación relativa a la cámara.
En la operación S2720, el dispositivo de adquisición de imágenes 1000 puede acceder al servidor 2000.
De acuerdo con una realización, cuando el dispositivo de adquisición de imágenes 1000 recibe, por parte del usuario, una entrada de accionamiento de la cámara, el dispositivo de adquisición de imágenes 1000 puede acceder automáticamente al servidor 2000 para de este modo formar un enlace de comunicación con el servidor. El enlace de comunicación puede ser, por ejemplo, una sesión basada en Internet. El servidor 2000 puede incluir una red neuronal de IA que detecta al menos uno de los objetos principales 1a y 1b y los subobjetos 2a, 2b y 2c de la primera imagen. El servidor 2000 puede incluir una red neuronal de IA que elimina, de la primera imagen, los datos asociados con al menos algunas áreas de la primera imagen en la que se encuentran los subobjetos 2a, 2b y 2c, respectivamente, y restaura un área de datos eliminados de forma que se incluya al menos una porción del objeto principal 1b oculto por los subobjetos 2a, 2b y 2c.
En la operación S2730, el dispositivo de adquisición de imágenes 1000 puede adquirir la primera imagen mediante el uso de la cámara. La operación S2730 es similar a la operación S210, por lo que se omitirá una descripción redundante de la misma.
En la operación S2740, el dispositivo de adquisición de imágenes 1000 puede transmitir, a través del enlace de comunicación, la primera imagen adquirida al servidor 2000.
En la operación S2750, el servidor 2000 puede detectar el objeto principal y el subobjeto a partir de la primera imagen recibida mediante el uso de la red neuronal de IA. Con referencia a las FIGS. 28 y 29, el servidor 2000 puede detectar los objetos principales 1a y 1b y los subobjetos 2a, 2b y 2c de la primera imagen. La red neuronal de IA puede estar especializada para el usuario del dispositivo de adquisición de imágenes 1000. Por ejemplo, la red neuronal de IA puede tener datos aprendidos asociados con el usuario (por ejemplo, al menos una imagen almacenada en el dispositivo de adquisición de imágenes 1000 del usuario) como datos de aprendizaje. La red neuronal de IA que detecta el objeto principal y el subobjeto de la primera imagen es similar a la operación S230, por lo que se omitirá una descripción redundante de la misma.
En la operación S2760, el servidor 2000 puede transmitir al dispositivo de adquisición de imágenes 1000 a través del enlace de comunicación un resultado de la detección del objeto principal y del subobjeto a partir de la primera imagen mediante el uso de la red neuronal de IA. Por ejemplo, el servidor 2000 puede transmitir al dispositivo de adquisición de imágenes 1000 una primera imagen que incluya indicadores que indiquen el objeto principal y el subobjeto. Alternativamente, el servidor 2000 puede transmitir, al dispositivo de adquisición de imágenes 1000, información que indique los objetos incluidos en la primera imagen e información que indique si cada uno de los objetos es un objeto principal o un subobjeto.
En la operación S2770, el dispositivo de adquisición de imágenes 1000 puede mostrar los indicadores 3a, 3b y 3c, respectivamente, indicando los subobjetos 2a, 2b y 2c. La operación S2770 es similar a la operación S250, por lo que se omitirá una descripción redundante de la misma.
Cuando el dispositivo de adquisición de imágenes 1000 accede al servidor 2000 en respuesta a la recepción de la entrada para manejar la cámara desde el usuario, el dispositivo de adquisición de imágenes 1000 puede recibir datos sobre la red neuronal de IA desde el servidor 2000. Por ejemplo, el dispositivo de adquisición de imágenes 1000 puede recibir, desde el servidor 2000, un módulo de software que implementa la red neuronal de IA. Como otro ejemplo, el dispositivo de adquisición de imágenes 1000 puede recibir, desde el servidor 2000, datos utilizados para actualizar la red neuronal de IA. El dispositivo de adquisición de imágenes 1000 puede detectar el objeto principal y el subobjeto de la primera imagen, en base a los datos recibidos sobre la red neuronal de IA.
La FIGS. 30 y 31 son diagramas de bloques del dispositivo de adquisición de imágenes 1000 de acuerdo con algunas realizaciones.
Con referencia a la FIG. 30, el dispositivo de adquisición de imágenes 1000 puede incluir una interfaz de entrada del usuario 1100, una pantalla 1210, un procesador 1300 y una interfaz de comunicación 1500. Todos los componentes ilustrados en la FIG. 30 no son componentes esenciales del dispositivo de adquisición de imágenes 1000. Más o menos componentes que los ilustrados en la FIG. 30 puede constituir el dispositivo de adquisición de imágenes 1000.
Por ejemplo, en referencia a la FIG. 31, el dispositivo de adquisición de imágenes 1000 puede incluir además una unidad de detección 1400, una interfaz de entrada de audio/vídeo (A/V) 1600, una interfaz de salida 1200 y una memoria 1700, además de la interfaz de entrada de usuario 1100, el procesador 1300 y la interfaz de comunicación 1500.
La interfaz de entrada del usuario 1100 denota una unidad a través de la cual un usuario introduce datos para controlar el dispositivo de adquisición de imágenes 1000. Por ejemplo, la interfaz de entrada del usuario 1100 puede ser, pero no se limita a, un teclado, un interruptor de cúpula, un panel táctil (por ejemplo, un tipo de superposición capacitiva, un tipo de superposición resistiva, un tipo de rayo infrarrojo, un tipo de medidor de tensión integral, un tipo de onda acústica superficial, un tipo piezoeléctrico, o similares), una rueda de desplazamiento o un interruptor de desplazamiento. La interfaz de entrada del usuario 1100 puede incluir una pantalla táctil que recibe una entrada táctil del usuario, al combinar una capa táctil con la pantalla 1210.
La interfaz de entrada del usuario 1100 puede recibir una entrada del usuario para seleccionar al menos un objeto (una "selección") mostrado en la pantalla 1210.
La interfaz de salida 1200 puede emitir una señal de audio, una señal de vídeo o una señal de vibración, y puede incluir la pantalla 1210, una interfaz de salida de audio 1220 y un motor de vibración 1230.
La pantalla 1210 puede mostrar información procesada por el dispositivo de adquisición de imágenes 1000. Por ejemplo, la pantalla 1210 puede mostrar una primera imagen y un indicador que señala un subobjeto. La pantalla 1210 puede mostrar una segunda imagen obtenida por medio de la restauración de un área de datos eliminados de forma que se incluya al menos una porción de un objeto principal.
La interfaz de salida de audio 1220 emite datos de señal que se reciben en la interfaz de comunicación 1500 o que se almacenan en la memoria 1700 La interfaz de salida de audio 1220 también emite una señal de audio (por ejemplo, un sonido de recepción de señal de llamada, un sonido de recepción de mensaje o un sonido de notificación) relacionada con una función del dispositivo de adquisición de imágenes 1000.
El procesador 1300 típicamente controla una operación general del dispositivo de adquisición de imágenes 1000. Por ejemplo, el procesador 1300 puede controlar la interfaz de entrada del usuario 1100, la interfaz de salida 1200, la unidad de detección 1400, la interfaz de comunicación 1500, la interfaz de entrada A/V 1600, y similares, al ejecutar programas almacenados en la memoria 1700. El procesador 1300 puede llevar a cabo una función del dispositivo de adquisición de imágenes 1000 de las FIGS. 1 a 29, al ejecutar los programas almacenados en la memoria 1700.
En detalle, el procesador 1300 puede controlar la interfaz de entrada del usuario 1100 para recibir una entrada del usuario para seleccionar al menos uno de los objetos mostrados. El procesador 1300 puede controlar un micrófono 1620 para recibir una entrada de voz del usuario. El procesador 1300 puede ejecutar una aplicación que lleva a cabo una operación del dispositivo de adquisición de imágenes 1000, en base a una entrada del usuario, y puede controlar la interfaz de entrada del usuario para recibir la entrada del usuario a través de la aplicación ejecutada. Por ejemplo, el procesador 1300 puede ejecutar una aplicación de asistente de voz y puede controlar la interfaz de entrada A/V 1600 para recibir una entrada de voz del usuario a través del micrófono 1620 al controlar la aplicación de asistente de voz ejecutada.
El procesador 1300 puede controlar la interfaz de salida 1200 y la memoria 1700 del dispositivo de adquisición de imágenes 1000 para mostrar la primera imagen, el indicador que indica el subobjeto y la segunda imagen. El procesador 1300 puede incluir al menos un microchip.
El procesador 1300 puede detectar el objeto principal y el subobjeto de la primera imagen. El procesador 1300 puede detectar al menos uno de los objetos principales y subobjetos por medio de la red neuronal de IA.
El procesador 1300 puede eliminar el subobjeto de la primera imagen y generar la segunda imagen al restaurar un área de la primera imagen de la que se ha eliminado el subobjeto. El procesador 1300 puede eliminar el subobjeto de la primera imagen mediante el uso de la red neuronal de IA y restaurar un área de la primera imagen de la que se ha eliminado el subobjeto. En este caso, la red neuronal de IA puede restaurar al menos una parte del objeto principal oculto por el subobjeto que se ha eliminado.
El procesador 1300 puede adquirir información de ubicaciones relativas entre la cámara y el objeto principal y puede restaurar la al menos porción del objeto principal, en base a la información de las ubicaciones relativas.
El procesador 1300 puede llevar a cabo el procesamiento de la imagen para restaurar al menos una porción del objeto principal, de forma que la nitidez de una porción restaurada del objeto principal corresponda a la nitidez del objeto principal dentro de la primera imagen. Por ejemplo, el procesador 1300 puede determinar la nitidez de al menos una porción del objeto principal que se restaura para que se corresponda con la nitidez del objeto principal dentro de la primera imagen, y puede llevar a cabo el procesamiento de la imagen de forma que la nitidez de la porción restaurada del objeto principal se corresponda con la nitidez determinada.
El procesador 1300 puede detectar un subobjeto seleccionado de la primera imagen, en base a una entrada del usuario. Por ejemplo, el procesador 1300 puede detectar la apariencia de cada uno de una pluralidad de objetos incluidos en la primera imagen mediante el uso de la red neuronal de IA, y puede detectar, como un subobjeto, un objeto situado en las proximidades de un área que ha recibido una entrada del usuario.
El procesador 1300 puede seguir un movimiento del subobjeto dentro de la primera imagen. Por ejemplo, el procesador 1300 puede adquirir información de ubicaciones relativas entre la cámara y el subobjeto y puede seguir el movimiento del subobjeto al detectar un cambio en la información de las ubicaciones relativas.
La unidad de detección 1400 puede detectar un estado del dispositivo de adquisición de imágenes 1000 o un estado de los alrededores del dispositivo de adquisición de imágenes 1000 y puede transmitir información correspondiente al estado detectado al procesador 1300.
La unidad de detección 1400 puede incluir, pero no se limita a ello, al menos uno seleccionado entre un sensor magnético 1410, un sensor de aceleración 1420, un sensor de temperatura/humedad 1430, un sensor de infrarrojos 1440, un sensor giroscópico 1450, un sensor de posición (por ejemplo, un GPS) 1460, un sensor de presión 1470, un sensor de proximidad 1480, y un sensor RGB 1490 (es decir, un sensor de iluminancia). Las funciones de la mayoría de los sensores serían comprendidas instintivamente por un experto en la técnica a la vista de sus nombres, por lo que se omitirán las descripciones detalladas de los mismos en el presente documento.
La interfaz de comunicación 1500 puede incluir al menos un componente que permita al dispositivo de adquisición de imágenes 1000 comunicarse con otros dispositivos (no mostrados) y con el servidor 2000. El otro dispositivo puede ser un dispositivo informático, tal como el dispositivo de adquisición de imágenes 1000, o un dispositivo de detección, y las realizaciones no se limitan a ello. Por ejemplo, la interfaz de comunicación 1500 puede incluir una interfaz de comunicación inalámbrica de corto alcance 1510, una interfaz de comunicación móvil 1520 y un receptor de difusión 1530.
Los ejemplos de la interfaz de comunicación inalámbrica de corto alcance 1510 pueden incluir, pero no se limitan a, una interfaz de comunicación Bluetooth, una interfaz de comunicación Bluetooth Low Energy (BLE), una interfaz de comunicación de campo cercano (NFC), una interfaz de comunicación de red de área local inalámbrica (WLAN) (por ejemplo, Wi-Fi), una interfaz de comunicación ZigBee, una interfaz de comunicación de Asociación de Datos por Infrarrojos (IrDA), una interfaz de comunicación Wi-Fi directa (WFD), una interfaz de comunicación de banda ultra ancha (UWB) y una interfaz de comunicación Ant+.
La interfaz de comunicación móvil 1520 puede intercambiar una señal inalámbrica con al menos uno seleccionado entre una estación base, un terminal externo y un servidor en una red de comunicación móvil. En la presente memoria, algunos ejemplos de señal inalámbrica pueden incluir una señal de llamada de voz, una señal de videollamada y datos en diversas formas de acuerdo con la transmisión y recepción de mensajes de texto/multimedia.
El receptor de radiodifusión 1530 recibe una señal de radiodifusión y/o información relacionada con la radiodifusión desde una fuente externa a través de un canal de radiodifusión. El canal de transmisión puede ser un canal de satélite, un canal de onda terrestre o similar. De acuerdo con las realizaciones, el dispositivo de adquisición de imágenes 1000 puede no incluir el receptor de radiodifusión 1530.
De acuerdo con una realización, la interfaz de comunicación 1500 puede transmitir la primera imagen al servidor 2000.
De acuerdo con una realización, la interfaz de comunicación 1500 puede recibir información sobre un resultado de la detección del objeto principal y del subobjeto desde el servidor 2000.
De acuerdo con una realización, la interfaz de comunicación 1500 puede recibir, desde el servidor 2000, un módulo de software que implementa la red neuronal de IA.
De acuerdo con una realización, la interfaz de comunicación 1500 puede recibir, desde el servidor 2000, datos utilizados para actualizar la red neuronal de IA.
La interfaz de entrada A/V 1600 introduce una señal de audio o una señal de vídeo, y puede incluir una cámara 1610 y el micrófono 1620. La cámara 1610 puede adquirir un cuadro de imagen, tal como una imagen fija o una imagen en movimiento, a través de un sensor de imagen en un modo de videollamada o un modo de fotografía. Una imagen capturada a través del sensor de imagen puede ser procesada por el procesador 1300 o por un procesador de imagen separado (no mostrada).
El micrófono 1620 recibe una señal de audio externa y convierte la señal de audio externa en datos eléctricos de audio. Por ejemplo, el micrófono 1620 puede recibir una señal de audio de un dispositivo externo o de un usuario. El micrófono 1620 puede recibir una entrada de voz del usuario. El micrófono 1620 puede utilizar varios algoritmos de eliminación de ruido para eliminar el ruido que se genera al recibir la señal de audio externa.
La memoria 1700 puede almacenar un programa utilizado por el procesador 1300 para llevar a cabo el procesamiento y el control, y también puede almacenar los datos que se introducen o salen del dispositivo de adquisición de imágenes 1000.
La memoria 1700 puede incluir al menos un tipo de medio de almacenamiento seleccionado entre un tipo de memoria flash, un tipo de disco duro, un microtipo de tarjeta multimedia, una memoria de tipo tarjeta (por ejemplo, una memoria digital segura (SD) o digital extrema (XD)), una memoria de acceso aleatorio (RAM), una memoria de acceso aleatorio estático (SRAM), una memoria de sólo lectura (ROM), una ROM programable eléctricamente borrable (EEPROM), una ROM programable (PROM), una memoria magnética, un disco magnético y un disco óptico.
Los programas almacenados en la memoria 1700 se pueden clasificar en una pluralidad de módulos de acuerdo con sus funciones, por ejemplo, un módulo de interfaz de usuario (Ul) 1710, un módulo de pantalla táctil 1720 y un módulo de notificación 1730.
El módulo de interfaz de usuario 1710 puede proporcionar un Ul, una interfaz gráfica de usuario (GUI), o algo similar que se especializa para cada aplicación e interopera con el dispositivo de adquisición de imágenes 1000. El módulo de pantalla táctil 1720 puede detectar un gesto táctil en una pantalla táctil de un usuario y transmitir información relativa al gesto táctil al procesador 1300. El módulo de pantalla táctil 1720 de acuerdo con una realización puede reconocer y analizar un código táctil. El módulo de pantalla táctil 1720 puede ser configurado por un hardware separado que incluye un controlador.
El módulo de notificación 1730 puede generar una señal para notificar que se ha generado un evento en el dispositivo de adquisición de imágenes 1000. Algunos ejemplos de eventos generados en el dispositivo de adquisición de imágenes 1000 pueden ser la recepción de una señal de llamada, la recepción de un mensaje, la entrada de una señal de llave, la notificación de un programa, etc. El módulo de notificación 1730 puede emitir una señal de notificación en forma de señal de vídeo a través de la pantalla 1210, en forma de señal de audio a través de la interfaz de salida de audio 1220, o en forma de señal de vibración a través del motor de vibración 1230.
La FIG. 32 es un diagrama de bloques del servidor 2000 de acuerdo con algunas realizaciones.
Con referencia a la FIG. 32, el servidor 2000 puede incluir una interfaz de comunicación 2500, una base de datos (DB) 2700, y un procesador 2300.
La interfaz de comunicación 2500 puede incluir al menos un componente que permita al servicio 2000 comunicarse con el dispositivo de adquisición de imágenes 1000.
La interfaz de comunicación 2500 puede recibir o transmitir una imagen desde o hacia el dispositivo de adquisición de imágenes 1000.
La BD 2700 puede almacenar un modelo entrenado y los datos de aprendizaje que se aplican en el modelo entrenado.
El procesador 2300 puede controlar una operación general del servidor 2000. Por ejemplo, el procesador 2300 puede controlar la BD 2700 y la interfaz de comunicación 2500 al ejecutar los programas almacenados en la BD 2700 del servidor 2000. El procesador 2300 puede llevar a cabo algunas de las operaciones del dispositivo de adquisición de imágenes 1000 de las FIGS. 1 a 29, al ejecutar los programas almacenados en el DB 2700.
El procesador 2300 puede llevar a cabo al menos una de las siguientes funciones: detectar al menos uno de los objetos principales y un subobjeto de una primera imagen, eliminar, de la primera imagen, los datos asociados con al menos un área de la primera imagen en la que se encuentra el subobjeto, y restaurar el área de datos eliminados de forma que se incluya al menos una porción del objeto principal oculto por el subobjeto.
El procesador 2300 puede gestionar al menos uno de los datos necesarios para detectar al menos uno de los objetos principales y el subobjeto de la primera imagen, los datos necesarios para eliminar, de la primera imagen, los datos asociados con al menos un área de la primera imagen en la que se encuentra el subobjeto, y los datos necesarios para restaurar el área eliminada de datos de forma que se incluya al menos una porción del objeto principal oculto por el subobjeto.
La FIG. 33 es un diagrama de bloques del procesador 1300 de acuerdo con algunas realizaciones.
Con referencia a la FIG. 33, el procesador 1300 puede incluir un aprendiz de datos 1310 y un reconocedor de datos 1320.
El aprendiz de datos 1310 puede aprender una norma para detectar el objeto principal y el subobjeto a partir de la primera imagen. El aprendiz de datos 1310 puede aprender una norma sobre los datos que se deben utilizar para detectar el objeto principal y el subobjeto de la primera imagen. El aprendiz de datos 1310 puede aprender la norma para detectar el objeto principal y el subobjeto a partir de la primera imagen, al obtener datos para su uso en el aprendizaje y al aplicar los datos obtenidos a un modelo de reconocimiento de datos que se describirá más adelante. El aprendiz de datos 1310 puede aprender una norma para eliminar, de la primera imagen, los datos asociados con al menos alguna zona de la primera imagen donde se encuentra el subobjeto. El aprendiz de datos 1310 puede aprender una norma sobre los datos que se van a utilizar para eliminar, de la primera imagen, los datos asociados con al menos alguna zona de la primera imagen en la que se encuentra el subobjeto. El aprendiz de datos 1310 puede aprender la norma para eliminar, de la primera imagen, los datos asociados con al menos alguna zona de la primera imagen en la que se encuentra el subobjeto, al obtener datos para su uso en el aprendizaje y aplicar los datos obtenidos al modelo de reconocimiento de datos.
El aprendiz de datos 1310 puede aprender una norma para restaurar el área eliminada de datos de forma que se incluya al menos una porción del objeto principal oculto por el subobjeto. El aprendiz de datos 1310 puede aprender una norma sobre los datos que se deben utilizar para restaurar el área de datos eliminados de forma que se incluya al menos una porción del objeto principal oculto por el subobjeto. El aprendiz de datos 1310 puede aprender la norma para restaurar el área eliminada de datos de forma que se incluya al menos una porción del objeto principal oculto por el subobjeto, al obtener datos para usar en el aprendizaje y aplicar los datos obtenidos al modelo de reconocimiento de datos.
El reconocedor de datos 1320 puede detectar el objeto principal y el subobjeto de la primera imagen, en base a los datos. El reconocedor de datos 1320 puede detectar el objeto principal y el subobjeto de la primera imagen, en base a ciertos datos, mediante el uso del modelo de reconocimiento de datos entrenado. El reconocedor de datos 1320 puede detectar el objeto principal y el subobjeto a partir de la primera imagen al obtener los datos determinados de acuerdo con un estándar previamente establecido debido al aprendizaje y mediante el uso del modelo de reconocimiento de datos mediante el uso de los datos obtenidos como valor de entrada. Un valor de resultado emitido por el modelo de reconocimiento de datos mediante el uso de los datos obtenidos como valor de entrada se puede utilizar para actualizar el modelo de reconocimiento de datos.
El reconocedor de datos 1320 puede eliminar, de la primera imagen, los datos asociados con al menos alguna zona de la primera imagen en la que se encuentra el subobjeto, en base a los datos. El reconocedor de datos 1320 puede eliminar, de la primera imagen, los datos asociados con al menos alguna zona de la primera imagen en la que se encuentra el subobjeto, mediante el uso del modelo de reconocimiento de datos entrenado. El reconocedor de datos 1320 puede eliminar, de la primera imagen, los datos asociados con al menos alguna zona de la primera imagen en la que se encuentra el subobjeto, al obtener ciertos datos de acuerdo con un estándar previamente establecido debido al aprendizaje y mediante el uso del modelo de reconocimiento de datos mediante el uso de los datos obtenidos como valor de entrada. Un valor de resultado emitido por el modelo de reconocimiento de datos mediante el uso de los datos obtenidos como valor de entrada se puede utilizar para actualizar el modelo de reconocimiento de datos.
El reconocedor de datos 1320 puede restaurar el área eliminada de datos de forma que se incluya al menos una porción del objeto principal oculto por el subobjeto en base a los datos. El reconocedor de datos 1320 puede restaurar el área eliminada de datos de forma que se incluya al menos una parte del objeto principal oculto por el subobjeto por medio del modelo de reconocimiento de datos entrenado. El reconocedor de datos 1320 puede restaurar el área eliminada de datos de forma que se incluya al menos una porción del objeto principal oculto por el subobjeto, al obtener ciertos datos de acuerdo con un estándar previamente establecido debido al aprendizaje y mediante el uso del modelo de reconocimiento de datos mediante el uso de los datos obtenidos como valor de entrada. Un valor de resultado emitido por el modelo de reconocimiento de datos mediante el uso de los datos obtenidos como valor de entrada se puede utilizar para actualizar el modelo de reconocimiento de datos.
Al menos uno de los captadores de datos 1310 y el reconocedor de datos 1320 se puede fabricar en forma de al menos un chip de hardware y se puede montar en un dispositivo. Por ejemplo, al menos uno de los captadores de datos 1310 y el reconocedor de datos 1320 se puede fabricar en forma de un chip de hardware dedicado para Al, o se puede fabricar como una parte de un procesador de propósito general existente (por ejemplo, una unidad central de procesamiento (CPU) o un procesador de aplicaciones (AP)) o un procesador dedicado a los gráficos (por ejemplo, una unidad de procesamiento de gráficos (GPU)) y se puede montar en cualquiera de los diversos dispositivos mencionados.
En este caso, el aprendiz de datos 1310 y el reconocedor de datos 1320 pueden estar ambos montados en un único dispositivo, o pueden estar montados respectivamente en dispositivos independientes. Por ejemplo, uno de los captadores de datos 1310 y el reconocedor de datos 1320 pueden estar incluidos en el dispositivo de adquisición de imágenes 1000, y el otro puede estar incluido en el servidor 2000. El aprendiz de datos 1310 y el reconocedor de datos 1320 pueden estar conectados entre sí por cable o de forma inalámbrica, y por lo tanto la información del modelo establecida por el aprendiz de datos 1310 puede ser proporcionada al reconocedor de datos 1320 y la entrada de datos al reconocedor de datos 1320 puede ser proporcionada como datos de aprendizaje adicionales al aprendiz de datos 1310.
Al menos uno de los aprendices de datos 1310 y el reconocedor de datos 1320 puede ser implementado como un módulo de software. Cuando al menos uno de los captadores de datos 1310 y el reconocedor de datos 1320 se implementa mediante el uso de un módulo de software (o un módulo de programa que incluye instrucciones), el módulo de software se puede almacenar en un medio legible por ordenador no transitorio. En este caso, el al menos un módulo de software puede ser proporcionado por un sistema operativo (OS) o por una determinada aplicación. Alternativamente, algunos de los al menos un módulo de software pueden ser proporcionados por un SO y los otros pueden ser proporcionados por una determinada aplicación.
La FIG. 34 es un diagrama de bloques del aprendiz de datos 1310 de acuerdo con algunas realizaciones.
Con referencia a la FIG. 34, el aprendiz de datos 1310 puede incluir un obtenedor de datos 1310-1, un preprocesador 1310-2, un selector de datos de aprendizaje 1310-3, un aprendiz de modelos 1310-4 y un evaluador de modelos 1310-5.
El obtenedor de datos 1310-1 puede obtener los datos necesarios para detectar el objeto principal y el subobjeto a partir de la primera imagen. El obtenedor de datos 1310-1 puede obtener los datos necesarios para eliminar, de la primera imagen, los datos asociados con al menos alguna zona de la primera imagen en la que se encuentra el subobjeto. El obtenedor de datos 1310-1 puede obtener los datos necesarios para restaurar el área de datos eliminados de forma que se incluya al menos una porción del objeto principal oculto por el subobjeto.
El obtenedor de datos 1310-1 puede obtener al menos una imagen almacenada en el dispositivo de adquisición de imágenes 1000. Por ejemplo, el obtenedor de datos 1310-1 puede obtener una imagen que incluya el rostro del usuario e imágenes que incluyan los rostros de personas asociadas con el usuario (por ejemplo, miembros de la familia, un amante y parientes del usuario), las imágenes almacenadas en el dispositivo de adquisición de imágenes 1000. Como otro ejemplo, el obtenedor de datos 1310-1 puede obtener imágenes asociadas a una región en la que se encuentra el usuario (por ejemplo, edificios importantes, esculturas y paisajes naturales de la región), las imágenes almacenadas en el dispositivo de adquisición de imágenes 1000. Como otro ejemplo, el obtenedor de datos 1310-1 puede obtener al menos una imagen divulgada en Internet (por ejemplo, edificios importantes, esculturas y paisajes naturales de la región). Como otro ejemplo, el obtenedor de datos 1310-1 puede obtener al menos una imagen asociada a objetos generales (por ejemplo, un árbol, un cubo de basura, una farola, semáforos, un puesto, un humano y un animal), la al menos una imagen divulgada en Internet.
El preprocesador 1310-2 puede preprocesar los datos obtenidos de forma que los datos obtenidos puedan ser utilizados para detectar al menos uno de los objetos principales y subobjetos de la primera imagen. El preprocesador 1310-2 puede preprocesar los datos obtenidos de forma que los datos obtenidos se puedan utilizar para eliminar, de la primera imagen, los datos asociados con al menos alguna zona de la primera imagen en la que se encuentra el subobjeto. El preprocesador 1310-2 puede preprocesar los datos obtenidos de forma que los datos obtenidos puedan ser utilizados para restaurar el área de datos removidos de forma que se incluya al menos una porción del objeto principal oculto por el subobjeto.
El preprocesador 1310-2 puede procesar los datos obtenidos en un formato preestablecido de forma que el aprendiz de modelos 1310-4, que se describirá más adelante, pueda utilizar los datos obtenidos para aprender a detectar al menos uno de los objetos principales y subobjetos de la primera imagen.
El selector de datos de aprendizaje 1310-3 puede seleccionar los datos necesarios para el aprendizaje de entre los datos preprocesados. Los datos seleccionados se pueden proporcionar al aprendiz de modelo 1310-4.
El selector de datos de aprendizaje 1310-3 puede seleccionar los datos necesarios para el aprendizaje de entre las piezas de datos preprocesados, de acuerdo con una norma preestablecida para detectar al menos uno de los objetos principales y el subobjeto de la primera imagen. El selector de datos de aprendizaje 1310-3 puede seleccionar los datos necesarios para el aprendizaje de entre las piezas de datos preprocesados, de acuerdo con una norma preestablecida para eliminar, de la primera imagen, los datos asociados con al menos alguna zona de la primera imagen en la que se encuentra el subobjeto. El selector de datos de aprendizaje 1310-3 puede seleccionar los datos necesarios para el aprendizaje de entre los trozos de datos preprocesados, de acuerdo con una norma preestablecida para restaurar el área de datos eliminados de forma que se incluya al menos una porción del objeto principal oculto por el subobjeto.
El selector de datos de aprendizaje 1310-3 puede seleccionar datos de acuerdo con un estándar previamente establecido debido al aprendizaje por el aprendiz de modelos 1310-4, que se describirá más adelante.
El aprendiz de modelos 1310-4 puede aprender una norma sobre cómo detectar al menos uno de los objetos principales y el subobjeto de la primera imagen, en base a los datos de aprendizaje. El aprendiz de modelos 1310-4 puede aprender una norma sobre cómo eliminar, de la primera imagen, los datos asociados con al menos alguna zona de la primera imagen en la que se encuentra el subobjeto, en base a los datos de aprendizaje. El aprendiz del modelo 1310-4 puede aprender una norma sobre cómo restaurar el área de datos eliminados de forma que se incluya al menos una porción del objeto principal oculto por el subobjeto, en base a los datos de aprendizaje.
El aprendiz del modelo 1310-4 puede aprender una norma sobre los datos de aprendizaje que se deben utilizar para detectar al menos uno de los objetos principales y el subobjeto de la primera imagen. El aprendiz del modelo 1310-4 puede aprender una norma sobre los datos de aprendizaje que se van a utilizar para eliminar, de la primera imagen, los datos asociados con al menos alguna zona de la primera imagen en la que se encuentra el subobjeto. El aprendiz del modelo 1310-4 puede aprender una norma sobre los datos de aprendizaje que se van a utilizar para restaurar el área de datos eliminados de forma que se incluya al menos una porción del objeto principal oculto por el subobjeto.
El aprendiz del modelo 1310-4 puede entrenar un modelo entrenado que se utiliza para detectar al menos uno de los objetos principales y subobjetos de la primera imagen, mediante el uso de los datos de aprendizaje. El aprendiz del modelo 1310-4 puede entrenar un modelo entrenado que se utiliza para eliminar, de la primera imagen, los datos asociados con al menos alguna zona de la primera imagen en la que se encuentra el subobjeto, mediante el uso de los datos de aprendizaje. El aprendiz del modelo 1310-4 puede entrenar un modelo entrenado que se utiliza para restaurar el área de datos eliminados de forma que se incluya al menos una parte del objeto principal oculto por el subobjeto, mediante el uso de los datos de aprendizaje.
En este caso, el modelo entrenado puede ser un modelo preestablecido. Por ejemplo, el modelo entrenado puede ser un modelo previamente establecido por medio de la recepción de datos básicos de aprendizaje (por ejemplo, datos de muestra).
El modelo entrenado se puede establecer teniendo en cuenta, por ejemplo, un campo de aplicación de un modelo de reconocimiento, un propósito de aprendizaje o el rendimiento informático de un dispositivo. El modelo entrenado puede incluir, por ejemplo, un modelo en base a una red neuronal. Por ejemplo, un modelo, tal como un DNN, un RNN, o un BRDNN, puede ser utilizado como el modelo entrenado, pero las realizaciones no se limitan a ello.
De acuerdo con varias realizaciones, cuando existe una pluralidad de modelos entrenados que están preestablecidos, el aprendiz de modelos 1310-4 puede determinar un modelo entrenado que tenga una alta relación entre los datos de aprendizaje de entrada y los datos de aprendizaje básicos como el modelo entrenado a entrenar En este caso, los datos de aprendizaje básicos pueden ser preclasificados de acuerdo con los tipos de datos, y el modelo entrenado puede ser preestablecido de acuerdo con los tipos de datos. Por ejemplo, los datos básicos de aprendizaje pueden ser preclasificados de acuerdo a varios estándares tales como un área donde se generan los datos de aprendizaje, un tiempo para el cual se generan los datos de aprendizaje, un tamaño de los datos de aprendizaje, un género de los datos de aprendizaje, un generador de los datos de aprendizaje y un tipo de objeto en los datos de aprendizaje
El aprendiz del modelo 1310-4 puede entrenar el modelo entrenado mediante el uso de un algoritmo de aprendizaje que incluye, por ejemplo, la retropropagación de errores o el descenso de gradiente.
El aprendiz del modelo 1310-4 puede entrenar el modelo entrenado a través del aprendizaje supervisado mediante el uso de, por ejemplo, los datos de aprendizaje como un valor de entrada. El aprendiz del modelo 1310-4 puede entrenar el modelo entrenado a través del aprendizaje no supervisado para encontrar un estándar para detectar al menos uno de un objeto principal y un subobjeto de la primera imagen, detectar al menos uno de un objeto principal y un subobjeto sin supervisión y autoaprender un tipo de datos necesarios para proporcionar una operación de respuesta correspondiente a un resultado de la detección. El aprendiz del modelo 1310-4 puede entrenar el modelo entrenado a través del aprendizaje por refuerzo mediante el uso de una retroalimentación sobre si un resultado de la detección de al menos uno de un objeto principal y un subobjeto de acuerdo con el aprendizaje es correcto.
Cuando el modelo entrenado es entrenado, el aprendiz de modelo 1310-4 puede almacenar el modelo entrenado. En este caso, el aprendiz del modelo 1310-4 puede almacenar el modelo entrenado en una memoria de un dispositivo que incluye el reconocedor de datos 1320. Alternativamente, el aprendiz del modelo 1310-4 puede almacenar el modelo entrenado en una memoria de un servidor que está conectado con el dispositivo a través de una red cableada o inalámbrica.
En este caso, la memoria en la que se almacena el modelo entrenado puede también almacenar, por ejemplo, un comando o datos relacionados con al menos otro componente del dispositivo. La memoria también puede almacenar un software y/o un programa. El programa puede incluir, por ejemplo, un núcleo, un middleware, una Interfaz de Programación de Aplicaciones (API), y/o un programa de aplicación (o una "aplicación").
Cuando el evaluador del modelo 1310-5 ingresa datos de evaluación al modelo entrenado y un resultado de reconocimiento que sale de los datos de evaluación no satisface un estándar predeterminado, el evaluador del modelo 1310-5 puede permitir que el aprendiz del modelo 1310-4 aprenda de nuevo. En este caso, los datos de evaluación pueden ser datos preestablecidos para evaluar el modelo entrenado.
Por ejemplo, cuando el número o el porcentaje de piezas de datos de evaluación que proporcionan resultados de reconocimiento inexactos de entre los resultados de reconocimiento del modelo entrenado con respecto a los datos de evaluación exceden un umbral predeterminado, el evaluador del modelo 1310-5 puede evaluar que el estándar predeterminado no se satisface. Por ejemplo, cuando el estándar predeterminado se define como 2% y el modelo entrenado produce resultados de reconocimiento erróneos para más de 20 piezas de datos de evaluación de entre un total de 1000 piezas de datos de evaluación, el evaluador del modelo 1310-5 puede evaluar que el modelo entrenado no es apropiado.
Cuando hay una pluralidad de modelos entrenados, el evaluador de modelos 1310-5 puede evaluar si cada uno de la pluralidad de modelos entrenados satisface el estándar predeterminado, y puede determinar, como modelo entrenado final, un modelo entrenado que satisface el estándar predeterminado. En este caso, cuando una pluralidad de modelos entrenados satisface el estándar predeterminado, el evaluador de modelos 1310-5 puede determinar uno o un número predeterminado de modelos entrenados que se preestablecen en un orden descendente de puntuaciones de evaluación como modelos entrenados finales.
Al menos uno de los obtenedores de datos 1310-1, el preprocesador 1310-2, el selector de datos de aprendizaje 1310-3, el aprendiz de modelos 1310-4, y el evaluador de modelos 1310-5 en el aprendiz de datos 1310 puede ser fabricado en forma de al menos un chip de hardware y puede ser montado en un dispositivo. Por ejemplo, al menos uno de los obtenedores de datos 1310-1, el preprocesador 1310-2, el selector de datos de aprendizaje 1310-3, el aprendiz de modelos 1310-4 y el evaluador de modelos 1310-5 se puede fabricar en forma de un chip de hardware dedicado para Al, o se puede fabricar como una porción de un procesador de propósito general existente (por ejemplo, una CPU o un AP) o un procesador dedicado a los gráficos (por ejemplo, una GPU) y se puede montar en cualquiera de los diversos dispositivos mencionados.
El obtenedor de datos 1310-1, el preprocesador 1310-2, el selector de datos de aprendizaje 1310-3, el aprendiz de modelos 1310-4, y el evaluador de modelos 1310-5 pueden estar todos montados en un único dispositivo, o pueden estar montados respectivamente en dispositivos independientes. Por ejemplo, algunos de los elementos de obtención de datos 1310-1, el preprocesador 1310-2, el selector de datos de aprendizaje 1310-3, el aprendiz de modelos 1310-4 y el evaluador de modelos 1310-5 pueden estar incluidos en un dispositivo, y los demás pueden estar incluidos en un servidor.
Por ejemplo, al menos uno de los obtenedores de datos 1310-1, el preprocesador 1310-2, el selector de datos de aprendizaje 1310-3, el aprendiz de modelos 1310-4, y el evaluador de modelos 1310-5 puede ser implementado como un módulo de software. Cuando al menos uno de los elementos de obtención de datos 1310-1, el preprocesador 1310-2, el selector de datos de aprendizaje 1310-3, el aprendiz de modelos 1310-4 y el evaluador de modelos 1310-5 se implementa como un módulo de software (o un módulo de programa que incluye instrucciones), el módulo de software se puede almacenar en un medio de grabación no transitorio legible por ordenador. En este caso, el al menos un módulo de software puede ser proporcionado por un sistema operativo o por una determinada aplicación. Alternativamente, algunos de los al menos un módulo de software pueden ser proporcionados por un SO y los otros pueden ser proporcionados por una determinada aplicación.
El procesador 1300 puede utilizar varios modelos entrenados, y puede aprender eficientemente un estándar para generar al menos uno de un objeto principal y un subobjeto de la primera imagen de acuerdo con varios procedimientos a través de los diversos modelos entrenados.
La FIG. 35 es un diagrama de bloques del reconocedor de datos 1320 de acuerdo con algunas realizaciones.
Con referencia a la FIG. 35, el reconocedor de datos 1320 puede incluir un obtenedor de datos 1320-1, un preprocesador 1320-2, un selector de datos de reconocimiento 1320-3, un proveedor de resultados de reconocimiento 1320-4, y un refinador de modelos 1320-5.
El obtenedor de datos 1320-1 puede obtener los datos necesarios para detectar el objeto principal y el subobjeto a partir de la primera imagen. El obtenedor de datos 1320-1 puede obtener los datos necesarios para eliminar, de la primera imagen, los datos asociados con al menos alguna zona de la primera imagen en la que se encuentra el subobjeto. El obtenedor de datos 1320-1 puede obtener los datos necesarios para restaurar el área de datos eliminados de forma que se incluya al menos una porción del objeto principal oculto por el subobjeto.
El preprocesador 1310-2 puede preprocesar los datos obtenidos de forma que los datos obtenidos puedan ser utilizados para detectar al menos uno de los objetos principales y subobjetos de la primera imagen. El preprocesador 1310-2 puede preprocesar los datos obtenidos de forma que los datos obtenidos se puedan utilizar para eliminar, de la primera imagen, los datos asociados con al menos alguna zona de la primera imagen en la que se encuentra el subobjeto. El preprocesador 1310-2 puede preprocesar los datos obtenidos de forma que los datos obtenidos puedan ser utilizados para restaurar el área de datos removidos de forma que se incluya al menos una porción del objeto principal oculto por el subobjeto.
El preprocesador 1320-2 puede procesar los datos obtenidos en un formato preestablecido de forma que el proveedor de resultados de reconocimiento 1320-4, que se describirá más adelante, pueda utilizar los datos obtenidos para detectar al menos uno de los objetos principales y subobjetos de la primera imagen. El preprocesador 1320-2 puede preprocesar los datos obtenidos en un formato preestablecido de forma que el proveedor de resultados de reconocimiento 1320-4 pueda utilizar los datos obtenidos para eliminar, de la primera imagen, los datos asociados con al menos alguna zona de la primera imagen en la que se encuentra el subobjeto. El selector de datos de reconocimiento 1320-3 puede seleccionar los datos necesarios para detectar al menos uno de los objetos principales y subobjetos de la primera imagen, de entre los datos preprocesados. El selector de datos de reconocimiento 1320-3 puede seleccionar los datos necesarios para eliminar, de la primera imagen, los datos asociados con al menos alguna zona de la primera imagen en la que se encuentra el subobjeto, de entre las piezas de datos preprocesados. El selector de datos de reconocimiento 1320-3 puede seleccionar los datos necesarios para restaurar el área de datos eliminados de forma que se incluya al menos una porción del objeto principal oculto por el subobjeto, de entre las piezas de datos preprocesados. Los datos seleccionados se pueden proporcionar al proveedor de resultados de reconocimiento 1320-4.
El selector de datos de reconocimiento 1320-3 puede seleccionar algunas o todas las piezas de datos preprocesados, de acuerdo con una norma preestablecida para detectar al menos uno de los objetos principales y subobjetos de la primera imagen. El selector de datos de reconocimiento 1320-3 puede seleccionar algunos o todos los trozos de datos preprocesados, de acuerdo con una norma preestablecida para eliminar, de la primera imagen, los datos asociados con al menos alguna zona de la primera imagen en la que se encuentra el subobjeto. El selector de datos de reconocimiento 1320-3 puede seleccionar algunos o todos los trozos de datos preprocesados, de acuerdo con una norma preestablecida para restaurar el área de datos eliminados de forma que se incluya al menos una porción del objeto principal oculto por el subobjeto.
El selector de datos de reconocimiento 1320-3 puede seleccionar los datos de acuerdo con un estándar previamente establecido debido al aprendizaje por el aprendiz del modelo 1310-4, que se describirá más adelante.
El proveedor de resultados de reconocimiento 1320-4 puede detectar al menos uno de los objetos principales y subobjetos de la primera imagen, al aplicar los datos seleccionados a un modelo de reconocimiento de datos. El proveedor de resultados de reconocimiento 1320-4 puede eliminar, de la primera imagen, los datos asociados con al menos alguna zona de la primera imagen en la que se encuentra el subobjeto, al aplicar los datos seleccionados al modelo de reconocimiento de datos. El proveedor de resultados de reconocimiento 1320-4 puede restaurar el área de datos eliminados de forma que se incluya al menos una porción del objeto principal oculto por el subobjeto al aplicar los datos seleccionados al modelo de reconocimiento de datos.
El proveedor de resultados de reconocimiento 1320-4 puede proporcionar un resultado de reconocimiento que se ajuste a un propósito de reconocimiento de datos. El proveedor de resultados de reconocimiento 1320-4 puede aplicar los datos seleccionados al modelo de reconocimiento de datos mediante el uso de los datos seleccionados por el selector de datos de reconocimiento 1320-3 como valor de entrada. El resultado del reconocimiento puede estar determinado por el modelo de reconocimiento de datos. Por ejemplo, un resultado de reconocimiento de la detección de al menos uno de los objetos principales y del subobjeto de la primera imagen, un resultado de reconocimiento de la eliminación, de la primera imagen, de los datos asociados con al menos un área de la primera imagen en la que se encuentra el subobjeto, y un resultado de reconocimiento de la restauración del área de datos eliminados de forma que se incluya al menos una porción del objeto principal oculto por el subobjeto se puede proporcionar como texto, una imagen o instrucciones (por ejemplo, instrucciones de ejecución de la aplicación o instrucciones de ejecución de la función del módulo).
El refinador de modelos 1320-5 puede permitir la actualización del modelo de reconocimiento de datos, en base a una evaluación de un resultado de reconocimiento proporcionado por el proveedor de resultados de reconocimiento 1320-4. Por ejemplo, el refinador de modelos 1320-5 puede permitir al aprendiz de modelos 1310-4 actualizar el modelo de reconocimiento de datos, al proporcionar el resultado de reconocimiento proporcionado por el proveedor de resultados de reconocimiento 1320-4 al aprendiz de modelos 1310-4.
Al menos uno de los obtenedores de datos 1320-1, el preprocesador 1320-2, el selector de datos de reconocimiento 1320-3, el proveedor de resultados de reconocimiento 1320-4 y el refinador de modelos 1320-5 dentro del reconocedor de datos 1320 se puede fabricar en forma de al menos un chip de hardware y se puede montar en un dispositivo. Por ejemplo, al menos uno de los obtenedores de datos 1320-1, el preprocesador 1320-2, el selector de datos de reconocimiento 1320-3, el proveedor de resultados de reconocimiento 1320-4 y el refinador de modelos 1320-5 se pueden fabricar en forma de un chip de hardware dedicado para Al, o se pueden fabricar como una parte de un procesador de propósito general existente (por ejemplo, una c Pu o un AP) o un procesador dedicado a los gráficos (por ejemplo, una GPU) y se pueden montar en cualquiera de los diversos dispositivos mencionados.
El obtenedor de datos 1320-1, el preprocesador 1320-2, el selector de datos de reconocimiento 1320-3, el proveedor de resultados de reconocimiento 1320-4, y el refinador de modelos 1320-5 pueden estar todos montados en un único aparato electrónico, o pueden estar montados respectivamente en aparatos electrónicos independientes. Por ejemplo, algunos de los elementos de obtención de datos 1320-1, el preprocesador 1320-2, el selector de datos de reconocimiento 1320-3, el proveedor de resultados de reconocimiento 1320-4 y el refinador de modelos 1320-5 pueden estar incluidos en un aparato electrónico, y los demás pueden estar incluidos en un servidor.
Al menos uno de los obtenedores de datos 1320-1, el preprocesador 1320-2, el selector de datos de reconocimiento 1320-3, el proveedor de resultados de reconocimiento 1320-4 y el refinador de modelos 1320-5 se pueden implementar como un módulo de software. Cuando al menos uno de los elementos de obtención de datos 1320-1, el preprocesador 1320-2, el selector de datos de reconocimiento 1320-3, el proveedor de resultados de reconocimiento 1320-4 y el refinador de modelos 1320-5 se implementa como un módulo de software (o un módulo de programa que incluye instrucciones), el módulo de software se puede almacenar en un medio de grabación no transitorio legible por ordenador. En este caso, el al menos un módulo de software puede ser proporcionado por un sistema operativo o por una determinada aplicación. Alternativamente, algunos de los al menos un módulo de software pueden ser proporcionados por un SO y los otros pueden ser proporcionados por una determinada aplicación.
El dispositivo de adquisición de imágenes 1000 puede proporcionar al usuario una imagen que se ajuste a una intención del usuario mediante el uso de un modelo entrenado al que se ha aplicado un resultado aprendido.
La FIG. 36 es un diagrama de bloques que ilustra un ejemplo en el que el dispositivo de adquisición de imágenes 1000 y el servidor 2000 interoperan para aprender y reconocer datos, de acuerdo con algunas realizaciones.
Con referencia a la FIG. 36, el servidor 2000 puede aprender una norma para detectar al menos uno de los objetos principales y el subobjeto de la primera imagen, una norma para eliminar, de la primera imagen, los datos asociados con al menos alguna zona de la primera imagen en la que se encuentra el subobjeto, y una norma para restaurar la zona eliminada de datos de forma que se incluya al menos una parte del objeto principal oculto por el subobjeto, y el dispositivo de adquisición de imágenes 1000 puede detectar al menos uno de los objetos principales y el subobjeto de la primera imagen, eliminar, de la primera imagen, los datos asociados con al menos un área de la primera imagen en la que se encuentra el subobjeto, y restaurar el área de datos eliminados de forma que se incluya al menos una porción del objeto principal oculto por el subobjeto, en base a un resultado de aprendizaje del servidor 2000.
En este caso, un aprendiz de modelo 2340 del servidor 2000 puede llevar a cabo una función del aprendiz de datos 1310 de la FIG. 33.
El aprendiz de modelos 2340 del servidor 2000 puede aprender el estándar para detectar el objeto principal y el subobjeto de la primera imagen. El aprendiz de modelos 2340 puede aprender una norma sobre los datos que se deben utilizar para detectar el objeto principal y el subobjeto de la primera imagen. El aprendiz del modelo 2340 puede aprender la norma para detectar el objeto principal y el subobjeto a partir de la primera imagen, al obtener datos para utilizar en el aprendizaje y aplicar los datos obtenidos a un modelo de reconocimiento de datos que se describirá más adelante.
El aprendiz de modelos 2340 puede aprender la norma para eliminar, de la primera imagen, los datos asociados con al menos alguna zona de la primera imagen en la que se encuentra el subobjeto. El aprendiz de modelos 2340 puede aprender una norma sobre los datos que se van a utilizar para eliminar, de la primera imagen, los datos asociados con al menos alguna zona de la primera imagen en la que se encuentra el subobjeto. El aprendiz del modelo 2340 puede aprender la norma para eliminar, de la primera imagen, los datos asociados con al menos alguna zona de la primera imagen en la que se encuentra el subobjeto, al obtener datos para su uso en el aprendizaje y aplicar los datos obtenidos al modelo de reconocimiento de datos que se describirá más adelante.
El aprendiz del modelo 2340 puede aprender la norma para restaurar el área de datos eliminados de forma que se incluya al menos una porción del objeto principal oculto por el subobjeto. El aprendiz de modelos 2340 puede aprender una norma sobre los datos que se deben utilizar para restaurar el área de datos eliminados de forma que se incluya al menos una porción del objeto principal oculto por el subobjeto. El aprendiz del modelo 2340 puede aprender la norma para restaurar el área eliminada de datos de forma que se incluya al menos una porción del objeto principal oculto por el subobjeto, al obtener datos para usar en el aprendizaje y aplicar los datos obtenidos al modelo de reconocimiento de datos que se describirá más adelante.
El aprendiz de modelos 2340 puede aprender al menos uno de los estándares para detectar al menos uno de los objetos principales y el subobjeto de la primera imagen, el estándar para eliminar, de la primera imagen, los datos asociados con al menos alguna área de la primera imagen donde se encuentra el subobjeto, y el estándar para restaurar el área eliminada de datos de forma que se incluya al menos una porción del objeto principal oculto por el subobjeto, por medio de la obtención de datos para su uso en el aprendizaje y la aplicación de los datos obtenidos a un modelo entrenado que se describirá más adelante.
El proveedor de resultados de reconocimiento 1320-4 del dispositivo de adquisición de imágenes 1000 puede detectar al menos uno de los objetos principales y el subobjeto de la primera imagen, eliminar, de la primera imagen, los datos asociados con al menos un área de la primera imagen en la que se encuentra el subobjeto, y restaurar el área eliminada de datos de forma que se incluya al menos una porción del objeto principal oculto por el subobjeto, al aplicar los datos seleccionados por el selector de datos de reconocimiento 1320-3 al modelo de reconocimiento de datos generado por el servidor 2000. Por ejemplo, el proveedor de resultados de reconocimiento 1320-4 puede transmitir los datos seleccionados por el selector de datos de reconocimiento 1320-3 al servidor 2000, y el servidor 2000 puede solicitar que se detecte al menos uno de los objetos principales y el subobjeto de la primera imagen, que se eliminen, de la primera imagen, los datos asociados con al menos un área de la primera imagen en la que se encuentra el subobjeto, y que se restaure el área eliminada de datos de forma que se incluya al menos una porción del objeto principal oculto por el subobjeto, al aplicar los datos seleccionados por el selector de datos de reconocimiento 1320-3 a un modelo de reconocimiento.
El proveedor de resultados de reconocimiento 1320-4 puede recibir, desde el servidor 2000, información sobre un procedimiento de detección de al menos uno de los objetos principales y el subobjeto de la primera imagen, eliminar, de la primera imagen, los datos asociados con al menos un área de la primera imagen en la que se encuentra el subobjeto, y restaurar el área eliminada de datos de forma que se incluya al menos una porción del objeto principal oculto por el subobjeto.
Alternativamente, el proveedor de resultados de reconocimiento 1320-4 del dispositivo de adquisición de imágenes 1000 puede recibir el modelo de reconocimiento generado por el servidor 2000 desde el servidor 2000, y puede detectar al menos uno de los objetos principales y el subobjeto de la primera imagen mediante el uso del modelo de reconocimiento recibido. El proveedor de resultados de reconocimiento 1320-4 puede eliminar, de la primera imagen, los datos asociados con al menos un área de la primera imagen en la que se encuentra el subobjeto, y restaurar el área eliminada de datos de forma que se incluya al menos una porción del objeto principal oculto por el subobjeto, mediante el uso del modelo de reconocimiento recibido. En este caso, el proveedor de resultados de reconocimiento 1320-4 del dispositivo de adquisición de imágenes 1000 puede detectar al menos uno de los objetos principales y el subobjeto de la primera imagen, eliminar, de la primera imagen, los datos asociados con al menos un área de la primera imagen en la que se encuentra el subobjeto, y restaurar el área eliminada de datos de forma que se incluya al menos una porción del objeto principal oculto por el subobjeto, al aplicar los datos seleccionados por el selector de datos de reconocimiento 1320-3 al modelo de reconocimiento recibido del servidor 2000.
Las diversas unidades del dispositivo de adquisición de imágenes 1000 se pueden implementar por medio de una combinación de un procesador, una memoria y un código de programa ubicado en la memoria y ejecutado por el procesador para llevar a cabo las diversas funciones de los procedimientos y dispositivos descritos anteriormente. Las diversas unidades del servidor 2000 pueden ser implementadas por una combinación de procesador, memoria y código de programa ubicado en la memoria y ejecutado por el procesador para llevar a cabo las diversas funciones de los procedimientos y dispositivos descritos anteriormente.
El dispositivo de adquisición de imágenes 1000 y el servidor 2000 pueden distribuir y llevar a cabo eficazmente las operaciones de aprendizaje de un modelo entrenado y de reconocimiento de datos y, en consecuencia, llevar a cabo eficientemente el procesamiento de los datos con el fin de proporcionar un servicio que sea coherente con la intención de un usuario y proteger eficazmente la privacidad del usuario.
Algunas realizaciones también pueden ser incorporadas como un medio de almacenamiento que incluye códigos de instrucción ejecutables por un ordenador, tales como un módulo de programa ejecutado por el ordenador. Un medio legible por ordenador puede ser cualquier medio disponible al que pueda acceder el ordenador e incluye todos los medios volátiles/no volátiles y extraíbles/no extraíbles. Además, el medio legible por ordenador puede incluir todos los medios de almacenamiento y comunicación del ordenador. El medio de almacenamiento informático incluye todos los medios volátiles/no volátiles y extraíbles/no extraíbles incorporados por un determinado procedimiento o tecnología para almacenar información tal como un código de instrucción legible por ordenador, una estructura de datos, un módulo de programa u otros datos.
La terminología "-unidad" utilizada en la presente memoria puede ser un componente de hardware tal como un procesador o un circuito, y/o un componente de software que es ejecutado por un componente de hardware tal como un procesador.
Aunque las realizaciones de la presente divulgación se han divulgado con fines ilustrativos, una persona con conocimientos ordinarios de la técnica apreciará que son posibles diversas variaciones y modificaciones, sin apartarse del espíritu y el alcance de la divulgación. Por lo tanto, las realizaciones anteriores se deben entender como no restrictivas, sino ilustrativas, en todos los aspectos. Por ejemplo, los elementos respectivos descritos de forma integrada pueden ser utilizados de forma dividida, y los elementos divididos pueden ser utilizados en un estado de ser combinados.
A la vez que una o más realizaciones ejemplares se describen con referencia a las figuras, se entenderá por aquellos de expertos en la técnica que varios cambios en la forma y los detalles se pueden hacer en el mismo sin apartarse del ámbito de la invención como se define por las reivindicaciones adjuntas.

Claims (10)

REIVINDICACIONES
1. Un procedimiento para proporcionar una imagen por medio del uso de un modelo entrenado de inteligencia artificial, Al, el procedimiento comprende:
obtener, por medio del uso de una cámara de un dispositivo electrónico, una pluralidad de imágenes que incluye una primera imagen que incluye una pluralidad de objetos (S610);
identificar un primer objeto, que es un humano, como objeto principal entre la pluralidad de objetos incluidos en la primera imagen;
detectar el movimiento de un segundo objeto en base a una pluralidad de posiciones del segundo objeto en al menos dos imágenes de la pluralidad de imágenes, en las que el segundo objeto, que es un humano, es diferente del primer objeto (S630);
en base a la detección del movimiento del segundo objeto, determinar, por medio de un primer modelo de IA entrenado y almacenado en una memoria del dispositivo electrónico, que el segundo objeto es un objeto que se debe eliminar de la primera imagen;
obtener una segunda imagen que incluya el primer objeto al generar datos correspondientes a un área de fondo oculta por el segundo objeto para eliminar el segundo objeto de la primera imagen (S650); y mostrar la segunda imagen obtenida mediante el uso de una pantalla del dispositivo electrónico.
2. El procedimiento de la reivindicación 1, en el que el segundo objeto es un objeto en movimiento.
3. El procedimiento de la reivindicación 1, en el que la generación de la segunda imagen comprende la obtención de la segunda imagen por medio de la eliminación de un primer dato de imagen de la zona correspondiente al segundo objeto incluido en la primera imagen.
4. El procedimiento de la reivindicación 1, en el que la obtención de la segunda imagen comprende generar la segunda imagen al sustituir un primer dato de imagen del área correspondiente al segundo objeto incluido en la primera imagen por un segundo dato de imagen.
5. El procedimiento de las reivindicaciones 1, 3 o 4, en el que la obtención de la segunda imagen comprende generar, por medio de un segundo modelo de IA entrenado, la segunda imagen que incluye el primer objeto al eliminar el segundo objeto de la primera imagen.
6. Un dispositivo de adquisición de imágenes (1000) que comprende:
una pantalla (1210);
una cámara (1610);
una memoria (1700) que almacena una o más instrucciones,
al menos un procesador (1300) configurado para ejecutar la una o más instrucciones para:
controlar la cámara (1610) para obtener una pluralidad de imágenes que incluyen una primera imagen que incluye una pluralidad de objetos;
identificar un primer objeto, que es un humano, como objeto principal entre la pluralidad de objetos incluidos en la primera imagen;
detectar el movimiento de un segundo objeto en base a una pluralidad de posiciones del segundo objeto en al menos dos imágenes de la pluralidad de imágenes, en las que el segundo objeto, que es un humano, es diferente del primer objeto;
en base a la detección del movimiento del segundo objeto, determinar por medio de un primer modelo de IA entrenado y almacenado en la memoria (1700), el segundo objeto como objeto a eliminar de la primera imagen;
obtener una segunda imagen al generar datos correspondientes a un área de fondo oculta por el segundo objeto para eliminar el segundo objeto de la primera imagen, la segunda imagen incluyendo el primer objeto; y
controlar la pantalla (1210) para mostrar la segunda imagen obtenida.
7. El dispositivo de adquisición de imágenes de la reivindicación 6, en el que el segundo objeto es un objeto en movimiento.
8. El dispositivo de adquisición de imágenes de la reivindicación 6, en el que el al menos un procesador (1300) está configurado además para ejecutar la una o más instrucciones para:
generar la segunda imagen al eliminar un primer dato de imagen del área correspondiente al segundo objeto incluido en la primera imagen.
9. El dispositivo de adquisición de imágenes de la reivindicación 6, en el que el al menos un procesador (1300) está configurado además para ejecutar la una o más instrucciones para:
generar la segunda imagen al sustituir un primer dato de imagen del área correspondiente al segundo objeto incluido en la primera imagen por un segundo dato de imagen.
10. El dispositivo de adquisición de imágenes de las reivindicaciones 6, 8 o 9, en el que el al menos un procesador (1300) está configurado además para ejecutar la una o más instrucciones para:
generar, por medio de un segundo modelo de IA entrenado, la segunda imagen que incluye el primer objeto al eliminar el segundo objeto de la primera imagen.
ES20190447T 2017-12-26 2018-12-26 Dispositivo de adquisición de imágenes y procedimiento de control del mismo Active ES2925453T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20170180036 2017-12-26

Publications (1)

Publication Number Publication Date
ES2925453T3 true ES2925453T3 (es) 2022-10-18

Family

ID=67067886

Family Applications (1)

Application Number Title Priority Date Filing Date
ES20190447T Active ES2925453T3 (es) 2017-12-26 2018-12-26 Dispositivo de adquisición de imágenes y procedimiento de control del mismo

Country Status (6)

Country Link
EP (3) EP4105878A1 (es)
KR (1) KR20190078543A (es)
CN (2) CN111465960A (es)
ES (1) ES2925453T3 (es)
PT (1) PT3754592T (es)
WO (1) WO2019132518A1 (es)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102269053B1 (ko) * 2019-07-09 2021-06-24 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2021006622A1 (en) 2019-07-09 2021-01-14 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
US20210204785A1 (en) * 2019-07-31 2021-07-08 Lg Electronics Inc. Artificial intelligence moving agent
KR102201858B1 (ko) * 2019-08-26 2021-01-12 엘지전자 주식회사 인공지능 기반 영상 편집 방법 및 지능형 디바이스
KR102409103B1 (ko) * 2019-11-11 2022-06-21 주식회사 날비컴퍼니 이미지 변형 방법
KR102583686B1 (ko) * 2020-03-25 2023-09-27 한국전자통신연구원 객체 검출 방법 및 장치
KR102389304B1 (ko) * 2020-10-16 2022-04-21 주식회사 씨앤에이아이 주변 영역을 고려한 이미지 인페인팅 방법 및 디바이스
KR102389284B1 (ko) * 2020-10-16 2022-04-21 주식회사 씨앤에이아이 인공지능 기반 이미지 인페인팅 방법 및 디바이스
US11244248B1 (en) * 2020-10-21 2022-02-08 Deeping Source Inc. Method for training and testing user learning network to be used for recognizing obfuscated data created by obfuscating original data to protect personal information and user learning device and testing device using the same
KR20220073444A (ko) 2020-11-26 2022-06-03 삼성전자주식회사 오브젝트 추적 방법, 장치 및 그 방법을 수행하는 단말기
KR20220111144A (ko) * 2021-02-01 2022-08-09 삼성전자주식회사 HMD(head mounted display)의 영상 처리 방법 및 이 방법을 실행하는 HMD
CN113060436B (zh) * 2021-02-03 2022-04-01 宁波环链大数据有限公司 一种基于图像识别的厨余垃圾投递检测方法与***
KR102244768B1 (ko) * 2021-02-10 2021-04-27 가천대학교 산학협력단 인공지능에 기반한 시니어 케어를 위한 길안내를 제공하는 챗봇기반의 청각보조 시스템 및 방법
WO2023224425A1 (en) * 2022-05-20 2023-11-23 Samsung Electronics Co., Ltd. Method and system for image artifact modification based on user interaction
KR102436494B1 (ko) * 2022-06-02 2022-08-26 (주) 인터마인즈 상품인식 알고리즘을 통한 상품 판매개수 산출방법 및 산출장치
KR102596848B1 (ko) * 2022-12-29 2023-11-01 가천대학교 산학협력단 인공지능 기반 재실인원에 따른 에너지 소비량 추정방법, 및 이를 수행하는 시스템, 컴퓨터-판독가능 매체
CN117078789B (zh) * 2023-09-22 2024-01-02 腾讯科技(深圳)有限公司 图像处理方法、装置、设备及介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102090105B1 (ko) * 2013-07-16 2020-03-17 삼성전자 주식회사 카메라를 구비하는 장치의 이미지 처리장치 및 방법
US9373160B2 (en) 2013-12-18 2016-06-21 New York University System, method and computer-accessible medium for restoring an image taken through a window
US9412153B2 (en) * 2014-12-11 2016-08-09 Sony Corporation Using depth for recovering missing information in an image
DE102015009981A1 (de) * 2015-07-31 2017-02-02 Eberhard Karls Universität Tübingen Verfahren und Vorrichtung zur Bildsynthese
US20170161592A1 (en) * 2015-12-04 2017-06-08 Pilot Ai Labs, Inc. System and method for object detection dataset application for deep-learning algorithm training

Also Published As

Publication number Publication date
EP3682415A1 (en) 2020-07-22
EP3682415A4 (en) 2020-09-16
EP3754592A1 (en) 2020-12-23
CN114511539A (zh) 2022-05-17
EP3682415B1 (en) 2022-04-27
WO2019132518A1 (en) 2019-07-04
EP3754592B1 (en) 2022-07-27
PT3754592T (pt) 2022-09-23
EP4105878A1 (en) 2022-12-21
KR20190078543A (ko) 2019-07-04
CN111465960A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
ES2925453T3 (es) Dispositivo de adquisición de imágenes y procedimiento de control del mismo
ES2970058T3 (es) Procedimiento y sistema para proporcionar información de recomendación relacionada con la fotografía
US11810279B2 (en) Image acquisition device and method of controlling the same
US8953841B1 (en) User transportable device with hazard monitoring
KR20180051367A (ko) 디바이스가 이미지를 보정하는 방법 및 그 디바이스
KR20210030466A (ko) 이미지 획득 장치 및 그의 제어 방법
CN110998614B (zh) 电子设备及其操作方法
US11931906B2 (en) Mobile robot device and method for providing service to user
KR20180055708A (ko) 이미지를 처리하는 전자 장치 및 방법
CN113114943B (zh) 用于处理图像的装置和方法
EP3772217A1 (en) Output control apparatus, display terminal, remote control system, control method, and carrier medium
KR20190096752A (ko) 컨텐츠에 대한 텍스트 코멘트를 생성하는 방법 및 전자 장치
KR20180074562A (ko) 전자 장치 및 이의 제어 방법
Manjari et al. CREATION: Computational constRained travEl aid for objecT detection in outdoor eNvironment
US11354897B2 (en) Output control apparatus for estimating recognition level for a plurality of taget objects, display control system, and output control method for operating output control apparatus
KR20160134428A (ko) 이미지를 처리하는 전자 장치 및 그 제어 방법
CN111344776B (zh) 信息处理装置、信息处理方法和程序
KR20220023212A (ko) 단말의 모델을 갱신하는 서버 및 그 동작 방법
CN113474822A (zh) 在图像中提供天气效果的***和方法
EP4390873A2 (en) System and method for providing weather effect in image
US11726740B2 (en) Immersive audio tours
US20170155892A1 (en) Wearable stereoscopic camera system for 3d virtual reality imaging and networked area learning
KR20220071120A (ko) 방범 시스템
KR20230009054A (ko) 인공지능을 이용하여 휴대 전자기기 사용자의 보행 사고를 방지하기 위한 알림방법 및 이러한 방법이 적용된 휴대 전자기기