ES1305052U

ES1305052U - Armario de almacenamiento

Info

Publication number: ES1305052U
Application number: ES202390009U
Authority: ES
Inventors: Pinto Ana Alexandra Coelho; Ribeiro Paulo André Pereira; Neves Pereira Fernando Carlos Miguel Teixeira; Rodrigues Sérgio Lino Monteiro
Original assignee: Rk Ai Servisos De Processamento De Imagens E Analise De Dados Lda
Current assignee: Rk Ai Servisos De Processamento De Imagens E Analise De Dados Lda
Priority date: 2021-03-11
Filing date: 2022-03-11
Publication date: 2024-01-18
Anticipated expiration: 2032-03-11
Also published as: ES1305052Y; EP4305608A1; DE212022000062U1; WO2022190061A1; PL131241U1; CL2023001542A1

Abstract

Armario de almacenamiento caracterizado por que comprende uno o más estantes, una o más puertas para cerrar el armario y una cerradura electromagnética para bloquear la puerta o puertas; en el que cada uno de dichos estantes comprende una o más cámaras, un sensor de estado de puerta abierto o cerrado, y un sensor de peso dispuesto para medir el peso de productos colocados sobre cada uno de dicho uno o más estantes; que además comprende un procesador de datos electrónico de armario provisto de visión artificial de aprendizaje automático para procesar datos recibidos a partir de cámaras y sensores para identificar productos retirados de dicho uno o más estantes, en el que el procesador de datos electrónico de armario está provisto además de: medios para adquirir datos de imagen a partir de la cámara o cámaras y datos de sensor de peso ante la detección de que la puerta o puertas de armario están en un estado abierto; medios para, mediante dicha visión artificial de aprendizaje automático, procesar datos de imagen adquiridos ante la detección de un cambio de peso en un estante, incluyendo cuando se produjo el cambio de peso.

Description

DESCRIPCIÓN

Armario de almacenamiento

Campo de la invención

La presente divulgación se refiere a un armario de almacenamiento, a métodos y a utilizaciones del mismo; concretamente, a un equipo de microtienda automatizado que proporciona una experiencia de autopago sin cajero.

El equipo de la presente divulgación comprende armarios que presentan estantes móviles con cámaras y sensores incorporados, y una aplicación de software, un enrutador y conexiones de red, que permiten que algoritmos de visión artificial identifiquen todos los productos e interacciones, y la selección por un cliente de un producto dado.

La microtienda divulgada en la presente memoria permite que cualquiera cree una experiencia de compra rápida (del inglés, "grab and go shopping”). Un cliente llega a la microtienda, la desbloquea utilizando la aplicación diseñada, selecciona el producto deseado, lo recoge y está listo para ir y pagar. En cuanto el cliente cierra la puerta, recibe un recibo en segundos con los productos que ha comprado.

La microtienda de la presente divulgación puede funcionar en cualquier parte, sólo necesita un enchufe eléctrico y una conexión a Internet. La experiencia del usuario es similar a la de cualquier tienda al por menor: el usuario recoge productos y puede devolverlos si no le gustan. La microtienda puede funcionar las 24 horas sin ninguna intervención humana.

Estado de la técnica

Recientemente, el campo de los micromercados sin supervisión y las experiencias de compras rápidas ha tenido mucho protagonismo.

Normalmente, estos micromercados se gestionan dentro de la sala de descanso de una empresa y ofrecen comida y bebida utilizando un sistema de confianza: un sistema de pago que se basa exclusivamente en la confianza y la honestidad. Un ejemplo es un sistema que comprende un cartón que contiene una variedad de aperitivos y etiquetas con sus respectivos precios, así como una caja para monedas no protegida incorporada en el marco del cartón.

Este sistema espera que el usuario coja lo que quiera de la caja, confiando en que depositará la cantidad correcta de dinero en la ranura para monedas.

En contraposición a los sistemas de confianza, las máquinas expendedoras son sistemas cerrados que permiten que el usuario reciba un producto una vez que ha pagado por él. En la mayoría de estos sistemas, los consumidores no pueden interaccionar con los artículos; tanto en las máquinas expendedoras tradicionales como en las antiguas, los productos se retiran sin interacción directa con los mismos.

Estos dispositivos tienen mala reputación, porque proporcionan una mala experiencia al usuario y habitualmente ofrecen una selección no saludable de aperitivos y bebidas, requiriendo incluso la mayoría de las veces monedas físicas para funcionar.

Además, la máquina expendedora, en la mayoría de los casos, no es llamativa y no tiene un aspecto atractivo.

Para resolver este problema, algunas empresas empiezan a crear soluciones utilizando tecnología de RFID. Estos dispositivos requieren con frecuencia "etiquetas inteligentes” para identificar los productos retirados y permitir que el usuario abra la máquina y recoja los productos. Sin embargo, algunas veces estas etiquetas no pueden funcionar de manera apropiada y el propietario pierde una venta.

Adicionalmente, dichos dispositivos presentan algunos problemas de funcionamiento, en los que se necesita etiquetar cada producto, aumentando, por tanto, los costes de productos y de funcionamiento.

El documento US6575363B1 divulga una máquina expendedora que puede dispensar un artículo a múltiples precios y un método para motivar una venta adicional en una o más máquinas expendedoras.

Para obtener una mejor experiencia de este mercado, así como un enfoque más saludable, algunas empresas empiezan a utilizar estantes abiertos en los que los consumidores pueden recoger los artículos elegidos. Sin embargo, necesitan escanear los códigos de barras de cada artículo, por tanto, deben disponer de un escáner de código de barras ubicado cerca de los estantes y productos. dichas experiencias de micromercado de estantes abiertos están limitadas únicamente a ubicaciones altamente protegidas y están sujetas a pérdidas por robos.

Otro problema de estos sistemas y de las máquinas expendedoras tradicionales es que no hay comunicación en tiempo real entre el consumidor y el operador del sistema.

Por consiguiente, existe una necesidad continua de experiencias de autopago automatizadas con métodos y sistemas de venta "listos para la venta”, que sean llamativos y atractivos, y que ofrezcan una amplia variedad de productos.

Además, también es necesario que dichos sistemas automatizados puedan utilizarse en cualquier parte y puedan ofrecer una amplia gama de productos, comida, bebida y otros productos esenciales muy demandados.

La presente divulgación cumple estas necesidades y proporciona otras ventajas relacionadas.

Explicación de la invención

La presente divulgación se refiere a un equipo de microtienda automatizado que comprende al menos un armario cerrado con cámaras y sensores incorporados, y una aplicación de software individual que permite que algoritmos de visión artificial identifiquen todos los productos e interacciones disponibles para el usuario por un proveedor dado, permitiendo de ese modo que el cliente realice una adquisición de autopago sin cajero.

El cliente llega a la microtienda utilizando una aplicación móvil, o un terminal de punto de venta (POS), y recoge los productos deseados. En cuanto el cliente cierra la puerta, recibe un recibo en segundos con los productos que ha comprado.

La experiencia del usuario es similar a la de cualquier tienda al por menor: el usuario recoge productos y puede devolverlos si no le gustan. La microtienda puede funcionar las 24 horas sin ninguna intervención humana.

Esta divulgación se refiere a un equipo y, aunque el control de acceso a dicho equipo se realiza mediante una aplicación móvil, la selección de producto por el usuario se realiza en el mundo físico retirando manualmente productos del interior de un armario.

Un aspecto de la presente divulgación se refiere a un armario de almacenamiento que comprende uno o más estantes, una o más puertas para cerrar el armario y una cerradura electromagnética para bloquear la puerta o puertas;

en el que cada uno de dichos estantes comprende una o más cámaras, un sensor de estado de puerta abierto o cerrado, y un sensor de peso dispuesto para medir el peso de productos colocados sobre cada uno de dicho uno o más estantes;

que comprende además un procesador de datos electrónico de armario configurado para llevar a cabo un método de visión artificial de aprendizaje automático para procesar datos recibidos a partir de cámaras y sensores para identificar productos retirados de dicho uno o más estantes, en el que el procesador de datos electrónico de armario está configurado además para:

cuando se detecta que la puerta o puertas de armario están en un estado abierto, adquirir datos de imagen a partir de la cámara o cámaras y datos de sensor de peso;

cuando se detecta un cambio de peso en un estante, procesar datos de imagen adquiridos incluyendo cuando se produjo el cambio de peso, con dicho método de visión artificial de aprendizaje automático.

En una forma de realización, el procesador de datos electrónico de armario está configurado además, como etapas anteriores, para recibir una autorización de usuario válida y desbloquear la cerradura electromagnética.

En una forma de realización, el procesador de datos electrónico de armario está configurado además para, después de desbloquear la cerradura electromagnética, cuando se detecta que la puerta o puertas de armario están en un estado abierto, bloquear la cerradura electromagnética de tal manera que cuando se cierran la puerta o puertas, la puerta o puertas se bloquearán.

En una forma de realización, el procesador de datos electrónico de armario está configurado además para rechazar autorizaciones de usuario posteriores hasta que un usuario anterior haya cerrado la puerta o puertas.

En una forma de realización, el procesador de datos electrónico de armario está configurado además para enviar una lista de productos identificados como retirados de dicho uno o más estantes entre la recepción de una autorización de usuario válida y la recepción de datos de sensor de estado de puerta que indican que la puerta o puertas están cerradas.

En una forma de realización, el procesador de datos electrónico de armario está configurado además para comparar datos de peso antes de retirar un producto de un estante, con datos de peso después de devolver un producto a un estante, y provocar una acción si se detecta una diferencia de peso que supera un umbral predeterminado.

En una forma de realización, el armario de almacenamiento puede comprender un controlador periférico configurado para recibir datos a partir de la cámara o cámaras, el sensor de peso y a partir del procesador o procesadores de datos de estante, y configurado para controlar la cerradura electromagnética.

En una forma de realización, el procesador de datos electrónico de armario está configurado además para llevar a cabo un método de visión artificial de aprendizaje automático para procesar datos recibidos a partir de cámaras que comprende un primer modelo de visión artificial de aprendizaje automático entrenado para clasificar un acontecimiento de manipulación de producto como una recogida de producto o devolución de producto y un segundo modelo de visión artificial de aprendizaje automático entrenado para identificar el producto que está manipulándose en dicho acontecimiento de manipulación de producto.

En una forma de realización, el método de visión artificial de aprendizaje automático comprende la utilización de una red neuronal convolucional, CNN.

En una forma de realización, el procesador de datos electrónico de armario comprende una conexión inalámbrica para comunicarse con el procesador o procesadores de datos de estante.

En una forma de realización, el procesador de datos electrónico de armario comprende una conexión inalámbrica para comunicarse con un dispositivo móvil de un usuario, esta conexión es opcional. Si el usuario no se conecta utilizando un dispositivo móvil, todavía puede utilizar el armario utilizando un terminal de POS.

En una forma de realización, cada uno de dichos estantes comprende un procesador de datos electrónico de estante conectado a la cerradura electromagnética, la una o más cámaras y el sensor de peso, y que comprende una conexión inalámbrica.

En una forma de realización, el armario de almacenamiento de la presente divulgación puede ser un armario autónomo para su utilización en compras sin cajero.

En una forma de realización, los estantes pueden moverse dentro del armario, en particular pueden moverse en vertical.

En una forma de realización, el procesador de datos electrónico de armario está conectado a un servidor remoto, es decir, un servidor en la nube, configurado para llevar a cabo un método de visión artificial de aprendizaje automático para procesar datos de imagen como procesamiento redundante con respecto al del procesador de datos electrónico de armario.

En una forma de realización, el armario de almacenamiento de la presente divulgación puede comprender además un código de identificación visual unido al exterior del armario para escaneado por un dispositivo móvil de un usuario.

En una forma de realización, el código de identificación visual es un código de barras de 1D o código de barras de 2D, en particular un código QR.

En una forma de realización, el armario de almacenamiento de la presente divulgación puede comprender además una etiqueta de identificación por radiofrecuencia, RFID, unida al exterior del armario para escaneado por un dispositivo móvil de un usuario, en particular siendo la etiqueta de RFID una etiqueta de comunicación de campo cercano, NFC.

En una forma de realización, cada uno del estante o estantes comprende un interior hueco definido por una cubierta superior y una parte inferior.

En una forma de realización, la cubierta superior del estante está soportada únicamente por un sensor de peso dispuesto sobre la parte inferior del estante, para medir el peso de productos colocados encima del estante, en particular comprendiendo el sensor de peso dos o más células de carga.

En una forma de realización, la parte inferior del estante comprende al menos una cámara orientada hacia abajo y dispuesta en el lado inferior del estante.

En una forma de realización, una parte inferior del estante presenta un perfil en sección transversal en "U” que define unas superficies laterales de la parte inferior.

En una forma de realización, una cubierta superior del estante es una superficie plana configurada para moverse verticalmente sin tocar los lados de la parte inferior del estante.

En una forma de realización, la puerta o puertas son puertas correderas, puertas plegables, puertas abisagradas o combinaciones de las mismas.

En una forma de realización, el producto es una mercancía, preferiblemente comida o bebida, entre otros, más preferiblemente comida o bebida envasadas.

En una forma de realización, el armario es un armario refrigerado o calentado.

En una forma de realización, la cámara o cámaras son cámaras con lente de gran angular.

En una forma de realización, la cámara o cámaras están fijadas a un lado inferior de cada estante, dispuestas en un borde delantero de dicho estante, y dirigidas hacia otro estante inmediatamente por debajo, en particular estando la cámara dispuesta en el centro del borde delantero de cada estante, o estando las cámaras distribuidas a lo largo del borde delantero de cada estante, más en particular estando las cámaras distribuidas a lo largo del borde delantero de cada estante y en una región central del borde delantero del estante.

Otro aspecto de la presente divulgación se refiere a un método para hacer funcionar un armario de almacenamiento que comprende uno o más estantes, una o más puertas para cerrar el armario, y una cerradura electromagnética para bloquear la puerta o puertas; en el que cada uno de dichos estantes comprende una o más cámaras, un sensor de estado de puerta abierto o cerrado, y un sensor de peso dispuesto para medir el peso de productos colocados sobre cada uno de dicho uno o más estantes; que comprende además un procesador de datos electrónico de armario configurado para llevar a cabo un método de visión artificial de aprendizaje automático para procesar datos recibidos a partir de cámaras y sensores para identificar productos retirados de dicho uno o más estantes, en el que el método comprende utilizar dicho procesador de datos electrónico de armario para: cuando se detecta que la puerta o puertas de armario están en un estado abierto, adquirir datos de imagen a partir de la cámara o cámaras y datos de sensor de peso; cuando se detecta un cambio de peso en un estante, procesar los datos de imagen adquiridos incluyendo cuando se produjo el cambio de peso, con dicho método de visión artificial de aprendizaje automático.

En una forma de realización, el método de la presente divulgación comprende, como etapas anteriores, que el procesador de datos electrónico de armario reciba una autorización de usuario válida y desbloquear la cerradura electromagnética.

En una forma de realización, el procesador de datos electrónico de armario, después de desbloquear la cerradura electromagnética, cuando se detecta que la puerta o puertas de armario están en un estado abierto, bloquea la cerradura electromagnética de tal manera que cuando se cierran la puerta o puertas, la puerta o puertas se bloquearán.

En una forma de realización, el procesador de datos electrónico de armario rechaza autorizaciones de usuario posteriores hasta que un usuario anterior haya cerrado la puerta o puertas.

En una forma de realización, el procesador de datos electrónico de armario envía una lista de productos identificados como retirados de dicho uno o más estantes entre la recepción de una autorización de usuario válida y la recepción de datos de sensor de estado de puerta que indican que la puerta o puertas están cerradas.

Breve descripción de los dibujos

Las siguientes figuras proporcionan formas de realización preferidas para ilustrar la divulgación y no deben considerarse como limitativas del alcance de invención.

Lafigura 1muestra una vista en perspectiva frontal de un armario automatizado, que:

1. Representa la cerradura electromagnética

2. Representa el controlador periférico

3. Representa el suministro de potencia

4. Representa el identificador de máquina

La conexión entre los componentes 1 y 3 representa las líneas de suministro de potencia que pasan a través del armario.

Lafigura 2es una vista del armario sin las puertas con cámaras y ordenadores incorporados posicionados, que:

5. Representa los estantes del armario

6. Representa las cámaras

7. Representa la tarjeta de procesamiento de IA y visión artificial

Lafigura 3es una vista de un estante específico con cámaras y zonas de visión, que:

8. Representa un estante superior

9. Representa un estante inferior

10. Representa la zona de visión de la cámara

Lafigura 4es una perspectiva del estante con sensores en el interior, que:

11. Representa el cuerpo de un estante

12. Representa la cubierta superior de un estante

13. Representa la PCB de combinación de sensores

14. Representa células de carga de sensor de peso

Lafigura 5es una arquitectura de hardware de los sensores y todos los ordenadores incorporados, que:

15. Representa líneas de suministro de potencia

16. Representa un enrutador y una conexión de red de 4G/5G

A. Representa una red Wi-Fi

La línea que conecta A a 6 y 13 representa una conexión inalámbrica entre esos componentes. Tanto las cámaras (6) como la electrónica de acondicionamiento de sensor (13) están conectadas a la red Wi-Fi creada por el enrutador (16).

Lafigura 6es la comunicación entre el armario y el software en la nube, que:

B. Representa un acceso de extremo frontal,

C. Representa los modelos de IA,

D. Representa una base de datos,

E. Representa un servidor en la nube,

F. Representa el controlador de cerradura y la detección de IA / visión artificial.

La figura 6 muestra cómo varias unidades de armario (cada componente F) se conectan al mismo servidor en la nube que, a su vez, dispone de una única base de datos para todos los armarios. Entonces, esta base de datos se expone mediante un extremo frontal de "oficina de administración” para el acceso y control por parte del usuario.

Descripción detallada de unas formas de realización de la invención

Un aspecto de la presente divulgación se refiere a un armario de almacenamiento que comprende uno o más estantes, una o más puertas para cerrar el armario y una cerradura electromagnética para bloquear la puerta o puertas; en el que cada uno de dichos estantes comprende una o más cámaras, un sensor de estado de puerta abierto o cerrado, y un sensor de peso dispuesto para medir el peso de productos colocados sobre cada uno de dicho uno o más estantes; que comprende además un procesador de datos electrónico de armario configurado para llevar a cabo un método de visión artificial de aprendizaje automático para procesar datos recibidos a partir de cámaras y sensores para identificar productos retirados de dicho uno o más estantes, en el que el procesador de datos electrónico de armario está configurado además para: cuando se detecta que la puerta o puertas de armario están en un estado abierto, adquirir datos de imagen a partir de la cámara o cámaras y datos de sensor de peso; cuando se detecta un cambio de peso en un estante, procesar datos de imagen adquiridos incluyendo cuando se produjo el cambio de peso, con dicho método de visión artificial de aprendizaje automático.

La presente divulgación también se refiere a un método para hacer funcionar un armario de almacenamiento de la presente divulgación.

La presente divulgación se refiere a un equipo de microtienda automatizado que comprende al menos un armario con cámaras y sensores incorporados, una aplicación de software diseñada (aplicación, APP) que permite que algoritmos de visión artificial (CV) identifiquen todos los productos e interacciones disponibles para el usuario por un proveedor dado, permitiendo de ese modo que el cliente seleccione uno o varios productos deseados, y realice una adquisición de autopago sin cajero.

La presente divulgación también se refiere a un método para vender artículos a partir de armarios automatizados controlados por combinación de sensores que comprenden un equipo de microtienda automatizado de la invención.

En una forma de realización, el equipo de microtienda automatizado comprende al menos un armario que presenta cámaras y sensores incorporados. Cada armario se hace funcionar utilizando una aplicación móvil, mediante la cual el propio cliente se identifica, añade métodos de pago y se pone directamente en contacto con un operador.

En una forma de realización, los algoritmos de visión artificial identifican todos los productos en el armario y las interacciones del cliente tales como seleccionar uno o más productos presentados en el mismo.

En una forma de realización, cuando se necesita calcular algoritmos de aprendizaje automático o IA, se requiere un procesador especial que puede procesar grandes cantidades de información. Esta información está habitualmente organizada en matrices de valores que sirven como entrada para algoritmos matemáticos que, utilizando esta información, aprenden a clasificar la información de entrada. Dado que existe esta necesidad en el armario, se diseñó un ordenador de IA/CV que puede tratar datos con estas características.

En una forma de realización, en el caso del armario, se basa en un área de ML denominada visión artificial (CV). La visión artificial es la ciencia y tecnología de máquinas que pueden aprender información visual. Esta tecnología puede obtener información visual y datos multidimensionales o matrices. Esta área de la tecnología se aplica en una amplia variedad de aplicaciones, desde modelado de objetos, control de procesos industriales y coches autónomos. En este caso, se aplica para el reconocimiento de la actividad humana. Puede identificar con gran precisión con qué producto(s)/objeto(s) interacciona un usuario.

La presente divulgación está destinada a vender productos de una manera sin supervisión. Siempre que un usuario activa el equipo para comprar, entrenar o reponer, se ejecutan los algoritmos que son como el arranque de un motor, todas las cámaras permanecen en modo activo y, siempre que detectan una interacción, guardan datos como acontecimiento clave. Después, se utilizan estos datos para alimentar el algoritmo que clasifica la interacción como recoger o dejar un producto, después de esta clasificación se entra en una segunda capa que identifica el/los producto(s) que se ha(n) recogido. Esta identificación visual utiliza redes neuronales convolucionales (CNN) también conocidas como redes neuronales artificiales invariables en desplazamiento o invariables en el espacio. Típicamente, se utilizan de manera bastante frecuente y satisfactoria en el procesamiento y análisis de imágenes. Estas redes neuronales, inspiradas en la corteza visual de los animales, tienen la capacidad de aprender a partir de los filtros que las componen intrínsecamente, algo que en otros algoritmos tendría que implementarse manualmente y en los que no se produce un ajuste automático como sucede en este tipo de red. Una CNN puede captar de manera satisfactoria dependencias espaciales y temporales en una imagen aplicando filtros relevantes. La arquitectura realiza un mejor ajuste al conjunto de datos de imagen debido a la reducción del número de parámetros implicados y a la reutilización de ponderaciones. Dicho de otro modo, la red puede entrenarse para entender mejor toda la información en la imagen.

Con todos estos puntos fuertes, se diseña una red que puede identificar el tipo de interacción y entonces, disponiendo de esa información, pasar al reconocimiento de producto/producto.

En una forma de realización, la divulgación también presenta una capacidad de aprendizaje continuo. El aprendizaje continuo es la capacidad de un modelo para aprender de manera continua a partir de un flujo de datos. En la práctica, esto significa apoyar la capacidad de un modelo de aprender y adaptarse de manera autónoma en la utilización a medida que llegan nuevos datos. Este procedimiento es posible mediante la funcionalidad de entrenamiento que proporciona el armario. Dado que cuando se crea un nuevo producto la máquina aprende sus características, en utilización/ventas cuando se clasifica una interacción se retroalimenta al ciclo de aprendizaje de modo que aprende a lo largo del tiempo y su precisión tiende al 100%. Con esta modalidad, es posible lograr valores de precisión del 99.9% en utilización.

En una forma de realización, estos algoritmos son activos siempre que el equipo está utilizándose (comprar, entrenar, reponer), haciendo que se capten los datos y este procedimiento sigue mejorando.

En una forma de realización, por defecto, el armario está bloqueado y sólo se desbloquea cuando un usuario utiliza la aplicación, o un terminal de POS, para empezar a comprar, o el operador lo desbloquea para reponer.

En una forma de realización, todos los productos están colocados encima del estante como en las tiendas al por menor y todos los sensores esenciales, tales como sensores de peso, y cámaras están incorporados dentro de cada estante de cada armario.

En una forma de realización, para hacer funcionar el armario, los clientes necesitan estar registrados en la aplicación y disponer de al menos una tarjeta de crédito asociada con su cuenta.

En una forma de realización, después de haber iniciado sesión, los clientes necesitan insertar el código del armario o escanear el código QR del armario para empezar la compra. La compra de artículos es realmente sencilla: el cliente simplemente recoge el producto que desea, cada interacción añade o retira artículos de un carrito virtual y, cuando cierra las puertas, se procesa el carrito virtual y se realiza el pago.

Por tanto, la presente divulgación se refiere a un sistema que proporciona microtiendas de compra rápida y de autopago sin supervisión para su utilización en la distribución de productos y artículos a clientes, definiendo, por tanto, una microtienda.

En una forma de realización, cada microtienda está diseñada para ser una experiencia compra rápida totalmente automatizada y sin supervisión. Sin embargo, el sistema proporciona soluciones interactivas en directo, que permiten a los clientes comunicarse de manera interactiva con agentes de servicio de atención al cliente y de gestión mediante correo electrónico o SMS a través de la aplicación móvil.

La presente divulgación también se refiere a proporcionar una mejor seguridad que la proporcionada actualmente por el micromercado de la presente empresa, junto con una mayor flexibilidad y más disponibilidad de productos que los ofrecidos por las máquinas expendedoras convencionales, al tiempo que se siguen llevando a cabo las transacciones sin necesidad de personal de supervisión.

En una forma de realización, el equipo de microtienda automatizado se caracteriza por comprender varias unidades de armarios cerradas que presentan, cada una, unos estantes móviles (5) con unas cámaras (6) y unos sensores de peso (14) incorporados, un código de identificación individual (4), unas puertas con cerraduras electromagnéticas (1), un controlador periférico (2) con una tarjeta de procesamiento (7) de inteligencia artificial (IA) y visión artificial (CV), un enrutador designado (16), unas conexiones 4G/5G y red inalámbrica (o Wi-Fi), una base de datos y un servidor en la nube, dicho equipo puede interaccionar con un dispositivo móvil de un cliente certificado que anteriormente ha instalado una aplicación de software diseñada (aplicación, APP), en el que:

una red inalámbrica (o Wi-fi) (A) está conectada a las cámaras (6) y a la PCB de acondicionamiento de sensor (13), y tanto las cámaras (6) y como dicha PCB de acondicionamiento de sensor (13) están conectadas a una red inalámbrica de cliente privada (o Wi-fi) (A) creada por el enrutador (16),

varias unidades de armario están conectadas al mismo servidor en la nube (E), que presenta una única base de datos (D) para todos los armarios y, cuando dicha base de datos (D) se expone mediante una página web de "oficina de administración” que permite que un usuario dado tenga control de uno o varios equipos, productos vendidos en dichos equipos, estado de hardware de partes del armario y gestión de existencias del armario.

La tarjeta de procesamiento (7) de inteligencia artificial y visión artificial comprende algoritmos de visión artificial que se ejecutan de manera local en dicha tarjeta de procesamiento (7) de IA, permitiendo identificar los productos que se seleccionan y retiran de un armario y estante (5) dado, permitiendo crear un carrito virtual para el cliente y, al final de la experiencia de compra, procesar toda la información de compra para crear una factura para un usuario dado para los productos retirados,

la nube central (E) está conectada a todos los armarios, a la base de datos (D) cargada con el cliente y a información de producto.

En una forma de realización, el equipo de microtienda automatizado divulgado está caracterizado además por que cada estante (5) comprende un sistema antifraude designado que comprende dos sensores de peso (14) que validan que no se violó el envase mediante una verificación de peso, estando dichos sensores colocados dentro de cada cuerpo de estante (11) con la cubierta superior (12) del estante colocada encima de los sensores, que están conectados a una PCB de acondicionamiento de sensor (13), en el que la medición de peso se realiza leyendo los datos de los sensores de peso (14).

En una forma de realización, el equipo de microtienda automatizado está caracterizado además por que la página web de "oficina de administración” comprende 9 páginas específicas de personal que permiten que los propietarios del armario comprueben el estado de cada armario, vean las preferencias de cliente, comprueben las existencias de armario en tiempo real y cambien los precios de manera dinámica.

En una forma de realización, haciendo referencia a la figura 1, se muestra un armario de compra rápida automatizado ejemplificativo. El armario es una microtienda de compra rápida automatizada sin supervisión que puede utilizarse para la venta de cualquier clase tipo comida y bebida, preferiblemente envasados, así como cualquier clase de otros artículos consumibles que puedan ser necesarios en la vida diaria.

En una forma de realización, la figura 1 muestra una cerradura de puerta electromagnética (1) para garantizar que todos los artículos están protegidos y evitar la violación de los productos. Las cerraduras de puerta están controladas por un controlador periférico (2) que está colocado en una zona de trabajo encima del armario, este controlador conoce el estado de puerta y puede entender si está abierta o cerrada. En la zona de trabajo encima del armario también es donde está ubicado el suministro de potencia (3), que alimenta las cerraduras de puerta electromagnéticas y el controlador periférico.

En una forma de realización, cada armario presenta su propio código (4), preferiblemente un código (4) QR (código de respuesta rápida). Este es un tipo de código de barras de matriz o código de barras en dos dimensiones. En el alcance de la presente invención, el código de barras es una etiqueta óptica legible por máquina que contiene información sobre el artículo al que está unida. La apertura del armario por parte del cliente se realiza insertando el código anteriormente mencionado o escaneando el código QR respectivo con la aplicación anteriormente instalada en el dispositivo móvil del cliente.

En una forma de realización, la figura 2 presenta una vista del armario sin puertas con una indicación de la posición de las cámaras (6) y los estantes (5). La tarjeta de procesamiento (7) de inteligencia artificial y visión artificial está colocada encima del armario cerca del controlador periférico (2) y el suministro de potencia (3). Cuando un usuario interacciona con el armario, los productos con los que interacciona se identifican mediante algoritmos de visión artificial que se ejecutan de manera local en la tarjeta de procesamiento (7) de IA. Estos algoritmos pueden saber qué se recoge y qué se deja dentro del armario con alta precisión. Esa clase de conocimiento permite la creación de un carrito virtual para el cliente y, al final de la compra, procesar esta información para facturar al usuario por los productos retirados.

En una forma de realización, haciendo referencia a la figura 3, la imagen muestra un enfoque en un estante, identificando las cámaras (6) y las zonas de visión (10). En esta figura, pueden observarse las cámaras (6) en el lado inferior de la parte superior del estante (8). Cada cámara presenta una zona de visión específica (10) del estante inferior (9). Cuando un cliente recoge un artículo del estante inferior, la cámara que dispone de una visión de esta interacción y está grabando esa zona de visión particular envía información a la unidad de procesamiento de IA para que identifique lo que se recogió o se dejó en el estante utilizando las imágenes gabadas de la interacción.

En una forma de realización, la figura 4 representa una perspectiva del estante con sensores en el interior. El sistema descrito tiene algunas comprobaciones de redundancia para evitar fraudes. Para ello, cada estante presenta dos sensores de peso / células de carga (14) que validan si el envase no se violó mediante una verificación de peso. Estos sensores están colocados dentro del cuerpo de estante (11) con la cubierta superior del estante (12) colocada encima de los sensores. Para procesar las mediciones de peso, se dispone de una PCB de combinación de sensores (13) que se conecta a ambas células de carga (14) y puede leer sus datos.

En una forma de realización, la figura 5 muestra la arquitectura de hardware de los sensores y todos los ordenadores incorporados. Las comunicaciones de sistema se realizan a través de una conexión inalámbrica. Se crea una red inalámbrica privada (o Wi-fi) por el enrutador inalámbrico (o Wi-fi) (16). La tarjeta de procesamiento (7) de IA, la PCB de acondicionamiento de sensor, la tarjeta de circuito impreso (13), que lee información a partir de las células de carga (14) y las cámaras (6) están conectadas a la red inalámbrica privada (o Wi-fi). Todos los sensores y las cámaras están conectados a los carriles de suministro de potencia (15) colocados en el centro del armario y esos carriles están conectados al suministro de potencia (3) que también suministra potencia a la tarjeta de procesamiento (7) de IA y al enrutador inalámbrico (o Wi-fi) (16).

En una forma de realización, el suministro de potencia comprende un aparato eléctrico de tipo suministro de potencia ininterrumpido (UPS) que proporciona potencia de emergencia al armario cuando falla la fuente de potencia de entrada.

En una forma de realización, la figura 6 representa la arquitectura de conexión de software. Este sistema puede conectarse a una nube central (E) que presenta una base de datos (D), una red neuronal de IA densa (C) y una oficina de administración de web (B). La nube central (E) puede estar conectada a todos los armarios, la base de datos (D) almacena información de clientes e información de producto. La oficina de administración de web permite a los propietarios del armario comprobar el estado de armario, ver las preferencias de cliente, comprobar las existencias de armario en tiempo real y cambiar los precios de manera dinámica. La red neuronal de IA densa (C) es otra redundancia del sistema que sólo se utiliza si la tarjeta de procesamiento de IA local no puede identificar el producto con el que se interacciona.

En el alcance de la presente invención, se utilizan las siguientes definiciones.

En una forma de realización, la oficina de administración de web es una herramienta de administración y gestión de armario basada en una web, que permite el control de uno o varios equipos o productos vendidos en dichos equipos, estado del hardware de las partes del armario y gestión de las existencias del armario. La oficina de administración puede dividirse en 12 secciones y el acceso a cada sección puede estar condicionado dependiendo de la función del usuario que accede (administrador, gestor o usuario básico).

En una forma de realización, una sección de producto contiene información referente a los productos que están asociados con una unidad de armario dada, permitiendo crear nuevos productos, entrenar productos recién creados, habilitar o deshabilitar un producto dado del armario, alterar una propiedad de producto dado, eliminar productos y comprobar las existencias de producto por cada estante.

En una forma de realización, una sección que indica todos los productos asociados con el armario (lista de productos), información básica sobre los mismos (nombre, marca, una imagen del producto, peso, precio, ubicación de producto, etc...), así como una serie de controles que afectan directamente al producto: eliminar, editar y un interruptor de conmutación para activar o inactivar un producto (si está inactivo, el producto no puede venderse y no forma parte de los productos con los que está actualmente trabajando el armario).

En una forma de realización, la eliminación retira el producto del armario. La edición permite que un gestor acceda a las propiedades del producto y las modifique para adaptarse a las deseadas.

En una forma de realización, las secciones de creación de producto permiten la creación o asociación de productos con el armario actual. En una primera fase, muestra una lista de productos que ya existen en la nube, creada por la organización (una entidad o empresa que gestiona cualquier grupo de armarios o un único armario) a la que pertenece el armario. La selección de uno de estos productos permite una rápida asociación del mismo con el armario.

En una forma de realización, si el producto no se ha creado anteriormente por ninguno de los gestores de la organización, tiene que crearse mediante un botón en la parte superior de la página ("crear nuevo”).

Se le presenta al usuario un formulario que tiene que cumplimentarse con los datos del producto, precio y, opcionalmente, también la ubicación dentro del armario. Una vez se ha hecho esto y se ha guardado la información, el producto aún no puede activarse para venderse ya que se necesita entrenar, y se muestra en la lista de productos con un botón de "entrenar producto” en el mismo.

En una forma de realización, se presenta una lista de tarjetas en esta página, representando cada tarjeta un estante dentro del armario (existencias por cada estante). Dentro de cada tarjeta, el usuario puede ver una lista de productos que están colocados en el estante junto con un indicador de estado para el producto (rojo si las existencias están por debajo del 30%, amarillo si están por debajo del 70% y verde si las existencias son superiores o iguales al 70%), el número de artículos de ese producto que están colocados en el estante, la capacidad máxima para ese producto en el estante y una lista de filas en las que está actualmente colocado el producto.

En una forma de realización, la sección de carros de cliente presenta al usuario una lista de todas las compras procesadas por el armario y su información básica (número de productos comprados, valor de la compra, duración de compra y fecha). Haciendo clic en el botón de cada compra, el usuario puede ver la compra en detalle.

La vista detallada muestra una lista de productos comprados con información básica (imagen y nombre de producto), la cantidad comprada, el precio unitario y el precio total (precio unitario x cantidad comprada) para el producto. Debajo de esto, también se presenta un valor total de la compra.

En una forma de realización, la sección de compra, similar a la sección de carros de cliente, proporciona una lista de compras procesadas por el armario con mucho más detalle. La lista es idéntica, también muestra el número de productos con los que interaccionó el cliente durante una compra, así como un indicador de advertencia para cada sesión. Este indicador puede mostrar una variedad de información, tal como "sesión abierta” si la compra todavía está en curso, "validación” si se produjo un error durante la compra, "abierto de nuevo” si la sesión se ha abierto de nuevo manualmente por un gestor para una corrección de recibo, "recibo emitido de nuevo” si el recibo ha sido modificado por un gestor, "puerta abierta durante demasiado tiempo” si el cliente olvidó cerrar la puerta después de la compra, y varios otros mensajes importantes para que el equipo de personal analice de manera apropiada una sesión.

En una forma de realización, haciendo clic en el botón en la sesión, se abre una vista detallada, que presenta dos secciones similares: una lista de productos retirados o devueltos, ordenados cronológicamente, que muestra de dónde se retiró cada producto; un cronograma de acontecimientos, que muestra tarjetas para cada interacción y los productos contenidos en la misma, así como el tiempo de apertura y cierre de puerta.

En una forma de realización, la página se actualiza en tiempo real, mientras el armario está en funcionamiento, de modo que si un miembro del personal desea observar una sesión mientras está sucediendo, puede hacer clic en la sesión para acceder a la misma y monitorizar lo que está sucediendo en tiempo real.

En una forma de realización, el cronograma presenta una lista desplegable que permite al personal acceder a imágenes del antes y después de cada interacción, así como la posibilidad de editar las interacciones.

En una forma de realización, la sesión de editar o añadir interacciones puede necesitar la validación de un miembro del personal o la sesión se ha abierto de nuevo para su corrección por uno, teniendo los gestores capacidad para alterar una compra. Cada tarjeta de interacción en el cronograma permite la edición, presentando al gestor la opción de alterar una cantidad de producto en la interacción, retirarlo completamente o añadir un producto y cantidad diferentes.

En una forma de realización, en la parte inferior del cronograma de interacción, también puede observarse un símbolo "+” (más) que, cuando se hace clic en el mismo, permite añadir nuevas interacciones al cronograma. Las interacciones pueden contener varios productos y puede designarse la cantidad de cada producto.

En una forma de realización, la reposición puede ser similar a la sección de compra, esta página proporciona una lista de sesiones de reposición, visualizando el número de productos retirados y añadidos al armario, la duración de sesión y la fecha en la que se produjo.

En una forma de realización, hacer clic en un botón de una sesión muestra una página idéntica a la de los detales de sesión de compra, con una lista de productos que el miembro del personal ha retirado o colocado dentro del armario en un orden cronológico, así como una lista agregada de todos los productos con las cantidades alteradas respectivas.

En una forma de realización, la pantalla de entrenamiento de producto muestra todos los productos que se han creado, pero aún no se han entrenado, en tarjetas. Cada tarjeta muestra la información básica del producto junto con un botón para o bien empezar o bien continuar el entrenamiento de producto. Al hacer clic en el botón de "entrenar producto” en cualquier producto que necesita entrenarse, se abre la pantalla de entrenamiento, que es una pantalla de sesión con una barra de progreso.

En una forma de realización, la pantalla de entrenamiento de producto permite al gestor recopilar un conjunto de datos de imágenes del producto colocando secuencialmente el producto en un estante y retirándolo a continuación del estante.

En una forma de realización, el usuario también ve una lista de imágenes que están recopilándose, por debajo de la barra de progreso, cada una de las cuales presenta un pequeño botón de "x” (cruz) en la esquina superior izquierda diseñado para eliminar un mal conjunto de datos de la sesión de entrenamiento. Al hacer clic en el botón, se elimina la imagen y también se reduce el progreso de entrenamiento.

En una forma de realización, la página de hardware permite al personal acceder a una lista de todas las cámaras y células de carga de sensor de peso dentro del armario, haciendo posible ver su estado actual (conectado / desconectado), cuándo se comprobó por última vez su estado y si hay cualquier problema con respecto a cada equipo.

En una forma de realización, también indica las direcciones de red internas en las que cada dispositivo alberga sus servicios, para corrección de errores técnica.

En una forma de realización, la sección de notificación está dividida en tres tipos de informes: ventas, existencias e ingresos, concretamente:

Ventas: Seleccionando un intervalo de fechas en la parte superior de la página, al usuario se le presenta una lista de los productos vendidos durante las dos fechas y la cantidad de cada producto vendido.

Existencias: El informe de existencias requiere que el usuario seleccione tanto un intervalo de fechas como un producto. Una vez seleccionados, muestra un gráfico que representa los cambios de existencias durante el intervalo de fechas seleccionado.

Ingresos: El informe de ingresos es similar al informe de ventas, pero también proporciona el valor monetario total correspondiente a cada producto vendido. Dado que los precios pueden cambiar para un producto dado a lo largo del tiempo, la fila de cada producto puede expandirse haciendo clic en un símbolo de flecha a la izquierda, mostrando los diversos precios para un producto y el número de artículos vendidos a ese precio, lo cual descompone el valor total de producto vendido en una serie de precios diferentes.

En una forma de realización, la página de recibos permite al personal encargado del armario gestionar los recibos de clientes (problemas y preguntas).

En una forma de realización, mediante la aplicación móvil, los usuarios pueden enviar preguntas generales o indicar un problema con una de sus compras.

En una forma de realización, esos recibos se indican aquí, de manera que se muestre la fecha del recibo, su gravedad en una escala del 1 al 5, siendo 5 el más crítico, el estado del recibo: abierto, en resolución o cerrado, y el miembro del personal a quien se le ha asignado el recibo, si lo hay.

En una forma de realización, un algoritmo de aprendizaje automático recupera/extrae información y clasifica la gravedad del recibo del cliente.

En una forma de realización, los miembros del personal pueden pulsar, en esta pantalla, un botón en cualquier recibo no asignado para asignarse el recibo a ellos mismos, por tanto, pasando a ser responsables de su resolución.

En una forma de realización, la apertura de un recibo para ver sus detalles proporciona una ventana de tipo chat en la que el miembro del personal puede ver el mensaje de recibo original presentado por el cliente, y todos los mensajes intercambiados después de eso. En esta ventana, hay un recuadro en el que el miembro del personal puede responder rápidamente a la conversación sobre el recibo.

En una forma de realización, también hay botones para establecer un nuevo estado para el recibo, cambiar su gravedad y alterar a quién se le asigna el recibo.

En una forma de realización, la sección de control del armario está reservada para su acceso por un administrador y permite el control del estado y hardware del armario.

En una forma de realización, en la sección de control el Administrador puede habilitar o deshabilitar manualmente las cerraduras de puerta electromagnéticas, cerrar una sesión que está actualmente en curso, abrir una nueva sesión de compra o reposición, marcar todas las sesiones como que requieren verificación de personal y alterar manualmente el estado lógico (software) del armario, bien utilizando una serie de botones de estados predefinidos (listo para funcionamiento, en funcionamiento, etc.), o bien cualquier estado personalizado.

Ejemplo 1 - Descripción del modelo 1

En una forma de realización, el sistema consiste en un armario físico, que puede funcionar en modos refrigerado, caliente o neutro, que contiene varios estantes móviles (5) en el interior, pudiendo cada estante (5) detectar el peso y captar imágenes.

El armario presenta una pegatina con un código único inscrito, así como un código (4) QR con la misma identificación.

En una forma de realización, en la parte superior del armario hay una serie de componentes: Unidad de suministro de potencia (3): esto proporciona potencia a todos los componentes en la parte superior del armario conectados a líneas de potencia que pasan a través del armario y, por tanto, alimenta cada componente del estante (5) (cámaras (6) y células de carga (14)),

Tarjeta de procesamiento (7) de IA / visión artificial: una tarjeta dedicada para algoritmos de visión artificial que identifican los productos que se han recogido o dejado/devuelto al armario,

Controlador periférico (2): consiste en un ordenador de una única tarjeta que controla la cerradura electromagnética (1) de la puerta de armario, recibe valores de peso a partir de todos los estantes (5) en el armario, así como las imágenes a partir de todas las cámaras (6) en los estantes,

Enrutador inalámbrico (o Wi-fi) (con una conexión de 4G/5G) (16): el enrutador inalámbrico (o Wi-fi) da origen a una conexión inalámbrica privada (o Wi-fi) (a) a la que se conectan todos los periféricos, junto con el controlador periférico (2) y la tarjeta de procesamiento (7) de IA / CV. Todas las comunicaciones entre dispositivos se realizan a través de esta red privada.

El armario regular presenta dos puertas de vidrio templado con tiradores de metal y una placa de soporte de metal en el lado interno del vidrio. Dentro del armario, hay una columna exactamente en el centro, en la que ambas puertas entran en contacto cuando se cierran. Esta columna contiene dos cerraduras electromagnéticas (1).

Las cerraduras electromagnéticas (1) están por defecto en la posición "activada”, lo que significa que siempre están conectadas, manteniendo, por tanto, ambas puertas cerradas, atrayendo la placa de soporte de metal en cada puerta.

El controlador periférico (2) está equipado con dos relés, que le proporcionan la capacidad de controlar individualmente cada puerta activando o desactivando el relé. Las cerraduras de puerta electromagnéticas (1) también proporcionan una señal eléctrica que permite al controlador periférico (2) saber si están activadas o desactivadas.

Los estantes (5) se componen de dos partes principales: el propio estante (11), con un interior hueco que permite colocar componentes en su interior, y una cubierta superior (12), que es un lugar reforzado que va encima del mismo. Esto es necesario para poder medir el peso sobre el estante (5), ya que ambas piezas nunca entran en contacto entre sí excepto a través de dos células de carga (14) dentro de la sección hueca de estante inferior, que sujetan la cubierta superior (12) y están soportadas por la parte inferior del estante (11) (figura 4).

Dentro de cada estante (5), hay dos células de carga (14), a igual distancia del centro, horizontalmente alineadas. Están sujetas con pernos a una estructura en forma de "H” en la parte inferior del estante (11), dándoles una pequeña altura desde la parte inferior. En el centro de ambas células de carga, hay una PCB de acondicionamiento de sensor (13), diseñada a medida para poder leer datos a partir de ambas células de carga (14) al mismo tiempo y con una serie de capacidades de calibración y ajuste fino para garantizar que los valores de peso son precisos.

En una forma de realización, entonces se coloca la cubierta superior (12) encima y se sujeta con pernos a las células de carga (14), disponiendo únicamente de las mismas para soportarla. Esto significa que cualquier peso colocado encima del estante afecta directamente a las células de carga (14) por debajo y se traduce en un valor de peso que lee la PCB de acondicionamiento de sensor (13).

En una forma de realización, la PCB de acondicionamiento de sensor (13) está conectada a la red inalámbrica anteriormente mencionada (A) y puede comunicarse con todos los dispositivos.

En una forma de realización, hay dos cámaras (6) en el lado delantero inferior de cada estante (5) (el lado más alejado de la parte trasera del armario y más cerca de las puertas), a igual distancia del centro. Estas cámaras (6) son módulos de cámara pequeños con lentes de gran angular, equipados con conectividad inalámbrica. Se conectan y se comunican a través de la red inalámbrica (o Wi-fi) (A) a la que están conectados todos los dispositivos.

En una forma de realización, las cámaras (6) están en el lado inferior de los estantes (5), lo que significa que cada estante (5) capta imágenes del estante (5) por debajo (9) del mismo (figura 3). Esto requiere incorporar un conjunto adicional de dos cámaras (6) en el propio armario, por cada estante (5) en el nivel más superior, con el fin de recopilar imágenes a partir de los mismos. Esto también implica que el nivel más inferior de los estantes (5), que se apoyan sobre la parte más inferior del armario y directamente incorporados en el mismo, no necesitan cámaras (6) y sólo necesitan el armazón en forma de "H”, las células (14) de carga y la cubierta superior (12).

En una forma de realización, las cámaras presentan un amplio ángulo de visión del estante (5) por debajo, y los ángulos (10) de ambas cámaras (6) se intersecan entre sí, haciendo que no haya ningún ángulo "muerto” dentro del armario, y todo pueda verse claramente (figura 3).

En una forma de realización, el controlador periférico (2) es el controlador principal del armario, que organiza los funcionamientos entre componentes y que se comunica con el servidor en la nube (E) que controla todos los armarios.

En una forma de realización, el servidor en la nube (E) se conecta a una base de datos (D) protegida que contiene todos los datos referentes a productos y sus características, compras anteriores y reposición de producto por el personal e interacciones de usuario con productos que están almacenados. El servidor en la nube también se conecta a una red neuronal de IA densa (C) que actúa como redundancia utilizada en caso de que haya un problema que identifique un objeto con la tarjeta de procesamiento (7) de IA / CV local en cada armario.

En una forma de realización, la aplicación de extremo frontal de "oficina de administración” (B) se conecta al servidor en la nube (E) y permite la gestión del armario por el propietario y el personal. A través de la misma, pueden realizarse cambios en las existencias, productos y precios, y también permite la visualización de las compras realizadas por clientes, así como una revisión de sesiones de reposición realizadas por personal, todo ello en tiempo real.

La aplicación móvil también se comunica con el servidor en la nube (E) y a través del mismo permite el control de un armario.

Cuando el usuario ha registrado una cuenta en la aplicación y tiene una tarjeta de crédito válida asociada con su cuenta, es posible insertar el código (4) de armario (o escanearlo utilizando la cámara con el código QR). Esta operación envía una petición al servidor en la nube (E) que identifica el armario por su código (4) y pide al controlador periférico (2) que ejecute un lote de operaciones en caso de que el armario no esté utilizándose, empezando por comprobar si todos los dispositivos periféricos están listos y funcionan correctamente (células (14) de carga de sensor de peso y cámaras (6)), comprobar si la tarjeta (7) de IA / CV está disponible para cálculos y finalmente verificar que las puertas están cerradas.

Si se cumplen todas las condiciones, el controlador periférico (2) desbloquea las cerraduras (1) electromagnéticas tal como se describió anteriormente y el usuario puede abrir las puertas de armario.

Una vez abiertas las puertas, el controlador periférico (2) las vuelve a bloquear, garantizando que, si se cierran las puertas, se bloquean.

El controlador periférico está monitorizando (o agrupando constantemente) todas las células de carga (14) de sensor de peso en el armario mientras las puertas están abiertas y, si una presenta un cambio repentino, el controlador periférico (2) comienza a recopilar imágenes a partir de las cámaras (6) que graban el estante (5) en el que se produjo el cambio de peso y las alimentan a la tarjeta de procesamiento (7) de IA / CV para su análisis.

La tarjeta (7) de IA / CV intenta evaluar el momento inicial para la interacción del usuario y el momento final, cuando el estante (5) está de nuevo estacionario sin ningún movimiento. Una vez se determina, utiliza una serie de algoritmos para entender qué sucedió en la interacción, qué productos se cogieron y qué productos se devolvieron, si los hay. Después, se envía el resultado de esta operación al controlador periférico (2) que lo verifica utilizando otro algoritmo que coge dicho resultado y el cambio de peso observado y lo valida, ambos con respecto a la operación que se produjo y la posibilidad de violación de producto (en caso de devolverse o retirarse un producto con peso anómalo).

Suponiendo que todo se verifique de manera apropiada, y no se encuentre ningún problema en la interacción, se añaden los productos retirados o devueltos del estante (5) a un carrito virtual. Este carrito virtual se almacena en el servidor en la nube (E) a petición del controlador periférico (2).

Se repite el procedimiento para cada interacción que realiza el usuario con el armario.

La compra se termina cuando el usuario cierra ambas puertas. Se bloquean inmediatamente cuando se cierran, ya que el estado de bloqueo ya se había establecido por el controlador periférico (2) cuando se abrieron las puertas.

El cierre de las puertas activa una petición por el controlador periférico (2) al servidor en la nube (E), que contiene más información referente a la sesión de compra, junto con imágenes para las utilicen algoritmos de validación y detección de fraude.

El servidor en la nube (E) utiliza la base de datos (D) para comprobar los precios de los productos retirados y después cierra la sesión de compra del cliente guardándola en la base de datos (D) y enviando un recibo a la aplicación móvil. También activa una operación de facturación, deduciendo el coste total de la compra de la tarjeta asociada del cliente.

Entonces, el armario (F) está listo para una nueva operación y el procedimiento puede volver a empezar.

Como la base de datos (D) mantiene un registro de todas las operaciones tanto de clientes como de personal, contiene información de existencias actualizada en tiempo real, y hace posible que el gestor compruebe las existencias de producto dentro de un armario (F) mediante la oficina de administración de web (B), así como que establezca una variedad de alertas para cuando las existencias de un producto pasan por debajo de un determinado nivel.

Cuando se repone, tanto la oficina de administración (B) como la aplicación de personal proporcionan al personal información referente a la cantidad que falta de cada producto. Esto permite una reposición rápida y eficiente ya que el personal no necesita llevar más productos de los necesarios ni tampoco necesita inspeccionar el armario y contar los productos que faltan antes de reponerlos.

Ejemplo 2 - Método de adquisición utilizando el modelo 1

En una forma de realización, la adquisición de bienes utilizando este sistema puede dividirse en 3 fases, y sólo presenta una condición previa, que es disponer de la aplicación móvil que permite el acceso a los armarios instalada y configurada en un teléfono móvil.

En una forma de realización, el armario descrito a continuación es un equipo en el mundo físico. Se desbloquea para comprar bienes a través de una aplicación móvil, pero la interacción con el armario requiere el acceso físico al mismo. La selección de producto por el usuario se realiza de manera manual y directa, cogiendo los productos con la mano.

En una forma de realización, la configuración de la aplicación móvil puede realizarse de la siguiente manera

Una vez que el usuario descarga e instala la aplicación móvil en un teléfono móvil mediante cualquiera de los medios habituales, puede abrirse la aplicación y el usuario debe registrar una cuenta. Para ello, se pide al usuario que inserte un número de teléfono con el que debe asociarse la cuenta.

El número insertado recibe un mensaje de texto que contiene un código de 6 dígitos dentro del plazo de segundos desde que se inserta en la aplicación. Este código de 6 dígitos, una vez insertado en la aplicación, permite al usuario acceder a una nueva interfaz, en la que hay varias pantallas disponibles: una pantalla de inicio de la aplicación, una pantalla para la interacción con el armario, una pantalla para recibos de compras y una para la configuración de la cuenta.

En la pantalla de configuración de la cuenta, el usuario puede añadir el nombre del usuario, correo electrónico y número de identificación fiscal. En una pestaña independiente en la pantalla de configuración de la cuenta, el usuario debe añadir entonces una tarjeta de crédito o débito válida haciendo clic en un símbolo más en la esquina inferior derecha. Esto abre una nueva interfaz en la que puede insertarse la información de tarjeta y, una vez presentada, se valida y se guarda. Ahora, el usuario puede interaccionar con un armario.

Una forma de realización para abrir un armario

Como ahora el usuario dispone de una tarjeta válida asociada con la aplicación, es posible interaccionar con un armario. Para ello, el usuario, en primer lugar, se coloca cerca de un armario y busca el código de la máquina (1) colocado, por ejemplo, en la parte superior derecha del equipo, en una pegatina.

Entonces el usuario, con la aplicación móvil abierta, selecciona la pantalla de control de armario, que le pide insertar un código, por ejemplo, un código de 4 dígitos, con el fin de identificar el armario que el usuario desea desbloquear.

Entonces, el usuario inserta el código en la entrada y un botón de “abrir” está disponible en la parte inferior.

Al pulsar el botón de “abrir” , se activan una serie de verificaciones para comprobar si es posible abrir el armario y si no está ya abierto. Si todo es correcto, las puertas de armario se desbloquean, produciendo un sonido emitido por la cerradura electromagnética. El usuario debe sujetar el tirador de cada puerta y abrir las puertas.

Una forma de realización para recoger productos:

Con las puertas del armario abiertas, el usuario tiene ahora acceso a todos los productos dentro del armario. Los artículos deben manipularse con normalidad, como cuando se interacciona con productos en un estante de supermercado: el usuario puede recoger cualquier producto e inspeccionarlo todo el tiempo que desee. El sistema sabe lo que se retiró y dispone de un carrito virtual que almacena todos los productos que están actualmente en la mano del usuario.

Si el usuario devuelve uno de los productos cogidos del armario a cualquiera de los estantes (5), el producto también se retira del carrito virtual.

Una vez que el usuario está satisfecho con su selección, el usuario puede pasar a la siguiente etapa.

Una forma de realización para terminar una compra:

Para terminar una compra, el usuario sólo necesita cerrar ambas puertas. Una vez cerradas las puertas, se protegen y no vuelven a abrirse. Cuando esto sucede, el sistema pasa a procesar la compra: la aplicación móvil del usuario muestra un mensaje que indica que su carrito de compra está procesándose y, después de un par de segundos, aparece una lista de productos retirados por el usuario en la pantalla de la aplicación móvil.

Cuando se envía el recibo a la aplicación móvil del usuario, el sistema también procede a la facturación de la cantidad total de la compra, y carga esta cantidad a la tarjeta que el usuario había asociado anteriormente con su cuenta (etapa A).

El usuario debe revisar el recibo y, en caso de que haya cualquier problema presente, hay un pequeño botón de interrogación en la esquina superior derecha del recibo que el usuario puede pulsar para enviar una petición de ayuda al equipo de gestión, con respecto a cualquier etapa de la compra.

Ejemplo 3 - Descripción del modelo 2

Este ejemplo describe un modelo de armario equipado con un terminal de POS (punto de venta), con capacidades de pago sin contacto (del inglés, “contactless”).

Este modelo es idéntico al modelo 1 con la adición de un terminal de POS en el armazón del armario en el lado delantero. El terminal de POS se conecta a la red inalámbrica (o Wi-Fi) (A) del armario y, a través de la misma, se conecta al servidor en la nube (E), a través del cual valida la tarjeta de un usuario y procesa pagos.

Ejemplo 4 - Método de adquisición utilizando el modelo 2

Este ejemplo describe el caso de utilización del cliente de la invención, similar al ejemplo 2, con un POS (terminal de punto de venta) opcional con método de pago sin contacto. Esto hace que la única condición previa sea que el cliente disponga de una tarjeta de crédito o débito.

Una forma de realización para abrir un armario

El usuario debe acercarse en primer lugar al armario y localizar el terminal de POS.

El terminal de POS muestra un mensaje que pide al cliente que o bien inserte la tarjeta de crédito/débito en la ranura de tarjeta apropiada, o bien toque el POS con la tarjeta, si esta última tiene capacidades sin contacto.

El POS se comunica con el servidor en la nube (E) y, si la tarjeta es válida y puede realizar pagos, activa una serie de verificaciones para comprobar si es posible abrir el armario o si no está ya abierto. Si todo es correcto, el armario desbloquea las puertas, produciendo un sonido emitido por la cerradura electromagnética. Entonces, el usuario puede sujetar el tirador de cada puerta para abrir las puertas.

Una forma de realización para recoger productos:

Con las puertas del armario abiertas, el usuario tiene ahora acceso a todos los productos dentro del armario. Los productos deben manipularse normalmente, como cuando se interacciona con productos en un estante de supermercado: el usuario puede recoger cualquier producto e inspeccionarlo todo el tiempo que desee. El sistema sabe lo que se retiró y dispone de un carrito virtual que almacena todos los productos que están actualmente en la mano del usuario.

Si el usuario devuelve uno de los productos que cogió del armario a cualquiera de los estantes (5), el producto también se retira del carrito virtual.

Una vez que el usuario está satisfecho con su selección, puede pasar a la siguiente etapa.

Una forma de realización para terminar una compra:

Para terminar una compra, el usuario sólo necesita cerrar ambas puertas. Una vez cerradas las puertas, se protegen y no vuelven a abrirse. Cuando esto sucede, el sistema pasa a procesar la compra.

En pocos segundos, cuando se ha terminado de procesar la compra, el sistema procede a la facturación de la cantidad total de la compra, y carga esta cantidad en la tarjeta con la que el usuario ha abierto el armario.

Ejemplo 5: reposición de artículos de armario utilizando el modelo 2

Este ejemplo se refiere a la reposición de artículos de armario por el personal de gestión de armario.

El único requisito es tener la versión de personal de la aplicación instalada en un dispositivo móvil.

Los propietarios del armario, a través de la aplicación web de oficina de administración, pueden controlar los usuarios en su organización y añadir miembros del personal con diferentes permisos.

Estos miembros del personal tienen la capacidad, si se les dan los permisos, de abrir el armario para una sesión de reposición, así como la capacidad de ver las existencias en tiempo real.

Una forma de realización para preparar la reposición

En primer lugar, el miembro del personal, sin necesidad de estar físicamente cerca del armario, abre la aplicación de personal móvil.

En la aplicación de personal móvil, hay una opción para comprobar las existencias del armario. Haciendo clic en la misma, el miembro del personal debe observar la columna que indica la cantidad "recogida”. Esta columna indica la cantidad de productos que faltan para cada producto que hay en el armario, haciendo que cuando se obtengan para reponerlos sólo se lleven los productos requeridos y no falte ninguno.

Una forma de realización para reposición

Una vez que el miembro del personal está cerca del armario, puede abrir el armario con la aplicación de personal móvil pulsando en la opción de "reponer”. Se le avisa con una advertencia emergente de confirmación de que esta operación deshabilita temporalmente el armario y rechaza su utilización por cliente, así como desbloquea las puertas.

Entonces, el miembro del personal abre ambas puertas y empieza el procedimiento de reposición.

Para reponer el armario, sólo hay que colocar los productos en las filas y estantes (5) apropiados.

Una vez que todos los productos están en su sitio y el miembro del personal está satisfecho con el estado del armario, se cierran ambas puertas.

Una forma de realización para terminar el procedimiento

Una vez cerradas ambas puertas, el miembro del personal recibe un mensaje emergente que le pide que revise la sesión de reposición. Al hacer clic en este botón, se muestra al miembro del personal una tabla que contiene las existencias de armario actuales con un símbolo "+” y "-” junto a cada producto. Estos botones permiten el ajuste de las existencias de producto actuales en el armario en caso de que algo saliera mal en la reposición y tenga que ajustarse manualmente. Al final de esta pantalla, hay un botón de confirmación. Al hacer clic en el mismo, se habilita el armario para que lo utilice el cliente una vez más y confirma los nuevos valores de existencias.

Se pretende que el término "que comprende”, siempre que se utiliza en este documento, indique la presencia de características, números enteros, etapas, componentes mencionados, pero no que excluya la presencia o adición de una o más de otras características, números enteros, etapas, componentes o grupos de los mismos.

No debe considerarse que la divulgación esté restringida de ninguna manera a las formas de realización descritas y un experto ordinario en la materia preverá muchas posibilidades para modificaciones de las mismas. Las formas de realización anteriormente descritas pueden combinarse.

Las siguientes reivindicaciones exponen adicionalmente formas de realización particulares de la divulgación.

Claims

REIVINDICACIONES

1. Armario de almacenamiento caracterizado por que comprende uno o más estantes, una o más puertas para cerrar el armario y una cerradura electromagnética para bloquear la puerta o puertas;

que además comprende un procesador de datos electrónico de armario provisto de visión artificial de aprendizaje automático para procesar datos recibidos a partir de cámaras y sensores para identificar productos retirados de dicho uno o más estantes, en el que el procesador de datos electrónico de armario está provisto además de:

medios para adquirir datos de imagen a partir de la cámara o cámaras y datos de sensor de peso ante la detección de que la puerta o puertas de armario están en un estado abierto;

medios para, mediante dicha visión artificial de aprendizaje automático, procesar datos de imagen adquiridos ante la detección de un cambio de peso en un estante, incluyendo cuando se produjo el cambio de peso.

2. Armario de almacenamiento según la reivindicación anterior, caracterizado por que el procesador de datos electrónico de armario comprende además de medios para desbloquear la cerradura electromagnética ante la recepción de una autorización de usuario válida.

3. Armario de almacenamiento según cualquiera de las reivindicaciones anteriores, caracterizado por que cada uno de dichos estantes comprende un procesador de datos electrónico de estante conectado a la cerradura electromagnética, a dicha una o más cámaras y al sensor de peso, y comprendiendo una conexión inalámbrica.

4. Armario de almacenamiento según la reivindicación 3, caracterizado por que el procesador de datos electrónico de armario comprende una conexión inalámbrica para comunicarse con el procesador o procesadores de datos de estante.

5. Armario de almacenamiento según cualquiera de las reivindicaciones 3 o 4, caracterizado por que comprende un controlador periférico configurado para recibir datos a partir de la cámara o cámaras, el sensor de peso y del procesador o procesadores de datos de estante, y configurado para controlar la cerradura electromagnética.

6. Armario de almacenamiento según cualquiera de las reivindicaciones anteriores, caracterizado por que dicha visión artificial de aprendizaje automático de dicho procesador de datos electrónico comprende un primer modelo de visión artificial de aprendizaje automático entrenado para clasificar un acontecimiento de manipulación de producto como una recogida de producto o devolución de producto y un segundo modelo de visión artificial de aprendizaje automático entrenado para identificar el producto que está siendo manipulado en dicho acontecimiento de manipulación de producto.

7. Armario de almacenamiento según cualquiera de las reivindicaciones anteriores, caracterizado por que dicha visión artificial de aprendizaje automático de dicho procesador de datos electrónico comprende una red neuronal convolucional, CNN.

8. Armario de almacenamiento según cualquiera de las reivindicaciones anteriores, caracterizado por que el procesador de datos electrónico de armario comprende una conexión inalámbrica para comunicarse con un dispositivo móvil de un usuario.

9. Armario de almacenamiento según cualquiera de las reivindicaciones anteriores, caracterizado por que procesador de datos electrónico de armario está conectado a un servidor remoto, es decir, a un servidor en la nube, provisto de visión artificial de aprendizaje automático para procesar datos de imagen de forma redundante con respecto al del procesador de datos electrónico de armario.

10. Armario de almacenamiento según cualquiera de las reivindicaciones anteriores, caracterizado por que comprende además un código de identificación visual unido al exterior del armario para escaneado por un dispositivo móvil de un usuario.

11. Armario de almacenamiento según la reivindicación 10, caracterizado por que el código de identificación visual es un código de barras de 1D o código de barras de 2D, en particular un código QR.

12. Armario de almacenamiento según cualquiera de las reivindicaciones anteriores, caracterizado por que comprende además una etiqueta de identificación por radiofrecuencia, RFID, unida al exterior del armario para escaneado por un dispositivo móvil de un usuario, en particular, siendo la etiqueta de RFID una etiqueta de comunicación de campo cercano, NFC.

13. Armario de almacenamiento según cualquiera de las reivindicaciones anteriores, caracterizado por que cada uno del estante o estantes comprende un interior hueco definido por una cubierta superior y una parte inferior.

14. Armario de almacenamiento según la reivindicación anterior, caracterizado por que la cubierta superior del estante está soportada únicamente por un sensor de peso dispuesto sobre la parte inferior del estante, para medir el peso de productos colocados encima del estante, en particular comprendiendo el sensor de peso dos o más células de carga.

15. Armario de almacenamiento según cualquiera de las reivindicaciones 13 o 14, caracterizado por que la parte inferior del estante comprende al menos una cámara orientada hacia abajo y dispuesta sobre el lado inferior del estante.

16. Armario de almacenamiento según cualquiera de las reivindicaciones 13 a 15, caracterizado por que una parte inferior del estante presenta un perfil en sección transversal en "U” que define unas superficies laterales de la parte inferior.

17. Armario de almacenamiento según cualquiera de las reivindicaciones anteriores, caracterizado por que la puerta o puertas son puertas correderas, puertas plegables, puertas abisagradas o combinaciones de las mismas.

18. Armario de almacenamiento según cualquiera de las reivindicaciones anteriores, caracterizado por que el producto es comida o bebida, preferiblemente comida o bebida envasadas.

19. Armario de almacenamiento según cualquiera de las reivindicaciones anteriores, caracterizado por que el armario es un armario refrigerado o calentado.

20. Armario de almacenamiento según cualquiera de las reivindicaciones anteriores, caracterizado por que la cámara o cámaras son cámaras con lente de gran angular.

21. Armario de almacenamiento según cualquiera de las reivindicaciones anteriores, caracterizado por que la cámara o cámaras están fijadas a un lado inferior de cada estante, dispuestas en un borde delantero de dicho estante, y dirigidas hacia otro estante inmediatamente por debajo.

22. Armario de almacenamiento según la reivindicación 21, caracterizado por que dicha cámara está dispuesta en el centro del borde delantero de cada estante o las cámaras están distribuidas a lo largo del borde delantero de cada estante.

23. Armario de almacenamiento según la reivindicación 22, caracterizado por que las cámaras están distribuidas a lo largo del borde delantero de cada estante y en una región central del borde delantero del estante.