IT201800007812A1 - A 3D visual search and AI-based recommendation system - Google Patents

A 3D visual search and AI-based recommendation system Download PDF

Info

Publication number
IT201800007812A1
IT201800007812A1 IT102018000007812A IT201800007812A IT201800007812A1 IT 201800007812 A1 IT201800007812 A1 IT 201800007812A1 IT 102018000007812 A IT102018000007812 A IT 102018000007812A IT 201800007812 A IT201800007812 A IT 201800007812A IT 201800007812 A1 IT201800007812 A1 IT 201800007812A1
Authority
IT
Italy
Prior art keywords
module
configuration
user
image rendering
artificial intelligence
Prior art date
Application number
IT102018000007812A
Other languages
Italian (it)
Inventor
Andrey Golub
Original Assignee
Else Corp Srl
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Else Corp Srl filed Critical Else Corp Srl
Priority to IT102018000007812A priority Critical patent/IT201800007812A1/en
Publication of IT201800007812A1 publication Critical patent/IT201800007812A1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/40Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/532Query formulation, e.g. graphical querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Eye Examination Apparatus (AREA)

Description

"Sistema di ricerca visiva 3D e di raccomandazione basato sull'IA" "AI-based 3D visual search and recommendation system"

SFONDO BACKGROUND

Campo tecnico Technical field

La presente invenzione riguarda i sistemi di ricerca visiva basati sull'Intelligenza Artificiale (IA). In particolare, la presente invenzione si riferisce a ricerche visive che coinvolgono la visualizzazione 3D e il rendering 3D, applicabile ai settori del fashion design, della moda al dettaglio, shopping on-line di articoli di moda e potrebbe essere estesa a qualsiasi categoria di prodotto per il consumatore, dove la ricerca visiva e i suggerimenti abbiano senso. The present invention relates to visual search systems based on Artificial Intelligence (AI). In particular, the present invention refers to visual research involving 3D visualization and 3D rendering, applicable to the sectors of fashion design, retail fashion, online shopping of fashion items and could be extended to any product category. for the consumer, where visual research and suggestions make sense.

Descrizione della tecnica nota Description of the prior art

Con riferimento all'industria della moda e del design, lo shopping online sembra essere di particolare interesse. Lo shopping online è una forma di e-commerce che consente ai consumatori di acquistare beni o servizi direttamente da un venditore, un marchio o rivenditore o distributore, attraverso i canali internet usando un browser web o un'applicazione per cellulare o un'installazione in negozio, che porti l'inventario online in un negozio. I consumatori possono trovare un prodotto di loro interesse visitando direttamente il sito web di un rivenditore o cercando tra venditori alternativi usando un motore di ricerca generalista o di shopping, che normalmente visualizza la disponibilità e i prezzi dello stesso prodotto presso rivenditori elettronici diversi e ha la possibilità di acquistare direttamente dal venditore o indirettamente tramite terzi. With reference to the fashion and design industry, online shopping seems to be of particular interest. Online shopping is a form of e-commerce that allows consumers to purchase goods or services directly from a seller, brand or retailer or distributor, through internet channels using a web browser or mobile application or installation in store, which brings online inventory to a store. Consumers can find a product of interest to them by visiting a retailer's website directly or by searching among alternative sellers using a generalist or shopping search engine, which normally displays the availability and prices of the same product at different electronic retailers and has the option to buy directly from the seller or indirectly through third parties.

La tecnologia di Ricerca Visiva trasforma le immagini di interesse (dalla vita reale, da internet o dai contenuti dei social media) in opportunità di shopping dall'inventario dei rivenditori. La tecnologia di Ricerca Visiva Avanzata usa l'IA (intelligenza artificiale) e in particolare le reti antagoniste generative per comprendere una scena visiva e agire su di essa, normalmente con l'aiuto della visione artificiale, del riconoscimento delle immagini, del deep learning. Fino ad oggi questa tecnologia è stata usata nella vendita al dettaglio online, aiutando i consumatori a individuare ad esempio i vestiti e gli accessori che visualizzano nei media come immagini e video, o che vedono nella vita reale e che possono fotografare. Visual Search technology transforms images of interest (from real life, from the internet or from social media content) into shopping opportunities from retailers' inventory. Advanced Visual Research technology uses AI (artificial intelligence) and in particular generative antagonist networks to understand a visual scene and act on it, usually with the help of computer vision, image recognition, deep learning. Until now, this technology has been used in online retail, helping consumers to locate for example clothes and accessories that they view in the media as images and videos, or that they see in real life and that they can photograph.

Esempi di sistemi di ricerca visiva noti disponibili su internet sono: Style Match proposto da ASOS, Google's Lens, Shoes.com, Bing's Visual Search, eBay's Visual Search, Alibaba's Visual Search per citarne solo alcuni. Examples of well-known visual search systems available on the internet are: Style Match proposed by ASOS, Google's Lens, Shoes.com, Bing's Visual Search, eBay's Visual Search, Alibaba's Visual Search to name but a few.

Il seguente documento è utile per una comprensione completa della presente descrizione: US-2017-15692825 che descrive un sistema telematico per la configurazione di un articolo. The following document is useful for a complete understanding of this description: US-2017-15692825 which describes a telematics system for configuring an item.

Breve riepilogo dell'invenzione Brief summary of the invention

Il Richiedente ha notato che gli approcci di ricerca visiva avanzata attualmente impiegati mostrano limitazioni riguardanti, ad esempio, la richiesta di dati per l'addestramento su larga scala, un'eccessiva complicazione delle computazioni richieste, limitazioni generali degli algoritmi di deep learning che fondamentalmente mancano di comprensione e ragionamento teorico, di un ciclo per l'addestramento/riaddestramento troppo lungo da zero a un modello pronto per i suggerimenti e di efficienza computazionale dell'addestramento delle reti neurali. Applicant noted that the advanced visual search approaches currently employed show limitations regarding, for example, the demand for data for large-scale training, excessive complication of the required computations, general limitations of deep learning algorithms which are fundamentally lacking. of understanding and theoretical reasoning, of a too long training / retraining cycle from zero to a prompt model and computational efficiency of neural network training.

Secondo un primo aspetto, la presente invenzione riguarda una ricerca visiva 3D e un sistema di IA di raccomandazione come definito dalla rivendicazione 1 allegata. Particolari forme di realizzazione del sistema sono descritte dalle rivendicazioni dipendenti da 2 a 9. Secondo un altro aspetto, la presente invenzione riguarda una ricerca visiva 3D e un metodo di IA di raccomandazione definito dalla rivendicazione indipendente 10. According to a first aspect, the present invention relates to a 3D visual search and a recommendation AI system as defined by the attached claim 1. Particular embodiments of the system are described by dependent claims 2 to 9. According to another aspect, the present invention relates to a 3D visual search and recommendation AI method defined by independent claim 10.

Breve descrizione dei disegni: Brief description of the drawings:

Ulteriori caratteristiche e vantaggi risulteranno più evidenti dalla seguente descrizione di una forma di realizzazione preferita e delle sue alternative fornite a titolo di esempio con riferimento ai disegni allegati, in cui: Further characteristics and advantages will become more evident from the following description of a preferred embodiment and its alternatives provided by way of example with reference to the attached drawings, in which:

la figura 1 mostra schematicamente un esempio di sistema di ricerca visiva e di raccomandazione; Figure 1 schematically shows an example of a visual search and recommendation system;

la figura 2 è un diagramma di flusso che rappresenta un esempio di metodo di configurazione del design 3D che detto sistema può impiegare; Figure 2 is a flowchart representing an example of a 3D design configuration method that said system can employ;

la figura 3 mostra schematicamente un esempio di configurazione di design implementabile con detto metodo: la figura 3a mostra una categoria di articoli (scarpe); la figura 3b mostra diversi tipi di oggetti; la figura 3c mostra una parte selezionata della scarpa; la figura 3d mostra una parte scelta; la figura 3e mostra i materiali e i colori per la parte selezionata; figure 3 schematically shows an example of design configuration that can be implemented with said method: figure 3a shows a category of articles (shoes); figure 3b shows different types of objects; figure 3c shows a selected part of the shoe; figure 3d shows a selected part; Figure 3e shows the materials and colors for the selected part;

la figura 4 mostra schematicamente un esempio di metodo di ricerca visiva e di raccomandazione; Figure 4 schematically shows an example of a visual search and recommendation method;

la figura 5 mostra esempi di rendering di immagine di una scarpa e dei suoi componenti. Figure 5 shows examples of image rendering of a shoe and its components.

DESCRIZIONE DETTAGLIATA DEGLI ESEMPI DETAILED DESCRIPTION OF THE EXAMPLES

La figura 1 si riferisce ad un esempio di sistema di ricerca visiva e di raccomandazione 100. Figure 1 refers to an example of a visual search and recommendation system 100.

In particolare, il sistema di ricerca visiva 100 (di seguito denominato anche "sistema") è dotato dei seguenti dispositivi: almeno un processore 1 (PU), almeno un'interfaccia utente 2 (interfaccia utente) e uno o più database 3 (DB). I suddetti dispositivi sono interconnessi tra loro, ad esempio con una rete telematica, come internet e/o sono parte di un cloud o di una combinazione delle due tecnologie. I collegamenti tra i dispositivi sopra indicati possono essere wireless, cablati o una combinazione di entrambi. In particular, the visual search system 100 (hereinafter also referred to as "system") is equipped with the following devices: at least one processor 1 (PU), at least one user interface 2 (user interface) and one or more databases 3 (DB ). The aforementioned devices are interconnected with each other, for example with a telematic network, such as the internet and / or are part of a cloud or a combination of the two technologies. Connections between the above devices can be wireless, wired, or a combination of both.

Almeno un processore 1 può includere, ad esempio, personal computer, dispositivi mobili, server e computer client o unità di cloud computing. Secondo esempi specifici, l'interfaccia utente 2 può essere un telefono cellulare, un personal computer, un tablet o occhiali per la realtà virtuale (aumentata, mista) o una tastiera, un touch screen di un ulteriore dispositivo elettronico. L'interfaccia utente 2 può essere parte di un dispositivo avente un processore che è uno dei suddetti almeno un processore 1. L'interfaccia utente 2 è associata ad un utente e collabora con almeno un processore 1 e/o il database 3. At least one processor 1 may include, for example, personal computers, mobile devices, servers and client computers or cloud computing units. According to specific examples, the user interface 2 can be a mobile phone, a personal computer, a tablet or glasses for virtual reality (augmented, mixed) or a keyboard, a touch screen of an additional electronic device. The user interface 2 can be part of a device having a processor which is one of the aforementioned at least one processor 1. The user interface 2 is associated with a user and collaborates with at least one processor 1 and / or the database 3.

Preferibilmente, l'interfaccia utente 2 e/o il processore 1 sono dotati di un display 5 che può caricare interfacce grafiche utili all'utente (chiamato anche cliente) per il funzionamento con il sistema 100. Preferably, the user interface 2 and / or the processor 1 are equipped with a display 5 which can load graphic interfaces useful to the user (also called the customer) for operation with the system 100.

Il sistema 100 è inoltre dotato di una pluralità di moduli di elaborazione che collaborano con almeno un processore 1 e l'interfaccia utente 2. I moduli di elaborazione possono essere moduli software con istruzioni che possono essere eseguite da almeno un processore 1 e/o un'interfaccia utente 2. The system 100 is also equipped with a plurality of processing modules that collaborate with at least one processor 1 and the user interface 2. The processing modules can be software modules with instructions that can be executed by at least one processor 1 and / or a user interface 2.

La pluralità di moduli di elaborazione include un modulo di configurazione 3D 4 (interfaccia di implementazione per la ricerca visiva 3D), un modulo di rendering 3D 6, un modulo di metadati 7, un modulo per l'addestramento dell'IA 8 e un modulo di riconoscimento dell'intelligenza artificiale 9. In particolare, la pluralità di moduli di elaborazione è dotata anche di un modulo di raccomandazione 10. The plurality of processing modules includes a 3D configuration module 4 (implementation interface for 3D visual search), a 3D rendering module 6, a metadata module 7, an AI training module 8 and a module recognition of artificial intelligence 9. In particular, the plurality of processing modules is also equipped with a recommendation module 10.

Il modulo di configurazione del prodotto 3D 4 viene adattato per definire, mediante interazione con l'utente, le caratteristiche associate a un oggetto e i modelli di configurazione dell'oggetto, come verrà chiarito nella seguente descrizione con riferimento alla figura 2. The configuration module of the 3D product 4 is adapted to define, through interaction with the user, the characteristics associated with an object and the configuration models of the object, as will be clarified in the following description with reference to Figure 2.

Inoltre, il modulo di rendering 3D 6 è configurato per elaborare detti modelli di configurazione e generare rendering di immagine dell'oggetto e rendering di immagine di componenti di detto oggetto, possibilmente, come richiesto dal sistema di apprendimento di IA, impiegando un insieme di materiali e colori di tale oggetto e dei suoi componenti. Furthermore, the 3D rendering module 6 is configured to process said configuration models and generate image rendering of the object and image rendering of components of said object, possibly, as required by the AI learning system, using a set of materials. and colors of this object and its components.

Il modulo di metadati 7 è configurato per elaborare dette funzionalità associate all'oggetto e fornire blocchi di metadati associati ai rendering e definire le caratteristiche dell'oggetto e dei componenti rappresentati nei rendering. In questo contesto viene fatto riferimento ai rendering di immagine e i metadati associati come dati sintetici, generati per le sole esigenze del processo di apprendimento. The metadata module 7 is configured to process said functionality associated with the object and provide blocks of metadata associated with the renderings and define the characteristics of the object and the components represented in the renderings. In this context, image renderings and associated metadata are referred to as synthetic data, generated solely for the needs of the learning process.

Il modulo per l'addestramento 8 è configurato per addestrare il modulo di riconoscimento dell'intelligenza artificiale 9 a riconoscere ulteriori oggetti simili a tale oggetto; l'addestramento è effettuato utilizzando i dati sintetici. In particolare, l'addestramento viene effettuato usando dati sintetici combinati con caratteristiche specifiche del modello e regole di classificazione (classificatori), definite attraverso dizionari adattivi, che accompagnano gli insiemi di dati generati. The training module 8 is configured to train the artificial intelligence recognition module 9 to recognize further objects similar to that object; training is carried out using synthetic data. In particular, the training is carried out using synthetic data combined with specific characteristics of the model and classification rules (classifiers), defined through adaptive dictionaries, which accompany the generated data sets.

Il modulo di riconoscimento dell'intelligenza artificiale 9 può essere una Rete Neurale e funzionare secondo un algoritmo di deep learning, o in alternativa, potrebbe essere un insieme di algoritmi proprietari basati sull'apprendimento automatico(Regressione Lineare o altro noto), ottimizzati per dati di allenamento su piccola scala, molto più facili da addestrare. Artificial intelligence recognition module 9 can be a Neural Network and work according to a deep learning algorithm, or alternatively, it could be a set of proprietary algorithms based on machine learning (Linear Regression or otherwise known), optimized for data small-scale training, much easier to train.

I documenti: Documents:

- J. Tremblay et al. “Training Deep Networks with Synthetic Data: Bridging the Reality Gap by Domain Randomization”, April 2018; (https://arxiv.org/pdf/1804.06516.pdf); - J. Tremblay et al. “Training Deep Networks with Synthetic Data: Bridging the Reality Gap by Domain Randomization”, April 2018; (https://arxiv.org/pdf/1804.06516.pdf);

- X. Peng et al., “Learning Deep Object Detectors from 3D Model”, (http://www.karimali.org/publications/PSAS_ICCV15.p df); - X. Peng et al., “Learning Deep Object Detectors from 3D Model”, (http://www.karimali.org/publications/PSAS_ICCV15.p df);

forniscono insegnamenti che possano essere applicati alla configurazione e all'addestramento del modulo di riconoscimento dell'intelligenza artificiale 9, nel caso di un approccio di deep learning. they provide teachings that can be applied to the configuration and training of the AI 9 recognition module, in the case of a deep learning approach.

Il modulo di raccomandazione 10 è configurato per collaborare con detto modulo di riconoscimento dell'intelligenza artificiale 9 per cercare esternamente immagini di ulteriori oggetti, simili (visivamente e come ontologia/classificazione) a detto oggetto e inviare le immagini risultanti dalla ricerca all'utente, mediante l'interfaccia utente 2. The recommendation module 10 is configured to collaborate with said artificial intelligence recognition module 9 to search externally for images of further objects, similar (visually and as ontology / classification) to said object and send the images resulting from the search to the user, via the user interface 2.

La figura 2 mostra, con un diagramma di flusso, un esempio del metodo di configurazione del design 200 implementabile dal modulo di configurazione 4 del sistema 100. Il metodo di configurazione del design 200 fa parte di un metodo di ricerca visiva e di raccomandazione 300 (figura 4) descritto di seguito. Figure 2 shows, with a flowchart, an example of the design configuration method 200 that can be implemented by the configuration module 4 of the system 100. The design configuration method 200 is part of a visual search and recommendation method 300 ( figure 4) described below.

Dopo una fase iniziale START, il metodo di configurazione del design 200 fornisce una prima fase 201 (CONF) in cui l'utente, tramite l'interfaccia utente 2, seleziona le opzioni di design e le caratteristiche di fabbricazione di un oggetto da configurare. After an initial START phase, the design configuration method 200 provides a first phase 201 (CONF) in which the user, via the user interface 2, selects the design options and manufacturing characteristics of an object to be configured.

In particolare, il modulo di configurazione 4 consente all'utente di configurare un oggetto specifico effettuando una pluralità di scelte tra le diverse opzioni fornite dal modulo, che gli vengono proposte dal sistema 100. In particular, the configuration module 4 allows the user to configure a specific object by making a plurality of choices among the different options provided by the module, which are proposed to him by the system 100.

Tali opzioni vengono proposte in modo visivo visualizzando (ad esempio, sul display 5) scene 3D e/o immagini e/o testo e/o vocale/voce e/o simboli corrispondenti a tali opzioni. These options are proposed visually by displaying (for example, on display 5) 3D scenes and / or images and / or text and / or voice / voice and / or symbols corresponding to these options.

La rappresentazione visiva dell'oggetto o di parti (vale a dire componenti) dell'oggetto può essere fatta, ad esempio, usando un avatar standard o in un ambiente di realtà virtuale o mista. The visual representation of the object or parts (i.e. components) of the object can be done, for example, using a standard avatar or in a virtual or mixed reality environment.

Con la dicitura "configurare un oggetto" si intende definire una pluralità di opzioni e caratteristiche di design e di fabbricazione (all'interno di un insieme prestabilito) in modo da consentire di progettare l'oggetto in modo particolare, riflettendo il concetto di personalizzazione del prodotto. I termini "configurazione di un oggetto", "oggetto su misura", "personalizzazione di un oggetto" o "configurazione del design di un oggetto" sono terminologie intercambiabili secondo la presente descrizione. The term "configure an object" is intended to define a plurality of design and manufacturing options and features (within a predetermined set) in order to allow the object to be designed in a particular way, reflecting the concept of personalization of the product. The terms "object configuration", "custom object", "object customization" or "object design configuration" are interchangeable terminologies according to this specification.

Ad esempio, le caratteristiche di design possono riguardare la forma dell'oggetto e in particolare le parti di design stilistico, le caratteristiche di fabbricazione possono riguardare i materiali da impiegare, i colori, che compongono l'intero oggetto e potrebbero avere forme alternative. Inoltre, la configurazione può riguardare il design o la fabbricazione di elementi essenziali e/o di elementi accessori e/o di elementi puramente decorativi dell'oggetto. For example, the design characteristics may relate to the shape of the object and in particular the stylistic design parts, the manufacturing characteristics may relate to the materials to be used, the colors, which make up the entire object and could have alternative shapes. Furthermore, the configuration may concern the design or manufacture of essential elements and / or accessory elements and / or purely decorative elements of the object.

Il modulo di configurazione 4 può essere impiegato per configurare oggetti (detti anche articoli) di diverse tipologie primarie appartenenti alle industrie della moda e del design come ad esempio articoli di abbigliamento (ad esempio abiti, completi o loro elementi), accessori moda (ad esempio borse, ecc.), calzature, gioielli, gioielli di moda, orologi, accessori per dispositivi elettronici, oggetti di design, arredamento, prodotti personali. Inoltre, il modulo di configurazione 4 può essere impiegato per configurare oggetti di design e di arredamento come tavoli, sedie, ecc. (nel caso di prodotti di design e di arredamento, le dimensioni e l'avatar diventano irrilevanti, mentre la logica di configurazione di base rimane simile). The configuration module 4 can be used to configure objects (also called articles) of different primary types belonging to the fashion and design industries such as clothing items (for example dresses, suits or their elements), fashion accessories (for example bags, etc.), footwear, jewelry, fashion jewelry, watches, accessories for electronic devices, design objects, furniture, personal products. Furthermore, the configuration module 4 can be used to configure design and furniture objects such as tables, chairs, etc. (in the case of design and furniture products, the size and the avatar become irrelevant, while the basic configuration logic remains similar).

Secondo una forma di realizzazione, il modulo di configurazione 4 consente all'utente il design di un elemento da una vasta gamma di opzioni non regolamentate, simile al processo di configurazione su un 'DIY Configurator', dove DIY sta per fai-da-te. According to one embodiment, configuration module 4 allows the user to design an item from a wide range of unregulated options, similar to the configuration process on a 'DIY Configurator', where DIY stands for DIY .

Ad esempio, l'utente può effettuare le seguenti operazioni (si veda la figura 3), con riferimento alla configurazione di una scarpa: For example, the user can perform the following operations (see figure 3), with reference to the configuration of a shoe:

a) selezionare una categoria di articoli di suo interesse (ad esempio una SCARPA, figura 3a); a) select a category of articles of interest (for example a SHOE, figure 3a);

b) selezionare un tipo di scarpa (ad esempio SCARPA CON ZEPPA CON PUNTA APERTA, figura 3b); b) select a type of shoe (for example WEDGE SHOE WITH OPEN TOE, figure 3b);

c) configurare ogni parte (vale a dire ogni componente) della scarpa (ad esempio TACCO, figura 3c), selezionando il tipo della parte (es. ZEPPA, figura 3d); e c) configure each part (ie each component) of the shoe (for example HEEL, figure 3c), selecting the type of the part (ex. WEDGE, figure 3d); And

d) selezionare il tipo di materiali e colori per quella parte selezionata (ad esempio, BLU SCAMOSCIATO, figura 3e); d) select the type of materials and colors for that selected part (for example, SUEDE BLUE, figure 3e);

Le operazioni di cui sopra possono essere ripetute, se necessario, per ciascuna parte del tipo di articolo selezionato fino a quando l'utente non è soddisfatto della configurazione. Il riferimento a una scarpa è solo esplicativo e non limitativo. The above operations can be repeated, if necessary, for each part of the selected item type until the user is satisfied with the configuration. The reference to a shoe is only explanatory and not limiting.

Le selezioni elencate sopra a)-c) forniscono un esempio di caratteristiche associate all'oggetto e ai suoi componenti che possono essere ottenute dall'interazione dell'utente con il modulo di configurazione 4. Queste caratteristiche, che forniscono una descrizione dell'oggetto e dei suoi componenti, possono essere definite come specifiche del prodotto (opzioni del prodotto, look and feel del prodotto, metadati del prodotto) e sono indicate con il simbolo O-PS nelle figure. The selections listed above a) -c) provide an example of characteristics associated with the object and its components that can be obtained from user interaction with the configuration module 4. These characteristics, which provide a description of the object and of its components, can be defined as product specifications (product options, product look and feel, product metadata) and are indicated with the symbol O-PS in the figures.

Il metodo di configurazione del design 200 include una seconda fase 202 (STORE-INF), in cui le informazioni di selezione vengono memorizzate nel database 3; tali informazioni di selezione riguardano le scelte fatte dall'utente dopo aver selezionato le caratteristiche di fabbricazione. The design configuration method 200 includes a second step 202 (STORE-INF), in which the selection information is stored in the database 3; this selection information concerns the choices made by the user after selecting the manufacturing characteristics.

Inoltre, l'utente può fornire al sistema "dati sul corpo del cliente", vale a dire misure standard dell'industria della moda per il corpo umano come collo, petto, busto, vita, fianchi, ecc. ottenuti, ad esempio, da uno scanner del corpo 3D o da uno scanner di una parte specifica del corpo (piede, testa, mano), o semplicemente misurati manualmente. In addition, the user can provide the system with "customer body data", that is, fashion industry standard measurements for the human body such as neck, chest, bust, waist, hip, etc. obtained, for example, from a 3D body scanner or a scanner of a specific part of the body (foot, head, hand), or simply measured manually.

Inoltre, secondo un esempio preferenziale, il modulo di configurazione 4, in una terza fase 203 (LEARN), analizza le informazioni di selezione memorizzate per ottenere, vale a dire per apprendere, le preferenze di stile ST-PR associate all'utente. In particolare, il modulo di configurazione 4 è fornito di un modulo di apprendimento 11 configurato per usare l'Intelligenza Artificiale (IA) per apprendere le preferenze di stile dell'utente, in relazione a ciascun tipo di prodotto e anche alcune opzioni di stile preferite indipendenti dal prodotto (più legate alla personalità dell'utente). In particolare, il modulo di apprendimento opzionale 11 è un modulo diverso dal modulo di riconoscimento dell'intelligenza artificiale 9. Secondo l'esempio di figura 3, una lista esemplare di informazioni che possono essere raccolte dal modulo di apprendimento 11: Furthermore, according to a preferential example, the configuration module 4, in a third step 203 (LEARN), analyzes the stored selection information to obtain, i.e. to learn, the ST-PR style preferences associated with the user. In particular, the configuration module 4 is provided with a learning module 11 configured to use Artificial Intelligence (AI) to learn the user's style preferences, in relation to each type of product and also some preferred style options independent of the product (more related to the user's personality). In particular, the optional learning module 11 is a different module from the artificial intelligence recognition module 9. According to the example of Figure 3, an exemplary list of information that can be collected by the learning module 11:

• la categoria e la sottocategoria dell'articolo (figura 3a) che l'utente probabilmente acquisterà con maggiore probabilità, poiché l'ha selezionato direttamente; • the category and subcategory of the item (figure 3a) that the user is likely to purchase more likely, since they have selected it directly;

• lo stile dell'articolo e la sua connotazione (figura 3b): la punta aperta, ad esempio, può essere considerata uno stile di scarpa più romantico/femminile/da ragazza che una scarpa a punta; • le parti della scarpa scelte per la configurazione (figura 3c), il tipo di parte scelta (figura 3d); i materiali e i colori per quella parte selezionata figura 4e): questo dato è relativo alla parte specifica del prodotto che si sta configurando. • the style of the item and its connotation (figure 3b): the open toe, for example, can be considered a more romantic / feminine / girl's style of shoe than a pointed shoe; • the parts of the shoe chosen for the configuration (figure 3c), the type of part chosen (figure 3d); the materials and colors for that selected part figure 4e): this data relates to the specific part of the product being configured.

Quindi, in questo esempio in cui si sta configurando un tacco, la scelta dell'utente di un tacco più basso indica l'altezza che l'utente sta probabilmente cercando e poi la selezione del colore e del materiale indica nuovamente le preferenze del cliente. Queste fasi vengono ripetute per ciascuna parte della scarpa. Preferibilmente, i risultati sono legati al profilo di ricerca dell'utente e risultano in prodotti suggeriti per il cliente. So, in this example where a heel is being configured, the user's choice of a lower heel indicates the height the user is likely looking for and then the color and material selection indicates the customer's preferences again. These steps are repeated for each part of the shoe. Preferably, the results are tied to the user's search profile and result in suggested products for the customer.

Si noti che, più un utente usa il sistema 100, più preciso può diventare il sistema e predire ciò che piace o non piace all'utente dei prodotti e delle loro opzioni. Ad esempio, se quattro volte su cinque un utente seleziona un articolo con un tacco più basso, è indicazione che è più probabile che l'utente acquisti un prodotto con il tacco basso. Note that the more a user uses system 100, the more accurate the system can become and predict what the user likes or dislikes about the products and their options. For example, if a user selects an item with a lower heel four times out of five, it is an indication that the user is more likely to purchase a product with a low heel.

A titolo di esempio, anche le seguenti informazioni riguardanti il comportamento e le preferenze dell'utente possono essere dedotte dal modulo degli strumenti 4 dalle azioni dell'utente nella prima fase 201: By way of example, the following information regarding user behavior and preferences can also be inferred from the tools module 4 from user actions in the first step 201:

• l'occasione/evento specifico che gli utenti stanno cercando (per quell'esempio specifico), • the specific occasion / event that users are looking for (for that specific example),

• il clima, quindi influisce sulle tipologie di prodotti suggeriti (se diverso da quanto automaticamente previsto dallo strumento), • the climate, therefore it affects the types of products suggested (if different from what is automatically predicted by the tool),

• forme preferite, • favorite shapes,

• colori preferiti, • favorite colors,

• modelli preferiti, • favorite models,

• tessuti preferiti, • favorite fabrics,

• la fascia di prezzo desiderata per ogni particolare ricerca. • the desired price range for each particular search.

Si osserva che il modulo di apprendimento 4 apprende le preferenze dell'utente in modo visivo poiché apprende ciò che piace o non piace all'utente dalle selezioni (vale a dire dalle scelte positive) fatte durante la procedura di configurazione, in cui vengono visualizzate le opzioni proposte. In particolare, le preferenze di stile non vengono apprese chiedendo direttamente all'utente cosa gli piace o cosa non gli piace. It is observed that the learning module 4 learns the user's preferences in a visual way since it learns what the user likes or dislikes from the selections (i.e. from the positive choices) made during the configuration procedure, in which the proposed options. In particular, style preferences are not learned by directly asking the user what he likes or dislikes.

Inoltre, il modulo di apprendimento 11 può apprendere le preferenze del cliente sulla base di un insieme aperto di proprietà e attributi, come: Furthermore, the learning module 11 can learn customer preferences based on an open set of properties and attributes, such as:

• marchio (ad esempio "nome dell'azienda") • brand (for example "company name")

• silhouette (ad esempio "jeans") • silhouette (for example "jeans")

• forma (ad esempio "taglio slim") • shape (for example "slim cut")

• colore (ad esempio "blu") • color (for example "blue")

• materiale (ad esempio "jeans di cotone slavato") • material (for example "washed cotton jeans")

• gruppi target (ad esempio "adulto", "maschio") • target groups (for example "adult", "male")

• fascia di prezzo • price range

• immagini selezionate o "non gradite" dal cliente (come nel caso dei siti di e-commerce) • images selected or "unwelcome" by the customer (as in the case of e-commerce sites)

• opinioni di clienti ed esperti. • opinions of customers and experts.

In particolare, il modulo di apprendimento 11 può anche definire una classificazione di prodotto P-CL specificando le categorie di stile o le preferenze di stile associate all'utente, come: classificazione accettata dall'industria (mediante tabelle di definizioni di stile), classificazione dinamica per stile, tendenze, occasioni ecc., fino a tag completamente dinamici, creati per una singola sessione utente e qualsiasi insieme specifico di caratteristiche come preferenze visive o sensoriali (mediante esempi di caratteristiche tattili dei materiali). Secondo un esempio particolare, il modulo di apprendimento 11, usando le preferenze di stile ST-PR ottenute nella terza fase 203, genera suggerimenti in una quarta fase 204. In particolare, i suggerimenti riguardano articoli che devono essere configurati dallo stesso utente in un'altra sessione di configurazione o nella stessa sessione di configurazione. In particular, the learning module 11 can also define a P-CL product classification by specifying the style categories or style preferences associated with the user, such as: industry accepted classification (using style definition tables), classification dynamic for style, trends, occasions etc., up to fully dynamic tags, created for a single user session and any specific set of characteristics such as visual or sensory preferences (by means of examples of tactile characteristics of materials). According to a particular example, the learning module 11, using the ST-PR style preferences obtained in the third phase 203, generates suggestions in a fourth phase 204. In particular, the suggestions concern articles that must be configured by the same user in a other configuration session or in the same configuration session.

In base a questo esempio, il modulo di apprendimento 11 effettua un'analisi delle manipolazioni dell'utente (vale a dire le selezioni o sostituzioni) mischiando in modo intuitivo le parti e le opzioni date degli articoli, verso la creazione di una configurazione del prodotto "ideale" dal punto di vista dell'utente, che porti a un certo punto a risultati soddisfacenti, corrispondenti ai criteri definiti dall'utente stesso: dai risultati soddisfacenti si ottiene la raccomandazione. Based on this example, the learning module 11 carries out an analysis of user manipulations (i.e. selections or substitutions) by intuitively mixing the given parts and options of the items, towards the creation of a product configuration "ideal" from the user's point of view, which leads at a certain point to satisfactory results, corresponding to the criteria defined by the user himself: from the satisfactory results the recommendation is obtained.

I suggerimenti possono essere forniti all'utente (ad esempio tramite l'interfaccia utente 2 o altri componenti del sistema 100). In particolare, si osserva che i suggerimenti possono essere forniti (ad esempio all'utente) in qualsiasi momento durante la procedura di configurazione (prima fase 201), vale a dire anche quando la procedura di configurazione della prima fase 201 non è ancora terminata. Suggestions can be provided to the user (for example via user interface 2 or other system components 100). In particular, it is noted that suggestions can be provided (for example to the user) at any time during the configuration procedure (first phase 201), that is to say even when the configuration procedure of the first phase 201 is not yet completed.

L'accettazione o il rifiuto di tale raccomandazione da parte dell'utente è un'altra informazione da impiegare dal modulo di apprendimento 11 per apprendere le preferenze di stile e fornire ulteriori suggerimenti. The acceptance or rejection of this recommendation by the user is another piece of information to be used by the learning module 11 to learn the style preferences and provide further suggestions.

Si noti ancora una volta che la terza 203 e quarta 204 fase sono facoltative. Note once again that the third 203 and fourth 204 stages are optional.

Le specifiche di prodotto O-PS (vale a dire le caratteristiche O dell'oggetto e dei suoi componenti) inviate dal modulo di configurazione 4 nella seconda fase 202 e, opzionalmente, almeno una parte dei suggerimenti della quarta fase 204 sono forniti a un modulo di definizione dello schema 12 (figura 1). The O-PS product specifications (i.e. the O characteristics of the object and its components) sent by the configuration module 4 in the second step 202 and, optionally, at least part of the suggestions of the fourth step 204 are provided to a module definition of scheme 12 (figure 1).

In una quinta fase 205 (PATT-DES) il modulo di definizione dello schema 12 genera, da tale specifica di prodotto O-PS (e opzionalmente dai suggerimenti), uno schema di configurazione dell'oggetto che definisce un articolo configurato (vale a dire progettato) corrispondente e le sue parti. Questo schema di configurazione (indicato in figura 2 con il simbolo CN-PT) fornisce dati che definiscono completamente la forma e la dimensione tridimensionale dell'oggetto e dei suoi componenti come risultato dell'interazione con l'utente. In particolare, il modulo di definizione dello schema 12 può essere un software CAD (Computer-Aided Design) e lo schema di configurazione CN-PT può essere un modello 3D dell'oggetto configurato dall'utente. In a fifth phase 205 (PATT-DES) the schema definition module 12 generates, from this product specification O-PS (and optionally from the suggestions), an object configuration schema that defines a configured article (i.e. designed) corresponding and its parts. This configuration diagram (indicated in Figure 2 with the symbol CN-PT) provides data that completely define the shape and three-dimensional dimension of the object and its components as a result of the interaction with the user. In particular, the schema definition module 12 can be a Computer-Aided Design (CAD) software and the CN-PT configuration diagram can be a 3D model of the object configured by the user.

Ad esempio, il modello 3D (come quello associato allo schema di configurazione CN-PT) di una scarpa è costituito da una raccolta di parti di componenti, che vengono create in un sistema CAD e strutturate all'interno di un sistema di rendering 3D. La gerarchia di un tipico modello di scarpa è costituita da diversi nodi di trasformazione, che portano informazioni utili per identificare ciascuna parte del prodotto. Ciascun nodo contiene uno o più oggetti 3D che, insieme, descrivono un componente. Ogni oggetto 3D include una o più maglie geometriche, che descrivono la forma del componente e come le texture del materiale si rapportano allo spazio 3D. Quindi, la gerarchia del modello normalmente include tre livelli di riferimento indiretto dalla radice della scena. Ciascun livello presenta le sue trasformazioni e definisce il suo spazio geometrico. For example, the 3D model (such as the one associated with the CN-PT configuration diagram) of a shoe is made up of a collection of component parts, which are created in a CAD system and structured within a 3D rendering system. The hierarchy of a typical shoe model is made up of several transformation nodes, which carry useful information to identify each part of the product. Each node contains one or more 3D objects which, together, describe a component. Each 3D object includes one or more geometric meshes, which describe the shape of the component and how the material's textures relate to 3D space. Hence, the model hierarchy normally includes three levels of indirect reference from the scene root. Each level presents its transformations and defines its geometric space.

Inoltre, si osserva che lo schema di configurazione CN-PT dell'oggetto fornisce dati strutturali (relativi al CAD) che includono, ad esempio: Furthermore, it is observed that the CN-PT configuration scheme of the object provides structural data (related to the CAD) which includes, for example:

• Dimensione dei componenti • Size of components

• Tipi/categorie • Types / categories

• Scala di dimensione • Size scale

• Coordinate • Coordinates

• Geometria 2D, modelli • 2D geometry, models

• Componenti corrispondenti • Matching components

• Punti di integrazione con altri componenti • Integration points with other components

Si osserva che i modelli di configurazione CN-PT possono essere ottenuti non solo dalle fasi del metodo 200 di cui sopra, ma anche dall'applicazione di Intelligenza Artificiale, o da un'impostazione predefinita, come risultati dell'uso di metodi prevedibili più semplici o dai suggerimenti di esperti. It is observed that the CN-PT configuration models can be obtained not only from the above method 200 steps, but also from the application of Artificial Intelligence, or from a predefined setting, as results of the use of simpler predictable methods or from the suggestions of experts.

La figura 4 mostra mediante un diagramma di flusso un metodo di ricerca visiva e di raccomandazione 300 che può essere implementato dal sistema 100. Figure 4 shows by means of a flowchart a visual search and recommendation method 300 that can be implemented by the system 100.

Il metodo di ricerca visiva e di raccomandazione 300 comprende: il metodo di design e configurazione 200 già descritto (CONF-M), una fase di rendering 301 (REND), una fase di metadati 302 (MDT), una fase di addestramento 303 (TRN), una fase di ricerca visiva 304 (VIS-SR) e, preferibilmente, una fase di raccomandazione 305 (RECCOM). The visual search and recommendation method 300 includes: the design and configuration method 200 already described (CONF-M), a rendering phase 301 (REND), a metadata phase 302 (MDT), a training phase 303 ( TRN), a visual search phase 304 (VIS-SR) and, preferably, a recommendation phase 305 (RECCOM).

Nella fase del rendering 301, lo schema di configurazione CN-PT ottenuto con il metodo di design e configurazione 200 viene fornito al modulo di rendering 6 insieme, in particolare, alle specifiche di prodotto O-PS. In the rendering stage 301, the configuration scheme CN-PT obtained with the design and configuration method 200 is provided to the rendering module 6 together, in particular, with the product specifications O-PS.

Il modulo di rendering 6 genera, dai dati associati allo schema di configurazione CN-PT (e opzionalmente, anche usando le specifiche di prodotto O-PS), i rendering di immagine IR1 dell'oggetto e i rendering di immagine IR2 del componente dell'oggetto. Come è noto, il rendering o la sintesi dell'immagine è il processo automatico di generazione di immagini fotorealistiche da un modello 2D o 3D (o da modelli in quello che collettivamente potrebbe essere chiamato un file di scena) mediante programmi per computer. The rendering engine 6 generates, from the data associated with the CN-PT configuration scheme (and optionally, also using the O-PS product specifications), the IR1 image renderings of the object and the IR2 image renderings of the object component . As is known, image rendering or synthesis is the automatic process of generating photorealistic images from a 2D or 3D model (or from models in what could collectively be called a scene file) using computer programs.

In questo articolo viene descritto un metodo per la creazione di dati sintetici da programmi CAD e di rendering 3D: https://towardsdatascience.com/deep-learning-withsynthetic-data-will-make-ai-accessible-to-the-masses-15b99343dd0e, ma riguarda ancora il metodo tradizionale di apprendimento- dai big data, dai dati overhead e applicando i metodi di deep learning. This article describes a method for creating synthetic data from CAD and 3D rendering programs: https://towardsdatascience.com/deep-learning-withsynthetic-data-will-make-ai-accessible-to-the-masses -15b99343dd0e, but it's still about the traditional method of learning - from big data, from data overhead and applying deep learning methods.

Nella fase di metadati 302, il modulo di metadati 7 elabora le specifiche di prodotto O-PS e fornisce i metadati MD-F ciascuno associato al primo e secondo rendering di immagine IR1 e IR2 corrispondente e definendo le caratteristiche dell'oggetto e dei componenti rappresentati nei rendering. Si noti che i metadati MD-F e i rendering di immagine IR1 e IR2 sono forniti secondo una struttura prestabilita. In the metadata stage 302, the metadata module 7 processes the O-PS product specifications and provides the MD-F metadata each associated with the first and second rendering of the corresponding IR1 and IR2 image and defining the characteristics of the object and components represented in renderings. Note that MD-F metadata and IR1 and IR2 image renders are provided according to a predetermined structure.

Vantaggiosamente, il modulo di metadati 7 collabora con il modulo di classificazione 13 (figura 1) che è configurato per fornire la struttura dei dati del modello del prodotto (regole di classificazione), vale a dire classificatori basati su modello M-CL. I classificatori includono, ad esempio: dimensioni del prodotto, colori principali, forma geometrica). In particolare, i classificatori basati sul modello M-CL vengono usati per l'addestramento del modulo di riconoscimento dell'intelligenza artificiale 9.Con riferimento ai metadati MD-F e considerando l'esempio relativo alle scarpe, si possono definire le seguenti caratteristiche per descrivere una scarpa: Advantageously, the metadata module 7 cooperates with the classification module 13 (Figure 1) which is configured to provide the data structure of the product model (classification rules), i.e. classifiers based on the M-CL model. Classifiers include, for example: product dimensions, main colors, geometric shape). In particular, classifiers based on the M-CL model are used for training the recognition module of artificial intelligence.9 With reference to the MD-F metadata and considering the example relating to shoes, the following characteristics can be defined for describe a shoe:

• Tipologie/caratteristiche del prodotto: ad esempio Oxford, Brogue a coda di rondine, Derby, Mocassino, a punta aperta, Stiletto, ecc... • Types / characteristics of the product: for example Oxford, Brogue with dovetail, Derby, Moccasin, open toe, Stiletto, etc ...

• Caratteristiche del prodotto: ad esempio Brogue a coda di rondine: Foratura, Coda di rondine, traforazioni decorative, tacco basso, dentellatura sui bordi, pezzi multipli, ecc... • Product features: eg Dovetail brogue: Drilling, Dovetail, decorative perforations, low heel, perforation on the edges, multiple pieces, etc ...

• Tipi di parti del prodotto: ad esempio punta, tomaia, lacci, suola, ecc... • Types of product parts: for example toe, upper, laces, sole, etc ...

• Caratteristiche delle parti del prodotto: ad esempio, Punta Brougue a coda di rondine: Traforazione decorativa su punta, code di rondine, foratura sulle cuciture • Characteristics of the product parts: for example, Brougue dovetail tip: Decorative perforation on the tip, dovetails, perforation on the seams

• Tipi di materiali: ad esempio pelle, pelle verniciata, tela, camoscio, ecc... • Types of materials: for example leather, patent leather, canvas, suede, etc ...

• Caratteristiche visive dei materiali: ad esempio ruvido, liscio, lucido, opaco, luccicante, liso, ecc. • Tipi di colori: ad esempio blu marino, magenta, giallo, ecc. • Visual characteristics of materials: eg rough, smooth, shiny, dull, shimmering, frayed, etc. • Types of colors: for example navy blue, magenta, yellow, etc.

Tipi di gruppi di colori: ad esempio caldi, freddi, color carne, luminosi, ecc. Types of color groups: for example, warm, cold, flesh-colored, bright, etc.

La figura 5 riguarda esempi di rendering di immagine di una scarpa e dei suoi componenti. La figura 5a rappresenta un modello 3D di una scarpa e i metadati associati possono essere: Figure 5 relates to examples of image rendering of a shoe and its components. Figure 5a represents a 3D model of a shoe and the associated metadata can be:

- Brogue a coda di rondine - Dovetail brogue

- Colori a contrasto - Contrasting colors

- Stravagante - Extravagant

- Business Casual - Business Casual

- Elenco dei componenti: - List of components:

- Tomaia superiore xx, materiale, colore - Upper upper xx, material, color

- Tomaia xx, materiale, colore - Upper xx, material, color

- Punta xx... materiale, colore - Tip xx ... material, color

La figura 5b mostra i rendering (rappresentazioni 2D) della scarpa e la figura 5c mostra i rendering di porzioni (vale a dire componenti) della scarpa. La figura 5d mostra forme/modelli di dettagli di una punta di scarpa; a detti rendering possono essere associati i seguenti metadati: Figure 5b shows the renderings (2D representations) of the shoe and Figure 5c shows the renders of portions (i.e. components) of the shoe. Figure 5d shows shapes / patterns of details of a shoe toe; the following metadata can be associated with these renderings:

- Traforazione decorativa - Decorative perforations

- Code di rondine - Dovetails

- Foratura su cuciture. - Drilling on seams.

La figura 5e) riguarda rendering di materiali e colori di parti della scarpa. Figure 5e) concerns rendering of materials and colors of parts of the shoe.

Nella fase di addestramento 303, il primo e il secondo rendering di immagine IR1 e IR2 e i metadati MD-F sono usati dal modulo per l'addestramento 8 come input di riferimento per addestrare il modulo di riconoscimento dell'intelligenza artificiale 9. L'apprendimento viene effettuato per adattare il modulo di riconoscimento dell'intelligenza artificiale 9 a effettuare la ricerca visiva per riconoscere prodotti simili o identici all'oggetto definito dal primo e dal secondo rendering di immagine IR1 e IR2 e dai metadati MD-F. In training phase 303, the first and second image renderings IR1 and IR2 and the MD-F metadata are used by the training module 8 as reference input to train the AI recognition module 9. Learning it is carried out to adapt the artificial intelligence recognition module 9 to carry out the visual search to recognize products similar or identical to the object defined by the first and second image rendering IR1 and IR2 and by the MD-F metadata.

Questa fase di apprendimento 303 viene effettuata, ad esempio, con immagini e foto esterne che vengono confrontate con l'input di riferimento (IR1, IR2 e MD-F) per selezionare le immagini che soddisfano un criterio di somiglianza: ad esempio, le immagini per cui un indice di somiglianza è superiore a una soglia prestabilita, come normalmente funziona un processo di deep learning. This 303 learning step is carried out, for example, with external images and photos that are compared with the reference input (IR1, IR2 and MD-F) to select images that meet a similarity criterion: for example, images for which a similarity index is higher than a predetermined threshold, as a deep learning process normally works.

Si noti che, in particolare, i dati corrispondenti al primo e al secondo rendering di immagine IR1 e IR2 e i metadati MD-F possono essere definiti come small data, vale a dire sufficientemente "piccoli" perché siano compresi dall'uomo. Note that, in particular, the data corresponding to the first and second renderings of the IR1 and IR2 images and the MD-F metadata can be defined as small data, that is, sufficiently "small" to be understood by humans.

In particolare, il modulo per l'addestramento 8 addestra il modulo di riconoscimento dell'intelligenza artificiale 9 anche con i classificatori basati sul modello M-CL fornito dal modulo di classificazione 13. In particular, the training module 8 trains the artificial intelligence recognition module 9 also with classifiers based on the M-CL model provided by the classification module 13.

Si osserva che invece di definire micro raggruppamenti di prodotti per tipo e altre caratteristiche specifiche, come normalmente fanno i sistemi di apprendimento profondo noti e basati su di essi i sistemi di ricerca visiva e di raccomandazione (come quello di cui sopra: Ricerca visiva di Asos, ricerca visiva di Bing, ricerca visiva di Google Lens e simili), il metodo qui descritto impiega un algoritmo di apprendimento automatico separato per ciascuna singola richiesta del cliente. It is noted that instead of defining micro-groupings of products by type and other specific characteristics, as well-known deep learning systems normally do and based on them, the visual search and recommendation systems (such as the one above: Asos Visual Search , Bing Visual Search, Google Lens Visual Search, and the like), the method described here employs a separate machine learning algorithm for each individual customer request.

Questo approccio basato sui small data implica conoscere esattamente su quali dati si sta operando ed è più simile a un sistema esperto, che ha una conoscenza abbastanza limitata, ma è una conoscenza "completa" ed è molto ben strutturata. Questo approccio non potrebbe essere raggiunto con il tradizionale deep learning o con altri tipi di algoritmi statistici avanzati. This small data approach involves knowing exactly what data you are operating on and is more like an expert system, which has quite limited knowledge, but is "complete" knowledge and is very well structured. This approach could not be achieved with traditional deep learning or with other types of advanced statistical algorithms.

Il modulo di riconoscimento dell'intelligenza artificiale 9 qui descritto può evitare la conoscenza attraverso deep learning e i big data. I dati vengono invece inseriti nel modulo di riconoscimento dell'intelligenza artificiale 9 direttamente dalle conoscenze strutturate ottenute dal sistema intelligente di configurazione del prodotto. The AI Recognition Module 9 described here can avoid knowledge through deep learning and big data. The data is instead entered into the artificial intelligence recognition module 9 directly from the structured knowledge obtained from the intelligent product configuration system.

Secondo un'altra forma di realizzazione, l'addestramento del modulo di riconoscimento dell'intelligenza artificiale 9 può essere fatto anche considerando le preferenze di stile ST-PR definite sopra e/o la classificazione del prodotto P-CL descritta con riferimento alla figura 2. According to another embodiment, the training of the artificial intelligence recognition module 9 can also be done considering the ST-PR style preferences defined above and / or the P-CL product classification described with reference to Figure 2 .

In particolare, nella fase di ricerca visiva 304 viene effettuata una ricerca visiva usando il modulo di riconoscimento dell'intelligenza artificiale 9 per selezionare immagini di prodotti (ad esempio disponibili sull'e-market) che soddisfano i criteri di somiglianza. Ad esempio, la ricerca visiva viene realizzata tra cataloghi di prodotti associati a marchi specifici o tra immagini disponibili on-line e non classificate. In particolare, la ricerca visiva può essere effettuata tra i prodotti di un catalogo MTO (Make-To-Order) o tra i prodotti in stock dell'e-commerce, in un database storico di un marchio o direttamente su un social network come Instagram, dove il contenuto è taggato e quindi classificato in modo adatto per una ricerca a due livelli: confronto di immagine e confronto di metadati (tag). In particular, in the visual search phase 304 a visual search is carried out using the artificial intelligence recognition module 9 to select images of products (for example available on the e-market) that meet the similarity criteria. For example, visual search is done between product catalogs associated with specific brands or between images available online and not classified. In particular, the visual search can be carried out among the products of an MTO (Make-To-Order) catalog or among the products in stock of the e-commerce, in a historical database of a brand or directly on a social network such as Instagram. , where the content is tagged and then classified in a way suitable for a two-level search: image comparison and metadata (tag) comparison.

Nella fase di raccomandazione 305 viene mostrato all'utente il risultato della ricerca visiva (ad esempio una o più immagini di uno specifico prodotto calzaturiero). In the recommendation step 305 the result of the visual search is shown to the user (for example one or more images of a specific footwear product).

In particolare, l'utente può visualizzare l'immagine risultante dalla fase di ricerca visiva 304 e, secondo una particolare forma di realizzazione, fornire un feedback informativo (fase di feedback 306- FEEDBACK) al modulo di configurazione 4. In particular, the user can view the image resulting from the visual search step 304 and, according to a particular embodiment, provide an informative feedback (feedback step 306-FEEDBACK) to the configuration module 4.

Se l'utente non accetta il prodotto proposto, le sue informazioni di feedback rappresentano una richiesta di modifica (fase di modifica 307 - MOD-REQ). La richiesta di modifica corrisponde (direttamente o indirettamente) a una richiesta di modifica di almeno alcune caratteristiche dell'oggetto proposto, da riproporre poi al sistema di raccomandazione. If the user does not accept the proposed product, his feedback information represents a modification request (modification phase 307 - MOD-REQ). The request for modification corresponds (directly or indirectly) to a request for modification of at least some characteristics of the proposed object, to be then proposed again to the recommendation system.

La ripetizione di alcune sotto-fasi del metodo di configurazione 200 e di altre fasi del metodo di ricerca visiva e di raccomandazione 300 avviene fino alla generazione di ulteriori suggerimenti. Ad esempio, viene definito un altro schema di configurazione CN-PT con le corrispondenti specifiche di prodotto O-PS. In questo modo, insieme ai metadati MD-F, vengono generati diversi rendering di immagine dell'oggetto IR1 e dei componenti IR2 e si può effettuare un'ulteriore fase di addestramento 303. The repetition of some sub-steps of the configuration method 200 and other steps of the visual search and recommendation method 300 occurs until further suggestions are generated. For example, another CN-PT configuration scheme is defined with the corresponding O-PS product specification. In this way, together with the MD-F metadata, several image renders of the IR1 object and IR2 components are generated and a further training step 303 can be carried out.

In alternativa, se il feedback fornito dall'utente corrisponde ad un'accettazione dell'articolo proposto: si è verificata una corrispondenza (fase di accettazione 308-ACCEPT) e il metodo arriva a una fase finale. Alternatively, if the feedback provided by the user corresponds to an acceptance of the proposed article: a match has occurred (acceptance stage 308-ACCEPT) and the method reaches a final stage.

Si noti che il sistema e il metodo descritti sopra consentono di semplificare e ottimizzare il processo di addestramento del modulo di riconoscimento dell'intelligenza artificiale, risparmiando energia CPU/GPU che verrebbe spesa per i calcoli e rende la ricerca visiva disponibile anche alle aziende che non possiedono enormi quantità di dati, in modo da procedere con gli algoritmi di deep learning ampiamente utilizzati, basati sui big data. Inoltre, il metodo sopra descritto fa sì che il processo sia quasi in tempo reale, indipendentemente dalla potenza CPU dietro il modulo di intelligenza artificiale. Note that the system and method described above allow you to simplify and optimize the training process of the AI recognition module, saving CPU / GPU energy that would be spent on calculations and making the visual search available even to companies that do not possess huge amounts of data, so they can proceed with the widely used deep learning algorithms, based on big data. Furthermore, the method described above causes the process to be in near real time, regardless of the CPU power behind the AI module.

Claims (11)

RIVENDICAZIONI 1. Sistema di ricerca visiva 3D e di raccomandazione dell'IA (100) comprendente: almeno un processore (1) e un'interfaccia utente (2) associati a un utente e che collaborano con almeno detto un processore (1); una pluralità di moduli di elaborazione che collaborano con l'almeno un processore (1) e con l'interfaccia utente (2), comprendenti: un modulo di configurazione (4) adattato per definire, mediante interazione con l'utente, le caratteristiche (O-PS) associate a un oggetto e uno schema di configurazione (CN-PT) dell'oggetto; un modulo di rendering 3D (6) configurato per elaborare detto schema di configurazione (CN-PT) e generare il primo rendering di immagine (IR1) dell'oggetto e il secondo rendering di immagine (IR2) dei componenti di detto oggetto; un modulo di metadati (7) configurato per elaborare dette caratteristiche (O-PS) associate all'oggetto e fornire metadati (MD-F) ciascuno associato al corrispondente primo (IR1) e secondo rendering di immagine (IR2) e che definisce le caratteristiche dell'oggetto e dei componenti rappresentati nel rispettivo primo (IR1) e secondo rendering (IR2); un modulo per l'addestramento (8) configurato per addestrare un modulo di riconoscimento dell'intelligenza artificiale (9) a riconoscere ulteriori oggetti simili a detto oggetto usando detto primo rendering di immagine (IR1), detto secondo rendering di immagine (IR2), detti metadati (MD-F). CLAIMS 1. 3D visual search and AI recommendation system (100) comprising: at least one processor (1) and a user interface (2) associated with a user and cooperating with at least said one processor (1); a plurality of processing modules that cooperate with the at least one processor (1) and with the user interface (2), comprising: a configuration module (4) adapted to define, by interacting with the user, the characteristics (O-PS) associated with an object and a configuration scheme (CN-PT) of the object; a 3D rendering module (6) configured to process said configuration scheme (CN-PT) and generate the first image rendering (IR1) of the object and the second image rendering (IR2) of the components of said object; a metadata module (7) configured to process said characteristics (O-PS) associated with the object and provide metadata (MD-F) each associated with the corresponding first (IR1) and second image rendering (IR2) and which defines the characteristics of the object and components represented in the respective first (IR1) and second rendering (IR2); a training module (8) configured to train an artificial intelligence recognition module (9) to recognize further objects similar to said object using said first image rendering (IR1), called second image rendering (IR2), said metadata (MD-F). 2. Sistema (100) della rivendicazione 1, ulteriormente comprendente un modulo di classificazione (13) configurato per fornire classificatori basati sul modello (M-CL) dell'oggetto; il modulo per l'addestramento (8) è configurato per addestrare il modulo di riconoscimento dell'intelligenza artificiale (9) con detti classificatori basati sul modello (M-CL). The system (100) of claim 1, further comprising a classification module (13) configured to provide classifiers based on the object model (M-CL); the training module (8) is configured to train the artificial intelligence recognition module (9) with said model-based classifiers (M-CL). 3. Sistema (100) della rivendicazione 1, ulteriormente comprendente un modulo di raccomandazione (10) configurato per collaborare con detto modulo di riconoscimento dell'intelligenza artificiale (9) per cercare immagini di ulteriori oggetti simili a detto oggetto e inviare immagini risultanti dalla ricerca all'utente mediante l'interfaccia utente (2). The system (100) of claim 1, further comprising a recommendation module (10) configured to collaborate with said artificial intelligence recognition module (9) to search for images of further objects similar to said object and send images resulting from the search to the user via the user interface (2). 4. Sistema (100) della rivendicazione 1, in cui il modulo di riconoscimento dell'intelligenza artificiale (9) comprende un algoritmo selezionato da: Algoritmi di deep learning; Algoritmi di rete neurale; Algoritmi lineari; Apprendimento automatico. System (100) of claim 1, wherein the artificial intelligence recognition module (9) comprises an algorithm selected from: Deep learning algorithms; Neural network algorithms; Linear algorithms; Machine learning. 5. Sistema della rivendicazione 1, in cui il modulo di riconoscimento dell'intelligenza artificiale (9) è ottimizzato per lavorare con insiemi di small data e classificazione strutturata. 5. System of claim 1, wherein the artificial intelligence recognition module (9) is optimized to work with small data sets and structured classification. 6. Sistema (100) della rivendicazione 1, in cui detto schema di configurazione (CN-PT) fornisce dati strutturali, che includono: dimensione dei componenti, scala di dimensione, coordinate, geometria 2D, componenti corrispondenti, punti di integrazione con altri componenti. System (100) of claim 1, wherein said configuration scheme (CN-PT) provides structural data, which include: component size, dimension scale, coordinates, 2D geometry, corresponding components, integration points with other components . 7. Sistema (100) della rivendicazione 2, in cui il detto modulo di riconoscimento dell'intelligenza artificiale (9) è configurato per effettuare una delle seguenti ricerche visive: ricerche di immagini su siti web, ricerca di immagini su una collezione predefinita. System (100) of claim 2, wherein said artificial intelligence recognition module (9) is configured to perform one of the following visual searches: image searches on websites, image search on a predefined collection. 8. Sistema (100) della rivendicazione 2, in cui il modulo di configurazione (4) è configurato per selezionare le caratteristiche dell'oggetto scelto dall'utente. The system (100) of claim 2, wherein the configuration module (4) is configured to select the characteristics of the object chosen by the user. 9. Sistema (100) della rivendicazione 2, in cui il modulo di configurazione (4) è configurato per modificare dette caratteristiche (O-PS) e detto schema di configurazione (CN-PT) in risposta a un feedback da parte dell'utente tramite l'interfaccia utente (2). System (100) of claim 2, wherein the configuration module (4) is configured to modify said characteristics (O-PS) and said configuration scheme (CN-PT) in response to a feedback from the user via the user interface (2). 10. Sistema della rivendicazione 4, in cui i metadati (MD-F), il primo (IR1) e il secondo rendering di immagine (IR2) sono small data. System of claim 4, wherein the metadata (MD-F), the first (IR1) and the second image rendering (IR2) are small data. 11. Metodo di ricerca visiva 3D e di raccomandazione dell'IA (300) comprendente: definire con un'interazione visiva di configurazione (200) almeno un processore (1) con caratteristiche (O-PS) di un'interfaccia utente (2) associate a un oggetto e uno schema di configurazione (CN-PT) dell'oggetto; elaborare (301) detto schema di configurazione (CN-PT) e generare il primo rendering di immagine (IR1) dell'oggetto e il secondo rendering di immagine (IR2) dei componenti di detto oggetto; elaborare dette caratteristiche (O-PS) e fornire metadati (MD-F) ciascuno associato al corrispondente primo (IR1) e secondo rendering di immagine (IR2) e che definiscono le caratteristiche dell'oggetto e dei componenti rappresentati nel rispettivo primo (IR1) e secondo rendering di immagine (IR2); addestrare (303) un modulo di riconoscimento dell'intelligenza artificiale (9) a riconoscere ulteriori oggetti simili a detto oggetto usando detto primo rendering di immagine (IR1), detto secondo rendering di immagine (IR2), detti metadati (MD-F). 11. 3D visual search method and AI recommendation (300) comprising: defining with a visual configuration interaction (200) at least one processor (1) with characteristics (O-PS) of a user interface (2) associated with an object and a configuration scheme (CN-PT) of the object; processing (301) said configuration scheme (CN-PT) and generating the first image rendering (IR1) of the object and the second image rendering (IR2) of the components of said object; process said characteristics (O-PS) and provide metadata (MD-F) each associated with the corresponding first (IR1) and second image rendering (IR2) and which define the characteristics of the object and components represented in the respective first (IR1) and second image rendering (IR2); training (303) an artificial intelligence recognition module (9) to recognize further objects similar to said object using said first image rendering (IR1), called second image rendering (IR2), called metadata (MD-F).
IT102018000007812A 2018-08-03 2018-08-03 A 3D visual search and AI-based recommendation system IT201800007812A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
IT102018000007812A IT201800007812A1 (en) 2018-08-03 2018-08-03 A 3D visual search and AI-based recommendation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
IT102018000007812A IT201800007812A1 (en) 2018-08-03 2018-08-03 A 3D visual search and AI-based recommendation system

Publications (1)

Publication Number Publication Date
IT201800007812A1 true IT201800007812A1 (en) 2020-02-03

Family

ID=63840944

Family Applications (1)

Application Number Title Priority Date Filing Date
IT102018000007812A IT201800007812A1 (en) 2018-08-03 2018-08-03 A 3D visual search and AI-based recommendation system

Country Status (1)

Country Link
IT (1) IT201800007812A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008015571A2 (en) * 2006-05-19 2008-02-07 My Virtual Model Inc. Simulation-assisted search
US20080144943A1 (en) * 2005-05-09 2008-06-19 Salih Burak Gokturk System and method for enabling image searching using manual enrichment, classification, and/or segmentation
WO2010141637A1 (en) * 2009-06-03 2010-12-09 Like.Com System and method for learning user genres and styles and matching products to user preferences
US20180189852A1 (en) * 2016-12-29 2018-07-05 ELSE CORP S.r.l. Learning based recommendation system and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080144943A1 (en) * 2005-05-09 2008-06-19 Salih Burak Gokturk System and method for enabling image searching using manual enrichment, classification, and/or segmentation
WO2008015571A2 (en) * 2006-05-19 2008-02-07 My Virtual Model Inc. Simulation-assisted search
WO2010141637A1 (en) * 2009-06-03 2010-12-09 Like.Com System and method for learning user genres and styles and matching products to user preferences
US20180189852A1 (en) * 2016-12-29 2018-07-05 ELSE CORP S.r.l. Learning based recommendation system and method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GAIDON ADRIEN ET AL: "The Reasonable Effectiveness of Synthetic Visual Data", INTERNATIONAL JOURNAL OF COMPUTER VISION, KLUWER ACADEMIC PUBLISHERS, NORWELL, US, vol. 126, no. 9, 6 July 2018 (2018-07-06), pages 899 - 901, XP036568436, ISSN: 0920-5691, [retrieved on 20180706], DOI: 10.1007/S11263-018-1108-0 *

Similar Documents

Publication Publication Date Title
US11599937B2 (en) Digital wardrobe
US9773274B2 (en) System and method for online virtual fitting room
US10248986B2 (en) Method and system for search refinement
JP2009545019A (en) Simulation support type search
US20150242929A1 (en) Method and system for improving size-based product recommendations using aggregated review data
KR101524189B1 (en) Simulation system and method for developing clothes design
CN106648057A (en) Information showing method and system based on virtual reality technology
WO2014011086A2 (en) Method for providing for the remote fitting and/or selection of clothing
US9183510B1 (en) Method and system for personalized recommendation of lifestyle items
JP2010524090A (en) Computer system for rule-based clothing matching and filtering, taking into account fit rules and fashion rules
US20160267576A1 (en) System and Method for Controlling and Sharing Online Images of Merchandise
US20200402136A1 (en) Avatar Matching in On-Line Shopping
KR20190097612A (en) apparatus and method for generating designs based on images and text
US10311498B2 (en) Method and system for recommending a size of a wearable item
CN103544621A (en) Costume combination graphical representation method
CN105096123A (en) Business object operation simulation method, device and system
GB2567061A (en) System integration for design and production of clothing
Zhang et al. Shoe-last design exploration and customization
Periyasamy et al. Rise of digital fashion and metaverse: influence on sustainability
JP2016024742A (en) Three-dimensional shape simulating system, try-on simulation system, sales support system, three-dimensional shape simulating method, try-on simulation method, sales support method, program of three-dimensional shape simulating method, try-on simulation method or sales support method, and recording medium recording the program
IT201800007812A1 (en) A 3D visual search and AI-based recommendation system
WO2020079235A1 (en) Method and apparatus for accessing clothing
Hjelmgren et al. Upcycling of pre-consumer waste: opportunities and barriers in the furniture and clothing industries
WO2024036943A1 (en) Virtual garment management system and related method
Suryanto et al. Virtual Reality Technology-Based Impact of Fashion Design Technology Using Optimized Neural Network