BR112017019250B1 - TRAINING SYSTEM AND TRAINING METHOD - Google Patents

TRAINING SYSTEM AND TRAINING METHOD Download PDF

Info

Publication number
BR112017019250B1
BR112017019250B1 BR112017019250-0A BR112017019250A BR112017019250B1 BR 112017019250 B1 BR112017019250 B1 BR 112017019250B1 BR 112017019250 A BR112017019250 A BR 112017019250A BR 112017019250 B1 BR112017019250 B1 BR 112017019250B1
Authority
BR
Brazil
Prior art keywords
training
person
image
orientation
real
Prior art date
Application number
BR112017019250-0A
Other languages
Portuguese (pt)
Other versions
BR112017019250A2 (en
Inventor
Ric Agostini
Scott Lang
Kimberly-Anne Larmond
Scott Martin
Terence Patrick Mcguire
Salvatore Scozzari
Original Assignee
Alchemy Systems, L.P
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alchemy Systems, L.P filed Critical Alchemy Systems, L.P
Priority claimed from PCT/US2016/021613 external-priority patent/WO2016145117A1/en
Publication of BR112017019250A2 publication Critical patent/BR112017019250A2/en
Publication of BR112017019250B1 publication Critical patent/BR112017019250B1/en

Links

Abstract

SISTEMA DE TREINAMENTO, E, MÉTODO DE TREINAMENTO. Em um método e um sistema de treinamento, um ou mais ativos digitais, tais como objetos gerados por computador bidimensionais e tridimensionais, são sobrepostos em uma vista de câmera em tempo real para gerar um cenário de treinamento simulado, referido aqui como tecnologia de realidade aumentada ("AR"). Com a alavancagem da tecnologia AR, uma simulação em tempo real de eventos, situações e habilidades do mundo real é gerada para a qual um empregado, estudante, cliente, ou qualquer tipo de pessoa com necessidade de treinamento, está sendo treinada. Uma pessoa em treinamento é assim imergida diretamente no material de treinamento. O ambiente físico e as condições de trabalho são integrados na sequência do material de treinamento e isso ocorre em tempo real, isto é, com retorno imediato de uma vista de tela em tempo real da câmera. Esta técnica pode, a título de exemplo, também ser descrita como uma visita guiada automatizada usada para facilitar o processo de onboarding e o treinamento do funcionário, ou como uma visita guiada através de um mercado varejista para seus clientes.TRAINING SYSTEM AND TRAINING METHOD. In a training method and system, one or more digital assets, such as two-dimensional and three-dimensional computer-generated objects, are superimposed on a real-time camera view to generate a simulated training scenario, referred to here as augmented reality technology. ("AIR"). By leveraging AR technology, a real-time simulation of real-world events, situations, and skills is generated for which an employee, student, customer, or any type of person in need of training is being trained. A person undergoing training is thus immersed directly in the training material. The physical environment and working conditions are integrated into the training material sequence and this takes place in real time, ie with immediate return of a real time screen view from the camera. This technique can, by way of example, also be described as an automated guided tour used to facilitate the onboarding process and employee training, or as a guided tour through a retail marketplace for your customers.

Description

Campo TécnicoTechnical Field

[01] A invenção refere-se, no geral, ao treinamento e, mais particularmente, ao uso de realidade aumentada para aprimorar o impacto e a efetividade do treinamento de pessoas, tais como empregados, clientes, estudantes, e quaisquer pessoa ou pessoas com necessidade de treinamento.[01] The invention relates, in general, to training and, more particularly, to the use of augmented reality to improve the impact and effectiveness of training people, such as employees, customers, students, and any person or persons with training need.

FundamentosFundamentals

[02] Revendedores e fabricantes são dois setores da economia que se baseiam na aquisição e retenção de um número substancial de empregados sem habilidades exigidos para realizar várias operações. Um dos desafios chaves na apresentação a tais empregados é prover para os mesmos o conhecimento e o entendimento exigidos para realizar seus novos serviços de forma segura e efetiva. Uma das estratégias chaves usadas para prover este conhecimento é através do uso de ferramentas de treinamento, tais como material de treinamento gravado, treinamento com base em grupo de sala de aula grupo, treinamento um a um com um supervisor, e treinamento online usando texto, vídeo, fotografia, e testes eletrônicos. Cada uma destas técnicas sofre de limitações de efetividade, tais como (1) alto custo (incluindo custo direto e/ou tempo gasto longe de das obrigações de serviço de alguém), (2) baixa relevância (por exemplo, imagens ou vídeos que não são específicos para uma respectiva indústria ou ambiente ou que, por exemplo, não precisamente e/ou realisticamente retrata situações perigosas), e (3) baixo impacto (por exemplo, informação não fica retida por muito tempo depois da distribuição para um funcionário). Estas limitações também se aplicam a outros tipos de pessoas em treinamento, tais como clientes que compram em mercado varejista, estudantes inscritos em cursos técnicos (isto é, solda, elétrica) ou qualquer pessoa com necessidade de treinamento.[02] Resellers and manufacturers are two sectors of the economy that rely on acquiring and retaining a substantial number of employees lacking the skills required to perform various operations. One of the key challenges in introducing such employees is providing them with the knowledge and understanding required to perform their new services safely and effectively. One of the key strategies used to provide this knowledge is through the use of training tools, such as recorded training material, group classroom-based group training, one-on-one training with a supervisor, and online training using text, video, photography, and electronic testing. Each of these techniques suffers from limitations in effectiveness, such as (1) high cost (including direct cost and/or time spent away from one's service obligations), (2) low relevance (e.g., images or videos that do not are specific to a respective industry or environment or that, for example, do not accurately and/or realistically portray hazardous situations), and (3) low impact (eg, information is not retained long after distribution to an employee). These limitations also apply to other types of people in training, such as retail customers, students enrolled in technical courses (ie, welding, electrical), or anyone with a need for training.

[03] Portanto, o que é necessário é um sistema e um método para treinamento de pessoas, tais como empregados, clientes e estudantes, que é econômico, relevante e que terá um impacto duradouro no desempenho de um funcionário.[03] Therefore, what is needed is a system and method for training people, such as employees, customers, and students, that is cost-effective, relevant, and will have a lasting impact on an employee's performance.

Sumáriosummary

[04] A presente invenção, desta maneira, resolve estes problemas de uma maneira exclusiva e convincente pela sobreposição de um ou mais ativos digitais, tais como objetos gerados por computador bidimensionais e tridimensionais, através de uma vista de câmera em tempo real para gerar um cenário de treinamento simulado, referido aqui como realidade aumentada (“AR”). Com a alavancagem da tecnologia de AR, é gerada uma simulação em tempo real de eventos, situações e habilidades do mundo real para os quais uma pessoa está sendo treinada. De fato, uma pessoa é imersa diretamente no material de treinamento. O ambiente físico e as condições de trabalho são integrados na sequência do material de treinamento, e ela faz isto em tempo real, isto é, com retorno imediato a partir de uma vista de tela em tempo real da câmera. Esta técnica também pode ser descrita como uma visita guiada automatizada usada para facilitar o processo de onboarding do funcionário e o treinamento do estudante.[04] The present invention thus solves these problems in a unique and compelling manner by superimposing one or more digital assets, such as two-dimensional and three-dimensional computer-generated objects, across a real-time camera view to generate a simulated training scenario, referred to here as augmented reality (“AR”). By leveraging AR technology, a real-time simulation of real-world events, situations, and skills that a person is being trained for is generated. In fact, a person is immersed directly in the training material. The physical environment and working conditions are integrated into the training material sequence, and she does this in real time, ie with immediate feedback from a real-time screen view of the camera. This technique can also be described as an automated guided tour used to facilitate the employee onboarding process and student training.

[05] O exposto esboçou bastante amplamente os recursos e as vantagens técnicas da presente invenção a fim de que a descrição detalhada da invenção que segue possa ser melhor entendida. Os recursos e as vantagens adicionais da invenção serão descritos a seguir, o que forma o objeto das reivindicações da invenção. Deve ser percebido por versados na técnica que a concepção e a modalidade específica descritos podem ser prontamente utilizados como uma base para modificar ou desenhar outras estruturas para realizar os mesmos propósitos da presente invenção. Também deve ser percebido por versados na técnica que tais construções equivalentes não fogem do espírito e do escopo da invenção apresentados nas reivindicações anexas.[05] The foregoing has outlined the features and technical advantages of the present invention quite broadly so that the detailed description of the invention that follows can be better understood. Additional features and advantages of the invention will be described below, which form the object of the claims of the invention. It should be appreciated by those skilled in the art that the design and specific embodiment described can readily be used as a basis for modifying or designing other structures to accomplish the same purposes as the present invention. It should also be understood by those skilled in the art that such equivalent constructions do not depart from the spirit and scope of the invention presented in the appended claims.

Breve Descrição dos DesenhosBrief Description of the Drawings

[06] Para um entendimento mais completo da presente invenção, e das vantagens da mesma, referência é agora feita às seguintes descrições tomadas em conjunto com os desenhos anexos, nos quais: a figura 1 exemplifica uma visão geral esquemática da arquitetura de software e recursos da presente invenção; a figura 2 exemplifica uma sessão de treinamento do sistema da figura 1, a sessão tendo inúmeras lições; a figura 3 exemplifica uma vista da câmera de uma lata de armazenamento de suco da figura 1; a figura 4 representa uma vista de câmera em tempo real da figura 3; a figura 5 exemplifica uma imagem de disparo das figuras 3 e 4; a figura 6 exemplifica uma vista da câmera aumentada da vista de câmera em tempo real da figura 4; a figura 7 mostra uma vista de câmera em tempo real exemplificada em uma aplicação adicional da invenção; a figura 8 exemplifica uma vista da câmera aumentada da vista de câmera em tempo real da figura 8; a figura 9 exemplifica um teste subsequente à lição das figuras 3-8; a figura 10 representa um fluxograma das etapas executáveis de acordo com a invenção para treinamento; e a figura 11 representa um fluxograma das etapas executáveis de acordo com a invenção para exibir uma situação de treinamento.[06] For a more complete understanding of the present invention, and the advantages thereof, reference is now made to the following descriptions taken together with the accompanying drawings, in which: Figure 1 exemplifies a schematic overview of the software architecture and features of the present invention; figure 2 exemplifies a training session for the system of figure 1, the session having numerous lessons; figure 3 exemplifies a camera view of a juice storage can of figure 1; figure 4 represents a real-time camera view of figure 3; figure 5 exemplifies a shooting image of figures 3 and 4; figure 6 exemplifies an enlarged camera view of the real-time camera view of figure 4; figure 7 shows a real-time camera view exemplified in an additional application of the invention; Figure 8 exemplifies an enlarged camera view of the real-time camera view of Figure 8; figure 9 exemplifies a test subsequent to the lesson in figures 3-8; figure 10 represents a flowchart of the executable steps according to the invention for training; and figure 11 represents a flowchart of executable steps according to the invention for displaying a training situation.

Descrição DetalhadaDetailed Description

[07] A seguinte descrição é apresentada para habilitar quaisquer versados na técnica a fazer e usar a invenção, e é provida no contexto de uma aplicação em particular e suas exigências. Várias modificações nas modalidades descritas ficarão prontamente aparentes aos versados na técnica, e os princípios gerais aqui definidos podem ser aplicados em outras modalidades e aplicações sem fugir do espírito e do escopo da presente invenção. Assim, não se pretende que a presente invenção seja limitada às modalidades mostradas, mas deve estar de acordo com o mais amplo escopo consistente com os princípios e os recursos aqui descritos. Adicionalmente, da forma aqui usada, o termo “substancialmente” deve ser interpretado como um termo de aproximação.[07] The following description is presented to enable anyone skilled in the art to make and use the invention, and is provided in the context of a particular application and its requirements. Various modifications to the described embodiments will be readily apparent to those skilled in the art, and the general principles defined herein can be applied in other embodiments and applications without departing from the spirit and scope of the present invention. Thus, the present invention is not intended to be limited to the embodiments shown, but is to be accorded the widest scope consistent with the principles and resources described herein. Additionally, as used herein, the term "substantially" should be interpreted as an approximation term.

[08] Percebe-se que, a menos que indicado de outra forma, as funções aqui descritas podem ser realizadas por um processador, tais como um microprocessador, um controlador, um microcontrolador, um circuito integrado específico de aplicação (ASIC), um processador eletrônico de dados, um computador ou semelhantes, de acordo com código, tais como código de programa, software, circuitos integrados e/ou semelhantes que são codificados para realizar tais funções. Além do mais, é considerado que o desenho, o desenvolvimento e os detalhes de implementação de todos tais códigos ficarão aparentes aos versados na técnica com base em uma revisão da presente descrição da invenção. Tais versados na técnica serão capazes de fazer uso de ferramentas de software, componentes e bibliotecas comercialmente disponíveis para construir uma aplicação de software que implementa o sistema que é descrito.[08] It is noted that, unless otherwise indicated, the functions described herein may be performed by a processor, such as a microprocessor, a controller, a microcontroller, an application-specific integrated circuit (ASIC), a processor electronic data, a computer or the like, depending on code such as program code, software, integrated circuits and/or the like that are coded to perform such functions. Furthermore, it is envisaged that the design, development and implementation details of all such codes will become apparent to those skilled in the art based on a review of the present description of the invention. Those skilled in the art will be able to make use of commercially available software tools, components and libraries to build a software application that implements the system that is described.

[09] Em relação à figura 1 dos desenhos, o número de referência 100 no geral, designa um dispositivo de computação móvel, aqui representado como um tablet, configurado para incorporar recursos da presente invenção. O tablet 100 inclui uma unidade de processamento central (também aqui referida como uma “CPU” ou um “processador”) 101 acoplada em uma memória 102 com um programa de software de aplicação 103 executável pelo processador 101 para treinamento de pessoas, da forma descrita com detalhes adicionais a seguir. Um visor 108 é acoplado por meio de um motor de renderização de elementos gráficos 110 na CPU 101. O visto 108 pode incluir um visor incorporado no tablet 100 ou visor alternativo, tal como um visor óptico montado na cabeça (OHMD, por exemplo, Google Glass) ou semelhantes. Um ou mais alto-falantes 112 são preferivelmente acoplados por meio de hardware de áudio 114 na CPU 101.[09] With reference to figure 1 of the drawings, the reference number 100 in general designates a mobile computing device, represented here as a tablet, configured to incorporate features of the present invention. The tablet 100 includes a central processing unit (also referred to herein as a "CPU" or a "processor") 101 coupled in a memory 102 with an application software program 103 executable by the processor 101 for training people, as described with additional details below. A display 108 is coupled via a graphics rendering engine 110 to the CPU 101. The visa 108 may include a display built into the tablet 100 or an alternative display such as a head-mounted optical viewfinder (OHMD, e.g. Google Glass) or similar. One or more speakers 112 are preferably coupled via audio hardware 114 to CPU 101.

[10] O tablet 100 inclui sensores de posição 116, tais como giroscópios, que são efetivos para gerar dados indicativos da localização e da orientação do tablet 100 em relação à imagem ou objeto, alvo 128. Os sensores de posição 116 são acoplados (através da CPU 101) na memória 102 para inserir os dados de posição no módulo do software de orientação de localização do tablet 118 que é executado pela CPU 101 através do programa de software de aplicação 103 para determinar a localização e a orientação do tablet 100 em relação à imagem ou objeto, 128, alvo e salvar esta informação na memória 102. Uma câmera 120 é montada no tablet 100 para capturar uma vista da câmera 121, preferivelmente, em tempo real, de um objeto 128, exemplificado como uma lata de armazenamento de suco com uma imagem de disparo 130 e o ambiente do objeto, e para gerar dados de imagem indicativos da vista da câmera 121 capturada pela câmera. A câmera 120 é acoplada (através da CPU 101) na memória 102 para inserir os dados de imagem em um motor do software de reconhecimento de imagem 122 que gera um sinal de imagem para um módulo do software de orientação de localização da imagem 124, que é executado pela CPU 101 através do programa de software de aplicação 103 para determinar a posição e a orientação do objeto 128 da imagem e salvar esta informação na memória 102. A título de exemplo, com a localização e a orientação do tablet e a imagem alvo determinada, se o tablet estiver a três pés (91,44 centímetros) de distância da imagem alvo 128, então, o objeto 3D (aumento) é renderizado em um certo tamanho. Se o tablet estiver mais distante da imagem alvo, então, o objeto 3D é renderizado em menor tamanho, exatamente como um objeto real. Em relação à orientação, se o tablet estiver acima da imagem alvo, o aumento é renderizado como se olhando para baixo na imagem alvo a partir de cima. Se o tablet estiver olhando na imagem alvo a partir do lado, então, o aumento é renderizado como se olhando neste lado da imagem alvo. Entende- se que a figura 1 é um desenho esquemático e, como tal, os sensores de posição da câmera 120 e do tablet 116 são realmente acoplados na memória 102 através da CPU 101.[10] The tablet 100 includes position sensors 116, such as gyroscopes, which are effective for generating data indicative of the location and orientation of the tablet 100 relative to the target image or object 128. The position sensors 116 are coupled (through of the CPU 101) into the memory 102 for inputting the position data into the tablet location orientation software module 118 which is executed by the CPU 101 through the application software program 103 to determine the location and orientation of the tablet 100 relative to to the target image or object 128 and save this information in memory 102. A camera 120 is mounted on the tablet 100 to capture a camera 121 view, preferably in real time, of an object 128, exemplified as a storage canister of juice with a shooting image 130 and the environment of the object, and to generate image data indicative of the camera view 121 captured by the camera. Camera 120 is coupled (via CPU 101) to memory 102 for inputting the image data into an image recognition software engine 122 which generates an image signal to an image location guidance software module 124, which is executed by the CPU 101 through the application software program 103 to determine the position and orientation of the image object 128 and save this information in the memory 102. By way of example, with the location and orientation of the tablet and the target image determined, if the tablet is three feet (91.44 centimeters) away from the target image 128, then the 3D object (magnification) is rendered at a certain size. If the tablet is further away from the target image, then the 3D object is rendered smaller, just like a real object. With regard to orientation, if the tablet is above the target image, the magnification is rendered as looking down on the target image from above. If the tablet is looking at the target image from the side, then the zoom is rendered as if looking at this side of the target image. Figure 1 is understood to be a schematic drawing and, as such, the position sensors of the camera 120 and the tablet 116 are actually coupled in the memory 102 via the CPU 101.

[11] Da forma adicionalmente mostrada na figura 1, na memória 102, o programa de software de aplicação 103 é operativo com as definições de sequência de AR 106, que são programas de treinamento projetados para um propósito ou papel de serviço específicos. A título de exemplo, mas sem limitações, as definições de sequência de AR podem ser projetadas para “Treinamento de Novo Funcionário na Mercearia” ou “Treinamento de Funcionário no Processamento de Aves”. Cada definição de sequência de AR 106 compreende inúmeras sequências, também conhecidas como lições, tais como “Como limpar apropriadamente um fatiador de delicatéssen” ou “Como (e porque) limpar um derramamento de água”). Cada sequência ou lição, compreende uma ou mais etapas, cada etapa das quais compreendendo uma ou mais mídias ou ativos, digitais 104.[11] As further shown in Figure 1, in memory 102, application software program 103 is operative with AR sequence definitions 106, which are training programs designed for a specific purpose or service role. By way of example, but not limitation, AR sequence definitions could be designed for “New Employee Training in Grocery Store” or “Employee Training in Poultry Processing”. Each AR 106 sequence definition comprises numerous sequences, also known as lessons, such as “How to properly clean a deli slicer” or “How (and why) to clean up a water spill”). Each sequence, or lesson, comprises one or more steps, each step of which comprises one or more digital media or assets 104.

[12] Os ativos digitais 104 incluem um ou mais dos objetos 2D e 3D, dos clipes de áudio (por exemplo, de instruções ou procedimentos de voz humana, sons de amostra de maquinário ou dispositivos, música e semelhantes), clipes de vídeo (por exemplo, de instruções, procedimentos, dramatizações de problemas ou incidentes, tratamento de mensagens corporativas e semelhantes), imagens estáticas (por exemplo, de desenhos técnicos, representações ou fotografias de maquinário, equipamento, ilustrações, fotografias de problemas de incidentes e semelhantes), dados de texto (por exemplo, de instruções, procedimentos, estatística e semelhantes), animações (por exemplo, de instruções, procedimentos e semelhantes), hiperligações (por exemplo, para documentação, relatos, aplicações externas e semelhantes), e quaisquer outros tipos de mídia digital.[12] Digital assets 104 include one or more of 2D and 3D objects, audio clips (for example, of human voice instructions or procedures, sample sounds of machinery or devices, music, and the like), video clips ( (e.g. instructions, procedures, problem or incident role-plays, corporate message handling and the like), still images (e.g. technical drawings, renderings or photographs of machinery, equipment, illustrations, incident problem photographs and the like) , text data (for example, from instructions, procedures, statistics and the like), animations (for example, from instructions, procedures and the like), hyperlinks (for example, to documentation, reports, external applications and the like), and any other types of digital media.

[13] A figura 2 dos desenhos exemplifica uma visão geral do sistema da figura 1 para executar uma sessão de treinamento com inúmeras lições. O sistema é configurado para treinamento de um funcionário 126, também referido aqui como uma pessoa em treinamento, com o tablet 100 configurado para instruir a pessoa em treinamento a iniciar a aplicação de treinamento e seguir as instruções que aparecem na tela do tablet. Este é um específico exemplo da aplicação desta tecnologia para prover um efetivo programa de processo de onboarding para novos empregados de uma loja de mercearia.[13] Figure 2 of the drawings exemplifies an overview of the system in figure 1 for running a training session with numerous lessons. The system is set up to train an employee 126, also referred to herein as a person in training, with the tablet 100 configured to instruct the person in training to start the training application and follow the instructions that appear on the screen of the tablet. This is a specific example of the application of this technology to provide an effective onboarding program for new employees at a grocery store.

[14] Da forma mostrada na figura 2, a aplicação, preferivelmente, instrui o funcionário 126 a ir para um local específico no ambiente de trabalho. O local pode ser uma localização de uma máquina em particular, peça de equipamento ou componente de um processo. O funcionário anda até aquele local em particular no ambiente de trabalho. O funcionário é, preferivelmente, não acompanhado por um gerenciador, supervisor ou qualquer outro funcionário. O funcionário, preferivelmente, prossegue através da lição de uma maneira autoguiada. Da forma exemplificada na figura 2, e discutida com detalhes adicionais a seguir em relação às figuras 3-9, a sessão de treinamento exemplificada inclui inúmeras lições, tais como, como responder a um derramamento de água (lição 1), como lidar com crescimento bacteriano em um fatiador de delicatéssen 134 (lição 2) e semelhantes.[14] As shown in Figure 2, the application, preferably, instructs the employee 126 to go to a specific location in the work environment. The location can be a location of a particular machine, piece of equipment, or component in a process. The employee walks to that particular location in the work environment. The employee is preferably not accompanied by a manager, supervisor or any other employee. The employee preferably proceeds through the lesson in a self-guided manner. As exemplified in Figure 2, and discussed in further detail below in relation to Figures 3-9, the example training session includes numerous lessons, such as how to respond to a water spill (lesson 1), how to deal with growth bacteria on a deli slicer 134 (lesson 2) and the like.

[15] Em relação às figuras 3-5, à medida que o funcionário 126 alcança o local exigido para o treinamento, o programa do software de aplicação de treinamento 103 no tablet 100, preferivelmente, exibe no visor 108 uma vista de câmera em tempo real 140 (figura 4) e instrui o funcionário 126 a olhar para uma imagem de disparo 130 (figura 5) com uma etiqueta da imagem de disparo pré-definido em particular 132 que é anexado em alguma parte do equipamento. A etiqueta da imagem 132 é, preferivelmente, um código de barras, um código QR, um logotipo de loja do cliente ou qualquer tipo de imagem exclusivamente identificável que pode estar residente em um adesivo ou rótulo visivelmente aplicado no equipamento que é o objeto de treinamento.[15] Referring to figures 3-5, as the employee 126 reaches the required training location, the training application software program 103 on the tablet 100 preferably displays on the display 108 a camera view in time 140 (FIG. 4) and instructs the clerk 126 to look at a trigger image 130 (FIG. 5) with a particular predefined trigger image tag 132 that is attached on some part of the equipment. The image tag 132 is preferably a barcode, a QR code, a customer store logo, or any type of uniquely identifiable image that may be resident on a visibly applied sticker or label on the equipment that is the object of training. .

[16] Uma vez que o programa do software de aplicação de treinamento 103 detectar a etiqueta da imagem 132 na vista em tempo real da câmera 140, o programa de aplicação de treinamento, preferivelmente, gera uma sobreposição de AR 142, usando as renderizações 3D 144 e 146 selecionadas a partir de ativos digitais 104, no topo da vista da câmera 121 (figura 6) que a pessoa em treinamento visualiza no visor 108. A sobreposição de AR 142 preferivelmente compreende ativos digitais 104, incluindo imagens, texto, vídeo, renderizações 3D, efeitos sonoros, vibração, renderizações 3D animadas e/ou semelhantes. Pelo uso dos elementos de sobreposição de AR, os ativos digitais 104, o programa do software de aplicação de treinamento 103 provê uma sequência de treinamento ou lição, que incorpora os elementos da vista de câmera em tempo real 140 do ambiente da pessoa em treinamento para ensinar o assunto em questão da lição. Pode ser percebido que a invenção pode prover uma simulação e um impacto de uma situação insegura, ameaçadora e/ou custosa ou de um procedimento complexo, multietapas, sem o custo ou real exposição ao funcionário destas condições reais. A título de exemplos, mas sem limitações, tais sequências de treinamento ou lições, podem incluir: 1. Um derramamento de água no piso perto de algum tipo de equipamento de resfriamento. Isto é exemplificado nas figuras 1-5, em que um tentáculo do monstro de água 146 (figura 6) é animado chegando até um pântano 144 para ameaçar um funcionário. No caso do derramamento de água, o sistema pode renderizar múltiplas ferramentas, da forma exemplificada na figura 9, que podem ser usadas para limpar o derramamento, tais como um esfregão, toalhas de papel, rodo, etc. Estas ferramentas são preferivelmente renderizadas em escala proporcional e orientação apropriada em relação aos objetos reais no ambiente físico, aprimorando o realismo do exercício do treinamento; 2. Uma peça contaminada do equipamento de corte de alimento. A título de exemplo, um fatiador de delicatéssen 134, mostrado limpo nas figuras 2 e 7, é renderizado na figura 8 com bactéria na superfície da lâmina de corte 164 enormemente ampliada para tornar a bactéria visível ao olho. 3. Um roubo em progresso em um ambiente de revenda pode ser simulado muito mais economicamente do que uma configuração do exercício do treinamento que envolve outros empregados ou atores pagos. 4. Um incêndio em um gabinete de armazenamento químico. 5. Um evento externo ao ambiente de trabalho, tais como um perigoso evento climático ou perda de energia. 6. Um procedimento multietapas para desmontar, limpar e remontar seguramente um fatiador elétrico de carne delicatéssen de qualidade comercial. 7. Derramamentos de líquidos venenosos. 8. Vidro quebrado em um piso. 9. Alimento contaminado. 10. Espaços confinados. 11. Acidentes e falhas de equipamentos. 12. Uma simulação ou renderização 3D, do equipamento para treinamento que não está presente no ambiente de trabalho da pessoa em treinamento por vários motivos, tais como o equipamento estar apenas ocasionalmente disponível ou usável, desativado para reparos, o equipamento ser equipamento de aluguel ou semelhantes.[16] Once the training application program 103 detects the image tag 132 in the live view of the camera 140, the training application program preferably generates an AR overlay 142 using the 3D renders 144 and 146 selected from digital assets 104, on top of the camera view 121 (Figure 6) which the trainee views on display 108. The AR overlay 142 preferably comprises digital assets 104 including images, text, video, 3D renderings, sound effects, vibration, animated 3D renderings and/or the like. By use of the AR overlay elements, the digital assets 104, the training application software program 103 provides a training sequence or lesson, which incorporates the elements of the real-time camera view 140 of the trainee's environment to teach the subject matter of the lesson. It can be seen that the invention can provide a simulation and impact of an unsafe, threatening and/or costly situation or a complex, multi-step procedure, without the cost or actual exposure to the employee of these actual conditions. By way of examples, but not limitations, such training sequences or lessons may include: 1. A water spill on the floor near some type of cooling equipment. This is exemplified in figures 1-5, where a water monster tentacle 146 (figure 6) is animated reaching into a swamp 144 to threaten an employee. In the case of a water spill, the system can render multiple tools, as exemplified in figure 9, that can be used to clean up the spill, such as a mop, paper towels, squeegee, etc. These tools are preferably rendered in proportional scale and appropriate orientation in relation to real objects in the physical environment, enhancing the realism of the training exercise; 2. A contaminated piece of food cutting equipment. By way of example, a deli slicer 134, shown clean in Figures 2 and 7, is rendered in Figure 8 with bacteria on the surface of the cutting blade 164 greatly magnified to make the bacteria visible to the eye. 3. A theft in progress in a retail environment can be simulated much more economically than a training exercise setup involving other employees or paid actors. 4. A fire in a chemical storage cabinet. 5. An event outside the work environment, such as a dangerous weather event or loss of power. 6. A multi-step procedure for safely disassembling, cleaning and reassembling a commercial quality deli electric meat slicer. 7. Spills of poisonous liquids. 8. Broken glass on a floor. 9. Contaminated food. 10. Confined spaces. 11. Accidents and equipment failures. 12. A simulation, or 3D rendering, of training equipment that is not present in the trainee's work environment for various reasons, such as the equipment is only occasionally available or usable, is out of service for repairs, the equipment is rental equipment, or similar.

[17] Pela integração de sons, visuais e condições do real ambiente de trabalho na simulação, a simulação se torna tão realística quanto possível, e é, portanto, muito mais efetiva em alcançar a suspensão de descrença. É mais convincente para as pessoas em treinamento que elas estejam realmente vendo o evento acontecer na frente delas e que elas estejam ativamente participando do mesmo, em vez de meramente assisti-lo passivamente a partir de uma distância e em um tempo diferente. No exemplo exposto de um roubo em progresso em um ambiente de revenda, a pessoa em treinamento vê por si mesma a complexidade de uma situação de roubo quando houver outros empregados e até mesmo clientes no mesmo ambiente que pode ser afetado pela situação que ocorre. Em um caso como este, é muito mais provável que a pessoa em treinamento esteja emocionalmente investida na situação, e que seja profundamente motivada a prestar atenção à lição que é ensinada e, especialmente, aos remédios e soluções que o treinamento provê.[17] By integrating the sounds, visuals, and conditions of the real working environment into the simulation, the simulation becomes as realistic as possible, and is therefore much more effective in achieving suspension of disbelief. It is more convincing to trainees that they are actually seeing the event unfold in front of them and that they are actively participating in it, rather than merely passively watching it from a distance and at a different time. In the above example of a theft in progress in a retail environment, the person in training sees for himself the complexity of a theft situation when there are other employees and even customers in the same environment who can be affected by the situation that occurs. In a case like this, it is much more likely that the person being trained is emotionally invested in the situation, and that he or she is deeply motivated to pay attention to the lesson being taught, and especially to the remedies and solutions that the training provides.

[18] Dependendo da lição específica, os ativos digitais de AR 104 podem ser usados para simular as ferramentas e as técnicas exigidas para ajudar a remediar a situação na lição que é ensinada.[18] Depending on the specific lesson, AR 104 digital assets can be used to simulate the tools and techniques required to help remedy the situation in the lesson being taught.

[19] A operação do sistema é exemplificada por fluxogramas 200 e 300, representados nas figuras 10 e 11, respectivamente. Desta maneira, na etapa 202 da figura 10, uma pessoa em treinamento é apresentada com um conjunto de instruções sobre o que ela deve fazer e quais ferramentas ela deve usar para remediar a situação, da forma discutida com detalhes adicionais a seguir, em relação à figura 11.[19] The operation of the system is exemplified by flowcharts 200 and 300, represented in figures 10 and 11, respectively. Thus, in step 202 of figure 10, a person in training is presented with a set of instructions on what he must do and what tools he must use to remedy the situation, as discussed in further detail below, in relation to the figure 11.

[20] Em relação à figura 11, em operação, nas etapas 302 e 304, a vista da câmera 121 é passada para o motor de reconhecimento de imagem 122 que reconhece o objeto 128 e detecta uma imagem de disparo 130, determina a localização e a orientação da imagem de disparo, cuja localização e orientação são fixas, e passa esta informação para o programa de software de aplicação 103. Substancialmente ao mesmo tempo, na etapa 306, os sensores de posição do tablet 116 e o módulo de localização e orientação 118 proveem a localização e a orientação do tablet e da imagem alvo 128, e passam esta informação para o programa 103. Quando tanto a localização e a orientação fixas da imagem de disparo, bem como a localização e a orientação do tablet forem conhecidas, na etapa 308, a execução pelo programa 103 da definição de sequência de AR 106 começa.[20] Referring to Figure 11, in operation, in steps 302 and 304, the view from the camera 121 is passed to the image recognition engine 122 which recognizes the object 128 and detects a trigger image 130, determines the location and the orientation of the shooting image, whose location and orientation are fixed, and passes this information to the application software program 103. At substantially the same time, in step 306, the position sensors of the tablet 116 and the location and orientation module 118 provides the location and orientation of the tablet and the target image 128, and passes this information to the program 103. When both the fixed location and orientation of the trigger image, as well as the location and orientation of the tablet are known, in the step 308, execution by program 103 of the AR sequence definition 106 begins.

[21] A execução da definição de sequência de AR ou lição, 106 compreende uma série de uma ou mais etapas no curso do treinamento de AR, cada uma de tais etapas chamando um ou mais ativos digitais 104. A execução da primeira etapa ou da próxima etapa na série de etapas começa na etapa 310. Da forma mostrada na etapa 312, cada etapa da execução gera uma saída visual composta que compreende a vista da câmera original 121, com um ou mais dos ativos digitais expostos 104 sobrepostos através da vista da câmera e, na etapa 314, os objetos 2D e 3D são ajustados em localização e orientação, de maneira tal que sua orientação de posição aparente permaneça fixa em relação aos objetos físicos na cena. Na etapa 316, a vista composta é passada para o motor de renderização de elementos gráficos 118 do tablet e é transmitida para o visor visual do tablet 108. Na etapa 318, os ativos de áudio 104 são enviados para o hardware de áudio 114 para ser reproduzidos nos alto-falantes do tablet 112 em sequência coordenada com os objetos visuais. Na etapa 320, é feita uma determinação se há mais etapas na lição. Se houver mais etapas, a execução retorna para a etapa 308 para, desse modo, guiar a pessoa em treinamento de uma etapa para a próxima, exatamente na ordem correta, conforme requerido pelo procedimento e conforme incorporado no programa de software de aplicação 103 e definição de sequência de AR 106. Se não houver etapas adicionais para esta lição, a execução prossegue para a etapa 204 da figura 10.[21] The execution of the AR sequence definition or lesson, 106 comprises a series of one or more steps in the course of the AR training, each such step calling one or more digital assets 104. The execution of the first step or the The next step in the series of steps begins at step 310. As shown in step 312, each step of the run generates a composite visual output comprising the original camera view 121, with one or more of the exposed digital assets 104 superimposed across the view of the camera. camera and, in step 314, the 2D and 3D objects are adjusted in location and orientation such that their apparent positional orientation remains fixed relative to the physical objects in the scene. In step 316, the composite view is passed to the tablet's graphics rendering engine 118 and is passed to the tablet's visual display 108. In step 318, the audio assets 104 are sent to the audio hardware 114 to be reproduced on the speakers of the tablet 112 in sequence coordinated with the visual objects. At step 320, a determination is made whether there are more steps in the lesson. If there are more steps, execution returns to step 308 to thereby guide the person in training from one step to the next in exactly the correct order as required by the procedure and as incorporated in the application software program 103 and definition of AR sequence 106. If there are no additional steps for this lesson, execution proceeds to step 204 of figure 10.

[22] Na etapa 204, a pessoa em treinamento recebe um teste (por exemplo, a figura 9) e é induzida a responder uma ou mais perguntas que testam seu entendimento sobre o material da lição, com base na situação que está sendo simulada. Tais perguntas podem incluir objetos renderizados 3D que simulam as opções disponíveis para abordar um problema de uma dada situação. As perguntas ainda podem incluir múltiplas escolhas corretas, cada uma das quais pode reduzir ou eliminar o problema, e não necessariamente da mesma maneira que as outras opções corretas.[22] At step 204, the trainee is given a test (eg, figure 9) and prompted to answer one or more questions that test their understanding of the lesson material, based on the situation being simulated. Such questions might include 3D rendered objects that simulate the options available to address a problem in a given situation. Questions can still include multiple correct choices, each of which can reduce or eliminate the problem, and not necessarily in the same way as the other correct choices.

[23] Na etapa 206, se a pessoa em treinamento escolher uma opção incorreta, a execução prossegue para a etapa 208 em que os ativos digitais de AR 104 são preferivelmente usados para simular os efeitos da escolha incorreta. Os efeitos podem ser que o problema não é remediado ou o problema fica ainda pior ou um novo e possivelmente mais perigoso problema é criado. As renderizações animadas 3D e os efeitos de áudio podem ser gerados para simular o resultado de uma escolha incorreta em uma pergunta de múltipla escolha, e ilustram para a pessoa em treinamento como uma escolha incorreta tanto não apresenta nenhum efeito a um problema quanto faz com que o problema se agrave, quanto faz com que um outro problema potencialmente mais grave surja.[23] At step 206, if the trainee chooses an incorrect choice, execution proceeds to step 208 where the AR digital assets 104 are instead used to simulate the effects of the incorrect choice. The effects could be that the problem is not remedied or the problem gets worse or a new and possibly more dangerous problem is created. Animated 3D renderings and audio effects can be generated to simulate the outcome of an incorrect choice on a multiple choice question, and illustrate to the trainee how an incorrect choice either has no effect on a problem or causes the problem gets worse, when it causes another, potentially more serious problem to arise.

[24] Na etapa 210, a aplicação retorna para a etapa 202 e entra em um ciclo de remediação para representar o material, possivelmente, em um formato, ordem ou estilo alternativos, preferivelmente, se adaptando ao estilo e às preferências de aprendizado pessoais do usuário, para reforçar a lição exigida.[24] At step 210, the application returns to step 202 and enters a remediation cycle to represent the material, possibly in an alternate format, order, or style, preferably adapting to the user's personal learning style and preferences. user, to reinforce the required lesson.

[25] Se, na etapa 206, uma pessoa em treinamento responder corretamente a uma ou mais perguntas, esta lição é contada como completa e, opcionalmente, as renderizações animadas 3D e os efeitos de áudio são exibidos para simular o resultado de uma ou mais respostas corretas e ilustrar para a pessoa em treinamento como uma ou mais respostas corretas fazem com que o problema seja resolvido ou efeitos nocivos sejam minimizados. Uma determinação é, então, feita na etapa 212 se houver mais lições para o tópico em questão. Se for determinado que há mais lições, a execução prossegue para a etapa 214, em que a aplicação instrui a pessoa em treinamento a se mover para um outro local no ambiente de trabalho onde a próxima lição será exibida. Por exemplo, em relação à figura 2, uma pessoa em treinamento pode se mover da lição 1 para a lição 2. A execução, então, retorna para a etapa 202. A pessoa em treinamento, assim, se move através de uma série de lições, da forma descrita anteriormente, que compreende o conjunto de lições exigidas para um tópico específico.[25] If, at step 206, a trainee answers one or more questions correctly, this lesson is counted as complete and, optionally, 3D animated renderings and audio effects are displayed to simulate the outcome of one or more questions. correct answers and illustrate to the trainee how one or more correct answers resolves the issue or minimizes harmful effects. A determination is then made at step 212 if there are more lessons for the topic in question. If it is determined that there are more lessons, execution proceeds to step 214, where the application instructs the trainee to move to another location on the desktop where the next lesson will be displayed. For example, referring to figure 2, a person-in-training can move from lesson 1 to lesson 2. Execution then returns to step 202. The person-in-training thus moves through a series of lessons , as described above, which comprises the set of lessons required for a specific topic.

[26] Se, na etapa 212, for determinado que não há mais lições para cobrir, então, na etapa 216, o programa de software de aplicação 103 irá armazenar tantas lições quanto necessário para um tópico específico. Depois de visitar todas as etiquetas de imagem e completar a sequência de lições, a pessoa em treinamento completa a sessão de treinamento.[26] If, in step 212, it is determined that there are no more lessons to cover, then, in step 216, the application software program 103 will store as many lessons as needed for a specific topic. After visiting all the image tags and completing the sequence of lessons, the trainee completes the training session.

[27] Na etapa 218, os resultados do treinamento são carregados para um serviço com base em nuvem e armazenados. Os resultados são, então, analisados em relação às fraquezas em particular nos resultados da pessoa em treinamento. Um relato é, então, gerado para o supervisor da pessoa em treinamento. O relato irá direcionar um supervisor para prover, se necessário, treinamento de remediação adicional por meio de uma conversa para as áreas específicas da fraqueza. Nenhuma ação de remediação é gerada ou sugerida para tópicos para os quais a pessoa em treinamento exibiu resultados satisfatórios.[27] In step 218, the training results are uploaded to a cloud-based service and stored. The results are then analyzed for particular weaknesses in the trainee's results. A report is then generated for the trainee's supervisor. The report will direct a supervisor to provide, if necessary, additional remediation training through a conversation for the specific areas of weakness. No remediation actions are generated or suggested for topics for which the trainee has exhibited satisfactory results.

[28] Opcionalmente, mediante realização de toda a sequência de etapas, o resultado final do procedimento pode ser simulado como um conjunto de renderizações 3D e efeitos de áudio e semelhantes sobrepostos na vista em tempo real, os efeitos de áudio sendo reproduzidos através dos alto- falantes incorporados no dispositivo de computação móvel, desse modo, provendo retorno positivo para a pessoa em treinamento.[28] Optionally, upon carrying out the entire sequence of steps, the end result of the procedure can be simulated as a set of 3D renders and audio effects and the like superimposed on the live view, the audio effects being played through the loudspeakers. - speakers incorporated into the mobile computing device, thereby providing positive feedback to the trainee.

[29] Entende-se que a presente invenção pode tomar muitas formas e modalidades. Desta maneira, diversas variações podem ser feitas no exposto sem fugir do espírito ou do escopo da invenção. Por exemplo, o sistema e o método de treinamento podem ser configurados para se adaptar às escolhas incorretas e ao estilo e às preferências de aprendizado de um funcionário. Em um outro exemplo, as instruções e a orientação podem ser auditivas, isto é, verbais. Em ainda um outro exemplo, o sistema e o método podem ser usados para peneirar ou excluir candidatos de alto risco (por exemplo, com base em um relato dos resultados na etapa 218) antes de eles serem contratados. Em ainda um outro exemplo, a aplicação pode ser completamente autocontida, sem nenhuma capacidade de carregar dados em uma aplicação central com base em nuvem ou com base em servidor, mas, em vez disto, contém em si mesmas funções adicionais para gerar relatos e sumários para a revisão do supervisor ou do instrutor.[29] It is understood that the present invention can take many forms and embodiments. In this way, several variations can be made to the above without departing from the spirit or scope of the invention. For example, the training system and method can be configured to adapt to incorrect choices and an employee's learning style and preferences. In another example, instructions and guidance may be auditory, that is, verbal. In yet another example, the system and method could be used to screen or exclude high-risk candidates (eg, based on a report of results in step 218) before they are hired. In yet another example, the application may be completely self-contained, with no ability to load data into a central cloud-based or server-based application, but instead contain additional functions within itself to generate reports and summaries. for supervisor or instructor review.

[30] Pelo uso da presente invenção, um sistema de treinamento automatizado provê o processo de onboarding e aprendizado contínuo, usando uma aplicação construída como um móvel que uma pessoa em treinamento pode usar e seguir completamente por si mesma com pouca ou nenhuma supervisão ou orientação. A relevância, a efetividade e o impacto do material de ensino são aprimoradas, ao mesmo tempo os custos do treinamento são reduzidos.[30] By use of the present invention, an automated training system provides the process of onboarding and continuous learning, using an application built as a mobile that a person in training can use and follow completely by himself with little or no supervision or guidance. . The relevance, effectiveness and impact of the teaching material are enhanced, while training costs are reduced.

[31] Adicionalmente, as lições de treinamento se tonam mais realísticas pela incorporação dos elementos do ambiente físico real na lição, em que os elementos incluem pelo menos um dos objetos ou equipamentos, empregados, clientes, níveis de iluminação, níveis de ruído, cheiro, vibração, temperatura e semelhantes.[31] Additionally, training lessons are made more realistic by incorporating elements of the actual physical environment into the lesson, where elements include at least one of objects or equipment, employees, customers, lighting levels, noise levels, smell , vibration, temperature and the like.

[32] Ainda adicionalmente, as renderizações 3D e os efeitos de áudio geram uma perspectiva exagerada de uma situação que torna a lição mais acreditável como um evento real em tempo real, em vez de uma gravação ou uma simulação de um evento e, desse modo, torna o treinamento mais memorável.[32] In addition, 3D renderings and audio effects generate an exaggerated perspective of a situation that makes the lesson more believable as an actual event in real time, rather than a recording or simulation of an event, and thus , makes training more memorable.

[33] Ainda adicionalmente, múltiplos dispositivos móveis podem ser configurados para habilitar um único supervisor, instrutor ou representante de cliente a prover múltiplas sessões de treinamento em paralelo.[33] In addition, multiple mobile devices can be configured to enable a single supervisor, trainer or customer representative to deliver multiple training sessions in parallel.

[34] Ainda adicionalmente, um usuário pode ser induzido com renderizações animadas 3D a escolher dentre uma série de opções, incluindo pelo menos uma de uma pergunta de múltipla escolha que representa estratégias do mundo real para resolver uma situação apresentada em uma lição. A título de exemplo, um cenário de derramamento de água pode mostrar três opções: um esfregão, uma vassoura e toalhas de papel. Em vez de renderizar estas opções meramente como texto ou imagens, elas podem ser renderizadas como objetos 3D. Quando selecionados, os objetos serão animados para mostrar o resultado do uso desta ferramenta. Selecionar a vassoura irá mostrar a vassoura movendo a água para frente e para trás, mas nenhum progresso feito na coleta da água. Selecionar o esfregão irá mostrar o esfregão circulando o derramamento e absorvendo o líquido. Tendo assim descrito a presente invenção pela referência a certas de suas modalidades preferidas, percebe-se que as modalidades descritas são ilustrativas, em vez de limitante por natureza, e que uma ampla faixa de variações, modificações, mudanças e substituições são contempladas na descrição exposta e, em algumas instâncias, alguns recursos da presente invenção podem ser funcionários sem um uso correspondente dos outros recursos. Muitas tais variações e modificações podem ser consideradas óbvias e desejáveis por versados na técnica com base em uma revisão da descrição exposta das modalidades preferidas. Desta maneira, é apropriado que as reivindicações anexas sejam interpretadas amplamente e de uma maneira consistente com o escopo da invenção.[34] Still additionally, a user can be prompted with 3D animated renderings to choose from a number of options, including at least one of a multiple-choice question that represents real-world strategies for resolving a situation presented in a lesson. For example, a water spill scenario might show three options: a mop, a broom, and paper towels. Rather than rendering these options merely as text or images, they can be rendered as 3D objects. When selected, objects will be animated to show the result of using this tool. Selecting the broom will show the broom moving the water back and forth, but no progress made in collecting the water. Selecting the mop will show the mop circling the spill and absorbing the liquid. Having thus described the present invention by reference to certain of its preferred embodiments, it is understood that the described embodiments are illustrative, rather than limiting in nature, and that a wide range of variations, modifications, changes and substitutions are contemplated in the foregoing description. and, in some instances, some features of the present invention may be employed without a corresponding use of the other features. Many such variations and modifications may be considered obvious and desirable by those skilled in the art based on a review of the foregoing description of preferred embodiments. Accordingly, it is appropriate that the appended claims be interpreted broadly and in a manner consistent with the scope of the invention.

Claims (21)

1. Sistema de treinamento, caracterizado por compreender: um dispositivo de computação móvel (“MCD”) (100) que possui um processador (101) e uma memória (102) que é configurada para armazenar um programa de software de aplicação executável pelo processador (101); uma câmera (120) montada no MCD (100) e configurada para capturar uma imagem de um objeto tendo uma imagem de disparo (130) tendo localização e orientação fixas; sensores de posição (116) montados no referido MCD (100) para gerar dados indicativos de uma localização e da orientação do MCD (100) em relação ao objeto (128), e para armazenamento dos mesmos na memória; um visor (108) operativo pelo processador (101); definições de sequências de realidade aumentada (“AR”) (106), cujas definições de sequências de AR são armazenadas na memória (102) e acessíveis pelo programa para definir etapas de uma lição; e ativos digitais (104) acessíveis pelas definições de sequências de AR; em que o programa é executável pelo processador (101) para detectar a imagem de disparo (130) e para determinar a localização e a orientação fixas da imagem de disparo (130) e, com referência a uma definição de sequência de AR (106) e entrada de dados da câmera (120) e dados de localização e orientação do MCD (100) dos sensores de posição (116), para sobrepor uma imagem da câmera (120) com os ativos digitais (104) para deste modo gerar uma imagem de AR, para ajustar aqueles ativos digitais (104) da imagem de AR em localização e em orientação em relação ao objeto (128), e para exibir uma imagem ajustada no visor (108).1. Training system, characterized by comprising: a mobile computing device ("MCD") (100) having a processor (101) and a memory (102) that is configured to store an application software program executable by the processor (101); a camera (120) mounted on the MCD (100) and configured to capture an image of an object having a trigger image (130) having a fixed location and orientation; position sensors (116) mounted on said MCD (100) for generating data indicative of a location and orientation of the MCD (100) in relation to the object (128), and for storing the same in memory; a display (108) operative by the processor (101); augmented reality ("AR") sequence definitions (106), which AR sequence definitions are stored in memory (102) and accessible by the program for defining steps of a lesson; and digital assets (104) accessible by definitions of AR sequences; wherein the program is executable by the processor (101) to detect the trigger image (130) and to determine the fixed location and orientation of the trigger image (130) and, with reference to an AR sequence definition (106) and inputting camera data (120) and MCD location and orientation data (100) from the position sensors (116), to superimpose a camera image (120) with the digital assets (104) to thereby generate an image of AR, to adjust those digital assets (104) of the AR image in location and orientation relative to the object (128), and to display an adjusted image on the display (108). 2. Sistema de acordo com a reivindicação 1, caracterizado pelo fato de a câmera (120) capturar uma vista em tempo real (140) de um ambiente real de uma pessoa em treinamento.2. System according to claim 1, characterized in that the camera (120) captures a real-time view (140) of a real environment of a person in training. 3. Sistema de acordo com a reivindicação 1, caracterizado pelo fato de a câmera (120) capturar uma vista em tempo real (140) de um ambiente real de uma pessoa em treinamento, incorporando elementos do ambiente real à vista, em que os elementos incluem pelo menos um dentre objetos, equipamento(s), empregados, clientes, níveis de iluminação, níveis de ruído e vibração.3. System according to claim 1, characterized in that the camera (120) captures a real-time view (140) of a real environment of a person in training, incorporating elements of the real environment into the view, in which the elements include at least one of objects, equipment(s), employees, customers, lighting levels, noise and vibration levels. 4. Sistema de acordo com a reivindicação 1, caracterizado pelo fato de que os ativos digitais (104) incluem pelo menos um dentre objetos 2D e 3D, clipes de áudio, clipes de vídeo, imagens estáticas, dados de texto, animações e hyperlinks.4. System according to claim 1, characterized in that the digital assets (104) include at least one of 2D and 3D objects, audio clips, video clips, still images, text data, animations and hyperlinks. 5. Sistema de acordo com a reivindicação 1, caracterizado pelo fato de que múltiplos dispositivos móveis são configurados para permitir que um único supervisor, instrutor ou representante de cliente proveja múltiplas sessões de treinamento em paralelo.5. System according to claim 1, characterized in that multiple mobile devices are configured to allow a single supervisor, instructor or customer representative to provide multiple training sessions in parallel. 6. Sistema de acordo com a reivindicação 1, caracterizado pelo fato de a imagem de disparo (130) compreender uma etiqueta da imagem de disparo tendo pelo menos um dentre um código de barras e um código QR.System according to claim 1, characterized in that the trigger image (130) comprises a trigger image tag having at least one of a barcode and a QR code. 7. Método (200, 300) de treinamento usando um dispositivo de computação móvel (“MCD”) (100), tal método caracterizado por compreender etapas, executadas pelo MCD (100), de: capturar com o MCD (100) uma imagem original de um objeto (128) e seu ambiente, o objeto (128) incluindo uma imagem de disparo (130); reconhecer o objeto (128) e a imagem de disparo (130), em que a imagem de disparo (130) tem localização e orientação fixas; determinar a localização e a orientação fixas da imagem de disparo (130); detectar uma localização e a orientação do MCD (100); estabelecer comunicação com um ou mais ativos digitais (104); gerar uma imagem de realidade aumentada (“AR”) que simule um problema de uma dada situação, a imagem de AR sendo gerada mediante a sobreposição daquele um ou mais ativos digitais (104) através da imagem original; ajustar aquele um ou mais ativos digitais (104) da imagem de AR com referência à localização e orientação do MCD (100) de tal maneira que localização e orientação daquele um ou mais ativos digitais (104) apareçam fixas em relação ao objeto (128); e exibir a imagem de AR a uma pessoa em treinamento.7. Method (200, 300) of training using a mobile computing device ("MCD") (100), such method characterized by comprising steps, performed by the MCD (100), of: capturing with the MCD (100) an image original of an object (128) and its environment, the object (128) including a trigger image (130); recognizing the object (128) and the trigger image (130), wherein the trigger image (130) has a fixed location and orientation; determining the fixed location and orientation of the trigger image (130); detecting a location and orientation of the MCD (100); establishing communication with one or more digital assets (104); generating an augmented reality ("AR") image that simulates a problem in a given situation, the AR image being generated by overlaying that one or more digital assets (104) over the original image; adjust that one or more digital assets (104) of the AR image with reference to the location and orientation of the MCD (100) in such a way that location and orientation of that one or more digital assets (104) appear fixed relative to the object (128) ; and displaying the AR image to a trainee. 8. Método (200, 300) de acordo com a reivindicação 7, caracterizado pelo fato de que a imagem original inclui uma vista em tempo real (140) de um ambiente real de uma pessoa em treinamento, incorporando elementos do ambiente real à vista, em que aqueles elementos incluem pelo menos um dentre objetos ou equipamento(s), outros empregados, clientes, níveis de iluminação, níveis de ruído e vibração.8. Method (200, 300) according to claim 7, characterized in that the original image includes a real-time view (140) of a real environment of a person in training, incorporating elements of the real environment into the view, wherein those elements include at least one of objects or equipment(s), other employees, customers, light levels, noise and vibration levels. 9. Método (200, 300) de acordo com a reivindicação 7, caracterizado pelo fato de que os ativos digitais (104) incluem pelo menos um dentre objetos 2D e 3D, clipes de áudio, clipes de vídeo, imagens estáticas, dados de texto, animações e hyperlinks.9. Method (200, 300) according to claim 7, characterized in that the digital assets (104) include at least one of 2D and 3D objects, audio clips, video clips, still images, text data , animations and hyperlinks. 10. Método (200, 300) de acordo com a reivindicação 7, caracterizado pelo fato de que compreende adicionalmente uma etapa de induzir uma pessoa em treinamento a responder a perguntas que testam o entendimento da pessoa em treinamento sobre material com base na situação.A method (200, 300) according to claim 7, further comprising a step of inducing a trainee to answer questions that test the trainee's understanding of material based on the situation. 11. Método (200, 300) de acordo com a reivindicação 7, caracterizado pelo fato de que compreende adicionalmente uma etapa de induzir uma pessoa em treinamento com renderizações animadas 3D a escolher dentre uma série de opções, incluindo pelo menos uma de uma pergunta de múltipla escolha que representa estratégias do mundo real para resolver uma situação apresentada em uma lição.11. Method (200, 300) according to claim 7, characterized in that it additionally comprises a step of inducing a person in training with 3D animated renderings to choose from a series of options, including at least one of a question of multiple choice representing real-world strategies for resolving a situation presented in a lesson. 12. Método (200, 300) de acordo com a reivindicação 7, caracterizado pelo fato de que compreende adicionalmente uma etapa de induzir uma pessoa em treinamento a responder a perguntas que testam o entendimento da pessoa em treinamento sobre material com base na situação, em que as referidas perguntas incluem objetos renderizados 3D que simulam opções disponíveis para abordar o problema de dada situação.12. The method (200, 300) of claim 7, further comprising a step of inducing a person in training to answer questions that test the person in training's understanding of material based on the situation, in that said questions include 3D rendered objects that simulate options available to address the problem in a given situation. 13. Método (200, 300) de acordo com a reivindicação 7, caracterizado pelo fato de que compreende adicionalmente uma etapa de induzir uma pessoa em treinamento a responder a perguntas que testam o entendimento da pessoa em treinamento sobre material com base na situação, em que respostas corretas a perguntas incluem renderizações animadas 3D e efeitos de áudio para simular o resultado de uma ou mais respostas corretas numa pergunta de múltipla escolha, e ilustrar àquela pessoa em treinamento como uma ou mais respostas corretas fazem com que o problema seja solucionado ou efeitos nocivos sejam minimizados.13. A method (200, 300) according to claim 7, further comprising a step of inducing a person in training to answer questions that test the person in training's understanding of material based on the situation, in that correct answers to questions include 3D animated renderings and audio effects to simulate the outcome of one or more correct answers in a multiple-choice question, and to illustrate to that person in training how one or more correct answers causes the problem to be solved or effects harmful effects are minimized. 14. Método (200, 300) de acordo com a reivindicação 7, caracterizado pelo fato de que compreende ainda uma etapa de induzir uma pessoa em treinamento a responder a perguntas que testam o entendimento da pessoa em treinamento sobre material com base na situação, em que respostas incorretas a perguntas incluem renderizações animadas 3D e efeitos de áudio para simular o resultado de uma escolha incorreta numa pergunta de múltipla escolha, e ilustrar àquela pessoa em treinamento como uma escolha incorreta não apresenta nenhum efeito sobre um problema ou faz com que o problema fique pior do que quando ele foi originalmente simulado, ou faz com que surja outro problema que é potencialmente mais grave do que o problema originalmente simulado.14. Method (200, 300) according to claim 7, further comprising a step of inducing a person in training to answer questions that test the person in training's understanding of material based on the situation, in that incorrect answers to questions include 3D animated renderings and audio effects to simulate the result of an incorrect choice in a multiple choice question, and to illustrate to that person in training how an incorrect choice has no effect on a problem or causes the problem becomes worse than when it was originally simulated, or causes another problem to arise that is potentially more serious than the originally simulated problem. 15. Método (200, 300) de acordo com a reivindicação 7, caracterizado pelo fato de que compreende adicionalmente uma etapa de induzir uma pessoa em treinamento a responder a perguntas que testam o entendimento da pessoa em treinamento sobre material com base na situação, em que, quando aquela pessoa em treinamento escolher uma opção incorreta, a aplicação segue para um ciclo de remediação, cujo ciclo de remediação exibe o material de treinamento relevante à pessoa em treinamento mais uma vez, opcionalmente em uma diferente ordem, formato ou estilo, adaptando-se ao estilo e preferências de aprendizado pessoais da pessoa em treinamento.15. A method (200, 300) according to claim 7, further comprising a step of inducing a person in training to answer questions that test the person in training's understanding of material based on the situation, in that when that person-in-training chooses an incorrect option, the application proceeds to a remediation cycle, which remediation cycle displays the relevant training material to the person-in-training once again, optionally in a different order, format, or style, adapting to the person being trained's personal learning style and preferences. 16. Método (200, 300) de acordo com a reivindicação 7, caracterizado pelo fato de que compreende adicionalmente uma etapa de induzir uma pessoa em treinamento a responder a perguntas que testam o entendimento da pessoa em treinamento sobre material com base na situação, em que, quando aquela pessoa em treinamento escolher uma opção correta, a aplicação simula o efeito de eliminar o problema ou reduzir o problema a um nível gerenciável, provendo desta maneira retorno àquela pessoa em treinamento como uma recompensa por ter feito a escolha correta.16. The method (200, 300) of claim 7, further comprising a step of inducing a person in training to answer questions that test the person in training's understanding of material based on the situation, in that when that person in training chooses a correct option, the application simulates the effect of eliminating the problem or reducing the problem to a manageable level, thereby providing feedback to that person in training as a reward for making the correct choice. 17. Método (200, 300) de acordo com a reivindicação 7, caracterizado pelo fato de que compreende uma etapa de induzir uma pessoa em treinamento a responder a perguntas que testam o entendimento da pessoa em treinamento sobre material com base na situação, em que aquela pessoa em treinamento tem múltiplas escolhas corretas disponíveis, uma ou mais da(s) qual(is) pode(m) ser selecionada(s), cada uma de tais escolhas pode reduzir ou eliminar o problema, e não necessariamente da mesma forma que outras opções corretas.17. Method (200, 300) according to claim 7, characterized in that it comprises a step of inducing a person in training to answer questions that test the understanding of the person in training about material based on the situation, in which that person in training has multiple correct choices available, one or more of which may be selected, each of which may reduce or eliminate the problem, and not necessarily in the same way as other correct options. 18. Método de treinamento (200, 300), sendo caracterizado pelo fato de que compreende etapas de: exibir em um dispositivo de computação móvel (“MCD”) (100) uma vista em tempo real (140) de um objeto (128) e ambiente circundante; detectar uma imagem de disparo (130) tendo localização e orientação fixas e que compreende pelo menos um dentre um código de barras e um código QR; detectar a localização e a orientação fixas da imagem de disparo (130); sobrepor renderizações animadas 3D e efeitos de áudio através da vista em tempo real (140) para deste modo gerar uma vista sobreposta; ajustar automaticamente um ou mais ativos digitais (104) da vista sobreposta com referência à localização e orientação do objeto (128) de tal forma que a localização e a orientação daquele um ou mais ativos digitais (104) apareçam fixas em relação aos objeto (128); e induzir, com a vista sobreposta, uma pessoa em treinamento a seguir uma sequência pré-definida de etapas necessárias para realização de um procedimento em particular conforme requerido para uma lição de treinamento.18. Training method (200, 300), being characterized in that it comprises steps of: displaying on a mobile computing device ("MCD") (100) a real-time view (140) of an object (128) and surrounding environment; detecting a trigger image (130) having a fixed location and orientation and comprising at least one of a barcode and a QR code; detecting the fixed location and orientation of the trigger image (130); superimposing 3D animated renderings and audio effects across the live view (140) to thereby generate an overlay view; automatically adjust one or more digital assets (104) of the overlay view with reference to the location and orientation of the object (128) such that the location and orientation of that one or more digital assets (104) appear fixed in relation to the objects (128 ); and inducing, with the overlay view, a person in training to follow a pre-defined sequence of steps necessary for carrying out a particular procedure as required for a training lesson. 19. Método de treinamento (200, 300) de acordo com a reivindicação 18, caracterizado pelo fato de que compreende adicionalmente etapas de: leitura pela pessoa em treinamento de uma descrição de pelo menos uma etapa em particular; e interação com objetos (128) exibidos naquele MCD (100) para disparar uma animação ou visualização daquela pelo menos uma etapa em particular.19. Training method (200, 300) according to claim 18, characterized in that it further comprises steps of: reading by the person in training a description of at least one particular step; and interacting with objects (128) displayed on that MCD (100) to trigger an animation or visualization of that at least one particular step. 20. Método de treinamento (200, 300) de acordo com a reivindicação 18, caracterizado pelo fato de que compreende adicionalmente a etapa de guiar a pessoa em treinamento de uma etapa para a próxima, exatamente na ordem correta como requerido por um procedimento e como desenvolvido em uma aplicação.20. Training method (200, 300) according to claim 18, characterized in that it further comprises the step of guiding the person in training from one step to the next, in exactly the correct order as required by a procedure and as developed into an application. 21. Método de treinamento (200, 300) de acordo com a reivindicação 18, caracterizado por compreender adicionalmente a etapa em que, mediante a realização de toda uma sequência de etapas, simular um resultado final de um procedimento como um conjunto de renderizações 3D e efeitos de áudio sobrepostos na vista em tempo real (140), os efeitos de áudio sendo reproduzidos através de alto-falantes incorporados ao MCD (100), deste modo provendo retorno àquela pessoa em treinamento.21. Training method (200, 300) according to claim 18, characterized in that it additionally comprises the step in which, by performing a whole sequence of steps, simulating a final result of a procedure such as a set of 3D renderings and audio effects superimposed on the real-time view (140), the audio effects being played through speakers built into the MCD (100), thereby providing feedback to that person in training.
BR112017019250-0A 2015-03-09 2016-03-09 TRAINING SYSTEM AND TRAINING METHOD BR112017019250B1 (en)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562130391P 2015-03-09 2015-03-09
US62/130,391 2015-03-09
PCT/US2016/021613 WO2016145117A1 (en) 2015-03-09 2016-03-09 Augmented reality
US15/065,736 US11012595B2 (en) 2015-03-09 2016-03-09 Augmented reality
US15/065,736 2016-03-09

Publications (2)

Publication Number Publication Date
BR112017019250A2 BR112017019250A2 (en) 2018-04-24
BR112017019250B1 true BR112017019250B1 (en) 2023-06-20

Family

ID=

Similar Documents

Publication Publication Date Title
US11012595B2 (en) Augmented reality
Mota et al. Augmented reality mobile app development for all
Jeelani et al. Development of virtual reality and stereo-panoramic environments for construction safety training
JP6646115B2 (en) System and method for providing enhanced education and training in a virtual reality environment
Pedro et al. Framework for integrating safety into construction methods education through interactive virtual reality
Westerfield et al. Intelligent augmented reality training for motherboard assembly
Vergel et al. A comparative evaluation of a virtual reality table and a HoloLens-based augmented reality system for anatomy training
Westerfield et al. Intelligent augmented reality training for assembly tasks
Monroy Reyes et al. A mobile augmented reality system to support machinery operations in scholar environments
Jain et al. An augmented reality tool for learning spatial anatomy on mobile devices
LaViola et al. Using augmented reality to tutor military tasks in the wild
CN111815789A (en) Step decomposition and evaluation system and method for virtual simulation experiment
Roberto et al. A dynamic blocks platform based on projective augmented reality and tangible interfaces for educational activities
Shiratuddin et al. A review of augmented reality and mobile-augmented reality technology: Learning in tertiary education
Shumaker et al. Virtual, Augmented and Mixed Reality: Applications of Virtual and Augmented Reality: 6th International Conference, VAMR 2014, Held as Part of HCI International 2014, Heraklion, Crete, Greece, June 22-27, 2014, Proceedings, Part II
Baloukas JAVENGA: JAva‐based visualization environment for network and graph algorithms
Kim et al. Virtual reality as a standard in the construction management curriculum
Boel et al. Applying educational design research to develop a low-cost, mobile immersive virtual reality serious game teaching safety in secondary vocational education
Olayiwola et al. Design and Usability Evaluation of an Annotated Video–Based Learning Environment for Construction Engineering Education
Wuensche et al. Using an assessment tool to create sandboxes for computer graphics teaching in an online environment
BR112017019250B1 (en) TRAINING SYSTEM AND TRAINING METHOD
Rusli et al. Pointer Animation Implementation at Development of Multimedia Learning of Java Programming.
Lee et al. Prototyping a spatial skills AR authoring tool for partially sighted, blind, and sighted individuals
Adas et al. Virtual and Augmented Reality based assembly design system for personalized learning
Gharbi Empirical Research on Developing an Educational Augmented Reality Authoring Tool