ES2214954B1 - TRAINING SIMULATOR WITH EMOTIONAL FEEDBACK. - Google Patents
TRAINING SIMULATOR WITH EMOTIONAL FEEDBACK.Info
- Publication number
- ES2214954B1 ES2214954B1 ES200202854A ES200202854A ES2214954B1 ES 2214954 B1 ES2214954 B1 ES 2214954B1 ES 200202854 A ES200202854 A ES 200202854A ES 200202854 A ES200202854 A ES 200202854A ES 2214954 B1 ES2214954 B1 ES 2214954B1
- Authority
- ES
- Spain
- Prior art keywords
- training
- student
- simulator
- user
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Processing Or Creating Images (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
Simulador de entrenamiento con retroalimentación emocional. La presente invención consiste en un simulador de entrenamiento que mediante un interfaz inmersivo multimodal de bajo coste proporciona mecanismos suficientes para provocar al alumno una alteración de su estado emocional similar a la que se produciría en una situación real. Además, el simulador captura y procesa algunas señales psicofisológicas del alumno con el objeto de: 1) Alterar las condiciones del entrenamiento para ofrecer sesiones a medida para el alumno y/o reproducir en el mundo virtual la influencia que el estado emocional del alumno tendría si la situación fuera real y 2) Evaluar la sesión de entrenamiento de forma objetiva. La invención tiene aplicación en las diversas áreas donde los simuladores de entrenamiento frente a situaciones de emergencia son de utilidad (medicina, automoción, aeronáutica, centrales de producción de energía, protección civil, etc.)Training simulator with emotional feedback. The present invention consists of a training simulator that by means of a low-cost multimodal immersive interface provides sufficient mechanisms to cause the student an alteration of their emotional state similar to that which would occur in a real situation. In addition, the simulator captures and processes some psychophysological signals of the student in order to: 1) Alter the training conditions to offer tailored sessions for the student and / or reproduce in the virtual world the influence that the student's emotional state would have if the situation was real and 2) Evaluate the training session objectively. The invention has application in the various areas where training simulators in emergency situations are useful (medicine, automotive, aeronautics, power plants, civil protection, etc.)
Description
Simulador de entrenamiento con retroalimentación emocional.Training simulator with feedback emotional.
La presente invención consiste en una aplicación del área de tecnología de la información y de las telecomunicaciones (técnicas de realidad virtual) a las diversas áreas donde los simuladores de entrenamiento son de utilidad (Medicina, automoción, aeronáutica, centrales de producción de energía, protección civil).The present invention consists of an application of the area of information technology and telecommunications (virtual reality techniques) to the various areas where training simulators are useful (Medicine, automotive, aeronautics, production centers of energy, civil protection).
La manera en la que los usuarios interaccionan con los programas de ordenador ha ido evolucionando en las últimas décadas haciendo cada vez más próxima la relación entre el hombre y la máquina. Una significativa mejora en este sentido ha sido la introducción de las nuevas técnicas de realidad virtual que ofrecen novedosos interfaces multisensoriales. Esta posibilidad de que el usuario interactúe con la máquina a través de diversos sentidos se hace especialmente importante en determinadas aplicaciones: las que aumentan su eficiencia al aumentar el nivel de integración del usuario como parte activa de la propia aplicación. Los programas de ordenador para entrenamiento son un caso claro de este tipo de aplicaciones. De hecho existe un creciente interés en el desarrollo y uso de entrenadores basados en técnicas de realidad virtual, en los diversos campos donde es muy importante el aprendizaje de determinadas habilidades antes de proceder a la actuación real (la medicina, la aeronáutica, la automoción, las centrales de producción energética o los servicios de protección civil).The way in which users interact with computer programs has evolved in recent decades making the relationship between man ever closer and the machine A significant improvement in this regard has been the introduction of the new virtual reality techniques they offer new multisensory interfaces. This possibility that the user interact with the machine through various senses will makes it especially important in certain applications: those that increase their efficiency by increasing the level of integration of user as an active part of the application itself. The programs of training computer are a clear case of this kind of Applications. In fact there is a growing interest in development and use of trainers based on virtual reality techniques, in the various fields where learning is very important certain skills before proceeding to the actual performance (the medicine, aeronautics, automotive, production plants energy or civil protection services).
Se considera que el entrenamiento mediante aprendizaje convencional (clases, libros, e incluso vídeos) no es en muchos casos efectivo, de ahí que se recurra habitualmente a clases prácticas donde los profesores de entrenamiento intentan provocar situaciones reales para que el alumno pueda practicar. Desafortunadamente, hay casos donde no es aconsejable esta solución, por ejemplo cuando se entrena en entornos peligrosos, cuando los equipos o maquinaria utilizados son muy caros y/o delicados o cuando hay riesgo para la vida humana. En estas situaciones, se suele hacer uso de los denominados simuladores de entrenamiento.It is considered that training through conventional learning (classes, books, and even videos) is not in many cases effective, hence the usual use of practical classes where training teachers try provoke real situations so that the student can practice. Unfortunately, there are cases where it is not advisable to solution, for example when training in dangerous environments, when the equipment or machinery used are very expensive and / or delicate or when there is a risk to human life. In these situations, the so-called simulators of training.
Los simuladores de entrenamiento pueden recrear cualquier escenario de operación y proporcionan un comportamiento similar al observado en la vida real. El alumno no se expone a ningún riesgo y el proceso de entrenamiento está completamente controlado (se pueden repetir y alterar los entrenamientos, se pueden crear situaciones inesperadas,...). Estas características hacen de los simuladores de entrenamiento una herramienta muy útil que permite acelerar el proceso de entrenamiento del alumno y facilitar su evaluación.Training simulators can recreate any operating scenario and provide a behavior similar to that observed in real life. The student is not exposed to no risk and the training process is completely controlled (you can repeat and alter the workouts, you they can create unexpected situations, ...). These characteristics make training simulators a very useful tool which allows to accelerate the student's training process and facilitate your evaluation
Sin embargo, en muchos casos, el alumno tendrá que enfrentarse no sólo al problema que debe resolver en un tiempo limitado sino también al estado de tensión nerviosa que la propia situación le puede ocasionar (estrés, entorpecimiento de su trabajo por terceras personas o agentes naturales,...) y que puede influir negativamente en la eficiencia de la actuación que se lleva a cabo (tanto en la evaluación como en el propio entrenamiento del alumno). El escenario que se debe presentar al alumno es en algunos casos muy complejo ya que debe reproducir lo más fielmente posible las condiciones reales en las que su futuras actuaciones se llevarán a cabo. No sólo se trata de recrear instrumental más o menos sofisticado, como puede ser el caso de los ya tradicionales simuladores de vuelo, sino también de recrear todo el ambiente de trabajo. Esta recreación completa puede incluir incluso seres humanos, por ejemplo en el entrenamiento de emergencias médicas fuera del hospital (casa de paciente, carretera) o en entrenamiento de actuaciones de personal de protección civil frente a catástrofes naturales. La adecuada simulación de los denominados "actores virtuales" cobra especial interés en estos casos sobre todo porque se debe permitir una interacción de estos actores con el alumno lo más realista posible.However, in many cases, the student will have to face not only the problem you must solve in a while limited but also to the state of nervous tension that the own situation can cause you (stress, hindering your work by third parties or natural agents, ...) and that may influence negatively in the efficiency of the performance that is carried out (both in the evaluation and in the training of the student). The scenario that must be presented to the student is in some very complex cases because you should reproduce as faithfully as possible the real conditions in which your future performances will They are gonna do it. It's not just about recreating instrumental more or less sophisticated, as may be the case with the traditional ones flight simulators, but also to recreate the entire environment of job. This complete recreation can even include beings humans, for example in emergency medical training outside the hospital (patient house, road) or in training of civil protection personnel actions against natural disasters. The appropriate simulation of the so-called "virtual actors" acquires special interest in these cases especially because an interaction of these actors must be allowed with the student as realistic as possible.
Estos simuladores se basan mayormente en programas multimedia interactivos, en programas que controlan en diverso grado maquinaria específicamente diseñada para recrear el entorno de trabajo y, en casos muy especiales, en entornos virtuales inmersivos.These simulators are mostly based on interactive multimedia programs, in programs that control in various grade machinery specifically designed to recreate the work environment and, in very special cases, in virtual environments immersive
Los Programas Multimedia Interactivos (PMI) explotan las posibilidades multimedia del PC (sonido, audio, vídeo,..) y se están utilizando hoy en día, por ejemplo en anestesiología. Sus ventajas son bajo coste, posibilidad de autoentrenamiento y simulación de complejos modelos.. El inconveniente principal del PMI es que es difícil que el usuario adquiera el grado de estrés que le provocaría la situación real, ya que asiste como un espectador a la situación. Por ejemplo, en simuladores de entrenamiento médico de este tipo, la comunicación con el paciente se suele basar en preguntas escritas que el paciente virtual responde mediante la reproducción de ficheros de audio pregrabados BodySim de Advanced Simulation Corporation en Washington(USA) [www.advsim.com] o Resussim de Sophus Medical AS en Dinamarca [www.sophusmedical.dk] son algunos de los productos más representativos. Últimamente, el RTI (Research Triangle Institute) de Carolina del Norte(USA) ha presentado VirtualEMS [www.patient-simulation.com] un sistema similar a los anteriores que presenta un interfaz gráfico 3D realista.The Interactive Multimedia Programs (PMI) exploit the multimedia possibilities of the PC (sound, audio, video, ...) and are being used today, for example in anesthesiology. Its advantages are low cost, possibility of self-training and simulation of complex models. The main drawback of the PMI is that it is difficult for the user to acquire the degree of stress that the real situation would cause, since it assists as a spectator to the situation. For example, in medical training simulators of this type, communication with the patient is usually based on written questions that the virtual patient answers by reproducing pre-recorded BodySim audio files from Advanced Simulation Corporation in Washington (USA) [www.advsim .com] or Resussim of Sophus Medical AS in Denmark [ www.sophusmedical.dk ] are some of the most representative products. Lately, the RTI (Research Triangle Institute) of North Carolina (USA) has presented VirtualEMS [www.patient-simulation.com] a system similar to the previous ones that presents a realistic 3D graphic interface.
Otros simuladores se basan o se complementan en la existencia de máquinas específicamente diseñadas para el simulador. Un caso especialmente significativo son los Simuladores médicos basados en Maniquíes Instrumentados (SMI). Están especializados en el entrenamiento de habilidades. El alumno puede intervenir físicamente al paciente (suministro de algún fármaco, desfibrilador, intubación,...) y sentir (ver, oír, tocar) sus reacciones (ruptura de un vaso sanguíneo, pulso, respiración,...). Además, el maniquí genera señales fisiológicas que son registradas por equipos reales (electrocardiógrafos, monitores de presión sanguínea, respiradores, ...) que el alumno puede consultar. Hoy en día, estos maniquíes incorporan casi todas las prestaciones que ofrecen las PMI. La comunicación con el paciente suele ser similar a la utilizada en los PMI pero poco efectiva ya que el maniquí no incorpora animación facial. El mayor inconveniente del SMI es que es un sistema caro tanto en su adquisición como en su mantenimiento. Al igual que los PMI, no consiguen transmitir el grado de estrés necesario ya que el maniquí no es creíble como paciente. Además hay información semiológica muy importante que no suele representarse en estos sistemas (coloración de la cara, dilatación de pupilas,…). Estos simuladores se suelen complementar con actores de teatro que interpretan una situación determinada para dar mayor realismo al escenario (ruido de fondo, un paciente malhumorado, o lloroso o con convulsiones, un familiar en estado histérico, una tercera persona que estorba la labor del médico, etc..). HPS (Human Patient Simulator) del Medical Education Technologies Inc. en Florida (USA) [www.meti.com] o SimMan de la Fundación Laerdal de Noruega [www.laerdal.com/simman/] son algunos de los productos más significativos. El MRT (Medical Readiness Trainer) de la universidad de Michigan (USA) [www-vrl.umich.edu/mrt] combina un maniquí instrumentado con técnicas de realidad virtual inmersiva para recrear el escenario de operación. Otros simuladores de entrenamiento con esta misma estrategia pero en otros campos de aplicación se pueden encontrar en [http://www.5dt.com/products.html].Other simulators are based or complement each other on the existence of machines specifically designed for the simulator. An especially significant case is Medical Simulators based on Instrumented Mannequins (SMI). They are specialized in skills training. The student can physically intervene the patient (supply of a drug, defibrillator, intubation, ...) and feel (see, hear, touch) their reactions (rupture of a blood vessel, pulse, breathing, ...). In addition, the dummy generates physiological signals that are recorded by real equipment (electrocardiographs, blood pressure monitors, respirators, ...) that the student can consult. Today, these mannequins incorporate almost all the features offered by PMIs. Communication with the patient is usually similar to that used in PMIs but not very effective since the dummy does not incorporate facial animation. The biggest drawback of the SMI is that it is an expensive system both in its acquisition and in its maintenance. Like PMIs, they fail to convey the necessary degree of stress since the dummy is not credible as a patient. In addition there is very important semiological information that is not usually represented in these systems (face coloring, pupil dilation, ...). These simulators are usually complemented by theater actors who interpret a given situation to give the stage more realism (background noise, a moody, or tearful or convulsing patient, a relative in hysterical state, a third person who hinders the doctor's work , etc..). HPS (Human Patient Simulator) from Medical Education Technologies Inc. in Florida (USA) [ www.meti.com ] or SimMan from the Norwegian Laerdal Foundation [ www.laerdal.com/simman/ ] are some of the most significant products. The MRT (Medical Readiness Trainer) of the University of Michigan (USA) [www-vrl.umich.edu/mrt] combines an instrumented mannequin with immersive virtual reality techniques to recreate the operating scenario. Other training simulators with this same strategy but in other fields of application can be found at [http://www.5dt.com/products.html].
En Estados Unidos se han desarrollado, mediante técnicas de realidad virtual inmersiva, algunos simuladores de entrenamiento de emergencias para el ejército norteamericano. Destacan el Virtual Medical Trainer- Trauma Patient Simulator del Research Triangle Institute en Carolina del Norte [www.rti.orq/vr/w/vmetsum], el VERTS(Virtual Emergency Response Training System) del centro STRICOM en Orlando (Florida) [www.stricom.army.mil] y BioSimMER de los laboratorios Nacional Sandia en Alburquerque (Nuevo México) [www.sandia.gov]. Diabolo VR es un reciente desarrollo europeo similar a los anteriores de E-semble en Delft (Holanda) [www.e-semble.com]. Estos sistemas están especializados en recrear un entorno hostil (campo de batalla, atentado terrorista, un desastre natural,...) que entorpece la labor de primeros auxilios; de ahí que estén más enfocados a la gestión de decisiones en ambientes de muchos accidentados. Esta técnica puede conseguir entornos lo suficientemente inmersivos como para hacer creer al alumno que realmente está viviendo esta experiencia. Sin embargo, para conseguir una sensación de presencia adecuada en tiempo real (entornos realistas, con gran campo de visión y baja latencia) se requieren equipos y periféricos muy costosos.In the United States, some emergency training simulators for the US military have been developed through immersive virtual reality techniques. Highlights include the Virtual Medical Trainer- Trauma Patient Simulator of the Research Triangle Institute in North Carolina [ www.rti.orq / vr / w / vmetsum ], the VERTS (Virtual Emergency Response Training System) of the STRICOM center in Orlando (Florida) [www .stricom.army.mil] and BioSimMER of the National Sandia laboratories in Albuquerque (New Mexico) [www.sandia.gov]. Diabolo VR is a recent European development similar to the previous E-semble in Delft (Holland) [www.e-semble.com]. These systems are specialized in recreating a hostile environment (battlefield, terrorist attack, a natural disaster, ...) that hinders first aid work; hence, they are more focused on the management of decisions in environments of many injured. This technique can get environments immersive enough to make the student believe that he is really living this experience. However, in order to achieve an adequate sense of presence in real time (realistic environments, with large field of vision and low latency) very expensive equipment and peripherals are required.
Está demostrado que la sensación de presencia no sólo se consigue mejorando el realismo de la escena o reduciendo la latencia de los periféricos, una fuerte interactividad con el mundo virtual mediante interacción multimodal puede compensar un modelado poco realista. La interacción multimodal usa varios tipos de canales de comunicación que se interrelacionan entre sí de forma inteligente. En este sentido, nuevas técnicas como el interfaz de voz, la animación facial, el reconocimiento de gestos de usuario o el tratamiento de sus señales psicofisiológicas, son mucho más económicas que las utilizadas hasta ahora y pueden conseguir el mismo objetivo que las técnicas tradicionales.It is shown that the feeling of presence does not only achieved by improving the realism of the scene or reducing the peripheral latency, strong interactivity with the world virtual through multimodal interaction can compensate for a unrealistic modeling. Multimodal interaction uses several types of communication channels that interrelate with each other in smart way. In this sense, new techniques such as Voice interface, facial animation, gesture recognition of user or the treatment of their psychophysiological signals, are much cheaper than those used so far and can achieve the same goal as traditional techniques.
El interfaz de voz (reconocimiento y síntesis de voz) está empezando a ser incorporado en algunos sistemas ya que además de añadir realismo a la situación potencia la interactividad natural. Los sistemas actuales no suelen tener en cuenta el uso de animación facial para aumentar la sensación de credibilidad del escenario; los actores virtuales podrían presentar en estos casos un aspecto exterior acorde con su estado (gestos de agrado, de temor, de dolor, hematomas, palidez...) y comunicar sus sensaciones (desorientación, impaciencia, posición de la sensación dolorosa, sensación de mareo ...).The voice interface (recognition and synthesis of voice) is beginning to be incorporated into some systems since In addition to adding realism to the situation, it enhances interactivity natural. Current systems do not usually take into account the use of facial animation to increase the credibility feeling of stage; virtual actors could present in these cases an exterior aspect according to its state (gestures of pleasure, of fear, pain, bruising, paleness ...) and communicate their sensations (disorientation, impatience, sensation position painful, feeling dizzy ...).
Por otro lado, los simuladores de entrenamiento de emergencias no suelen incluir sistemas para monitorizar el estado emocional al que el alumno está sometido; es más, este factor no suele tenerse en cuenta durante la sesión de entrenamiento. Sin embargo es evidente que se debe entrenar no sólo en las técnicas puramente clínicas sino también en la superación de estrés que la situación provoque, ya que dicho estrés influiría negativamente en la eficiencia de la actuación médica.On the other hand, training simulators of emergencies do not usually include systems to monitor the emotional state to which the student is subjected; it is more, this factor is not usually taken into account during the session of training. However, it is obvious that you should train not only in purely clinical techniques but also in the overcoming stress that the situation causes, since said stress would negatively influence the efficiency of the performance medical
La evaluación del nivel de estrés con medidas psicofisiológicas es un tema ampliamente estudiado, son ya clásicas las medidas tanto de tasa cardiaca, como de las variaciones en la conductancia de la piel y de la tensión muscular mediante registros de electromiografía. De hecho son medidas típicas para técnicas psicológicas de relajación como el biofeedback de tradicional y amplio uso en el ámbito clínico [Biofeedback: studies in clinical efficacy/edited by John P. Hatch, Johnnie G. Fisher and John D. Rugh. cop. 1987 New York: Plenum Press.]. La evaluación basándose en señales psicofisiológicas de otros estados emocionales distintos del estrés, como el nivel de carga mental, el nivel de alerta o incluso la decepción, son hoy en día objeto de investigación. ["Applications of psychophisiology to human factors", A. F. Kramer and T. Weber, en Handbook of Psychophysiology, J. T. Cacioppo, L. G. Tassinary and G. G. Berntson (Eds.), Cambridge University Press, 2000.] Es evidente el interés que la detección de estos otros estados tendría para la construcción y evaluación de un sistema de entrenamiento. En este sentido se propone en esta invención incorporar al entrenador un sistema de adquisición, almacenamiento y procesado de señales psicofisiológicas capaz en una primera versión de implementar la detección y uso del estado de estrés del alumno entrenado, pero suficientemente flexible como para incorporar sin esfuerzo los avances que la investigación aporte respecto a la medida de otros estados mentales.The assessment of the level of stress with measures Psychophysiological is a topic widely studied, they are already classic measurements of both heart rate and variations in the skin conductance and muscle tension through records of electromyography. In fact they are typical measures for techniques psychological relaxation as the biofeedback of traditional and wide use in clinical settings [Biofeedback: studies in clinical efficacy / edited by John P. Hatch, Johnnie G. Fisher and John D. Rugh cop. 1987 New York: Plenum Press.]. The evaluation based in psychophysiological signals from other emotional states of stress, such as the level of mental load, the level of alertness or even disappointment, they are now under investigation. ["Applications of psychophisiology to human factors", A. F. Kramer and T. Weber, in Handbook of Psychophysiology, J. T. Cacioppo, L. G. Tassinary and G. G. Berntson (Eds.), Cambridge University Press, 2000.] It is evident the interest that the detection of these other states would have for the construction and evaluation of a training system In this sense it is proposed in this invention incorporating an acquisition system to the coach, storage and processing of psychophysiological signals capable in a first version of implementing the detection and use of the state of trained student stress, but flexible enough to effortlessly incorporate the advances that research contribution regarding the measure of other mental states.
En resumen, los simuladores de entrenamiento actuales que pretenden generar el estrés que provocaría la situación real: 1) no suelen tener en cuenta el estado emocional del alumno que sin duda afectará tanto a su entrenamiento como a su evaluación y 2) suelen aumentar la sensación de presencia con técnicas de realidad virtual muy costosas.In short, training simulators current that seek to generate the stress that would cause the real situation: 1) do not usually take into account the emotional state of the student that will undoubtedly affect both his training and his evaluation and 2) usually increase the sense of presence with Very expensive virtual reality techniques.
La presente invención consiste en un simulador de entrenamiento que mediante un interfaz inmersivo multimodal de bajo coste proporciona mecanismos suficientes para provocar al alumno una alteración de su estado emocional similar a la que se produciría en una situación real. Además, el simulador captura y procesa algunas señales psicofisológicas del alumno con el objeto de: 1) Alterar las condiciones del entrenamiento para ofrecer sesiones a medida para el alumno y/o reproducir en el mundo virtual la influencia que el estado emocional del alumno tendría si la situación fuera real y 2) Evaluar la sesión de entrenamiento de forma objetiva.The present invention consists of a simulator of training that through an immersive multimodal bass interface cost provides sufficient mechanisms to provoke the student an alteration of your emotional state similar to the one It would produce in a real situation. In addition, the simulator captures and processes some psychophysological signals of the student with the object from: 1) Alter training conditions to offer tailored sessions for the student and / or play in the virtual world the influence that the emotional state of the student would have if the situation outside real and 2) Evaluate the training session of objective form.
La presente invención se basa en un sistema informático con dos interfaces distintas destinadas a sendos usuarios que son los que simultáneamente intervienen en el proceso de entrenamiento: el profesor o profesional experimentado supervisor y el alumno o profesional novel a entrenar.The present invention is based on a system computer with two different interfaces intended for two users who are simultaneously involved in the process Training: the teacher or experienced professional supervisor and the novel student or professional to train.
El alumno dispone de una interfaz inmersiva multimodal que comprende visión estereoscópica inmersiva, audición binaural, interfaz de voz e interfaz de estado emocional basada en la monitorización de señales psicofisiológicas. El supervisor maneja un panel de control donde puede programar, configurar, controlar y monitorizar el funcionamiento del sistema.The student has an immersive interface multimodal comprising immersive stereoscopic vision, hearing binaural, voice interface and emotional state interface based on the monitoring of psychophysiological signals. The supervisor manages a control panel where you can program, configure, control and monitor the operation of the system.
El alumno interactúa con un mundo virtual que tiene tres elementos básicos: El escenario de operación, los actores virtuales y los equipos de instrumentación. Un buen ejemplo de actor virtual es el paciente de un sistema de entrenamiento médico, es un personaje animado que puede hablar, gesticular, contestar preguntas sencillas del alumno y alterar su aspecto semiológico. Los equipos de instrumentación tienen la apariencia y funcionalidad de los reales.The student interacts with a virtual world that It has three basic elements: The operating scenario, the virtual actors and instrumentation teams. A good example of virtual actor is the patient of a system of medical training, is an animated character that can speak, gesturing, answering simple student questions and altering their semiological aspect Instrumentation teams have the appearance and functionality of the real ones.
El alumno interviene en el mundo virtual de la misma forma que lo haría en el mundo real. Su objetivo es adquirir las habilidades que precise para sus futuras actuaciones reales, por ejemplo en el caso médico prestar los primeros auxilios al paciente en estado crítico. Para ello, puede interactuar con los actores visuales, inspeccionar e intervenir al paciente siguiendo con el ejemplo clínico, y hacer uso de los equipos de instrumentación disponibles. Los actores virtuales están programados por un sistema experto para reaccionar a las acciones del alumno. En función de las actuaciones voluntarias o involuntarias (estado emocional) del alumno, el sistema puede alterar las condiciones de la simulación.The student intervenes in the virtual world of same way you would in the real world. Your goal is to acquire the skills you need for your future real performances, for example, in the medical case, provide first aid to Critically ill patient. To do this, you can interact with the visual actors, inspect and intervene the patient following with the clinical example, and make use of the equipment of Instrumentation available. The virtual actors are programmed by an expert system to react to the student's actions. Depending on the voluntary or involuntary actions (status emotional) of the student, the system can alter the conditions of the simulation
El profesor dirige y maneja la sesión de entrenamiento. Al comienzo de cada sesión configura un caso de entrenamiento para el alumno y arranca la simulación. Tanto el supervisor como el propio simulador pueden modificar las condiciones de la simulación para adaptarse al ritmo de entrenamiento (por ejemplo, alumno nervioso o novel) del alumno o para forzar un cambio en su comportamiento (por ejemplo, alumno desconcentrado). A través de canales de audio, el profesor puede interferir en el mundo virtual bien para comunicarse con el alumno, bien para añadir más realismo a un escenario.The teacher directs and manages the session of training. At the beginning of each session set up a case of training for the student and starts the simulation. As he supervisor as the simulator itself can modify the conditions of the simulation to adapt to the training pace (by example, nervous or novel student) of the student or to force a change in behavior (for example, decentralized student). TO through audio channels, the teacher can interfere in the virtual world either to communicate with the student, or to add More realism to a stage.
La necesaria sensación de presencia que permite generar el estrés de la situación real se consigue con una interfaz inmersivo multimodal que potencia la interactividad del alumno con el mundo virtual. Esta interfaz es mucho más económica que las habitualmente utilizadas las cuales requieren sistemas gráficos especializados con gran capacidad de cálculo y periféricos de alta precisión muy costosos.The necessary sense of presence that allows generate the stress of the real situation is achieved with a immersive multimodal interface that enhances the interactivity of the student with the virtual world. This interface is much cheaper that the commonly used which require systems specialized graphics with great computing capacity and High precision peripherals very expensive.
La consideración del estado emocional del alumno en el simulador medido de forma objetiva ofrece dos ventajas claras frente a los sistemas actuales: 1) Mejora la eficiencia del entrenamiento ya que permite la adecuación de los ejercicios de entrenamiento al estado del entrenado y 2) Mejora la evaluación del entrenamiento debido a que otorga un parámetro extra para dicha evaluación, esto es, además de medir lo correcto de las actuaciones puramente clínicas ejecutadas por el alumno se puede tener en cuenta el nivel de estrés con el qué el alumno ejecutó dichas actuaciones.The consideration of the emotional state of the student in the objectively measured simulator it offers two clear advantages compared to current systems: 1) Improves the efficiency of the training since it allows the adaptation of the exercises of training to the state of the trained and 2) Improves the evaluation of training because it grants an extra parameter for said evaluation, that is, in addition to measuring the correctness of the actions purely clinics executed by the student can be had in account of the level of stress with which the student executed said performances.
La invención tiene aplicación en las diversas áreas donde los simuladores de entrenamiento frente a situaciones de emergencia son de utilidad (medicina, automoción, aeronáutica, centrales de producción de energía, protección civil, etc.).The invention has application in the various areas where training simulators face situations Emergency are useful (medicine, automotive, aeronautics, power plants, civil protection, etc.).
La figura 1 es una vista general del simulador de entrenamiento donde se destacan los periféricos conectados a sus dos interfaces de usuario y supervisor.Figure 1 is an overview of the simulator of training where peripherals connected to their Two user interfaces and supervisor.
La figura 2 es un diagrama de bloques de la unidad de control y gestión.Figure 2 is a block diagram of the control and management unit.
La figura 3 ilustra el funcionamiento del ratón de usuario.Figure 3 illustrates the operation of the mouse of user.
La presente invención se describirá a continuación con más detalle tomando como referencias los dibujos adjuntos, en los cuales se muestra una realización ilustrativa de la invención. No obstante, esta invención se puede llevar a cabo en muchas formar diferentes y, por lo tanto, no deberá interpretarse limitada a la realización aquí expuesta. Por el contrario, la realización especifica que aquí se ilustra y describe se presenta para fines de ilustración y para transmitir plenamente a los especialistas en la materia el amplio alcance de esta invención y la forma en que puede ser utilizada.The present invention will be described in continuation in more detail taking the drawings as references attached, in which an illustrative embodiment of the invention. However, this invention can be carried out in many form different and therefore should not be interpreted limited to the embodiment set forth herein. On the contrary, the specific embodiment illustrated here and described presented for illustration purposes and to fully transmit to specialists in the field the wide scope of this invention and The way it can be used.
En la figura 1 se puede ver un esquema ilustrativo de la presente invención. El sistema consta de una unidad de control y gestión (1), una interfaz de supervisor (3) para el profesor, una interfaz de usuario (2) para el alumno y los periféricos correspondientes.In figure 1 you can see a scheme illustrative of the present invention. The system consists of a control and management unit (1), a supervisor interface (3) for the teacher, a user interface (2) for the student and the corresponding peripherals.
La interfaz de supervisor (3) es una interfaz gráfica de usuario convencional desde el cual se puede manejar todo el funcionamiento del sistema. Permite la conexión de una consola multimedia que disponga de monitor (6), teclado (7), ratón (8), un micrófono de sobremesa (9) y unos auriculares estéreo (4) con micrófono incorporado (5).The supervisor interface (3) is an interface conventional user graph from which it can be operated All system operation. It allows the connection of a multimedia console with monitor (6), keyboard (7), mouse (8), a desktop microphone (9) and stereo headphones (4) with built-in microphone (5).
La interfaz del usuario (2) es una interfaz inmersiva multimodal que "sumerge" al usuario en el mundo virtual. Permite la conexión de cascos de visión estereoscópica (10), sensor de orientación para la cabeza (12), ratón ( 14), sensores de señales psicofisiológicas (15) y (16) y auriculares estéreo (13) con micrófono incorporado (11).The user interface (2) is an interface immersive multimodal that "immerses" the user in the world virtual. Allows connection of stereoscopic vision helmets (10), head orientation sensor (12), mouse (14), psychophysiological signal sensors (15) and (16) and headphones stereo (13) with built-in microphone (11).
El casco de visión estereoscópica (10) dispone de dos pequeñas pantallas, tipo LCD, situadas delante de los ojos del usuario. El simulador suministra al casco dos imágenes del mundo virtual correspondientes al ojo derecho e izquierdo del observador generando así en el usuario la sensación de profundidad.The stereoscopic vision helmet (10) has two small screens, LCD type, located in front of the eyes of the Username. The simulator supplies the helmet with two images of the world virtual corresponding to the right and left eye of the observer thus generating in the user the feeling of depth.
El sensor de orientación (12) proporciona su orientación en el espacio con respecto a un punto de referencia. El sensor se ubica en la cabeza y facilita la orientación del usuario dentro del mundo virtual.The orientation sensor (12) provides its orientation in space with respect to a reference point. The sensor is located in the head and facilitates the orientation of the User within the virtual world.
Los sensores de dos señales psicofisiológicas, tasa cardiaca (15) y respuesta galvánica de la piel (16), proporcionan al sistema información sobre el estado emocional del usuario.The sensors of two psychophysiological signals, heart rate (15) and galvanic response of the skin (16), provide the system with information about the emotional state of the Username.
El ratón (14) provee la interacción con el mundo virtual. El usuario puede seleccionar y arrastrar objetos del mundo virtual. También facilita un mecanismo para ampliar aquellas zonas del mundo virtual que requieran una observación más detallada.The mouse (14) provides interaction with the world virtual. The user can select and drag objects from the virtual world. It also facilitates a mechanism to expand those virtual world zones that require further observation detailed.
El micrófono de usuario (11) se utiliza para comunicarse con el mundo virtual mediante reconocimiento de voz. Los auriculares de usuario (13) proporcionan audio 3D posicional de todas las fuentes de sonido que existen en el mundo virtual.The user microphone (11) is used to Communicate with the virtual world through voice recognition. The user headphones (13) provide positional 3D audio from all the sound sources that exist in the virtual world.
En la figura 2 se puede ver un diagrama de bloques detallado del sistema. El núcleo del simulador es el MOTOR del sistema (24) que gestiona todos los eventos procedentes de las interfaces de usuario y de supervisor y de los diversos subsistemas internos que componen el simulador.In figure 2 you can see a diagram of Detailed system blocks. The core of the simulator is the MOTOR of the system (24) that manages all the events coming from the user and supervisor interfaces and the various subsystems internal components that make up the simulator.
La interfaz de supervisor se genera en el panel de CONTROL (26) y en el subsistema de SONIDO (23). El interfaz de usuario se genera en los subsistemas de SONIDO (23), GRÁFICO 3D (19), EXPLORACIÓN (18) y estado EMOCIONAL (17). Los subsistemas internos son el subsistema de INTELIGENCIA artificial (25), MUNDO virtual (20), ANIMACIÓN (21) y VOZ (22).The supervisor interface is generated in the panel of CONTROL (26) and in the SOUND subsystem (23). The interface of user is generated in the subsystems of SOUND (23), 3D GRAPH (19), EXPLORATION (18) and EMOTIONAL state (17). Subsystems internal are the subsystem of artificial INTELLIGENCE (25), WORLD virtual (20), ANIMATION (21) and VOICE (22).
A continuación se describirán con más detalle cada uno de los elementos mencionados.They will be described in more detail below. Each of the mentioned elements.
El panel de CONTROL (26) implementa una interfaz gráfica de usuario de tipo multiventana y maneja periféricos convencionales de una consola (ver figura 1). La interfaz gráfica de usuario muestra 4 ventanas relacionadas con las cuatro tareas básicas asignadas al supervisor: Monitorización, control, programación y evaluación.The CONTROL panel (26) implements an interface multi-window user graphic and handles peripherals Conventional of a console (see figure 1). Graphic interface User shows 4 windows related to the four tasks Basic assigned to the supervisor: Monitoring, control, Programming and evaluation.
La ventana de monitorización muestra lo que está viendo y oyendo el usuario. El subsistema GRÁFICO 3D (19) y de SONIDO (23) suministran esta información a través del MOTOR del sistema (24).The monitoring window shows what is Seeing and hearing the user. The 3D GRAPHIC subsystem (19) and of SOUND (23) provide this information through the MOTOR of the system (24).
La ventana de programación es una herramienta de programación visual que permite diseñar y configurar la sesión de entrenamiento (mundo virtual, caso de entrenamiento, tipo de actor virtual, tipo de entrenamiento). Este sistema permite programar una secuencia temporizada de estados e implementar bifurcaciones que dependan de las acciones del alumno.The programming window is a tool for visual programming that allows to design and configure the session of training (virtual world, training case, type of actor virtual, type of training). This system allows programming a timed sequence of states and implement forks that depend on the actions of the student.
La ventana de evaluación monitoriza y registra la sesión de entrenamiento (datos de los equipos de instrumentación virtuales, comportamiento y estado emocional del usuario, evolución de los actores virtuales, etc..). El estado emocional del alumno es proporcionado directamente por el subsistema de estado EMOCIONAL (17) para que el supervisor pueda visualizar en tiempo real los parámetros psicofisiológicos del alumno.The evaluation window monitors and records the training session (data from instrumentation teams virtual, user behavior and emotional state, evolution of virtual actors, etc.). The emotional state of the student is provided directly by the EMOTIONAL status subsystem (17) so that the supervisor can visualize in real time the Psychophysiological parameters of the student.
La ventana de control maneja la sesión de entrenamiento. El supervisor puede tener un control absoluto de la sesión de entrenamiento (modo manual) o dejar al simulador que tome las decisiones oportunas en cada momento (modo automático).The control window handles the session of training. The supervisor can have absolute control of the training session (manual mode) or leave the simulator that make the appropriate decisions at all times (automatic mode).
El interfaz de supervisor permite programar y/o manejar la sesión de entrenamiento en los términos adecuados al tipo de entrenamiento, por ejemplo en términos de patología médica para entrenadores en este entorno. El simulador en este caso traduce la información y genera la semiología y sintomatología del actor virtual paciente (gesto doloroso, cambio de coloración de piel, sangrado, hinchazones, cambio en las medidas de los aparatos virtuales a los que el paciente se conecta,...).The supervisor interface allows programming and / or handle the training session in the appropriate terms to type of training, for example in terms of medical pathology for coaches in this environment. The simulator in this case translates the information and generates the semiology and symptomatology of the actor virtual patient (painful gesture, change in skin color, bleeding, swelling, change in device measurements virtual to which the patient connects, ...).
El subsistema de INTELIGENCIA artificial (25) automatiza el proceso de simulación de la sesión de entrenamiento. Da "vida" a los actores virtuales mediante un sistema experto que proporciona los nuevos estados de los dichos actores virtuales en función de los estados anteriores, de las actuaciones del alumno, y de las reglas que definen cada caso de entrenamiento Para ello, realiza un proceso de inferencia consultando una base de conocimiento que comprende un conjunto de reglas fijas que describen el comportamiento general del mundo virtual (actores virtuales, escenario y equipos). También incorpora un mecanismo adaptativo que, en función del estado emocional de alumno obtenido en el subsistema de estado EMOCIONAL (17), permite variar las condiciones de la simulación y en consecuencia el nivel de dificultad de la sesión de entrenamiento.The artificial INTELLIGENCE subsystem (25) automates the simulation process of the training session. Give "life" to virtual actors through an expert system which provides the new states of the said virtual actors depending on the previous states, the actions of the student, and the rules that define each training case To do this, perform an inference process by consulting a base of knowledge that includes a set of fixed rules that describe the general behavior of the virtual world (actors virtual, stage and equipment). It also incorporates a mechanism adaptive that, depending on the emotional state of the student obtained in the EMOTIONAL status subsystem (17), it allows varying the simulation conditions and consequently the level of difficulty of the training session.
El subsistema de ANIMACIÓN (21) es el encargado de animar y modelar el comportamiento de todos los objetos representados en el mundo virtual, suministrando al subsistema de MUNDO virtual (20) los cambios que se deben de producir a raíz de la animación correspondiente. Se distinguen tres categorías básicas de objetos animados: Escenario de operación, actores virtuales y equipos de instrumentación.The ANIMATION subsystem (21) is in charge to animate and model the behavior of all objects represented in the virtual world, supplying the subsystem of Virtual WORLD (20) the changes that must occur as a result of The corresponding animation. Three basic categories are distinguished of animated objects: Operation scenario, virtual actors and instrumentation equipment
La animación del escenario incluye movimiento de objetos (coches, viandantes, espectadores,...) y sonido 3D posicional (sirena de la ambulancia, ruido de fondo, conversación interferente,...). El sonido se genera en el subsistema de SONIDO (23) o en los micrófonos del supervisor. La animación de los equipos de instrumentación consiste en la emulación de los equipos reales.Stage animation includes movement of objects (cars, pedestrians, spectators, ...) and 3D sound positional (ambulance siren, background noise, conversation interfering, ...). Sound is generated in the SOUND subsystem (23) or in the supervisor's microphones. The animation of the Instrumentation equipment consists of equipment emulation real.
La animación de los actores virtuales es la más compleja e incluye movimiento corporal, gesticulación de la cara y vocalización. El subsistema de ANIMACIÓN (21) dispone de funciones para generar gestos faciales (tristeza, dolor, sopor, alegría, etc..), coloración de la cara (tez pálida, sonrosada, violácea, etc..) y movimiento explícito de ojos (apertura y cierre de los ojos, pupilas dilatadas, etc..) y boca (bostezo, apretón de dientes, vocalización, etc..). La vocalización requiere también el concurso del subsistema de VOZ (22) que proporciona los parámetros para generar los fonemas visuales del actor virtual y el sincronismo con la señal de voz. Los fonemas visuales son valores de un conjunto de parámetros que definen la posición espacial relativa de los labios para cada fonema o conjunto de fonemas.The animation of virtual actors is the most complex and includes body movement, face gesticulation and vocalization. The ANIMATION subsystem (21) has functions to generate facial gestures (sadness, pain, drowsiness, joy, etc ..), coloration of the face (pale complexion, rosy, violet, etc ..) and explicit eye movement (opening and closing of eyes, dilated pupils, etc.) and mouth (yawn, squeeze of teeth, vocalization, etc.) Vocalization also requires VOICE subsystem contest (22) that provides the parameters to generate the virtual phonemes of the virtual actor and the Synchronism with the voice signal. Visual phonemes are values of a set of parameters that define the spatial position relative of the lips for each phoneme or set of phonemes.
El subsistema de MUNDO virtual (20) contiene una descripción jerárquica de alto nivel del mundo virtual que se quiere representar. Esta descripción contiene información geométrica, de apariencia (texturas, superficies,...), de estado, de acciones y de sonidos asociados de todos los objetos 3D del mundo virtual. También incluye las coordenadas del punto de vista del usuario, del cursor y de todos los focos de iluminación existentes. El subsistema guarda dos descripciones del mundo virtual: estática y dinámica. La descripción estática es una descripción inicial completa del mundo virtual que facilita la reinicialización de la simulación. La descripción dinámica incluye todos los cambios (coordenadas, estado,...) que el MOTOR del sistema (24) solicita. El escenario virtual recreado tiene tres elementos básicos: 1) El escenario donde se produce el caso de emergencia (habitación de una casa, carretera...), 2) Los actores virtuales modelados como humanoides animados y 3) los equipos de instrumentación. El subsistema de MUNDO virtual (20) suministra al subsistema de SONIDO (23) la posición de los objetos que tienen asociada una fuente de sonido.The virtual WORLD subsystem (20) contains a high-level hierarchical description of the virtual world that Want to represent. This description contains information geometric, appearance (textures, surfaces, ...), status, of actions and associated sounds of all 3D objects in the world virtual. It also includes the coordinates of the point of view of the user, cursor and all existing lighting bulbs. The subsystem saves two descriptions of the virtual world: static and dynamic The static description is an initial description complete virtual world that facilitates the reinitialization of the simulation. The dynamic description includes all changes (coordinates, state, ...) that the system MOTOR (24) requests. The recreated virtual scenario has three basic elements: 1) The scenario where the emergency occurs (room of one home, road ...), 2) The virtual actors modeled as Animated humanoids and 3) instrumentation equipment. He virtual WORLD subsystem (20) supplies the SOUND subsystem (23) the position of the objects that have an associated source of sound.
El subsistema GRÁFICO 3D (19) genera, a partir de la descripción del mundo virtual, la imagen que se ve del mundo virtual desde el punto de vista del usuario. La imagen se actualiza cada vez que hay un cambio en el mundo virtual y proporciona visión estereoscópica para el usuario y 2D para el supervisor. El subsistema dispone de un motor gráfico 3D convencional con salida de visión estéreo. Este motor incluye un motor geométrico que lleva a cabo los cálculos matemáticos de traslación, transformación, iluminación y descomposición en polígonos de los objetos 3D y un motor de representación que se encarga de tareas de sombreado de polígonos, cálculo de objetos ocultos mediante Z-buffer, mapeo de texturas y típicos efectos especiales. Las imágenes creadas se almacenan en la memoria de vídeo para su representación gráfica en un monitor. En cada actualización de pantalla, el motor gráfico 3D genera dos imágenes correspondientes a los puntos de vista del ojo izquierdo y derecho del usuario. Estas dos imágenes son enviadas al casco de visión estereoscópica (10a). La imagen del ojo derecho se envía al panel de control vía MOTOR del sistema (24) para su uso en la ventana de monitorización.The 3D GRAPHIC subsystem (19) generates, from the description of the virtual world, the image that is seen of the world virtual from the user's point of view. The image is updates every time there is a change in the virtual world and provides stereoscopic vision for the user and 2D for the supervisor. The subsystem has a 3D graphic engine Conventional with stereo vision output. This engine includes a geometric engine that performs mathematical calculations of translation, transformation, lighting and decomposition in polygons of 3D objects and a rendering engine that handles polygon shading tasks, object calculation hidden by Z-buffer, texture mapping and Typical special effects. The created images are stored in Video memory for graphic representation on a monitor. In each screen update, the 3D graphics engine generates two images corresponding to the views of the left eye and user right. These two images are sent to the helmet of stereoscopic vision (10a). The right eye image is sent to control panel via system MOTOR (24) for use in the monitoring window
El subsistema de SONIDO (23) proporciona sonido 3D posicional al mundo virtual y comunicación auditiva entre usuario y supervisor. Dispone de 3 entradas de micrófono (dos para el supervisor (5a y 9a) y una para el usuario(11a)), dos salidas estéreo para auriculares (para usuario (13a) y supervisor (4a)) e interfaz al subsistema de VOZ (22). Incluye dos combinadores de fuentes que generan las salidas de auriculares de usuario y supervisor , una librería de sonido digital y un módulo de sonido 3D. Todos los procesos que se llevan a cabo son digitales y están controlados por el MOTOR del sistema (24).The SOUND subsystem (23) provides sound 3D positional to the virtual world and auditory communication between User and supervisor. It has 3 microphone inputs (two for the supervisor (5th and 9th) and one for the user (11th), two stereo outputs for headphones (for user (13a) and supervisor (4a)) and interface to the VOICE subsystem (22). Includes two source combiners that generate headphone outputs from user and supervisor, a digital sound library and a module 3D sound All the processes that are carried out are digital and are controlled by the system MOTOR (24).
El sonido 3D posicional permite al usuario identificar de dónde procede el sonido (del techo, del suelo, de su lado izquierdo/derecho, etc..). Para ello, el subsistema de MUNDO virtual (20) suministra al subsistema de SONIDO (23) la posición de los objetos que tienen asociada una fuente de sonido; esta información es utilizada por funciones de transferencia asociadas a la cabeza (HRTF, Head Related Transfer Function) que generan las fuentes de sonido 3D posicional. Las HRTFs permiten describir la localización de una señal sonora por el efecto morfológico del pabellón de la oreja del usuario. [Blauert, J.: Spatial Hearing: The Psychophysics of Human Sound Localization, MIT Press: Cambridge, USA, 1983].3D positional sound allows the user identify where the sound comes from (from the ceiling, from the floor, from its left / right side, etc ..). To do this, the subsystem of Virtual WORLD (20) supplies the SOUND subsystem (23) the position of objects that have an associated sound source; This information is used by transfer functions associated with the head (HRTF) Generate positional 3D sound sources. HRTFs allow describe the location of a sound signal by the effect Morphological pavilion of the user's ear. [Blauert, J .: Spatial Hearing: The Psychophysics of Human Sound Localization, MIT Press: Cambridge, USA, 1983].
Las entradas del combinador de fuentes de usuario son fuentes externas (las entradas de audio analógico (5a y 9a) procedentes de los micrófonos del interfaz de supervisor) e internas (audio digital procedente de la librería de sonidos y del subsistema de VOZ (22)). Las entradas al combinador de fuentes de supervisor son una fuente externa (la entrada de audio analógico (11a) procedente del micrófono del interfaz de usuario) y una fuente interna (la salida del combinador de fuentes de usuario). Los combinadores incluyen etapas de entrada para el acondicionamiento, amplificación y conversión A/D de las señales de audio analógicas, mezclador digital de todas las señales y etapa de salida (conversión D/A, amplificación, acondicionamiento) para los auriculares. La señal digitalizada procedente del micrófono del interfaz de usuario se envía al subsistema de VOZ (22) para su reconocimiento.User Source Combiner Entries they are external sources (analog audio inputs (5th and 9th) from the microphones of the supervisor interface) and internal (digital audio from the sound library and the VOICE subsystem (22)). Entries to the font combiner of supervisor are an external source (analog audio input (11a) from the user interface microphone) and a internal source (the output of the user source combiner). The combiners include input stages for conditioning, A / D amplification and conversion of analog audio signals, digital mixer of all signals and output stage (D / A conversion, amplification, conditioning) for headphones. The digitized signal from the microphone of the User interface is sent to the VOICE subsystem (22) for recognition.
El subsistema de VOZ (22) provee un interfaz de voz para el usuario con el mundo virtual. Proporciona a los actores virtuales capacidad para hablar y al alumno una manera de comunicarse con el mundo virtual (actores virtuales) de forma natural.The VOICE subsystem (22) provides an interface of Voice for the user with the virtual world. Provide the actors virtual ability to speak and to the student a way of communicate with the virtual world (virtual actors) in a way natural.
Un conversor texto-voz genera la voz sintetizada e información relacionada con los fonemas visuales correspondientes. El subsistema de INTELIGENCIA artificial (25) es el encargado de seleccionar los textos a convertir por el subsistema de VOZ (22). La voz sintetizada es enviada al subsistema de SONIDO (23) y la información relacionada con los fonemas visuales al subsistema de ANIMACIÓN (21).A text-to-speech converter generates the synthesized voice and information related to visual phonemes corresponding. The artificial INTELLIGENCE subsystem (25) is the one in charge of selecting the texts to be converted by the subsystem of VOICE (22). The synthesized voice is sent to the SOUND subsystem (23) and information related to visual phonemes at ANIMATION subsystem (21).
Un reconocedor de voz traduce a texto comandos y frases aisladas del usuario. El subsistema de SONIDO suministra la señal de audio a reconocer. El texto convertido es analizado por el subsistema de INTELIGENCIA artificial (25).A voice recognizer translates text commands and Isolated user phrases. The SOUND subsystem supplies the audio signal to recognize. The converted text is analyzed by the artificial INTELLIGENCE subsystem (25).
El subsistema de estado EMOCIONAL (17) proporciona al simulador información del estado emocional del usuario. Tiene dos entradas para la captura de la tasa cardíaca (15a), respuesta galvánica de la piel (16a) del usuario. Se prevén otras seis entradas para la incorporación de otras señales psicofisiológicas que puedan ser de interés futuro. El subsistema de estado EMOCIONAL dispone de etapas de adquisición de señales (acondicionamiento, amplificación y conversión A/D), procesado (filtrado y reconocimiento de patrones) y almacenamiento. Estas señales adquiridas finalmente se procesan en este subsistema para pasar sólo la información necesaria al MOTOR del sistema (24). En la fase de proceso, se establecen unos parámetros significativos que caracterizan ambas señales consiguiendo así que diferentes valores de los mismos describan diferentes estados emocionales. Un reconocedor de patrones identifica el estado emocional del alumno comparando los valores de estos parámetros significativos con un conjunto preestablecido de estados emocionales tales como el estrés o el nivel de alerta. Hoy por hoy, estos estados se limitan a los diferentes grados de estrés por los que el alumno va transitando (los qué actualmente están claramente identificados en base a medidas psicofisiológicas) para este reconocimiento, en una fase previa al comienzo del entrenamiento se recogen los valores de las señales psicofisiológicas del alumno, estableciéndose así una línea de base para cada individuo. Basándose en los cambios respecto a línea base se establecen los distintos grados de estrés. El estado emocional de alumno es utilizado por el supervisor y/o el subsistema de INTELIGENCIA artificial para manejar la sesión de entrenamiento. Las señales psicofisiológicas digitalizadas sin procesar son enviadas al panel de CONTROL (26) para su visualización en tiempo real.The EMOTIONAL status subsystem (17) provides the simulator with information on the emotional state of the Username. It has two inputs to capture the heart rate (15a), galvanic response of the skin (16a) of the user. They are anticipated six other inputs for the incorporation of other signals psychophysiological that may be of future interest. The subsystem EMOTIONAL status has signal acquisition stages (conditioning, amplification and A / D conversion), processed (filtering and pattern recognition) and storage. These acquired signals are finally processed in this subsystem to pass only the necessary information to the system MOTOR (24). In the process phase, significant parameters are established that characterize both signals getting so different Their values describe different emotional states. A pattern recognizer identifies the emotional state of the student comparing the values of these significant parameters with a preset set of emotional states such as the Stress or alert level. Today, these states are limited to the different degrees of stress the student is going through transiting (which are currently clearly identified in based on psychophysiological measures) for this recognition, in a pre-training phase, the values of the psychophysiological signals of the student, thus establishing a baseline for each individual. Based on the changes with respect to baseline the different degrees of stress are established. The emotional state of the student is used by the supervisor and / or the artificial INTELLIGENCE subsystem to handle the session of training. The digitized psychophysiological signals without process are sent to the CONTROL panel (26) for real time display
El subsistema de EXPLORACIÓN maneja el sensor de orientación y el ratón de usuario. Para ello, lee y procesa los datos (12a) de cambio de orientación (acimut, elevación y rotación) del sensor de orientación (ubicado en la cabeza de usuario) y los datos (14a) de posición (x, y), pulsación de botones y giro de rueda del ratón. Esta información será utilizada por el subsistema de MUNDO virtual (20) para ejecutar los correspondientes cambios (nueva orientación del punto de vista del usuario y cambio de posición y/o selección de coordenada del cursor del usuario).The EXPLORATION subsystem handles the sensor Orientation and user mouse. To do this, read and process the orientation change data (12a) (azimuth, elevation and rotation) of the orientation sensor (located on the head of user) and position data (14a) (x, y), button press and mouse wheel spin. This information will be used by the virtual WORLD subsystem (20) to execute the corresponding changes (new orientation of the point of view of user and change of position and / or coordinate selection of the user cursor).
El ratón de usuario permite seleccionar y arrastrar objetos y ampliar una zona de la imagen observada por el usuario. En la figura 3 se ilustra como se utiliza el ratón en el simulador. En el mundo virtual, el cursor del ratón se sitúa en un plano perpendicular (29b) al eje de profundidad (eje z) a media distancia entre el objeto más próximo al observador (27) y el punto de vista del observador (31b). El cursor (30b) se puede mover libremente en las coordenadas (x, y) para apuntar a cualquier objeto del mundo virtual. Cuando se pulsa el botón izquierdo del ratón se selecciona el objeto al que apunta el ratón (el primer objeto que se encuentra si se traza una recta que parte del punto de vista del observador y pasa por la posición que ocupa el cursor). Cuando se gira la rueda del ratón hacia delante, el punto de vista del observador (31b) junto con el plano donde se ubica el ratón (29b) se aproxima al mundo virtual en dirección perpendicular al plano 29b, siendo las nuevas posiciones 31a y 29a respectivamente. Esto permite ampliar la zona del mundo virtual que el usuario está mirando frontalmente. El subsistema de EXPLORACIÓN soporta cualquier orientación del punto de vista del observador pero limita su traslación admitiéndose sólo posiciones que estén dentro de las líneas que van desde el punto de vista inicial del observador (31b) a cualquier punto del mundo virtual.The user mouse allows you to select and drag objects and enlarge an area of the image observed by the Username. Figure 3 illustrates how the mouse is used in the simulator. In the virtual world, the mouse cursor is placed in a plane perpendicular (29b) to the depth axis (z axis) to average distance between the object closest to the observer (27) and the point of view of the observer (31b). The cursor (30b) can be move freely in the coordinates (x, y) to point to any Object of the virtual world. When the left button of the mouse select the object the mouse is pointing to (the first object that is found if a line is drawn that starts from the point of view of the observer and passes through the position occupied by the cursor). When the mouse wheel is turned forward, the point of view of the observer (31b) together with the plane where the mouse is located (29b) approaches the virtual world in a direction perpendicular to the plane 29b, the new positions 31a and 29a respectively. This allows to expand the area of the virtual world that the user is looking frontally. The EXPLORATION subsystem supports any orientation from the viewer's point of view but limits its translation admitting only positions that are within the lines that go from the observer's initial point of view (31b) anywhere in the virtual world.
La presente invención admite varias implementaciones. Se describe una de ellas.The present invention admits several implementations One of them is described.
El simulador se puede implementar sobre una estación de trabajo con aceleración gráfica 3D que disponga de bahías suficientes para la integración de los diferentes subsistemas y periféricos. Dada la potencia de cálculo que se requiere y el conjunto de rutinas diversas que deben ejecutarse concurrentemente y en tiempo real se recomienda el uso de un sistema multiprocesador. El sistema operativo debe ser multitarea y expropiativo con interfaz gráfica de usuario tipo ventana.The simulator can be implemented on a 3D graphic acceleration workstation with enough bays for the integration of the different Subsystems and peripherals. Given the computing power that is requires and the set of diverse routines that must be executed concurrently and in real time the use of a multiprocessor system The operating system must be multitasking and Expropriatory with graphical user interface window type.
La interfaz de usuario dispondrá de unos auriculares estéreo con micrófono incorporado, un sensor de orientación de la cabeza tipo Intertrax de Intersense (Burlington, Massachussets USA) [www.intersense.com], un sensor de tasa cardiaca del tipo pinza para fotopletismografía, un par de electrodos superficiales para sensar la respuesta galvánica de la piel, unas gafas de visión estéreo de bajo coste tipo i-glasses SVGA 3D de 10-Display Systems (Sacramento, California, USA) [www.i-glasses.com] y un ratón convencional que incorpore rueda.The user interface will have stereo headphones with a built-in microphone, an Intersera Intertrax head orientation sensor (Burlington, Massachusetts USA) [ www.intersense.com ], a heart rate sensor of the photoplethysmography clip type, a pair of surface electrodes for sensing the galvanic response of the skin, low-cost stereo vision glasses type i-glasses SVGA 3D from 10-Display Systems (Sacramento, California, USA) [ www.i-glasses.com ] and a Conventional mouse that incorporates wheel.
El interfaz de supervisor dispondrá de unos auriculares estéreo con micrófono incorporado, un micrófono auxiliar de sobremesa y el interfaz convencional de la estación de trabajo (monitor, teclado y ratón).The supervisor interface will have about stereo headphones with built-in microphone, a microphone desktop assistant and the conventional interface of the station work (monitor, keyboard and mouse).
El MOTOR del sistema y los subsistemas: panel de
CONTROL, INTELIGENCIA artificial, MUNDO virtual, ANIMACIÓN y VOZ,
son programas en lenguaje C++ que correrán sobre la estación de
tra-
bajo.The ENGINE of the system and the subsystems: CONTROL panel, artificial INTELLIGENCE, virtual WORLD, ANIMATION and VOICE, are programs in C ++ language that will run on the workstation
low.
El MOTOR del sistema es un simulador de eventos discretos que trabaja en tiempo real.The system MOTOR is an event simulator Discreet that works in real time.
El subsistema de INTELIGENCIA artificial es un sistema experto. Se propone el entorno híbrido de desarrollo de sistemas expertos CLIPS diseñado en el Centro espacial Johnson de la NASA (USA) [www.siliconvalleyone.com/clips.htm].The artificial INTELLIGENCE subsystem is an expert system. The CLIPS expert systems development hybrid environment designed at the NASA Johnson Space Center (USA) [ www.siliconvalleyone.com/clips.htm ] is proposed .
Los subsistemas de MUNDO virtual y ANIMACIÓN harán uso de una librería específica de realidad virtual que permita simplificar la programación del mundo virtual y el control de los periféricos asociados. Se propone WTK de Sense8 (San Rafael, California USA). [www.sense8.com]. Para acelerar la representación gráfica se utilizará una librería gráfica 3D de aceleración hardware. En esta implementación se usará OpenGL [www.opengl.org]. Para implementar el sonido 3D se usará una librería de sonido 3D posicional; se propone OpenAL de Creative (Singapur) [www.creative.com]. Para facilitar la implementación de los fonemas visuales y la animación facial de los actores virtuales se propone seguir las especificaciones del estándar MPEG4 [www.m4if.orq].The virtual WORLD and ANIMATION subsystems will make use of a specific virtual reality library that simplifies the programming of the virtual world and the control of associated peripherals. Sense8 WTK is proposed (San Rafael, California USA). [ www.sense8.com ]. To accelerate the graphic representation a 3D graphic library of hardware acceleration will be used. OpenGL [www.opengl.org] will be used in this implementation. To implement 3D sound a positional 3D sound library will be used; Creative OpenAL (Singapore) [ www.creative.com ] is proposed. To facilitate the implementation of visual phonemes and facial animation of virtual actors, it is proposed to follow the specifications of the MPEG4 standard [ www.m4if.orq ].
El subsistema de VOZ es un programa de reconocimiento y síntesis de voz. El conversor texto voz debe suministrar información de los fonemas visuales. Se propone el sistema de desarrollo de ViaVoice de IBM [www-3.ibm.com/software/speech/dev] que cumple con todos los requisitos.The VOICE subsystem is a program of voice recognition and synthesis The voice text converter must provide information of the visual phonemes. The IBM ViaVoice development system [www-3.ibm.com/software/speech/dev] that complies with All the requirements.
El subsistema de SONIDO se implementará con dos 2 tarjetas de sonido que se insertarán en dos bahías PCI libres de la estación de trabajo: Para el interfaz de usuario, se usará una tarjeta de sonido 3D con entrada de micrófono y salida estéreo de auriculares que incorpore aceleración hardware para sonido 3D posicional, como por ejemplo la SoundBlaster Audigy de Creative (Singapur) [www.creative.com]. Para el interfaz de supervisor se usará una tarjeta de sonido convencional compatible soundblaster con dos entradas de micrófono y una salida para auriculares.The SOUND subsystem will be implemented with two 2 sound cards that will be inserted into two free PCI bays of the workstation: For the user interface, a 3D sound card will be used with microphone input and stereo headphone output that incorporates hardware acceleration for positional 3D sound, such as Creative SoundBlaster Audigy (Singapore) [ www.creative.com ]. For the supervisor interface, a conventional soundblaster compatible sound card with two microphone inputs and a headphone output will be used.
El subsistema GRÁFICO 3D se implementará con una tarjeta gráfica 3D profesional tipo Wildcat VP de Creative (Singapur) [www.creative.com] con aceleración gráfica 3D para librerías tipo OpenGL, dos salidas VGA y capacidad estéreo. Una salida VGA se conectará a un casco de realidad virtual que trabaje en modo entrelazado (El modo entrelazado envía alternativamente una línea de imagen para ojo derecho y otra para el ojo izquierdo). La otra salida VGA se conectará al monitor del supervisor.The 3D GRAPHIC subsystem will be implemented with a professional 3D graphic card Wildcat VP from Creative (Singapore) [ www.creative.com ] with 3D graphic acceleration for OpenGL libraries, two VGA outputs and stereo capability. A VGA output will be connected to a virtual reality headset that works in interlaced mode (The interlaced mode alternately sends an image line for the right eye and another for the left eye). The other VGA output will be connected to the supervisor monitor.
El subsistema de EXPLORACIÓN implementa los controladores para el sensor de orientación y del ratón de usuario. Esto requerirá el uso de dos puertos serie o USB.The EXPLORATION subsystem implements the controllers for the orientation sensor and the user mouse. This will require the use of two serial or USB ports.
El subsistema de estado EMOCIONAL se implementará con una tarjeta de adquisición (TAD) de datos para PC que es la encargada de recoger las señales procedentes de un sistema de amplificación de bioseñales. La combinación formada por el amplificador de bioseñales y la tarjeta de adquisición de datos, ambos productos presentes en el mercado en una amplia gama de modelos, se debe estudiar para que las etapas de adquisición y acondicionamiento que realizarán de forma parcial cada uno esté correctamente implementado en su conjunto. Íntimamente relacionado con la tarjeta de adquisición se debe desarrollar programas en lenguaje C++ que correrán sobre la estación de trabajo, que usen los controladores de esa TAD para implementar la adecuada adquisición, almacenamiento y procesado de las señales psicofisiológicas. Una implementación posible podría basarse en la tarjeta de adquisición ACLD-8112PG de Advantech (Taiwan) [www.advantech.com] y el sistema de amplificación modular LabLinc V de Coulburn con el módulo aislado para conductancia cutánea y el módulo monitor de pulso.The EMOTIONAL status subsystem will be implemented with a data acquisition card (TAD) for PC which is the responsible for collecting signals from a system of Biosignal amplification. The combination formed by the Biosignal amplifier and data acquisition card, both products present in the market in a wide range of models, should be studied so that the acquisition stages and conditioning that will be carried out partially by each one correctly implemented as a whole. Intimately related with the acquisition card you must develop programs in C ++ language that will run on the workstation, that they use the drivers of that TAD to implement the appropriate signal acquisition, storage and processing Psychophysiological A possible implementation could be based on the Advantech ACLD-8112PG acquisition card (Taiwan) [www.advantech.com] and the modular amplification system Coulburn LabLinc V with the isolated conductance module Cutaneous and pulse monitor module.
Claims (9)
- \bullet?
- Una interacción multimodal que establece varios canales de comunicación entre el usuario y el simulador interrelacionados de forma inteligente y que potencian la interacción del alumno con el mundo virtual.A multimodal interaction that establishes several communication channels between the user and the intelligent interrelated simulator and that enhance the student interaction with the virtual world.
- \bullet?
- Un sistema de retroalimentación psicofisiológica del alumno que permite modificar y evaluar de forma objetiva la sesión de entrenamiento.A feedback system Psychophysiological student that allows to modify and evaluate Objective form the training session.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES200202854A ES2214954B1 (en) | 2002-12-12 | 2002-12-12 | TRAINING SIMULATOR WITH EMOTIONAL FEEDBACK. |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES200202854A ES2214954B1 (en) | 2002-12-12 | 2002-12-12 | TRAINING SIMULATOR WITH EMOTIONAL FEEDBACK. |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| ES2214954A1 ES2214954A1 (en) | 2004-09-16 |
| ES2214954B1 true ES2214954B1 (en) | 2005-12-16 |
Family
ID=33041233
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES200202854A Expired - Fee Related ES2214954B1 (en) | 2002-12-12 | 2002-12-12 | TRAINING SIMULATOR WITH EMOTIONAL FEEDBACK. |
Country Status (1)
| Country | Link |
|---|---|
| ES (1) | ES2214954B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2630600C2 (en) * | 2016-03-02 | 2017-09-11 | Юрий Викторович Бабченко | Method for determining educational process impact on student's psychophysiological state (versions) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6186145B1 (en) * | 1994-05-23 | 2001-02-13 | Health Hero Network, Inc. | Method for diagnosis and treatment of psychological and emotional conditions using a microprocessor-based virtual reality simulator |
| US5880734A (en) * | 1996-10-03 | 1999-03-09 | Intel Corporation | Peripheral vision simulator for immersive 3D virtual environments |
| FR2772908B1 (en) * | 1997-12-24 | 2000-02-18 | Aerospatiale | MISSILE SHOOTING SIMULATOR WITH IMMERSION OF THE SHOOTER IN A VIRTUAL SPACE |
| US6064998A (en) * | 1998-12-22 | 2000-05-16 | Ac Properties, B.V. | System, method and article of manufacture for a simulation engine with an expert system example processing engine |
| WO2002067194A2 (en) * | 2001-02-20 | 2002-08-29 | I & A Research Inc. | System for modeling and simulating emotion states |
-
2002
- 2002-12-12 ES ES200202854A patent/ES2214954B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| ES2214954A1 (en) | 2004-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Slater | Implicit learning through embodiment in immersive virtual reality | |
| Heim | The design of virtual reality | |
| Glantz et al. | Virtual reality (VR) and psychotherapy: Opportunities and challenges | |
| Frey et al. | Teegi: tangible EEG interface | |
| Kleven et al. | Training nurses and educating the public using a virtual operating room with Oculus Rift | |
| Mathew et al. | Role of immersive (XR) technologies in improving healthcare competencies: a review | |
| WO2015027286A1 (en) | A medical training simulation system and method | |
| KR100452093B1 (en) | Virtual reality apparatus for curing mental disorder | |
| Blome et al. | VReanimate—Non-verbal guidance and learning in virtual reality | |
| Chi et al. | Casualty modeling for real-time medical training | |
| ES2214954B1 (en) | TRAINING SIMULATOR WITH EMOTIONAL FEEDBACK. | |
| Ya | Technologies of virtual reality in the context of worldwide and Russian psychology: Methodology, comparison with traditional methods, achievements and perspectives | |
| Johnston | The use of art and play therapy with victims of sexual abuse: A review of the literature | |
| US20240221518A1 (en) | System and method for virtual online medical team training and assessment | |
| Staccini | Serious games, simulations, and virtual patients | |
| Lányi et al. | Developing multimedia software and virtual reality worlds and their use in rehabilitation and psychology | |
| Cláudio et al. | Virtual environment to treat social anxiety | |
| Takacs | Cognitive, Mental and Physical Rehabilitation Using a Configurable Virtual Reality System. | |
| Lv et al. | VR virtual reality technology and treatment progress | |
| Lhotska et al. | Role of virtual reality in the life of ageing population | |
| Wysieński et al. | PROSPECTS FOR THE USE OF THREE-DIMENSIONAL VIRTUAL REALITY (VR 3D) SUPPORTED BY ARTIFICIAL INTELLIGENCE (AI) ALGORITHMS IN MEDICAL EDUCATION | |
| Hon | Medical reality and virtual reality | |
| Ning et al. | Review of serious games for medical operation | |
| Avatar | Glossary and Acronyms | |
| Bhatt et al. | Applications of Virtual and Augmented Reality for Health and Well-Being: Mental Health Treatment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| EC2A | Search report published |
Date of ref document: 20040916 Kind code of ref document: A1 |
|
| FG2A | Definitive protection |
Ref document number: 2214954B1 Country of ref document: ES |
|
| FD2A | Announcement of lapse in spain |
Effective date: 20221227 |