ES2240837T3 - Sistema y procedimiento para la creacion de una documentacion de procesos de trabajo para la representacion en un sistema de realidad ampliada. - Google Patents

Sistema y procedimiento para la creacion de una documentacion de procesos de trabajo para la representacion en un sistema de realidad ampliada.

Info

Publication number
ES2240837T3
ES2240837T3 ES02792611T ES02792611T ES2240837T3 ES 2240837 T3 ES2240837 T3 ES 2240837T3 ES 02792611 T ES02792611 T ES 02792611T ES 02792611 T ES02792611 T ES 02792611T ES 2240837 T3 ES2240837 T3 ES 2240837T3
Authority
ES
Spain
Prior art keywords
information
camera
reproduction
documentation
work
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
ES02792611T
Other languages
English (en)
Inventor
Wolfgang Friedrich
Soeren Moritz
Mehdi Hamadou
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Application granted granted Critical
Publication of ES2240837T3 publication Critical patent/ES2240837T3/es
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/409Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual data input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details or by setting parameters
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00Systems controlled by a computer
    • G05B15/02Systems controlled by a computer electric
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/32Operator till task planning
    • G05B2219/32014Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/32Operator till task planning
    • G05B2219/32122Documentation of programmable electronic system
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/36Nc in input of data, input key till input tape
    • G05B2219/36183Offline teaching is sound assisted
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/36Nc in input of data, input key till input tape
    • G05B2219/36383Manual input combined with input from computer or tape

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Digital Computer Display Output (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Sistema para la creación de una documentación de procesos de trabajo en forma de etapas de trabajo para un técnico de servicio y/o un montador, u con al menos una cámara (14, 16) para el registro de informaciones de imágenes sobre uno o varios procesos de trabajo, u con medios de seguimiento para la determinación de la posición y la alineación de la cámara (14, 16) con relación a puntos en el espacio y u con un ordenador móvil (4) para el procesamiento de las informaciones de imágenes registradas por la cámara (14, 16) y de la posición y alineación de la cámara (14, 16) y para la reproducción de las informaciones de imágenes procesadas como datos de imágenes y de la posición y la alineación de la cámara (14, 16) como información de seguimiento en un sistema de ordenador remoto (5), en el que el sistema de ordenador remoto (5) presenta: u primeros medios de reproducción para la reproducción de los datos de imágenes, u medios de procesamiento para la creación manual de informaciones complementarias de los datos de imágenes en forma de elementos gráficos, textos y/o referencias a otras informaciones y para la asociación de las informaciones complementarias a puntos en el espacio, estando asociadas las informaciones complementarias a objetos reales, u y para la creación de la documentación presenta medios de memoria para la memorización de las informaciones complementarias de los datos de imágenes, para su asociación a puntos en el espacio y de la información de seguimiento como documentación (10) de los procesos de trabajo.

Description

Sistema y procedimiento para la creación de una documentación de procesos de trabajo para la representación en un sistema de realidad ampliada.
La invención se refiere a un sistema y a un procedimiento para la creación de una documentación de procesos de trabajo, especialmente en el entorno de la producción, montaje, servicio y mantenimiento.
Un sistema y un procedimiento de este tipo se emplean, por ejemplo, en el campo de la técnica de automatización, en las máquinas de producción y en las máquinas herramientas, en la automatización de procesos, en sistemas de soporte de diagnosis y de servicio así como para componentes complejos, aparatos y sistemas, como por ejemplo vehículos y máquinas industriales e instalaciones. Existe una aplicación especialmente ventajosa, en conexión con la Augmented Reality (= AR = "realidad ampliada"), que es una nueva forma de interacción entre el hombre y la técnica, en la que el campo de visión de un usuario se enriquece con objetos virtuales generados por ordenador -por ejemplo a través de unas gafas de datos. La incorporación se realiza, sin embargo, en función del contexto, es decir, de una manera adaptada y derivada del objeto considerado, por ejemplo un componente. Así, por ejemplo, el campo de visión real de un montador se amplía a través de instrucciones de montaje incorporadas con informaciones que son importantes para el mismo. En este caso, la Realidad Ampliada puede sustituir, entre otras cosas, el manual de montaje convencional.
El principio de solución presentado aquí se refiere al empleo de la Realidad Ampliada en el montaje así como en el campo del servicio y el mantenimiento.
Se conoce a partir del documento EO 00/52537 un sistema para el soporte acorde con la situación de un trabajador en el lugar a través de un experto a distancia, siendo transmitidos datos a los expertos, por ejemplo, en forma de imágenes de vídeo y transmitiendo los expertos la información soportada en forma de información de realidad Ampliada, que está entonces a la disposición del trabajador en el lugar.
Se conoce a partir del documento WO 01/24536 un sistema para la representación visual de gráficos de ordenador en combinación con una representación gráfica de objetos reales, en el que la aparición y la alineación de la representación del gráfico y del objeto real se mantienen entre sí, aunque se modifique, por ejemplo, la posición de una cámara para la toma del objeto real y de esta manera el objeto sea detectado desde otro ángulo de visión.
La invención tiene el cometido de facilitar la creación de una documentación de procesos de trabajo, que utiliza los métodos de la Realidad Ampliada.
Este cometido se soluciona a través de un sistema de acuerdo con las características indicadas en la reivindicación 1.
Este cometido se soluciona, además, por medio de un procedimiento con las características indicadas en la reivindicación 6.
La invención se basa en el reconocimiento de que con medios de la Realidad Ampliada se puede simplificar en una medida esencial la creación de una documentación de procesos de trabajo. Hasta ahora no existían sistemas de creación profesionales para los sistemas de Realidad Ampliada. El sistema y el procedimiento según la invención simplifican la técnica de los contenidos de la Realidad Ampliada para las instrucciones de montaje y de servicio. A tal fin, las informaciones obtenidas en el lugar son procesadas a través de uno o varios procesos de trabajo en el ordenador móvil y se transmiten al sistema de ordenador remoto. A través de la reproducción de los datos de imágenes y de las informaciones complementarias de los procesos de trabajos en el lugar con primeros medios de reproducción del sistema de ordenador remoto, un redactor técnico obtiene informaciones auténticas sobre los procesos de trabajo, aunque no esté presente en el lugar. Por otra parte, el sistema y el procedimiento según la invención soportan al redactor técnico durante el aumento de los datos de imágenes puesto a su disposición. A tal fin, están previstos medios de procesamiento para la creación de informaciones que complementan los datos de imágenes. Para posibilitar un aumento variable y relacionado con el contexto, los medios de procesamiento ponen a disposición informaciones complementarias en forma de elementos gráficos, textos y/o en forma de la referencia a otras informaciones y ofrecen adicionalmente la posibilidad de asociar estas informaciones complementarias a puntos en el espacio. Las informaciones complementarias de los datos de imágenes, su asociación a puntos en el espacio y la información de seguimiento son memorizadas como documentación de los procesos de trabajo con medios de la Realidad Aumentada en medios de memoria para la utilización posterior. Los datos de imágenes utilizados para la creación de la documentación no son necesarios ya al término del proceso de creación y, por lo tanto, no son memorizados. Esto significa una reducción clara del espacio de memoria necesario para la memorización de la documentación en comparación con los sistemas de documentación actuales. La invención evita la creación laboriosa hasta ahora, habitual, por ejemplo, en los sistemas de laboratorio de escenas de Realidad Ampliada, que solamente era posible por medio del procesamiento manual de datos auxiliares. En oposición a ello, la invención ofrece un sistema y un procedimiento cerrados desde la recepción de las informaciones de imágenes, pasando por el procesamiento posterior y la transmisión de las informaciones de imágenes a un sistema de ordenador remoto hasta el procesamiento y la creación de una documentación de Realidad Ampliada.
En una configuración ventajosa de la invención, las informaciones complementarias memorizadas en los medios de memoria son incorporadas a través de seguidnos medios de reproducción en el campo de visión de un usuario. El usuario recibe informaciones relacionadas con el contexto, por ejemplo asociadas a un componente determinado, en el que se disponen estas informaciones complementarias de acuerdo con su asociación a puntos en el espacio en el campo de visión del usuario. Así, por ejemplo, la situación de montaje virtual mixta se puede reproducir directamente en el campo de visión del usuario y de esta manera se puede facilitar esencialmente en una producción flexible, por ejemplo, la instalación de máquinas por técnicos especializados. Se facilita una planificación de la fabricación y un control de la fabricación acorde con el técnico cuando se reproducen o bien se observan informaciones sobre el estado respectivo del encargo directamente en combinación con los productos correspondientes en el lugar. Los mismo se aplica también para el montaje, donde se pueden presentar a un usuario, por ejemplo a un montador ya en la fase de entrenamiento de una manera virtual mixta las etapas de trabajo individuales. En este contexto, se pueden conseguir -por ejemplo, a través de la comparación de ciclos de montaje reales con resultados de la simulación- amplias optimizaciones que tanto mejoran la calidad de la planificación del trabajo como también simplifican y aceleran el proceso de montaje en la fase de arranque crítica.
En otra configuración ventajosa de la invención, el sistema de ordenador remoto presenta una biblioteca de símbolos para la preparación de los elementos gráficos y una biblioteca de documentos para la preparación de los textos. De esta manera, se soporta la creación sencilla, rápida y normalizada de una documentación de los procesos de trabajo. La biblioteca de símbolos contiene, por ejemplo elementos gráficos, como flechas, círculos, etc. con los que se pueden marcar tornillos, soportes de fijación o manipulaciones necesarias. La biblioteca de documentos se compone, por ejemplo, por elementos básicos elementales, que comprenden elementos de texto, que describen las etapas de montaje / desmontaje.
Un redactor técnico, que utiliza los medios de procesamiento del sistema de ordenador remoto, puede obtener otras informaciones de los procesos de trabajo en el lugar cuando están previstos, de acuerdo con otra configuración de a invención, medios de registro de informaciones acústicas sobre los procesos de trabajo. En este caso, el ordenador móvil está previsto para el procesamiento de las informaciones acústicas registradas y para la transmisión de las informaciones acústicas como datos de audio al sistema de ordenador remoto y los primeros medios de reproducción del sistema de ordenador remoto están previstos para la reproducción de los datos de audio. Un proceso de trabajo puede ser descrito, por ejemplo, a través del montado con informaciones verbales, que se ponen a la disposición del redactor técnico en el sistema de ordenador remoto.
En otra configuración ventajosa de la invención, los medios de procesamiento están previstos para la asociación de las informaciones complementarias a etapas de trabajo dentro de un flujo de trabajo y los medios de control están previstos para el control de los segundos medios de reproducción a través del usuario. Por medio de esta incorporación de los procesos de trabajo aumentados y documentados en un flujo de trabajo, éstos pueden ser llamados para aplicaciones del servicio. El redactor técnico crea flujo de trabajo con la ayuda de los medios de procesamiento. Los comentarios verbales especiales del montador en el lugar pueden ser incorporados en este flujo de trabajo como anotación de la experiencia. Un montados puede utilizar la documentación de este tipo creada de un proceso de trabajo llamando en cada caso las partes de la documentación de la Realidad Ampliada, que describen las etapas de trabajo que le interesan. Además, a través de la asociación de las informaciones complementarias a las etapas de trabajo dentro de un flujo de trabajo se reduce en una medida considerable la extensión de la documentación a memoriza. Solamente se documentan las etapas de trabajo realmente importantes del proceso de trabajo y se depositan de forma estructurada dentro del flujo de trabajo.
A continuación se describe y se explica en detalle la invención con la ayuda del ejemplo de realización representado en la figura.
La figura muestra un ejemplo de realización de un sistema para la creación de una documentación de procesos de trabajo. La figura muestra una instalación o máquina 1, en la que un usuario, en el ejemplo de realización un montador 11, instruye sobre un o varios procesos de trabajo. El montador 11 lleva un auricular 3, que se representa ampliado separado en la figura. El auricular 3 del montador 11 presenta unas gafas de datos 23, un micrófono 15 y una primera cámara 14. Los componentes 14, 15, 23 del auricular 3 están conectados sin hilos o con cable con un ordenador móvil 4, que el montador 11 lleva consigo mismo. El ordenador móvil 4 presenta una comunicación 17 con un sistema de ordenador remoto 5. Este sistema de ordenador 5 está conectado a través de otras comunicaciones 18, 19, 20, y 21 con una biblioteca de documentos 7, una biblioteca de símbolos 6, la World Wide Web 8 y/o un modelo de producto CAD 9. El sistema de ordenador 5 es atendido por un redactor técnico 12 y está en comunicación con la documentación 12, que está depositada en un servidor 13. Este servidor 13 tiene otra comunicación 22 con el ordenador móvil 4 del monitor 11. La figura muestra, además, un Webpad 2, que está conectado con una segunda cámara 16.
En el ejemplo de realización representado en la figura, un usuario -en este caso un montador 11- desmonta un componente de la máquina 1 que está marcado debido a una avería. El proceso de trabajo realizado por el montador 11, por lo tanto en este caso un proceso de desmontaje, es registrado con una primera cámara 14 en un auricular 3 del monitor 11. El auricular 3 contiene instalaciones de representación dispuestas en la zona de los cristales de las gafas de unas gafas de datos, la cámara 14 dispuesta en las gafas de datos y un micrófono 15 dispuesto para el registro de comandos de voz en las gafas de datos. Las informaciones de imágenes registradas por la primera cámara 14 son procesadas posteriormente en el ordenador móvil 4 del montador 11 y son transmitidas como datos de imágenes a través de la comunicación 17 al sistema de ordenador remoto de un redactor técnico 12. Con medios de seguimiento se determina la posición y la alineación de la cámara 14 con relación a puntos en el espacio, por ejemplo con relación a un componente determinado de la máquina 1 o con relación a marcadores colocados en la máquina 1. La posición y la alineación de la cámara determinadas de esta manera son procesadas igualmente por el ordenador móvil 4 y son transmitidas a través de la conexión de comunicación 17como información de seguimiento al sistema de ordenador. Los datos de imágenes son transmitidos en el ejemplo como corriente de vídeo, por ejemplo en el formato o bien en la tecnología MPEG4, de una manera sincronizada con la información de seguimiento a través de la conexión de comunicación 17. De una manera opcional, a través de la conexión de comunicación 17 se pueden transmitir también con medios de registro, por ejemplo con el micrófono 15 en el auricular 3 del montador 11, comentarios hablados registrados junto con la corriente de vídeo. Los comentarios hablados posibilitan al redactor técnico 12 una mejor comprensión de manipulaciones complejas dentro del proceso de trabajo. El sistema de ordenador 5 contiene primeros medios de reproducción para la reproducción de los datos de imágenes. En el ejemplo de realización, estos primeros medios de reproducción están configurados como monitor, en el que se representan para el redactor técnico 12 las informaciones de imágenes de la máquina 1 registradas con la primera cámara 14. El sistema de ordenador 5 pone a la disposición del redactor técnico 12 medios de procesamiento para la creación de informaciones que complementan los datos de imágenes. Con la ayuda de estos medios de procesamiento, el redactor técnico complementa los datos de imágenes con elementos gráficos, textos y/o referencias a otras informaciones. Al mismo tiempo, a través de los medios de procesamiento es posible una asociación de estas informaciones complementarias a puntos en el espacio. En el ejemplo, el redactor técnico 12 toma desde una biblioteca de símbolos 6 elementos gráficos como flechas, círculos, etc., para marcar de esta manera tornillos, soportes de fijación, etc. de la máquina 1. A partir de una biblioteca de documentos, que está constituida por elementos básicos elementales, toma elementos de texto, que describen las etapas de montaje / desmontaje y las cuelga en marcas ya colocadas. El redactor técnico 12 llama la información sobre otros componentes no contenidos en la documentación de las máquinas a través de Internet 8, por ejemplo en portales de productos de un proveedor de componentes y amplía con estas informaciones de la misma manera el proceso de montaje / desmontaje del montador 11. El montador 11, si lo desea, puede hacer representar las informaciones complementarias al mismo tiempo de forma sincrónica para la creación a través del redactor técnico 12 a través de segundos medios de reproducción, por ejemplo, las gafas de datos 23 de sus auriculares 3. De esta manera, puede proporcionar un reconocimiento al redactor técnico en poco tiempo en el sentido de un control de calidad. Las informaciones complementarias creadas a través del redactor técnico 12 con la ayuda de los medios de procesamiento son depositadas como documentación 10 de los procesos de trabajo del montador 11 en medios de memoria, en el ejemplo de realización en un servidor 13, donde pueden ser llamadas como soporte para actividades similares posteriores. De esta manera, otros técnicos de servicio o montadores pueden aprovecharse de la experiencia y de los conocimientos técnicos del primer montador 11 y del redactor técnico 12, puesto que las etapas de instrucciones y la documentación adecuada se representan siempre en su campo de visión adaptada al mundo real. Las informaciones complementarias memorizadas en el servidor 13 están asociadas en este caso a los objetos reales de la máquina 11. De acuerdo con su asociación, son incorporadas de una manera correcta dentro del campo de visión del montador 11. La posición de las informaciones complementarias son memorizadas con relación a marcadores -en el caso del seguimiento basado en marcadores- o a características como cantos, círculos, segmentos, trazos d escritura, etc. -en el caso de seguimiento sin marcadores- con la ampliación. En el ejemplo de realización, la escena ampliada, es decir, el proceso de trabajo provisto con informaciones complementarias, es incorporada en un flujo de trabajo y de esta manera puede ser llamada para otras aplicaciones de servicio. El flujo de trabajo es creado por el redactor técnico 12 y el redactor técnico 12 puede incorporar comentarios verbales especiales del montador 11 en el flujo de trabajo como anotación de la experiencia. La conexión de comunicación 17 entre el ordenador móvil 4 del montador 11 y el sistema de ordenador 5 del redactor técnico 12, por ejemplo de PC (= ordenador personal), sirve para la transmisión de los datos de imágenes y de las informaciones de posición de la cámara en los procedimientos de seguimiento no basados en vídeo. La conexión de comunicación 17 puede estar configurada, por ejemplo, como comunicación por radio o también como mezcla de comunicación por radio y puerto de acceso. Aquí se pueden emplear mecanismos de transmisión discrecionales de la tecnología de la información. Pero para el tipo de aplicación se ofrece una comunicación sin hilos con o sin puerto de acceso hacia el sistema de ordenador 5 del redactor técnico 12. La información a intercambiar se puede memorizar también sólo localmente en el ordenador móvil 4 del montador 11 o bien en el puerto de acceso dado el caso existente y solamente en un instante posterior es incorporado en el sistema de redacción, es decir, en el sistema de ordenador 5 del redactor técnico 12. Si no se emplea un procedimiento de seguimiento basado en vídeo, entonces además de los datos de imágenes en forma de una corriente de vídeo, se pueden transmitir también informaciones actuales de forma sincronizada desde el sistema de seguimiento (posición, orientación y campo de visión del usuario o bien de la cámara). Esta información es necesaria para determinar o bien las coordenadas relativas con relación al marcador / objeto reconocido actualmente o las coordenadas terrestres correspondientes. Como coordenadas terrestre se entienden en este caso las coordenadas en el espacio con relación a un punto previamente fijado en el espacio. El sistema está equipado en el lado del redactor técnico 12 con una unidad de registro / reproducción (funcionalidad de registrador de vídeo) como primeros medios de reproducción para la corriente de vídeo y, dado el caso, para las informaciones de seguimiento depositadas de forma sincronizada. La unidad de registro y reproducción debe preverse porque el redactor técnico 12 no puede añadir en la mayoría de los casos la anotación técnica en tiempo real. De una manera similar, el proceso de montaje o bien de desmontaje puede ser registrado también a través de un Webpad 2 con cámara incorporada o separada 16 y puede ser ampliado o bien en el Webpad 2 o a través del sistema de ordenador 5 del redactor técnico 12.
En otro ejemplo de realización, que se indica de la misma manera en la figura, la creación de una documentación de procesos de trabajo se puede realizar también por el redactor técnico 12 con la ayuda del desarrollo escénico de una plano de diseño 3D de un modelo de producto CAD 9. En este caso, el redactor técnico 12 lleva a cabo el proceso de trabajo, es decir, el montaje o bien el desmontaje, con la ayuda de los elementos 3D del plano de diseño 3D y amplía estos elementos 3D con la información necesaria, tal como flechas, círculos, texto, dibujos despiezados de detalle, herramientas necesarias, medidas de seguridad, etc. La posición relativa de la información ampliada es tomada en este caso desde el modelo 3D acotado, es memorizada con la información ampliada y es llamada para la ampliación en el caso de servicio y mantenimiento. En el instante de la creación de esta documentación del proceso de trabajo, debe conocerse ya si deben describirse las indicaciones de la posición con relación a la posición de un marcador. De una manera alternativa y mejorada, es preferible una descripción neutra con respecto a los marcadores, es decir, la utilización de coordenadas terrestres y la inicialización del sistema de seguimiento y de los marcadores de acuerdo con el sistema de coordenadas terrestres. Para el soporte adicional de la creación de una documentación de procesos de trabajo, se pueden transmitir otras informaciones desde el montador 11 a través de la conexión de comunicaciones 17 hasta el redactor técnico 12. Tales informaciones adicionales son especialmente informaciones de voz del montador 11 relacionadas con el contexto. La relación con el contexto resulta en este caso a partir de la combinación con informaciones del lugar, informaciones de componentes, informaciones del flujo de trabajo o, dado el caso, informaciones de marcadores. La relación del contexto es transmitida al mismo tiempo y memorizada para la identificación posterior relacionada con el contexto.
A continuación se representa la relación de la invención con el entorno tecnológico. En el servicio apenas son suficientes ya las tecnologías convencionales, para soportar y documentar procedimientos complejos de diagnosis y de eliminación de averías. Pero puesto que estos procesos son planificados en muchos campos de todas formas sobre la base de datos digitales. La tecnologías de Realidad Ampliada ofrecen la posibilidad de asumir las fuentes de información para el mantenimiento y de explicar a un montador 11 un proceso de ampliación, por ejemplo a través de unas gafas de datos 23, a través de la superposición con objetos reales. Con relación al trabajo cooperativo, el registro de informaciones de imágenes del proceso de trabajo posibilita una solución distribuida del problema, donde un experto remoto se comunica con el montador 11 en el lugar más allá de distancias globales. Este caso es especialmente relevante para los fabricantes de máquinas herramientas predominantemente de nivel medio. Estos fabricantes se ven forzados, debido a la globalización, a instalar talleres de producción para sus clientes en todo el mundo. Sin embargo, ni se puede llevar a cabo una presencia de filiales en todos los mercados importantes por razones económicas ni se puede prescindir del conocimiento profundo de los colaboradores de servicio experimentados de la casa matriz con relación a las instalaciones cada vez más complejas. La particularidad de la interacción entre hombre y máquina en la Realidad Ampliada reside en una comunicación muy sencilla e intuitiva con el ordenador, por ejemplo complementada a través de técnicas de interacción multimodales, como procesamiento de voz o reconocimiento de gestos. La utilización de unidades de ordenador portátiles posibilita, además, escenarios de utilización móviles totalmente nuevos, pudiendo ser solicitados los datos específicos en cualquier momento a través de una red sin cables. Las nuevas técnicas de visualización permiten una anotación directa, por ejemplo de datos del proceso, de medición o de simulación, en el objeto real o en el entorno real. En combinación con aplicaciones distribuidas, varios usuarios están en condiciones de trabajar en un entorno real con la ayuda de una base de datos común (entornos ampliados compartidos) o de cooperar en diferentes entornos soportados con la Realidad Ampliada.
En resumen, por lo tanto, la invención se refiere a un sistema y a un procedimiento que facilitan la creación de una documentación de procesos de trabajo que es útil para los métodos de la Realidad Ampliada, especialmente en el entorno de la producción, montaje, servicio o mantenimiento. El sistema contiene al menos una cámara 14, 16 para el alojamiento de informaciones de imágenes a través de uno o varios procesos de trabajo, medios de seguimiento para la determinación de la posición y la alineación de la cámara 14, 16 con relación a puntos en el espacio y un ordenador móvil 4 para el procesamiento de las informaciones de imágenes registradas por la cámara 14, 16 y con relación a la posición y alineación de la cámara 14, 16 y para la reproducción de las informaciones de imágenes procesadas como datos de imágenes y con respecto a la posición y alineación de la cámara 14, 16 como información de seguimiento en un sistema de ordenador remoto 5, donde el sistema de ordenador remoto 5 presenta: medios de procesamiento para la creación de informaciones complementarias de los datos de imágenes en forma de elementos gráficos, textos y/o referencias a otras informaciones y para la asociación de las informaciones complementarias a puntos en el espacio, primeros medios de reproducción para la reproducción de datos de imágenes y de las informaciones complementarias y medios de memoria para la memorización de las informaciones complementarias de los datos de imágenes, su asociación a puntos en el espacio y de las informaciones de seguimiento como documentación 10 de los procesos de trabajo.

Claims (10)

1. Sistema para la creación de una documentación de procesos de trabajo en forma de etapas de trabajo para un técnico de servicio y/o un montador,
\bullet
con al menos una cámara (14, 16) para el registro de informaciones de imágenes sobre uno o varios procesos de trabajo,
\bullet
con medios de seguimiento para la determinación de la posición y la alineación de la cámara (14, 16) con relación a puntos en el espacio y
\bullet
con un ordenador móvil (4) para el procesamiento de las informaciones de imágenes registradas por la cámara (14, 16) y de la posición y alineación de la cámara (14, 16) y para la reproducción de las informaciones de imágenes procesadas como datos de imágenes y de la posición y la alineación de la cámara (14, 16) como información de seguimiento en un sistema de ordenador remoto (5),
en el que el sistema de ordenador remoto (5) presenta:
\bullet
primeros medios de reproducción para la reproducción de los datos de imágenes,
\bullet
medios de procesamiento para la creación manual de informaciones complementarias de los datos de imágenes en forma de elementos gráficos, textos y/o referencias a otras informaciones y para la asociación de las informaciones complementarias a puntos en el espacio, estando asociadas las informaciones complementarias a objetos reales,
\bullet
y para la creación de la documentación presenta medios de memoria para la memorización de las informaciones complementarias de los datos de imágenes, para su asociación a puntos en el espacio y de la información de seguimiento como documentación (10) de los procesos de trabajo.
2. Sistema según la reivindicación 1, caracterizado porque están previstos dos medios de reproducción para la reproducción de las informaciones complementarias dentro de un campo de visión de un usuario, estando dispuestas las informaciones complementarias de acuerdo con su asociación a puntos en el espacio en el campo de visión del usuario.
3. Sistema según la reivindicación 1 ó 2, caracterizado porque el sistema de ordenador remoto (5) presenta una biblioteca de símbolos (6) para la preparación de los elementos gráficos y una biblioteca de documentos (7) para la preparación de los textos.
4. Sistema según una de las reivindicaciones anteriores, caracterizado porque están previstos medios de registro para el registro de informaciones acústicas sobre procesos de trabajo, estando previsto el ordenador móvil (4) para el procesamiento de las informaciones acústicas registradas y para la transmisión de las informaciones acústicas procesadas como datos de audio al sistema de ordenador remoto (5) y estando previstos los primeros medios de reproducción del sistema de ordenador remoto (5) para la reproducción de los datos de audio.
5. Sistema según una de las reivindicaciones 2 a 4, caracterizado porque los medios de procesamiento están previstos para la asociación de las informaciones complementarias a etapas de trabajo dentro de un flujo de trabajo y los medios de control están previstos para el control de los segundos medios de reproducción a través del usuario.
6. Procedimiento para la creación de una documentación de procesos de trabajo en forma de etapas de trabajo para un técnico de servicio y/o un montados con las siguientes etapas del procedimiento:
\bullet
las informaciones de imágenes sobre uno o varios procesos de trabajo son registradas con al menos una cámara (14, 26),
\bullet
la posición y la alineación de la cámara (14, 16) son determinadas con relación a puntos en el espacio con medios de seguimiento,
\bullet
con un ordenador móvil (4) se procesan las informaciones de imágenes registradas por la cámara (14, 16) y se procesan la posición y la alineación de la cámara (14, 16) y las informaciones de imágenes procesadas son transmitidas como datos de imágenes, y la posición y la alineación de la cámara (14, 16) son transmitidas como información de seguimiento a un sistema de ordenador remoto (5),
\bullet
los datos de imágenes son transmitidos con primeros medios de reproducción al sistema de ordenador remoto (5),
\bullet
las informaciones complementarias de los datos de imágenes son creadas manualmente en forma de elementos gráficos, textos y/o referencias a otras informaciones y las informaciones complementarias son asociadas a puntos en el espacio y a los objetos reales,
\bullet
y para la creación de la documentación se memorizan las informaciones complementarias de los datos de imágenes, su asociación a los puntos en el espacio y la información de seguimiento como documentación (10) de los procesos de trabajo.
7. Procedimiento según la reivindicación 6, caracterizado porque las informaciones complementarias dentro de un campo de visión de un usuario son reproducidas con segundos medios de reproducción, siendo dispuestas las informaciones complementarias de acuerdo con su asociación a puntos en el espacio en el campo de visión del usuario.
8. Procedimiento según la reivindicación 6 ó 7, caracterizado porque en el sistema de ordenador remoto (5) los elementos gráficos son preparados en una biblioteca de símbolos (6) y los textos son preparados en una biblioteca de documentos.
9. Procedimiento según una de las reivindicaciones 6 a 8, caracterizado porque las informaciones acústicas sobre los procesos de trabajo son registradas con medios de registro, donde el ordenador móvil (4) procesa las informaciones acústicas registradas y transmite las informaciones acústicas procesadas como datos de audio al sistema de ordenador remoto (5) y los datos de audio son reproducidos con los primeros medios de reproducción del sistema de ordenador remoto (5).
10. Procedimiento según una de las reivindicaciones 7 a 9, caracterizado porque las informaciones complementarias son asociadas a través de medios de procesamiento a etapas de trabajo dentro de un flujo de trabajo y los segundos medios de reproducción pueden ser controlados a través del usuario con medios de control.
ES02792611T 2001-12-05 2002-11-22 Sistema y procedimiento para la creacion de una documentacion de procesos de trabajo para la representacion en un sistema de realidad ampliada. Expired - Lifetime ES2240837T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10159610A DE10159610B4 (de) 2001-12-05 2001-12-05 System und Verfahren zur Erstellung einer Dokumentation von Arbeitsvorgängen, insbesondere im Umfeld Produktion, Montage, Service oder Wartung
DE10159610 2001-12-05

Publications (1)

Publication Number Publication Date
ES2240837T3 true ES2240837T3 (es) 2005-10-16

Family

ID=7708048

Family Applications (1)

Application Number Title Priority Date Filing Date
ES02792611T Expired - Lifetime ES2240837T3 (es) 2001-12-05 2002-11-22 Sistema y procedimiento para la creacion de una documentacion de procesos de trabajo para la representacion en un sistema de realidad ampliada.

Country Status (6)

Country Link
US (1) US7110909B2 (es)
EP (1) EP1451652B1 (es)
AT (1) ATE292814T1 (es)
DE (2) DE10159610B4 (es)
ES (1) ES2240837T3 (es)
WO (1) WO2003050626A1 (es)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7063256B2 (en) * 2003-03-04 2006-06-20 United Parcel Service Of America Item tracking and processing systems and methods
DE102005011616B4 (de) 2004-05-28 2014-12-04 Volkswagen Ag Mobile Trackingeinheit
DE102004044718A1 (de) * 2004-09-10 2006-03-16 Volkswagen Ag Augmented Reality Autoren System
DE102005046762A1 (de) * 2005-09-29 2007-04-05 Siemens Ag System und Verfahren zur Darstellung von Benutzerinformationen, insbesondere von Augmented-Reality-Informationen, mit Hilfe von in RFID-Datenspeichern hinterlegten Trackinginformationen
WO2007066166A1 (en) * 2005-12-08 2007-06-14 Abb Research Ltd Method and system for processing and displaying maintenance or control instructions
DE102006004731B4 (de) * 2006-02-02 2019-05-09 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Einrichtung zur Bestimmung der Position und/oder Orientierung einer Kamera bezüglich eines realen Objektes
DE102006014571A1 (de) * 2006-03-29 2007-10-04 Di Ke Opto-Electronics Co., Ltd Verwendungsverfahren von Geräten für die Sichtprüfung
JP4958497B2 (ja) * 2006-08-07 2012-06-20 キヤノン株式会社 位置姿勢測定装置及び位置姿勢測定方法、複合現実感提示システム、コンピュータプログラム及び記憶媒体
FR2914469B1 (fr) * 2007-03-27 2021-08-06 Peugeot Citroen Automobiles Sa Procede de creation et de modification d'une fiche informatique de montage de vehicule automobile et fiches associees.
US8094090B2 (en) * 2007-10-19 2012-01-10 Southwest Research Institute Real-time self-visualization system
US8485038B2 (en) * 2007-12-18 2013-07-16 General Electric Company System and method for augmented reality inspection and data visualization
DE102008009446A1 (de) * 2008-02-15 2009-08-20 Volkswagen Ag Verfahren zur Prüfung eines komplexen Systems auf Abweichungen von Qualitätsvorgaben und/oder auf Fehlerhaftigkeit und Vorrichtung zur Unterstützung einer Prüfperson bei einer solchen Prüfung
WO2010130289A1 (en) * 2009-05-13 2010-11-18 Abb Research Ltd. A teach pendant unit for an industrial robot and a service system
US20100315329A1 (en) * 2009-06-12 2010-12-16 Southwest Research Institute Wearable workspace
KR101229078B1 (ko) * 2009-12-21 2013-02-04 한국전자통신연구원 실내외 상황인식 기반의 모바일 혼합현실 콘텐츠 운용 장치 및 방법
US8947455B2 (en) 2010-02-22 2015-02-03 Nike, Inc. Augmented reality design system
US8860760B2 (en) 2010-09-25 2014-10-14 Teledyne Scientific & Imaging, Llc Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
KR101788046B1 (ko) * 2010-11-03 2017-10-19 엘지전자 주식회사 이동 단말기 및 그 제어방법
US8738754B2 (en) * 2011-04-07 2014-05-27 International Business Machines Corporation Systems and methods for managing computing systems utilizing augmented reality
WO2012170074A2 (en) * 2011-06-06 2012-12-13 Rataul Balbir Resource scheduling method and system for use with computer directed assembly and manufacture
DE102012002657A1 (de) 2012-02-10 2013-08-14 Weber Maschinenbau Gmbh Breidenbach Vorrichtung mit erweiterter Realität
US9171209B2 (en) 2012-02-23 2015-10-27 Tyco Electronics Uk Infrastructure Limited Overlay-based asset location and identification system
WO2013141862A1 (en) 2012-03-22 2013-09-26 Empire Technology Development Llc Augmented reality process for sorting materials
DE102012208135A1 (de) * 2012-05-15 2013-11-21 Siemens Aktiengesellschaft Zuordnen eines Auftrags von einem Auftraggeber an einen Auftragnehmer
JP5936138B2 (ja) * 2013-06-19 2016-06-15 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 操作手順書を生成する装置及び方法
US9606525B2 (en) * 2013-12-23 2017-03-28 Mitutoyo Corporation Remote accessory for generating customized and synchronized reference notes for a programmable metrology system
FR3017736B1 (fr) * 2014-02-14 2016-03-18 Dassault Aviat Procede de realisation d'une fiche d'instructions de montage et/ou d'utilisation d'un ensemble fonctionnel d'une plate-forme, et systeme associe
US9865058B2 (en) * 2014-02-19 2018-01-09 Daqri, Llc Three-dimensional mapping system
US10332314B2 (en) 2014-05-07 2019-06-25 Commscope Technologies Llc Hands-free asset identification, location and management system
DE102014213021A1 (de) 2014-07-04 2016-01-07 Bayerische Motoren Werke Aktiengesellschaft Lokalisierung eines HMD im Fahrzeug
DE102015201290A1 (de) 2015-01-26 2016-07-28 Prüftechnik Dieter Busch AG Positionieren zweier Körper mittels eines Ausrichtsystems mit einer Datenbrille
DE102015207134A1 (de) * 2015-04-20 2016-10-20 Prüftechnik Dieter Busch AG Verfahren zum Erfassen von Vibrationen einer Vorrichtung und Vibrationserfassungssystem
DE102016106010B4 (de) * 2016-04-01 2020-08-13 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren zur Unterstützung der Montage eines Bauteils und Montageunterstützungssystem hierzu
PT3260255T (pt) * 2016-06-24 2019-11-29 Zuend Systemtechnik Ag Sistema de corte de produto para corte
FR3057950B1 (fr) 2016-10-24 2018-10-19 Nexter Systems Procede d'aide a la localisation d'un objectif et dispositif d'observation permettant la mise en oeuvre de ce procede
US10471478B2 (en) 2017-04-28 2019-11-12 United Parcel Service Of America, Inc. Conveyor belt assembly for identifying an asset sort location and methods of utilizing the same
US10748443B2 (en) * 2017-06-08 2020-08-18 Honeywell International Inc. Apparatus and method for visual-assisted training, collaboration, and monitoring in augmented/virtual reality in industrial automation systems and other systems
US10403046B2 (en) 2017-10-20 2019-09-03 Raytheon Company Field of view (FOV) and key code limited augmented reality to enforce data capture and transmission compliance
DE102017219067A1 (de) * 2017-10-25 2019-04-25 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und verfahren zur visuellen unterstützung eines benutzers in einem arbeitsumfeld
US11132479B1 (en) 2017-12-29 2021-09-28 II John Tyson Augmented reality system for component assembly and archival baseline clone
US11486697B1 (en) 2017-12-29 2022-11-01 II John Tyson Optical structural health monitoring
TWI659279B (zh) * 2018-02-02 2019-05-11 國立清華大學 基於擴充實境的加工規劃設備
DE102018201711B4 (de) 2018-02-05 2020-07-02 Vypii GmbH Anordnung und Verfahren zum Bereitstellen von Informationen bei einer kopftragbaren erweiterte-Realität-Vorrichtung
US11080938B1 (en) 2020-03-30 2021-08-03 International Business Machines Corporation Automatic summarization of remotely-guided augmented reality sessions
SE545118C2 (en) * 2021-09-16 2023-04-04 Atlas Copco Ind Technique Ab Assembly process documentation system and method
US11696011B2 (en) 2021-10-21 2023-07-04 Raytheon Company Predictive field-of-view (FOV) and cueing to enforce data capture and transmission compliance in real and near real time video
US11792499B2 (en) 2021-10-21 2023-10-17 Raytheon Company Time-delay to enforce data capture and transmission compliance in real and near real time video
CN114815779B (zh) * 2022-04-25 2023-01-10 深圳市希车智能科技有限公司 基于ar与vr的汽车远程交互诊断方法、***及其存储介质
US11700448B1 (en) 2022-04-29 2023-07-11 Raytheon Company Computer/human generation, validation and use of a ground truth map to enforce data capture and transmission compliance in real and near real time video of a local scene

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5729471A (en) * 1995-03-31 1998-03-17 The Regents Of The University Of California Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene
US6400374B2 (en) * 1996-09-18 2002-06-04 Eyematic Interfaces, Inc. Video superposition system and method
US6094625A (en) * 1997-07-03 2000-07-25 Trimble Navigation Limited Augmented vision for survey work and machine control
US6195104B1 (en) * 1997-12-23 2001-02-27 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US7230582B1 (en) * 1999-02-12 2007-06-12 Fisher-Rosemount Systems, Inc. Wearable computer in a process control environment
JP2003524814A (ja) * 1999-03-02 2003-08-19 シーメンス アクチエンゲゼルシヤフト 情報データ、特にサービス報告書の情報データを音声ベースで検出する強調現実感システム
US6330356B1 (en) * 1999-09-29 2001-12-11 Rockwell Science Center Llc Dynamic visual registration of a 3-D object with a graphical model
DE10108064A1 (de) 2001-02-20 2002-09-05 Siemens Ag Verknüpfte Eye-Tracking-Information innerhalb eines Augmented-Reality-Systems
DE20109937U1 (de) * 2001-06-15 2001-09-13 Daimler Chrysler Ag System für "Erweiterte Realität" mit mobilem Endgerät

Also Published As

Publication number Publication date
US20050021281A1 (en) 2005-01-27
DE10159610B4 (de) 2004-02-26
EP1451652A1 (de) 2004-09-01
US7110909B2 (en) 2006-09-19
EP1451652B1 (de) 2005-04-06
DE50202745D1 (de) 2005-05-12
DE10159610A1 (de) 2003-07-10
ATE292814T1 (de) 2005-04-15
WO2003050626A1 (de) 2003-06-19

Similar Documents

Publication Publication Date Title
ES2240837T3 (es) Sistema y procedimiento para la creacion de una documentacion de procesos de trabajo para la representacion en un sistema de realidad ampliada.
US11417091B2 (en) Use of coordinated local user devices during a shared augmented reality session
US20210383551A1 (en) Fiducial marker patterns, their automatic detection in images, and applications thereof
US20220044019A1 (en) Augmented reality smartglasses for use at cultural sites
CN106468950B (zh) 电子***、便携式显示装置及导引装置
US20170090851A1 (en) Display system, display device, information display method, and program
JP2010512693A (ja) データの付加、記録および通信のためのシステムと方法
CN107656505A (zh) 使用增强现实设备控制人机协作的方法、装置和***
KR20160045342A (ko) 웨어러블 기기를 이용한 차량 제어장치 및 방법
CN113345108B (zh) 增强现实数据展示方法、装置、电子设备及存储介质
CN108510825A (zh) 机器人实训方法及***
CN107305426A (zh) 一种矿井井下场景全景捕捉与重现的设备与方法
US9489724B2 (en) Three-dimensional stereoscopic projection on complex surfaces
CN107230179A (zh) 全景图像的存储方法、展示方法及设备
JP6743080B2 (ja) 表示制御システム及び表示制御方法
CN110956702A (zh) 一种基于时间轴的3d可视化编辑器和编辑方法
CN110888530A (zh) 一种基于电子地图的3d可视化编辑器和编辑方法
ES2244681T3 (es) Diagnosis y mantenimiento de maquinas por medio de la realidad aumentada y transmisiones en tiempo real de mensajes multimedia.
JP6733401B2 (ja) 表示システム、表示装置、情報表示方法、及び、プログラム
Ford et al. Augmented reality and the future of virtual workspaces
CN113989462A (zh) 一种基于增强现实的铁路信号室内设备维护***
WO2021140631A1 (ja) 空間認識システム、空間認識方法、および情報端末
Guizzi et al. Augmented Reality and Virtual Reality: From the Industrial Field to Other Areas
ES2643863A1 (es) Método para proporcionar mediante realidad aumentada guiado, inspección y soporte en instalación o mantenimiento de procesos para ensamblajes complejos compatible con s1000d y dispositivo que hace uso del mismo
KR20140096672A (ko) 마커를 이용한 증강현실 구현 방법 및 그 기록매체