DE102023201313A1 - CONTROL OF AN OPTICAL DISPLAY SYSTEM THROUGH MANIPULATION OF PHYSICAL OBJECTS - Google Patents
CONTROL OF AN OPTICAL DISPLAY SYSTEM THROUGH MANIPULATION OF PHYSICAL OBJECTS Download PDFInfo
- Publication number
- DE102023201313A1 DE102023201313A1 DE102023201313.4A DE102023201313A DE102023201313A1 DE 102023201313 A1 DE102023201313 A1 DE 102023201313A1 DE 102023201313 A DE102023201313 A DE 102023201313A DE 102023201313 A1 DE102023201313 A1 DE 102023201313A1
- Authority
- DE
- Germany
- Prior art keywords
- control object
- visual indicator
- work surface
- projection device
- onto
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003287 optical effect Effects 0.000 title description 9
- 230000000007 visual effect Effects 0.000 claims abstract description 61
- 238000005259 measurement Methods 0.000 claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 28
- 239000003550 marker Substances 0.000 claims abstract description 18
- 230000004044 response Effects 0.000 claims abstract description 7
- 230000033001 locomotion Effects 0.000 claims description 22
- 238000012544 monitoring process Methods 0.000 claims description 10
- 238000005286 illumination Methods 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 claims description 5
- 230000000977 initiatory effect Effects 0.000 claims description 2
- 230000007547 defect Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 239000003973 paint Substances 0.000 description 3
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 229920000049 Carbon (fiber) Polymers 0.000 description 1
- 102100024827 Dynamin-1-like protein Human genes 0.000 description 1
- 101000909218 Homo sapiens Dynamin-1-like protein Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000004917 carbon fiber Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/18—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical projection, e.g. combination of mirror and condenser and objective
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Optics & Photonics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Ein Verfahren und System zum Steuern von Projektion von optischen Anzeigern auf eine Arbeitsoberfläche wird offenbart. Ein Projektionsgerät zum Projizieren eines ersten optischen Anzeigers und eines zweiten optischen Anzeigers auf eine Arbeitsoberfläche wird bereitgestellt. Ein Messsystem überwacht einen Arbeitsbereich, in dem die Arbeitsoberfläche angeordnet ist. Das Messsystem verortet ein Steuerobjekt innerhalb des Arbeitsbereichs und identifiziert eine Markierung, die auf dem Steuerobjekt angeordnet ist. Das Messsystem überwacht eine erste Anordnung und eine zweite Anordnung des Steuerobjekts. Das Projektionsgerät projiziert den ersten optischen Anzeiger auf die Arbeitsoberfläche und das Projektionsgerät projiziert den zweiten optischen Anzeiger auf die Arbeitsoberfläche als Antwort auf Manipulation des Steuerobjekts zwischen der ersten Anordnung und der zweiten Anordnung, wie durch das Messsystem detektiert.A method and system for controlling projection of visual indicators onto a work surface is disclosed. A projection device for projecting a first visual indicator and a second visual indicator onto a work surface is provided. A measurement system monitors a work area in which the work surface is arranged. The measurement system locates a control object within the workspace and identifies a marker placed on the control object. The measurement system monitors a first arrangement and a second arrangement of the control object. The projection device projects the first visual indicator onto the work surface and the projection device projects the second visual indicator onto the work surface in response to manipulation of the control object between the first assembly and the second assembly as detected by the measurement system.
Description
FRÜHERE ANMELDUNGENPREVIOUS REGISTRATION
Die vorliegende Anmeldung beansprucht die Priorität der vorläufigen
TECHNISCHES GEBIETTECHNICAL AREA
Die vorliegende Erfindung bezieht sich allgemein auf ein Verfahren zum Anzeigen von optischen Anzeigern unter Verwendung eines Lichtprojektors. Insbesondere ist die vorliegende Erfindung darauf gerichtet, eine verbesserte Benutzerschnittstelle bereitzustellen, die Steuerung der optischen Anzeiger durch Manipulation von physikalischen Objekten ermöglicht.The present invention relates generally to a method of displaying visual indicators using a light projector. In particular, the present invention is directed to providing an improved user interface that allows control of visual indicators through manipulation of physical objects.
HINTERGRUNDBACKGROUND
Optische Anzeiger werden auf Arbeitsoberflächen projiziert, um eine präzise Platzierung von Teilen zu führen und Merkmale zu verorten, die bei vielen manuellen Montage- oder Herstellungsprozessaufgaben von Interesse sind, wie beispielsweise das Platzieren von vorgeschnittenen Kohlefaserplatten zum Montieren von Flugzeugkomponenten oder das Inspizieren und Korrigieren von Defekten in einer Teiloberfläche oder einer Finishing-Schicht. Typischerweise wird der optische Anzeiger durch Projizieren eines Laserstrahls von einem Paar von rotierenden Galvanometerspiegeln angezeigt, um ein gewünschtes 3D-Musterprofil zu verfolgen, das als Montagehilfe oder Vorlage auf einer Teiloberfläche dient. Wenn mit ausreichender Lasergeschwindigkeit verfolgt wird, erscheint der optische Anzeiger als ein stabiles, flimmerfreies Bild, um die Montage- oder Herstellungsprozessaufgabe zu führen.Visual indicators are projected onto work surfaces to guide precise part placement and locate features of interest in many manual assembly or manufacturing process tasks, such as placing pre-cut carbon fiber sheets for assembling aircraft components or inspecting and correcting defects in a partial surface or a finishing layer. Typically, the visual indicator is displayed by projecting a laser beam from a pair of rotating galvanometer mirrors to trace a desired 3D pattern profile that serves as a mounting aid or template on a part surface. When tracked with sufficient laser speed, the visual indicator appears as a stable, flicker-free image to guide the assembly or manufacturing process task.
Herkömmlicherweise, wie in
Während diese Technik für bestimmte Anwendungen geeignet ist, wie beispielsweise die Herstellung von zusammengesetzten Flugzeugkomponenten, können Ressourcen, die beim Montieren und präzisen Messen von Zielorten auf Teilen oder Werkzeugen involviert sind, für andere Anwendungen ungeeignet sein. Eine schnellere Ausrichtung, Laserprojektion und Bedienerrückmeldung sind notwendig.While this technique is appropriate for certain applications, such as the manufacture of assembled aircraft components, resources involved in assembling and precisely measuring target locations on parts or tooling may be unsuitable for other applications. Faster alignment, laser projection and operator feedback are needed.
Um die Einschränkungen herkömmlicher Laserprojektionssysteme zu überwinden, wurde kamerabasierte Photogrammetrie integriert, um eine direkte Messung eines Orts auf der Teil- oder Werkzeugoberfläche relativ zu dem Projektor zu ermöglichen. Ein solches System, das kamerabasierte Photogrammetrie verwendet, ist in dem
Dieser Ansatz wurde weiter in
Navigieren durch eine Überwachungs- oder Montageaufgabe wird durch Bereitstellen von Anweisungen an einen Host-Computer über eine Benutzerschnittstelle durchgeführt. Angesichts der Effizienz bei Verwendung eines optischen Projektionssystems, in dem sich ein Bediener typischerweise in der Nähe eines projizierten Bilds befindet, kann Rückkehren zu dem Host-Computer zu einem bestimmenden Faktor beim rechtzeitigen Abschluss von Montage- und Überwachungsaufgaben werden. Daher ist es vorteilhaft, dem Computer von einem entfernten Ort zu signalisieren. Die Verwendung eines handgehaltenen Fernsteuergeräts ist möglich, kann aber verwirrend sein, wenn komplizierte Auswahlen involviert sind, wie beispielsweise Bereitstellen mehrerer Tasten auf dem Fernsteuergerät oder das Erfordernis einer Wiederverwendung einer kleineren Anzahl von Tasten. Weiterhin kann das Fernsteuergerät verloren gehen, kaputt gehen oder gestohlen werden.Navigating through a monitoring or assembly task is performed by providing instructions to a host computer via a user interface. Given the efficiency of using an optical projection system in which an operator is typically in proximity to a projected image, Returns to the host computer are becoming a determining factor in the timely completion of assembly and monitoring tasks. Therefore, it is advantageous to signal the computer from a remote location. Using a handheld remote controller is possible, but can be confusing when complicated choices are involved, such as providing multiple buttons on the remote controller or requiring a smaller number of buttons to be reused. Furthermore, the remote control device can be lost, broken or stolen.
Um diese Schwierigkeiten zu überwinden, projizieren Laserprojektoren 10, wie sie in dem
Projizierte Menüs dieser Art haben jedoch bekannte Nachteile. Erstens erhöht das Projizieren des Menüs die Anforderung an das Projektionssystem, was die Effizienz verringert. Die projizierten Symbolmuster 26-36 und andere angezeigte Muster werden nacheinander durch einen Scanpfad des Laserstrahls 38 angezeigt, was Flackern erzeugt, wenn der Pfad des Lasers zu lang ist, wie es erforderlich ist, wenn mehrere Symbolmuster 26-36 projiziert werden, aus denen ein Bediener auswählen soll. Zweitens sind Vorkehrungen erforderlich, um das Menü zu aktivieren, typischerweise durch Erzeugen spezieller Startmerkmale in einem projizierten Muster in geeigneten Intervallen. Weiterhin ist es erforderlich, dass das Menü auf eine geeignete Oberfläche (d. h. flach und in einem geeigneten Winkel zu dem Laserprojektor 10) projiziert wird, um deutlich sichtbar zu sein. Zusammenarbeit scheitert im Allgemeinen, wenn Bewegung des Bedieners das retroreflektierende Patch 24 aus dem Laserstrahl 38 herausnimmt, dahin, wo es nicht erfasst werden kann (z. B. um ein projiziertes Merkmal zu einem gewünschten Ort zu ziehen).However, projected menus of this type have known disadvantages. First, projecting the menu increases the demand on the projection system, which reduces efficiency. The projected symbol patterns 26-36 and other displayed patterns are sequentially displayed through a scanning path of the
Keines dieser Systeme ist nützlich, um eine vollständige Schnittstelle zwischen einem Bediener und der Steuerung zum Signalisieren eines Fortschritts von Arbeitsaufgaben in Echtzeit bereitzustellen. Daher wäre es wünschenswert, ein Proj ektionssystem zu entwickeln, das es einem Bediener ermöglicht, einen Fortschritt von Arbeitsaufgaben vollständiger zu steuern, während er von der Steuerung entfernt ist.Neither of these systems is useful for providing a full interface between an operator and the controller for signaling real-time progress of work items. Therefore, it would be desirable to develop a projection system that allows an operator to more fully control progress of work items while away from control.
ZUSAMMENFASSUNGSUMMARY
Ein Verfahren und System zum Steuern von Projektion von optischen Anzeigern auf eine Arbeitsoberfläche ist offenbart. Ein Projektionsgerät zum Projizieren eines ersten optischen Anzeigers und eines zweiten optischen Anzeigers auf eine Arbeitsoberfläche wird bereitgestellt. Ein Messsystem überwacht einen Arbeitsbereich, in dem die Arbeitsoberfläche angeordnet ist. Das Messsystem verortet ein Steuerobjekt innerhalb des Arbeitsbereichs und identifiziert eine Markierung, die auf dem Steuerobjekt angeordnet ist. Das Messsystem überwacht eine erste Anordnung und eine zweite Anordnung des Steuerobjekts. Das Projektionsgerät projiziert den ersten optischen Anzeiger auf die Arbeitsoberfläche und das Projektionsgerät projiziert den zweiten optischen Anzeiger auf die Arbeitsoberfläche als Antwort auf Manipulation des Steuerobjekts zwischen der ersten Anordnung und der zweiten Anordnung, wie durch das Messsystem detektiert.A method and system for controlling projection of visual indicators onto a work surface is disclosed. A projection device for projecting a first visual indicator and a second visual indicator onto a work surface is provided. A measurement system monitors a work area in which the work surface is arranged. The measurement system locates a control object within the workspace and identifies a marker placed on the control object. The measurement system monitors a first arrangement and a second arrangement of the control object. The projection device projects the first visual indicator onto the work surface and the projection device projects the second visual indicator onto the work surface in response to manipulation of the control object between the first assembly and the second assembly as detected by the measurement system.
Das Verfahren und System der vorliegenden Erfindung stellt einem Bediener die Fähigkeit bereit, eine Schnittstelle mit einer Steuerung zu bilden, die eine Echtzeit-Rückmeldung an die Steuerung über Ausführung und Abschluss von Arbeitsaufgaben bereitstellt. Das Messsystem verfolgt Bewegung des Steuerobjekts, um eine Anordnung einer Arbeitsfunktion auf einer Arbeitsoberfläche zu bestimmen. In einer Ausführungsform überwacht das Messsystem Arten von Bewegung des Steuerobjekts, die Implementierung einer Arbeitsfunktion und anschließenden Abschluss einer Arbeitsfunktion anzeigen. In einer alternativen Ausführungsform wird ein Bediener angewiesen, vorbestimmte Bewegungen vorzunehmen, um dem Messsystem verschiedene Stufen einer Arbeitsfunktion zu signalisieren, d. h. Beginn, Fortschritt, Abschluss, usw. In jedem Fall signalisiert das Messsystem einer Steuerung, die Projektion eines Laserbilds auf die Arbeitsoberfläche zu modifizieren, um den Bediener zu der nächsten Arbeitsfunktion zu leiten. Es wird in Betracht gezogen, dass Arbeitsfunktionen Farbreparaturen, Lagenaufbau, Bearbeitung, Montage, Dekor-Anbringung, und dergleichen enthalten, sind aber nicht darauf beschränkt.The method and system of the present invention provides an operator with the ability to interface with a controller that provides real-time feedback to the controller on the execution and completion of work tasks. The measurement system tracks movement of the control object to determine placement of a work function on a work surface. In one embodiment, the measurement system monitors types of movement of the control object that indicate implementation of a work function and subsequent completion of a work function. In an alternative embodiment, an operator is instructed to make predetermined movements to signal to the measurement system various stages of a work function, i. H. Beginning, progress, completion, etc. In each case, the measurement system signals a controller to modify the projection of a laser image onto the work surface to direct the operator to the next work function. It is contemplated that job functions include, but are not limited to, paint repairs, build-up, machining, assembly, decal attachment, and the like.
Figurenlistecharacter list
Die Vorteile der vorliegenden Offenbarung werden sofort gewürdigt, wenn diese durch Bezugnahme auf die folgende ausführliche Beschreibung besser verstanden wird, und wenn diese in Verbindung mit den beigefügten Zeichnungen betrachtet wird, wobei:
-
1 einen Laserprojektor zeigt, der reflektierende Ziele scannt, die an einem Werkstück befestigt sind; -
2 einen Laserprojektor zeigt, der eine Vorlage auf einer Arbeitsoberfläche eines Werkstücks scannt, nachdem das Werkstück relativ zu dem Laserprojektor registriert wurde; -
3 ein Laserprojektionssystem in Kombination mit einem Photogrammetriesystem zeigt, das verwendet wird, um den Laserprojektor relativ zu einem Werkstück zu registrieren; -
4 das Symbolsystem nach dem Stand der Technik zeigt; -
5 eine erste Ausführungsform eines Laserprojektionssystems der vorliegenden Erfindung zeigt; -
6 eine alternative Ausführungsform des Steuerobjekts in Form eines Handschuhs zeigt; -
7 eine weitere alternative Ausführungsform des Steuerobjekts.
-
1 shows a laser projector scanning reflective targets attached to a workpiece; -
2 Figure 12 shows a laser projector scanning a template on a work surface of a workpiece after the workpiece has been registered relative to the laser projector; -
3 Figure 12 shows a laser projection system in combination with a photogrammetry system used to register the laser projector relative to a workpiece; -
4 shows the prior art symbol system; -
5 Figure 12 shows a first embodiment of a laser projection system of the present invention; -
6 Figure 12 shows an alternative embodiment of the control object in the form of a glove; -
7 another alternative embodiment of the control object.
DETAILLIERTE BESCHREIBUNGDETAILED DESCRIPTION
Unter Bezugnahme auf
Ein Ort des Laserprojektors 62 wird in einem gemeinsamen Koordinatensystem relativ zu der Arbeitsoberfläche 66 registriert, indem eine Arbeitsoberflächenmarkierung 70 auf herkömmliche Weise gescannt wird. In einer Ausführungsform ist die Arbeitsoberflächenmarkierung 70 ein retroreflektierendes Ziel, das sich auf einem Bezugspunkt oder einem anderen vorbestimmten Ort des Werkstücks 68 oder der Arbeitsoberfläche 66 befindet, so dass eine präzise Projektion des ersten optischen Anzeigers 64 erreicht wird. Alternative Markierungen sind ebenfalls innerhalb des Umfangs dieser Erfindung enthalten, einschließlich, aber nicht beschränkt auf codierte Ziele, sphärische retroreflektierende Ziele und Kombinationsmarkierungen.A location of the
Ein Messgerät 72 nimmt die Form eines Photogrammetriesystems an, das eine erste Kamera 74 und eine zweite Kamera 76 enthält. Es sollte für den Durchschnittsfachmann verständlich sein, dass ein Photogrammetriesystem, das eine einzelne Kamera enthält, ebenfalls innerhalb des Umfangs dieser Erfindung liegt. Jede Kamera 74, 76 enthält eine Beleuchtungsquelle 78, 80, die verwendet wird, um einen Arbeitsbereich 82 zu beleuchten, in dem das Werkstück 68 angeordnet ist. In einer Ausführungsform nimmt die Beleuchtungsquelle 78, 80 die Form eines Arrays von Leuchtdioden an, die in vorbestimmten oder periodischen Intervallen basierend auf gewünschten Beleuchtungsraten innerhalb des Arbeitsbereichs 82 blinken. Jede Kamera 74, 76 enthält einen Lichtsensor 84, wie beispielsweise einen CCD- oder CMOS-Sensor, der Pixel zum Identifizieren von reflektiertem Licht enthält, das von den Beleuchtungsquellen 78, 80 stammt, deren Zweck weiter unten erläutert wird.A
Das Projektionsgerät 62 und das Messgerät 72 sind elektronisch über eine Steuerung 86 verbunden. In einer Ausführungsform sind das Projektionsgerät 62 und das Messgerät 72 separate Elemente, die innerhalb eines gemeinsamen Koordinatensystems unter Verwendung von Techniken registriert werden, die in dem
Ein Steuerobjekt 88 ist ebenfalls innerhalb des Arbeitsbereichs 82 angeordnet. Eine Steuermarkierung 90 ist an dem Steuerobjekt 88 befestigt. Die Steuermarkierung 90 nimmt die Form eines retroreflektierenden Ziels an, das auf bekannte Weise funktioniert. In alternativen Ausführungsformen sind mehrere Steuerobjekte 88, die jeweils eine Steuermarkierung 90 enthalten, innerhalb des Arbeitsbereichs 82 angeordnet. In einigen Fällen kann es vorteilhaft sein, dass eine Steuermarkierung von einer anderen Steuermarkierung durch Encodieren oder dergleichen unterscheidbar ist.A
In einer Ausführungsform können mehr als ein Projektionsgerät 62 implementiert sein, um adäquate Abdeckung großer Arbeitsbereiche 82 bereitzustellen. Es sollte verstanden werden, dass das Projektionssystem 60 mittels eines oder mehrerer Laserprojektoren 62 in der Lage ist, optische Anzeiger 64 auf eine oder mehrere Arbeitsoberflächen 66 zu projizieren. Der optische Anzeiger 64 kann, wie oben dargelegt, ein optisches Vorlagenmuster sein, um die Platzierung von Komponenten auf der Arbeitsoberfläche 66 zu führen, oder die Form eines Punkts oder eines ähnlichen Anzeigers annehmen, der auf einen Behälter projiziert wird, um einen Bediener anzuweisen, wo ein nächstes Teil auszuwählen ist, wenn eine Montageaufgabe koordiniert wird. Wie oben angedeutet, kann der optische Anzeiger 88 auch dazu dienen, Defekte auf der Arbeitsoberfläche 66 zu identifizieren und hervorzuheben, wie in der gleichzeitig anhängigen
Ein oder mehrere Steuerobjekte 88 können verwendet werden, um den optischen Anzeiger 66 zu manipulieren und die Steuerung 86 anzuweisen, zwischen einem ersten optischen Anzeiger und einem zweiten optischen Anzeiger umzuschalten, die Bedienereingaben zwischen einer ersten Arbeitsfunktion und einer zweiten Arbeitsfunktion bereitstellen. Das Messsystem 72 verfolgt die relativen Positionen der Arbeitsoberfläche 82 und des Steuerobjekts 88 durch Verfolgen der Arbeitsoberflächenmarkierung 70 und der Steuermarkierung 90. Die Markierungen 70, 90 werden gemäß dem Messsystem 72 ausgewählt, das retroreflektierende Scheiben, elektronische Sensoren oder andere Markierungen wie gedruckte QR-Codes enthalten kann, um zwischen Markierungen zu unterscheiden, die mit dem System verwendet werden. Die Markierungen 70, 90 sind an vorbestimmten Orten sowohl des Arbeitsbereichs 66 als auch des Steuerobjekts 88 angeordnet, wie beispielsweise an Bezugspunkten.One or more control objects 88 may be used to manipulate
Das Projektionsgerät 62 identifiziert mittels eines Laserstrahls 92 oder anderer Lichtemission die Markierungen 70, 90 in gemeinsamer Koordination mit dem Messsystem 72, um die Position der Arbeitsoberfläche 66 und des Steuerobjekts 88 innerhalb eines gemeinsamen dreidimensionalen Koordinatensystems zur Verwendung zum genauen Projizieren des optischen Anzeigers 64 zu bestimmen. Dies wird durch Reflexion des Laserstrahls 92 zu einem Lasersensor 94 in bekannter Weise erreicht.The
Die photogrammetrische Messung mittels des Messgeräts 72 arbeitet in Kombination mit den Markierungen 70, 90, so dass der optische Anzeiger 64 relativ zu der Arbeitsoberfläche 66 im Wesentlichen stationär bleibt, auch wenn die Arbeitsoberfläche 66 bewegt oder manipuliert wird. Als solches stellt das Messgerät 72 Bewegungskompensation und Echtzeitanpassung für Drift bereit, auch wenn dynamische oder unerwartete Bewegung der Arbeitsoberfläche 66 auftritt.The photogrammetric measurement by the
Wie oben dargelegt, ist das Steuerobjekt 88 während des Betriebs innerhalb des Arbeitsbereichs 82 angeordnet. Das Steuerobjekt 88 wird durch das Messgerät 72 passiv verfolgt, ohne dass das Projektionsgerät 62 den Laserstrahl 92 über die Steuermarkierung 90 scannen muss. Die Verwendung des Steuerobjekts 88 wird durch eine Bedienerrückmeldungsanzeige 94 unterstützt, die durch das Projektionsgerät 62 dynamisch auf eine Oberfläche des Steuerobjekts 88 projiziert wird, wenn es manipuliert wird. Während Bewegung des Steuerobjekts 88 durch den Bediener durch das Messgerät 72 überwacht wird, projiziert das Projektionsgerät 62 die Rückmeldungsanzeige 94 dynamisch auf das Steuerobjekt 88 entweder separat oder in Verbindung mit dem optischen Anzeiger 64, der auf die Arbeitsoberfläche 66 projiziert wird, selbst während sich das Steuergerät 62 bewegt.As discussed above, the
In einer Ausführungsform wird Drehung des Steuerobjekts 88 verwendet, um einen Betriebsmodus auszuwählen, wie beispielsweise Dateiladen oder Durchgehen durch eine Abfolge von optischen Anzeigern 64. Die Drehung oder andere Bewegung des Steuerobjekts 88 wird durch das Messgerät 72 verfolgt und an die Steuerung 86 zur Interpretation signalisiert. Sobald interpretiert, wird ein aktueller Betriebsmodus durch die Rückmeldungsanzeige 94 angezeigt, die auf das Steuerobjekt 88 projiziert wird, als ein Dateisymbol, das durch das Projektionsgerät 62 projiziert wird. Sobald der aktuelle Betriebsmodus auf dem Steuerobjekt 88 angezeigt wird, was dem Bediener verifiziert, welcher Modus implementiert wurde, wird eine Skala der Rückmeldungsanzeige 94 vorübergehend modifiziert, um dem Bediener Rückmeldung bereitzustellen, dass eine Auswahl auf ähnliche Weise wie eine übertriebene Darstellung des Drückens einer Taste aufgetreten ist. Wenn der geeignete Betriebsmodus auf dem Steuerobjekt 88 angezeigt wird, kann das Steuerobjekt 88 nach links oder rechts bewegt werden, oder eine andere Bewegung kann durchgeführt werden, um Fortschritt durch optische Anzeiger 64 zu signalisieren, wie beispielsweise einen ersten optischen Anzeiger und einen zweiten optischen Anzeiger, oder das gesteuerte bewegte Objekt 88 kann angehoben werden, um anzuzeigen, dass ein Prozessschritt abgeschlossen wurde. Diese Bewegungen des Steuerobjekts 88 sind nur beispielhaft. Andersartige Bewegung kann verwendet werden, um der Steuerung 86 durch das Messgerät 72 Start oder Abschluss einer Arbeitsfunktion zu signalisieren.Wenn das Steuerobjekt 88 freigegeben wird und wieder stationär ist, wird die Rückmeldungsanzeige 94 nicht mehr projiziert und das Messsystem 72 kehrt zum passiven Überwachen von Bewegung und Position des Steuerobjekts 88 zurück.In one embodiment, rotation of the
Obwohl frühere Ausführungsformen eine einzige Verwendung des Steuerobjekts 88 veranschaulichen, sind alternative Implementierungen des Steuerobjekts 88 und Verfahren zur Manipulation oder Zusammenarbeit zwischen dem Steuerobjekt 56 und dem Projektionssystem 60 auch möglich. Zum Beispiel ist eine alternative Ausführungsform des optischen Anzeigesystems, d. h. das Projektionssystem 60 enthält ein alternatives Steuerobjekt, allgemein bei 96 gezeigt. In dieser Ausführungsform ist eine alternative Markierung 98 an der Rückseite eines Handschuhs 100 befestigt. Der Handschuh 100 wird von einem Bediener getragen, wodurch im Wesentlichen die Hand des Bedieners in das alternative Steuerobjekt 96 umgewandelt wird. Durch Aussetzen der Rückseite des Handschuhs 100 an das Messgerät 72 beginnt das Messgerät 72, den Handschuh 100 zu verfolgen, wodurch das Projektionsgerät 62 in die Lage versetzt wird, die Rückmeldungsanzeige 94 direkt auf den Handschuh 100 zu projizieren. Der Bediener kann den Handschuh auch nach rechts oder links schwenken, um den Überwachungsstatus eines Defektorts oder den Abschluss einer Montageaufgabe anzuzeigen, wie aktuell durch den optischen Anzeiger 64 identifiziert. Der Bediener kann auch den Handschuh 100 absenken, um fortzufahren, um einen nachfolgenden Defektort für einen Überwachungs- oder Montageschritt zu projizieren, wodurch ein nachfolgender Schritt eingeleitet wird, der durch Projektion des nächsten oder nachfolgenden optischen Anzeigers 64 identifiziert wird. Noch weiter führt das teilweise Abdecken der alternativen Markierung 98 mit zum Beispiel einem Hemdärmel oder durch zu abruptes Bewegen, als dass das Messgerät 62 der alternativen Markierung 98 folgen könnte, zur Beendigung der Projektionszusammenarbeit zwischen dem Projektionssystem 60 und dem Bediener.Although previous embodiments illustrate a single use of
Eine weitere alternative Ausführungsform des Steuerobjekts ist bei 102 in
In einer noch weiteren Ausführungsform verwendet das Projektionssystem 60 der vorliegenden Erfindung ein Werkstück als das Steuerobjekt 56. Das Werkstück enthält eine Arbeitsoberfläche 66, wie beispielsweise eine Oberfläche eines Sitzpolsters oder andere Objekte, was Vorlagenanweisungen erfordert, um einen Bediener durch eine Abfolge von Montageaufgaben zu leiten. Somit fungiert das Werkstück, auf das der optische Anzeiger 64 projiziert wird, als das Steuerobjekt. Auf eine ähnliche Weise wie oben beschrieben wird die Arbeitsoberfläche 66 durch das Messgerät 72 passiv überwacht und verfolgt. Der Bediener dreht, bewegt oder hebt das Werkstück 68 nach Abschluss einer Montageaufgabe selbst an, um den Betriebsmodus auszuwählen, durch optische Anzeiger zu verarbeiten oder den Abschluss verschiedener Prozessschritte anzuzeigen.In yet another embodiment, the projection system 60 of the present invention uses a workpiece as the control object 56. The workpiece includes a
Es ist auch möglich, dass das Projektionssystem 60 trainiert wird, Montagebewegungen des Werkstücks 68 während des Montageprozesses als eine Warteschlange zu überwachen oder den Abschluss verschiedener Prozess- oder Montageschritte anzuzeigen. Auf diese Weise muss ein Bediener keine zusätzliche Bewegung des Werkstücks 68 darstellen, um der Steuerung 86 über das Messgerät 72 den Status eines Montageprozesses zu signalisieren. Somit erkennt das optische Anzeigesystem bestimmte Bewegungen des Werkstücks, die den Abschluss einer Aufgabe anzeigen. Nach Abschluss projiziert das Projektionsgerät 62 einen nachfolgenden oder zweiten optischen Anzeiger, der einer nachfolgenden oder zweiten Montageaufgabe entspricht. Beispielsweise würde Drehen oder Anheben des Sitzpolsters nach Installieren einer ersten Klettverschlusskomponente auf dem Sitzpolster dem Messgerät 72 signalisieren, ein nachfolgendes Vorlagenmuster zu projizieren, das einer zweiten schnelleren Klettverschlusskomponente entspricht, die auf dem Sitzpolster installiert werden soll. Daher erhöht das Verwenden eines Teils oder einer Komponente als ein Steuerobjekt 88 die Effizienz in Bezug auf Steuern der Projektion eines optischen Anzeigers 64 weiter.It is also possible for the projection system 60 to be trained to monitor assembly movements of the
Gelegentlich kann der Ort der Projektion des optischen Anzeigers 64 Anpassung oder Ausrichtung benötigen, wenn er auf die Arbeitsoberfläche 66 projiziert wird. Die Arbeitsoberflächenmarkierungen 70 können daher einzeln auf der Arbeitsoberfläche 66 manipuliert werden, um den optischen Anzeiger 70 in einer präzisen Ausrichtung innerhalb der Arbeitsoberfläche 66 anzupassen und zu befestigen. Wenn das Messgerät 72 Manipulation der Arbeitsoberflächenmarkierung 70 detektiert, projiziert das Projektionsgerät 62 automatisch ein Ausrichtungsvorlagenmuster, das konfiguriert ist, um dabei zu helfen, wichtige Merkmale der Arbeitsoberfläche 66 zu identifizieren, um einen Bediener bei manueller Ausrichtung der Arbeitsoberflächenmarkierung 70 zu unterstützen. Es sollte verstanden werden, dass das Ausrichtungsvorlagenmuster 64 sich dann simultan bewegt mit den Arbeitsoberflächenmarkierungen 70, was dem Benutzer erlaubt, die Arbeitsoberflächenmarkierungen 70 richtig auf der Arbeitsoberfläche 66 zu platzieren, um das Projektionsgerät 62 effizient in dem gemeinsamen Koordinatensystem mit dem Werkstück 68 zu kalibrieren.Occasionally, the location of the projection of the
Andere Variationen des richtigen Ausrichtens oder Anpassens des optischen Anzeigers 64 auf der Arbeitsoberfläche 66 sind ebenfalls möglich, ohne den Umfang der Erfindung zu verändern. Beispielsweise kann das Projektionsgerät 62 zuerst das Ausrichtungsvorlagenmuster auf einen vorbestimmten Ort im Arbeitsbereich 82 und auf die Arbeitsoberfläche 66 projizieren. Durch diese Projektionen wird manuelle Ausrichtung des Werkstücks 68 erreicht, gefolgt von manueller Ausrichtung der Arbeitsoberflächenmarkierung 70, die anschließend platziert wird, um Ausrichtung des Vorlagenmusters 64 abzugleichen. Alternativ kann die Arbeitsoberflächenmarkierung 70 zuerst auf der Arbeitsoberfläche 66 platziert und durch manuelle Manipulation bewegt werden, um das Ausrichtungsvorlagenmuster abzugleichen, das durch das Projektionsgerät 62 basierend auf ursprünglicher Platzierung der Markierung 70 oder der Markierungen 70 projiziert wird.Other variations of properly aligning or adjusting the
Die Erfindung der vorliegenden Anmeldung stellt eine einzigartige Fähigkeit für Bediener bereit, Echtzeit-Rückmeldung an entfernten Orten an eine Steuerung zum präzisen Verfolgen einer Abfolge von Herstellungsereignissen bereitzustellen. In dem Beispiel, in dem der Handschuh 100 als das Steuerobjekt 96 fungiert, verfolgt das Messgerät 72 den Handschuh 100 zum Beispiel auf einen Farbdefekt durch nahe Identifizierung mit einem Zeigefinger. Der Laserprojektor 62 identifiziert in dieser Ausführungsform ein Zielobjekt entlang des Pfads, auf den der Bediener zeigt, aber der aktuell außer Reichweite des Bedieners ist, wie etwa einen Farbdefekt oder ein anderes Objekt, das anfänglich durch die automatisierte Überwachung übersehen wurde. Sobald der Handschuh 100 oder genauer die alternative Steuermarkierung 98 detektiert wird, wird Rückmeldung an den Bediener durch Projektion der Rückmeldungsanzeige 94 auf die Rückseite des Handschuhs 100 bereitgestellt. In einer Ausführungsform wird eine Defekt-ID oder ein Montagestatus als die Rückmeldungsanzeige 94 projiziert. Sobald eine Aufgabe abgeschlossen ist, muss der Bediener lediglich seine Hand schwenken, um den Status an der Steuerung 86 über Detektion der Handbewegung durch das Messgerät 72 zu ändern. Es ist auch möglich, dass die Rückmeldungsanzeige 94 auf die Arbeitsoberfläche 66 projiziert wird, wodurch der Status einer Aufgabe angezeigt wird. Der Status aller erforderlichen und abgeschlossenen Aufgaben wird auf dem Weg der Steuerung oder über Cloud-Speicherung verfolgt und Dateien werden aktualisiert, um automatisch elektronische Überwachung einer Abfolge einer erforderlichen Aufgabe bereitzustellen. Wenn die vollständige Abfolge abgeschlossen ist, wird eine Rückmeldungsanzeige 94, die den Abschluss anzeigt, entweder auf das Steuerobjekt 88, 90, 104 oder auf die Arbeitsoberfläche 66 wie gewünscht projiziert.The invention of the present application provides a unique ability for operators to provide real-time feedback at remote locations to a controller for precisely tracking a sequence of manufacturing events. In the example where the
Der Laserprojektor 62 ist in der Lage, gleichzeitig mehrere optische Anzeiger 64 und Rückmeldungsanzeigen 94 zu übertragen. Beispielsweise können Fadenkreuze auf eine Arbeitsoberfläche 66 projiziert werden, wodurch Orte identifiziert werden, an denen Schweißbolzen benötigt werden. Ein erster Bediener markiert die Fadenkreuzorte mit einem Mittelstempel. Ein zweiter Bediener installiert die Schweißbolzen an den markierten Orten. Eine beliebige Anzahl von Bedienern arbeitet gleichzeitig, wobei alle durch die Abfolge der projizierten Rückmeldungsanzeigen 94 koordiniert werden, wie sie durch den Bediener ausgelöst werden, der das Steuerobjekt 88, 96, 104 manipuliert.The
Die Erfindung wurde auf veranschaulichende Weise beschrieben, und es versteht sich, dass die verwendete Terminologie vielmehr der Beschreibung als der Einschränkung dienen soll. Viele Modifikationen und Variationen der vorliegenden Erfindung sind angesichts der obigen Lehren möglich. Es versteht sich daher, dass die Erfindung innerhalb des Umfangs der beigefügten Ansprüche anders als konkret beschrieben ausgeführt werden kann.The invention has been described in an illustrative manner, and it is to be understood that the terminology that has been used is intended to be in the nature of words of description rather than limitation. Many modifications and variations of the present invention are possible in light of the above teachings. It is therefore understood that the invention within may be practiced otherwise than as specifically described within the scope of the appended claims.
ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturPatent Literature Cited
- US 63311690 [0001]US63311690 [0001]
- US 9200899 [0006, 0018]US9200899 [0006, 0018]
- US 9881383 [0007, 0018]US 9881383 [0007, 0018]
- US 5957559 [0009]US5957559 [0009]
- US 7826069 [0018]US7826069 [0018]
- US 17497211 [0020]US 17497211 [0020]
Claims (22)
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202263311690P | 2022-02-18 | 2022-02-18 | |
US63/311,690 | 2022-02-18 |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102023201313A1 true DE102023201313A1 (en) | 2023-08-24 |
Family
ID=87518705
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102023201313.4A Pending DE102023201313A1 (en) | 2022-02-18 | 2023-02-16 | CONTROL OF AN OPTICAL DISPLAY SYSTEM THROUGH MANIPULATION OF PHYSICAL OBJECTS |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN116627284A (en) |
DE (1) | DE102023201313A1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5957559A (en) | 1997-04-29 | 1999-09-28 | Virtek Vision Corporation | Laser scanned menu |
US7826069B2 (en) | 2003-09-10 | 2010-11-02 | Metris Canada, Inc. | Laser projection systems and methods |
US9200899B2 (en) | 2012-03-22 | 2015-12-01 | Virtek Vision International, Inc. | Laser projection system and method |
US9881383B2 (en) | 2013-01-28 | 2018-01-30 | Virtek Vision International Ulc | Laser projection system with motion compensation and method |
-
2023
- 2023-02-16 DE DE102023201313.4A patent/DE102023201313A1/en active Pending
- 2023-02-17 CN CN202310129126.8A patent/CN116627284A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5957559A (en) | 1997-04-29 | 1999-09-28 | Virtek Vision Corporation | Laser scanned menu |
US7826069B2 (en) | 2003-09-10 | 2010-11-02 | Metris Canada, Inc. | Laser projection systems and methods |
US9200899B2 (en) | 2012-03-22 | 2015-12-01 | Virtek Vision International, Inc. | Laser projection system and method |
US9881383B2 (en) | 2013-01-28 | 2018-01-30 | Virtek Vision International Ulc | Laser projection system with motion compensation and method |
Also Published As
Publication number | Publication date |
---|---|
CN116627284A (en) | 2023-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE3347732C2 (en) | Method for taking into account material defects or the like in cut material and device for carrying out the method | |
DE102019006800B4 (en) | Robot controller and display device using augmented reality and mixed reality | |
DE60127644T2 (en) | Teaching device for a robot | |
DE3924989C2 (en) | ||
DE102018102333B4 (en) | LASER PROCESSING SYSTEM WITH LASER PROCESSING HEAD AND IMAGING DEVICE | |
EP1701801B1 (en) | Method for recognising a structure to be applied to a substrate, with the aid of several cameras and device therefor | |
DE112012005524B4 (en) | Method for mechanically transmitting a command to control the operation of a laser tracker | |
EP1521211B1 (en) | Method and apparatus for determining the position and orientation of an image receiving device | |
DE112011101407B4 (en) | Method of using gestures to control a laser tracking device | |
WO2012136345A2 (en) | System and method for visually displaying information on real objects | |
DE102017207098A1 (en) | Optical three-dimensional coordinate measuring device and associated measuring method | |
WO2009010195A1 (en) | Method and system for determining the position and orientation of a camera relative to a real object | |
EP3084347A1 (en) | Method for carrying out and checking a machining step on a workpiece | |
DE3627110A1 (en) | METHOD AND DEVICE FOR OPTIMIZING A MATERIAL CUT | |
DE10122699A1 (en) | Method and device for generating part programs for use in image measuring instruments, and image measuring instrument and method for displaying results measured thereby | |
DE10238267B4 (en) | Sub-program generating device and program for an image measuring device | |
EP1911588B2 (en) | Colour gauge head positioning device | |
DE102021211376A1 (en) | METHOD AND SYSTEM FOR CHECKING REPAIR OR ASSEMBLY OPERATIONS | |
DE10133624A1 (en) | Arrangement for determining corrected movement data for a specified sequence of movement of a movable device, such as an industrial robot, uses computer unit for ascertaining corrected movement data via a reference device | |
DE102014104514B4 (en) | Method for measuring data visualization and apparatus for carrying out the method | |
DE19805155B4 (en) | Method for generating control data for coordinate measuring machines | |
EP3889543B1 (en) | Six-dof measurement accessory module for determining 3d coordinates of points of an object surface to be measured | |
DE102023201313A1 (en) | CONTROL OF AN OPTICAL DISPLAY SYSTEM THROUGH MANIPULATION OF PHYSICAL OBJECTS | |
DE102018208080B3 (en) | Method and system for locating an object in a robot environment | |
DE102010054973B4 (en) | Method and measuring system for measuring an object to be measured |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed |