DE102018211168A1 - Check objects for correctness - Google Patents
Check objects for correctness Download PDFInfo
- Publication number
- DE102018211168A1 DE102018211168A1 DE102018211168.5A DE102018211168A DE102018211168A1 DE 102018211168 A1 DE102018211168 A1 DE 102018211168A1 DE 102018211168 A DE102018211168 A DE 102018211168A DE 102018211168 A1 DE102018211168 A1 DE 102018211168A1
- Authority
- DE
- Germany
- Prior art keywords
- image
- code
- cad
- optical
- optical markers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003287 optical effect Effects 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000001454 recorded image Methods 0.000 claims abstract description 15
- 239000003550 marker Substances 0.000 claims description 14
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 4
- 239000004984 smart glass Substances 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 2
- 230000001960 triggered effect Effects 0.000 claims description 2
- 230000003190 augmentative effect Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 238000003909 pattern recognition Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000004049 embossing Methods 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010330 laser marking Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000000275 quality assurance Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C3/00—Registering or indicating the condition or the working of machines or other apparatus, other than vehicles
- G07C3/14—Quality control systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Primary Health Care (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- General Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Manufacturing & Machinery (AREA)
- Multimedia (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Ein Verfahren dient zum Überprüfen von Objekten (1), insbesondere Fahrzeugbauteilen, auf Richtigkeit, wobei: a) ein Bild (BF) eines Objekts (1), das mehrere optische Marker (6) aufweist, aufgenommen wird (S1); b) die in dem Bild (BF) des Objekts (1) vorhandenen optischen Marker (6) automatisch erkannt werden (S2); c) ein optisch auslesbarer Code (7), der an dem Objekt (1) sichtbar angeordnet ist, automatisch aus dem aufgenommenen Bild (BF) ausgelesen wird (S3); d) zu dem ausgelesenen Code (7) zugehörige CAD-Daten abgerufen werden, in denen die Positionen der optischen Marker (6) vorhanden sind, (S4) und e) das aufgenommene Bild des Objekts (1) zusammen mit einem aus den CAD-Daten erstellten, mittels der optischen Marker (6) lagegleich positionierten CAD-Bild überlagert auf einer Bildfläche (5) dargestellt wird (S5). Die Erfindung ist insbesondere vorteilhaft anwendbar in der Fahrzeugindustrie, insbesondere auf Objekte in Form von Fahrzeugbauteilen, insbesondere zum Überprüfen von Objekten auf Richtigkeit bei einer Anlieferung und/oder Verarbeitung.A method is used to check the accuracy of objects (1), in particular vehicle components, wherein: a) an image (BF) of an object (1) which has a plurality of optical markers (6) is recorded (S1); b) the optical markers (6) present in the image (BF) of the object (1) are automatically recognized (S2); c) an optically readable code (7), which is visibly arranged on the object (1), is automatically read out from the recorded image (BF) (S3); d) CAD data associated with the read-out code (7) in which the positions of the optical markers (6) are present (S4) and e) the recorded image of the object (1) together with one from the CAD Data created, superimposed on the image surface (5) by means of the optical markers (6) positioned in the same position (S5). The invention is particularly advantageously applicable in the vehicle industry, in particular to objects in the form of vehicle components, in particular for checking objects for correctness during delivery and / or processing.
Description
Die Erfindung betrifft ein Verfahren zum Überprüfen von Objekten auf Richtigkeit, insbesondere Fahrzeugbauteilen, bei dem ein Bild eines Objekts aufgenommen wird und ein aus zugehörigen CAD-Daten erstelltes CAD-Bild auf der Bildfläche so dargestellt wird, dass es das aufgenommene Objekt zumindest teilweise überlagert. Die Erfindung ist insbesondere vorteilhaft anwendbar in der Fahrzeugindustrie, insbesondere auf Objekte in Form von Fahrzeugbauteilen, insbesondere zum Überprüfen von Objekten auf Richtigkeit bei einer Anlieferung und/oder Verarbeitung.The invention relates to a method for checking objects for correctness, in particular vehicle components, in which an image of an object is recorded and a CAD image created from associated CAD data is displayed on the image surface such that it at least partially overlaps the recorded object. The invention is particularly advantageously applicable in the vehicle industry, in particular to objects in the form of vehicle components, in particular for checking objects for correctness during delivery and / or processing.
Es ist bekannt, angelieferte Bauteile durch Augenschein auf Richtigkeit zu kontrollieren. Dies bedeutet in der Regel, dass eine Zahl der angelieferten Bauteile überprüft und die Bauteile auf augenscheinlich erkennbare Beschädigungen hin überprüft werden. Ein Überprüfen der angelieferten Bauteile auf Richtigkeit anhand von Konstruktionszeichnungen oder anderen Detailinformationen findet aufgrund des bisher hohen Aufwands nur sehr selten und in Ausnahmefällen statt.It is known to inspect the delivered components for correctness by visual inspection. As a rule, this means that a number of the delivered components are checked and the components are checked for obvious damage. Checking the delivered components for correctness on the basis of construction drawings or other detailed information takes place only very rarely and in exceptional cases due to the high level of effort involved to date.
Es ist ferner bekannt, Bilder oder Videos mit computergenerierten Zusatzinformationen oder virtuellen Objekten mittels Einblendung/Überlagerung zu ergänzen. Dies wird auch als „erweiterte Realität“ oder „Augmented Reality“, AR bezeichnet. Dabei können für industrielle Anwendungen mittels Augmented Reality digitale Planungsdaten mit vorhandenen realen Geometrien abgeglichen werden.It is also known to supplement images or videos with computer-generated additional information or virtual objects by means of fade-in / overlay. This is also referred to as "Augmented Reality", AR. For industrial applications, augmented reality can be used to compare digital planning data with existing real geometries.
Es ist die Aufgabe der vorliegenden Erfindung, die Nachteile des Standes der Technik bei einer Überprüfung von Objekten auf Richtigkeit (Schädigungen, Maßhaltung usw.) zumindest teilweise zu überwinden und insbesondere eine verbesserte Möglichkeit bereitzustellen, Objekte mit einfachen Mitteln bereits vor ihrem Verbau, aber auch während ihres Verbaus schnell und zuverlässig zu überprüfen. Dies gilt insbesondere für das Gebiet des Fahrzeugbaus.It is the object of the present invention to at least partially overcome the disadvantages of the prior art when checking objects for correctness (damage, dimensional accuracy, etc.) and, in particular, to provide an improved possibility of using simple means even before they are installed, but also to be checked quickly and reliably during their installation. This applies in particular to the area of vehicle construction.
Diese Aufgabe wird gemäß den Merkmalen der unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen sind Gegenstand der abhängigen Ansprüche, der Beschreibung und der Zeichnungen.This object is achieved in accordance with the features of the independent claims. Advantageous embodiments are the subject of the dependent claims, the description and the drawings.
Die Aufgabe wird gelöst durch ein Verfahren zum Überprüfen von Objekten, insbesondere Fahrzeugbauteilen, bei dem
- a) ein Bild eines Objekts, das mehrere optische Marker aufweist, aufgenommen wird;
- b) die in dem Bild des Objekts vorhandenen (ein oder mehreren) optischen Marker automatisch erkannt werden;
- c) ein optisch auslesbarer Code, der an dem Objekt sichtbar angeordnet ist, automatisch aus dem aufgenommenen Bild ausgelesen wird;
- d) zu dem ausgelesenen Code zugehörige CAD-Daten abgerufen werden, welche die Positionen zumindest einiger der optischen Marker umfassen, und
- e) das aufgenommene Bild des Objekts zusammen mit einem aus den CAD-Daten erstellten mittels der optischen Marker lagegleich positionierten CAD-Bild überlagert auf einer Bildfläche dargestellt wird.
- a) an image of an object having a plurality of optical markers is recorded;
- b) the (one or more) optical markers present in the image of the object are automatically recognized;
- c) an optically readable code, which is arranged visibly on the object, is automatically read from the recorded image;
- d) CAD data associated with the read-out code are called up, which include the positions of at least some of the optical markers, and
- e) the recorded image of the object is superimposed on an image surface together with a CAD image created from the CAD data and positioned in the same position by means of the optical markers.
Dieses Verfahren ergibt den Vorteil, dass ein Objekt auf besonders einfache Weise in Echtzeit durch Überlagerung seines Bilds mit einem entsprechenden CAD-Bild (z.B. einer Konstruktionszeichnung, die einem „Soll-Zustand“ des Objekts entspricht) auf Richtigkeit überprüft werden kann. Diese Überprüfung kann von Personal oder auch automatisch ohne aufwändige Vorkenntnisse oder sogar automatisch durchgeführt werden. Zudem kann die Überprüfung praktisch überall durchgeführt werden, z.B. bei einer Anlieferung von Objekten in einem Werk. Zudem werden für die Überprüfung keine teuren, schweren oder umständlich zu handhabbaren Mittel oder Werkzeuge benötigt, so dass die Überprüfung auch für das zuständige Personal besonders ergonomisch und schnell erfolgen kann. Eine Überprüfung kann durch einen Nutzer des Verfahrens durch Betrachten des überlagerten Bilds erfolgen: entsprechen beispielsweise Konturen des aufgenommenen Bilds mit ausreichender Genauigkeit dem aufgenommenen Bild des (realen) Objekts, kann von einer Richtigkeit des Objekts ausgegangen werden. Treten hingegen merkliche Abweichungen auf, kann das Objekt als ungeeignet (z.B. ungenau hergestellt, beschädigt usw.) o.ä. eingestuft werden. Anstelle einer Überprüfung auf Richtigkeit des Objekts durch eine Person kann diese Überprüfung auch automatisch durch Bildmustererkennung durchgeführt werden. Das CAD-Bild kann dann als ein Referenzmuster verwendet werden.This method has the advantage that an object can be checked for correctness in a particularly simple manner in real time by superimposing its image with a corresponding CAD image (e.g. a construction drawing that corresponds to a “target state” of the object). This check can be carried out by personnel or automatically without extensive previous knowledge or even automatically. In addition, the check can be carried out practically anywhere, e.g. when objects are delivered to a plant. In addition, no expensive, heavy or cumbersome tools or tools are required for the check, so that the check can also be carried out particularly ergonomically and quickly for the responsible personnel. A check of the overlaid image can be carried out by a user of the method: if, for example, contours of the recorded image correspond with sufficient accuracy to the recorded image of the (real) object, the correctness of the object can be assumed. However, if there are noticeable deviations, the object may be unsuitable (e.g. inaccurately manufactured, damaged, etc.) or the like. get ranked. Instead of a person checking the correctness of the object, this check can also be carried out automatically by means of image pattern recognition. The CAD image can then be used as a reference pattern.
Allgemein kann in einem auf Schritt e) folgenden Schritt f) das mindestens eine aufgenommene Bild (durch eine Person oder automatisch, z.B. durch Bildmustererkennung) auf Abweichungen zu dem CAD-Bild hin überprüft werden und zumindest beim Feststellen einer kritischen Abweichung mindestens eine Aktion ausgelöst werden. Unter einer „kritischen“ Abweichung wird insbesondere eine Abweichung verstanden, die so groß ist, dass das Objekt nicht mehr als richtig bzw. als ungeeignet eingestuft wird. Die mindestens eine Aktion kann z.B. ein Markieren oder Einstufen des Objekts zur Aussonderung, Reklamation usw. umfassen. Die Aktion kann bei Feststellung der Richtigkeit ein Freigeben des Objekts umfassen.In general, in a step f) following step e), the at least one recorded image (by a person or automatically, for example by means of image pattern recognition) can be checked for deviations from the CAD image and at least one action can be triggered at least when a critical deviation is ascertained , A “critical” deviation is understood to mean, in particular, a deviation that is so large that the object is no longer classified as correct or unsuitable. The at least one action can e.g. marking or classifying the object for disposal, complaint, etc. If the correctness is ascertained, the action can include releasing the object.
Dadurch, dass der Code aus dem aufgenommenen Bild automatisch ausgelesen wird, wird der zusätzliche Vorteil erreicht, dass der Code nicht mehr separat von der Bildaufnahme durchgeführt zu werden braucht, wodurch das Verfahren erheblich schneller durchführbar ist. Ein Nutzer des Verfahrens braucht also nur noch ein Bild des Objekts so aufzunehmen, dass darauf ein entsprechender Code erkennbar ist. Der Code wird z.B. mittels automatischer Codeerkennung in dem Bild erkannt. Im Folgenden können zu dem Code zugehörige CAD-Daten automatisch oder nach Bestätigung durch den Nutzer abgerufen werden. The fact that the code is automatically read out of the recorded image has the additional advantage that the code no longer has to be carried out separately from the image recording, as a result of which the method can be carried out considerably more quickly. A user of the method therefore only needs to take an image of the object in such a way that a corresponding code can be recognized on it. The code is recognized in the image, for example by means of automatic code recognition. In the following, CAD data belonging to the code can be called up automatically or after confirmation by the user.
Unter einem optischen Marker kann eine optisch, insbesondere durch Bildauswertung, erkennbare Markierung verstanden werden. Die Form und/oder Größe des optischen Markers kann für das Objekt vorgegeben und damit bekannt sein.An optical marker can be understood to mean a marking which can be recognized optically, in particular by image evaluation. The shape and / or size of the optical marker can be specified for the object and thus known.
Zur Durchführung des Verfahrens können ein oder mehrere Bilder aufgenommen werden. Die mehreren Bilder können in Form eines Videos oder eines Live Streams aufgenommen werden.One or more images can be taken to carry out the method. The multiple images can be recorded in the form of a video or a live stream.
Das Abrufen der zugehörigen CAD-Daten kann ein Bereitstellen der CAD-Daten aus einem internen Speicher oder ein Übertragen der CAD-Daten von einer externen Datenbank (z.B. einem Server eines Herstellers des Objekts) oder der Cloud umfassen. Dazu weist der Code insbesondere zumindest eine Kennung des Objekts auf, anhand derer eine eindeutige Verknüpfung des Objekts mit den CAD-Daten möglich ist. In einer Weiterbildung weist der Code auch eine Adresse (z.B. eine Netzwerkadresse, Internetadresse usw.) einer Instanz auf, an der die CAD-Daten bereitgestellt werden.The retrieval of the associated CAD data can include providing the CAD data from an internal memory or transferring the CAD data from an external database (e.g. a server of a manufacturer of the object) or the cloud. For this purpose, the code has, in particular, at least one identifier of the object, on the basis of which the object can be uniquely linked to the CAD data. In one development, the code also has an address (e.g. a network address, Internet address, etc.) of an instance at which the CAD data are provided.
Dass das CAD-Bild in Bezug auf das Bild des Objekts auf der Bildfläche „lagegleich positioniert“ wird, umfasst, dass das CAD-Bild die gleiche räumliche Lage (räumliche Position/Abstand/Zoom und Ausrichtung) wie das bildlich aufgenommene Objekt aufweist. Dadurch wird eine Einblendung oder Überlagerung des CAD-Bilds (z.B. einer Konstruktionszeichnung des Objekts) auf das Objekt im Sinne einer erweiterten Realität oder Augmented Reality erreicht.The fact that the CAD image is "positioned in the same position" in relation to the image of the object on the image surface means that the CAD image has the same spatial position (spatial position / distance / zoom and orientation) as the object that was recorded. As a result, the CAD image (e.g. a construction drawing of the object) is displayed or superimposed on the object in the sense of an augmented reality or augmented reality.
Die CAD-Daten enthalten dazu die Positionen zumindest einiger der optischen Marker auf dem Objekt. Dies ergibt den Vorteil, dass die Lage der in dem Bild erkannten optischen Marker in besonders einfacher Weise automatisch mit den in den CAD-Daten vorhandenen Markern korrelierbar ist. Durch automatisches in Übereinstimmung Bringen der Lage und Abstände der Marker der CAD-Daten mit der Lage und den Abständen der bildlich aufgenommenen Marker lässt sich ein CAD-Bild auf der Bildfläche anzeigen, das die gleiche räumliche Lage (z.B. Abstand bzw. Zoom und Ausrichtung) wie das bildlich aufgenommene Objekt aufweist.For this purpose, the CAD data contain the positions of at least some of the optical markers on the object. This has the advantage that the position of the optical markers recognized in the image can be automatically correlated in a particularly simple manner with the markers present in the CAD data. By automatically aligning the position and spacing of the markers of the CAD data with the position and the spacing of the markers recorded in the image, a CAD image can be displayed on the image surface that has the same spatial position (eg distance or zoom and orientation) as the pictured object has.
Dabei braucht nicht die ganze CAD-Bild dargestellt zu werden, sondern es kann auch nur teilweise dargestellt werden. So werden in einer Weiterbildung nur Bereiche des CAD-Bilds angezeigt, welche auch an dem aufgenommenen Objekt erkennbar sind. Wie eine bildliche Überlagerung von Bildobjekten realer Geometrien wie dem Objekt mit digitalen Planungsdaten wie dem zugehörigen CAD-Bild konkret durchführbar ist, wird als allgemein bekannt vorausgesetzt und daher hier nicht weiter beschrieben.The entire CAD image does not need to be shown here, but it can also be shown only partially. In a further development, only areas of the CAD image are shown that can also be recognized by the recorded object. How a visual overlay of image objects of real geometries such as the object with digital planning data such as the associated CAD image can be carried out in concrete terms is assumed to be generally known and is therefore not described further here.
Die Reihenfolge der Schritte ist nicht auf die Reihenfolge a) bis e) festgelegt, sondern kann auch davon abweichen. So können die Schritte b) und c) in beliebiger Reihenfolge oder gleichzeitig ausgeführt werden.The order of the steps is not fixed to the order a) to e), but can also differ. Steps b) and c) can thus be carried out in any order or simultaneously.
Allgemein können die Schritte a) und f) von der gleichen oder von unterschiedlichen Personen durchgeführt werden. Ferner können Schritt a) und/oder Schritt f) auch automatisch durchgeführt werden, z.B. Schritt a) durch einen mit einer Kamera ausgerüsteten Roboter, Schritt f) durch eine automatische Bildmustererkennung. Das Verfahren kann also auch vollautomatisch ablaufen.In general, steps a) and f) can be carried out by the same or different people. Furthermore, step a) and / or step f) can also be carried out automatically, e.g. Step a) by a robot equipped with a camera, step f) by automatic image pattern recognition. The process can also run fully automatically.
Das Objekt kann ein Bauteil oder eine Baugruppe sein, ggf. sogar das fertige Produkt. Das Objekt kann auch eine Vorrichtung zum Zusammenbauen von Bauteilen wie ein Werkzeug, eine Maschine oder eine Anlage sein.The object can be a component or an assembly, possibly even the finished product. The object can also be a device for assembling components such as a tool, a machine or a system.
Es ist eine Weiterbildung, dass das Objekt ein Fahrzeugbauteil ist. Das Fahrzeug kann insbesondere ein Kraftfahrzeug, speziell Personenkraftwagen, Motorrad, Lastkraftwagen usw., sein. Jedoch ist das Verfahren nicht darauf beschränkt und kann auch für andere industrielle Anwendungen genutzt werden.It is a further development that the object is a vehicle component. The vehicle can in particular be a motor vehicle, especially a passenger car, motorcycle, truck, etc. However, the method is not limited to this and can also be used for other industrial applications.
Der optische Code kann beispielsweise durch Aufkleben eines entsprechenden Schilds, durch Aufdrucken, Ätzen, Lasermarkieren usw. an dem Objekt angeordnet sein.The optical code can be arranged on the object, for example, by sticking a corresponding label, by printing, etching, laser marking, etc.
Der optische Code kann ein von den Markern unterschiedlicher Code sein. Er ist dann an von den Markern unterschiedlicher Stelle an dem Objekt angebracht.The optical code can be a different code from the markers. It is then attached to the object at different locations from the markers.
Es ist eine Ausgestaltung, dass mindestens ein optischer Marker einen optisch auslesbaren Code umfasst. Der optische Marker dient somit auch als Träger für den optischen Code. Dies ist besonders vorteilhaft, weil dann auf einen gesondert angebrachten Code verzichtet werden kann.
Das optische Auslesen des Codes kann grundsätzlich auf beliebige Weise geschehen. So kann in einer Weiterbildung zum Auslesen ein dediziertes Lesegerät wie ein Scanner verwendet werden.It is an embodiment that at least one optical marker comprises an optically readable code. The optical marker thus also serves as a carrier for the optical code. This is particularly advantageous because a separate code can then be dispensed with.
The optical reading of the code can basically be done in any way. So in one Training to read a dedicated reader such as a scanner can be used.
Es ist eine Ausgestaltung, dass der Code ein durch Materialbearbeitung des Objekts erzeugter Code ist. Dadurch ist der Code besonders positionsgenau und beständig an dem Objekt anordenbar.It is an embodiment that the code is a code generated by material processing of the object. As a result, the code can be arranged in a particularly precise and permanent manner on the object.
Es ist eine Ausgestaltung, dass der optische Code in Form eines QR-Codes vorliegt bzw. ein QR-Code ist. Dieser ist aufgrund seiner automatischen Fehlerkorrektur besonders robust. Der QR-Code kann insbesondere ein Micro-QR-Code, ein Secure-QR-Code (SQRC), ein iQR-Code oder ein Frame-QR Code sein. Jedoch kann der optische Code auch in Form eines anderen quadratischen Codes vorliegen, z.B. eines Bildsymbols. Zudem kann der Code ein nicht quadratischer Code sein, z.B. ein Barcode. Grundsätzlich ist die Art der optischen Repräsentation des Codes jedoch nicht beschränkt und kann z.B. auch als Semacode, Aztec-Code, BeeTagg, ShotCode, DataMatrix-Code oder High Capacity Color Barcode usw. vorliegen.It is an embodiment that the optical code is in the form of a QR code or is a QR code. This is particularly robust due to its automatic error correction. The QR code can in particular be a micro QR code, a secure QR code (SQRC), an iQR code or a frame QR code. However, the optical code can also be in the form of another square code, e.g. of a picture symbol. In addition, the code can be a non-quadratic code, e.g. a barcode. In principle, however, the type of optical representation of the code is not restricted and can e.g. also available as semacode, Aztec code, BeeTagg, ShotCode, DataMatrix code or High Capacity Color barcode etc.
Es ist eine Ausgestaltung, dass die CAD-Daten nur CAD-Daten des Objekts umfassen, das den zugehörigen optischen Code aufweist. Dies hält eine abzurufende Datenmenge gering.It is an embodiment that the CAD data only include CAD data of the object that has the associated optical code. This keeps the amount of data to be retrieved low.
Es ist eine Ausgestaltung, dass die CAD-Daten zusätzlich zu CAD-Daten des Objekts weitere CAD-Daten umfassen, die mindestens einem weiteren Objekt zugehörig sind, welche mit dem Objekt, das den zugehörigen optischen Code aufweist, in einem konstruktiven Zusammenhang stehen. So wird der Vorteil erreicht, dass nicht nur das Objekt, dessen Code ausgelesen worden ist, auf Richtigkeit überprüft werden kann, sondern auch dessen Lage (z.B. ein Sitz, eine Passgenauigkeit usw.) relativ zu dem mindestens einen anderen Objekt und ggf. sogar die Richtigkeit des anderen Objekts, und zwar ohne dass das weitere Objekt mit optischen Markern ausgerüstet zu sein braucht. Beispielsweise kann das mindestens eine weitere Objekt ein mit dem Objekt, das den ausgelesenen Code aufweist, zu verheiratendes Objekt oder ein Werkzeug für das Objekt, das den ausgelesenen Code aufweist, sein. Der konstruktive Zusammenhang kann also einer Verarbeitung des Objekts und/oder einer Verheiratung des Objekts entsprechen.It is an embodiment that the CAD data include, in addition to the CAD data of the object, further CAD data which are associated with at least one further object and which have a constructive connection with the object which has the associated optical code. This has the advantage that not only the object whose code has been read out can be checked for correctness, but also its position (for example a seat, a fit, etc.) relative to the at least one other object and possibly even the one Correctness of the other object, and that without the further object needing to be equipped with optical markers. For example, the at least one further object can be an object to be married to the object that has the read code or a tool for the object that has the read code. The constructive context can thus correspond to processing the object and / or marrying the object.
Es ist eine Ausgestaltung, dass die Bildfläche ein Bildschirm ist, z.B. ein LCD-Bildschirm oder ein LCoS-Bildschirm. Der LCD-Bildschirm kann ein TFT-Bildschirm, ein OLED-Bildschirm, ein Plasma-Bildschirm usw. sein. Ein Bildschirm kann insbesondere eine Vielzahl von individuell ansteuerbaren Lichtquellen aufweisen, die zusammen ein Bild des Objekts (und ggf. des mindestens einen weiteren Objekts) auf der Bildfläche darstellen.It is an embodiment that the image area is a screen, e.g. an LCD screen or an LCoS screen. The LCD screen can be a TFT screen, an OLED screen, a plasma screen, etc. A screen can in particular have a large number of individually controllable light sources, which together represent an image of the object (and possibly of the at least one further object) on the image surface.
Die Bildfläche kann alternativ oder zusätzlich eine Bildfläche darstellen, auf der ein Bild des Objekts mittels mindestens eines Projektors abgebildet wird. Der Projektor kann ein LED-Projektor oder ein Laser-Projektor sein.The image area can alternatively or additionally represent an image area on which an image of the object is imaged by means of at least one projector. The projector can be an LED projector or a laser projector.
Die Bildfläche kann alternativ oder zusätzlich eine durch ein Head-Up-Display (HUD) oder ein sog. „Peripheral Head-Mounted Display“ (PHMD) bereitgestellte Bildfläche sein.Alternatively or additionally, the image area can be an image area provided by a head-up display (HUD) or a so-called “peripheral head-mounted display” (PHMD).
Es ist eine Ausgestaltung, dass der Bildschirm ein Bildschirm eines mobilen Endgeräts ist. Dies ergibt den Vorteil, dass ein Nutzer ein Bild des Objekts zusammen mit dem zugehörigen CAD-Bild auf einem leichten Gerät sichten kann und zudem auf einfache Weise seine Position zu dem Objekt ändern kann.It is an embodiment that the screen is a screen of a mobile terminal. This has the advantage that a user can view an image of the object together with the associated CAD image on a light device and can also easily change his position to the object.
Es ist eine Ausgestaltung, dass die Bildfläche ein Brillenglas einer Datenbrille ist. Dies kann einem Nutzer die Durchführung des Verfahrens weiter erleichtern. Dies Ausgestaltung ist besonders vorteilhaft, falls die Bildfläche durch ein Head-Up-Display HUD oder ein PHMD bereitgestellt wird.It is an embodiment that the image surface is a spectacle lens of data glasses. This can further facilitate the implementation of the method for a user. This configuration is particularly advantageous if the image area is provided by a head-up display HUD or a PHMD.
Grundsätzlich kann das Verfahren mittels einer einzigen Vorrichtung oder durch eine Gruppe oder ein System verteilter, insbesondere miteinander vernetzter, Vorrichtungen durchgeführt werden. So können die Bildaufnahme in Schritt a) und die Darstellung der überlagerten Bilder in Schritt e) durch die gleiche Vorrichtung durchgeführt werden, z.B. ein Smartphone oder eine Datenbrille. Die restlichen Schritte oder Teilschritte können ebenfalls von dieser Vorrichtung oder zumindest teilweise von einer anderen Vorrichtung durchgeführt werden, beispielsweise einer externen Instanz wie einem Netzwerk-Server, der Cloud usw. Liegt ein System verteilter Vorrichtungen vor, können diese durch Datenverbindungen zur Datenübertragung miteinander verbunden sein, z.B. durch drahtlose und/oder drahtgebundene Datenverbindungen wie Bluetooth, WLAN, Ethernet usw.In principle, the method can be carried out by means of a single device or by devices distributed, in particular networked, by a group or a system. Thus, the image acquisition in step a) and the representation of the superimposed images in step e) can be carried out by the same device, e.g. a smartphone or smart glasses. The remaining steps or sub-steps can also be carried out by this device or at least partially by another device, for example an external instance such as a network server, the cloud, etc. If there is a system of distributed devices, these can be connected to one another by data connections for data transmission , e.g. through wireless and / or wired data connections such as Bluetooth, WLAN, Ethernet etc.
Es ist eine Ausgestaltung, dass folgend zumindest die Schritte a), b) und e) wiederholt werden. Dadurch kann ein Nutzer das Objekt aus unterschiedlichen Richtungen oder Blickwinkeln auf Richtigkeit überprüfen. Schritt d) braucht dann z.B. nur bei ersten Durchführen des Verfahrens für ein bestimmtes Objekt durchgeführt zu werden.It is an embodiment that at least steps a), b) and e) are repeated in the following. This enables a user to check the object for correctness from different directions or angles. Step d) then needs e.g. to be carried out only for the first time the method is carried out for a specific object.
In einem möglichen Anwendungsbeispiel ist ein Nutzer mit einem Tablet-PC ausgerüstet und soll ein in einem Werk angeliefertes Objekt in Form eines Fahrzeugbauteils auf Richtigkeit (Formhaltigkeit, Freiheit von Schädigungen usw.) überprüfen. Dazu nimmt der Nutzer mittels einer Kamera des Tablet-PCs ein Bild des Fahrzeugbauteils auf, und zwar aus einem Blickwinkel, aus dem mehrere optische Marker erkennbar sind. Mindestens einer der Marker weist einen optisch auslesbaren Code, insbesondere QR-Code, auf.In a possible application example, a user is equipped with a tablet PC and is supposed to check an object in the form of a vehicle component delivered to a factory for correctness (shape retention, freedom from damage, etc.). For this purpose, the user takes a picture of the vehicle component using a camera of the tablet PC, from a point of view from which several optical markers are located are recognizable. At least one of the markers has an optically readable code, in particular a QR code.
Aus dem aufgenommenen Bild wird der QR-Code ausgelesen. Der QR-Code weist eine insbesondere eindeutige Kennung des Bauteils auf. Anhand der Kennung werden von dem Tablet-PC die zu dieser Kennung passenden CAD-Daten abgerufen, z.B. über das Internet mittels mindestens eines Kommunikationsmoduls des Tablet-PCs. Aus den über das Internet o.ä. heruntergeladenen CAD-Daten wird ein CAD-Bild (z.B. eine Konstruktionszeichnung) des Bauteils erzeugt. In den CAD-Daten ist auch die bauteileigene Position der optischen Marker des Bauteils angegeben.The QR code is read from the captured image. The QR code has a unique identifier for the component. Based on the identifier, the tablet PC retrieves the appropriate CAD data for this identifier, e.g. via the Internet using at least one communication module of the tablet PC. From the Internet or the like. Downloaded CAD data creates a CAD image (e.g. a construction drawing) of the component. The component's own position of the optical marker of the component is also specified in the CAD data.
In dem aufgenommenen Bild werden ferner die optischen Marker identifiziert.The optical markers are also identified in the recorded image.
Dann werden auf dem Bildschirm des Tablet-PCs das Bild des Bauteils und das CAD-Bild überlagert im Sinne einer Augmented Reality dargestellt. Dabei nimmt das CAD-Bild die gleiche Lage (Größe, Orientierung) ein wie das Bauteil, was durch Übereinstimmung der Marker in den CAD-Daten mit den optisch erkannten Markern des Bauteils ermöglicht wird.The image of the component and the CAD image are then superimposed on the screen of the tablet PC in the sense of an augmented reality. The CAD image occupies the same position (size, orientation) as the component, which is made possible by matching the markers in the CAD data with the optically recognized markers of the component.
Folgend kann der Nutzer anhand eines Vergleichs z.B. der Konturen der Bilder auf dem Bildschirm beurteilen, ob das Bauteil maßhaltig und schädigungsfrei ist oder nicht.The user can then use a comparison e.g. the contours of the images on the screen to assess whether the component is true to size and free of damage or not.
Anstelle eines Tablet-PCs oder zusätzlich dazu kann der Nutzer z.B. auch eine Datenbrille verwenden.Instead of or in addition to a tablet PC, the user can e.g. also use smart glasses.
Es ist eine Weiterbildung, dass das mindestens eine aufgenommene Bild zur Dokumentation abgespeichert wird, beispielsweise zur Qualitätssicherung.It is a further development that the at least one captured image is saved for documentation, for example for quality assurance.
Die Aufgabe wird auch gelöst durch eine Vorrichtung zur Überprüfung von Objekten, insbesondere Fahrzeugbauteilen, aufweisend eine Kamera, eine Datenverarbeitungseinrichtung und eine Bildfläche, wobei
- - die Kamera dazu eingerichtet ist, ein Bild eines Objekts, das mehrere optische Marker aufweist, aufzunehmen;
- - die Datenverarbeitungseinrichtung dazu eingerichtet ist, in dem Bild optische Marker zu erkennen;
- - die Datenverarbeitungseinrichtung dazu eingerichtet ist, mindestens einen optisch auslesbaren Code automatisch aus dem aufgenommenen Bild auszulesen;
- - die Datenverarbeitungseinrichtung dazu eingerichtet ist, zu dem ausgelesenen Code zugehörige CAD-Daten, welche die Positionen der optischen Marker auf dem Objekt umfassen, abzurufen; und
- - die Datenverarbeitungseinrichtung dazu eingerichtet ist, die CAD-Daten in der gleichen räumlichen Lage wie das Objekt auf der Bildfläche so darzustellen, dass sie das aufgenommene Objekt zumindest teilweise überlagern.
- the camera is set up to take an image of an object which has a plurality of optical markers;
- - The data processing device is set up to recognize optical markers in the image;
- - The data processing device is set up to automatically read at least one optically readable code from the recorded image;
- the data processing device is set up to call up CAD data associated with the read-out code, which include the positions of the optical markers on the object; and
- - The data processing device is set up to display the CAD data in the same spatial position as the object on the image surface in such a way that they at least partially overlay the recorded object.
Die Vorrichtung kann eine einzige Vorrichtung, z.B. ein mobiles Nutzerendgerät, eine Datenbrille usw., oder ein System aus mehreren vernetzen Komponenten sein.The device can be a single device, e.g. a mobile user terminal, data glasses, etc., or a system of several networked components.
Die Vorrichtung kann analog zu dem Verfahren ausgebildet sein und ergibt die gleichen Vorteile.The device can be designed analogously to the method and gives the same advantages.
Die Aufgabe wird auch gelöst durch ein Computerprogrammprodukt, aufweisend Programmcode, welcher, wenn er ausgeführt wird, das oben beschriebene Verfahren durchführt oder ablaufen lässt.The object is also achieved by a computer program product, comprising program code which, when executed, carries out the method described above or has it run.
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden schematischen Beschreibung eines Ausführungsbeispiels, das im Zusammenhang mit den Zeichnungen näher erläutert wird.
-
1 zeigt eine Skizze einer Vorrichtung zur Überprüfung von Objekten; und -
2 zeigt Ablaufschritte eines Verfahrens zur Überprüfung von Objekten.
-
1 shows a sketch of a device for checking objects; and -
2 shows process steps of a method for checking objects.
Mittels der Kamera
Der optische Code
Die Datenverarbeitungseinrichtung
Die Datenverarbeitungseinrichtung
Die Datenverarbeitungseinrichtung
Die Datenverarbeitungseinrichtung
In einem ersten Schritt
In einem zweiten Schritt
In einem dritten Schritt
In einem vierten Schritt
In einem fünften Schritt
Ein Nutzer kann nun in einem sechsten Schritt
Der Nutzer kann im Folgenden ein neues Bild
In einer Variante wird nicht nur das Fahrzeugbauteil
Selbstverständlich ist die vorliegende Erfindung nicht auf das gezeigte Ausführungsbeispiel beschränkt.Of course, the present invention is not limited to the exemplary embodiment shown.
So können die CAD-Daten auch in dem Tablet-PC usw. gespeichert sein.The CAD data can also be stored in the tablet PC, etc.
Auch können in dem ersten Schritt
Allgemein kann zumindest einer der Schritte
Allgemein können die Schritte
Allgemein kann unter „ein“, „eine“ usw. eine Einzahl oder eine Mehrzahl verstanden werden, insbesondere im Sinne von „mindestens ein“ oder „ein oder mehrere“ usw., solange dies nicht explizit ausgeschlossen ist, z.B. durch den Ausdruck „genau ein“ usw.In general, "a", "a" etc. can be understood to mean a single number or a plurality, in particular in the sense of "at least one" or "one or more" etc., as long as this is not explicitly excluded, e.g. with the expression "exactly one" etc.
Auch kann eine Zahlenangabe genau die angegebene Zahl als auch einen üblichen Toleranzbereich umfassen, solange dies nicht explizit ausgeschlossen ist.A number can also include the specified number as well as a usual tolerance range, as long as this is not explicitly excluded.
BezugszeichenlisteLIST OF REFERENCE NUMBERS
- 11
- Fahrzeugbauteilvehicle component
- 22
- Tablet-PCTablet PC
- 33
- Kameracamera
- 44
- DatenverarbeitungseinrichtungData processing device
- 55
- LCD-BildschirmLCD screen
- 66
- Markermarker
- 77
- Optischer CodeOptical code
- 88th
- NetzwerkserverNetwork Server
- BCBC
- CAD-BildCAD image
- BFBF
- Bild des FahrzeugbauteilsImage of the vehicle component
- S1-S6S1-S6
- Verfahrensschrittesteps
Claims (12)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102018211168.5A DE102018211168A1 (en) | 2018-07-06 | 2018-07-06 | Check objects for correctness |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102018211168.5A DE102018211168A1 (en) | 2018-07-06 | 2018-07-06 | Check objects for correctness |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| DE102018211168A1 true DE102018211168A1 (en) | 2020-01-09 |
Family
ID=68943728
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE102018211168.5A Pending DE102018211168A1 (en) | 2018-07-06 | 2018-07-06 | Check objects for correctness |
Country Status (1)
| Country | Link |
|---|---|
| DE (1) | DE102018211168A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102020100645A1 (en) * | 2020-01-14 | 2021-07-15 | Eric Franz | Method and system for the documentation of anomalies in an industrially manufactured product |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060103853A1 (en) * | 2004-11-12 | 2006-05-18 | The Boeing Company | Optical projection system |
| US20160171773A1 (en) * | 2014-12-10 | 2016-06-16 | Fujitsu Limited | Display control method, information processing apparatus, and storage medium |
-
2018
- 2018-07-06 DE DE102018211168.5A patent/DE102018211168A1/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060103853A1 (en) * | 2004-11-12 | 2006-05-18 | The Boeing Company | Optical projection system |
| US20160171773A1 (en) * | 2014-12-10 | 2016-06-16 | Fujitsu Limited | Display control method, information processing apparatus, and storage medium |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102020100645A1 (en) * | 2020-01-14 | 2021-07-15 | Eric Franz | Method and system for the documentation of anomalies in an industrially manufactured product |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2463101B1 (en) | System and method for creating and inspecting prints with static and variable content | |
| DE10034606B4 (en) | Method for providing manufacturing-related data in a series production of manufacturing objects, in particular motor vehicles | |
| DE102019213199A1 (en) | VIRTUAL SPATIAL REGISTERED VIDEO OVERLAY DISPLAY | |
| DE102009007477A1 (en) | Model construction of a production facility with scale models of manufacturing facilities and method for entering a spatial structure of manufacturing facilities in a computer-aided planning program | |
| DE102013211005A1 (en) | A method for determining a condition of a vehicle after use of the vehicle and corresponding system | |
| DE102018103449A1 (en) | A method of identifying an item and providing information | |
| WO2020126240A1 (en) | Method for operating an automation technology field device in an augmented-reality/mixed-reality environment | |
| DE102018211168A1 (en) | Check objects for correctness | |
| DE102007030378A1 (en) | Camera system e.g. eye tracking system, position determining method for use in vehicle, involves performing determination of position of camera system with respect to reference system under consideration of position of display system | |
| EP1581364B1 (en) | Method for the parallax-free centring of an optical element | |
| EP3974936B1 (en) | Configuration of a visualisation device for a machine area | |
| BE1026775B1 (en) | Device and method for calibrated checking of the printing on an article | |
| WO2018185077A1 (en) | Method and device for displaying component documentation | |
| DE102018112910B4 (en) | Manufacturing process for a drive device and test device | |
| DE102013218299A1 (en) | A method of detecting damage to a vehicle from a test image, corresponding system and computer program product | |
| WO2019121287A1 (en) | Method for constructing a pipe system, thereby producing at least one pipe connection | |
| DE102016006232A1 (en) | Method and system for aligning a virtual model with a real object | |
| EP3771545A1 (en) | Method for operating, in particular for installation, maintenance and / or repair of an injection moulding machine, injection moulding machine, computer program and computer readable medium | |
| EP3650223A1 (en) | Method and device for checking the print on an article | |
| DE102015213463A1 (en) | Method for verifying network devices and network | |
| DE102018219169A1 (en) | Device and method for checking the printing of an article | |
| EP3183717B1 (en) | Apparatus and method for presenting structure information about a technical object | |
| EP2645331A1 (en) | Method for verifying the alignment of a traffic monitoring device | |
| EP1169672B1 (en) | System and method for controlling the quality of a product family | |
| DE102020131607A1 (en) | Method for providing a training data set, method for operating a self-learning component defect detection device and self-learning component defect detection device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R163 | Identified publications notified |