DE102008002241A1 - Method for image-based measurement of room or partial area of room for e.g. craftsman to install windows, involves modeling virtual three-dimensional models of room by using image processing process with respect to distances - Google Patents
Method for image-based measurement of room or partial area of room for e.g. craftsman to install windows, involves modeling virtual three-dimensional models of room by using image processing process with respect to distances Download PDFInfo
- Publication number
- DE102008002241A1 DE102008002241A1 DE200810002241 DE102008002241A DE102008002241A1 DE 102008002241 A1 DE102008002241 A1 DE 102008002241A1 DE 200810002241 DE200810002241 DE 200810002241 DE 102008002241 A DE102008002241 A DE 102008002241A DE 102008002241 A1 DE102008002241 A1 DE 102008002241A1
- Authority
- DE
- Germany
- Prior art keywords
- measuring system
- room
- virtual
- sensor
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000005259 measurement Methods 0.000 title claims abstract description 53
- 238000011156 evaluation Methods 0.000 claims description 7
- 238000001931 thermography Methods 0.000 claims description 6
- 238000003672 processing method Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims 2
- 230000001427 coherent effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 239000013589 supplement Substances 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000009429 electrical wiring Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
- G01C15/02—Means for marking measuring points
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
Die vorliegende Erfindung betrifft ein Verfahren zur bildbasierten Vermessung eines Raumes oder eines Teilbereiches eines Raumes sowie ein Messsystem zum Durchführen eines solchen Verfahrens.The The present invention relates to a method for image-based measurement a room or a part of a room and a measuring system to perform of such a procedure.
Eine automatische dreidimensionale Vermessung von Räumen ist für Handwerker und Architekten von großem Interesse, da auf diese Weise ein Ist-Zustand von Räumen schnell erfasst und anstehende Arbeiten geplant werden können. Mit einer derartigen Vermessung kann ein Aufbau von Küchen, ein Einbau von Fenstern, eine Planung von Malerarbeiten, eine Erstellung von CAD-Daten und dergleichen unterstützt werden.A automatic three-dimensional measurement of spaces is for craftsmen and architects of great Interest, because in this way an actual state of spaces quickly recorded and upcoming work can be planned. With such Surveying can be a construction of kitchens, an installation of windows, a planning of painting works, a creation supported by CAD data and the like.
Derzeit verfügbare Systeme gliedern sich in handgehaltene, einpunktmessende Geräte, wie beispielsweise das BOSCH DLE 150, in stationäre 3D-Scanner und in stationäre halbautomatische Foto-Tachymeter, mit denen eine Fotogrammetrie durchführbar ist.Currently available Systems are divided into handheld, single-point measuring devices, such as For example, the BOSCH DLE 150, in stationary 3D scanners and in stationary semi-automatic Photo-total stations with which a photogrammetry is feasible.
Bei den handgehaltenen Geräten ist ein Abtragen von vorgegebenen Maßen, eine Minimum-Messung zur Ermittlung einer kürzesten Entfernung, z. B. einer Waagerechten von Wand zu Wand, eine Maximum-Messung zur Ermittlung einer größten Entfernung, z. B. einer Diagonalen eines Raumes, und eine indirekte Längenmessung zur Messung von Entfernungen, die nicht direkt gemessen werden können, z. B. eine Höhe einer Hauswand, möglich.at the hand-held devices is a removal of predetermined dimensions, a minimum measurement to Determining a shortest Distance, z. B. a horizontal wall to wall, a maximum measurement for determination a greatest distance, z. B. a diagonal of a room, and an indirect length measurement for measuring distances that can not be measured directly, eg. B. a height a house wall, possible.
Ferner sind bildbasierte Verfahren (”Structure-From-Motion” oder VSLAM) bekannt, die Ansätze zur gleichzeitigen Bestimmung von Form und Kameraposition aus Kamerabildern erlauben. Die erreich baren Rekonstruktionsgenauigkeiten sind hierbei aber nicht ausreichend.Further are image-based methods (Structure-From-Motion or VSLAM) known, the approaches to Simultaneous determination of shape and camera position from camera images allow. However, the achievable Rekonstruktionsgenauigkeiten here are unsatisfactory.
Bei einem weiteren bildbasierten Verfahren kann eine virtuelle zusammenhängende Gesamtaufnahme eines Raumes basierend auf mit einer Kamera erstellten, einander teilweise überdeckenden Einzelaufnahmen von Teilbereichen des Raumes modelliert werden, indem die Einzelaufnahmen miteinander kombiniert werden. Zur Kombination der Einzelaufnahmen werden automatisch lokale markante Merkmalspunkte in jeder Einzelaufnahme definiert, die unempfindlich gegen perspektivische Verzerrung sind und nachfolgend als Landmarken bezeichnet werden. Markant sind Raumpunkte, deren Eigenschaften von ihrem Hintergrund abweichen, so beispielsweise Vorsprünge und Aussparungen von Strukturelementen wie Bilder, Türen, Fenster oder dergleichen. Anschließend wird in den Einzelaufnahmen nach identischen Landmarken gesucht, um die überlappenden Abschnitte der Einzelaufnahmen ausfindig zu machen und um die Einzelaufnahmen zueinander auszurichten und zusammenzufügen. Auf diese Weise kann eine zusammenhängende virtuelle Gesamtaufnahme eines Raumes erzielt werden. Eine Skalierung von Strukturelementen, wie beispielsweise Höhen-, Breiten- und Tiefenmaße einer Tür, ist hingegen nicht vorgesehen. Diese kann aber nachträglich vorgenommen werden, indem zumindest ein Maß eines Strukturelementes, wie beispielsweise die Breite eines Türrahmens manuell erfasst und in einen entsprechenden Rechenalgorithmus eingegeben wird. Alle weiteren Abmessungen lassen sich dann berechnen. Allerdings ist eine nachträgliche Skalierung mit zusätzlichem Aufwand verbunden, was als nachteilig angesehen wird. Ferner können weitere Einzelaufnahmen nicht problemlos nachträglich in die virtuelle Gesamtaufnahme integriert werden. Werden also Abschattungen, wie beispielsweise Vorsprünge oder Aussparungen von Raumwänden, nicht sorgfältig anhand der Einzelaufnahmen dokumentiert, so ist die modellierte virtuelle Gesamtaufnahme lückenhaft. Schließlich ist es ohne großen Aufwand nicht möglich, Messergebnisse von anderen Messgeräten in die virtuelle Gesamtaufnahme zu integrie ren, wie beispielsweise den Feuchtigkeitszustand von Wänden, die Lage elektrischer Leitungen, etc.at Another image-based method can be a virtual coherent overall image a room based on a camera created with each other partially overlapping Single shots of partial areas of the room are modeled by combining the single shots. To the combination The individual shots automatically become local distinctive feature points defined in each single shot, insensitive to perspective Distortion and are referred to as landmarks. Markant are points of space whose properties are of their background deviate, so for example projections and recesses of structural elements like pictures, doors, Window or the like. Subsequently, in the individual shots after Identical landmarks searched for the overlapping sections of the To locate single shots and the single shots to each other align and join together. This allows a coherent overall virtual recording of a room. A scaling of structural elements, such as altitude, Width and depth dimensions a door, is not provided. This can be done later be at least one measure of a Structural element, such as the width of a door frame recorded manually and entered into a corresponding calculation algorithm becomes. All other dimensions can then be calculated. Indeed is an afterthought Scaling with additional Associated effort, which is considered disadvantageous. Furthermore, more Single shots not easily afterwards in the virtual total recording to get integrated. Will shadowing, such as projections or recesses of room walls, not carefully documented by the individual photographs, so is the modeled incomplete virtual recording. After all it is without big Effort not possible, Measurement results from other meters in the total virtual recording to integrate, such as the moisture state of walls the location of electrical lines, etc.
Ausgehend von diesem Stand der Technik ist es eine Aufgabe der vorliegenden Erfindung, ein alternatives Verfahren und Messsystem zur bildbasierten Vermessung eines Raumes oder eines Teilbereiches eines Raumes zu schaffen.outgoing From this prior art it is an object of the present invention Invention, an alternative method and measurement system for image-based Measuring a room or a part of a room too create.
Offenbarung der ErfindungDisclosure of the invention
Zur Lösung dieser Aufgabe schafft die vorliegende Erfindung ein Verfahren nach Anspruch 1 und ein Messsystem nach Anspruch 17. Die abhängigen Ansprüche beziehen sich auf individuelle Ausgestaltungen der vorliegenden Erfindung.to solution In accordance with this object, the present invention provides a method Claim 1 and a measuring system according to claim 17. The dependent claims relate to individual embodiments of the present invention.
Bei dem erfindungsgemäßen Verfahren zur bildbasierten Vermessung eines Raumes oder eines Teilbereiches eines Raumes wird zunächst eine Einzelaufnahme eines Raumes unter Verwendung eines eine Kamera aufweisenden Messsystems erzeugt. Ferner wird bevorzugt synchron mit der Einzelaufnahme zumindest ein Abstand zwischen dem Messsystem und dem Raumpunkt des Raumes erfasst, wobei der erfasste Abstand der Einzelaufnahme zugeordnet wird. Anhand dieser Zuordnung kann eine Skalierung von Strukturelementen des Raumes erfolgen, die auf der Einzelaufnahme zu erkennen sind. So kann beispielsweise die tatsächliche Länge der Bilddiagonalen der Einzelaufnahme in Kenntnis des Abstands des Messsystems von einem Raumpunkt des Raumes berechnet werden. Ist die tatsächliche Abmessung der Bilddiagonalen bekannt, so können darauf basierend auch Abmessungen einzelner Strukturelemente des Raumes berechnet werden, wie beispielsweise die Breite, Höhe und Tiefe eines Türrahmens oder dergleichen.In the method according to the invention for image-based measurement of a room or a partial area of a room, a single image of a room is first of all generated using a measuring system having a camera. Furthermore, at least one distance between the measuring system and the spatial point of the room is preferably detected synchronously with the individual recording, the detected distance being assigned to the individual recording. Based on this assignment, a scaling of structural elements of the room can take place, which can be recognized on the individual image. Thus, for example, the actual length of the image diagonals of the single image can be calculated with knowledge of the distance of the measuring system from a spatial point of the room. If the actual dimension of the image diagonals is known, dimensions of individual ones can be based on this Structural elements of the room are calculated, such as the width, height and depth of a door frame or the like.
Ferner werden weitere, einander teilweise überschneidende Einzelaufnahmen des Raumes bzw. von Raumbereichen unter Verwendung des eine Kamera aufweisenden Messsystems erzeugt, woraufhin ein vir tuelles 3D-Modell des Raums mithilfe einer Bildverarbeitungsmethode unter Berücksichtigung des erfassten Abstands anhand der Mehrzahl von Einzelaufnahmen modelliert wird. Die Modellierung kann beispielsweise erfolgen, indem einzelne natürliche Landmarken, die in den jeweiligen Einzelaufnahmen identifiziert wurden, miteinander in Einklang gebracht werden, um die jeweiligen Einzelaufnahmen miteinander zu kombinieren. Nach der Fertigstellung des 3D-Modells können natürlich optional die Bilddaten der Einzelaufnahmen in dieses integriert werden. Es sollte klar sein, dass die Skalierung der ersten Einzelaufnahme auch auf die anderen Einzelaufnahmen und somit auf das gesamte virtuelle 3D-Modell des Raumes übertragen werden kann.Further become further, partially overlapping single shots of the room (s) using the camera generated measuring system, whereupon a virtual 3D model of space using an image processing method under consideration of the detected distance modeled on the plurality of individual images becomes. For example, the modeling can be done by using individual natural landmarks, which were identified in the individual photographs, with each other be reconciled to each other's individual shots to combine. After completion of the 3D model, of course, optional Image data of the individual images are integrated into this. It should be clear that the scaling of the first single shot too the other single shots and thus the entire virtual 3D model of the room can be.
Basierend auf der Abstandsmessung erfolgt demnach im Gegensatz zum Stand der Technik eine automatische Skalierung, wodurch das Verfahren benutzerfreundlicher gestaltet und der Zeitaufwand zur Durchführung des Verfahrens reduziert wird.Based on the distance measurement is thus carried out in contrast to the prior Technique automatic scaling, making the process more user-friendly designed and reduces the time required to carry out the process becomes.
Bevorzugt werden Abstände zu mehreren Raumpunkten erfasst und einer oder mehreren Einzelaufnahmen zugeordnet. Auf diese Weise kann die Genauigkeit des virtuellen 3D-Modells des Raums wesentlich verbessert werden.Prefers become intervals captured to several points in space and one or more individual shots assigned. In this way, the accuracy of the virtual 3D model of the room can be significantly improved.
Gemäß einer bevorzugten Ausgestaltung des erfindungsgemäßen Verfahrens wird jeweils ein Abstand zwischen dem Messsystem und drei verschiedenen Raumpunkten ermittelt, wobei die drei Raumpunkte ein Dreieck aufspannen. Unter der Annahme, dass die drei Raumpunkte auf einer gemeinsamen Fläche des Raumes liegen, kann entsprechend die Form der Fläche berechnet werden. Vorteilhaft wird ferner ein weiterer Abstand zwischen dem Messsystem und einem vierten Raumpunkt ermittelt, wobei sich der vierte Raumpunkt innerhalb des von den drei anderen Raumpunkten aufgespannten Dreiecks befindet. Dies ist zum einen dahingehend vorteilhaft, dass die Erstreckung der Fläche, auf der sich die vier Raumpunkte befinden, noch genauer erfasst werden kann. Zum anderen kann zu Be ginn der Durchführung des erfindungsgemäßen Verfahrens ein Koordinatensystem festgelegt werden, indem die vier Raumpunkte, zu denen die Abstände ermittelt werden, derart ausgerichtet werden, dass der vierte Raumpunkt als Koordinatenursprung auf eine Ecke des Raumes ausgerichtet ist, und dass die anderen drei Raumpunkte jeweils auf eine die Ecke bildende Fläche ausgerichtet sind, beispielsweise auf zwei Wände und den Boden eines Raumes. Die Messung der Abstände zu derart gewählten vier Raumpunkten gestattet die Berechnung eines Koordinatensystems, auf dem basierend das virtuelle 3D-Modell des Raumes modelliert werden kann. Auf diese Weise kann auch das Definieren eines Koordinatensystems benutzerfreundlich und zeitsparend gestaltet werden.According to one preferred embodiment of the method according to the invention is respectively a distance between the measuring system and three different spatial points determined, with the three space points spanning a triangle. Under the assumption that the three points of space on a common surface of the Space, the shape of the surface can be calculated accordingly. Advantageous Furthermore, a further distance between the measuring system and a fourth point of space determined, with the fourth point in space within the from the three other points of space spanned triangle is located. This is on the one hand advantageous in that the extension the area, on which the four space points are located, captured even more precisely can be. On the other hand, at the beginning of the implementation of the inventive method set up a coordinate system by dividing the four space points, to which the distances be determined to be aligned such that the fourth space point is aligned as a coordinate origin on a corner of the room, and that the other three space points each on a corner forming area aligned, for example, on two walls and the floor of a room. The measurement of distances to such chosen four Spatial points allows the calculation of a coordinate system, on based on which the 3D virtual model of the room is modeled can. This can also be used to define a coordinate system user-friendly and time-saving design.
Bevorzugt wird bzw. werden zudem die Position und/oder die Ausrichtung des Messsystems und/oder eine Änderung der Position und/oder Ausrichtung des Messsystems mithilfe wenigstens eines weiteren Sensors erfasst, wie beispielsweise mithilfe eines Neigungssensors und/oder eines kinematischen Sensors. Auf diese Weise kann eine ungefähre Lagebeziehung mehrerer Einzelaufnahmen relativ zueinander bestimmt werden, wodurch der Rechenaufwand verringert werden kann, der zum Kombinieren von Einzelaufnahmen erforderlich ist. Ist beispielsweise die ungefähre Änderung der Position und Ausrichtung des Messsystems zwischen zwei Einzelaufnahmen bekannt, so kann der Parameterraum für das Matchen der Landmarken entsprechend minimiert werden. Hieraus resultieren ein erheblich verringerter Rechenaufwand sowie eine Verkürzung der Berechnungsdauer.Prefers In addition, the position and / or the orientation of the Measuring system and / or a change the position and / or orientation of the measuring system using at least detected by another sensor, such as using a Tilt sensor and / or a kinematic sensor. To this Way can approximate Positional relationship of several individual images determined relative to each other which reduces the amount of computation required for Combining single shots is required. For example the approximate change the position and orientation of the measuring system between two individual shots known, so the parameter space for matching the landmarks be minimized accordingly. This results in a considerable reduced computational effort and a shortening of the calculation time.
Gemäß einer bevorzugten Variante des erfindungsgemäßen Verfahrens wird das modellierte virtuelle 3D-Modell des Raumes durch zumindest eine weitere Einzelaufnahme und/oder Videoaufnahme und/oder Abstandsmessung ergänzt. Eine derartige Ergänzung kann beispielsweise erforderlich sein, wenn bestimmte Strukturelemente, wie zum Beispiel Vorsprünge oder Aussparungen einer Raumwand, anhand der erstellten Einzelaufnahmen nicht genau erfasst und berechnet werden konnten.According to one preferred variant of the method according to the invention is the modeled virtual 3D model of the room through at least one more single shot and / or video recording and / or distance measurement supplements. A such supplement may be necessary, for example, if certain structural elements, such as protrusions or recesses of a room wall, based on the individual shots taken could not be accurately recorded and calculated.
Hierzu werden mit Hilfe des Messsystems weitere Messdaten des zu ergänzenden Raumbereiches erfasst und die Ist-Position und die Ist-Ausrichtung des Messsystems innerhalb des virtuellen 3D-Modells zum Zeitpunkt der Erfassung der weiteren Messdaten bestimmt. Diese Bestimmung kann beispielsweise erfolgen, indem zum Zeitpunkt der Erfassung der weiteren Messdaten eine Teilaufnahme generiert wird, deren Landmarken mit denjenigen des virtuellen 3D-Modells verglichen und in Übereinstimmung gebracht werden. Anschließend können die neu erfassten Messwerte an entsprechender Position innerhalb des virtuellen 3D-Modells ergänzt werden. Auf diese Weise ist ein Ergänzen und Verfeinern des virtuellen 3D-Modells möglich.For this With the help of the measuring system, further measured data of the supplementary Spaces area and the actual position and the actual orientation of the measurement system within the virtual 3D model at the time of acquisition the further measured data determined. This provision may, for example done by adding the other measurement data at the time of acquisition a partial recording is generated whose landmarks coincide with those of the virtual 3D model compared and matched. Subsequently can they newly acquired measured values at the corresponding position within the be supplemented virtual 3D model. In this way is a supplement and refine the virtual 3D model possible.
Bevorzugt wird eine Soll-Position und/oder Soll-Ausrichtung des Messsystems zum Erfassen der zumindest einen zu ergänzenden Einzelaufnahme und/oder Videoaufnahme und/oder Abstandsmessung automatisch ermittelt und vorgegeben, wenn im Rahmen des Modellierens des virtuellen 3D-Modells festgestellt wird, dass zusätzliche Messdaten erforderlich sind. Die ermittelte Soll-Position und/oder Soll-Ausrichtung des Messsystems wird dem Benutzer dann vorteilhaft über ein Display angezeigt, beispielsweise in Form einer generierten virtuellen Teilaufnahme, so dass der Benutzer das Messsystem problemlos in der gewünschten Soll-Position und Soll-Ausrichtung anordnen kann. Besonders vorteilhaft wird der Benutzer zu der ermittelten Soll-Position und/oder Soll-Ausrichtung des Messsystems navigiert. Eine derartige Navigation kann beispielsweise im Rahmen eines Vergleiches der Ist- und Soll-Position bzw. Ausrichtung der Messsystems erfolgen, wobei der Benutzer z. B. über auf dem Display dargestellte Pfeile von der Ist-Position zur Soll-Position navigiert wird. Die Ist-Position bzw. Ist-Ausrichtung des Messsystems kann dabei beispielsweise anhand des aktuellen Sucherbildes der Kamera erfasst werden, indem Landmarken des aktuellen Sucherbildes mit denjenigen des virtuellen 3D-Modells verglichen werden, bis eine Übereinstimmung festgestellt wird. Eine Fein-Navigation kann dann beispielsweise mithilfe einer virtuellen, teiltransparenten Einzelabbildung auf dem Display erfolgen, die mit dem aktuellen Kamerabild in Deckung gebracht werden muss, was nachfolgend unter Bezugnahme auf ein bevorzugtes Ausführungsbeispiel noch näher erläutert wird.Preferably, a desired position and / or desired orientation of the measuring system for detecting the at least one individual recording and / or video recording and / or distance measurement to be supplemented is automatically determined and predetermined, when determining when modeling the 3D virtual model that additional measurement data is required. The determined desired position and / or desired orientation of the measuring system is then advantageously displayed to the user via a display, for example in the form of a generated virtual partial recording, so that the user can easily arrange the measuring system in the desired nominal position and desired orientation , Particularly advantageously, the user is navigated to the determined desired position and / or desired orientation of the measuring system. Such navigation can be done, for example, in the context of a comparison of the actual and desired position or orientation of the measuring system, wherein the user z. B. is navigated via arrows shown on the display of the actual position to the desired position. The actual position or actual orientation of the measuring system can be detected, for example, on the basis of the current viewfinder image of the camera by comparing landmarks of the current viewfinder image with those of the virtual 3D model until a match is found. A fine navigation can then take place for example by means of a virtual, semi-transparent individual image on the display, which must be brought into coincidence with the current camera image, which will be explained in more detail below with reference to a preferred embodiment.
Gemäß einer weiteren bevorzugten Variante des erfindungsgemäßen Verfahrens werden den Einzelaufnahmen und/oder dem virtuellen 3D-Modell weiteren Messdaten zugeordnet, die unter Verwendung zumindest eines weiteren Sensors erfasst werden.According to one Another preferred variant of the method according to the invention are the individual images and / or the virtual 3D model further Assigned measurement data using at least one other Sensors are detected.
Bei diesen zusätzlichen Messdaten kann es sich beispielsweise um Thermografiedaten und/oder um solche Daten handeln, die mithilfe eines digitalen Röntgensensors und/oder eines Radarsensors und/oder eines UWB-Sensors und/oder eines THz-Sensors und/oder eines Wallscanners oder dergleichen aufgenommen werden. Die Zuordnung solcher weiteren Messdaten zu den Einzelaufnahmen oder zu dem virtuellen 3D-Modell ermöglicht beispielsweise die Darstellung des Feuchtigkeitszustands von Raumbereichen, von elektrischen Leitungen, die in Wänden des Raumes verlegt sind, von unterschiedlichen Materialien, die in Raumwänden verarbeitet sind, etc., wobei die Messdaten der zusätzlichen Sensoren direkt eine räumliche Zuordnung erhalten.at this extra Measurement data can be, for example, thermographic data and / or such data act by using a digital x-ray sensor and / or a radar sensor and / or a UWB sensor and / or a THz sensor and / or a wall scanner or the like become. The assignment of such further measurement data to the individual images or allows for the virtual 3D model for example, the representation of the moisture state of spatial regions, of electrical cables laid in walls of the room, of different materials, which are processed in room walls, etc., where the measurement data of the additional Sensors directly a spatial Assignment received.
Die grafische Darstellung von Messergebnissen erfolgt vorteilhaft durch eine Überlagerung von halbtransparenten Abbildungen von Messergebnissen. So kann beispielsweise ein Wärmebild, das mithilfe einer Wärmebildkamera aufgenommen wurde, dem Kamerabild einer Einzelaufnahme überlagert werden.The Graphical representation of measurement results is advantageously carried out by an overlay of semitransparent images of measurement results. So, for example a thermal image, that with the help of a thermal imager was added to the camera image of a single shot superimposed.
Gemäß einer vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens können Strukturelemente automatisch identifiziert und/oder klassifiziert werden. So können Identifizierungen und Klassifizierungen beispielsweise basierend auf einer Bibliothekdatenbank vorgenommen werden, in der eine Vielzahl von Strukturelementen mit ihren Merkmalen hinterlegt ist. Anhand einer Punktwolke von Landmarken, anhand von Bilddaten der Einzelaufnahmen oder in sonstiger Weise erfasste Strukturelemente können mit den in der Bibliotheksdatenbank hinterlegten Merkmalen verglichen und identifiziert bzw. klassifiziert werden. Auch können Abstandsmessdaten die Identifikation oder Klassifikation von Strukturelementen unterstützen. Wird beispielsweise zum Durchführen der Abstandsmessungen ein Laserabstandsmesser verwendet, so wird dieser beim Vermessen von Wanddurchbrüchen oder Fenstern für gewöhnlich keine oder stark von sonstigen Messungen abweichende Messergebnisse erzielen. Entsprechend können Wanddurchbrüche oder Fenster anhand der fehlenden oder stark abweichenden Messergebnisse des Abstandsmessers von Bildern oder dergleichen unterschieden werden.According to one advantageous embodiment of the method according to the invention may structural elements automatically identified and / or classified. So can identifications and classifications, for example, based on a library database be made in which a variety of structural elements with their characteristics is deposited. Based on a point cloud of landmarks, based on image data of the individual images or in any other way Captured structural elements can compared with the features stored in the library database and be identified or classified. Also, distance measurement data support the identification or classification of structural elements. Becomes for example, to perform the distance measurements using a laser distance meter is so this when measuring wall openings or windows usually no or strongly deviate from other measurements. Correspondingly Wall cuttings or window based on the missing or strongly deviating measurement results of the distance meter are distinguished from images or the like.
Zudem werden Abmessungen von Strukturelementen, insbesondere von Türen, Fenstern, Schränken oder dergleichen, vorteilhaft automatisch in dem virtuellen 3D-Modell und/oder in den Einzelansichten angezeigt. Ferner ist es möglich, virtuelle Objekte, wie beispielsweise Möbel oder dergleichen, in das virtuelle 3D-Modell zu integrieren.moreover be dimensions of structural elements, in particular of doors, windows, cabinets or the like, advantageously automatically in the virtual 3D model and / or displayed in the individual views. It is also possible to create virtual objects such as furniture or the like to integrate into the 3D virtual model.
Ferner können bei dem erfindungsgemäßen Verfahren bevorzugt virtuelle Strukturelemente in ein aktuelles Videobild eingeblendet werden. So können beispielsweise virtuelle Möbel in das Display des Messsystems, das eine aktuelle Videoaufnahme eines Raumes wiedergibt, eingeblendet werden.Further can in the method according to the invention prefers virtual structure elements in a current video image to be displayed. So, for example virtual furniture in the display of the measuring system, which is a recent video recording of a room.
Die vorliegende Erfindung schafft ferner ein Messsystem zur bildbasierten Vermessung eines Raumes oder eines Teilbereiches eines Raumes, das insbesondere zur Durchführung des zuvor beschriebenen Verfahrens geeignet ist. Das Messsystem umfasst eine Kamera, die derart ausgebildet ist, dass sie Einzelaufnahmen eines Raums erstellen kann, wenigstens eine Einrichtung zum Erfassen von Abständen zwischen dem Messsystem und Raumpunkten im Raum und eine Auswerteeinheit, die derart eingerichtet ist, dass sie zumindest einer Einzelaufnahme einen erfassten Abstand zuordnen und ein virtuelles 3D-Modell des Raums basierend auf Einzelaufnahmen und zumindest einer Abstandsmessung modellieren kann.The The present invention further provides a measurement system for image-based Measuring a room or a part of a room, in particular to carry out of the method described above is suitable. The measuring system includes a camera that is configured to take individual pictures of a room, at least one means of detecting of distances between the measuring system and spatial points in the room and an evaluation unit, which is set up so that it at least one single recording one Assign captured distance and a virtual 3D model of space based on single images and at least one distance measurement can model.
Bei der Kamera handelt es sich bevorzugt um eine Videokamera, mit der sowohl Einzel- als auch Videoaufnahmen erstellt werden können.The camera is preferably a video camera, with both single and Also video recordings can be created.
Zudem weist das Messsystem vorteilhaft wenigstens einen weiteren Sensor auf, beispielsweise eine Wärmebildkamera und/oder einen digitalen Röntgensensor und/oder einen Radarsensor und/oder einen UWB-Sensor und/oder einen THz-Sensor und/oder einen Wallscanner oder dergleichen. Dabei sind die Kamera und der zumindest eine weitere Sensor vorteilhaft relativ zueinander kalibriert. Umfasst das Messsystem beispielsweise eine Wärmebildkamera, so sollte diese relativ zu der Kamera derart kalibriert sein, dass die Wärmebildkamera und die Kamera den gleichen Raumbereich erfassen.moreover the measuring system advantageously has at least one further sensor on, for example, a thermal imaging camera and / or a digital X-ray sensor and / or a radar sensor and / or a UWB sensor and / or a THz sensor and / or a wall scanner or the like. Here are the camera and the at least one further sensor advantageously relative to each other calibrated. For example, if the measuring system includes a thermal imager, so this should be calibrated relative to the camera such that the thermal imager and the camera capture the same space area.
Ferner weist die Einrichtung zum Erfassen von Abständen zwischen dem Messsystem und Raumpunkten eines Raumes bevorzugt zumindest einen, besser noch mehrere Entfernungsmesser auf, wobei es sich bei dem Entfernungsmesser vorteilhaft um einen Laserentfernungsmesser handelt.Further has the means for detecting distances between the measuring system and spatial points of a room preferably at least one, better yet several range finders, where it is the rangefinder advantageous to a laser range finder is.
Zudem umfasst das Messsystem bevorzugt einen Neigungssensor und/oder einen kinematischen Sensor, so dass die aktuelle Position und/oder Ausrichtung und/oder eine Änderung der Position und/oder Ausrichtung des Messsystems erfasst werden kann/können.moreover the measuring system preferably comprises a tilt sensor and / or a kinematic sensor, so that the current position and / or orientation and / or a change the position and / or orientation of the measuring system are detected can / can.
Ferner weist das Messsystem vorteilhaft ein Display als Ausgabeeinheit auf, über das beispielsweise das aktuelle Bild der Kamera oder dergleichen ausgegeben werden kann.Further the measuring system advantageously has a display as output unit up, over for example, the current image of the camera or the like output can be.
Vorteilhaft ist das Messsystem ferner derart ausgebildet, dass es handgeführt ist. Dies ermöglicht einen sehr flexiblen Einsatz des Messsystems.Advantageous the measuring system is further designed such that it is manually guided. This allows one very flexible use of the measuring system.
Schließlich ist die Auswerteeinheit vorteilhaft derart ausgebildet, dass sie die Durchführung des erfindungsgemäßen Verfahrens gestattet.Finally is the evaluation unit advantageously designed such that they execution the method according to the invention allowed.
Ausführungsbeispieleembodiments
Nachfolgend werden beispielhafte Ausführungsformen der vorliegenden Erfindung unter Bezugnahme auf die beiliegenden Zeichnungen genauer beschrieben. Darin istfollowing become exemplary embodiments of the present invention with reference to the attached Drawings described in more detail. That's it
Gleiche Bezugsziffern beziehen sich nachfolgend auf gleiche oder gleichartige Elemente.Same Reference numerals refer to the same or similar below Elements.
Zur
virtuellen Darstellung eines solchen Raumes
Wie
es eingangs bereits beschrieben wurde, besteht ein Nachteil dieses
Verfahrens darin, dass sowohl das Festlegen eines Koordinatensystems
Die
Videokamera
Das
Messsystem
Zum
Vermessen des Raumes
In
einem darauf folgenden Schritt wird, wie es in
Anschließend werden
weitere, einander überlappende
Einzelaufnahmen des Raumes
Anschließend werden
automatisch lokale Landmarken in jeder Einzelaufnahme definiert,
woraufhin in den Einzelaufnahmen nach identischen Landmarken gesucht
wird, um die Überlappungsbereiche
der Einzelaufnahmen erfassen und um die Einzelaufnahmen zueinander
ausrichten und zusammenfügen
zu können,
wie es zuvor unter Bezugnahme auf
Im
Gegensatz zu dem unter Bezugnahme auf
Wechselt
der Benutzer seinen Standort von einer Position, von der aus er
eine erste Einzelaufnahme eines Bereiches des Raumes
Zunächst wird
anhand des virtuellen 3D-Modells eine virtuelle Soll-Einzelansicht
erzeugt, die ausgehend von der Soll-Position und der Soll-Ausrichtung
des Messgeräts
Gemäß einer
alternativen Ausgestaltung eines erfindungsgemäßen Messsystems
Es sollte klar sein, dass die zuvor beschriebene Ausführungsformen der Erfindung nur als Beispiel dienen und in keinerlei Hinsicht einschränkend sind. Vielmehr sind Modifikationen und Ände rungen möglich, ohne den Schutzbereich der vorliegenden Erfindung zu verlassen, der durch die beiliegenden Ansprüche definiert ist.It it should be clear that the embodiments described above serve the invention only as an example and in no way are restrictive. Rather, modifications and changes are possible without the scope of protection of the present invention, which is defined by the appended claims is.
Insbesondere
können
zusätzlich
oder alternativ zu der Wärmebildkamera
Ferner sollte klar sein, dass die in dem Laptop integrierte Auswerteeinheit auch eine Bibliothekdatenbank zum Identifizieren und/oder Klassifizieren von Strukturelementen aufweisen kann, wie es eingangs beschrieben wurde.Further It should be clear that the evaluation unit integrated in the laptop also a library database for identifying and / or classifying Having structural elements, as described above.
Zudem
können
in ein virtuelles 3D-Modell, das mithilfe des erfindungsgemäßen Verfahrens
modelliert wird, nach seiner Fertigstellung auch virtuelle Strukturelemente
in Form von virtuellen Möbeln
oder dergleichen eingefügt
werden. Diese können
dann beispielsweise auch in das aktuelle Videobild der Videokamera
Claims (28)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE200810002241 DE102008002241A1 (en) | 2008-06-05 | 2008-06-05 | Method for image-based measurement of room or partial area of room for e.g. craftsman to install windows, involves modeling virtual three-dimensional models of room by using image processing process with respect to distances |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE200810002241 DE102008002241A1 (en) | 2008-06-05 | 2008-06-05 | Method for image-based measurement of room or partial area of room for e.g. craftsman to install windows, involves modeling virtual three-dimensional models of room by using image processing process with respect to distances |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102008002241A1 true DE102008002241A1 (en) | 2009-12-10 |
Family
ID=41268526
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE200810002241 Pending DE102008002241A1 (en) | 2008-06-05 | 2008-06-05 | Method for image-based measurement of room or partial area of room for e.g. craftsman to install windows, involves modeling virtual three-dimensional models of room by using image processing process with respect to distances |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102008002241A1 (en) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2474808A1 (en) * | 2011-01-10 | 2012-07-11 | Leica Geosystems AG | Geodesic measuring device with thermographic camera |
DE102011077678A1 (en) | 2011-06-17 | 2012-12-20 | Bauhaus-Universität Weimar | Tachymeter used for building survey, has image capture unit which is connected to measuring unit so that measuring probe is aligned to marker based on primary image data, and is aligned to measuring point based on secondary image data |
CN102901488A (en) * | 2012-09-07 | 2013-01-30 | 曹欢欢 | Method and apparatus for automatically generating room plane graph |
CN103003666A (en) * | 2010-07-28 | 2013-03-27 | 罗伯特·博世有限公司 | Parallel online-offline reconstruction for three-dimensional space measurement |
NL2008490C2 (en) * | 2012-03-15 | 2013-09-18 | Ooms Otto Bv | METHOD, DEVICE AND COMPUTER PROGRAM FOR EXTRACTING INFORMATION ON ONE OR MULTIPLE SPATIAL OBJECTS. |
DE102012205130A1 (en) | 2012-03-29 | 2013-10-02 | Robert Bosch Gmbh | Method for automatically operating a monitoring system |
WO2014108506A1 (en) * | 2013-01-11 | 2014-07-17 | Hörmann Stephan | Measurement method for building openings, building-closure production method, and devices for performing said methods |
DE102013107597A1 (en) * | 2013-01-11 | 2014-08-14 | Stephan Hörmann | Method for measuring width and height of building opening for producing e.g. rolling gate to close opening in garage, involves determining width and/or height by evaluating obtained distance and image data of opening and calibration device |
DE102013016486A1 (en) * | 2013-09-13 | 2015-04-02 | Stephan Hörmann | Surveying procedures for building openings and building closure manufacturing processes and devices for carrying them out |
US9007573B2 (en) | 2010-12-02 | 2015-04-14 | Leica Geosystems Ag | Robotic surveying instrument and method for an automated collimation telescope and surveying instrument with and objective goal |
EP3385916A1 (en) * | 2017-04-05 | 2018-10-10 | Testo SE & Co. KGaA | Measuring tool and corresponding measuring method |
CN111754631A (en) * | 2020-08-06 | 2020-10-09 | 腾讯科技(深圳)有限公司 | Three-dimensional model generation method, device, equipment and readable storage medium |
CN112699430A (en) * | 2021-01-04 | 2021-04-23 | 福建汇川物联网技术科技股份有限公司 | Method and device for detecting remote video and drawing models |
DE102018109828B4 (en) | 2018-04-05 | 2022-02-17 | Sick Ag | Device for determining a distance to an object in a room |
EP4024129A4 (en) * | 2019-08-30 | 2022-09-07 | Taroko Door & Window Technologies, Inc. | Building material image recognition and analysis system and method |
-
2008
- 2008-06-05 DE DE200810002241 patent/DE102008002241A1/en active Pending
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103003666A (en) * | 2010-07-28 | 2013-03-27 | 罗伯特·博世有限公司 | Parallel online-offline reconstruction for three-dimensional space measurement |
US9154769B2 (en) | 2010-07-28 | 2015-10-06 | Robert Bosch Gmbh | Parallel online-offline reconstruction for three-dimensional space measurement |
CN103003666B (en) * | 2010-07-28 | 2015-03-11 | 罗伯特·博世有限公司 | Parallel online-offline reconstruction for three-dimensional space measurement |
US9007573B2 (en) | 2010-12-02 | 2015-04-14 | Leica Geosystems Ag | Robotic surveying instrument and method for an automated collimation telescope and surveying instrument with and objective goal |
AU2012206599B2 (en) * | 2011-01-10 | 2014-07-24 | Leica Geosystems Ag | Geodesic measuring device comprising a thermographic camera |
WO2012095417A1 (en) * | 2011-01-10 | 2012-07-19 | Leica Geosystems Ag | Geodesic measuring device comprising a thermographic camera |
EP3339802A3 (en) * | 2011-01-10 | 2018-09-12 | Leica Geosystems AG | Geodesic measuring device with thermographic camera |
EP2474808A1 (en) * | 2011-01-10 | 2012-07-11 | Leica Geosystems AG | Geodesic measuring device with thermographic camera |
CN103314271A (en) * | 2011-01-10 | 2013-09-18 | 莱卡地球***公开股份有限公司 | Geodesic measuring device comprising a thermographic camera |
US9733081B2 (en) | 2011-01-10 | 2017-08-15 | Leica Geosystems Ag | Geodesic measuring device comprising a thermographic camera |
DE102011077678A1 (en) | 2011-06-17 | 2012-12-20 | Bauhaus-Universität Weimar | Tachymeter used for building survey, has image capture unit which is connected to measuring unit so that measuring probe is aligned to marker based on primary image data, and is aligned to measuring point based on secondary image data |
US9885573B2 (en) | 2012-03-15 | 2018-02-06 | Otto Ooms B.V. | Method, device and computer programme for extracting information about one or more spatial objects |
EP2825841B1 (en) | 2012-03-15 | 2016-11-23 | Otto Ooms B.V. | Method, device and computer programme for extracting information about a staircase |
NL2008490C2 (en) * | 2012-03-15 | 2013-09-18 | Ooms Otto Bv | METHOD, DEVICE AND COMPUTER PROGRAM FOR EXTRACTING INFORMATION ON ONE OR MULTIPLE SPATIAL OBJECTS. |
WO2013137733A1 (en) * | 2012-03-15 | 2013-09-19 | Otto Ooms B.V. | Method, device and computer programme for extracting information about one or more spatial objects |
EP3153816A1 (en) * | 2012-03-15 | 2017-04-12 | Otto Ooms B.V. | Method, device and computer programme for extracting information about one or more spatial objects |
DE102012205130A1 (en) | 2012-03-29 | 2013-10-02 | Robert Bosch Gmbh | Method for automatically operating a monitoring system |
WO2013143982A1 (en) | 2012-03-29 | 2013-10-03 | Robert Bosch Gmbh | Method for automatically operating a monitoring system |
CN102901488B (en) * | 2012-09-07 | 2015-12-16 | 曹欢欢 | A kind of method and apparatus of automatic generation room floor plan |
CN102901488A (en) * | 2012-09-07 | 2013-01-30 | 曹欢欢 | Method and apparatus for automatically generating room plane graph |
DE102013107597A1 (en) * | 2013-01-11 | 2014-08-14 | Stephan Hörmann | Method for measuring width and height of building opening for producing e.g. rolling gate to close opening in garage, involves determining width and/or height by evaluating obtained distance and image data of opening and calibration device |
WO2014108506A1 (en) * | 2013-01-11 | 2014-07-17 | Hörmann Stephan | Measurement method for building openings, building-closure production method, and devices for performing said methods |
DE102013016486A1 (en) * | 2013-09-13 | 2015-04-02 | Stephan Hörmann | Surveying procedures for building openings and building closure manufacturing processes and devices for carrying them out |
EP3385916A1 (en) * | 2017-04-05 | 2018-10-10 | Testo SE & Co. KGaA | Measuring tool and corresponding measuring method |
DE102017107336A1 (en) * | 2017-04-05 | 2018-10-11 | Testo SE & Co. KGaA | Measuring device and corresponding measuring method |
DE102018109828B4 (en) | 2018-04-05 | 2022-02-17 | Sick Ag | Device for determining a distance to an object in a room |
EP4024129A4 (en) * | 2019-08-30 | 2022-09-07 | Taroko Door & Window Technologies, Inc. | Building material image recognition and analysis system and method |
CN111754631A (en) * | 2020-08-06 | 2020-10-09 | 腾讯科技(深圳)有限公司 | Three-dimensional model generation method, device, equipment and readable storage medium |
CN111754631B (en) * | 2020-08-06 | 2023-06-30 | 腾讯科技(深圳)有限公司 | Three-dimensional model generation method, device, equipment and readable storage medium |
CN112699430A (en) * | 2021-01-04 | 2021-04-23 | 福建汇川物联网技术科技股份有限公司 | Method and device for detecting remote video and drawing models |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102008002241A1 (en) | Method for image-based measurement of room or partial area of room for e.g. craftsman to install windows, involves modeling virtual three-dimensional models of room by using image processing process with respect to distances | |
EP2918972B1 (en) | Method and handheld distance measuring device for generating a spatial model | |
DE102010043136B4 (en) | Measuring device and method for a non-contact measurement of distances at a target object | |
EP3017275B1 (en) | Positioning method for a surveying instrument and said surveying instrument | |
DE19922321C2 (en) | Method and arrangement for performing geodetic measurements using a video tachymeter | |
WO2008058788A1 (en) | Method for image-based measurement | |
EP1673589B1 (en) | Method and device for determining the actual position of a geodetic instrument | |
DE112014007227T5 (en) | Use of two-dimensional camera images to speed up the registration of three-dimensional scans | |
DE102013202393A1 (en) | Determine Tilt Angle and Tilt Direction Using Image Processing | |
DE10308525A1 (en) | surveying system | |
DE2940871A1 (en) | PHOTOGRAMMETRIC DEVICE FOR AIRCRAFT AND SPACING BODY FOR GENERATING A DIGITAL TERRAIN DISPLAY | |
WO2010066698A1 (en) | Measurement system for measuring spaces and/or objects | |
DE60118711T2 (en) | DISTANCE MEASURING DEVICE FOR MAPPING A TWO OR THREE-DIMENSIONAL VOLUME | |
EP0970392B1 (en) | Measuring system using laser technique for three-dimensional objects | |
DE102005037841B4 (en) | Method and arrangement for determining the relative position of a first object with respect to a second object, and a corresponding computer program and a corresponding computer-readable storage medium | |
EP2598839A1 (en) | Parallel online-offline reconstruction for three-dimensional space measurement | |
DE102014205640B4 (en) | Surveying using a mobile device | |
EP4051982A1 (en) | Method and mobile detection unit for detecting elements of infrastructure of an underground line network | |
DE102019120561A1 (en) | SYSTEM AND METHOD FOR AUTOMATIC RELOCALIZATION AND AUTOMATIC ADJUSTMENT OF EXISTING NON-DIGITAL FLOOR PLANS | |
EP2831839B1 (en) | Method for automatically operating a monitoring system | |
EP3385916A1 (en) | Measuring tool and corresponding measuring method | |
EP3539085A1 (en) | 3d referencing | |
EP3037837B1 (en) | Method and positioning system for determining the position of at least one mobile communication device having a digital imaging device | |
DE4020035C2 (en) | Method and device for measuring route profiles of underground operations | |
WO2013057192A1 (en) | Method for surveying and visually displaying the physical circumstances of a production plant |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R012 | Request for examination validly filed |
Effective date: 20150424 |
|
R016 | Response to examination communication | ||
R084 | Declaration of willingness to licence |