DE102012102580A1 - Method for measuring an object and intraoral scanner - Google Patents
Method for measuring an object and intraoral scanner Download PDFInfo
- Publication number
- DE102012102580A1 DE102012102580A1 DE102012102580A DE102012102580A DE102012102580A1 DE 102012102580 A1 DE102012102580 A1 DE 102012102580A1 DE 102012102580 A DE102012102580 A DE 102012102580A DE 102012102580 A DE102012102580 A DE 102012102580A DE 102012102580 A1 DE102012102580 A1 DE 102012102580A1
- Authority
- DE
- Germany
- Prior art keywords
- pattern
- sensor
- intraoral scanner
- lens array
- projected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C9/00—Impression cups, i.e. impression trays; Impression methods
- A61C9/004—Means or methods for taking digitized impressions
- A61C9/0046—Data acquisition means or methods
- A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
- A61C9/006—Optical means or methods, e.g. scanning the teeth by a laser or light beam projecting one or more stripes or patterns on the teeth
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00011—Operational features of endoscopes characterised by signal transmission
- A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00064—Constructional details of the endoscope body
- A61B1/00071—Insertion part of the endoscope body
- A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
- A61B1/00096—Optical elements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00188—Optical arrangements with focusing or zooming features
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00193—Optical arrangements adapted for stereoscopic vision
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00194—Optical arrangements adapted for three-dimensional imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0605—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for spatially modulated illumination
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/063—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0684—Endoscope light sources using light emitting diodes [LED]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/24—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
- A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C9/00—Impression cups, i.e. impression trays; Impression methods
- A61C9/004—Means or methods for taking digitized impressions
- A61C9/0046—Data acquisition means or methods
- A61C9/0053—Optical means or methods, e.g. scanning the teeth by a laser or light beam
- A61C9/0066—Depth determination through adaptive focusing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/957—Light-field or plenoptic cameras or camera modules
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
- A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Optics & Photonics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Epidemiology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
Abstract
Die Erfindung bezieht sich auf ein Verfahren zum Messen der Form von zumindest einem Abschnitt eines Objektes durch Projektion eines Musters auf den Abschnitt und Abbilden des rückprojizierten Musters auf einen Sensor. Um mit konstruktiv einfachen Maßnahmen genau den zumindest einen Abschnitt des Objektes messen zu können, wird vorgeschlagen, dass das auf den Sensor rückprojizierte Muster unter Zugrundelegung des plenoptischen Prinzips analysiert wird.The invention relates to a method of measuring the shape of at least a portion of an object by projecting a pattern on the portion and imaging the backprojected pattern onto a sensor. In order to be able to measure the at least one section of the object with structurally simple measures, it is proposed that the pattern backprojected onto the sensor be analyzed on the basis of the plenoptic principle.
Description
Die Erfindung bezieht sich auf ein Verfahren zum Messen der Form von zumindest einem Abschnitt eines Objektes durch Projektion eines Musters auf den Abschnitt und Abbilden des rückprojizierten Musters auf einen Sensor. Auch nimmt die Erfindung Bezug auf einen Intraoral-Scanner, umfassend einen Erzeuger eines auf einen Dentalbereich abzubildenden Musters, einen Sensor und eine diesem vorgeordnete erste Optik.The invention relates to a method of measuring the shape of at least a portion of an object by projecting a pattern on the portion and imaging the backprojected pattern onto a sensor. Also, the invention relates to an intraoral scanner comprising a generator of a pattern to be imaged onto a dental region, a sensor, and a first optic disposed thereon.
Es ist bekannt, ein Muster auf einem Objekt wie dentalen Bereich abzubilden, um sodann das rückprojizierte Muster eine Lochmaske durchsetzen zu lassen. Die im Fokus der Lochmaske rückprojizierten Muster wie Lichtpunkte, die im Fokus der Lochmaske liegen, passieren diese mit hoher Intensität, um sodann auf den Sensor zu fallen. Lichtpunkte außerhalb des Fokus strahlen nur mit geringer Intensität auf den Sensor. Der Sensor und/oder die Lochmaske werden iterativ axial verschoben, wobei Intensitätsmaxima die Fokusebenen ergeben, aus der sodann der Z-Abstand berechnet werden kann. Alternativ besteht die Möglichkeit, das Muster mittels eines Objektivs auf den Gegenstand abzubilden, das eine große chromatische Aberration aufweist, so dass sich eine wellenlängenabhängige Fokussierung und somit ein multifokales Muster ergibt. In Abhängigkeit von den Wellenlängenpeaks kann sodann die Fokusebene ermittelt werden (
Der vorliegenden Erfindung liegt die Aufgabe zu Grunde, ein Verfahren und einen Intraoral-Scanner der eingangs genannten Art so weiterzubilden, dass die dreidimensionale Form von zumindest einem Abschnitt eines Objekts nach einem alternativen Verfahren gemessen werden kann, wobei sich konstruktive Vereinfachungen ergeben sollen.The present invention is based on the object, a method and an intraoral scanner of the type mentioned in such a way that the three-dimensional shape of at least a portion of an object can be measured by an alternative method, which should result in constructive simplifications.
Zur Lösung der Aufgabe wird verfahrensmäßig im Wesentlichen vorgeschlagen, dass das auf den Sensor rückprojizierte Muster unter Zugrundelegung des plenoptischen Prinzips analysiert wird. Erfindungsgemäß wendet man das plenoptische Prinzip an, um virtuelle Fokusebenen für die rückprojizierten Bildpunkte des Musters zu berechnen und so die gewünschten Tiefeninformationen zu erhalten.In order to achieve the object, in terms of method it is essentially proposed that the pattern backprojected onto the sensor be analyzed on the basis of the plenoptic principle. According to the invention, the plenoptic principle is used to calculate virtual focal planes for the backprojected pixels of the pattern and thus to obtain the desired depth information.
Es ist vorgesehen, dass das rückprojizierte Muster, das aus einzelnen Lichtelementen wie Lichtpunkten besteht, mittels einer Optik auf den Sensor abgebildet wird, wobei der Optik ein Linsenarray vor- oder nachgeordnet ist.It is envisaged that the backprojected pattern, which consists of individual light elements such as light spots, is imaged by means of optics on the sensor, wherein the optics is arranged upstream or downstream of a lens array.
Das Muster wird vorzugsweise mittels monochromatischen Lichts auf den Abschnitt abgebildet. Dabei besteht die Möglichkeit, auf den Abschnitt ein statisches oder variierendes Muster zu projizieren. Insbesondere ist vorgesehen, dass das Muster durch auf den Abschnitt projizierte Laserpunkte erzeugt wird. Dabei sollten die Laserpunkte einen genügenden Abstand zueinander aufweisen, damit die über das Linsenarray auf den Sensor projizierten Teilbilder überlappungsfrei abgebildet werden, so dass die Auswertung vereinfacht und beschleunigt wird.The pattern is preferably imaged on the section by means of monochromatic light. It is possible to project a static or varying pattern onto the section. In particular, it is provided that the pattern is generated by laser dots projected onto the section. The laser points should have a sufficient distance from one another so that the partial images projected onto the sensor via the lens array are imaged without overlapping, so that the evaluation is simplified and accelerated.
Weisen die Linsen des Linsenarrays vorzugsweise gleiche Brennweiten auf, so besteht auch die Möglichkeit, dass diese unterschiedliche Brennweiten besitzen. Hierdurch lassen sich die individuellen Projektionspositionen in den von den einzelnen Linsen des Linsenarrays abgebildeten Teilbildern stärker differenzieren und somit die Genauigkeit der Auswertung steigern.If the lenses of the lens array preferably have the same focal lengths, there is also the possibility that they have different focal lengths. As a result, the individual projection positions in the partial images imaged by the individual lenses of the lens array can be differentiated more strongly, and thus the accuracy of the evaluation can be increased.
Um eine einfachere Auswertung der Teilbilder zur Bestimmung der dreidimensionalen Form des Abschnitts des Objekts zu ermöglichen, sieht die Erfindung bevorzugterweise vor, dass mittels der Hough-Transformation die Fokusebenen der rückprojizierten Elemente des Musters ermittelt werden.In order to allow a simpler evaluation of the partial images for determining the three-dimensional shape of the portion of the object, the invention preferably provides that the focal planes of the back-projected elements of the sample are determined by means of the Hough transformation.
Es besteht aber auch die Möglichketi, mittels dem Fourier-Slice-Theorem die Fokusebenen der rückprojizierten Elemente des Musters zu ermitteln.However, it is also possible to use the Fourier slice theorem to determine the focal planes of the backprojected elements of the pattern.
Insbesondere ist vorgesehen, dass das Verfahren zum Scannen dentaler Objekte, insbesondere zum intraoralen Scannen eines Dentalbereichs verwendet wird.In particular, it is provided that the method is used for scanning dental objects, in particular for intraoral scanning of a dental area.
Ein Intraoralscanner der eingangs genannten Art zeichnet sich dadurch aus, dass in dem Intraoralscanner ein Linsenarray angeordnet ist, das mit dem Sensor eine Lichtfeldkamera bildet.An intraoral scanner of the type mentioned above is characterized in that a lens array is arranged in the intraoral scanner, which forms a light field camera with the sensor.
Hierzu sieht die Erfindung insbesondere vor, dass in einem Intraoralscanner ein Erzeuger des Musters und die Optik, das Linsenarray und der Sensor integriert werden, dass der Intraoralscanner kabellos betrieben wird und Signale des Sensors durch Fernzugriff wie WLAN oder Bluetooth an einen Rechner übertragen werden.For this purpose, the invention provides, in particular, that in an intraoral scanner a generator of the pattern and the optics, the lens array and the sensor are integrated, that the intraoral scanner is operated wirelessly and signals from the sensor are transmitted to a computer by remote access, such as WLAN or Bluetooth.
Dabei kann das Linsenarray in Bezug auf die optische Achse der Optik vor- oder nachgeordnet sein. In this case, the lens array with respect to the optical axis of the optics may be upstream or downstream.
Das Muster, das auf den zu messenden Dentalbereich projiziert wird, besteht vorzugsweise aus Laserpunkten, insbesondere monochromatischer Strahlung, wobei blau zu bevorzugen ist.The pattern which is projected onto the dental area to be measured preferably consists of laser spots, in particular monochromatic radiation, blue being preferred.
Das Muster selbst kann ein statisches oder ein variierendes Muster sein.The pattern itself can be a static or a varying pattern.
Das Linsenarray kann aus Linsen bestehen, die gleiche Brennweiten aufweisen. Es besteht jedoch auch die Möglichkeit, das Linsen oder Linsengruppen mit voneinander abweichenden Brennweiten das Linsenarray bilden.The lens array may consist of lenses having the same focal lengths. However, there is also the possibility that lenses or lens groups with differing focal lengths form the lens array.
Ferner sollte der Intraoralscanner eine zweite das Muster auf das Objekt abbildende Optik enthalten.Furthermore, the intraoral scanner should contain a second pattern reflecting the pattern on the object.
Weitere Einzelheiten, Vorteile und Merkmale der Erfindung ergeben sich nicht nur aus den Ansprüchen, den diesen zu entnehmenden Merkmalen – für sich und/oder in Kombination – sondern auch aus der nachfolgenden Beschreibung. Es zeigen:For more details, advantages and features of the invention will become apparent not only from the claims, the features to be taken these features - alone and / or in combination - but also from the following description. Show it:
Erfindungsgemäß werden zum Ermitteln der dreidimensionalen Form zumindest eines Abschnitts eines Objektes, insbesondere eines semitransparenten Objektes wie dentalen Objektes, Grundprinzipien der Optik angewendet, auf die nachstehend eingegangen wird.According to the invention, basic principles of optics are applied to determine the three-dimensional shape of at least one section of an object, in particular of a semitransparent object such as a dental object, which will be discussed below.
Wird ein Objektpunkt gleichzeitig in zwei Kameras abgebildet, gibt es grundlegende Beziehungen, die mit Hilfe der so genannten Epipolar-Geometrie beschrieben werden. Dies wird anhand der
Der Projektionspunkt x des Bildpunktes X auf den Sensor S, S' einer der beiden nicht dargestellten Kameras wird – vereinfacht gesehen – nach dem Lochkamera-Prinzip durch den Strahl vom Bildpunkt zum Projektionszentrum C der Kamera beschrieben. Das Projektionszentrum ist dabei bei unveränderter Kameraeinstellung für alle Bildpunkte stets an der gleichen Position.The projection point x of the pixel X on the sensor S, S 'of one of the two cameras, not shown is - simplified - described by the pinhole camera principle by the beam from the pixel to the projection center C of the camera. The projection center is always in the same position for all pixels with unchanged camera setting.
Da alle Punkte, die auf der Geraden g liegen auf den gleichen Punkt x projiziert werden, kann mit nur einer Kamera prinzipiell keinerlei Tiefen-Information gewonnen werden. So sind in der obigen Abbildung die Punkte X und Y für die linke Kamera nicht unterscheidbar.Since all points lying on the line g are projected onto the same point x, in principle no depth information can be obtained with just one camera. Thus, in the figure above, the X and Y points are indistinguishable for the left camera.
Kommt nun jedoch eine zweite Kamera aus anderem Blickwinkel ins Spiel, werden hier die Punkte X und Y auf verschiedene Bildpunkte x' und y' projiziert. Bei bekannten Projektionszentren C und C' kann daher aus den korrespondierenden Bildpunkten x und x' unter optimalen Bedingungen die dreidimensionale Position des Objektpunktes X genau bestimmt werden: Der Punkt liegt im Schnittpunkt der Geraden g (Cx ⇀) und C'x' ⇀. Man gewinnt also Tiefeninformation, wobei die Bedingungen natürlich niemals so optimal sind wie dargestellt: Insbesondere werden sich unter praktischen Bedingungen die Geraden Cx ⇀ und C'x' ⇀ in vielen Fällen gar nicht schneiden, so dass der Punkt X oft nur angenähert als Punkt X ^ des kleinsten Abstandes zwischen den beiden Geraden bestimmbar wird.If, however, a second camera comes into play from a different angle, the points X and Y are projected onto different pixels x 'and y'. In known projection centers C and C ', therefore, the three-dimensional position of the object point X can be precisely determined from the corresponding pixels x and x' under optimal conditions: the point lies at the intersection of the straight lines g (Cx ⇀) and C'x '⇀. Thus, one obtains depth information, whereby the conditions are of course never as optimal as shown: In particular, under practical conditions, the lines Cx ⇀ and C'x '⇀ will not intersect in many cases, so that the point X often approximates only point X. ^ the smallest distance between the two lines can be determined.
Sollen nun mehrere Objektpunkte gleichzeitig vermessen werden, wird die Auswertung dadurch erschwert, dass für jeden Bildpunkt x in der einen Kamera viele hierzu möglicherweise passende Punkte in der anderen Kamera existieren und es schwer wird, den tatsächlich hiermit korrespondierenden, d. h. tatsächlich ebenfalls vom Objektpunkt X projizierten Punkt x' herauszufinden. If now several object points are to be measured at the same time, the evaluation is made more difficult by the fact that for each pixel x in one camera many potentially matching points in the other camera exist and it becomes difficult to actually project the same, ie actually projected from the object point X as well Find out point x '.
Ist z. B. x in
Um für einen Bildpunkt x die geometrische Position im zweiten Bild zu bestimmen, lässt sich die Suche aber auf eine Gerade 1' reduzieren: Die mit Bildpunkt x korrespondierende so genannte Epipolar-Gerade. Die Gerade ist 1' hierbei durch den Schnitt der von C, C' und x aufgespannten Ebene mit der Sensorebene der rechten Kamera bestimmt. Alle möglichen mit Bildpunkten im linken Bild korrespondierenden Epipolar-Geraden im rechten Bild schneiden sich dabei im so genannten Epipol e', der zugleich der Projektionspunkt des linken Projektionszentrum C im rechten Bild darstellt.In order to determine the geometrical position in the second image for one pixel x, however, the search can be reduced to a straight line 1 ': the so-called epipolar straight line corresponding to pixel x. The straight line is 1 'in this case determined by the intersection of the C, C' and x plane spanned with the sensor plane of the right camera. All possible epipolar lines corresponding to pixels in the left image in the right image intersect in the so-called epipole e ', which at the same time represents the projection point of the left projection center C in the right image.
Sind beide Sensorebenen parallel zueinander ausgerichtet, vereinfachen sich die Epipolar-Geraden, da sie genau parallel zu den Bildzeilen des Sensors verlaufen. Beim so genannten Stereonormalfall, bei dem die Sensorebenen parallel ausgerichtet sind und auch die Projektionszentren auf einer Höhe liegen (
Nach dem plenoptischen Ansatz von
Das diesbezügliche Prinzip der plenoptischen Kamera wird erfindungsgemäß bei einem Intraoral-Scanner eingesetzt, wie dieser prinzipiell der
Allerdings sollte eine zusätzliche Muster-Projektion bei oftmals glatten nur schwach texturierten Objekten – wie bei Zähnen – erfolgen, um eindeutige korrespondierende Punkte detektieren zu können.However, an additional pattern projection should often be done on smooth objects that are only slightly textured - as in the case of teeth - in order to be able to detect unambiguous corresponding points.
Als Muster-Projektor können dabei Laser mit vorgeschalteter Optik oder aber andere herkömmliche Musterprojektoren mit LEDs oder anderen Lichtquellen verwendet werden. Das reflektierte Muster wird dann über ein Linsensystem
Die mehrfach projizierten Bilder werden sodann stereoskopisch bzw. multifokal ausgewertet, indem in jedem Teilbild jeweils korrespondierende Punkte – wie oben skizziert – miteinander verrechnet werden. Aufgrund der gegebenen parallelen Bildebenen, da auf gleichen Sensor projiziert, gestaltet sich die Suche nach korrespondierenden Bildpunkten relativ einfach. Die sodann für jeden 2D-Bildpunkt bestimmbaren 3D-Koordinaten erhält man durch Minimierungs-Algorithmen auf der Grundlage schneller Matrix-Berechnungen. Insgesamt gestaltet sich die Berechnung bis hin zur 3D-Information der projizierten Musterpunkte relativ einfach und damit schnell genug, um live die Punktwolke zu erhalten, die mit Verschiebung des Intraoral-Scanners zum kompletten 3D-Modell des Dentalobjektes ergänzt wird. Die Punktewolken der jeweiligen Scandaten werden hierzu gematcht.The multiply projected images are then evaluated stereoscopically or multifocal by corresponding points in each sub-image - as outlined above - are offset against each other. Due to the given parallel image planes, as projected onto the same sensor, the search for corresponding pixels is relatively easy. The then determinable for each
Die Auswertung lässt sich noch weiter beschleunigen, wenn das projizierte Muster weiter vereinfacht wird, indem z. B. nur einzelne Laserpunkte projiziert werden, die einen genügend großen Abstand haben, damit sie in allen Teilbildern überlappungsfrei abgebildet werden.The evaluation can be further accelerated if the projected pattern is further simplified by, for. B. only individual laser dots are projected, which have a sufficiently large distance, so that they are imaged without overlapping in all fields.
Mit steigender Anzahl an Linsen im vorgeschalteten Linsen-Array
Die vorgeschalteten Linsen des Linsenarray
Ist anhand der
Im Zusammenhang mit der diesbezüglichen und der
In seiner Dissertation beschreibt Ren Ng das Prinzip seiner Lichtfeldkamera, das zum Verständnis mitsamt einiger Begriffsdefinitionen im Folgenden stark vereinfacht erläutert wird.In his dissertation, Ren Ng describes the principle of his lightfield camera, which is explained in a simplified way for the understanding, together with a few definitions of terms.
Die plenoptische Funktion wurde erstmals 1991 von
l7 = L7(θ, ϕ, x, y, z, t, λ)The plenoptic function was first reported in 1991 by
l 7 = L 7 (θ, φ, x, y, z, t, λ)
Damit hat diese allgemeinste Beschreibung eines Lichtstrahls im Raum sieben Dimensionen. Durch Einschränkung auf statische Szenen und Vernachlässigung der Wellenlänge (diese wird oft nicht benötigt oder kann bei Bedarf z. B. vom CCD-Sensor erfasst werden) verbleibt dann noch die dargestellte fünfdimensionale plenoptische Funktion:
l = L(x, y, z, θ, ϕ) (s.
l = L (x, y, z, θ, φ) (s.
Der Begriff Lichtfeld wurde 1936 von
Diese Parametrisierung kann verwendet werden, um die in eine Kamera eintreffenden Lichtstrahlen einzeln zu beschreiben. Vorausgesetzt die Kamera ist fest fokussiert, d. h. der Abstand zwischen Objektiv und Sensor statisch fixiert, kann ein Lichtstrahl durch den Eintrittspunkt an der Blende und den Punkt seines Auftreffens am Sensor eindeutig charakterisiert werden.
Ren Ng beschreibt in seiner Dissertation (s. o.) eine Lichtfeldkamera, bei der vor der Sensorebene ein Mikrolinsen-Array angeordnet ist. Statt an dieser Stelle in herkömmlicher Weise direkt auf ein Sensorelement zu treffen wird jeder Bildpunkt durch dieses Linsengitter nochmals gebrochen und trifft dann je nach Einfallswinkel auf unterschiedliche Sensorelemente. Man kann sich dieses Mikrolinsenarray wie ein Array aus vielen Kleinst-Kameras vorstellen, die jeweils auf einen individuellen, sich aber überlappenden Teilbereich der u/v-Ebene im Blendenbereich der Kamera gerichtet sind. Hierdurch lässt sich neben dem Eintrittspunkt in der x/y-Ebene auch der jeweilige Punkt in der u/v-Ebene für jeden Lichtstrahl, d. h. das Lichtfeld bestimmen. Ren Ng describes in his dissertation (see above) a light field camera in which a micro lens array is arranged in front of the sensor plane. Instead of meeting at this point in a conventional manner directly on a sensor element each pixel is refracted by this lens grid again and then meets depending on the angle of incidence on different sensor elements. One can think of this microlens array as an array of many micro-cameras, each directed to an individual, but overlapping portion of the u / v plane in the aperture region of the camera. As a result, in addition to the entry point in the x / y plane, the respective point in the u / v plane can also be determined for each light beam, ie the light field.
Der Photosensor hat natürlich nur eine gewisse Auflösung, die sich durch Verwendung in einer Lichtfeld-Kamera aufteilt. Die spatiale (räumliche) Auflösung wird durch die Größe der Mikrolinsen bestimmt. Im Vergleich zur herkömmlichen Kamera ist diese stark verkleinert, da die Mikrolinsen zur Auflösung des Lichtfeldes stets auf mehrere Sensorelemente einstrahlen. Die spatiale Auflösung des Sensors verringert sich entsprechend um diesen Faktor. Die Genauigkeit zur Bestimmung der u/v-Ebene wird dagegen durch die Anzahl der Sensorelemente bestimmt, auf die jede Mikrolinse einstrahlt. Auf je mehr Sensorelemente jede Mikrolinse einstrahlt, umso höher wird damit die Auflösung der u/v-Ebene und steigt damit letztlich auch die Tiefeninformation. Umso stärker sinkt aber auch die spatiale Auflösung der x/y-Ebene. Somit ist je nach Anwendung stets der optimale Ausgleich zwischen beiden Auflösungen zu bestimmen.Of course, the photosensor has only a certain resolution, which is divided by use in a light field camera. Spatial (spatial) resolution is determined by the size of the microlenses. Compared to the conventional camera, this is greatly reduced because the microlenses always radiate to the resolution of the light field on multiple sensor elements. The spatial resolution of the sensor decreases accordingly by this factor. In contrast, the accuracy for determining the u / v plane is determined by the number of sensor elements that each microlens irradiate. The more sensor elements each of the microlenses emit, the higher the resolution of the u / v plane, and thus ultimately the depth information. However, the spatial resolution of the x / y plane decreases all the more. Thus, depending on the application, the optimum balance between the two resolutions must always be determined.
Aufgrund der zusätzlichen Information über die u/v-Ebene ist es möglich, bei einer Lichtfeld-Kamera auch im Nachhinein die Fokusebene zu verändern. Bei einem einzelnen Pixel einer herkömmlichen Kamera werden auf der x/y-Ebene sämtliche Intensitäten aller eintreffenden Lichtstrahlen miteinander addiert, was im Lichtfeld betrachtet im Prinzip (abgesehen von einem Vignettierungs-Faktor cos4θ und anderen Einflüssen) einer Integration über alle Strahlen der u/v-Ebene entspricht: Due to the additional information about the u / v plane, it is possible to change the focal plane later in a light field camera. In a single pixel of a conventional camera, all the intensities of all incident light beams are added together on the x / y plane, which in principle (apart from a vignetting factor cos 4 θ and other influences) of integration over all beams of the u / v level corresponds to:
Nach der
Hieraus ergibt sich bei vereinfachter Betrachtung ohne Vignettierung und anderen Einflüssen für die Lichtintensität an der Position x'/y' auf der virtuellen Fokusebene: This results in a simplified view without vignetting and other influences on the light intensity at the position x '/ y' on the virtual focal plane:
Es sei angemerkt, dass für die praktische Berechnung der einzelnen virtuellen Fokusebenen das so genannte Fourier-Slice-Theorem Anwendung findet. Bei diesem macht man sich zu Nutze, dass die Fouriertransformierten der jeweiligen Fokusebenen bestimmten fest definierten Schnitten durch den 4-dimensionalen Fourierraum des 4D-Lichtfeldes entsprechen. Man erhält die virtuellen Fokusebenen, indem auf das Lichtfeld zunächst eine 4D-Fouriertransformation angewandt wird, danach eine Koordinaten-Transformation und abschließend für jeden 2D-Schnitt eine inverse Fourier-Transformation.It should be noted that the so-called Fourier slice theorem is used for the practical calculation of the individual virtual focal planes. In this case, one makes use of the fact that the Fourier transforms of the respective focal planes correspond to certain firmly defined sections through the 4-dimensional Fourier space of the 4D light field. The virtual focus planes are obtained by first applying to the light field a 4D Fourier transformation, then a coordinate transformation and finally an inverse Fourier transformation for each 2D section.
Diese Berechnung gestaltet sich allerdings relativ rechenintensiv.However, this calculation is relatively computationally intensive.
Erfindungsgemäß wird die Lichtfeldkamera in dem Verfahren nach Ng zur Vermessung dreidimensionaler Strukturen auf dem Dentalbereich angewendet, wobei aufgrund des Lichtfeldes und damit möglicher Refokussierung entsprechende Tiefeninformationen gewonnen werden, wie dies bereits zuvor und insbesondere im Zusammenhang mit den
Der
Folglich wird mittels des Muster-Projektors
Die Verwendung eines einfachen Musters erfüllt hierbei zweierlei:
- 1. Die Sicherstellung einer deutlichen Textur zum optimalen Auffinden der Fokusebene und damit der Tiefeninformation
- 2. Die vereinfachte und damit deutlich verschnellerte Analyse durch Berechnung nur einzelner, deutlicher Abschnitte anstatt des gesamten Bildes mitsamt allen Fokus-Ebenen
- 1. Ensuring a clear texture for optimal finding of the focal plane and thus the depth information
- 2. The simplified and thus significantly faster analysis by calculating only individual, clear sections instead of the entire image, including all focus levels
Zur Musterprojektion kann z. B. ein Array aus Laserpunkten oder ein Lasergitter verwendet werden, wie es mit entsprechend vorgeschalteter Optik Stand der Technik ist. Auch andere herkömmliche Musterprojektoren mit LEDs oder anderen Lichtquellen, die ein Muster auf einer Ebene scharf projizieren und auf anderen Ebenen rasch unscharf werden, sind entsprechend denkbar.For pattern projection z. As an array of laser spots or a laser grating are used, as it is state of the art with corresponding upstream optics. Other conventional pattern projectors with LEDs or other light sources, which project a pattern on one level and are quickly blurred on other levels, are accordingly conceivable.
Besteht das Muster vorzugsweise aus Bildpunkten kreisförmiger Geometrie, so können andere Geometrien gleichfalls zum Einsatz gelangen. Insbesondere besteht die Möglichkeit, Muster bestehend aus Lichtstrichen oder -kreuzen auf das dentale Objekt abzubilden.If the pattern preferably consists of pixels of circular geometry, then other geometries can likewise be used. In particular, it is possible to image patterns consisting of light lines or crosses on the dental object.
Neben der Projektion eines statischen Musters ist auch ein sich dynamisch veränderndes Projektionsmuster denkbar, durch das auch bei unbewegtem Scanner-Kopf Tiefen-Informationen von weiteren Zwischen-Punkten gewonnen werden. Es sollten vorzugsweise Lücken zwischen den projizierten Musterpunkten vorhanden sein, damit eine einfache Verarbeitbarkeit möglich wird, um folglich den Informationsgehalt zu vereinfachen.In addition to the projection of a static pattern, a dynamically changing projection pattern is also conceivable, by means of which depth information of further intermediate points is obtained even when the scanner head is motionless. There should preferably be gaps between the projected pattern points to allow easy processability, thus simplifying the information content.
Unter sich verändernden oder variierenden Mustern versteht man ganz allgemein, dass nicht konstant das gleiche Muster, sondern wechselnde Muster projiziert werden. Dies kann mittels eines Mustergenerators erreicht werden, mittels dessen die Muster nicht stets an die gleichen x/y-Koordinaten projiziert werden. Vielmehr werden die Positionen variiert, um auch beim Grobmuster Informationen über Zwischenbereiche zu erhalten.Changing or varying patterns are generally understood to mean that patterns are not constantly projected, but alternating patterns are projected. This can be achieved by means of a pattern generator by means of which the patterns are not always projected onto the same x / y coordinates. Rather, the positions are varied in order to obtain information on intermediate areas, even in the case of the coarse pattern.
Vorzugsweise sollte ein monochromer Mustergenerator zum Einsatz gelangen. Dieser hat den Vorteil, dass der Intraoralscanner durch Farb- und ggf. Polarisationsfilter unempfindlicher gegenüber Streulicht und anderen Störquellen gemacht werden kann, indem das rückprojizierte Muster eindeutiger schon physikalisch herausgefiltert werden kann.Preferably, a monochrome pattern generator should be used. This has the advantage that the intra-oral scanner can be made less sensitive to scattered light and other sources of interference by color filters and, if necessary, by polarization filters, since the back-projected pattern can be filtered out even more clearly physically.
Die Verwendung mehrerer, verschiedenfarbiger Muster ist gleichfalls möglich. Hierdurch ergibt sich der Vorteil, gleichzeitig mehrere Muster getrennt auszuwerten, um so die Punktdichte des projizierten Musters weiter zu erhöhen. Dies führt zu einer deutlich gesteigerten Anzahl an Messpunkten und damit dichteren 3D-Punktewolke. Voraussetzung hierfür ist ein Farbsensor als Sensor
Auch ist es ggfs. sinnvoll, das Muster nicht senkrecht auf das dentale Objekt einzustrahlen, sondern unter einem gewissen, leicht gekippten Winkel. Dies erhöht die Auflösung der Tiefeninformation, da neben des je nach Fokusebene unterschiedlichen u/v-Ebenen-Lichtfeldes zusätzlich eine je nach Fokusebene unterschiedliche x/y-Translation vorhanden ist. Je nach Auflösung des Sensors und Größe der verwendeten Mikrolinsen – die damit die x/y-Auflösung verringern bzw. die u/v-Auflösung erhöhen –, ergibt sich hieraus ein Auflösungs-Vorteil für die resultierende Punktwolke.It may also make sense not to irradiate the pattern perpendicular to the dental object, but at a certain, slightly tilted angle. This increases the resolution of the depth information since, in addition to the different u / v plane light field depending on the focal plane, there is additionally an x / y translation that differs depending on the focal plane. Depending on the resolution of the sensor and the size of the microlenses used - which thus reduce the x / y resolution or increase the u / v resolution - this results in a resolution advantage for the resulting point cloud.
Die Kippung sollte jedoch derart begrenzt sein, dass eine Abschattung in Bereichen wie Zahnzwischenräumen unterbleibt.However, the tilt should be limited so as to avoid shading in areas such as interdental spaces.
Zu dem Haupt-Linsensystem
Von der Auflösung her gilt der Grundsatz, dass je höher die Auflösung ist, umso größer ist die prinzipielle Auflösung der Tiefeninformation, wobei auch die Anzahl der Mikrolinsen zu berücksichtigen ist. Bevorzugt sollte ein möglichst hoch auflösender Sensor
Der Sensor
Zur Bestimmung der virtuellen Fokusebene und damit des z-Abstandes – die x/y-Koordinate wird durch die Koordinaten des Teilbildes auf dem Fotosensor
Je nachdem, ob ein Punkt fokussiert wurde, werden die von diesem Punkt ausgehenden Strahlen auf einen Punkt der x/y-Ebene fokussiert oder aber auf mehrere Pixel des Sensors wie CCD-Sensor verteilt. Demnach stellt bei einem einfachen Muster für einen gegebenen Bildpunkt (x, y) diejenige virtuelle Ebene mit der größten Lichtintensität die gesuchte Fokusebene dar, sofern keine Einflüsse aus anderen Quellen vorliegen.Depending on whether a point has been focused, the rays emanating from this point are focused on a point of the x / y plane or distributed to several pixels of the sensor such as CCD sensor. Thus, in a simple pattern for a given pixel (x, y), the virtual plane with the greatest light intensity represents the searched focal plane, unless there are influences from other sources.
Nach den Erläuterungen im Zusammenhang mit der
Hieraus ist unter Berücksichtigung der Ausführungen im Zusammenhang mit den
Zur Bestimmung vonwird eine Hough-Transformation bevorzugt. Hierzu wird zunächst ein diskreter dreidimensionalen Hough-Raum über den Parametern x, y und α aufgespannt und mit jeweils 0 initialisiert. Anschließend wird über alle denkbaren Parameter-Kombinationen (x, y, u, v, a) iteriert, wobei der Hough-Raum an der Stelle (x, y, a) jeweils um den gemessenen Wert erhöht wird. Fokus-Punkte können dadurch detektiert werden, dass lokale Maxima (x ^, y ^, a ^)i in dem so gewonnenen Hough-Akkumulator bestimmt werden. Aus diesen lokalen Maxima lassen sich sodann in direkter Weise zuge hörige Punkte (xw, yw, zw)i im 3D-Raum bestimmen, wobei zunächstberechnet und anschließend (xw, yw, zw)i mittels der bekannten Lochkamera-Rückprojektion vom Bildpunkt (x ^, y ^) in der Entfernung zwi bestimmt wird.For the determination of a Hough transformation is preferred. For this purpose, first a discrete three-dimensional Hough space is spanned over the parameters x, y and α and initialized with 0 in each case. Subsequently, iterates over all conceivable parameter combinations (x, y, u, v, a), the Hough space at the point (x, y, a) in each case around the measured value is increased. Focus points can be detected by determining local maxima (x ^, y ^, a ^) i in the Hough accumulator thus obtained. From these local maxima, it is then possible to directly determine impaired points (x w , y w , z w ) i in 3D space, wherein first and then ( xw , yw , zw ) i is determined by means of the known pinhole rear projection from the pixel (x ^, y ^) at the distance z wi .
Die notwendige Iteration über alle denkbaren Kombination von fünf Parametern erscheint zunächst sehr aufwändig und rechenintensiv. Die möglichen u, v-Kombinationen bei der beschriebenen Lichtfeld-Kamera stellen jedoch lediglich Unterbilder auf dem Gesamt-Sensor-Bild dar. Somit stellt die Iteration über alle denkbaren Parameter (x, y, u, v) lediglich eine Iteration über alle Pixel des Sensors dar mit entsprechender Indexierung auf (x, y, u, v). Auch für α kommen nur wenige diskrete Werte in Frage.The necessary iteration over any conceivable combination of five parameters initially appears very time-consuming and computationally intensive. However, the possible u, v combinations in the described light field camera only represent subimages on the overall sensor image. Thus, the iteration over all conceivable parameters (x, y, u, v) represents only one iteration over all the pixels of the Sensor dar with corresponding indexing on (x, y, u, v). Also for α only a few discrete values come into question.
Da auch andere Hough-Transformationen mit Iterationen über alle Sensorelemente z. B. zum Auffinden von Linien und Kreisen beinahe in Echtzeit ablaufen, ist eine Online-Berechnung der entsprechenden 3D-Punktewolke aus den Fokuspunkten des beschriebenen Hough-Raumes möglich.Since other Hough transformations with iterations over all sensor elements z. B. for finding lines and circles run almost in real time, an online calculation of the corresponding 3D point cloud from the focus points of the described Hough space is possible.
Denkbar ist zudem, dass sich bei entsprechender Kalibration bestimmte lokale Bildmuster direkt 3D-Objekt-Koordinaten zuordnen lassen.It is also conceivable that with appropriate calibration, certain local image patterns can be assigned directly to 3D object coordinates.
Insgesamt können bei beiden Verfahren (Hough-Transformation oder direkte Zuordnung nach Kalibration) das Muster so einfach aufgebaut sein bzw. die einzelnen projizierten Musterpunkte einen solchen Mindestabstand haben, dass die lokalen Intensitäts-Maxima tatsächlich Fokuspunkte darstellen und sich nicht durch Überlagerung verschiedener Musterpunkte ergeben. Ein sicherer Abstand lässt sich aus der notwendigen Genauigkeit und Breite für α und der sich daraus ergebenden möglichen Minimaldistanz im Hough-Raum abschätzen.Overall, in both methods (Hough transformation or direct assignment after calibration), the pattern can be constructed so simply or the individual projected pattern points have such a minimum distance that the local intensity maxima actually represent focus points and do not result from superposition of different pattern points. A safe distance can be estimated from the necessary accuracy and width for α and the resulting minimum possible distance in Hough space.
Die zuvor erläuterten Verfahren zur Ermittlung der virtuellen Fokusebenen und damit die Berechnung der Tiefeninformationen (z-Achse) unter Berücksichtigung des Fourier-Slice-Theorems von Ng bzw. des Hough-Raums gelten insbesondere dann, wenn das Mikrolinsen-Array der Hauptoptik nachgeordnet, also unmittelbar vor dem Sensor positioniert ist. Unabhängig hiervon ist die erfindungsgemäße Lehre insbesondere unter Anwendung der angepassten Hough-Transformation realisierbar, die eigenerfinderisch ist.The previously explained methods for determining the virtual focal planes and thus the calculation of the depth information (z-axis) taking into account the Fourier-Slice theorem of Ng or the Hough space apply in particular when the microlens array is arranged downstream of the main optics, ie positioned directly in front of the sensor. Regardless of this, the teaching according to the invention can be realized in particular using the adapted Hough transformation, which is self-inventive.
In herkömmlichen Kameras können Objektpunkte scharf abgebildet, d. h. fokussiert werden, indem der Abstand zwischen Sensorebene und Objektiv angepasst wird. Ein Gegenstand wird nach der Gaußschen Linsenformel für dünne Linsen genau dann scharf abgebildet, wenn Gegenstandsweite g (Abstand Gegenstand zu Blende) und Bildweite b (Abstand Sensorebene zu Blende) der folgenden Gleichung entsprechen:
Sofern Objektpunkte exakt fokussiert sind, d. h. scharf abgebildet werden, lässt sich damit der Objektabstand g bestimmen mittels g =
Bei einer herkömmlichen Kamera kann bei bekanntem Projektionszentrum – dieses kann durch eine Kamera-Kalibration ermittelt werden – für jeden Bildpunkt nach dem Lochkamera-Modell zwar ermittelt werden, aus welcher Richtung der Hauptstrahl eintraf (
Insbesondere, wenn Punkte nicht fokussiert wurden, „verschwimmen” die Bildpunkte mit deren Nachbarpunkten und werden unscharf dargestellt. D. h. die von einem einzelnen Objektpunkt ausgesandten und auf der (gedachten) u/v-Ebene eintreffenden Lichtstrahlen werden gleich auf mehrere Punkte der x/y-Ebene projiziert.In particular, when points have not been focused, the pixels "blur" with their neighboring points and are out of focus. Ie. those sent from a single object point and Light rays arriving at the (imaginary) u / v plane are immediately projected onto several points of the x / y plane.
Zwar lassen sich bei vereinzelten Objektpunkten mit wenig umgebenden Störfaktoren auch aus dem sich ergebenden Unscharf-Bildverlauf Rückschlüsse auf den Objekt-Abstand gewinnen (vgl. z. B.
Der Verfahrensablauf, der beim intraoralen Scannen unter Verwendung des plenoptischen Prinzips durchgeführt wird, wird rein prinzipiell noch einmal anhand der
Im Verfahrensschritt a) wird ein Muster auf ein dentales Bild projiziert. Beispiele von entsprechenden Mustern, bei denen es sich um Punkte, um Geraden oder Kreuze handelt, sind beispielhaft dargestellt.In method step a), a pattern is projected onto a dental image. Examples of corresponding patterns that are points, lines, or crosses are exemplified.
An das Muster sollte die Anforderung gestellt werden, dass es einfach ist, um eine schnelle und einfache Detektion und Auswertung zu ermöglichen.The pattern should be made the requirement that it be easy to enable quick and easy detection and evaluation.
Ferner sollte das projizierte Muster auf den Messbereich scharf eingestellt werden bzw. das Muster innerhalb eines gewissen Bereichs scharf abgebildet sein und nicht ineinander übergehende Verläufe aufweisen. Mit anderen Worten sind hochfrequente Teile innerhalb einer Fourier-Analyse des projizierten Musters, die z. B. scharfen Kanten und Linien entsprechen, von Vorteil, da Unschärfe wie ein Tiefpassfilter wirkt, d. h. vorrangig hochfrequente Anteile beeinflusst. Je schärfer die Details sind, umso präziser lässt sich die Fokusebene bestimmen. Ferner sollte die definierte Fokusebene des auf das dentale Objekt projizierten Musters im mittleren Abtastbereich mit rascher Defokussierung jenseits des Schärfebereichs liegen.Furthermore, the projected pattern should be focused on the measurement area or the pattern should be sharply imaged within a certain range and not have merging gradients. In other words, high frequency parts are within a Fourier analysis of the projected pattern, e.g. B. sharp edges and lines, is advantageous because blur acts as a low-pass filter, d. H. primarily high-frequency components influenced. The sharper the details, the more precise the focal plane can be determined. Furthermore, the defined focal plane of the pattern projected onto the dental object should lie in the middle scanning region with rapid defocusing beyond the focal range.
Als Lichtquelle zur Erzeugung des Musters kann eine feine Lochmaske benutzt werden, die von der Strahlung der Lichtquelle durchsetzt wird. Der Lochmaske ist sodann eine Linse nachgeordnet, mittels der fokussiert wird.As a light source for generating the pattern, a fine shadow mask can be used, which is penetrated by the radiation of the light source. The shadow mask is then followed by a lens by means of which is focused.
Es besteht auch die Möglichkeit, ein von Laserstrahlung erzeugtes Muster zu benutzen. Das Lasermuster kann z. B. aus Punkten oder Kreuzen mit begrenztem Schärfebereich bestehen.It is also possible to use a pattern generated by laser radiation. The laser pattern can z. B. consist of points or crosses with limited focus range.
Im Verfahrensschritt b) wird das auf das dentale Objekt projizierte Muster vom dentalen Objekt zurückprojiziert. Je nach Abstand von der vorgegebenen Fokusebene wird das Muster unscharf auf den Sensor abgebildet, d. h., die Lichtintensität des Musters „verschmiert” über mehrere Pixel. Fällt die das Muster bildende Strahlung geneigt auf das Objekt, wird das zurückprojizierte Muster zudem verzerrt.In method step b), the pattern projected onto the dental object is projected back from the dental object. Depending on the distance from the given focal plane, the pattern is blurred on the sensor, d. h., the light intensity of the pattern "blurs" over several pixels. If the radiation forming the pattern is inclined to the object, the back-projected pattern will also be distorted.
Es können Polarisations-, Farb- oder andere Filter dem Objekt vorgeordnet werden, um z. B. Störstrahlung zu minimieren.Polarization, color, or other filters may be pre-ordered on the object, e.g. B. to minimize interference.
Die projizierte Strahlung wird im Verfahrensschritt c) durch ein oder mehrere Linsensysteme gebündelt. Anstelle der Integration der Lichtintensität wird jeder Bildpunkt durch die Linsen des Mikrolinsenarrays
Im Verfahrensschritt d) werden sodann virtuelle Fokusebenen berechnet. Je nach Entfernung der rückprojizierten Objektpunkte ergibt sich ein unterschiedliches Muster auf der Sensorebene. Dieses hängt bei senkrechter Strahlung hauptsächlich vom Grad der Fokussierung ab, daneben auch vom Winkel der Projektion. Aufgrund der Lichtfeldtechnik lassen sich aus diesen Informationen durch bekannte Verfahren virtuelle Fokusebenen errechnen. Dabei wird bevorzugterweise die Hough-Transformation verwendet (Quelle der unteren Darstellung zum Verfahrensschritt d):
Sodann werden im Verfahrensschritt e) 3D-Einzelpunkte ermittelt. Die axiale Position, also z-Koordinate, lässt sich durch virtuelle Fokusebenen eingrenzen. Durch die x-y-Koordinate wird sodann die Position der Pixel berechnet, in der das Teilbild scharf abgebildet ist, also in der virtuellen Fokusebene.Then, in method step e), 3D individual points are determined. The axial position, ie z-coordinate, can be limited by virtual focal planes. The x-y coordinate then calculates the position of the pixels in which the partial image is sharply imaged, ie in the virtual focal plane.
Die Genauigkeit der z-Koordinate, also der Entfernungsmessung hängt vorrangig von der Anzahl der Sensorelemente und die der Mikrolinsen ab, wird aber auch – insbesondere bei geneigter Projektion des Musters auf das Objekt – von der lateralen „Superpixel”-Position (Mikrolinse) bestimmt. The accuracy of the z-coordinate, ie the distance measurement depends primarily on the number of sensor elements and the microlenses, but is also - especially in inclined projection of the pattern on the object - determined by the lateral "superpixel" position (microlens).
Eine Interpolation auf Subpixel-Ebene kann die Genauigkeit steigern.Interpolation at sub-pixel level can increase accuracy.
Unabhängig hiervon ist insbesondere vorgesehen, dass der Abstand zwischen den einzelnen Elementen des Musters, also den projizierten Punkten, die jedoch nicht die Geometrie eines Punktes aufweisen müssen, sondern z. B. kreuzförmig oder linienförmig sein können, bevorzugterweise so zu wählen ist, dass im zu erfassenden Abtastbereich jeweils überlappungsfreie Projektionen erfolgen.Regardless of this, it is provided in particular that the distance between the individual elements of the pattern, ie the projected points, which need not have the geometry of a point, but z. B. may be cross-shaped or linear, is preferably to be chosen so that in the scanning region to be detected each overlap-free projections.
Schließlich wird im Verfahrensschritt f) beim Scannen durch Registrierung bzw. Matchen die 3D-Form des zu messenden Abschnitts des Objektes wie dentalen Bereichs erfasst.Finally, in method step f) during scanning by registration or matching, the 3D shape of the portion of the object to be measured, such as the dental area, is detected.
Aufgrund der erfindungsgemäßen Lehre werden im Vergleich zu bekannten Verfahren weniger komplexe Linsensysteme benötigt. Somit kann ein kostengünstiges und relativ leichtes Handgerät zur Verfügung gestellt werden, das als Intraoralscanner Verwendung findet. Die feinmechanische Ausrichtung zwischen den projizierten Mustern und dem Mikrolinsenarray kann problemlos erfolgen.Due to the teachings of the invention less complex lens systems are needed compared to known methods. Thus, a low cost and relatively lightweight handset can be provided which finds use as an intraoral scanner. The fine mechanical alignment between the projected patterns and the microlens array can be done easily.
Der Einsatz eines monochromatischen Lasers oder anderer einfacher Musterprojektionen ermöglicht es, diese in den Oralscanner zu integrieren, ohne dass es der nach dem Stand der Technik erforderlichen Lichtleiterkabel bedarf. Der Intraoralscanner kann sogar dann kabellos arbeiten, wenn die Daten durch Fernzugriff wie WLAN oder BLUETOOTH erfasst werden.The use of a monochromatic laser or other simple pattern projections makes it possible to integrate them into the oral scanner, without the need for the optical cable required in the prior art. The intraoral scanner can operate wirelessly even when the data is captured remotely, such as WLAN or BLUETOOTH.
Dabei zeigt die monochromatische Lichtquelle erhebliche Vorteile sowohl hinsichtlich der Kosten als auch der Handhabbarkeit im Vergleich zu solchen, die nach dem Stand der Technik bei Intraoralscannern zum Einsatz gelangen können, wie Xenon-Lichtquellen.In this case, the monochromatic light source shows considerable advantages both in terms of cost and of manageability in comparison to those which can be used in the prior art with intraoral scanners, such as xenon light sources.
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- DE 102007019267 A [0002] DE 102007019267 A [0002]
Zitierte Nicht-PatentliteraturCited non-patent literature
- Georgiev et al. [„Spatio-angular resolution tradeoffs in integral photography”, 2006] [0036] Georgiev et al. ["Spatio-angular resolution tradeoffs in integral photography", 2006] [0036]
- R. Ng „Digital light field photography,” 2006 [0045] R. Ng "Digital light field photography," 2006 [0045]
- Adelson und Bergen („The plenoptic function and the elements of early vision, Cambridge: MIT Press, 1991) [0047] Adelson and Bergen ("The plenoptic function and the elements of early vision, Cambridge: MIT Press, 1991). [0047]
- http:/de.wikipedia.ord/wiki/Plenoptische_Kamera [0048] http: /de.wikipedia.ord/wiki/Plenoptische_Kamera [0048]
- A. Gershun („The Light Field”, Journal of Mathematics and Physics, Seiten 51–151) [0049] A. Gershun (The Light Field, Journal of Mathematics and Physics, pp. 51-151) [0049]
- „Depth from Defocus” in C. Wähler, 3D Computer Vision, Heidelberg: Springer, 2009, Seiten 162 ff [0087] "Depth from Defocus" in C. Wähler, 3D Computer Vision, Heidelberg: Springer, 2009, pages 162 ff [0087]
- R. Ng, Digital light field photography, 2006, S. 27, Fig. 3.2 [0096] R. Ng, Digital light field photography, 2006, p. 27, Fig. 3.2 [0096]
- Digital light field photography, 2006, S. 27, Fig. 3.2 [0097] Digital light field photography, 2006, p. 27, Fig. 3.2 [0097]
Claims (17)
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102012102580A DE102012102580A1 (en) | 2012-03-26 | 2012-03-26 | Method for measuring an object and intraoral scanner |
PCT/EP2013/055369 WO2013143882A1 (en) | 2012-03-26 | 2013-03-15 | Method for the scanning measurement of a dental object, and intraoral scanner |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102012102580A DE102012102580A1 (en) | 2012-03-26 | 2012-03-26 | Method for measuring an object and intraoral scanner |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102012102580A1 true DE102012102580A1 (en) | 2013-09-26 |
Family
ID=47915186
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102012102580A Ceased DE102012102580A1 (en) | 2012-03-26 | 2012-03-26 | Method for measuring an object and intraoral scanner |
Country Status (2)
Country | Link |
---|---|
DE (1) | DE102012102580A1 (en) |
WO (1) | WO2013143882A1 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102013005616A1 (en) * | 2013-04-04 | 2014-10-23 | DüRR DENTAL AG | Dental camera system |
DE102014119013A1 (en) | 2014-12-18 | 2016-06-23 | Universität Rostock | Method for producing an orthodontic appliance |
US10835352B2 (en) | 2018-03-19 | 2020-11-17 | 3D Imaging and Simulation Corp. Americas | Intraoral scanner and computing system for capturing images and generating three-dimensional models |
DE102020133627A1 (en) | 2020-12-15 | 2022-06-15 | Infinisense Technologies GmbH | Method and intraoral scanner for capturing the topography of the surface of a translucent, in particular dental, object |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107296585A (en) * | 2017-08-11 | 2017-10-27 | 四川大学 | Oral cavity scanning means and oral cavity scanning system |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102004059526A1 (en) * | 2004-12-09 | 2006-06-14 | Sirona Dental Systems Gmbh | Measuring device and method according to the basic principle of confocal microscopy |
DE102007019267A1 (en) | 2007-04-24 | 2008-10-30 | Degudent Gmbh | Measuring arrangement and method for three-dimensional measuring of an object |
DE102007054907A1 (en) * | 2007-11-15 | 2009-05-28 | Sirona Dental Systems Gmbh | Method for the optical measurement of objects using a triangulation method |
EP2377464A1 (en) * | 2010-03-19 | 2011-10-19 | Carestream Health, Inc. | 3-D imaging using double telecentric optics and depth from focus measurements |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10356412A1 (en) * | 2003-11-24 | 2005-06-23 | Universität Stuttgart | Confocal arrangement for e.g. three-dimensional tooth shape measurement, has telecentric aperture arranged in internal focal plane of objective lenses to limit numerical aperture of lens, facing object, around specific value |
US7646550B2 (en) * | 2006-02-13 | 2010-01-12 | 3M Innovative Properties Company | Three-channel camera systems with collinear apertures |
-
2012
- 2012-03-26 DE DE102012102580A patent/DE102012102580A1/en not_active Ceased
-
2013
- 2013-03-15 WO PCT/EP2013/055369 patent/WO2013143882A1/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102004059526A1 (en) * | 2004-12-09 | 2006-06-14 | Sirona Dental Systems Gmbh | Measuring device and method according to the basic principle of confocal microscopy |
DE102007019267A1 (en) | 2007-04-24 | 2008-10-30 | Degudent Gmbh | Measuring arrangement and method for three-dimensional measuring of an object |
DE102007054907A1 (en) * | 2007-11-15 | 2009-05-28 | Sirona Dental Systems Gmbh | Method for the optical measurement of objects using a triangulation method |
EP2377464A1 (en) * | 2010-03-19 | 2011-10-19 | Carestream Health, Inc. | 3-D imaging using double telecentric optics and depth from focus measurements |
Non-Patent Citations (16)
Title |
---|
"Depth from Defocus" in C. Wähler, 3D Computer Vision, Heidelberg: Springer, 2009, Seiten 162 ff |
A. Gershun ("The Light Field", Journal of Mathematics and Physics, Seiten 51-151) |
Adelson und Bergen ("The plenoptic function and the elements of early vision, Cambridge: MIT Press, 1991) |
Digital light field photography, 2006, S. 27, Fig. 3.2 |
Georgiev et al. ["Spatio-angular resolution tradeoffs in integral photography", 2006] |
http:/de.wikipedia.ord/wiki/Plenoptische_Kamera |
K. Harding et al.; "3D imaging system for biometric applications"; SPIE Defense, Security, and Sensing, 2010, S. 76900J-1 - 76900J-12 * |
K. Harding et al.; "3D imaging system for biometric applications"; SPIE Defense, Security, and Sensing, 2010, S. 76900J-1 – 76900J-12 |
L. Nalpantidis et al.; "Obtaining reliable depth maps for robotic applications from a quad-camera system"; Intelligent Robotics and Applications, 2009, S. 906 - 916 * |
L. Nalpantidis et al.; "Obtaining reliable depth maps for robotic applications from a quad-camera system"; Intelligent Robotics and Applications, 2009, S. 906 – 916 |
R. Ng "Digital light field photography," 2006 |
R. Ng et al.; "Light field photography with a hand-held plenoptic camera"; Computer Science Technical Report CSTR, Vol. 2, 2005, S. 1 - 11 * |
R. Ng et al.; "Light field photography with a hand-held plenoptic camera"; Computer Science Technical Report CSTR, Vol. 2, 2005, S. 1 – 11 |
R. Ng, Digital light field photography, 2006, S. 27, Fig. 3.2 |
R. Ng; "Fourier slice photography"; ACM Transactions on Graphics (TOG), Vol. 24, No. 3, 2005, S. 735 - 744 * |
R. Ng; "Fourier slice photography"; ACM Transactions on Graphics (TOG), Vol. 24, No. 3, 2005, S. 735 – 744 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102013005616A1 (en) * | 2013-04-04 | 2014-10-23 | DüRR DENTAL AG | Dental camera system |
US9220414B2 (en) | 2013-04-04 | 2015-12-29 | Duerr Dental Ag | Dental camera system |
DE102014119013A1 (en) | 2014-12-18 | 2016-06-23 | Universität Rostock | Method for producing an orthodontic appliance |
US10835352B2 (en) | 2018-03-19 | 2020-11-17 | 3D Imaging and Simulation Corp. Americas | Intraoral scanner and computing system for capturing images and generating three-dimensional models |
DE102020133627A1 (en) | 2020-12-15 | 2022-06-15 | Infinisense Technologies GmbH | Method and intraoral scanner for capturing the topography of the surface of a translucent, in particular dental, object |
Also Published As
Publication number | Publication date |
---|---|
WO2013143882A1 (en) | 2013-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102006007170B4 (en) | Method and arrangement for fast and robust chromatic confocal 3D metrology | |
DE102006007172B4 (en) | Method and arrangement for rapid, spatially resolved, areal, spectroscopic analysis, or for spectral imaging or for 3D detection by means of spectroscopy | |
EP3186952B1 (en) | Image capturing device and method for image capturing | |
DE102006055758B4 (en) | Method for calibrating cameras and projectors | |
DE102010040518A1 (en) | Image recording device, image display method and recording medium, and image recording program recorded thereon | |
DE102008002730A1 (en) | Distance image generating method for three-dimensional reconstruction of object surface from correspondence of pixels of stereo image, involves selecting one of structural elements such that each element exhibits different intensity value | |
DE102015107517B3 (en) | Apparatus and method for image acquisition with increased depth of field | |
DE102008002725B4 (en) | Method and device for 3D reconstruction | |
EP0449859B1 (en) | Process and device for observing moire patterns on test surfaces by moireing with phase shifts | |
DE102012106584A1 (en) | Method and apparatus for image reconstruction | |
WO2014000738A2 (en) | Method for capturing images of a preferably structured surface of an object and device for image capture | |
DE102012102580A1 (en) | Method for measuring an object and intraoral scanner | |
DE102014113256A1 (en) | Image recording device and method for image recording with reflex suppression | |
EP0805996A1 (en) | Process and device for imaging an object | |
DE102008036275A1 (en) | Optical sensor and method for measuring profiles | |
EP2019961A1 (en) | Method for generating image information | |
DE102019208114B4 (en) | Device and method for 3D measurement of object coordinates | |
DE19749974C2 (en) | Method and apparatus for generating a 3D point cloud | |
DE102020201097B4 (en) | Arrangement and method for optical determination of object coordinates | |
DE102006013318A1 (en) | Static scene reconstruction method for testing work pieces, involves reconstructing scene of a two-dimensional image data by method of shape from motion when scene exhibits region with intensity gradients | |
DE102013105102A1 (en) | Method and device for determining features on objects to be measured | |
WO2020254445A1 (en) | Stereo camera system | |
DE102006013316A1 (en) | Three-dimensional reconstruction of static scenes through standardized combination of DFD (depth from defocus) and SFM (shape from motion) methods, involves using DFD and SFD methods in processing two-dimensional image of static scene | |
DE102016109131B4 (en) | Method for the three-dimensional detection of an object | |
EP4227636B1 (en) | Determination of depth values of a surface area of a workpiece |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R002 | Refusal decision in examination/registration proceedings | ||
R003 | Refusal decision now final |