DE19841394A1 - Device to measure position and orientation of surgical instrument having several markers; has spaced image sensors, imaging devices and evaluation unit - Google Patents
Device to measure position and orientation of surgical instrument having several markers; has spaced image sensors, imaging devices and evaluation unitInfo
- Publication number
- DE19841394A1 DE19841394A1 DE1998141394 DE19841394A DE19841394A1 DE 19841394 A1 DE19841394 A1 DE 19841394A1 DE 1998141394 DE1998141394 DE 1998141394 DE 19841394 A DE19841394 A DE 19841394A DE 19841394 A1 DE19841394 A1 DE 19841394A1
- Authority
- DE
- Germany
- Prior art keywords
- image
- markers
- marker
- image sensor
- image sensors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
Die Erfindung betrifft eine Vorrichtung zur Positions- und Lageerfassung eines mit Markern versehenen Gegenstands nach dem Oberbegriff von Anspruch 1 und betrifft ein Verfahren zur Positions- und Lageerfassung nach dem Oberbegriff von Anspruch 4.The invention relates to a device for position and Position detection of an object provided with markers after The preamble of claim 1 and relates to a method for Position and position detection according to the generic term of Claim 4.
Aus der DE 37 20 019 C2 sind eine derartige Vorrichtung und ein derartiges Verfahren bekannt. Als Marker werden in diesem Fall drei Leuchtdioden verwendet, die auf einem Pilotenhelm angeordnet sind. Zwei in Abstand voneinander angeordnete, als CCD-Arrays ausgebildete Bildsensoren erzeugen Bildpaare, welche Bildpunkte dieser drei Marker enthalten. Dadurch stehen zur Positions- und Lageerfassung die jeweils eine Vielzahl von Markerbildpunkten umfassenden Einzelbilder von Stereo- Bildpaaren zur Verfügung.DE 37 20 019 C2 describes such a device and a known method. In this case, as a marker three LEDs used on a pilot's helmet are arranged. Two spaced apart, as Image sensors formed by CCD arrays generate image pairs, which Contain pixels of these three markers. This means that Position and position detection, each of a variety of Individual pixels of stereo Image pairs are available.
Bei der gattungsgemäßen Vorrichtung stellt sich also das grundsätzliche Problem, jedem Markerbildpunkt in dem einen der Einzelbilder den ihm zugehörigen, d. h. auf denselben Marker zurückgehenden Markerbildpunkt in dem anderen Einzelbild zuzuordnen.In the generic device, this is the case fundamental problem, each marker pixel in one of the Frames the associated, d. H. on the same marker returning marker pixel in the other single image assign.
Zu diesem Zweck wird nach der DE 37 20 019 C2 für jeden Markerbildpunkt eine Gerade berechnet, die durch diesen Markerbildpunkt und den Mittelpunkt des zugeordneten Objektivs verläuft, d. h. diese Gerade ist der Hauptstrahl des zur Abbildung des Markers auf diesen Markerbildpunkt beitragenden Strahlenbündels. Schneidet sich ein Hauptstrahl des einen Bildsensors mit einem Hauptstrahl des anderen Bildsensors, so gehen die entsprechenden Markerbildpunkte auf denselben Marker zurück und sind einander zuzuordnen. For this purpose, according to DE 37 20 019 C2 for everyone Marker pixel computes a straight line through this Marker pixel and the center of the assigned lens runs, d. H. this straight line is the main beam of the Mapping the marker to this marker pixel Beam. A main ray of one intersects Image sensor with a main beam of the other image sensor, see above the corresponding marker pixels go to the same marker back and can be assigned to each other.
Gemäß der DE 37 20 019 C2 werden die Markerbildpunkte also durch das Suchen von Hauptstrahlenschnittpunkten einander paarweise zugeordnet.According to DE 37 20 019 C2, the marker pixels are therefore by looking for principal ray intersections assigned in pairs.
Bei dieser bekannten Vorrichtung und bei diesem bekannten Verfahren wirken sich Meßfehler in der Ortsbestimmung des Markerbildpunkts auf dem Bildsensor oder Lagetoleranzen des Objektivs im Hinblick auf die Schnittpunktsbestimmung der berechneten Hauptstrahlen relativ stark aus, da der Abstand der Bildsensoren von dem ihnen jeweils zugeordneten Objektiv in der Regel wesentlich kleiner ist als die Entfernung zwischen dem Objektiv und dem Marker selbst. Eine kleine Unsicherheit im Bereich der Bildsensoren führt dann zu einer großen Unsicherheit im Bereich des zu erwartenden Schnittpunkts. Dies kann dazu führen, daß überhaupt kein Schnittpunkt oder aber in Extremfällen sogar falsche Schnittpunkte gefunden werden. In einem solchen Fall können die von den beiden Bildsensoren erfaßten Markerbildpunkte einander nicht korrekt zugeordnet werden.In this known device and in this known Measurement errors affect the location of the Marker pixel on the image sensor or positional tolerances of the Lens with regard to the intersection of the calculated main rays relatively strong, because the distance of the Image sensors from the lens assigned to them in the Is usually much smaller than the distance between the Lens and the marker itself. A little uncertainty in Area of the image sensors then leads to a large one Uncertainty in the area of the expected intersection. This can result in no intersection at all or in In extreme cases, even incorrect intersections can be found. In In such a case, that of the two image sensors captured marker pixels not correctly assigned to each other become.
Aufgabe der Erfindung ist es also, eine Vorrichtung und ein Verfahren zur Positions- und Lageerfassung eines mit Marken versehenen Gegenstands bereitzustellen, welche eine zuverlässige Zuordnung der von den beiden Bildsensoren erfaßten Markerbildpunkte erlauben.The object of the invention is therefore a device and a Procedure for position and location detection of a brand Provide provided object, which a reliable assignment of those detected by the two image sensors Allow marker pixels.
Diese Aufgabe wird gemäß Anspruch 1 und Anspruch 4 dadurch gelöst, daß aus dem Ort eines Markerbildpunkts in dem von dem ersten Bildsensor erfaßten Bild sowie aus der räumlichen Anordnung der Bildsensoren und der Abbildungseinrichtung eine in dem von dem zweiten Bildsensor erfaßten Bild liegende Gerade bestimmt wird, um die von den beiden Bildsensoren erfaßten Markerbildpunkte einander korrekt zuzuordnen.This object is achieved according to claim 1 and claim 4 solved that from the location of a marker pixel in that of the first image sensor captured image as well as from the spatial Arrangement of the image sensors and the imaging device straight line lying in the image captured by the second image sensor is determined by those detected by the two image sensors Assign marker pixels correctly to each other.
Durch diese Maßnahme kann auf das Suchen von Schnittpunkten von Geraden verzichtet werden, deren Bestimmungsstücke relativ eng beieinander liegen und die deshalb im Bereich des zu erwartenden Schnittpunkts mit Unsicherheiten behaftet sind. This measure allows the search for intersections of Straight lines are dispensed with, the destination pieces of which are relatively narrow are close together and therefore in the area of expected intersection are uncertain.
Statt dessen ist es lediglich erforderlich, zu überprüfen, welcher Markerbildpunkt auf oder nahe bei der erfindungsgemäßen Gerade liegt. Denn dies ist der Markerbildpunkt des zweiten Bildsensors, welcher dem der Geradenbildung zugrundeliegenden Markerbildpunkt des ersten Bildsensors in der Weise zuzuordnen ist, daß beide Markerbildpunkte auf ein und denselben Marker zurückgehen.Instead, it is only necessary to check which marker pixel on or close to the invention Just lies. Because this is the marker pixel of the second Image sensor, which is the basis of the straight line formation Assign marker pixel of the first image sensor in the manner is that both marker pixels on one and the same marker go back.
Bei dieser Ausführungsform kann auch darauf verzichtet werden, den Marker als aktive, signalemittierende Einheit auszubilden, welche einer Energieversorgung bedarf. Statt dessen können die Marker hierbei vorteilhaft z. B. lediglich sphärische Reflektoren sein.In this embodiment it is also possible to dispense with to design the marker as an active, signal-emitting unit, which needs an energy supply. Instead, they can Markers advantageous here, for. B. only spherical Be reflectors.
Wenn die Abbildungseinrichtung ein erstes Objektiv und ein zweites Objektiv umfaßt, deren optische Achsen den jeweiligen Bildsensor orthogonal und mittig schneidet, kann eine gattungsgemäße Vorrichtung mit großem Meßbereich geschaffen werden.If the imaging device has a first lens and a second lens includes, the optical axes of the respective Image sensor cuts orthogonally and in the middle, one Generic device with a large measuring range created become.
Die Erfindung wird im folgenden anhand der beiliegenden Figuren erläutert. Es zeigen:The invention is described below with reference to the accompanying figures explained. Show it:
Fig. 1 eine schematische Darstellung einer Ausführungsform der Erfindung und Fig. 1 is a schematic representation of an embodiment of the invention and
Fig. 2 eine Prinzipdarstellung dieser Ausführungsform. Fig. 2 shows a schematic diagram of this embodiment.
In Fig. 1 ist eine erfindungsgemäße Vorrichtung zur Positions- und Lageerfassung eines Gegenstands 1, z. B. eines chirurgischen Instruments, schematisch dargestellt. Der Gegenstand 1 weist mehrere als sphärische Reflektoren ausgebildete Marker 3, 4, 5, 6, 7, 8, 9 auf, deren Bild von einem ersten Bildsensor 10 und einem zweiten Bildsensor 11 erfaßt wird. Die Bildsensoren 10 und 11 sind z. B. als Flächen-CCD-Arrays ausgebildet. Eine jeweils ein Einzelobjektiv 13, 15 umfassende Abbildungs einrichtung bildet die Marker 3, 4, 5, 6, 7, 8, 9 auf den Bildsensor 10 bzw. den Bildsensor 11 ab. In Fig. 1, an inventive device for position and location detection of an object 1 , z. B. a surgical instrument, shown schematically. The object 1 has a plurality of markers 3 , 4 , 5 , 6 , 7 , 8 , 9 designed as spherical reflectors, the image of which is captured by a first image sensor 10 and a second image sensor 11 . The image sensors 10 and 11 are e.g. B. designed as surface CCD arrays. An imaging device each comprising a single objective 13 , 15 images the markers 3 , 4 , 5 , 6 , 7 , 8 , 9 onto the image sensor 10 or the image sensor 11 .
Die beiden Bildsensoren 10, 11 sind an einem gemeinsamen Träger 17 in Abstand voneinander und mit unterschiedlichen Ausrichtung angebracht. Über eine Signalleitung 19 werden die von den Bildsensoren 10, 11 erfaßten Bilder an eine Auswerteeinheit 21 übertragen, welche aus diesen Bildern die Ortskoordinaten der Marker 3, 4, 5, 6, 7, 8, 9 innerhalb eines durch die Anordnung der Bildsensoren 10, 11 festgelegten Koordinatensystems bestimmt.The two image sensors 10 , 11 are mounted on a common carrier 17 at a distance from one another and with different orientations. Via a signal line 19 , the images acquired by the image sensors 10 , 11 are transmitted to an evaluation unit 21 , which uses these images to determine the location coordinates of the markers 3 , 4 , 5 , 6 , 7 , 8 , 9 within an arrangement of the image sensors 10 , 11 determined coordinate system determined.
Die erfindungsgemäße Vorrichtung kann auch mit drei oder noch mehr Bildsensoren ausgestattet sein, wobei dann lediglich statt eines Bildpaars ein Bildtrippel usw. von der Auswerteeinheit 21 auszuwerten ist.The device according to the invention can also be equipped with three or even more image sensors, in which case instead of an image pair, an image triple etc. is then to be evaluated by the evaluation unit 21 .
Mit 29 und 31 sind die optischen Achsen des Bildsensors 10 bzw. 11 bezeichnet. Ferner ist mit 33 bzw. 35 der Hauptstrahl des zur Abbildung des Markers 7 auf den Bildsensor 10 bzw. 11 beitragenden Strahlenbüschels bezeichnet.With 29 and 31 , the optical axes of the image sensor 10 and 11 are designated. The main beam of the bundle of rays contributing to the imaging of the marker 7 on the image sensor 10 and 11 is also designated 33 and 35 .
In Fig. 2 ist der Hauptstrahl 33 zusammen mit den beiden Bildsensoren 10 und 11 und den beiden Objektiven 13 und 15 in einer perspektivischen Ansicht schematisch dargestellt.In FIG. 2, the main beam 33 is shown together with the two image sensors 10 and 11 and the two lenses 13 and 15 in a perspective view schematically.
Die Auswerteeinheit 21 berechnet aus dem Ort des von dem Marker 7 erzeugten Markerbildpunkts 37 im Bildsensor 10 sowie der räumlichen Lage des Objektivs 13 und der räumlichen Lage des Bildsensors 11 bzw. des Objektivs 15 eine Gerade 39, welche von der Auswerteeinheit 21 für die weitere Auswertung derart benutzt wird, als ob sie dem vom Bildsensor 11 erzeugten Bild überlagert wäre, wie es in Fig. 2 aus Erläuterungsgründen dargestellt ist. Dabei muß der vom Marker 7 erzeugte Markerbildpunkt 41 im zweiten Bildsensor 11 auf dieser gedachten Geraden 39 liegen oder aber bei einem nur ungenau bestimmten Hauptstrahl 33 immerhin sehr nahe bei der Geraden 39 liegen. The evaluation unit 21 calculates a straight line 39 from the location of the marker pixel 37 generated by the marker 7 in the image sensor 10 and the spatial position of the objective 13 and the spatial position of the image sensor 11 or the objective 15 , which is used by the evaluation unit 21 for further evaluation is used as if it were superimposed on the image generated by the image sensor 11 , as shown in FIG. 2 for reasons of explanation. The marker pixel 41 generated by the marker 7 in the second image sensor 11 must lie on this imaginary line 39 or, in the case of an inaccurately determined main beam 33, must nevertheless be very close to the line 39 .
Fig. 2 zeigt, wie diese Gerade 39 in geometrischer Weise konstruiert werden kann. Die Gerade 39 umfaßt nämlich die Schnittpunkte 44 sowie 46 zweier Geraden 43 sowie 45 mit der Bildebene des Bildsensors 11, wobei die Gerade 43 bzw. 45 durch einen beliebigen Punkt 47 bzw. 49 auf dem Hauptstrahl 33 und durch den Hauptpunkt 51 des Objektivs 15 festgelegt ist. Fig. 2 shows how this straight line 39 can be constructed in a geometric manner. The straight line 39 namely includes the intersection points 44 and 46 of two straight lines 43 and 45 with the image plane of the image sensor 11 , the straight line 43 and 45 being defined by an arbitrary point 47 and 49 on the main beam 33 and by the main point 51 of the objective 15 is.
Die erfindungsgemäße Vorrichtung führt also das Problem einer korrekten paarweisen Zuordnung der Markerbildpunkte in den Einzelbildern jedes Bildpaars auf die in einer Fläche durchzuführende Untersuchung zurück, ob ein Markerbildpunkt 41 auf der gedachten Geraden 39 liegt oder sehr nahe bei der gedachten Geraden 39 liegt. Diese auf zwei Dimensionen begrenzte Untersuchung ist im Vergleich zu dem aus dem Stand der Technik bekannten Problem der Schnittpunktsuche zweier lediglich ungenau bestimmter Geraden im dreidimensionalen Raum wesentlich fehlerunempfindlicher.The device according to the invention thus attributes the problem of correct pairwise assignment of the marker image points in the individual images of each image pair to the examination to be carried out in an area as to whether a marker image point 41 lies on the imaginary line 39 or is very close to the imaginary line 39 . This investigation, which is limited to two dimensions, is significantly less susceptible to errors in comparison to the problem of finding the intersection of two only imprecisely determined straight lines in three-dimensional space, which is known from the prior art.
Mit der erfindungsgemäßen Vorrichtung kann die korrekte paarweise Zuordnung und deshalb die korrekte Lage- und Positionserfassung des Gegenstands 1 grundsätzlich mit einer beliebig großen Anzahl von Markern anhand nur eines einzigen Bildpaars erfolgen.With the device according to the invention, the correct pairwise assignment and therefore the correct position and position detection of the object 1 can in principle be carried out with an arbitrarily large number of markers using only a single image pair.
Claims (4)
- - einen ersten Bildsensor (10) und einen in Abstand von diesem angeordneten zweiten Bildsensor (11),
- - eine die Marker (3, 4, 5, 6, 7, 8, 9) auf die Bildsensoren (10, 11) abbildende Abbildungseinrichtung (13, 15),
- - eine Auswerteeinheit (21), welche anhand der von den beiden Bildsensoren (10, 11) erfaßten Bilder Ortskoordinaten der Marker (3, 4, 5, 6, 7, 8, 9) bestimmt, dadurch gekennzeichnet, daß
- - die Auswerteeinheit (21) aus dem Ort eines Markerbildpunkts (37) in dem von dem ersten Bildsensor (10) erfaßten Bild sowie aus der räumlichen Anordnung der Bildsensoren (10, 11) und der Abbildungseinrichtung (13, 15) eine in dem von dem zweiten Bildsensor (11) erfaßten Bild liegende (39) Gerade bestimmt, um die von den beiden Bildsensoren (10, 11) erfaßten Markerbildpunkte (37, 41) einander paarweise zuzuordnen.
- - a first image sensor ( 10 ) and a second image sensor ( 11 ) arranged at a distance therefrom,
- an imaging device ( 13 , 15 ) that maps the markers ( 3 , 4 , 5 , 6 , 7 , 8 , 9 ) onto the image sensors ( 10 , 11 ),
- - An evaluation unit ( 21 ) which determines the location coordinates of the markers ( 3 , 4 , 5 , 6 , 7 , 8 , 9 ) on the basis of the images captured by the two image sensors ( 10 , 11 ), characterized in that
- - The evaluation unit ( 21 ) from the location of a marker pixel ( 37 ) in the image captured by the first image sensor ( 10 ) and from the spatial arrangement of the image sensors ( 10 , 11 ) and the imaging device ( 13 , 15 ) one in the second image sensor ( 11 ) captured image lying ( 39 ) straight line to assign the marker image points ( 37 , 41 ) captured by the two image sensors ( 10 , 11 ) to each other in pairs.
- - Erzeugen eines ersten und eines zweiten Bilds des Gegenstands (1) von unterschiedlichen Aufnahmeorten aus,
- - Bestimmen von Ortskoordinaten der Marker (3, 4, 5, 6, 7, 8, 9) anhand der beiden Bilder, dadurch gekennzeichnet, daß
- - aus dem Ort eines Markerbildpunkts in dem ersten Bild sowie aus den Aufnahmeorten eine in dem zweiten Bild liegende Gerade (39) bestimmt wird, um die in den beiden Bildern liegenden Markerbildpunkte (37, 41) einander paarweise zuzuordnen.
- Generating a first and a second image of the object ( 1 ) from different recording locations,
- - Determining the location coordinates of the markers ( 3 , 4 , 5 , 6 , 7 , 8 , 9 ) on the basis of the two images, characterized in that
- - From the location of a marker pixel in the first image and from the recording locations, a straight line ( 39 ) lying in the second image is determined in order to assign the marker pixels ( 37 , 41 ) lying in the two images to one another in pairs.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE1998141394 DE19841394A1 (en) | 1998-09-10 | 1998-09-10 | Device to measure position and orientation of surgical instrument having several markers; has spaced image sensors, imaging devices and evaluation unit |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE1998141394 DE19841394A1 (en) | 1998-09-10 | 1998-09-10 | Device to measure position and orientation of surgical instrument having several markers; has spaced image sensors, imaging devices and evaluation unit |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| DE19841394A1 true DE19841394A1 (en) | 2000-03-16 |
Family
ID=7880505
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE1998141394 Withdrawn DE19841394A1 (en) | 1998-09-10 | 1998-09-10 | Device to measure position and orientation of surgical instrument having several markers; has spaced image sensors, imaging devices and evaluation unit |
Country Status (1)
| Country | Link |
|---|---|
| DE (1) | DE19841394A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10026711A1 (en) * | 2000-05-30 | 2001-12-06 | Sick Ag | Position monitoring system for moving objects, has evaluation unit that localizes position of object in monitored region based on data obtained using radiation source on camera and reflectors on object |
-
1998
- 1998-09-10 DE DE1998141394 patent/DE19841394A1/en not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10026711A1 (en) * | 2000-05-30 | 2001-12-06 | Sick Ag | Position monitoring system for moving objects, has evaluation unit that localizes position of object in monitored region based on data obtained using radiation source on camera and reflectors on object |
| DE10026711B4 (en) * | 2000-05-30 | 2007-04-19 | Sick Ag | Position monitoring device and method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1597539B1 (en) | Method and optical system for measuring the topography of a test object | |
| EP2156790B1 (en) | Allocation of x-ray markers to picture markers depicted in an x-ray picture | |
| DE69213749T2 (en) | METHOD AND DEVICE FOR THE SPOTUAL MEASUREMENT OF SPACE COORDINATES | |
| EP3076148B1 (en) | Device and method for measuring imaging properties of an optical imaging system | |
| DE69409513T2 (en) | METHOD FOR GEOMETRIC MEASUREMENT | |
| DE102008023264B4 (en) | Method for flexible detection of the geometric shape of objects with optical 3D measuring technology | |
| DE10137241A1 (en) | Arrangement, for detecting and measuring objects, optically projects markers onto object, records partial views of object in global coordinate system using information re-detected markers | |
| DE19618283A1 (en) | Imaging device and method for three-dimensional non-contact measurement | |
| EP1342051A1 (en) | Calibration of a measuring sensor on an appliance for measuring co-ordinates by means of a ball and two parameter fields | |
| DE102007021183A1 (en) | Calibration method for an X-ray diagnostic device and X-ray phantom for this | |
| EP2166510A1 (en) | Method for calculating the position and orientation of a camera in a vehicle | |
| DE102018125422B4 (en) | Method for testing or calibrating a stereo imaging device | |
| EP2715279B1 (en) | Method and device for performing a wheel alignment check on a motor vehicle | |
| DE102006006876A1 (en) | Method of detecting the contour of a reflective surface using a virtual image of the reflective points | |
| EP1813911A1 (en) | Position determination system | |
| DE19953063A1 (en) | Method for three-dimensional optical measurement of object surfaces | |
| EP3420533B1 (en) | Method for calibrating an optical measurement set-up | |
| DE19841394A1 (en) | Device to measure position and orientation of surgical instrument having several markers; has spaced image sensors, imaging devices and evaluation unit | |
| DE2624372C3 (en) | Device for photogrammetric reproduction | |
| WO2009018894A1 (en) | Method and device for determining geometric data of a measured object | |
| DE10329224B3 (en) | Aligning device for an optical instrument e.g. a camera has range-finding device for determining distance from an object with elements for determining two distance measurements along two different measurement axes and two display devices | |
| EP1193520B1 (en) | Surgical microscope | |
| WO2018229021A1 (en) | Method for determining the pupil diameter of an eye with high accuracy, and corresponding apparatus | |
| EP4220077A1 (en) | Calibration system for calibrating a camera system and associated calibration system | |
| DE4017299C2 (en) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 8141 | Disposal/no request for examination |