DE10254942B3 - Verfahren zur automatischen Ermittlung der Koordinaten von Abbildern von Marken in einem Volumendatensatz und medizinische Vorrichtung - Google Patents

Verfahren zur automatischen Ermittlung der Koordinaten von Abbildern von Marken in einem Volumendatensatz und medizinische Vorrichtung Download PDF

Info

Publication number
DE10254942B3
DE10254942B3 DE10254942A DE10254942A DE10254942B3 DE 10254942 B3 DE10254942 B3 DE 10254942B3 DE 10254942 A DE10254942 A DE 10254942A DE 10254942 A DE10254942 A DE 10254942A DE 10254942 B3 DE10254942 B3 DE 10254942B3
Authority
DE
Germany
Prior art keywords
image
images
data set
coordinates
brands
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE10254942A
Other languages
English (en)
Inventor
Helmut Dr. Barfuss
Karl Dr. Barth
Gerd Prof. Wessels
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Priority to DE10254942A priority Critical patent/DE10254942B3/de
Priority to JP2003391172A priority patent/JP2004178587A/ja
Priority to US10/722,225 priority patent/US7369694B2/en
Application granted granted Critical
Publication of DE10254942B3 publication Critical patent/DE10254942B3/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12—Arrangements for detecting or locating foreign bodies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5223—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072—Reference field transducer attached to an instrument or patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A61B2090/395—Visible markers with marking agent for marking skin or other tissue

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Ermitteln der Koordinaten von Abbildern (20) von Marken (13) in einem Volumendatensatz. Die Marken (13) sind auf der Oberfläche eines Objektes (3) angeordnet und der Volumendatensatz umfasst die Abbilder (20) der Marken (13) und ein Abbild zumindest des Teils des Objektes (3), an dessen Oberfläche die Marken (13) angeordnet sind. Die Erfindung betrifft außerdem eine medizinische Vorrichtung mit einer zum Speichern eines Volumendatensatzes vorgesehenen Datenverarbeitungseinrichtung (38) und einem Navigationssystem (35-37). Der Volumendatensatz wird mit einem ersten bildgebenden medizintechnischen Gerät aufgenommen und umfasst ein Abbild zumindest des Teils des Objektes (3), an dessen Oberfläche mehrere Marken (13) angeordnet sind, und Abbilder (20) der Marken (13). Mit dem Navigationssystem (35-37) wird während einer Registrierung eine Beziehung der Koordinaten des Volumendatensatzes und der Koordinaten des Objektes (3) in Form einer Koordinatentransformation hergestellt.

Description

  • Die Erfindung betrifft ein Verfahren zum Ermitteln der Koordinaten von Abbildern von Marken in einem Volumendatensatz, die auf die tatsächlichen Lage- und Orientierungskoordinaten eines physikalischen Objektes oder einem Lebewesen bezogen werden.
  • Ein derartiges Verfahren benötigt man z.B. bei der Navigation eines medizinischen Instruments oder der Bildfusion. Ein Beispiel der Navigation eines medizinischen Instruments ist u.a. in der DE 199 51 502 A1 beschrieben. Beispielsweise mit einem Computertomographen wird ein Volumendatensatz von dem interessierenden Bereich des Körpers eines Patienten erstellt. Während insbesondere eines minimal invasiven Eingriffs führt z.B. ein Chirurg das medizinische Instrument in den Körper des Patienten ein. An dem medizinischen Instrument ist ein Positionssensor des Navigationssystems angeordnet, so dass das Navigationssystem die Position, d.h. die Lage und Orientierung des medizinischen Instruments, relativ zum Körper des Patienten bestimmt. Aufgrund der Positionsbestimmung, also aufgrund einer Bestimmung der Ortskoordinaten des medizinischen Instruments, kann anschließend ein Abbild des medizinischen Instruments in das dem Volumendatensatz zugeordnete Bild, das z.B. mit einem Monitor dargestellt wird, eingeblendet werden.
  • Der Volumendatensatz kann präoperativ, z.B. mit einem Computertomographen, hergestellt werden. Für die Einblendung des Abbildes des medizinischen Instruments ist eine räumliche Transformation der bezüglich eines ersten Koordinatensystems angegebenen Koordinaten des in definierter Weise an dem medizinischen Instrument angeordneten Positionssensors des Navigationssystems in die räumlichen Koordinaten des für die Na vigation verwendeten, mit dem Computertomographen gewonnenen Bildes des Patienten notwendig. Diese Transformation wird als Registrierung bezeichnet.
  • Für die Registrierung werden am Patienten, in der Regel auf dessen Körperoberfläche, Marken angebracht. Dabei wählt man üblicherweise Stellen in der Umgebung des Operationsgebiets, die sich möglichst wenig verschieben. Die Marken bleiben während der gesamten bildgestützten Prozedur fest am Patienten, also sowohl bei der Aufnahme des Volumendatensatzes als auch während der Intervention. Der Kontrast der Marken kann relativ gering sein, da sie aus Platzgründen oft relativ klein sind. Außerdem werden bisweilen relativ schwach kontrastierende Marken benützt, um das übrige Bildvolumen möglichst wenig durch Artefakte zu beeinträchtigen. Bei der Qualität moderner Computertomographie- oder Magnetresonanzgeräte ist es in der Regel kein Problem, diese Marken in z.B. zwei orthogonalen Ansichten manuell anzutippen und damit ihre Positionen im Raum zu bestimmen. Dieses Verfahren ist jedoch relativ zeitaufwändig, da in der Regel nahezu der gesamte Volumendatensatz durchforstet werden muss, um die Abbilder der Marken im Volumendatensatz zu finden. Im Übrigen müssen wenigstes drei Abbilder von Marken ermittelt werden.
  • Wang et al. offenbaren in der US 5,769,789 , der US 5,799,099 und der US 6,052,477 Verfahren, bei denen die Suche am Beispiel von MR- und CT-Kopfaufnahmen automatisch durchgeführt wird. Während der Suche wird der gesamte Volumendatensatz untersucht. Dabei werden im Wesentlichen morphologische Operatoren eingesetzt, die den Markenabmessungen entsprechen, und es wird eine Schwellwerttrennung durchgeführt. Dies ist jedoch relativ rechenintensiv. Durch Anwendung der Filteroperationen auf den gesamten Volumendatensatz steigt außerdem die Wahrscheinlichkeit für irrtümlich erkannte Abbilder von Marken. Auch ist das Verfahren in der Spezifizität der Operatoren beschränkt, da Marker beliebig orientiert im Raum liegen.
  • Jede Marke, deren Abbild im Volumendatensatz identifiziert wird, muss für die eigentliche Registrierung auch mit dem Positionssensor des Navigationssystems auf dem Patienten angetippt werden. Dadurch wird der Bezug der Koordinaten des Volumendatensatzes mit dem Koordinatensystem des Navigationssystems hergestellt.
  • Aus den Koordinaten der Marken und den Koordinaten der Abbilder der Marken im Volumendatensatz wird eine entsprechende Transformationsmatrix berechnet und die Registrierung ist abgeschlossen.
  • Eine weitere Anwendung, bei der die Koordinaten von Abbildern in einem Volumendatensatz benötigt werden, ist, wenn insbesondere zu einem aktuellen endoskopischen, laparoskopischen oder Ultraschall-Bild jeweils z.B. eine entsprechende CT-Ansicht benötigt wird, um insbesondere die beiden Ansichten zu überlagern.
  • In der WO 02/43007 A1 ist eine spezielle multiplanare Reformatierung (MPR) beschrieben. Unter MPR versteht man eine Neuzusammenstellung des Volumendatensatzes in anderer Orientierung als z.B. den ursprünglichen horizontalen Schichten. Es wird insbesondere zwischen der orthogonalen MPR (3 MPRs, jeweils senkrecht zu einer Koordinatenachse), der freien MPR (schräge Schichten; abgeleitet = interpoliert) und der Curved MPR (Schichterstellung parallel zu einem beliebigen Pfad durch das Abbild des Körpers des Lebewesens und z.B. senkrecht zu der MPR, in welcher der Pfad gezeichnet wurde) unterschieden.
  • Aus A.M. Eldeib, et al., "Volume Registration By Surface Point Signature And Mutual Information Maximization With Applications In Intra-Operative MRI Surgeries", Proceedings, International Conference on Image Processing, 2000, Seiten 200-203 ist ein Verfahren bekannt, bei dem aus einem Volumendatensatz die abgebildete Oberfläche eines Objekts segmen tiert und in ein zweidimensionales Bild bezüglich eines bestimmten Punktes kodiert wird.
    •
  • Aufgabe der Erfindung ist es, ein Verfahren anzugeben, das ermöglicht, die Koordinaten der in einem Volumendatensatz gespeicherten Abbilder von Marken, die an einem Objekt, z.B. einem Lebewesen angeordnet sind, mit reduziertem Rechenaufwand und erhöhter Zuverlässigkeit zu ermitteln.
  • Die Aufgabe der Erfindung wird gelöst durch ein Verfahren zum Ermitteln der Koordinaten von Abbildern von Marken in einem Volumendatensatz, wobei die Marken auf der Oberfläche eines Objektes angeordnet sind und der Volumendatensatz die Abbilder der Marken und ein Abbild zumindest des Teils des Objekts, an dessen Oberfläche die Marken angeordnet sind, umfasst, aufweisend folgende Verfahrensschritte:
    • a) Segmentieren des Abbildes der Oberfläche,
    • b) Transformieren des Volumendatensatzes derart, dass das segmentierte Abbild der Oberfläche in eine Ebene transformiert wird,
    • c) Erstellen eines Bilddatensatzes, der wenigstens im Wesentlichen die Bildpunkte des in die Ebene transformierten Abbildes der Oberfläche und Bildpunkte der Abbilder der Marken aufweist,
    • d) Ermitteln der Koordinaten der Abbilder der Marken in dem Bilddatensatz und
    • e) Ermitteln der Koordinaten der Abbilder der Marken im Volumendatensatz.
  • Wie bereits erwähnt, ist das Durchsuchen eines Volumendatensatzes nach in dem Volumendatensatz aufgenommenen Abbildern von Marken auch mit modernen Rechnern relativ zeitaufwändig, insbesondere auch deshalb, weil die Marken beliebig an der Oberfläche des Objektes ausgerichtet sein können. Das Objekt ist z.B. ein technisches Objekt oder ein Lebewesen. Daher wurde ein Verfahren entwickelt, wie die Dimension des ursprünglich dreidimensionalen Suchprozesses erniedrigt werden kann. Gemäß dem erfinderischen Verfahren wird zunächst die im Volumendatensatz abgebildete Oberfläche des Objekte insbesondere automatisch ermittelt (heraussegmentiert). Insbesondere wenn das Objekt ein Lebewesen ist, stellt das Abbild der Oberfläche, also der Körperoberfläche des Lebewesens im Wesentlichen eine gekrümmte Oberfläche dar.
  • Anschließend wird erfindungsgemäß der Volumendatensatz derart transformiert, dass das segmentierte Abbild der Oberfläche des Objekts in die Ebene transformiert wird, als ob man das Abbild des Objektes abrollen würde. Man denke hier zum Vergleich an die Projektion der Erdoberfläche auf ein Landkarte. In die abgerollte ebene Darstellung des Abbildes der Oberfläche werden anschließend beispielsweise wenige Millimeter über und unter das Abbild der Oberfläche eingerechnet, um die Bilddaten, die die Abbilder der auf der Oberfläche angebrachten Marken umfassen, zu erhalten. Folglich erhält man den weiteren Bilddatensatz, der das in die Ebene abgerollte (transformierte) Abbild der Oberfläche und die Abbilder der Marken umfasst. In diesem Bilddatensatz werden anschließend die Koordinaten der Abbilder der Marken ermittelt. Da der resultierende Bilddatensatz wesentlich kleiner als der ursprüngliche Volumendatensatz ist, und vor allem, weil sichergestellt ist, dass die Marken alle in gleicher (paralleler) Ausrichtung in einer Ebene liegen, ist das Ermitteln der Koordinaten der Abbilder der Marken im Bilddatensatz weniger rechenintensiv, als das direkte Ermitteln der Koordinaten der Abbilder im Volumendatensatz. Das 3D-Mustererkennungs- und Suchproblem im Volumendatensatz wird durch die beschriebene Transformation in den ebenen Bilddatensatz nämlich auf eine 2D-Aufgabe reduziert.
  • Gemäß einer Ausführungsform liegt der Volumendatensatz in Form mehrerer aufeinanderfolgender computertomographischer Schnittbilder vor, in dem die Bilddaten jedes Schnittbildes mit kartesischen Koordinaten beschrieben sind und die Schritte a) bis e) gemäß folgender Verfahrensschritte durchgeführt werden:
    • – Durchführen einer Koordinatentransformation für jedes Schnittbild nach Polarkoordinaten bezüglich einer Geraden, die durch das Abbild des Objekts verläuft und wenigstens im Wesentlichen rechtwinklig zu den einzelnen Schnittbildern ausgerichtet ist,
    • – Ermitteln der Konturen, die in jedem transformierten Schnittbild abgebildet und dem Abbild der Oberfläche zugeordnet sind,
    • – Erstellen eines Bilddatensatzes, der wenigstens im Wesentlichen die Bildpunkte des in die Ebene transformierten-Abbildes der Oberfläche und Bildpunkte der Abbilder der Marken aufweist,
    • – Erstellen eines zweidimensionalen Bilddatensatzes durch Re-Extraktion von Bilddaten, die die Abbilder der Marken umfassen, in einem Bereich parallel zu der ermittelten abgebildeten Oberfläche,
    • – Ermitteln der Koordinaten der Abbilder der Marken in dem zweidimensionalen Bilddatensatz und
    • – Rücktransformieren der Koordinaten der Abbilder der Marken in die dem Volumendatensatz zugeordneten Koordinaten.
  • Nach einer Variante der Erfindung werden die Koordinaten der Abbilder der Marken in dem Bilddatensatz mittels einer Filterung des Bilddatensatzes ermittelt. Für die Filterung wird insbesondere, wie es nach einer bevorzugten Variante der Er findung vorgesehen ist, ein den Marken angepasstes Filter (Matched Filter) verwendet. Für das angepasste Filter wird aus den bekannten Maßen der Marken im Maßstab des abgerollten Abbildes der segmentierten Körperoberfläche ein Musterbild (Template) errechnet, wie sich jedes Abbild der Marken in diesem Flächenbild darstellen würde. Grundsätzlich können nun bekannte Verfahren des Template Matching angewandt werden, wie sie beispielsweise in der DE 44 35 796 C1 oder in Rosenfeld & Kak, "Digital Picture Processing", AP 1982, Seiten 37–49 beschrieben sind, um vorhandene Abbilder der Marken in der Fläche zu lokalisieren.
  • Die Filterung kann nach einer weiteren Variante der Erfindung auch eine Filterung im Sinne der mathematischen Korrelation sein. Diese Filterung weist die Eigenschaft auf, dass genau eine Stelle des Abbildes jeder Marke als lokales Maximum hervortritt. Diese lokale Maxima werden in den 2D-Bilddaten gesucht. Diese korrelationsbasierte Maximumssuche ist gleichbedeutend mit der Ermittlung der lokalen minimalen quadratischen Fehlersumme, wie es nach einer weiteren Ausführungsform der Erfindung vorgesehen ist.
  • Die automatische Registrierung des Objekts kann dann sogar noch komplettiert werden, indem die Markenkennung auf dem Objekt ebenfalls automatisch erfolgt, z.B. durch automatische Identifikation der Marken direkt zu Beginn der Intervention, sei es in einem optischen Feld, einem elektromagnetischen Feld oder einem Schallfeld. Dabei kann auf Techniken der industriellen Bildverarbeitung, wie 2D-Data Matrix Code, wie sie z.B. als ECC200 in ISO/IEC 16022 beschrieben sind, als Markenausprägung zurückgegriffen werden. Durch eine spezifische Markierung wie z.B. 2D-Data Matrix Code werden die Marken voneinander unterschieden. Eine andere Ausprägung wäre diejenige mit Leuchtdioden mit Licht bestimmter, unterschiedlicher Wellenlänge bzw. Farbe oder Leuchtdioden, die zu bestimmten Zeitpunkten oder mit verschiedenen Frequenzen gepulst werden und optisch erkannt und lokalisiert werden.
  • Nach einer Ausführungsform der Erfindung ist das erfindungsgemäße Verfahren auf einer Datenverarbeitungseinrichtung einer medizinischen Vorrichtung implementiert, die nach einer Variante der Erfindung ein Navigationssystem umfasst. Die Datenverarbeitungseinrichtung der medizinischen Vorrichtung dient dabei auch zum Speichern eines Volumendatensatzes, welcher mit einem ersten bildgebenden medizintechnischen Gerät aufgenommen wird und ein Abbild zumindest eines Teils eines Objektes, an dessen Oberfläche mehrere Marken angeordnet sind, und Abbilder der Marken umfasst. Während einer Registrierung wird mit dem Navigationssystem eine Beziehung der Koordinaten des Volumendatensatzes und der Koordinaten des Objektes in Form einer Koordinatentransformation hergestellt, was mittels des erfindungsgemäßen Verfahrens erfolgt. Mit der medizinischen Vorrichtung kann daher die Registrierung relativ schnell durchgeführt werden.
  • Nach einer Variante der Erfindung werden die Marken für die Registrierung mit einem Positionssensor des Navigationssystems identifiziert. Der Positionssensor ist gemäß einer Ausführungsform der Erfindung ein magnetischer Sensor, gemäß einer anderen Ausführungsform ein optisches Zeichen, das von einer Kamera geortet wird.
  • Des Weiteren kann die medizinische Vorrichtung, wie es nach einer weiteren Variante der Erfindung vorgesehen ist, ein zweites bildgebendes medizintechnisches Gerät zur Aufnahme von Bildern des Lebewesens umfassen, so dass die mit dem zweiten bildgebenden medizintechnischen Gerät aufgenommenen Bilder in ein dem Volumendatensatz zugeordnetes Bild eingeblendet werden können.
    •
  • Ein Ausführungsbeispiel ist exemplarisch in den beigefügten schematischen Zeichnungen dargestellt. Es zeigen:
  • 1 einen Computertomographen,
  • 2 ein dreidimensionales Abbild des Bauchraumes eines Patienten in Form eines aus mehreren Schnittbildern bestehenden Volumendatensatzes,
  • 3 einen medizinischen Arbeitsplatz,
  • 4 ein Schnittbild des in der 2 gezeigten Volumendatensatzes,
  • 5 nach Polarkoordinaten transformierte Bildinformationen des in der 4 dargestellten Schnittbildes,
  • 6 einen Bilddatensatz, der das in eine Ebene transformierte Abbild der Körperoberfläche und ein Abbild weniger an die Körperoberfläche anschließender Schichten umfasst,
  • 7 das dem in der 6 gezeigten Bilddatensatz zugeordnete Bild wobei die abgebildete Körperoberfläche und benachbarte abgebildete Schichten kombiniert sind, und
  • 8 ein Bild, das einem mit einem angepassten Filter gefilterten Bilddatensatz der 6 zugeordnet ist, bei die 4 weißen Punkte eindeutige globale Maxima darstellen, die schwarz hinterlegt wurden, damit sie im Abdruck als Einzelpunkte wahrnehmbar sind.
  • Die 1 zeigt schematisch einen Computertomographen mit einer Röntgenstrahlenquelle 1, von dem ein pyramidenförmiges Röntgenstrahlenbündel 2, dessen Randstrahlen in der 1 strichpunktiert dargestellt sind, ausgeht, das ein Untersuchungsobjekt, beispielsweise einen Patienten 3, durchsetzt und auf einen Strahlungsdetektor 4 trifft. Am Körper des Patienten 3 sind im Falle des vorliegenden Ausführungsbeispiels vier Marken 13 angeordnet, die in einem mit dem Computerto mographen aufgenommenen Bilddatensatz mit abgebildet werden. Bei den Marken 13 handelt es sich im Falle des vorliegenden Ausführungsbeispiels um kleine flache Aluminiumscheiben mit Löchern. Die Röntgenstrahlenquelle 1 und der Strahlungsdetektor 4 sind im Falle des vorliegenden Ausführungsbeispieles an einer ringförmigen Gantry 5 einander gegenüberliegend angeordnet. Die Gantry 5 ist bezüglich einer Systemachse 6, welche durch den Mittelpunkt der ringförmigen Gantry 5 verläuft, an einer in der 1 nicht dargestellten Halterungsvorrichtung drehbar gelagert (vgl. Pfeil a).
  • Der Patient 3 liegt im Falle des vorliegenden Ausführungsbeispieles auf einem für Röntgenstrahlung transparenten Tisch 7, welcher mittels einer in der 1 ebenfalls nicht dargestellten Tragevorrichtung längs der Systemachse 6 verschiebbar gelagert ist (vgl. Pfeil b).
  • Die Röntgenstrahlenquelle 1 und der Strahlungsdetektor 4 bilden somit ein Messsystem, das bezüglich der Systemachse 6 drehbar und entlang der Systemachse 6 relativ zum Patienten 3 verschiebbar ist, so dass der Patient 3 unter verschiedenen Projektionswinkeln und verschiedenen Positionen bezüglich der Systemachse 6 durchstrahlt werden kann. Aus den dabei erzeugten Ausgangssignalen des Strahlungsdetektors 4 bildet ein Datenerfassungssystem 9 Messwerte, die einem Rechner 11 zugeführt werden, der mittels dem Fachmann bekannten Verfahren ein Bild des Patienten 3 berechnet, das wiederum auf einem mit dem Rechner 11 verbundenen Monitor 12 wiedergegeben werden kann. Im Falle des vorliegenden Ausführungsbeispiels ist das Datenerfassungssystem 9 mit einer elektrischen Leitung 8, die in nicht dargestellter Weise beispielsweise ein Schleifringsystem oder eine drahtlose Übertragungsstrecke enthält, mit dem Strahlungsdetektor 4 und mit einer elektrischen Leitung 10 mit dem Rechner 11 verbunden.
  • Der in der 1 gezeigte Computertomograph kann sowohl zur Sequenzabtastung als auch zur Spiralabtastung eingesetzt werden.
  • Bei der Sequenzabtastung erfolgt eine schichtweise Abtastung des Patienten 3. Dabei wird die Röntgenstrahlenquelle 1 und der Strahlungsdetektor 4 bezüglich der Systemachse 6 um den Patienten 3 gedreht und das die Röntgenstrahlenquelle 1 und den Strahlungsdetektor 4 umfassende Messsystem nimmt eine Vielzahl von Projektionen auf, um eine zweidimensionale Schicht des Patienten 3 abzutasten. Aus den dabei gewonnen Messwerten wird ein die abgetastete Schicht darstellendes Schnittbild rekonstruiert. Zwischen der Abtastung aufeinanderfolgender Schichten wird der Patient 3 jeweils entlang der Systemachse 6 bewegt. Dieser Vorgang wiederholt sich so lange, bis alle interessierenden Schichten erfasst sind.
  • Während der Spiralabtastung dreht sich das die Röntgenstrahlenquelle 1 und den Strahlungsdetektor 4 umfassende Messsystem bezüglich der Systemachse 6 und der Tisch 7 bewegt sich kontinuierlich in Richtung des Pfeils b, d.h. das die Röntgenstrahlenquelle 1 und den Strahlungsdetektor 4 umfassende Messsystem bewegt sich relativ zum Patienten 3 kontinuierlich auf einer Spiralbahn c, so lange, bis der interessierende Bereich des Patienten 3 vollständig erfasst ist. Dabei wird ein Volumendatensatz generiert, der im Falle des vorliegenden Ausführungsbeispiels nach dem in der Medizintechnik üblichen DICOM-Standard kodiert ist.
  • Im Falle des vorliegenden Ausführungsbeispiels wird mit dem in der 1 dargestellten Computertomographen ein aus mehreren aufeinanderfolgenden Schnittbildern bestehender Volumendatensatz vom Bauchbereich des Patienten 3 angefertigt. Der Volumendatensatz, der in der 2 schematisch dargestellt ist, umfasst im Falle des vorliegenden Ausführungsbeispiel ca. 250 CT-Schichten (Schnittbilder) der Matrix 512×512. In der 2 sind exemplarisch sieben Schnittbil der, die mit den Bezugszeichen 21 bis 27 versehen sind, angedeutet. Außerdem umfasst der Volumendatensatz Abbilder 20 der am Körper des Patienten 3 angeordneten Marken 13 und ist im Rechner 11 gespeichert.
  • Nachdem der in der 2 dargestellte Volumendatensatz vom Patienten 3 angefertigt wurde, wird der Patient 3 zu einem in der 3 dargestellten medizinischen Arbeitsplatz gebracht, wo er insbesondere mit einem medizinischen Instrument 31, beispielsweise einem Laproskop, Endoskop oder einem Katheter, minimal invasiv von einem in der 3 nicht gezeigten Arzt behandelt werden soll. Während der Behandlung bleiben die Marken 13 am Körper des Patienten 3 angeordnet. Während des Eingriffes mit dem medizinischen Instrument 31 soll im Falle des vorliegenden Ausführungsbeispiels insbesondere das Abbild des medizinischen Instruments 31 in den mit dem Computertomographen hergestellten Volumendatensatz eingeblendet werden. Außerdem steht dem Arzt im Falle des vorliegenden Ausführungsbeispiels ein Ultraschallgerät 32 zu Verfügung, mit dem er den Eingriff, wenn nötig, überwachen kann. Im Falle des vorliegenden Ausführungsbeispiels ist es ferner vorgesehen, die mit dem Ultraschallgerät 32 aufgenommenen Bilddaten mit dem Volumendatensatz, der mit dem Computertomographen aufgenommen wurde, zu überlappen.
  • Zu diesem Zweck umfasst der medizinische Arbeitsplatz einen Rechner 38, auf dem für den Eingriff der mit dem Computertomographen aufgenommene Volumendatensatz eingespielt wird. Das Ultraschallgerät 32 ist mit einer elektrischen Leitung 34 mit dem Rechner 38 verbunden. Für das Einspielen des Volumendatensatzes ist im Falle des vorliegenden Ausführungsbeispiel der Rechner 38 in nicht dargestellter Weise mit einem ebenfalls nicht dargestellten Krankenhausinformationssystem verbunden, an das auch der Rechner 11 des Computertomographiegerätes in nicht dargestellter Weise angeschlossen ist, so dass der Volumendatensatz vom Rechner 11 über das Krankenhausinformationssystem an den Rechner 38 übermittelt werden kann.
  • Mit einem mit dem Rechner 38 verbundenen Monitor 39 kann der Arzt ein dem Volumendatensatz zugeordnetes Bild betrachten und bearbeiten.
  • Für das Einblenden des Abbildes des medizinischen Instruments 31 in das dem Volumendatensatz zugeordnete Bild bzw. zur Überlappung der mit dem Ultraschallgerät 32 aufgenommenen Bilddaten mit dem Volumendatensatz umfasst der in der 3 dargestellte medizinische Arbeitsplatz ein beispielsweise aus der DE 199 51 502 A1 bekanntes Navigationssystem, das einen Magnetfeldgenerator mit Steuer- und Messelektronik 37 und einen Positionssensor 35 umfasst. Der Magnetfeldgenerator mit Steuer- und Messelektronik 37 umfasst einen Navigationsrechner des Navigationssystems, der mit dem Positionssensor 35 mit einer elektrischen Leitung 36 verbunden ist. Der Navigationsrechner wertet die vom Sensor 35 erfassten Signale aus und ermittelt daraus die Position und die Orientierung des Positionssensors 35 im Raum.
  • Während des medizinischen Eingriffs mit dem medizinischen Instrument 31 wird der Positionssensor 35 an das medizinische Instrument 31 angeordnet, so dass der Navigationsrechner des Magnetfeldgenerators mit Steuer- und Messelektronik 37 anhand der gewonnenen Signale jeweils die aktuelle Position und Orientierung des medizinischen Instrumentes 31 ermitteln kann. Während einer Untersuchung mit dem Ultraschallgerät 32 wird der Positionssensor 35 oder ein zweiter derartiger Sensor an das Ultraschallgerät 32 angeordnet, so dass der Navigationsrechner des Magnetfeldgenerators mit Steuer- und Messelektronik 37 anhand der gewonnenen Kamerabilder jeweils die aktuelle Position und Orientierung des Ultraschallgerätes 32 ermitteln kann.
  • Der Navigationsrechner des Magnetfeldgenerators mit Steuer- und Messelektronik 37 ist mit dem Rechner 38 mit einer elektrischen Leitung 40 verbunden und stellt dem Rechner 38 jeweils die Daten über die aktuellen Positionen des medizini schen Instrumentes 31 bzw. des Ultraschallgerätes 32 zur Verfügung, so dass der Rechner 38 jeweils die exakte Position und Orientierung des medizinischen Instrumentes 31 bzw. des Ultraschallgerätes 32 relativ zum Operationssitus ermitteln kann. Daher ist es möglich, dass ein Abbild des medizinischen Instrumentes 31 in das dem Volumendatensatz zugeordnete und mit dem Monitor 39 gezeigte Bild eingeblendet bzw. dass ein mit dem Ultraschallgerät 32 aufgenommenes Bild mit dem dem Volumendatensatz zugeordneten Bild überlappt werden kann.
  • Für die Überlappung bzw. der Einblendung ist jedoch noch eine so genannte und in der Einleitung bereits erörterte Registrierung erforderlich, bei der ein Bezug der Koordinaten des dem Volumendatensatz zugeordneten Koordinatensystems mit dem Koordinatensystem des Navigationssystems hergestellt wird.
  • Für die Registrierung, die dem Fachmann prinzipiell bekannt ist, werden mit dem Positionssensor 35 des Navigationssystems die Marken 13 am Patienten 3 angetippt, wodurch die Positionen der einzelnen Marken 13 und somit deren Koordinaten im Koordinatensystem des Navigationssystem ermittelt werden. Mit dem Antippen einer Marke der Marken 13 wird das entsprechende Abbild der Marke im Volumendatensatz angewählt. Sind alle Markenpositionen ermittelt, erfolgt automatisch eine Zuordnung jeder Koordinate der Marken 13 im Koordinatensystem des Navigationssystems zu den entsprechenden Koordinaten der Abbilder der Marken 13 im Volumendatensatz.
  • Das manuelle Anfahren der Markenpositionen lässt sich im Übrigen automatisieren, wenn die Marken 13 z.B. mit Reflektoren versehen sind und mit aufgeklebten quadratischen Feldern mit Data-Matrix-Code versehen sind.
  • Für die Registrierung werden wie gesagt die Koordinaten der Abbilder der Marken 13 im Volumendatensatz benötigt. Diese werden im Falle des vorliegenden Ausführungsbeispiels mittels eines auf dem Rechner 38 laufenden Rechnerprogramms ermittelt, das die nachfolgend beschriebenen Schritte ausführt.
  • Zunächst segmentiert das auf dem Rechner 38 laufende Rechnerprogramm im Volumendatensatz das dreidimensionale Abbild des Patienten 3, um die Körperoberfläche zu ermitteln. Für die Segmentierung wird im Falle des vorliegenden Ausführungsbeispiels zunächst in einem ersten Durchgang jedes Schnittbild 21 bis 27 des Volumendatensatzes nach Polarkoordinaten (r, ϕ) bezüglich einer Geraden G, die durch das dreidimensionale Abbild des Bauchraums des Patienten 3 verläuft, transformiert. Die Gerade G ist wenigstens im Wesentlichen rechtwinklig zu den einzelnen Schnittbildern 21 bis 27 ausgerichtet. Die Gerade G verläuft im Falle des vorliegenden Ausführungsbeispiels im Wesentlichen durch das Zentrum des Volumendatensatzes und entspricht der Z-Achse des den Volumendatensatz definierenden Koordinatensystems.
  • Jedes Schnittbild 21 bis 27, von denen das Schnittbild 22 in der 4 exemplarisch dargestellt ist, ist im Falle des vorliegenden Ausführungsbeispiels mit kartesischen Koordinaten (x, y) beschrieben. Anschließend werden die Bildinformationen jedes Schnittbildes 21 bis 27 radial neu angeordnet, indem sie bezüglich der Gerade G bzw. bezüglich der jeweiligen Schnittpunkte zwischen der Geraden G und dem entsprechenden Schnittbild nach Polarkoordinaten (r, ϕ) transformiert werden. Als Beispiel ist der Schnittpunkt S zwischen der Geraden G und dem Schnittbild 22 in der 4 dargestellt. Das Ergebnis einer solchen Koordinatentransformation ist in der 5 beispielhaft dargestellt. Mit der Transformation nach Polarkoordinaten (r, ϕ) wird auch das Abbild der Körperoberfläche des Patienten 3 transformiert und als geschlossene Kontur in jeder transformierten axialen Schicht (Schnittbild) dargestellt. Eine dem Abbild der Körperoberfläche des Patienten 3 zugeordnete Kontur 51 ist exemplarisch in der 5 für das nach Polarkoordinaten (r, ϕ) transformierte Schnittbild 22 dargestellt.
  • Das Ergebnis der Transformation nach Polarkoordinaten (r, ϕ) ist ein über ϕ linear aufgetragenes radiales Helligkeitsprofil r(ϕ). In dieser Rechteckmatrix (abgeleitete Bildmatrix) wird nun im Falle des vorliegenden Ausführungsbeispiels eine Filterung durchgeführt, die die der Körperoberfläche zugeordnete Konturen, wie der in der 5 gezeigten Kontur 51, betont. Die Filterantworten ersetzten die Helligkeitswerte in der abgeleiteten Bildmatrix. Nun erfolgt die Suche des optimalen Pfades in dieser Bildmatrix von oben (r-Koordinate für ϕ=0°) nach unten (r-Koordinate für ϕ=360°) zum im Wesentlichen identischen Start-/Zielpunkt (es gilt die Randbedingung, dass die r-Koordinate für ϕ=0° gleich der r-Koordinate für ϕ=360° sein soll). Dies geschieht im Falle des vorliegenden Ausführungsbeispiels mittels dynamischer Optimierung, wie z.B. in R. Bellmann, "Dynamic programming and stochastic control processes", Information and Control, 1 (3), Seiten 228-239, September 1958, beschrieben. Der optimale Pfad stellt die radialen Vektoren zu den der Körperoberfläche zugeordneten Bildpunkten dar. In einem weiteren Schritt wird das gesamte, aus den einzelnen Konturen der Schnittbilder 21 bis 27 bestimmte Konturenensemble im Zusammenhang der Einzelkonturen über alle Schnittbilder 21 bis 27 überprüft. Dies trägt insbesondere zur Unterdrückung von Fehlern (Ausreißern) und zur Zuverlässigkeit der Segmentierung des gesamten Abbildes der Körperoberfläche des Patienten 3 bei. An vermutlichen Fehlerstellen wird im Falle des vorliegenden Ausführungsbeispiels eine Re-Segmentierung auf der Basis der so weit gefundenen Konturen in den einzelnen Schnittbildern 21 bis 27 mit anschließender erneuter Überprüfung des 3D-Kontexts durchgeführt. Somit ist das Abbild des Patienten 3 im Volumendatensatz segmentiert mit dem Ergebnis der (x, y, z)-Koordinaten der gesamten Körperoberfläche.
  • Danach erfolgt im Falle des vorliegenden Ausführungsbeispiels eine Re-Extraktion rechtwinklig zum Abbild der segmentierten Körperoberfläche im Volumendatensatz. Während bei der Trans formation nach Polarkoordinaten (r, ϕ) Helligkeitsprofile rechtwinklig zu allen Punkten eines Kreises (als Startwert idealisierte Oberfläche: schichtweise betrachtet Kreise, 3D-blockweise gesehen ein Zylinder) ermittelt und als Rechteckmatrix aufgetragen wurden, gewinnt man bei der Re-Extraktion in jedem Bildpunkt der Körperoberfläche Profile rechtwinklig zum Abbild der segmentierten Körperoberfläche (Körperoberflächenkontur) in diesem Punkt. Diese Re-Extraktion wird erneut als Rechteckmatrix aufgetragen. Eine von links nach rechts laufende Linie darin, z.B. die Mittellinie, entspricht den Bildpunkten des Abbildes der Körperoberfläche einer Schicht, beispielsweise der mittleren Schicht. Z.B. darüber befinden sich in 6 die CT-Messwerte in der Nähe der Körperoberfläche nach außen, also den aufgebrachten Marken 20 zugeordneten Voxelwerten. Durch die gesamte Re-Extraktion wird der Volumendatensatz derart transformiert, dass das segmentierte Abbild der Körperoberfläche des Patienten 3 kombiniert mit parallelen benachbarten dünnen Schichten über einer Ebene dargestellt wird.
  • Folglich entsteht ein in der 6 dargestellter Bilddatensatz 60, der die Struktur eines dünnen Voxelquaders hat. In der 6 ist im Übrigen das in die Ebene transformierte Abbild der Körperoberfläche des Patienten 3 mit dem Bezugszeichen 61 versehen. Die exemplarisch eingezeichneten drei darüberliegenden Voxelschichten liegen außen an der Körperoberfläche an und umfassen die Abbilder der Marken 13, die mit dem Bezugszeichen 62 gekennzeichnet sind. Die exemplarisch gezeigten vier Schichten in der 6 können nun mit einem mathematischen Operator über alle 4er-Säulen verknüpft werden, z.B. über Mittelwertbildung (rauschunterdrückend) oder die Auswahl des maximalen der 4 CT-Werte, ähnlich einer Maximum Intensity Projection (MIP). Dadurch wird nicht nur dem Wesen nach (wie in 6 mit vier ebenen Schichten übereinander), sondern exakt ein zweidimensionaler Datensatz erzeugt.
  • Die 7 zeigt ein dem in der 6 gezeigten Bilddatensatz zugeordnetes Bild 70, wobei die abgebildete Körperoberflächenbild und benachbarte abgebildete Schichten kombiniert sind.
  • Aufgrund der relativ niedrigen Hounsfield-Werte der Körperoberfläche kontrastieren aus Aluminium gefertigte Marken, wie im Falle des vorliegenden Ausführungsbeispiels die Marken 13, im dem Bilddatensatz 60 zugeordneten Bild 70, das in der 7 als Draufsicht dargestellt ist, relativ gut, weit besser, als sich solche Marken in einem Volumendatensatz ( 2) abheben.
  • Anschließend ermittelt das auf dem Rechner 38 laufende Rechnerprogramm die Koordinaten der Abbilder 62 der Marken 13 im Bilddatensatz 60. Dazu wird im Falle des vorliegenden Ausführungsbeispiels aus den bekannten Maßen der Marken 13 ein Vorgabemuster (Template) im Abbildungsmaßstab der Abbilder 62 im Bilddatensatz 60 erstellt.
  • Für das Ermitteln der Koordinaten der Abbilder 62 wird der Bilddatensatz 60 mit diesem Template gefaltet, genau gesagt wird eine Korrelationsrechnung der Bilddaten des Bilddatensatzes 60 mit den Pixelwerten des Vorgabemusters als Filterkoeffizienten durchgeführt. Dabei wird das Vorgabemuster kontinuierlich über den gesamten Bilddatensatz 60 geschoben und jeweils mit dem überdeckten Bildbereich verrechnet. Es entsteht eine optimale Filterantwort nach dem Kriterium der jeweils kleinsten Fehlerquadratsumme. Das Verfahren der kleinsten Fehlerquadratsumme ist beispielsweise in Rosenfeld & Kak, "Digital Picture Processing", Seiten 37-49, AP, 1982 beschrieben. Da das Vorgabemuster aus den Dimensionen der zu suchenden Marken 38 ermittelt wurde, handelt es sich bei diesem Kalkül um eine Ausführungsform eines so genannten (an die Problemstellung „angepassten") Matched Filters. Das in dieser Weise gefilterte Bild 80 ist in der 8 (Filterantwort) dargestellt. Die Abbilder der Positionen der Marken 13 nach der Filterung sind mit den Bezugszeichen 81 gekennzeichnet.
  • Ein besonders hervorzuhebender Vorteil der Filterung ist im Falle des vorliegenden Ausführungsbeispiels, dass sich jeweils ein eindeutiges Maximum in der Mitte der abgebildeten Positionen der Marken 13 im gefilterten Bild 80 ergibt. Die Koordinaten der Abbilder 62 bzw. 81 der Marken 13 ergeben sich im Falle des vorliegenden Ausführungsbeispiels direkt als die Positionen der Filtermaxima.
  • Schließlich werden die Koordinaten der Abbilder 62 bzw. 81 der Marken 13 im Koordinatensystem des Bilddatensatzes 60 in die Koordinaten des Volumendatensatzes zurücktransformiert. Diese Transformation entspricht der Umkehr der Transformation, die den ursprünglichen Volumendatensatz in den Bilddatensatz der 6, genau gesagt in das Abbild 61 der Körperoberfläche abbildet.
  • Im Falle des vorliegenden Ausführungsbeispiels wird der Volumendatensatz mit einem Computertomographen hergestellt. Für das erfindungsgemäße Verfahren kann der Volumendatensatz auch mit einem anderen bildgebenden Gerät hergestellt werden.
  • Der Volumendatensatz muss auch nicht notwendigerweise in Form mehrerer aufeinanderfolgender computertomographischer Schnittbilder vorliegen.
  • Das Navigationssystem (35–37) braucht nicht notwendigerweise ein magnetisches Navigationssystem sein. Es kann insbesondere auch ein optisches oder elektrisches oder schallbasiertes Navigationssystem verwendet werden.
  • Das Ausführungsbeispiels hat im Übrigen auch nur exemplarischen Charakter.

Claims (11)

  1. Verfahren zum Ermitteln der Koordinaten von Abbildern (20) von Marken (13) in einem Volumendatensatz, wobei die Marken (13) auf der Oberfläche eines Objektes (3) angeordnet sind und der Volumendatensatz die Abbilder (20) der Marken (13) und ein Abbild zumindest des Teils des Objekts (3), an dessen Oberfläche die Marken (13) angeordnet sind, umfasst, aufweisend folgende Verfahrensschritte: a) Segmentieren des Abbildes der Oberfläche, b) Transformieren des Volumendatensatzes derart, dass das segmentierte Abbild der Oberfläche in eine Ebene transformiert wird, c) Erstellen eines Bilddatensatzes (60), der wenigstens im Wesentlichen die Bildpunkte des in die Ebene transformierten Abbildes der Oberfläche und Bildpunkte der Abbilder (62, 81) der Marken (13) aufweist, d) Ermitteln der Koordinaten der Abbilder (62, 81) der Marken (13) in dem Bilddatensatz (60) und e) Ermitteln der Koordinaten der Abbilder (20) der Marken (13) im Volumendatensatz.
  2. Verfahren nach Anspruch 1, bei dem der Volumendatensatz in Form mehrerer aufeinanderfolgender computertomographischer Schnittbilder (21–27) vorliegt und in dem die Bilddaten jedes Schnittbildes (21–27) mit kartesischen Koordinaten (x, y) beschrieben sind und die Schritte a) bis e) gemäß folgender Verfahrensschritte durchgeführt werden: – Durchführen einer Koordinatentransformation für jedes Schnittbild (21–27) nach Polarkoordinaten (r,ϕ) bezüglich einer Geraden (G), die durch das Abbild des Objekts (3) verläuft und wenigstens im Wesentlichen rechtwinklig zu den einzelnen Schnittbildern (21-27) ausgerichtet ist, – Ermitteln der Konturen (51), die in jedem transformierten Schnittbild abgebildet und dem Abbild der Oberfläche zugeordnet sind, – Erstellen eines Bilddatensatzes (80), der wenigstens im Wesentlichen die Bildpunkte des in die Ebene transformierten Abbildes der Oberfläche und Bildpunkte der Abbilder (62, 81) der Marken (13) aufweist, – Erstellen eines zweidimensionalen Bilddatensatzes (80) durch Re-Extraktion von Bilddaten, die die Abbilder (20) der Marken (13) umfassen, in einem Bereich parallel zu der ermittelten abgebildeten Oberfläche, – Ermitteln der Koordinaten der Abbilder (81) der Marken (13) in dem zweidimensionalen Bilddatensatz (60) und – Rücktransformieren der Koordinaten der Abbilder (81) der Marken (13) in die dem Volumendatensatz zugeordneten Koordinaten.
  3. Verfahren nach Anspruch 1 oder 2, bei dem die Koordinaten der Abbilder (62, 81) der Marken (13) in dem Bilddatensatz (60) bzw. dem zweidimensionalen Bilddatensatz (80) mittels einer Filterung des Bilddatensatzes (60) ermittelt werden.
  4. Verfahren nach Anspruch 3, bei dem für die Filterung ein den Marken (13) angepasstes Filter verwendet wird.
  5. Verfahren nach Anspruch 3, bei dem die Filterung eine Filterung nach minimaler quadratischer Fehlersumme ist.
  6. Verfahren nach einem der Ansprüche 2 bis 4, bei dem die Filterung die Eigenschaft aufweist, dass wenigstens eine Stelle des Abbildes (81) jeder Marke (13) als lokales Maximum hervortritt.
  7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass es auf einer Datenverarbeitungseinrichtung (38) einer medizinischen Vorrichtung implementiert ist.
  8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die medizinische Vorrichtung ein Navigationssystem (35–37) umfasst.
  9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass für die Registrierung die Marken (13) mit einem Positionssensor (35) des Navigationssystems (35-37) identifiziert werden.
  10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass der Positionssensor (35) eine optisch automatisch erkennbare Marke ist.
  11. Verfahren nach einem der Ansprüche 7 bis 10, dadurch gekennzeichnet, dass die medizinische Vorrichtung ein erstes und ein zweites bildgebendes medizintechnisches Gerät (32) zur Aufnahme von Bildern des Objektes (3) umfasst und die mit dem zweiten bildgebenden medizintechnischen Gerät (32) aufgenommenen Bilder in ein Bild, welches einem mit dem ersten medizintechnischen Gerät aufgenommenen Volumendatensatz zugeordnet ist, einblendet werden.
DE10254942A 2002-11-25 2002-11-25 Verfahren zur automatischen Ermittlung der Koordinaten von Abbildern von Marken in einem Volumendatensatz und medizinische Vorrichtung Expired - Fee Related DE10254942B3 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE10254942A DE10254942B3 (de) 2002-11-25 2002-11-25 Verfahren zur automatischen Ermittlung der Koordinaten von Abbildern von Marken in einem Volumendatensatz und medizinische Vorrichtung
JP2003391172A JP2004178587A (ja) 2002-11-25 2003-11-20 ボリュームデータセット内のマークの画像の座標を求める方法および医療装置
US10/722,225 US7369694B2 (en) 2002-11-25 2003-11-25 Method and medical device for the automatic determination of coordinates of images of marks in a volume dataset

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE10254942A DE10254942B3 (de) 2002-11-25 2002-11-25 Verfahren zur automatischen Ermittlung der Koordinaten von Abbildern von Marken in einem Volumendatensatz und medizinische Vorrichtung

Publications (1)

Publication Number Publication Date
DE10254942B3 true DE10254942B3 (de) 2004-08-12

Family

ID=32694845

Family Applications (1)

Application Number Title Priority Date Filing Date
DE10254942A Expired - Fee Related DE10254942B3 (de) 2002-11-25 2002-11-25 Verfahren zur automatischen Ermittlung der Koordinaten von Abbildern von Marken in einem Volumendatensatz und medizinische Vorrichtung

Country Status (3)

Country Link
US (1) US7369694B2 (de)
JP (1) JP2004178587A (de)
DE (1) DE10254942B3 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114295053A (zh) * 2021-12-31 2022-04-08 北京百度网讯科技有限公司 物料体积的确定方法及装置、设备、介质和产品

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7724943B2 (en) * 2004-04-21 2010-05-25 Siemens Medical Solutions Usa, Inc. Rapid and robust 3D/3D registration technique
US7623250B2 (en) * 2005-02-04 2009-11-24 Stryker Leibinger Gmbh & Co. Kg. Enhanced shape characterization device and method
DE102006012945B4 (de) * 2006-03-21 2014-10-02 Siemens Aktiengesellschaft Verfahren zur virtuellen Schichtpositionierung in einem 3D-Volumendatensatz und medizinisches Abbildungssystem
DE102006012943B4 (de) * 2006-03-21 2009-11-19 Siemens Ag Verfahren zur automatischen Auswertung eines Abbildungsdatensatzes eines Objektes und medizinisches Abbildungssystem
EP2018627B1 (de) * 2006-05-11 2017-03-22 Koninklijke Philips N.V. Verformbare eintragung von bildern für bildgeführte strahlentherapie
US8044972B2 (en) * 2006-12-21 2011-10-25 Sectra Mamea Ab Synchronized viewing of tomosynthesis and/or mammograms
US8051386B2 (en) * 2006-12-21 2011-11-01 Sectra Ab CAD-based navigation of views of medical image data stacks or volumes
US7992100B2 (en) * 2006-12-21 2011-08-02 Sectra Ab Dynamic slabbing to render views of medical image data
US9477686B2 (en) * 2007-01-12 2016-10-25 General Electric Company Systems and methods for annotation and sorting of surgical images
US8150494B2 (en) * 2007-03-29 2012-04-03 Medtronic Navigation, Inc. Apparatus for registering a physical space to image space
US20090074265A1 (en) * 2007-09-17 2009-03-19 Capsovision Inc. Imaging review and navigation workstation system
US20090082660A1 (en) * 2007-09-20 2009-03-26 Norbert Rahn Clinical workflow for treatment of atrial fibrulation by ablation using 3d visualization of pulmonary vein antrum in 2d fluoroscopic images
CA2702909C (en) * 2007-10-17 2016-05-10 Todd F. Ovokaitys Room temperature stable non-crystalline aspirin
JP5566657B2 (ja) * 2008-10-15 2014-08-06 株式会社東芝 ３次元画像処理装置及びｘ線診断装置
JP5455470B2 (ja) * 2009-07-02 2014-03-26 株式会社東芝 医用画像読影システム
EP2336979B1 (de) * 2009-11-05 2014-03-12 TomTec Imaging Systems GmbH Verfahren und Vorrichtung zur Segmentierung von medizinischen Bilddaten
US8872889B2 (en) 2010-01-14 2014-10-28 Innovmetric Logiciels Inc. Synchronization of the orientation of a 3D measurement device and the orientation of an intelligent guidance device
US9684674B2 (en) * 2013-04-02 2017-06-20 Blackford Analysis Limited Image data processing
US10376715B2 (en) 2013-08-08 2019-08-13 Washington University System and method for the validation and quality assurance of computerized contours of human anatomy
US9626757B2 (en) 2013-08-08 2017-04-18 Washington University System and method for the validation and quality assurance of computerized contours of human anatomy
US9633435B2 (en) * 2015-09-25 2017-04-25 Siemens Healthcare Gmbh Calibrating RGB-D sensors to medical image scanners
US9665936B2 (en) * 2015-09-25 2017-05-30 Siemens Healthcare Gmbh Systems and methods for see-through views of patients
US11971951B2 (en) * 2018-06-21 2024-04-30 City University Of Hong Kong Systems and methods using a wearable sensor for sports action recognition and assessment
CN109540026B (zh) * 2018-09-06 2020-10-27 国营芜湖机械厂 一种航空非标导管智能检测***的使用方法
US10881353B2 (en) * 2019-06-03 2021-01-05 General Electric Company Machine-guided imaging techniques

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19951502A1 (de) * 1999-06-28 2001-01-18 Siemens Ag System mit Mitteln zur Aufnahem von Bildern, medizinischer Arbeitsplatz aufweisend ein derartiges System und Verfahren zur Einblendung eines Abbildes eines zweiten Objektes in ein von einem ersten Objekt gewonnenes Bild
WO2002043007A1 (en) * 2000-11-25 2002-05-30 Infinitt Co., Ltd. 3-dimensional multiplanar reformatting system and method and computer-readable recording medium having 3-dimensional multiplanar reformatting program recorded thereon

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1209299A (en) * 1914-12-30 1916-12-19 Sharp Hughes Tool Company Rotary boring-drill.
US1263802A (en) * 1917-08-13 1918-04-23 Clarence Edw Reed Boring-drill.
US1394769A (en) * 1920-05-18 1921-10-25 C E Reed Drill-head for oil-wells
US1847981A (en) * 1930-07-23 1932-03-01 Chicago Pneumatic Tool Co Section roller cutter organization for earth boring apparatus
US2117679A (en) * 1935-12-27 1938-05-17 Chicago Pneumatic Tool Co Earth boring drill
US2122759A (en) * 1936-07-16 1938-07-05 Hughes Tool Co Drill cutter
US2165584A (en) * 1936-07-22 1939-07-11 Smith Roller bit
US2132498A (en) * 1936-07-22 1938-10-11 Smith Roller bit
US2230569A (en) * 1939-12-20 1941-02-04 Globe Oil Tools Co Roller cutter
US2496421A (en) * 1946-05-07 1950-02-07 Reed Roller Bit Co Drill bit
US2728559A (en) * 1951-12-10 1955-12-27 Reed Roller Bit Co Drill bits
US2851253A (en) * 1954-04-27 1958-09-09 Reed Roller Bit Co Drill bit
US4056153A (en) * 1975-05-29 1977-11-01 Dresser Industries, Inc. Rotary rock bit with multiple row coverage for very hard formations
US4187922A (en) * 1978-05-12 1980-02-12 Dresser Industries, Inc. Varied pitch rotary rock bit
US4657093A (en) * 1980-03-24 1987-04-14 Reed Rock Bit Company Rolling cutter drill bit
US4611673A (en) * 1980-03-24 1986-09-16 Reed Rock Bit Company Drill bit having offset roller cutters and improved nozzles
US4848476A (en) * 1980-03-24 1989-07-18 Reed Tool Company Drill bit having offset roller cutters and improved nozzles
US4408671A (en) * 1980-04-24 1983-10-11 Munson Beauford E Roller cone drill bit
US4343371A (en) * 1980-04-28 1982-08-10 Smith International, Inc. Hybrid rock bit
US4334586A (en) * 1980-06-05 1982-06-15 Reed Rock Bit Company Inserts for drilling bits
US4393948A (en) * 1981-04-01 1983-07-19 Boniard I. Brown Rock boring bit with novel teeth and geometry
US4427081A (en) * 1982-01-19 1984-01-24 Dresser Industries, Inc. Rotary rock bit with independently true rolling cutters
US4627276A (en) * 1984-12-27 1986-12-09 Schlumberger Technology Corporation Method for measuring bit wear during drilling
US4815342A (en) * 1987-12-15 1989-03-28 Amoco Corporation Method for modeling and building drill bits
GB9004952D0 (en) * 1990-03-06 1990-05-02 Univ Nottingham Drilling process and apparatus
GB9015433D0 (en) * 1990-07-13 1990-08-29 Anadrill Int Sa Method of determining the drilling conditions associated with the drilling of a formation with a drag bit
US5224560A (en) * 1990-10-30 1993-07-06 Modular Engineering Modular drill bit
US5137097A (en) * 1990-10-30 1992-08-11 Modular Engineering Modular drill bit
US5197555A (en) * 1991-05-22 1993-03-30 Rock Bit International, Inc. Rock bit with vectored inserts
US5370234A (en) * 1991-11-08 1994-12-06 National Recovery Technologies, Inc. Rotary materials separator and method of separating materials
NO930044L (no) * 1992-01-09 1993-07-12 Baker Hughes Inc Fremgangsmaate til vurdering av formasjoner og borkronetilstander
US5305836A (en) * 1992-04-08 1994-04-26 Baroid Technology, Inc. System and method for controlling drill bit usage and well plan
US5416697A (en) * 1992-07-31 1995-05-16 Chevron Research And Technology Company Method for determining rock mechanical properties using electrical log data
US5311958A (en) * 1992-09-23 1994-05-17 Baker Hughes Incorporated Earth-boring bit with an advantageous cutting structure
GB9221453D0 (en) * 1992-10-13 1992-11-25 Reed Tool Co Improvements in rolling cutter drill bits
US5341890A (en) * 1993-01-08 1994-08-30 Smith International, Inc. Ultra hard insert cutters for heel row rotary cone rock bit applications
US5799099A (en) 1993-02-12 1998-08-25 George S. Allen Automatic technique for localizing externally attached fiducial markers in volume images of the head
US5394952A (en) * 1993-08-24 1995-03-07 Smith International, Inc. Core cutting rock bit
US5421423A (en) * 1994-03-22 1995-06-06 Dresser Industries, Inc. Rotary cone drill bit with improved cutter insert
DE4435796C1 (de) 1994-10-06 1995-12-07 Siemens Ag Verfahren zur automatischen Erkennung von Kanten und Durchmessern in Bildern
US5812068A (en) * 1994-12-12 1998-09-22 Baker Hughes Incorporated Drilling system with downhole apparatus for determining parameters of interest and for adjusting drilling direction in response thereto
US6012015A (en) * 1995-02-09 2000-01-04 Baker Hughes Incorporated Control model for production wells
EP0728915B1 (de) * 1995-02-16 2006-01-04 Baker Hughes Incorporated Verfahren und Vorrichtung zum Erfassen und Aufzeichnen der Einsatzbedingungen eines Bohrmeissels während des Bohrens
FR2734315B1 (fr) * 1995-05-15 1997-07-04 Inst Francais Du Petrole Methode de determination des conditions de forage comportant un modele de foration
CA2235134C (en) * 1995-10-23 2007-01-09 Baker Hughes Incorporated Closed loop drilling system
US5715899A (en) * 1996-02-02 1998-02-10 Smith International, Inc. Hard facing material for rock bits
US6109368A (en) * 1996-03-25 2000-08-29 Dresser Industries, Inc. Method and system for predicting performance of a drilling system for a given formation
US5704436A (en) * 1996-03-25 1998-01-06 Dresser Industries, Inc. Method of regulating drilling conditions applied to a well bit
US5767399A (en) * 1996-03-25 1998-06-16 Dresser Industries, Inc. Method of assaying compressive strength of rock
US5794720A (en) * 1996-03-25 1998-08-18 Dresser Industries, Inc. Method of assaying downhole occurrences and conditions
US5813485A (en) * 1996-06-21 1998-09-29 Smith International, Inc. Cutter element adapted to withstand tensile stress
US6241034B1 (en) * 1996-06-21 2001-06-05 Smith International, Inc. Cutter element with expanded crest geometry
US5839526A (en) * 1997-04-04 1998-11-24 Smith International, Inc. Rolling cone steel tooth bit with enhancements in cutter shape and placement
US6002985A (en) * 1997-05-06 1999-12-14 Halliburton Energy Services, Inc. Method of controlling development of an oil or gas reservoir
US6057784A (en) * 1997-09-02 2000-05-02 Schlumberger Technology Corporatioin Apparatus and system for making at-bit measurements while drilling
US6044325A (en) * 1998-03-17 2000-03-28 Western Atlas International, Inc. Conductivity anisotropy estimation method for inversion processing of measurements made by a transverse electromagnetic induction logging instrument
US6412577B1 (en) * 1998-08-31 2002-07-02 Halliburton Energy Services Inc. Roller-cone bits, systems, drilling methods, and design methods with optimization of tooth orientation
AU5798399A (en) * 1998-08-31 2000-03-21 Halliburton Energy Services, Inc. Force-balanced roller-cone bits, systems, drilling methods, and design methods
US6401839B1 (en) * 1998-08-31 2002-06-11 Halliburton Energy Services, Inc. Roller cone bits, methods, and systems with anti-tracking variation in tooth orientation
US6095262A (en) * 1998-08-31 2000-08-01 Halliburton Energy Services, Inc. Roller-cone bits, systems, drilling methods, and design methods with optimization of tooth orientation
US6527068B1 (en) * 2000-08-16 2003-03-04 Smith International, Inc. Roller cone drill bit having non-axisymmetric cutting elements oriented to optimize drilling performance

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19951502A1 (de) * 1999-06-28 2001-01-18 Siemens Ag System mit Mitteln zur Aufnahem von Bildern, medizinischer Arbeitsplatz aufweisend ein derartiges System und Verfahren zur Einblendung eines Abbildes eines zweiten Objektes in ein von einem ersten Objekt gewonnenes Bild
WO2002043007A1 (en) * 2000-11-25 2002-05-30 Infinitt Co., Ltd. 3-dimensional multiplanar reformatting system and method and computer-readable recording medium having 3-dimensional multiplanar reformatting program recorded thereon

Non-Patent Citations (12)

* Cited by examiner, † Cited by third party
Title
BRADEN, G. *
DOWNES, T. *
DOWNES, T.; BRADEN, G.; SNYDER, W.: Image proces- sing and display of 3D intra-coronary ultrasound images. Proc. Computers in Cardiology 1991, S. 349-352
ELDEIB, A.M. *
ELDEIB, A.M.; YAMANY, S.M.; FARAG, A.A.: Volume registration by surface point signature and mutual information maximization with applications in intra-operative MRI surgeries. Proc. Int. Conf. on Image Processing, Vol. 1, S. 200-203
FARAG, A.A.: Volume registration by surface point signature and mutual information maximization with applications in intra-operative MRI surgeries. Proc. Int. Conf. on Image Processing, Vol. 1, S. 200-203 *
HERRINGTON, D. *
HERRINGTON, D.; SANTAGO, P.; JOHNSON, T.
JOHNSON, T. *
SANTAGO, P. *
SNYDER, W.: Image proces- sing and display of 3D intra-coronary ultrasound images. Proc. Computers in Cardiology 1991, S. 349-352 *
YAMANY, S.M. *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114295053A (zh) * 2021-12-31 2022-04-08 北京百度网讯科技有限公司 物料体积的确定方法及装置、设备、介质和产品
CN114295053B (zh) * 2021-12-31 2023-11-28 北京百度网讯科技有限公司 物料体积的确定方法及装置、设备、介质和产品

Also Published As

Publication number Publication date
JP2004178587A (ja) 2004-06-24
US20050018891A1 (en) 2005-01-27
US7369694B2 (en) 2008-05-06

Similar Documents

Publication Publication Date Title
DE10254942B3 (de) Verfahren zur automatischen Ermittlung der Koordinaten von Abbildern von Marken in einem Volumendatensatz und medizinische Vorrichtung
DE102011078212B4 (de) Verfahren und Vorrichtung zum Darstellen eines Objektes
DE19944516B4 (de) Dreidimensionale Formerfassung mit Kamerabildern
DE102007013807B4 (de) Verfahren zur Unterstützung der Navigation interventioneller Werkzeuge bei Durchführung von CT- bzw. MRT-gesteuerten Interventionen in einer vorgegebenen Interventionsebene
DE102005059209B4 (de) Verfahren und Vorrichtung zur Visualisierung einer Folge von tomographischen Bilddatensätzen
DE60034749T2 (de) Interaktive Röntgenpositions- und Ausstrahlungssteuerung mittels Bilddaten als Referenzinformation
DE10004764A1 (de) Verfahren zur Positionsbestimmung eines medizinischen Instruments
DE102008037424A1 (de) Verbessertes System und Verfahren für auf Volumen basierende Registrierung
DE102004056783A1 (de) Verfahren und Vorrichtung zum Segmentieren von Strukturen in einer CT-Angiographie
DE102008037453A1 (de) Verfahren und System zur Visualisierung von registrierten Bildern
DE102005023194A1 (de) Verfahren zur Erweiterung des Darstellungsbereiches von 2D-Bildaufnahmen eines Objektbereiches
DE112004001177T5 (de) System und Verfahren zur Planung eines endoskopischen Pfades
DE10254908B4 (de) Verfahren zum Herstellen eines Bildes
AT509040B1 (de) Verfahren und vorrichtung zur verarbeitung von 3d-bilddaten eines schädels
DE29718980U1 (de) Transformieren von Patientenpositionen in Bildpositionen
DE102006003126A1 (de) Verfahren und Vorrichtung zum Visualisieren von 3D-Objekten
DE60306511T2 (de) Medizinisches darstellungssystem und bildverarbeitungsverfahren zur visualisierung von gefalteten anatomischen bereichen von objektoberflächen
DE102007050343A1 (de) Vorrichtungen und Verfahren zur Kalibrierung eines Endoskops
DE112012002671T5 (de) Anzeigen einer Vielzahl von registrierten Bildern
DE10254907B4 (de) Verfahren zur Oberflächenkonturierung eines dreidimensionalen Abbildes
EP3323347A1 (de) Verfahren zur bildunterstützung einer einen minimalinvasiven eingriff mit einem instrument in einem eingriffsbereich eines patienten durchführenden person, röntgeneinrichtung, computerprogramm und elektronisch lesbarer datenträger
DE10210644B4 (de) Verfahren zum Erstellen einer Sequenz
DE102012200686A1 (de) Verfahren und Vorrichtung zur Positionierung einer Röntgenvorrichtung
DE10254943A1 (de) Verfahren zum Herstellen eines Volumendatensatzes
DE112020004854T5 (de) Medizinische Bildverarbeitungsvorrichtung, medizinisches Bildverarbeitungsprogramm, medizinische Vorrichtung und Behandlungssystem

Legal Events

Date Code Title Description
8100 Publication of patent without earlier publication of application
8364 No opposition during term of opposition
8320 Willingness to grant licences declared (paragraph 23)
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

Effective date: 20130601