EP1425709A2 - Modellbasierte objektklassifikation und zielerkennung - Google Patents

Modellbasierte objektklassifikation und zielerkennung

Info

Publication number
EP1425709A2
EP1425709A2 EP02769950A EP02769950A EP1425709A2 EP 1425709 A2 EP1425709 A2 EP 1425709A2 EP 02769950 A EP02769950 A EP 02769950A EP 02769950 A EP02769950 A EP 02769950A EP 1425709 A2 EP1425709 A2 EP 1425709A2
Authority
EP
European Patent Office
Prior art keywords
preprocessing
feature
image
target recognition
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP02769950A
Other languages
English (en)
French (fr)
Inventor
Henrik Baur
Helmuth Eggers
Lars KRÜGER
Rainer Ott
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Airbus Defence and Space GmbH
Original Assignee
EADS Deutschland GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EADS Deutschland GmbH filed Critical EADS Deutschland GmbH
Publication of EP1425709A2 publication Critical patent/EP1425709A2/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Definitions

  • the present invention relates generally to a model-based object classification and target recognition and in particular to a structure and the processing of models for object classification and position determination.
  • the rules for when a feature of a model is to be checked are either as firmly programmed as the feature itself or are determined from the geometry of the object.
  • the image is first read in, then it is preprocessed and then the matching is carried out. This leads to, that in the known systems either all preprocessing, the results of which are contained in any model, must be carried out, or that permanently implemented tests have to be carried out that circumvent this.
  • Another object of the present invention is to provide a method for object classification and target recognition that minimizes the number of preprocessing steps.
  • Fig. 2 shows the detailed flow of the matching block of Fig. 1;
  • FIG. 3 shows an image acquired in the image recording block of FIG. 1;
  • FIG. 4 shows a region (ROI) surrounding the searched objects, which region consists of a rectangular partial section of the image of FIG. 3; and FIGS. 5a to 5e using the example of the edge receptor as the feature request works.
  • the present invention is based on the knowledge that certain features are only visible from special views. So z. B. the windows of the cargo hold doors of helicopters only visible from the side, but not from other angles. The same applies to the lighting conditions, which allow the detection of cargo hold doors or other elements of helicopters (such as wheels, carrying load, etc.) only under certain lighting conditions. Therefore, according to the present invention, at least one feature to be recognized is linked to at least one condition or at least one rule. Of course, it is possible to link a large number of features with respective specific conditions and / or to associate several conditions with a single feature to be recognized. Under these circumstances, only those features would have to be extracted from the image in which the respectively linked condition is fulfilled. In other words, object classification and / or target recognition does not have to be carried out for a cargo hold door which, depending on the position of the helicopter, cannot be visible in relation to a camera.
  • the possibility was found to store various features (so-called “features”, eg edges, surface areas, hot spots) in the model in a simple and consistent manner and to carry out the extraction of these features in an effective manner.
  • features eg edges, surface areas, hot spots
  • each feature that can be recognized is provided with a condition that determines its applicability.
  • the algorithm of this condition is freely programmable and not only limited to the geometry of the object.
  • the condition can also examine, for example, the distance of the object to be recognized from the camera, the lighting conditions (e.g. contrast), speed, height, relative position, etc.
  • the redundant work caused by the "invisibility” or “non-detection” of a feature can be omitted and the method made more robust according to the invention at the same time, since missing features do not lead to a poorer evaluation of the model.
  • each feature that fulfills a condition and is therefore required in a preprocessing of a sub-step of the image processing is requested by this sub-step.
  • the order of preprocessing and the algorithm of the sub-step are stored in the model (e.g. as the number of a function in a list of available functions). This avoids the unnecessary work in a rigid arrangement of image acquisition, preprocessing and classification / localization.
  • the handling of the request is to carry out the preprocessing and to store and provide the result or, if already available, to provide the stored result without performing a recalculation.
  • existing preprocessing or series of preprocessing can be called up quickly from a cache.
  • preprocessing 1 is carried out for a feature A and preprocessing 1, 2 and 3 are required for a further feature B, the buffered preprocessing 1 of feature 1 according to the invention can be accessed, thus reducing the processing time.
  • the method for preprocessing described above can be implemented according to the invention independently of the knowledge that certain features are only visible from special views.
  • the present preprocessing can be carried out independently of the link to one of the specific conditions, although the combination of the two features has a particularly advantageous effect in terms of the computational complexity and robustness of the system.
  • the method for preprocessing according to the invention is particularly advantageous compared to the prior art. This is what DG Löwe recognizes in "Fitting Parametrized Three-Dimensional Models To Images", IEEE Transact. on Pattern Analysis and Machine Intelligence, Vol. 13, No. 5, 1991, presented method the object sought by means of edges.
  • the free parameters are expressed as parameterized curves and the free parameters (spatial position and internal degrees of freedom) are determined by an approximation method.
  • the method is relevant in that it stores geometric preprocessing in a cache.
  • the cache of the known Löwe method only relates to visibility conditions, while the cache or buffer memory according to the invention is not limited in the type of preprocessing.
  • the visibility conditions are also only determined from the geometry of the object and cannot be freely selected. Otherwise, the Löwe process is a typical representative of processes with permanently implemented preprocessing.
  • FIGS. 1 to 5e A currently particularly preferred embodiment of the invention will now be explained with reference to the accompanying FIGS. 1 to 5e.
  • This embodiment can be modified in a manner well known to those skilled in the art and it is in no way intended to limit the scope of the invention to the example below. Rather, the scope of protection is determined by the features of the claims and their equivalents.
  • step 1 shows a sequence of object recognition at the top level.
  • step 1 the acquisition of the image with a camera, loading of a stored image or generation of a VR image takes place in the image recording block.
  • An image acquired in the image recording block of FIG. 1 is shown by way of example in FIG. 3.
  • step 2 there is a simple and quick rough detection of the object in the image, i. H. the specification of a rectangular region that largely encloses the objects sought.
  • the abbreviation ROI denotes this region surrounding the sought objects, which can be seen with reference to FIG. 4.
  • Methods for determining such an ROI are known per se. These include threshold value methods, pixel classification etc.
  • the ROI currently formed must also be assigned to an ROI from the last image.
  • step 3 a decision is made as to whether the object in the region of interest has been provided with an ROI for the first time or not. This step is necessary because there are no hypotheses to be tested yet that are assigned to the ROI and therefore the hypotheses cannot yet be checked.
  • step 3 If the decision in step 3 is "yes”, the hypothesis initialization takes place in step 4.
  • the decision in step 3 is "no”
  • the hypothesis update is carried out in step 5.
  • the new position created by the movement of the object in space must be adapted to the position of the object in the image.
  • a movement prediction known in the prior art is carried out by means of a tracker (for example a Cayman filter).
  • step 5 of FIG. 1 the matching described in detail with reference to FIG. 2 takes place.
  • step 6 of FIG. 1 the 2D-3D pose estimation is implemented. From the change in position of the receptors and the assumed position of the receptors in space (from hypothesis), the change in position of the object in space can be estimated using the 2D-3D pose estimation. Methods for this are known in the prior art (see e.g. Haralick: Pose Estimation from Corresponding Point Data, IEEE Transactions on Systems, Man and Cybernetics, Vol. 19, No. 6, Nov./Dec. 1989).
  • step 7 the quality of the model is determined. This is necessary because the matching violates the rigidity property of the object.
  • the pose estimation and re-projection ensure rigidity, since errors in individual receptors are averaged and a single pose (6 degrees of freedom) is created for all receptors.
  • Another matching in the same picture is useful to get the best possible result, i. H. to achieve the smallest possible error between the hypothesis and the image. Therefore, in the event of deterioration (or very small improvement), it is assumed that the optimal point has already been reached.
  • step 8 of FIG. 1 (“Classification" block) all hypotheses, in particular their quality values, of an ROI are evaluated.
  • the classification results either the decision for a certain class and pose (by selecting or combining pose values of different hypotheses) or the information that the object cannot be assigned to a known class.
  • step 9 of FIG. 1 the class, quality and orientation are evaluated.
  • the information from the classification can be displayed to the user in various ways (e.g. location and class as an overlay in the image) or actions can be derived directly (e.g. triggering a weapon). This can be determined after each picture or at larger, regular intervals or when certain quality thresholds or classifications are exceeded or fallen below.
  • step 10 of FIG. 2 rules are checked.
  • the rule of each receptor is evaluated and, based on the result, the receptor is adopted in the 2D representation (graph) or not. Since different rules can exist for different applications that also process any information on the rule result, a geometrically motivated control function is used to describe how the method operates. It should be noted that the parameters of the control function must not only take into account the geometry of the object and its current pose. If available, other information (e.g. position of the sun, horizon line, friend-foe positions, radio beacon, time) can also contribute to the rule result.
  • the control function of the "Vector Angle" rule contains three parameters that are stored in the model: a, b and. Your result is r.
  • the vector z is the unit vector in the z direction (viewing direction of the camera).
  • Matrix ß is the rotation matrix from the hypothesis that rotates the model from its original position (parallel to the camera coordinate system) to its current view
  • x is a vector that describes the average direction of view from the object to the outside (e.g. the outside normal of a surface) ,
  • the receptor is adopted in the 2D representation.
  • the values between 0 and 1 are available for further evaluation, but are currently not in use.
  • step 11 of FIG. 2 the projection of the receptors is carried out.
  • Step 11 is performed separately (and possibly in parallel) for each receptor that is found in the graph.
  • the receptor reference point ß 3 is projected into the image matrix as ß 2 .
  • Matrix ß is the above.
  • Rotation matrix, t is the vector from the origin of the camera coordinate system to the origin of the model coordinate system in the scene (translation vector).
  • Matrix E is the projection matrix or camera model:
  • the focal length of the camera, / sx and / sy is the resolution of the camera in pixels per mm.
  • ß 2 is a homogeneous vector (u, v and scaling) in pixels relative to the main camera point. This is converted accordingly into the pixel coordinates x and y.
  • the receptor projection function is then called up, which projects the receptor-specific data.
  • An example of this is an edge receptor, the start and end points of which are defined in 3-D on the model and are projected into the image matrix using this function in the same way as the reference point.
  • the 3D points are stored in step 12.
  • a list of hypothesis points is created in 3-D, one or more points per receptor being saved in a defined order.
  • the receptor reference point of each receptor can always be found in the list, additional points are optional.
  • the edge receptor also saves the start and end points.
  • step 13 the graph generation is implemented. If this is necessary for the following matching process, a graph is generated from the point cloud of the points projected into the image matrix by tessellation.
  • the method used is known and described in the following article: Watson, D.F., 1981, Computing the n-dimensional Delaunay tessellation with application to Voronoi polytopes: The Computer J., 24 (2), p. 167-172.
  • step 14 the 2D matching is carried out, either using the Elastic Graph Matching method by Prof. vd Malsburg or another method with a similar objective.
  • the process must be the best possible Location of the searched feature near the start position can be found, a tradeoff between feature quality and deviation from the given graph configuration is desirable.
  • it is therefore necessary to scan the image in some way with the application function of the receptor.
  • the match quality of the application function is assigned to each scanned position so that the most favorable position can be determined.
  • edge receptor now shows how the feature request works.
  • the preprocessing cache is only occupied with the original image.
  • the pointer req is placed on the root of the tree.
  • (5.c) generates the distance image in the same way (see FIG. 5c).
  • (5.d) reads the image from req and (5.e) calculates the quality of the feature by determining the mean distance (in pixels) to an image edge. The values are taken directly from the edge image. For this purpose, reference is made to FIGS. 5d and 5e.
  • the 2D points are stored in step 15 of FIG. 2.
  • the points ß 2 after the matching step are stored in a list in the same order as in (12). It is important to ensure that the synchronism of the two lists is guaranteed so that there are no inconsistencies in the matching.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur modellbasierten Klassifikation und/oder Zielerkennung eines Objekts, das folgende Schritte umfasst: Aufzeichnen eines Bildes eines Objekts; Bestimmen eines Merkmals, das ein Teil des Objekts darstellt; Bestimmen von mindestens einer Bedingung, die mit dem Merkmal vernüpft ist und die die Anwendbarkeit des Merkmals anzeigt; und Durchführen der Klassifikation und/oder Zielerkennung des Objekts durch die Erfassung des Merkmals, falls die Bedingung die Anwendbarkeit des Merkmals anzeigt.

Description

Modellbasierte Obiektklassifikation und Zielerkennung
Die vorliegende Erfindung betrifft allgemein eine modellbasierte Objektklassifikation und Zielerkennung und insbesondere eine Struktur und die Abarbeitung von Modellen zur Objektklassifikation und Lagebestimmung.
Alle bisher bekannten Verfahren aus dem Stand der Technik, die explizite Geometriemodelle zum Matching verwenden, extrahieren aus den Eingabedaten nur wenige Merkmale gleichzeitig. Dafür gibt es mehrere Gründe.
Zum einen ist es schwierig, verschiedene Merkmale so zu fusionieren, dass gleiche Ausgangswerte eine gleiche Bedeutung haben. Zum anderen gibt es rein praktische Gründe, die in den folgenden beiden Abschnitten näher erläutert werden.
Des weiteren sind die Regeln, wann ein Merkmal eines Modells zu überprüfen ist, entweder ebenso fest einprogrammiert, wie das Merkmal selbst oder werden aus der Geometrie des Objektes bestimmt.
Die bisher bekannten Systeme, so auch die von D. G. Löwe in "Fitting Parametrized Three-Dimensional Models To Images", IEEE Transact. on Pattern Analysis and Machine Intelligence, Vol. 13, No. 5, 1991 , von L. Stephan et al. in "Portable, scalable architecture for model-based FLIR ATR and SAR/FLIR fusion", Proc. of SPIE, Vol. 3718, Automatic Target Recognition IX, Aug. 1999, und die in der EP-A-622 750 beschriebenen haben allgemein eine feste Anordnung der Bildverarbeitung und insbesondere eine feste Anordnung der Vorverarbeitung.
Gemäß diesen bekannten Systemen wird als erstes das Bild eingelesen, dann wird es vorverarbeitet und danach das Matching durchgeführt. Das führt dazu, dass in den bekannten Systemen entweder alle Vorverarbeitungen, deren Ergebnisse in irgendeinem Modell enthalten sind, durchgeführt werden müssen, oder dass fest implementierte Tests durchgeführt werden müssen, die das umgehen.
Daher ist es eine Aufgabe der vorliegenden Erfindung, ein Verfahren für die Objektklassifikation und die Zielerkennung zur Verfügung zu stellen, das den erforderlichen Rechenaufwand minimiert und dennoch gleichzeitig robuster ist.
Eine weitere Aufgabe der vorliegenden Erfindung ist es, ein Verfahren für die Objektklassifikation und die Zielerkennung zur Verfügung zu stellen, das die Anzahl der Vorverarbeitungsschritte minimiert.
Diese Aufgaben sowie weitere der nachstehenden Beschreibung und Figuren zu entnehmenden Aufgaben werden durch ein Verfahren gemäß den anliegenden Ansprüchen erfüllt.
Ausführungsbeispiele der Erfindung werden anhand einer Zeichnung näher erläutert. Darin zeigen: Fig. 1 den Ablauf der Objekterkennung auf oberster Ebene;
Fig. 2 den ausführlichen Ablauf des Matching-Blocks der Fig. 1 ;
Fig. 3 ein im Bildaufnahme-Block der Fig. 1 akquiriertes Bild;
Fig. 4 eine die gesuchten Objekte umschließende Region (ROI), die aus einem rechteckigen Teilabschnitt des Bildes der Fig. 3 besteht; und Fig. 5a bis 5e am Beispiel des Kantenrezeptors wie die Merkmalsanforderung funktioniert.
Die vorliegende Erfindung basiert auf der Erkenntnis, dass bestimmte Merkmale nur aus speziellen Ansichten sichtbar sind. So sind z. B. die Fenster der Frachtraumtüren von Hubschraubern nur von der Seite sichtbar, von anderen Blickwinkeln jedoch nicht. Analoges gilt für die Beleuchtungsverhältnisse, die die Erkennung von Frachtraumtüren oder von weiteren Elementen von Hubschraubern (wie z. B. Räder, Tragelast usw.) nur unter bestimmten Lichtverhältnissen zulassen. Daher wird gemäß der vorliegenden Erfindung mindestens ein zu erkennendes Merkmal mit mindestens einer Bedingung oder mindestens einer Regel verknüpft. Selbstverständlich ist es möglich eine Vielzahl von Merkmalen mit jeweiligen bestimmten Bedingungen zu verknüpfen und/oder mehrere Bedingungen mit einem einzigen zu erkennenden Merkmal zu assoziieren. Dadurch müssten unter diesen Umständen nur die Merkmale aus dem Bild extrahiert werden, bei denen die jeweilig verknüpfte Bedingung erfüllt ist. Anders ausgedrückt, muss für eine Frachtraumtür, die nach Lage des Hubschraubers in Bezug auf eine Kamera gar nicht sichtbar sein kann, keine Objektklassifikation und/oder Zielerkennung durchgeführt werden.
Erfindungsgemäß wurde die Möglichkeit gefunden, diverse Merkmale (sogenannte "Features", z. B. Kanten, Flächenumfänge, Hot-Spots) auf einfache und konsistente Art und Weise im Modell abzulegen und die Extraktion dieser Merkmale in effektiver Weise durchzuführen.
Will man in den bekannten Bildverarbeitungssystemen aus dem vorstehend genannten Stand der Technik weitere Merkmale extrahieren, so muss man deren Aufrufe inklusive Parameterübergabe für jede Anwendung bzw. jedes Modell explizit programmieren. Das kann je nach System mehr oder weniger aufwendig sein. Diese starre Reihenfolge bestehend aus der Aufnahme eines Bildes, aus der Segmentierung des aufgenommenen Bildes und der Vorverarbeitung des durch die Segmentierung erfassten Bildes ist aus der EP-A-622 750 bekannt.
In Übereinstimmung mit der vorliegenden Erfindung ist jedes Merkmal, das zu erkennen ist, mit einer Bedingung versehen, die seine Anwendbarkeit feststellt. Der Algorithmus dieser Bedingung ist beliebig frei programmierbar und nicht nur auf die Geometrie des Objektes beschränkt. Die Bedingung kann z.B. auch die Entfernung des zu erkennenden Objektes von der Kamera, die Beleuchtungsverhältnisse (z. B. Kontrast), Geschwindigkeit, Höhe, relative Stellung, usw. untersuchen.
Durch die Berücksichtigung einer oder mehreren der Bedingungen kann die durch "NichtSichtbarkeit" bzw. "Nichterfassbarkeit" eines Merkmals verursachte überflüssige Arbeit übergangen und das Verfahren erfindungsgemäß gleichzeitig robuster gemacht, da fehlende Merkmale nicht zu einer schlechteren Bewertung des Modells führen.
Nach einem weiteren besonders bevorzugten Aspekt der vorliegenden Erfindung wird jedes eine Bedingung erfüllende Merkmal, das somit in einer Vorverarbeitung eines Teilschritts der Bildverarbeitung benötigt wird, von diesem Teilschritt angefordert. Dabei sind die Reihenfolge der Vorverarbeitung als auch der Algorithmus des Teilschritts im Modell abgelegt (z. B. als Nummer einer Funktion in einer Liste von verfügbaren Funktionen). Dadurch wird die in einer starren Anordnung von Bildaufnahme, Vorverarbeitung und Klassifikation/Lokalisation überflüssige Arbeit umgangen.
Da verschiedene Teilschritte unter Umständen gleiche Merkmale brauchen (z.B. benötigen die Merkmale linke Kante und rechte Kante eines Objektes die Vorverarbeitung "Kantenbild") oder Teilergebnisse von niedrigeren Vorverarbeitungen Eingaben für höhere Vorverarbeitungen darstellen (z. B. Kantenbild und Wavelet-Zerlegung des gefilterten Originalbilds, mit deren Hilfe mittels lokaler Wavelet-Basen die lokalen Eigenschaften einer Funktion effizient untersucht werden können), werden alle "wiederverwendungswürdigen" Vorverarbeitungsschritte in der Reihenfolge der Erstellung, beginnend mit dem Originalbild, abgespeichert. Wird eine bestimmte Vorverarbeitung benötigt, so wird durch die Bildverarbeitung eine "Anforderung" dieser Vorverarbeitung mit allen vorhergehenden Stufen dieser Vorverarbeitung, beginnend beim Original, durchgeführt.
Die Behandlung der Anforderung besteht darin, die Vorverarbeitung auszuführen und das Ergebnis abzulegen und bereitzustellen oder wenn bereits vorhanden, das abgelegte Ergebnis bereitzustellen, ohne eine Neuberechnung durchzuführen. Somit können, wie bereits erwähnt, vorhandene Vorverarbeitungen oder Serien von Vorverarbeitungen aus einem Zwischenspeicher (Cache) schnell aufgerufen werden. Wird z.B. für ein Merkmal A die Vorverarbeitung 1 durchgeführt und sind für ein weiteres Merkmal B die Vorverarbeitungen 1 , 2 und 3 erforderlich, so kann auf die zwischengespeicherte Vorverarbeitung 1 des Merkmals 1 gemäß der Erfindung zugegriffen werden, womit die Verarbeitungszeit verkürzt wird.
Durch diese Schritte ist es möglich, alle für die Erkennung eines Objektes nötigen Merkmale (nach einer entsprechenden Normalisierung) zu extrahieren und dem Erkennungsprozess zuzuführen. Man ist also nicht mehr durch Geschwindigkeitsoder Wartungsgründe an eine kleine Zahl von Merkmalen gebunden. Natürlich verlangen die Vorverarbeitungen des Systems gemäß der Erfindung auch Zeit für die Berechnung, aber es werden nur die Berechnungen ausgeführt, die unbedingt notwendig sind, da jede Vorverarbeitung nur einmal durchzuführen ist. Dadurch können verschiedene Merkmale extrahiert werden, solange die Gesamtzeit aller Vorverarbeitungen die maximale Laufzeit nicht überschreitet.
Das vorstehend beschriebene Verfahren zur Vorverarbeitung kann erfindungsgemäß unabhängig von der Erkenntnis, dass bestimmte Merkmale nur aus speziellen Ansichten sichtbar sind, implementiert werden. Anders ausgedrückt, kann die vorliegende Vorverarbeitung unabhängig von der Verknüpfung mit einer der bestimmten Bedingung ausgeführt werden, obwohl die Kombination der zwei Merkmale sich besonders vorteilhaft in Bezug auf den Rechenaufwand und Robustheit des Systems auswirkt. Das erfindungsgemäße Verfahren zur Vorverarbeitung ist im Vergleich zum Stand der Technik besonders vorteilhaft. So erkennt das von D. G. Löwe in "Fitting Parametrized Three-Dimensional Models To Images", IEEE Transact. on Pattern Analysis and Machine Intelligence, Vol. 13, No. 5, 1991 , vorgestellte Verfahren das gesuchte Objekte anhand von Kanten. Diese Kanten werden als parametrisierte Kurven ausgedrückt und die freien Parameter (Raumlage und interne Freiheitsgrade) durch ein Näherungsverfahren bestimmt. Relevant ist das Verfahren dadurch, dass es geometrische Vorverarbeitungen in einem Cache ablegt. Allerdings betrifft der Cache des bekannten Verfahrens von Löwe lediglich Sichtbarkeitsbedingungen, während der erfindungsgemäße Cache oder Zwischenspeicher nicht in der Art der Vorverarbeitung beschränkt ist. Ebenfalls sind die Sichtbarkeitsbedingungen nur aus der Geometrie des Objektes bestimmt und nicht frei wählbar. Ansonsten ist das Verfahren von Löwe ein typischer Vertreter von Verfahren mit fest implementierter Vorverarbeitung.
Das Verfahren gemäß L. Stephan et. al. ("Portable, scalable architecture for model-based FLIR ATR and SAR/FLIR fusion", Proc. of SPIE, Vol. 3718, Automatic Target Recognition IX, Aug. 1999) extrahiert aus den Radar-Bildern (SAR) nicht näher spezifizierte Merkmale sowie Kanten aus den Infrarot Bildern (FLIR Bildern). Mit jedem dieser Merkmale wird eine getrennte Hypothesenbildung durchgeführt und diese Hypothesen werden zuletzt fusioniert. Die ganze Vorverarbeitung ist in einer festen Reihenfolge im System implementiert, nur die zu findenden Geometriemodelle sind austauschbar. In der EP-A-622 750 ist die genaue Art und Reihenfolge der Vorverarbeitungen vorgegeben.
Nunmehr wird unter Bezugnahme auf die begleitenden Figuren 1 bis 5e ein derzeit besonders bevorzugtes Ausführungsbeispiel der Erfindung erläutert. Dieses Ausführungsbeispiel kann in einer für den Fachmann wohl bekannten Art und Weise abgeändert werden und es ist keineswegs beabsichtigt den Schutzumfang der Erfindung auf das nachstehende Beispiel zu beschränken. Vielmehr wird der Schutzumfang durch die Merkmale der Ansprüche und deren Äquivalente bestimmt.
Fig. 1 zeigt einen Ablauf der Objekterkennung auf oberster Ebene. Im Schritt 1 erfolgt im Bildaufnahme-Block die Akquisition des Bildes mit einer Kamera, Laden eines gespeicherten Bildes oder Erzeugung eines VR-Bildes. Ein im Bildaufnahme-Block der Fig. 1 akquiriertes Bild wird exemplarisch in der Fig. 3 gezeigt.
Im Schritt 2 (ROI-Erstellung) erfolgt eine einfache und schnelle Grob-Detektion des Objektes im Bild, d. h. die Vorgabe einer rechteckigen Region, die die gesuchten Objekte weitestgehend umschließt. Die Abkürzung ROI (Region Of Interest) bezeichnet diese die gesuchten Objekte umschließende Region, die unter Bezugnahme auf die Fig. 4 zu sehen ist. Verfahren zur Bestimmung einer derartigen ROI sind an und für sich bekannt. Dazu zählen Schwellwertverfahren, Pixelklassifikation usw. Es muss auch eine Zuordnung der aktuell gebildeten ROI zu einer ROI aus dem letzten Bild erfolgen.
Im Schritt 3 erfolgt eine Entscheidung, ob das Objekt in der Region Of Interest zum ersten Mal mit einer ROI versehen wurde oder nicht. Dieser Schritt ist notwendig, da noch keine zu prüfenden Hypothesen existieren, die der ROI zugeordnet sind und somit noch keine Prüfung der Hypothesen erfolgen kann.
Falls die Entscheidung im Schritt 3 "Ja" lautet, erfolgt im Schritt 4 die Hypotheseninitialisierung. Hier wird die Zuordnung eines oder mehrere 7-Tuples zu einer ROI durchgeführt. Das 7-Tupel besteht aus der Art des Objektes (z. B. Modell-Nummer (im Falle eines Hubschraubers 1 = Hind, 2 = Helix, 3 = Bell Ranger, usw.)) und den geschätzten sechs Freiheitsgraden unter der Annahme dieser Modellklasse. Die initiale Erstellung der sechs Freiheitsgraden kann z.B. durch systematisches Probieren erfolgen. Falls die Entscheidung im Schritt 3 "Nein" lautet, wird im Schritt 5 das Hypothesen-Update durchgeführt. Im Falle einer bereits existierenden Hypothese muss die durch die Bewegung des Objektes im Raum entstandene neue Lage der Lage des Objektes im Bild angepasst werden. Dazu wird eine im Stand der Technik bekannte Bewegungsprädiktion mittels eines Trackers (z. B. Kaiman- Filter) durchgeführt.
Im Schritt 5 der Fig. 1 erfolgt das unter Bezugnahme auf die Fig. 2 ausführlich beschriebene Matching.
Im Schritt 6 der Fig. 1 wird die 2D-3D-Pose-Schätzung implementiert. Aus der Lageänderung der Rezeptoren und der angenommenen Lage der Rezeptoren im Raum (aus Hypothese) kann mittels der 2D-3D-Pose-Schätzung die Lageänderung des Objektes im Raum geschätzt werden. Verfahren dazu sind im Stand der Technik bekannt (siehe z.B. Haralick: Pose Estimation from Corresponding Point Data, IEEE Transactions on Systems, Man and Cybernetics, Vol. 19, No. 6, Nov./Dec. 1989).
Im Schritt 7 (Block "Besser") der Fig. 1 wird die Güte des Modells ermittelt. Das ist notwendig, da das Matching die Rigiditätseigenschaft des Objektes verletzt. Durch die Pose-Schätzung und Neu-Projektion ist die Rigidität gewährleistet, da Fehler einzelner Rezeptoren gemittelt werden und eine einzige Pose (6 Freiheitsgrade) für alle Rezeptoren entstehen. Eine weiteres Matching im gleichen Bild ist sinnvoll, um hier das bestmögliche Ergebnis, d. h. den geringstmöglichen Fehler zwischen Hypothese und Bild zu erreichen. Deshalb wird bei einer Verschlechterung (oder sehr kleinen Verbesserung) angenommen, dass der optimale Punkt bereits erreicht ist.
Im Schritt 8 der Fig. 1 (Block "Klassifikation") erfolgt die Auswertung aller Hypothesen, insbesondere ihrer Gütewerte, einer ROI. Die Klassifikation ergibt entweder die Entscheidung für eine bestimmte Klasse und Pose (durch Auswahl oder Kombination von Pose-Werten verschiedener Hypothesen) oder die Information, dass das Objekt keiner bekannten Klasse zugeordnet werden kann.
Im Schritt 9 der Fig. 1 erfolgt die Auswertung von Klasse, Güte und Orientierung. Dem Nutzer kann die Information aus der Klassifikation in verschiedenster Weise angezeigt werden (z. B. Lage und Klasse als Overlay ins Bild) oder es können direkt Handlungen abgeleitet werden (z. B. Auslösen einer Waffe). Dies kann nach jedem Bild oder in größeren, regelmäßigen Abständen oder beim Über- oder Unterschreiten bestimmter Güteschwellen oder der Klassifikation bestimmt werden.
Die Einzelheiten der Anpassung (Matching) sind unter Bezug auf die Fig. 2 erläutert.
Im Schritt 10 der Fig. 2 erfolgt die Überprüfung von Regeln. Die Regel jedes Rezeptors wird ausgewertet und anhand des Ergebnisses der Rezeptor in die 2D- Repräsentation (Graph) übernommen oder nicht. Da für verschiedene Applikationen verschiedene Regeln existieren können, die auch beliebige Information zum Regelergebnis verarbeiten, wird hier am Beispiel einer geometrisch motivierten Regelfunktion beschrieben, wie das Verfahren operiert. Es ist anzumerken, dass die Parameter der Regelfunktion nicht nur die Geometrie des Objektes und dessen aktuelle Pose berücksichtigen müssen. Auch andere Informationen (z.B. Sonnenstand, Horizontlinie, Freund-Feind-Positionen, Funkfeuer, Uhrzeit) können, so verfügbar, zum Regelergebnis beitragen.
Die Regelfunktion der "Vector-Angle"-Regel enthält drei Parameter, die im Modell gespeichert sind: a, b und . Ihr Ergebnis ist r.
Die Regelfunktion selbst hat folgende Form: (Rχ -ή cos ? =
- zi
1 ß < a ß -a
1 - a ≤ ß ≤ a + b
0 ß > a +b
Der Vektor z ist der Einheitsvektor in z-Richtung (Blickrichtung der Kamera). Matrix ß ist die Rotationsmatrix aus der Hypothese, die das Modell aus seiner Ursprungslage (parallel zum Kamerakoordinatensystem) in seine aktuelle Ansicht rotiert, x ist ein Vektor, der die mittlere Blickrichtung vom Objekt nach außen beschreibt (z. B. die Außennormale einer Fläche).
Liefert r einen von 0 verschiedenen Wert, so wird der Rezeptor in die 2D- Repräsentation übernommen. Die Werte zwischen 0 und 1 stehen zur weiteren Auswertung zur Verfügung, sind aber momentan nicht im Gebrauch.
Im Schritt 11 der Fig. 2 wird die Projektion der Rezeptoren durchgeführt.
Schritt 11 wird für jeden Rezeptor, der sich durch die Prüfung im Graphen befindet, getrennt (und u. U. parallel) durchgeführt. Dabei wird zuerst der Rezeptorreferenzpunkt ß3 in die Bildmatrix als ß2 projiziert.
Matrix ß ist die o. g. Rotationsmatrix, t der Vektor vom Ursprung des Kamerakoordinatensystem zum Ursprung des Modellkoordinatensystem in der Szene (Translationsvektor). Matrix E ist die Projektionsmatrix oder Kameramodell:
fi, 0 0
P = 0 ß>, 0
0 0 1 Dabei ist / die Brennweite der Kamera, /sx und /sy die Auflösung der Kamera in Pixel pro mm. ß2 ist ein homogener Vektor (u, v und Skalierung) in Pixeln relativ zum Kamerahauptpunkt. Dieser wird entsprechend in die Pixelkoordinaten x und y umgerechnet.
Anschließend wird die Projektionsfunktion des Rezeptors aufgerufen, die die rezeptorspezifischen Daten projiziert. Ein Beispiel dafür ist ein Kantenrezeptor, dessen Anfangs- und Endpunkte im 3-D am Modell definiert sind und durch diese Funktion in gleicher Weise wie der Referenzpunkt in die Bildmatrix projiziert werden.
Im Schritt 12 erfolgt die Speicherung der 3D-Punkte. Es wird eine Liste von Hypothesen-Punkten im 3-D angelegt, wobei ein oder mehrere Punkte pro Rezeptoren in einer definierten Reihenfolge gespeichert werden. Der Rezeptorreferenzpunkt jedes Rezeptors ist immer in der Liste zu finden, weitere Punkte sind optional. Der Kantenrezeptor speichert noch die Anfangs- und Endpunkte zusätzlich.
In Schritt 13 wird die Graph-Erzeugung implementiert. Aus der Punktwolke der in die Bildmatrix projizierten Punkte wird, falls das für das folgende Matching- Verfahren nötig ist, ein Graph durch Tesselation erzeugt. Das verwendete Verfahren ist bekannt und in folgendem Artikel beschrieben: Watson, D.F., 1981 , Computing the n-dimensional Delaunay tessellation with application to Voronoi polytopes: The Computer J., 24(2), p. 167-172.
Im Schritt 14 wird das 2D-Matching durchgeführt, wobei entweder das Elastic- Graph-Matching Verfahren von Prof. v.d. Malsburg durchgeführt oder ein anderes Verfahren ähnlicher Zielsetzung. Ein solches Verfahren wurde von uns implementiert, das spezielle Eigenschaften aufweist, die mit dem Tracking des Objektes im Zusammenhang steht. Durch das Verfahren muss die bestmögliche Lage des gesuchten Merkmals in der Nähe der Startposition gefunden werden, wobei ein Tradeoff zwischen Merkmalsgüte und Abweichung von der gegebenen Graph-Konfiguration wünschenswert ist. In diesem Schritt ist es deshalb nötig, eine irgendwie geartete Abtastung des Bildes mit der Applikationsfunktion des Rezeptors durchzuführen. Jeder abgetasteten Position wird die Match-Güte der Applikationsfunktion zugeordnet, so dass die günstigste Lage bestimmt werden kann.
Am Beispiel des Kantenrezeptors wird nun gezeigt, wie die Merkmalsanforderung funktioniert. Dazu wird dessen Algorithmus als Pseudocode gegeben: req=Wurzel des Vorverarbeitungsbaums (5.a) req=FordereAn(req,KantenBild,schwelle=10,sigma=1 ) (5.b) req=FordereAn(req,DistanzBild,MaximaleDistanz=100)(5.c) bild=BildAusBaum(req) (5.d) BestimmeChamferDistanzEntlangDerLinie(bild,linie) (5.e)
Von der Bildaufnahme (Block 1 ) bis zum Beginn von 5b ist der Vorverarbeitungs- Cache nur mit dem Originalbild belegt.
Gemäß des Pseudocodes 5a (siehe Fig. 5.a) wird der Zeiger req auf die Wurzel des Baums gesetzt.
In der Anforderung (5.b) (s. Fig. 5b) wird festgestellt, dass es noch keinen Knoten des Typs Kantenbild mit den o. g. Parametern gibt. Dann wird dieser mittels der registrierten Routine zur Berechnung eines Kantenbildes erzeugt.
(5.c) erzeugt auf gleiche Weise das Distanzbild (s. Fig. 5c). (5.d) liest das Bild aus req aus und (5.e) berechnet die Güte des Merkmals, indem es den mittleren Abstand (in Pixeln) zu einer Bildkante bestimmt. Die Werte werden dazu direkt aus dem Kantenbild entnommen. Dazu wird auf die Figuren 5d und 5e verwiesen.
Bei der Schätzung der nächsten Position wird der Baum-Iterator (req) in (5.a) wieder an die Wurzel gesetzt, und in (5.b) und (5.c) ohne Berechnung weiterbewegt.
Andere Rezeptoren, die im Modell hinterlegt sind, können diesen Baum noch erweitern, wie der freie Platz auf der rechten Seite der Fig. 5e andeuten soll.
Im Schritt 15 der Fig. 2 erfolgt die Speicherung der 2D-Punkte. Die Punkte ß2 nach dem Matching-Schritt werden in gleichen Reihenfolgen wie in (12) in einer Liste abgelegt. Dabei ist darauf zu achten, dass die Synchronität beider Listen gewährleistet bleibt, um keine Inkonsistenzen beim Matching zu erzeugen.

Claims

Patentansprüche
1. Verfahren zur modellbasierten Klassifikation und/oder Zielerkennung eines Objekts das folgende Schritte umfasst: a) Aufzeichnen eines Bildes eines Objekts; b) Bestimmen eines Merkmals, das ein Teil des Objekts darstellt; c) Bestimmen von mindestens einer Bedingung, die mit dem Merkmal verknüpft ist und die die Anwendbarkeit des Merkmals anzeigt; und d) Durchführen der Klassifikation und/oder Zielerkennung des Objekts durch die Erfassung des Merkmals, falls die Bedingung die Anwendbarkeit des Merkmals anzeigt.
2. Verfahren nach Anspruch 1 , wobei Schritt b) das Bestimmen einer Vielzahl an Merkmalen umfasst, wobei
Schritt c) das Bestimmen von mindestens einer Bedingung für jedes der Merkmale umfasst, und wobei
Schritt d) die Klassifikation und/oder Zielerkennung des Objekts durch die Erfassung der Vielzahl an Merkmalen umfasst.
3. Verfahren nach Anspruch 1 oder 2, wobei der Algorithmus der mindestens einen Bedingung beliebig frei programmierbar ist.
4. Verfahren nach einem oder mehreren der Ansprüche 1-3, wobei die Bedingung gewählt wird aus einer Gruppe bestehend aus: Geometrie des
Objektes, Entfernung des Objekts von einer Kamera, Beleuchtungsverhältnisse, Kontrast, Geschwindigkeit des Objekts, Höhe des Objekts, und relative Stellung des Objekts zu einer Kamera.
5. Verfahren nach einem oder mehreren der Ansprüche 1-4, das weiterhin mindestens einen Schritt zur Vorverarbeitung für die Erfassung eines bestimmten Merkmals umfasst, und wobei vor der Vorverarbeitung für das bestimmte Merkmal eine Überprüfung erfolgt, ob die Vorverarbeitung für das bestimmte Merkmal im Zusammenhang mit einem anderen Merkmal erfolgt ist und falls ja, die Verwendung der Vorverarbeitung des anderen Merkmals für das bestimmte Merkmal.
6. Verfahren nach Anspruch 5, wobei die durchgeführten Vorverarbeitungen in einem Cache-Speicher abgelegt werden.
7. Verfahren nach Anspruch 5 oder 6, wobei das Merkmal "linke Kante" oder "rechte Kante" eines Objektes ist, und wobei jedes dieser Merkmale die Vorverarbeitung "Kantenbild" umfasst.
8. Verfahren nach einem oder mehreren der Ansprüche 5-7, wobei alle wiederverwendungswürdige Vorverarbeitungsschritte in der Reihenfolge der Erstellung abgespeichert werden.
9. Verfahren nach einem oder mehreren der Ansprüche 6-8, wobei der Cache nicht in der Art der Vorverarbeitung beschränkt ist.
EP02769950A 2001-09-15 2002-09-16 Modellbasierte objektklassifikation und zielerkennung Withdrawn EP1425709A2 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE10145608 2001-09-15
DE10145608A DE10145608B4 (de) 2001-09-15 2001-09-15 Modellbasierte Objektklassifikation und Zielerkennung
PCT/DE2002/003423 WO2003025843A2 (de) 2001-09-15 2002-09-16 Modellbasierte objektklassifikation und zielerkennung

Publications (1)

Publication Number Publication Date
EP1425709A2 true EP1425709A2 (de) 2004-06-09

Family

ID=7699206

Family Applications (1)

Application Number Title Priority Date Filing Date
EP02769950A Withdrawn EP1425709A2 (de) 2001-09-15 2002-09-16 Modellbasierte objektklassifikation und zielerkennung

Country Status (5)

Country Link
US (1) US8005261B2 (de)
EP (1) EP1425709A2 (de)
CA (1) CA2460615C (de)
DE (1) DE10145608B4 (de)
WO (1) WO2003025843A2 (de)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090002224A1 (en) * 2005-09-22 2009-01-01 Nader Khatib SAR ATR tree line extended operating condition
US8341848B2 (en) * 2005-09-28 2013-01-01 Hunter Engineering Company Method and apparatus for vehicle service system optical target assembly
US7965890B2 (en) 2007-01-05 2011-06-21 Raytheon Company Target recognition system and method
WO2011035123A1 (en) * 2009-09-17 2011-03-24 Quantum Technology Sciences, Inc. (Qtsi) Systems and methods for acquiring and characterizing time varying signals of interest
DE102009049849B4 (de) 2009-10-19 2020-09-24 Apple Inc. Verfahren zur Bestimmung der Pose einer Kamera, Verfahren zur Erkennung eines Objekts einer realen Umgebung und Verfahren zur Erstellung eines Datenmodells
US8527445B2 (en) * 2010-12-02 2013-09-03 Pukoa Scientific, Llc Apparatus, system, and method for object detection and identification
JP5746550B2 (ja) * 2011-04-25 2015-07-08 キヤノン株式会社 画像処理装置、画像処理方法
DE102012113009A1 (de) * 2012-12-21 2014-06-26 Jenoptik Robot Gmbh Verfahren zum automatischen Klassifizieren von sich bewegenden Fahrzeugen
US10739142B2 (en) 2016-09-02 2020-08-11 Apple Inc. System for determining position both indoor and outdoor

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2024602A (en) * 1933-04-22 1935-12-17 Barrett Co Protection of pipe joints
US2601840A (en) * 1950-11-29 1952-07-01 Millard F Smith Indicating protective cover for pipe flanges and valves
US4216980A (en) * 1978-10-23 1980-08-12 Martec Industries Inc. Safety shield for flanged pipe coupling
US4458521A (en) * 1978-10-23 1984-07-10 Pillette Kibbie P Leak detection system
US4441694A (en) * 1981-01-28 1984-04-10 Bunnell Plastics, Inc. Method of manufacturing a safety shield for flanged pipe couplings
US4470048A (en) * 1982-03-29 1984-09-04 Sperry Corporation Range profile target classifier
US5312137A (en) * 1990-03-27 1994-05-17 Ramco Manufacturing Company, Inc. Safety shield
EP0532052B1 (de) * 1991-09-12 2008-02-13 FUJIFILM Corporation Verfahren zur Ermittlung von Objektbildern und Verfahren zur Bestimmung der Bewegung davon
US5740274A (en) * 1991-09-12 1998-04-14 Fuji Photo Film Co., Ltd. Method for recognizing object images and learning method for neural networks
JP2873338B2 (ja) * 1991-09-17 1999-03-24 富士通株式会社 動物体認識装置
US5579409A (en) * 1991-09-27 1996-11-26 E. I. Du Pont De Nemours And Company Methods for determining the exterior points of an object in a background
US5332176A (en) * 1992-12-03 1994-07-26 Electronics & Space Corp. Controlled interlace for TOW missiles using medium wave infrared sensor or TV sensor
US5825921A (en) * 1993-03-19 1998-10-20 Intel Corporation Memory transfer apparatus and method useful within a pattern recognition system
US5475768A (en) 1993-04-29 1995-12-12 Canon Inc. High accuracy optical character recognition using neural networks with centroid dithering
US5424823A (en) * 1993-08-17 1995-06-13 Loral Vought Systems Corporation System for identifying flat orthogonal objects using reflected energy signals
US5640468A (en) * 1994-04-28 1997-06-17 Hsu; Shin-Yi Method for identifying objects and features in an image
US5644386A (en) * 1995-01-11 1997-07-01 Loral Vought Systems Corp. Visual recognition system for LADAR sensors
CA2190409A1 (en) * 1995-11-30 1997-05-31 William E. Brown Quick disconnect safety shield
US6404920B1 (en) * 1996-09-09 2002-06-11 Hsu Shin-Yi System for generalizing objects and features in an image
DE19652925C2 (de) * 1996-12-18 1998-11-05 Hans Dr Geiger Verfahren und Vorrichtung zur orts- und größenunabhängigen Erfassung von Merkmalen aus einem Bild
US5893085A (en) * 1997-06-10 1999-04-06 Phillips; Ronald W. Dynamic fuzzy logic process for identifying objects in three-dimensional data
US5963653A (en) * 1997-06-19 1999-10-05 Raytheon Company Hierarchical information fusion object recognition system and method
DE19831413C2 (de) * 1998-07-14 2002-03-07 Daimler Chrysler Ag Bildverarbeitungsverfahren und Vorrichtungen zur Erkennung von Objekten im Verkehr
JP4226730B2 (ja) * 1999-01-28 2009-02-18 株式会社東芝 物体領域情報生成方法及び物体領域情報生成装置並びに映像情報処理方法及び情報処理装置
US6647139B1 (en) * 1999-02-18 2003-11-11 Matsushita Electric Industrial Co., Ltd. Method of object recognition, apparatus of the same and recording medium therefor
JP4332649B2 (ja) * 1999-06-08 2009-09-16 独立行政法人情報通信研究機構 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体
US6614917B1 (en) * 1999-10-22 2003-09-02 Lockheed Martin Corporation Dynamic process for identifying objects in multi-dimensional data
US6621914B1 (en) * 1999-10-22 2003-09-16 Lockheed Martin Corporation Method and software-implemented apparatus for detecting objects in multi-dimensional data
US6512849B1 (en) * 2000-05-22 2003-01-28 International Business Machines Corporation Finding objects in an image
JP4624594B2 (ja) * 2000-06-28 2011-02-02 パナソニック株式会社 物体認識方法および物体認識装置
DE10045360A1 (de) * 2000-09-14 2002-03-28 Giesecke & Devrient Gmbh Verfahren zur Klassifizierung von Dokumenten
US6801661B1 (en) * 2001-02-15 2004-10-05 Eastman Kodak Company Method and system for archival and retrieval of images based on the shape properties of identified segments
US6937746B2 (en) * 2001-05-31 2005-08-30 Northrop Grumman Corporation System and method for automatic recognition of formations in moving target indication data
US7242806B2 (en) * 2002-01-23 2007-07-10 Honeywell International Inc. Methods, functional Data, and Systems for image feature translation
US20050157931A1 (en) * 2004-01-15 2005-07-21 Delashmit Walter H.Jr. Method and apparatus for developing synthetic three-dimensional models from imagery
JP2006293949A (ja) * 2005-03-17 2006-10-26 Sharp Corp 画像照合装置、画像照合方法、画像照合プログラムおよび画像照合プログラムを記録したコンピュータ読取り可能な記録媒体
JP4691158B2 (ja) * 2005-06-16 2011-06-01 ストライダー ラブス，インコーポレイテッド 三次元クラスモデルを用いた二次元画像における認識システムおよび方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO03025843A2 *

Also Published As

Publication number Publication date
CA2460615C (en) 2012-08-07
US8005261B2 (en) 2011-08-23
US20040267682A1 (en) 2004-12-30
WO2003025843A2 (de) 2003-03-27
DE10145608B4 (de) 2006-01-26
WO2003025843B1 (de) 2003-10-16
DE10145608A1 (de) 2003-05-08
WO2003025843A3 (de) 2003-08-07
CA2460615A1 (en) 2003-03-27

Similar Documents

Publication Publication Date Title
DE69722378T2 (de) Verfahren und vorrichtung zur bearbeitung eines dreidimensionalen bildes mit hilfe der parallaxgeometrie von punktpaaren
DE112018000332T5 (de) Dichtes visuelles slam mit probabilistic-surfel-map
DE69932489T2 (de) Verfahren und System zur merkmalbasierten Echtzeitbewegungsanalyse zur Auswahl von Schlüsselbildern aus einer Videosequenz
DE102017220307B4 (de) Vorrichtung und Verfahren zum Erkennen von Verkehrszeichen
DE69919464T2 (de) Elektronische Vorrichtung zur Bildausrichtung
EP2284795A2 (de) Quantitative Analyse, Visualisierung und Bewegungskorrektur in dynamischen Prozessen
DE112018000107T5 (de) Fahrzeugkamerakalibrierungsvorrichtung und -Verfahren
DE112007000371T5 (de) Objekterkennungssystem und -Verfahren
DE10048029A1 (de) Verfahren zur Berechnung einer zwei Abbildungen verbindenden Transformation
DE4224568C2 (de) Vorrichtung und Verfahren zur Bildung der Anzeige eines dreidimensionalen sequentiellen tomografischen Flächenschattierungsbildes
DE102004046237A1 (de) Verfahren und System für die gemischte rigide Registrierung von medizinischen 2D/3D-Bildern
DE102019131971A1 (de) Ein Bildverarbeitungsmodul
DE10145608B4 (de) Modellbasierte Objektklassifikation und Zielerkennung
EP3931798A1 (de) Schätzung der bewegung einer bildposition
DE102006036345B4 (de) Verfahren und Vorrichtung zur Lagebestimmung von Objekten im dreidimensionalen Raum
EP3214602B1 (de) Verfahren zur dreidimensionalen erfassung von objekten
EP3142068B1 (de) Verfahren zur dreidimensionalen erfassung von objekten
DE102005039703A1 (de) Verfahren zum Aufbau einer Merkmalsdatenbank
DE102018208604A1 (de) Ermitteln eines Aufnahmeverhaltens einer Aufnahmeeinheit
WO2019072451A1 (de) Verfahren zum verarbeiten von bildern
DE102021202784B4 (de) Verarbeitung mehrerer 2-D-Projektionsbilder mit Hilfe eines Algorithmus basierend auf einem neuronalen Netz
DE112018003790T5 (de) Verfahren und System zur Einschätzung einer Kopfhaltung
WO2012150150A1 (de) Verfahren zur rechnergestützten lageschätzung eines objekts
DE102022130692B3 (de) Computerimplementiertes Verfahren zur Erstellung eines dreidimensionalen virtuellen Modells einer Umgebung eines Kraftfahrzeugs
EP0713592B1 (de) Verfahren zur erkennung der räumlichen lage und drehlage von in geeigneter weise markierten objekten in digitalen bildfolgen

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20040402

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LI LU MC NL PT SE SK TR

AX Request for extension of the european patent

Extension state: AL LT LV MK RO SI

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN WITHDRAWN

18W Application withdrawn

Effective date: 20060531