FR2734072A1 - METHOD FOR LOCATING POINTS OF A MOBILE OBJECT IN A SEQUENCE OF VIDEO IMAGES, AND DEVICE FOR IMPLEMENTING THE METHOD - Google Patents

METHOD FOR LOCATING POINTS OF A MOBILE OBJECT IN A SEQUENCE OF VIDEO IMAGES, AND DEVICE FOR IMPLEMENTING THE METHOD Download PDF

Info

Publication number
FR2734072A1
FR2734072A1 FR9605785A FR9605785A FR2734072A1 FR 2734072 A1 FR2734072 A1 FR 2734072A1 FR 9605785 A FR9605785 A FR 9605785A FR 9605785 A FR9605785 A FR 9605785A FR 2734072 A1 FR2734072 A1 FR 2734072A1
Authority
FR
France
Prior art keywords
point
vehicle
video
camera
video images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR9605785A
Other languages
French (fr)
Other versions
FR2734072B1 (en
Inventor
Werner Pochmuller
Hans Holger Kuester
Andreas Heiner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of FR2734072A1 publication Critical patent/FR2734072A1/en
Application granted granted Critical
Publication of FR2734072B1 publication Critical patent/FR2734072B1/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

Procédé et dispositif de localisation des points d'un objet mobile (2), notamment d'un véhicule, dans une séquence vidéo. On suit un point (3) de l'objet (2) dans un certain nombre d'images vidéo. Pour les images vidéo on définit la position verticale du point (3) sur l'écran et l'instant de l'observation. A partir de ces valeurs et de coefficients géométriques éventuellement connus on définit les paramètres du modèle de mouvement vertical du point (3) sur l'écran image. A partir de ce modèle on peut prévoir la position future du point (3) de l'objet.Method and device for locating the points of a mobile object (2), in particular of a vehicle, in a video sequence. We follow a point (3) of the object (2) in a certain number of video images. For video images, define the vertical position of point (3) on the screen and the time of observation. From these values and possibly known geometric coefficients, the parameters of the vertical movement model of point (3) are defined on the image screen. From this model we can predict the future position of point (3) of the object.

Description

Etat de la techniqueState of the art

La présente invention concerne un procédé de loca-  The present invention relates to a method of locating

lisation des points d'un objet mobile, notamment d'un véhicule  reading the points of a mobile object, in particular of a vehicle

dans une séquence d'images vidéo.in a sequence of video images.

Elle concerne également un dispositif pour la mise  It also relates to a device for setting

en oeuvre d'un tel procédé.using such a method.

La poursuite automatique d'objets mobiles est une condition fondamentale pour tous les systèmes de surveillance de circulation reposant sur le principe vidéo (automatique) et qui surveillent des zones de scènes. Selon ces systèmes on n'utilise pas d'obturateur ou de boucle optique qui n'exploite que des informations d'image très limitées comme par exemple  The automatic tracking of moving objects is a fundamental condition for all video surveillance systems based on the (automatic) video principle and which monitor scene areas. According to these systems, no shutter or optical loop is used which only uses very limited image information, for example

une ligne de balayage. On veut identifier sans équivoque la po-  a scan line. We want to identify unequivocally the po-

sition d'un objet dans plusieurs images successives pour pou-  sition of an object in several successive images to

voir détecter de manière quantitative le mouvement spatial de l'objet et pour ne plus avoir à exploiter plusieurs fois l'objet. Pour cela on modélise en général la forme de l'objet à observer comme un rectangle, une ellipse, un parallélogramme, un trapèze ou un polygone, et on mesure le mouvement de cette  to see quantitatively detect the spatial movement of the object and to no longer have to exploit the object several times. For this we generally model the shape of the object to be observed as a rectangle, an ellipse, a parallelogram, a trapezoid or a polygon, and we measure the movement of this

surface géométrique.geometric surface.

On rencontre une difficulté particulière dans la poursuite de l'objet lorsque plusieurs objets se chevauchent partiellement ou complètement. Dans des situations réelles, on cherche à minimiser dès le départ la probabilité de l'occurrence de telles situations critiques en choisissant des positions d'observation qui n'entraînent pratiquement pas de chevauchement des images observées. En pratique cela consiste à placer les caméras dans une position très élevée, de 15 mètres  A particular difficulty is encountered in the pursuit of the object when several objects partially or completely overlap. In real situations, we try to minimize from the start the probability of the occurrence of such critical situations by choosing observation positions that practically do not cause the observed images to overlap. In practice this consists of placing the cameras in a very high position, 15 meters

et plus. On a ainsi des angles de visée très raides.  and more. This gives very steep viewing angles.

L'inconvénient de cette solution réside dans les coûts  The disadvantage of this solution is the costs

d'installation importants, entraînés par des moyens construc-  installation, driven by constructive means

tifs particuliers, la rigidité de l'utilisation, la mauvaise visibilité d'observation lorsque la portée est faible (par exemple en cas de brouillard) et une perte accentuée de l'information de hauteur de l'objet observé à cause de l'angle  particular tif, rigidity of use, poor observation visibility when the range is weak (for example in the case of fog) and an accentuated loss of height information of the object observed because of the angle

de visée défavorable pour saisir la hauteur.  unfavorable aiming to enter the height.

Avantages de l'invention La présente invention a pour but de remédier à ces  Advantages of the invention The object of the present invention is to remedy these

inconvénients et se propose notamment de simplifier les procé-  disadvantages and intends in particular to simplify the procedures

dés de poursuite de véhicules, de les accélérer et de les amé-  dice to track vehicles, accelerate them and improve them

liorer. Les procédés de reconnaissance de masques, usuels, selon lesquels on génère des masques objets binaires pour dis-  improve. The usual mask recognition methods according to which binary object masks are generated for

tinguer les objets, et les algorithmes de recherche pour dis-  tune objects, and search algorithms to dis-

tinguer les objets, présentant des difficultés car les objets ne peuvent plus être résolus en cas de chevauchement les uns par rapport aux autres, et les frontières des objets peuvent parfois ne pas être trouvées ou ne l'être que d'une manière  tingling objects, presenting difficulties because the objects can no longer be resolved in the event of overlapping with one another, and the borders of the objects may sometimes not be found or only be found in one way

très imprécise.very imprecise.

Les antennes qui dépassent du contour du véhicule et génèrent le cas échéant des modèles parasites, ainsi que les ombres et les reflets qui ne se produisent que brièvement, se  The antennas which protrude from the outline of the vehicle and generate, if necessary, parasitic models, as well as the shadows and reflections which occur only briefly, are

répercutent de manière particulièrement gênante.  particularly annoying.

Un autre problème est que la recherche d'un objet peut demander beaucoup de temps car plusieurs objets peuvent se trouver dans la plage globale de l'image. Les problèmes évoqués ci-dessus sont diminués ou éliminés par le procédé selon  Another problem is that the search for an object can take a long time because several objects can be in the global range of the image. The problems mentioned above are reduced or eliminated by the process according to

l'invention.the invention.

A cet effet, l'invention concerne un procédé de lo-  To this end, the invention relates to a method of lo-

calisation des points d'un objet mobile, notamment d'un véhi-  calibration of the points of a moving object, in particular of a vehicle

cule dans une séquence d'images vidéo, caractérisé en ce qu'au moins un point de l'objet est poursuivi dans un certain nombre d'images vidéo et, pour les images vidéo, on définit chaque  runs in a sequence of video images, characterized in that at least one point of the object is followed in a certain number of video images and, for video images, each is defined

fois la position verticale du point de l'objet sur l'écran vi-  times the vertical position of the object point on the screen vi-

déo et l'instant de l'observation, en partant des valeurs mesu-  deo and the moment of observation, starting from the measured values

rées dans les images vidéo et/ou en partant des coefficients géométriques mesurés et/ou connus, notamment la hauteur d'une caméra vidéo au-dessus d'une chaussée, la distance focale de la caméra et l'angle d'inclinaison de la caméra par rapport à la trajectoire, on définit les paramètres d'un modèle de mouvement pour le mouvement vertical du point sur l'écran vidéo, et on fait une prévision de la position verticale future du point de  in video images and / or starting from measured and / or known geometric coefficients, in particular the height of a video camera above a road, the focal length of the camera and the angle of inclination of the camera with respect to the trajectory, we define the parameters of a motion model for the vertical movement of the point on the video screen, and we make a forecast of the future vertical position of the point of

l'objet sur l'écran vidéo à partir du modèle de mouvement.  the object on the video screen from the motion model.

Suivant d'autres caractéristiques avantageuses du procédé: - on compare la position prévue du point de l'objet sur l'écran  According to other advantageous characteristics of the process: - the predicted position of the point of the object on the screen is compared

vidéo à la position effectivement mesurée et, en cas de dif-  video at the position actually measured and, in case of diff-

férence dépassant une valeur prédéterminée, on rejette comme défectueuse la position effectivement mesurée, - partant du modèle de mouvement, on fait une prévision de l'instant auquel le point de l'objet sera caché par un autre objet,  reference exceeding a predetermined value, the position actually measured is rejected as defective, - starting from the motion model, we make a forecast of the instant at which the point of the object will be hidden by another object,

- partant du modèle de mouvement, on fixe une plage de recher-  - starting from the movement model, we set a search range

che indiquant dans quelle zone sur l'écran vidéo on peut trouver de manière prévisible, le point de l'objet, - le modèle de mouvement pour le mouvement vertical du point (3) de l'objet (2) sur l'écran vidéo a la forme suivante: a y' (t') - + b t' + c a et dans cette formule y' représente la composante verticale  che indicating in which zone on the video screen one can predictably find the point of the object, - the movement model for the vertical movement of the point (3) of the object (2) on the video screen has the following form: ay '(t') - + bt '+ ca and in this formula y' represents the vertical component

des coordonnées du point de l'objet sur le plaquette de dé-  coordinates of the point of the object on the flyer

tection vidéo, t' est une coordonnée de temps et a, b, c, sont les paramètres du modèle de mouvement,  video tection, t 'is a time coordinate and a, b, c, are the parameters of the motion model,

- les paramètres a, c, sont définis par un calcul par régres-  - the parameters a, c, are defined by a calculation by regres-

sion à partir des valeurs définies à l'aide des images vidéo, et on prévoit la condition selon laquelle le défaut du modèle de mouvement est minimum, - on définit le paramètre b selon la formule: b = f À tan(a) à partir des coefficients géométriques de la distance focale f de la caméra et de l'angle d'inclinaison a de la caméra par rapport à la chaussée, l'objet est un véhicule qui se déplace sur une chaussée et, comme points du véhicule pour la localisation de l'objet, on choisit un point caractéristique de l'arête avant du véhicule  sion from the values defined using video images, and the condition according to which the default of the motion model is minimum is provided, - the parameter b is defined according to the formula: b = f At tan (a) from geometric coefficients of the focal length f of the camera and of the angle of inclination a of the camera with respect to the road, the object is a vehicle which travels on a road and, as points of the vehicle for location of the object, we choose a point characteristic of the front edge of the vehicle

et un autre point caractéristique de l'arête arrière du véhi-  and another characteristic point of the rear edge of the vehicle

cule, - comme point caractéristique de l'arête avant du véhicule, on choisit un point de l'arête avant du toit, - comme point caractéristique de l'arête arrière du véhicule, on suit un point du pare-chocs arrière du véhicule ou un  stop, - as a characteristic point of the front edge of the vehicle, we choose a point of the front edge of the roof, - as a characteristic point of the rear edge of the vehicle, we follow a point of the rear bumper of the vehicle or a

point des pneumatiques arrière du véhicule.  point of the rear tires of the vehicle.

L'invention concerne également un dispositif pour la mise en oeuvre du procédé, ce dispositif étant caractérisé en ce qu'il comprend une caméra vidéo et un système  The invention also relates to a device for implementing the method, this device being characterized in that it comprises a video camera and a system

d'exploitation d'images, la caméra vidéo étant située à une certaine hauteur au-dessus de la chaussée avec un certain angle d'inclinaison par rapport à la chaussée, notamment dans la di-10 rection de circulation, de façon que la limite avant d'un véhi-  image processing, the video camera being located at a certain height above the road with a certain angle of inclination with respect to the road, in particular in the direction of traffic, so that the limit before a vehicle

cule qui passe, soit l'arête avant du toit.  pass which is the front edge of the roof.

Le dispositif est avantageux car il permet de choi-  The device is advantageous because it allows to choose

sir l'angle de visée de la caméra vidéo pour que le bord avant  on the viewing angle of the video camera so that the front edge

du toit apparaisse comme limite avant des véhicules qui pas-  of the roof appears as the front limit of vehicles which pass-

sent, si bien que cette arête peut être facilement suivie dans un certain nombre d'images vidéo sans nécessiter une exploita-  feels, so that this edge can be easily followed in a number of video images without requiring an exploitation

tion longue de l'image. Description des dessins  long image. Description of the drawings

La présente invention sera décrite ci-après de ma-  The present invention will be described below in detail.

nière plus détaillée à l'aide des dessins annexés dans les-  in more detail using the drawings appended in the-

quels: - la figure 1 montre un véhicule observé par une caméra vidéo,  which: FIG. 1 shows a vehicle observed by a video camera,

- la figure 2 montre la projection de la scène ob-  - Figure 2 shows the projection of the scene ob-

servée sur l'image vidéo.served on the video image.

Selon la figure 1, un véhicule 2 circule sur une chaussée à vitesse constante v. Le mouvement du véhicule est  According to FIG. 1, a vehicle 2 is traveling on a roadway at constant speed v. The movement of the vehicle is

observé par une caméra vidéo 1, immobile (stationnaire).  observed by a motionless video camera 1 (stationary).

La figure 2 montre la projection de la scène ainsi observée (coordonnées y de la scène) sur l'image vidéo 4  Figure 2 shows the projection of the scene thus observed (y coordinates of the scene) on the video image 4

(coordonnées d'images y').(image coordinates y ').

Description de l'inventionDescription of the invention

Pour simplifier la modélisation du mouvement, on fixe les conditions limites suivantes:  To simplify the modeling of the movement, the following boundary conditions are fixed:

1. La caméra regarde les véhicules par l'arrière.  1. The camera looks at the vehicles from the rear.

2. Les véhicules se déplacent dans un plan (la chaussée est mo-  2. The vehicles move in a plane (the roadway is mo-

délisée sous la forme d'un plan).outlined in the form of a plan).

3. Les véhicules se déplacent à vitesse constante.  3. Vehicles move at constant speed.

4. La caméra regarde dans la direction de déplacement des véhi-  4. The camera looks in the direction of movement of the vehicles

cules.cules.

Dans de telles conditions limites on peut déduire un modèle mathématique du mouvement, qui se traite facilement.  In such boundary conditions one can deduce a mathematical model of the movement, which is easily treated.

Les différences par rapport aux hypothèses dans les scènes réelles conduisent à des défauts de modélisation de mouvement  Differences from assumptions in real scenes lead to motion modeling flaws

plus ou moins grands.more or less large.

La figure 1 montre une vue simplifiée de la situa-  Figure 1 shows a simplified view of the situation

tion résultant de la modélisation du mouvement des véhicules observés. Sur la scène esquissée se trouve un objet (véhicule) de hauteur hf se déplaçant à vitesse constante v dans le plan y-z du système de coordonnées de la caméra. La caméra se trouve à une hauteur hc au-dessus de la chaussée et présente un angle  tion resulting from the modeling of the movement of the vehicles observed. On the sketched scene is an object (vehicle) of height hf moving at constant speed v in the plane y-z of the camera's coordinate system. The camera is at a height hc above the road and has an angle

d'inclinaison a par rapport à la chaussée. Le but est de modé-  of inclination a with respect to the roadway. The goal is to moderate

liser l'arête du véhicule représentée à la figure 1 par un point 3 (vue de côté) correspondant au coin supérieur droit du véhicule. Au moment (instant t = O0) auquel le véhicule pénètre dans le demi-espace droit de la caméra, cette arête est à la distance yo dans la direction y du système de coordonnées de la20 scène (l'origine de ces systèmes de coordonnées est au foyer de la caméra). On démontre mathématiquement que le mouvement de  read the edge of the vehicle shown in Figure 1 by a point 3 (side view) corresponding to the upper right corner of the vehicle. At the time (instant t = O0) at which the vehicle enters the right half-space of the camera, this edge is at the distance yo in the y direction of the coordinate system of the scene (the origin of these coordinate systems is camera focus). We demonstrate mathematically that the movement of

cette arête dans la direction y est donné par la relation sui-  this edge in the direction is given by the relation sui-

vante y(t) = y0 + sin()JJIvllt (1)tout y (t) = y0 + sin () JJIvllt (1)

Par la géométrie analytique on peut définir la re-  By analytical geometry we can define the re-

lation fonctionnelle dans le plan de l'écran image à deux di-  functional relationship in the plane of the image screen in two directions

mensions (système de coordonnées x' - y') de l'image formée par  mensions (coordinate system x '- y') of the image formed by

la caméra (projection sur la plaquette de détection de la camé-  the camera (projection on the camera detection plate

ra) (voir également la figure 2). On en déduit l'équation de mouvement suivante: y' (t) - Ycoso)It + f. tan() (2) cos alvt Dans cette équation, y' représente la composante verticale dans le système de coordonnées sur la plaquette de  ra) (see also Figure 2). We deduce the following equation of motion: y '(t) - Ycoso) It + f. tan () (2) cos alvt In this equation, y 'represents the vertical component in the coordinate system on the wafer

capteur vidéo à deux dimensions; f représente la distance fo-  two-dimensional video sensor; f represents the distance fo-

cale de l'optique de la caméra. Qualitativement on décrit le mouvement par la relation suivante a y' (t) = - + b (3) t f Yo (4) i a cos ()I b = f tan () (5)  hold of the camera optics. Qualitatively we describe the movement by the following relation a y '(t) = - + b (3) t f Yo (4) i a cos () I b = f tan () (5)

On rencontre alors deux problèmes pour fixer quan-  We then encounter two problems to fix quan-

titativement l'équation de mouvement (la détermination des pa-  the equation of motion (the determination of the pa-

ramètres a, b est déjà fixée par la géométrie de la scène): d'une part, la vitesse v du véhicule est inconnue selon l'observation de l'image vidéo; par ailleurs on ne connaît pas l'instant observé (intervalle de temps jusqu'à l'instant t = O, qui définit l'entrée dans le demi- espace droit de la caméra) car l'entrée dans ce demi-espace droit de la caméra ne peut  rameters a, b is already fixed by the geometry of the scene): on the one hand, the speed v of the vehicle is unknown according to the observation of the video image; moreover, the observed instant is not known (time interval until time t = 0, which defines the entry into the right half-space of the camera) because the entry into this right half-space of the camera cannot

être observé à cause de l'angle de visée limité de la caméra.  be observed due to the camera's limited viewing angle.

C'est pourquoi on introduit une nouvelle échelle des temps t', décalée de la différence de retard td par rapport à l'échelle de temps t (td est le temps qui s'écoule entre l'entrée dans le demi-espace droit de la caméra et la première observation du  This is why we introduce a new time scale t ', shifted by the difference in delay td with respect to the time scale t (td is the time that elapses between entering the right half-space of the camera and the first observation of the

véhicule dans l'image vidéo). On en déduit la description du mouvement par l'équation suivante:  vehicle in the video image). We deduce the description of the movement by the following equation:

a y'(t') - + b. (6) t' + td Une autre analyse mathématique du problème non re- produite ici conduit à la considération que les paramètres a et td sont liés par une relation linéaire. Il en résulte la des- cription définitive du mouvement:30 a y'(t') + b, (7) t' + c -a  a y '(t') - + b. (6) t '+ td Another mathematical analysis of the problem not reproduced here leads to the consideration that the parameters a and td are linked by a linear relation. This results in the definitive description of the movement: 30 a y '(t') + b, (7) t '+ c -a

Dans cette formule on a un coefficient c qu'il faut définir. L'équation du mouvement est le point de départ de tou-  In this formula we have a coefficient c which must be defined. The equation of motion is the starting point for all

tes les autres considérations. Pour définir les paramètres a et c on a plusieurs possibilités: 1. Dans le cas le plus simple on mesure deux positions y' (t') à deux instants différents t'. On substitue les deux valeurs de mesure dans l'équation 7, on obtient ainsi deux équations  your other considerations. There are several possibilities for defining the parameters a and c: 1. In the simplest case, two positions y '(t') are measured at two different times t '. We substitute the two measurement values in equation 7, so we get two equations

à deux inconnues.to two strangers.

2. Le paramètre c se définit à partir d'une mesure y'(t' = O) (le point observé apparaît la première fois dans l'image de la caméra) en développant des considérations géométriques selon la formule suivante: ( c = -- cos2(a). tan() + cot"x +)+ Y'max Y' f FE a X( f2 + (Y'max)2.sin(à + È) sin(cO cos(a) l) sin(a) + c (a)I L +ta {O + arcta {fj j  2. The parameter c is defined from a measurement y '(t' = O) (the point observed appears the first time in the image of the camera) by developing geometric considerations according to the following formula: (c = - cos2 (a). tan () + cot "x +) + Y'max Y 'f FE a X (f2 + (Y'max) 2.sin (à + È) sin (cO cos (a) l ) sin (a) + c (a) IL + ta {O + arcta {fj j

(8)(8)

est l'angle d'ouverture de la caméra (cet angle est mesuré par rapport à l'axe optique de la caméra) et Y'max est la demi-extension verticale de la plaquette du capteur vidéo. A partir d'une seconde mesure, on peut calculer a en utilisant l'équation 7 ou, à partir de plusieurs mesures, en utilisant  is the opening angle of the camera (this angle is measured relative to the optical axis of the camera) and Y'max is the vertical half-extension of the video sensor plate. From a second measurement, we can calculate a using equation 7 or, from several measurements, using

la régression mathématique (précision plus grande).  mathematical regression (greater precision).

3. Les paramètres a et c peuvent se définir à partir de plu-  3. Parameters a and c can be defined from more

sieurs mesures y' (t') à différents instants pour minimiser les erreurs de modélisation du mouvement en procédant par  several measures y '(t') at different times to minimize the modeling errors of the movement by proceeding by

régression mathématique.mathematical regression.

Le résultat de ces calculs est une modélisation plus ou moins exacte du comportement du mouvement du véhicule sur l'écran image dans la direction verticale (équation 7). Le  The result of these calculations is a more or less exact modeling of the behavior of the movement of the vehicle on the image screen in the vertical direction (equation 7). The

cas échéant on obtient de la même manière un modèle de mouve-  if necessary, a movement model is obtained in the same way.

ment pour le mouvement horizontal.ment for horizontal movement.

Procédure regroupée pour le modèle de mouvement (en utilisant  Grouped procedure for the motion model (using

l'exemple de l'arête avant du véhicule).  the example of the front edge of the vehicle).

1. On mesure la hauteur hc de la caméra, l'angle d'inclinaison  1. We measure the height hc of the camera, the angle of inclination

a de la caméra et la distance focale f de la caméra.  a from the camera and the focal length f from the camera.

2. On suit un point au niveau de l'arête avant (référence 3 aux figures 1 et 2) du véhicule dans plusieurs images vidéo. On définit pour chaque mesure i la position verticale Y'i et  2. We follow a point at the front edge (reference 3 in Figures 1 and 2) of the vehicle in several video images. We define for each measurement i the vertical position Y'i and

l'instant de mesure t'i.the instant of measurement t'i.

3. Lorsque les mesures sont effectuées (au moins deux mesures sont nécessaires; plus on utilise de mesures et plus précis sera le modèle du mouvement), on définit les paramètres a et c selon l'équation de mouvement selon les procédés indiqués  3. When the measurements are made (at least two measurements are necessary; the more measurements are used and the more precise the model of the movement will be), the parameters a and c are defined according to the equation of movement according to the indicated procedures.

ci-dessus.above.

Ce procédé s'applique à n'importe quel point du vé-  This process applies to any point of the

hicule. On suit la position du point dans plusieurs images vi-  hicle. We follow the position of the point in several images

déo, on établit le modèle de mouvement selon le procédé décrit  deo, we establish the movement model according to the process described

et on obtient comme résultat une équation (équation 7) décri-  and we obtain as result an equation (equation 7) describing

vant exactement le mouvement du véhicule sur l'écran image.  exactly before the movement of the vehicle on the image screen.

Cette équation du mouvement peut s'utiliser plusieurs fois pour améliorer le procédé de poursuite (dans le cas d'une position  This equation of motion can be used several times to improve the tracking process (in the case of a position

choisie de la caméra, la description du mouvement du véhicule  chosen camera, description of vehicle movement

se fait de manière avantageuse surtout avec l'arête avant et l'arête arrière du véhicule): 1. Si l'on modélise avec le procédé décrit, le mouvement de  advantageously especially with the front edge and the rear edge of the vehicle): 1. If we model with the process described, the movement of

l'arête avant et de l'arête arrière, on peut évaluer à par-  the front edge and the rear edge, we can evaluate from

tir de l'équation de mouvement obtenue, les positions futu-  from the equation of motion obtained, the futu-

res de l'objet à tout instant. On peut ainsi prévoir le  res of the object at all times. We can thus foresee the

moment o deux objets risquent de se cacher.  when two objects are likely to hide.

2. Lorsque deux objets se sont cachés réciproquement, à partir du modèle de mouvement (cela doit naturellement être calculé avant le chevauchement) on peut évaluer les positions de  2. When two objects are hidden reciprocally, from the motion model (this must naturally be calculated before overlapping) we can evaluate the positions of

l'arête avant ou de l'arête arrière cachée.  the front edge or the hidden rear edge.

3. Si l'on mesure la position de l'arête avant ou de l'arête arrière d'un véhicule dans une image (par un algorithme de recherche approprié) on peut, après un calcul préalable du  3. If we measure the position of the front edge or the rear edge of a vehicle in an image (by an appropriate search algorithm) we can, after a preliminary calculation of the

modèle de mouvement, faire une évaluation de plausibilité.  movement model, make a plausibility assessment.

Si la prévision de la position de l'arête du véhicule selon le modèle diffère trop fortement de la position mesurée, il faut considérer la mesure comme défectueuse. Dans ce cas on rejette la mesure et on la remplace par la valeur prédite selon le modèle.  If the prediction of the position of the vehicle edge according to the model differs too strongly from the measured position, the measurement must be considered as defective. In this case, we reject the measurement and replace it with the value predicted according to the model.

4. A l'aide du modèle de mouvement, on peut prévoir les posi-  4. Using the motion model, we can predict the posi-

tions futures des arêtes du véhicule. On peut utiliser ces prévisions pour limiter la plage de recherche appliquée par le procédé de recherche servant à trouver la position exacte  future edges of the vehicle. These forecasts can be used to limit the search range applied by the search method used to find the exact position.

de l'objet. Cela permet d'accélérer considérablement la dé-  of the object. This considerably accelerates the de-

finition de la position de l'objet.finishing the position of the object.

Claims (7)

R E V E N D I C A T IONSR E V E N D I C A T IONS 1 ) Procédé de localisation des points d'un objet mobile, no-  1) Method for locating the points of a mobile object, no- tamment d'un véhicule dans une séquence d'images vidéo, caractérisé en ce que au moins un point (3) de l'objet (2) est poursuivi dans un cer-  as a vehicle in a sequence of video images, characterized in that at least one point (3) of the object (2) is pursued in a certain tain nombre d'images vidéo et, pour les images vidéo, on défi-  any number of video images and, for video images, nit chaque fois la position verticale du point (3) de l'objet (2) sur l'écran vidéo et l'instant de l'observation, en partant des valeurs mesurées dans les images vidéo et/ou en partant des coefficients géométriques mesurés et/ou connus, notamment la hauteur (hc) d'une caméra vidéo (1) au-dessus d'une chaussée, la distance focale (f) de la caméra et l'angle d'inclinaison (a) de la caméra (1) par rapport à la trajectoire, on définit  each time denies the vertical position of the point (3) of the object (2) on the video screen and the instant of the observation, starting from the values measured in the video images and / or starting from the geometric coefficients measured and / or known, in particular the height (hc) of a video camera (1) above a carriageway, the focal distance (f) of the camera and the tilt angle (a) of the camera ( 1) with respect to the trajectory, we define les paramètres (a, b, c) d'un modèle de mouvement pour le mou-  the parameters (a, b, c) of a motion model for the motion vement vertical du point (3) sur l'écran vidéo, et on fait une prévision de la position verticale future du point (3) de  vertical point (3) on the video screen, and we forecast the future vertical position of point (3) l'objet (2) sur l'écran vidéo à partir du modèle de mouvement.  the object (2) on the video screen from the motion model. 2 ) Procédé selon la revendication 1, caractérisé en ce que on compare la position prévue du point (3) de l'objet (2) sur l'écran vidéo, à la position effectivement mesurée et, en cas de différence dépassant une valeur prédéterminée, on rejette  2) Method according to claim 1, characterized in that the expected position of the point (3) of the object (2) on the video screen is compared with the position actually measured and, in the event of a difference exceeding a predetermined value , we reject comme défectueuse la position effectivement mesurée.  as defective the position actually measured. 3 ) Procédé selon les revendications 1 ou 2,  3) Method according to claims 1 or 2, caractérisé en ce que partant du modèle de mouvement, on fait une prévision de l'instant auquel le point (3) de l'objet (2) sera caché par un  characterized in that starting from the motion model, we make a forecast of the instant at which the point (3) of the object (2) will be hidden by a autre objet.another object. 4 ) Procédé selon l'une quelconque des revendications 1 ou 3,  4) Method according to any one of claims 1 or 3, caractérisé en ce que partant du modèle de mouvement, on fixe une plage de recherche indiquant dans quelle zone sur l'écran vidéo on peut trouver de  characterized in that starting from the motion model, a search range is fixed indicating in which zone on the video screen one can find manière prévisible, le point (3) de l'objet (2).  predictably, point (3) of object (2). ) Procédé selon l'une des revendications précédentes,   ) Method according to one of the preceding claims, Il caractérisé en ce que le modèle de mouvement pour le mouvement vertical du point (3) de l'objet (2) sur l'écran vidéo a la forme suivante: a y' (t') = + b t' + c a et dans cette formule y' représente la composante verticale des  It characterized in that the movement model for the vertical movement of the point (3) of the object (2) on the video screen has the following form: ay '(t') = + bt '+ ca and in this formula y 'represents the vertical component of coordonnées du point (3) de l'objet (2) sur le plaquette de dé-  coordinates of the point (3) of the object (2) on the plate tection vidéo, t' est une coordonnée de temps et a, b, c, sont  video tection, t 'is a time coordinate and a, b, c, are les paramètres du modèle de mouvement.  the parameters of the motion model. 6 ) Procédé selon la revendication 5, caractérisé en ce que les paramètres a, c, sont définis par un calcul par régression à partir des valeurs définies à l'aide des images vidéo, et on  6) Method according to claim 5, characterized in that the parameters a, c, are defined by a calculation by regression from the values defined using video images, and on prévoit la condition selon laquelle le défaut du modèle de mou-  provides for the condition that the defect of the mold model vement est minimum.clothing is minimum. 7 ) Procédé selon les revendications 5 ou 6,  7) Method according to claims 5 or 6, caractérisé en ce que on définit le paramètre b selon la formule: b = f tan(ax) à partir des coefficients géométriques de la distance focale f de la caméra et de l'angle d'inclinaison a de la caméra par  characterized in that the parameter b is defined according to the formula: b = f tan (ax) from the geometric coefficients of the focal length f of the camera and of the angle of inclination a of the camera by rapport à la chaussée.compared to the roadway. ) Procédé selon l'une quelconque des revendications précéden-  ) Method according to any one of the preceding claims. tes, caractérisé en ce que l'objet (2) est un véhicule qui se déplace sur une chaussée et, comme points du véhicule pour la localisation de l'objet, on choisit un point caractéristique de l'arête avant du véhicule  tes, characterized in that the object (2) is a vehicle moving on a roadway and, as points of the vehicle for locating the object, a point characteristic of the front edge of the vehicle is chosen et un autre point caractéristique de l'arête arrière du véhi-  and another characteristic point of the rear edge of the vehicle cule. 9 ) Procédé selon la revendication 8, caractérisé en ce que comme point caractéristique de l'arête avant du véhicule, on  cule. 9) Method according to claim 8, characterized in that as a characteristic point of the front edge of the vehicle, one choisit un point de l'arête avant du toit.  chooses a point on the front edge of the roof. ) Procédé selon l'une quelconque des revendications 8 ou 9,   ) Method according to any one of claims 8 or 9, caractérisé en ce que comme point caractéristique de l'arête arrière du véhicule, on suit un point du pare-chocs arrière du véhicule ou un point des  characterized in that as a characteristic point of the rear edge of the vehicle, a point of the rear bumper of the vehicle or a point of the pneumatiques arrière du véhicule.rear tires of the vehicle. 11 ) Dispositif pour la mise en oeuvre du procédé selon l'une  11) Device for implementing the method according to one des revendications précédentes,of the preceding claims, caractérisé en ce que il comprend une caméra vidéo (1) et un système d'exploitation d'images, la caméra vidéo étant située à une certaine hauteur (hc) au-dessus de la chaussée avec un certain angle d'inclinaison (a) par rapport à la chaussée, notamment dans la  characterized in that it comprises a video camera (1) and an image operating system, the video camera being located at a certain height (hc) above the road with a certain angle of inclination (a) compared to the roadway, especially in the direction de circulation, de façon que la limite avant d'un vé-20 hicule qui passe, soit l'arête avant du toit.  direction of travel, so that the front limit of a passing vehicle is the front edge of the roof.
FR9605785A 1995-05-10 1996-05-09 METHOD FOR LOCATING POINTS OF A MOBILE OBJECT IN A SEQUENCE OF VIDEO IMAGES, AND DEVICE FOR IMPLEMENTING THE METHOD Expired - Fee Related FR2734072B1 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE19517032A DE19517032B4 (en) 1995-05-10 1995-05-10 Method for locating points of a moving object in a video image sequence and apparatus for carrying out the method

Publications (2)

Publication Number Publication Date
FR2734072A1 true FR2734072A1 (en) 1996-11-15
FR2734072B1 FR2734072B1 (en) 2001-02-02

Family

ID=7761490

Family Applications (1)

Application Number Title Priority Date Filing Date
FR9605785A Expired - Fee Related FR2734072B1 (en) 1995-05-10 1996-05-09 METHOD FOR LOCATING POINTS OF A MOBILE OBJECT IN A SEQUENCE OF VIDEO IMAGES, AND DEVICE FOR IMPLEMENTING THE METHOD

Country Status (2)

Country Link
DE (1) DE19517032B4 (en)
FR (1) FR2734072B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT412177B (en) * 2002-05-03 2004-10-25 Siemens Ag Oesterreich METHOD AND SYSTEM FOR MONITORING A SECTION OF ROAD AND ITS SURROUNDINGS
DE102009035840B4 (en) * 2009-08-01 2021-01-28 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Method for positioning and / or adjusting high-speed cameras
CN104111058B (en) * 2013-04-16 2016-12-28 杰发科技(合肥)有限公司 Vehicle distance measurement method and device, vehicle relative velocity measuring method and device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0567059A1 (en) * 1992-04-24 1993-10-27 Hitachi, Ltd. Object recognition system and abnormality detection system using image processing
DE4332612A1 (en) * 1992-09-25 1994-04-07 Yazaki Corp Monitoring process for use in road vehicles for warning of obstructions and objects - using externally looking video cameras to provide information processed to allow warning to be generated

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4545576A (en) * 1982-01-15 1985-10-08 Harris Thomas M Baseball-strike indicator and trajectory analyzer and method of using same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0567059A1 (en) * 1992-04-24 1993-10-27 Hitachi, Ltd. Object recognition system and abnormality detection system using image processing
DE4332612A1 (en) * 1992-09-25 1994-04-07 Yazaki Corp Monitoring process for use in road vehicles for warning of obstructions and objects - using externally looking video cameras to provide information processed to allow warning to be generated

Also Published As

Publication number Publication date
FR2734072B1 (en) 2001-02-02
DE19517032A1 (en) 1996-11-14
DE19517032B4 (en) 2005-03-24

Similar Documents

Publication Publication Date Title
US8908038B2 (en) Vehicle detection device and vehicle detection method
Loy et al. Fast shape-based road sign detection for a driver assistance system
US8077921B2 (en) Apparatus for determining the presence of fog using image obtained by vehicle-mounted imaging device
US8786697B2 (en) Apparatus for determining the presence of fog using image obtained by vehicle-mounted imaging device
CN104364673B (en) Use the gated imaging of the adaptive depth of field
JP5664152B2 (en) Imaging device, in-vehicle imaging system, and object identification device
Bertozzi et al. Obstacle detection and classification fusing radar and vision
US20020134151A1 (en) Apparatus and method for measuring distances
FR2809360A1 (en) CRASH PRECEDING RECOGNITION SYSTEM BASED ON THE USE OF A CAMERA
FR2822547A1 (en) Three dimensional parking sensor for motor vehicle has two dimensional sensed data passed to processor for three dimensional output to driver
US20210264169A1 (en) Road marking detection
FR2947657A1 (en) METHOD FOR DETECTING AN OBSTACLE FOR A MOTOR VEHICLE
EP3716097A1 (en) Method for acquiring data captured by a capture module embedded in a mobile device following a predetermined trajectory, corresponding computer program and device
FR2947656A1 (en) METHOD FOR DETECTING AN OBSTACLE FOR A MOTOR VEHICLE
Hautiere et al. Contrast restoration of foggy images through use of an onboard camera
Di et al. Forward Collision Warning system based on vehicle detection and tracking
JP2003281700A (en) Cutting-in vehicle detecting device and method
US20070131851A1 (en) Polarimetric detection of road signs
EP2161677A1 (en) Method for detecting a target object for an automobile
FR3027432A1 (en) DISTANCE ESTIMATION OF A PIETON BY AN IMAGING SYSTEM ON A MOTOR VEHICLE
FR2734072A1 (en) METHOD FOR LOCATING POINTS OF A MOBILE OBJECT IN A SEQUENCE OF VIDEO IMAGES, AND DEVICE FOR IMPLEMENTING THE METHOD
Godfrey et al. Evaluation of Flash LiDAR in Adverse Weather Conditions towards Active Road Vehicle Safety
Olmeda et al. Detection and tracking of pedestrians in infrared images
FR2914414A1 (en) METHOD FOR DETERMINING THE RELATIVE MOTION, IN PARTICULAR THE TRANSVERSAL SPEED OF A MOVING OBJECT BY CORRELATION BLOCK CORRELATION
JP3475700B2 (en) Object recognition method, object recognition device, and vehicle recognition device

Legal Events

Date Code Title Description
ST Notification of lapse

Effective date: 20110131