FR2628864A1 - Segmentation of point velocity vectors in image sequence - segmenting velocity data based on movement prediction to generate representative vector for processing - Google Patents
Segmentation of point velocity vectors in image sequence - segmenting velocity data based on movement prediction to generate representative vector for processing Download PDFInfo
- Publication number
- FR2628864A1 FR2628864A1 FR8803639A FR8803639A FR2628864A1 FR 2628864 A1 FR2628864 A1 FR 2628864A1 FR 8803639 A FR8803639 A FR 8803639A FR 8803639 A FR8803639 A FR 8803639A FR 2628864 A1 FR2628864 A1 FR 2628864A1
- Authority
- FR
- France
- Prior art keywords
- block
- blocks
- image
- vectors
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000013598 vector Substances 0.000 title claims abstract description 170
- 230000033001 locomotion Effects 0.000 title claims abstract description 54
- 230000011218 segmentation Effects 0.000 title claims abstract description 38
- 238000012545 processing Methods 0.000 title claims description 14
- 238000000034 method Methods 0.000 claims abstract description 107
- 230000008569 process Effects 0.000 claims abstract description 30
- 239000006185 dispersion Substances 0.000 claims abstract description 11
- 238000007906 compression Methods 0.000 claims abstract description 7
- 230000006835 compression Effects 0.000 claims abstract description 7
- 230000003044 adaptive effect Effects 0.000 claims abstract description 4
- 230000002776 aggregation Effects 0.000 claims abstract description 4
- 238000004220 aggregation Methods 0.000 claims abstract description 4
- 241001364929 Havel River virus Species 0.000 claims description 33
- 238000006073 displacement reaction Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 230000001186 cumulative effect Effects 0.000 claims description 6
- 230000002093 peripheral effect Effects 0.000 claims description 6
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 230000002123 temporal effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 238000009499 grossing Methods 0.000 claims description 2
- 230000008030 elimination Effects 0.000 claims 1
- 238000003379 elimination reaction Methods 0.000 claims 1
- 238000000265 homogenisation Methods 0.000 claims 1
- 238000012804 iterative process Methods 0.000 claims 1
- 238000002844 melting Methods 0.000 claims 1
- 230000008018 melting Effects 0.000 claims 1
- 238000011282 treatment Methods 0.000 claims 1
- 230000008901 benefit Effects 0.000 abstract description 4
- 230000015654 memory Effects 0.000 description 44
- 230000006870 function Effects 0.000 description 8
- 230000000717 retained effect Effects 0.000 description 7
- 238000009825 accumulation Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/015—High-definition television systems
- H04N7/0152—High-definition television systems using spatial or temporal subsampling
- H04N7/0155—High-definition television systems using spatial or temporal subsampling using pixel blocks
- H04N7/0157—High-definition television systems using spatial or temporal subsampling using pixel blocks with motion estimation, e.g. involving the use of motion vectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
"Procédé de sewentation d'un champ de vecteurs vitesse. notamment de vitesses de deplacement de points d'une image dans une séquence d'imaaes". "Process for the detection of a field of velocity vectors, particularly velocities of the displacement of points of an image in a sequence of images".
Le domaine de l'invention est celui de l'analyse et du codage de séquences d'images électroniques, et plus particuliérement de l'analyse du mouvement des points de telles images électroniques. The field of the invention is that of the analysis and coding of electronic image sequences, and more particularly of the analysis of the movement of the points of such electronic images.
Dans un cas spécifique qui sera détaillé ciaprès, le procédé suivant l'invention s'applique à l'analyse de séquences d'images en haute définition destinées å être transmises à travers un canal à débit limité. Une application préférentielle de ce type est la transmission de télévision haute définition sur canal
MAC.In a specific case which will be detailed below, the method according to the invention applies to the analysis of sequences of high definition images intended to be transmitted through a limited flow channel. A preferred application of this type is high-definition television transmission on a channel
MAC.
Toutefois, le procédé de l'invention peut aussi bien être utilisé dans tout système analysant une séquence d'imagés (robotique, suivi de cibles, recherche de paramètres spatiaux et/ou temporels,...) ou une séquence d'ensembles de données (applications médicales, météorologiques,...). However, the method of the invention can equally well be used in any system analyzing a sequence of images (robotics, tracking targets, search for spatial and / or temporal parameters, etc.) or a sequence of data sets. (medical applications, meteorological, ...).
Le procédé suivant l'invention est destiné à s'inscrire dans une chaine de traitement d'images, et a constituer un maillon d'analyse des vitesses de déplacement des points d'image dans le plan d'image, afin notamment de regrouper les points au sein de blocs de points à déplacement homogène, selon une opération dite de "segmentation". The method according to the invention is intended to be part of an image processing chain, and to constitute a link for analyzing the speeds of displacement of the image points in the image plane, in particular in order to group the points within blocks of points homogeneous displacement, according to a so-called "segmentation" operation.
Une telle analyse présente de très nombreux intérêts. Such an analysis has a great many interests.
Dans le cas de la transmission de séquences d' images HD (10) dans un canal 18 à débit limité (figure 1), le traitement d'images a pour objet de réduire le volume d'informations transmises, de telle façon que
- à l'émission, on procède à une opération 14 de sous-échantillonnage d'une image HD, les données sous échantillonnées 19 étant accompagnées de "données d'assistance" 13 transmises conjointement dans le canal de données 18
- à la réception, on effectue une opération inverse consistant å utiliser les donnees d'assistance 13 et le signal sous-échantillonné 19 dans une opération 15 d'interpolation et de compensation pour restituer un signal 16 haute définition.In the case of the transmission of HD image sequences (10) in a limited rate channel (FIG. 1), the purpose of the image processing is to reduce the volume of transmitted information, so that
on transmission, an operation is carried out to sub-sample an HD image, the subsampled data 19 being accompanied by "assistance data" transmitted jointly in the data channel.
upon reception, an inverse operation is performed consisting in using the assistance data 13 and the sub-sampled signal 19 in an interpolation and compensation operation for restoring a high-definition signal 16.
Le cas échéant, le signal sous-échantillonné 19 peut être visualisé tel quel sur un poste de télévision conventionnel 17. If necessary, the subsampled signal 19 can be viewed as it is on a conventional television set 17.
Dans ce type d'application, l'étape de segmentation 12 de l'image en blocs de points présentant des vitesses de déplacement relativement homogènes, selon la présente invention, intervient par exemple préalablement à l'opération de sous-échantillonnage à l'émission. In this type of application, the segmentation step 12 of the dot-block image having relatively homogeneous movement speeds, according to the present invention, occurs for example prior to the subsampling operation on transmission. .
La segmentation de l'image s'inscrit ainsi avantageusement entre une opération préalable d'estimation de mouvement des points d'images, et une opération de compression des données d'images. The segmentation of the image thus advantageously fits between a preliminary operation of motion estimation of the image points, and a compression operation of the image data.
L'opération d'estimation de mouvement a pour objectif de créer une base de données spatio-temporelle, dont les données sont représentatives de l'activité de mouvement des points, dans le plan d'image, et dans le temps. The purpose of the motion estimation operation is to create a spatio-temporal database, the data of which is representative of the motion activity of the points, in the image plane, and in time.
L'opération de segmentation consiste A optimiser le sous-échantillonnage ultérieur du signal d'image, en regroupant le plus grand nombre de points possible, au sein de blocs de points å déplacement homogène. Chaque bloc est donc susceptible d'être représenté par un vecteur unique de vitesse de déplacement. The segmentation operation consists in optimizing the subsequent subsampling of the image signal, by grouping as many points as possible within blocks of points with homogeneous displacement. Each block is therefore likely to be represented by a single vector of travel speed.
Les vecteurs de vitesse de déplacement permettent ensuite de réaliser un sous-échantillonnage de l'image dans l'axe du mouvement, comme décrit dans la demande de brevet française n*87 17 601 du 16.12.87, aux noms des mêmes déposants. The displacement velocity vectors then make it possible to sub-sample the image in the axis of the movement, as described in the French patent application No. 87 17 601 of 16 December 1987, in the names of the same applicants.
La figure 1 illustre schématiquement la succession d'étapes du processus de codage/décodage dans lequel s'inscrit le procédé de segmentation suivant l'invention. FIG. 1 schematically illustrates the succession of steps of the coding / decoding process in which the segmentation method according to the invention is inscribed.
On notera que la segmentation pilote non seulement le sous-échantillonnage d'images, mais encore l'élaboration de données d'assistance, ces dernières permettant la restitution de l'image haute définition, par interpolation et compensation, à partir de l'image sous-échantillonnée. It should be noted that the segmentation controls not only the subsampling of images, but also the development of assistance data, the latter allowing the reproduction of the high definition image, by interpolation and compensation, from the image sub-sampled.
On connait un procédé d'estimation de mouvement, avec multiprédiction de mouvement incluant une prédiction dans le sens du mouvement, tel que décrit dans la demande de brevet n87 17 602 déposée le 16.12.87 aux noms des mêmes déposants, conjointement à la demande antérieure déjà mentionnée. There is known a motion prediction method, with multiprediction of motion including a prediction in the direction of movement, as described in the patent application n87 17 602 filed 16.12.87 in the names of the same applicants, together with the previous application already mentioned.
Selon ce procédé d'estimation de mouvement, et comme schématisé en figure 2, plusieurs prédictions (1, 2,...n) sont émises 20, puis servent de point de départ à un calcul d'estimation de vitesse 22, selon un processus algorithmique de correction par optimisation de critère 21. Un algorithme preféré est celui de WAIXER et RAO, utilisant comme critère l'écart de luminance DFD (= DFD = "displaced frame difference") entre l'image source et l'image estimée. (voir WALKER, DR., RAO, K.R. "New technique in pel-recursive motion compensation" ICC 84,
Amsterdam, pp. 703-706).According to this motion estimation method, and as shown diagrammatically in FIG. 2, several predictions (1, 2, ... n) are emitted 20, then serve as a starting point for a speed estimation calculation 22, according to a algorithmic correction process by criterion optimization 21. A preferred algorithm is that of WAIXER and RAO, using as criterion the DFD luminance difference (= DFD = "displaced frame difference") between the source image and the estimated image. (see WALKER, DR, RAO, KR "New technique in pel-recursive motion compensation" ICC 84,
Amsterdam, pp. 703-706).
La meilleure estimation, c'est-à-dire celle qui minimise la DFD 23, 24, est ensuite retenue comme estimation de mouvement pour le point courant 25. The best estimate, that is, the one that minimizes the DFD 23, 24, is then retained as the motion estimate for the current point 25.
Au cours de ce procédé d'estimation de mouvement, le calcul de l'écart de luminance DFD, qui sert autant dans la fonction de correction 21 que dans l'opération de choix de la meilleure estimation 23, 24, correspond au calcul le plus coûteux au point de vue de la réalisation matérielle de l'estimateur, et du temps de traitement. During this motion estimation process, the calculation of the luminance deviation DFD, which serves both in the correction function 21 and in the best estimate selection operation 23, 24, corresponds to the most calculated calculation. expensive from the point of view of the material realization of the estimator, and the processing time.
En conséquence, un premier objectif de l'invention est de fournir un procédé de segmentation du champ des vecteurs de déplacement des points d'images, compatible avec un tel procédé d'estimation, notamment en insérant l'opération de segmentation au moins partiellement dans le processus d'estimation de mouvement. Accordingly, a first object of the invention is to provide a method of segmentation of the field of displacement vectors of the image points, compatible with such an estimation method, in particular by inserting the segmentation operation at least partially in the motion estimation process.
Un second objectif de l'invention est de bénéficier des calculs du critère de correction et du critère de choix (DFD) effectués dans le procédé d'estimation, pour la mise en oeuvre de la segmentation, afin d'alléger et de rationaliser la réalisation matérielle du codeur d'images. A second objective of the invention is to benefit from the calculations of the correction criterion and the choice criterion (DFD) carried out in the estimation method, for the implementation of the segmentation, in order to lighten and rationalize the realization. hardware of the image encoder.
Un objectif complémentaire de l'invention est de fournir un procédé de segmentation susceptible d'optimiser la structure de sous-échantillonnage, afin de permettre une restitution optimale de la séquence d'images à partir du signal sous-échantillonné. A cet égard, l'image sous-échantillonnée doit pouvoir être soit visualisée telle quelle (dans le cas par exemple où le sous-échantillonnage consiste à comprimer une image HD sous un format transmissible par canal de télévision conventionnelle) soit reconstruite à l'aide de données d'assistance pour obtenir une image HD. A complementary objective of the invention is to provide a segmentation method capable of optimizing the subsampling structure, in order to allow an optimal reproduction of the image sequence from the subsampled signal. In this respect, the subsampled image must be able to be viewed as it is (in the case for example where subsampling consists of compressing an HD image in a format that can be transmitted by conventional television channel) or reconstructed using support data to obtain an HD image.
Un autre objectif de l'invention est de fournir un procédé de segmentation maximisant la taille des blocs de points à mouvement homogène. Chaque bloc pouvant être représenté par un vecteur-vitesse représentant unique, l'objectif est ainsi de minimiser le nombre de représentants de l'image, ainsi que le débit des données d'assistance à la reconstruction d'une image HD au décodeur. Another object of the invention is to provide a segmentation method that maximizes the size of the blocks of points with homogeneous motion. Since each block can be represented by a single representative speed vector, the objective is thus to minimize the number of representatives of the image, as well as the bit rate of data assisting the reconstruction of an HD image at the decoder.
Un objectif supplémentaire de l'invention est de fournir un procédé de segmentation permettant l'élimination des points isoles (du point de vue de leur mouvement), en évitant de condamner un bloc en bordure de contour d'image. A further object of the invention is to provide a segmentation method for the removal of isolated points (from the point of view of their movement), avoiding condemning a block border image edge.
L'invention a également pour objectif de se rapprocher d'un processus de reconnaissance de formes, en permettant une construction adaptative des blocs d'images visant à épouser au mieux les contours des objets en mouvement, voire même les contours qui se chevauchent de deux objets superposés dans des plans différents. Another object of the invention is to approach a pattern recognition process, by allowing an adaptive construction of the image blocks in order to better match the contours of moving objects, or even the overlapping contours of two superimposed objects in different planes.
Ces objectifs ainsi que d'autres qui apparaîtront par la suite sont atteints à l'aide d'un procédé de segmentation d'un champ de vecteurs-vitesses, notamment représentatif des valeurs de la vitesse courante de déplacement, dans le plan de l'image, de points d'une image électronique appartenant à une séquence d'images, ladite segmentation consistant à découper ledit champ de vecteurs en blocs de vitesses de déplacement sensiblement homogènes, et à affecter à chacun desdits blocs au moins un vecteur représentant, notamment en vue de réaliser un traitement de compression optimise de signal d'image,
caractérisé en ce que
chaque vecteur de déplacement courant d'un point courant est calculé selon un processus algorithmique convergent de prédiction/correction, ledit processus consistant à prendre comme hypothèse de départ de calcul une valeur prédite de mouvement, ladite valeur prédite étant corrigée ensuite au sein du processus selon un procédé de correction par optimisation de critère permettant de calculer une valeur estimée de déplacement,
en ce que ledit procédé réalise en parallèle au moins deux -calculs d'estimation de mouvement à partir d'au moins deux valeurs prédites de mouvement du point courant,
en ce que ledit procédé sélectionne un nombre limité de vecteurs-représentants-candidats (VRC), parmi lesdits vecteurs -vitesse-prédits et/ou lesdits vecteursvitesse-estimés,
en ce qu'on réalise une dispersion de chacun desdits VRC autour de sa valeur d'origine, de façon à obtenir une pluralité de VRC acceptables,
et en ce qu'on effectue une réallocation desdits VRC dispersés selon une procédure adapatative du type "aggrégation/division" de blocs dans ladite image.These objectives as well as others which will appear later are achieved by means of a method of segmentation of a velocity vector field, in particular representative of the values of the current speed of displacement, in the plane of the image, of points of an electronic image belonging to a sequence of images, said segmentation consisting in cutting said vector field into substantially homogeneous blocks of displacement velocities, and in assigning to each of said blocks at least one vector representing, in particular in to perform optimized image signal compression processing,
characterized in that
each current displacement vector of a current point is calculated according to a convergent prediction / correction algorithm process, said process consisting in assuming a predicted motion value as a starting point of calculation, said predicted value being subsequently corrected within the process according to a criterion optimization correction method for calculating an estimated displacement value,
in that said method performs in parallel at least two motion estimationcalculs from at least two predicted values of movement of the current point,
in that said method selects a limited number of candidate-representative-vectors (VRC), among said -speed-predicted vectors and / or said speed-estimated vectors,
in that a dispersion of each of said HRVs is made around its original value, so as to obtain a plurality of acceptable HRVs,
and in that a reallocation of said dispersed HRVs according to an adaptive procedure of the type "aggregation / division" of blocks in said image.
Selon une première variante du procédé, lesdits vecteurs-représentants-candidats sont sélectionnés pour chaque bloc d'image, en chaque point dudit bloc, parmi au moins lesdits vecteurs-vitesse-prédits et/ou lesdits vecteurs-vitesse-estimés, ladite opération de sélection consistant en un seuillage sur ledit critère de décision. According to a first variant of the method, said candidate-representative-vectors are selected for each image block, at each point of said block, from at least said predicted-velocity vectors and / or said velocity-estimated vectors, said selection consisting of a thresholding on said decision criterion.
De façon avantageuse, on effectue ladite sélection des candidats en chaque point- d'image, simultanément à une seconde opération de sélection d'une estimation optimale de mouvement en chaque point, à l'instant t, en vue par exemple de réaliser une projection approximative de la position de chaque point d'image à l'instant (t+l) et/ou en vue d'élaborer des données d'assistance à la restitution d'image à partir et en complément desdits représentants de blocs,
ladite seconde opération de selection choisissant ladite valeur d'estimation optimale de mouvement, pour chaque point, parmi au moins lesdits vecteurs vitesse estimés, selon un procédé de décision par optimisation dudit critère de décision.Advantageously, said candidate selection is carried out at each image point, simultaneously with a second operation of selecting an optimal estimate of motion at each point, at time t, with a view, for example, to a projection approximating the position of each image point at the instant (t + 1) and / or in order to elaborate assistance data for the image restitution from and in addition to said block representatives,
said second selection operation choosing said optimum motion estimation value, for each point, among at least said estimated velocity vectors, according to a decision method by optimizing said decision criterion.
L'invention a également pour objet un procédé de segmentation d'un champ de vecteurs-vitesse, notamment représentatif des valeurs de la vitesse courante de déplacement, dans le plan de l'image, de points d'une image électronique appartenant à une séquence d'image, ladite segmentation consistant à découper ledit champ de vecteurs en blocs de vitesses de déplacement sensiblement homogènes, et & affecter à chacun desdits blocs au moins un vecteur représentant, notamment en vue de réaliser un traitement de compression optimisé de signal d'image,
caractérisé en ce que
- on définit une taille minimale de blocs d'image au sein de ladite image électronique;
- on sélectionne, pour chaque point de l'image, au moins un vecteur vitesse estimé optimal, et le cas échéant, un ou plusieurs vecteurs-représentantscandidats, susceptibles de représenter un bloc auquel appartiendra ledit point;
- on "disperse" lesdits vecteurs-représentantscandidats autour de leur valeur d'origine, de façon à obtenir une pluralité de vecteurs-candidats acceptables pour ledit pointu
- on recense au sein de chaque bloc l'occurrence de citation de chaque vecteur-représentantcandidat par lesdits points du bloc, et on sélectionne pour représenter le bloc, les vecteurs-candidats dépassant un seuil donné de citation;
- on explore les possibilités de fusion de chaque bloc élémentaire avec les blocs adjacents, selon un procédé itératif consistant à rechercher Si les blocs situés à la péripherie dudit bloc de départ présentent des représentants-candidats communs avec ledit bloc de départ, et à réaliser la fusion du bloc de départ et des blocs périphériques si le nombre de blocs périphériques à représentant commun dépasse un certain seuil;
- on affecte audit bloc final, élémentaire ou fusionné, un vecteur représentant choisi parmi les vecteurs représentants-candidats restants.The subject of the invention is also a method of segmentation of a vector-velocity field, in particular representative of the values of the current speed of displacement, in the plane of the image, of points of an electronic image belonging to a sequence image, said segmentation consisting of cutting said vector field into essentially homogeneous displacement speed blocks, and assigning each of said blocks at least one vector representing, in particular with a view to performing an optimized image signal compression processing ,
characterized in that
a minimum size of picture blocks is defined within said electronic image;
for each point of the image, at least one optimal estimated velocity vector is selected, and, if appropriate, one or more representative-representative vectors, which may represent a block to which said point will belong;
said representative-representative vectors are "dispersed" around their original value, so as to obtain a plurality of acceptable candidate vectors for said sharpened
in each block, the citation occurrence of each vector-representative-candidate is recorded by said points of the block, and the candidate vectors exceeding a given threshold of quotation are selected to represent the block;
the possibilities of merging each elementary block with the adjacent blocks are explored, according to an iterative method consisting in finding out whether the blocks situated at the periphery of said starting block have common candidate-representatives with said starting block, and performing the merging the start block and the peripheral blocks if the number of common representative peripheral blocks exceeds a certain threshold;
said final block, elementary or fused, is assigned a representative vector chosen from among the remaining representative-candidate vectors.
Avantageusement, on réalise itérativement la fusion des blocs en explorant à nouveau à la périphérie de chaque bloc fusionné courant, en vue d'un accroissement supplémentaire dudit bloc fusionné, lesdits seuils de fusion étant décroissants au fur et à mesure de la croissance des blocs fusionnés. Advantageously, the merging of the blocks is iteratively carried out by exploring again at the periphery of each current merged block, with a view to further increase of said merged block, said merging thresholds being decreasing as the merged blocks grow. .
Dans une seconde variante de réalisation, le procédé de segmentation suivant l'invention, est caractérisé en ce que ledit processus de sélection desdits VRC consiste à découper préalablement l'image courante en zones égales, et à selectionner un nombre donné (L) de VRC par zone d'image,
en ce que ledit processus de reallocation consiste dans une première phase, à tenter d'affecter, pour chaque bloc d'images, celui desdits VRC sélectionné dans la zone qui est le plus représentatif des éléments d'images dudit bloc parmi les VRC dépassant un seuil donné de représentativité, puis à defaut, dans une seconde phase, à affecter audit bloc, un desdits VRC selon un critère d'optimisation d'allocation.In a second variant embodiment, the segmentation method according to the invention is characterized in that said selection process of said HRVs consists in precutting the current image in equal zones, and in selecting a given number (L) of HRVs. by image area,
in that said reallocation process consists in a first phase, in attempting to assign, for each block of images, that of said HRV selected in the zone which is the most representative of the image elements of said block among the HRVs exceeding one given threshold of representativity, then failing, in a second phase, to assign to said block, one of said HRV according to an allocation optimization criterion.
Cette méthode est constituée d'une étape de sélection de vecteurs vitesse représentatifs entre deux images à partir d'un histogramme et d'une étape de réallocation de ces vecteurs à des blocs image. This method consists of a step of selecting representative velocity vectors between two images from a histogram and a step of reallocating these vectors to image blocks.
Afin d'éviter de nombreux calculs d'erreur, la réallocation se fait en deux phases principales
- réallocation d'un vecteur sur un critère "vecteur majoritaire",
puis pour les blocs sans vecteur suite à cette première phase
- réallocation d'un vecteur selon l'environnement connexe, ou si ce n'est pas possible selon un critère d'erreur de reconstruction minimale.In order to avoid many error calculations, the reallocation is done in two main phases
reallocation of a vector on a criterion "majority vector",
then for the blocks without vector following this first phase
reallocation of a vector according to the related environment, or if this is not possible according to a minimum reconstruction error criterion.
D'autre part, cette méthode, bien qu'applicable dans un schéma de choix a posteriori, permet également d'envisager une technique de choix dite a priori, c'està-dire dans laquelle l'information de mouvement issue d'une voie d'estimation de mouvement pilote le choix de la voie de traitement suivant que les zones sont estimées à mouvement fiable (estimation- de mouvement maintenue), ou non fiable voire extrême (on préfère alors un filtrage linéaire, par exemple) (voir demande de brevet 87 17601). On the other hand, this method, although applicable in a posterior choice scheme, also makes it possible to consider a technique of choice called a priori, that is to say in which the motion information from a path The motion estimation method controls the choice of the processing path according to whether the zones are estimated to have a reliable movement (estimation of motion maintained), or not reliable or even extreme (linear filtering is preferred, for example) (see request by 87, 17601).
D'autres caracteristiques et avantages- de l'invention apparaîtront à la lecture suivante de la description d'un mode de réalisation préférentiel de l'invention, donné à titre illustratif, et des dessins annexés relatifs essentiellement à la première variante, dans lesquels
- la figure 1 schématise la position de l'étape de segmentation, selon l'invention, dans une chaîne de codage/décodage d'images, à compensation de mouvement
- la figure 2 schématise le processus multiprédictif d'estimation de mouvements qui est avantageusement mis en oeuvre correlativement au procédé de segmentation selon l'invention
- la figure 3 schématise la greffe de l'étape de sélection des représentants du procédé de segmentation suivant l'invention, sur le procédé multiprédictif d'estimation de mouvements de la figure 2
- la figure 4 illustre l'étape de dispersion d'un vecteur-vitesse représentant candidat, selon le procédé de segmentation de l'invention
- la figure 5 représente un bloc élémentaire de points, selon le procédé de segmentation de l'invention
- la figure 6 est une représentation, dans le plan des vecteurs possibles, de deux vecteurs candidats dispersés, pour un meme point, en mémoire intermédiaire
- la figure 7 est une représentation d'un exemple d'opération de cumul des memoires intermediaires de deux points Al et A2 appartenant à un même bloc
- la figure 8 illustre le cumul des citations de vecteurs représentants, sur un bloc de 4 x 4 points
- la figure 9 est une grille de référence repérant les blocs 4 x 4 au sein d'une fenêtre 24 x 24
- la figure 10 est un schéma synoptique d'un mode de réalisation préférentiel d'une réalisation matérielle mettant en oeuvre le procédé de segmentation suivant l'invention ;
- la figure 11 illustre un mode de mémorisation de l'ensemble des vecteurs représentants, dans le plan des vecteurs possibles, pour un bloc d'image.Other characteristics and advantages of the invention will appear on reading the following description of a preferred embodiment of the invention, given by way of illustration, and the attached drawings relating essentially to the first variant, in which:
FIG. 1 schematizes the position of the segmentation step, according to the invention, in an image-encoding / decoding chain, with motion compensation
FIG. 2 schematizes the multiprediction motion estimation process which is advantageously implemented in correlation with the segmentation method according to the invention
FIG. 3 schematizes the grafting of the selection step of the representatives of the segmentation method according to the invention, on the multipredicting motion estimation method of FIG. 2
FIG. 4 illustrates the step of dispersing a representative candidate velocity vector according to the segmentation method of the invention
FIG. 5 represents an elementary block of points, according to the segmentation method of the invention
FIG. 6 is a representation, in the plane of the possible vectors, of two dispersed candidate vectors, for the same point, in intermediate memory;
FIG. 7 is a representation of an exemplary operation of cumulating the intermediate memories of two points A1 and A2 belonging to the same block
FIG. 8 illustrates the cumulative representation of vector representations on a block of 4 × 4 points
FIG. 9 is a reference grid identifying the 4 × 4 blocks within a 24 × 24 window.
FIG. 10 is a block diagram of a preferred embodiment of a hardware embodiment implementing the segmentation method according to the invention;
FIG. 11 illustrates a mode of memorization of the set of representative vectors, in the plane of the possible vectors, for an image block.
DescriDtion d'une première variante de l'invention
La figure 3 décrit la première phase de la segmentation dans la première variante du procédé, c'està-dire lorsqu'elle est mise en oeuvre parallèlement au procédé d'estimation de mouvement de la figure 2.DescriDtion of a first variant of the invention
FIG. 3 describes the first phase of the segmentation in the first variant of the method, that is to say when it is implemented in parallel with the motion estimation method of FIG. 2.
La notation DFD recouvre le calcul de la DFD elle-même et plus particulièrement, une fonction de correction destinée à assurer la convergence vers la "vraie" valeur du mouvement. The DFD notation covers the calculation of the DFD itself and more particularly, a correction function intended to ensure convergence towards the "true" value of the movement.
On reconnaitra, dans le module 30 situé à droite du trait 32 en pointillés, dans la figure 3, le schéma du procédé d'estimation de mouvement, avec multiprédiction, déjà représenté en figure 2. Pour chacune des prédictions P1, P2, P3, on calcule une estimation de mouvements El, E2, E3, au moyen d'une fonction de correction destinée à assurer la convergence vers la "vraie" valeur du mouvement par optimisation du critère DFD (DFD-10, DFD-20, DFD-30). In the module 30 situated to the right of the dashed line 32 in FIG. 3, the diagram of the motion estimation method with multi-prediction, already shown in FIG. 2, will be recognized. For each of the predictions P1, P2, P3, an estimation of movements El, E2, E3 is calculated by means of a correction function intended to converge to the "true" value of the motion by optimizing the DFD criterion (DFD-10, DFD-20, DFD-30 ).
Lesdites valeurs prédites sont avantageusement choisies parmi les valeurs suivantes
au moins une prediction spatiale de mouvement et/ou
au moins une prédiction temporelle de mouvement ; et/ou
au moins une prédiction spatio-temporelle dans l'axe du mouvement.Said predicted values are advantageously chosen from the following values
at least one spatial prediction of movement and / or
at least one temporal prediction of motion; and or
at least one spatio-temporal prediction in the axis of the movement.
Les écarts de luminance DFD-ll, DFD-21, DFD-31 obtenus pour chacune des estimations calculées El, E2,
E3, servent de critères de choix de l'estimation E retenue en sortie du selecteur 34. Le sélecteur 34 est commandé par le circuit 33 de détection de l'écart minimal DFD-min, entre les trois ecarts DFD-ll, DFD-21,
DFD-31.The differences in luminance DFD-11, DFD-21, DFD-31 obtained for each of the calculated estimates E1, E2,
E3 serve as selection criteria for the estimation E retained at the output of the selector 34. The selector 34 is controlled by the circuit 33 for detecting the minimum deviation DFD-min, between the three deviations DFD-11, DFD-21 ,
DFD-31.
Le cas échéant, une seconde itération 35 est réalisée sur l'estimation retenue E, selon l'algorithme d'optimisation de la DFD, par fonction de correction convergente, pour obtenir une estimation affinée E'. If necessary, a second iteration 35 is performed on the retained estimate E, according to the DFD optimization algorithm, by convergent correction function, to obtain a refined estimate E '.
Parallèlement au choix du meilleur vecteurvitesse estimé, E, E', pour le point courant, le module 31 du schéma de la figure 3 mémorise un certain nombre de vecteurs-représentants-candidats (VRC) 36. Chaque VRC potentiel P1, P2, P3, El, E2, E3, choisi parmi les vecteurs-vitesse-prédits et les vecteurs-vitesse-estimés, au point courant, sera retenu si l'écart de luminance
DFD, qui lui est associé (DFD-10, DFD-20, DFD-30, DFD-ll,
DFD-21, DFD-31) est inférieur à un seuil prédéterminé 37.In parallel with the choice of the best estimated velocity vector, E, E ', for the current point, the module 31 of the diagram of FIG. 3 stores a number of candidate-representative-vectors (HRVs) 36. Each potential HRV P1, P2, P3 , El, E2, E3, selected among the velocity-predicted vectors and velocity-estimated vectors, at the current point, will be retained if the luminance deviation
DFD, which is associated with it (DFD-10, DFD-20, DFD-30, DFD-11,
DFD-21, DFD-31) is below a predetermined threshold 37.
Ainsi, si : DFD-10 < au seuil 37 est vérifié, alors P1 est un vecteur-candidat et est mémorisé vers la mémoire 38. Thus, if: DFD-10 <at threshold 37 is checked, then P1 is a candidate vector and is stored in memory 38.
Si par exemple : DFD-20 > au seuil 37 est vérifié, alors P2 ne peut pas être un vecteur-candidat, et est rejeté. If for example: DFD-20> at threshold 37 is checked, then P2 can not be a candidate vector, and is rejected.
Par point d'image, il y a donc un certain nombre de vecteurs-représentants-candidats possibles. Le nombre maximal de VRC est déduit du nombre de prédictions initiales, et varie suivant le système général de multiprédiction retenu et le nombre d'iterations. Dans le cas où aucun VRC n'est retenu, cela signifie que la vitesse du point courant n'est pas bien connue. By image point, there are therefore a number of possible vectors-representatives-candidates. The maximum number of HRVs is deducted from the number of initial predictions, and varies according to the general multi-prediction system and the number of iterations. In the case where no HRV is retained, this means that the speed of the current point is not well known.
Comme représenté en figure 4, chaque composante (horizontale et verticale) du vecteur-vitesse v d'un point est par exemple limitée à la dynamique + 15, avec une précision 1/8. On peut alors représenter ce vecteur par deux valeurs entières incluses entre 0 et 255 (plus précisément, 8 et 248) par la transformation
Vx - 128 + 8.vx
Vy - 128 +8.vy,
soit 16 bits par vecteur-vitesse.As represented in FIG. 4, each component (horizontal and vertical) of the velocity vector v of a point is for example limited to the velocity + 15, with a precision 1/8. We can then represent this vector by two integer values included between 0 and 255 (more precisely, 8 and 248) by the transformation.
Vx - 128 + 8.vx
Vy - 128 + 8.vy,
that is 16 bits per vector-speed.
Du fait que chaque point d'image peut avoir jusqu'à m vecteurs candidats (m = 6 dans le cas de la figure 3), il est nécessaire de stocker ces m vecteurs (de 16 bits chacun) puisqu'ils seront utilisés pour rechercher des vecteurs représentants par bloc de 4 points x 4 lignes. Comme schématisé en figure 10 (référence 38), la solution retenue est de créer m mémoires 39 dédiées chacune à une prédiction ou å une estimation convenue. Un point d'image aura au mieux un candidat par plan mémoire 39. Since each image point can have up to m candidate vectors (m = 6 in the case of Figure 3), it is necessary to store these m vectors (16 bits each) since they will be used to search Representatives vectors per block of 4 points x 4 lines. As shown diagrammatically in FIG. 10 (reference 38), the solution adopted is to create m memories 39 each dedicated to an prediction or to an agreed estimate. An image point will have at best one candidate per memory plane 39.
Chaque mémoire contient les candidats de 4 lignes d'image successives. Une ligne d'image possède N points (N peut être de l'ordre de 1920 en TVHD), imposant ainsi une dimension 4xN par mémoire. A chaque adresse est mémorisé un contenu de 16 bits. Each memory contains the candidates of 4 successive image lines. An image line has N points (N can be of the order of 1920 in HDTV), thus imposing a 4xN dimension per memory. At each address is stored a content of 16 bits.
Un système de gestion assure l'écriture des vecteurs-candidats, point par point, donc séquentiellement en respect avec le balayage de l'image. A management system ensures the writing of the candidate vectors, point by point, so sequentially in respect with the scanning of the image.
Les adresses de ligne sont calculées modulo 4.The line addresses are calculated modulo 4.
Ce même système de gestion assure la lecture de 4x4 points (conformément à la figure 5), créant ainsi un bloc élémentaire. Ce bloc 4x4 est ensuite traité pour déterminer le (ou les) vecteur(s) représentant le bloc. This same management system ensures the reading of 4x4 points (according to Figure 5), thus creating a basic block. This 4x4 block is then processed to determine the (or) vector (s) representing the block.
Le procédé de l'invention utilise ensuite une étape de dispersion des VRC. The method of the invention then uses a step of dispersing the HRVs.
Ainsi, on suppose que si le vecteur V(Vx, Vy) est candidat potentiel pour représenter la vitesse au point d'image (x, y, t), alors tout vecteur de valeur
V + dV est aussi vecteur candidat.Thus, it is assumed that if the vector V (Vx, Vy) is a potential candidate for representing the velocity at the image point (x, y, t), then any value vector
V + dV is also a candidate vector.
Cette dispersion permet le traitement de recherche d'un vecteur comme représenant d'un bloc d'image, comme décrit ci-après. This dispersion allows the search processing of a vector as representing a picture block, as described below.
Le paramètre dV est un nombre entier, de quelques unités (par exemple dans la gamme lu,255)). The parameter dV is an integer, of some units (for example in the read range, 255)).
Chaque vecteur de l'intervalle V + dV a la même probabilité que V de représenter le mouvement en (x, y, t).Each vector of the interval V + dV has the same probability as V of representing the motion in (x, y, t).
D'autres types de probabilité peuvent être retenus, par exemple avec la prise en compte d'un facteur de confiance, maximum pour V et décroissant quand dV s'accroit. Other types of probability can be retained, for example, taking into account a confidence factor, maximum for V and decreasing when dV increases.
Dans la première variante du procédé, selon le mode de réalisation représente en figure 5, un bloc élémentaire d'image est formé par un ensemble rectangulaire 4 x 4 (4 lignes x 4 points), contenant donc 16 points d'image disposés orthogonalement, notés de Al à A16. La taille 4 x 4 est considérée par la suite, comme taille minimale pour sélectionner les vecteurs-mouvement. In the first variant of the method, according to the embodiment shown in FIG. 5, an elementary image block is formed by a 4 × 4 rectangular array (4 lines x 4 points), thus containing 16 orthogonally arranged image points. noted from Al to A16. The 4 x 4 size is subsequently considered as the minimum size for selecting motion vectors.
Après dispersion 101 de chaque VRC, la mémoire intermédiaire 102 stocke, sous forme de valeurs 1 ou O, les vecteurs-candidats ou non d'un point image. A toute valeur 1 correspond un couple d'adresses qui sont les composantes d'un vecteur-candidat. After dispersion 101 of each HRV, the intermediate memory 102 stores, in the form of values 1 or 0, the candidate or non-candidate vectors of an image point. At any value 1 corresponds a pair of addresses which are the components of a candidate vector.
La mémoire intermédiaire 102 a pour dimension 256x256, 1 bit par adresse. The intermediate memory 102 has 256x256 dimension, 1 bit per address.
Elle reste active pour un point d'image jusqu'à lecture complète de m vecteurs-candidats du point. Elle est ensuite réinitialisée. It remains active for an image point until full reading of m vector-candidates of the point. It is then reset.
Le transfert de chaque vecteur correspond à la fonction suivante
on lit le contenu relatif au point Al dans la première mémoire 39 des vecteurs-vitesse. Si ce contenu est égal à 4, on passe à la mémoire suivante. Si ce contenu est différent de 4, on note Vx, Vy les composantes horizontale et verticale du vecteur (Vx et Vy appartiennent par exemple à l'intervalle [8, 248)). The transfer of each vector corresponds to the following function
the content relating to the point Al is read in the first memory 39 of the velocity vectors. If this content is equal to 4, we go to the next memory. If this content is different from 4, we denote by Vx, Vy the horizontal and vertical components of the vector (Vx and Vy belong, for example, to the interval [8, 248)).
Le contenu d'adresse Vx, Vy de la mémoire intermédiaire est mis à 1, ainsi que tous les contenus des adresses Vx + dVx, Vy + dvy. The address content Vx, Vy of the intermediate memory is set to 1, as well as all the contents of the addresses Vx + dVx, Vy + dvy.
On lit ensuite la mémoire suivante 39 des vecteurs-vitesse, au point Al. Le vecteur est noté V'x,
V'y. Tous les contenus d'adresse V'x + dVx, V'y + dvy sont mis à 1, comme schématisé en figure 6.The following memory 39 of the velocity vectors is read at point Al. The vector is denoted V'x,
V'y. All address contents V'x + dVx, V'y + dvy are set to 1, as shown schematically in FIG.
On poursuit ainsi jusqu'à la dernière mémoire des vecteurs-vitesse. Le point Al est donc représenté par un ensemble de contenus d'adresses connexes ou non égaux à 1. Ces données sont transférées vers la mémoire de cumul 103. This is continued until the last memory vectors velocity. The point Al is therefore represented by a set of address contents that are related or non-equal to 1. This data is transferred to the accumulation memory 103.
On considère ensuite le point A2, du même bloc (figure 5), pour lequel on décrit à nouveau les mémoires des vecteurs-vitesse dont les valeurs vont permettre de modifier la mémoire intermédiaire 102. Cette mémoire est en effet libre, et initialisée, suite au transfert vers la mémoire du cumul 103. Next, point A2, of the same block (FIG. 5), for which the memories of the velocity vectors whose values will make it possible to modify the intermediate memory 102 is described again. This memory is indeed free, and initialized, following the transfer to the memory of the accumulation 103.
Quand, à son tour, A2 est traité, on transfère le contenu de la mémoire intermédiaire 102 vers la mémoire de cumul 103. La mémoire intermédiaire ainsi libéree peut être utilisée par A3 et ainsi de suite jusqu'à Ax16. When, in turn, A2 is processed, the contents of the intermediate memory 102 are transferred to the accumulation memory 103. The intermediate memory thus released can be used by A3 and so on until Ax16.
Le rôle de la mémoire de cumu-l 103 est de contenir l'addition adresse par adresse des différentes mémoires intermédiaires issues de Al à A16. The role of the cumu-1 memory 103 is to contain the address-by-address addition of the different intermediate memories from Al to A16.
Sa dimension est alors 256 x 256, 4 bits. Its size is 256 x 256, 4 bits.
Son fonctionnement est illustré sur les figures 7 et 8. La figure 7 représente le cumul des vecteurs liés à Al et A2. Les adresses communes aux points Al et A2 sont mises à 2, les adresses non communes restent à 1. Its operation is illustrated in FIGS. 7 and 8. FIG. 7 represents the accumulation of the vectors linked to A1 and A2. The addresses common to the points A1 and A2 are set to 2, the non-common addresses remain at 1.
Le but de cette technique est d'incrémenter d'une unité le contenu des adresses de la mémoire de cumul 103 en fonction du contenu de la mémoire intermédiaire courante 102. The purpose of this technique is to increment by one the content of the addresses of the accumulation memory 103 as a function of the content of the current intermediate memory 102.
La figure 8 reproduit le fonctionnement illustré en figure 7, mais avec davantage de points selon une représentation simplifiée à une seule dimension. Figure 8 reproduces the operation illustrated in Figure 7, but with more points in a simplified one-dimensional representation.
L'intégrale A évolue en fonction des memoires intermédiaires liées aux points Ai. Son maximum peut atteindre 16 si les 16 points du bloc 4 x 4 courant ont au moins un vecteur commun. The integral A evolves according to the intermediate memories related to the points Ai. Its maximum can reach 16 if the 16 points of the current 4 x 4 block have at least one common vector.
La figure 8 montre un segment V1V2 en chaque point duquel les 16 points ont un vecteur identique. Figure 8 shows a V1V2 segment at each point of which the 16 points have an identical vector.
L'unicité (V1 - V2) est peu probable en raison de la dispersion des vecteurs-candidats. L'unicité n'est pas souhaitable pour permettre, dans une étape ultérieure de regrouper les blocs élémentaires 4 x 4 en blocs plus importants. Augmenter le nombre de points d'image représentés par un seul vecteur a un intérêt capital en
HDMAC pour réduire le débit des données d'assistance numérique.Uniqueness (V1 - V2) is unlikely due to the dispersion of the candidate vectors. Uniqueness is not desirable to allow, in a subsequent step to group the 4 x 4 elementary blocks into larger blocks. Increasing the number of image points represented by a single vector is of major interest in
HDMAC to reduce the bit rate of digital assistance data.
Dans la pratique, toute position de E A est déclarée vecteur pouvant représenter le bloc Ai si la courbe cumulée atteint x t x 16. Le paramètre x t (104) définit le pourcentage de points Ai ayant un vecteur commun, par exemple
x t - 100 x 13/16 - 81 %
Cette technique assouplit la méthode en éliminant les points isolés, en évitant de condamner un bloc en bordure de contour, en assurant une segmentation plus large... Bien entendu, la valeur x t se déduit de la qualité d'image finale obtenue car plus on inclut de points n'ayant pas le vecteur représentant, plus il y aura d'erreur à la reconstruction.In practice, any position of EA is declared vector that can represent the block Ai if the cumulative curve reaches xtx 16. The parameter xt (104) defines the percentage of points Ai having a common vector, for example
xt - 100 x 13/16 - 81%
This technique relaxes the method by eliminating the isolated points, avoiding to condemn a block at the edge of the contour, ensuring a wider segmentation ... Of course, the value xt is deduced from the final image quality obtained because the more one includes points that do not have the representative vector, plus there will be error in the reconstruction.
Comme représenté en figure 10, quand le dernier point d'un bloc élémentaire 4x4 est traité, l'additionneur 107 fournit le cumul des vecteurs candidats des points Al à A16. Ce cumul, de valeur [0, 16), n'est pas ecrit en mémoire de cumul 103 (limitée à 4 bits), mais orienté vers un opérateur qui compare le résultat par adresse avec le seuil 104 préalablement déterminé. As shown in FIG. 10, when the last point of a 4x4 elementary block is processed, the adder 107 provides the cumulative candidate vectors of the points A1 to A16. This cumulative value [0, 16] is not written in cumulative memory 103 (limited to 4 bits), but is oriented towards an operator who compares the result by address with the threshold 104 previously determined.
Des qu'une adresse possède un contenu supérieur au seuil 104, on admet cette adresse comme vecteur représentant un bloc courant. Alors, à cette adresse, le contenu d'une mémoire 105 des vecteurs représentant le bloc 4x4 (mémoire préalablement initialisée à 0) est mis à 1. As soon as an address has a content greater than the threshold 104, this address is allowed as a vector representing a current block. Then, at this address, the contents of a memory 105 of the vectors representing the 4x4 block (memory previously initialized to 0) is set to 1.
Cette mémoire 105 possède 256x256 adresses, de contenu 1 bit. This memory 105 has 256x256 addresses, of 1-bit content.
L'étape qui vient d'être décrite, associe à un bloc 4x4 ses vecteurs représentants sous la forme d'un tableau 256x256 (105). The step just described associates with a 4x4 block its representative vectors in the form of a table 256x256 (105).
Pour fusionner ce bloc avec ses voisins immédiats, la duree de vie du tableau témoin 256x256 (105) doit permettre le regroupement des points d'image par bloc 32x32, soit 8blocs 4x4 horizontaux et 8 blocs 4x4 verticaux. Afin d'éviter un volume matériel considérable, on réalise avantageusement une compression de données 108 en transformant tout tableau 256x256 (105) r;ous forme de vecteurs associés à deux valeurs (horizontale et verticale) de dispersion (figure 11). To merge this block with its immediate neighbors, the lifetime of the 256x256 control panel (105) should allow the clustering of the 32x32 block image points, 8 horizontal 4x4 blocks and 8 vertical 4x4 blocks. In order to avoid a considerable material volume, data compression 108 is advantageously performed by transforming any array 256x256 (105) into vector form associated with two values (horizontal and vertical) of dispersion (FIG. 11).
La figure 11 illustre le traitement mis en oeuvre. L'intérieur du contour en trait gras est constitué de points dont les adresses sont autant de vecteurs représentant le bloc 4x4 courant. Figure 11 illustrates the processing implemented. The inside of the outline in bold line consists of points whose addresses are as many vectors representing the current 4x4 block.
Le contour en trait gras est divisé en formes géométriques simples (carrés ou rectangles) 111, 112, 113, 114. Pour chacune d'elles, on repère un coin de la forme géométrique et la longueur des côtés adjacents. The outline in bold is divided into simple geometric shapes (squares or rectangles) 111, 112, 113, 114. For each of them, we find a corner of the geometric shape and the length of the adjacent sides.
Le coin retenu sert de référence, par exemple le coin 115 Vlx, Vly pour définir le rectangle de côtés dVlx et dVly. I1 en est de même pour les autres portions de la forme initiale
111 - Vlx, Vly, dVlx, dVly
112 = V2x, V2y, dV2x, dV2y
113 - V3x, V3y, dV3x, dV3y
114 = V4x, V4y; dV4x, dV4y
L'organisation des mémoires 108 de stockage des vecteurs sous forme comprimee (ainsi d'ailleurs que la suite du système) est calquée sur tout ce qui a été décrit jusqu'à présent.The retained corner serves as a reference, for example the corner 115 Vlx, Vly to define the rectangle of sides dVlx and dVly. It is the same for the other portions of the initial form
111 - Vlx, Vly, dVlx, dVly
112 = V2x, V2y, dV2x, dV2y
113 - V3x, V3y, dV3x, dV3y
114 = V4x, V4y; dV4x, dV4y
The organization of the memories 108 for storing the vectors in compressed form (as well as the rest of the system) is modeled on everything that has been described so far.
Les valeurs Vix, Viy sont mises en mémoire 108, V1 en mémoire 1, V2 en mémoire 2, .... The values Vix, Viy are stored in memory 108, V1 in memory 1, V2 in memory 2, ....
Une mémoire supplémentaire 109 par rapport aux traitements des points pour lesquels la dispersion est figée à + dV, contient les dispersions dVix, dViy associés à chaque vecteur Vix, Viy. An additional memory 109 with respect to the processing of the points for which the dispersion is fixed at + dV, contains the dVix, dViy dispersions associated with each vector Vix, Viy.
Ces mémoires ont pour capacité 16 bits par adresse pour les vecteurs Vix, Viy, 8 bits par These memories have the capacity of 16 bits per address for the Vix, Viy, 8 bit vectors.
Une procédure avantageuse permet d'inclure dans un bloc principal un certain nombre de blocs élémentaires isolés. Ce nombre est un pourcentage variable avec la taille du bloc principal. An advantageous procedure allows to include in a main block a number of isolated elementary blocks. This number is a variable percentage with the size of the main block.
Selon un processus analogue à celui qui traite les points d'un bloc, des blocs voisins possédant au moins un vecteur commun peuvent être fusionnés et être représentés par le (ou les) vecteur(s) commun(s). According to a process similar to that which processes the points of a block, neighboring blocks having at least one common vector can be merged and represented by the common vector (s).
Le système de fusion des blocs qui a été développé fonctionne de la façon suivante. The block fusion system that has been developed works as follows.
Nommons (figure 9) les blocs 4 x 4 par la lettre B, indicée de 2 chiffres, le premier pour la position verticale, le second pour la position horizontale. Let us name (figure 9) the blocks 4 x 4 by the letter B, indexed by 2 digits, the first for the vertical position, the second for the horizontal position.
L'algorithme de fusion procédure de la gauche vers la droite et du haut vers le bas. The procedure merges algorithm from left to right and from top to bottom.
Si Bill, B12, B21 et B22 ont au moins vecteur commun, ces blocs sont fusionnés et représentés par le (ou les) vecteur(s) commun(s). Si l'un au moins de ces blocs ne répond pas au critère de vecteur commun, la fusion n'a pas lieu. Dans ce cas, la recherche reprend à partir de B12. If Bill, B12, B21 and B22 have at least one common vector, these blocks are merged and represented by the common vector (s). If at least one of these blocks does not meet the common vector criterion, the merge does not occur. In this case, the search resumes from B12.
Si la fusion a eu lieu, on cherche à agrandir l'ensemble des 4 premiers blocs avec l'apport des 5 voisins immédiats, B 13, B 23, B 31, B 32, B 33. Pour réaliser cela, 4 au moins de ces 5 nouveaux blocs doivent posséder au moins un même vecteur commun avec le groupe initial. La condition "4 au moins" peut éventuellement être moins stricte et devenir "3 au moins". If the merger took place, we try to enlarge all the first 4 blocks with the contribution of 5 immediate neighbors, B 13, B 23, B 31, B 32, B 33. To achieve this, 4 at least these 5 new blocks must have at least one common vector with the initial group. Condition "4 at least" may possibly be less strict and become "3 at least".
Si la fusion des 9 blocs n'est pas possible, le processus ci-dessus repart de B 13. If the merging of the 9 blocks is not possible, the above process starts again from B 13.
Si la fusion des 9 blocs est possible, on cherche à rajouter les 7 blocs voisins immédiats qui sont
B 14, B 24, B 34, B 41, B 41, B 43 et B 44. Pour réaliser cette nouvelle fusion, 5 au moins (par exemple) de ces 7 nouveaux blocs doivent posséder au moins un vecteur commun avec le groupe précédent de 9 blocs.If the fusion of the 9 blocks is possible, we try to add the 7 immediate neighboring blocks which are
B 14, B 24, B 34, B 41, B 41, B 43 and B 44. To achieve this new fusion, at least 5 (for example) of these 7 new blocks must have at least one common vector with the previous group. of 9 blocks.
Si ce critère est vérifié, on obtient ainsi un bloc de 16 x 16 points d'image ayant au moins un vecteur commun. If this criterion is verified, we obtain a block of 16 x 16 image points having at least one common vector.
La fusion se poursuit avec les poins Bi5 (i = 1, ...5) et B5 (j =
Les blocs 4 x 4 en bord d'image se voient systématiquement affecter des vecteurs-vitesse des blocs adjacents (qui ne sont pas eux-mêmes en bord d'image).The merge continues with the points Bi5 (i = 1, ... 5) and B5 (j =
The 4 x 4 blocks at the edge of the image are systematically assigned velocity vectors of the adjacent blocks (which are not themselves at the edge of the image).
Cette procédure élimine tous les blocs 4 x 4 en bord d'image. L'avantage est d'éviter une augmentation importante et inutile du codage de ces blocs.This procedure removes all 4x4 blocks at the edge of the image. The advantage is to avoid a significant and unnecessary increase in the coding of these blocks.
Un exemple de réalisation materielle est schématisé dans le module 120 de la figure 10. An exemplary physical embodiment is shown schematically in module 120 of FIG.
En application du principe de regroupement qui vient d'être décrit, on crée des blocs de taille progressive, regroupant d'abord les blocs élémentaires 4x4 points en blocs 8x8 points, puis 12x12 points, puis 16x16 points.... jusqu'd 32x32 points. In application of the grouping principle that has just been described, we create blocks of progressive size, grouping first the elementary blocks 4x4 points in blocks 8x8 points, then 12x12 points, then 16x16 points .... up to 32x32 points.
Le regroupement recherché en premier est un bloc 8x8 que l'on étendra progressivement. The grouping sought first is an 8x8 block that will be expanded gradually.
La phase de validation 121 est analogue à celle décrite précédemment en 101. La seule différence réside dans la dispersion modulée individuellement par vecteur représentant un bloc 4x4. The validation phase 121 is analogous to that previously described in 101. The only difference lies in the individually modulated dispersion representing a 4x4 block vector.
Les mémoires intermédiaires 122 et de cumul 123, ainsi que leurs environnements de calcul 127 et de gestion, sont identiques aux descriptions précédentes, sauf la mémoire de calcul qui est portée à 6 bits par adresse (un regroupement 32x32 points équivaut à sommer les vecteurs de 64 blocs élémentaires 4x4 à partir du contenu 1 bit de la mémoire intermédiaire 122). The intermediate memories 122 and accumulators 123, as well as their computing environments 127 and management, are identical to the preceding descriptions, except the calculation memory which is increased to 6 bits per address (a 32x32 points grouping is equivalent to summing the vectors of 64 4x4 elementary blocks from the 1-bit content of the intermediate memory 122).
A l'équivalent du traitement effectué sur les blocs 4x4, quand un bloc de taille supérieure est complet, le cumul est comparé à un seuil, 124 (dépendant éventuellement de la taille du bloc traite). At the equivalent of the processing performed on the 4x4 blocks, when a larger block is complete, the accumulation is compared to a threshold, 124 (possibly depending on the size of the processed block).
Trois cas, 131, 132, 133, peuvent alors se présenter
1. (131) Si le seuil est atteint et si le regroupement des blocs est inférieur à 32x32 points (8x8 blocs élémentaires de 4x4 points), alors on cherche à accroître le regroupement en associant au regroupement constitué les blocs 4x4 adjacents.Three cases, 131, 132, 133, can then occur
1. (131) If the threshold is reached and if the grouping of the blocks is less than 32x32 points (8x8 elementary blocks of 4x4 points), then we try to increase the grouping by associating the group consisting of the adjacent 4x4 blocks.
2. (132) Si le seuil n'est pas atteint, un regroupement supérieur est impossible. On met en mémoire le dernier regroupement ayant permis d'atteindre le seuil ainsi que le vecteur correspondant. 2. (132) If the threshold is not reached, a higher grouping is impossible. We put in memory the last grouping which made it possible to reach the threshold as well as the corresponding vector.
3. (133) Si le seuil est atteint et si le regroupement des blocs est égal à la taille maximale retenue pour le système (dans l'exemple, 32X32 points), on met en mémoire le bloc final et son vecteurreprésentant. 3. (133) If the threshold is reached and if the grouping of the blocks is equal to the maximum size selected for the system (in the example, 32X32 points), the final block and its representative vector are stored in memory.
Une mémoire 125 de dimension (N/4) x 8 contient les coordonnées de chaque bloc (21 bits pour une image
Haute Définition) et le vecteur représentant (16 bits).A memory 125 of dimension (N / 4) x 8 contains the coordinates of each block (21 bits for an image
High Definition) and the representative vector (16 bits).
Les dimensions de cette mémoire 125 sont données pour le regroupement le plus défavorable, c'està-dire uniquement des blocs de 4x4 points. The dimensions of this memory 125 are given for the most unfavorable grouping, that is to say only blocks of 4x4 points.
A partir de la segmentation ainsi réalisée, on peut imaginer un algorithme de codage 126, par exemple 3 bits pour la taille du bloc (4x4, 8x8, 12x12, 16x16, 32x32) et 16 bits pour le vecteur représentant (ou une représentation inférieure à 16 bits si l'on diminue la précision du vecteur, 1/8, ou sa dynamique, + 15). From the segmentation thus produced, it is possible to imagine an encoding algorithm 126, for example 3 bits for the size of the block (4x4, 8x8, 12x12, 16x16, 32x32) and 16 bits for the vector representing (or a representation less than 16 bits if we decrease the precision of the vector, 1/8, or its dynamics, + 15).
Descrition d'une seconde variante de l'invention
Selon une seconde variante du procédé de segmentation suivant l'invention, on réalise tout d'abord une sélection d'un nombre donné de vecteursreprésentants-candidats au sein de zones d'image, puis on réalloue ces vecteurs sélectionnés à chacun des blocs d'image de la zone.Descrition of a second variant of the invention
According to a second variant of the segmentation method according to the invention, a selection of a given number of candidate-representative vectors within image areas is first carried out, then these selected vectors are reallocated to each of the blocks of data. picture of the area.
Par zone d'images HD (1/16 d'image), on sélectionne L vecteurs indépendants, c'est-à-dire suffisamment éloignés pour ne pas recouvrir les mêmes points d'image. Par exemple, pour les images 4-2-2, sources des simulations actuelles, une zone d'image est un quart d'image et L est fixé à 8. By area of HD images (1/16 of image), L independent vectors are selected, that is to say, sufficiently distant to not cover the same image points. For example, for 4-2-2 images, sources of current simulations, an image area is a quarter of an image and L is set to 8.
Pour chaque zone, la méthode de sélection est la suivante
1 - Histogramme 2D des vecteurs mouvement préalablement filtrés médian (le filtre utilisé est avantageusement un filtre "losange" 5 x 5).For each zone, the selection method is as follows
1 - 2D histogram of the previously filtered median motion vectors (the filter used is advantageously a "diamond" filter 5 x 5).
De plus, on peut éliminer certaines valeurs de cet histogramme : les vecteurs "faibles" ou "trop grands" peuvent être traités par les voies linéaires. Moreover, certain values of this histogram can be eliminated: the "weak" or "too large" vectors can be processed by the linear channels.
2 - Lissage de cet histogramme en vue d'éliminer les petits pics proches. Une fenêtre glissante. 2 - Smoothing this histogram to eliminate small peaks close. A slippery window.
2D balaye l'histogramme et pour chaque point cournant (Vx, Vy) centre de al fenêtre, on intègre les valeurs du compteur sur (Vx - E , Vx + > x(Vy - , Vy + i, ) par exemple : g = 1/2 ;
on rappelle que la précision des vecteurs est de 1/8).2D scans the histogram and for each point cournant (Vx, Vy) center of al window, one integrates the values of the counter on (Vx - E, Vx +> x (Vy -, Vy + i,) for example: g = 1/2;
remember that the accuracy of the vectors is 1/8).
3 - Sélection de pics sur les valeurs résultantes de l'histogramme. 3 - Selection of peaks on the resulting values of the histogram.
Pour cela, on ne garde que les points présentant un maximum local, c'est-à-dire dans les simulations actuelles, les vecteurs (Vx, Vy) où le compteur est maximum sur le voisinage 3 x 3 dont (Vx, Vy) est le centre. For that, one keeps only the points presenting a local maximum, that is to say in the current simulations, the vectors (Vx, Vy) where the counter is maximum on the neighborhood 3 x 3 of which (Vx, Vy) is the center.
Les vecteurs correspondant aux 8 plus grandes valeurs de l'histogramme sont sélectionnés comme représentants de la zone. Lorsqu'un vecteur est sélectionné, la zone à + autour de ce vecteur n'est plus prise en compte dans la recherche des autres maxima. The vectors corresponding to the 8 largest values of the histogram are selected as representatives of the area. When a vector is selected, the area around this vector is no longer taken into account in the search for other maxima.
Les vecteurs qui ne correspondent pas à un de ces représentants à +E ne sont pas pris en compte (ils ne sont pas transmis). Dans la suite de la description, on parlera de "vecteurs noirs". Vectors that do not correspond to one of these + E representatives are not taken into account (they are not transmitted). In the rest of the description, we will speak of "black vectors".
L'étape de réallocation des vecteurs sélectionnés, est avantageusement réalisée selon une méthode de réallocation "multi niveaux" par bloc image inspirée des méthodes "split and merge" (division et aggrégation). The step of reallocating the selected vectors is advantageously carried out according to a "multi-level" reallocation method by image block inspired by the "split and merge" methods (division and aggregation).
Cette méthode a pour premier but d'avoir le plus grand nombre possible de blocs de taille maximale avec un seul vecteur-mouvement représentant (éventuellement "vecteur noir", ce cas est alors traité par une voie linéaire dans le cas d'un choix a priori). The main goal of this method is to have as many maximum size blocks as possible with a single vector-motion representing (possibly "black vector", this case is then treated by a linear path in the case of a choice a priori).
La taille maximale M x M des blocs est fixée par la méthode de codage hiérarchique de l'information de mouvement. En effet, cette méthode permet de réduire d'autant plus le nombre d'éléments binaires transmis que les blocs homogènes en information de mouvement sont grands.The maximum size M x M of the blocks is fixed by the method of hierarchical coding of the motion information. Indeed, this method makes it possible to reduce all the more the number of transmitted bits as the homogeneous blocks in motion information are large.
Le deuxième but de cette méthode de réallocation est de nécessiter le moins de calculs possibles, du type du calcul d'une DFD. The second goal of this reallocation method is to require as few calculations as possible, of the type of calculation of a DFD.
Ces deux buts conduisent à une méthode de réallocation en deux phases
1 - Réallocation d'un mouvement sélectionné sur un critère de majorité de V + & par bloc image.These two goals lead to a two-phase reallocation method
1 - Reallocation of a selected movement on a majority criterion of V + & by image block.
2 - Réallocation d'un mouvement élu selon l'environnement proche ou en dernier recours sur un critère d'erreur minimale (fonction de la DFD) aux blocs sans vecteur suite à la première phase. 2 - Reallocation of a movement elected according to the near environment or as a last resort on a criterion of minimal error (function of the DFD) to the blocks without vector following the first phase.
Pour chacune de ces phases, la réallocation se fait pour des blocs de différentes tailles, d'où l'appellation de réallocation multi niveaux, le nombre de niveaux étant égal à (log2 M - 1). A titre d'exemple, on choisit M - 16 , pour la description suivante d'un mode préférentiel de mise en oeuvre. For each of these phases, the reallocation is done for blocks of different sizes, hence the name of multi-level reallocation, the number of levels being equal to (log2 M-1). By way of example, M-16 is chosen for the following description of a preferred mode of implementation.
En d'autres termes, ladite première phase du processus de réallocation des VRC consiste à effectuer une opération itérative de recherche d'un VRC le plus représentatif au sein de blocs d'images de taille 2m n x 2.n éléments d'images, et à défaut, à décomposer ledit bloc en quatre sous-blocs de taille 2m~l.n x 2l.n, pour une nouvelle itération de tentative de recherche d'un VRC le plus représentatif sur chacun desdits sous-blocs. In other words, said first phase of the HRV reallocation process consists in performing an iterative search operation of a most representative HRV within image blocks of size 2m nx 2.n image elements, and failing this, to break said block into four sub-blocks of size 2m ~ ln x 2l.n, for a new iteration of trying to find a VRC most representative on each of said sub-blocks.
Pour la réalisation de cette première phase, on réalloue un vecteur sélectionné, ou "noir", à un bloc si ce vecteur (+ ) est majoritaire à un certain pourcentage dans le bloc (ex : 75 2)
L'image est tout d'abord découpée en blocs de taille 16 x 16 au cours d'un premier niveau de travail.For the realization of this first phase, one reallocates a vector selected, or "black", to a block if this vector (+) is majority to a certain percentage in the block (ex: 75 2)
The image is first cut into blocks of size 16 x 16 during a first level of work.
On essaye de réallouer un vecteur majoritaire V + , à , + X1% à chacun des blocs. Les blocs sans vecteur, i.e les blocs "noirs" seront traités aux niveaux suivants. A titre d'exemple numérique, on peut prendre X1 - 75%, 1 1 0,5
Au cours d'un second niveau de travail, l'image est découpée en blocs de taille 8 x 8, en phase avec le niveau 1. A chaque bloc correspondant à un bloc noir du niveau 1, on essaye de réallouer un vecteur majoritaire (+ 2) à X2 %, X2 < X1
Les blocs noirs resultants, c'est-à-dire sans vecteur sélectionné majoritaire, seront traités au niveau suivant.We try to reallocate a majority vector V +, at, + X1% to each of the blocks. Blocks without vector, ie "black" blocks will be processed at the following levels. As a numerical example, we can take X1 - 75%, 1 1 0.5
During a second level of work, the image is cut into blocks of size 8 x 8, in phase with level 1. At each block corresponding to a black block of level 1, we try to reallocate a majority vector ( + 2) at X2%, X2 <X1
The resulting black blocks, that is to say without majority selected vector, will be processed at the next level.
Au troisième niveau, on réalise la même opération que précédemment avec des blocs de taille 4 x 4. Cette taille de bloc est la plus petite acceptable. In the third level, the same operation as before is carried out with blocks of size 4 x 4. This block size is the smallest acceptable.
En fin de phase 1 on se retrouve avec des blocs 16 x 16, 8 x 8, 4 x 4, soit contenant un des L représentants, soit "noirs". La phase 2 consiste à réallouer un vecteur aux blocs noirs selon l'environnement ou sur un critère de DFD minimale. At the end of phase 1 we end up with blocks 16 x 16, 8 x 8, 4 x 4, either containing one of the L representatives, or "blacks". Phase 2 consists of reallocating a vector to black blocks according to the environment or a minimum DFD criterion.
Au cours de cette deuxième phase, on réalloue un vecteur sélectionné à chaque bloc noir sur un critère "vecteurs voisins égaux" ou si ce n'est le cas sur un critère d'erreur inférieur à un seuil ou minimale. During this second phase, a vector is reassigned to each black block on a criterion "equal neighbors vectors" or if it is the case on a criterion of error below a threshold or minimum.
L'erreur est une fonction de la somme des différences interimages déplacées entre image compensée et image originale sur le bloc considéré. (Par exemple : 7 DFD2,
EIDFDl, maxlDFDl)
Là encore, la réallocation se fait à différents niveaux de découpage, chaque niveau étant en phase avec le niveau supérieur.The error is a function of the sum of the inter-image differences displaced between the compensated image and the original image on the block considered. (For example: 7 DFD2,
EIDFDl, maxlDFDl)
Here again, the reallocation is done at different levels of division, each level being in phase with the higher level.
Au cours d'un premier niveau, la réallocation d'un vecteur aux blocs noirs 4 x 4, s'effectue de la manière suivante
- Si les trois voisins du bloc 4 x 4, tel que l'ensemble des quatre blocs soit inclus dans le bloc 8 x 8 du niveau supérieur, sont affectés d'un même vecteur, on lui affecte ce vecteur (si une information de mouvement, issue d'une voie d'estimation a priori, "pilote" la chaine, il faut s'assurer que l'erreur résultante est inférieure à un seuil).During a first level, the reallocation of a vector to 4 x 4 black blocks is done as follows
- If the three neighbors of the 4 x 4 block, such as all four blocks are included in the 8 x 8 block of the upper level, are assigned a same vector, it is assigned this vector (if a motion information , resulting from a prior estimation channel, "pilot" the chain, it must be ensured that the resulting error is less than a threshold).
- si les trois voisins sont noirs, on laisse le bloc 4 x 4 à noir t son cas sera peut être réglé au niveau supérieur des blocs 8 x 8. - if the three neighbors are black, we leave the block 4 x 4 to black t his case will be can be set to the upper level of 8 x 8 blocks.
- si ces trois voisins ne sont pas égaux, on essaye de lui allouer un vecteur sélectionné selon le critère d'erreur minimale choisi. if these three neighbors are not equal, we try to allocate a selected vector according to the minimum error criterion chosen.
Au cours d'un second niveau de travail, la même opération qu'au niveau 1 est répétée pour les blocs 8 x 8 noirs, et on regarde alors les trois voisins du bloc 16 x 16 correspondant au niveau supérieur. During a second level of work, the same operation as at level 1 is repeated for the 8 x 8 black blocks, and we then look at the three neighbors of the 16 x 16 block corresponding to the upper level.
Au niveau 3, et dans le cas où l'on choisit un critère d'erreur minimale, les seuls blocs "noirs" restant à ce niveau sont des blocs 16 x 16, et on tente de leur réallouer un vecteur sur ce même critère. At level 3, and in the case where we choose a minimum error criterion, the only "black" blocks remaining at this level are 16 x 16 blocks, and we try to reallocate a vector on the same criterion.
Dans le cas où l'erreur minimale doit être inférieure à un seuil, les blocs sans vecteurs, i.e les blocs noirs sont de taille 4 x 4, 8 x 8 et 16 x 16. Le cas des blocs 4 x 4 et 8 x 8 a été traité précédemment, et on essaye d'allouer un vecteur aux blocs noirs 16 x 16 sur le critère d'erreur minimale à un seuil. Avec ce critère, tous les blocs sans vecteur représentant seront traités par les voies linéaires. In the case where the minimum error must be less than a threshold, the blocks without vectors, ie the black blocks are of size 4 x 4, 8 x 8 and 16 x 16. The case of the blocks 4 x 4 and 8 x 8 has been treated previously, and we try to allocate a vector to 16 x 16 black blocks on the minimum error criterion at a threshold. With this criterion, all blocks without representative vector will be processed by the linear channels.
Claims (21)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR8803639A FR2628864B1 (en) | 1988-03-21 | 1988-03-21 | METHOD FOR SEGMENTATION OF A FIELD OF SPEED VECTORS, IN PARTICULAR OF SPEEDS FOR MOVING POINTS OF AN IMAGE IN A SEQUENCE OF IMAGES |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR8803639A FR2628864B1 (en) | 1988-03-21 | 1988-03-21 | METHOD FOR SEGMENTATION OF A FIELD OF SPEED VECTORS, IN PARTICULAR OF SPEEDS FOR MOVING POINTS OF AN IMAGE IN A SEQUENCE OF IMAGES |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR2628864A1 true FR2628864A1 (en) | 1989-09-22 |
| FR2628864B1 FR2628864B1 (en) | 1990-06-15 |
Family
ID=9364452
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR8803639A Expired - Lifetime FR2628864B1 (en) | 1988-03-21 | 1988-03-21 | METHOD FOR SEGMENTATION OF A FIELD OF SPEED VECTORS, IN PARTICULAR OF SPEEDS FOR MOVING POINTS OF AN IMAGE IN A SEQUENCE OF IMAGES |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR2628864B1 (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2648979A1 (en) * | 1989-06-27 | 1990-12-28 | Thomson Consumer Electronics | METHOD OF SEGMENTING THE MOTION FIELD OF AN IMAGE AND ITS APPLICATION TO VIDEO IMAGE CODING |
| EP0448449A1 (en) * | 1990-03-20 | 1991-09-25 | France Telecom | Method and device for movement estimation of digital high definition television pictures |
| EP0619552A1 (en) * | 1993-04-07 | 1994-10-12 | Laboratoires D'electronique Philips S.A.S. | Object motion estimation device and process in animated successive pictures subdivided in bidimensional image element blocs |
| WO1995031071A1 (en) * | 1994-05-10 | 1995-11-16 | Kaleida Labs, Inc. | Scalable pixel distribution image coding system for compression and decompression of images |
| EP0707427A2 (en) * | 1994-10-13 | 1996-04-17 | AT&T Corp. | Method and apparatus for a region-based approach to coding a sequence of video images |
| WO1997016025A1 (en) * | 1995-10-20 | 1997-05-01 | Nokia Mobile Phones Ltd. | Motion vector field coding |
| FR2762699A1 (en) * | 1997-04-24 | 1998-10-30 | Mitsubishi Electric Corp | METHOD AND APPARATUS FOR CODING AND DECODING MOBILE IMAGES, BASED ON REGIONS |
| CN1107413C (en) * | 1995-10-20 | 2003-04-30 | 诺基亚流动电话有限公司 | Motion vector field coding |
| CN109919126A (en) * | 2019-03-19 | 2019-06-21 | 北京鑫洋泉电子科技有限公司 | A kind of mobile object detection method, device and storage medium |
| US10647661B2 (en) | 2017-07-11 | 2020-05-12 | Vertex Pharmaceuticals Incorporated | Carboxamides as modulators of sodium channels |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1987005770A1 (en) * | 1986-03-19 | 1987-09-24 | British Broadcasting Corporation | Video signal processing for bandwidth reduction |
-
1988
- 1988-03-21 FR FR8803639A patent/FR2628864B1/en not_active Expired - Lifetime
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1987005770A1 (en) * | 1986-03-19 | 1987-09-24 | British Broadcasting Corporation | Video signal processing for bandwidth reduction |
Non-Patent Citations (3)
| Title |
|---|
| ICC'84 - IEEE INTERNATIONAL CONFERENCE ON COMMUNICATIONS, "Links for the Future Science, Systems & Services for Communications", 14-17 mai 1984, Amsterdam, Proceedings, vol. 2, pages 707-710, IEEE, New York, US; A.FURUKAWA et al.: "Motion-adaptive interpolation for videoconference pictures" * |
| IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. PAMI-2, no. 6, novembre 1980, pages 516-522, IEEE, New York, US; S.TSUJI et al.: "Tracking and segmentation of moving objects in dynamic line images" * |
| PROCEEDINGS OF THE INTERNATIONAL CONFERENCE ON COMMUNICATIONS - ICC'84, Amsterdam, 14-17 mai 1984, "Links for the Future Science, Systems & Services for Communications", partie 1, pages 703-706, IEEE, New York, US; D.R.WALKER et al.: "New techniques in pel-recursive motion compensation" * |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0406074A1 (en) * | 1989-06-27 | 1991-01-02 | THOMSON multimedia | Image movement field segmentation process for video image coding |
| WO1991000577A1 (en) * | 1989-06-27 | 1991-01-10 | Thomson Consumer Electronics S.A. | Method for segmenting the field of motion of an image and its application to the coding of video images |
| US5193001A (en) * | 1989-06-27 | 1993-03-09 | Thomson Consumer Electronics | Method of segmenting the field of motion of an image and its application to the encoding of video images |
| FR2648979A1 (en) * | 1989-06-27 | 1990-12-28 | Thomson Consumer Electronics | METHOD OF SEGMENTING THE MOTION FIELD OF AN IMAGE AND ITS APPLICATION TO VIDEO IMAGE CODING |
| EP0448449A1 (en) * | 1990-03-20 | 1991-09-25 | France Telecom | Method and device for movement estimation of digital high definition television pictures |
| FR2660141A1 (en) * | 1990-03-20 | 1991-09-27 | France Etat | METHOD AND SYSTEM FOR MOTION ESTIMATING FOR HIGH DEFINITION DIGITAL TELEVISION IMAGES. |
| US5245423A (en) * | 1990-03-20 | 1993-09-14 | Centre National D'etudes Des Telecommunications | Movement estimation method and system for high definition digital television frames |
| EP0619552A1 (en) * | 1993-04-07 | 1994-10-12 | Laboratoires D'electronique Philips S.A.S. | Object motion estimation device and process in animated successive pictures subdivided in bidimensional image element blocs |
| FR2703802A1 (en) * | 1993-04-07 | 1994-10-14 | Philips Electronique Lab | Apparatus for motion estimation between successive images of an animated image sequence subdivided into two-dimensional blocks of pixels. |
| US5555033A (en) * | 1993-04-07 | 1996-09-10 | U.S. Philips Corporation | Method and device for estimating motion of objects in successive animated images subdivided into tow-dimensional blocks of pixels |
| US5585944A (en) * | 1994-05-10 | 1996-12-17 | Kaleida Labs, Inc. | Method for compressing and decompressing images by subdividing pixel color distributions |
| WO1995031071A1 (en) * | 1994-05-10 | 1995-11-16 | Kaleida Labs, Inc. | Scalable pixel distribution image coding system for compression and decompression of images |
| EP0707427A2 (en) * | 1994-10-13 | 1996-04-17 | AT&T Corp. | Method and apparatus for a region-based approach to coding a sequence of video images |
| EP0707427A3 (en) * | 1994-10-13 | 1997-10-29 | At & T Corp | Method and apparatus for a region-based approach to coding a sequence of video images |
| WO1997016025A1 (en) * | 1995-10-20 | 1997-05-01 | Nokia Mobile Phones Ltd. | Motion vector field coding |
| US6163575A (en) * | 1995-10-20 | 2000-12-19 | Nokia Mobile Phones Limited | Motion vector field coding |
| CN1107413C (en) * | 1995-10-20 | 2003-04-30 | 诺基亚流动电话有限公司 | Motion vector field coding |
| FR2762699A1 (en) * | 1997-04-24 | 1998-10-30 | Mitsubishi Electric Corp | METHOD AND APPARATUS FOR CODING AND DECODING MOBILE IMAGES, BASED ON REGIONS |
| US6633611B2 (en) | 1997-04-24 | 2003-10-14 | Mitsubishi Denki Kabushiki Kaisha | Method and apparatus for region-based moving image encoding and decoding |
| US10647661B2 (en) | 2017-07-11 | 2020-05-12 | Vertex Pharmaceuticals Incorporated | Carboxamides as modulators of sodium channels |
| US11603351B2 (en) | 2017-07-11 | 2023-03-14 | Vertex Pharmaceuticals Incorporated | Carboxamides as modulators of sodium channels |
| CN109919126A (en) * | 2019-03-19 | 2019-06-21 | 北京鑫洋泉电子科技有限公司 | A kind of mobile object detection method, device and storage medium |
| CN109919126B (en) * | 2019-03-19 | 2023-07-25 | 北京鑫洋泉电子科技有限公司 | Method and device for detecting moving object and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| FR2628864B1 (en) | 1990-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0406074B1 (en) | Image movement field segmentation process for video image coding | |
| EP2446628B1 (en) | Method for decoding images, decoding devices, and corresponding computer program | |
| EP0627693B1 (en) | Apparatus for segmenting images composed of textures | |
| EP3707676A1 (en) | Method for estimating the installation of a camera in the reference frame of a three-dimensional scene, device, augmented reality system and associated computer program | |
| WO1991003797A1 (en) | Method and device for estimation and hierarchical coding of the motion of image sequences | |
| CN108764244B (en) | Potential target area detection method based on convolutional neural network and conditional random field | |
| CN112767466A (en) | Light field depth estimation method based on multi-mode information | |
| EP0321356A1 (en) | Multiple prediction method for estimating the movement of points in an electronic image | |
| FR2628864A1 (en) | Segmentation of point velocity vectors in image sequence - segmenting velocity data based on movement prediction to generate representative vector for processing | |
| CN111488932A (en) | Self-supervision video time-space characterization learning method based on frame rate perception | |
| KR102466061B1 (en) | Apparatus for denoising using hierarchical generative adversarial network and method thereof | |
| EP0276603B1 (en) | Digital signal coding and transmission method by way of timed selective refreshing of a vectorial quantizer | |
| EP0545475B1 (en) | Method and apparatus for synthesizing texture signals | |
| CN117173037B (en) | Neural network structure automatic search method for image noise reduction | |
| FR2628276A1 (en) | METHOD FOR REDUCING THE FLOW OF A DATA SEQUENCE ASSISTING THE RECONSTITUTION OF AN ELECTRONIC IMAGE FROM A SUB-SAMPLE SIGNAL | |
| EP0364333A1 (en) | Method and apparatus for radar plot validation with self-adapting updating | |
| FR2703802A1 (en) | Apparatus for motion estimation between successive images of an animated image sequence subdivided into two-dimensional blocks of pixels. | |
| EP0542335B1 (en) | Device for estimating movement between animated images subdivided into two-dimensional pixed blocks | |
| EP3918576A1 (en) | Dynamic three-dimensional imaging method | |
| FR2680931A1 (en) | METHOD FOR DETECTING AND TRACKING MOVING OBJECTS BY ANALYZING IMAGE SEQUENCES. | |
| EP0567377B1 (en) | Tracking process from deformable element images and/or images with highly noisy edges | |
| Guo et al. | Incremental Neural Implicit Representation with Uncertainty-Filtered Knowledge Distillation | |
| Mathew et al. | A Survey on Image Denoising Techniques | |
| FR2744586A1 (en) | Analysis method for moving image of pixels of given intensity | |
| FR2925815A1 (en) | Object's symmetrical hierarchical movement estimating method for use in video encoder, involves selecting movement vector of block of pixels as spatial candidate movement vector of block of pixels of sub-sampled image layer of higher level |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TP | Transmission of property | ||
| ST | Notification of lapse |