FR3132585A1 - Method for detecting interactions between several elements of interest - Google Patents
Method for detecting interactions between several elements of interest Download PDFInfo
- Publication number
- FR3132585A1 FR3132585A1 FR2201034A FR2201034A FR3132585A1 FR 3132585 A1 FR3132585 A1 FR 3132585A1 FR 2201034 A FR2201034 A FR 2201034A FR 2201034 A FR2201034 A FR 2201034A FR 3132585 A1 FR3132585 A1 FR 3132585A1
- Authority
- FR
- France
- Prior art keywords
- interest
- elements
- pair
- points
- belonging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000001514 detection method Methods 0.000 claims abstract description 15
- 238000012512 characterization method Methods 0.000 claims abstract description 8
- 210000000707 wrist Anatomy 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 15
- 241001465754 Metazoa Species 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013213 extrapolation Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 210000000038 chest Anatomy 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 210000004197 pelvis Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
L’invention concerne un procédé de détection d’interactions entre plusieurs éléments d’intérêt (P1, P2, P3), par un calculateur, à partir d’une pluralité d’images comprenant les éléments d’intérêts, les images de la pluralité d’images étant acquises à des moments différents dans le temps, le procédé comprenant pour chaque image une étape de caractérisation, dans laquelle le calculateur caractérise pour chaque élément d’intérêt, une orientation de l’élément d’intérêt, et une étape de définition, dans laquelle le calculateur définit pour chaque élément d’intérêt, un espace d’appartenance (20) en fonction de l’orientation de l’élément d’intérêt caractérisée, et comprenant une étape de détection d’interactions, dans laquelle le calculateur détecte des interactions entre des éléments d’intérêt (P1, P2, P3) en fonction de la localisation relative des espaces d’appartenance (20) des éléments d’intérêt les uns par rapport aux autres dans le temps. Figure pour l’abrégé : figure 2The invention relates to a method for detecting interactions between several elements of interest (P1, P2, P3), by a computer, from a plurality of images comprising the elements of interest, the images of the plurality of images being acquired at different moments in time, the method comprising for each image a step of characterization, in which the computer characterizes for each element of interest, an orientation of the element of interest, and a step of definition, in which the computer defines for each element of interest, a membership space (20) according to the orientation of the characterized element of interest, and comprising an interaction detection step, in which the computer detects interactions between elements of interest (P1, P2, P3) according to the relative location of the spaces of belonging (20) of the elements of interest relative to each other over time. Figure for abstract: figure 2
Description
L’invention concerne le domaine de la détection d’interactions entre des éléments d’intérêt, en particulier des personnes véhiculées ou à pied, ou des animaux, par exemple dans le but de vérifier le respect d’une distanciation entre lesdits élément d’intérêts ou de détecter des échanges, communications, interactions entre lesdits élément d’intérêtsThe invention relates to the field of detecting interactions between elements of interest, in particular people transported or on foot, or animals, for example with the aim of verifying compliance with a distance between said element of interest. interests or to detect exchanges, communications, interactions between said element of interests
Il est connu de l’état de la technique de détecter des objets ou des personnes dans des images, de les suivre dans le temps, de prévoir leur trajectoire et ou leur collision, d’estimer des distances qui les séparent. Les objets ou personnes sont représentées par des boîtes ou des squelettes pour faciliter leur traitement par un calculateur. Par exemple, les distances entre les objets sont déterminées au moyen d’une mesure des distances entre les boîtes correspondantes. Les boîtes peuvent être représentées en superposition dans les images, en deux ou en trois dimensions.It is known from the state of the art to detect objects or people in images, to follow them over time, to predict their trajectory and/or their collision, to estimate the distances which separate them. Objects or people are represented by boxes or skeletons to facilitate their processing by a calculator. For example, distances between objects are determined by measuring the distances between corresponding boxes. Boxes can be represented superimposed in images, in two or three dimensions.
Parfois, des cercles sont associés aux éléments d’intérêt, un cercle centré sur un élément d’intérêt marquant une limite de territoire autour dudit élément d’intérêt. Une telle limite de territoire permet par exemple de représenter une distance sociale à respecter. Les cercles sont représentés dans les images en trois dimensions ou approximées en ellipses en deux dimensions. Ces cercles ne permettent pas de détecter avec fiabilité des interactions entre plusieurs éléments d’intérêt car l’orientation des éléments d’intérêt n’est pas prise en compte.Sometimes circles are associated with features of interest, with a circle centered on an feature of interest marking a boundary of territory around said feature of interest. Such a territorial limit makes it possible, for example, to represent a social distance to be respected. Circles are represented in three-dimensional images or approximated as two-dimensional ellipses. These circles do not make it possible to reliably detect interactions between several elements of interest because the orientation of the elements of interest is not taken into account.
L’invention vise à résoudre les problèmes susmentionnés de l’état de la technique en proposant un procédé.The invention aims to solve the aforementioned problems of the state of the art by proposing a method.
L’invention porte sur un procédé de détection d’interactions entre plusieurs éléments d’intérêt, par un calculateur, à partir d’une pluralité d’images comprenant les éléments d’intérêts, les images de la pluralité d’images étant acquises à des moments différents dans le temps, le procédé comprenant pour chaque image les étapes suivantes :
- une étape de caractérisation, dans laquelle le calculateur caractérise pour chaque élément d’intérêt, une orientation de l’élément d’intérêt,
- une étape de définition, dans laquelle le calculateur définit pour chaque élément d’intérêt, un espace d’appartenance en fonction de l’orientation de l’élément d’intérêt caractérisée,
et comprenant une étape de détection d’interactions, dans laquelle le calculateur détecte des interactions entre des éléments d’intérêt en fonction de la localisation relative des espaces d’appartenance des éléments d’intérêt les uns par rapport aux autres dans le temps.The invention relates to a method for detecting interactions between several elements of interest, by a calculator, from a plurality of images comprising the elements of interest, the images of the plurality of images being acquired at different moments in time, the process comprising for each image the following steps:
- a characterization step, in which the calculator characterizes for each element of interest, an orientation of the element of interest,
- a definition step, in which the calculator defines for each element of interest, a space of belonging according to the orientation of the element of interest characterized,
and comprising an interaction detection step, in which the calculator detects interactions between elements of interest as a function of the relative location of the spaces where the elements of interest belong to each other over time.
Selon un aspect de l’invention, au moins un élément d’intérêt est une personne et le procédé de détection d’interactions comprend pour chaque élément d’intérêt étant une personne, une étape de sélection dans laquelle le calculateur sélectionne des points caractéristiques définissant l’élément d’intérêt, les points comprenant une paire de points relative à des épaules, et au moins une autre paire de points parmi une paire de points relative à des poignets et une paire de points relative à des coudes , l’orientation étant caractérisée selon un calcul fonction de la paire de points relative aux épaules et de l’au moins une autre paire de points.According to one aspect of the invention, at least one element of interest is a person and the interaction detection method comprises, for each element of interest being a person, a selection step in which the calculator selects characteristic points defining the element of interest, the points comprising a pair of points relating to shoulders, and at least one other pair of points from a pair of points relating to wrists and a pair of points relating to elbows, the orientation being characterized according to a calculation based on the pair of points relating to the shoulders and the at least one other pair of points.
Selon un aspect de l’invention, le calculateur sélectionne les trois paires de points comprenant la paire de points relative à des épaules, la paire de points relative à des poignets et la paire de points relative aux coudes, l’orientation étant caractérisée selon un calcul fonction des trois paires de points et pondéré par des poids, un premier poids étant attribué à la paire de points relative aux épaules, un deuxième poids étant attribué à la paire de points relative aux coudes et un troisième poids étant attribué à la paire de points relative aux poignets, le premier poids étant plus élevé que le deuxième poids, le deuxième poids étant plus élevé que le troisième poids.According to one aspect of the invention, the calculator selects the three pairs of points comprising the pair of points relating to the shoulders, the pair of points relating to the wrists and the pair of points relating to the elbows, the orientation being characterized according to a calculation based on the three pairs of points and weighted by weights, a first weight being assigned to the pair of points relating to the shoulders, a second weight being assigned to the pair of points relating to the elbows and a third weight being assigned to the pair of points relating to the wrists, the first weight being higher than the second weight, the second weight being higher than the third weight.
Selon un aspect de l’invention, l’orientation comprend un vecteur d’orientation, l’espace d’appartenance d’un élément d’intérêt étant défini en fonction d’un point d’ancrage référencé par rapport à l’élément d’intérêt et d’un vecteur de référence passant par le point d’ancrage, parallèle au vecteur d’orientation et de même sens, l’espace d’appartenance comprenant des limites passant par le point d’ancrage et formant un angle saillant dont le vecteur de référence est une bissectrice et le point d’ancrage le sommet.According to one aspect of the invention, the orientation comprises an orientation vector, the space of belonging of an element of interest being defined as a function of an anchor point referenced with respect to the element of interest and a reference vector passing through the anchor point, parallel to the orientation vector and of the same direction, the belonging space comprising limits passing through the anchor point and forming a salient angle of which the reference vector is a bisector and the anchor point the vertex.
Selon un aspect de l’invention, l’étape de détection d’interactions comprend la détermination d’intersections entre les espaces d’appartenance des éléments d’intérêt, une intersection entre deux espaces d’appartenance correspondant à une connexion entre les deux éléments d’intérêt associés auxdits deux espaces d’appartenance, une interaction étant détectée en fonction de plusieurs connexions dans le temps entre lesdits deux éléments d’intérêt.According to one aspect of the invention, the interaction detection step comprises the determination of intersections between the belonging spaces of the elements of interest, an intersection between two belonging spaces corresponding to a connection between the two elements of interest associated with said two membership spaces, an interaction being detected as a function of several connections over time between said two elements of interest.
Selon un aspect de l’invention, chaque espace d’appartenance est découpé en une pluralité de zones, une classe de connexion entre les deux éléments d’intérêt étant attribuée en fonction d’une localisation d’intersection des zones des deux espaces d’appartenance.According to one aspect of the invention, each belonging space is divided into a plurality of zones, a connection class between the two elements of interest being assigned according to a location of intersection of the zones of the two spaces of interest. membership.
Selon un aspect de l’invention, une interaction est détectée si un nombre prédéterminé de connexions entre lesdits deux éléments d’intérêt est détecté sur un nombre prédéfini d’images successives dans le temps.According to one aspect of the invention, an interaction is detected if a predetermined number of connections between said two elements of interest is detected over a predefined number of successive images over time.
Selon un aspect de l’invention, le procédé comprend en outre une étape d’établissement d’une liste dans laquelle le calculateur établit une liste d’éléments d’intérêt étant rentrés en interaction avec un élément d’intérêt prédéterminé en fonction d’interactions détectées.According to one aspect of the invention, the method further comprises a step of establishing a list in which the calculator establishes a list of elements of interest having interacted with a predetermined element of interest as a function of interactions detected.
Selon un aspect de l’invention, le procédé comprend en outre pour chaque image, une étape d’affichage dans laquelle le calculateur affiche en superposition dans l’image, pour chaque élément d’intérêt, une délimitation de l’espace d’appartenance et une représentation des interactions détectées si des interactions ont été détectées.According to one aspect of the invention, the method further comprises for each image, a display step in which the calculator displays superimposed in the image, for each element of interest, a delimitation of the space of belonging and a representation of the detected interactions if any interactions were detected.
Selon un aspect de l’invention, l’étape d’affichage comprenant en outre pour chaque élément d’intérêt l’affichage d’une boîte enveloppant l’élément d’intérêt.According to one aspect of the invention, the display step further comprises, for each element of interest, the display of a box enveloping the element of interest.
Selon un aspect de l’invention, l’étape d’affichage comprenant en outre pour chaque élément d’intérêt l’affichage d’un indicateur d’orientation fonction de l’orientation caractérisée.According to one aspect of the invention, the display step further comprises, for each element of interest, the display of an orientation indicator depending on the characterized orientation.
L’invention porte également sur un produit programme d’ordinateur comprenant les instructions de programme mettant en œuvre les étapes du procédé de détection d’interactions, lorsque les instructions de programme sont exécutées par un ordinateur.The invention also relates to a computer program product comprising the program instructions implementing the steps of the interaction detection method, when the program instructions are executed by a computer.
D’autres avantages et caractéristiques de l’invention apparaîtront à la lecture de la description et des dessins.Other advantages and characteristics of the invention will appear on reading the description and the drawings.
La
Par exemple, comme représenté sur la
Les points caractéristiques comprennent :
- un point pied 50, qui est localisé au sol au milieu d’un point pied gauche du squelette S et un point pied droit du squelette S,
- un point tête 51 du squelette S,
- un point épaule gauche 52a du squelette S et un point épaule droite 52b du squelette S formant une paire de points relative aux épaules (52a, 52b),
- un point coude gauche 53a du squelette S et un point coude droit 53b du squelette S formant une paire de points relative aux coudes (53a, 53b),
- un point poignet gauche 54a du squelette S et un point poignet droit 54b du squelette S formant une paire de points relative aux épaules (54a, 54b).Characteristic points include:
- a foot point 50, which is located on the ground in the middle of a left foot point of the skeleton S and a right foot point of the skeleton S,
- a head point 51 of the skeleton S,
- a left shoulder point 52a of the skeleton S and a right shoulder point 52b of the skeleton S forming a pair of points relating to the shoulders (52a, 52b),
- a left elbow point 53a of the skeleton S and a right elbow point 53b of the skeleton S forming a pair of points relating to the elbows (53a, 53b),
- a left wrist point 54a of the S skeleton and a right wrist point 54b of the S skeleton forming a pair of points relating to the shoulders (54a, 54b).
L’élément d’intérêt P est en outre modélisé par une boîte enveloppante 30 de forme un cylindre circulaire droit par rapport au sol de l’image.The element of interest P is further modeled by an enveloping box 30 in the shape of a right circular cylinder relative to the ground of the image.
Par exemple, la boîte enveloppante 30 est en trois dimensions. Dans l’image, l’effet de perspective peut déformer la boîte enveloppante 30, donnant l’impression d’une forme de cylindre elliptique oblique.For example, the enveloping box 30 is three-dimensional. In the image, the perspective effect can distort the enveloping box 30, giving the impression of an oblique elliptical cylinder shape.
Par exemple, la boîte enveloppante 30 est en deux dimensions.For example, the enveloping box 30 is two-dimensional.
La boîte enveloppante 30 comprend une base inférieure BI située dans le plan du sol de l’image et comprenant le point pied 50, et une base supérieure BS comprenant le point tête 51.The enveloping box 30 comprises a lower base BI located in the ground plane of the image and comprising the foot point 50, and an upper base BS comprising the head point 51.
La base inférieure BI et la base supérieure BS sont des disques.The lower base BI and the upper base BS are discs.
Avantageusement, le rayon de la base inférieure BI et de la base supérieure BS est compris entre quarante centimètre et un mètre, de préférence entre quarante et soixante centimètres.Advantageously, the radius of the lower base BI and the upper base BS is between forty centimeters and one meter, preferably between forty and sixty centimeters.
La boîte enveloppante 30 a pour axe de révolution un axe A passant par le point pied 50 et par un point central C localisé au centre de la base supérieure BS.The enveloping box 30 has as its axis of revolution an axis A passing through the foot point 50 and through a central point C located at the center of the upper base BS.
Si le point tête 51 et le point pied 50 sont sur un axe vertical par rapport au sol de l’image, alors le point central C et le point tête 51 sont confondus. C’est le cas si l’élément d’intérêt P est une personne se tenant droite.If the head point 51 and the foot point 50 are on a vertical axis relative to the ground of the image, then the central point C and the head point 51 are the same. This is the case if the element of interest P is a person standing straight.
Si le point tête 51 et le point pied 50 ne sont pas sur un axe vertical par rapport au sol de l’image, alors le point central C et le point tête 51 sont distincts. C’est le cas si l’élément d’intérêt P est une personne se tenant par exemple avec la tête inclinée en direction d’une épaule.If the head point 51 and the foot point 50 are not on a vertical axis relative to the ground of the image, then the central point C and the head point 51 are distinct. This is the case if the element of interest P is a person standing for example with their head tilted towards one shoulder.
Une orientation est associée à l’élément d’intérêt P.An orientation is associated with the element of interest P.
Selon un exemple, l’orientation de l’élément d’intérêt P est caractérisée à partir des points caractéristiques définissant ledit élément d’intérêt P.According to one example, the orientation of the element of interest P is characterized from the characteristic points defining said element of interest P.
Par exemple, dans le cas d’un élément d’intérêt P étant une personne, l’orientation est caractérisée selon un calcul fonction de la paire de points relative aux épaules (52a, 52b) et d’au moins une autre paire de points parmi la paire de points relative aux coudes (53a, 53b) et la paire de points relative aux poignets (54a, 54b).For example, in the case of an element of interest P being a person, the orientation is characterized according to a calculation based on the pair of points relating to the shoulders (52a, 52b) and at least one other pair of points among the pair of points relating to the elbows (53a, 53b) and the pair of points relating to the wrists (54a, 54b).
En fonction de la localisation desdites paires de points (52a, 52b), (53a, 53b), (54a, 54b) l’orientation de l’élément d’intérêt peut être déterminée.Depending on the location of said pairs of points (52a, 52b), (53a, 53b), (54a, 54b) the orientation of the element of interest can be determined.
Selon un autre exemple, l’orientation d’un élément d’intérêt P est caractérisée à partir d’un maillage en trois dimensions de l’élément d’intérêt P.According to another example, the orientation of an element of interest P is characterized from a three-dimensional mesh of the element of interest P.
Selon un autre exemple dans lequel l’élément d’intérêt P est une personne ou un animal, l’orientation est caractérisée en fonction de la direction du regard de l’élément d’intérêt P, par exemple au moyen d’un réseau de neurones dédié.According to another example in which the element of interest P is a person or an animal, the orientation is characterized as a function of the direction of gaze of the element of interest P, for example by means of a network of dedicated neurons.
Selon un autre exemple, l’orientation d’un élément d’intérêt P est caractérisée par un vecteur vitesse associé à l’élément d’intérêt P, généré à partir d’un suivi de déplacement de l’élément d’intérêt P dans plusieurs d’images acquises à des moments différents dans le temps,According to another example, the orientation of an element of interest P is characterized by a speed vector associated with the element of interest P, generated from tracking the movement of the element of interest P in several images acquired at different moments in time,
Sur la
Par exemple, comme représenté en
Un espace d’appartenance 20 est associé à l’élément d’intérêt P. L’espace d’appartenance 20 est représenté par exemple dans le plan du sol de l’environnement de l’élément d’intérêt de l’image.A belonging space 20 is associated with the element of interest P. The belonging space 20 is represented for example in the ground plane of the environment of the element of interest of the image.
L’espace d’appartenance 20 d’un élément d’intérêt P est défini en fonction d’un point d’ancrage PA référencé par rapport à l’élément d’intérêt P.The membership space 20 of an element of interest P is defined as a function of an anchor point PA referenced in relation to the element of interest P.
L’espace d’appartenance 20 d’un élément d’intérêt P est défini en fonction d’un vecteur de référence D parallèle au vecteur d’orientation 10 et de même sens, et passant par le point d’ancrage PA.The belonging space 20 of an element of interest P is defined as a function of a reference vector D parallel to the orientation vector 10 and of the same direction, and passing through the anchor point PA.
Le point d’ancrage PA est avantageusement un point caractéristique de l’élément d’intérêt P ou est défini par rapport à des points caractéristiques de l’élément d’intérêt P.The anchor point PA is advantageously a characteristic point of the element of interest P or is defined in relation to characteristic points of the element of interest P.
Selon l’exemple représenté sur la
L’espace d’appartenance 20 comprend des limites L1, L2 qui sont des segments droits se coupant en le point d’ancrage PA et formant un angle alpha saillant.The belonging space 20 includes limits L1, L2 which are straight segments intersecting at the anchor point PA and forming a salient alpha angle.
Avantageusement, le vecteur de référence D est une bissectrice dudit angle alpha formé par l’espace d’appartenance 20.Advantageously, the reference vector D is a bisector of said angle alpha formed by the belonging space 20.
L’angle alpha étant inférieur à 180 degrés et centré sur un vecteur de référence D parallèle au vecteur d’orientation 10 et de même sens, l’espace d’appartenance 20 est orienté comme l’élément d’intérêt P.The alpha angle being less than 180 degrees and centered on a reference vector D parallel to the orientation vector 10 and in the same direction, the membership space 20 is oriented like the element of interest P.
L’espace d’appartenance 20 est localisé de préférence dans le plan général du sol de l’environnement de l’élément d’intérêt P.The space of belonging 20 is preferably located in the general ground plane of the environment of the element of interest P.
L’espace d’appartenance 20 est localisé de préférence dans le plan comprenant la base inférieure BI de la boîte enveloppante 30.The belonging space 20 is preferably located in the plane comprising the lower base BI of the enveloping box 30.
L’espace d’appartenance 20 est une portion de disque. Par exemple, dans le cas d’un espace d’appartenance 20 comprenant des limites L1, L2 qui sont des segments droits passant par le point d’ancrage PA et formant un angle alpha de 60 degrés, la portion de disque correspond à un sixième d’un disque entier.The space 20 belongs to is a portion of disk. For example, in the case of a belonging space 20 comprising limits L1, L2 which are straight segments passing through the anchor point PA and forming an alpha angle of 60 degrees, the disk portion corresponds to a sixth of an entire disk.
L’espace d’appartenance 20 est délimité entre les limites L1, L2 par une bordure B qui est une portion de cercle dont l’origine est le point d’ancrage PA.The belonging space 20 is delimited between the limits L1, L2 by a border B which is a portion of a circle whose origin is the anchor point PA.
L’espace d’appartenance 20 est avantageusement découpé en une pluralité de zones 21, 22, 23.The belonging space 20 is advantageously divided into a plurality of zones 21, 22, 23.
Chaque zone 21, 22, 23 est délimitée d’une autre zone par une frontière F1, F2, qui est une portion de cercle dont l’origine est le point d’ancrage PA.Each zone 21, 22, 23 is delimited from another zone by a border F1, F2, which is a portion of a circle whose origin is the anchor point PA.
Avantageusement, les portions des cercles associés aux frontières F1, F2 et à la bordure B sont concentriques en le point d’ancrage PA.Advantageously, the portions of the circles associated with the borders F1, F2 and the border B are concentric at the anchor point PA.
Les frontières F1, F2 et la bordure B représentent chacune une distance prédéterminée au point d’ancrage PA et donc à l’élément d’intérêt P.The boundaries F1, F2 and the border B each represent a predetermined distance to the anchor point PA and therefore to the element of interest P.
Par exemple, l’espace d’appartenance 20 comprend une première frontière F1 correspondant à une première distance comprise entre trente et soixante-dix centimètres du point d’ancrage PA, en particulier cinquante centimètres.Par exemple, la première F1 correspond à une portion du cercle délimitant la base inférieure BI de la boîte enveloppante 30, comme représenté sur la
Par exemple, l’espace d’appartenance 20 comprend une deuxième frontière F2 correspondant à une deuxième distance comprise entre quatre-vingts et cent-vingts centimètres du point d’ancrage PA, en particulier cent centimètres.For example, the belonging space 20 includes a second border F2 corresponding to a second distance of between eighty and one hundred and twenty centimeters from the anchor point PA, in particular one hundred centimeters.
Par exemple, l’espace d’appartenance 20 est délimité par la bordure B correspondant à une troisième distance sociale comprise entre cent-trente et cent-soixante-dix centimètres du point d’ancrage PA, en particulier cent-cinquante centimètres.For example, the belonging space 20 is delimited by the border B corresponding to a third social distance of between one hundred and thirty and one hundred and seventy centimeters from the anchor point PA, in particular one hundred and fifty centimeters.
La première distance est inférieure à la deuxième distance, elle-même inférieure à la troisième distance.The first distance is less than the second distance, which is itself less than the third distance.
La
Les éléments d’intérêt P1, P2, P3 sont représentés comme décrit précédemment. Tout ce qui a été décrit pour la
Chaque élément d’intérêt P1, P2, P3 est représenté par un squelette et est défini par des points caractéristiques.Each element of interest P1, P2, P3 is represented by a skeleton and is defined by characteristic points.
Chaque élément d’intérêt P1, P2, P3 est en outre modélisé par une boîte enveloppante 30.Each element of interest P1, P2, P3 is further modeled by an enveloping box 30.
Une orientation représentée par un vecteur d’orientation 10 est associée à chaque élément d’intérêt P.An orientation represented by an orientation vector 10 is associated with each element of interest P.
Un espace d’appartenance 20 prenant origine en un point d’ancrage PA est associé à chaque élément d’intérêt P.A belonging space 20 originating at an anchor point PA is associated with each element of interest P.
Comme décrit pour la
- une première zone 21 s’étendant depuis le point d’ancrage PA jusqu’à la première frontière F1 correspondant à la première distance au point d’ancrage PA,
- une deuxième zone 22 s’étendant depuis la première frontière F1 correspondant à la première distance au point d’ancrage PA, jusqu’à la deuxième frontière F2 correspondant à la deuxième distance au point d’ancrage PA,
- une troisième zone 23 s’étendant depuis la deuxième frontière F2 correspondant à la deuxième distance au point d’ancrage PA, jusqu’à la bordure B correspondant à la troisième distance au point d’ancrage PA.As described for the
- a first zone 21 extending from the anchor point PA to the first border F1 corresponding to the first distance from the anchor point PA,
- a second zone 22 extending from the first boundary F1 corresponding to the first distance to the anchor point PA, to the second boundary F2 corresponding to the second distance to the anchor point PA,
- a third zone 23 extending from the second border F2 corresponding to the second distance from the anchor point PA, to the border B corresponding to the third distance from the anchor point PA.
Sur la
Les espaces d’appartenance 20 des premier et deuxième éléments d’intérêts P1, P2 se recoupent en une intersection. L’espace d’appartenance 20 du troisième élément d’intérêt P3 ne recoupe aucun autre espace d’appartenance 20The belonging spaces 20 of the first and second elements of interest P1, P2 overlap at an intersection. The belonging space 20 of the third element of interest P3 does not overlap with any other belonging space 20
Une intersection entre deux espaces d’appartenance 20 correspond à une connexion entre les deux éléments d’intérêt correspondants.An intersection between two belonging spaces 20 corresponds to a connection between the two corresponding elements of interest.
Une connexion entre deux éléments d’intérêt, lorsqu’elle est confirmée dans le temps, correspond à une interaction entre lesdits éléments d’intérêt.A connection between two elements of interest, when confirmed over time, corresponds to an interaction between said elements of interest.
Sur la
Selon un mode de réalisation, une classe de connexion est attribuée en fonction d’une localisation d’intersection des zones 21, 22, 23 des deux espaces d’appartenance 20.According to one embodiment, a connection class is assigned based on an intersection location of zones 21, 22, 23 of the two belonging spaces 20.
Par exemple, en particulier pour des éléments d’intérêt qui sont des personnes, on distingue trois classes de connexion : intime, personnelle, sociale.For example, in particular for elements of interest which are people, we distinguish three classes of connection: intimate, personal, social.
Trois conditions sont définies ci-dessous.Three conditions are defined below.
Si les deux premières zones 21 de deux espaces d’appartenance 20 de deux éléments d’intérêts distincts sont en intersection, c’est-à-dire se recoupent, alors une première condition est remplie.If the first two zones 21 of two spaces of belonging 20 of two distinct elements of interest are in intersection, that is to say they overlap, then a first condition is met.
Si une deuxième zone 22 de l’espace d’appartenance 20 d’un élément d’intérêt est en intersection avec l’une quelconque des première et deuxième zones 21,22 de l’espace d’appartenance 20 d’un autre élément d’intérêt, alors une deuxième condition est remplie.If a second zone 22 of the belonging space 20 of an element of interest is in intersection with any of the first and second zones 21,22 of the belonging space 20 of another element of interest, then a second condition is met.
Si une troisième zone 23 de l’espace d’appartenance 20 d’un élément d’intérêt est en intersection avec l’une quelconque des première, deuxième et troisième zones 21,22, 23 de l’espace d’appartenance 20 d’un autre élément d’intérêt, alors une troisième condition est remplie.If a third zone 23 of the belonging space 20 of an element of interest is in intersection with any of the first, second and third zones 21,22, 23 of the belonging space 20 of another element of interest, then a third condition is met.
Si la première condition est remplie, alors la connexion entre les éléments d’intérêt correspondants est intime.If the first condition is met, then the connection between the corresponding elements of interest is intimate.
Si la première condition n’est pas remplie et que la deuxième condition est remplie, alors la connexion entre les éléments d’intérêt correspondants est personnelle.If the first condition is not met and the second condition is met, then the connection between the corresponding items of interest is personal.
Si les première et deuxième conditions ne sont pas remplies et que la troisième condition est remplie, alors la connexion entre les éléments d’intérêt correspondants est sociale.If the first and second conditions are not met and the third condition is met, then the connection between the corresponding items of interest is social.
Sur la
La deuxième zone 22 de l’espace d’appartenance 20 d’un élément d’intérêt P1, P2 n’est pas en intersection avec l’une quelconque des première et deuxième zones 21,22 de l’espace d’appartenance 20 d’un autre élément d’intérêt P2, P1, la deuxième condition n’est pas remplie.The second zone 22 of the belonging space 20 of an element of interest P1, P2 does not intersect with any of the first and second zones 21,22 of the belonging space 20 d 'another element of interest P2, P1, the second condition is not met.
La troisième zone 23 de l’espace d’appartenance 20 d’un élément d’intérêt P1, P2 est en intersection avec l’une quelconque des première, deuxième et troisième zones 21,22, 23 de l’espace d’appartenance 20 d’un autre élément d’intérêt P2, P1. En effet la troisième zone 23 de l’espace d’appartenance 20 du premier élément d’intérêt P1 est en intersection avec les deuxième et troisième zones 22, 23 de l’espace d’appartenance 20 du deuxième élément d’intérêt P2. En outre, la troisième zone 23 de l’espace d’appartenance 20 du deuxième élément d’intérêt P2 est en intersection avec les deuxième et troisième zones 22, 23 de l’espace d’appartenance 20 du premier élément d’intérêt P1. La troisième condition est deux fois remplie.The third zone 23 of the belonging space 20 of an element of interest P1, P2 is in intersection with any of the first, second and third zones 21,22, 23 of the belonging space 20 of another element of interest P2, P1. In fact, the third zone 23 of the belonging space 20 of the first element of interest P1 is in intersection with the second and third zones 22, 23 of the belonging space 20 of the second element of interest P2. In addition, the third zone 23 of the belonging space 20 of the second element of interest P2 is in intersection with the second and third zones 22, 23 of the belonging space 20 of the first element of interest P1. The third condition is fulfilled twice.
Ainsi, pour les premier et deuxième éléments d’intérêts P1, P2 de la
Selon un autre mode de réalisation, une classe de connexion est attribuée en fonction d’une proportion d’intersection des zones 21, 22, 23 des deux espaces d’appartenance 20 ou d’une proportion d’intersection des deux espaces d’appartenance 20.According to another embodiment, a connection class is assigned according to a proportion of intersection of zones 21, 22, 23 of the two belonging spaces 20 or a proportion of intersection of the two belonging spaces 20.
De la même manière, on distingue trois classes de connexion : intime, personnelle, sociale.In the same way, we distinguish three classes of connection: intimate, personal, social.
Par exemple, on applique des coefficients pondérateurs sur la proportion en fonction des zones 21, 22, 23 pour déterminer la classe de connexion.For example, weighting coefficients are applied to the proportion according to zones 21, 22, 23 to determine the connection class.
Quel que soit le mode de réalisation, si la connexion entre les premier et deuxième éléments d’intérêt P1, P2 est confirmée dans le temps, alors il y a interaction entre lesdits éléments d’intérêt P1, P2.Whatever the embodiment, if the connection between the first and second elements of interest P1, P2 is confirmed over time, then there is interaction between said elements of interest P1, P2.
Par exemple, une interaction entre deux éléments d’intérêt est détectée si un nombre prédéterminé de connexions entre lesdits deux éléments d’intérêt est détecté sur un nombre prédéfini d’images successives dans le temps.For example, an interaction between two elements of interest is detected if a predetermined number of connections between said two elements of interest is detected over a predefined number of successive images over time.
Par exemple, sur dix images successives acquises à une période de temps prédéterminée comprise entre 200 et 2000 ms, si une connexion entre deux éléments d’intérêt est détectée sur huit des dix images, alors une interaction est détectée entre lesdits deux éléments d’intérêt.For example, on ten successive images acquired at a predetermined period of time between 200 and 2000 ms, if a connection between two elements of interest is detected on eight of the ten images, then an interaction is detected between said two elements of interest .
A l’instar des classes de connexion, et quel que soit la manière de les déterminer, une interaction peut être de différents types, par exemple : intime, personnel, social.Like connection classes, and regardless of how they are determined, an interaction can be of different types, for example: intimate, personal, social.
Le type d’interaction donne une information sur la relation et/ou la proximité entre les éléments d’intérêt.The type of interaction provides information on the relationship and/or proximity between the elements of interest.
Par exemple, le type de l’interaction est déterminé en fonction de la classe majoritaire des connexions détectées sur le nombre prédéfini d’images successives dans le temps.For example, the type of interaction is determined based on the majority class of connections detected over the predefined number of successive images over time.
Une confirmation dans le temps d’une connexion de classe sociale majoritaire correspond à une interaction de type social.A confirmation over time of a majority social class connection corresponds to a social type interaction.
Une confirmation dans le temps d’une connexion de classe intime majoritaire correspond à une interaction de type intime.A confirmation over time of a majority intimate class connection corresponds to an intimate type interaction.
Une confirmation dans le temps d’une connexion de classe personnelle majoritaire correspond à une interaction de type personnel.A confirmation over time of a majority personal class connection corresponds to a personal type interaction.
Selon l’exemple précédent, si sur les huit images, six sont de classe intime et deux sont de classe personnelle, l’interaction est de type intime, car la classe intime est majoritaire sur les connexions détectées.According to the previous example, if out of the eight images, six are of the intimate class and two are of the personal class, the interaction is of the intimate type, because the intimate class is the majority of the detected connections.
Par exemple, une interaction entre deux éléments d’intérêts P1, P2 est représentée sur l’image par une ligne 40 reliant les points d’ancrage PA desdits éléments d’intérêt P1, P2, comme représenté sur la
Par exemple, le type d’interaction est représenté par une couleur sur l’image.For example, the type of interaction is represented by a color in the image.
Selon un exemple non limitatif, la couleur jaune est attribuée pour le type social, la couleur orange est attribuée pour le type personnel et la couleur rouge est attribuée pour le type intime.According to a non-limiting example, the yellow color is assigned for the social type, the orange color is assigned for the personal type and the red color is assigned for the intimate type.
Un élément d’intérêt peut être connecté à plusieurs éléments d’intérêts.An element of interest can be connected to several elements of interest.
Un élément d’intérêt peut être en interaction avec plusieurs éléments d’intérêts.An element of interest can interact with several elements of interest.
Le point d’ancrage PA d’un élément d’intérêt peut être relié à plusieurs points d’ancrage PA de plusieurs éléments d’intérêts, par exemple par plusieurs lignes 40.The anchor point PA of an element of interest can be connected to several anchor points PA of several elements of interest, for example by several lines 40.
Les interactions entre un élément d’intérêt identifié et d’autres éléments d’intérêt peuvent être de types différents. Par exemple, un élément d’intérêt peut être en interaction de type social avec un premier autre élément d’intérêt et en interaction intime avec un deuxième autre élément d’intérêt.The interactions between an identified element of interest and other elements of interest can be of different types. For example, an element of interest can be in social type interaction with a first other element of interest and in intimate interaction with a second other element of interest.
Une intersection entre deux espaces d’appartenance 20 peut être mise en évidence sur l’image, par exemple par remplissage coloré, texturé, hachuré de l’intersection, ou par mise en surbrillance, couleur ou surépaisseur de trait d’un contour de l’intersection, ou encore par clignotement de la surface ou des contours de l’intersection.An intersection between two spaces of belonging 20 can be highlighted on the image, for example by colored, textured, hatched filling of the intersection, or by highlighting, color or extra line thickness of a contour of the intersection, or by flashing the surface or contours of the intersection.
Les figures 1 et 2 illustrent des exemples de représentation d’un élément d’intérêt tel qu’une personne. Les modèles de squelette, de boîte enveloppante, de points caractéristiques ne sont pas limitatifs pour la réalisation du procédé selon l’invention.Figures 1 and 2 illustrate examples of representation of an element of interest such as a person. The skeleton, enveloping box and characteristic point models are not limiting for carrying out the method according to the invention.
La
Le calculateur dispose d’une multitude d’images comprenant des éléments d’intérêts. La multitude d’images est acquise à des moments différents dans le temps.The calculator has a multitude of images including elements of interest. The multitude of images is acquired at different moments in time.
Par exemple, la multitude d’images correspond à des images d’une vidéo acquise par une caméra filmant lesdits éléments d’intérêt.For example, the multitude of images corresponds to images of a video acquired by a camera filming said elements of interest.
Le calculateur met en œuvre le procédé sur une pluralité d’images.The calculator implements the method on a plurality of images.
Selon un exemple, la pluralité d’images comprend correspond à la multitude d’images acquises par la caméra.According to one example, the plurality of images included corresponds to the multitude of images acquired by the camera.
Selon un autre exemple, la pluralité d’images correspond à un échantillonnage d’images dans la multitude d’images acquises par la caméra, par exemple à un échantillonnage effectué à une fréquence d’images comprise entre 5 images par seconde et 50 images par seconde. Cela présente l’avantage pour le calculateur de limiter les calculs et les ressources mémoire nécessaires.According to another example, the plurality of images corresponds to a sampling of images in the multitude of images acquired by the camera, for example to a sampling carried out at an image frequency of between 5 images per second and 50 images per second. second. This has the advantage for the calculator of limiting the calculations and memory resources required.
Par exemple, pour une multitude d’images acquises à une fréquence d’images de 60 images par secondes par une caméra, le calculateur échantillonne des images à une fréquence d’images de 10 images par seconde.For example, for a multitude of images acquired at a frame rate of 60 frames per second by a camera, the calculator samples images at a frame rate of 10 frames per second.
Pour chaque image i de la pluralité d’images, le procédé comprend une étape de caractérisation 101, une étape de définition 102 et une étape d’affichage 103 optionnelle.For each image i of the plurality of images, the method includes a characterization step 101, a definition step 102 and an optional display step 103.
Selon l’étape de caractérisation 101, le calculateur caractérise pour chaque élément d’intérêt, une orientation de l’élément d’intérêt.According to the characterization step 101, the calculator characterizes for each element of interest, an orientation of the element of interest.
Par exemple, l’orientation est caractérisée à partir d’un maillage en trois dimensions de l’élément d’intérêt ou en fonction de la direction d’un regard.For example, orientation is characterized from a three-dimensional mesh of the element of interest or according to the direction of a gaze.
Par exemple, l’orientation d’un élément d’intérêt P est caractérisée par un vecteur vitesse associé à l’élément d’intérêt P.For example, the orientation of an element of interest P is characterized by a speed vector associated with the element of interest P.
Par exemple, l’orientation est caractérisée à partir de points caractéristiques définissant l’élément d’intérêt.For example, orientation is characterized from characteristic points defining the element of interest.
Selon une étape de sélection 100 préalable à l’étape de caractérisation 101, le calculateur sélectionne des points caractéristiques définissant l’élément d’intérêt.According to a selection step 100 prior to the characterization step 101, the calculator selects characteristic points defining the element of interest.
Par exemple, lorsque l’élément d’intérêt est une personne et comme illustré
Ensuite, selon l’étape de caractérisation 101, le calculateur caractérise l’orientation selon un calcul fonction de ladite paire de points relative aux épaules (52a, 52b) et de l’au moins une autre paire de points (53a, 53b), (54a, 54b).Then, according to the characterization step 101, the calculator characterizes the orientation according to a calculation based on said pair of points relating to the shoulders (52a, 52b) and at least one other pair of points (53a, 53b), (54a, 54b).
Par exemple, le calculateur caractérise l’orientation selon un calcul fonction des trois paires de points (52a, 52b), (53a, 53b), (54a, 54b) pondéré par des poids, un premier poids étant attribué à la paire de points relative aux épaules (52a, 52b), un deuxième poids étant attribué à la paire de points relative aux coudes (53a, 53b) et un troisième poids étant attribué à la paire de points relative aux poignets (54a, 54b), le premier poids étant plus élevé que le deuxième poids, le deuxième poids étant plus élevé que le troisième poids.For example, the calculator characterizes the orientation according to a calculation based on the three pairs of points (52a, 52b), (53a, 53b), (54a, 54b) weighted by weights, a first weight being assigned to the pair of points relating to the shoulders (52a, 52b), a second weight being assigned to the pair of points relating to the elbows (53a, 53b) and a third weight being assigned to the pair of points relating to the wrists (54a, 54b), the first weight being higher than the second weight, the second weight being higher than the third weight.
Par exemple, le calculateur caractérise l’orientation en utilisant les coordonnées image des paires de points dans l’image i et les coordonnées réelles correspondantes dans le monde réel.For example, the calculator characterizes the orientation using the image coordinates of the pairs of points in image i and the corresponding real coordinates in the real world.
Avantageusement, un coefficient pondérateur est appliqué aux coordonnées image des paires de points (52a, 52b), (53a, 53b), (54a, 54b) en fonction de la posture de la personne.Advantageously, a weighting coefficient is applied to the image coordinates of the pairs of points (52a, 52b), (53a, 53b), (54a, 54b) depending on the posture of the person.
En effet, lorsque la personne est positionnée avec un buste de face dans l’image, il est avantageux de donner plus de poids aux coordonnées images qu’aux coordonnées réelles, les coordonnées image étant plus précises pour déterminer l’orientation. Lorsque la personne est positionnée avec un buste de profil dans l’image, il est au contraire avantageux de minimiser le poids donné aux coordonnées image pour déterminer l’orientation.Indeed, when the person is positioned with a front bust in the image, it is advantageous to give more weight to the image coordinates than to the real coordinates, the image coordinates being more precise in determining the orientation. When the person is positioned with a bust in profile in the image, it is on the contrary advantageous to minimize the weight given to the image coordinates to determine the orientation.
Avantageusement, le calculateur détermine un vecteur d’orientation 10 tel que représenté sur les figures 1 et 2, comprenant une direction d’orientation et un sens d’orientation.Advantageously, the calculator determines an orientation vector 10 as shown in Figures 1 and 2, comprising an orientation direction and a direction of orientation.
Selon l’étape de définition 102, le calculateur définit pour chaque élément d’intérêt, un espace d’appartenance 20 en fonction de l’orientation de l’élément d’intérêt caractérisée.According to definition step 102, the calculator defines for each element of interest, a membership space 20 as a function of the orientation of the element of interest characterized.
Par exemple, comme représenté sur les figures 1 et 2, l’espace d’appartenance 20 d’un élément d’intérêt P, P1, P2, P3 est défini en fonction d’un point d’ancrage PA référencé par rapport à l’élément d’intérêt, et d’un vecteur de référence D passant par le point d’ancrage PA, parallèle au vecteur d’orientation 10 et de même sens.For example, as shown in Figures 1 and 2, the membership space 20 of an element of interest P, P1, P2, P3 is defined as a function of an anchor point PA referenced relative to the element of interest, and a reference vector D passing through the anchor point PA, parallel to the orientation vector 10 and in the same direction.
Comme décrit pour la
L’espace d’appartenance 20 comprend des limites L1, L2 passant par le point d’ancrage PA et formant un angle alpha saillant dont le vecteur de référence D est une bissectrice et le point d’ancrage PA le sommet.The belonging space 20 includes limits L1, L2 passing through the anchor point PA and forming a salient alpha angle whose reference vector D is a bisector and the anchor point PA the vertex.
Un tel exemple est illustré sur la
Par exemple la valeur de l’angle alpha est comprise entre 45 degrés et 120 degrés, de préférence entre 45 degrés et 75 degrés.For example, the value of the alpha angle is between 45 degrees and 120 degrees, preferably between 45 degrees and 75 degrees.
Comme le vecteur de référence D est une bissectrice de l’angle alpha et qu’il est de même sens et de même direction que le vecteur d’orientation 10, l’espace d’appartenance 20 est centré et orienté selon l’orientation de l’élément d’intérêt associé.As the reference vector D is a bisector of the angle alpha and it has the same sense and direction as the orientation vector 10, the membership space 20 is centered and oriented according to the orientation of the associated element of interest.
L’espace d’appartenance 20 est de préférence localisé dans le plan général d’un sol de l’environnement de l’élément d’intérêt.The space of belonging 20 is preferably located in the general plan of a ground of the environment of the element of interest.
Selon l’étape d’affichage 103 optionnelle, le calculateur affiche sur un écran en superposition de l’image i une délimitation de l’espace d’appartenance 20; par exemple tel que représenté sur les figures 1 et 2.According to the optional display step 103, the calculator displays on a screen superimposed on the image i a delimitation of the space of belonging 20; for example as shown in Figures 1 and 2.
Par exemple, le calculateur affiche en outre en superposition de l’image i une représentation du vecteur d’orientation 10 associé l’élément d’intérêt P, P1, P2, P3, tel que représenté sur les figures 1 et 2.For example, the calculator also displays superimposed on the image i a representation of the orientation vector 10 associated with the element of interest P, P1, P2, P3, as represented in Figures 1 and 2.
Par exemple, le calculateur affiche en outre en superposition de l’image une représentation d’une boîte enveloppante 30 associé l’élément d’intérêt P, P1, P2, P3, tel que représenté sur les figures 1 et 2.For example, the calculator also displays superimposed on the image a representation of an enveloping box 30 associated with the element of interest P, P1, P2, P3, as represented in Figures 1 and 2.
Dans le cas où la pluralité d’images i sur lesquelles sont mises en œuvre les étapes de caractérisation 101, de définition 102 et d’affichage 103 correspond à un échantillonnage d’un nombre d’images plus important acquises par une caméra, le calculateur extrapole les éléments affichés en superposition sur la pluralité d’images issues du procédé aux images non échantillonnées i0 selon une étape d’extrapolation 110.In the case where the plurality of images i on which the characterization 101, definition 102 and display 103 steps are implemented corresponds to a sampling of a larger number of images acquired by a camera, the calculator extrapolates the elements displayed superimposed on the plurality of images resulting from the method to the non-sampled images i0 according to an extrapolation step 110.
Une extrapolation est par exemple le résultat d’une transformation par translation et/ou rotation. L’élément à afficher en superposition est transformé par translation et/ou rotation en fonction du déplacement de l’élément d’intérêt.An extrapolation is for example the result of a transformation by translation and/or rotation. The element to be displayed as an overlay is transformed by translation and/or rotation depending on the movement of the element of interest.
Ainsi, le calculateur est en outre apte selon l’étape d’affichage 103, à afficher une image non échantillonnée i0 sans discontinuité d’affichage en superposition avec une image non échantillonnée i.Thus, the calculator is also capable, according to display step 103, of displaying an unsampled image i0 without display discontinuity in superposition with an unsampled image i.
Selon une étape de détection 104 d’interactions, le calculateur détecte des interactions entre des éléments d’intérêt P1, P2, P3 en fonction de la localisation relative des espaces d’appartenance 20 des éléments d’intérêt P1, P2, P3 les uns par rapport aux autres sur plusieurs images i dans le temps.According to an interaction detection step 104, the calculator detects interactions between elements of interest P1, P2, P3 depending on the relative location of the spaces of belonging 20 of the elements of interest P1, P2, P3 each compared to others over several images i over time.
Par exemple, l’étape de détection 104 d’interactions comprend la détermination d’intersections entre les espaces d’appartenance 20 des éléments d’intérêt P1, P2, P3, une intersection entre deux espaces d’appartenance 20 correspondant à une connexion entre les deux éléments d’intérêt associés auxdits deux espaces d’appartenance 20, une interaction étant détectée en fonction de plusieurs connexions dans le temps entre lesdits deux éléments d’intérêt.For example, the interaction detection step 104 comprises the determination of intersections between the belonging spaces 20 of the elements of interest P1, P2, P3, an intersection between two belonging spaces 20 corresponding to a connection between the two elements of interest associated with said two belonging spaces 20, an interaction being detected as a function of several connections over time between said two elements of interest.
Des exemples et détails sur la détermination des intersections ont été décrits en référence à la
Avantageusement, comme décrit pour la
Des exemples et détails sur l’attribution des classes de connexion ont été décrits en référence à la
Une interaction est détectée par le calculateur si un nombre prédéterminé de connexions entre lesdits deux éléments d’intérêt est détecté sur un nombre prédéfini d’images i successives dans le temps.An interaction is detected by the computer if a predetermined number of connections between said two elements of interest is detected over a predefined number of successive images i over time.
Par exemple, pour une pluralité d’images i distantes dans le temps de 100 ms, le nombre prédéfini d’images est avantageusement compris entre 5 et 20.For example, for a plurality of images i spaced 100 ms apart in time, the predefined number of images is advantageously between 5 and 20.
Le calculateur peut déterminer des types d’interactions entre éléments d’intérêt à partir des classes de connexions entre lesdits éléments d’intérêt.The calculator can determine types of interactions between elements of interest from the classes of connections between said elements of interest.
Des exemples et détails ont été décrits en référence à la
Selon l’étape d’affichage 103 optionnelle, le calculateur affiche en superposition de l’image une représentation de la ou des interactions détectées, par exemple, par une ligne 40 telle que représentée sur la
Par exemple, le calculateur affiche en superposition de l’image une représentation des intersections détectées, par exemple, tel que décrit en relation avec la
Le procédé selon l’invention peut comprendre en outre une étape d’établissement 105 dans laquelle le calculateur établit une liste d’éléments d’intérêt étant rentrés en interaction avec un élément d’intérêt prédéterminé en fonction d’interactions détectées.The method according to the invention may further comprise an establishment step 105 in which the calculator establishes a list of elements of interest having interacted with a predetermined element of interest as a function of detected interactions.
Par exemple la liste comprend le type des interactions détectées.For example, the list includes the type of interactions detected.
Sur les figures 1 et 2, les éléments d’intérêt sont des personnes piétons. Il s’agit d’un exemple d’éléments d’intérêt non limitatif. Le procédé de l’invention est applicable à des personnes véhiculées, par exemple en trottinette, à vélo, à moto, en voiture, à des animaux ou à des objets intelligents tels que des robots ou des véhicules autonomes.La
Le dispositif de prise de vue 200 est orienté selon un axe 201 en direction d’une région d’un environnement comprenant des éléments d’intérêts P.The shooting device 200 is oriented along an axis 201 towards a region of an environment comprising elements of interest P.
L’image i illustrée sur la
L’élément d’intérêt P est défini par des points caractéristiques.The element of interest P is defined by characteristic points.
Dans l’image i, un point caractéristique est dit point caractéristique image ki et a pour coordonnées image (x,y) dans un repère image bidimensionnel d’axes Ax, Ay prédéterminé.In image i, a characteristic point is called image characteristic point ki and has image coordinates (x,y) in a two-dimensional image reference frame with predetermined axes Ax, Ay.
Dans le monde réel du dispositif de prise de vue 200, ledit point caractéristique correspondant est dit point caractéristique réel Ki et a pour coordonnées réelles (X,Y,Z) dans un repère réel tridimensionnel d’axes AX, AY, AZ prédéterminé.In the real world of the shooting device 200, said corresponding characteristic point is called real characteristic point Ki and has real coordinates (X,Y,Z) in a real three-dimensional reference frame with predetermined axes AX, AY, AZ.
Le détecteur 203 est apte à détecter des éléments d’intérêts P et les modéliser par exemple en des squelettes de quinze points lorsque les éléments d’intérêts P sont des personnes. Le détecteur 203 est en outre apte à déterminer les coordonnées image des points de squelette dans l’image i et à estimer les coordonnées réelles des points squelettes dans le monde réel.The detector 203 is able to detect elements of interest P and model them for example into skeletons of fifteen points when the elements of interest P are people. The detector 203 is also capable of determining the image coordinates of the skeleton points in the image i and of estimating the real coordinates of the skeleton points in the real world.
L’écran d’affichage 204 est apte à afficher des images i, i0 acquises par le dispositif de prise de vue 200 ainsi que des éléments d’affichage en superposition, tels qu’un vecteur d’orientation, une délimitation d’un espace d’appartenance, une boîte enveloppante, une représentation d’interactions détectées…The display screen 204 is able to display images i, i0 acquired by the shooting device 200 as well as superimposed display elements, such as an orientation vector, a delimitation of a space of belonging, an enveloping box, a representation of detected interactions…
Le calculateur 202, à partir des paramètres de calibration du dispositif de prise de vue 200, connait la fonction
Le calculateur 202 connait en outre la fonction inverse
Dans un tel système, le calculateur 202 peut caractériser de l’orientation d’un élément d’intérêt P par la détermination d’un vecteur d’orientation v.In such a system, the calculator 202 can characterize the orientation of an element of interest P by determining an orientation vector v.
Le calculateur 202 sélectionne au préalable des points caractéristiques, par exemple à partir des points de squelette fournis par le détecteur 203 :
- une paire de points relative aux épaules,
- une paire de points relative aux coudes,
- une paire de points relative aux poignets,
- une paire de points relative à la colonne vertébrale, par exemple avec un point relatif au bassin et un point relatif au thorax,
- un point relatif à la tête,
- un point relatif aux pieds.The calculator 202 selects characteristic points beforehand, for example from the skeleton points provided by the detector 203:
- a pair of points relating to the shoulders,
- a pair of points relating to the elbows,
- a pair of points relating to the wrists,
- a pair of points relating to the spine, for example with a point relating to the pelvis and a point relating to the thorax,
- a point relating to the head,
- a point relating to the feet.
Par exemple, le vecteur d’orientation v est tel que représenté sur les figures 1 et 2 est déterminé selon la formule mathématique suivante :For example, the orientation vector v is as shown in Figures 1 and 2 and is determined according to the following mathematical formula:
-
- A1 étant les coordonnées réelles d’un vecteur relatif aux deux épaules dans le monde réel,
- a1 étant les coordonnées image d’un vecteur relatif aux deux épaules dans l’image i,
- A2 étant les coordonnées réelles d’un vecteur relatif aux deux coudes dans le monde réel,
- a2 étant les coordonnées image d’un vecteur relatif aux deux coudes dans l’image i,
- A3 étant les coordonnées réelles d’un vecteur relatif aux deux poignets dans le monde réel,
- a3 étant les coordonnées image d’un vecteur relatif aux deux poignets dans l’image i,
- PT étant les coordonnées réelles d’un vecteur relatif à la colonne vertébrale,
-
-g étant une fonction définie par :
- g1 étant une fonction définie par :
- R étant la norme prédéterminée du vecteur d’orientation, égale au rayon de la base supérieure BS d’une boîte enveloppante, par exemple égal à 50 centimètres.
- CP étant un coefficient pondérateur appliqué aux coordonnées image des paires de points,
- kte étant une valeur représentative d’une distance réelle entre deux épaules d’une personne adulte de taille moyenne, par exemple 50 centimètres,
-
- hp étant la hauteur estimée de la personne, par exemple déterminée à partir d’un point relatif aux pieds et un point relatif à la tête,
- C étant un point tête ou plus avantageusement le point central C tel que décrit précédemment, en relation avec la figure 1.
-
- A1 being the real coordinates of a vector relating to the two shoulders in the real world,
- a1 being the image coordinates of a vector relating to the two shoulders in image i,
- A2 being the real coordinates of a vector relating to the two elbows in the real world,
- a2 being the image coordinates of a vector relating to the two elbows in image i,
- A3 being the real coordinates of a vector relating to the two wrists in the real world,
- a3 being the image coordinates of a vector relating to the two wrists in image i,
- PT being the real coordinates of a vector relating to the spine,
-
-g being a function defined by:
- g1 being a function defined by:
- R being the predetermined norm of the orientation vector, equal to the radius of the upper base BS of an enveloping box, for example equal to 50 centimeters.
- CP being a weighting coefficient applied to the image coordinates of the pairs of points,
- kte being a value representative of a real distance between two shoulders of an adult person of average size, for example 50 centimeters,
-
- hp being the estimated height of the person, for example determined from a point relating to the feet and a point relating to the head,
- C being a head point or more advantageously the central point C as described previously, in relation to Figure 1.
L’homme du métier saura adapter cette formule mathématique pour ne prendre en considération que la paire de points relative à des épaules et au moins une autre paire de points parmi une paire de points relative à des poignets et une paire de points relative à des coudes ou alors prendre en compte une paire de points additionnelle, par exemple les mains.Those skilled in the art will know how to adapt this mathematical formula to take into consideration only the pair of points relating to shoulders and at least one other pair of points among a pair of points relating to wrists and a pair of points relating to elbows. or take into account an additional pair of points, for example the hands.
Il est également possible de ne prendre en compte qu'une paire de points pour caractériser l’orientation d’un élément d’intérêt, par exemple la paire de points relative à des épaules ou la paire de points relative à des poignets, mais le résultat sera moins fiable.It is also possible to take into account only a pair of points to characterize the orientation of an element of interest, for example the pair of points relating to shoulders or the pair of points relating to wrists, but the result will be less reliable.
Selon les exemples illustrés sur les figures et décrits ci-dessus, les éléments d’intérêts sont des personnes piétons. L’homme du métier saura adapter l’exemple pour des éléments d’intérêts qui sont des personnes véhiculées.According to the examples illustrated in the figures and described above, the elements of interest are pedestrians. A person skilled in the art will be able to adapt the example for elements of interest which are the people being transported.
Par exemple, pour un élément d’intérêt qui est une personne véhiculée, l’orientation peut être déterminée de la même manière que pour une personne piéton ou prendre en compte l’orientation du véhicule, l’espace d’appartenance peut prendre en compte un volume occupé par le véhicule, le point d’ancrage peut être localisé sur le véhicule ou la personne.For example, for an element of interest which is a person being transported, the orientation can be determined in the same way as for a pedestrian person or take into account the orientation of the vehicle, the belonging space can take into account a volume occupied by the vehicle, the anchor point can be located on the vehicle or the person.
L’homme du métier saura adapter l’exemple de l’élément d’intérêt qui est une personne piéton à un élément d’intérêt qui est un animal. Un animal peut être modélisé par un squelette, tout comme une personne.Those skilled in the art will be able to adapt the example of the element of interest which is a pedestrian person to an element of interest which is an animal. An animal can be modeled by a skeleton, just like a person.
L’homme du métier saura adapter l’exemple de l’élément d’intérêt qui est une personne piéton à un élément d’intérêt qui est un robot ou un véhicule autonome. Par exemple, un élément d’intérêt qui est un robot ou un véhicule autonome comprend une unité de contrôle. L’orientation peut être déterminée à l’aide de données fournies par l’unité de contrôle de l’élément d’intérêt au calculateur, les données étant par exemple des données de trajectoire ou de position géographique. De manière plus similaire aux exemples décrits, l’orientation peut être déterminée à partir de points caractéristiques de l’élément d’intérêt.Those skilled in the art will know how to adapt the example of the element of interest which is a pedestrian person to an element of interest which is a robot or an autonomous vehicle. For example, an item of interest that is a robot or autonomous vehicle includes a control unit. The orientation can be determined using data provided by the control unit of the element of interest to the computer, the data being for example trajectory or geographical position data. More similar to the examples described, the orientation can be determined from characteristic points of the element of interest.
Claims (10)
- une étape de caractérisation (101), dans laquelle le calculateur caractérise pour chaque élément d’intérêt, une orientation de l’élément d’intérêt,
- une étape de définition (102), dans laquelle le calculateur définit pour chaque élément d’intérêt, un espace d’appartenance (20) en fonction de l’orientation de l’élément d’intérêt caractérisée,
et comprenant une étape de détection (104) d’interactions, dans laquelle le calculateur détecte des interactions entre des éléments d’intérêt (P1, P2, P3) en fonction de la localisation relative des espaces d’appartenance (20) des éléments d’intérêt (P1, P2, P3) les uns par rapport aux autres dans le temps.Method for detecting interactions between several elements of interest (P1, P2, P3), by a computer, from a plurality of images comprising the elements of interest, the images of the plurality of images being acquired at different moments in time, the process comprising for each image the following steps:
- a characterization step (101), in which the calculator characterizes for each element of interest, an orientation of the element of interest,
- a definition step (102), in which the calculator defines, for each element of interest, a membership space (20) as a function of the orientation of the element of interest characterized,
and comprising an interaction detection step (104), in which the calculator detects interactions between elements of interest (P1, P2, P3) as a function of the relative location of the belonging spaces (20) of the elements of interest (P1, P2, P3) in relation to each other over time.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2201034A FR3132585A1 (en) | 2022-02-07 | 2022-02-07 | Method for detecting interactions between several elements of interest |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2201034 | 2022-02-07 | ||
| FR2201034A FR3132585A1 (en) | 2022-02-07 | 2022-02-07 | Method for detecting interactions between several elements of interest |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| FR3132585A1 true FR3132585A1 (en) | 2023-08-11 |
Family
ID=81648816
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR2201034A Pending FR3132585A1 (en) | 2022-02-07 | 2022-02-07 | Method for detecting interactions between several elements of interest |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR3132585A1 (en) |
-
2022
- 2022-02-07 FR FR2201034A patent/FR3132585A1/en active Pending
Non-Patent Citations (3)
| Title |
|---|
| "3D Collision Detection", 26 June 2021 (2021-06-26), XP055959592, Retrieved from the Internet <URL:https://www.youtube.com/watch?v=6DU_dUc__HE> [retrieved on 20220912] * |
| KARQ: "OVERWATCH HITBOXES for EVERY HERO", 12 May 2020 (2020-05-12), XP055959984, Retrieved from the Internet <URL:https://www.youtube.com/watch?v=0UsX3nborfA> [retrieved on 20220912] * |
| SOFTKINETIC: "Welcome to iisu 3.0 | Enhancements & Productivity", 15 December 2011 (2011-12-15), XP055959723, Retrieved from the Internet <URL:https://www.youtube.com/watch?v=gGS-GP4SeVs> [retrieved on 20220912] * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110988912B (en) | Road target and distance detection method, system and device for automatic driving vehicle | |
| CN107576960B (en) | Target detection method and system for visual radar space-time information fusion | |
| Charron et al. | De-noising of lidar point clouds corrupted by snowfall | |
| Premebida et al. | High-resolution lidar-based depth mapping using bilateral filter | |
| Zielke et al. | Intensity and edge-based symmetry detection with an application to car-following | |
| JP5989701B2 (en) | Boundary detection device and boundary detection method | |
| US9105128B2 (en) | Adaptive image acquisition and processing with image analysis feedback | |
| CN101408978B (en) | Method and apparatus for detecting barrier based on monocular vision | |
| JP2012503817A (en) | Method and composition for blurring an image | |
| EP2593907B1 (en) | Method for detecting a target in stereoscopic images by learning and statistical classification on the basis of a probability law | |
| CA3020069A1 (en) | Spatial data analysis | |
| US11256915B2 (en) | Object tracking across multiple images | |
| EP2937812A1 (en) | System for locating a single vehicle in a plurality of areas different from one another through which said vehicle passes consecutively | |
| EP3729327A1 (en) | Method for recognising objects in a three dimensional scene | |
| Christodoulou et al. | Pavement defects detection and classification using smartphone-based vibration and video signals | |
| Christodoulou et al. | Pavement patch defects detection and classification using smartphones, vibration signals and video images | |
| Rumora et al. | Spatial video remote sensing for urban vegetation mapping using vegetation indices | |
| EP3384462B1 (en) | Method for characterising a scene by calculating the 3d orientation | |
| FR3132585A1 (en) | Method for detecting interactions between several elements of interest | |
| FR3103907A1 (en) | GEOLOCATION AND QUALIFICATION PROCESS OF SIGNALING INFRASTRUCTURE DEVICES | |
| Laureshyn et al. | Automated video analysis as a tool for analysing road user behaviour | |
| CN113910265B (en) | Intelligent inspection method and system for inspection robot | |
| Hedeya et al. | A low-cost multi-sensor deep learning system for pavement distress detection and severity classification | |
| Bortolotti et al. | Pilot study of a computer vision system for in-field peach fruit quality evaluation | |
| EP3839816A1 (en) | Electronic device for identifying and monitoring at least one target, associated electronic system, method and computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20230811 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |