FR2968878A1

FR2968878A1 - Procede et dispositif pour generer des images comportant du flou cinetique

Info

Publication number: FR2968878A1
Application number: FR1060459A
Authority: FR
Inventors: Pascal Bourdon; Pierrick Jouet; Vincent Alleaume
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2010-12-14
Filing date: 2010-12-14
Publication date: 2012-06-15
Also published as: US9094625B2; CN103262525B; KR101773647B1; CN103262525A; MX2013006374A; KR20130140074A; CA2820834A1; HK1190252A1; MY160014A; RU2013132537A; TW201225666A; CA2820834C; EP2652939A1; JP5995863B2; WO2012080122A1; RU2575980C2; US20140293094A1; JP2014501462A; TWI501600B; PT2652939E

Abstract

L'invention concerne un procédé de traitement d'images vidéo comprenant les étapes suivantes : - acquérir une pluralité d'images vidéo pendant un intervalle de temps centré sur un temps de référence t ; - associer un facteur de pondération à chacune des images vidéo, au moins deux des images vidéo ayant des facteurs de pondération différents, - mémoriser les images vidéo, - pondérer chacune des images vidéo mémorisées avec le facteur de pondération associé; - générer une image dite de référence associée au temps de référence t par moyennage des images vidéo pondérées. Selon l'invention, chacune des images vidéo est mémorisée avec une résolution proportionnelle au facteur de pondération associé à ladite image vidéo afin de réduire l'espace mémoire nécessaire au stockage des images et réduire le temps d'accès aux images mémorisées. Application : Animatique et production d'effets vidéo

Description

1 PROCEDE ET DISPOSITIF POUR GENERER DES IMAGES COMPORTANT DU FLOU CINETIQUE

Domaine de l'invention La présente invention concerne un procédé et un dispositif de traitement vidéo destiné à générer des images comportant du flou cinétique. L'invention concerne plus particulièrement le domaine de l'animatique et des effets vidéo et est applicable à des images de synthèse ou des images générées par un dispositif de capture muni d'un obturateur numérique. Ce traitement a pour but de rendre les images plus naturelles et plus douces à l'oeil humain.

Arrière-plan technologique Le flou cinétique (ou « motion blur » en langue anglaise) est le flou visible qui apparaît sur une image ou une séquence vidéo de film ou d'animation lorsqu'elle comporte un objet en mouvement. Ce flou est dû à un déplacement rapide de l'objet pendant la capture de l'image ou à une longue durée d'exposition (temps de pose) du dispositif de capture (caméscope ou appareil photographique). L'image capturée intègre l'ensemble des positions de l'objet sur une période correspondant à la durée d'exposition déterminée par la vitesse de l'obturateur du dispositif de capture. Dans cette image, un élément de la scène capturée qui est en mouvement par rapport au dispositif de capture apparaît alors flou dans la direction du mouvement. Cet élément flou peut être un objet en mouvement de la scène lorsque le dispositif de capture est fixe, ou l'arrière-plan de la scène lorsque le dispositif de capture se déplace à la même vitesse que les objets en mouvement de la scène.

2

Dans le cas d'images de synthèse, chaque image peut être assimilée à une image qui serait capturée par un dispositif de capture ayant une vitesse d'obturation infinie (durée d'exposition quasi-nulle). Il n'y a donc pas de flou cinétique et le déplacement des objets en mouvement dans les images apparait discontinu et saccadé pour l'oeil humain. En ce qui concerne les images générées par un dispositif de capture avec obturateur numérique (non mécanique), la représentation de l'objet en mouvement sur l'image capturée peut contenir des artefacts temporels désagréables pour l'oeil humain en raison de la troncature abrupte du signal lumineux par l'obturateur numérique qui fonctionne généralement en mode marche/arrêt, c'est-à- dire avec seulement 2 états possibles de l'obturateur. Pour y remédier, il est connu d'appliquer à ces images un traitement simulant le filtrage occasionné par un obturateur mécanique. Pour les images générées par un dispositif de capture avec obturateur numérique, ce traitement consiste à conformer la réponse temporelle de l'obturateur numérique à celle d'un obturateur mécanique. Pour les images de synthèse, le traitement consiste à filtrer l'image avec un filtre, appelé « motion filter » en langue anglaise, ayant une réponse temporelle proche de celle d'un obturateur mécanique. Ce traitement consiste généralement à acquérir une pluralité d'images vidéo pendant un intervalle de temps centré sur un temps de référence t se rapportant à l'image à afficher, à pondérer chacune desdites images vidéo et à effectuer un rendu de l'image associée au temps de référence t par moyennage des images vidéo pondérées. Le nombre d'images à pondérer et la valeur des facteurs de pondération à considérer pour ce traitement dépendent de la réponse temporelle à reproduire.

3

Ce traitement impose d'acquérir et de sauvegarder, pour chaque image à afficher, plusieurs images vidéo. Sa mise en oeuvre requiert donc un grand espace mémoire pour stocker ces images et implique des temps d'accès mémoire relativement longs, ce qui influe sur le temps du traitement. Résumé de l'invention Un but de la présente invention est de proposer un procédé de traitement d'image palliant tout ou partie des inconvénients précités, et plus particulièrement un procédé de traitement d'image employant un espace mémoire réduit et requérant des temps d'accès plus faibles. A cet effet, la présente invention propose un procédé de traitement d'images vidéo comprenant les étapes suivantes : - acquérir une pluralité d'images vidéo pendant un intervalle de temps centré sur un temps de référence t ; - associer un facteur de pondération à chacune 20 des images vidéo, au moins deux des images vidéo ayant des facteurs de pondération différents, - mémoriser les images vidéo, - pondérer chacune des images vidéo mémorisées avec le facteur de pondération associé; 25 - générer une image dite de référence associée au temps de référence t par moyennage des images vidéo pondérées, caractérisé en ce que chacune des images vidéo est mémorisée avec une résolution proportionnelle au 30 facteur de pondération associé à ladite image vidéo. Ainsi, selon l'invention, les images dont le facteur de pondération associé est faible ont une résolution faible. Cela permet de réduire l'espace mémoire occupée par ces images et de réduire les temps 35 d'accès à ces images.

4

On entend par résolution d'une image le nombre de points ou pixels que celle-ci comporte, tant horizontalement que verticalement. Lorsqu'on diminue la résolution d'une image, on diminue son nombre de pixels.

Selon un mode de réalisation particulier, le facteur de pondération associé à chaque image vidéo est inversement proportionnel à la durée séparant ladite image vidéo du temps de référence t. Ainsi, les images vidéo les plus les éloignées temporellement du temps de référence t ont les facteurs de pondération les plus faibles. L'application de facteurs de pondération faibles aux images vidéo les plus éloignées du temps de référence permet de reproduire la réponse temporelle d'un obturateur mécanique et d'obtenir ainsi des transitions plus douces entre images de référence successives. Selon un mode de réalisation particulier, le facteur de pondération associé à chaque image vidéo est inversement proportionnel au cosinus surélevé de la durée séparant ladite image vidéo du temps de référence t. Selon un mode de réalisation particulier, chaque image de ladite pluralité d'images vidéo est une image multi-résolution, tel que par exemple une image conforme à la norme JPEG 2000.

L'invention concerne également un dispositif d'acquisition et de traitement d'images vidéo comprenant: - des moyens d'acquisition pour acquérir une pluralité d'images vidéo pendant un intervalle de temps centré sur un temps de référence t ; - une mémoire pour mémoriser les images vidéo acquises, - un circuit de traitement pour associer un facteur de pondération à chacune des images vidéo, au moins deux des images vidéo ayant des facteurs de pondération différents, pour pondérer chacune des images vidéo mémorisées avec le facteur de pondération associé et pour générer une image dite de référence associée au temps de référence t par moyennage des images vidéo pondérées, - des moyens de contrôle pour contrôler la 5 mémorisation des images vidéo acquises dans la mémoire, caractérisé en ce que chacune des images vidéo acquises est mémorisée dans la mémoire avec une résolution qui est proportionnelle au facteur de pondération associé.

Avantageusement, le circuit de traitement associe à chaque image vidéo un facteur de pondération qui est inversement proportionnel à la durée séparant ladite image vidéo du temps de référence t pour reproduire le filtrage opéré par l'obturateur mécanique d'une caméra. Le circuit de traitement associe de préférence à chaque image vidéo un facteur de pondération qui est inversement proportionnel au cosinus surélevé de la durée séparant ladite image vidéo du temps de référence t.

Brève description des figures L'invention sera mieux comprise, et d'autres buts, détails, caractéristiques et avantages apparaîtront plus clairement au cours de la description explicative détaillée qui va suivre, en se référant ci-dessous aux dessins annexés, lesquels représentent: - la figure 1, un diagramme illustrant la fonction d'intégration de la lumière d'un obturateur mécanique classique; - la figure 2, un diagramme illustrant un exemple de fonction d'intégration de la lumière d'un obturateur numérique; - la figure 3, un schéma montrant une même image avec plusieurs résolutions possibles, et - la figure 4, un schéma d'un dispositif pour la mise en oeuvre du procédé de l'invention.

6 Description détaillée d'un mode de réalisation La présente invention concerne l'introduction de flou cinétique dans des images de synthèse ou des images numériques et propose d'optimiser l'espace mémoire nécessaire à la mise en oeuvre de ce traitement en réduisant la résolution des images dont le facteur de pondération est faible. Cela permet de réduire la taille requise pour leur stockage. En outre, le filtrage appliqué à l'image est déterminé pour reproduire le filtrage opéré par un obturateur mécanique. Nous allons donc tout d'abord expliquer le rôle et le fonctionnement d'un obturateur. Dans le domaine des caméscopes numériques et analogiques, la lentille du caméscope est employée pour focaliser la lumière et la diriger vers un capteur d'image chimique ou semi-conducteur. Par exemple, dans un caméscope numérique, le capteur d'image est capteur CCD (pour Charge Coupled Device en langue anglaise) ou un capteur CMOS (pour Complementary Metal Oxide Semiconductor en langue anglaise) qui mesure la lumière avec une matrice de milliers ou de millions de diodes photosensibles minuscules appelées cellules photosensibles.

La quantité de lumière qui atteint le capteur doit être contrôlée pour éviter les sur-expositions et les sous-expositions. C'est le rôle de l'obturateur. Celui-ci peut être soit mécanique, soit numérique. On entend par obturateur mécanique un composant monté dans le dispositif de capture permettant de régler la durée d'exposition du capteur d'image. Cet obturateur est par exemple un obturateur à iris ou un obturateur à rideau. A l'inverse, l'obturateur numérique n'existe 35 pas en tant que composant matériel mais représente la durée pendant laquelle les cellules photosensibles sont

7

autorisées à recevoir de la lumière pendant un cycle de capture. D'une manière générale, l'obturateur peut être modélisé par sa réponse temporelle, notée h(t). Le processus d'intégration de la lumière par une cellule photosensible peut alors être illustré par l'équation suivante : t xshut(t) = f h(t - T) x(T) dT (Équation 1) t-T où - x(t) représente un signal de lumière incidente ; - xshut(t) représente le signal de lumière capturé par la cellule photosensible ; - T est la durée d'exposition de la cellule photosensible pendant laquelle la cellule est exposée au signal de lumière incidente ; T correspond également à la durée d'intégration. L'obturateur agit comme un filtre en ne laissant passer la lumière que pendant une période déterminée correspondant à T, la quantité de lumière autorisée à passer à chaque instant de cette période étant définie par la fonction h(t). Ce processus de filtrage ou d'intégration de la lumière peut être facilement reproduit en appliquant l'équation 1 sous une forme discrète à un ensemble d'images vidéo contribuant à l'élaboration de l'image à afficher. Cette intégration revient alors à réaliser une somme pondérée des images vidéo, les facteurs de pondération étant déterminés par la réponse temporelle h(t) de l'obturateur à reproduire. Chacune des images vidéo contribuant à l'élaboration de l'image à afficher est une image vidéo se rapportant à un instant qui lui est propre dans un intervalle de temps centré sur un instant de référence t se rapportant à l'image à afficher. Ces images vidéo sont par exemple des images acquises avec une fréquence d'acquisition qui est un multiple de la fréquence d'affichage associée à l'image à afficher.

Par souci de clarté, nous utiliserons, dans la suite de la description, le terme sous-images pour désigner les images vidéo contribuant à l'élaboration de l'image à afficher.

Les figures 1 et 2 illustrent respectivement la réponse temporelle d'un obturateur mécanique et la réponse temporelle d'un obturateur numérique classique.

Elles sont représentées chacune sous la forme d'une fonction de gain, le gain étant maximal et égal à 1 lorsque l'obturateur est complètement ouvert et le gain étant nul lorsque l'obturateur est fermé.

L'obturateur mécanique s'ouvre et se ferme progressivement. En conséquence, son gain augmente et diminue progressivement de part et d'autre de sa position complètement ouverte (figure 1).

L'obturateur numérique classique se comporte comme un interrupteur ayant deux positions : une position ouverte pendant laquelle les cellules photosensibles sont autorisées à capter de la lumière et une position fermée pendant laquelle les cellules photosensibles ne sont pas autorisées à capter de la lumière. La réponse temporelle de cet obturateur est donc carrée (figure 2).

Ces deux réponses peuvent être modélisées par une fonction cosinus surélevé discrète, le facteur de décroissance (ou de roll-off en langue anglaise) étant proche de 0 pour l'obturateur numérique et positif pour l'obturateur mécanique.

Si on modélise sous forme discrète le processus d'intégration de la lumière pour une image complète, il peut s'écrire de la façon suivante:

k h(k - q - 2) - 1(x, y, q) 2 lshut(x, y, k) _ q=k-Q Équation 2 q=0 9 où - k est un indice désignant une image; - q désigne une sous-image parmi Q sous-imagees de l'image k; - Q est le nombre total de sous-images de 5 l'image k ; - I(x,y,q) représente la valeur du pixel de coordonnées (x,y) de la sous-image q; - Ishut(x,y,k) représente la valeur du pixel de coordonnées (x,y) de l'image k après traitement, et 10 - h(q) est la forme discrète de la réponse temporelle de l'obturateur. Pour introduire dans l'image un flou cinétique conforme à celui introduit par un obturateur mécanique, on emploiera dans l'équation 2 une réponse temporelle 15 h(t) discrète telle qu'illustrée par la figure 1. Comme on peut le voir sur cette figure, certaines sous-images ont une valeur de gain plus faible que d'autres. Cette valeur de gain est représentative du poids de cette sous-image dans l'image à afficher. Le facteur de pondération 20 qui sera appliqué à la sous-image est donc proportionnel au gain représenté à la figure 1. Comme on peut le voir sur cette figure (figure 1), certaines sous-images ont donc un poids plus faible que d'autres dans le procédé de traitement. Il 25 n'est donc pas nécessaire de stocker ces sous-images avec une résolution élevée. Aussi, selon l'invention, on prévoit d'adapter la résolution des sous-images en fonction de leur poids (facteur de pondération). La résolution de chacune des 30 sous-images stockées pour le traitement est adaptée proportionnellement à son poids (facteur de pondération). Ainsi, les sous-images de l'image à traiter occuperont un espace mémoire sensiblement proportionnel à leur poids. Seules les sous-images ayant un facteur égal au facteur 35 de pondération maximal seront sauvegardées avec une pleine résolution. Cela va ainsi permettre de libérer de

10

l'espace mémoire et de réduire le temps d'accès aux sous-images. La figure 3 illustre cet aspect multirésolution du procédé de l'invention. Cette figure représente 6 sous-images représentant la même scène mais avec des résolutions différentes. La sous-image dans le coin gauche supérieur de la figure représente une sous-image haute résolution et celle du coin droit inférieur représente une sous-image basse résolution, les autres sous-images ayant des résolutions intermédiaires. Selon l'invention, les sous-images ayant un facteur de pondération maximal seront stockées avec une haute résolution et celles ayant un facteur de pondération seront stockées avec une résolution sensiblement proportionnelle à ce facteur de pondération. Avantageusement, le procédé de l'invention est applicable aux images conformes au standard JPEG 2000 et délivrées par des caméras professionnelles numériques équipées d'obturateur numérique. Ce type d'image comporte en effet déjà une structure hiérarchique multirésolution. L'acquisition est réalisée à une fréquence élevée, par exemple 100 Hz ou 200 Hz, par la caméra. Pour chaque image à afficher, il est possible d'acquérir plusieurs sous-images. Par exemple dans le cas d'un affichage à 25 Hz et d'une acquisition à 200 Hz, la caméra génère 8 sous-images multi-résolution pour chaque image à afficher. Pour le traitement, on stockera chaque sous- image avec la résolution correspondant au facteur de pondération à associer à cette sous-image.

La figure 4 illustre le schéma d'un dispositif apte à mettre en oeuvre le procédé de l'invention. Il comporte : des moyens d'acquisition 11 des sous-images, tels que par exemple des capteurs CMOS dont le mode de fonctionnement permet l'obtention d'une fréquence d'acquisition élevée ;

11

une mémoire 12 pour mémoriser les sous-images acquises, un circuit de traitement d'image 13 pour associer un facteur de pondération à chaque sous-image vidéo, pondérer chacune des sous-images mémorisées avec le facteur de pondération associé et générer une image dite de référence associée au temps de référence t par moyennage des images vidéo pondérées, et des moyens de contrôle 14 pour l'ensemble 10 des moyens du dispositif. Les moyens de contrôle contrôlent plus particulièrement la mémoire pour que chacune des sous-images générées par les moyens d'acquisition soit stockée dans la mémoire avec une résolution proportionnelle au 15 facteur de pondération associé. Pour reproduire le flou cinétique introduit par un obturateur numérique, le circuit de traitement associe avantageusement à chaque image vidéo un facteur de pondération qui est inversement proportionnel à la durée 20 séparant ladite image vidéo du temps de référence t. Ce facteur de pondération est de préférence inversement proportionnel au cosinus surélevé de la durée séparant ladite image vidéo du temps de référence t. L'image de référence générée par le circuit de 25 traitement est ensuite transmise vers un afficheur 20. Ce dispositif est par exemple un caméscope ayant une fréquence d'acquisition très élevée, par exemple 100 ou 200 Hz, et délivrant des images de référence à 25 Hz.

30 Bien que l'invention ait été décrite en liaison avec un mode de réalisation particulier, il est bien évident qu'elle n'y est nullement limitée et qu'elle comprend tous les équivalents techniques des moyens décrits ainsi que leurs combinaisons si celles-ci entrent 35 dans le cadre de l'invention. 20

Claims

REVENDICATIONS1. Procédé de traitement d'images vidéo comprenant les étapes suivantes : - acquérir une pluralité d'images vidéo pendant un intervalle de temps centré sur un temps de référence t ; - associer un facteur de pondération à chacune des images vidéo, au moins deux des images vidéo ayant 10 des facteurs de pondération différents, - mémoriser les images vidéo, - pondérer chacune des images vidéo mémorisées avec le facteur de pondération associé; - générer une image dite de référence associée 15 au temps de référence t par moyennage des images vidéo pondérées, caractérisé en ce que chacune des images vidéo est mémorisée avec une résolution proportionnelle au facteur de pondération associé à ladite image vidéo.
2. Procédé selon la revendication 1, dans lequel le facteur de pondération associé à chaque image vidéo est inversement proportionnel à la durée séparant ladite image vidéo du temps de référence t. 25
3. Procédé selon la revendication 2, dans lequel le facteur de pondération associé à chaque image vidéo est inversement proportionnel au cosinus surélevé de la durée séparant ladite image vidéo du temps de 30 référence t.
4. Dispositif d'acquisition et de traitement d'images vidéo comprenant: - des moyens d'acquisition (11) pour acquérir 35 une pluralité d'images vidéo pendant un intervalle de temps centré sur un temps de référence t ; 13 - une mémoire (12) pour mémoriser les images vidéo acquises, - un circuit de traitement (13) pour associer un facteur de pondération à chacune des images vidéo, au moins deux des images vidéo ayant des facteurs de pondération différents, pour pondérer chacune des images vidéo mémorisées avec le facteur de pondération associé et pour générer une image dite de référence associée au temps de référence t par moyennage des images vidéo pondérées, - des moyens de contrôle (14) pour contrôler la mémorisation des images vidéo acquises dans la mémoire, caractérisé en ce que chacune des images vidéo acquises est mémorisée dans la mémoire avec une résolution qui est proportionnelle au facteur de pondération associé.
5. Dispositif selon la revendication 4, dans lequel le circuit de traitement associe à chaque image vidéo un facteur de pondération qui est inversement proportionnel à la durée séparant ladite image vidéo du temps de référence t.
6. Dispositif selon la revendication 4, dans lequel le circuit de traitement associe à chaque image vidéo un facteur de pondération qui est inversement proportionnel au cosinus surélevé de la durée séparant ladite image vidéo du temps de référence t.
7. Caméscope caractérisé en ce qu'il comporte un dispositif selon l'une quelconque des revendications 4 à 6.