EP1834488A1 - Procede et dispositif de codage video - Google Patents

Procede et dispositif de codage video

Info

Publication number
EP1834488A1
EP1834488A1 EP05826580A EP05826580A EP1834488A1 EP 1834488 A1 EP1834488 A1 EP 1834488A1 EP 05826580 A EP05826580 A EP 05826580A EP 05826580 A EP05826580 A EP 05826580A EP 1834488 A1 EP1834488 A1 EP 1834488A1
Authority
EP
European Patent Office
Prior art keywords
images
image
long
term
decoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP05826580A
Other languages
German (de)
English (en)
Inventor
Marc Baillavoine
Joël JUNG
Jean-Christophe Amiel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of EP1834488A1 publication Critical patent/EP1834488A1/fr
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/67—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving unequal error protection [UEP], i.e. providing protection according to the importance of the data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Definitions

  • the present invention relates to video coding techniques.
  • Inter-coding in which the motion between successive frames of a video clip is estimated so that the most recent image is coded relative to one or more previous images.
  • a motion estimate is made in the sequence, the estimation parameters are quantized and sent to the decoder, and the estimation error is transformed, quantized and sent to the decoder.
  • Each image of the sequence can also be coded without reference to others. This is called intra-frame coding.
  • This mode of coding exploits the spatial correlations within an image. For a given transmission rate from the encoder to the decoder, it provides a lower video quality than the Inter encoding since it does not take advantage of temporal correlations between the successive images of the video sequence.
  • a portion of video footage has its first Intra encoded image and subsequent images encoded in Inter.
  • Information included in the output stream of the encoder indicates the images encoded in Intra and Inter and, in the latter case, the reference image (s) to be used.
  • New coding standards in particular the International Telecommunication Union (ITU-T) standard H.264, allow the coder to mark certain long-term the sequence in the output stream, to indicate to the decoder that it must keep in memory these images once reconstructed. These marked images are called “long-term picture” in the standard. Unless otherwise specified by the encoder, the decoder stores these images in its memory. These marked images are distinguished from so-called “short-term picture” images which are erased from the decoder memory as the video sequence is restored.
  • ITU-T International Telecommunication Union
  • a problem of Inter coding is its behavior in the presence of transmission errors or packet losses on the communication channel between the encoder and the decoder. The degradation or loss of an image propagates on subsequent images until a new Intra coded image occurs.
  • the mode of transmission of the coded signal between the encoder and the decoder causes total or partial losses of certain images. Such losses result, for example, from the loss or the late arrival of certain data packets when the transmission takes place on a packet network without guarantee of delivery such as an IP (Internet Protocol) network. Losses can also result from errors introduced by the transmission channel beyond the correction capabilities of the error correction codes employed.
  • One of these mechanisms is the use of a return channel, from the decoder to the encoder, on which the decoder informs the coder that he has lost all or part of certain images. In some cases, it is the well-reconstructed images that the decoder indicates to the encoder and the latter can, on the contrary, deduce which images have possibly been lost.
  • the encoder can then make coding choices to correct or at least reduce the effects of transmission errors.
  • Current encoders simply return an Intra encoded image, that is, without reference to images previously encoded in the stream and possibly containing errors.
  • Intra images can refresh the display and correct errors due to transmission losses. But they are worse quality as Inter images. Thus, the usual mechanism for compensating for image loss still gives rise to a degradation of the quality of the signal restored for a certain time after the loss.
  • An object of the present invention is to improve the quality of a video signal due to transmission errors when a return channel is present from the decoder to the encoder.
  • the invention thus proposes a video coding method, comprising the following steps:
  • - include coding parameters in an output stream to be transmitted to a station with a decoder
  • each long-term tagged image to be stored in memory by the decoder until on receipt of a demarcation command of said image; . receiving from said station feedback information on the restitution of the images of the video sequence by the decoder;
  • Long-term tagged images can be used as reference images for Inter coding, just like any other image in a video clip.
  • the method according to the invention makes it possible to maintain the coding mode in Inter when losses are detected, including one or a plurality of long-term images in a previous set of images that the encoder may select as a reference for restarting Inter-coding after detection of image loss.
  • These long-term marked images avoid making obligatory reference to short-term images, which the decoder conserves only transiently in its memory.
  • These short-term images may also be corrupted due to the observed loss, and it is very useful to be able to refer to long-term images as needed.
  • the method advantageously uses suitable strategies for long-term marking of the images of the video sequence, for example:
  • the coder can mark in the long term, on a regular basis, the images of the stream which are not affected by the losses in the network .
  • the process of regular marking of the coded images is interrupted. This ensures that reference images are in memory when a loss occurs.
  • Another aspect of the invention relates to a computer program for installation in a video processing apparatus, comprising instructions for implementing the steps of a video encoding method as defined above in a execution of the program by a computing unit of said apparatus.
  • Another aspect of the invention relates to a video encoder, comprising:
  • FIG. 1 is a diagram showing two stations in communication, provided with video coders / decoders;
  • FIG. 2 is a block diagram of a video encoder according to the invention;
  • FIG. 3 is a block diagram of a video decoder capable of reproducing images coded by the coder of FIG. 2.
  • the coding method according to the invention is for example applicable to videoconferencing over an IP network (subject to packet loss), between two stations A and B (FIG. 1). These stations communicate directly, in the sense that no video transcoding equipment participates in their communication.
  • Each station A, B uses video media coded according to a standard that supports the concept of long-term picture marking, for example the ITU-T H.264 standard.
  • stations A, B have agreed on an H.264 configuration with long-term marking as well as to establish a return channel.
  • each station A, B is naturally equipped with both an encoder and a decoder (encoded).
  • station A is the transmitter that contains video encoder 1 (FIG. 2) and station B is the receiver that contains decoder 2 (FIG. 3).
  • decoder 2 FIG. 3
  • the stations A, B are for example made up of personal computers, as in the illustration of FIG. 1, each being equipped with systems for taking and restoring video images, a network interface 3, 4 for the connection. to the IP network, as well as video conferencing software executed by the central unit of the computer.
  • these programs rely on programs that implement H.264.
  • the program is adapted to include the features described below.
  • the codec can also be implemented using a specialized processor or a specific circuit.
  • the described method can also accommodate coding standards other than H.264.
  • the decoder video image reconstruction module 2 is also in the encoder 1.
  • This reconstruction module 5 is visible in each of Figures 2 and 3; it is composed of substantially identical elements bearing the same reference numerals 51-57.
  • the prediction residue of a current image F that is to say the difference calculated by a subtractor 6 between the image F and a predicted image P, is transformed and quantized by the encoder 1 (modules 7, 8 of Figure 2).
  • An entropy coding module 9 constructs the output stream ⁇ of the coder 1 which includes the coding parameters of the successive images of the video sequence (parameters for prediction and quantification of the transformed residue) as well as various control parameters obtained by a module of control 10 of the encoder.
  • control parameters indicate in particular what is the encoding mode (Inter or Intra) used for the current image and, in the case of Inter coding, the reference image or images to be used.
  • the stream ⁇ received by the network interface 4 is subjected to an entropy decoder 11 which retrieves the coding parameters and the control parameters, the latter being supplied to a control module 12 of the decoder.
  • the control modules 10, 12 respectively monitor the encoder 1 and the decoder 2 by providing them with the commands necessary to know the coding mode used, to designate the reference images in Inter coding, to configure and parameterize the transformation, quantization and filtering elements. etc.
  • each usable reference image F R is stored in a buffer 51 of the reconstruction module 5. This contains a window of N reconstructed images immediately preceding the current image (short-term images) and possibly one or more images that the encoder has specially marked (long-term images).
  • the number N of short-term images stored in memory is controlled by the encoder 1. It is usually limited so as not to occupy too much resources of the stations A, B. The refreshing of these images in the short run term intervenes after N images of the video stream.
  • control parameters obtained by the module 10 and inserted in the stream ⁇ also include the commands for marking and marking the images in the long term.
  • the prediction parameters for the Inter coding are calculated in a known manner by a motion estimation module 15 as a function of the current image F and of one or more reference images F R.
  • the predicted picture P is generated by a motion compensation module 13 on the basis of the reference picture (s) F R and the prediction parameters calculated by the module 15.
  • the reconstruction module 5 comprises a module 53 which retrieves the transformed and quantized parameters from the quantization indexes produced by the quantization module 8.
  • a module 54 operates the inverse transformation of the module 7 to retrieve a quantized version of the prediction residue. . This is added to the blocks of the predicted picture P by an adder 55 to provide the blocks of a pre-processed picture PF 1 .
  • the pre-processed image PF 1 is finally processed by a deblocking filter 57 to provide the reconstructed image F 'delivered by the decoder and stored in its buffer memory 51.
  • a spatial prediction is made in a known manner as the block coding of the current image F proceeds. This prediction is performed by a module 56 on the basis of the already available blocks of the pre-processed image. PF '.
  • the transmission of Intra coded parameters generally requires a higher rate than that of Inter coded parameters.
  • the Intra encoding of an image of a video sequence provides a lower quality than its Inter coding.
  • the selection between the Intra and Inter modes for a current image is performed by the control module 10 of the encoder, for example based on a detection of the changes of plane within the video sequence.
  • a change of plane can be decided by a detector 16 of the video encoder 1 by observing whether the difference between two successive images of the sequence has an energy greater than a detection threshold.
  • the image where a change of plane is detected is typically encoded in Intra, while the other images in the sequence are encoded in Inter.
  • the method according to the invention promotes the resumption of the coding not in Intra but in inter.
  • the method ensures that this recovery of the Inter coding can be done relatively to a reference image previously marked in the long run.
  • the control module 10 of the encoder receives and analyzes the information of the return channel.
  • the current image can be coded as follows:
  • control module 10 may decide to resume coding in Inter relative to a reference image still present in the window of N short-term images temporarily stored by the decoder. For example, if the stations A, B communicate according to an image-acknowledgment protocol and if the encoder 1 notes that a recent image, still present in the window of N short-term images, has been acknowledged, it may prefer to resume Inter coding for this image, especially if it is newer than the last one T / FR2005 / 003J49
  • the control module 10 also manages the long-term marking of the images of the video sequence.
  • each detection of a change of plane by the detector 16 gives rise to the long-term marking by the control module 10 of an image following the change of detected plane, preferably the first image following the change of plan.
  • the control module 10 can address the decoder a markdown control of the (or) image (s) previously marked (s) long term.
  • the return channel can be organized in several ways.
  • This return information is generally produced upstream of the decoder, for example by the protocol layers (notably RTCP) of the network interface 4 of the station B. They most often carry out negative acknowledgments, signaling the poor reception of the stream by the station B, but could also carry positive acknowledgments, signaling the good reception of the stream by the station B.
  • protocol layers notably RTCP
  • the control module 10 determines, over time, lossless phases in which the flow is well received by the station B (no loss reported during a latency period of a few seconds). seconds for example) and lossy phases in which the reception of the stream by the station B is disturbed.
  • lossless phases it marks images of the video sequence on a regular basis, for example with a periodicity of a few tens to a few hundred images.
  • the control module 10 interrupts this regular marking to minimize the risk of using a corrupted reference image.
  • the return channel can in particular provide more details on the quantity and location of the information lost, for example on the loss of part of an image or on the number of the lost image.
  • This kind of return information comes from the video decoder itself, as indicated by the dashed line in Figure 3.
  • this feedback can be in the form of positive acknowledgments (signal images of the sequence which have been restored) or negative (signal images of the sequence that could not be restored).
  • Such methods are for example used in ITU-T H.263 + (Appendix N) and can be transposed to other standards such as H.264.
  • control module 10 With a return channel thus organized, it is advantageous for the control module 10 to mark, in the long term, images of the selected video sequence (for example regularly or following plane changes) among images of which it knows that they have been well returned. This ensures that the reference image used will be present at the decoder.
  • the loss message transferred from the decoder to the encoder arrives with a delay which will have allowed the loss to propagate during a few images.
  • the improvement related to the proposed invention nevertheless remains effective, because the transmission delay on the return channel would have affected in the same way the coding in Intra of the image following the knowledge of the loss by the control module 10.
  • An advantageous improvement of the method uses redundancy of information to transmit to the decoder the images marked long-term, which increases the probability of availability of images in the memory 51 of the decoder in the event of transmission difficulties between the two stations A, B.
  • redundancy is provided for in H.264 ("redundant coded picture").

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

On code des images successives (F) d'une séquence vidéo pour générer des paramètres qui sont inclus dans un flux de sortie (F) à transmettre vers un décodeur. Le codage de certaines images est opéré en Inter relativement à une ou plusieurs images précédentes de la séquence. Le flux de sortie inclut aussi des commandes de marquage à long terme de certaines images et des commandes de démarquage d'images précédemment marquées. Chaque image marquée à long terme est à conserver en mémoire par le décodeur jusqu'à réception d'une commande de démarquage correspondante. Des informations de retour sur la restitution des images de la séquence vidéo par le décodeur sont reçues par le codeur (1) et analysées pour identifier une image perdue au décodeur. En réponse à l'identification d'une image perdue, on peut coder une image suivante de la séquence en Inter relativement à une image marquée à long terme.

Description

R2005/003149
PROCEDE ET DISPOSITIF DE CODAGE VIDEO
La présente invention concerne les techniques de codage vidéo.
Elle s'applique à des situations où un codeur produisant un flux de signal vidéo codé émis vers un décodeur vidéo bénéficie d'un canal de retour, sur lequel le côté décodeur fournit de l'information indiquant, explicitement ou implicitement, si les images du signal vidéo ont pu ou non être convenablement reconstruites.
Beaucoup de codeurs vidéo supportent un mode de codage interimages ("inter-frame coding", ci-après codage en Inter), dans lequel le mouvement entre les images successives d'une séquence vidéo est estimé afin que l'image la plus récente soit codée relativement à une ou plusieurs images précédentes. Une estimation de mouvement est effectuée dans la séquence, les paramètres d'estimation sont quantifiés et envoyés au décodeur, et l'erreur d'estimation est transformée, quantifiée et envoyée au décodeur.
Chaque image de la séquence peut aussi être codée sans référence aux autres. C'est ce qu'on appelle le codage en Intra ("intra-frame coding"). Ce mode de codage exploite les corrélations spatiales au sein d'une image. Pour un débit de transmission donné du codeur vers le décodeur, il procure une moins bonne qualité vidéo que le codage en Inter puisqu'il ne tire pas parti des corrélations temporelles entre les images successives de la séquence vidéo.
Couramment, une portion de séquence vidéo a sa première image codée en Intra puis les images suivantes codées en Inter. Des informations incluses dans le flux de sortie du codeur indiquent les images codées en Intra et en Inter et, dans ce dernier cas, la ou les images(s) de référence à employer.
Des nouvelles normes de codage, en particulier la norme H.264 de l'Union Internationale des Télécommunications ("Advanced video coding for generic audiovisual services", ITU-T, mai 2003), permettent au codeur de marquer à long terme certaines images de la séquence dans le flux de sortie, pour indiquer au décodeur qu'il doit conserver en mémoire ces images une fois reconstruites. Ces images marquées sont appelées "long-term picture" dans la norme. Sauf indication contraire du codeur, le décodeur conserve ces images dans sa mémoire. Ces images marquées sont à distinguer des images dites "short-term picture" qui sont effacées de la mémoire du décodeur au fur et à mesure de la restitution de la séquence vidéo.
Un problème du codage en Inter est son comportement en présence d'erreurs de transmission ou de pertes de paquets sur le canal de communication entre le codeur et le décodeur. La dégradation ou la perte d'une image se propage sur les images suivantes jusqu'à ce que survienne une nouvelle image codée en Intra.
II est courant que le mode de transmission du signal codé entre le codeur et le décodeur engendre des pertes totales ou partielles de certaines images. De telles pertes résultent par exemple de la perte ou de l'arrivée trop tardive de certains paquets de données lorsque la transmission a lieu sur un réseau de paquets sans garantie de délivrance tel qu'un réseau IP (Internet Protocol). Des pertes peuvent aussi résulter d'erreurs introduites par le canal de transmission au-delà des capacités de correction des codes correcteurs d'erreurs employés.
Dans un environnement sujet à des pertes diverses de signal, il est nécessaire de fournir des mécanismes pour améliorer la qualité de l'image au décodeur. L'un de ces mécanismes est l'utilisation d'un canal de retour, du décodeur vers le codeur, sur lequel le décodeur informe le codeur qu'il a perdu tout ou partie de certaines images. Dans certains cas, ce sont les images bien reconstruites que le décodeur indique au codeur et celui-ci peut, a contrario, en déduire quelles images ont éventuellement été perdues.
Le codeur peut alors faire des choix de codage pour corriger ou du moins réduire les effets des erreurs de transmission. Les codeurs actuels renvoient simplement une image codée en Intra, c'est-à-dire sans référence aux images précédemment codées dans le flux et pouvant contenir des erreurs.
Ces images Intra permettent de rafraîchir l'affichage et de corriger les erreurs dues aux pertes de transmission. Mais elles sont d'une moins bonne qualité que les images Inter. Ainsi, le mécanisme habituel de compensation des pertes d'image donne malgré tout lieu à une dégradation de la qualité du signal restitué pendant un certain temps après la perte.
Un but de la présente invention est d'améliorer la qualité d'un signal vidéo suite à des erreurs de transmission lorsqu'un canal de retour est présent du décodeur vers le codeur.
L'invention propose ainsi un procédé de codage vidéo, comprenant les étapes suivantes:
- coder des images successives d'une séquence vidéo pour générer des paramètres de codage, le codage d'au moins une image étant opéré relativement à au moins une image précédente de la séquence vidéo;
- inclure les paramètres de codage dans un flux de sortie à transmettre à une station comportant un décodeur;
- inclure dans le flux de sortie des commandes de marquage à long terme de certaines images de la séquence vidéo et des commandes de démarquage d'images précédemment marquées à long terme, chaque image marquée à long terme étant à conserver en mémoire par le décodeur jusqu'à réception d'une commande de démarquage de ladite image; . - recevoir de ladite station des informations de retour sur la restitution des images de la séquence vidéo par le décodeur; et
- analyser les informations de retour pour identifier des images non ou mal restituées par le décodeur et, en réponse à l'identification d'une image non ou mal restituée, coder au moins une image suivante de la séquence vidéo relativement à une image précédente de la séquence vidéo sélectionnée parmi des images comprenant au moins une image marquée à long terme.
Les images marquées à long terme peuvent être utilisées comme images de référence pour le codage Inter, comme n'importe quelle autre image d'une séquence vidéo. Le procédé selon l'invention permet de maintenir le mode de codage en Inter lorsque des pertes sont détectées, en incluant une ou plusieurs images à long terme dans un ensemble d'images précédentes que le codeur peut choisir comme référence pour redémarrer le codage en Inter après la détection d'une perte d'image. Ces images marquées à long terme évitent de faire obligatoirement référence aux images à court terme, que le décodeur ne conserve que de façon transitoire dans sa mémoire. Ces images à court terme risquent d'être également corrompues du fait de la perte observée, et il est très utile de pouvoir, au besoin, faire aussi référence à des images à long terme.
Pour un débit de transmission donné, on obtient ainsi une meilleure qualité de restitution vidéo une fois le canal repassé dans un état sans perte.
Le procédé utilise avantageusement des stratégies adaptées de marquage à long terme des images de la séquence vidéo, comme par exemple:
• utilisation de la détection de changement de plan pour marquer à long terme une image qui suit immédiatement un changement de plan. Cette technique permet de s'assurer que l'image de référence sera proche de l'image à coder;
• dans le cas où le canal de retour informe le codeur des images bien reçues, sans erreur de décodage, marquage à long terme de certaines de ces images par le codeur. On s'assure ici que les images utilisées comme "long-term picture" ne contiennent pas d'erreurs;
• dans le cas où le réseau informe le codeur de son état, par exemple en termes de pourcentage de pertes, le codeur peut marquer à long terme, de manière régulière, les images du flux qui ne sont pas affectées par les pertes dans le réseau. Lorsque des pertes interviennent, on interrompt le processus de marquage régulier des images codées. On s'assure ainsi de bien avoir des images de référence en mémoire lorsqu'une perte interviendra.
Un autre aspect de l'invention se rapporte à un programme d'ordinateur à installer dans un appareil de traitement vidéo, comprenant des instructions pour mettre en œuvre les étapes d'un procédé de codage vidéo tel que défini ci-dessus lors d'une exécution du programme par une unité de calcul dudit appareil.
Un autre aspect de l'invention se rapporte à un codeur vidéo, comprenant:
- des moyens de codage d'images successives d'une séquence vidéo pour générer des paramètres de codage, le codage d'au moins une image étant opéré relativement à au moins une image précédente de la séquence vidéo;
- des moyens de formation d'un flux de sortie du codeur à transmettre à une station comportant un décodeur, le flux de sortie incluant lesdits paramètres de codage ainsi que des commandes de marquage à long terme de certaines images de la séquence vidéo et des commandes de démarquage d'images précédemment marquées à long terme, chaque image marquée à long terme étant à conserver en mémoire par le décodeur jusqu'à réception d'une commande de démarquage de ladite image;
- des moyens de réception depuis ladite station d'informations de retour sur la restitution des images de la séquence vidéo par le décodeur; et
- des moyens d'analyse des informations de retour pour identifier des images non ou mal restituées par le décodeur et, en réponse à l'identification d'une image non ou mal restituée, commander les moyens de codage afin qu'au moins une image suivante de la séquence vidéo soit codée relativement à une image précédente de la séquence vidéo sélectionnée parmi des images comprenant au moins une image marquée à long terme.
D'autres particularités et avantages de la présente invention apparaîtront dans la description ci-après d'exemples de réalisation non limitatifs, en référence aux dessins annexés, dans lesquels :
- la figure 1 est un schéma montrant deux stations en communication, pourvues de codeurs/décodeurs vidéo; - la figure 2 est un schéma synoptique d'un codeur vidéo selon l'invention; - la figure 3 est un schéma synoptique d'un décodeur vidéo apte à restituer des images codées par le codeur de la figure 2.
Le procédé de codage selon l'invention est par exemple applicable à la visioconférence sur un réseau IP (sujet à des pertes de paquets), entre deux stations A et B (figure 1 ). Ces stations communiquent directement, en ce sens qu'aucun équipement de transcodage vidéo ne participe à leur communication. Chaque station A, B utilise des média vidéo codés selon une norme qui supporte la notion de marquage d'image à long terme ("long-term picture"), par exemple la norme ITU-T H.264.
Dans une phase préalable de négociation, par exemple effectuée au moyen du protocole ITU-T H.323 bien connu dans le domaine de la visioconférence sur IP, les stations A, B se sont mises d'accord sur une configuration de H.264 avec marquage à long terme ainsi que pour établir un canal de retour.
Dans l'exemple d'application à la visioconférence, chaque station A, B est naturellement équipée à la fois d'un codeur et d'un décodeur (codée). Ici, nous supposerons que la station A est l'émetteur qui contient le codeur vidéo 1 (figure 2) et que la station B est le récepteur qui contient le décodeur 2 (figure 3). On s'intéresse donc au flux H.264 émis de A vers B et au canal de retour de B vers A.
Les stations A, B sont par exemple constituées d'ordinateurs personnels, comme dans l'illustration de la figure 1 , chacun étant équipé de systèmes de prise et de restitution d'images vidéo, d'une interface réseau 3, 4 pour le raccordement au réseau IP, ainsi que de logiciels de visioconférence exécutés par l'unité centrale de l'ordinateur. Pour le codée vidéo, ces logiciels reposent sur des programmes implémentant H.264. Du côté du codeur, le programme est adapté pour inclure les particularités décrites ci-après. Bien entendu, le codée peut aussi être implémenté à l'aide d'un processeur spécialisé ou d'un circuit spécifique. Le procédé décrit peut aussi s'adapter à des normes de codage autres que H.264.
Dans H.264, le module de reconstruction d'images vidéo du décodeur 2 se trouve aussi dans le codeur 1. Ce module de reconstruction 5 est visible sur chacune des figures 2 et 3; il est composé d'éléments sensiblement identiques portant les mêmes références numériques 51-57. Le résidu de prédiction d'une image courante F, c'est-à-dire la différence calculée par un soustracteur 6 entre l'image F et une image prédite P, est transformé et quantifié par le codeur 1 (modules 7, 8 de la figure 2).
Un module de codage entropique 9 construit le flux de sortie Φ du codeur 1 qui inclut les paramètres de codage des images successives de la séquence vidéo (paramètres de prédiction et de quantification du résidu transformé) ainsi que divers paramètres de contrôle obtenus par un module de contrôle 10 du codeur.
Ces paramètres de contrôle indiquent en particulier quel est le mode de codage (Inter ou Intra) utilisé pour l'image courante et, dans le cas du codage Inter, la ou les images de référence à employer.
Du côté du décodeur, le flux Φ reçu par l'interface réseau 4 est soumis à un décodeur entropique 11 qui récupère les paramètres de codage et les paramètres de contrôle, ces derniers étant fournis à un module de contrôle 12 du décodeur. Les modules de contrôle 10, 12 supervisent respectivement le codeur 1 et le décodeur 2 en leur fournissant les commandes nécessaires pour connaître le mode de codage employé, désigner les images de référence en codage Inter, configurer et paramétrer les éléments de transformation, quantification et filtrage, etc.
Pour le codage Inter, chaque image de référence utilisable FR est stockée dans une mémoire tampon 51 du module de reconstruction 5. Celle-ci contient une fenêtre de N images reconstruites précédant immédiatement l'image en cours (images à court terme) et éventuellement une ou plusieurs images que le codeur a spécialement marquées (images à long terme).
Le nombre N d'images à court terme conservées en mémoire est contrôlé par le codeur 1. Il est habituellement limité pour ne pas occuper trop de ressources des stations A, B. Le rafraîchissement de ces images à court terme intervient au bout de N images du flux vidéo.
Chaque image marquée à long terme est conservée dans la mémoire tampon 51 du décodeur (et dans celle du codeur) jusqu'à ce que le codeur produise une commande de démarquage correspondante. Ainsi, les paramètres de contrôle obtenus par le module 10 et insérés dans le flux Φ comportent également les commandes de marquage et de démarquage des images à long terme.
Les paramètres de prédiction pour le codage Inter sont calculés de façon connue par un module d'estimation de mouvement 15 en fonction de l'image courante F et d'une ou plusieurs images de référence FR. L'image prédite P est générée par un module de compensation de mouvement 13 sur la base de la ou des images de référence FR et des paramètres de prédiction calculés par le module 15.
Le module de reconstruction 5 comporte un module 53 qui récupère les paramètres transformés et quantifiés d'après les index de quantification produits par le module de quantification 8. Un module 54 opère la transformation inverse du module 7 pour récupérer une version quantifiée du résidu de prédiction. Celle-ci est ajoutée aux blocs de l'image prédite P par un additionneur 55 pour fournir les blocs d'une image pré-traitée PF1. L'image pré- traitée PF1 est finalement traitée par un filtre de déblocage 57 pour fournir l'image reconstruite F' délivrée par le décodeur et enregistrée dans sa mémoire tampon 51.
En mode Intra, une prédiction spatiale est effectuée de façon connue au fur et à mesure du codage par blocs de l'image courante F. Cette prédiction est effectuée par un module 56 sur la base des blocs déjà disponibles de l'image pré-traitée PF'.
Pour une qualité de codage donnée, la transmission de paramètres codés en Intra requiert généralement un débit plus important que celle de paramètres codés en Inter. En d'autres termes, pour un débit de transmission donné, le codage en Intra d'une image d'une séquence vidéo procure une moins bonne qualité que son codage en Inter.
La sélection entre les modes Intra et Inter pour une image courante est effectuée par le module de contrôle 10 du codeur, par exemple en se fondant sur une détection des changements de plan au sein de la séquence vidéo. De façon connue, un changement de plan peut être décidé par un détecteur 16 du codeur vidéo 1 en observant si la différence entre deux images successives de la séquence a une énergie supérieure à un seuil de détection. En l'absence de pertes, l'image où un changement de plan est détecté est typiquement codée en Intra, tandis que les autres images de la séquence sont codées en Inter.
Pour minimiser la dégradation de qualité suite à la détection d'une perte totale ou partielle d'image à l'aide des informations reçues sur le canal de retour, le procédé selon l'invention favorise la reprise du codage non pas en Intra mais en Inter. Le procédé fait en sorte que cette reprise du codage en Inter puisse se faire relativement à une image de référence précédemment marquée à long terme.
Le module de contrôle 10 du codeur reçoit et analyse les informations du canal de retour. Au moment où il est informé d'une perte d'image au décodeur 2, l'image courante peut être codée de la façon suivante:
- en Inter par rapport à une image de référence correspondant à la dernière image marquée à long terme si le détecteur 16 n'a signalé aucun changement de plan entre cette image de référence et l'image courante;
- en Intra si un tel changement de plan est intervenu.
Il est à noter que dans certains cas, le module de contrôle 10 pourra décider de reprendre le codage en Inter relativement à une image de référence encore présente dans la fenêtre de N images à court terme conservées temporairement par le décodeur. Par exemple, si les stations A, B communiquent selon un protocole à acquittement d'images et si le codeur 1 constate qu'une image récente, encore présente dans la fenêtre de N images à court terme, a été acquittée, il pourra préférer reprendre le codage en Inter relativement à cette image, notamment si elle est plus récente que la dernière T/FR2005/003J49
- 10 -
image marquée à long terme.
Le module de contrôle 10 gère en outre le marquage à long terme des images de la séquence vidéo.
Dans une réalisation avantageuse, chaque détection d'un changement de plan par le détecteur 16 donne lieu au marquage à long terme par le module de contrôle 10 d'une image suivant le changement de plan détecté, de préférence la première image suivant le changement de plan. De façon concomitante, le module de contrôle 10 peut adresser au décodeur une commande de démarquage de la (ou des) image(s) précédemment marquée(s) à long terme.
Le canal de retour peut être organisé de plusieurs manières.
Dans un cas simple, il informe juste que des pertes ont eu lieu sur le réseau, sans apporter d'autres informations et en particulier sans identifier quelles images ont été perdues. Ces informations de retour sont généralement produites en amont du décodeur, par exemple par les couches protocolaires (notamment RTCP, "Real Time Control Protocol") de l'interface réseau 4 de la station B. Elles procèdent le plus souvent par acquittements négatifs, signalant la mauvaise réception du flux par la station B, mais pourraient aussi porter des acquittements positifs, signalant la bonne réception du flux par la station B.
Dans une réalisation du procédé reposant sur un tel canal de retour, le module de contrôle 10 détermine au fil du temps des phases sans pertes dans lesquelles le flux est bien reçu par la station B (pas de perte signalée pendant un temps de latence de quelques secondes par exemple) et des phases avec pertes dans lesquelles la réception du flux par la station B est perturbée. Dans les phases sans pertes, il marque des images de la séquence vidéo de façon régulière, par exemple avec une périodicité de quelques dizaines à quelques centaines d'images. Dans les phases avec pertes, le module de contrôle 10 interrompt ce marquage régulier pour minimiser le risque d'utiliser une image de référence corrompue.
D'autres techniques de canal de retour peuvent être envisagées. Le FR2005/003149
- 11 -
canal de retour peut notamment fournir plus de précisions sur la quantité et la localisation de l'information perdue, par exemple sur la perte d'une partie d'une image ou sur le numéro de l'image perdue. Ce genre d'information de retour provient du décodeur vidéo lui-même, comme l'indique la ligne en pointillés sur la figure 3. Là aussi, ces informations de retour peuvent être sous forme d'acquittements positifs (signalent les images de la séquence qui ont été restituées) ou négatifs (signalent les images de la séquence qui n'ont pas pu être restituées). De tels procédés sont par exemple employés dans la norme ITU-T H.263+ (Annexe N) et sont transposables à d'autres normes telles que H.264.
Avec un canal de retour ainsi organisé, il est avantageux que le module de contrôle 10 marque à long terme des images de la séquence vidéo sélectionnées (par exemple de façon régulière ou suite à des changements de plan) parmi des images dont il sait qu'elles ont été bien restituées. On garantit ainsi que l'image de référence employée sera bien présente au décodeur.
En pratique, il se peut que le message de perte transféré du décodeur vers le codeur arrive avec un retard qui aura laissé se propager la perte pendant quelques images. L'amélioration liée à l'invention proposée reste néanmoins effective, car le délai de transmission sur le canal de retour aurait affecté de la même manière le codage en Intra de l'image suivant la prise de connaissance de la perte par le module de contrôle 10.
Un perfectionnement avantageux du procédé utilise de la redondance d'information pour transmettre au décodeur les images marquées à long terme, ce qui augmente la probabilité de disponibilité des images dans la mémoire 51 du décodeur en cas de difficultés de transmission entre les deux stations A, B. Une telle redondance est prévue dans la norme H.264 ("redundant coded picture").
De façon semblable, on peut assurer une qualité de codage optimale lors de la correction d'erreurs, en codant les images marquées à long terme avec une excellente qualité, ou du moins une qualité supérieure aux autres images de la séquence vidéo. Ceci est aisément réalisé, par exemple en 49
- 12 -
diminuant le pas de quantification appliqué par le module 8. Pour respecter le débit-cible, ceci peut amener à renoncer à coder l'image suivant immédiatement l'image marquée. La prédiction d'image par rapport à l'image marquée à long terme suite à une perte ultérieure sera alors améliorée.

Claims

R E V E N D I C A T I O N S
1. Procédé de codage vidéo, comprenant les étapes suivantes:
- coder des images successives (F) d'une séquence vidéo pour générer des paramètres de codage, le codage d'au moins une image étant opéré relativement à au moins une image précédente de la séquence vidéo;
- inclure les paramètres de codage dans un flux de sortie (Φ) à transmettre à une station (B) comportant un décodeur (2);
- inclure dans le flux de sortie des commandes de marquage à long terme de certaines images de la séquence vidéo et des commandes de démarquage d'images précédemment marquées à long terme, chaque image marquée à long terme étant à conserver en mémoire par le décodeur jusqu'à réception d'une commande de démarquage de ladite image;
- recevoir de ladite station des informations de retour sur la restitution des images de la séquence vidéo par le décodeur; et
- analyser les informations de retour pour identifier des images non ou mal restituées par le décodeur et, en réponse à l'identification d'une image non ou mal restituée, coder au moins une image suivante de la séquence vidéo relativement à une image précédente de la séquence vidéo sélectionnée parmi des images comprenant au moins une image marquée à long terme.
2. Procédé selon la revendication 1 , comprenant en outre une étape de détection de changement de plan dans la séquence vidéo et, en réponse à la détection d'un changement de plan, le marquage à long terme d'une image suivant le changement de plan détecté.
3. Procédé selon la revendication 1 ou 2, dans lequel les informations de retour comprennent des informations produites en amont du décodeur (2), signalant la bonne ou mauvaise réception du flux par ladite station (B). 005/003149
- 14 -
4. Procédé selon la revendication 3, dans lequel l'analyse des informations de retour comprend la détermination de premières phases dans lesquelles le flux est bien reçu par la station (B) et de secondes phases dans lesquelles la réception du flux par la station est perturbée, et dans lequel un marquage à long terme d'images de la séquence vidéo est régulièrement effectué dans chaque première phase déterminée et est interrompu dans chaque seconde phase déterminée.
5. Procédé selon l'une quelconque des revendications précédentes, dans lequel les informations de retour comprennent des informations issues du décodeur (2), signalant les images de la séquence qui ont ou non été restituées.
6. Procédé selon la revendication 5, dans lequel on marque à long terme des images de la séquence vidéo sélectionnées parmi des images qui, d'après les informations de retour, ont été bien restituées.
7. Procédé selon l'une quelconque des revendications précédentes, dans lequel les paramètres de codage des images marquées à long terme sont transmis à ladite station (B) avec de la redondance d'information.
8. Procédé selon l'une quelconque des revendications précédentes, dans lequel les images marquées à long terme sont codées avec une qualité supérieure aux autres images de la séquence vidéo.
9. Programme d'ordinateur à installer dans un appareil de traitement vidéo (A), comprenant des instructions pour mettre en œuvre les étapes d'un procédé de codage vidéo selon l'une quelconque des revendications 1 à 8 lors d'une exécution du programme par une unité de calcul dudit appareil.
10. Codeur vidéo (1), comprenant:
- des moyens (5-8, 10, 15) de codage d'images successives (F) d'une séquence vidéo pour générer des paramètres de codage, le codage d'au moins une image étant opéré relativement à au moins une image précédente de la séquence vidéo;
- des moyens (9) de formation d'un flux de sortie (Φ) du codeur à transmettre à une station (B) comportant un décodeur (2), le flux de sortie incluant lesdits paramètres de codage ainsi que des commandes de marquage à long terme de certaines images de la séquence vidéo et des commandes de démarquage d'images précédemment marquées à long terme, chaque image marquée à long terme étant à conserver en mémoire par le décodeur jusqu'à réception d'une commande de démarquage de ladite image;
- des moyens de réception depuis ladite station d'informations de retour sur la restitution des images de la séquence vidéo par le décodeur; et
- des moyens (10) d'analyse des informations de retour pour identifier des images non ou mal restituées par le décodeur et, en réponse à l'identification d'une image non ou mal restituée, commander les moyens de codage afin qu'au moins une image suivante de la séquence vidéo soit codée relativement à une image précédente de la séquence vidéo sélectionnée parmi des images comprenant au moins une image marquée à long terme.
11. Codeur vidéo selon la revendication 10, comprenant en outre des moyens (16) de détection de changement de plan dans la séquence vidéo et des moyens (10) répondant à la détection d'un changement de plan en marquant à long terme une image suivant le changement de plan détecté.
12. Codeur vidéo selon la revendication 10 ou 11, dans lequel les informations de retour comprennent des informations produites en amont du décodeur (2), signalant la bonne ou mauvaise réception du flux par ladite station (B), et dans lequel les moyens (10) d'analyse des informations de retour comprennent des moyens pour détecter des premières phases dans lesquelles le flux est bien reçu par la station et des secondes phases dans lesquelles la réception du flux par la station est perturbée, et des moyens de marquage à long terme d'images de la séquence vidéo pour marquer régulièrement des images dans chaque première phase détectée et pour interrompre le marquage régulier dans chaque seconde phase détectée.
13. Codeur vidéo selon l'une quelconque des revendications 10 à 12, dans lequel les informations de retour comprennent des informations issues du décodeur (2), signalant les images de la séquence qui ont ou non été restituées, et dans lequel les moyens (10) d'analyse des informations de retour comprennent des moyens pour marquer à long terme des images de la séquence vidéo sélectionnées parmi des images qui, d'après les informations de retour, ont été bien restituées.
14. Codeur vidéo selon l'une quelconque des revendications 10 à 13, comprenant en outre des moyens (16) de détection de changement de plan dans la séquence vidéo, dans lequel le codage d'au moins une image suivante de la séquence vidéo relativement à une image marquée à long terme en réponse à l'identification d'une image non ou mal restituée est effectué à condition qu'aucun changement de plan ne soit détecté dans la séquence vidéo entre ladite image marquée à long terme et ladite image suivante.
15. Codeur vidéo selon l'une quelconque des revendications 10 à 14, dans lequel les moyens de formation du flux de sortie (Φ) sont commandés pour transmettre les paramètres de codage des images marquées à long terme à ladite station (B) avec de la redondance d'information.
16. Codeur vidéo selon l'une quelconque des revendications 10 à 15, dans lequel les moyens de codage (5-8) sont commandés pour coder les images marquées à long terme avec une qualité supérieure aux autres images de la séquence vidéo.
EP05826580A 2005-01-07 2005-12-15 Procede et dispositif de codage video Ceased EP1834488A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0500172A FR2880745A1 (fr) 2005-01-07 2005-01-07 Procede et dispositif de codage video
PCT/FR2005/003149 WO2006075061A1 (fr) 2005-01-07 2005-12-15 Procede et dispositif de codage video

Publications (1)

Publication Number Publication Date
EP1834488A1 true EP1834488A1 (fr) 2007-09-19

Family

ID=34953005

Family Applications (1)

Application Number Title Priority Date Filing Date
EP05826580A Ceased EP1834488A1 (fr) 2005-01-07 2005-12-15 Procede et dispositif de codage video

Country Status (4)

Country Link
US (1) US20090097555A1 (fr)
EP (1) EP1834488A1 (fr)
FR (1) FR2880745A1 (fr)
WO (1) WO2006075061A1 (fr)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8494049B2 (en) * 2007-04-09 2013-07-23 Cisco Technology, Inc. Long term reference frame management with error video feedback for compressed video communication
US8638844B2 (en) * 2008-07-01 2014-01-28 Mediatek Inc. Method and apparatus for storing decoded moving pictures with a reduced memory requirement
US8254449B2 (en) * 2008-08-29 2012-08-28 Georgia Tech Research Corporation Video traffic bandwidth prediction
US8270307B2 (en) 2008-09-05 2012-09-18 Cisco Technology, Inc. Network-adaptive preemptive repair in real-time video
JP5215951B2 (ja) * 2009-07-01 2013-06-19 キヤノン株式会社 符号化装置及びその制御方法、コンピュータプログラム
US8254445B2 (en) * 2009-08-06 2012-08-28 Georgia Tech Research Corporation Video transmission using video quality metrics
US8400918B2 (en) * 2009-08-06 2013-03-19 Georgia Tech Research Corporation Video traffic smoothing
US8654838B2 (en) * 2009-08-31 2014-02-18 Nxp B.V. System and method for video and graphic compression using multiple different compression techniques and compression error feedback
CN103167283B (zh) * 2011-12-19 2016-03-02 华为技术有限公司 一种视频编码方法及设备
JP6052319B2 (ja) * 2015-03-25 2016-12-27 Ｎｔｔエレクトロニクス株式会社 動画像符号化装置
US10313685B2 (en) * 2015-09-08 2019-06-04 Microsoft Technology Licensing, Llc Video coding
US10595025B2 (en) * 2015-09-08 2020-03-17 Microsoft Technology Licensing, Llc Video coding
US11595652B2 (en) * 2019-01-28 2023-02-28 Op Solutions, Llc Explicit signaling of extended long term reference picture retention
EP3918801A4 (fr) * 2019-01-28 2022-06-15 OP Solutions, LLC Sélection en ligne et hors ligne de rétention d'image de référence à long terme étendue

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06237451A (ja) * 1993-02-10 1994-08-23 Hitachi Ltd 動画通信方式および端末装置
JP3068002B2 (ja) * 1995-09-18 2000-07-24 沖電気工業株式会社 画像符号化装置、画像復号化装置及び画像伝送システム
US20030112366A1 (en) * 2001-11-21 2003-06-19 General Instrument Corporation Apparatus and methods for improving video quality delivered to a display device
TWI261195B (en) * 2004-02-25 2006-09-01 Via Tech Inc Optical drive control chip capable of transmitting command messages in advance and transmission method thereof
JP2005295505A (ja) * 2004-03-12 2005-10-20 Canon Inc 動画像符号化装置及び動画像復号装置及びそれらの制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
JP4702928B2 (ja) * 2004-03-12 2011-06-15 キヤノン株式会社 動画像符号化装置及び復号装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BERND GIROD ET AL: "Feedback-Based Error Control for Mobile Video Transmission", PROCEEDINGS OF THE IEEE, IEEE. NEW YORK, US, vol. 87, no. 10, 1 October 1999 (1999-10-01), XP011044278, ISSN: 0018-9219 *
WIEGAND T ET AL: "MOTION-COMPENSATING LONG-TERM MEMORY PREDICTION", PROCEEDINGS OF THE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING. ICIP 1997. SANTA BARBARA, CA, OCT. 26 - 29, 1997; [PROCEEDINGS OF THE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING], LOS ALAMITOS, CA : IEEE, US, vol. 2, 1 January 1997 (1997-01-01), pages 53 - 56, XP000923442, ISBN: 978-0-8186-8184-4 *

Also Published As

Publication number Publication date
WO2006075061A1 (fr) 2006-07-20
FR2880745A1 (fr) 2006-07-14
US20090097555A1 (en) 2009-04-16

Similar Documents

Publication Publication Date Title
EP1834488A1 (fr) Procede et dispositif de codage video
US8798145B2 (en) Methods for error concealment due to enhancement layer packet loss in scalable video coding (SVC) decoding
US8638851B2 (en) Joint bandwidth detection algorithm for real-time communication
KR100541526B1 (ko) 멀티미디어 데이터의 전송품질 측정방법 및 장치
WO2006075070A1 (fr) Procede et dispositif de codage video
EP1972156B1 (fr) Codage et decodage adaptatifs
FR2946820A1 (fr) Procede de transmission de donnees et dispositif associe.
FR2963189A1 (fr) Procede d'encodage adaptatif d'un flux video numerique, notamment pour diffusion sur ligne xdsl.
EP1172958A1 (fr) Système de communication, émetteur, mèthode de protection contre des erreurs de transmission
EP1900223A2 (fr) Procede et dispositif de codage video
JP2006339775A (ja) スケーラブル動画像伝送システム
EP2936811A1 (fr) Procédé et dispositif de transmission d'une séquence d'images basé sur un codage région adaptatif
EP2025174A1 (fr) Utilisation d'un canal de retour pour la diffusion d'images
EP1241894A1 (fr) Procédé de codage d'images numériques basé sur la dissimulation d'erreurs
EP1468565B1 (fr) Procede et dispositif de compression de donnees video codees par paquets video
EP2160837B1 (fr) Sélection de fonctions de décodage distribuée au décodeur
EP3350931B1 (fr) Procédé d'optimisation de transmission de flux de données vidéo dans un réseau sans fil
KR100722670B1 (ko) 전송에러정보를 이용한 화질 평가 시스템 및 방법
FR3027481A1 (fr) Decodeur, procede et systeme de decodage de flux multimedia
JP2006352784A (ja) 伝送方法、受信装置及びコンピュータプログラム
JP2001078198A (ja) エラー隠蔽制御方法及び符号化装置及び画像信号伝送システム
FR2728129A1 (fr) Dispositif de multiplexage numerique de programmes video
FR2910218A1 (fr) Procedes et dispositifs de re-synchronisation lente d'un flux video endommage
FR2930106A1 (fr) Procede de transmission sur un reseau de communication d'une sequence d'images pre-encodees.
FR2906102A1 (fr) Procede et dispositif de controle d'erreur de donnees dans un flux video

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20070705

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC NL PL PT RO SE SI SK TR

DAX Request for extension of the european patent (deleted)
RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: ORANGE

17Q First examination report despatched

Effective date: 20160523

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20170217