EP2936811A1 - Procédé et dispositif de transmission d'une séquence d'images basé sur un codage région adaptatif - Google Patents

Procédé et dispositif de transmission d'une séquence d'images basé sur un codage région adaptatif

Info

Publication number
EP2936811A1
EP2936811A1 EP13815088.3A EP13815088A EP2936811A1 EP 2936811 A1 EP2936811 A1 EP 2936811A1 EP 13815088 A EP13815088 A EP 13815088A EP 2936811 A1 EP2936811 A1 EP 2936811A1
Authority
EP
European Patent Office
Prior art keywords
image
region
coding
sequence
regions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP13815088.3A
Other languages
German (de)
English (en)
Inventor
Zaher El Chami
Thomas BULTEL
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
Orange SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orange SA filed Critical Orange SA
Publication of EP2936811A1 publication Critical patent/EP2936811A1/fr
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks

Definitions

  • the field of the invention is that of the transmission of image sequences, particularly in the context of videoconferencing-type multimedia session, video streaming, remote monitoring, etc.
  • the invention relates to maintaining or improving the quality of the images of a sequence transmitted in such contexts, especially when the transmission conditions change.
  • the invention finds applications in all fields requiring the transfer of a sequence of images, or video, including in the context of video coding.
  • IP IP type channel
  • coding mode or coding strategy (or encoding) is meant in particular the choice of implementation of the coding performed at the coder / decoder.
  • it may be an intra-coding mode, a hierarchical P-type inter coding mode (as defined in the document "H. 264 hierarchical P coding in the context of ultra-low delay, low complexity applications "Thomas Wiegand for example), an IPPP type inter-coding mode (for" image I, image P, image P, image P "), of an IPPPI type inter-coding mode (for" image I, image P, image P, image P, image I "), of a coding mode of" skip "type, etc.
  • the quality of the video received by a client may be degraded, due to a network-level strangulation, a loss of data, or even a limitation of processing capacity at the end of the network. customer level.
  • a disadvantage of the first two techniques proposed (a) and b)) is that they reduce the quality of the video, which leads to a degradation of the video received by the customer, in terms of the quality of the images or the fluidity images.
  • this solution consists in sending an image in intra mode, which contains all the information of an image and is therefore large, in a channel that can only send data of small sizes.
  • the technique d) consists of changing the video encoder and choosing a new video encoder, whose compression ratio is higher, so that the transmission rate is adapted to that of the transmission channel.
  • a disadvantage of this technique lies in the additional processing cost generated on the side of the decoder. Indeed, the implementation of technique d) requires that the power of the processors, on the client side, be adapted to the cost requested by the new coder / decoder. If it is not adapted, the implementation of this solution leads to an accentuated degradation of the quality of the video, if the processor can not manage the computation requests ordered by the new coder / decoder, and the quality of the received image (at the output of the video decoder) is degraded.
  • a degradation on one of the elements of the transmission chain usually leads to a more or less marked deterioration in the quality of the video received by the client.
  • the invention proposes a solution to this problem, in the form of a method for transmitting a sequence of images, comprising the following steps:
  • the invention is based on a new and inventive approach to the transmission of a sequence of images, making it possible to code different regions or zones of the images differently. In this way, it is possible to use a more robust encoding mode for a region of high interest (especially from the customer's point of view), and a less robust coding mode for a region of low interest.
  • the customer does not detect the degradation of the image, because it is not, or little, degraded for the region or regions to which it gives interest (for example the center of the image), even if it is degraded for the region or regions that are not of significant interest (for example the background or edges of the image).
  • the invention requires the use of a single coder (for example of the H.263, H.264, MPEG4 or other existing or future coder type), which can implement different modes or strategies. encoding the different regions of an image.
  • a single coder for example of the H.263, H.264, MPEG4 or other existing or future coder type
  • the step of determining a coding mode adapted to a region takes into account the content of the region.
  • the determination step considers activity in the region.
  • the images of the image sequence can be segmented in a similar way in two regions, a first region corresponding to the character and a second region corresponding to the background, and two different coding modes can be assigned to these two regions.
  • the region corresponding to the character in this example shows a strong activity (movement of the character on the three images) and thus corresponds to an important region for the client, who receives and visualizes the video. Therefore, according to the invention, a robust coding mode is assigned to this region, which makes it possible to code this region with a good quality (for example as a hierarchical P-type coding mode).
  • the region corresponding to the background in this example has little or no activity, and therefore corresponds to a region of lesser interest to the customer. Therefore, according to the invention, a less robust coding mode is assigned to this region, which makes it possible to code this region with a lower quality (for example as an IPPP type coding mode).
  • some regions can therefore be encoded as a type I image and others as a P type image.
  • the encoded image (s) using, for each of the regions, the coding mode adapted to the region, are then transmitted in a single video stream.
  • the coding mode adapted to a region is defined for several images of the sequence.
  • the coding modes belong to the group comprising:
  • IPPP IPPP type of coding
  • an IPPPI type of coding or "image I, image P, image P, image P, image I",
  • any mode of coding can be applied independently on each of the regions of an image, for example according to the interest of the region.
  • the examples of coding modes proposed relate more specifically to real-time transmissions, but other coding modes can be envisaged in the general case, in particular with type B images.
  • the determined coding mode is a robust P-type hierarchical or IPPPI coding.
  • the transmission method comprises a preliminary step of determining the transmission parameters of the image sequence.
  • a first set of transmission parameters for example defining the transmission frequency of the images, the resolution of the images, the transmission rate, etc., can be negotiated / defined before transmission, when opening a multimedia session.
  • a second "set of parameters" specific to the encoder is considered, for example defining the various coding / decoding modes authorized by the coder and the decoder. These coding / decoding modes depend in particular on the transmission parameters defined in the first set (such as the transmission frequency of the images, the resolution, etc., predefined).
  • the transmission method comprises a step of updating the regions and coding modes adapted to each of the regions, periodic and / or taking into account a modification of the transmission channel.
  • the adaptive scheme proposed according to this embodiment makes it possible to optimize the coding of the image sequence.
  • this update step may be performed upon receipt by the encoder of information on the transmission channel ("feedback").
  • At least one indicator can be inserted in the video stream, in order to identify the different regions of the image and / or to specify the coding mode used for each region.
  • the invention relates to a device for transmitting an image sequence, comprising:
  • coding means of the one or more images using, for each of the regions, the coding mode adapted to the region, and transmission means in a single video stream.
  • Such a transmission device is particularly suitable for implementing the transmission method described above. It comprises for example a video coder of H.263, H.264, MPEG4, etc. type.
  • This device may of course include the various characteristics relating to the transmission method according to the invention, which can be combined or taken separately. Thus, the features and advantages of this device are the same as those of the transmission method, and are not detailed further.
  • the invention furthermore relates to a method for receiving an image sequence, comprising the following steps:
  • Such a method is particularly adapted to receive a video stream as described above.
  • This method may therefore include the various characteristics relating to the transmission method according to the invention.
  • the characteristics and advantages of this reception method are the same as those of the transmission method, and are not detailed further.
  • the invention relates to a device for receiving an image sequence, comprising:
  • Such a reception device is particularly adapted to implement the reception method described above. It includes for example a video decoder type H.263, H.264, MPEG4, etc.
  • This device may of course include the various characteristics relating to the reception method according to the invention, which can be combined or taken in isolation. Thus, the features and advantages of this device are the same as those of the reception method, and are not detailed further.
  • the invention relates to one or more computer programs comprising instructions for implementing a transmission method and / or a reception method as described above, when this or these programs are run by a processor.
  • transmission and / or reception methods according to the invention can be implemented in various ways, in particular in hard-wired form or in software form.
  • the invention relates to at least one computer-readable recording medium on which a computer program is recorded. comprising computer executable instructions for carrying out a transmission method and / or a reception method as described above.
  • Figure 1 shows the main steps of a transmission method according to a particular embodiment of the invention
  • Figure 2 shows the main steps of a reception method according to a particular embodiment of the invention
  • FIG. 3 illustrates an exemplary processing of an image of a sequence of images according to a particular embodiment of the invention
  • Figures 4 and 5 respectively show the structure of a transmission device and a receiving device according to a particular embodiment of the invention.
  • the general principle of the invention is based on the identification of different regions in at least one image of a sequence of images, and on the specific coding of these different regions, using a coding mode adapted for each region.
  • Such an encoding mode is selected from a set of coding modes defined for the encoder used.
  • a first encoding mode may be used to encode a first region of the image
  • a second encoding mode to encode a second region of the image
  • the image or images encoded by the encoder are transmitted in a single video stream.
  • a transmission technique of a Seq image sequence according to a particular embodiment of the invention.
  • a first step 11 at least one image of the Seq sequence identifies (Id) at least two distinct regions.
  • the identification of different regions in an image can be implemented statically or dynamically, and manually or automatically.
  • static it may be predetermined, depending on the video stream to be transmitted, that certain regions of the image (for example edges, corners) are of lesser interest to the user and therefore treated as regions whose quality can be degraded using a basic encoding mode.
  • regions of the image for example edges, corners
  • the other regions of the image for example the center, are considered of great interest by the client, and thus treated as regions whose quality must be preserved by using a robust coding mode.
  • the regions can be predefined.
  • the different regions are not predefined before transmission.
  • known motion search techniques may be used to give more importance to active, moving regions at the expense of motionless, and thus static, regions.
  • a coding mode adapted to the region is determined.
  • any coding mode compatible with the encoder used can be applied independently to each of the regions, depending on the interest of the region, according to this particular embodiment.
  • Such a mode or coding algorithm notably makes it possible to improve the quality and / or the resistance to losses.
  • the proposed solution allows a non-uniform degradation of the image sequence in case of reduction of the capacity of the channel, whereas the existing solutions are based on an equivalent degradation (over the image) of the image sequence.
  • the proposed solution therefore makes it possible, according to this particular embodiment, to further degrade the images of the sequence in the regions in which the quality perceived by the customer is of low interest, and to preserve a maximum of quality in the regions in which which quality perceived by the customer is paramount.
  • the region is of low interest, one chooses a coding mode not retransmitting this region of the image in case of error.
  • it is a region of the "background" image, that is to say not evolving in the image sequence, it is possible to choose a "skip" type of coding mode. , corresponding to a lack of transmission of information representative of this region.
  • a "skip" type of coding mode corresponding to a lack of transmission of information representative of this region.
  • the region is of significant interest, one can choose an encoding mode that returns the image I.
  • a third step 13 the image or images of the sequence are coded, using, for each of the regions, the coding mode adapted to the region determined in the previous step.
  • a single video stream is generated during this third step.
  • first three steps 11, 12 and 13 can be implemented by an encoder, such as an H.263, H.264, MPEG4 coder, etc. for example.
  • an encoder such as an H.263, H.264, MPEG4 coder, etc. for example.
  • the video stream is transmitted to a client.
  • a video stream is received comprising at least one coded picture by using a coding mode adapted to each region of the image or images, obtained as described above.
  • the coded picture (s) are decoded, and the corresponding image sequence Seq is restored on a terminal of the client.
  • Different decoding options may be envisaged, implementing either a conventional decoder or a separation of the data of the video stream according to the region of the image in order to subject each region of the image to a decoder adapted to the coding mode. used for the corresponding region.
  • an image could be restored or refreshed at the client terminal once the information representative of the entire image received and decoded.
  • it is possible to restore / refresh a region of the image (for example a region of interest, in which there is more movement) as soon as the information representative of this region of the image is received. and decoded.
  • an image sequence representative of a television news program in which the scene consists of the faded background with a change in brightness, the presenter and a special correspondent, and an area at the foot of the stage indicating stock market or information banner.
  • an image at a time t is decomposed into four regions:
  • the region 32 containing the presenter which corresponds to a normal priority area from the point of view of the customer: application of a conventional encoding mode, for example of type I, P, P, P, P, I (in d In other words, we send the intra image of this region once in five: with the first image, with the sixth image, etc.);
  • a less robust coding mode for example of type I, P, P, P, P, P, P, P, P, P, P, P, P, P, P, I (in other words, we send the intra image of this region once in ten: with the first image, with the eleventh image, etc.) . It is also possible to choose a coding mode that does not retransmit the region of the image (or a residue corresponds to this region of the image) in the event of data loss; on the region 34 containing the background / rest of the image: application of an even less robust coding mode.
  • the "skip" encoding mode when the rest of the image is fixed, it is possible to use the "skip" encoding mode as soon as the quality of the background returned to the customer is sufficient. For example, we send the intra image of this region only once, then we do not code this region as long as there is no change in the background. In particular, it is possible to choose a coding mode that does not allow any retransmission in the event of error or loss of data. Thus, in case of error, no update of the bottom is requested, insofar as this region is of little interest to the customer.
  • the invention makes it possible, according to at least one of its embodiments, to limit the degradation perceived by the client / user in the event of deterioration of the transmission conditions, since the special correspondent and the presenter remain fluid and well defined, and that the information banner / stock market price remains legible (though of lower quality than the special correspondent and the presenter). It is recalled that according to the techniques of the prior art, the image is degraded as a whole.
  • the outgoing rate at the level of each participant, depends on the number of participants in this videoconference. For example, if the number of participants is 5, then each participant has an average of 400 kbs, and the quality of each participant's video transmission is then limited by this bit rate. Furthermore, if the number of participants increases, and especially if it doubles (10 participants), the bit rate allocated to each participant is halved, or 200 kbs, and the quality of the video sent by each participant is degraded, in a uniform manner for the entire image according to the known techniques of the prior art.
  • the image of each participant is segmented into two different regions: a first region for the face and a second region for the background.
  • Each of these regions takes a portion of the 200kbbit allocated, and a separate coding scheme is assigned to each of these regions, based on the interest associated with each region.
  • the rate consumed by the face region while retaining the other original transmission parameters (size and frame rate), is less than 200 kbs (150 kbs for example), then no change in quality will be applied to this region (one retains a conventional encoding mode, or one uses a more robust coding mode to improve the quality of the face region, such as AIR or IPPPI coding).
  • the rest of the flow (50 kbs) is allocated then for the background region, for which a less robust coding mode, such as IPPP coding, is used.
  • the encoding mode is changed to use a less bandwidth-intensive encoding mode, such as hierarchical P-type coding, so as to use only a portion of the bit rate, for example 150 kbs.
  • the remainder of the flow 50 kbs can then be allocated for the bottom region, for which a less robust coding mode, such as IPPP coding, is used.
  • a region of lesser interest to the customer is refreshed less often.
  • IPPP type coding P type coding hierarchical, "backchannel" type coding, AIR type coding, IPPPI type coding.
  • both regions are transmitted in a single video stream.
  • This treatment causes a loss of quality on the region corresponding to the bottom, which does not disturb the user, the bottom does not move or little, but the quality of the face area is preserved (or even improved). Thus, the degradation of the quality of the image caused by a decrease in the transmission rate is not perceived by the user.
  • FIG. 4 shows the simplified structure of a transmission device implementing the transmission method according to a particular embodiment of the invention.
  • This device comprises a RAM 41, a processing unit 42, equipped for example with a processor, and controlled by a computer program stored in a ROM 43.
  • the code instructions of the program of For example, the computers are loaded into the RAM 41 before being executed by the processor of the processing unit 42.
  • the processing unit 42 receives at least one image of a sequence of images as input.
  • the processor of the processing unit 42 implements the steps of the transmission method described above, according to the instructions of the computer program 43, by applying a separate processing to the different regions of the image or images, and outputs a single video stream, comprising at least one coded picture using a coding mode adapted to each region of the image or images.
  • the transmission device comprises, in addition to the memory 41, means for identifying, in at least one image of the sequence, at least two distinct regions, means for determining a coding mode adapted to each of the regions, encoding means of the one or more images, and transmission means in a single video stream. These means are controlled by the microprocessor of the processing unit 42.
  • FIG. 5 shows the simplified structure of a reception device implementing the reception method according to a particular embodiment of the invention.
  • This device comprises a RAM 51, a processing unit 52, equipped for example with a processor, and controlled by a computer program stored in a ROM 53.
  • the code instructions of the program of For example, the computers are loaded into the RAM 51 before being executed by the processor of the processing unit 52.
  • the processing unit 52 receives as input a single video stream.
  • the processor of the processing unit 52 implements the steps of the reception method described above, according to the instructions of the computer program 53, for decoding and reproducing the coded picture (s) using a coding mode adapted to each region. of the images.
  • the reception device comprises, in addition to the memory 51, means for receiving a single video stream, comprising at least one coded picture by using a coding mode adapted to each region of the picture or images, means for decoding and restitution of the image (s). These means are controlled by the microprocessor of the processing unit 52.
  • the invention is implemented by means of software and / or hardware components.
  • a software component corresponds to one or more computer programs, one or more subroutines of a program, or more generally to any element of a program or software capable of implementing a function or a program. set of functions.
  • Such a software component is executed by a data processor of a physical entity (encoder, transmitter, terminal, decoder, receiver, transmission device, receiving device, etc.) and is capable of accessing the hardware resources of this device.
  • physical entity memory, recording media, communication buses, input / output electronic boards, user interfaces, .
  • a hardware component corresponds to any element of a hardware set (or “hardware”) able to implement a function or a set of functions. It may be a hardware component that is programmable or has an integrated processor for executing software, for example an integrated circuit, a smart card, a memory card, an electronic card for executing a firmware ( “Firmware”), etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Procédé et dispositif de transmission d'une séquence d'images, procédé et dispositif de réception, programme d'ordinateur et support d'enregistrement correspondants. L'invention concerne un procédé de transmission d'une séquence d'images. Selon l'invention, ledit procédé comprend les étapes suivantes : - identification (11), dans au moins une image de ladite séquence, d'au moins deux régions distinctes; - pour chacune desdites régions, détermination (12) d'un mode de codage adapté à ladite région; - codage (13) de ladite au moins une image en utilisant, pour chacune desdites régions, le mode de codage adapté à ladite région, et transmission (14) dans un unique flux vidéo.

Description

Procédé et dispositif de transmission d'une séquence d'images, procédé et dispositif de réception, programme d'ordinateur et support d'enregistrement correspondants
1. Domaine de l'invention
Le domaine de l'invention est celui de la transmission de séquences d'images, notamment dans le cadre de session multimédia de type vidéoconférence, lecture vidéo en continu, télésurveillance, etc.
Plus précisément, l'invention concerne le maintien ou l'amélioration de la qualité des images d'une séquence transmise dans de tels contextes, notamment lorsque les conditions de transmission évoluent.
L'invention trouve des applications dans tous les domaines nécessitant le transfert d'une séquence d'images, ou vidéo, y compris dans le contexte du codage vidéo.
2. Art antérieur
Lors de l'établissement d'une session multimédia comportant un transfert d'une séquence d'images, ou vidéo, le choix du codeur (et du décodeur associé) est effectué en tenant compte de plusieurs paramètres :
les capacités du canal de transmission par lequel la vidéo transite (par exemple canal de type « IP ») ;
les capacités et type de codage que l'émetteur admet ;
les capacités et type de décodage que le récepteur admet.
- les modes de codage/décodage que l'émetteur/récepteur emploie.
Par mode de codage, ou stratégie de codage (ou d'encodage), on entend notamment le choix d'implémentation du codage effectué au niveau du codeur/décodeur. Par exemple, il peut s'agir d'un mode de codage intra, d'un mode de codage inter de type P hiérarchique (tel que défini dans le document « H. 264 hierarchical P coding in the context of ultra-low delay, low complexity applications » Thomas Wiegand par exemple), d'un mode de codage inter de type IPPP (pour « image I, image P, image P, image P »), d'un mode de codage inter de type IPPPI (pour « image I, image P, image P, image P, image I »), d'un mode de codage de type « skip », etc.
Après l'établissement de la session multimédia, la qualité de la vidéo reçue par un client (encore appelé utilisateur) peut éventuellement être dégradée, suite à un étranglement au niveau du réseau, une perte de données, voire une limitation de capacité de traitement au niveau du client.
Pour continuer la transmission de la séquence d'images malgré ces modifications des conditions de transmission, les codeurs vidéo existants, notamment selon les normes H.264, H.263, MPEG4, etc, acceptent la mise en œuvre de solutions spécifiques consistant à :
a) diminuer la qualité de la vidéo en augmentant la compression de chaque image ; b) diminuer la qualité de la vidéo en diminuant la fréquence des images (en anglais « frame- rate ») ;
c) garder la même qualité et demander l'envoi d'une image en mode intra (image brute sans être encodée) ;
d) garder la même qualité et changer de type de codeur/décodeur.
Un inconvénient des deux premières techniques proposées (a) et b)) est qu'elles diminuent la qualité de la vidéo, ce qui conduit à une dégradation de la vidéo reçue par le client, au niveau de la qualité des images ou de la fluidité des images.
Les deux dernières techniques proposées (c) et d)) permettent de garantir une qualité de vidéo constante lors de l'apparition de problèmes survenant au niveau du réseau.
Cependant, si la technique c) est appliquée suite à une baisse de débit sur les canaux de transport (entraînant ainsi une perte de données et donc une dégradation des images), la mise en œuvre de cette solution conduit à une dégradation accentuée de la qualité de l'image. En effet, cette solution consiste à envoyer une image en mode intra, qui contient la totalité de l'information d'une image et est donc de grande taille, dans un canal ne pouvant envoyer que des données de petites tailles.
La technique d) consiste à changer de codeur vidéo et choisir un nouveau codeur vidéo, dont le taux de compression est supérieur, afin que le débit d'envoi soit adapté à celui du canal de transmission. Un inconvénient de cette technique réside dans le coût de traitement supplémentaire engendré du coté du décodeur. En effet, la mise en œuvre de la technique d) nécessite que la puissance des processeurs, côté client, soit adaptée au coût demandé par le nouveau codeur/décodeur. Si elle n'est pas adaptée, la mise en œuvre de cette solution entraîne une dégradation accentuée de la qualité de la vidéo, si le processeur n'arrive pas à traiter les demandes de calculs ordonnées par le nouveau codeur/décodeur, et la qualité de l'image reçue (en sortie du décodeur vidéo) est dégradée.
Enfin, quelque soit le mode de codage/décodage choisit, une dégradation sur l'un des éléments de la chaîne de transmission (réduction de débit par exemple) entraine généralement une dégradation plus ou moins accentuée de la qualité de la vidéo reçue par le client.
Il existe donc un besoin pour une nouvelle technique de transmission d'une séquence d'images, ne présentant l'ensemble de ces inconvénients de l'art antérieur.
3. Exposé de l'invention
L'invention propose une solution à ce problème, sous la forme d'un procédé de transmission d'une séquence d'images, comprenant les étapes suivantes :
identification, dans au moins une image de la séquence, d'au moins deux régions distinctes ; pour chacune des régions, détermination d'un mode de codage adapté à la région ;
codage de la ou des images en utilisant, pour chacune des régions, le mode de codage adapté à la région, et transmission dans un unique flux vidéo.
Ainsi, l'invention repose sur une approche nouvelle et inventive de la transmission d'une séquence d'images, permettant de coder différemment différentes régions ou zones des images. De cette façon, il est possible d'utiliser un mode de codage plus robuste pour une région présentant un fort intérêt (notamment du point de vue du client), et un mode de codage moins robuste pour une région présentant un faible intérêt.
En particulier, à conditions de transmission équivalentes, il est possible selon l'invention de transmettre un flux vidéo qui, du point de vue du client, présente une meilleure qualité qu'un flux vidéo transmis selon une technique classique. En effet, selon l'art antérieur, toute l'image est codée en utilisant un mode de codage spécifique, alors que selon l'invention, les régions présentant un fort intérêt sont codées en utilisant un mode de codage plus robuste, et apparaissent donc comme présentant une meilleure qualité pour le client.
De plus, en cas de dégradation des conditions de transmission, le client ne détecte pas la dégradation de l'image, car celle-ci n'est pas, ou peu, dégradée pour la ou les régions auxquelles il accorde de l'intérêt (par exemple le centre de l'image), même si elle est dégradée pour la ou les régions qui ne sont pas d'un intérêt important (par exemple le fond ou les bords de l'image).
Par ailleurs, en cas d'erreur au cours de la transmission, il est possible de ne renvoyer que les informations associées à la région dans laquelle l'erreur est survenue (par exemple sous forme de résidu de prédiction ou de la région entière sous forme d'image intra), ce qui permet de limiter la consommation de bande passante. En effet, une perte ou erreur survenant dans une région n'impacte pas les autres régions, puisque les différentes régions sont codées indépendamment, en utilisant des modes de codage distincts.
En particulier, on note que l'invention nécessite l'utilisation d'un seul codeur (par exemple de type H.263, H.264, MPEG4, ou d'autres codeurs existants ou à venir), pouvant implémenter différents modes ou stratégies de codage sur les différentes régions d'une image.
Selon un aspect spécifique de l'invention, l'étape de détermination d'un mode de codage adapté à une région tient compte du contenu de la région.
Par exemple, l'étape de détermination tient compte d'une activité dans la région.
Ainsi, si l'on considère une séquence d'images dans laquelle la première image est composée d'un personnage et d'un fond à un instant tO, la deuxième image est composée du même personnage animé d'un mouvement et du même fond à un instant tl, et la troisième image est composée du même personnage animé d'un autre mouvement et du même fond à un instant t2, alors les images de la séquence d'images pourront être segmentée de façon similaire en deux régions, une première région correspondant au personnage et une deuxième région correspondant au fond, et deux modes de codage distincts pourront être affectés à ces deux régions.
La région correspondant au personnage dans cet exemple présente une forte activité (mouvement du personnage sur les trois images) et correspond donc à une région importante pour le client, qui reçoit et visualise la vidéo. On affecte donc, selon l'invention, un mode de codage robuste à cette région, qui permet de coder cette région avec une bonne qualité (par exemple comme un mode de codage de type P hiérarchique).
A l'inverse, la région correspondant au fond dans cet exemple ne présente pas, ou peu, d'activité, et correspond donc à une région de moindre intérêt pour le client. On affecte donc, selon l'invention, un mode de codage moins robuste à cette région, qui permet de coder cette région avec une qualité plus faible (par exemple comme un mode de codage de type IPPP).
Ainsi, à titre d'exemple, au sein d'une même image, certaines régions peuvent donc être codées comme une image de type I et d'autres comme une image de type P.
La ou les images codées en utilisant, pour chacune des régions, le mode de codage adapté à la région, sont ensuite transmises dans un unique flux vidéo.
En particulier, et comme présenté ci-dessus, le mode de codage adapté à une région est défini pour plusieurs images de la séquence.
A titre d'exemple, les modes de codage appartiennent au groupe comprenant :
un codage de type IPPP, ou « image I, image P, image P, image P »,
un codage de type image P hiérarchique,
un codage de type IPPPI, ou « image I, image P, image P, image P, image I »,
un codage de type intra-rafraîchissement adaptatif (en anglais « AIR » pour « adaptive intra refresh ») ;
un codage de type « backchannel » (en français « canal de retour »), tel que décrit dans la norme H.263 par exemple.
Bien entendu, cette liste n'est pas exhaustive, et tout mode de codage peut être appliqué indépendamment sur chacune des régions d'une image, par exemple suivant l'intérêt de la région. En particulier, les exemples de modes de codage proposés concernent plus spécifiquement les transmissions temps réels, mais d'autres modes de codage sont envisageables dans le cas général, notamment avec des images de type B.
En particulier, pour une région de l'image satisfaisant un critère d'intérêt particulier, le mode de codage déterminé est un codage robuste de type image P hiérarchique ou IPPPI.
Pour une région de l'image ne satisfaisant pas le critère d'intérêt particulier, le mode de codage déterminé est de type IPPP. Selon un autre aspect de l'invention, le procédé de transmission comprend une étape préalable de détermination des paramètres de transmission de la séquence d'images.
Ainsi, un premier jeu de paramètres de transmission, définissant par exemple la fréquence de transmission des images, la résolution des images, le débit de transmission, etc, peut être négocié/défini préalablement à la transmission, lors de l'ouverture d'une session multimédia.
Une fois ce premier jeu de paramètres défini, on considère un deuxième « jeu de paramètres » spécifiques au codeur, définissant par exemple les différents modes de codage/décodage autorisés par le codeur et le décodeur. Ces modes de codage/décodage dépendent notamment des paramètres de transmission définis dans le premier jeu (comme la fréquence de transmission des images, la résolution, etc, prédéfinies).
Selon un aspect particulier de l'invention, le procédé de transmission comprend une étape de mise à jour des régions et des modes de codage adaptés à chacune des régions, périodique et/ou tenant compte d'une modification du canal de transmission.
Ainsi, il est possible de redéfinir les régions et/ou le mode de codage utilisé pour chaque région au cours de la transmission, périodiquement et/ou en fonction d'une variation du canal de transmission. Le schéma adaptatif proposé selon ce mode de réalisation permet d'optimiser le codage de la séquence d'images.
Par exemple, cette étape de mise à jour peut être effectuée à réception, par le codeur, d'une information sur le canal de transmission (« feedback »).
Selon une autre caractéristique particulière de l'invention, au moins un indicateur peut être inséré dans le flux vidéo, afin d'identifier les différentes régions de l'image et/ou de préciser le mode de codage utilisé pour chaque région.
Dans un autre mode de réalisation, l'invention concerne un dispositif de transmission d'une séquence d'images, comprenant :
des moyens d'identification, dans au moins une image de la séquence, d'au moins deux régions distinctes ;
des moyens de détermination d'un mode de codage adapté à chacune des régions ;
des moyens de codage de la ou des images en utilisant, pour chacune des régions, le mode de codage adapté à la région, et des moyens de transmission dans un unique flux vidéo.
Un tel dispositif de transmission est notamment adapté à mettre en œuvre le procédé de transmission décrit précédemment. Il comprend par exemple un codeur vidéo de type H.263, H.264, MPEG4, etc. Ce dispositif pourra bien sûr comporter les différentes caractéristiques relatives au procédé de transmission selon l'invention, qui peuvent être combinées ou prises isolément. Ainsi, les caractéristiques et avantages de ce dispositif sont les mêmes que ceux du procédé de transmission, et ne sont pas détaillés plus amplement.
L'invention concerne par ailleurs un procédé de réception d'une séquence d'images, comprenant les étapes suivantes :
réception d'un unique flux vidéo, comprenant au moins une image codée en utilisant un mode de codage adapté à chaque région de la ou des images ;
décodage et restitution de la ou des images.
Un tel procédé est notamment adapté à recevoir un flux vidéo tel que décrit précédemment. Ce procédé pourra donc comporter les différentes caractéristiques relatives au procédé de transmission selon l'invention. Ainsi, les caractéristiques et avantages de ce procédé de réception sont les mêmes que ceux du procédé de transmission, et ne sont pas détaillés plus amplement.
Dans un autre mode de réalisation, l'invention concerne un dispositif de réception d'une séquence d'images, comprenant :
des moyens de réception d'un unique flux vidéo, comprenant au moins une image codée en utilisant un mode de codage adapté à chaque région de ladite au moins une image ; des moyens de décodage et restitution de la ou des images codées.
Un tel dispositif de réception est notamment adapté à mettre en œuvre le procédé de réception décrit précédemment. Il comprend par exemple un décodeur vidéo de type H.263, H.264, MPEG4, etc.
Ce dispositif pourra bien sûr comporter les différentes caractéristiques relatives au procédé de réception selon l'invention, qui peuvent être combinées ou prises isolément. Ainsi, les caractéristiques et avantages de ce dispositif sont les mêmes que ceux du procédé de réception, et ne sont pas détaillés plus amplement.
Dans un autre mode de réalisation, l'invention concerne un ou plusieurs programmes d'ordinateur comportant des instructions pour la mise en œuvre d'un procédé de transmission et/ou d'un procédé de réception tels que décrits précédemment, lorsque ce ou ces programmes sont exécutés par un processeur.
Ainsi, les procédés de transmission et/ou de réception selon l'invention peuvent être mis en œuvre de diverses manières, notamment sous forme câblée ou sous forme logicielle.
Dans encore un autre mode de réalisation, l'invention concerne au moins un support d'enregistrement lisible par un ordinateur sur lequel est enregistré un programme d'ordinateur comprenant des instructions exécutables par un ordinateur pour la mise en œuvre d'un procédé de transmission et/ou d'un procédé de réception tels que décrits précédemment.
4. Liste des figures
D'autres caractéristiques et avantages de l'invention apparaîtront plus clairement à la lecture de la description suivante d'un mode de réalisation particulier, donné à titre de simple exemple illustratif et non limitatif, et des dessins annexés, parmi lesquels :
la figure 1 présente les principales étapes d'un procédé de transmission selon un mode de réalisation particulier de l'invention ;
la figure 2 présente les principales étapes d'un procédé de réception selon un mode de réalisation particulier de l'invention ;
la figure 3 illustre un exemple de traitement d'une image d'une séquence d'images selon un mode de réalisation particulier de l'invention ;
les figures 4 et 5 présentent respectivement la structure d'un dispositif de transmission et d'un dispositif de réception selon un mode de réalisation particulier de l'invention.
5. Description d'un mode de réalisation de l'invention
5.1 Principe général
Le principe général de l'invention repose sur l'identification de différentes régions dans au moins une image d'une séquence d'images, et sur le codage spécifique de ces différentes régions, en utilisant un mode de codage adapté pour chaque région. Un tel mode de codage est sélectionné parmi un ensemble de modes de codage défini pour le codeur utilisé. Ainsi, on peut utiliser un premier mode de codage pour coder une première région de l'image, un deuxième mode de codage pour coder une deuxième région de l'image, etc. La ou les images ainsi codées par le codeur sont transmises dans un unique flux vidéo.
Il est ainsi possible de maintenir la qualité de la vidéo perçue par un client même en cas de modification des conditions de transmission, voire d'améliorer la qualité de la vidéo perçue par un client par rapport aux techniques de transmission existantes à mêmes conditions de transmission.
En particulier, il est possible de limiter la dégradation de la qualité de la vidéo perçue par un client ou utilisateur, notamment en cas de réduction de la capacité du canal, en adaptant le mode de codage aux différentes régions de l'image, et par exemple en tenant compte des régions d'intérêt des images.
5.2 Description de modes de réalisation particuliers
On présente, en relation avec la figure 1, les principales étapes d'une technique de transmission d'une séquence d'images Seq selon un mode de réalisation particulier de l'invention. Au cours d'une première étape 11, on identifie (Id), dans au moins une image de la séquence Séq, au moins deux régions distinctes.
Selon le mode de réalisation de l'invention, l'identification de différentes régions dans une image peut être mise en œuvre de manière statique ou dynamique, et manuel ou automatique.
Par exemple, selon une première variante, dite statique, il peut être prédéterminé, en fonction du flux vidéo à transmettre, que certaines régions de l'image (par exemple les bords, les coins) soient de moindre intérêt pour l'utilisateur et donc traitées comme des régions dont la qualité peut être dégradée en utilisant un mode de codage basique. Par déduction, les autres régions de l'image, par exemple le centre, sont considérées comme étant de grand intérêt par le client, et donc traitées comme des régions dont il faut préserver la qualité en utilisant un mode de codage robuste.
Ainsi, si le flux vidéo contient plutôt des scènes figées, par exemple dans le cas d'une session de vidéoconférence avec des interlocuteurs statiques, les régions peuvent être prédéfinies.
Selon une deuxième variante, dite dynamique, les différentes régions ne sont pas prédéfinies avant la transmission.
Par exemple, on peut employer des techniques connues de recherche de mouvement, afin d'accorder plus d'importance à des régions actives, présentant du mouvement, au détriment de régions ne présentant pas de mouvement, donc statiques.
Il est par ailleurs possible de segmenter les images de la séquence d'images manuellement, ou automatiquement en utilisant une technique connue, de type ordonnancement flexible des macroblocs (en anglais FMO ou « Flexible Macroblock Ordering ») par exemple.
Au cours d'une deuxième étape 22, on détermine, pour chacune des régions, un mode de codage adapté à la région.
On rappelle que tout mode de codage compatible avec le codeur utilisé peut être appliqué indépendamment sur chacune des régions, suivant l'intérêt de la région, selon ce mode de réalisation particulier. Un tel mode ou algorithme de codage permet notamment d'améliorer la qualité et/ou la résistance aux pertes.
Il est ainsi possible d'assigner, selon ce mode de réalisation particulier, des modes de codage différents au sein d'une même image, en choisissant un mode de codage qui soit adapté à l'activité de la région correspondante. Ainsi, la solution proposée, selon ce mode de réalisation, permet une dégradation non uniforme de la séquence d'images en cas de réduction de la capacité du canal, alors que les solutions existantes reposent sur une dégradation équivalente (sur toute l'image) de la séquence d'images. La solution proposée permet donc, selon ce mode de réalisation particulier, de dégrader d'avantage les images de la séquence dans les régions dans lesquelles la qualité perçue par le client est de faible intérêt, et de préserver un maximum de qualité dans les régions dans lesquelles la qualité perçue par le client est primordiale.
De cette façon, il est possible de conserver la qualité d'une région d'intérêt au sein d'un flux vidéo, ou de limiter la dégradation afin qu'elle ne soit pas perçue par le client, dans un environnement contraint en terme de capacité de transmission des données.
Par exemple, si la région est de faible intérêt, on choisit un mode de codage ne retransmettant pas cette région de l'image en cas d'erreur. Notamment, s'il s'agit d'une région de l'image « fond », c'est-à-dire n'évoluant pas dans la séquence d'images, on peut choisir un mode de codage de type « skip », correspondant donc à une absence de transmission d'informations représentatives de cette région. A l'inverse, si la région présente un intérêt important, on peut choisir un mode de codage qui renvoie l'image I.
Au cours d'une troisième étape 13, la ou les images de la séquence sont codées, en utilisant, pour chacune des régions, le mode de codage adapté à la région déterminé à l'étape précédente. Un unique flux vidéo est généré au cours de cette troisième étape.
On note que ces trois premières étapes 11, 12 et 13 peuvent être mises en œuvre par un codeur, tel qu'un codeur H.263, H.264, MPEG4, etc par exemple.
Au cours d'une quatrième étape 14, le flux vidéo est transmis à destination d'un client.
On décrit désormais, en relation avec la figure 2, les principales étapes d'une technique de réception d'un flux vidéo selon un mode de réalisation particulier de l'invention.
Au cours d'une première étape 21, on reçoit un flux vidéo comprenant au moins une image codée en utilisant un mode de codage adapté à chaque région de la ou des images, obtenu comme décrit ci-dessus.
Au cours d'une deuxième étape 22, la ou les images codées sont décodées, et la séquence d'image correspondante Seq est restituée sur un terminal du client.
Différentes options de décodage peuvent être envisagées, mettant en œuvre soit un décodeur classique, soit une séparation des données du flux vidéo en fonction de la région de l'image afin de soumettre chaque région de l'image à un décodeur adapté au mode de codage utilisé pour la région correspondante.
En particulier, selon l'art antérieur, une image ne pouvait être restituée ou rafraîchie au niveau du terminal client qu'une fois les informations représentatives de la totalité de l'image reçues et décodées. Selon l'invention, il est possible de restituer/rafraîchir une région de l'image (par exemple une région d'intérêt, dans laquelle il y a plus de mouvement) dés que les informations représentatives de cette région de l'image sont reçues et décodées. 5.3 Exemples de mise en œuvre de l'invention
On présente désormais, en relation avec la figure 3, un premier exemple de mise en œuvre de l'invention.
On considère par exemple une séquence d'images représentative d'un journal télévisé, dans lequel la scène se compose du fond fondu avec changement de luminosité, du présentateur et d'un envoyé spécial, et d'une zone en pied de scène indiquant les cours de la bourse ou un bandeau d'informations.
Selon un mode de réalisation particulier de l'invention, une image à un instant t est décomposée en quatre régions :
une région 31, en hachuré, indiquant les cours de la bourse ou un bandeau d'informations ;
une région 32 qui correspond à la zone d'évolution du présentateur ;
une région 33 qui correspond à la zone d'évolution de l'envoyé spécial ; et une région 34 représentant le fond.
En cas de dégradation des conditions de transmission, et notamment du canal de transmission, au lieu de réduire la qualité de la vidéo en réduisant par exemple la fréquence des images à 25 images par seconde sur toute l'image, on propose selon l'invention de conserver cette fréquence à 50 images par seconde, et d'appliquer un mode de codage différent aux différentes régions de l'image :
sur la région 33 contenant l'envoyé spécial, qui correspond à la zone de priorité la plus importante du point de vue du client : application d'un mode de codage de type P hiérarchique, ou bien d'un mode de codage de type I, P, I, P, etc (en d'autres termes, on envoie l'image intra de cette région une fois sur deux : avec la première image, avec la troisième image, avec la cinquième image, etc) ;
sur la région 32 contenant le présentateur, qui correspond à une zone de priorité normale du point de vue du client : application d'un mode de codage classique, par exemple de type I, P, P, P, P, I (en d'autres termes, on envoie l'image intra de cette région une fois sur cinq : avec la première image, avec la sixième image, etc) ;
sur la région 31 contenant le bandeau d'informations ou les cours de la bourse, qui correspond à une zone de faible priorité du point de vue du client : application d'un mode de codage moins robuste, par exemple de type I, P, P, P, P, P, P, P, P, P, I (en d'autres termes, on envoie l'image intra de cette région une fois sur dix : avec la première image, avec la onzième image, etc). On peut également choisir un mode de codage ne retransmettant pas la région de l'image (ou un résidu correspond à cette région de l'image) en cas de perte de données ; sur la région 34 contenant le fond / reste de l'image : application d'un mode de codage encore moins robuste. Notamment, lorsque le reste de l'image est fixe, on peut utiliser le mode de codage « skip » dès que la qualité du fond restitué au client est suffisante. Par exemple, on envoie l'image intra de cette région une seule fois, puis on ne code plus cette région tant qu'il n'y a pas de changement au niveau du fond. En particulier, on peut choisir un mode de codage ne permettant aucune retransmission en cas d'erreur ou de perte de données. Ainsi, en cas d'erreur, aucune mise à jour du fond n'est demandée, dans la mesure où cette région est de faible intérêt pour le client.
Ainsi, l'invention permet, selon au moins un de ses modes de réalisation, de limiter la dégradation perçue par le client/utilisateur en cas de dégradation des conditions de transmission, puisque l'envoyé spécial et le présentateur restent fluides et bien définis, et que le bandeau d'information/cours de la bourse reste lisible (même si de moins bonne qualité que l'envoyé spécial et le présentateur). On rappelle que selon les techniques de l'art antérieur, l'image est dégradée dans son ensemble.
Selon encore un deuxième exemple de mise en œuvre de l'invention, on considère une session de vidéoconférence dont le débit entrant dans le serveur de vidéoconférence est limité à 2 Mbs. Le débit sortant, au niveau de chacun des participants, dépend du nombre de participants à cette vidéoconférence. Par exemple, si le nombre de participants est égal à 5, alors chacun des participants dispose en moyenne de 400 kbs, et la qualité d'émission de la vidéo de chaque participant est alors limitée par ce débit. Par ailleurs, si le nombre de participants augmente, et notamment s'il double (10 participants), le débit alloué à chaque participant est divisé par deux, soit 200 kbs, et la qualité de la vidéo émise par chacun des participants est dégradée, de manière uniforme pour toute l'image selon les techniques connues de l'art antérieur.
Au contraire, selon un mode de réalisation particulier de l'invention, l'image de chaque participant est segmentée en deux régions différentes : une première région pour le visage et une seconde région pour le fond. Chacune de ces régions prend une partie du débit de 200kbs alloué, et un mode de codage distinct est affecté à chacune de ces régions, en fonction de l'intérêt associé à chaque région.
Ainsi, si le débit consommé par la région visage, tout en conservant les autres paramètres de transmission d'origine (taille et fréquence d'images), est inférieur à 200 kbs (150 kbs par exemple), alors aucun changement de qualité ne va être appliqué sur cette région (on conserve un mode de codage classique, ou on utilise un mode de codage plus robuste pour améliorer la qualité de la région visage, comme le codage de type AIR ou IPPPI). Le reste du débit (50 kbs) est alloué alors pour la région du fond, pour laquelle on utilise un mode de codage moins robuste, comme le codage IPPP.
Si le débit consommé par la région visage, tout en conservant les autres paramètres de transmission d'origine (taille et fréquence d'images), est supérieur à 200 kbs (250 kbs par exemple), alors le mode de codage est modifié afin d'utiliser un mode de codage moins consommateur de bande passante, comme le codage de type P hiérarchique, de façon à n'utiliser qu'une partie du débit, par exemple 150 kbs. Le reste du débit (50 kbs) peut alors être alloué pour la région du fond, pour laquelle on utilise un mode de codage moins robuste, comme le codage IPPP. Côté décodeur, on rafraîchit donc moins souvent une région présentant un plus faible intérêt pour le client.
A titre d'exemple, si on considère des applications temps réel, on peut classer différents modes de codage en fonction de leur coût en terme de débit, avec du moins coûteux au plus coûteux : le codage de type IPPP, le codage de type P hiérarchique, le codage de type « backchannel », le codage de type AIR, le codage de type IPPPI.
Finalement, les deux régions sont transmises dans un unique flux vidéo.
Ce traitement, selon ce mode de réalisation de l'invention, engendre une perte de qualité sur la région correspondant au fond, ce qui ne perturbe pas l'utilisateur, le fond ne bougeant pas ou peu, mais la qualité de la région visage est conservée (voire améliorée). Ainsi, la dégradation de la qualité de l'image engendrée par une diminution du débit de transmission n'est pas perçue par l'utilisateur.
5.4 Structures simplifiées d'un dispositif de transmission et d'un dispositif de réception La figure 4 présente la structure simplifiée d'un dispositif de transmission mettant en œuvre le procédé de transmission selon un mode de réalisation particulier de l'invention.
Ce dispositif comprend une mémoire RAM 41, une unité de traitement 42, équipée par exemple d'un processeur, et pilotée par un programme d'ordinateur stocké dans une mémoire ROM 43. A l'initialisation, les instructions de code du programme d'ordinateur sont par exemple chargées dans la mémoire RAM 41 avant d'être exécutées par le processeur de l'unité de traitement 42. L'unité de traitement 42 reçoit en entrée au moins une image d'une séquence d'images. Le processeur de l'unité de traitement 42 met en œuvre les étapes du procédé de transmission décrit précédemment, selon les instructions du programme d'ordinateur 43, en appliquant un traitement distincts aux différentes régions de la ou des images, et génère en sortie un unique flux vidéo, comprenant au moins une image codée en utilisant un mode de codage adapté à chaque région de la ou des images. Pour cela, le dispositif de transmission comprend, outre la mémoire 41, des moyens d'identification, dans au moins une image de la séquence, d'au moins deux régions distinctes, des moyens de détermination d'un mode de codage adapté à chacune des régions, des moyens de codage de la ou des images, et des moyens de transmission dans un unique flux vidéo. Ces moyens sont pilotés par le microprocesseur de l'unité de traitement 42.
La figure 5 présente la structure simplifiée d'un dispositif de réception mettant en œuvre le procédé de réception selon un mode de réalisation particulier de l'invention.
Ce dispositif comprend une mémoire RAM 51, une unité de traitement 52, équipée par exemple d'un processeur, et pilotée par un programme d'ordinateur stocké dans une mémoire ROM 53. A l'initialisation, les instructions de code du programme d'ordinateur sont par exemple chargées dans la mémoire RAM 51 avant d'être exécutées par le processeur de l'unité de traitement 52. L'unité de traitement 52 reçoit en entrée un unique flux vidéo. Le processeur de l'unité de traitement 52 met en œuvre les étapes du procédé de réception décrit précédemment, selon les instructions du programme d'ordinateur 53, pour décoder et restituer la ou les images codées en utilisant un mode de codage adapté à chaque région de la ou des images. Pour cela, le dispositif de réception comprend, outre la mémoire 51, des moyens de réception d'un unique flux vidéo, comprenant au moins une image codée en utilisant un mode de codage adapté à chaque région de la ou des images, des moyens de décodage et restitution de la ou des images. Ces moyens sont pilotés par le microprocesseur de l'unité de traitement 52.
Selon différents modes de réalisation, l'invention est mise en œuvre au moyen de composants logiciels et/ou matériels.
Un composant logiciel correspond à un ou plusieurs programmes d'ordinateur, un ou plusieurs sous-programmes d'un programme, ou de manière plus générale à tout élément d'un programme ou d'un logiciel apte à mettre en œuvre une fonction ou un ensemble de fonctions. Un tel composant logiciel est exécuté par un processeur de données d'une entité physique (codeur, émetteur, terminal, décodeur, récepteur, dispositif de transmission, dispositif de réception, ...) et est susceptible d'accéder aux ressources matérielles de cette entité physique (mémoires, supports d'enregistrement, bus de communication, cartes électroniques d'entrées/sorties, interfaces utilisateur, ...).
De la même manière, un composant matériel correspond à tout élément d'un ensemble matériel (ou « hardware ») apte à mettre en œuvre une fonction ou un ensemble de fonctions. Il peut s'agir d'un composant matériel programmable ou avec processeur intégré pour l'exécution de logiciel, par exemple un circuit intégré, une carte à puce, une carte à mémoire, une carte électronique pour l'exécution d'un micrologiciel (« firmware »), etc.

Claims

REVENDICATIONS
1. Procédé de transmission d'une séquence d'images, caractérisé en ce qu'il comprend les étapes suivantes :
identification (11), dans au moins une image de ladite séquence, d'au moins deux régions distinctes ;
pour chacune desdites régions, détermination (12) d'un mode de codage adapté à ladite région ;
codage (13) de ladite au moins une image en utilisant, pour chacune desdites régions, le mode de codage adapté à ladite région, et transmission (14) dans un unique flux vidéo.
2. Procédé de transmission selon la revendication 1, caractérisé en ce que ladite étape de détermination (12) tient compte du contenu de ladite région.
3. Procédé de transmission selon la revendication 2, caractérisé en ce que ladite étape de détermination (12) tient compte d'une activité dans ladite région.
4. Procédé de transmission selon la revendication 1, caractérisé en ce que ledit mode de codage adapté à une région est défini pour plusieurs images de ladite séquence.
5. Procédé de transmission selon la revendication 1, caractérisé en ce que lesdits modes de codage appartiennent au groupe comprenant :
un codage de type IPPP, ou « image I, image P, image P, image P »,
un codage de type image P hiérarchique,
- un codage de type IPPPI, ou « image I, image P, image P, image P, image I »,
un codage de type intra-rafraîchissement adaptatif.
6. Procédé de transmission selon la revendication 5, caractérisé en ce que, pour une région de l'image satisfaisant un critère d'intérêt particulier, le mode de codage déterminé est de type image P hiérarchique ou IPPPI.
7. Procédé de transmission selon la revendication 1, caractérisé en ce qu'il comprend une étape préalable de détermination des paramètres de transmission de ladite séquence d'images.
8. Procédé de transmission selon la revendication 1, caractérisé en ce qu'il comprend une étape de mise à jour desdites régions et desdits modes de codage adaptés à chacune desdites régions, périodique et/ou tenant compte d'une modification du canal de transmission.
9. Dispositif de transmission d'une séquence d'images, caractérisé en ce qu'il comprend : des moyens d'identification (11), dans au moins une image de ladite séquence, d'au moins deux régions distinctes ;
des moyens de détermination (12) d'un mode de codage adapté à chacune desdites régions ;
- des moyens de codage (13) de ladite au moins une image en utilisant, pour chacune desdites régions, le mode de codage adapté à ladite région, et des moyens de transmission (14) dans un unique flux vidéo.
10. Procédé de réception d'une séquence d'images, caractérisé en ce qu'il comprend les étapes suivantes :
réception (21) d'un unique flux vidéo, comprenant au moins une image codée en utilisant un mode de codage adapté à chaque région de ladite au moins une image ;
décodage (22) et restitution de ladite au moins une image.
11. Dispositif de réception d'une séquence d'images, caractérisé en ce qu'il comprend :
des moyens de réception (21) d'un unique flux vidéo, comprenant au moins une image codée en utilisant un mode de codage adapté à chaque région de ladite au moins une image ;
des moyens de décodage (22) et restitution de ladite au moins une image.
12. Programme d'ordinateur comportant des instructions pour la mise en œuvre d'un procédé selon la revendication 1 ou selon la revendication 10 lorsque ce programme est exécuté par un processeur.
13. Support d'enregistrement lisible par un ordinateur sur lequel est enregistré un programme d'ordinateur comprenant des instructions exécutables par un ordinateur pour la mise en œuvre d'un procédé selon la revendication 1 ou selon la revendication 10.
EP13815088.3A 2012-12-21 2013-12-13 Procédé et dispositif de transmission d'une séquence d'images basé sur un codage région adaptatif Ceased EP2936811A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1262548A FR3000350A1 (fr) 2012-12-21 2012-12-21 Procede et dispositif de transmission d'une sequence d'images, procede et dispositif de reception, programme d'ordinateur et support d'enregistrement correspondants.
PCT/FR2013/053063 WO2014096638A1 (fr) 2012-12-21 2013-12-13 Procédé et dispositif de transmission d'une séquence d'images basé sur un codage région adaptatif

Publications (1)

Publication Number Publication Date
EP2936811A1 true EP2936811A1 (fr) 2015-10-28

Family

ID=48170615

Family Applications (1)

Application Number Title Priority Date Filing Date
EP13815088.3A Ceased EP2936811A1 (fr) 2012-12-21 2013-12-13 Procédé et dispositif de transmission d'une séquence d'images basé sur un codage région adaptatif

Country Status (4)

Country Link
US (1) US20160057431A1 (fr)
EP (1) EP2936811A1 (fr)
FR (1) FR3000350A1 (fr)
WO (1) WO2014096638A1 (fr)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117459718A (zh) 2019-04-01 2024-01-26 北京字节跳动网络技术有限公司 视频编码中的可选插值滤波器
CN114270856A (zh) * 2019-08-20 2022-04-01 北京字节跳动网络技术有限公司 视频处理中的备选插值滤波器的选择性使用
US11240284B1 (en) * 2020-05-28 2022-02-01 Facebook, Inc. Systems and methods for application- and content-aware real-time video encoding

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1734768A1 (fr) * 2005-06-15 2006-12-20 Matsushita Electric Industrial Co., Ltd. Vidéo adaptative avec décision du mode de codage intra/inter basée sur l'encombrement du réseau
US8325822B2 (en) * 2006-01-20 2012-12-04 Qualcomm Incorporated Method and apparatus for determining an encoding method based on a distortion value related to error concealment
WO2010057170A1 (fr) * 2008-11-17 2010-05-20 Cernium Corporation Codage à modulation analytique d'une vidéo de surveillance
KR102013240B1 (ko) * 2012-02-02 2019-08-22 삼성전자주식회사 영역별 특성에 기초한 영상 부호화 방법 및 그 장치, 그리고 영상 복호화 방법 및 그 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of WO2014096638A1 *
SULLIVAN G J ET AL: "RATE-DISTORTION OPTIMIZATION FOR VIDEO COMPRESSION", IEEE SIGNAL PROCESSING MAGAZINE, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, vol. 15, no. 6, 1 November 1998 (1998-11-01), pages 74 - 90, XP011089821, ISSN: 1053-5888, [retrieved on 20020806], DOI: 10.1109/79.733497 *

Also Published As

Publication number Publication date
US20160057431A1 (en) 2016-02-25
WO2014096638A1 (fr) 2014-06-26
FR3000350A1 (fr) 2014-06-27

Similar Documents

Publication Publication Date Title
Yeo et al. Neural adaptive content-aware internet video delivery
FR2896115A1 (fr) Dispositif et procede de changement rapide de canal pour tvip
EP1834488A1 (fr) Procede et dispositif de codage video
JP2010530719A (ja) フレーム損失によるリアルタイム映像アーチファクトを隠蔽する機構
FR2916600A1 (fr) Procede et dispositif de transmission de donnees
EP1354482A1 (fr) Procede de codage et de decodage d'images, dispositifs, et applications correspondants
EP2936811A1 (fr) Procédé et dispositif de transmission d'une séquence d'images basé sur un codage région adaptatif
EP2947888A1 (fr) Procédé de téléchargement adaptatif de contenus numériques pour plusieurs écrans
FR2946820A1 (fr) Procede de transmission de donnees et dispositif associe.
EP1834489A1 (fr) Procede et dispositif de codage video
FR2963189A1 (fr) Procede d'encodage adaptatif d'un flux video numerique, notamment pour diffusion sur ligne xdsl.
FR2940491A1 (fr) Systeme de procede interactif pour la transmission sur un reseau bas debit d'images clefs selectrionnees dans un flux video
EP3840335B1 (fr) Réception d'un contenu numérique en mode truque
FR2913163A1 (fr) Procede et dispositif de transmission de donnees video
FR2992814A1 (fr) Procede de transmission, procede de reception et d'affichage, produits programmes d'ordinateur, supports de stockage et dispositifs correspondants.
FR2987213A1 (fr) Systeme video pour representer des donnees d'image et son procede d'application
EP2025174A1 (fr) Utilisation d'un canal de retour pour la diffusion d'images
EP1900223A2 (fr) Procede et dispositif de codage video
WO2016059196A1 (fr) Decodeur, procede et systeme de decodage de flux multimedia
WO2009004255A1 (fr) Selection de fonctions de decodage distribuee au decodeur
EP3843409A1 (fr) Procede d'allocation pour liaison bas-debit
EP3973714A1 (fr) Restitution d'un contenu en arrière-plan ou sous forme d'incrustation dans le cadre d'un téléchargement progressif adaptatif de type has
FR3109489A1 (fr) Préparation de contenus numériques accessibles en téléchargement progressif adaptatif et encodés selon une méthode d’encodage à débit variable, en fonction d’une charge réseau
FR3079705A1 (fr) Communication par video conference
FR2930106A1 (fr) Procede de transmission sur un reseau de communication d'une sequence d'images pre-encodees.

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20150707

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20160623

RIN1 Information on inventor provided before grant (corrected)

Inventor name: BULTEL, THOMAS

Inventor name: EL CHAMI, ZAHER

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20180410