WO2023144138A1 - Methods for sending and receiving a mask for watermarking an image - Google Patents

Methods for sending and receiving a mask for watermarking an image Download PDF

Info

Publication number
WO2023144138A1
WO2023144138A1 PCT/EP2023/051673 EP2023051673W WO2023144138A1 WO 2023144138 A1 WO2023144138 A1 WO 2023144138A1 EP 2023051673 W EP2023051673 W EP 2023051673W WO 2023144138 A1 WO2023144138 A1 WO 2023144138A1
Authority
WO
WIPO (PCT)
Prior art keywords
mask
image
images
msr
perceptual
Prior art date
Application number
PCT/EP2023/051673
Other languages
French (fr)
Inventor
Valérie DENIS
Gaëtan LE GUELVOUIT
Gilles Dubroeucq
Original Assignee
Fondation B-Com
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fondation B-Com filed Critical Fondation B-Com
Publication of WO2023144138A1 publication Critical patent/WO2023144138A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G06T1/0028—Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/3232—Robust embedding or watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/913—Television signal processing therefor for scrambling ; for copy protection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00—General purpose image data processing
    • G06T2201/005—Image watermarking
    • G06T2201/0051—Embedding of the watermark in the spatial domain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/913—Television signal processing therefor for scrambling ; for copy protection
    • H04N2005/91307—Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal
    • H04N2005/91335—Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal the copy protection signal being a watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark

Definitions

  • the present invention generally relates to the technical field of the digital watermarking of an image or a video sequence.
  • It relates in particular to a method for transmitting data representative of a mask for the watermarking of an image and an associated method of receiving.
  • the technique of watermarking audiovisual content consists of inserting information into it, called watermarking or mark.
  • One of the purposes of this technique is, for example, to identify the author of the watermarked audiovisual content.
  • the audiovisual content can be analyzed in advance and a digital watermarking of the audiovisual content can be created on the receiving terminal.
  • This configuration can be exploited to create marks adapted to audiovisual content, through the use of perceptual masks.
  • perceptual mask is for example described in the article “Efficient Spatial Image Watermarking via New Perceptual Masking and Blind Detection Schemes”, by Karybali in IEEE Transactions on Information Forensics and Security (June 2006).
  • the perceptual masks are built from activity information in the audiovisual content and allow to adjust the transparency of the inserted marks. Transparency characterizes the way in which the insertion of the mark alters the perception of the audiovisual content read by a user, and contributes to the quality of the watermarked video.
  • the size of the data sent for the watermarking represents an important parameter in the compromise sought between transmission efficiency and quality of the watermarking.
  • the present invention proposes a method for transmitting data representative of a mask for watermarking an image (of size MoxNo pixels) included in a set comprising at least this image, the method comprising the following steps:
  • a step of defining a geometric distribution comprising R two-dimensional regions, by means of at least one segmentation of a component of luminance constructed on the basis of at least one image of said set,
  • a segmented perceptual mask which offers the possibility of sending a reduced quantity of information to produce the watermarking of the image on a receiving terminal while guaranteeing the effectiveness of the watermarking.
  • the coefficient is determined based on statistical parameters of the I-frame in the two-dimensional region.
  • the coefficient is calculated as a function of coefficients contained in a perceptual mask (of size MoxNo pixels) and relating to the two-dimensional region.
  • the statistical parameters of the image are determined on the basis of at least one image processing method chosen from a Laplace filter, a variance calculation, a Fourier transform calculation or a calculation local binary patterns.
  • the data representative of the mask sent to the sending step comprises only the coefficients respectively assigned to a fraction of the pixels of the mask during the assignment step.
  • the assignment step comprises the formation of a segmented mask in which each pixel has the value of the coefficient assigned to the two-dimensional region comprising said pixel,
  • the method comprises a step of subsampling said segmented mask into a subsampled segmented mask comprising at least part of the coefficients,
  • the representative data sent to the sending step correspond to at least part of the coefficients.
  • the data representative of the mask sent to the sending step comprises data defining at least part of said two-dimensional regions.
  • the data defining at least part of said two-dimensional regions comprises a plurality of lists of points determining the closed contours of at least part of the R two-dimensional regions.
  • the picture belongs to a picture slice of a video packet.
  • the at least one segmentation comprises P segmentations Sp of P luminance components, each luminance component being constructed on the basis of one of P image sequences ECHp of the video packet, said P ECHp image sequences having a length less than or equal to the length of the image slice,
  • the definition step further comprises the selection of a defined segmentation Sd from among the P segmentations Sp, the R two-dimensional regions being derived from the defined segmentation Sd,
  • the coefficient is equal to the average of the values of the pixels of the two-dimensional region of a defined mask Md determined on the basis of the sequence of images Ed corresponding to the defined segmentation Sd.
  • the segmentation defined Sd among the P segmentations Sp corresponds to a minimum error among P calculated errors, for each sequence of images ECHp, between a reference perceptual mask of the sequence of images and a segmented perceptual mask of the ECHp image sequence.
  • the pixels of a reference perceptual mask of an ECHp image sequence have as their value the minimum value of the corresponding pixels of perceptual masks calculated on the basis of each of the images of the ECHp image sequence
  • each perceptual mask is calculated from statistical parameters of an image of the sequence of images
  • the pixels of each zone defined by the segmentation Sp (corresponding to the sequence of ECHp images) have as their value the mean of the values of the pixels of the reference perceptual mask in said area.
  • the defined mask corresponds to the reference perceptual mask of the image sequence corresponding to the defined segmentation.
  • Another aspect of the invention relates to a method for transmitting data representative of a mask for watermarking an image (of size MoxNo pixels) comprising the following steps:
  • Another aspect of the invention relates to a method for receiving data representative of a mask (of size MoxNo pixels) for the watermarking of an image (of size MoxNo pixels) comprising the following steps:
  • a step of receiving data representative of a segmented mask (of size MxN pixels smaller than MoxNo pixels defined by a geometric distribution comprising R two-dimensional regions), said representative data comprising a plurality of coefficients (associated with at least part of the R two-dimensional regions),
  • the mask reconstruction step includes assigning coefficients to pixel areas comprising at least one pixel.
  • the data representing the segmented mask further comprises data defining two-dimensional regions
  • the mask reconstruction step includes drawing the two-dimensional regions on the basis of the data defining the two-dimensional regions and assigning a coefficient to each of the two-dimensional regions.
  • the data representative of the segmented mask further comprises a plurality of lists of points defining the closed contours of two-dimensional regions
  • the step of reconstructing the mask comprises drawing the two-dimensional regions by means of the plurality of lists of points and assigning a coefficient to each of the two-dimensional regions.
  • the image belongs to a slice of images of a video packet
  • the mask is common to the images of the image slice.
  • FIG. 1 shows the different steps of the method for transmitting data representative of a mask according to the invention
  • FIG. 2 shows the different steps of a first embodiment of the method for transmitting data representative of a mask according to the invention
  • FIG. 3 shows an example of perceptual mask, segmentation and reduced mask obtained by the first embodiment of the transmission method according to the invention
  • FIG. 4 shows the different steps of a second embodiment of the method for transmitting data representative of a mask according to the invention
  • FIG. 6 shows the different steps of the method for receiving data representative of a mask according to the invention.
  • the mark makes it possible, for example, to identify the author of the video sequence or the receiver terminal on which the video sequence was decoded. It is assumed that the video sequence has been selected by a user of the receiving terminal from a library of video sequences available on a server device. The server device then sends the selected video sequence to the receiver terminal in packets of images (“chunks” in English) via a network such as the Internet or a third-generation telephone network.
  • the images forming the selected video sequence have a size of MOxNO pixels.
  • Each packet of images is sent accompanied by metadata which will be used in particular for the watermarking, by the receiving terminal, of the packet of images.
  • the receiving terminal receives the video sequence in packets of images.
  • Each image packet is divided into K successive image slices.
  • the duration of the image packet is 10 seconds.
  • the duration of an image slice is 2 seconds.
  • the data representative of the MS mask will be used for the watermarking of all the images of an image slice.
  • the process for transmitting data representative of the mask MS for the watermarking of the images of the slice of images T comprises, as illustrated in figure 1, the following steps:
  • step E2 of assigning a coefficient MSr to each two-dimensional region Zr
  • step E3 of sending data representative of the mask M comprising at least part of the coefficients MSr.
  • This metadata MT is prepared prior to the transmission of the packet of images S to the receiver terminal.
  • the MT metadata described defines the mask M, but other metadata could be used in practice for other reasons.
  • FIG. 2 illustrates the steps constituting a first embodiment of the preparation of the metadata MT.
  • the reference image I is for example the first image of the image slice T.
  • the reference image I corresponds to a scene change identified in the image slice T.
  • a perceptual mask is calculated in correspondence with the reference image I of the slice of images T of the packet of images S.
  • perceptual mask we mean a matrix of size MOxNO whose coefficients represent a measurement the activity of the corresponding reference image I.
  • the perceptual mask is calculated by applying a Laplace filter to the reference image I.
  • a variance calculation can be performed to obtain the perceptual mask.
  • Other techniques, alone or in combination, can be used to obtain the perceptual mask, such as the detection of high frequency areas (by measuring the local variance of the pixels, or by Fourier transform), the qualification of texture by binary patterns premises.
  • the perceptual mask of a reference image is calculated on the basis of the three chromatic components of the reference image.
  • a segmentation of the reference image I is carried out.
  • the segmentation is performed on a luminance component of the reference image I.
  • Different types of algorithm can be used to perform the segmentation, for example the SLIC algorithm, the Watershed algorithm, the Quick Shift algorithm , or the Random Walker algorithm.
  • the segmentation of the reference image I produces a partition into R two-dimensional regions Zr of a matrix of size MOxNO.
  • This step E2a corresponds to the step of definition E1 of the geometric distribution RG of the transmission method according to the invention.
  • the geometric distribution RG corresponds to the partition resulting from the segmentation of the reference image I.
  • a segmented perceptual mask is obtained as follows.
  • the segmented perceptual mask is a matrix of size MOxNO whose coefficients are equal, for a two-dimensional region among the R two-dimensional regions of the partition obtained in step E2a, to the mean of the values of the perceptual mask in the two-dimensional region considered.
  • This step E4a corresponds to the step E2 of assigning a coefficient MSr to each two-dimensional region Zr. More precisely, each coefficient MSr is equal to the average of the values of the perceptual mask in the two-dimensional region Zr.
  • a step E6a the size of the segmented perceptual mask is reduced by subsampling, to form a reduced mask of size MxN pixels smaller than MOxNO pixels.
  • the reduced mask is 5 times smaller than the segmented perceptual mask in each dimension.
  • MO is equal to Mx5 and NO is equal to Nx5.
  • the dimensions of the reduced mask are smaller than that of the segmented perceptual mask.
  • MO is equal to kxM with k an integer strictly greater than 2
  • NO is equal to k'xN with k' an integer strictly greater than 2.
  • the reduced mask has a size of 96x40 pixels.
  • the reduced mask is encoded in a dedicated format, for example in base64 format, for its transmission.
  • the base64 format is used to represent any binary data in alphanumeric characters. This format thus allows the transport of binary data blocks via for example the http protocol by using xml or html containers.
  • the metadata MT includes the reduced mask.
  • Figure 3 shows, for an image I, an example of perceptual mask MP, of segmentation S of the luminance component of image I, and of the reduced mask MR.
  • a subsequent step E8a consists of sending the metadata MT which includes the reduced mask, the values of the pixels of which correspond to at least part of the coefficients MSr. This step E8a corresponds to step E3 of sending data representative of the mask MS.
  • a second embodiment of the preparation of the metadata MT accompanying the packet of images S received by the receiver terminal will now be described.
  • FIG. 4 illustrates the steps constituting this second embodiment of the preparation of the metadata MT.
  • the latter contain, as in the first embodiment, a segmented perceptual mask for each image slice included in the image packet. However, the segmented perceptual mask corresponding to an image slice is obtained by a different method described below.
  • the preparation of the metadata MT is prior to the sending of the packet of images S to the receiver terminal.
  • a set of P samples are produced on the basis of P image sequences ECHp included in the video packet S.
  • sample is meant a pair (Pp,MPRp) formed of a perceptual reference mask MPRp and a partition Pp of an array of size MoxNo. Each sample corresponds to one of the P ECHp image sequences.
  • the temporal average of the luminance components of the images included in the sequence of images ECHp is calculated.
  • This average is hereinafter referred to as the average luminance component IMp.
  • the value of each pixel of the average luminance component IMp is the average of the values of this same pixel in the different images of the sequence of images ECHp.
  • the average luminance component IMp is segmented by a segmentation calculation Sp so as to produce a partition Pp formed of Rp two-dimensional regions Zrp.
  • a reference perceptual mask MPRp of the sequence of images ECHp is calculated.
  • the reference perceptual mask MPRp is a matrix of size MoxNo and is calculated as follows. For each image Ipi of the sequence of images ECHp, a perceptual mask Mpi is calculated from statistical parameters of the image Ipi. For example, the perceptual mask Mpi is calculated by applying a Laplace filter to the Ipi image. In another example, a variance calculation can be performed to obtain the perceptual mask Mpi.
  • the perceptual mask Mpi can be obtained by using other techniques, alone or combined, such as the detection of high frequency zones (by measuring the local variance of the pixels, or by Fourier transform), the qualification of texture by patterns local binaries.
  • the perceptual mask Mpi of an image Ipi is calculated on the basis of the three chromatic components of the image Ipi.
  • Each pixel of the reference perceptual mask MPRp has as its value the minimum value among all the values of the same pixel of the perceptual masks Mpi.
  • step EOb is a set of P samples (Pp.MPRp). For each sample, a start time marker TMSp and an end time marker TMEp of the sequence of images ECHp are kept in memory.
  • step EOb a slice of images T of the packet of images S.
  • the samples whose start timestamps TMSp and end timestamps TMEp are the closest to the slice of images T are retained.
  • the chosen proximity criterion can be that the difference between the start timestamp of the image slice and the start timestamp TMPs of the sequence of images ECHp, or the difference between the timestamp of end of the T-image slice and the end timestamp TMEp of the ECHp image sequence are less than the duration of the T-image slice.
  • a sample from among the P′ samples retained in step E2b is selected on the basis of the calculation of P′ errors Errp.
  • Each of the P′ errors Errp corresponds to a deviation between, for each image sequence ECHp, the reference perceptual mask MPRp of the image sequence ECHp and a segmented perceptual mask MPSp of the image sequence ECHp.
  • Each segmented perceptual mask MPSp is a matrix of size MOxNO.
  • the pixels of a segmented perceptual mask MPSp have as their value, in a two-dimensional region Zrp of the partition Pp, the mean of the values of the pixels of the reference perceptual mask MPRp in said zone.
  • An error Errp is for example calculated by applying the square root of the mean of the squares of the difference of the pixel values between the reference perceptual mask MPRp and the segmented perceptual mask MPSp.
  • the P′ Errp errors can be calculated using the L1 norm or a PSNR measurement.
  • a sample (Pd,MPRd) among the P samples (Pp,MPRp) is selected on the basis of the P errors Errp.
  • the sample (Pd,MPRd) corresponds to the minimum error Errp among the P′ errors Errp calculated in step E4b.
  • the corresponding segmentation Sd is hereinafter referred to as defined segmentation Sd and the corresponding segmented perceptual mask MPSd is hereinafter referred to as defined segmented perceptual mask MPSd.
  • This step E6b corresponds to the step E1 for defining the geometric distribution RG, which includes the Rd two-dimensional regions Zrd as well as to the step E2 for allocating a coefficient MSr to each two-dimensional region Zrd. More precisely, each coefficient MSr corresponds to the value of the pixels of the segmented perceptual mask MPSd in the two-dimensional region Zrd.
  • the size of the defined segmented perceptual mask MPSd is reduced by sub-sampling, to form a reduced mask of size MxN pixels smaller than MOxNO.
  • the reduced mask is 5 times smaller than the segmented perceptual mask.
  • the reduced mask has a size of 96x40 pixels.
  • the reduced mask is encoded in a dedicated format, for example the base64 format, for its transmission.
  • the metadata MT then comprises the encoded reduced mask.
  • step E8b is replaced by a step E8b' taking place as follows.
  • a list of points Lrd determining the closed contour of the two-dimensional region Zrd is extracted.
  • the number of points in the Lrd point list can be adjusted in relation to the accuracy of drawing the closed contour.
  • the extraction can for example be carried out by means of a calculation function on images applied to the defined segmented perceptual mask MPSd.
  • the metadata MT then comprises the set of values taken by the segmented perceptual mask MPSd in each of the two-dimensional regions Zrd as well as the plurality of lists of points Lrd, each value being associated with a list of points Lrd.
  • a subsequent step E10b consists of sending metadata MT which includes either the encoded reduced mask obtained in step E8b, the pixel values of which correspond to at least part of the coefficients MSr, or all of the values taken by the segmented perceptual mask MPSd in each of the two-dimensional regions Zrd, including at least part of the coefficients MSr, as well as the plurality of lists of points Lrd.
  • This step E10b corresponds to the step E3 of sending data representative of the mask MS.
  • This second embodiment offers greater dynamics on the frequency of changes of the segmented perceptual masks and to further compress the segmented perceptual masks at the level of the image packet.
  • the metadata bit rate can be increased by a factor of 4 compared to the first embodiment.
  • the metadata MT accompanying the packet of images S comprise either a set of encoded reduced masks corresponding to each slice of images of the packet of images S, or a set of pluralities of coefficients accompanied by descriptions of partitions in the form of lists of points, corresponding to each slice of images of the packet of images S.
  • Steps EOa to E6a and EOb to E8b or E8b' can be carried out either on a reprogrammable calculating machine (a PC computer, a DSP processor or a microcontroller) executing a program comprising a sequence of instructions, or on a calculating machine dedicated (for example a set of logic gates like an FPGA or an ASIC, or any other hardware module).
  • a reprogrammable calculating machine a PC computer, a DSP processor or a microcontroller
  • a program comprising a sequence of instructions
  • a calculating machine dedicated for example a set of logic gates like an FPGA or an ASIC, or any other hardware module.
  • the processing means is produced with a reprogrammable calculation machine
  • the corresponding program (that is to say the sequence of instructions) may be stored in a removable or non-removable storage medium, this storage medium being partially or totally readable by a computer or a processor.
  • the receiving terminal receives the video sequence in packets of images. Each packet of images is divided into K slices of successive images. The data representative of the mask M will be used for the watermarking of all the images of an image slice.
  • the method of receiving data representative of the mask M for the watermarking of the images of the slice of images T comprises, as illustrated in FIG. 6, the following steps:
  • step E10 of receiving data representative of a segmented mask MS of size MxN pixels less than MoxNo pixels, where the representative data comprises a plurality of MSr coefficients,
  • the data representative of the segmented mask MS consist of an image Is of size MxN pixels smaller than MOxNO pixels.
  • This image Is comprises a geometric distribution RG comprising R two-dimensional regions Zr.
  • geometric distribution it is understood a partition of the image Is into R two-dimensional regions Zr.
  • the pixels of each two-dimensional region Zr have as their value a corresponding coefficient MSr among the plurality of coefficients MSr.
  • the image Is corresponds for example to the reduced mask obtained in step E6a of the first embodiment of the method for sending data representative of a mask according to the invention previously described, for the slice of images T.
  • the image Is is representative of the activity of the reference image I of the slice of images T.
  • the image Is corresponds to the reduced mask obtained in step E8b of the second embodiment of the method for sending data representative of a mask according to the invention previously described, for the slice of images T.
  • the step E12 of reconstitution of the mask M consists of an oversampling of the image Is at the resolution MoxNo pixels.
  • the mask M is the image Is oversampled at the resolution MoxNo pixels.
  • an MQ mark is to be inserted in each of the images of the image slice T.
  • the MQ mark is for example characteristic of the receiving terminal which decoded the video sequence and more particularly the image packet S.
  • Step E14 then consists of multiplying, pixel by pixel, the mark MQ by the mask M.
  • the image MQP resulting from this multiplication is referred to below as weighted mark MQP. So, for each pixel, the MQP weighted mark value for that pixel is equal to the product of the value of the mask M for this pixel by the value of this pixel in the mask MQ.
  • each image of the slice of images T is watermarked by inserting the weighted mark MQP.
  • the transparency of the weighted mark MQP is adapted to the statistical parameters of the reference image of the slice d 'images, which contributes to the quality of the watermarking of the images of the image slice T.
  • the data representative of the segmented mask MS consist of the plurality of coefficients MSr, and of a plurality of R lists of points Lrd, each coefficient MSr being associated with a list of points Lrd.
  • Each list of points Lrd defines the closed contour of a two-dimensional region Zrd of a matrix of size MxN pixels.
  • the R two-dimensional regions Zrd form a partition of a matrix of size MxN pixels.
  • the segmented mask MS is an image of size MxN pixels constructed as follows.
  • the R two-dimensional regions Zrd are drawn from the plurality of the R lists of points Lrd.
  • the plot can for example be produced by means of a calculation function on images applied to the R lists of points Lrd.
  • the coefficient MSr associated with the list of points Lrd is assigned to the pixels of the two-dimensional region Zrd.
  • the R lists of points Lrd can for example result from step E8b′ of the second embodiment of the method for transmitting data representative of a mask according to the invention previously described.
  • steps E12, E14, and E16 take place as in the first embodiment of the reception method according to the invention.
  • the geometric distribution RG can be defined not from a luminance component of the reference image I of a slice of images T but from the perceptual mask calculated on the basis of the image of reference I. The geometric distribution RG is then coupled to the perceptual mask to obtain the segmented perceptual mask.
  • the various aspects of the invention also apply to the context of live broadcast television.
  • the metadata that is to say the data representative of the masks corresponding to the different slices of images of a packet of images, are calculated in real time, and the transmission of the corresponding packet of images is delayed by a gap of one or more image packets in order to allow the image data and the metadata which have just been calculated to be transmitted in the data stream.
  • the transmission method and the reception method according to the invention can be applied to a single image.
  • the segmented perceptual mask is calculated on the basis of a perceptual mask calculated from statistical data of said image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)

Abstract

A method for sending data representative of a mask for watermarking an image contained in a set comprising at least this image, comprises the following steps: - a step (E1) of defining a geometric distribution, comprising R two-dimensional regions, by means of at least one segmentation of a luminance component constructed on the basis of at least one image of said set, - a step (E2) of assigning a coefficient to each two-dimensional region, - a step (E3) of dispatching data representative of the mask comprising at least some of the coefficients. A method for receiving data representative of a mask is also described.

Description

Procédés d’émission et de réception d’un masque pour le tatouage d’une image Methods for transmitting and receiving a mask for watermarking an image
Domaine technique de l'invention Technical field of the invention
La présente invention concerne de manière générale le domaine technique du tatouage numérique d’une image ou d’une séquence vidéo. The present invention generally relates to the technical field of the digital watermarking of an image or a video sequence.
Elle concerne en particulier un procédé d’émission de données représentatives d’un masque pour le tatouage d’une image et un procédé de réception associé. It relates in particular to a method for transmitting data representative of a mask for the watermarking of an image and an associated method of receiving.
Etat de la technique State of the art
La technique de tatouage numérique de contenus audiovisuels consiste à insérer dans ceux-ci une information, appelée tatouage ou marque. Un des buts de cette technique est par exemple d’identifier l’auteur du contenu audiovisuel tatoué. The technique of watermarking audiovisual content consists of inserting information into it, called watermarking or mark. One of the purposes of this technique is, for example, to identify the author of the watermarked audiovisual content.
Dans le cadre de la vidéo à la demande (VoD), les contenus audiovisuels peuvent être analysés à l’avance et un tatouage numérique des contenus audiovisuels peut être réalisé sur le terminal récepteur. Cette configuration peut être exploitée pour créer des marques adaptées au contenu audiovisuel, par l’utilisation de masques perceptuels. Le concept de masque perceptuel est par exemple décrit dans l’article « Efficient Spatial Image Watermarking via New Perceptual Masking and Blind Detection Schemes », de Karybali dans IEEE Transactions on Information Forensics and Security (Juin 2006). Les masques perceptuels sont construits à partir d’informations d’activité dans les contenus audiovisuels et permettent d’ajuster la transparence des marques insérées. La transparence caractérise la façon dont l’insertion de la marque altère la perception du contenu audiovisuel lu par un utilisateur, et contribue à la qualité de la vidéo tatouée. In the context of video on demand (VoD), the audiovisual content can be analyzed in advance and a digital watermarking of the audiovisual content can be created on the receiving terminal. This configuration can be exploited to create marks adapted to audiovisual content, through the use of perceptual masks. The concept of perceptual mask is for example described in the article “Efficient Spatial Image Watermarking via New Perceptual Masking and Blind Detection Schemes”, by Karybali in IEEE Transactions on Information Forensics and Security (June 2006). The perceptual masks are built from activity information in the audiovisual content and allow to adjust the transparency of the inserted marks. Transparency characterizes the way in which the insertion of the mark alters the perception of the audiovisual content read by a user, and contributes to the quality of the watermarked video.
Dans le cas où le tatouage numérique est réalisé sur le terminal récepteur, la taille des données envoyées pour le tatouage représente un paramètre important dans le compromis recherché entre efficacité de transmission et qualité du tatouage. In the case where the digital watermarking is carried out on the receiver terminal, the size of the data sent for the watermarking represents an important parameter in the compromise sought between transmission efficiency and quality of the watermarking.
Présentation de l'invention Presentation of the invention
Dans ce contexte, la présente invention propose un procédé d’émission de données représentatives d’un masque pour le tatouage d’une image (de taille MoxNo pixels) comprise dans un ensemble comprenant au moins cette image, le procédé comprenant les étapes suivantes: In this context, the present invention proposes a method for transmitting data representative of a mask for watermarking an image (of size MoxNo pixels) included in a set comprising at least this image, the method comprising the following steps:
- une étape de définition d’une répartition géométrique, comprenant R régions bidimensionnelles, au moyen d’au moins une segmentation d’une composante de luminance construite sur la base d’au moins une image dudit ensemble,- a step of defining a geometric distribution, comprising R two-dimensional regions, by means of at least one segmentation of a component of luminance constructed on the basis of at least one image of said set,
- une étape d’attribution d’un coefficient à chaque région bidimensionnelle,- a step of assigning a coefficient to each two-dimensional region,
- une étape d’envoi de données représentatives du masque M comprenant une partie au moins des coefficients. - a step of sending data representative of the mask M comprising at least part of the coefficients.
Grâce à la segmentation en régions bidimensionnelles et à l’attribution d’un coefficient à ces régions bidimensionnelles, on définit un masque perceptuel segmenté qui offre la possibilité d’envoyer une quantité d’informations réduite pour réaliser le tatouage de l’image sur un terminal récepteur tout en garantissant l’efficacité du tatouage. Thanks to the segmentation into two-dimensional regions and the allocation of a coefficient to these two-dimensional regions, a segmented perceptual mask is defined which offers the possibility of sending a reduced quantity of information to produce the watermarking of the image on a receiving terminal while guaranteeing the effectiveness of the watermarking.
Dans un mode de réalisation, le coefficient est déterminé en fonction de paramètres statistiques de l’image I dans la région bidimensionnelle. In one embodiment, the coefficient is determined based on statistical parameters of the I-frame in the two-dimensional region.
Par exemple, le coefficient est calculé en fonction de coefficients contenus dans un masque perceptuel (de taille MoxNo pixels) et relatifs à la région bidimensionnelle. For example, the coefficient is calculated as a function of coefficients contained in a perceptual mask (of size MoxNo pixels) and relating to the two-dimensional region.
Dans un mode de réalisation, les paramètres statistiques de l’image sont déterminés sur la base d’au moins un procédé de traitement d’images choisi parmi un filtre de Laplace, un calcul de variance, un calcul de transformée de Fourier ou un calcul de motifs binaires locaux. In one embodiment, the statistical parameters of the image are determined on the basis of at least one image processing method chosen from a Laplace filter, a variance calculation, a Fourier transform calculation or a calculation local binary patterns.
Dans un mode de réalisation, les données représentatives du masque envoyées à l’étape d’envoi comprennent seulement les coefficients respectivement attribués à une fraction des pixels du masque lors de l’étape d’attribution. In one embodiment, the data representative of the mask sent to the sending step comprises only the coefficients respectively assigned to a fraction of the pixels of the mask during the assignment step.
Dans un mode de réalisation : In one embodiment:
- l’étape d’attribution comprend la formation d’un masque segmenté dans lequel chaque pixel a pour valeur le coefficient attribué à la région bidimensionnelle comprenant ledit pixel, - the assignment step comprises the formation of a segmented mask in which each pixel has the value of the coefficient assigned to the two-dimensional region comprising said pixel,
- le procédé comprend une étape de sous-échantillonnage dudit masque segmenté en un masque segmenté sous-échantillonné comprenant une partie au moins des coefficients, - the method comprises a step of subsampling said segmented mask into a subsampled segmented mask comprising at least part of the coefficients,
- les données représentatives envoyées à l’étape d’envoi correspondent à la partie au moins des coefficients. - the representative data sent to the sending step correspond to at least part of the coefficients.
Dans un mode de réalisation, les données représentatives du masque envoyées à l’étape d’envoi comprennent des données définissant une partie au moins desdites régions bidimensionnelles. Par exemple, les données définissant une partie au moins desdites régions bidimensionnelles comprennent une pluralité de listes de points déterminant les contours fermés d’une partie au moins des R régions bidimensionnelles. In one embodiment, the data representative of the mask sent to the sending step comprises data defining at least part of said two-dimensional regions. For example, the data defining at least part of said two-dimensional regions comprises a plurality of lists of points determining the closed contours of at least part of the R two-dimensional regions.
Dans un mode de réalisation, l’image appartient à une tranche d’images d’un paquet vidéo. In one embodiment, the picture belongs to a picture slice of a video packet.
Dans un mode de réalisation : In one embodiment:
- lors de l’étape de définition, l’au moins une segmentation comprend P segmentations Sp de P composantes de luminance, chaque composante de luminance étant construite sur la base d’une parmi P séquences d’images ECHp du paquet vidéo, lesdites P séquences d’images ECHp ayant une longueur inférieure ou égale à la longueur de la tranche d’images, - during the definition step, the at least one segmentation comprises P segmentations Sp of P luminance components, each luminance component being constructed on the basis of one of P image sequences ECHp of the video packet, said P ECHp image sequences having a length less than or equal to the length of the image slice,
- l’étape de définition comprend en outre la sélection d’une segmentation définie Sd parmi les P segmentations Sp, les R régions bidimensionnelles étant issues de la segmentation définie Sd, - the definition step further comprises the selection of a defined segmentation Sd from among the P segmentations Sp, the R two-dimensional regions being derived from the defined segmentation Sd,
- lors de l’étape d’attribution, le coefficient est égal à la moyenne des valeurs des pixels de la région bidimensionnelle d’un masque défini Md déterminé sur la base de la séquence d’images Ed correspondant à la segmentation définie Sd. - during the assignment step, the coefficient is equal to the average of the values of the pixels of the two-dimensional region of a defined mask Md determined on the basis of the sequence of images Ed corresponding to the defined segmentation Sd.
Par exemple, lors de l’étape de définition, la segmentation définie Sd parmi les P segmentations Sp correspond à une erreur minimale parmi P erreurs calculées, pour chaque séquence d’images ECHp, entre un masque perceptuel de référence de la séquence d’images et un masque perceptuel segmenté de la séquence d’images ECHp. For example, during the definition step, the segmentation defined Sd among the P segmentations Sp corresponds to a minimum error among P calculated errors, for each sequence of images ECHp, between a reference perceptual mask of the sequence of images and a segmented perceptual mask of the ECHp image sequence.
Par exemple : For example :
- les pixels d’un masque perceptuel de référence d’une séquence d’images ECHp ont pour valeur la valeur minimale des pixels correspondants de masques perceptuels calculés sur la base de chacune des images de la séquence d’images ECHp, - the pixels of a reference perceptual mask of an ECHp image sequence have as their value the minimum value of the corresponding pixels of perceptual masks calculated on the basis of each of the images of the ECHp image sequence,
- chaque masque perceptuel est calculé à partir de paramètres statistiques d’une image de la séquence d’images, - each perceptual mask is calculated from statistical parameters of an image of the sequence of images,
- pour chaque masque perceptuel segmenté d’une séquence d’images ECHp, les pixels de chaque zone définie par la segmentation Sp (correspondant à la séquence d’images ECHp) ont pour valeur la moyenne des valeurs des pixels du masque perceptuel de référence dans ladite zone. Par exemple, le masque défini correspond au masque perceptuel de référence de la séquence d’images correspondant à la segmentation définie. - for each segmented perceptual mask of a sequence of ECHp images, the pixels of each zone defined by the segmentation Sp (corresponding to the sequence of ECHp images) have as their value the mean of the values of the pixels of the reference perceptual mask in said area. For example, the defined mask corresponds to the reference perceptual mask of the image sequence corresponding to the defined segmentation.
Un autre aspect de l’invention porte sur un procédé d’émission de données représentatives d’un masque pour le tatouage d’une image (de taille MoxNo pixels) comprenant les étapes suivantes: Another aspect of the invention relates to a method for transmitting data representative of a mask for watermarking an image (of size MoxNo pixels) comprising the following steps:
- une étape de définition d’une répartition géométrique, comprenant R régions bidimensionnelles, au moyen d’au moins une segmentation du masque, - a step of defining a geometric distribution, comprising R two-dimensional regions, by means of at least one segmentation of the mask,
- une étape d’attribution d’un coefficient à chaque région bidimensionnelle,- a step of assigning a coefficient to each two-dimensional region,
- une étape d’envoi de données représentatives du masque comprenant une partie au moins des coefficients. - a step of sending data representative of the mask comprising at least part of the coefficients.
Un autre aspect de l’invention porte sur un procédé de réception de données représentatives d’un masque (de taille MoxNo pixels) pour le tatouage d’une image (de taille MoxNo pixels) comprenant les étapes suivantes : Another aspect of the invention relates to a method for receiving data representative of a mask (of size MoxNo pixels) for the watermarking of an image (of size MoxNo pixels) comprising the following steps:
- une étape de réception de données représentatives d’un masque segmenté (de taille MxN pixels inférieur à MoxNo pixels défini par une répartition géométrique comprenant R régions bidimensionnelles), lesdites données représentatives comprenant une pluralité de coefficients (associés à une partie au moins des R régions bidimensionnelles),- a step of receiving data representative of a segmented mask (of size MxN pixels smaller than MoxNo pixels defined by a geometric distribution comprising R two-dimensional regions), said representative data comprising a plurality of coefficients (associated with at least part of the R two-dimensional regions),
- une étape de reconstruction du masque sur la base des coefficients, - a mask reconstruction step based on the coefficients,
- une étape d’obtention d’une marque pondérée par application du masque à une marque (de taille MoxNo), - a step of obtaining a weighted mark by applying the mask to a mark (of size MoxNo),
- une étape de tatouage de l’image par application de la marque pondérée à l’image. - a step of watermarking the image by applying the weighted mark to the image.
Dans un mode de réalisation, l’étape de reconstruction du masque comprend l’attribution des coefficients à des zones de pixels comprenant au moins un pixel. In one embodiment, the mask reconstruction step includes assigning coefficients to pixel areas comprising at least one pixel.
Dans un mode de réalisation : In one embodiment:
- les données représentatives du masque segmenté comprennent en outre des données définissant des régions bidimensionnelles, - the data representing the segmented mask further comprises data defining two-dimensional regions,
- l’étape de reconstruction du masque comprend le tracé des régions bidimensionnelles sur la base des données définissant les régions bidimensionnelles et l’attribution d’un coefficient à chacune des régions bidimensionnelles. - the mask reconstruction step includes drawing the two-dimensional regions on the basis of the data defining the two-dimensional regions and assigning a coefficient to each of the two-dimensional regions.
Dans un mode de réalisation : In one embodiment:
- les données représentatives du masque segmenté comprennent en outre une pluralité de listes de points définissant les contours fermés de régions bidimensionnelles, - l’étape de reconstruction du masque comprend le tracé des régions bidimensionnelles au moyen de la pluralité de listes de points et l’attribution d’un coefficient à chacune des régions bidimensionnelles. - the data representative of the segmented mask further comprises a plurality of lists of points defining the closed contours of two-dimensional regions, - the step of reconstructing the mask comprises drawing the two-dimensional regions by means of the plurality of lists of points and assigning a coefficient to each of the two-dimensional regions.
Par exemple : For example :
- l’image appartient à une tranche d’images d’un paquet vidéo, - the image belongs to a slice of images of a video packet,
- le masque est commun aux images de la tranche d’images. - the mask is common to the images of the image slice.
Bien entendu, les différentes caractéristiques, variantes et formes de réalisation de l'invention peuvent être associées les unes avec les autres selon diverses combinaisons dans la mesure où elles ne sont pas incompatibles ou exclusives les unes des autres. Of course, the different characteristics, variants and embodiments of the invention can be associated with each other in various combinations insofar as they are not incompatible or exclusive of each other.
Description détaillée de l'invention Detailed description of the invention
De plus, diverses autres caractéristiques de l'invention ressortent de la description annexée effectuée en référence aux dessins qui illustrent des formes, non limitatives, de réalisation de l'invention et où : In addition, various other characteristics of the invention emerge from the appended description made with reference to the drawings which illustrate non-limiting forms of embodiment of the invention and where:
- la figure 1 représente les différentes étapes du procédé d’émission de données représentatives d’un masque selon l’invention ; - Figure 1 shows the different steps of the method for transmitting data representative of a mask according to the invention;
- la figure 2 représente les différentes étapes d’un premier mode de réalisation du procédé d’émission de données représentatives d’un masque selon l’invention ; - Figure 2 shows the different steps of a first embodiment of the method for transmitting data representative of a mask according to the invention;
- la figure 3 représente un exemple de masque perceptuel, de segmentation et de masque réduit obtenu par le premier mode de réalisation du procédé d’émission selon l’invention ; - Figure 3 shows an example of perceptual mask, segmentation and reduced mask obtained by the first embodiment of the transmission method according to the invention;
- la figure 4 représente les différentes étapes d’un second mode de réalisation du procédé d’émission de données représentatives d’un masque selon l’invention ; - Figure 4 shows the different steps of a second embodiment of the method for transmitting data representative of a mask according to the invention;
- la figure 5 représente les sous-étapes d’une étape du second mode de réalisation du procédé d’émission selon l’invention ; et - Figure 5 shows the sub-steps of a step of the second embodiment of the transmission method according to the invention; And
- la figure 6 représente les différentes étapes du procédé de réception de données représentatives d’un masque selon l’invention. - Figure 6 shows the different steps of the method for receiving data representative of a mask according to the invention.
On se place ici dans le contexte de la vidéo à la demande (VoD) où les contenus audiovisuels peuvent être analysés à l’avance, mais la solution proposée ici peut s’appliquer également à d’autres situations, par exemple au contexte télévisuel en adaptant le procédé selon l’invention qui va être décrit ci-après. Elle peut également s’appliquer au cas une image unique. Dans ce qui suit, on présente le principe suivi dans le cadre de la présente invention dans le but final de tatouer, par un terminal récepteur, une séquence vidéo reçue par ce terminal récepteur. Par « tatouer », il est entendu l’insertion d’un motif dans chaque image contenue dans la séquence vidéo. Comme il va être décrit par la suite, le motif correspond à une marque par exemple constante modulée par un masque perceptuel. La marque permet par exemple d’identifier l’auteur de la séquence vidéo ou le terminal récepteur sur lequel la séquence vidéo a été décodée. On suppose que la séquence vidéo a été sélectionnée par un utilisateur du terminal récepteur dans une bibliothèque de séquences vidéo disponible sur un dispositif serveur. Le dispositif serveur envoie alors la séquence vidéo sélectionnée au terminal récepteur par paquets d’images (« chunks » en anglais) via un réseau tel qu’internet ou un réseau téléphonique de troisième génération. Les images formant la séquence vidéo sélectionnée ont une taille de MOxNO pixels. Chaque paquet d’images est envoyé accompagné de métadonnées qui vont servir notamment au tatouage, par le terminal récepteur, du paquet d’images. We place ourselves here in the context of video on demand (VoD) where the audiovisual content can be analyzed in advance, but the solution proposed here can also be applied to other situations, for example to the television context in adapting the method according to the invention which will be described below. It can also apply to the case of a single image. In what follows, the principle followed in the context of the present invention is presented with the final aim of watermarking, by a receiver terminal, a video sequence received by this receiver terminal. By “watermarking”, is meant the insertion of a pattern in each image contained in the video sequence. As will be described below, the pattern corresponds to a constant mark, for example modulated by a perceptual mask. The mark makes it possible, for example, to identify the author of the video sequence or the receiver terminal on which the video sequence was decoded. It is assumed that the video sequence has been selected by a user of the receiving terminal from a library of video sequences available on a server device. The server device then sends the selected video sequence to the receiver terminal in packets of images (“chunks” in English) via a network such as the Internet or a third-generation telephone network. The images forming the selected video sequence have a size of MOxNO pixels. Each packet of images is sent accompanied by metadata which will be used in particular for the watermarking, by the receiving terminal, of the packet of images.
On va décrire un procédé d’émission de données représentatives d’un masque MS pour le tatouage, par un terminal récepteur, d’une image comprise dans une séquence vidéo reçue par ce terminal récepteur. We will describe a method for sending data representative of an MS mask for the watermarking, by a receiver terminal, of an image included in a video sequence received by this receiver terminal.
Le terminal récepteur reçoit la séquence vidéo par paquet d’images. Chaque paquet d’images est découpé en K tranches d’images (« slice » en anglais) successives. Par exemple, la durée du paquet d’images est de 10 secondes. Par exemple, la durée d’une tranche d’images est de 2 secondes. Les données représentatives du masque MS vont être utilisées pour le tatouage de l’ensemble des images d’une tranche d’images. The receiving terminal receives the video sequence in packets of images. Each image packet is divided into K successive image slices. For example, the duration of the image packet is 10 seconds. For example, the duration of an image slice is 2 seconds. The data representative of the MS mask will be used for the watermarking of all the images of an image slice.
On considère un paquet d’images S de la séquence vidéo reçu, accompagné de métadonnées MT, par le terminal récepteur, et plus particulièrement une tranche d’images T de ce paquet d’images. We consider a packet of images S of the video sequence received, accompanied by metadata MT, by the receiving terminal, and more particularly a slice of images T of this packet of images.
Le procédé d’émission de données représentatives du masque MS pour le tatouage des images de la tranche d’images T comprend, comme illustré sur la figure 1 , les étapes suivantes : The process for transmitting data representative of the mask MS for the watermarking of the images of the slice of images T comprises, as illustrated in figure 1, the following steps:
- une étape de définition E1 d’une répartition géométrique RG, comprenant R régions bidimensionnelles Zr, au moyen d’au moins une segmentation d’une composante de luminance construite sur la base d’une image de référence I de la tranche d’images T,- a step E1 of defining a geometric distribution RG, comprising R two-dimensional regions Zr, by means of at least one segmentation of a luminance component constructed on the basis of a reference image I of the slice of images T,
- une étape d’attribution E2 d’un coefficient MSr à chaque région bidimensionnelle Zr, - une étape d’envoi E3 de données représentatives du masque M comprenant une partie au moins des coefficients MSr. - a step E2 of assigning a coefficient MSr to each two-dimensional region Zr, - A step E3 of sending data representative of the mask M comprising at least part of the coefficients MSr.
Dans ce qui va suivre, on va décrire la préparation des métadonnées MT accompagnant le paquet d’images S. Ces métadonnées MT sont préparées préalablement à la transmission du paquet d’images S au terminal récepteur. Les métadonnées MT décrites définissent le masque M, mais d’autres métadonnées pourraient être utilisées en pratique pour d’autres motifs. In what follows, the preparation of the metadata MT accompanying the packet of images S will be described. This metadata MT is prepared prior to the transmission of the packet of images S to the receiver terminal. The MT metadata described defines the mask M, but other metadata could be used in practice for other reasons.
La figure 2 illustre les étapes constituant un premier mode de réalisation de la préparation des métadonnées MT. FIG. 2 illustrates the steps constituting a first embodiment of the preparation of the metadata MT.
Dans ce premier mode de réalisation, l’image de référence I est par exemple la première image de la tranche d’images T. Dans une variante, l’image de référence I correspond à un changement de scène identifié dans la tranche d’images T. In this first embodiment, the reference image I is for example the first image of the image slice T. In a variant, the reference image I corresponds to a scene change identified in the image slice T.
Dans une étape EOa, un masque perceptuel est calculé en correspondance avec l’image de référence I de la tranche d’images T du paquet d’images S. Par masque perceptuel, on entend une matrice de taille MOxNO dont les coefficients représentent une mesure de l’activité de l’image de référence I correspondante. Par exemple, le masque perceptuel est calculé par application d’un filtre de Laplace à l’image de référence I. Dans un autre exemple, un calcul de variance peut être effectué pour obtenir le masque perceptuel. D’autres techniques, seules ou combinées, peuvent être utilisées pour obtenir le masque perceptuel, comme la détection de zones à haute fréquence (par mesure de la variance locale des pixels, ou par transformée de Fourier), la qualification de texture par motifs binaires locaux. De préférence, le masque perceptuel d’une image de référence est calculé sur la base des trois composantes chromatiques de l’image de référence. In a step EOa, a perceptual mask is calculated in correspondence with the reference image I of the slice of images T of the packet of images S. By perceptual mask, we mean a matrix of size MOxNO whose coefficients represent a measurement the activity of the corresponding reference image I. For example, the perceptual mask is calculated by applying a Laplace filter to the reference image I. In another example, a variance calculation can be performed to obtain the perceptual mask. Other techniques, alone or in combination, can be used to obtain the perceptual mask, such as the detection of high frequency areas (by measuring the local variance of the pixels, or by Fourier transform), the qualification of texture by binary patterns premises. Preferably, the perceptual mask of a reference image is calculated on the basis of the three chromatic components of the reference image.
Dans une étape E2a, une segmentation de l’image de référence I est réalisée. De préférence, la segmentation est réalisée sur une composante de luminance de l’image de référence I. Différents types d’algorithme peuvent être utilisés pour réaliser la segmentation, par exemple l’algorithme SLIC, l’algorithme Watershed, l’algorithme Quick Shift, ou encore l’algorithme Random Walker. La segmentation de l’image de référence I produit une partition en R régions bidimensionnelles Zr d’une matrice de taille MOxNO. Cette étape E2a correspond à l’étape de définition E1 de la répartition géométrique RG du procédé d’émission selon l’invention. La répartition géométrique RG correspond à la partition provenant de la segmentation de l’image de référence I. In a step E2a, a segmentation of the reference image I is carried out. Preferably, the segmentation is performed on a luminance component of the reference image I. Different types of algorithm can be used to perform the segmentation, for example the SLIC algorithm, the Watershed algorithm, the Quick Shift algorithm , or the Random Walker algorithm. The segmentation of the reference image I produces a partition into R two-dimensional regions Zr of a matrix of size MOxNO. This step E2a corresponds to the step of definition E1 of the geometric distribution RG of the transmission method according to the invention. The geometric distribution RG corresponds to the partition resulting from the segmentation of the reference image I.
Dans une étape E4a, un masque perceptuel segmenté est obtenu de la manière suivante. Le masque perceptuel segmenté est une matrice de taille MOxNO dont les coefficients sont égaux, pour une région bidimensionnelle parmi les R régions bidimensionnelles de la partition obtenue à l’étape E2a, à la moyenne des valeurs du masque perceptuel dans la région bidimensionnelle considérée. Cette étape E4a correspond à l’étape d’attribution E2 d’un coefficient MSr à chaque région bidimensionnelle Zr. Plus précisément, chaque coefficient MSr est égal à la moyenne des valeurs du masque perceptuel dans la région bidimensionnelle Zr. In a step E4a, a segmented perceptual mask is obtained as follows. The segmented perceptual mask is a matrix of size MOxNO whose coefficients are equal, for a two-dimensional region among the R two-dimensional regions of the partition obtained in step E2a, to the mean of the values of the perceptual mask in the two-dimensional region considered. This step E4a corresponds to the step E2 of assigning a coefficient MSr to each two-dimensional region Zr. More precisely, each coefficient MSr is equal to the average of the values of the perceptual mask in the two-dimensional region Zr.
Dans une étape E6a, la taille du masque perceptuel segmenté est réduite par sous- échantillonnage, pour former un masque réduit de taille MxN pixels inférieure à MOxNO pixels. Par exemple, le masque réduit est 5 fois plus petit que le masque perceptuel segmenté dans chaque dimension. Autrement dit, MO est égal à Mx5 et NO est égal à Nx5. De manière plus générale, les dimensions du masque réduit sont plus petites que celle du masque perceptuel segmenté. Par exemple, MO est égal à kxM avec k un nombre entier strictement supérieur à 2 et NO est égal à k’xN avec k’ un nombre entier strictement supérieur à 2. Par exemple, le masque réduit a une taille de 96x40 pixels. Puis, le masque réduit est encodé en un format dédié, par exemple en format base64, pour sa transmission. Le format base64 permet de représenter n’importe quelles données binaires en caractères alphanumériques. Ce format permet ainsi le transport de blocs de données binaires via par exemple le protocole http en utilisant des conteneurs xml ou html. In a step E6a, the size of the segmented perceptual mask is reduced by subsampling, to form a reduced mask of size MxN pixels smaller than MOxNO pixels. For example, the reduced mask is 5 times smaller than the segmented perceptual mask in each dimension. In other words, MO is equal to Mx5 and NO is equal to Nx5. More generally, the dimensions of the reduced mask are smaller than that of the segmented perceptual mask. For example, MO is equal to kxM with k an integer strictly greater than 2 and NO is equal to k'xN with k' an integer strictly greater than 2. For example, the reduced mask has a size of 96x40 pixels. Then, the reduced mask is encoded in a dedicated format, for example in base64 format, for its transmission. The base64 format is used to represent any binary data in alphanumeric characters. This format thus allows the transport of binary data blocks via for example the http protocol by using xml or html containers.
Dans ce premier mode de réalisation, les métadonnées MT comprennent le masque réduit. In this first embodiment, the metadata MT includes the reduced mask.
La figure 3 montre, pour une image I, un exemple de masque perceptuel MP, de segmentation S de la composante de luminance de l’image I, et du masque réduit MR. Figure 3 shows, for an image I, an example of perceptual mask MP, of segmentation S of the luminance component of image I, and of the reduced mask MR.
Une étape ultérieure E8a consiste en l’envoi des métadonnées MT qui comprennent le masque réduit, dont les valeurs des pixels correspondant à une partie au moins des coefficients MSr. Cette étape E8a correspond à l’étape E3 d’envoi des données représentatives du masque MS. On va maintenant décrire un second mode de réalisation de la préparation des métadonnées MT accompagnant le paquet d’images S reçu par le terminal récepteur. A subsequent step E8a consists of sending the metadata MT which includes the reduced mask, the values of the pixels of which correspond to at least part of the coefficients MSr. This step E8a corresponds to step E3 of sending data representative of the mask MS. A second embodiment of the preparation of the metadata MT accompanying the packet of images S received by the receiver terminal will now be described.
La figure 4 illustre les étapes constituant ce second mode de réalisation de la préparation des métadonnées MT. Ces dernières contiennent, comme dans le premier mode de réalisation, un masque perceptuel segmenté pour chaque tranche d’images comprise dans le paquet d’images. Cependant, le masque perceptuel segmenté correspondant à une tranche d’images est obtenu par une méthode différente décrite ci- dessous. La préparation des métadonnées MT est préalable à l’envoi du paquet d’images S au terminal récepteur. FIG. 4 illustrates the steps constituting this second embodiment of the preparation of the metadata MT. The latter contain, as in the first embodiment, a segmented perceptual mask for each image slice included in the image packet. However, the segmented perceptual mask corresponding to an image slice is obtained by a different method described below. The preparation of the metadata MT is prior to the sending of the packet of images S to the receiver terminal.
On suppose toujours que les images du paquet d’images S ont pour taille MoxNo pixels. It is always assumed that the images of the image packet S have a size of MoxNo pixels.
Dans une étape EOb, un ensemble de P échantillons sont produits sur la base de P séquences d’images ECHp comprises dans le paquet vidéo S. Par échantillon, on entend un couple (Pp,MPRp) formé d’un masque perceptuel de référence MPRp et d’une partition Pp d’une matrice de taille MoxNo. Chaque échantillon correspond à l’une des P séquences d’images ECHp. In a step EOb, a set of P samples are produced on the basis of P image sequences ECHp included in the video packet S. By sample is meant a pair (Pp,MPRp) formed of a perceptual reference mask MPRp and a partition Pp of an array of size MoxNo. Each sample corresponds to one of the P ECHp image sequences.
Chacun des échantillons est produit selon les sous-étapes suivantes illustrées à la figure 5. Each of the samples is produced according to the following sub-steps illustrated in Figure 5.
Dans une sous-étape EObO, la moyenne temporelle des composantes de luminances des images comprises dans la séquence d’images ECHp est calculée. Cette moyenne est dénommée ci-après composante de luminance moyenne IMp. Autrement dit, la valeur de chaque pixel de la composante de luminance moyenne IMp est la moyenne des valeurs de ce même pixel dans les différentes images de la séquence d’images ECHp. In a sub-step EObO, the temporal average of the luminance components of the images included in the sequence of images ECHp is calculated. This average is hereinafter referred to as the average luminance component IMp. In other words, the value of each pixel of the average luminance component IMp is the average of the values of this same pixel in the different images of the sequence of images ECHp.
Dans une sous-étape E0b2, la composante de luminance moyenne IMp est segmentée par un calcul de segmentation Sp de manière à produire une partition Pp formée de Rp régions bidimensionnelles Zrp. In a sub-step E0b2, the average luminance component IMp is segmented by a segmentation calculation Sp so as to produce a partition Pp formed of Rp two-dimensional regions Zrp.
Dans une sous-étape E0b4, un masque perceptuel de référence MPRp de la séquence d’images ECHp est calculé. Le masque perceptuel de référence MPRp est une matrice de taille MoxNo et est calculé de la manière suivante. Pour chaque image Ipi de la séquence d’images ECHp, un masque perceptuel Mpi est calculé à partir de paramètres statistiques de l’image Ipi. Par exemple, le masque perceptuel Mpi est calculé par application d’un filtre de Laplace à l’image Ipi. Dans un autre exemple, un calcul de variance peut être effectué pour obtenir le masque perceptuel Mpi. D’autres techniques, seules ou combinées, peuvent être utilisées pour obtenir le masque perceptuel Mpi, comme la détection de zones à haute fréquence (par mesure de la variance locale des pixels, ou par transformée de Fourier), la qualification de texture par motifs binaires locaux. De préférence, le masque perceptuel Mpi d’une image Ipi est calculé sur la base des trois composantes chromatiques de l’image Ipi. In a sub-step E0b4, a reference perceptual mask MPRp of the sequence of images ECHp is calculated. The reference perceptual mask MPRp is a matrix of size MoxNo and is calculated as follows. For each image Ipi of the sequence of images ECHp, a perceptual mask Mpi is calculated from statistical parameters of the image Ipi. For example, the perceptual mask Mpi is calculated by applying a Laplace filter to the Ipi image. In another example, a variance calculation can be performed to obtain the perceptual mask Mpi. Other techniques, alone or combined, can be used to obtain the perceptual mask Mpi, such as the detection of high frequency zones (by measuring the local variance of the pixels, or by Fourier transform), the qualification of texture by patterns local binaries. Preferably, the perceptual mask Mpi of an image Ipi is calculated on the basis of the three chromatic components of the image Ipi.
Chaque pixel du masque perceptuel de référence MPRp a pour valeur la valeur minimale parmi l’ensemble des valeurs du même pixel des masques perceptuels Mpi. Each pixel of the reference perceptual mask MPRp has as its value the minimum value among all the values of the same pixel of the perceptual masks Mpi.
Le résultat de l’étape EOb est un ensemble de P échantillons (Pp.MPRp). Pour chaque échantillon, un repère temporel de début TMSp et un repère temporel de fin TMEp de la séquence d’images ECHp sont gardés en mémoire. The result of step EOb is a set of P samples (Pp.MPRp). For each sample, a start time marker TMSp and an end time marker TMEp of the sequence of images ECHp are kept in memory.
On considère, après l’étape EOb, une tranche d’images T du paquet d’images S.We consider, after step EOb, a slice of images T of the packet of images S.
Dans une étape E2b, les échantillons dont les horodates de début TMSp et de fin TMEp sont les plus proches de la tranche d’images T sont retenus. Par exemple, le critère de proximité choisi peut être que l’écart entre l’horodate de début de la tranche d’images et l’horodate de début TMPs de la séquence d’images ECHp, ou l’écart entre l’horodate de fin de la tranche d’images T et l’horodate de fin TMEp de la séquence d’images ECHp sont inférieurs à la durée de la tranche d’images T. In a step E2b, the samples whose start timestamps TMSp and end timestamps TMEp are the closest to the slice of images T are retained. For example, the chosen proximity criterion can be that the difference between the start timestamp of the image slice and the start timestamp TMPs of the sequence of images ECHp, or the difference between the timestamp of end of the T-image slice and the end timestamp TMEp of the ECHp image sequence are less than the duration of the T-image slice.
Dans une étape E4b, un échantillon parmi les P’ échantillons retenus à l’étape E2b est sélectionné sur la base du calcul de P’ erreurs Errp. Chacune des P’ erreurs Errp correspond un écart entre, pour chaque séquence d’images ECHp, le masque perceptuel de référence MPRp de la séquence d’images ECHp et un masque perceptuel segmenté MPSp de la séquence d’images ECHp. Chaque masque perceptuel segmenté MPSp est une matrice de taille MOxNO. Les pixels d’un masque perceptuel segmenté MPSp ont pour valeur, dans une région bidimensionnelle Zrp de la partition Pp la moyenne des valeurs des pixels du masque perceptuel de référence MPRp dans ladite zone. Une erreur Errp est par exemple calculée par application de la racine carrée de la moyenne des carrés de la différence des valeurs de pixels entre le masque perceptuel de référence MPRp et le masque perceptuel segmenté MPSp. En variantes, les P’ erreurs Errp peuvent être calculées en utilisant la norme L1 ou une mesure de PSNR. Dans une étape E6b, un échantillon (Pd,MPRd) parmi les P échantillons (Pp,MPRp) est sélectionné sur la base des P erreurs Errp. L’échantillon (Pd,MPRd) correspond à l’erreur Errp minimale parmi les P’ erreurs Errp calculées à l’étape E4b. La segmentation correspondante Sd est dénommée ci-après segmentation définie Sd et le masque perceptuel segmenté correspondant MPSd est dénommé ci-après masque perceptuel segmenté défini MPSd. Cette étape E6b correspond à T’étape E1 de définition de la répartition géométrique RG, qui comprend les Rd régions bidimensionnelles Zrd ainsi qu'à l’étape E2 d’attribution d’un coefficient MSr à chaque région bidimensionnelle Zrd. Plus précisément, chaque coefficient MSr correspond à la valeur des pixels du masque perceptuel segmenté MPSd dans la région bidimensionnelle Zrd. In a step E4b, a sample from among the P′ samples retained in step E2b is selected on the basis of the calculation of P′ errors Errp. Each of the P′ errors Errp corresponds to a deviation between, for each image sequence ECHp, the reference perceptual mask MPRp of the image sequence ECHp and a segmented perceptual mask MPSp of the image sequence ECHp. Each segmented perceptual mask MPSp is a matrix of size MOxNO. The pixels of a segmented perceptual mask MPSp have as their value, in a two-dimensional region Zrp of the partition Pp, the mean of the values of the pixels of the reference perceptual mask MPRp in said zone. An error Errp is for example calculated by applying the square root of the mean of the squares of the difference of the pixel values between the reference perceptual mask MPRp and the segmented perceptual mask MPSp. Alternatively, the P′ Errp errors can be calculated using the L1 norm or a PSNR measurement. In a step E6b, a sample (Pd,MPRd) among the P samples (Pp,MPRp) is selected on the basis of the P errors Errp. The sample (Pd,MPRd) corresponds to the minimum error Errp among the P′ errors Errp calculated in step E4b. The corresponding segmentation Sd is hereinafter referred to as defined segmentation Sd and the corresponding segmented perceptual mask MPSd is hereinafter referred to as defined segmented perceptual mask MPSd. This step E6b corresponds to the step E1 for defining the geometric distribution RG, which includes the Rd two-dimensional regions Zrd as well as to the step E2 for allocating a coefficient MSr to each two-dimensional region Zrd. More precisely, each coefficient MSr corresponds to the value of the pixels of the segmented perceptual mask MPSd in the two-dimensional region Zrd.
Dans une étape E8b, la taille du masque perceptuel segmenté défini MPSd est réduite par sous-échantillonnage, pour former un masque réduit de taille MxN pixels inférieure à MOxNO. Par exemple, le masque réduit est 5 fois plus petit que le masque perceptuel segmenté. Par exemple, le masque réduit a une taille de 96x40 pixels. Puis, le masque réduit est encodé en un format dédié, par exemple le format base64, pour sa transmission. Les métadonnées MT comprennent alors le masque réduit encodé. In a step E8b, the size of the defined segmented perceptual mask MPSd is reduced by sub-sampling, to form a reduced mask of size MxN pixels smaller than MOxNO. For example, the reduced mask is 5 times smaller than the segmented perceptual mask. For example, the reduced mask has a size of 96x40 pixels. Then, the reduced mask is encoded in a dedicated format, for example the base64 format, for its transmission. The metadata MT then comprises the encoded reduced mask.
En variante, l’étape E8b est remplacée par une étape E8b’ se déroulant comme suit. Pour chaque région bidimensionnelle Zrd de la partition Pd, une liste de points Lrd déterminant le contour fermé de la région bidimensionnelle Zrd est extraite. Le nombre de points de la liste de points Lrd peut être ajusté en rapport avec la précision du tracé du contour fermé. L’extraction peut par exemple être réalisée au moyen d’une fonction de calcul sur images appliquée au masque perceptuel segmenté défini MPSd. Les métadonnées MT comprennent alors l’ensemble des valeurs prises par le masque perceptuel segmenté MPSd dans chacune des régions bidimensionnelles Zrd ainsi que la pluralité de listes de points Lrd, chaque valeur étant associée à une liste de points Lrd. As a variant, step E8b is replaced by a step E8b' taking place as follows. For each two-dimensional region Zrd of the partition Pd, a list of points Lrd determining the closed contour of the two-dimensional region Zrd is extracted. The number of points in the Lrd point list can be adjusted in relation to the accuracy of drawing the closed contour. The extraction can for example be carried out by means of a calculation function on images applied to the defined segmented perceptual mask MPSd. The metadata MT then comprises the set of values taken by the segmented perceptual mask MPSd in each of the two-dimensional regions Zrd as well as the plurality of lists of points Lrd, each value being associated with a list of points Lrd.
Une étape ultérieure E10b consiste en l’envoi des métadonnées MT qui comprennent, soit le masque réduit encodé obtenu à l’étape E8b, dont les valeurs des pixels correspondent à une partie au moins des coefficients MSr, soit l’ensemble des valeurs prises par le masque perceptuel segmenté MPSd dans chacune des régions bidimensionnelles Zrd, incluant une partie au moins des coefficients MSr, ainsi que la pluralité de listes de points Lrd. Cette étape E10b correspond à l’étape E3 d’envoi des données représentatives du masque MS. Ce second mode de réalisation offre une plus grande dynamique sur la fréquence de changements des masques perceptuels segmentés et de compresser davantage les masques perceptuels segmentés au niveau du paquet d’images. Ainsi, dans ce second mode de réalisation, le débit de métadonnées peut être augmenté d’un facteur 4 par rapport au premier mode de réalisation. A subsequent step E10b consists of sending metadata MT which includes either the encoded reduced mask obtained in step E8b, the pixel values of which correspond to at least part of the coefficients MSr, or all of the values taken by the segmented perceptual mask MPSd in each of the two-dimensional regions Zrd, including at least part of the coefficients MSr, as well as the plurality of lists of points Lrd. This step E10b corresponds to the step E3 of sending data representative of the mask MS. This second embodiment offers greater dynamics on the frequency of changes of the segmented perceptual masks and to further compress the segmented perceptual masks at the level of the image packet. Thus, in this second embodiment, the metadata bit rate can be increased by a factor of 4 compared to the first embodiment.
Ainsi, les métadonnées MT accompagnant le paquet d’images S comprennent, soit un ensemble de masques réduits encodés correspondant à chaque tranche d’images du paquet d’images S, soit un ensemble de pluralités de coefficients accompagnés de descriptifs de partitions sous la forme de listes de points, correspondant à chaque tranche d’images du paquet d’images S. Thus, the metadata MT accompanying the packet of images S comprise either a set of encoded reduced masks corresponding to each slice of images of the packet of images S, or a set of pluralities of coefficients accompanied by descriptions of partitions in the form of lists of points, corresponding to each slice of images of the packet of images S.
Les étapes EOa à E6a et EOb à E8b ou E8b’ peuvent être réalisées indifféremment sur une machine de calcul reprogrammable (un ordinateur PC, un processeur DSP ou un microcontrôleur) exécutant un programme comprenant une séquence d’instructions, ou sur une machine de calcul dédiée (par exemple un ensemble de portes logiques comme un FPGA ou un ASIC, ou tout autre module matériel). Steps EOa to E6a and EOb to E8b or E8b' can be carried out either on a reprogrammable calculating machine (a PC computer, a DSP processor or a microcontroller) executing a program comprising a sequence of instructions, or on a calculating machine dedicated (for example a set of logic gates like an FPGA or an ASIC, or any other hardware module).
Dans le cas où le moyen de traitement est réalisé avec une machine de calcul reprogrammable, le programme correspondant (c'est-à-dire la séquence d’instructions) pourra être stocké dans un médium de stockage amovible ou non, ce médium de stockage étant lisible partiellement ou totalement par un ordinateur ou un processeur. In the case where the processing means is produced with a reprogrammable calculation machine, the corresponding program (that is to say the sequence of instructions) may be stored in a removable or non-removable storage medium, this storage medium being partially or totally readable by a computer or a processor.
On décrit maintenant un procédé de réception de données représentatives d’un masque M de taille MoxNo pixels pour le tatouage d’une image, par un terminal récepteur, comprise dans une séquence vidéo reçue par ce terminal récepteur. We now describe a method for receiving data representative of a mask M of size MoxNo pixels for the watermarking of an image, by a receiver terminal, included in a video sequence received by this receiver terminal.
Le terminal récepteur reçoit la séquence vidéo par paquet d’images. Chaque paquet d’images est découpé en K tranches d’images successives. Les données représentatives du masque M vont être utilisées pour le tatouage de l’ensemble des images d’une tranche d’images. The receiving terminal receives the video sequence in packets of images. Each packet of images is divided into K slices of successive images. The data representative of the mask M will be used for the watermarking of all the images of an image slice.
On considère un paquet d’images S de la séquence vidéo reçu par le terminal récepteur, et plus particulièrement une tranche d’images T de ce paquet d’images S Le procédé de réception de données représentatives du masque M pour le tatouage des images de la tranche d’images T comprend, comme illustré sur la figure 6, les étapes suivantes : We consider a packet of images S of the video sequence received by the receiver terminal, and more particularly a slice of images T of this packet of images S The method of receiving data representative of the mask M for the watermarking of the images of the slice of images T comprises, as illustrated in FIG. 6, the following steps:
- une étape E10 de réception de données représentatives d’un masque segmenté MS de taille MxN pixels inférieur à MoxNo pixels, où les données représentatives comprennent une pluralité de coefficients MSr, - a step E10 of receiving data representative of a segmented mask MS of size MxN pixels less than MoxNo pixels, where the representative data comprises a plurality of MSr coefficients,
- une étape E12 de reconstruction du masque M sur la base des coefficients MSr,- a step E12 of reconstructing the mask M on the basis of the coefficients MSr,
- une étape E14 d’obtention d’une marque pondérée MQP par application du masque M à une marque MQ de taille MoxNo, - a step E14 for obtaining a weighted mark MQP by applying the mask M to a mark MQ of size MoxNo,
- une étape E16 de tatouage de chacune des images de la tranche d’images par application de la marque pondérée MQP à chacune de ces images. a step E16 of watermarking each of the images of the slice of images by applying the weighted mark MQP to each of these images.
Dans un premier mode de réalisation du procédé de réception selon l’invention, les données représentatives du masque segmenté MS sont constituées d’une image Is de taille MxN pixels inférieure à MOxNO pixels. Cette image Is comprend une répartition géométrique RG comprenant R régions bidimensionnelles Zr. Par répartition géométrique, il est entendu une partition de l’image Is en R régions bidimensionnelles Zr. Les pixels de chaque région bidimensionnelle Zr ont pour valeur un coefficient correspondant MSr parmi la pluralité de coefficients MSr. In a first embodiment of the reception method according to the invention, the data representative of the segmented mask MS consist of an image Is of size MxN pixels smaller than MOxNO pixels. This image Is comprises a geometric distribution RG comprising R two-dimensional regions Zr. By geometric distribution, it is understood a partition of the image Is into R two-dimensional regions Zr. The pixels of each two-dimensional region Zr have as their value a corresponding coefficient MSr among the plurality of coefficients MSr.
L’image Is correspond par exemple au masque réduit obtenu à l’étape E6a du premier mode de réalisation du procédé d’envoi de données représentatives d’un masque selon l’invention précédemment décrit, pour la tranche d’images T. Dans ce cas, l’image Is est représentative de l’activité de l’image de référence I de la tranche d’images T. The image Is corresponds for example to the reduced mask obtained in step E6a of the first embodiment of the method for sending data representative of a mask according to the invention previously described, for the slice of images T. In this case, the image Is is representative of the activity of the reference image I of the slice of images T.
En variante, l’image Is correspond au masque réduit obtenu à l'étape E8b du second mode de réalisation du procédé d’envoi de données représentatives d’un masque selon l’invention précédemment décrit, pour la tranche d’images T. As a variant, the image Is corresponds to the reduced mask obtained in step E8b of the second embodiment of the method for sending data representative of a mask according to the invention previously described, for the slice of images T.
Dans ce premier mode de réalisation, l’étape E12 de reconstitution du masque M consiste en un suréchantillonnage de l’image Is à la résolution MoxNo pixels. Le masque M est l’image Is suréchantillonnée à la résolution MoxNo pixels. In this first embodiment, the step E12 of reconstitution of the mask M consists of an oversampling of the image Is at the resolution MoxNo pixels. The mask M is the image Is oversampled at the resolution MoxNo pixels.
On considère ici qu’une marque MQ est à insérer dans chacune des images de la tranche d’images T. La marque MQ est par exemple caractéristique du terminal récepteur qui a décodé la séquence vidéo et plus particulièrement le paquet d’images S. It is considered here that an MQ mark is to be inserted in each of the images of the image slice T. The MQ mark is for example characteristic of the receiving terminal which decoded the video sequence and more particularly the image packet S.
L’étape E14 consiste alors à multiplier, pixel par pixel, la marque MQ par le masque M. L’image MQP issue de cette multiplication est dénommée ci-après marque pondérée MQP. Ainsi, pour chaque pixel, la valeur de la marque pondérée MQP pour ce pixel est égale au produit de la valeur du masque M pour ce pixel par la valeur de ce pixel dans la maque MQ. Step E14 then consists of multiplying, pixel by pixel, the mark MQ by the mask M. The image MQP resulting from this multiplication is referred to below as weighted mark MQP. So, for each pixel, the MQP weighted mark value for that pixel is equal to the product of the value of the mask M for this pixel by the value of this pixel in the mask MQ.
A l’étape E16, chaque image de la tranche d’images T est tatouée par insertion de la marque pondérée MQP. Dans le cas où l’image Is correspond, soit au masque réduit obtenu à l’étape E6a du premier mode de réalisation du procédé d’envoi de données représentatives d’un masque selon l’invention précédemment décrit, soit au masque réduit obtenu à l’étape E8b du second mode de réalisation du procédé d’envoi de données représentatives d’un masque selon l’invention précédemment décrit, la transparence de la marque pondérée MQP est adaptée aux paramètres statistiques de l’image de référence de la tranche d’images, ce qui contribue à la qualité du tatouage des images de la tranche d’images T. At step E16, each image of the slice of images T is watermarked by inserting the weighted mark MQP. In the case where the image Is corresponds either to the reduced mask obtained in step E6a of the first embodiment of the method for sending data representative of a mask according to the invention previously described, or to the reduced mask obtained at step E8b of the second embodiment of the method for sending data representative of a mask according to the invention previously described, the transparency of the weighted mark MQP is adapted to the statistical parameters of the reference image of the slice d 'images, which contributes to the quality of the watermarking of the images of the image slice T.
Dans un second mode de réalisation du procédé de réception selon l’invention, les données représentatives du masque segmenté MS sont constituées de la pluralité de coefficients MSr, et d’une pluralité de R listes de points Lrd, chaque coefficient MSr étant associé à une liste de points Lrd. Chaque liste de points Lrd définit le contour fermé d’une région bidimensionnelle Zrd d’une matrice de taille MxN pixels. Les R régions bidimensionnelles Zrd forment une partition d’une matrice de taille MxN pixels. Le masque segmenté MS est une image de taille MxN pixels construites comme suit. Les R régions bidimensionnelles Zrd sont tracées à partir de la pluralité des R listes de points Lrd. Le tracé peut par exemple être réalisé au moyen d’une fonction de calcul sur images appliquée aux R listes de points Lrd. Puis, le coefficient MSr associé à la liste de points Lrd est attribué aux pixels de la région bidimensionnelle Zrd. In a second embodiment of the reception method according to the invention, the data representative of the segmented mask MS consist of the plurality of coefficients MSr, and of a plurality of R lists of points Lrd, each coefficient MSr being associated with a list of points Lrd. Each list of points Lrd defines the closed contour of a two-dimensional region Zrd of a matrix of size MxN pixels. The R two-dimensional regions Zrd form a partition of a matrix of size MxN pixels. The segmented mask MS is an image of size MxN pixels constructed as follows. The R two-dimensional regions Zrd are drawn from the plurality of the R lists of points Lrd. The plot can for example be produced by means of a calculation function on images applied to the R lists of points Lrd. Then, the coefficient MSr associated with the list of points Lrd is assigned to the pixels of the two-dimensional region Zrd.
Les R listes de points Lrd peuvent par exemple résulter de l’étape E8b’ du second mode de réalisation du procédé d’émission de données représentatives d’un masque selon l’invention précédemment décrit. The R lists of points Lrd can for example result from step E8b′ of the second embodiment of the method for transmitting data representative of a mask according to the invention previously described.
Dans ce second mode de réalisation du procédé de réception selon l’invention, les étapes E12, E14, et E16 se déroulent comme dans le premier mode de réalisation du procédé de réception selon l’invention. In this second embodiment of the reception method according to the invention, steps E12, E14, and E16 take place as in the first embodiment of the reception method according to the invention.
La présente invention n’est nullement limitée aux modes de réalisation décrits et représentés, mais l’homme du métier saura y apporter toute variante conforme à l’invention. Dans une variante, la répartition géométrique RG peut être définie à partir non pas d’une composante de luminance de l’image de référence I d’une tranche d’images T mais à partir du masque perceptuel calculé sur la base de l’image de référence I. La répartition géométrique RG est alors couplée au masque perceptuel pour obtenir le masque perceptuel segmenté. The present invention is in no way limited to the embodiments described and represented, but those skilled in the art will be able to add any variant in accordance with the invention. In a variant, the geometric distribution RG can be defined not from a luminance component of the reference image I of a slice of images T but from the perceptual mask calculated on the basis of the image of reference I. The geometric distribution RG is then coupled to the perceptual mask to obtain the segmented perceptual mask.
Par ailleurs, comme indiqué plus haut, les différents aspects de l’invention s’appliquent également au contexte de la télévision diffusée en direct. Dans le contexte télévisuel, les métadonnées, c’est-à-dire les données représentatives des masques correspondants aux différentes tranches d’images d’un paquet d’images, sont calculées en temps réel, et la transmission du paquet d’images correspondant est retardée par un écart d’un ou plusieurs paquets d’images afin de permettre de transmettre dans le flux de données les données d’images et les métadonnées qui viennent d’être calculées. Moreover, as indicated above, the various aspects of the invention also apply to the context of live broadcast television. In the television context, the metadata, that is to say the data representative of the masks corresponding to the different slices of images of a packet of images, are calculated in real time, and the transmission of the corresponding packet of images is delayed by a gap of one or more image packets in order to allow the image data and the metadata which have just been calculated to be transmitted in the data stream.
D’autre part, le procédé d’émission et le procédé de réception selon l’invention peuvent s’appliquer à une image unique. Dans ce cas, le masque perceptuel segmenté est calculé sur la base d’un masque perceptuel calculé à partir de données statistiques de ladite image. On the other hand, the transmission method and the reception method according to the invention can be applied to a single image. In this case, the segmented perceptual mask is calculated on the basis of a perceptual mask calculated from statistical data of said image.

Claims

Revendications Claims
1. Procédé d’émission de données représentatives d’un masque (M) pour le tatouage d’une image (I) comprise dans un ensemble comprenant au moins cette image (I), le procédé comprenant les étapes suivantes : 1. Method for transmitting data representative of a mask (M) for watermarking an image (I) included in a set comprising at least this image (I), the method comprising the following steps:
- une étape de définition (E1) d’une répartition géométrique (RG), comprenant R régions bidimensionnelles (Zr), au moyen d’au moins une segmentation d’une composante de luminance construite sur la base d’au moins une image dudit ensemble,- a step of defining (E1) a geometric distribution (RG), comprising R two-dimensional regions (Zr), by means of at least one segmentation of a luminance component constructed on the basis of at least one image of said together,
- une étape d’attribution (E2) d’un coefficient (MSr) à chaque région bidimensionnelle (Zr),- a step of assigning (E2) a coefficient (MSr) to each two-dimensional region (Zr),
- une étape d’envoi (E3) de données représentatives du masque (M) comprenant une partie au moins des coefficients (MSr). - a step of sending (E3) data representative of the mask (M) comprising at least part of the coefficients (MSr).
2. Procédé d’émission selon la revendication 1 , dans lequel le coefficient (MSr) est déterminé en fonction de paramètres statistiques de l’image (I) dans la région bidimensionnelle (Zr). 2. Transmission method according to claim 1, in which the coefficient (MSr) is determined as a function of statistical parameters of the image (I) in the two-dimensional region (Zr).
3. Procédé d’émission selon l’une des revendications 1 et 2, dans lequel le coefficient (MSr) est calculé en fonction de coefficients contenus dans un masque perceptuel et relatifs à la région bidimensionnelle (Zr). 3. Transmission method according to one of claims 1 and 2, in which the coefficient (MSr) is calculated as a function of coefficients contained in a perceptual mask and relating to the two-dimensional region (Zr).
4. Procédé d’émission selon l’une des revendications 2 et 3, dans lequel les paramètres statistiques de l’image (I) sont déterminés sur la base d’au moins un procédé de traitement d’images choisi parmi un filtre de Laplace, un calcul de variance, un calcul de transformée de Fourier ou un calcul de motifs binaires locaux. 4. Transmission method according to one of claims 2 and 3, in which the statistical parameters of the image (I) are determined on the basis of at least one image processing method chosen from a Laplace filter , a variance calculation, a Fourier transform calculation or a calculation of local binary patterns.
5. Procédé d’émission selon l’une des revendications 1 à 4, dans lequel les données représentatives du masque (M) envoyées à l’étape d’envoi (E3) comprennent seulement les coefficients respectivement attribués à une fraction des pixels du masque (M) lors de l’étape d’attribution (E2). 5. Transmission method according to one of claims 1 to 4, in which the data representative of the mask (M) sent to the sending step (E3) only comprises the coefficients respectively attributed to a fraction of the pixels of the mask (M) during the allocation step (E2).
6. Procédé d’émission selon l’une des revendications 1 à 5, dans lequel : 6. Issuing method according to one of claims 1 to 5, in which:
- l’étape d’attribution (E2) comprend la formation d’un masque segmenté dans lequel chaque pixel a pour valeur le coefficient (MSr) attribué à la région bidimensionnelle (Zr) comprenant ledit pixel, - the allocation step (E2) comprises the formation of a segmented mask in which each pixel has the value of the coefficient (MSr) allocated to the two-dimensional region (Zr) comprising said pixel,
- le procédé comprend une étape de sous-échantillonnage dudit masque segmenté en YJ un masque segmenté sous-échantillonné comprenant une partie (PS) au moins des coefficients (MSr), - the method comprises a step of sub-sampling said segmented mask in YJ an undersampled segmented mask comprising a part (PS) at least of the coefficients (MSr),
- les données représentatives envoyées à l’étape d’envoi (E3) correspondent à la partie (PS). - the representative data sent to the sending step (E3) correspond to the part (PS).
7. Procédé d’émission selon l’une des revendications 1 à 4, dans lequel les données représentatives du masque (M) envoyées à l’étape d’envoi (E3) comprennent des données définissant une partie au moins desdites régions bidimensionnelles (Zr). 7. Transmission method according to one of claims 1 to 4, in which the data representative of the mask (M) sent to the sending step (E3) comprise data defining at least part of said two-dimensional regions (Zr ).
8. Procédé d’émission selon l’une des revendications 1 à 7, dans lequel l’image (I) appartient à une tranche d’images (T) d’un paquet vidéo (S). 8. Transmission method according to one of claims 1 to 7, in which the image (I) belongs to a slice of images (T) of a video packet (S).
9. Procédé d’émission selon la revendication 8, dans lequel : 9. Transmission method according to claim 8, in which:
- lors de l’étape de définition (E1 ), l’au moins une segmentation comprend P segmentations (Sp) de P composantes de luminance, chaque composante de luminance étant construite sur la base d’une parmi P séquences d’images (ECHp) du paquet vidéo (S), lesdites P séquences d’images (ECHp) ayant une longueur inférieure ou égale à la longueur de la tranche d’images (T), - during the definition step (E1), the at least one segmentation comprises P segmentations (Sp) of P luminance components, each luminance component being constructed on the basis of one of P image sequences (ECHp ) of the video packet (S), said P image sequences (ECHp) having a length less than or equal to the length of the image slice (T),
- l’étape de définition (E1 ) comprend en outre la sélection d’une segmentation définie (Sd) parmi les P segmentations (Sp), les R régions bidimensionnelles (Zr) étant issues de la segmentation définie (Sd), - the definition step (E1) further comprises the selection of a defined segmentation (Sd) from among the P segmentations (Sp), the R two-dimensional regions (Zr) being derived from the defined segmentation (Sd),
- lors de l’étape d’attribution (E2), le coefficient (MSr) est égal à la moyenne des valeurs des pixels de la région bidimensionnelle (Zr) d’un masque défini (Md) déterminé sur la base de la séquence d’images (Ed) correspondant à la segmentation définie (Sd). - during the assignment step (E2), the coefficient (MSr) is equal to the average of the values of the pixels of the two-dimensional region (Zr) of a defined mask (Md) determined on the basis of the sequence d images (Ed) corresponding to the defined segmentation (Sd).
10. Procédé d’émission selon la revendication 9, dans lequel, lors de l’étape de définition (E1 ), la segmentation définie (Sd) parmi les P segmentations correspond à une erreur minimale (Errmin) parmi P erreurs (Errp) calculées, pour chaque séquence d’images (ECHp), entre un masque perceptuel de référence (MPRp) de la séquence d’images (ECHp) et un masque perceptuel segmenté (MPSp) de la séquence d’images (ECHp). 10. Transmission method according to claim 9, in which, during the definition step (E1), the segmentation defined (Sd) among the P segmentations corresponds to a minimum error (Errmin) among P errors (Errp) calculated , for each image sequence (ECHp), between a reference perceptual mask (MPRp) of the image sequence (ECHp) and a segmented perceptual mask (MPSp) of the image sequence (ECHp).
11. Procédé d’émission selon la revendication 10, dans lequel : 11. Transmission method according to claim 10, in which:
- les pixels d’un masque perceptuel de référence (MPRp) d’une séquence d’images (ECHp) ont pour valeur la valeur minimale des pixels correspondants de masques perceptuels (Mpi) calculés sur la base de chacune des images (Ipi) de la séquence d’images (ECHp), - chaque masque perceptuel (Mpi) est calculé à partir de paramètres statistiques d’une image (Ipi) de la séquence d’images (ECHp), - the pixels of a reference perceptual mask (MPRp) of a sequence of images (ECHp) have as their value the minimum value of the corresponding pixels of perceptual masks (Mpi) calculated on the basis of each of the images (Ipi) of the image sequence (ECHp), - each perceptual mask (Mpi) is calculated from statistical parameters of an image (Ipi) of the sequence of images (ECHp),
- pour chaque masque perceptuel segmenté (MPSp) d’une séquence d’images (ECHp), les pixels de chaque zone définie par la segmentation (Sp) ont pour valeur la moyenne des valeurs des pixels du masque perceptuel de référence (MPRp) dans ladite zone.- for each segmented perceptual mask (MPSp) of an image sequence (ECHp), the pixels of each zone defined by the segmentation (Sp) have as their value the mean of the values of the pixels of the reference perceptual mask (MPRp) in said area.
12. Procédé d’émission selon la revendication 11 , dans lequel le masque défini (Md) correspond au masque perceptuel de référence (MPRd) de la séquence d’images (Ed). 12. Transmission method according to claim 11, in which the defined mask (Md) corresponds to the perceptual reference mask (MPRd) of the image sequence (Ed).
13. Procédé de réception de données représentatives d’un masque (M) pour le tatouage d’une image (I) comprenant les étapes suivantes : 13. Method for receiving data representative of a mask (M) for watermarking an image (I) comprising the following steps:
- une étape de réception de données représentatives d’un masque segmenté (MS), lesdites données représentatives comprenant une pluralité de coefficients (MSr),- a step of receiving data representative of a segmented mask (MS), said representative data comprising a plurality of coefficients (MSr),
- une étape de reconstruction du masque (M) sur la base des coefficients (MSr),- a step of reconstructing the mask (M) on the basis of the coefficients (MSr),
- une étape d’obtention d’une marque pondérée (MQP) par application du masque (M) à une marque (MQ), - a step of obtaining a weighted mark (MQP) by applying the mask (M) to a mark (MQ),
- une étape de tatouage de l’image (I) par application de la marque pondérée (MQP) à l’image (I). - a step of watermarking the image (I) by applying the weighted mark (MQP) to the image (I).
14. Procédé de réception selon la revendication 13, dans lequel l’étape de reconstruction du masque (M) comprend l’attribution des coefficients (MSr) à des zones de pixels comprenant au moins un pixel. 14. Reception method according to claim 13, in which the step of reconstructing the mask (M) comprises the allocation of the coefficients (MSr) to areas of pixels comprising at least one pixel.
15. Procédé de réception selon la revendication 13, dans lequel : 15. Reception method according to claim 13, in which:
- les données représentatives du masque segmenté (MS) comprennent en outre des données définissant des régions bidimensionnelles (Zr), - the data representing the segmented mask (MS) further comprises data defining two-dimensional regions (Zr),
- l’étape de reconstruction du masque (M) comprend le tracé des régions bidimensionnelles (Zr) sur la base des données définissant les régions bidimensionnelles (Zr) et l’attribution d’un coefficient (MSr) à chacune des régions bidimensionnelles (Zr). - the step of reconstructing the mask (M) comprises drawing the two-dimensional regions (Zr) on the basis of the data defining the two-dimensional regions (Zr) and assigning a coefficient (MSr) to each of the two-dimensional regions (Zr ).
16. Procédé de réception selon la revendication 13, dans lequel : 16. Reception method according to claim 13, in which:
- les données représentatives du masque segmenté (MS) comprennent en outre une pluralité de listes de points définissant les contours fermés de régions bidimensionnelles (Zr), - the data representative of the segmented mask (MS) further comprises a plurality of lists of points defining the closed contours of two-dimensional regions (Zr),
- l’étape de reconstruction du masque (M) comprend le tracé des régions bidimensionnelles (Zr) au moyen de la pluralité de listes de points et l’attribution d’un coefficient (MSr) à chacune des régions bidimensionnelles (Zr). - the mask reconstruction step (M) includes the drawing of the regions two-dimensional regions (Zr) by means of the plurality of lists of points and the allocation of a coefficient (MSr) to each of the two-dimensional regions (Zr).
17. Procédé de réception selon l’une des revendications 13 à 16, dans lequel : 17. Reception method according to one of claims 13 to 16, in which:
- l’image (I) appartient à une tranche d’images (T) d’un paquet vidéo (S), - le masque (M) est commun aux images de la tranche d’images (T). - the image (I) belongs to an image slice (T) of a video packet (S), - the mask (M) is common to the images of the image slice (T).
PCT/EP2023/051673 2022-01-31 2023-01-24 Methods for sending and receiving a mask for watermarking an image WO2023144138A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FRFR2200830 2022-01-31
FR2200830A FR3132369A1 (en) 2022-01-31 2022-01-31 Methods for transmitting and receiving a mask for watermarking an image

Publications (1)

Publication Number Publication Date
WO2023144138A1 true WO2023144138A1 (en) 2023-08-03

Family

ID=81851577

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/051673 WO2023144138A1 (en) 2022-01-31 2023-01-24 Methods for sending and receiving a mask for watermarking an image

Country Status (2)

Country Link
FR (1) FR3132369A1 (en)
WO (1) WO2023144138A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030128861A1 (en) * 1993-11-18 2003-07-10 Rhoads Geoffrey B. Watermark embedder and reader
US20210090204A1 (en) * 2019-09-23 2021-03-25 Alibaba Group Holding Limited Method and system for data processing

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030128861A1 (en) * 1993-11-18 2003-07-10 Rhoads Geoffrey B. Watermark embedder and reader
US20210090204A1 (en) * 2019-09-23 2021-03-25 Alibaba Group Holding Limited Method and system for data processing

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KARYBALI: "Efficient Spatial Image Watermarking via New Perceptual Masking and Blind Détection Schemes", IEEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY, June 2006 (2006-06-01)
TAE-WOO OH ET AL: "Enhancing perceptual quality of watermarked high-definition video through composite mask", IMAGE PROCESSING THEORY TOOLS AND APPLICATIONS (IPTA), 2010 2ND INTERNATIONAL CONFERENCE ON, IEEE, PISCATAWAY, NJ, USA, 7 July 2010 (2010-07-07), pages 161 - 165, XP031764039, ISBN: 978-1-4244-7247-5 *

Also Published As

Publication number Publication date
FR3132369A1 (en) 2023-08-04

Similar Documents

Publication Publication Date Title
US20200280730A1 (en) Training end-to-end video processes
US10630996B2 (en) Visual processing using temporal and spatial interpolation
EP0997042B1 (en) Method for marking a compressed digital video signal
FR2661585A1 (en) METHOD AND APPARATUS FOR SCREENING AND UNLOCKING DATA OF DIGITAL IMAGES
FR2826227A1 (en) Coded digital signal processing method for computer, printer, involves decoding and retrieving internal zones contained entirely in selected portion of coded digital signal
EP3381009A1 (en) Method of processing a sequence of digital images, method of watermarking, devices and computer programmes associated therewith
FR2963190A1 (en) METHOD AND DEVICE FOR ENCODING AN IMAGE SEQUENCE
WO2023144138A1 (en) Methods for sending and receiving a mask for watermarking an image
EP1246469A2 (en) Method of simoultaneously downconverting and decoding of video
WO2021053262A1 (en) An apparatus, a method and a computer program for volumetric video
EP1623578B1 (en) Method and system for ensuring secure scrambling and de-scrambling and the distribution of vectoral visual sequences
EP1181668A1 (en) Image coding/decoding method
EP3939304A1 (en) Methods and devices for coding and decoding a multi-view video sequence
EP4140136A1 (en) Methods and devices for coding and decoding a multi-view video sequence
CN112995714A (en) Method and device for converting private video stream into RTMP standard stream
FR2934453A1 (en) ERROR MASKING METHOD AND DEVICE
WO2022129737A1 (en) Method and device for compressing data representative of a volumetric three-dimensional scene with a view to real-time decompression for online viewing
EP1679899A1 (en) Method and apparatus for reducing the artefacts in a digital image
EP3826304A2 (en) Method and device for compressing digital images and associated decompression method and device
EP1762068B1 (en) Method for editing multimedia pages on a terminal using pre-stored parameters of objects appearing in scenes
FR2828614A1 (en) Video telephone image sequence coding has field identifier header, image sequence with step filling field identifier values reflecting coded image characteristics and decoding where header identifier lost
FR3105687A1 (en) PROCESS FOR ENCODING A DIGITAL IMAGE FOR COMPRESSION
EP1303143A2 (en) Blocking detection method
WO2017063722A1 (en) Method and device for detecting copies in a stream of visual data
EP4104446A1 (en) Method and device for processing multi-view video data

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23701725

Country of ref document: EP

Kind code of ref document: A1