EP1741215B1 - Watermark incorporation - Google Patents
Watermark incorporation Download PDFInfo
- Publication number
- EP1741215B1 EP1741215B1 EP05715993.1A EP05715993A EP1741215B1 EP 1741215 B1 EP1741215 B1 EP 1741215B1 EP 05715993 A EP05715993 A EP 05715993A EP 1741215 B1 EP1741215 B1 EP 1741215B1
- Authority
- EP
- European Patent Office
- Prior art keywords
- spectral
- values
- sequence
- modulation
- modified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010348 incorporation Methods 0.000 title 1
- 230000003595 spectral effect Effects 0.000 claims description 246
- 238000000034 method Methods 0.000 claims description 31
- 230000000873 masking effect Effects 0.000 claims description 10
- 230000004048 modification Effects 0.000 claims description 10
- 238000012986 modification Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000003247 decreasing effect Effects 0.000 claims 4
- 230000004075 alteration Effects 0.000 claims 1
- 230000007423 decrease Effects 0.000 claims 1
- 230000005236 sound signal Effects 0.000 description 112
- 239000011159 matrix material Substances 0.000 description 25
- 230000009466 transformation Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 12
- 238000012546 transfer Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 238000001228 spectrum Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 6
- 230000006798 recombination Effects 0.000 description 6
- 238000005215 recombination Methods 0.000 description 6
- 238000010183 spectrum analysis Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000004382 potting Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
- H04H20/28—Arrangements for simultaneous broadcast of plural pieces of information
- H04H20/30—Arrangements for simultaneous broadcast of plural pieces of information by a single channel
- H04H20/31—Arrangements for simultaneous broadcast of plural pieces of information by a single channel using in-band signals, e.g. subsonic or cue signal
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
Definitions
- the present invention relates to a scheme for incorporating a watermark into an information signal, such as e.g. an audio signal.
- the provider When music tracks are legitimately acquired over the Internet by a music provider, the provider typically generates a header or data block attached to the music piece in which copyright information and, for example, a customer number are incorporated, the customer number being unique to the current one indicates to the buyer. It is also known to insert copy permission information into this header which signals the various kinds of copy rights, such as copying the current piece is completely prohibited, copying the current piece is allowed only once, copying the current piece is completely free, etc.
- the customer has a decoder or management software, which reads the header and in compliance with the For example, allowed actions only allow a single copy and refuse further copies, or the like.
- a coding method for introducing a non-audible data signal into an audio signal is known.
- the audio signal into which the inaudible data signal, here called watermark, is to be introduced is converted into the frequency domain in order to determine the masking threshold of the audio signal by means of a psychoacoustic model.
- the data signal to be input to the audio signal is modulated with a pseudo noise signal to provide a frequency spread data signal.
- the frequency spread data signal is then weighted with the psychoacoustic masking threshold such that the energy of the frequency spread data signal is always below the masking threshold.
- the weighted data signal is superimposed on the audio signal, thereby generating an audio signal into which the data signal is inaudible.
- the data signal can be used to add information to the audio signal author and alternatively
- the data signal can be used to identify audio signals in order to easily identify pirated copies, since each sound carrier, for example in the form of a CompactDisk, is provided with an individual identifier at the factory.
- audio signals are often already present as compressed audio data streams, for example, have undergone processing according to one of the MPEG audio method. If one wished to use one of the preceding watermark embedding techniques to watermark pieces of music prior to delivery to a customer, they would have to be completely decompressed prior to watermarking to again obtain a sequence of time-domain audio values. However, in addition to a high computational overhead due to the additional decoding prior to watermark embedding, this also meant that re-encoding would run the risk of tandem encoder effects when these watermarked audio signals are re-encoded.
- Another improved way of incorporating a watermark into audio signals relates to those schemes that perform embedding during compression of a still uncompressed audio signal.
- Embedding schemes of this type have, inter alia, the advantage of lower computational complexity, since the contraction of watermark embedding and encoding requires certain operations, such as the calculation of the masking model and the transfer of the audio signal into the spectral range, to be performed only once.
- Further advantages include higher audio quality, since the quantization noise and watermark sound can be closely matched, high robustness because the watermark is not "weakened" by a subsequent audio encoder, and the possibility of proper choice of spread spectrum parameters to provide compatibility To achieve PCM watermarking.
- watermarks for coded and uncoded audio signals are known in various variants. With the help of watermarks, additional data can be transmitted robustly and inaudibly within an audio signal.
- watermark embedding methods that differ in the domain of embedding, such as the time domain, the frequency domain, etc., and the type of embedding such as the quantization, the extinction of individual values, and so forth. Summary descriptions of existing methods can be found in M. van der Veen, F.
- the object of the present invention is therefore to provide a completely new and therefore safer scheme for introducing a watermark into an information signal.
- the information signal is first converted from a time representation into a spectral / modulation spectral representation.
- the information signal is then manipulated in the spectral / modulation spectral representation depending on the watermark to be introduced to obtain a modified spectral / modulation spectral representation and then a watermarked information signal is formed based on the modified spectral / modulation spectral representation.
- the watermarked information signal is converted from a time representation to a spectral / modulation spectral representation, whereupon the watermark is derived based on the spectral / modulation spectral representation.
- One advantage of the present invention is that, in accordance with the present invention, the watermark is imbedded in the spectral / modulation spectral representation domain, traditional correlation attacks used in spread spectrum modulation based watermarking schemes are not readily targeted to lead.
- the embedding of the watermark according to the invention in the spectral / modulation spectral domain or in the 2-dimensional modulation spectral / spectral plane entails substantially more variations of the embedding parameters, e.g. at which "places" in this level the embedding is located, as was previously the case. If necessary, the selection of the corresponding places can also be time-varying.
- the watermark By embedding the watermark in the spectral / modulation spectral domain, it may also be possible in the case of an audio signal as the information signal, without the elaborate computation of conventional psychoacoustic parameters, e.g. the MitROCschwelle to make an inaudible embedding of a watermark, so as to ensure with less effort nevertheless the inaudibility of the watermark.
- the modification of the modulation values can in this case be carried out, for example, by utilizing masking effects in the modulation spectral range.
- a scheme for embedding a watermark into an audio signal, in which first an incoming audio signal or an audio input signal present in a time domain or a time representation, block by block in a time / frequency representation and from there into a frequency / modulation frequency representation is transferred.
- the watermark is then introduced into the audio signal by modifying modulation values of the frequency / modulation frequency domain representation as a function of the watermark. In this way, the audio signal is then changed back into the time / frequency domain and from there back to the time domain.
- Watermark embedding according to the scheme of Fig. 1-3 is due to the device Fig. 1 carried out, which is also referred to below as a watermark embedder and is indicated by the reference numeral 10.
- the embedder 10 comprises an input 12 for receiving the audio input signal into which the watermark to be introduced is to be introduced.
- the watermark such as a customer number, is obtained by the embedder 10 at an input 14.
- the embedder 10 comprises an output 16 for outputting the watermarked or watermarked output signal.
- the embedder 10 comprises a fenestration device 18 and a first filter bank 20, which are connected in series behind the input 12 and are responsible for converting the audio signal at the input 12 by block-wise processing from the time domain 22 into the time / frequency domain 24.
- the output of the filter bank 20 is followed by an amount / phase detection device 26 in order to divide the time / frequency domain representation of the audio signal in magnitude and phase.
- a second filter bank 28 is connected to the detection means 26 to obtain the magnitude portion of the time / frequency domain representation, and converts the magnitude component into the frequency / modulation frequency domain 30, thus producing a frequency / modulation frequency representation of the audio signal 12.
- the blocks 18, 20, 26, 28 thus constitute an analysis part of the embedder 10, which achieves the transfer of the audio signal into the frequency / modulation frequency representation.
- a watermark embedding device 32 is connected to the second filter bank 28 for receiving therefrom the frequency / modulation frequency representation of the audio signal 12. Another input of the watermark embedding device 32 is connected to the input 14 of the embedding 10. The watermark embedding device 32 generates a modified frequency / modulation frequency representation.
- An output of the watermark embedding device 32 is connected to an input of a filter bank 34, which is inverse to the second filter bank 28 and is responsible for the return to the time / frequency range 24.
- a phase processing device 36 is connected to the detection device 26 in order to obtain the phase portion of the time / frequency domain representation 24 of the audio signal and forward in manipulated form, as will be described below, to a recombiner 38, which also has an output of the inverse filter bank 34 is connected to obtain the modified amount portion of the time / frequency representation of the audio signal.
- the recombiner 38 combines the phase component modified by the phase processing 36 with the amount of time / frequency domain representation of the audio signal modified by the watermark and outputs the result, namely the time / frequency representation of the watermarked audio signal, to a filter bank 40 inverse to the first filter bank 20. Between the output of the inverse filter bank 40 and the output 16, a fenestration device 42 is connected.
- the part of the components 34, 38, 40, 42 can be considered as a synthesis part of the embedder 10 since it is responsible for generating the watermarked audio signal in time representation from the modified frequency / modulation frequency representation.
- the embedding begins with the transfer of the audio signal at the input 12 from the time representation to the time / frequency representation by the means 18 and 20 assuming that the audio input signal at the input 12 in a manner sampled at a predetermined sampling frequency, namely as a sequence of sample and audio values, respectively. If the audio signal is not yet present in such a scanned form, a corresponding A / D converter can be used as a scanning device for this purpose.
- the windowing device 18 receives the audio signal and extracts therefrom a sequence of blocks of audio values. For this purpose, the windowing device 18 combines a predetermined number of successive audio values of the audio signal at the input 12 into time blocks, and multiplies these time blocks, which in fact represent a time segment from the audio signal 12, by a windowing or weighting function, e.g. a sine window, a KBD window or the like. This process is referred to as fenestration, and is performed, for example, such that the individual time blocks relate to time segments of the audio signal which overlap one another, such as e.g. by half so that each audio value is assigned to two time blocks.
- a windowing or weighting function e.g. a sine window, a KBD window or the like.
- Fig. 2 illustrates with an arrow 50 the sequence of audio values in their time sequence of their arrival at the input 12. They represent the audio signal 12 in the time domain 22.
- the index n in Fig. 2 should indicate an index of the audio values increasing in the direction of the arrow.
- 52 indicates the window functions which the windowing device 18 applies to the time blocks.
- the first two window functions for the first two time blocks are in Fig. 2 overwritten with the index 2m or 2m + 1.
- the time block 2m and the subsequent time block overlap 2m + 1 by half and 50%, respectively, and thus each have half their audio values together.
- the blocks generated by the device 18 and forwarded to the filter bank 20 correspond to one Weighting of the audio block belonging to a time block with the window function 52 or a multiplication between them.
- the filter bank 20 receives the blocks of windowed audio values, as shown in FIG Fig. 2 indicated by arrows 54, and converted by a time / frequency transformation 56 blockwise in a spectral representation.
- the filter bank undertakes a predetermined decomposition of the spectral range into predetermined frequency bands or spectral components.
- the spectral representation includes, for example frequency adjacent spectral values from the frequency zero to the maximum audio frequency on which the audio signal is based, for example, 44.1 kHz.
- Fig. 2 is exemplified the case of a spectral decomposition in ten subbands.
- the block overpass is in Fig. 2 indicated by a plurality of arrows 58.
- Each arrow corresponds to the transfer of a time block into the frequency domain.
- the time block 2m is transferred to a block 60 of spectral values 62 as shown in FIG Fig. 2 indicated by a column of boxes.
- the spectral values each relate to a different frequency component or a different frequency band, wherein Fig. 2 should be indicated by the axis 64, the direction along which the frequency k runs.
- axis 64 the direction along which the frequency k runs.
- spectral values 62 Since the filter bank 20 generates a block 60 of spectral values 62 per time block, several sequences of spectral values 62 result, namely one per spectral component k or subband k, over time.
- Fig. 2 These temporal sequences run in the row direction as they pass through the Arrow 66 is shown.
- the arrow 66 thus represents the time axis of the time / frequency representation, while the arrow 64 represents the frequency axis of this representation.
- the "sampling frequency" or the repetition interval of the spectral values within the individual subbands corresponds to the frequency or the repetition interval of the time blocks from the audio signal.
- the time block repetition rate again corresponds to twice the sampling frequency of the audio signal divided by the number of audio values per time block.
- the arrow 66 thus corresponds to a time dimension insofar as it embodies the time sequence of the time blocks.
- a matrix 68 of spectral values 62 which represents a time / frequency domain representation 24 of the audio signal over the time duration of these time blocks, thus arises over a certain number, here by way of example 8, of consecutive time blocks.
- the time / frequency transformation 56 performed block by block at the time blocks by the filter bank 20 is, for example, a DFT, DCT, MDCT or the like.
- the individual spectral values within a block 60 are divided into specific subbands. For each subband, each block 60 may have more than one spectral value 62.
- a sequence of spectral values is thus produced which reproduce the time profile of the respective subband and Fig. 2 in the row direction 84.
- the filter bank 20 forwards the blocks 60 of spectral values 62 to the magnitude / phase detection device 26 in blocks.
- the latter processes the complex spectral values and merely passes the amounts to the filter bank 28.
- the phases of the spectral values 62 pass them on to the phase processing device 36.
- the filterbank 28 processes the subsequences 70 of amounts of spectral values 62 similar to the filter bank 20, namely by blockwise transforming these sequences block by block into the spectral representation and the modulation frequency representation, respectively, using preferably windowed and mutually overlapping blocks , wherein the underlying blocks of all subbands are preferably aligned with respect to each other in time.
- the filter bank 28 processes N spectral blocks 60 of spectral value amounts simultaneously.
- the N spectral blocks 60 of spectral value sums form a matrix 68 of spectral value sums. For example, if there are M subbands, the filter bank 28 processes the spectral value sums in matrices for each N * M spectral value sums.
- the filter bank 28 After receiving the absolute value N of successive spectral blocks or the matrix 68, the filter bank 28 transforms the blocks of spectral value sums of the respective subbands, that is to say the rows in the matrix 68, from the time domain 66 into a frequency representation, separated as before for each subband mentions the spectral value amounts may be windowed to avoid aliasing effects.
- the filter bank 28 converts each of these spectral value amount blocks from the sequences 70 representing the temporal progression of a respective subband into a spectral representation and thus generates a block of modulation values per subband which are stored in a spectral representation Fig. 2 are displayed with 74.
- Each block 74 contains a plurality of modulation values, which in Fig.
- Each of these modulation values within a block 74 is associated with a different modulation frequency, which in Fig. 2 along the axis 76 shall run, thus representing the modulation frequency axis of the frequency / modulation frequency representation.
- a matrix 80 of modulation values which represents a frequency / modulation frequency domain representation of the audio signal at the input 12 in the time segment allocated to the matrix 68.
- the filter bank 28 or the device 26 may have an internal window device (not shown) which converts the transformation blocks, ie the lines of the matrix 68, from spectral values per subband before their respective time / modulation frequency transformation 80 Filter bank 28 in the modulation frequency range 30 to obtain the blocks 74, a windowing with a window function 82 undergoes.
- a sequence of matrices 80 are overlapped that overlap in the above-mentioned exemplary 50% overlap windowing - by 50% in time.
- the filter bank 28 forms the matrix 80 for consecutive N time blocks such that the matrices 80 each relate to N time blocks that intersect in half, as shown in FIG Fig. 2 is to be indicated by a dashed window function 84, which represent the fenestration for the next matrix.
- the modulation values of the frequency / modulation frequency domain representation 30 as output from the filter bank 28 reach the watermark embedding means 32.
- the watermark embedding means 32 now modifies the modulation matrix 80 or one or more of the modulation values of the modulation matrices 80 of the audio signal 12 Modification can be accomplished, for example, by a multiplicative weighting of individual modulation frequency / frequency segments of the modulation subband spectrum or frequency / modulation frequency domain representation, ie by weighting the modulation values within a particular range of the frequency / modulation frequency space subtended by the axes 76 and 78.
- the modification could include setting individual segments or modulation values to specific values.
- the multiplicative weighting or values would depend in a predetermined manner on the watermark obtained at the input 14.
- the setting of individual modulation values or segments of modulation values to certain values could be signal adaptive, i. additionally depending on the audio signal 12 per se.
- the individual segments of the 2-dimensional modulation subband spectrum can be obtained by subdividing the acoustic frequency axis 78 into frequency groups; on the other hand, further segmentation can be carried out by subdividing the modulation frequency axis 76 into modulation frequency groups.
- Fig. 1 is an example of a segmentation of the frequency axis in 5 and the modulation frequency axis in 4 groups indicated, resulting in 20 segments.
- the dark segments indicate, by way of example, the locations at which the device 32 modifies the modulation matrix 80, wherein, as mentioned above, the locations used for the modification may vary over time.
- the positions are preferably selected such that the changes to the audio signal in the frequency / modulation frequency representation are not or hardly audible due to masking effects.
- the device 32 modifies the modulation matrix 80, it sends the modified modulation values of the modulation matrix 80 to the inverse filter bank 34.
- This transforms by means of a transformation, the to that of the filterbank 28, ie, an IDFT, IFFT, IDCT, IMDCT, or the like, the modulation matrix 80 returns block 74-wise, ie, separated by subband, along the modulation frequency axis 76 to the time / frequency domain representation 24, thereby modifying To obtain absolute value spectral values.
- the inverse filterbank 34 transforms each block of modified modulation values 74 associated with a particular subband with a transform inverse to the transform 86 into a sequence of magnitude fraction spectral values per subband, which, in the previous embodiment, is a matrix of N x M magnitude fraction spectral values results.
- the absolute value spectral values from the inverse filter bank 34 thus always refer to two-dimensional blocks or matrices from the stream of sequences of spectral values, of course in the form modified form the watermark. According to the exemplary embodiment, these blocks overlap by 50%.
- a device (not shown) provided, for example, in the device 34 now compensates for the windowing in this exemplary 50% overlap case by adding the overlapping recombined spectral values of successive matrices of spectral values obtained by inverse transformation of successive modulation matrices.
- streams or sequences of modified spectral values, namely one per subband arise from the individual matrices of modified spectral values. These sequences correspond only to the magnitude portion of the unmodified sequences 70 of spectral values as output from the device 20.
- the recombiner 38 combines the sum-of-part spectral values merged into sub-band streams from the inverse filter bank 34 with the phase components of the spectral values 62 as produced by the detection means 26 immediately after the transformation 56 by the first filterbank 20, but in a modified form by the phase processing 36.
- the phase processing means 36 modifies the phase portions in a manner separate from the watermark embedding by the means 32 but possibly dependent on this embedding such that the detectability of the watermark will be referred to later on Fig. 3 explained detector or decoder system is better detectable and / or the acoustic masking of the watermark signal in later output at the output 16 watermarked output signal and thus the inaudibility of the watermark is improved.
- the recombination can make the recombination device 38 matrix-wise per matrix 68 or continuously over the sequences of modified absolute-value spectral values per subband.
- the optional dependence of the manipulation of the phase component of the time / frequency representation of the audio signal at the input 12 on the manipulation of the frequency / modulation frequency representation by the manipulation device 32 is shown in FIG Fig. 1 illustrated by a dashed arrow 88.
- the recombination is performed, for example, by adding the phase of a spectral value to the phase portion of the corresponding modified spectral value as output from the filter bank 34.
- the device 38 thus generates sequences of spectral values per subband, such as the one obtained after the filter bank 20 directly from the unmodified audio signal, namely the sequences 70, but in changed form around the watermark, so that the device 38 output recombined spectral values modified in terms of the magnitude proportion represent a time / frequency representation of the watermarked audio signal.
- the inverse filter bank 40 thus again receives sequences of modified spectral values, namely one per subband.
- the inverse filter bank receives 40 per Cycle a block of modified spectral values, ie a frequency representation of the watermarked audio signal with respect to a period of time of the same.
- the filter bank 40 performs inverse transformation to the transform 56 of the filter bank 20 on each such block of spectral values, ie, spectral values arranged along the frequency axis 70, to obtain as a result modified windowed time blocks of windowed modified audio values.
- Subsequent windowing means 42 compensates for the fenestration introduced by windowing means 18 by adding corresponding audio values within the overlapping areas, thereby yielding at output 16 the watermarked output in time domain representation 22.
- Fig. 3 describes a device capable of successfully analyzing a watermarked output signal produced by the embedder 10 to reconstruct the watermark therefrom which, in the watermarked output signal, preferably contains inaudibly together with the useful audio information for human hearing is.
- the watermark decoder of Fig. 3 generally indicated at 100 includes an audio signal input 112 for receiving the watermarked audio signal and an output 114 for outputting the watermark extracted from the watermarked audio signal.
- an audio signal input 112 for receiving the watermarked audio signal
- an output 114 for outputting the watermark extracted from the watermarked audio signal.
- the watermarked audio signal at the input 112 is passed from the time domain 122 into the time domain 124 by the window means 118 and the filterbank 120, from where the detection means 126 and the second filterbank 128 transfer the audio signal at the input 112 into the Frequency / modulation frequency range 130 takes place.
- the watermarked audio signal is thus subjected to the same processing by the means 118, 120, 126 and 128 as to refer to the original audio signal Fig. 2 have been described.
- the resulting modulation matrices do not fully correspond to those output in the embedder 10 from the water embedder 32 because the phase recombinations of the recombiner 38 change some of the modulation components relative to the modified modulation matrices output from the device 32 and thus reflected in somewhat altered form in the watermarked output signal. Also, the windowing cancellation or OLA changes the modulation components until the new modulation spectral analysis in the decoder 100.
- a watermark decoder 132 connected to the filter bank 128 for obtaining the frequency / modulation range representation of the watermarked input signal and the modulation matrices, respectively, is provided to extract the watermark originally introduced by the embedder 10 from the output and output 114 issue. The extraction is performed at predetermined locations of the modulation matrices corresponding to those used by the embedder 10. The conformity of the selection of bodies is ensured, for example, by appropriate standardization.
- the modulation matrices as applied to the watermark decoder 132 may also be due to the fact that the watermarked input signal between its output at the output 16 and the detection by the detector 100 and the reception at the input 112 has been degraded in some way , such as by a coarser quantization of the audio values or the like.
- the embodiment described above may be used to embed a watermark in an audio signal to prove authorship of an audio signal.
- the original audio signal arriving at input 12 is, for example, a piece of music.
- the embedder 10 in the audio signal, whereby the watermarked audio signal is produced at the output 16.
- a third party claims to be the author of the corresponding piece of music or music title can the proof of the actual authorship be guided by means of the watermark, which can be extracted from the watermarked audio signal by means of the detector 100 again and otherwise inaudible during normal play.
- watermark embedding Another potential use of watermark embedding shown above is to use watermarks for logging the broadcast program of TV and radio stations. Broadcasting programs are usually divided into different sections, e.g. individual music titles, radio plays, commercials or the like. The author of an audio signal, or at least the one who may and wants to earn a particular song or commercial, can now watermark his audio signal with the embedder 10, and send the watermarked audio signal to the broadcaster. Music titles or commercials can be charged in this way with a unique watermark.
- For logging the broadcast program can now be e.g. a computer is used, which examines the broadcast signal for a watermark and logs found watermarks. Based on the list of discovered watermark can be easily generate a transmission list for the appropriate broadcaster, which facilitates the billing or fee payment.
- Another application is to use watermarks to detect illegal copies.
- the use of watermarks is worthwhile, especially for music distribution over the Internet.
- a buyer buys a song
- a unique customer number is embedded in the data with the help of a watermark during the transmission of the music data to the buyer.
- the result is music titles in which the watermark is embedded inaudibly. If, at a later date, a song is found in an unauthorized place on the Internet, such as a swap, this piece may point to the watermark towards by means of a decoder Fig. 3 examined and identified by the watermark the original buyer.
- the latter application could also play an important role in the current DRM (Digital Rights Management) solutions.
- the watermark in the watermarked audio signals could serve here as a kind of "second line of defense", which still allows conclusions to the original buyer, if the cryptographic protection of a watermarked audio signal has already been bypassed.
- the embedder of Fig. 4 which is generally indicated at 210, includes as well as the embedder of Fig. 1 an audio signal input 12, a watermark input 14 and an output 16 for outputting the watermarked audio signal.
- the fenestration device 18 and the first filter bank 20 close to the Block audio into blocks 60 of spectral values 62 (FIG. Fig. 2 ), wherein the sequence of blocks of spectral values, which thereby arises at the output of the filter bank 20, represents the time / frequency domain representation 24 of the audio signal.
- the complex spectral values 62 are not divided into magnitude and phase, but the complex spectral values are fully processed further to convert the audio signal in the frequency / modulation frequency range.
- each sequence 70 of successive spectral values of a subband are therefore converted into a spectral representation in blocks, taking account of magnitude and phase.
- each subband spectral value sequence 70 is still subjected to demodulation. Namely, each sequence 70, ie the sequence of spectral values which result in successive time blocks for transfer into the spectral range for a specific subband, is multiplied by a mixer 212 with the complex conjugate of a modulation carrier component, which is emitted by a carrier frequency determiner 214 the spectral values and in particular the phase portion of these spectral values of the time / frequency domain representation of the audio signal is determined.
- the means 212 and 214 serve to compensate for the fact that the repetition distance of the time blocks is not necessarily matched to the period of the carrier frequency component of the audio signal, ie the audible frequency representing on average the carrier frequency of the audio signal.
- consecutive time blocks are shifted by a different phase offset from the carrier frequency of the audio signal.
- each block 60 of spectral values as output from the filter bank 20 having a linear phase rise due to the time block individual phase offset, ie its slope and intercept, depending on the phase offset of the respective time block to the carrier frequency in the phase component depends on the phase offset. Because the phase offset between consecutive time blocks, the slope of the phase offset due to the phase offset increases for each block 60 of spectral values 62, until the phase offset returns to zero, and so on.
- the carrier frequency determiner 214 therefore fits and closes a plane into the unwrapped or phase-phased phases of the spectral values 62 of the matrix 68 by suitable methods, such as a least-squares algorithm this is due to the phase rise due to the phase offset of the time blocks which occurs in the sequences 70 of spectral values for the individual subbands within the matrix 68. Overall, this results in a derived phase increase per subband, which corresponds to the desired modulation carrier component.
- the carrier frequency determiner 214 may also perform one-dimensional fits of a line into the phase traces of the individual sequences 70 of spectral values 62 within the matrices 68 to obtain the individual phase slope due to the phase offset of the time blocks.
- the phase portion of the spectral values of matrix 68 is "flattened", and only varies on average by zero in phase due to the shape of the audio signal itself.
- the thus modified spectral values 62 are forwarded to the mixer 212 by the mixer 212, which filters the same in matrix manner (matrix 68 in FIG Fig. 2 ) into the frequency / modulation frequency range. Similar to the embodiment of Fig. 1-3 Consequently, a matrix of modulation values is obtained in which, however, this time both phase and magnitude of the time / frequency domain representation 24 have been taken into account. As with the example of Fig. 1 For example, fenestration with 50% overlap or the like may be provided.
- the successive modulation matrices thus generated are forwarded to a watermark embedding device 216, which receives the watermark 14 at another input.
- the watermark embedding device 216 operates in a manner similar to the embedding device 32 of the embedding device 10 of FIG Fig. 1 ,
- the embedding locations within the frequency / modulation frequency domain representation 30 are optionally selected using rules that take into account other masking effects than is the case with the embedding means 32.
- the locations of the embedding should be selected, as in the case of the device 32, such that the modulation values modified there are inaudible to the watermarked audio signal as later output at the output of the embedder 210.
- modified modulation values or the changed or modified modulation matrices are forwarded to the inverse filter bank 34, resulting in the modified modulation matrices of modified spectral values.
- modified spectral values the phase correction which has been brought about by the demodulation by means of the mixer 212 must be reversed.
- the blocks of modified spectral values output by the inverse filter bank 34 per subband are mixed by means of a mixer 218 with a demodulation carrier component complexed to that prior to demodulation by the mixer 212 for transfer to the frequency / modulation frequency domain this subband has been used, that is to say a multiplication of these blocks by e j (w * m + ⁇ ) , where again w indicates the particular carrier for the respective subband, m is the index for the modified spectral values and ⁇ is a phase offset of the certain carrier to the considered time excerpt of the N time blocks for the respective sub-band.
- the respective modulator for the respective subband which indeed refers to the content of a particular subband block or has been applied after the block division by the modulation 212, 214, inverted again before the subsequent block merge.
- the spectral values thus obtained are still in the form of blocks, namely in each case one block of modified spectral value blocks per subband, and are optionally also subjected to an OLA or combination for reversing the windowing, as for example to the reference to FIG Fig. 1 described way.
- the resulting unfolded spectral values are then available as streams of modified spectral values per subband and represent the time / frequency domain representation of the watermarked one
- the output of the mixer 218 is followed by the inverse filter bank 40 and the windowing device 42, which take over the transfer of the time / frequency domain representation of the watermarked audio signal in the time domain 22, resulting in the output 16, a sequence of audio values, the represent watermarked audio signal.
- An advantage of the procedure after Fig. 4 regarding the procedure Fig. 1 is that by using the phase and magnitude together to transition into the frequency / modulation frequency range, no reintroduction of modulation components in the recombination of phase and modified magnitude component is caused.
- a watermark decoder capable of processing the watermarked audio signal as outputted from the embedder 210 to extract the watermark therefrom is disclosed in U.S. Pat Fig. 5 shown.
- the decoder indicated generally at 310, includes an input 312 for receiving the watermarked audio signal and an output 314 for outputting the extracted watermark.
- To the input 312 of the decoder 310 are connected in series and in the order mentioned below, a fenestration device 318, a filter bank 320, a mixer 412 and a filter bank 328, wherein another input of the mixer 412 is connected to a Output of a carrier frequency determining means 414 is connected, having an input connected to the output of the filter bank 320.
- the components 318, 320, 412, 328, and 414 serve the same purpose and operate in the same manner as the components 18, 20, 212, 28, and 214 of the embedder 210.
- the watermarked input signal in the decoder 310 becomes time domain 322 via the time frequency range 324 into the frequency / modulation frequency range 330, where a watermark decoding device 332 receives and processes the frequency / modulation frequency domain representation of the watermarked audio signal to extract the watermark and output at the input 314 of the decoder 310.
- the modulation matrices supplied to the decoder 332 in the decoder 310 differ less than those supplied to the decoder 132 from those supplied to the embedding means 216 in the embodiment of FIG Fig. 1-3 since the recombination between phase fraction and modified amount fraction in the embedment system of Fig. 4 eliminated.
- the previous embodiments thus related to a heretofore unprecedented connection of subband modulation spectral analysis and digital watermarking to an overall system for watermarking with a potting system on one side and a detector system on the other side.
- the embedding system is used to introduce the watermark. It consists of a subband modulation spectral analysis, an embedder stage that modifies the signal representation obtained by the analysis, and a synthesis of the modified representation signal.
- the detector system serves to detect an existing watermark in a watermarked audio signal. It consists of a subband modulation spectral analysis and a detection stage that detects and evaluates the watermark using the signal representation obtained by the analysis.
- the preceding embodiments are merely exemplary possibilities to be able to provide audio recordings with inaudible and anti-manipulation additional information, and in doing so make the watermark insertion in the so-called subband modulation spectral range and to perform the detection in the subband modulation spectral range.
- various variations can be made to these embodiments.
- the fenestration devices mentioned above could only serve for blocking, ie the multiplication or weighting with the window functions could also be omitted.
- one could also use other window functions than the above-mentioned amounts of trigonometric functions.
- the 50% block overlap could be omitted or executed differently.
- the block overlap on the side of the synthesis could also involve operations other than a mere addition of related audio values in successive time blocks.
- the windowings in the second transformation stage could also be varied in a corresponding manner.
- the audio signal input does not necessarily have to be returned from the time domain to the frequency / modulation frequency domain representation and from there again - after the modification - to the time domain representation. It would also be possible to modify the previous two embodiments to merge the values output from the recombiner 38 and the mixer 218, respectively, into a watermarked audio signal in a bitstream to be in a time / frequency domain ,
- the demodulation used in the second embodiment could also be performed differently, e.g. by changing the phase curves of the spectral value blocks within the matrices 68 by other means than by pure multiplication with a solid complex carrier.
- the present watermark embedding scheme is also applicable to other information signals, such as e.g. to control signals, measurement signals, video signals or the like, for example, to check their authenticity.
- the scheme proposed herein makes it possible to embedding information so as not to interfere with the usual use of the information signal in the watermarked form, e.g. the analysis of the measurement results or the visual impression of the video or the like, which is why even in these cases, the additional data to be embedded are referred to as watermarks.
- the inventive scheme can also be implemented in software.
- the implementation may be on a digital storage medium, in particular a floppy disk or a CD with electronically readable control signals, which may cooperate with a programmable computer system such that the corresponding method is executed.
- the invention thus also consists in a computer program product with program code stored on a machine-readable carrier for carrying out the method according to the invention when the computer program product runs on a computer.
- the invention can thus be realized as a computer program with a program code for carrying out the method when the computer program runs on a computer.
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Editing Of Facsimile Originals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Image Processing (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
- Compositions Of Macromolecular Compounds (AREA)
- Paper (AREA)
Description
Die vorliegende Erfindung bezieht sich auf ein Schema zur Einbringung eines Wasserzeichens in ein Informationssignal, wie z.B. ein Audiosignal.The present invention relates to a scheme for incorporating a watermark into an information signal, such as e.g. an audio signal.
Mit zunehmender Verbreitung des Internets hat auch die Musikpiraterie drastisch zugenommen. An vielen Stellen im Internet werden Musikstücke bzw. allgemeine Audiosignale angeboten, um dort heruntergeladen werden zu können. In den allerwenigsten Fällen werden hierbei Urheberrechte beachtet. Insbesondere wird sehr selten die Erlaubnis des Urhebers eingeholt, sein Werk zur Verfügung zu stellen. Noch seltener werden Gebühren an den Urheber bezahlt, die der Preis für ein rechtmäßiges Kopieren sind. Darüber hinaus findet ein unkontrolliertes Kopieren von Werken statt, was in den allermeisten Fällen ebenfalls ohne Berücksichtigung von Urheberrechten geschieht.With the spread of the Internet, music piracy has increased dramatically. In many places on the Internet music pieces or general audio signals are offered to be downloaded there. In the very least cases, copyrights are respected. In particular, the permission of the author is very rarely obtained to make his work available. Even less often are fees paid to the author, which are the price for a legitimate copying. In addition, there is an uncontrolled copying of works, which happens in most cases also without consideration of copyright.
Wenn Musikstücke über das Internet von einem Provider bzw. Anbieter für Musikstücke rechtmäßig erworben werden, erzeugt der Provider üblicherweise einen Header bzw. einen dem Musikstück beigefügten Datenblock, in dem Copyright-Informationen sowie beispielsweise eine Kundennummer eingebracht sind, wobei die Kundennummer eindeutig auf den aktuell vorliegenden Käufer hinweist. Es ist ferner bekannt, Kopiererlaubnisinformationen in diesen Header einzufügen, welche die verschiedensten Arten von Kopierrechten signalisieren, wie z.B. dass das Kopieren des aktuellen Stücks vollständig untersagt ist, dass das Kopieren des aktuellen Stücks nur ein einziges Mal erlaubt ist, dass das Kopieren des aktuellen Stücks völlig frei ist, usw. Der Kunde verfügt über einen Decodierer oder eine Verwaltungssoftware, der bzw. die den Header einliest und unter Beachtung der erlaubten Handlungen beispielsweise nur eine einzige Kopie zulässt und weitere Kopien verweigert, oder dergleichen.When music tracks are legitimately acquired over the Internet by a music provider, the provider typically generates a header or data block attached to the music piece in which copyright information and, for example, a customer number are incorporated, the customer number being unique to the current one indicates to the buyer. It is also known to insert copy permission information into this header which signals the various kinds of copy rights, such as copying the current piece is completely prohibited, copying the current piece is allowed only once, copying the current piece is completely free, etc. The customer has a decoder or management software, which reads the header and in compliance with the For example, allowed actions only allow a single copy and refuse further copies, or the like.
Dieses Konzept zur Beachtung der Urheberrechte funktioniert jedoch nur für Kunden, die sich legal verhalten. Illegale Kunden haben üblicherweise ein wesentliches Potential an Kreativität, die mit einem Header versehenen Musikstücke zu "knacken". Hier zeigt sich bereits der Nachteil der beschriebenen Vorgehensweise zum Schutz von Urheberrechten. Ein solcher Header kann einfach entfernt werden. Alternativ könnte ein illegaler Benutzer auch einzelne Einträge in dem Header modifizieren, um beispielsweise den Eintrag "Kopieren untersagt" in einen Eintrag "Kopieren völlig frei" umzuwandeln. Denkbar ist auch der Fall, dass ein illegaler Kunde seine eigene Kundennummer aus dem Header entfernt und dann das Musikstück auf seiner oder einer anderen Homepage im Internet anbietet. Ab diesem Moment ist es nicht mehr möglich, den illegalen Kunden zu ermitteln, da er seine Kundennummer entfernt hat.However, this copyright notice works only for customers who behave legally. Illegal customers typically have a significant potential in creativity to "crack" the headered music. This already shows the disadvantage of the described procedure for the protection of copyrights. Such a header can be easily removed. Alternatively, an illegal user could also modify individual entries in the header, for example to convert the entry "Copy prohibited" to a "Copy completely free" entry. It is also conceivable that an illegal customer removes his own customer number from the header and then offers the piece of music on his or another homepage on the Internet. From this moment on, it is no longer possible to identify the illegal customer because he has removed his customer number.
Aus der
Die Einbettung eines Wasserzeichens in ein unkomprimiertes Audiosignal, bei dem also das Audiosignal noch im Zeitbereich bzw. in der Zeitbereichsdarstellung vorliegt, sind auch noch in
Audiosignale liegen jedoch häufig auch bereits als komprimierte Audiodatenströme vor, die beispielsweise einer Verarbeitung nach einem der MPEG-Audioverfahren unterzogen worden sind. Würde man nun eines der vorhergehenden Wasserzeicheneinbettungsverfahren verwenden wollen, um Musikstücke vor der Auslieferung an einen Kunden mit einem Wasserzeichen zu versehen, so müssten dieselben vor der Wasserzeicheneinbringung vollständig dekomprimiert werden, um wieder eine Folge von Zeitbereichs-Audiowerten zu erhalten. Dies bedeutete jedoch neben einem hohen Rechenaufwand aufgrund der zusätzlichen Decodierung vor der Wasserzeicheneinbettung auch, dass bei erneuter Codierung die Gefahr des Auftretens von Tandem-Codiereffekten besteht, wenn diese wasserzeichenbehafteten Audiosignale erneut codiert werden.However, audio signals are often already present as compressed audio data streams, for example, have undergone processing according to one of the MPEG audio method. If one wished to use one of the preceding watermark embedding techniques to watermark pieces of music prior to delivery to a customer, they would have to be completely decompressed prior to watermarking to again obtain a sequence of time-domain audio values. However, in addition to a high computational overhead due to the additional decoding prior to watermark embedding, this also meant that re-encoding would run the risk of tandem encoder effects when these watermarked audio signals are re-encoded.
Es sind deshalb auch Schemata zur Einbettung eines Wasserzeichens in bereits komprimierte Audiosignale bzw. komprimierte Audiobitströme entwickelt worden, die unter anderem den Vorteil besitzen, dass sie eine niedrigere Rechenkomplexität erfordern, da keine volle Decodierung des mit einem Wasserzeichen zu versehenden Audiobitstroms erfolgen muss, d.h. also insbesondere die Anwendung von Analyse- und Synthese-Filterbanken auf das Audiosignal entfallen. Weitere Vorteile dieser bereits auf komprimierte Audiosignale anwendbaren Verfahren sind die hohe Audioqualität, da das Quantisierungsgeräusch und das Wasserzeichengeräusch genau aufeinander abgestimmt werden können, ihre hohe Robustheit, da das Wasserzeichen nicht durch einen nachfolgenden Audiocodierer "geschwächt" wird, und die Ermöglichung einer geeigneten Wahl der Spreizbandparameter, so dass eine Kompatibilität zu PCM-Wasserzeichen-Verfahren (PCM = Pulse Code Modulation = Pulscodemodulation) bzw. den an unkomprimierten Audiosignalen arbeitenden Einbettungsschemata erzielt werden kann. Ein Überblick über Schemata zur Einbettung von Wasserzeichen in bereits komprimierte Audiosignale findet sich in
Eine weitere verbesserte Weise der Einbringung eines Wasserzeichens in Audiosignale betreffen diejenigen Schemata, die die Einbettung während der Komprimierung eines noch unkomprimierten Audiosignals vornehmen. Einbettungsschemata dieser Art weisen unter anderem den Vorteil einer niedrigeren Rechenkomplexität auf, da durch die Zusammenziehung von Wasserzeicheneinbettung und Codierung bestimmte Operationen, wie z.B. die Berechnung des Maskierungsmodells und die Überführung des Audiosignals in den Spektralbereich, nur einmal durchgeführt werden müssen. Weitere Vorteile umfassen eine höhere Audioqualität, da das Quantisierungsgeräusch und das Wasserzeichengeräusch genau aufeinander abgestimmt werden können, eine hohe Robustheit, da das Wasserzeichen nicht durch einen nachfolgenden Audiocodierer "geschwächt" wird, und die Möglichkeit einer geeigneten Wahl der Spreizbandparameter, um eine Kompatibilität zu dem PCM-Wasserzeichenverfahren zu erzielen. Ein Überblick über die komprimierte Wasserzeicheneinbettung/Codierung findet sich beispielsweise in
Zusammenfassend ausgedrückt sind Wasserzeichen für codierte und uncodierte Audiosignale in verschiedenen Varianten bekannt. Mit Hilfe von Wasserzeichen können Zusatzdaten robust und unhörbar innerhalb eines Audiosignals übertragen werden. Es existieren heutzutage wie oben gezeigt verschiedene Wasserzeicheneinbettungsverfahren, die sich in der Domäne der Einbettung, wie z.B. dem Zeitbereich, dem Frequenzbereich usw., und der Art der Einbettung, wie z.B. der Quantisierung, der Auslöschung einzelner Werte, usw., unterscheiden. Zusammenfassende Beschreibungen existierender Verfahren finden sich in
Obwohl die im Vorhergehenden kurz skizzierten Arten von Schemata zur Einbettung eines Wasserzeichens in Audiosignalen bereits recht ausgefeilt sind, besteht ein Nachteil darin, dass sich existierende Wasserzeichenverfahren fast ausschließlich auf die Aufgabe konzentriert haben, ein Wasserzeichen unhörbar mit einer hohen Einbringungsrate und einer hohen Robustheit, d.h. mit der Eigenschaft, dass das Wasserzeichen auch nach Signalveränderungen verwertbar ist, in das ursprüngliche Audiosignal einzubetten. Dabei wurde für die meisten Anwendungsgebiete das Hauptaugenmerk auf die Robustheit gelegt. Das am weitesten verbreitete Verfahren zur Beaufschlagung von Audiosignalen mit einem Wasserzeichen, nämlich die Spreizbandmodulation, wie sie beispielsweise in der im Vorhergehenden genannten
Aufgrund der Popularität und der Tatsache, dass die Prinzipien der spreizbandmodulationsbasierten Wasserzeichenverfahren allgemein bekannt sind, besteht die Gefahr, dass Verfahren bekannt werden, mit denen umgekehrt eine Zerstörung des Wasserzeichens aus den mit diesem Verfahren wasserzeichenbehafteten Audiosignalen erzielt werden kann. Aus diesem Grund ist es sehr wichtig, neue hochwertige Verfahren zu entwickeln, die als Alternative zur Spreizbandmodulation dienen können.Due to the popularity and the fact that the principles of spread spectrum modulation based watermarking methods are well known, there is a risk that methods will be known which, conversely, may result in destruction of the watermark from the audio watermarked with this method. For this reason, it is very important to develop new high-quality methods that can serve as an alternative to spread spectrum modulation.
Die Aufgabe der vorliegenden Erfindung besteht folglich darin, ein völlig neuartiges und damit auch sichereres Schema zur Einbringung eines Wasserzeichens in ein Informationssignal zu schaffen.The object of the present invention is therefore to provide a completely new and therefore safer scheme for introducing a watermark into an information signal.
Diese Aufgabe wird durch Vorrichtungen gemäß Anspruch 1 oder 22 und Verfahren gemäß Anspruch 23 oder 24 gelöst.This object is achieved by devices according to
Nach einem erfindungsgemäßen Schema zum Einbringen eines Wasserzeichens in ein Informationssignal wird zunächst das Informationssignal von einer Zeitdarstellung in eine Spektral/Modulationsspektraldarstellung überführt. Das Informationssignal wird dann in der Spektral/Modulationsspektraldarstellung abhängig von dem einzubringenden Wasserzeichen manipuliert, um eine modifizierte Spektral/Modulationsspektraldarstellung zu erhalten, und anschließend wird ein wasserzeichenbehaftetes Informationssignal basierend auf der modifizierten Spektral/Modulationsspektraldarstellung gebildet.According to a scheme according to the invention for introducing a watermark into an information signal, the information signal is first converted from a time representation into a spectral / modulation spectral representation. The information signal is then manipulated in the spectral / modulation spectral representation depending on the watermark to be introduced to obtain a modified spectral / modulation spectral representation and then a watermarked information signal is formed based on the modified spectral / modulation spectral representation.
Nach einem erfindungsgemäßen Schema zum Extrahieren eines Wasserzeichens aus einem wasserzeichenbehafteten Informationssignal, wird dementsprechend das wasserzeichenbehaftete Informationssignal von einer Zeitdarstellung in eine Spektral/Modulationsspektraldarstellung überführt, woraufhin das Wasserzeichen basierend auf der Spektral/Modulationsspektraldarstellung hergeleitet wird.Accordingly, according to a scheme of the invention for extracting a watermark from a watermarked information signal, the watermarked information signal is converted from a time representation to a spectral / modulation spectral representation, whereupon the watermark is derived based on the spectral / modulation spectral representation.
Ein Vorteil der vorliegenden Erfindung besteht darin, dass dadurch, dass gemäß der vorliegenden Erfindung das Wasserzeichen in der Spektral/Modulationsspektraldarstellung bzw. -Domäne eingebettet bzw. hergeleitet wird, traditionelle Korrelationsangriffe, wie sie bei den spreizbandmodulationsbasierten Wasserzeichenverfahren eingesetzt werden, nicht ohne weiteres zum Ziel führen. Hier macht sich insbesondere positiv bemerkbar, dass die Analyse eines Signals in der Spektral/Modulationsspektral-Domäne für potentielle Angreifer noch Neuland ist.One advantage of the present invention is that, in accordance with the present invention, the watermark is imbedded in the spectral / modulation spectral representation domain, traditional correlation attacks used in spread spectrum modulation based watermarking schemes are not readily targeted to lead. Here, it is particularly positive that the analysis of a signal in the spectral / modulation spectral domain is still new territory for potential attackers.
Weiterhin birgt die erfindungsgemäße Einbettung des Wasserzeichens in der Spektral/Modulationsspektral-Domäne bzw. in der 2-dimensionalen Modulationsspektral/Spektral-Ebene wesentlich mehr Variationen der Einbettungsparameter, wie z.B. an welchen "Stellen" in dieser Ebene die Einbettung lokalisiert ist, als dies bisher der Fall war. Die Auswahl der entsprechenden Stellen kann dabei gegebenenfalls auch zeitvariant erfolgen.Furthermore, the embedding of the watermark according to the invention in the spectral / modulation spectral domain or in the 2-dimensional modulation spectral / spectral plane entails substantially more variations of the embedding parameters, e.g. at which "places" in this level the embedding is located, as was previously the case. If necessary, the selection of the corresponding places can also be time-varying.
Durch Einbettung des Wasserzeichens in der Spektral/Modulationsspektral-Domäne ist es in dem Fall eines Audiosignals als dem Informationssignal unter Umständen ferner möglich, ohne die aufwendige Berechnung herkömmlicher psychoakustischer Parameter, wie z.B. der Mithörschwelle, eine unhörbare Einbettung eines Wasserzeichens vorzunehmen, um somit mit geringerem Aufwand trotzdem die Unhörbarkeit des Wasserzeichens sicherzustellen. Die Modifikation der Modulationswerte kann hierbei beispielsweise unter Ausnutzung von Verdeckungseffekten im Modulationsspektralbereich durchgeführt werden.By embedding the watermark in the spectral / modulation spectral domain, it may also be possible in the case of an audio signal as the information signal, without the elaborate computation of conventional psychoacoustic parameters, e.g. the Mithörschwelle to make an inaudible embedding of a watermark, so as to ensure with less effort nevertheless the inaudibility of the watermark. The modification of the modulation values can in this case be carried out, for example, by utilizing masking effects in the modulation spectral range.
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung sind nachfolgend bezugnehmend auf die beiliegenden Zeichnungen näher erläutert. Es zeigen:
- Fig. 1
- ein Blockdiagramm einer Vorrichtung zum Einbetten eines Wasserzeichens in ein Audiosignal gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
- Fig. 2
- eine schematische Zeichnung zur Veranschaulichung der Vorrichtung nach
Fig. 1 zugrunde liegenden Überführung eines Audiosignals in eine Frequenz/Modulationsfrequenz-Domäne; - Fig. 3
- ein Blockdiagramm einer Vorrichtung zum Extrahieren eines durch die Vorrichtung nach
Fig. 1 eingebetteten Wasserzeichens aus einem wasserzeichenbehafteten Audiosignal; - Fig. 4
- ein Blockschaltbild einer Vorrichtung zum Einbetten eines Wasserzeichens in ein Audiosignal gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung; und
- Fig. 5
- ein Blockdiagramm einer Vorrichtung zum Extrahieren eines durch die Vorrichtung nach
Fig. 4 eingebetteten Wasserzeichens aus einem wasserzeichenbehafteten Audiosignal.
- Fig. 1
- a block diagram of an apparatus for embedding a watermark in an audio signal according to an embodiment of the present invention;
- Fig. 2
- a schematic drawing for illustrating the device according to
Fig. 1 underlying transfer of an audio signal into a frequency / modulation frequency domain; - Fig. 3
- a block diagram of a device for extracting a device by the
Fig. 1 embedded watermark from a watermarked audio signal; - Fig. 4
- a block diagram of an apparatus for embedding a watermark in an audio signal according to another embodiment of the present invention; and
- Fig. 5
- a block diagram of a device for extracting a device by the
Fig. 4 embedded watermark from a watermarked audio signal.
Bezugnehmend auf die
Die Wasserzeicheneinbettung nach dem Schema von
Intern umfasst der Einbetter 10 eine Fensterungseinrichtung 18 und eine erste Filterbank 20, die in Reihe hinter den Eingang 12 geschaltet sind und dafür zuständig sind, das Audiosignal am Eingang 12 durch blockweise Verarbeitung von dem Zeitbereich 22 in den Zeit/Frequenzbereich 24 zu überführen. An den Ausgang der Filterbank 20 schließt eine Betrag/Phase-Detektionseinrichtung 26 an, um eine Aufteilung der Zeit/Frequenzbereichsdarstellung des Audiosignals in Betrag und Phase vorzunehmen. Eine zweite Filterbank 28 ist mit der Detektionseinrichtung 26 verbunden, um den Betragsanteil der Zeit/Frequenzbereichsdarstellung zu erhalten, und überführt den Betragsanteil in die Frequenz/Modulationsfrequenzbereichsdomäne 30, um auf diese Weise eine Frequenz/Modulationsfrequenzdarstellung des Audiosignals 12 zu erzeugen. Die Blöcke 18, 20, 26, 28 stellen somit einen Analyseteil des Einbetters 10 dar, der die Überführung des Audiosignals in die Frequenz/Modulationsfrequenzdarstellung erzielt.Internally, the
Eine Wasserzeicheneinbettungseinrichtung 32 ist mit der zweiten Filterbank 28 verbunden, um von derselben die Frequenz/Modulationsfrequenzdarstellung des Audiosignals 12 zu erhalten. Ein weiterer Eingang der Wasserzeicheneinbettungseinrichtung 32 ist mit dem Eingang 14 des Einbetters 10 verbunden. Die Wasserzeicheneinbettungseinrichtung 32 erzeugt eine modifizierte Frequenz/Modulationsfrequenzdarstellung.A
Ein Ausgang der Wasserzeicheneinbettungseinrichtung 32 ist mit einem Eingang einer zu der zweiten Filterbank 28 inversen Filterbank 34 verbunden, die für die Rücküberführung in den Zeit/Frequenzbereich 24 zuständig ist. Eine Phasenverarbeitungseinrichtung 36 ist mit der Detektionseinrichtung 26 verbunden, um den Phasenanteil der Zeit/Frequenzbereichsdarstellung 24 des Audiosignals zu erhalten und in manipulierter Form, wie es im Folgenden noch beschrieben wird, an eine Rekombinationseinrichtung 38 weiterzuleiten, die darüber hinaus mit einem Ausgang der inversen Filterbank 34 verbunden ist, um den modifizierten Betragsanteil der Zeit/Frequenzdarstellung des Audiosignals zu erhalten. Die Rekombinationseinrichtung 38 vereint den durch die Phasenverarbeitung 36 modifizierten Phasenanteil mit dem um das Wasserzeichen modifizierten Betragsanteil der Zeit/Frequenzbereichsdarstellung des Audiosignals und gibt das Ergebnis, nämlich die Zeit/Frequenzdarstellung des wasserzeichenbehafteten Audiosignals, an eine zu der ersten Filterbank 20 inverse Filterbank 40 aus. Zwischen den Ausgang der inversen Filterbank 40 und den Ausgang 16 ist eine Fensterungseinrichtung 42 geschaltet. Der Teil aus den Komponenten 34, 38, 40, 42 kann als Syntheseteil des Einbetters 10 betrachtet werden, da er dafür verantwortlich ist, aus der modifizierten Frequenz/Modulationsfrequenzdarstellung das wasserzeichenbehaftete Audiosignal in der Zeitdarstellung zu erzeugen.An output of the
Nachdem im Vorhergehenden der Aufbau des Einbetters 10 beschrieben worden ist, wird im Folgenden dessen Funktionsweise beschrieben.Having described the structure of the
Die Einbettung beginnt mit der Überführung des Audiosignals am Eingang 12 von der Zeitdarstellung in die Zeit/Frequenzdarstellung durch die Einrichtungen 18 und 20, wobei davon ausgegangen wird, dass das Audioeingangssignal am Eingang 12 in einer mit einer vorbestimmten Abtastfrequenz abgetasteten Weise vorliegt, nämlich als eine Folge von Abtast- bzw. Audiowerten. Liegt das Audiosignal noch nicht in einer solchen abgetasteten Form vor, so kann hierzu ein entsprechender A/D-Wandler als eine Abtasteinrichtung verwendet werden.The embedding begins with the transfer of the audio signal at the
Die Fensterungseinrichtung 18 empfängt das Audiosignal und extrahiert aus demselben eine Folge von Blöcken von Audiowerten. Hierzu fasst die Fensterungseinrichtung 18 jeweils eine vorbestimmte Anzahl von aufeinander folgenden Audiowerten des Audiosignals am Eingang 12 zu Zeitblöcken zusammen und multipliziert bzw. fenstert diese Zeitblöcke, die ja einen Zeitausschnitt aus dem Audiosignal 12 darstellen, mit einer Fenster- bzw. Gewichtungsfunktion, wie z.B. einem Sinusfenster, einem KBD-Fenster oder dergleichen. Dieser Vorgang wird als Fensterung bezeichnet und dabei beispielsweise derart durchgeführt, dass die einzelnen Zeitblöcke Zeitabschnitte des Audiosignals betreffen, die sich gegenseitig überlappen, wie z.B. um die Hälfte, sodass jeder Audiowert zwei Zeitblöcken zugeteilt ist.The
Der Vorgang der Fensterung durch die Einrichtung 18 ist in
Die Filterbank 20 erhält die Zeitblöcke bzw. Blöcke von gefensterten Audiowerten, wie es in
Die blockweise Überführung ist in
Da die Filterbank 20 pro Zeitblock einen Block 60 von Spektralwerten 62 erzeugt, ergeben sich mit der Zeit mehrere Folgen von Spektralwerten 62, nämlich eine pro Spektralkomponente k bzw. Teilband k. In
Wie es zu erkennen ist, entsteht somit über eine gewisse Anzahl, hier exemplarisch einer Anzahl von 8, von aufeinander folgenden Zeitblöcken hinweg eine Matrix 68 von Spektralwerten 62, die eine Zeit/Frequenzbereichsdarstellung 24 des Audiosignals über die Zeitdauer dieser Zeitblöcke hinweg darstellt.As can be seen, a
Die blockweise an den Zeitblöcken durch die Filterbank 20 durchgeführte Zeit/Frequenz-Transformation 56 ist beispielsweise eine DFT, DCT, MDCT oder dergleichen. Je nach Transformation sind die einzelnen Spektralwerte innerhalb eines Blockes 60 in bestimmte Teilbänder eingeteilt. Für jedes Teilband kann jeder Block 60 mehr als einen Spektralwert 62 aufweisen. Insgesamt entsteht somit über die Folge von Zeitblöcken hinweg pro Teilband bzw. Spektralkomponente eine Folge von Spektralwerten, die den zeitlichen Verlauf des jeweiligen Teilbandes wiedergeben und in
Die Filterbank 20 gibt blockweise die Blöcke 60 von Spektralwerten 62 an die Betrags/Phasen-Detektionseinrichtung 26 weiter. Letztere verarbeitet die komplexen Spektralwerte und gibt lediglich die Beträge derselben an die Filterbank 28 weiter. Die Phasen der Spektralwerte 62 gibt sie hingegen an die Phasenverarbeitungseinrichtung 36 weiter.The
Die Filterbank 28 verarbeitet die pro Teilband vorliegenden Folgen 70 von Beträgen von Spektralwerten 62 ähnlich der Filterbank 20, nämlich durch blockweises Transformieren dieser Folgen Block für Block in die Spektraldarstellung bzw. die Modulationsfrequenzdarstellung, und zwar unter Verwendung von vorzugsweise wiederum gefensterten und sich gegenseitig überlappenden Blöcken, wobei die zugrundeliegenden Blöcke aller Teilbänder vorzugsweise zeitlich zueinander gleich ausgerichtet sind. Anders ausgedrückt verarbeitet die Filterbank 28 jeweils N Spektralblöcke 60 von Spektralwertbeträgen gleichzeitig bzw. gemeinsam. Die N Spektralblöcke 60 von Spektralwertbeträgen bilden eine Matrix 68 von Spektralwertbeträgen. Existieren beispielsweise M Teilbänder, verarbeitet die Filterbank 28 die Spektralwertbeträge in Matrizen zu je N*M Spektralwertbeträgen. In
Nach Erhalt des Betragsanteils N aufeinanderfolgender Spektralblöcke bzw. der Matrix 68 transformiert also die Filterbank 28 - getrennt für jedes Teilband - die Blöcke von Spektralwertbeträgen der jeweiligen Teilbänder, also der Zeilen in der Matrix 68, von der Zeitdomäne 66 in eine Frequenzdarstellung, wobei wie bereits erwähnt die Spektralwertbeträge zur Vermeidung von Aliasingeffekten gefenstert sein können. Anders ausgedrückt überführt die Filterbank 28 jeden dieser Spektralwertbetragsblöcke aus den den zeitlichen Verlauf eines jeweiligen Teilbandes darstellenden Folgen 70 in eine Spektraldarstellung und erzeugt somit pro Teilband einen Block von Modulationswerten, die in
Wie bereits erwähnt kann zur Vermeidung von Artefakten die Filterbank 28 oder die Einrichtung 26 eine interne Fenstereinrichtung (nicht gezeigt) aufweisen, die die Transformationsblöcke, also die Zeilen der Matrix 68, von Spektralwerten pro Teilband vor ihrer jeweiligen Zeit/Modulationsfrequenz-Transformation 80 durch die Filterbank 28 in den Modulationsfrequenzbereich 30, um die Blöcke 74 zu erhalten, einer Fensterung mit einer Fensterfunktion 82 unterzieht.As already mentioned, to avoid artifacts, the
Es wird noch einmal explizit darauf hingewiesen, dass auf die im Vorhergehenden beschriebene Weise eine Folge von Matrizen 80 verarbeitet werden, die sich in dem im Vorhergehenden erwähnten exemplarisch 50%-Überlapp-Fensterung - um 50% in der Zeit überlappen. Anders ausgedrückt bildet die Filterbank 28 die Matrix 80 für aufeinander folgende N Zeitblöcke derart, dass die Matrizen 80 jeweils N Zeitblöcke betreffen, die sich um die Hälfte überschneiden, wie es in
Die Modulationswerte der Frequenz/Modulationsfrequenzbereichsdarstellung 30, wie sie von der Filterbank 28 ausgegeben werden, erreichen die Wasserzeicheneinbettungseinrichtung 32. Die Wasserzeicheneinbettungseinrichtung 32 modifiziert nun die Modulationsmatrix 80 bzw. einzelne oder mehrere der Modulationswerte der Modulationsmatrizen 80 des Audiosignals 12. Die von der Einrichtung 32 vorgenommene Modifikation kann beispielsweise durch eine multiplikative Gewichtung einzelner Modulationsfrequenz/Frequenz-Segmente des Modulationsteilbandspektrums bzw. der Frequenz/Modulationsfrequenzbereichsdarstellung erfolgen, d.h. durch eine Gewichtung der Modulationswerte innerhalb eines bestimmten Bereichs des durch die Achsen 76 und 78 aufgespannten Frequenz/Modulationsfrequenz-Raumes. Ebenso könnte die Modifikation das Setzen einzelner Segmente bzw. Modulationswerte auf bestimmte Werte aufweisen.The modulation values of the frequency / modulation
Die multiplikative Gewichtung bzw. die bestimmten Werte würden in vorgegebener Weise von dem Wasserzeichen abhängen, das am Eingang 14 erhalten wird. Dabei könnte das Setzen einzelner Modulationswerte bzw. Segmente von Modulationswerten auf bestimmte Werte signaladaptiv erfolgen, d.h. zusätzlich abhängig von dem Audiosignal 12 an sich.The multiplicative weighting or values would depend in a predetermined manner on the watermark obtained at the
Die einzelnen Segmente des 2-dimensionalen Modulationsteilbandspektrums können einerseits durch Unterteilung der akustischen Frequenzachse 78 in Frequenzgruppen gewonnen werden, andererseits kann eine weitere Segmentierung durch Unterteilung der Modulationsfrequenzachse 76 in Modulationsfrequenzgruppen durchgeführt werden. In
Nachdem die Einrichtung 32 die Modulationsmatrix 80 modifiziert hat, sendet dieselbe die modifizierten Modulationswerte der Modulationsmatrix 80 an die inverse Filterbank 34 weiter. Diese überführt mittels einer Transformation, die zu derjenigen der Filterbank 28 invers ist, also z.B. einer IDFT, IFFT, IDCT, IMDCT oder dergleichen, die Modulationsmatrix 80 Block-74-weise, d.h. getrennt nach Teilband, entlang der Modulationsfrequenzachse 76 in die Zeit/Frequenzbereichsdarstellung 24 zurück, um dadurch modifizierte Betragsanteil-Spektralwerte zu erhalten. Anders ausgedrückt transformiert die inverse Filterbank 34 jeden einem bestimmten Teilband zugehörigen Block von modifizierten Modulationswerten 74 mit einer zu der Transformation 86 inversen Transformation in eine Folge von Betragsanteil-Spektralwerten pro Teilband, wodurch sich nach dem vorhergehenden Ausführungsbeispiel eine Matrix von N x M Betragsanteil-Spektralwerten ergibt.After the
Die Betragsanteil-Spektralwerte von der inversen Filterbank 34 beziehen sich also immer auf zweidimensionale Blöcke bzw. Matrizen aus dem Strom von Folgen von Spektralwerten, in natürlich um das Wasserzeichen modifizierter Form. Nach dem exemplarischen Ausführungsbeispiel überlappen sich diese Blöcke um 50%. Eine beispielsweise in der Einrichtung 34 vorgesehene Einrichtung (nicht gezeigt) kompensiert nun in diesem exemplarischen 50%-Überlappungsfall die Fensterung, indem sie die sich überlappenden rekombinierten Spektralwerte aufeinanderfolgender, durch Rücktransformation aufeinanderfolgender Modulationsmatrizen erhaltener Matrizen von Spektralwerten addiert. Hierdurch entstehen aus den einzelnen Matrizen von modifizierten Spektralwerten wieder Ströme bzw. Folgen von modifizierten Spektralwerten, nämlich eine pro Teilband. Diese Folgen korrespondieren lediglich mit dem Betragsanteil der unmodifizierten Folgen 70 von Spektralwerten, wie sie von der Einrichtung 20 ausgegeben wurden.The absolute value spectral values from the
Die Rekombinationseinrichtung 38 verknüpft die zu Teilbandströmen zusammengeführten Betragsanteil-Spektralwerte von der inversen Filterbank 34 mit den Phasenanteilen der Spektralwerte 62, wie sie von der Detektionseinrichtung 26 unmittelbar nach der Transformation 56 durch die erste Filterbank 20 abgesondert worden sind, jedoch in einer durch die Phasenverarbeitung 36 modifizierten Form. Und zwar modifiziert die Phasenverarbeitungseinrichtung 36 die Phasenanteile in einer von der Wasserzeicheneinbettung durch die Einrichtung 32 getrennten aber unter Umständen von dieser Einbettung abhängigen Weise derart, dass die Detektierbarkeit des Wasserzeichens im später bezugnehmend auf
Auf diese Weise erzeugt die Einrichtung 38 also Folgen von Spektralwerten pro Teilband wie diejenige, die nach der Filterbank 20 direkt aus dem unveränderten Audiosignal erhalten worden ist, nämlich die Folgen 70, jedoch in um das Wasserzeichen veränderter Form, so dass die von der Einrichtung 38 ausgegebenen rekombinierten und bezüglich des Betragsanteils modifizierten Spektralwerte eine Zeit/Frequenzdarstellung des wasserzeichenbehafteten Audiosignals repräsentieren.In this way, the
Die inverse Filterbank 40 erhält somit wieder Folgen von modifizierten Spektralwerten, nämlich eine pro Teilband. Anders ausgedrückt, erhält die inverse Filterbank 40 pro Zyklus eine Block von modifizierten Spektralwerte, also eine Frequenzdarstellung des wasserzeichenbehafteten Audiosignals bezüglich eines Zeitabschnittes desselben. Dementsprechend führt die Filterbank 40 eine zu der Transformation 56 der Filterbank 20 inverse Transformation an jedem solchen Block von Spektralwerten, d.h. entlang der Frequenzachse 70 angeordneten Spektralwerten, durch, um als Ergebnis modifizierte gefensterte Zeitblöcke bzw. Zeitblöcke von gefensterten modifizierten Audiowerten zu erhalten. Die anschließende Fensterungseinrichtung 42 kompensiert die Fensterung, wie sie durch die Fensterungseinrichtung 18 eingeführt worden ist, indem sie innerhalb der überlappenden Bereiche einander entsprechende Audiowerte addiert, wodurch sich am Ausgang 16 das wasserzeichenbehaftete Ausgangssignal in der Zeitbereichsdarstellung 22 ergibt.The
Nachdem im Vorhergehenden die Einbettung eines Wasserzeichens gemäß dem Ausführungsbeispiel von
Der Wasserzeichendecoder von
Eine Wasserzeichen-Decodierungseinrichtung 132, die mit der Filterbank 128 verbunden ist, um die Frequenz/Modulationsbereichsdarstellung des wasserzeichenbehafteten Eingangssignals bzw. die Modulationsmatrizen zu erhalten, ist vorgesehen, um das ursprünglich durch den Einbetter 10 eingebrachte Wasserzeichen aus dieser Darstellung zu extrahieren und am Ausgang 114 auszugeben. Die Extraktion wird an vorbestimmten Stellen der Modulationsmatrizen vorgenommen, die mit denjenigen korrespondieren, die von dem Einbetter 10 zur Einbettung verwendet worden sind. Die Übereinstimmung der Auswahl der Stellen wird beispielsweise durch entsprechende Standardisierung sichergestellt.A
Gegenüber den Modulationsmatrizen, wie sie im Einbetter 10 in der Einrichtung 32 erzeugt wurden, bewirkte Veränderungen der Modulationsmatrizen, wie sie der Wasserzeichen-Decodierungseinrichtung 132 zugehen, können auch daher rühren, dass das wasserzeichenbehaftete Eingangssignal zwischen seiner Erzeugung bzw. Ausgabe am Ausgang 16 und der Detektion durch den Detektierer 100 bzw. dem Empfang am Eingang 112 auf irgendeine Weise verschlechtert worden ist, wie z.B. durch eine gröbere Quantisierung der Audiowerte oder dergleichen.Compared to the modulation matrices, as produced in the
Bevor im Folgenden bezugnehmend auf die
Einerseits kann das im Vorhergehenden beschriebene Ausführungsbeispiel zur Einbettung eines Wasserzeichens in ein Audiosignal zum Nachweis der Urheberschaft eines Audiosignals verwendet werden. Bei dem ursprünglichen Audiosignal, das am Eingang 12 eintrifft, handelt es sich beispielsweise um ein Musikstück. Während der Produktion von Musikstücken können durch den Einbetter 10 Urheberinformationen in Form eines Wasserzeichens in das Audiosignal eingebracht werden, wodurch das wasserzeichenbehaftete Audiosignal am Ausgang 16 entsteht. Wenn nun ein Dritter behauptet, Urheber des entsprechenden Musikstückes bzw. Musiktitels zu sein, kann der Nachweis der tatsächlichen Urheberschaft mit Hilfe des Wasserzeichens geführt werden, das aus dem wasserzeichenbehafteten Audiosignal mittels des Detektors 100 wieder extrahiert werden kann und ansonsten bei normalem Abspielen unhörbar ist.On the one hand, the embodiment described above may be used to embed a watermark in an audio signal to prove authorship of an audio signal. The original audio signal arriving at
Ein weiterer möglicher Einsatz oben dargestellter Wasserzeicheneinbettung besteht darin, Wasserzeichen für die Protokollierung des Sendeprogramms von TV- und Radiosendern zu verwenden. Rundfunkprogramme untergliedern sich zumeist in unterschiedliche Abschnitte, wie z.B. einzelne Musiktitel, Hörspiele, Werbespots oder dergleichen. Der Urheber eines Audiosignals oder zumindest derjenige, der an einem bestimmten Musiktitel oder Werbespot verdienen darf und möchte, kann nun sein Audiosignal mit dem Einbetter 10 mit einem Wasserzeichen versehen, und das wasserzeichenbehaftete Audiosignal dem Rundfunkbetreiber zukommen lassen. Musiktitel oder auch Werbespots können auf diese Weise mit einem jeweils eindeutigen Wasserzeichen beaufschlagt werden. Zur Protokollierung des Sendeprogramms kann nun z.B. ein Computer herangezogen werden, der das Rundfunksignal auf ein Wasserzeichen hin untersucht und gefundene Wasserzeichen protokolliert. Anhand der Liste des entdeckten Wasserzeichens lässt sich ohne weiteres eine Sendeliste für den entsprechenden Rundfunksender generieren, was die Abrechnung bzw. Gebührenbezahlung erleichtert.Another potential use of watermark embedding shown above is to use watermarks for logging the broadcast program of TV and radio stations. Broadcasting programs are usually divided into different sections, e.g. individual music titles, radio plays, commercials or the like. The author of an audio signal, or at least the one who may and wants to earn a particular song or commercial, can now watermark his audio signal with the
Ein weiteres Einsatzgebiet besteht darin, Wasserzeichen zur Ermittelung illegaler Kopien zu verwenden. In dieser Hinsicht lohnt sich der Einsatz von Wasserzeichen insbesondere für den Musikvertrieb über das Internet. Erwirbt ein Käufer einen Musiktitel, wird während der Übermittlung der Musikdaten an den Käufer eine eindeutige Kundennummer mit Hilfe eines Wasserzeichens in die Daten eingebettet. Das Ergebnis sind Musiktitel, in denen das Wasserzeichen unhörbar eingebettet ist. Wird zu einem späteren Zeitpunkt ein Musiktitel an einer nicht genehmigten Stelle im Internet, wie z.B. einer Tauschbörse, gefunden, kann dieses Stück auf das Wasserzeichen hin mittels eines Decodierers nach
Weitere Anwendungen für Wasserzeichen sind beispielsweise in der Druckschrift
Im folgenden werden ein Einbetter und ein WasserzeichenDecoder bezüglich eines Ausführungsbeispiels für ein Einbettungsschema beschrieben, bei dem eine verglichen zu dem Ausführungsbeispiel in
Der Einbetter von
Die vorhergehende Betrachtung bezog sich lediglich auf einzelne Blöcke 60 von Spektralwerten. Aus der vorhergehenden Erörterung wird jedoch auch deutlich, dass ein linearer Phasenanstieg auch bei Spektralwerten feststellbar ist, die sich bei aufeinander folgenden Zeitblöcken für ein und dasselbe Teilband ergeben, also ein Phasenanstieg entlang der Zeilen in
Die Trägerfrequenzbestimmungseinrichtung 214 fittet bzw. passt deshalb durch geeignete Verfahren, beispielsweise mit einem kleinste-Fehlerquadrate-Algorithmus, eine Ebene in die geunwrappten bzw. einem Phasenunwrapping bzw. einer Phasenentwicklung bzw. Phasenabschnittsaneinanderreichung unterzogenen Phasen der Spektralwerte 62 der Matrix 68 ein, und schließt aufgrund dessen auf den auf den Phasenversatz der Zeitblöcke rückzuführenden Phasenanstieg zurück, der bei den Folgen 70 von Spektralwerten für die einzelnen Teilbänder innerhalb der Matrix 68 auftritt. Insgesamt ergeben sich somit pro Teilband ein hergeleiteter Phasenanstieg, der der gesuchten Modulationsträgerkomponente entspricht. Diese gibt die Einrichtung 214 an den Mischer 212 weiter, damit die jeweilige Folge 70 von Spektralwerten durch den Mischer 212 mit der komplex Konjugierten derselben gemischt wird, bzw. mit e-j(w*m+ϕ) multipliziert wird, wobei m den bestimmten Träger angibt, m der Index für die Spektralwerte ist und ϕ einen Phasenversatz des bestimmten Trägers zum betrachteten Zeitausschnitt der N Zeitblöcke ist. Natürlich kann die Trägerfrequenzbestimmungseinrichtung 214 auch eindimensionale Einpassungen einer Geraden in die Phasenverläufe der einzelnen Folgen 70 von Spektralwerten 62 innerhalb der Matrizen 68 durchführen, um die einzelnen auf den Phasenversatz der Zeitblöcke rückzuführenden Phasenanstieg zu erhalten. Nach der Demodulation durch den Mischer 212 ist deshalb der Phasenanteil der Spektralwerte der Matrix 68 "eingeebnet", und variiert lediglich noch im Mittel um die Phase Null aufgrund der Gestalt des Audiosignals selbst herum.The
Die so modifizierten Spektralwerte 62 gibt der Mischer 212 an die Filterbank 28 weiter, die dieselben matrixweise (Matrix 68 in
Die so erzeugten aufeinander folgenden Modulationsmatrizen werden einer Wasserzeichen-Einbettungseinrichtung 216 weitergeleitet, die an einem weiteren Eingang das Wasserzeichen 14 erhält. Die Wasserzeicheneinbettungseinrichtung 216 funktioniert beispielsweise auf ähnliche Weise wie die Einbettungseinrichtung 32 des Einbetters 10 von
Die veränderten Modulationswerte bzw. die veränderten bzw. modifizierten Modulationsmatrizen werden an die inverse Filterbank 34 weitergeleitet, wodurch sich aus den modifizierten Modulationsmatrizen Matrizen von modifizierten Spektralwerten ergeben. Bei diesen modifizierten Spektralwerten ist noch die Phasenkorrektur rückgängig zu machen, die durch die Demodulation mittels des Mischers 212 herbeigeführt worden ist. Deshalb werden die von der inversen Filterbank 34 pro Teilband ausgegebenen Blöcke von modifizierten Spektralwerten mittels eines Mischers 218 mit einer Demodulationsträgerkomponente gemischt bzw. multipliziert, die zu derjenigen komplex konjugiert ist, die vor der Überführung in den Frequenz/Modulationsfrequenzbereich zur Demodulation durch den Mischer 212 für dieses Teilband verwendet worden ist, indem also eine Multiplikation dieser Blöcke mit ej(w*m+ϕ) durchgeführt wird, wobei wiederum w den bestimmten Träger für das jeweilige Teilband angibt, m der Index für die modifizierten Spektralwerte ist und ϕ einen Phasenversatz des bestimmten Trägers zum betrachteten Zeitausschnitt der N Zeitblöcke für das jeweilige Teilband ist. Hierdurch wird der jeweilige Modulator für das jeweilige Teilband, der sich ja auf den Inhalt eines bestimmten Subbandblockes bezieht bzw. nach der Blockeinteilung durch die Modulation 212, 214 angewendet worden ist, vor der anschließenden Blockzusammenführung wieder invertiert.The modified modulation values or the changed or modified modulation matrices are forwarded to the
Die so erhaltenen Spektralwerte liegen noch in Form von Blöcken, nämlich zu je einem Block von modifizierten Spektralwertblöcken pro Teilband vor und werden gegebenenfalls noch einer OLA bzw. Zusammenfügung zur Rückgängigmachung der Fensterung unterzogen, wie z.B. auf die bezugnehmend auf 34 von
Ein Vorteil der Vorgehensweise nach
Ein Wasserzeichen-Decodierer, der geeignet ist, um das wasserzeichenbehaftete Audiosignal, wie es von dem Einbetter 210 ausgegeben wird, zu verarbeiten, um daraus das Wasserzeichen zu extrahieren, ist in
Die vorhergehenden Ausführungsbeispiele betrafen folglich eine bisher nicht da gewesene Verbindung der Themenbereiche "Teilbandmodulationsspektralanalyse" und "digitales Wasserzeichen" zu einem Gesamtsystem zur Einbringung von Wasserzeichen mit einem Einbettersystem auf der einen und einem Detektorsystem auf der anderen Seite. Das Einbettersystem dient zum Einbringen des Wasserzeichens. Es besteht aus einer Teilbandmodulationsspektralanalyse, einer Einbetterstufe, die eine Modifikation der durch die Analyse gewonnenen Signalrepräsentation vornimmt, und einer Synthese des Signals der modifizierten Repräsentation. Das Detektorsystem dient umgekehrt zur Erkennung eines vorhandenen Wasserzeichens in einem wasserzeichenbehafteten Audiosignal. Es besteht aus einer Teilbandmodulationsspektralanalyse und einer Detektionsstufe, die unter Verwendung der durch die Analyse gewonnenen Signalrepräsentation das Wasserzeichen erkennt und auswertet.The previous embodiments thus related to a heretofore unprecedented connection of subband modulation spectral analysis and digital watermarking to an overall system for watermarking with a potting system on one side and a detector system on the other side. The embedding system is used to introduce the watermark. It consists of a subband modulation spectral analysis, an embedder stage that modifies the signal representation obtained by the analysis, and a synthesis of the modified representation signal. Conversely, the detector system serves to detect an existing watermark in a watermarked audio signal. It consists of a subband modulation spectral analysis and a detection stage that detects and evaluates the watermark using the signal representation obtained by the analysis.
Im Hinblick auf die Auswahl derjenigen Stellen im Frequenz/Modulationsfrequenzbereich bzw. derjeniger Modulationswerte im Frequenz/Modulationsfrequenzbereich, die zur Wasserzeicheneinbettung bzw. Wasserzeichenextraktion herangezogen werden, wird darauf hingewiesen, dass diese Auswahl nach psychoakustischen Gesichtspunkten getroffen werden sollte, um zu gewährleisten, dass das Wasserzeichen bei Abspielen des wasserzeichenbehafteten Audiosginals unhörbar ist. Zur geeigneten Auswahl können Verdeckungseffekte im Modulationsspektralbereich ausgenutzt werden. Hierzu sei beispielsweise auf
Für ein näheres Verständnis der Modulationsspektralanalyse im allgemeinen sei noch auf folgende Veröffentlichungen verwiesen, die sich auf die Audiocodierung unter Verwendung einer Modulationstransformation beziehen, und bei denen das Signal durch eine Transformation in Frequenzbänder zerlegt wird, anschließend eine Zerlegung nach Betrag und Phase vorgenommen wird, und dann, während die Phase nicht weiterverarbeitet wird, die Beträge je Teilband über eine Anzahl von Transformationsblöcken in einer zweiten Transformation erneut transformiert werden. Ergebnis ist eine Frequenzzerlegung der zeitlichen Hüllkurve des betreffenden Teilbandes in "Modulationskoeffizienten". Diese weiterführenden Druckschriften umfassen den Artikel
Die vorhergehenden Ausführungsbeispiele stellen lediglich exemplarische Möglichkeiten dar, um Audioaufnahmen mit unhörbaren und gegen Manipulation robusten Zusatzinformationen versehen zu können, und dabei die Wasserzeicheneinbringung im sogenannten Teilbandmodulationsspektralbereich vorzunehmen sowie die Detektierung im Teilbandmödulationsspektralbereich vorzunehmen. Jedoch können verschiedene Variationen an diesen Ausführungsbeispielen vorgenommen werden. Die im Vorhergehenden erwähnten Fensterungseinrichtungen könnten lediglich der Blockbildung dienen, d.h. die Multiplikation bzw. Gewichtung mit den Fensterfunktionen könnte auch entfallen. Ferner könnte man auch andere Fensterfunktionen als die im Vorhergehenden erwähnten Beträge von trigonometrischen Funktionen verwenden. Auch die 50%-Blocküberlappung könnte entfallen oder anders ausgeführt sein. Dementsprechend könnte auch die Blocküberlappung auf Seiten der Sythese andere Operationen als eine reine Addition zusammengehörender Audiowerte in aufeinander folgenden Zeitblöcken umfassen. Auch die Fensterungen bei der zweiten Transformationsstufe könnten auf entsprechende Weise variiert werden.The preceding embodiments are merely exemplary possibilities to be able to provide audio recordings with inaudible and anti-manipulation additional information, and in doing so make the watermark insertion in the so-called subband modulation spectral range and to perform the detection in the subband modulation spectral range. However, various variations can be made to these embodiments. The fenestration devices mentioned above could only serve for blocking, ie the multiplication or weighting with the window functions could also be omitted. Furthermore, one could also use other window functions than the above-mentioned amounts of trigonometric functions. Also, the 50% block overlap could be omitted or executed differently. Correspondingly, the block overlap on the side of the synthesis could also involve operations other than a mere addition of related audio values in successive time blocks. The windowings in the second transformation stage could also be varied in a corresponding manner.
Es wird ferner darauf hingewiesen, dass die Audiosignaleinbringung nicht unbedingt vom Zeitbereich in die Frequenz/Modulationsfrequenzbereichsdarstellung und von dort wieder - nach der Modifikation - in die Zeitbereichsdarstellung zurückführen muss. Es wäre ferner möglich, dass die beiden vorhergehenden Ausführungsbeispiele dahin gehend modifiziert werden, dass die Werte, wie sie von der Rekombinationseinrichtung 38 bzw. dem Mischer 218 ausgegeben werden, zu einem wasserzeichenbehafteten Audiosignal in einem Bitstrom vereinigt werden, um in einem Zeit/Frequenzbereich vorzuliegen.It should also be noted that the audio signal input does not necessarily have to be returned from the time domain to the frequency / modulation frequency domain representation and from there again - after the modification - to the time domain representation. It would also be possible to modify the previous two embodiments to merge the values output from the
Ferner könnte die im zweiten Ausführungsbeispiel verwendete Demodulation auch anders ausgeführt sein, z.B. durch Veränderung der Phasenverläufe der Spektralwertblöcke innerhalb der Matrizen 68 durch andere Maßnahmen als durch reine Multiplikation mit einem festen komplexen Träger.Furthermore, the demodulation used in the second embodiment could also be performed differently, e.g. by changing the phase curves of the spectral value blocks within the
In Bezug auf die vorhergehenden Ausführungsbeispiele für mögliche Decodierer, die bezugnehmend auf
Es wird noch darauf hingewiesen, dass sich vorhergehenden Ausführungsbeispiele zwar ausschließlich auf die Wasserzeicheneinbettung in Hinblick auf Audiosignale bezog, dass das vorliegende Wasserzeicheneinbettungsschema aber auch auf andere Informationssignale anwendbar ist, wie z.B. auf Steuersignale, Messsignale, Videosignale oder dergleichen, um dieselben beispielsweise auf ihre Authentizität zu überprüfen. In all diesen Fällen ist es durch das vorliegend vorgeschlagene Schema möglich, die Einbettung von Informationen derart vorzunehmen, dass sie die üblichen Nutzung des Informationssignals in der wasserzeichenbehafteten Form nicht beeinträchtigt, wie z.B. die Analyse des Messergebnisse oder den optischen Eindruck des Videos oder dergleichen, weshalb auch in diesen Fällen die einzubettenden Zusatzdaten als Wasserzeichen bezeichnet werden.It should be noted that although prior embodiments referred exclusively to watermark embedding with respect to audio signals, the present watermark embedding scheme is also applicable to other information signals, such as e.g. to control signals, measurement signals, video signals or the like, for example, to check their authenticity. In all these cases, the scheme proposed herein makes it possible to embedding information so as not to interfere with the usual use of the information signal in the watermarked form, e.g. the analysis of the measurement results or the visual impression of the video or the like, which is why even in these cases, the additional data to be embedded are referred to as watermarks.
Insbesondere wird darauf hingewiesen, dass abhängig von den Gegebenheiten das erfindungsgemäße Schema auch in Software implementiert sein kann. Die Implementation kann auf einem digitalen Speichermedium, insbesondere einer Diskette oder einer CD mit elektronisch auslesbaren Steuersignalen erfolgen, die so mit einem programmierbaren Computersystem zusammenwirken können, dass das entsprechende Verfahren ausgeführt wird. Allgemein besteht die Erfindung somit auch in einem Computerprogrammprodukt mit auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des erfindungsgemäßen Verfahrens, wenn das Computerprogrammprodukt auf einem Rechner abläuft. In anderen Worten ausgedrückt kann die Erfindung somit als ein Computerprogramm mit einem Programmcode zur Durchführung des Verfahrens realisiert werden, wenn das Computerprogramm auf einem Computer abläuft.In particular, it should be noted that, depending on the circumstances, the inventive scheme can also be implemented in software. The implementation may be on a digital storage medium, in particular a floppy disk or a CD with electronically readable control signals, which may cooperate with a programmable computer system such that the corresponding method is executed. In general, the invention thus also consists in a computer program product with program code stored on a machine-readable carrier for carrying out the method according to the invention when the computer program product runs on a computer. In other words, the invention can thus be realized as a computer program with a program code for carrying out the method when the computer program runs on a computer.
Claims (25)
- A device for introducing a watermark into an information signal, comprising:means (18, 20, 26, 28; 18, 20, 212, 214, 28) for transferring the information signal from a time representation (22) to a spectral/modulation spectral representation (30);means (32; 216) for modifying the information signal in the spectral/modulation spectral representation in dependence on the watermark to be introduced to obtain a modified spectral/modulation spectral representation; andmeans (34, 38, 40, 42; 34, 218, 40, 42) for forming an information signal provided with a watermark based on the modified spectral/modulation spectral representation.
- The device according to claim 1, wherein the means for transferring to the spectral/modulation spectral representation comprises:means (18, 20) for transferring the information signal to a time/spectral representation by transforming the information signal block by block; andmeans (26, 28; 212, 214, 28) for transferring the information signal from the time/spectral representation to the spectral/modulation spectral representation.
- The device according to claim 2, wherein the means (18, 20) for transferring the information signal to a time/spectral representation is formed to divide the time/spectral representation to a plurality of spectral components to obtain a sequence of spectral values per spectral component, and the means (26, 28; 212, 214, 28) for transferring the information signal from the time/spectral representation to the spectral/modulation spectral representation comprises means (26, 28; 212, 214, 28) for, for a predetermined spectral component, spectrally dividing the sequence of spectral values block by block to obtain a part of the spectral/modulation spectral representation.
- The device according to claim 3, wherein the means (212, 214, 28) for, for a predetermined spectral component, spectrally dividing the sequence of spectral values block by block is formed to at first multiply (212) the sequence of spectral values block by block by a complex carrier such that a magnitude of a mean slope of a phase form of the sequence of spectral values decreases to obtain demodulated blocks of spectral values, and to then spectrally divide (28) the demodulated blocks of spectral values block by block to obtain the part of the modified spectral/modulation spectral representation.
- The device according to claim 4, wherein the means (212, 214, 28) for, for a predetermined spectral component, spectrally dividing the sequence of spectral values block by block comprises means (214) for, depending on the time/spectral representation of the information signal, varying block by block the complex carrier by which the sequence of spectral values is multiplied.
- The device according to claim 5, wherein the means (214) for varying is formed to unwrap phases of the spectral values in the sequence of spectral values block by block for varying the complex carrier block by block to obtain a phase form, to determine a mean slope of the phase form and to determine the complex carrier based on the mean slope.
- The device according to claim 6, wherein the means (214) for varying is further formed to determine an axis portion of the phase form from the phase form and to determine the complex carrier additionally based on the axis portion.
- The device according to one of claims 4 to 7, wherein the means (34, 218, 40, 42) for forming the information signal provided with a watermark comprises:means (34) for retransferring the information signal from the modified spectral/modulation spectral representation to a modified time/spectral representation to obtain modified demodulated blocks of spectral values for the predetermined spectral component; andmeans (218) for multiplying the modified demodulated blocks of spectral values block by block by a carrier being a complex conjugate to the complex carrier to obtain modified blocks of spectral values; andmeans for uniting the modified demodulated blocks of spectral values to form a modified sequence of spectral values to obtain a part of a time/spectral representation of the information signal provided with a watermark.
- The device according to claim 8, wherein the means for forming further comprises:means for retransferring the information signal provided with a watermark from the time/spectral representation to the time representation.
- The device according to claim 3, wherein the means (26, 28) for, for a predetermined spectral component, spectrally dividing the sequence of spectral values block by block is formed to at first subject the sequence of spectral values to a magnitude calculation (26) to obtain a sequence of magnitudes of spectral values, and to then transform the sequence of magnitudes of spectral values block by block to the modulation spectral representation (28) to obtain the part of the spectral/modulation spectral representation.
- The device according to claim 10, wherein the means (34, 218, 40, 42) for forming the information signal provided with a watermark comprises:means (34) for retransferring the information signal from the modified spectral/modulation spectral representation to a modified time/spectral representation to obtain a modified sequence of spectral values for the predetermined spectral component; andmeans (38) for recombining the modified sequence of spectral values with phases which are based on phases of the sequence of spectral values to obtain a part of a time/spectral representation of the information signal provided with a watermark.
- The device according to claim 1, wherein the means (18, 20) for transferring the information signal from the time representation to the spectral/modulation spectral representation comprises:block forming means (18) for forming a sequence of blocks of information values from the information signal; andmeans (20) for spectrally dividing each of the sequence of blocks of information values to obtain a sequence of spectral value blocks, each spectral value block comprising a spectral value for each of a predetermined plurality of spectral components so that the sequence of spectral value blocks forms a sequence of spectral values per spectral component; andmeans (26, 28; 212, 214, 28) for spectrally dividing a predetermined sequence of the sequences to obtain a block of modulation values,wherein the means (32, 216) for modifying is formed to modify the block of modulation values in dependence on the watermark to be introduced to obtain a modified block of modulation values, and the means (34, 38, 40, 42; 34, 218, 40, 42) for forming is formed to form the information signal provided with a watermark based on the modified block of modulation values.
- The device according to claim 12, wherein the means (34, 38, 40, 42; 34, 218, 40, 42) for forming is formed to retransfer the modified block of modulation values from the spectral division (34, 38; 34, 218) to obtain a modified sequence of spectral values, and to retransfer (40) a sequence of modified spectral blocks which is based on the modified sequence of spectral values to obtain a sequence of modified blocks of information values, and to unite (42) the modified blocks of information values to obtain the information signal provided with a watermark.
- The device according to claims 12 or 13, wherein the block forming means (18) is formed to extract the blocks of information values from the information signal such that the blocks of information values are associated to successive time sections of the information signal overlapping one another by one half, and the means (42) for forming is formed to, when uniting, overlap the modified time blocks to one another by one half and combine aligned information values of neighboring information blocks.
- The device according to one of claims 12 to 14, wherein the means (20) for spectrally dividing each of the sequence of blocks of information values is formed such that it provides a sequence of complex spectral values per spectral component when spectrally dividing, and the means (26, 28) for spectrally dividing the predetermined sequence of the sequences of spectral values is formed to only spectrally divide (28) the magnitudes of the complex spectral values to obtain the block of modulation values.
- The device according to claim 15, wherein the means for forming is formed to retransfer (34) the modified block of modulation values from the spectral division to obtain a modified sequence of spectral values, to adjust (36) phases of the sequence of complex spectral values in dependence on the modification by the means for modifying to obtain a sequence of adjusted phase values, to recombine (38) the sequence of adjusted phase values with the modified sequence of spectral values to obtain a recombined modified sequence of spectral values, and to retransfer (40) a sequence of modified spectral value blocks which is based on the recombined modified sequence of spectral values to obtain the modified blocks of information values.
- The device according to claim 12, wherein the means (20) for spectrally dividing each of the sequence of blocks of information values is formed such that it provides a sequence of complex spectral values per spectral component when spectrally dividing, and the means (212, 214, 28) for transferring the predetermined ones of the sequences of spectral values to the spectral/modulation spectral representation is formed to at first manipulate (212) the sequence of spectral values such that a phase of the spectral values of the at least one sequence of spectral values is increased or decreased by a magnitude continually increasing with the sequence or decreasing to obtain a phase-manipulated sequence of spectral values, and to then spectrally divide (28) the phase-manipulated sequence of spectral values to obtain the at least one block of modulation values, and the means for forming (34, 218, 40, 42) is formed to retransfer the modified block of modulation values from the spectral division to obtain a modified sequence of spectral values, to manipulate (218) the modified sequence of spectral values conversely to the means (212) for spectrally dividing the predetermined ones of the sequences of spectral values such that a phase of the spectral values of the at least one sequence of spectral values is increased or decreased by a magnitude continuously increasing with the sequence or decreasing to obtain a manipulated sequence of spectral values, to retransfer (40) a sequence of modified spectral blocks which is based on the modified sequence of spectral values to obtain a sequence of modified blocks of information values, and to unite (42) the modified blocks of information values to obtain the information signal provided with a watermark.
- The device according to one of the preceding claims, wherein the means (32; 216) for modifying is adjusted to perform the modification at locations of the spectral/modulation spectral representation varying in time.
- The device according to one of the preceding claims, wherein the means (32; 216) for modifying is adjusted to perform modification in dependence on the information signal.
- The device according to one of the preceding claims, wherein the means (32; 216) for modifying is adjusted to perform the modification, such that, due to psychoacoustic masking effects, the modification does not result in an audible alteration of the information signal provided with a watermark.
- The device according to one of the preceding claims, wherein the watermark indicates author information, an identification number characterizing the information signal or a customer number.
- A device for extracting a watermark from an information signal provided with a watermark, comprising:means (118, 120, 126, 128; 318, 320, 414, 412, 328) for transferring the information signal provided with a watermark from a time representation to a spectral/modulation spectral representation;means (132; 332) for deriving the watermark based on the spectral/modulation spectral representation.
- A method for introducing a watermark into an information signal, comprising:transferring (18, 20, 26, 28; 18, 20, 212, 214, 28) the information signal from a time representation (22) to a spectral/modulation spectral representation (30);modifying (32; 216) the information signal in the spectral/modulation spectral representation in dependence on the watermark to be introduced to obtain a modified spectral/modulation spectral representation; andforming (34, 38, 40, 42; 34, 218, 40, 42) an information signal provided with a watermark based on the modified spectral/modulation spectral representation.
- A method for extracting a watermark from an information signal provided with a watermark, comprising:transferring (118, 120, 126, 128; 318, 320, 414, 412, 328) the information signal provided with a watermark from a time representation to a spectral/modulation spectral representation;deriving (132; 332) the watermark based on the spectral/modulation spectral representation.
- A computer program having a program code for performing the method according to claims 23 or 24 when the computer program runs on a computer.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PL05715993T PL1741215T3 (en) | 2004-04-30 | 2005-03-11 | Watermark incorporation |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102004021404A DE102004021404B4 (en) | 2004-04-30 | 2004-04-30 | Watermark embedding |
PCT/EP2005/002636 WO2005109702A1 (en) | 2004-04-30 | 2005-03-11 | Watermark incorporation |
Publications (2)
Publication Number | Publication Date |
---|---|
EP1741215A1 EP1741215A1 (en) | 2007-01-10 |
EP1741215B1 true EP1741215B1 (en) | 2013-12-25 |
Family
ID=34961950
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP05715993.1A Active EP1741215B1 (en) | 2004-04-30 | 2005-03-11 | Watermark incorporation |
Country Status (17)
Country | Link |
---|---|
US (1) | US7676336B2 (en) |
EP (1) | EP1741215B1 (en) |
JP (1) | JP5048478B2 (en) |
KR (3) | KR100902910B1 (en) |
CN (1) | CN1969487B (en) |
AU (1) | AU2005241609B2 (en) |
BR (1) | BRPI0509819B1 (en) |
CA (1) | CA2564981C (en) |
DE (1) | DE102004021404B4 (en) |
ES (1) | ES2449043T3 (en) |
HK (1) | HK1103320A1 (en) |
IL (1) | IL178929A (en) |
MX (1) | MXPA06012550A (en) |
NO (1) | NO338923B1 (en) |
PL (1) | PL1741215T3 (en) |
RU (1) | RU2376708C2 (en) |
WO (1) | WO2005109702A1 (en) |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8306811B2 (en) * | 1996-08-30 | 2012-11-06 | Digimarc Corporation | Embedding data in audio and detecting embedded data in audio |
DE19947877C2 (en) * | 1999-10-05 | 2001-09-13 | Fraunhofer Ges Forschung | Method and device for introducing information into a data stream and method and device for encoding an audio signal |
DE102004023436B4 (en) * | 2004-05-10 | 2006-06-14 | M2Any Gmbh | Apparatus and method for analyzing an information signal |
JP2008546019A (en) * | 2005-06-03 | 2008-12-18 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Homomorphic encryption for secure watermarking |
EP1764780A1 (en) * | 2005-09-16 | 2007-03-21 | Deutsche Thomson-Brandt Gmbh | Blind watermarking of audio signals by using phase modifications |
WO2008028200A2 (en) * | 2006-08-29 | 2008-03-06 | Benjamin Filmalter Grobler | Digital data licensing system |
EP2015293A1 (en) * | 2007-06-14 | 2009-01-14 | Deutsche Thomson OHG | Method and apparatus for encoding and decoding an audio signal using adaptively switched temporal resolution in the spectral domain |
US8099285B2 (en) * | 2007-12-13 | 2012-01-17 | Dts, Inc. | Temporally accurate watermarking system and method of operation |
US20090265366A1 (en) * | 2008-04-22 | 2009-10-22 | Qualcomm Incorporated | Opportunistic opinion score collection on a mobile device |
CN101271690B (en) * | 2008-05-09 | 2010-12-22 | 中国人民解放军重庆通信学院 | Audio spread-spectrum watermark processing method for protecting audio data |
JP5338170B2 (en) * | 2008-07-18 | 2013-11-13 | ヤマハ株式会社 | Apparatus, method and program for embedding and extracting digital watermark information |
EP2337021B1 (en) * | 2008-08-14 | 2018-08-22 | Sk Telecom Co., LTD | Apparatus and method for data transmission in audible frequency band |
JP2011145541A (en) | 2010-01-15 | 2011-07-28 | Yamaha Corp | Reproduction device, musical sound signal output device, reproduction system and program |
EP2362386A1 (en) * | 2010-02-26 | 2011-08-31 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | Watermark generator, watermark decoder, method for providing a watermark signal in dependence on binary message data, method for providing binary message data in dependence on a watermarked signal and computer program using a two-dimensional bit spreading |
EP2362382A1 (en) * | 2010-02-26 | 2011-08-31 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | Watermark signal provider and method for providing a watermark signal |
EP2362387A1 (en) | 2010-02-26 | 2011-08-31 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | Watermark generator, watermark decoder, method for providing a watermark signal in dependence on binary message data, method for providing binary message data in dependence on a watermarked signal and computer program using a differential encoding |
JP5459069B2 (en) * | 2010-05-24 | 2014-04-02 | ヤマハ株式会社 | Apparatus for removing digital watermark information embedded in audio signal, and apparatus for embedding digital watermark information in audio signal |
EP2431970A1 (en) | 2010-09-21 | 2012-03-21 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | Watermark generator, watermark decoder, method for providing a watermarked signal based on discrete valued data and method for providing discrete valued data in dependence on a watermarked signal |
EP2565667A1 (en) | 2011-08-31 | 2013-03-06 | Friedrich-Alexander-Universität Erlangen-Nürnberg | Direction of arrival estimation using watermarked audio signals and microphone arrays |
TWI457852B (en) * | 2011-11-22 | 2014-10-21 | Univ Nat Taiwan Normal | The watermarking method of altering document's content after duplication |
US9401153B2 (en) | 2012-10-15 | 2016-07-26 | Digimarc Corporation | Multi-mode audio recognition and auxiliary data encoding and decoding |
US9305559B2 (en) * | 2012-10-15 | 2016-04-05 | Digimarc Corporation | Audio watermark encoding with reversing polarity and pairwise embedding |
US9380383B2 (en) | 2013-09-06 | 2016-06-28 | Gracenote, Inc. | Modifying playback of content using pre-processed profile information |
US9990928B2 (en) * | 2014-05-01 | 2018-06-05 | Digital Voice Systems, Inc. | Audio watermarking via phase modification |
EP2963648A1 (en) * | 2014-07-01 | 2016-01-06 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio processor and method for processing an audio signal using vertical phase correction |
US10262118B2 (en) * | 2015-01-06 | 2019-04-16 | Robert Antonius Adrianus Van Overbruggen | Systems and methods for authenticating digital content |
WO2016115483A2 (en) * | 2015-01-15 | 2016-07-21 | Hardwick John C | Audio watermarking via phase modification |
WO2018078768A1 (en) * | 2016-10-27 | 2018-05-03 | エヴィクサー株式会社 | Content reproduction program and content reproduction apparatus |
CN107375810A (en) * | 2017-08-03 | 2017-11-24 | 广河县盛和中医医院 | A kind of composition of Zhuan Zhi andrologies impotence and premature ejaculation |
CN109166570B (en) * | 2018-07-24 | 2019-11-26 | 百度在线网络技术(北京)有限公司 | A kind of method, apparatus of phonetic segmentation, equipment and computer storage medium |
US11244692B2 (en) | 2018-10-04 | 2022-02-08 | Digital Voice Systems, Inc. | Audio watermarking via correlation modification using an amplitude and a magnitude modification based on watermark data and to reduce distortion |
CN111341329B (en) * | 2020-02-04 | 2022-01-21 | 北京达佳互联信息技术有限公司 | Watermark information adding method, watermark information extracting device, watermark information adding equipment and watermark information extracting medium |
Family Cites Families (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0519782A (en) * | 1991-05-02 | 1993-01-29 | Ricoh Co Ltd | Voice feature extraction device |
US5173923A (en) * | 1991-11-22 | 1992-12-22 | Bell Communications Research, Inc. | Spread-time code division multiple access technique with arbitrary spectral shaping |
US5321497A (en) * | 1992-03-09 | 1994-06-14 | Wyko Corporation | Interferometric integration technique and apparatus to confine 2π discontinuity |
US5671168A (en) * | 1995-07-06 | 1997-09-23 | Technion Research & Development Foundation Ltd. | Digital frequency-domain implementation of arrays |
CA2184949C (en) * | 1995-09-28 | 2000-05-30 | Ingemar J. Cox | Secure spread spectrum watermarking for multimedia data |
ATE184140T1 (en) * | 1996-03-07 | 1999-09-15 | Fraunhofer Ges Forschung | CODING METHOD FOR INTRODUCING A NON-AUDIBLE DATA SIGNAL INTO AN AUDIO SIGNAL, DECODING METHOD, CODER AND DECODER |
DE19640814C2 (en) * | 1996-03-07 | 1998-07-23 | Fraunhofer Ges Forschung | Coding method for introducing an inaudible data signal into an audio signal and method for decoding a data signal contained inaudibly in an audio signal |
US5724270A (en) * | 1996-08-26 | 1998-03-03 | He Holdings, Inc. | Wave-number-frequency adaptive beamforming |
US5915027A (en) * | 1996-11-05 | 1999-06-22 | Nec Research Institute | Digital watermarking |
AU729762B2 (en) * | 1997-10-08 | 2001-02-08 | Digimarc Corporation | Method and apparatus for a copy-once watermark for video recording |
US6330672B1 (en) * | 1997-12-03 | 2001-12-11 | At&T Corp. | Method and apparatus for watermarking digital bitstreams |
TW440819B (en) * | 1998-03-18 | 2001-06-16 | Koninkl Philips Electronics Nv | Copy protection schemes for copy protected digital material |
US6064764A (en) | 1998-03-30 | 2000-05-16 | Seiko Epson Corporation | Fragile watermarks for detecting tampering in images |
RU2208301C2 (en) | 1998-05-20 | 2003-07-10 | Макровижн Корпорейшн | Method and device for detecting watermark for definite scales and arbitrary shifts |
US6073153A (en) * | 1998-06-03 | 2000-06-06 | Microsoft Corporation | Fast system and method for computing modulated lapped transforms |
US6725371B1 (en) * | 1999-06-30 | 2004-04-20 | Intel Corporation | Secure packet processor |
KR20010074868A (en) * | 1999-07-02 | 2001-08-09 | 요트.게.아. 롤페즈 | Addition of watermark keys according to a flexible format |
DE19947877C2 (en) | 1999-10-05 | 2001-09-13 | Fraunhofer Ges Forschung | Method and device for introducing information into a data stream and method and device for encoding an audio signal |
US6725372B1 (en) * | 1999-12-02 | 2004-04-20 | Verizon Laboratories Inc. | Digital watermarking |
JP3507743B2 (en) * | 1999-12-22 | 2004-03-15 | インターナショナル・ビジネス・マシーンズ・コーポレーション | Digital watermarking method and system for compressed audio data |
AU2001231109A1 (en) | 2000-01-24 | 2001-07-31 | Businger, Peter A. | Transform domain allocation for multimedia watermarking |
JP3659321B2 (en) * | 2000-06-29 | 2005-06-15 | インターナショナル・ビジネス・マシーンズ・コーポレーション | Digital watermarking method and system |
EP1305901B1 (en) * | 2000-07-27 | 2005-04-13 | Activated Content Corporation, Inc. | Stegotext encoder and decoder |
EP1310099B1 (en) * | 2000-08-16 | 2005-11-02 | Dolby Laboratories Licensing Corporation | Modulating one or more parameters of an audio or video perceptual coding system in response to supplemental information |
US20020168082A1 (en) * | 2001-03-07 | 2002-11-14 | Ravi Razdan | Real-time, distributed, transactional, hybrid watermarking method to provide trace-ability and copyright protection of digital content in peer-to-peer networks |
US7136418B2 (en) * | 2001-05-03 | 2006-11-14 | University Of Washington | Scalable and perceptually ranked signal coding and decoding |
US7006452B2 (en) * | 2001-05-22 | 2006-02-28 | Intel Corporation | Matching DSL data link layer protocol detection |
DE10129239C1 (en) | 2001-06-18 | 2002-10-31 | Fraunhofer Ges Forschung | Audio signal water-marking method processes water-mark signal before embedding in audio signal so that it is not audibly perceived |
JP2003044067A (en) * | 2001-08-03 | 2003-02-14 | Univ Tohoku | Device for embedding/detecting digital data by cyclic deviation of phase |
US6963842B2 (en) * | 2001-09-05 | 2005-11-08 | Creative Technology Ltd. | Efficient system and method for converting between different transform-domain signal representations |
FR2834363B1 (en) * | 2001-12-27 | 2004-02-27 | France Telecom | METHOD FOR CHARACTERIZING A SOUND SIGNAL |
US7243060B2 (en) * | 2002-04-02 | 2007-07-10 | University Of Washington | Single channel sound separation |
AU2003216669A1 (en) | 2002-05-10 | 2003-11-11 | Koninklijke Philips Electronics N.V. | Watermark embedding and retrieval |
US7254500B2 (en) * | 2003-03-31 | 2007-08-07 | The Salk Institute For Biological Studies | Monitoring and representing complex signals |
-
2004
- 2004-04-30 DE DE102004021404A patent/DE102004021404B4/en not_active Expired - Fee Related
-
2005
- 2005-03-11 PL PL05715993T patent/PL1741215T3/en unknown
- 2005-03-11 MX MXPA06012550A patent/MXPA06012550A/en active IP Right Grant
- 2005-03-11 WO PCT/EP2005/002636 patent/WO2005109702A1/en active Application Filing
- 2005-03-11 BR BRPI0509819-0A patent/BRPI0509819B1/en active IP Right Grant
- 2005-03-11 KR KR1020087024550A patent/KR100902910B1/en active IP Right Grant
- 2005-03-11 AU AU2005241609A patent/AU2005241609B2/en active Active
- 2005-03-11 ES ES05715993.1T patent/ES2449043T3/en active Active
- 2005-03-11 RU RU2006142304/09A patent/RU2376708C2/en active
- 2005-03-11 KR KR1020067022604A patent/KR20070015182A/en not_active IP Right Cessation
- 2005-03-11 KR KR1020087020078A patent/KR20080081098A/en not_active Application Discontinuation
- 2005-03-11 CN CN2005800196764A patent/CN1969487B/en active Active
- 2005-03-11 JP JP2007509900A patent/JP5048478B2/en active Active
- 2005-03-11 CA CA2564981A patent/CA2564981C/en active Active
- 2005-03-11 EP EP05715993.1A patent/EP1741215B1/en active Active
-
2006
- 2006-10-29 IL IL178929A patent/IL178929A/en active IP Right Grant
- 2006-10-30 US US11/554,492 patent/US7676336B2/en active Active
- 2006-11-24 NO NO20065424A patent/NO338923B1/en unknown
-
2007
- 2007-07-06 HK HK07107275.4A patent/HK1103320A1/en unknown
Also Published As
Publication number | Publication date |
---|---|
KR100902910B1 (en) | 2009-06-15 |
US20080027729A1 (en) | 2008-01-31 |
JP2007535699A (en) | 2007-12-06 |
CN1969487B (en) | 2011-08-17 |
EP1741215A1 (en) | 2007-01-10 |
MXPA06012550A (en) | 2006-12-15 |
BRPI0509819A (en) | 2007-09-18 |
WO2005109702A1 (en) | 2005-11-17 |
US7676336B2 (en) | 2010-03-09 |
PL1741215T3 (en) | 2014-05-30 |
DE102004021404B4 (en) | 2007-05-10 |
CN1969487A (en) | 2007-05-23 |
NO338923B1 (en) | 2016-10-31 |
AU2005241609A1 (en) | 2005-11-17 |
KR20080081098A (en) | 2008-09-05 |
DE102004021404A1 (en) | 2005-11-24 |
CA2564981C (en) | 2011-12-06 |
BRPI0509819B1 (en) | 2023-10-03 |
ES2449043T3 (en) | 2014-03-18 |
KR20070015182A (en) | 2007-02-01 |
NO20065424L (en) | 2007-01-31 |
RU2006142304A (en) | 2008-06-10 |
HK1103320A1 (en) | 2007-12-14 |
CA2564981A1 (en) | 2005-11-17 |
KR20080094851A (en) | 2008-10-24 |
IL178929A (en) | 2011-03-31 |
RU2376708C2 (en) | 2009-12-20 |
JP5048478B2 (en) | 2012-10-17 |
AU2005241609B2 (en) | 2008-01-10 |
IL178929A0 (en) | 2007-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1741215B1 (en) | Watermark incorporation | |
EP2240929B1 (en) | Device and method for synchronizing multi-channel expansion data with an audio signal and for processing said audio signal | |
EP2240928B1 (en) | Device and method for calculating a fingerprint of an audio signal, device and method for synchronizing and device and method for characterizing a test audio signal | |
EP1741039B1 (en) | Information signal processing by carrying out modification in the spectral/modulation spectral region representation | |
EP1212857B1 (en) | Method and device for introducing information into a data stream and a method for encoding an audio signal | |
DE602004005197T2 (en) | DEVICE AND METHOD FOR CODING AN AUDIO SIGNAL AND DEVICE AND METHOD FOR DECODING A CODED AUDIO SIGNAL | |
DE60213394T2 (en) | AUDIO CODING WITH PARTIAL ENCRYPTION | |
EP1495445B1 (en) | Method and device for embedding watermark information and method and device for extracting embedded watermark information | |
EP1016319B1 (en) | Process and device for coding a time-discrete stereo signal | |
DE10200653A1 (en) | Scalable encoder and decoder for a scaled data stream | |
DE602004009926T2 (en) | DEVICE AND METHOD FOR EMBEDDING A WATERMARK USING SUBBAND FILTERING | |
EP1604527B1 (en) | Device and method for embedding a binary piece of user data in a carrier signal | |
DE60210668T2 (en) | QUANTIZING INDEX-MODULATED (QIM) EMBEDDING OF A DIGITAL WATERMARK IN A MULTIMEDIA SIGNAL | |
DE69931932T2 (en) | Method and apparatus for decoding and inserting a watermark into a data stream | |
WO2008037727A2 (en) | Method and device for the creation of an encryption key, use of said method, and processing means for using the encryption key | |
WO2002080415A2 (en) | Method and device for determining information inserted into an audio signal and method and device for inserting information into an audio signal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
17P | Request for examination filed |
Effective date: 20061020 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU MC NL PL PT RO SE SI SK TR |
|
RAP1 | Party data changed (applicant data changed or rights of an application transferred) |
Owner name: FRAUNHOFER-GESELLSCHAFT ZUR FOERDERUNG DER ANGEWAN |
|
DAX | Request for extension of the european patent (deleted) | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1103320 Country of ref document: HK |
|
17Q | First examination report despatched |
Effective date: 20090602 |
|
APBK | Appeal reference recorded |
Free format text: ORIGINAL CODE: EPIDOSNREFNE |
|
APBN | Date of receipt of notice of appeal recorded |
Free format text: ORIGINAL CODE: EPIDOSNNOA2E |
|
APBR | Date of receipt of statement of grounds of appeal recorded |
Free format text: ORIGINAL CODE: EPIDOSNNOA3E |
|
APAF | Appeal reference modified |
Free format text: ORIGINAL CODE: EPIDOSCREFNE |
|
APBT | Appeal procedure closed |
Free format text: ORIGINAL CODE: EPIDOSNNOA9E |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R079 Ref document number: 502005014138 Country of ref document: DE Free format text: PREVIOUS MAIN CLASS: H04H0001000000 Ipc: H04H0020310000 |
|
GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
RIC1 | Information provided on ipc code assigned before grant |
Ipc: G10L 19/00 20130101ALN20121211BHEP Ipc: H04H 20/31 20080101AFI20121211BHEP |
|
GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU MC NL PL PT RO SE SI SK TR |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: FG4D Free format text: NOT ENGLISH |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: EP |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: REF Ref document number: 647074 Country of ref document: AT Kind code of ref document: T Effective date: 20140115 |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D Free format text: LANGUAGE OF EP DOCUMENT: GERMAN |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R096 Ref document number: 502005014138 Country of ref document: DE Effective date: 20140213 |
|
REG | Reference to a national code |
Ref country code: ES Ref legal event code: FG2A Ref document number: 2449043 Country of ref document: ES Kind code of ref document: T3 Effective date: 20140318 |
|
REG | Reference to a national code |
Ref country code: NL Ref legal event code: T3 |
|
REG | Reference to a national code |
Ref country code: HK Ref legal event code: GR Ref document number: 1103320 Country of ref document: HK |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131225 Ref country code: FI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131225 Ref country code: LT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131225 |
|
REG | Reference to a national code |
Ref country code: LT Ref legal event code: MG4D |
|
REG | Reference to a national code |
Ref country code: PL Ref legal event code: T3 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140425 Ref country code: EE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131225 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: PT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140428 Ref country code: CZ Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131225 Ref country code: SK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131225 Ref country code: CY Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131225 Ref country code: RO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131225 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 502005014138 Country of ref document: DE |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: DK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131225 Ref country code: LU Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140311 |
|
PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: PL |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
26N | No opposition filed |
Effective date: 20140926 |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: MM4A |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 502005014138 Country of ref document: DE Effective date: 20140926 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LI Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20140331 Ref country code: IE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20140311 Ref country code: CH Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20140331 |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: MM01 Ref document number: 647074 Country of ref document: AT Kind code of ref document: T Effective date: 20140311 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131225 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20140311 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 12 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MC Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131225 Ref country code: BG Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20131225 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: GR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140326 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: HU Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO Effective date: 20050311 Ref country code: BE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20140331 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 13 |
|
REG | Reference to a national code |
Ref country code: FR Ref legal event code: PLFP Year of fee payment: 14 |
|
P01 | Opt-out of the competence of the unified patent court (upc) registered |
Effective date: 20230512 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: ES Payment date: 20230414 Year of fee payment: 19 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: NL Payment date: 20240320 Year of fee payment: 20 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: DE Payment date: 20240321 Year of fee payment: 20 Ref country code: GB Payment date: 20240322 Year of fee payment: 20 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: TR Payment date: 20240228 Year of fee payment: 20 Ref country code: PL Payment date: 20240301 Year of fee payment: 20 Ref country code: IT Payment date: 20240329 Year of fee payment: 20 Ref country code: FR Payment date: 20240320 Year of fee payment: 20 |