JP2007504513A - キャリア信号にバイナリペイロードを埋込む装置および方法 - Google Patents

キャリア信号にバイナリペイロードを埋込む装置および方法 Download PDF

Info

Publication number
JP2007504513A
JP2007504513A JP2006529718A JP2006529718A JP2007504513A JP 2007504513 A JP2007504513 A JP 2007504513A JP 2006529718 A JP2006529718 A JP 2006529718A JP 2006529718 A JP2006529718 A JP 2006529718A JP 2007504513 A JP2007504513 A JP 2007504513A
Authority
JP
Japan
Prior art keywords
spectral representation
valence
bit
value
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006529718A
Other languages
English (en)
Other versions
JP4644672B2 (ja
Inventor
シューラー ゲラルド
ガイガー ラルフ
コーラー ジュエアゲン
Original Assignee
フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ filed Critical フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ
Publication of JP2007504513A publication Critical patent/JP2007504513A/ja
Application granted granted Critical
Publication of JP4644672B2 publication Critical patent/JP4644672B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32154Transform domain methods
    • H04N1/32187Transform domain methods with selective or adaptive application of the additional information, e.g. in selected frequency coefficients
    • H04N1/32192Transform domain methods with selective or adaptive application of the additional information, e.g. in selected frequency coefficients according to calculated or estimated visibility of the additional information in the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • G06T1/0028Adaptive watermarking, e.g. Human Visual System [HVS]-based watermarking
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018Audio watermarking, i.e. embedding inaudible data in the audio signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32154Transform domain methods
    • H04N1/32187Transform domain methods with selective or adaptive application of the additional information, e.g. in selected frequency coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • H04N21/8358Generation of protective data, e.g. certificates involving watermark
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/08Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0051Embedding of the watermark in the spatial domain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0052Embedding of the watermark in the frequency domain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2201/00General purpose image data processing
    • G06T2201/005Image watermarking
    • G06T2201/0061Embedding of the watermark in each block of the image, e.g. segmented watermarking
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00086Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
    • G11B20/00884Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving a watermark, i.e. a barely perceptible transformation of the original data which can nevertheless be recognised by an algorithm
    • G11B20/00891Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving a watermark, i.e. a barely perceptible transformation of the original data which can nevertheless be recognised by an algorithm embedded in audio data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

例えばオーディオ信号などのキャリア信号(110)にバイナリペイロード(122)を埋込むため、キャリア信号の時間離散値のシーケンスが、バイナリスペクトル表現値を得るために、整数変換アルゴリズムによって、周波数領域(116)に変換される。信号制限価数より低い価数を有するバイナリスペクトル表現値のビットが決定され、ペイロードに従ってセット(120)される。スペクトル表現値の信号制限価数はこのスペクトル表現値の先頭ビットの価数より低く、適切な距離を持って、音響心理学的に透明な情報の挿入が達成される。このように、挿入された情報を有する修正されたスペクトル表現が生成され、最終的に整数逆方向変換アルゴリズムを用いて変換されて時間領域に戻る。ペイロードを抽出するために、挿入された情報を有する時間離散信号は、整数順方向変換アルゴリズムによりスペクトル表現に再び変換される。さらにまた、信号制限価数情報が決定され、キャリア信号に関する情報を含まず、ペイロード信号に関する情報を含むバイナリスペクトル表現値のビットが識別され、これらのビットが抽出される。本発明コンセプトは、実施態様がシンプルで、挿入される情報のデータレートに関して基準化できることである。
【選択図】図1

Description

本発明は、ペイロードをキャリア信号に埋込み、ペイロードをキャリア信号から引出すことに関連する。ここで、キャリア信号は、オーディオ情報および/またはビデオ情報を含むオーディオ信号、ビデオ信号またはマルチメディア信号であってもよい。
デジタル信号に追加情報を埋込む技術には、さまざまな応用および/またはさまざまなアプローチがある。これらのコンセプトは、キーワード透かし技術として知られている。
オーディオ信号に不可聴なデータ信号を挿入する符号化方法は、WO 97/33391により知られている。ここで、不可聴なデータ信号が挿入されるオーディオ信号は、音響心理学的モデルによってオーディオ信号のマスキング閾値を決定するために、フーリエ変換または修正された離散コサイン変換によって周波数領域に変換される。オーディオ信号に挿入されるデータ信号は、疑似雑音信号が掛けあわされれ、周波数拡散データ信号が作成される。周波数拡散データ信号は、次に周波数拡散データ信号のエネルギーが常にマスキング閾値以下となるように、音響心理学的マスキング閾値によって重み付けされる。最後に、重み付けされたデータ信号は、オーディオ信号にスーパーインポーズされ、データ信号が不可聴に挿入されたオーディオ信号が生成される。一方では、データ信号は、送信者の範囲を決定するために用いることができる。あるいは、データ信号は、起こり得る海賊版のコピーを容易に識別できるようにオーディオ信号をラベリングするために用いることができる。それは、各オーディオキャリヤは、例えばコンパクトディスクの形式で、工場において個別のラベルが提供されるからである。データ信号について他に記述されている考えられる応用としては、テレビジョンにおける「VPS」方法に相似するオーディオ装置の遠隔制御がある。
EP 1149480 B1 は、オーディオ信号に情報を挿入する方法および装置と、オーディオ信号に挿入されている情報を判定する方法および装置を開示している。ここで、情報は、オーディオ信号に挿入される情報が少なくとも2つの情報チャンネルによって配信されるように処理される。第1の情報チャンネルは、比較的小さいデータ量によって特徴的に表現され、違法なコピーを防止するために用いられるコピー情報を含む。オーディオ信号の識別のための詳細情報は、第2の情報チャンネルに挿入される。2つのチャネルは、互いに独立にデコード可能である。異なる拡散シーケンスはこれらのチャネルの各々と関連しており、各チャンネルは他のチャンネルから分離してデコード可能である。
この種の透かしシステムの主たる特性は、一方ではオーディオ品質への影響であり、他方では高いロバスト性であって、透かしが違法な妨害に対して安全であることであり、更には透かしのデータレートである。これらの3つの目的は、例えば、高いレベルのロバスト性がデータレートの損失またはオーディオ品質の損失を意味するという点において、互いに対立する。更に、高データレートは、ロバスト性が損なわれるか、またはオーディオ情報が挿入された信号のオーディオ品質を損なわれるかのいずれかを生じさせる。
専門刊行物「SCS(スカラー・コスタ・スキーム)に基づく新しい高データレートオーディオ透かし」S. Siebenhaar他、AES大会論文5645、10月5−8日、2002、Los Angeles、CA、USA、において、最初にオーディオ信号が分割され、次に窓処理され、そして周波数領域に変換されるオーディオ透かし方法が記載されている。SCS透かしの埋込が実行され、次にその結果を時間領域に逆変換し、窓処理にかけ、必要に応じてブロックのオーバーラップを考慮に入れ、最後に再び透かしにより拡充されたオーディオ信号を得る。SCSアルゴリズムは、スペクトル値レベルのディザ量子化を実行するよう構成されている。
SCSアルゴリズムは、音響心理学的重み付けを達成するため、人間の聴覚の特性が考慮されるように更に調整される。
専門刊行物「新しいサラウンドステレオ符号化技術」、W. Ten Kate、L. Van De Kerkhof and F. Zijderveld、音響工学学会誌、第40巻、5号、1992年5月、376〜382頁、もまた不可聴情報をオーディオ信号に加えることを開示している。より詳しくは、オーディオ信号はフィルタバンクによってフィルターにかけられ、次にダウンサンプルされる。より詳しくは、各サブバンドのサンプルは、連続的な時間窓にグループ化される。次に、各ブロックのパワースペクトルが算出され、それは次にマスキング閾値を算出するために用いられる。音響心理学的マスキング閾値は、加えられる信号の最大許容パワーを決定する。この値はサブバンド毎に決定される。その後、挿入されるデータはこの算出されたマスキング閾値を用いて重み付けされ、個々のサブバンドに加えられる。そこでは、最後に埋込まれた情報を含むオーディオ信号を得るために、ダウンストリームフィルタバンクを有するアップサンプリングフィルタが使用される。
専門刊行物「オーディオCDのための高レートの埋没されたデータチャンネル」、M. Gerzon、AES予稿3551、第94回AES大会、3月16-19日、1993、Berlin、はCDの品質に有意の影響を与えることなくオーディオCDに1秒につき最高360Kbit/sまたはそれ以上の高データレートのチャンネルを埋込む技術を開示している。この新しいデータチャンネルは、既存のオーディオCDプレーヤとの互換性を同時に維持しつつ、高品質のデータ削減された関連オーディオチャンネルに、またはデータ圧縮されたビデオ、もしくはコンピュータデータに適合させるために用いることができる。より詳しくは、オーディオワードの最下位ビット(LSB)のいくつか(チャネル当り最大4)は他のデータと交換される。さらにまた、ノイズが形成された減算によるディザに関連する音響心理学的ノイズ形成技術は、結果として生じる加えられたノイズの可聴性を、従来のCDのノイズレベルと同等の主観的に識別可能なレベルまで減ずるために用いられる。より詳しくは、挿入された情報を担持している付加されたLSBデータをランダム化するために、付加的な同期信号を用いることなく、オーディオサンプルのLSBデータストリームにのみ作用する疑似ランダム符号化/復号化プロセスが用いられる。それが疑似ランダムシーケンスに基づいているという事実により、このランダム化は、抽出器においてこの疑似ランダムシーケンスを用いて逆に行うことができる。
専門刊行物「整数ウェーブレット変換に基づく無損失データ隠蔽」、G. Xuan他、IEEEワークショップ、2002年12月、St. Thomas、Virgin Islands、1−4頁は、高データレートを可能にし、埋込まれたデータを有する画像から原画像を復元することができる整数ウェーブレット変換に基づくデータ埋込アルゴリズムを開示している。挿入されたデータによって目に見える干渉が起こらないように、マーキングが更に実行される。このため、原画像は、ウェーブレット係数を得るために前処理の後に整数ウェーブレット変換にかけられる。整数ウェーブレット変換はJPEG2000に含まれている。この技術は、リフティングスキームの応用に基づく。この技術は、圧縮されているウェーブレット係数のビットレベルのビットに基づいており、ビットレベルの圧縮によってクリアされたスペースにデータを書き込むためのスペースが残される。このため、圧縮されたウェーブレット係数表現は、圧縮のための原ウェーブレット係数から生成される。その表現は原ウェーブレット係数表現より必要とするビットが少なく、原表現のビットと圧縮表現のビットとの差は、隠蔽されるデータを挿入するために用いられる。そして、最終的にマークされた画像を得るために、逆整数ウェーブレット変換が実行される。特に、バイナリ0および1を無損失で圧縮するために、選択されたビットレベルの圧縮のための算術符号化が行われる。
言及されたように、不可聴性、ロバスト性および高データレートの間の妥協は、オーディオ信号にデータを埋込む方法のために追求されなければならない。それほどのロバスト性は要求されず、むしろ高データレートが要求される場合には、すなわち、例えば、有線結合伝送だけが存在する場合、またはオーディオキャリアに対して断片が伝達される、すなわち、空きスペースのない伝送が起こる場合には、高データレートの恩恵のためにロバスト性に関して妥協することができる。同様のことは、埋込まれた情報が違法な複製等に対する保護が意図されず、むしろ例えば、違法な配布を追跡することが意図されない付加的情報を付加するためとして、付加的サービスとしてオーディオ信号の顧客に更なる情報および/またはデータを提供することが意図された応用にも適用される。
さらにまた、少なくともデコーダ側において、その実施態様がシンプルであって、演算時間要求に関しても適切であるというコンセプトが求められる。特に、デコーダはしばしば顧客の手にあり、それが市場価格に関して競争しなければならないという事実により、概して特に高い演算と記憶のリソースを提供しない。
本発明の目的は、キャリア信号にバイナリペイロードを埋込むための効率的なコンセプトを提供することである。
上記目的は、請求項1に記載の装置、請求項17に記載の埋込む方法、請求項18に記載の抽出する装置、請求項28に記載の抽出する方法、または請求項29に記載のコンピュータプログラムにより達成される。
本発明は、時間離散信号(以下、キャリア信号とも称する)は、好ましくは、信号が整数変換アルゴリズムによってスペクトル表現に変換されたときに、情報を得るために処理できるという発見に基づく。ここで、スペクトル表現は整数バイナリスペクトル表現値を含む。このため、整数ウェーブレット変換、または従来技術においてIntMDCT(修正された整数離散コサイン変換)としても知られている整数MDCTのようないかなる整数変換アルゴリズムも使用できる。本発明に適している整数変換は、対応する逆変換アルゴリズムを用いて時間領域へ戻すことができ、その結果が再び整数バイナリ時間離散値になる、バイナリ離散値から整数バイナリスペクトル表現値を提供する。
順方向整数変換および逆方向整数変換は、このように無損失すなわち丸め誤差なしで動作する特性を有する。本発明は、キャリア信号に挿入される情報が、スペクトル領域において、情報を挿入するため、すなわち情報に従ってセットされるためおよび/またはセットされないために、スペクトル表現値の低値ビットを用いて挿入されるというこの特性に依存している。
このため、本発明は、スペクトル表現値の信号制限価数を決定する手段を提供し、信号制限価数(情報抽出器のための)を再現的にセットする。挿入される情報によってそれほど「歪まない」キャリア信号については、スペクトル表現値のスペクトル制限価数は、バイナリ表現に関して考慮されるスペクトル表現値の先頭ビットの価数より少なくとも1価数レベル低い。好ましくは、キャリア信号がオーディオ信号であるときは、挿入された情報によってもたらされたスプリアスエネルギーが音響心理学的マスキング閾値以下になるように、スペクトル表現値の先頭ビットの価数から信号制限価数の距離が決定される。整数バイナリスペクトル表現値のセットのなかの他のスペクトル表現値については、スペクトル表現値が前マスキングまたは後マスキングなどのような音響心理学的効果により、いずれにせよ「マスクアウェイ」されたときは、信号制限価数は先頭ビットの上に置くことができる。
実施形態に従い、多少の複合モデルが信号制限価数を決定するために用いられる。ここで、データレートに関して更に妥協する必要のある最も単純なモデルは、信号制限価数が考慮されるスペクトル表現値の先頭ビットの価数より常にあらかじめ定めた数の価数レベル低いもので単純に構成される。このアプローチは、低いデータレートという欠点を有するにもかかわらず、キャリア信号にペイロードを埋込む際の信号制限価数を決定でき、また、ペイロード抽出器は副情報の伝送および/または各スペクトル表現値の更なる演算なしで信号制限価数を決定できるという特徴を有する。
信号制限価数を決定するためのより高度な処理は、キャリア信号自身、または変換されたキャリア信号、すなわちキャリア信号の一連の値を反映している整数バイナリスペクトル表現値のセットのいずれかに基づく音響心理学的マスキング閾値を算出するよう構成する。この場合において、抽出器において、−副情報の伝送なしに− 情報が挿入されたスペクトル表現値の信号制限価数を再び決定するために対応する演算が実行される。
本発明によれば、一定数のビットは、このように情報を挿入するために用いられる各スペクトル表現値に対して決定される。その価数(重要性)が信号制限価数より小さいかまたは等しいスペクトル表現値の対応するビットをセットする、および/または、セットしないために、情報の挿入は、ペイロードを表現するビットストリームを用いて実行される。整数スペクトル表現値のセットのスペクトル表現値がペイロードによって「拡張」されたあと、再び一連の時間離散値を生成するために逆整数変換アルゴリズムが用いられる。逆方向整数変換アルゴリズムは、逆変換が再び無損失、すなわち丸め誤差なしで実行されるように、順方向整数変換アルゴリズムにアジャストされる。効率と特にその特別な適合性の理由から、IntMDCTは、それが順方向および逆方向の変換を丸め誤差なしで扱えるという特性を有することから好ましい。
本発明は、時間離散キャリア信号に高いデータレートでペイロードを埋込むことができるという点で優れている。従って、本発明がオーディオCDに適用されるか、または、例えばインターネット経由で送信されるCD互換のオーディオデータに適用される場合には、オーディオ信号自身の圧縮バージョンか、または、例えばパフォーマ等の画像を表現するJPEG-圧縮画像データ形式の付加データのように、リスナーがそれなしに聞き取れるオーディオデータにペイロードを加えるために用いることができる。もちろん、本発明によれば、例えば歌のテキストまたは他のいかなる付加情報もまたキャリア信号に印加できる。
本発明コンセプトの更なる特徴は、キャリア信号のフォーマット、すなわち、例えばオーディオデータのCD互換フォーマットは、本発明の情報の埋込によって影響を受けないということである。このように、情報の埋込前の原キャリア信号および埋込器により出力された埋込情報を有するキャリア信号は、例えばCDプレーヤまたはDVDプレーヤなどの再生デバイスにとって互換性がある。
本発明の更なる特徴は、高いデータレートが必要な場合に、マスキング閾値を算出するより高度な処理によるデータレートを用いることができるという点で、作動力とペイロードレートは互いにスケーラブルであるということである。その一方で、データレートが決定的でなく、統合されたペイロード抽出器を有するデコーダ形式の最終製品のコストがむしろ決定的である場合には、スペクトルデータ値の信号制限価数を決定する単純な処理を代わりに用いることができる。
この点において、デコーダは、多数生産され、市場競争のために価格を低くしなければならない符号化/復号化システムの製品であることに留意する必要がある。その上、通常は、デコーダを無料または象徴的な価格で配布し、新しい符号化/複合化の標準に勝ち、そしてデコーダの開発コストをむしろ対応する符号化されたデータ、すなわち音楽、ビデオその他によって意図的に担持されるようにすることさえも目的とする。特に、そのようなシナリオにおいては、少なくとも「スリム化された」バージョン(中高データレートの)において、超低価格でデコーダを生産できるように、演算時間および記憶容量に関して少ない要求で信号制限価数を決定するアルゴリズムがデコーダに搭載されていることは決定的である。
本発明コンセプトは、バージョン互換性があるという点において有利であり、例えば、あまり高いデータレートを有しない基本バージョンは無料で配布されてもよく、そして、より高いデータレートを可能にするためにより高い作動力を持って信号制限価値が算出されるアップグレードが提供されてもよい。そのようなアップグレードにおいては、顧客は既に「基本バージョン」の特徴を知るに至っているので、顧客が支払うために準備する価格を求めることができる。
本発明の更なる特徴は、例えば、音響心理学的マスキング閾値を算出するため、または順方向および逆方向の変換のために、既存のモジュールを用いることができるということである。また、ペイロードに従って信号制限価数を決定する手段またはビットをセットする手段のような新規なモジュールが非常に容易に実現でき、本発明コンセプトにより開発および検証の労力も限定されることである。
本発明の好ましい実施形態は、付随する図面と関連して、以下において更に詳細に説明される。
図1は、第1シーケンスのバイナリ離散値を備えているキャリア信号にバイナリペイロードを埋込む発明の装置を示す。時間離散キャリア信号は、入力110を経由して図1に示される装置に供給される。変換する手段112は、好ましくは一定数の値を有するシーケンスにおいて、好ましくは50%オーバーラップにおいて対応する窓処理によって時間離散信号をグループ化し、それをスペクトル表現に変換するよう設計されている。手段112は、好ましくはIntMDCTアルゴリズムである順方向整数変換アルゴリズムを用いるよう設計されている。順方向整数変換アルゴリズムによって、整数バイナリスペクトル表現値のセットは、変換する手段112の出力114に提供される。変換する手段112は、このようにスペクトル表現値を提供する。スペクトル表現値は、バイナリ形式で設計され、ビットを含み、スペクトル表現値の各ビットは他のバイナリ価数と関連する。バイナリ価数は、例えば、20,21,22,23,24,…,2i,…,2nである。価数20を有するビットは、最下位ビット(LSB)を指し、一方、価数2nを有するビットは、最上位ビット(MSB)を指す。なお、すべてのスペクトル表現値がそのなかにMSBがセットされるほど大きいというわけでない。その点で、各スペクトル表現値は、スペクトル表現値のビットに最も高い価数を有するセットビットを含む。このビット、例えば価数2iを有するビットは、スペクトル表現値の先頭ビットを指し、スペクトル表現値の他のすべての有意のビットは価数i−1から価数0すなわちLSBまでにわたる低い価数を有するので、それより高い価数を有する。
発明の装置は、更にスペクトル表現値の信号制限価数を決定する手段116を含む。スペクトル表現値の信号制限価数は、実施の態様に従って異なる方法で決定することができる。キャリア信号の情報内容は、挿入されるバイナリペイロードによってそれほどまたは全く歪まないので、スペクトル表現値のグループのなかの少なくとも一つのスペクトル表現値については、信号制限価数はスペクトル表現値の先頭ビットの価数より1価数レベル低くなる。しかしながら、キャリヤ信号の種類に従って、他のスペクトル表現値については、信号制限価数が先頭ビットの価数に等しくなるか、または以下に記載の更なるスペクトル表現値の先頭ビットの価数より上にさえなることが起こりうる。信号制限価数を決定する最も単純な方法は、対象とするスペクトル表現値の先頭ビットの価数までのあらかじめ指定された距離に基づいて動作する手段116により構成される。制御入力116aによって例示されたように、このあらかじめ指定された距離は、手段116に提供することができる。
キャリア信号がオーディオ信号であるときは、単にあらかじめ指定された価数の差を3とすることで、十分にキャリア信号に挿入されたペイロードが不可聴になり、埋込装置の出力118において得られた挿入された情報を有する修正された時間離散信号は音響心理学的に透明になる。すなわち、修正された信号は、入力を経由して入力された原信号からは人間のリスナーによってほとんどまたは全く区別することができない。スペクトル表現値の価数距離3は、キャリア信号に挿入されたペイロードのエネルギーが、各スペクトル表現値について、スペクトル表現値によって記述された周波数帯域において、キャリア信号自体のエネルギーより18dB低くなることを意味する。
あるいは、または加えて、スペクトル表現値の信号制限価数を決定する手段は、時間領域(116b行)の時間離散信号または周波数領域(116b)の時間離散信号のいずれかに基づいて、各スペクトル表現値、または好ましくは臨海帯域を記述している少なくともスペクトル表現値のグループの音響心理学的マスキング閾値を算出するよう設計できる。スペクトル表現値の信号制限価数は、音響心理学的マスキング閾値がスペクトル表現値毎に決定された場合には、音響心理学的マスキング閾値と同視される。しかしながら、音響心理学的マスキング閾値がいくつかのスペクトル表現値を有する帯域のために決定されるだけである場合には、信号制限価数は、この帯域に挿入される全ての「スプリアスエネルギー」がキャリア信号に挿入される情報に基づく音響心理学的マスキング閾値より小さいかまたは等しくなるように、スペクトル表現値と共に決定される。
ビデオ信号を考慮して、光心理学的マスキング閾値が音響心理学的なマスキング閾値の代わりに用いられる。それは、空間周波数領域において類似して指定することができる。特に、光心理学的マスキング閾値は、例えばビデオ信号が3つのベースカラープレーンのスペクトル係数を含む場合には、各カラープレーンについて指定することができる。
キャリア信号が時間領域からスペクトル領域に変換可能な他の冗長な情報信号である場合には、スペクトル表現値の信号制限価数を決定するために対応する他のモデルを用いることができ、キャリア信号に挿入されたバイナリペイロードが修正されたキャリア信号の識別可能な情報損失をほとんどまたは全くもたらさない。
変換する手段の出力114における整数バイナリスペクトル表現値のセットと手段116から出力される信号制限価数情報の両方が、ペイロード入力122を経由して手段120に提供されるバイナリ情報に従って、決定された信号制限価数と等しいかまたは低い価数を有するスペクトル表現値のビットをセットするよう設計された手段120に提供される。手段120は、あらかじめ定められたパターンに従って、整数バイナリスペクトル表現値のセットにおける連続的なスペクトル表現値にペイロードをロードするよう設計されている。「ローディング」アルゴリズムは、好ましくはあらかじめ指定されるので、例えば副情報を経由してまたは追加のシグナリングチャネルを経由して抽出器に明示的に伝達される必要はない。好ましくは、信号制限価数および「ローディング」アルゴリズムは、シグナリング情報が必要とならないように設計されており、出力118の挿入された情報を有する時間離散信号は、それがオーディオ信号である場合には、例えば原時間離散信号のようなCDプレーヤに適しており、CDプレーヤは埋込まれたペイロードを抽出するか否かとは独立して容易に再生できるように、図1に示された装置の出力の挿入された情報を有する原時間離散信号は入力110に供給された原時間離散信号と同じ互換特性を有している。
ビットをセットする手段120の出力124に適用されるセットされたスペクトル表現値は、ここで更なる変換する手段126によって再び時間領域に逆変換される。変換する手段126は、修正された整数スペクトル表現値から(修正された)整数時間離散値を生成する整数逆変換アルゴリズムを実行するよう設計されている。手段126によって実行される逆変換アルゴリズムは、順方向変換と逆方向変換の組合せによって丸め損失が生じないように、手段112によって実行される順方向整数変換アルゴリズムに適応される。さもないと、切り上げまたは切り下げが本発明によって挿入されたほとんどの情報の低位ビットの変化を導くように、情報の損失を導く。
変換する手段126の出力において、今修正されたキャリア信号の一時的な部分を共に表すバイナリ離散値のシーケンスがこのように再び存在する。発明の装置のブロック処理により次々と生成されるブロックを整列させることは、修正されたキャリア信号が本来意図されたプレーヤ装置に今まで通り互換になるという結果を再びもたらす。これにより、バイナリペイロードは、図2に関連して次に説明される抽出器によってここで再び抽出することができる。
図2に挿入された情報を有する時間離散信号の入力130を有する発明の抽出器を示す。図2に示される装置は、特にバイナリペイロードが埋込まれたサンプルの第2シーケンスを備え、修正されたキャリア信号からペイロードを抽出するために設計されている。ここで、ペイロードは、整数バイナリスペクトル表現値のセットからのスペクトル表現値であるスペクトルデータ値のビットをセットすることによって挿入される。ここで、スペクトル表現値はビットを備え、他の価数はスペクトル表現値の各ビットと関連する。また、スペクトル表現値のビットの最も高い価数を有するセットされたビットはスペクトル表現値の先頭ビットであり、スペクトル表現値の残る全てのビットは先頭ビットより低い価数を有する。
特に、整数スペクトル表現値のセットは、離散値の第1シーケンスを、離散値の第1シーケンスから導き出された整数バイナリスペクトル変換値のセットを提供するよう設計された順方向整数変換アルゴリズムを用いて、スペクトル表現に変換することにより生成されたものである。スペクトル表現値のセットされたビットは、その価数がスペクトル表現値の信号制限価数より低いかまたは等しいビットである。
より詳しくは、図2の抽出器は、第2シーケンスのサンプルを、整数バイナリスペクトル表現値の抽出セット得るための順方向整数変換アルゴリズムを用いてスペクトル表現に変換する手段132を含む。発明の抽出器は、変換する手段132の出力においてスペクトル表現値のグループのスペクトル表現値の信号制限価数に関する情報を提供する手段134を更に含む。手段134は、一つ以上の異なる方法の信号制限価数に関する情報を提供するよう更に設計されている。片方向は、入力134aに示されたように、あらかじめ指定された信号制限価数を用いて構成されている。あるいは、入力134bに示されたように、スペクトル表現値の信号制限価数は、入力130を経由して提供されたデータを基礎として決定することもできる。あるいは、入力134cに示されたように、手段134は、修正されたスペクトル表現値を用いて動作するようにも設計できる。手段134は、次に、スペクトル表現値の信号制限価数に関する情報を、出力138において抽出されたペイロードのストリームを再び得るために、例えば、信号制限価数より上のスペクトル表現値の全てのビットを廃棄し、残留するビットを1つのスペクトル表現値から次のスペクトル表現値に整列するように設計されている情報抽出手段136に提供する。
本発明によれば、付加データの埋込は、音響心理学的マスキング効果によって、キャリア信号、例えばオーディオ信号の不可聴な修正を好ましくは許容できるように、このように周波数領域において実行される。IntMDCTのような整数変換の完全なる復元は、好ましくは周波数領域におけるオーディオ信号の表現のために用いられる。これにより、整数スペクトル値のように、整数オーディオサンプルの可逆表現が可能となる。これは、挿入されるペイロードによる整数スペクトルの修正の後も、時間領域への逆方向変換において整数サンプルが再び存在するという特徴を有する。整数サンプルへの付加的な損失のない丸めは、それが情報の損失につながる恐れがあるので、必要なく、本発明によって要求されない。このように、修正された整数スペクトルは、(量子化された)時間領域への逆変換の後も、正確に復元できる。
埋込コンセプト、すなわち図1の手段116および図1の手段120の機能の最も単純な変形として、好ましくはIntMDCTを実行する一定ブロック長の変換手段112が仮定される。例えば、256スペクトルラインのブロック長が与えられる。整数バイナリスペクトル表現値のセットはこのように256スペクトルラインを含む。これは、音色信号の良好な周波数分解能と過渡的な信号の良好な時間分解能の間の妥協を表す。さらにまた、上述したように、信号制限価数を決定する手段116のあらかじめ指定された変形が用いられる。このように、すべてのスペクトルラインのために、すなわちすべてのスペクトル表現値のために、透明なオーディオ品質を維持するのに十分な固定された信号雑音比がセットされる。バイナリ表現のスペクトル表現値の絶対値が考慮される。音響心理学的マスキング効果のために、0でない最も高いビット、すなわち先頭ビットより下の一定数のビットは、更に透明なオーディオ品質のために必要であると仮定される。例えば、18dBの信号雑音比のために、3ビットが必要である。このことは、このコンセプトにおいて、先頭ビットとすぐ下の価数を有する2ビットは、ペイロードの埋込に利用できないことを意味する。しかし、先頭ビットの価数より少なくとも3以上低い価数を有する全てのビットは、最終結果として生じる歪みの留保なしにペイロードを埋込むために用いることができる。例えば、スペクトルラインが位置8に先頭ビットを有している場合には、この例において5ビットを付加データを埋込むために用いることができる。これは、以下において、図3および4によって2つの異なる変形として例示される。
図3は、矢印150によって示されたように、昇順の周波数を表している5つの得られたスペクトル表現値140から148を図示したものである。図3において、各スペクトル表現値は、8ビットの数であると仮定している。スペクトル表現値140の先頭ビットの価数は、6である。スペクトル表現値142の先頭ビットの価数は、3である。しかしながら、スペクトル表現値144の先頭ビットの価数は7である。一方、スペクトル表現値146の価数は5であり、スペクトル表現値148の価数は2である。
図3において、信号制限価数が対応するスペクトル表現値の先頭ビットに対して3価数レベルの距離を有するようなあらかじめ指定された信号制限価数モードが更に例示されている。スペクトル表現値140の信号制限価数は3であり、一方、スペクトル表現値140のスペクトル制限価数は0である。しかしながら、スペクトル表現値144の信号制限価数は4である。スペクトル表現値146は2の信号制限価数を有し、一方、スペクトル表現値148はいかなる信号制限価数も有しない。その理由は、この値は、スペクトル表現値148にはペイロードが埋込まれていないことを意味する2だけの価数を有する先頭ビットを持っており、信号の透明性が否定的に影響されないからである。図3の両矢印152によって示されたように、入力134aを経由して抽出器に供給される情報および/または入力116aを経由してに埋込器に供給される情報は、3価数レベルである。
図1のセットする手段120は、このように、全てのビットをスペクトル表現値のグループの信号制限価数に等しくセットし、信号制限価数より低い価数を有する全てのビットを図3に示された実施例においてペイロードに従ってセットするために動作している。図3においてセットされるペイロードのシーケンスは、このように1001,1,10100,001である。ペイロードのためのデコーダは、次に、例えば一緒にオーディオ信号、ビデオ信号、テキスト等を表現するデータストリームのビットとして、いくつかのブロックのスペクトル表現値と接続して、これらのビットを解釈する。
図3に記載されているこの発明コンセプトの単純な変形は、例えば、3価数レベルの距離152および/または各スペクトルラインの3ビットを必要とする信号独立音響心理学的モデルに基づいている点に留意する必要がある。
しかしながら、本発明の好ましい実施形態において、信号適応された音響心理学的モデルが用いられる。ここで、各スペクトルラインの音響心理学的に重要なビットの数が、信号埋込による重要でないビットの修正の後でも、抽出器によって算出され、並列した副情報が通知される必要がないということにも留意する必要がある。これが、例えば、音響心理学的モデルの計算のために各スペクトル値の先頭ビットのみを用いることと、埋込において少なくとも先頭ビットを変えないこと、これは音響心理学的モデルによって可能になるものであるが、によって達成することができる。このように、図4に関して以下に説明されるように、より小さく、強くマスクされたスペクトル値に、付加データを埋込むために、より多くのビットを用いることができる。
音響心理学的マスキング閾値を算出するために、スペクトル表現値の先頭ビットだけを用いることは、音響心理学的マスキング閾値の基礎とされる各スペクトル表現値が実際のスペクトル表現値の丸められたバージョンであることを意味することに留意する必要がある。しかしながら、音響心理学的マスキング効果は、スペクトル表現値のパワーの増加と共に、すなわちスペクトル表現値の振幅の増加と共に増加するので、丸められたスペクトル表現値を用いることは、埋込まれたペイロードの少ない量がいくつかのスペクトル表現値に提供される可能性があるものの、いずれの場合においても音響心理学的透明性が保障されるという点で優れている。より詳しくは、これは、丸められたスペクトル表現値のグループのために算出されたマスキング閾値が丸められていないスペクトル表現値のマスキング閾値よりいずれの場合においても低いことを意味する。
図3と図4の比較は、選択された実施例において、スペクトル表現値142は、2つの隣接する大きいスペクトル表現値140および144によって完全にマスクアウェイされ、スペクトル表現値146の少なくとも価数3を有するビットも音響心理学的な全体の印象のいずれにもに寄与せず、マスクアウェイされることを示している。同じことが、スペクトル表現値148の最も低い3ビットにも適用される。図4に示されたスペクトルに埋込まれたペイロードは、これにより以下のペイロードシーケンスを表す。
1001,1001,10100,1001,110
更に、図4と図3の比較は、実施例のスペクトルにおいて、スペクトル値の信号制限価数を決定する手段116の単純なあらかじめ指定されたバージョンによれば、13のみの情報ビットを埋込むことができるのに対して、手段116が音響心理学的モデルに基づいて動作する場合には、20もの情報ビットを挿入することができることを例示している。これは、埋込において(そして、また同様に抽出において)、付加的作動力により、データレートをかなり増加できるという点で、発明コンセプトのスケーラビリティ効果を示している。
更に、図4に示された実施例において、スペクトル表現値140と144のみの信号制限価数は、それぞれの先頭ビットの価数より距離152だけ下にあることに留意する必要がある。しかしながら、スペクトル表現値142の場合には、信号制限価値はこのスペクトル値の先頭ビットの価数と一致する。それは、言い換えれば、このスペクトル表現値は完全にマスクアウェイされることを意味する。スペクトル表現値146の場合には、信号制限価数は3であり、このように、先頭ビットの価数、スペクトル表現値146の場合には5である、より2価数レベルだけ下である。最後に、スペクトル表現値148の場合にも、信号制限価数は、先頭ビットの価数、すなわち価数2と等しい。
非常に静かなオーディオ信号路では、静寂における閾値およびこのような静寂の制限価数は、例えば、スペクトル表現値の先頭ビットの価数から独立して、静寂の制限価数が例えば常に価数3に等しくなるように置かれているようなスペクトル表現値の先頭ビットと独立するよう更に設計することができる。図4に示された実施例においては、このことは、スペクトル表現値148の価数3を有するビットが、情報を挿入するために用いられることもあり得ることを意味する。このように、スペクトル表現値のグループにおけるスペクトル表現値の静寂の制限価数は、図1の手段112によって変換の後は、このスペクトルデータ値の先頭ビットの価数より高くすることができる。静かなオーディオ信号路の場合の付加データによる超低データレートを防止するために、また、一定の最小データレートを可能とするために、固定された静寂の閾値が、好ましくはどのような場合においても情報が挿入できる制限価数を定めるように仮定される。異なるスペクトル表現値によって表現される異なる周波数に対して異なる値が仮定されるように、周波数に関するこの固定された静寂における閾値を設計することが更に好ましい。静寂における閾値は、いずれにせよ極めて少ないリスナーにのみ識別されるような超高周波のスペクトル表現値にとってとりわけ非常に重要である高い周波数よりも、例えば低い周波数のための低い価数とすることができる。静寂における閾値の周波数依存カーブに関しては、関連した基本的な音響心理学についての文献を参照されたい。
述べられたように、図1の埋込器に供給される信号は離散値のストリームである。変換手段112は、供給された値のストリームから連続的なシーケンスのサンプルを生成する。そして、それは順方向整数変換アルゴリズムによってスペクトル表現に変換される。好ましくは、述べられたように、従来技術においてオーバーラップと加算としても知られているオーバーラッピングと加算とを用いて動作する整数MDCTが用いられる。50%のオーバーラップが好ましくは用いられ、連続して処理されたシーケンスのサンプルがそれぞれ50%のオーバーラップを有し、例えばブロック長が2048サンプルのときは、第1ブロックはサンプル1からサンプル2048まで至り、一方、第2ブロックはサンプル1024からサンプル3072まで至るなどのようになる。これにより、図7a、7b、8、9および10に関連して以下により詳しく述べるように、新しい1024のサンプルを「加算」する毎に、1024の整数バイナリスペクトル表現値を有する整数バイナリスペクトル表現値が生成される。修正されたスペクトル表現値の逆変換は、手段126を用いて、付加的な同期情報が埋込まれていない場合に互換性の理由から避けられるべきである、元々どのブロック区分が短期的変換を実行するために用いられたかが示されない時間離散値のストリームを再び最後に提供する。
それゆえ、図2に示された抽出器は、同期情報がない場合には、最初に情報埋込器によって元々実行されたブロック区分を見つけ出さなければならない。オーディオ信号からのペイロードの抽出のために、同一のバイナリ表現とこのバイナリ表現を埋込まれた付加データを表現している音響心理学的に重要なまたは重要でないビットへの同一の分割を得るために、埋込と同様に、同一の変換および同一の音響心理学的モデルが適用されなければならないという事実のほかに、埋込に先立って原オーディオ信号に対するブロック毎の変換に適用された時間オフセットも、抽出器において埋込まれた信号がいかなる同期情報も有してないことが実施形態において知られる。この種の課題は、例えばオーディオ信号が短縮されたとき、または付加データの抽出が信号の任意の場所で開始されたときにも起こる。従って、図2に示される抽出装置は、埋込に適用されて図2の入力130にアップストリームされるブロッ・クラスターを決定する手段を更に含む。本発明によれば、ペイロードの埋込において、チェックサムのような少しの冗長性を挿入することが好ましい。これは、正しいブロック・ラスターを有する抽出データを一定の確実性で誤ったブロック・ラスターを有する抽出データと区別することを可能にする。例えば、256時間離散値のブロック長が使われ、この情報が知らされるか、または、反復的に決定される場合には、挿入された情報を有する時間離散信号の特定の値から開始されるペイロード抽出を実行することが好ましい。
例えば、256サンプルのブロック長があり、10×256ブロックの想定されたペイロードがブロックオフセットを発見するために1サンプルのオフセットを持って抽出された場合には、正しいチェックサムは256サンプルの間隔を持って10回起こらなければならない。このことは、ペイロード埋込器は、埋込において、生成されるスペクトル表現値の各ブロックに、同じバイナリ数および/またはお互いにあらかじめ定められた関係を有する異なるバイナリ数、例えば常に2倍または常に半分または常に1小さい等、を埋込むことを意味する。このバイナリ数は、挿入されたデータ(例えばチェックサムまたはハッシュ、その他として)に依存してもよく、または(同期ワード、その他)に依存しなくてもよい。
特に、手順は、挿入された情報を有する時間離散信号において決定された値から開始され、例えば10連続ブロックが処理され、チェックサムが考慮される。ブロック毎に同一のチェックサムが予想される場合には、また得られたチェックサムが変化する場合には、これはブロック・ラスターは偶然遭遇されなかったというサインである。この場合に全部の手順は繰り返される。しかし、このときには、前に用いたサンプルを開始点として用いず、前のサンプルが用いた序数だけ大きいサンプルを開始点として用いる。この新しいテスト・ブロック・ラスターによって得られたチェックサムは、再び考慮される。それらが再び同一でない場合には、同じ手順がもう一度繰返される。しかし、このときには、原サンプルより2倍大きい序数を有するサンプルから開始される。この手順は、連続ブロックの数N、ここで、例えばNは10である、にわたって処理されたチェックサムが、お互いにあらかじめ定められた関係、例えば等しい、を有するまで繰返される。極端な場合においては、この手順は、最悪のケースを仮定した場合、すなわちすべてのチェック手順が開始された元の値が現実のブロック・ラスターよりちょうど1序数高かった場合に、255回繰返されなければならない。
このように、誤ったオフセットを有する個々のブロックは、偶然に正しいチェックサムを提供できる。しかし、疑わしい周期的ブロック構造が装われるような、このような「不必要なヒット」が1列にN回起こることは特にありそうにない。Nが増加するにつれて、確実性は増大する。このように、ペイロードに非常に低い冗長性を設けるだけで、チェックサムのみが非常にラフに決定されなければならないようなブロック構造を十分に見つけることができる。
ブロック構造を見つける更なる可能性は「パイロット・トーン」を挿入することである。これは、一つ以上のスペクトルラインが聴覚閾値以下の一定値をとることを意味する。例えば、最も高い周波数を有する帯域がこのために用いられる。正しいブロック・ラスターが見つけられたときに、正しい値がデコーダに現れるだけである。この手順のために、常にパイロット・トーン・スペクトル表現値がチェックサムの代わりに検査される。この処理も、1ブロックが元は256サンプルを有していた場合には、最悪の場合に255回実行されなければならない。ブロック構造が見つかったときは、他の全てのブロックは知られたブロック構造に変換でき、付加データを抽出できる。
従来から知られているように、固定の変換長は、音色信号の良好な周波数分解能および過渡的信号の良好な時間分解能の間の妥協による。聴覚適応されたオーディオ符号化において一般的であるブロック長を切替えることは、付加データによってオーディオ信号に加えられたエラーをより良好に適応させることができる。ペイロード埋込器が信号適応されたブロック切替アルゴリズムを使用するように設計されている場合には、抽出器は、この情報が、例えば副情報として通知されている場合、または実際に用いられたブロック構造が、例えばペイロードに挿入された冗長によって発見されるように設計されている場合には、正しく働くことができる。このため、抽出器は、本発明の実施形態の現行のブロックにおいて考えられる全ての変換長と窓形式を有する変換を適用する。抽出器は、次に、例えば挿入されたチャックサムに基づいて、埋込が実行された変換の変形、すなわちブロック長と窓形式を決定しなければならない。
以下に、発明コンセプトの好ましい応用分野について、図5に関連して述べる。一般の応用分野は、オーディオCD、および/または、PCMサンプルオーディオデータとも称されるCDプレーヤ互換のオーディオデータの生成である。本発明によれば、高データレートの付加データを、可聴の変化がなく、互換性の問題もなく、オーディオデータに挿入させることができる。述べられた埋込におけるブロック構造の発見は、例えばCDプレーヤの早送りまたはランダムプレーモードを作動した後にオーディオトラックのいかなる部分を再生するときにおいても、付加データの抽出の同期化を可能とする。
さらにまた、オーディオCDは、生データを読み出すときに一定のエラーを訂正することができるエラー保護機構を含んでおり、正確に原物のオーディオサンプルを復元することができる。このエラー訂正が成功している限り、オーディオデータに挿入されたペイロードの「自動」訂正も実行され、訂正されたオーディオサンプルからペイロードを再び抽出することができる。しかしながら、エラー訂正がもはや可能でない場合には、エラー隠蔽機構が一定のCDプレーヤに適用され、可聴のエラーを低減するが、もはやオーディオサンプルを正確には復元しない。もちろん、ペイロードももはや正確に抽出可能でない。このように、かかるエラーが発生する場合には、付加データはもはやエラーなしに抽出できない。それでも付加データの信頼性の高い伝送を可能にするために、オーディオデータに埋込むに先立って予想されるエラーの種類に適応するエラー保護方法によって付加データを符号化することが好ましい。このため、たとえ信号/雑音比が例えばCDまたは有線結合チャンネルのような伝送チャネルのエラーによって生ずる場合であっても、例えば透かし抽出器のビテルビ・デコーダと協調して最大調整可能ビットエラーレートを有するペイロード抽出器を可能とする公知のいかなる順方向エラー訂正方法をも適用することができる。
好ましい実施形態では、オーディオCDに以下の付加データを伝送することが好ましい。付加データおよび/またはペイロードの変形は、ビデオデータである。MPEG−4ビデオのような最新のビデオ符号化方法により、ビデオデータは、本発明の埋込コンセプトにより未圧縮のオーディオ信号、すなわちPCMサンプルのシーケンスに埋込むことができる程度にまで高品質に圧縮することができる。
さらにまた、オーディオデータはオーディオキャリア信号に埋込むことができる。MP3またはAACのような最新のオーディオ符号化方法は、128Kbit/s以下のデータレートを有する高いオーディオ品質を可能にする。このように、圧縮されたオーディオデータは、本発明コンセプトにより、未圧縮オーディオデータに埋込むことができる。例えば携帯プレーヤ装置等に必要な圧縮オーディオデータを、同様に例えば直接オーディオCDに乗せることが好ましい。このように、高い計算力によってオーディオデータをそれ自体圧縮する必要なく携帯プレーヤ装置に伝送できるオーディオCDプレーヤを実現することができる。圧縮されたオーディオ信号の変形は、オーディオCDのマスタリングプロセスに入るや否や、オーディオデータに挿入できる。抽出プロセスの煩雑性は、圧縮されたオーディオデータ自体を生成する完全な符号化プロセスのそれよりかなり低い。
上記システムは、図5および6に関連して、以下に例示される。例えば、図5は、図1に図示したような埋込器160を示す。一方では、埋込器は、CD PCMサンプルをその入力110を経由して受信し、挿入される情報をバイナリ形式でその入力122を経由して受信する。更に、オーディオ圧縮器162は、図5に示され、原物のCD PCMサンプルの圧縮バージョンを表現する挿入情報を、埋込器160の入力110のCD PCMサンプルから生成する。出力側では、すなわちその出力118においては、埋込器は、音響心理学的に透明に埋込まれたそれ自体の圧縮バージョンを含むオーディオ信号を提供する。この情報は、次にCDライター164に供給され、CDライター164は、同時にブランクCD166を受取り、入力118に供給されてそれ自体に埋込まれたそれ自体の圧縮バージョンを含んでいるオーディオ信号を、CDライターの出力168においてCDに書き込む。
図5の手順によって生成されたCDは、例えばCDプレーヤの一部または多目的コンピュータにおいて実装される抽出器170に入れられる。図6の抽出器170は、図2において例示されたように実装される。抽出器170は、圧縮されていないオーディオデータにはそれほど関係はないが、CDおよび/またはCD互換のデータストリームから、ここでバイナリデータストリームとして発生する圧縮されたオーディオ信号のみを出力138に抽出する。本発明によれば、圧縮されたオーディオ信号を表現するこのデータストリームを、ソリッドステートプレーヤ172のような限られた記憶容量を有する携帯プレーヤにロードすることが好ましい。ソリッドステートプレーヤ172は、出力138に供給された圧縮されたオーディオ信号を復号化および/または伸長化するためのオーディオデコーダを含み、図6の出力174に示されたように、ここでプレーヤ172によって再生できる。このコンセプトの特徴は、抽出器170を、完全なオーディオエンコーダよりかなり少ない複雑さで設計できることである。それは、例えば、買主がCDを購入し、このCDを自身のソリッドステートプレーヤで再生したいと考えるというシナリオにおいて、完全なオーディオエンコーダよりかなり安い価格で提供できるという特徴を特に意味している。買主は、家庭で自身のソリッドステートプレーヤに信号をロードするために、CDおよび/または例えばインターネットを通じて利用できるデータストリームの信号を完全に符号化できなければならない。本発明によれば、CDからオーディオ信号の圧縮バージョンを抽出することは、完全な符号化よりかなり少ない作動力で実行されなければならない。この作動力は直ちに低廉化に言い換えることができる。
以下において、「整数変換に基づくオーディオ符号化」第111回AES大会、New York、2001 に記載されているIntMDCT変換アルゴリズムを、整数変換アルゴリズムの実施例として述べる。IntMDCTは、例えばオーディオ信号の良好なスペクトル表現、臨海サンプリングおよびブロックオーバーラップのようなMDCTの魅力的な特性を有しているという点で特に優れている。
その好ましいIntMDCTについてより詳細に述べる前に、従来のMDCTを図7aおよび7bに関連して例示する。良好な周波数選択性を達成するために、最新のオーディオエンコーダは、典型的なブロックオーバーラップを用いる。そのようなケースの1つを図7aに例示する。最初に、例えば2048の時間離散オーディオサンプルが取得され、手段402によって窓処理される。手段402を具現化している窓は、2Nサンプルの窓長を有し、出力側に2Nの窓処理されたサンプルのブロックを提供する。ウインドウオーバーラップを達成するために、2Nの窓処理されたサンプルの第2ブロックは、図7aにおいて明瞭性だけの理由から手段402と分けて例示されている手段404によって形成される。しかしながら、手段404に供給された2048サンプルは、直接第1の窓に従った時間離散オーディオサンプルではなく、手段402によって窓処理されたサンプルの後半を含んでおり、加えて1024だけの「新規な」サンプルを含む。オーバーラップは、図7aにおいて手段406によって象徴的に例示されており、それは50%のオーバーラップを生じさせる。手段402によって出力される2Nの窓処理されたサンプルと手段404によって出力される2Nの窓処理されたサンプルは共に、手段408および/または410によって、次にMDCTアルゴリズムにかけられる。手段408は、公知のMDCTアルゴリズムに従って、第1の窓についてのNスペクトル値を提供する。一方、手段410も第2の窓についてのNスペクトル値を提供する。ここで、第1の窓と第2の窓との間には50%のオーバーラップがある。
デコーダにおいて、第1の窓のNスペクトル値は、図7bに示すように、修正された逆離散コサイン変換を実行する手段412に供給される。同じことは、第2の窓のNスペクトル値にあてはまる。それらは、また、修正された逆離散コサイン変換を実行する手段414に供給される。それぞれ、手段412および手段414は、それぞれ第1の窓のための2Nサンプルおよび第2の窓のための2Nサンプルを提供する。
図7bにTDAC(時間領域エリアシング取消)と称された手段416において、2つの窓がオーバーラップしているという事実が考慮される。特に、第1の窓の後半の、すなわち指標N+kを有するサンプルy1は、第2の窓の前半の、すなわち指標kを有するサンプルy2と積算され、Nの復号化され一時サンプルが、出力側、すなわちデコーダにおいて生ずる。
また、加算関数と称された手段416の機能によって、図7aにおいて略図で例示されたエンコーダにおいて実行される窓処理がそのように自動的に考慮され、明示的な「逆の窓処理」は図7bにおいて例示されたデコーダにおいて実行される必要がないことに、留意する必要がある。
手段402または404によって実装される窓関数がw(k)、指標kが時間インデックスを示す、と称される場合に、二乗の窓重みw(N+k)に加えられた二乗の窓重みw(k)は一緒に1を産出するという条件が満たされなければならない。ここで、kは0からN−1まで動く。窓の重み付けがサイン関数の第1の半波に従うサイン窓が用いられる場合には、サインの二乗とコサインの二乗はいかなる角度においても一緒に値1を産出するので、この条件は常にが満たされている。
図8は、IntMDCT整数変換アルゴリズムに基づいて、オーディオ信号を表現した時間離散サンプルを処理して整数値を得る発明の好ましい装置の概略図である。時間離散サンプルは、図8に示された装置によって窓処理され、オプションとしてスペクトル表現に変換される。入力10において装置に供給される時間離散サンプルは、、出力12において整数窓処理されたサンプルを取得し、変換および特に整数DCTを実行する手段14によってスペクトル表現に適切に変換されるために、2N時間離散サンプルに対応する長さを有する窓wによって窓処理される。整数DCTは、MDCT方程式により2N窓処理されたサンプルからNスペクトル値を生み出すだけである図7aのMDCT関数408とは対照的に、N入力値からN出力値を生成するよう設計されている。
時間離散サンプルを窓処理するために、最初の2つの時間離散サンプルが、時間離散サンプルのベクトルを共に表わす手段16において選択される。手段16によって選択された時間離散サンプルは、窓の第1四半期にある。図10に関して更に詳細に述べられるように、他の時間離散サンプルは窓の第2四半期にある。手段16によって発生するベクトルは、今2×2次元の回転マトリクスによって提供される。ここで、本演算は、直接ではなく、いくつかのいわゆるリフティングマトリックスによって実行される。
リフティングマトリクスは、窓wに依存し、「1」または「0」と異なる1要素のみを備えるという性質を有している。
リフティングステップにおけるウェーブレット変換の因数分解は、専門刊行物「リフティングステップへのウェーブレット変換のファクタリング」、Ingrid DaubechiesとWim Sweldens、前刷り、Bell Laboratories、Lucent Technologies、1996において示される。通常、リフティングスキームは、同一のローパスまたはハイパスフィルタを有する完全復元フィルタ対の間の単純な関係である。各対の相補的フィルタは、リフティングステップに因数分解できる。これは、特にギブンス回転にあてはまる。多相のマトリクスがギブンス回転であるケースを考えてみる。以下は、それをあてはめる。
Figure 2007504513
等号の右辺上の3つのリフティングマトリクスの各々は、主要対角要素として値「1」を有する。各リフティングマトリクスには、更に、0に等しい第2の対角要素と、回転角aに依存している第2の対角要素とが存在する。
ベクトルは、ここで第3のリフティングマトリクス、すなわち上記の方程式の最右のリフティングマトリクスが掛け合わされ、第1の結果ベクトルが得られる。これは、手段18によって図8に例示される。ここで、第1の結果ベクトルは、図8に図示するように、手段20によって、整数のセットに実数のセットをマッピングする丸め関数によって丸められる。手段20の出力において、丸められた第1の結果ベクトルが得られる。丸められた第1の結果ベクトルは、ここで中央の、すなわち第2のリフティングマトリクスを掛け合わせる手段22に供給され、第2の結果ベクトルが得られ、手段24において再びu丸められ、丸められた第2の結果ベクトルが得られる。丸められた第2の結果ベクトルは、ここで上記方程式の左に示された、すなわち最初のリフティングマトリクスを掛け合わせる手段26に供給され、第3の結果ベクトルが得られ、手段28によって最終的に丸められ、最終的に整数窓処理されたサンプルが出力12に得られる。同様のスペクトル表現が望まれる場合には、スペクトル出力30においてスペクトル値を得るために、ここで手段14によって処理されなければならない。
好ましくは、手段14は整数DCTとして実装される。
長さNを有するタイプ4(DCT−IV)の離散コサイン変換は、以下の方程式によって与えられる。
Figure 2007504513
DCT−IVの係数は、正規直交NxNマトリクスを形成する。各直交NxNマトリクスは、専門刊行物「多重レートとフィルタバンク」、P. P. Vaidyanathan、Prentice Hall、Englewood Cliffs、1993 に述べられているように、N(N−1)/2のギブンス回転に分解される。他の分解も存在する点に留意する必要がある。
さまざまなDCTアルゴリズムの類型に関して、「ラップ変換を用いた信号処理」、H. S. Malvar、Artech House、1992を参照。通常、DCTアルゴリズムは、それらの基底関数の種類によって異なる。ここで選ばれたDCT−IVは、非対称基底関数、すなわちコサイン4分の1波、コサイン3/4波、コサイン5/4波、コサイン7/4波、その他を含むと共に、例えばタイプII(DCT−II)の離散コサイン変換は、軸対象および点対称の基底関数を有する。第0次の基底関数はDCコンポーネントを有し、第1基底関数は半分のコサイン波であり、第2基底関数は全部のコサイン波である、等である。DCT−IIがDCコンポーネントに特別な強調を与えるという事実により、ビデオ符号化に用いられ、オーディオ符号化に用いられない。それは、DCコンポーネントは、ビデオ符号化とは対照的に、オーディオ符号化には関係しないからである。
以下において、ギブンス回転の回転角がいかに窓関数に依存しているかについて述べる。
2Nの窓長を有するMDCTは、長さNを有するタイプIVの離散コサイン変換に減ずることができる。このことは、時間領域において明示的に実行されるTDAC演算と次に適用されるDCT−IVによって達成される。50%オーバーラップの場合には、ブロックtの窓の左半分は、先行するブロック(すなわちブロックt−1)の右半分とオーバーラップする。2つの連続するブロックt−1およびtのオーバーラップしている部分は、時間領域において、すなわち変換の前に、以下のように前処理される。すなわち、図8の入力10と出力12の間で処理される。
Figure 2007504513
チルダでマークされた値は、図8の出力12の値であり、一方上記の方程式においてチルダでマークされないx値は、入力10および/または続く選択する手段16の値である。ランニング指標kは0からN/2−1まで動き、一方wは窓関数を示す。
窓関数wのTDAC条件から、以下があてはまる。
Figure 2007504513
一定の角度ak、k=0、…、N/2−1のために、述べられるように、時間領域のこの前処理はギブンス回転として記すことができる。
ギブンス回転の角度αは、以下の通り窓関数wに依存する。
Figure 2007504513
いかなる窓関数wも、それらがこのTDAC条件を満たす限り、使用できることに留意する必要がある。
以下に、カスケード接続されたエンコーダおよびデコーダが、図9に関連して記載されている。窓によって一緒に「窓処理」された時間離散サンプルx(0)からサンプルx(2N−1)は、サンプルx(0)とサンプルx(N−1)、すなわち窓の第1四半期のサンプルと窓の第2四半期のサンプルが、手段16の出力において選択されて、ベクトルが形成されるように、図8の手段16によって最初に選択される。交差矢は、それぞれ手段18、20と22、24と26、28のリフティング乗算および続く丸め処理を図式的に表しており、DCT−IVブロックの入力において整数窓処理されたサンプルが得られる。
第1のベクトルが上記のように処理されたときに、第2のベクトルはサンプルx(N/2−1)およびx(N/2)、すなわち再び窓の第1四半期のサンプルと窓の第2四半期のサンプルから更に選択され、図8に記載されているアルゴリズムによって再び処理される。同様に、窓の第1および第2の四半期の他の全てのサンプル対が処理される。同一の処理は、第1の窓の第3および第4四半期についても実行される。ここで、出力12には、2Nの窓処理された整数サンプルがあり、図9に図示したように、ここでDCT−IV変換に供給される。特に、第2および第3四半期の整数窓処理されたサンプルは、DCTに供給される。窓の第1四半期の窓処理された整数サンプルは、先行するDCT−IVにおいて、先行する窓の第4四半期の窓処理された整数サンプルと共に処理される。同様に、図9で、第4四半期の窓処理された整数サンプルは、次の窓の第1四半期と共に、DCT−IV変換に供給される。図9に示された中心整数DCT−IV変換32は、ここでy(0)からy(N−1)のN個の整数スペクトル値を提供する。これらの整数スペクトル値は、介在する量子化を必要とすることなく、例えば、単純にエントロピー符号化できる。それは、窓処理およびは変換は整数出力値を産出するからである。
図9の右半分において、デコーダが例示されている。逆変換および「逆窓処理」から構成されるデコーダは、エンコーダと反対に動作する。逆DCT−IVが、図9にて図示したように、DCT−IVの逆変換に使用できることは知られている。デコーダDCT−IV34の出力値は、手段34および/または前のおよび次の変換の出力において整数窓処理されたサンプルから時間離散オーディオサンプルx(0)からx(2N−1)を再び生成するために、図9に図示したように、前の変換および/または次の変換に対応する値によって、ここで逆に処理される。
出力側の演算は、逆ギブンス回転によって起こる。すなわち、ブロック26、28と22、24と18、20が、それぞれ反対方向に通過される。これは、数式1の第2のリフティングマトリクスに関して更に詳細に例示される。(エンコーダにおいて)第2の結果ベクトルが第2のリフティングマトリクス(手段22)を有する丸められた第1の結果ベクトルの乗算によって形成されるときは、以下の式に帰結する。
Figure 2007504513
数式6の右辺の値x、yは、整数である。これは、しかしながら値x sin aには適応されない。ここで、以下の数式にて図示されるような、丸め関数rが導入されなければならない。
Figure 2007504513
本演算は、手段24によって実行される。
逆のマッピング(デコーダにおいて)は、以下の通りに定められる。
Figure 2007504513
丸め演算の前の負符号により、リフティングステップの整数近似がエラーをもたらすことなく逆にできることは明らかである。3つのリフティングステップの各々に対するこの近似の応用は、ギブンス回転の整数近似を導く。丸められた回転(エンコーダにおいて)は、逆順に逆の丸められたリフティングステップに通すことによって、エラーをもたらすことなく逆転することができる(デコーダにおいて)。すなわち、復号化においては、図8のアルゴリズムはボトムからトップまで実行される。
丸め関数rが点対称である場合には、逆の丸められた回転は、角度−aを有する丸められた回転と同一であり、以下の通りに表わされる。
Figure 2007504513
デコーダのため、すなわち逆ギブンス回転のためのリフティングマトリクスは、このケースでは、単に「sin a」を「−sin a」に交換するだけで、数式1から直接求まる。
以下において、オーバーラップ窓40から46を有する一般のMDCTの分解は、図10に関連して再び例示される。窓40から46は、それぞれ50%オーバーラップを有する。最初に、矢印48によって概略的に例示されたように、ギブンス回転が窓の第1と第2の四半期内および/または窓の第3と第4四半期内で窓毎に実行される。次に、回転された値、すなわち窓処理された整数サンプルは、常に窓の第2と第3四半期および次の窓の第4と第1四半期が、それぞれDCT−IVアルゴリズムによってt共にスペクトル表現に変換されるN−N DCTに供給される。
一般のギブンス回転は、それゆえ順次実行されるリフティングマトリックスに分解される。ここで、各リフティングマトリクスの乗算の後に、リフティングマトリクスによる結果ベクトルの各乗算の前に結果ベクトルだけが整数を有するように生成された後に、直ちに浮動小数点数が丸められるように、丸めステップが挿入される。
出力値はこのように常に整数のままであり、整数入力値を使用することが好ましい。このことは限定を意味しない。それは、CDに保存されているいかなる模範的なPCMサンプルも整数値であり、その値の範囲はビット幅、すなわち時間離散デジタル入力値が16ビット値か24ビット値かに依存して変わる。にもかかわらず、上述のように、すべてのプロセスは、逆順に逆回転を実行することによって可逆である。このように、完全な復元、すなわち損失がない変換を有するMDCTの整数近似がある。
示された変換は、短期のポイント値の代わりに整数出力値を提供する。それは完全な復元を提供し、順方向そして次に逆方向の変換が実行されるときにエラーがもたらされない。本発明の好ましい実施例によれば、変換は修正された離散コサイン変換の置換である。しかしながら、回転への分解およびリフティングステップへの回転の分解が可能である限り、他の変換方法を整数によって実行できる。
整数MDCTは、MDCTの最も好ましい特性を有している。それはオーバーラップ構造を有し、オーバーラップしないブロック変換より良好な周波数選択度が得られる。変換に先立つ窓処理において既に考慮されているTDAC関数により、臨海サンプリングが維持され、その結果オーディオ信号を表現するスペクトル値の合計数が入力サンプルの合計数に等しくなる。
述べられた好ましい整数変換は、浮動小数点サンプルを提供している通常のMDCTと比較して、ノイズが、通常のMDCTと比較して、ほとんど信号レベルがないスペクトル領域においてのみ増加することを示す一方、このノイズの増加は有意の信号レベルでは明らかにならないことを示す。しかし、整数処理は効率的なハードウェア実装のためにそれ自体推奨される。それは、乗算ステップのみが用いられ、直ちに単純で速い方法でハードウェア実装できるシフト/加算ステップに分解できるからである。もちろん、ソフトウェア実装も可能である。実際的な状況に従って、発明の埋込コンセプトおよび/または発明の抽出コンセプトは、ハードウェアまたはソフトウェアで実装できる。実装は、電子的に読出でき、プログラマブルなコンピュータシステムと協動でき、対応する方法が実行される制御信号を有するデジタル記憶媒体、特にディスクまたはCD上に行うことができる。通常、本発明は、このように、コンピュータプログラム製品がコンピュータ上で動作するときに、本発明の埋込方法または本発明の抽出方法を実行するプログラムコードが機械読取可能なキャリアに記録されたコンピュータプログラム製品からも構成される。換言すれば、本発明は、このように、コンピュータプログラムをコンピュータ上で動作するときに本埋込方法および/または本抽出方法を実行するプログラムコードを有するコンピュータプログラムを表す。
キャリア信号にペイロードを埋込むための発明の装置のブロック回路図である。 修正されたキャリア信号からペイロードを抽出するための発明の装置のブロック回路図である。 本発明の第1実施形態における信号制限価数の決定を例示したいくつかの価数順のスペクトル表現値の概念図である。 図3と同様に、リスニング閾値を挿入することによってデータレートを増大するための付加的な処理を例示した図である。 キャリア信号の例としてのオーディオ信号における発明コンセプトの応用シナリオである。 キャリア信号の例としてのオーディオ信号に基づく発明の抽出器の応用シナリオである。 MDCTおよび50%オーバーラップを有する公知のエンコーダの概略ブロック回路図である。 図7aによって生成される値を復号化するための公知のデコーダのブロック回路図である。 整数スペクトル値を平均化する整数値を得るために時間離散オーディオサンプルを処理する好ましい手段のブロック回路図である。 ギブンス回転と2つのDCT−IV 演算におけるMDCTと逆MDCTの分解の概念図である。 回転とDCT−IV 演算における解を50%オーバーラップを有するMDCTの分解を例示した図である。

Claims (29)

  1. バイナリペイロード(122)を第1シーケンスの離散値を備えたキャリア信号(110)に埋込む装置であって、
    整数バイナリスペクトル表現値のセットを提供するよう構成された順方向整数変換アルゴリズムを用いて、第1シーケンスの離散値をスペクトル表現(114)に変換する手段であって、修正されるスペクトル表現値はビットを含み、異なる価数はスペクトル表現値の各ビットに関連し、スペクトル表現値のビットの中で最も高い価数を有するセットビットはスペクトル表現値の先頭ビットであり、そしてスペクトル表現値の残るすべてのビットは先頭ビットよりも低い価数を有する、変換する手段(112)と、
    スペクトルデータ値の信号制限価数を決定する手段であって、信号制限価数がスペクトル表現値の先頭ビットの価数より少なくとも一価数レベル低い、決定する手段(116)と、
    修正されたスペクトル表現値(124)を得るために、バイナリペイロード(122)に従って、その価数が信号制限価数に等しいかまたは信号制限価数より低いスペクトル表現値のビットをセットする手段(120)と、
    修正されるスペクトル表現値の代わりに修正されたスペクトル表現値が含まれる整数バイナリスペクトル表現値のセットを、逆方向整数変換アルゴリズムを用いて、第2シーケンスの離散値(118)に変換する手段であって、ペイロード(122)が第2シーケンスの離散値(118)に埋込まれるようにした、変換する手段(126)とを備えた、キャリア信号にバイナリペイロードを埋込む装置。
  2. 決定する手段(116)は、いくつかのバイナリスペクトル表現値のそれぞれの信号制限価数を決定するよう構成され、各バイナリスペクトル表現値の信号制限価数が対応するスペクトル表現値の先頭ビットの価数より同一価数レベル(152)低い、請求項1に記載の装置。
  3. 信号制限価数が先頭ビットの価数より3価数レベル以上(152)低い、請求項1または2の記載の装置。
  4. 提供する手段(116)は、更に、スペクトル表現値の先頭ビットの価数を考慮することなく、スペクトル表現値のビットの最も低い価数よりあらかじめ定められた価数レベル高いスペクトル表現値の静寂の制限価数を決定するよう構成され、セットする手段(120)は、対象となるスペクトル表現値について決定された信号制限価数について考慮することなく、静寂の制限価数に等しいかまたは低い価数を有するビットをセットする、先行する請求項のいずれかに記載の装置。
  5. 情報信号はオーディオ信号であって、提供する手段(116)は、音響心理学的モデルを信号制限価数として用い、スペクトル表現値の価数を、スペクトル表現値の音響心理学的マスキング閾値の先頭ビットの価数より1価数レベル高いか、等しいか、または低く決定するよう構成された、先行する請求項のいずれかに記載の装置。
  6. 提供する手段(116)は、スペクトル表現値の信号制限価数を、スペクトル表現値の音響心理学的マスキング閾値の先頭ビットより1価数レベル低くセットするよう構成された、請求項5に記載の装置。
  7. 決定する手段(116)は、音響心理学的モデルを用いて、音響心理学的マスキング閾値を算出するよう構成されたものであって、先頭ビットまたは付加的により低い価数を有するあらかじめ定められた数のビットのみを用いて、音響心理学的なマスキング閾値を算出するよう構成され、
    セットする手段(120)は、スペクトル表現値の先頭ビットまたは付加的により低い価数を有するあらかじめ定められた数のビットを操作しないよう構成された、請求項5または6に記載の装置。
  8. 情報信号はいくつかのシーケンスの離散値を備え、
    セットする手段(120)は、更に、整数バイナリスペクトル表現値のセットに、シーケンスの開始または終了の表示を含む冗長ビットを挿入するよう構成された、先行する請求項のいずれかに記載の装置。
  9. 冗長ビットはチェックサムであって、一連の整数バイナリスペクトル表現値のセットに、お互いにあらかじめ定められた関係を有するチェックサムが挿入される、請求項8に記載の装置。
  10. 変換する手段(112)は、少なくとも128、多くとも2048の離散値を含むシーケンスを変換するよう構成された、先行する請求項のいずれかに記載の装置。
  11. セットする手段(120)は、その周波数がバイナリスペクトル表現値のセットの平均周波数より高い一つ以上のスペクトル表現値の制限価数より低い価数を有するビットに挿入される冗長ビットとして、セットビットパターンを用いるよう構成された、請求項8に記載の装置。
  12. 変換する手段(112)は、キャリア信号の情報内容に従って第1シーケンスの長さを変化させるよう構成され、セットする手段(120)は、各ブロックに冗長ビットを挿入するよう構成された、請求項8に記載の装置。
  13. キャリア信号はオーディオCD互換のオーディオ信号である、先行する請求項のいずれかに記載の装置。
  14. 更に、挿入される情報をバイナリ形式で得るために、原ペイロードに冗長符号化する手段を備え、ペイロードは原ペイロードと同じ情報を表現するが、原ペイロードより高いデータ冗長性を含む、先行する請求項のいずれかに記載の装置。
  15. ペイロードが圧縮されたビデオデータ、オーディオデータまたはキャリア信号自体の圧縮バージョンである、先行する請求項のいずれかに記載の装置。
  16. 順方向整数変換アルゴリズムおよび逆方向整数変換アルゴリズムがIntMDCTアルゴリズムを含む、先行する請求項のいずれかに記載の装置。
  17. バイナリペイロード(122)を第1シーケンスの離散値を備えたキャリア信号(110)に埋込む方法であって、
    整数バイナリスペクトル表現値のセットを提供するよう構成された順方向整数変換アルゴリズムを用いて、第1シーケンスの離散値をスペクトル表現(114)に変換するものであって、修正されるスペクトル表現値はビットを含み、異なる価数はスペクトル表現値の各ビットに関連し、スペクトル表現値のビットの中で最も高い価数を有するセットビットはスペクトル表現値の先頭ビットであり、そしてスペクトル表現値の残るすべてのビットは先頭ビットよりも低い価数を有する、変換する工程(112)と、
    スペクトルデータ値の信号制限価数を決定するものであって、信号制限価数がスペクトル表現値の先頭ビットの価数より少なくとも一価数レベル低い、決定する工程(116)と、
    修正されたスペクトル表現値(124)を得るために、バイナリペイロード(122)に従って、その価数が信号制限価数に等しいかまたは信号制限価数より低いスペクトル表現値のビットをセットする工程(120)と、
    修正されるスペクトル表現値の代わりに修正されたスペクトル表現値が含まれる整数バイナリスペクトル表現値のセットを、逆方向整数変換アルゴリズムを用いて、第2シーケンスの離散値(118)に変換する工程であって、ペイロード(122)が第2シーケンスの離散値(118)に埋込まれるようにした、変換する工程(126)とを備えた、キャリア信号にバイナリペイロードを埋込む方法。
  18. ペイロードが挿入された第2シーケンスの離散値を備えた修正されたキャリア信号(130)からペイロードを抽出する装置であって、
    ペイロードは整数バイナリスペクトル表現値のセットからのスペクトル表現値であるスペクトル表現値のビットをセットすることによって挿入され、スペクトル表現値はビットを備え、異なる価数はスペクトル表現値の各ビットに関連し、スペクトル表現値のビットの中で最も高い価数を有するセットビットはスペクトル表現値の先頭ビットであり、そしてスペクトル表現値の残るすべてのビットは先頭ビットよりも低い価数を有し、整数スペクトル表現値のセットは、第1シーケンスの離散値を順方向整数変換アルゴリズムを用いてスペクトル表現に変換することによって生成され、変換アルゴリズムは整数バイナリスペクトル表現値のセットを提供するよう構成され、そしてスペクトル表現値のセットされたビットは、その価数が信号制限価数より低いかまたは等しいものであって、
    整数バイナリスペクトル表現値の抽出セット(133)を得るために、順方向整数変換アルゴリズムを用いて、第2シーケンスのサンプルを変換する手段(132)と、
    スペクトル表現値と関連する信号制限価数に関する情報を提供する手段(134)と、
    その価数がスペクトル表現値に関連する信号制限価数より低いかまたは等しいスペクトル表現値のビットを抽出する手段であって、抽出されたビットがバイナリペイロードを表現する、抽出する手段(136)とを備え、修正されたキャリア信号からペイロードを抽出する装置。
  19. 情報を提供する手段(134)は、抽出する装置において記憶された信号制限価数データ(134a)を提供するよう構成され、記憶された信号制限価数データは、プリセットされるかまたは修正されたキャリア信号(130)の副情報として含まれていた、請求項18に記載の装置。
  20. 副情報は修正されたキャリア信号に埋込まれない、請求項19に記載の装置。
  21. ペイロードの埋込において、スペクトル表現値の先頭ビットの価数を考慮することなく、スペクトル表現値のビットの最も低い価数よりあらかじめ定められた価数レベル高い静寂の制限価数が用いられ、
    提供する手段(134)は、スペクトル表現値の静寂の制限価数を提供するよう構成された、請求項18ないし20のいずれかに記載の装置。
  22. ペイロードの埋込において、信号制限価数は音響心理学的モデルを用いて算出され、
    提供する手段(134)は、同一の音響心理学的モデルを用いて、スペクトル表現値の信号制限価数に関する情報を決定するよう構成された、請求項18ないし21のいずれかに記載の装置。
  23. ペイロードの埋込において、信号制限価数は音響心理学的モデルを用いて算出され、先頭ビットだけ、または付加的により低い価数を有するあらかじめ定められた数のビットがマスキング閾値を決定するために用いられ、
    提供する手段(134)は、スペクトル表現値毎に、先頭ビットだけ、または付加的に整数バイナリスペクトル表現値の抽出セット(133)のより低い価数を有するあらかじめ定められた数のビットを、スペクトル表現値の信号制限価数を算出するために用いるよう構成された、請求項22に記載の装置。
  24. 情報の埋込において冗長ビットが挿入され、
    抽出する装置は、更に、情報の埋込みに用いられたブロック・ラスターを決定する手段を備え、ブロック・ラスターを決定する手段は、冗長ビットを抽出するために、変換する手段(132)、提供する手段(134)および抽出する手段(136)を反復的に駆動するよう構成され、
    そしてブロック・ラスターを決定する手段は、更に、ブロック・ラスターを、一時的に連続するブロックのチェックサムがお互いにあらかじめ定められた関係を有するブロック・ラスターを正しいブロック・ラスターとして識別するよう構成された、請求項18ないし23のいずれかに記載の装置。
  25. 情報の埋込において異なるブロック長が用いられ、そしてブロック・ラスターを決定する手段は、更に、さまざまなブロック長をテストするために変換する手段(132)を駆動し、複数のブロックについて抽出されたチェックサムがお互いにあらかじめ定められた関係を有するときにブロック長とブロック・ラスターが正しいと識別するよう構成された、請求項24に記載の装置。
  26. キャリア信号はオーディオ信号であって、ペイロードはオーディオ信号の圧縮バージョンを含み、
    更に、抽出装置を圧縮されたオーディオ信号を再生する装置とインターフェイス接続するためのインターフェイス手段を備えた、請求項18ないし25に記載の装置。
  27. インターフェイス手段は、圧縮されたオーディオ信号を再生する携帯装置のためのインターフェイスである、請求項26に記載の装置。
  28. ペイロードが挿入された第2シーケンスの離散値を備えた修正されたキャリア信号(130)からペイロードを抽出する方法であって、ペイロードは整数バイナリスペクトル表現値のセットからのスペクトル表現値であるスペクトル表現値のビットをセットすることによって挿入され、スペクトル表現値はビットを備え、異なる価数はスペクトル表現値の各ビットに関連し、スペクトル表現値のビットの中で最も高い価数を有するセットビットはスペクトル表現値の先頭ビットであり、そしてスペクトル表現値の残るすべてのビットは先頭ビットよりも低い価数を有し、整数スペクトル表現値のセットは、第1シーケンスの離散値を順方向整数変換アルゴリズムを用いてスペクトル表現に変換することによって生成され、変換アルゴリズムは整数バイナリスペクトル表現値のセットを提供するよう構成され、そしてスペクトル表現値のセットされたビットは、その価数が信号制限価数より低いかまたは等しいものであって、
    整数バイナリスペクトル表現値の抽出セット(133)を得るために、順方向整数変換アルゴリズムを用いて第2のシーケンスのサンプルを変換する工程(132)と、
    スペクトル表現値と関連する信号制限価数に関する情報を提供する工程(134)と、
    その価数がスペクトル表現値に関連する信号制限価数より低いかまたは等しいスペクトル表現値のビットを抽出する工程であって、抽出されたビットがバイナリペイロードを表現する、抽出する工程(136)とを備え、修正されたキャリア信号からペイロードを抽出する方法。
  29. 請求項17または請求項28の方法を実行するためのプログラムコードを有するコンピュータプログラム。
JP2006529718A 2003-05-15 2004-04-28 キャリア信号にバイナリペイロードを埋込む装置および方法 Expired - Lifetime JP4644672B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10321983A DE10321983A1 (de) 2003-05-15 2003-05-15 Vorrichtung und Verfahren zum Einbetten einer binären Nutzinformation in ein Trägersignal
PCT/EP2004/004481 WO2004102969A1 (de) 2003-05-15 2004-04-28 Vorrichtung und verfahren zum einbetten einer binären nutzinformation in ein trägersignal

Publications (2)

Publication Number Publication Date
JP2007504513A true JP2007504513A (ja) 2007-03-01
JP4644672B2 JP4644672B2 (ja) 2011-03-02

Family

ID=33440865

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006529718A Expired - Lifetime JP4644672B2 (ja) 2003-05-15 2004-04-28 キャリア信号にバイナリペイロードを埋込む装置および方法

Country Status (9)

Country Link
US (1) US7587311B2 (ja)
EP (1) EP1604527B1 (ja)
JP (1) JP4644672B2 (ja)
KR (1) KR100709460B1 (ja)
CN (1) CN100481941C (ja)
AT (1) ATE345648T1 (ja)
DE (2) DE10321983A1 (ja)
HK (1) HK1082134A1 (ja)
WO (1) WO2004102969A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012520481A (ja) * 2009-03-13 2012-09-06 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 補助データの埋め込み及び抽出
JP2013076871A (ja) * 2011-09-30 2013-04-25 Oki Electric Ind Co Ltd 音声符号化装置及びプログラム、音声復号装置及びプログラム、並びに、音声符号化システム

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2423451A (en) * 2005-02-16 2006-08-23 Ishce Ltd Inserting a watermark code into a digitally compressed audio or audio-visual signal or file
KR100799303B1 (ko) * 2006-06-21 2008-01-29 한국전자통신연구원 캡쳐링에 강인한 웨이블릿 기반 오디오 워터마크 삽입,추출 장치 및 방법과 이를 적용한 저작권 관리시스템
CN101636761B (zh) * 2007-03-23 2013-07-24 汤姆森特许公司 修改编码的比特流
CN101681499B (zh) * 2007-06-14 2013-04-24 汤姆逊许可证公司 修改经编码的比特流
US9177562B2 (en) * 2010-11-24 2015-11-03 Lg Electronics Inc. Speech signal encoding method and speech signal decoding method
US20120197648A1 (en) * 2011-01-27 2012-08-02 David Moloney Audio annotation
JP5800915B2 (ja) 2011-02-14 2015-10-28 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ オーディオ信号のトラックのパルス位置の符号化および復号化
CA2827277C (en) 2011-02-14 2016-08-30 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Linear prediction based coding scheme using spectral domain noise shaping
SG185519A1 (en) * 2011-02-14 2012-12-28 Fraunhofer Ges Forschung Information signal representation using lapped transform
KR101699898B1 (ko) 2011-02-14 2017-01-25 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 스펙트럼 영역에서 디코딩된 오디오 신호를 처리하기 위한 방법 및 장치
CN103493129B (zh) 2011-02-14 2016-08-10 弗劳恩霍夫应用研究促进协会 用于使用瞬态检测及质量结果将音频信号的部分编码的装置与方法
JP6148811B2 (ja) 2013-01-29 2017-06-14 フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー. 周波数領域におけるlpc系符号化のための低周波数エンファシス

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09214636A (ja) * 1996-02-07 1997-08-15 Tateba Syst Kk データ埋め込み音声通信方法及び装置
JPH11316599A (ja) * 1998-05-01 1999-11-16 Nippon Steel Corp 電子透かし埋め込み装置、オーディオ符号化装置および記録媒体
JP2000209097A (ja) * 1999-01-14 2000-07-28 Sony Corp 信号処理装置とその方法、信号記録装置、信号再生装置および記録媒体
JP2001118330A (ja) * 1999-10-18 2001-04-27 Yamaha Corp データ生成方法、記録装置、記録媒体、および再生装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE184140T1 (de) * 1996-03-07 1999-09-15 Fraunhofer Ges Forschung Codierverfahren zur einbringung eines nicht hörbaren datensignals in ein audiosignal, decodierverfahren, codierer und decodierer
CA2269651A1 (en) * 1998-05-12 1999-11-12 Lucent Technologies, Inc. Transform domain image watermarking method and system
US6345100B1 (en) * 1998-10-14 2002-02-05 Liquid Audio, Inc. Robust watermark method and apparatus for digital signals
DE19938095A1 (de) 1999-08-12 2001-03-01 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Einbringen von Informationen in ein Audiosignal und Verfahren und Vorrichtung zum Ermitteln von in einem Audiosignal eingebrachten Informationen
JP3507743B2 (ja) * 1999-12-22 2004-03-15 インターナショナル・ビジネス・マシーンズ・コーポレーション 圧縮オーディオデータへの電子透かし方法およびそのシステム
DE10129239C1 (de) * 2001-06-18 2002-10-31 Fraunhofer Ges Forschung Vorrichtung und Verfahren zum Einbetten eines Wasserzeichens in ein Audiosignal
US7006656B2 (en) * 2001-10-15 2006-02-28 The Research Foundation Of Suny Lossless embedding of data in digital objects

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09214636A (ja) * 1996-02-07 1997-08-15 Tateba Syst Kk データ埋め込み音声通信方法及び装置
JPH11316599A (ja) * 1998-05-01 1999-11-16 Nippon Steel Corp 電子透かし埋め込み装置、オーディオ符号化装置および記録媒体
JP2000209097A (ja) * 1999-01-14 2000-07-28 Sony Corp 信号処理装置とその方法、信号記録装置、信号再生装置および記録媒体
JP2001118330A (ja) * 1999-10-18 2001-04-27 Yamaha Corp データ生成方法、記録装置、記録媒体、および再生装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012520481A (ja) * 2009-03-13 2012-09-06 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 補助データの埋め込み及び抽出
JP2013076871A (ja) * 2011-09-30 2013-04-25 Oki Electric Ind Co Ltd 音声符号化装置及びプログラム、音声復号装置及びプログラム、並びに、音声符号化システム

Also Published As

Publication number Publication date
KR20060028633A (ko) 2006-03-30
KR100709460B1 (ko) 2007-04-18
EP1604527A1 (de) 2005-12-14
ATE345648T1 (de) 2006-12-15
WO2004102969A1 (de) 2004-11-25
US20060095253A1 (en) 2006-05-04
DE502004002013D1 (de) 2006-12-28
EP1604527B1 (de) 2006-11-15
DE10321983A1 (de) 2004-12-09
CN1792096A (zh) 2006-06-21
JP4644672B2 (ja) 2011-03-02
US7587311B2 (en) 2009-09-08
HK1082134A1 (en) 2006-05-26
CN100481941C (zh) 2009-04-22

Similar Documents

Publication Publication Date Title
US7587311B2 (en) Device and method for embedding binary payload in a carrier signal
JP5118022B2 (ja) オーディオ信号の符号化/復号化方法及び符号化/復号化装置
EP2328364B1 (en) A method and encoder for combining digital data sets, a decoding method and decoder for such combined digital data sets and a record carrier for storing such combined digital data set
CN101036183B (zh) 用于立体声兼容的多声道音频编码/解码的方法和设备
AU2006332046B2 (en) Scalable compressed audio bit stream and codec using a hierarchical filterbank and multichannel joint coding
Qiao et al. Noninvertible watermarking methods for mpeg-encoded audio
MXPA06012550A (es) Incrustacion de filigrana digital.
JP3814611B2 (ja) 時間離散オーディオサンプル値を処理する方法と装置
CN106415713B (zh) 用于对音频透明无损地加水印的方法
Hu et al. Effective blind speech watermarking via adaptive mean modulation and package synchronization in DWT domain
WO2004107316A2 (en) Bit-stream watermarking
US20070071277A1 (en) Apparatus and method for embedding a watermark using sub-band filtering
KR20060122692A (ko) 공간 정보 비트스트림이 임베드된 다운믹스 오디오 신호를인코딩 및 디코딩하는 방법
KR100891666B1 (ko) 믹스 신호의 처리 방법 및 장치
US20030161469A1 (en) Method and apparatus for embedding data in compressed audio data stream
KR100300887B1 (ko) 디지털 오디오 데이터의 역방향 디코딩 방법
KR20060027351A (ko) 적은 주파수 성분들을 갖는 미디어 신호 내의 부가적데이터의 검출 가능성을 증가시키는 방법
US20140037110A1 (en) Method and device for forming a digital audio mixed signal, method and device for separating signals, and corresponding signal
US8626494B2 (en) Data compression format
Pinel et al. A high-rate data hiding technique for audio signals based on IntMDCT quantization
Kirbiz et al. Decode-time forensic watermarking of AAC bitstreams
Adya Audio watermark resistant to mp3 compression
Tewari et al. High Payload SVD Based Audio Watermarking Scheme Inherently Robust to mp3 Compression
Kurth Perceptually transparent attachment of content-based data to audio-visual documents
Bazyar et al. A New MPEG Layer III Steganography Technique By Changing Quantized Spectrum Values

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090512

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090806

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090813

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101130

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101206

R150 Certificate of patent or registration of utility model

Ref document number: 4644672

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131210

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250