JP2004126214A - オーディオ処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 - Google Patents
オーディオ処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 Download PDFInfo
- Publication number
- JP2004126214A JP2004126214A JP2002290046A JP2002290046A JP2004126214A JP 2004126214 A JP2004126214 A JP 2004126214A JP 2002290046 A JP2002290046 A JP 2002290046A JP 2002290046 A JP2002290046 A JP 2002290046A JP 2004126214 A JP2004126214 A JP 2004126214A
- Authority
- JP
- Japan
- Prior art keywords
- audio
- watermark
- effect
- signal
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
【課題】オーディオデータを、必要な場合はユーザの好みの音質にエフェクトを施して再生することができ、符号量を無駄に増やすことなく、フォーマットの互換性も保ちつつ再生時のエフェクト制御を好適に行なうオーディオ処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体を提供することを目的とする。
【解決手段】マイク4でオーディオ信号を入力し、符号化器6で前記入力されたオーディオ信号を符号化し、エフェクタ5で前記入力されたオーディオ信号に対してエフェクトを示すエフェクト情報を発生し、透かし生成器7で前記エフェクト情報から透かし信号を生成し、透かし挿入器8で前記生成された透かし信号を符号化されたオーディオ符号化データに埋め込む。
【選択図】 図1
【解決手段】マイク4でオーディオ信号を入力し、符号化器6で前記入力されたオーディオ信号を符号化し、エフェクタ5で前記入力されたオーディオ信号に対してエフェクトを示すエフェクト情報を発生し、透かし生成器7で前記エフェクト情報から透かし信号を生成し、透かし挿入器8で前記生成された透かし信号を符号化されたオーディオ符号化データに埋め込む。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は、オーディオ処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体に関し、特にエフェクト制御処理に関するものである。
【0002】
【従来の技術】
高音質オーディオの符号化方式として、変換符号化方式である、ドルビーデジタル(AC−3)や、ATRAC−3、MPEG(Moving Picture Coding Experts Group)1 LayerII、LayerIII(MP3)、MPEG2−AAC (Advanced Audio Coding)などの符号化方式が世の中に広く使われている。
【0003】
これらの符号化方式の一部はISO(International Organization for Standardization:国際標準化機構)によって国際標準化されている。
【0004】
上述したようなディジタル符号化規格の普及に伴い、これらをコンピュータなどの上で扱うためのファイルフォーマットが策定されている。例えばMPEG−4ではその規格にファイルフォーマットが定義されている。さらにはコンピュータのOSやネットワークの構成に依存して、多くのファイルフォーマットが普及している。
【0005】
上述したようなディジタル符号化規格の普及に伴い、コンテンツ業界からは著作権保護の問題が強く提起されるようになってきた。これに対して、セキュリティに関する情報や暗号化のために電子透かし技術が開発されている。これはデータ再生時にデータが変化しない、あるいは、変化が知覚できないレベルで少量の情報を埋め込む技術である。オーディオデータに対して電子透かしを埋め込む技術としては、PCMデータをMP3データにエンコードする際、エンコードしたハフマンコードと符号長が等しいハフマンコードから所定のビット位置のビットデータを変えたハフマンコードを選択し、この選択したハフマンコードで前記エンコードした元のハフマンコードを置換する方法(例えば、特許文献1参照。)や時間領域の信号から周波数領域の信号に置換され量子化処理を施されたオーディオデータに対して電子透かしを挿入する方法(例えば、特許文献2参照。)などがある。
【0006】
一方、このようなデジタル化されたオーディオデータが一般に幅広く普及するにつれ、これらを加工する技術も年々深化し、リバーブ(オーディオ原信号の残響音を人工的に生成、合成するエフェクト)、コーラス(オーディオ原信号の位相をずらした信号を生成、合成するエフェクト)、エコー(オーディオ原信号を一時保存し、時間を遅らせたり振幅を変化させて指定された回数分原信号と合成するエフェクト)、ピッチシフト(オーディオ原信号の周波数スペクトル分布を保持したまま、周波数方向にずらして原信号と合成するエフェクト)、ディストーション(オーディオ原信号の時間波形のピーク部を平坦にする(削る)ことで、オーディオ原信号に歪みを加えるエフェクト)などのオーディオエフェクトもDSP等の汎用的なチップを用いて安価なコストで実現することができるようになった。
【0007】
これらのエフェクトは、制御用のパラメータ(原信号との合成量、周波数や時間などのずらし幅、振幅の増幅度、回数、変化後の時間波形の指定、変化させる周波数帯域の指定、エフェクトリンクの指定(複数のエフェクトを原信号に掛ける場合の、エフェクトを掛ける順序の指定)など)を適宜制御することによって、様々な音響上の効果を得ることが可能である。
【0008】
これらのエフェクトは、通常コンテンツ製作者側で使用され、オーディオ原信号がエフェクトにより加工された結果が符号化される。その際、コンテンツ製作者側で指定された各種エフェクトパラメータは符号化データには保存されない。
【0009】
【特許文献1】
特開2001−202089号公報
【特許文献2】
特開平11−316599号公報
【0010】
【発明が解決しようとする課題】
ところが、これらのエフェクトは不可逆であるため、オーディオデータの再生時に、ユーザが好みの音質に加工したり、サンプリングしてリミックスしたいといった場合、既に加工済みのオーディオデータを更に加工するしかなく、加工する前の原音が得られないという問題がある。その一方で、エフェクトの結果まで含めたオーディオコンテンツを提供したいというコンテンツ製作者の要求を同時に満たす必要がある。
【0011】
このような場合、例えば原音とそのエフェクト情報を別々に符号化して重畳するという解決方法があるが、エフェクト情報の分だけ符号量が増してしまう。更に、特殊なフォーマットになってしまうため、通常の復号化器では復号再生できなくなってしまう。符号によっては任意のデータを書き込むデータ領域、例えば各フレームにおいて、MPEG1−Audio Layer IIIであればアンシラリデータ域に追加情報を記載できるが、この領域に格納されるデータは各アプリケーションごとに任意となっており、互換性が取れないという問題がある。
【0012】
従って、本発明は前記課題を考慮して、コンテンツ製作者が提供するオーディオデータを、必要な場合はユーザの好みの音質にエフェクトを施して再生することができ、符号量を無駄に増やすことなく、フォーマットの互換性も保ちつつ再生時のエフェクト制御を好適に行なうオーディオ処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体を提供することを目的とする。
【0013】
【課題を解決するための手段】
上記課題を解決するために本発明のオーディオ処理装置は、オーディオ信号を入力する入力手段と、前記入力手段によって入力されたオーディオ信号を符号化する符号化手段と、前記入力手段によって入力されたオーディオ信号に対してエフェクトを示すエフェクト情報を発生するエフェクト発生手段と、前記エフェクト発生手段で発生されたエフェクト情報から透かし信号を生成する透かし信号生成手段と、前記透かし信号生成手段で生成された透かし信号を前記符号化手段で符号化されたオーディオ符号化データに埋め込む透かし埋め込み手段とを有することを特徴とする。
【0014】
また、本発明のオーディオ処理装置は、透かし信号が埋め込まれたオーディオ符号化データを入力する入力手段と、前記透かし信号が埋め込まれたオーディオ符号化データから透かし信号を抽出する透かし抽出手段と、前記透かし抽出手段で抽出された透かし信号からエフェクト情報を取得するエフェクト情報取得手段と、前記透かし抽出手段で透かし信号が抽出された後の、オーディオ符号化データを復号化する復号化手段と、前記エフェクト情報取得手段で得られたエフェクト情報に従って前記復号化されたオーディオ信号のエフェクトを制御するエフェクト制御手段とを有することを特徴とする。
【0015】
また、本発明のオーディオ処理方法は、オーディオ信号を入力する入力工程と、 前記入力工程で入力されたオーディオ信号を符号化する符号化工程と、前記入力工程で入力されたオーディオ信号に対してエフェクトを示すエフェクト情報を発生するエフェクト発生工程と、前記エフェクト発生工程で発生されたエフェクト情報から透かし信号を生成する透かし信号生成工程と、前記透かし信号生成工程で生成された透かし信号を前記符号化工程で符号化されたオーディオ符号化データに埋め込む透かし埋め込み工程とを有することを特徴とする。
【0016】
また、本発明のオーディオ処理方法は、透かし信号が埋め込まれたオーディオ符号化データを入力する入力工程と、前記透かし信号が埋め込まれたオーディオ符号化データから透かし信号を抽出する透かし抽出工程と、前記透かし抽出工程で抽出された透かし信号からエフェクト情報を取得するエフェクト情報取得工程と、前記透かし抽出工程で透かし信号が抽出された後の、オーディオ符号化データを復号化する復号化工程と、前記エフェクト情報取得工程で得られたエフェクト情報に従って前記復号化されたオーディオ信号のエフェクトを制御するエフェクト制御工程とを有することを特徴とする。
【0017】
【発明の実施の形態】
〈実施例1〉
以下、本発明の第1の実施例を、図面を用いて詳細に説明する。図1は本発明を適用するオーディオ符号化システムの構成を示すブロック図である。
【0018】
図1において、1は本発明に基づくオーディオ処理装置である。2はエフェクトを掛けた音声を耳で確認するためのモニタースピーカーである。3は、不図示のコンテンツ製作者が各種エフェクトの設定、操作を行なうための操作部である。4は、オーディオ信号を入力するマイクである。5はオーディオ信号にコーラス、リバーブ、ピッチシフトなど様々なエフェクトを掛けて変化させるエフェクタである。6は、オーディオをフレーム単位で符号化する符号化器である。7はエフェクタから出力される各種エフェクトパラメータから透かしデータを生成する透かし生成器であり、8は透かしデータを符号化データに埋め込む透かし挿入器である。9は生成された符号化データを記録する記憶装置である。
【0019】
上記のように構成されたオーディオ符号化システムにおけるオーディオ信号の処理動作を以下に説明する。
【0020】
本実施例では、コンテンツ製作者が操作部3を操作してエフェクタ5の各種エフェクトを設定し、エフェクト情報が付加される場合について説明する。また、説明の便宜のため、符号化方式としてMPEG2−AACを用いるが、MPEG1 Audio LayerI,II,III,ATRAC3,AC−3などのその他の変換符号化方式についても全く同様な方法で実現可能である。
【0021】
処理に先立ち、各部を初期化する。
【0022】
マイク4で集音されたオーディオ信号は連続してエフェクタ5と符号化器6に同時に入力される。
【0023】
不図示のコンテンツ製作者は、逐次エフェクトの効果をモニタースピーカー2で確認しつつ、操作部3を操作してエフェクタ5の各種パラメータを設定する。
【0024】
エフェクタ5は操作部3から送信される制御信号によって各種エフェクトパラメータを設定し、マイク4から送出されるオーディオ信号に逐次エフェクトを掛け、その結果をモニタースピーカー2へ出力する。また、符号化器6は入力されたオーディオ信号に対してAAC符号化方式で符号化し、その符号化データを保持する。
【0025】
透かし生成器7は、エフェクタ5から送出されるエフェクトの種類やエフェクトリンク、エフェクトの深さやディレイタイムなどの各種エフェクトパラメータを受け取り、これらを例えば、計64ビットのデータとして扱い、透かしデータとする。生成された透かしデータと埋め込み位置は透かし挿入器8に入力される。
【0026】
透かし挿入器8は、符号化器6から読み出した符号化フレームデータに、透かし生成器7で生成された透かしデータを埋め込む。埋め込みの方法としては、例えば各オーディオ符号化フレームにおける最も高周波のサブバンドにおける、各周波数係数を±1の範囲で増減させ、意図的に奇数、もしくは偶数にして符号化データを変更する方法などで透かしデータを用いれば良い。すなわち、埋め込むデータの1ビットが0であれば、最後の係数を偶数に、1であれば奇数にする。
【0027】
なお、電子透かし埋め込み方法として、本発明はこれに限定されず、既存の方法を使用しても良い。
【0028】
このようにして透かしデータが埋め込まれた符号化データは記憶装置9の所定の位置に蓄積される。
【0029】
以下、符号化データの蓄積までの処理の簡単な流れを、図7を用いて説明する。 図7は、本第1の実施例に係るオーディオ符号化システムにおけるオーディオ符号化処理を示すフローチャートである。
【0030】
まずステップS101にて、装置の初期化を行なう。
【0031】
次に、ステップS102にて符号化処理の終了かどうかの判定を行う。符号化処理を終了する場合はそのまま処理を終了する。符号化処理を終了しない場合は、ステップS103とステップS104に同時に進む。
【0032】
ステップS103では、マイク4から入力されたオーディオ信号の符号化を行なう。同時に、ステップS104では、まず、操作部3の操作があったかどうかを判定し、操作があった場合はステップS105に進む。操作が無い場合は、ステップS106へ進む。
【0033】
ステップS105では、操作部3から送出される制御信号によって、エフェクタ5の各種エフェクトパラメータ設定を変更し、ステップS106へ進む。
【0034】
ステップS106では、エフェクタ5に入力されるオーディオ信号にエフェクトを施して、モニタースピーカー2に送出し、ステップS107へ進む。
【0035】
ステップS107では、エフェクタ5の各種エフェクトパラメータを読み出し、透かし生成器7へ送出し、ステップS108へ進む。ステップS108では、エフェクタ5から読み出した各種エフェクトパラメータを透かしデータに変換し、ステップS109にてステップS103で符号化された符号化データに透かしデータを埋め込み、ステップS110にて記憶装置9に蓄積する。
【0036】
このような一連の選択動作により、エフェクトパラメータを透かしとして符号化データに埋め込むことにより、符号量を増やすことなく復号側に原音のオーディオデータとエフェクトパラメータを別々に送信することが可能となる。
【0037】
〈実施例2〉
図2は本発明の第2の実施例としてのオーディオ復号化システムの構成を示す図である。本実施例においてもMPEG2−AAC符号化方式を例にとって説明するが、これに限定されない。
【0038】
図2において、11は本発明に基づくオーディオ処理装置である。12は記憶装置であり、符号化データが記録されている。13は符号化データから透かしデータを抽出する透かし抽出器である。14は抽出された透かしデータから各種エフェクトパラメータ情報を再生するエフェクト情報再生器である。15は符号化されたオーディオデータを復号する復号器である。16は復号されたオーディオ信号に各種エフェクトを掛けるエフェクタである。17はエフェクタ16の各種エフェクトパラメータを不図示のユーザが操作する操作部である。なお、本実施例において、エフェクタ16の各種エフェクトパラメータの設定は逐次操作部上の各種スイッチに反映される。18はエフェクトの掛かったオーディオ信号を出力するスピーカーである。
【0039】
上記のように構成されたオーディオ復号システムにおけるオーディオ符号化データの処理動作を以下に説明する。
【0040】
第2の実施例において第1の実施例と同様に、動作に先立ち、各部の初期化が行われる。
【0041】
記憶装置12から読み出されたオーディオ符号化データはフレーム単位でオーディオ処理装置11に入力され、透かし抽出器13に入力される。透かし抽出器13では第1の実施例の図1における透かし挿入器8の逆の手順に従って64ビットの透かしデータを抽出し、エフェクト情報再生器14に入力する。透かしデータの抽出が終わった符号化データはそのまま復号化器15に入力され、復号処理されてオーディオ信号に戻され、エフェクタ16に入力される。
【0042】
エフェクト情報再生器14は64ビットのデータから各種エフェクトパラメータを再生し、エフェクタ16に送出する。操作部17がユーザによって操作されると、変更されたエフェクトパラメータがエフェクタ16に送出される。エフェクタ16は、操作部17から送出されるパラメータを優先して逐次各種エフェクトパラメータの設定を行なうとともに、パラメータ情報を操作部17へ送出する。同時に、復号化器15から送出されるオーディオ信号に逐次エフェクトを掛けて、その結果をスピーカー18へ送出する。その結果、適宜エフェクトが掛かったオーディオ信号がスピーカー18によって再生される。
【0043】
以下、符号化データの再生までの処理の簡単な流れを、図8を用いて説明する。
【0044】
図8は、第2の実施例に係るオーディオ復号化システムにおけるオーディオ復号化処理を示すフローチャートである。
【0045】
まずステップS201にて、装置の初期化を行ない、ステップS202にて処理の終了判断を行なう。ステップS203にて記憶装置12の所定の位置から1フレーム分の符号化データを読み込む。ステップS204にて符号化データから透かしデータを抽出し、64ビットのエフェクトパラメータが再生され、ステップS205において1フレームの符号化データがオーディオ信号に復号される。
【0046】
ステップS206にてユーザによって操作部17が操作されたかどうかを判断し、操作されていない場合はステップS207に進み、操作された場合はS208へ進む。ステップS207では、ステップS204で再生されたエフェクトパラメータを操作部の各スイッチに反映し、ステップS209へ進む。ステップS208では、操作部から送出されるエフェクトパラメータ値を読み取り、ステップS209へ進む。
【0047】
ステップS209では、前ステップまでに読み込まれたエフェクトパラメータに従ってエフェクタを設定し、ステップS210にて、ステップS205で復号されたオーディオ信号に対してエフェクト処理を実行し、ステップS211にてエフェクト処理されたオーディオ信号をモニタースピーカーに出力することによって、エフェクトの結果が実際の音として再生される。処理を終えるとステップS202へ進む。
【0048】
このような一連の選択動作により、コンテンツ製作者が提供するオーディオデータを、必要な場合はユーザの好みの音質にエフェクトを施して再生する場合に、符号量を無駄に増やすことなく、フォーマットの互換性も保ちつつ再生時のエフェクト制御を好適に行なうことが可能になる。
【0049】
〈実施例3〉
図3は本発明の第3の実施例としてのオーディオ符号化システムの構成を示す図である。なお、前述の実施例の図1と同様の構成要素については同一番号を付してその詳細な説明は省略する。
【0050】
図3において、101は本発明に基づくオーディオ処理装置である。102は動画像符号化システムであり、本実施例におけるオーディオ符号化システムに対して、映像に同期したオーディオエフェクトIDを出力する。103はエフェクトパラメータ検索器であり、予めプリセットされたエフェクトパラメータセットテーブルを内部に持ち、外部から送信されるエフェクトIDを受信し、エフェクトIDによってエフェクトパラメータテーブルを検索し、適宜エフェクトパラメータセットの切り替えを瞬時に行なうことができる。
【0051】
上記のように構成されたオーディオ符号化システムにおけるオーディオデータの処理動作を以下で説明する。
【0052】
第3の実施例において第1の実施例と同様に、動作に先立ち、各部の初期化が行われる。
【0053】
マイク4で集音されたオーディオ信号は連続して符号化器6に入力され、符号化器6は入力されたオーディオ信号に対してAAC符号化方式で符号化し、その符号化データを透かし挿入器8へ出力する。
【0054】
エフェクトパラメータ検索器103は、動画像符号化システム102からエフェクトIDを受信し、これによって内部のエフェクトパラメータテーブルを検索し、得られたエフェクトパラメータセットを透かし生成器7へ送出する。なお、本実施例において、動画像によるエフェクトIDの選択決定は、動画像符号化システムにおいて動画像の分析によって自動選択されても良いし、ユーザが意図して選択したものであっても良い。すなわち、どのような手法で生成されたかには関わらない。
【0055】
透かし生成器7は実施例1と同様に、入力されたエフェクトパラメータから64ビットの透かしデータを生成し、透かし挿入器8に入力される。透かし挿入器8は、実施例1と同様に、符号化器6から読み出した符号化データに、生成された透かしデータを埋め込む。透かしデータが埋め込まれた符号化データは記憶装置9の所定の位置に蓄積される。
【0056】
なお、本実施例によって符号化されたオーディオデータは、実施例2で説明したオーディオ処理装置で復号可能であり、実施例2と同様に再生時のエフェクト制御を好適に行なうことができる。
【0057】
〈実施例4〉
図4は、本発明の第4の実施例に係るオーディオ処理装置の構成を示すブロック図である。図4において、300は装置全体の制御、及び種々の処理を行う中央演算装置(CPU)、301は本装置の制御に必要なオペレーティングシステム(OS)、ソフトウェア、演算に必要な記憶領域を提供するメモリである。
【0058】
302は種々の装置をつなぎ、データ、制御信号をやり取りするバスである。303は装置の起動、各種条件の設定、各種エフェクトの設定を行なうための端末である。304はソフトウェアを蓄積する記憶装置である。305はオーディオデータを蓄積する記憶装置である。記憶装置304および、305はシステムから切り離して移動できるメディアで構成することも出来る。306は音を集音してオーディオ信号に変換するマイク、307はオーディオ信号を音として出力するスピーカーであり、308は通信回線であり、LAN、公衆回線、無線回線、放送電波等で構成されている。309は通信回線308を介してオーディオデータを送受信する通信インターフェースである。
【0059】
メモリ301には装置全体を制御し、各種ソフトウェアを動作させるためのOSや動作させるソフトウェアを格納し、オーディオデータを格納するオーディオエリア、生成した符号化データを格納する符号エリア、各種演算や符号化の際の符号化モードやエフェクトパラメータ等を格納しておくワーキングエリアが存在する。
【0060】
このような構成において、オーディオデータの符号化処理について説明する。
【0061】
処理に先立ち、端末303から装置全体に対して起動が指示され、各部が初期化される。すると記憶装置304に格納されているソフトウェアがバス302を介してメモリ301に展開され、ソフトウェアが起動される。
【0062】
図5は、実施例4におけるメモリ301のメモリの使用、格納状況を示す。
【0063】
メモリ301には装置全体を制御し、各種ソフトウェアを動作させるためのOS、オーディオを符号化する符号化ソフトウェア、透かしデータの生成と埋め込みを行なう透かし埋め込みソフトウェア、エフェクトパラメータに基づいてオーディオ信号に適宜エフェクトを施すエフェクトソフトウェアが格納されている。なお、本実施例において、符号化ソフトウェアとしてMPEG2−AACで符号化するソフトウェアの説明を行なうが、これに限定されない。
【0064】
また、符号化やエフェクト処理の際にオーディオ信号を格納するオーディオエリア、生成された符号や透かしの埋め込みが行われた符号化データを格納する符号エリア、各種演算のパラメータ等を格納するワーキングエリアが存在する。
【0065】
このような構成において、処理に先立ち、端末303からオーディオ信号の入力をマイク306から行なうものと設定しておく。
【0066】
次に、CPU300によるオーディオデータの符号化動作を図9に示すフローチャートに従って説明する。図9は、第4の実施例に係るオーディオ処理システムにおけるオーディオ符号化処理を示すフローチャートである。
【0067】
まず、ステップS301では、各部の初期化を行なう。ステップS302では、マイク306からの入力が終了したか否かを判定し、終了していなければステップS303に、終了していれば符号化動作を終える。
【0068】
ステップS303では、マイク306からオーディオ信号を1フレーム分入力し、メモリ301のオーディオエリアに格納し、ステップS304に進む。ステップS304では、メモリ301上の符号化ソフトウェアを用いてMPEG2−AAC符号化を行ない、符号化データをメモリ301上の符号エリアに格納し、ステップS305に進む。
【0069】
ステップS305では、コンテンツ製作者が端末303を操作してエフェクトの変更操作をしたかどうかを判定する。エフェクト変更操作がある場合は、ステップS306へ進み、変更操作が無い場合はステップS307へ進む。ステップS306では、端末303のエフェクト変更操作によって送出される制御信号に従って、メモリ301上のワークエリアに格納されているエフェクトパラメータを適宜変更し、ステップS307へ進む。ステップS307では、メモリ301上のエフェクトソフトウェアを用いて、メモリ301のオーディオエリアに格納されているオーディオ信号に対してエフェクト処理を実行し、次のステップS308でその結果をスピーカー307に出力し、ステップS309へ進む。これにより、エフェクト処理を施されたオーディオ信号がスピーカー307から音として出力される。
【0070】
ステップS309では、メモリ301のワークエリアに格納されているエフェクトパラメータから透かしを生成し、ステップS310へ進む。ステップS310では、メモリ301の符号エリアに格納されている符号化データに透かしを埋め込み、ステップS311へ進む。ステップS311では、メモリ301上の符号エリアに格納されている透かしが埋め込まれた符号化データを記憶装置304に出力して所定の位置に書き込んだり、通信インターフェース309を介して通信回線308に送出したりして、ステップS2へ進む。
【0071】
このような一連の選択動作により、エフェクト操作に必要な情報を生成し、透かしとして埋め込むことにより、符号量を無駄に増やすことなく復号側でのエフェクト再生を好適に行なえるようにすることが可能である。
【0072】
〈実施例5〉
本実施例では符号化オーディオデータの復号化処理について説明する。オーディオ処理装置の構成は実施例4の図4を用いる。本説明でもMPEG2−AAC符号化方式を例にとって説明するが、本発明は特にこれに限定されることはない。本実施例では実施例4で生成され、記憶装置304に格納された符号化データの復号処理を例にとって説明する。
【0073】
図4の構成において、処理に先立ち、端末303から記憶装置304に蓄積されているオーディオ符号化データから復号する符号化データを選択し、装置の起動が指示される。すると記憶装置305に格納されているソフトウェアがバス302を介してメモリ301に展開され、ソフトウェアが起動される。
【0074】
図6は、実施例5におけるメモリ301のメモリの使用、格納状況を示す。
【0075】
メモリ301には装置全体を制御し、各種ソフトウェアを動作させるためのOS、オーディオを復号する復号ソフトウェア、透かしデータの抽出と解析を行なう透かし抽出ソフトウェア、エフェクトパラメータに基づいて復号化されたオーディオ信号に適宜エフェクトを施すエフェクトソフトウェアが格納されている。なお、復号ソフトウェアはMPEG2−AACを復号するソフトウェアとして説明をするが、これに限定されない。 このような構成において、処理に先立ち、端末303からオーディオ信号の出力をスピーカ307から行なうものと設定する。
【0076】
次に、CPU500によるオーディオ符号化データの復号化動作を図10に示すフローチャートに従って説明する。図10は、第5の実施例に係るオーディオ処理システムにおけるオーディオ符号化処理を示すフローチャートである。
【0077】
ステップS401では、復号の際の各種パラメータの初期化を行いステップS402へ進む。ステップS402では、符号化データの全ての復号が終了したか否かを判定し、終了していなければステップS403に、終了していれば全ての処理を終了する。
【0078】
ステップS403では、記憶装置304からフレームの符号化データを読み出して、メモリ301上の符号エリアに格納し、ステップS404に進む。ステップS404では、メモリ301上の透かし抽出ソフトウェアを用いて、S403でメモリ301上に読み出された符号化データから透かしデータの抽出を行ない、得られた透かしデータをエフェクトパラメータとしてメモリ301上のワークエリアに格納し、ステップS405へ進む。ステップS405では、透かしデータの抽出が終わった符号化データの復号化を行ない、得られたオーディオ信号をメモリ301上のオーディオエリアに格納し、S406へ進む。
【0079】
ステップS406では、端末303を操作してユーザがエフェクト設定を操作したか否かを判定する。ユーザがエフェクト設定操作を行なった場合は、ステップS407へ進む。そうでない場合は、ステップS408へ進む。ステップS407では、ユーザが端末303を操作して行なったエフェクトパラメータの変更を、端末303から送信される制御情報から読み取り、ステップS408へ進む。ステップS408では、メモリ301のワークエリアに格納されているエフェクトパラメータに、ユーザによる設定変更がある場合は、エフェクトパラメータを再設定し、ステップS409へ進む。
【0080】
ステップS409では、メモリ301上のエフェクトソフトウェアを用いて、メモリ301上のオーディオエリアに格納されている復号化されたオーディオ信号に対して、ワークエリアのエフェクトパラメータを参照しつつ、エフェクト処理を行い、ステップS410へ進む。ステップS110では、エフェクト処理が施されたオーディオ信号をスピーカー307へ出力する。これにより、エフェクト処理されたオーディオ信号が実際の音としてスピーカー307から再生される。処理を終えると、S402へ進む。
【0081】
このような一連の選択動作により、透かしデータからエフェクトパラメータを読み出すことにより、コンテンツ製作者が意図した音の再生が可能になるばかりではなく、必要な場合はユーザの好みに再生音を変更することが可能になる。更に、符号量を無駄に増やすことなく、特定のファイルフォーマットに依存せず、エフェクト処理を行なうことが可能になる。
【0082】
〈その他実施例〉
また、上記実施形態では、ネットワークを構成するハードウェア等が含まれるものの、各処理部は実際はソフトウェアで実現できるものである。即ち、本発明の目的は、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または、記録媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(または、CPUやMPU)が、記憶媒体に格納されたプログラムコードを読み出し、実行することによっても達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が、上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体が本発明を構成することになる。
【0083】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)等が、実際の処理の一部または全部を行い、その処理によって、上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【0084】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPU等が、実際の処理の一部または全部を行い、その処理によって、上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【0085】
上記実施例に加えて出力時に新たなファイルフォーマットで記述することはもちろん可能である。この際に例えばアンシラリデータ領域等にエフェクトパラメータを記載することはもちろんかまわない。
【0086】
また、上記実施例において、オーディオの符号化方式をMPEG2−AACとしたが他の符号化方式、たとえば、MPEG1 Audio Layer I,II,III、MPEG4、ATRAC3,AC−3でももちろんかまわない。
【0087】
また、上記実施例において、エフェクトパラメータをそのまま透かしデータとして符号化データに埋め込んでいるが、これは他の方法をとってもかまわない。例えば、予めプリセットされたエフェクトパラメータセットのIDを符号化側で透かしとして埋め込み、復号化側で透かし抽出後、エフェクトパラメータIDをエフェクトパラメータのセットに再生することによって実現することも可能である。この場合、透かしとして埋め込むデータ量を更に圧縮することが可能である。
【0088】
また、上記実施例において、エフェクトパラメータを透かしデータとして符号化データの中に埋め込んだため、特定のファイルフォーマットに依存せず、どのようなファイルフォーマットで記述された場合でも、再生に関して問題を生じない効果がある。
【0089】
【発明の効果】
以上の説明から明らかなように、本発明では、コンテンツ製作者が意図したエフェクトパラメータを透かしデータとして符号化データの中に埋め込むことにより、コンテンツ製作者が意図した音声を再現することが可能になるばかりではなく、必要な場合は再生側においてユーザの好みのエフェクトを施して再生することが可能になる。また、無駄に符号量を増やすことなく、特定のファイルフォーマットに依存せず、エフェクト処理を行なうことが可能になる。
【図面の簡単な説明】
【図1】第1の実施例におけるオーディオ符号化システムの構成を示すブロック図である。
【図2】第2の実施例におけるオーディオ復号化システムの構成を示すブロック図である。
【図3】第3の実施例におけるオーディオ符号化システムの構成を示すブロック図である。
【図4】第4の実施例、第5の実施例におけるオーディオ処理システムの構成を示すブロック図である。
【図5】第4の実施例におけるメモリ301のメモリの使用、格納状況を表す図である。
【図6】第5の実施例におけるメモリ301のメモリの使用、格納状況を表す図である。
【図7】第1の実施例に係るオーディオ符号化システムにおける符号化処理を示すフローチャート図である。
【図8】第2の実施例に係るオーディオ復号化システムにおける復号化処理を示すフローチャート図である。
【図9】第4の実施例に係るオーディオ処理システムにおける符号化処理を示すフローチャート図である。
【図10】第5の実施例に係るオーディオ処理システムにおける復号化処理を示すフローチャート図である。
【発明の属する技術分野】
本発明は、オーディオ処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体に関し、特にエフェクト制御処理に関するものである。
【0002】
【従来の技術】
高音質オーディオの符号化方式として、変換符号化方式である、ドルビーデジタル(AC−3)や、ATRAC−3、MPEG(Moving Picture Coding Experts Group)1 LayerII、LayerIII(MP3)、MPEG2−AAC (Advanced Audio Coding)などの符号化方式が世の中に広く使われている。
【0003】
これらの符号化方式の一部はISO(International Organization for Standardization:国際標準化機構)によって国際標準化されている。
【0004】
上述したようなディジタル符号化規格の普及に伴い、これらをコンピュータなどの上で扱うためのファイルフォーマットが策定されている。例えばMPEG−4ではその規格にファイルフォーマットが定義されている。さらにはコンピュータのOSやネットワークの構成に依存して、多くのファイルフォーマットが普及している。
【0005】
上述したようなディジタル符号化規格の普及に伴い、コンテンツ業界からは著作権保護の問題が強く提起されるようになってきた。これに対して、セキュリティに関する情報や暗号化のために電子透かし技術が開発されている。これはデータ再生時にデータが変化しない、あるいは、変化が知覚できないレベルで少量の情報を埋め込む技術である。オーディオデータに対して電子透かしを埋め込む技術としては、PCMデータをMP3データにエンコードする際、エンコードしたハフマンコードと符号長が等しいハフマンコードから所定のビット位置のビットデータを変えたハフマンコードを選択し、この選択したハフマンコードで前記エンコードした元のハフマンコードを置換する方法(例えば、特許文献1参照。)や時間領域の信号から周波数領域の信号に置換され量子化処理を施されたオーディオデータに対して電子透かしを挿入する方法(例えば、特許文献2参照。)などがある。
【0006】
一方、このようなデジタル化されたオーディオデータが一般に幅広く普及するにつれ、これらを加工する技術も年々深化し、リバーブ(オーディオ原信号の残響音を人工的に生成、合成するエフェクト)、コーラス(オーディオ原信号の位相をずらした信号を生成、合成するエフェクト)、エコー(オーディオ原信号を一時保存し、時間を遅らせたり振幅を変化させて指定された回数分原信号と合成するエフェクト)、ピッチシフト(オーディオ原信号の周波数スペクトル分布を保持したまま、周波数方向にずらして原信号と合成するエフェクト)、ディストーション(オーディオ原信号の時間波形のピーク部を平坦にする(削る)ことで、オーディオ原信号に歪みを加えるエフェクト)などのオーディオエフェクトもDSP等の汎用的なチップを用いて安価なコストで実現することができるようになった。
【0007】
これらのエフェクトは、制御用のパラメータ(原信号との合成量、周波数や時間などのずらし幅、振幅の増幅度、回数、変化後の時間波形の指定、変化させる周波数帯域の指定、エフェクトリンクの指定(複数のエフェクトを原信号に掛ける場合の、エフェクトを掛ける順序の指定)など)を適宜制御することによって、様々な音響上の効果を得ることが可能である。
【0008】
これらのエフェクトは、通常コンテンツ製作者側で使用され、オーディオ原信号がエフェクトにより加工された結果が符号化される。その際、コンテンツ製作者側で指定された各種エフェクトパラメータは符号化データには保存されない。
【0009】
【特許文献1】
特開2001−202089号公報
【特許文献2】
特開平11−316599号公報
【0010】
【発明が解決しようとする課題】
ところが、これらのエフェクトは不可逆であるため、オーディオデータの再生時に、ユーザが好みの音質に加工したり、サンプリングしてリミックスしたいといった場合、既に加工済みのオーディオデータを更に加工するしかなく、加工する前の原音が得られないという問題がある。その一方で、エフェクトの結果まで含めたオーディオコンテンツを提供したいというコンテンツ製作者の要求を同時に満たす必要がある。
【0011】
このような場合、例えば原音とそのエフェクト情報を別々に符号化して重畳するという解決方法があるが、エフェクト情報の分だけ符号量が増してしまう。更に、特殊なフォーマットになってしまうため、通常の復号化器では復号再生できなくなってしまう。符号によっては任意のデータを書き込むデータ領域、例えば各フレームにおいて、MPEG1−Audio Layer IIIであればアンシラリデータ域に追加情報を記載できるが、この領域に格納されるデータは各アプリケーションごとに任意となっており、互換性が取れないという問題がある。
【0012】
従って、本発明は前記課題を考慮して、コンテンツ製作者が提供するオーディオデータを、必要な場合はユーザの好みの音質にエフェクトを施して再生することができ、符号量を無駄に増やすことなく、フォーマットの互換性も保ちつつ再生時のエフェクト制御を好適に行なうオーディオ処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体を提供することを目的とする。
【0013】
【課題を解決するための手段】
上記課題を解決するために本発明のオーディオ処理装置は、オーディオ信号を入力する入力手段と、前記入力手段によって入力されたオーディオ信号を符号化する符号化手段と、前記入力手段によって入力されたオーディオ信号に対してエフェクトを示すエフェクト情報を発生するエフェクト発生手段と、前記エフェクト発生手段で発生されたエフェクト情報から透かし信号を生成する透かし信号生成手段と、前記透かし信号生成手段で生成された透かし信号を前記符号化手段で符号化されたオーディオ符号化データに埋め込む透かし埋め込み手段とを有することを特徴とする。
【0014】
また、本発明のオーディオ処理装置は、透かし信号が埋め込まれたオーディオ符号化データを入力する入力手段と、前記透かし信号が埋め込まれたオーディオ符号化データから透かし信号を抽出する透かし抽出手段と、前記透かし抽出手段で抽出された透かし信号からエフェクト情報を取得するエフェクト情報取得手段と、前記透かし抽出手段で透かし信号が抽出された後の、オーディオ符号化データを復号化する復号化手段と、前記エフェクト情報取得手段で得られたエフェクト情報に従って前記復号化されたオーディオ信号のエフェクトを制御するエフェクト制御手段とを有することを特徴とする。
【0015】
また、本発明のオーディオ処理方法は、オーディオ信号を入力する入力工程と、 前記入力工程で入力されたオーディオ信号を符号化する符号化工程と、前記入力工程で入力されたオーディオ信号に対してエフェクトを示すエフェクト情報を発生するエフェクト発生工程と、前記エフェクト発生工程で発生されたエフェクト情報から透かし信号を生成する透かし信号生成工程と、前記透かし信号生成工程で生成された透かし信号を前記符号化工程で符号化されたオーディオ符号化データに埋め込む透かし埋め込み工程とを有することを特徴とする。
【0016】
また、本発明のオーディオ処理方法は、透かし信号が埋め込まれたオーディオ符号化データを入力する入力工程と、前記透かし信号が埋め込まれたオーディオ符号化データから透かし信号を抽出する透かし抽出工程と、前記透かし抽出工程で抽出された透かし信号からエフェクト情報を取得するエフェクト情報取得工程と、前記透かし抽出工程で透かし信号が抽出された後の、オーディオ符号化データを復号化する復号化工程と、前記エフェクト情報取得工程で得られたエフェクト情報に従って前記復号化されたオーディオ信号のエフェクトを制御するエフェクト制御工程とを有することを特徴とする。
【0017】
【発明の実施の形態】
〈実施例1〉
以下、本発明の第1の実施例を、図面を用いて詳細に説明する。図1は本発明を適用するオーディオ符号化システムの構成を示すブロック図である。
【0018】
図1において、1は本発明に基づくオーディオ処理装置である。2はエフェクトを掛けた音声を耳で確認するためのモニタースピーカーである。3は、不図示のコンテンツ製作者が各種エフェクトの設定、操作を行なうための操作部である。4は、オーディオ信号を入力するマイクである。5はオーディオ信号にコーラス、リバーブ、ピッチシフトなど様々なエフェクトを掛けて変化させるエフェクタである。6は、オーディオをフレーム単位で符号化する符号化器である。7はエフェクタから出力される各種エフェクトパラメータから透かしデータを生成する透かし生成器であり、8は透かしデータを符号化データに埋め込む透かし挿入器である。9は生成された符号化データを記録する記憶装置である。
【0019】
上記のように構成されたオーディオ符号化システムにおけるオーディオ信号の処理動作を以下に説明する。
【0020】
本実施例では、コンテンツ製作者が操作部3を操作してエフェクタ5の各種エフェクトを設定し、エフェクト情報が付加される場合について説明する。また、説明の便宜のため、符号化方式としてMPEG2−AACを用いるが、MPEG1 Audio LayerI,II,III,ATRAC3,AC−3などのその他の変換符号化方式についても全く同様な方法で実現可能である。
【0021】
処理に先立ち、各部を初期化する。
【0022】
マイク4で集音されたオーディオ信号は連続してエフェクタ5と符号化器6に同時に入力される。
【0023】
不図示のコンテンツ製作者は、逐次エフェクトの効果をモニタースピーカー2で確認しつつ、操作部3を操作してエフェクタ5の各種パラメータを設定する。
【0024】
エフェクタ5は操作部3から送信される制御信号によって各種エフェクトパラメータを設定し、マイク4から送出されるオーディオ信号に逐次エフェクトを掛け、その結果をモニタースピーカー2へ出力する。また、符号化器6は入力されたオーディオ信号に対してAAC符号化方式で符号化し、その符号化データを保持する。
【0025】
透かし生成器7は、エフェクタ5から送出されるエフェクトの種類やエフェクトリンク、エフェクトの深さやディレイタイムなどの各種エフェクトパラメータを受け取り、これらを例えば、計64ビットのデータとして扱い、透かしデータとする。生成された透かしデータと埋め込み位置は透かし挿入器8に入力される。
【0026】
透かし挿入器8は、符号化器6から読み出した符号化フレームデータに、透かし生成器7で生成された透かしデータを埋め込む。埋め込みの方法としては、例えば各オーディオ符号化フレームにおける最も高周波のサブバンドにおける、各周波数係数を±1の範囲で増減させ、意図的に奇数、もしくは偶数にして符号化データを変更する方法などで透かしデータを用いれば良い。すなわち、埋め込むデータの1ビットが0であれば、最後の係数を偶数に、1であれば奇数にする。
【0027】
なお、電子透かし埋め込み方法として、本発明はこれに限定されず、既存の方法を使用しても良い。
【0028】
このようにして透かしデータが埋め込まれた符号化データは記憶装置9の所定の位置に蓄積される。
【0029】
以下、符号化データの蓄積までの処理の簡単な流れを、図7を用いて説明する。 図7は、本第1の実施例に係るオーディオ符号化システムにおけるオーディオ符号化処理を示すフローチャートである。
【0030】
まずステップS101にて、装置の初期化を行なう。
【0031】
次に、ステップS102にて符号化処理の終了かどうかの判定を行う。符号化処理を終了する場合はそのまま処理を終了する。符号化処理を終了しない場合は、ステップS103とステップS104に同時に進む。
【0032】
ステップS103では、マイク4から入力されたオーディオ信号の符号化を行なう。同時に、ステップS104では、まず、操作部3の操作があったかどうかを判定し、操作があった場合はステップS105に進む。操作が無い場合は、ステップS106へ進む。
【0033】
ステップS105では、操作部3から送出される制御信号によって、エフェクタ5の各種エフェクトパラメータ設定を変更し、ステップS106へ進む。
【0034】
ステップS106では、エフェクタ5に入力されるオーディオ信号にエフェクトを施して、モニタースピーカー2に送出し、ステップS107へ進む。
【0035】
ステップS107では、エフェクタ5の各種エフェクトパラメータを読み出し、透かし生成器7へ送出し、ステップS108へ進む。ステップS108では、エフェクタ5から読み出した各種エフェクトパラメータを透かしデータに変換し、ステップS109にてステップS103で符号化された符号化データに透かしデータを埋め込み、ステップS110にて記憶装置9に蓄積する。
【0036】
このような一連の選択動作により、エフェクトパラメータを透かしとして符号化データに埋め込むことにより、符号量を増やすことなく復号側に原音のオーディオデータとエフェクトパラメータを別々に送信することが可能となる。
【0037】
〈実施例2〉
図2は本発明の第2の実施例としてのオーディオ復号化システムの構成を示す図である。本実施例においてもMPEG2−AAC符号化方式を例にとって説明するが、これに限定されない。
【0038】
図2において、11は本発明に基づくオーディオ処理装置である。12は記憶装置であり、符号化データが記録されている。13は符号化データから透かしデータを抽出する透かし抽出器である。14は抽出された透かしデータから各種エフェクトパラメータ情報を再生するエフェクト情報再生器である。15は符号化されたオーディオデータを復号する復号器である。16は復号されたオーディオ信号に各種エフェクトを掛けるエフェクタである。17はエフェクタ16の各種エフェクトパラメータを不図示のユーザが操作する操作部である。なお、本実施例において、エフェクタ16の各種エフェクトパラメータの設定は逐次操作部上の各種スイッチに反映される。18はエフェクトの掛かったオーディオ信号を出力するスピーカーである。
【0039】
上記のように構成されたオーディオ復号システムにおけるオーディオ符号化データの処理動作を以下に説明する。
【0040】
第2の実施例において第1の実施例と同様に、動作に先立ち、各部の初期化が行われる。
【0041】
記憶装置12から読み出されたオーディオ符号化データはフレーム単位でオーディオ処理装置11に入力され、透かし抽出器13に入力される。透かし抽出器13では第1の実施例の図1における透かし挿入器8の逆の手順に従って64ビットの透かしデータを抽出し、エフェクト情報再生器14に入力する。透かしデータの抽出が終わった符号化データはそのまま復号化器15に入力され、復号処理されてオーディオ信号に戻され、エフェクタ16に入力される。
【0042】
エフェクト情報再生器14は64ビットのデータから各種エフェクトパラメータを再生し、エフェクタ16に送出する。操作部17がユーザによって操作されると、変更されたエフェクトパラメータがエフェクタ16に送出される。エフェクタ16は、操作部17から送出されるパラメータを優先して逐次各種エフェクトパラメータの設定を行なうとともに、パラメータ情報を操作部17へ送出する。同時に、復号化器15から送出されるオーディオ信号に逐次エフェクトを掛けて、その結果をスピーカー18へ送出する。その結果、適宜エフェクトが掛かったオーディオ信号がスピーカー18によって再生される。
【0043】
以下、符号化データの再生までの処理の簡単な流れを、図8を用いて説明する。
【0044】
図8は、第2の実施例に係るオーディオ復号化システムにおけるオーディオ復号化処理を示すフローチャートである。
【0045】
まずステップS201にて、装置の初期化を行ない、ステップS202にて処理の終了判断を行なう。ステップS203にて記憶装置12の所定の位置から1フレーム分の符号化データを読み込む。ステップS204にて符号化データから透かしデータを抽出し、64ビットのエフェクトパラメータが再生され、ステップS205において1フレームの符号化データがオーディオ信号に復号される。
【0046】
ステップS206にてユーザによって操作部17が操作されたかどうかを判断し、操作されていない場合はステップS207に進み、操作された場合はS208へ進む。ステップS207では、ステップS204で再生されたエフェクトパラメータを操作部の各スイッチに反映し、ステップS209へ進む。ステップS208では、操作部から送出されるエフェクトパラメータ値を読み取り、ステップS209へ進む。
【0047】
ステップS209では、前ステップまでに読み込まれたエフェクトパラメータに従ってエフェクタを設定し、ステップS210にて、ステップS205で復号されたオーディオ信号に対してエフェクト処理を実行し、ステップS211にてエフェクト処理されたオーディオ信号をモニタースピーカーに出力することによって、エフェクトの結果が実際の音として再生される。処理を終えるとステップS202へ進む。
【0048】
このような一連の選択動作により、コンテンツ製作者が提供するオーディオデータを、必要な場合はユーザの好みの音質にエフェクトを施して再生する場合に、符号量を無駄に増やすことなく、フォーマットの互換性も保ちつつ再生時のエフェクト制御を好適に行なうことが可能になる。
【0049】
〈実施例3〉
図3は本発明の第3の実施例としてのオーディオ符号化システムの構成を示す図である。なお、前述の実施例の図1と同様の構成要素については同一番号を付してその詳細な説明は省略する。
【0050】
図3において、101は本発明に基づくオーディオ処理装置である。102は動画像符号化システムであり、本実施例におけるオーディオ符号化システムに対して、映像に同期したオーディオエフェクトIDを出力する。103はエフェクトパラメータ検索器であり、予めプリセットされたエフェクトパラメータセットテーブルを内部に持ち、外部から送信されるエフェクトIDを受信し、エフェクトIDによってエフェクトパラメータテーブルを検索し、適宜エフェクトパラメータセットの切り替えを瞬時に行なうことができる。
【0051】
上記のように構成されたオーディオ符号化システムにおけるオーディオデータの処理動作を以下で説明する。
【0052】
第3の実施例において第1の実施例と同様に、動作に先立ち、各部の初期化が行われる。
【0053】
マイク4で集音されたオーディオ信号は連続して符号化器6に入力され、符号化器6は入力されたオーディオ信号に対してAAC符号化方式で符号化し、その符号化データを透かし挿入器8へ出力する。
【0054】
エフェクトパラメータ検索器103は、動画像符号化システム102からエフェクトIDを受信し、これによって内部のエフェクトパラメータテーブルを検索し、得られたエフェクトパラメータセットを透かし生成器7へ送出する。なお、本実施例において、動画像によるエフェクトIDの選択決定は、動画像符号化システムにおいて動画像の分析によって自動選択されても良いし、ユーザが意図して選択したものであっても良い。すなわち、どのような手法で生成されたかには関わらない。
【0055】
透かし生成器7は実施例1と同様に、入力されたエフェクトパラメータから64ビットの透かしデータを生成し、透かし挿入器8に入力される。透かし挿入器8は、実施例1と同様に、符号化器6から読み出した符号化データに、生成された透かしデータを埋め込む。透かしデータが埋め込まれた符号化データは記憶装置9の所定の位置に蓄積される。
【0056】
なお、本実施例によって符号化されたオーディオデータは、実施例2で説明したオーディオ処理装置で復号可能であり、実施例2と同様に再生時のエフェクト制御を好適に行なうことができる。
【0057】
〈実施例4〉
図4は、本発明の第4の実施例に係るオーディオ処理装置の構成を示すブロック図である。図4において、300は装置全体の制御、及び種々の処理を行う中央演算装置(CPU)、301は本装置の制御に必要なオペレーティングシステム(OS)、ソフトウェア、演算に必要な記憶領域を提供するメモリである。
【0058】
302は種々の装置をつなぎ、データ、制御信号をやり取りするバスである。303は装置の起動、各種条件の設定、各種エフェクトの設定を行なうための端末である。304はソフトウェアを蓄積する記憶装置である。305はオーディオデータを蓄積する記憶装置である。記憶装置304および、305はシステムから切り離して移動できるメディアで構成することも出来る。306は音を集音してオーディオ信号に変換するマイク、307はオーディオ信号を音として出力するスピーカーであり、308は通信回線であり、LAN、公衆回線、無線回線、放送電波等で構成されている。309は通信回線308を介してオーディオデータを送受信する通信インターフェースである。
【0059】
メモリ301には装置全体を制御し、各種ソフトウェアを動作させるためのOSや動作させるソフトウェアを格納し、オーディオデータを格納するオーディオエリア、生成した符号化データを格納する符号エリア、各種演算や符号化の際の符号化モードやエフェクトパラメータ等を格納しておくワーキングエリアが存在する。
【0060】
このような構成において、オーディオデータの符号化処理について説明する。
【0061】
処理に先立ち、端末303から装置全体に対して起動が指示され、各部が初期化される。すると記憶装置304に格納されているソフトウェアがバス302を介してメモリ301に展開され、ソフトウェアが起動される。
【0062】
図5は、実施例4におけるメモリ301のメモリの使用、格納状況を示す。
【0063】
メモリ301には装置全体を制御し、各種ソフトウェアを動作させるためのOS、オーディオを符号化する符号化ソフトウェア、透かしデータの生成と埋め込みを行なう透かし埋め込みソフトウェア、エフェクトパラメータに基づいてオーディオ信号に適宜エフェクトを施すエフェクトソフトウェアが格納されている。なお、本実施例において、符号化ソフトウェアとしてMPEG2−AACで符号化するソフトウェアの説明を行なうが、これに限定されない。
【0064】
また、符号化やエフェクト処理の際にオーディオ信号を格納するオーディオエリア、生成された符号や透かしの埋め込みが行われた符号化データを格納する符号エリア、各種演算のパラメータ等を格納するワーキングエリアが存在する。
【0065】
このような構成において、処理に先立ち、端末303からオーディオ信号の入力をマイク306から行なうものと設定しておく。
【0066】
次に、CPU300によるオーディオデータの符号化動作を図9に示すフローチャートに従って説明する。図9は、第4の実施例に係るオーディオ処理システムにおけるオーディオ符号化処理を示すフローチャートである。
【0067】
まず、ステップS301では、各部の初期化を行なう。ステップS302では、マイク306からの入力が終了したか否かを判定し、終了していなければステップS303に、終了していれば符号化動作を終える。
【0068】
ステップS303では、マイク306からオーディオ信号を1フレーム分入力し、メモリ301のオーディオエリアに格納し、ステップS304に進む。ステップS304では、メモリ301上の符号化ソフトウェアを用いてMPEG2−AAC符号化を行ない、符号化データをメモリ301上の符号エリアに格納し、ステップS305に進む。
【0069】
ステップS305では、コンテンツ製作者が端末303を操作してエフェクトの変更操作をしたかどうかを判定する。エフェクト変更操作がある場合は、ステップS306へ進み、変更操作が無い場合はステップS307へ進む。ステップS306では、端末303のエフェクト変更操作によって送出される制御信号に従って、メモリ301上のワークエリアに格納されているエフェクトパラメータを適宜変更し、ステップS307へ進む。ステップS307では、メモリ301上のエフェクトソフトウェアを用いて、メモリ301のオーディオエリアに格納されているオーディオ信号に対してエフェクト処理を実行し、次のステップS308でその結果をスピーカー307に出力し、ステップS309へ進む。これにより、エフェクト処理を施されたオーディオ信号がスピーカー307から音として出力される。
【0070】
ステップS309では、メモリ301のワークエリアに格納されているエフェクトパラメータから透かしを生成し、ステップS310へ進む。ステップS310では、メモリ301の符号エリアに格納されている符号化データに透かしを埋め込み、ステップS311へ進む。ステップS311では、メモリ301上の符号エリアに格納されている透かしが埋め込まれた符号化データを記憶装置304に出力して所定の位置に書き込んだり、通信インターフェース309を介して通信回線308に送出したりして、ステップS2へ進む。
【0071】
このような一連の選択動作により、エフェクト操作に必要な情報を生成し、透かしとして埋め込むことにより、符号量を無駄に増やすことなく復号側でのエフェクト再生を好適に行なえるようにすることが可能である。
【0072】
〈実施例5〉
本実施例では符号化オーディオデータの復号化処理について説明する。オーディオ処理装置の構成は実施例4の図4を用いる。本説明でもMPEG2−AAC符号化方式を例にとって説明するが、本発明は特にこれに限定されることはない。本実施例では実施例4で生成され、記憶装置304に格納された符号化データの復号処理を例にとって説明する。
【0073】
図4の構成において、処理に先立ち、端末303から記憶装置304に蓄積されているオーディオ符号化データから復号する符号化データを選択し、装置の起動が指示される。すると記憶装置305に格納されているソフトウェアがバス302を介してメモリ301に展開され、ソフトウェアが起動される。
【0074】
図6は、実施例5におけるメモリ301のメモリの使用、格納状況を示す。
【0075】
メモリ301には装置全体を制御し、各種ソフトウェアを動作させるためのOS、オーディオを復号する復号ソフトウェア、透かしデータの抽出と解析を行なう透かし抽出ソフトウェア、エフェクトパラメータに基づいて復号化されたオーディオ信号に適宜エフェクトを施すエフェクトソフトウェアが格納されている。なお、復号ソフトウェアはMPEG2−AACを復号するソフトウェアとして説明をするが、これに限定されない。 このような構成において、処理に先立ち、端末303からオーディオ信号の出力をスピーカ307から行なうものと設定する。
【0076】
次に、CPU500によるオーディオ符号化データの復号化動作を図10に示すフローチャートに従って説明する。図10は、第5の実施例に係るオーディオ処理システムにおけるオーディオ符号化処理を示すフローチャートである。
【0077】
ステップS401では、復号の際の各種パラメータの初期化を行いステップS402へ進む。ステップS402では、符号化データの全ての復号が終了したか否かを判定し、終了していなければステップS403に、終了していれば全ての処理を終了する。
【0078】
ステップS403では、記憶装置304からフレームの符号化データを読み出して、メモリ301上の符号エリアに格納し、ステップS404に進む。ステップS404では、メモリ301上の透かし抽出ソフトウェアを用いて、S403でメモリ301上に読み出された符号化データから透かしデータの抽出を行ない、得られた透かしデータをエフェクトパラメータとしてメモリ301上のワークエリアに格納し、ステップS405へ進む。ステップS405では、透かしデータの抽出が終わった符号化データの復号化を行ない、得られたオーディオ信号をメモリ301上のオーディオエリアに格納し、S406へ進む。
【0079】
ステップS406では、端末303を操作してユーザがエフェクト設定を操作したか否かを判定する。ユーザがエフェクト設定操作を行なった場合は、ステップS407へ進む。そうでない場合は、ステップS408へ進む。ステップS407では、ユーザが端末303を操作して行なったエフェクトパラメータの変更を、端末303から送信される制御情報から読み取り、ステップS408へ進む。ステップS408では、メモリ301のワークエリアに格納されているエフェクトパラメータに、ユーザによる設定変更がある場合は、エフェクトパラメータを再設定し、ステップS409へ進む。
【0080】
ステップS409では、メモリ301上のエフェクトソフトウェアを用いて、メモリ301上のオーディオエリアに格納されている復号化されたオーディオ信号に対して、ワークエリアのエフェクトパラメータを参照しつつ、エフェクト処理を行い、ステップS410へ進む。ステップS110では、エフェクト処理が施されたオーディオ信号をスピーカー307へ出力する。これにより、エフェクト処理されたオーディオ信号が実際の音としてスピーカー307から再生される。処理を終えると、S402へ進む。
【0081】
このような一連の選択動作により、透かしデータからエフェクトパラメータを読み出すことにより、コンテンツ製作者が意図した音の再生が可能になるばかりではなく、必要な場合はユーザの好みに再生音を変更することが可能になる。更に、符号量を無駄に増やすことなく、特定のファイルフォーマットに依存せず、エフェクト処理を行なうことが可能になる。
【0082】
〈その他実施例〉
また、上記実施形態では、ネットワークを構成するハードウェア等が含まれるものの、各処理部は実際はソフトウェアで実現できるものである。即ち、本発明の目的は、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または、記録媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(または、CPUやMPU)が、記憶媒体に格納されたプログラムコードを読み出し、実行することによっても達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が、上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体が本発明を構成することになる。
【0083】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)等が、実際の処理の一部または全部を行い、その処理によって、上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【0084】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPU等が、実際の処理の一部または全部を行い、その処理によって、上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【0085】
上記実施例に加えて出力時に新たなファイルフォーマットで記述することはもちろん可能である。この際に例えばアンシラリデータ領域等にエフェクトパラメータを記載することはもちろんかまわない。
【0086】
また、上記実施例において、オーディオの符号化方式をMPEG2−AACとしたが他の符号化方式、たとえば、MPEG1 Audio Layer I,II,III、MPEG4、ATRAC3,AC−3でももちろんかまわない。
【0087】
また、上記実施例において、エフェクトパラメータをそのまま透かしデータとして符号化データに埋め込んでいるが、これは他の方法をとってもかまわない。例えば、予めプリセットされたエフェクトパラメータセットのIDを符号化側で透かしとして埋め込み、復号化側で透かし抽出後、エフェクトパラメータIDをエフェクトパラメータのセットに再生することによって実現することも可能である。この場合、透かしとして埋め込むデータ量を更に圧縮することが可能である。
【0088】
また、上記実施例において、エフェクトパラメータを透かしデータとして符号化データの中に埋め込んだため、特定のファイルフォーマットに依存せず、どのようなファイルフォーマットで記述された場合でも、再生に関して問題を生じない効果がある。
【0089】
【発明の効果】
以上の説明から明らかなように、本発明では、コンテンツ製作者が意図したエフェクトパラメータを透かしデータとして符号化データの中に埋め込むことにより、コンテンツ製作者が意図した音声を再現することが可能になるばかりではなく、必要な場合は再生側においてユーザの好みのエフェクトを施して再生することが可能になる。また、無駄に符号量を増やすことなく、特定のファイルフォーマットに依存せず、エフェクト処理を行なうことが可能になる。
【図面の簡単な説明】
【図1】第1の実施例におけるオーディオ符号化システムの構成を示すブロック図である。
【図2】第2の実施例におけるオーディオ復号化システムの構成を示すブロック図である。
【図3】第3の実施例におけるオーディオ符号化システムの構成を示すブロック図である。
【図4】第4の実施例、第5の実施例におけるオーディオ処理システムの構成を示すブロック図である。
【図5】第4の実施例におけるメモリ301のメモリの使用、格納状況を表す図である。
【図6】第5の実施例におけるメモリ301のメモリの使用、格納状況を表す図である。
【図7】第1の実施例に係るオーディオ符号化システムにおける符号化処理を示すフローチャート図である。
【図8】第2の実施例に係るオーディオ復号化システムにおける復号化処理を示すフローチャート図である。
【図9】第4の実施例に係るオーディオ処理システムにおける符号化処理を示すフローチャート図である。
【図10】第5の実施例に係るオーディオ処理システムにおける復号化処理を示すフローチャート図である。
Claims (10)
- オーディオ信号を入力する入力手段と、
前記入力手段によって入力されたオーディオ信号を符号化する符号化手段と、前記入力手段によって入力されたオーディオ信号に対してエフェクトを示すエフェクト情報を発生するエフェクト発生手段と、
前記エフェクト発生手段で発生されたエフェクト情報から透かし信号を生成する透かし信号生成手段と、
前記透かし信号生成手段で生成された透かし信号を前記符号化手段で符号化されたオーディオ符号化データに埋め込む透かし埋め込み手段とを有することを特徴とするオーディオ処理装置。 - 透かし信号が埋め込まれたオーディオ符号化データを入力する入力手段と、
前記透かし信号が埋め込まれたオーディオ符号化データから透かし信号を抽出する透かし抽出手段と、
前記透かし抽出手段で抽出された透かし信号からエフェクト情報を取得するエフェクト情報取得手段と、
前記透かし抽出手段で透かし信号が抽出された後の、オーディオ符号化データを復号化する復号化手段と、
前記エフェクト情報取得手段で得られたエフェクト情報に従って前記復号化されたオーディオ信号のエフェクトを制御するエフェクト制御手段とを有することを特徴とするオーディオ処理装置。 - 前記エフェクト情報は、前記オーディオ信号との合成量、前記オーディオ信号の周波数あるいは時間のずらし幅、前記オーディオ信号の振幅の増幅度、前記オーディオ信号と合成する回数、前記オーディオ信号を変化させる周波数帯域の指定、前記オーディオ信号を変化させた後の時間波形の指定、エフェクトの種類、エフェクトリンクの指定のいずれかであることを特徴とする請求項1又は請求項2に記載のオーディオ処理装置。
- 前記オーディオ信号は、動画像に付随する音声信号であることを特徴とする請求項1又は請求項2に記載のオーディオ処理装置。
- 前記オーディオ符号化データは、変換符号化によって符号化されたデータであることを特徴とする請求項1又は請求項2に記載のオーディオ処理装置。
- 前記オーディオ符号化データは、MPEG Audio符号化方式に準拠して符号化されたデータであることを特徴とする請求項1又は請求項2に記載のオーディオ処理装置。
- オーディオ信号を入力する入力工程と、
前記入力工程で入力されたオーディオ信号を符号化する符号化工程と、
前記入力工程で入力されたオーディオ信号に対してエフェクトを示すエフェクト情報を発生するエフェクト発生工程と、
前記エフェクト発生工程で発生されたエフェクト情報から透かし信号を生成する透かし信号生成工程と、
前記透かし信号生成工程で生成された透かし信号を前記符号化工程で符号化されたオーディオ符号化データに埋め込む透かし埋め込み工程とを有することを特徴とするオーディオ処理方法。 - 透かし信号が埋め込まれたオーディオ符号化データを入力する入力工程と、
前記透かし信号が埋め込まれたオーディオ符号化データから透かし信号を抽出する透かし抽出工程と、
前記透かし抽出工程で抽出された透かし信号からエフェクト情報を取得するエフェクト情報取得工程と、
前記透かし抽出工程で透かし信号が抽出された後の、オーディオ符号化データを復号化する復号化工程と、
前記エフェクト情報取得工程で得られたエフェクト情報に従って前記復号化されたオーディオ信号のエフェクトを制御するエフェクト制御工程とを有することを特徴とするオーディオ処理方法。 - 請求項8に記載のオーディオ処理方法を実行するコンピュータプログラム。
- 請求項9に記載のプログラムを格納し、コンピュータが読み取り可能なコンピュータ可読記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002290046A JP2004126214A (ja) | 2002-10-02 | 2002-10-02 | オーディオ処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002290046A JP2004126214A (ja) | 2002-10-02 | 2002-10-02 | オーディオ処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004126214A true JP2004126214A (ja) | 2004-04-22 |
Family
ID=32282043
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002290046A Pending JP2004126214A (ja) | 2002-10-02 | 2002-10-02 | オーディオ処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004126214A (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008224707A (ja) * | 2007-03-08 | 2008-09-25 | Yamaha Corp | 電子音楽装置、放送コンテンツ制作装置、電子音楽装置連動システム、及びそれらに用いるプログラム |
JP2010152153A (ja) * | 2008-12-25 | 2010-07-08 | Yamaha Corp | オーディオ信号処理システム |
JP2012058394A (ja) * | 2010-09-07 | 2012-03-22 | Brother Ind Ltd | 認証システムおよび認証装置 |
JP2012168552A (ja) * | 2007-02-16 | 2012-09-06 | Electronics & Telecommunications Research Inst | オブジェクト基盤オーディオサービスのための多重オブジェクトオーディオコンテンツファイルの生成、編集、および再生方法と、オーディオプリセット生成方法 |
US8697975B2 (en) | 2008-07-29 | 2014-04-15 | Yamaha Corporation | Musical performance-related information output device, system including musical performance-related information output device, and electronic musical instrument |
US8737638B2 (en) | 2008-07-30 | 2014-05-27 | Yamaha Corporation | Audio signal processing device, audio signal processing system, and audio signal processing method |
US9029676B2 (en) | 2010-03-31 | 2015-05-12 | Yamaha Corporation | Musical score device that identifies and displays a musical score from emitted sound and a method thereof |
US9040801B2 (en) | 2011-09-25 | 2015-05-26 | Yamaha Corporation | Displaying content in relation to music reproduction by means of information processing apparatus independent of music reproduction apparatus |
US9082382B2 (en) | 2012-01-06 | 2015-07-14 | Yamaha Corporation | Musical performance apparatus and musical performance program |
-
2002
- 2002-10-02 JP JP2002290046A patent/JP2004126214A/ja active Pending
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012168552A (ja) * | 2007-02-16 | 2012-09-06 | Electronics & Telecommunications Research Inst | オブジェクト基盤オーディオサービスのための多重オブジェクトオーディオコンテンツファイルの生成、編集、および再生方法と、オーディオプリセット生成方法 |
US9135953B2 (en) | 2007-02-16 | 2015-09-15 | Electronics And Telecommunications Research Institute | Method for creating, editing, and reproducing multi-object audio contents files for object-based audio service, and method for creating audio presets |
JP2008224707A (ja) * | 2007-03-08 | 2008-09-25 | Yamaha Corp | 電子音楽装置、放送コンテンツ制作装置、電子音楽装置連動システム、及びそれらに用いるプログラム |
US8697975B2 (en) | 2008-07-29 | 2014-04-15 | Yamaha Corporation | Musical performance-related information output device, system including musical performance-related information output device, and electronic musical instrument |
US9006551B2 (en) | 2008-07-29 | 2015-04-14 | Yamaha Corporation | Musical performance-related information output device, system including musical performance-related information output device, and electronic musical instrument |
US8737638B2 (en) | 2008-07-30 | 2014-05-27 | Yamaha Corporation | Audio signal processing device, audio signal processing system, and audio signal processing method |
JP2010152153A (ja) * | 2008-12-25 | 2010-07-08 | Yamaha Corp | オーディオ信号処理システム |
US9029676B2 (en) | 2010-03-31 | 2015-05-12 | Yamaha Corporation | Musical score device that identifies and displays a musical score from emitted sound and a method thereof |
JP2012058394A (ja) * | 2010-09-07 | 2012-03-22 | Brother Ind Ltd | 認証システムおよび認証装置 |
US9040801B2 (en) | 2011-09-25 | 2015-05-26 | Yamaha Corporation | Displaying content in relation to music reproduction by means of information processing apparatus independent of music reproduction apparatus |
US9524706B2 (en) | 2011-09-25 | 2016-12-20 | Yamaha Corporation | Displaying content in relation to music reproduction by means of information processing apparatus independent of music reproduction apparatus |
US9082382B2 (en) | 2012-01-06 | 2015-07-14 | Yamaha Corporation | Musical performance apparatus and musical performance program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101652810B (zh) | 用于处理混合信号的装置及其方法 | |
RU2491658C2 (ru) | Синтезатор аудиосигнала и кодирующее устройство аудиосигнала | |
AU2002318813B2 (en) | Audio signal decoding device and audio signal encoding device | |
JP4856641B2 (ja) | 符号化されたマルチチャネル信号を発生するための装置および方法並びに符号化されたマルチチャネル信号を復号化するための装置および方法 | |
JPWO2005081229A1 (ja) | オーディオエンコーダ及びオーディオデコーダ | |
TW200531554A (en) | A transcoder and method of transcoding therefore | |
JP2006011456A (ja) | 低ビット率符号化/復号化方法及び装置並びにコンピュータ可読媒体 | |
JP2006048043A (ja) | オーディオデータの高周波数の復元方法及びその装置 | |
WO2004036501A3 (en) | Parameter selection in data compression and decompression | |
JP2976860B2 (ja) | 再生装置 | |
CN1411171A (zh) | 信息编码/译码方法和装置信息记录媒体和信息传输方法 | |
JP2002014697A (ja) | ディジタルオーディオ装置 | |
EP1446797A1 (en) | Method of transmission of wideband audio signals on a transmission channel with reduced bandwidth | |
US20070052560A1 (en) | Bit-stream watermarking | |
JP2004126214A (ja) | オーディオ処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 | |
JP4359499B2 (ja) | オーディオ信号の編集 | |
EP1259956A1 (en) | Method of and apparatus for converting an audio signal between data compression formats | |
JP4022504B2 (ja) | 少ない計算量で高周波数成分を復元するオーディオデコーディング方法及び装置 | |
JP2007503026A (ja) | サブバンドフィルタ処理を用いた透かし埋め込みの装置と方法 | |
JP2007109328A (ja) | 再生装置 | |
KR100433984B1 (ko) | 디지털 오디오 부호화/복호화 장치 및 방법 | |
JP2008033211A (ja) | 付加信号生成装置、信号変換された信号の復元装置、付加信号生成方法、信号変換された信号の復元方法および付加信号生成プログラム | |
JP2014021162A (ja) | 復号装置、復号方法、及びプログラム | |
JP2008028574A (ja) | オーディオ処理装置、オーディオ処理方法、プログラム、および集積回路 | |
WO2022012677A1 (zh) | 音频编解码方法和相关装置及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040528 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070227 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070626 |