JP7407110B2 - 符号化装置及び符号化方法 - Google Patents

符号化装置及び符号化方法 Download PDF

Info

Publication number
JP7407110B2
JP7407110B2 JP2020528992A JP2020528992A JP7407110B2 JP 7407110 B2 JP7407110 B2 JP 7407110B2 JP 2020528992 A JP2020528992 A JP 2020528992A JP 2020528992 A JP2020528992 A JP 2020528992A JP 7407110 B2 JP7407110 B2 JP 7407110B2
Authority
JP
Japan
Prior art keywords
signal
encoding
section
prediction
decoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020528992A
Other languages
English (en)
Other versions
JPWO2020009082A1 (ja
Inventor
スリカンス ナギセティ
宏幸 江原
ロヒス マース
チョンスン リム
利昭 櫻井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of JPWO2020009082A1 publication Critical patent/JPWO2020009082A1/ja
Application granted granted Critical
Publication of JP7407110B2 publication Critical patent/JP7407110B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/12—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being prediction coefficients

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本開示は、符号化装置及び符号化方法に関する。
Ｍ／Ｓ（Middle/Side）ステレオコーデックでは、ステレオ信号を構成する各チャネル（左チャネル及び右チャネル）の信号をＭ信号（又は和信号と呼ぶ）、及び、Ｓ信号（又は差信号と呼ぶ）に変換し、Ｍ信号及びＳ信号をそれぞれモノラル音声音響コーデックにより符号化する。また、Ｍ／Ｓステレオコーデックにおいて、Ｍ信号を用いてＳ信号を予測する符号化方法（以下、ＭＳ予測符号化と呼ぶ）が提案されている（例えば、特許文献１－３を参照）。
特許第５１２２６８１号公報 特表２０１４－５１６４２５号公報 特許第５７０５９６４号公報
Recommendation ITU-T G.719 (06/2008), "Low-complexity, full-band audio coding for high-quality, conversational applications", ITU-T, 2008. 3GPP TS 26.290 V12.0.0, "Audio codec processing functions; Extended Adaptive Multi-Rate-Wideband (AMR-WB+) codec; Transcoding functions (Release 12)", 2014-09
しかしながら、ＭＳ予測符号化において、Ｓ信号を効率良く符号化する方法について十分に検討されていない。
本開示の非限定的な実施例は、ＭＳ予測符号化において、Ｓ信号を効率良く符号化することができる符号化装置及び符号化方法の提供に資する。
本開示の一実施例に係る符号化装置は、ステレオ信号を構成する左チャネル信号と右チャネル信号との和を示す和信号を符号化して、第１の符号化情報を生成する第１符号化回路と、前記左チャネル信号と前記右チャネル信号との間のエネルギ差に関するパラメータを用いて、前記左チャネル信号と前記右チャネル信号との差を示す差信号を予測するための予測パラメータを算出する算出回路と、前記予測パラメータを符号化して、第２の符号化情報を生成する第２符号化回路と、を具備する。
本開示の一実施例に係る符号化方法は、ステレオ信号を構成する左チャネル信号と右チャネル信号との和を示す和信号を符号化して、第１の符号化情報を生成し、前記左チャネル信号と前記右チャネル信号との間のエネルギ差に関するパラメータを用いて、前記左チャネル信号と前記右チャネル信号との差を示す差信号を予測するための予測パラメータを算出し、前記予測パラメータを符号化して、第２の符号化情報を生成する。
なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本開示の一実施例によれば、ＭＳ予測符号化において、Ｓ信号を効率良く符号化できる。
本開示の一実施例における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
実施の形態１に係る符号化装置の一部の構成例を示すブロック図 実施の形態１に係る符号化装置の構成例を示すブロック図 実施の形態１に係る復号装置の構成例を示すブロック図 実施の形態２に係る符号化装置の構成例を示すブロック図 実施の形態２に係る復号装置の構成例を示すブロック図 実施の形態３に係る符号化装置の構成例を示すブロック図 実施の形態３に係る復号装置の構成例を示すブロック図 実施の形態３に係る符号化装置の他の構成例を示すブロック図 実施の形態３に係る復号装置の他の構成例を示すブロック図 実施の形態４に係る符号化装置の構成例を示すブロック図 実施の形態４に係る復号装置の構成例を示すブロック図 実施の形態５に係る符号化装置の構成例を示すブロック図 実施の形態５に係る符号化装置の他の構成例を示すブロック図
以下、本開示の実施の形態について図面を参照して詳細に説明する。
（実施の形態１）
［通信システムの概要］
本実施の形態に係る通信システムは、符号化装置（encoder）１００及び復号装置（decoder）２００を備える。
図１は、本実施の形態に係る符号化装置１００の一部の構成を示すブロック図である。図１に示す符号化装置１００において、Ｍ信号符号化部１０６は、ステレオ信号を構成する左チャネル信号と右チャネル信号との和を示す和信号を符号化して、第１符号化情報を生成する。エネルギ差算出部１０１は、左チャネル信号と右チャネル信号との間のエネルギ差に関するパラメータを用いて、左チャネル信号と右チャネル信号との差を示す差信号を予測するための予測パラメータを算出する。エントロピ符号化部１０３は、予測パラメータを符号化して、第２符号化情報を生成する。
［符号化装置の構成］
図２は、本実施の形態に係る符号化装置１００の構成例を示すブロック図である。図２において、符号化装置１００は、エネルギ差算出部１０１と、量子化部１０２と、エントロピ符号化部１０３と、逆量子化部１０４と、ダウンミックス部１０５と、Ｍ信号符号化部１０６と、加算器１０７と、Ｍ信号エネルギ算出部１０８と、Ｍ－Ｓ予測部１０９と、加算器１１０と、残差符号化部１１１と、多重化部１１２と、を含む。
図２において、エネルギ差算出部１０１及びダウンミックス部１０５には、ステレオ信号を構成するＬ信号（Left channel signal）、及び、Ｒ信号（Right channel signal）が入力される。
エネルギ差算出部１０１は、Ｌ信号のエネルギ及びＲ信号のエネルギをそれぞれ算出し、Ｌ信号とＲ信号とのエネルギ差ｄＥを算出する。エネルギ差算出部１０１は、算出したエネルギ差ｄＥを、Ｌ信号とＲ信号との差を示すＳ信号（差信号）を予測するための予測パラメータとして量子化部１０２に出力する。
量子化部１０２は、エネルギ差算出部１０１から入力される予測パラメータをスカラ量子化し、得られる量子化インデックスをエントロピ符号化部１０３及び逆量子化部１０４に出力する。なお、量子化インデックスは、隣接するサブバンド間で差分を取っても良い。例えば、量子化部１０２は、隣接するサブバンド間でサブバンド量子化（「差分量子化」と呼ぶ）を行っても良い。隣接するサブバンド間で量子化値が近くなる場合には、差分量子化を行った方がエントロピ符号化の効率が上がる場合がある。
エントロピ符号化部１０３は、量子化部１０２から入力される量子化インデックスに対してエントロピ符号化（例えば、ハフマン符号化等。例えば、非特許文献１又は非特許文献２を参照）を行い、符号化結果（予測パラメータ符号化情報）を多重化部１１２に出力する。
また、エントロピ符号化部１０３は、符号化結果に要するビット数を算出し、符号化結果に使用可能な最大ビット数と、算出したビット数との差（余剰ビット数）を示す情報（換言すると、最大ビット数と比較して何ビット少ないかを示す情報）を、Ｍ信号符号化部１０６及び残差符号化部１１１の少なくとも一方に出力する。
逆量子化部１０４は、量子化部１０２から入力される量子化インデックスを復号して、得られる復号予測パラメータ（復号エネルギ差）をＭ－Ｓ予測部１０９に出力する。
ダウンミックス部１０５は、入力されるＬ信号及びＲ信号を、Ｌ信号とＲ信号との和を示すＭ信号（和信号）、及び、Ｌ信号とＲ信号との差を示すＳ信号（差信号）に変換（LR-MS変換）する。ダウンミックス部１０５は、Ｍ信号をＭ信号符号化部１０６、加算器１０７、Ｍ信号エネルギ算出部１０８、及び、Ｍ－Ｓ予測部１０９に出力する。ダウンミックス部１０５は、Ｓ信号を加算器１１０に出力する。
例えば、ダウンミックス部１０５は、式（１）に従ってＬ信号（L(f)）及びＲ信号（R(f)）を、Ｍ信号（M(f)）及びＳ信号（S(f)）に変換する。
Figure 0007407110000001
なお、式（１）は、周波数領域（周波数ｆ）におけるLR-MS変換を示すが、ダウンミックス部１０５は、例えば、式（２）に示すように時間領域（時間ｎ）におけるLR-MS変換を行ってもよい。
Figure 0007407110000002
Ｍ信号符号化部１０６は、ダウンミックス部１０５から入力されるＭ信号を符号化し、符号化結果（Ｍ信号符号化情報）を多重化部１１２に出力する。また、Ｍ信号符号化部１０６は、符号化結果を復号し、得られる復号Ｍ信号Ｍ’を加算器１０７に出力する。
なお、Ｍ信号符号化部１０６は、エントロピ符号化部１０３から入力される余剰ビット数を示す情報に基づいて、Ｍ信号の符号化ビット数を決定（例えば、追加）してもよい。
加算器１０７は、ダウンミックス部１０５から入力されるＭ信号と、Ｍ信号符号化部１０６から入力される復号Ｍ信号との差分（又は符号化誤差）である残差信号Ｅｍを算出し、残差符号化部１１１に出力する。
Ｍ信号エネルギ算出部１０８は、ダウンミックス部１０５から入力されるＭ信号を用いて、Ｍ信号のエネルギＭＥｎｅを算出し、Ｍ－Ｓ予測部１０９に出力する。
Ｍ－Ｓ予測部１０９は、ダウンミックス部１０５から入力されるＭ信号、Ｍ信号エネルギ算出部１０８から入力されるＭ信号のエネルギ、及び、逆量子化部１０４から入力される復号予測パラメータ（復号エネルギ差）を用いて、Ｓ信号を予測する。
例えば、Ｍ－Ｓ予測部１０９は、次式（３）に従って、予測Ｓ信号Ｓ～を算出する。
Figure 0007407110000003
式（３）において、ｂはサブバンド番号を示し、ＭｂはサブバンドｂにおけるＭ信号を示し、Ｈｂはサブバンドｂにおける周波数応答を示す。周波数応答Ｈｂは、例えば、次式（４）で表される。
Figure 0007407110000004
式（４）において、ＬｂはサブバンドｂにおけるＬ信号を示し、ＲｂはサブバンドｂにおけるＲ信号を示し、ｄＥ（ｂ）はサブバンドｂにおける復号エネルギ差を示す。また、関数Ｅ（ｘ）は、ｘの期待値を返す関数である。
すなわち、Ｍ－Ｓ予測部１０９は、逆量子化部１０４から入力される予測パラメータである復号エネルギ差（式（４）のｄＥ（ｂ）に対応）と、Ｍ信号エネルギ算出部１０８から入力されるＭ信号のエネルギ（式（４）のＭｂ ２に対応）との比（式（３）及び式（４）のＨｂに対応）を、Ｍ信号（式（３）のＭｂに対応）に乗算することにより、予測Ｓ信号Ｓ～ ｂを算出する。
なお、式（３）は、一例として、サブバンドｂ毎の予測Ｓ信号（Ｓ～ ｂ）を示すが、これに限定されない。例えば、Ｍ－Ｓ予測部１０９は、複数のサブバンドのグループ単位の予測Ｓ信号を算出してもよく、周波数領域の全帯域における予測Ｓ信号を算出してもよく、時間領域の予測Ｓ信号を算出してもよい。
Ｍ－Ｓ予測部１０９は、得られた予測Ｓ信号を加算器１１０に出力する。
加算器１１０は、ダウンミックス部１０５から入力されるＳ信号と、Ｍ－Ｓ予測部１０９から入力される予測Ｓ信号との差分（又は符号化誤差）である残差信号Ｅｓを算出し、残差符号化部１１１に出力する。
残差符号化部１１１は、加算器１０７から入力される残差信号Ｅｍ及び加算器１１０から入力される残差信号Ｅｓを符号化し、符号化結果（残差符号化情報）を多重化部１１２に出力する。例えば、残差符号化部１１１は、残差信号Ｅｍ及び残差信号Ｅｓを組み合わせて符号化してもよい。
また、残差符号化部１１１は、エントロピ符号化部１０３から入力される余剰ビット数を示す情報に基づいて、残差信号の符号化ビット数を決定（例えば、追加）してもよい。
多重化部１１２は、エントロピ符号化部１０３から入力される予測パラメータ符号化情報、Ｍ信号符号化部１０６から入力されるＭ信号符号化情報、及び、残差符号化部１１１から入力される残差符号化情報を多重化する。多重化部１１２は、例えば、得られるビットストリームを、トランスポート層等を介して復号装置２００へ送信する。
［復号装置の構成］
図３は、本実施の形態に係る復号装置２００の構成例を示すブロック図である。図３において、復号装置２００は、分離部２０１と、エントロピ復号部２０２と、エネルギ差復号部２０３と、残差復号部２０４と、Ｍ信号復号部２０５と、加算器２０６と、Ｍ信号エネルギ算出部２０７と、Ｍ－Ｓ予測部２０８と、加算器２０９と、アップミックス部２１０と、を含む。
図３において、分離部２０１には、符号化装置１００から送信されるビットストリームが入力される。ビットストリームには、例えば、予測パラメータ符号化情報、Ｍ信号符号化情報、及び、残差符号化情報が多重化されている。
分離部２０１は、入力されるビットストリームから、予測パラメータ符号化情報と、Ｍ信号符号化情報と、残差符号化情報とを分離する。分離部２０１は、予測パラメータ符号化情報をエントロピ復号部２０２に出力し、残差符号化情報を残差復号部２０４に出力し、Ｍ信号符号化情報をＭ信号復号部２０５に出力する。
エントロピ復号部２０２は、分離部２０１から入力される予測パラメータ符号化情報を復号し、復号量子化インデックスをエネルギ差復号部２０３に出力する。
エネルギ差復号部２０３は、エントロピ復号部２０２から入力される復号量子化インデックスを復号して、得られる復号予測パラメータ（復号エネルギ差ｄＥ）をＭ－Ｓ予測部２０８に出力する。
残差復号部２０４は、分離部２０１から入力される残差符号化情報を復号し、Ｍ信号の復号残差信号Ｅｍ’及びＳ信号の復号残差信号Ｅｓ’を得る。残差復号部２０４は、復号残差信号Ｅｍ’を加算器２０６に出力し、復号残差信号Ｅｓ’を加算器２０９に出力する。
Ｍ信号復号部２０５は、分離部２０１から入力されるＭ信号符号化情報を復号し、復号Ｍ信号Ｍ’を加算器２０６に出力する。
加算器２０６は、残差復号部２０４から入力される復号残差信号Ｅｍ’と、Ｍ信号復号部２０５から入力される復号Ｍ信号Ｍ’とを加算し、加算結果である復号Ｍ信号Ｍ＾を、Ｍ信号エネルギ算出部２０７、Ｍ－Ｓ予測部２０８、及び、アップミックス部２１０に出力する。
Ｍ信号エネルギ算出部２０７は、加算器２０６から入力される復号Ｍ信号Ｍ＾を用いて、Ｍ信号のエネルギＭＥｎｅ＾を算出し、Ｍ－Ｓ予測部２０８に出力する。
Ｍ－Ｓ予測部２０８は、加算器２０６から入力される復号Ｍ信号Ｍ＾、Ｍ信号エネルギ算出部２０７から入力されるＭ信号のエネルギＭＥｎｅ＾、及び、エネルギ差復号部２０３から入力される復号エネルギ差ｄＥを用いて、Ｓ信号を予測する。
例えば、Ｍ－Ｓ予測部２０８は、Ｍ－Ｓ予測部１０９と同様、式（３）及び式（４）に従って、復号エネルギ差ｄＥ（式（４）のｄＥ（ｂ）に対応）と、Ｍ信号のエネルギＭＥｎｅ＾（式（４）のＭｂ ２に対応）との比（式（３）及び式（４）のＨｂに対応）を、復号Ｍ信号Ｍ＾（式（３）のＭｂに対応）に乗算することにより、予測Ｓ信号Ｓ’を算出する。
Ｍ－Ｓ予測部２０８は、予測Ｓ信号Ｓ’を加算器２０９に出力する。
加算器２０９は、残差復号部２０４から入力される復号残差信号Ｅｓ’と、Ｍ－Ｓ予測部２０８から入力される予測Ｓ信号Ｓ’とを加算し、加算結果である復号Ｓ信号Ｓ＾を、アップミックス部２１０に出力する。
アップミックス部２１０は、加算器２０６から入力される復号Ｍ信号Ｍ＾、及び、加算器２０９から入力される復号Ｓ信号Ｓ＾を、復号Ｌ信号Ｌ＾及び復号Ｒ信号Ｒ＾に変換（MS-LR変換）する。例えば、アップミックス部２１０は、式（５）に従って復号Ｍ信号及び復号Ｓ信号を、復号Ｌ信号及び復号Ｒ信号に変換する。
Figure 0007407110000005
なお、式（５）は、周波数領域（周波数ｆ）におけるMS-LR変換を示すが、アップミックス部２１０は、例えば、式（６）に示すように時間領域（時間ｎ）におけるMS-LR変換を行ってもよい。
Figure 0007407110000006
以上、本実施の形態に係る符号化装置１００及び復号装置２００について説明した。
本実施の形態では、符号化装置１００は、Ｓ信号を予測するための予測パラメータとして、Ｌ信号とＲ信号との間のエネルギ差を算出する。これにより、符号化装置１００は、Ｓ信号の予測のためにＭ信号とＳ信号との相互相関を算出することなく、符号化装置１００に入力されるステレオ信号（Ｌ信号及びＲ信号のエネルギ）を用いて、予測Ｓ信号を算出できる。
よって、符号化装置１００は、ＭＳ予測符号化において予測Ｓ信号を算出するための演算量を削減できる。よって、本実施の形態によれば、ＭＳ予測符号化において、Ｓ信号を効率良く符号化できる。
また、本実施の形態では、符号化装置１００は、Ｌ信号とＲ信号との間のエネルギ差を示す予測パラメータ（量子化インデックス）をエントロピ符号化する。例えば、エントロピ符号化では、符号長は可変となる。これにより、符号化装置１００は、予測パラメータの符号化において使用されないビット（余剰ビット）が存在する場合、当該余剰ビットを追加してＭ信号又は残差信号を符号化できる。すなわち、符号化装置１００は、Ｍ信号又は残差信号に対して、各々に配分されたビット数に加え、エントロピ符号化によって得られる余剰ビットを用いて符号化できる。よって、本実施の形態によれば、符号化装置１００におけるＭ信号又は残差信号の量子化性能を向上でき、復号装置２００では、高品質な復号ステレオ信号を実現できる。
また、本実施の形態では、符号化装置１００は、Ｍ信号の残差信号Ｅｍを符号化して、復号装置２００へ送信する。そして、復号装置２００は、Ｍ信号の残差信号Ｅｍ（復号残差信号）を用いて、予測Ｓ信号の算出に用いる復号Ｍ信号Ｍ’を生成する。例えば、Ｍ信号の符号化誤差が大きくなると、Ｓ信号の予測誤差は大きくなり、Ｓ信号の品質が劣化してしまう可能性がある。これに対して、本実施の形態では、Ｍ信号の残差信号を符号化情報に含めることにより、Ｍ信号の符号化誤差を抑え、Ｓ信号の予測誤差を抑えることができるので、Ｓ信号の品質を向上させることができる。
また、本実施の形態では、符号化装置１００は、予測Ｓ信号の残差信号Ｅｓを符号化して、復号装置２００へ送信する。そして、復号装置２００は、予測Ｓ信号の残差信号Ｅｓ（復号残差信号）を用いて、復号Ｓ信号Ｓ’を生成する。これにより、本実施の形態では、予測Ｓ信号の残差信号を符号化情報に含めることにより、Ｓ信号の予測誤差を抑えることができるので、Ｓ信号の品質を向上させることができる。
なお、本実施の形態では、符号化装置１００から復号装置２００へＭ信号の残差信号及びＳ信号の残差信号を送信する場合について説明した。しかし、Ｍ信号の残差信号及びＳ信号の残差信号の少なくとも一方は、符号化装置１００から復号装置２００へ送信されなくてもよい。例えば、復号装置２００は、符号化装置１００から送信されるＭ信号符号化情報、及び、予測パラメータ符号化情報（例えば、エネルギ差）に基づいて、Ｓ信号を復号（予測）すればよい。
また、本実施の形態において、図２に示す符号化装置１００では、Ｍ信号エネルギ算出部１０８及びＭ－Ｓ予測部１０９において、Ｍ信号を用いてＭ信号のエネルギ及び予測Ｓ信号を算出する場合について説明したがこれに限定されない。例えば、符号化装置１００は、Ｍ信号符号化部１０６から出力される復号Ｍ信号を用いて、Ｍ信号のエネルギ及び予測Ｓ信号を算出してもよい。このように、符号化装置１００は、復号装置２００においてＭ信号のエネルギ及び予測Ｓ信号の算出に使用される復号Ｍ信号を用いることにより、復号装置２００と同様の条件で予測Ｓ信号を生成できる。つまり、実際のＳ信号（符号化装置１００におけるＳ）と復号装置におけるＭ－Ｓ予測信号Ｓ～との差分信号を残差信号Ｅｓとして符号化することができるので、Ｓ信号の符号化誤差を減らすことができる。
または、符号化装置１００は、Ｍ信号の残差信号Ｅｍ（例えば、残差符号化部１１１の出力）を復号して得られる復号残差信号Ｅ’ｍと、復号Ｍ信号Ｍ’（例えば、Ｍ信号符号化部１０６の出力）と、を加算して、復号Ｍ信号Ｍ＾を生成し、復号Ｍ信号Ｍ＾を用いてＭ信号のエネルギ及び予測Ｓ信号を算出してもよい。これにより、符号化装置１００は、Ｓ信号の予測精度を更に向上できる。ただし、この場合、残差信号Ｅｓを求めるためには復号残差信号Ｅ’ｍが必要となるため、符号化装置１００は、残差信号Ｅｓと残差信号Ｅｍとは組み合わせずに符号化する。
（実施の形態２）
実施の形態１では、予測Ｓ信号の算出に用いる予測パラメータを、ステレオ信号のＬ信号とＲ信号とのエネルギ差を用いて算出する場合について説明した。これに対して、本実施の形態では、予測Ｓ信号の算出に用いる予測パラメータを、Ｍ信号及びＳ信号を用いて算出する場合について説明する。
［符号化装置の構成］
図４は、本実施の形態に係る符号化装置３００の構成例を示すブロック図である。なお、図４において、実施の形態１（図２）と同様の構成には同一の符号を付し、その説明を省略する。
予測係数算出部３０１は、ダウンミックス部１０５から入力されるＳ信号、及び、Ｍ信号符号化部１０６から入力される復号Ｍ信号を用いて、Ｍ－Ｓ予測係数を算出する。予測係数算出部３０１は、算出したＭ－Ｓ予測係数を、Ｓ信号を予測するための予測パラメータとして量子化部３０２に出力する。
例えば、予測係数算出部３０１は、次式（７）に従って、Ｍ－Ｓ予測係数を算出する。
Figure 0007407110000007
式（７）において、ＳｂはサブバンドｂにおけるＳ信号を示し、Ｍ’ｂはサブバンドｂにおける復号Ｍ信号を示し、Ｍ’Ｅｎｅ（ｂ）はサブバンドｂにおける復号Ｍ信号のエネルギを示す。また、関数Ｅ（ｘ）は、ｘの期待値を返す関数である。
例えば、式（７）の分子成分は、次式（８）に従って算出される。
Figure 0007407110000008
また、例えば、式（７）に示す復号Ｍ信号のエネルギＭ’Ｅｎｅ（ｂ）は、次式（９）に従って算出される。
Figure 0007407110000009
式（８）及び式（９）において、ｋｓｔａｒｔはサブバンドｂにおけるスペクトル係数の開始番号を示し、ｋｅｎｄはサブバンドｂにおけるスペクトル係数の終了番号を示す。また、Ｎｂａｎｄｓは、サブバンド数を示す。また、「＊」は複素共役を示す。
すなわち、式（７）に示すＭ－Ｓ予測係数（予測パラメータ）は、復号Ｍ信号Ｍ’とＳ信号Ｓとの相関値を、復号Ｍ信号のエネルギＭ’Ｅｎｅで正規化して得られる係数である。ここで、Ｍ信号及びＳ信号は、Ｌ信号及びＲ信号の和及び差であるので、Ｍ信号とＳ信号との相関値は、Ｌ信号とＲ信号との間のエネルギ差と等しい。よって、式（７）に示すＭ－Ｓ予測係数（予測パラメータ）は、Ｍ信号と復号Ｍ信号との符号化誤差に対応する分の誤差が含まれるものの、Ｌ信号とＲ信号との間のエネルギ差に関するパラメータである。
量子化部３０２は、予測係数算出部３０１から入力される予測パラメータをスカラ量子化し、得られる量子化インデックスをエントロピ符号化部３０３及び逆量子化部３０４に出力する。
エントロピ符号化部３０３は、量子化部３０２から入力される量子化インデックスに対してエントロピ符号化（例えば、ハフマン符号化等）を行い、符号化結果（予測パラメータ符号化情報）を多重化部１１２に出力する。
また、エントロピ符号化部３０３は、符号化結果に要するビット数を算出し、符号化結果に使用可能な最大ビット数と、算出したビット数との差（余剰ビット数）を示す情報（換言すると、最大ビット数と比較して何ビット少ないかを示す情報）を、Ｍ信号符号化部１０６及び残差符号化部３０６の少なくとも一方に出力する。Ｍ信号符号化部１０６及び残差符号化部３０６の少なくとも一方は、例えば、余剰ビット数を示す情報に基づいて、Ｍ信号及び残差信号を符号化してもよい。
逆量子化部３０４は、量子化部３０２から入力される量子化インデックスを復号して、得られる復号予測パラメータ（復号Ｍ－Ｓ予測係数）をＭ－Ｓ予測部３０５に出力する。
Ｍ－Ｓ予測部３０５は、Ｍ信号符号化部１０６から入力される復号Ｍ信号、及び、逆量子化部３０４から入力される復号予測パラメータ（復号Ｍ－Ｓ予測係数）を用いて、Ｓ信号を予測する。
例えば、Ｍ－Ｓ予測部３０５は、次式（１０）に従って、予測Ｓ信号Ｓ''を算出する。
Figure 0007407110000010
式（１０）において、ｂはサブバンド番号を示し、Ｍ’ｂはサブバンドｂにおける復号Ｍ信号を示し、ＨｂはサブバンドｂにおけるＭ－Ｓ予測係数（式（７）を参照）を示す。
すなわち、Ｍ－Ｓ予測部３０５は、復号Ｍ信号とＳ信号との相関値（式（７）のＳｂＭ’ｂに対応）と、復号Ｍ信号のエネルギ（式（７）のＭ’Ｅｎｅに対応）との比（式（７）のＨｂに対応）を、復号Ｍ信号（式（７）のＭ’ｂに対応）に乗算することにより、予測Ｓ信号Ｓ’’ｂを算出する。
残差符号化部３０６は、加算器１１０から入力されるＳ信号の残差信号Ｅｓを符号化し、符号化結果（残差符号化情報）を多重化部１１２に出力する。
［復号装置の構成］
図５は、本実施の形態に係る復号装置４００の構成例を示すブロック図である。なお、図５において、実施の形態１（図３）と同様の構成には同一の符号を付し、その説明を省略する。
エントロピ復号部４０１は、分離部２０１から入力される予測パラメータ符号化情報を復号し、復号量子化インデックスを予測係数復号部４０２に出力する。
予測係数復号部４０２は、エントロピ復号部４０１から入力される復号量子化インデックスを復号して、得られる復号予測パラメータ（復号Ｍ－Ｓ予測係数）をＭ－Ｓ予測部４０４に出力する。
残差復号部４０３は、分離部２０１から入力される残差符号化情報を復号し、Ｓ信号の復号残差信号Ｅｓ’を得る。残差復号部４０３は、復号残差信号Ｅｓ’を加算器２０９に出力する。
Ｍ－Ｓ予測部４０４は、Ｍ信号復号部２０５から入力される復号Ｍ信号Ｍ’、及び、予測係数復号部４０２から入力される復号Ｍ－Ｓ予測係数を用いて、Ｓ信号を予測する。
例えば、Ｍ－Ｓ予測部４０４は、Ｍ－Ｓ予測部３０５と同様、式（１０）に従って、Ｍ－Ｓ予測係数Ｈｂを、復号Ｍ信号Ｍ’ｂに乗算することにより、予測Ｓ信号Ｓｂ’’を算出する。
以上、本実施の形態に係る符号化装置３００及び復号装置４００について説明した。
ここで、図５に示す復号装置４００において、Ｍ－Ｓ予測部４０４は、復号Ｍ－Ｓ予測係数、及び、復号Ｍ信号を用いて予測Ｓ信号Ｓ’’を算出する。これに対して、図４に示す符号化装置３００において、Ｍ－Ｓ予測部３０５は、復号Ｍ－Ｓ予測係数、及び、復号Ｍ信号を用いて予測Ｓ信号Ｓ’’を算出する。また、符号化装置３００において、予測係数算出部３０１は、復号Ｍ信号を用いてＭ－Ｓ予測係数を算出する。
このように、本実施の形態では、符号化装置３００は、Ｍ－Ｓ予測係数の算出処理及びＳ信号の予測処理の双方において、復号装置４００でも使用される復号Ｍ信号を用いる。換言すると、符号化装置３００は、復号装置４００におけるＳ信号の予測処理と同様の条件でＳ信号の予測処理を行い、復号装置４００における処理を再現する。
よって、符号化装置３００では、Ｍ信号の符号化誤差を考慮したＭＳ予測符号化が可能となり、ＭＳ予測符号化において、Ｓ信号の予測精度を向上できる。よって、本実施の形態によれば、ＭＳ予測符号化において、Ｓ信号を効率良く符号化できる。例えば、本実施の形態は、Ｍ信号の符号化誤差（又は、符号化歪み）が大きくなるような低ビットレートにおいて特に有効である。
なお、本実施の形態において、符号化装置３００の予測係数算出部３０１は、復号Ｍ信号の代わりに、Ｍ信号（例えば、ダウンミックス部１０５の出力）を用いて、Ｍ－Ｓ予測係数を算出してもよい。この場合でも、符号化装置３００は、Ｍ－Ｓ予測部３０５において、復号装置４００と同様にして復号Ｍ信号と復号Ｍ－Ｓ予測係数を用いてＳ信号を予測する。よって、例えば、復号Ｍ信号を用いた場合とＭ信号を用いた場合とで算出されるＭ－Ｓ予測係数に差が発生する場合でも、予測係数の違いによって生じる予測誤差をＳ信号の残差信号Ｅｓに含めることができるので、復号ステレオ信号の品質劣化を抑えることができる。
（実施の形態３）
実施の形態１，２では、予測符号化において、Ｍ信号を用いてＳ信号の予測を行う場合について説明した。これに対して、本実施の形態では、予測符号化において、Ｍ信号を用いてＬ信号及びＲ信号の予測を行う場合について説明する。換言すると、本実施の形態では、符号化装置及び復号装置はＳ信号の予測を行わない。
［通信システムの概要］
本実施の形態に係る通信システムは、符号化装置（encoder）５００及び復号装置（decoder）６００を備える。
［符号化装置の構成］
図６は、本実施の形態に係る符号化装置５００の構成例を示すブロック図である。図６において、符号化装置５００は、ダウンミックス部５０１と、Ｍ信号符号化部５０２と、予測係数算出部５０３と、量子化符号化部５０４と、逆量子化部５０５と、チャネル予測部５０６と、残差算出部５０７と、残差符号化部５０８と、多重化部５０９と、を含む。
図６において、ダウンミックス部５０１、予測係数算出部５０３、及び、残差算出部５０７には、ステレオ信号を構成するＬ信号、及び、Ｒ信号が入力される。
ダウンミックス部５０１は、入力されるＬ信号及びＲ信号を、Ｍ信号に変換（LR-M変換）する。ダウンミックス部５０１は、Ｍ信号をＭ信号符号化部５０２及び予測係数算出部５０３に出力する。例えば、ダウンミックス部５０１は、式（１）又は式（２）に従ってＬ信号及びＲ信号を、Ｍ信号に変換する。
Ｍ信号符号化部５０２は、ダウンミックス部５０１から入力されるＭ信号を符号化し、符号化結果（Ｍ信号符号化情報）を多重化部５０９に出力する。また、Ｍ信号符号化部１０６は、符号化結果を復号し、得られる復号Ｍ信号Ｍ’をチャネル予測部５０６に出力する。
予測係数算出部５０３は、入力されるＬ信号、Ｒ信号、及び、ダウンミックス部５０１から入力されるＭ信号を用いて、Ｍ－Ｌ予測係数及びＭ－Ｒ予測係数をそれぞれ算出する。予測係数算出部５０３は、算出したＭ－Ｌ予測係数及びＭ－Ｒ予測係数を、Ｌ信号及びＲ信号を予測するための予測パラメータとして量子化符号化部５０４に出力する。
例えば、予測係数算出部５０３は、次式（１１）及び式（１２）に従って、サブバンドｂのＭ－Ｌ予測係数ＸＬＭ（ｂ）及びＭ－Ｒ予測係数ＸＲＭ（ｂ）を算出する。
Figure 0007407110000011
Figure 0007407110000012
式（１１）及び式（１２）において、ＬｂはサブバンドｂにおけるＬ信号を示し、ＲｂはサブバンドｂにおけるＲ信号を示し、ＭｂはサブバンドｂにおけるＭ信号を示す。また、関数Ｅ（ｘ）は、ｘの期待値を返す関数である。すなわち、Ｍ－Ｌ予測係数ＸＬＭは、Ｌ信号とＭ信号との相関値を示し、Ｍ－Ｒ予測係数ＸＲＭは、Ｒ信号とＭ信号との相関値を示す。
量子化符号化部５０４は、予測係数算出部５０３から入力される予測パラメータ（Ｍ－Ｌ予測係数及びＭ－Ｒ予測係数）をスカラ量子化し、得られる量子化インデックスに対して符号化を行い、符号化結果（予測パラメータ符号化情報）を多重化部５０９に出力する。また、量子化符号化部５０４は、量子化インデックスを逆量子化部５０５に出力する。
逆量子化部５０５は、量子化符号化部５０４から入力される量子化インデックスを復号して、得られる復号予測パラメータ（復号Ｍ－Ｌ予測係数及び復号Ｍ－Ｒ予測係数）をチャネル予測部５０６に出力する。
チャネル予測部５０６は、逆量子化部５０５から入力される復号予測パラメータ（復号Ｍ－Ｌ予測係数及び復号Ｍ－Ｒ予測係数）、及び、Ｍ信号符号化部５０２から入力される復号Ｍ信号を用いて、Ｌ信号及びＲ信号を予測する。チャネル予測部５０６は、予測Ｌ信号及び予測Ｒ信号を残差算出部５０７に出力する。
例えば、チャネル予測部５０６は、次式（１３）及び式（１４）に従って、予測Ｌ信号Ｌ’を算出する。
Figure 0007407110000013
Figure 0007407110000014
式（１３）において、ＨＬ ｂはサブバンドｂにおける周波数応答を示し、Ｍ’ｂはサブバンドｂにおける復号Ｍ信号を示す。また、式（１４）において、ＭＥｎｅ（ｂ）はサブバンドｂにおける復号Ｍ信号のエネルギを示す。また、関数Ｅ（ｘ）は、ｘの期待値を返す関数である。
同様に、例えば、チャネル予測部５０６は、次式（１５）及び式（１６）に従って、予測Ｒ信号Ｒ’を算出する。
Figure 0007407110000015
Figure 0007407110000016
式（１５）において、ＨＲ ｂはサブバンドｂにおける周波数応答を示し、Ｍ’ｂはサブバンドｂにおける復号Ｍ信号を示す。また、式（１６）において、ＭＥｎｅ（ｂ）はサブバンドｂにおける復号Ｍ信号のエネルギを示す。また、関数Ｅ（ｘ）は、ｘの期待値を返す関数である。
残差算出部５０７は、入力されるＬ信号と、チャネル予測部５０６から入力される予測Ｌ信号との差分である残差信号ＥＬを算出し、残差符号化部５０８に出力する。また、残差算出部５０７は、入力されるＲ信号と、チャネル予測部５０６から入力される予測Ｒ信号との差分である残差信号ＥＲを算出し、残差符号化部５０８に出力する。
残差符号化部５０８は、残差算出部５０７から入力される残差信号ＥＬ及び残差信号ＥＲを符号化し、符号化結果（残差符号化情報）を多重化部５０９に出力する。
多重化部５０９は、Ｍ信号符号化部５０２から入力されるＭ信号符号化情報、量子化符号化部５０４から入力される予測パラメータ符号化情報、及び、残差符号化部５０８から入力される残差符号化情報を多重化する。多重化部５０９は、例えば、得られるビットストリームを、トランスポート層等を介して復号装置６００へ送信する。
［復号装置の構成］
図７は、本実施の形態に係る復号装置６００の構成例を示すブロック図である。図７において、復号装置６００は、分離部６０１と、Ｍ信号復号部６０２と、予測係数復号逆量子化部６０３と、残差復号部６０４と、チャネル予測部６０５と、加算部６０６と、を含む。
図７において、分離部６０１には、符号化装置５００から送信されるビットストリームが入力される。ビットストリームには、例えば、予測パラメータ符号化情報、Ｍ信号符号化情報、及び、残差符号化情報が多重化されている。
分離部６０１は、入力されるビットストリームから、予測パラメータ符号化情報と、Ｍ信号符号化情報と、残差符号化情報とを分離する。分離部６０１は、Ｍ信号符号化情報をＭ信号復号部６０２に出力し、予測パラメータ符号化情報を予測係数復号逆量子化部６０３に出力し、残差符号化情報を残差復号部６０４に出力する。
Ｍ信号復号部６０２は、分離部６０１から入力されるＭ信号符号化情報を復号し、復号Ｍ信号Ｍ’をチャネル予測部６０５に出力する。
予測係数復号逆量子化部６０３は、分離部６０１から入力される予測パラメータ符号化情報を復号し、復号量子化インデックスに対応する、復号予測パラメータ（復号Ｍ－Ｌ予測係数ＸＬＭ及び復号Ｍ－Ｒ予測係数ＸＲＭ）をチャネル予測部６０５に出力する。
残差復号部６０４は、分離部６０１から入力される残差符号化情報を復号し、Ｌ信号の復号残差信号ＥＬ’及びＲ信号の復号残差信号ＥＲ’を得る。残差復号部６０４は、復号残差信号ＥＬ’及び復号残差信号ＥＲ’を加算部６０６に出力する。
チャネル予測部６０５は、Ｍ信号復号部６０２から入力される復号Ｍ信号、及び、予測係数復号逆量子化部６０３から入力される復号予測パラメータ（復号Ｍ－Ｌ予測係数及びＭ－Ｒ予測係数）を用いて、Ｌ信号及びＲ信号を予測する。チャネル予測部６０５は、予測Ｌ信号及び予測Ｒ信号を加算部６０６に出力する。
例えば、チャネル予測部６０５は、チャネル予測部５０６と同様、式（１３）及び式（１４）に従って予測Ｌ信号Ｌ’を算出し、式（１５）及び式（１６）に従って予測Ｒ信号Ｒ’を算出する。
加算部６０６は、残差復号部６０４から入力される復号残差信号ＥＬ’と、チャネル予測部６０５から入力される予測Ｌ信号とを加算し、加算結果である復号Ｌ信号Ｌ＾を出力する。また、加算部６０６は、残差復号部６０４から入力される復号残差信号ＥＲ’と、チャネル予測部６０５から入力される予測Ｒ信号とを加算し、加算結果である復号Ｒ信号Ｒ＾を出力する。
以上、本実施の形態に係る符号化装置５００及び復号装置６００について説明した。
このように、本実施の形態では、Ｌ信号及びＲ信号の予測符号化を行う場合、符号化装置５００は、Ｍ信号と、Ｌ信号及びＲ信号と、を用いて予測パラメータ（Ｍ－Ｌ予測係数及びＭ－Ｒ予測係数）を算出する。また、符号化装置５００は、復号Ｍ信号及び復号予測パラメータを用いてＬ信号及びＲ信号を予測する。換言すると、符号化装置５００は、復号装置６００におけるＬ信号及びＲ信号の予測処理と同様の条件でＬ信号及びＲ信号の予測処理を行い、復号装置６００における処理を再現する。よって、符号化装置５００では、Ｍ信号の符号化誤差、および、Ｍ－Ｌ予測及びＭ－Ｒ予測の予測誤差と符号化誤差を考慮したチャネル予測符号化が可能となり、チャネル予測符号化において、Ｌ信号及びＲ信号の符号化性能を向上できる。
よって、本実施の形態によれば、チャネル予測符号化において、Ｌ信号及びＲ信号を効率良く符号化できる。例えば、本実施の形態は、Ｍ信号の符号化誤差（又は、符号化歪み）が大きくなるような低ビットレートにおいて特に有効である。
なお、図６において、予測係数算出部５０３は、ダウンミックス部５０１から入力されるＭ信号を用いてＭ－Ｌ予測係数及びＭ－Ｒ予測係数を算出する場合について説明した。しかし、予測係数算出部５０３は、Ｍ信号の代わりに、Ｍ信号符号化部５０２から入力される復号Ｍ信号を用いてＭ－Ｌ予測係数及びＭ－Ｒ予測係数を算出してもよい。これにより、符号化装置５００は、復号装置６００において使用される復号Ｍ信号を用いて予測パラメータを算出できるので、復号装置６００でのＬ信号及びＲ信号の予測精度を向上できる。
また、本実施の形態では、ステレオ信号（Ｌチャネル及びＲチャネルの２チャネルの信号）の符号化について説明したが、符号化される信号はステレオ信号に限定されず、マルチチャネル信号（例えば、２チャネル以上の信号）でもよい。
例えば、図８は、マルチチャネル信号（Ｎチャネル。ただし、Ｎは２以上の整数）を符号化する符号化装置５００ａの構成例を示すブロック図を示し、図９は、マルチチャネル信号を復号する復号装置６００ａの構成例を示すブロック図を示す。図８に示す符号化装置５００ａ及び図９に示す復号装置６００ａの各構成部は、図６に示す符号化装置５００及び図７に示す復号装置６００の各構成部と同様の処理を行う。ただし、図６及び図７では、ステレオ信号を構成するＬ信号及びＲ信号の２チャネルに対する処理が行われるのに対して、図８及び図９では、Ｎチャネルに対する処理が行われる点が異なる。すなわち、符号化装置５００ａ及び復号装置６００ａは、Ｍ信号（又は復号Ｍ信号）を用いて、各チャネル信号を予測する。
（実施の形態４）
本実施の形態では、MS予測符号化を含む複数の符号化モードのうち、ステレオ信号の符号化に用いる符号化モードを切り替える方法について説明する。
［通信システムの概要］
本実施の形態に係る通信システムは、符号化装置（encoder）７００及び復号装置（decoder）８００を備える。
［符号化装置の構成］
図１０は、本実施の形態に係る符号化装置７００の構成例を示すブロック図である。図１０において、符号化装置７００は、ダウンミックス部７０１と、Ｍ信号符号化部７０２と、Ｓ信号符号化部７０３と、符号化モード符号化部７０４と、多重化部７０５と、を含む。
図１０において、ダウンミックス部７０１及びＳ信号符号化部７０３には、ステレオ信号を構成するＬ信号（Left channel signal）、及び、Ｒ信号（Right channel signal）が入力される。
ダウンミックス部７０１は、入力されるＬ信号及びＲ信号を、Ｍ信号及びＳ信号に変換（LR-MS変換）する。ダウンミックス部７０１は、Ｍ信号をＭ信号符号化部７０２及びＳ信号符号化部７０３に出力し、Ｓ信号をＳ信号符号化部７０３に出力する。例えば、ダウンミックス部７０１は、式（１）又は式（２）に従ってＬ信号及びＲ信号を、Ｍ信号及びＳ信号に変換する。
Ｍ信号符号化部７０２は、ダウンミックス部７０１から入力されるＭ信号を符号化し、符号化結果（Ｍ信号符号化情報）Ｃｍを多重化部７０５に出力する。
Ｓ信号符号化部７０３は、入力されるＬ信号及びＲ信号、及び、ダウンミックス部７０１から入力されるＭ信号及びＳ信号の少なくとも１つを用いて、Ｓ信号を符号化する。Ｓ信号符号化部７０３は、符号化結果（Ｓ信号符号化情報）Ｃｓを多重化部７０５に出力する。
例えば、Ｓ信号符号化部７０３は、Ｍ－Ｓ予測符号化を行う「予測モード」、及び、通常の符号化を行う「通常モード」の双方の符号化モードを用いて、Ｓ信号を符号化する。そして、Ｓ信号符号化部７０３は、予測モードの符号化結果と、通常モードの符号化結果とを比較して、より良い符号化結果の符号化モードを選択し、選択した符号化モードの符号化結果を含むＳ信号符号化情報Ｃｓを多重化部７０５に出力する。また、Ｓ信号符号化部７０３は、選択した符号化モードを示す情報を符号化モード符号化部７０４に出力する。
「予測モード」では、Ｓ信号符号化部７０３は、例えば、実施の形態１（例えば、図２を参照）又は実施の形態２（例えば、図４を参照）において説明したように、Ｓ信号を符号化する。符号化モードとして予測モードが選択される場合、Ｓ信号符号化部７０３は、Ｓ信号符号化情報Ｃｓとして、予測パラメータ符号化情報、及び、残差符号化情報を多重化部７０５に出力する。
また、「通常モード」では、Ｓ信号符号化部７０３は、例えば、Ｍ／Ｓステレオコーデックにおいて、Ｓ信号に対してモノラル符号化を行う。符号化モードとして通常モードが選択される場合、Ｓ信号符号化部７０３は、Ｓ信号符号化情報Ｃｓとして、Ｓ信号のモノラル符号化結果を多重化部７０５に出力する。
例えば、Ｓ信号符号化部７０３は、予測モードの符号化結果及び通常モードの符号化結果のうち、符号化誤差がより小さい符号化モードを選択してもよい。または、Ｓ信号符号化部７０３は、予測モードの符号化結果及び通常モードの符号化結果のうち、符号化結果に要するビット数がより少ない符号化モードを選択してもよい。なお、符号化モードの選択基準は、符号化誤差及び符号化ビット数に限定されず、符号化性能に関する他の基準でもよい。
符号化モード符号化部７０４は、Ｓ信号符号化部７０３から入力される符号化モードを符号化し、得られるモード符号化情報Ｃｇを多重化部７０５に出力する。
多重化部７０５は、Ｍ信号符号化部７０２から入力されるＭ信号符号化情報、Ｓ信号符号化部７０３から入力されるＳ信号符号化情報、及び、符号化モード符号化部７０４から入力されるモード符号化情報を多重化する。多重化部７０５は、例えば、得られるビットストリームを、トランスポート層等を介して復号装置８００へ送信する。
［復号装置の構成］
図１１は、本実施の形態に係る復号装置８００の構成例を示すブロック図である。図１１において、復号装置８００は、分離部８０１と、Ｍ信号復号部８０２と、符号化モード復号部８０３と、Ｓ信号復号部８０４と、アップミックス部８０５と、を含む。
図１１において、分離部８０１には、符号化装置７００から送信されるビットストリームが入力される。ビットストリームには、例えば、Ｍ信号符号化情報Ｃｍ、Ｓ信号符号化情報Ｃｓ、及び、モード符号化情報Ｃｇが多重化されている。
分離部８０１は、入力されるビットストリームから、Ｍ信号符号化情報と、Ｓ信号符号化情報と、モード符号化情報とを分離する。分離部８０１は、Ｍ信号符号化情報をＭ信号復号部８０２に出力し、モード符号化情報を符号化モード復号部８０３に出力し、Ｓ信号符号化モードをＳ信号復号部８０４に出力する。
Ｍ信号復号部８０２は、分離部８０１から入力されるＭ信号符号化情報を復号し、復号Ｍ信号Ｍ’を、Ｓ信号復号部８０４及びアップミックス部８０５に出力する。
符号化モード復号部８０３は、分離部８０１から入力されるモード符号化情報を復号し、得られた符号化モードを示す情報を、Ｓ信号復号部８０４に出力する。
Ｓ信号復号部８０４は、符号化モード復号部８０３から入力される符号化モードに基づいて、Ｓ信号符号化情報を復号し、復号Ｓ信号Ｓ’を得る。Ｓ信号復号部８０４は、復号Ｓ信号をアップミックス部８０５に出力する。
符号化モードが「予測モード」の場合、Ｓ信号復号部８０４は、例えば、実施の形態１（例えば、図３を参照）又は実施の形態２（例えば、図５を参照）において説明したように、Ｍ信号復号部８０２から入力される復号Ｍ信号、及び、分離部８０１から入力されるＳ信号符号化情報（予測パラメータ及び残差信号）を用いてＳ信号を予測・復号する。
また、符号化モードが「通常モード」の場合、Ｓ信号復号部８０４は、例えば、Ｓ信号符号化情報に対してモノラル復号を行い、復号Ｓ信号を得る。
アップミックス部８０５は、Ｍ信号復号部８０２から入力される復号Ｍ信号Ｍ’、及び、Ｓ信号復号部８０４から入力される復号Ｓ信号Ｓ’を、復号Ｌ信号Ｌ’及び復号Ｒ信号Ｒ’に変換（MS-LR変換）する。例えば、アップミックス部８０５は、式（５）又は式（６）に従って復号Ｍ信号及び復号Ｓ信号を、復号Ｌ信号及び復号Ｒ信号に変換する。
以上、本実施の形態に係る符号化装置７００及び復号装置８００について説明した。
このように、本実施の形態では、符号化装置７００は、Ｓ信号に対して、予測符号化及びモノラル符号化の双方の符号化を行い、符号化結果がより良い符号化モードを選択する。これにより、符号化装置７００は、Ｓ信号を効率良く符号化でき、復号装置８００では、Ｓ信号の復号性能を向上できる。
なお、本実施の形態では、Ｓ信号に対する符号化モードとして、予測モード及び通常モードを用いる場合について説明した。しかし、Ｓ信号に対する符号化モードは、予測モード及び通常モード以外の符号化モードでもよい。また、本実施の形態では、２種類の符号化モードを用いる場合について説明したが、３種類以上の符号化モードを用いてもよい。例えば、Ｌ信号とＲ信号との相関が低い場合には、ＭＳステレオ符号化を用いず、ＬＲをデュアルモノ符号化するモードを用いても良い。
また、本実施の形態において、Ｓ信号に対する符号化処理は、複数のサブバンド毎に行われてもよく、複数のサブバンド全体に対して行われてもよい。Ｓ信号に対する符号化処理が複数のサブバンド毎に行われる場合、Ｓ信号符号化情報及びモード符号化情報は、サブバンド毎に生成される。また、この場合、モード符号化情報は、例えば、予測モードが選択された帯域を「１」で表し、通常モードが選択された帯域を「０」で表すバイナリ符号化情報でもよい。
（実施の形態５）
実施の形態４では、符号化装置において複数の符号化モードを用いてＳ信号をそれぞれ符号化し、符号化結果がより良好である符号化モードを選択する場合について説明した。これに対して、実施の形態５では、符号化装置において、複数の符号化モードの中から１つの符号化モードを選択し、選択した符号化モードを用いてＳ信号を符号化する場合について説明する。
図１２は、本実施の形態に係る符号化装置９００の構成例を示すブロック図である。なお、図１２において、実施の形態４と同様の構成には同一の符号を付し、その説明を省略する。また、本実施の形態に係る復号装置は、実施の形態４に係る復号装置８００と基本構成が共通するので、図１１を援用して説明する。
図１２に示す符号化装置９００において、相互相関算出部９０１は、入力されるＬ信号とＲ信号との正規化相互相関を算出する。例えば、相互相関算出部９０１は、サブバンド毎の正規化相互相関値を算出する。相互相関算出部９０１は、算出したサブバンド毎の正規化相互相関値をサブバンド分類部９０２に出力する。
例えば、相互相関算出部９０１は、次式（１７）に従って、サブバンドｂの正規化相互相関値ＸＬＲ（ｂ）を算出する。
Figure 0007407110000017
式（１７）において、ｋｓｔａｒｔはサブバンドｂにおけるスペクトル係数の開始番号を示し、ｋｅｎｄはサブバンドｂにおけるスペクトル係数の終了番号を示し、ｂは０，１，…, Ｎｂａｎｄｓ－１である。Ｎｂａｎｄｓはサブバンド数を示す。また、「＊」は複素共役を示し、関数Ｅ（ｘ）は、ｘの期待値を返す関数である。
サブバンド分類部９０２は、相互相関算出部９０１から入力されるサブバンド毎の正規化相互相関値に基づいて、サブバンドを複数のグループに分類する。サブバンドのグループ数は、例えば、Ｓ信号符号化部９０３において選択可能な符号化モードの数と同一でもよい。例えば、サブバンド分類部９０２は、正規化相互相関値が所定の範囲であるサブバンドを予測モード（例えば、ＭＳ予測符号化）に対応するグループに分類し、正規化相互相関値が上記所定の範囲以外であるサブバンドを通常モード（例えば、モノラル符号化）に対応するグループに分類する。サブバンド分類部９０２は、サブバンドの分類結果を示す分類情報をＳ信号符号化部９０３及び分類情報符号化部９０４に出力する。
Ｓ信号符号化部９０３は、サブバンド分類部９０２から入力される分類情報に基づいて、Ｓ信号の符号化モード（例えば、予測モード又は通常モードの何れか）を選択する。そして、Ｓ信号符号化部９０３は、選択した符号化モードに基づいて、ダウンミックス部７０１から入力されるＳ信号を符号化し、符号化結果（Ｓ信号符号化情報）Ｃｓを多重化部７０５に出力する。
分類情報符号化部９０４は、サブバンド分類部９０２から入力される分類情報を符号化し、符号化結果（モード符号化情報）Ｃｇを多重化部７０５に出力する。例えば、分類情報符号化部９０４は、予測モードに対応するグループに含まれるサブバンドを「１」で表し、通常モードに対応するグループに含まれるサブバンドを「０」で表すバイナリ符号化情報を生成してもよい。
復号装置８００（例えば、図１１を参照）は、モード符号化情報（換言すると、分類情報）に基づいて、Ｓ信号の符号化モードをサブバンド毎に決定し、決定した符号化モードに従って、Ｓ信号を復号する。
次に、サブバンド分類部９０２におけるサブバンドの分類方法の一例を説明する。
ＭＳ符号化では、例えば、Ｌ信号とＲ信号とのスペクトル形状が似ているほど（換言すると、正規化相互相関値が高いほど）、Ｌ信号とＲ信号との差を示すＳ信号をより少ないビット数を用いて高効率に符号化できる。換言すると、Ｌ信号及びＲ信号の正規化相互相関値が高いほど、ＭＳ予測符号化（予測モード）によりＳ信号を予測しなくても、通常モードの符号化によってＳ信号を高効率に符号化できる。
一方、Ｌ信号とＲ信号とのスペクトル形状が似ていない場合（換言すると、正規化相互相関値が低い場合）、ＭＳ予測符号化（予測モード）の予測誤差はより大きくなるので、ＭＳ予測符号化では、通常モードの符号化よりも符号化ビット数をより多く要する可能性がある。
そこで、例えば、サブバンド分類部９０２は、正規化相互相関値ＸＬＲ（ｂ）が０．５～０．８の範囲のサブバンドｂを、予測モードに対応するサブバンドに分類する。また、サブバンド分類部９０２は、正規化相互相関値ＸＬＲ（ｂ）が０．５～０．８の範囲以外のサブバンドｂを、通常モードに対応するサブバンドに分類する。
これにより、例えば、正規化相互相関値ＸＬＲ（ｂ）が０．８より大きいサブバンドｂでは、Ｓ信号符号化部９０３は、Ｌ信号とＲ信号との差信号（すなわちＳ信号）が小さいことが期待されるので、通常モードを用いてＳ信号を高効率に符号化できる。また、例えば、正規化相互相関値ＸＬＲ（ｂ）が０．５～０．８の範囲のサブバンドｂでは、Ｓ信号符号化部９０３は、予測モードを用いてＳ信号を符号化することにより、通常モードを用いる場合と比較して、Ｓ信号符号化情報のビット数を削減できる。また、例えば、正規化相互相関値ＸＬＲ（ｂ）が０．５未満のサブバンドｂでは、Ｓ信号符号化部９０３は、通常モードでＳ信号を符号化することにより、Ｓ信号符号化情報のビット数が不用意に多くなることを回避することができる。
なお、予測モードに対応するサブバンドに分類する正規化相互相関値ＸＬＲ（ｂ）の範囲は、０．５～０．８の範囲に限定されず、他の範囲でもよい。
このように、本実施の形態では、符号化装置９００は、Ｌ信号とＲ信号との相関に適した符号化モードを選択することにより、Ｓ信号を効率良く符号化できる。また、符号化装置９００は、Ｌ信号とＲ信号との相関に基づいて選択された１つの符号化モードを用いてＳ信号を符号化するので、複数の符号化モードのそれぞれを用いて符号化を行う場合と比較して演算量を削減できる。
なお、本実施の形態では、Ｓ信号の符号化モードに、予測モード及び通常モードの２種類のモードを用いる場合について説明した。しかし、Ｓ信号の符号化モードは、３種類以上でもよい。この場合、サブバンド分類部９０２は、複数のサブバンドを、Ｓ信号の符号化モードと同数のグループに分類すればよい。
例えば、サブバンド分類部９０２は、正規化相互相関値ＸＬＲ（ｂ）が０．５～０．８の範囲のサブバンドｂを、予測モードに対応するサブバンドに分類し、正規化相互相関値ＸＬＲ（ｂ）が０．８より大きい範囲のサブバンドｂを、通常モード（例えば、モノラル符号化）に対応するサブバンドに分類し、正規化相互相関値ＸＬＲ（ｂ）が０．５未満の範囲のサブバンドｂを、デュアルモノモード（デュアルモノ符号化）に対応するサブバンドに分類してもよい。デュアルモノ符号化では、Ｓ信号符号化部９０３は、Ｌ信号及びＲ信号を別々にモノラル符号化する。
また、符号化装置９００が用いる符号化モードは、上述したような２種類又は３種類に限定されず、４種類以上でもよい。
また、本実施の形態では、サブバンド毎の符号化モードを決定する場合について説明したが、符号化モードはサブバンド単位に決定される場合に限定されない。例えば、符号化モードは、複数のサブバンドのグループ単位に決定されてもよく、全ての帯域において決定されてもよい。
また、本実施の形態では、符号化装置９００は、Ｌ信号とＲ信号との正規化相互相関値に基づいて、符号化モードを選択する場合について説明したが、符号化モードの選択基準となるパラメータは、正規化相互相関値に限定されず、例えば、Ｌ信号とＲ信号との相関に関する他のパラメータでもよい。
または、符号化モードの選択基準となるパラメータは、Ｍ－Ｓ予測における予測利得でもよい。例えば、符号化装置９００は、算出した予測利得が高い場合（例えば、所定の閾値を超えるあるいは所定の閾値以上の場合）に予測モードを選択しても良い。予測利得は、予測対象となる信号（本実施の形態ではＳ信号）と予測残差信号（予測されたＳ信号と実際のＳ信号との誤差信号）とのＳ／Ｎ比として定義できる。この場合、Ｓ信号を対象とした場合のＳ／Ｎ比の逆数は、次式（１８）で表される。
Figure 0007407110000018
式（１８）において、ＭＥｎｅ（ｂ）はサブバンドｂにおけるＭ信号のエネルギを示し、ＳＥｎｅ（ｂ）はサブバンドｂにおけるＳ信号のエネルギを示し、ＸＳＭ（ｂ）はサブバンドｂにおけるＳ信号とＭ信号との相互相関値を示し、ＳｂはサブバンドｂにおけるＳ信号を示し、ＭｂはサブバンドｂにおけるＭ信号を示し、ＳｂＭｂはサブバンドｂにおけるＳ信号とＭ信号とのクロススペクトルを示し、Ｓ(ｋ)はサブバンドｂ内の各周波数ビンｋにおけるＳ信号を示し、Ｍ(ｋ)はサブバンドｂ内の各周波数ビンｋにおけるＭ信号を示し、ＨｂはサブバンドｂにおけるＭ－Ｓ予測係数を示す（例えば、式（７）を参照）。関数Ｅ(ｘ)はｘの期待値を返す関数を表す。
式（１８）によれば、（ＸＳＭ（ｂ））２／Ｅ（ＳＥｎｅ（ｂ））Ｅ（ＭＥｎｅ（ｂ））が大きいほど、予測利得が高くなる。つまり、符号化装置９００は、Ｍ信号とＳ信号との相互相関の二乗をＭ信号のエネルギとＳ信号のエネルギとを掛けた値で正規化して得られる、「Ｍ信号とＳ信号との正規化相互相関」を算出する。そして、符号化装置９００は、「Ｍ信号とＳ信号との正規化相互相関」が所定の閾値以上（または閾値を超える）場合に予測利得が高いと判断して、予測モードを用いるようにすればよい。また、符号化装置９００は、例えば、予測利得が低い場合にデュアルモノ符号化モードを用いるようにすれば、モードの判定にＬ信号及びＲ信号の相互相関（例えば、式（１７）又はこれに準じた式）を計算する必要はない。この場合の符号化装置９００ａの構成を図１３に示す。図１３に示す符号化装置９００ａでは、符号化装置９００（図１２）と比較すると、相互相関算出部９０１ａの入力信号がダウンミックス部７０１の出力信号であるＭ信号とＳ信号になっている点が異なる。また、図１３において、相互相関算出部９０１ａは、上述した「Ｍ信号とＳ信号との正規化相互相関」を算出する。
以上、本開示の各実施の形態について説明した。
なお、本開示はソフトウェア、ハードウェア、又は、ハードウェアと連携したソフトウェアで実現することが可能である。上記実施の形態の説明に用いた各機能ブロックは、部分的に又は全体的に、集積回路であるＬＳＩとして実現され、上記実施の形態で説明した各プロセスは、部分的に又は全体的に、一つのＬＳＩ又はＬＳＩの組み合わせによって制御されてもよい。ＬＳＩは個々のチップから構成されてもよいし、機能ブロックの一部または全てを含むように一つのチップから構成されてもよい。ＬＳＩはデータの入力と出力を備えてもよい。ＬＳＩは、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。集積回路化の手法はＬＳＩに限るものではなく、専用回路、汎用プロセッサ又は専用プロセッサで実現してもよい。また、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。本開示は、デジタル処理又はアナログ処理として実現されてもよい。さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
本開示は、通信機能を持つあらゆる種類の装置、デバイス、システム（通信装置と総称）において実施可能である。通信装置の、非限定的な例としては、電話機（携帯電話、スマートフォン等）、タブレット、パーソナル・コンピューター（ＰＣ）（ラップトップ、デスクトップ、ノートブック等）、カメラ（デジタル・スチル／ビデオ・カメラ等）、デジタル・プレーヤー（デジタル・オーディオ／ビデオ・プレーヤー等）、着用可能なデバイス（ウェアラブル・カメラ、スマートウオッチ、トラッキングデバイス等）、ゲーム・コンソール、デジタル・ブック・リーダー、テレヘルス・テレメディシン（遠隔ヘルスケア・メディシン処方）デバイス、通信機能付きの乗り物又は移動輸送機関（自動車、飛行機、船等）、及び上述の各種装置の組み合わせがあげられる。
通信装置は、持ち運び可能又は移動可能なものに限定されず、持ち運びできない又は固定されている、あらゆる種類の装置、デバイス、システム、例えば、スマート・ホーム・デバイス（家電機器、照明機器、スマートメーター又は計測機器、コントロール・パネル等）、自動販売機、その他ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）ネットワーク上に存在し得るあらゆる「モノ（Things）」をも含む。
通信には、セルラーシステム、無線ＬＡＮシステム、通信衛星システム等によるデータ通信に加え、これらの組み合わせによるデータ通信も含まれる。
また、通信装置には、本開示に記載される通信機能を実行する通信デバイスに接続又は連結される、コントローラやセンサー等のデバイスも含まれる。例えば、通信装置の通信機能を実行する通信デバイスが使用する制御信号やデータ信号を生成するような、コントローラやセンサーが含まれる。
また、通信装置には、上記の非限定的な各種装置と通信を行う、あるいはこれら各種装置を制御する、インフラストラクチャ設備、例えば、基地局、アクセスポイント、その他あらゆる装置、デバイス、システムが含まれる。
本開示の一実施例における符号化装置は、ステレオ信号を構成する左チャネル信号と右チャネル信号との和を示す和信号を符号化して、第１の符号化情報を生成する第１符号化回路と、前記左チャネル信号と前記右チャネル信号との間のエネルギ差に関するパラメータを用いて、前記左チャネル信号と前記右チャネル信号との差を示す差信号を予測するための予測パラメータを算出する算出回路と、前記予測パラメータを符号化して、第２の符号化情報を生成する第２符号化回路と、を具備する。
本開示の一実施例における符号化装置において、前記予測パラメータ及び前記和信号を用いて前記差信号を予測して、予測差信号を生成する予測回路と、前記差信号と前記予測差信号との残差信号を符号化して、第３の符号化情報を生成する第３符号化回路と、を更に具備する。
本開示の一実施例における符号化装置において、前記第３符号化情報には、前記和信号と、前記第１の符号化情報を復号して得られる復号和信号との残差信号の符号化結果が含まれる。
本開示の一実施例における符号化装置において、前記エネルギ差に関するパラメータは、前記第１の符号化情報を復号して得られる復号和信号と前記差信号との相関値を、前記復号和信号のエネルギで正規化して得られる係数である。
本開示の一実施例における符号化装置において、前記第２の符号化回路は、前記予測パラメータに対してエントロピ符号化を行う。
本開示の一実施例における符号化方法は、ステレオ信号を構成する左チャネル信号と右チャネル信号との和を示す和信号を符号化して、第１の符号化情報を生成し、前記左チャネル信号と前記右チャネル信号との間のエネルギ差に関するパラメータを用いて、前記左チャネル信号と前記右チャネル信号との差を示す差信号を予測するための予測パラメータを算出し、前記予測パラメータを符号化して、第２の符号化情報を生成する。
２０１８年７月３日出願の特願２０１８－１２６８４２及び２０１８年１１月７日出願の特願２０１８－２０９９４０の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
本開示の一実施例は、MS予測符号化技術を用いた音声通信システムに有用である。
１００，３００，５００，７００，９００，９００ａ 符号化装置
１０１ エネルギ差算出部
１０２，３０２ 量子化部
１０３，３０３ エントロピ符号化部
１０４，３０４，５０５ 逆量子化部
１０５，５０１，７０１ ダウンミックス部
１０６，５０２，７０２ Ｍ信号符号化部
１０７，１１０，２０６，２０９ 加算器
１０８，２０７ Ｍ信号エネルギ算出部
１０９，２０８，３０５，４０４ Ｍ－Ｓ予測部
１１１，３０６，５０８ 残差符号化部
１１２，５０９，７０５ 多重化部
２００，４００，６００，８００ 復号装置
２０１，６０１，８０１ 分離部
２０２，４０１ エントロピ復号部
２０３ エネルギ差復号部
２０４，４０３，６０４ 残差復号部
２０５，６０２，８０２ Ｍ信号復号部
２１０，８０５ アップミックス部
３０１，５０３ 予測係数算出部
４０２ 予測係数復号部
５０４ 量子化符号化部
５０６，６０５ チャネル予測部
５０７ 残差算出部
６０３ 予測係数復号逆量子化部
６０６ 加算部
７０３，９０３ Ｓ信号符号化部
７０４ 符号化モード符号化部
８０３ 符号化モード復号部
８０４ Ｓ信号復号部
９０１，９０１ａ 相互相関算出部
９０２ サブバンド分類部
９０４ 分類情報符号化部

Claims (5)

  1. ステレオ信号を構成する左チャネル信号と右チャネル信号との和を示す和信号を符号化して、第１の符号化情報を生成する第１符号化回路と、
    前記左チャネル信号と前記右チャネル信号との間のエネルギ差に関するパラメータを用いて、前記左チャネル信号と前記右チャネル信号との差を示す差信号を予測するための予測パラメータを算出する算出回路と、
    前記予測パラメータを符号化して、第２の符号化情報を生成する第２符号化回路と、
    を具備し、
    前記エネルギ差に関するパラメータは、前記第１の符号化情報を復号して得られる復号和信号と前記差信号との相関値を、前記復号和信号のエネルギで正規化して得られる係数である、
    符号化装置。
  2. 前記予測パラメータ及び前記和信号を用いて前記差信号を予測して、予測差信号を生成する予測回路と、
    前記差信号と前記予測差信号との残差信号を符号化して、第３の符号化情報を生成する第３符号化回路と、を更に具備する、
    請求項１に記載の符号化装置。
  3. 前記第３の符号化情報には、前記和信号と、前記第１の符号化情報を復号して得られる復号和信号との残差信号の符号化結果が含まれる、
    請求項２に記載の符号化装置。
  4. 前記第２符号化回路は、前記予測パラメータに対してエントロピ符号化を行う、
    請求項１に記載の符号化装置。
  5. ステレオ信号を構成する左チャネル信号と右チャネル信号との和を示す和信号を符号化して、第１の符号化情報を生成し、
    前記左チャネル信号と前記右チャネル信号との間のエネルギ差に関するパラメータを用いて、前記左チャネル信号と前記右チャネル信号との差を示す差信号を予測するための予測パラメータを算出し、
    前記予測パラメータを符号化して、第２の符号化情報を生成し、
    前記エネルギ差に関するパラメータは、前記第１の符号化情報を復号して得られる復号和信号と前記差信号との相関値を、前記復号和信号のエネルギで正規化して得られる係数である、
    符号化方法。
JP2020528992A 2018-07-03 2019-07-02 符号化装置及び符号化方法 Active JP7407110B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2018126842 2018-07-03
JP2018126842 2018-07-03
JP2018209940 2018-11-07
JP2018209940 2018-11-07
PCT/JP2019/026200 WO2020009082A1 (ja) 2018-07-03 2019-07-02 符号化装置及び符号化方法

Publications (2)

Publication Number Publication Date
JPWO2020009082A1 JPWO2020009082A1 (ja) 2021-08-02
JP7407110B2 true JP7407110B2 (ja) 2023-12-28

Family

ID=69060388

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020528992A Active JP7407110B2 (ja) 2018-07-03 2019-07-02 符号化装置及び符号化方法

Country Status (4)

Country Link
US (1) US11545165B2 (ja)
JP (1) JP7407110B2 (ja)
CN (1) CN112352277B (ja)
WO (1) WO2020009082A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017125562A1 (en) 2016-01-22 2017-07-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatuses and methods for encoding or decoding a multi-channel audio signal using frame control synchronization
WO2017161315A1 (en) 2016-03-18 2017-09-21 Qualcomm Incorporated Multi channel coding

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE519552C2 (sv) * 1998-09-30 2003-03-11 Ericsson Telefon Ab L M Flerkanalig signalkodning och -avkodning
US7644003B2 (en) * 2001-05-04 2010-01-05 Agere Systems Inc. Cue-based audio coding/decoding
JP2005202248A (ja) * 2004-01-16 2005-07-28 Fujitsu Ltd オーディオ符号化装置およびオーディオ符号化装置のフレーム領域割り当て回路
JP4950040B2 (ja) * 2004-06-21 2012-06-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マルチチャンネルオーディオ信号を符号化及び復号する方法及び装置
JP4892184B2 (ja) * 2004-10-14 2012-03-07 パナソニック株式会社 音響信号符号化装置及び音響信号復号装置
JP2006323314A (ja) * 2005-05-20 2006-11-30 Matsushita Electric Ind Co Ltd マルチチャネル音声信号をバイノーラルキュー符号化する装置
US7991272B2 (en) * 2005-07-11 2011-08-02 Lg Electronics Inc. Apparatus and method of processing an audio signal
JP2007183528A (ja) * 2005-12-06 2007-07-19 Fujitsu Ltd 符号化装置、符号化方法、および符号化プログラム
JP2008203315A (ja) * 2007-02-16 2008-09-04 Matsushita Electric Ind Co Ltd オーディオ符号化・復号化装置、方法、及びソフトウェア
CN101981616A (zh) * 2008-04-04 2011-02-23 松下电器产业株式会社 立体声信号变换装置、立体声信号逆变换装置及其方法
US8811621B2 (en) 2008-05-23 2014-08-19 Koninklijke Philips N.V. Parametric stereo upmix apparatus, a parametric stereo decoder, a parametric stereo downmix apparatus, a parametric stereo encoder
CA2754671C (en) * 2009-03-17 2017-01-10 Dolby International Ab Advanced stereo coding based on a combination of adaptively selectable left/right or mid/side stereo coding and of parametric stereo coding
CN101533641B (zh) * 2009-04-20 2011-07-20 华为技术有限公司 对多声道信号的声道延迟参数进行修正的方法和装置
US8660851B2 (en) * 2009-05-26 2014-02-25 Panasonic Corporation Stereo signal decoding device and stereo signal decoding method
US8924207B2 (en) * 2009-07-23 2014-12-30 Texas Instruments Incorporated Method and apparatus for transcoding audio data
EP2375409A1 (en) 2010-04-09 2011-10-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder and related methods for processing multi-channel audio signals using complex prediction
AU2011240239B2 (en) * 2010-04-13 2014-06-26 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio or video encoder, audio or video decoder and related methods for processing multi-channel audio or video signals using a variable prediction direction
CN103180899B (zh) * 2010-11-17 2015-07-22 松下电器（美国）知识产权公司 立体声信号的编码装置、解码装置、编码方法及解码方法
US8654984B2 (en) 2011-04-26 2014-02-18 Skype Processing stereophonic audio signals
RU2625444C2 (ru) * 2013-04-05 2017-07-13 Долби Интернэшнл Аб Система обработки аудио
US10152977B2 (en) * 2015-11-20 2018-12-11 Qualcomm Incorporated Encoding of multiple audio signals

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017125562A1 (en) 2016-01-22 2017-07-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatuses and methods for encoding or decoding a multi-channel audio signal using frame control synchronization
WO2017161315A1 (en) 2016-03-18 2017-09-21 Qualcomm Incorporated Multi channel coding

Also Published As

Publication number Publication date
CN112352277A (zh) 2021-02-09
WO2020009082A1 (ja) 2020-01-09
JPWO2020009082A1 (ja) 2021-08-02
US11545165B2 (en) 2023-01-03
US20210280201A1 (en) 2021-09-09
CN112352277B (zh) 2024-05-31

Similar Documents

Publication Publication Date Title
KR101340233B1 (ko) 스테레오 부호화 장치, 스테레오 복호 장치 및 스테레오부호화 방법
US8374883B2 (en) Encoder and decoder using inter channel prediction based on optimally determined signals
JP5036317B2 (ja) スケーラブル符号化装置、スケーラブル復号化装置、およびこれらの方法
WO2009144953A1 (ja) 符号化装置、復号装置およびこれらの方法
KR102460820B1 (ko) Ｈｏａ 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들의 인코딩/디코딩을 위한 방법 및 장치
EP2856776B1 (en) Stereo audio signal encoder
KR102327149B1 (ko) Ｈｏａ 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들의 인코딩/디코딩을 위한 방법 및 장치
JP5746974B2 (ja) 符号化装置、復号装置およびこれらの方法
US20100017197A1 (en) Voice coding device, voice decoding device and their methods
JPWO2007114290A1 (ja) ベクトル量子化装置、ベクトル逆量子化装置、ベクトル量子化方法及びベクトル逆量子化方法
JP5714002B2 (ja) 符号化装置、復号装置、符号化方法及び復号方法
US8271275B2 (en) Scalable encoding device, and scalable encoding method
JPWO2010140350A1 (ja) ダウンミックス装置、符号化装置、及びこれらの方法
US20160111100A1 (en) Audio signal encoder
WO2011045926A1 (ja) 符号化装置、復号装置およびこれらの方法
JP7407110B2 (ja) 符号化装置及び符号化方法
US20170243592A1 (en) Method and apparatus for coding or decoding subband configuration data for subband groups
JP2022188262A (ja) ステレオ信号符号化方法および装置、ならびにステレオ信号復号方法および装置
KR102363275B1 (ko) Ｈｏａ 신호 표현의 부대역들 내의 우세 방향 신호들의 방향들의 인코딩/디코딩을 위한 방법 및 장치
JP5990954B2 (ja) オーディオ符号化装置、オーディオ符号化方法、オーディオ符号化用コンピュータプログラム、オーディオ復号装置、オーディオ復号方法ならびにオーディオ復号用コンピュータプログラム
JP5544371B2 (ja) 符号化装置、復号装置およびこれらの方法
RU2821284C1 (ru) Распределение скоростей передачи битов в иммерсивных голосовых и аудиослужбах
WO2011058752A1 (ja) 符号化装置、復号装置およびこれらの方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231218

R150 Certificate of patent or registration of utility model

Ref document number: 7407110

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150