JP4837772B2 - 多視点動画像復号装置、多視点動画像復号方法、プログラム及び集積回路 - Google Patents

多視点動画像復号装置、多視点動画像復号方法、プログラム及び集積回路 Download PDF

Info

Publication number
JP4837772B2
JP4837772B2 JP2009284534A JP2009284534A JP4837772B2 JP 4837772 B2 JP4837772 B2 JP 4837772B2 JP 2009284534 A JP2009284534 A JP 2009284534A JP 2009284534 A JP2009284534 A JP 2009284534A JP 4837772 B2 JP4837772 B2 JP 4837772B2
Authority
JP
Japan
Prior art keywords
image
decoded
error
moving
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009284534A
Other languages
English (en)
Other versions
JP2011130029A (ja
JP2011130029A5 (ja
Inventor
一憲 岡嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2009284534A priority Critical patent/JP4837772B2/ja
Priority to PCT/JP2010/003424 priority patent/WO2011074148A1/ja
Priority to CN201080009868.8A priority patent/CN102342118B/zh
Publication of JP2011130029A publication Critical patent/JP2011130029A/ja
Priority to US13/196,444 priority patent/US8750388B2/en
Publication of JP2011130029A5 publication Critical patent/JP2011130029A5/ja
Application granted granted Critical
Publication of JP4837772B2 publication Critical patent/JP4837772B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、多視点符号化され参照関係が存在する複数の動画符号化ストリームを復号する多視点動画像復号装置、多視点動画像復号方法、プログラム及び集積回路に関する。
人の視覚に立体的な動画像を認知させるための立体動画像を符号化する方式が提案されている。例えば、左目用、右目用として、それぞれ異なる方向から撮影した２種類以上の動画像を用意し、それぞれを相互に参照関係を持った符号化を行い、複数の動画符号化ストリームを多重化して作成するという方式がある。
この方式は、近年、非特許文献１において、多視点動画符号化（Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ。以下、ＭＶＣと記載）として、規格化されている。
図１４Ａ及び図１４Ｂは、従来技術におけるＭＶＣを説明する図である。
ＭＶＣでは、複数の視点からの動画像が相互に参照関係をもち、符号化された動画符号化ストリームを規定する。
なお、ＭＶＣで規定される多視点符号化された複数の動画符号化ストリームは、参照関係を有しない動画符号化ストリーム、つまり、その動画符号化ストリームだけで復号可能な少なくとも１本の動画符号化ストリーム（以下、Ｂａｓｅ Ｖｉｅｗ側の動画符号化ストリームと記載）と、相互に参照関係が存在する複数のストリーム（以下、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ側の動画符号化ストリームと記載）の２種類からなる。
以下、その一例として、左目の視点に基づいて符号化されたＢａｓｅ Ｖｉｅｗ側の動画符号化ストリームをＬ用動画符号化ストリーム、右目の視点に基づいて符号化されたＤｅｐｅｎｄｅｎｔ Ｖｉｅｗ側の動画符号化ストリームをＲ用動画符号化ストリームとする。
図１４Ａは、ＭＶＣに関する説明図であり、Ｌ用画像（Ｂａｓｅ Ｖｉｅｗ側の動画符号化ストリームの復号後画像）とＲ用画像（Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ側の動画符号化ストリームの復号後画像）のピクチャ構成の一例を示す。
なお、同図では、Ｌ用、Ｒ用画像を復号順（Ｄｅｃｏｄｅ Ｏｒｄｅｒ）で示す。また、同図に示されるＩは、画面内符号化画像で構成されるピクチャを示す（以下、Ｉピクチャと呼ぶ）。また、Ｐは、画面間符号化画像で構成されるピクチャを示す（以下、Ｐピクチャと呼ぶ）。また、Ｂは、双方向符号化画像で構成されるピクチャを示す（以下、Ｂピクチャと呼ぶ）。
なお、これらのうちでＩピクチャはそれ自身の復号後データのみで元の画像データの復元が可能であるが、残りのＰピクチャ及びＢピクチャでは、元の画像データを復元するために、それ自身の復号結果の他に参照画像が必要となる。また、番号が若いほど時間的に前の出力画像を示す。また、（Ｌ）、（Ｒ）はＬ用、Ｒ用画像を示す。
図１４Ｂは、ＭＶＣに関する説明図であり、図１４Ａを表示順（Ｄｉｓｐｌａｙ Ｏｒｄｅｒ）で示した図である。
なお、同図中の矢印は、相互の参照関係を示し、画面間符号化に際して矢印の先の画像を復元するために矢印の元の画像を参照していることを示す。例えば、Ｂ０（Ｌ）の場合、ＢピクチャＢ０（Ｌ）を復号するには、それ自身の復号結果の他に参照画像として、Ｉ２（Ｌ）が必要であることを示す。Ｌ用画像のＢ１（Ｌ）、Ｂ３（Ｌ）、Ｂ４（Ｌ）、及びＰ５（Ｌ）も同様である。
なお、Ｒ用画像のうち、Ｂ０（Ｒ）、Ｂ１（Ｒ）、Ｂ３（Ｒ）、Ｂ４（Ｒ）、及びＰ５（Ｒ）も、Ｌ用画像と同様にＲ用画像を参照するが、Ｐ２（Ｒ）も含め、同じ表示時刻に相当するＬ用画像も参照することが可能であることを示す。つまり、これらの画像には、相互に参照関係が存在することを示している。この場合、Ｒ用動画符号化ストリームは、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ側の動画符号化ストリームを示す。
図１５は、従来技術におけるＭＶＣ規格で符号化された動画符号化ストリームを説明する図である。つまり、同図は、ＭＶＣに基づく、Ｌ用画像、Ｒ用画像の相互間の参照関係の一例を示す。
同図において、上段は左目用の出力画像を、下段は右目用の出力画像を示す。つまり、Ｌ−１からＬ−６は、左目用動画符号化ストリームから復号された出力画像を示し、Ｒ−１からＲ−６は、右目用動画符号化ストリームから復号された出力画像を示す。また、番号が若いほど、時間的に前の出力画像を示している。
また、画像名に下線が引かれているＬ−５は、画面内符号化された符号化画像から復号された出力画像を示し、それ以外の画像は、画面間符号化された符号化画像から復号された出力画像であることを示す。
また、矢印は、画面間符号化に際して矢印の先の画像を復号するために矢印の元の画像を参照していることを示す。たとえば、Ｒ−３を復号するためには、Ｒ−２とＬ−３とを参照していることを示している。
こうして作成された複数視点で符号化された動画符号化ストリームを、光ディスクやハードディスクから入力したり、無線経由で送信したり、ストリーミング配信を行ったりした場合、復号側に到達するまでの間に、ビットの反転、欠落、混入などのエラーが発生する可能性があり、これによって復号画像の画質が損なわれるという問題がある。
特許文献１は、このような問題を解決する多視点動画像復号装置を開示する。
この特許文献１に記載された復号装置は、被写体を複数の方向から撮影することによって得られた撮影方向毎の各動画符号化ストリームが記録された記録媒体から、動画符号化ストリームを読出して復号することにより、再生画像を得る装置である。
この多視点動画像復号装置は、被写体を複数の方向から撮影することによって得られた撮影方向毎の各画像データが記録された記録媒体より動画符号化ストリームを読出す記録媒体読出回路と、記録媒体読出回路により読出された動画符号化ストリームを、一旦蓄積した後に復号する復号回路とを含む。また、多視点動画像復号装置は、さらに、動画符号化ストリームにエラーが生じていないか否かを検出する復号エラー検出回路と、復号回路により得られた復号画像を撮影方向毎に記憶される復号画像バッファと、動画符号化ストリームにエラーが検出されたとき、出力画像として、他のチャンネルの復号画像を画像単位でエラー復号画像に代えて修復するエラー画像修復回路とを含む。
この特許文献１に開示された多視点動画像復号装置は、図１６に示すような構造である。つまり、図１６は、従来技術における多視点動画像復号装置１０００の構成を示すブロック図である。なお、以下の説明では、複数チャンネル符号化ストリームを左目用のＬチャンネル、右目用のＲチャンネルの２チャンネルの動画符号化ストリームと想定する。
同図に示すように、入力された複数チャンネルの動画符号化ストリームは、まず復号部１０１０で復号されて復号画像となる。ここまでの過程でエラーが発見されなかった場合、Ｌチャンネルの復号画像は、Ｌチャンネル用の復号画像バッファＬ１０４１、出力画像Ｌへと送られて、最終的なＬチャンネル出力画像となる。同様にして、Ｒチャンネル復号画像はＲチャンネル用の復号画像バッファＲ１０４２、出力画像Ｒへと順に送られ最終的なＲチャンネル出力画像となる。
これらの出力画像は、Ｌチャンネル出力画像をユーザの左目に、Ｒチャンネル出力画像をユーザの右目に表示できるよう工夫された多視点動画像用（立体動画像用）の表示装置に送られ、ユーザは立体感のある動画像として認識できるようになる。
ここで、エラー検出部１０２０でどちらかのチャンネル、例えＲチャンネルにエラーが検出され復号不可能と判断された場合、右目用の出力画像だけが欠落したり、エラーが混入したままの画像が表示されてしまったりする。
これを避けるために、エラー検出部１０２０は、出力画像決定部１０３０に対し、同じ表示時刻のＬチャンネル復号画像をＲチャンネル用のエラー画像修復部Ｒ１０６０へも転送するよう指示を出力する。出力画像決定部１０３０は、この指示を受けて、Ｌチャンネル復号画像を、復号画像バッファＬ１０４１からエラー画像修復部Ｒ１０６０を介して、出力画像Ｒとして出力させる。
これにより、右目用出力画像と左目用出力画像とが同一の画像となってしまうものの、画像が欠落したりエラーが混入したままの画像が表示されたりする事態を避けられる。
さらに、特許文献２では、エラーが検出されたチャンネルの過去の画像を複写することにより、エラーを修復することも開示されている。
なお、図１６に記載のバッファ１０４０（復号画像バッファＬ１０４１及び復号画像バッファＲ１０４２）から復号部１０１０への矢印は、動画符号化ストリームの画面間復号時に復号済み画像を参照することを示している。
特開２００３−３１９４１９号公報 特開平７−３２２３０２号公報
ITU-T（International Telecommunication Union Telecommunication Standardization Sector）勧告「H.264」、2009年3月発行
しかしながら、上記従来の多視点動画像復号装置では、多視点符号化され参照関係が存在する複数のチャンネルを含む動画符号化ストリームの復号時にエラーが発生した場合に、その出力画像を見る人に対して不快感を与えてしまう可能性があるという課題がある。
図１及び図２は、従来技術における多視点動画像復号装置の課題を説明する図である。
具体的には、図１は、上述した特許文献１に開示された装置を用いて、エラーを修復した場合の出力画像を示す。
上段及び下段の区別、Ｌ−１からＬ−６、Ｒ−１からＲ−６の復号画像、下線、及び実線矢印については、図１５と同じであるため、説明を省略する。
図１に示すように、複数チャンネルの動画符号化ストリームのうち、Ｒチャンネル動画符号化ストリームから復号されるＲ−２にエラーが検出された場合、図１６に示されたエラー画像修復部Ｒ１０６０によってＬ−２が複写され、Ｒチャンネル用の出力画像として出力される。
その後、画面内符号化されたＬ−５より前のＲチャンネルの復号画像であるＲ−３、Ｒ−４は使用されず、エラー画像修復部Ｒ１０６０の出力が使用されつづける。すなわち、Ｒ−２、Ｒ−３、Ｒ−４の代わりに、Ｌ−２、Ｌ−３、Ｌ−４がＲチャンネル用の出力画像として出力される。なお、点線で囲まれたＲ−２、Ｒ−３、Ｒ−４は、Ｒ−２にエラーがなければ、正しく復号され、出力されていた画像を示す。
このように、Ｒチャンネル側でエラーが検出された場合、他方のチャンネルを代わりに出力することで、一瞬、立体感が損なわれ、２次元表示となり、しばらく経過した後、再び、立体感のある３次元表示になってしまう。つまり、３次元、２次元、３次元表示と切り替わるため、その出力画像を見る人に対して不快感を与えてしまう可能性がある。
また、図２は、上述した特許文献２に開示された装置を用いてエラーを修復した場合の出力画像を示す。
同図に示すように、複数チャンネルの動画符号化ストリームのうち、Ｌチャンネル動画符号化ストリームから復号されるＬ−２にエラーが検出された場合、エラーを含んだＬ−２の復号画像は使用せず、同じチャンネルの過去のＬチャンネル出力画像であるＬ−１を左目用の画像として出力する。過去の画像と現在の画像とは似た画像であることも多いため、ある程度の画質で修復することが可能となる。
Ｌチャンネル側のＬ−３以降のＬチャンネル動画符号化ストリームにエラーが検出されなかった場合、Ｌ−３以降は通常どおりの復号が行われる。また、Ｌ−２の復号後画像を参照する可能性のあるＲチャンネル動画符号化ストリームも同様にＲ−２以降は通常どおりの復号が行われる。
しかし、符号化方法として、非特許文献１のＭＶＣの画面間符号化を使用していた場合、Ｌ−３は本来参照すべきＬ−２ではなくＬ−１を参照することとなってしまうため、それ自体の符号化データにはエラーがなかったにもかかわらず正しい出力画像が得られない。これをＬ−３’と呼ぶ。同様に、その正しくないＬ−３’を参照しているＬ−４も正しい出力画像とはならず、これをＬ−４’と呼ぶ。
また、Ｒチャンネル（Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ側）がＬチャンネル（Ｂａｓｅ Ｖｉｅｗ側）を参照することが可能であるＭＶＣの特徴をもった動画符号化ストリームを復号した場合、Ｒチャンネル側も同様にＲ−２は本来、参照すべきＬ−２ではなくＬ−１を参照することとなってしまうため、それ自体の符号化データにはエラーがなかったにもかかわらず正しい出力画像が得られない。これをＲ−２’と呼ぶ。
同様に、その正しくないＲ−２’を参照しているＲ−３も正しい出力画像とはならず、これをＲ−３’と呼ぶ。同様に、その正しくないＲ−３’を参照しているＲ−４も正しい出力画像とはならず、これをＲ−４’と呼ぶ。
これらの出力画像には、正しくない参照画像を参照したことによるノイズが混入する。なお、点線で囲まれたＬ−２、Ｌ−３、Ｌ−４、Ｒ−２、Ｒ−３、Ｒ−４は、Ｌ−２にエラーがなければ、正しく復号され、出力されていた画像を示す。
また、これらのノイズの連鎖は前の画像を参照せずに画面内符号化されているＬ−５の前まで続き、Ｌ−５まで到達して初めて再び正しい出力画像を得ることができる。
このように、もし、左目用の画像と右目用の画像がほとんど同一であれば、上述した特許文献１に開示された装置を用いても、問題なくエラーを修復することができる。
しかしながら、一般的な立体動画像では立体感を強調するために左右の画像に大きな差があることが多い。このため、エラーが発生した画像と逆の目用（視点）の画像を複写しただけでは、十分なエラー修復がなされたとは言いがたい。
また、上述した特許文献２に開示された、エラーが発生したチャンネルにおける過去の画像を複写してエラーを修復する方法では、過去の画像と現在の画像の間で変化が少ない場合には有効であるものの、過去の画像と現在の画像の間で変化が大きく、動きの大きな画像では満足な修復結果を得ることができない。
さらに、画面内符号化されたＬ−５が復号されるまでの間、Ｌチャンネルの出力画像に誤った参照画像を参照したことによるノイズが混入し続けるため、ユーザは単に立体感を感じ取れなくなるだけでなく、その出力画像を見る人に対して不快感を与えてしまう可能性がある。
また、ＭＶＣの特徴をもった動画符号化ストリームのように、Ｒチャンネル（Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ）がＬチャンネル（Ｂａｓｅ Ｖｉｅｗ）の復号後画像を参照するようなチャンネル間で参照関係をもつ場合に、上述の特許文献１では、他方のチャンネルを代わりに用いることができず、復号すらできないという課題がある。
以上のように、多視点符号化され参照関係が存在する複数のチャンネルを含む動画符号化ストリームの復号時にエラーが発生した場合に、その出力画像を見る人に対して不快感を与えてしまう可能性があるという課題がある。
そこで、本発明は、上述の課題を解決するためになされたものであって、多視点符号化され参照関係が存在する複数のチャンネルを含む動画符号化ストリームの復号時にエラーが発生した場合でも、画像の内容の認識に支障をきたすおそれが少なく、人の視覚に対する影響をできるだけ少なくすることが可能な多視点動画像復号装置、多視点動画像復号方法、プログラム及び集積回路を提供することを目的とする。
上記目的を達成するために、本発明にかかる多視点動画像復号装置は、複数の視点からの複数の動画像が符号化された複数の符号化動画像を復号する多視点動画像復号装置であって、前記複数の符号化動画像のうちの一の符号化動画像を、他の符号化動画像の復号画像を参照することなく復号して、複数の復号画像からなる一の復号動画像を生成するとともに、前記一の復号動画像に含まれる復号画像を参照して、前記他の符号化動画像を復号して他の復号動画像を生成する復号部と、前記一の復号動画像又は前記他の復号動画像に含まれる複数の復号画像の中から、エラーが含まれる復号画像であるエラー画像を検出するエラー検出部と、検出された前記エラー画像を、エラーを含まない第一復号画像に変更するとともに、前記エラー画像を含む復号動画像である第一復号動画像以外の復号動画像である第二復号動画像に含まれ、前記エラー画像に対応して表示される復号画像である対応エラー画像を、第二復号画像に変更する復号画像変更部とを備え、前記復号画像変更部は、前記エラー画像を、前記第二復号動画像を用いることなく、前記エラー画像より過去に復号された前記第一復号動画像に含まれる復号画像である過去画像を用いて生成される前記第一復号画像に変更し、前記対応エラー画像を、前記第一復号動画像を用いることなく、前記第二復号動画像に含まれ、前記過去画像に対応して表示される復号画像である対応過去画像を用いて生成される前記第二復号画像に変更する。
これによれば、複数の復号動画像に含まれる複数の復号画像の中からエラー画像を検出し、エラー画像と対応エラー画像とを、過去画像と対応過去画像とを用いて、エラーを含まない画像に変更する。このため、入力された複数の符号化動画像のうち、いずれの符号化動画像にエラーが含まれていても、エラーのない画像を出力することができる。
また、エラー画像のエラーを排除するために、エラー画像だけをエラーのない画像に変更した場合は、複数の復号動画像間でのバランスが崩れる。例えば、３Ｄ画像を表示する場合であれば、右目用の画像と左目用の画像とのバランスが崩れると、画像の内容の認識に支障をきたし、人の視覚に対して大きな影響を与える。このため、エラー画像だけではなく、エラー画像と対応エラー画像との双方を、過去画像と対応過去画像とを用いて変更することで、複数の復号動画像間でのバランスを崩さない。
これらにより、多視点符号化され参照関係が存在する複数のチャンネルを含む動画符号化ストリームの復号時にエラーが発生した場合でも、画像の内容の認識に支障をきたすおそれが少なく、人の視覚に対する影響をできるだけ少なくすることができる。
また、好ましくは、前記復号画像変更部は、前記エラー画像を、前記エラー画像の直前に表示されエラーを含まない画像である前記過去画像を用いて生成される前記第一復号画像に変更し、前記対応エラー画像を、前記過去画像に対応して表示される前記対応過去画像を用いて生成される前記第二復号画像に変更する。
これによれば、エラー画像の直前に表示されエラーを含まない画像である過去画像を用いて、エラー画像を変更し、過去画像に対応して表示される対応過去画像を用いて、対応エラー画像を変更する。このため、エラー画像及び対応エラー画像の直前の画像を用いて画像を変更するため、画像の内容の認識に支障をきたすおそれが少なく、人の視覚に対する影響をできるだけ少なくすることができる。
また、好ましくは、前記復号画像変更部は、前記過去画像を前記第一復号画像として、前記エラー画像を前記第一復号画像に変更し、前記対応過去画像を前記第二復号画像として、前記対応エラー画像を前記第二復号画像に変更する。
これによれば、エラー画像を過去画像に変更し、対応エラー画像を対応過去画像に変更する。このため、エラー画像と対応エラー画像との代わりに、過去画像と対応過去画像とが出力され表示されるため、画像の内容の認識に支障をきたすおそれが少なく、人の視覚に対する影響をできるだけ少なくすることができる。
また、好ましくは、前記復号画像変更部は、前記一の復号動画像の復号前の符号化動画像に含まれる画面内符号化画像が復号された復号画像の直前の復号画像を直前画像とし、前記第一復号動画像に含まれ、前記エラー画像から、前記直前画像又は前記直前画像に対応して表示される復号画像までに表示される複数の復号画像であるエラー復号画像を、前記過去画像を用いて変更し、前記第二復号動画像に含まれ、前記エラー復号画像に対応して表示される複数の復号画像である対応エラー復号画像を、前記対応過去画像を用いて変更する。
これによれば、エラー画像から、画面内符号化画像が復号された復号画像の直前の復号画像までに表示されるエラー復号画像を、過去画像を用いて変更し、対応エラー復号画像を、対応過去画像を用いて変更する。つまり、エラーが発生したあと、Ｂａｓｅ Ｖｉｅｗ側の動画符号化ストリームに画面内符号化画像が出現するまで、エラーが修復される。ここで、画面内符号化画像は、他の画像を参照して復号されないため、エラーが混入している可能性が低く、当該画面内符号化画像以降の画像にも、エラーが混入している可能性が低い。このため、画面内符号化画像が出現するまでエラーを修復することで、画像の内容の認識に支障をきたすおそれが少なく、人の視覚に対する影響をできるだけ少なくすることができる。
また、好ましくは、前記復号画像変更部は、画像シーケンスの先頭のピクチャであるＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ）ピクチャを前記画面内符号化画像とし、前記エラー復号画像を、前記過去画像を用いて変更し、前記対応エラー復号画像を、前記対応過去画像を用いて変更する。
これによれば、ＩＤＲピクチャを画面内符号化画像として、エラー復号画像と対応エラー復号画像とを変更する。つまり、エラーが発生したあと、Ｂａｓｅ Ｖｉｅｗ側の動画符号化ストリームにＩＤＲピクチャが出現するまで、エラーが修復される。ここで、ＩＤＲピクチャは、画像シーケンスの先頭のピクチャであり、復号するための情報が全てリセットされたピクチャである。このため、ＩＤＲピクチャは、画面内符号化画像の中でもエラーが混入している可能性が低く、当該ＩＤＲピクチャ以降の画像にも、エラーが混入している可能性が低い。したがって、ＩＤＲピクチャが出現するまでエラーを修復することで、画像の内容の認識に支障をきたすおそれが少なく、人の視覚に対する影響をできるだけ少なくすることができる。
また、好ましくは、前記復号画像変更部は、前記画面内符号化画像が復号された復号画像と当該復号画像に対応して表示される復号画像との双方にエラーが含まれない場合の前記画面内符号化画像が復号された復号画像の直前の復号画像を前記直前画像とし、前記エラー復号画像を、前記過去画像を用いて変更し、前記対応エラー復号画像を、前記対応過去画像を用いて変更する。
これによれば、画面内符号化画像が復号された復号画像と当該復号画像に対応して表示される復号画像との双方がエラーが含まれない画像になるまで、エラー復号画像と対応エラー復号画像とを変更する。このため、エラーが含まれる間はエラーを修復することで、画像の内容の認識に支障をきたすおそれが少なく、人の視覚に対する影響をできるだけ少なくすることができる。
また、好ましくは、前記復号画像変更部は、前記エラー復号画像に含まれる複数の復号画像が、前記過去画像を用いて生成される前記第一復号画像と同じ画像になるように、前記エラー復号画像を変更し、前記対応エラー復号画像に含まれる複数の復号画像が、前記対応過去画像を用いて生成される前記第二復号画像と同じ画像になるように、前記対応エラー復号画像を変更する。
これによれば、過去画像を用いて生成される画像と同じ画像になるように、エラー復号画像に含まれる複数の復号画像を変更し、対応過去画像を用いて生成される画像と同じ画像になるように、対応エラー復号画像に含まれる複数の復号画像を変更する。つまり、複数の復号画像を同じ画像に変更してエラーを修復することで、急に異なる画像が表示されるなどの違和感を排除することができる。このため、画像の内容の認識に支障をきたすおそれが少なく、人の視覚に対する影響をできるだけ少なくすることができる。
また、好ましくは、前記復号画像変更部は、前記エラー画像を、前記過去画像を用いて生成される前記第一復号画像に変更し、前記エラー画像と同じ時刻に表示される前記対応エラー画像を、前記過去画像と同じ時刻に表示される前記対応過去画像を用いて生成される前記第二復号画像に変更する。
これによれば、エラー画像と対応エラー画像とは、同じ時刻に表示される画像であり、同じ時刻に表示される過去画像と対応過去画像とを用いて変更される。このため、例えば、右目用の画像と左目用の画像とが同じ時刻に表示される３Ｄ画像において、画像の内容の認識に支障をきたすおそれが少なく、人の視覚に対する影響をできるだけ少なくすることができる。
また、好ましくは、前記復号部は、左目用の視点及び右目用の視点からの動画像が符号化された２つの符号化動画像のうちの、左目用の符号化動画像である前記一の符号化動画像を復号して前記一の復号動画像を生成するとともに、右目用の符号化動画像である前記他の符号化動画像を復号して前記他の復号動画像を生成し、前記エラー検出部は、前記一の復号動画像又は前記他の復号動画像に含まれる複数の復号画像の中から、前記エラー画像を検出し、前記復号画像変更部は、前記エラー画像を前記第一復号画像に変更するとともに、前記対応エラー画像を前記第二復号画像に変更する。
これによれば、左目用の画像及び右目用の画像のいずれかにエラーが含まれている場合に、当該エラーが修復される。このため、左目用の画像及び右目用の画像を有する３Ｄ画像において、画像の内容の認識に支障をきたすおそれが少なく、人の視覚に対する影響をできるだけ少なくすることができる。
なお、本発明は、このような多視点動画像復号装置として実現できるだけでなく、多視点動画像復号装置に含まれる特徴的な処理をステップとする多視点動画像復号装置の制御方法、又は多視点動画像復号方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
さらに、本発明は、このような多視点動画像復号装置の機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現したり、このような多視点動画像復号装置を備える三次元画像表示システムとして実現したりすることもできる。
以上のように、本発明にかかる多視点動画像復号装置によれば、多視点符号化され参照関係が存在する複数のチャンネルを含む動画符号化ストリームの復号時にエラーが発生した場合でも、画像の内容の認識に支障をきたすおそれが少なく、人の視覚に対する影響をできるだけ少なくすることができる。
従来技術における多視点動画像復号装置の課題を説明する図である。 従来技術における多視点動画像復号装置の課題を説明する図である。 本発明の実施の形態１における多視点動画像復号装置の構成を示すブロック図である。 本発明の実施の形態１における多視点動画像復号装置が行う復号処理を示すフローチャートである。 本発明の実施の形態１における多視点動画像復号装置が出力する出力画像を示す図である。 本発明の実施の形態１における多視点動画像復号装置が出力する出力画像を示す図である。 本発明の実施の形態１における多視点動画像復号装置が出力する出力画像を示す図である。 本発明の実施の形態２における多視点動画像復号装置の構成を示すブロック図である。 本発明の実施の形態２における復号部が３つの符号化動画像を復号する処理を説明する図である。 本発明の実施の形態２における多視点動画像復号装置が行う復号処理を示すフローチャートである。 本発明の実施の形態２における多視点動画像復号装置が出力する出力画像を示す図である。 本発明の実施の形態２における多視点動画像復号装置が出力する出力画像を示す図である。 本発明の実施の形態３における多視点動画像復号装置の構成を示すブロック図である。 従来技術におけるＭＶＣを説明する図である。 従来技術におけるＭＶＣを説明する図である。 従来技術におけるＭＶＣ規格で符号化された動画符号化ストリームを説明する図である。 従来技術における多視点動画像復号装置の構成を示すブロック図である。
以下、図面を参照しつつ、本発明に係る多視点動画像復号装置の実施の形態について説明する。
ここで、本発明の実施の形態に係る多視点動画像復号装置を説明するに先立ち、多視点動画像復号装置が復号処理の対象とする複数チャンネル動画符号化ストリームの構成方法を以下に説明する。
一般的に、複数チャンネル動画符号化ストリームは、被写体を複数の方向から撮影した複数チャンネルの動画像を、予め定められた方法により符号化および多重化することにより得られる。
以下の説明では、符号化方法として、ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ）勧告のＨ．２６４（２００９年３月発行）に準拠する方式として、Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＭＶＣ）に基づく、複数チャンネル動画符号化ストリームを入力すると想定する。なお、ストリームは、Ｈ．２６４に準拠するＮＡＬユニットから構成してもよいし、その他の動画符号化規格で規定されるある一定のストリーム単位、例えば、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）、シーケンスやＰｉｃｔｕｒｅなどで構成されてもよい。
また、今回、ＭＶＣに基づく符号化に際しては、基準となるチャンネル（Ｂａｓｅ Ｖｉｅｗ側チャンネル）を一つ設けておいて、当該基準となるチャンネルは通常の符号化を行う。また、基準となるチャンネルではない他のチャンネル（Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ側チャンネル）については、基準となるチャンネルと同様に通常の符号化を行ったり、同じ表示時刻の基準となるチャンネル側の復号後の画像も参照して符号化を行ったりすることが可能である。
（実施の形態１）
以下、本発明の実施の形態１における多視点動画像復号装置について説明する。
ここで、本実施の形態１では、多視点動画像復号装置に入力される動画符号化ストリームのチャンネル数については、左目用のＬチャンネル、右目用のＲチャンネルの２チャンネルからなる複数チャンネル動画符号化ストリームを想定する。
図３は、本発明の実施の形態１における多視点動画像復号装置１００の構成を示すブロック図である。
多視点動画像復号装置１００は、複数の視点からの複数の動画像が符号化された複数の符号化動画像を復号する装置である。具体的には、多視点動画像復号装置１００は、多視点符号化され参照関係が存在する複数の動画符号化ストリームを復号する装置である。同図に示すように、この多視点動画像復号装置１００は、復号部１１０、エラー検出部１２０、復号画像変更部１３０、及びバッファ１４０を備えている。
バッファ１４０は、復号画像を記憶しているメモリである。バッファ１４０は、復号画像バッファＬ１４１と復号画像バッファＲ１４２とを備えている。復号画像バッファＬ１４１は、左目用の復号画像であるＬ用画像を記憶している。また、復号画像バッファＲ１４２は、右目用の復号画像であるＲ用画像を記憶している。
復号部１１０は、複数の符号化動画像のうちの一の符号化動画像を、他の符号化動画像の復号画像を参照することなく復号して、複数の復号画像からなる一の復号動画像を生成するとともに、当該一の復号動画像に含まれる復号画像を参照して、当該他の符号化動画像を復号して他の復号動画像を生成する。
ここでは、復号部１１０は、左目用の視点及び右目用の視点からの動画像が符号化された２つの符号化動画像のうちの、左目用の符号化動画像である当該一の符号化動画像を復号して当該一の復号動画像を生成するとともに、右目用の符号化動画像である当該他の符号化動画像を復号して当該他の復号動画像を生成する。
具体的には、復号部１１０は、２チャンネルの動画符号化ストリームのうちのＢａｓｅ Ｖｉｅｗ側チャンネルのＬ用動画符号化ストリームを、Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ側チャンネルのＲ用動画符号化ストリームの復号画像を参照することなく復号して、複数の復号画像からなるＬ用画像を生成するとともに、Ｌ用画像に含まれる復号画像を参照して、Ｒ用動画符号化ストリームを復号してＲ用画像を生成する。
さらに具体的には、復号部１１０は、復号部１１０に入力された複数チャンネル動画符号化ストリームを復号して、復号画像を出力する。復号部１１０は、出力した復号画像をバッファ１４０に記憶させる。つまり、復号部１１０は、Ｌ用画像を復号画像バッファＬ１４１へ、Ｒ用画像を復号画像バッファＲ１４２へ、それぞれ分離格納する。
なお、復号部１１０は、ＰピクチャやＢピクチャのような画面間符号化を行い、復号時に復号済み画像を参照する必要がある場合、これらの復号画像バッファＬ１４１や復号画像バッファＲ１４２に格納されている復号画像を参照する。図３に示すように、復号画像バッファＬ１４１や復号画像バッファＲ１４２から復号部１１０への矢印は、この参照画像の取得を示す。
なお、復号画像バッファＬ１４１や復号画像バッファＲ１４２は、それぞれ１枚だけでなく、複数の復号済み画像を格納することが可能である。また、Ｈ．２６４では、１枚のピクチャ（ｐｉｃｔｕｒｅ）は、複数のスライス（ｓｌｉｃｅ）から構成されることが規定される。
また、バッファ１４０は、外付けのメモリで構成されても構わないし、内蔵のメモリで構成されても構わない。また、復号画像バッファＬ１４１や復号画像バッファＲ１４２は物理的に同じメモリ上にあっても構わないし、別々のメモリで構成されても構わない。
エラー検出部１２０は、一の復号動画像又は他の復号動画像に含まれる複数の復号画像の中から、エラーが含まれる復号画像であるエラー画像を検出する。つまり、エラー検出部１２０は、Ｌ用画像又はＲ用画像に含まれる複数の復号画像の中から、エラー画像を検出する。
具体的には、エラー検出部１２０は、復号部１１０の復号結果から、入力される動画符号化ストリームの中に含まれるエラーを検出することで、エラー画像を検出する。なお、エラー検出部１２０は、復号部１１０の復号結果からエラー画像を検出することに限られず、入力される動画符号化ストリームからエラーを検出することで、エラー画像を検出することにしてもよい。
ここで、エラーとは、動画符号化ストリームの中に含まれるビットの反転、欠落、混入などのエラーや、シンタックス（画像情報の順序や符号化データ列などの設定ルールを示す規則）のエラーなどである。つまり、エラーとは、動画符号化ストリームを光ディスクやハードディスクから入力したり、無線経由で送信したり、ストリーミング配信を行ったりした場合、当該動画符号化ストリームが復号部１１０に到達するまでの間に、ビットの反転、欠落、混入などが生じることにより、復号部１１０が正しく復号画像を出力できないことを示す。
復号画像変更部１３０は、エラー検出部１２０が検出したエラー画像を、エラーを含まない第一復号画像に変更するとともに、当該エラー画像を含む復号動画像である第一復号動画像以外の復号動画像である第二復号動画像に含まれ、当該エラー画像に対応して表示される復号画像である対応エラー画像を、第二復号画像に変更する。
具体的には、復号画像変更部１３０は、エラー画像を、第二復号動画像を用いることなく、エラー画像より過去に復号された第一復号動画像に含まれる復号画像である過去画像を用いて生成される第一復号画像に変更し、対応エラー画像を、第一復号動画像を用いることなく、第二復号動画像に含まれ、過去画像に対応して表示される復号画像である対応過去画像を用いて生成される第二復号画像に変更する。
ここで、過去画像は、エラー画像の直前に表示される画像であり、エラーを含まない画像である。また、エラー画像と対応エラー画像とは、同じ時刻に表示される画像であり、過去画像と対応過去画像とは、同じ時刻に表示される画像である。
さらに具体的には、復号画像変更部１３０は、過去画像を第一復号画像として、エラー画像を第一復号画像に変更し、対応過去画像を第二復号画像として、対応エラー画像を第二復号画像に変更する。
また、復号画像変更部１３０は、第一復号動画像に含まれ、エラー画像から、直前画像又は直前画像に対応して表示される復号画像までに表示される複数の復号画像であるエラー復号画像を、過去画像を用いて変更し、第二復号動画像に含まれ、エラー復号画像に対応して表示される複数の復号画像である対応エラー復号画像を、対応過去画像を用いて変更する。
ここで、直前画像とは、一の復号動画像の復号前の符号化動画像に含まれる画面内符号化画像が復号された復号画像の直前の復号画像である。具体的には、直前画像は、画面内符号化画像が復号された復号画像と当該復号画像に対応して表示される復号画像との双方にエラーが含まれない場合の、当該画面内符号化画像が復号された復号画像の直前の復号画像である。
そして、復号画像変更部１３０は、エラー復号画像に含まれる複数の復号画像が、過去画像を用いて生成される第一復号画像と同じ画像になるように、エラー復号画像を変更し、対応エラー復号画像に含まれる複数の復号画像が、対応過去画像を用いて生成される第二復号画像と同じ画像になるように、対応エラー復号画像を変更する。
以下に、この復号画像変更部１３０が行う処理について、さらに具体的に説明する。
復号画像変更部１３０は、エラー検出部１２０がエラー画像を検出していない場合には、復号画像バッファＬ１４１に格納されているＬ用画像および復号画像バッファＲ１４２に格納されているＲ用画像を、出力画像Ｌ及び出力画像Ｒとしてそれぞれ出力させる。なお、これらの出力画像Ｌ及び出力画像Ｒはそれぞれ、Ｌチャンネル用の出力画像、及びＲチャンネル用の出力画像である。
なお、出力画像は、復号直後に出力される場合もあれば、参照される復号後画像等は何枚か復号後に出力される場合もあり、この出力タイミングは、ＩＴＵ−Ｔ勧告のＨ．２６４やＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｃｏｒｄｉｎｇ Ｅｘｐｅｒｔ Ｇｒｏｕｐ；ＩＳＯ １１１７２（ＭＰＥＧ１）、ＩＳＯ １３８１８（ＭＰＥＧ２））等で規定されている。そして、動画符号化ストリーム中にこの出力タイミング等が記録されており、これらに従った出力順や出力タイミングで、出力画像が出力される。
なお、本実施の形態１では、出力画像を復号直後に出力することを記載しているが、この限りではない。また、出力画像Ｌ及び出力画像Ｒは、直接、外部の表示装置に出力されても構わないし、一旦、別のメモリに格納された後、画像フィルタなどの高画質化処理等を行った後に表示装置に出力されても構わない。
また、復号画像変更部１３０は、エラー検出部１２０がエラー画像を検出した場合には、エラー画像を修復するように、出力画像を出力させる。
具体的には、エラー検出部１２０が復号部１１０での復号時にＬチャンネルの動画符号化ストリームに何らかのエラーを検出した場合、復号部１１０から出力されるＬチャンネルの復号画像にはエラーが混入していることになる。または、この場合、復号部１１０は復号不可能と判断し、復号動作を停止してしまう可能性もある。
この場合、復号部１１０はエラー検出部１２０に対して、エラー検出したことを通知する。エラー通知を受けたエラー検出部１２０は、復号画像変更部１３０に対して、エラー画像を修復するような指令を出力する。
エラー画像を修復するような指令を受けた復号画像変更部１３０は、Ｌチャンネル用の出力画像Ｌとして、復号画像バッファＬ１４１に格納された過去に復号済みのＬ用画像を出力するように指示する。また、復号画像変更部１３０は、他方のＲチャンネル用の出力画像Ｒへも、復号画像バッファＲ１４２に格納された過去に復号済みのＲ用画像を出力するように指示する。
なお、これらの過去に復号済みのＬ用画像とＲ用画像とは、ストリーム中に記録された出力順で同じ表示時刻に相当する画像を示す。例えば、図１５に示された同じ数字の位置に相当するＬ用画像及びＲ用画像を示し、Ｌ用、Ｒ用の同じ表示順番に相当するものである。
また、この場合、出力画像Ｌは、特許請求の範囲に記載の「第一復号画像」に相当し、出力画像Ｒは、特許請求の範囲に記載の「第二復号画像」に相当する。また、過去に復号済みのＬ用画像は、特許請求の範囲に記載の「過去画像」に相当し、過去に復号済みのＲ用画像は、特許請求の範囲に記載の「対応過去画像」に相当する。
また、エラー検出部１２０が復号部１１０での復号時にＲチャンネルの動画符号化ストリームに何らかのエラーを検出した場合、復号部１１０から出力されるＲチャンネルの復号画像にはエラーが混入していることになる。または、この場合、復号部１１０は復号不可能と判断し、復号動作を停止してしまう可能性もある。
この場合、復号部１１０はエラー検出部１２０に対して、エラー検出したことを通知する。エラー通知を受けたエラー検出部１２０は、復号画像変更部１３０に対して、エラー画像を修復するような指令を出力する。
エラー画像を修復するような指令を受けた復号画像変更部１３０は、Ｒチャンネル用の出力画像Ｒとして、復号画像バッファＲ１４２に格納された過去に復号済みのＲ用画像を出力するように指示する。また、復号画像変更部１３０は、他方のＬチャンネル用の出力画像Ｌへも、復号画像バッファＬ１４１に格納された過去に復号済みのＬ用画像を出力するように指示する。
なお、これらの過去に復号済みのＬ用画像とＲ用画像とは、ストリーム中に記録された出力順で同じ表示時刻に相当する画像を示す。
また、この場合、出力画像Ｒは、特許請求の範囲に記載の「第一復号画像」に相当し、出力画像Ｌは、特許請求の範囲に記載の「第二復号画像」に相当する。また、過去に復号済みのＲ用画像は、特許請求の範囲に記載の「過去画像」に相当し、過去に復号済みのＬ用画像は、特許請求の範囲に記載の「対応過去画像」に相当する。
また、エラー検出部１２０が復号部１１０での復号時にＬチャンネルの動画符号化ストリームとＲチャンネルの動画符号化ストリームとに何らかのエラーを検出した場合も同様に、復号部１１０から出力されるＬチャンネルとＲチャンネルの復号画像にはエラーが混入していることになる。または、この場合、復号部１１０は復号不可能と判断し、復号動作を停止してしまう可能性もある。
この場合、復号部１１０はエラー検出部１２０に対して、エラー検出したことを通知する。エラー通知を受けたエラー検出部１２０は、復号画像変更部１３０に対して、エラー画像を修復するような指令を出力する。
エラー画像を修復するような指令を受けた復号画像変更部１３０は、Ｌチャンネル用の出力画像ＬとＲチャンネル用の出力画像Ｒとして、復号画像バッファＬ１４１に格納された過去に復号済みのＬ用画像と復号画像バッファＲ１４２に格納された過去に復号済みのＲ用画像のそれぞれを出力するように指示する。
なお、これらの過去に復号済みのＬ用画像とＲ用画像とは、ストリーム中に記録された出力順で同じ表示時刻に相当する画像を示す。
また、この場合、出力画像Ｌは、特許請求の範囲に記載の「第一復号画像」又は「第二復号画像」の一方に相当し、出力画像Ｒは、特許請求の範囲に記載の「第一復号画像」又は「第二復号画像」の他方に相当する。また、過去に復号済みのＬ用画像は、特許請求の範囲に記載の「過去画像」又は「対応過去画像」の一方に相当し、過去に復号済みのＲ用画像は、特許請求の範囲に記載の「過去画像」又は「対応過去画像」の他方に相当する。
次に、多視点動画像復号装置１００が行う復号処理の手順について、説明する。
図４は、本発明の実施の形態１における多視点動画像復号装置１００が行う復号処理を示すフローチャートである。
まず、復号部１１０に、複数の符号化動画像である複数チャンネル動画符号化ストリームが入力される（Ｓ１０２）。
そして、復号部１１０は、複数の符号化動画像を復号して、複数の復号動画像を生成する（Ｓ１０４）。
そして、エラー検出部１２０は、Ｌチャンネル側の復号動画像に含まれる複数の復号画像の中から、エラー画像の検出を判定する（Ｓ１０６）。
エラー検出部１２０は、Ｌチャンネル側の復号動画像からエラー画像を検出しなかった場合（Ｓ１０６でＮＯ）、Ｒチャンネル側の復号動画像に含まれる複数の復号画像の中から、エラー画像の検出を判定する（Ｓ１０８）。
エラー検出部１２０が、Ｌチャンネル側の復号動画像からエラー画像を検出した場合（Ｓ１０６でＹＥＳ）、又はＲチャンネル側の復号動画像からエラー画像を検出した場合（Ｓ１０８でＹＥＳ）、復号画像変更部１３０は、Ｌチャンネル側及びＲチャンネル側ともに、エラー画像及び対応エラー画像を過去画像及び対応過去画像に変更して出力する（Ｓ１１０）。
具体的には、復号画像変更部１３０は、エラー検出部１２０からのエラー検出情報に基づいて、Ｌチャンネル側またはＲチャンネル側のエラー検出を判定し、出力画像Ｌ、出力画像Ｒとして、Ｌチャンネル側、Ｒチャンネル側ともそれぞれ過去に復号済みの同じ表示時刻の画像を、復号画像バッファＬ１４１、復号画像バッファＲ１４２から出力するように指示する。
なお、Ｌチャンネル側とＲチャンネル側との両方でエラーを検出した場合も、同じ処理（Ｓ１１０）を行う。
そして、復号部１１０は、次のＬチャンネル側の動画符号化ストリームの画像が画面内符号化画像で構成される画像か否かを判定し、且つ、エラー検出部１２０からＬチャンネル側及びＲチャンネル側の動画符号化ストリームの画像にエラーが検出されず、正しく復号可能か否かを判定する（Ｓ１１２）。
復号部１１０が、Ｌチャンネル側が画面内符号化画像で構成され、且つ、Ｌチャンネル側及びＲチャンネル側にともにエラーが無いと判定した場合（Ｓ１１２でＹＥＳ）、Ｌチャンネル側及びＲチャンネル側とも、復号部１１０が所望の画像の復号完了後、復号画像変更部１３０は、復号画像バッファＬ１４１及び復号画像バッファＲ１４２から復号済み画像を出力する（Ｓ１１６）。
復号部１１０が、Ｌチャンネル側が画面内符号化画像で構成されていない、又は、Ｌチャンネル側又はＲチャンネル側にエラーが含まれていると判定した場合（Ｓ１１２でＮＯ）、Ｌチャンネル、Ｒチャンネル側ともに、次の画像を、過去画像及び対応過去画像に変更して出力する（Ｓ１１４）。
そして、Ｌチャンネル側が画面内符号化画像で構成され、且つ、Ｌチャンネル側及びＲチャンネル側にともにエラーが無い場合まで、Ｌチャンネル、Ｒチャンネル側ともに、次の画像を過去画像及び対応過去画像に変更して出力する処理（Ｓ１１４）を繰り返す。なお、上記動画符号化ストリーム入力の終了時点で処理が完了することも考えられるが、図示はしていない。
また、エラー検出部１２０がＲチャンネル側の復号動画像からエラー画像を検出しなかった場合（Ｓ１０８でＮＯ）、Ｌチャンネル、Ｒチャンネル側とも、復号部１１０が所望の画像の復号完了後、復号画像変更部１３０は、復号画像バッファＬ１４１、復号画像バッファＲ１４２から復号済み画像を出力する（Ｓ１１６）。
なお、画面内符号化画像は、Ｈ．２６４のＩＤＲピクチャ（瞬時復号更新ピクチャ、Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ Ｐｉｃｔｕｒｅ）であっても構わない。なお、ＩＤＲピクチャは、画像シーケンスの先頭のピクチャである。
つまり、ＩＤＲピクチャの場合、そのＩＤＲピクチャ以前の復号画像バッファＬ１４１及び復号画像バッファＲ１４２に存在する参照ピクチャを参照不可能にすることになり、Ｌチャンネル側及びＲチャンネル側がともにエラーが無い場合であれば、このＩＤＲピクチャ以降にエラーが混入する可能性が低くなる。このため、画面内符号化画像がＩＤＲピクチャの場合、それ以降の画像がＩＤＲピクチャより時間的に前に復号された画像を参照することがなく、エラーの混入を確実に低くできる。
以上により、本実施の形態１における多視点動画像復号装置１００が行う復号処理は、終了する。
次に、以上のような構造およびフローチャートに基づく、本実施の形態１にかかる多視点動画像復号装置１００の動作について説明する。
図５〜図７は、本実施の形態１における多視点動画像復号装置１００が出力する出力画像を示す図である。
これらの図に示すように、上段は左目用のＬチャンネルの出力画像（Ｌ用画像）を、下段は右目用のＲチャンネルの出力画像（Ｒ用画像）を表わす。具体的には、Ｌ−１からＬ−６はＬチャンネル側の動画符号化ストリームから復号された出力画像を表わし、Ｒ−１からＲ−６はＲチャンネル側の動画符号化ストリームから復号された出力画像を表わす。また、番号が若いほど時間的に前の出力画像を表わしている。
また、画像名に下線が引かれているＬ−５は、画面内符号化された符号化データから復号された出力画像を表わし、それ以外の画像は画面間符号化された符号化データから復号された出力画像であることを表わす。矢印は、画面間符号化に際して矢印の先の画像を復号するために矢印の元の画像を参照していることを示す。たとえば、Ｒ−１を復号するためにはＬ−１を参照していることを示す。
図５に示すように、Ｌチャンネル側の動画符号化ストリームから復号されたＬ−２にエラーが検出された場合、図４に示した処理（図４のＳ１０６〜Ｓ１１６）に従って、エラー画像の修復が行われる。
ここでは、エラー検出部１２０が、Ｌチャンネル側の復号エラーとしてエラー画像Ｌ−２を検出した場合（図４のＳ１０６でＹＥＳ）を想定する。すなわち、復号画像変更部１３０が、同図のＬ−２の代わりに過去に復号済みの画像Ｌ−１を出力することを、同図中の太い白抜きの矢印で示す。また、復号画像変更部１３０が、Ｒ−２の代わりに、過去に復号済みで、Ｌチャンネル側と同じ表示時刻に相当する画像Ｒ−１を出力することも示す。これは、エラー検出部１２０がエラー画像を検出した場合、復号画像変更部１３０がエラーの混入したエラー画像を出力することがないことを示す。
復号画像変更部１３０は、次のＬチャンネル側の動画符号化ストリームが画面内符号化画像で無い場合は、Ｌ−１、及びＲ−１の画像を出力し続け（図４のＳ１１２でＮＯ、Ｓ１１４）、Ｌチャンネル側の動画符号化ストリームが画面内符号化画像であり、且つ、Ｌチャンネル側及びＲチャンネル側にともにエラーが検出されなかった場合、Ｌチャンネル側、Ｒチャンネル側とも正常の画像を出力する（図４のＳ１１２でＹＥＳ、Ｓ１１６）。
なお、この場合、Ｌ用画像は、特許請求の範囲に記載の「一の復号動画像」及び「第１復号動画像」に相当する。また、Ｒ用画像は、特許請求の範囲に記載の「他の復号動画像」及び「第２復号動画像」に相当する。
また、Ｌ−２及びＲ−２は、それぞれ特許請求の範囲に記載の「エラー画像」及び「対応エラー画像」に相当する。また、Ｌ−１及びＲ−１は、それぞれ特許請求の範囲に記載の「過去画像」及び「対応過去画像」に相当する。
また、Ｌ−４は、特許請求の範囲に記載の「直前画像」に相当し、Ｌ−２からＬ−４までの複数の復号画像は、特許請求の範囲に記載の「エラー復号画像」に相当する。また、Ｒ−２からＲ−４までの複数の復号画像は、特許請求の範囲に記載の「対応エラー復号画像」に相当する。
なお、エラー復号画像に含まれる複数の復号画像は、Ｌ−２を参照して復号されるため、Ｌ−３及びＬ−４にもエラーが含まれることになるが、ここでは、エラー復号画像の先頭の画像であるＬ−２をエラー画像という。
このように、エラーの混入した画像が表示されないため、視聴する人に対して、画像の内容の認識に支障をきたすおそれが少なくなったり、エラーの伝播を抑えることが可能となる。
図６は、図５と同様に出力画像を示す。図６の説明は図５と同じため、それらの詳しい説明は省略する。図６では、Ｒチャンネル側の動画符号化ストリームから復号されたＲ−２にエラーが検出された場合、図４に示した処理（図４のＳ１０８〜Ｓ１１６）に従って、エラー画像の修復が行われる。
ここでは、エラー検出部１２０が、Ｒチャンネル側の復号エラーとしてエラー画像Ｒ−２を検出した場合（図４のＳ１０８でＹＥＳ）を想定する。すなわち、復号画像変更部１３０が、図６のＲ−２の代わりに過去に復号済みの画像Ｒ−１を出力することを、同図中の太い白抜きの矢印で示す。また、復号画像変更部１３０が、Ｌ−２の代わりに、過去に復号済みで、Ｒチャンネル側と同じ表示時刻の画像Ｌ−１を出力することも示す。これは、エラー検出部１２０がエラー画像を検出した場合、復号画像変更部１３０がエラーの混入したエラー画像を出力することがないことを示す。
復号画像変更部１３０は、次に継続して入力されるＬチャンネル側の動画符号化ストリームが画面内符号化画像で無い場合は、Ｌ−１、及びＲ−１の画像を出力し続け（図４のＳ１１２でＮＯ、Ｓ１１４）、Ｌチャンネル側の動画符号化ストリームが画面内符号化画像であり、且つ、Ｌチャンネル側とＲチャンネル側の符号化画像の復号時にエラーを検出しなかった場合、Ｌチャンネル側、Ｒチャンネル側とも正常の画像を出力する（図４のＳ１１２でＹＥＳ、Ｓ１１６）。
なお、この場合、Ｌ用画像は、特許請求の範囲に記載の「一の復号動画像」及び「第２復号動画像」に相当する。また、Ｒ用画像は、特許請求の範囲に記載の「他の復号動画像」及び「第１復号動画像」に相当する。
また、Ｒ−２及びＬ−２は、それぞれ特許請求の範囲に記載の「エラー画像」及び「対応エラー画像」に相当する。また、Ｒ−１及びＬ−１は、それぞれ特許請求の範囲に記載の「過去画像」及び「対応過去画像」に相当する。
また、Ｌ−４は、特許請求の範囲に記載の「直前画像」に相当し、Ｒ−２からＲ−４までの複数の復号画像は、特許請求の範囲に記載の「エラー復号画像」に相当する。また、Ｌ−２からＬ−４までの複数の復号画像は、特許請求の範囲に記載の「対応エラー復号画像」に相当する。
なお、エラー復号画像に含まれる複数の復号画像は、Ｒ−２を参照して復号されるため、Ｒ−３及びＲ−４にもエラーが含まれることになるが、ここでは、エラー復号画像の先頭の画像であるＲ−２をエラー画像という。
このように、エラーの混入した画像が表示されないため、視聴する人に対して、画像の内容の認識に支障をきたすおそれが少なくなったり、エラーの伝播を抑えることが可能となる。
また、上述した説明においては、Ｌチャンネル側にエラーが検出されたときにＲチャンネル側にはエラーが検出されていない場合やその逆を想定していたが、図７に示すように、実際にはＬチャンネル側とＲチャンネル側の双方にエラーが検出されていることもある。
ここでは、エラー検出部１２０が、Ｌチャンネル側及びＲチャンネル側の復号エラーを検出した場合を想定する。すなわち、復号画像変更部１３０が、図７のＬ−２及びＲ−２の代わりに過去に復号済みの画像Ｌ−１及びＲ−１を出力することを、同図中の太い白抜きの矢印で示す。これは、エラー検出部１２０がエラー画像を検出した場合、復号画像変更部１３０がエラーの混入したエラー画像を出力することがないことを示す。
復号画像変更部１３０は、次に継続して入力されるＬチャンネル側の動画符号化ストリームが画面内符号化画像で無い場合は、Ｌ−１及びＲ−１の画像を出力し続け、Ｌチャンネル側の動画符号化ストリームが画面内符号化画像であり、且つ、Ｌチャンネル側とＲチャンネル側の符号化画像の復号時にエラーを検出しなかった場合、Ｌチャンネル側、Ｒチャンネル側とも正常の画像を出力する。
なお、この場合、Ｌ−２がエラー画像であるとすれば、図５に示された場合と同様であり、Ｒ−２がエラー画像であるとすれば、図６に示された場合と同様である。
つまり、Ｌ−２及びＲ−２が、それぞれ特許請求の範囲に記載の「エラー画像」及び「対応エラー画像」に相当するとすれば、Ｌ−１及びＲ−１は、それぞれ特許請求の範囲に記載の「過去画像」及び「対応過去画像」に相当する。そして、Ｌ−４は、特許請求の範囲に記載の「直前画像」に相当し、Ｌ−２からＬ−４までの複数の復号画像は、特許請求の範囲に記載の「エラー復号画像」に相当する。また、Ｒ−２からＲ−４までの複数の復号画像は、特許請求の範囲に記載の「対応エラー復号画像」に相当する。また、Ｌ用画像は、特許請求の範囲に記載の「一の復号動画像」及び「第１復号動画像」に相当する。また、Ｒ用画像は、特許請求の範囲に記載の「他の復号動画像」及び「第２復号動画像」に相当する。
また、Ｒ−２及びＬ−２が、それぞれ特許請求の範囲に記載の「エラー画像」及び「対応エラー画像」に相当するとすれば、Ｒ−１及びＬ−１は、それぞれ特許請求の範囲に記載の「過去画像」及び「対応過去画像」に相当する。そして、Ｌ−４は、特許請求の範囲に記載の「直前画像」に相当し、Ｒ−２からＲ−４までの複数の復号画像は、特許請求の範囲に記載の「エラー復号画像」に相当する。また、Ｌ−２からＬ−４までの複数の復号画像は、特許請求の範囲に記載の「対応エラー復号画像」に相当する。また、Ｌ用画像は、特許請求の範囲に記載の「一の復号動画像」及び「第２復号動画像」に相当する。また、Ｒ用画像は、特許請求の範囲に記載の「他の復号動画像」及び「第１復号動画像」に相当する。
このように、この場合においても図５や図６で示された場合と同様の出力を行うことで、エラーの波及を阻止したり、エラーの混入した画像が表示されないため、視聴する人に対して、画像の内容の認識に支障をきたすおそれが少なくなったり、エラーの伝播を抑えることが可能となる。
（実施の形態２）
上記実施の形態１では、入力される動画符号化ストリームのＤｅｐｅｎｄｅｎｔ Ｖｉｅｗ側のチャンネル数は、１チャンネルであることとした。しかし、本実施の形態２では、入力される動画符号化ストリームのＤｅｐｅｎｄｅｎｔ Ｖｉｅｗ側のチャンネル数は、２チャンネルであることとする。
図８は、本発明の実施の形態２における多視点動画像復号装置１００の構成を示すブロック図である。
同図に示すように、本実施の形態２における多視点動画像復号装置１００は、実施の形態１における多視点動画像復号装置１００と同様に、復号部１１０、エラー検出部１２０、復号画像変更部１３０、及びバッファ１４０を備えている。ここで、多視点動画像復号装置１００には、３つの符号化動画像である３チャンネルの動画符号化ストリームが入力される。
バッファ１４０は、復号画像を記憶しているメモリであり、復号画像バッファＬ１４１と復号画像バッファＲ1１４２と復号画像バッファＲ2１４３とを備えている。そして、復号画像バッファＬ１４１は、Ｂａｓｅ Ｖｉｅｗ側チャンネルの復号画像であるＬ用画像を記憶している。また、復号画像バッファＲ1１４２及び復号画像バッファＲ2１４３は、２つのＤｅｐｅｎｄｅｎｔ Ｖｉｅｗ側チャンネルの復号画像であるＲ１用画像及びＲ２用画像を、それぞれ記憶している。
復号部１１０は、３つの符号化動画像のうちの１つの符号化動画像を、他の２つの符号化動画像の復号画像を参照することなく復号して、１つの復号動画像を生成するとともに、当該１つの復号動画像に含まれる復号画像を参照して、当該他の２つの符号化動画像を復号して他の２つの復号動画像を生成する。
図９は、本実施の形態２における復号部１１０が３つの符号化動画像を復号する処理を説明する図である。なお、同図に示す矢印などの記載方法は、図１４で説明した記載方法と同様のため、詳細な説明は省略する。
同図に示すように、復号部１１０は、Ｂａｓｅ Ｖｉｅｗ側チャンネルのＬ用動画符号化ストリームを、２つのＤｅｐｅｎｄｅｎｔ Ｖｉｅｗ側チャンネルのＲ１用動画符号化ストリーム及びＲ２用動画符号化ストリームの復号画像であるＲ１用画像及びＲ２用画像を参照することなく復号して、複数の復号画像からなるＬ用画像を生成する。
また、復号部１１０は、Ｒ１用動画符号化ストリーム及びＲ２用動画符号化ストリームを復号して、Ｒ１用画像及びＲ２用画像を生成する。ここで、復号部１１０は、Ｌ用画像に含まれる復号画像を参照して、Ｒ１用画像を生成する。また、復号部１１０は、Ｌ用画像又はＲ１用画像に含まれる復号画像を参照して、Ｒ２用画像を生成する。
なお、Ｌ用画像、Ｒ１用画像及びＲ２用画像の間での復号画像の参照については、同じ表示時刻に相当する復号画像が参照される。
図８に戻り、エラー検出部１２０は、Ｌ用画像、Ｒ１用画像又はＲ２用画像に含まれる複数の復号画像の中から、エラー画像を検出する。
復号画像変更部１３０は、エラー検出部１２０が検出したエラー画像を、過去画像を用いて生成される第一復号画像に変更し、対応エラー画像を、対応過去画像を用いて生成される第二復号画像に変更する。
また、復号画像変更部１３０は、エラー画像から、直前画像又は直前画像に対応して表示される復号画像までに表示されるエラー復号画像を、過去画像を用いて変更し、対応エラー復号画像を、対応過去画像を用いて変更する。
具体的には、例えば、エラー検出部１２０がＬ用画像からエラー画像を検出した場合、復号画像変更部１３０は、Ｌチャンネル用の出力画像Ｌとして、復号画像バッファＬ１４１に格納された過去に復号済みのＬ用画像を出力するように指示する。また、復号画像変更部１３０は、他方のＲ１チャンネル用の出力画像Ｒ１及びＲ２チャンネル用の出力画像Ｒ２へも、復号画像バッファＲ1１４２及び復号画像バッファＲ2１４３に格納された過去に復号済みのＲ１用画像及びＲ２用画像を出力するように指示する。
なお、これらの過去に復号済みのＬ用画像、Ｒ１用画像及びＲ２用画像は、ストリーム中に記録された出力順で同じ表示時刻に相当する画像を示す。
また、この場合、出力画像Ｌは、特許請求の範囲に記載の「第一復号画像」に相当し、出力画像Ｒ１及び出力画像Ｒ２は、特許請求の範囲に記載の「第二復号画像」に相当する。また、過去に復号済みのＬ用画像は、特許請求の範囲に記載の「過去画像」に相当し、過去に復号済みのＲ１用画像及びＲ２用画像は、特許請求の範囲に記載の「対応過去画像」に相当する。
次に、本実施の形態２における多視点動画像復号装置１００が行う復号処理の手順について、説明する。
図１０は、本実施の形態２における多視点動画像復号装置１００が行う復号処理を示すフローチャートである。
まず、復号部１１０に、複数の符号化動画像である３チャンネルの動画符号化ストリームが入力される（Ｓ２０２）。
そして、復号部１１０は、複数の符号化動画像を復号して、複数の復号動画像を生成する（Ｓ２０４）。
そして、エラー検出部１２０は、Ｌチャンネル側の復号動画像に含まれる複数の復号画像の中から、エラー画像の検出を判定する（Ｓ２０６）。
エラー検出部１２０は、Ｌチャンネル側の復号動画像からエラー画像を検出しなかった場合（Ｓ２０６でＮＯ）、Ｒ１チャンネル側の復号動画像に含まれる複数の復号画像の中から、エラー画像の検出を判定する（Ｓ２０８）。
エラー検出部１２０は、Ｒ１チャンネル側の復号動画像からエラー画像を検出しなかった場合（Ｓ２０８でＮＯ）、Ｒ２チャンネル側の復号動画像に含まれる複数の復号画像の中から、エラー画像の検出を判定する（Ｓ２０９）。
エラー検出部１２０が、Ｌチャンネル側の復号動画像からエラー画像を検出した場合（Ｓ２０６でＹＥＳ）、又はＲ１チャンネル側の復号動画像からエラー画像を検出した場合（Ｓ２０８でＹＥＳ）、又はＲ２チャンネル側の復号動画像からエラー画像を検出した場合（Ｓ２０９でＹＥＳ）、復号画像変更部１３０は、Ｌチャンネル側、Ｒ１チャンネル側及びＲ２チャンネル側ともに、エラー画像及び対応エラー画像を過去画像及び対応過去画像に変更して出力する（Ｓ２１０）。
具体的には、復号画像変更部１３０は、出力画像Ｌ、出力画像Ｒ１及び出力画像Ｒ２として、Ｌチャンネル側、Ｒ１チャンネル側及びＲ２チャンネル側ともそれぞれ過去に復号済みの同じ表示時刻の画像を、復号画像バッファＬ１４１、復号画像バッファＲ1１４２及び復号画像バッファＲ2１４３から出力するように指示する。
なお、Ｌチャンネル側、Ｒ１チャンネル側及びＲ２チャンネル側のうち、２つ以上のチャンネルでエラーを検出した場合も、同じ処理（Ｓ２１０）を行う。
そして、復号部１１０は、次のＬチャンネル側の動画符号化ストリームの画像が画面内符号化画像で構成される画像か否かを判定し、且つ、エラー検出部１２０からＬチャンネル側、Ｒ１チャンネル側及びＲ２チャンネル側の動画符号化ストリームの画像にエラーが検出されず、正しく復号可能か否かを判定する（Ｓ２１２）。
復号部１１０が、Ｌチャンネル側が画面内符号化画像で構成され、且つ、Ｌチャンネル側、Ｒ１チャンネル側及びＲ２チャンネル側にともにエラーが無いと判定した場合（Ｓ２１２でＹＥＳ）、Ｌチャンネル側、Ｒ１チャンネル側及びＲ２チャンネル側とも、復号部１１０が所望の画像の復号完了後、復号画像変更部１３０は、復号画像バッファＬ１４１、復号画像バッファＲ1１４２及び復号画像バッファＲ2１４３から復号済み画像を出力する（Ｓ２１６）。
復号部１１０が、Ｌチャンネル側が画面内符号化画像で構成されていない、又は、Ｌチャンネル側、Ｒ１チャンネル側又はＲ２チャンネル側にエラーが含まれていると判定した場合（Ｓ２１２でＮＯ）、Ｌチャンネル側、Ｒ１チャンネル側、Ｒ２チャンネル側ともに、次の画像を、過去画像及び対応過去画像に変更して出力する（Ｓ２１４）。
そして、Ｌチャンネル側が画面内符号化画像で構成され、且つ、Ｌチャンネル側、Ｒ１チャンネル側及びＲ２チャンネル側にともにエラーが無い場合まで、Ｌチャンネル側、Ｒ１チャンネル側、Ｒ２チャンネル側ともに、次の画像を過去画像及び対応過去画像に変更して出力する処理（Ｓ２１４）を繰り返す。なお、上記動画符号化ストリーム入力の終了時点で処理が完了することも考えられるが、図示はしていない。
また、エラー検出部１２０がＲ２チャンネル側の復号動画像からエラー画像を検出しなかった場合（Ｓ２０９でＮＯ）、Ｌチャンネル側、Ｒ１チャンネル側及びＲ２チャンネル側とも、復号部１１０が所望の画像の復号完了後、復号画像変更部１３０は、復号画像バッファＬ１４１、復号画像バッファＲ1１４２及び復号画像バッファＲ2１４３から復号済み画像を出力する（Ｓ２１６）。
なお、画面内符号化画像は、ＩＤＲピクチャであっても構わない。
以上により、本実施の形態２における多視点動画像復号装置１００が行う復号処理は、終了する。
次に、本実施の形態２における多視点動画像復号装置１００の動作について説明する。
図１１及び図１２は、本実施の形態２における多視点動画像復号装置１００が出力する出力画像を示す図である。
これらの図に示すように、上段はＬチャンネルの出力画像（Ｌ用画像）、中段はＲ１チャンネルの出力画像（Ｒ１用画像）、下段はＲ２チャンネルの出力画像（Ｒ２用画像）を表わす。詳細については、図５〜図７での説明と同様であるため、省略する。
図１１に示すように、Ｌチャンネル側の動画符号化ストリームから復号されたＬ−２にエラーが検出された場合、図１０に示した処理（図１０のＳ２０６〜Ｓ２１６）に従って、エラー画像の修復が行われる。
ここでは、エラー検出部１２０が、Ｌチャンネル側の復号エラーとしてエラー画像Ｌ−２を検出した場合（図１０のＳ２０６でＹＥＳ）を想定する。すなわち、復号画像変更部１３０が、同図のＬ−２の代わりに過去に復号済みの画像Ｌ−１を出力することを、同図中の太い白抜きの矢印で示す。また、復号画像変更部１３０が、Ｒ１−２及びＲ２−２の代わりに、過去に復号済みで、Ｌチャンネル側と同じ表示時刻に相当する画像Ｒ１−１及びＲ２−１を出力することも示す。これは、エラー検出部１２０がエラー画像を検出した場合、復号画像変更部１３０がエラーの混入したエラー画像を出力することがないことを示す。
復号画像変更部１３０は、次のＬチャンネル側の動画符号化ストリームが画面内符号化画像で無い場合は、Ｌ−１、Ｒ１−１及びＲ２−１の画像を出力し続け（図１０のＳ２１２でＮＯ、Ｓ２１４）、Ｌチャンネル側の動画符号化ストリームが画面内符号化画像であり、且つ、Ｌチャンネル側、Ｒ１チャンネル側及びＲ２チャンネル側にともにエラーが検出されなかった場合、Ｌチャンネル側、Ｒ１チャンネル側及びＲ２チャンネル側とも正常の画像を出力する（図１０のＳ２１２でＹＥＳ、Ｓ２１６）。
なお、この場合、Ｌ用画像は、特許請求の範囲に記載の「一の復号動画像」及び「第１復号動画像」に相当する。また、Ｒ１用画像及びＲ２用画像は、特許請求の範囲に記載の「他の復号動画像」及び「第２復号動画像」に相当する。
また、Ｌ−２は、特許請求の範囲に記載の「エラー画像」に相当し、Ｒ１−２及びＲ２−２は、特許請求の範囲に記載の「対応エラー画像」に相当する。また、Ｌ−１は、特許請求の範囲に記載の「過去画像」に相当し、Ｒ１−１及びＲ２−１は、特許請求の範囲に記載の「対応過去画像」に相当する。
また、Ｌ−４は、特許請求の範囲に記載の「直前画像」に相当し、Ｌ−２からＬ−４までの複数の復号画像は、特許請求の範囲に記載の「エラー復号画像」に相当する。また、Ｒ１−２からＲ１−４までの複数の復号画像、及びＲ２−２からＲ２−４までの複数の復号画像は、特許請求の範囲に記載の「対応エラー復号画像」に相当する。
このように、エラーの混入した画像が表示されないため、視聴する人に対して、画像の内容の認識に支障をきたすおそれが少なくなったり、エラーの伝播を抑えることが可能となる。
また、図１２に示すように、Ｒ２チャンネル側の動画符号化ストリームから復号されたＲ２−２にエラーが検出された場合、図１０に示した処理（図１０のＳ２０９〜Ｓ２１６）に従って、エラー画像の修復が行われる。
ここでは、エラー検出部１２０が、Ｒ２チャンネル側の復号エラーとしてエラー画像Ｒ２−２を検出した場合（図１０のＳ２０９でＹＥＳ）を想定する。すなわち、復号画像変更部１３０が、同図のＲ２−２の代わりに過去に復号済みの画像Ｒ２−１を出力することを、同図中の太い白抜きの矢印で示す。また、復号画像変更部１３０が、Ｌ−２及びＲ１−２の代わりに、過去に復号済みで、Ｒ２チャンネル側と同じ表示時刻に相当する画像Ｌ−１及びＲ１−１を出力することも示す。これは、エラー検出部１２０がエラー画像を検出した場合、復号画像変更部１３０がエラーの混入したエラー画像を出力することがないことを示す。
復号画像変更部１３０は、次のＬチャンネル側の動画符号化ストリームが画面内符号化画像で無い場合は、Ｌ−１、Ｒ１−１及びＲ２−１の画像を出力し続け（図１０のＳ２１２でＮＯ、Ｓ２１４）、Ｌチャンネル側の動画符号化ストリームが画面内符号化画像であり、且つ、Ｌチャンネル側、Ｒ１チャンネル側及びＲ２チャンネル側にともにエラーが検出されなかった場合、Ｌチャンネル側、Ｒ１チャンネル側及びＲ２チャンネル側とも正常の画像を出力する（図１０のＳ２１２でＹＥＳ、Ｓ２１６）。
なお、この場合、Ｌ用画像は、特許請求の範囲に記載の「一の復号動画像」及び「第２復号動画像」に相当する。また、Ｒ１用画像は、特許請求の範囲に記載の「他の復号動画像」及び「第２復号動画像」に相当する。また、Ｒ２用画像は、特許請求の範囲に記載の「他の復号動画像」及び「第１復号動画像」に相当する。
また、Ｒ２−２は、特許請求の範囲に記載の「エラー画像」に相当し、Ｌ−２及びＲ１−２は、特許請求の範囲に記載の「対応エラー画像」に相当する。また、Ｒ２−１は、特許請求の範囲に記載の「過去画像」に相当し、Ｌ−１及びＲ１−１は、特許請求の範囲に記載の「対応過去画像」に相当する。
また、Ｌ−４は、特許請求の範囲に記載の「直前画像」に相当し、Ｒ２−２からＲ２−４までの複数の復号画像は、特許請求の範囲に記載の「エラー復号画像」に相当する。また、Ｌ−２からＬ−４までの複数の復号画像、及びＲ１−２からＲ１−４までの複数の復号画像は、特許請求の範囲に記載の「対応エラー復号画像」に相当する。
また、Ｒ１チャンネル側の動画符号化ストリームから復号されたＲ１−２にエラーが検出された場合も、同様の処理を行うことで、エラーを修復することができる。
このように、エラーの混入した画像が表示されないため、視聴する人に対して、画像の内容の認識に支障をきたすおそれが少なくなったり、エラーの伝播を抑えることが可能となる。
（実施の形態３）
本実施の形態３では、上記実施の形態１及び２における多視点動画像復号装置１００を備える多視点動画像復号装置２００について、説明する。
図１３は、本実施の形態３における多視点動画像復号装置２００の構成を示すブロック図である。同図は、実施の形態１を示す図３をもとに、ＤＶＤレコーダ（デジタルビデオレコーダ）やブルーレイディスクレコーダ（Ｂｌｕ−ｒａｙ Ｄｉｓｋ Ｒｅｃｏｒｄｅｒ、ＢＤレコーダ）などに応用可能な構成を示す。
多視点動画像復号装置２００は、図３で示した多視点動画像復号装置１００以外に、蓄積装置１５１、蓄積装置制御部１５０、全体制御部１６０、ユーザーインターフェース１６１、音声復号部１７０、表示部１８０及びスピーカ１９０を備えている。
蓄積装置制御部１５０は、全体制御部１６０からの指示に基づき、蓄積装置１５１に蓄積された符号化動画像である多視点動画符号化ストリームを読み出し、復号部１１０へ送り込む。
復号部１１０は送り込まれた多視点動画符号化ストリームを復号し、バッファ１４０へ格納する。なお、エラー検出部１２０は、図３と同様に上記の多視点動画符号化ストリームにエラーが無いかを検出し、そのエラー情報を復号画像変更部１３０へ送付する。そのエラー情報を受け取った復号画像変更部１３０はバッファ１４０から出力画像を選択し、表示部１８０へ出力する。
なお、多視点動画符号化ストリームがＬチャンネル、Ｒチャンネルの動画符号化ストリームからなる場合、３Ｄ表示することが可能である。また、エラー検出部１２０でエラーを検出した場合も実施の形態１と同様の処理を施すことが可能である。
また、蓄積装置制御部１５０は、全体制御部１６０からの指示に基づき、蓄積装置１５１に蓄積された音声符号化データを読み出し、音声復号部１７０へ送る。当該音声符号化データは、音声復号部１７０で復号処理された後、スピーカ１９０へ出力される。
なお、ユーザーインターフェース１６１を介し、全体制御部１６０から多視点動画像復号装置１００および音声復号部１７０を制御することが可能である。
以上のように、本発明の実施の形態１〜３に係る多視点動画像復号装置１００によれば、複数の復号動画像に含まれる複数の復号画像の中からエラー画像を検出し、エラー画像と対応エラー画像とを、過去画像と対応過去画像とを用いて、エラーを含まない画像に変更する。このため、入力された複数の符号化動画像のうち、いずれの符号化動画像にエラーが含まれていても、エラーのない画像を出力することができる。
また、エラー画像のエラーを排除するために、エラー画像だけをエラーのない画像に変更した場合は、複数の復号動画像間でのバランスが崩れる。例えば、３Ｄ画像を表示する場合であれば、右目用の画像と左目用の画像とのバランスが崩れると、画像の内容の認識に支障をきたし、人の視覚に対して大きな影響を与える。このため、エラー画像だけではなく、エラー画像と対応エラー画像との双方を、過去画像と対応過去画像とを用いて変更することで、複数の復号動画像間でのバランスを崩さない。
また、エラー画像を過去画像に変更し、対応エラー画像を対応過去画像に変更する。このため、エラー画像と対応エラー画像との代わりに、過去画像と対応過去画像とが出力され表示されるため、画像の内容の認識に支障をきたすおそれが少なく、人の視覚に対する影響をできるだけ少なくすることができる。
また、エラー画像から、画面内符号化画像が復号された復号画像の直前の復号画像までに表示されるエラー復号画像を、過去画像を用いて変更し、対応エラー復号画像を、対応過去画像を用いて変更する。つまり、エラーが発生したあと、Ｂａｓｅ Ｖｉｅｗ側の動画符号化ストリームに画面内符号化画像が出現するまで、エラーが修復される。ここで、画面内符号化画像は、他の画像を参照して復号されないため、エラーが混入している可能性が低く、当該画面内符号化画像以降の画像にも、エラーが混入している可能性が低い。
また、ＩＤＲピクチャを画面内符号化画像として、エラー復号画像と対応エラー復号画像とを変更してもよい。つまり、エラーが発生したあと、Ｂａｓｅ Ｖｉｅｗ側の動画符号化ストリームにＩＤＲピクチャが出現するまで、エラーが修復される。ここで、ＩＤＲピクチャは、画像シーケンスの先頭のピクチャであり、復号するための情報が全てリセットされたピクチャである。このため、ＩＤＲピクチャは、画面内符号化画像の中でもエラーが混入している可能性が低く、当該ＩＤＲピクチャ以降の画像にも、エラーが混入している可能性が低い。
また、画面内符号化画像が復号された復号画像と当該復号画像に対応して表示される復号画像との双方がエラーが含まれない画像になるまで、エラー復号画像と対応エラー復号画像とを変更する。このため、エラーが含まれる間はエラーを修復することで、画像の内容の認識に支障をきたすおそれが少なく、人の視覚に対する影響をできるだけ少なくすることができる。
また、過去画像を用いて生成される画像と同じ画像になるように、エラー復号画像に含まれる複数の復号画像を変更し、対応過去画像を用いて生成される画像と同じ画像になるように、対応エラー復号画像に含まれる複数の復号画像を変更する。つまり、複数の復号画像を同じ画像に変更してエラーを修復することで、急に異なる画像が表示されるなどの違和感を排除することができる。
また、エラー画像と対応エラー画像とは、同じ時刻に表示される画像であり、同じ時刻に表示される過去画像と対応過去画像とを用いて変更される。このため、例えば、右目用の画像と左目用の画像とが同じ時刻に表示される３Ｄ画像において、画像の内容の認識に支障をきたすおそれが少なく、人の視覚に対する影響をできるだけ少なくすることができる。
これらにより、多視点符号化され参照関係が存在する複数のチャンネルを含む動画符号化ストリームの復号時にエラーが発生した場合でも、画像の内容の認識に支障をきたすおそれが少なく、人の視覚に対する影響をできるだけ少なくすることができる。
以上、本発明の実施の形態に係る多視点動画像復号装置１００について説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
例えば、上記実施の形態では、入力される動画符号化ストリームのＤｅｐｅｎｄｅｎｔ Ｖｉｅｗ側のチャンネル数は、１チャンネル又は２チャンネルであることとした。しかし、動画符号化ストリームのＤｅｐｅｎｄｅｎｔ Ｖｉｅｗ側のチャンネル数は、１チャンネル又は２チャンネルであることに限定されず、３チャンネル以上であってもよい。
また、上記実施の形態では、左目用のＬ用画像と右目用のＲ用画像とのように、所定の復号画像と当該復号画像に対応して表示される復号画像とは、同時刻に出力され表示されることとした。しかし、当該複数の対応して表示される復号画像は、同時刻に表示されることに限定されず、交互に表示されることにしてもよい。例えば、Ｌ用画像とＲ用画像とが交互に表示されることにしても、ユーザは３Ｄ映像を見ることができる。
また、上記実施の形態では、多視点動画像復号装置１００は、１つの復号部１１０を備えていることとした。しかし、多視点動画像復号装置１００は、複数の復号部１１０を備えていることにしてもよい。
また、上記実施の形態では、過去画像は、エラー画像の直前に表示されエラーを含まない画像であることとした。しかし、過去画像は、エラー画像の直前に表示される画像には限定されず、例えば、エラー画像の２つ前に表示される画像であってもよい。
また、上記実施の形態では、復号画像変更部１３０は、エラー画像を過去画像と同じ画像に変更し、対応エラー画像を対応過去画像と同じ画像に変更することとした。しかし、復号画像変更部１３０は、エラー画像を、過去画像と全く同じ画像で無く、過去画像から変形した画像に変更し、対応エラー画像を、対応過去画像と全く同じ画像で無く、対応過去画像から変形した画像に変更することにしてもよい。
また、上記実施の形態では、復号画像変更部１３０は、画面内符号化画像が復号された復号画像の直前の直前画像まで、復号画像を変更することとした。しかし、復号画像変更部１３０は、直前画像まででなくとも、例えば、予め定められた数だけ復号画像を変更することにしてもよい。
また、上記実施の形態では、復号画像変更部１３０は、復号画像にエラーが含まれないようになるまで、復号画像を変更することとした。しかし、復号画像変更部１３０は、復号画像にエラーが含まれるか否かは判定せずに、直前画像まで、又は予め定められた数だけ復号画像を変更することにしてもよい。
また、上記実施の形態では、復号画像変更部１３０は、エラー復号画像に含まれる複数の復号画像が、過去画像と同じ画像になるように、エラー復号画像を変更し、対応エラー復号画像に含まれる複数の復号画像が、対応過去画像と同じ画像になるように、対応エラー復号画像を変更することとした。しかし、復号画像変更部１３０は、エラー復号画像に含まれる複数の復号画像を、過去画像と全く同じ画像で無く、過去画像から変形した画像に変更し、対応エラー復号画像に含まれる複数の復号画像を、対応過去画像と全く同じ画像で無く、対応過去画像から変形した画像に変更することにしてもよい。また、エラー復号画像に含まれる複数の復号画像は、全て同じ画像でなくともよく、対応エラー復号画像に含まれる複数の復号画像は、全て同じ画像でなくともよい。
また、上記実施の形態３では、本発明に係る多視点動画像復号装置１００をＤＶＤレコーダやブルーレイディスクレコーダに適用した例を述べたが、本発明に係る多視点動画像復号装置１００は、ＤＶＤレコーダやブルーレイディスクレコーダ以外の三次元画像を表示する三次元画像表示装置（例えば、ＤＶＤプレーヤやブルーレイディスクプレーヤ、デジタルテレビ、携帯電話機器、パーソナルコンピュータ等）に適用できる。
また、上記実施の形態１及び２に係る多視点動画像復号装置１００は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又はすべてを含むように１チップ化されてもよい。
具体的には、図３及び図８に示された多視点動画像復号装置１００において、復号部１１０とエラー検出部１２０と復号画像変更部１３０とが、個別に１チップ化されてもよいし、一部又はすべてを含むように１チップ化されてもよい。
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて各処理部の集積化を行ってもよい。
また、上記実施の形態１及び２に係る多視点動画像復号装置１００の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
本発明にかかる多視点動画像復号装置は、多視点符号化され参照関係が存在する複数の動画符号化ストリームを復号する多視点動画像復号装置およびその再生方法に有用である。また、３Ｄ表示用データ出力可能なＤＶＤレコーダ、ＤＶＤプレーヤ、ブルーレイディスクレコーダ、ブルーレイディスクプレーヤやＴＶ等の用途にも応用可能である。
１００ 多視点動画像復号装置
１１０ 復号部
１２０ エラー検出部
１３０ 復号画像変更部
１４０ バッファ
１４１ 復号画像バッファＬ
１４２ 復号画像バッファＲ（復号画像バッファＲ1）
１４３ 復号画像バッファＲ2
１５０ 蓄積装置制御部
１５１ 蓄積装置
１６０ 全体制御部
１６１ ユーザーインターフェース
１７０ 音声復号部
１８０ 表示部
１９０ スピーカ
２００ 多視点動画像復号装置（ＤＶＤレコーダ、ブルーレイディスクレコーダ）
１０００ 多視点動画像復号装置
１０１０ 復号部
１０２０ エラー検出部
１０３０ 出力画像決定部
１０４０ バッファ
１０４１ 復号画像バッファＬ
１０４２ 復号画像バッファＲ
１０５０ エラー画像修復部Ｌ
１０６０ エラー画像修復部Ｒ

Claims (12)

  1. 複数の視点からの複数の動画像が符号化された複数の符号化動画像を復号する多視点動画像復号装置であって、
    前記複数の符号化動画像のうちの一の符号化動画像を、他の符号化動画像の復号画像を参照することなく復号して、複数の復号画像からなる一の復号動画像を生成するとともに、前記一の復号動画像に含まれる復号画像を参照して、前記他の符号化動画像を復号して他の復号動画像を生成する復号部と、
    前記一の復号動画像又は前記他の復号動画像に含まれる複数の復号画像の中から、エラーが含まれる復号画像であるエラー画像を検出するエラー検出部と、
    検出された前記エラー画像を、前記エラー画像を含む復号動画像である第一復号動画像以外の復号動画像である第二復号動画像を用いることなく、前記エラー画像より過去に復号された前記第一復号動画像に含まれる復号画像である過去画像を用いて生成されるエラーを含まない第一復号画像に変更するとともに、前記第二復号動画像に含まれ、前記エラー画像に対応して表示される復号画像である対応エラー画像を、前記第一復号動画像を用いることなく、前記第二復号動画像に含まれ、前記過去画像に対応して表示される復号画像である対応過去画像を用いて生成される第二復号画像に変更する復号画像変更部とを備える
    多視点動画像復号装置。
  2. 前記復号画像変更部は、
    前記エラー画像を、前記エラー画像の直前に表示されエラーを含まない画像である前記過去画像を用いて生成される前記第一復号画像に変更し、
    前記対応エラー画像を、前記過去画像に対応して表示される前記対応過去画像を用いて生成される前記第二復号画像に変更する
    請求項１に記載の多視点動画像復号装置。
  3. 前記復号画像変更部は、
    前記過去画像を前記第一復号画像として、前記エラー画像を前記第一復号画像に変更し、
    前記対応過去画像を前記第二復号画像として、前記対応エラー画像を前記第二復号画像に変更する
    請求項１又は２に記載の多視点動画像復号装置。
  4. 前記復号画像変更部は、
    前記一の復号動画像の復号前の符号化動画像に含まれる画面内符号化画像が復号された復号画像の直前の復号画像を直前画像とし、
    前記第一復号動画像に含まれ、前記エラー画像から、前記直前画像又は前記直前画像に対応して表示される復号画像までに表示される複数の復号画像であるエラー復号画像を、前記過去画像を用いて変更し、
    前記第二復号動画像に含まれ、前記エラー復号画像に対応して表示される複数の復号画像である対応エラー復号画像を、前記対応過去画像を用いて変更する
    請求項１〜３のいずれか１項に記載の多視点動画像復号装置。
  5. 前記復号画像変更部は、
    画像シーケンスの先頭のピクチャであるＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ）ピクチャを前記画面内符号化画像とし、
    前記エラー復号画像を、前記過去画像を用いて変更し、
    前記対応エラー復号画像を、前記対応過去画像を用いて変更する
    請求項４に記載の多視点動画像復号装置。
  6. 前記復号画像変更部は、
    前記画面内符号化画像が復号された復号画像と当該復号画像に対応して表示される復号画像との双方にエラーが含まれない場合の前記画面内符号化画像が復号された復号画像の直前の復号画像を前記直前画像とし、
    前記エラー復号画像を、前記過去画像を用いて変更し、
    前記対応エラー復号画像を、前記対応過去画像を用いて変更する
    請求項４又は５に記載の多視点動画像復号装置。
  7. 前記復号画像変更部は、
    前記エラー復号画像に含まれる複数の復号画像が、前記過去画像を用いて生成される前記第一復号画像と同じ画像になるように、前記エラー復号画像を変更し、
    前記対応エラー復号画像に含まれる複数の復号画像が、前記対応過去画像を用いて生成される前記第二復号画像と同じ画像になるように、前記対応エラー復号画像を変更する
    請求項４〜６のいずれか１項に記載の多視点動画像復号装置。
  8. 前記復号画像変更部は、
    前記エラー画像を、前記過去画像を用いて生成される前記第一復号画像に変更し、
    前記エラー画像と同じ時刻に表示される前記対応エラー画像を、前記過去画像と同じ時刻に表示される前記対応過去画像を用いて生成される前記第二復号画像に変更する
    請求項１〜７のいずれか１項に記載の多視点動画像復号装置。
  9. 前記復号部は、左目用の視点及び右目用の視点からの動画像が符号化された２つの符号化動画像のうちの、左目用の符号化動画像である前記一の符号化動画像を復号して前記一の復号動画像を生成するとともに、右目用の符号化動画像である前記他の符号化動画像を復号して前記他の復号動画像を生成し、
    前記エラー検出部は、前記一の復号動画像又は前記他の復号動画像に含まれる複数の復号画像の中から、前記エラー画像を検出し、
    前記復号画像変更部は、前記エラー画像を前記第一復号画像に変更するとともに、前記対応エラー画像を前記第二復号画像に変更する
    請求項１〜８のいずれか１項に記載の多視点動画像復号装置。
  10. 複数の視点からの複数の動画像が符号化された複数の符号化動画像を復号する多視点動画像復号方法であって、
    前記複数の符号化動画像のうちの一の符号化動画像を、他の符号化動画像の復号画像を参照することなく復号して、複数の復号画像からなる一の復号動画像を生成するとともに、前記一の復号動画像に含まれる復号画像を参照して、前記他の符号化動画像を復号して他の復号動画像を生成する復号ステップと、
    前記一の復号動画像又は前記他の復号動画像に含まれる複数の復号画像の中から、エラーが含まれる復号画像であるエラー画像を検出するエラー検出ステップと、
    検出された前記エラー画像を、前記エラー画像を含む復号動画像である第一復号動画像以外の復号動画像である第二復号動画像を用いることなく、前記エラー画像より過去に復号された前記第一復号動画像に含まれる復号画像である過去画像を用いて生成されるエラーを含まない第一復号画像に変更するとともに、前記第二復号動画像に含まれ、前記エラー画像に対応して表示される復号画像である対応エラー画像を、前記第一復号動画像を用いることなく、前記第二復号動画像に含まれ、前記過去画像に対応して表示される復号画像である対応過去画像を用いて生成される第二復号画像に変更する復号画像変更ステップとを含む
    多視点動画像復号方法。
  11. 複数の視点からの複数の動画像が符号化された複数の符号化動画像を復号するためのプログラムであって、
    前記複数の符号化動画像のうちの一の符号化動画像を、他の符号化動画像の復号画像を参照することなく復号して、複数の復号画像からなる一の復号動画像を生成するとともに、前記一の復号動画像に含まれる復号画像を参照して、前記他の符号化動画像を復号して他の復号動画像を生成する復号ステップと、
    前記一の復号動画像又は前記他の復号動画像に含まれる複数の復号画像の中から、エラーが含まれる復号画像であるエラー画像を検出するエラー検出ステップと、
    検出された前記エラー画像を、前記エラー画像を含む復号動画像である第一復号動画像以外の復号動画像である第二復号動画像を用いることなく、前記エラー画像より過去に復号された前記第一復号動画像に含まれる復号画像である過去画像を用いて生成されるエラーを含まない第一復号画像に変更するとともに、前記第二復号動画像に含まれ、前記エラー画像に対応して表示される復号画像である対応エラー画像を、前記第一復号動画像を用いることなく、前記第二復号動画像に含まれ、前記過去画像に対応して表示される復号画像である対応過去画像を用いて生成される第二復号画像に変更する復号画像変更ステップとをコンピュータに実行させる
    プログラム。
  12. 複数の視点からの複数の動画像が符号化された複数の符号化動画像を復号するための集積回路であって、
    前記複数の符号化動画像のうちの一の符号化動画像を、他の符号化動画像の復号画像を参照することなく復号して、複数の復号画像からなる一の復号動画像を生成するとともに、前記一の復号動画像に含まれる復号画像を参照して、前記他の符号化動画像を復号して他の復号動画像を生成する復号部と、
    前記一の復号動画像又は前記他の復号動画像に含まれる複数の復号画像の中から、エラーが含まれる復号画像であるエラー画像を検出するエラー検出部と、
    検出された前記エラー画像を、前記エラー画像を含む復号動画像である第一復号動画像以外の復号動画像である第二復号動画像を用いることなく、前記エラー画像より過去に復号された前記第一復号動画像に含まれる復号画像である過去画像を用いて生成されるエラーを含まない第一復号画像に変更するとともに、前記第二復号動画像に含まれ、前記エラー画像に対応して表示される復号画像である対応エラー画像を、前記第一復号動画像を用いることなく、前記第二復号動画像に含まれ、前記過去画像に対応して表示される復号画像である対応過去画像を用いて生成される第二復号画像に変更する復号画像変更部とを備える
    集積回路。
JP2009284534A 2009-12-15 2009-12-15 多視点動画像復号装置、多視点動画像復号方法、プログラム及び集積回路 Expired - Fee Related JP4837772B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2009284534A JP4837772B2 (ja) 2009-12-15 2009-12-15 多視点動画像復号装置、多視点動画像復号方法、プログラム及び集積回路
PCT/JP2010/003424 WO2011074148A1 (ja) 2009-12-15 2010-05-21 多視点動画像復号装置、多視点動画像復号方法、プログラム及び集積回路
CN201080009868.8A CN102342118B (zh) 2009-12-15 2010-05-21 多视点动态图像解码装置以及多视点动态图像解码方法
US13/196,444 US8750388B2 (en) 2009-12-15 2011-08-02 Multiview video decoding apparatus, multiview video decoding method, multiview video decoding program, and multiview video decoding integrated circuit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009284534A JP4837772B2 (ja) 2009-12-15 2009-12-15 多視点動画像復号装置、多視点動画像復号方法、プログラム及び集積回路

Publications (3)

Publication Number Publication Date
JP2011130029A JP2011130029A (ja) 2011-06-30
JP2011130029A5 JP2011130029A5 (ja) 2011-08-11
JP4837772B2 true JP4837772B2 (ja) 2011-12-14

Family

ID=44166922

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009284534A Expired - Fee Related JP4837772B2 (ja) 2009-12-15 2009-12-15 多視点動画像復号装置、多視点動画像復号方法、プログラム及び集積回路

Country Status (4)

Country Link
US (1) US8750388B2 (ja)
JP (1) JP4837772B2 (ja)
CN (1) CN102342118B (ja)
WO (1) WO2011074148A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5527603B2 (ja) * 2010-06-24 2014-06-18 ソニー株式会社 情報処理装置および情報処理方法
JP5614268B2 (ja) * 2010-12-09 2014-10-29 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2013247651A (ja) * 2012-05-29 2013-12-09 Canon Inc 符号化装置、符号化方法およびプログラム
EP2745510B1 (de) * 2012-07-25 2018-10-31 Unify GmbH & Co. KG Verfahren zur behandlung von störungen bei der übertragung einer zeitlichen folge digitaler bilder
US9066082B2 (en) * 2013-03-15 2015-06-23 International Business Machines Corporation Forensics in multi-channel media content
JP6365924B2 (ja) * 2013-05-09 2018-08-01 サン パテント トラスト 画像復号方法及び画像復号装置
JP2015136060A (ja) * 2014-01-17 2015-07-27 ソニー株式会社 通信装置、通信データ生成方法、および通信データ処理方法
FR3042368A1 (fr) * 2015-10-08 2017-04-14 Orange Procede de codage et de decodage multi-vues, dispositif de codage et de decodage multi-vues et programmes d'ordinateur correspondants
KR20180021998A (ko) 2016-08-23 2018-03-06 삼성전자주식회사 영상 수신을 위한 무선 수신 장치, 데이터 처리 모듈 및 그 방법
US10614747B2 (en) 2017-01-31 2020-04-07 Synaptics Incorporated Device and method for driving display panel in response to image data
WO2020184316A1 (ja) * 2019-03-13 2020-09-17 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3332575B2 (ja) * 1994-05-23 2002-10-07 三洋電機株式会社 立体動画像再生装置
US5767898A (en) * 1994-06-23 1998-06-16 Sanyo Electric Co., Ltd. Three-dimensional image coding by merger of left and right images
JP3338183B2 (ja) * 1994-07-26 2002-10-28 三洋電機株式会社 立体動画像の復号装置
JP3992533B2 (ja) * 2002-04-25 2007-10-17 シャープ株式会社 立体視を可能とする立体動画像用のデータ復号装置
WO2007077942A1 (ja) * 2006-01-05 2007-07-12 Nippon Telegraph And Telephone Corporation 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
JP4793366B2 (ja) * 2006-10-13 2011-10-12 日本ビクター株式会社 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム

Also Published As

Publication number Publication date
US20110286531A1 (en) 2011-11-24
CN102342118B (zh) 2014-08-13
JP2011130029A (ja) 2011-06-30
WO2011074148A1 (ja) 2011-06-23
US8750388B2 (en) 2014-06-10
CN102342118A (zh) 2012-02-01

Similar Documents

Publication Publication Date Title
JP4837772B2 (ja) 多視点動画像復号装置、多視点動画像復号方法、プログラム及び集積回路
US8570360B2 (en) Stereoscopic parameter embedding device and stereoscopic image reproducer
JP3992533B2 (ja) 立体視を可能とする立体動画像用のデータ復号装置
RU2552137C2 (ru) Точки входа для ускоренного 3d-воспроизведения
JP3332575B2 (ja) 立体動画像再生装置
WO2011058690A1 (ja) 三次元映像復号装置及び三次元映像復号方法
TW201246940A (en) Video encoding device, video encoding method, video encoding program, video playback device, video playback method, and video playback program
JP5957769B2 (ja) 映像処理装置及び映像処理方法
JP5170708B2 (ja) 動画像ストリーム加工方法及び装置、それを用いた動画像再生装置並びに動画像配信装置
JP5415217B2 (ja) 三次元映像処理装置
JP4927928B2 (ja) 多視点動画像復号装置及び多視点動画像復号方法
JP2012182785A (ja) 映像再生装置および映像再生方法
TWI487379B (zh) 視訊編碼方法、視訊編碼器、視訊解碼方法與視訊解碼器
KR101528269B1 (ko) 동영상 재생 방법
WO2013099571A1 (ja) 視差調整装置、画像処理装置、フレームフォーマット
CN102334340B (zh) 三维影像处理装置及三维影像处理方法
US8908010B2 (en) Method for processing video input by detecting if picture of one view is correctly paired with another picture of another view for specific presentation time and related processing apparatus thereof
US20140072271A1 (en) Recording apparatus, recording method, reproduction apparatus, reproduction method, program, and recording reproduction apparatus
JP2015159519A (ja) 符号化装置、符号化方法および符号化プログラム
US20140049608A1 (en) Video processing device and video processing method
US20140078255A1 (en) Reproduction device, reproduction method, and program
KR101609798B1 (ko) 동영상 판독 장치
JPH08149521A (ja) 立体動画像の復号装置及び記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110621

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110621

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20110621

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20110708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110913

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110928

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141007

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4837772

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees