JP5815326B2 - 動画像復号装置及び画像表示装置 - Google Patents

Description

本発明は、右目用の画像を形成するための複数のマクロブロックを含む右目用マクロブロック群と、左目用の画像を形成するための複数のマクロブロックを含む左目用マクロブロック群とが同一フレームに形成された３次元ビデオストリームを復号（デコード）するための技術に関する。

特許文献１には、圧縮３次元元又はステレオビューの一方のビューのみを復号することにより、旧来の２次元ディスプレイ上で表示するための技術が記載されている（明細書段落００８３−００８５）。

特許文献２には、３次元ビデオストリームをサーチして片側のストリームだけを取り出して、ヘッダ情報を書き換えるだけで２次元ビデオストリームに変換するための技術が記載されている（明細書段落００１８−００１９）。

特許文献３には、２Ｄ（２次元）画像と３Ｄ（３次元）画像が混在して記憶された画像を再生するための技術が記載されている（明細書段落０００１）。

特許文献４には、受信装置側の機能に応じて、３次元元映像と２次元映像との混在を再生するための技術が記載されている（明細書段落０００６）。

特許文献５には、サイドバイサイド方式の３次元画像を２次元画像に変換するための技術が記載されている（明細書段落００７６−００７８）。

特開２００５−１２４２００号公報 特開２０１１−０１４９５６号公報 特開２００８−０４２６４５号公報 特開２０１０−２８８２３４号公報 特開２０１０−０３４７０４号公報

上記のように、３次元ビデオストリームのフレームを全て復号してから左目用の画像のみを引き伸ばして再生すれば、２次元表示を行うことができる。しかし、全てのフレームを復号してから左目用の画像のみを抽出して再生する方式では、表示に不要な右目用の画像の復号処理を行う必要があるため、復号処理に時間がかかるし、復号処理のためのメモリが余分に必要となることが、本願発明者によって見いだされた。

本発明の目的は、３次元ビデオストリームを効率よく２次元表示させるための技術を提供することにある。

本発明の前記並びにその他の目的と新規な特徴は本明細書の記述及び添付図面から明らかになるであろう。

本願において開示される発明のうち代表的なものの概要を簡単に説明すれば下記の通りである。

すなわち、右目用の画像を形成するための複数のマクロブロックを含む右目用マクロブロック群と、左目用の画像を形成するための複数のマクロブロックを含む左目用マクロブロック群とが同一フレームに形成された３次元ビデオストリームを復号する動画像復号装置において、２次元表示に必要な範囲に属するマクロブロックを復号対象として順次選択するためのマクロブロックセレクタを設ける。また、上記動画像復号装置に、上記マクロブロックセレクタによって選択されたマクロブロックを順次復号するための復号部と、上記マクロブロックセレクタによって選択されたマクロブロックの動きベクトルが、上記２次元表示に必要な範囲外を参照していた場合に、その動きベクトルの参照先を上記２次元表示に必要な範囲内に補正するための動きベクトルシフト部とを設ける。

本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記のとおりである。

すなわち、３次元ビデオストリームを効率よく２次元表示させることができる。

本発明にかかる画像表示装置の構成例ブロック図である。 サイドバイサイド方式の場合の復号処理の説明図である。 トップアンドボトム方式の場合の復号処理の説明図である。 動画像復号装置における主要動作のフローチャートである。 ３次元ビデオストリームの復号処理におけるフレーム参照の説明図である。 サイドバイサイド方式によって符号化された３次元ビデオストリームにおける動きベクトルシフトの説明図である。 トップアンドボトム方式によって符号化された３次元ビデオストリームにおける動きベクトルシフトの説明図である。 ３次元ビデオストリームにおける動きベクトルシフトのフローチャートである。

１．実施の形態の概要
先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。

〔１〕本発明の代表的な実施の形態に係る動画像復号装置（１００）は、右目用の画像を形成するための複数のマクロブロックを含む右目用マクロブロック群と、左目用の画像を形成するための複数のマクロブロックを含む左目用マクロブロック群とが同一フレームに形成された３次元ビデオストリームを復号する。そしてこの動画像復号装置は、２次元表示に必要な範囲に属するマクロブロックを復号対象として順次選択するためのマクロブロックセレクタ（１０３）と、上記マクロブロックセレクタによって選択されたマクロブロックを順次復号するための復号部（１１０）と、上記マクロブロックセレクタによって選択されたマクロブロックの動きベクトルが、上記２次元表示に必要な範囲外を参照していた場合に、その動きベクトルの参照先を上記２次元表示に必要な範囲内に補正するための動きベクトルシフト部（１０８）とを含む。

上記の構成によれば、マクロブロックセレクタにおいてブロック選択が行われることで、２次元表示されないマクロブロックについては、復号部での処理が行われない。このため、全てのフレームを復号してから左目用の画像のみを再生する場合に比べて、復号時間を約１／２に短縮できるので、３次元ビデオストリームを効率よく２次元表示させることができる。また、マクロブロックセレクタにおいてブロック選択が行われることでマクロブロックの復号が省略された場合において、上記のように動きベクトルがシフトされて動きベクトルの補正が行われることにより、未復号領域の参照に起因する画質劣化を回避することができる。

〔２〕上記〔１〕において、上記復号部は、逆量子化処理を行う逆量子化器（１０４）と、上記逆量子化器の出力についての逆離散コサイン変換を行う逆離散コサイン変換器（１０５）と、復号済みのデータを取り出して予測画像を得る動き補償器（１０９）と、上記動き補償器の出力を上記逆離散コサイン変換器の出力に加算するための加算器（１０６）とを含んで構成することができる。

〔３〕上記〔２〕において、上記マクロブロックセレクタは、入力された３次元ビデオストリームが、サイドバイサイド方式で符号化されたものか、トップアンドボトム方式で符号化されたものかを判別し、その判別結果に応じて、２次元表示に必要な範囲を特定し、その範囲に属するマクロブロックを復号対象として順次選択するように構成することができる。

〔４〕上記〔３〕において、上記動きベクトルシフト部では、上記マクロブロックセレクタによって選択されたマクロブロックの動きベクトルが、右目用の画像を形成するためのマクロブロックを参照しているか否かの判別する第１判別処理を実行することができる。また、上記動きベクトルシフト部では、上記マクロブロックセレクタによって選択されたマクロブロックの動きベクトルが、右目用の画像を形成するためのマクロブロックを参照している場合に、入力された３次元ビデオストリームが、サイドバイサイド方式で符号化されたものか、トップアンドボトム方式で符号化されたものかを判別する第２判別処理を実行することができる。さらに上記動きベクトルシフト部では、上記第１判別処理及び上記第２判別処理の結果に応じて、動きベクトルの参照先を上記２次元表示に必要な範囲内に補正することができる。

〔５〕上記〔４〕において、上記マクロブロックセレクタの前段に、上記マクロブロックの区切れを解析可能な可変長復号処理を行うための可変長復号器（１０２）を配置することができる。

〔６〕上記〔５〕において、上記動画像復号装置（１００）と、上記動画像復号装置の復号結果を２次元表示可能な表示部（４００）とを含んで画像表示装置（１０）を構成することができる。

２．実施の形態の詳細
実施の形態について更に詳述する。

《実施の形態１》
図１には、本発明にかかる画像表示装置の構成例が示される。

図１に示される画像表示装置１０は、ＭＰＥＧ（Moving Picture Experts Group）−４での圧縮アルゴリズムで符号化された３次元ビデオストリームを復号して表示することができる。ＭＰＥＧ−４での圧縮アルゴリズムには、空間変換やフレーム間予測、量子化が採用される。空間変換では、空間変換に離散コサイン変換が用いられる。例えば８×８画素のマクロブロックを単位として、原画像もしくはフレーム間予測の予測誤差画像のＤＣＴ係数を求め、その係数を量子化している。例えばＰフレームでは、時間軸で前方のフレーム１枚の画像を利用して符号化を行うが、Ｂフレームでは前方・後方２枚の画像を利用して符号化を行う。このようにして符号化（エンコード）されたものを表示するには、復号処理が必要となる。この復号処理では、例えば図５に示されるように、時間軸ｔでＰフレームが順次参照される。

図１に示される画像表示装置１０は、特に制限されないが、携帯電話機やデジタルビデオカメラなどに搭載されるもので、動画像復号装置１００、ストリーム記録部２００、２Ｄ／３Ｄ表示判定部３００、表示部４００を含む。ストリーム記録部２００は半導体メモリとされ、この半導体メモリには、３次元ビデオストリームが記録されている。３次元ビデオストリームは、サイドバイサイド方式によって符号化されたものや、トップアンドボトム方式によって符号化されたものとされる。

動画像復号装置１００は、ストリーム記録部２００から取り込まれた３次元ビデオストリームを復号する機能を有する。この動画像復号装置１００には、２Ｄ／３Ｄ表示判定部３００からの２Ｄ／３Ｄコントロール信号が入力される。２Ｄ／３Ｄコントロール信号によって２次元表示が指定された場合、動画像復号装置１００は、２次元表示のための復号処理を行う。２Ｄ／３Ｄコントロール信号によって３次元表示が指定された場合、動画像復号装置１００は、３次元表示のための復号処理を行う。

動画像復号装置１００は、バッファ(Ｂｕｆｆｅｒ)１０１、可変長復号器（ＶＬＤ）１０２、マクロブロックセレクタ（ＭＢ Ｓｅｌｅｃｔｏｒ）１０３、マクロブロックシフタ（ＭＢ Ｓｈｉｆｔｅｒ）１０８、復号部１１０を含んで成る。

ストリーム記録部２００からバッファ１０１に３次元ビデオストリームが転送される。バッファ(Ｂｕｆｆｅｒ)３１に格納された３次元ビデオストリームは、可変長復号器１０２に供給される。可変長復号器１０２では、入力された３次元ビデオストリームからピクチャーを構成する複数のブロックのカラーと輝度の予測残差成分が復号される。尚、この復号処理によって、マクロブロック間の境界が明確化される。

マクロブロックセレクタ１０３は、２Ｄ／３Ｄ表示判定部３００からの２Ｄ／３Ｄコントロール信号に応じて、可変長復号器１０２からの出力信号について、対応するブロックの選択を行う。つまり、２次元表示と３次元表示とを選択的に指示可能な２Ｄ／３Ｄコントロール信号によって２次元表示が指示された場合に、その２次元表示に必要な範囲を特定し、その範囲に属するマクロブロックについてのカラーと輝度の予測残差成分が順次選択されて、後段の復号部１１０に供給される。このとき、マクロブロックセレクタ１０３によって選択されないマクロブロックについてのカラーと輝度の予測残差成分は、復号部１１０に供給されない。

動きベクトルシフタ１０８は、３次元ビデオストリームからピクチャーのマクロブロックの動きベクトルを復号する。また、動きベクトルシフタ１０８は、マクロブロックセレクタによって選択されたマクロブロックの動きベクトルが、右目用の画像を形成するためのマクロブロックを参照しているか否かの判別する。さらに動きベクトルシフタ１０８は、上記マクロブロックセレクタによって選択されたマクロブロックの動きベクトルが、右目用の画像を形成するためのマクロブロックを参照している場合に、入力された３次元ビデオストリームが、サイドバイサイド方式で符号化されたものか、トップアンドボトム方式で符号化されたものかを判別し、その判別結果に応じて、動きベクトルの参照先を上記２次元表示に必要な範囲内に補正する。この補正については後に詳述する。

復号部１１０は、逆量子化器(ＩＱ)１０４、逆離散コサイン変換器(ＩＤＣＴ)１０５、加算器１０６、メモリ（ＭＥＭ）１０７、及び動き補償器（ＭＣ）１０９を含む。

マクロブロックセレクタ１０３によって選択されたマクロブロックについてのカラーと輝度の予測残差成分が逆量子化器１０４で逆量子化処理され、逆離散コサイン変換器１０５で逆離散コサイン変換処理された後に、加算器１０６に供給される。加算器１０６の出力は、後段のメモリ１０７に書き込まれる。

ピクチャタイプが画面間予測を行わないＩピクチャの場合、マクロブロックのデータがそのままメモリ１０７に格納される。これに対して、ピクチャタイプが画面間予測を伴うＰピクチャや、Ｂピクチャの場合、マクロブロックのデータは動きベクトルが情報が付加されているため、可変長復号器１０２から供給される動きベクトルデータに基づいて動き補償器１０９が、メモリ１０７内の復号済みのデータを取り出して予測画像を得た後、加算器１０６で差分データが加算されて動き補償された画像データが得られる。つまり、動き補償器１０９では、動き補償のためのマクロブロックの予測画像が形成され、それが加算器１０６に供給され、逆離散コサイン変換器１０５の出力に加算されることで動き補償が行われる。このようにしてメモリ１０７内には、動き補償されたビデオ信号が得られる。このビデオ信号は、表示部４００に転送されて表示される。

図４には、動画像復号装置１００における主要動作のフローチャートが示される。

２Ｄ／３Ｄ表示判定部３００において、２次元表示が指定されているか否かの判別が行われる（Ｓ１）。この判別において、２次元表示が指定されている（ＹＥＳ）と判断された場合には、マクロブロックセレクタ１０３において、ＭＢ（マクロブロック）座標が表示対象となるか否かの判別が行われる（Ｓ２）。ＭＢ（マクロブロック）座標が表示対象である（ＹＥＳ）と判断された場合、マクロブロック（ＭＢ）の復号化が行われる（Ｓ３）。しかし、ＭＢ座標が表示対象ではない（ＮＯ）と判断された場合には、当該ＭＢについての復号が省略される（Ｓ４）。上記ステップＳ２での判別が、全てのマクロブロックについて行った場合には処理が終了される（Ｓ５）。また、上記ステップＳ１の判別において、２次元表示が指定されていない（ＮＯ）と判断された場合には、３次元表示のために全てのＭＢについて復号化される（Ｓ６，Ｓ７）。

上記ステップＳ３の処理は、入力された３次元ビデオストリームが、サイドバイサイド方式によって符号化されたものである場合と、トップアンドボトム方式によって符号化されたものとで異なる。

例えばサイドバイサイド方式によって符号化されたものである場合には、図２に示されるように処理される。ここでは、説明の便宜上、Ｌ（左）画像，Ｒ（右）画像を含む画像サイズを８×４（水平ＭＢ数＝８、垂直ＭＢ数＝４）とする。この場合、太線矢印で示されるように水平ＭＢ数を４個復号したら水平ラインを折り返して、Ｌ領域のみが復号されるようにする。Ｒ領域については復号されない。

これに対してトップアンドボトム方式によって符号化されたものである場合には、図３に示されるように、２ライン分の水平ＭＢ数を全て復号した時点で復号を打ち切ることでＬ領域のみが復号されるようにする。Ｒ領域については復号されない。

ここで、視聴者が３次元ビデオストリームの２次元表示を選択した場合には、動きベクトルシフタ１０８によって動きベクトルがチェックされる。復号済みの領域を参照した動きベクトルは、変換なしでそのまま動き補償器１０９へ動きベクトルが供給される。しかし、マクロブロックセレクタ１０３で選択されなかった領域（マクロブロック）を参照する動きベクトルについては、本来の動きベクトルが指し示す予測画像（ＰフレームやＢフレームに相当）を参照することができないため、マクロブロックシフタ１０８では、本来の動きベクトルが指し示す予測画像に最も類似していると思われる復号済み領域を参照するように動きベクトルがシフトされることで補正される。このとき、可変長復号器１０２で得られた３次元フォーマット情報を用いてシフト方法が決定される。

図８には、動きベクトルシフトのフローチャートが示される。

ＭＶシフタ１０８において、先ず動きベクトルがＲ領域を参照しているか否かの判別が行われる（Ｓ１１）。この判別において、動きベクトルがＲ領域を参照している（ＹＥＳ）と判断された場合には、入力された３次元ビデオストリームが、サイドバイサイド方式によって符号化されたものであるか否かの判別が行われる（Ｓ１２）。上記ステップＳ１１の判別において、動きベクトルがＲ領域を参照しているか否か、さらには入力された３次元ビデオストリームが、サイドバイサイド方式によって符号化されたものであるか否かによって、補正内容が異なる（Ｓ１３，Ｓ１４、Ｓ１５）。

例えば入力された３次元ビデオストリームが、サイドバイサイド方式によって符号化されたものである場合、例えば図６の（Ａ）に示されるように、Ｌ領域における特定のマクロブロック（ｘ＝３，ｙ＝１）の動きベクトル６１をＭＶ（ｍｖ＿ｘ，ｍｖ＿ｙ）とし、この動きベクトル６１が、Ｒ領域を参照していた場合には、図６の（Ｂ）の破線６２で示される動きベクトルＭＶ’（ｍｖ＿ｘ’，ｍｖ＿ｙ’）を得る。ここで、「ｍｖ＿ｘ’」は数１によって示され、「ｍｖ＿ｙ’」は、数２によって示される。

ここで、「ｘ＿ｐｉｃ＿ｓｉｚｅ」は水平ＭＢ数を示す。「＊」は乗算を意味する。「ａ」は動きベクトルの精度別の係数を示す。動きベクトルの精度別の係数は、整数画素単位の場合にはａ＝１とされ、１／２画素単位の場合ａ＝２とされ、１／４画素単位の場合にはａ＝４とされる。

例えばＬ（左）画像，Ｒ（右）画像を含む画像サイズを８×４（水平ＭＢ数＝８、垂直ＭＢ数＝４）とした場合の水平ＭＢ数（ｘ＿ｐｉｃ＿ｓｉｚｅ）は「８」となり、動きベクトル６１のｍｖ＿ｘは「４」であるから、ａ＝１の場合の破線６２で示される動きベクトルＭＶ’（ｍｖ＿ｘ’，ｍｖ＿ｙ’）は、ＭＶ’（０，０）となる。つまり、Ｌ領域において、Ｒ領域に対応する箇所が、本来の動きベクトルが指し示す予測画像に最も類似している箇所とされ、そこに動きベクトルがシフトされて動きベクトルの補正が行われる。このように動きベクトルが補正されることで、未復号領域の参照が回避される。

また、入力された3次元ビデオストリームがトップアンドボトム方式で符号化されたものである場合、上記ステップＳ１２の判別において、サイドバイサイド方式ではない（ＮＯ）と判断され、次のように補正される。

例えば図７の（Ａ）に示されるように、特定のマクロブロック（ｘ＝３，ｙ＝１）の動きベクトル７１をＭＶ（ｍｖ＿ｘ，ｍｖ＿ｙ）とし、この動きベクトル７１が、ボトム領域を参照していた場合には、図７の（Ｂ）の破線７２で示される動きベクトルＭＶ’（ｍｖ＿ｘ’，ｍｖ＿ｙ’）を得る。ここで、「ｍｖ＿ｘ’」は数３によって示され、「ｍｖ＿ｙ’」は、数４によって示される。

つまり、トップ領域において、ボトム領域に対応する箇所が、本来の動きベクトルが指し示す予測画像に最も類似している箇所とされ、そこに動きベクトルがシフトされて動きベクトルの補正が行われる。

尚、上記ステップＳ１１の判別において、動きベクトルがＲ領域を参照していない（ＮＯ）と判断された場合には、動きベクトルの補正は行われない。この場合、「ｍｖ＿ｙ’」及び「ｍｖ＿ｘ’」は、それぞれ数２、数３によって示される。

実施の形態１によれば、以下の作用効果を奏する。

（１）マクロブロックセレクタ１０３においてブロック選択が行われることで、２次元表示されないマクロブロックについては、復号部１１０での処理が行われない。このため、全てのフレームを復号してから左目用の画像のみを再生する場合に比べて、復号時間を約１／２に短縮できるので、３次元ビデオストリームを効率よく２次元表示させることができる。

（２）マクロブロックセレクタ１０３においてブロック選択が行われることでマクロブロックの復号が省略された場合において、図６の（Ａ）に示されるように、Ｌ領域における動きベクトル６１が、Ｒ領域を参照するのをそのまま放置すると、未復号領域の参照に起因して画質劣化を生ずるおそれがある。これに対して、上記のように動きベクトルがシフトされて動きベクトルの補正が行われることにより、未復号領域の参照に起因する画質劣化を回避することができる。

以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。

例えば、図１に示される画像表示装置１０は、２Ｄ／３Ｄ表示判定部３００を省略して、２次元表示専用とすることができる。２次元表示専用の場合、サイドバイサイド方式あるいはトップアンドボトム方式において、２次元表示されないマクロブロックについては復号部１１０での処理が省略されるため、メモリ１０７の記憶容量を、図１に示される場合に比べて小さくできる。

１０ 画像表示装置
１００ 動画像復号装置
１０１ バッファ
１０２ 可変長復号器
１０３ マクロブロックセレクタ
１０４ 逆量子化器
１０５ 逆離散コサイン変換器
１０６ 加算器
１０７ メモリ
１０８ 動きベクトルシフタ
１０９ 動き補償器
１１０ 復号部
２００ ストリーム記録部
４００ 表示部

Claims (6)

1. 右目用の画像を形成するための複数のマクロブロックを含む右目用マクロブロック群と、左目用の画像を形成するための複数のマクロブロックを含む左目用マクロブロック群とが同一フレームに形成された３次元ビデオストリームを復号するための動画像復号装置であって、
   上記右目用マクロブロック群または上記左目用マクロブロック群のうちの表示対象のマクロブロック群を復号対象として順次選択するためのマクロブロックセレクタと、
   上記マクロブロックセレクタによって選択されたマクロブロックを順次復号するための復号部と、
   上記マクロブロックセレクタによって選択されたマクロブロックの動きベクトルが、上記表示対象のマクロブロック群の上記復号部による復号によって生成された予測画像の範囲外を参照していた場合に、その動きベクトルの参照先を上記予測画像の範囲内に補正するための動きベクトルシフト部と、を含むことを特徴とする動画像復号装置。
2. 上記復号部は、逆量子化処理を行う逆量子化器と、上記逆量子化器の出力についての逆離散コサイン変換を行う逆離散コサイン変換器と、復号済みのデータを取り出して上記予測画像を得る動き補償器と、上記動き補償器の出力を上記逆離散コサイン変換器の出力に加算するための加算器と、を含む請求項１記載の動画像復号装置。
3. 上記マクロブロックセレクタは、入力された３次元ビデオストリームが、サイドバイサイド方式で符号化されたものか、トップアンドボトム方式で符号化されたものかを判別し、その判別結果に応じて、上記予測画像の範囲を特定し、その範囲に属するマクロブロックを復号対象として順次選択する請求項２記載の動画像復号装置。
4. 上記動きベクトルシフト部は、上記マクロブロックセレクタによって選択されたマクロブロックの動きベクトルが、上記表示対象のマクロブロック群の上記復号部による復号によって生成された予測画像の範囲外を参照しているか否かの判別する第１判別処理と、
   上記マクロブロックセレクタによって選択されたマクロブロックの動きベクトルが、上記予測画像の範囲外を参照している場合に、入力された３次元ビデオストリームが、サイドバイサイド方式で符号化されたものか、トップアンドボトム方式で符号化されたものかを判別する第２判別処理とを実行し、上記第１判別処理及び上記第２判別処理の結果に応じて、動きベクトルの参照先を上記予測画像の範囲内に補正する請求項３記載の動画像復号装置。
5. 上記マクロブロックセレクタの前段に、上記マクロブロックの区切れを解析可能な可変長復号処理を行うための可変長復号器が配置された請求項４記載の動画像復号装置。
6. 請求項５記載の動画像復号装置と、
   上記動画像復号装置の復号結果を２次元表示可能な表示部と、を含む画像表示装置。

Images