JP5998862B2 - 動画像処理装置 - Google Patents

Description

本発明は，動画像処理装置に関する。

動画像処理装置は，映像を構成する動画像データをエンコードしてデータ圧縮し，その圧縮されたストリームデータをデコードして元の動画像データを生成する。動画圧縮として普及しているMPEG2, MPEG4, H.264等では，エンコーダが，映像を構成する動画像データを，時間的に過去の画像や未来の画像との相関に基づく動きベクトルのデータと，動きベクトルで生成した画像と本来の画像との差分画像，もしくは動きベクトルでは生成できない相関のない画像についてDCT処理，量子化処理，圧縮処理したデータとに変換する。そして，その圧縮されたストリームデータが伝送媒体を介して伝送されたり，記憶媒体に記憶されたりする。また，デコーダが，ストリームデータをデコードして元の動画像データを生成する。

ハイビジョンの動画像のエンコード，デコード技術は，地上波デジタル放送やBSデジタル放送などで既に普及している。ハイビジョン画像は，2K1K（1920 x 1080）の解像度を有し，既に普及しているエンコーダやデコーダも，この解像度の動画像データを処理する。

一方で，次世代の高解像度の動画像データとして，2K1Kのハイビジョン画像の解像度を４倍または１６倍にした4K2K，8K4Kの解像度を有する動画フォーマットが提案され，開発が進められている。

このような4K2K，8K4Kの超高解像度画像の動画像データを，高価な専用のエンコーダやデコーダではなく，既存のハイビジョン動画像用のエンコーダやデコーダを複数設け，画面を2K1Kの解像度の領域に分割して，各エンコーダやデコーダが分担して処理することが提案されている。このような構成にすることで，コストパフォーマンスの高い動画像処理装置を実現できる。例えば，以下の特許文献などに記載されている。

特開2007-67499号公報 特開平11-196299号公報 特開2007-108447号公報 特開2009-294273号公報

しかしながら，１つの画面を複数の画像領域に分割して，複数のエンコーダやデコーダが複数の分割画像それぞれを処理すると，分割された2K1Kの分割画像の周辺領域の画質が劣化する。さらに，各エンコーダが分割画像毎にその画像内容に応じてエンコードするため，デコードされた分割画像の境界線の両側の画質が異なる。したがって，デコーダが分割画像のデコード画像を合成すると，それらの境界線が目立ってしまい，合成画像の画質低下を招いてしまう。

特許文献１では，１つの画面をオーバーラップ領域を含めて複数の画像領域に分割して，複数のエンコーダでエンコードし，複数のデコーダでデコードすることが提案されている。そして，デコーダは，デコードされた分割画像の画質が低下する周辺領域のうちオーバーラップ領域を廃棄して，合成画像における境界線の画質の低下を回避している。

しかし，隣接する分割画像でのエンコード処理がそれぞれの画像に起因して異なることにより，デコードされた隣接分割画像の境界部での画質が異なり，合成画像の境界部が不自然になる。つまり，一方の分割画像の画像品質が高くても，他方の分割画像の画像品質が低い場合は，合成画像の境界部の不自然さが現れる。

そこで，本発明の目的は，隣接する分割画像の境界部分の画質の低下を抑制した動画像処理装置を提供することにある。

そこで，動画像処理装置の第１の側面は，動画像の画像を互いにオーバーラップ領域を有するように分割した複数の分割画像を，それぞれエンコードしてエンコード分割画像データを生成する複数のエンコーダを有するエンコーダユニットと，
前記エンコーダユニットから入力されるデータから前記複数のエンコード分割画像データをそれぞれデコードすると共に動きベクトルの情報をそれぞれ抽出する複数のデコーダと，前記複数のデコーダがそれぞれデコードして生成した複数のデコード分割画像を前記オーバーラップ領域にてブレンドして前記動画像の画像を出力する合成部とを有するデコーダユニットとを有し，
前記合成部は，前記複数のデコーダからそれぞれ出力される前記動きベクトルの情報に基づいて，前記オーバーラップ領域のブレンド率を決める。

第１の側面によれば，合成画像の境界線での画質の低下を改善することができる。

動画像処理装置の構成図である。 エンコーダの構成例を示す図である。 デコーダの構成例を示す図である。 境界部で画質が異なる第１の原因を説明する図である。 境界部で画質が異なる第２の原因を説明する図である。 本実施の形態におけるエンコードとデコード処理を説明する図である。 本実施の形態におけるエンコードとデコード処理を説明する図である。 本実施の形態におけるオーバーラップ領域でのブレンド率の例を示す図である。 図８のブレンド率の設定を説明する図である。 本実施の形態におけるエンコーダユニットでの画像合成処理を説明する図である。 本実施の形態におけるエンコーダユニットでの画像合成処理を説明する図である。 ブレンド率の可変制御の例を示す図である。 本実施の形態における動画像処理装置の構成図である。 画像合成部２４の構成例を示す図である。 第２の実施の形態における動画像処理装置の構成図である。 第２の実施の形態におけるビットレートとオーバーラップ幅OLWとの関係を示す図である。

図１は，動画像処理装置の構成図である。動画像を構成する入力画像の解像度は例えば4K2Kと，ハイビジョン画像（2K1K）の４倍の解像度を有する。そこで，図１の動画像処理装置は，入力画像データを４つの分割画像A,B,C,Dのデータに分割する画像分割部１０と，各分割画像データをそれぞれエンコードする４つのエンコーダを有するエンコーダ群１２と，エンコードされたストリームデータを合成するストリーム合成部１４とを含むエンコーダユニットENを有する。

さらに，図１の動画像処理装置は，エンコーダユニットENが生成したストリームデータ１６を入力し，分割画像A,B,C,Dのストリームデータに分離するストリーム分離部２０と，各分割画像のストリームをデコードして分割画像A,B,C,Dのデータを生成する４つのデコーダを含むデコーダ群２２と，分割画像データを合成して4K2Kの出力画像を出力する画像合成部２４とを含むデコーダユニットを有する。

上記のエンコーダ群１２の４つのエンコーダとデコーダ群２２の４つのデコーダに，既にハイビジョン画像用に普及しているものを利用することで，動画像処理装置を低コストで構成することができる。

図２は，エンコーダの構成例を示す図である。このエンコーダは，MPEG2などの規格に対応する構成を有する。まず，動画像を構成する現在のフレームの現画像データP1が入力され，メモリ制御部１２１を介してフレームメモリ１２２に保存される。また，フレームメモリ１２２内には，例えば以前のフレームの参照画像データP2が保存されている。そして，エンコーダは，現在フレームの現画像データP1について，例えば１６×１６画素のマクロブロックの単位でエンコード処理を行う。

まず，動き予測部１２３が，現画像データP1内のマクロブロックの画像について参照画像データP2内の対応する画像を探索し，検出した場合にその動きベクトルMVを出力する。さらに，動き補償部１２４が，参照画像データP2と動きベクトルMVとから動き補償フレームの画像データP3を生成する。

次に，差分算出部１２５が，動き補償フレームの画像データP3と現在フレームの現画像データP1との差分を算出し，予測誤差画像データP4を生成する。この予測誤差画像データP4は，参照画像と動きベクトルMVとで再現可能な画像データP3と，現画像データP1との差分の画像データである。

セレクタ１２６は，動きベクトルMVが検出された場合は予測誤差画像データP4を，検出されない場合は現画像データP1を選択する。したがって，セレクタ１２６の出力画像データP5は，予測誤差画像データP4または現画像データP1の画素データであり，１６×１６画素の空間領域データである。

次に，直交変換部１２７が，例えば８×８画素のブロック単位でDCT処理を行い，空間領域データP5を周波数領域データP6に変換する。周波数領域データP6は，直流成分と低周波から高周波までの周波数成分の係数で構成され，８×８＝１６個の係数データである。

そして，量子化部１２８は，周波数領域データP6を８×８の除算マトリクスで除算し，更に１６画素に共通の単一のQ値で除算する。量子化マトリクスは，直流成分や低周波成分に対する値を小さくし，高周波成分に対する値を大きくしたものであり，１つのフレーム内で不変である。除算マトリクスで除算されると，直流成分や低周波成分のデータ量はあまり減少せず，一方高周波成分のデータ量は大きく減少する。一方，Q値は，１つのフレーム内でマクロブロック毎に（またはDCT処理単位であるブロック毎に）可変制御され，量子化，符号化後のストリームデータが一定のビットレート以内になるよう制御される。

符号化部１２９は，量子化データP7と動きベクトルMVのデータとを例えばランレングス符号化によりデータ圧縮し，ストリームデータを出力する。これにより，ストリームデータは，動きベクトルMVが検出された場合は，動きベクトルMVと予測誤差データP4を直交変換及び量子化したデータP7とを圧縮したデータになり，一方，動きベクトルMVが検出されない場合は，現画像データP1を直交変換及び量子化したデータP7を圧縮したデータになる。

したがって，動きベクトルMVが検出された場合のほうが，空間領域データP5のデータ量が少なく，ストリームデータを一定のビットレート以内にするという制約下においても，量子化率に対応するQ値を小さくできるので，デコード後の画像が高画質になる傾向が高い。一方，動きベクトルMVが検出されない場合は，空間領域データP5のデータ量が多く，上記制約下ではQ値を大きくせざるをえず，デコード後の画像の低画質になる傾向が高い。

図２のエンコーダは，更に，Q値と除算マトリクスの値を乗算する逆量子化部１３０と，周波数領域データを空間領域データに逆変換する逆直交変換部１３１と，その出力の空間領域データP8に動き補償フレームの画像データP3とを加算する差分加算部１３２と，セレクタ１３３とを有し，これらの回路によりローカルデコード処理を行う。セレクタ１３３は，動きベクトルMVが検出された場合は，差分加算部１３２の出力データを選択し，動きベクトルが検出されなかった場合は，空間領域データP8を選択して，ローカルデコード画像，即ち，後のエンコード処理で参照画像として利用される画像データP9を出力する。このセレクタ１３３の出力画像データP9が参照画像データとしてフレームメモリ１２２に保存される。

図３は，デコーダの構成例を示す図である。デコーダもマクロブロックの単位で処理を行う。まず，復号部２２１がストリームデータを入力し，ランレングス復号化して動きベクトルMVと，図２の予測誤差データP4，または，動きベクトルがない場合の元の画像データP1に対応するデータP17とを出力する。そして，動き補償部２２２が，フレームメモリ２２８内に保存されていた参照画像データP2と動きベクトルMVとから動き補償フレームの画像データP13を生成する。また，逆量子化部２２３がデータP17に対してエンコーダから受信したQ値の乗算と，固定値の除算マトリクスの乗算を行い，逆直交変換部２２４が逆DCT変換して周波数領域データを空間周波数データP18に変換する。

さらに，差分加算部２２５は，動き補償フレームの画像データP13と予測誤差データである空間周波数データP18とを加算する。セレクタ２２６は，動きベクトルMVが検出されていた場合は，差分加算部２２５が出力した画像データを選択し，動きベクトルMVが検出されていない場合は，空間周波数データP18を選択し，デコード画像データP19を出力する。このデコードされた画像データP19は，メモリ制御部２２７によりフレームメモリ２２８に保存されるとともに，エンコードされた画像出力として出力される。

次に，超高解像度の画像を分割した分割画像毎にエンコード，デコードした場合の画質低下について説明する。

分割画像では，映像をボカしたり逆にエッジを強調したりするなどのフィルタ処理を行なった場合，分割境界にて画素が途切れるために，適切にフィルタ処理できない。これにより画質が劣化する。このような原因に加えて，第１に，隣接する分割画像の境界部の画像は，量子化処理のQ値が隣接する分割画像で異なることに起因して，境界線の両側で画質が異なる。第２に，隣接する分割画像の境界線の両側で動きベクトルが検出される場合と検出されない場合が発生すると，動きベクトルが検出された側の画質は高く，動きベクトルが検出されてない側の画質は低くなる。

図４は，境界部で画質が異なる第１の原因を説明する図である。図４には，4K2Kの超高解像度の画像を４等分して４つの分割画像A,B,C,Dが示されている。そして，分割画像A,Bの境界線上に静止物体３０がある。この場合，分割画像A,Bをエンコードすると，いずれの分割画像でも動きベクトルが検出されず，共にイントラ予測によるエンコード処理（直交変換，量子化処理，符号化処理）されるか，静止物体３０以外の画像に対して動きベクトルが検出されて，予測誤差画像についてイントラ予測によるエンコード処理される。

この場合，分割画像A,B内の異なる画像に対して直交変換されることで，異なる周波数領域データが生成される。そのため，そのあとの量子化処理で分割画像A,Bの境界の両側領域の周波数領域データに対する量子化処理でのQ値が異なることがある。その結果，Q値が小さい場合は高画質になり，Q値が大きい場合は低画質になる。例えば，分割画像Aでは境界に近い右下部分の高周波成分の係数のデータ量が少なくQ値を小さくできるため高画質になる一方で，分割画像Bでは境界に近い左下部分の低中周波数成分の係数のデータ量が多くQ値を大きくできるため低画質になる。

その結果，デコードされた分割画像において，境界の両側では高画質の領域と低画質の領域が存在することになり，合成画像において境界が目立つことが予想される。

このように，MPEG2などの動画像圧縮（エンコード）処理では，動き予測の効率を除くと（つまり両分割画像A,Bにおいて動き予測の効率が同等の場合），エンコードしたことによる画質は，直交変換後の量子化処理での除算マトリクスの係数とQ値が支配的である。除算マトリクスの係数は，通常１つのフレーム内で固定であるが，ストリームデータのビットレートを一定値内に抑えるためにQ値は画像の種類に起因して可変制御される。そのため，両分割画像A,Bにおいて動き補償に差がない場合でも，境界の両側で画質が異なることが生じる。

図５は，境界部で画質が異なる第２の原因を説明する図である。図５には，4K2Kの超高解像度の画像を４等分した４つの分割画像A,B,C,Dが示されている。そして，分割画像A,Bの境界線上に分割画像AからBの方向に移動する物体３０がある。つまり，時刻tでは物体３０は分割画像A内にのみ存在し，次のフレーム時刻t＋１では物体３０は両分割画像A,Bの境界領域に移動している。

この場合，時刻t＋１での分割画像A,Bをエンコードすると，分割画像Aでは境界領域のマクロブロックで動きベクトルが検出され，分割画像Bでは時刻t＋１で初めて物体３０が現れたため動きベクトルが検出されない。その結果，動き予測の効率が悪い（動きベクトルが検出されない）分割画像Bの境界領域は，動き予測の効率が良い分割領域Aの境界領域と比べて，量子化処理前のデータ量が多くなる。

そのため，量子化後のデータ量を分割領域A,B間で同等にするために，分割画像BでのQ値が分割画像AでのQ値よりも大きく制御され，分割画像Bの境界付近は低画質，分割画像Aの境界付近は高画質になることが予想される。

特許文献１では，境界付近でオーバーラップ領域を設け，デコード画像データからオーバーラップ領域のデータを破棄している。しかし，いくら破棄しても合成した時の境界付近での画質の違いをなくすことは不可能であり，画質低下の抑制効果は限定的である。

図６，図７は，本実施の形態におけるエンコードとデコード処理を説明する図である。この処理によれば，エンコード処理では，例えば4K2Kの超高解像度画像である入力画像を，境界線をまたぐオーバーラップ領域OLを有するように，４つの分割画像A,B,C,Dに分割される。そして，４つの分割画像が，４つのエンコーダによりそれぞれエンコードされる。

次に，デコード処理では，エンコードされたストリームデータが４つの分割画像のストリームに分離され，４つのデコーダによりそれぞれデコードされる。そして，オーバーラップ領域OL以外は，各分割画像のデコード出力画像データ（画素データ）がそのまま合成画像の画像データになる。一方，オーバーラップ領域OLについては，次のように３つの領域に区分して，それぞれのブレンド率で両分割画像のデコード出力画像データをブレンド処理する。

すなわち，デコードされた出力画像Aのオーバーラップ領域OLを，周辺から内部に向かって，ブレンド率ゼロの領域A3と，ブレンド率がゼロから最大値に徐々に上昇する領域A2と，ブレンド率最大の領域A1とに分類する。他のデコード出力画像B,C,Dも同様に分類する。

そして，分割画像A,Bのオーバーラップ領域では，領域A1,B3がブレンド率１００％，０％でブレンド処理され，領域A2,B2が０％から１００％へ（または１００％から０％へ）徐々に変化するブレンド率でブレンド処理され，領域A3,B1がブレンド率０％，１００％でブレンド処理される。そして，ブレンド処理された結果，合成した出力画像の境界付近では，画質の違いによる不自然な画像が改善される。

図８は，本実施の形態におけるオーバーラップ領域でのブレンド率の例を示す図である。図８中，実線で示したブレンド率αa1，αb1について説明する。分割画像Aの画素のブレンド率は，右端の周辺から左側の内部に向かって，ブレンド率０％の領域A3と，ブレンド率が０％から１００％に徐々に変化する領域A2と，ブレンド率が最大の１００％の領域A3に分けられる。分割画像Bの画素のブレンド率も，左右逆ではあるが，分割画像Aと同様である。

そして，分割画像A,Bを合成する場合に，オーバーラップ領域OLでは，領域A1とB3の同じ位置の画素の階調値がブレンド率αa1＝１００％，αb1＝０％でブレンドされる。このブレンドの演算は，例えば分割画像A,Bの同じ位置の画素の階調値PA，PBに，次の演算を行ってブレンド処理後の画素の階調値PABを求める演算である。
PAB=PA*αa1+PB*αb1
このブレンド率αa1＝１００％，αb1＝０％により，領域B3の画素データは実質的に破棄され，領域A1の画素データがそのまま採用される。領域B3は分割画像Bの周辺領域であり画素の不連続により画質が低下しているからである。一方，領域A1は分割画像Aの内部領域であり画素は連続していて画質は低下していないからである。

さらに，オーバーラップ領域OLでは，領域A2,B2の同じ位置の画素の階調値がブレンド率αa1(0%-100%と変化)，αb1(100%-0%と変化)で上記の演算式によりブレンドされる。これにより，たとえデコード出力画像の分割画像A,Bの間で画質が異なっていても，それによる合成画像の境界付近の画質差による不自然さを改善することができる。

そして，オーバーラップ領域OLでは，領域A3,B1の同じ位置の画素の階調値がブレンド率αa1＝０％，αb1＝１００％でブレンドされる。このブレンド率により，領域A3の画素データは実施の形態的に破棄され，領域B1の画素データがそのまま採用される。

上記の画素データが破棄される領域A3,B3の広さは，例えば，最低でも１マイクロブロック分の１６画素に設定するのが好ましい。この領域A3,B3を広くとればそれだけ低画質の画素データが破棄されて望ましいが，逆に，その分オーバーラップ領域が広がり，エンコーダとデコーダの解像度の制約から，合成画像の周辺画素が適切にエンコード及びデコードされないことになる。

本実施の形態では，上記のブレンド率は，オーバーラップ領域OLにおける分割画像A,Bの動き予測の効率に応じて最適な値に制御される。すなわち，ブレンド領域A2,B2において隣接するエンコード分割画像の隣接側より高いブレンド率の領域が，オーバーラップ領域内のブレンド領域A2,B2での動き予測の効率がより高い（動きベクトルがより多い）分割画像側のほうが，動き予測の効率がより低い（動きベクトルがより少ない）分割画像側よりも，広く設定される。

言い換えると，ブレンド領域A2,B2における動き予測の効率が左右の分割画像で同等の場合に比較して，動き予測の効率がより高い（動きベクトルがより多い）分割画像側のブレンド率がより高く設定され，動き予測の効率がより低い（動きベクトルがより少ない）分割画像側のブレンド率がより低く設定されるように可変制御する。

図８には，動き予測の効率が，分割画像A側のほうが分割画像Bよりも高い場合におけるブレンド率αa2，αb2が，破線で示されている。ブレンド領域A2,B2における動き予測の効率が同等の場合は，ブレンド率αa1，αb1が設定される。つまり，分割画像A,B間でブレンド率が隣接側より高い領域は，分割画像A側のほうが広く設定され，分割画像B側のほうが狭く設定されている。

別の言い方では，実線のブレンド率αa1，αb1に比較して，分割画像A側のブレンド率αa2がより高く設定され，分割画像B側のブレンド率αb2がより低く設定されている。

図５に示した例のように，分割画像Aから境界に向かう物体が存在する場合，分割画像Aでは動きベクトルが検出され，動き予測の効率が高くなり，デコード出力画像の高画質が期待できる。それに対して，分割画像Bでは動きベクトルが検出されず，動き予測の効率が低くなり，デコード出力画像の画質低下が予想される。

そこで，図８では，ブレンド率１００％の領域A1を右側（分割画像B側）に拡げ，分割画像Aの境界付近の領域A2を狭くしている。それに伴い，分割画像B内のブレンド率０％の領域B3も右側に拡げ，領域B2も狭くしている。これにより，分割領域Aについて，境界付近での実線のブレンド率αa1と破線のブレンド率αa2とを比較すると，
αa1＜αa2
になっている。逆に，分割領域Bについて，境界付近での実線のブレンド率αb1と破線のブレンド率αb2とを比較すると，
αb1＞αb2
になっている。

図９は，図８のブレンド率の設定を説明する図である。図９には，（Ａ）動きベクトル情報から左右の分割画像において動きが少ないと判断された場合（動き予測の効率が同等の場合）と，（Ｂ）動きベクトル情報から画面上の物体が左から右に動いている場合（動き予測の効率が左側のほうが右側よりも高い場合）とにおける，左右の分割画像A,B及びC,Dにおける領域A1,A2,A3，B1,B2,B3，C1,C2,C3，D1,D2,D3が，それぞれ示されている。

（Ａ）動き予測が同等の場合は，例えば分割画像A,Bについていえば，領域の広さがA1=B1，A2=B2，A3=B3に設定されている。したがって，分割画像A,B間のオーバーラップ領域での隣接側より高いブレンド率を有する領域（分割画像Aでは領域A1と領域A2の一部，分割画像Bでは領域B1と領域B2の一部）が，隣接側と比較して，同等の広さに設定されている。

（Ｂ）分割画像Aのほうが分割画像Bよりも動き予測の効率が高い（左から右方向に移動する場合の動きベクトルの数が多い）場合は，A1>B1，A3<B3と設定されている。したがって，分割画像A,B間のオーバーラップ領域での隣接側より高いブレンド率を有する領域，（分割画像Aでは領域A1と領域A2の一部，分割画像Bでは領域B1と領域B2の一部）が，隣接側と比較して，より広く設定されている。

図１０，図１１は，本実施の形態におけるエンコーダユニットでの画像合成処理を説明する図である。図１０には，時刻ｔの画像と時刻ｔ＋１の画像とが示されている。時刻ｔでは，分割画像A内には左から右に移動する物体３０が存在し，分割画像B内には物体３０は存在しない。一方，時刻ｔ＋１においては，左から右に移動する物体３０は，両分割領域A,B間のオーバーラップ領域OL内に移動している。

このような場合，時刻ｔ＋１での分割画像Aにおいては，物体３０について動きベクトルが生成されるが，時刻ｔ＋１での分割画像Bにおいては，時刻ｔでは物体３０が分割画像B内に存在していなかったため，物体３０について動きベクトルは生成されない。したがって，時刻ｔ＋１の画像では，分割画像Aでは，時刻ｔの参照画像内の物体３０に対する動きベクトルでエンコードされ物体３０はインター予測でエンコードされるので，動き予測の効率が高い。一方，分割画像Bでは，時刻ｔの参照画像内に物体３０が存在せず，動きベクトルが生成されず物体３０はイントラ予測でエンコードされるので，動き予測の効率が低い。

図１１において，時刻ｔ＋１において，物体３０は，分割画像A，Bのオーバーラップ領域OL内に左から右に移動している。エンコーダユニットは，マイクロブロックMBの単位で動きベクトルの探索を行う。図１１の例において，分割画像A側では，MBライン１，２，３で物体３０に対する動きベクトル（図中矢印）が検出されている。ただし，MBライン０，４の全てのマクロブロックMBや，MBライン１，２，３内の物体３０が存在しないマクロブロックMBでは，例えば背景画像のまま変化していないので，０の動きベクトル（動きなし）が検出されている。

一方，分割画像B側では，物体３０の動きによる動きベクトルは検出されない。そして，物体３０が存在しないマクロブロックMBでは，前述と同様に，背景画像のまま変化していないので，０の動きベクトル（動きなし）が検出されて，物体３０のみ存在するマクロブロックMB（MBライン２の２つのMB)では，０の動きベクトルも検出されずイントラ予測（I)のみとなり，物体３０が一部の領域に存在するマクロブロックMB（０’）では，０の動きベクトルと物体３０の領域内のイントラ予測が併存する。

このように，オーバーラップ領域OLにおいて，左右の分割画像A,Bにおける動き補償の比較（動きベクトルの比較）は，動きベクトルを探索する単位であるマクロブロックMBの行単位で行われることが望ましい。つまり，同じマクロブロックMB行内の複数のマクロブロックMBそれぞれについて，左右の分割画像A,B内の同じ位置のマクロブロックMB同士で，左から右方向の動きベクトル，または動きベクトルの左から右方向の成分について，比較する。そして，比較結果の合計に応じてブレンド率を調整することも，マクロブロックMBの行単位で行われる。なお，上下の分割画像A,C間のオーバーラップ領域OLについては，マクロブロックMBの列単位で行われる。

図１１に示された分割画像A,Bのブレンド率にあるとおり，MBライン０，４では，左右の分割画像A,B共に左から右方向に対する動きベクトルが検出されていない。したがって，横幅が４MBのオーバーラップ領域OLにおいて，真ん中の２MBにおいてブレンド率が１００％から０％へ，または０％から１００％に変化している。

それに対して，MBライン１，２，３では，左側の分割画像Aでは左から右方向に対する動きベクトルが検出され，右側の分割画像Bでは検出されていない。したがって，オーバーラップ領域OLにおいて，分割画像A側では左側の２つのMBでブレンド率が１００％に設定され，その右側の１つのMBでブレンド率が１００％から０％に減少し，最左端の１つのMBでブレンド率が０％に設定されている。一方，分割画像B側では，オーバーラップ領域OL内において，最左端の１つのMBだけブレンド率が１００％に設定され，その右側の１つのMBでブレンド率が１００％から０％に減少し，最右端の２つのMBでブレンド率が０％に設定されている。

このように，マクロブロックMBの行単位で，左右の分割画像A,Bにおける動き補償の効率の違いに応じて，ブレンド率が可変制御される。MBライン１，２，３における分割画像A側のブレンド率がB側より高い領域は，MBライン０，４と比較すると，より広く設定されている。別の言い方をすると，MBライン１，２，３における分割画像A側のブレンド率がB側より高い領域は，分割画像B側のブレンド率がA側より高い領域よりも広く設定されている。

図１２は，ブレンド率の可変制御の例を示す図である。図１２には，分割画像AとBの各領域A1,B3，A2,B2，A3,B1におけるブレンド率の例が示されている。図１２中，左端に示したブレンド率１００％，５０％，０％は，分割画像Aに対するブレンド率であり，右端に示したブレンド率１００％，５０％，０％は，分割画像Bに対するブレンド率である。

図１２（１）の例は，図１１のMBライン０，４のブレンド率と同じである。すなわち，分割画像A内の分割画像Bより高いブレンド率を有する領域は，分割画像B内の同じ領域と同じ広さである。図１２（２）の例は，図１１のMBライン１，２，３のブレンド率と同じである。すなわち，分割画像Aにおいてブレンド率１００％から低下する境界（A1とA2の境界）を矢印の如く右側に移動させている。これにより，分割画像A内の分割画像Bより高いブレンド率を有する領域は，分割画像B内の同じ領域よりも広がっている。

図１２（２）の例の変形例として，（３）（４）が示されている。図１２（３）の例では，分割画像A内のブレンド率が低下する領域A2とブレンド率０％の領域A3との境界を矢印の如く右側に移動させている。ただし，この例では，（１）における分割画像Aの低画質の領域A3がブレンドされることになる。また，図１２（４）の例では，分割画像A内の領域A1,A2の境界と領域A2,A3の境界を共に矢印の如く右側に移動させている。図１２（２）（３）（４）のいずれの例でも，分割画像A内の分割画像Bよりもブレンド率が高い領域の面積が，分割画像B内の同じ領域の面積よりも広くなっている。

図１３は，本実施の形態における動画像処理装置の構成図である。エンコードユニットENは，例えば4K2Kの入力画像を2K1Kのオーバーラップ領域を含んだ分割画像に分割する画像分割部１０と，分割画像A,B,C,Dをそれぞれエンコードする４つのエンコーダを有するエンコーダ群１２と，エンコード分割画像データを合成してストリームデータを出力するストリーム合成部１４と，入力される設定情報に基づいてエンコーダ群１２などを制御する制御部１６とを有する。エンコーダ群１２内のエンコーダの構成は，図２で説明した通りである。

設定情報には，ストリームデータの単位時間あたりのビット数である全体ビットレートが含まれている。そして，制御部１６は，入力された全体ビットレートから求められる各エンコーダでのビットレートBRを各エンコーダに設定する。図２で説明したとおり，各エンコーダは，設定されたビットレートBR以内になるように，量子化処理でのQ値を制御する。Q値は，通常マクロブロックMB毎に可変制御される。また，量子化対象のデータ量と，設定されたビットレートBRとに基づいて，Q値が制御される。例えば，データ量が同じ場合には，ビットレートBRが大きければQ値は小さく制御可能であり，その場合，画質は高くできるが，ビットレートBRが小さければQ値は大きく制御しなければならず，その場合，画質は低くなってしまう。

ストリームデータには，前述のとおり，Iピクチャ，Pピクチャ，Qピクチャの属性データに加えて，動きベクトル，予測誤差画像データの量子化データ，Q値などを圧縮したビットストリームが含まれる。

一方，デコードユニットDEは，ストリームデータを分割画像A,B,C,Dのデータに分離するストリーム分離部２０と，分離されたストリームデータをそれぞれデコードする４つのデコーダを含むデコーダ群２２と，デコード分割画像を合成する画像合成部２４と，デコーダ全体を制御する制御部２５とを有する。

本実施の形態では，制御部２５からのVSYNCとVCLK信号に同期して各デコーダおよび画像合成部は同期して動作し, 各デコーダで生成されたデコード分割画像を合成する画像制御部２４は，各デコーダから入力される動きベクトルMVの情報に基づいて，デコード分割画像のオーバーラップ領域のブレンド率を可変設定して，合成処理を行う。

図１４は，画像合成部２４の構成例を示す図である。画像合成部２４は，合成画像における同じ画素に対応する両分割画像の画素データを，ブレンド率αに基づいて合成する合成ユニット24iを有する。分割画像A,B,C,Dを合成する合成ユニット24iは，同じ画素に対応する分割画像の画素データAi，Bi,Ci,Diをそれぞれのブレンド率αai，αbi,αci, αdiで乗算する乗算器（＊）と，乗算結果を加算して合成画素データXiを出力する加算器（＋）とを有する。 さらに，画像合成部２４は，合成制御部２４０を有する。合成制御部２４０は，VSYNCとVCLK信号入力によりデコーダ部DEと同期して動作し，画面内の画素位置を認識し，画素位置および分割画像A,B,C,Dそれぞれの動きベクトルMVa，MVb,MVc,Mvbからブレンド比率αai, αbi, αci, αdiを決定する。例えばA,B境界の合成処理対象の２つの分割画像のオーバーラップ領域内において，マクロブロックMBの行単位デコーダ部からのMVa,MVbで，両分割画像A,Bでの動きベクトルの左側から右側へ向かう（または右側から左側へ向かう）物体に対応する動きベクトル成分を比較し，比較結果に応じてブレンド率αai，αbiを制御する。

動きベクトルの比較の方法は，例えば，オーバーラップ領域内の各MB行にK個のマクロブロックMBが含まれている場合は，両分割画像A,B内の互いに対応するマクロブロックMB毎に左側から右側へ向かう（または右側から左側に向かう）物体に対応する動きベクトル成分を比較し，K個の比較結果の合計で，両分割画像A,Bのうち動き補償の効率が高いほうの分割画像を決定する。

そして，比較結果に応じたブレンド率の制御方法は，動き補償の効率が同等であれば，両分割画像において，隣接側よりブレンド率が高い領域を，両者で同等の広さとし，動き補償の効率が異なれば，隣接側よりブレンド率が高い領域については，動き補償の効率が高いほうをより広くするといった方法にする。

上記の実施の形態では，動き補償の効率が高いほうの分割画像に対して隣接側より高いブレンド率の領域を広くした。ただし，変形例として，動き補償の効率を比較することに加えて，またはそれに代えて，量子化処理時のQ値が小さいほうの分割画像に対して，隣接側より高いブレンド率の領域を広くするようにしても良い。

すなわち，量子化処理は，動き補償で生成できない予測誤差画像データ（原画像と動き補償画像との差分画像データ）に対して行われる。そして，ビットレートなどに基づいて，量子化処理時の除数であるQ値がマクロブロック毎に可変設定される。一般に，Q値が大きくなると画質が低下し，Q値が小さくなると画質が高くなる。しかも，このQ値は，ストリームデータに含められてエンコーダ側からデコーダ側に伝えられる。

そこで，デコーダユニット内の画像合成部２４は，オーバーラップ領域内のマクロブロックMBの行毎に，Q値に基づいて両分割画像のデコード画像の画質の良否を判定し，画質が良い側に対してブレンド率の高い領域を増やすよう制御することが好ましい。特に，両分割画像の動き補償の効率が同程度の場合には，オーバーラップ領域でのQ値に基づいてブレンド率を可変制御することで，より高い画質のデコード画像を合成画像に反映することができ，合成画像の画質を向上させることができる。

［第２の実施の形態］
図１５は，第２の実施の形態における動画像処理装置の構成図である。図１５において，図１３と異なる構成は，（１）エンコーダユニットENの制御部１６に入力される全体のビットレートの情報に応じて，制御部１６が分離画像のオーバーラップ領域幅OLWを設定し，画像分割部１０に設定することと，（２）ストリーム合成部１４がこの設定されたオーバーラップ領域幅OLWをストリームデータに含めて出力することと，（３）デコーダユニットDEでは，画像合成部２４が，このオーバーラップ幅OLWに応じてデコード分割画像を合成することである。画像合成部２４は，さらに，オーバーラップ幅OLWに応じて合成のためのブレンド率αを制御する。

図１６は，第２の実施の形態におけるビットレートとオーバーラップ幅OLWとの関係を示す図である。エンコーダユニットENにはストリームデータに対する全体ビットレートが設定される。全体ビットレートは，単位時間当たりのストリームデータのデータ量であり，全体ビットレートがより高い場合は，量子化処理におけるQ値をより小さく設定できるので，デコードされた画像の劣化が少ないことが期待され，分割画像の境界線が目立ちにくい。逆に，全体ビットレートがより低い場合は，Q値をより大きく設定してビットレートに収まるようにしなければならないので，デコードされた画像の劣化が多くなり，分割画像の境界線が目立ちやすくなる。

そこで，全体ビットレートがより高い場合は，オーバーラップ領域の幅OLWを狭くし，より低い場合は，広くするのが望ましい。つまり，エンコーダユニットEN内の制御部１６は，設定される全体ビットレートに応じて，オーバーラップ領域の幅OLWを可変制御する。

全体ビットレートが低く画質の低下が予想される場合は，特に，両側のデコード分割画像の画質が低下して，画質差が大きくなりやすい。この傾向は，静止画像よりも動画像のほうが顕著である。すなわち，動画像において図１０に示すように動いている物体が分割画像間をまたぐ場合は，分割画像A側では動き補償が行われ，予測誤差画像のデータ量が少なく，一方，分割画像B側では動き補償が行われず，予測誤差画像のデータ量が多くなる。このように，量子化処理対象の予測誤差画像のデータ量に差がある場合に，全体ビットレートが低いと，予測誤差画像のデータ量が多い分割画像B側での画質劣化が，予測誤差画像のデータ量が少ない分割画像A側よりも著しくなる。

そのような場合には，特に，オーバーラップ領域の幅OLWをより広く設定することで，画質劣化が激しい分割画像B側の影響を抑制することができ好ましい。第１の実施の形態では，動き補償の効率に基づいてブレンド率を変更制御しているが，ブレンドできるのはオーバーラップ領域に限られている。したがって，オーバーラップ領域を超えて画質が劣化している場合は，ブレンド率を変更するだけでは画質劣化抑制には不十分である。

そこで，第２の実施の形態では，エンコードユニット側で，設定された全体ビットレートに応じて，オーバーラップ領域の幅を可変制御することで，上記の画質劣化をより適切に抑制できるようにする。たとえば，全体ビットレートがより高い場合は，オーバーラップ領域を最低のブレンド率０％の領域A3を１マイクロブロックMBだけとし，ブレンド領域A2を１マイクロブロックMBだけとして，オーバーラップ領域の幅を２MBと設定するのが好ましい。

以上の通り，本実施の形態によれば，デコード分割画像を合成する時のブレンド率を，両分割画像の動き補償の効率に基づいて，より高い効率を持つ分割画像における高いブレンド率の領域を，反対側の分割画像よりも広くする。それにより，動き補償の効率に基づいて両デコード分割画像の画質に差が生じても，ブレンド率を最適に選択することで，合成画像の境界部分での画質低下を抑制することができる。

以上の実施の形態をまとめると，次の付記のとおりである。

（付記１）
動画像の画像を互いにオーバーラップ領域を有するように分割した複数の分割画像を，それぞれエンコードしてエンコード分割画像データを生成する複数のエンコーダを有するエンコーダユニットと，
前記エンコーダユニットから入力されるデータから前記複数のエンコード分割画像データをそれぞれデコードすると共に動きベクトルの情報をそれぞれ抽出する複数のデコーダと，前記複数のデコーダがそれぞれデコードして生成した複数のデコード分割画像を前記オーバーラップ領域にてブレンドして前記動画像の画像を出力する合成部とを有するデコーダユニットとを有し，
前記合成部は，前記複数のデコーダからそれぞれ出力される前記動きベクトルの情報に基づいて，前記オーバーラップ領域のブレンド率を決めることを特徴とする動画像処理装置。

（付記２）
付記１において，
前記ブレンド率は，前記オーバーラップ領域での前記動きベクトルの数が多いほど高いことを特徴とする動画像処理装置。

（付記３）
付記２において，前記ブレンド率を決定する動きベクトルは，前記オーバーラップ領域からいずれかの分割画像に側に出て行く方向の成分を有する動きベクトルである動画像処理装置。

（付記４）
付記１，２，３のいずれかにおいて，
前記合成部は，前記隣接するエンコード分割画像データにおける前記オーバーラップ領域での動き予測の効率が同等の場合に比較して，当該動き予測の効率がより高い分割画像側のブレンド率がより高く，より低い分割画像側のブレンド率がより低く設定される動画像処理装置。

（付記５）
付記１または２において，
前記デコード分割領域のオーバーラップ領域は，前記デコード分割画像の周辺から内部に向かって，ブレンド率ゼロの第１の領域と，ブレンド率が徐々に上昇する第２の領域と，ブレンド率最大の第３の領域とを有する動画像処理装置。

（付記６）
付記５において，
前記第３の領域は，隣接する分割画像側より動きベクトルが少ない場合に比較して，多い場合のほうが広い動画像処理装置。

（付記７）
付記６において，
前記第２の領域は，隣接する分割画像側より動きベクトルが少ない場合に比較して，多い場合のほうが狭い動画像処理装置。

（付記８）
付記１または２において
前記合成部は，前記オーバーラップ領域内の前記動きベクトルの探索単位であるマクロブロックの行または列毎に，前記ブレンド率を設定する動画像処理装置。

（付記９）
付記１または２において，
前記エンコーダユニットは，前記動画像の画像を分割する分割部を有し，
前記分割部は，前記エンコード分割画像データについて設定されたビットレートが第１のビットレートの場合よりも当該第１のビットレートより高い第２のビットレートの場合に，前記オーバーラップ領域を狭くする動画像処理装置。

（付記１０）
付記１または２において，
前記エンコーダは，量子化対象データをＱ値で除算して量子化する量子化処理部を有し，
前記デコーダは，逆量子化対象データを前記Ｑで乗算して逆量子化する逆量子化部を有し，
前記合成部は，前記オーバーラップ領域内の隣接分割画像側よりも高いブレンド率の領域が，前記オーバーラップ領域での前記Ｑ値がより小さい分割画像側のほうが，より大きい分割画像側よりも広く設定される動画像処理装置。

（付記１１）
動画像の画像を互いにオーバーラップ領域を有するように分割した複数の分割画像を，それぞれエンコードして生成された複数のエンコード分割画像データを入力し，前記複数のエンコード分割画像データをそれぞれデコードすると共に動きベクトルの情報をそれぞれ抽出する複数のデコーダと，
前記複数のデコーダがそれぞれデコードして生成した複数のデコード分割画像を前記オーバーラップ領域にてブレンドして前記動画像の画像を出力する合成部とを有し，
前記合成部は，前記複数のデコーダからそれぞれ出力される前記動きベクトルの情報に基づいて，前記オーバーラップ領域のブレンド率を決めることを特徴とする動画像処理装置。

（付記１２）
付記１１において，
前記ブレンド率は，前記オーバーラップ領域での前記動きベクトルの数が多いほど高い動画像処理装置。

（付記１３）
付記１２において，前記ブレンド率を決定する動きベクトルは，前記オーバーラップ領域からいずれかの分割画像に側に出て行く方向の成分を有する動きベクトルである動画像処理装置。

EN：エンコーダユニット
１０：画像分割部
１２：エンコーダ群
１４：ストリーム合成部
DE：デコーダユニット
２０：ストリーム分離部
２２：デコーダ群
２４：画像合成部
MV:動きベクトル
Q：Q値

Claims (8)

1. 動画像の画像を互いにオーバーラップ領域を有するように分割した複数の分割画像を，それぞれエンコードしてエンコード分割画像データを生成する複数のエンコーダを有するエンコーダユニットと，
   前記エンコーダユニットから入力されるデータから前記複数のエンコード分割画像データをそれぞれデコードすると共に動きベクトルの情報をそれぞれ抽出する複数のデコーダと，前記複数のデコーダがそれぞれデコードして生成した複数のデコード分割画像を前記オーバーラップ領域にて，前記オーバーラップ領域での前記動きベクトルの数が多いほうの前記デコード分割画像をより高いブレンド率でブレンドして前記動画像の画像を出力する合成部とを有するデコーダユニットとを有する動画像処理装置。
2. 請求項１において，前記ブレンド率を決定する動きベクトルは，前記オーバーラップ領域からいずれかの分割画像に側に出て行く方向の成分を有する動きベクトルであることを特徴とする動画像処理装置。
3. 請求項１において，
   前記オーバーラップ領域は，前記デコード分割画像の周辺から内部に向かって，ブレンド率ゼロの第１の領域と，ブレンド率が徐々に上昇する第２の領域と，ブレンド率最大の第３の領域とを有することを特徴とする動画像処理装置。
4. 請求項３において，
   前記第３の領域は，隣接する分割画像側より動きベクトルが少ない場合に比較して，多い場合のほうが広いことを特徴とする動画像処理装置。
5. 請求項１において
   前記合成部は，前記オーバーラップ領域内の前記動きベクトルの探索単位であるマクロブロックの行または列毎に，前記ブレンド率を設定することを特徴とする動画像処理装置。
6. 請求項１において，
   前記エンコーダユニットは，前記動画像の画像を分割する分割部を有し，
   前記分割部は，前記エンコード分割画像データについて設定されたビットレートが第１のビットレートの場合よりも当該第１のビットレートより高い第２のビットレートの場合に，前記オーバーラップ領域を狭くすることを特徴とする動画像処理装置。
7. 請求項１において，
   前記エンコーダは，量子化対象データをＱ値で除算して量子化する量子化処理部を有し，
   前記デコーダは，逆量子化対象データを前記Ｑ値で乗算して逆量子化する逆量子化部を有し，
   前記合成部は，前記オーバーラップ領域内の隣接分割画像側よりも高いブレンド率の領域が，前記オーバーラップ領域での前記Ｑ値がより小さい分割画像側のほうが，より大きい分割画像側よりも広く設定されることを特徴とする動画像処理装置。
8. 動画像の画像を互いにオーバーラップ領域を有するように分割した複数の分割画像を，それぞれエンコードして生成された複数のエンコード分割画像データを入力し，前記複数のエンコード分割画像データをそれぞれデコードすると共に動きベクトルの情報をそれぞれ抽出する複数のデコーダと，
   前記複数のデコーダがそれぞれデコードして生成した複数のデコード分割画像を前記オーバーラップ領域にて，前記オーバーラップ領域での前記動きベクトルの数が多いほうの前記デコード分割画像をより高いブレンド率でブレンドして前記動画像の画像を出力する合成部とを有する動画像処理装置。

Images