JP2015015666A - 動画像符号化装置およびその動作方法 - Google Patents

Abstract

【課題】動画像符号化方式に導入されたタイルの境界に発生するノイズ等を低減すること。【解決手段】動きベクトル検出部１０９で、第１の検出部１０９＿１と第２の検出部１０９＿２に１枚のピクチャーに含まれる第１のタイルの動画像信号と第２のタイルの動画像信号が供給され、第１の検出部１０９＿１と第２の検出部１０９＿２にフレームメモリ１０８から参照画像が供給される。第１の検出部１０９＿１が第１のタイルに含まれる多数の動画像信号のうちで第１のタイルと他のタイルのタイル境界またはその近傍に位置する動画像信号をインター予測によって処理する。その処理の際に、フレームメモリ１０８から読み出される参照画像のうち第１のタイルとは異なる別のタイルに含まれる参照画像を優先的に参照するように、第１の動きベクトル検出部１０９＿１が第１の動きベクトルＭＶ１を生成する。【選択図】図２

Description

本発明は、動画像符号化装置およびその動作方法に関し、特に並列処理能力を増加するために動画像符号化方式に導入されたタイルの境界に発生するノイズ等を低減するのに有効な技術に関する。

良く知られているように国際規格ＩＳＯ／ＩＥＣ １３８１８−２で標準化されたＭＰＥＧ−２の規格による動画像の一般的な圧縮方式は、ビデオストリームから冗長な情報を削除することによって、ビデオ記憶容量と必要な帯域幅とを削減すると言う原理に基づいている。尚、ＭＰＥＧは、Moving Picture Experts Groupの略である。

ＭＰＥＧ−２の規格はビットストリームのシンタックス(圧縮符号化データ列の規則または符号化データのビットストリームの構成方法)およびデコードプロセスのみを規定しているので、衛星放送・サービス、ケーブルテレビジョン、インターラクティブテレビジョン、インターネット等の種々の状況で十分利用可能なようにフレキシブルなものである。

ＭＰＥＧ−２のエンコードプロセスでは、最初にデジタルビデオの各画素のカラーと輝度との成分を規定するために、ビデオ信号はサンプルされ量子化される。カラーと輝度との成分を示す値は、マクロブロックとして知られている構造に蓄積される。マクロブロックに蓄積されたカラーと輝度との値は、離散コサイン変換(ＤＣＴ：Discrete Cosine Transform)を使用して周波数値に変換される。ＤＣＴによって得られる変換係数は、ピクチャーの輝度とカラーで異なった周波数を持つ。量子化されたＤＣＴ変換係数は、ビデオストリームを更に圧縮する可変長コーディング(ＶＬＣ：Variable Length Coding)によってエンコードされる。

ＭＰＥＧ−２のエンコードプロセスでは、動き圧縮技術による付加圧縮が規定されている。ＭＰＥＧ−２の規格では、Ｉフレーム、Ｐフレーム、Ｂフレームの３種類のピクチャーもしくはフレームが存在している。Ｉフレームは、そのフレームはビデオストリームで他のいかなるピクチャーまたはフレームを参照することなく再生されることを意味するイントラ符号化されたものである。ＰフレームとＢフレームとは、そのフレームは他のピクチャーまたはフレームの参照によって再生されることを意味するインター符号化されたものである。例えば、ＰフレームとＢフレームとは、参照フレームに関して動き推定を示す動きベクトルを含む。動きベクトルの使用によって、ＭＰＥＧエンコーダは特定のビデオストリームに必要な帯域幅の低減が可能となる。尚、Ｉフレームは独立(intra-coded)フレームと呼ばれ、Ｐフレームは片方向予測(predictive-coded)フレームと呼ばれ、Ｂフレームは両方向予測(bi-directionally predictive-coded)フレームと呼ばれる。

従って、ＭＰＥＧ−２の動画像符号化装置(Encoder)は、フレームメモリと動きベクトル検出部と動き補償部と減算部とＤＣＴ変換部と量子化部と逆量子化部と逆ＤＣＴ変換部と可変長符号化部によって構成される。符号化される動画像信号は、Ｂフレームの符号化や動きベクトルの検出ためにフレームメモリに格納された後、フレームメモリから読み出され動き補償部からの動き補償予測信号が減算部で減算され、ＤＣＴ変換部と量子化部とでそれぞれＤＣＴ変換処理と量子化処理とが実行される。量子化されたＤＣＴ変換係数は可変長符号化部で可変長符号化処理されるとともに、逆量子化部と逆ＤＣＴ変換部で局部復号処理が実行された後にこの局部復号処理結果は動き補償部を介して減算部に供給される。

一方、ＭＰＥＧ−２の動画像復号装置(Decoder)は、バッファメモリと可変長復号部と逆量子化部と逆ＤＣＴ変換部と動き補償部と加算部とフレームメモリによって構成される。ＭＰＥＧ−２の符号化ビットストリームはバッファメモリに蓄積された後、可変長復号部と逆量子化部と逆ＤＣＴ変換部とで可変長復号処理と逆量子化処理と逆ＤＣＴ変換処理がそれぞれ実行された後、加算部で可変長復号処理された動きベクトルと加算され、加算部の出力から再生画像信号が生成される。この再生画像信号はフレームメモリに格納され、他のフレームの予測に使用される。

ＭＰＥＧ−２の規格に続いて、テレビ電話等の低レートの符号化のための国際規格ＩＳＯ／ＩＥＣ １４４９６で標準化されたＭＰＥＧ−４の規格(Ｈ．２６３)よる動画像の一般的な圧縮方式も提案されている。ＭＰＥＧ−４(Ｈ．２６３)の規格による圧縮方式は、ＭＰＥＧ−２と同様にフレーム間予測と離散コサイン変換を用いた「ハイブリッド型」と呼ばれるものであり、更に半画素(ハーフペル)単位での動き補償が導入された。この圧縮方式は、ＭＰＥＧ−２と同様に、エントロピー符号化としてハフマン符号を使用するが、新しくランとレベルとラストとを同時に符号化する3次元可変長符号化（3次元ＶＬＣ）という技術を導入して、圧縮率を大きく向上させている。尚、ランとレベルとはランレングスの係数に関するものであって、ラストとは最後の係数であるかを示すものである。更に、ＭＰＥＧ−４(Ｈ．２６３)の規格には、Ｂａｓｅｌｉｎｅと呼ばれる基本部分と、Ａｎｎｅｘと呼ばれる拡張規格とがある。

ＭＰＥＧ−４(Ｈ．２６３)の規格による圧縮方式による効率改善が十分でなかったもので、従来方式との互換性を考慮せずに、より高い符号化効率を達成するために、ＭＰＥＧ−４ ＡＶＣ(Ｈ．２６４)の規格が国際規格ＩＳＯ／ＩＥＣ １４４９６−１０によって標準化された。尚、ＡＶＣは、Advanced Video Codingの略であり、ＭＰＥＧ−４ ＡＶＣ(Ｈ．２６４)の規格は、Ｈ．２６４／ＡＶＣと呼ばれる。

規格Ｈ．２４６／ＡＶＣによるビデオコーディングは、ビデオコーディング層(Video Coding Layer)と、ネットワーク抽象層(Network Abstraction Layer)とから構成されている。すなわち、ビデオコーディング層はビデオコンテキストを有効に表現するように設計されたものであり、またネットワーク抽象層はビデオのＶＣＬ表現をフォーマットするとともに種々の転送層や記憶媒体による転送のために適切な方法でのヘッダー情報を与えるものである。

ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４ ＡＶＣ(Ｈ．２６４)等の国際標準動画像符号化方法では、時間方向の相関を使って高い符号化効率を実現するために、インター符号化すなわちフレーム間予測符号化が使用されている。フレームの符号化モードには、フレーム間の相関を使わずにイントラ符号化を使用するＩフレームと、過去に符号化した１フレームからインター予測するＰフレームと、過去に符号化した２フレームからインター予測することができるＢフレームがある。

このフレーム間予測符号化では、動画像から動き補償された参照画像(予測画像)が減算され、この減算による予測残差が符号化される。符号化の処理は、ＤＣＴ(離散コサイン変換)等の直交変換と量子化と可変長符号化との処理を含んでいる。動き補償(動き補正)はフレーム間予測の参照フレームを空間的に移動させる処理を含むものであり、動き補償の処理は被符号化フレームのブロック単位で行われる。画像内容に動きが無い場合には、移動は無く被予測画素と同一位置の画素が使用される。動きが有る場合には、最も類似するブロックが探索され、移動量が動きベクトルとされる。動き補償のブロックは、ＭＰＥＧ−２の符号化方法では１６画素×１６画素／１６画素×８画素のブロックであり、ＭＰＥＧ−４の符号化方法では１６画素×１６画素／１６画素×８画素／８画素×８画素のブロックである。動き補償のブロックは、ＭＰＥＧ−４ ＡＶＣ(Ｈ．２６４)の符号化方法では１６画素×１６画素／１６画素×８画素／８画素×１６画素／８画素×８画素／８画素×４画素／４画素×８画素／４画素×４画素のブロックである。

上述した符号化処理は映像画面(フレームまたはフィールド)毎に行われるものであり、画面を細分化したブロック(通常は１６画素×１６画素、ＭＰＥＧではマクロブロック(ＭＢ)と呼ばれる)が処理単位となるものである。すなわち、符号化されるべきブロック毎に、既に符号化された参照画像から最も類似したブロック(予測画像)が選択されて、符号化画像(ブロック)と予測画像の差分信号が符号化(直交変換、量子化等)される。画面内での符号化されるブロックと予測信号の相対位置の差が動きベクトルと呼ばれるものである。

また、下記非特許文献１には、Ｈ．２４６／ＡＶＣによるビデオコーディング層(ＶＣＬ)は、ブロックベースドハイブリッドビデオコーディングと呼ばれるアプローチに従っていると記載している。ＶＣＬ設計は、マクロブロック、スライス、スライスブロックから構成されており、各ピクチャーは固定サイズの複数のマクロブロックに分割され、各マクロブロックは輝度成分で１６×１６サンプルの四角形ピクチャー領域と、それに対応する２つの色差成分のそれぞれに四角形サンプル領域とを含んでいる。１つのピクチャーは１つまたはそれ以上のスライスを含むことができ、各スライスはアクティブシーケンスとピクチャーパラメータセットとを与えると言う意味で自己包含的であり、スライス表現は基本的には他のスライスからの情報を使用することなくデコードされることができるので、シンタックスエレメントはビットストリームとピクチャーの領域のサンプルの値とから解析できる。しかしながら、より完全なデコーディングのために、スライス境界にわたってデブロッキングフィルタを適応するためには、他のスライスからのいくつかの情報が必要となる。また。各スライスはピクチャーの他のスライスと独立にエンコードされデコードされるので、スライスは並列処理に使用できることも、下記非特許文献１に記載されている。

一方で、動画像符号を扱うシステムは、デジタルＨＤＴＶ(High Definition Television)放送受信機やＨＤＴＶ信号を撮影可能なデジタルビデオカメラなどで、画像サイズは大画面化してきている。これらの信号を処理する画像符号化装置や画像復号装置には、ますます高い処理性能が求められている。

このような背景から、規格Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣの後続規格である新規格Ｈ．２６５(ＩＳＯ／ＩＥＣ ２３００８−２)が提案され、この新規格はＨＥＶＣ(High Efficiency Video Coding)と呼ばれている。この新規格はブロックサイズの適正化等により圧縮効率が優れたものであり、ＭＰＥＧ−２の規格に比較して約４倍、規格Ｈ．２６４／ＡＶＣに比較して約２倍圧縮性能を有するとしている。

一方、下記特許文献１には、ＭＰＥＧ−１／２／４とＨ．２６１／Ｈ．２６３／Ｈ．２６４−ＡＶＣ等の広く採用される種々の符号化圧縮規格では、１６×１６画素からなる１つのマクロブロックが動き補償と後続処理の処理単位として使用されているのに対し、ＨＥＶＣと呼ばれる次世代規格では、よりフレキシブルなブロック構造が処理単位として採用されると記載されている。このフレキシブルなブロック構造の単位は、コーディングユニット(ＣＵ)と呼ばれ、コーディングユニットは最大コーディングユニット(ＬＣＵ)から出発して良好な性能を達成するために、クアッド・トリー(quadtree)を使用した小さなブロックに適応的に分割される。最大コーディングユニット(ＬＣＵ)のサイズは、１６×１６画素のマクロブロックのサイズよりもずっと大きな６４×６４画素である。下記特許文献１の図１とそれに関係する開示には、クアッド・トリーに基づくコーディングユニット分割の例が示され、その深さ“ゼロ”では最初のコーディングユニット(ＣＵ)は６４×６４画素からなる最大コーディングユニット(ＬＣＵ)である。スプリットフラグ“０”は、その時点のコーディングユニット(ＣＵ)が分割されないことを示す一方、スプリットフラグ“１”は、その時点のコーディングユニット(ＣＵ)がクアッド・トリーによって４つの小さなコーディングユニットに分割されることを示す。分割後のコーディングユニット(ＣＵ)は、予め特定された最小コーディングユニット(ＣＵ)のサイズに到達するまで、更にクアッド・トリー分割されることも、下記特許文献１に記載されている。

下記非特許文献２には、ＨＥＶＣの規格の概観が記載されている。以前の規格のコーディングレイヤーのコアが、輝度サンプルの１６×１６ブロックと８×８ブロックの２つの色度サンプルを含むマクロブロックであったのに対して、ＨＥＶＣの規格の類似構成は、伝統的なマクロブロックよりも大きくエンコーダによってサイズが選択されるコーディングトリーユニット(ＣＴＵ)である。コーディングトリーユニット(ＣＴＵ)は、輝度コーディングトリーブロック(ＣＴＢ)と色度コーディングトリーブロック(ＣＴＢ)とシンタックス要素とによって構成される。コーディングトリーユニット(ＣＴＵ)のクアッド・トリー・シンタックスは、その輝度と色度のコーディングトリーブロック(ＣＴＢ)の大きさと位置とを指定する。ピクチャー領域を符号化するために、インター・ピクチャーまたはイントラ・ピクチャーが使用されるか否かの決定は、コーディングユニット(ＣＵ)のレベルでなされる。プレディクションユニット(ＰＵ)の分割構造は、コーディングユニット(ＣＵ)のレベルにその根源を持っている。基本的なプレディクションタイプの決定に依存して、輝度と色度のコーディングブロック(ＣＢ)はサイズの分割が可能で、輝度と色度のプレディクションブロック(ＰＢ)からの予測が可能である。ＨＥＶＣの規格は、６４×６４サンプルから４×４サンプルまでの可変のプレディクションブロック(ＰＢ)のサイズをサポートする。予測残差はブロック変換によって符号化されて、トランスフォームユニット(ＴＵ)のトリー構造は、コーディングユニット(ＣＵ)のレベルにその根源を持つものである。輝度のコーディングブロック(ＣＢ)の残差は、輝度のトランスフォームブロック(ＴＢ)と同一なことが可能であり、更に小さな輝度のトランスフォームブロック(ＴＢ)への分割が可能である。これは、色度のトランスフォームブロック(ＴＢ)でも同様である。離散コサイン変換(ＤＣＴ)の関数と類似した整数ベースの関数が、４×４、８×８、１６×１６、３２×３２サンプルの四角型のトランスフォームブロック(ＴＢ)のサイズのために定義されている。

更に下記非特許文献２には、ＨＥＶＣの規格のスライスは、同一のピクチャーの他のスライスから独立に符号化されることが可能なデータ構造であることが記載されている。また更に下記非特許文献２には、ＨＥＶＣの規格には、並列処理能力を強化するかパケッタイズする目的でスライスデータの構造を修正するために、タイルやウエーブフロント・パラレル・プロセッシング(ＷＰＰ)の新規な特徴が導入されていることも記載されている。タイルはピクチャーを四角形の領域に分割するものであり、タイルの主目的は誤差の回復力を提供するより並列処理の能力を増加するものである。複数のタイルは、１つのピクチャーの独立に復号可能な領域であり、こられは共有ヘッダー情報によって符号化される。ウエーブフロント・パラレル・プロセッシング(ＷＰＰ)により、１つのスライスは複数のコーディングトリーユニット(ＣＴＵ)の行に分割される。最初の行は通常の方法によって処理され、最初の行に若干の決定がされた後に２番目の行は処理を開始され、２番目の行に若干の決定がされた後に３番目の行は処理を開始されることができる。

また更に下記非特許文献２には、ＨＥＶＣの規格に準拠するビットストリームを生成可能なハイブリットビデオエンコーダの構成が記載され、そのインター・ピクチャー予測ループ中に、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣの規格で使用されるものと類似したデブロッキングフィルタが含まれることも記載されている。

米国公開特許 ＵＳ２０１２／０１０６６５２Ａ１ 明細書

ＧＡＲＹ Ｊ． ＳＵＬＬＩＶＡＮ ｅｔ ａｌ，"Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ−Ｆｒｏｍ Ｃｏｎｃｅｐｔ ｔｏ ｔｈｅ Ｈ．２６４／ＡＶＣ Ｓｔａｎｄａｒｄ" ， ＰＲＯＣＥＥＤＩＮＧ ＯＦ ＴＨＥ ＩＥＥＥ， ＶＯＬ．９３、 Ｎｏ．１， ＪＡＮＵＡＲＹ ２００５、ＰＰ．１８−３１． "Ｏｖｅｒｖｉｅｗ ｏｆ ｔｈｅ Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＨＥＶＣ） Ｓｔａｎｄａｒｄ"， Ｇａｒｙ Ｊ． Ｓｕｌｌｉｖａｎ ｅｔ ａｌ． ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＣＩＲＣＵＩＴＳ ＡＮＤ ＳＹＳＴＥＭＳ ＦＯＲ ＶＩＤＥＯ ＴＥＣＨＮＮＯＬＯＧＹ， ＶＯＬ．２２，ＮＯ．１２， ＤＥＣＥＭＢＥＲ ２０１２， ＰＰ．１６４９−１６６８．

本発明者等は本発明に先立って、新規格Ｈ．２６５(ＨＥＶＣ)に準拠して動画像を符号化することよって符号化ビットストリームを生成することが可能な動画像符号化装置(video encoder)の開発に従事した。

この開発においては、最初に本発明に先立って、本発明者等は、既存の動画像符号化方式と新規格Ｈ．２６５(ＨＥＶＣ)の符号化方式に関してレビューを行ったものである。

まず、従来のＭＰＥＧ−２／４とＨ．２６３等の動画像符号化方式では、低ビット・レートで動画像を符号化する場合には、復号画像にブロック歪みが生じたままフレーム・メモリに格納され、次のピクチャーの動き補償の処理でこのブロック歪みを含んだ復号画像を参照して符号化するため、画質の劣化が伝播すると言う問題があった。

従って、規格Ｈ．２６４／ＡＶＣによる動画像符号化方式では、フレーム・メモリに復号画像を格納するに先立って、デブロッキングフィルタによってブロック歪みの除去が行われる。このデブロッキングフィルタは、画像の符号化時に生じるブロック歪みを減少させるフィルタである。従って、デブロッキングフィルタの使用によって、動画像のブロック歪みが参照画像に含まれて復号画像に伝播されることが防止されるので、良好な画質の復号画像を再生することが可能となる。しかしながら、デブロッキングフィルタの画像処理量は膨大であり、動画像復号装置(Decoder)の全処理量の略半分が、デブロッキングフィルタの画像処理量となる場合もある。従って、ビットストリームのピクチャーパラメータセットに含まれるデブロッキングフィルタコントロールプレゼントフラグとスライスヘッダに含まれるディスエーブルデブロッキングフィルタｉｄｃの２つのパラメータとにより、下記の３種類の設定が可能となるものである。

１番目は、ブロック境界およびマクロブロック境界にデブロッキング処理を実行するものであり、２番目は、マクロブロック境界にのみデブロッキング処理を実行するものであり、３番目はデブロッキング処理を実行しないと言うものである。例えば、携帯電話等のように、低消費電力のシステムＬＳＩによって復号処理を実行する場合には、デブロッキング処理の省略によって、多少の画質の劣化を許容して処理量の削減を実現するものである。

一方、上記非特許文献２に記載のように、規格Ｈ．２６５(ＨＥＶＣ)による動画像符号化方式に導入された並列処理の能力を増加するためのタイルを使用することで、動画像符号化処理を実行する動画像符号化装置(Encoder)、および動画像復号処理を実行する動画像復号装置(Decoder)における並列処理が可能となる。近年のシステムＬＳＩは、デュアルコアまたはクアッドコアのコンピュータアーキテクチャーを採用しているので、並列処理の能力を増加するタイルの使用は、有益である。

しかし、本発明に先立った本発明者等による検討により、規格Ｈ．２６５(ＨＥＶＣ)の動画像符号化方式に導入された並列処理の能力を増加するタイルの使用によってタイル境界に不連続なノイズ等が発生して、画質の劣化が発生すると言う問題が明らかとされた。

上記非特許文献２に記載されたＨＥＶＣの規格に準拠するビットストリームの生成可能なハイブリットビデオエンコーダのデブロッキングフィルタは、上述したタイル境界での不連続なノイズ等をある程度低減することが可能であるが、十分には低減できないことが、本発明に先立った本発明者等による検討によって明らかとされた。

このような課題を解決するための手段等を以下に説明するが、その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

本願において開示される代表的な実施の形態の概要を簡単に説明すれば、下記のとおりである。

すなわち、代表的な実施の形態による動画像符号化装置(１)で動きベクトル検出を実行する動きベクトル検出部(１０９)は、少なくとも第１の動きベクトル検出部(１０９＿１)と第２の動きベクトル検出部(１０９＿２)とを含む。

前記第１の動きベクトル検出部(１０９＿１)の一方の入力端子と前記第２の動きベクトル検出部(１０９＿２)の一方の入力端子とに、動画像信号(ＶＳ)の１枚のピクチャーに含まれる第１のタイルの動画像信号と第２のタイルの動画像信号とがそれぞれ供給される。

前記第１の動きベクトル検出部(１０９＿１)の他方の入力端子と前記第２の動きベクトル検出部(１０９＿２)の他方の入力端子とに、フレームメモリ(１０８)から読み出される参照画像が供給される。

前記第１の動きベクトル検出部(１０９＿１)が、前記第１のタイルに含まれる多数の動画像信号のうちで前記第１のタイルと他のタイルのタイル境界またはその近傍に位置する動画像信号をインター予測によって処理する第１タイル境界処理を実行する。

前記第１タイル境界処理の実行の際に、前記フレームメモリから読み出される前記参照画像のうち前記第１のタイルとは異なる別のタイルに含まれる参照画像を優先的に参照するように、前記第１の動きベクトル検出部(１０９＿１)が前記第１の動きベクトルを生成する。

前記第２の動きベクトル検出部(１０９＿２)が、前記第２のタイルに含まれる多数の動画像信号のうちで前記第２のタイルと他のタイルのタイル境界またはその近傍に位置する動画像信号をインター予測によって処理する第２タイル境界処理を実行する。

前記第２タイル境界処理の実行の際に、前記フレームメモリから読み出される前記参照画像のうち前記第２のタイルとは異なる別のタイルに含まれる参照画像を優先的に参照するように、前記第２の動きベクトル検出部(１０９＿２)が前記第２の動きベクトルを生成することを特徴とする(図２参照)。

本願において開示される実施の形態のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。

すなわち、本動画像符号化装置(１)によれば、タイルの境界に発生するノイズ等を低減することができる。

図１は、実施の形態１による動画像符号化装置１の構成を示す図である。 図２は、図１に示した実施の形態１による動画像符号化装置１の動きベクトル検出部１０９と動き補償部１１０の構成を示す図である。 図３は、図２に示した実施の形態１による動きベクトル検出部１０９の第１動きベクトル検出部１０９＿１の構成を示す図である。 図４は、図１乃至図３に示した実施の形態１による動画像符号化装置１によるインター予測による符号化動作を説明する図である。 図５は、図４の符号化対象である第２ピクチャーＰｃｔ＿２の第１のタイルＴｉｌｅ＿１に含まれタイル境界線ＴＢに位置するブロックＢＬ３が、規格Ｈ．２６５(ＨＥＶＣ)によって規定された最大コーディングユニット(ＬＣＵ)のクアッド・トリーに基づく分割で生成されるプレディクションユニット(ＰＵ)であることを示す図である。 図６は、図２に示した実施の形態１による動きベクトル検出部１０９の第１と第２と第３と第４の動きベクトル検出部１０９＿１、１０９＿２、１０９＿３、１０９＿４と動き補償部１１０の第１と第２と第３と第４の動き補償部１１０＿１、１１０＿２、１１０＿３、１１０＿４とによって並列処理される符号化対象であるピクチャーＰｃｔのタイル分割を示す図である。 図７は、図６に示した第１のタイルＴｉｌｅ＿１中に含まれる多数のプレディクションユニット(ＰＵ)のうち、タイル境界線ＴＢに位置する動画像信号としてのプレディクションユニット(ＰＵ)をインター予測により符号化する際に、フレームメモリ１０８に格納された参照画像である第１ピクチャーＰｃｔ＿１の内部の探索範囲Ｓｅａｒｃｈ Ａｒｅａを示す図である。 図８は、図１乃至図３に示した実施の形態１の動画像符号化装置１が、タイル境界に位置する動画像信号をインター予測により符号化する際に、タイル境界を越えて他のタイルに含まれる参照画像を優先的に選択して参照する処理フローを説明する図である。 図９は、図２に示した動きベクトル検出部１０９と動き補償部１１０で、第１と第２と第３と第４の動きベクトル検出部１０９＿１、２、３、４が小数画素精度で動きベクトルを検出し、第１と第２と第３と第４の動き補償部１１０＿１、２、３、４が小数画素精度で動き補償予測信号を生成するための補間フィルタの構成を示す図である。 図１０は、実施の形態２による小数画素精度の位置の画素値を生成する図９に示した補間フィルタの動作を説明する図である。 図１１は、符号化対象であるプレディクションユニット(ＰＵ)がブロックＢＬ３であり、動き補償の単位が４画素×４画素である場合に、実施の形態２による図９に示した補間フィルタから生成される小数画素精度の位置の画素値を使用して動きベクトルの検出と動き補償予測信号の生成とが可能な小数探索範囲Ｆｒａｃｔｉｏｎａｌ Ｓｅａｒｃｈ Ａｒｅａを示す図である。 図１２は、図７と同様に、符号化対象であるプレディクションユニット(ＰＵ)がタイル境界線ＴＢに位置するブロックＢＬ３である場合に、実施の形態２による図９に示した補間フィルタから生成される小数画素精度の位置の画素値を用いた探索が可能な小数探索範囲Ｆｒａｃｔｉｏｎａｌ Ｓｅａｒｃｈ Ａｒｅａを示す図である。 図１３は、図９乃至図１２に示した実施の形態２による動画像符号化装置１が、タイル境界に位置する動画像信号をインター予測により符号化する際に、タイル境界を越えて他のタイルに含まれる参照画像を優先的に選択して参照する処理フローを説明する図である。

１．実施の形態の概要
まず、本願において開示される代表的な実施の形態についてその概要を説明する。代表的な実施の形態の概要説明で括弧を付して参照する図面の参照符号は、それが付された構成要素の概念に含まれるものを例示するに過ぎない。

［１］．代表的な実施の形態では、符号化されるべき動画像信号(ＶＳ)の符号化画像領域(ＰＵ)と最も類似する参照画像領域をフレームメモリ(１０８)から読み出される参照画像にて動きベクトル検出(１０９)によって探索することによって、動きベクトルが生成される。

前記動きベクトルと前記フレームメモリ(１０８)から読み出される前記参照画像とから、動き補償(１１０)によって動き補償予測信号が生成される。

前記動画像信号(ＶＳ)と前記動き補償予測信号との減算(１０１)によって、予測残差が生成される。

前記減算(１０１)によって生成された前記予測残差の変換処理(１０２)と量子化処理(１０３)と逆量子化処理(１０４)と逆変換処理(１０５)の処理結果と前記動き補償(１１０)によって生成される前記動き補償予測信号との加算(１０６)によって、前記フレームメモリ(１０８)に格納される前記参照画像が生成される動画像符号化装置(１)である(図１参照)。

前記動きベクトル検出を実行する動きベクトル検出部(１０９)は、少なくとも第１の動きベクトル検出部(１０９＿１)と第２の動きベクトル検出部(１０９＿２)とを含む。

前記第１の動きベクトル検出部(１０９＿１)の一方の入力端子と前記第２の動きベクトル検出部(１０９＿２)の一方の入力端子とに、前記動画像信号(ＶＳ)の１枚のピクチャーに含まれる第１のタイルの動画像信号と第２のタイルの動画像信号とがそれぞれ供給される。

前記第１の動きベクトル検出部(１０９＿１)の他方の入力端子と前記第２の動きベクトル検出部(１０９＿２)の他方の入力端子とに、前記フレームメモリ(１０８)から読み出される前記参照画像が供給される。

前記第１の動きベクトル検出部(１０９＿１)の出力端子と前記第２の動きベクトル検出部(１０９＿２)の出力端子から、第１の動きベクトル(ＭＶ１)と第２の動きベクトル(ＭＶ２)とが並列に生成される。

前記動き補償を実行する動き補償部(１１０)は、少なくとも第１の動き補償部(１１０＿１)と第２の動き補償部(１１０＿２)とを含む。

前記第１の動き補償部(１１０＿１)の一方の入力端子と前記第２の動き補償部(１１０＿２)の一方の入力端子とに、前記第１の動きベクトル(ＭＶ１)と前記第２の動きベクトル(ＭＶ２)とがそれぞれ供給される。

前記第１の動き補償部(１１０＿１)の他方の入力端子と前記第２の動き補償部(１１０＿２)の他方の入力端子とに、前記フレームメモリ(１０８)から読み出される前記参照画像が供給される。

前記第１の動き補償部(１１０＿１)の出力端子と前記前記第２の動き補償部(１１０＿２)の出力端子から、前記動き補償予測信号としての第１の動き補償予測信号と第２の動き補償予測信号とが並列に生成される。

前記第１の動きベクトル検出部(１０９＿１)が、前記第１のタイルに含まれる多数の動画像信号のうち、前記第１のタイルと他のタイルのタイル境界またはその近傍に位置する動画像信号をインター予測によって処理する第１タイル境界処理を実行する。

前記第１タイル境界処理の実行の際に、前記フレームメモリから読み出される前記参照画像のうち、前記第１のタイルとは異なる別のタイルに含まれる参照画像を優先的に参照するように、前記第１の動きベクトル検出部(１０９＿１)が前記第１の動きベクトルを生成する。

前記第２の動きベクトル検出部(１０９＿２)が、前記第２のタイルに含まれる多数の動画像信号のうち、前記第２のタイルと他のタイルのタイル境界またはその近傍に位置する動画像信号をインター予測によって処理する第２タイル境界処理を実行する。

前記第２タイル処理境界の実行の際に、前記フレームメモリから読み出される前記参照画像のうち、前記第２のタイルとは異なる別のタイルに含まれる参照画像を優先的に参照するように、前記第２の動きベクトル検出部(１０９＿２)が前記第２の動きベクトルを生成することを特徴とする(図２参照)。

前記実施の形態によれば、タイルの境界に発生するノイズ等を低減することができる。

好適な実施の形態では、前記第１の動きベクトル検出部は、前記第１の動きベクトル検出部の前記一方の入力端子と前記他方の入力端子にそれぞれ供給される前記第１のタイルの動画像信号のアドレス情報と前記参照画像のアドレス情報と前記タイル境界に関する情報に従って、前記第１の動きベクトルを生成する。

前記第２の動きベクトル検出部は、前記第２の動きベクトル検出部の前記一方の入力端子と前記他方の入力端子にそれぞれ供給される前記第２のタイルの動画像信号のアドレス情報と前記参照画像のアドレス情報と前記タイル境界に関する情報に従って、前記第２の動きベクトルを生成することを特徴とするものである(図３参照)。

他の好適な実施の形態では、前記第１の動きベクトル検出部(１０９＿１)と前記第２の動きベクトル検出部(１０９＿２)とは、整数画素位置の画素値の補間を実行する複数タップの補間フィルタを使用することによって、小数画素精度で前記第１の動きベクトル(ＭＶ１)と前記第２の動きベクトル(ＭＶ２)とを生成可能とされる(図９乃至図１３参照)。

更に他の好適な実施の形態では、前記第１の動きベクトル検出部(１０９＿１)は、前記小数画素精度によって設定される前記動きベクトル検出(１０９)の小数探索範囲に、前記第１の動きベクトルを生成する際に、前記第１のタイルとは異なる前記別のタイルに含まれる前記参照画像を含むことが可能である。

前記第２の動きベクトル検出部(１０９＿２)は、前記小数画素精度によって設定される前記動きベクトル検出(１０９)の小数探索範囲に、前記第２の動きベクトルを生成する際に前記第２のタイルとは異なる前記別のタイルに含まれる前記参照画像を含むことが可能であることを特徴とするものである(図１２参照)。

具体的な実施の形態では、前記第１の動きベクトル検出部の前記一方の入力端子と前記第２の動きベクトル検出部の前記一方の入力端子とにそれぞれ供給される前記第１のタイルの動画像信号と前記第２のタイルの動画像信号は、規格Ｈ．２６５(ＨＥＶＣ)に準拠して分割される複数のタイルの動画像信号であることを特徴とするものである。

更に具体的な実施の形態では、前記第１タイル境界処理および前記第２タイル処理境界により処理される前記タイル境界の前記近傍は、前記規格Ｈ．２６５(ＨＥＶＣ)によって規定された６４×６４画素のサイズを有する最大コーディングユニット(ＬＣＵ)よりも小さな距離で前記タイル境界に位置するものであることを特徴とするものである。

２．実施の形態の詳細
次に、実施の形態について更に詳述する。尚、発明を実施するための最良の形態を説明するための全ての図において、前記の図と同一の機能を有する部品には同一の符号を付して、その繰り返しの説明は省略する。

［実施の形態１］
《動画像符号化装置の構成》
図１は、実施の形態１による動画像符号化装置１の構成を示す図である。

図１に示した実施の形態１による動画像符号化装置１は、コーディングユニットバッファ１００と減算器１０１と周波数変換部１０２と量子化部１０３と逆量子化部１０４と逆周波数変換部１０５と加算器１０６によって構成される。更に動画像符号化装置１は、フィルタユニット１０７とフレームメモリ１０８と動きベクトル検出部１０９と動き補償部１１０とバッファメモリ１１１とイントラ予測部１１２とセレクタ部１１３とエントロピーエンコーダ１１４とビデオバッファ１１５によって構成される。

動画像信号ＶＳはＨＥＶＣ規格のフレキシブルなブロック構造である処理単位のコーディングユニット(ＣＵ)に分割された後に、コーディングユニット(ＣＵ)はコーディングユニットバッファ１００に格納される。コーディングユニットバッファ１００から読み出されたコーディングユニット(ＣＵ)は、減算器１０１の一方の入力端子と動きベクトル検出部１０９の一方の入力端子とイントラ予測部１１２の一方の入力端子とに供給される。

図１に示されていないが、動画像の各ピクチャーのインター予測もしくはイントラ予測を示す予測モードが、図示しない符号化制御ユニットからセレクタ部１１３とエントロピーエンコーダ１１４に供給される。インター符号化される動画像信号のコーディングユニット(ＣＵ)は、Ｂフレームの符号化や動きベクトルの検出ためにバッファ１００に格納された後、バッファ１００から読み出されたコーディングユニット(ＣＵ)は、減算器１０１の一方の入力端子に供給される。動きベクトル検出部１０９はバッファ１００から読み出された動画像信号とフレームメモリ１０８に格納された参照画像とに応答して、動きベクトルＭＶを生成して、動き補償部１１０は動きベクトル検出部１０９から生成された動きベクトルＭＶとフレームメモリ１０８に格納された参照画像とに応答して、動き補償予測信号を生成する。動き補償部１１０からの動き補償予測信号がセレクタ部１１３を介して減算部１０１で動画像信号から減算され、減算部１０１の減算出力信号に関して周波数変換部１０２と量子化部１０３とでそれぞれ周波数変換処理と量子化処理とが実行される。量子化部１０３で量子化された周波数変換係数と動きベクトル検出部１０９から生成された動きベクトルＭＶとはエントロピーエンコーダ１１４で可変長符号化処理され、ビデオバッファ１１５を介して圧縮ビデオビットストリームＣＶＢＳが生成される。量子化部１０３で量子化された周波数変換係数は、逆量子化部１０４と逆周波数変換部１０５と加算器１０６とフィルタユニット１０７とによって局部復号処理が実行された後に、この局部復号処理結果は参照画像としてフレームメモリ１０８に格納される。フィルタユニット１０７は、ＭＰＥＧ−４ ＡＶＣ(Ｈ．２６４)の規格に従って、ブロック歪みを低減するためのデブロッキングフィルタの機能を有するものである。また更にフィルタユニット１０７は、新規格Ｈ．２６５(ＨＥＶＣ)に準拠するために、デブロッキングフィルタ機能の後にサンプルアダプティブオフセット(ＳＡＯ)と呼ばれるフィルタ機能を有する。このサンプルアダプティブオフセット(ＳＡＯ)のフィルタ機能は、動画像符号化装置１の図示しない符号化制御ユニットの度数分布解析により決定される追加パラメータによって記述されるルックアップテーブルを使用することにより、原信号振幅を良好に再構築するものである。

イントラ符号化される動画像信号はバッファ１００に格納された後に、バッファ１００から読み出された動画像信号は、イントラ予測部１１２の一方の入力端子に供給される。一方、バッファメモリ１１１には、イントラ予測によって符号化されて局部復号処理によって生成された参照画像が格納されているので、バッファメモリ１１１から読み出された参照画像がイントラ予測部１１２の他方の入力端子に供給される。従って、イントラ予測部１１２は、一方の入力端子に供給される動画像信号のコーディングユニット(ＣＵ)をイントラ符号化する際に、バッファメモリ１１１から他方の入力端子に供給される符号化済みの参照画像に含まれる複数の近隣のコーディングユニット(ＣＵ)から最適なコーディングユニットを選択して更に選択された最適なコーディングユニットの空間情報を生成する。その結果、イントラ予測部１１２は、イントラ予測された最適なコーディングユニット(ＣＵ)と対応する空間的予測モードとを含んだイントラ予測情報をセレクタ部１１３に供給するものである。

《動きベクトル検出部と動き補償部の構成》
図２は、図１に示した実施の形態１による動画像符号化装置１の動きベクトル検出部１０９と動き補償部１１０の構成を示す図である。

図２に示したように、動きベクトル検出部１０９は、タイル分割部１０９＿０と第１動きベクトル検出部１０９＿１と第２動きベクトル検出部１０９＿２と第３動きベクトル検出部１０９＿３と第４動きベクトル検出部１０９＿４とを含む。

動きベクトル検出部１０９のタイル分割部１０９＿０の入力端子にバッファ１００から読み出された動画像信号が供給されることによって、タイル分割部１０９＿０は図示しない符号化制御ユニットから供給されるＨＥＶＣ規格のタイル分割情報に従って、１枚のピクチャーの動画像信号を並列処理能力の増加のために複数のタイルに分割する。その結果、タイル分割部１０９＿０から生成される第１タイルの動画像信号が第１動きベクトル検出部１０９＿１の一方の入力端子に供給され、タイル分割部１０９＿０から生成される第２タイルの動画像信号が、第２動きベクトル検出部１０９＿２の一方の入力端子に供給される。第１動きベクトル検出部１０９＿１の他方の入力端子と第２動きベクトル検出部１０９＿２の他方の入力端子には、フレームメモリ１０８から読み出される参照画像が並列に供給されるので、第１動きベクトル検出部１０９＿１から第１動きベクトルＭＶ１が生成されるのと並列に第２動きベクトル検出部１０９＿２から第２動きベクトルＭＶ２が生成される。タイル分割部１０９＿０から生成される第３タイルの動画像信号が第３動きベクトル検出部１０９＿３の一方の入力端子に供給され、タイル分割部１０９＿０から生成される第４タイルの動画像信号が第４動きベクトル検出部１０９＿４の一方の入力端子に供給される。第３動きベクトル検出部１０９＿３の他方の入力端子と第４動きベクトル検出部１０９＿４の他方の入力端子には、フレームメモリ１０８から読み出される参照画像が並列に供給されるので、第３動きベクトル検出部１０９＿３から第３動きベクトルＭＶ３が生成されるのと並列に第４動きベクトル検出部１０９＿４から第４動きベクトルＭＶ４が生成される。

図２に示したように、動き補償部１１０は、第１動き補償部１１０＿１と第２動き補償部１１０＿２と第３動き補償部１１０＿３と第４動き補償部１１０＿４を含む。第１動き補償部１１０＿１の一方の入力端子に、第１動きベクトル検出部１０９＿１から生成される第１動きベクトルＭＶ１が供給され、第２動き補償部１１０＿２の一方の入力端子に、第２動きベクトル検出部１０９＿２から生成される第２動きベクトルＭＶ２が供給される。第１動き補償部１１０＿１の他方の入力端子と第２動き補償部１１０＿２の他方の入力端子とに、フレームメモリ１０８から読み出される参照画像が並列に供給されるので、第１動き補償部１１０＿１から第１動き補償予測信号が生成されるのと並列に、第２動き補償部１１０＿２から第２動き補償予測信号が生成される。第３動き補償部１１０＿３の一方の入力端子に、第３動きベクトル検出部１０９＿３から生成される第３動きベクトルＭＶ３が供給され、第４動き補償部１１０＿４の一方の入力端子に、第４動きベクトル検出部１０９＿４から生成される第４動きベクトルＭＶ４が供給される。第３動き補償部１１０＿３の他方の入力端子と第４動き補償部１１０＿４の他方の入力端子とに、フレームメモリ１０８から読み出される参照画像が並列に供給されるので、第３動き補償部１１０＿３から第３動き補償予測信号が生成されるのと並列に、第４動き補償部１１０＿４から第４動き補償予測信号が生成される。このように図２に示した動き補償部１１０の第１動き補償部１１０＿１と第２動き補償部１１０＿２と第３動き補償部１１０＿３と第４動き補償部１１０＿４から並列に生成される第１動き補償予測信号と第２動き補償予測信号と第３動き補償予測信号と第４動き補償予測信号とは、セレクタ部１１３の一方の入力端子に並列に供給される。

図１と図２に示した実施の形態１による動画像符号化装置１では、符号化される動画像信号のタイル分割部１０９＿０によるタイル分割と全く同一のタイル分割によって、フレームメモリ１０８に格納された参照画像が分割されている。その結果、タイル分割部１０９＿０による符号化される動画像信号のタイル分割のタイル境界線と、フレームメモリ１０８に格納された参照画像のタイル分割のタイル境界線とは、完全に一致している。従って、図２に示した動きベクトル検出部１０９では、フレームメモリ１０８に格納された参照画像の画面内に含まれる第１と第２と第３と第４のタイル等の全てのタイルの参照画像情報が、第１と第２と第３と第４の動きベクトル検出部１０９＿１、１０９＿２、１０９＿３、１０９＿４に並列に供給される。更に図２に示した動き補償部１１０では、フレームメモリ１０８に格納された参照画像の画面内に含まれる第１と第２と第３と第４のタイル等の全てのタイルの参照画像情報が、第１と第２と第３と第４の動き補償部１１０＿１、１１０＿２、１１０＿３、１１０＿４に並列に供給される。

以上説明したように図２の動きベクトル検出部１０９では、タイル分割部１０９＿０は動画像信号を複数のタイルに分割して、第１と第２と第３と第４の動きベクトル検出部１０９＿１、１０９＿２、１０９＿３、１０９＿４はフレームメモリ１０８に格納された参照画像の全てのタイルの参照画像情報を参照して、４個のタイルに分割された動画像信号に関して動きベクトル検出を実行する。従って、第１動きベクトル検出部１０９＿１と第２動きベクトル検出部１０９＿２と第３動きベクトル検出部１０９＿３と第４動きベクトル検出部１０９＿４とから、第１動きベクトルＭＶ１と第２動きベクトルＭＶ２と第３動きベクトルＭＶ３と第４動きベクトルＭＶ４とが並列に生成される。更に図２に示した動き補償部１１０では、第１と第２と第３と第４の動き補償部１１０＿１、１１０＿２、１１０＿３、１１０＿４は、第１と第２と第３と第４の動きベクトルＭＶ１、ＭＶ２、ＭＶ３、ＭＶ４とフレームメモリ１０８から読み出される参照画像の全てのタイルの参照画像情報とを使用して、第１と第２と第３と第４の動き補償予測信号を並列に生成する。

図１と図２とに示した実施の形態１による動画像符号化装置１の動きベクトル検出部１０９と動き補償部１１０は、規格Ｈ．２６５(ＨＥＶＣ)の動画像符号化方式に導入されたタイルの境界に発生するノイズ等を低減するために、下記の特徴を有するものである。

すなわち、第１動きベクトル検出部１０９＿１が第１タイルに含まれる多数の動画像信号のうち、第１のタイルと他のタイルのタイル境界またはその近傍に位置する動画像信号をインター予測によって符号化する際に、第２と第３と第４のタイル等のいずれかの他のタイルに含まれる参照画像を優先的に選択するように、第１動きベクトル検出部１０９＿１が構成される。その結果、第１動きベクトル検出部１０９＿１から生成される第１動きベクトルＭＶ１の方向は、第１のタイルから他のタイルに向かう方向に優先的に選択される。従って、第１タイルのうち、タイル境界またはその近傍に位置する動画像信号をインター予測するための第１動き補償部１１０＿１から生成される第１動き補償予測信号は、第２と第３と第４のタイル等のいずれかの他のタイルに含まれる参照画像を優先的に含むものである。ここで、タイル境界の近傍は、規格Ｈ．２６５(ＨＥＶＣ)によって規定された６４×６４画素のサイズを有する最大コーディングユニット(ＬＣＵ)よりも小さな距離でタイル境界に位置することを意味するものである。

第２動きベクトル検出部１０９＿２が第２タイルに含まれる多数の動画像信号のうち、第２のタイルと他のタイルのタイル境界またはその近傍に位置する動画像信号をインター予測によって符号化する際に、第１と第３と第４のタイル等のいずれかの他のタイルに含まれる参照画像を優先的に選択するように、第２動きベクトル検出部１０９＿２が構成される。その結果、第２動きベクトル検出部１０９＿２から生成される第２動きベクトルＭＶ２の方向は、第２のタイルから他のタイルに向かう方向に優先的に選択される。従って、第２タイルのうちタイル境界またはその近傍に位置する動画像信号をインター予測するための第２動き補償部１１０＿２から生成される第２動き補償予測信号は、第１と第３と第４のタイル等のいずれかの他のタイルに含まれる参照画像を優先的に含むものである。尚、タイル境界の近傍は、上述の規定で定義される。

第３動きベクトル検出部１０９＿３が第３タイルに含まれる多数の動画像信号のうち、第３のタイルと他のタイルのタイル境界またはその近傍に位置する動画像信号をインター予測によって符号化する際に、第１と第２と第４のタイル等のいずれかの他のタイルに含まれる参照画像を優先的に選択するように、第３動きベクトル検出部１０９＿３が構成される。その結果、第３動きベクトル検出部１０９＿３から生成される第３動きベクトルＭＶ３の方向は、第３のタイルから他のタイルに向かう方向に優先的に選択される。従って、第３タイルのうちタイル境界またはその近傍に位置する動画像信号をインター予測するための第３動き補償部１１０＿３から生成される第３動き補償予測信号は、第１と第２と第４のタイル等のいずれかの他のタイルに含まれる参照画像を優先的に含むものである。尚、タイル境界の近傍は、上述の規定で定義される。

第４動きベクトル検出部１０９＿４が第４タイルに含まれる多数の動画像信号のうち、第４のタイルと他のタイルのタイル境界またはその近傍に位置する動画像信号をインター予測によって符号化する際に、第１と第２と第３のタイル等のいずれかの他のタイルに含まれる参照画像を優先的に選択するように、第４動きベクトル検出部１０９＿４が構成される。その結果、第４動きベクトル検出部１０９＿４から生成される第４動きベクトルＭＶ４の方向は、第４のタイルから他のタイルに向かう方向に優先的に選択される。従って、第４タイルのうち、タイル境界またはその近傍に位置する動画像信号をインター予測するための第４動き補償部１１０＿４から生成される第４動き補償予測信号は、第１と第２と第３のタイル等のいずれかの他のタイルに含まれる参照画像を優先的に含むものである。尚、タイル境界の近傍は、上述の規定で定義される。

従って、図１と図２に示した実施の形態１による動画像符号化装置１では、上述した特徴によってタイルのタイル境界またはその近傍に位置する動画像信号をインター予測により符号化する際に、タイル境界を越えて他のタイルに含まれる参照画像を優先的に選択して参照するものである。その結果、タイル境界の動画像の画質の差違が軽減され、規格Ｈ．２６５(ＨＥＶＣ)の動画像符号化方式に導入されたタイルの境界またはその近傍に発生するノイズ等を低減することが可能となる。

《第１動きベクトル検出部の構成》
図３は、図２に示した実施の形態１による、動きベクトル検出部１０９の第１動きベクトル検出部１０９＿１の構成を示す図である。

図３に示したように、第１動きベクトル検出部１０９＿１は、データ分離部１０９＿１＿１と絶対値演算部１０９＿１＿２とタイル判定部１０９＿１＿３と加算部１０９＿１＿４と最適ブロック判定部１０９＿１＿５と最適位置記憶部１０９＿１＿６とを含む。

データ分離部１０９＿１＿１には、図示しない符号化制御ユニットから供給されるタイル分割情報ＴＤＩと、符号化対象ブロックＴ＿Ｂの画素情報および画面内アドレスと、参照ブロックＲ＿Ｂの画素情報および画面内アドレスが供給される。符号化対象ブロックＴ＿Ｂはタイル分割部１０９＿０から生成される第１タイルの動画像信号に含まれる、インター符号化されるコーディングユニット(ＣＵ)であり、参照ブロックＲ＿Ｂはフレームメモリ１０８から読み出される参照画像に含まれる、上述のインター符号化されるコーディングユニット(ＣＵ)に対応するブロックサイズを有する多数の参照画像ブロックである。この多数の参照画像ブロックである参照ブロックＲ＿Ｂは、フレームメモリ１０８に格納された参照画像の画面内に含まれる第１と第２と第３と第４のタイル等の全てのタイルの参照画像情報である。

絶対値演算部１０９＿１＿２には、データ分離部１０９＿１＿１から符号化対象ブロックＴ＿Ｂの画素情報と多数の参照ブロックＲ＿Ｂの画素情報が供給されるので、絶対値演算部１０９＿１＿２は符号化対象ブロックＴ＿Ｂの画素情報と多数の参照ブロックＲ＿Ｂの画素情報の差分の絶対値Ｓｉｍ＿Ｖを次々に算出するものである。この差分の絶対値Ｓｉｍ＿Ｖが小さな参照ブロックＲ＿Ｂの画素情報は、符号化対象ブロックＴ＿Ｂの画素情報と類似していることになる。尚、符号化対象ブロックＴ＿Ｂの画素情報と多数の参照ブロックＲ＿Ｂの画素情報とは、輝度信号Ｙと色差信号Ｃｒ、Ｃｂとを、例えば４：２：０の比率で含むものである。

タイル判定部１０９＿１＿３には、データ分離部１０９＿１＿１からタイル分割情報ＴＤＩと符号化対象ブロックＴ＿Ｂの画面内アドレスと多数の参照ブロックＲ＿Ｂの画面内アドレスとが供給されるので、タイル判定部１０９＿１＿３は符号化対象ブロックＴ＿Ｂが所属するタイルと多数の参照ブロックＲ＿Ｂの各ブロックが所属するタイルとが同一か否かを判定する。タイルが同一の場合にはタイル判定部１０９＿１＿３は、絶対値の大きな重み係数値Ｗｇ＿Ｖを生成して、同一でない場合には、タイル判定部１０９＿１＿３は、絶対値の小さな重み係数値Ｗｇ＿Ｖを生成する。

加算部１０９＿１＿４は、絶対値演算部１０９＿１＿２から生成される差分の絶対値Ｓｉｍ＿Ｖとタイル判定部１０９＿１＿３から生成される重み係数値Ｗｇ＿Ｖとの加算を実行するので、加算部１０９＿１＿４の加算結果は、最適ブロック判定部１０９＿１＿５に供給される。最適ブロック判定部１０９＿１＿５は加算部１０９＿１＿４から次々に供給される加算結果に応答して、最小値の加算結果を更新する。最適ブロック判定部における最小値の加算結果の更新に応答して、最適位置記憶部１０９＿１＿６には最小値の加算結果に対応する参照ブロックＲ＿Ｂの画面内アドレスが更新され格納される。従って、最適ブロック判定部１０９＿１＿５によって更新される最小加算値の最適な参照ブロックＲ＿Ｂが有する画面内アドレスと符号化対象ブロックＴ＿Ｂの画面内アドレスとを使用して、最適ブロック判定部１０９＿１＿５から第１動きベクトルＭＶ１が生成されるものである。その結果、第１動きベクトル検出部１０９＿１から生成される第１動きベクトルＭＶ１の方向は、第１のタイルから他のタイルに向かう方向に優先的に選択される。

図２に示した動きベクトル検出部１０９の第２動きベクトル検出部１０９＿２と第３動きベクトル検出部１０９＿３と第４動きベクトル検出部１０９＿４の各検出部も、図３に示した第１動きベクトル検出部１０９＿１と同様に構成される。

《インター予測による符号化動作》
図４は、図１乃至図３に示した実施の形態１による動画像符号化装置１によるインター予測による符号化動作を説明する図である。

図４に示した時間経過の第２時刻Ｔ２のタイミングで、図１乃至図３に示した実施の形態１による動画像符号化装置１によって、符号化対象である第２ピクチャーＰｃｔ＿２がインター予測により符号化されることを想定する。第２ピクチャーＰｃｔ＿２は、タイル境界線ＴＢを境にして第１のタイルＴｉｌｅ＿１と第２のタイルＴｉｌｅ＿２に分割される。第２ピクチャーＰｃｔ＿２は図２のタイル分割部１０９＿０により第１のタイルＴｉｌｅ＿１と第２のタイルＴｉｌｅ＿２に分割され、第１のタイルＴｉｌｅ＿１の動画像信号の第１動きベクトル検出器１０９＿１と第１動き補償部１１０＿１による処理と、第２のタイルＴｉｌｅ＿２の動画像信号の第２動きベクトル検出器１０９＿２と第２動き補償部１１０＿２による処理が、並列に実行される。第１のタイルＴｉｌｅ＿１の内部には多数の動画像信号が含まれ、多数の動画像信号のうち、ブロックＢＬ３の動画像信号がタイル境界線ＴＢに位置して、特にタイル境界線ＴＢに位置するブロックＢＬ３の動画像信号がインター予測による符号化されるものである。

第２時刻Ｔ２のタイミングでの第２ピクチャーＰｃｔ＿２のインター予測による符号化に際して、動画像符号化装置１の内部の局部復号処理によって復号済みの参照画像である第１ピクチャーＰｃｔ＿１が、図４に示した時間経過の第１時刻Ｔ１のタイミングで、フレームメモリ１０８に格納されている。符号化対象である第２ピクチャーＰｃｔ＿２のタイル分割のタイル境界線ＴＢと同一のタイル境界線ＴＢによって、復号済みの参照画像である第１ピクチャーＰｃｔ＿１も第１のタイルＴｉｌｅ＿１と第２のタイルＴｉｌｅ＿２とに分割される。参照画像である第１ピクチャーＰｃｔ＿１の第１のタイルＴｉｌｅ＿１に含まれてタイル境界線ＴＢに位置するブロックＢＬ＿０は、符号化対象である第２ピクチャーＰｃｔ＿２の第１のタイルＴｉｌｅ＿１に含まれたインター予測による符号化対象のブロックＢＬ３と同一のブロックサイズ(コーディングユニット(ＣＵ))と同一の画面内アドレスとを有している。参照画像である第１ピクチャーＰｃｔ＿１の第１のタイルＴｉｌｅ＿１には、符号化対象のブロックＢＬ３のインター予測に使用される参照候補ブロックＢＬ1が含まれ、第２のタイルＴｉｌｅ＿２にも、符号化対象のブロックＢＬ３のインター予測に使用される参照候補ブロックＢＬ２が含まれる。尚、参照候補ブロックＢＬ1、ＢＬ２は符号化対象のブロックＢＬ３と同一のブロックサイズ(コーディングユニット(ＣＵ))を有し、参照候補ブロックＢＬ1は動きベクトルＭＶ＿０１を有し、参照候補ブロックＢＬ２は動きベクトルＭＶ＿０２を有している。

上述のように、図１乃至図３に示した実施の形態１による動画像符号化装置１では、タイル境界またはその近傍に位置する動画像信号をインター予測により符号化する際に、タイル境界を越えて他のタイルに含まれる参照画像を優先的に選択して参照する。従って、符号化対象である第２ピクチャーＰｃｔ＿２の第１のタイルＴｉｌｅ＿１に含まれ、タイル境界線ＴＢに位置するブロックＢＬ３の動画像信号がインター予測による符号化される際に、参照画像である第１ピクチャーＰｃｔ＿１の第１のタイルＴｉｌｅ＿１に含まれた参照候補ブロックＢＬ1よりも、第２のタイルＴｉｌｅ＿２に含まれた参照候補ブロックＢＬ２が優先的に選択される。その結果、第２ピクチャーＰｃｔ＿２の第１のタイルＴｉｌｅ＿１に含まれ、タイル境界線ＴＢに位置するブロックＢＬ３の動画像信号がインター予測により符号化される際に、タイル境界線ＴＢを越えて他のタイルである第２のタイルＴｉｌｅ＿２に含まれる参照候補ブロックＢＬ２の参照画像が、優先的に選択され参照されるものである。従って、第２ピクチャーＰｃｔ＿２の第１のタイルＴｉｌｅ＿１に含まれてタイル境界線ＴＢに位置するブロックＢＬ３の動画像信号がインター予測により符号化される際に、タイル境界線ＴＢの第１のタイルＴｉｌｅ＿１と第２のタイルＴｉｌｅ＿２との画質の相違が軽減され、タイル境界線ＴＢに位置するブロックＢＬ３に発生するノイズ等を低減することが可能となる。

尚、図４に示した時間経過の第３時刻Ｔ３のタイミングで、符号化対象である第３ピクチャーＰｃｔ＿３がインター予測による符号化される際に、第１ピクチャーＰｃｔ＿１と第２ピクチャーＰｃｔ＿２のいずれか一方を参照画像として使用することが可能である。その際には、第３ピクチャーＰｃｔ＿３のタイル境界に位置する動画像信号をインター予測により符号化する場合に、タイル境界を越えて他のタイルに含まれる参照画像を優先的に選択して参照するものである。

《ＬＣＵに含まれる符号化対象ブロック》
図５は、図４の符号化対象である第２ピクチャーＰｃｔ＿２の第１のタイルＴｉｌｅ＿１に含まれタイル境界線ＴＢに位置するブロックＢＬ３が、規格Ｈ．２６５(ＨＥＶＣ)によって規定された最大コーディングユニット(ＬＣＵ)のクアッド・トリーに基づく分割で生成されるプレディクションユニット(ＰＵ)であることを示す図である。

従って、プレディクションユニット(ＰＵ)である符号化対象ブロックＢＬ３のブロックサイズは、最大の６４×６４画素から予め特定された最小コーディングユニット(ＣＵ)の画素サイズまでのいずれかのサイズに設定されることが可能である。

《タイル分割》
図６は、図２に示した実施の形態１による動きベクトル検出部１０９の第１と第２と第３と第４の動きベクトル検出部１０９＿１、１０９＿２、１０９＿３、１０９＿４と動き補償部１１０の第１と第２と第３と第４の動き補償部１１０＿１、１１０＿２、１１０＿３、１１０＿４とによって並列処理される符号化対象であるピクチャーＰｃｔのタイル分割を示す図である。

図６に示した符号化対象であるピクチャーＰｃｔは、例えば水平方向に４０９６画素、垂直方向に２０４８画素が配置された超高精細の画面である。上述したように、並列処理の能力増加のためにＨＥＶＣ規格に導入されたタイルは、符号化対象であるピクチャーを四角形の領域に分割することによって形成されたものであるので、図６に示したピクチャーＰｃｔはタイル境界線ＴＢによって分割された複数のタイルＴｉｌｅ＿１、２、３、４…を含んでいる。

複数のタイルＴｉｌｅ＿１、２、３、４…の各タイルは、図５に示した最大コーディングユニット(ＬＣＵ)に含まれる符号化対象ブロックである複数のプレディクションユニット(ＰＵ)を含んでいる。

第１のタイルＴｉｌｅ＿１に含まれる複数のプレディクションユニット(ＰＵ)が、図２に示した第１の動きベクトル検出部１０９＿１と第１の動き補償部１１０＿１とによって処理されるのと並列に、第２のタイルＴｉｌｅ＿２に含まれる複数のプレディクションユニット(ＰＵ)が、図２に示した第２の動きベクトル検出部１０９＿２と第２の動き補償部１１０＿２とによって処理される。それと並列に、第３のタイルＴｉｌｅ＿３に含まれる複数のプレディクションユニット(ＰＵ)が、図２に示した第３の動きベクトル検出部１０９＿３と第３の動き補償部１１０＿３とによって処理され、第４のタイルＴｉｌｅ＿４に含まれる複数のプレディクションユニット(ＰＵ)が、図２に示した第４の動きベクトル検出部１０９＿４と第４の動き補償部１１０＿４とによって処理される。複数のタイルＴｉｌｅ＿１、２、３、４…の各タイルの内部の複数のプレディクションユニット(ＰＵ)は、図６の破線に示すように、ラスタースキャンの順序でジグザグ方式に処理される。

その後に、図６に示した符号化対象であるピクチャーＰｃｔでは、第５のタイルＴｉｌｅ＿５に含まれる複数のプレディクションユニット(ＰＵ)が、図２に示した第１の動きベクトル検出部１０９＿１と第１の動き補償部１１０＿１とによって処理される。それと並列に、第６のタイルＴｉｌｅ＿６に含まれる複数のプレディクションユニット(ＰＵ)が、図２に示した第２の動きベクトル検出部１０９＿２と第２の動き補償部１１０＿２とによって処理される。それと並列に、図６に図示されないが、第７のタイルＴｉｌｅ＿７に含まれる複数のプレディクションユニット(ＰＵ)が、図２に示した第３の動きベクトル検出部１０９＿３と第３の動き補償部１１０＿３とによって処理される。これと並列に、図６に図示されないが、第８のタイルＴｉｌｅ＿８に含まれる複数のプレディクションユニット(ＰＵ)が、図２に示した第４の動きベクトル検出部１０９＿４と第４の動き補償部１１０＿４とによって処理される。

《タイル境界線に位置する動画像信号の符号化》
図７は、図６に示した第１のタイルＴｉｌｅ＿１中に含まれる多数のプレディクションユニット(ＰＵ)のうち、タイル境界線ＴＢに位置する動画像信号としてのプレディクションユニット(ＰＵ)をインター予測により符号化する際に、フレームメモリ１０８に格納された参照画像である第１ピクチャーＰｃｔ＿１の内部の探索範囲Ｓｅａｒｃｈ Ａｒｅａを示す図である。

ここでは、図４に示した時間経過の第２時刻Ｔ２の符号化対象である第２ピクチャーＰｃｔ＿２と同様に、第１のタイルＴｉｌｅ＿１の内部の多数の動画像信号のうち、タイル境界線ＴＢに位置するブロックＢＬ３の動画像信号がインター予測により符号化される。図７に示した参照画像である第１ピクチャーＰｃｔ＿１の第１のタイルＴｉｌｅ＿１中に含まれタイル境界線ＴＢに位置する動画像信号としてのプレディクションユニット(ＰＵ)は、符号化対象の第２ピクチャーＰｃｔ＿２の第１のタイルＴｉｌｅ＿１に含まれたインター予測による符号化対象のブロックＢＬ３と同一のブロックサイズと同一の画面内アドレスとを有している。

第２ピクチャーＰｃｔ＿２のインター予測による符号化に際して、図４に示した時間経過の第１時刻Ｔ１にフレームメモリ１０８に格納された参照画像である第１ピクチャーＰｃｔ＿１の全てのタイルの参照画像が使用される可能性を有している。しかし、タイル境界線ＴＢに位置するブロックＢＬ３のインター予測による符号化に際して、第１ピクチャーＰｃｔ＿１の全てのタイルの参照画像が使用されると、第２動きベクトル検出器１０９＿１による動きベクトル検出時間が長くなってしまう。この問題を解消するために、図７に示した探索範囲Ｓｅａｒｃｈ Ａｒｅａを使用して、動きベクトル検出が実行される。すなわち、図７に示したように、インター予測による符号化対象のブロックＢＬ３と同一のブロックサイズと同一の画面内アドレスとを有する参照画像であるプレディクションユニット(ＰＵ)の周辺部分に、太い破線で示した探索範囲Ｓｅａｒｃｈ Ａｒｅａが設定される。図７の例では、参照画像であるプレディクションユニット(ＰＵ)の周辺の±１２８画素の範囲で、探索範囲Ｓｅａｒｃｈ Ａｒｅａが設定されている。

しかし、探索範囲Ｓｅａｒｃｈ Ａｒｅａの全ての参照画像がインター予測による符号化に使用されるのではなく、符号化対象のタイルと同一のタイルより、符号化対象のタイルと相違するタイルが優先的に選択される。従って、図７に示すように符号化対象の第２ピクチャーＰｃｔ＿２の第１のタイルＴｉｌｅ＿１に含まれ、タイル境界線ＴＢに位置するブロックＢＬ３の動画像信号がインター予測による符号化される際に、参照画像である第１ピクチャーＰｃｔ＿１の第１のタイルＴｉｌｅ＿１に含まれた参照候補ブロックよりもその他のタイルに含まれた参照候補ブロックが優先的に選択される。その結果、第２ピクチャーＰｃｔ＿２の第１のタイルＴｉｌｅ＿１に含まれ、タイル境界線ＴＢに位置するブロックＢＬ３の動画像信号がインター予測による符号化される際に、タイル境界線ＴＢを越えて、他のタイルである第２と第４と第５のタイルＴｉｌｅ＿２、４、５に含まれる参照候補ブロックの参照画像が、優先的に選択され参照されるものである。

《処理フロー》
図８は、図１乃至図３に示した実施の形態１の動画像符号化装置１が、タイル境界に位置する動画像信号をインター予測により符号化する際に、タイル境界を越えて他のタイルに含まれる参照画像を優先的に選択して参照する処理フローを説明する図である。

図８に示した最初のステップＳＴＥＰ１で、符号化対象である第２ピクチャーＰｃｔ＿２のインター予測による符号化処理が開始される。

ステップＳＴＥＰ２では、符号化対象である第２ピクチャーＰｃｔ＿２の第１のタイルＴｉｌｅ＿１に含まれる複数の動画像信号としての各プレディクションユニット(ＰＵ)が、第２ピクチャーＰｃｔ＿２を複数のタイルに分割するタイル境界線ＴＢに位置するか否かが、第１動き検出部１０９＿１のデータ分離部１０９＿１＿１によって判定される。この判定結果が「ＮＯ」の場合にはステップＳＴＥＰ３に移行し、この判定結果が「ＹＥＳ」の場合にはステップＳＴＥＰ１１に移行する。

ステップＳＴＥＰ３では、参照画像である第１ピクチャーＰｃｔ＿１の第１のタイルＴｉｌｅ＿１の内部に含まれたプレディクションユニット(ＰＵ)の周辺±１２８画素の範囲に探索範囲Ｓｅａｒｃｈ Ａｒｅａが設定される。

ステップＳＴＥＰ４では、ステップＳＴＥＰ３により設定された探索範囲Ｓｅａｒｃｈ Ａｒｅａの内部では、図３に示した第１動きベクトル検出部１０９＿１の絶対値演算部１０９＿１＿２と加算部１０９＿１＿４と最適ブロック判定部１０９＿１＿５と最適位置記憶部１０９＿１＿６とを使用して、最小加算値の最適な参照ブロックとその画面内アドレスとが更新される。

ステップＳＴＥＰ５では、ステップＳＴＥＰ４の探索動作が、ステップＳＴＥＰ３によって設定された探索範囲Ｓｅａｒｃｈ Ａｒｅａで終了したか否かが判定される。この判定結果が「ＮＯ」の場合にはステップＳＴＥＰ３に復帰し、この判定結果が「ＹＥＳ」の場合にはステップＳＴＥＰ６に移行する。

ステップＳＴＥＰ６では、符号化対象である第２ピクチャーＰｃｔ＿２の第１のタイルＴｉｌｅ＿１に含まれた複数の動画像信号であるプレディクションユニット(ＰＵ)の全てが処理されたか否かが判定される。この判定結果が「ＮＯ」の場合にはステップＳＴＥＰ２に復帰し、この判定結果が「ＹＥＳ」の場合にはステップＳＴＥＰ７に移行する。

ステップＳＴＥＰ１１では、図７に示した参照画像である第１ピクチャーＰｃｔ＿１の第１のタイルＴｉｌｅ＿１中に含まれてタイル境界線ＴＢに位置する動画像信号としてのプレディクションユニット(ＰＵ)の周辺の±１２８画素の範囲に探索範囲Ｓｅａｒｃｈ Ａｒｅａが設定され、その後ステップＳＴＥＰ１２に移行する。

ステップＳＴＥＰ１２では、図３に示した動きベクトル検出部１０９の第１動きベクトル検出部１０９＿１のタイル判定部１０９＿１＿３によって、重み係数値Ｗｇ＿Ｖが設定される。上述したようにタイル判定部１０９＿１＿３は、符号化対象ブロックが所属するタイルと多数の参照ブロックの各ブロックが所属するタイルとが同一か否かを判定する。タイル判定部１０９＿１＿３は、タイルが同一の場合には、絶対値の大きな重み係数値Ｗｇ＿Ｖを設定し、同一ではない場合には、絶対値の小さな重み係数値Ｗｇ＿Ｖを設定する。

ステップＳＴＥＰ１３では、ステップＳＴＥＰ１１により設定された探索範囲Ｓｅａｒｃｈ Ａｒｅａの内部では、図３に示した第１動きベクトル検出部１０９＿１の絶対値演算部１０９＿１＿２と加算部１０９＿１＿４と最適ブロック判定部１０９＿１＿５と最適位置記憶部１０９＿１＿６とを使用して、最小加算値の最適な参照ブロックとその画面内アドレスとが更新される。その結果、符号化対象であるプレディクションユニット(ＰＵ)が、第１のタイルＴｉｌｅ＿１に含まれてタイル境界線ＴＢに位置する場合には、タイル境界線ＴＢを越えて他のタイルに含まれる参照画像が、優先的に選択され参照されるものとなる。

ステップＳＴＥＰ１４では、ステップＳＴＥＰ１３の探索動作がステップＳＴＥＰ１２により設定された探索範囲Ｓｅａｒｃｈ Ａｒｅａで終了したか否かが判定される。この判定結果が「ＮＯ」の場合にはステップＳＴＥＰ１１に復帰し、この判定結果が「ＹＥＳ」の場合にはステップＳＴＥＰ６に移行する。

以上のように図８に示した符号化処理によって、符号化対象のプレディクションユニット(ＰＵ)が第１のタイルＴｉｌｅ＿１の内部に完全に含まれる場合と符号化対象のプレディクションユニット(ＰＵ)が第１のタイルＴｉｌｅ＿１に含まれてタイル境界線ＴＢに位置する場合の両者において、フレームメモリ１０８に格納された参照画像を使用したインター予測による符号化が可能とされる。特に、後者の場合には、タイル境界線ＴＢを越えて他のタイルに含まれる参照画像が優先的に選択され参照されるので、タイル境界の動画像の画質の差違が軽減されて、規格Ｈ．２６５(ＨＥＶＣ)の動画像符号化方式に導入されたタイルの境界に発生するノイズ等を低減することが可能となる。

［実施の形態２］
実施の形態１による動画像符号化装置１は、整数画素精度によって動きベクトルと動き補償予測信号とを生成してインター予測による符号化を実行するものであった。

それに対して、以下に説明する実施の形態２は、小数画素精度によって動きベクトルと動き補償予測信号とを生成して、インター予測による符号化を実行するものである。

すなわち、インター予測によって符号化される動画像信号であるプレディクションユニット(ＰＵ)の動きベクトルの大きさが整数画素単位となる確率は高くないので、動きベクトルの大きさを整数画素未満の精度(小数画素精度)で検出することが有効である。従って、整数画素の位置の画素値から小数画素精度の位置の画素値を生成する必要があるので、整数画素の位置の画素値の補間を行う複数タップのフィルタを使用する必要がある。

《小数画素精度を実現する補間フィルタ》
図９は、図２に示した動きベクトル検出部１０９と動き補償部１１０で、第１と第２と第３と第４の動きベクトル検出部１０９＿１、１０９＿２、１０９＿３、１０９＿４が小数画素精度で動きベクトルを検出し、第１と第２と第３と第４の動き補償部１１０＿１、１１０＿２、１１０＿３、１１０＿４が小数画素精度で動き補償予測信号を生成するための補間フィルタの構成を示す図である。

図９に示すように補間フィルタは、８タップのデジタルフィルタによって構成されている。従って、図９に示した補間フィルタとしての８タップのデジタルフィルタは、８個の整数画素位置の画素値を格納する８個の画素レジスタ１１、１２…１８と、８個のタップ係数を格納する８個のタップ係数レジスタ２１、２２…２８と、８個のデジタル乗算器３１、３２…３８と、１個の加算器４０とを含んでいる。

第１画素レジスタ１１に格納された第１整数画素位置の第１画素値と、第１タップ係数レジスタ２１に格納された第１タップ係数とが第１デジタル乗算器３１によって乗算され、第１デジタル乗算器３１の乗算結果は加算器４０の第１入力端子に供給される。

第２画素レジスタ１２に格納された第２整数画素位置の第２画素値と、第２タップ係数レジスタ２２に格納された第２タップ係数とが第２デジタル乗算器３２によって乗算され、第２デジタル乗算器３２の乗算結果は加算器４０の第２入力端子に供給される。

以下これと同様にして、第８画素レジスタ１８に格納された第８整数画素位置の第８画素値と第８タップ係数レジスタ２８に格納された第８タップ係数とが第８デジタル乗算器３８によって乗算されて、第８デジタル乗算器３８の乗算結果は加算器４０の第８入力端子に供給される。

このように、加算器４０は８個のデジタル乗算器３１、３２…３８のそれぞれの乗算結果を加算することで、小数画素精度の位置の画素値を示す出力信号を生成するものである。

《補間フィルタの動作》
図１０は、実施の形態２による小数画素精度の位置の画素値を生成する図９に示した補間フィルタの動作を説明する図である。

図１０に示すように、第１画素レジスタ１１に格納された第１整数画素位置の第１画素値(Ｐ(ｘ−３．５，ｙ))と、第１タップ係数レジスタ２１に格納された第１タップ係数(−１)とが、第１デジタル乗算器３１によって乗算される。

第２画素レジスタ１２に格納された第２整数画素位置の第２画素値(Ｐ(ｘ−２．５，ｙ))と、第２タップ係数レジスタ２２に格納された第２タップ係数(４)とが、第２デジタル乗算器３２によって乗算される。

第３画素レジスタ１３に格納された第３整数画素位置の第３画素値(Ｐ(ｘ−１．５，ｙ))と、第３タップ係数レジスタ２３に格納された第３タップ係数(−１１)とが、第３デジタル乗算器３３によって乗算される。

第４画素レジスタ１４に格納された第４整数画素位置の第４画素値(Ｐ(ｘ−０．５，ｙ))と、第４タップ係数レジスタ２４に格納された第４タップ係数(４０)とが、第３デジタル乗算器３４によって乗算される。

第５画素レジスタ１５に格納された第５整数画素位置の第５画素値(Ｐ(ｘ＋０．５，ｙ))と、第５タップ係数レジスタ２５に格納された第５タップ係数(４０)とが、第５デジタル乗算器３５によって乗算される。

第６画素レジスタ１６に格納された第６整数画素位置の第６画素値(Ｐ(ｘ＋１．５，ｙ))と、第６タップ係数レジスタ２６に格納された第６タップ係数(−１１)とが、第６デジタル乗算器３６によって乗算される。

第７画素レジスタ１７に格納された第７整数画素位置の第７画素値(Ｐ(ｘ＋２．５，ｙ))と、第７タップ係数レジスタ２７に格納された第７タップ係数(４)とが、第７デジタル乗算器３７によって乗算される。

第８画素レジスタ１８に格納された第８整数画素位置の第８画素値(Ｐ(ｘ＋３．５，ｙ))と、第８タップ係数レジスタ２８に格納された第８タップ係数(−１)とが、第８デジタル乗算器３８によって乗算される。

加算器４０による８個のデジタル乗算器３１、３２…３８の８個の乗算結果の加算により、第４整数画素位置と第５整数画素位置との中間位置にある小数画素精度の位置の画素値(Ｐ(ｘ，ｙ))を示す出力信号を加算器４０の出力端子から生成することが可能となる。

実施の形態２による小数画素精度の位置の画素値を生成する図９の補間フィルタは、８タップのデジタルフィルタによって構成されている。従って、図１０に示すように、中間位置にある小数画素精度の位置の画素値(Ｐ(ｘ，ｙ))の左側の３．５タップの位置と右側の３．５タップの位置に、第１整数画素位置の第１画素値(Ｐ(ｘ−３．５，ｙ))と第８整数画素位置の第８画素値(Ｐ(ｘ＋３．５，ｙ))とがそれぞれ配置されている。

実施の形態２による図９に示した補間フィルタは、例えば水平方向に４０９６画素が配置され、垂直方向に２０４８画素が配置された超高精細の画面で、水平方向に８タップのデジタルフィルタ動作を実行した後に垂直方向にも８タップのデジタルフィルタ動作を実行するものである。

《小数画素精度を使用する小数探索範囲》
図１１は、符号化対象であるプレディクションユニット(ＰＵ)がブロックＢＬ３であり、動き補償の単位が４画素×４画素である場合に、実施の形態２による図９に示した補間フィルタから生成される小数画素精度の位置の画素値を使用して動きベクトルの検出と動き補償予測信号の生成とが可能な小数探索範囲Ｆｒａｃｔｉｏｎａｌ Ｓｅａｒｃｈ Ａｒｅａを示す図である。

図１１に示すように、小数探索範囲Ｆｒａｃｔｉｏｎａｌ Ｓｅａｒｃｈ Ａｒｅａは、４画素×４画素の大きさを持つ符号化対象であるプレディクションユニット(ＰＵ)を中心にして上下左右に１１画素×１１画素の大きさを有するものである。すなわち、４画素×４画素の大きさを持ったプレディクションユニット(ＰＵ)の左端の１個の画素の左側に３．５個分の画素が存在して、プレディクションユニット(ＰＵ)の右端の１個の画素の右側に３．５個分の画素が存在する。同様に、４画素×４画素の大きさを持ったプレディクションユニット(ＰＵ)の上端の１個の画素の上側に３．５個分の画素が存在し、プレディクションユニット(ＰＵ)の下端の１個の画素の下側に３．５個分の画素が存在する。

図１２は、図７と同様に、符号化対象であるプレディクションユニット(ＰＵ)がタイル境界線ＴＢに位置するブロックＢＬ３である場合に、実施の形態２による図９に示した補間フィルタから生成される小数画素精度の位置の画素値を用いた探索が可能な小数探索範囲Ｆｒａｃｔｉｏｎａｌ Ｓｅａｒｃｈ Ａｒｅａを示す図である。

図１２には、実施の形態１による動画像符号化装置１により探索される整数画素精度の探索範囲Ｓｅａｒｃｈ Ａｒｅａが参考のために示されている。特に、図１２に示された２個の小数探索範囲Ｆｒａｃｔｉｏｎａｌ Ｓｅａｒｃｈ Ａｒｅａは、１１画素×１１画素の大きさの一部分の画素が符号化対象であるブロックＢＬ３を含んだ第１タイルＴｉｌｅ＿１と異なる他の第２タイルＴｉｌｅ＿２もしくは第４タイルＴｉｌｅ＿４の画素値を含むものである。従って、図１２において符号化対象であるブロックＢＬ３を含んだ第１タイルＴｉｌｅ＿１からタイル境界線ＴＢを越えて他のタイルＴｉｌｅ＿２、３、４に含まれる参照画像を参照することで、画質が良好(ＯＫ)となる範囲が、図７における、画質が良好(ＯＫ)な範囲よりも拡大されることが理解される。すなわち、図１２において符号化対象であるブロックＢＬ３を含む第１タイルＴｉｌｅ＿１と同一のタイルに含まれる参照画像を参照することで、画質が不良(ＮＧ)となる範囲が、図７における、画質が不良(ＮＧ)な範囲よりも縮小されるものである。

《処理フロー》
図１３は、図９乃至図１２に示した実施の形態２による動画像符号化装置１が、タイル境界に位置する動画像信号をインター予測により符号化する際に、タイル境界を越えて他のタイルに含まれる参照画像を優先的に選択して参照する処理フローを説明する図である。

図１３に示した実施の形態２による処理フローが図８に示した実施の形態１による処理フローと相違するのは、ステップＳＴＥＰ２１とステップＳＴＥＰ２２とが追加された点である。

ステップＳＴＥＰ２１では、図１１に示す、１１画素×１１画素の大きさを有し探索位置に位置された小数探索範囲Ｆｒａｃｔｉｏｎａｌ Ｓｅａｒｃｈ Ａｒｅａが、タイル境界線ＴＢを越えて複数のタイルの画素値を含むか否かが判定される。この判定結果が「ＹＥＳ」の場合にはステップＳＴＥＰ２２に移行し、この判定結果が「ＮＯ」の場合にはステップ１３に直接移行する。

ステップＳＴＥＰ２２では、探索位置の小数探索範囲Ｆｒａｃｔｉｏｎａｌ Ｓｅａｒｃｈ Ａｒｅａがタイル境界線ＴＢに位置しているので、小さな重み係数値Ｗｇ＿Ｖが設定されるものである。

その結果、図１３の実施の形態２による処理フローによれば、図１２に示したような２個の小数探索範囲Ｆｒａｃｔｉｏｎａｌ Ｓｅａｒｃｈ Ａｒｅａが優先的に選択されるものである。

以上、本発明者によってなされた発明を種々の実施の形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。

例えば、本発明は、規格Ｈ．２６５(ＨＥＶＣ)に準拠して動画像を符号化処理することのみに限定されるものではない。

すなわち、本発明は、６４×６４画素のサイズを有する最大コーディングユニット(ＬＣＵ)を処理単位とする規格Ｈ．２６５(ＨＥＶＣ)以外にも更に大きなサイズの最大コーディングユニット(ＬＣＵ)を処理単位とする将来出現する規格に対応する符号化処理に適用することが可能である。

本発明は、１つのピクチャーが並列処理可能であり、それぞれ四角形の画素領域を含む複数のタイルに分割可能である動画像の符号化処理に広く適用することが可能である。

１…動画像符号化装置
１００…コーディングユニットバッファ
１０１…減算器
１０２…周波数変換部
１０３…量子化部
１０４…逆量子化部
１０５…逆周波数変換部
１０６…加算器
１０７…フィルタユニット
１０８…フレームメモリ
１０９…動きベクトル検出部
１１０…動き補償部
１１１…１１１
１１２…イントラ予測部
１１３…セレクタ部
１１４…エントロピーエンコーダ
１１５…ビデオバッファ
１０９＿０…タイル分割部
１０９＿１…第１動きベクトル検出部
１０９＿２…第２動きベクトル検出部
１０９＿３…第３動きベクトル検出部
１０９＿４…第４動きベクトル検出部
１０９＿１＿１…データ分離部
１０９＿１＿２…絶対値演算部
１０９＿１＿３…タイル判定部
１０９＿１＿４…加算部
１０９＿１＿５…最適ブロック判定部
１０９＿１＿６…最適位置記憶部

Claims (12)

1. 符号化されるべき動画像信号の符号化画像領域と最も類似する参照画像領域をフレームメモリから読み出される参照画像にて動きベクトル検出によって探索することによって、動きベクトルが生成され、
   前記動きベクトルと前記フレームメモリから読み出される前記参照画像とから、動き補償によって動き補償予測信号が生成され、
   前記動画像信号と前記動き補償予測信号との減算によって、予測残差が生成され、
   前記減算によって生成された前記予測残差の変換処理と量子化処理と逆量子化処理と逆変換処理の処理結果と前記動き補償によって生成される前記動き補償予測信号との加算によって、前記フレームメモリに格納される前記参照画像が生成される動画像符号化装置であって、
   前記動きベクトル検出を実行する動きベクトル検出部は、少なくとも第１の動きベクトル検出部と第２の動きベクトル検出部とを含み、
   前記第１の動きベクトル検出部の一方の入力端子と前記第２の動きベクトル検出部の一方の入力端子とに、前記動画像信号の１枚のピクチャーに含まれる第１のタイルの動画像信号と第２のタイルの動画像信号とがそれぞれ供給され、
   前記第１の動きベクトル検出部の他方の入力端子と前記第２の動きベクトル検出部の他方の入力端子とに、前記フレームメモリから読み出される前記参照画像が供給され、
   前記第１の動きベクトル検出部の出力端子と前記第２の動きベクトル検出部の出力端子から、第１の動きベクトルと第２の動きベクトルとが並列に生成され、
   前記動き補償を実行する動き補償部は、少なくとも第１の動き補償部と第２の動き補償部とを含み、
   前記第１の動き補償部の一方の入力端子と前記第２の動き補償部の一方の入力端子とに、前記第１の動きベクトルと前記第２の動きベクトルとがそれぞれ供給され、
   前記第１の動き補償部の他方の入力端子と前記第２の動き補償部の他方の入力端子とに、前記フレームメモリから読み出される前記参照画像が供給され、
   前記第１の動き補償部の出力端子と前記前記第２の動き補償部の出力端子から、前記動き補償予測信号としての第１の動き補償予測信号と第２の動き補償予測信号とが並列に生成され、
   前記第１の動きベクトル検出部が、前記第１のタイルに含まれる多数の動画像信号のうちで前記第１のタイルと他のタイルのタイル境界またはその近傍に位置する動画像信号をインター予測によって処理する第１タイル境界処理を実行して、
   前記第１タイル境界処理の実行の際に、前記フレームメモリから読み出される前記参照画像のうち前記第１のタイルとは異なる別のタイルに含まれる参照画像を優先的に参照するように、前記第１の動きベクトル検出部が前記第１の動きベクトルを生成して、
   前記第２の動きベクトル検出部が、前記第２のタイルに含まれる多数の動画像信号のうちで前記第２のタイルと他のタイルのタイル境界またはその近傍に位置する動画像信号をインター予測によって処理する第２タイル境界処理を実行して、
   前記第２タイル処理境界の実行の際に、前記フレームメモリから読み出される前記参照画像のうち前記第２のタイルとは異なる別のタイルに含まれる参照画像を優先的に参照するように、前記第２の動きベクトル検出部が前記第２の動きベクトルを生成する
   動画像符号化装置。
2. 請求項１において、
   前記第１の動きベクトル検出部は、前記第１の動きベクトル検出部の前記一方の入力端子と前記他方の入力端子にそれぞれ供給される前記第１のタイルの動画像信号のアドレス情報と前記参照画像のアドレス情報と前記タイル境界に関する情報に従って、前記第１の動きベクトルを生成して、
   前記第２の動きベクトル検出部は、前記第２の動きベクトル検出部の前記一方の入力端子と前記他方の入力端子にそれぞれ供給される前記第２のタイルの動画像信号のアドレス情報と前記参照画像のアドレス情報と前記タイル境界に関する情報に従って、前記第２の動きベクトルを生成する
   動画像符号化装置。
3. 請求項２において、
   前記第１の動きベクトル検出部と前記第２の動きベクトル検出部とは、整数画素位置の画素値の補間を実行する複数タップの補間フィルタを使用することによって小数画素精度で前記第１の動きベクトルと前記第２の動きベクトルとを生成可能とされる
   動画像符号化装置。
4. 請求項３において、
   前記第１の動きベクトル検出部は、前記小数画素精度によって設定される前記動きベクトル検出の小数探索範囲に、前記第１の動きベクトルを生成する際に前記第１のタイルとは異なる前記別のタイルに含まれる前記参照画像を含むことが可能であり、
   前記第２の動きベクトル検出部は、前記小数画素精度によって設定される前記動きベクトル検出の小数探索範囲に、前記第２の動きベクトルを生成する際に前記第２のタイルとは異なる前記別のタイルに含まれる前記参照画像を含むことが可能である
   動画像符号化装置。
5. 請求項４において、
   前記第１の動きベクトル検出部の前記一方の入力端子と前記第２の動きベクトル検出部の前記一方の入力端子とにそれぞれ供給される前記第１のタイルの動画像信号と前記第２のタイルの動画像信号は、規格Ｈ．２６５(ＨＥＶＣ)に準拠して分割される複数のタイルの動画像信号である
   動画像符号化装置。
6. 請求項５において、
   前記第１タイル境界処理および前記第２タイル処理境界により処理される前記タイル境界の前記近傍は、前記規格Ｈ．２６５(ＨＥＶＣ)によって規定された６４×６４画素のサイズを有する最大コーディングユニットよりも小さな距離で前記タイル境界に位置するものである
   動画像符号化装置。
7. 符号化されるべき動画像信号の符号化画像領域と最も類似する参照画像領域をフレームメモリから読み出される参照画像にて動きベクトル検出によって探索することによって、動きベクトルが生成され、
   前記動きベクトルと前記フレームメモリから読み出される前記参照画像とから、動き補償によって動き補償予測信号が生成され、
   前記動画像信号と前記動き補償予測信号との減算によって、予測残差が生成され、
   前記減算によって生成された前記予測残差の変換処理と量子化処理と逆量子化処理と逆変換処理の処理結果と前記動き補償によって生成される前記動き補償予測信号との加算によって、前記フレームメモリに格納される前記参照画像が生成される動画像符号化装置の動作方法であって、
   前記動きベクトル検出を実行する動きベクトル検出部は、少なくとも第１の動きベクトル検出部と第２の動きベクトル検出部とを含み、
   前記第１の動きベクトル検出部の一方の入力端子と前記第２の動きベクトル検出部の一方の入力端子とに、前記動画像信号の１枚のピクチャーに含まれる第１のタイルの動画像信号と第２のタイルの動画像信号とがそれぞれ供給され、
   前記第１の動きベクトル検出部の他方の入力端子と前記第２の動きベクトル検出部の他方の入力端子とに、前記フレームメモリから読み出される前記参照画像が供給され、
   前記第１の動きベクトル検出部の出力端子と前記第２の動きベクトル検出部の出力端子から、第１の動きベクトルと第２の動きベクトルとが並列に生成され、
   前記動き補償を実行する動き補償部は、少なくとも第１の動き補償部と第２の動き補償部とを含み、
   前記第１の動き補償部の一方の入力端子と前記第２の動き補償部の一方の入力端子とに、前記第１の動きベクトルと前記第２の動きベクトルとがそれぞれ供給され、
   前記第１の動き補償部の他方の入力端子と前記第２の動き補償部の他方の入力端子とに、前記フレームメモリから読み出される前記参照画像が供給され、
   前記第１の動き補償部の出力端子と前記前記第２の動き補償部の出力端子から、前記動き補償予測信号としての第１の動き補償予測信号と第２の動き補償予測信号とが並列に生成され、
   前記第１の動きベクトル検出部が、前記第１のタイルに含まれる多数の動画像信号のうちで前記第１のタイルと他のタイルのタイル境界またはその近傍に位置する動画像信号をインター予測によって処理する第１タイル境界処理を実行して、
   前記第１タイル境界処理の実行の際に、前記フレームメモリから読み出される前記参照画像のうち前記第１のタイルとは異なる別のタイルに含まれる参照画像を優先的に参照するように、前記第１の動きベクトル検出部が前記第１の動きベクトルを生成して、
   前記第２の動きベクトル検出部が、前記第２のタイルに含まれる多数の動画像信号のうちで前記第２のタイルと他のタイルのタイル境界またはその近傍に位置する動画像信号をインター予測によって処理する第２タイル境界処理を実行して、
   前記第２タイル処理境界の実行の際に、前記フレームメモリから読み出される前記参照画像のうち前記第２のタイルとは異なる別のタイルに含まれる参照画像を優先的に参照するように、前記第２の動きベクトル検出部が前記第２の動きベクトルを生成する
   動画像符号化装置の動作方法。
8. 請求項７において、
   前記第１の動きベクトル検出部は、前記第１の動きベクトル検出部の前記一方の入力端子と前記他方の入力端子にそれぞれ供給される前記第１のタイルの動画像信号のアドレス情報と前記参照画像のアドレス情報と前記タイル境界に関する情報に従って、前記第１の動きベクトルを生成して、
   前記第２の動きベクトル検出部は、前記第２の動きベクトル検出部の前記一方の入力端子と前記他方の入力端子にそれぞれ供給される前記第２のタイルの動画像信号のアドレス情報と前記参照画像のアドレス情報と前記タイル境界に関する情報に従って、前記第２の動きベクトルを生成する
   動画像符号化装置の動作方法。
9. 請求項８において、
   前記第１の動きベクトル検出部と前記第２の動きベクトル検出部とは、整数画素位置の画素値の補間を実行する複数タップの補間フィルタを使用することによって小数画素精度で前記第１の動きベクトルと前記第２の動きベクトルとを生成可能とされる
   動画像符号化装置の動作方法。
10. 請求項９において、
    前記第１の動きベクトル検出部は、前記小数画素精度によって設定される前記動きベクトル検出の小数探索範囲に、前記第１の動きベクトルを生成する際に前記第１のタイルとは異なる前記別のタイルに含まれる前記参照画像を含むことが可能であり、
    前記第２の動きベクトル検出部は、前記小数画素精度によって設定される前記動きベクトル検出の小数探索範囲に、前記第２の動きベクトルを生成する際に前記第２のタイルとは異なる前記別のタイルに含まれる前記参照画像を含むことが可能である
    動画像符号化装置の動作方法。
11. 請求項１０において、
    前記第１の動きベクトル検出部の前記一方の入力端子と前記第２の動きベクトル検出部の前記一方の入力端子とにそれぞれ供給される前記第１のタイルの動画像信号と前記第２のタイルの動画像信号は、規格Ｈ．２６５(ＨＥＶＣ)に準拠して分割される複数のタイルの動画像信号である
    動画像符号化装置の動作方法。
12. 請求項１１において、
    前記第１タイル境界処理および前記第２タイル処理境界により処理される前記タイル境界の前記近傍は、前記規格Ｈ．２６５(ＨＥＶＣ)によって規定された６４×６４画素のサイズを有する最大コーディングユニットよりも小さな距離で前記タイル境界に位置するものである
    動画像符号化装置の動作方法。

Images