JP2010193401A - 画像符号化方法及び画像符号化装置 - Google Patents

Abstract

【課題】ディスプレイに表示されない画素の符号化を容易にかつ効率的に行うことができるようにする。
【解決手段】符号化対象の画素ブロックが画像表示装置に表示される第１の領域と前記画像表示装置には表示されない第２の領域とから構成されるか否かを検出する領域検出工程と、前記領域検出工程における検出の結果、前記符号化対象の画素ブロックが前記第１の領域と前記第２の領域の両方を含む画素ブロックである場合には、前記第１の領域についてのみ動きベクトルを検出する動きベクトル検出工程とを有し、前記符号化工程においては、前記動きベクトル検出工程において検出される動きベクトルを用いて前記第１の領域と前記第２の領域の両方を含む画素ブロックを符号化する。
【選択図】 図１

Description

本発明は画像符号化方法及び画像符号化装置に関し、特に、画像データの符号化効率を向上させるために用いて好適な技術に関する。

近年、マルチメディアに関連する情報のデジタル化が急進しており、それに伴い映像情報の高画質化に向けた要求が高まっている。具体的な例として、放送メディアにおいては従来の７２０×４８０画素のＳＤから、１９２０×１０８０画素のＨＤへの移行を挙げることができる。しかしながら、この高画質化への要求は、同時にデジタルデータの増大を引き起こすので、従来の性能を上回る圧縮符号化技術及び復号化技術が求められている。

これらの要求に対し、ＩＴＵ−Ｔ ＳＧ１６やＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１の活動で、画像間の相関を利用したフレーム間予測を用いた符号化圧縮方式の標準化作業が進められている。この中でも、現状では最も高能率符号化を実現しているといわれる符号化方式に、Ｈ．２６４／ＭＰＥＧ−４ ＰＡＲＴ１０（ＡＶＣ、以下Ｈ．２６４と呼ぶ）がある。なお、Ｈ．２６４の符号化・復号化の仕様については、例えば特許文献１などに開示されている。

このＨ．２６４で新たに導入された技術のひとつとして、符号化単位となるマクロブロックのパーティション（以下、マクロブロックパーティションと呼ぶ）を複数種類用意しておき、より細かい画素単位で動き量を検出し、符号量をより低減する技術がある。

ここで、図２を用いてマクロブロックパーティションについて詳細に説明する。
Ｈ.２６４は、図２（ａ）の（１)〜（４）に示すように、ＭＰＥＧ２で用いられているサイズである符号化処理単位となる１６×１６画素のマクロブロックを分割し、最小８×８画素となる４種類のマクロブロックタイプの中から選ぶことが可能である。

さらに、図２（ａ）の（４）に示す８×８画素のマクロブロックタイプは、図２（ｂ）の（５）〜（８）に示すように、より細かいサブマクロブロックタイプに分割することができる。最小４×４画素までの４種類のサブマクロブロックタイプのいずれかに分割をすることが可能である。

つまり、マクロブロックパーティションは１９種類の中から選ぶことになる。すなわち、３（サブマクロブロックパーティションの対象とならないマクロブロックパーティション数）＋４（サブマクロブロックパーティションの対象となるマクロブロック数）×４（サブマクロブロックパーティション数）＝１９種類の中から選ぶことになる。この結果、より細かい画像単位で動き情報を探索することが可能となり、動き情報の精度の向上を実現している。

特開２００５−１６７７２０号公報

Ｈ.２６４では、符号化単位となるマクロブロックのサイズが１６×１６画素である。したがって、１９２０×１０８０画素のＨＤ画像を符号化する際には、縦１０８０画素が１６で割り切れないために、画面上部から順に符号化していくと画面下端でディスプレイに表示されない８画素余分に符号化する必要がある（図３参照）。

従来は、ディスプレイに表示されない８画素についても、ディスプレイに表示される画素と同様に符号化していたので、符号化効率を向上させるための妨げになっていた。
本発明は前述の問題点に鑑み、ディスプレイに表示されない画素の符号化を容易にかつ効率的に行うことができるようにすることを目的としている。

本発明の画像符号化方法は、符号化対象ピクチャを構成する複数の画素ブロックについて、それぞれ動きベクトルを検出することによって動き補償符号化を行う符号化工程を有する画像符号化方法において、符号化対象の画素ブロックが画像表示装置に表示される第１の領域と前記画像表示装置には表示されない第２の領域とから構成されるか否かを検出する領域検出工程と、前記領域検出工程における検出の結果、前記符号化対象の画素ブロックが前記第１の領域と前記第２の領域の両方を含む画素ブロックである場合には、前記第１の領域についてのみ動きベクトルを検出する動きベクトル検出工程とを有し、前記符号化工程においては、前記動きベクトル検出工程において検出される動きベクトルを用いて前記第１の領域と前記第２の領域の両方を含む画素ブロックを符号化することを特徴とする。
また、本発明の画像符号化方法の他の特徴とするところは、符号化対象ピクチャを構成するマクロブロックを更に小さなブロックに分割し、前記マクロブロック、又は、前記ブロックについて、それぞれ動きベクトルを検出することによって動き補償符号化を行う符号化工程を有する画像符号化方法において、符号化対象のマクロブロックが画像表示装置に表示される第１の領域と、前記画像表示装置には表示されない第２の領域とから構成されるか否かを検出する領域検出工程を有し、前記領域検出工程において、前記符号化対象のマクロブロックが前記第１の領域と前記第２の領域とから構成されると検出された場合には、前記符号化工程においては、前記第１の領域の画素に従って動きベクトル及び前記マクロブロックの分割方法を決定し、前記第１の領域で決定した分割方法に従って一意に定まる分割方法を前記第２の領域に対して適用して、前記符号化対象のマクロブロックを符号化することを特徴とする。
また、本発明の画像符号化方法のその他の特徴とするところは、符号化対象ピクチャを構成する複数の16×16画素のマクロブロックについて、それぞれ動きベクトルを検出することによって動き補償符号化を行う符号化工程を有する画像符号化方法において、符号化対象のマクロブロックが、前記符号化対象ピクチャにおける画面下端に位置するマクロブロックである場合には、前記符号化対象のマクロブロックの上部16×8画素での探索によって動きベクトルを検出する動きベクトル検出工程を有し、前記符号化工程においては、前記動きベクトル検出工程において検出される動きベクトルを用いて、前記符号化対象のマクロブロックを符号化することを特徴とする。

本発明の画像符号化装置は、符号化対象ピクチャを構成する複数の画素ブロックについて、それぞれ動きベクトルを検出することによって動き補償符号化を行う符号化手段を有する画像符号化装置において、符号化対象の画素ブロックが画像表示装置に表示される第１の領域と前記画像表示装置には表示されない第２の領域とから構成されるか否かを検出する領域検出手段と、前記領域検出手段による検出の結果、前記符号化対象の画素ブロックが前記第１の領域と前記第２の領域の両方を含む画素ブロックである場合には、前記第１の領域についてのみ動きベクトルを検出する動きベクトル検出手段とを有し、前記符号化手段は、前記動きベクトル検出手段において検出される動きベクトルを用いて前記第１の領域と前記第２の領域の両方を含む画素ブロックを符号化することを特徴とする。
また、本発明の画像符号化装置の他の特徴とするところは、符号化対象ピクチャを構成するマクロブロックを更に小さなブロックに分割し、前記マクロブロック、又は、前記ブロックについて、それぞれ動きベクトルを検出することによって動き補償符号化を行う符号化手段を有する画像符号化装置において、符号化対象のマクロブロックが画像表示装置に表示される第１の領域と、前記画像表示装置には表示されない第２の領域とから構成されるか否かを検出する領域検出手段を有し、前記領域検出手段において、前記符号化対象のマクロブロックが前記第１の領域と前記第２の領域とから構成されると検出された場合には、前記符号化手段は、前記第１の領域の画素に従って動きベクトル及び前記マクロブロックの分割方法を決定し、前記第１の領域で決定した分割方法に従って一意に定まる分割方法を前記第２の領域に対して適用して、前記符号化対象のマクロブロックを符号化することを特徴とする。
また、本発明の画像符号化装置のその他の特徴とするところは、符号化対象ピクチャを構成する複数の16×16画素のマクロブロックについて、それぞれ動きベクトルを検出することによって動き補償符号化を行う符号化手段を有する画像符号化装置において、符号化対象のマクロブロックが、前記符号化対象ピクチャにおける画面下端に位置するマクロブロックである場合には、前記符号化対象のマクロブロックの上部16×8画素での探索によって動きベクトルを検出する動きベクトル検出手段を有し、前記符号化手段は、前記動きベクトル検出手段において検出される動きベクトルを用いて、前記符号化対象のマクロブロックを符号化することを特徴とする。
特徴とする。

本発明によれば、ディスプレイに表示されない部分の画像データの符号化効率を向上させることが可能となり、高い符号化効率を有する画像符号化装置を提供できる。

本発明の第１の実施形態を示し、画像符号化装置の概略の構成を示すブロック図である。 本発明の実施形態におけるマクロブロックパーティション・サブマクロブロックパーティションについて説明するための図である。 本発明の課題説明を示し、画面はみ出し部分のマクロブロックについて説明するための図である。 本発明の実施形態を示し、画像符号化装置のインター符号化予測方式の動作を説明するフローチャートである。

（第１の実施形態）
以下に、図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、本実施形態では、図３に示すように、１９２０×１０８０画素を符号化するため、画像表示装置の画面下端でディスプレイ３１に表示されない８画素余分に符号化する必要があるものとする。また、本実施形態における画像符号化装置は符号化を画面左上から始め、画面右下へ向けて順に符号化していくものとする。

図１は、本実施形態に係る画像符号化装置１００の構成例を示すブロック図である。
図１において、１は現在の映像データを入力する画像入力部、２は現在の映像データを一時保存する現在フレーム保存部である。

３は後述するブロック境界補正処理が行われた復元画像データを予測画像情報の参照画像として利用するために保持する参照フレーム候補保存部である。４は現在フレーム保存部２に保持された画像データを複数の画素ブロックに分割し、各画素ブロックの画像データをブロック周辺の画素から予測し、予測画像情報を生成するイントラ予測符号化部である。

５はイントラ予測符号化部４から入力された現在の画像データを複数の画素ブロックに分割する。そして、各画素ブロックにおいて、参照フレーム候補保存部３に保存されている参照フレーム候補と相関の高い位置を検出する動き探索処理を行い、その位置の差分データをフレーム間の動き情報として検出する動き検出部である。

６は参照フレームと動き検出部５から出力される動き情報とから現在の画像データの予測画像情報を生成する動き補償を行うインター予測符号化部である。７は後述する予測画像情報を減算する減算器である。８は予測情報を選択するスイッチ部である。

９は画像の差分データに対して整数直交変換を行うＤＣＴ部である。１０は整数直交変換された変換係数に対して所定の量子化スケールで量子化を施す量子化部である。１１は量子化部１０において量子化された変換係数に対して、エントロピー符号化処理を行ってデータ圧縮するエントロピー符号化部である。

１２は量子化部１０において量子化された変換係数に対して所定の逆量子化処理を施す逆量子化部である。１３は逆量子化部１２で逆量子化された変換係数を元の画像データ空間に戻すための逆整数直交変換を行うＩＤＣＴ部である。１４は画像データ空間に戻された画像差分情報に後述する予測画像情報を加算する加算器である。

１５は後述する予測画像情報により復元された画像データを保持する復号画像保存部である。１６は後述する予測画像情報により復元された画像データに対して所定の画素ブロック単位の境界データにおける不連続性を補正するデブロッキングフィルタである。１７は画面下端検出部である。画面下端検出部１７は、領域検出部として機能し、現在フレーム保存部２から入力されてくる画素ブロックの数を数える。そして、画面下端検出部１７は、画像表示装置に表示される第１の領域と画像表示装置には表示されない第２の領域とから構成される画素ブロックに達したか否か、すなわち、画面下端に位置する画素ブロックの符号化処理を行っているか否かを検出する。

次に、図１のブロック図を参照しながら本実施形態における符号化処理の流れの概略を説明する。
画像入力部１から入力された映像情報の画像データは現在フレーム保存部２に一時保持される。次に、イントラ予測符号化部４において符号化単位となる１６×１６画素のブロック（マクロブロック）に分割される。次に、イントラ予測符号化部４から減算器７に順次送信され、減算器７において予測画像情報を減算し、符号化対象ピクチャと参照ピクチャの画素の差分情報である、予測画像情報と差分データを生成する。なお、予測画像情報の生成方法については後述する。また、マクロブロックを減算器７に送信したことを示すフラグを現在フレーム保存部２から画面下端検出部１７に送信する。

減算器７から出力される差分データは、ＤＣＴ部９で整数直交変換が施され、一般の画像空間からエネルギー集中を高めた変換係数の空間に直交変換される。ＤＣＴ部９において変換された差分データの変換係数は、量子化部１０で所定のステップ幅で直交変換成分に応じて量子化される。

量子化部１０において量子化された変換係数データは、エントロピー符号化部１１で圧縮符号化される。さらに、エントロピー符号化部１１では、後述するインター符号化で参照されたフレーム番号の識別子も多重化されて圧縮符号化される。

次に、予測画像情報の生成処理について説明する。
予測画像情報は、入力時の現行画像内のデータで生成するイントラ予測符号化方式と、入力時の現行画像以外のフレーム画像データから生成するインター符号化方式とがある。
まず、現行入力画像内で処理が閉じているイントラ符号化予測方式について説明する。
量子化部１０において量子化された変換係数に対して、逆量子化部１２で変換係数を復元する。そして、復元された変換係数は、ＩＤＣＴ部１３で元の画像データ空間に戻され、予測画像情報との差分データとして復元される。

ＩＤＣＴ部１３において復元された復元差分データに対して、後述する予測画像情報を加算器１４で加算することにより、入力画像の復元画像データが得られる。但し、この時点の復元画像データは、後述する予測情報の誤差や、量子化部１０において行われる量子化処理における量子化誤差によって、入力画像データよりも僅かに劣化している画像となっている。

この復元画像データを復号画像保存部１５に一旦取り込む。そして、復号画像保存部１５に取り込まれた復元画像データに対して、イントラ予測符号化部４で、所定のブロック単位に分割し、各ブロック内の復元画像データを、そのブロックの周辺画素値から予測する。イントラ予測符号化部４は予測値を予測画像情報として算出し、スイッチ８に送出する。

スイッチ８では、図示しないコントローラによって、予測画像情報の予測方法に応じて、スイッチを端子８ａまたは８ｂに切り替える。前述してきたイントラ予測符号化方式の場合、スイッチは端子８ａに接続され、予測画像情報はイントラ予測方式による算出方法で得られたデータが送出される。このイントラ方式の予測画像情報は、減算器７や加算器１４に送られ、復元画像データや予測画像差分データの生成に使われる。

次に、図４のフローチャートを参照しながら、現行入力画像とは別の参照フレーム画像を用いて予測画像情報を生成するインター符号化予測方式について説明する。なお、本実施形態では説明の簡単化のためマクロブロックパーティションをサブマクロブロックタイプまで分割せず８×８マクロブロックタイプを最小のマクロブロックパーティションとする。なお、イントラ予測符号化方式と、加算器１４までは同じなので説明を省略する。

加算器１４で得られた復元画像データは、復号画像保存部１５に一旦保存された後、後述するブロック単位の境界におけるデータの不連続性を解消するために、デブロッキングフィルタ１６に送られる。

デブロッキングフィルタ１６では、ブロック境界に隣接する画素データに対して所定のフィルタ処理を施し、ブロック境界のデータの不連続性を抑圧する。先に述べたように、復元される画像データは入力画像よりも劣化した画像となっており、特に、各処理において所定のブロック単位で処理される画像データは、ブロック境界でデータの不連続性が生じやすくブロック歪として画像認識されてしまう。

そこで、ブロック歪を低減させるために、本実施形態においてはデブロッキングフィルタ１６を用いてブロック境界におけるブロック歪を低減させている。デブロッキングフィルタ１６で境界処理された復元画像データは、参照フレーム候補保存部３に保存され、動き検出部５で行われる動きベクトル検出のために使用される。

動き検出部５では、現在フレーム保存部２から入力されてくる符号化対象マクロブロックと参照フレーム候補保存部３から送信されてくる参照フレームとの相関の強い位置を示す動きベクトルの探索を行う。なお、その際、画面下端か否かに応じて動きベクトル探索方法を切り換える。本実施形態においては、画像の中の各要素を16×16ピクセル１要素として処理して、前後のフレームの画像と比較してどの方向へどの程度動いているかというベクトルデータを検出することにより、動き補償符号化を可能にしている。

まず、図４のステップＳ４０１に示すように、符号化対象ピクチャのマクロブロックが画面下端か否かを検出し、画面下端ではない時はステップＳ４０２に進み、画面下端であるときはステップＳ４０６に進む。
ステップＳ４０２で行われる画面下端でない時のベクトル探索は、動きベクトル探索をまず16×16マクロブロックタイプで行い、符号化対象画像と参照フレームの相関の強い位置を探索する。なお、参照フレームとの相関の強い位置を決定する方法については、マクロブロックの各画素と参照フレームの差分を取り、差分の絶対値和が最も小さい個所を相関の強い位置とする方法などが挙げられるが、その方式は問わない。16×16マクロブロックタイプでの探索が終了したら16×8、8×16、8×8と、より小さいマクロブロックタイプでの探索を順次行う。

次に、ステップＳ４０３に進み、マクロブロックタイプごとに最も相関が強いと判断された位置を動きベクトルとして決定する。そして、各マクロブロックタイプの内、最も参照フレームとの相関の強いマクロブロックタイプを符号化対象マクロブロックのマクロブロックタイプとして、上部マクロブロックのベクトル・パーティションを決定する。

続いて、ステップＳ４０４に進み、ステップＳ４０３で決定した動きベクトルをインター予測符号化部６とエントロピー符号化部１１に情報を送出する。また、同時に動き情報の生成に使った参照フレームの識別情報もインター予測符号化部６とエントロピー符号化部１１に送出する。

インター予測符号化部６は、前述した参照フレーム識別情報に応じた参照フレームの復元画像データを参照フレーム候補保存部３から呼出し、復元画像データと動きベクトルとから、現行画像の予測画像情報を生成する。このように、インター予測符号化では、現行画像とは別のフレームを参照して、予測画像情報を作り出すところが、イントラ予測符号化とは異なる。

インター予測符号化部６で生成されたインター方式の予測画像情報は、スイッチ８の端子８ｂを介して減算器７や加算器１４に送られ、復元画像データや予測画像差分データの生成に使われる。その後、ステップＳ４０５に進み、エントロピー符号化部１１において圧縮符号化が行われる。

一方、ステップＳ４０１の検出の結果、符号化対象ピクチャが画面下端に達し、第１の領域と第２の領域の両方を含むマクロブロックである時はステップＳ４０６に進む。ステップＳ４０６においては、まず、動きベクトル探索を符号化対象画像が存在する上部16×8画素でのみで行い、符号化対象画像と参照フレームの相関の強い位置を探索する。なお、符号化対象マクロブロックの上部16×8画素での探索が終了したら順次、上部16×8を分割した２つの8×8画素での探索を行う。動きベクトル探索が終了したら、次に、ステップＳ４０７に進む。

ステップＳ４０７においては、マクロブロックタイプごとに最も相関が強いと判断された位置を動きベクトルとして決定する。次に16×8画素で探索した場合と8×8画素で探索した場合のうち、参照フレームとの相関の強い方の画素での探索で用いた画素サイズを上部マクロブロックタイプと決定する。

続いて、ステップＳ４０８において、ステップＳ４０７で決定した符号化対象マクロブロックの上部マクロブロックタイプが8×8か否かを判断する。この判断の結果、ステップＳ４０７で決定した符号化対象マクロブロックの上部マクロブロックタイプが16×8であった場合にはステップＳ４０９に進み、符号化対象マクロブロックのマクロブロックタイプを16×16に決定する。

一方、ステップＳ４０８の判断の結果、決定した符号化対象マクロブロックの上部マクロブロックタイプが8×8であった場合にはステップＳ４１０に進み、符号化対象マクロブロックのマクロブロックタイプを8×16に決定する。

このように、画面下端における動きベクトル及びマクロブロックの分割方法を上部16×8画素のみの探索を行うだけで済ませることができる。具体的に、上部16×8画素で決定されるマクロブロックタイプに従って一意に定まるマクロブロックタイプを下部の16×8画素の領域に対して適用できる。従って、通常の16×16画素で探索を行った場合に比べて探索回数を減らすことができる。また、マクロブロックタイプが16×16あるいは8×16の２つに限定できるので、無駄なパーティション分割に伴うベクトル符号量の発生を抑えることができる。

次に、ステップＳ４１１に進み、以下の処理を行う。すなわち、ステップＳ４０９またはステップＳ４１０で決定した動きベクトルをインター予測符号化部６とエントロピー符号化部１１に情報を送出する。また、同時に動き情報の生成に使った参照フレームの識別情報もインター予測符号化部６とエントロピー符号化部１１に送出する。

インター予測符号化部６では、参照フレーム識別情報に応じた参照フレームの復元画像データを参照フレーム候補保存部３から呼出し、復元画像データと動き情報とから、現行画像の予測画像情報を予測する。また、第１の領域の画素に従って決定されるマクロブロックの分割方法に従って第１の領域を符号化する。さらに、第１の領域のマクロブロック分割方法に従って一意に定まる分割方法を第２の領域に適用して、第２の領域を符号化する。

このように、インター予測符号化では、現行画像とは別のフレームを参照して、予測画像情報を作り出すところが、イントラ予測符号化とは異なる。生成されたインター方式の予測画像情報は、スイッチ８で端子８ｂに接続され、減算器７や加算器１４に送られ、復元画像データと予測画像差分データの生成に使われる。

前述のように、ユーザの目に触れないので、画質を気にする必要の無い下部16×8画素に関しては差分を0にすることにより無駄な符号量の発生を抑えることができる。なお、本実施形態では下部16×8画素がユーザの目に触れない場合を例として説明したがユーザの目に触れない画素の数及び上部、下部などの位置に係わりなく本発明を適用することができる。

また、本実施形態ではマクロブロックパーティションとして16×16、16×8、8×16、8×8の４種類を使った場合を例として説明したが、マクロブロックパーティションのサイズ及び種類の数に係わりなく本発明を適用することができる。

（本発明に係る他の実施形態）
前述した本発明の実施形態における画像符号化装置を構成する各手段は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した画像符号化方法における各工程を実行するソフトウェアのプログラム（実施形態では図４に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては種々の記録媒体を使用することができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行うことによっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

１ 画像入力部
２ 現在フレーム保存部
３ 参照フレーム候補保存部
４ イントラ予測符号化部
５ 動き検出部
６ インター予測符号化部
７ 減算器
８ スイッチ部
９ ＤＣＴ部
１０ 量子化部
１１ エントロピー符号化部
１２ 逆量子化部
１３ ＩＤＣＴ部
１４ 加算器
１５ 復号画像保存部
１６ デブロッキングフィルタ
１７ 画面下端検出部
１００ 画像符号化装置

Claims (10)

1. 符号化対象ピクチャを構成する複数の画素ブロックについて、それぞれ動きベクトルを検出することによって動き補償符号化を行う符号化工程を有する画像符号化方法において、
   符号化対象の画素ブロックが画像表示装置に表示される第１の領域と前記画像表示装置には表示されない第２の領域とから構成されるか否かを検出する領域検出工程と、
   前記領域検出工程における検出の結果、前記符号化対象の画素ブロックが前記第１の領域と前記第２の領域の両方を含む画素ブロックである場合には、前記第１の領域についてのみ動きベクトルを検出する動きベクトル検出工程とを有し、
   前記符号化工程においては、前記動きベクトル検出工程において検出される動きベクトルを用いて前記第１の領域と前記第２の領域の両方を含む画素ブロックを符号化することを特徴とする画像符号化方法。
2. 前記符号化工程においては、前記第１の領域と前記第２の領域の両方を含む画素ブロックについて、前記第２の領域の画素と前記動き補償符号化で参照する参照ピクチャの画素との差分情報を０にして符号化することを特徴とする請求項１に記載の画像符号化方法。
3. 符号化対象ピクチャを構成するマクロブロックを更に小さなブロックに分割し、前記マクロブロック、又は、前記ブロックについて、それぞれ動きベクトルを検出することによって動き補償符号化を行う符号化工程を有する画像符号化方法において、
   符号化対象のマクロブロックが画像表示装置に表示される第１の領域と、前記画像表示装置には表示されない第２の領域とから構成されるか否かを検出する領域検出工程を有し、
   前記領域検出工程において、前記符号化対象のマクロブロックが前記第１の領域と前記第２の領域とから構成されると検出された場合には、前記符号化工程においては、前記第１の領域の画素に従って動きベクトル及び前記マクロブロックの分割方法を決定し、前記第１の領域で決定した分割方法に従って一意に定まる分割方法を前記第２の領域に対して適用して、前記符号化対象のマクロブロックを符号化することを特徴とする画像符号化方法。
4. 前記符号化工程においては、前記第１の領域と前記第２の領域とから構成されるマクロブロックについて、前記第２の領域の画素と前記動き補償符号化で参照する参照ピクチャの画素との差分情報を０にして符号化することを特徴とする請求項３に記載の画像符号化方法。
5. 符号化対象ピクチャを構成する複数の16×16画素のマクロブロックについて、それぞれ動きベクトルを検出することによって動き補償符号化を行う符号化工程を有する画像符号化方法において、
   符号化対象のマクロブロックが、前記符号化対象ピクチャにおける画面下端に位置するマクロブロックである場合には、前記符号化対象のマクロブロックの上部16×8画素での探索によって動きベクトルを検出する動きベクトル検出工程を有し、
   前記符号化工程においては、前記動きベクトル検出工程において検出される動きベクトルを用いて、前記符号化対象のマクロブロックを符号化することを特徴とする画像符号化方法。
6. 符号化対象ピクチャを構成する複数の画素ブロックについて、それぞれ動きベクトルを検出することによって動き補償符号化を行う符号化手段を有する画像符号化装置において、
   符号化対象の画素ブロックが画像表示装置に表示される第１の領域と前記画像表示装置には表示されない第２の領域とから構成されるか否かを検出する領域検出手段と、
   前記領域検出手段による検出の結果、前記符号化対象の画素ブロックが前記第１の領域と前記第２の領域の両方を含む画素ブロックである場合には、前記第１の領域についてのみ動きベクトルを検出する動きベクトル検出手段とを有し、
   前記符号化手段は、前記動きベクトル検出手段において検出される動きベクトルを用いて前記第１の領域と前記第２の領域の両方を含む画素ブロックを符号化することを特徴とする画像符号化装置。
7. 前記符号化手段は、前記第１の領域と前記第２の領域の両方を含む画素ブロックについて、前記第２の領域の画素と前記動き補償符号化で参照する参照ピクチャの画素との差分情報を０にして符号化することを特徴とする請求項６に記載の画像符号化装置。
8. 符号化対象ピクチャを構成するマクロブロックを更に小さなブロックに分割し、前記マクロブロック、又は、前記ブロックについて、それぞれ動きベクトルを検出することによって動き補償符号化を行う符号化手段を有する画像符号化装置において、
   符号化対象のマクロブロックが画像表示装置に表示される第１の領域と、前記画像表示装置には表示されない第２の領域とから構成されるか否かを検出する領域検出手段を有し、
   前記領域検出手段において、前記符号化対象のマクロブロックが前記第１の領域と前記第２の領域とから構成されると検出された場合には、前記符号化手段は、前記第１の領域の画素に従って動きベクトル及び前記マクロブロックの分割方法を決定し、前記第１の領域で決定した分割方法に従って一意に定まる分割方法を前記第２の領域に対して適用して、前記符号化対象のマクロブロックを符号化することを特徴とする画像符号化装置。
9. 前記符号化手段は、前記第１の領域と前記第２の領域とから構成されるマクロブロックについて、前記第２の領域の画素と前記動き補償符号化で参照する参照ピクチャの画素との差分情報を０にして符号化することを特徴とする請求項８に記載の画像符号化装置。
10. 符号化対象ピクチャを構成する複数の16×16画素のマクロブロックについて、それぞれ動きベクトルを検出することによって動き補償符号化を行う符号化手段を有する画像符号化装置において、
    符号化対象のマクロブロックが、前記符号化対象ピクチャにおける画面下端に位置するマクロブロックである場合には、前記符号化対象のマクロブロックの上部16×8画素での探索によって動きベクトルを検出する動きベクトル検出手段を有し、
    前記符号化手段は、前記動きベクトル検出手段において検出される動きベクトルを用いて、前記符号化対象のマクロブロックを符号化することを特徴とする画像符号化装置。

Images