JP2012244437A - 画像処理装置、画像処理方法 - Google Patents

Abstract

【課題】 特定領域の画質を向上させつつ、フレームバッファに必要なコストを削減するための技術を提供すること。
【解決手段】 各フレームの画像のうち規定フレームの画像を対象画像とし、該対象画像から、規定のパターンが映っている領域を特定領域として検出する。対象画像以外の画像を非対象画像とし、該非対象画像中における特定領域を予測する。特定領域が該特定領域以外の領域よりも高画質に符号化されるように、各フレームの画像を符号化する。符号化では、非対象画像中の特定領域が他のフレームから参照されないように符号化する。
【選択図】 図１

Description

本発明は、画像から特定の対象物を含む領域を検出し、その検出結果に基づいて該画像を符号化する為の技術に関するものである。

動画像の伝送や蓄積再生を行うために画像信号の符号化技術が用いられる。動画像の符号化技術としてはISO／IEC International Standard 13818 (MPEG-2)などの国際標準符号化方式が知られている。また、他の国際標準符号化方式としては、ISO／IEC International Standard 14496-2 (MPEG-4 Visual)が知られている。また、ITU-T Rec. H.264 Advanced Video Coding | ISO／IEC International Standard 14496-10(MPEG-4 AVC／H.264、以下H.264と呼ぶ)なども知られている。これらの技術はデジタルカメラ、ビデオカメラやレコーダ等の分野に用いられている。

一方、近年では画像の中から人間の顔など、重要と思われる特定の対象物を含む領域（以下、「特定領域」と記す）を特定し、特定領域とそれ以外の領域で量子化値などの符号化パラメータを変化させる処理が行われている。この処理により、特定領域については画質を向上させ、それ以外については符号量を抑えることで、記録媒体や通信路に許容されるビットレートを保ちつつ、重要と思われる対象物を含む領域の画質を向上させることができる。

上記の処理を実現するためには、入力される動画像データを構成する全てのフレームに対して特定領域を検出する処理を行う必要がある。しかしながら、高い精度で特定領域を検出する処理（以下、「特定領域検出処理」と記す）を符号化と同一のフレームレートで実現するのは困難である。

このような問題に対し、符号化時に検出した動きベクトルを用いて、特定領域を予測（以下、「特定領域予測処理」と記す）する従来技術が開示されている（特許文献１）。特許文献１では、特定領域検出処理が行われないフレーム内のブロックの動きベクトルが、特定領域検出処理が行われたフレーム内の特定領域を指していれば、該ブロックを特定領域として予測する。

特開２００７−３３６２５９号公報

一般に、動きベクトル検出処理においてはブロック間の画素値の差分が最小となる個所が動きベクトルとして検出される。ゆえに、特定領域予測対象のブロックが実際には重要と思われる領域を含んでいても、該ブロックの動きベクトルは、特定領域検出処理が行われたフレーム内の特定領域を指すとは限らないため、特定領域として予測されないことが起こり得る。

特定領域以外に対しては量子化値を上げて符号量を抑えるため、特定領域の予測精度が低いと、本来は特定領域とすべき領域の画質が落ちる可能性がある。特定領域の予測が外れた個所がフレーム間予測符号化処理において参照された場合、量子化による誤差が伝搬し、後続するフレームの画質も落ちるという問題がある。

本発明はこのような問題に鑑みてなされたものであり、特定領域の画質を向上させつつ、フレームバッファに必要なコストを削減するための技術を提供することを目的とする。

本発明の目的を達成するために、例えば、本発明の画像処理装置は、動画像を構成する各フレームの画像を順次入力する入力手段と、前記各フレームの画像のうち規定フレームの画像を対象画像とし、該対象画像から、規定のパターンが映っている領域を特定領域として検出する手段と、前記対象画像以外の画像を非対象画像とし、該非対象画像中における前記特定領域を予測する予測手段と、前記特定領域が該特定領域以外の領域よりも高画質に符号化されるように、前記各フレームの画像を符号化する符号化手段とを備え、前記符号化手段は、前記非対象画像中の特定領域が他のフレームから参照されないように符号化することを特徴とする。

本発明の構成により、特定領域の画質を向上させつつ、フレームバッファに必要なコストを削減することができる。

画像処理装置の機能構成例を示すブロック図。 符号化モード制御部１０６が行う処理のフローチャート。 ステップＳ１０６における処理の詳細を示すフローチャート。 画像処理装置の機能構成例を示すブロック図。 特定領域予測部１０４による予測方法を説明する図。 各部の入出力を示すタイミングチャート。 各部の入出力を示すタイミングチャート。 各部の入出力を示すタイミングチャート。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の一つである。

［第１の実施形態］
本実施形態の画像処理装置は、動画像を構成する各フレームを符号化するものである。先ず、本実施形態に係る画像処理装置の機能構成例について、図１のブロック図を用いて説明する。動画像（動画像データ）を構成する各フレームの画像は、フレームバッファ１０１及び特定領域検出部１０３に順次入力される。

フレームバッファ１０１は、読み書き可能なメモリであり、後述する処理において要求されるフレーム数分の画像を格納することが可能な容量を有している。

特定領域検出部１０３は、入力された各フレームの画像のうち規定フレームの画像を対象画像とし、該対象画像から、規定のパターンが映っている領域を特定領域として検出する。規定のパターンとは、人体や人の顔など、画像から検出するものとして予め定められたものである。画像から規定のパターンを検出するための技術については既知であるし、規定のパターンについては本実施形態では特定のものに限らないため、これについての説明は省略する。特定領域検出部１０３は特定領域を検出すると、検出した特定領域の座標位置（例えば右上隅及び左下隅の座標位置。しかし、対象画像中の特定領域を特定できるのであれば座標位置に限定しない）を出力する。

特定領域予測部１０４は、対象画像以外の画像を非対象画像とし、該非対象画像中における特定領域を、対象画像を用いた内挿により予測する。例えば、フレーム順において非対象画像の前後に位置する２枚の対象画像を用いた内挿により、該非対象画像中の特定領域を予測する。

なお、特定領域予測部１０４による非対象画像における特定領域の予測方法は特定の方法に限るものではないが、その一例を図５を用いて説明する。特定領域検出部１０３は、対象画像から規定のパターンを検出すると、その領域に固有のＩＤを発行する。図５では、対象画像であるフレーム＃１の画像から２つのパターンを検出しており、一方にはＩＤ＃１、他方にはＩＤ＃２を付与している。また、対象画像であるフレーム＃４からも、ＩＤ＃１、ＩＤ＃２のそれぞれに対応する領域が検出されている。

そして、特定領域予測部１０４は、非対象画像であるフレーム＃２における特定領域を予測する場合、フレーム＃１及びフレーム＃４において同一のＩＤが付与された特定領域を選択する。ここでは先ずＩＤ＃１が付与された特定領域が選択されたとする。この場合、フレーム＃１における特定領域＃１の座標位置（ｘ１，ｙ１）とフレーム＃４における特定領域＃１の座標位置（ｘ４，ｙ４）と、を用いて、フレーム＃２における特定領域＃１の座標位置（ｘ２，ｙ２）を以下の式を計算することで予測する。

ｘ２＝（２×ｘ１＋１×ｘ４）／３
ｙ２＝（２×ｙ１＋１×ｙ４）／３
これは、特定領域＃２が選択された場合も同様である。そしてこのような処理を、フレーム＃３に対しても行う。これにより、フレーム＃２及びフレーム＃３における特定領域（の座標位置）を予測することができる。

なお、この他の特定領域予測方法としては、例えば、時間的に前に位置する２枚の対象画像を用いて特定領域を予測する、所謂外挿を行ってもよい。また、入力される動画像のフレームレートが高く、特定領域検出部１０３の処理フレームレートが符号化部１０２の処理フレームレートに近い場合は、図４に示す如く、特定領域予測部１０４を省いても良い。この場合は、符号化パラメータ制御部１０５は、前のフレームの特定領域検出結果をそのまま現在のフレームの処理に用いるか、特定領域に位置する物体が移動することを前提に、前のフレームの特定領域を前後左右に数画素広げた結果を用いればよい。さらに、特許文献１で開示されている方法で特定領域を予測してもよい。

何れの方法を用いるにせよ、特定領域予測部１０４は、特定領域検出部１０３と同様、予測した特定領域の座標位置を出力する。

ここで、符号化部１０２は、各フレームの画像を符号化する際、この画像を複数の画素ブロックに分割し、それぞれの画素ブロック毎に符号化を行う。然るに符号化パラメータ制御部１０５は特定領域検出部１０３や特定領域予測部１０４から出力された座標位置における特定領域に含まれる画素ブロックがその他の画素ブロックよりも高画質で符号化されるように、この画像に対する符号化パラメータを設定する。これは、特定領域が該特定領域以外の領域よりも高画質に符号化されるようにすることを目的とするものである。

符号化部１０２がこれから符号化しようとするフレームの画像が対象画像であるとする。この場合、この対象画像について特定領域検出部１０３から出力された座標位置で特定される特定領域に含まれる画素ブロックがその他の画素ブロックよりも高画質で符号化されるように、この画像に対する符号化パラメータを設定する。一方、符号化部１０２がこれから符号化しようとするフレームの画像が非対象画像であるとする。この場合、この非対象画像について特定領域予測部１０４から出力された座標位置で特定される特定領域に含まれる画素ブロックがその他の画素ブロックよりも高画質で符号化されるように、この画像に対する符号化パラメータを設定する。

例えば、特定領域に含まれる画素ブロックに対する量子化ステップをより細かく設定し、特定領域に含まれない画素ブロックに対する量子化ステップをより大まかに設定する。この処理により、人体や顔など、知覚上重要と考えられる領域の画質を向上させつつ、ビットレートを所望の値に抑えることができる。なお、符号化パラメータは、量子化テーブルであってもよいし、解像度やサブサンプリングをフレーム内で制御できる符号化方式であれば、これらを制御してもよい。

符号化モード制御部１０６は、符号化部１０２の符号化モードを、フレーム毎に設定する。本実施形態では、符号化部１０２による符号化方式はＭＰＥＧ−２であるものとして説明するので、符号化モード制御部１０６はフレーム毎に、フレーム内符号化方式、前方向予測符号化方式、双方向予測符号化方式、の何れかを設定する。符号化モード制御部１０６による符号化モードの設定方法について詳しくは後述する。

符号化部１０２は、フレームバッファ１０１から、フレーム単位で画像を読み出して符号化する。符号化は、符号化モード制御部１０６によって設定された符号化方式で、符号化パラメータ制御部１０５によって設定された符号化パラメータを用いて行う。なお、本実施形態では、符号化部１０２による符号化方式はＭＰＥＧ−２であるものとして説明するが、MPEG-4方式やH.264方式等の他の符号化方式を用いても良い。

次に、符号化モード制御部１０６がフレーム毎に、該フレームに対する符号化モードを決定する為に行う処理について、同処理のフローチャートを示す図２を用いて説明する。

特定領域検出部１０３が、動画像を構成する最初のフレーム（対象画像）から特定領域を抽出した場合には、処理はステップＳ１０１を介してステップＳ１０２に進み、未だ抽出が終わっていない場合は、ステップＳ１０１にて待機する。この待機中にも、フレームバッファ１０１には、各フレームの画像が順次入力される。

ステップＳ１０２では、符号化部１０２が既に符号化したフレームの総数を示す為の変数pic_count、符号化部１０２が双方向予測符号化方式に従って既に符号化したフレームの総数を示す為の変数b_countを０に初期化する。更に、次のフレームをフレーム内符号化方式に従って符号化するか否かを示すフラグintra_flagを１に初期化する。

ステップＳ１０３では、これから符号化部１０２が符号化しようとするフレームが対象画像であるか否か（特定領域検出部１０３によって特定領域が抽出された画像であるか否か）を判断する。この判断の結果、対象画像である場合には処理はステップＳ１０６に進み、対象画像ではない場合には処理はステップＳ１０４に進む。

ステップＳ１０４では、符号化部１０２が符号化しようとするフレームに対する符号化モードとして、他のフレームから参照されない符号化モードを設定する。本実施形態の符号化方式はMPEG-2を想定しているので、具体的には双方向予測符号化モード（双方向予測符号化方式に従って符号化を行うモード）を設定する。そしてステップＳ１０５では、変数b_countの値を１つインクリメントし、その後、処理はステップＳ１０７に進む。

一方、ステップＳ１０６では、符号化部１０２が符号化しようとするフレームに対する符号化モードを、図３のフローチャートに従った処理によって設定する。ステップＳ１０６における処理の処理の詳細については後述する。

そして、符号化部１０２が全てのフレームについて符号化を終えた場合には、処理はステップＳ１０７を介して本処理を終了するし、未だ符号化していないフレームが残っている場合には、処理はステップＳ１０７を介してステップＳ１０８に進む。

ステップＳ１０８では、変数pic_countの値を１つインクリメントする。そしてステップＳ１０９ではこのインクリメント後の変数pic_countの値が変数intra_periodの値以上であるか否かを判断する。この変数intra_periodは、フレーム内符号化方式に従った符号化を行うフレームの間隔を表す変数であり、本実施形態では１５が予め設定されているものとする。即ち本実施形態では、１５フレームおきにフレーム内符号化方式に従った符号化を行うものとする。もちろん、変数intra_periodの値はこの値に限るものではない。

そしてインクリメント後の変数pic_countの値が変数intra_periodの値以上である場合、処理はステップＳ１０２に戻る。一方、インクリメント後の変数pic_countの値が変数intra_periodの値よりも小さい場合、処理はステップＳ１０３に戻る。

次に、図３を用いて、上記ステップＳ１０６における処理の詳細について説明する。先ずステップＳ１０６１では、フラグintra_flagの値が１であるか否かを判断する。この判断の結果、フラグintra_flagの値が１であれば、処理はステップＳ１０６２に進み、０であれば、処理はステップＳ１０６４に進む。

ステップＳ１０６２では、符号化部１０２が符号化しようとするフレームに対する符号化モードとして、イントラ符号化モード（フレーム内符号化方式に従った符号化を行うモード）を設定する。即ち、前回フレーム内符号化方式に従って符号化した対象画像から、入力順において規定フレーム数以上後の対象画像に対してフレーム内符号化方式に従った符号化を行うようにする。

ステップＳ１０６３では、フラグintra_flagの値を０に設定する。そして、図３のフローチャートに従った処理を終え、処理はステップＳ１０７に進む。

一方、ステップＳ１０６４では、変数b_countの値が変数p_priodの値以上であるか否かを判断する。変数p_priodは、前方向予測符号化方式に従って符号化するフレームを挿入する間隔を表す変数であり、その値は、フレームバッファ１０１に格納可能なフレームの枚数に応じて予め設定されている。

この判断の結果、変数b_countの値が変数p_priodの値以上であれば、処理はステップＳ１０６５に進み、変数b_countの値が変数p_priodの値よりも小さい場合は、処理はステップＳ１０６７に進む。

ステップＳ１０６５では、符号化部１０２が符号化しようとするフレームに対する符号化モードとして、前方向予測符号化モード（前方向予測符号化方式に従った符号化を行うモード）を設定する。即ち、前回前方向予測符号化方式に従って符号化した対象画像から、入力順において規定フレーム数以上後の対象画像に対して、前方向予測符号化方式に従った符号化を行うようにする。そしてステップＳ１０６６では、変数b_countの値を０に初期化する。

一方、ステップＳ１０６７では、符号化部１０２が符号化しようとするフレームに対する符号化モードとして、双方向予測符号化モード（双方向予測符号化方式に従った符号化を行うモード）を設定する。即ち、対象画像のうち、フレーム内符号化方式に従った符号化の対象、前方向予測符号化方式に従った符号化の対象、の何れの対象にもなっていない対象画像に対しては双方向予測符号化方式に従った符号化を行うようにする。そしてステップＳ１０６８では、変数b_countの値を１つインクリメントする。

次に、特定領域検出部１０３、特定領域予測部１０４、フレームバッファ１０１、符号化部１０２、の各部におけるフレームの入出力について、図６のタイミングチャートを用いて説明する。図６では、時刻t1〜t16における各部のフレームの入出力を表している。

フレームバッファ１０１及び特定領域検出部１０３には、フレーム１〜１６がそれぞれ時刻ｔ１〜ｔ１６にて入力される。特定領域検出部１０３は、フレーム１，４，７，１０，１３，１６の各フレーム（対象画像）について特定領域を検出し、フレーム２，３，５，６，８，９，１１，１２，１４，１５の各フレームについては特定領域予測部１０４によって特定領域の予測を行う。

例えば、特定領域予測部１０４は、時刻ｔ３，ｔ６のそれぞれにて特定領域検出部１０３から出力された特定領域の座標位置を用いて（フレーム１，４を用いた内挿により）、フレーム２，３における特定領域を予測する。そして特定領域予測部１０４は、フレーム２に対して予測した特定領域の座標位置を時刻ｔ７にて出力し、フレーム３に対して予測した特定領域の座標位置を時刻ｔ８にて出力する。

フレーム２に対して予測した特定領域の座標位置は、符号化部１０２がフレーム２を符号化する際に用いる符号化パラメータの決定に用いられ、その結果、符号化部１０２からはフレーム２に対する符号化結果が時刻ｔ１１にて出力される。同様にフレーム３に対して予測した特定領域の座標位置は、符号化部１０２がフレーム３を符号化する際に用いる符号化パラメータの決定に用いられ、その結果、符号化部１０２からはフレーム３に対する符号化結果が時刻ｔ１２にて出力される。

フレームバッファ１０１に格納される各フレーム１〜１６のうち、フレーム１（図６ではＩ１）は、上記の処理により、フレーム内符号化方式に従って符号化されるフレームとなる。また、フレーム２〜６、８〜１２、１４〜１６（図６ではＢ２〜Ｂ６、Ｂ８〜Ｂ１２、Ｂ１４〜Ｂ１６）は、上記の処理により、双方向予測符号化方式に従って符号化されるフレームとなる。また、フレーム７，１３（図６ではＰ７，Ｐ１３）は、上記の処理により、前方向予測符号化方式に従って符号化されるフレームとなる。

以上説明したように、本実施形態では、特定領域の座標位置を予測したフレーム、即ち、特定領域を直接検出したフレーム以外のフレームを、双方向予測符号化方式に従って符号化する。本実施形態では符号化方式としてMPEG-2を用いるため、双方向予測符号化方式に従って符号化されたフレームは参照フレームとならないため、特定領域の座標位置を予測したフレームは符号化において参照フレームとしては用いられない。

従来では、特定領域の座標位置を予測したフレームは符号化時に参照フレームとなり得るため、量子化パラメータの制御による画質劣化が伝搬する可能性があった。一方、本実施形態では、特定領域の座標位置を予測したフレームは後続するフレームの符号化時に参照フレームとして用いられないので、上記のような量子化パラメータの制御による誤差の伝搬を低減し、画質を向上させることができる。

なお、H.264符号化方式においては、参照フレームは参照ピクチャリストと呼ばれるリストに登録されて管理される。MPEG-2の双方向予測符号化モードに対応する符号化モードはH.264では双予測符号化モードと呼ばれ、該モードで符号化されたフレームは、予測符号化を行う場合に参照フレームになり得る。即ち、双予測符号化モードで符号化されたフレームは参照ピクチャリストに登録され得る。一方、イントラ符号化モードや前方向予測符号化モードで符号化されたフレームを参照フレームとしない、即ち参照ピクチャに登録しないことも可能である。よって、本実施形態をH.264符号化方式に適用する場合には、図２のステップS104において、該フレームを非参照フレームとする、即ち参照ピクチャリストに登録しないという処理を行うことになる。この処理を行う場合、ステップS104で選択する符号化モードは必ずしも双予測符号化モードでなくてもよい。

また、H.264符号化方式においてはブロック単位で参照フレームを選択できる。然るに更に別の適用方法として、ステップS104において該フレームを参照ピクチャリストに登録しつつ、該フレームが特定領域の座標位置を予測したフレームであることを示すフラグを不図示のメモリに保持してもよい。この場合、後続するフレームの符号化時にこのフラグを参照して、特定領域を含むブロックの予測符号化を行うときは特定領域を直接検出したフレームの中から参照フレームを選択する処理を行う。また、特定領域を含まないブロックの予測符号化を行うときは参照ピクチャリストに登録された全てのフレームの中から参照フレームを選択する処理を行う。

なお、図６においては、特定領域検出部１０３の処理フレームレートが一定であるように説明しているが、一定に限るものではない。入力される動画像データの性質によっては、特定領域検出部１０３における計算負荷が重くなる可能性がある。この場合は特定領域検出部１０３の処理フレームレートが可変になり得るが、符号化モード制御部１０６は特定領域検出部１０３からの出力の有無に応じて符号化モードを制御すればよい。

さらに、特定領域検出部１０３がフレームバッファ１０１に一時的に格納されているフレーム数を監視し、フレーム数が閾値に到達した場合には特定領域を検出する処理を打ち切り、処理打ち切りまでの結果を符号化モード制御部１０６に出力してもよい。この場合、フレームバッファ１０１の使用量を閾値で指定されたサイズに抑えることができるので、コストの削減が可能となる。

また、本実施形態では、対象画像は、フレーム群内に規定の分布に従って分散しているものとして説明したが、様々な状況に応じて決まる規定フレームの画像であれば良く、各フレームの画像における対象画像の分布については特に限るものではない。

［第２の実施形態］
以下に、本実施形態と第１の実施形態との差分のみについて説明する。本実施形態では、第１の実施形態に係る構成において、変数p_periodを予め０に設定しておく点が第１の実施形態と異なる。

この場合、ステップＳ１０６４では常にb_countの値がp_priodの値以上となるため、ステップＳ１０６４の次は常にステップＳ１０６５に処理が進むことになる。これにより、特定領域を直接検出したフレームである対象画像に対する符号化モードは常に、イントラ符号化モード、前方向予測符号化の何れか一方となる。

本実施形態においても、特定領域を予測したフレームの画像については、双方向予測符号化方式に従った符号化を行うので、このフレームは後続するフレームの符号化時に参照フレームとして用いられない。

次に、特定領域検出部１０３、特定領域予測部１０４、フレームバッファ１０１、符号化部１０２、の各部におけるフレームの入出力について、図７のタイミングチャートを用いて説明する。図７では、時刻t1〜t16における各部のフレームの入出力を表している。図６との相違点は、特定領域予測部１０４による内挿処理の間隔と、符号化部１０２による双方向予測符号化方式に従った符号化処理の間隔と、が同じとなる点にある。

例えば、特定領域検出部１０３から出力されたフレーム１，４，７，１０，１３における特定領域の座標位置はそれぞれ、符号化部１０２がフレームＩ１，Ｐ４，Ｐ７，Ｐ１０，Ｐ１３を符号化する際に用いる符号化パラメータの決定に用いられる。その際、何れのフレームも、特定領域検出部１０３からの出力時刻（ｔ３，ｔ６，ｔ９，ｔ１２，ｔ１５）の次の時刻（ｔ４，ｔ７，ｔ１０，ｔ１３，ｔ１６）に符号化部１０２で用いられている。また、特定領域予測部１０４から出力されたフレーム２，３，５，６，８，９における特定領域の座標位置はそれぞれ、符号化部１０２がフレームＢ２，Ｂ３，Ｂ５，Ｂ６，Ｂ８，Ｂ９を符号化する際に用いる符号化パラメータの決定に用いられる。その際、何れのフレームも、特定領域予測部１０４からの出力時刻（ｔ７，ｔ８，ｔ１０，ｔ１１，ｔ１３，ｔ１４）の次の時刻（ｔ８，ｔ９，ｔ１１，ｔ１２，ｔ１４，ｔ１５）に符号化部１０２で用いられている。

一方、従来技術を用いて内挿処理の間隔を同一にしないで符号化した場合の、特定領域検出部１０３、特定領域予測部１０４、フレームバッファ１０１、符号化部１０２、の各部におけるフレームの入出力について、図８のタイミングチャートを用いて説明する。

図８に示す如く、前方向予測符号化モードで符号化されるフレームの間隔を短くしても、ストリーム中で2枚目のフレーム(P3)を符号化するにはフレーム3について予測した特定領域の座標位置(時刻t8)を待つ必要がある。よって、従来技術においては時刻t9で2枚目のフレームP3を出力するまでに、B2〜B8までの合計7枚のフレームをフレームバッファ101へ格納する必要がある。

一方、本実施形態では、図7のようにフレーム4について予測した特定領域の座標位置を時刻t6で得て、ストリーム中で2枚目のフレームP4の符号化結果を時刻t7において出力できる。よって、2枚目のフレームP4を出力するまでに、B2〜B6までの合計5枚のフレームをフレームバッファ101へ格納すればよい。ゆえに、フレームバッファ101に必要なメモリ容量を、従来技術と比較して2フレーム分減らすことができる。ここで、図8において特定領域予測部104からフレーム3より先にフレーム2の予測結果を出力したとしても、ストリーム中で2枚目のフレーム(P3)を符号化できるのは時刻t8である。よって、フレームバッファ101に必要なメモリ容量は本実施形態の方が依然として少ない。

以上説明したように、本実施形態では、特定領域の予測精度を内挿により向上させつつも、フレームバッファの容量を減らしてコストを削減することができる。また、第１の実施形態と同様に、特定領域の座標位置を予測したフレームが後続するフレームの符号化時に参照フレームとして用いられないので、符号化パラメータの制御による誤差の伝搬を低減し、画質を向上させることができる。

以上の各実施形態により、予測された特定領域を含むフレームの符号化モードが他のフレームから参照されない符号化モードに設定されるので、特定領域の予測が外れた場合であっても符号化パラメータによる誤差の伝搬を防ぎ、画質を向上させることができる。

また、特定領域の予測における内挿処理のフレーム間隔と符号化における内挿予測処理のフレーム間隔が同一になるため、特定領域の予測精度を向上させつつ、フレームバッファに必要なコストを削減することができる。

［第３の実施形態］
図１，４に示した各部は何れもハードウェアで構成しても良いが、フレームバッファ１０１（２０１）をＲＡＭやハードディスクなどのメモリとして実行し、それ以外の各部をソフトウェア（コンピュータプログラム）で実装しても良い。この場合、このメモリを有し、且つこのソフトウェアを格納するためのメモリも有するコンピュータのＣＰＵがこれらのソフトウェアを実行することで、このコンピュータは、第１，２の実施形態で説明した各処理を実行することになる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (7)

1. 動画像を構成する各フレームの画像を順次入力する入力手段と、
   前記各フレームの画像のうち規定フレームの画像を対象画像とし、該対象画像から、規定のパターンが映っている領域を特定領域として検出する手段と、
   前記対象画像以外の画像を非対象画像とし、該非対象画像中における前記特定領域を予測する予測手段と、
   前記特定領域が該特定領域以外の領域よりも高画質に符号化されるように、前記各フレームの画像を符号化する符号化手段とを備え、
   前記符号化手段は、前記非対象画像中の特定領域が他のフレームから参照されないように符号化する
   ことを特徴とする画像処理装置。
2. 前記符号化手段は、前回フレーム内符号化方式に従って符号化した前記対象画像から、前記入力順において規定フレーム数以上後の前記対象画像に対して、前記フレーム内符号化方式に従った符号化を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記符号化手段は、前回前方向予測符号化方式に従って符号化した前記対象画像から、前記入力順において規定フレーム数以上後の前記対象画像に対して、前記前方向予測符号化方式に従った符号化を行うことを特徴とする請求項２に記載の画像処理装置。
4. 前記符号化手段は、前記対象画像のうち、前記フレーム内符号化方式に従った符号化の対象、前記前方向予測符号化方式に従った符号化の対象、の何れの対象にもなっていない対象画像に対して双方向予測符号化方式に従った符号化を行うことを特徴とする請求項３に記載の画像処理装置。
5. 前記予測手段は、前記対象画像以外の画像を非対象画像とし、該非対象画像中における前記特定領域を、前記対象画像を用いた内挿により予測することを特徴とする請求項１に記載の画像処理装置。
6. 画像処理装置が行う画像処理方法であって、
   前記画像処理装置の入力手段が、動画像を構成する各フレームの画像を順次入力する入力工程と、
   前記画像処理装置の検出手段が、前記各フレームの画像のうち規定フレームの画像を対象画像とし、該対象画像から、規定のパターンが映っている領域を特定領域として検出する工程と、
   前記画像処理装置の予測手段が、前記対象画像以外の画像を非対象画像とし、該非対象画像中における前記特定領域を予測する予測工程と、
   前記画像処理装置の符号化手段が、前記特定領域が該特定領域以外の領域よりも高画質に符号化されるように、前記各フレームの画像を符号化する符号化工程とを備え、
   前記符号化工程では、前記非対象画像中の特定領域が他のフレームから参照されないように符号化する
   ことを特徴とする画像処理方法。
7. コンピュータを、請求項１乃至５の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images