JP3778208B2 - 画像符号化装置及び画像符号化方法 - Google Patents

Description

本発明は、動画像の符号化に関し、ＩＴＵ−Ｔ勧告Ｈ．２６ｘやＩＳＯ／ＩＥＣ標準ＭＰＥＧ等に代表される方式により符号化を行う画像符号化装置及び画像符号化方法に関するものである。本発明による画符号化装置及び画像符号化方法は、例えば、携帯電話などに搭載される装置に利用される。

以下、ＭＰＥＧ−４を例に取り説明する。一般に、ＭＰＥＧ−４に代表される画像符号化方式では、入力される画像信号に対して空間的・時間的相関関係を利用してデータの圧縮を行う。そして、この空間的圧縮・時間的圧縮により得られるデータをもとに、所定の順序にしたがってさらに可変長符号化を行い、ビットストリームを生成する。
ＭＰＥＧ−４では、表示される画像全体（合成画像）は、複数の画像系列の画像（物体）により構成されることから、各画像系列の、各表示時刻における画面をビデオ・オブジェクト・プレーン（以下、「ＶＯＰ」と記す。）と呼び、ＭＰＥＧ−１及びＭＰＥＧ−２におけるフレームと区別している。なお、表示画像の全体が１つの画像系列の画像により構成される場合には、ＶＯＰとフレームは一致することとなる。
ＶＯＰは輝度信号と色差信号をもち、複数のマクロブロックから構成される。マクロブロックは、輝度信号に対して縦横それぞれ１６画素から成る。ＭＰＥＧ−４における画像符号化では、このマクロブロック単位で空間的圧縮、時間的圧縮等の手法により情報量の圧縮が行われる。空間的圧縮は、直交変換の一種である離散コサイン変換（以下、「ＤＣＴ」と記す。）により時間領域から周波数領域に変換した後の信号を、量子化することにより行われ、時間的圧縮には、動き補償が用いられる。
また、ＶＯＰ単位のデータ圧縮方法には、同一画面内の空間的圧縮のみを用いてＶＯＰを符号化する空間的画面内符号化（以下、「イントラ符号化」と記す。）と、画面間の相関を利用した時間的圧縮を用いてＶＯＰを符号化する画面間符号化（以下、「インター符号化」と記す。）とがある。
画像符号化装置では、所定の符号化パラメータにしたがって、指定された符号量のビットストリームを出力しなければならない。さらに、画像符号化装置では、ビットストリームを受取る復号化装置側のバッファ（仮想バッファ検証器であり、以下、「ＶＢＶバッファ」と記す。）にオーバーフローやアンダーフローを生じさせないように、ＶＢＶバッファの占有量を想定して発生符号量を制御しなければならない。
発生符号量の制御は、ＶＯＰを構成するマクロブロック毎に設定されるＤＣＴ係数を量子化するために用いられる、量子化パラメータにより行う。したがって、発生符号量の制御はＶＯＰ単位で行われることとなる。一般に、量子化パラメータを大きくすると発生符号量は小さくなり、量子化パラメータを小さくすると発生符号量は大きくなる。つまり、発生符号量と量子化パラメータとは反比例の関係にある。この性質を用いて発生符号量を変化させることが可能である。
しかし、量子化パラメータが取り得る範囲には制限があるため、量子化パラメータだけで発生符号量を適正値に制御することは難しい場合がある。そこで、発生符号量が目標値よりも多い場合には、すべてのＶＯＰについて符号化処理を行うのではなく、符号化処理を行わないＶＯＰ、すなわち、符号化処理をスキップするスキップＶＯＰを作り、全体の発生符号量を抑制する処理を行う。一方、発生符号量が目標値よりも小さい場合には、ビットストリームに冗長なビットを挿入し、発生符号量を増加させる処理を行う。上記のような、一部のＶＯＰの符号化処理をスキップし、発生符号量を抑制する技術は、例えば、文献１（特開２００２−２６２２９７号公報（第４−７頁、図３））に記載されている。
また、入力される画像信号に対して符号化処理を行う装置において、シーンチェンジが起きた場合の画質の劣化を改善するために、入力される画像信号からシーンチェンジを検出し、シーンチェンジ直後の画像には多くの符号量を割り当てる符号量制御方法が、例えば、文献２（特開平６−５４３１９号公報（第４−５頁、図２））に記載されている。
従来のＭＰＥＧ−４で符号化処理を行う画像符号化装置では、文献１に示すような、一部のＶＯＰに対し符号化処理を行わずに発生符号量を制御する符号化処理方法を行っているので、符号化処理を行わないスキップＶＯＰと、シーンチェンジが検出されたＶＯＰとが重なるような場合、次のような問題があった。
例えば、時間的に連続する複数のＶＯＰ（それぞれを時間順に「ＶＯＰ_１」、「ＶＯＰ_２」、及び「ＶＯＰ_３」と記す。）がある場合に、ＶＯＰ_２においてシーンチェンジが検出されたとする。この場合、ＶＯＰ_２には通常より多くの符号量を割当てなければ画質の劣化を引き起こす。しかし、全体の発生符号量を抑制するため、偶然にＶＯＰ_２がスキップＶＯＰになったとする。この場合、ＶＯＰ_２は符号化処理が行われない。しかし、ＶＯＰ_３を符号化処理する際には、ＶＯＰ_２がシーンチェンジであったという情報が残っておらず、ＶＯＰ_３の符号化処理に際し通常の符号量しか割当てられないため、ＶＯＰ_３の画質劣化を引き起こす場合がある。
また、文献２に示すように、シーンチェンジを検出し、シーンチェンジ直後の画像には多くの符号量を割り当てて画像の劣化を防止する符号化処理方法を行っている場合には、次のような問題があった。連続するＶＯＰにおいてシーンチェンジが検出される場合、連続して符号量を多く割り当てることになり、シーンチェンジ以外の部分の画質劣化、コマ落ちなどを生じる可能性があり、全体として適切な符号量割り当てを行うことができないという問題があった。

本発明の目的は、スキップＶＯＰとシーンチェンジが検出されたＶＯＰとが重なった場合であっても、画質劣化を生じさせないようにＶＯＰの符号化処理を制御することができる画像符号化装置及び画像符号化方法を提供することである。
また、本発明の他の目的は、連続するＶＯＰにおいてシーンチェンジが検出される場合にも、各ＶＯＰに対して適切な符号量割り当てを行うことができる画像符号化装置及び画像符号化方法を提供することである。
本発明に係る画像符号化装置は、入力されたＶＯＰを順に符号化処理してビットストリームを出力する符号化器と、この符号化器による符号化処理をＶＯＰ単位でスキップさせることができるスイッチ回路と、第ｉ（ｉは１以上の整数）のＶＯＰの符号化処理をスキップさせるか否かを示す第ｉのスキップ信号を生成し、スイッチ回路に出力すると共に、第ｉのＶＯＰに対応する第ｉのシーンチェンジ信号を用いて符号化器による第ｉのＶＯＰの符号化処理後の符号量を制御する制御信号を生成し、符号化器に出力する符号化制御部とを有する。さらに、本発明に係る画像符号化装置は、第ｉのＶＯＰ及びこの第ｉのＶＯＰより時間的に前に入力されたＶＯＰに基づく情報と、第ｉのＶＯＰより時間的にＮ（Ｎは１以上の整数）＿ＶＯＰ前に入力された第（ｉ−１）のＶＯＰの符号化処理をスキップさせたか否かを示す第（ｉ−１）のスキップ信号とに基づいて、符号化制御部に入力される第ｉのシーンチェンジ信号を生成するシーンチェンジ信号生成部を有する。

図１は、本発明の実施の形態に係る画像符号化装置の構成を概略的に示すブロック図であり、
図２は、本発明の実施の形態に係る画像符号化装置における符号化処理動作を示すフローチャートであり、
図３は、本発明の実施の形態に係る画像符号化装置のフレームメモリの構成を示す図であり、
図４は、本発明の実施の形態に係る画像符号化装置のシーンチェンジ検出部によるシーンチェンジ信号の設定処理を示すフローチャートであり、
図５（ａ），（ｂ）は、本発明の実施の形態に係る画像符号化装置におけるシーンチェンジ信号とスキップ信号との関係を示す図であり、
図６（ａ），（ｂ）は、本発明の実施の形態に係る画像符号化装置における、ＶＯＰ間の情報の変化量、変化量検出情報、スキップ信号、及びシーンチェンジ信号の関係を示す図である。

本発明の実施の形態に係る画像符号化装置は、符号化処理対象の現ＶＯＰと、現ＶＯＰより時間的にＮ（Ｎは１以上の整数）枚のＶＯＰ（以下「Ｎ＿ＶＯＰ」と記す。）前にある前ＶＯＰとの間の情報の変化量（例えば、輝度信号や色差信号等の特徴量の変化量）が、所定値より大きいか否かの信号だけでなく、前ＶＯＰがシーンチェンジＶＯＰであるか否かを示す前シーンチェンジ信号と、前ＶＯＰが符号化処理されたか否かを示す前スキップ信号とを参照することにより、現ＶＯＰに対応する現シーンチェンジ信号を決定し、現シーンチェンジ信号に基づいて現ＶＯＰの目標符号量を設定し、目標符号量の設定に必要な量子化パラメータを設定する。
なお、本実施の形態においては、Ｎ＝１の場合について説明するが、Ｎは１に限定されない。また、以下の説明において、現ＶＯＰを「ＶＯＰ_ｉ」（ｉは１以上の整数）と、前ＶＯＰを「ＶＯＰ_ｉ−１」とも記す。さらに、現スキップ信号を「ＳＫ_ｉ」と、前スキップ信号を「ＳＫ_ｉ−１」とも記す。さらにまた、現シーンチェンジ信号を「ＳＣ_ｉ」と、前シーンチェンジ信号を「ＳＣ_ｉ−１」とも記す。
Ｎ＝１の場合には、画像符号化装置は、現シーンチェンジ信号ＳＣ_ｉを決定するにあたり、前ＶＯＰがシーンチェンジＶＯＰであったか否かだけではなく、前ＶＯＰについて符号化処理を行ったか否か（すなわち、前ＶＯＰの符号化処理がスキップされなかったか、又は、スキップされたか）の情報も参照することにより、現ＶＯＰの符号化処理を適正に行う。
以下の説明においては、前ＶＯＰと現ＶＯＰとの間の情報の変化量が所定値より大きいときには、「現ＶＯＰはシーンチェンジＶＯＰである」と言い、前ＶＯＰと現ＶＯＰとの間の情報の変化量が前記所定値以下であるときには、「現ＶＯＰはシーンチェンジＶＯＰではない」と言う。
また、前ＶＯＰと現ＶＯＰとの間の情報の変化量が所定値より大きく、且つ、前ＶＯＰよりもＮ＿ＶＯＰ前に入力されたＶＯＰ（以下、「前々ＶＯＰ」又は「ＶＯＰ_ｉ−２」と記す。）と前ＶＯＰとの間の情報の変化量が所定値以下であるときには、「現ＶＯＰは単独シーンチェンジＶＯＰである」という。さらに、前ＶＯＰと現ＶＯＰとの間の情報の変化量が所定値より大きく、且つ、前々ＶＯＰと前ＶＯＰとの間の情報の変化量が所定値より大きいときには、「現ＶＯＰは連続シーンチェンジＶＯＰである」と言う。
本発明の実施の形態に係る画像符号化装置においては、現ＶＯＰがシーンチェンジＶＯＰであるか否かを検出し、現ＶＯＰがシーンチェンジＶＯＰである場合には、現ＶＯＰが連続シーンチェンジＶＯＰであるか否かをさらに検出する。このような検出により、現ＶＯＰが単独シーンチェンジＶＯＰであると検出したモードか、現ＶＯＰが連続シーンチェンジＶＯＰであると検出したモードか、現ＶＯＰがシーンチェンジＶＯＰではないと検出したモードのいずれであるかを判断することができる。そして、本発明の実施の形態に係る画像符号化装置は、検出したモードに基づいて、現ＶＯＰを符号化した後の目標符号量及び量子化パラメータの設定を行い、順次入力されるＶＯＰの全体について適正な符号化処理を行う。
以下に、本発明の画像符号化装置及び画像符号化方法を、添付図面を参照しながら詳細に説明する。
図１は、本発明の実施の形態に係る画像符号化装置１００の構成を示すブロック図である。画像符号化装置１００には、図１に示されるように、有線通信や無線通信により伝送される画像信号がＶＯＰとして入力される。画像符号化装置１００は、入力されるＶＯＰをマクロブロックに分割して符号化処理を行い、ビットストリームとして出力する。
図１に示されるように、画像符号化装置１００は、入力されるＶＯＰを一時的に蓄積するフレームメモリ１０１と、フレームメモリ１０１に取り込まれた各ＶＯＰ間の情報の変化量を検出する変化量検出部１０２と、スイッチ回路１０８と、スイッチ回路１０８を経由して入力されるＶＯＰをマクロブロック単位で符号化する符号化器１０３と、符号化器１０３から出力されたビットストリームを一時的に蓄積するバッファ１０４と、バッファ１０４に蓄積されたビットストリームからＶＯＰ毎の発生符号量をカウントする符号量検出部１０５と、シーンチェンジ検出部１０７から出力されたシーチェンジ信号に基づいて、符号化器１０３にて実施する符号化のための量子化パラメータの決定等、符号化情報量を制御する符号化制御部１０６とを有している。
また、画像符号化装置１００は、変化量検出部１０２で検出された各ＶＯＰ間の情報の変化量（例えば、特徴量の変化量）、スキップ信号保持部１０９から出力された前スキップ信号ＳＫ_ｉ−１、及びシーンチェンジ信号保持部１１０から出力された前シーンチェンジ信号ＳＣ_ｉ−１等に基づき、現シーンチェンジ信号ＳＣ_ｉを生成するシーンチェンジ検出部１０７と、シーンチェンジ検出部１０７から出力されたシーンチェンジ信号を一時的に保持するシーンチェンジ信号保持部１１０と、符号化制御部１０６から出力されたスキップ信号を一時的に保持するスキップ信号保持部１０９とを有している。なお、スキップ信号は、スキップ信号保持部１０９に入力される時点においては現スキップ信号ＳＫ_ｉであるが、シーンチェンジ検出部１０７に出力される時点（スキップ信号保持部１０９に入力される時点から時間が経過した時点）においては、前スキップ信号ＳＫ_ｉ−１になっている。
また、フレームメモリ１０１、変化量検出部１０２、シーンチェンジ検出部１０７、スキップ信号保持部１０９、及びシーンチェンジ信号保持部１１０は、現シーンチェンジ信号ＳＣ_ｉを生成して出力するシーンチェンジ信号生成部１１１を構成している。
さらにまた、符号化制御部１０６は、現ＶＯＰの符号化処理をスキップするか否かを示す現スキップ信号ＳＫ_ｉを出力するスキップ制御部１０６ａと、現ＶＯＰの符号化処理における目標符号量の設定と量子化パラメータの設定を行う量子化パラメータ制御部１０６ｂとを有している。
図２は、本発明の実施の形態に係る画像符号化装置１００が行うＶＯＰの符号化処理動作を示すフローチャートである。図２を用いて、ＶＯＰの符号化処理の概略を説明する。
図２に示されるように、まず、変化量検出部１０２が、画像符号化装置１００に入力された現ＶＯＰと前ＶＯＰとの間の情報の変化量（例えば、輝度信号等の特徴量の変化量）Ｄ_ｉを検出する（ステップＳ１）。
次に、シーンチェンジ検出部１０７が、ステップＳ１で検出した変化量Ｄ_ｉと、前シーンチェンジ信号ＳＣ_ｉ−１とに基づいて、現シーンチェンジ信号ＳＣ_ｉを設定する（ステップＳ２）。前シーンチェンジ信号ＳＣ_ｉ−１を決定する際には、前ＶＯＰの符号化処理がスキップされたか否かが考慮されている。また、前シーンチェンジ信号ＳＣ_ｉ−１を決定する際には、前ＶＯＰが単独シーンチェンジＶＯＰであったか、連続シーンチェンジＶＯＰであったか、又はシーンチェンジＶＯＰでなかったか、も考慮されている。このため、前シーンチェンジ信号ＳＣ_ｉ−１から、前ＶＯＰが連続シーンチェンジであったか否かの検出が可能となる。
なお、本実施の形態においては、シーンチェンジ信号が、現ＶＯＰがシーンチェンジＶＯＰではなかったと検出した場合の信号（信号値‘０’）、現ＶＯＰが単独シーンチェンジＶＯＰであったと検出した場合の信号（信号値‘１’）、及び現ＶＯＰが連続シーンチェンジＶＯＰであったと検出した場合の信号（信号値‘２’）の３種類の信号である場合を説明する。
さらに、前ＶＯＰの符号量と、画像符号化装置１００から出力されたビットストリームを受取るＶＢＶバッファの空き容量とに基づいて、現ＶＯＰの符号化処理をスキップするか否か（すなわち、現ＶＯＰの符号化処理を行わないか、行うか）を決定し、現ＶＯＰの符号化処理をスキップするか否かを示す現スキップ信号ＳＫ_ｉを設定する（ステップＳ３）。なお、本実施の形態においては、スキップ信号には、現ＶＯＰの符号化処理を行うとした場合の信号（信号値‘０’）、現ＶＯＰの符号化処理を行わず、符号化処理をスキップするとした場合の信号（信号値‘１’）の２種類の信号がある。
ステップＳ３において設定された現スキップ信号ＳＫ_ｉに基づいて、現ＶＯＰの符号化処理を行なわない（すなわち、現ＶＯＰがスキップＶＯＰである）と判断した場合（すなわち、現スキップ信号ＳＫ_ｉの信号値が‘１’の場合）は、画像符号化装置１００は、現ＶＯＰについて符号化処理を行わず、スキップＶＯＰと判断された現ＶＯＰに関する処理を終了する（ステップＳ４）。現ＶＯＰが符号化処理を行なうＶＯＰ（すなわち、スキップＶＯＰではない）と判断した場合（すなわち、現スキップ信号ＳＫ_ｉの信号値が‘０’の場合）は、画像符号化装置１００の処理は、次のステップＳ５に進む（ステップＳ４）。
現ＶＯＰが符号化処理を行うＶＯＰであると判断された場合には、後述するように、現ＶＯＰが単独シーンチェンジＶＯＰである場合（すなわち、現シーンチェンジ信号ＳＣ_ｉの信号値が‘１’の場合）、現ＶＯＰが連続シーンチェンジＶＯＰである場合（すなわち、現シーンチェンジ信号ＳＣ_ｉの信号値が‘２’の場合）、及び現ＶＯＰがシーンチェンジＶＯＰではない場合（すなわち、現シーンチェンジ信号ＳＣ_ｉの信号値が‘０’の場合）の３通りの場合がある。
符号化制御部１０６は、現ＶＯＰが単独シーンチェンジＶＯＰである場合（すなわち、現シーンチェンジ信号ＳＣ_ｉの信号値が‘１’の場合）における符号化処理後の符号量が、現ＶＯＰがシーンチェンジＶＯＰではない場合（すなわち、現シーンチェンジ信号ＳＣ_ｉの信号値が‘０’の場合）や、連続シーンチェンジＶＯＰである場合（すなわち、現シーンチェンジ信号ＳＣ_ｉの信号値が‘２’の場合）における符号化処理後の符号量よりも大きな値となるように、符号化処理の目標符号量を設定する（ステップＳ５）。
符号化制御部１０６は、現ＶＯＰが連続シーンチェンジＶＯＰである場合（すなわち、現シーンチェンジ信号ＳＣ_ｉの信号値が‘２’の場合）における符号化処理後の符号量が、現ＶＯＰが単独シーンチェンジＶＯＰである場合（すなわち、現シーンチェンジ信号ＳＣ_ｉの信号値が‘１’の場合）における符号化処理後の符号量よりも大きな値とならないように、符号化処理の目標符号量を設定する（ステップＳ５）。
そして、ステップＳ５で設定された目標符号量に基づき、各マクロブロック毎の量子化パラメータＱｐを決定し（ステップＳ６）、実際に現ＶＯＰの符号化処理を行う（ステップＳ７）。
次に、図１乃至図３を用いて、画像符号化装置１００のＶＯＰ符号化処理動作について詳細に説明する。図３は、本実施の形態に係る画像符号化装置１００のフレームメモリ１０１の構成を概念的に示す図である。
まず、本実施の形態の画像符号化装置１００の各部を統括して制御する上位の制御系（図示せず）から入力されたＶＯＰが、フレームメモリ１０１に一時的に蓄積される。なお、フレームメモリ１０１は、図３に示すように、（ｉ−１）番目（ｉは、正の整数）のＶＯＰのデータを記憶する第１領域１０１ａと、ｉ番目のＶＯＰのデータを記憶する第２領域１０１ｂとの２つの領域により構成されている。したがって、フレームメモリ１０１は、連続する２つのＶＯＰのデータが保持される状態となる。
次に、変化量検出部１０２は、フレームメモリ１０１に記憶された連続する２つのＶＯＰ間の情報の変化量を、例えば、輝度信号について各画素間の差分の絶対値の和により求める（ステップＳ１）。また、スイッチ回路１０８は、後述する符号化制御部１０６からのスキップ信号ＳＫ_ｉに基づいてオン・オフされる。このスイッチ回路１０８を経由して符号化器１０３に入力されたＶＯＰは、符号化制御部１０６により設定された目標符号量と量子化パラメータＱｐとにしたがって、符号化器１０３にてマクロブロック単位で符号化される。符号化器１０３は、符号化処理されたビットストリームをバッファ１０４に出力する。符号化器１０３から出力されたビットストリームは、バッファ１０４に一時的に蓄積されてから出力される。
バッファ１０４に蓄積されたビットストリームは、上述の上位の制御系からの制御信号により出力される。バッファ１０４からの出力が、画像符号化装置１００の出力となる。また、バッファ１０４に蓄積されたビットストリームは、符号量検出部１０５にも入力される。
符号量検出部１０５は、バッファ１０４から符号量検出部１０５に入力されたビットストリームの符号量（すなわち、符号化器１０３による現ＶＯＰの符号化処理後の符号量）の大きさを検出し、検出結果を符号化制御部１０６に出力する。
シーンチェンジ検出部１０７は、変化量検出部１０２から出力された前ＶＯＰと現ＶＯＰとの間の情報の変化量（特徴量の変化量）と、シーンチェンジ信号保持部１１０から出力された前ＶＯＰのシーンチェンジ信号（すなわち、前シーンチェンジ信号ＳＣ_ｉ−１）と、スキップ信号保持部１０９から出力された前ＶＯＰのスキップ信号（すなわち、前スキップ信号ＳＫ_ｉ−１）とに基づいて、現シーンチェンジ信号ＳＣ_ｉの設定を行い、設定された現シーンチェンジ信号ＳＣ_ｉを符号化制御部１０６に出力する（ステップＳ２）。なお、現シーンチェンジ信号ＳＣ_ｉの設定については、後で詳しく述べる。
符号化制御部１０６は、まず、現ＶＯＰの符号化処理を行うか否かの決定をし、その決定に従った現スキップ信号ＳＫ_ｉの設定を行う（ステップＳ３）。現スキップ信号ＳＫ_ｉの設定後、現ＶＯＰの目標符号量の設定、この目標符号量に対応した量子化パラメータＱｐの設定を行い、スイッチ回路１０８及びスキップ信号保持部１０９へ現スキップ信号ＳＫ_ｉを出力し、符号化器１０３に量子化パラメータを出力する。スイッチ回路１０８は、現スキップ信号ＳＫ_ｉに対応してオン（ｏｎ）・オフ（ｏｆｆ）する。
現ＶＯＰの符号化処理を行うか否かの決定は、符号量検出部１０５から出力された前ＶＯＰに対応するビットストリームの符号量と、図示しないＶＢＶバッファの空き容量とから、符号化制御部１０６内のスキップ制御部１０６ａにより決定する。すなわち、現ＶＯＰの符号化処理を行うか否かの決定は、仮に、現ＶＯＰの符号化処理を行い、現ＶＯＰに対応するビットストリームの符号量が前ＶＯＰに対応するビットストリームの符号量と同じ大きさになった場合、ビットストリームを受取るＶＢＶバッファにおいて不具合が生じないか、から判断する。また、前ＶＯＰの符号化処理がスキップされている場合には、前ＶＯＰよりもさらに時間的に前にあるＶＯＰ（例えば、前ＶＯＰよりもＮ＿ＶＯＰだけ前にあるＶＯＰであり、「前々ＶＯＰ」又は「ＶＯＰ_ｉ−２」と記す。）に対応するビットストリームの符号量を参照する。なお、前ＶＯＰの符号化処理がスキップされている場合に参照する符号量は予め決められた固定値でも良い。
現ＶＯＰの符号化処理を行わず、符号化処理をスキップすると判断した場合には、スキップ制御部１０６ａは、現スキップ信号ＳＫ_ｉの信号値を‘１’に設定する（ステップＳ４）。現スキップ信号ＳＫ_ｉの信号値が‘１’である場合には、スイッチ回路１０８をオフし、現スキップ信号ＳＫ_ｉの信号値‘１’をスキップ信号保持部１０９に入力する。一方、現ＶＯＰの符号化処理を行うと判断した場合には、現ＶＯＰについて符号化処理を行うことを示すため、スキップ制御部１０６ａは、現スキップ信号ＳＫ_ｉの信号値を‘０’に設定し、現スキップ信号ＳＫ_ｉの信号値‘０’をスキップ信号保持部１０９に入力する。
現スキップ信号ＳＫ_ｉの信号値が‘０’である場合には、シーンチェンジ検出部１０７から入力された現シーンチェンジ信号ＳＣ_ｉに基づいて、符号化制御部１０６内の量子化パラメータ制御部１０６ｂが符号化のための目標符号量を設定する（ステップＳ５）。なお、シーンチェンジ信号には、後述するように、現ＶＯＰがシーンチェンジＶＯＰではないと検出したモード、現ＶＯＰが単独シーンチェンジＶＯＰであると検出したモード、及び、現ＶＯＰが連続シーンチェンジＶＯＰであると検出したモードの３つのモードがある。
現ＶＯＰが連続シーンチェンジＶＯＰであると検出された場合に、現ＶＯＰが単独シーンチェンジＶＯＰであると検出した場合と同じような目標符号量を設定すると、連続した複数のＶＯＰに対して多くの符号量を割当てることとなり、シーンチェンジ以外の部分の画質劣化を生じる可能性がある。したがって、符号化制御部１０６は、現ＶＯＰが連続シーンチェンジＶＯＰであると検出された場合の目標符号量を、現ＶＯＰが巣独シーンチェンジＶＯＰであると検出された場合の目標符号量より小さくなるよう設定し、設定された目標符号量に基づいて、量子化パラメータ制御部１０６ｂはさらに、符号化処理時の量子化パラメータＱｐの設定を行う（ステップＳ６）。そして、符号化制御部１０６は、スイッチ回路１０８をオンさせ、符号化器１０３に量子化パラメータＱｐを出力し、現スキップ信号ＳＫ_ｉの信号値‘０’をスキップ信号保持部１０９に入力する。
一方、現ＶＯＰが単独シーンチェンジＶＯＰであると検出された場合には、量子化パラメータ制御部１０６ｂは、現ＶＯＰが連続シーンチェンジＶＯＰであると検出された場合や、現ＶＯＰがシーンチェンジＶＯＰではないと検出された場合よりも大きな目標符号量を設定し、設定された目標符号量に基づいて、符号化処理時の量子化パラメータＱｐの設定を行う（ステップＳ６）。そして、符号化制御部１０６は、スイッチ回路１０８をオンさせ、符号化器１０３に量子化パラメータＱｐを出力し、現スキップ信号ＳＫ_ｉの信号値‘０’をスキップ信号保持部１０９に入力する。これにより、本実施の形態の画像符号化装置１００を採用した画像表示装置によれば、シーンチェンジ時にも安定した画質の画像を表示することができる。
また、現ＶＯＰがシーンチェンジＶＯＰではないと検出された場合には、量子化パラメータ制御部１０６ｂは、単独シーンチェンジＶＯＰであると検出された場合よりも小さな目標符号量を設定し、設定された目標符号量に基づいて、符号化処理時の量子化パラメータＱｐの設定を行う（ステップＳ６）。そして、スイッチ回路１０８をオンし、符号化器１０３に量子化パラメータＱｐを出力し、現スキップ信号ＳＫ_ｉの信号値‘０’をスキップ信号保持部１０９に入力する。
このように、現ＶＯＰの符号化処理に際し、それぞれのモード毎に目標符号量を設定し、それに基づく量子化パラメータＱｐを設定することにより、符号化器１０３により符号化処理される符号量を、全体として適正な値に制御することが可能となる。
図４は、画像符号化装置１００における現シーンチェンジ信号ＳＣ_ｉの設定処理を示すフローチャートである。また、図５（ａ），（ｂ）は、画像符号化装置１００における前スキップ信号ＳＫ_ｉ−１及び前シーンチェンジ信号ＳＣ_ｉ−１に対応する、現シーンチェンジ信号ＳＣ_ｉを示す図である。
以下に、図４と図５（ａ），（ｂ）を用いて、画像符号化装置１００のシーンチェンジ検出部１０７における、シーンチェンジ信号の設定方法について説明する。ここで、図４におけるステップＳ１２〜Ｓ１８の処理は、図５（ａ）に対応し、図４におけるステップＳ１９〜Ｓ２１の処理は、図５（ｂ）に対応する。
なお、シーンチェンジ検出部１０７が検出するのは、第１に、現ＶＯＰがシーンチェンジＶＯＰであるか否かであり、第２に、現ＶＯＰがシーンチェンジＶＯＰであれば、さらに、現ＶＯＰが連続シーンチェンジＶＯＰ又は単独シーンチェンジＶＯＰのいずれであるか、である。
図４に示されるように、まず、ステップＳ１１において、シーンチェンジ検出部１０７は、連続するＶＯＰ間の情報の変化量、すなわち、現ＶＯＰと前ＶＯＰとの間の情報の変化量Ｄ_ｉが所定値より大きいか否かを判断する。ステップＳ１１において、変化量Ｄ_ｉが所定値よりも大きいと判断された場合には、現ＶＯＰはシーンチェンジＶＯＰであると判断し、シーンチェンジ検出部１０７の処理はステップＳ１２に進む。一方、ステップＳ１１において、変化量Ｄ_ｉが所定値以下と判断された場合には、現ＶＯＰはシーンチェンジＶＯＰではないと判断し、シーンチェンジ検出部１０７の処理はステップＳ１９に進む。上述したように、シーンチェンジ検出部１０７には変化量検出部１０２が検出した変化量が入力される。検出した変化量とは、例えば、輝度信号についての連続するＶＯＰ間の各画素間の差分の絶対値の和である。
処理がステップＳ１２に進んだ場合、前ＶＯＰが符号化処理を行われなかったスキップＶＯＰであるか否かを、前スキップ信号ＳＫ_ｉ−１に基づいて判断する。前ＶＯＰがスキップＶＯＰであると判断された場合（すなわち、前スキップ信号ＳＫ_ｉ−１の信号値が‘１’である場合）には、処理はステップＳ１６に進む。一方、ステップＳ１２において、前ＶＯＰがスキップＶＯＰではないと判断された場合（すなわち、前スキップ信号ＳＫ_ｉ−１の信号値が‘０’である場合）には、処理はステップＳ１３に進む。前ＶＯＰがスキップＶＯＰである場合は、前ＶＯＰよりさらに時間的にＮ＿ＶＯＰ前にある前々ＶＯＰと現ＶＯＰとの関係が必要になる。さらに、前々ＶＯＰの状態を検出するためには、前々ＶＯＰからさらに時間的にＮ＿ＶＯＰ前にあるＶＯＰ（以下、「前々々ＶＯＰ」又は「ＶＯＰ_{ｉ− ３}」と記す。）との関係が必要となる。
ステップＳ１２において、前スキップ信号ＳＫ_ｉ−１の信号値が‘０’でなく‘１’である場合には、前ＶＯＰはスキップＶＯＰであったことを示しているので、シーンチェンジ検出部１０７の処理はステップＳ１６に進む。
ステップＳ１６においては、前シーンチェンジ信号ＳＣ_ｉ−１の信号値が‘２’であるか否か、すなわち、前ＶＯＰが連続シーンチェンジＶＯＰであるか、それともそれ以外の場合（すなわち、前シーンチェンジ信号ＳＣ_ｉ−１の信号値が‘０’又は‘１’の場合）かを検出する。ステップＳ１２において前ＶＯＰがスキップＶＯＰであると判断されているので、現ＶＯＰの状態を判定するために、前ＶＯＰ、前々ＶＯＰ、前々々ＶＯＰの状態との関係が必要となる。
ステップＳ１６において、前シーンチェンジ信号ＳＣ_ｉ−１の信号値が‘２’である場合、すなわち、前ＶＯＰが連続シーンチェンジＶＯＰである場合には、
（１ａ）前々々ＶＯＰと、前々ＶＯＰとの間の情報の変化量が所定値より大きく、
（１ｂ）前々ＶＯＰと、符号化処理がスキップされた前ＶＯＰとの間の情報の変化量が所定値より大きく、
（１ｃ）符号化処理がスキップされた前ＶＯＰと、現ＶＯＰとの間の情報の変化量が所定値より大きい。
したがって、符号化処理されるＶＯＰだけを考慮すれば、
（２ａ）前々々ＶＯＰと、前々ＶＯＰとの間の情報の変化量は所定値より大きく、
（２ｂ）前々ＶＯＰと、現ＶＯＰとの間の情報の変化量は所定値より大きい。
このため、現ＶＯＰを連続シーンチェンジＶＯＰであるとみなして、現シーンチェンジ信号ＳＣ_ｉの信号値を‘２’に設定する（ステップＳ１７）。
また、ステップＳ１６において、前シーンチェンジ信号ＳＣ_ｉ−１の信号値が‘１’である場合、すなわち、前ＶＯＰが単独シーンチェンジＶＯＰである場合には、
（３ａ）前々々ＶＯＰと、前々ＶＯＰとの間の情報の変化量が所定値以下であり、
（３ｂ）前々ＶＯＰと、符号化処理がスキップされた前ＶＯＰとの間の情報の変化量が所定値より大きく、
（３ｃ）符号化処理がスキップされた前ＶＯＰと、現ＶＯＰとの間の情報の変化量が所定値より大きい。
したがって、符号化処理されるＶＯＰだけを考慮すれば、
（４ａ）前々々ＶＯＰと、前々ＶＯＰとの間の情報の変化量が所定値以下であり、
（４ｂ）前々ＶＯＰと、現ＶＯＰとの間の情報の変化量が所定値より大きい。
このため、現ＶＯＰは単独シーンチェンジＶＯＰであると判断して、現シーンチェンジ信号ＳＣ_ｉの信号値を‘１’に設定する（ステップＳ１８）。
また、ステップＳ１６において、前シーンチェンジ信号ＳＣ_ｉ−１の信号値が‘０’である場合、すなわち、前ＶＯＰが単独シーンチェンジＶＯＰではなく、連続シーンチェンジＶＯＰでもない場合には、
（５ａ）前々々ＶＯＰと、前々ＶＯＰとの間の情報の変化量が所定値以下であり、
（５ｂ）前々ＶＯＰと、符号化処理がスキップされた前ＶＯＰとの間の情報の変化量が所定値以下であり、
（５ｃ）符号化処理がスキップされた前ＶＯＰと、現ＶＯＰとの間の情報の変化量が所定値より大きい。
したがって、符号化処理されるＶＯＰだけを考慮すれば、
（６ａ）前々々ＶＯＰと、前々ＶＯＰとの間の情報の変化量が所定値以下であり、
（６ｂ）前々ＶＯＰと、現ＶＯＰとの間の情報の変化量が所定値より大きい。
このため、現ＶＯＰは単独シーンチェンジＶＯＰであるとみなして、現シーンチェンジ信号ＳＣ_ｉの信号値を‘１’に設定する（ステップＳ１８）。
このように、現シーンチェンジ信号ＳＣ_ｉのモードを、単独シーンチェンジとして検出したモードと、シーンチェンジではないと検出したモードとに加え、連続シーンチェンジとして検出したモードを加え、連続シーンチェンジとして検出したモードの場合には、単独シーンチェンジとして検出したモードの場合よりビットストリームの符号量が小さくなるように目標符号量、量子化パラメータを設定し符号化処理を行う。この場合には、シーンチェンジＶＯＰが連続した場合であっても、各ＶＯＰに対応する符号量割り当てを適切に行うことができ、その結果、全体として適正な符号化処理を行うことができるようになる。
また、ＶＯＰの符号化処理により生成されるビットストリームの符号量の制御の方法として、スキップＶＯＰとシーンチェンジＶＯＰが重なるような場合でも、前ＶＯＰのスキップ信号及びシーンチェンジ信号を参照して現ＶＯＰについてシーンチェンジの検出を行うため、検出された情報が適切に生かされ、安定した画質を得ることができる。
次に、ステップＳ１２において前ＶＯＰが符号化処理を行われたＶＯＰと判断された場合について説明する。この場合には、画像符号化装置１００における処理は、ステップＳ１２からステップＳ１３に進む。ステップＳ１３においては、前シーンチェンジ信号ＳＣ_ｉ−１が‘１’又は‘２’である（すなわち、前ＶＯＰがシーンチェンジである）か、‘０’である（すなわち、前ＶＯＰがシーンチェンジではない）かを判断する。ステップＳ１１において、前ＶＯＰと、現ＶＯＰとの間の情報の変化量は所定値より大きいと判断されており、かつ、前ＶＯＰの符号化処理が行われているので、ステップ１３においては、前々ＶＯＰと前ＶＯＰとの関係のみを確認すればよい。
ステップＳ１３において、前シーンチェンジ信号ＳＣ_ｉ−１の信号値が‘０’である場合、すなわち、前ＶＯＰが単独シーンチェンジＶＯＰでなく、連続シーンチェンジＶＯＰでもない場合には、
（７ａ）前々ＶＯＰと、前ＶＯＰとの間の情報の変化量が所定値以下であり、
（７ｂ）前ＶＯＰと、現ＶＯＰとの間の情報の変化量が所定値より大きい。
したがって、現ＶＯＰは単独シーンチェンジＶＯＰであると判断して、現シーンチェンジ信号ＳＣ_ｉの信号値を‘１’に設定する（ステップＳ１４）。
一方、ステップＳ１３において、前シーンチェンジ信号ＳＣ_ｉ−１の信号値が‘１’である場合、すなわち、前ＶＯＰが単独シーンチェンジＶＯＰである場合には、
（８ａ）前々ＶＯＰと、前ＶＯＰとの間の情報の変化量が所定値より大きく、
（８ｂ）前ＶＯＰと、現ＶＯＰとの間の情報の変化量が所定値より大きい。
したがって、現ＶＯＰは連続シーンチェンジＶＯＰであると判断して、現シーンチェンジ信号ＳＣ_ｉの信号値を‘２’に設定する（ステップＳ１５）。
また、ステップＳ１３において、前シーンチェンジ信号ＳＣ_ｉ−１の信号値が‘２’である場合、すなわち、前ＶＯＰが連続シーンチェンジＶＯＰである場合も、
（９ａ）前々ＶＯＰと、前ＶＯＰとの間の情報の変化量が所定値より大きく、
（９ｂ）前ＶＯＰと、現ＶＯＰとの間の情報の変化量が所定値より大きい。
したがって、現ＶＯＰは連続シーンチェンジＶＯＰであると判断して、現シーンチェンジ信号ＳＣ_ｉの信号値を‘２’に設定する（ステップＳ１５）。
このように、現シーンチェンジ信号ＳＣ_ｉのモードを、単独シーンチェンジとして検出したモードと、シーンチェンジではないと検出したモードとに加え、連続シーンチェンジとして検出したモードを加え、連続シーンチェンジとして検出したモードの場合には、単独シーンチェンジとして検出したモードの場合よりビットストリームの符号量が小さくなるように目標符号量、量子化パラメータを決定し符号化処理を行う。このため、シーンチェンジが連続した場合であっても、各ＶＯＰに対応する符号量割り当てを適切に行うことができ、その結果、全体として適正な符号化処理を行うことができるようになる。
次に、連続するＶＯＰ間の情報の変化量が所定値以下の場合について説明する。以下の説明は、図４においてはステップＳ１１からステップＳ１９に進む処理であり、図５（ｂ）が関係する。
この場合には、先ず、前ＶＯＰがスキップＶＯＰであったか否かの判断を行う（ステップＳ１９）。前ＶＯＰがスキップＶＯＰである場合には、前ＶＯＰの情報を保持する必要があるからである。
ステップ１９において、前スキップ信号ＳＫ_ｉ−１の信号値が‘０’である場合、すなわち、前ＶＯＰが符号化処理が行われたＶＯＰである場合には、処理は、ステップＳ２０に進む。ステップＳ１１において、
（１０ａ）前ＶＯＰと、現ＶＯＰとの間の情報の変化量が所定値以下である、
と検出されている。このため、前々ＶＯＰと前ＶＯＰとの間の情報の変化量が所定値より大きい場合及び所定値以下の場合のいずれの場合であっても、前ＶＯＰと現ＶＯＰとの関係は変わらない。この場合には、現ＶＯＰは単独シーンチェンジＶＯＰでもなく、連続シーンチェンジＶＯＰでもないと判断して、現シーンチェンジ信号ＳＣ_ｉの信号値を‘０’に設定する（ステップＳ２０）。
一方、ステップ１９において、前スキップ信号ＳＫ_ｉ−１の信号値が‘１’である場合、すなわち、前ＶＯＰがスキップＶＯＰである場合には、前々ＶＯＰと前ＶＯＰとの関係が必要となる。
前シーンチェンジ信号ＳＣ_ｉ−１の信号値が‘０’である場合、すなわち、前ＶＯＰが単独シーンチェンジＶＯＰでなく、連続シーンチェンジＶＯＰでもない場合には、前々ＶＯＰと、符号化処理をスキップされた前ＶＯＰとの間の情報の変化量は所定値以下である。したがって、
（１１ａ）前々ＶＯＰと、符号化処理をスキップされた前ＶＯＰとの間の情報の変化量は所定値以下であり、
（１１ｂ）符号化処理をスキップされた前ＶＯＰと、現ＶＯＰとの間の情報の変化量が所定値以下である。
したがって、現ＶＯＰは単独シーンチェンジＶＯＰでなく、連続シーンチェンジＶＯＰでもないと判断して、現シーンチェンジ信号ＳＣ_ｉの信号値を‘０’に設定する（ステップＳ２１）。
また、ステップ１９において、前シーンチェンジ信号ＳＣ_ｉ−１の信号値が‘１’である場合、すなわち、前ＶＯＰが単独シーンチェンジＶＯＰである場合には、
（１２ａ）前々ＶＯＰと、符号化処理をスキップされた前ＶＯＰとの間の情報の変化量は所定値より大きく、
（１２ｂ）符号化処理をスキップされた前ＶＯＰと、現ＶＯＰとの間の情報の変化量が所定値以下である。
したがって、
（１３ａ）前々ＶＯＰと、現ＶＯＰとの間の情報の変化量が所定値より大きい。
このため、現ＶＯＰは単独シーンチェンジＶＯＰであると判断して、現シーンチェンジ信号ＳＣ_ｉの信号値を‘１’に設定する（ステップＳ２１）。
さらに、ステップ１９において、前シーンチェンジ信号ＳＣ_ｉ−１の信号値が‘２’である場合、すなわち、前ＶＯＰが連続シーンチェンジＶＯＰである場合には、
（１４ａ）前々々ＶＯＰと、前々ＶＯＰとの間の情報の変化量は所定値より大きく、
（１４ｂ）前々ＶＯＰと、符号化処理をスキップされた前ＶＯＰとの間の情報の変化量は所定値より大きく、
（１４ｃ）符号化処理をスキップされた前ＶＯＰと、現ＶＯＰとの間の情報の変化量が所定値以下である。
したがって、
（１５ａ）前々々ＶＯＰと、前々ＶＯＰとの間の情報の変化量は所定値より大きく、
（１５ｂ）前々ＶＯＰと、現ＶＯＰとの間の情報の変化量が所定値より大きい。
このため、現ＶＯＰは連続シーンチェンジＶＯＰであると判断して、現シーンチェンジ信号ＳＣ_ｉの信号値を‘２’に設定する（ステップＳ２１）。
すなわち、いずれの場合も、前シーンチェンジ信号ＳＣ_ｉ−１の信号値を保持し、現シーチェンジ信号の信号値を前シーンチェンジ信号ＳＣ_ｉ−１と同一の信号値に設定する。
このように、スキップＶＯＰと、シーンチェンジＶＯＰが重なるような場合でも、前ＶＯＰのスキップ信号、及びシーンチェンジ信号を参照してシーンチェンジの検出を行うため、検出された情報が適切に生かされ、想定した通りの符号量制御を行うことができ、安定した画質を得ることができる。
図６（ａ），（ｂ）は、画像符号化装置１００における現ＶＯＰと前ＶＯＰとの変化量、スキップ信号、及びシーンチェンジ信号の関係を説明するための図である。具体的には、図６（ａ），（ｂ）は以下の項目（１）〜（４）を示している。
（１） ＶＯＰ_１からＶＯＰ_５までの各ＶＯＰについて、現ＶＯＰと前ＶＯＰとの変化量がシーンチェンジの有無を判別するための所定値より大きいか、所定値以下かを示す項目。
（２） 現ＶＯＰと前ＶＯＰとの変化量に基づく、実際のシーンチェンジ情報を示す変化量検出情報の項目。
（３） 各ＶＯＰの符号化処理を行うか否かを示すスキップ信号の項目。
（４） 現ＶＯＰと前ＶＯＰとの変化量に基づく変化量検出情報と、前スキップ信号ＳＫ_ｉ−１と、前シーンチェンジ信号ＳＣ_ｉ−１とに基づく、各ＶＯＰの現シーンチェンジ信号ＳＣ_ｉ設定値の項目。
図６（ａ）に単独シーンチェンジＶＯＰと、スキップＶＯＰとが重なった場合の例を示す。図６（ａ）において、ＶＯＰ_２と、その前のＶＯＰ_１との間の情報の変化量は所定値以下である。この場合、変化量検出情報は所定値以下であることを示す‘０’に設定される。したがって、ＶＯＰ_２のシーンチェンジ信号は、ＶＯＰ_２がシーンチェンジＶＯＰでないことを示す‘０’に設定される。一方、符号量制御の結果、ＶＯＰ_２は符号化処理が行われるＶＯＰと判断された場合、ＶＯＰ_２のスキップ信号の信号値はスキップＶＯＰでないことを示す‘０’となる。
次に、ＶＯＰ_２とＶＯＰ_３との間の情報の変化量が所定値より大きい場合には、ＶＯＰ_３がシーンチェンジＶＯＰであることが検出され、変化量検出情報の信号値が‘１’に設定される。一方、ＶＯＰ_３は符号量制御の結果、符号化処理を行わないスキップＶＯＰであるとする（図６（ａ）中の破線の丸囲い部分）。図４のフローチャートで説明された設定方法に従い、ＶＯＰ_３とＶＯＰ_２との間の情報の変化量が所定値より大きく（ステップＳ１１）、ＶＯＰ_２は符号化処理が行われるＶＯＰであり（ステップＳ１２）、ＶＯＰ_２はシーンチェンジＶＯＰではないので（ステップＳ１３）、ＶＯＰ_３のシーンチェンジ信号の信号値は‘１’に設定される（ステップＳ１４）。
さらに、ＶＯＰ_４とＶＯＰ_３との間の情報の変化量が所定値以下である場合、シーンチェンジは検出されず、変化量検出情報の信号値が‘０’に設定される。一方、ＶＯＰ_４は、符号量制御の結果、符号化処理を行うＶＯＰと判断された場合、スキップ信号の信号値は‘０’に設定される。この場合、図４のフローチャートで説明された設定方法に従い、ＶＯＰ_４とＶＯＰ_３との間の情報の変化量が所定値より小さく（ステップＳ１１）、ＶＯＰ_３は符号化処理が行われるＶＯＰであり（ステップＳ１９）、ＶＯＰ_３のシーンチェンジ信号の信号値は‘１’であるので、ＶＯＰ_４のシーンチェンジ信号の信号値も‘１’に設定される（ステップＳ２１）。
このように、図６（ａ）に示すような場合、変化量検出情報によりシーンチェンジが検出されたＶＯＰ_３の符号化処理が行われないことになっても、次のＶＯＰ_４のシーンチェンジ信号の設定にあたり、ＶＯＰ_３のシーンチェンジ信号とスキップ信号とを参照することにより、符号化処理の行われないスキップＶＯＰと、単独シーンチェンジＶＯＰとが同時に起こる場合でも、シーンチェンジの検出情報を活用して符号化処理を行うことができる。
次に、図６（ｂ）にシーンチェンジの検出されるＶＯＰが連続する場合の例を示す。図６（ｂ）において、ＶＯＰ_２は前のＶＯＰ_１との変化量が所定値より大きい。この場合、変化量検出情報は所定値より大きいことを示す‘１’に設定される。したがって、ＶＯＰ_２とＶＯＰ_１との間の情報の変化量は所定値より大きく（ステップ１１）、ＶＯＰ_１は符号化処理が行われるＶＯＰであり（ステップＳ１２）、ＶＯＰ_１はシーンチェンジＶＯＰではないため（ステップＳ１３）、ＶＯＰ_２のシーンチェンジ信号は、シーンチェンジであることを示す‘１’に設定される（ステップＳ１４）。一方、符号量制御の結果、ＶＯＰ_２は符号化処理が行われるＶＯＰと判断された場合、ＶＯＰ_２のスキップ信号の信号値は‘０’となる。以下、すべてのＶＯＰにおいて、スキップ信号は‘０’とする。
ＶＯＰ_３とＶＯＰ_２との間の情報の変化量は所定値より大きいので、シーンチェンジが検出され、変化量検出情報の信号値が‘１’に設定される。図４のフローチャートに説明された設定方法に従い、ＶＯＰ_３とＶＯＰ_２との間の情報の変化量が所定値より大きく（ステップＳ１１）、ＶＯＰ_２は符号化処理が行われるＶＯＰであり（ステップＳ１２）、ＶＯＰ_２は単独シーンチェンジＶＯＰであるので（ステップＳ１３）、ＶＯＰ_３のシーンチェンジ信号の信号値は連続シーンチェンジＶＯＰであることを示す‘２’に設定される（ステップＳ１５）。
さらに、ＶＯＰ_４とＶＯＰ_３との間の情報の変化量が所定値より大きいので、シーンチェンジが検出され、変化量検出情報の信号値が‘１’設定される。図４のフローチャートで説明された設定方法に従い、ＶＯＰ_４とＶＯＰ_３との間の情報の変化量が所定値より大きく（ステップＳ１１）、ＶＯＰ_３は符号化処理が行われるＶＯＰであり（ステップＳ１２）、ＶＯＰ_３は連続シーンチェンジＶＯＰであるので（ステップＳ１３）、ＶＯＰ_４のシーンチェンジ信号の信号値も、連続シーンチェンジＶＯＰであることを示す‘２’に設定される（ステップＳ１５）。
このように、ＶＯＰ_２からＶＯＰ_４までのようにシーンチェンジが連続した場合でも、ＶＯＰ_２のみシーンチェンジ信号の信号値を‘１’とし、シーンチェンジが連続するＶＯＰ_３やＶＯＰ_４のシーンチェンジ信号を、「単独シーンチェンジ」とは異なる「連続シーンチェンジ」であると検出するモードを備えることにより、適正な符号量制御が可能となる。
また、単独のＶＯＰのみでシーンチェンジであると検出された場合と、連続するＶＯＰにおいてシーンチェンジが検出される場合とを識別し、後者の場合の符号量割り当てを前者の場合の符号量割り当てより小さくすることにより、連続するシーンチェンジ部分に過剰に符号量を割り当てを防止している。このため、シーンチェンジ以外の部分の画質劣化やコマ落ちを防ぎ、全体として安定した画質を得ることができる。
また、上記実施の形態では変化量の検出は現ＶＯＰと前ＶＯＰとの間で行われていたが、現ＶＯＰより時間的に後にあるＶＯＰと現ＶＯＰとの変化量と、前ＶＯＰと現ＶＯＰとの変化量とを検出し、この２つの変化量からシーンチェンジを検出してもよい。さらに、現ＶＯＰが参照するＶＯＰは複数のＶＯＰであっても良い。
また、上記実施の形態では変化量検出部１０２におけるシーンチェンジの検出は、フレームメモリ１０１に取り込まれた連続するＶＯＰ間の情報の変化量を輝度信号について各画素間の差分の絶対値の和を求め、この変化量と所定値との比較により行っているが、輝度信号でなく色信号を用いてもよい。
また、連続するＶＯＰ間の情報の変化量を各画素間の差分の絶対値の和により求めているが、これに限るものではなく、画面内の信号値の最大値、最小値、中央値などの画面の特徴値を用いてもよい。
また、連続するＶＯＰ間の情報の変化量の計算を画面全体について行っているが、これに限るものではなく、画面をいくつかの部分に分割して、分割した小領域内で計算し、比較してもよい。
また、シーンチェンジの検出に際しては、上記した各種のシーンチェンジ検出方法を組み合わせてもよい。例えば、上記した各種のシーンチェンジ検出方法を組み合わせ、これらの組み合わせの中の１つでもシーンチェンジの条件に当てはまった場合にシーンチェンジであると検出する方法がある。また、上記した各種のシーンチェンジ検出方法を組み合わせ、各方法の判定結果の多数決によりシーンチェンジであると検出する方法、各方法に重みをつけて当てはまるかどうかの多数決によりシーンチェンジであると検出する方法、所定数以上の方法でシーンチェンジの条件に当てはまった場合にシーンチェンジであると検出する方法、特定の方法でシーンチェンジの条件に当てはまった場合にシーンチェンジであると検出する方法等も本発明に包含される。
本発明に係る画像符号化装置によれば、符号化処理を符号化制御部により設定された量子化パラメータにより行うこととしたので、符号化処理が行われないＶＯＰと、シーンチェンジが検出されたＶＯＰとが重なった場合でも、シーンチェンジ検出情報を生かした符号化処理を行うことができる。
また、連続するＶＯＰにおいてシーンチェンジが検出される場合には、符号量の割当てを適正な値とすることで、全体として適切な符号化処理を行うことができる。

Claims (10)

1. 入力されたＶＯＰを順に符号化処理してビットストリームを出力する符号化器と、
   前記符号化器による符号化処理をＶＯＰ単位でスキップさせることができるスイッチ回路と、
   第ｉ（ｉは１以上の整数）のＶＯＰの符号化処理をスキップさせるか否かを示す第ｉのスキップ信号を生成し、前記スイッチ回路に出力すると共に、第ｉのＶＯＰに対応する第ｉのシーンチェンジ信号を用いて前記符号化器による第ｉのＶＯＰの符号量を制御する制御信号を生成し、前記符号化器に出力する符号化制御部と、
   第（ｉ−１）のＶＯＰと第ｉのＶＯＰとの間の情報の変化量を検出する変化量検出部と、
   前記変化量検出部から出力される変化量と、第（ｉ−１）のＶＯＰの符号化処理をスキップさせたか否かを示す第（ｉ−１）のスキップ信号と、第（ｉ−１）のＶＯＰに対応する第（ｉ−１）のシーンチェンジ信号とに基づいて、シーンチェンジの有無を示す前記第ｉのシーンチェンジ信号を生成し、前記符号化制御部に出力するシーンチェンジ信号生成部と
   を有し、
   前記シーンチェンジ信号生成部は、
   （Ａ）前記変化量検出部から出力される前記変化量が所定値以上である場合、前記第ｉのＶＯＰはシーンチェンジＶＯＰであることを示す前記第ｉのシーンチェンジ信号を出力し、
   （Ｂ）前記変化量が所定値以下である場合、
   （Ｂ−１）前記第（ｉ−１）のスキップ信号が前記第（ｉ−１）のＶＯＰの符号化処理をスキップさせたことを示す信号である場合、前記第（ｉ−１）のシーンチェンジ信号と同じ内容を示す前記第ｉのシーンチェンジ信号を出力し、
   （Ｂ−２）前記第（ｉ−１）のスキップ信号が前記第（ｉ−１）のＶＯＰの符号化処理をスキップしていないことを示す信号である場合、前記第ｉのＶＯＰがシーンチェンジＶＯＰではないことを示す前記第ｉのシーンチェンジ信号を出力する
   ことを特徴とする画像符号化装置。
2. 前記符号化器による第（ｉ−１）のＶＯＰの符号化処理後の符号量を示す符号量信号を、前記符号化制御部に出力する符号量検出部をさらに有し、
   前記符号化制御部が、前記符号量信号に基づいて前記第ｉのスキップ信号を生成する
   ことを特徴とする請求項１に記載の画像符号化装置。
3. 前記第ｉのＶＯＰがシーンチェンジＶＯＰであることを示す前記第ｉのシーンチェンジ信号として、単独シーンチェンジＶＯＰであることを示す信号と、連続シーンチェンジＶＯＰであることを示す信号とがあり、
   前記シーンチェンジ信号生成部は、
   前記変化量検出部から出力される前記変化量が所定値以上である場合、
   （Ａ−１）前記第（ｉ−１）のスキップ信号が前記第（ｉ−１）のＶＯＰの符号化処理をスキップさせたことを示す信号である場合、
   （Ａ−１−１）前記第（ｉ−１）のシーンチェンジ信号が、前記第（ｉ−１）のＶＯＰが連続シーンチェンジＶＯＰでないことを示す場合、前記第ｉのＶＯＰが単独シーンチェンジであることを示す前記第ｉのシーンチェンジ信号を出力し、
   （Ａ−１−２）前記第（ｉ−１）のシーンチェンジ信号が、前記第（ｉ−１）のＶＯＰが連続シーンチェンジＶＯＰであることを示す場合、前記第ｉのＶＯＰが連続シーンチェンジであることを示す前記第ｉのシーンチェンジ信号を出力する
   ことを特徴とする請求項１又は２のいずれかに記載の画像符号化装置。
4. 前記第ｉのＶＯＰがシーンチェンジＶＯＰであることを示す前記第ｉのシーンチェンジ信号として、単独シーンチェンジＶＯＰであることを示す信号と、連続シーンチェンジＶＯＰであることを示す信号とがあり、
   前記シーンチェンジ信号生成部は、
   前記変化量検出部から出力される前記変化量が所定値以上である場合、
   （Ａ−２）前記第（ｉ−１）のスキップ信号が前記第（ｉ−１）のＶＯＰの符号化処理をスキップしていないことを示す信号である場合、
   （Ａ−２−１）前記第（ｉ−１）のシーンチェンジ信号が、前記第（ｉ−１）のＶＯＰがシーンチェンジＶＯＰでないことを示す場合、前記第ｉのＶＯＰが単独シーンチェンジであることを示す前記第ｉのシーンチェンジ信号を出力し、
   （Ａ−２−２）前記第（ｉ−１）のシーンチェンジ信号が、前記第（ｉ−１）のＶＯＰがシーンチェンジＶＯＰであることを示す場合、前記第ｉのＶＯＰが連続シーンチェンジであることを示す前記第ｉのシーンチェンジ信号を出力する
   ことを特徴とする請求項１又は２のいずれかに記載の画像符号化装置。
5. 第ｉのＶＯＰが連続シーンチェンジＶＯＰであるときの前記符号化器による第ｉのＶＯＰの符号化処理後の符号量が、第ｉのＶＯＰが単独シーンチェンジＶＯＰであるときの前記符号化器による符号化処理後の符号量よりも小さくなるように、前記符号化制御部が制御信号を生成する
   ことを特徴とする請求項３又は４のいずれかに記載の画像符号化装置。
6. 入力されたＶＯＰのうち、第（ｉ−１）（ｉは１以上の整数）のＶＯＰと第ｉのＶＯＰとの間の情報の変化量を検出する変化量検出ステップと、
   前記入力されたＶＯＰを順に符号化処理してビットストリームを出力する符号化ステップと、
   前記変化量と、第（ｉ−１）のＶＯＰの符号化処理をスキップさせたか否かを示す第（ｉ−１）のスキップ信号と、第（ｉ−１）のＶＯＰに対応する第（ｉ−１）のシーンチェンジ信号とに基づいて、第ｉのＶＯＰに対応する第ｉのシーンチェンジ信号を出力するシーンチェンジ信号出力ステップと、
   前記第ｉのシーンチェンジ信号に基づいて、前記符号化処理における前記第ｉのＶＯＰの符号量を制御する符号量制御ステップと
   を有し、
   前記シーンチェンジ信号出力ステップは、
   （Ａ）前記変化量が所定値以上である場合、前記第ｉのＶＯＰはシーンチェンジＶＯＰであることを示す前記第ｉのシーンチェンジ信号を出力し、
   （Ｂ）前記変化量が所定値以下である場合、
   （Ｂ−１）前記第（ｉ−１）のスキップ信号が前記第（ｉ−１）のＶＯＰの符号化処理をスキップさせたことを示す信号である場合、前記第（ｉ−１）のシーンチェンジ信号と同じ内容を示す前記第ｉのシーンチェンジ信号を出力し、
   （Ｂ−２）前記第（ｉ−１）のスキップ信号が前記第（ｉ−１）のＶＯＰの符号化処理をスキップしていないことを示す信号である場合、前記第ｉのＶＯＰがシーンチェンジＶＯＰではないことを示す前記第ｉのシーンチェンジ信号を出力する
   ことを特徴とする画像符号化方法。
7. 前記第（ｉ−１）のＶＯＰの前記符号化処理後の符号量を示す符号量信号を出力する符号量信号出力ステップをさらに有し、
   前記シーンチェンジ信号出力ステップは、前記符号量信号に基づいて前記第ｉのスキップ信号を出力する
   ことを特徴とする請求項６に記載の画像符号化方法。
8. 前記第ｉのＶＯＰがシーンチェンジＶＯＰであることを示す前記第ｉのシーンチェンジ信号として、単独シーンチェンジＶＯＰであることを示す信号と、連続シーンチェンジＶＯＰであることを示す信号とがあり、
   前記シーンチェンジ信号出力ステップは、
   前記変化量が所定値以上である場合、
   （Ａ−１）前記第（ｉ−１）のスキップ信号が前記第（ｉ−１）のＶＯＰの符号化処理をスキップさせたことを示す信号である場合、
   （Ａ−１−１）前記第（ｉ−１）のシーンチェンジ信号が、前記第（ｉ−１）のＶＯＰが連続シーンチェンジＶＯＰでないことを示す場合、前記第ｉのＶＯＰが単独シーンチェンジであることを示す前記第ｉのシーンチェンジ信号を出力し、
   （Ａ−１−２）前記第（ｉ−１）のシーンチェンジ信号が、前記第（ｉ−１）のＶＯＰが連続シーンチェンジＶＯＰであることを示す場合、前記第ｉのＶＯＰが連続シーンチェンジであることを示す前記第ｉのシーンチェンジ信号を出力する
   ことを特徴とする請求項６又は７のいずれかに記載の画像符号化方法。
9. 前記第ｉのＶＯＰがシーンチェンジＶＯＰであることを示す前記第ｉのシーンチェンジ信号として、単独シーンチェンジＶＯＰであることを示す信号と、連続シーンチェンジＶＯＰであることを示す信号とがあり、
   前記シーンチェンジ信号出力ステップは、
   前記変化量が所定値以上である場合、
   （Ａ−２）前記第（ｉ−１）のスキップ信号が前記第（ｉ−１）のＶＯＰの符号化処理をスキップしていないことを示す信号である場合、
   （Ａ−２−１）前記第（ｉ−１）のシーンチェンジ信号が、前記第（ｉ−１）のＶＯＰがシーンチェンジＶＯＰでないことを示す場合、前記第ｉのＶＯＰが単独シーンチェンジであることを示す前記第ｉのシーンチェンジ信号を出力し、
   （Ａ−２−２）前記第（ｉ−１）のシーンチェンジ信号が、前記第（ｉ−１）のＶＯＰがシーンチェンジＶＯＰであることを示す場合、前記第ｉのＶＯＰが連続シーンチェンジであることを示す前記第ｉのシーンチェンジ信号を出力する
   ことを特徴とする請求項６又は７のいずれかに記載の画像符号化方法。
10. 第ｉのＶＯＰが連続シーンチェンジＶＯＰであるときの、前記符号化ステップにおける第ｉのＶＯＰの符号化処理後の符号量が、第ｉのＶＯＰが単独シーンチェンジＶＯＰであるときの、前記符号化ステップにおける符号化処理後の符号量よりも小さくなるように、前記符号量制御ステップにて符号量を制御する
    ことを特徴とする請求項８又は９のいずれかに記載の画像符号化方法。

Images