JP6077811B2 - 画像符号化装置、画像符号化方法およびプログラム - Google Patents

Description

本発明は、ベイヤー配列の画像信号を符号化する画像符号化装置および画像符号化方法に関する。

昨今のディジタル・カメラの撮像素子にはＣＣＤ又はＣＭＯＳイメージセンサーが多く採用されている。その場合、単板式の撮像素子では、例えば図７に示すようなベイヤー配列のカラーフィルタを通して被写体光を受光することにより、緑、青、赤の画素データ（以下、ＲＡＷデータと呼ぶ）を得ている。図７の例では、Ｇ０（緑）、Ｒ（赤）、Ｂ（青）、Ｇ１（緑）の周期的な配置パターンで構成されており、人間の視覚的な感度が色成分よりも輝度成分に敏感なことから、輝度成分を多く含む緑が赤や青に対して２倍の面積が割り当てられている。このようにベイヤー配列のＲＡＷデータは、１画素に対して１つの色成分の情報しか持たないため、１画素に対して緑、青、赤の３つの色成分を生成する必要があり、このような３つの色成分を生成する処理をデモザイク処理と呼ぶ。一般に、画像データを記録する場合は、デモザイク処理によって得られたＲＧＢ信号又はＲＧＢ信号をＹＵＶ信号に変換した画像データを符号化して記録している。しかしながら、このデモザイク処理により得られる画像データはＲＡＷデータに対して３倍のデータ量になり、符号化処理に時間がかかるなどの問題がある。そのため、デモザイク処理前のＲＡＷデータを符号化して記録する方法も提案されている。例えば、ベイヤー配列のＲＡＷデータを色成分毎に正方格子状に整列し、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ １３８１８−２）やＭＰＥＧ−４ ＡＶＣ（ＩＳＯ／ＩＥＣ １４４９６−１０）を用いて符号化する方法が示されている（例えば、特許文献１参照）。

特開２０１１−１６６２１９号公報

しかしながら、ベイヤー配列のＲＡＷデータは青成分、赤成分に対して緑成分の画素データが２倍の情報量を持っており、緑成分に対する符号化処理が青、赤成分に対して２倍となってしまうため、緑成分に対してより効率的に符号化する方法が望まれる。そこで、本発明は、ベイヤー配列のＲＡＷデータの符号化処理をより高速且つ効率的に行うことが可能な画像符号化装置を提供することを目的とする。

実施形態の一観点によれば、ベイヤー配列のＲＡＷデータを符号化する画像符号化装置であって、前記ＲＡＷデータを、前記ベイヤー配列を構成する複数の色成分のデータのそれぞれについて個別の画面に分離する画面分離手段と、各画面のＲＡＷデータを符号化するための符号化方法を複数の符号化方法のうちから決定し、決定された前記符号化方法に基づいて、画面内予測符号化に対する予測モード情報、画面間予測符号化に対する動きベクトル情報、量子化パラメータのいずれか又はその組み合わせである符号化パラメータを生成する符号化パラメータ生成手段と、前記符号化パラメータ生成手段によって生成された前記符号化パラメータに基づき、前記各画面のＲＡＷデータを符号化する符号化手段とを備え、前記符号化パラメータ生成手段は、符号化対象画面が複数の同色の画面のうちの後で符号化される画面である場合、前記複数の同色の画面のうちの先に符号化される画面の符号化された画面を参照先画面とし、前記後で符号化される画面を参照元画面としたときの前記参照先画面と前記参照元画面の前記ベイヤー配列における画素位置と、前記画面分離手段による画面分離の後の画素位置との距離の関係に基づく値に基づいた画面間予測符号化の符号化パラメータを生成し、前記符号化パラメータ生成手段は、前記参照元画面の符号化パラメータに基づく前記参照先画面から生成された予測画像と前記符号化対象画面である前記複数の同色の画面のうちの前記後で符号化される画面との差分情報を生成し、前記差分情報が所定値未満の場合に、前記符号化対象画面である前記複数の同色の画面のうちの前記後で符号化される画面に対して前記複数の同色の画面のうちの先に符号化された画面を用いて符号化パラメータを生成することを特徴とする画像符号化装置が提供される。
実施形態の他の観点によれば、ベイヤー配列のＲＡＷデータを符号化する画像符号化装置であって、前記ＲＡＷデータを、前記ベイヤー配列を構成する複数の色成分のデータのそれぞれについて個別の画面に分離する画面分離手段と、各画面のＲＡＷデータを符号化するための符号化方法を複数の符号化方法のうちから決定し、決定された前記符号化方法に基づいて、画面内予測符号化に対する予測モード情報、画面間予測符号化に対する動きベクトル情報、量子化パラメータのいずれか又はその組み合わせである符号化パラメータを生成する符号化パラメータ生成手段と、前記符号化パラメータ生成手段によって生成された前記符号化パラメータに基づき、前記各画面のＲＡＷデータを符号化する符号化手段とを備え、前記符号化パラメータ生成手段は、符号化対象画面が複数の同色の画面のうちの後で符号化される画面である場合、前記複数の同色の画面のうちの先に符号化される画面の符号化パラメータから前記後で符号化される画面を符号化するための符号化パラメータを生成し、前記符号化手段は、前記符号化パラメータ生成手段によって生成された前記後で符号化される画面を符号化するための前記符号化パラメータに基づいて前記後で符号化される画面を符号化することを特徴とする画像符号化装置が提供される。

本発明によれば、ベイヤー配列の、緑成分に対する符号化パラメータ決定処理を削減することができ、高速且つ効率的なＲＡＷデータの符号化処理を実行することが可能となる。

本発明の第1の実施例に係わる画像符号化装置の構成を示すブロック図である。 ベイヤー配列のＲＡＷデータの画面分離方法を模式的に示す図である。 本発明の第１の実施例に係わる画像符号化装置の符号化動作のフローチャートを示す図である。 ベイヤー配列におけるＧ０，Ｇ１画素の位置関係を示す図である。 本発明の第１の実施例の係わるＧ０，Ｇ１画面の符号化形態を示す図である。 本発明の第１の実施例の変形例に係わる符号化動作のフローチャートを示す図である。 ベイヤー配列の例を示す図である。 本発明の第２の実施例に係わる画像符号化装置の符号化動作のフローチャートを示す図である。 本発明の第２の実施例の係わるＧ０，Ｇ１画面の符号化形態を示す図である。 本発明の第２の実施例の変形例に係わる画像符号化装置の構成を示すブロック図である。 本発明の第２の実施例の変形例に係わる画像符号化装置の符号化動作のフローチャートを示す図である。

以下、本発明の好ましい実施の形態を添付の図面を参照して詳細に説明する。

図１に、本発明の第１の実施例に係わる画像符号化装置のブロック図を示す。本実施例に係わる画像符号化装置は、図７の例に示されるようなベイヤー配列の緑、青、赤の画素データ（ＲＡＷデータ）をＭＰＥＧ−４ ＡＶＣ方式又はそれに類似する圧縮符号化方式で符号化することが可能な画像符号化装置である。ＭＰＥＧ−４ ＡＶＣ方式は、ＩＳＯ／ＩＥＣ １４４９６−１０、又は、Ｈ．２６４とも称される。図１のブロック図を参照しながら本実施例に係わる画像符号化装置の構成を説明する。

ＣＰＵ１０１は、画像符号化装置を構成する各処理部を制御する。ＲＡＷデータ処理部１０２は、図２に示すように、入力されたＲＡＷデータをＧ０，Ｂ，Ｒ，Ｇ１の画素毎に個別の画面に分離し、メモリＩ／Ｆ部１０３を介してメモリ１０４に書き込む。メモリＩ／Ｆ部１０３は、各処理部からのメモリ・アクセス要求を調停し、メモリ１０４に対する読み出し・書き込み制御を行う。メモリ１０４は、各処理部から出力される各種データを保持するための記憶領域である。

予測符号化方法決定部１０５は、ＲＡＷデータ処理部１０２より画面分離されたＧ０，Ｂ，Ｒ，Ｇ１の各画面に対する予測符号化方法を決定する。具体的には、符号化対象画像と符号化済み画像から簡易的な画面内予測又は動き検出を含む画面間予測処理を行うことにより符号化効率を示す評価値を算出し、その符号化効率が高いほうの予測符号化方式を決定して符号化パラメータを生成する。符号化対象画素ブロックがＩスライスの場合は、画面内予測画素ブロックサイズ及び予測モードを決定する。Ｐスライス又はＢスライスの場合には、画面内予測又は画面間予測のうち符号化効率の高い方を選択する。画面内予測を選択した場合には、画面内予測画素ブロックサイズ及び画面内予測モード等の画面内予測符号化用パラメータを決定する。画面間予測を選択した場合には、参照画像フレーム、画素ブロック分割情報、動きベクトル等の画面間予測符号化用パラメータを決定する。こうして決定された符号化パラメータを予測符号化処理部１０７へ出力する。符号化パラメータ保持部１０６は、予測符号化方法決定部１０５により決定された符号化パラメータを保持する記憶領域である。符号化パラメータは、画面内予測に対する画面内予測モード情報、画面間予測に対する参照画像フレーム及び動きベクトル情報、量子化パラメータ等で構成される。

予測符号化処理部１０７では、符号化パラメータ保持部１０６に格納された符号化パラメータに基づき、メモリ１０４から読み出した符号化済み画像から予測画像を生成する。次いで、符号化対象画像（画素ブロック）と予測画像との差分となる予測残差信号を生成し、指定された画素ブロック単位（８×８画素又は４×４画素ブロック単位）に整数精度離散コサイン変換及び離散アダマール変換による直交変換処理を行う。離散アダマール変換は、１６×１６画素ブロック単位で画面内予測処理が行われた輝度信号又は色差信号に対して各画素ブロックを整数精度離散コサイン変換した結果のＤＣ（直流）成分に対してのみ行われる。直交変換された変換係数は、指定された量子化パラメータに応じた量子化ステップにより量子化処理を施され、量子化データとしてエントロピー符号化部１０８に出力される。また同時に、量子化データに対して逆量子化処理、逆直交変換処理（逆離散アダマール変換及び逆整数精度離散コサイン変換）を行い、得られたデータに対して予測画像を加算して復号化処理を行う。このように復号されたデータは、メモリ１０４に保持する。メモリ１０４に保持された復号化データは、以降の画面内予測処理に利用する。更にデブロッキングフィルタ処理が施された復号化データをメモリ１０４に保持する。メモリ１０４へ保持されたデブロッキングフィルタ処理後の復号化データは、以降の画面間予測処理に利用する。

エントロピー符号化部１０８では、入力された量子化データに対してコンテキスト適応型の可変長符号化又は２値算術符号化等によるエントロピー符号化処理を行い、符号化データを出力する。ここで、コンテキスト適応型の可変長符号化とは、例えばＣＡＶＬＣ（Ｃｏｎｔｅｘｔ−ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｖａｒｉｂａｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）である。コンテキスト適応型の２値算術符号化とは、例えばＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）である。

本実施例の画像符号化装置は、以上のように構成されている。

続いて、ＲＡＷデータ１フレームに対する符号化処理について図３に示すフローチャートに基づいて説明する。このフローチャートに基づく符号化動作は、例えば上述した画像符号化装置の図示しないメモリに記憶されているプログラムをＣＰＵ１０１がロードして実行することにより画像符号化装置の各処理部を制御することで実現される。

まず、ＲＡＷデータ処理部１０２より分離されたＧ０（第１の緑成分），Ｇ１(第２の緑成分)，Ｂ（青成分），Ｒ(赤成分)画面のうち、どの画面に対して符号化処理を実行するかを設定する（Ｓ３０１）。ここでは、Ｇ０，Ｇ１，Ｂ，Ｒの順に設定されるものとする。

符号化対象画面が設定されると、符号化対象画面がＧ１画面であるかそれ以外の画面であるかを判定する（Ｓ３０２）。Ｇ１以外の画面である場合には、予測符号化方法決定部（１０５）により前述の予測符号化方法決定処理を実行し、符号化パラメータを生成して符号化パラメータ保持部１０６に格納する（Ｓ３０３）。

一方、符号化対象画面がＧ１画面であった場合には、図４に示すベイヤー配列により同一フレームで得られた同色の複数の画面Ｇ１、Ｇ０の位置の関係より示唆される相関性を考慮して、画面間予測用符号化パラメータを生成する。具体的には、Ｇ１画面の画素はＧ０画面に対する水平、垂直方向共に０．５画素の位置に相当するため、予測符号化方法決定部１０５はこの距離に基づくベクトル値（ＧＶ）を用いた画面間予測用符号化パラメータを生成する（Ｓ３０４）。これにより、予測符号化処理部１０７は、先に符号化されているＧ０画面を参照先画面として用いて、符号化対象画面（参照元画面）Ｇ１の画面間予測符号化を行なうことになる。このように、本実施例では、Ｇ０画面より後で符号化されるＧ１画面に対しては、符号化方法決定処理を行わすに、符号化されたＧ０画面を用いた画面間予測符号化の符号化パラメータを生成する。

続いて予測符号化処理部１０７は、予測符号化方法決定部１０５により生成されて符号化パラメータ保持部１０６に格納されている符号化パラメータに基づく予測符号化を実行する（Ｓ３０５）、そして、生成された量子化データに対してエントロピー符号化を実行する（Ｓ３０６）。

Ｇ０，Ｇ１，Ｂ，Ｒ全ての画面に対する符号化が実行されると１フレームの符号化処理を完了する（Ｓ３０７）。尚、ここでは１フレーム単位での処理の例を示したが、１６×１６画素単位で構成されるマクロブロック単位に同様の処理を行っても良い。

また、Ｇ０，Ｇ１画面に関しては、図５（ａ）に示すように、Ｇ０，Ｇ１画面を時系列に並べた倍フレームレート相当の一連の画像データとして符号化しても良い。また、図５（ｂ）に示すようにＧ０，Ｇ１画面を異なる視差画像データとした立体画像として符号化することも可能である。いずれの場合も、Ｇ１画面間の参照関係はなく、Ｇ０画面との参照関係に基づいてＧ１画面が符号化されている。

以上のように本実施例によれば、ベイヤー配列の各色成分をそれぞれ独立した画面として分離し、そのうちＧ１画面については、他の画面に対して行なう符号化方法決定処理を行わず、Ｇ０とＧ１の相関性を利用した画面間予測符号化を行う。具体的には、ベイヤー配列におけるＧ０とＧ１の画素位置の距離に基づく共通のベクトル値でＧ０画面を参照する画面間予測符号化を画面に対して行うことで緑成分に対する符号化パラメータ生成処理を削減する。これにより、高速且つ効率的なＲＡＷデータの符号化処理を実行することが可能となる。

＜実施例１の変形例＞
第１の実施例では、Ｇ１画面とＧ０画面との間の相関性を前提として、Ｇ１画面に対してはＧ０とＧ１の画素位置の距離に基づく基本ベクトルに基づいた画面間予測符号化を行なった。本変形例では、Ｇ０画面の予測画面とＧ１画面の相関度を判定し、相関性が高い場合に基本ベクトルに基づいた画面間予測符号化を行なう構成とする。
本変形における画像符号化装置の構成は、第１の実施例の画像符号化装置と同様であるためここでの説明は省略する。第１の実施例と異なるのは、予測符号化方法決定部１０５の予測符号化方法決定処理である。以下、本変形例に係わる符号化動作について図６のフローチャートを用いて説明する。なお、図３のフローチャートと同じステップには同じ符号を付して示し、その説明は簡略にする。

まず第１の実施例と同様に、分離されたＧ０，Ｇ１，Ｂ，Ｒのうち画面に対して、符号化対象画面としてＧ１画面が設定されているかどうかを判定する（Ｓ３０１―３０２）。Ｇ１以外である場合には、第１の実施例と同様に予測符号化方法決定処理の実行による符号化パラメータの生成（Ｓ３０３）、生成された符号化パラメータに基づく予測符号化の実行（Ｓ３０５）、生成された量子化データのエントロピー符号化（Ｓ３０６）を行なう。

一方、符号化対象画面がＧ１である場合は、予測符号化方法決定部１０５により、図４に示したベイヤー配列におけるＧ１画面のＧ０画面に対する画素位置の関係に基づくベクトル値（ＧＶ）によりＧ０を参照する予測画像（Ｇ０’）を生成する。次いで、生成された予測画像と符号化対象画像（Ｇ１）との差分絶対値和（以下、ＳＡＤと呼ぶ）を算出する（Ｓ６０１）。

次いで、算出したＳＡＤ値が所定値未満であるかどうかを判定し（Ｓ６０２）する。所定値未満である場合は、予測符号化方法決定処理を実行することなく前述のベクトル値を用いた画面間予測用符号化パラメータを生成する（Ｓ３０４）。ＳＡＤ値が所定値以上である場合は、予測符号化方法決定部１０５による前述の予測符号化方法決定処理を実行し、符号化パラメータを生成する（Ｓ３０３）。続いて生成された符号化パラメータに基づく予測符号化（Ｓ３０５）および生成された量子化データのエントロピー符号化を実行する（Ｓ３０６）。Ｇ０，Ｇ１，Ｂ，Ｒ全ての画面に対する符号化が実行されると１フレームの符号化処理を完了する（Ｓ３０７）。尚、ここでは１フレーム単位での処理を示したが、１６×１６画素単位で構成されるマクロブロック単位に同様の処理を行っても良い。

また、第１の実施例と同様に、Ｇ０，Ｇ１画面に関しては、図５（ａ）に示すように、Ｇ０，Ｇ１画面を時系列に並べた倍フレームレート相当の画像として符号化しても良い。また、図５（ｂ）に示すようにＧ０，Ｇ１画面を異なる視差画像データとした立体画像として符号化することも可能である。

以上のように、本変形によってもベイヤー配列のＲＡＷデータの緑成分に対する符号化パラメータ決定処理を削減することができ、Ｇ０とＧ１の相関性を利用した高速且つ効率的なＲＡＷデータの符号化処理を実現することが可能となる。

次いで、本発明の第２の実施例を添付の図を参照して説明する。本実施においても、画像符号化装置の構成は第１の実施例と同様であるため、ここでの説明は省略する。本実施例では、第１の実施例と同様にＧ０画面とＧ１画面の相関性を考慮して、符号化処理のさらなる削減を実現する。具体的には、例えばＧ０画面がＧ１画面より先に符号化される場合は、既に符号化されているＧ０画面の符号化の結果（符号化に使用した符号化パラメータ）を用いてＧ１画面の符号化パラメータを生成する。これにより、本実施例でも、Ｇ０画面により後に符号化されるＧ１画面に対しては、符号化方法決定処理を行わずに符号化パラメータを生成する。

以下、図８のフローチャートを参照して本実施例の符号化動作を説明する。なお、第１の実施例と同様の処理には同じ符号を付して示し、ここでの説明を簡略にする。

まず第１の実施例と同様に、分離されたＧ０，Ｇ１，Ｂ，Ｒ画面に対して、符号化対象画面としてＧ１画面が設定されているかどうかを判定する（Ｓ３０１―３０２）。Ｇ１以外である場合には、予測符号化方法決定部１０５により予測符号化方法決定処理を実行して符号化パラメータを決定する（Ｓ３０３）。次いで、決定した符号化パラメータを、符号化パラメータ保持部１０６に格納する（Ｓ３０４）。その後は第１の実施例と同様に、生成された符号化パラメータに基づく予測符号化の実行（Ｓ３０５）、生成された量子化データのエントロピー符号化（Ｓ３０６）を行なう。

一方、符号化対象画面がＧ１である場合は、Ｇ０の符号化パラメータを適用するため、予測符号化方法決定部１０５による予測符号化方法決定処理（Ｓ３０３）を実行せずに処理を予測符号化処理の実行（Ｓ３０５）に進める。Ｓ３０５では、予測符号化処理部１０７により符号化パラメータ保持部１０６に保持されたＧ０画面の符号化パラメータを適用してＧ０画面と同じ予測符号化方法での符号化を実行し、生成された量子化データに対してエントロピー符号化を実行する（Ｓ３０６）。Ｇ０，Ｇ１，Ｂ，Ｒ全ての画面に対する符号化が実行されると１フレームの符号化処理を完了する（Ｓ３０７）。尚、ここでは１フレーム単位での処理の例を示したが、１６×１６画素単位で構成されるマクロブロック単位に同様の処理を行っても良い。

また、Ｇ０，Ｇ１画面に関しては、図９（ａ）に示すように、Ｇ０，Ｇ１がそれぞれ独立した符号化データとして符号化してもよいし、図９（ｂ）のようにＧ０，Ｇ１画面を時系列に並べた倍フレームレート相当の符号化データとして符号化することも可能である。いずれの場合も、Ｇ１画面間の参照関係は符号化パラメータを流用しているＧ０画面間の参照関係と同じになっている。
以上のように、本実施例によっても、ベイヤー配列の各色成分を各々独立したＧ０、Ｇ１、Ｂ、Ｒ画面に分離してこの順に符号化する場合に、符号化パラメータ生成処理を削減することができ、高速且つ効率的なＲＡＷデータの符号化処理を実行することが可能となる。

＜実施例２の変形例＞
第２の実施例では、Ｇ１画面とＧ０画面との間の相関性を前提として、Ｇ１画面の符号化パラメータにＧ０画面の符号化パラメータを流用した。本変形例では、Ｇ０、Ｇ１両画面の類似度を判定し、類似性が強い場合に符号化パラメータの流用を行なう構成とする。

本変形例に係わる画像符号化装置の構成を図１０に示す。同図において、第２の実施例と異なるのは、ＲＡＷデータ処理部１０２がＧ０、Ｇ１画面の画素値を出力する画面間差分情報生成部１００１を有することである。なお、第１の実施例と同様の構成部分は同じ参照符号を付して示し、ここでの説明を省略する。

ＲＡＷデータ処理部１０２は、第１の実施例と同様に、Ｇ０，Ｂ，Ｒ，Ｇ１画面に分離されたＲＡＷデータをメモリ１０４に書き込むと共にＧ０，Ｇ１画面の画素値を画面間差分情報生成部１００１へ出力する。

画面間差分情報生成部１００１は、ＲＡＷデータ処理部１０２から入力されたＧ０とＧ１画面の画素値に対し、所定画素ブロック単位（例えば、１６×１６画素単位）に差分を計算し、そのＳＡＤ値を算出する。算出したＳＡＤ値は、画面間差分情報生成部１００１により画面間差分情報としてＣＰＵ１０１に通知される。他の部分の構成は第１の実施例と同様である。

続いて、本変形例に係わるＲＡＷデータ１フレームに対する符号化動作について図１１に示すフローチャートを参照して説明する。なお、第２の実施例と同じ処理には同じ符号を付して示し、ここでの説明は簡略にする。

まず第２の実施例と同様に、分離されたＧ０，Ｇ１，Ｂ，Ｒ画面に対して、符号化対象画面としてＧ１画面が設定されているかどうかを判定する（Ｓ３０１―３０２）。Ｇ１以外である場合には、予測符号化方法決定部１０５により符号化パラメータが決定され（Ｓ３０３）、決定された符号化パラメータを符号化パラメータ保持部１０６に格納する（Ｓ８０１）。この後の処理は第２の実施例と同様である。

一方、符号化対象画面がＧ１であった場合は、更に画面間差分情報生成部１００１により通知された画面間差分情報に基づきＧ０，Ｇ１画面の類似度を判定する。画面間差分情報となるＳＡＤ値が所定値以上であった場合には、Ｇ０とＧ１画面は相関性が低いため類似していないと判定し（Ｓ１１０１）、予測符号化方法決定部１０５による予測符号化方法決定処理を実行する。所定値未満の場合には相関性が高いため類似していると判定し（Ｓ１１０１）、Ｇ０の符号化パラメータを適用するため、予測符号化方法決定部１０５による予測符号化方法決定処理（Ｓ３０３）を実行しない。続いて予測符号化処理部１０７により符号化パラメータ保持部１０６に保持されたＧ０画面の符号化パラメータを適用して予測符号化を実行し（Ｓ３０５）、出力された量子化データに対してエントロピー符号化を実行する（Ｓ３０６）。Ｇ０，Ｇ１，Ｂ，Ｒ全ての画面に対する符号化が実行されると１フレームの符号化処理を完了する（Ｓ６０８）。尚、ここでは１フレーム単位での処理を示したが、１６×１６画素単位で構成されるマクロブロック単位に同様の処理を行っても良い。

また、ＳＡＤ値を算出するために画面間差分情報生成部１００１を設けているが、この機能を第１の実施例の変形例と同様に、予測符号化方法決定部１０５に持たせてもよい。

また、本変形例においても、第２の実施例と同様に、Ｇ０，Ｇ１画面に関しては、図９（ａ）に示すように、Ｇ０，Ｇ１画面をそれぞれ独立した符号化データとして符号化してもよい。また、図９（ｂ）のようにＧ０，Ｇ１画面を時系列に並べた倍フレームレート相当の符号化データとして符号化することも可能である。

以上のように、本変形例では、先に実行したＧ０画面の符号化パラメータを保持し、Ｇ０とＧ１画面が類似している場合にＧ０画面の符号化パラメータをＧ１画面の符号化に適用している。これによっても、予測符号化決定処理および符号化パラメータ生成処理を削減することが可能となり、高速にＲＡＷデータを符号化することが可能となる。

前述した本発明の実施形態における画像符号化装置を構成する各手段、並びに画像符号化方法の各工程は、ＣＰＵのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図３、図６、図８、図１１に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、その他の方法として、まず記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

Claims (13)

1. ベイヤー配列のＲＡＷデータを符号化する画像符号化装置であって、
   前記ＲＡＷデータを、前記ベイヤー配列を構成する複数の色成分のデータのそれぞれについて個別の画面に分離する画面分離手段と、
   各画面のＲＡＷデータを符号化するための符号化方法を複数の符号化方法のうちから決定し、決定された前記符号化方法に基づいて、画面内予測符号化に対する予測モード情報、画面間予測符号化に対する動きベクトル情報、量子化パラメータのいずれか又はその組み合わせである符号化パラメータを生成する符号化パラメータ生成手段と、
   前記符号化パラメータ生成手段によって生成された前記符号化パラメータに基づき、前記各画面のＲＡＷデータを符号化する符号化手段とを備え、
   前記符号化パラメータ生成手段は、符号化対象画面が複数の同色の画面のうちの後で符号化される画面である場合、前記複数の同色の画面のうちの先に符号化される画面の符号化された画面を参照先画面とし、前記後で符号化される画面を参照元画面としたときの前記参照先画面と前記参照元画面の前記ベイヤー配列における画素位置と、前記画面分離手段による画面分離の後の画素位置との距離の関係に基づく値に基づいた画面間予測符号化の符号化パラメータを生成し、
   前記符号化パラメータ生成手段は、前記参照元画面の符号化パラメータに基づく前記参照先画面から生成された予測画像と前記符号化対象画面である前記複数の同色の画面のうちの前記後で符号化される画面との差分情報を生成し、前記差分情報が所定値未満の場合に、前記符号化対象画面である前記複数の同色の画面のうちの前記後で符号化される画面に対して前記複数の同色の画面のうちの先に符号化された画面を用いて符号化パラメータを生成することを特徴とする画像符号化装置。
2. 前記符号化パラメータ生成手段は、前記複数の同色の画面に対しては、前記複数の同色の画面のうちの前記先に符号化される画面に対して所定の符号化方法決定処理を行って符号化パラメータを生成し、前記複数の同色の画面のうち前記後で符号化される画面に対しては前記所定の符号化方法決定処理を行わず、前記先に符号化された画面の符号化で用いられた符号化パラメータを適用することを特徴とする請求項１に記載の画像符号化装置。
3. 前記符号化パラメータ生成手段は、前記複数の同色の画面間の類似度を表わす情報を生成し、前記類似度が所定値未満の場合に、前記先に符号化される画面に対して生成された符号化パラメータを前記後に符号化される画面に適用することを特徴とする請求項２に記載の画像符号化装置。
4. 前記符号化手段は、前記複数の同色の画面に対しては、各画面を時系列に並べた一連の画像データとして符号化を行うことを特徴とする請求項１乃至３のいずれか一項に記載の画像符号化装置。
5. 前記符号化手段は、前記複数の同色の画面に対しては、各画面を異なる視差画像データとした立体画像として符号化することを特徴とする請求項１に記載の画像符号化装置。
6. 前記符号化パラメータ生成手段は、画面内予測符号化方法および画面間予測符号化方法のうち符号化効率の高い符号化方法を前記符号化方法として決定することを特徴とする請求項１乃至５のいずれか一項に記載の画像符号化装置。
7. 前記ベイヤー配列のＲＡＷデータは、第１の緑成分、第２の緑成分、青成分及び赤成分を含み、前記複数の同色の画面は、第１の緑成分及び第２の緑成分について前記画面分離手段で分離された画面であることを特徴とする請求項１乃至６のいずれか一項に記載の画像符号化装置。
8. ベイヤー配列のＲＡＷデータを符号化する画像符号化方法であって、
   前記ＲＡＷデータを、前記ベイヤー配列を構成する複数の色成分のデータのそれぞれについて個別の画面に分離する画面分離ステップと、
   各画面のＲＡＷデータを符号化するための符号化方法を複数の符号化方法のうちから決定し、決定された前記符号化方法に基づいて、画面内予測符号化に対する予測モード情報、画面間予測符号化に対する動きベクトル情報、量子化パラメータのいずれか又はその組み合わせである符号化パラメータを生成する符号化パラメータ生成ステップと、
   前記符号化パラメータ生成ステップにおいて生成された前記符号化パラメータに基づき、前記各画面のＲＡＷデータを符号化する符号化ステップとを備え、
   前記符号化パラメータ生成ステップは、符号化対象画面が複数の同色の画面のうちの後で符号化される画面である場合、前記複数の同色の画面のうちの先に符号化される画面の符号化された画面を参照先画面とし、前記後で符号化される画面を参照元画面としたときの前記参照先画面と前記参照元画面の前記ベイヤー配列における画素位置と、前記画面分離ステップによる画面分離の後の画素位置との距離の関係に基づく値に基づいた画面間予測符号化の符号化パラメータを生成し、
   前記符号化パラメータ生成ステップは、前記参照元画面の符号化パラメータに基づく前記参照先画面から生成された予測画像と前記符号化対象画面である前記複数の同色の画面のうちの前記後で符号化される画面との差分情報を生成し、前記差分情報が所定値未満の場合に、前記符号化対象画面である前記複数の同色の画面のうちの前記後で符号化される画面に対して前記複数の同色の画面のうちの先に符号化された画面を用いて符号化パラメータを生成することを特徴とする画像符号化方法。
9. ベイヤー配列のＲＡＷデータを符号化する画像符号化装置を制御するためのプログラムであって、
   コンピュータを、
   前記ＲＡＷデータを、前記ベイヤー配列を構成する複数の色成分のデータのそれぞれについて個別の画面に分離する画面分離手段、
   各画面のＲＡＷデータを符号化するための符号化方法を複数の符号化方法のうちから決定し、決定された前記符号化方法に基づいて、画面内予測符号化に対する予測モード情報、画面間予測符号化に対する動きベクトル情報、量子化パラメータのいずれか又はその組み合わせである符号化パラメータを生成する符号化パラメータ生成手段、
   前記符号化パラメータ生成手段によって生成された前記符号化パラメータに基づき、前記各画面のＲＡＷデータを符号化する符号化手段、
   として機能させ、
   前記符号化パラメータ生成手段は、符号化対象画面が複数の同色の画面のうちの後で符号化される画面である場合、前記複数の同色の画面のうちの先に符号化される画面の符号化された画面を参照先画面とし、前記後で符号化される画面を参照元画面としたときの前記参照先画面と前記参照元画面の前記ベイヤー配列における画素位置と、前記画面分離手段による画面分離の後の画素位置との距離の関係に基づく値に基づいた画面間予測符号化の符号化パラメータを生成し、
   前記符号化パラメータ生成手段は、前記参照元画面の符号化パラメータに基づく前記参照先画面から生成された予測画像と前記符号化対象画面である前記複数の同色の画面のうちの前記後で符号化される画面との差分情報を生成し、前記差分情報が所定値未満の場合に、前記符号化対象画面である前記複数の同色の画面のうちの前記後で符号化される画面に対して前記複数の同色の画面のうちの先に符号化された画面を用いて符号化パラメータを生成することを特徴とするプログラム。
10. 請求項９のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
11. コンピュータを、請求項１乃至７のいずれか一項に記載された画像符号化装置の各手段として機能させるプログラム。
12. コンピュータを、請求項１乃至７のいずれか一項に記載された画像符号化装置の各手段として機能させるプログラムを格納した記憶媒体。
13. ベイヤー配列のＲＡＷデータを符号化する画像符号化装置であって、
    前記ＲＡＷデータを、前記ベイヤー配列を構成する複数の色成分のデータのそれぞれについて個別の画面に分離する画面分離手段と、
    各画面のＲＡＷデータを符号化するための符号化方法を複数の符号化方法のうちから決定し、決定された前記符号化方法に基づいて、画面内予測符号化に対する予測モード情報、画面間予測符号化に対する動きベクトル情報、量子化パラメータのいずれか又はその組み合わせである符号化パラメータを生成する符号化パラメータ生成手段と、
    前記符号化パラメータ生成手段によって生成された前記符号化パラメータに基づき、前記各画面のＲＡＷデータを符号化する符号化手段とを備え、
    前記符号化パラメータ生成手段は、符号化対象画面が複数の同色の画面のうちの後で符号化される画面である場合、前記複数の同色の画面のうちの先に符号化される画面の符号化パラメータから前記後で符号化される画面を符号化するための符号化パラメータを生成し、
    前記符号化手段は、前記符号化パラメータ生成手段によって生成された前記後で符号化される画面を符号化するための前記符号化パラメータに基づいて前記後で符号化される画面を符号化することを特徴とする画像符号化装置。

Images