JPWO2010004726A1 - 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、プログラム、及び集積回路 - Google Patents

Abstract

画像符号化方法は、カラー画像の色空間を第１の色空間から第２の色空間に変換して色空間変換済みカラー画像を生成する色空間変換ステップ（Ｓ１２）と、色空間変換済みカラー画像に含まれるサンプルの一部を除去してサブサンプリング済みカラー画像を生成するサブサンプリングステップ（Ｓ１３）と、サブサンプリング済みカラー画像を符号化して符号化済みカラー画像を生成する符号化ステップ（Ｓ１４）と、アップサンプリング処理に用いられるアップサンプリング係数を算出するアップサンプリング係数算出ステップ（Ｓ１６）と、色空間変換済みカラー画像の色空間を第２の色空間から第１の色空間に逆変換するための色空間逆変換係数を算出する色空間逆変換係数算出ステップ（Ｓ１７）と、符号化済みカラー画像、アップサンプリング係数、及び色空間逆変換係数を出力する出力ステップ（Ｓ１９）とを含む。

Description

本発明は、複数の色要素からなるカラー画像の変換および逆変換ならびに、これらに対応する装置に関する。

カラー画像を撮像するためのデジタルビデオカメラまたはデジタルカメラは、異なるカラーフィルタでフィルタリングされた光の強度を感知できるセンサを備える。このようなセンサの上には、赤および緑の行と緑および青の行とを交互にモザイク状に配列した赤、青、緑のフィルタからなる、いわゆるベイヤーフィルタを被せることができる。緑のフィルタが多用されるのは、赤色および青色よりも緑色に対して人間の目の感度が高いことを反映している。撮像されたカラーサンプルのモザイクは、典型的には、格納効率およびディプレイへの描画効率が高められる別の色空間に変換される。この変換は「デモザイク」と称される。通常、赤、緑、青のサンプルからなるモザイクは、同じく赤（Ｒ）、緑（Ｇ）、青（Ｂ）のサンプルからなるＲＧＢ色空間に変換される。

ＲＧＢ色空間のカラー画像（ＲＧＢ画像）は、３色の色要素、すなわち赤、緑、青からなる、いわゆる画素で構成される。各コンポーネントの値は、画素の色を再現するために必要な赤、緑、青の光の強度を示す。画素は、画像の最小構成単位である。各ＲＧＢ画像の各画素の色要素は、ＲＧＢ色空間内において、この画素の座標（ｒ，ｇ，ｂ）として示すことができる。これらの座標の値は、ｑビットを用いて量子化される。１画素あたりのビット数は、色深度としても知られているものである。本願では、大抵の場合、すべての色要素に対してｑ＝８またはｑ＝１６の値を一律に適用し、それぞれ２４ビットまたは４８ビットの色深度にする。一般には、色要素ごとに、さらには画素ごとに、ビット数を変えて量子化することもある。

ＲＧＢ画像の画素は、Ｎ×Ｍサイズのマトリクスに配列され、画像の（空間）解像度とも称される。ＮおよびＭの値が３色の色要素すべてについて同じであれば、つまり画像の色要素値を３色の同じサイズの色要素に整理可能な場合には、そのような画像のカラーフォーマットは、ＲＧＢ４：４：４と称される。ＲＧＢ４：４：４カラーフォーマットのデータを直接取得できるセンサもある。一般に、単一の画像の色要素は、色要素ごとに異なるサンプリング・グリッドが適用された結果、サイズが異なる場合がある。画像の色要素の値は、例えば、その画像をディスプレイ画面に描画したり、カメラまたは外部ストレージに格納したり、印刷したり、追加的な処理を行ったり、伝送チャネル経由で伝送するときに用いることができる。

追加的な処理とは、例えば、別の色空間への変換、および／または、色要素の選択的サブサンプリングを含むカラーフォーマット変換などである。サブサンプリングの前には、フィルタリングが行われる。

さらに、伝送目的および格納目的の場合、一般には、規格製品または特許製品である画像符号化装置または映像符号化装置を使用して、所定のカラーフォーマットのカラー画像、または、このようなカラー画像が映像を構成する場合にはそのシーケンスを符号化する。符号化は、画像または映像の格納または伝送に必要なデータ量を削減するために行われる。このような符号化には、規格化あるいは特許取得されている様々な可逆および／または非可逆圧縮メカニズムを用いればよい。

符号化した画像または映像をディスプレイに描画するためには、画像データをチャネル経由で受信するか、ストレージから取り込んで、復号しなければならない。符号化処理を逆に行う復号により、符号化に使用したカラーフォーマットの画像を取得する。今日のディスプレイは、大抵の場合、ＲＧＢ４：４：４カラーフォーマットの値に基づく信号を用いて、表示画素の駆動を制御する。したがって、復号後、このカラーフォーマットへの変換が必要となる場合がある。復号後のカラーフォーマットの逆変換は、サブサンプリングが行われていた場合には、サブサンプリングしたカラー画像のアップサンプリングを含んでもよい。アップサンプリングは、通常、補間フィルタを用いて行われる。

図１は、従来技術の映像伝送チェーン回路の一例を示す。

ビデオカメラまたはカメラ１１０は、現実シーンを撮像すると、第１カラーフォーマットの、具体的にはカラーサンプルあたり８ビットのＲＧＢ４：４：４カラーフォーマットの、原画像データ１１１を送り出す。ＲＧＢ４：４：４フォーマットの原画像データ１１１は、次に、異なる色空間に変換されるが、このケースでは、ＹＵＶ色空間などの、異なる色要素を用いた色空間に変換される。この色空間において、入力された原画像データ１１１は、Ｙと表記される輝度と、Ｕ、Ｖと表記される２種類の異なる色要素（色差）とに分けられる。ＹＵＶ色空間のデータを取得するには、色空間変換部１２０で色空間変換を適用する。よって、Ｒ、Ｇ、Ｂの重み値を加算することで、対象の画素の全体の明るさ、すなわち輝度を示す単一のＹ信号を生成する。次に、元のＲＧＢの青の信号からＹ信号を減算し、スケーリングすることにより、Ｕ信号を得る。これに応じて、赤からＹを減算し、異なる係数でスケーリングすることによって、Ｖ信号を得る。このようにしてＹＵＶ色空間で得た画像データ１２１は、撮像した画像の光の強度に対応した輝度成分と、この輝度成分よりも典型的にかなり平滑である２種類の色差成分とを含む。色差画像が平滑であれば、より良く圧縮できる。

ＹＵＶ色空間における画像データ１２１のサイズは、この時点では、ＲＧＢ４：４：４フォーマットの原画像データ１１１と同じである。すなわち、輝度および２つの色差の３つの値が１画素につき８ビットずつ記憶されている。この画像フォーマットは、ＹＵＶ４：４：４フォーマットと称される。ＹＵＶ４：４：４フォーマットの画像データ１２１は、その後、符号化部１３０によって圧縮され、チャネル１４０経由で伝送される。この例における符号化部１３０は、Ｈ．２６４／ＡＶＣビデオ符号化を行う。ここで使用するチャネル１４０は、例えば、有線、無線を問わず、どのような形態のネットワークであってもよく、また磁気ディスク、光ディスク、フラッシュメモリ、磁気光記憶媒体などのストレージであってもよい。

ディスプレイ１７０に画像または映像を描画するためには、まず、データをチャネル１４０から取得／受信し、復号部１５０で復号する。復号部１５０は、符号化部１３０とは逆の処理を行う。符号化部１３０が非可逆圧縮を行っていれば、再構築後のＹＵＶ４：４：４フォーマットの画像データ１５１は、元のＹＵＶ４：４：４フォーマットの画像データ１２１とは異なる場合がある。復号した後、色空間逆変換部１６０で色空間逆変換を適用して、復号ＲＧＢ４：４：４フォーマットの画像データ１６１を取得すると、それをディスプレイ１７０に表示したり、さらには格納または印刷することが可能になる。

図２は、従来技術の伝送チェーン回路の他の例を示す。カメラ１１０で現実シーンを撮像する。カメラ１１０から出力されるのは、ＲＧＢ４：４：４カラーフォーマットの原画像データ１１１である。ＹＵＶ４：４：４フォーマットの画像データ１２１を取得するために、次に、ＲＧＢ４：４：４フォーマットの原画像データ１１１に色空間変換部１２０で色空間変換を行う。色空間を変換すると、大抵の場合、ＹＵＶ４：４：４フォーマットの画像の色差成分Ｕ、Ｖは、輝度成分Ｙと比べて平滑になる。この段階で既に、画像の伝送／格納に必要なデータ量を削減できる程度に平滑である。これを実行するには、色差成分を左右方向および／または上下方向にフィルタリング・サブサンプリング部２１０でサブサンプリングする。サブサンプリングとは、例えば、一定のサンプルを除外することで１画像あたりのサンプル数を削減することである。除外されなかったサンプルが含まれるサブサンプリング・グリッドは、原画像またはフィルタリングされた画像の値のサブセットであり、通常、規則的な形状を有する。サブサンプリングを行う前に、通常はローパスフィルタであるが、何らかのフィルタを適用してもよい。ローパスフィルタには、この目的に使用するものとして、国際標準化機構（ＩＳＯ）によって提案され、動画像符号化専門家グループ（ＭＰＥＧ）およびビデオ符号化専門家グループ（ＶＣＥＧ）のコミュニティで承認されているものがいくつかある。このフィルタリング済み画像をサブサンプリングするには、例えば、隔行および隔列ごとに行および列を省いて、色差成分値の数を輝度成分値の数の４分の１にする。このようなフォーマットは、ＹＵＶ４：２：０フォーマットと称される。このように、この場合のカラーフォーマット変換部２０１は、色空間変換部１２０と、フィルタリング・サブサンプリング部２１０とを含む。原画像データ１１１の色空間が既に所望のものであれば、カラーフォーマット変換部２０１は、サブサンプリング（場合によっては、フィルタリングも加える）だけでもよい。第２カラーフォーマットＹＵＶ４：２：０の画像データ２１１は、次に、符号化部１３０で符号化され、チャネル１４０に格納されるか、チャネル１４０経由で伝送されてから、復号部１５０によって復号される。他のサブサンプリング・グリッドを使用することも可能であり、例えば、（フィルタリングされた）色差成分を隔列ごとに省いた４：２：２グリッドでも、その他のサブサンプリング・グリッドでもよい。

符号化部１３０は、例えば、画像圧縮規格のＪＰＥＧもしくはＪＰＥＧ２０００や映像符号化規格のＨ．２６１、Ｈ．２６３、Ｈ．２６４／ＡＶＣ、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４など、規格化あるいは特許取得されている画像標準または映像標準にしたがった画像符号化部または映像符号化部である。このような符号化部は、一般に、画像データをより小さなブロックに細かく分割し、そのデータをブロックごとに線形変換（例えば、離散コサイン変換）によって変換してから、変換したデータをエントロピー符号化部によって効率的に符号化するといった動作を行う。動き補償や空間予測など、他の技術を採用してもよい。これらすべての処理において、画像の輝度成分と色差成分とは、通常、別々に取り扱われる。

チャネル１４０から受信／取得したデータは、使用した符号化部１３０に対応する復号部１５０によって復号される。ＹＵＶ４：２：０フォーマットの画像データ１５１は、次に、アップサンプリング・補間部２２０及び色空間逆変換部１６０を備えるカラーフォーマット逆変換部２０２に入力され、失った画素を補間することによって、サブサンプリングされた色差成分を元のサイズにアップサンプリングする。次に、ＹＵＶ４：４：４カラーフォーマットの画像データ２２１を、色空間逆変換部１６０によって、ＲＧＢ色空間に逆変換した後、得られたＲＧＢ４：４：４カラーフォーマットの画像データ１６１をディスプレイ１７０に表示するか、印刷または格納する。

カラーフォーマット変換部２０１は、色空間変換部１２０と、フィルタリング・サブサンプリング部２１０とを含み、画像データの格納効率または符号化部１３０による画像データの符号化効率が高められるような前処理を画像データに施す。色空間変換を行うだけでは、１画素あたりの色要素の量は減少しないが、上述のようなサブサンプリング処理（ＹＵＶ４：４：４からＹＵＶ４：２：０にする処理）をすれば、１画素あたりの色要素の量は元の半分にまで減少する。画像コンテンツによっては、補間後にこのような減少があっても、人間の目ではほとんど知覚できない。特に、自然画像の場合、目立った劣化もなく、アップサンプリング・補間部２２０によって再構成することが可能である。一般に、ＹＵＶ色空間に変換する色空間変換部１２０では、残った色要素から輝度成分を減算することによって、既に色要素同士の相互相関度を下げている。

欧州特許出願公開第１１７６８３２号公報

しかし、他の種類の色空間変換によれば、より良い結果が得られる可能性がある画像もある。ほとんどの場合は、固定型の補間フィルタで充分である。しかしながら、他の種類のフィルタを使用してフィルタリングした方が好都合なコンテンツを含む画像は、必ず存在するであろう。画像コンテンツによっては、サブサンプリングの後にアップサンプリングを行うと、アーチファクトが目立ってしまうことになる。画像再構成の質は、圧縮ゲインと同様、カラーフォーマット（色空間、サブサンプリング）次第で、かつ符号化対象の画像または映像の性質次第で、大きく変わってくる。さらに、今日ほとんどの映像符号化規格において用いられているＹＵＶ色空間は、符号化目的からすると必ずしも効率的なものではなく、符号化（圧縮）ゲインには限界がある。また、通常、アップサンプリングは、固定型補間フィルタを用いて行われるが、そのようにしてアップサンプリングされた画像には、目障りなばらつきが生じることがある。

本発明の目的は、上述の課題を解決し、各種画像コンテンツについて効率の良いカラーフォーマットの変換および逆変換を行う方法および装置を提供することである。

本発明の一形態に係る画像符号化方法は、カラー画像を符号化する。具体的には、前記カラー画像の色空間を第１の色空間から前記第１の色空間と異なる第２の色空間に変換して色空間変換済みカラー画像を生成する色空間変換ステップと、前記色空間変換済みカラー画像に含まれるサンプルの一部を除去してサブサンプリング済みカラー画像を生成するサブサンプリングステップと、前記サブサンプリング済みカラー画像を符号化して符号化済みカラー画像を生成する符号化ステップと、サンプルを補間するアップサンプリング処理に用いられるアップサンプリング係数を算出するアップサンプリング係数算出ステップと、色空間を前記第２の色空間から前記第１の色空間に逆変換するための色空間逆変換係数を算出する色空間逆変換係数算出ステップと、前記符号化済みカラー画像、前記アップサンプリング係数、及び前記色空間逆変換係数を出力する出力ステップとを含む。

上記構成のように、画像復号装置で用いるパラメータ（色空間逆変換係数及びアップサンプリング係数）を画像符号化装置で算出することにより、画像復号装置の複雑さが低減される。また、上記パラメータの算出に画像符号化装置でのみ利用可能な原画像（カラー画像）を利用することができるので、復号画像の品質が改善される。なお、サブサンプリング及びアップサンプリングにおける「サンプル」とは、例えば、画素値であってもよいし、色要素、より具体的には、各画素の色差成分であってもよい。

さらに、該画像符号化方法は、前記符号化済みカラー画像を復号して復号済みカラー画像を生成する復号ステップと、前記復号済みカラー画像のサンプルを補間して補間済みカラー画像を生成するアップサンプリングステップとを含む。そして、前記アップサンプリング係数算出ステップでは、前記復号済みカラー画像と前記色空間変換済みカラー画像との平均２乗誤差が最小となるように、前記アップサンプリング係数を算出してもよい。

さらに、該画像符号化方法は、前記補間済みカラー画像の色空間を前記第２の色空間から前記第１の色空間に逆変換して色空間逆変換済みカラー画像を生成する色空間逆変換ステップを含む。そして前記色空間逆変換係数算出ステップでは、前記色空間逆変換済みカラー画像と前記カラー画像との平均２乗誤差が最小となるように、前記色空間逆変換係数を算出してもよい。

画像データを符号化すると量子化ノイズが重畳されるので、符号化データを復号しても、符号化前の画像データと完全に同一の画像データを取得することはできない。そこで、色空間逆変換ステップは、単なる色空間変換ステップの逆処理ではなく、符号化の過程で重畳された量子化ノイズを除去する処理をも行う。つまり、色空間逆変換ステップで用いられる色空間逆変換係数は、符号化前及び復号後の画像の平均２乗誤差が最小となるように決定するのが望ましい。アップサンプリングステップについても同様である。

さらに、該画像符号化方法は、前記カラー画像の特性に基づいて色空間変換係数を算出する色空間予測ステップを含む。そして、前記色空間変換ステップでは、前記色空間予測ステップで算出された前記色空間変換係数に基づいて、前記カラー画像の色空間を前記第１の色空間から前記第２の色空間に変換し、前記出力ステップでは、さらに、前記色空間変換係数を出力してもよい。

さらに、該画像符号化方法は、前記アップサンプリング係数、前記色空間逆変換係数、及び前記色空間変換係数を含む補助情報を符号化して符号化済み補助情報を生成する補助情報符号化ステップを含む。そして、前記出力ステップでは、前記符号化済みカラー画像及び前記符号化済み補助情報を出力してもよい。

本発明の一形態に係る画像復号方法は、カラー画像を復号する。具体的には、符号化済みカラー画像、アップサンプリング係数、及び色空間逆変換係数を取得する取得ステップと、前記符号化済みカラー画像を復号して復号済みカラー画像を生成する復号ステップと、前記アップサンプリング係数を用いて前記復号済みカラー画像のサンプルを補間することにより、補間済みカラー画像を生成するアップサンプリングステップと、前記色空間逆変換係数を用いて前記補間済みカラー画像の色空間を前記第２の色空間から前記第１の色空間に逆変換することにより、カラー画像を生成する色空間逆変換ステップとを含む。

上記構成のように、画像符号化方法によって生成されたアップサンプリング係数及び色空間逆変換係数を用いてアップサンプリング処理及び色空間逆変換処理を実行することにより、符号化によって重畳された丸め誤差を除去することができる。また、上記の２処理を連続して実行することにより、処理を最適化することができる。

本発明の一形態に係る画像符号化装置は、カラー画像を符号化する。具体的には、前記カラー画像の色空間を第１の色空間から前記第１の色空間と異なる第２の色空間に変換して色空間変換済みカラー画像を生成する色空間変換部と、前記色空間変換済みカラー画像に含まれるサンプルの一部を除去してサブサンプリング済みカラー画像を生成するサブサンプリング部と、前記サブサンプリング済みカラー画像を符号化して符号化済みカラー画像を生成する符号化部と、サンプルを補間するアップサンプリング処理に用いられるアップサンプリング係数を算出するアップサンプリング係数算出部と、色空間を前記第２の色空間から前記第１の色空間に逆変換するための色空間逆変換係数を算出する色空間逆変換係数算出部と、前記符号化済みカラー画像、前記アップサンプリング係数、及び前記色空間逆変換係数を出力する出力部とを備える。

本発明の一形態に係る画像復号装置は、カラー画像を復号する。具体的には、符号化済みカラー画像、アップサンプリング係数、及び色空間逆変換係数を取得する取得部と、前記符号化済みカラー画像を復号して復号済みカラー画像を生成する復号部と、前記アップサンプリング係数を用いて前記復号済みカラー画像のサンプルを補間することにより、補間済みカラー画像を生成するアップサンプリング部と、前記色空間逆変換係数を用いて前記補間済みカラー画像の色空間を前記第２の色空間から前記第１の色空間に逆変換することにより、カラー画像を生成する色空間逆変換部とを備える。

本発明の一形態に係るプログラムは、コンピュータに、カラー画像を符号化させる。具体的には、前記カラー画像の色空間を第１の色空間から前記第１の色空間と異なる第２の色空間に変換して色空間変換済みカラー画像を生成する色空間変換ステップと、前記色空間変換済みカラー画像に含まれるサンプルの一部を除去してサブサンプリング済みカラー画像を生成するサブサンプリングステップと、前記サブサンプリング済みカラー画像を符号化して符号化済みカラー画像を生成する符号化ステップと、サンプルを補間するアップサンプリング処理に用いられるアップサンプリング係数を算出するアップサンプリング係数算出ステップと、色空間を前記第２の色空間から前記第１の色空間に逆変換するための色空間逆変換係数を算出する色空間逆変換係数算出ステップと、前記符号化済みカラー画像、前記アップサンプリング係数、及び前記色空間逆変換係数を出力する出力ステップとを含む。

本発明の他の形態に係るプログラムは、コンピュータにカラー画像を復号させる。具体的には、符号化済みカラー画像、アップサンプリング係数、及び色空間逆変換係数を取得する取得ステップと、前記符号化済みカラー画像を復号して復号済みカラー画像を生成する復号ステップと、前記アップサンプリング係数を用いて前記復号済みカラー画像のサンプルを補間することにより、補間済みカラー画像を生成するアップサンプリングステップと、前記色空間逆変換係数を用いて前記補間済みカラー画像の色空間を前記第２の色空間から前記第１の色空間に逆変換することにより、カラー画像を生成する色空間逆変換ステップとを含む。

本発明の一形態に係る集積回路は、カラー画像を符号化する。具体的には、前記カラー画像の色空間を第１の色空間から前記第１の色空間と異なる第２の色空間に変換して色空間変換済みカラー画像を生成する色空間変換部と、前記色空間変換済みカラー画像に含まれるサンプルの一部を除去してサブサンプリング済みカラー画像を生成するサブサンプリング部と、前記サブサンプリング済みカラー画像を符号化して符号化済みカラー画像を生成する符号化部と、サンプルを補間するアップサンプリング処理に用いられるアップサンプリング係数を算出するアップサンプリング係数算出部と、色空間を前記第２の色空間から前記第１の色空間に逆変換するための色空間逆変換係数を算出する色空間逆変換係数算出部と、前記符号化済みカラー画像、前記アップサンプリング係数、及び前記色空間逆変換係数を出力する出力部とを備える。

本発明の他の形態に係る集積回路は、カラー画像を復号する。具体的には、符号化済みカラー画像、アップサンプリング係数、及び色空間逆変換係数を取得する取得部と、前記符号化済みカラー画像を復号して復号済みカラー画像を生成する復号部と、前記アップサンプリング係数を用いて前記復号済みカラー画像のサンプルを補間することにより、補間済みカラー画像を生成するアップサンプリング部と、前記色空間逆変換係数を用いて前記補間済みカラー画像の色空間を前記第２の色空間から前記第１の色空間に逆変換することにより、カラー画像を生成する色空間逆変換部とを備える。

なお、本発明は、動画像符号化方法（装置）及び動画像復号方法（装置）として実現できるだけでなく、これらの機能を実現する集積回路として実現したり、そのような機能をコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

これらは、独立請求項に記載した特徴によって達成される。

好ましい実施の形態は、従属請求項の主題である。

本発明の手法は、カラーフォーマット変換側でカラーフォーマット逆変換パラメータを決定することと、そのカラーフォーマット逆変換パラメータを画像または映像の変換データと共に提供するものである。本発明は、さらに、逆変換側でカラーフォーマット逆変換パラメータを受信し、カラーフォーマット逆変換処理に使用することを特徴とする。

カラーフォーマット変換側でカラーフォーマット逆変換パラメータを決定する利点は、（非変換）カラー原画像およびその元のフォーマットに関する全情報を利用可能なことである。さらに、変換側でカラーフォーマット逆変換パラメータを決定することによって、復号装置の複雑さが低減されるとともに、符号化装置において利用可能である情報を考慮して各種カラーフォーマットの逆変換係数を選択することができるため、品質が改善される。

本発明の第１の態様として、カラー画像を第１カラーフォーマットから第２カラーフォーマットに変換するカラーフォーマット変換方法を提供する。この方法は、カラー画像を第１カラーフォーマットから第２カラーフォーマットに逆変換する処理に用いるカラーフォーマット逆変換係数を決定するステップを含む。カラー画像のカラーフォーマットとは、画像の色要素が格納されるときのフォーマットであり、例えば、色空間および／またはサブサンプリングが含まれる。ここで、色空間を特定する方法としては、例えば、その色空間が、規格化されているもの、および／または周知のものである場合には、その名称によって特定し、そうでない場合は、公知の色空間から指定の色空間に変換する係数によって特定する。サブサンプリングは、サブサンプリング・グリッドおよび１サンプルあたりのビット数によって特定される。繰り返しになるが、特定のカラーグリッドは、例えば、４：４：４（サブサンプリングをしていないことを示す）、４：２：０または４：２：２など、規格化されて名称が付いているものがあり、後者２つは、１色要素あたりのサンプル数同士の比率を表したものである。４：２：０サンプリングが行われるサンプルの正確な位置は、ずれることがあり、よって、復号部／逆変換部は、符号化部／変換部から得られたサンプリング・グリッドそのものに関する情報を一律に受信するということはしない。

本発明の第２の特徴として、カラー画像を第１カラーフォーマットから第２カラーフォーマットに変換するカラーフォーマット変換部を提供する。このカラーフォーマット変換部は、カラー画像を第２カラーフォーマットから第１カラーフォーマットに逆変換する処理に用いるカラーフォーマット逆変換係数を決定する決定手段を備える。変換済み画像と決定されたカラーフォーマット逆変換係数は、例えば、有線、無線を問わず、なんらかの形態のチャネルを通じて伝送される。また、変換済み画像と決定されたカラーフォーマット逆変換係数は、ＵＳＢスティックもしくはＤＶＤ、ＣＤ、ＢＤなどの光または磁気のハードディスクまたは媒体を含む、各種ストレージまたは媒体に格納されてもよい。変換済み画像と決定されたカラーフォーマット逆変換係数は、ともに符号化されてもよい。

カラーフォーマット逆変換係数の決定は、変換対象のカラー画像の性質に基づくことが好ましい。これによって、カラー画像の性質にしたがった逆変換係数の適応的な選択が可能になる。カラー画像を逆変換して画質が劣化するかどうかは、その画像の性質によるので、カラーフォーマット逆変換パラメータを適応的に選択することによって、逆変換後の画像の画質が改善される。

好ましくは、上記決定にあたり、変換済みカラー画像をさらに逆変換し、逆変換済み画像の性質および適用した変換処理に基づいて、カラーフォーマット逆変換係数を予測する。さらに、非変換原画像を利用可能にしておくと良い。逆変換済み画像を、場合によっては非変換画像も共に、利用可能としておくことで、逆変換パラメータを、逆変換済み画像の性質に応じて、かつ適用したカラーフォーマットの変換に応じて、適応的に選択することが可能になる。カラーフォーマット逆変換パラメータは、所定のコスト関数を用いた線形または非線形の最適化方法によって、予測される。具体的には、第１カラーフォーマットのカラー画像と逆変換済み画像の両方を利用可能である場合、これらカラー画像と逆変換済み画像間の平均２乗誤差を最小にして予測を行うことが好ましい。

好ましくは、カラーフォーマットの変換において、カラー画像の色空間を第１色空間から第２色空間に変換する。カラーフォーマット逆変換係数には、色空間逆変換係数が含まれ、色空間逆変換とは、カラー画像を第２色空間から第１色空間に変換することである。第１色空間および第２色空間は、それぞれ、周知の色空間のいずれかであってもよい。例えば、赤、緑、青のコンポーネントに基づく色空間（ＲＧＢ、ｓＲＧＢなど）、輝度成分および色差成分に基づく色空間（ＹＩＱ、ＹＵＶ、ＹＣｂＣｒなど）、色相および彩度に基づく色空間（ＨＳＶ、ＨＳＩなど）、ＣＭＹＫ、その他の色空間などが挙げられる。

但し、予測した色空間変換係数を使って、カラー画像を第１色空間から第２色空間に変換するカラーフォーマット変換の場合、第２色空間は、変換するカラー画像に基づいて色空間変換係数を予測することによって、適応的に決定された適応的色空間であることが好ましい。具体的には、色空間変換係数は、無相関変換、特に、カルーネンレーブ（Karhunen-Loeve）変換に基づいて予測される。無相関変換によって、色空間コンポーネント同士が無相関化される。得られた適応的色空間によって、画像を効率良く表示することが可能になる。同じ画質にして、固定的な色空間変換の場合よりも低いレートで同じ画質が得られる場合がある。このようにして、色空間逆変換係数の予測が可能となる。

好ましくは、カラーフォーマットの変換において、第１カラーフォーマットまたは第２色空間フォーマットのカラー画像をサブサンプリングし、サブサンプリングされたカラー画像は、入力されたカラー画像と比べてサンプルが少ない。具体的には、カラーフォーマット変換フィルタによって第１カラーフォーマットまたは第２色空間フォーマットのカラー画像をフィルタリングしてからサブサンプリングする。具体的には、ローパスフィルタによって、フィルタリングを行う。また、他のフィルタを使用することも可能である。ある種の性質を有する画像、例えば、エッジを多く含む画像に対しては、ローパスフィルタ以外のフィルタを使った方が良い場合がある。

カラーフォーマット逆変換係数には、ダウンサンプリングされたカラー画像のアップサンプリングに使用する補間フィルタの補間フィルタ係数が含まれることが好ましい。具体的には、補間フィルタ係数は、ウィナーフィルタ係数であると予測される。但し、平均２乗誤差以外の数値を最適化して補間フィルタ係数を予測することも可能であり、非線形フィルタを配置してもよいし、必ずしもアップサンプリング（逆変換）された画像を使用して予測しなければならないわけではない。

カラーフォーマット逆変換係数は、エントロピー符号化部で符号化されることが好ましい。エントロピー符号化部は、ハフマン（Huffman）符号、ゴロム（Golomb）符号、指数ゴロム（exponential Golomb）符号、算術符号、これら以外のエントロピー符号などの公知のエントロピー符号に対応するものであればよい。係数をエントロピー符号化することによって、その係数の伝送または媒体への格納に必要なレートを下げることが可能になる。

カラーフォーマット逆変換係数は、カラー画像またはカラー画像からなるビデオシーケンスのスライスごとに、個々に決定される構成であることが好ましい。これによって、変換対象の画像の性質だけでなく、その画像部分の性質に適応したカラーフォーマットの変換および／または逆変換が可能になる。スライス以外の単位、例えばマクロブロック、スライス以外のマクロブロック群、フィールド（インタレースの場合）、フレームなどを使用してもよい。

これに代えて、カラーフォーマット逆変換係数は、複数枚のカラー画像ごとに１度、決定されるものでもよい。複数枚のカラー画像とは、予め定めた一定の枚数でよく、伝送または格納に必要なデータ量を削減するために、例えば、画像の２枚目、３枚目、４枚目など、枚数ごとにカラーフォーマット逆変換係数を決定できるようにする。ビデオシーケンスが時間的に平滑である場合には、複数枚の画像ごとに変換および／逆変換パラメータを決定すれば、充分な品質ゲイン／符号化ゲインが得られる。但し、時間的な予測符号化メカニズムが適用される場合、およびピクチャ・グループのサイズが変化する場合には、例えば、ピクチャ・グループあたりのカラー画像（映像フレームなど）の枚数の変化に応じたカラーフォーマット逆変換係数にする方が良いこともある。画像の枚数は、時間的な平滑度、場面変化の発生頻度などのビデオシーケンスの性質に応じて選択することも可能である。

カラーフォーマット逆変換係数には、色空間逆変換に関連するものと、補間フィルタに関連するものがあり、色空間逆変換関連の係数を決定する頻度は、補間フィルタ関連の係数を決定する頻度よりも低いことが好ましい。これによって、適応度を測ることができ、場合によっては、例えば、ピクチャ・グループ内では、色空間を変換せずに維持する方が良いこともある。補間フィルタ係数を含むカラーフォーマット逆変換係数は、より急速に変化することがある。色空間逆変換関連の係数が決定されることになる画像の所定枚数を、補間フィルタリング関連の係数が決定される画像の所定枚数よりも少なくした別の構成にすることも可能である。しかし、補間フィルタリング関連の色空間逆変換係数を、色空間逆変換関連の色空間逆変換係数の決定頻度よりも低い頻度で決定してもよい。

カラーフォーマット変換の後、カラー画像からなるビデオシーケンスのカラー画像は、ＪＰＥＧ、ＪＰＥＧ２０００、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、Ｈ．２６４／ＡＶＣなどの画像または映像の符号化規格にしたがって、符号化されることが好ましい。他の映像符号化規格または特許取得済み映像符号化方法を同様に用いてもよい。カラー画像またはカラービデオシーケンスを符号化することによって、格納または伝送に必要なデータ量が減少する。一方、第２色空間への変換済み画像または映像データは、直接、格納または伝送可能である。

具体的には、映像符号化規格Ｈ．２６４／ＡＶＣを適用すると、カラーフォーマット逆変換係数は、Ｈ．２６４／ＡＶＣ補助的拡張情報（ＳＥＩ）メッセージに含まれた形態で提供される。これによって、本発明の構成がＨ．２６４／ＡＶＣ規格に準拠する。

本発明の別の特徴によれば、画像符号化方法および画像符号化装置において、上述のカラーフォーマットの変換と、カラーフォーマット変換後の画像圧縮とが含まれる。このような画像符号化装置または映像符号化装置は、本発明のカラーフォーマットの変換を必須または任意の特徴として実行するものであれば、規格化または特許取得されている画像符号化装置または映像符号化装置でよい。

本発明の他の特徴によれば、変換済みカラー画像を第２色空間から第１色空間に逆変換するカラーフォーマット逆変換方法が提供される。まず、第２カラーフォーマットへの変換済みカラー画像と共に、カラーフォーマット逆変換係数を取得し、取得したカラーフォーマット逆変換係数を用いて、変換済みカラー画像を第２カラーフォーマットから第１カラーフォーマットに逆変換する。

本発明のさらに他の特徴によれば、変換済みカラー画像を第２色空間から第１色空間に逆変換するカラーフォーマット逆変換部が提供される。逆変換部は、第２カラーフォーマットへの変換済みカラー画像と共に、カラーフォーマット逆変換係数を取得できる。さらに、逆変換部は、取得したカラーフォーマット逆変換係数を用いて、変換済みカラー画像を第２カラーフォーマットから第１カラーフォーマットに逆変換できる。変換済み画像とカラーフォーマット逆変換係数とを取得するには、例えば、有線、無線を問わず、なんらかの形態のチャネルから、それらを受信する。また、変換済み画像とカラーフォーマット逆変換係数は、ＵＳＢスティックもしくはＤＶＤ、ＣＤ、ＢＤなどの光または磁気のハードディスクまたは媒体を含む、各種のストレージから読み出され、取得されるものであってもよい。変換済み画像と決定されたカラーフォーマット逆変換係数は、ともに符号化されてもよい。

好ましくは、カラーフォーマットの逆変換は、カラー画像の色空間を第２色空間から第１色空間に変換することを含む。第１色空間および第２色空間は、それぞれ、ＲＧＢ、ＹＵＶ、ＨＩＳなどの公知の色空間のいずれかであってよい。カラーフォーマット逆変換係数は、色空間逆変換係数を含むことが好ましい。具体的には、変換対象のカラー画像に基づいて色空間変換係数を予測することによって、第２色空間が適応的に決定される。具体的には、色空間変換係数は、無相関変換、特に、カルーネンレーブ（Karhunen-Loeve）変換に基づいて予測される。

好ましくは、カラーフォーマットの逆変換は、変換済みカラー画像をアップサンプリングし、アップサンプリングされた画像は、入力された変換済みカラー画像と比べてサンプルが少ない。

具体的には、アップサンプリングは、補間フィルタリングによって行われ、補間フィルタ係数はカラーフォーマット逆変換係数に含まれる。補間フィルタ係数を取得することで、受け取った係数による適応的補間フィルタリングが可能になり、例えば、後処理方法によって、復号部を複雑化することなく、品質ゲインが得られるようになる。具体的には、補間フィルタ係数は、ウィナーフィルタ係数である。しかし、他のフィルタリングおよびフィルタ係数決定方法を採用することも可能である。

カラーフォーマット逆変換係数は、取得されるときにエントロピー復号されることが好ましい。

本発明の好適な構成によれば、カラーフォーマット逆変換係数は、カラー画像またはカラー画像からなるビデオシーケンスのスライスごとに、個々に決定される。

これに代えて、カラーフォーマット逆変換係数は、複数枚のカラー画像ごとに１度、取得されるものでもよい。

カラーフォーマット逆変換係数には、色空間逆変換に関連するものと、補間フィルタに関連するものがあり、色空間逆変換関連の係数が取得される頻度は、補間フィルタ関連の係数よりが取得される頻度よりも低いことが好ましい。

第２色空間への変換済み画像は、取得されるときに、ＪＰＥＧ、ＪＰＥＧ２０００、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、Ｈ．２６４／ＡＶＣなどの画像または映像の符号化規格にしたがって、復号されることが好ましい。

具体的には、映像符号化規格Ｈ．２６４／ＡＶＣを適用すると、カラーフォーマット逆変換係数（フィルタ係数および／または色空間逆変換係数）は、Ｈ．２６４／ＡＶＣ補助的拡張情報（ＳＥＩ）メッセージに含まれた形態で取得される。

本発明のさらに他の特徴によれば、上述のような、取得画像の伸張と、伸張画像のカラーフォーマットの逆変換とを含む画像復号方法および画像復号装置が提供される。

上記構成のように、復号装置で用いるパラメータ（色空間逆変換係数及びアップサンプリング係数）を符号化装置で算出することにより、復号装置の複雑さが低減される。また、上記パラメータの算出に符号化装置でのみ利用可能な原画像（カラー画像）を利用することができるので、復号画像の品質が改善される。

図１は、色空間変換を含む、従来技術による画像カラーフォーマットまたは映像カラーフォーマットの変換および逆変換を説明するブロック図である。 図２は、色空間変換およびフィルタリングによるサブサンプリング／アップサンプリングを含む、従来技術による画像カラーフォーマットまたは映像カラーフォーマットの変換および逆変換を説明するブロック図である。 図３は、本発明が画像伝送システムの構成要素である場合の一実施形態に係るカラーフォーマットの変換および逆変換を説明するブロック図である。 図４Ａは、本発明の一実施形態に係るカラーフォーマットの変換を説明するブロック図である。 図４Ｂは、本発明の一実施形態に係るカラーフォーマットの逆変換を説明するブロック図である。 図５は、本発明の一実施形態に係る適応的色空間のサンプリングを示す略図である。 図６Ａは、本発明の他の実施形態に係るカラーフォーマットの変換を説明するブロック図である。 図６Ｂは、本発明の他の実施形態に係るカラーフォーマットの逆変換を説明するブロック図である。 図７Ａは、図６Ａに示される画像符号化装置の動作を示すフローチャートである。 図７Ｂは、図６Ｂに示される動画像復号装置の動作を示すフローチャートである。 図８Ａは、本発明のさらに他の実施形態に係るカラーフォーマットの変換を説明するブロック図である。 図８Ｂは、本発明のさらに他の実施形態に係るカラーフォーマットの逆変換を説明するブロック図である。 図９は、本発明のさらに他の実施形態に係るカラーフォーマットの変換および逆変換を説明するブロック図である。

本願に関し、上述の目的および特徴とその他の目的および特徴とを、付随する図面を参照しながら、後述の記述および好ましい実施の形態において、より明確にする。

本発明は、複数の色要素からなるカラー画像のカラーフォーマットの変換および逆変換に関する。これらの要素は、任意の色空間に属するものであってよい。１コンポーネントあたりのサンプル数は、必ずしも同じとは限らない。一般に、画像のフォーマット、すなわち、特定の色空間およびサンプリングは、ソースによって左右される。大抵の場合、カメラで撮像された画像がこのカメラから出力されるとき、各コンポーネントのサンプルが通常は同数である赤、緑、青の３種類のコンポーネントからなるＲＧＢフォーマットで出力され、サンプルあたりのビット数が同じ、典型的には８または１６のＲＧＢ４：４：４カラーフォーマットになる。

カラーフォーマット変換の目的は、カラー画像を元の第１カラーフォーマット（すなわち、色要素がカラーフォーマット変換部に入力されるときのフォーマット）を別のフォーマットに変換することである。ここでいうフォーマットとは、色空間および／またはサンプリング方法のことである。

上述の従来技術において、カラーフォーマットの変換は固定的である。つまり、変換対象の画像の画像コンテンツに関わらず、色空間変換および／または、場合によって、フィルタリングおよびサブサンプリングが同じように行われるということである。色空間変換とフィルタリングおよびサンプリングとは、両方とも、大半の典型的な画像に対して効率良く作用するように設計されている。この効率の良さには、２つの意味がある。１つ目は、色空間変換は、特定の色要素同士の相関度を下げることを目的としているということである。この目的は、１つの輝度成分と２つの異なる色差成分とからなるＹＵＶ色空間で達成される。このような色空間の色差成分は、輝度成分よりも平滑なので、後でサブサンプリングを行うことができ、このようなレートの低減による歪みが小さくなる。２つ目は、例えば圧縮などの別の符号化ステップが実行される場合、入力画像のフォーマット次第で、生じる歪みに対する圧縮ゲインが異なるということである。適切なカラーフォーマット変換が行われた画像であれば、より効率良く圧縮することができる。すなわち、より高い圧縮ゲインが得られる。したがって、従来の固定的かつ独立的なカラーフォーマットの変換および逆変換を行っていたのでは、符号化効率に限界がある。

本発明は、カラーフォーマット変換側でカラーフォーマット逆変換係数を決定し、そのカラーフォーマット逆変換係数を符号化データと共に提供することによって、より効率の良いカラーフォーマットの変換および逆変換を可能にする。

図３は、本発明が映像伝送システムの構成要素である場合の一実施形態に係る画像符号化装置１０及び画像復号装置２０を示す。

図３に示される画像符号化装置１０は、カラーフォーマット変換部３１０と、決定部（色空間予測部）３２０と、符号化部１３０とを少なくとも備える。この画像符号化装置１０は、カメラ１１０から取得した原画像データ（カラー画像）１１１を符号化して符号化済みカラー画像を生成する。なお、カメラ１１０は、画像符号化装置１０に接続される外部装置であってもよいし、画像符号化装置１０の一構成要素であってもよい。以降の実施形態についても同様である。

カメラ１１０は、ＲＧＢ色空間（ＲＧＢ４：４：４カラーフォーマット）において、それぞれ同数のサンプルを有する３種類の色要素からなる原画像データ（ビデオフレーム）１１１のシーケンスを提供する。ベイヤーパターンなどの異なるサンプリング・グリッドであってもよい。原画像データ１１１は、カラーフォーマット変換部３１０に入力され、そこで第１カラーフォーマットから第２カラーフォーマットの画像データ３１１に変換される。原画像データ１１１は、決定部３２０にも入力されてよい。決定部３２０は、カラーフォーマット逆変換部３３０において使用されるカラーフォーマット逆変換係数３２１を決定することができる。決定されたカラーフォーマット逆変換係数３２１は、第２カラーフォーマット変換済みの画像データ３１１と共に供される。

カラーフォーマット変換済みの画像データ３１１は、符号化部１３０、本実施の形態においてはＨ．２６４／ＡＶＣビデオ・エンコーダによって、さらに符号化可能である。なお、符号化部１３０は、例えば、画像データを直交変換する直交変換部（図示省略）と、画像データを量子化する量子化部（図示省略）と、可変長符号化する可変長符号化部（図示省略）とを備える。また、動き補償部（図示省略）や空間予測部（図示省略）等をさらに備えてもよい。

そして、符号化データは、カラーフォーマット逆変換係数３２１を含む符号化補助情報を伴い、チャネル１４０を通じて伝送される。目標用途の要件にしたがったものであれば、チャネル１４０は、無線、有線を問わず、どのような形態であってもよく、伝送形式は、ユニキャスト、マルチキャスト、ブロードキャストのいずれであってもよい。

図３に示される画像復号装置２０は、復号部１５０と、カラーフォーマット逆変換部３３０とを少なくとも備える。この画像復号装置２０は、チャネル１４０を介して画像符号化装置１０から取得した符号化データを復号して、ディスプレイ１７０に表示する。なお、ディスプレイ１７０は、画像復号装置２０に接続される外部装置であってもよいし、画像復号装置２０の一構成要素であってもよい。以降の実施形態についても同様である。

符号化データは、復号部１５０で受信されて復号された後、カラーフォーマット逆変換部３３０に供される。なお、復号部１５０は、例えば、符号化データを可変長復号する可変長復号部（図示省略）と、逆量子化を行う逆量子化部（図示省略）と、逆直交変換を行う逆直交変換部（図示省略）とを備える。また、動き補償部（図示省略）や空間予測部（図示省略）等をさらに備えてもよい。

復号部１５０は、符号化部１３０とは逆の処理を行う。本実施の形態において、復号部１５０は、Ｈ．２６４／ＡＶＣデコーダである。カラーフォーマット逆変換係数３２２は、カラーフォーマット逆変換部３３０にも供される。そして、カラーフォーマット逆変換部３３０において、受信したカラーフォーマット逆変換係数３２２は、画像データ３１２の逆変換に用いられる。その後、得られた画像データ３３１をディスプレイ１７０に表示してもよい。

本実施の形態において、カメラ１１０は、ビデオカメラである。しかし、静止画像のみを撮影するカメラであってもよい。カメラ１１０は、ＲＧＢ４：４：４フォーマット以外のフォーマット、例えばモザイク状になった元のデータのフォーマット、ＹＵＶフォーマット、または他のカラーフォーマットで、画像を出力してよいが、この場合は、出力される色要素のサンプルおよび深度は、必ずしも同じにはならない。カラーフォーマット逆変換係数３２２は、色空間変換、ならびに／またはフィルタリングおよび／もしくはサブサンプリングを行うごとに、決定されてもよい。チャネル１４０経由のデータの伝送または記憶媒体へのデータの格納は、画像データごとに分けて行ってもよく、カラーフォーマット逆変換係数３２２を含む補助情報ごとに分けて行ってもよい。カラーフォーマット逆変換係数３２２は、対応する画像データと共に格納または伝送され、これに加えて／これに代えて、対応する画像データで多重化される。符号化および復号を行う場合、Ｈ．２６４／ＡＶＣ規格に限定されることなく、例えば、ＪＰＥＧ、ＪＰＥＧ２０００、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６１、Ｈ．２６３、ＤＩＲＡＣ、その他、規格化あるいは特許取得されている符号化および復号メカニズムなどの画像データ圧縮規格または映像データ圧縮規格のうち、いずれであってもよい。カラーフォーマットの逆変換を行った後に、画像データは、各種端末にあるＣＲＴ、ＯＬＥＤ、ＬＣＤなどの各種ディスプレイに表示されてもよく、印刷または格納されてもよい。

図４Ａ及び図４Ｂは、本発明の他の実施形態に係るカラーフォーマット変換部４００およびカラーフォーマット逆変換部４８０を備える伝送チェーン回路を示すブロック図である。ここで、図４Ａは送信側の画像符号化装置１０を示し、図４Ｂは受信側の画像復号装置２０を示す。

図４Ａに示される画像符号化装置１０は、カラーフォーマット変換部４００と、符号化部１３０と、色空間予測部４３０と、係数予測部４４０と、復号部４５０と、係数符号化部４６０とを備える。また、カラーフォーマット変換部４００は、色空間変換部４１０と、フィルタリング・サブサンプリング部４２０とを備え、さらに、色空間予測部４３０を含めてもよい。

ビデオカメラ１１０は、ＲＧＢ４：４：４カラーフォーマットの原画像データ１１１を提供する。ＲＧＢ４：４：４カラーフォーマットの原画像データ１１１の色要素は、それぞれＲ、Ｇ、Ｂと称される。カラーフォーマット変換部４００は、色空間変換マトリクスを予測するための色空間予測部４３０を備える。ここでは、ＲＧＢ４：４：４カラーフォーマットの原画像データ１１１の統計値（例えば、第１モーメントおよび第２モーメント）などの性質に基づいて、予測が行われる。次に、予測した色空間変換マトリクスを用いて、原画像データ１１１をＲＧＢ４：４：４カラーフォーマットから新たな色空間である適応的色空間（ＡＣＳ）に変換する。得られたＡＣＳ画像データ４１１は、４：４：４サンプリングフォーマットのままである。色空間変換部４１０では、予測目的に応じて、様々な基準が用いられてよい。基準の１つとしては、ＡＣＳ色空間の３種類の色要素Ａ、Ｃ、Ｓの無相関化が挙げられる。カルーネンレーブ（Karhunen-Loeve）変換によれば、３種類のＲＧＢ色要素から、相互に無相関な３種類のＡＣＳ色要素を生成できる。このようにすることは、例えば、３種類の色要素を個別に符号化する符号化部の場合、都合が良い。得られたＡＣＳ色空間の映像データは、その後、例えばＩＳＯで規定されているようなローパスフィルタによって、低域フィルタリングされてダウンサンプリングされる。なお、別のフィルタを使うことも可能である。

まず、式１のように、無相関色成分Ａ、Ｃ、Ｓを生成するカルーネンレーブ（Karhunen-Loeve）変換の変換マトリクスＴ_ＫＬＴが、色空間予測部４３０によって決定される。Ｔ_ＫＬＴは最適に相関を軽減する直交変換であり、変換後の座標系における任意の軸間の相関を完全に無くすことができる。このことは、冗長性が最も少ない座標系へ信号が変換されていることを意味し、圧縮のための直交変換として最適とされている。

ここで、ｘおよびｙは、特定の空間サンプルを示す色要素のインデックスである。色要素Ａ、Ｃ、Ｓで構成される色空間が適応的色空間である。これを適応的と称する所以は、カラー画像データまたはカラー映像データの性質に適応するからである。例えば、変換マトリクスＴ_ＫＬＴを決定するにあたり、カラー画像の統計的性質が利用される。

変換マトリクスＴ_ＫＬＴは、その後、色空間変換部４１０での色空間変換に使用される。また、色空間変換部４１０では、式２のスケーリング・平均化調整が行われる。

ここで、係数ｍ_ＡはＡの平均値であり、係数ｍ_ＣはＣの平均値であり、係数ｍ_ＳはＳの平均値である。これらの平均値はすべて、色空間予測によって決定される。スケーリング係数ｓ_Ａは、以下の式３にしたがって、Ａ´のダイナミック・レンジを調整する。

スケーリング係数ｓ_Ｃは、以下の式４にしたがって、Ｃ´のダイナミック・レンジを調整する。

スケーリング係数ｓ_Ｓは、以下の式５にしたがって、Ｓ´のダイナミック・レンジを調整する。

パラメータｂ_Ａは色要素Ａ´のサンプル表示用ビット数であり、パラメータｂ_Ｃは色要素Ｃ´のサンプル表示用ビット数であり、パラメータｂ_Ｓは色要素Ｓ´のサンプル表示用ビット数である。スケーリング係数はすべて、色空間予測部４３０において決定される。

色空間変換部４１０で色空間変換を行った後、例えば、非特許文献１：ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ Ｎ６２９５「Color format down-conversion for test sequence generation」（テストシーケンス生成用カラーフォーマット・ダウンサンプリング）にしたがって、色要素Ｃ´、Ｓ´をフィルタリング・サブサンプリング部４２０でフィルタリングしてサブサンプリングすると、色要素Ｃ´´、Ｓ´´となり、カラーフォーマットはＡＣＳ４：２：０になる。図５は、ＲＧＢ色空間およびＡＣＳ色空間の色要素のサンプリング・グリッドを示す。ＡＣＳ色空間のサンプル位置は、Ｈ．２６４／ＡＶＣ規格の規定にしたがって選択される。

次に、色要素Ａ´、Ｃ´´、Ｓ´´を次の整数に丸めることにより、それぞれ［０；２^ｂＡ−１］、[０；２^ｂＣ−１]、［０；２^ｂＳ−１］の値域にする。

これら適応的色空間の丸められた色要素Ａ´、Ｃ´´、Ｓ´´で表現された画像データ４２１は、さらに、符号化部１３０において符号化される。本実施の形態においては、符号化部１３０は、Ｈ．２６４／ＡＶＣ規格に準拠した符号化部である。

カラーフォーマット変換側においても、Ｈ．２６４／ＡＶＣの復号部４５０で符号化データ１３１を復号する。符号化部１３０が非可逆圧縮を行った場合、画像復号実施後の画像データ４５１は、画像符号化実施前の画像データ４２１とは異なってよい。

復号すると、色要素Ａ´´、Ｃ´´´、Ｓ´´´で表現された画像データ４５１が得られる。次に、色空間変換係数ｓ_Ａ、ｓ_Ｃ、ｓ_Ｓ、ｍ_Ａ、ｍ_Ｃ、ｍ_Ｓを用いて、係数予測部４４０で残りのカラーフォーマット逆変換係数を予測する。

ＡＣＳ４：２：０カラーフォーマットの復号映像データは、次のように、ＲＧＢ４：４：４カラーフォーマットの復号映像データに変換される。第１ステップとして、以下の式６にしたがい、スケーリング・平均化調整を行う。

第２ステップでは、ＲＧＢ４：４：４カラーフォーマットの復号画像データを算出する。この復号画像データの３種類の色要素は、Ｒ^〜、Ｇ^〜、Ｂ^〜と称される。ここで、記号「^〜（チルダ）」は、それぞれ直前の文字の上に付される記号を示し、本明細書では、以下、記号「^〜（チルダ）」を同様な意味で使用する。ｘ＝０，２，４・・・、ｙ＝０，２，４・・・の位置にあるＲ^〜、Ｇ^〜、Ｂ^〜を算出するには、以下の式７を用いる。

フィルタ長ｎとフィルタ係数ｗ_1,A,R、ｗ_1,A,G、ｗ_1,A,B、ｗ_1,C,R(i)、ｗ_1,C,G(i)、ｗ_1,C,B(i)、ｗ_1,S,R(i)、ｗ_1,S,G(i)、ｗ_1,S,B(i)は、係数予測部４４０で予測される逆変換係数である。ｘ＝０，２，４・・・、ｙ＝１，３，５・・・の位置にあるＲ^〜、Ｇ^〜、Ｂ^〜を算出するには、以下の式８を用いる。

ｘ＝１，３，５・・・、ｙ＝０，２，４・・・の位置にあるＲ^〜、Ｇ^〜、Ｂ^〜を算出するには、以下の式９を用いる。

フィルタ係数ｗ_2,A,R、ｗ_2,A,G、ｗ_2,A,B、ｗ_2,C,R（i,j）、ｗ_2,C,G(i,j)、ｗ_2,C,B(i,j)、ｗ_2,S,R(i,j)、ｗ_2,S,G(i,j)、ｗ_2,S,B(i,j)は、係数予測部４４０で予測される逆変換係数である。ｘ＝１，３，５・・・、ｙ＝１，３，５・・・の位置にあるＲ^〜、Ｇ^〜、Ｂ^〜を算出するには、以下の式１０を用いる。

次に、色要素Ｒ^〜、Ｇ^〜、Ｂ^〜を次の整数に丸めることにより、それぞれ元のＲ、Ｇ、Ｂ色要素の値域にする。

本実施の形態において、逆変換係数は、色空間変換係数であるｓ_Ａ、ｓ_Ｃ、ｓ_Ｓ、ｍ_Ａ、ｍ_Ｃ、ｍ_Ｓ、およびフィルタ係数であるｗ_1,A,R、ｗ_1,A,G、ｗ_1,A,B、ｗ_1,C,R(i)、ｗ_1,C,G(i)、ｗ_1,C,B(i)、ｗ_1,S,R(i)、ｗ_1,S,G(i)、ｗ_1,S,B(i)、ｗ_2,A,R、ｗ_2,A,G、ｗ_2,A,B、ｗ_2,C,R（i,j）、ｗ_2,C,G(i,j)、ｗ_2,C,B(i,j)、ｗ_2,S,R(i,j)、ｗ_2,S,G(i,j)、ｗ_2,S,B(i,j)である。

元の色要素Ｒ、Ｇ、Ｂと、復号済み色要素Ｒ^〜、Ｇ^〜、Ｂ^〜との間の平均２乗誤差を最小にすることにより、フィルタ係数を予測する。この基準によって、すべてのフィルタ係数を確実に算出できる。

カラーフォーマット逆変換係数の伝送に必要なデータレートを下げるために、これらの係数は、例えば、ハフマン（Huffman）符号化、ゴロム（Golomb）符号化、指数ゴロム（exponential Golomb）符号化、算術符号化、または、これら以外の可変長符号化方法によって、係数符号化部４６０で符号化され、符号化カラーフォーマット逆変換係数４６１としてチャネル１４０から出力される。また、必要に応じて、チェックサムまたは前方誤り訂正符号化によるデータ保護も可能である。

符号化データ４０１および符号化カラーフォーマット逆変換係数４０２は、チャネル１４０を通じて伝送され、画像復号装置２０に受信される。図４Ｂに示される画像復号装置２０は、復号部４７０と、カラーフォーマット逆変換部４８０と、係数復号部４９０とを備える。

符号化カラーフォーマット逆変換係数４０２は、係数復号部４９０で復号され、カラーフォーマット逆変換係数４９１がカラーフォーマット逆変換部４８０に供される。受信した符号化データ４０１は、Ｈ.２６４／ＡＶＣの復号部４７０で復号され、復号された画像データ４７１がカラーフォーマット逆変換部４８０に供される。そして、上述のように、受信したカラーフォーマット逆変換係数４９１を用いてカラーフォーマット逆変換を行う。アップサンプリングと色空間逆変換は、本実施の形態では、カラーフォーマット逆変換の単一ステップにおいて行われているが、別々に行われてもよい。また、アップサンプリングおよび色空間逆変換のいずれか一方のみを行うことも可能である。このような場合、色空間逆変換用とアップサンプリング用で別々の係数が必要になる場合がある。その後、丸められた色要素Ｒ^〜、Ｇ^〜、Ｂ^〜で表現された画像データ４８１は、ディスプレイ１７０に送られる。

図６Ａ及び図６Ｂは、本発明の他の実施形態に係るカラーフォーマットの変換および逆変換を備える伝送チェーン回路を示すブロック図である。ここで、図６Ａは送信側の画像符号化装置１０を示し、図６Ｂは受信側の画像復号装置２０を示す。また、図７Ａは図６Ａの画像符号化装置１０の動作を、図７Ｂは図６Ｂの画像復号装置２０の動作を示すフローチャートである。

図６Ａに示される画像符号化装置１０は、カラーフォーマット変換部６００と、符号化部１３０と、復号部４５０と、色空間予測部６３０と、補間フィルタ係数予測部６４０と、色空間逆変換予測部６５０と、アップサンプリング・補間部６６０と、補助情報符号化部６７０とを備える。また、カラーフォーマット変換部６００は、色空間変換部６１０と、フィルタリング・サブサンプリング部６２０とを備える。

色空間予測部６３０は、カメラ１１０から取得した原画像（カラー画像）１１１の特性に基づいて色空間変換係数を算出する。色空間変換部６１０は、色空間予測部６３０で算出された色空間変換係数に基づいて原画像データ１１１の色空間を第１の色空間から第１の色空間と異なる第２の色空間に変換して色空間変換済みカラー画像を生成する。フィルタリング・サブサンプリング部６２０は、色空間変換済みカラー画像に含まれるサンプルの一部を除去してサブサンプリング済みカラー画像を生成する。

符号化部１３０は、サブサンプリング済みカラー画像を符号化して符号化済みカラー画像を生成する。復号部４５０は、符号化済みカラー画像を復号して復号済みカラー画像を生成する。アップサンプリング・補間部６６０は、復号済みカラー画像のサンプルを補間して補間済みカラー画像を生成する。

補間フィルタ係数予測部６４０は、サンプルを補間するアップサンプリング処理に用いられるアップサンプリング係数を算出する。より具体的には、復号済みカラー画像と前記色空間変換済みカラー画像との平均２乗誤差が最小となるように、アップサンプリング係数を算出する。

色空間逆変換予測部６５０は、色空間を第２の色空間から第１の色空間に逆変換するための色空間逆変換係数を算出する。具体的には、補間済みカラー画像の色空間を第２の色空間から第１の色空間に逆変換して色空間逆変換済みカラー画像を生成する。そして、色空間逆変換済みカラー画像とカラー画像との平均２乗誤差が最小となるように、色空間逆変換係数を算出する。

補助情報符号化部６７０はアップサンプリング係数、色空間逆変換係数、及び色空間変換係数を含む補助情報を符号化して符号化済み補助情報を生成する。そして、当該画像符号化装置１０は、符号化済みカラー画像及び符号化済み補助情報をチャネル１４０に出力する。

ここでは、色空間逆変換の逆変換係数と補間フィルタリングの逆変換係数とを別々に予測する。これに応じて、逆変換側でも、アップサンプリングおよび補間フィルタリングは、色空間逆変換とは別に行われる。図６Ａ及び図７Ａを参照して、画像符号化装置１０の動作を説明する。

図４Ａ及び図４Ｂに示した処理と同様、カメラ１１０はＲＧＢ４：４：４フォーマットの原画像データ１１１を提供する（Ｓ１１）。この原画像データ１１１は、色空間予測部６３０での色空間予測に用いられ、そこで変換マトリクスＴ_ＫＬＴが決定される。そして、予測された変換が行われると、入力された原画像データ１１１の色空間は、色空間変換部６１０で決定された変換に応じた適応的色空間の画像データ６１１に変換される（Ｓ１２）。ＡＣＳ４：４：４カラーフォーマットに色空間変換された画像データ６１１は、次に、フィルタリング・サブサンプリング部６２０でフィルタリングおよびサブサンプリングされて、ＡＣＳ４：２：０カラーフォーマットの画像データ６２１になる（Ｓ１３）。ＡＣＳ４：４：４カラーフォーマットの画像データ６２１は、Ｈ．２６４／ＡＶＣの符号化部１３０で符号化され（Ｓ１４）、符号化データ６２２として復号部４５０に送られる（Ｓ１５）。

復号後、得られたデータは補間フィルタ係数予測部６４０に用いられる（Ｓ１６）。補間フィルタはウィナーフィルタであると予測されることがある。この場合は、アップサンプリングおよび補間が行われたＡＣＳ４：２：０カラーフォーマットの復号画像データと、ＡＣＳ４：４：４カラーフォーマットの画像データ６１１との間の平均２乗誤差を最小にすることにより、フィルタ係数を予測する。その他の予測基準も可能である。例えば、データレートおよび平均２乗誤差のラグランジュ・コスト（Lagrangian costs）を最小にすることもできる。画像データは、アップサンプリング・補間部６６０で予測されたフィルタ係数を用いてアップサンプリングされて補間される。また、アップサンプリングされた画像データは、色空間逆変換予測部６５０での色空間逆変換の予測にも用いられる（Ｓ１７）。色空間逆変換予測部６５０は、ＡＣＳ４：４：４カラーフォーマットの復号画像データおよびＲＧＢ４：４：４カラーフォーマットの原画像データ１１１だけでなく、色空間予測部６３０によって予め決定されている色空間変換パラメータも用いて、予測を行う。これによって、色空間逆変換係数は、ＲＧＢ４：４：４カラーフォーマットの復号画像データと、ＲＧＢ４：４：４カラーフォーマットの原画像データとの間の平均２乗誤差を最小にすることにより、予測されてもよい。そして、補間フィルタ係数および色空間逆変換係数は、補助情報符号化部６７０で符号化され（Ｓ１８）、符号化補助情報６７１として符号化データ６２２と共に伝送される（Ｓ１９）。

受信側の画像復号装置２０は、図６Ｂに示されるように、復号部４７０と、補助情報復号部６７５と、アップサンプリング・補間部６８０と、色空間逆変換部６９０とを備える。この画像復号装置２０は、チャネル１４０を通じて、符号化済みカラー画像、及び符号化済み補助情報を取得する。復号部４７０は、符号化済みカラー画像を復号して復号済みカラー画像を生成する。補助情報復号部６７５は、符号化済み補助情報を復号して復号済み補助情報を生成する。

アップサンプリング・補間部６８０は、アップサンプリング係数を用いて復号済みカラー画像のサンプルを補間することにより、補間済みカラー画像を生成する。色空間逆変換部６９０は、色空間逆変換係数を用いて補間済みカラー画像の色空間を第２の色空間から第１の色空間に逆変換することにより、カラー画像を生成する。

図６Ｂ及び図７Ｂを参照して、画像復号装置２０の動作を説明する。まず、チャネル１４０を通じて、符号化データ６０１及び符号化補助情報６０２を取得する（Ｓ２１）。符号化データ６０１は、復号部４７０で復号されて画像データ６０３となる（Ｓ２２）。一方、符号化補助情報６０２は、補助情報復号部６７５で復号されて補間フィルタ係数６０４及び色空間逆変換係数６０５となる（Ｓ２３）。補間フィルタ係数６０４は、復号部４７０で符号化データ６０１から復号された画像データ６０３と共にアップサンプリング・補間部６８０に供される。この補間フィルタ係数６０４を用いて、画像データ６０３の補間フィルタリングが行われる（Ｓ２４）。その結果、ＡＣＳ４：４：４色空間の画像データが得られ、これを、色空間逆変換部６９０で色空間逆変換係数６０５を用いて、さらに色空間逆変換される（Ｓ２５）。そして、これによって得られた画像をディスプレイ１７０に表示する（Ｓ２６）。

本発明に係るカラーフォーマットの変換部および逆変換部の構成の他の例を図８Ａ及び図８Ｂに示す。ここで、図８Ａは送信側の画像符号化装置１０を示し、図８Ｂは受信側の画像復号装置２０を示す。

本実施の形態では、適応的色空間変換に代え、標準的な色空間変換部７１０で色空間変換を行う。ここでは、色空間変換部７１０によって、ＲＧＢ４：４：４カラーフォーマットがＹＵＶ４：４：４カラーフォーマットに変換されるが、他の色空間でもよい。

図８Ａに示される画像符号化部１０は、符号化部１３０と、復号部４５０と、色空間変換部７１０と、フィルタリング・サブサンプリング部７２０と、補間フィルタ係数予測部７３０と、補助情報符号化部７４０とを備える。

カメラ１１０によって提供された原画像データ１１１は、色空間変換部７１０によって、この例ではＹＵＶ４：４：４カラーフォーマットに変換される。得られた画像データ７１１は、次に、フィルタリング・サブサンプリング部７２０でフィルタリングおよびサブサンプリングされて、ＹＵＶ４：２：０フォーマットの画像データ７２１となり、これがその後、Ｈ．２６４／ＡＶＣの符号化部１３０で符号化される。符号化データ７２２は、次に、復号部４５０で復号され、補間フィルタ係数予測部７３０での補間フィルタ係数の予測に用いられる。この予測は、前述の実施の形態と同様、画像データ７１１と復号画像データとの間の平均２乗誤差を最小にすることにより、係数を予測するウィナーフィルタ予測であってもよい。また、他の線形または非線形予測方法を用いることも可能である。必要に応じて、ＲＧＢ以外の色空間、例えばＹＵＶ色空間における、補間フィルタ係数および色空間逆変換係数を最適化することも可能である。

予測された補間フィルタ係数７３１は、その後、補助情報符号化部７４０で符号化され、符号化補助情報７４１として符号化データ７２２と共に伝送される。

受信側の画像復号装置２０は、図８Ｂに示されるように、復号部４７０と、アップサンプリング・補間部７５０と、補助情報復号部７６０と、色空間逆変換部７７０とを備える。符号化データ７０１は、Ｈ．２６４／ＡＶＣの復号部４７０によって復号されて画像データ７０３となる。また、符号化データ７０１と共に受信した符号化補助情報７０２は、補助情報復号部７６０で復号されて補間フィルタ係数７０４となる。そして、アップサンプリング・補間部７５０は、画像データ７０３及び補間フィルタ係数７０４を用いて、アップサンプリング及び補間フィルタリングを行う。アップサンプリング後、標準的な色空間逆変換部７７０によって、ＹＵＶ４：４：４の画像データ７５１をＲＧＢ４：４：４色空間の画像データ７７１に変換する。その後、ＲＧＢ４：４：４の画像データ７７１をディスプレイ１７０に表示する。

図９は、本発明に係る他の実施の形態を示す。ここでは、カラーフォーマット変換部３１０および決定部３２０は画像符号化装置１０の構成要素であり、画像符号化装置１０は、画像圧縮部８３０をさらに備える。本発明に係るカラーフォーマットの変換は、例えば、Ｈ．２６４／ＡＶＣ、ＤＩＲＡＣ、ＪＰＥＧ２０００、それ以降の各規格などの画像規格または映像規格に、任意または必須の特徴として含ませてよい。また、特許製品であるビデオエンコーダの一部であってもよい。そして、圧縮映像と、圧縮映像の復号に必要な情報要素と、色空間逆変換パラメータとを含む符号化ビデオストリームの一部として、カラーフォーマット逆変換係数３２１を提供することが可能である。カラーフォーマット逆変換係数３２１は、ビデオデータ情報を含むパケットに含ませて送信されてもよく、補助情報として別のパケットで送信されてもよい。これによって、さらに、ゴロム（Golomb）符号、指数ゴロム（exponential Golomb）符号、算術符号化、ハフマン（Huffman）符号などのエントロピー符号、または、これら以外のエントロピー符号を用いて、カラーフォーマット逆変換パラメータを符号化してよい。使用するエントロピー符号は、映像データおよび／または映像データ関連の情報要素を符号化するのに用いたエントロピー符号に対応するものでもよく、色空間逆変換パラメータ用に特別に設計し、かつ、その統計値に適応させたエントロピー符号でもよい。

これに対応して、カラーフォーマット逆変換部３３０および画像伸張部８５０は、画像復号装置２０の構成要素である。カラーフォーマット逆変換係数３２２は、ビデオストリームの一部になっているか、別の補助情報になっているかは上記の画像符号化装置１０によって異なるが、画像／映像データと共にチャネル１４０から取得される。これらは、さらにエントロピー復号され、チャネル１４０から取得して画像伸張部８５０で伸張した画像データ３１２と共に、カラーフォーマット逆変換部３３０に供される。画像の伸張は、映像復号装置または画像復号装置の現在または未来の規格製品または特許製品によって、実行することが可能である。具体的には、復号部として、Ｈ．２６４／ＡＶＣ、ＤＩＲＡＣ、ＪＰＥＧ２０００が考えられる。

ここで、カラーフォーマットの変換および逆変換は、上記実施の形態のいずれかにしたがって行われればよく、色空間の変換、および／または補間フィルタリングの予測を含んでもよい。

本発明の他の実施形態によれば、また図９によれば、カラーフォーマット逆変換係数３２１は、チャネル１４０を通じて伝送されるとともに、画像圧縮部８３０に供される。同様に、受信側の画像復号装置２０において、チャネル１４０から取得されたカラーフォーマット逆変換係数３２２は、カラーフォーマット逆変換部３３０に供されるとともに、画像伸張部８５０にも供される。この特徴、つまりカラーフォーマット逆変換係数３２１を画像符号化装置１０および／または画像復号装置２０に供することは、言うまでもなく、図３、図４Ａ、図４Ｂ、図６Ａ、図６Ｂ、図８Ａ、および図８Ｂに示した上記実施の形態のいずれに適用してもよく、本発明の他の実施形態に適用してもよい。カラーフォーマット逆変換係数３２１を画像圧縮部８３０に供することは、画像圧縮部８３０において時間的な予測を行う場合、特に良い。例えば、予測フレームの色空間が参照フレームの色空間と異なるなど、同じピクチャ・グループ内で色空間が変化する場合には、予測を容易にするために、符号化装置で色空間の変換および逆変換を行う必要がある。そのためには、カラーフォーマット逆変換係数３２１が必要である。

同様に、画像復号装置２０側においても、同じピクチャ・グループ内でカラーフォーマットを変化させながら時間的な予測を行って符号化したビデオストリームを復号するには、カラーフォーマット逆変換係数３２２が画像伸張部８５０に供されなければならない。

上述の各構成は、画像データまたは映像データの異なる部分に適用可能である。例えば、カラーフォーマット逆変換係数は、マクロブロック、マクロブロック・グループ、スライス、フィールド、ピクチャ、ピクチャ・グループなど、画像または映像の一部分について、決定されるものであってよい。係数が決定される対象部分が小さいほど、入力画像に対しても、対象部分相互間においても、よく適応した変換および逆変換が行われる。一方、カラーフォーマット係数を伝送するには、レートを上げる必要があるので、場合によっては、係数を変更しないでおく映像部分の最適サイズを見つけるようにすることも可能である。この最適条件は、用途によって異なるものであっても、符号化設定によって異なるものであってもよい。係数が決定される部分は、固定とすることも、可変とすることも可能である。例えば、異なる色空間にすることで、および／または、補間を行うことで、画像／映像コンテンツが変化した場合など必要な場合にカラーフォーマット逆変換係数を送るようにしてもよい。

カラーフォーマット逆変換係数を決定および／または提供する頻度は、必ずしも、色空間係数および補間フィルタ係数の場合と同じである必要はない。映像の一部分、例えばピクチャ・グループ内では、色空間が変わらないのであれば、より小さな部分を補間およびサブサンプリングするためのパラメータを伝送した方が良いということもある。

映像の予測符号化（Ｈ．２６４／ＡＶＣ規定のもの等）の場合、現ピクチャの予測に使用する参照ピクチャを予測用に現ピクチャと同じ色空間に変換してもよい。

Ｈ．２６４／ＡＶＣの符号化装置および復号装置を用いる符号化方法の場合、カラーフォーマット変換係数は、Ｈ．２６４／ＡＶＣ規格のいわゆる補助的拡張情報（ＳＥＩ）メッセージによって伝送されてもよい。

ＣＣＤ／ＣＳＭＯカメラのサンプリング・グリッドが、ベイヤーパターンにしたがったサンプリング・グリッドなど、一般的な４：４：４サンプリング・グリッドでない場合には、同じ位置にあるＲＧＢサンプルもカラーフォーマット変換係数の予測に用いてよい。カメラ内にあるＲＧＢ信号の元のサンプリング・グリッドに関する情報も、符号化して受信器に送信することが可能である。ここでは、複数の所定のサンプリング・グリッドのうち、１つのサンプリング・グリッドを示すインジケータの符号化および伝送が可能である。また、サンプリング・グリッドに関する全情報の符号化および伝送も可能である。このことは、サンプリング・グリッドが規定のものでない場合に役立つ。

さらに、第１色空間から第２色空間に色空間変換を行う一方で、第２色空間から第１色空間に色空間を逆変換するためのカラーフォーマット逆変換係数を決定してもよい。この方法は、ディスプレイがカラーフォーマット変換入力データの色空間とは異なる色空間を使用しているときに、好都合な場合がある。

上述した実施の形態では、画像データまたは映像データの送信および受信について説明したが、これら全ての実施の形態は、格納および読み出しについても同様に参照されてよい。このような場合、チャネル１４０は、ハードディスク、光媒体、磁気媒体、ＵＳＢスティックなどのフラッシュメモリなどの記憶媒体である。

（その他変形例）
なお、本発明を上記各実施の形態に基づいて説明してきたが、本発明は、上記の各実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。

上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成要素部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

以上、図面を参照してこの発明の実施形態を説明したが、この発明は、図示した実施形態のものに限定されない。図示した実施形態に対して、この発明と同一の範囲内において、あるいは均等の範囲内において、種々の修正や変形を加えることが可能である。また、上述の各実施形態は、本発明の目的を逸脱しない範囲で、任意に組み合わせることができる。

本発明は、画像符号化方法（装置）及び画像復号方法（装置）に有利に利用される。

１０ 画像符号化装置
２０ 画像復号装置
１１０ カメラ
１１１ 原画像データ
１２０，４１０，６１０，７１０ 色空間変換部
１２１，１５１，１６１，２１１，２２１，３１１，３１２，３３１，４１１，４２１，４５１，４７１，４８１，６０３，６１１，６２１，７１１，７２１，７０３，７５１ 画像データ
１３０ 符号化部
１３１，４０１，６０１，６２２，７０１，７２２ 符号化データ
１４０ チャネル
１５０，４５０，４７０ 復号部
１６０，６９０，７７０ 色空間逆変換部
１７０ ディスプレイ
２０１，３１０，４００，６００ カラーフォーマット変換部
２０２，３３０，４８０ カラーフォーマット逆変換部
２１０，４２０，６２０，７２０ フィルタリング・サブサンプリング部
２２０，６６０，６８０，７５０ アップサンプリング・補間部
３２０ 決定部
３２１，３２２，４９１ カラーフォーマット逆変換係数
４０２，４６１ 符号化カラーフォーマット逆変換係数
４３０，６３０ 色空間予測部
４４０ 係数予測部
４６０ 係数符号化部
４９０ 係数復号部
６０２，６７１，７０２，７４１ 符号化補助情報
６０４，７０４，７３１ 補間フィルタ係数
６０５ 色空間逆変換係数
６４０，７３０ 補間フィルタ係数予測部
６５０ 色空間逆変換予測部
６７０，７４０ 補助情報符号化部
６７５，７６０ 補助情報復号部
８３０ 画像圧縮部
８５０ 画像伸張部

本発明は、複数の色要素からなるカラー画像の変換および逆変換ならびに、これらに対応する装置に関する。

カラー画像を撮像するためのデジタルビデオカメラまたはデジタルカメラは、異なるカラーフィルタでフィルタリングされた光の強度を感知できるセンサを備える。このようなセンサの上には、赤および緑の行と緑および青の行とを交互にモザイク状に配列した赤、青、緑のフィルタからなる、いわゆるベイヤーフィルタを被せることができる。緑のフィルタが多用されるのは、赤色および青色よりも緑色に対して人間の目の感度が高いことを反映している。撮像されたカラーサンプルのモザイクは、典型的には、格納効率およびディプレイへの描画効率が高められる別の色空間に変換される。この変換は「デモザイク」と称される。通常、赤、緑、青のサンプルからなるモザイクは、同じく赤（Ｒ）、緑（Ｇ）、青（Ｂ）のサンプルからなるＲＧＢ色空間に変換される。

ＲＧＢ色空間のカラー画像（ＲＧＢ画像）は、３色の色要素、すなわち赤、緑、青からなる、いわゆる画素で構成される。各コンポーネントの値は、画素の色を再現するために必要な赤、緑、青の光の強度を示す。画素は、画像の最小構成単位である。各ＲＧＢ画像の各画素の色要素は、ＲＧＢ色空間内において、この画素の座標（ｒ，ｇ，ｂ）として示すことができる。これらの座標の値は、ｑビットを用いて量子化される。１画素あたりのビット数は、色深度としても知られているものである。本願では、大抵の場合、すべての色要素に対してｑ＝８またはｑ＝１６の値を一律に適用し、それぞれ２４ビットまたは４８ビットの色深度にする。一般には、色要素ごとに、さらには画素ごとに、ビット数を変えて量子化することもある。

ＲＧＢ画像の画素は、Ｎ×Ｍサイズのマトリクスに配列され、画像の（空間）解像度とも称される。ＮおよびＭの値が３色の色要素すべてについて同じであれば、つまり画像の色要素値を３色の同じサイズの色要素に整理可能な場合には、そのような画像のカラーフォーマットは、ＲＧＢ４：４：４と称される。ＲＧＢ４：４：４カラーフォーマットのデータを直接取得できるセンサもある。一般に、単一の画像の色要素は、色要素ごとに異なるサンプリング・グリッドが適用された結果、サイズが異なる場合がある。画像の色要素の値は、例えば、その画像をディスプレイ画面に描画したり、カメラまたは外部ストレージに格納したり、印刷したり、追加的な処理を行ったり、伝送チャネル経由で伝送するときに用いることができる。

追加的な処理とは、例えば、別の色空間への変換、および／または、色要素の選択的サブサンプリングを含むカラーフォーマット変換などである。サブサンプリングの前には、フィルタリングが行われる。

さらに、伝送目的および格納目的の場合、一般には、規格製品または特許製品である画像符号化装置または映像符号化装置を使用して、所定のカラーフォーマットのカラー画像、または、このようなカラー画像が映像を構成する場合にはそのシーケンスを符号化する。符号化は、画像または映像の格納または伝送に必要なデータ量を削減するために行われる。このような符号化には、規格化あるいは特許取得されている様々な可逆および／または非可逆圧縮メカニズムを用いればよい。

符号化した画像または映像をディスプレイに描画するためには、画像データをチャネル経由で受信するか、ストレージから取り込んで、復号しなければならない。符号化処理を逆に行う復号により、符号化に使用したカラーフォーマットの画像を取得する。今日のディスプレイは、大抵の場合、ＲＧＢ４：４：４カラーフォーマットの値に基づく信号を用いて、表示画素の駆動を制御する。したがって、復号後、このカラーフォーマットへの変換が必要となる場合がある。復号後のカラーフォーマットの逆変換は、サブサンプリングが行われていた場合には、サブサンプリングしたカラー画像のアップサンプリングを含んでもよい。アップサンプリングは、通常、補間フィルタを用いて行われる。

図１は、従来技術の映像伝送チェーン回路の一例を示す。

ビデオカメラまたはカメラ１１０は、現実シーンを撮像すると、第１カラーフォーマットの、具体的にはカラーサンプルあたり８ビットのＲＧＢ４：４：４カラーフォーマットの、原画像データ１１１を送り出す。ＲＧＢ４：４：４フォーマットの原画像データ１１１は、次に、異なる色空間に変換されるが、このケースでは、ＹＵＶ色空間などの、異なる色要素を用いた色空間に変換される。この色空間において、入力された原画像データ１１１は、Ｙと表記される輝度と、Ｕ、Ｖと表記される２種類の異なる色要素（色差）とに分けられる。ＹＵＶ色空間のデータを取得するには、色空間変換部１２０で色空間変換を適用する。よって、Ｒ、Ｇ、Ｂの重み値を加算することで、対象の画素の全体の明るさ、すなわち輝度を示す単一のＹ信号を生成する。次に、元のＲＧＢの青の信号からＹ信号を減算し、スケーリングすることにより、Ｕ信号を得る。これに応じて、赤からＹを減算し、異なる係数でスケーリングすることによって、Ｖ信号を得る。このようにしてＹＵＶ色空間で得た画像データ１２１は、撮像した画像の光の強度に対応した輝度成分と、この輝度成分よりも典型的にかなり平滑である２種類の色差成分とを含む。色差画像が平滑であれば、より良く圧縮できる。

ＹＵＶ色空間における画像データ１２１のサイズは、この時点では、ＲＧＢ４：４：４フォーマットの原画像データ１１１と同じである。すなわち、輝度および２つの色差の３つの値が１画素につき８ビットずつ記憶されている。この画像フォーマットは、ＹＵＶ４：４：４フォーマットと称される。ＹＵＶ４：４：４フォーマットの画像データ１２１は、その後、符号化部１３０によって圧縮され、チャネル１４０経由で伝送される。この例における符号化部１３０は、Ｈ．２６４／ＡＶＣビデオ符号化を行う。ここで使用するチャネル１４０は、例えば、有線、無線を問わず、どのような形態のネットワークであってもよく、また磁気ディスク、光ディスク、フラッシュメモリ、磁気光記憶媒体などのストレージであってもよい。

ディスプレイ１７０に画像または映像を描画するためには、まず、データをチャネル１４０から取得／受信し、復号部１５０で復号する。復号部１５０は、符号化部１３０とは逆の処理を行う。符号化部１３０が非可逆圧縮を行っていれば、再構築後のＹＵＶ４：４：４フォーマットの画像データ１５１は、元のＹＵＶ４：４：４フォーマットの画像データ１２１とは異なる場合がある。復号した後、色空間逆変換部１６０で色空間逆変換を適用して、復号ＲＧＢ４：４：４フォーマットの画像データ１６１を取得すると、それをディスプレイ１７０に表示したり、さらには格納または印刷することが可能になる。

図２は、従来技術の伝送チェーン回路の他の例を示す。カメラ１１０で現実シーンを撮像する。カメラ１１０から出力されるのは、ＲＧＢ４：４：４カラーフォーマットの原画像データ１１１である。ＹＵＶ４：４：４フォーマットの画像データ１２１を取得するために、次に、ＲＧＢ４：４：４フォーマットの原画像データ１１１に色空間変換部１２０で色空間変換を行う。色空間を変換すると、大抵の場合、ＹＵＶ４：４：４フォーマットの画像の色差成分Ｕ、Ｖは、輝度成分Ｙと比べて平滑になる。この段階で既に、画像の伝送／格納に必要なデータ量を削減できる程度に平滑である。これを実行するには、色差成分を左右方向および／または上下方向にフィルタリング・サブサンプリング部２１０でサブサンプリングする。サブサンプリングとは、例えば、一定のサンプルを除外することで１画像あたりのサンプル数を削減することである。除外されなかったサンプルが含まれるサブサンプリング・グリッドは、原画像またはフィルタリングされた画像の値のサブセットであり、通常、規則的な形状を有する。サブサンプリングを行う前に、通常はローパスフィルタであるが、何らかのフィルタを適用してもよい。ローパスフィルタには、この目的に使用するものとして、国際標準化機構（ＩＳＯ）によって提案され、動画像符号化専門家グループ（ＭＰＥＧ）およびビデオ符号化専門家グループ（ＶＣＥＧ）のコミュニティで承認されているものがいくつかある。このフィルタリング済み画像をサブサンプリングするには、例えば、隔行および隔列ごとに行および列を省いて、色差成分値の数を輝度成分値の数の４分の１にする。このようなフォーマットは、ＹＵＶ４：２：０フォーマットと称される。このように、この場合のカラーフォーマット変換部２０１は、色空間変換部１２０と、フィルタリング・サブサンプリング部２１０とを含む。原画像データ１１１の色空間が既に所望のものであれば、カラーフォーマット変換部２０１は、サブサンプリング（場合によっては、フィルタリングも加える）だけでもよい。第２カラーフォーマットＹＵＶ４：２：０の画像データ２１１は、次に、符号化部１３０で符号化され、チャネル１４０に格納されるか、チャネル１４０経由で伝送されてから、復号部１５０によって復号される。他のサブサンプリング・グリッドを使用することも可能であり、例えば、（フィルタリングされた）色差成分を隔列ごとに省いた４：２：２グリッドでも、その他のサブサンプリング・グリッドでもよい。

符号化部１３０は、例えば、画像圧縮規格のＪＰＥＧもしくはＪＰＥＧ２０００や映像符号化規格のＨ．２６１、Ｈ．２６３、Ｈ．２６４／ＡＶＣ、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４など、規格化あるいは特許取得されている画像標準または映像標準にしたがった画像符号化部または映像符号化部である。このような符号化部は、一般に、画像データをより小さなブロックに細かく分割し、そのデータをブロックごとに線形変換（例えば、離散コサイン変換）によって変換してから、変換したデータをエントロピー符号化部によって効率的に符号化するといった動作を行う。動き補償や空間予測など、他の技術を採用してもよい。これらすべての処理において、画像の輝度成分と色差成分とは、通常、別々に取り扱われる。

チャネル１４０から受信／取得したデータは、使用した符号化部１３０に対応する復号部１５０によって復号される。ＹＵＶ４：２：０フォーマットの画像データ１５１は、次に、アップサンプリング・補間部２２０及び色空間逆変換部１６０を備えるカラーフォーマット逆変換部２０２に入力され、失った画素を補間することによって、サブサンプリングされた色差成分を元のサイズにアップサンプリングする。次に、ＹＵＶ４：４：４カラーフォーマットの画像データ２２１を、色空間逆変換部１６０によって、ＲＧＢ色空間に逆変換した後、得られたＲＧＢ４：４：４カラーフォーマットの画像データ１６１をディスプレイ１７０に表示するか、印刷または格納する。

カラーフォーマット変換部２０１は、色空間変換部１２０と、フィルタリング・サブサンプリング部２１０とを含み、画像データの格納効率または符号化部１３０による画像データの符号化効率が高められるような前処理を画像データに施す。色空間変換を行うだけでは、１画素あたりの色要素の量は減少しないが、上述のようなサブサンプリング処理（ＹＵＶ４：４：４からＹＵＶ４：２：０にする処理）をすれば、１画素あたりの色要素の量は元の半分にまで減少する。画像コンテンツによっては、補間後にこのような減少があっても、人間の目ではほとんど知覚できない。特に、自然画像の場合、目立った劣化もなく、アップサンプリング・補間部２２０によって再構成することが可能である。一般に、ＹＵＶ色空間に変換する色空間変換部１２０では、残った色要素から輝度成分を減算することによって、既に色要素同士の相互相関度を下げている。

欧州特許出願公開第１１７６８３２号明細書

しかし、他の種類の色空間変換によれば、より良い結果が得られる可能性がある画像もある。ほとんどの場合は、固定型の補間フィルタで充分である。しかしながら、他の種類のフィルタを使用してフィルタリングした方が好都合なコンテンツを含む画像は、必ず存在するであろう。画像コンテンツによっては、サブサンプリングの後にアップサンプリングを行うと、アーチファクトが目立ってしまうことになる。画像再構成の質は、圧縮ゲインと同様、カラーフォーマット（色空間、サブサンプリング）次第で、かつ符号化対象の画像または映像の性質次第で、大きく変わってくる。さらに、今日ほとんどの映像符号化規格において用いられているＹＵＶ色空間は、符号化目的からすると必ずしも効率的なものではなく、符号化（圧縮）ゲインには限界がある。また、通常、アップサンプリングは、固定型補間フィルタを用いて行われるが、そのようにしてアップサンプリングされた画像には、目障りなばらつきが生じることがある。

本発明の目的は、上述の課題を解決し、各種画像コンテンツについて効率の良いカラーフォーマットの変換および逆変換を行う方法および装置を提供することである。

本発明の一形態に係る画像符号化方法は、カラー画像を符号化する。具体的には、前記カラー画像の色空間を第１の色空間から前記第１の色空間と異なる第２の色空間に変換して色空間変換済みカラー画像を生成する色空間変換ステップと、前記色空間変換済みカラー画像に含まれるサンプルの一部を除去してサブサンプリング済みカラー画像を生成するサブサンプリングステップと、前記サブサンプリング済みカラー画像を符号化して符号化済みカラー画像を生成する符号化ステップと、サンプルを補間するアップサンプリング処理に用いられるアップサンプリング係数を算出するアップサンプリング係数算出ステップと、色空間を前記第２の色空間から前記第１の色空間に逆変換するための色空間逆変換係数を算出する色空間逆変換係数算出ステップと、前記符号化済みカラー画像、前記アップサンプリング係数、及び前記色空間逆変換係数を出力する出力ステップとを含む。

上記構成のように、画像復号装置で用いるパラメータ（色空間逆変換係数及びアップサンプリング係数）を画像符号化装置で算出することにより、画像復号装置の複雑さが低減される。また、上記パラメータの算出に画像符号化装置でのみ利用可能な原画像（カラー画像）を利用することができるので、復号画像の品質が改善される。なお、サブサンプリング及びアップサンプリングにおける「サンプル」とは、例えば、画素値であってもよいし、色要素、より具体的には、各画素の色差成分であってもよい。

さらに、該画像符号化方法は、前記符号化済みカラー画像を復号して復号済みカラー画像を生成する復号ステップと、前記復号済みカラー画像のサンプルを補間して補間済みカラー画像を生成するアップサンプリングステップとを含む。そして、前記アップサンプリング係数算出ステップでは、前記復号済みカラー画像と前記色空間変換済みカラー画像との平均２乗誤差が最小となるように、前記アップサンプリング係数を算出してもよい。

さらに、該画像符号化方法は、前記補間済みカラー画像の色空間を前記第２の色空間から前記第１の色空間に逆変換して色空間逆変換済みカラー画像を生成する色空間逆変換ステップを含む。そして前記色空間逆変換係数算出ステップでは、前記色空間逆変換済みカラー画像と前記カラー画像との平均２乗誤差が最小となるように、前記色空間逆変換係数を算出してもよい。

画像データを符号化すると量子化ノイズが重畳されるので、符号化データを復号しても、符号化前の画像データと完全に同一の画像データを取得することはできない。そこで、色空間逆変換ステップは、単なる色空間変換ステップの逆処理ではなく、符号化の過程で重畳された量子化ノイズを除去する処理をも行う。つまり、色空間逆変換ステップで用いられる色空間逆変換係数は、符号化前及び復号後の画像の平均２乗誤差が最小となるように決定するのが望ましい。アップサンプリングステップについても同様である。

さらに、該画像符号化方法は、前記カラー画像の特性に基づいて色空間変換係数を算出する色空間予測ステップを含む。そして、前記色空間変換ステップでは、前記色空間予測ステップで算出された前記色空間変換係数に基づいて、前記カラー画像の色空間を前記第１の色空間から前記第２の色空間に変換し、前記出力ステップでは、さらに、前記色空間変換係数を出力してもよい。

さらに、該画像符号化方法は、前記アップサンプリング係数、前記色空間逆変換係数、及び前記色空間変換係数を含む補助情報を符号化して符号化済み補助情報を生成する補助情報符号化ステップを含む。そして、前記出力ステップでは、前記符号化済みカラー画像及び前記符号化済み補助情報を出力してもよい。

本発明の一形態に係る画像復号方法は、カラー画像を復号する。具体的には、符号化済みカラー画像、アップサンプリング係数、及び色空間逆変換係数を取得する取得ステップと、前記符号化済みカラー画像を復号して復号済みカラー画像を生成する復号ステップと、前記アップサンプリング係数を用いて前記復号済みカラー画像のサンプルを補間することにより、補間済みカラー画像を生成するアップサンプリングステップと、前記色空間逆変換係数を用いて前記補間済みカラー画像の色空間を前記第２の色空間から前記第１の色空間に逆変換することにより、カラー画像を生成する色空間逆変換ステップとを含む。

上記構成のように、画像符号化方法によって生成されたアップサンプリング係数及び色空間逆変換係数を用いてアップサンプリング処理及び色空間逆変換処理を実行することにより、符号化によって重畳された丸め誤差を除去することができる。また、上記の２処理を連続して実行することにより、処理を最適化することができる。

本発明の一形態に係る画像符号化装置は、カラー画像を符号化する。具体的には、前記カラー画像の色空間を第１の色空間から前記第１の色空間と異なる第２の色空間に変換して色空間変換済みカラー画像を生成する色空間変換部と、前記色空間変換済みカラー画像に含まれるサンプルの一部を除去してサブサンプリング済みカラー画像を生成するサブサンプリング部と、前記サブサンプリング済みカラー画像を符号化して符号化済みカラー画像を生成する符号化部と、サンプルを補間するアップサンプリング処理に用いられるアップサンプリング係数を算出するアップサンプリング係数算出部と、色空間を前記第２の色空間から前記第１の色空間に逆変換するための色空間逆変換係数を算出する色空間逆変換係数算出部と、前記符号化済みカラー画像、前記アップサンプリング係数、及び前記色空間逆変換係数を出力する出力部とを備える。

本発明の一形態に係る画像復号装置は、カラー画像を復号する。具体的には、符号化済みカラー画像、アップサンプリング係数、及び色空間逆変換係数を取得する取得部と、前記符号化済みカラー画像を復号して復号済みカラー画像を生成する復号部と、前記アップサンプリング係数を用いて前記復号済みカラー画像のサンプルを補間することにより、補間済みカラー画像を生成するアップサンプリング部と、前記色空間逆変換係数を用いて前記補間済みカラー画像の色空間を前記第２の色空間から前記第１の色空間に逆変換することにより、カラー画像を生成する色空間逆変換部とを備える。

本発明の一形態に係るプログラムは、コンピュータに、カラー画像を符号化させる。具体的には、前記カラー画像の色空間を第１の色空間から前記第１の色空間と異なる第２の色空間に変換して色空間変換済みカラー画像を生成する色空間変換ステップと、前記色空間変換済みカラー画像に含まれるサンプルの一部を除去してサブサンプリング済みカラー画像を生成するサブサンプリングステップと、前記サブサンプリング済みカラー画像を符号化して符号化済みカラー画像を生成する符号化ステップと、サンプルを補間するアップサンプリング処理に用いられるアップサンプリング係数を算出するアップサンプリング係数算出ステップと、色空間を前記第２の色空間から前記第１の色空間に逆変換するための色空間逆変換係数を算出する色空間逆変換係数算出ステップと、前記符号化済みカラー画像、前記アップサンプリング係数、及び前記色空間逆変換係数を出力する出力ステップとを含む。

本発明の他の形態に係るプログラムは、コンピュータにカラー画像を復号させる。具体的には、符号化済みカラー画像、アップサンプリング係数、及び色空間逆変換係数を取得する取得ステップと、前記符号化済みカラー画像を復号して復号済みカラー画像を生成する復号ステップと、前記アップサンプリング係数を用いて前記復号済みカラー画像のサンプルを補間することにより、補間済みカラー画像を生成するアップサンプリングステップと、前記色空間逆変換係数を用いて前記補間済みカラー画像の色空間を前記第２の色空間から前記第１の色空間に逆変換することにより、カラー画像を生成する色空間逆変換ステップとを含む。

本発明の一形態に係る集積回路は、カラー画像を符号化する。具体的には、前記カラー画像の色空間を第１の色空間から前記第１の色空間と異なる第２の色空間に変換して色空間変換済みカラー画像を生成する色空間変換部と、前記色空間変換済みカラー画像に含まれるサンプルの一部を除去してサブサンプリング済みカラー画像を生成するサブサンプリング部と、前記サブサンプリング済みカラー画像を符号化して符号化済みカラー画像を生成する符号化部と、サンプルを補間するアップサンプリング処理に用いられるアップサンプリング係数を算出するアップサンプリング係数算出部と、色空間を前記第２の色空間から前記第１の色空間に逆変換するための色空間逆変換係数を算出する色空間逆変換係数算出部と、前記符号化済みカラー画像、前記アップサンプリング係数、及び前記色空間逆変換係数を出力する出力部とを備える。

本発明の他の形態に係る集積回路は、カラー画像を復号する。具体的には、符号化済みカラー画像、アップサンプリング係数、及び色空間逆変換係数を取得する取得部と、前記符号化済みカラー画像を復号して復号済みカラー画像を生成する復号部と、前記アップサンプリング係数を用いて前記復号済みカラー画像のサンプルを補間することにより、補間済みカラー画像を生成するアップサンプリング部と、前記色空間逆変換係数を用いて前記補間済みカラー画像の色空間を前記第２の色空間から前記第１の色空間に逆変換することにより、カラー画像を生成する色空間逆変換部とを備える。

なお、本発明は、動画像符号化方法（装置）及び動画像復号方法（装置）として実現できるだけでなく、これらの機能を実現する集積回路として実現したり、そのような機能をコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

これらは、独立請求項に記載した特徴によって達成される。

好ましい実施の形態は、従属請求項の主題である。

本発明の手法は、カラーフォーマット変換側でカラーフォーマット逆変換パラメータを決定することと、そのカラーフォーマット逆変換パラメータを画像または映像の変換データと共に提供するものである。本発明は、さらに、逆変換側でカラーフォーマット逆変換パラメータを受信し、カラーフォーマット逆変換処理に使用することを特徴とする。

カラーフォーマット変換側でカラーフォーマット逆変換パラメータを決定する利点は、（非変換）カラー原画像およびその元のフォーマットに関する全情報を利用可能なことである。さらに、変換側でカラーフォーマット逆変換パラメータを決定することによって、復号装置の複雑さが低減されるとともに、符号化装置において利用可能である情報を考慮して各種カラーフォーマットの逆変換係数を選択することができるため、品質が改善される。

本発明の第１の態様として、カラー画像を第１カラーフォーマットから第２カラーフォーマットに変換するカラーフォーマット変換方法を提供する。この方法は、カラー画像を第１カラーフォーマットから第２カラーフォーマットに逆変換する処理に用いるカラーフォーマット逆変換係数を決定するステップを含む。カラー画像のカラーフォーマットとは、画像の色要素が格納されるときのフォーマットであり、例えば、色空間および／またはサブサンプリングが含まれる。ここで、色空間を特定する方法としては、例えば、その色空間が、規格化されているもの、および／または周知のものである場合には、その名称によって特定し、そうでない場合は、公知の色空間から指定の色空間に変換する係数によって特定する。サブサンプリングは、サブサンプリング・グリッドおよび１サンプルあたりのビット数によって特定される。繰り返しになるが、特定のカラーグリッドは、例えば、４：４：４（サブサンプリングをしていないことを示す）、４：２：０または４：２：２など、規格化されて名称が付いているものがあり、後者２つは、１色要素あたりのサンプル数同士の比率を表したものである。４：２：０サンプリングが行われるサンプルの正確な位置は、ずれることがあり、よって、復号部／逆変換部は、符号化部／変換部から得られたサンプリング・グリッドそのものに関する情報を一律に受信するということはしない。

本発明の第２の特徴として、カラー画像を第１カラーフォーマットから第２カラーフォーマットに変換するカラーフォーマット変換部を提供する。このカラーフォーマット変換部は、カラー画像を第２カラーフォーマットから第１カラーフォーマットに逆変換する処理に用いるカラーフォーマット逆変換係数を決定する決定手段を備える。変換済み画像と決定されたカラーフォーマット逆変換係数は、例えば、有線、無線を問わず、なんらかの形態のチャネルを通じて伝送される。また、変換済み画像と決定されたカラーフォーマット逆変換係数は、ＵＳＢスティックもしくはＤＶＤ、ＣＤ、ＢＤなどの光または磁気のハードディスクまたは媒体を含む、各種ストレージまたは媒体に格納されてもよい。変換済み画像と決定されたカラーフォーマット逆変換係数は、ともに符号化されてもよい。

カラーフォーマット逆変換係数の決定は、変換対象のカラー画像の性質に基づくことが好ましい。これによって、カラー画像の性質にしたがった逆変換係数の適応的な選択が可能になる。カラー画像を逆変換して画質が劣化するかどうかは、その画像の性質によるので、カラーフォーマット逆変換パラメータを適応的に選択することによって、逆変換後の画像の画質が改善される。

好ましくは、上記決定にあたり、変換済みカラー画像をさらに逆変換し、逆変換済み画像の性質および適用した変換処理に基づいて、カラーフォーマット逆変換係数を予測する。さらに、非変換原画像を利用可能にしておくと良い。逆変換済み画像を、場合によっては非変換画像も共に、利用可能としておくことで、逆変換パラメータを、逆変換済み画像の性質に応じて、かつ適用したカラーフォーマットの変換に応じて、適応的に選択することが可能になる。カラーフォーマット逆変換パラメータは、所定のコスト関数を用いた線形または非線形の最適化方法によって、予測される。具体的には、第１カラーフォーマットのカラー画像と逆変換済み画像の両方を利用可能である場合、これらカラー画像と逆変換済み画像間の平均２乗誤差を最小にして予測を行うことが好ましい。

好ましくは、カラーフォーマットの変換において、カラー画像の色空間を第１色空間から第２色空間に変換する。カラーフォーマット逆変換係数には、色空間逆変換係数が含まれ、色空間逆変換とは、カラー画像を第２色空間から第１色空間に変換することである。第１色空間および第２色空間は、それぞれ、周知の色空間のいずれかであってもよい。例えば、赤、緑、青のコンポーネントに基づく色空間（ＲＧＢ、ｓＲＧＢなど）、輝度成分および色差成分に基づく色空間（ＹＩＱ、ＹＵＶ、ＹＣｂＣｒなど）、色相および彩度に基づく色空間（ＨＳＶ、ＨＳＩなど）、ＣＭＹＫ、その他の色空間などが挙げられる。

但し、予測した色空間変換係数を使って、カラー画像を第１色空間から第２色空間に変換するカラーフォーマット変換の場合、第２色空間は、変換するカラー画像に基づいて色空間変換係数を予測することによって、適応的に決定された適応的色空間であることが好ましい。具体的には、色空間変換係数は、無相関変換、特に、カルーネンレーブ（Karhunen-Loeve）変換に基づいて予測される。無相関変換によって、色空間コンポーネント同士が無相関化される。得られた適応的色空間によって、画像を効率良く表示することが可能になる。同じ画質にして、固定的な色空間変換の場合よりも低いレートで同じ画質が得られる場合がある。このようにして、色空間逆変換係数の予測が可能となる。

好ましくは、カラーフォーマットの変換において、第１カラーフォーマットまたは第２色空間フォーマットのカラー画像をサブサンプリングし、サブサンプリングされたカラー画像は、入力されたカラー画像と比べてサンプルが少ない。具体的には、カラーフォーマット変換フィルタによって第１カラーフォーマットまたは第２色空間フォーマットのカラー画像をフィルタリングしてからサブサンプリングする。具体的には、ローパスフィルタによって、フィルタリングを行う。また、他のフィルタを使用することも可能である。ある種の性質を有する画像、例えば、エッジを多く含む画像に対しては、ローパスフィルタ以外のフィルタを使った方が良い場合がある。

カラーフォーマット逆変換係数には、ダウンサンプリングされたカラー画像のアップサンプリングに使用する補間フィルタの補間フィルタ係数が含まれることが好ましい。具体的には、補間フィルタ係数は、ウィナーフィルタ係数であると予測される。但し、平均２乗誤差以外の数値を最適化して補間フィルタ係数を予測することも可能であり、非線形フィルタを配置してもよいし、必ずしもアップサンプリング（逆変換）された画像を使用して予測しなければならないわけではない。

カラーフォーマット逆変換係数は、エントロピー符号化部で符号化されることが好ましい。エントロピー符号化部は、ハフマン（Huffman）符号、ゴロム（Golomb）符号、指数ゴロム（exponential Golomb）符号、算術符号、これら以外のエントロピー符号などの公知のエントロピー符号に対応するものであればよい。係数をエントロピー符号化することによって、その係数の伝送または媒体への格納に必要なレートを下げることが可能になる。

カラーフォーマット逆変換係数は、カラー画像またはカラー画像からなるビデオシーケンスのスライスごとに、個々に決定される構成であることが好ましい。これによって、変換対象の画像の性質だけでなく、その画像部分の性質に適応したカラーフォーマットの変換および／または逆変換が可能になる。スライス以外の単位、例えばマクロブロック、スライス以外のマクロブロック群、フィールド（インタレースの場合）、フレームなどを使用してもよい。

これに代えて、カラーフォーマット逆変換係数は、複数枚のカラー画像ごとに１度、決定されるものでもよい。複数枚のカラー画像とは、予め定めた一定の枚数でよく、伝送または格納に必要なデータ量を削減するために、例えば、画像の２枚目、３枚目、４枚目など、枚数ごとにカラーフォーマット逆変換係数を決定できるようにする。ビデオシーケンスが時間的に平滑である場合には、複数枚の画像ごとに変換および／逆変換パラメータを決定すれば、充分な品質ゲイン／符号化ゲインが得られる。但し、時間的な予測符号化メカニズムが適用される場合、およびピクチャ・グループのサイズが変化する場合には、例えば、ピクチャ・グループあたりのカラー画像（映像フレームなど）の枚数の変化に応じたカラーフォーマット逆変換係数にする方が良いこともある。画像の枚数は、時間的な平滑度、場面変化の発生頻度などのビデオシーケンスの性質に応じて選択することも可能である。

カラーフォーマット逆変換係数には、色空間逆変換に関連するものと、補間フィルタに関連するものがあり、色空間逆変換関連の係数を決定する頻度は、補間フィルタ関連の係数を決定する頻度よりも低いことが好ましい。これによって、適応度を測ることができ、場合によっては、例えば、ピクチャ・グループ内では、色空間を変換せずに維持する方が良いこともある。補間フィルタ係数を含むカラーフォーマット逆変換係数は、より急速に変化することがある。色空間逆変換関連の係数が決定されることになる画像の所定枚数を、補間フィルタリング関連の係数が決定される画像の所定枚数よりも少なくした別の構成にすることも可能である。しかし、補間フィルタリング関連の色空間逆変換係数を、色空間逆変換関連の色空間逆変換係数の決定頻度よりも低い頻度で決定してもよい。

カラーフォーマット変換の後、カラー画像からなるビデオシーケンスのカラー画像は、ＪＰＥＧ、ＪＰＥＧ２０００、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、Ｈ．２６４／ＡＶＣなどの画像または映像の符号化規格にしたがって、符号化されることが好ましい。他の映像符号化規格または特許取得済み映像符号化方法を同様に用いてもよい。カラー画像またはカラービデオシーケンスを符号化することによって、格納または伝送に必要なデータ量が減少する。一方、第２色空間への変換済み画像または映像データは、直接、格納または伝送可能である。

具体的には、映像符号化規格Ｈ．２６４／ＡＶＣを適用すると、カラーフォーマット逆変換係数は、Ｈ．２６４／ＡＶＣ補助的拡張情報（ＳＥＩ）メッセージに含まれた形態で提供される。これによって、本発明の構成がＨ．２６４／ＡＶＣ規格に準拠する。

本発明の別の特徴によれば、画像符号化方法および画像符号化装置において、上述のカラーフォーマットの変換と、カラーフォーマット変換後の画像圧縮とが含まれる。このような画像符号化装置または映像符号化装置は、本発明のカラーフォーマットの変換を必須または任意の特徴として実行するものであれば、規格化または特許取得されている画像符号化装置または映像符号化装置でよい。

本発明の他の特徴によれば、変換済みカラー画像を第２色空間から第１色空間に逆変換するカラーフォーマット逆変換方法が提供される。まず、第２カラーフォーマットへの変換済みカラー画像と共に、カラーフォーマット逆変換係数を取得し、取得したカラーフォーマット逆変換係数を用いて、変換済みカラー画像を第２カラーフォーマットから第１カラーフォーマットに逆変換する。

本発明のさらに他の特徴によれば、変換済みカラー画像を第２色空間から第１色空間に逆変換するカラーフォーマット逆変換部が提供される。逆変換部は、第２カラーフォーマットへの変換済みカラー画像と共に、カラーフォーマット逆変換係数を取得できる。さらに、逆変換部は、取得したカラーフォーマット逆変換係数を用いて、変換済みカラー画像を第２カラーフォーマットから第１カラーフォーマットに逆変換できる。変換済み画像とカラーフォーマット逆変換係数とを取得するには、例えば、有線、無線を問わず、なんらかの形態のチャネルから、それらを受信する。また、変換済み画像とカラーフォーマット逆変換係数は、ＵＳＢスティックもしくはＤＶＤ、ＣＤ、ＢＤなどの光または磁気のハードディスクまたは媒体を含む、各種のストレージから読み出され、取得されるものであってもよい。変換済み画像と決定されたカラーフォーマット逆変換係数は、ともに符号化されてもよい。

好ましくは、カラーフォーマットの逆変換は、カラー画像の色空間を第２色空間から第１色空間に変換することを含む。第１色空間および第２色空間は、それぞれ、ＲＧＢ、ＹＵＶ、ＨＩＳなどの公知の色空間のいずれかであってよい。カラーフォーマット逆変換係数は、色空間逆変換係数を含むことが好ましい。具体的には、変換対象のカラー画像に基づいて色空間変換係数を予測することによって、第２色空間が適応的に決定される。具体的には、色空間変換係数は、無相関変換、特に、カルーネンレーブ（Karhunen-Loeve）変換に基づいて予測される。

好ましくは、カラーフォーマットの逆変換は、変換済みカラー画像をアップサンプリングし、アップサンプリングされた画像は、入力された変換済みカラー画像と比べてサンプルが少ない。

具体的には、アップサンプリングは、補間フィルタリングによって行われ、補間フィルタ係数はカラーフォーマット逆変換係数に含まれる。補間フィルタ係数を取得することで、受け取った係数による適応的補間フィルタリングが可能になり、例えば、後処理方法によって、復号部を複雑化することなく、品質ゲインが得られるようになる。具体的には、補間フィルタ係数は、ウィナーフィルタ係数である。しかし、他のフィルタリングおよびフィルタ係数決定方法を採用することも可能である。

カラーフォーマット逆変換係数は、取得されるときにエントロピー復号されることが好ましい。

本発明の好適な構成によれば、カラーフォーマット逆変換係数は、カラー画像またはカラー画像からなるビデオシーケンスのスライスごとに、個々に決定される。

これに代えて、カラーフォーマット逆変換係数は、複数枚のカラー画像ごとに１度、取得されるものでもよい。

カラーフォーマット逆変換係数には、色空間逆変換に関連するものと、補間フィルタに関連するものがあり、色空間逆変換関連の係数が取得される頻度は、補間フィルタ関連の係数よりが取得される頻度よりも低いことが好ましい。

第２色空間への変換済み画像は、取得されるときに、ＪＰＥＧ、ＪＰＥＧ２０００、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、Ｈ．２６４／ＡＶＣなどの画像または映像の符号化規格にしたがって、復号されることが好ましい。

具体的には、映像符号化規格Ｈ．２６４／ＡＶＣを適用すると、カラーフォーマット逆変換係数（フィルタ係数および／または色空間逆変換係数）は、Ｈ．２６４／ＡＶＣ補助的拡張情報（ＳＥＩ）メッセージに含まれた形態で取得される。

本発明のさらに他の特徴によれば、上述のような、取得画像の伸張と、伸張画像のカラーフォーマットの逆変換とを含む画像復号方法および画像復号装置が提供される。

上記構成のように、復号装置で用いるパラメータ（色空間逆変換係数及びアップサンプリング係数）を符号化装置で算出することにより、復号装置の複雑さが低減される。また、上記パラメータの算出に符号化装置でのみ利用可能な原画像（カラー画像）を利用することができるので、復号画像の品質が改善される。

図１は、色空間変換を含む、従来技術による画像カラーフォーマットまたは映像カラーフォーマットの変換および逆変換を説明するブロック図である。 図２は、色空間変換およびフィルタリングによるサブサンプリング／アップサンプリングを含む、従来技術による画像カラーフォーマットまたは映像カラーフォーマットの変換および逆変換を説明するブロック図である。 図３は、本発明が画像伝送システムの構成要素である場合の一実施形態に係るカラーフォーマットの変換および逆変換を説明するブロック図である。 図４Ａは、本発明の一実施形態に係るカラーフォーマットの変換を説明するブロック図である。 図４Ｂは、本発明の一実施形態に係るカラーフォーマットの逆変換を説明するブロック図である。 図５は、本発明の一実施形態に係る適応的色空間のサンプリングを示す略図である。 図６Ａは、本発明の他の実施形態に係るカラーフォーマットの変換を説明するブロック図である。 図６Ｂは、本発明の他の実施形態に係るカラーフォーマットの逆変換を説明するブロック図である。 図７Ａは、図６Ａに示される画像符号化装置の動作を示すフローチャートである。 図７Ｂは、図６Ｂに示される動画像復号装置の動作を示すフローチャートである。 図８Ａは、本発明のさらに他の実施形態に係るカラーフォーマットの変換を説明するブロック図である。 図８Ｂは、本発明のさらに他の実施形態に係るカラーフォーマットの逆変換を説明するブロック図である。 図９は、本発明のさらに他の実施形態に係るカラーフォーマットの変換および逆変換を説明するブロック図である。

本願に関し、上述の目的および特徴とその他の目的および特徴とを、付随する図面を参照しながら、後述の記述および好ましい実施の形態において、より明確にする。

本発明は、複数の色要素からなるカラー画像のカラーフォーマットの変換および逆変換に関する。これらの要素は、任意の色空間に属するものであってよい。１コンポーネントあたりのサンプル数は、必ずしも同じとは限らない。一般に、画像のフォーマット、すなわち、特定の色空間およびサンプリングは、ソースによって左右される。大抵の場合、カメラで撮像された画像がこのカメラから出力されるとき、各コンポーネントのサンプルが通常は同数である赤、緑、青の３種類のコンポーネントからなるＲＧＢフォーマットで出力され、サンプルあたりのビット数が同じ、典型的には８または１６のＲＧＢ４：４：４カラーフォーマットになる。

カラーフォーマット変換の目的は、カラー画像を元の第１カラーフォーマット（すなわち、色要素がカラーフォーマット変換部に入力されるときのフォーマット）を別のフォーマットに変換することである。ここでいうフォーマットとは、色空間および／またはサンプリング方法のことである。

上述の従来技術において、カラーフォーマットの変換は固定的である。つまり、変換対象の画像の画像コンテンツに関わらず、色空間変換および／または、場合によって、フィルタリングおよびサブサンプリングが同じように行われるということである。色空間変換とフィルタリングおよびサンプリングとは、両方とも、大半の典型的な画像に対して効率良く作用するように設計されている。この効率の良さには、２つの意味がある。１つ目は、色空間変換は、特定の色要素同士の相関度を下げることを目的としているということである。この目的は、１つの輝度成分と２つの異なる色差成分とからなるＹＵＶ色空間で達成される。このような色空間の色差成分は、輝度成分よりも平滑なので、後でサブサンプリングを行うことができ、このようなレートの低減による歪みが小さくなる。２つ目は、例えば圧縮などの別の符号化ステップが実行される場合、入力画像のフォーマット次第で、生じる歪みに対する圧縮ゲインが異なるということである。適切なカラーフォーマット変換が行われた画像であれば、より効率良く圧縮することができる。すなわち、より高い圧縮ゲインが得られる。したがって、従来の固定的かつ独立的なカラーフォーマットの変換および逆変換を行っていたのでは、符号化効率に限界がある。

本発明は、カラーフォーマット変換側でカラーフォーマット逆変換係数を決定し、そのカラーフォーマット逆変換係数を符号化データと共に提供することによって、より効率の良いカラーフォーマットの変換および逆変換を可能にする。

図３は、本発明が映像伝送システムの構成要素である場合の一実施形態に係る画像符号化装置１０及び画像復号装置２０を示す。

図３に示される画像符号化装置１０は、カラーフォーマット変換部３１０と、決定部（色空間予測部）３２０と、符号化部１３０とを少なくとも備える。この画像符号化装置１０は、カメラ１１０から取得した原画像データ（カラー画像）１１１を符号化して符号化済みカラー画像を生成する。なお、カメラ１１０は、画像符号化装置１０に接続される外部装置であってもよいし、画像符号化装置１０の一構成要素であってもよい。以降の実施形態についても同様である。

カメラ１１０は、ＲＧＢ色空間（ＲＧＢ４：４：４カラーフォーマット）において、それぞれ同数のサンプルを有する３種類の色要素からなる原画像データ（ビデオフレーム）１１１のシーケンスを提供する。ベイヤーパターンなどの異なるサンプリング・グリッドであってもよい。原画像データ１１１は、カラーフォーマット変換部３１０に入力され、そこで第１カラーフォーマットから第２カラーフォーマットの画像データ３１１に変換される。原画像データ１１１は、決定部３２０にも入力されてよい。決定部３２０は、カラーフォーマット逆変換部３３０において使用されるカラーフォーマット逆変換係数３２１を決定することができる。決定されたカラーフォーマット逆変換係数３２１は、第２カラーフォーマット変換済みの画像データ３１１と共に供される。

カラーフォーマット変換済みの画像データ３１１は、符号化部１３０、本実施の形態においてはＨ．２６４／ＡＶＣビデオ・エンコーダによって、さらに符号化可能である。なお、符号化部１３０は、例えば、画像データを直交変換する直交変換部（図示省略）と、画像データを量子化する量子化部（図示省略）と、可変長符号化する可変長符号化部（図示省略）とを備える。また、動き補償部（図示省略）や空間予測部（図示省略）等をさらに備えてもよい。

そして、符号化データは、カラーフォーマット逆変換係数３２１を含む符号化補助情報を伴い、チャネル１４０を通じて伝送される。目標用途の要件にしたがったものであれば、チャネル１４０は、無線、有線を問わず、どのような形態であってもよく、伝送形式は、ユニキャスト、マルチキャスト、ブロードキャストのいずれであってもよい。

図３に示される画像復号装置２０は、復号部１５０と、カラーフォーマット逆変換部３３０とを少なくとも備える。この画像復号装置２０は、チャネル１４０を介して画像符号化装置１０から取得した符号化データを復号して、ディスプレイ１７０に表示する。なお、ディスプレイ１７０は、画像復号装置２０に接続される外部装置であってもよいし、画像復号装置２０の一構成要素であってもよい。以降の実施形態についても同様である。

符号化データは、復号部１５０で受信されて復号された後、カラーフォーマット逆変換部３３０に供される。なお、復号部１５０は、例えば、符号化データを可変長復号する可変長復号部（図示省略）と、逆量子化を行う逆量子化部（図示省略）と、逆直交変換を行う逆直交変換部（図示省略）とを備える。また、動き補償部（図示省略）や空間予測部（図示省略）等をさらに備えてもよい。

復号部１５０は、符号化部１３０とは逆の処理を行う。本実施の形態において、復号部１５０は、Ｈ．２６４／ＡＶＣデコーダである。カラーフォーマット逆変換係数３２２は、カラーフォーマット逆変換部３３０にも供される。そして、カラーフォーマット逆変換部３３０において、受信したカラーフォーマット逆変換係数３２２は、画像データ３１２の逆変換に用いられる。その後、得られた画像データ３３１をディスプレイ１７０に表示してもよい。

本実施の形態において、カメラ１１０は、ビデオカメラである。しかし、静止画像のみを撮影するカメラであってもよい。カメラ１１０は、ＲＧＢ４：４：４フォーマット以外のフォーマット、例えばモザイク状になった元のデータのフォーマット、ＹＵＶフォーマット、または他のカラーフォーマットで、画像を出力してよいが、この場合は、出力される色要素のサンプルおよび深度は、必ずしも同じにはならない。カラーフォーマット逆変換係数３２２は、色空間変換、ならびに／またはフィルタリングおよび／もしくはサブサンプリングを行うごとに、決定されてもよい。チャネル１４０経由のデータの伝送または記憶媒体へのデータの格納は、画像データごとに分けて行ってもよく、カラーフォーマット逆変換係数３２２を含む補助情報ごとに分けて行ってもよい。カラーフォーマット逆変換係数３２２は、対応する画像データと共に格納または伝送され、これに加えて／これに代えて、対応する画像データで多重化される。符号化および復号を行う場合、Ｈ．２６４／ＡＶＣ規格に限定されることなく、例えば、ＪＰＥＧ、ＪＰＥＧ２０００、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６１、Ｈ．２６３、ＤＩＲＡＣ、その他、規格化あるいは特許取得されている符号化および復号メカニズムなどの画像データ圧縮規格または映像データ圧縮規格のうち、いずれであってもよい。カラーフォーマットの逆変換を行った後に、画像データは、各種端末にあるＣＲＴ、ＯＬＥＤ、ＬＣＤなどの各種ディスプレイに表示されてもよく、印刷または格納されてもよい。

図４Ａ及び図４Ｂは、本発明の他の実施形態に係るカラーフォーマット変換部４００およびカラーフォーマット逆変換部４８０を備える伝送チェーン回路を示すブロック図である。ここで、図４Ａは送信側の画像符号化装置１０を示し、図４Ｂは受信側の画像復号装置２０を示す。

図４Ａに示される画像符号化装置１０は、カラーフォーマット変換部４００と、符号化部１３０と、色空間予測部４３０と、係数予測部４４０と、復号部４５０と、係数符号化部４６０とを備える。また、カラーフォーマット変換部４００は、色空間変換部４１０と、フィルタリング・サブサンプリング部４２０とを備え、さらに、色空間予測部４３０を含めてもよい。

ビデオカメラ１１０は、ＲＧＢ４：４：４カラーフォーマットの原画像データ１１１を提供する。ＲＧＢ４：４：４カラーフォーマットの原画像データ１１１の色要素は、それぞれＲ、Ｇ、Ｂと称される。カラーフォーマット変換部４００は、色空間変換マトリクスを予測するための色空間予測部４３０を備える。ここでは、ＲＧＢ４：４：４カラーフォーマットの原画像データ１１１の統計値（例えば、第１モーメントおよび第２モーメント）などの性質に基づいて、予測が行われる。次に、予測した色空間変換マトリクスを用いて、原画像データ１１１をＲＧＢ４：４：４カラーフォーマットから新たな色空間である適応的色空間（ＡＣＳ）に変換する。得られたＡＣＳ画像データ４１１は、４：４：４サンプリングフォーマットのままである。色空間変換部４１０では、予測目的に応じて、様々な基準が用いられてよい。基準の１つとしては、ＡＣＳ色空間の３種類の色要素Ａ、Ｃ、Ｓの無相関化が挙げられる。カルーネンレーブ（Karhunen-Loeve）変換によれば、３種類のＲＧＢ色要素から、相互に無相関な３種類のＡＣＳ色要素を生成できる。このようにすることは、例えば、３種類の色要素を個別に符号化する符号化部の場合、都合が良い。得られたＡＣＳ色空間の映像データは、その後、例えばＩＳＯで規定されているようなローパスフィルタによって、低域フィルタリングされてダウンサンプリングされる。なお、別のフィルタを使うことも可能である。

まず、式１のように、無相関色成分Ａ、Ｃ、Ｓを生成するカルーネンレーブ（Karhunen-Loeve）変換の変換マトリクスＴ_ＫＬＴが、色空間予測部４３０によって決定される。Ｔ_ＫＬＴは最適に相関を軽減する直交変換であり、変換後の座標系における任意の軸間の相関を完全に無くすことができる。このことは、冗長性が最も少ない座標系へ信号が変換されていることを意味し、圧縮のための直交変換として最適とされている。

ここで、ｘおよびｙは、特定の空間サンプルを示す色要素のインデックスである。色要素Ａ、Ｃ、Ｓで構成される色空間が適応的色空間である。これを適応的と称する所以は、カラー画像データまたはカラー映像データの性質に適応するからである。例えば、変換マトリクスＴ_ＫＬＴを決定するにあたり、カラー画像の統計的性質が利用される。

変換マトリクスＴ_ＫＬＴは、その後、色空間変換部４１０での色空間変換に使用される。また、色空間変換部４１０では、式２のスケーリング・平均化調整が行われる。

ここで、係数ｍ_ＡはＡの平均値であり、係数ｍ_ＣはＣの平均値であり、係数ｍ_ＳはＳの平均値である。これらの平均値はすべて、色空間予測によって決定される。スケーリング係数ｓ_Ａは、以下の式３にしたがって、Ａ´のダイナミック・レンジを調整する。

スケーリング係数ｓ_Ｃは、以下の式４にしたがって、Ｃ´のダイナミック・レンジを調整する。

スケーリング係数ｓ_Ｓは、以下の式５にしたがって、Ｓ´のダイナミック・レンジを調整する。

パラメータｂ_Ａは色要素Ａ´のサンプル表示用ビット数であり、パラメータｂ_Ｃは色要素Ｃ´のサンプル表示用ビット数であり、パラメータｂ_Ｓは色要素Ｓ´のサンプル表示用ビット数である。スケーリング係数はすべて、色空間予測部４３０において決定される。

色空間変換部４１０で色空間変換を行った後、例えば、非特許文献１：ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ Ｎ６２９５「Color format down-conversion for test sequence generation」（テストシーケンス生成用カラーフォーマット・ダウンサンプリング）にしたがって、色要素Ｃ´、Ｓ´をフィルタリング・サブサンプリング部４２０でフィルタリングしてサブサンプリングすると、色要素Ｃ´´、Ｓ´´となり、カラーフォーマットはＡＣＳ４：２：０になる。図５は、ＲＧＢ色空間およびＡＣＳ色空間の色要素のサンプリング・グリッドを示す。ＡＣＳ色空間のサンプル位置は、Ｈ．２６４／ＡＶＣ規格の規定にしたがって選択される。

次に、色要素Ａ´、Ｃ´´、Ｓ´´を次の整数に丸めることにより、それぞれ［０；２^ｂＡ−１］、[０；２^ｂＣ−１]、［０；２^ｂＳ−１］の値域にする。

これら適応的色空間の丸められた色要素Ａ´、Ｃ´´、Ｓ´´で表現された画像データ４２１は、さらに、符号化部１３０において符号化される。本実施の形態においては、符号化部１３０は、Ｈ．２６４／ＡＶＣ規格に準拠した符号化部である。

カラーフォーマット変換側においても、Ｈ．２６４／ＡＶＣの復号部４５０で符号化データ１３１を復号する。符号化部１３０が非可逆圧縮を行った場合、画像復号実施後の画像データ４５１は、画像符号化実施前の画像データ４２１とは異なってよい。

復号すると、色要素Ａ´´、Ｃ´´´、Ｓ´´´で表現された画像データ４５１が得られる。次に、色空間変換係数ｓ_Ａ、ｓ_Ｃ、ｓ_Ｓ、ｍ_Ａ、ｍ_Ｃ、ｍ_Ｓを用いて、係数予測部４４０で残りのカラーフォーマット逆変換係数を予測する。

ＡＣＳ４：２：０カラーフォーマットの復号映像データは、次のように、ＲＧＢ４：４：４カラーフォーマットの復号映像データに変換される。第１ステップとして、以下の式６にしたがい、スケーリング・平均化調整を行う。

第２ステップでは、ＲＧＢ４：４：４カラーフォーマットの復号画像データを算出する。この復号画像データの３種類の色要素は、Ｒ^〜、Ｇ^〜、Ｂ^〜と称される。ここで、記号「^〜（チルダ）」は、それぞれ直前の文字の上に付される記号を示し、本明細書では、以下、記号「^〜（チルダ）」を同様な意味で使用する。ｘ＝０，２，４・・・、ｙ＝０，２，４・・・の位置にあるＲ^〜、Ｇ^〜、Ｂ^〜を算出するには、以下の式７を用いる。

フィルタ長ｎとフィルタ係数ｗ_1,A,R、ｗ_1,A,G、ｗ_1,A,B、ｗ_1,C,R(i)、ｗ_1,C,G(i)、ｗ_1,C,B(i)、ｗ_1,S,R(i)、ｗ_1,S,G(i)、ｗ_1,S,B(i)は、係数予測部４４０で予測される逆変換係数である。ｘ＝０，２，４・・・、ｙ＝１，３，５・・・の位置にあるＲ^〜、Ｇ^〜、Ｂ^〜を算出するには、以下の式８を用いる。

ｘ＝１，３，５・・・、ｙ＝０，２，４・・・の位置にあるＲ^〜、Ｇ^〜、Ｂ^〜を算出するには、以下の式９を用いる。

フィルタ係数ｗ_2,A,R、ｗ_2,A,G、ｗ_2,A,B、ｗ_2,C,R（i,j）、ｗ_2,C,G(i,j)、ｗ_2,C,B(i,j)、ｗ_2,S,R(i,j)、ｗ_2,S,G(i,j)、ｗ_2,S,B(i,j)は、係数予測部４４０で予測される逆変換係数である。ｘ＝１，３，５・・・、ｙ＝１，３，５・・・の位置にあるＲ^〜、Ｇ^〜、Ｂ^〜を算出するには、以下の式１０を用いる。

次に、色要素Ｒ^〜、Ｇ^〜、Ｂ^〜を次の整数に丸めることにより、それぞれ元のＲ、Ｇ、Ｂ色要素の値域にする。

本実施の形態において、逆変換係数は、色空間変換係数であるｓ_Ａ、ｓ_Ｃ、ｓ_Ｓ、ｍ_Ａ、ｍ_Ｃ、ｍ_Ｓ、およびフィルタ係数であるｗ_1,A,R、ｗ_1,A,G、ｗ_1,A,B、ｗ_1,C,R(i)、ｗ_1,C,G(i)、ｗ_1,C,B(i)、ｗ_1,S,R(i)、ｗ_1,S,G(i)、ｗ_1,S,B(i)、ｗ_2,A,R、ｗ_2,A,G、ｗ_2,A,B、ｗ_2,C,R（i,j）、ｗ_2,C,G(i,j)、ｗ_2,C,B(i,j)、ｗ_2,S,R(i,j)、ｗ_2,S,G(i,j)、ｗ_2,S,B(i,j)である。

元の色要素Ｒ、Ｇ、Ｂと、復号済み色要素Ｒ^〜、Ｇ^〜、Ｂ^〜との間の平均２乗誤差を最小にすることにより、フィルタ係数を予測する。この基準によって、すべてのフィルタ係数を確実に算出できる。

カラーフォーマット逆変換係数の伝送に必要なデータレートを下げるために、これらの係数は、例えば、ハフマン（Huffman）符号化、ゴロム（Golomb）符号化、指数ゴロム（exponential Golomb）符号化、算術符号化、または、これら以外の可変長符号化方法によって、係数符号化部４６０で符号化され、符号化カラーフォーマット逆変換係数４６１としてチャネル１４０から出力される。また、必要に応じて、チェックサムまたは前方誤り訂正符号化によるデータ保護も可能である。

符号化データ４０１および符号化カラーフォーマット逆変換係数４０２は、チャネル１４０を通じて伝送され、画像復号装置２０に受信される。図４Ｂに示される画像復号装置２０は、復号部４７０と、カラーフォーマット逆変換部４８０と、係数復号部４９０とを備える。

符号化カラーフォーマット逆変換係数４０２は、係数復号部４９０で復号され、カラーフォーマット逆変換係数４９１がカラーフォーマット逆変換部４８０に供される。受信した符号化データ４０１は、Ｈ.２６４／ＡＶＣの復号部４７０で復号され、復号された画像データ４７１がカラーフォーマット逆変換部４８０に供される。そして、上述のように、受信したカラーフォーマット逆変換係数４９１を用いてカラーフォーマット逆変換を行う。アップサンプリングと色空間逆変換は、本実施の形態では、カラーフォーマット逆変換の単一ステップにおいて行われているが、別々に行われてもよい。また、アップサンプリングおよび色空間逆変換のいずれか一方のみを行うことも可能である。このような場合、色空間逆変換用とアップサンプリング用で別々の係数が必要になる場合がある。その後、丸められた色要素Ｒ^〜、Ｇ^〜、Ｂ^〜で表現された画像データ４８１は、ディスプレイ１７０に送られる。

図６Ａ及び図６Ｂは、本発明の他の実施形態に係るカラーフォーマットの変換および逆変換を備える伝送チェーン回路を示すブロック図である。ここで、図６Ａは送信側の画像符号化装置１０を示し、図６Ｂは受信側の画像復号装置２０を示す。また、図７Ａは図６Ａの画像符号化装置１０の動作を、図７Ｂは図６Ｂの画像復号装置２０の動作を示すフローチャートである。

図６Ａに示される画像符号化装置１０は、カラーフォーマット変換部６００と、符号化部１３０と、復号部４５０と、色空間予測部６３０と、補間フィルタ係数予測部６４０と、色空間逆変換予測部６５０と、アップサンプリング・補間部６６０と、補助情報符号化部６７０とを備える。また、カラーフォーマット変換部６００は、色空間変換部６１０と、フィルタリング・サブサンプリング部６２０とを備える。

色空間予測部６３０は、カメラ１１０から取得した原画像（カラー画像）１１１の特性に基づいて色空間変換係数を算出する。色空間変換部６１０は、色空間予測部６３０で算出された色空間変換係数に基づいて原画像データ１１１の色空間を第１の色空間から第１の色空間と異なる第２の色空間に変換して色空間変換済みカラー画像を生成する。フィルタリング・サブサンプリング部６２０は、色空間変換済みカラー画像に含まれるサンプルの一部を除去してサブサンプリング済みカラー画像を生成する。

符号化部１３０は、サブサンプリング済みカラー画像を符号化して符号化済みカラー画像を生成する。復号部４５０は、符号化済みカラー画像を復号して復号済みカラー画像を生成する。アップサンプリング・補間部６６０は、復号済みカラー画像のサンプルを補間して補間済みカラー画像を生成する。

補間フィルタ係数予測部６４０は、サンプルを補間するアップサンプリング処理に用いられるアップサンプリング係数を算出する。より具体的には、復号済みカラー画像と前記色空間変換済みカラー画像との平均２乗誤差が最小となるように、アップサンプリング係数を算出する。

色空間逆変換予測部６５０は、色空間を第２の色空間から第１の色空間に逆変換するための色空間逆変換係数を算出する。具体的には、補間済みカラー画像の色空間を第２の色空間から第１の色空間に逆変換して色空間逆変換済みカラー画像を生成する。そして、色空間逆変換済みカラー画像とカラー画像との平均２乗誤差が最小となるように、色空間逆変換係数を算出する。

補助情報符号化部６７０はアップサンプリング係数、色空間逆変換係数、及び色空間変換係数を含む補助情報を符号化して符号化済み補助情報を生成する。そして、当該画像符号化装置１０は、符号化済みカラー画像及び符号化済み補助情報をチャネル１４０に出力する。

ここでは、色空間逆変換の逆変換係数と補間フィルタリングの逆変換係数とを別々に予測する。これに応じて、逆変換側でも、アップサンプリングおよび補間フィルタリングは、色空間逆変換とは別に行われる。図６Ａ及び図７Ａを参照して、画像符号化装置１０の動作を説明する。

図４Ａ及び図４Ｂに示した処理と同様、カメラ１１０はＲＧＢ４：４：４フォーマットの原画像データ１１１を提供する（Ｓ１１）。この原画像データ１１１は、色空間予測部６３０での色空間予測に用いられ、そこで変換マトリクスＴ_ＫＬＴが決定される。そして、予測された変換が行われると、入力された原画像データ１１１の色空間は、色空間変換部６１０で決定された変換に応じた適応的色空間の画像データ６１１に変換される（Ｓ１２）。ＡＣＳ４：４：４カラーフォーマットに色空間変換された画像データ６１１は、次に、フィルタリング・サブサンプリング部６２０でフィルタリングおよびサブサンプリングされて、ＡＣＳ４：２：０カラーフォーマットの画像データ６２１になる（Ｓ１３）。ＡＣＳ４：４：４カラーフォーマットの画像データ６２１は、Ｈ．２６４／ＡＶＣの符号化部１３０で符号化され（Ｓ１４）、符号化データ６２２として復号部４５０に送られる（Ｓ１５）。

復号後、得られたデータは補間フィルタ係数予測部６４０に用いられる（Ｓ１６）。補間フィルタはウィナーフィルタであると予測されることがある。この場合は、アップサンプリングおよび補間が行われたＡＣＳ４：２：０カラーフォーマットの復号画像データと、ＡＣＳ４：４：４カラーフォーマットの画像データ６１１との間の平均２乗誤差を最小にすることにより、フィルタ係数を予測する。その他の予測基準も可能である。例えば、データレートおよび平均２乗誤差のラグランジュ・コスト（Lagrangian costs）を最小にすることもできる。画像データは、アップサンプリング・補間部６６０で予測されたフィルタ係数を用いてアップサンプリングされて補間される。また、アップサンプリングされた画像データは、色空間逆変換予測部６５０での色空間逆変換の予測にも用いられる（Ｓ１７）。色空間逆変換予測部６５０は、ＡＣＳ４：４：４カラーフォーマットの復号画像データおよびＲＧＢ４：４：４カラーフォーマットの原画像データ１１１だけでなく、色空間予測部６３０によって予め決定されている色空間変換パラメータも用いて、予測を行う。これによって、色空間逆変換係数は、ＲＧＢ４：４：４カラーフォーマットの復号画像データと、ＲＧＢ４：４：４カラーフォーマットの原画像データとの間の平均２乗誤差を最小にすることにより、予測されてもよい。そして、補間フィルタ係数および色空間逆変換係数は、補助情報符号化部６７０で符号化され（Ｓ１８）、符号化補助情報６７１として符号化データ６２２と共に伝送される（Ｓ１９）。

受信側の画像復号装置２０は、図６Ｂに示されるように、復号部４７０と、補助情報復号部６７５と、アップサンプリング・補間部６８０と、色空間逆変換部６９０とを備える。この画像復号装置２０は、チャネル１４０を通じて、符号化済みカラー画像、及び符号化済み補助情報を取得する。復号部４７０は、符号化済みカラー画像を復号して復号済みカラー画像を生成する。補助情報復号部６７５は、符号化済み補助情報を復号して復号済み補助情報を生成する。

アップサンプリング・補間部６８０は、アップサンプリング係数を用いて復号済みカラー画像のサンプルを補間することにより、補間済みカラー画像を生成する。色空間逆変換部６９０は、色空間逆変換係数を用いて補間済みカラー画像の色空間を第２の色空間から第１の色空間に逆変換することにより、カラー画像を生成する。

図６Ｂ及び図７Ｂを参照して、画像復号装置２０の動作を説明する。まず、チャネル１４０を通じて、符号化データ６０１及び符号化補助情報６０２を取得する（Ｓ２１）。符号化データ６０１は、復号部４７０で復号されて画像データ６０３となる（Ｓ２２）。一方、符号化補助情報６０２は、補助情報復号部６７５で復号されて補間フィルタ係数６０４及び色空間逆変換係数６０５となる（Ｓ２３）。補間フィルタ係数６０４は、復号部４７０で符号化データ６０１から復号された画像データ６０３と共にアップサンプリング・補間部６８０に供される。この補間フィルタ係数６０４を用いて、画像データ６０３の補間フィルタリングが行われる（Ｓ２４）。その結果、ＡＣＳ４：４：４色空間の画像データが得られ、これを、色空間逆変換部６９０で色空間逆変換係数６０５を用いて、さらに色空間逆変換される（Ｓ２５）。そして、これによって得られた画像をディスプレイ１７０に表示する（Ｓ２６）。

本発明に係るカラーフォーマットの変換部および逆変換部の構成の他の例を図８Ａ及び図８Ｂに示す。ここで、図８Ａは送信側の画像符号化装置１０を示し、図８Ｂは受信側の画像復号装置２０を示す。

本実施の形態では、適応的色空間変換に代え、標準的な色空間変換部７１０で色空間変換を行う。ここでは、色空間変換部７１０によって、ＲＧＢ４：４：４カラーフォーマットがＹＵＶ４：４：４カラーフォーマットに変換されるが、他の色空間でもよい。

図８Ａに示される画像符号化部１０は、符号化部１３０と、復号部４５０と、色空間変換部７１０と、フィルタリング・サブサンプリング部７２０と、補間フィルタ係数予測部７３０と、補助情報符号化部７４０とを備える。

カメラ１１０によって提供された原画像データ１１１は、色空間変換部７１０によって、この例ではＹＵＶ４：４：４カラーフォーマットに変換される。得られた画像データ７１１は、次に、フィルタリング・サブサンプリング部７２０でフィルタリングおよびサブサンプリングされて、ＹＵＶ４：２：０フォーマットの画像データ７２１となり、これがその後、Ｈ．２６４／ＡＶＣの符号化部１３０で符号化される。符号化データ７２２は、次に、復号部４５０で復号され、補間フィルタ係数予測部７３０での補間フィルタ係数の予測に用いられる。この予測は、前述の実施の形態と同様、画像データ７１１と復号画像データとの間の平均２乗誤差を最小にすることにより、係数を予測するウィナーフィルタ予測であってもよい。また、他の線形または非線形予測方法を用いることも可能である。必要に応じて、ＲＧＢ以外の色空間、例えばＹＵＶ色空間における、補間フィルタ係数および色空間逆変換係数を最適化することも可能である。

予測された補間フィルタ係数７３１は、その後、補助情報符号化部７４０で符号化され、符号化補助情報７４１として符号化データ７２２と共に伝送される。

受信側の画像復号装置２０は、図８Ｂに示されるように、復号部４７０と、アップサンプリング・補間部７５０と、補助情報復号部７６０と、色空間逆変換部７７０とを備える。符号化データ７０１は、Ｈ．２６４／ＡＶＣの復号部４７０によって復号されて画像データ７０３となる。また、符号化データ７０１と共に受信した符号化補助情報７０２は、補助情報復号部７６０で復号されて補間フィルタ係数７０４となる。そして、アップサンプリング・補間部７５０は、画像データ７０３及び補間フィルタ係数７０４を用いて、アップサンプリング及び補間フィルタリングを行う。アップサンプリング後、標準的な色空間逆変換部７７０によって、ＹＵＶ４：４：４の画像データ７５１をＲＧＢ４：４：４色空間の画像データ７７１に変換する。その後、ＲＧＢ４：４：４の画像データ７７１をディスプレイ１７０に表示する。

図９は、本発明に係る他の実施の形態を示す。ここでは、カラーフォーマット変換部３１０および決定部３２０は画像符号化装置１０の構成要素であり、画像符号化装置１０は、画像圧縮部８３０をさらに備える。本発明に係るカラーフォーマットの変換は、例えば、Ｈ．２６４／ＡＶＣ、ＤＩＲＡＣ、ＪＰＥＧ２０００、それ以降の各規格などの画像規格または映像規格に、任意または必須の特徴として含ませてよい。また、特許製品であるビデオエンコーダの一部であってもよい。そして、圧縮映像と、圧縮映像の復号に必要な情報要素と、色空間逆変換パラメータとを含む符号化ビデオストリームの一部として、カラーフォーマット逆変換係数３２１を提供することが可能である。カラーフォーマット逆変換係数３２１は、ビデオデータ情報を含むパケットに含ませて送信されてもよく、補助情報として別のパケットで送信されてもよい。これによって、さらに、ゴロム（Golomb）符号、指数ゴロム（exponential Golomb）符号、算術符号化、ハフマン（Huffman）符号などのエントロピー符号、または、これら以外のエントロピー符号を用いて、カラーフォーマット逆変換パラメータを符号化してよい。使用するエントロピー符号は、映像データおよび／または映像データ関連の情報要素を符号化するのに用いたエントロピー符号に対応するものでもよく、色空間逆変換パラメータ用に特別に設計し、かつ、その統計値に適応させたエントロピー符号でもよい。

これに対応して、カラーフォーマット逆変換部３３０および画像伸張部８５０は、画像復号装置２０の構成要素である。カラーフォーマット逆変換係数３２２は、ビデオストリームの一部になっているか、別の補助情報になっているかは上記の画像符号化装置１０によって異なるが、画像／映像データと共にチャネル１４０から取得される。これらは、さらにエントロピー復号され、チャネル１４０から取得して画像伸張部８５０で伸張した画像データ３１２と共に、カラーフォーマット逆変換部３３０に供される。画像の伸張は、映像復号装置または画像復号装置の現在または未来の規格製品または特許製品によって、実行することが可能である。具体的には、復号部として、Ｈ．２６４／ＡＶＣ、ＤＩＲＡＣ、ＪＰＥＧ２０００が考えられる。

ここで、カラーフォーマットの変換および逆変換は、上記実施の形態のいずれかにしたがって行われればよく、色空間の変換、および／または補間フィルタリングの予測を含んでもよい。

本発明の他の実施形態によれば、また図９によれば、カラーフォーマット逆変換係数３２１は、チャネル１４０を通じて伝送されるとともに、画像圧縮部８３０に供される。同様に、受信側の画像復号装置２０において、チャネル１４０から取得されたカラーフォーマット逆変換係数３２２は、カラーフォーマット逆変換部３３０に供されるとともに、画像伸張部８５０にも供される。この特徴、つまりカラーフォーマット逆変換係数３２１を画像符号化装置１０および／または画像復号装置２０に供することは、言うまでもなく、図３、図４Ａ、図４Ｂ、図６Ａ、図６Ｂ、図８Ａ、および図８Ｂに示した上記実施の形態のいずれに適用してもよく、本発明の他の実施形態に適用してもよい。カラーフォーマット逆変換係数３２１を画像圧縮部８３０に供することは、画像圧縮部８３０において時間的な予測を行う場合、特に良い。例えば、予測フレームの色空間が参照フレームの色空間と異なるなど、同じピクチャ・グループ内で色空間が変化する場合には、予測を容易にするために、符号化装置で色空間の変換および逆変換を行う必要がある。そのためには、カラーフォーマット逆変換係数３２１が必要である。

同様に、画像復号装置２０側においても、同じピクチャ・グループ内でカラーフォーマットを変化させながら時間的な予測を行って符号化したビデオストリームを復号するには、カラーフォーマット逆変換係数３２２が画像伸張部８５０に供されなければならない。

上述の各構成は、画像データまたは映像データの異なる部分に適用可能である。例えば、カラーフォーマット逆変換係数は、マクロブロック、マクロブロック・グループ、スライス、フィールド、ピクチャ、ピクチャ・グループなど、画像または映像の一部分について、決定されるものであってよい。係数が決定される対象部分が小さいほど、入力画像に対しても、対象部分相互間においても、よく適応した変換および逆変換が行われる。一方、カラーフォーマット係数を伝送するには、レートを上げる必要があるので、場合によっては、係数を変更しないでおく映像部分の最適サイズを見つけるようにすることも可能である。この最適条件は、用途によって異なるものであっても、符号化設定によって異なるものであってもよい。係数が決定される部分は、固定とすることも、可変とすることも可能である。例えば、異なる色空間にすることで、および／または、補間を行うことで、画像／映像コンテンツが変化した場合など必要な場合にカラーフォーマット逆変換係数を送るようにしてもよい。

カラーフォーマット逆変換係数を決定および／または提供する頻度は、必ずしも、色空間係数および補間フィルタ係数の場合と同じである必要はない。映像の一部分、例えばピクチャ・グループ内では、色空間が変わらないのであれば、より小さな部分を補間およびサブサンプリングするためのパラメータを伝送した方が良いということもある。

映像の予測符号化（Ｈ．２６４／ＡＶＣ規定のもの等）の場合、現ピクチャの予測に使用する参照ピクチャを予測用に現ピクチャと同じ色空間に変換してもよい。

Ｈ．２６４／ＡＶＣの符号化装置および復号装置を用いる符号化方法の場合、カラーフォーマット変換係数は、Ｈ．２６４／ＡＶＣ規格のいわゆる補助的拡張情報（ＳＥＩ）メッセージによって伝送されてもよい。

ＣＣＤ／ＣＳＭＯカメラのサンプリング・グリッドが、ベイヤーパターンにしたがったサンプリング・グリッドなど、一般的な４：４：４サンプリング・グリッドでない場合には、同じ位置にあるＲＧＢサンプルもカラーフォーマット変換係数の予測に用いてよい。カメラ内にあるＲＧＢ信号の元のサンプリング・グリッドに関する情報も、符号化して受信器に送信することが可能である。ここでは、複数の所定のサンプリング・グリッドのうち、１つのサンプリング・グリッドを示すインジケータの符号化および伝送が可能である。また、サンプリング・グリッドに関する全情報の符号化および伝送も可能である。このことは、サンプリング・グリッドが規定のものでない場合に役立つ。

さらに、第１色空間から第２色空間に色空間変換を行う一方で、第２色空間から第１色空間に色空間を逆変換するためのカラーフォーマット逆変換係数を決定してもよい。この方法は、ディスプレイがカラーフォーマット変換入力データの色空間とは異なる色空間を使用しているときに、好都合な場合がある。

上述した実施の形態では、画像データまたは映像データの送信および受信について説明したが、これら全ての実施の形態は、格納および読み出しについても同様に参照されてよい。このような場合、チャネル１４０は、ハードディスク、光媒体、磁気媒体、ＵＳＢスティックなどのフラッシュメモリなどの記憶媒体である。

（その他変形例）
なお、本発明を上記各実施の形態に基づいて説明してきたが、本発明は、上記の各実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。

上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成要素部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

以上、図面を参照してこの発明の実施形態を説明したが、この発明は、図示した実施形態のものに限定されない。図示した実施形態に対して、この発明と同一の範囲内において、あるいは均等の範囲内において、種々の修正や変形を加えることが可能である。また、上述の各実施形態は、本発明の目的を逸脱しない範囲で、任意に組み合わせることができる。

本発明は、画像符号化方法（装置）及び画像復号方法（装置）に有利に利用される。

１０ 画像符号化装置
２０ 画像復号装置
１１０ カメラ
１１１ 原画像データ
１２０，４１０，６１０，７１０ 色空間変換部
１２１，１５１，１６１，２１１，２２１，３１１，３１２，３３１，４１１，４２１，４５１，４７１，４８１，６０３，６１１，６２１，７１１，７２１，７０３，７５１ 画像データ
１３０ 符号化部
１３１，４０１，６０１，６２２，７０１，７２２ 符号化データ
１４０ チャネル
１５０，４５０，４７０ 復号部
１６０，６９０，７７０ 色空間逆変換部
１７０ ディスプレイ
２０１，３１０，４００，６００ カラーフォーマット変換部
２０２，３３０，４８０ カラーフォーマット逆変換部
２１０，４２０，６２０，７２０ フィルタリング・サブサンプリング部
２２０，６６０，６８０，７５０ アップサンプリング・補間部
３２０ 決定部
３２１，３２２，４９１ カラーフォーマット逆変換係数
４０２，４６１ 符号化カラーフォーマット逆変換係数
４３０，６３０ 色空間予測部
４４０ 係数予測部
４６０ 係数符号化部
４９０ 係数復号部
６０２，６７１，７０２，７４１ 符号化補助情報
６０４，７０４，７３１ 補間フィルタ係数
６０５ 色空間逆変換係数
６４０，７３０ 補間フィルタ係数予測部
６５０ 色空間逆変換予測部
６７０，７４０ 補助情報符号化部
６７５，７６０ 補助情報復号部
８３０ 画像圧縮部
８５０ 画像伸張部

Claims (12)

1. カラー画像を符号化する画像符号化方法であって、
   前記カラー画像の色空間を第１の色空間から前記第１の色空間と異なる第２の色空間に変換して色空間変換済みカラー画像を生成する色空間変換ステップと、
   前記色空間変換済みカラー画像に含まれるサンプルの一部を除去してサブサンプリング済みカラー画像を生成するサブサンプリングステップと、
   前記サブサンプリング済みカラー画像を符号化して符号化済みカラー画像を生成する符号化ステップと、
   サンプルを補間するアップサンプリング処理に用いられるアップサンプリング係数を算出するアップサンプリング係数算出ステップと、
   色空間を前記第２の色空間から前記第１の色空間に逆変換するための色空間逆変換係数を算出する色空間逆変換係数算出ステップと、
   前記符号化済みカラー画像、前記アップサンプリング係数、及び前記色空間逆変換係数を出力する出力ステップとを含む
   画像符号化方法。
2. 該画像符号化方法は、さらに、
   前記符号化済みカラー画像を復号して復号済みカラー画像を生成する復号ステップと、
   前記復号済みカラー画像のサンプルを補間して補間済みカラー画像を生成するアップサンプリングステップとを含み、
   前記アップサンプリング係数算出ステップでは、前記復号済みカラー画像と前記色空間変換済みカラー画像との平均２乗誤差が最小となるように、前記アップサンプリング係数を算出する
   請求項１に記載の画像符号化方法。
3. 該画像符号化方法は、さらに、前記補間済みカラー画像の色空間を前記第２の色空間から前記第１の色空間に逆変換して色空間逆変換済みカラー画像を生成する色空間逆変換ステップを含み、
   前記色空間逆変換係数算出ステップでは、前記色空間逆変換済みカラー画像と前記カラー画像との平均２乗誤差が最小となるように、前記色空間逆変換係数を算出する
   請求項２に記載の画像符号化方法。
4. 該画像符号化方法は、さらに、前記カラー画像の特性に基づいて色空間変換係数を算出する色空間予測ステップを含み、
   前記色空間変換ステップでは、前記色空間予測ステップで算出された前記色空間変換係数に基づいて、前記カラー画像の色空間を前記第１の色空間から前記第２の色空間に変換し、
   前記出力ステップでは、さらに、前記色空間変換係数を出力する
   請求項１に記載の画像符号化方法。
5. 該画像符号化方法は、さらに、前記アップサンプリング係数、前記色空間逆変換係数、及び前記色空間変換係数を含む補助情報を符号化して符号化済み補助情報を生成する補助情報符号化ステップを含み、
   前記出力ステップでは、前記符号化済みカラー画像及び前記符号化済み補助情報を出力する
   請求項４に記載の画像符号化方法。
6. カラー画像を復号する画像復号方法であって、
   符号化済みカラー画像、アップサンプリング係数、及び色空間逆変換係数を取得する取得ステップと、
   前記符号化済みカラー画像を復号して復号済みカラー画像を生成する復号ステップと、
   前記アップサンプリング係数を用いて前記復号済みカラー画像のサンプルを補間することにより、補間済みカラー画像を生成するアップサンプリングステップと、
   前記色空間逆変換係数を用いて前記補間済みカラー画像の色空間を前記第２の色空間から前記第１の色空間に逆変換することにより、カラー画像を生成する色空間逆変換ステップとを含む
   画像復号方法。
7. カラー画像を符号化する画像符号化装置であって、
   前記カラー画像の色空間を第１の色空間から前記第１の色空間と異なる第２の色空間に変換して色空間変換済みカラー画像を生成する色空間変換部と、
   前記色空間変換済みカラー画像に含まれるサンプルの一部を除去してサブサンプリング済みカラー画像を生成するサブサンプリング部と、
   前記サブサンプリング済みカラー画像を符号化して符号化済みカラー画像を生成する符号化部と、
   サンプルを補間するアップサンプリング処理に用いられるアップサンプリング係数を算出するアップサンプリング係数算出部と、
   色空間を前記第２の色空間から前記第１の色空間に逆変換するための色空間逆変換係数を算出する色空間逆変換係数算出部と、
   前記符号化済みカラー画像、前記アップサンプリング係数、及び前記色空間逆変換係数を出力する出力部とを備える
   画像符号化装置。
8. カラー画像を復号する画像復号装置であって、
   符号化済みカラー画像、アップサンプリング係数、及び色空間逆変換係数を取得する取得部と、
   前記符号化済みカラー画像を復号して復号済みカラー画像を生成する復号部と、
   前記アップサンプリング係数を用いて前記復号済みカラー画像のサンプルを補間することにより、補間済みカラー画像を生成するアップサンプリング部と、
   前記色空間逆変換係数を用いて前記補間済みカラー画像の色空間を前記第２の色空間から前記第１の色空間に逆変換することにより、カラー画像を生成する色空間逆変換部とを備える
   画像復号装置。
9. コンピュータに、カラー画像を符号化させるプログラムであって、
   前記カラー画像の色空間を第１の色空間から前記第１の色空間と異なる第２の色空間に変換して色空間変換済みカラー画像を生成する色空間変換ステップと、
   前記色空間変換済みカラー画像に含まれるサンプルの一部を除去してサブサンプリング済みカラー画像を生成するサブサンプリングステップと、
   前記サブサンプリング済みカラー画像を符号化して符号化済みカラー画像を生成する符号化ステップと、
   サンプルを補間するアップサンプリング処理に用いられるアップサンプリング係数を算出するアップサンプリング係数算出ステップと、
   色空間を前記第２の色空間から前記第１の色空間に逆変換するための色空間逆変換係数を算出する色空間逆変換係数算出ステップと、
   前記符号化済みカラー画像、前記アップサンプリング係数、及び前記色空間逆変換係数を出力する出力ステップとを含む
   プログラム。
10. コンピュータに、カラー画像を復号させるプログラムであって、
    符号化済みカラー画像、アップサンプリング係数、及び色空間逆変換係数を取得する取得ステップと、
    前記符号化済みカラー画像を復号して復号済みカラー画像を生成する復号ステップと、
    前記アップサンプリング係数を用いて前記復号済みカラー画像のサンプルを補間することにより、補間済みカラー画像を生成するアップサンプリングステップと、
    前記色空間逆変換係数を用いて前記補間済みカラー画像の色空間を前記第２の色空間から前記第１の色空間に逆変換することにより、カラー画像を生成する色空間逆変換ステップとを含む
    プログラム。
11. カラー画像を符号化する集積回路であって、
    前記カラー画像の色空間を第１の色空間から前記第１の色空間と異なる第２の色空間に変換して色空間変換済みカラー画像を生成する色空間変換部と、
    前記色空間変換済みカラー画像に含まれるサンプルの一部を除去してサブサンプリング済みカラー画像を生成するサブサンプリング部と、
    前記サブサンプリング済みカラー画像を符号化して符号化済みカラー画像を生成する符号化部と、
    サンプルを補間するアップサンプリング処理に用いられるアップサンプリング係数を算出するアップサンプリング係数算出部と、
    色空間を前記第２の色空間から前記第１の色空間に逆変換するための色空間逆変換係数を算出する色空間逆変換係数算出部と、
    前記符号化済みカラー画像、前記アップサンプリング係数、及び前記色空間逆変換係数を出力する出力部とを備える
    集積回路。
12. カラー画像を復号する集積回路であって、
    符号化済みカラー画像、アップサンプリング係数、及び色空間逆変換係数を取得する取得部と、
    前記符号化済みカラー画像を復号して復号済みカラー画像を生成する復号部と、
    前記アップサンプリング係数を用いて前記復号済みカラー画像のサンプルを補間することにより、補間済みカラー画像を生成するアップサンプリング部と、
    前記色空間逆変換係数を用いて前記補間済みカラー画像の色空間を前記第２の色空間から前記第１の色空間に逆変換することにより、カラー画像を生成する色空間逆変換部とを備える
    集積回路。

Images