JPWO2010004726A1 - 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、プログラム、及び集積回路 - Google Patents
画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、プログラム、及び集積回路 Download PDFInfo
- Publication number
- JPWO2010004726A1 JPWO2010004726A1 JP2010519637A JP2010519637A JPWO2010004726A1 JP WO2010004726 A1 JPWO2010004726 A1 JP WO2010004726A1 JP 2010519637 A JP2010519637 A JP 2010519637A JP 2010519637 A JP2010519637 A JP 2010519637A JP WO2010004726 A1 JPWO2010004726 A1 JP WO2010004726A1
- Authority
- JP
- Japan
- Prior art keywords
- color
- color space
- image
- coefficient
- conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
- H04N1/646—Transmitting or storing colour television type signals, e.g. PAL, Lab; Their conversion into additive or subtractive colour signals or vice versa therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
- Color Television Systems (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
画像符号化方法は、カラー画像の色空間を第1の色空間から第2の色空間に変換して色空間変換済みカラー画像を生成する色空間変換ステップ(S12)と、色空間変換済みカラー画像に含まれるサンプルの一部を除去してサブサンプリング済みカラー画像を生成するサブサンプリングステップ(S13)と、サブサンプリング済みカラー画像を符号化して符号化済みカラー画像を生成する符号化ステップ(S14)と、アップサンプリング処理に用いられるアップサンプリング係数を算出するアップサンプリング係数算出ステップ(S16)と、色空間変換済みカラー画像の色空間を第2の色空間から第1の色空間に逆変換するための色空間逆変換係数を算出する色空間逆変換係数算出ステップ(S17)と、符号化済みカラー画像、アップサンプリング係数、及び色空間逆変換係数を出力する出力ステップ(S19)とを含む。
Description
本発明は、複数の色要素からなるカラー画像の変換および逆変換ならびに、これらに対応する装置に関する。
カラー画像を撮像するためのデジタルビデオカメラまたはデジタルカメラは、異なるカラーフィルタでフィルタリングされた光の強度を感知できるセンサを備える。このようなセンサの上には、赤および緑の行と緑および青の行とを交互にモザイク状に配列した赤、青、緑のフィルタからなる、いわゆるベイヤーフィルタを被せることができる。緑のフィルタが多用されるのは、赤色および青色よりも緑色に対して人間の目の感度が高いことを反映している。撮像されたカラーサンプルのモザイクは、典型的には、格納効率およびディプレイへの描画効率が高められる別の色空間に変換される。この変換は「デモザイク」と称される。通常、赤、緑、青のサンプルからなるモザイクは、同じく赤(R)、緑(G)、青(B)のサンプルからなるRGB色空間に変換される。
RGB色空間のカラー画像(RGB画像)は、3色の色要素、すなわち赤、緑、青からなる、いわゆる画素で構成される。各コンポーネントの値は、画素の色を再現するために必要な赤、緑、青の光の強度を示す。画素は、画像の最小構成単位である。各RGB画像の各画素の色要素は、RGB色空間内において、この画素の座標(r,g,b)として示すことができる。これらの座標の値は、qビットを用いて量子化される。1画素あたりのビット数は、色深度としても知られているものである。本願では、大抵の場合、すべての色要素に対してq=8またはq=16の値を一律に適用し、それぞれ24ビットまたは48ビットの色深度にする。一般には、色要素ごとに、さらには画素ごとに、ビット数を変えて量子化することもある。
RGB画像の画素は、N×Mサイズのマトリクスに配列され、画像の(空間)解像度とも称される。NおよびMの値が3色の色要素すべてについて同じであれば、つまり画像の色要素値を3色の同じサイズの色要素に整理可能な場合には、そのような画像のカラーフォーマットは、RGB4:4:4と称される。RGB4:4:4カラーフォーマットのデータを直接取得できるセンサもある。一般に、単一の画像の色要素は、色要素ごとに異なるサンプリング・グリッドが適用された結果、サイズが異なる場合がある。画像の色要素の値は、例えば、その画像をディスプレイ画面に描画したり、カメラまたは外部ストレージに格納したり、印刷したり、追加的な処理を行ったり、伝送チャネル経由で伝送するときに用いることができる。
追加的な処理とは、例えば、別の色空間への変換、および/または、色要素の選択的サブサンプリングを含むカラーフォーマット変換などである。サブサンプリングの前には、フィルタリングが行われる。
さらに、伝送目的および格納目的の場合、一般には、規格製品または特許製品である画像符号化装置または映像符号化装置を使用して、所定のカラーフォーマットのカラー画像、または、このようなカラー画像が映像を構成する場合にはそのシーケンスを符号化する。符号化は、画像または映像の格納または伝送に必要なデータ量を削減するために行われる。このような符号化には、規格化あるいは特許取得されている様々な可逆および/または非可逆圧縮メカニズムを用いればよい。
符号化した画像または映像をディスプレイに描画するためには、画像データをチャネル経由で受信するか、ストレージから取り込んで、復号しなければならない。符号化処理を逆に行う復号により、符号化に使用したカラーフォーマットの画像を取得する。今日のディスプレイは、大抵の場合、RGB4:4:4カラーフォーマットの値に基づく信号を用いて、表示画素の駆動を制御する。したがって、復号後、このカラーフォーマットへの変換が必要となる場合がある。復号後のカラーフォーマットの逆変換は、サブサンプリングが行われていた場合には、サブサンプリングしたカラー画像のアップサンプリングを含んでもよい。アップサンプリングは、通常、補間フィルタを用いて行われる。
図1は、従来技術の映像伝送チェーン回路の一例を示す。
ビデオカメラまたはカメラ110は、現実シーンを撮像すると、第1カラーフォーマットの、具体的にはカラーサンプルあたり8ビットのRGB4:4:4カラーフォーマットの、原画像データ111を送り出す。RGB4:4:4フォーマットの原画像データ111は、次に、異なる色空間に変換されるが、このケースでは、YUV色空間などの、異なる色要素を用いた色空間に変換される。この色空間において、入力された原画像データ111は、Yと表記される輝度と、U、Vと表記される2種類の異なる色要素(色差)とに分けられる。YUV色空間のデータを取得するには、色空間変換部120で色空間変換を適用する。よって、R、G、Bの重み値を加算することで、対象の画素の全体の明るさ、すなわち輝度を示す単一のY信号を生成する。次に、元のRGBの青の信号からY信号を減算し、スケーリングすることにより、U信号を得る。これに応じて、赤からYを減算し、異なる係数でスケーリングすることによって、V信号を得る。このようにしてYUV色空間で得た画像データ121は、撮像した画像の光の強度に対応した輝度成分と、この輝度成分よりも典型的にかなり平滑である2種類の色差成分とを含む。色差画像が平滑であれば、より良く圧縮できる。
YUV色空間における画像データ121のサイズは、この時点では、RGB4:4:4フォーマットの原画像データ111と同じである。すなわち、輝度および2つの色差の3つの値が1画素につき8ビットずつ記憶されている。この画像フォーマットは、YUV4:4:4フォーマットと称される。YUV4:4:4フォーマットの画像データ121は、その後、符号化部130によって圧縮され、チャネル140経由で伝送される。この例における符号化部130は、H.264/AVCビデオ符号化を行う。ここで使用するチャネル140は、例えば、有線、無線を問わず、どのような形態のネットワークであってもよく、また磁気ディスク、光ディスク、フラッシュメモリ、磁気光記憶媒体などのストレージであってもよい。
ディスプレイ170に画像または映像を描画するためには、まず、データをチャネル140から取得/受信し、復号部150で復号する。復号部150は、符号化部130とは逆の処理を行う。符号化部130が非可逆圧縮を行っていれば、再構築後のYUV4:4:4フォーマットの画像データ151は、元のYUV4:4:4フォーマットの画像データ121とは異なる場合がある。復号した後、色空間逆変換部160で色空間逆変換を適用して、復号RGB4:4:4フォーマットの画像データ161を取得すると、それをディスプレイ170に表示したり、さらには格納または印刷することが可能になる。
図2は、従来技術の伝送チェーン回路の他の例を示す。カメラ110で現実シーンを撮像する。カメラ110から出力されるのは、RGB4:4:4カラーフォーマットの原画像データ111である。YUV4:4:4フォーマットの画像データ121を取得するために、次に、RGB4:4:4フォーマットの原画像データ111に色空間変換部120で色空間変換を行う。色空間を変換すると、大抵の場合、YUV4:4:4フォーマットの画像の色差成分U、Vは、輝度成分Yと比べて平滑になる。この段階で既に、画像の伝送/格納に必要なデータ量を削減できる程度に平滑である。これを実行するには、色差成分を左右方向および/または上下方向にフィルタリング・サブサンプリング部210でサブサンプリングする。サブサンプリングとは、例えば、一定のサンプルを除外することで1画像あたりのサンプル数を削減することである。除外されなかったサンプルが含まれるサブサンプリング・グリッドは、原画像またはフィルタリングされた画像の値のサブセットであり、通常、規則的な形状を有する。サブサンプリングを行う前に、通常はローパスフィルタであるが、何らかのフィルタを適用してもよい。ローパスフィルタには、この目的に使用するものとして、国際標準化機構(ISO)によって提案され、動画像符号化専門家グループ(MPEG)およびビデオ符号化専門家グループ(VCEG)のコミュニティで承認されているものがいくつかある。このフィルタリング済み画像をサブサンプリングするには、例えば、隔行および隔列ごとに行および列を省いて、色差成分値の数を輝度成分値の数の4分の1にする。このようなフォーマットは、YUV4:2:0フォーマットと称される。このように、この場合のカラーフォーマット変換部201は、色空間変換部120と、フィルタリング・サブサンプリング部210とを含む。原画像データ111の色空間が既に所望のものであれば、カラーフォーマット変換部201は、サブサンプリング(場合によっては、フィルタリングも加える)だけでもよい。第2カラーフォーマットYUV4:2:0の画像データ211は、次に、符号化部130で符号化され、チャネル140に格納されるか、チャネル140経由で伝送されてから、復号部150によって復号される。他のサブサンプリング・グリッドを使用することも可能であり、例えば、(フィルタリングされた)色差成分を隔列ごとに省いた4:2:2グリッドでも、その他のサブサンプリング・グリッドでもよい。
符号化部130は、例えば、画像圧縮規格のJPEGもしくはJPEG2000や映像符号化規格のH.261、H.263、H.264/AVC、MPEG−1、MPEG−2、MPEG−4など、規格化あるいは特許取得されている画像標準または映像標準にしたがった画像符号化部または映像符号化部である。このような符号化部は、一般に、画像データをより小さなブロックに細かく分割し、そのデータをブロックごとに線形変換(例えば、離散コサイン変換)によって変換してから、変換したデータをエントロピー符号化部によって効率的に符号化するといった動作を行う。動き補償や空間予測など、他の技術を採用してもよい。これらすべての処理において、画像の輝度成分と色差成分とは、通常、別々に取り扱われる。
チャネル140から受信/取得したデータは、使用した符号化部130に対応する復号部150によって復号される。YUV4:2:0フォーマットの画像データ151は、次に、アップサンプリング・補間部220及び色空間逆変換部160を備えるカラーフォーマット逆変換部202に入力され、失った画素を補間することによって、サブサンプリングされた色差成分を元のサイズにアップサンプリングする。次に、YUV4:4:4カラーフォーマットの画像データ221を、色空間逆変換部160によって、RGB色空間に逆変換した後、得られたRGB4:4:4カラーフォーマットの画像データ161をディスプレイ170に表示するか、印刷または格納する。
カラーフォーマット変換部201は、色空間変換部120と、フィルタリング・サブサンプリング部210とを含み、画像データの格納効率または符号化部130による画像データの符号化効率が高められるような前処理を画像データに施す。色空間変換を行うだけでは、1画素あたりの色要素の量は減少しないが、上述のようなサブサンプリング処理(YUV4:4:4からYUV4:2:0にする処理)をすれば、1画素あたりの色要素の量は元の半分にまで減少する。画像コンテンツによっては、補間後にこのような減少があっても、人間の目ではほとんど知覚できない。特に、自然画像の場合、目立った劣化もなく、アップサンプリング・補間部220によって再構成することが可能である。一般に、YUV色空間に変換する色空間変換部120では、残った色要素から輝度成分を減算することによって、既に色要素同士の相互相関度を下げている。
しかし、他の種類の色空間変換によれば、より良い結果が得られる可能性がある画像もある。ほとんどの場合は、固定型の補間フィルタで充分である。しかしながら、他の種類のフィルタを使用してフィルタリングした方が好都合なコンテンツを含む画像は、必ず存在するであろう。画像コンテンツによっては、サブサンプリングの後にアップサンプリングを行うと、アーチファクトが目立ってしまうことになる。画像再構成の質は、圧縮ゲインと同様、カラーフォーマット(色空間、サブサンプリング)次第で、かつ符号化対象の画像または映像の性質次第で、大きく変わってくる。さらに、今日ほとんどの映像符号化規格において用いられているYUV色空間は、符号化目的からすると必ずしも効率的なものではなく、符号化(圧縮)ゲインには限界がある。また、通常、アップサンプリングは、固定型補間フィルタを用いて行われるが、そのようにしてアップサンプリングされた画像には、目障りなばらつきが生じることがある。
本発明の目的は、上述の課題を解決し、各種画像コンテンツについて効率の良いカラーフォーマットの変換および逆変換を行う方法および装置を提供することである。
本発明の一形態に係る画像符号化方法は、カラー画像を符号化する。具体的には、前記カラー画像の色空間を第1の色空間から前記第1の色空間と異なる第2の色空間に変換して色空間変換済みカラー画像を生成する色空間変換ステップと、前記色空間変換済みカラー画像に含まれるサンプルの一部を除去してサブサンプリング済みカラー画像を生成するサブサンプリングステップと、前記サブサンプリング済みカラー画像を符号化して符号化済みカラー画像を生成する符号化ステップと、サンプルを補間するアップサンプリング処理に用いられるアップサンプリング係数を算出するアップサンプリング係数算出ステップと、色空間を前記第2の色空間から前記第1の色空間に逆変換するための色空間逆変換係数を算出する色空間逆変換係数算出ステップと、前記符号化済みカラー画像、前記アップサンプリング係数、及び前記色空間逆変換係数を出力する出力ステップとを含む。
上記構成のように、画像復号装置で用いるパラメータ(色空間逆変換係数及びアップサンプリング係数)を画像符号化装置で算出することにより、画像復号装置の複雑さが低減される。また、上記パラメータの算出に画像符号化装置でのみ利用可能な原画像(カラー画像)を利用することができるので、復号画像の品質が改善される。なお、サブサンプリング及びアップサンプリングにおける「サンプル」とは、例えば、画素値であってもよいし、色要素、より具体的には、各画素の色差成分であってもよい。
さらに、該画像符号化方法は、前記符号化済みカラー画像を復号して復号済みカラー画像を生成する復号ステップと、前記復号済みカラー画像のサンプルを補間して補間済みカラー画像を生成するアップサンプリングステップとを含む。そして、前記アップサンプリング係数算出ステップでは、前記復号済みカラー画像と前記色空間変換済みカラー画像との平均2乗誤差が最小となるように、前記アップサンプリング係数を算出してもよい。
さらに、該画像符号化方法は、前記補間済みカラー画像の色空間を前記第2の色空間から前記第1の色空間に逆変換して色空間逆変換済みカラー画像を生成する色空間逆変換ステップを含む。そして前記色空間逆変換係数算出ステップでは、前記色空間逆変換済みカラー画像と前記カラー画像との平均2乗誤差が最小となるように、前記色空間逆変換係数を算出してもよい。
画像データを符号化すると量子化ノイズが重畳されるので、符号化データを復号しても、符号化前の画像データと完全に同一の画像データを取得することはできない。そこで、色空間逆変換ステップは、単なる色空間変換ステップの逆処理ではなく、符号化の過程で重畳された量子化ノイズを除去する処理をも行う。つまり、色空間逆変換ステップで用いられる色空間逆変換係数は、符号化前及び復号後の画像の平均2乗誤差が最小となるように決定するのが望ましい。アップサンプリングステップについても同様である。
さらに、該画像符号化方法は、前記カラー画像の特性に基づいて色空間変換係数を算出する色空間予測ステップを含む。そして、前記色空間変換ステップでは、前記色空間予測ステップで算出された前記色空間変換係数に基づいて、前記カラー画像の色空間を前記第1の色空間から前記第2の色空間に変換し、前記出力ステップでは、さらに、前記色空間変換係数を出力してもよい。
さらに、該画像符号化方法は、前記アップサンプリング係数、前記色空間逆変換係数、及び前記色空間変換係数を含む補助情報を符号化して符号化済み補助情報を生成する補助情報符号化ステップを含む。そして、前記出力ステップでは、前記符号化済みカラー画像及び前記符号化済み補助情報を出力してもよい。
本発明の一形態に係る画像復号方法は、カラー画像を復号する。具体的には、符号化済みカラー画像、アップサンプリング係数、及び色空間逆変換係数を取得する取得ステップと、前記符号化済みカラー画像を復号して復号済みカラー画像を生成する復号ステップと、前記アップサンプリング係数を用いて前記復号済みカラー画像のサンプルを補間することにより、補間済みカラー画像を生成するアップサンプリングステップと、前記色空間逆変換係数を用いて前記補間済みカラー画像の色空間を前記第2の色空間から前記第1の色空間に逆変換することにより、カラー画像を生成する色空間逆変換ステップとを含む。
上記構成のように、画像符号化方法によって生成されたアップサンプリング係数及び色空間逆変換係数を用いてアップサンプリング処理及び色空間逆変換処理を実行することにより、符号化によって重畳された丸め誤差を除去することができる。また、上記の2処理を連続して実行することにより、処理を最適化することができる。
本発明の一形態に係る画像符号化装置は、カラー画像を符号化する。具体的には、前記カラー画像の色空間を第1の色空間から前記第1の色空間と異なる第2の色空間に変換して色空間変換済みカラー画像を生成する色空間変換部と、前記色空間変換済みカラー画像に含まれるサンプルの一部を除去してサブサンプリング済みカラー画像を生成するサブサンプリング部と、前記サブサンプリング済みカラー画像を符号化して符号化済みカラー画像を生成する符号化部と、サンプルを補間するアップサンプリング処理に用いられるアップサンプリング係数を算出するアップサンプリング係数算出部と、色空間を前記第2の色空間から前記第1の色空間に逆変換するための色空間逆変換係数を算出する色空間逆変換係数算出部と、前記符号化済みカラー画像、前記アップサンプリング係数、及び前記色空間逆変換係数を出力する出力部とを備える。
本発明の一形態に係る画像復号装置は、カラー画像を復号する。具体的には、符号化済みカラー画像、アップサンプリング係数、及び色空間逆変換係数を取得する取得部と、前記符号化済みカラー画像を復号して復号済みカラー画像を生成する復号部と、前記アップサンプリング係数を用いて前記復号済みカラー画像のサンプルを補間することにより、補間済みカラー画像を生成するアップサンプリング部と、前記色空間逆変換係数を用いて前記補間済みカラー画像の色空間を前記第2の色空間から前記第1の色空間に逆変換することにより、カラー画像を生成する色空間逆変換部とを備える。
本発明の一形態に係るプログラムは、コンピュータに、カラー画像を符号化させる。具体的には、前記カラー画像の色空間を第1の色空間から前記第1の色空間と異なる第2の色空間に変換して色空間変換済みカラー画像を生成する色空間変換ステップと、前記色空間変換済みカラー画像に含まれるサンプルの一部を除去してサブサンプリング済みカラー画像を生成するサブサンプリングステップと、前記サブサンプリング済みカラー画像を符号化して符号化済みカラー画像を生成する符号化ステップと、サンプルを補間するアップサンプリング処理に用いられるアップサンプリング係数を算出するアップサンプリング係数算出ステップと、色空間を前記第2の色空間から前記第1の色空間に逆変換するための色空間逆変換係数を算出する色空間逆変換係数算出ステップと、前記符号化済みカラー画像、前記アップサンプリング係数、及び前記色空間逆変換係数を出力する出力ステップとを含む。
本発明の他の形態に係るプログラムは、コンピュータにカラー画像を復号させる。具体的には、符号化済みカラー画像、アップサンプリング係数、及び色空間逆変換係数を取得する取得ステップと、前記符号化済みカラー画像を復号して復号済みカラー画像を生成する復号ステップと、前記アップサンプリング係数を用いて前記復号済みカラー画像のサンプルを補間することにより、補間済みカラー画像を生成するアップサンプリングステップと、前記色空間逆変換係数を用いて前記補間済みカラー画像の色空間を前記第2の色空間から前記第1の色空間に逆変換することにより、カラー画像を生成する色空間逆変換ステップとを含む。
本発明の一形態に係る集積回路は、カラー画像を符号化する。具体的には、前記カラー画像の色空間を第1の色空間から前記第1の色空間と異なる第2の色空間に変換して色空間変換済みカラー画像を生成する色空間変換部と、前記色空間変換済みカラー画像に含まれるサンプルの一部を除去してサブサンプリング済みカラー画像を生成するサブサンプリング部と、前記サブサンプリング済みカラー画像を符号化して符号化済みカラー画像を生成する符号化部と、サンプルを補間するアップサンプリング処理に用いられるアップサンプリング係数を算出するアップサンプリング係数算出部と、色空間を前記第2の色空間から前記第1の色空間に逆変換するための色空間逆変換係数を算出する色空間逆変換係数算出部と、前記符号化済みカラー画像、前記アップサンプリング係数、及び前記色空間逆変換係数を出力する出力部とを備える。
本発明の他の形態に係る集積回路は、カラー画像を復号する。具体的には、符号化済みカラー画像、アップサンプリング係数、及び色空間逆変換係数を取得する取得部と、前記符号化済みカラー画像を復号して復号済みカラー画像を生成する復号部と、前記アップサンプリング係数を用いて前記復号済みカラー画像のサンプルを補間することにより、補間済みカラー画像を生成するアップサンプリング部と、前記色空間逆変換係数を用いて前記補間済みカラー画像の色空間を前記第2の色空間から前記第1の色空間に逆変換することにより、カラー画像を生成する色空間逆変換部とを備える。
なお、本発明は、動画像符号化方法(装置)及び動画像復号方法(装置)として実現できるだけでなく、これらの機能を実現する集積回路として実現したり、そのような機能をコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、CD−ROM等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
これらは、独立請求項に記載した特徴によって達成される。
好ましい実施の形態は、従属請求項の主題である。
本発明の手法は、カラーフォーマット変換側でカラーフォーマット逆変換パラメータを決定することと、そのカラーフォーマット逆変換パラメータを画像または映像の変換データと共に提供するものである。本発明は、さらに、逆変換側でカラーフォーマット逆変換パラメータを受信し、カラーフォーマット逆変換処理に使用することを特徴とする。
カラーフォーマット変換側でカラーフォーマット逆変換パラメータを決定する利点は、(非変換)カラー原画像およびその元のフォーマットに関する全情報を利用可能なことである。さらに、変換側でカラーフォーマット逆変換パラメータを決定することによって、復号装置の複雑さが低減されるとともに、符号化装置において利用可能である情報を考慮して各種カラーフォーマットの逆変換係数を選択することができるため、品質が改善される。
本発明の第1の態様として、カラー画像を第1カラーフォーマットから第2カラーフォーマットに変換するカラーフォーマット変換方法を提供する。この方法は、カラー画像を第1カラーフォーマットから第2カラーフォーマットに逆変換する処理に用いるカラーフォーマット逆変換係数を決定するステップを含む。カラー画像のカラーフォーマットとは、画像の色要素が格納されるときのフォーマットであり、例えば、色空間および/またはサブサンプリングが含まれる。ここで、色空間を特定する方法としては、例えば、その色空間が、規格化されているもの、および/または周知のものである場合には、その名称によって特定し、そうでない場合は、公知の色空間から指定の色空間に変換する係数によって特定する。サブサンプリングは、サブサンプリング・グリッドおよび1サンプルあたりのビット数によって特定される。繰り返しになるが、特定のカラーグリッドは、例えば、4:4:4(サブサンプリングをしていないことを示す)、4:2:0または4:2:2など、規格化されて名称が付いているものがあり、後者2つは、1色要素あたりのサンプル数同士の比率を表したものである。4:2:0サンプリングが行われるサンプルの正確な位置は、ずれることがあり、よって、復号部/逆変換部は、符号化部/変換部から得られたサンプリング・グリッドそのものに関する情報を一律に受信するということはしない。
本発明の第2の特徴として、カラー画像を第1カラーフォーマットから第2カラーフォーマットに変換するカラーフォーマット変換部を提供する。このカラーフォーマット変換部は、カラー画像を第2カラーフォーマットから第1カラーフォーマットに逆変換する処理に用いるカラーフォーマット逆変換係数を決定する決定手段を備える。変換済み画像と決定されたカラーフォーマット逆変換係数は、例えば、有線、無線を問わず、なんらかの形態のチャネルを通じて伝送される。また、変換済み画像と決定されたカラーフォーマット逆変換係数は、USBスティックもしくはDVD、CD、BDなどの光または磁気のハードディスクまたは媒体を含む、各種ストレージまたは媒体に格納されてもよい。変換済み画像と決定されたカラーフォーマット逆変換係数は、ともに符号化されてもよい。
カラーフォーマット逆変換係数の決定は、変換対象のカラー画像の性質に基づくことが好ましい。これによって、カラー画像の性質にしたがった逆変換係数の適応的な選択が可能になる。カラー画像を逆変換して画質が劣化するかどうかは、その画像の性質によるので、カラーフォーマット逆変換パラメータを適応的に選択することによって、逆変換後の画像の画質が改善される。
好ましくは、上記決定にあたり、変換済みカラー画像をさらに逆変換し、逆変換済み画像の性質および適用した変換処理に基づいて、カラーフォーマット逆変換係数を予測する。さらに、非変換原画像を利用可能にしておくと良い。逆変換済み画像を、場合によっては非変換画像も共に、利用可能としておくことで、逆変換パラメータを、逆変換済み画像の性質に応じて、かつ適用したカラーフォーマットの変換に応じて、適応的に選択することが可能になる。カラーフォーマット逆変換パラメータは、所定のコスト関数を用いた線形または非線形の最適化方法によって、予測される。具体的には、第1カラーフォーマットのカラー画像と逆変換済み画像の両方を利用可能である場合、これらカラー画像と逆変換済み画像間の平均2乗誤差を最小にして予測を行うことが好ましい。
好ましくは、カラーフォーマットの変換において、カラー画像の色空間を第1色空間から第2色空間に変換する。カラーフォーマット逆変換係数には、色空間逆変換係数が含まれ、色空間逆変換とは、カラー画像を第2色空間から第1色空間に変換することである。第1色空間および第2色空間は、それぞれ、周知の色空間のいずれかであってもよい。例えば、赤、緑、青のコンポーネントに基づく色空間(RGB、sRGBなど)、輝度成分および色差成分に基づく色空間(YIQ、YUV、YCbCrなど)、色相および彩度に基づく色空間(HSV、HSIなど)、CMYK、その他の色空間などが挙げられる。
但し、予測した色空間変換係数を使って、カラー画像を第1色空間から第2色空間に変換するカラーフォーマット変換の場合、第2色空間は、変換するカラー画像に基づいて色空間変換係数を予測することによって、適応的に決定された適応的色空間であることが好ましい。具体的には、色空間変換係数は、無相関変換、特に、カルーネンレーブ(Karhunen-Loeve)変換に基づいて予測される。無相関変換によって、色空間コンポーネント同士が無相関化される。得られた適応的色空間によって、画像を効率良く表示することが可能になる。同じ画質にして、固定的な色空間変換の場合よりも低いレートで同じ画質が得られる場合がある。このようにして、色空間逆変換係数の予測が可能となる。
好ましくは、カラーフォーマットの変換において、第1カラーフォーマットまたは第2色空間フォーマットのカラー画像をサブサンプリングし、サブサンプリングされたカラー画像は、入力されたカラー画像と比べてサンプルが少ない。具体的には、カラーフォーマット変換フィルタによって第1カラーフォーマットまたは第2色空間フォーマットのカラー画像をフィルタリングしてからサブサンプリングする。具体的には、ローパスフィルタによって、フィルタリングを行う。また、他のフィルタを使用することも可能である。ある種の性質を有する画像、例えば、エッジを多く含む画像に対しては、ローパスフィルタ以外のフィルタを使った方が良い場合がある。
カラーフォーマット逆変換係数には、ダウンサンプリングされたカラー画像のアップサンプリングに使用する補間フィルタの補間フィルタ係数が含まれることが好ましい。具体的には、補間フィルタ係数は、ウィナーフィルタ係数であると予測される。但し、平均2乗誤差以外の数値を最適化して補間フィルタ係数を予測することも可能であり、非線形フィルタを配置してもよいし、必ずしもアップサンプリング(逆変換)された画像を使用して予測しなければならないわけではない。
カラーフォーマット逆変換係数は、エントロピー符号化部で符号化されることが好ましい。エントロピー符号化部は、ハフマン(Huffman)符号、ゴロム(Golomb)符号、指数ゴロム(exponential Golomb)符号、算術符号、これら以外のエントロピー符号などの公知のエントロピー符号に対応するものであればよい。係数をエントロピー符号化することによって、その係数の伝送または媒体への格納に必要なレートを下げることが可能になる。
カラーフォーマット逆変換係数は、カラー画像またはカラー画像からなるビデオシーケンスのスライスごとに、個々に決定される構成であることが好ましい。これによって、変換対象の画像の性質だけでなく、その画像部分の性質に適応したカラーフォーマットの変換および/または逆変換が可能になる。スライス以外の単位、例えばマクロブロック、スライス以外のマクロブロック群、フィールド(インタレースの場合)、フレームなどを使用してもよい。
これに代えて、カラーフォーマット逆変換係数は、複数枚のカラー画像ごとに1度、決定されるものでもよい。複数枚のカラー画像とは、予め定めた一定の枚数でよく、伝送または格納に必要なデータ量を削減するために、例えば、画像の2枚目、3枚目、4枚目など、枚数ごとにカラーフォーマット逆変換係数を決定できるようにする。ビデオシーケンスが時間的に平滑である場合には、複数枚の画像ごとに変換および/逆変換パラメータを決定すれば、充分な品質ゲイン/符号化ゲインが得られる。但し、時間的な予測符号化メカニズムが適用される場合、およびピクチャ・グループのサイズが変化する場合には、例えば、ピクチャ・グループあたりのカラー画像(映像フレームなど)の枚数の変化に応じたカラーフォーマット逆変換係数にする方が良いこともある。画像の枚数は、時間的な平滑度、場面変化の発生頻度などのビデオシーケンスの性質に応じて選択することも可能である。
カラーフォーマット逆変換係数には、色空間逆変換に関連するものと、補間フィルタに関連するものがあり、色空間逆変換関連の係数を決定する頻度は、補間フィルタ関連の係数を決定する頻度よりも低いことが好ましい。これによって、適応度を測ることができ、場合によっては、例えば、ピクチャ・グループ内では、色空間を変換せずに維持する方が良いこともある。補間フィルタ係数を含むカラーフォーマット逆変換係数は、より急速に変化することがある。色空間逆変換関連の係数が決定されることになる画像の所定枚数を、補間フィルタリング関連の係数が決定される画像の所定枚数よりも少なくした別の構成にすることも可能である。しかし、補間フィルタリング関連の色空間逆変換係数を、色空間逆変換関連の色空間逆変換係数の決定頻度よりも低い頻度で決定してもよい。
カラーフォーマット変換の後、カラー画像からなるビデオシーケンスのカラー画像は、JPEG、JPEG2000、MPEG−2、MPEG−4、H.263、H.264/AVCなどの画像または映像の符号化規格にしたがって、符号化されることが好ましい。他の映像符号化規格または特許取得済み映像符号化方法を同様に用いてもよい。カラー画像またはカラービデオシーケンスを符号化することによって、格納または伝送に必要なデータ量が減少する。一方、第2色空間への変換済み画像または映像データは、直接、格納または伝送可能である。
具体的には、映像符号化規格H.264/AVCを適用すると、カラーフォーマット逆変換係数は、H.264/AVC補助的拡張情報(SEI)メッセージに含まれた形態で提供される。これによって、本発明の構成がH.264/AVC規格に準拠する。
本発明の別の特徴によれば、画像符号化方法および画像符号化装置において、上述のカラーフォーマットの変換と、カラーフォーマット変換後の画像圧縮とが含まれる。このような画像符号化装置または映像符号化装置は、本発明のカラーフォーマットの変換を必須または任意の特徴として実行するものであれば、規格化または特許取得されている画像符号化装置または映像符号化装置でよい。
本発明の他の特徴によれば、変換済みカラー画像を第2色空間から第1色空間に逆変換するカラーフォーマット逆変換方法が提供される。まず、第2カラーフォーマットへの変換済みカラー画像と共に、カラーフォーマット逆変換係数を取得し、取得したカラーフォーマット逆変換係数を用いて、変換済みカラー画像を第2カラーフォーマットから第1カラーフォーマットに逆変換する。
本発明のさらに他の特徴によれば、変換済みカラー画像を第2色空間から第1色空間に逆変換するカラーフォーマット逆変換部が提供される。逆変換部は、第2カラーフォーマットへの変換済みカラー画像と共に、カラーフォーマット逆変換係数を取得できる。さらに、逆変換部は、取得したカラーフォーマット逆変換係数を用いて、変換済みカラー画像を第2カラーフォーマットから第1カラーフォーマットに逆変換できる。変換済み画像とカラーフォーマット逆変換係数とを取得するには、例えば、有線、無線を問わず、なんらかの形態のチャネルから、それらを受信する。また、変換済み画像とカラーフォーマット逆変換係数は、USBスティックもしくはDVD、CD、BDなどの光または磁気のハードディスクまたは媒体を含む、各種のストレージから読み出され、取得されるものであってもよい。変換済み画像と決定されたカラーフォーマット逆変換係数は、ともに符号化されてもよい。
好ましくは、カラーフォーマットの逆変換は、カラー画像の色空間を第2色空間から第1色空間に変換することを含む。第1色空間および第2色空間は、それぞれ、RGB、YUV、HISなどの公知の色空間のいずれかであってよい。カラーフォーマット逆変換係数は、色空間逆変換係数を含むことが好ましい。具体的には、変換対象のカラー画像に基づいて色空間変換係数を予測することによって、第2色空間が適応的に決定される。具体的には、色空間変換係数は、無相関変換、特に、カルーネンレーブ(Karhunen-Loeve)変換に基づいて予測される。
好ましくは、カラーフォーマットの逆変換は、変換済みカラー画像をアップサンプリングし、アップサンプリングされた画像は、入力された変換済みカラー画像と比べてサンプルが少ない。
具体的には、アップサンプリングは、補間フィルタリングによって行われ、補間フィルタ係数はカラーフォーマット逆変換係数に含まれる。補間フィルタ係数を取得することで、受け取った係数による適応的補間フィルタリングが可能になり、例えば、後処理方法によって、復号部を複雑化することなく、品質ゲインが得られるようになる。具体的には、補間フィルタ係数は、ウィナーフィルタ係数である。しかし、他のフィルタリングおよびフィルタ係数決定方法を採用することも可能である。
カラーフォーマット逆変換係数は、取得されるときにエントロピー復号されることが好ましい。
本発明の好適な構成によれば、カラーフォーマット逆変換係数は、カラー画像またはカラー画像からなるビデオシーケンスのスライスごとに、個々に決定される。
これに代えて、カラーフォーマット逆変換係数は、複数枚のカラー画像ごとに1度、取得されるものでもよい。
カラーフォーマット逆変換係数には、色空間逆変換に関連するものと、補間フィルタに関連するものがあり、色空間逆変換関連の係数が取得される頻度は、補間フィルタ関連の係数よりが取得される頻度よりも低いことが好ましい。
第2色空間への変換済み画像は、取得されるときに、JPEG、JPEG2000、MPEG−2、MPEG−4、H.263、H.264/AVCなどの画像または映像の符号化規格にしたがって、復号されることが好ましい。
具体的には、映像符号化規格H.264/AVCを適用すると、カラーフォーマット逆変換係数(フィルタ係数および/または色空間逆変換係数)は、H.264/AVC補助的拡張情報(SEI)メッセージに含まれた形態で取得される。
本発明のさらに他の特徴によれば、上述のような、取得画像の伸張と、伸張画像のカラーフォーマットの逆変換とを含む画像復号方法および画像復号装置が提供される。
上記構成のように、復号装置で用いるパラメータ(色空間逆変換係数及びアップサンプリング係数)を符号化装置で算出することにより、復号装置の複雑さが低減される。また、上記パラメータの算出に符号化装置でのみ利用可能な原画像(カラー画像)を利用することができるので、復号画像の品質が改善される。
本願に関し、上述の目的および特徴とその他の目的および特徴とを、付随する図面を参照しながら、後述の記述および好ましい実施の形態において、より明確にする。
本発明は、複数の色要素からなるカラー画像のカラーフォーマットの変換および逆変換に関する。これらの要素は、任意の色空間に属するものであってよい。1コンポーネントあたりのサンプル数は、必ずしも同じとは限らない。一般に、画像のフォーマット、すなわち、特定の色空間およびサンプリングは、ソースによって左右される。大抵の場合、カメラで撮像された画像がこのカメラから出力されるとき、各コンポーネントのサンプルが通常は同数である赤、緑、青の3種類のコンポーネントからなるRGBフォーマットで出力され、サンプルあたりのビット数が同じ、典型的には8または16のRGB4:4:4カラーフォーマットになる。
カラーフォーマット変換の目的は、カラー画像を元の第1カラーフォーマット(すなわち、色要素がカラーフォーマット変換部に入力されるときのフォーマット)を別のフォーマットに変換することである。ここでいうフォーマットとは、色空間および/またはサンプリング方法のことである。
上述の従来技術において、カラーフォーマットの変換は固定的である。つまり、変換対象の画像の画像コンテンツに関わらず、色空間変換および/または、場合によって、フィルタリングおよびサブサンプリングが同じように行われるということである。色空間変換とフィルタリングおよびサンプリングとは、両方とも、大半の典型的な画像に対して効率良く作用するように設計されている。この効率の良さには、2つの意味がある。1つ目は、色空間変換は、特定の色要素同士の相関度を下げることを目的としているということである。この目的は、1つの輝度成分と2つの異なる色差成分とからなるYUV色空間で達成される。このような色空間の色差成分は、輝度成分よりも平滑なので、後でサブサンプリングを行うことができ、このようなレートの低減による歪みが小さくなる。2つ目は、例えば圧縮などの別の符号化ステップが実行される場合、入力画像のフォーマット次第で、生じる歪みに対する圧縮ゲインが異なるということである。適切なカラーフォーマット変換が行われた画像であれば、より効率良く圧縮することができる。すなわち、より高い圧縮ゲインが得られる。したがって、従来の固定的かつ独立的なカラーフォーマットの変換および逆変換を行っていたのでは、符号化効率に限界がある。
本発明は、カラーフォーマット変換側でカラーフォーマット逆変換係数を決定し、そのカラーフォーマット逆変換係数を符号化データと共に提供することによって、より効率の良いカラーフォーマットの変換および逆変換を可能にする。
図3は、本発明が映像伝送システムの構成要素である場合の一実施形態に係る画像符号化装置10及び画像復号装置20を示す。
図3に示される画像符号化装置10は、カラーフォーマット変換部310と、決定部(色空間予測部)320と、符号化部130とを少なくとも備える。この画像符号化装置10は、カメラ110から取得した原画像データ(カラー画像)111を符号化して符号化済みカラー画像を生成する。なお、カメラ110は、画像符号化装置10に接続される外部装置であってもよいし、画像符号化装置10の一構成要素であってもよい。以降の実施形態についても同様である。
カメラ110は、RGB色空間(RGB4:4:4カラーフォーマット)において、それぞれ同数のサンプルを有する3種類の色要素からなる原画像データ(ビデオフレーム)111のシーケンスを提供する。ベイヤーパターンなどの異なるサンプリング・グリッドであってもよい。原画像データ111は、カラーフォーマット変換部310に入力され、そこで第1カラーフォーマットから第2カラーフォーマットの画像データ311に変換される。原画像データ111は、決定部320にも入力されてよい。決定部320は、カラーフォーマット逆変換部330において使用されるカラーフォーマット逆変換係数321を決定することができる。決定されたカラーフォーマット逆変換係数321は、第2カラーフォーマット変換済みの画像データ311と共に供される。
カラーフォーマット変換済みの画像データ311は、符号化部130、本実施の形態においてはH.264/AVCビデオ・エンコーダによって、さらに符号化可能である。なお、符号化部130は、例えば、画像データを直交変換する直交変換部(図示省略)と、画像データを量子化する量子化部(図示省略)と、可変長符号化する可変長符号化部(図示省略)とを備える。また、動き補償部(図示省略)や空間予測部(図示省略)等をさらに備えてもよい。
そして、符号化データは、カラーフォーマット逆変換係数321を含む符号化補助情報を伴い、チャネル140を通じて伝送される。目標用途の要件にしたがったものであれば、チャネル140は、無線、有線を問わず、どのような形態であってもよく、伝送形式は、ユニキャスト、マルチキャスト、ブロードキャストのいずれであってもよい。
図3に示される画像復号装置20は、復号部150と、カラーフォーマット逆変換部330とを少なくとも備える。この画像復号装置20は、チャネル140を介して画像符号化装置10から取得した符号化データを復号して、ディスプレイ170に表示する。なお、ディスプレイ170は、画像復号装置20に接続される外部装置であってもよいし、画像復号装置20の一構成要素であってもよい。以降の実施形態についても同様である。
符号化データは、復号部150で受信されて復号された後、カラーフォーマット逆変換部330に供される。なお、復号部150は、例えば、符号化データを可変長復号する可変長復号部(図示省略)と、逆量子化を行う逆量子化部(図示省略)と、逆直交変換を行う逆直交変換部(図示省略)とを備える。また、動き補償部(図示省略)や空間予測部(図示省略)等をさらに備えてもよい。
復号部150は、符号化部130とは逆の処理を行う。本実施の形態において、復号部150は、H.264/AVCデコーダである。カラーフォーマット逆変換係数322は、カラーフォーマット逆変換部330にも供される。そして、カラーフォーマット逆変換部330において、受信したカラーフォーマット逆変換係数322は、画像データ312の逆変換に用いられる。その後、得られた画像データ331をディスプレイ170に表示してもよい。
本実施の形態において、カメラ110は、ビデオカメラである。しかし、静止画像のみを撮影するカメラであってもよい。カメラ110は、RGB4:4:4フォーマット以外のフォーマット、例えばモザイク状になった元のデータのフォーマット、YUVフォーマット、または他のカラーフォーマットで、画像を出力してよいが、この場合は、出力される色要素のサンプルおよび深度は、必ずしも同じにはならない。カラーフォーマット逆変換係数322は、色空間変換、ならびに/またはフィルタリングおよび/もしくはサブサンプリングを行うごとに、決定されてもよい。チャネル140経由のデータの伝送または記憶媒体へのデータの格納は、画像データごとに分けて行ってもよく、カラーフォーマット逆変換係数322を含む補助情報ごとに分けて行ってもよい。カラーフォーマット逆変換係数322は、対応する画像データと共に格納または伝送され、これに加えて/これに代えて、対応する画像データで多重化される。符号化および復号を行う場合、H.264/AVC規格に限定されることなく、例えば、JPEG、JPEG2000、MPEG−1、MPEG−2、MPEG−4、H.261、H.263、DIRAC、その他、規格化あるいは特許取得されている符号化および復号メカニズムなどの画像データ圧縮規格または映像データ圧縮規格のうち、いずれであってもよい。カラーフォーマットの逆変換を行った後に、画像データは、各種端末にあるCRT、OLED、LCDなどの各種ディスプレイに表示されてもよく、印刷または格納されてもよい。
図4A及び図4Bは、本発明の他の実施形態に係るカラーフォーマット変換部400およびカラーフォーマット逆変換部480を備える伝送チェーン回路を示すブロック図である。ここで、図4Aは送信側の画像符号化装置10を示し、図4Bは受信側の画像復号装置20を示す。
図4Aに示される画像符号化装置10は、カラーフォーマット変換部400と、符号化部130と、色空間予測部430と、係数予測部440と、復号部450と、係数符号化部460とを備える。また、カラーフォーマット変換部400は、色空間変換部410と、フィルタリング・サブサンプリング部420とを備え、さらに、色空間予測部430を含めてもよい。
ビデオカメラ110は、RGB4:4:4カラーフォーマットの原画像データ111を提供する。RGB4:4:4カラーフォーマットの原画像データ111の色要素は、それぞれR、G、Bと称される。カラーフォーマット変換部400は、色空間変換マトリクスを予測するための色空間予測部430を備える。ここでは、RGB4:4:4カラーフォーマットの原画像データ111の統計値(例えば、第1モーメントおよび第2モーメント)などの性質に基づいて、予測が行われる。次に、予測した色空間変換マトリクスを用いて、原画像データ111をRGB4:4:4カラーフォーマットから新たな色空間である適応的色空間(ACS)に変換する。得られたACS画像データ411は、4:4:4サンプリングフォーマットのままである。色空間変換部410では、予測目的に応じて、様々な基準が用いられてよい。基準の1つとしては、ACS色空間の3種類の色要素A、C、Sの無相関化が挙げられる。カルーネンレーブ(Karhunen-Loeve)変換によれば、3種類のRGB色要素から、相互に無相関な3種類のACS色要素を生成できる。このようにすることは、例えば、3種類の色要素を個別に符号化する符号化部の場合、都合が良い。得られたACS色空間の映像データは、その後、例えばISOで規定されているようなローパスフィルタによって、低域フィルタリングされてダウンサンプリングされる。なお、別のフィルタを使うことも可能である。
まず、式1のように、無相関色成分A、C、Sを生成するカルーネンレーブ(Karhunen-Loeve)変換の変換マトリクスTKLTが、色空間予測部430によって決定される。TKLTは最適に相関を軽減する直交変換であり、変換後の座標系における任意の軸間の相関を完全に無くすことができる。このことは、冗長性が最も少ない座標系へ信号が変換されていることを意味し、圧縮のための直交変換として最適とされている。
ここで、xおよびyは、特定の空間サンプルを示す色要素のインデックスである。色要素A、C、Sで構成される色空間が適応的色空間である。これを適応的と称する所以は、カラー画像データまたはカラー映像データの性質に適応するからである。例えば、変換マトリクスTKLTを決定するにあたり、カラー画像の統計的性質が利用される。
変換マトリクスTKLTは、その後、色空間変換部410での色空間変換に使用される。また、色空間変換部410では、式2のスケーリング・平均化調整が行われる。
ここで、係数mAはAの平均値であり、係数mCはCの平均値であり、係数mSはSの平均値である。これらの平均値はすべて、色空間予測によって決定される。スケーリング係数sAは、以下の式3にしたがって、A´のダイナミック・レンジを調整する。
スケーリング係数sCは、以下の式4にしたがって、C´のダイナミック・レンジを調整する。
スケーリング係数sSは、以下の式5にしたがって、S´のダイナミック・レンジを調整する。
パラメータbAは色要素A´のサンプル表示用ビット数であり、パラメータbCは色要素C´のサンプル表示用ビット数であり、パラメータbSは色要素S´のサンプル表示用ビット数である。スケーリング係数はすべて、色空間予測部430において決定される。
色空間変換部410で色空間変換を行った後、例えば、非特許文献1:ISO/IEC JTC1/SC29/WG11 N6295「Color format down-conversion for test sequence generation」(テストシーケンス生成用カラーフォーマット・ダウンサンプリング)にしたがって、色要素C´、S´をフィルタリング・サブサンプリング部420でフィルタリングしてサブサンプリングすると、色要素C´´、S´´となり、カラーフォーマットはACS4:2:0になる。図5は、RGB色空間およびACS色空間の色要素のサンプリング・グリッドを示す。ACS色空間のサンプル位置は、H.264/AVC規格の規定にしたがって選択される。
次に、色要素A´、C´´、S´´を次の整数に丸めることにより、それぞれ[0;2bA−1]、[0;2bC−1]、[0;2bS−1]の値域にする。
これら適応的色空間の丸められた色要素A´、C´´、S´´で表現された画像データ421は、さらに、符号化部130において符号化される。本実施の形態においては、符号化部130は、H.264/AVC規格に準拠した符号化部である。
カラーフォーマット変換側においても、H.264/AVCの復号部450で符号化データ131を復号する。符号化部130が非可逆圧縮を行った場合、画像復号実施後の画像データ451は、画像符号化実施前の画像データ421とは異なってよい。
復号すると、色要素A´´、C´´´、S´´´で表現された画像データ451が得られる。次に、色空間変換係数sA、sC、sS、mA、mC、mSを用いて、係数予測部440で残りのカラーフォーマット逆変換係数を予測する。
ACS4:2:0カラーフォーマットの復号映像データは、次のように、RGB4:4:4カラーフォーマットの復号映像データに変換される。第1ステップとして、以下の式6にしたがい、スケーリング・平均化調整を行う。
第2ステップでは、RGB4:4:4カラーフォーマットの復号画像データを算出する。この復号画像データの3種類の色要素は、R〜、G〜、B〜と称される。ここで、記号「〜(チルダ)」は、それぞれ直前の文字の上に付される記号を示し、本明細書では、以下、記号「〜(チルダ)」を同様な意味で使用する。x=0,2,4・・・、y=0,2,4・・・の位置にあるR〜、G〜、B〜を算出するには、以下の式7を用いる。
フィルタ長nとフィルタ係数w1,A,R、w1,A,G、w1,A,B、w1,C,R(i)、w1,C,G(i)、w1,C,B(i)、w1,S,R(i)、w1,S,G(i)、w1,S,B(i)は、係数予測部440で予測される逆変換係数である。x=0,2,4・・・、y=1,3,5・・・の位置にあるR〜、G〜、B〜を算出するには、以下の式8を用いる。
x=1,3,5・・・、y=0,2,4・・・の位置にあるR〜、G〜、B〜を算出するには、以下の式9を用いる。
フィルタ係数w2,A,R、w2,A,G、w2,A,B、w2,C,R(i,j)、w2,C,G(i,j)、w2,C,B(i,j)、w2,S,R(i,j)、w2,S,G(i,j)、w2,S,B(i,j)は、係数予測部440で予測される逆変換係数である。x=1,3,5・・・、y=1,3,5・・・の位置にあるR〜、G〜、B〜を算出するには、以下の式10を用いる。
次に、色要素R〜、G〜、B〜を次の整数に丸めることにより、それぞれ元のR、G、B色要素の値域にする。
本実施の形態において、逆変換係数は、色空間変換係数であるsA、sC、sS、mA、mC、mS、およびフィルタ係数であるw1,A,R、w1,A,G、w1,A,B、w1,C,R(i)、w1,C,G(i)、w1,C,B(i)、w1,S,R(i)、w1,S,G(i)、w1,S,B(i)、w2,A,R、w2,A,G、w2,A,B、w2,C,R(i,j)、w2,C,G(i,j)、w2,C,B(i,j)、w2,S,R(i,j)、w2,S,G(i,j)、w2,S,B(i,j)である。
元の色要素R、G、Bと、復号済み色要素R〜、G〜、B〜との間の平均2乗誤差を最小にすることにより、フィルタ係数を予測する。この基準によって、すべてのフィルタ係数を確実に算出できる。
カラーフォーマット逆変換係数の伝送に必要なデータレートを下げるために、これらの係数は、例えば、ハフマン(Huffman)符号化、ゴロム(Golomb)符号化、指数ゴロム(exponential Golomb)符号化、算術符号化、または、これら以外の可変長符号化方法によって、係数符号化部460で符号化され、符号化カラーフォーマット逆変換係数461としてチャネル140から出力される。また、必要に応じて、チェックサムまたは前方誤り訂正符号化によるデータ保護も可能である。
符号化データ401および符号化カラーフォーマット逆変換係数402は、チャネル140を通じて伝送され、画像復号装置20に受信される。図4Bに示される画像復号装置20は、復号部470と、カラーフォーマット逆変換部480と、係数復号部490とを備える。
符号化カラーフォーマット逆変換係数402は、係数復号部490で復号され、カラーフォーマット逆変換係数491がカラーフォーマット逆変換部480に供される。受信した符号化データ401は、H.264/AVCの復号部470で復号され、復号された画像データ471がカラーフォーマット逆変換部480に供される。そして、上述のように、受信したカラーフォーマット逆変換係数491を用いてカラーフォーマット逆変換を行う。アップサンプリングと色空間逆変換は、本実施の形態では、カラーフォーマット逆変換の単一ステップにおいて行われているが、別々に行われてもよい。また、アップサンプリングおよび色空間逆変換のいずれか一方のみを行うことも可能である。このような場合、色空間逆変換用とアップサンプリング用で別々の係数が必要になる場合がある。その後、丸められた色要素R〜、G〜、B〜で表現された画像データ481は、ディスプレイ170に送られる。
図6A及び図6Bは、本発明の他の実施形態に係るカラーフォーマットの変換および逆変換を備える伝送チェーン回路を示すブロック図である。ここで、図6Aは送信側の画像符号化装置10を示し、図6Bは受信側の画像復号装置20を示す。また、図7Aは図6Aの画像符号化装置10の動作を、図7Bは図6Bの画像復号装置20の動作を示すフローチャートである。
図6Aに示される画像符号化装置10は、カラーフォーマット変換部600と、符号化部130と、復号部450と、色空間予測部630と、補間フィルタ係数予測部640と、色空間逆変換予測部650と、アップサンプリング・補間部660と、補助情報符号化部670とを備える。また、カラーフォーマット変換部600は、色空間変換部610と、フィルタリング・サブサンプリング部620とを備える。
色空間予測部630は、カメラ110から取得した原画像(カラー画像)111の特性に基づいて色空間変換係数を算出する。色空間変換部610は、色空間予測部630で算出された色空間変換係数に基づいて原画像データ111の色空間を第1の色空間から第1の色空間と異なる第2の色空間に変換して色空間変換済みカラー画像を生成する。フィルタリング・サブサンプリング部620は、色空間変換済みカラー画像に含まれるサンプルの一部を除去してサブサンプリング済みカラー画像を生成する。
符号化部130は、サブサンプリング済みカラー画像を符号化して符号化済みカラー画像を生成する。復号部450は、符号化済みカラー画像を復号して復号済みカラー画像を生成する。アップサンプリング・補間部660は、復号済みカラー画像のサンプルを補間して補間済みカラー画像を生成する。
補間フィルタ係数予測部640は、サンプルを補間するアップサンプリング処理に用いられるアップサンプリング係数を算出する。より具体的には、復号済みカラー画像と前記色空間変換済みカラー画像との平均2乗誤差が最小となるように、アップサンプリング係数を算出する。
色空間逆変換予測部650は、色空間を第2の色空間から第1の色空間に逆変換するための色空間逆変換係数を算出する。具体的には、補間済みカラー画像の色空間を第2の色空間から第1の色空間に逆変換して色空間逆変換済みカラー画像を生成する。そして、色空間逆変換済みカラー画像とカラー画像との平均2乗誤差が最小となるように、色空間逆変換係数を算出する。
補助情報符号化部670はアップサンプリング係数、色空間逆変換係数、及び色空間変換係数を含む補助情報を符号化して符号化済み補助情報を生成する。そして、当該画像符号化装置10は、符号化済みカラー画像及び符号化済み補助情報をチャネル140に出力する。
ここでは、色空間逆変換の逆変換係数と補間フィルタリングの逆変換係数とを別々に予測する。これに応じて、逆変換側でも、アップサンプリングおよび補間フィルタリングは、色空間逆変換とは別に行われる。図6A及び図7Aを参照して、画像符号化装置10の動作を説明する。
図4A及び図4Bに示した処理と同様、カメラ110はRGB4:4:4フォーマットの原画像データ111を提供する(S11)。この原画像データ111は、色空間予測部630での色空間予測に用いられ、そこで変換マトリクスTKLTが決定される。そして、予測された変換が行われると、入力された原画像データ111の色空間は、色空間変換部610で決定された変換に応じた適応的色空間の画像データ611に変換される(S12)。ACS4:4:4カラーフォーマットに色空間変換された画像データ611は、次に、フィルタリング・サブサンプリング部620でフィルタリングおよびサブサンプリングされて、ACS4:2:0カラーフォーマットの画像データ621になる(S13)。ACS4:4:4カラーフォーマットの画像データ621は、H.264/AVCの符号化部130で符号化され(S14)、符号化データ622として復号部450に送られる(S15)。
復号後、得られたデータは補間フィルタ係数予測部640に用いられる(S16)。補間フィルタはウィナーフィルタであると予測されることがある。この場合は、アップサンプリングおよび補間が行われたACS4:2:0カラーフォーマットの復号画像データと、ACS4:4:4カラーフォーマットの画像データ611との間の平均2乗誤差を最小にすることにより、フィルタ係数を予測する。その他の予測基準も可能である。例えば、データレートおよび平均2乗誤差のラグランジュ・コスト(Lagrangian costs)を最小にすることもできる。画像データは、アップサンプリング・補間部660で予測されたフィルタ係数を用いてアップサンプリングされて補間される。また、アップサンプリングされた画像データは、色空間逆変換予測部650での色空間逆変換の予測にも用いられる(S17)。色空間逆変換予測部650は、ACS4:4:4カラーフォーマットの復号画像データおよびRGB4:4:4カラーフォーマットの原画像データ111だけでなく、色空間予測部630によって予め決定されている色空間変換パラメータも用いて、予測を行う。これによって、色空間逆変換係数は、RGB4:4:4カラーフォーマットの復号画像データと、RGB4:4:4カラーフォーマットの原画像データとの間の平均2乗誤差を最小にすることにより、予測されてもよい。そして、補間フィルタ係数および色空間逆変換係数は、補助情報符号化部670で符号化され(S18)、符号化補助情報671として符号化データ622と共に伝送される(S19)。
受信側の画像復号装置20は、図6Bに示されるように、復号部470と、補助情報復号部675と、アップサンプリング・補間部680と、色空間逆変換部690とを備える。この画像復号装置20は、チャネル140を通じて、符号化済みカラー画像、及び符号化済み補助情報を取得する。復号部470は、符号化済みカラー画像を復号して復号済みカラー画像を生成する。補助情報復号部675は、符号化済み補助情報を復号して復号済み補助情報を生成する。
アップサンプリング・補間部680は、アップサンプリング係数を用いて復号済みカラー画像のサンプルを補間することにより、補間済みカラー画像を生成する。色空間逆変換部690は、色空間逆変換係数を用いて補間済みカラー画像の色空間を第2の色空間から第1の色空間に逆変換することにより、カラー画像を生成する。
図6B及び図7Bを参照して、画像復号装置20の動作を説明する。まず、チャネル140を通じて、符号化データ601及び符号化補助情報602を取得する(S21)。符号化データ601は、復号部470で復号されて画像データ603となる(S22)。一方、符号化補助情報602は、補助情報復号部675で復号されて補間フィルタ係数604及び色空間逆変換係数605となる(S23)。補間フィルタ係数604は、復号部470で符号化データ601から復号された画像データ603と共にアップサンプリング・補間部680に供される。この補間フィルタ係数604を用いて、画像データ603の補間フィルタリングが行われる(S24)。その結果、ACS4:4:4色空間の画像データが得られ、これを、色空間逆変換部690で色空間逆変換係数605を用いて、さらに色空間逆変換される(S25)。そして、これによって得られた画像をディスプレイ170に表示する(S26)。
本発明に係るカラーフォーマットの変換部および逆変換部の構成の他の例を図8A及び図8Bに示す。ここで、図8Aは送信側の画像符号化装置10を示し、図8Bは受信側の画像復号装置20を示す。
本実施の形態では、適応的色空間変換に代え、標準的な色空間変換部710で色空間変換を行う。ここでは、色空間変換部710によって、RGB4:4:4カラーフォーマットがYUV4:4:4カラーフォーマットに変換されるが、他の色空間でもよい。
図8Aに示される画像符号化部10は、符号化部130と、復号部450と、色空間変換部710と、フィルタリング・サブサンプリング部720と、補間フィルタ係数予測部730と、補助情報符号化部740とを備える。
カメラ110によって提供された原画像データ111は、色空間変換部710によって、この例ではYUV4:4:4カラーフォーマットに変換される。得られた画像データ711は、次に、フィルタリング・サブサンプリング部720でフィルタリングおよびサブサンプリングされて、YUV4:2:0フォーマットの画像データ721となり、これがその後、H.264/AVCの符号化部130で符号化される。符号化データ722は、次に、復号部450で復号され、補間フィルタ係数予測部730での補間フィルタ係数の予測に用いられる。この予測は、前述の実施の形態と同様、画像データ711と復号画像データとの間の平均2乗誤差を最小にすることにより、係数を予測するウィナーフィルタ予測であってもよい。また、他の線形または非線形予測方法を用いることも可能である。必要に応じて、RGB以外の色空間、例えばYUV色空間における、補間フィルタ係数および色空間逆変換係数を最適化することも可能である。
予測された補間フィルタ係数731は、その後、補助情報符号化部740で符号化され、符号化補助情報741として符号化データ722と共に伝送される。
受信側の画像復号装置20は、図8Bに示されるように、復号部470と、アップサンプリング・補間部750と、補助情報復号部760と、色空間逆変換部770とを備える。符号化データ701は、H.264/AVCの復号部470によって復号されて画像データ703となる。また、符号化データ701と共に受信した符号化補助情報702は、補助情報復号部760で復号されて補間フィルタ係数704となる。そして、アップサンプリング・補間部750は、画像データ703及び補間フィルタ係数704を用いて、アップサンプリング及び補間フィルタリングを行う。アップサンプリング後、標準的な色空間逆変換部770によって、YUV4:4:4の画像データ751をRGB4:4:4色空間の画像データ771に変換する。その後、RGB4:4:4の画像データ771をディスプレイ170に表示する。
図9は、本発明に係る他の実施の形態を示す。ここでは、カラーフォーマット変換部310および決定部320は画像符号化装置10の構成要素であり、画像符号化装置10は、画像圧縮部830をさらに備える。本発明に係るカラーフォーマットの変換は、例えば、H.264/AVC、DIRAC、JPEG2000、それ以降の各規格などの画像規格または映像規格に、任意または必須の特徴として含ませてよい。また、特許製品であるビデオエンコーダの一部であってもよい。そして、圧縮映像と、圧縮映像の復号に必要な情報要素と、色空間逆変換パラメータとを含む符号化ビデオストリームの一部として、カラーフォーマット逆変換係数321を提供することが可能である。カラーフォーマット逆変換係数321は、ビデオデータ情報を含むパケットに含ませて送信されてもよく、補助情報として別のパケットで送信されてもよい。これによって、さらに、ゴロム(Golomb)符号、指数ゴロム(exponential Golomb)符号、算術符号化、ハフマン(Huffman)符号などのエントロピー符号、または、これら以外のエントロピー符号を用いて、カラーフォーマット逆変換パラメータを符号化してよい。使用するエントロピー符号は、映像データおよび/または映像データ関連の情報要素を符号化するのに用いたエントロピー符号に対応するものでもよく、色空間逆変換パラメータ用に特別に設計し、かつ、その統計値に適応させたエントロピー符号でもよい。
これに対応して、カラーフォーマット逆変換部330および画像伸張部850は、画像復号装置20の構成要素である。カラーフォーマット逆変換係数322は、ビデオストリームの一部になっているか、別の補助情報になっているかは上記の画像符号化装置10によって異なるが、画像/映像データと共にチャネル140から取得される。これらは、さらにエントロピー復号され、チャネル140から取得して画像伸張部850で伸張した画像データ312と共に、カラーフォーマット逆変換部330に供される。画像の伸張は、映像復号装置または画像復号装置の現在または未来の規格製品または特許製品によって、実行することが可能である。具体的には、復号部として、H.264/AVC、DIRAC、JPEG2000が考えられる。
ここで、カラーフォーマットの変換および逆変換は、上記実施の形態のいずれかにしたがって行われればよく、色空間の変換、および/または補間フィルタリングの予測を含んでもよい。
本発明の他の実施形態によれば、また図9によれば、カラーフォーマット逆変換係数321は、チャネル140を通じて伝送されるとともに、画像圧縮部830に供される。同様に、受信側の画像復号装置20において、チャネル140から取得されたカラーフォーマット逆変換係数322は、カラーフォーマット逆変換部330に供されるとともに、画像伸張部850にも供される。この特徴、つまりカラーフォーマット逆変換係数321を画像符号化装置10および/または画像復号装置20に供することは、言うまでもなく、図3、図4A、図4B、図6A、図6B、図8A、および図8Bに示した上記実施の形態のいずれに適用してもよく、本発明の他の実施形態に適用してもよい。カラーフォーマット逆変換係数321を画像圧縮部830に供することは、画像圧縮部830において時間的な予測を行う場合、特に良い。例えば、予測フレームの色空間が参照フレームの色空間と異なるなど、同じピクチャ・グループ内で色空間が変化する場合には、予測を容易にするために、符号化装置で色空間の変換および逆変換を行う必要がある。そのためには、カラーフォーマット逆変換係数321が必要である。
同様に、画像復号装置20側においても、同じピクチャ・グループ内でカラーフォーマットを変化させながら時間的な予測を行って符号化したビデオストリームを復号するには、カラーフォーマット逆変換係数322が画像伸張部850に供されなければならない。
上述の各構成は、画像データまたは映像データの異なる部分に適用可能である。例えば、カラーフォーマット逆変換係数は、マクロブロック、マクロブロック・グループ、スライス、フィールド、ピクチャ、ピクチャ・グループなど、画像または映像の一部分について、決定されるものであってよい。係数が決定される対象部分が小さいほど、入力画像に対しても、対象部分相互間においても、よく適応した変換および逆変換が行われる。一方、カラーフォーマット係数を伝送するには、レートを上げる必要があるので、場合によっては、係数を変更しないでおく映像部分の最適サイズを見つけるようにすることも可能である。この最適条件は、用途によって異なるものであっても、符号化設定によって異なるものであってもよい。係数が決定される部分は、固定とすることも、可変とすることも可能である。例えば、異なる色空間にすることで、および/または、補間を行うことで、画像/映像コンテンツが変化した場合など必要な場合にカラーフォーマット逆変換係数を送るようにしてもよい。
カラーフォーマット逆変換係数を決定および/または提供する頻度は、必ずしも、色空間係数および補間フィルタ係数の場合と同じである必要はない。映像の一部分、例えばピクチャ・グループ内では、色空間が変わらないのであれば、より小さな部分を補間およびサブサンプリングするためのパラメータを伝送した方が良いということもある。
映像の予測符号化(H.264/AVC規定のもの等)の場合、現ピクチャの予測に使用する参照ピクチャを予測用に現ピクチャと同じ色空間に変換してもよい。
H.264/AVCの符号化装置および復号装置を用いる符号化方法の場合、カラーフォーマット変換係数は、H.264/AVC規格のいわゆる補助的拡張情報(SEI)メッセージによって伝送されてもよい。
CCD/CSMOカメラのサンプリング・グリッドが、ベイヤーパターンにしたがったサンプリング・グリッドなど、一般的な4:4:4サンプリング・グリッドでない場合には、同じ位置にあるRGBサンプルもカラーフォーマット変換係数の予測に用いてよい。カメラ内にあるRGB信号の元のサンプリング・グリッドに関する情報も、符号化して受信器に送信することが可能である。ここでは、複数の所定のサンプリング・グリッドのうち、1つのサンプリング・グリッドを示すインジケータの符号化および伝送が可能である。また、サンプリング・グリッドに関する全情報の符号化および伝送も可能である。このことは、サンプリング・グリッドが規定のものでない場合に役立つ。
さらに、第1色空間から第2色空間に色空間変換を行う一方で、第2色空間から第1色空間に色空間を逆変換するためのカラーフォーマット逆変換係数を決定してもよい。この方法は、ディスプレイがカラーフォーマット変換入力データの色空間とは異なる色空間を使用しているときに、好都合な場合がある。
上述した実施の形態では、画像データまたは映像データの送信および受信について説明したが、これら全ての実施の形態は、格納および読み出しについても同様に参照されてよい。このような場合、チャネル140は、ハードディスク、光媒体、磁気媒体、USBスティックなどのフラッシュメモリなどの記憶媒体である。
(その他変形例)
なお、本発明を上記各実施の形態に基づいて説明してきたが、本発明は、上記の各実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
なお、本発明を上記各実施の形態に基づいて説明してきたが、本発明は、上記の各実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
上記の各装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記RAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
上記の各装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成要素部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。
上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なICカードまたは単体のモジュールから構成されているとしてもよい。前記ICカードまたは前記モジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。前記ICカードまたは前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ICカードまたは前記モジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray Disc)、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
以上、図面を参照してこの発明の実施形態を説明したが、この発明は、図示した実施形態のものに限定されない。図示した実施形態に対して、この発明と同一の範囲内において、あるいは均等の範囲内において、種々の修正や変形を加えることが可能である。また、上述の各実施形態は、本発明の目的を逸脱しない範囲で、任意に組み合わせることができる。
本発明は、画像符号化方法(装置)及び画像復号方法(装置)に有利に利用される。
10 画像符号化装置
20 画像復号装置
110 カメラ
111 原画像データ
120,410,610,710 色空間変換部
121,151,161,211,221,311,312,331,411,421,451,471,481,603,611,621,711,721,703,751 画像データ
130 符号化部
131,401,601,622,701,722 符号化データ
140 チャネル
150,450,470 復号部
160,690,770 色空間逆変換部
170 ディスプレイ
201,310,400,600 カラーフォーマット変換部
202,330,480 カラーフォーマット逆変換部
210,420,620,720 フィルタリング・サブサンプリング部
220,660,680,750 アップサンプリング・補間部
320 決定部
321,322,491 カラーフォーマット逆変換係数
402,461 符号化カラーフォーマット逆変換係数
430,630 色空間予測部
440 係数予測部
460 係数符号化部
490 係数復号部
602,671,702,741 符号化補助情報
604,704,731 補間フィルタ係数
605 色空間逆変換係数
640,730 補間フィルタ係数予測部
650 色空間逆変換予測部
670,740 補助情報符号化部
675,760 補助情報復号部
830 画像圧縮部
850 画像伸張部
20 画像復号装置
110 カメラ
111 原画像データ
120,410,610,710 色空間変換部
121,151,161,211,221,311,312,331,411,421,451,471,481,603,611,621,711,721,703,751 画像データ
130 符号化部
131,401,601,622,701,722 符号化データ
140 チャネル
150,450,470 復号部
160,690,770 色空間逆変換部
170 ディスプレイ
201,310,400,600 カラーフォーマット変換部
202,330,480 カラーフォーマット逆変換部
210,420,620,720 フィルタリング・サブサンプリング部
220,660,680,750 アップサンプリング・補間部
320 決定部
321,322,491 カラーフォーマット逆変換係数
402,461 符号化カラーフォーマット逆変換係数
430,630 色空間予測部
440 係数予測部
460 係数符号化部
490 係数復号部
602,671,702,741 符号化補助情報
604,704,731 補間フィルタ係数
605 色空間逆変換係数
640,730 補間フィルタ係数予測部
650 色空間逆変換予測部
670,740 補助情報符号化部
675,760 補助情報復号部
830 画像圧縮部
850 画像伸張部
本発明は、複数の色要素からなるカラー画像の変換および逆変換ならびに、これらに対応する装置に関する。
カラー画像を撮像するためのデジタルビデオカメラまたはデジタルカメラは、異なるカラーフィルタでフィルタリングされた光の強度を感知できるセンサを備える。このようなセンサの上には、赤および緑の行と緑および青の行とを交互にモザイク状に配列した赤、青、緑のフィルタからなる、いわゆるベイヤーフィルタを被せることができる。緑のフィルタが多用されるのは、赤色および青色よりも緑色に対して人間の目の感度が高いことを反映している。撮像されたカラーサンプルのモザイクは、典型的には、格納効率およびディプレイへの描画効率が高められる別の色空間に変換される。この変換は「デモザイク」と称される。通常、赤、緑、青のサンプルからなるモザイクは、同じく赤(R)、緑(G)、青(B)のサンプルからなるRGB色空間に変換される。
RGB色空間のカラー画像(RGB画像)は、3色の色要素、すなわち赤、緑、青からなる、いわゆる画素で構成される。各コンポーネントの値は、画素の色を再現するために必要な赤、緑、青の光の強度を示す。画素は、画像の最小構成単位である。各RGB画像の各画素の色要素は、RGB色空間内において、この画素の座標(r,g,b)として示すことができる。これらの座標の値は、qビットを用いて量子化される。1画素あたりのビット数は、色深度としても知られているものである。本願では、大抵の場合、すべての色要素に対してq=8またはq=16の値を一律に適用し、それぞれ24ビットまたは48ビットの色深度にする。一般には、色要素ごとに、さらには画素ごとに、ビット数を変えて量子化することもある。
RGB画像の画素は、N×Mサイズのマトリクスに配列され、画像の(空間)解像度とも称される。NおよびMの値が3色の色要素すべてについて同じであれば、つまり画像の色要素値を3色の同じサイズの色要素に整理可能な場合には、そのような画像のカラーフォーマットは、RGB4:4:4と称される。RGB4:4:4カラーフォーマットのデータを直接取得できるセンサもある。一般に、単一の画像の色要素は、色要素ごとに異なるサンプリング・グリッドが適用された結果、サイズが異なる場合がある。画像の色要素の値は、例えば、その画像をディスプレイ画面に描画したり、カメラまたは外部ストレージに格納したり、印刷したり、追加的な処理を行ったり、伝送チャネル経由で伝送するときに用いることができる。
追加的な処理とは、例えば、別の色空間への変換、および/または、色要素の選択的サブサンプリングを含むカラーフォーマット変換などである。サブサンプリングの前には、フィルタリングが行われる。
さらに、伝送目的および格納目的の場合、一般には、規格製品または特許製品である画像符号化装置または映像符号化装置を使用して、所定のカラーフォーマットのカラー画像、または、このようなカラー画像が映像を構成する場合にはそのシーケンスを符号化する。符号化は、画像または映像の格納または伝送に必要なデータ量を削減するために行われる。このような符号化には、規格化あるいは特許取得されている様々な可逆および/または非可逆圧縮メカニズムを用いればよい。
符号化した画像または映像をディスプレイに描画するためには、画像データをチャネル経由で受信するか、ストレージから取り込んで、復号しなければならない。符号化処理を逆に行う復号により、符号化に使用したカラーフォーマットの画像を取得する。今日のディスプレイは、大抵の場合、RGB4:4:4カラーフォーマットの値に基づく信号を用いて、表示画素の駆動を制御する。したがって、復号後、このカラーフォーマットへの変換が必要となる場合がある。復号後のカラーフォーマットの逆変換は、サブサンプリングが行われていた場合には、サブサンプリングしたカラー画像のアップサンプリングを含んでもよい。アップサンプリングは、通常、補間フィルタを用いて行われる。
図1は、従来技術の映像伝送チェーン回路の一例を示す。
ビデオカメラまたはカメラ110は、現実シーンを撮像すると、第1カラーフォーマットの、具体的にはカラーサンプルあたり8ビットのRGB4:4:4カラーフォーマットの、原画像データ111を送り出す。RGB4:4:4フォーマットの原画像データ111は、次に、異なる色空間に変換されるが、このケースでは、YUV色空間などの、異なる色要素を用いた色空間に変換される。この色空間において、入力された原画像データ111は、Yと表記される輝度と、U、Vと表記される2種類の異なる色要素(色差)とに分けられる。YUV色空間のデータを取得するには、色空間変換部120で色空間変換を適用する。よって、R、G、Bの重み値を加算することで、対象の画素の全体の明るさ、すなわち輝度を示す単一のY信号を生成する。次に、元のRGBの青の信号からY信号を減算し、スケーリングすることにより、U信号を得る。これに応じて、赤からYを減算し、異なる係数でスケーリングすることによって、V信号を得る。このようにしてYUV色空間で得た画像データ121は、撮像した画像の光の強度に対応した輝度成分と、この輝度成分よりも典型的にかなり平滑である2種類の色差成分とを含む。色差画像が平滑であれば、より良く圧縮できる。
YUV色空間における画像データ121のサイズは、この時点では、RGB4:4:4フォーマットの原画像データ111と同じである。すなわち、輝度および2つの色差の3つの値が1画素につき8ビットずつ記憶されている。この画像フォーマットは、YUV4:4:4フォーマットと称される。YUV4:4:4フォーマットの画像データ121は、その後、符号化部130によって圧縮され、チャネル140経由で伝送される。この例における符号化部130は、H.264/AVCビデオ符号化を行う。ここで使用するチャネル140は、例えば、有線、無線を問わず、どのような形態のネットワークであってもよく、また磁気ディスク、光ディスク、フラッシュメモリ、磁気光記憶媒体などのストレージであってもよい。
ディスプレイ170に画像または映像を描画するためには、まず、データをチャネル140から取得/受信し、復号部150で復号する。復号部150は、符号化部130とは逆の処理を行う。符号化部130が非可逆圧縮を行っていれば、再構築後のYUV4:4:4フォーマットの画像データ151は、元のYUV4:4:4フォーマットの画像データ121とは異なる場合がある。復号した後、色空間逆変換部160で色空間逆変換を適用して、復号RGB4:4:4フォーマットの画像データ161を取得すると、それをディスプレイ170に表示したり、さらには格納または印刷することが可能になる。
図2は、従来技術の伝送チェーン回路の他の例を示す。カメラ110で現実シーンを撮像する。カメラ110から出力されるのは、RGB4:4:4カラーフォーマットの原画像データ111である。YUV4:4:4フォーマットの画像データ121を取得するために、次に、RGB4:4:4フォーマットの原画像データ111に色空間変換部120で色空間変換を行う。色空間を変換すると、大抵の場合、YUV4:4:4フォーマットの画像の色差成分U、Vは、輝度成分Yと比べて平滑になる。この段階で既に、画像の伝送/格納に必要なデータ量を削減できる程度に平滑である。これを実行するには、色差成分を左右方向および/または上下方向にフィルタリング・サブサンプリング部210でサブサンプリングする。サブサンプリングとは、例えば、一定のサンプルを除外することで1画像あたりのサンプル数を削減することである。除外されなかったサンプルが含まれるサブサンプリング・グリッドは、原画像またはフィルタリングされた画像の値のサブセットであり、通常、規則的な形状を有する。サブサンプリングを行う前に、通常はローパスフィルタであるが、何らかのフィルタを適用してもよい。ローパスフィルタには、この目的に使用するものとして、国際標準化機構(ISO)によって提案され、動画像符号化専門家グループ(MPEG)およびビデオ符号化専門家グループ(VCEG)のコミュニティで承認されているものがいくつかある。このフィルタリング済み画像をサブサンプリングするには、例えば、隔行および隔列ごとに行および列を省いて、色差成分値の数を輝度成分値の数の4分の1にする。このようなフォーマットは、YUV4:2:0フォーマットと称される。このように、この場合のカラーフォーマット変換部201は、色空間変換部120と、フィルタリング・サブサンプリング部210とを含む。原画像データ111の色空間が既に所望のものであれば、カラーフォーマット変換部201は、サブサンプリング(場合によっては、フィルタリングも加える)だけでもよい。第2カラーフォーマットYUV4:2:0の画像データ211は、次に、符号化部130で符号化され、チャネル140に格納されるか、チャネル140経由で伝送されてから、復号部150によって復号される。他のサブサンプリング・グリッドを使用することも可能であり、例えば、(フィルタリングされた)色差成分を隔列ごとに省いた4:2:2グリッドでも、その他のサブサンプリング・グリッドでもよい。
符号化部130は、例えば、画像圧縮規格のJPEGもしくはJPEG2000や映像符号化規格のH.261、H.263、H.264/AVC、MPEG−1、MPEG−2、MPEG−4など、規格化あるいは特許取得されている画像標準または映像標準にしたがった画像符号化部または映像符号化部である。このような符号化部は、一般に、画像データをより小さなブロックに細かく分割し、そのデータをブロックごとに線形変換(例えば、離散コサイン変換)によって変換してから、変換したデータをエントロピー符号化部によって効率的に符号化するといった動作を行う。動き補償や空間予測など、他の技術を採用してもよい。これらすべての処理において、画像の輝度成分と色差成分とは、通常、別々に取り扱われる。
チャネル140から受信/取得したデータは、使用した符号化部130に対応する復号部150によって復号される。YUV4:2:0フォーマットの画像データ151は、次に、アップサンプリング・補間部220及び色空間逆変換部160を備えるカラーフォーマット逆変換部202に入力され、失った画素を補間することによって、サブサンプリングされた色差成分を元のサイズにアップサンプリングする。次に、YUV4:4:4カラーフォーマットの画像データ221を、色空間逆変換部160によって、RGB色空間に逆変換した後、得られたRGB4:4:4カラーフォーマットの画像データ161をディスプレイ170に表示するか、印刷または格納する。
カラーフォーマット変換部201は、色空間変換部120と、フィルタリング・サブサンプリング部210とを含み、画像データの格納効率または符号化部130による画像データの符号化効率が高められるような前処理を画像データに施す。色空間変換を行うだけでは、1画素あたりの色要素の量は減少しないが、上述のようなサブサンプリング処理(YUV4:4:4からYUV4:2:0にする処理)をすれば、1画素あたりの色要素の量は元の半分にまで減少する。画像コンテンツによっては、補間後にこのような減少があっても、人間の目ではほとんど知覚できない。特に、自然画像の場合、目立った劣化もなく、アップサンプリング・補間部220によって再構成することが可能である。一般に、YUV色空間に変換する色空間変換部120では、残った色要素から輝度成分を減算することによって、既に色要素同士の相互相関度を下げている。
しかし、他の種類の色空間変換によれば、より良い結果が得られる可能性がある画像もある。ほとんどの場合は、固定型の補間フィルタで充分である。しかしながら、他の種類のフィルタを使用してフィルタリングした方が好都合なコンテンツを含む画像は、必ず存在するであろう。画像コンテンツによっては、サブサンプリングの後にアップサンプリングを行うと、アーチファクトが目立ってしまうことになる。画像再構成の質は、圧縮ゲインと同様、カラーフォーマット(色空間、サブサンプリング)次第で、かつ符号化対象の画像または映像の性質次第で、大きく変わってくる。さらに、今日ほとんどの映像符号化規格において用いられているYUV色空間は、符号化目的からすると必ずしも効率的なものではなく、符号化(圧縮)ゲインには限界がある。また、通常、アップサンプリングは、固定型補間フィルタを用いて行われるが、そのようにしてアップサンプリングされた画像には、目障りなばらつきが生じることがある。
本発明の目的は、上述の課題を解決し、各種画像コンテンツについて効率の良いカラーフォーマットの変換および逆変換を行う方法および装置を提供することである。
本発明の一形態に係る画像符号化方法は、カラー画像を符号化する。具体的には、前記カラー画像の色空間を第1の色空間から前記第1の色空間と異なる第2の色空間に変換して色空間変換済みカラー画像を生成する色空間変換ステップと、前記色空間変換済みカラー画像に含まれるサンプルの一部を除去してサブサンプリング済みカラー画像を生成するサブサンプリングステップと、前記サブサンプリング済みカラー画像を符号化して符号化済みカラー画像を生成する符号化ステップと、サンプルを補間するアップサンプリング処理に用いられるアップサンプリング係数を算出するアップサンプリング係数算出ステップと、色空間を前記第2の色空間から前記第1の色空間に逆変換するための色空間逆変換係数を算出する色空間逆変換係数算出ステップと、前記符号化済みカラー画像、前記アップサンプリング係数、及び前記色空間逆変換係数を出力する出力ステップとを含む。
上記構成のように、画像復号装置で用いるパラメータ(色空間逆変換係数及びアップサンプリング係数)を画像符号化装置で算出することにより、画像復号装置の複雑さが低減される。また、上記パラメータの算出に画像符号化装置でのみ利用可能な原画像(カラー画像)を利用することができるので、復号画像の品質が改善される。なお、サブサンプリング及びアップサンプリングにおける「サンプル」とは、例えば、画素値であってもよいし、色要素、より具体的には、各画素の色差成分であってもよい。
さらに、該画像符号化方法は、前記符号化済みカラー画像を復号して復号済みカラー画像を生成する復号ステップと、前記復号済みカラー画像のサンプルを補間して補間済みカラー画像を生成するアップサンプリングステップとを含む。そして、前記アップサンプリング係数算出ステップでは、前記復号済みカラー画像と前記色空間変換済みカラー画像との平均2乗誤差が最小となるように、前記アップサンプリング係数を算出してもよい。
さらに、該画像符号化方法は、前記補間済みカラー画像の色空間を前記第2の色空間から前記第1の色空間に逆変換して色空間逆変換済みカラー画像を生成する色空間逆変換ステップを含む。そして前記色空間逆変換係数算出ステップでは、前記色空間逆変換済みカラー画像と前記カラー画像との平均2乗誤差が最小となるように、前記色空間逆変換係数を算出してもよい。
画像データを符号化すると量子化ノイズが重畳されるので、符号化データを復号しても、符号化前の画像データと完全に同一の画像データを取得することはできない。そこで、色空間逆変換ステップは、単なる色空間変換ステップの逆処理ではなく、符号化の過程で重畳された量子化ノイズを除去する処理をも行う。つまり、色空間逆変換ステップで用いられる色空間逆変換係数は、符号化前及び復号後の画像の平均2乗誤差が最小となるように決定するのが望ましい。アップサンプリングステップについても同様である。
さらに、該画像符号化方法は、前記カラー画像の特性に基づいて色空間変換係数を算出する色空間予測ステップを含む。そして、前記色空間変換ステップでは、前記色空間予測ステップで算出された前記色空間変換係数に基づいて、前記カラー画像の色空間を前記第1の色空間から前記第2の色空間に変換し、前記出力ステップでは、さらに、前記色空間変換係数を出力してもよい。
さらに、該画像符号化方法は、前記アップサンプリング係数、前記色空間逆変換係数、及び前記色空間変換係数を含む補助情報を符号化して符号化済み補助情報を生成する補助情報符号化ステップを含む。そして、前記出力ステップでは、前記符号化済みカラー画像及び前記符号化済み補助情報を出力してもよい。
本発明の一形態に係る画像復号方法は、カラー画像を復号する。具体的には、符号化済みカラー画像、アップサンプリング係数、及び色空間逆変換係数を取得する取得ステップと、前記符号化済みカラー画像を復号して復号済みカラー画像を生成する復号ステップと、前記アップサンプリング係数を用いて前記復号済みカラー画像のサンプルを補間することにより、補間済みカラー画像を生成するアップサンプリングステップと、前記色空間逆変換係数を用いて前記補間済みカラー画像の色空間を前記第2の色空間から前記第1の色空間に逆変換することにより、カラー画像を生成する色空間逆変換ステップとを含む。
上記構成のように、画像符号化方法によって生成されたアップサンプリング係数及び色空間逆変換係数を用いてアップサンプリング処理及び色空間逆変換処理を実行することにより、符号化によって重畳された丸め誤差を除去することができる。また、上記の2処理を連続して実行することにより、処理を最適化することができる。
本発明の一形態に係る画像符号化装置は、カラー画像を符号化する。具体的には、前記カラー画像の色空間を第1の色空間から前記第1の色空間と異なる第2の色空間に変換して色空間変換済みカラー画像を生成する色空間変換部と、前記色空間変換済みカラー画像に含まれるサンプルの一部を除去してサブサンプリング済みカラー画像を生成するサブサンプリング部と、前記サブサンプリング済みカラー画像を符号化して符号化済みカラー画像を生成する符号化部と、サンプルを補間するアップサンプリング処理に用いられるアップサンプリング係数を算出するアップサンプリング係数算出部と、色空間を前記第2の色空間から前記第1の色空間に逆変換するための色空間逆変換係数を算出する色空間逆変換係数算出部と、前記符号化済みカラー画像、前記アップサンプリング係数、及び前記色空間逆変換係数を出力する出力部とを備える。
本発明の一形態に係る画像復号装置は、カラー画像を復号する。具体的には、符号化済みカラー画像、アップサンプリング係数、及び色空間逆変換係数を取得する取得部と、前記符号化済みカラー画像を復号して復号済みカラー画像を生成する復号部と、前記アップサンプリング係数を用いて前記復号済みカラー画像のサンプルを補間することにより、補間済みカラー画像を生成するアップサンプリング部と、前記色空間逆変換係数を用いて前記補間済みカラー画像の色空間を前記第2の色空間から前記第1の色空間に逆変換することにより、カラー画像を生成する色空間逆変換部とを備える。
本発明の一形態に係るプログラムは、コンピュータに、カラー画像を符号化させる。具体的には、前記カラー画像の色空間を第1の色空間から前記第1の色空間と異なる第2の色空間に変換して色空間変換済みカラー画像を生成する色空間変換ステップと、前記色空間変換済みカラー画像に含まれるサンプルの一部を除去してサブサンプリング済みカラー画像を生成するサブサンプリングステップと、前記サブサンプリング済みカラー画像を符号化して符号化済みカラー画像を生成する符号化ステップと、サンプルを補間するアップサンプリング処理に用いられるアップサンプリング係数を算出するアップサンプリング係数算出ステップと、色空間を前記第2の色空間から前記第1の色空間に逆変換するための色空間逆変換係数を算出する色空間逆変換係数算出ステップと、前記符号化済みカラー画像、前記アップサンプリング係数、及び前記色空間逆変換係数を出力する出力ステップとを含む。
本発明の他の形態に係るプログラムは、コンピュータにカラー画像を復号させる。具体的には、符号化済みカラー画像、アップサンプリング係数、及び色空間逆変換係数を取得する取得ステップと、前記符号化済みカラー画像を復号して復号済みカラー画像を生成する復号ステップと、前記アップサンプリング係数を用いて前記復号済みカラー画像のサンプルを補間することにより、補間済みカラー画像を生成するアップサンプリングステップと、前記色空間逆変換係数を用いて前記補間済みカラー画像の色空間を前記第2の色空間から前記第1の色空間に逆変換することにより、カラー画像を生成する色空間逆変換ステップとを含む。
本発明の一形態に係る集積回路は、カラー画像を符号化する。具体的には、前記カラー画像の色空間を第1の色空間から前記第1の色空間と異なる第2の色空間に変換して色空間変換済みカラー画像を生成する色空間変換部と、前記色空間変換済みカラー画像に含まれるサンプルの一部を除去してサブサンプリング済みカラー画像を生成するサブサンプリング部と、前記サブサンプリング済みカラー画像を符号化して符号化済みカラー画像を生成する符号化部と、サンプルを補間するアップサンプリング処理に用いられるアップサンプリング係数を算出するアップサンプリング係数算出部と、色空間を前記第2の色空間から前記第1の色空間に逆変換するための色空間逆変換係数を算出する色空間逆変換係数算出部と、前記符号化済みカラー画像、前記アップサンプリング係数、及び前記色空間逆変換係数を出力する出力部とを備える。
本発明の他の形態に係る集積回路は、カラー画像を復号する。具体的には、符号化済みカラー画像、アップサンプリング係数、及び色空間逆変換係数を取得する取得部と、前記符号化済みカラー画像を復号して復号済みカラー画像を生成する復号部と、前記アップサンプリング係数を用いて前記復号済みカラー画像のサンプルを補間することにより、補間済みカラー画像を生成するアップサンプリング部と、前記色空間逆変換係数を用いて前記補間済みカラー画像の色空間を前記第2の色空間から前記第1の色空間に逆変換することにより、カラー画像を生成する色空間逆変換部とを備える。
なお、本発明は、動画像符号化方法(装置)及び動画像復号方法(装置)として実現できるだけでなく、これらの機能を実現する集積回路として実現したり、そのような機能をコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、CD−ROM等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
これらは、独立請求項に記載した特徴によって達成される。
好ましい実施の形態は、従属請求項の主題である。
本発明の手法は、カラーフォーマット変換側でカラーフォーマット逆変換パラメータを決定することと、そのカラーフォーマット逆変換パラメータを画像または映像の変換データと共に提供するものである。本発明は、さらに、逆変換側でカラーフォーマット逆変換パラメータを受信し、カラーフォーマット逆変換処理に使用することを特徴とする。
カラーフォーマット変換側でカラーフォーマット逆変換パラメータを決定する利点は、(非変換)カラー原画像およびその元のフォーマットに関する全情報を利用可能なことである。さらに、変換側でカラーフォーマット逆変換パラメータを決定することによって、復号装置の複雑さが低減されるとともに、符号化装置において利用可能である情報を考慮して各種カラーフォーマットの逆変換係数を選択することができるため、品質が改善される。
本発明の第1の態様として、カラー画像を第1カラーフォーマットから第2カラーフォーマットに変換するカラーフォーマット変換方法を提供する。この方法は、カラー画像を第1カラーフォーマットから第2カラーフォーマットに逆変換する処理に用いるカラーフォーマット逆変換係数を決定するステップを含む。カラー画像のカラーフォーマットとは、画像の色要素が格納されるときのフォーマットであり、例えば、色空間および/またはサブサンプリングが含まれる。ここで、色空間を特定する方法としては、例えば、その色空間が、規格化されているもの、および/または周知のものである場合には、その名称によって特定し、そうでない場合は、公知の色空間から指定の色空間に変換する係数によって特定する。サブサンプリングは、サブサンプリング・グリッドおよび1サンプルあたりのビット数によって特定される。繰り返しになるが、特定のカラーグリッドは、例えば、4:4:4(サブサンプリングをしていないことを示す)、4:2:0または4:2:2など、規格化されて名称が付いているものがあり、後者2つは、1色要素あたりのサンプル数同士の比率を表したものである。4:2:0サンプリングが行われるサンプルの正確な位置は、ずれることがあり、よって、復号部/逆変換部は、符号化部/変換部から得られたサンプリング・グリッドそのものに関する情報を一律に受信するということはしない。
本発明の第2の特徴として、カラー画像を第1カラーフォーマットから第2カラーフォーマットに変換するカラーフォーマット変換部を提供する。このカラーフォーマット変換部は、カラー画像を第2カラーフォーマットから第1カラーフォーマットに逆変換する処理に用いるカラーフォーマット逆変換係数を決定する決定手段を備える。変換済み画像と決定されたカラーフォーマット逆変換係数は、例えば、有線、無線を問わず、なんらかの形態のチャネルを通じて伝送される。また、変換済み画像と決定されたカラーフォーマット逆変換係数は、USBスティックもしくはDVD、CD、BDなどの光または磁気のハードディスクまたは媒体を含む、各種ストレージまたは媒体に格納されてもよい。変換済み画像と決定されたカラーフォーマット逆変換係数は、ともに符号化されてもよい。
カラーフォーマット逆変換係数の決定は、変換対象のカラー画像の性質に基づくことが好ましい。これによって、カラー画像の性質にしたがった逆変換係数の適応的な選択が可能になる。カラー画像を逆変換して画質が劣化するかどうかは、その画像の性質によるので、カラーフォーマット逆変換パラメータを適応的に選択することによって、逆変換後の画像の画質が改善される。
好ましくは、上記決定にあたり、変換済みカラー画像をさらに逆変換し、逆変換済み画像の性質および適用した変換処理に基づいて、カラーフォーマット逆変換係数を予測する。さらに、非変換原画像を利用可能にしておくと良い。逆変換済み画像を、場合によっては非変換画像も共に、利用可能としておくことで、逆変換パラメータを、逆変換済み画像の性質に応じて、かつ適用したカラーフォーマットの変換に応じて、適応的に選択することが可能になる。カラーフォーマット逆変換パラメータは、所定のコスト関数を用いた線形または非線形の最適化方法によって、予測される。具体的には、第1カラーフォーマットのカラー画像と逆変換済み画像の両方を利用可能である場合、これらカラー画像と逆変換済み画像間の平均2乗誤差を最小にして予測を行うことが好ましい。
好ましくは、カラーフォーマットの変換において、カラー画像の色空間を第1色空間から第2色空間に変換する。カラーフォーマット逆変換係数には、色空間逆変換係数が含まれ、色空間逆変換とは、カラー画像を第2色空間から第1色空間に変換することである。第1色空間および第2色空間は、それぞれ、周知の色空間のいずれかであってもよい。例えば、赤、緑、青のコンポーネントに基づく色空間(RGB、sRGBなど)、輝度成分および色差成分に基づく色空間(YIQ、YUV、YCbCrなど)、色相および彩度に基づく色空間(HSV、HSIなど)、CMYK、その他の色空間などが挙げられる。
但し、予測した色空間変換係数を使って、カラー画像を第1色空間から第2色空間に変換するカラーフォーマット変換の場合、第2色空間は、変換するカラー画像に基づいて色空間変換係数を予測することによって、適応的に決定された適応的色空間であることが好ましい。具体的には、色空間変換係数は、無相関変換、特に、カルーネンレーブ(Karhunen-Loeve)変換に基づいて予測される。無相関変換によって、色空間コンポーネント同士が無相関化される。得られた適応的色空間によって、画像を効率良く表示することが可能になる。同じ画質にして、固定的な色空間変換の場合よりも低いレートで同じ画質が得られる場合がある。このようにして、色空間逆変換係数の予測が可能となる。
好ましくは、カラーフォーマットの変換において、第1カラーフォーマットまたは第2色空間フォーマットのカラー画像をサブサンプリングし、サブサンプリングされたカラー画像は、入力されたカラー画像と比べてサンプルが少ない。具体的には、カラーフォーマット変換フィルタによって第1カラーフォーマットまたは第2色空間フォーマットのカラー画像をフィルタリングしてからサブサンプリングする。具体的には、ローパスフィルタによって、フィルタリングを行う。また、他のフィルタを使用することも可能である。ある種の性質を有する画像、例えば、エッジを多く含む画像に対しては、ローパスフィルタ以外のフィルタを使った方が良い場合がある。
カラーフォーマット逆変換係数には、ダウンサンプリングされたカラー画像のアップサンプリングに使用する補間フィルタの補間フィルタ係数が含まれることが好ましい。具体的には、補間フィルタ係数は、ウィナーフィルタ係数であると予測される。但し、平均2乗誤差以外の数値を最適化して補間フィルタ係数を予測することも可能であり、非線形フィルタを配置してもよいし、必ずしもアップサンプリング(逆変換)された画像を使用して予測しなければならないわけではない。
カラーフォーマット逆変換係数は、エントロピー符号化部で符号化されることが好ましい。エントロピー符号化部は、ハフマン(Huffman)符号、ゴロム(Golomb)符号、指数ゴロム(exponential Golomb)符号、算術符号、これら以外のエントロピー符号などの公知のエントロピー符号に対応するものであればよい。係数をエントロピー符号化することによって、その係数の伝送または媒体への格納に必要なレートを下げることが可能になる。
カラーフォーマット逆変換係数は、カラー画像またはカラー画像からなるビデオシーケンスのスライスごとに、個々に決定される構成であることが好ましい。これによって、変換対象の画像の性質だけでなく、その画像部分の性質に適応したカラーフォーマットの変換および/または逆変換が可能になる。スライス以外の単位、例えばマクロブロック、スライス以外のマクロブロック群、フィールド(インタレースの場合)、フレームなどを使用してもよい。
これに代えて、カラーフォーマット逆変換係数は、複数枚のカラー画像ごとに1度、決定されるものでもよい。複数枚のカラー画像とは、予め定めた一定の枚数でよく、伝送または格納に必要なデータ量を削減するために、例えば、画像の2枚目、3枚目、4枚目など、枚数ごとにカラーフォーマット逆変換係数を決定できるようにする。ビデオシーケンスが時間的に平滑である場合には、複数枚の画像ごとに変換および/逆変換パラメータを決定すれば、充分な品質ゲイン/符号化ゲインが得られる。但し、時間的な予測符号化メカニズムが適用される場合、およびピクチャ・グループのサイズが変化する場合には、例えば、ピクチャ・グループあたりのカラー画像(映像フレームなど)の枚数の変化に応じたカラーフォーマット逆変換係数にする方が良いこともある。画像の枚数は、時間的な平滑度、場面変化の発生頻度などのビデオシーケンスの性質に応じて選択することも可能である。
カラーフォーマット逆変換係数には、色空間逆変換に関連するものと、補間フィルタに関連するものがあり、色空間逆変換関連の係数を決定する頻度は、補間フィルタ関連の係数を決定する頻度よりも低いことが好ましい。これによって、適応度を測ることができ、場合によっては、例えば、ピクチャ・グループ内では、色空間を変換せずに維持する方が良いこともある。補間フィルタ係数を含むカラーフォーマット逆変換係数は、より急速に変化することがある。色空間逆変換関連の係数が決定されることになる画像の所定枚数を、補間フィルタリング関連の係数が決定される画像の所定枚数よりも少なくした別の構成にすることも可能である。しかし、補間フィルタリング関連の色空間逆変換係数を、色空間逆変換関連の色空間逆変換係数の決定頻度よりも低い頻度で決定してもよい。
カラーフォーマット変換の後、カラー画像からなるビデオシーケンスのカラー画像は、JPEG、JPEG2000、MPEG−2、MPEG−4、H.263、H.264/AVCなどの画像または映像の符号化規格にしたがって、符号化されることが好ましい。他の映像符号化規格または特許取得済み映像符号化方法を同様に用いてもよい。カラー画像またはカラービデオシーケンスを符号化することによって、格納または伝送に必要なデータ量が減少する。一方、第2色空間への変換済み画像または映像データは、直接、格納または伝送可能である。
具体的には、映像符号化規格H.264/AVCを適用すると、カラーフォーマット逆変換係数は、H.264/AVC補助的拡張情報(SEI)メッセージに含まれた形態で提供される。これによって、本発明の構成がH.264/AVC規格に準拠する。
本発明の別の特徴によれば、画像符号化方法および画像符号化装置において、上述のカラーフォーマットの変換と、カラーフォーマット変換後の画像圧縮とが含まれる。このような画像符号化装置または映像符号化装置は、本発明のカラーフォーマットの変換を必須または任意の特徴として実行するものであれば、規格化または特許取得されている画像符号化装置または映像符号化装置でよい。
本発明の他の特徴によれば、変換済みカラー画像を第2色空間から第1色空間に逆変換するカラーフォーマット逆変換方法が提供される。まず、第2カラーフォーマットへの変換済みカラー画像と共に、カラーフォーマット逆変換係数を取得し、取得したカラーフォーマット逆変換係数を用いて、変換済みカラー画像を第2カラーフォーマットから第1カラーフォーマットに逆変換する。
本発明のさらに他の特徴によれば、変換済みカラー画像を第2色空間から第1色空間に逆変換するカラーフォーマット逆変換部が提供される。逆変換部は、第2カラーフォーマットへの変換済みカラー画像と共に、カラーフォーマット逆変換係数を取得できる。さらに、逆変換部は、取得したカラーフォーマット逆変換係数を用いて、変換済みカラー画像を第2カラーフォーマットから第1カラーフォーマットに逆変換できる。変換済み画像とカラーフォーマット逆変換係数とを取得するには、例えば、有線、無線を問わず、なんらかの形態のチャネルから、それらを受信する。また、変換済み画像とカラーフォーマット逆変換係数は、USBスティックもしくはDVD、CD、BDなどの光または磁気のハードディスクまたは媒体を含む、各種のストレージから読み出され、取得されるものであってもよい。変換済み画像と決定されたカラーフォーマット逆変換係数は、ともに符号化されてもよい。
好ましくは、カラーフォーマットの逆変換は、カラー画像の色空間を第2色空間から第1色空間に変換することを含む。第1色空間および第2色空間は、それぞれ、RGB、YUV、HISなどの公知の色空間のいずれかであってよい。カラーフォーマット逆変換係数は、色空間逆変換係数を含むことが好ましい。具体的には、変換対象のカラー画像に基づいて色空間変換係数を予測することによって、第2色空間が適応的に決定される。具体的には、色空間変換係数は、無相関変換、特に、カルーネンレーブ(Karhunen-Loeve)変換に基づいて予測される。
好ましくは、カラーフォーマットの逆変換は、変換済みカラー画像をアップサンプリングし、アップサンプリングされた画像は、入力された変換済みカラー画像と比べてサンプルが少ない。
具体的には、アップサンプリングは、補間フィルタリングによって行われ、補間フィルタ係数はカラーフォーマット逆変換係数に含まれる。補間フィルタ係数を取得することで、受け取った係数による適応的補間フィルタリングが可能になり、例えば、後処理方法によって、復号部を複雑化することなく、品質ゲインが得られるようになる。具体的には、補間フィルタ係数は、ウィナーフィルタ係数である。しかし、他のフィルタリングおよびフィルタ係数決定方法を採用することも可能である。
カラーフォーマット逆変換係数は、取得されるときにエントロピー復号されることが好ましい。
本発明の好適な構成によれば、カラーフォーマット逆変換係数は、カラー画像またはカラー画像からなるビデオシーケンスのスライスごとに、個々に決定される。
これに代えて、カラーフォーマット逆変換係数は、複数枚のカラー画像ごとに1度、取得されるものでもよい。
カラーフォーマット逆変換係数には、色空間逆変換に関連するものと、補間フィルタに関連するものがあり、色空間逆変換関連の係数が取得される頻度は、補間フィルタ関連の係数よりが取得される頻度よりも低いことが好ましい。
第2色空間への変換済み画像は、取得されるときに、JPEG、JPEG2000、MPEG−2、MPEG−4、H.263、H.264/AVCなどの画像または映像の符号化規格にしたがって、復号されることが好ましい。
具体的には、映像符号化規格H.264/AVCを適用すると、カラーフォーマット逆変換係数(フィルタ係数および/または色空間逆変換係数)は、H.264/AVC補助的拡張情報(SEI)メッセージに含まれた形態で取得される。
本発明のさらに他の特徴によれば、上述のような、取得画像の伸張と、伸張画像のカラーフォーマットの逆変換とを含む画像復号方法および画像復号装置が提供される。
上記構成のように、復号装置で用いるパラメータ(色空間逆変換係数及びアップサンプリング係数)を符号化装置で算出することにより、復号装置の複雑さが低減される。また、上記パラメータの算出に符号化装置でのみ利用可能な原画像(カラー画像)を利用することができるので、復号画像の品質が改善される。
本願に関し、上述の目的および特徴とその他の目的および特徴とを、付随する図面を参照しながら、後述の記述および好ましい実施の形態において、より明確にする。
本発明は、複数の色要素からなるカラー画像のカラーフォーマットの変換および逆変換に関する。これらの要素は、任意の色空間に属するものであってよい。1コンポーネントあたりのサンプル数は、必ずしも同じとは限らない。一般に、画像のフォーマット、すなわち、特定の色空間およびサンプリングは、ソースによって左右される。大抵の場合、カメラで撮像された画像がこのカメラから出力されるとき、各コンポーネントのサンプルが通常は同数である赤、緑、青の3種類のコンポーネントからなるRGBフォーマットで出力され、サンプルあたりのビット数が同じ、典型的には8または16のRGB4:4:4カラーフォーマットになる。
カラーフォーマット変換の目的は、カラー画像を元の第1カラーフォーマット(すなわち、色要素がカラーフォーマット変換部に入力されるときのフォーマット)を別のフォーマットに変換することである。ここでいうフォーマットとは、色空間および/またはサンプリング方法のことである。
上述の従来技術において、カラーフォーマットの変換は固定的である。つまり、変換対象の画像の画像コンテンツに関わらず、色空間変換および/または、場合によって、フィルタリングおよびサブサンプリングが同じように行われるということである。色空間変換とフィルタリングおよびサンプリングとは、両方とも、大半の典型的な画像に対して効率良く作用するように設計されている。この効率の良さには、2つの意味がある。1つ目は、色空間変換は、特定の色要素同士の相関度を下げることを目的としているということである。この目的は、1つの輝度成分と2つの異なる色差成分とからなるYUV色空間で達成される。このような色空間の色差成分は、輝度成分よりも平滑なので、後でサブサンプリングを行うことができ、このようなレートの低減による歪みが小さくなる。2つ目は、例えば圧縮などの別の符号化ステップが実行される場合、入力画像のフォーマット次第で、生じる歪みに対する圧縮ゲインが異なるということである。適切なカラーフォーマット変換が行われた画像であれば、より効率良く圧縮することができる。すなわち、より高い圧縮ゲインが得られる。したがって、従来の固定的かつ独立的なカラーフォーマットの変換および逆変換を行っていたのでは、符号化効率に限界がある。
本発明は、カラーフォーマット変換側でカラーフォーマット逆変換係数を決定し、そのカラーフォーマット逆変換係数を符号化データと共に提供することによって、より効率の良いカラーフォーマットの変換および逆変換を可能にする。
図3は、本発明が映像伝送システムの構成要素である場合の一実施形態に係る画像符号化装置10及び画像復号装置20を示す。
図3に示される画像符号化装置10は、カラーフォーマット変換部310と、決定部(色空間予測部)320と、符号化部130とを少なくとも備える。この画像符号化装置10は、カメラ110から取得した原画像データ(カラー画像)111を符号化して符号化済みカラー画像を生成する。なお、カメラ110は、画像符号化装置10に接続される外部装置であってもよいし、画像符号化装置10の一構成要素であってもよい。以降の実施形態についても同様である。
カメラ110は、RGB色空間(RGB4:4:4カラーフォーマット)において、それぞれ同数のサンプルを有する3種類の色要素からなる原画像データ(ビデオフレーム)111のシーケンスを提供する。ベイヤーパターンなどの異なるサンプリング・グリッドであってもよい。原画像データ111は、カラーフォーマット変換部310に入力され、そこで第1カラーフォーマットから第2カラーフォーマットの画像データ311に変換される。原画像データ111は、決定部320にも入力されてよい。決定部320は、カラーフォーマット逆変換部330において使用されるカラーフォーマット逆変換係数321を決定することができる。決定されたカラーフォーマット逆変換係数321は、第2カラーフォーマット変換済みの画像データ311と共に供される。
カラーフォーマット変換済みの画像データ311は、符号化部130、本実施の形態においてはH.264/AVCビデオ・エンコーダによって、さらに符号化可能である。なお、符号化部130は、例えば、画像データを直交変換する直交変換部(図示省略)と、画像データを量子化する量子化部(図示省略)と、可変長符号化する可変長符号化部(図示省略)とを備える。また、動き補償部(図示省略)や空間予測部(図示省略)等をさらに備えてもよい。
そして、符号化データは、カラーフォーマット逆変換係数321を含む符号化補助情報を伴い、チャネル140を通じて伝送される。目標用途の要件にしたがったものであれば、チャネル140は、無線、有線を問わず、どのような形態であってもよく、伝送形式は、ユニキャスト、マルチキャスト、ブロードキャストのいずれであってもよい。
図3に示される画像復号装置20は、復号部150と、カラーフォーマット逆変換部330とを少なくとも備える。この画像復号装置20は、チャネル140を介して画像符号化装置10から取得した符号化データを復号して、ディスプレイ170に表示する。なお、ディスプレイ170は、画像復号装置20に接続される外部装置であってもよいし、画像復号装置20の一構成要素であってもよい。以降の実施形態についても同様である。
符号化データは、復号部150で受信されて復号された後、カラーフォーマット逆変換部330に供される。なお、復号部150は、例えば、符号化データを可変長復号する可変長復号部(図示省略)と、逆量子化を行う逆量子化部(図示省略)と、逆直交変換を行う逆直交変換部(図示省略)とを備える。また、動き補償部(図示省略)や空間予測部(図示省略)等をさらに備えてもよい。
復号部150は、符号化部130とは逆の処理を行う。本実施の形態において、復号部150は、H.264/AVCデコーダである。カラーフォーマット逆変換係数322は、カラーフォーマット逆変換部330にも供される。そして、カラーフォーマット逆変換部330において、受信したカラーフォーマット逆変換係数322は、画像データ312の逆変換に用いられる。その後、得られた画像データ331をディスプレイ170に表示してもよい。
本実施の形態において、カメラ110は、ビデオカメラである。しかし、静止画像のみを撮影するカメラであってもよい。カメラ110は、RGB4:4:4フォーマット以外のフォーマット、例えばモザイク状になった元のデータのフォーマット、YUVフォーマット、または他のカラーフォーマットで、画像を出力してよいが、この場合は、出力される色要素のサンプルおよび深度は、必ずしも同じにはならない。カラーフォーマット逆変換係数322は、色空間変換、ならびに/またはフィルタリングおよび/もしくはサブサンプリングを行うごとに、決定されてもよい。チャネル140経由のデータの伝送または記憶媒体へのデータの格納は、画像データごとに分けて行ってもよく、カラーフォーマット逆変換係数322を含む補助情報ごとに分けて行ってもよい。カラーフォーマット逆変換係数322は、対応する画像データと共に格納または伝送され、これに加えて/これに代えて、対応する画像データで多重化される。符号化および復号を行う場合、H.264/AVC規格に限定されることなく、例えば、JPEG、JPEG2000、MPEG−1、MPEG−2、MPEG−4、H.261、H.263、DIRAC、その他、規格化あるいは特許取得されている符号化および復号メカニズムなどの画像データ圧縮規格または映像データ圧縮規格のうち、いずれであってもよい。カラーフォーマットの逆変換を行った後に、画像データは、各種端末にあるCRT、OLED、LCDなどの各種ディスプレイに表示されてもよく、印刷または格納されてもよい。
図4A及び図4Bは、本発明の他の実施形態に係るカラーフォーマット変換部400およびカラーフォーマット逆変換部480を備える伝送チェーン回路を示すブロック図である。ここで、図4Aは送信側の画像符号化装置10を示し、図4Bは受信側の画像復号装置20を示す。
図4Aに示される画像符号化装置10は、カラーフォーマット変換部400と、符号化部130と、色空間予測部430と、係数予測部440と、復号部450と、係数符号化部460とを備える。また、カラーフォーマット変換部400は、色空間変換部410と、フィルタリング・サブサンプリング部420とを備え、さらに、色空間予測部430を含めてもよい。
ビデオカメラ110は、RGB4:4:4カラーフォーマットの原画像データ111を提供する。RGB4:4:4カラーフォーマットの原画像データ111の色要素は、それぞれR、G、Bと称される。カラーフォーマット変換部400は、色空間変換マトリクスを予測するための色空間予測部430を備える。ここでは、RGB4:4:4カラーフォーマットの原画像データ111の統計値(例えば、第1モーメントおよび第2モーメント)などの性質に基づいて、予測が行われる。次に、予測した色空間変換マトリクスを用いて、原画像データ111をRGB4:4:4カラーフォーマットから新たな色空間である適応的色空間(ACS)に変換する。得られたACS画像データ411は、4:4:4サンプリングフォーマットのままである。色空間変換部410では、予測目的に応じて、様々な基準が用いられてよい。基準の1つとしては、ACS色空間の3種類の色要素A、C、Sの無相関化が挙げられる。カルーネンレーブ(Karhunen-Loeve)変換によれば、3種類のRGB色要素から、相互に無相関な3種類のACS色要素を生成できる。このようにすることは、例えば、3種類の色要素を個別に符号化する符号化部の場合、都合が良い。得られたACS色空間の映像データは、その後、例えばISOで規定されているようなローパスフィルタによって、低域フィルタリングされてダウンサンプリングされる。なお、別のフィルタを使うことも可能である。
まず、式1のように、無相関色成分A、C、Sを生成するカルーネンレーブ(Karhunen-Loeve)変換の変換マトリクスTKLTが、色空間予測部430によって決定される。TKLTは最適に相関を軽減する直交変換であり、変換後の座標系における任意の軸間の相関を完全に無くすことができる。このことは、冗長性が最も少ない座標系へ信号が変換されていることを意味し、圧縮のための直交変換として最適とされている。
ここで、xおよびyは、特定の空間サンプルを示す色要素のインデックスである。色要素A、C、Sで構成される色空間が適応的色空間である。これを適応的と称する所以は、カラー画像データまたはカラー映像データの性質に適応するからである。例えば、変換マトリクスTKLTを決定するにあたり、カラー画像の統計的性質が利用される。
変換マトリクスTKLTは、その後、色空間変換部410での色空間変換に使用される。また、色空間変換部410では、式2のスケーリング・平均化調整が行われる。
ここで、係数mAはAの平均値であり、係数mCはCの平均値であり、係数mSはSの平均値である。これらの平均値はすべて、色空間予測によって決定される。スケーリング係数sAは、以下の式3にしたがって、A´のダイナミック・レンジを調整する。
スケーリング係数sCは、以下の式4にしたがって、C´のダイナミック・レンジを調整する。
スケーリング係数sSは、以下の式5にしたがって、S´のダイナミック・レンジを調整する。
パラメータbAは色要素A´のサンプル表示用ビット数であり、パラメータbCは色要素C´のサンプル表示用ビット数であり、パラメータbSは色要素S´のサンプル表示用ビット数である。スケーリング係数はすべて、色空間予測部430において決定される。
色空間変換部410で色空間変換を行った後、例えば、非特許文献1:ISO/IEC JTC1/SC29/WG11 N6295「Color format down-conversion for test sequence generation」(テストシーケンス生成用カラーフォーマット・ダウンサンプリング)にしたがって、色要素C´、S´をフィルタリング・サブサンプリング部420でフィルタリングしてサブサンプリングすると、色要素C´´、S´´となり、カラーフォーマットはACS4:2:0になる。図5は、RGB色空間およびACS色空間の色要素のサンプリング・グリッドを示す。ACS色空間のサンプル位置は、H.264/AVC規格の規定にしたがって選択される。
次に、色要素A´、C´´、S´´を次の整数に丸めることにより、それぞれ[0;2bA−1]、[0;2bC−1]、[0;2bS−1]の値域にする。
これら適応的色空間の丸められた色要素A´、C´´、S´´で表現された画像データ421は、さらに、符号化部130において符号化される。本実施の形態においては、符号化部130は、H.264/AVC規格に準拠した符号化部である。
カラーフォーマット変換側においても、H.264/AVCの復号部450で符号化データ131を復号する。符号化部130が非可逆圧縮を行った場合、画像復号実施後の画像データ451は、画像符号化実施前の画像データ421とは異なってよい。
復号すると、色要素A´´、C´´´、S´´´で表現された画像データ451が得られる。次に、色空間変換係数sA、sC、sS、mA、mC、mSを用いて、係数予測部440で残りのカラーフォーマット逆変換係数を予測する。
ACS4:2:0カラーフォーマットの復号映像データは、次のように、RGB4:4:4カラーフォーマットの復号映像データに変換される。第1ステップとして、以下の式6にしたがい、スケーリング・平均化調整を行う。
第2ステップでは、RGB4:4:4カラーフォーマットの復号画像データを算出する。この復号画像データの3種類の色要素は、R〜、G〜、B〜と称される。ここで、記号「〜(チルダ)」は、それぞれ直前の文字の上に付される記号を示し、本明細書では、以下、記号「〜(チルダ)」を同様な意味で使用する。x=0,2,4・・・、y=0,2,4・・・の位置にあるR〜、G〜、B〜を算出するには、以下の式7を用いる。
フィルタ長nとフィルタ係数w1,A,R、w1,A,G、w1,A,B、w1,C,R(i)、w1,C,G(i)、w1,C,B(i)、w1,S,R(i)、w1,S,G(i)、w1,S,B(i)は、係数予測部440で予測される逆変換係数である。x=0,2,4・・・、y=1,3,5・・・の位置にあるR〜、G〜、B〜を算出するには、以下の式8を用いる。
x=1,3,5・・・、y=0,2,4・・・の位置にあるR〜、G〜、B〜を算出するには、以下の式9を用いる。
フィルタ係数w2,A,R、w2,A,G、w2,A,B、w2,C,R(i,j)、w2,C,G(i,j)、w2,C,B(i,j)、w2,S,R(i,j)、w2,S,G(i,j)、w2,S,B(i,j)は、係数予測部440で予測される逆変換係数である。x=1,3,5・・・、y=1,3,5・・・の位置にあるR〜、G〜、B〜を算出するには、以下の式10を用いる。
次に、色要素R〜、G〜、B〜を次の整数に丸めることにより、それぞれ元のR、G、B色要素の値域にする。
本実施の形態において、逆変換係数は、色空間変換係数であるsA、sC、sS、mA、mC、mS、およびフィルタ係数であるw1,A,R、w1,A,G、w1,A,B、w1,C,R(i)、w1,C,G(i)、w1,C,B(i)、w1,S,R(i)、w1,S,G(i)、w1,S,B(i)、w2,A,R、w2,A,G、w2,A,B、w2,C,R(i,j)、w2,C,G(i,j)、w2,C,B(i,j)、w2,S,R(i,j)、w2,S,G(i,j)、w2,S,B(i,j)である。
元の色要素R、G、Bと、復号済み色要素R〜、G〜、B〜との間の平均2乗誤差を最小にすることにより、フィルタ係数を予測する。この基準によって、すべてのフィルタ係数を確実に算出できる。
カラーフォーマット逆変換係数の伝送に必要なデータレートを下げるために、これらの係数は、例えば、ハフマン(Huffman)符号化、ゴロム(Golomb)符号化、指数ゴロム(exponential Golomb)符号化、算術符号化、または、これら以外の可変長符号化方法によって、係数符号化部460で符号化され、符号化カラーフォーマット逆変換係数461としてチャネル140から出力される。また、必要に応じて、チェックサムまたは前方誤り訂正符号化によるデータ保護も可能である。
符号化データ401および符号化カラーフォーマット逆変換係数402は、チャネル140を通じて伝送され、画像復号装置20に受信される。図4Bに示される画像復号装置20は、復号部470と、カラーフォーマット逆変換部480と、係数復号部490とを備える。
符号化カラーフォーマット逆変換係数402は、係数復号部490で復号され、カラーフォーマット逆変換係数491がカラーフォーマット逆変換部480に供される。受信した符号化データ401は、H.264/AVCの復号部470で復号され、復号された画像データ471がカラーフォーマット逆変換部480に供される。そして、上述のように、受信したカラーフォーマット逆変換係数491を用いてカラーフォーマット逆変換を行う。アップサンプリングと色空間逆変換は、本実施の形態では、カラーフォーマット逆変換の単一ステップにおいて行われているが、別々に行われてもよい。また、アップサンプリングおよび色空間逆変換のいずれか一方のみを行うことも可能である。このような場合、色空間逆変換用とアップサンプリング用で別々の係数が必要になる場合がある。その後、丸められた色要素R〜、G〜、B〜で表現された画像データ481は、ディスプレイ170に送られる。
図6A及び図6Bは、本発明の他の実施形態に係るカラーフォーマットの変換および逆変換を備える伝送チェーン回路を示すブロック図である。ここで、図6Aは送信側の画像符号化装置10を示し、図6Bは受信側の画像復号装置20を示す。また、図7Aは図6Aの画像符号化装置10の動作を、図7Bは図6Bの画像復号装置20の動作を示すフローチャートである。
図6Aに示される画像符号化装置10は、カラーフォーマット変換部600と、符号化部130と、復号部450と、色空間予測部630と、補間フィルタ係数予測部640と、色空間逆変換予測部650と、アップサンプリング・補間部660と、補助情報符号化部670とを備える。また、カラーフォーマット変換部600は、色空間変換部610と、フィルタリング・サブサンプリング部620とを備える。
色空間予測部630は、カメラ110から取得した原画像(カラー画像)111の特性に基づいて色空間変換係数を算出する。色空間変換部610は、色空間予測部630で算出された色空間変換係数に基づいて原画像データ111の色空間を第1の色空間から第1の色空間と異なる第2の色空間に変換して色空間変換済みカラー画像を生成する。フィルタリング・サブサンプリング部620は、色空間変換済みカラー画像に含まれるサンプルの一部を除去してサブサンプリング済みカラー画像を生成する。
符号化部130は、サブサンプリング済みカラー画像を符号化して符号化済みカラー画像を生成する。復号部450は、符号化済みカラー画像を復号して復号済みカラー画像を生成する。アップサンプリング・補間部660は、復号済みカラー画像のサンプルを補間して補間済みカラー画像を生成する。
補間フィルタ係数予測部640は、サンプルを補間するアップサンプリング処理に用いられるアップサンプリング係数を算出する。より具体的には、復号済みカラー画像と前記色空間変換済みカラー画像との平均2乗誤差が最小となるように、アップサンプリング係数を算出する。
色空間逆変換予測部650は、色空間を第2の色空間から第1の色空間に逆変換するための色空間逆変換係数を算出する。具体的には、補間済みカラー画像の色空間を第2の色空間から第1の色空間に逆変換して色空間逆変換済みカラー画像を生成する。そして、色空間逆変換済みカラー画像とカラー画像との平均2乗誤差が最小となるように、色空間逆変換係数を算出する。
補助情報符号化部670はアップサンプリング係数、色空間逆変換係数、及び色空間変換係数を含む補助情報を符号化して符号化済み補助情報を生成する。そして、当該画像符号化装置10は、符号化済みカラー画像及び符号化済み補助情報をチャネル140に出力する。
ここでは、色空間逆変換の逆変換係数と補間フィルタリングの逆変換係数とを別々に予測する。これに応じて、逆変換側でも、アップサンプリングおよび補間フィルタリングは、色空間逆変換とは別に行われる。図6A及び図7Aを参照して、画像符号化装置10の動作を説明する。
図4A及び図4Bに示した処理と同様、カメラ110はRGB4:4:4フォーマットの原画像データ111を提供する(S11)。この原画像データ111は、色空間予測部630での色空間予測に用いられ、そこで変換マトリクスTKLTが決定される。そして、予測された変換が行われると、入力された原画像データ111の色空間は、色空間変換部610で決定された変換に応じた適応的色空間の画像データ611に変換される(S12)。ACS4:4:4カラーフォーマットに色空間変換された画像データ611は、次に、フィルタリング・サブサンプリング部620でフィルタリングおよびサブサンプリングされて、ACS4:2:0カラーフォーマットの画像データ621になる(S13)。ACS4:4:4カラーフォーマットの画像データ621は、H.264/AVCの符号化部130で符号化され(S14)、符号化データ622として復号部450に送られる(S15)。
復号後、得られたデータは補間フィルタ係数予測部640に用いられる(S16)。補間フィルタはウィナーフィルタであると予測されることがある。この場合は、アップサンプリングおよび補間が行われたACS4:2:0カラーフォーマットの復号画像データと、ACS4:4:4カラーフォーマットの画像データ611との間の平均2乗誤差を最小にすることにより、フィルタ係数を予測する。その他の予測基準も可能である。例えば、データレートおよび平均2乗誤差のラグランジュ・コスト(Lagrangian costs)を最小にすることもできる。画像データは、アップサンプリング・補間部660で予測されたフィルタ係数を用いてアップサンプリングされて補間される。また、アップサンプリングされた画像データは、色空間逆変換予測部650での色空間逆変換の予測にも用いられる(S17)。色空間逆変換予測部650は、ACS4:4:4カラーフォーマットの復号画像データおよびRGB4:4:4カラーフォーマットの原画像データ111だけでなく、色空間予測部630によって予め決定されている色空間変換パラメータも用いて、予測を行う。これによって、色空間逆変換係数は、RGB4:4:4カラーフォーマットの復号画像データと、RGB4:4:4カラーフォーマットの原画像データとの間の平均2乗誤差を最小にすることにより、予測されてもよい。そして、補間フィルタ係数および色空間逆変換係数は、補助情報符号化部670で符号化され(S18)、符号化補助情報671として符号化データ622と共に伝送される(S19)。
受信側の画像復号装置20は、図6Bに示されるように、復号部470と、補助情報復号部675と、アップサンプリング・補間部680と、色空間逆変換部690とを備える。この画像復号装置20は、チャネル140を通じて、符号化済みカラー画像、及び符号化済み補助情報を取得する。復号部470は、符号化済みカラー画像を復号して復号済みカラー画像を生成する。補助情報復号部675は、符号化済み補助情報を復号して復号済み補助情報を生成する。
アップサンプリング・補間部680は、アップサンプリング係数を用いて復号済みカラー画像のサンプルを補間することにより、補間済みカラー画像を生成する。色空間逆変換部690は、色空間逆変換係数を用いて補間済みカラー画像の色空間を第2の色空間から第1の色空間に逆変換することにより、カラー画像を生成する。
図6B及び図7Bを参照して、画像復号装置20の動作を説明する。まず、チャネル140を通じて、符号化データ601及び符号化補助情報602を取得する(S21)。符号化データ601は、復号部470で復号されて画像データ603となる(S22)。一方、符号化補助情報602は、補助情報復号部675で復号されて補間フィルタ係数604及び色空間逆変換係数605となる(S23)。補間フィルタ係数604は、復号部470で符号化データ601から復号された画像データ603と共にアップサンプリング・補間部680に供される。この補間フィルタ係数604を用いて、画像データ603の補間フィルタリングが行われる(S24)。その結果、ACS4:4:4色空間の画像データが得られ、これを、色空間逆変換部690で色空間逆変換係数605を用いて、さらに色空間逆変換される(S25)。そして、これによって得られた画像をディスプレイ170に表示する(S26)。
本発明に係るカラーフォーマットの変換部および逆変換部の構成の他の例を図8A及び図8Bに示す。ここで、図8Aは送信側の画像符号化装置10を示し、図8Bは受信側の画像復号装置20を示す。
本実施の形態では、適応的色空間変換に代え、標準的な色空間変換部710で色空間変換を行う。ここでは、色空間変換部710によって、RGB4:4:4カラーフォーマットがYUV4:4:4カラーフォーマットに変換されるが、他の色空間でもよい。
図8Aに示される画像符号化部10は、符号化部130と、復号部450と、色空間変換部710と、フィルタリング・サブサンプリング部720と、補間フィルタ係数予測部730と、補助情報符号化部740とを備える。
カメラ110によって提供された原画像データ111は、色空間変換部710によって、この例ではYUV4:4:4カラーフォーマットに変換される。得られた画像データ711は、次に、フィルタリング・サブサンプリング部720でフィルタリングおよびサブサンプリングされて、YUV4:2:0フォーマットの画像データ721となり、これがその後、H.264/AVCの符号化部130で符号化される。符号化データ722は、次に、復号部450で復号され、補間フィルタ係数予測部730での補間フィルタ係数の予測に用いられる。この予測は、前述の実施の形態と同様、画像データ711と復号画像データとの間の平均2乗誤差を最小にすることにより、係数を予測するウィナーフィルタ予測であってもよい。また、他の線形または非線形予測方法を用いることも可能である。必要に応じて、RGB以外の色空間、例えばYUV色空間における、補間フィルタ係数および色空間逆変換係数を最適化することも可能である。
予測された補間フィルタ係数731は、その後、補助情報符号化部740で符号化され、符号化補助情報741として符号化データ722と共に伝送される。
受信側の画像復号装置20は、図8Bに示されるように、復号部470と、アップサンプリング・補間部750と、補助情報復号部760と、色空間逆変換部770とを備える。符号化データ701は、H.264/AVCの復号部470によって復号されて画像データ703となる。また、符号化データ701と共に受信した符号化補助情報702は、補助情報復号部760で復号されて補間フィルタ係数704となる。そして、アップサンプリング・補間部750は、画像データ703及び補間フィルタ係数704を用いて、アップサンプリング及び補間フィルタリングを行う。アップサンプリング後、標準的な色空間逆変換部770によって、YUV4:4:4の画像データ751をRGB4:4:4色空間の画像データ771に変換する。その後、RGB4:4:4の画像データ771をディスプレイ170に表示する。
図9は、本発明に係る他の実施の形態を示す。ここでは、カラーフォーマット変換部310および決定部320は画像符号化装置10の構成要素であり、画像符号化装置10は、画像圧縮部830をさらに備える。本発明に係るカラーフォーマットの変換は、例えば、H.264/AVC、DIRAC、JPEG2000、それ以降の各規格などの画像規格または映像規格に、任意または必須の特徴として含ませてよい。また、特許製品であるビデオエンコーダの一部であってもよい。そして、圧縮映像と、圧縮映像の復号に必要な情報要素と、色空間逆変換パラメータとを含む符号化ビデオストリームの一部として、カラーフォーマット逆変換係数321を提供することが可能である。カラーフォーマット逆変換係数321は、ビデオデータ情報を含むパケットに含ませて送信されてもよく、補助情報として別のパケットで送信されてもよい。これによって、さらに、ゴロム(Golomb)符号、指数ゴロム(exponential Golomb)符号、算術符号化、ハフマン(Huffman)符号などのエントロピー符号、または、これら以外のエントロピー符号を用いて、カラーフォーマット逆変換パラメータを符号化してよい。使用するエントロピー符号は、映像データおよび/または映像データ関連の情報要素を符号化するのに用いたエントロピー符号に対応するものでもよく、色空間逆変換パラメータ用に特別に設計し、かつ、その統計値に適応させたエントロピー符号でもよい。
これに対応して、カラーフォーマット逆変換部330および画像伸張部850は、画像復号装置20の構成要素である。カラーフォーマット逆変換係数322は、ビデオストリームの一部になっているか、別の補助情報になっているかは上記の画像符号化装置10によって異なるが、画像/映像データと共にチャネル140から取得される。これらは、さらにエントロピー復号され、チャネル140から取得して画像伸張部850で伸張した画像データ312と共に、カラーフォーマット逆変換部330に供される。画像の伸張は、映像復号装置または画像復号装置の現在または未来の規格製品または特許製品によって、実行することが可能である。具体的には、復号部として、H.264/AVC、DIRAC、JPEG2000が考えられる。
ここで、カラーフォーマットの変換および逆変換は、上記実施の形態のいずれかにしたがって行われればよく、色空間の変換、および/または補間フィルタリングの予測を含んでもよい。
本発明の他の実施形態によれば、また図9によれば、カラーフォーマット逆変換係数321は、チャネル140を通じて伝送されるとともに、画像圧縮部830に供される。同様に、受信側の画像復号装置20において、チャネル140から取得されたカラーフォーマット逆変換係数322は、カラーフォーマット逆変換部330に供されるとともに、画像伸張部850にも供される。この特徴、つまりカラーフォーマット逆変換係数321を画像符号化装置10および/または画像復号装置20に供することは、言うまでもなく、図3、図4A、図4B、図6A、図6B、図8A、および図8Bに示した上記実施の形態のいずれに適用してもよく、本発明の他の実施形態に適用してもよい。カラーフォーマット逆変換係数321を画像圧縮部830に供することは、画像圧縮部830において時間的な予測を行う場合、特に良い。例えば、予測フレームの色空間が参照フレームの色空間と異なるなど、同じピクチャ・グループ内で色空間が変化する場合には、予測を容易にするために、符号化装置で色空間の変換および逆変換を行う必要がある。そのためには、カラーフォーマット逆変換係数321が必要である。
同様に、画像復号装置20側においても、同じピクチャ・グループ内でカラーフォーマットを変化させながら時間的な予測を行って符号化したビデオストリームを復号するには、カラーフォーマット逆変換係数322が画像伸張部850に供されなければならない。
上述の各構成は、画像データまたは映像データの異なる部分に適用可能である。例えば、カラーフォーマット逆変換係数は、マクロブロック、マクロブロック・グループ、スライス、フィールド、ピクチャ、ピクチャ・グループなど、画像または映像の一部分について、決定されるものであってよい。係数が決定される対象部分が小さいほど、入力画像に対しても、対象部分相互間においても、よく適応した変換および逆変換が行われる。一方、カラーフォーマット係数を伝送するには、レートを上げる必要があるので、場合によっては、係数を変更しないでおく映像部分の最適サイズを見つけるようにすることも可能である。この最適条件は、用途によって異なるものであっても、符号化設定によって異なるものであってもよい。係数が決定される部分は、固定とすることも、可変とすることも可能である。例えば、異なる色空間にすることで、および/または、補間を行うことで、画像/映像コンテンツが変化した場合など必要な場合にカラーフォーマット逆変換係数を送るようにしてもよい。
カラーフォーマット逆変換係数を決定および/または提供する頻度は、必ずしも、色空間係数および補間フィルタ係数の場合と同じである必要はない。映像の一部分、例えばピクチャ・グループ内では、色空間が変わらないのであれば、より小さな部分を補間およびサブサンプリングするためのパラメータを伝送した方が良いということもある。
映像の予測符号化(H.264/AVC規定のもの等)の場合、現ピクチャの予測に使用する参照ピクチャを予測用に現ピクチャと同じ色空間に変換してもよい。
H.264/AVCの符号化装置および復号装置を用いる符号化方法の場合、カラーフォーマット変換係数は、H.264/AVC規格のいわゆる補助的拡張情報(SEI)メッセージによって伝送されてもよい。
CCD/CSMOカメラのサンプリング・グリッドが、ベイヤーパターンにしたがったサンプリング・グリッドなど、一般的な4:4:4サンプリング・グリッドでない場合には、同じ位置にあるRGBサンプルもカラーフォーマット変換係数の予測に用いてよい。カメラ内にあるRGB信号の元のサンプリング・グリッドに関する情報も、符号化して受信器に送信することが可能である。ここでは、複数の所定のサンプリング・グリッドのうち、1つのサンプリング・グリッドを示すインジケータの符号化および伝送が可能である。また、サンプリング・グリッドに関する全情報の符号化および伝送も可能である。このことは、サンプリング・グリッドが規定のものでない場合に役立つ。
さらに、第1色空間から第2色空間に色空間変換を行う一方で、第2色空間から第1色空間に色空間を逆変換するためのカラーフォーマット逆変換係数を決定してもよい。この方法は、ディスプレイがカラーフォーマット変換入力データの色空間とは異なる色空間を使用しているときに、好都合な場合がある。
上述した実施の形態では、画像データまたは映像データの送信および受信について説明したが、これら全ての実施の形態は、格納および読み出しについても同様に参照されてよい。このような場合、チャネル140は、ハードディスク、光媒体、磁気媒体、USBスティックなどのフラッシュメモリなどの記憶媒体である。
(その他変形例)
なお、本発明を上記各実施の形態に基づいて説明してきたが、本発明は、上記の各実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
なお、本発明を上記各実施の形態に基づいて説明してきたが、本発明は、上記の各実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
上記の各装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記RAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
上記の各装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成要素部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。
上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なICカードまたは単体のモジュールから構成されているとしてもよい。前記ICカードまたは前記モジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。前記ICカードまたは前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ICカードまたは前記モジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray Disc)、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
以上、図面を参照してこの発明の実施形態を説明したが、この発明は、図示した実施形態のものに限定されない。図示した実施形態に対して、この発明と同一の範囲内において、あるいは均等の範囲内において、種々の修正や変形を加えることが可能である。また、上述の各実施形態は、本発明の目的を逸脱しない範囲で、任意に組み合わせることができる。
本発明は、画像符号化方法(装置)及び画像復号方法(装置)に有利に利用される。
10 画像符号化装置
20 画像復号装置
110 カメラ
111 原画像データ
120,410,610,710 色空間変換部
121,151,161,211,221,311,312,331,411,421,451,471,481,603,611,621,711,721,703,751 画像データ
130 符号化部
131,401,601,622,701,722 符号化データ
140 チャネル
150,450,470 復号部
160,690,770 色空間逆変換部
170 ディスプレイ
201,310,400,600 カラーフォーマット変換部
202,330,480 カラーフォーマット逆変換部
210,420,620,720 フィルタリング・サブサンプリング部
220,660,680,750 アップサンプリング・補間部
320 決定部
321,322,491 カラーフォーマット逆変換係数
402,461 符号化カラーフォーマット逆変換係数
430,630 色空間予測部
440 係数予測部
460 係数符号化部
490 係数復号部
602,671,702,741 符号化補助情報
604,704,731 補間フィルタ係数
605 色空間逆変換係数
640,730 補間フィルタ係数予測部
650 色空間逆変換予測部
670,740 補助情報符号化部
675,760 補助情報復号部
830 画像圧縮部
850 画像伸張部
20 画像復号装置
110 カメラ
111 原画像データ
120,410,610,710 色空間変換部
121,151,161,211,221,311,312,331,411,421,451,471,481,603,611,621,711,721,703,751 画像データ
130 符号化部
131,401,601,622,701,722 符号化データ
140 チャネル
150,450,470 復号部
160,690,770 色空間逆変換部
170 ディスプレイ
201,310,400,600 カラーフォーマット変換部
202,330,480 カラーフォーマット逆変換部
210,420,620,720 フィルタリング・サブサンプリング部
220,660,680,750 アップサンプリング・補間部
320 決定部
321,322,491 カラーフォーマット逆変換係数
402,461 符号化カラーフォーマット逆変換係数
430,630 色空間予測部
440 係数予測部
460 係数符号化部
490 係数復号部
602,671,702,741 符号化補助情報
604,704,731 補間フィルタ係数
605 色空間逆変換係数
640,730 補間フィルタ係数予測部
650 色空間逆変換予測部
670,740 補助情報符号化部
675,760 補助情報復号部
830 画像圧縮部
850 画像伸張部
Claims (12)
- カラー画像を符号化する画像符号化方法であって、
前記カラー画像の色空間を第1の色空間から前記第1の色空間と異なる第2の色空間に変換して色空間変換済みカラー画像を生成する色空間変換ステップと、
前記色空間変換済みカラー画像に含まれるサンプルの一部を除去してサブサンプリング済みカラー画像を生成するサブサンプリングステップと、
前記サブサンプリング済みカラー画像を符号化して符号化済みカラー画像を生成する符号化ステップと、
サンプルを補間するアップサンプリング処理に用いられるアップサンプリング係数を算出するアップサンプリング係数算出ステップと、
色空間を前記第2の色空間から前記第1の色空間に逆変換するための色空間逆変換係数を算出する色空間逆変換係数算出ステップと、
前記符号化済みカラー画像、前記アップサンプリング係数、及び前記色空間逆変換係数を出力する出力ステップとを含む
画像符号化方法。 - 該画像符号化方法は、さらに、
前記符号化済みカラー画像を復号して復号済みカラー画像を生成する復号ステップと、
前記復号済みカラー画像のサンプルを補間して補間済みカラー画像を生成するアップサンプリングステップとを含み、
前記アップサンプリング係数算出ステップでは、前記復号済みカラー画像と前記色空間変換済みカラー画像との平均2乗誤差が最小となるように、前記アップサンプリング係数を算出する
請求項1に記載の画像符号化方法。 - 該画像符号化方法は、さらに、前記補間済みカラー画像の色空間を前記第2の色空間から前記第1の色空間に逆変換して色空間逆変換済みカラー画像を生成する色空間逆変換ステップを含み、
前記色空間逆変換係数算出ステップでは、前記色空間逆変換済みカラー画像と前記カラー画像との平均2乗誤差が最小となるように、前記色空間逆変換係数を算出する
請求項2に記載の画像符号化方法。 - 該画像符号化方法は、さらに、前記カラー画像の特性に基づいて色空間変換係数を算出する色空間予測ステップを含み、
前記色空間変換ステップでは、前記色空間予測ステップで算出された前記色空間変換係数に基づいて、前記カラー画像の色空間を前記第1の色空間から前記第2の色空間に変換し、
前記出力ステップでは、さらに、前記色空間変換係数を出力する
請求項1に記載の画像符号化方法。 - 該画像符号化方法は、さらに、前記アップサンプリング係数、前記色空間逆変換係数、及び前記色空間変換係数を含む補助情報を符号化して符号化済み補助情報を生成する補助情報符号化ステップを含み、
前記出力ステップでは、前記符号化済みカラー画像及び前記符号化済み補助情報を出力する
請求項4に記載の画像符号化方法。 - カラー画像を復号する画像復号方法であって、
符号化済みカラー画像、アップサンプリング係数、及び色空間逆変換係数を取得する取得ステップと、
前記符号化済みカラー画像を復号して復号済みカラー画像を生成する復号ステップと、
前記アップサンプリング係数を用いて前記復号済みカラー画像のサンプルを補間することにより、補間済みカラー画像を生成するアップサンプリングステップと、
前記色空間逆変換係数を用いて前記補間済みカラー画像の色空間を前記第2の色空間から前記第1の色空間に逆変換することにより、カラー画像を生成する色空間逆変換ステップとを含む
画像復号方法。 - カラー画像を符号化する画像符号化装置であって、
前記カラー画像の色空間を第1の色空間から前記第1の色空間と異なる第2の色空間に変換して色空間変換済みカラー画像を生成する色空間変換部と、
前記色空間変換済みカラー画像に含まれるサンプルの一部を除去してサブサンプリング済みカラー画像を生成するサブサンプリング部と、
前記サブサンプリング済みカラー画像を符号化して符号化済みカラー画像を生成する符号化部と、
サンプルを補間するアップサンプリング処理に用いられるアップサンプリング係数を算出するアップサンプリング係数算出部と、
色空間を前記第2の色空間から前記第1の色空間に逆変換するための色空間逆変換係数を算出する色空間逆変換係数算出部と、
前記符号化済みカラー画像、前記アップサンプリング係数、及び前記色空間逆変換係数を出力する出力部とを備える
画像符号化装置。 - カラー画像を復号する画像復号装置であって、
符号化済みカラー画像、アップサンプリング係数、及び色空間逆変換係数を取得する取得部と、
前記符号化済みカラー画像を復号して復号済みカラー画像を生成する復号部と、
前記アップサンプリング係数を用いて前記復号済みカラー画像のサンプルを補間することにより、補間済みカラー画像を生成するアップサンプリング部と、
前記色空間逆変換係数を用いて前記補間済みカラー画像の色空間を前記第2の色空間から前記第1の色空間に逆変換することにより、カラー画像を生成する色空間逆変換部とを備える
画像復号装置。 - コンピュータに、カラー画像を符号化させるプログラムであって、
前記カラー画像の色空間を第1の色空間から前記第1の色空間と異なる第2の色空間に変換して色空間変換済みカラー画像を生成する色空間変換ステップと、
前記色空間変換済みカラー画像に含まれるサンプルの一部を除去してサブサンプリング済みカラー画像を生成するサブサンプリングステップと、
前記サブサンプリング済みカラー画像を符号化して符号化済みカラー画像を生成する符号化ステップと、
サンプルを補間するアップサンプリング処理に用いられるアップサンプリング係数を算出するアップサンプリング係数算出ステップと、
色空間を前記第2の色空間から前記第1の色空間に逆変換するための色空間逆変換係数を算出する色空間逆変換係数算出ステップと、
前記符号化済みカラー画像、前記アップサンプリング係数、及び前記色空間逆変換係数を出力する出力ステップとを含む
プログラム。 - コンピュータに、カラー画像を復号させるプログラムであって、
符号化済みカラー画像、アップサンプリング係数、及び色空間逆変換係数を取得する取得ステップと、
前記符号化済みカラー画像を復号して復号済みカラー画像を生成する復号ステップと、
前記アップサンプリング係数を用いて前記復号済みカラー画像のサンプルを補間することにより、補間済みカラー画像を生成するアップサンプリングステップと、
前記色空間逆変換係数を用いて前記補間済みカラー画像の色空間を前記第2の色空間から前記第1の色空間に逆変換することにより、カラー画像を生成する色空間逆変換ステップとを含む
プログラム。 - カラー画像を符号化する集積回路であって、
前記カラー画像の色空間を第1の色空間から前記第1の色空間と異なる第2の色空間に変換して色空間変換済みカラー画像を生成する色空間変換部と、
前記色空間変換済みカラー画像に含まれるサンプルの一部を除去してサブサンプリング済みカラー画像を生成するサブサンプリング部と、
前記サブサンプリング済みカラー画像を符号化して符号化済みカラー画像を生成する符号化部と、
サンプルを補間するアップサンプリング処理に用いられるアップサンプリング係数を算出するアップサンプリング係数算出部と、
色空間を前記第2の色空間から前記第1の色空間に逆変換するための色空間逆変換係数を算出する色空間逆変換係数算出部と、
前記符号化済みカラー画像、前記アップサンプリング係数、及び前記色空間逆変換係数を出力する出力部とを備える
集積回路。 - カラー画像を復号する集積回路であって、
符号化済みカラー画像、アップサンプリング係数、及び色空間逆変換係数を取得する取得部と、
前記符号化済みカラー画像を復号して復号済みカラー画像を生成する復号部と、
前記アップサンプリング係数を用いて前記復号済みカラー画像のサンプルを補間することにより、補間済みカラー画像を生成するアップサンプリング部と、
前記色空間逆変換係数を用いて前記補間済みカラー画像の色空間を前記第2の色空間から前記第1の色空間に逆変換することにより、カラー画像を生成する色空間逆変換部とを備える
集積回路。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP08012330A EP2144432A1 (en) | 2008-07-08 | 2008-07-08 | Adaptive color format conversion and deconversion |
EP08012330.0 | 2008-07-08 | ||
PCT/JP2009/003146 WO2010004726A1 (ja) | 2008-07-08 | 2009-07-07 | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、プログラム、及び集積回路 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2010004726A1 true JPWO2010004726A1 (ja) | 2011-12-22 |
Family
ID=39926883
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010519637A Withdrawn JPWO2010004726A1 (ja) | 2008-07-08 | 2009-07-07 | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、プログラム、及び集積回路 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20100208989A1 (ja) |
EP (2) | EP2144432A1 (ja) |
JP (1) | JPWO2010004726A1 (ja) |
KR (1) | KR20110025888A (ja) |
CN (1) | CN101796843A (ja) |
WO (1) | WO2010004726A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014078924A (ja) * | 2012-09-21 | 2014-05-01 | Toshiba Corp | 復号装置、及び符号化装置 |
Families Citing this family (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101675118B1 (ko) | 2010-01-14 | 2016-11-10 | 삼성전자 주식회사 | 스킵 및 분할 순서를 고려한 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치 |
JP5419795B2 (ja) * | 2010-04-30 | 2014-02-19 | 日本放送協会 | 画像符号化装置及びプログラム |
KR20120105615A (ko) * | 2011-03-16 | 2012-09-26 | 삼성전자주식회사 | 색영역 판단 장치 및 이를 포함하는 영상 표시 장치 |
JP5566931B2 (ja) * | 2011-03-17 | 2014-08-06 | 株式会社東芝 | 画像処理装置、画像処理方法、プログラムおよび記憶媒体 |
JP6094973B2 (ja) * | 2011-05-20 | 2017-03-15 | サン パテント トラスト | 色平面内予測を用いて映像を符号化および復号する方法および装置 |
JP5717548B2 (ja) * | 2011-06-09 | 2015-05-13 | 日本放送協会 | 超解像補助情報生成装置、符号化装置、復号装置、及びこれらのプログラム |
US9712847B2 (en) * | 2011-09-20 | 2017-07-18 | Microsoft Technology Licensing, Llc | Low-complexity remote presentation session encoder using subsampling in color conversion space |
US20130166767A1 (en) * | 2011-11-23 | 2013-06-27 | General Electric Company | Systems and methods for rapid image delivery and monitoring |
CN102547304A (zh) * | 2011-12-31 | 2012-07-04 | 蔡静 | 一种视频图像数据获取装置及方法 |
JP5901362B2 (ja) * | 2012-03-08 | 2016-04-06 | 日本放送協会 | 色変換装置、カラーサブサンプリング装置およびこれらのプログラム |
SG11201405394PA (en) * | 2012-03-16 | 2014-11-27 | Universal Robot Kabushiki Kaisha | Personal authentication method and personal authentication device |
JP6282763B2 (ja) * | 2012-09-21 | 2018-02-21 | 株式会社東芝 | 復号装置、符号化装置、復号方法、及び符号化方法 |
WO2014045506A1 (en) * | 2012-09-24 | 2014-03-27 | Sharp Kabushiki Kaisha | Video compression with color space scalability |
US9124899B2 (en) | 2012-09-28 | 2015-09-01 | Sharp Laboratories Of America, Inc. | Motion derivation and coding for scaling video |
EP2753091A1 (en) * | 2012-10-18 | 2014-07-09 | Thomson Licensing | Method for coding and decoding a video and corresponding devices |
US10277907B2 (en) * | 2012-10-25 | 2019-04-30 | Integrated Device Technology, Inc. | Rate-distortion optimizers and optimization techniques including joint optimization of multiple color components |
CN103024246B (zh) * | 2012-11-29 | 2015-06-24 | 华东师范大学 | 一种文书档案图像压缩方法 |
EP2942948B1 (en) * | 2013-01-04 | 2018-06-20 | Sony Corporation | Transmission device, reception device, transmission method, reception method, and transmission/reception system |
JP6018012B2 (ja) * | 2013-04-05 | 2016-11-02 | 日本電信電話株式会社 | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、およびそれらのプログラム並びに記録媒体 |
JP6013964B2 (ja) * | 2013-04-05 | 2016-10-25 | 日本電信電話株式会社 | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、およびそれらのプログラム並びに記録媒体 |
KR102050423B1 (ko) * | 2013-04-30 | 2019-11-29 | 한화테크윈 주식회사 | 영상 재생 방법 |
TWI676389B (zh) | 2013-07-15 | 2019-11-01 | 美商內數位Vc專利控股股份有限公司 | 至少一種色彩轉換之編碼方法和編碼器、解碼器、顯示裝置、編碼視訊訊號、電腦程式製品及處理器可讀式媒體 |
US10210599B2 (en) | 2013-08-09 | 2019-02-19 | Intuitive Surgical Operations, Inc. | Efficient image demosaicing and local contrast enhancement |
US9264683B2 (en) * | 2013-09-03 | 2016-02-16 | Sony Corporation | Decoding device and decoding method, encoding device, and encoding method |
US10178413B2 (en) * | 2013-09-12 | 2019-01-08 | Warner Bros. Entertainment Inc. | Method and apparatus for color difference transform |
US10027996B2 (en) | 2014-01-06 | 2018-07-17 | Lg Electronics Inc. | Method and device for transmitting and receiving broadcast signal on basis of color gamut resampling |
JP6177148B2 (ja) * | 2014-01-22 | 2017-08-09 | Kddi株式会社 | 動画像復号装置、動画像復号方法、およびプログラム |
CN110049325B (zh) | 2014-03-04 | 2022-07-05 | 微软技术许可有限责任公司 | 色彩空间、色彩采样率和/或比特深度的自适应切换 |
CN105264888B (zh) | 2014-03-04 | 2018-09-14 | 微软技术许可有限责任公司 | 用于对色彩空间、色彩采样率和/或比特深度自适应切换的编码策略 |
JP6367359B2 (ja) | 2014-03-27 | 2018-08-01 | マイクロソフト テクノロジー ライセンシング,エルエルシー | 色空間を切り替えるときの量子化/スケーリング及び逆量子化/スケーリングの調整 |
JP6316640B2 (ja) * | 2014-04-18 | 2018-04-25 | 日本放送協会 | 映像記録装置、映像再生装置及び映像記録プログラム |
US9286653B2 (en) | 2014-08-06 | 2016-03-15 | Google Inc. | System and method for increasing the bit depth of images |
US9153017B1 (en) * | 2014-08-15 | 2015-10-06 | Google Inc. | System and method for optimized chroma subsampling |
US9883184B2 (en) * | 2014-10-07 | 2018-01-30 | Qualcomm Incorporated | QP derivation and offset for adaptive color transform in video coding |
CN105960802B (zh) * | 2014-10-08 | 2018-02-06 | 微软技术许可有限责任公司 | 切换色彩空间时对编码和解码的调整 |
JP6409516B2 (ja) * | 2014-11-13 | 2018-10-24 | 富士通株式会社 | ピクチャ符号化プログラム、ピクチャ符号化方法及びピクチャ符号化装置 |
DK3257042T3 (da) * | 2015-02-13 | 2022-08-01 | Ericsson Telefon Ab L M | Pixel-forbehandling og -kodning |
WO2016145243A1 (en) * | 2015-03-10 | 2016-09-15 | Apple Inc. | Adaptive chroma downsampling and color space conversion techniques |
JP6622481B2 (ja) | 2015-04-15 | 2019-12-18 | キヤノン株式会社 | 撮像装置、撮像システム、撮像装置の信号処理方法、信号処理方法 |
WO2017083784A1 (en) | 2015-11-11 | 2017-05-18 | Apple Inc. | Adaptive chroma downsampling and color space conversion techniques |
AU2016203181B2 (en) * | 2016-05-16 | 2018-09-06 | Canon Kabushiki Kaisha | Method, apparatus and system for determining a luma value |
US10438328B1 (en) * | 2016-12-15 | 2019-10-08 | Google Llc | Chroma blurring reduction in video and images |
JP7068787B2 (ja) * | 2017-08-15 | 2022-05-17 | 日本放送協会 | 映像信号送信装置 |
US11270470B2 (en) * | 2017-10-12 | 2022-03-08 | Sony Group Corporation | Color leaking suppression in anchor point cloud compression |
US20190139189A1 (en) * | 2017-11-06 | 2019-05-09 | Qualcomm Incorporated | Image remosaicing |
CN110381278A (zh) * | 2019-09-05 | 2019-10-25 | 无锡思朗电子科技有限公司 | 用于色彩空间4:4:4传输的方法及设备 |
CN111654705B (zh) * | 2020-06-05 | 2022-11-11 | 电子科技大学 | 基于色彩空间转换的马赛克图像压缩方法 |
CN114125448B (zh) * | 2020-08-31 | 2023-04-04 | 华为技术有限公司 | 视频编码方法、解码方法及相关装置 |
EP4226634A1 (en) * | 2020-10-06 | 2023-08-16 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding and decoding |
CN115767287B (zh) * | 2021-09-03 | 2023-10-27 | 荣耀终端有限公司 | 图像处理方法与电子设备 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3271095B2 (ja) * | 1993-06-18 | 2002-04-02 | ソニー株式会社 | ディジタル画像信号の高能率符号化装置および復号装置 |
JPH07203211A (ja) * | 1993-12-28 | 1995-08-04 | Canon Inc | 画像処理方法及び装置 |
US7194128B1 (en) * | 2000-07-26 | 2007-03-20 | Lockheed Martin Corporation | Data compression using principal components transformation |
US6754383B1 (en) * | 2000-07-26 | 2004-06-22 | Lockheed Martin Corporation | Lossy JPEG compression/reconstruction using principal components transformation |
JP3495336B2 (ja) * | 2001-01-29 | 2004-02-09 | 日本電信電話株式会社 | 画像符号化方法及び装置並びに画像復号化方法及び装置 |
JP4064127B2 (ja) * | 2002-03-08 | 2008-03-19 | シャープ株式会社 | 画像符号化装置および画像復号装置 |
US7586642B2 (en) * | 2003-07-25 | 2009-09-08 | Hoya Corporation | Color-space transformation-matrix calculating system and calculating method |
EP1538826A3 (en) * | 2003-12-05 | 2007-03-07 | Samsung Electronics Co., Ltd. | Color transformation method and apparatus |
JP4127818B2 (ja) * | 2003-12-24 | 2008-07-30 | 株式会社東芝 | 動画像符号化方法及びその装置 |
CN1906951A (zh) * | 2004-01-05 | 2007-01-31 | 皇家飞利浦电子股份有限公司 | 由子采样视频内容和通过非再生色彩空间映射得出的环境光 |
EP1746839A1 (en) * | 2005-07-22 | 2007-01-24 | Thomson Licensing | Method and apparatus for encoding video data |
WO2007010690A1 (ja) * | 2005-07-22 | 2007-01-25 | Mitsubishi Electric Corporation | 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法、画像符号化プログラム、画像復号プログラム、ならびに画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体、画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体 |
US20080123947A1 (en) * | 2005-07-22 | 2008-05-29 | Mitsubishi Electric Corporation | Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein |
CN101076125B (zh) * | 2007-06-18 | 2010-07-28 | 山东经济学院 | 图像压缩中RGB与YCbCr转换计算的方法 |
-
2008
- 2008-07-08 EP EP08012330A patent/EP2144432A1/en not_active Withdrawn
-
2009
- 2009-07-07 KR KR1020107004783A patent/KR20110025888A/ko not_active Application Discontinuation
- 2009-07-07 EP EP09794174A patent/EP2299715A1/en not_active Withdrawn
- 2009-07-07 JP JP2010519637A patent/JPWO2010004726A1/ja not_active Withdrawn
- 2009-07-07 CN CN200980100316A patent/CN101796843A/zh active Pending
- 2009-07-07 WO PCT/JP2009/003146 patent/WO2010004726A1/ja active Application Filing
- 2009-07-07 US US12/676,449 patent/US20100208989A1/en not_active Abandoned
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014078924A (ja) * | 2012-09-21 | 2014-05-01 | Toshiba Corp | 復号装置、及び符号化装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2010004726A1 (ja) | 2010-01-14 |
EP2144432A1 (en) | 2010-01-13 |
US20100208989A1 (en) | 2010-08-19 |
CN101796843A (zh) | 2010-08-04 |
EP2299715A1 (en) | 2011-03-23 |
KR20110025888A (ko) | 2011-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2010004726A1 (ja) | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、プログラム、及び集積回路 | |
US10499057B2 (en) | Image processing device and image processing method | |
US10462493B2 (en) | Method and device for optimizing encoding/decoding of compensation offsets for a set of reconstructed samples of an image | |
JP6325606B2 (ja) | データ符号化及び復号化 | |
US10334251B2 (en) | Image coding device, image decoding device, image coding method, and image decoding method | |
CN107211128B (zh) | 自适应色度下采样和色彩空间转换技术 | |
US8860781B2 (en) | Texture compression in a video decoder for efficient 2D-3D rendering | |
US9571838B2 (en) | Image processing apparatus and image processing method | |
US20100232691A1 (en) | Image coding device, image decoding device, image coding method, and image decoding method | |
EP2843951B1 (en) | Image processing device and image processing method | |
WO2015131330A1 (en) | Encoding strategies for adaptive switching of color spaces, color sampling rates and/or bit depths | |
WO2012153578A1 (ja) | 画像処理装置及び画像処理方法 | |
US9148672B2 (en) | Method and apparatus for residue transform | |
US20170105012A1 (en) | Method and Apparatus for Cross Color Space Mode Decision | |
JP4580880B2 (ja) | 画像符号化装置、画像復号装置及び画像処理システム | |
JPWO2010055675A1 (ja) | 動画像符号化装置及び動画像復号装置 | |
US20070253629A1 (en) | Image Processing Device and Image Forming Device Provided therewith | |
KR20240089011A (ko) | 선택 가능한 뉴럴 네트워크 기반 코딩 도구를 사용하는 비디오 코딩 | |
Lian et al. | Modelling of Image Processing Pipelines in Single-Sensor Digital Cameras |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120118 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20120907 |