JP2002344996A

JP2002344996A - 画像符号化装置および画像サーバ装置

Info

Publication number: JP2002344996A
Application number: JP2001143676A
Authority: JP
Inventors: Sadami Okada; 貞実岡田
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2001-05-14
Filing date: 2001-05-14
Publication date: 2002-11-29
Anticipated expiration: 2021-05-14
Also published as: US6934418B2; US20030044077A1; JP4834917B2

Abstract

(57)【要約】【課題】画像データをウェーブレット変換により符号
化する画像符号化装置と、画像データをウェーブレット
変換により符号化して、ネットワークを介してクライア
ントに配信する画像サーバ装置とに関し、所望の圧縮率
または復元画質に応じた符号化を容易に行うことを目的
とする。【解決手段】画像データにウェーブレット変換を施す
ことによって変換係数を生成してから符号化データを生
成する符号化部を備えた画像符号化装置であって、サブ
サンプリングが行われていない画像データに対する符号
化データを前記符号化部によって生成して格納する格納
部と、圧縮率または復元画質を表す圧縮関連情報を取得
する情報取得部と、前記格納部に格納された符号化デー
タを構成する各色成分のサブサンプリング比を、前記圧
縮関連情報に応じて変更し、新たな符号化データを生成
する再符号化部とを備えている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像データをウェ
ーブレット（Wavelet）変換により符号化する画像符号
化装置と、画像データをウェーブレット変換により符号
化して、ネットワークを介してクライアントに配信する
画像サーバ装置とに関する。

【０００２】

【従来の技術】従来より、予め記録されている画像を、
クライアントからの要求に応じて、配信する画像サーバ
装置が知られている。このような画像サーバ装置には、
符号化されていない非圧縮の画像データを予め記録して
おくものや、画像データを圧縮符号化して得られる符号
化データを予め記録しておくものがある。これらの画像
サーバ装置では、予め記録されているデータの形態によ
って、配信の要求を受け付けてからの処理手順が異な
る。

【０００３】例えば、符号化されていない非圧縮の画像
データを記録している画像サーバ装置は、クライアント
からの配信要求を受け付けると共に、画像データに対す
る圧縮率または復元画質を表す圧縮関連情報を取得す
る。そして、取得した圧縮関連情報に応じて画像データ
を圧縮符号化して、クライアントに配信する。一方、符
号化データを記録している画像サーバ装置には、中品質
の復元画質を実現できる圧縮率（１／１０〜１／２０程
度）で圧縮符号化された符号化データを記録している画
像サーバ装置（以下、「中品質圧縮の画像サーバ装置」
と称する）がある。このような「中品質圧縮の画像サー
バ装置」では、クライアントからの配信要求を受け付け
ると、記録している符号化データをそのまま配信する。

【０００４】また、符号化データを記録している画像サ
ーバ装置としては、高品質の復元画質を実現できる圧縮
率（１／４〜１／８程度）で圧縮符号化された符号化デ
ータを記録している画像サーバ装置（以下、「高品質圧
縮の画像サーバ装置」と称する）も考えられる。このよ
うな「高品質圧縮の画像サーバ装置」では、クライアン
トからの高画質や高解像度の画像の配信要求には、記録
している符号化データをそのまま配信することによって
対応できる。また、データ量を減らすための低画質や低
解像度の画像の配信要求には、記録している符号化デー
タを、伸長してから、クライアントの要求に応じた圧縮
率で再び圧縮符号化して配信することによって対応でき
る。

【０００５】ところで、画像データを符号化する技術に
関しては、離散コサイン変換による符号化に代わる新た
な技術として、ウェーブレット変換による符号化が、従
来から注目されている。現在、ＩＳＯとＩＴＵ−Ｔとに
よる静止画像符号化標準機関によって、ウェーブレット
変換による画像データの符号化が採用されたＪＰＥＧ２
０００の標準化作業が進められている。なお、ＪＰＥＧ
２０００は、６つのパートに分けて標準化作業が進めら
れており、２０００年１２月には、ＪＰＥＧ２０００の
中核をなす技術を規定したパート（Ｐａｒｔ１）が国際
標準化された。

【０００６】図７および図８は、ＪＰＥＧ２０００のＰ
ａｒｔ１の符号化を適用した従来の画像サーバ装置の動
作フローチャートである。ただし、図７および図８で
は、符号化されていない非圧縮のＲＧＢ表色系の画像デ
ータを予め記録している画像サーバ装置にＪＰＥＧ２０
００のＰａｒｔ１の符号化を適用した例を示している。
図９は、このような従来の画像サーバ装置の機能ブロッ
ク図である。

【０００７】図９に示すように、従来の画像サーバ装置
１００は、画像データを予め記録するための画像記録装
置１０１と、その画像データを圧縮符号化するための符
号化部１０２と、ネットワークを介してクライアントと
のインタフェースを実現するためのネットワークインタ
フェース部１０３とを備えている。以下、図７ないし図
９を参照して、従来の画像サーバ装置１００で行われる
ＪＰＥＧ２０００のＰａｒｔ１の符号化の概要を説明す
る。ただし、以下では、圧縮率のレベルまたは復元画質
のレベル（０レベル〜１０レベル）が、圧縮関連情報と
してネットワークインタフェース部１０３に供給される
ものとして説明を行う。

【０００８】まず、画像サーバ装置１００は、ネットワ
ークインタフェース部１０３を介し、クライアントによ
って画像の配信要求が行われたか否かを繰り返し判定す
る（図７Ｓ１０１）。そして、画像の配信要求が行われ
ると、画像サーバ装置１００は、ネットワークインタフ
ェース部１０３を介し、クライアントから供給される圧
縮関連情報（圧縮率のレベルまたは復元画質のレベル）
を取得する（図７Ｓ１０２）。

【０００９】このようにして取得された圧縮関連情報
は、符号化部１０２に供給される。符号化部１０２は、
画像記録装置１０１から配信の対象となる画像に対応す
る画像データを読み出し、その画像データを複数の矩形
領域（以下、「タイル画像」と称する）に分割する（図
７Ｓ１０３）。次に、符号化部１０２は、各々のタイル
画像に色座標変換を施して、ＹＣｂＣｒ表色系の画像デ
ータを生成する（図７Ｓ１０４）。

【００１０】次に、符号化部１０２は、このような画像
データの各色成分（Ｙ成分,Ｃｂ成分,Ｃｒ成分）のサブ
サンプリング比を、圧縮関連情報に応じて設定し（図７
Ｓ１０５）、設定したサブサンプリング比に基づいて画
像データの色差成分（Ｃｂ成分,Ｃｒ成分）を間引くこ
とによってサブサンプリングを行う（図７Ｓ１０６）。
例えば、符号化部１０２は、圧縮関連情報（圧縮率のレ
ベルまたは復元画質のレベル）が０レベル〜３レベルを
示す場合、Ｙ,Ｃｂ,Ｃｒ間のサブサンプリング比を
「４：４：４」に設定し、圧縮関連情報が４レベル〜７
レベルを示す場合、Ｙ,Ｃｂ,Ｃｒ間のサブサンプリング
比を「４：２：２」に設定し、圧縮関連情報が８レベル
以上を示す場合、Ｙ,Ｃｂ,Ｃｒ間のサブサンプリング比
を「４：２：０」に設定する。図１０（Ｂ）は、Ｙ,Ｃ
ｂ,Ｃｒ間のサブサンプリング比を「４：２：０」に設
定して、色差成分の間引きを行った状態を示している。

【００１１】なお、図１１は、サブサンプリング比を説
明する図である。次に、符号化部１０２は、縦横２方向
の離散ウェーブレット変換によって、サブサンプリング
を行った画像データの各色成分（Ｙ成分,Ｃｂ成分,Ｃｒ
成分）を解像度の異なる複数のサブバンド（ＬＬ、Ｌ
Ｈ、ＨＬ、ＨＨ）に分解する（図７Ｓ１０７）。

【００１２】ただし、これらのサブバンドのうち、ＬＬ
サブバンドは、更に離散ウェーブレット変換が施され、
複数のサブバンド（ＬＬ、ＬＨ、ＨＬ、ＨＨ）に分解さ
れる。このようにして離散ウェーブレット変換が再帰的
に繰り返されると、画像データの各成分は、図１０
（Ｃ）に示すようなサブバンドに分解される。なお、図
１０（Ｃ）では、ＬＬサブバンドを分解レベル０とし、
ＬＨ、ＨＬ、ＨＨの３つのサブバンドの組を離散ウェー
ブレット変換の適用回数の多いものから順に、分解レベ
ル１、２、・・・としている。

【００１３】次に、符号化部１０２は、サブバンド毎に
定められた量子化ステップ幅により、各々のウェーブレ
ット変換係数を量子化する（図７Ｓ１０８）。次に、符
号化部１０２は、量子化したウェーブレット変換係数
を、コードブロックと呼ばれる固定サイズのブロックに
分割する（図７Ｓ１０９）。次に、符号化部１０２は、
各コードブロック内のウェーブレット変換係数の量子化
値を複数のビットプレーンで表現し、ビットプレーンを
単位としてエントロピー符号化を行って、各コードブロ
ック毎に符号化データを生成する（図７Ｓ１１０）。

【００１４】すなわち、全ての色成分の全てのサブバン
ドに対して、コードブロック別の符号化データが生成さ
れることになる。次に、符号化部１０２は、このように
して生成した符号化データに、ＭＱコーダーによる算術
符号化を施す（図７Ｓ１１１）。次に、符号化部１０２
は、全てのコードブロックに対する符号化データを所定
のレイヤ構成に応じて分割する（図８Ｓ１１２）。

【００１５】次に、符号化部１０２は、このようにして
分割した符号化データを、分解レベル、レイヤ、色成分
が同一となるようにグループ化して、パケットを生成す
る（図８Ｓ１１３）。なお、各パケットは、ヘッダとボ
ディとから成り、ヘッダには、ボディを構成する符号化
データの属性などが格納されている。次に、符号化部１
０２は、所定のスケーラビリティ（例えば、ＳＮＲのス
ケーラビリティなど）に応じてパケットを並べてコード
ストリームを生成する（図８Ｓ１１４）。

【００１６】そして、このようにして生成されたコード
ストリームが、最終的な符号化データとして、ネットワ
ークインタフェース部１０３を介して、クライアントに
配信される（図８Ｓ１１５）。以上説明したように、Ｊ
ＰＥＧ２０００のＰａｒｔ１の符号化が適用された従来
の画像サーバ１００では、図７Ｓ１０６のように、色差
成分の間引きによるサブサンプリングによって、クライ
アントの要求に応じた圧縮率での圧縮符号化を実現して
いる。

【００１７】

【発明が解決しようとする課題】しかし、このようにし
て実現される圧縮符号化では、クライアントからの画像
の配信要求を受け付ける度に、図７Ｓ１０２〜図８Ｓ１
１５に示した処理を繰り返し行う必要がある。そのた
め、符号化部１０２の負荷が大きく、クライアントから
の配信要求に速やかに応じることができないという問題
が発生する。

【００１８】また、画像サーバ装置１００では、符号化
されていない非圧縮の画像データを予め記録しておく必
要があるため、画像記録装置１０１の記憶容量を大容量
にしなければならない。一方、上述した「中品質圧縮の
画像サーバ装置」や「高品質圧縮の画像サーバ装置」で
は、圧縮符号化された符号化データを記録しているの
で、大容量の記録装置は不要である。

【００１９】しかし、「中品質圧縮の画像サーバ装置」
は、一定の圧縮率（１／１０〜１／２０程度）で圧縮符
号化された符号化データしか配信できない。そのため、
伝送効率を重視する場合であってもデータ量を減らすこ
とができないという問題や、クライアントからの高画質
や高解像度の画像の配信要求に対応することができない
という問題も発生する。

【００２０】また、「高品質圧縮の画像サーバ装置」で
は、クライアントが低画質や低解像度の画像の配信要求
を行った場合、予め圧縮符号化されている符号化データ
を伸長してから、図７Ｓ１０２〜図８Ｓ１１５に示すよ
うな処理により再符号化を行う必要がある。そのため、
クライアントからの配信要求に速やかに応じることがで
きないという問題が発生する。さらに、このような再符
号化では必ず伸長を伴うので、再符号化によって得られ
る符号化データの再現画像の画質が、非圧縮の画像デー
タを圧縮符号化して得られる符号化データの再現画像の
画質と比べて劣化してしまうという問題が発生する。

【００２１】そこで、請求項１ないし請求項４に記載の
発明は、所望の圧縮率または復元画質に応じた符号化を
容易に行うことができる画像符号化装置を提供すること
を目的とする。また、請求項５に記載の発明は、画質の
劣化を抑えつつ、所望の圧縮率または復元画質に応じた
符号化を容易に、かつ、速やかに行うことができる画像
サーバ装置を提供することを目的とする。

【００２２】

【課題を解決するための手段】請求項１に記載の画像符
号化装置は、画像データにウェーブレット変換を施すこ
とによって変換係数を生成してから符号化データを生成
する符号化部を備えた画像符号化装置であって、サブサ
ンプリングが行われていない画像データに対する符号化
データを前記符号化部によって生成して格納する格納部
と、圧縮率または復元画質を表す圧縮関連情報を取得す
る情報取得部と、前記格納部に格納された符号化データ
を構成する各色成分のサブサンプリング比を、前記圧縮
関連情報に応じて変更し、新たな符号化データを生成す
る再符号化部とを備えたことを特徴とする。

【００２３】なお、請求項１に記載の画像符号化装置に
おいて、情報取得部は、操作者によって設定された圧縮
関連情報を取得しても良いし、外部の装置から供給され
る圧縮関連情報を取得しても良い。また、再符号化部に
よって生成された新たな符号化データは、内部の記録装
置に記録されても良いし、外部の装置に転送されても良
い。

【００２４】すなわち、請求項１に記載の発明は、圧縮
関連情報の設定に関わる操作部を備えた電子カメラや、
転送先から供給される圧縮関連情報を受け付ける機能を
備えた画像転送装置（符号化データを転送する機能を備
えた電子カメラを含む）に適用することができる。とこ
ろで、符号化データを転送する機能を備えていない電子
カメラであっても、着脱可能な記録媒体（例えば、ＰＣ
カードなど）に符号化データを記録することができれ
ば、その記録媒体に記録された符号化データは、パーソ
ナルコンピュータ等を介して転送することが可能であ
る。このような電子カメラの操作者は、所定の圧縮率ま
たは復元画質を示す情報（圧縮関連情報に相当する）
を、所定の操作部によって設定することができ、所望の
符号化データを記録媒体に出力できる。したがって、符
号化データを転送する機能を備えていない電子カメラ
に、請求項１に記載の発明を適用する場合であっても、
転送先からの要求に応じて圧縮した符号化データを転送
することが可能である。

【００２５】請求項２に記載の画像符号化装置は、請求
項１に記載の画像符号化装置において、前記画像データ
は、輝度成分と色差成分とを有し、前記再符号化部は、
前記圧縮関連情報の他に更に、前記輝度成分と前記色差
成分との少なくとも一方に基づいて得られる画像データ
の特徴に応じて、変更すべきサブサンプリング比を決め
ることを特徴とする。

【００２６】すなわち、請求項２に記載の画像符号化装
置では、圧縮関連情報だけでなく、画像データの特徴に
応じて、格納部に格納された符号化データを構成する各
色成分のサブサンプリング比が変更されて、新たな符号
化データが生成される。なお、輝度成分と色差成分との
少なくとも一方に基づいて得られる画像データの特徴と
しては、例えば、「画像データ全体に対する色差成分の
情報量の占める割合」などが挙げられる。

【００２７】また、このような「画像データ全体に対す
る色差成分の情報量の占める割合」に応じたサブサンプ
リング比の決め方としては、「画像データ全体に対する
色差成分の情報量の占める割合」が少ない場合には、色
差成分の比率が低くなるようにサブサンプリング比を決
め、「画像データ全体に対する色差成分の情報量の占め
る割合」が多い場合には、色差成分の比率が高くなるよ
うにサブサンプリング比を決めれば良い。

【００２８】請求項３に記載の画像符号化装置は、請求
項２に記載の画像符号化装置において、前記符号化部
は、前記画像データを画像空間上で分割して得られるタ
イル画像の単位で、符号化データを生成し、前記再符号
化部は、前記タイル画像毎に得られる当該タイル画像の
特徴と前記圧縮関連情報とに応じて、各々のタイル画像
に対応する符号化データを構成する各色成分のサブサン
プリング比を変更し、新たな符号化データを生成するこ
とを特徴とする。

【００２９】請求項４に記載の画像符号化装置は、請求
項１ないし請求項３の何れか１項に記載の画像符号化装
置において、前記再符号化部は、前記格納部に格納され
た符号化データのうち、高周波成分に相当する当該デー
タを、無効なデータに変換する、または、削除すること
によって新たな符号化データを生成し、無効なデータに
変換すべき、または、削除すべき当該データを増減する
ことによって、サブサンプリング比の変更を実現するこ
とを特徴とする。

【００３０】なお、請求項４に記載の画像符号化装置に
おいて、無効なデータとは、例えば、０が連続すること
を示すデータなどが挙げられる。請求項５に記載の画像
サーバ装置は、画像データにウェーブレット変換を施す
ことによって変換係数を生成してから符号化データを生
成する符号化部を備えた画像サーバ装置であって、サブ
サンプリングが行われていない画像データに対する符号
化データを前記符号化部によって生成して格納する格納
部と、クライアントからの画像の配信要求と、圧縮率ま
たは復元画質を表す圧縮関連情報とを取得する情報取得
部と、前記格納部に格納された符号化データを構成する
各色成分のサブサンプリング比を、前記圧縮関連情報に
応じて変更し、新たな符号化データを生成する再符号化
部と、前記再符号化部によって生成された新たな符号化
データをクライアントに配信する配信部とを備えたこと
を特徴とする。

【００３１】

【発明の実施の形態】以下、図面に基づいて、本発明の
実施形態について詳細を説明する。図１は、本発明の実
施形態の画像サーバ装置の機能ブロック図である。図１
において、画像サーバ装置１０は、符号化部１１と格納
部１２と再符号化部１３とネットワークインタフェース
部１４とを備えている。

【００３２】なお、画像サーバ装置１０は、請求項１な
いし請求項４に記載の画像符号化装置が行う符号化の機
能を備えた画像サーバ装置に相当すると共に、請求項５
に記載の画像サーバ装置に対応する。また、請求項１な
どに記載の符号化部は符号化部１１に対応し、請求項１
などに記載の格納部は格納部１２に対応し、請求項１な
どに記載の情報取得部はネットワークインタフェース部
１４に対応し、請求項１などに記載の再符号化部は再符
号化部１３に対応する。

【００３３】本実施形態の画像サーバ装置１０の符号化
部１１は、サブサンプリングを行わずに画像データを符
号化する符号化部であり、従来の画像サーバ装置１００
の符号化部１０２と同様に、ＪＰＥＧ２０００のＰａｒ
ｔ１の符号化が適用されている。図２は、符号化部１１
の動作フローチャートである。

【００３４】ただし、図２では、従来の画像サーバ装置
１００の符号化部１０２と同様にして行える処理につい
ては、図７および図８と同じ符号を付与している。以
下、図２を参照して、符号化部１１の動作を説明する。
まず、符号化部１１は、符号化部１０２と同様に、画像
データを複数のタイル画像に分割し（図２Ｓ１０３）、
各々のタイル画像に色座標変換を施して、ＹＣｂＣｒ表
色系の画像データを生成する（図２Ｓ１０４）。ただ
し、この時、色差成分の間引きによるサブサンプリング
は行わない。図３（Ｂ）は、色座標変換によって、ＹＣ
ｂＣｒ表色系の画像データが生成された状態を示してい
る。

【００３５】ところで、本実施形態の画像サーバ装置１
０では、従来の画像サーバ装置１００と同様に、クライ
アントから圧縮関連情報が供給されてから、タイル画像
毎に、画像データの各色成分（Ｙ成分,Ｃｂ成分,Ｃｒ成
分）のサブサンプリング比が設定される。このようなタ
イル画像毎のサブサンプリング比の設定は、圧縮関連情
報のみに応じて一律に設定することが可能であるが、本
実施形態では、圧縮関連情報の他に各々のタイル画像の
特徴に応じて、タイル画像毎にサブサンプリング比を設
定する例を示す。

【００３６】本実施形態では、各々のタイル画像の特徴
として、ＹＣｂＣｒ表色系の画像データに対する色差成
分の情報量の占める割合を用いることにし、このような
割合を、Ｙ,Ｃｂ,Ｃｒの各面の標準偏差σ(Ｙ),σ(Ｃ
ｂ),σ(Ｃｒ)を用いて算出される指標（以下、「画像特
徴指標」と称する）の値によって表すことにする。な
お、このような画像特徴指標は、符号化される前のタイ
ル画像に相当するＹＣｂＣｒ表色系の画像データから算
出することが望ましい。

【００３７】そこで、本実施形態では、タイル画像毎に
ＹＣｂＣｒ表色系の画像データが生成された時点で、各
々のタイル画像に対する画像特徴指標を算出する。すな
わち、符号化部１１は、上述したようにタイル画像毎に
ＹＣｂＣｒ表色系の画像データを生成すると、各々のタ
イル画像に対する画像特徴指標を算出する（図２Ｓ
１）。

【００３８】例えば、このような画像特徴指標として
は、以下に示す式１〜式３によって算出される画像特徴
指標Ｓ１〜Ｓ３などが挙げられる。画像特徴指標Ｓ１：σ(Ｙ)/｛σ(Ｙ)+σ(Ｃｂ)+σ(Ｃｒ)｝・・・式１画像特徴指標Ｓ２：σ²(Ｙ)/｛σ²(Ｙ)+σ²(Ｃｂ)+σ²(Ｃｒ)｝・・・式２画像特徴指標Ｓ３：σ(Ｙ)/｛σ(Ｃｂ)+σ(Ｃｒ)｝・・・式３また、画像データのｘ軸方向の画素数をＮｘとし、ｙ軸
方向の画素数をＮｙとし、任意の画素におけるＹ成分,
Ｃｂ成分,Ｃｒ成分の値をＹ[ｉ，ｊ],Ｃｂ[ｉ，ｊ],Ｃ
ｒ[ｉ，ｊ]とすると、Ｙ,Ｃｂ,Ｃｒの各面の平均値<Ｙ
>,<Ｃｂ>,<Ｃｒ>と、標準偏差σ(Ｙ),σ(Ｃｂ),σ(Ｃ
ｒ)とは、以下に示す式４〜式９によって算出できる。

【数１】次に、符号化部１１は、符号化部１０２と同様に、縦横
２方向の離散ウェーブレット変換によって、各々のタイ
ル画像に対応するＹＣｂＣｒ表色系の画像データの各色
成分を複数のサブバンドに分解する（図２Ｓ１０７）。
図３（Ｃ）は、縦横２方向の離散ウェーブレット変換に
よって、画像データの各色成分が複数のサブバンドに分
解された状態を示している。

【００３９】なお、ここでは、各々のタイル画像に対応
する各色成分（Ｙ成分,Ｃｂ成分,Ｃｒ成分）を縦横２方
向の離散ウェーブレット変換によって分解する例を示し
たが、各々のタイル画像に対応する各色成分は、図４
（Ｃ−１），（Ｃ−２）に示すように、横方向・縦方向
の順で一方向ずつ別々に離散ウェーブレット変換を施し
て分解しても良い。

【００４０】次に、符号化部１１は、符号化部１０２と
同様に、ウェーブレット変換係数を量子化し（図２Ｓ１
０８）、コードブロックに分割する（図２Ｓ１０９）。
次に、符号化部１１は、符号化部１０２と同様に、各コ
ードブロック内のウェーブレット変換係数の量子化値を
複数のビットプレーンで表現し、ビットプレーンを単位
としてエントロピー符号化を行って、各コードブロック
毎に符号化データを生成する（図２Ｓ１１０）。

【００４１】次に、符号化部１１は、符号化部１０２と
同様に、符号化データにＭＱコーダーによる算術符号化
を施す（図２Ｓ１１１）。次に、符号化部１１は、符号
化部１０２と同様に、符号化データを所定のレイヤ構成
に応じて分割し（図２Ｓ１１２）、分割した符号化デー
タを、分解レベル、レイヤ、色成分が同一となるように
グループ化して、パケットを生成する（図２Ｓ１１
３）。

【００４２】最後に、符号化部１１は、各々のタイル画
像に対応するパケットと、図２Ｓ１において算出した画
像特徴指標の値とを格納部１２に格納する（図２Ｓ
２）。すなわち、格納部１２には、クライアントからの
配信要求が受け付けられる前に、予め、各々のタイル画
像に対応するパケット形式の符号化データと画像特徴指
標の値とが格納されることになる。

【００４３】図５は、クライアントからの配信要求時に
おける画像サーバ装置１０の動作フローチャートであ
る。以下、図５を参照して、クライアントからの配信要
求時の画像サーバ装置１０の動作を説明する。まず、画
像サーバ装置１０は、ネットワークインタフェース部１
４を介し、クライアントによって画像の配信要求が行わ
れたか否かを判定する（図５Ｓ１０）。

【００４４】そして、画像の配信要求が行われると、画
像サーバ装置１０は、クライアントから供給される圧縮
関連情報を取得する（図５Ｓ１１）。なお、圧縮関連情
報は、従来の画像サーバ装置１００と同様に、圧縮率の
レベルまたは復元画質のレベルであっても良いが、ここ
では、圧縮関連情報として圧縮率が供給される例を説明
する。

【００４５】ただし、ここでは、説明を簡単にするた
め、予め複数の圧縮率が用意されており、これらの圧縮
率の何れか１つの圧縮率がクライアントによって選択さ
れ、このようにして選択された圧縮率が圧縮関連情報と
して画像サーバ装置１０に供給されることにする。例え
ば、予め用意されている複数の圧縮率としては、４ｂｐ
ｐ（bit/pixel）,２ｂｐｐ,１ｂｐｐの３つの圧縮率
や、４ｂｐｐ,２ｂｐｐ,１ｂｐｐ,０.５ｂｐｐの４つの
圧縮率などが挙げられる。

【００４６】このような圧縮関連情報が取得されると、
再符号化部１３は、格納部１２から、配信の対象となる
画像に相当するタイル画像毎に、パケットと画像特徴指
標の値とを読み出す。そして、再符号化部１３は、各々
のタイル画像毎に、画像特徴指標の値と圧縮関連情報と
に応じて、各色成分（Ｙ成分,Ｃｂ成分,Ｃｒ成分）のサ
ブサンプリング比を設定する（図５Ｓ１２）。

【００４７】例えば、再符号化部１３は、画像特徴指標
の値が所定値以上である場合、色差成分の情報量の占め
る割合が少ないと判断し、色差成分の情報量の比率が低
くなるように、サブサンプリング比を設定する。また、
画像特徴指標の値が所定値未満である場合、色差成分の
情報量の占める割合が多いと判断し、色差成分の情報量
の比率が高くなるように、サブサンプリング比を設定す
る。

【００４８】図６は、サブサンプリング比の設定例を示
す図である。なお、図６では、サブサンプリング比とし
て「４：４：４」と「４：２：０」との何れかか設定さ
れる例を示したが、中間的な比率を示す「４：２：２」
を採用し、３つのサブサンプリング比を選択的に設定で
きるようにしても良い。次に、再符号化部１３は、各々
のタイル画像の色差成分を示すパケットのうち、低分解
レベル（高周波成分）に対応するパケットを、ボディの
データが全て０を示すパケット（以下、「オール０パケ
ット」と称する）に置換して、所定のスケーラビリティ
に応じたコードストリームを生成する（図５Ｓ１３）。

【００４９】ただし、「オール０パケット」に置換すべ
き低分解レベルのパケットは、サブサンプリング比によ
って決める。例えば、各々のタイル画像の色差成分が、
図３（Ｃ）に示すように、分解レベル０〜分解レベル３
に分解されている場合、再符号化部１３は、Ｙ,Ｃｂ,Ｃ
ｒ間のサブサンプリング比が「４：２：０」に設定され
ているタイル画像に対しては、Ｃｂ成分およびＣｒ成分
の分解レベル３（最低分解レベル）に対応するパケット
を「オール０パケット」に置換する。

【００５０】また、Ｙ,Ｃｂ,Ｃｒ間のサブサンプリング
比が「４：２：２」に設定されているタイル画像に対し
ては、Ｃｂ成分およびＣｒ成分の分解レベル３（最低分
解レベル）の中でＨＨ３、ＨＬ３に対応するパケットを
「オール０パケット」に置換する。

【００５１】なお、再符号化部１３は、Ｙ,Ｃｂ,Ｃｒ間
のサブサンプリング比が「４：４：４」に設定されてい
るタイル画像に対しては、「オール０パケット」への置
換を行わない。以上説明したようにして生成されるコー
ドストリームは、ネットワークインタフェース部１４を
介して、クライアントに配信される（図５Ｓ１４）。

【００５２】クライアント側では、このようにして配信
されてきたコードストリームを復号化するが、このよう
な復号化の過程で、「オール０パケット」は、復号化後
の画質に影響を与えない無効なデータとして取り扱われ
ることになる。したがって、本実施形態の画像サーバ装
置１０によって配信されるコードストリームに対する復
元画質は、従来の画像サーバ装置１００によって色差成
分の間引きにより得られるコードストリームに対する復
元画質と同程度であるとみなせる。

【００５３】また、「オール０パケット」のデータ量は
微少であるため、本実施形態の画像サーバ装置１０によ
って配信されるコードストリームのデータ量は、従来の
画像サーバ装置１００によって色差成分の間引きにより
得られるコードストリームのデータ量と同程度とみなせ
る。すなわち、本実施形態の画像サーバ装置１０では、
色差成分の低分解レベルに対応するパケットをサブサン
プリング比に応じて「オール０パケット」に置換するこ
とによって、サブサンプリング比に応じた色差成分の間
引きと同様に、所望の圧縮率の符号化または所望の復元
画質の符号化が実現できる。

【００５４】また、色差成分の低分解レベルに対応する
パケットをサブサンプリング比に応じて「オール０パケ
ット」に置換する処理は、格納部１２に予めパケットと
して格納された符号化データを復元化しないで行われ
る。そのため、本実施形態の画像サーバ装置１０では、
パケットを一旦生成して格納部１２に格納してしまえ
ば、クライアントからの配信要求を受け付ける度にパケ
ットの生成を繰り返す必要がないので、従来の画像サー
バ装置１００に比べて、クライアントからの配信要求に
速やかに応じることができる。

【００５５】さらに、本実施形態の画像サーバ装置１０
の格納部１２には、パケットの形式で画像データが格納
されるため、符号化されていない非圧縮の画像データを
記録する場合と比べて、記録容量を低減することができ
る。また、本実施形態の画像サーバ装置１０では、圧縮
関連情報の他に画像、特に各々のタイル画像の特徴に応
じて、タイル画像毎にサブサンプリング比を設定してい
るため、タイル画像毎に各色成分の情報量の配分を適正
化することができるので、全てのタイル画像に対して一
律のサブサンプリング比で符号化を行う場合に比べて、
符号化による画質の劣化を抑制することが可能である。

【００５６】なお、本実施形態では、色差成分の低分解
レベルに対応するパケットを「オール０パケット」に置
換してコードストリームを生成しているが、色差成分の
低分解レベルに対応するパケットを削除してコードスト
リームを生成しても良い。ただし、このようにして色差
成分の低分解レベルに対応するパケットを削除する場合
には、その旨を示す情報をコードストリームのヘッダに
付加する必要がある。

【００５７】また、本実施形態では、各々のタイル画像
に対応するパケットが格納部１２に格納され、再符号化
部１３によってコードストリームが生成されるが、スケ
ーラビリティが予め１つに限定される場合、そのスケー
ラビリティに応じてパケットを並べ替えてコードストリ
ームを生成する処理を符号化部１１で予め行い、そのコ
ードストリームを格納部１２に格納しておくことによ
り、再符号化部１３によるコードストリームの生成を省
略しても良い。

【００５８】さらに、本実施形態では、タイル画像に色
座標変換を施してＹＣｂＣｒ表色系の画像データを生成
しているが、これに限定されるものでなく、ＹＵＶ表色
系やＬａｂ表色系やＧＣｂＣｒ表色系やＹＩＱ表色系や
Ｇ（Ｒ−Ｇ）（Ｂ−Ｇ）表色系など如何なる表色系の画
像データを生成しても良い。

【００５９】また、本実施形態では、配信の対象となる
画像データに対して単一の圧縮関連情報が取得され、タ
イル画像毎のサブサンプリング比の設定に際して共通の
圧縮関連情報が用いられるが、圧縮関連情報をタイル画
像毎に取得し、このようにして取得した圧縮関連情報
を、各々のタイル画像のサブサンプリング比を設定する
際に用いても良い。

【００６０】さらに、本実施形態では、請求項１ないし
請求項４に記載の画像符号化装置が行う符号化の機能を
画像サーバ装置に適用した例を示したが、このような画
像符号化装置は、画像サーバ装置に限らず、ウェーブレ
ット変換による画像データの符号化（例えば、ＪＰＥＧ
２０００のＰａｒｔ１など）を行う装置であれば、如何
なる装置に適用しても良い。例えば、このような装置と
しては、圧縮関連情報の設定に関わる操作部を備えた電
子カメラや、転送先から供給される圧縮関連情報を受け
付ける機能を備えた画像転送装置（符号化データを転送
する機能を備えた電子カメラを含む）などが挙げられ
る。

【００６１】

【発明の効果】以上説明したように、請求項１および請
求項５に記載の発明では、予め記録されている符号化デ
ータを構成する各色成分のサブサンプリング比を、圧縮
関連情報に応じて変更するだけで、圧縮関連情報が示す
圧縮率で圧縮された符号化データ、または、圧縮関連情
報が示す復元画質が実現できる符号化データを、新たな
符号化データとして生成することができる。すなわち、
請求項１および請求項５に記載の発明によれば、所望の
圧縮率で圧縮された符号化データ、または、所望の復元
画質が実現される符号化データを容易にかつ高速に生成
することができる。そのため、特に、請求項５に記載の
発明では、クライアントからの画像の配信要求を受け付
けてから実際に配信を行うまでの処理時間の短縮が図ら
れる。

【００６２】請求項２および請求項３に記載の発明で
は、圧縮関連情報だけでなく、画像データの特徴に応じ
て、符号化データを構成する各色成分のサブサンプリン
グ比を変更することができるため、各色成分の情報量の
配分を適正化することができるので、画質の劣化を抑え
た符号化データを生成することができる。特に、請求項
３に記載の発明では、各々のタイル画像の特徴と圧縮関
連情報とに応じて、タイル画像毎に符号化データを構成
する各色成分のサブサンプリング比を変更することがで
きるため、細部に渡って情報量の配分が適正化され、画
質の劣化が抑えられた符号化データを生成することがで
きる。

【００６３】請求項４に記載の発明では、符号化データ
を構成する各色成分のサブサンプリング比の変更と同程
度の効果を有する操作を簡便かつ高速に行うことができ
る。また、請求項１ないし請求項５に記載の発明では、
符号化部によって生成された符号化データを格納してお
けば良いので、符号化されていない非圧縮の画像データ
を記録する場合に必要である大容量の記録装置が不要と
なる。

【図面の簡単な説明】

【図１】本発明の実施形態の画像サーバ装置の機能ブロ
ック図である。

【図２】符号化部の動作フローチャートである。

【図３】符号化部によって行われるウェーブレット変換
までの処理を説明するための図である。

【図４】符号化部によって行われるウェーブレット変換
までの他の処理を説明するための図である。

【図５】クライアントからの配信要求時における画像サ
ーバ装置の動作フローチャートである。

【図６】サブサンプリング比の設定の例を示す図であ
る。

【図７】ＪＰＥＧ２０００のＰａｒｔ１の符号化を適用
した従来の画像サーバ装置の動作フローチャートであ
る。

【図８】ＪＰＥＧ２０００のＰａｒｔ１の符号化を適用
した従来の画像サーバ装置の動作フローチャート（続
き）である。

【図９】従来の画像サーバ装置の機能ブロック図であ
る。

【図１０】符号化部によって行われるウェーブレット変
換までの処理を説明するための図である。

【図１１】サブサンプリング比を説明する図である。

【符号の説明】

１０、１００画像サーバ装置１１、１０２符号化部１２格納部１３再符号化部１４、１０３ネットワークインタフェース部１０１画像記録装置

フロントページの続きＦターム(参考） 5C057 AA01 CC04 CE03 EA02 EA07 EB12 EJ02 EK02 EM07 EM13 EM16 GG01 5C059 KK34 MA24 MA32 MA35 MC32 MC34 MC38 ME11 PP16 RB02 RE16 SS09 SS10 SS14 TA06 TA39 TA41 TC45 UA02 UA05 5C064 BA01 BC16 BC20 BD02 BD08 BD13 5C078 AA09 BA53 BA57 CA12 CA31 CA34 DA01 DA02 5J064 AA01 BA16 BB12 BC02 BD02

Claims

【特許請求の範囲】

【請求項１】画像データにウェーブレット変換を施す
ことによって変換係数を生成してから符号化データを生
成する符号化部を備えた画像符号化装置であって、サブサンプリングが行われていない画像データに対する
符号化データを前記符号化部によって生成して格納する
格納部と、圧縮率または復元画質を表す圧縮関連情報を取得する情
報取得部と、前記格納部に格納された符号化データを構成する各色成
分のサブサンプリング比を、前記圧縮関連情報に応じて
変更し、新たな符号化データを生成する再符号化部とを
備えたことを特徴とする画像符号化装置。
【請求項２】請求項１に記載の画像符号化装置におい
て、前記画像データは、輝度成分と色差成分とを有し、前記再符号化部は、前記圧縮関連情報の他に更に、前記輝度成分と前記色差
成分との少なくとも一方に基づいて得られる画像データ
の特徴に応じて、変更すべきサブサンプリング比を決め
ることを特徴とする画像符号化装置。
【請求項３】請求項２に記載の画像符号化装置におい
て、前記符号化部は、前記画像データを画像空間上で分割して得られるタイル
画像の単位で、符号化データを生成し、前記再符号化部は、前記タイル画像毎に得られる当該タイル画像の特徴と前
記圧縮関連情報とに応じて、各々のタイル画像に対応す
る符号化データを構成する各色成分のサブサンプリング
比を変更し、新たな符号化データを生成することを特徴
とする画像符号化装置。
【請求項４】請求項１ないし請求項３の何れか１項に
記載の画像符号化装置において、前記再符号化部は、前記格納部に格納された符号化データのうち、高周波成
分に相当する当該データを、無効なデータに変換する、
または、削除することによって新たな符号化データを生
成し、無効なデータに変換すべき、または、削除すべき
当該データを増減することによって、サブサンプリング
比の変更を実現することを特徴とする画像符号化装置。
【請求項５】画像データにウェーブレット変換を施す
ことによって変換係数を生成してから符号化データを生
成する符号化部を備えた画像サーバ装置であって、サブサンプリングが行われていない画像データに対する
符号化データを前記符号化部によって生成して格納する
格納部と、クライアントからの画像の配信要求と、圧縮率または復
元画質を表す圧縮関連情報とを取得する情報取得部と、前記格納部に格納された符号化データを構成する各色成
分のサブサンプリング比を、前記圧縮関連情報に応じて
変更し、新たな符号化データを生成する再符号化部と、前記再符号化部によって生成された新たな符号化データ
をクライアントに配信する配信部とを備えたことを特徴
とする画像サーバ装置。