JP5219948B2 - 符号化装置および符号化方法 - Google Patents

Description

本発明は、画像データを２以上の空間周波数帯域に分離してそれぞれ符号化する符号化装置および符号化方法に関する。

従来から、テレビジョン受像機に代表される動画像の表示装置には、ＣＲＴが表示デバイスとして用いられてきた。これに対し、近年では、表示デバイスとして液晶デバイスを用いた表示装置が主流となりつつある。

液晶デバイスの特徴について、概略的に説明する。図１２を用いて、液晶デバイスの駆動方法について説明する。図１２において、横軸は時間を、縦軸は画素の明るさを示している。また、ここでは、フレーム周波数が６０Ｈｚであるものとする。図１２に例示されるように、液晶デバイスの場合、画素は、１フレーム期間、すなわち６０分の１秒の間発光を持続する。そのため、液晶デバイスは、「ホールド型」のデバイスと呼ばれている。

ホールド型のデバイスは、動きに対して残像による画像のボケを生じ易い。図１３を用いて説明する。図１３において、横軸は画面上の位置を、縦軸は時間を示している。この図１３は、矩形の波形が画面の左から右に動く例である。このような動きを眼で追う場合、眼が追従する動きに対して、波形（画像）が６０分の１秒の間、同じ位置に留まることになる。この状態が、動きに対する画像の相対的な遅れとなる。ホールド時間が長いとこの遅れの幅が広くなり、画面上では、画像のボケとして知覚されることとなる。図１３の下部に、このように移動する画像を追従視しているときの見え方を示す。画像のエッジ部分で、ある幅をもったボケが知覚されることが分かる。すなわち、画像が１フレーム期間に表示されている時間に移動すべき距離に対応する幅で、ボケが知覚される。以下、この動きに伴う画像のボケを、動きボケと呼ぶ。

動きボケ対策の一例として、駆動周波数を上げ、ホールド時間を短くする方法がある。図１４は、駆動周波数すなわちフレームレートを上述の２倍の１２０Ｈｚとした場合の例である。ここで、フレームレートを２倍にした際に、入力画像を空間周波数の高域成分を含む画像からなるサブフレームと、低域成分のみを含む画像からなるサブフレームとに分離し、これら２つのサブフレームを時分割で表示する駆動方法が知られている。

図１５は、この駆動方法により液晶デバイスを駆動した際の一例の動特性を示す。図１５のように、高域成分を含む画像と低域成分のみからなる画像とを時分割で表示した場合、図１５の下部に例示されるように、エッジ成分を含む高域成分からなる画像に対して、ボケが知覚される。上述した図１３の下部の図と比較して分かるように、動きボケが大幅に低減されている。

ＣＲＴと同様な発光特性をもつ表示デバイスとして、フィールドエミッションタイプの表示デバイスの開発も進んでいる。このフィールドエミッションタイプの表示デバイスの特徴について、概略的に説明する。図１６を用いて、フィールドエミッションタイプの表示デバイスの駆動方法について説明する。図１６において、横軸は時間を、縦軸は画像の明るさを示している。また、ここでは、フレームレートが６０Ｈｚであるものとする。図１６に例示されるように、フィールドエミッションタイプの表示デバイスの場合は、１フレーム期間すなわち６０分の１秒のうちの一瞬だけ発光する。そのため、フィールドエミッションタイプの表示デバイスは、「インパルス型」のデバイスと呼ばれている。

図１７は、インパルス型デバイスの一例の動特性を示す。このように、インパルス型デバイスでは、１フレーム期間において画像が表示されている時間が極めて短いので、図１７の下部に例示されるように、動きボケが殆ど発生しない。

一方、インパルス型の表示デバイスは、フレームレートが６０Ｈｚの場合、６０分の１秒の周期で発光の有無を繰り返すので、この点滅をフリッカとして知覚し易い。フリッカは、表示デバイスの表示面積が大きくなるほど目立ち易いという特性があるため、近年において活発となっている表示装置の大画面化の流れの中では、特に問題となるおそれがある。

このフリッカ対策の一例として、駆動周波数を上げることが考えられる。図１８は、駆動周波数を上述の２倍の１２０Ｈｚとした場合の例である。インパルス型デバイスの場合は、１フレーム期間の発光量の総和が当該フレーム期間の明るさとなる。例えば、駆動周波数が１２０Ｈｚの場合には、駆動周波数が６０Ｈｚの場合の発光レベルに対して１／２の発光レベルの表示を２回行うことで、駆動周波数が６０Ｈｚの場合と同等の明るさを得ることができる。

図１９は、駆動周波数を１２０Ｈｚとし、入力画像を高域成分を含む画像からなるサブフレームと、低域成分のみを含む画像からなるサブフレームとを時分割で表示する場合の一例の動特性を示す。１フレームに対して単純に２回ずつ同じ画像を表示すると２重写りとなってしまうが、高域成分を含む画像を１回表示させることにより、図１９の下部に示されるように、画像のボケは低域成分に起因するもののみで、視覚的な劣化は抑制される。

このように、空間周波数成分に基づきフレーム画像を２つのサブフレームに分配して時分割で表示させる方法は、ホールド型デバイスにおける動きボケ対策として効果的であると共に、インパルス型デバイスにおけるフリッカ対策としても効果的である。

ホールド型デバイスに対する倍速駆動を実現する方法の一例が、特許文献１に開示されている。図２０は、この特許文献１に開示される回路構成の一部を示す。また、図２１は、図２０の回路の各部における波形の例を示す。なお、図２１に示される波形は、例えば輝度成分をライン方向に抽出してなるもので、中央部分に画像のエッジを含む。この図２１の波形の表現は、他の類似の図面に対して同様とする。

図２０において、入力フレーム（図２１（ａ））に対し、ローパスフィルタ処理部５０２では、低域成分のみを含むサブフレームを生成する（図２１（ｂ））。ローパスフィルタ処理部５０２から出力されたサブフレームは、フレームメモリ５０４に一旦記憶され、差分検出部５０３側の信号との同期が取られる。差分検出部５０３では、入力フレームとローパスフィルタ処理部５０２で生成した低域成分のみを含むサブフレームとの差分を検出し、高域成分を抽出する（図２１（ｃ））。ここで生成された高域成分と入力フレームを加算器５０６で加算することにより、高域成分を強調したサブフレーム（図２１（ｄ））を得ることができる。切替回路５０５では、フレームメモリ５０４から読み出した低域成分のみを含むサブフレームと、高域成分を強調したサブフレームとを、１２０Ｈｚの周期で切り替えて後段の処理に送る。高域成分を除いたサブフレームと高域成分を強調したサブフレームを交互に表示することで、６０Ｈｚの時間周期で見た場合は、元のフレーム画像が再現されていることになる。

特開２００６−１８４８９６

図１２および図１３を用いて説明したような駆動方法や、特許文献１に開示される上述の方法は、インパルス型デバイスにおけるフリッカを抑制するためのものである。

ここで、インパルス型デバイスにおいて、１フレーム期間に２つのサブフレームを連続表示すると、１フレーム期間に１フレームの画像を１回だけ表示する場合に比べ、最大輝度を上げることができる。この点に着目すると、１フレーム期間に２つのサブフレームを連続表示する方法は、ハイダイナミックレンジ動画に応用できることが分かる。ハイダイナミックレンジ動画は、例えばＣＣＤといった撮像素子から出力される撮像信号を用いて形成された、当該撮像信号による画像のダイナミックレンジを超えるダイナミックレンジを有する動画である。

例えば、動画の撮影時に、撮像信号を、ダイナミックレンジがそれぞれ８ビットの高域成分による画像信号と低域成分による画像信号とに分離し、それぞれ交互に既存の符号化方式で符号化して記録する。このとき用いられる符号化方式としては、既存のコーデックとの互換性や圧縮効率、画質などを考慮に入れ、ＭＰＥＧ２方式やＨ．２６４／ＡＶＣ方式などが適用される。

再生時には、記録時と同じ順序で高域成分による画像信号と低域成分による画像信号とを復号して、フレーム周期の２倍の駆動周波数でインパルス型デバイスに表示させる。これにより、表示された画像において撮像信号のダイナミックレンジである８ビットを超えるダイナミックレンジが得られることは、容易に推測できる。

この場合、高域成分による画像は、画像中の幾何学的な情報を多く含んでいる。一方、低域成分による画像は、画像中の階調性の情報を多く含んでいる。すなわち、低域成分による画像信号は、ハイダイナミックレンジ動画においてダイナミックレンジを表現するための要であるといえる。

しかしながら、上述した既存の符号化方式であるＭＰＥＧ２やＨ．２６４／ＡＶＣは、画像を所定サイズのブロックに分割し、ブロック単位で非可逆圧縮による符号化を行っている。そのため、復号された低域成分による画像には、ブロックノイズや、高域成分を取り除いたことによるモスキートノイズが発生してしまう可能性が高い。これにより、復号された高域成分による画像と低域成分による画像を合成したハイダイナミックレンジ動画は、ダイナミックレンジにおける階調性が著しく低下したものになるおそれがあるという問題点があった。

したがって、本発明の目的は、画像信号を高域成分と低域成分とに分離してそれぞれ符号化する際に、復号時の画質の低下を抑制できる符号化装置および符号化方法を提供することにある。

本発明は、上述した課題を解決するために、動画像データを、空間周波数の低周波成分による第１のデータと空間周波数の高周波成分による第２のデータとに分離する分離手段と、分離手段で分離された第１のデータに対して画素の間引きを行う間引き手段と、間引き手段で間引きされて残った画素の画素データを用いて曲線近似を行い近似データを生成する近似手段と、分離手段で分離された第１のデータと近似手段で生成された近似データとの差分を求め、差分を第２のデータに加算する加算手段と、間引き手段で間引きが行われた第１のデータを符号化する第１の符号化手段と、加算手段で差分が加算された第２のデータを符号化する第２の符号化手段とを有することを特徴とする符号化装置である。

また、本発明は、動画像データを、空間周波数の低周波成分による第１のデータと空間周波数の高周波成分による第２のデータとに分離する分離ステップと、分離ステップで分離された第１のデータに対して画素の間引きを行う間引きステップと、間引きステップで間引きされて残った画素の画素データを用いて曲線近似を行い近似データを生成する近似ステップと、分離ステップで分離された第１のデータと近似ステップで生成された近似データとの差分を求め、差分を第２のデータに加算する加算ステップと、間引きステップで間引きが行われた第１のデータを符号化する第１の符号化ステップと、加算ステップで差分が加算された第２のデータを符号化する第２の符号化ステップとを有することを特徴とする符号化方法である。

本発明は、画像信号を高域成分と低域成分とに分離してそれぞれ符号化する際に、復号時の画質の低下を抑制できる。

本発明の第１の実施形態に適用可能な符号化装置の一例の構成を示すブロック図。 第２信号符号化部の一例の構成を示すブロック図。 本発明の第１の実施形態による画像符号化処理の一例を説明するためのフローチャート。 ラインデータの一例を示す図。 ラインデータの分割を説明するための図。 本発明の第１の実施形態による間引き方法の最適化処理の一例を説明するためのフローチャート。 本発明の第１の実施形態による間引き方法の最適化処理の一例を説明するための図。 本発明の第１の実施形態によるエントロピー符号化の一例を説明するための図。 本発明の第１の実施形態の符号化方式に対応する復号装置の一例の構成を示すブロック図。 本発明の第１の実施形態の符号化方式に対応する復号装置の別の例の構成を示すブロック図。 本発明の第２の実施形態に適用可能なコンピュータの一例の構成を示すブロック図。 液晶デバイスの駆動方法について説明するための図。 ホールド型のデバイスについて説明するための図。 ホールド型のデバイスにおいて駆動周波数を２倍の１２０Ｈｚとした場合の例を示す図。 駆動周波数２倍の１２０Ｈｚとした駆動方法により液晶デバイスを駆動した際の一例の動特性を示す図。 フィールドエミッションタイプの表示デバイスの駆動方法について説明するための図。 インパルス型デバイスの一例の動特性を示す図。 駆動周波数２倍の１２０Ｈｚとした駆動方法によりインパルス型デバイスを駆動した際の一例の動特性を示す図。 駆動周波数を１２０Ｈｚとし、入力画像を高域成分を含む画像からなるサブフレームと、低域成分のみを含む画像からなるサブフレームとを時分割で表示する場合の一例の動特性を示す図。 従来技術による回路構成の一部を示す図。 従来技術の回路の各部における一例の波形を示す図。

＜第１の実施形態＞
図１は、本発明の第１の実施形態に適用可能な符号化装置１の一例の構成を示す。符号化装置１において、時間方向に連続的な複数のフレームからなる動画像データが入力部１００に対して入力され、分離部１０１に供給される。分離部１０１は、入力された動画像データを、例えばフィルタ処理により空間周波数に基づき高周波成分と低周波成分とに分離する。そして、分離部１０１は、高周波成分からなる動画像データによるサブフレーム（高周波動画データＨ）と、低周波成分からなる動画像データによるサブフレーム（低周波動画データＬ）とを出力する。

一例として、入力部１００に対してビット深度が９ビットの動画像データが入力される。分離手段としての分離部１０１は、入力部１００から供給されたこの動画像データを、それぞれ８ビットのビット深度を有する高周波動画データＨ（第２のデータ）と低周波動画データＬ（第１のデータ）とに分離する。

分離部１０１から出力された低周波動画データＬは、差分信号量子化部１０５および第２信号符号化部１０４にそれぞれ供給される。間引き手段および近似手段としての第２信号符号化部１０４は、後述する処理により、供給された低周波動画データＬに対して画素の間引きを行い、間引き処理の結果得られた画素の画素データを量子化する。第２信号符号化部１０４は、画素の間引きの際に、間引きで残った画素の画素データを用いて曲線近似を行い、曲線近似によって得られたデータの、元の低周波動画データＬに対する誤差に基づき間引きを行う画素数を決め、間引きの最適化を行う。

さらに、第１の符号化手段としての第２信号符号化部１０４は、間引き処理で残った画素の画素データを量子化したデータに対してランレングス符号化などのエントロピー符号化を施して、符号化ストリームＬｓ（第１の符号化ストリーム）を生成する。この符号化ストリームＬｓは、ＭＵＸ１０６に供給される。また、第２信号符号化部１０４は、量子化されたデータを逆量子化してローカルデコード画像を生成し、差分信号量子化部１０５に供給する。

差分信号量子化部１０５は、第２信号符号化部１０４から供給されたローカルデコード画像と、分離部１０１から供給された低周波動画データＬとの差分を算出し、算出された差分に対してスカラー量子化を施す。これに限らず、ベクトル量子化を用いてもよい。量子化された差分データＬｑは、差分信号加算部１０２に供給される。

一方、分離部１０１から出力された高周波動画データＨは、差分信号量子化部１０５と共に加算手段を構成する差分信号加算部１０２に供給され、差分信号量子化部１０５から出力された差分データＬｑが加算される。差分データＬｑが加算された高周波動画データＨ＋Ｌｑは、第１信号符号化部１０３に供給される。第２の符号化手段としての第１信号符号化部１０３は、差分信号加算部１０２から供給された高周波動画データＨ＋Ｌｑに対して、例えばＭＰＥＧ２方式やＨ．２６４方式といった既存の動画像圧縮符号化方式を用いて圧縮符号化処理を施す。

一例として、圧縮符号化方式としてＭＰＥＧ２を用いた場合、第１信号符号化部１０３は、入力された高周波動画データＨ＋Ｌｑのフレームを符号化順に並べ替える。そして、高周波動画データＨ＋Ｌｑに対してフレーム内符号化とフレーム間符号化とを用いて圧縮符号化を施し、さらに、圧縮符号化されたデータに対してエントロピー符号化を施して圧縮効率を向上させる。第１信号符号化部１０３で圧縮符号化された高周波動画データＨ＋Ｌｑは、符号化ストリームＨｓ（第２の符号化ストリーム）としてＭＵＸ１０６に供給される。

合成手段としてのＭＵＸ１０６は、第２信号符号化部１０４から供給された符号化ストリームＬｓと、第１信号符号化部１０３から供給された符号化ストリームＨｓとを合成し、１の符号化ストリームＨＬを生成する。この符号化ストリームＬｓと符号化ストリームＨｓとが合成された符号化ストリームＨＬが、最終的な符号化ストリームとしてこの符号化装置１から出力される。

次に、上述した第２信号符号化部１０４について、より詳細に説明する。図２は、第２信号符号化部１０４の一例の構成を示す。図２に例示されるように、第２信号符号化部１０４は、曲線生成部２００、曲線量子化部２０１、曲線エントロピー符号化部２０２および曲線逆量子化部２０３を有する。

分離部１０１から出力された低周波動画データＬは、曲線生成部２００に供給される。曲線生成部２００は、供給された低周波動画データＬに対して、所定のアルゴリズムを用いて曲線近似を行うと共に、画素間引きを行う。このとき、後述するように、間引き方法を変えながら曲線近似を行う処理を繰り返す。そして、曲線近似で得たデータ（近似データ）の元の低周波動画データＬに対する誤差Ｅｏが閾値以下すなわち閾値Ｅｑ以下であって、且つ、間引きする画素数が最大となるように、間引き方法を最適化する。なお、画素の間引きは、画素の輝度値に基づき行うものとする。なお、閾値Ｅｑは、圧縮率に応じて設定される値である。

曲線生成部２００において最適化された間引き方法で低周波動画データＬが間引きされたデータ、すなわち、間引きにより残った画素の画素データが、曲線量子化部２０１に供給される。曲線量子化部２０１は、曲線生成部２００から供給されたデータを量子化し、曲線エントロピー符号化部２０２および曲線逆量子化部２０３に供給する。

曲線エントロピー符号化部２０２は、曲線量子化部２０１から供給されたデータに対し、曲線生成部２００で低周波動画データＬが間引きされた位置の画素値を例えば−１として、エントロピー符号化を施す。エントロピー符号化としては、例えばランレングス符号化を用いることができる。曲線エントロピー符号化部２０２でエントロピー符号化されたデータは、フレーム毎に再生時刻を示す情報を付加されて、低周波動画データＬに基づく符号化ストリームＬｓとして第２信号符号化部１０４から出力される。

再生時刻を示す情報としては、フレーム毎のタイムコードを用いることができる。第１符号符号化部１０３がＭＰＥＧ２方式で符号化を行う場合には、ＰＴＳ(Presentation Time Stamp)を用いることが考えられる。

一方、曲線逆量子化部２０３は、曲線量子化部２０１から供給されたデータに対して逆量子化処理を施し、低周波動画データＬに基づくローカルデコード画像を生成する。例えば、曲線逆量子化部２０３は、曲線量子化部２０１から供給されたデータに基づき曲線生成部２００で間引きされた画素位置の画素値を持つ画素データを生成する。そして、この生成された画素データと、曲線量子化部２０１から供給された画素データとを量子化することで、ローカルデコード画像を生成する。曲線逆量子化部２０３で生成されたローカルデコード画像のデータは、差分信号量子化部１０５に供給される。

次に、本第１の実施形態による画像符号化処理の一例について、図３のフローチャートを用いて説明する。符号化装置１において、入力部１００に対して１フレーム（フレームＦ_ｉとする）の動画像データが入力される（ステップＳ１００）。この動画像データは、分離部１０１で、フィルタ処理により高周波動画データＨと低周波動画データＬとに分離される（ステップＳ１０１）。分離された高周波動画データＨおよび低周波動画データＬは、例えば分離部１０１が有するバッファに一時的に溜め込まれる。

分離部１０１のバッファから、低周波動画データＬのデータが１ライン分、読み出され、このラインデータＬｎ_ｊが差分信号量子化部１０５および第２信号符号化部１０４にそれぞれ供給される。図４は、ラインデータＬｎ_ｊの一例を示す。ここでは、ラインデータＬｎ_ｊを画素位置に対する輝度値として表している。

第２信号符号化部１０４に入力されたラインデータＬｎ_ｊは、曲線生成部２００に供給される。曲線生成部２００は、供給されたラインデータＬｎ_ｊを複数の区間に分割する（ステップＳ１０２）。これは、後述する曲線近似において、任意の曲線を同一の手法で近似できる関数は存在しないからである。そこで、ステップＳ１０２では、曲線生成部２００は、曲線近似が可能なようにラインデータＬｎ_ｊを分割する。図５は、ラインデータＬｎ_ｊを画素間の位置Ｐで分割し、区間Ａおよび区間Ｂを生成した例を示す。

例えば、ラインデータＬｎ_ｊを構成する画素の所定画素数毎に、当該ラインデータＬｎ_ｊを分割することが考えられる。分割単位の画素数は、例えば統計的な手法により実験的に求めて予め決めておくことが考えられる。これに限らず、ラインデータＬｎ_ｊをサンプル値に基づき曲線近似した結果に基づき分割位置を決めることもできる。例えば、ラインデータＬｎ_ｊが近似された曲線を２次微分して分割位置を決めることが考えられる。さらに、曲線近似の結果と近似前の元のラインデータＬｎ_ｊとの誤差を求め、この誤差が所定範囲内になるように分割位置を決めることもできる。

ラインデータＬｎ_ｊが分割されると、処理はステップＳ１０３に移行される。ステップＳ１０３で、曲線生成部２００は、ラインデータＬｎ_ｊを分割した区間毎に、間引き処理および曲線近似処理を行い、その結果に基づき間引き方法を最適化する。すなわち、上述したように、曲線生成部２００は、ラインデータＬｎ_ｊを分割した区間毎に間引き方法を変えながら曲線近似を行い、近似された曲線と元のラインデータＬｎ_ｊとの誤差Ｅｏを求める。そして、元のラインデータＬｎ_ｊに対する誤差Ｅｏが所定値Ｅｑに収まり、且つ、間引きする画素数が最大になるように間引き方法を決定する。

誤差Ｅｏは、例えば次のようにして求めることができる。すなわち、曲線近似で得られた曲線における、間引きした画素位置での画素値（輝度値）をそれぞれ求める。そして、この間引きした画素位置での画素値および間引き処理で残った画素の画素値と、間引きを行わない元のラインデータＬｎ_ｊにおける区間Ｓ_ｍの各画素の画素値との差分の絶対値を、画素位置が対応する同士でそれぞれ求める。この画素位置毎の画素値の差分絶対値の和を求め、この差分絶対値和に基づき、誤差Ｅｏを求める。

図６のフローチャートを用いて、ステップＳ１０３における間引き方法の最適化処理の一例について説明する。ここでは、ラインデータＬｎ_ｊをｎ分割したうちの１の区間Ｓ_ｍについて行われる処理について説明する。なお、この図６のフローチャートによる間引き処理は、図３のフローチャートにおけるステップＳ１０２で分割されて形成された、ラインデータＬｎ_ｊの全ての区間Ｓ_ｍに対してそれぞれ行われる。

曲線生成部２００は、先ず、ステップＳ２００で、区間Ｓ_ｍに含まれる画素から１または複数の画素を間引く。一例として、区間Ａを画素単位で示した図７（ａ）の状態から、図７（ｂ）に例示されるように、左から２番目、３番目および５番目の位置の画素（図中に×（バツ）印で示す）を間引く。このときの間引く画素（または間引かない画素）の位置の組み合わせを、組み合わせＣｋとする。

次のステップＳ２０１では、ステップＳ２００で画素を間引いた区間Ｓ_ｍに対して、残った画素を用いて曲線近似を行う。図７（ｃ）は、図７（ｂ）に例示される３個の画素を用いて曲線近似した例を示す。曲線近似に用いるアルゴリズムは、特に限定しないが、例えばスプライン曲線を用いることができる。与えられた点を必ずしも全て通らないような曲線近似アルゴリズムを用いてもよい。

次のステップＳ２０２では、間引きを行わない元のラインデータＬｎ_ｊの区間Ｓ_ｍに対する、ステップＳ２０１で曲線近似した結果の誤差Ｅｏ（絶対値）を求める。求められた誤差Ｅｏは、この誤差Ｅｏを求めた組み合わせＣｋを示す情報と関連付けられて保持される。

ステップＳ２０２で組み合わせＣｋについて誤差Ｅｏが求められると、処理は次のステップＳ２０３に移行され、区間Ｓ_ｊに含まれる画素の画素位置の全ての組み合わせＣｋについて誤差Ｅｏを求めたか否かが判定される。若し、全ての組み合わせＣｋについて誤差Ｅｏを求めていないと判定されたら、処理はステップＳ２００に戻され、未だ誤差Ｅｏを求めていない他の組み合わせＣｋによる間引き処理が行われる。

一方、ステップＳ２０３で、全ての組み合わせＣｋについて誤差Ｅｏが求められたと判定されたら、処理はステップＳ２０４に移行される。ステップＳ２０４では、ステップＳ２０３までの処理で求められた誤差Ｅｏのそれぞれを閾値Ｅｑと比較し、誤差Ｅｏが閾値Ｅｑ以下になる組み合わせＣｋが存在するか否かが判定される。

若し、存在すると判定されたら、処理はステップＳ２０５に移行され、誤差Ｅｏが所定値Ｅｑに収まる組み合わせＣｋのうち、間引きした画素数が最も多い組み合わせＣｋ_ｍａｘが選択される。この組み合わせＣｋ_ｍａｘによる間引きで残った画素が、低周波画像データＬについての最終的な符号化ストリームＬｓにおける、ラインデータＬｎ_ｊに含まれる区間Ｓ_ｍの画素として保持される。そして、処理は図６のフローチャートを抜け、図３のステップＳ１０４およびステップＳ１０５に移行される。

一方、ステップＳ２０４で、誤差Ｅｏが閾値Ｅｑ以下になる組み合わせＣｋが存在しないと判定されたら、処理はステップＳ２０６に移行され、区間Ｓ_ｍについては間引きを行わないように決定される。すなわち、対象区間に含まれる全ての画素が、符号化ストリームＬｓにおけるラインデータＬｎ_ｊに含まれる区間Ｓ_ｍの画素として保持される。そして、処理は図６のフローチャートを抜け、図３のステップＳ１０４およびステップＳ１０５に移行される。

なお、本第１の実施形態に適用可能な間引き方法の最適化処理は、上述の例に限定されない。例えば、画素を等間隔など予め決められたパターンで間引いて誤差Ｅｏを求めることで、間引き方法の最適化を行うことが考えられる。より具体的には、例えば最初に１画素おきに画素を残すように間引きを行い誤差Ｅｏを求める。次に２画素おきに画素を残すように間引きを行い誤差Ｅｏを求める。以下同様にして、残す画素の間隔を順次広げながら間引きを行ってそれぞれ誤差Ｅｏを求め、誤差Ｅｏが閾値Ｅｑ以下であって、且つ、間引きを行う画素数が最大になる間引き方法を決定する。

さらに別の方法として、予め決められた間引き方法を固定的に用いるようにしてもよい。

説明は図３のフローチャートに戻り、ステップＳ１０４では、上述したようにしてステップＳ１０３で間引き処理して得られたラインデータＬｎ_ｊの画素のデータをエントロピー符号化し、低周波動画データＬに基づく符号化ストリームＬｓを生成する。

より具体的には、間引き処理により残った、ラインデータＬｎ_ｊの画素データと、ラインデータＬｎ_ｊにおける間引き位置を示す情報とが曲線生成部２００から曲線量子化部２０１に供給される。曲線量子化部２０１では、曲線生成部２００から供給された画素データを所定の量子化スケールで量子化する。この量子化された画素データが、ラインデータＬｎ_ｊにおける間引き位置を示す情報と共に曲線エントロピー符号化部２０２に供給される。

曲線エントロピー符号化部２０２は、例えば図８に示されるように、ラインデータＬｎ_ｊにおける間引きした画素位置の画素値を−１に置き換えて、ラインデータＬｎ_ｊに対してランレングス符号化を施し、符号化ストリームＬｓを生成する。この符号化ストリームＬｓは、上述したように、第２信号符号化部１０４から出力されてＭＵＸ１０６に供給される。

一方、ステップＳ１０５では、曲線量子化部２０１で量子化されたラインデータＬｎ_ｊの画素データが、ラインデータＬｎ_ｊにおける間引き位置を示す情報と共に曲線逆量子化部２０３に供給される。曲線逆量子化部２０３は、曲線量子化部２０１から供給された画素データと間引き位置を示す情報とに基づき曲線近似を行い、ローカルデコード画像のデータを生成する。このローカルデコード画像のデータは、差分信号量子化部１０５に供給される。差分信号量子化部１０５は、ローカルデコード画像のデータと元のラインデータＬｎ_ｊとの差分を算出し、算出された差分に対してスカラー量子化を施す。量子化された差分データＬｑは、差分信号加算部１０２に供給される。

なお、上述のステップＳ１０４およびステップＳ１０５の処理は、並列的に行うことが可能である。

処理はステップＳ１０６に移行され、差分信号加算部１０２において、差分データＬｑが分離部１０１から供給された高周波動画データＨに対して加算され、ラインデータＬｎ_ｊに対応する１ライン分の高周波動画データＨ＋Ｌｑが生成される。

次のステップＳ１０７で、フレームＦ_ｉの全てのラインデータＬｎ_ｊについて処理が終了したか否かが判定される。若し、終了したと判定されたら、処理はステップＳ１００に戻され、次のフレームＦ_ｉ＋１に対する処理が行われる。それと共に、処理が終了したフレームＦ_ｉのデータが入力フレームとして第１信号符号化部１０３に対して供給される。

一方、フレームＦ_ｉの全てのラインデータＬｎ_ｊについて処理が終了していないと判定されたら、処理はステップＳ１０２に戻され、フレームＦ_ｉにおける次のラインデータＬｎ_ｊ＋１に対する処理が行われる。

図９は、本第１の実施形態の符号化方式に対応する復号装置２Ａの一例の構成を示す。符号化装置１で高周波動画データＨに基づく符号化ストリームＨｓと、低周波動画データＬに基づく符号化ストリームＬｓとが合成されて出力された符号化ストリームＨＬが、入力部３００を介してＨＬ符号分離部３０１に供給される。ＨＬ符号分離部３０１は、供給された符号化ストリームＨＬを符号化ストリームＨｓと符号化ストリームＬｓとに分離する。

ＨＬ符号分離部３０１で符号化ストリームＨＬから分離された符号化ストリームＨｓは、第１符号復号部３０２に供給される。第１符号復号部３０２は、供給された符号化ストリームＨｓを、符号化方式（この例ではＭＰＥＧ２方式）に対応した復号方式で以て復号し、高周波側の復号動画像データＨｄｅｃとしてフレーム毎に出力する。この復号動画像データＨｄｅｃは、符号化装置１において、高周波動画データＨに対して、低周波動画データＬを間引きして曲線近似したデータと、間引き前の元の低周波動画データＬとの差分を加算した高周波動画データＨ＋Ｌｑに対応する。第１符号復号部３０２から出力された復号動画像データＨｄｅｃは、バッファ３０３に溜め込まれる。

また、第１符号復号部３０２は、符号化ストリームＨｓからフレーム毎の再生時刻を示す情報を取り出し、制御部３１０に供給する。

一方、ＨＬ符号分離部３０１で符号化ストリームＨＬから分離された符号化ストリームＬｓは、第２符号復号部３０４に供給される。第２符号復号部は、供給された符号化ストリームＬｓに対して、符号化装置１の第２信号符号化部１０４でなされた符号化処理と逆の処理を行い、当該符号化ストリームＬｓを復号する。

すなわち、第２符号復号部３０４は、符号化ストリームＬｓのエントロピー符号を復号し、復号して得られたデータを逆量子化して画素データを得る。そして、この画素データを用いて、符号化装置１の第２信号符号化部１０４における曲線生成部２００で用いたのと同様のアルゴリズムにより曲線近似を行い、符号化の際に間引きで失われた画素データを、曲線近似の結果に基づき復元する。逆量子化で得られた画素データと、この曲線近似に基づき復元された画素データとを、低周波側の復号動画像データＬｄｅｃとしてフレーム毎に出力する。第２符号復号部３０４から出力された復号動画像データＬｄｅｃは、バッファ３０５に溜め込まれる。

なお、符号化の際にラインを分割した境界位置では、復号時の曲線近似による曲線が不連続になる可能性がある。そこで、符号化時に、ライン分割の境界近傍の数画素を間引かないようにすることが考えられる。また、復号時の曲線近似において、ライン分割の境界位置の近傍では、隣接する画素データの平均値などを用いて近似を行うなどの方法も考えられる。

また、第２符号復号部３０４は、符号化ストリームＬｓからフレーム毎の再生時刻を示す情報を取り出し、制御部３１０に供給する。

制御部３１０は、バッファ３０３からの復号動画像データＨｄｅｃの読み出しと、バッファ３０５からの復号動画像データＬｄｅｃの読み出しとを制御する。このとき、制御部３１０は、第１符号復号部３０２および第２符号復号部３０４からそれぞれ供給された、フレーム毎の再生時刻を示す情報に基づき、復号動画像データＨｄｅｃと復号動画像データＬｄｅｃとで同期をとるように、読み出し制御を行う。

バッファ３０３および３０５からそれぞれ出力された復号動画像データＨｄｅｃおよび復号動画像データＬｄｅｃは、加算部３０６で対応する画素毎に加算されて、出力部３０７に対して出力される。

なお、上述では、高周波動画データＨに基づく符号化ストリームＨｓと、低周波動画データＬに基づく符号化ストリームＬｓとをそれぞれ復号して画素毎に加算して出力するものとして説明したが、これはこの例に限定されない。例えば、図１０に例示される復号装置２Ｂの如く、符号化ストリームＨｓを復号した復号動画像データＨｄｅｃと、符号化ストリームＬｓを復号した復号動画像データＬｄｅｃをスイッチ部３２０により交互に切り換えて出力するようにしてもよい。

例えば、制御部３１０は、復号動画像データＨｄｅｃによるサブフレームと、復号動画像データＬｄｅｃによるサブフレームとが、１フレーム周期内で交互に出力されるように、バッファ３０３および３０５の読み出しの制御と、スイッチ部３２０の制御とを行う。

以上説明したように、本第１の実施形態によれば、ハイダイナミックレンジ動画における階調性の要になる、空間周波数の低周波成分の特性を損なわずに動画像データの圧縮符号化が可能である。

なお、上述では、入力部１００に入力される動画像データのビット深度が９ビットであるものとして説明したが、これはこの例に限定されるものではない。また、分離部１０１において、供給された動画像データを、高周波動画データＨおよび低周波動画データＬがそれぞれ８ビットのビット深度を持つように分離するように説明したが、これはこの例に限定されない。

さらに、上述では、入力された動画像データの空間周波数の周波数成分を、高周波成分と低周波成分との２つの帯域に分離するように説明したが、これはこの例に限定されない。すなわち、入力された動画像データを、さらに多くの帯域に分離するようにしてもよい。この場合、分離された帯域毎に符号化部を設けるようにする。例えば、最も高い帯域の信号を符号化する符号化部において、ＭＰＥＧ２やＨ．２６４による符号化を行い、それ以外の帯域の信号を符号化する符号化部は、上述した曲線近似を用いた符号化を行うことが考えられる。

さらにまた、上述では、第１信号符号化部１０３では符号化方式としてＭＰＥＧ２やＨ．２６４を用いて高周波動画データＨの符号化を行うように説明したが、これはこの例に限定されず、他の符号化方式を用いてもよい。この場合、符号化の対象となる高周波動画データＨは、高周波成分を多く持った信号であるため、波形符号化であることが望ましいが、フラクタル符号化や、その他動画像を圧縮する方式であれば適用することができる。

また、ステップＳ１０２で選択するライン数は特に限定するものではなく、複数ラインを選択し、それぞれのラインを並列的に処理しても構わない。その場合、曲線生成部２００、曲線量子化部２０１、曲線エントロピー符号化部２０２において利用してきた曲線を曲面として扱って処理を進めれば、同様の効果を得ることが可能である。

上述では、分離部１０１が１フレーム分の動画像データを周波数毎に分離するように説明したが、これはこの例に限定されない。例えば、分離部１０１は、時間軸方向に周波数成分の分離を行うこともできる。一例として、時間軸方向に時刻ｔは高周波成分、時刻ｔ＋１は低周波成分だけを抽出することが考えられる。換言すれば、時刻ｔの低周波成分と、時刻ｔ＋１の高周波成分は、破棄して符号化する。この場合、差分信号加算部１０２は、時刻ｔと時刻ｔ＋１の信号を加算することになる。
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。本第２の実施形態は、上述した符号化装置１をコンピュータ上で動作するプログラムで実現する例である。図１１は、本発明の第２の実施形態に適用可能なコンピュータ３の一例の構成を示す。

コンピュータ３において、バス４００に対してＣＰＵ４０１、ＲＯＭ４０２、ＲＡＭ４０３、ネットワークＩ／Ｆ４０４、入出力Ｉ／Ｆ４０５、出力装置４０６および記憶装置４０７が接続される。バス４００に接続される各部は、バス４００を介して互いにデータのやりとりを行うことが可能とされている。

ＣＰＵ４０１は、ＲＯＭ４０２や記憶装置４０７に記憶されるプログラムに従い、ＲＡＭ４０３をワークメモリとして用いてこのコンピュータ３の動作を制御する。ネットワークＩ／Ｆ４０４は、ＣＰＵ４０１の制御により、例えばＬＡＮやインターネットといったネットワークに対する通信を制御し、ネットワークに接続される外部機器との間でデータのやりとりなどを行う。

記憶装置４０７は、例えばハードディスクであって、ＣＰＵ４０１が動作するためのプログラムや、各種のデータが格納される。本発明による符号化処理を行うための符号化プログラムは、この記憶装置４０７に格納される。ＣＰＵ４０１は、記憶装置４０７から当該符号化プログラムを読み出して実行することで、上述した符号化装置１をソフトウェア的に構成し、上述した第１の実施形態による符号化処理を実行する。

入出力Ｉ／Ｆ４０５は、例えばキーボードやマウスといったユーザ入力を受け付ける入力デバイスが接続される。また、入出力Ｉ／Ｆ４０５は、脱着可能な不揮発性の半導体メモリや、データ入出力を行う他の外部機器を接続することができる。出力装置４０６は、例えば画像の表示を行う表示デバイスが接続され、ＣＰＵ４０１で生成された画像データを当該表示デバイスが表示可能な形式の信号に変換して出力する。

ＣＰＵ４０１がプログラムに従い本発明による符号化処理を行うための動画像データは、例えば、ネットワークＩ／Ｆ４０４や入出力Ｉ／Ｆ４０５からコンピュータ３に対して供給され、記憶装置４０７に格納される。ＣＰＵ４０１は、記憶装置４０７に格納された動画像データを符号化プログラムに従い符号化し、生成された符号化ストリームＨＬを記憶装置４０７に格納する。符号化により生成された符号化ストリームＨＬは、ネットワークＩ／Ｆ４０４を介して外部に転送することも可能である。さらに、符号化ストリームＨＬを、入出力Ｉ／Ｆ４０５に接続される不揮発性の半導体メモリや外部機器に出力することもできる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (11)

1. 動画像データを、空間周波数の低周波成分による第１のデータと空間周波数の高周波成分による第２のデータとに分離する分離手段と、
   前記分離手段で分離された前記第１のデータに対して画素の間引きを行う間引き手段と、
   前記間引き手段で間引きされて残った画素の画素データを用いて曲線近似を行い近似データを生成する近似手段と、
   前記分離手段で分離された第１のデータと前記近似手段で生成された前記近似データとの差分を求め、該差分を前記第２のデータに加算する加算手段と、
   前記間引き手段で前記間引きが行われた前記第１のデータを符号化する第１の符号化手段と、
   前記加算手段で前記差分が加算された前記第２のデータを符号化する第２の符号化手段と
   を有することを特徴とする符号化装置。
2. 前記近似手段は、
   前記間引き処理手段で間引きされた画素位置の画素データを前記曲線近似の結果に基づき生成し、生成された該画素データと前記間引きされて残った画素の画素データとから前記近似データを生成する
   ことを特徴とする請求項１に記載の符号化装置。
3. 前記間引き手段は、
   前記近似手段で生成された前記近似データの、前記間引きが行われる前の前記第１のデータに対する誤差を求め、該誤差が閾値以下であって、且つ、前記間引きを行う画素数が最大になるように、前記間引きを行う
   ことを特徴とする請求項１または請求項２に記載の符号化装置。
4. 前記間引き手段は、
   前記第１のデータに対する画素の間引きを、間引く画素の複数の組み合わせについて行い、該複数の組み合わせの間引きのそれぞれについて前記近似手段で生成した前記近似データの、前記間引きが行われる前の第１のデータに対する誤差を求め、該複数の組み合わせの間引きのうち、該誤差が前記閾値以下で、且つ、間引きする画素数が最大の組み合わせによる間引きを行う
   ことを特徴とする請求項３に記載の符号化装置。
5. 前記間引き手段は、
   前記誤差が前記閾値以下にならない場合、前記間引きを行わないことを特徴とする請求項３に記載の符号化装置。
6. 前記近似手段は、
   前記動画像データを複数に分割したそれぞれの区間について前記曲線近似を行い前記近似データを生成する
   ことを特徴とする請求項１乃至請求項５の何れか１項に記載の符号化装置。
7. 前記第１の符号化手段は、
   前記間引きが行われた前記第１のデータに対してエントロピー符号化を行う
   ことを特徴とする請求項１乃至請求項６の何れか１項に記載の符号化装置。
8. 前記第１の符号化手段で符号化された第１の符号化ストリームと、前記第２の符号化手段で符号化された第２の符号化ストリームとを合成する合成手段をさらに有する
   ことを特徴とする請求項１乃至請求項７の何れか１項に記載の符号化装置。
9. 動画像データを、空間周波数の低周波成分による第１のデータと空間周波数の高周波成分による第２のデータとに分離する分離ステップと、
   前記分離ステップで分離された前記第１のデータに対して画素の間引きを行う間引きステップと、
   前記間引きステップで間引きされて残った画素の画素データを用いて曲線近似を行い近似データを生成する近似ステップと、
   前記分離ステップで分離された第１のデータと前記近似ステップで生成された前記近似データとの差分を求め、該差分を前記第２のデータに加算する加算ステップと、
   前記間引きステップで前記間引きが行われた前記第１のデータを符号化する第１の符号化ステップと、
   前記加算ステップで前記差分が加算された前記第２のデータを符号化する第２の符号化ステップとを有する
   ことを特徴とする符号化方法。
10. コンピュータを請求項１乃至請求項８の何れか１項に記載の符号化装置の各手段として機能させるためのプログラム。
11. コンピュータを請求項１乃至請求項８の何れか１項に記載の符号化装置の各手段として機能させるためのプログラムを記憶したコンピュータに読み取り可能な記憶媒体。

Images