JP5453519B2 - 特に画像，映像，及び／又は音声のデジタルファイルを処理する方法 - Google Patents

Description

発明の詳細な説明

本発明は，特に画像，映像，及び／又は音声のデジタルファイルを処理する方法に関する。

限定はしないが，本発明は特に，当初は元の形式で現れ少なくとも２つの値サブセットを含むファイルの処理に適用される。

より詳細には，元のファイルの値に比べて値の振幅が小さくなった圧縮ファイルを得られる圧縮段階と，その後，該圧縮ファイルから元のファイルの振幅に近い振幅の値を有するファイルを得られる復元段階とを含む処理動作を提案する。

画像又は映像ファイルのサブサンプリングによる圧縮方法が少なくとも３つあることが現在一般に知られている。すなわち，カラーインデックス化（color indexation），ＹＣ_ｂＣ_ｒサブサンプリング（映像用ＹＵＶとも呼ばれる），及び，光度基準の低減である。

・ カラーインデックス化方法とは，画像のＲＧＢ３色の色成分を，８ビットで符号化された単一成分に減縮したものである。このインデックス化方法によれば，当該システムは元の情報の３分の１だけしか符号化しないので，かなりの圧縮利得を得られる。このインデックス化方法は２種類に分けられる。
― 静的インデックス化方法：帰納型パレット（induced palette）によるインデックス化とも呼ばれ，システムが使用できる２５６種類の組み合わせのうち１つを各画素に割り当てる。
― 動的インデックス化方法：定義済パレット（built palette）によるインデックス化とも呼ばれ，異なる色の各組み合わせが表す３バイトを８ビットで保存しなければならない。

・ 色圧縮のためのＹＣ_ｂＣ_ｒ（又はＹＵＶ）サブサンプリングは以下の３つの異なる信号を用いる。
― いわゆるＹ輝度信号であり，ＲＧＢ三原色信号を視感度曲線に合わせて重みづけして得られる。
Ｙ ＝ ０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
― ２つの相補的な，いわゆる色信号であり，Ｃ_ｂ及びＣ_ｒ情報は以下のように得られてもよい。
Ｃ_ｂ ＝−０．１６９Ｒ−０．３３１Ｇ＋０．５００Ｂ＋１２８
Ｃ_ｒ ＝０．５００Ｒ−０．４１９Ｇ−０．０８０Ｂ＋１２８

この方法では，輝度Ｙを広帯域を用いて送信してもよく，その場合Ｃ_ｂとＣ_ｒで表される色差情報に割り当てられる通過帯域は大幅に縮小する（ユーザに知覚されない細かい詳細にかかわる色差情報の抑制）。

光度基準低減方法では，決定されたスケールにより値の光度レベルを下げ，小さくなった値を圧縮段階から選択された一定の誤差率で元の光度基準で復元する。この方法では，その設計により，その圧縮方法により発生したある種の誤差を訂正することができる。この方法は特に以下の長所がある。
ａ）例えば，復元値と元の値との誤差の範囲を「−２」から「＋２」の誤差に減らす。
ｂ）例えば，エンコーダに送信される値を小さくすることにより，通常のＹＣ_ｂＣ_ｒサブサンプリングでは２４ビットで符号化するところを，１８ビットによる値の符号化を可能にする。
ｃ）値の数と値の大きさの低減により，符号化する値の数が減る。さらに色数も減らすことができる。
ｄ）あらゆる種類の静止画及び動画の処理が可能で，特に単一成分又はいくつかの成分からなる画像の処理が可能である。
ｅ）既存の，工程の圧縮シーケンス（compression chain）に組み込むことのできる自己完結的な圧縮方法又はモジュールである。
ｆ）すでにＪＰＥＧ又はＭＰＥＧファイルとして圧縮したファイルを，性能よく「再圧縮」できる。
ｇ）限られた数の操作を用いて圧縮も解凍も行う。

しかしながら，前述の圧縮方法にもいくつかの短所があることがわかる。

よって，特に静的又は動的なインデックス化によるサブサンプリングの限界がよく知られている。
― 静的なインデックス化は大幅な誤差の原因となる。しかも，この圧縮方法は白黒画像の圧縮と同様に，特徴的な成分の大幅な減縮は，該成分を復元できなくなるため困難である。
― 動的なインデックス化は，写真のように多数の色の組み合わせにより定義される画像を扱うには非効率的である。例えば，数十万色のインデックス化には，数十万バイトに画像の色成分数をかけた数の参照色の記憶を要する。
― ＹＣ_ｂＣ_ｒサブサンプリングでは，４つの理由により，画像の圧縮の問題に不完全にしか応えることができない。
ａ）設計上の限界により，ＲＧＢ画像の処理にしか使えない。実際に，この方法は，白黒画像や２色画像及びＣＭＪＮファイルといった，１，２〜４色の成分からなるファイルの処理用には設計されていない。
ｂ）自己完結的な圧縮プロセスではない。実際に，自己完結的な圧縮プロセスに足る変換ができない。単独で用いた場合，ＹＣ_ｂＣ_ｒサブサンプリングでは低い圧縮率しか得られない。これが既知の規格では他のアルゴリズムステップが加えられている理由である。
ｃ）ＹＣ_ｂＣ_ｒサブサンプリングは，概念的には誤差伝搬ベクトルである。実際に，この方法では，元の値と復元値との間で１対１の関係を確立することはできない。これらの値の間の偏差は，一般に「−１」と「＋１」との間に定まる。圧縮系がＹＣ_ｂＣ_ｒ「４．２．２」サブサンプリングを用いた場合，これらの偏差は裸眼でも検出できる。解凍の際は，この方法では補間法を用いて圧縮ファイルの連続する２つの値の間に両圧縮値の平均に等しい追加値を追加し，この追加値が圧縮プロセスで抑制された値の代わりをすることになる。
この解決法では，「−１２８」から「＋１２８」の間の偏差が生じ，該偏差は「２５５」に及ぶ場合もある。
ｄ）ＹＣ_ｂＣ_ｒサブサンプリングは，バランスの悪い色の劣化を招く。実際に，１つの成分，すなわち，画像の非可逆的劣化レベルにすぐに達してしまうためあまり大幅に圧縮できないＹ成分に関する画像の全詳細を一方に集め，より大幅に定量化される「Ｃ_ｂ」及び「Ｃ_ｒ」成分（画像の元の色の合成として理解される）に関する色差情報をもう一方に集めることにより，サブサンプリングは情報を分割処理する。このため可視的な欠陥をより多く復元してしまうことになる。
むしろ，統計的にも概念的にも，カラー画素のサブピクセルを同じ比率で圧縮する方がコスト効率が良いことがわかる。サブピクセル間の光度の違いが見えるリスクは，サブピクセルを分割して定量化する場合よりもかなり小さい。
これがサブサンプリングによる圧縮に対する主な批判である。実際に，網膜の残像により，光度差，特にサブピクセル間の光度差が，欠陥をより視認しやすくする。したがって，サブピクセルの光度は，すべてのサブピクセルについて同じ比率で且つ同じ方向に変化させるべきである（ただし光度は元の光度からさほど異なっていないものとする）。
ｅ）光度基準低減方法による圧縮方法には，以下のような短所がある。
・光度を低減させたファイルの値を隔てる偏差の縮小が十分ではない。この点について，これらの値の間の差を減らすことが圧縮の性能を得るための決定要素の１つであることを思い出されたい。この特性こそが，該方法の多くの積み重ねにもかかわらず，光度基準低減方法に欠けている特性である。
・最大２５６色の画像を知覚可能な劣化なしに圧縮する目的では設計されていない。
・定義により，この方法は音声ファイルの圧縮には適用できない。

音声ファイルについては，サブサンプリング技術は，「Ｎ」平均値の方法によって元の秒単位のサンプルの数を減らす単純な数式に基づいている。例えば，４４，１００kHzのファイルを２２，０５０kHzのファイルにサブサンプリングする場合，この方法ではサンプルの値の２×２の平均化を実施する。２つのサンプルをもとに１つのサンプルを示す平均値のみが保持される。これにより，チャネルごとに常に１６ビットで符号化されるが，元のファイルのバイト数が半分になる。

本発明の目的は，より詳細には，画像や映像の表現や音声の生成に用いる新規の圧縮方法によりもたらされる，より高い品質とより少ない圧縮を要求する新たな課題に対応することである。

この目的のため，本発明は，
何らかの音声，画像及び／又は映像ファイルのデジタルデータを，色層ごと及び／又は音声チャネルごとに整列させる段階と，列Ｎの各圧縮値（すなわちＶＣ_Ｎ）を元のファイルの同じ列Ｎの値ＶＮから先に計算された所定数の連続する圧縮値（ＶＣ_Ｎ−１，ＶＣ_Ｎ−２，…）を減算することによって得るアルゴリズムにより，該ファイルの値を連続的に圧縮する圧縮段階と，
列Ｎの各復元値（すなわちＶＤ_Ｎ）を圧縮ファイルの同じ列の値ＶＣＮに所定数の連続する圧縮値（ＶＣ_Ｎ−１，ＶＣ_Ｎ−２，…）を加算することによって得るアルゴリズムにより，該圧縮ファイルの各値を元のファイルの対応する値に近い値に戻す復元段階と，
を含むデジタルファイルの圧縮方法を提案する。

したがって，圧縮アルゴリズムは次式でもよい。

この関係式において，
ＶＣ_Ｎは圧縮ファイルの列Ｎの値であり，
ＶＣ_Ｎ−１は圧縮ファイルの，先に計算された列Ｎ−１の値であり，
ＶＣ_Ｎ−２は圧縮ファイルの，先に計算された列Ｎ−２の値であり，
Ｖ_Ｎは元のファイルの列Ｎの値であり，
ｋとｈは求められる圧縮レベルにより異なる圧縮係数であり，例えば，

である。

復旧アルゴリズム（restoration algorithm）は次式でもよい。

この関係式において，
ＶＤ_Ｎは列Ｎの復元値であり，
ＶＣ_Ｎ−１は列Ｎ−１の圧縮値であり，
ＶＣ_Ｎ−２は列Ｎ−２の圧縮値である。

したがって，この解決策によれば，ファイルの値の振幅を縮小し，圧縮ファイルの所定数の連続する値を用いて復元ファイルを再構築できる。

特に優れている点として，前述の方法は，連続する値の少なくとも２つのセットを含む，例えば画像，映像，及び／又は音声ファイルなどのファイルの場合に適用できる。この場合，圧縮処理動作は以下の段階を含んでもよい。
― 前記双方のセットから，１つのセットのデジタル値を隔てる平均偏差が他のセットの値を隔てる平均偏差よりも大きいセットを選択する予備段階，
― 前述の圧縮アルゴリズム，例えば以下のアルゴリズム

を用いて，選択したセットを圧縮する段階，
― 第２のセットを以下の各値の計算を含む圧縮アルゴリズムにより圧縮する段階

この式において，
Ｖ’_Ｎは第２のセットの列Ｎの値であり，
ＶＣ_Ｎ−１は第１のセットの列Ｎ−１の圧縮値であり，
ＶＣ_Ｎ−２は第１のセットの列Ｎ−２の圧縮値である。

この場合，第１のセットの値の復元は，次式の復旧アルゴリズムにより実施してもよい。

ＶＤ_Ｎは第１のセットの列Ｎの復元値である。

その後，第２のセットの値の復元は次式のアルゴリズムにより実施してもよい。

ＶＤ’_Ｎは第２のセットの列Ｎの復元値である。

前述の方法の重要な利点は，マルチサポートマルチメディアデジタルデータの利用が引き起こす問題に対する解決策を見つけられること，そして，該方法は以下のデジタルファイルの特性に適合していることである。
― ８ビット及び１６ビットのモノラル音声
― １６ビット以上のマルチチャネル音声
― １，２，３，４色の成分の画像
― １，２，３色の成分の映像
― ２Ｄ及び３Ｄの静止画又は動画

さらに以下のように，既存の圧縮プロセスの最適化が引き起こす問題を概ね解決できる。
― ＬＺＷ型逐次符号化系又は「ハフマン」型の統計的符号化系の圧縮率を上げる自己完結的な圧縮プロセスである。
― 既存の圧縮工程に挿入することができ，圧縮モジュールとして以下の用途に使用できる。
・追加ステップ
・ＹＣ_ｂＣ_ｒ変換などの，ある種の既存のステップの代替ステップ
・Ｃ_ｂＣ_ｒ変換などの，ある種の既存のステップのある種の段階の代替ステップ
・ＹＣ_ｂＣ_ｒ変換又は定量化テーブル型（quantification table type）の変換式に組み込まれる最適化方法

より大きな圧縮利得（音声，画像，又は映像ファイルの元の値と復元値との間には多少の差がある）を得ることが望ましい場合は，本発明に係る処理動作は以下の段階を含んでもよい。
― 次式のアルゴリズムを用いる圧縮段階

ｉは求められる圧縮レベルに依存する１より大きい係数である，及び
― 次式のアルゴリズムを用いる復元段階

したがって，本発明に係る方法により，以下のことが提供されることがわかる。
― 値の振幅，該値間の偏差，及び該値の数を減らして，様々な増分を制限することによる，圧縮の原理的な規則に対する改善策。
― 選択した圧縮レベルに依存する圧縮値の一定の範囲の確立，及び，それにより，
― 復元値と復元されるべき値との間の誤差の範囲の厳密な制約であり，該復元されるべき値とは，
・該方法が自己完結型圧縮プロセスとして用いられる場合は元の値であり，
・あるいは本発明に係る方法による介入がなかった場合に既存のシステムの圧縮ステップの１つにより確定されたであろう値。

このような特徴により，本発明に係る方法によれば，特に以下のことが可能となる。
― 逐次的又は統計的エンコーダに送信される値の総数をできる限り減らし，元のファイル又は本発明に係る方法による介入がなかった場合に得られるべきファイルに近いファイルを復元しながら，圧縮ファイルのバイト数をできるだけ小さくし，その際の損失レベルは厳密に事前に決定され，以下の項目にしたがって分類される。
・デジタルファイルの性質
・恒久的（画像）
・時間的依存（映像，音声）
・ファイルの宛先の範囲
・デジタルシネマからモニタービデオまで
・公開する画像から携帯電話のサムネール画像まで

本発明に係る方法の実施形態を，添付図面を参照しつつ，非限定的な例として以下に説明する。

それぞれ赤，緑，青の画像の値の８×８ブロックを３つ（ＲＢ，ＧＢ，ＢＢ）含むファイル。 図１のブロックの値の３つのライン（赤，緑，青）（ＲＬ，ＧＬ，ＢＬ）それぞれにおける構成を示す。 元の画像の値の振幅を表す図。 ＹＣ_ｂＣ_ｒ圧縮後の値の振幅を表す図。 本発明に係る方法による圧縮後の値の振幅を表す図。 ＹＣ_ｂＣ_ｒ復元後の値の振幅を表す図。 本発明に係る方法による復元後の値の振幅を表す図。

まず，デジタル画像の処理は，慣例的に，画像の３成分，例えばＲＧＢ又はＹＵＢの，８×８画素のブロックへの分解を含むことを思い出されたい。

図１は，赤ＲＢ，緑ＧＢ，青ＢＢの相同するブロックの例を示し，各ブロックには各画素に付与された６４の値が示されている。

理解を助けるため，３つの連続する相同な値が枠で示されている。すなわち，赤ブロックＲＢの値１２９，１３８，１３８，緑ブロックＧＢの値８０，８７，９０，青ブロックＢＢの値５７，６１，６３である。

本発明に係る方法の範囲におけるこれらのブロックＲＢ，ＧＢ，ＢＢの処理では，まずこれらのブロックＲＢ，ＧＢ，ＢＢの値を３つのラインにそれぞれ順次整列させる予備段階を含み，各ラインにおいて値が位置１〜６４を占めるとともに，使用するブロックの読み取りモードによって決定される順序に整列される。この実施例においては，交替式の読み取りモードが用いられ，図１に示すように，２つの隣接するラインの連続的な読み取りを互いに反対方向に実施する。

ブロックＲＢ，ＧＢ，ＢＢから取得した３つのラインＲＬ，ＧＬ，ＢＬを示す図２では，３つの印をつけた値がそれぞれ列４０，４１，４２を占める。

図３〜７に示す図は，列（横軸）に依存して実施される値（縦軸）の振幅を比較できるようになっており，ラインＲＬに対応する値の列は１〜６４，ラインＧＬに対応する値の列は６５〜１２８，ラインＢＬに対応する値の列は１２９〜１９２である（図２）。

元のＲＧＢ画像の値の振幅を示す図３のグラフでは，値は３から１８８まで変化し，列３，６７，１３１で最大となっている。

元の画像の値のＹＣ_ｂＣ_ｒ型変換後の振幅を示す図４のグラフは，図３のグラフにおける赤の値の変化に似たものを示すが，Ｙの値（列１〜６４を占める）はかなり減衰している。一方，列６５〜１２８と１２９〜１９２を占めるＣ_ｂとＣ_ｒの値は，Ｃ_ｂは約１１０前後，及び，Ｃ_ｒは約１５０という２つの連続する平坦部を形成する。これら３成分の値は３から１７８まで広がっていることがわかる。

図５に示すグラフは，本発明に係る方法により取得した圧縮値が，元の画像（ＲＧＢブロック）の対応する値（図３）やＹＣ_ｂＣ_ｒ変換により得られる値（図４）と比較するとさほど高くないレベル（−８から５９）にあることを示している。

この性質は， ＲＧＢとＹＣ_ｂＣ_ｒの図である図３及び図４に示した値のピークで特に視認される。

したがって，特に，図３及び図４において列３の値により形成されるピークがそれぞれ１８８と１７８に達するのに対し，本発明に係る方法により得られる同じ列の対応する値は約５３である（ｋ＝１／３，ｈ＝１として圧縮式１を用いる（図５））。

一方，処理が終了すると（復元後），復元値（図７）は再び元の画像の値（図３）及び，ＹＣ_ｂＣ_ｒ変換した値を復元した後に得られた値（図６）に接近することがわかる。

したがって，本発明に係る方法によれば，当初の画像と比較して復元された画像に視認可能な劣化を引き起こすことなく，圧縮ファイルのバイト数を大きく減らすことができることがわかる。しかも，アルゴリズムによる圧縮及び復元プロセスを簡易にすることにより，相対的に高い処理率を達成しうる。

Claims (7)

1. 何らかの音声，画像及び／又は映像ファイルのデジタルデータを，色層ごと及び／又は音声チャネルごとに整列させる段階と，列Ｎの各圧縮値（ＶＣ_Ｎ）を，元のファイルの同じ列Ｎの値Ｖ_Ｎから，先に計算された所定数の連続する圧縮値（ＶＣ_Ｎ−１，ＶＣ_Ｎ−２，…）を減算することによって得る圧縮アルゴリズムにより，前記ファイルの値を連続的に圧縮する圧縮段階と，
   前記列Ｎの各復元値（ＶＤ_Ｎ）を，圧縮ファイルの同じ列の値ＶＣ_Ｎに所定数の連続する圧縮値（ＶＣ_Ｎ−１，ＶＣ_Ｎ−２，…）を加算することによって得る復旧アルゴリズムにより，前記圧縮ファイルの各値を前記元のファイルの対応する値に近い値に戻す復元段階と，
   を含むことを特徴とする，特に画像，映像及び／又は音声のデジタルファイルを処理する方法。
2. 前記圧縮アルゴリズムが次式；
   

   

   であり，
   この関係式において，
   ＶＣ_Ｎは前記圧縮ファイルの列Ｎの値であり，
   ＶＣ_Ｎ−１は前記圧縮ファイルの先に計算された列Ｎ−１の値であり，
   ＶＣ_Ｎ−２は前記圧縮ファイルの先に計算された列Ｎ−２の値であり，
   Ｖ_Ｎは前記元のファイルの列Ｎの値であり
   ｋとｈは求められる圧縮レベルにより異なる圧縮係数であることを特徴とする請求項１記載の方法。
3. 

   であることを特徴とする請求項２記載の方法。
4. 前記復旧アルゴリズムが次式；
   

   

   であり，
   この関係式において，
   ＶＤ_Ｎは列Ｎの復元値，
   ＶＣ_Ｎ−１は列Ｎ−１の圧縮値，
   ＶＣ_Ｎ−２は列Ｎ−２の圧縮値
   であることを特徴とする請求項１〜３いずれか１項記載の方法。
5. 値の少なくとも２つのセットを含むファイルを処理するために，
   ― 前記双方のセットから，１つのセットのデジタル値を隔てる平均偏差が他のセットの値を隔てる平均偏差よりも大きなセットを選択する予備段階と，
   ― 次式の圧縮アルゴリズム
   

   

   を用いて，前記選択したセットを圧縮する段階と，
   ― 第２のセットを以下の各値の計算を含む圧縮アルゴリズムにより圧縮する段階であり
   

   

   この式において，
   Ｖ’_Ｎは第２のセットの列Ｎの値であり，
   ＶＣ_Ｎ−１は第１のセットの列Ｎ−１の圧縮値であり，
   ＶＣ_Ｎ−２は第１のセットの列Ｎ−２の圧縮値である段階と
   を含むことを特徴とする請求項１記載の方法。
6. 前記第１のセットの復元は次式の復旧アルゴリズム
   

   

   により実施され：
   ＶＤ_Ｎは前記第１のセットの列Ｎの復元値であり，
   前記第２のセットの値の復元は以下のアルゴリズム
   

   

   により実施され，
   ＶＤ’_Ｎは前記第２のセットの列Ｎの復元値であることを特徴とする請求項５記載の方法。
7. 次式のアルゴリズム
   

   

   を用い，
   ｉは求められる圧縮レベルに依存する１より大きい係数である圧縮段階と，
   次式のアルゴリズム
   

   

   を用いる復元段階と
   を含むことを特徴とする請求項１記載の方法。

Images