JP4348768B2 - 画像変換方法 - Google Patents
画像変換方法 Download PDFInfo
- Publication number
- JP4348768B2 JP4348768B2 JP08998599A JP8998599A JP4348768B2 JP 4348768 B2 JP4348768 B2 JP 4348768B2 JP 08998599 A JP08998599 A JP 08998599A JP 8998599 A JP8998599 A JP 8998599A JP 4348768 B2 JP4348768 B2 JP 4348768B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- block
- digital image
- domain
- jpeg
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 40
- 238000006243 chemical reaction Methods 0.000 title claims description 14
- 230000009466 transformation Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 description 55
- 238000007906 compression Methods 0.000 description 51
- 230000006835 compression Effects 0.000 description 44
- 238000013139 quantization Methods 0.000 description 20
- 238000004422 calculation algorithm Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 16
- 238000013459 approach Methods 0.000 description 13
- 230000006837 decompression Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000000844 transformation Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 230000008901 benefit Effects 0.000 description 6
- 238000003672 processing method Methods 0.000 description 6
- 230000017105 transposition Effects 0.000 description 6
- 238000012546 transfer Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
【発明の属する技術分野】
本発明は、一般には画像データの圧縮ドメイン表現の処理に関し、さらに詳しくは、画像データを完全な伸張および圧縮の工程に付さずに、画像の正規な幾何学的変換のような、ある空間ドメイン処理を達成するための、圧縮ドメイン表現の取り扱いに関する。
【0002】
【従来の技術及び発明が解決しようとする課題】
典型的な高品質のディジタル化されたカラー画像では、RGBカラー空間における赤(R),緑(G)および青(B)またはYCBCRカラー空間における輝度(Y),クロミナンス(CB)およびクロミナンス(CR)のそれぞれに対して8ビットの、24ビット/画素(ビット・パー・ピクセル(bpp))が用いられている。このような画像を圧縮しない状態(例えば空間または画素ドメイン)で転送または格納することは、時間的および必要とするメモリの点から極めて費用が嵩む。そのため、高品質のディジタル化されたカラー画像を格納および/または転送するアプリケーションおよび装置、例えばディジタルカメラでは、現在入手可能な圧縮アルゴリズムを用いて、典型的には圧縮フォーマットで格納および/または転送が行われる。
【0003】
JPEG(Joint Photographic Experts Groupの略語)のような圧縮基準の出現により、JPEG圧縮フォーマットのみで内容を生成、保存するディジタル・イメージング・システムおよびアプリケーションが標準である。例えば、EpsonPhotoPC 600、Kodak DC−10などのようなほとんどのディジタル・スチル画像カメラ(DSCs)では、カメラが捕えた画像は直ちにカメラ内で圧縮され、そのカメラの格納システムにJPEGファイルとして格納される。しばしば、表示に先立って、これらの画像を操作する必要がある。典型的な画像の操作としては、(a)ポートレートから風景モードへの画像の回転またはその逆、(b)サイズの拡大または縮小のための画像のスケーリング、(c)画像における明度およびコントラストの変更、(d)新しい画像を作成する目的のためおよび合成操作するための画像の一部のクロッピング、(e)単純なビットマップ注釈の画像への付加、および(f)可視/不可視な透かしの画像への埋め込みが含まれる。ディジタル・カメラの格納制限のために、これらの画像操作では処理される出力がJPEGフォーマットであることが要求される。
【0004】
これらのタスク実行および圧縮モードでのみ画像を利用可能とするという必要から、圧縮ドメイン表現に直接応用可能な画像処理技術の開発に対する関心が大いに高まっている。圧縮ドメイン処理法の研究は以下のような事実が端緒となっている。(a)圧縮ドメインにおけるデータの容量は空間ドメイン表現に比べて極めて小さいが、このことは、所望の処理タスクにとってサンプル当たりのオペレーションが少なくて済むことを意味する。(b)データを伸張し、続いて空間ドメイン内で所望の画像処理関数を適用し、次いで転送または格納効率を高めるため再圧縮することが必要な慣用のパイプライン処理では、画像の忠実度の低下を招きかねない。さらにこのような慣用のパイプライン処理は、時として圧縮タスクが伸張タスクよりも複雑であるため、演算が極めて複雑化し、または待ち時間が長くなる。
【0005】
これに反して、圧縮ドメインに基づく処理法では、ハフマン(Huffman)・デコーディングおよびハフマン・エンコーディングのような複雑さの低いタスクによりJPEG伸張および圧縮のタスクを置き換えるので、演算の複雑さが軽減されることがある(S.F.ChangおよびD.G.Messerschmitt,「Manipulation and Composition of MC−DCT Compressed Video(MC−DCT圧縮ビデオの操作および合成)」,IEEE JSAC Special Issue on Intelligent Signal Processing,vol.13,1〜11ページ,1995年1月; N.MerhavおよびV.Bhaskaran,「A fast algorithm for DCT−domain inverse motion compensation(DCTドメイン逆転補償用の高速アルゴリズム)」,ICASSP‘96,pp.IV.2307〜2310ページ,アトランタ,1996年5月; B.NatarajanおよびV.Bhaskaran,「A fast approximate algorithm for scaling down digital images in the DCT domain(DCTドメインにおけるディジタル画像縮小のための高速近似アルゴリズム)」,IEEE 画像処理国際会議(ICIP),ワシントンD.C.,1995年10月;およびBrian SmithおよびLarry Rowe,「Algorithms for manipulating compressed images,(圧縮画像操作のためのアルゴリズム)」,IEEE Computer Graphics and Applications,pp.34〜42ページ,1993年9月、参照)。
【0006】
本発明の第1の目的は、空間ドメインにおけるディジタル画像の操作を行うのに伴う上述の問題を克服することにある。
【0007】
本発明の第2の目的は、完全な伸張および圧縮の工程を経由すること無しに、画像の圧縮ドメイン表現を直接操作して、選択された空間ドメイン操作を行うことにある。
【0008】
本発明の第3の目的は、空間ドメインにおける対応する画像操作を行うのに必要な圧縮データ操作を大幅に単純化するアルゴリズムのセットを提供することにある。
【0009】
本発明の第4の目的は、1セットの圧縮データを有し、かつ別のセットの圧縮データを生じて、工程逆転時には品質の低下を伴わずにオリジナル画像が生成される操作工程を含む、圧縮ドメイン内で画像データを操作するアルゴリズムのセットを提供することにある。
【0010】
【課題を解決するための手段】
本発明では、ディジタル画像の一次変換(線形変換)ドメイン表現を操作することにより、ディジタル画像の空間ドメイン表現上で種々の二面角対称オペレーションを行う手法が提供される。ディジタル画像がJPEGファイルのような圧縮ビットストリームの形式である場合、この手法には、圧縮ビットストリームをデコードして、ディジタル画像の一次変換ドメイン表現を規定する、一次変換に基づくデータブロックの生成が含まれる。一次変換に基づくデータブロックは対応する幾何学的変換用に再配列され、特定の一次変換ドメインのオペレーションが各ブロック内のデータエレメントに適用され、そしてブロックが再アセンブリされる。これらのデータのブロックが空間ドメインに伸張されると、得られるディジタル画像はオリジナル画像に関してフリップまたは回転を生じる。
【0011】
オリジナル画像については、生じた画像は対角線方向(主方向または交差方向のいずれか)に対するフリップ、中軸方向に対するフリップ(垂直または水平の何れか)、または90°,180°もしくは270°の回転を生じる。この手法はディジタルスチル画像カメラのような画像装置またはコンピュータシステムに応用することができる。いずれの場合も、ハードウェアまたはソフトウェアを用いてインプリメントすることができる。
【0012】
本発明のその他の目的およびその詳細な内容については、添付の図面を参考として以下の説明および特許請求の範囲から把握することができよう。
【0013】
【発明の実施の形態】
JPEGのようなスチル画像圧縮基準における基底関数として8×8離散コサイン変換(DCT)が選ばれ(G.K.Wallace,「The JPEG Still Picture Compression Standard」(JPEGスチル写真圧縮基準)」,Communication of theACM、vol.34,no.4,1991年4月を参照されたい)、またJPEGが市場の多くの一般向けディジタルスチルカメラに広く用いられている圧縮法であるため、以下、ディジタルスチルカメラのアプリケーションに適し、かつカメラのJPEG圧縮ビットストリームのDCTドメイン表現上で動作する圧縮ドメイン処理法に絞って説明する。8×8が最も一般的なDCTブロックサイズであるが、これらの手法はその他のDCTブロックサイズにも拡張できる。さらに、これらの手法は、離散サイン変換、離散アダマール変換およびウェーブレット変換を含むその他の一次変換に基づく基底関数に拡張可能である。
【0014】
JPEG圧縮および伸張工程ならびに画像処理関数をJPEGパイプラインに統合する考え方から簡単に説明する。JPEGではDCTを用いて、その空間または画素ドメイン表現からデータをより効率的にコード化し得る圧縮または周波数ドメイン表現にスチル画像データを変換する。ここで開発した画像操作法はDCTの特性の利点を活用するように設計されている。
【0015】
JPEG圧縮および伸張工程は、図1に概略的に示す通り、それぞれ8×8のブロックサイズを有するブロック毎の基底上で動作する。図1にその概略を示す通り、非圧縮スチル画像11はラスタ・ブロック変換器12により8×8ブロックの画素に分解される。次いで、これらのブロックはフォワード8×8DCT13により転送されて、対応する8×8DCTブロックのセットを生成する。サンプルf(i,j)の空間ドメイン8×8ブロックのフォワード8×8DCT、F(u,v)は以下のように算出される((1)〜(3)式)。
【0016】
【数1】
【0017】
フォワード8×8DCTからの出力後、各64DCT係数は64エレメント量子化テーブルQに関連してフォワード量子化器14内で均一に量子化されるが、これは経験的に導出されて可視的には無意味の廃棄情報とされることができる。この圧縮工程で、圧縮の間に唯一生じるロスは、F(u,v)からFQ(u,v)=RoundOff{F(u,v)/Q(u,v)}への量子化に起因する(ここで、Qは8×8量子化テーブルである)。
【0018】
量子化の後、各ブロック内のDCTデータは、低周波係数(非ゼロとなる可能性大)を高周波係数(ゼロの可能性大)の前に持ってくることにより、エントロピー・コーディングを促進する「ジグザグ」順に並べ変えられる。次いで、データはハフマンエンコーダ15内でハフマンコード化して、データをさらにコンパクトにし、JPEG圧縮ビットストリームを生成するようにする。
【0019】
画像は、対称的逆算法を用いて圧縮ビットストリームから再構築される。ハフマンデコーダ16内で圧縮ビットストリームをデコードすることによりJPEG圧縮工程が開始され、8×8ブロックのDCT係数が再び生成される。逆ジグザグ化の手続きで係数が再配列され、次いでブロックが逆量子化器17を通して与えられる。次の工程では、8×8逆離散コサイン変換器(IDCT)18がDCTの8×8ブロック上で動作して画素の8×8ブロックのストリームを生成する。ブロック・ラスタ変換器19がこれらのブロックを伸張スチル画像21に変換する。この伸張工程では、IDCTが係数F(u,v)を画素f(i,j)に正確に変換し直す((4)式)。
【0020】
【数2】
【0021】
圧縮工程は、量子化係数FQにより実際に働かせてfの近似値fQのみを与える((5)式)。
【0022】
【数3】
【0023】
回転またはスケーリングのような画像処理関数が、JPEG圧縮ビットストリームとしてしか得られない画像上で実行されねばならないとした場合には、この処理は図2に示すように行われる。先ず、JPEG圧縮ビットストリームがブロック31において、空間ドメイン表現に伸張し直される。次いで空間ドメイン処理がブロック32で実行される。その後、処理された画素データがブロック33で再圧縮されて新しいJPEG圧縮ビットストリームを生成する。この処理は伸張された空間ドメインデータ(画素)に適用されるので、この手法を空間ドメインアプローチと呼ぶことにする。
【0024】
空間ドメインアプローチにはいくつかの利点がある。その1つは、空間ドメインでの画像処理はよく知られた問題であり、その解決法は多くの典型的な画像処理関数に広く用い得る点である。その他の利点は、処理関数がデータを表現するために用いる基本的な圧縮手法に依存しない点である。
【0025】
このアプローチには欠点もある。画像処理関数を適用する前に、データは完全に伸張されていなければならない。さらに、処理されたデータは再度圧縮工程に付す必要がある。JPEGはロスの多い圧縮法であるので、伸張−再圧縮により画像の品質低下を招く恐れがある。ポートレートから景観モードへの切り換えアプリケーションについては、向きが変更される度に画像品質は低下の一途をたどる。その他の欠点は、伸張および圧縮の複雑さが極めて著しいことである。例えば、図2で画像処理タスクが仮に時計回り方向に90°回転とすると、入力データの各8×8ブロックは表1のようになる。オペレーションカウントの大まかな推計を行うため、積算、加算およびデータアクセスがそれぞれ1データ項目当たり1オペレーションで実行されるものと仮定した。
【0026】
【表1】
【0027】
本発明は空間ドメインに基づく画像処理に代わる、すなわち圧縮ドメインに基づく画像処理を提案するものである。後者は、すでに圧縮形で得られているデータ、例えばJPEGビットストリームによく適合する。圧縮ドメインに基づく画像処理手法の基本的処理は図3に示す通りである。JPEGデータについては、圧縮ドメインに基づく画像処理として、通常、図3においてブロック42で示すDCTドメイン画像処理が含まれる。
【0028】
図3に示す通り、DCTドメイン画像処理42にはブロック41におけるJPEG圧縮ビットストリームのエントロピーデコーディングが先行し、そしてブロック43におけるエントロピーコーディングが後続する。
【0029】
同じく図3に示す通り、DCTドメイン画像処理ブロック42はさらに44〜49を付番された処理ブロックに分割される。前述の通り、ビットストリームの伸張によるDCT係数の8×8ブロックが得られる(44)。これらの係数は、ジグザグ解除の手続き(45)を用いて再配列され、その後、DCT係数のブロックが量子化解除される(46)。本発明によれば、DCT係数の量子化解除ブロックはブロック指向処理を行う(47)。この処理に続いてDCTデータに基づいてブロックが量子化され(48)、そしてジグザグ順に再配列される(49)。しかし、画像処理タスクに依存してすべてのブロック44〜49について行われる必要はない。例えば、D4オペレーション(対角線およびY軸に関するフリップの順で表わすことができる)については、ジグザグ解除45、量子化解除46、ジグザグ化49、および量子化48の各工程が省略可能である。圧縮ドメインに基づくD4オペレーションの詳細については後述する。
【0030】
一般に、圧縮ドメイン処理には以下のような利点がある。先ず、多くの場合、量子化解除−量子化工程が省略できるので、画像品質を保つことができる。第2に、完全なJPEG伸張および圧縮のタスクがなくなるので、図2に示す空間ドメインの場合よりも複雑さが大幅に低い。特に90°回転の場合は、表1の圧縮ドメインに基づく処理相手先のインプリメントは表2に示すオペレーションカウントを有する。圧縮ドメインアプローチを用いる全オペレーションカウントは表1の空間ドメインに基づくアプローチのほぼ1/5以下であることに注目すべきである(DCTドメインに基づく回転法については後述する)。その他の利点としては、典型的なディジタル画像表現では、画素の深い相互関係のためにDCTドメイン表現が極めて散在(例えば8×8DCTブロックで通常7〜16の非ゼロ値)している点が挙げられる。このデータの散在性は、DCTドメイン処理アプローチの活用により、全体的な複雑さをさらに軽減することができるが、この特性は空間ドメイン表現では得られない(D4オペレーションに対するこの特性の活用については後述する)。
【0031】
【表2】
【0032】
一般に、空間ドメインに基づく画像処理関数に匹敵する、圧縮ドメインに基づく処理を導出することは不可能である点に注意すべきである。DCTは一次変換であり、従って圧縮ドメインに基づく処理は一次画像処理関数について行われると予想される。メディアンフィルタリング、変形/異形化のような非線形画像処理関数は、図3に示すもののように圧縮ドメインに基づくアプローチには適合しない。
【0033】
《JPEG画像上での二面対称オペレーション》
以下、JPEG圧縮データの簡単な幾何学的変換を制御する基本方程式について説明する。対角軸、Y軸(すなわち、中央垂直軸)およびX軸(すなわち、中央水平軸)に関するフリップの構成で規定されるオペレーションにより、D4と呼ばれる四辺形の二面対称のグループが形成される。これらのオペレーションについて表3に整理して説明する。なお、表3および表4において、および以下の説明において、オペレーションを説明の便宜上〈 〉を用いて示す。
【0034】
【表3】
【0035】
全体のグループを生成するようにオペレーション〈Fd〉および〈Fy〉を構成することができる点に注意すべきである(注:オペレーション〈o1〉および〈o2〉の構成〈o1〉〈o2〉は、先ず〈o2〉を、次いで〈o1〉を適用して得られるオペレーションである)。例えば、単純に時計回り方向に90°回転(オペレーション〈R90〉)は、図4に示す通り、対角線フリップを適用し、次いで列フリップを適用することにより達成できる。従って、二つのオペレーション〈Fd〉および〈Fy〉の圧縮ドメインに基づく相手先が導出できれば、残りもすべて導出可能である。
【0036】
fを8×8画素ブロックとし、Fを対応する8×8DCTブロックとする(DCT(f)=FおよびIDCT(F)=f)。8個のD4オペレーション〈o〉について、fと〈o〉fの関係を表わすのは容易である。目標はFとDCT(〈o〉f)の関係(これを〈o〉Fと表わす)の導出である。
【0037】
オペレーション〈Fy〉の場合、空間ドメインでは列フリップ出力〈Fy〉f(i,j)が以下のように表わされる((6)式)。
【0038】
【数4】
【0039】
また、(1)式から〈Fy〉F(u,v)は、以下のように表される((7)〜(9)式)。
【0040】
【数5】
【0041】
式(2)から、C7−k,vは、次のように表される((10)〜(14)式)。
【0042】
【数6】
【0043】
(14)式、(1)式のDCT定義から、(7)〜(9)式における、〈Fy〉F(u,v)は、以下のように書き換えることができる((15),(16)式)。
【0044】
【数7】
【0045】
空間ドメインでは、入力ブロックの対角線フリップf(i,j)は〈Fd〉f(i,j)=f(j,i)となる。このDCTドメインの式は以下のように表わされることは明らかである((17)式)。
【0046】
【数8】
【0047】
式15および式17、ならびに表3の第3列で与えられる関係を用いて、D4オペレーションのすべてについて圧縮ドメインの相手先を導出することができる。これらを表4に示す。
【0048】
【表4】
【0049】
上記の関係は量子化を考慮せずに導出したものである。F(u,v)の代わりに単純に量子化係数FQ(u,v)Q(u,v)を用いることにより、以下のことが明らかになる。すなわち、D4オペレーションで生成するブロックの量子化係数は、対応する入力ブロック処理(表4の3列)を元のブロックの量子化係数に適用することによって直接得ることができる。量子化テーブルは同一のままである(〈Fd〉,〈Fcd〉,〈R90〉および〈R- 90〉について変換される)。このDCTドメインアプローチによりIDCT、DCT、ならびに量子化解除および量子化が回避される。ジグザグ化解除およびジグザグ化工程も回避されることについては後述する。
【0050】
多くの8×8ブロックからなるW×HのJPEG画像上で、D4オペレーションを行うには、圧縮ドメインに基づく手続きは以下の通りである。(a)対応する幾何学的変換について8×8DCTブロックの再配列、および(b)各8×8DCTブロック内のエレメントに対して表4によるDCTドメインに基づくオペレーションを適用することである(なお、JPEG画像におけるWおよびHは8の倍数であり、必要に応じてオリジナル画像のパディングによって得られる)。(a)および(b)はロスのないオペレーションであって、量子化DCT係数FQ(u,v)が符号変更を越えて処理されないことに注意すべきである。すなわち、量子化解除および再量子化の工程を回避することにより、カメラのJPEGファイルに対して表4の1種または2種以上の幾何学的変換を何回も適用しても、品質のロスを生じることはない。
【0051】
単純化するため、グレースケール画像を用いるインプリメント法について説明し、続いてカラー画像に必要な簡単な修正を概説する。ここで、画像の幅および高はを8の倍数とする。さらに、カラー画像については、サブサンプリングはブロックパディングを必要としないものとする。これらの制約が満足されない場合、ある別の行/列のオリジナル画像を改めてパディングすることにより、ここに述べたすべてのオペレーションを適用することができる。
【0052】
JPEGデータとして得られるW×Hグレースケール画像Iについて考察する。JPEGデータにはエントロピー・コーディングを適用し、DC項には差分コーディングを取消すことにより、各ブロックについての量子化DCT係数を得ることができる。Fkは画像についての量子化DCT係数の8×8ブロック(ラスタ順の付番k)を表わすものとする(0≦k<WH/64)。
【0053】
Ioは画像にオペレーション〈o〉を適用した結果を表わすものとする(ここに、〈o〉は表3からのD4オペレーションの1つである)。以上のことは、IoのDCT係数のブロックは、可能な再配列転置および符号変更を有するIと本質的に同じであり、そして量子化テーブルも同じであり、可能な転置を有することを示している。一般に、Ioにおける量子化係数のブロックFk oは次のように表わされる。
【0054】
Fk o=〈o〉Fp〈o〉(k)
ここに、p〈o〉はブロックの順列である。
【0055】
一例として時計回り方向に90°回転(〈o〉=R90)について考察する。k=ib(H/8)+jb(回転画像Ioにおけるib行およびjb列のブロック)については、
p〈o〉(k)=(H−jb−1)(W/8)+jb
となる。
【0056】
JPEG画像Ioを形成させるには、k=0,1,2・・・順のブロックFk oを計算する必要がある。この計算ではp〈o〉(0),p〈o〉(1),p〈o〉(2),・・・順(これは、一般に、ブロックがJPEG画像Iに格納されるラスタ順とは異なる)のブロックIをアクセスする必要がある。圧縮ブロックはサイズが任意に異なるため、JPEGビットストリームからの特定のブロックを抽出するにはその前のブロックをすべて解析しなければならず、極めて費用が嵩む。さらに、量子化された特異的コードのために、前のDC値がすべてデコードされた後、ブロックのDC係数の値を初めて抽出することができる。二つのパスアプローチを用いて、この問題を回避する。
【0057】
最初のパスでは、JPEG画像Iを解析して各ブロックのビット・オフセットおよび各ブロックのDC値を抽出する。第2のパスでは、各画像IoについてFk 〈o〉を演算する際、ブロック数についてのビット・オフセットをルックアップし、かつIについてのJPEGビツトストリームの位置をシークすることにより、Fp〈o〉(k)がすぐにアクセスされる。このアルゴリズムは疑似コードで次のようにまとめることができる。
【0058】
procedure Operate
input:JPEGimage I,オペレーション〈o〉
output:JPEGimage Io
/*第1パス:オフセットおよびDC値を集める*/
Iからのヘッダーを解析する。
for k=0 to WH/64−1
1.オフセットをブロックkのビット・オフセットとしてIに格納する。
2.DC項を抽出しつつIを解析して過去のその他のブロックを移動する。
3.ブロックkについて特異的コード化を取消しおよびDC値の格納する。
【0059】
/*第2パス:Ioの演算および格納*/
Ioのヘッダーの演算・格納を行い、〈o〉により要求されるならIの量子化テーブルを転置する。
f or k=0 to WH/64−1
1.Iをシークし、ブロック数p〈o〉(k)の量子化係数を抽出するため、オフセットおよびDCテーブルを使用する。
2.必要に応じて、oによる係数への符号変更の転置および/または適用する(表4の第3列)。
3.I〈o〉についてのJPEGビットストリームへのエントロピー・コード化係数を貼り付ける。
【0060】
《ブロックの効率的な転置および符号変更》
元のブロックFpo(k)がo経由で転置されて画像IoについてのブロックFk oを得る際、「オペレートJPEG」アルゴリズムの心臓部は第2パスにある。8×8ブロックに符号変更の転置および適用を行うには、ストレート・フォワード方式でインプリメントされていれば、ブロックの各エレメントを一度アクセスする必要がある。つまり、複雑さは64の倍数となる。典型的なJPEF画像における量子化係数ブロックは極めて少ない数(典型的には16以下)の非ゼロ係数を有する。ここに、複雑さがブロック内の非ゼロ係数の数に比例する、転置および符号変更を行うためのアルゴリズムを提示する。このアルゴリズムにより、全体の複雑さが実質的に減り、圧縮画像の全サイズでは非圧縮画像の全サイズにおけるよりも線状になる。
【0061】
JPEGのハフマンコード化モードでは、量子化係数のブロックはジグザグ順にスキャンすることによりコード化されて、ゼロの長いランを一まとめにグループ化する。このジグザグ配列を表5に示す。ブロックをコード化するとき、これらの差分に固有のハフマンテーブルを用いて、先ず現在のブロックと前のブロックの量子化DC値との差がコード化される。
【0062】
【表5】
【0063】
次いで、量子化AC係数がジグザグ順にスキャンされ、そして(R,S,V)形式の連続する三つの記号としてコード化される。ここに、Rはジグザグ配列の連続するゼロの数であり、そして次の非ゼロ係数は以下のような値xを有する。
【0064】
【数9】
【0065】
xまたはx−1の標準相補2進表現(standard 2’s complement binary representation)を用いてVのビットが抽出される。JPEGビットストリームでは、各(R,S,V)が、先ず(R,S)をエンコードするハフマンテーブルを用い、次いでVをエンコードするSエキストラ・ビットを用いてエンコードする。ゼロおよび終端ブロックの極めて長いプログラム実行(run)のような、いくつかの特別なエンコード条件では、特殊なコードでの処理が行われる。しかし、ここでの目的にとって、JPEGデータは容易に解析されて次のようなデータ構造で各ブロックを捕捉することは明らかである。
【0066】
このデータ構造中、Nはブロック内の非ゼロAC係数の数である。アレイAの最初のNエントリーのみ意味がある。エレメントA[k]はジグザグ位置(Z)を与え、そしてSおよびVはk番目の非ゼロAC係数0≦k<Nを評価する。JPEGビットストリームからこの構造へのブロックの読取り、およびJPEGデータとしてのこの構造の書込みは、いずれもストレートフォワードであり、ここでは詳細については省略する。
【0067】
オペレーション〈o〉では転置および/または符号変更が必要となる。上記のデータ構造を用いることにより、〈o〉をインプリメントしてNの工程のみを(64よりも)必要とする新規なアルゴリズムについて説明する。このアルゴリズムはジグザグ順のブロック表現を直接用いるので、係数のジグザグ解除およびジグザグ化が回避される。
【0068】
入力「JpegBlock」構造B(ブロックFに対応)を与えて、〈o〉Fに対応する構造Boを求める。非ゼロAC係数xの符号を変更するには、対応するSおよびV値はSxおよびVxであり、単純にVxのビット補数を用いれば十分である。すなわち、
S−x=Sx,V−x=−Vx
s〈o〉[64]をブール・フラグの予め演算されたアレイとして、もし〈o〉が、変更されるべきZ番目のジグザグ係数の符号を必要とすれば、s〈o〉[Z]がTRUEとなるとする。符号の変更のみが必要とされれば(すなわち、オペレーション〈Fx〉,〈Fy〉,〈R180〉についての変更)、s〈o〉[A[k].Z]がTRUEであるA[k].Vについてビットをフリップ化させつつ、各エントリーをコピーすることにより、BをB〈o〉に変換することができる。
【0069】
N工程で「JpegBlock」構造の転置を行うには、以下のキー観測を用いる。ある交差方向対角線上でのエレメントが正順に反転されている場合を除き、アレイAは同じままである。これを説明するため、t[Z]が元のジグザグ・インデックスZに対する転置ジグザグ・インデックスを表わすとする。すなわち、
t[1]=2,t[2]=1,t[3]=5,t[4]=4,・・・
ジグザグ係数が付番された場合を考えると、
1,3,6,7,10,11,14
が唯一の非ゼロ係数である。従って、転置後のジグザグ配置は次のようになる。
【0070】
【数10】
【0071】
従って、同じ交差方向対角線上にある係数の各グループは反転させる必要がある。これを、非ゼロ係数のアレイB.A[・・・]をスキャンし、交差方向対角線が変化する各係数を解析することにより、効率的に行って、B.A[・・・]からB〈o〉.A[・・・]に逆順に前の交差方向対角線をコピーする。
【0072】
以下の疑似コードがこのアルゴリズムを要約するものである。アレイtおよび(上述の)s〈o〉は予め演算される。さらに、d[64]を別の予め演算されたアレイとすると、各ジグザグ・インデックスについて「交差方向対角線の数」が得られる。つまり、ジグザグ・インデックスZが行数uおよび列数vに対応すると、d[Z]=u+vとなる。
【0073】
《カラー画像》
一般に、JPEG画像Iは1つ以上のカラー平面からなり、ある平面はサブサンプル化されている。カラー平面の数をPで表わすとする。各平面p(ただし、1≦p≦P)に伴って、水平サンプリング要素wpおよび垂直サンプリング要素hpがある。平面数pの幅および高さはそれぞれWwp/wmaxおよびHhp/hmaxで与えられる。ここに、全平面(1≦p≦P)にわたって、wmaxがwpの最大値であり、hmaxがhpの最大値である。
【0074】
JPEGデータはさらにスキャンからなる層を有することができる。1スキャンは1または2以上のカラー平面からなり、制限されたビット精度の係数値を有する。「OperateJPEG」アルゴリズムは、単純に各スキャンに連続して適用することにより、拡張することができる。
【0075】
各スキャン内では、スキャンにおける全カラー平面のブロックからのデータを、最小コード単位(MCU)として知られる単位にまとめられる。各MCUは、すべてのwpおよびhpで決定される、固定順に並んだ固定数のブロックからなる。ここで取り扱うオペレーションについては、サンプリング要素を変更しない限り、画像IoはIとまったく同じスキャンおよびMCUのグループ分けである(wpおよびhpは転置を要するオペレーションに対してスワップされる必要がある)。MCUの順および各MCU内のブロックの順は変動することがあり得るが、Ioにおける各MCUはIにおける正に1つのMCUから得られる。この事実を活用して、ビット・オフセットおよび、ブロックレベルよりもMCUレベルのDCテーブルを設けることにより、メモリの節減が図れる。
【0076】
このように、Iにおける各スキャンについては「OperateJPEG」が2つのパスで動作する。最初のパスでは、そのスキャンの各MCUについてビット・オフセットが再コード化され、そして当該MCUにおける各カラー平面からの最初のブロックのDC値が再コード化される。第2のパスでは、Ioのスキャンの特定のMCUが演算されるとき、対応するIのMCUが抽出され、そして各構成要素ブロックの「JpegBlock」構造が完成する。次いで、これらのブロックは(オペレーションの要求に応じて)転置/符号変更/再コード化されて、JPEGデータで書かれたIoのためのMCUを生成する。
【0077】
《圧縮ドメインに基づく画像回転−DSCアプリケーション》
ディジタルスチル画像カメラ(DSC)を含む各種ディジタル装置との関連して、本発明の圧縮ドメイン処理法が用いられる。DSCのブロック図を図5に示す。DSC60はマイクロプロセッサの制御下に操作されるが、画像を捕捉し、そしてブロック61においてアナログ電気信号に変換する電荷結合デバイス(CCD)を有する。次いで、このアナログ信号は、ブロック62で処理され、ディジタル化画像が一時的にフレームバッファ63に格納され、一方、ブロック64でディジタル処理に付される。ディジタル画像処理ブロック64は、圧縮および伸張を含むいくつかの機能を行い、また本発明の圧縮ドメインに基づく処理法も実行する。処理ブロック64は、ユーザーコントロール65の下に、伸張された画像データが格納されるカメラ内画像ストレージ66とインターフェースを有する。ストレージ・ブロック66は、いずれもDSC60内で取り外し可能または固定型のコンパクト磁気媒体または固体媒体を内蔵し、そして取り外し可能な大容量PCMCIAフォーマット・ハードディスクカードまたはフラッシュ・メモリカードを用いることができる。
【0078】
DSC60はアナログ出力器67およびディジタル出力器68を内蔵しており、これらを通して画像データがDSC内または外部装置に転送される。圧縮されていない画像データは、アナログ出力器67を経由して、DSC60内のLCDスクリーン69に転送されるか、またはVCRやTVモニターのような外部装置に転送される。また、圧縮または非圧縮画像データは、ディジタル出力器68を通して、画像を表示するコンピュータシステムのようなディジタル装置ににも転送される。
【0079】
DCTドメイン表現を直接操作して90°、180°、270°回転またはミラーフリップのようなD4オペレーションを実行する能力はDSC60では極めて有用である。カメラを垂直に保持して背の高い被写体を捕捉する場合、得られる画像は、水平にしたカメラで撮影した同じ写真を90°回転させた画像として現われる。典型的なフィルムカメラでは、このことは問題にならない。何故なら、正しい画像を見るには、写真を90°回転させるだけで済むからである。上述のようにDSC60で撮影した写真は、直接画像が焼付けられるか、またはTVモニター上に写されたり、コンピュータドキュメントに組み込まれるため、問題を生じる恐れがある。
【0080】
DSC画像ファイルの読み出し中に、圧縮ドメインに基づく画像処理を組み込むことにより、ここに記載する方法で回転を取り消してDSC60が修正画像を生じるようにすることができる。DSCシステムでは、回転機能はDSC内にあってもよく、またはDSC60に接続されたコンピュータ上で動作するソフトウェア内にあってもよい。制限された演算能力および制限されたメモリを有するDSC60については、圧縮ドメインに基づくアプローチが、幾何学的転送を行うための唯一の効率的手段である。データを伸張し、次いで操作を行う別のアプローチはメモリ集約型であり、DSC60内での遅いCPU速度のために著しい能力低下を来す恐れがある。DSCシステムの進展に伴い、画像強化および透かし挿入のような付随的特性が、圧縮ドメイン処理の枠内に容易に組み込まれるようになり、しかも圧縮ドメイン表現と空間ドメイン表現の間を行き来するには及ばない。
【0081】
上述の通り、図5に示すDSC60は、コンピュータシステム、その他、ディジタル画像を捕捉、処理及び検証する構成要素との関連でも用いることができる。図6は、DSC60、コンピュータシステムおよびその他の各種構成要素の間の相互関係を説明するブロック図である。参照番号100で一般的に表記するコンピュータシステムは、メインフレームまたはパーソナルコンピュータのようないかなる適当な形式のものであってもよい。
【0082】
コンピュータシステム100は、慣用のマイクロプロセッサである中央処理装置(CPU)101,情報を一時的に蓄積するためのランダムアクセスメモリ(RAM)102、および情報を永久蓄積するためのリードオンリーメモリ(ROM)103を含む。これらの各構成要素はバス104と結合されている。コンピュータシステム100のオペレーションは典型的にはオペレーティングシステムソフトウェアによって制御、調整される。システムメモリに組み込まれ、CPU101上で動作するオペレーティングシステムは、システムリソースの配置を制御し、種々のタスク、例えば、特に処理、メモリ管理、ネットワークおよびI/O機能、その他を行うことにより、コンピュータシステム100のオペレーションを調整する。
【0083】
また、ディスケット107のような不揮発性大量記憶装置を挿入するディスケット・ドライブ106もコントローラー105によってバス104に接続されている。同様に、コントローラー108は、バス104とCDROM110挿入用のコンパクトディスク(CD)ROMドライブ109との間にインターフェースを有する。ハードディスク111は、ディスクコントローラー113によりバス104に接続された固定ディスクドライブ112の一部として設けられている。
【0084】
圧縮ドメインに基づく処理法のためのソフトウェアは記憶装置107および110上に格納され、そしてCPU101に転送、実行される。これとは別に、ソフトウェアをRAM102またはROM103に格納してもよい。同様に、本発明によりすでに処理され、または処理されるべき画像データは、ディスケット107およびCDROM110のような取り外し可能な記憶媒体を用いて、コンピュータシステム100にロードし、またはこのシステムから抽出することができる。
【0085】
画像データは別の手段でコンピュータシステム100入力してもよい。フィルムカメラ115で生成されたフィルムベースの画像114は、格納のために、スキャナ116でディジタル化し、そしてコンピュータ100で処理することができる。前述の通り、DSC60が画像を直接ディジタル化し、コンピュータ100に転送してもよい。コントローラー123を経由してバス104に接続するキーボード121およびマウス122は、このようなデータの入力を容易にする。さもないと、コンピュータシステム100に情報を入力するための手段を設けることになる。
【0086】
また、画像データは遠隔地向けにコンピュータ100へ、またはコンピュータ100から転送することができる。その目的ために、コンピュータ100は、直接接続またはモデム経由でネットワーク125との通信を可能とする通信アダプター124を含むことができる。なお、ネットワークにはローカルエリアネットワーク(LAN)、インターネットまたはオンラインサービスが含まれる。
【0087】
コンピュータ100に転送または格納されたディジタル画像は多種多様な方法で見ることができる。コンピュータ100に付属するプリンタ126によりカラープリントが得られるが、その画質はプリンタ126によって変化がある。その他のオプションとしては、コンピュータ100に付属するディスプレー127上で画像を見ることである。さらに別の選択としては、vcrを用いてテレビ受像器上に画像を表示することがある。
【0088】
上述の通り、JPEG圧縮スチル結像のための簡易な圧縮ドメインに基づく処理フレームワークが本発明者等により開発された。鏡像、90°、180°および270°回転像のような簡易な幾何学的変換が、画像の忠実度を失わずにDCTドメイン内で容易に行い得ることが明らかになった。さらに、90°回転のような単純な変換であっても、慣用の空間ドメインに基づく処理アプローチに代わるDCTドメインで行った場合、著しく迅速に達成できることも明らかになった。現実的な設定における圧縮ドメインに基づく画像変換の実用例として、特にディジタルスチルカメラについても説明した。ディジタルカメラが捕捉する画像は初めはノイズが極めて多いので、これらの画像に適用されるいかなる画像処理もノイズを増加させないことが命題であるが、ここに開発された方法は本質的に画像ロスなしのオペレーションである。
【0089】
さらに、これらの方法は、一般向けディジタルスチルカメラに見られる、制限された演算およびメモリ能力に十分適合するものである。この基本的な圧縮ドメインフレームワークはその他の形式の画像変換にも用いることができ、殊にここに開発された方法論は、画像強化、画像ろ過に拡張できる(B.ChitprasertおよびK.R.Rao)、「離散コサイン変換ろ過」、信号処理、19巻、233−245ページ、1990年参照)。
【0090】
特定の具体例との関連で本発明を説明したが、以上の説明から当業者には自明である通り、多くのさらなる修正、変更が可能である。例えば、本発明の圧縮ドメインに基づく処理法を説明するために用いたブロック図は、本発明のある特定な機能および関係の動作を示すものである。これらの機能性ブロックの境界は、説明の都合上、任意に定めたものである。特定の機能および関係が適当に設けられている限り、別の境界が設定され得る。
【0091】
さらに、本発明のアルゴリズムを説明するために用いた疑似コードは、構文または特定のプログラム言語を表わしてはおらず、むしろ当業者が回路を組立て、または必要な処理を行うソフトウェアを作成するのに要する機能情報を提供するものである。ブロック図に示した各機能は、例えば、ソフトウェア命令によるか、あるいはディジタル信号処理回路、アプリケーション・スペシフィック集積回路(ASIC)またはこれらの組合せのような機能的に同等の回路によってインプリメントされる。以上、ここに説明した本発明では、上述のような変更、修正、適用等はすべて特許請求の範囲の精神および範疇に含まれるものとする。
【0092】
【発明の効果】
完全な伸張および圧縮の工程を経由すること無しに、画像の圧縮ドメイン表現を直接操作して、選択された空間ドメイン操作を行うことができる。また、画像操作を行うのに必要な圧縮データ操作を大幅に単純化することができ、さらに品質の低下を伴わずに圧縮ドメイン内で画像データを操作することができる。
【図面の簡単な説明】
【図1】JPEG圧縮および伸張処理を示すブロック図である。
【図2】JPEGデータセットについての空間ドメインに基づく画像処理を示すブロック図である。
【図3】本発明によるJPEGデータセットについての圧縮ドメイン画像処理を示すブロック図である。
【図4】本発明による対角線フリップ(Fd)およびカラムフリップ(Fy)を用いて90°回転させたブロックを示す図である。
【図5】本発明との関連で用い得るディジタルスチル画像カメラ(DSC)のブロック図である。
【図6】本発明によりディジタル画像を捕捉および目視するのに用い、さらにそのような画像の処理に用いる各種構成要素間の相関関係を示すブロック図である。
【符号の説明】
41 エントロピーデコーディングブロック
42 DCTドメイン画像処理
43 エントロピーコーディング
44 DCT係数の8×8ブロック
45 ジグザグ解除の手続き
46 DCT係数のブロックの量子化解除
47 ブロック指向処理
48 ブロック量子化
49 ジグザグ配置
Claims (12)
- 前記圧縮されたディジタル画像データを解析するステップは、前記データブロックのDC値を抽出するステップをさらに含むことを特徴とする請求項1に記載の画像変換方法。
- 前記ディジタル画像の空間ドメイン表現上における幾何学的変換は、主対角線上でディジタル画像をフリップすることを含む請求項1乃至3のいずれかに記載の画像変換方法。
- 前記ディジタル画像の空間ドメイン表現上における幾何学的変換は、中央垂直軸上でディジタル画像をフリップすることを含む請求項1乃至3のいずれかに記載の画像変換方法。
- 前記ディジタル画像の空間ドメイン表現上における幾何学的変換は、交差方向対角線上でディジタル画像をフリップすることを含む請求項1乃至3のいずれかに記載の画像変換方法。
- 前記ディジタル画像の空間ドメイン表現上における幾何学的変換は、中央水平軸線上でディジタル画像をフリップすることを含む請求項1乃至3のいずれかに記載の画像変換方法。
- 前記ディジタル画像の空間ドメイン表現上における幾何学的変換は、ディジタル画像を時計回り方向に90°回転させることを含む請求項1乃至3のいずれかに記載の画像変換方法。
- 前記ディジタル画像の空間ドメイン表現上における幾何学的変換は、ディジタル画像を180°回転させることを含む請求項1乃至3のいずれかに記載の画像変換方法。
- 前記ディジタル画像の空間ドメイン表現上における幾何学的変換は、ディジタル画像を反時計回り方向に90°回転させることを含む請求項1乃至3のいずれかに記載の画像変換方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/052,039 | 1998-03-30 | ||
US09/052,039 US6298166B1 (en) | 1998-03-30 | 1998-03-30 | Image transformations in the compressed domain |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11331847A JPH11331847A (ja) | 1999-11-30 |
JP4348768B2 true JP4348768B2 (ja) | 2009-10-21 |
Family
ID=21975035
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP08998599A Expired - Fee Related JP4348768B2 (ja) | 1998-03-30 | 1999-03-30 | 画像変換方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US6298166B1 (ja) |
EP (1) | EP0947954B1 (ja) |
JP (1) | JP4348768B2 (ja) |
DE (1) | DE69907798T2 (ja) |
Families Citing this family (90)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7630006B2 (en) | 1997-10-09 | 2009-12-08 | Fotonation Ireland Limited | Detecting red eye filter and apparatus using meta-data |
US7042505B1 (en) | 1997-10-09 | 2006-05-09 | Fotonation Ireland Ltd. | Red-eye filter method and apparatus |
US7738015B2 (en) | 1997-10-09 | 2010-06-15 | Fotonation Vision Limited | Red-eye filter method and apparatus |
FR2782861A1 (fr) * | 1998-08-26 | 2000-03-03 | Canon Kk | Transcodage geometrique d'un signal numerique |
US6456745B1 (en) * | 1998-09-16 | 2002-09-24 | Push Entertaiment Inc. | Method and apparatus for re-sizing and zooming images by operating directly on their digital transforms |
JP2000125136A (ja) * | 1998-10-19 | 2000-04-28 | Internatl Business Mach Corp <Ibm> | 画像データ圧縮装置およびその方法 |
US6473534B1 (en) * | 1999-01-06 | 2002-10-29 | Hewlett-Packard Company | Multiplier-free implementation of DCT used in image and video processing and compression |
JP2000354246A (ja) * | 1999-06-10 | 2000-12-19 | Sony Corp | 画像圧縮制御装置およびそれを用いた撮像システム |
JP3606219B2 (ja) | 2000-04-06 | 2005-01-05 | セイコーエプソン株式会社 | 画像処理装置及び方法 |
US6941019B1 (en) * | 2000-05-10 | 2005-09-06 | International Business Machines Corporation | Reentry into compressed data |
US7146053B1 (en) | 2000-05-10 | 2006-12-05 | International Business Machines Corporation | Reordering of compressed data |
JP3529130B2 (ja) * | 2000-08-01 | 2004-05-24 | ヒューレット・パッカード・カンパニー | 非常に大きな微細解像度画像のために、調整された印刷パラメータとともに、予備圧縮されたデータを無損失で送る方法および装置 |
JP2002133432A (ja) * | 2000-10-27 | 2002-05-10 | Seiko Epson Corp | 画像処理装置及び方法 |
US6891892B2 (en) * | 2001-03-30 | 2005-05-10 | Koninklijke Philips Electronics N.V. | MPEG-2 decoder with an embedded contrast enhancement function and methods therefor |
US7822969B2 (en) * | 2001-04-16 | 2010-10-26 | Digimarc Corporation | Watermark systems and methods |
JP4065503B2 (ja) * | 2001-08-21 | 2008-03-26 | キヤノン株式会社 | 画像処理装置、画像入出力装置、変倍処理方法、及びメモリ制御方法 |
JP3782369B2 (ja) * | 2002-04-05 | 2006-06-07 | 株式会社日立製作所 | ストレージ装置、コンテンツ配信システム及びコンテンツの配信方法 |
US20030202603A1 (en) * | 2002-04-12 | 2003-10-30 | William Chen | Method and apparatus for fast inverse motion compensation using factorization and integer approximation |
US7190724B2 (en) * | 2002-04-12 | 2007-03-13 | Seiko Epson Corporation | Method and apparatus for transform domain video processing |
US7054496B2 (en) * | 2002-06-27 | 2006-05-30 | Seiko Epson Corporation | Method and apparatus for displaying arbitrarily magnified high resolution images using compressed domain processing |
US7280689B2 (en) * | 2002-07-05 | 2007-10-09 | Qdesign U.S.A., Inc. | Anti-compression techniques for visual images |
US7379956B2 (en) * | 2002-07-14 | 2008-05-27 | Apple Inc. | Encoding and decoding data arrays |
US7376280B2 (en) * | 2002-07-14 | 2008-05-20 | Apple Inc | Video encoding and decoding |
FR2844935B1 (fr) * | 2002-09-25 | 2005-01-28 | Canon Kk | Transcodage de donnees numeriques |
US7392476B2 (en) * | 2002-12-20 | 2008-06-24 | Seiko Epson Corporation | Image printing system, image printing method, and image printing program |
FR2853749B1 (fr) * | 2003-04-10 | 2005-07-01 | Canon Kk | Procede et dispositif de traitement d'un signal d'image numerique compresse en vue de sa visualisation |
US7580578B1 (en) | 2003-02-03 | 2009-08-25 | Canon Kabushiki Kaisha | Method and device for forming a compressed transcoded digital image signal |
FR2850825B1 (fr) * | 2003-02-03 | 2005-07-01 | Canon Kk | Procede et dispositif de formation d'un signal numerique d'image transcode compresse |
US7336821B2 (en) | 2006-02-14 | 2008-02-26 | Fotonation Vision Limited | Automatic detection and correction of non-red eye flash defects |
US8170294B2 (en) | 2006-11-10 | 2012-05-01 | DigitalOptics Corporation Europe Limited | Method of detecting redeye in a digital image |
US7920723B2 (en) | 2005-11-18 | 2011-04-05 | Tessera Technologies Ireland Limited | Two stage detection for photographic eye artifacts |
US7680342B2 (en) | 2004-08-16 | 2010-03-16 | Fotonation Vision Limited | Indoor/outdoor classification in digital images |
US7970182B2 (en) * | 2005-11-18 | 2011-06-28 | Tessera Technologies Ireland Limited | Two stage detection for photographic eye artifacts |
US8254674B2 (en) | 2004-10-28 | 2012-08-28 | DigitalOptics Corporation Europe Limited | Analyzing partial face regions for red-eye detection in acquired digital images |
US7689009B2 (en) * | 2005-11-18 | 2010-03-30 | Fotonation Vision Ltd. | Two stage detection for photographic eye artifacts |
US7792970B2 (en) | 2005-06-17 | 2010-09-07 | Fotonation Vision Limited | Method for establishing a paired connection between media devices |
US7574016B2 (en) | 2003-06-26 | 2009-08-11 | Fotonation Vision Limited | Digital image processing using face detection information |
US7587085B2 (en) | 2004-10-28 | 2009-09-08 | Fotonation Vision Limited | Method and apparatus for red-eye detection in an acquired digital image |
US8036458B2 (en) | 2007-11-08 | 2011-10-11 | DigitalOptics Corporation Europe Limited | Detecting redeye defects in digital images |
US7391910B2 (en) * | 2003-07-31 | 2008-06-24 | Seiko Epson Corporation | LAPE: layered presentation system utilizing compressed-domain image processing |
US9412007B2 (en) | 2003-08-05 | 2016-08-09 | Fotonation Limited | Partial face detector red-eye filter method and apparatus |
US8520093B2 (en) | 2003-08-05 | 2013-08-27 | DigitalOptics Corporation Europe Limited | Face tracker and partial face tracker for red-eye filter method and apparatus |
US7391913B2 (en) * | 2003-09-18 | 2008-06-24 | Arcsoft, Inc. | JPEG processing engine for low profile systems |
US7646881B2 (en) * | 2003-09-29 | 2010-01-12 | Alcatel-Lucent Usa Inc. | Watermarking scheme for digital video |
US7630509B2 (en) * | 2003-09-29 | 2009-12-08 | Alcatel-Lucent Usa Inc. | Color selection scheme for digital video watermarking |
US8861922B2 (en) * | 2003-09-29 | 2014-10-14 | Alcatel Lucent | Watermarking scheme for digital video |
JP4542447B2 (ja) * | 2005-02-18 | 2010-09-15 | 株式会社日立製作所 | 画像の符号化/復号化装置、符号化/復号化プログラム及び符号化/復号化方法 |
TWI249139B (en) * | 2004-05-07 | 2006-02-11 | Sunplus Technology Co Ltd | Block decoding-method capable of rotating direction decoding-output and system |
JP2005333393A (ja) * | 2004-05-19 | 2005-12-02 | Sharp Corp | 画像圧縮装置,画像出力装置,画像伸張装置,印刷装置,画像処理装置,複写機,画像圧縮方法,画像伸張方法,画像処理プログラムおよび画像処理プログラムを記録した記録媒体 |
JP4601340B2 (ja) * | 2004-06-25 | 2010-12-22 | ノキア コーポレイション | データ合成装置及びデータ合成方法 |
US7738710B2 (en) * | 2004-08-02 | 2010-06-15 | Electronics For Imaging, Inc. | Methods and apparatus for communicating and displaying compressed image data |
US7574055B2 (en) * | 2004-09-07 | 2009-08-11 | Lexmark International, Inc. | Encoding documents using pixel classification-based preprocessing and JPEG encoding |
KR100601475B1 (ko) * | 2004-12-09 | 2006-07-18 | 삼성전기주식회사 | 이미지 복잡도에 따라 가변적 양자화 크기를 갖는 이미지압축 장치 및 그 방법 |
KR100645636B1 (ko) * | 2004-12-09 | 2006-11-15 | 삼성전기주식회사 | Dct 계수를 이용한 카메라의 자동초점조절장치 및 그방법 |
US7643694B2 (en) * | 2004-12-31 | 2010-01-05 | Zoran Corporation | Method and apparatus for processing a compressed image in an order other than the order in which it was compressed |
JP4819517B2 (ja) * | 2005-02-16 | 2011-11-24 | オリンパス株式会社 | 画像処理方法及び画像処理装置 |
US7583844B2 (en) * | 2005-03-11 | 2009-09-01 | Nokia Corporation | Method, device, and system for processing of still images in the compressed domain |
US20060228030A1 (en) * | 2005-04-08 | 2006-10-12 | Hadady Craig E | Method and system for image compression for use with scanners |
US7599577B2 (en) | 2005-11-18 | 2009-10-06 | Fotonation Vision Limited | Method and apparatus of correcting hybrid flash artifacts in digital images |
TW200726260A (en) * | 2005-12-22 | 2007-07-01 | Sunplus Technology Co Ltd | Block decoding method and device capable of longitudinally decoding and outputting |
US20070189621A1 (en) * | 2006-02-15 | 2007-08-16 | Aten International Co., Ltd | Image transmission system |
EP2033142B1 (en) | 2006-06-12 | 2011-01-26 | Tessera Technologies Ireland Limited | Advances in extending the aam techniques from grayscale to color images |
US8055067B2 (en) | 2007-01-18 | 2011-11-08 | DigitalOptics Corporation Europe Limited | Color segmentation |
US8411734B2 (en) * | 2007-02-06 | 2013-04-02 | Microsoft Corporation | Scalable multi-thread video decoding |
US7783459B2 (en) * | 2007-02-21 | 2010-08-24 | William Marsh Rice University | Analog system for computing sparse codes |
US8515194B2 (en) * | 2007-02-21 | 2013-08-20 | Microsoft Corporation | Signaling and uses of windowing information for images |
JP2010520567A (ja) | 2007-03-05 | 2010-06-10 | フォトネーション ビジョン リミテッド | 顔の位置および向きを用いた赤目の誤検出フィルタリング |
US9648325B2 (en) * | 2007-06-30 | 2017-05-09 | Microsoft Technology Licensing, Llc | Video decoding implementations for a graphics processing unit |
US8503818B2 (en) | 2007-09-25 | 2013-08-06 | DigitalOptics Corporation Europe Limited | Eye defect detection in international standards organization images |
US8212864B2 (en) | 2008-01-30 | 2012-07-03 | DigitalOptics Corporation Europe Limited | Methods and apparatuses for using image acquisition data to detect and correct image defects |
US8977064B2 (en) * | 2008-02-13 | 2015-03-10 | Qualcomm Incorporated | Rotational transcoding for JPEG or other coding standards |
US8081254B2 (en) | 2008-08-14 | 2011-12-20 | DigitalOptics Corporation Europe Limited | In-camera based method of detecting defect eye with high accuracy |
US9544516B2 (en) * | 2008-12-26 | 2017-01-10 | Digimarc Corporation | Method and apparatus for sensor characterization |
FI20095175A (fi) * | 2009-02-23 | 2010-08-24 | Anygraaf Oy | Menetelmä rasterimuotoisen kuvan segmentoinnin hyödyntämiseksi kuvan pakkaamisessa |
US8233709B2 (en) * | 2009-03-06 | 2012-07-31 | Sony Corporation | Color effects for compressed digital video |
US20100254617A1 (en) * | 2009-04-01 | 2010-10-07 | Qualcomm Incorporated | Apparatus and method to rotate an image |
US8355570B2 (en) * | 2009-08-12 | 2013-01-15 | Conexant Systems, Inc. | Systems and methods for raster-to-block converter |
KR20110017303A (ko) * | 2009-08-13 | 2011-02-21 | 삼성전자주식회사 | 회전변환을 이용한 영상 부호화, 복호화 방법 및 장치 |
JP4848462B2 (ja) * | 2010-03-04 | 2011-12-28 | 株式会社モルフォ | 圧縮画像の部分伸長方法および画像処理装置 |
US8885729B2 (en) | 2010-12-13 | 2014-11-11 | Microsoft Corporation | Low-latency video decoding |
US9706214B2 (en) | 2010-12-24 | 2017-07-11 | Microsoft Technology Licensing, Llc | Image and video decoding implementations |
TWI606722B (zh) | 2011-06-30 | 2017-11-21 | 微軟技術授權有限責任公司 | 用於減少視訊編碼及解碼中之延遲的方法、系統及電腦可讀取媒體 |
US8731067B2 (en) | 2011-08-31 | 2014-05-20 | Microsoft Corporation | Memory management for video decoding |
US9819949B2 (en) | 2011-12-16 | 2017-11-14 | Microsoft Technology Licensing, Llc | Hardware-accelerated decoding of scalable video bitstreams |
US8347391B1 (en) * | 2012-05-23 | 2013-01-01 | TrustPipe LLC | System and method for detecting network activity of interest |
US8856324B2 (en) | 2013-01-28 | 2014-10-07 | TrustPipe LLC | System and method for detecting a compromised computing system |
AU2013213660A1 (en) * | 2013-08-06 | 2015-02-26 | Canon Kabushiki Kaisha | Method for printing an upscaled image |
FR3015160B1 (fr) * | 2013-12-17 | 2016-01-29 | Sagemcom Documents Sas | Procede de numerisation d'un document constitue de plusieurs pages |
KR102025361B1 (ko) * | 2014-07-10 | 2019-09-25 | 한화테크윈 주식회사 | 자동 초점 조절 시스템 및 방법 |
JP2021174404A (ja) * | 2020-04-28 | 2021-11-01 | 株式会社Preferred Networks | データ生成装置、訓練装置及びデータ生成方法 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4658430A (en) * | 1984-12-27 | 1987-04-14 | International Business Machines Corp. | System for rotating binary images |
CA1252902A (en) * | 1985-10-31 | 1989-04-18 | David R. Pruett | Method for rotating a binary image |
US4797945A (en) * | 1985-12-13 | 1989-01-10 | Canon Kabushiki Kaisha | Image data coding apparatus |
GB8700092D0 (en) | 1987-01-05 | 1987-02-11 | Crosfield Electronics Ltd | Image processing |
US5001559A (en) * | 1989-10-12 | 1991-03-19 | International Business Machines Corporation | Transform coding using coefficient prediction techniques |
US5142380A (en) * | 1989-10-23 | 1992-08-25 | Ricoh Company, Ltd. | Image data processing apparatus |
US5319724A (en) * | 1990-04-19 | 1994-06-07 | Ricoh Corporation | Apparatus and method for compressing still images |
US5129015A (en) * | 1990-04-19 | 1992-07-07 | Ricoh Company Ltd. | Apparatus and method for compressing still images without multiplication |
US5189526A (en) * | 1990-09-21 | 1993-02-23 | Eastman Kodak Company | Method and apparatus for performing image compression using discrete cosine transform |
JPH05103212A (ja) * | 1991-10-03 | 1993-04-23 | Sony Corp | データ伝送装置 |
US5611001A (en) * | 1991-12-23 | 1997-03-11 | Xerox Corporation | Address reduction scheme implementing rotation algorithm |
JPH05316360A (ja) | 1992-05-14 | 1993-11-26 | Fuji Xerox Co Ltd | 画像信号の符号化復号装置 |
US5563718A (en) | 1993-11-30 | 1996-10-08 | Polaroid Corporation | Image coding by use of discrete cosine transforms |
JP3579455B2 (ja) * | 1994-05-06 | 2004-10-20 | ペンタックス株式会社 | 画像入力装置 |
EP0826194B1 (en) | 1995-05-15 | 1999-03-31 | Polaroid Corporation | Image skewing and rotation using discrete cosine transforms |
US5680129A (en) | 1995-07-18 | 1997-10-21 | Hewlett-Packard Company | System and method for lossless image compression |
US5581635A (en) * | 1995-07-25 | 1996-12-03 | United Parcel Service Of America, Inc. | Method and system for fast rotation of run-length encoded images |
US5706216A (en) | 1995-07-28 | 1998-01-06 | Reisch; Michael L. | System for data compression of an image using a JPEG compression circuit modified for filtering in the frequency domain |
US5677689A (en) | 1995-08-31 | 1997-10-14 | Yovanof; Gregory S. | Fixed rate JPEG compliant still image compression |
US5991450A (en) * | 1995-09-06 | 1999-11-23 | Canon Kabushiki Kaisha | Image encoding and decoding apparatus |
US5682152A (en) | 1996-03-19 | 1997-10-28 | Johnson-Grace Company | Data compression using adaptive bit allocation and hybrid lossless entropy encoding |
US5751865A (en) | 1996-09-26 | 1998-05-12 | Xerox Corporation | Method and apparatus for image rotation with reduced memory using JPEG compression |
US5867598A (en) * | 1996-09-26 | 1999-02-02 | Xerox Corporation | Method and apparatus for processing of a JPEG compressed image |
-
1998
- 1998-03-30 US US09/052,039 patent/US6298166B1/en not_active Expired - Lifetime
-
1999
- 1999-03-11 EP EP99301849A patent/EP0947954B1/en not_active Expired - Lifetime
- 1999-03-11 DE DE69907798T patent/DE69907798T2/de not_active Expired - Lifetime
- 1999-03-30 JP JP08998599A patent/JP4348768B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH11331847A (ja) | 1999-11-30 |
US6298166B1 (en) | 2001-10-02 |
DE69907798T2 (de) | 2004-03-25 |
EP0947954A1 (en) | 1999-10-06 |
EP0947954B1 (en) | 2003-05-14 |
DE69907798D1 (de) | 2003-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4348768B2 (ja) | 画像変換方法 | |
US6847735B2 (en) | Image processing system, image processing apparatus, image input apparatus, image output apparatus and method, and storage medium | |
US7847833B2 (en) | Digital camera device providing improved methodology for rapidly taking successive pictures | |
US7369161B2 (en) | Digital camera device providing improved methodology for rapidly taking successive pictures | |
US7856147B2 (en) | Method and apparatus for processing a compressed image in an order other than the order of which it was compressed | |
US6825876B1 (en) | Digital camera device with methodology for efficient color conversion | |
US7403662B2 (en) | Browsing JPEG images using MPEG hardware chips | |
EP1009168A2 (en) | Image processing apparatus and method, and recording medium | |
TW200305830A (en) | System and method for progressively transforming and coding digital data | |
US6563946B2 (en) | Image processing apparatus and method | |
US7542611B2 (en) | Image processing apparatus and method for converting first code data sets into second code data for JPEG 2000 and motion JPEG 2000 | |
US20020001415A1 (en) | Image compression method | |
US7123773B2 (en) | Image coding-decoding method, image coding-decoding system, image coder, image decoder, and storage medium | |
US7146055B2 (en) | Image processing decompression apparatus and method of using same different scaling algorithms simultaneously | |
JP3709106B2 (ja) | 画像圧縮および伸張装置 | |
KR20060022894A (ko) | 이동 단말기에서의 썸네일 영상 생성 장치 및 방법 | |
JP2000316174A (ja) | カラー画像圧縮方法およびカラー画像圧縮装置 | |
JPH07160865A (ja) | 静止画再生装置 | |
JP2004289290A (ja) | 画像処理装置 | |
JP2000059612A (ja) | 画像処理装置及びその方法 | |
JP4129097B2 (ja) | 画像処理装置及び画像処理方法 | |
JP3825871B2 (ja) | 画像処理装置及び方法並びに画像処理のプログラムコードが格納されたコンピュータ可読記録媒体 | |
US20110286663A1 (en) | Method And Apparatus Of Color Image Rotation For Display And Recording Using JPEG | |
De Queiroz | Processing JPEG-compressed images | |
JPH1075463A (ja) | 画像圧縮装置および画像伸張装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060905 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061101 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080311 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080512 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090512 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090610 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090630 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090713 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120731 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080512 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120731 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130731 Year of fee payment: 4 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |