JP4348768B2 - 画像変換方法 - Google Patents

画像変換方法 Download PDF

Info

Publication number
JP4348768B2
JP4348768B2 JP08998599A JP8998599A JP4348768B2 JP 4348768 B2 JP4348768 B2 JP 4348768B2 JP 08998599 A JP08998599 A JP 08998599A JP 8998599 A JP8998599 A JP 8998599A JP 4348768 B2 JP4348768 B2 JP 4348768B2
Authority
JP
Japan
Prior art keywords
image
block
digital image
domain
jpeg
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP08998599A
Other languages
English (en)
Other versions
JPH11331847A (ja
Inventor
ラトナカー ヴィレッシュ
アイバシン ビクター
バスカラン ヴァスデブ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of JPH11331847A publication Critical patent/JPH11331847A/ja
Application granted granted Critical
Publication of JP4348768B2 publication Critical patent/JP4348768B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/60Rotation of whole images or parts thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、一般には画像データの圧縮ドメイン表現の処理に関し、さらに詳しくは、画像データを完全な伸張および圧縮の工程に付さずに、画像の正規な幾何学的変換のような、ある空間ドメイン処理を達成するための、圧縮ドメイン表現の取り扱いに関する。
【0002】
【従来の技術及び発明が解決しようとする課題】
典型的な高品質のディジタル化されたカラー画像では、RGBカラー空間における赤(R),緑(G)および青(B)またはYCカラー空間における輝度(Y),クロミナンス(C)およびクロミナンス(C)のそれぞれに対して8ビットの、24ビット/画素(ビット・パー・ピクセル(bpp))が用いられている。このような画像を圧縮しない状態(例えば空間または画素ドメイン)で転送または格納することは、時間的および必要とするメモリの点から極めて費用が嵩む。そのため、高品質のディジタル化されたカラー画像を格納および/または転送するアプリケーションおよび装置、例えばディジタルカメラでは、現在入手可能な圧縮アルゴリズムを用いて、典型的には圧縮フォーマットで格納および/または転送が行われる。
【0003】
JPEG(Joint Photographic Experts Groupの略語)のような圧縮基準の出現により、JPEG圧縮フォーマットのみで内容を生成、保存するディジタル・イメージング・システムおよびアプリケーションが標準である。例えば、EpsonPhotoPC 600、Kodak DC−10などのようなほとんどのディジタル・スチル画像カメラ(DSCs)では、カメラが捕えた画像は直ちにカメラ内で圧縮され、そのカメラの格納システムにJPEGファイルとして格納される。しばしば、表示に先立って、これらの画像を操作する必要がある。典型的な画像の操作としては、(a)ポートレートから風景モードへの画像の回転またはその逆、(b)サイズの拡大または縮小のための画像のスケーリング、(c)画像における明度およびコントラストの変更、(d)新しい画像を作成する目的のためおよび合成操作するための画像の一部のクロッピング、(e)単純なビットマップ注釈の画像への付加、および(f)可視/不可視な透かしの画像への埋め込みが含まれる。ディジタル・カメラの格納制限のために、これらの画像操作では処理される出力がJPEGフォーマットであることが要求される。
【0004】
これらのタスク実行および圧縮モードでのみ画像を利用可能とするという必要から、圧縮ドメイン表現に直接応用可能な画像処理技術の開発に対する関心が大いに高まっている。圧縮ドメイン処理法の研究は以下のような事実が端緒となっている。(a)圧縮ドメインにおけるデータの容量は空間ドメイン表現に比べて極めて小さいが、このことは、所望の処理タスクにとってサンプル当たりのオペレーションが少なくて済むことを意味する。(b)データを伸張し、続いて空間ドメイン内で所望の画像処理関数を適用し、次いで転送または格納効率を高めるため再圧縮することが必要な慣用のパイプライン処理では、画像の忠実度の低下を招きかねない。さらにこのような慣用のパイプライン処理は、時として圧縮タスクが伸張タスクよりも複雑であるため、演算が極めて複雑化し、または待ち時間が長くなる。
【0005】
これに反して、圧縮ドメインに基づく処理法では、ハフマン(Huffman)・デコーディングおよびハフマン・エンコーディングのような複雑さの低いタスクによりJPEG伸張および圧縮のタスクを置き換えるので、演算の複雑さが軽減されることがある(S.F.ChangおよびD.G.Messerschmitt,「Manipulation and Composition of MC−DCT Compressed Video(MC−DCT圧縮ビデオの操作および合成)」,IEEE JSAC Special Issue on Intelligent Signal Processing,vol.13,1〜11ページ,1995年1月; N.MerhavおよびV.Bhaskaran,「A fast algorithm for DCT−domain inverse motion compensation(DCTドメイン逆転補償用の高速アルゴリズム)」,ICASSP‘96,pp.IV.2307〜2310ページ,アトランタ,1996年5月; B.NatarajanおよびV.Bhaskaran,「A fast approximate algorithm for scaling down digital images in the DCT domain(DCTドメインにおけるディジタル画像縮小のための高速近似アルゴリズム)」,IEEE 画像処理国際会議(ICIP),ワシントンD.C.,1995年10月;およびBrian SmithおよびLarry Rowe,「Algorithms for manipulating compressed images,(圧縮画像操作のためのアルゴリズム)」,IEEE Computer Graphics and Applications,pp.34〜42ページ,1993年9月、参照)。
【0006】
本発明の第1の目的は、空間ドメインにおけるディジタル画像の操作を行うのに伴う上述の問題を克服することにある。
【0007】
本発明の第2の目的は、完全な伸張および圧縮の工程を経由すること無しに、画像の圧縮ドメイン表現を直接操作して、選択された空間ドメイン操作を行うことにある。
【0008】
本発明の第3の目的は、空間ドメインにおける対応する画像操作を行うのに必要な圧縮データ操作を大幅に単純化するアルゴリズムのセットを提供することにある。
【0009】
本発明の第4の目的は、1セットの圧縮データを有し、かつ別のセットの圧縮データを生じて、工程逆転時には品質の低下を伴わずにオリジナル画像が生成される操作工程を含む、圧縮ドメイン内で画像データを操作するアルゴリズムのセットを提供することにある。
【0010】
【課題を解決するための手段】
本発明では、ディジタル画像の一次変換(線形変換)ドメイン表現を操作することにより、ディジタル画像の空間ドメイン表現上で種々の二面角対称オペレーションを行う手法が提供される。ディジタル画像がJPEGファイルのような圧縮ビットストリームの形式である場合、この手法には、圧縮ビットストリームをデコードして、ディジタル画像の一次変換ドメイン表現を規定する、一次変換に基づくデータブロックの生成が含まれる。一次変換に基づくデータブロックは対応する幾何学的変換用に再配列され、特定の一次変換ドメインのオペレーションが各ブロック内のデータエレメントに適用され、そしてブロックが再アセンブリされる。これらのデータのブロックが空間ドメインに伸張されると、得られるディジタル画像はオリジナル画像に関してフリップまたは回転を生じる。
【0011】
オリジナル画像については、生じた画像は対角線方向(主方向または交差方向のいずれか)に対するフリップ、中軸方向に対するフリップ(垂直または水平の何れか)、または90°,180°もしくは270°の回転を生じる。この手法はディジタルスチル画像カメラのような画像装置またはコンピュータシステムに応用することができる。いずれの場合も、ハードウェアまたはソフトウェアを用いてインプリメントすることができる。
【0012】
本発明のその他の目的およびその詳細な内容については、添付の図面を参考として以下の説明および特許請求の範囲から把握することができよう。
【0013】
【発明の実施の形態】
JPEGのようなスチル画像圧縮基準における基底関数として8×8離散コサイン変換(DCT)が選ばれ(G.K.Wallace,「The JPEG Still Picture Compression Standard」(JPEGスチル写真圧縮基準)」,Communication of theACM、vol.34,no.4,1991年4月を参照されたい)、またJPEGが市場の多くの一般向けディジタルスチルカメラに広く用いられている圧縮法であるため、以下、ディジタルスチルカメラのアプリケーションに適し、かつカメラのJPEG圧縮ビットストリームのDCTドメイン表現上で動作する圧縮ドメイン処理法に絞って説明する。8×8が最も一般的なDCTブロックサイズであるが、これらの手法はその他のDCTブロックサイズにも拡張できる。さらに、これらの手法は、離散サイン変換、離散アダマール変換およびウェーブレット変換を含むその他の一次変換に基づく基底関数に拡張可能である。
【0014】
JPEG圧縮および伸張工程ならびに画像処理関数をJPEGパイプラインに統合する考え方から簡単に説明する。JPEGではDCTを用いて、その空間または画素ドメイン表現からデータをより効率的にコード化し得る圧縮または周波数ドメイン表現にスチル画像データを変換する。ここで開発した画像操作法はDCTの特性の利点を活用するように設計されている。
【0015】
JPEG圧縮および伸張工程は、図1に概略的に示す通り、それぞれ8×8のブロックサイズを有するブロック毎の基底上で動作する。図1にその概略を示す通り、非圧縮スチル画像11はラスタ・ブロック変換器12により8×8ブロックの画素に分解される。次いで、これらのブロックはフォワード8×8DCT13により転送されて、対応する8×8DCTブロックのセットを生成する。サンプルf(i,j)の空間ドメイン8×8ブロックのフォワード8×8DCT、F(u,v)は以下のように算出される((1)〜(3)式)。
【0016】
【数1】
Figure 0004348768
【0017】
フォワード8×8DCTからの出力後、各64DCT係数は64エレメント量子化テーブルQに関連してフォワード量子化器14内で均一に量子化されるが、これは経験的に導出されて可視的には無意味の廃棄情報とされることができる。この圧縮工程で、圧縮の間に唯一生じるロスは、F(u,v)からF(u,v)=RoundOff{F(u,v)/Q(u,v)}への量子化に起因する(ここで、Qは8×8量子化テーブルである)。
【0018】
量子化の後、各ブロック内のDCTデータは、低周波係数(非ゼロとなる可能性大)を高周波係数(ゼロの可能性大)の前に持ってくることにより、エントロピー・コーディングを促進する「ジグザグ」順に並べ変えられる。次いで、データはハフマンエンコーダ15内でハフマンコード化して、データをさらにコンパクトにし、JPEG圧縮ビットストリームを生成するようにする。
【0019】
画像は、対称的逆算法を用いて圧縮ビットストリームから再構築される。ハフマンデコーダ16内で圧縮ビットストリームをデコードすることによりJPEG圧縮工程が開始され、8×8ブロックのDCT係数が再び生成される。逆ジグザグ化の手続きで係数が再配列され、次いでブロックが逆量子化器17を通して与えられる。次の工程では、8×8逆離散コサイン変換器(IDCT)18がDCTの8×8ブロック上で動作して画素の8×8ブロックのストリームを生成する。ブロック・ラスタ変換器19がこれらのブロックを伸張スチル画像21に変換する。この伸張工程では、IDCTが係数F(u,v)を画素f(i,j)に正確に変換し直す((4)式)。
【0020】
【数2】
Figure 0004348768
【0021】
圧縮工程は、量子化係数Fにより実際に働かせてfの近似値fのみを与える((5)式)。
【0022】
【数3】
Figure 0004348768
【0023】
回転またはスケーリングのような画像処理関数が、JPEG圧縮ビットストリームとしてしか得られない画像上で実行されねばならないとした場合には、この処理は図2に示すように行われる。先ず、JPEG圧縮ビットストリームがブロック31において、空間ドメイン表現に伸張し直される。次いで空間ドメイン処理がブロック32で実行される。その後、処理された画素データがブロック33で再圧縮されて新しいJPEG圧縮ビットストリームを生成する。この処理は伸張された空間ドメインデータ(画素)に適用されるので、この手法を空間ドメインアプローチと呼ぶことにする。
【0024】
空間ドメインアプローチにはいくつかの利点がある。その1つは、空間ドメインでの画像処理はよく知られた問題であり、その解決法は多くの典型的な画像処理関数に広く用い得る点である。その他の利点は、処理関数がデータを表現するために用いる基本的な圧縮手法に依存しない点である。
【0025】
このアプローチには欠点もある。画像処理関数を適用する前に、データは完全に伸張されていなければならない。さらに、処理されたデータは再度圧縮工程に付す必要がある。JPEGはロスの多い圧縮法であるので、伸張−再圧縮により画像の品質低下を招く恐れがある。ポートレートから景観モードへの切り換えアプリケーションについては、向きが変更される度に画像品質は低下の一途をたどる。その他の欠点は、伸張および圧縮の複雑さが極めて著しいことである。例えば、図2で画像処理タスクが仮に時計回り方向に90°回転とすると、入力データの各8×8ブロックは表1のようになる。オペレーションカウントの大まかな推計を行うため、積算、加算およびデータアクセスがそれぞれ1データ項目当たり1オペレーションで実行されるものと仮定した。
【0026】
【表1】
Figure 0004348768
【0027】
本発明は空間ドメインに基づく画像処理に代わる、すなわち圧縮ドメインに基づく画像処理を提案するものである。後者は、すでに圧縮形で得られているデータ、例えばJPEGビットストリームによく適合する。圧縮ドメインに基づく画像処理手法の基本的処理は図3に示す通りである。JPEGデータについては、圧縮ドメインに基づく画像処理として、通常、図3においてブロック42で示すDCTドメイン画像処理が含まれる。
【0028】
図3に示す通り、DCTドメイン画像処理42にはブロック41におけるJPEG圧縮ビットストリームのエントロピーデコーディングが先行し、そしてブロック43におけるエントロピーコーディングが後続する。
【0029】
同じく図3に示す通り、DCTドメイン画像処理ブロック42はさらに44〜49を付番された処理ブロックに分割される。前述の通り、ビットストリームの伸張によるDCT係数の8×8ブロックが得られる(44)。これらの係数は、ジグザグ解除の手続き(45)を用いて再配列され、その後、DCT係数のブロックが量子化解除される(46)。本発明によれば、DCT係数の量子化解除ブロックはブロック指向処理を行う(47)。この処理に続いてDCTデータに基づいてブロックが量子化され(48)、そしてジグザグ順に再配列される(49)。しかし、画像処理タスクに依存してすべてのブロック44〜49について行われる必要はない。例えば、Dオペレーション(対角線およびY軸に関するフリップの順で表わすことができる)については、ジグザグ解除45、量子化解除46、ジグザグ化49、および量子化48の各工程が省略可能である。圧縮ドメインに基づくDオペレーションの詳細については後述する。
【0030】
一般に、圧縮ドメイン処理には以下のような利点がある。先ず、多くの場合、量子化解除−量子化工程が省略できるので、画像品質を保つことができる。第2に、完全なJPEG伸張および圧縮のタスクがなくなるので、図2に示す空間ドメインの場合よりも複雑さが大幅に低い。特に90°回転の場合は、表1の圧縮ドメインに基づく処理相手先のインプリメントは表2に示すオペレーションカウントを有する。圧縮ドメインアプローチを用いる全オペレーションカウントは表1の空間ドメインに基づくアプローチのほぼ1/5以下であることに注目すべきである(DCTドメインに基づく回転法については後述する)。その他の利点としては、典型的なディジタル画像表現では、画素の深い相互関係のためにDCTドメイン表現が極めて散在(例えば8×8DCTブロックで通常7〜16の非ゼロ値)している点が挙げられる。このデータの散在性は、DCTドメイン処理アプローチの活用により、全体的な複雑さをさらに軽減することができるが、この特性は空間ドメイン表現では得られない(Dオペレーションに対するこの特性の活用については後述する)。
【0031】
【表2】
Figure 0004348768
【0032】
一般に、空間ドメインに基づく画像処理関数に匹敵する、圧縮ドメインに基づく処理を導出することは不可能である点に注意すべきである。DCTは一次変換であり、従って圧縮ドメインに基づく処理は一次画像処理関数について行われると予想される。メディアンフィルタリング、変形/異形化のような非線形画像処理関数は、図3に示すもののように圧縮ドメインに基づくアプローチには適合しない。
【0033】
《JPEG画像上での二面対称オペレーション》
以下、JPEG圧縮データの簡単な幾何学的変換を制御する基本方程式について説明する。対角軸、Y軸(すなわち、中央垂直軸)およびX軸(すなわち、中央水平軸)に関するフリップの構成で規定されるオペレーションにより、Dと呼ばれる四辺形の二面対称のグループが形成される。これらのオペレーションについて表3に整理して説明する。なお、表3および表4において、および以下の説明において、オペレーションを説明の便宜上〈 〉を用いて示す。
【0034】
【表3】
Figure 0004348768
【0035】
全体のグループを生成するようにオペレーション〈F〉および〈F〉を構成することができる点に注意すべきである(注:オペレーション〈o〉および〈o〉の構成〈o〉〈o〉は、先ず〈o〉を、次いで〈o〉を適用して得られるオペレーションである)。例えば、単純に時計回り方向に90°回転(オペレーション〈R90〉)は、図4に示す通り、対角線フリップを適用し、次いで列フリップを適用することにより達成できる。従って、二つのオペレーション〈F〉および〈F〉の圧縮ドメインに基づく相手先が導出できれば、残りもすべて導出可能である。
【0036】
fを8×8画素ブロックとし、Fを対応する8×8DCTブロックとする(DCT(f)=FおよびIDCT(F)=f)。8個のDオペレーション〈o〉について、fと〈o〉fの関係を表わすのは容易である。目標はFとDCT(〈o〉f)の関係(これを〈o〉Fと表わす)の導出である。
【0037】
オペレーション〈F〉の場合、空間ドメインでは列フリップ出力〈F〉f(i,j)が以下のように表わされる((6)式)。
【0038】
【数4】
Figure 0004348768
【0039】
また、(1)式から〈F〉F(u,v)は、以下のように表される((7)〜(9)式)。
【0040】
【数5】
Figure 0004348768
【0041】
式(2)から、C7−k,vは、次のように表される((10)〜(14)式)。
【0042】
【数6】
Figure 0004348768
【0043】
(14)式、(1)式のDCT定義から、(7)〜(9)式における、〈F〉F(u,v)は、以下のように書き換えることができる((15),(16)式)。
【0044】
【数7】
Figure 0004348768
【0045】
空間ドメインでは、入力ブロックの対角線フリップf(i,j)は〈F〉f(i,j)=f(j,i)となる。このDCTドメインの式は以下のように表わされることは明らかである((17)式)。
【0046】
【数8】
Figure 0004348768
【0047】
式15および式17、ならびに表3の第3列で与えられる関係を用いて、Dオペレーションのすべてについて圧縮ドメインの相手先を導出することができる。これらを表4に示す。
【0048】
【表4】
Figure 0004348768
【0049】
上記の関係は量子化を考慮せずに導出したものである。F(u,v)の代わりに単純に量子化係数F(u,v)Q(u,v)を用いることにより、以下のことが明らかになる。すなわち、Dオペレーションで生成するブロックの量子化係数は、対応する入力ブロック処理(表4の3列)を元のブロックの量子化係数に適用することによって直接得ることができる。量子化テーブルは同一のままである(〈F〉,〈Fcd〉,〈R90〉および〈R- 90〉について変換される)。このDCTドメインアプローチによりIDCT、DCT、ならびに量子化解除および量子化が回避される。ジグザグ化解除およびジグザグ化工程も回避されることについては後述する。
【0050】
多くの8×8ブロックからなるW×HのJPEG画像上で、Dオペレーションを行うには、圧縮ドメインに基づく手続きは以下の通りである。(a)対応する幾何学的変換について8×8DCTブロックの再配列、および(b)各8×8DCTブロック内のエレメントに対して表4によるDCTドメインに基づくオペレーションを適用することである(なお、JPEG画像におけるWおよびHは8の倍数であり、必要に応じてオリジナル画像のパディングによって得られる)。(a)および(b)はロスのないオペレーションであって、量子化DCT係数F(u,v)が符号変更を越えて処理されないことに注意すべきである。すなわち、量子化解除および再量子化の工程を回避することにより、カメラのJPEGファイルに対して表4の1種または2種以上の幾何学的変換を何回も適用しても、品質のロスを生じることはない。
【0051】
単純化するため、グレースケール画像を用いるインプリメント法について説明し、続いてカラー画像に必要な簡単な修正を概説する。ここで、画像の幅および高はを8の倍数とする。さらに、カラー画像については、サブサンプリングはブロックパディングを必要としないものとする。これらの制約が満足されない場合、ある別の行/列のオリジナル画像を改めてパディングすることにより、ここに述べたすべてのオペレーションを適用することができる。
【0052】
JPEGデータとして得られるW×Hグレースケール画像Iについて考察する。JPEGデータにはエントロピー・コーディングを適用し、DC項には差分コーディングを取消すことにより、各ブロックについての量子化DCT係数を得ることができる。Fは画像についての量子化DCT係数の8×8ブロック(ラスタ順の付番k)を表わすものとする(0≦k<WH/64)。
【0053】
は画像にオペレーション〈o〉を適用した結果を表わすものとする(ここに、〈o〉は表3からのDオペレーションの1つである)。以上のことは、IのDCT係数のブロックは、可能な再配列転置および符号変更を有するIと本質的に同じであり、そして量子化テーブルも同じであり、可能な転置を有することを示している。一般に、Iにおける量子化係数のブロックF は次のように表わされる。
【0054】
=〈o〉Fp〈o〉(k)
ここに、p〈o〉はブロックの順列である。
【0055】
一例として時計回り方向に90°回転(〈o〉=R90)について考察する。k=i(H/8)+j(回転画像Iにおけるi行およびj列のブロック)については、
〈o〉(k)=(H−j−1)(W/8)+j
となる。
【0056】
JPEG画像Iを形成させるには、k=0,1,2・・・順のブロックF を計算する必要がある。この計算ではp〈o〉(0),p〈o〉(1),p〈o〉(2),・・・順(これは、一般に、ブロックがJPEG画像Iに格納されるラスタ順とは異なる)のブロックIをアクセスする必要がある。圧縮ブロックはサイズが任意に異なるため、JPEGビットストリームからの特定のブロックを抽出するにはその前のブロックをすべて解析しなければならず、極めて費用が嵩む。さらに、量子化された特異的コードのために、前のDC値がすべてデコードされた後、ブロックのDC係数の値を初めて抽出することができる。二つのパスアプローチを用いて、この問題を回避する。
【0057】
最初のパスでは、JPEG画像Iを解析して各ブロックのビット・オフセットおよび各ブロックのDC値を抽出する。第2のパスでは、各画像IについてF 〈o〉を演算する際、ブロック数についてのビット・オフセットをルックアップし、かつIについてのJPEGビツトストリームの位置をシークすることにより、Fp〈o〉(k)がすぐにアクセスされる。このアルゴリズムは疑似コードで次のようにまとめることができる。
【0058】
procedure Operate
input:JPEGimage I,オペレーション〈o〉
output:JPEGimage I
/*第1パス:オフセットおよびDC値を集める*/
Iからのヘッダーを解析する。
for k=0 to WH/64−1
1.オフセットをブロックkのビット・オフセットとしてIに格納する。
2.DC項を抽出しつつIを解析して過去のその他のブロックを移動する。
3.ブロックkについて特異的コード化を取消しおよびDC値の格納する。
【0059】
/*第2パス:Iの演算および格納*/
のヘッダーの演算・格納を行い、〈o〉により要求されるならIの量子化テーブルを転置する。
f or k=0 to WH/64−1
1.Iをシークし、ブロック数p〈o〉(k)の量子化係数を抽出するため、オフセットおよびDCテーブルを使用する。
2.必要に応じて、oによる係数への符号変更の転置および/または適用する(表4の第3列)。
3.I〈o〉についてのJPEGビットストリームへのエントロピー・コード化係数を貼り付ける。
【0060】
《ブロックの効率的な転置および符号変更》
元のブロックFp(k)がo経由で転置されて画像IについてのブロックF を得る際、「オペレートJPEG」アルゴリズムの心臓部は第2パスにある。8×8ブロックに符号変更の転置および適用を行うには、ストレート・フォワード方式でインプリメントされていれば、ブロックの各エレメントを一度アクセスする必要がある。つまり、複雑さは64の倍数となる。典型的なJPEF画像における量子化係数ブロックは極めて少ない数(典型的には16以下)の非ゼロ係数を有する。ここに、複雑さがブロック内の非ゼロ係数の数に比例する、転置および符号変更を行うためのアルゴリズムを提示する。このアルゴリズムにより、全体の複雑さが実質的に減り、圧縮画像の全サイズでは非圧縮画像の全サイズにおけるよりも線状になる。
【0061】
JPEGのハフマンコード化モードでは、量子化係数のブロックはジグザグ順にスキャンすることによりコード化されて、ゼロの長いランを一まとめにグループ化する。このジグザグ配列を表5に示す。ブロックをコード化するとき、これらの差分に固有のハフマンテーブルを用いて、先ず現在のブロックと前のブロックの量子化DC値との差がコード化される。
【0062】
【表5】
Figure 0004348768
【0063】
次いで、量子化AC係数がジグザグ順にスキャンされ、そして(R,S,V)形式の連続する三つの記号としてコード化される。ここに、Rはジグザグ配列の連続するゼロの数であり、そして次の非ゼロ係数は以下のような値xを有する。
【0064】
【数9】
Figure 0004348768
【0065】
xまたはx−1の標準相補2進表現(standard 2’s complement binary representation)を用いてVのビットが抽出される。JPEGビットストリームでは、各(R,S,V)が、先ず(R,S)をエンコードするハフマンテーブルを用い、次いでVをエンコードするSエキストラ・ビットを用いてエンコードする。ゼロおよび終端ブロックの極めて長いプログラム実行(run)のような、いくつかの特別なエンコード条件では、特殊なコードでの処理が行われる。しかし、ここでの目的にとって、JPEGデータは容易に解析されて次のようなデータ構造で各ブロックを捕捉することは明らかである。
【0066】
Figure 0004348768
このデータ構造中、Nはブロック内の非ゼロAC係数の数である。アレイAの最初のNエントリーのみ意味がある。エレメントA[k]はジグザグ位置(Z)を与え、そしてSおよびVはk番目の非ゼロAC係数0≦k<Nを評価する。JPEGビットストリームからこの構造へのブロックの読取り、およびJPEGデータとしてのこの構造の書込みは、いずれもストレートフォワードであり、ここでは詳細については省略する。
【0067】
オペレーション〈o〉では転置および/または符号変更が必要となる。上記のデータ構造を用いることにより、〈o〉をインプリメントしてNの工程のみを(64よりも)必要とする新規なアルゴリズムについて説明する。このアルゴリズムはジグザグ順のブロック表現を直接用いるので、係数のジグザグ解除およびジグザグ化が回避される。
【0068】
入力「JpegBlock」構造B(ブロックFに対応)を与えて、〈o〉Fに対応する構造Bを求める。非ゼロAC係数xの符号を変更するには、対応するSおよびV値はSおよびVであり、単純にVのビット補数を用いれば十分である。すなわち、
−x=S,V−x=−V
〈o〉[64]をブール・フラグの予め演算されたアレイとして、もし〈o〉が、変更されるべきZ番目のジグザグ係数の符号を必要とすれば、s〈o〉[Z]がTRUEとなるとする。符号の変更のみが必要とされれば(すなわち、オペレーション〈F〉,〈F〉,〈R180〉についての変更)、s〈o〉[A[k].Z]がTRUEであるA[k].Vについてビットをフリップ化させつつ、各エントリーをコピーすることにより、BをB〈o〉に変換することができる。
【0069】
N工程で「JpegBlock」構造の転置を行うには、以下のキー観測を用いる。ある交差方向対角線上でのエレメントが正順に反転されている場合を除き、アレイAは同じままである。これを説明するため、t[Z]が元のジグザグ・インデックスZに対する転置ジグザグ・インデックスを表わすとする。すなわち、
t[1]=2,t[2]=1,t[3]=5,t[4]=4,・・・
ジグザグ係数が付番された場合を考えると、
1,3,6,7,10,11,14
が唯一の非ゼロ係数である。従って、転置後のジグザグ配置は次のようになる。
【0070】
【数10】
Figure 0004348768
【0071】
従って、同じ交差方向対角線上にある係数の各グループは反転させる必要がある。これを、非ゼロ係数のアレイB.A[・・・]をスキャンし、交差方向対角線が変化する各係数を解析することにより、効率的に行って、B.A[・・・]からB〈o〉.A[・・・]に逆順に前の交差方向対角線をコピーする。
【0072】
以下の疑似コードがこのアルゴリズムを要約するものである。アレイtおよび(上述の)s〈o〉は予め演算される。さらに、d[64]を別の予め演算されたアレイとすると、各ジグザグ・インデックスについて「交差方向対角線の数」が得られる。つまり、ジグザグ・インデックスZが行数uおよび列数vに対応すると、d[Z]=u+vとなる。
【0073】
Figure 0004348768
Figure 0004348768
《カラー画像》
一般に、JPEG画像Iは1つ以上のカラー平面からなり、ある平面はサブサンプル化されている。カラー平面の数をPで表わすとする。各平面p(ただし、1≦p≦P)に伴って、水平サンプリング要素wおよび垂直サンプリング要素hがある。平面数pの幅および高さはそれぞれWw/wmaxおよびHh/hmaxで与えられる。ここに、全平面(1≦p≦P)にわたって、wmaxがwの最大値であり、hmaxがhの最大値である。
【0074】
JPEGデータはさらにスキャンからなる層を有することができる。1スキャンは1または2以上のカラー平面からなり、制限されたビット精度の係数値を有する。「OperateJPEG」アルゴリズムは、単純に各スキャンに連続して適用することにより、拡張することができる。
【0075】
各スキャン内では、スキャンにおける全カラー平面のブロックからのデータを、最小コード単位(MCU)として知られる単位にまとめられる。各MCUは、すべてのwおよびhで決定される、固定順に並んだ固定数のブロックからなる。ここで取り扱うオペレーションについては、サンプリング要素を変更しない限り、画像IはIとまったく同じスキャンおよびMCUのグループ分けである(wおよびhは転置を要するオペレーションに対してスワップされる必要がある)。MCUの順および各MCU内のブロックの順は変動することがあり得るが、Iにおける各MCUはIにおける正に1つのMCUから得られる。この事実を活用して、ビット・オフセットおよび、ブロックレベルよりもMCUレベルのDCテーブルを設けることにより、メモリの節減が図れる。
【0076】
このように、Iにおける各スキャンについては「OperateJPEG」が2つのパスで動作する。最初のパスでは、そのスキャンの各MCUについてビット・オフセットが再コード化され、そして当該MCUにおける各カラー平面からの最初のブロックのDC値が再コード化される。第2のパスでは、Iのスキャンの特定のMCUが演算されるとき、対応するIのMCUが抽出され、そして各構成要素ブロックの「JpegBlock」構造が完成する。次いで、これらのブロックは(オペレーションの要求に応じて)転置/符号変更/再コード化されて、JPEGデータで書かれたIのためのMCUを生成する。
【0077】
《圧縮ドメインに基づく画像回転−DSCアプリケーション》
ディジタルスチル画像カメラ(DSC)を含む各種ディジタル装置との関連して、本発明の圧縮ドメイン処理法が用いられる。DSCのブロック図を図5に示す。DSC60はマイクロプロセッサの制御下に操作されるが、画像を捕捉し、そしてブロック61においてアナログ電気信号に変換する電荷結合デバイス(CCD)を有する。次いで、このアナログ信号は、ブロック62で処理され、ディジタル化画像が一時的にフレームバッファ63に格納され、一方、ブロック64でディジタル処理に付される。ディジタル画像処理ブロック64は、圧縮および伸張を含むいくつかの機能を行い、また本発明の圧縮ドメインに基づく処理法も実行する。処理ブロック64は、ユーザーコントロール65の下に、伸張された画像データが格納されるカメラ内画像ストレージ66とインターフェースを有する。ストレージ・ブロック66は、いずれもDSC60内で取り外し可能または固定型のコンパクト磁気媒体または固体媒体を内蔵し、そして取り外し可能な大容量PCMCIAフォーマット・ハードディスクカードまたはフラッシュ・メモリカードを用いることができる。
【0078】
DSC60はアナログ出力器67およびディジタル出力器68を内蔵しており、これらを通して画像データがDSC内または外部装置に転送される。圧縮されていない画像データは、アナログ出力器67を経由して、DSC60内のLCDスクリーン69に転送されるか、またはVCRやTVモニターのような外部装置に転送される。また、圧縮または非圧縮画像データは、ディジタル出力器68を通して、画像を表示するコンピュータシステムのようなディジタル装置ににも転送される。
【0079】
DCTドメイン表現を直接操作して90°、180°、270°回転またはミラーフリップのようなDオペレーションを実行する能力はDSC60では極めて有用である。カメラを垂直に保持して背の高い被写体を捕捉する場合、得られる画像は、水平にしたカメラで撮影した同じ写真を90°回転させた画像として現われる。典型的なフィルムカメラでは、このことは問題にならない。何故なら、正しい画像を見るには、写真を90°回転させるだけで済むからである。上述のようにDSC60で撮影した写真は、直接画像が焼付けられるか、またはTVモニター上に写されたり、コンピュータドキュメントに組み込まれるため、問題を生じる恐れがある。
【0080】
DSC画像ファイルの読み出し中に、圧縮ドメインに基づく画像処理を組み込むことにより、ここに記載する方法で回転を取り消してDSC60が修正画像を生じるようにすることができる。DSCシステムでは、回転機能はDSC内にあってもよく、またはDSC60に接続されたコンピュータ上で動作するソフトウェア内にあってもよい。制限された演算能力および制限されたメモリを有するDSC60については、圧縮ドメインに基づくアプローチが、幾何学的転送を行うための唯一の効率的手段である。データを伸張し、次いで操作を行う別のアプローチはメモリ集約型であり、DSC60内での遅いCPU速度のために著しい能力低下を来す恐れがある。DSCシステムの進展に伴い、画像強化および透かし挿入のような付随的特性が、圧縮ドメイン処理の枠内に容易に組み込まれるようになり、しかも圧縮ドメイン表現と空間ドメイン表現の間を行き来するには及ばない。
【0081】
上述の通り、図5に示すDSC60は、コンピュータシステム、その他、ディジタル画像を捕捉、処理及び検証する構成要素との関連でも用いることができる。図6は、DSC60、コンピュータシステムおよびその他の各種構成要素の間の相互関係を説明するブロック図である。参照番号100で一般的に表記するコンピュータシステムは、メインフレームまたはパーソナルコンピュータのようないかなる適当な形式のものであってもよい。
【0082】
コンピュータシステム100は、慣用のマイクロプロセッサである中央処理装置(CPU)101,情報を一時的に蓄積するためのランダムアクセスメモリ(RAM)102、および情報を永久蓄積するためのリードオンリーメモリ(ROM)103を含む。これらの各構成要素はバス104と結合されている。コンピュータシステム100のオペレーションは典型的にはオペレーティングシステムソフトウェアによって制御、調整される。システムメモリに組み込まれ、CPU101上で動作するオペレーティングシステムは、システムリソースの配置を制御し、種々のタスク、例えば、特に処理、メモリ管理、ネットワークおよびI/O機能、その他を行うことにより、コンピュータシステム100のオペレーションを調整する。
【0083】
また、ディスケット107のような不揮発性大量記憶装置を挿入するディスケット・ドライブ106もコントローラー105によってバス104に接続されている。同様に、コントローラー108は、バス104とCDROM110挿入用のコンパクトディスク(CD)ROMドライブ109との間にインターフェースを有する。ハードディスク111は、ディスクコントローラー113によりバス104に接続された固定ディスクドライブ112の一部として設けられている。
【0084】
圧縮ドメインに基づく処理法のためのソフトウェアは記憶装置107および110上に格納され、そしてCPU101に転送、実行される。これとは別に、ソフトウェアをRAM102またはROM103に格納してもよい。同様に、本発明によりすでに処理され、または処理されるべき画像データは、ディスケット107およびCDROM110のような取り外し可能な記憶媒体を用いて、コンピュータシステム100にロードし、またはこのシステムから抽出することができる。
【0085】
画像データは別の手段でコンピュータシステム100入力してもよい。フィルムカメラ115で生成されたフィルムベースの画像114は、格納のために、スキャナ116でディジタル化し、そしてコンピュータ100で処理することができる。前述の通り、DSC60が画像を直接ディジタル化し、コンピュータ100に転送してもよい。コントローラー123を経由してバス104に接続するキーボード121およびマウス122は、このようなデータの入力を容易にする。さもないと、コンピュータシステム100に情報を入力するための手段を設けることになる。
【0086】
また、画像データは遠隔地向けにコンピュータ100へ、またはコンピュータ100から転送することができる。その目的ために、コンピュータ100は、直接接続またはモデム経由でネットワーク125との通信を可能とする通信アダプター124を含むことができる。なお、ネットワークにはローカルエリアネットワーク(LAN)、インターネットまたはオンラインサービスが含まれる。
【0087】
コンピュータ100に転送または格納されたディジタル画像は多種多様な方法で見ることができる。コンピュータ100に付属するプリンタ126によりカラープリントが得られるが、その画質はプリンタ126によって変化がある。その他のオプションとしては、コンピュータ100に付属するディスプレー127上で画像を見ることである。さらに別の選択としては、vcrを用いてテレビ受像器上に画像を表示することがある。
【0088】
上述の通り、JPEG圧縮スチル結像のための簡易な圧縮ドメインに基づく処理フレームワークが本発明者等により開発された。鏡像、90°、180°および270°回転像のような簡易な幾何学的変換が、画像の忠実度を失わずにDCTドメイン内で容易に行い得ることが明らかになった。さらに、90°回転のような単純な変換であっても、慣用の空間ドメインに基づく処理アプローチに代わるDCTドメインで行った場合、著しく迅速に達成できることも明らかになった。現実的な設定における圧縮ドメインに基づく画像変換の実用例として、特にディジタルスチルカメラについても説明した。ディジタルカメラが捕捉する画像は初めはノイズが極めて多いので、これらの画像に適用されるいかなる画像処理もノイズを増加させないことが命題であるが、ここに開発された方法は本質的に画像ロスなしのオペレーションである。
【0089】
さらに、これらの方法は、一般向けディジタルスチルカメラに見られる、制限された演算およびメモリ能力に十分適合するものである。この基本的な圧縮ドメインフレームワークはその他の形式の画像変換にも用いることができ、殊にここに開発された方法論は、画像強化、画像ろ過に拡張できる(B.ChitprasertおよびK.R.Rao)、「離散コサイン変換ろ過」、信号処理、19巻、233−245ページ、1990年参照)。
【0090】
特定の具体例との関連で本発明を説明したが、以上の説明から当業者には自明である通り、多くのさらなる修正、変更が可能である。例えば、本発明の圧縮ドメインに基づく処理法を説明するために用いたブロック図は、本発明のある特定な機能および関係の動作を示すものである。これらの機能性ブロックの境界は、説明の都合上、任意に定めたものである。特定の機能および関係が適当に設けられている限り、別の境界が設定され得る。
【0091】
さらに、本発明のアルゴリズムを説明するために用いた疑似コードは、構文または特定のプログラム言語を表わしてはおらず、むしろ当業者が回路を組立て、または必要な処理を行うソフトウェアを作成するのに要する機能情報を提供するものである。ブロック図に示した各機能は、例えば、ソフトウェア命令によるか、あるいはディジタル信号処理回路、アプリケーション・スペシフィック集積回路(ASIC)またはこれらの組合せのような機能的に同等の回路によってインプリメントされる。以上、ここに説明した本発明では、上述のような変更、修正、適用等はすべて特許請求の範囲の精神および範疇に含まれるものとする。
【0092】
【発明の効果】
完全な伸張および圧縮の工程を経由すること無しに、画像の圧縮ドメイン表現を直接操作して、選択された空間ドメイン操作を行うことができる。また、画像操作を行うのに必要な圧縮データ操作を大幅に単純化することができ、さらに品質の低下を伴わずに圧縮ドメイン内で画像データを操作することができる。
【図面の簡単な説明】
【図1】JPEG圧縮および伸張処理を示すブロック図である。
【図2】JPEGデータセットについての空間ドメインに基づく画像処理を示すブロック図である。
【図3】本発明によるJPEGデータセットについての圧縮ドメイン画像処理を示すブロック図である。
【図4】本発明による対角線フリップ(F)およびカラムフリップ(F)を用いて90°回転させたブロックを示す図である。
【図5】本発明との関連で用い得るディジタルスチル画像カメラ(DSC)のブロック図である。
【図6】本発明によりディジタル画像を捕捉および目視するのに用い、さらにそのような画像の処理に用いる各種構成要素間の相関関係を示すブロック図である。
【符号の説明】
41 エントロピーデコーディングブロック
42 DCTドメイン画像処理
43 エントロピーコーディング
44 DCT係数の8×8ブロック
45 ジグザグ解除の手続き
46 DCT係数のブロックの量子化解除
47 ブロック指向処理
48 ブロック量子化
49 ジグザグ配置

Claims (12)

  1. Figure 0004348768
    前記ディジタル画像の圧縮ドメイン表現におけるビットストリーム上の前記データブロックの位置を表すオフセット値を抽出するために、前記圧縮されたディジタル画像データを解析するステップと、
    前記抽出したオフセット値を使用して前記データブロックへアクセスするステップと、
    Figure 0004348768
    を備えることを特徴とする画像変換方法。
  2. 前記圧縮されたディジタル画像データを解析するステップは、前記データブロックのDC値を抽出するステップをさらに含むことを特徴とする請求項1に記載の画像変換方法。
  3. Figure 0004348768
  4. 前記ディジタル画像の空間ドメイン表現上における幾何学的変換は、主対角線上でディジタル画像をフリップすることを含む請求項1乃至3のいずれかに記載の画像変換方法。
  5. 前記ディジタル画像の空間ドメイン表現上における幾何学的変換は、中央垂直軸上でディジタル画像をフリップすることを含む請求項1乃至3のいずれかに記載の画像変換方法。
  6. 前記ディジタル画像の空間ドメイン表現上における幾何学的変換は、交差方向対角線上でディジタル画像をフリップすることを含む請求項1乃至3のいずれかに記載の画像変換方法。
  7. 前記ディジタル画像の空間ドメイン表現上における幾何学的変換は、中央水平軸線上でディジタル画像をフリップすることを含む請求項1乃至3のいずれかに記載の画像変換方法。
  8. 前記ディジタル画像の空間ドメイン表現上における幾何学的変換は、ディジタル画像を時計回り方向に90°回転させることを含む請求項1乃至3のいずれかに記載の画像変換方法。
  9. 前記ディジタル画像の空間ドメイン表現上における幾何学的変換は、ディジタル画像を180°回転させることを含む請求項1乃至3のいずれかに記載の画像変換方法。
  10. 前記ディジタル画像の空間ドメイン表現上における幾何学的変換は、ディジタル画像を反時計回り方向に90°回転させることを含む請求項1乃至3のいずれかに記載の画像変換方法。
  11. Figure 0004348768
  12. Figure 0004348768
JP08998599A 1998-03-30 1999-03-30 画像変換方法 Expired - Fee Related JP4348768B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/052,039 1998-03-30
US09/052,039 US6298166B1 (en) 1998-03-30 1998-03-30 Image transformations in the compressed domain

Publications (2)

Publication Number Publication Date
JPH11331847A JPH11331847A (ja) 1999-11-30
JP4348768B2 true JP4348768B2 (ja) 2009-10-21

Family

ID=21975035

Family Applications (1)

Application Number Title Priority Date Filing Date
JP08998599A Expired - Fee Related JP4348768B2 (ja) 1998-03-30 1999-03-30 画像変換方法

Country Status (4)

Country Link
US (1) US6298166B1 (ja)
EP (1) EP0947954B1 (ja)
JP (1) JP4348768B2 (ja)
DE (1) DE69907798T2 (ja)

Families Citing this family (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7630006B2 (en) 1997-10-09 2009-12-08 Fotonation Ireland Limited Detecting red eye filter and apparatus using meta-data
US7042505B1 (en) 1997-10-09 2006-05-09 Fotonation Ireland Ltd. Red-eye filter method and apparatus
US7738015B2 (en) 1997-10-09 2010-06-15 Fotonation Vision Limited Red-eye filter method and apparatus
FR2782861A1 (fr) * 1998-08-26 2000-03-03 Canon Kk Transcodage geometrique d'un signal numerique
US6456745B1 (en) * 1998-09-16 2002-09-24 Push Entertaiment Inc. Method and apparatus for re-sizing and zooming images by operating directly on their digital transforms
JP2000125136A (ja) * 1998-10-19 2000-04-28 Internatl Business Mach Corp <Ibm> 画像データ圧縮装置およびその方法
US6473534B1 (en) * 1999-01-06 2002-10-29 Hewlett-Packard Company Multiplier-free implementation of DCT used in image and video processing and compression
JP2000354246A (ja) * 1999-06-10 2000-12-19 Sony Corp 画像圧縮制御装置およびそれを用いた撮像システム
JP3606219B2 (ja) 2000-04-06 2005-01-05 セイコーエプソン株式会社 画像処理装置及び方法
US6941019B1 (en) * 2000-05-10 2005-09-06 International Business Machines Corporation Reentry into compressed data
US7146053B1 (en) 2000-05-10 2006-12-05 International Business Machines Corporation Reordering of compressed data
JP3529130B2 (ja) * 2000-08-01 2004-05-24 ヒューレット・パッカード・カンパニー 非常に大きな微細解像度画像のために、調整された印刷パラメータとともに、予備圧縮されたデータを無損失で送る方法および装置
JP2002133432A (ja) * 2000-10-27 2002-05-10 Seiko Epson Corp 画像処理装置及び方法
US6891892B2 (en) * 2001-03-30 2005-05-10 Koninklijke Philips Electronics N.V. MPEG-2 decoder with an embedded contrast enhancement function and methods therefor
US7822969B2 (en) * 2001-04-16 2010-10-26 Digimarc Corporation Watermark systems and methods
JP4065503B2 (ja) * 2001-08-21 2008-03-26 キヤノン株式会社 画像処理装置、画像入出力装置、変倍処理方法、及びメモリ制御方法
JP3782369B2 (ja) * 2002-04-05 2006-06-07 株式会社日立製作所 ストレージ装置、コンテンツ配信システム及びコンテンツの配信方法
US20030202603A1 (en) * 2002-04-12 2003-10-30 William Chen Method and apparatus for fast inverse motion compensation using factorization and integer approximation
US7190724B2 (en) * 2002-04-12 2007-03-13 Seiko Epson Corporation Method and apparatus for transform domain video processing
US7054496B2 (en) * 2002-06-27 2006-05-30 Seiko Epson Corporation Method and apparatus for displaying arbitrarily magnified high resolution images using compressed domain processing
US7280689B2 (en) * 2002-07-05 2007-10-09 Qdesign U.S.A., Inc. Anti-compression techniques for visual images
US7379956B2 (en) * 2002-07-14 2008-05-27 Apple Inc. Encoding and decoding data arrays
US7376280B2 (en) * 2002-07-14 2008-05-20 Apple Inc Video encoding and decoding
FR2844935B1 (fr) * 2002-09-25 2005-01-28 Canon Kk Transcodage de donnees numeriques
US7392476B2 (en) * 2002-12-20 2008-06-24 Seiko Epson Corporation Image printing system, image printing method, and image printing program
FR2853749B1 (fr) * 2003-04-10 2005-07-01 Canon Kk Procede et dispositif de traitement d'un signal d'image numerique compresse en vue de sa visualisation
US7580578B1 (en) 2003-02-03 2009-08-25 Canon Kabushiki Kaisha Method and device for forming a compressed transcoded digital image signal
FR2850825B1 (fr) * 2003-02-03 2005-07-01 Canon Kk Procede et dispositif de formation d'un signal numerique d'image transcode compresse
US7336821B2 (en) 2006-02-14 2008-02-26 Fotonation Vision Limited Automatic detection and correction of non-red eye flash defects
US8170294B2 (en) 2006-11-10 2012-05-01 DigitalOptics Corporation Europe Limited Method of detecting redeye in a digital image
US7920723B2 (en) 2005-11-18 2011-04-05 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US7680342B2 (en) 2004-08-16 2010-03-16 Fotonation Vision Limited Indoor/outdoor classification in digital images
US7970182B2 (en) * 2005-11-18 2011-06-28 Tessera Technologies Ireland Limited Two stage detection for photographic eye artifacts
US8254674B2 (en) 2004-10-28 2012-08-28 DigitalOptics Corporation Europe Limited Analyzing partial face regions for red-eye detection in acquired digital images
US7689009B2 (en) * 2005-11-18 2010-03-30 Fotonation Vision Ltd. Two stage detection for photographic eye artifacts
US7792970B2 (en) 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US7587085B2 (en) 2004-10-28 2009-09-08 Fotonation Vision Limited Method and apparatus for red-eye detection in an acquired digital image
US8036458B2 (en) 2007-11-08 2011-10-11 DigitalOptics Corporation Europe Limited Detecting redeye defects in digital images
US7391910B2 (en) * 2003-07-31 2008-06-24 Seiko Epson Corporation LAPE: layered presentation system utilizing compressed-domain image processing
US9412007B2 (en) 2003-08-05 2016-08-09 Fotonation Limited Partial face detector red-eye filter method and apparatus
US8520093B2 (en) 2003-08-05 2013-08-27 DigitalOptics Corporation Europe Limited Face tracker and partial face tracker for red-eye filter method and apparatus
US7391913B2 (en) * 2003-09-18 2008-06-24 Arcsoft, Inc. JPEG processing engine for low profile systems
US7646881B2 (en) * 2003-09-29 2010-01-12 Alcatel-Lucent Usa Inc. Watermarking scheme for digital video
US7630509B2 (en) * 2003-09-29 2009-12-08 Alcatel-Lucent Usa Inc. Color selection scheme for digital video watermarking
US8861922B2 (en) * 2003-09-29 2014-10-14 Alcatel Lucent Watermarking scheme for digital video
JP4542447B2 (ja) * 2005-02-18 2010-09-15 株式会社日立製作所 画像の符号化/復号化装置、符号化/復号化プログラム及び符号化/復号化方法
TWI249139B (en) * 2004-05-07 2006-02-11 Sunplus Technology Co Ltd Block decoding-method capable of rotating direction decoding-output and system
JP2005333393A (ja) * 2004-05-19 2005-12-02 Sharp Corp 画像圧縮装置,画像出力装置,画像伸張装置,印刷装置,画像処理装置,複写機,画像圧縮方法,画像伸張方法,画像処理プログラムおよび画像処理プログラムを記録した記録媒体
JP4601340B2 (ja) * 2004-06-25 2010-12-22 ノキア コーポレイション データ合成装置及びデータ合成方法
US7738710B2 (en) * 2004-08-02 2010-06-15 Electronics For Imaging, Inc. Methods and apparatus for communicating and displaying compressed image data
US7574055B2 (en) * 2004-09-07 2009-08-11 Lexmark International, Inc. Encoding documents using pixel classification-based preprocessing and JPEG encoding
KR100601475B1 (ko) * 2004-12-09 2006-07-18 삼성전기주식회사 이미지 복잡도에 따라 가변적 양자화 크기를 갖는 이미지압축 장치 및 그 방법
KR100645636B1 (ko) * 2004-12-09 2006-11-15 삼성전기주식회사 Dct 계수를 이용한 카메라의 자동초점조절장치 및 그방법
US7643694B2 (en) * 2004-12-31 2010-01-05 Zoran Corporation Method and apparatus for processing a compressed image in an order other than the order in which it was compressed
JP4819517B2 (ja) * 2005-02-16 2011-11-24 オリンパス株式会社 画像処理方法及び画像処理装置
US7583844B2 (en) * 2005-03-11 2009-09-01 Nokia Corporation Method, device, and system for processing of still images in the compressed domain
US20060228030A1 (en) * 2005-04-08 2006-10-12 Hadady Craig E Method and system for image compression for use with scanners
US7599577B2 (en) 2005-11-18 2009-10-06 Fotonation Vision Limited Method and apparatus of correcting hybrid flash artifacts in digital images
TW200726260A (en) * 2005-12-22 2007-07-01 Sunplus Technology Co Ltd Block decoding method and device capable of longitudinally decoding and outputting
US20070189621A1 (en) * 2006-02-15 2007-08-16 Aten International Co., Ltd Image transmission system
EP2033142B1 (en) 2006-06-12 2011-01-26 Tessera Technologies Ireland Limited Advances in extending the aam techniques from grayscale to color images
US8055067B2 (en) 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
US8411734B2 (en) * 2007-02-06 2013-04-02 Microsoft Corporation Scalable multi-thread video decoding
US7783459B2 (en) * 2007-02-21 2010-08-24 William Marsh Rice University Analog system for computing sparse codes
US8515194B2 (en) * 2007-02-21 2013-08-20 Microsoft Corporation Signaling and uses of windowing information for images
JP2010520567A (ja) 2007-03-05 2010-06-10 フォトネーション ビジョン リミテッド 顔の位置および向きを用いた赤目の誤検出フィルタリング
US9648325B2 (en) * 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
US8503818B2 (en) 2007-09-25 2013-08-06 DigitalOptics Corporation Europe Limited Eye defect detection in international standards organization images
US8212864B2 (en) 2008-01-30 2012-07-03 DigitalOptics Corporation Europe Limited Methods and apparatuses for using image acquisition data to detect and correct image defects
US8977064B2 (en) * 2008-02-13 2015-03-10 Qualcomm Incorporated Rotational transcoding for JPEG or other coding standards
US8081254B2 (en) 2008-08-14 2011-12-20 DigitalOptics Corporation Europe Limited In-camera based method of detecting defect eye with high accuracy
US9544516B2 (en) * 2008-12-26 2017-01-10 Digimarc Corporation Method and apparatus for sensor characterization
FI20095175A (fi) * 2009-02-23 2010-08-24 Anygraaf Oy Menetelmä rasterimuotoisen kuvan segmentoinnin hyödyntämiseksi kuvan pakkaamisessa
US8233709B2 (en) * 2009-03-06 2012-07-31 Sony Corporation Color effects for compressed digital video
US20100254617A1 (en) * 2009-04-01 2010-10-07 Qualcomm Incorporated Apparatus and method to rotate an image
US8355570B2 (en) * 2009-08-12 2013-01-15 Conexant Systems, Inc. Systems and methods for raster-to-block converter
KR20110017303A (ko) * 2009-08-13 2011-02-21 삼성전자주식회사 회전변환을 이용한 영상 부호화, 복호화 방법 및 장치
JP4848462B2 (ja) * 2010-03-04 2011-12-28 株式会社モルフォ 圧縮画像の部分伸長方法および画像処理装置
US8885729B2 (en) 2010-12-13 2014-11-11 Microsoft Corporation Low-latency video decoding
US9706214B2 (en) 2010-12-24 2017-07-11 Microsoft Technology Licensing, Llc Image and video decoding implementations
TWI606722B (zh) 2011-06-30 2017-11-21 微軟技術授權有限責任公司 用於減少視訊編碼及解碼中之延遲的方法、系統及電腦可讀取媒體
US8731067B2 (en) 2011-08-31 2014-05-20 Microsoft Corporation Memory management for video decoding
US9819949B2 (en) 2011-12-16 2017-11-14 Microsoft Technology Licensing, Llc Hardware-accelerated decoding of scalable video bitstreams
US8347391B1 (en) * 2012-05-23 2013-01-01 TrustPipe LLC System and method for detecting network activity of interest
US8856324B2 (en) 2013-01-28 2014-10-07 TrustPipe LLC System and method for detecting a compromised computing system
AU2013213660A1 (en) * 2013-08-06 2015-02-26 Canon Kabushiki Kaisha Method for printing an upscaled image
FR3015160B1 (fr) * 2013-12-17 2016-01-29 Sagemcom Documents Sas Procede de numerisation d'un document constitue de plusieurs pages
KR102025361B1 (ko) * 2014-07-10 2019-09-25 한화테크윈 주식회사 자동 초점 조절 시스템 및 방법
JP2021174404A (ja) * 2020-04-28 2021-11-01 株式会社Preferred Networks データ生成装置、訓練装置及びデータ生成方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4658430A (en) * 1984-12-27 1987-04-14 International Business Machines Corp. System for rotating binary images
CA1252902A (en) * 1985-10-31 1989-04-18 David R. Pruett Method for rotating a binary image
US4797945A (en) * 1985-12-13 1989-01-10 Canon Kabushiki Kaisha Image data coding apparatus
GB8700092D0 (en) 1987-01-05 1987-02-11 Crosfield Electronics Ltd Image processing
US5001559A (en) * 1989-10-12 1991-03-19 International Business Machines Corporation Transform coding using coefficient prediction techniques
US5142380A (en) * 1989-10-23 1992-08-25 Ricoh Company, Ltd. Image data processing apparatus
US5319724A (en) * 1990-04-19 1994-06-07 Ricoh Corporation Apparatus and method for compressing still images
US5129015A (en) * 1990-04-19 1992-07-07 Ricoh Company Ltd. Apparatus and method for compressing still images without multiplication
US5189526A (en) * 1990-09-21 1993-02-23 Eastman Kodak Company Method and apparatus for performing image compression using discrete cosine transform
JPH05103212A (ja) * 1991-10-03 1993-04-23 Sony Corp データ伝送装置
US5611001A (en) * 1991-12-23 1997-03-11 Xerox Corporation Address reduction scheme implementing rotation algorithm
JPH05316360A (ja) 1992-05-14 1993-11-26 Fuji Xerox Co Ltd 画像信号の符号化復号装置
US5563718A (en) 1993-11-30 1996-10-08 Polaroid Corporation Image coding by use of discrete cosine transforms
JP3579455B2 (ja) * 1994-05-06 2004-10-20 ペンタックス株式会社 画像入力装置
EP0826194B1 (en) 1995-05-15 1999-03-31 Polaroid Corporation Image skewing and rotation using discrete cosine transforms
US5680129A (en) 1995-07-18 1997-10-21 Hewlett-Packard Company System and method for lossless image compression
US5581635A (en) * 1995-07-25 1996-12-03 United Parcel Service Of America, Inc. Method and system for fast rotation of run-length encoded images
US5706216A (en) 1995-07-28 1998-01-06 Reisch; Michael L. System for data compression of an image using a JPEG compression circuit modified for filtering in the frequency domain
US5677689A (en) 1995-08-31 1997-10-14 Yovanof; Gregory S. Fixed rate JPEG compliant still image compression
US5991450A (en) * 1995-09-06 1999-11-23 Canon Kabushiki Kaisha Image encoding and decoding apparatus
US5682152A (en) 1996-03-19 1997-10-28 Johnson-Grace Company Data compression using adaptive bit allocation and hybrid lossless entropy encoding
US5751865A (en) 1996-09-26 1998-05-12 Xerox Corporation Method and apparatus for image rotation with reduced memory using JPEG compression
US5867598A (en) * 1996-09-26 1999-02-02 Xerox Corporation Method and apparatus for processing of a JPEG compressed image

Also Published As

Publication number Publication date
JPH11331847A (ja) 1999-11-30
US6298166B1 (en) 2001-10-02
DE69907798T2 (de) 2004-03-25
EP0947954A1 (en) 1999-10-06
EP0947954B1 (en) 2003-05-14
DE69907798D1 (de) 2003-06-18

Similar Documents

Publication Publication Date Title
JP4348768B2 (ja) 画像変換方法
US6847735B2 (en) Image processing system, image processing apparatus, image input apparatus, image output apparatus and method, and storage medium
US7847833B2 (en) Digital camera device providing improved methodology for rapidly taking successive pictures
US7369161B2 (en) Digital camera device providing improved methodology for rapidly taking successive pictures
US7856147B2 (en) Method and apparatus for processing a compressed image in an order other than the order of which it was compressed
US6825876B1 (en) Digital camera device with methodology for efficient color conversion
US7403662B2 (en) Browsing JPEG images using MPEG hardware chips
EP1009168A2 (en) Image processing apparatus and method, and recording medium
TW200305830A (en) System and method for progressively transforming and coding digital data
US6563946B2 (en) Image processing apparatus and method
US7542611B2 (en) Image processing apparatus and method for converting first code data sets into second code data for JPEG 2000 and motion JPEG 2000
US20020001415A1 (en) Image compression method
US7123773B2 (en) Image coding-decoding method, image coding-decoding system, image coder, image decoder, and storage medium
US7146055B2 (en) Image processing decompression apparatus and method of using same different scaling algorithms simultaneously
JP3709106B2 (ja) 画像圧縮および伸張装置
KR20060022894A (ko) 이동 단말기에서의 썸네일 영상 생성 장치 및 방법
JP2000316174A (ja) カラー画像圧縮方法およびカラー画像圧縮装置
JPH07160865A (ja) 静止画再生装置
JP2004289290A (ja) 画像処理装置
JP2000059612A (ja) 画像処理装置及びその方法
JP4129097B2 (ja) 画像処理装置及び画像処理方法
JP3825871B2 (ja) 画像処理装置及び方法並びに画像処理のプログラムコードが格納されたコンピュータ可読記録媒体
US20110286663A1 (en) Method And Apparatus Of Color Image Rotation For Display And Recording Using JPEG
De Queiroz Processing JPEG-compressed images
JPH1075463A (ja) 画像圧縮装置および画像伸張装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060905

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080311

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090512

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090610

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090630

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090713

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120731

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080512

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120731

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130731

Year of fee payment: 4

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees