JP4086192B2 - Image processing apparatus, image processing method, program, and information recording medium - Google Patents
Image processing apparatus, image processing method, program, and information recording medium Download PDFInfo
- Publication number
- JP4086192B2 JP4086192B2 JP2003417886A JP2003417886A JP4086192B2 JP 4086192 B2 JP4086192 B2 JP 4086192B2 JP 2003417886 A JP2003417886 A JP 2003417886A JP 2003417886 A JP2003417886 A JP 2003417886A JP 4086192 B2 JP4086192 B2 JP 4086192B2
- Authority
- JP
- Japan
- Prior art keywords
- code
- code stream
- image
- layer
- progressive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
本発明は、画像処理の分野に係り、特に、画像のプログレッシブ符号ストリームの生成及びプログレッシブ復号に関する。 The present invention relates to the field of image processing, and more particularly, to generation and progressive decoding of a progressive code stream of an image.
近年、デジタルカメラやスキャナ等の普及に加えてインターネットの高速化も進み、高精細な多値の静止画像がホームユーザにも手軽に扱われるようになった。通常、これらの多値静止画像は、非常に多くの情報量となるため、何らかの圧縮符号化処理が行われている。 In recent years, in addition to the popularization of digital cameras and scanners, the speed of the Internet has increased, and high-definition multi-valued still images can be easily handled by home users. Usually, these multilevel still images have a very large amount of information, and therefore some kind of compression encoding processing is performed.
現在、カラー静止画像において最もよく使用されいる圧縮符号化方式は、Joint Photographic Experts GroupのIS(International Standard)10918-1(ITU-T T.81)にて勧告されたJPEGベースラインシステムである。なお、JPEGはベースラインシステムの他にプログレッシブ等の機能を拡充した拡張システム(IS 10918-3:ITU-T T.84)も標準化されている。また、次世代圧縮方式として、JPEGよりも高画質、多機能化が図られたJPEG2000の基本方式(part1)も2000年12月に標準化が完了している(IS 15444-1)。 Currently, the most commonly used compression coding method for color still images is the JPEG baseline system recommended by the Joint Photographic Experts Group IS (International Standard) 10918-1 (ITU-T T.81). In addition to the baseline system, JPEG has also standardized an extended system (IS 10918-3: ITU-T T.84) with expanded functions such as progressive. As a next-generation compression method, standardization (part 1) of JPEG2000, which has higher image quality and more functionality than JPEG, was completed in December 2000 (IS 15444-1).
通常、画像データを転送する際には、上記のような圧縮方式によって圧縮符号化された画像データがネットワークを介して転送され、受信側で復号され、モニタ等の表示装置に表示され、あるいは紙等の記録媒体に記録されて顕像化される。例えば、クライアント／サーバ環境において、クライアント側が画像データを受信してモニタ等に表示する場合に、例えばインターネットのような転送路の帯域が狭く画像データの受信に時間がかかるような条件では、画像データの転送の初期段階で粗い画像を画面表示させ、画像データの転送が進むにつれて精細な画像を表示するプログレッシブ符号化方式が採用されている。 Usually, when transferring image data, the image data compressed and encoded by the compression method as described above is transferred via a network, decoded on the receiving side, displayed on a display device such as a monitor, or on paper. The image is recorded on a recording medium such as For example, in a client / server environment, when the client side receives image data and displays it on a monitor or the like, the image data may be used under conditions such as the Internet where the bandwidth of the transfer path is narrow and it takes time to receive the image data. A progressive encoding method is employed in which a coarse image is displayed on the screen at the initial stage of the transfer, and a fine image is displayed as the transfer of the image data proceeds.
JPEGでは、その拡張システムにおいて、転送路を介して画像を表示させることを主な目的としたプログレッシブ符号化方式が定義されているが、JPEG2000においては基本方式からプログレッシブ符号化方式が定義されている。 JPEG defines a progressive encoding system whose main purpose is to display an image via a transfer path in its extended system, but JPEG2000 defines a progressive encoding system from the basic system. .
後述の本発明の実施の形態においては圧縮符号化方式としてJPEG2000を利用するため、ここでJPEG2000基本方式とプログレッシブ順序の概要を説明する。 In the embodiment of the present invention described later, since JPEG2000 is used as a compression encoding method, an outline of the JPEG2000 basic method and progressive order will be described here.
図２６は、JPEG2000part1(以下JPEG2000)における圧縮符号化処理の基本ブロック図である。ここでは、入力画像データとしてカラーのRed,Green,Blue(以下RGB)の画像データを扱うもとして説明する。 FIG. 26 is a basic block diagram of compression encoding processing in JPEG2000part1 (hereinafter JPEG2000). Here, description will be made assuming that color Red, Green, Blue (hereinafter referred to as RGB) image data is handled as input image data.
入力されたRGBの画像データは、タイリング処理部222にて矩形のブロック（タイルと呼ばれる）に分割され、タイル単位で色変換部223に入力される。ラスタ形式の画像データが入力された場合は、タイリング処理部222においてラスタ/ブロック変換が行われる。
The input RGB image data is divided into rectangular blocks (called tiles) by the
JPEG2000においては、タイル単位に独立して符号化又は復号化が可能である。このことは、ハードウェアにより符号化／復号化を行う場合のハード量を削減でき、また、必要なタイルのみ復号して表示することも可能となるなど、JPEG2000の多機能化の一翼を担っている。なお、JPEG2000ではタイリングはオプションであり、タイリングを行わないことも可能である。 In JPEG2000, encoding or decoding can be performed independently for each tile. This contributes to the multi-functionality of JPEG2000, such as reducing the amount of hardware when encoding / decoding by hardware, and decoding and displaying only the necessary tiles. Yes. In JPEG2000, tiling is an option, and tiling can be omitted.
次に、画像データは色変換処理部123にて、輝度/色差系の信号に変換される。JPEG2000では、離散ウェーブレット変換(以下ＤＷＴ)に使用するフィルタの種類(5x3と9x7の2通り)に対応して２種類の色変換が定められており、例えば可逆変換可能な5x3フィルタを使用する場合は、下記の式（１）による可逆の色変換が用いられる。
Next, the image data is converted into a luminance / color difference signal by the color
図２７は、オクターブ分割されたウェーブレット係数を表す図である。ＤＷＴは、１デコンポジション(分解)レベル毎にLL,HL,LH,HHの４つのサブバンドと呼ばれる方向成分が出力され、LLに対してＤＷＴを再帰的に行うことによって、より低解像度へとデコンポジションレベルをあげていく。解像度の最も高いデコンポジションレベル１の係数を1HL,1LH,1HHと表し、デコンポジションレベル２の係数を2HL,2LH,2HH、等々と表す。なお、図２７は、３デコンポジションレベルのサブバンド分割を示している。また、図２７中の各サブバンドの右肩に記入した数字は解像度レベルを示す。
FIG. 27 is a diagram illustrating wavelet coefficients that have been divided into octaves. DWT outputs directional components called LL, HL, LH, and HH for each decomposition (decomposition) level. By recursively performing DWT on LL, lower resolution is achieved. Raise the decomposition level.
各デコンポジションレベルのサブバンドを、プレシンクトと呼ばれる矩形領域に分割して符号の集合を作成することが可能である。また、各プレシンクトはコードブロックとよばれる所定の矩形ブロックに分割され、符号化はコードブロック単位で行われる。 It is possible to divide each decomposition level subband into rectangular areas called precincts to create a set of codes. Each precinct is divided into predetermined rectangular blocks called code blocks, and encoding is performed in units of code blocks.
さて、ＤＷＴ処理部224から出力されたウェーブレット係数に対し量子化処理部225によってスカラー量子化が行われるが、可逆のＤＷＴが実施される場合にはスカラー量子化は行われないか、量子化ステップサイズを１とした量子化が行われる。また、後段のポスト量子化部227によるポスト量子化によっても、スカラー量子化とほぼ同様な効果が得られる。スカラー量子化のパラメータはタイル単位に変更可能である。
Now, scalar quantization is performed on the wavelet coefficients output from the
量子化処理部225から出力された量子化後のウェーブレット係数は、エントロピー符号化部226にてエントロピー符号化が行われる。JPEG2000におけるエントロピー符号化方式では、サブバンド内をコードブロックと呼ばれる矩形領域に分割し(但し、サブバンド領域のサイズがコードブロックサイズ以下の場合は分割しない)、コードブロック単位に符号化される。
The
この符号化においては、図２８に模式的に示すように、コードブロック内のウェーブレット係数はビットプレーンに分解され、ビットプレーンは画質への影響度を表す状態に従って３つの符号化パス(Significance propagationパス,Magnitude refinementパス,Clean upパス)と呼ばれるサブビットプレーンに分割されて、各々でMQコーダと呼ばれる算術符号化方式により符号化される。ビットプレーンはMSB側ほど、また、符号化パスはSignificance propagation、Magnitude refinement,Clean upの順に、重要度(画質への寄与度)が高くなっている。また、各パスの終端は、切り捨て点(トランケーションポイント)とも呼ばれ、後段でのポスト量子化での符号の切り捨て可能な単位となっている。 In this encoding, as schematically shown in FIG. 28, the wavelet coefficients in the code block are decomposed into bit planes, and the bit planes are divided into three encoding propagation paths (Significance propagation paths) according to the state representing the degree of influence on image quality. , Magnitude refinement pass, Clean up pass), and is encoded by an arithmetic coding method called MQ coder. The bit plane has a higher importance (contribution to image quality) in the order of the MSB side and the encoding pass in the order of significance propagation, magnitude refinement, and cleanup. Also, the end of each path is also called a truncation point, and is a unit that can be used for truncating the code in post-quantization at the later stage.
エントロピー符号化により生成された符号データに対し、ポスト量子化部227にて必要に応じて符号の切り捨て（トランケーション）が行われる。ただし、可逆の符号を出力する必要がある場合にはポスト量子化は実行されない。このように符号化後に符号の切り捨てにより符号量を制御することができ、符号量の制御にフィードバックを必要としない構成(１パスの符号化)であり、これがJPEG2000の特徴の１つである。
The
符号ストリーム生成処理部228は、ポスト量子化後の符号データに対し、後述するプログレッシブ順序に従って符号の並べ替えとヘッダの付加を行うことにより符号ストリームを生成する。
The code stream
図２９は、JPEG2000におけるレイヤプログレッションの符号ストリームの模式図である。符号ストリームは、メインヘッダと１以上のタイルのデータで構成される。各タイルのデータは、タイルヘッダと、タイル内符号をレイヤとよばれる符号単位(後述)に区切った複数のレイヤにより構成されており、レイヤ０、レイヤ１・・・というように上位レイヤから順番に並んでいる。レイヤはレイヤ用のタイルヘッダと複数のパケットにより構成されており、パケットはパケットヘッダと符号データから構成されている。
FIG. 29 is a schematic diagram of a code stream for layer progression in JPEG2000. The code stream includes a main header and one or more tile data. Each tile data is composed of a tile header and a plurality of layers obtained by dividing the code in the tile into code units (to be described later) called layers.
パケットは、符号データの最小単位であり、１つのタイルコンポーネント内の１つの解像度レベル(デコンポジションレベル)における１つのプレシンクト内の１つのレイヤの符号データから成っている。 The packet is a minimum unit of code data, and is composed of code data of one layer in one precinct at one resolution level (decomposition level) in one tile component.
次に、JPEG2000におけるプログレッシブ順序について説明する。JPEG2000では、画質(レイヤ(L))、解像度(R)、コンポーネント(C)、位置(プレシンクト(P))という４つの画像の要素の優先順位を変更することによって、以下に示す５通りのプログレッション（プログレッシブ順序）が定義されている。 Next, the progressive order in JPEG2000 will be described. In JPEG2000, by changing the priority order of the four image elements of image quality (layer (L)), resolution (R), component (C), and position (precinct (P)), the following five progressions (Progressive order) is defined.
・LRCPプログレッション：プレシンクト、コンポーネント、解像度レベル、レイヤの順序に復号されるため、レイヤのインデックスが進む毎に画像全面の画質が改善されることになり、画質プログレッションを実現できる。レイヤプログレッションとも呼ばれる。 LRCP progression: Since decoding is performed in the order of precinct, component, resolution level, and layer, the image quality of the entire image is improved each time the layer index is advanced, and image quality progression can be realized. Also called layer progression.
・RLCPプログレッション：プレシンクト、コンポーネント、レイヤ、解像度レベルの順序に復号されるため、解像度プログレッションを実現できる。 RLCP progression: Decoding is performed in the order of precinct, component, layer, and resolution level, so that resolution progression can be realized.
・RPCLプログレッション：レイヤ、コンポーネント、プレシンクト、解像度レベルの順序に復号されるため、RLCPプログレッションと同様、解像度プログレッションであるが、特定位置（プレシンクト）の優先度を高くすることができる。 RPCL progression: Since decoding is performed in the order of layer, component, precinct, and resolution level, as with RLCP progression, although it is resolution progression, the priority of a specific position (precinct) can be increased.
・PCRLプログレッション：レイヤ、解像度レベル、コンポーネント、プレシンクトの順序に復号されるため、特定部分の復号が優先されるようになり空間位置プログレッションを実現できる。 PCRL progression: Since decoding is performed in the order of layer, resolution level, component, and precinct, decoding of a specific part is prioritized and spatial position progression can be realized.
・CPRLプログレッション：レイヤ、解像度レベル、プレシンクト、コンポーネントの順序に復号されるため、例えばカラー画像のプログレッシブ復号の際に、最初にグレーの画像を再現するようなコンポーネント・プログレッションを実現できる。 CPRL progression: Since decoding is performed in the order of layer, resolution level, precinct, and component, for example, in the case of progressive decoding of a color image, component progression that first reproduces a gray image can be realized.
図３０の（Ａ）はLRCPプログレッション(以下、レイヤプログレッション)のプログレッシブ順序を、(Ｂ)はRLCPプログレッションまたはRPCLプログレッション(以下、解像度プログレッション)のプログレッシブ順序を、それぞれ模式的に表した図である。横軸はデコンポジションレベル(レベルが高いほど低解像度)であり、縦軸はレイヤ番号である(番号が大きいほど下位レイヤであり、上位レイヤに下位レイヤの符号を付加して復号することによって、より高画質な再生が可能となる)。図中、塗りつぶされた長方形は、各デコンポジションレベル、レイヤにおける符号を表し、その大きさは符号量の割合を模式的に示している。図中の点線の矢印は符号順序を表している。 30A is a diagram schematically showing the progressive order of LRCP progression (hereinafter referred to as layer progression), and FIG. 30B is a diagram schematically showing the progressive order of RLCP progression or RPCL progression (hereinafter referred to as resolution progression). The horizontal axis is the decomposition level (the higher the level, the lower the resolution), and the vertical axis is the layer number (the higher the number, the lower the layer, by decoding by adding the lower layer code to the upper layer, Higher quality playback is possible). In the figure, a filled rectangle represents a code in each decomposition level and layer, and its size schematically indicates a code amount ratio. Dotted arrows in the figure represent the code order.
(Ａ)の破線はレイヤプログレッションにおける復号順序（符号の順序）を表している。最上位のレイヤの全ての解像度の復号を行って次位（下位）のレイヤの復号を行う。ウェーブレット係数レベルでみれば、係数の上位bitから復号を行うことになり、徐々に画質が向上するプログレッシブ復号が可能である。 The broken line in (A) represents the decoding order (code order) in layer progression. Decoding of all resolutions of the highest layer is performed, and decoding of the next (lower) layer is performed. At the wavelet coefficient level, decoding is performed from the higher bits of the coefficient, and progressive decoding with gradually improving image quality is possible.
(Ｂ)の破線は解像度プログレッションにおける復号順序（符号の順序）を表している。最も高いデコンポジションレベルの全てのレイヤの復号を行った後に次のデコンポジションレベルの復号を行うことになり、徐々に解像度が向上するプログレッシブ復号が可能である。 The broken line in (B) represents the decoding order (code order) in resolution progression. After decoding all the layers having the highest decomposition level, decoding of the next decomposition level is performed, and progressive decoding with gradually improving resolution is possible.
なお、図３０においてはコンポーネント及びプレシンクトの概念が省略されているので、その理解のために、ＬＲＣＰプログレッションとＲＬＣＰプログレッションにおけるパケットの並び方を模式的に図３１と図３２に例示する。 In FIG. 30, the concept of components and precincts is omitted. For understanding, the arrangement of packets in LRCP progression and RLCP progression is schematically illustrated in FIGS. 31 and 32.
さて、近年、スキャナ、プリンタ、コピー等の機能を統合した複写機（マルチファンクションプリンタ；MFP)の普及がめざましい。このようなＭＦＰは、ハードディスク装置(以下HDD)等の大容量の記憶装置を備え、複数部数の原稿を１度だけ読み込み、その画像データをＨＤＤ等に記憶(蓄積)しておくことにより、その原稿をページ順に複数部数、出力する”電子ソート”と呼ばれる機能や、用紙のミスフィード(紙づまり)等のエラーにより複数のプリントがエラーした場合でも、原稿の再読み込みをすることなく自動的に再プリントを行うような機能を備えている。また、このようなスタンドアロンで使用される機能のほかに、スキャンした画像データをパソコンに転送したり、E-mailに添付して送信したり、スキャンした画像データをＨＤＤ内に一旦蓄積し、それを必要に応じてパソコン等へ転送する、ネットワーク経由の文書配信機能を備えている。 In recent years, copying machines (multifunction printers; MFPs) that integrate functions such as scanners, printers, and copiers have become very popular. Such an MFP includes a large-capacity storage device such as a hard disk device (hereinafter referred to as HDD), reads a plurality of originals only once, and stores (accumulates) the image data in the HDD or the like. Even if multiple print errors occur due to a function called “electronic sort” that outputs multiple copies of a document in page order, or an error such as paper misfeed (paper jam), the document is automatically read without re-reading. A function to perform reprinting is provided. In addition to these stand-alone functions, scanned image data can be transferred to a PC, sent as an e-mail attachment, or scanned image data can be temporarily stored in the HDD. A document distribution function via a network is provided to transfer files to a personal computer as necessary.
しかし、従来、このようなＭＦＰから文書画像をプログレッシブ符号化してパソコン等へ転送し、パソコン等でプログレッシブ復号を行っても、転送の早期の段階では、文書の全体のレイアウトは把握できるものの、文字が判読不可能であるため文書の内容を把握できないことが多いという問題があった。 However, conventionally, even if a document image is progressively encoded from such an MFP and transferred to a personal computer or the like, and the progressive decoding is performed by the personal computer or the like, the overall layout of the document can be grasped at an early stage of transfer, but the character There is a problem that the contents of the document cannot often be grasped because of being unreadable.
このような問題の解決のために、例えば特許文献１に記載されている技術の利用が考えられる。特許文献１に記載の技術は、画像データをその属性に従って区分するレイアウト解析を行い、レイアウト解析により区分された領域の各々をタイルに分割し、分割によって得られたタイルに含まれる画像データの属性をタイルの属性として対応付け、対応付けされたタイルの属性に従ってプログレッシブ順序を切替えて符号化するというものである。より具体的には、文字属性のタイルはSNRプログレッション(レイヤプログレッション)を選択し、文字以外のタイルは解像度プログレッションを選択するものである。
In order to solve such a problem, for example, use of the technique described in
しかし、このようなプログレッシブ順序を切り替える方式には別の問題がある。例えば、文字の含まれているタイルと文字の含まれていないタイルの境界部分でプログレッシブ順序が切り替わるため、それが画像上に違和感となって現れやすい。また、地図やチラシ等でよく見られる絵柄上の文字は”写真”属性と誤判定される場合があるが、その場合には解像度プログレッションとなるため文字判読性が低下するおそれがある。 However, there is another problem with the method of switching the progressive order. For example, since the progressive order is switched at the boundary between a tile including characters and a tile not including characters, it tends to appear uncomfortable on the image. In addition, characters on a pattern often seen on a map, a flyer, or the like may be erroneously determined as a “photo” attribute.
なお、本発明においては画像種別を判定する領域判定技術が利用される。領域判定に関する公知文献は極めて多いが、その例として特許文献２，３，４を挙げることができる。
In the present invention, an area determination technique for determining the image type is used. There are a large number of publicly-known documents related to area determination, and examples thereof include
前記問題点に鑑み、本発明は、符号ストリームのプログレッシブ復号の早い段階で画像内容の把握を可能にするための、新規な画像処理装置及び画像処理方法を提供しようとするものである。 In view of the above problems, the present invention is intended to provide a novel image processing apparatus and image processing method for enabling grasping of image contents at an early stage of progressive decoding of a code stream.
請求項１の発明は、画像の符号化処理を行って、レイヤプログレッションのプログレッシブ符号ストリームを出力する符号化手段と、画像の画像種別を所定のブロック単位で判定する領域判定手段とを有し、前記符号化手段において前記レイヤプログレッションのプログレッシブ符号ストリームを生成するための符号ストリーム生成手段は、前記レイヤプログレッションのプログレッシブ符号ストリームの各レイヤに含める符号及び符号量を、ブロック毎に、前記領域判定手段による判定結果に従って制御する手段を含むことを特徴とする画像処理装置である。
The invention of
請求項２の発明は、画像の符号ストリームを記憶する記憶手段と、画像の画像種別を所定のブロック単位で判定する領域判定手段と、前記記憶手段に記憶されている符号ストリームを取り込み、該符号ストリームから、レイヤプログレッションのプログレッシブ符号ストリームを生成する符号ストリーム生成手段とを有し、前記符号ストリーム生成手段は、前記レイヤプログレッションのプログレッシブ符号ストリームの各レイヤに含める符号及び符号量を、ブロック毎に、前記領域判定手段による判定結果に従って制御する手段を含むことを特徴とする画像処理装置である。
The invention of
請求項３の発明は、前記符号ストリーム生成手段に含まれる前記制御する手段が、前記レイヤプログレッションのプログレッシブ符号ストリームのレイヤ単位の符号量を予め決められた設定符号量に制御することを特徴とする請求項１又は２の発明による画像処理装置である。
The invention according to
請求項４の発明は、前記符号ストリーム生成手段に含まれる前記制御する手段が、前記レイヤプログレッションのプログレッシブ符号ストリームのレイヤ単位の設定符号量を、前記領域判定手段による判定結果に従って切り替えることを特徴とする請求項３の発明による画像処理装置である。
The invention according to
請求項５の発明は、前記領域判定手段により判定される画像種別に文字、黒文字、色文字及び網点のうちの少なくとも１つが含まれることを特徴とする請求項１，２，３又は４の発明による画像処理装置である。 According to a fifth aspect of the present invention, at least one of a character, a black character, a color character, and a halftone dot is included in the image type determined by the region determining means. An image processing apparatus according to the invention.
請求項６の発明は、前記領域判定手段が、画像の符号化処理の過程において生成される画像の周波数変換係数に基づいて画像種別を判定することを特徴とする請求項１又は２の発明による画像処理装置である。
The invention according to claim 6 is the invention according to
請求項７の発明は、前記領域判定手段が、前記符号ストリーム生成手段に取り込まれた符号ストリームに基づいて画像種別を判定することを特徴とする請求項２の発明による画像処理装置である。
The invention according to
請求項８の発明は、画像の符号化処理を行って、レイヤプログレッションのプログレッシブ符号ストリームを出力する符号化手段と、画像の特徴量を所定のブロック単位で検出する特徴量検出手段と、前記符号化手段において前記レイヤプログレッションのプログレッシブ符号ストリームを生成するための符号ストリーム生成手段は、前記レイヤプログレッションのプログレッシブ符号ストリームの各レイヤに含める符号及び符号量を、ブロック毎に、前記特徴量検出手段により検出された特徴量に従って多段階に制御する手段を含むことを特徴とする画像処理装置である。 According to an eighth aspect of the present invention, there is provided an encoding unit that performs an image encoding process and outputs a progressive code stream of a layer progression, a feature amount detection unit that detects an image feature amount in a predetermined block unit, and the code The code stream generating means for generating the progressive code stream of the layer progressive in the converting means detects the code and code amount included in each layer of the progressive code stream of the layer progressive by the feature quantity detecting means for each block According to another aspect of the present invention, there is provided an image processing apparatus including means for performing control in multiple stages according to the feature amount.
請求項９の発明は、画像の符号ストリームを記憶する記憶手段と、画像の特徴量を所定のブロック単位で検出する特徴量検出手段と、前記記憶手段に記憶されている符号ストリームを取り込み、該符号ストリームから、レイヤプログレッションのプログレッシブ符号ストリームを生成する符号ストリーム生成手段とを有し、前記符号ストリーム生成手段は、前記レイヤプログレッションのプログレッシブ符号ストリームの各レイヤに含める符号及び符号量を、ブロック毎に、前記特徴量検出手段により検出された特徴量に従って多段階に制御する手段を含むことを特徴とする画像処理装置である。
The invention of
請求項１０の発明は、前記符号ストリーム生成手段に含まれる前記制御する手段が、前記レイヤプログレッションのプログレッシブ符号ストリームのレイヤ単位の符号量を予め決められた設定符号量に制御することを特徴とする請求項８又は９の発明による画像処理装置である。
The invention of
請求項１１の発明は、前記符号ストリーム生成手段に含まれる前記制御する手段が、前記レイヤプログレッションのプログレッシブ符号ストリームのレイヤ単位の設定符号量を、前記特徴量検出手段により検出された特徴量に従って多段階に切り替えることを特徴とする請求項１０の発明による画像処理装置である。
According to an eleventh aspect of the present invention, the control means included in the code stream generation means increases the set code quantity for each layer of the progressive code stream of the layer progression according to the feature quantity detected by the feature quantity detection means. The image processing apparatus according to
請求項１２の発明は、前記特徴量検出手段により検出される画像の特徴量がエッジ量であることを特徴とする請求項８，９，１０又は１１の発明による画像処理装置である。 According to a twelfth aspect of the invention, there is provided the image processing apparatus according to the eighth, ninth, tenth or eleventh aspect of the invention, wherein the feature quantity of the image detected by the feature quantity detecting means is an edge quantity.
請求項１３の発明は、前記特徴量検出手段が、画像の符号化処理の過程において生成される画像の周波数変換係数に基づいて特徴量を検出することを特徴とする請求項８又は９の発明による画像処理装置である。 According to a thirteenth aspect of the present invention, the feature quantity detecting means detects a feature quantity based on a frequency conversion coefficient of an image generated in the course of an image encoding process. Is an image processing apparatus.
請求項１４の発明は、前記特徴量検出手段が、前記符号ストリーム生成手段に取り込まれた符号ストリームに基づいて特徴量を検出することを特徴とする請求項９の発明による画像処理装置である。
The invention according to
請求項１５の発明は、画像のプログレッシブ符号ストリームを受信してレイヤプログレッションのプログレッシブ復号を行う画像処理装置であって、画像の画像種別を所定のブロック単位で判定する領域判定手段と、受信したプログレッシブ符号ストリームに対するレイヤプログレッションのプログレッシブ復号において各レイヤに含める符号及び符号量を、ブロック毎に、前記領域判定手段による判定結果に従って制御する手段とを有することを特徴とする画像処理装置である。
The invention according to
請求項１６の発明は、画像のプログレッシブ符号ストリームを受信してレイヤプログレッションのプログレッシブ復号を行う画像処理装置であって、画像の特徴量を所定のブロック単位で検出する特徴量検出手段と、受信したプログレッシブ符号ストリームに対するレイヤプログレッションのプログレッシブ復号において各レイヤに含める符号及び符号量を、ブロック毎に、前記特徴量検出手段により検出された特徴量に従って多段階に制御する手段とを有することを特徴とする画像処理装置である。
The invention according to
請求項１７の発明は、画像の画像種別を所定のブロック単位で判定する領域判定工程と、画像のレイヤプログレッションのプログレッシブ符号ストリームを生成する符号ストリーム生成工程とを有し、前記符号ストリーム生成工程は、前記レイヤプログレッションのプログレッシブ符号ストリームの各レイヤに含める符号及び符号量を、ブロック毎に、前記領域判定手段による判定結果に従って制御する工程を含むことを特徴とする画像処理方法である。
The invention of
請求項１８の発明は、画像の多値の特徴量を所定のブロック単位で検出する特徴量検出工程と、画像のレイヤプログレッションのプログレッシブ符号ストリームを生成する符号ストリーム生成工程とを有し、前記符号ストリーム生成工程は、前記レイヤプログレッションのプログレッシブ符号ストリームの各レイヤに含める符号及び符号量を、ブロック毎に、前記特徴量検出工程により検出された特徴量に従って多段階に制御する工程を含むことを特徴とする画像処理方法である。
The invention according to
請求項１９の発明は、画像のプログレッシブ符号ストリームを受信してレイヤプログレッションのプログレッシブ復号を行う画像処理方法であって、画像の画像種別を所定のブロック単位で判定する領域判定工程と、受信したプログレッシブ符号ストリームに対するレイヤプログレッションのプログレッシブ復号において各レイヤに含める符号及び符号量を、ブロック毎に、前記領域判定工程による判定結果に従って制御する工程とを有することを特徴とする画像処理方法である。
The invention of
請求項２０の発明は、画像のプログレッシブ符号ストリームを受信してレイヤプログレッションのプログレッシブ復号を行う画像処理方法であって、画像の特徴量を所定のブロック単位で検出する特徴量検出工程と、受信したプログレッシブ符号ストリームに対するレイヤプログレッションのプログレッシブ復号において各レイヤに含める符号及び符号量を、ブロック毎に、前記特徴量検出工程により検出された特徴量に従って多段階に制御する工程とを有することを特徴とする画像処理装方法である。
The invention of
請求項２１の発明は、請求項１乃至１６のいずれか１項の発明による画像処理装置の各手段としてコンピュータを機能させるプログラムである。 A twenty-first aspect of the invention is a program that causes a computer to function as each unit of the image processing apparatus according to any one of the first to sixteenth aspects of the invention.
請求項２２の発明は、請求項２１の発明によるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体である。 A twenty-second aspect of the invention is a computer-readable information recording medium on which a program according to the twenty-first aspect of the invention is recorded.
請求項１乃至７，１７の発明によれば、領域判定結果に従ったレイヤ分割構成の制御により、画像種別に適したレイヤ分割構成を有するプログレッシブ符号ストリームを生成できるため、それを外部装置へ転送してプログレッシブ復号する場合などに、転送もしくは復号の早い段階で画像内容の把握を可能にすることができる。また、プログレッシブ符号ストリームのプログレッシブ順序は領域判定結果によって切り替えられないため、画像種別の異なる領域の境界部に、プログレッシブ順序を切り替える方法に見られるような違和感を生じない。また、請求項２の発明によれば、記憶手段に記憶される符号ストリームのプログレッシブ順序や階層分割構成は任意であり、必ずしもプログレッシブである必要もないため、画像処理装置の内部での利用に適した構成の符号ストリームを記憶手段に記憶しておくことができ、一方、外部装置から要求された場合に、レイヤプログレッションの、画像種別に適したレイヤ分割構成のプログレッシブ符号ストリームを生成することができる。また、請求項３，４の発明によればプログレッシブ符号ストリームのレイヤ単位の符号量を保証でき、このことは低速の転送路を介して外部装置へ転送する場合などに有利である。さらに請求項４の発明によれば、例えば、非文字領域に比べ文字領域におけるレイヤ単位の設定符号量を大きくすることにより、プログレッシブ符号ストリームの転送、復号の早い段階での文字判読性を向上させることができる。また、請求項６，７の発明によれば、符号化処理又は符号ストリーム生成処理のためのハードウェア又はソフトウェアの内部で領域判定処理を完結させることができ、また領域判定処理も比較的簡易な処理とすることができるため、領域判定に関わるハードウェアやソフトウェアの簡略化に一般に有利である、等々の効果を得られる。
According to the first to seventh and seventeenth aspects of the present invention, a progressive code stream having a layer division configuration suitable for the image type can be generated by controlling the layer division configuration according to the region determination result, so that it is transferred to an external device. In the case of progressive decoding, it is possible to grasp the image contents at an early stage of transfer or decoding. In addition, since the progressive order of the progressive code stream is not switched depending on the region determination result, there is no sense of incongruity as seen in the method of switching the progressive order at the boundary between regions of different image types. According to the second aspect of the present invention, the progressive order and the hierarchical division configuration of the code stream stored in the storage means are arbitrary, and need not be progressive, so that they are suitable for use inside the image processing apparatus. structure of the code stream can be stored in the storage means has, on the other hand, can when requested by an external device, generating a progressive code streams of the layer divided structure suitable for layer progression, the image type . According to the invention of
請求項８乃至１４，１８の発明によれば、特徴量に従ったレイヤ分割構成の制御により、画像種別に適したレイヤ分割構成を有するプログレッシブ符号ストリームを生成できるため、それを外部装置へ転送してプログレッシブ復号する場合などに、転送もしくは復号の早い段階で画像内容の把握を可能にすることができる。また、領域判定結果に従ってレイヤ分割構成を制御する構成では、誤判定領域で本来の画像種別とは別の画像種別に対応したレイヤ分割構成とされる結果、復号画像に違和感を生じやすいが、レイヤ分割構成を特徴量に従って段階的に制御することにより、そのような違和感は生じにくくなる。また、プログレッシブ符号ストリームのプログレッシブ順序は特徴量によらず一定であるため、特徴量の異なる領域の境界部に、プログレッシブ順序を切り替える方法に見られるような違和感を生じない。また、請求項９の発明によれば、記憶手段に記憶される符号ストリームのプログレッシブ順序や階層分割構成は任意であり、必ずしもプログレッシブである必要もないため、画像処理装置の内部での利用に適した構成の符号ストリームを記憶手段に記憶しておくことができ、一方、外部装置から要求された場合に、レイヤプログレッションの、画像種別に適したレイヤ分割構成のプログレッシブ符号ストリームを生成することができる。また、請求項１０，１１の発明によればプログレッシブ符号ストリームのレイヤ単位の符号量を保証でき、このことは低速の転送路を介して外部装置へ転送する場合などに有利である。さらに請求項１１の発明によれば、例えば、非文字領域に比べ文字領域におけるレイヤ単位の設定符号量を大きくすることにより、プログレッシブ符号ストリームの転送、復号の早い段階での文字判読性を向上させることができる。また、請求項１２の発明では特徴量としてエッジ量を検出するが、エッジ量はエントロピー符号化の符号量との対応や文字らしさとの対応が良好であるため、文字判読性を向上させるようなレイヤ分割構成制御を的確に行うことができる。また、請求項１３，１４の発明によれば符号化処理又は符号ストリーム生成処理のためのハードウェア又はソフトウェアの内部で特徴量検出処理を完結させることができ、また特徴量検出処理も比較的簡易な処理とすることができるため、特徴量検出に関わるハードウェアやソフトウェアの簡略化に一般に有利である、等々の効果が得られる。
According to the eighth to fourteenth and eighteenth aspects of the present invention, a progressive code stream having a layer division configuration suitable for the image type can be generated by controlling the layer division configuration according to the feature quantity, so that it is transferred to an external device. Thus, in the case of progressive decoding, it is possible to grasp the image content at an early stage of transfer or decoding. In the configuration for controlling the layer divided configuration in accordance with area determination result, the result of the original image type in erroneous determination region is a layer divided configuration corresponding to a different image type, but susceptible to discomfort in the decoded image, the layer By controlling the divided configuration in stages according to the feature amount, such a sense of incongruity is less likely to occur. In addition, since the progressive order of the progressive code stream is constant regardless of the feature amount, there is no sense of incongruity as seen in the method of switching the progressive order at the boundary between regions having different feature amounts. According to the ninth aspect of the present invention, the progressive order and the hierarchical division configuration of the code stream stored in the storage means are arbitrary, and need not be progressive, and are therefore suitable for use inside the image processing apparatus. structure of the code stream can be stored in the storage means has, on the other hand, can when requested by an external device, generating a progressive code streams of the layer divided structure suitable for layer progression, the image type . Further, according to the inventions of
請求項１５，１９の発明によれば、受信した符号ストリームのプログレッシブ復号のレイヤ分割構成が領域判定結果に従って制御されるため、復号の早い段階で画像内容の把握を可能にすることができる。また、復号のプログレッシブ順序は領域判定結果に応じて切り替えられないため、画像種別の異なる領域の境界部に、プログレッシブ順序を切り替える方法に見られるような違和感を生じない、等々の効果を得られる。 According to the fifteenth and nineteenth aspects of the present invention, the layer division configuration of the progressive decoding of the received code stream is controlled according to the region determination result, so that the image content can be grasped at an early stage of decoding. In addition, since the progressive order of decoding cannot be switched according to the region determination result, it is possible to obtain an effect such as not causing a sense of incongruity as seen in the method of switching the progressive order at the boundary between regions of different image types.
請求項１６，２０の発明によれば、受信した符号ストリームのプログレッシブ復号のレイヤ分割構成が特徴量に従って段階的に制御されるため、復号の早い段階で画像内容の把握を可能にすることができる。また、領域判定結果に従って階層分割構成を制御する構成では、誤判定領域で本来の画像種別とは異なった画像種別に適したレイヤ分割構成とされる結果、復号画像に違和感を生じやすいが、レイヤ分割構成を特徴量に従って段階的に制御する構成であるため、そのような違和感は生じにくい。また、プログレッシブ順序は特徴量によらず一定であるため、特徴量の異なる領域の境界部に、プログレッシブ順序を切り替える方法に見られるような違和感を生じない、等々の効果を得られる。
According to the inventions of
また、請求項２１，２２の発明によれば、コンピュータを利用し請求項１乃至２０の発明を容易に実施することができる。
According to the inventions of
本発明の実施の形態の例として、図１に示すようなサーバ／クライアント環境で用いられる画像処理装置を挙げることができる。 As an example of an embodiment of the present invention, an image processing apparatus used in a server / client environment as shown in FIG. 1 can be cited.
図１において、サーバ１はＭＦＰなどの画像処理装置であり、クライアント３はプログレッシブ復号処理の可能な画像処理装置やパソコンなどである。サーバ１とクライアント３の間の転送路２は、例えばＬＡＮ、イントラネット、インターネットなどのネットワークの回線である。サーバ１は、クライアント３からのコマンドを受信し、画像のプログレッシブ符号ストリームを送信する。クライアント３は、プログレッシブ符号ストリームを受信してプログレッシブに復号を行うことにより、モニタ装置４に画像を段階的に画質が向上するように表示する。
In FIG. 1, a
請求項１〜１４，１７，１８の発明は、サーバ１として用いられるＭＦＰなどの画像処理装置に関わるものである。また、請求項１５，１６，１９，２０の発明は、クライアント３として用いられる画像処理装置に関わるものである。ただし、本発明は、画像のプログレッシブ符号ストリームを生成し、それをプログレッシブ復号する機能を持つスタンドアローンの画像処理装置にも適用し得るものである。
The inventions of
以下、本発明の実施の形態を、いくつかの実施例に関し詳細に説明する。なお、説明の重複を減らすため、説明中で参照される複数の図面において同一部分又は対応部分には同一の参照符号を付し、また、一部の図面を複数の実施例の説明に利用する。また、各実施例における圧縮符号化方式として、先に概要を説明したＪＰＥＧ２０００の基本方式を想定する。 Hereinafter, embodiments of the present invention will be described in detail with reference to several examples. In addition, in order to reduce duplication of description, the same reference numerals are given to the same or corresponding parts in a plurality of drawings referred to in the description, and some drawings are used for the description of a plurality of embodiments. . Further, the JPEG 2000 basic method, which has been outlined above, is assumed as the compression encoding method in each embodiment.
図２は、本実施例に係る画像処理装置のブロック図である。この画像処理装置は、サーバ１として利用し得るＭＦＰであり、原稿を読み取るスキャナ部９、スキャナ部９から入力された画像データに対し公知のγ補正処理や空間フィルタ処理等の画像処理を行うスキャナ画像処理部11、スキャナ９から入力された画像データによって像域分離処理を行う像域分離処理部10、画像データの符号化処理を行って符号ストリームを出力するエンコーダ12、装置全体の動作命令やコントローラユニット内のデータ処理を行うＣＰＵ13、画像データや圧縮符号化された符号データを一時的に記憶するワーク領域として使用される揮発性のメモリ14、符号データ等を保存、蓄積するためのハードディスク装置(ＨＤＤ)15、操作者とのインターフェースである、スタートボタンや動作モード等の設定ボタンなどを有する操作部16、外部転送路２を介してクライアント３等の外部機器とデータを送受信する外部転送路インターフェース（Ｉ／Ｆ）17、符号データを復号処理して画像データを出力するデコーダ18、画像データに公知の色補正処理、γ変換処理、擬似階調処理等を施すプリンタ画像処理部19、前記構成要素12〜18を接続するバス20、プリンタ画像処理部19より入力される画像データを記録紙等の記録媒体へ出力するプリンタ部21から構成されている。
FIG. 2 is a block diagram of the image processing apparatus according to the present embodiment. This image processing apparatus is an MFP that can be used as the
まず、この画像処理装置における基本的な複写動作について説明する。ユーザにより操作部16上のスタートボタン（図示無し)が押下されると、操作部16よりバス20を介して信号を受信したＣＰＵ13は、複写動作に先立ち必要なパラメータの設定等を行った後、所定の複写動作のための制御を行う。
First, a basic copying operation in this image processing apparatus will be described. When a start button (not shown) on the
スキャナ部９は、原稿をスキャンして図示しないCCDによって光電変換を行い、デジタル信号であるRed(R),Green(G),Blue(B)のカラー画像データへと変換して出力する。スキャナから出力された画像データに対しスキャナ画像処理部11で公知の画像処理が行われ、また、この画像データに基づいて像域分離処理部10で像域分離処理が行われる。スキャナ画像処理部11における画像処理の内容は、本発明において特に限定されるものではないが、その例をあげれば、CCDから読込まれた反射率属性の信号を、濃度属性に変換するγ変換やlog変換、スキャナ光学系のＭＴＦの劣化補正、モアレ抑制を目的とした空間フィルタ処理、原稿地肌を除去する地肌除去処理、スキャナの色空間を例えばsRGBなどの標準色空間へと変換する色変換処理等が考えられる。なお、このような処理において、像域分離処理部10から出力される分離信号を使用して、文字部と非文字部にて異なる処理を行うように構成してもよい。
The
像域分離処理部10では、画像を画素単位にて文字と非文字に像域分離を行い、１bitの分離信号を出力する。ここでの像域分離処理には公知の像域分離処理技術を使用すればよく、その処理方法は特に限定されないが、その好適な方法の一例として特許文献２に記載された像域分離方法がある。その概要は次の通りである。
The image area
ＲＧＢ画像データの場合に、Ｇデータに関し、無地上文字領域の判定と網点上文字領域の判定を行う。無地上文字領域の判定においては、Ｇデータをエッジ強調フィルタを適用してから２つの閾値を用いて白、黒、その他に３値化し、黒エッジパターン及び白エッジパターンとのマッチングを行い、例えば５×５画素のブロック内に白エッジパターンと一致する画素及び黒エッジパターンと一致する画素がそれぞれ１個以上存在する場合には、そのブロック（又は中心画素）を無地上文字領域と判定する。網点上文字領域の判定においては、Ｇデータを平滑化フィルタを適用してから別の２つの閾値を用いて白、黒、その他に３値化し、黒エッジパターン及び白エッジパターンとのマッチングを行い、５×５画素のブロック内に白エッジパターンと一致する画素及び黒エッジパターンと一致する画素がそれぞれ１個以上存在する場合には、そのブロック（又は中心画素）を網点上文字領域と判定する。そして、無地上文字領域又は網点上文字領域と判定された画素を最終的に文字領域とし、それ以外の画素を最終的に非文字領域とする。 In the case of RGB image data, for the G data, the determination of the plain character area and the determination of the halftone dot character area are performed. In the determination of the plain text region, the G data is applied to the edge enhancement filter, and then ternarized into white, black, and others using two threshold values, and matching with the black edge pattern and the white edge pattern is performed. If there are one or more pixels matching the white edge pattern and one pixel matching the black edge pattern in the 5 × 5 pixel block, the block (or the central pixel) is determined as a non-ground character area. In the determination of the character area on the halftone dot , the G data is applied with a smoothing filter and then ternarized into white, black, and others using another two threshold values, and matching with the black edge pattern and the white edge pattern is performed. If there are one or more pixels that match the white edge pattern and one that matches the black edge pattern in the 5 × 5 pixel block, the block (or the center pixel) is designated as a half-dot character area. judge. Then, a pixel determined to be a plain character area or a halftone dot character area is finally set as a character area, and other pixels are finally set as non-character areas.
このような画像データに基づいた像域分離方法は、画素単位の精度の高い像域分離が可能であり、したがって、像域分離結果を利用することによりタイルの領域判定を精度よく行うことができる。なお、後述のようにエンコーダ12において色変換が行われるため、色変換後のＹ信号を用いて同様の像域分離を行ってもよく、かかる態様も本実施例に包含される。
The image area separation method based on such image data enables high-accuracy image area separation in units of pixels . Therefore, it is possible to accurately determine the tile area by using the image area separation result. . Since color conversion is performed in the
スキャナ画像処理部11により処理された画像データと、像域分離処理部10より出力される分離信号は、エンコーダ12に入力される。エンコーダ12において、画像データは分離信号に応じて圧縮符号化され、符号ストリームが生成される。エンコーダ12は本発明に直接関連する部分であり、その詳細は後述する。
The image data processed by the scanner
エンコーダ12からバス20に出力された符号ストリームはメモリ14に一旦記憶され、その後、メモリ14から読み出されてＨＤＤ15に保存される。また、ＨＤＤ15への保存と並行して、符号ストリームはデコーダ18に入力され復号処理が行われる。上記のようなバスの制御は、ＣＰＵ13によって行われる。
The code stream output from the
なお、通常、このようにバスに接続されたメモリへのデータの書き込みアクセスは、バスに接続された各処理部がＤＭＡ(Direct Memory Accsess)によって数十バイトから数キロバイトの一定量のデータ単位で行われるので、バスの接続部はバッファとＤＭＡコントローラで構成されているのが一般的であるが、説明の簡略化のためＤＭＡコントローラは省略されている。また、メモリからのデータの読み込みも同様にＤＭＡによって行われるので入力バッファメモリが必要となるが、これも省略されている。 Normally, data write access to the memory connected to the bus in this way is performed by each processing unit connected to the bus in a certain data unit of several tens of bytes to several kilobytes by DMA (Direct Memory Access). In general, the bus connection section is composed of a buffer and a DMA controller, but the DMA controller is omitted for the sake of simplicity. In addition, since reading of data from the memory is similarly performed by DMA, an input buffer memory is necessary, but this is also omitted.
また、ＨＤＤ15への符号データの保存の際にメモリ14への書き込みを介在させているが、その理由は次の通りである。ＨＤＤは、ディスクの中心に近い側と遠い側等で読み出し／書き込み速度が変化したり、読み出し／書き込みエラー等を生じる可能性があり、半導体メモリと比較すると同期信号の読み出し／書き込みには向かないデバイスである。そのため、同期信号であるエンコーダ12の出力データを直接書き込まずに、一旦メモリ14に記憶された符号データを非同期に書き込み安定的に使用するためである。読み出し時も同様である。ただし、１ページ単位のマクロ的にみれば、ＨＤＤも同期して動作することになる。
Further, when the code data is stored in the
なお、ＨＤＤ15に保存された符号データは、複写時に紙詰まり等が発生した場合のバックアップや、多ページの原稿を多部数、ページ順に出力する電子ソート機能、外部機器へのデータ配信等に利用される。
The code data stored in the
デコーダ18は、メモリ14から符号ストリームが入力されると、所定の復号処理を行い画像データをプリンタ画像処理部19に出力する。プリンタ画像処理部19での画像処理は、スキャナ画像処理部11と同様、本発明において特に限定されることはないが、例をあげれば、RGB信号をプリンタの色材信号、例えばCyan(C),Magenta(M),Yellow(Y),Black(K)へ変換しカラーマッチングを行う色補正、墨生成、画像データのγ特性をプリンタ21のγ特性に合わせるγ補正、ディザや誤差拡散といったハーフトーンへの変換を行う擬似階調処理等が考えられる。このような画像処理が行われた画像データは、プリンタ21にて記録紙などに印字されて出力され、複写動作が完了する。
When the code stream is input from the
複写動作完了後には、ＨＤＤ15内に複写動作途中の画像データが圧縮符号化された状態で保存されたことになる。このようにＨＤＤ15内に画像データを保存しておくことによって、画像データを外部機器へ転送したり、必要になった時に再プリントをすることが可能となる。なお、原稿をＨＤＤ15内に電子データとして保存することのみ必要な場合は、デコーダ18以降の処理は行われない。
After the copying operation is completed, the image data in the middle of the copying operation is stored in the
次に、エンコーダ12について説明する。図３は、本実施例に係るエンコーダ12のブロック図である。このエンコーダ12は、JPEG2000基本方式に準拠した符号化手段であり、入力バッファ30と、符号化処理に直接関わる色変換処理部31、離散ウェーブレット変換（ＤＷＴ）処理部32、エントロピー符号化部35、ポスト量子化処理部36及び符号ストリーム生成処理部37と、領域判定処理部34とからなる。
Next, the
スキャナ画像処理部11及び像域分離処理部10より出力されるRGB画像データ及び分離データは入力バッファ30に一旦蓄積され、タイル単位に読み出される。スキャナ９からの出力データはラスタデータの形式であるので、入力バッファ30でラスタ／ブロック変換が行われる。
The RGB image data and separation data output from the scanner
入力バッファ30より読み出された画像データは、色変換処理部31にて輝度/色差信号（YUV)に変換される。色変換後の信号は、ＤＷＴ処理部32において各々のコンポーネント毎にＤＷＴが行われる。ＤＷＴ処理部32から出力されたＤＷＴ係数は、エントロピー符号化部35にてエントロピー符号化される。エントロピー符号化された符号データは、ポスト量子化処理部36にて必要に応じて符号の切り捨てによるポスト量子化処理を施される。通常、スキャナにより入力された画像データにはノイズ成分が含まれている場合が多く、画質に影響しない程度にポスト量子化を行うことにより圧縮率を向上させることができる。ただし、可逆の符号を出力する場合は、ポスト量子化は行われない。ポスト量子化処理後の符号データは符号ストリーム生成処理部３７へ入力される。なお、ポスト量子化の代わりに、ＤＷＴ処理部32から出力されたＤＷＴ係数に対してスカラー量子化を行うように構成してもよい。
The image data read from the
一方、領域判定処理部34では、タイル単位で分離信号（文字の時に”１”となる１bit信号）のＯＲをとることによって、文字タイルであるか非文字タイルであるかの領域判定を行い、その結果を表す領域判定信号を出力する。この領域判定信号は符号ストリーム生成処理部３７へ入力される。なお、この領域判定信号をポスト量子化処理部36へ入力して、文字タイルと非文字タイルとでポスト量子化処理の内容を変更させる構成としてもよく、かかる態様も本実施例に含まれる。
On the other hand, the area
符号ストリーム生成処理部37では、ポスト量子化処理後の各タイルの符号データの符号を並べ替えることにより、所定のプログレッシブ順序（本実施例ではレイヤ（ＬＲＣＰ）プログレッション）によるプログレッシブ符号を生成し、当該タイル分のプログレッシブ符号ストリームを構成し、それをヘッダデータを付加してバス20を介しメモリ14へ出力する。この各タイルの符号ストリームの形成の際に、領域判定処理部34からの領域判定信号が文字タイルを示すか非文字タイルを示すかによって、符号ストリームの階層分割構成（ここではレイヤ分割構成、換言すれば符号の優先順位）を変更する。
The code stream
本実施例においては符号ストリームのプログレッシブ順序としてレイヤ(LRCP)プログレッションを使用する。解像度プログレッションでは、低解像度を復号した後、高解像度の復号というプログレッシブ順序になるので、文字等の高周波成分に高いエネルギーを有する画像では一般にレイヤプログレッションの方が適する。一方、レイヤプログレッションにおいては、上位bitから下位bit側への復号順序を守らなければならないという制約はあるものの、コードブロック単位でレイヤ境界は自由に設定可能であり、階層分割構成の自由度は高くなっている。これがレイヤプログレッションを使用する主たる理由である。 In the present embodiment, layer (LRCP) progression is used as the progressive order of the code stream. In the resolution progression, the progressive order of decoding the low resolution and then the high resolution is performed, so that the layer progression is generally suitable for an image having high energy in high frequency components such as characters. On the other hand, in layer progression, although there is a restriction that the decoding order from the upper bit to the lower bit must be observed, the layer boundary can be set freely in units of code blocks, and the degree of freedom of the hierarchical division configuration is high. It has become. This is the main reason for using layer progression.
ここまでの説明から明らかなように、符号ストリーム生成処理部37は請求項１の発明における符号ストリーム生成手段に対応し、領域判定処理部34は像域分離処理部10とともに請求項１の発明における領域判定手段を構成するものである。また、タイルが請求項１の発明におけるブロックに相当する。
As is apparent from the above description, the code stream
また、本実施例は請求項１７の発明の一実施例でもある。すなわち、符号ストリーム生成処理部３７による処理は請求項１７の発明における符号ストリーム生成工程に対応し、領域判定処理部34による処理は請求項１７の発明における領域判定工程に対応する。
This embodiment is also an embodiment of the invention of
ここで、文字タイル/非文字タイルの別によるレイヤ分割構成（階層分割構成）の制御について説明する。 Here, the control of the layer division configuration (hierarchical division configuration) by character tile / non-character tile will be described.
図４は、レイヤ分割構成を説明するための模式図であり、(Ａ)は文字タイル用のレイヤ分割構成を、(Ｂ)は非文字タイル用のレイヤ分割構成を表している。ここでは、説明の簡略化のため、デコンポジションレベル数２のウェーブレット変換としている。また、コンポーネント、プレシンクト、コードブロックの概念は省略されている。 4A and 4B are schematic diagrams for explaining the layer division configuration. FIG. 4A shows a layer division configuration for character tiles, and FIG. 4B shows a layer division configuration for non-character tiles. Here, in order to simplify the description, the wavelet transform with two decomposition levels is used. Further, the concepts of component, precinct, and code block are omitted.
図４において、横軸は各サブバンド名を、縦軸はレイヤ番号を表している。レイヤ数は４としているが、これは例にすぎない。図３０の（Ａ）と同様、図中の塗りつぶされた長方形は各サブバンド、各レイヤにおける符号を示し、その大きさは符号量の割合を模式的に表している。 In FIG. 4, the horizontal axis represents the name of each subband, and the vertical axis represents the layer number. Although the number of layers is four, this is only an example. As in FIG. 30A, the filled rectangles in the figure indicate codes in each subband and each layer, and the size schematically represents the ratio of the code amount.
文字タイルと非文字タイルのレイヤ分割構成の違いを説明する。特に、レイヤ０に特徴がある。
The difference between the character tile and non-character tile layered configurations will be described. In particular,
文字タイルにおいては、図４（Ａ）に示すように、最上位のレイヤ０から1HL、1LHサブバンドの符号を含ませることによって、高周波成分に高い値を持つ文字画像の再現性を高めている。但し、上位レイヤから符号量が大きくなる(圧縮率が低下する)ことをなるべく避けるため、斜め成分である1HHサブバンドの符号量は０とし、2HHサブバンドの符号量も2HL、2LHサブバンドと比較し小さくしている。
In the character tile, as shown in FIG. 4A, the reproducibility of the character image having a high value in the high frequency component is enhanced by including the codes of the
一方、非文字タイルにおいては、図４（Ｂ）に示すように、レイヤ０ではデコンポジションレベル１の成分の符号量を全て０として圧縮率の低下を防いでいる。レイヤ１では、高周波成分の上位bitを含ませている。デコンポジションレベルが高い(解像度が低い)成分であっても、下位bitはノイズ成分である可能性が高いので、そのような成分よりも高周波の上位bitを優先させることによって、エッジ等を含む写真の解像度をプログレッシブの早期段階から向上させることを意図したレイヤ分割構成としているわけである。CCD等の光電変換素子を使用して画像を取得する画像入力機器であるスキャナやデジタルカメラでは、画像にノイズ成分を含む場合が多いので、このようなレイヤ分割構成が特に有効である。
On the other hand, in the non-character tile, as shown in FIG. 4B, in
このようにレイヤ分割構成が制御されたレイヤプログレッションの符号ストリームは、外部Ｉ／Ｆ１７より外部転送路２を介しクライアント３などの外部機器へ転送しプログレッシブ復号するならば、転送もしくは復号の早い段階で文字の判読が可能になるため画像内容の把握が容易になる。また、画像の写真部等のエッジ部分の再生も早期の段階で高画質に再生可能となる。また、文字タイルと非文字タイルとで符号ストリームのプログレッシブ順序が切り替わることはないため、文字タイルと非文字タイルの境界部にプログレッシブ順序の違いによる違和感が生じることもない。
If the layer progression code stream in which the layer division configuration is controlled in this way is transferred from the external I /
図５に本実施例に係る符号ストリーム生成処理部37のブロック図を示す。図示のように、本実施例の符号ストリーム生成処理部37は、入力符号バッファ41、符号量カウンタ42、パターンテーブル43、セレクタ44、パケット生成処理部45、タイルヘッダ生成処理部46、及び、出力符号バッファ47から構成されている。なお、入力符号バッファ41と出力符号バッファ47を分割せず、同じメモリを使用するような構成にしてもよい。
FIG. 5 is a block diagram of the code stream
符号ストリーム生成処理動作は以下の通りである。ポスト量子化処理部36から出力された符号データは、入力符号バッファ41に、サブバンドのコードブロック単位で記憶される。入力符号バッファ41にはそれが模式的に表されており、CD1〜CD4・・・・はコードブロックと便宜上の番号を示している。なお、説明の簡略化のためにコンポーネントの概念は省略している。各々のコードブロックの符号は、図２８に示したようにサブビットプレーン単位に区切られて配置される。
The code stream generation processing operation is as follows. The code data output from the
また、符号データは符号量カウンタ42にも入力され、符号量カウンタ42によってコードブロックのサブビットプレーン単位で符号量がカウントされる。この符号量データは、パケット生成処理部45とタイルヘッダ生成部46に入力され、パケットヘッダとタイルヘッダの符号量情報に使用される。
The code data is also input to the
入力符号バッファ41にタイルの全ての符号データが入力されると、まずタイルヘッダ生成処理部46によってタイルヘッダと部分列用のタイルヘッダが生成され、出力符号バッファ47に書き込まれる。次に、パケット生成処理部45は、同一のレイヤ、デコンポジションレベル、コンポーネント、プレシンクトの単位でパケットデータとパケットヘッダを生成する。
When all the code data of the tile is input to the
パターンテーブル43は、レイヤ分割構成を制御するための情報（以下レイヤパターン）を格納する手段である。パターンテーブル43は、文字タイル用と非文字タイル用の２種類のレイヤパターンを記憶可能な容量を備えており、処理に先立ってＣＰＵ13によってバス20を介し２種類のレイヤパターンが設定される。本実施例における各レイヤパターンは、サブバンド単位に、”各レイヤにどのサブビットプレーンまでを含めるか”という情報である。例えば、レイヤ０には、2LLのMSBから上位4bit+5bit目のSignificance propagationパスまで、2HLのMSBから上位3bit(3bitめのClean upパスまで)、というようなサブバンド毎のサブビットプレーン単位に設定されたレイヤ境界情報が格納されている。
The pattern table 43 is means for storing information (hereinafter referred to as a layer pattern) for controlling the layer division configuration. The pattern table 43 has a capacity capable of storing two types of layer patterns for character tiles and non-character tiles, and two types of layer patterns are set by the
セレクタ44は、領域判定処理部34より出力される領域判定データに従って、タイル単位で、文字用レイヤパターン又は非文字用レイヤパターンを選択し、それをパケット生成処理部45へ入力する。パケット生成処理部45は、セレクタ44から入力されるレイヤパターンに従って必要な符号データを入力符号バッファ41より読み込み、レイヤ単位に符号ストリームを形成して出力符号バッファ47へ順次出力する。一つのレイヤの符号ストリームが完成すると、タイルヘッダ生成処理部46で部分列用のタイルヘッダが生成されて出力符号バッファ47に書き込まれ、次のレイヤの符号ストリームの生成処理を開始する。このようにして１つのタイルについて、文字タイル用又は非文字タイル用レイヤパターンに従ったレイヤ分割構成の符号ストリームが完成した時点で、出力符号バッファ47に記憶された符号ストリームはメモリ14へ出力される。同様の処理が全タイルについて繰り返される。
The
画像データの全タイル分の符号ストリームがメモリ14上に完成すると、ＣＰＵ13は、メモリ上の符号ストリームにメインヘッダを付加し、メモリ14からＨＤＤ15への符号ストリームの転送を開始する。
When the code stream for all tiles of the image data is completed on the
ここまでの説明から明らかなように、パターンテーブル43と、そのレイヤパターンを領域判定データに従って選択しパケット生成処理部45へ渡すセレクタ44、及びその作用は、請求項１，１７の発明における符号ストリームの階層分割構成をブロック毎に領域判定結果に従って制御する手段もしくは工程に対応する。
As is apparent from the above description, the pattern table 43, the
なお、本実施例においては圧縮符号化方式としてJPEG2000の基本方式が用いられるが、標準圧縮方式に必ずしも準拠しなくともよい。このことは、本実施例のみならず後記各実施例でも同様である。但し、符号ストリームの汎用性の観点からは、標準圧縮方式に準拠した方が一般に有利である。また、ウェーブレット変換以外の周波数変換、例えば離散コサイン変換等を使用する圧縮符号化方式や、周波数変換を行わずに実空間画像データに直接的に圧縮符号化処理を行う圧縮符号化方式を用い得ることも同様である。 In this embodiment, the JPEG 2000 basic method is used as the compression encoding method, but it does not necessarily conform to the standard compression method. This is the same not only in this embodiment but also in each embodiment described later. However, from the viewpoint of versatility of the code stream, it is generally advantageous to comply with the standard compression method. In addition, a compression encoding method that uses frequency transforms other than wavelet transform, such as discrete cosine transform, or a compression encoding method that directly compresses and encodes real space image data without performing frequency transform can be used. The same is true.
＜実施例１の変形例＞
前記実施例１はレイヤプログレッションの符号ストリームを生成する実施例であったが、パターンテーブル43の内容を変更することにより、同様の装置構成において、文字タイルと非文字タイルの別に応じて階層分割構成を制御した解像度プログレッションの符号ストリームを生成することも可能である。
<Modification of Example 1>
In the first embodiment, the code stream of the layer progression is generated. However, by changing the contents of the pattern table 43, in the same device configuration, the hierarchical division configuration according to the character tile and the non-character tile It is also possible to generate a resolution progression code stream in which the above is controlled.
図６は、解像度プログレッションの符号ストリームの階層分割構成の例を示す、図４と同様の模式図である。図６の(Ａ)は文字タイルの階層分割構成の例を示し、(Ｂ)は非文字タイルの階層分割構成の例を示している。 FIG. 6 is a schematic diagram similar to FIG. 4, illustrating an example of a hierarchical division configuration of a resolution progression code stream. 6A shows an example of a hierarchical division configuration of character tiles, and FIG. 6B shows an example of a hierarchical division configuration of non-character tiles.
解像度プログレッションの場合、低解像度(高いデコンポジションレベル)の符号よりも先に高解像度(低いデコンポジションレベル)の符号を出力できないので、プログレッシブ順序は、（2LL）→（2HL,2LH,2HH）→（1HL,1LH,1HH）の順となり、各解像度レベルでは上位レイヤの符号から復号されていくことになる。 In the case of resolution progression, since the high resolution (low decomposition level) code cannot be output before the low resolution (high decomposition level) code, the progressive order is (2LL) → (2HL, 2LH, 2HH) → (1HL, 1LH, 1HH) in this order, and decoding is performed from the upper layer code at each resolution level.
文字タイルにおいては、図６の（Ａ）に見られるように、上位レイヤの段階で多くの符号を出力するようにする。このような階層分割構成とすることにより、再生に多くの符号を必要とする文字画像の判読性を向上させることができる。一方、非文字タイルにおいては、（Ｂ）に見られるように、上位レイヤでは符号量を少なくして、下位レイヤで多くの符号を出力するようにするとよい。このような階層分割構成とすることにより、各解像度レベルでの上位レイヤにおける符号量の増加を抑制することができる。 In the character tile, as shown in FIG. 6A, many codes are output at the upper layer stage. With such a hierarchical division configuration, it is possible to improve the legibility of a character image that requires many codes for reproduction. On the other hand, in the non-character tile, as seen in (B), it is preferable to reduce the code amount in the upper layer and output many codes in the lower layer. By adopting such a hierarchical division configuration, it is possible to suppress an increase in the code amount in the upper layer at each resolution level.
なお、(Ａ)では符号量が空（から）のレイヤが存在するが、符号構成上は問題はない。但し、プログレッシブに表示を行う時に空レイヤの部分で画像が変化しなくなるため、違和感を生じる可能性があるので、実際的は全てのレイヤに多少の符号を設定する方が好ましい。 In (A), there is an empty code amount layer, but there is no problem in the code configuration. However, since the image does not change in the empty layer portion when progressive display is performed, there is a possibility that a sense of incongruity may occur. Therefore, in practice, it is preferable to set some codes for all layers.
ここで、レイヤプログレッションと比較した場合の解像度プログレッションの利点について述べる。クライアント側の装置が例えばモバイル端末などの表示部が非常に小さい機器の場合のように、クライアント側の表示部の解像度（画像サイズ）がサーバ側の画像データの解像度(画像サイズ)と比較して小さいと、レイヤプログレッションで高解像度部のデータを送付しても意味が無くなってしまい、転送に無駄が生じる。このような場合、解像度プログレションの符号ストリームならば、必要な解像度の段階で転送を停止させることによって無駄な転送を防止し、転送路のトラフィックを低減できる利点がある。 Here, the advantage of the resolution progression when compared with the layer progression will be described. For example, when the client side device is a device with a very small display unit such as a mobile terminal, the resolution (image size) of the client side display unit is compared with the resolution (image size) of the server side image data. If it is small, even if the data of the high resolution part is sent by layer progression, it becomes meaningless, and transfer is wasted. In such a case, the resolution-progress code stream has an advantage that the transfer is stopped at the necessary resolution stage to prevent useless transfer and reduce the traffic on the transfer path.
したがって、符号ストリームの転送先となるクライアントの表示部の解像度に応じて、サーバ側で符号ストリームのプログレッシブ順序としてレイヤプログレッションと解像度プログレッションの一方を選択できるようにするのが望ましい。例えば、ＣＰＵ13で、符号ストリーム転送先となるクライアントの表示部の解像度に応じてレイヤプログレッション又は解像度プログレッションを選択し、選択したプログレッション用のレイヤパターンをパターンテーブル43に設定し、また、選択したプログレッションをパケット生成処理部45へ設定するような構成とすることができる。このようなプログレッシブ順序の選択が可能な態様も本発明に包含される。
Therefore, it is desirable that one of layer progression and resolution progression can be selected as the progressive order of the code stream on the server side according to the resolution of the display unit of the client that is the transfer destination of the code stream. For example, the
前記実施例１は、符号化処理の際に、領域判定結果に応じて階層分割構成が制御されたプログレッシブ符号ストリームを生成する構成であったが、本実施例においては、外部装置へ転送する際に、プログレッシブ符号ストリームをＨＤＤ15に保存されている符号ストリームから生成する構成である。
In the first embodiment, the progressive code stream in which the hierarchical division configuration is controlled according to the region determination result is generated in the encoding process. In the present embodiment, the progressive code stream is transferred to the external device. In addition, the progressive code stream is generated from the code stream stored in the
図７は、本実施例に係る画像処理装置のブロック図である。この画像処理装置はサーバ１として利用し得るＭＦＰであり、前記実施例１との主たる相違点は、符号ストリーム変更処理部50が追加されていることである。
FIG. 7 is a block diagram of the image processing apparatus according to the present embodiment. This image processing apparatus is an MFP that can be used as the
実施例１においては、エンコーダ12から出力される符号ストリームは、領域判定結果に従って階層分割構成が制御されたレイヤプログレッションの符号ストリームであった。しかし、本実施例では、エンコーダ12によって生成されてＨＤＤ15に保存される符号ストリームに対しては、領域判定結果による階層分割構成の制御は行われない（ただし、後述のように領域判定の結果は符号ストリーム内に保持される）。また、エンコーダ12から出力される符号ストリームは、プログレッシブ順序は基本的に任意であり、必ずしもプログレッシブである必要はなく、階層構造も任意であり、例えば１ページ分全体を一様な階層構造としてもよい。これは本実施例の利点である。すなわち、複写動作の際には、プログレッシブ符号ストリームである必要なく、むしろ１ページ全体の画像を一様な階層構造としたほうが、複写動作のためのデコーダ18による伸長処理の負荷が軽減されるからである。また、クライアント３の種類によっては、RPCLプログレッションのような解像度プログレッションの方が都合の良い場合もあるからである。例えば、モバイル端末のようなモニタの表示サイズが小さいクライアントの場合には、必要解像度の符号のみ出力すればよいので、ＨＤＤ15に保存されている符号ストリームのプログレッシブ順序の種類は、解像度の選択が容易な解像度プログレッションの方がよい場合もある。すなわち、クライアントからプログレッションの種類等の要求をコマンドとして受信し、それに応じて選択したプログレッションの符号ストリームを生成して送信する方が好ましい。本実施例は、このようなクライアントに応じて選択したプログレッションの符号ストリームの生成、送信をすることが可能な構成であり、これも本実施例の利点の一つである。
In the first embodiment, the code stream output from the
以下、本実施例について詳細に説明する。本実施例に係るエンコーダ12は、前記実施例１と同様な図３に示したような構成であり、符号化処理を行って符号ストリームを生成する。エンコーダ12内の符号ストリーム生成処理部37は、領域判定処理部34によるタイル単位の領域判定結果に従った階層分割構成の制御は行わないが、領域判定結果を、生成する符号ストリーム内に保持させる。本実施例では、領域判定結果を符号ストリーム内に保持させる方法として、符号ストリームのタイルヘッダのコメント部にフラグとして記録する方法が用いられるが、これのみに限定されるものではない。例えば、電子透かしなどの技術を使用して、領域判定結果を符号ストリーム内に記録することも可能である。領域判定結果のフラグデータを、符号ストリームとは分離してメモリ14またはＨＤＤ15に蓄積することも可能である。エンコーダ12から出力された符号ストリームは、メモリ14に一旦蓄積された後、ＨＤＤ15に保存される。
Hereinafter, this embodiment will be described in detail. The
クライアント３から符号ストリームの送信要求を外部転送路２を介し受信すると、ＣＰＵ13は、必要なパラメータをセットした後、ＨＤＤ15から符号ストリームを読み出し、バス20を介してメモリ14へ書き込む。メモリ14に記録された符号ストリームは、タイル単位に読み出されて符号ストリーム変更処理部50に入力される。
When the code stream transmission request is received from the
図８は、符号ストリーム変更処理部50のブロック図である。符号ストリーム変更処理部50は、前記実施例１に係る符号ストリーム生成処理部37（図５）とよく似た構成であるが、ヘッダ解析処理部51とパケット分解処理部52が追加されている。
FIG. 8 is a block diagram of the code stream
まず、ＣＰＵ13によって、クライアントの要求に応じて選択したプログレッシブ順序（レイヤプログレッション又は解像度プログレッション）のための文字タイル用、非文字タイル用の２種類のレイヤパターンがパターンテーブル43に設定される。また、選択されたプログレッションの種類もパケット生成処理部45に設定される。
First, the
次に、バス20を介してメモリ14からタイル単位に符号データが入力されるが、ヘッダ解析処理部51はタイルヘッダを解析し、タイルヘッダに記述されている領域判定結果を読み出して領域判定信号をセレクタ44へ出力する。
Next, code data is input in units of tiles from the
次にパケットが入力されると、ヘッダ解析処理部51はパケットヘッダの解析を行い、パケット分解処理部52へ制御信号を出力する。パケット分解処理部52は、この制御信号に応じてパケットの符号部分を、サブビットプレーン毎の符号データに分解して入力符号バッファ41へ記録する。この時に、符号量カウンタ42はコードブロックのサブビットプレーン単位に符号量をカウントする。入力符号バッファ41にタイルの全ての符号データが入力されると、まずタイルヘッダ生成処理部46によってタイルヘッダと部分列用のタイルヘッダが生成され、出力符号バッファ47に書き込まれる。次に、パケット生成処理部45は、ヘッダ解析処理部51からの領域選択信号に従ってセレクタ44により選択されたレイヤパターンに従って、必要な符号データを入力符号バッファ41より読み込み、レイヤ単位に符号ストリームを形成して出力符号バッファ47へ順次出力する。１つのタイルについてレイヤパターンに従った階層分割構成の符号ストリームが完成した時点で、出力符号バッファ47からメモリ14へ符号ストリームが出力される。同様の処理が各タイルについて繰り返される。
Next, when a packet is input, the header
このようにして画像データの全タイル分の符号ストリームがメモリ14上に完成すると、ＣＰＵ13は、その符号ストリームをメインヘッダを付加して外部Ｉ／Ｆ17より外部転送路２を介してクライアント３へ送信させる。クライアント３では、受信した符号ストリームをプログレッシブに復号しモニタ４上に復号画像をプログレッシブに表示させる。
When the code stream for all tiles of the image data is completed on the
ここまでの説明から明らかなように、符号ストリーム変更処理部50及びその処理は、請求項２，１７の発明における符号ストリーム生成手段もしくは符号ストリーム生成工程に対応する。また、パターンテーブル43と、ヘッダ解析処理部51からの領域判定信号に従ってレイヤパターンを選択しパケット生成処理部45へ渡すセレクタ44及びその作用は、請求項２，１７における符号ストリームの階層分割構成をブロック毎に領域判定結果に従って制御する手段もしくは工程に対応する。また、符号ストリーム変更処理部５０の観点からは、ヘッダ解析処理部５１の領域判定信号を抽出する機能は、請求項２，１７における領域判定手段もしくは工程に対応する。ただし、画像処理装置全体の観点からは、像域分離処理部１０及びエンコーダ１２内の領域判定処理部３４が領域判定手段もしくは工程に対応する。
As is apparent from the above description, the code stream
以上説明したように、本実施例によれば、読み取った画像データをＭＦＰ内のプリント出力処理に適した構成の符号ストリームとしてＨＤＤ15に保存することができる。一方、クライアントから送信要求を受けたときに、クライアントに適したプログレッシブ順序を選択し、保存されている符号ストリームから、領域判定結果に従って階層分割構成を制御したプログレッシブ符号ストリームを生成してクライアントへ送信することができる。また、そのプログレッシブ符号ストリームの生成は、保存されている符号ストリームの符号レベルの操作、つまり符号の並べ替えによって行われ、復号・再符号化の処理を含まないため、復号・再符号化による画像品質の劣化を伴わず、また、処理も短時間で行うことができる。
As described above, according to the present embodiment, the read image data can be stored in the
実施例１，２においては、符号ストリームの生成の際に、サブバンド毎に設定されたサブビットプレーン単位に設定可能なレイヤ境界情報であるレイヤパターンを使用した。このようなレイヤパターンを利用した階層分割構成の制御によれば、レイヤ単位での画質レベルを一定とすることができる。途中のレイヤで復号を停止させたり、予め定められたレイヤまでを送信することにより、画質レベルを容易に制御可能になり、画質を保証するシステムの構築が可能となる。しかし、レイヤ単位（階層単位）での符号量を制御できないため、プログレッシブ転送途中の符号量を保証することはできない。 In the first and second embodiments, a layer pattern that is layer boundary information that can be set in units of sub-bit planes set for each subband is used when generating a code stream. According to the control of the hierarchical division configuration using such a layer pattern, the image quality level in units of layers can be made constant. By stopping decoding at an intermediate layer or transmitting up to a predetermined layer, the image quality level can be easily controlled, and a system that guarantees image quality can be constructed. However, since the code amount in units of layers (hierarchical units) cannot be controlled, it is not possible to guarantee the code amount during progressive transfer.
ここでは、レイヤ単位での符号量を保証する実施例について説明する。 Here, an embodiment for guaranteeing the code amount in units of layers will be described.
レイヤ単位の符号量を制御する方法としては、次の２通りの方法をとり得る。その一つは、タイルまたは画像全体の符号量から１レイヤあたりの符号量（設定符号量）を算出し各レイヤの符号量をその設定符号量とするように制御する方法である。すなわち、レイヤ単位の設定符号量を画像に応じて適応的に制御する方法である（以下、Ａ方法）。 As a method of controlling the code amount in units of layers, the following two methods can be used. One of them is a method of calculating the code amount per layer (set code amount) from the code amount of the entire tile or image and controlling the code amount of each layer to be the set code amount. In other words, this is a method of adaptively controlling the set code amount for each layer according to the image (hereinafter referred to as method A).
もう一つは、レイヤ単位の設定符号量を予め決定し、各レイヤの符号量を設定符号量とするように制御し、最終レイヤの時点で符号に残りがあれば、残りの全ての符号で最終レイヤを構成する方法である。すなわち、レイヤ単位の設定符号量を非適応的に制御する方法である（以下、Ｂ方法）。 The other is to determine the set code amount for each layer in advance and control the code amount of each layer to be the set code amount. If there is a remaining code at the time of the last layer, This is a method of configuring the final layer. That is, this is a method for non-adaptively controlling the set code amount in units of layers (hereinafter, method B).
Ａ方法，Ｂ方法には一長一短があり、一概にどちらの方法が良いとはいえない。例えば、方法Ａでは、レイヤ単位の符号量をほぼ均等にすることが可能となり、また、レイヤ数も保証可能となる。その反面、画像によってレイヤ単位の符号量が変化するので、サーバからクライアントへの符号データのレイヤ単位の転送時間を保証できない。 The A method and the B method have advantages and disadvantages, and neither method is generally good. For example, in the method A, the code amount for each layer can be made substantially equal, and the number of layers can be guaranteed. On the other hand, since the code amount for each layer varies depending on the image, the transfer time for each layer of code data from the server to the client cannot be guaranteed.
一方、方法Ｂでは、最終レイヤ以外のレイヤの符号量を既知の値とすることが可能となるので、レイヤ単位の転送時間の保証が可能となる。その反面、最終レイヤのみ符号量が極端に多くなったり、設定した最終レイヤの前に全ての符号データが出力済みとなってレイヤ数が変化する可能性がある。 On the other hand, in the method B, the code amount of the layers other than the final layer can be set to a known value, so that the transfer time for each layer can be guaranteed. On the other hand, there is a possibility that only the final layer has an extremely large code amount, or that all code data has already been output before the set final layer and the number of layers changes.
したがって、Ａ方法、Ｂ方法のいずれを選ぶかは、システム条件に応じて決めるべきであろうが、ここではＢ方法を利用する実施例について説明する。そのための装置構成は、前記実施例１と同様でもよいし、前記実施例２と同様でもよい。つまり、レイヤ単位の符号量制御を、前記実施例１に係る図５に示す符号ストリーム生成処理部37において実施することも、前記実施例２に係る図８に示す符号ストリーム変更処理部50において実施することも可能であるが、ここでは便宜、図５の符号ストリーム生成処理部37において符号量制御を行う場合について説明する。
Accordingly, whether to select the A method or the B method should be determined according to the system conditions. Here, an embodiment using the B method will be described. The apparatus configuration for this purpose may be the same as that of the first embodiment or the same as that of the second embodiment. That is, the code amount control for each layer is performed in the code stream
ここで述べる実施例では、図５に示す符号ストリーム生成処理部37において、パターンテーブル43に、文字タイル用と非文字タイル用の、サブバンドによらない符号の優先順位を示す情報が格納される。この情報とは、優先順位の高い順に、2LL(MSBから上位3bit＋4bit目のMagnitude refinementパスまで)→2HL(MSBから上位3bit)→．．．．というような情報である。この優先順位にレイヤ（階層）の区別はなく、単純にサブバンド単位での画質への寄与度の高い順である。
In the embodiment described here, in the code stream
一つの実施例では、パケット生成処理部45は、セレクタ44により選択されたパターンテーブル43の符号順序情報に従ってパケット単位に符号ストリームを順次生成し、予め設定されたレイヤ単位の設定符号量に達した時点で、当該レイヤの符号ストリームを完成させる。ただし、最終（最下位）レイヤについては、残りの符号を全て使用して符号ストリームを生成する。すなわち、文字タイルでも非文字タイルでもタイル（階層）単位の設定符号量は同一である。ただし、各タイルにどのような符号を含めるか（階層分割構成）は文字タイルと非文字タイルとで異なる。
In one embodiment, the packet
もう一つの一実施例では、領域判定データがパケット生成処理部45へも入力される。そして、パケット生成処理部45は、文字タイルでは文字タイル用に設定されたレイヤ単位の設定符号量となるようにレイヤの符号ストリームを生成し、非文字タイルでは非文字タイル用に設定されたレイヤ単位の設定符号量となるようにレイヤの符号ストリームを生成する。すなわち、文字タイルであるか非文字タイルであるかにより、レイヤ単位の設定符号量が切り替えられる。文字タイル用のレイヤ単位の設定符号量は、非文字タイル用のレイヤ単位の設定符号量より大きな値に設定するのが一般に好適である。これは、一般的に文字領域の方が非文字領域よりも情報量が大きいため、同程度の画質を再現するためには、文字領域の方が多くの符号量を必要とするためである。
In another embodiment, the area determination data is also input to the packet
ここまでの説明から明らかなように、本実施例は請求項３，４の発明の実施例である。
As is apparent from the above description, this embodiment is an embodiment of the invention of
以上説明したように、本実施例はレイヤ単位の符号量を保証することができるため、転送路における転送速度が遅いシステム等に特に好適である。また、領域判定結果によってレイヤ単位の設定符号量を切り替え、非文字タイルに比べ文字タイルのレイヤ単位の符号量を多くすることによって、プログレッシブ転送時の初期段階での文字の判読性を向上させることができる。 As described above, since this embodiment can guarantee the code amount in units of layers, it is particularly suitable for a system having a low transfer rate on the transfer path. In addition, by switching the set code amount for each layer according to the region determination result and increasing the code amount for each layer of character tiles compared to non-character tiles, the character readability at the initial stage during progressive transfer is improved. Can do.
なお、先に述べたように、前記実施例２に係る図８の符号ストリーム変更処理部50においても同様の符号量制御を実施できることは、以上の説明から明らかであろう。かかる態様も本発明に包含される。
As described above, it is clear from the above description that the same code amount control can be performed also in the code stream
また、このようなプログレッシブ転送の途中段階(階層)での符号量制御は、解像度プログレッションなどでも同様に実施できることは明らかであろう。 It will be apparent that the code amount control in the intermediate stage (hierarchy) of progressive transfer can be similarly performed in resolution progression or the like.
前記実施例１，２，３においては、領域判定で判定される画像種別は文字と非文字の２種類であったが、より多くの画像種別で領域判定を行い、領域判定結果に応じた階層分割構成の制御を行うこともできる。そのような実施例について次に説明する。 In the first, second, and third embodiments, the image types determined by the region determination are two types of characters and non-characters. However, the region determination is performed with more image types, and the hierarchy according to the region determination result It is also possible to control the division configuration. Such an embodiment will now be described.
なお、装置構成は前記実施例１，２と同様でよいが、ここでは便宜、前記実施例１と同様な装置構成であるとし、前記実施例１に係る図２、図３及び図５を援用して説明する。 The apparatus configuration may be the same as in the first and second embodiments, but here, for convenience, the apparatus configuration is the same as in the first embodiment, and FIGS. 2, 3 and 5 related to the first embodiment are used. To explain.
ここに述べる実施例では、像域分離処理部10（図２）は、図９のようにエッジ判定処理部61、網点判定処理部62、色判定処理部63及び総合判定処理部64からなる構成とされる。この像域分離処理部10は、スキャナ部９（図２）から出力されたRGBの画像信号に基づいて黒文字、色文字、網点、それ以外の領域分離処理を行う。
In the embodiment described here, the image area separation processing unit 10 (FIG. 2) includes an edge
すなわち、Ｇ信号に基づいてエッジ判定処理部61によってエッジか否かの判定が、Ｇ信号に基づいて網点判定処理部62により網点領域か否かの判定が、RGB信号に基づいて色判定処理部63により有彩色か無彩色かの判定が、それぞれ行われてEdge,AMI,IRO信号（それぞれ１bitの信号）が出力され、これが総合判定部64に入力される。
That is, the edge
このようなエッジ判定、網点判定、色判定に関しては公知の技術を使用すればよく、その方法は問わないが、エッジ判定と色判定には例えば特許文献３に記載の方法を用いることができる。また、網点判定には例えば特許文献２に記載の方法を用いることができる。これら判定方法の詳細は特許文献２，３に譲るが、その概略について次に説明する。
For such edge determination, halftone dot determination, and color determination, a known technique may be used, and the method thereof is not limited. For example, the method described in
まず、エッジ判定であるが、Ｇ信号を２つの閾値を用いて白、黒、その他に３値化し、黒エッジパターン及び白エッジパターンとのマッチングを行い、例えば５×５画素のブロック内に白エッジパターンと一致する画素及び黒エッジパターンと一致する画素がそれぞれ１個以上存在する場合には、そのブロックをエッジと判定する。 First, in the edge determination, the G signal is ternarized into white, black, and others using two threshold values, and matching with the black edge pattern and the white edge pattern is performed. For example, the white signal is contained in a 5 × 5 pixel block. If there are one or more pixels that match the edge pattern and one pixel that matches the black edge pattern, the block is determined to be an edge.
網点判定であるが、例えば３×３画素のブロックにおいて中心画素の値が周囲画素より一定レベル以上か判定することによりピーク画素を検出する。次いで、例えば４×４画素のブロックにおいて、ピーク画素を含むブロックが２ブロック以上存在する場合に注目ブロックを網点領域候補とする。最後に、４×４画素を１ブロックとして、注目ブロックを中心ブロックとする３×３ブロックにおいて、４ブロック以上が網点領域候補の場合に注目ブロックを網点領域とする。 In the halftone dot determination, for example, in a 3 × 3 pixel block, the peak pixel is detected by determining whether the value of the central pixel is higher than a certain level from the surrounding pixels. Next, for example, in a 4 × 4 pixel block, when there are two or more blocks including peak pixels, the target block is set as a halftone dot region candidate. Finally, in a 3 × 3 block having 4 × 4 pixels as one block and the target block as a central block, when the four or more blocks are halftone dot area candidates, the target block is set as a halftone dot area.
色判定であるが、画素毎にＲ，Ｇ，Ｂ信号の差分値の最大値ｍａｘ（｜R−G｜，｜G−B｜，｜B−R｜）を算出する。この値を所定の閾値と比較し、閾値以上の画素を有彩色、閾値未満の画素を無彩色と判定する。次に、注目画素を中心とした５×５画素のブロック内の有彩色と判定された画素数を計数し、その計数値が所定の閾値以上ならば注目画素を最終的に有彩色と判定し、閾値未満ならば注目画素を最終的に無彩色と判定する。 For color determination, the maximum value max (| R−G |, | GB− ||| B−R |) of the difference values of the R, G, and B signals is calculated for each pixel. This value is compared with a predetermined threshold, and pixels that are equal to or higher than the threshold are determined as chromatic colors, and pixels that are lower than the threshold are determined as achromatic colors. Next, the number of pixels determined to be a chromatic color in a 5 × 5 pixel block centered on the target pixel is counted, and if the counted value is equal to or greater than a predetermined threshold, the target pixel is finally determined to be a chromatic color. If it is less than the threshold, the target pixel is finally determined to be an achromatic color.
図９を再び参照する。総合判定部64では、Edge,AMI,IROの各信号から、例えば次に示す第１表に示すルールに従って、黒文字、色文字、網点領域の判定を行う。
Refer to FIG. 9 again. The
同表から分かるように、Edge信号を最優先としており、Edge信号がオンの場合、AMI信号によらずに文字画素とし、IRO信号によって黒文字と色文字を判定する。Edge信号がオフでかつAMI信号がオンの場合は網点と判定し、Edge信号とAMI信号がともオフの場合にその他に判定する。 As can be seen from the table, the Edge signal is given the highest priority, and when the Edge signal is on, the character pixel is determined regardless of the AMI signal, and the black character and the color character are determined by the IRO signal. When the Edge signal is off and the AMI signal is on, it is determined as a halftone dot, and when the Edge signal and the AMI signal are both off, other determinations are made.
なお、この総合判定方法はこれに限らない。例えば、次に示す第２表のように、AMI信号を最優先し、AMI信号がオンの場合にはEdge信号の状態に拘わらず網点領域と判定する方法としてもよい。 This comprehensive determination method is not limited to this. For example, as shown in Table 2 below, the AMI signal may be given the highest priority, and when the AMI signal is on, the halftone dot region may be determined regardless of the state of the Edge signal.
次に、本実施例におけるエンコーダ12（図３）の動作を説明する。基本的なエンコード処理の流れは前記実施例１の場合と同様であるので、相違点のみ説明する。 Next, the operation of the encoder 12 (FIG. 3) in the present embodiment will be described. Since the basic flow of the encoding process is the same as that in the first embodiment, only the differences will be described.
まず、領域判定部34の動作を説明する。領域判定部34では、像域分離処理部10からの画素単位の黒文字、色文字、網点の分離信号に基づいて、タイル単位に領域を判定する。この判定方法は、タイル全体で画素単位の各分離信号のＯＲをとり、タイル内に黒文字、色文字、網点のそれぞれの画素が存在するかどうか判定する。タイル内にいずれの画素も存在しない場合には、その他の領域と判定する。また、黒文字のみが存在するタイルは黒文字領域、色文字のみが存在するタイルを色文字領域、網点のみが存在するタイルを網点領域と判定する。
First, the operation of the
タイル内に複数の像域が存在している場合は、領域判定に関する各領域の優先順位に従って一つの領域に判定する。その優先順位は、システム環境に応じて適宜設定すればよいが、１つの好適な例としては、レイヤの初期段階にて優先的に符号を割り当てるべき画像種別、言い換えれば、画像をプログレッシブ転送する場合の初期段階に他の画像種別と比較して多くの符号を送信して細部の再現性を高めるべき画像種別の領域の優先順位を高く設定する。 If there are a plurality of image areas in the tile, the area is determined as one area according to the priority of each area regarding the area determination. The priority order may be set as appropriate according to the system environment. As one preferable example, an image type to which a code should be preferentially assigned at the initial stage of a layer, in other words, a case where an image is progressively transferred. In the initial stage, a larger number of codes are transmitted compared to other image types, and the priority of the region of the image type that should improve the reproducibility of details is set higher.
ここでは、色文字、黒文字、網点、その他の順に優先順位を設定するものとする。つまり、タイル内に１つでも色文字画素が存在すれば、他の分離結果の存在にかかわらず色文字領域とし、色文字画素が存在しない場合に黒文字画素が存在すれば黒文字領域、色文字画素も黒文字画素も存在せずに網点画素が存在すれば網点領域とする。 Here, the priority order is set in the order of color characters, black characters, halftone dots, and the like. In other words, if there is at least one color character pixel in the tile, the color character region is used regardless of the presence of other separation results. If there is no color character pixel, the black character region and the color character pixel are present. If there is a halftone dot pixel and no black character pixel, a halftone dot region is assumed.
この４種類の領域に関する領域判定データは符号ストリーム生成処理部37（図５）に入力し、符号ストリーム生成処理部37において、領域判定データに対応した符号ストリームのレイヤ分割構成（階層分割構成）の制御が行われる。この制御のため、パターンテーブル43には各画像種別に対応した４種類のレイヤパターンが設定され、そのいずれかのレイヤパターンがセレクタ44により領域判定データに従って選択されることになる。
The region determination data regarding these four types of regions is input to the code stream generation processing unit 37 (FIG. 5), and the code stream
ここで各画像種別の領域の特徴を簡単に述べると、色文字領域では自然画像に比べて輝度と色差のあらゆるサブバンドに高いＤＷＴ係数値が現れる。黒文字領域では輝度のあらゆるサブバンドに高いＤＷＴ係数値が現れ、網点領域では特定のサブバンドに高いＤＷＴ係数値が現れるという特徴を有している。これらを考慮して、各領域におけるレイヤ分割構成が決定され、それに対応したレイヤパターンがパターンテーブル43に設定される。 Here, the characteristics of each image type region will be briefly described. In the color character region, a high DWT coefficient value appears in every subband of luminance and color difference compared to a natural image. A black character region has a feature that a high DWT coefficient value appears in every subband of luminance, and a high DWT coefficient value appears in a specific subband in a halftone dot region. Considering these, the layer division configuration in each region is determined, and the layer pattern corresponding to it is set in the pattern table 43.
各領域の階層分割構成は概ね次のような考え方で決定し得る。まず、黒文字領域では、Ｕ，Ｖコンポーネントの優先順位及び符号量を低くする。色文字領域では、Ｙ，Ｕ，Ｖ全コンポーネントを同様に扱う（高域成分まで必要であるから）。網点領域では、特定の高周波成分より高域の成分は送らないか優先順位を下げる。その他領域では、高域成分を含めなくても構わない。 The hierarchical division configuration of each region can be determined based on the following concept. First, in the black character area, the priority order and code amount of the U and V components are lowered. In the color character area, all the Y, U, and V components are handled in the same manner (because a high frequency component is necessary). In the halftone dot region, a higher frequency component than a specific high frequency component is not sent or the priority is lowered. In other regions, the high frequency component may not be included.
なお、網点の特定サブバンドの成分は、網点の線数成分であるので自然画像を認識する上では特に必要な成分ではない。そのため、網点領域においては、上位レイヤ(転送の初期の段階)には網点線数成分を含ませないレイヤ分割構成とし、符号量を少なくすることができる。 Note that the components of the specific subband of the halftone dot are not particularly necessary components for recognizing the natural image because they are the line number components of the halftone dot. For this reason, in the halftone dot region, the upper layer (the initial stage of transfer) has a layer division configuration that does not include a halftone line number component, and the amount of codes can be reduced.
以上説明したように、本実施例においては、タイル単位に画像の領域を黒文字、色文字、網点、その他の領域に判定し、判定結果に応じて符号ストリームの階層分割構成を制御するため、前記実施例１，２に比べ、より詳細に画像種別に適応したプログレッシブ符号ストリームの生成が可能となる。 As described above, in the present embodiment, the image area is determined to be a black character, a color character, a halftone dot, and other areas in tile units, and in order to control the hierarchical division configuration of the code stream according to the determination result, Compared to the first and second embodiments, it is possible to generate a progressive code stream adapted to the image type in more detail.
なお、前記実施例２においても、同様の領域判定と、その判定結果に従った符号ストリームの階層分割構成の制御を行うことができることは以上の説明から明らかであり、かかる態様も本発明に包含される。 In the second embodiment as well, it is clear from the above description that the same region determination and the code stream hierarchy division configuration according to the determination result can be performed, and such an aspect is also included in the present invention. Is done.
なお、領域判定の画像種をさらに増やし、より高精細な画像種別に応じた階層分割構成の制御を行うこともできる。例えば、銀塩写真や白地の判定などを行うようにしてもよい。また、同一の画像種別でも、そのサイズや色等の特徴を判定して階層分割構成（再生の優先度）を変更してもよい。例えば、表題のようなサイズの大きな文字の再現を優先させたり、文字色によって優先度を変更させたり、網点の線数の違いにより優先度を変えるなどしてもよい。また、自然画で構成されている画像で、人物の顔や花などの彩度の高い色の領域の再生を優先させるような制御も可能である。 Note that the number of image types for region determination can be further increased, and the hierarchical division configuration can be controlled in accordance with higher-definition image types. For example, a silver halide photograph or a white background may be determined. In addition, even for the same image type, characteristics such as size and color may be determined to change the hierarchical division configuration (reproduction priority). For example, priority may be given to reproduction of a large character such as a title, the priority may be changed depending on the character color, or the priority may be changed depending on the number of lines of halftone dots. In addition, it is possible to perform control so that priority is given to reproduction of a highly saturated color region such as a human face or flower in an image composed of natural images.
前記実施例１〜４では、実空間の画像データの像域分離信号によって領域判定を行った。すなわち、実空間の画像データに基づいて領域判定を行っていた。 In the first to fourth embodiments, the region determination is performed based on the image region separation signal of the real space image data. That is, area determination is performed based on real space image data.
ここでは、画像データの符号化処理の過程で生成されるＤＷＴ係数（より広義にには周波数変換係数）に基づいて領域判定を行う実施例について説明する。 Here, a description will be given of an embodiment in which region determination is performed based on DWT coefficients (frequency conversion coefficients in a broad sense) generated in the process of encoding image data.
図１０は、本実施例に係る画像処理装置のエンコーダ12のブロック図である。なお、装置全体の構成は前記実施例１と同様でよいが、像域分離処理部10は不要である。
FIG. 10 is a block diagram of the
図１０に示すエンコーダ12において、領域判定処理部34はＤＷＴ処理部32より出力されるＤＷＴ係数に基づいてタイル単位で文字/非文字の領域判定を行うもので、像域分離信号は入力しない。この領域判定部34以外のエンコーダ12の構成は前記各実施例と同様である。
In the
図１１は、３デコンポジションレベルのＤＷＴ係数を表したものである。図中、太い実線はサブバンド境界を表し、細線は係数の境界を表している。つまり、細線で囲まれた格子が１つの係数である。ＤＷＴ係数は、ＤＷＴ処理部32に入力される画像と対応した位置に配置されている。言い換えれば、ＤＷＴ処理は入力画像の位置情報を保存しているといえる。図１１のように、各々のサブバンドに特定位置の入力画像に対応する係数が存在することになる。図中の網掛けされた係数が上記の対応関係にある係数を表している。
FIG. 11 shows the DWT coefficient at the 3 decomposition level. In the figure, a thick solid line represents a subband boundary, and a thin line represents a coefficient boundary. That is, a lattice surrounded by a thin line is one coefficient. The DWT coefficient is arranged at a position corresponding to the image input to the
また、ＤＷＴ係数においては、LLサブバンド以外の高周波成分の絶対値は、同一方向のサブバンド間で相関を持つことが知られている。同一方向のサブバンド間とは、例えば、3HL、2HL、1HLのように同一方向成分の、異なった解像度のサブバンド間のことである。 In the DWT coefficient, it is known that the absolute values of the high frequency components other than the LL subband have a correlation between subbands in the same direction. The term “between subbands in the same direction” refers to between subbands of different resolutions having the same direction component such as 3HL, 2HL, and 1HL.
例えば、デコンポジションレベルの高い(解像度の低い)サブバンドの係数の絶対値が０であれば、同一方向成分の解像度の高いサブバンドの係数の絶対値も０の場合が多い。これと逆に、デコンポジションレベルの高い(解像度の低い)サブバンドの係数の絶対値が大きな値であれば、同一方向成分の解像度の高いサブバンドの係数も大きな値である場合が多い。また、入力画像がエッジ部であればＤＷＴ係数の絶対値は大きくなり、平坦部であれば小さくなる。本実施例では、このようなＤＷＴ係数の性質を利用して領域判定処理を行う。 For example, if the absolute value of the coefficient of the subband having a high decomposition level (low resolution) is 0, the absolute value of the coefficient of the subband having a high resolution of the same direction component is often 0. On the contrary, if the absolute value of the coefficient of the subband having a high decomposition level (low resolution) is a large value, the coefficient of the subband having a high resolution of the same direction component is often a large value. Further, the absolute value of the DWT coefficient increases if the input image is an edge portion, and decreases if the input image is a flat portion. In the present embodiment, the region determination process is performed using such a property of the DWT coefficient.
図１２は本実施例に係る領域判定処理部34のブロック図である。この領域判定部34には、絶対値化された(YUV信号のうちの)Ｙ信号のＤＷＴ係数が入力される。なお、JPEG2000におけるＤＷＴ係数の符号化は、プラス、マイナスのサインビットと絶対値化されたＤＷＴ係数のビットプレーンに対して算術符号化が行われる。そのため、ＤＷＴ処理部32から出力される時点で、ＤＷＴ係数は絶対値化されている方が都合が良く、本実施例においても、そのような構成をとるものとして扱う。
FIG. 12 is a block diagram of the area
領域判定処理部34は、ＨＬサブバンド用のサブバンド判定処理部71及び成分判定処理部72と、ＬＨサブバンド用のサブバンド判定処理部73及び成分判定処理部74と、ＨＨサブバンド用のサブバンド判定処理部75及び成分判定処理部76と、総合判定処理部77と、ラッチ78とから構成される。
The region
ＨＬサブバンド用のサブバンド判定処理部71は、図示のように、１ＨＬサブバンド係数に対応した１６個の２値化手段と、その２値化結果のＯＲをとる手段と、２ＨＬサブバンド係数に対応した４個の２値化手段と、その２値化結果のＯＲをとる手段と、３ＨＬサブバンド係数に対応した１個の２値化手段から構成される。図１２では簡略化されているが、他のサブバンド判定処理部７３，７５も同様の構成である。
As shown in the figure, the subband
次に、サブバンド判定処理部71と成分判定処理部72について処理を説明するが、他のサブバンドに関しても同様の処理が行われる。
Next, processing is described for the subband
領域判定処理部34に入力された１ＨＬ，２ＨＬ，３ＨＬサブバンド係数の絶対値は、サブバンド判定処理部71において、２値化手段によりサブバンド毎に予め定められた所定のしきい値（ＴＬ）と比較され、しきい値以上である場合には１(オン)、しきい値未満である場合には０(オフ)に２値化される。ここで、１回の判定に使用される各々の係数の数は、図１１の網掛けされた係数の数となる。つまり、1HLは16個、2HLは４個、3HLは１個の係数が一度に２値化され、1HL,2HLに関しては、２値化後にＯＲ処理がなされ２値の信号として出力される。つまり、1HLと2HLに関しては入力された係数の最大値を２値化したことと等価となる。こうして３つの２値化された信号が、成分判定部72へ入力される。成分判定部72では、３つの２値化信号のうち、２つ以上が１(オン)であれば１(オン)の信号を、そうでなければ０(オフ)の信号を判定結果として出力する。なお、この判定結果信号がオンの場合は、画像が文字であることを示している。これは、文字のような強いエッジを有する画像では、ＤＷＴ係数に大きな値が出ることと、前述した”同一方向のサブバンド間で相関を持つ”という特性を利用したものである。また、１つの係数のみオンの場合を文字と判定しない理由は、ノイズの影響を排除するためである。成分判定処理部74,76からも同様の判定結果信号が出力される。
The absolute values of the 1HL, 2HL, and 3HL subband coefficients input to the region
総合判定処理部77では、成分判定処理部72,74,76の判定結果信号と、同一タイル内での直前に処理した係数組による総合判定結果（総合判定処理部77の出力）とのＯＲをとり、それがオンであれば文字と判定する。この処理を、タイル内の全ての係数に対して行い、タイル内の全ての領域判定が終了した時点の総合判定結果がラッチ78にラッチされ、当該タイルの領域判定データとなる。つまり、タイル内にオンが一つでもあれば当該タイルを文字と判定し、一つもなければ非文字領域と判定する。次のタイルの判定開始時に、総合判定処理部77の出力は０クリアされる。
In the comprehensive
なお、図１２の回路を並列に複数備え、タイル内の全ての係数組についての総合判定処理部77の出力信号のＯＲをとるように構成することもできる。このような構成は、ハード量が増えるが、１タイル当たりの判定処理を極めて短時間で行うことができる。
Note that a plurality of the circuits in FIG. 12 may be provided in parallel, and an OR operation may be performed on the output signal of the comprehensive
ここまでの説明から明らかなように、本実施例の領域判定処理部34は、請求項６の発明における領域判定手段に対応する。
As is apparent from the above description, the area
以上説明したように、本実施例においては、符号化処理の過程で生成される離散ウェーブレット変換係数に基づいて領域判定を行うため、エンコーダ34の内部のみで領域判定処理が完結する。また、領域判定処理も比較的簡易である。このことは、領域判定に関わるハードウェアの単純化、ハード量の削減、もしくは領域判定に関わるソフトウェアの単純化や高速化に有利である。
As described above, in this embodiment, the region determination process is completed only within the
なお、ここでは、３デコンポジションレベルのＤＷＴ係数を使用する例を示したが、より多くの、または、より少ないデコンポジションレベルを使用して同様の領域判定を行うこともできる。また、符号化処理で生成される全てのデコンポジションレベルのＤＷＴ係数を使用する必要はなく、必要な解像度の係数を選択的に使用して領域判定を行ってよい。なお、一般にＤＷＴではオクターブ分割を伴いながらデコンポジションレベルを上げていくので、デコンポジションレベルが高くなるほど、解像度は１／２づつ低くなる。したがって、文字等のエッジを判定する場合、あまりに低い解像度では文字密集部等でエッジの判定が不正確になるので、これを考慮して必要な解像度のＤＷＴ係数を領域判定に使用するのがよい。 Although an example in which the DWT coefficient of 3 decomposition levels is used is shown here, the same region determination can be performed using more or less decomposition levels. In addition, it is not necessary to use all the decomposition level DWT coefficients generated by the encoding process, and the area determination may be performed by selectively using a coefficient of a necessary resolution. In general, in the DWT, the decomposition level is increased with octave division, so that the resolution decreases by 1/2 as the decomposition level increases. Therefore, when determining the edge of a character or the like, the determination of the edge becomes inaccurate at a character crowded portion or the like at a very low resolution. Therefore, it is preferable to use a DWT coefficient having a necessary resolution for region determination in consideration of this. .
なお、前記実施例２において、エンコーダで符号化処理の際にＤＷＴを利用した同様の領域判定を行ってもよい。その結果を符号ストリームのヘッダに記述するなどの方法によって符号ストリーム内に保存させるならば、符号ストリーム変更処理部50において、ヘッダ解析により領域判定の結果を認識することができる。かかる態様も本発明に包含される。
In the second embodiment, the same region determination using DWT may be performed during the encoding process by the encoder. If the result is stored in the code stream by a method such as describing it in the header of the code stream, the code stream
＜変形例＞
ここで、本実施例の変形例として、ＤＷＴ係数より黒文字、色文字、網点、その他の領域を判定する方法を簡単に説明する。文字領域/非文字領域のみの判定の場合は、Ｙ成分のみのＤＷＴ係数を使用したが、この変形例の場合はＹ，Ｕ，Ｖの全成分が領域判定に用いられる。
<Modification>
Here, as a modification of the present embodiment, a method for determining black characters, color characters, halftone dots, and other regions from DWT coefficients will be briefly described. In the determination of only the character area / non-character area, the DWT coefficient of only the Y component is used, but in this modification, all the components of Y, U, and V are used for the area determination.
すなわち、Ｙ，Ｕ，Ｖの各成分について、図１２に示したような構成の領域判定処理手段により文字/非文字の領域判定を行う。そして、Ｕ成分及び／又はＶ成分の判定結果が文字領域である場合には、色文字領域と判定する。Ｕ，Ｖ成分の両方の判定結果が非文字領域であり、かつ、Ｙ成分の判定結果が文字領域である場合には、黒文字領域と判定する。 That is, for each of the Y, U, and V components, the character / non-character region determination is performed by the region determination processing unit configured as shown in FIG. When the determination result of the U component and / or the V component is a character area, it is determined as a color character area. When the determination result of both the U and V components is a non-character area and the determination result of the Y component is a character area, it is determined as a black character area.
前述のように、網点領域では特定のサブバンドに高いＤＷＴ係数が出現する。この性質に基づき、例えば成分判定処理部72において、２つ以上の係数がしきい値以上の場合は文字領域、１つであれば網点領域、というような判定を行うことが可能である。但し、このような網点領域の判定方法は誤判定が生じやすいので、より好適な方法としては、総合判定処理部77にて、網点と判定された数を計数するカウンタを備え、タイル内にて網点と判定された数が所定数を超えた場合にのみ網点領域と判定する方法をとると、網点領域の判定精度が向上する。
As described above, a high DWT coefficient appears in a specific subband in the halftone dot region. Based on this property, for example, the component
なお、本出願人の特許出願に係る特許文献４に記載されている網点判定手法を利用してもよい。この特許文献４には、ＤＷＴ係数を利用した網点領域の判定手法がいくつか記載されているが、その一つの手法の概要を次に説明する。使用されるＤＷＴ係数はＹコンポーネントのものである。
In addition, you may utilize the halftone dot determination method described in the
所定のブロック単位で、最も高い周波数成分である１ＨＬ，１ＬＨ，１ＨＨサブバンド係数の絶対値を、各サブバンド対応の閾値とそれぞれ比較する。どのサブバンド係数の絶対値も閾値より大きくないならば、そのブロックを非網点領域とする。いずれかのサブバンドが閾値より大きいときには、中程度の周波数成分であるサブバンド係数、例えば４デコンポジションレベルの場合の３ＨＬ，３ＬＨ，３ＨＨサブバンド係数を選び、その絶対値をサブバンド対応の閾値とそれぞれ比較する。そして、それら全てのサブバンド係数の絶対値が閾値より小さいときに、そのブロックを網点領域と判定する。 The absolute values of the 1HL, 1LH, and 1HH subband coefficients, which are the highest frequency components, are compared with thresholds corresponding to the subbands in a predetermined block unit. If the absolute value of any subband coefficient is not greater than the threshold value, the block is set as a non-halftone area. When any of the subbands is larger than the threshold, a subband coefficient that is an intermediate frequency component, for example, 3HL, 3LH, and 3HH subband coefficients in the case of 4 decomposition levels, is selected, and the absolute value is set to the threshold corresponding to the subband. Compare with each. Then, when the absolute values of all the subband coefficients are smaller than the threshold value, the block is determined as a halftone dot region.
前記実施例１〜５では、領域判定と階層分割構成制御の単位であるブロックとしてタイルを用いたが、JPEG2000におけるタイリングはオプションであり必ずしもタイリングが行われるわけではない。タイリングが行われない場合には、ブロックとしてタイルを用いることは適切でない。タイリングの有無に関係なく適用できるブロックとして、JPEG2000のコードブロックやプレシンクトを用いることができる。 In the first to fifth embodiments, tiles are used as blocks which are units for area determination and hierarchical division configuration control. However, tiling in JPEG2000 is an option, and tiling is not necessarily performed. If tiling is not performed, it is not appropriate to use tiles as blocks. JPEG2000 code blocks and precincts can be used as applicable blocks regardless of tiling.
ここでは、コードブロック単位にレイヤ分割構成を制御する実施例について説明する。本実施例に係る画像処理装置の基本的な構成は前記実施例５の場合と同様とし、相違点のみ説明することとする。本実施例に係る画像処理装置のエンコーダ12は、前記実施例５と同様な図１０に示す構成であるが、その領域判定処理部34は図１３に示すような構成とされる。
Here, an embodiment for controlling the layer division configuration in units of code blocks will be described. The basic configuration of the image processing apparatus according to the present embodiment is the same as that of the fifth embodiment, and only differences will be described. The
まず、図１１を使用して、サブバンドとコードブロックの関係を説明する。前記実施例５の説明の際には、図１１の細線で区切られた格子を１つのウェーブレット係数として扱ったが、ここでは、各格子を１つのコードブロックとして扱い説明する。 First, the relationship between subbands and code blocks will be described with reference to FIG. In the description of the fifth embodiment, the lattice delimited by the thin lines in FIG. 11 is treated as one wavelet coefficient. Here, each lattice is treated as one code block.
JPEG2000においては、コードブロックのサイズは各サブバンドで等しくなければならない。これは、デコンポジションレベルが異なれば、１つのコードブロックにより再現される実画像の面積(影響範囲)が異なることを意味している。したがって、デコンポジションレベル３で文字領域と判定されても、デコンポジションレベル２又は１では非文字領域と判定される場合があり得る。例えば、図１１中の網掛けされた3HLのコードブロックが文字領域と判定されても、それに対応する1HLの１６個のコードブロックには文字領域と写真領域が混在するということもあり得る。但し、このような場合であっても、本実施例の領域判定方法によれば、適切なレイヤ分割と画像のプログレッシブ再現を支障なく実現できる。
In JPEG2000, the code block size must be equal in each subband. This means that if the decomposition level is different, the area (influence range) of the actual image reproduced by one code block is different. Therefore, even if it is determined as a character area at the
図１３を参照し、本実施例に係るエンコーダ12の領域判定処理部34について説明する。図示のように、ＨＬサブバンド用のサブバンド判定処理部71及び成分判定処理部72と、ＬＨサブバンド用のサブバンド判定処理部73及び成分判定処理部74と、ＨＨサブバンド用のサブバンド判定処理部75及び成分判定処理部76と、総合判定処理部77とから構成される。ＨＬサブバンド用のサブバンド判定処理部71は、図示のように、デコンポジションレベル対応の３組の２値化手段とバッファから構成される。図１３では簡略化されているが、他のサブバンド判定処理部73,75も同様の構成である。
The region
次に、サブバンド判定処理部71と成分判定処理部72について処理を説明するが、他のサブバンドに関しても同様の処理が行われる。
Next, processing is described for the subband
領域判定処理部34には、各サブバンドの各コードブロックのＤＷＴ係数の絶対値が順次入力される。サブバンド判定処理部71においては、デコンポジションレベル対応の２値化手段により１係数ずつ順次、サブバンド毎に予め定められた所定のしきい値（ＴＬ）と比較され、しきい値以上でれば１(オン)、しきい値未満であれば０(オフ)に２値化される。２値化結果はサブバンド判定処理部71内のバッファに格納される。
The area
このような構成をとる理由を以下に示す。JPEG2000におけるコードブロックサイズは、主、副走査とも２のべき乗の、4096以下の自由な値をとることができる。しかし、通常、符号化効率と利便性を考え、32×32または64×64のサイズが使用されることが多く、コードブロック内のＤＷＴ係数全てを同時に２値化しようとすると２値化手段のハード量が増大するため、２値化手段はデコンポジションレベル対応に１個ずつ用意し、逐次に２値化処理を行って、その結果をバッファに格納するようにしている。もちろん、ハード量の増大をいとわないならば、全係数を並列に２値化するような構成とすることもできる。 The reason for adopting such a configuration will be described below. The code block size in JPEG2000 can take a free value of 4096 or less, which is a power of 2 for both main and sub-scanning. However, in consideration of coding efficiency and convenience, a size of 32 × 32 or 64 × 64 is often used, and if all DWT coefficients in a code block are to be binarized at the same time, binarization means Since the amount of hardware increases, the binarization means prepares one by one corresponding to the decomposition level, sequentially performs binarization processing, and stores the result in the buffer. Of course, if the increase in the amount of hardware is not an issue, all the coefficients can be binarized in parallel.
他のサブバンド判定処理部73,75のおいても同様の処理が行われる。
Similar processing is performed in the other subband
成分判定処理部72は、図１４に示すように、デコンポジションレベル対応の３組のＯＲ処理部81及びバッファ82と、判定処理部83とからなる構成である。他の成分判定処理部74,76も同様の構成である。
Component
図１４を参照し、成分判定処理部72の処理を説明する。サブバンド判定処理部71内のバッファから読み出された２値化されたサブバンド毎のHLb信号は、コードブロック単位にＯＲ処理部81にてＯＲ処理され、２値信号(1HLcb,2HLcb,3HLcb)が得られる。このＯＲ処理後の２値化信号は、コードブロック内に１つでも２値化結果が１(オン)の係数があれ１（オン）になる（そのコードブロックを文字候補とすることを意味する）。ＯＲ処理部81から出力されるコードブロック単位の２値化信号はバッファ82に一旦記憶される。
The process of the component
判定処理部83は、バッファ82よりコードブロック単位の２値化信号を読み込み、各々のサブバンド毎の判定結果(J_1HL,J_2HL,J_3HL)を出力する。この判定結果はサブバンド毎のコードブロック単位に出力されるので、１個のJ_3HLに対して、４個のJ_2HLと、16個のJ_1HLが出力される。判定処理部83における判定は次のように行われる。J_3HLの判定では、3HLcb信号と、対応する４個の2HLcb信号のＯＲ信号と、対応する16個の3HLcb信号のＯＲ信号のうちの２つ以上が１（オン）ならば１（文字）を出力し、そうでなければ０（非文字）を出力する。J_2HLの判定では、2HLcb信号と、対応する3HLcbと、対応する４個の1HLcb信号のＯＲ信号のうちの２つ以上が１ならば１（文字）を出力し、そうでなければ０（非文字）を出力する。J_1HLの判定では、1HLcb信号と、対応する2HLcb信号と、対応する3HLcb信号のうちの２つ以上が１ならば１（文字）を出力し、そうでなければ０（非文字）を出力する。
The
他の成分判定処理部74,76の処理も同様である。
The processing of the other component
総合判定処理部77は、成分判定処理部72,74,76より出力されるＬＨ，ＨＬ，ＨＨ成分の判定出力信号を、デコンポジションレベル別に、対応コードブロック毎にＯＲ処理することにより、デコンポジションレベル別のコードブロック単位の領域判定データJ1，J2，J3出力する。ここまでの説明から明らかなように、１個のJ3に対し、４個のJ2、１６個のJ1が出力されることになる。
The overall
なお、タイリングを行う場合には、高いデコンポジションレベルのコードブロックのサイズが、サブバンドに含まれるＤＷＴ係数の数の関係から、デコンポジションレベル１のコードブロックよりも小さくなることがある(コードブロックサイズは、デフォルト値とサブバンド内の係数の数との小さい方の値をとるため)。この場合には、出力される領域判定データやＯＲ処理に入力される２値データの数は上記の個数とは変化するが、特に問題とはならない。
When tiling is performed, the size of a code block having a high composition level may be smaller than that of a code block having a
本実施例における符号ストリーム生成処理部37の構成は、前記実施例１と基本的に同様であるので図５を援用して説明する。本実施例に係る符号ストリーム生成処理部37の場合、パターンテーブル43とセレクタ44が各デコンポジションレベル毎に備えられ、各セレクタ44に、対応したデコンポジションレベルの領域判定データが入力される。各セレクタ44により選択された各デコンポジションレベル用のパターンテーブル43の情報がパケット生成処理部45に入力され、コードブロック単位にレイヤ分割構成が制御された符号ストリームが生成される。
Since the configuration of the code stream
なお、各デコンポジションレベルの領域判定データがパケット生成処理部45にも入力することにより、前記実施例５に述べたようなレイヤ単位の符号量を文字ブロックと非文字ブロックとで切り替えることができることは明らかである。
In addition, by inputting the region determination data of each decomposition level to the packet
本実施例は、タイリングの有無に拘わらず適用可能である。また、本実施例によれば、タイルサイズよりも小さなブロック単位で、領域判定をより高精度に行って符号ストリームの階層分割構成の制御、さらには階層単位の符号量制御を行うことができる。 This embodiment can be applied regardless of the presence or absence of tiling. Further, according to the present embodiment, it is possible to perform area determination with higher accuracy in units of blocks smaller than the tile size, and to control the code stream hierarchy division configuration and further control the code amount in units of hierarchies.
なお、本実施例はＤＷＴ係数に基づいて領域判定を行う例であるが、前記実施例１〜４のように画像データの像域分離信号を基に領域判定を行う場合においても、同様のコードブロック単位の領域判定を行うことも可能である。この場合には、各デコンポジションレベルに対応した画素(面積)の像域分離信号のＯＲ処理を行って、各々のデコンポジションレベルにおける領域判定データを生成させればよい。そして、その領域判定データに従って、前記実施例と同様の符号ストリームの階層分割制御、さらには階層単位の符号量制御を行うことができる。 Although this embodiment is an example in which region determination is performed based on the DWT coefficient, the same code is used when performing region determination based on an image region separation signal of image data as in the first to fourth embodiments. It is also possible to perform block area determination. In this case, the region determination data at each decomposition level may be generated by performing OR processing on the image area separation signal of the pixel (area) corresponding to each decomposition level. Then, according to the area determination data, code stream layer division control similar to that of the above embodiment, and code amount control for each layer can be performed.
また、本実施例に示した方法と同様の方法によってプレシンクト単位に領域判定を行うことも可能である。JPEG2000におけるプレシンクトは、デコンポジションレベル毎にある程度自由なサイズを選択可能なので、判定領域を柔軟に選択可能となる。 It is also possible to perform area determination in units of precincts by a method similar to the method shown in the present embodiment. The precinct in JPEG2000 can be selected to a certain degree of freedom for each decomposition level, so that the determination area can be selected flexibly.
ここでは、符号ストリームに基づいて領域判定を行う実施例について説明する。 Here, an embodiment in which region determination is performed based on a code stream will be described.
JPEG2000の場合、符号データに基づいて領域判定を行う方法としては、パケットヘッダに記録されている情報を用いるのが、簡易で高速な方法である。パケットヘッダには、そのパケットに含まれるコードブロックに関する以下の情報が含まれている。
・零長パケット：パケット長が０であるか（空のパケットであるか）か否か。
・コードブロックの包含：現コードブロックがそれ以前のレイヤのパケットに包含されていたか否か。
・ゼロビットプレーン情報：コードブロック単位の(情報の無い)ビットプレーンの数(MSBから符号が現れるまでの数)。
・符号化パス数：コードブロック単位の現パケットに含まれる符号化パスの数
・コードブロックの符号長(符号量)：現コードブロックに包含される符号量。
つまり、パケットヘッダのみから、これらの情報を取得可能である。基本的に可変長符号においては、符号量が多い(符号が長い)場合は多くの値が存在する。また、JPEG2000の場合、ビットプレーン符号化であるため、上位のビットプレーンの符号量が特定の値よりも大きい(０よりも大きい)場合は、該当するＤＷＴ係数はそのビットプレーンにて表される数値以上の値を持つことは明らかである。
In the case of JPEG2000, as a method for performing region determination based on code data, using information recorded in the packet header is a simple and high-speed method. The packet header includes the following information regarding the code block included in the packet.
Zero length packet: Whether the packet length is 0 (whether it is an empty packet) or not.
Code block inclusion: whether or not the current code block was included in the previous layer packet.
Zero bit plane information: The number of bit planes (no information) in code block units (number of MSBs until a code appears).
The number of coding passes: the number of coding passes included in the current packet in code block units. The code length (code amount) of the code block: the amount of code included in the current code block.
That is, these pieces of information can be acquired only from the packet header. Basically, a variable length code has many values when the code amount is large (the code is long). In the case of JPEG2000, since it is bit plane coding, when the code amount of the upper bit plane is larger than a specific value (greater than 0), the corresponding DWT coefficient is represented by that bit plane. It is clear that it has a value greater than the numerical value.
このような性質を使用することによって、各サブバンド内の全てのコードブロックに値の大きな(文字候補)の係数が存在するかどうかスキャンし、前記実施例５に関連して説明した方法と同様の方法（２つ以上のサブバンドに大きなＤＷＴ係数値(文字候補)が存在する場合に文字領域とする方法)などによりタイルの領域判定を行うことが可能である。 By using such a property, it is scanned whether there is a coefficient having a large value (character candidate) in all code blocks in each subband, and similar to the method described in connection with the fifth embodiment. It is possible to perform tile area determination by the above method (method of making a character area when a large DWT coefficient value (character candidate) exists in two or more subbands).
最も簡単な方法は、上記の０ビットプレーン情報を使用して、０でないサブビットプレーンのＤＷＴ係数におけるビット位置の情報から判定することである。例えば、あるコードブロック内に含まれるＤＷＴ係数のダイナミックレンジが１０ビットであり、例えば０ビットプレーン数が３の場合、そのコードブロックに含まれるＤＷＴ係数の絶対値の最大値は、６４〜１２７の範囲である。なお、上記のＤＷＴ係数の値は、量子化およびポスト量子化が行われていないＤＷＴ処理直後のＤＷＴ係数の値を表している。この方法により領域判定を行う実施例について説明する。 The simplest method is to use the above 0 bit plane information to determine from the information on the bit position in the DWT coefficient of the non-zero sub bit plane. For example, when the dynamic range of a DWT coefficient included in a certain code block is 10 bits and the number of 0-bit planes is 3, for example, the maximum absolute value of the DWT coefficient included in the code block is 64 to 127. It is a range. Note that the value of the DWT coefficient represents the value of the DWT coefficient immediately after the DWT process in which quantization and post-quantization are not performed. An embodiment in which region determination is performed by this method will be described.
本実施例に係る画像処理装置の全体構成は、前記実施例２と同様な図７に示すような構成であるとして説明する。本実施例において、領域判定処理は、図７の符号ストリーム変更処理部50の内部で行われる。
The overall configuration of the image processing apparatus according to the present embodiment will be described on the assumption that the configuration shown in FIG. In this embodiment, the area determination process is performed inside the code stream
本実施例に係る符号ストリーム変更処理部50の構成を図１５に示す。本実施例と前記実施例２との相違点は、ヘッダ解析処理部51から出力されるヘッダ解析情報を基にタイル単位の領域判定行う領域判定処理部53が追加されたことである。なお、前記実施例２の場合には、エンコーダ12において符号化処理時に領域判定を行い、領域判定結果を符号ストリームのタイルヘッダ部等に保持させたが、本実施例においては、その必要はない。したがって、エンコーダ12の領域判定処理部34は設ける必要がない。また、エンコーダ12により生成される符号ストリームのプログレッシブ順序や階層分割構成は任意であり、また、プログレッシブでなくともよい。
The configuration of the code stream
ヘッダ解析処理部51は、入力されるパケットのパケットヘッダ情報を解析し、(YUV信号のうちの)Ｙ信号に関するコードブロック単位での０ビットプレーン数を出力する。ここでは、例えば３デコンポジションレベルのＤＷＴ係数を示す図１１において、細線で区切られた各格子を１つのコードブロックであるとして、各々のコードブロック毎の０ビットプレーン数がヘッダ解析処理部51から出力され、領域判定処理部53に入力する。
The header
図１６は領域判定処理部53のブロック図である。図示のように、領域判定処理部53は、ＨＬサブバンド用のサブバンド判定処理部201及び成分判定処理部202と、ＬＨサブバンド用のサブバンド判定処理部203及び成分判定処理部204と、ＨＨサブバンド用のサブバンド判定処理部205及び成分判定処理部206と、総合判定処理部207と、ラッチ208とから構成される。
FIG. 16 is a block diagram of the area
ＨＬサブバンド用のサブバンド判定処理部201は、図示のように、１ＨＬサブバンド係数に対応した１６個の２値化手段と、その２値化信号のＯＲをとる手段と、２ＨＬサブバンド係数に対応した４個の２値化手段と、その２値化信号のＯＲをとる手段と、３ＨＬサブバンド係数に対応した１個の２値化手段から構成される。図１６では簡略化されているが、他のサブバンド判定処理部203，205も同様の構成である。
As shown in the figure, the subband
ヘッダ解析処理部51から出力されたコードブロック単位の０ビットプレーン数は、一旦バッファ200に記録される。タイル内の全てのコードブロックの０ビットプレーン数がバッファ200に蓄積されると、サブバンド判定処理部201は、２値化手段により、1HLz,2HLz,3HLzに関する０ビットプレーン数を、サブバンド毎に予め定められた所定のしきい値(TL_1HLz,TL_2HLz,TL_3HLz)と比較し、しきい値より大きい場合には０(オフ)、しきい値以下である場合には１(オン)に２値化する。このように、この２値化処理は通常の２値化処理とは出力レベルが逆である。これは、０ビットプレーン数の数が小さい場合はコードブロック内に大きなＤＷＴ係数が存在することを示し、数が大きな場合にはコードブロック内に大きなＤＷＴ係数が存在しないこと示す、という関係に合わせるためである。
The number of 0-bit planes in units of code blocks output from the header
ここでの１回の判定に使用される０ビットプレーン数の個数は、前記実施例５の場合と同様に図１１の網掛けされた係数の数となる。つまり、1HLzは１６個、2HLzは４個、3HLzは１個の係数が一度に２値化され、1HLzと2HLzに関しては１６個、４個の２値化信号がＯＲ手段によりそれぞれＯＲ処理され、ＯＲ処理後の２値信号がサブバンド判定処理部201より出力される。
The number of 0-bit planes used for one determination here is the number of shaded coefficients in FIG. 11 as in the fifth embodiment. That is, 16 coefficients of 1HLz, 4 coefficients of 2HLz, and 1 coefficient of 3HLz are binarized at a time, and 16 binaries and 4 binarized signals are ORed by OR means for 1HLz and 2HLz, The binary signal after the OR process is output from the subband
成分判定処理部202は、サブバンド判定処理部201より出力される３つの２値化信号のうち、２つ以上が１(オン)であれば１(オン)すなわち文字領域、そうでなければ０(オフ)すなわち非文字領域の判定結果信号を出力する。
The component
サブバンド判定処理部201及び成分判定処理部202について説明したが、ＬＨサブバンドに対応したサブバンド判定処理部203及び成分判定処理部204、ＨＨサブバンドに対応したサブバンド判定処理部205及び成分判定処理部208の処理も同様である。
Although the subband
総合判定処理部207は、成分判定処理部202,204,206の判定結果信号と、同一タイル内での一つ前の総合判定結果信号とのＯＲをとり、そのＯＲ信号を総合判定結果信号として出力する。この総合処理がタイル内の全ての係数に対して行われ、タイル内の全ての総合判定処理が終了した時点の総合判定結果信号がラッチ208にラッチされ、それが当該タイルの領域判定データとなる。つまり、タイル内にオンが一つでもあれば文字タイルと判定し、一つもなければ非文字タイルと判定する。なお、次のタイルの判定開始時に、総合判定処理部207の出力は０クリアされる。
The comprehensive
ここまでの説明から明らかなように、本実施例は請求項７の発明の一実施例である。
As is apparent from the above description, this embodiment is an embodiment of the invention of
以上説明したように、本実施例によれば、符号データから領域判定を行うことができるため、符号化処理時に領域判定を行う必要がなく、したがってメモリやＨＤＤ等の記憶媒体あるいは符号ストリームに領域判定結果を保持しておく必要がない。また、本実施例におけるパケットヘッダ情報のみに基づく領域判定処理は、処理が簡易であるという長所を有する。 As described above, according to the present embodiment, since area determination can be performed from code data, it is not necessary to perform area determination at the time of encoding processing. Therefore, an area can be stored in a storage medium such as a memory or an HDD or a code stream. There is no need to hold the determination result. Further, the area determination process based only on the packet header information in this embodiment has an advantage that the process is simple.
なお、本実施例においては、タイル単位で領域判定を行ったが、同様の方法により、前記実施例６のようなコードブロック単位の領域判定もしくはプレシンクト単位の領域判定も容易に可能であることは明らかである。 In this embodiment, the area determination is performed in units of tiles. However, it is possible to easily perform the area determination in units of code blocks or the area determination in units of precinct as in the sixth embodiment by the same method. it is obvious.
前記実施例１〜７においては、領域判定を行い、領域に応じて階層分割構成の制御、さらには階層単位の符号量の制御を行った。しかし、スキャナから読込まれた種々の画像データに対し正確な領域判定を実現することは容易でなく、ある程度の誤判定は避けられない。特に、鉛筆書き等の低コントラスト文字や色地上の文字等で誤判定が生じる可能性が高い。そして、誤判定が生じ、それに応じた処理がなされると、復号画像上に違和感が生じる可能性がある。このような違和感を緩和するためには、画像の特徴量を検出し、その特徴量に応じて符号ストリームのレイヤ分割構成（階層分割構成)を”多段階に”制御すると効果的である。ここでは、そのような特徴量に応じた多段階の制御を行う実施例について説明する。 In the first to seventh embodiments, region determination is performed, and the hierarchical division configuration is controlled according to the region, and further, the code amount is controlled in units of layers. However, it is not easy to realize accurate region determination for various image data read from the scanner, and some misjudgment is inevitable. In particular, there is a high possibility that erroneous determination will occur in low-contrast characters such as pencil writing or characters on the color ground. And when a misjudgment arises and the process according to it is made, a sense of incongruity may arise on a decoded image. In order to alleviate such a sense of incongruity, it is effective to detect the feature amount of the image and control the layer division configuration (hierarchy division configuration) of the code stream according to the feature amount in “multistage”. Here, an embodiment that performs multi-stage control according to such feature amounts will be described.
図１７は、本実施例に係る画像処理装置の全体構成を示すブロック図である。この画像処理装置は、サーバ１として利用し得るＭＦＰであり、図２に示した構成と比較すると、像域分離処理部10が特徴量算出部111に置き換えられている点が相違する。これ以外の全体的構成及びＭＦＰとしての動作は前記実施例１に関連して述べた通りである。
FIG. 17 is a block diagram illustrating the overall configuration of the image processing apparatus according to the present embodiment. This image processing apparatus is an MFP that can be used as the
なお、像域分離処理部10にはスキャナ９から出力される画像データが入力されたが、特徴量算出部111にはエンコーダ処理部12に入力される画像データが入力される。これは、符号化処理の対象となる画像データそのものを特徴量の算出に用いることにより、特徴量の算出精度を向上させようとするものである。
Note that image data output from the
図１８は特徴量算出部111のブロック図である。図示のように、特徴量算出部111は、エッジ量算出フィルタ121、絶対値化処理部122、最大値選択部123及びルックアップテーブル（ＬＵＴ）124から構成される。
FIG. 18 is a block diagram of the feature
この特徴量算出部111には、画像データのＧ信号が入力される。入力されたＧ信号に対してエッジ量算出フィルタ121で２種類のフィルタによるフィルタ演算が行われ、それぞれのフィルタ演算結果が絶対値化処理部122へ入力される。絶対値化処理部122では、それぞれのフィルタ演算結果を絶対値化して２つのデータを出力する。最大値選択部123では、この２つのデータのうちの最大値を選択して出力する。このデータは、ＬＵＴ124により所定段階数の特徴量（エッジ量）を表すEdge信号に変換される。本実施例では、Edge信号は０〜７の８値とし、その値が大きいほどエッジ量が大きいことを表す。なお、ＬＵＴ124による変換は、Edge信号と入力画像との関係を線形に近づけるために行われる。
The G signal of the image data is input to the feature
エッジ量算出フィルタ121では、例えば図１９（ａ），（ｂ）のような方向性の異なる２種類の一次微分フィルタが用いられる。
In the edge
なお、特徴量算出処理部111において、画像データのＲ，Ｇ，Ｂ各信号からエッジ量を算出し、それらの絶対値の最大値を選択するようにしてもよい。あるいは、ＲＧＢ信号から所定の演算により生成した一つの信号からエッジ量を算出するようにしてもよい。さらには、エンコーダ12内で色変換処理により生成されるＹ信号を特徴量算出部111に入力し、同様のエッジ量検出を行うことも可能である。これらの態様も本発明に包含される。
Note that the feature amount
図２０は、本実施例に係るエンコーダ12のブロック図である。前記実施例１などに係る図３に示した構成と比較すると、領域判定処理部34が最大値選択部131に置き換えられている。最大値選択部131は、各タイル単位で、タイル内でのEdge信号の最大値を選択し、その値をタイルにおける特徴量（エッジ量）として出力する。この特徴量は符号ストリーム生成処理部37に入力される。
FIG. 20 is a block diagram of the
符号ストリーム生成処理部37の構成は、前記実施例１などに係る図５に示した構成と同様であるが、パターンテーブル43には、特徴量の段階数に対応した８種類のレイヤパターンが設定される。例えば、特徴量０（最低エッジ量）に対応するレイヤパターンは前記実施例１における非文字領域用のレイヤパターンとし、特徴量７（最大エッジ量）に対応するレイヤパターンは前記実施例１における文字領域用のレイヤパターンとし、中間的な特徴量１〜６に対応するレイヤパターンとしては、非文字領域用レイヤパターンと文字領域用レイヤパターンの中間的なレイヤパターンが用いられる。
The configuration of the code stream
セレクタ44は、特徴量に対応したレイヤパターンを選択してパケット生成処理部45へ入力する。したがって、パケット生成処理部45により、特徴量０のタイルでは非文字領域に適した階層分割構成の符号ストリームが生成され、特徴７のタイルでは文字領域に適した階層分割構成の符号ストリームが生成され、特徴量１〜６のタイルでは、その値に応じた中間的な階層分割構成の符号ストリームが生成されることとなる。このようにして、多値の特徴量に従って、符号ストリームの階層分割構成（レイヤ分割構成）が多段階に制御される。
The
ここまでの説明から明らかなように、本実施例は請求項８，１８の発明の一実施例である。特徴量算出部111及び最大値選択部131と、その作用は、請求項８，１８における特徴量検出手段と工程に対応する。また、パターンテーブル43及びセレクタ44とその作用は、請求項８，１８における階層分割構成を制御する手段と工程に対応する。
As is apparent from the above description, this embodiment is an embodiment of the inventions of
以上説明したように本実施例によれば、符号ストリームのレイヤ分割構成を特徴量（エッジ量)に従って多段階に制御されるため、領域判定結果に従ってレイヤ分割構成を制御する構成における、復号画像に誤判定による違和感が生じるという問題は解消される。 As described above, according to the present embodiment, since the layer division configuration of the code stream is controlled in multiple stages according to the feature amount (edge amount), the decoded image in the configuration in which the layer division configuration is controlled according to the region determination result. The problem of uncomfortable feeling due to erroneous determination is solved.
なお、符号ストリーム生成処理部37において、特徴量０に対応したレイヤパターンと特徴量７に対応したレイヤパターンのみをパターンテーブル43に設定し、それら２種類のレイヤパターンを用いて特徴量１〜６に対応した中間的なレイヤパターンを算出する構成としてもよく、かかる態様も本発明に包含される。
In the code stream
また、像域分離も行い、その像域分離信号をＬＵＴ124に入力し、像域分離信号が文字領域を示す場合にＬＵＴ124より７のEdge信号を出力し、像域分離信号が非文字領域を示す場合には、ＬＵＴ124より最大値選択部123で選択されたエッジ量に応じた０〜６のEdge信号を出力するというように、特徴量検出に像域分離を組み合わせることも可能である。かかる態様も本発明に包含される。
Also, image area separation is performed, and the image area separation signal is input to the
また、エッジ量はエントロピー符号化時の符号量との対応や文字らしさとの対応も良いため、特徴量として極めて好適である。しかし、エッジ量以外の特徴量を利用することも可能である。例えば、パターン認識を行い、その類似度合い等を特徴量として利用することも可能であり、かかる態様も本発明に包含される。 Further, the edge amount is very suitable as a feature amount because it corresponds well to the code amount at the time of entropy encoding and to the character quality. However, it is also possible to use a feature amount other than the edge amount. For example, it is possible to perform pattern recognition and use the degree of similarity as a feature amount, and such an aspect is also included in the present invention.
また、コードブロック単位又はプレシンクト単位で特徴量を検出することも可能である。それには、例えば、最大値選択部131によってコードブロック内又はプレシンクト内の最大値を選択すればよい。
It is also possible to detect feature quantities in units of code blocks or precincts. For this purpose, for example, the maximum value in the code block or precinct may be selected by the maximum
また、前記実施例３に関連して説明したようなレイヤ単位（階層単位）の符号量を設定符号量に制御させることも可能である。さらには、レイヤ単位の設定符号量を特徴量に従って行わせることも可能である。例えば、符号ストリーム生成処理部37において、特徴量をパケット生成処理部45にも入力することにより、パケット生成処理部45でレイヤ単位の符号量を特徴量に従って多段階に制御させることができる。かかる態様は、請求項１０，１１の発明の一実施例に相当する。
It is also possible to control the code amount in units of layers (hierarchical units) as described in connection with the third embodiment to the set code amount. Furthermore, the set code amount for each layer can be performed according to the feature amount. For example, in the code stream
また、前記実施例２に係る画像処理装置（図７）において、前述したような特徴量検出を行い、エンコーダ12により生成される符号ストリーム内に、検出された特徴量の情報を保持させ、符号ストリーム変更処理部50（図８）で、本実施例と同様に特徴量に従った階層分割構成（レイヤ分割構成）の制御を行わせることも可能である。かかる態様は請求項９の一実施例に相当する。さらに、特徴量に従ってレイヤ単位の符号量を多段階に制御させることも可能である。
Further, in the image processing apparatus according to the second embodiment (FIG. 7), the feature amount detection as described above is performed, and the information of the detected feature amount is held in the code stream generated by the
前記実施例８では、実空間画像信号から特徴量を検出したが、次にＤＷＴ係数から特徴量を算出する実施例を説明する。 In the eighth embodiment, the feature amount is detected from the real space image signal. Next, an embodiment in which the feature amount is calculated from the DWT coefficient will be described.
本実施例に係る画像処理装置の全体構成は、前記実施例８に係る画像処理装置（図１７）より特徴量算出部111を省いた構成である。全体的動作は前記実施例８と同様であるので説明を省略し、前記実施例８との相違点を以下に説明する。
The overall configuration of the image processing apparatus according to the present embodiment is a configuration in which the feature
図２１は、本実施例に係るエンコーダ12のブロック図である。このエンコーダ12は、前記実施例５に係るエンコーダ（図１０）の領域判定処理部34を特徴量算出処理部141に置き換えた構成である。
FIG. 21 is a block diagram of the
図２２は、本実施例に係る特徴量算出処理部141のブロック図である。図示のように、特徴量算出部141は、ＨＬサブバンドに対応した加算処理部151と、ＬＨサブバンドに対応した加算処理部152と、ＨＨサブバンドに対応した加算処理部153と、最大値選択処理部154と、ルックアップテーブル（ＬＵＴ）155と、最大値選択処理部156と、ラッチ157とから構成される。
FIG. 22 is a block diagram of the feature amount
この特徴量算出処理部141には、前記実施例５と同様に図１１の網掛けされた部分のＤＷＴ係数（絶対値）が一度に入力される(ここでは、図１１の細線の格子はＤＷＴ係数値を示すものとする)。入力されたHL,LH,HHのＤＷＴ係数は、加算処理部151，152，153によりそれぞれ加算され、その合計値が出力される。最大値選択処理部154により、その３つの合計値のうちの最大値が選択される。選択された最大値はＬＵＴ155によって前記実施例９と同様に８値の特徴量に変換される。この特徴量は最大値選択処理部156によって一つ前の特徴量と比較され、そのうちの大きな方の値が最大値選択処理部156より出力される。同様の処理がタイル内の全ての係数について繰り返され、全ての係数の処理が終了した時点における最大値選択処理部157の出力値がラッチ157にラッチされ、当該タイルの特徴量として出力される。なお、最大値選択処理部156の出力は、次のタイルの特徴量算出処理の開始前に０クリアされる。つまり、特徴量算出処理部141から出力される特徴量は、タイル内の特徴量の最大値である。
In the feature quantity
そして、符号ストリーム生成処理部37において、前記実施例８と同様に階層分割構成が特徴量に従って多段階に制御された符号ストリームが生成される。
Then, the code stream
ここまでの説明から明らかなように、本実施例は請求項１３の発明の一実施例に相当する。
As is apparent from the above description, this embodiment corresponds to an embodiment of the invention of
なお、同様の方法により、コードブロック単位又はプレシンクト単位で特徴量を検出してもよいことは明らかである。かかる態様も請求項１３の発明に包含される。
It is obvious that the feature amount may be detected in units of code blocks or precincts by a similar method. Such an aspect is also included in the invention of
また、ＤＷＴ係数を使用した特徴量の算出方法は、前述の方法のみに限定されるものではない。 Further, the method for calculating the feature amount using the DWT coefficient is not limited to the above-described method.
また、前記実施例２に係る画像処理装置（図７）において、エンコーダ12内で同様の特徴量検出を行い、検出した特徴量を符号ストリーム内に保持させ、符号ストリーム変更処理部50（図８）で、本実施例と同様に特徴量に従った階層分割構成（レイヤ分割構成）の制御を行わせることも可能である。かかる態様は請求項９の一実施例に相当する。さらに、特徴量に従って階層単位（レイヤ）の符号量を多段階に制御させることも可能であり、かかる態様は請求項１０，１１の一実施例に相当する。
In the image processing apparatus according to the second embodiment (FIG. 7), the same feature amount detection is performed in the
次に、符号データから特徴量を算出する実施例を説明する。 Next, an embodiment for calculating a feature amount from code data will be described.
本実施例における画像処理装置の全体構成は、前記実施例７に係る画像処理装置（図７）の像域分離処理部10を省いた構成である。また、全体的動作は前記実施例７と同様である。
The overall configuration of the image processing apparatus according to the present embodiment is a configuration in which the image area
本実施例に係る符号ストリーム変更処理部50は、前記実施例７に係る符号ストリーム生成処理部（図１５）における領域判定処理部53を、図２３に示す構成の特徴量算出処理部に置き換えた構成である。
The code stream
この特徴量算出処理部は、図示のように、０ビットプレーン解析処理部161、加算処理部162,163,164、最大値選択処理部165、ルックアップテーブル（ＬＵＴ）166、最大値選択処理部167及びラッチ168からなる。
As shown in the figure, this feature amount calculation processing unit includes a 0-bit plane
ヘッダ解析処理部51よりパケットヘッダが入力されると、０ビットプレーン解析処理部161によってパケットヘッダの０ビットプレーン情報が解析され、各サブバンドのコードブロック単位のMSBからの０ビットプレーン情報が得られる。言い換えれば、各コードブロック単位の最大値の最上位ビットが含まれるサブビットプレーンが得られる。０ビットプレーン解析処理部161では、この情報に応じた重み値を与えて図１１の網掛けされた部分の重み(W_1HL、W_2HL、W_3HL)を同時に出力する(ここでは、図１１の細線の格子はコードブロックを示すものとする)。ここでの重みは、例えば、上記最上位ビットがLSBから７ビット目であれば128というように、２の”最上位ビット”乗とする。なお、この場合にサブビットプレーン単位にて重みを変更してもよい。例えば、最上位ビットがLSBから７ビット目のSignificance propagationパスである場合は、128＋128×3/4(128は２の７乗、3/4はSignificance propagationパスの重み)という計算で224、Magnitude refinementパスの場合は、128＋128×2/4という計算で192、Clean upパスの場合は、128＋128×1/4という計算で160となる。
When a packet header is input from the header
これらの重みを、図１１に示す網掛けされたコードブロックの数だけ、つまりW_1HLを16個、W_2HLを４個、W_3HLを１個、加算処理部162で加算する。LH,HH成分の重みについても同様に加算処理部163，164で加算処理する。３個の加算値のうち最大値が最大値選択処理部165にて選択される。これ以降の処理は実施例９と同様であり、最大値選択処理部165の出力値はＬＵＴ166により０〜７の値に変換され、その値と直前の最大値選択処理部167の出力値の大きい方の値が最大値選択処理部167により選択され、最終的にラッチ168にラッチされた値がタイルの特徴量として出力される。そして、前記実施例７と同様にして、特徴量に従って階層分割構成が多段階に制御された符号ストリームがパケット生成処理部45により生成される。
These weights are added by the
ここまでの説明から明らかなように、本実施例は、請求項１０の発明の一実施例に相当する。
As is apparent from the above description, this embodiment corresponds to an embodiment of the invention of
なお、特徴量算出の単位領域はタイルに限らず、コードブロック単位又はプレシンクト単位の特徴量を同様の方法で算出可能であることは明らかであり、かかる態様も請求項１０の発明に包含される。
It should be noted that the feature quantity calculation unit area is not limited to the tile, and it is obvious that the feature quantity in the code block unit or the precinct unit can be calculated by the same method, and this aspect is also included in the invention of
前記各実施例はサーバ側の画像処理装置に関するものであるが、転送路の転送速度は十分高速であるがクライアントの復号処理速度が遅い場合などには、クライアント側で前記各実施例に述べたような領域毎の画像種別に応じた階層分割構成の制御を行うと効果的である。 Each of the above embodiments relates to the image processing apparatus on the server side. However, when the transfer speed of the transfer path is sufficiently high but the decoding speed of the client is low, the client side described the above embodiments. It is effective to control the hierarchical division configuration according to the image type for each region.
ここに述べる実施例は、領域毎の画像種別に従ってプログレッシブ復号の階層分割構成の制御を行うクライアント側の画像処理装置に関するものである。 The embodiment described here relates to an image processing apparatus on the client side that controls the hierarchical division configuration of progressive decoding according to the image type for each region.
図２４は、本実施例に係る画像処理装置の復号処理に関連する構成を示すブロック図である。本実施例の画像処理装置は、外部転送路2を介してサーバより符号ストリームを受信し、それをプログレッシブに復号するもので、外部インターフェース（Ｉ／Ｆ）91、符号バッファ92、符号ストリーム分解処理部93、エントロピー復号化処理部94、係数バッファ95、逆離散ウェーブレット変換（ＩＤＷＴ）処理部96、逆色変換処理部97及び画像バッファ98を含む構成である。すなわち、本実施例は、ＪＰＥＧ２０００の伸長処理のための基本的構成に符号ストリーム分解処理部93が追加された構成である。符号ストリーム分解処理部93は、タイル単位で文字／非文字の領域判定を行うための手段を含み、その判定結果に従って、エントロピー復号化処理の前段で符号データのレイヤ分割構成（階層分割構成）を制御することによって、プログレッシブ復号の階層分割構成を制御するための手段である。
FIG. 24 is a block diagram illustrating a configuration related to the decoding process of the image processing apparatus according to the present embodiment. The image processing apparatus according to the present embodiment receives a code stream from a server via the
全体的な処理の流れは次の通りである。外部転送路２を介してサーバ１から転送された符号ストリームは、外部Ｉ／Ｆ91を経由して符号バッファ92へ蓄積される。符号バッファ92に一つの画像全体の符号データが蓄積されると、符号ストリーム分解処理部93は符号バッファ92から符号データをタイル単位で読み出し、該当するプログレッシブ階層(レイヤ)の符号データを選択してエントロピー復号化処理部94へ出力する。エントロピー復号化処理部94では、コードブロック単位でかつサブビットプレーン単位に算術符号化された符号データを復号化し、復号化したビットプレーンデータを係数バッファ95にＤＷＴ係数の形態に並べ替えて蓄積する。ＩＤＷＴ処理部96では、係数バッファ95からＤＷＴ係数を読み出し、前記式（３）の逆変換である逆離散ウェーブレット変換を実施してYUVの画像データを出力する。逆色変換処理部97では、前記式（１）、式（２）の逆変換によりYUVデータをRGBの画像データに戻して画像バッファに蓄積する。同様の処理が画像内の全てのタイルについて実施され、当該レイヤ（階層）の復号が終了する。なお、画像バッファ98内の画像データはモニタ４に逐次表示される。
The overall processing flow is as follows. The code stream transferred from the
一つのレイヤの復号処理が終わると、次位のレイヤの復号が開始される。次位のレイヤの復号時も同様の流れにより復号処理が行われるが、処理済みの上位レイヤのエントロピー復号化されたビットプレーンデータは係数バッファ95内に蓄積されているので、改めてエントロピー復号化は行われない。つまり、次位のレイヤ分のみの符号データがエントロピー復号化されて新たに係数バッファ95内に蓄積されることになり、そのデータに改めてＩＤＷＴ処理から後段の処理を実施して画像バッファ内の画像データを更新していくことにより、領域判定結果に従って階層分割構成が制御されたプログレッシブ復号がなされる。
When the decoding process for one layer is completed, decoding of the next layer is started. The decoding process is performed in the same flow when decoding the next layer, but since the processed upper layer entropy-decoded bitplane data is stored in the
図２５は、符号ストリーム分解処理部93のブロック図である。この符号ストリーム分解処理部93は、前記実施例７に係る符号ストリーム変更処理部50（図１５）とほぼ同様の構成であるが、符号ストリームの形成に関わるパケット生成処理部45及びタイルヘッダ生成処理部46は符号選択処理部101に置き換えられている。また、符号ストリーム分割処理部93内の領域判定処理部53は、前記実施例７に係る図１６に示す構成と同様の構成である。
FIG. 25 is a block diagram of the code stream
符号ストリーム分割処理部93の処理は前記実施例７の符号ストリーム変更処理部50とほぼ同様であり、入力されるパケットのパケットヘッダがヘッダ解析処理部51で解析され、パケット分解処理部52からの制御信号に応じてパケット分解処理部52によりパケットの符号部分がサブビットプレーン毎の符号データに分解されて入力符号バッファ41に記録される。この際に、ヘッダ解析処理部51より(YUV信号のうちの)Ｙ信号に関するコードブロック単位での０ビットプレーン数が領域判定処理部53へ出力され、領域判定処理部53において前記実施例７に関連して説明したと同様のタイル単位の文字／非文字の領域判定が行われる。この領域判定の結果に応じて、セレクタ44を介して、パターンテーブル43に設定されている文字タイル用レイヤパターン又は非文字タイル用レイヤパターンが符号選択処理部101に読み込まれる。
The processing of the code stream
ここまでは前記実施例７の場合と同様であるが、本実施例においては、符号選択処理部101により、レイヤパターンに従って復号すべきレイヤに対応するサブビットプレーンの符号データを入力符号バッファ41から読み出し、それをエントロピー復号化処理部94へそのまま出力する点が相違する。このような符号ストリーム分解処理が、画像内の全タイルについて、上位レイヤから下位レイヤへ向かって順次繰り返されることにより、前述のような領域判定結果に従った階層分割構成のプログレッシブ復号が可能となる。
The processing up to this point is the same as in the seventh embodiment, but in this embodiment, the code
ここまでの説明から明らかなように、本実施例は、請求項１５，１９の発明の一実施例に相当する。そして、符号ストリーム分解処理部93とその作用は、請求項１５，１９におけるプログレッシブ復号の階層分割構成を制御する手段と工程に対応し、また、領域判定処理部53とその作用は、請求項１５，１９における領域判定手段と工程に対応する。
As is apparent from the above description, this embodiment corresponds to an embodiment of the inventions of
なお、本実施例ではタイル単位で領域判定を行ったが、コードブロック単位又はプレシンクト単位で同様の領域判定を行うことも可能であることは明らかであり、かかる態様も請求項１５，１９の発明に包含される。
In the present embodiment, the area determination is performed in units of tiles. However, it is obvious that the same area determination can be performed in units of code blocks or precincts, and this aspect is also the invention of
また、前記実施例２に関連して述べたように、サーバ側で領域判定が行われ、その領域判定データが符号ストリームのタイルヘッダのコメントマーカ部等に記述されているならば、符号ストリーム分割処理部93（図２５）において、ヘッダ解析処理部51でタイルヘッダより領域判定データ結果を抽出し、その領域判定データをセレクタ44に与えることができる。この場合、ヘッダ解析処理部51が領域判定手段となるため、領域判定処理部53を省くことができる。かかる態様も請求項１５，１９の発明に包含される。
Further, as described in connection with the second embodiment, if region determination is performed on the server side and the region determination data is described in the comment marker portion of the tile header of the code stream, the code stream division is performed. In the processing unit 93 (FIG. 25), the header
本実施例は、前記実施例１１と同様にクライアント側の画像処理装置に関するものであり、復号処理に関わる構成は前記実施例１１（図２４）と同様である。 The present embodiment relates to an image processing apparatus on the client side as in the eleventh embodiment, and the configuration related to the decoding process is the same as in the eleventh embodiment (FIG. 24).
また、本実施例に係る画像処理装置の符号ストリーム分解処理部９３の構成は前記実施例１１に係る図２５に示すような構成であるが、領域判定処理部53は前記実施例１０に係る特徴量算出処理部（図２３）と置き換えられる。この特徴量算出処理部により算出されたタイル単位の特徴量（０〜７の８段階）に応じたレイヤパターンがセレクタ44を介してパターンテーブル43より符号選択処理部101へ入力され、符号選択処理部101においてレイヤパターンに従って特徴量に応じた符号選択が行われる。かくして、タイル単位で特徴量に従ってプログレッシブ復号の階層分割構成を多段階に制御することができる。
In addition, the configuration of the code stream
すなわち、本実施例は、請求項１６，２０の発明の一実施例である。そして、符号ストリーム分解処理部93とその作用は、請求項１６，２０におけるプログレッシブ復号の階層分割構成を制御する手段と工程に対応し、また、特徴量算出処理部3とその作用は請求項１６，２０における特徴量算出手段と工程に対応する。
That is, this embodiment is an embodiment of the inventions of
なお、本実施例ではタイル単位で特徴量を算出したが、コードブロック単位又はプレシンクト単位で同様の特徴量算出を行うことも可能であることは明らかであり、かかる態様も請求項１６，２０の発明に包含される。 In this embodiment, the feature amount is calculated in units of tiles. However, it is obvious that the same feature amount can be calculated in units of code blocks or precincts. Included in the invention.
また、サーバ側で特徴量算出を行い、その特徴量データが符号ストリームのタイルヘッダのコメントマーカ部等に記述されているならば、符号ストリーム分割処理部93において、ヘッダ解析処理部51でタイルヘッダより特徴量データを抽出してセレクタ44に与えることができ、特徴量算出処理部を省くことができる。かかる態様も請求項１６，２０の発明に包含される。
If the feature amount calculation is performed on the server side and the feature amount data is described in the comment marker portion of the tile header of the code stream, the header
なお、本発明の画像処理装置を構成する手段あるいは本発明の画像処理方法を構成する工程を、汎用コンピュータやマイクロコンピュータなどのコンピュータを利用して実現することも可能であることは明らかであり、そのためのプログラム、及び、同プログラムが記録されたコンピュータが読み取り可能な磁気ディスク、光ディスク、光磁気ディスク、半導体記憶素子などの各種情報記録（記憶）媒体も本発明に包含される。 It is obvious that the means for configuring the image processing apparatus of the present invention or the process for configuring the image processing method of the present invention can be realized using a computer such as a general-purpose computer or a microcomputer. A program for that purpose and various information recording (storage) media such as a magnetic disk, an optical disk, a magneto-optical disk, and a semiconductor storage element that can be read by a computer on which the program is recorded are also included in the present invention.
１ サーバ
２ クライアント
１０ 像域分離処理部
１２ エンコーダ
１３ ＣＰＵ
１４ メモリ
１５ ＨＤＤ
１７ 外部Ｉ／Ｆ
３１ 色変換処理部
３２ 離散ウェーブレット変換（ＤＷＴ）処理部
３４ 領域判定処理部
３５ エントロピー符号化処理部
３６ ポスト量子化処理部
３７ 符号ストリーム生成処理部
４１ 入力符号バッファ
４３ パターンテーブル
４４ セレクタ
４５ パケット生成処理部
４６ タイルヘッダ生成処理部
４７ 出力符号バッファ
５０ 符号ストリーム変更処理部
５１ ヘッダ解析処理部
５２ パケット分解処理部
５３ 領域判定処理部
９１ 外部Ｉ／Ｆ
９２ 符号バッファ
９３ 符号ストリーム分解処理部
９４ エントロピー復号化処理部
９５ 係数バッファ
９６ 逆離散ウェーブレット変換（ＩＤＷＴ）処理部
９７ 逆色変換処理部
９８ 画像バッファ
１０１ 符号選択処理部
１１１ 特徴量算出部
１４１ 特徴量算出処理部
1
14
17 External I / F
31 Color
92
Claims (22)
画像の画像種別を所定のブロック単位で判定する領域判定手段とを有し、
前記符号化手段において前記レイヤプログレッションのプログレッシブ符号ストリームを生成するための符号ストリーム生成手段は、前記レイヤプログレッションのプログレッシブ符号ストリームの各レイヤに含める符号及び符号量を、ブロック毎に、前記領域判定手段による判定結果に従って制御する手段を含むことを特徴とする画像処理装置。 Encoding means for performing an image encoding process and outputting a progressive code stream of a layer progression ;
Area determining means for determining the image type of the image in predetermined block units,
The code stream generating means for generating the progressive code stream of the layer progressive in the encoding means is configured to include a code and a code amount included in each layer of the progressive code stream of the layer progressive by the area determining means for each block. An image processing apparatus comprising means for controlling according to a determination result.
画像の画像種別を所定のブロック単位で判定する領域判定手段と、
前記記憶手段に記憶されている符号ストリームを取り込み、該符号ストリームから、レイヤプログレッションのプログレッシブ符号ストリームを生成する符号ストリーム生成手段とを有し、
前記符号ストリーム生成手段は、前記レイヤプログレッションのプログレッシブ符号ストリームの各レイヤに含める符号及び符号量を、ブロック毎に、前記領域判定手段による判定結果に従って制御する手段を含むことを特徴とする画像処理装置。 Storage means for storing a code stream of the image;
Area determination means for determining the image type of the image in a predetermined block unit;
Code stream generation means for capturing a code stream stored in the storage means and generating a progressive code stream of a layer progression from the code stream;
The code stream generating means includes means for controlling a code and a code amount included in each layer of the progressive code stream of the layer progression for each block according to a determination result by the area determining means. .
画像の特徴量を所定のブロック単位で検出する特徴量検出手段と、
前記符号化手段において前記レイヤプログレッションのプログレッシブ符号ストリームを生成するための符号ストリーム生成手段は、前記レイヤプログレッションのプログレッシブ符号ストリームの各レイヤに含める符号及び符号量を、ブロック毎に、前記特徴量検出手段により検出された特徴量に従って多段階に制御する手段を含むことを特徴とする画像処理装置。 Encoding means for performing an image encoding process and outputting a progressive code stream of a layer progression ;
Feature amount detection means for detecting feature amounts of an image in predetermined block units;
The code stream generating means for generating the progressive code stream of the layer progressive in the encoding means includes the code and code amount included in each layer of the progressive code stream of the layer progressive for each block. An image processing apparatus comprising means for controlling in multiple stages in accordance with the feature amount detected by.
画像の特徴量を所定のブロック単位で検出する特徴量検出手段と、
前記記憶手段に記憶されている符号ストリームを取り込み、該符号ストリームから、レイヤプログレッションのプログレッシブ符号ストリームを生成する符号ストリーム生成手段とを有し、
前記符号ストリーム生成手段は、前記レイヤプログレッションのプログレッシブ符号ストリームの各レイヤに含める符号及び符号量を、ブロック毎に、前記特徴量検出手段により検出された特徴量に従って多段階に制御する手段を含むことを特徴とする画像処理装置。 Storage means for storing a code stream of the image;
Feature amount detection means for detecting feature amounts of an image in predetermined block units;
Code stream generation means for capturing a code stream stored in the storage means and generating a progressive code stream of a layer progression from the code stream;
The code stream generation means includes means for controlling the code and the code amount included in each layer of the progressive code stream of the layer progression in multiple stages according to the feature quantity detected by the feature quantity detection means for each block. An image processing apparatus.
画像の画像種別を所定のブロック単位で判定する領域判定手段と、
受信したプログレッシブ符号ストリームに対するレイヤプログレッションのプログレッシブ復号において各レイヤに含める符号及び符号量を、ブロック毎に、前記領域判定手段による判定結果に従って制御する手段とを有することを特徴とする画像処理装置。 An image processing apparatus that receives a progressive code stream of an image and performs progressive decoding of a layer progression ,
Area determination means for determining the image type of the image in a predetermined block unit;
An image processing apparatus comprising: means for controlling, for each block, a code and a code amount included in each layer in progressive decoding of a layer progressive with respect to the received progressive code stream, according to a determination result by the area determination unit.
画像の特徴量を所定のブロック単位で検出する特徴量検出手段と、
受信したプログレッシブ符号ストリームに対するレイヤプログレッションのプログレッシブ復号において各レイヤに含める符号及び符号量を、ブロック毎に、前記特徴量検出手段により検出された特徴量に従って多段階に制御する手段とを有することを特徴とする画像処理装置。 An image processing apparatus that receives a progressive code stream of an image and performs progressive decoding of a layer progression ,
Feature amount detection means for detecting feature amounts of an image in predetermined block units;
Means for controlling the code and code amount to be included in each layer in progressive decoding of the layer progressive with respect to the received progressive code stream in a multi-stage manner for each block according to the feature amount detected by the feature amount detection means. An image processing apparatus.
画像のレイヤプログレッションのプログレッシブ符号ストリームを生成する符号ストリーム生成工程とを有し、
前記符号ストリーム生成工程は、前記レイヤプログレッションのプログレッシブ符号ストリームの各レイヤに含める符号及び符号量を、ブロック毎に、前記領域判定手段による判定結果に従って制御する工程を含むことを特徴とする画像処理方法。 An area determination step for determining an image type of an image in units of a predetermined block;
A code stream generation step of generating a progressive code stream of an image layer progression ,
The code stream generation step includes a step of controlling a code and a code amount included in each layer of the progressive code stream of the layer progression for each block according to a determination result by the region determination unit. .
画像のレイヤプログレッションのプログレッシブ符号ストリームを生成する符号ストリーム生成工程とを有し、
前記符号ストリーム生成工程は、前記レイヤプログレッションのプログレッシブ符号ストリームの各レイヤに含める符号及び符号量を、ブロック毎に、前記特徴量検出工程により検出された特徴量に従って多段階に制御する工程を含むことを特徴とする画像処理方法。 A feature amount detection step of detecting multi-value feature amounts of an image in a predetermined block unit;
A code stream generation step of generating a progressive code stream of an image layer progression ,
The code stream generation step includes a step of controlling a code and a code amount included in each layer of the progressive code stream of the layer progression in multiple stages according to the feature amount detected by the feature amount detection step for each block. An image processing method characterized by the above.
画像の画像種別を所定のブロック単位で判定する領域判定工程と、
受信したプログレッシブ符号ストリームに対するレイヤプログレッションのプログレッシブ復号において各レイヤに含める符号及び符号量を、ブロック毎に、前記領域判定工程による判定結果に従って制御する工程とを有することを特徴とする画像処理方法。 An image processing method for receiving a progressive code stream of an image and performing progressive decoding of a layer progression ,
An area determination step for determining an image type of an image in units of a predetermined block;
And a step of controlling, for each block, a code and an amount of code included in each layer in progressive decoding of a layer progressive with respect to the received progressive code stream, according to a determination result of the region determination step.
画像の特徴量を所定のブロック単位で検出する特徴量検出工程と、
受信したプログレッシブ符号ストリームに対するレイヤプログレッションのプログレッシブ復号において各レイヤに含める符号及び符号量を、ブロック毎に、前記特徴量検出工程により検出された特徴量に従って多段階に制御する工程とを有することを特徴とする画像処理装方法。 An image processing method for receiving a progressive code stream of an image and performing progressive decoding of a layer progression ,
A feature amount detection step of detecting a feature amount of an image in a predetermined block unit;
And a step of controlling the code and the amount of code included in each layer in the progressive decoding of the layer progressive with respect to the received progressive code stream according to the feature amount detected by the feature amount detection step for each block. An image processing method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003417886A JP4086192B2 (en) | 2003-12-16 | 2003-12-16 | Image processing apparatus, image processing method, program, and information recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003417886A JP4086192B2 (en) | 2003-12-16 | 2003-12-16 | Image processing apparatus, image processing method, program, and information recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005184086A JP2005184086A (en) | 2005-07-07 |
| JP4086192B2 true JP4086192B2 (en) | 2008-05-14 |
Family
ID=34780249
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003417886A Expired - Fee Related JP4086192B2 (en) | 2003-12-16 | 2003-12-16 | Image processing apparatus, image processing method, program, and information recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4086192B2 (en) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007074362A (en) * | 2005-09-07 | 2007-03-22 | Fuji Xerox Co Ltd | Coding apparatus, decoding apparatus, coding method, decoding method, and program for them |
| JP4688164B2 (en) * | 2006-07-14 | 2011-05-25 | 株式会社リコー | Image processing apparatus, image processing method, program, and information recording medium |
| JP5030141B2 (en) * | 2006-08-25 | 2012-09-19 | 株式会社リコー | Structured document image processing apparatus, structured document image encryption processing method, program, and information recording medium |
| JP4254867B2 (en) * | 2007-01-31 | 2009-04-15 | ソニー株式会社 | Information processing apparatus and method, program, and recording medium |
| JP5263621B2 (en) * | 2009-09-24 | 2013-08-14 | ソニー株式会社 | Image processing apparatus and method |
| JP5520890B2 (en) * | 2011-07-04 | 2014-06-11 | 株式会社ソニー・コンピュータエンタテインメント | Image processing apparatus, image data generation apparatus, image processing method, image data generation method, and data structure of image file |
| EP3293702B1 (en) * | 2016-09-13 | 2020-04-29 | Dassault Systèmes | Compressing a signal that represents a physical attribute |
| CN111311511B (en) * | 2020-01-22 | 2023-08-29 | 凌云光技术股份有限公司 | Method and device for removing moire patterns |
| CN111369450B (en) * | 2020-02-21 | 2024-02-02 | 华为技术有限公司 | Method and device for removing mole marks |
-
2003
- 2003-12-16 JP JP2003417886A patent/JP4086192B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005184086A (en) | 2005-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4365957B2 (en) | Image processing method and apparatus and storage medium | |
| JP3814456B2 (en) | Image processing apparatus and method | |
| US6879727B2 (en) | Decoding bit-plane-encoded data using different image quality for display | |
| JP4176114B2 (en) | Image compression apparatus, image reading apparatus including the same, image processing apparatus including the image compression apparatus, image forming apparatus including the same, and image compression processing method | |
| US20020018597A1 (en) | Image processing system, image processing apparatus, image input apparatus, image output apparatus and method, and storage medium | |
| WO2001016764A1 (en) | System and method for transmitting a digital image over a communication network | |
| KR100611705B1 (en) | Image encoding device, image encoding method, and image processing device | |
| JP2003348360A (en) | Document encoding system, document decoding system and methods therefor | |
| US7630574B2 (en) | Image encoding method and image apparatus | |
| JP4086192B2 (en) | Image processing apparatus, image processing method, program, and information recording medium | |
| JP4089905B2 (en) | Image processing apparatus, image processing method, program, and information recording medium | |
| JP2007005844A (en) | Coding processor, coding processing method, program and information recording medium | |
| US20060056714A1 (en) | Image process device, image processing program, and recording medium | |
| JP4315928B2 (en) | Image processing apparatus and image processing method | |
| JP4097146B2 (en) | Image processing apparatus, image processing method, program, and information recording medium | |
| US7373000B2 (en) | Image processing apparatus | |
| JP4766586B2 (en) | Image processing apparatus, image processing method, program, and information recording medium | |
| JP2004227406A (en) | Image processor, program and storage medium | |
| JP3952981B2 (en) | Image processing device | |
| JP5267140B2 (en) | Image compression apparatus and image compression method | |
| JP2003204439A (en) | Image coding apparatus and method therefor | |
| JP5560172B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JPH11289461A (en) | Image coding method and image coder | |
| JP2002290743A (en) | Image information coding method, coding apparatus, digital copying machine, digital facsimile machine, and digital filing apparatus | |
| JP2010028796A (en) | Image forming apparatus, image converting device, and image forming method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060824 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071121 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080121 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080213 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080214 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110228 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110228 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120229 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130228 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130228 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140228 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |