JP4766615B2 - Region-of-interest image encoding device - Google Patents

Region-of-interest image encoding device Download PDF

Info

Publication number
JP4766615B2
JP4766615B2 JP2007091906A JP2007091906A JP4766615B2 JP 4766615 B2 JP4766615 B2 JP 4766615B2 JP 2007091906 A JP2007091906 A JP 2007091906A JP 2007091906 A JP2007091906 A JP 2007091906A JP 4766615 B2 JP4766615 B2 JP 4766615B2
Authority
JP
Japan
Prior art keywords
coefficient
roi
region
attention
stepwise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007091906A
Other languages
Japanese (ja)
Other versions
JP2008252581A (en
Inventor
真幸 橋本
廣 八木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
National Institute of Information and Communications Technology
Original Assignee
KDDI Corp
National Institute of Information and Communications Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp, National Institute of Information and Communications Technology filed Critical KDDI Corp
Priority to JP2007091906A priority Critical patent/JP4766615B2/en
Publication of JP2008252581A publication Critical patent/JP2008252581A/en
Application granted granted Critical
Publication of JP4766615B2 publication Critical patent/JP4766615B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

本発明は、注目領域画像符号化装置に関し、特に、注目画素領域を優先的に符号化する注目領域画像符号化装置に関する。   The present invention relates to a region-of-interest image encoding device, and more particularly to a region-of-interest image encoding device that preferentially encodes a pixel-of-interest region.

ブロードバンドネットワークが普及している今日においても、情報量の大きな画像伝送を考えた場合、画像符号化の必要性は高い。ADSLにおける上り回線や無線回線においては、伝送帯域の制限があるため、より高効率な符号化が求められる。近年、高い符号化効率や階層性を持つウェーブレット変換符号化が注目されており、最新の符号化標準であるJPEG 2000においてもウェーブレット変換が採用されている。   Even in today's widespread use of broadband networks, the need for image coding is high when considering image transmission with a large amount of information. In the uplink and wireless lines in ADSL, there is a limitation on the transmission band, so that more efficient encoding is required. In recent years, wavelet transform coding with high coding efficiency and hierarchy has attracted attention, and wavelet transform is also adopted in JPEG 2000, which is the latest coding standard.

また、伝送帯域の制限により大きな伝送遅延が発生するような状況においても、画像中の重要な部分だけ優先して送ることで、より少ない遅延で画像中の重要な部分を伝送することが可能となる。このような符号化は注目領域（ROI：Region Of Interest）符号化と呼ばれ、JPEG 2000においてもROI符号化を行うことが可能である。JPEG 2000のROI符号化においては、注目画素領域（画像中の注目領域）の情報から係数が注目されるべき係数かそうでないかを示すROI係数マスクを作成する。そして、注目係数でない係数（非注目係数）の場合は、その係数を下方にビットシフトする。その後、注目係数、非注目係数をまとめてビットプレーン符号化を行う。前記のシフト量を大きくとり、注目係数と非注目係数が同じビットプレーン内で同時に値を持たないようにすることで、復号側ではROI係数マスクがなくても、その係数が注目係数か非注目係数かが分かり、非注目係数のみビットシフトを戻して、元の係数状態を復元できる。このような符号化手法をMaxShift法と呼ぶ。なお、上記の技術は、下記の非特許文献１のJPEG 2000の規格書において規定されている   In addition, even in situations where a large transmission delay occurs due to transmission band limitations, it is possible to transmit important parts in the image with less delay by sending only important parts in the image with priority. Become. Such encoding is called region of interest (ROI) encoding, and ROI encoding can also be performed in JPEG 2000. In the ROI encoding of JPEG 2000, an ROI coefficient mask indicating whether or not a coefficient is a coefficient to be noticed is generated from information on a pixel area of interest (region of interest in an image). If the coefficient is not the attention coefficient (non- attention coefficient), the coefficient is bit-shifted downward. After that, bit plane encoding is performed on the attention coefficient and the non- attention coefficient. By making the shift amount large and making the attention coefficient and non-attention coefficient have no value at the same time in the same bit plane, even if there is no ROI coefficient mask on the decoding side, the coefficient is the attention coefficient or non-attention It is possible to know the coefficient, and restore the original coefficient state by returning the bit shift of only the non-interested coefficient. Such an encoding method is called a MaxShift method. The above technology is defined in the JPEG 2000 standard document of Non-Patent Document 1 below.

図８に前記MaxShift法を用いた従来のROI符号化装置の概要を以下に簡単に説明する。該ROI符号化装置は、ウェーブレット変換部１０、ROI係数マスク作成部１１、およびROI符号化部１２とからなる。   An outline of a conventional ROI encoding apparatus using the MaxShift method will be briefly described below with reference to FIG. The ROI encoding apparatus includes a wavelet transform unit 10, an ROI coefficient mask creation unit 11, and an ROI encoding unit 12.

ウェーブレット変換部１０は入力画像ａにウェーブレット変換を施し、変換係数ｄを出力する。ここで、ウェーブレット変換の回数ｂは外部から入力が可能である。ウェーブレット変換については、JPEG 2000で利用されている5×3整数型可逆フィルタや9×7実数型非可逆フィルタなどを用いることを想定している。   The wavelet transform unit 10 performs wavelet transform on the input image a and outputs a transform coefficient d. Here, the number b of wavelet transforms can be input from the outside. For the wavelet transform, it is assumed that the 5 × 3 integer type reversible filter or 9 × 7 real number type irreversible filter used in JPEG 2000 is used.

ROI係数マスク作成部１１は、注目画素の位置を示した注目画素領域ｃに基づいてROI係数マスクｅを作成する。ここで、ROI係数マスクｅとは、注目されるウェーブレット変換の位置を示した情報である。ROI係数マスクｅは、一般に、２値画像として表せ、ある係数が注目領域に含まれる場合はその位置の係数の値を１、非注目係数の値を０とする（あるいは、０，１は逆でも実現可能である）。   The ROI coefficient mask creating unit 11 creates the ROI coefficient mask e based on the target pixel area c indicating the position of the target pixel. Here, the ROI coefficient mask e is information indicating the position of the noticed wavelet transform. The ROI coefficient mask e can be generally expressed as a binary image. When a certain coefficient is included in the region of interest, the value of the coefficient at that position is 1 and the value of the non-attention coefficient is 0 (or 0 and 1 are reversed). But it is possible.)

ROI符号化部１２は、ROI係数マスクｅにより指定された注目係数を優先して符号化する。その詳細を図９を参照して説明すると、量子化部２１は係数ｄの量子化を行い、量子化係数ｆを出力する。次に、該量子化係数ｆは、係数シフト部２２で、ROI係数マスクｅに従って係数シフトされ、シフト量子化係数ｇとなってビットプレーン符号化部２３に送られる。該ビットプレーン符号化部２３は、シフト量子化係数ｇをビットプレーン符号化して符号列ｈとして出力し、該符号ｈは符号量制御部２４に送られる。このように、ROI係数マスクｅにより指定された注目係数は、優先して符号化される。   The ROI encoder 12 preferentially encodes the attention coefficient specified by the ROI coefficient mask e. The details will be described with reference to FIG. 9. The quantization unit 21 quantizes the coefficient d and outputs a quantized coefficient f. Next, the quantized coefficient f is coefficient-shifted by the coefficient shift unit 22 according to the ROI coefficient mask e, and is sent to the bit plane encoding unit 23 as a shift quantized coefficient g. The bit plane encoding unit 23 performs bit plane encoding on the shift quantization coefficient g and outputs the result as a code string h. The code h is sent to the code amount control unit 24. Thus, the attention coefficient specified by the ROI coefficient mask e is preferentially encoded.

該注目係数を優先して符号化する方式の一つにMaxShift法がある。MaxShift法のビットシフトの概念図を図１０に示す。これは、係数が画像中の注目領域に対応しない場合は、係数を下方にビットシフトｓさせてから、ビットプレーン符号化を行う方式である。このシフト量を大きくとり、注目係数と非注目係数が同じビットプレーン内で同時に値を持たないようにすることで、復号側ではROI係数マスクｅがなくても復号できるようになる。   One of the systems that preferentially encode the attention coefficient is the MaxShift method. A conceptual diagram of the bit shift of the MaxShift method is shown in FIG. This is a method in which when a coefficient does not correspond to a region of interest in an image, the coefficient is bit-shifted s and then bit-plane coding is performed. By making this shift amount large so that the attention coefficient and the non-attention coefficient do not have values at the same time in the same bit plane, decoding can be performed without the ROI coefficient mask e.

前記ビットプレーン符号化部２３でビットプレーン符号化された符号は、符号量（レート）制御部２４において、再生画像品質への寄与度が大きい上位ビットプレーンを優先しながら、下位のビットを切り捨て、全体の符号量を制御する。   The code that has been bit-plane encoded by the bit-plane encoding unit 23 is truncated at the code amount (rate) control unit 24 while giving priority to the higher-order bit plane that contributes greatly to the reproduced image quality, Controls the overall code amount.

通常のROI符号化においては、ウェーブレット変換係数のサブバンド状態に合わせて、図１１に示すように、注目画素領域ｃから、ROI係数マスクｅを作成する。ここで、注目画素領域ｃに含まれる画素に寄与する係数は、ROI係数マスクｅではすべて注目係数となるようにROI係数マスクが作成される。
ISO/IEC FCD１５４４４−１：２００２、ｐｐ１４３〜１４７「Annex H “Coding of images with regions of interest”」 In normal ROI encoding, an ROI coefficient mask e is created from the target pixel region c as shown in FIG. 11 in accordance with the subband state of the wavelet transform coefficient. Here, the ROI coefficient mask is created so that the coefficients contributing to the pixels included in the target pixel area c are all the target coefficients in the ROI coefficient mask e.
ISO / IEC FCD15444-1: 2002, pp143-147 “Annex H“ Coding of images with regions of interest ””

MaxShift法においては、復号時にROI係数マスクを必要としないので、ROI係数マスクを伝送する必要がないというメリットがある。その反面、単純なROI制御しか行えず、係数は注目係数か非注目係数かの２つの状態しか取らず、それに対応する画素も注目画素か非注目画素かの２つの状態しかない。そのため、注目画素領域と非注目画素領域の境界線の両側において、再生画像の画質が極端に異なり、視覚的に境界歪が顕著に検知される。   The MaxShift method does not require an ROI coefficient mask at the time of decoding, and has an advantage that it is not necessary to transmit the ROI coefficient mask. On the other hand, only simple ROI control can be performed, the coefficient can take only two states, the attention coefficient and the non- attention coefficient, and the corresponding pixel has only two states, the attention pixel and the non- attention pixel. Therefore, on both sides of the boundary line between the target pixel region and the non-target pixel region, the quality of the reproduced image is extremely different, and the boundary distortion is noticeably detected visually.

また、MaxShift法を使わずに、画素の注目度合いを２値（注目／非注目）ではなく、多値（３つ以上）にすることにより、段階的に再生画質を変化させることが可能である。しかしながら、このような手法では、復号時に、係数（あるいは画素）の注目度合いの情報が必要であるため、ROI係数（または画素）マスクを伝送する必要がある。このROI係数（または画素）マスクの伝送は、伝送帯域に制限がある場合は、情報量の増加は望ましくない。さらに、独自のROI係数（または画素）マスクを復号器で利用するためには、復号器内にそのための手順を追加する必要があり、符号化器と復号器の間でROI係数マスクを送受信する手順が必要となる。これらの手順の追加により、装置の複雑度が増大する問題もある。   Further, without using the MaxShift method, it is possible to change the reproduction image quality step by step by setting the pixel attention level to multiple values (three or more) instead of binary (attention / non-attention). . However, in such a method, information on the degree of attention of the coefficient (or pixel) is necessary at the time of decoding, and therefore it is necessary to transmit the ROI coefficient (or pixel) mask. In the transmission of this ROI coefficient (or pixel) mask, an increase in the amount of information is not desirable when the transmission band is limited. Furthermore, in order to use a unique ROI coefficient (or pixel) mask in the decoder, it is necessary to add a procedure for that in the decoder, and send and receive the ROI coefficient mask between the encoder and the decoder. A procedure is required. The addition of these procedures also increases the complexity of the apparatus.

本発明の目的は、前記した従来技術の課題に鑑みてなされたものであり、ROI係数マスクを伝送する必要がないメリットを保ったまま、非注目領域の注目領域に近い領域ほどより高画質に符号化して、注目領域と非注目領域の境界部分において発生する境界歪を軽減する機能を実現するための注目領域画像符号化装置を提供することにある。   The object of the present invention has been made in view of the above-described problems of the prior art, and while maintaining the merit that it is not necessary to transmit the ROI coefficient mask, the region closer to the attention region of the non-attention region has higher image quality. An object of the present invention is to provide a region-of-interest image encoding device for encoding and realizing a function of reducing boundary distortion that occurs at a boundary portion between a region of interest and a non-region of interest.

前記した目的を達成するために、本発明は、画像をウェーブレット変換し、変換係数を生成するウェーブレット変換部と、前記画像の注目画素領域および中間注目画素領域に関する情報を基に、前記変換係数の周波数成分ごとに形状の異なる注目係数の位置を記したＲＯＩ係数マスクを作成する段階的ＲＯＩ係数マスク作成部と、前記段階的ＲＯＩ係数マスク作成部で作成されたＲＯＩ係数マスクに従って、前記ウェーブレット変換部から出力された変換係数のうちの注目係数を優先して符号化するＲＯＩ符号化部とを具備し、前記段階的ＲＯＩ係数マスク作成部は、前記画像の注目画素領域に関する情報を基に、ＲＯＩ係数マスクを作成する基本ＲＯＩ係数マスク作成部と、前記画像の注目画素領域と非注目画素領域との間に、注目画素よりは優先度が低く、非注目画素よりは優先度が高い画素領域である中間注目画素領域を含む段階的ＲＯＩ係数領域情報を形成する段階的ＲＯＩ係数領域決定部と、前記基本ＲＯＩ係数マスク作成部からのＲＯＩ係数マスクと、前記段階的ＲＯＩ係数領域決定部からの段階的ＲＯＩ係数領域情報とに従って、前記変換係数の周波数成分ごとに形状が異なり、低周波数成分ほど注目画素領域を広くした段階的ＲＯＩ係数マスクを作成する拡張ＲＯＩ係数マスク作成部とを具備した点に特徴がある。 In order to achieve the above-described object, the present invention is based on information on a wavelet transform unit that performs wavelet transform on an image and generates transform coefficients, and information on a target pixel area and an intermediate target pixel area of the image. A stepwise ROI coefficient mask creation unit that creates a ROI coefficient mask in which the position of the attention coefficient having a different shape for each frequency component is written, and the wavelet transform unit according to the ROI coefficient mask created by the stepwise ROI coefficient mask creation unit An ROI encoding unit that preferentially encodes the attention coefficient among the transform coefficients output from the image data, and the stepwise ROI coefficient mask generation unit performs ROI based on information on the attention pixel region of the image. Between the basic ROI coefficient mask generation unit for generating the coefficient mask and the target pixel region and the non-target pixel region of the image; Is a stepwise ROI coefficient region determining unit that forms stepwise ROI coefficient region information including an intermediate target pixel region that is a pixel region having a low priority and a higher priority than a non-target pixel, and the basic ROI coefficient mask creating unit In accordance with the ROI coefficient mask from the stepwise ROI coefficient region and the stepwise ROI coefficient region information from the stepwise ROI coefficient region determination unit, the shape is different for each frequency component of the transform coefficient, and the stepwise pixel region is widened as the low frequency component It is characterized in that it has an extended ROI coefficient mask creating unit for creating an ROI coefficient mask .

本発明によれば、ウェーブレット変換画像符号化における注目領域画像符号化において、ROI係数マスクを伝送する必要がないメリットを保ったまま、非注目領域の注目領域に近い領域ほどより高画質に符号化して、注目領域と非注目領域の境界部分において発生する境界歪を軽減することができる。   According to the present invention, in region-of-interest image encoding in wavelet transform image encoding, the region closer to the region of interest in the non-region of interest is encoded with higher image quality while maintaining the advantage of not transmitting the ROI coefficient mask. Thus, boundary distortion that occurs at the boundary between the attention area and the non-attention area can be reduced.

また、本発明は基本的に符号化器側の発明であり、生成された符号化データは、通常の復号器に手を加えることなく再生が可能であるため、広範囲での利用が可能である。   In addition, the present invention is basically an invention on the encoder side, and the generated encoded data can be reproduced without modifying a normal decoder, so that it can be used in a wide range. .

以下に、図面を参照して本発明を詳細に説明する。まず、本発明の原理を、図１を参照して説明する。なお、図１において、図８と同じ符号は同一または同等物を示す。   Hereinafter, the present invention will be described in detail with reference to the drawings. First, the principle of the present invention will be described with reference to FIG. In FIG. 1, the same reference numerals as those in FIG. 8 denote the same or equivalent components.

本発明では、段階的ROI係数マスク作成部１３を設ける。段階的ROI係数マスク作成部１３では、周波数成分毎に注目係数領域の形状を変えた段階的ROI係数マスクを作成する。すなわち、注目画素領域ではない画素に対して、注目画素ほどではないが、他の非注目画素領域に比べると優先的に符号化したいという中間注目画素領域がある場合には、該中間注目画素領域について、高周波数成分の注目ROI係数マスクはそのままで、低周波数成分の注目ROI係数マスクについてのみ、注目係数領域を広げた段階的ROI係数マスクを作成する。   In the present invention, a stepwise ROI coefficient mask creation unit 13 is provided. The stepwise ROI coefficient mask creation unit 13 creates a stepwise ROI coefficient mask in which the shape of the attention coefficient region is changed for each frequency component. That is, when there is an intermediate target pixel area that is not as large as the target pixel but is preferentially encoded as compared with other non-target pixel areas for pixels that are not the target pixel area, the intermediate target pixel area As for the high-frequency component attention ROI coefficient mask, the stepwise ROI coefficient mask is created by expanding the attention coefficient region only for the low-frequency component attention ROI coefficient mask.

そして、該段階的ROI係数マスクをROI符号化部１２に供給して符号化すると、注目画素領域の画素と非注目画素領域の画素の中間的な画素を表現することが可能となる。すなわち、非注目領域の注目領域に近い領域ほどより高画質に符号化した符号化情報を得ることができるようになる。   When the stepwise ROI coefficient mask is supplied to the ROI encoding unit 12 and encoded, an intermediate pixel between the pixel in the target pixel region and the pixel in the non-target pixel region can be expressed. That is, encoded information encoded with higher image quality can be obtained in a region closer to the attention region of the non-target region.

例えば、注目画素ではないが注目画素領域に近い領域の画素においては、その画素に対応する低周波数成分係数については注目係数として優先的に符号化し、高周波数成分の係数については非注目係数として優先度を落として符号化する。これにより、その中間注目画素を再生した場合には低周波数成分のみにより画素が再生されるため、注目領域の画素に比べるとぼけた画像になるが、非注目領域の画素よりは低周波数成分が多いので、画質が改善する。   For example, in a pixel that is not the target pixel but is close to the target pixel region, the low frequency component coefficient corresponding to the pixel is preferentially encoded as the target coefficient, and the high frequency component coefficient is preferentially used as the non-target coefficient. Encode at a reduced degree. As a result, when the intermediate target pixel is played back, the pixel is played back only with the low frequency component, so the image is blurred compared with the pixel in the target region, but has more low frequency components than the pixel in the non-target region. So image quality improves.

以下に、本発明の第１の実施形態を説明する。図２は、該実施形態の概略の構成を示すブロック図である。図２において、図１と同じ符号は同一または同等物を示す。また、図３は、図２の段階的ROI係数マスク作成部１４の詳細を示すブロック図である。   The first embodiment of the present invention will be described below. FIG. 2 is a block diagram showing a schematic configuration of the embodiment. In FIG. 2, the same reference numerals as those in FIG. 1 denote the same or equivalent parts. FIG. 3 is a block diagram showing details of the stepwise ROI coefficient mask creation unit 14 of FIG.

本実施形態の段階的ROI係数マスク作成部１４は、図３に示されているように、基本ROI係数マスク作成部３１、拡張ROI係数マスク作成部３２、および段階的ROI係数領域決定部３３とから構成される。   As shown in FIG. 3, the stepwise ROI coefficient mask creation unit 14 of the present embodiment includes a basic ROI coefficient mask creation unit 31, an extended ROI coefficient mask creation unit 32, and a stepwise ROI coefficient region determination unit 33. Consists of

基本ROI係数マスク作成部３１は、注目画素領域ｃを基に、例えば図１１のROI係数マスクｅと同様の基本ROI係数マスクｎを作成する。段階的ROI係数領域決定部３３は、注目画素領域ｃと中間注目画素領域ｍを基に、各周波数成分（各サブバンド）における注目係数領域の形状を決定する。また、前記拡張ROI係数マスク作成部３２は、該段階的ROI係数領域決定部３３からの段階的ROI係数領域情報に従って、各サブバンド毎に注目係数領域の形状を変更する。   The basic ROI coefficient mask creating unit 31 creates, for example, a basic ROI coefficient mask n similar to the ROI coefficient mask e in FIG. 11 based on the target pixel region c. The stepwise ROI coefficient region determining unit 33 determines the shape of the target coefficient region in each frequency component (each subband) based on the target pixel region c and the intermediate target pixel region m. Further, the expanded ROI coefficient mask creation unit 32 changes the shape of the attention coefficient region for each subband in accordance with the stepwise ROI coefficient region information from the stepwise ROI coefficient region determination unit 33.

この実施形態では、注目画素領域ではない画素に対して、注目画素ほどではないが、他の非注目画素領域に比べて優先的に符号化したいという中間注目画素領域ｍを設定する。そして、段階的ROI係数領域決定部３３において、中間注目領域の低周波数成分の注目係数領域に対応する画素領域が、高周波数成分の注目係数領域に対応する画素領域よりも広くなるように設定する。換言すれば、変換係数の対応する画素の領域に換算して考えた場合に、高周波数成分の注目係数領域よりも低周波数成分の注目係数領域が広くなるようなROI係数マスクを作成する。 In this embodiment, an intermediate target pixel region m is set for a pixel that is not the target pixel region, but is not as large as the target pixel, but is preferentially encoded as compared with other non-target pixel regions. Then, the stepwise ROI coefficient region determination unit 33 sets the pixel region corresponding to the low-frequency component attention coefficient region in the intermediate attention region to be larger than the pixel region corresponding to the high-frequency component attention coefficient region. . In other words, an ROI coefficient mask is created so that the low- frequency component attention coefficient region is wider than the high- frequency component attention coefficient region when considered in terms of the pixel region corresponding to the transform coefficient.

これを実現するには、最高周波数成分（最高周波数サブバンド）での注目係数を決定する元となる注目画素領域を当初の注目画素領域Ａとし、最低周波数成分（最低周波数サブバンド）での注目係数を決定する元となる注目画素領域を当初の注目画素領域に中間注目画素領域を加えた領域Ｂとし、中間周波数成分（中間周波数サブバンド）での注目係数を決定する元となる注目画素領域を、Ａを含んでＢよりは小さい領域とする。さらに、中間周波数サブバンド同士でも、より低い周波数サブバンドでの注目係数を決定する元となる注目画素領域を含んで、Ｂよりは小さい領域とする。これについては、後述の図４(b)に示す。   In order to realize this, the target pixel area from which the attention coefficient in the highest frequency component (highest frequency subband) is determined is the initial target pixel area A, and attention is given to the lowest frequency component (lowest frequency subband). The target pixel region from which the coefficient is determined is defined as a region B obtained by adding the intermediate target pixel region to the original target pixel region, and the target pixel region from which the target coefficient is determined in the intermediate frequency component (intermediate frequency subband) Is a region including A and smaller than B. Further, the intermediate frequency subbands are set to be smaller than B including the target pixel region from which the target coefficient in the lower frequency subband is determined. This is shown in FIG.

次に、該実施形態の動作例を、図４、図５を参照して具体的に説明する。図４(a)に示されているような注目画素領域ｃと中間注目画素領域ｍのそれぞれの情報が、図３の基本ROI係数マスク作成部３１と段階的ROI係数領域決定部３３に入力すると、段階的ROI係数領域決定部３３は、前記中間注目画素領域ｍの情報および変換回数ｂを基に、図４(b)に点線で示されているような、１又は複数の中間周波数成分に対する注目画素領域を決定する。なお、該中間周波数成分の分割数は前記変換回数ｂと等しくするのが好ましい。また、前記注目画素領域ｃは、最高周波数成分に対する注目画素領域に相当し、前記中間注目画素領域ｍの境界は、最低周波数成分に対する注目画素領域の境界線に相当することは明らかである。なお、前記中間注目画素領域ｍの広さや形状は自由に設定することが可能である。   Next, an operation example of the embodiment will be specifically described with reference to FIGS. When information on each of the target pixel region c and the intermediate target pixel region m as shown in FIG. 4A is input to the basic ROI coefficient mask creation unit 31 and the stepwise ROI coefficient region determination unit 33 in FIG. The stepwise ROI coefficient region determining unit 33 performs processing on one or a plurality of intermediate frequency components as indicated by a dotted line in FIG. 4B based on the information on the intermediate target pixel region m and the number of conversions b. A target pixel region is determined. The number of divisions of the intermediate frequency component is preferably equal to the number of conversions b. It is obvious that the target pixel area c corresponds to the target pixel area for the highest frequency component, and the boundary of the intermediate target pixel area m corresponds to the boundary line of the target pixel area for the lowest frequency component. The width and shape of the intermediate target pixel region m can be set freely.

前記図４(b)の段階的ROI係数領域情報が拡張ROI係数マスク作成部３２に送られると、該拡張ROI係数マスク作成部３２は、図４(c)に示されているような、低周波数成分ほど注目画素領域を広くした段階的ROIマスクを作成する。   When the stepwise ROI coefficient region information of FIG. 4 (b) is sent to the extended ROI coefficient mask creating unit 32, the expanded ROI coefficient mask creating unit 32 reduces the low ROI coefficient mask creating unit 32 as shown in FIG. 4 (c). A stepwise ROI mask is created in which the pixel region of interest is wider for frequency components.

図４の例では、注目画素領域ｃと中間注目画素領域ｍとが相似形であったが、本発明はこれに限定されず、図５(a)に示されているように、非相似形であってもよい。また、段階的ROI係数領域決定部３３は、図４(b)のように、中間周波数成分に対する注目画素領域を注目画素領域情報ｃおよび中間注目画素領域ｍと相似形にせずに、図５(b)のような非相似形にしてもよい。すなわち、図示の例では、注目画素領域情報ｃおよび中間注目画素領域ｍが、それぞれ星形、四角形であるのに対して、中間周波数成分に対する注目画素領域を丸形にすることができる。換言すれば、該中間周波数成分に対する注目画素領域は、注目画素領域情報ｃおよび中間注目画素領域ｍの形状とは無関係に、任意の形状とすることができる。   In the example of FIG. 4, the target pixel region c and the intermediate target pixel region m have similar shapes, but the present invention is not limited to this, and as shown in FIG. It may be. Further, as shown in FIG. 4B, the stepwise ROI coefficient region determination unit 33 does not make the target pixel region for the intermediate frequency component similar to the target pixel region information c and the intermediate target pixel region m, as shown in FIG. You may make it non-similar like b). In other words, in the illustrated example, the target pixel region information c and the intermediate target pixel region m are a star and a rectangle, respectively, whereas the target pixel region for the intermediate frequency component can be rounded. In other words, the pixel region of interest for the intermediate frequency component can have any shape regardless of the shapes of the pixel-of-interest region information c and the intermediate pixel-of-interest region m.

前記図５(b)の段階的ROI係数領域情報が前記拡張ROI係数マスク作成部３２に送られると、該拡張ROI係数マスク作成部３２は、図５(c)に示されているような、周波数成分（サブバンド）毎に図５(b)で決定された形状のROI領域を有する段階的ROIマスクｊを作成する。   When the stepwise ROI coefficient region information of FIG. 5 (b) is sent to the extended ROI coefficient mask creating unit 32, the expanded ROI coefficient mask creating unit 32 is as shown in FIG. 5 (c). A stepwise ROI mask j having an ROI region having the shape determined in FIG. 5B is created for each frequency component (subband).

図４、図５の例から明らかなように、本実施形態によれば、中間周波数成分に対する注目画素領域を、周波数成分毎に注目係数領域の形状を変えて構成しているので、非注目画素領域の注目画素領域に近い領域ほどより高画質に符号化されることになり、注目画素領域と非注目画素領域の境界部分において発生する境界歪を軽減できるようになる。なお、図４の注目画素領域を示す星形、四角形、丸形などの形状は、説明を分かりやすくするためのものであり、これらの形状に限定されず、任意の形状であってもよいことは勿論である。   As apparent from the examples of FIGS. 4 and 5, according to the present embodiment, the target pixel region for the intermediate frequency component is configured by changing the shape of the target coefficient region for each frequency component. The region closer to the target pixel region in the region is encoded with higher image quality, and the boundary distortion that occurs at the boundary between the target pixel region and the non-target pixel region can be reduced. Note that the shapes such as a star shape, a square shape, and a round shape that indicate the target pixel region in FIG. 4 are for easy understanding of the description, and are not limited to these shapes, and may be any shape. Of course.

次に、本発明の第２の実施形態を図６のブロック図を参照して説明する。この実施形態は、中間注目画素領域作成部１５を有している点で、前記第１の実施形態とは異なる。なお、図６において、図２、図３と同じ符号は、同一または同等物を示す。   Next, a second embodiment of the present invention will be described with reference to the block diagram of FIG. This embodiment is different from the first embodiment in that it includes an intermediate target pixel region creation unit 15. In FIG. 6, the same reference numerals as those in FIGS. 2 and 3 denote the same or equivalent components.

この実施形態は、中間注目画素領域を明示的に指定するのではなく、注目画素領域のみが指定された場合にも、注目画素領域の周辺画素を自動的に中間注目画素領域とし、段階的ROI係数マスクｄを作成するようにしたものである。   In this embodiment, instead of explicitly specifying the intermediate target pixel area, even when only the target pixel area is specified, the peripheral pixels of the target pixel area are automatically set as the intermediate target pixel area, and the stepwise ROI A coefficient mask d is created.

図７(a）に示すような注目画素領域ｃの情報が中間注目画素領域作成部１５に入力すると、該中間注目画素領域作成部１５は例えば図７(b)に示されるような、一定の幅ｗの中間注目画素領域ｍを自動的に生成する。そして、前記注目画素領域ｃと該中間注目画素領域ｍとは、段階的ROI係数マスク作成部１４に入力される。該段階的ROI係数マスク作成部１４は、これらの画素領域ｃとｍが入力されると、前記図４、図５で説明したのと同じような動作をして段階的ROI係数マスクを作成するが、その説明は前記した通りであるので省略する。なお、図７(b)の中間注目画素領域ｍの形状は一例であり、注目画素領域ｃを含む形状であれば任意の形状であってもよい。   When information on the target pixel region c as shown in FIG. 7A is input to the intermediate target pixel region creation unit 15, the intermediate target pixel region creation unit 15 has a constant value as shown in FIG. 7B, for example. An intermediate target pixel region m having a width w is automatically generated. The target pixel region c and the intermediate target pixel region m are input to the stepwise ROI coefficient mask creation unit 14. When these pixel regions c and m are input, the stepwise ROI coefficient mask creation unit 14 creates a stepwise ROI coefficient mask by performing the same operation as described with reference to FIGS. However, since the description is as described above, it is omitted. Note that the shape of the intermediate target pixel region m in FIG. 7B is an example, and may be any shape as long as it includes the target pixel region c.

本実施形態においても、非注目画素領域の注目画素領域に近い領域ほどより高画質に符号化されることになり、注目画素領域と非注目画素領域の境界部分において発生する境界歪を軽減できるようになる。   Also in the present embodiment, the region closer to the target pixel region of the non-target pixel region is encoded with higher image quality, so that the boundary distortion occurring at the boundary between the target pixel region and the non-target pixel region can be reduced. become.

本発明の原理を説明するためのブロック図である。It is a block diagram for demonstrating the principle of this invention. 本発明の注目領域画像符号化装置の一実施形態の概略の構成を示すブロック図である。It is a block diagram which shows the structure of the outline of one Embodiment of the attention area image coding apparatus of this invention. 図２の段階的ROI係数マスク作成部の詳細な構成を示すブロック図である。FIG. 3 is a block diagram illustrating a detailed configuration of a stepwise ROI coefficient mask creation unit in FIG. 2. 段階的ROI係数マスク作成部の動作の説明図である。It is explanatory drawing of operation | movement of a stepwise ROI coefficient mask preparation part. 段階的ROI係数マスク作成部の他の動作の説明図である。It is explanatory drawing of other operation | movement of a stepwise ROI coefficient mask preparation part. 本発明の第２の実施形態の概略の構成を示すブロック図である。It is a block diagram which shows the schematic structure of the 2nd Embodiment of this invention. 図６の中間注目画素領域作成部の動作の説明図である。FIG. 7 is an explanatory diagram of the operation of the intermediate target pixel region creation unit of FIG. 従来の注目領域画像符号化装置の概略の構成を示すブロック図である。It is a block diagram which shows the structure of the outline of the conventional attention area image coding apparatus. 図８のROI符号化部の詳細な構成を示すブロック図である。It is a block diagram which shows the detailed structure of the ROI encoding part of FIG. MaxShift法の説明図である。It is explanatory drawing of the MaxShift method. 従来の注目領域画像符号化装置の動作の説明図である。It is explanatory drawing of operation | movement of the conventional attention area image coding apparatus.

符号の説明Explanation of symbols

１０・・・ウェーブレット変換部、１２・・・ROI符号化部、１３、１４・・・段階的ROI係数マスク作成部、３１・・・基本ROI係数マスク作成部、３２・・・拡張ROI係数マスク作成部、３３・・・段階的ROI係数領域決定部。   DESCRIPTION OF SYMBOLS 10 ... Wavelet transformation part, 12 ... ROI encoding part, 13, 14 ... Stepwise ROI coefficient mask creation part, 31 ... Basic ROI coefficient mask creation part, 32 ... Extended ROI coefficient mask Creation unit, 33... Stepwise ROI coefficient region determination unit.

Claims (6)

画像をウェーブレット変換し、変換係数を生成するウェーブレット変換部と、
前記画像の注目画素領域および中間注目画素領域に関する情報を基に、前記変換係数の周波数成分ごとに形状の異なる注目係数の位置を記したＲＯＩ係数マスクを作成する段階的ＲＯＩ係数マスク作成部と、
前記段階的ＲＯＩ係数マスク作成部で作成されたＲＯＩ係数マスクに従って、前記ウェーブレット変換部から出力された変換係数のうちの注目係数を優先して符号化するＲＯＩ符号化部とを具備し、
前記段階的ＲＯＩ係数マスク作成部は、
前記画像の注目画素領域に関する情報を基に、ＲＯＩ係数マスクを作成する基本ＲＯＩ係数マスク作成部と、
前記画像の注目画素領域と非注目画素領域との間に、注目画素よりは優先度が低く、非注目画素よりは優先度が高い画素領域である中間注目画素領域を含む段階的ＲＯＩ係数領域情報を形成する段階的ＲＯＩ係数領域決定部と、
前記基本ＲＯＩ係数マスク作成部からのＲＯＩ係数マスクと、前記段階的ＲＯＩ係数領域決定部からの段階的ＲＯＩ係数領域情報とに従って、前記変換係数の周波数成分ごとに形状が異なり、低周波数成分ほど注目画素領域を広くした段階的ＲＯＩ係数マスクを作成する拡張ＲＯＩ係数マスク作成部とを具備することを特徴とする注目領域画像符号化装置。 A wavelet transform unit that performs wavelet transform on the image and generates transform coefficients ;
A stepwise ROI coefficient mask creating unit that creates a ROI coefficient mask that describes the position of a noticed coefficient having a different shape for each frequency component of the transform coefficient based on information on the noticed pixel area and the intermediate noticed pixel area of the image;
An ROI encoder that preferentially encodes the attention coefficient of the transform coefficients output from the wavelet transform unit according to the ROI coefficient mask created by the stepwise ROI coefficient mask creation unit ;
The stepwise ROI coefficient mask creation unit
A basic ROI coefficient mask creating unit for creating an ROI coefficient mask based on information on a target pixel region of the image;
Stepwise ROI coefficient region information including an intermediate target pixel region that is a pixel region having a lower priority than the target pixel and a higher priority than the non-target pixel between the target pixel region and the non-target pixel region of the image A stepwise ROI coefficient region determining unit for forming
According to the ROI coefficient mask from the basic ROI coefficient mask creation unit and the stepwise ROI coefficient region information from the stepwise ROI coefficient region determination unit, the shape differs for each frequency component of the transform coefficient, and the lower frequency component is more noticeable. An attention area image coding apparatus comprising: an extended ROI coefficient mask creating section for creating a stepwise ROI coefficient mask having a wide pixel area . 請求項１に記載の注目領域画像符号化装置において、
前記段階的ＲＯＩ係数領域決定部は、周波数成分ごとの注目係数領域の形状と位置を決定することを特徴とする注目領域画像符号化装置。 The attention area image encoding device according to claim 1,
The region-of-interest image coding apparatus, wherein the stepwise ROI coefficient region determination unit determines a shape and a position of a region of interest for each frequency component. 請求項１または２に記載の注目領域画像符号化装置において、
前記段階的ＲＯＩ係数領域決定部により形成される前記中間注目画素領域は、前記注目画素領域および非注目画素領域と相似形または非相似形であることを特徴とする注目領域画像符号化装置。 In the attention area image coding device according to claim 1 or 2,
The attention area image encoding device, wherein the intermediate attention pixel area formed by the stepwise ROI coefficient area determination unit is similar or non-similar to the attention pixel area and the non- attention pixel area . 請求項１に記載の注目領域画像符号化装置において、
前記中間注目画素領域が、ウェーブレット変換階数に応じた個数の注目画素領域に区分けされていることを特徴とする注目領域画像符号化装置。 The attention area image encoding device according to claim 1 ,
2. The attention area image encoding apparatus according to claim 1, wherein the intermediate attention pixel area is divided into a number of attention pixel areas corresponding to a wavelet transform rank. 請求項１ないし４のいずれかに記載の注目領域画像符号化装置において、
前記画像の注目画素領域だけから中間注目画素領域を作成する中間注目画素領域作成部をさらに具備することを特徴とする注目領域画像符号化装置。 The attention area image coding device according to any one of claims 1 to 4 ,
An attention area image encoding device, further comprising: an intermediate attention pixel area creating section that creates an intermediate attention pixel area only from the attention pixel area of the image. 請求項１ないし５のいずれかに記載の注目領域画像符号化装置において、
前記ＲＯＩ符号化部は、符号化する係数が注目係数かどうかにより係数のシフト量を制御することで復号時にＲＯＩ係数マスクが不要となるＲＯＩ符号化を行うことを特徴とする注目領域画像符号化装置。 In the attention area image coding device according to any one of claims 1 to 5 ,
The ROI encoding unit performs ROI encoding that eliminates the need for a ROI coefficient mask at the time of decoding by controlling a coefficient shift amount depending on whether a coefficient to be encoded is a target coefficient or not. apparatus.
JP2007091906A 2007-03-30 2007-03-30 Region-of-interest image encoding device Expired - Fee Related JP4766615B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007091906A JP4766615B2 (en) 2007-03-30 2007-03-30 Region-of-interest image encoding device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007091906A JP4766615B2 (en) 2007-03-30 2007-03-30 Region-of-interest image encoding device

Publications (2)

Publication Number Publication Date
JP2008252581A JP2008252581A (en) 2008-10-16
JP4766615B2 true JP4766615B2 (en) 2011-09-07

Family

ID=39976993

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007091906A Expired - Fee Related JP4766615B2 (en) 2007-03-30 2007-03-30 Region-of-interest image encoding device

Country Status (1)

Country Link
JP (1) JP4766615B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101692694B (en) * 2008-10-20 2011-11-23 索尼株式会社 Image display control device, and method for controlling image display control device
CN107454413B (en) * 2017-08-25 2019-12-24 广东顺德中山大学卡内基梅隆大学国际联合研究院 Video coding method with reserved characteristics
CN113473138B (en) * 2021-06-30 2024-04-05 杭州海康威视数字技术股份有限公司 Video frame coding method, device, electronic equipment and storage medium

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW569159B (en) * 2001-11-30 2004-01-01 Inst Information Industry Video wavelet transform processing method
JP4034236B2 (en) * 2003-06-13 2008-01-16 三菱電機株式会社 Specific transform coefficient priority coding apparatus, specific transform coefficient priority coding decoding system, and specific transform coefficient priority coding method
JP2006303670A (en) * 2005-04-18 2006-11-02 Victor Co Of Japan Ltd Image encoder and encoding program

Also Published As

Publication number Publication date
JP2008252581A (en) 2008-10-16

Similar Documents

Publication Publication Date Title
KR102287947B1 (en) Apparatus and method for performing artificial intelligence encoding and artificial intelligence decoding of image
JP4495743B2 (en) Video decoding method
US7302104B2 (en) Smoothing tile boundaries of images encoded and decoded by JPEG 2000
JP5639687B2 (en) Method and apparatus for encoding / decoding picture boundary coding unit
JP6245888B2 (en) Encoder and encoding method
TWI344797B (en) System and method for compressing digital data
KR100529311B1 (en) Apparatus and method for selecting the length of variable length coding bit stream using neural network
JP2007235759A (en) Image encoding apparatus and method of controlling sane
JP4766615B2 (en) Region-of-interest image encoding device
JP2010098352A (en) Image information encoder
JP4918026B2 (en) Image coding apparatus, image coding method, computer program, and information recording medium
US8279932B2 (en) Information processing apparatus and method
JP4841504B2 (en) Image coding apparatus and method
JP2006246351A (en) Image coding unit and image decoding unit
Strukov et al. Evaluation of video compression methods for network transmission on diverse data: a case study
US20130279818A1 (en) Image encoding apparatus and method, image decoding apparatus and method, and non-transitory computer readable medium
JP2004266794A (en) Multi-resolution video coding and decoding
JP2005223852A (en) Image-encoding device and method, and image-decoding device and method
KR20150068603A (en) Method for Multiple Description Coding using Directional Discrete Cosine Transform
JP2001223593A (en) Data coding method and system, and recording medium
JP4514464B2 (en) Image encoding apparatus and image decoding apparatus, and image display apparatus and method using them
JP4007507B2 (en) Tile size converter
JP2013207779A (en) Image processing apparatus and image forming apparatus
JP2939869B2 (en) Image encoding device and image decoding device
JP2005236723A (en) Device and method for encoding moving image, and device and method for decoding the moving image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20091001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110608

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110610

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4766615

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140624

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees