JP2006191371A - Image coding device and the image coding method - Google Patents
Image coding device and the image coding method Download PDFInfo
- Publication number
- JP2006191371A JP2006191371A JP2005001542A JP2005001542A JP2006191371A JP 2006191371 A JP2006191371 A JP 2006191371A JP 2005001542 A JP2005001542 A JP 2005001542A JP 2005001542 A JP2005001542 A JP 2005001542A JP 2006191371 A JP2006191371 A JP 2006191371A
- Authority
- JP
- Japan
- Prior art keywords
- image
- encoding
- pass filter
- low
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、テレビ電話端末等に使用される画像符号化装置及び画像符号化方法に関する。 The present invention relates to an image encoding device and an image encoding method used for a videophone terminal or the like.
従来、原画に相応する原画像信号を符号化する画像符号化装置は、図5に示す回路構成を有する。すなわち、図5に示すように、原信号入力部502と固定信号送出部503と画像符号化部505とで構成され、更に原信号入力部502と固定信号送出部503との出力を切り換えるスイッチ504とこのスイッチ504の切り換えを制御するタイミング回路501とで構成されている(例えば特許文献1参照)。
Conventionally, an image encoding apparatus that encodes an original image signal corresponding to an original image has a circuit configuration shown in FIG. That is, as shown in FIG. 5, an original
このような構成にあって、原信号入力部502から出力される原画にあたる原画像信号と固定信号送出部503が出力する背景となる固定値にあたる固定信号とを、タイミング回路501に従うスイッチ504により切り換え、符号化対象画像を合成し、画像符号化部505へ入力し、画像符号化部505は合成された符号化対象画像を符号化し、ビットストリームを生成する。
しかしながら、上記従来の画像符号化装置において、画像符号化部505での符号化時のビットレートが小さい場合には、原画を再現するために十分な符号量を画像に割り当てることができない為、高域成分を粗く量子化することとなり、デコードした画像の原画と背景のフレーム枠の平坦部分との境界で高域成分の歪みが目立ってしまうという問題があった。
However, in the conventional image encoding device, when the bit rate at the time of encoding in the
本発明はかかる点に鑑みてなされたものであり、原画とフレーム枠を合成して符号化する際に、フレーム枠境界での画質の劣化を軽減することのできる画像符号化装置及び画像符号化方法を提供することを目的とする。 The present invention has been made in view of the above points, and an image encoding device and an image encoding capable of reducing deterioration in image quality at a frame frame boundary when an original image and a frame frame are combined and encoded. It aims to provide a method.
本発明の画像符号化装置は、符号化対象の原画像データを管理する画像入力手段と、原画像データ以外の背景データを生成する画像枠作成手段と、原画像と背景を合成する画像合成手段と、この画像合成手段が生成する合成画像を符号化する画像符号化手段を有する画像符号化装置であって、前記画像合成手段は、画像境界を含む符号化単位が含まれる領域かを判断し、画像境界の領域に対し、前記画像符号化手段の符号化パラメータに従い、ローパスフィルタを通す制御を行う構成を採る。 An image encoding apparatus according to the present invention includes an image input unit that manages original image data to be encoded, an image frame generation unit that generates background data other than the original image data, and an image composition unit that combines the original image and the background. And an image encoding device having an image encoding means for encoding a composite image generated by the image composition means, wherein the image composition means determines whether the area includes an encoding unit including an image boundary. In this case, a configuration is adopted in which a control through a low-pass filter is performed on the image boundary area in accordance with the encoding parameter of the image encoding means.
また、本発明の画像符号化方法は、原画像と原画像以外の背景とを合成した合成画像を符号化対象とした符号化方法であって、前記符号化対象の合成画像は、符号化単位で原画と背景の境界を含むかを判定し、境界を含む場合には、符号化パラメータに従い、ローパスフィルタを通じて生成するようにした。 The image encoding method of the present invention is an encoding method in which a composite image obtained by combining an original image and a background other than the original image is an encoding target, and the composite image to be encoded is an encoding unit. Whether or not the boundary between the original picture and the background is included is determined, and if the boundary is included, it is generated through a low-pass filter according to the encoding parameter.
本発明によれば、画像符号化部の符号化パラメータに従い、画像境界を含む符号化単位に対し適用するローパスフィルタを制御することにより、最大の処理量の増加を抑えて、低レートでの原画と背景の境界での歪みを軽減することができ、フレーム枠境界での画質の劣化を軽減することのできるものである。 According to the present invention, the low-pass filter applied to the encoding unit including the image boundary is controlled according to the encoding parameter of the image encoding unit, thereby suppressing the increase in the maximum processing amount and reducing the original image at the low rate. The distortion at the boundary between the background and the background can be reduced, and the deterioration of the image quality at the frame frame boundary can be reduced.
また、画像符号化部が算出した量子化係数に従い、符号化単位毎にローパスフィルタを制御する画像合成部を設けることによって、さらに最適化された画質での歪みを軽減することができるものである。 Further, by providing an image composition unit that controls a low-pass filter for each coding unit in accordance with the quantization coefficient calculated by the image coding unit, it is possible to further reduce distortion with optimized image quality. .
また、境界部分に適用するローパスフィルタに関して、原画領域のみローパスフィルタを施し、背景領域に対してはフィルタの適用範囲外とすることで、境界付近でのにじみを軽減することができ、画像劣化を防止することができるものである。 In addition, with regard to the low-pass filter applied to the boundary part, by applying the low-pass filter only to the original image area and out of the filter application range for the background area, blurring near the boundary can be reduced, and image degradation is reduced. It can be prevented.
以下、本発明の実施の形態について、図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
(実施の形態1)
図1は、本発明の実施の形態1に係る画像符号化装置の構成を示すブロック図である。図1において、画像符号化装置100は、入力側にて、入力画像の管理を行う画像入力部101と原画の背景となる画像枠を作成する画像枠作成部102とを有し、画像合成部103において、画像入力部101からの入力画像と画像枠作成部102からの画像枠とを切り換えるスイッチ107と、このスイッチ107を画像合成情報に基づき切り換える合成判定部105と、符号化パラメータの符号化レートを判別する符号化パラメータ判定部106と、合成判定部105により出力される画像枠、すなわち、境界の有無と符号化パラメータ判定部106により出力される符号化レートとのAND条件によりローパスフィルタ109を介在させるか否かを切り換えるスイッチ108と、画像枠である境界に低レートの符号化レートでフィルタをかけるローパスフィルタ109とを有し、出力側にて、符号化パラメータによる符号化レートで画像符号化を行う画像符号化部104を有する構成である。
(Embodiment 1)
FIG. 1 is a block diagram showing a configuration of an image coding apparatus according to
このように構成された画像符号化装置について、動作を説明する。まず、画像入力部101に入力される原画は、フレーム単位でメモリに格納管理される。画像合成部103においては、まず原画のサイズ合成位置を含む画像合成情報に基づき合成判定部105が、スイッチ107を切り換え制御して原画と背景を組み合わせた合成画像を生成する。同時に、合成判定部105は画像符号化単位(例えばマクロブロック)で背景と原画の境界が存在するかを判定する。
The operation of the image coding apparatus configured as described above will be described. First, an original image input to the
この合成判定部105によって該当する符号化単位に境界が含まれている場合、符号化パラメータ判定部106により符号化パラメータの符号化レートを判別した結果、符号化レートが基準値(例えば64kbps)以下の場合には、ローパスフィルタ109が信号通路に介在するようにスイッチ108を切り換え制御する。
When the
一方、符号化レートが基準値より大きな場合には、ローパスフィルタ109を介在させないで直結するようにスイッチ108を切り換え制御する。
On the other hand, when the encoding rate is greater than the reference value, the
なお、ここで符号化パラメータとしては、符号化レート(ビットレート)以外に、フレームレート、符号化画像サイズ、量子化ステップ等が挙げられる。 Here, examples of the encoding parameter include a frame rate, an encoded image size, a quantization step, and the like in addition to the encoding rate (bit rate).
こうして画像合成部103では合成画像が生成され、合成画像は画像符号化部104によってビットストリームに符号化される。
In this manner, the image composition unit 103 generates a composite image, and the composite image is encoded into a bit stream by the
前述のようにローパスフィルタ109は、画像符号化単位で背景と原画との境界が存在する場合で、符号化レートが基準値以下の場合に用いることになる。符号化レートが低レートの場合には、高域成分を粗く量子化することになり、高域成分の歪みの原因となるが、この歪みが背景と原画との境界で顕著に画質劣化を生ずるので、ローパスフィルタ109を配置し、原画周波数領域の高周波成分の削減(ハイカット)をして折り返し歪を除去するものである。
As described above, the low-
図2は、ローパスフィルタ109の機能例を具体的に説明するための図である。この図2は、画像符号化単位に背景と原画の境界がある場合の例として、簡略化の為に画像符号化単位を8×8画素とし、横方向の画素位置をi、縦方向の画素位置をjとし、J=3、とJ=4の間に画像の境界がある場合の例を説明する。
FIG. 2 is a diagram for specifically explaining a function example of the low-
ここで、P(i,j)は、横方向の画素位置i、縦方向の画素位置をjとした場合の原画と背景を合成した画素値を表す。また、ローパスフィルタ109は原画領域に対してのみフィルタ機能を施し、背景領域は参照しない。よって、背景はそのままに出力し、境界をそのまま残して原画部分にのみローパスフィルタ109をかけ、原画のハイカットを行う。すなわち、境界部分の原画領域では当該行(i)と次の行(i+1)とを出力し、境界部分内の原画領域では前の行(i−1)、当該行(i)、次の行(i+1)を出力している。この場合のローパスフィルタの出力F(i,j)は例えば次のようになる。
j=0〜3の場合 F(i,j)=P(i,j)
j=4の場合 F(i,j)=P(i,j)*3/4+P(i,j+1)*1/4
j=5〜7の場合 F(i,j)=P(i,j−1)*1/4+P(i,j)*1/2+P(i,j+1)*1/4
Here, P (i, j) represents a pixel value obtained by combining the original image and the background when the pixel position i in the horizontal direction is j and the pixel position in the vertical direction is j. The low-
When j = 0-3 F (i, j) = P (i, j)
When j = 4 F (i, j) = P (i, j) * 3/4 + P (i, j + 1) * 1/4
When j = 5 to 7 F (i, j) = P (i, j-1) * 1/4 + P (i, j) * 1/2 + P (i, j + 1) * 1/4
上記は、上下に境界が存在する場合の例であるが、左右に境界が存在する場合、原画の角を含む場合もそれぞれ適切な係数を有した同様の処理が適用できる。図3(a)は、原画領域内にあってローパスフィルタ109の上下縦方向の出力状態の各係数を、図3(b)は、左右横方向の出力状態(b)の各係数を、図3(c)は、上下左右縦横方向の出力状態(c)の各係数をそれぞれ示したものである。
The above is an example in the case where there are upper and lower boundaries. However, when there are boundaries on the left and right, and when the corners of the original image are included, similar processing having appropriate coefficients can be applied. 3A shows the coefficients in the vertical and vertical output states of the low-
このように実施の形態1の画像符号化装置によれば、符号化レートが低い場合に原画とフレーム枠の境界にローパスフィルタ109をかけることが可能となり、低レートでの境界領域での歪みが軽減されることとなる。また、処理負荷が比較的少ない低レートの符号化においてローパスフィルタ109を介在可能な為、画像符号化装置全体の最大処理負荷を大きく増加させずに画質の改善をはかることが可能となる。こうして、画像符号化パラメータにより、画像境界を含む符号化単位に適用するローパスフィルタ109を制御する画像合成部103を設けることにより、ハイカットにより最大の処理負荷の増加を抑えて低レートでの原画と背景の歪みを軽減することができる。
As described above, according to the image encoding apparatus of the first embodiment, when the encoding rate is low, the low-
また、原画領域のみローパスフィルタ機能を施し、背景領域に対してはローパスフィルタ機能の適用範囲外とするローパスフィルタ109を設けたことで、境界付近でのにじみを軽減できる。
Further, by providing the low-pass filter function only in the original image area and providing the low-
(実施の形態2)
図4は、本発明の実施の形態2における画像符号化装置の構成を示すブロック図である。この図において、画像符号化装置300は、入力画像の管理を行う画像入力部101及び原画の背景となる画像枠を作成する画像枠作成部102と、合成判定部105と符号化パラメータ判定部306とローパスフィルタ109とからなる画像合成部303と、動画像符号化を行う画像符号化部304とを有する構成である。この実施の形態2では、符号化パラメータが入力される画像符号化部304から符号化パラメータ判定部306に量子化係数が入力されて符号化パラメータとして扱われる。
(Embodiment 2)
FIG. 4 is a block diagram showing the configuration of the image coding apparatus according to
このように構成された画像符号化装置の動作は次のようになる。まず、入力される原画は、画像入力部101によってフレーム単位でメモリに格納管理され、画像合成部303では原画のサイズ合成位置を含む画像合成情報に基づき合成判定部105がスイッチ107を制御し、原画と背景を組み合わせた合成画像を生成する。
The operation of the image coding apparatus configured as described above is as follows. First, the input original image is stored and managed in the memory in units of frames by the
一方、画像符号化部304は、符号化単位毎に量子化係数を算出し、算出した量子化計数を符号化パラメータ判定部306に通知する。また、合成判定部105は、画像符号化単位(例えばマクロブロック)で背景と原画の境界が存在するか判定し、原画の境界がある場合はローパスフィルタ109が信号通路を介在するように、境界がない場合にはローパスフィルタを介さず直接にスイッチ108を制御する。
On the other hand, the
符号化パラメータ判定部306は、合成判定部105によって該当符号化単位が境界に含まれている場合、符号化パラメータの符号化レートを判別し、量子化係数が基準値以上の場合には、ローパスフィルタ109を介在させる様に、基準値より小さな場合にはローパスフィルタ109を介在させないように制御する。こうして画像合成部303は合成画像を生成する。合成画像は画像符号化部304によってビットストリームに符号化される。ここでは、符号化単位毎にローパスフィルタ109の制御をかけることが可能になり、更に画質の改善を図ることが可能となる。なお、符号化パラメータ判定部306は、符号化パラメータとして、符号化レート(ビットレート)、フレームレート、符号化画像サイズ、量子化ステップ等のいずれかを1つを用いてもよいし、いくつかを組み合わせて用いてもよい。
The encoding
このように実施の形態2の画像符号化装置によれば、画像符号化部304が出力する量子化係数により、画像境界を含む符号化単位に適用するローパスフィルタ109を制御する画像合成部303を設けることにより、最大の処理負荷の増加を抑えて低レートでの原画と背景の歪みをさらに軽減することができる。
As described above, according to the image coding apparatus of the second embodiment, the image synthesis unit 303 that controls the low-
なお、以上の説明では、画像入力部101および画像符号化部104を動画像を扱う手段として述べてきたが、静止画でも同様用に実施可能である。また、符号化パラメータ判定部106での画像符号化パラメータは、符号化レートとしたが、画像サイズ、フレームレート等の組合せでも同様に実施可能である。また、符号化パラメータ判定部106および306は、ローパスフィルタ109の有無を切り換えるよう構成したが、特性の異なる複数のローパスフィルタを切り換える構成としても同様に実施可能である。また、画像入力部101は1つの原画を扱う構成としたが複数の原画を扱う構成としても同様に実施可能である。また、画像枠作成部102は固定色のパターンの枠を生成する構成でも、グラフィック画像を扱う構成でも同様に実施可能である。また、実施の形態1では合成画像を直接画像符号化部104に出力しているが、画像境界での違和感を軽減する為にローパスフィルタ109とは異なる特性のフィルタを挿入する構成としても同様に実施可能である。また符号化単位としてはマクロブロックとして構成したが、マクロブロックを構成するブロックを符号化単位としても周波数変換を行う単位を含んだ範囲であれば同様に実施可能である。
In the above description, the
本発明にかかる画像符号化装置は、テレビ電話端末等に使用される画像符号化装置等に用いるに好適である。 The image encoding apparatus according to the present invention is suitable for use in an image encoding apparatus used for a videophone terminal or the like.
100、300 画像符号化装置
101 画像入力部
102 画像枠作成部
103、303 画像合成部
104、304 画像符号化部
105 合成判定部
106、306 符号化パラメータ判定部
107、108 スイッチ
109 ローパスフィルタ
DESCRIPTION OF SYMBOLS 100,300
Claims (8)
原画像データ以外の背景データを生成する画像枠作成手段と、
原画像と背景を合成する画像合成手段と、
この画像合成手段が生成する合成画像を符号化する画像符号化手段と、
を有する画像符号化装置であって、
前記画像合成手段は、画像境界を含む符号化単位が含まれる領域かを判断し、画像境界の領域に対し、前記画像符号化手段の符号化パラメータに従い、ローパスフィルタを通す制御を行うことを特徴とする画像符号化装置。 Image input means for managing original image data to be encoded;
Image frame creation means for generating background data other than the original image data;
Image combining means for combining the original image and the background;
Image encoding means for encoding a composite image generated by the image composition means;
An image encoding device comprising:
The image synthesizing unit determines whether the region includes an encoding unit including an image boundary, and performs control of passing the image boundary region through a low-pass filter according to the encoding parameter of the image encoding unit. An image encoding device.
前記符号化対象の合成画像は、符号化単位で原画と背景の境界を含むかを判定し、境界を含む場合には、符号化パラメータに従い、ローパスフィルタを通じて生成することを特徴とする画像符号化方法。 An encoding method for encoding a composite image obtained by combining an original image and a background other than the original image,
It is determined whether the composite image to be encoded includes a boundary between an original picture and a background in an encoding unit, and if included, the image is generated through a low-pass filter according to an encoding parameter. Method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005001542A JP2006191371A (en) | 2005-01-06 | 2005-01-06 | Image coding device and the image coding method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005001542A JP2006191371A (en) | 2005-01-06 | 2005-01-06 | Image coding device and the image coding method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006191371A true JP2006191371A (en) | 2006-07-20 |
Family
ID=36798073
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005001542A Pending JP2006191371A (en) | 2005-01-06 | 2005-01-06 | Image coding device and the image coding method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006191371A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105245948A (en) * | 2014-06-26 | 2016-01-13 | 北京新媒传信科技有限公司 | Video processing method and video processing device |
-
2005
- 2005-01-06 JP JP2005001542A patent/JP2006191371A/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105245948A (en) * | 2014-06-26 | 2016-01-13 | 北京新媒传信科技有限公司 | Video processing method and video processing device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4455487B2 (en) | Decoding device, decoding method, and program | |
US7522778B2 (en) | Image decoding technique for suppressing tile boundary distortion | |
WO2009133844A1 (en) | Video encoding and decoding method and device equipped with edge-referenced filtering function | |
US8160132B2 (en) | Reducing key picture popping effects in video | |
JP2010011075A (en) | Method and apparatus for encoding and decoding moving image | |
JP2006114979A (en) | Image coding apparatus and method thereof | |
JP2022512088A (en) | Methods, equipment, and programs for video coding | |
JP4922138B2 (en) | Moving picture coding apparatus and moving picture coding method | |
WO1999038330A1 (en) | Moving picture coder and moving picture decoder | |
JP4592562B2 (en) | Image decoding device | |
JP2006340183A (en) | Image coding apparatus and image coding method | |
JP2006191371A (en) | Image coding device and the image coding method | |
JP4514666B2 (en) | Video encoding device | |
JP7502890B2 (en) | Image encoding device and program thereof | |
JP2008245201A (en) | Encoding device | |
WO2013001729A1 (en) | Image encoding device and image decoding device | |
JP4674767B2 (en) | Moving image editing method and apparatus | |
JPH11285001A (en) | Moving image encoding device and moving image decoding device | |
WO2021251400A1 (en) | Decoding device and program | |
JP2002044671A (en) | Dynamic-picture decoding apparatus | |
JP2004350030A (en) | Telop superimposing device, telop superimposing method, and telop superimposing program | |
JP2006157084A (en) | Image coding apparatus, image coding method, and computer program | |
JP2005260989A (en) | Image processing apparatus and image processing method | |
JPH03283785A (en) | Block coding signal decoder | |
JP4390009B2 (en) | Encoding apparatus and method, and image processing system |