JP4790247B2 - Image processing apparatus and method - Google Patents
Image processing apparatus and method Download PDFInfo
- Publication number
- JP4790247B2 JP4790247B2 JP2004316823A JP2004316823A JP4790247B2 JP 4790247 B2 JP4790247 B2 JP 4790247B2 JP 2004316823 A JP2004316823 A JP 2004316823A JP 2004316823 A JP2004316823 A JP 2004316823A JP 4790247 B2 JP4790247 B2 JP 4790247B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- deformed
- region
- coordinates
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 47
- 230000009466 transformation Effects 0.000 claims description 30
- 238000003672 processing method Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 description 39
- 238000001514 detection method Methods 0.000 description 15
- 238000007906 compression Methods 0.000 description 13
- 241000255925 Diptera Species 0.000 description 12
- 230000006835 compression Effects 0.000 description 11
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000007796 conventional method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000005055 memory storage Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Description
本発明は、ノイズの影響を抑えて画像変形を行うことができる画像処理装置およびその方法に関する。 The present invention relates to an image processing apparatus and method that can perform image deformation while suppressing the influence of noise.
携帯電話が普及し、家族や友人との連絡やコミュニケーションに頻繁に使われるようになった。携帯電話は通話以外に、電子メールのやり取りをしたり、インターネットにアクセスして画像やゲームなどをダウンロードして利用したりするなど、データ通信を用いた各種サービスにも利用されている。
また、カメラを搭載した携帯電話も増え、携帯電話を用いて人の顔や風景を撮影してJPEG(Joint Photographic Experts Group)ファイルとして保存し、JPEGファイルを電子メールに添付してやり取りをすることが行われている。
さらに単に顔や風景を撮るだけではなく、撮影した画像にフレームを付けるフレーム処理や、カラー画像をモノクロにするモノクロ処理などのイフェクト処理を行ってからJPEGファイルとして保存している。
Mobile phones have become widespread and are frequently used for communication and communication with family and friends. In addition to telephone calls, mobile phones are also used for various services using data communication, such as exchanging e-mails and accessing the Internet to download images and games.
In addition, the number of mobile phones equipped with cameras is increasing. Using mobile phones, people's faces and landscapes can be photographed and saved as JPEG (Joint Photographic Experts Group) files, and exchanged by attaching JPEG files to e-mails. Has been done.
Furthermore, the image is stored as a JPEG file after effect processing such as frame processing for adding a frame to a photographed image and monochrome processing for converting a color image into monochrome, as well as photographing a face and landscape.
画像のイフェクト処理として、2枚の画像のマッチングを取って、一方の画像を他方の画像に変形させるモーフィングという技術がある。モーフィングは2枚の画像の中間画像を生成したり、2枚の画像の間を連続的に変化する中間画像によって動画を生成するために使われる。
モーフィングに使われる技術として、アフィン変換という幾何学変換がある。一般的なアフィン変換では、まず原画像の変形する領域と変形画像の変形する領域とを三角形に区切り、それら三角形を対応付ける。この三角形のことをメッシュと呼ぶ。変形前のメッシュと変形後のメッシュの頂点(3点ずつ合計6点)の座標(位置)がすでにわかっているとする。このとき、原画像上の座標と変形画像上の座標との間に成り立つ連立1次方程式を解き、変形画像上の座標に対応する原画像上の座標を求める。
As an image effect process, there is a technique called morphing in which two images are matched and one image is transformed into the other image. Morphing is used to generate an intermediate image of two images or to generate a moving image with an intermediate image that continuously changes between the two images.
As a technique used for morphing, there is a geometric transformation called affine transformation. In general affine transformation, first, a region to be deformed in an original image and a region to be deformed in a deformed image are divided into triangles, and these triangles are associated with each other. This triangle is called a mesh. Assume that the coordinates (positions) of the vertices of the mesh before deformation and the mesh after deformation (three points in total, six points in total) are already known. At this time, simultaneous linear equations established between the coordinates on the original image and the coordinates on the deformed image are solved to obtain the coordinates on the original image corresponding to the coordinates on the deformed image.
このようにアフィン変換を用いた画像変形方法では、変形画像上の座標をアフィン変換することで原画像上の座標を求め、その画素データを取得することで、原画像を変形させた変形画像を生成することができる。
画像のデコードブロック毎にDCT(Discrete Cosine Transform) を行う手順を有する圧縮方法で圧縮された圧縮画像データ、例えばJPEGで圧縮率の高い画像であると、モスキートノイズと呼ばれるノイズが発生する。
これは原画像上で急激な色の変化がある場所、例えば人物と背景の境界線など、高周波成分が多い場所で発生するノイズで、蚊の大群がエッジにまとわりついているように見えることからこう呼ばれている。
このモスキートノイズにおいて原画像上のメッシュより変形画像上のメッシュが大きい場合、モスキートノイズが拡大されてしまい、画質を落とす原因となっている。
また、原画像が画像のブロック毎にDCTを行う手順を有する圧縮方法で圧縮された圧縮画像データであり圧縮率の高い画像であると、DCT特有のブロックノイズが発生する。ブロックとは、DCTを行う際の画像の領域(例えば、JPEGでは8×8画素)である。
In this way, in the image deformation method using affine transformation, coordinates on the original image are obtained by affine transformation of coordinates on the deformed image, and pixel data is obtained to obtain a deformed image obtained by deforming the original image. Can be generated.
If the compressed image data is compressed by a compression method having a procedure of performing DCT (Discrete Cosine Transform) for each decoded block of an image, for example, an image having a high compression rate by JPEG, noise called mosquito noise is generated.
This is noise that occurs in places where there is a sudden color change on the original image, for example, the border between the person and the background, where there are many high-frequency components, and it seems that large groups of mosquitoes are clinging to the edges. being called.
When the mesh on the deformed image is larger than the mesh on the original image in the mosquito noise, the mosquito noise is enlarged, which causes the image quality to deteriorate.
Further, if the original image is compressed image data compressed by a compression method having a procedure for performing DCT for each block of the image and is an image having a high compression rate, block noise peculiar to DCT occurs. A block is a region of an image when DCT is performed (for example, 8 × 8 pixels in JPEG).
画像のデコードブロック毎にDCTを行う手順を有する圧縮方法で高圧縮された圧縮画像データは、高周波成分が切り捨てられるため、圧縮率が高ければ高いほど、デコードしたときにブロック内の画素の色が圧縮前のブロックの平均的な色に近くなる。このため、隣り合うデコードブロック同士の間に急激な色の変化が見られ、デコードブロックの境界線が現れてしまう。これがブロックノイズである。このようなブロックノイズが発生している画像に対して、アフィン変換を用いて画像を変形すると、このブロックノイズが変形画像にも引き継がれてしまうため、画質を落とす原因となっている。特に原画像上のメッシュが変形画像上のメッシュよりも小さな場合、ブロックノイズが拡大されてしまい、画質を落とす原因となっている。 ノイズを取り除く方法として、あらかじめ原画像の全ての画素に対してぼかし処理などのフィルタリング処理を行っているものがある。 The compressed image data that has been highly compressed by a compression method having a procedure for performing DCT for each decoded block of the image has high frequency components cut off. Therefore, the higher the compression ratio, the more the color of the pixels in the block when decoded. Close to the average color of the block before compression. For this reason, a sudden color change is seen between adjacent decode blocks, and a boundary line of the decode block appears. This is block noise. If an image having such block noise is generated using affine transformation, the image is deteriorated because the block noise is inherited by the deformed image. In particular, when the mesh on the original image is smaller than the mesh on the deformed image, the block noise is enlarged, which causes the image quality to deteriorate. As a method of removing noise, there is a method in which filtering processing such as blurring processing is performed on all pixels of the original image in advance.
なお、DCT変換手法を用いた圧縮画像データを携帯電話機が用いることは下記特許文献が開示している。
携帯電話機では、一般的に画像を伝送するサイズを小さくするため、またはメモリの節約のためにJPEG圧縮方法などを使用し、かつ圧縮率を高くすることでファイルサイズを小さくしている。このため携帯電話機では、モスキートノイズやブロックノイズが発生しやすい。従来の画像変形装置ではモスキートノイズやブロックノイズが発生した画像を変形すると、変形後の変形画像にモスキートノイズやブロックノイズが引きずられ、それらノイズをより強調してしまう問題がある。
また、上記課題に関して、変形前に原画像の全ての画素に対してフィルタリング処理を行う従来の変形画像表示装置は、演算時間が掛かる問題がある。逆変換処理の結果、原画像の同一画素を複数回参照する場合(例えば、原画像のメッシュの幅又は高さが変形画像のメッシュの幅又は高さより小さな場合)で、かつその中にブロックノイズやモスキートノイズが含まれていた場合、ブロックノイズやモスキートノイズが拡大されてしまう。
しかし原画像のメッシュの幅又は高さが変形画像のメッシュの幅又は高さより大きな場合は、変形画像で原画像の同じ座標点が存在することがないためにノイズの影響が少ない。従来の画像変形処理ではこれらの特徴を考慮しないですべての画素に対してフィルタリング処理するため、効率が悪い。特に携帯電話では、CPUやメモリに制限があるため、なるべく演算量やメモリを抑えたい。
また、従来方法ではあらかじめ原画像をフィルタリング処理するときにフィルタリング用の記憶領域も必要となる。
In mobile phones, the file size is generally reduced by using a JPEG compression method or the like in order to reduce the size of image transmission or to save memory, and by increasing the compression rate. For this reason, mosquito noise and block noise are likely to occur in mobile phones. In the conventional image transformation device, when an image in which mosquito noise or block noise is generated is deformed, there is a problem that mosquito noise or block noise is dragged into the deformed image after deformation, and the noise is further emphasized.
Further, regarding the above problem, the conventional modified image display device that performs the filtering process on all the pixels of the original image before the deformation has a problem that it takes a calculation time. When the same pixel of the original image is referred to a plurality of times as a result of the inverse transformation process (for example, when the width or height of the mesh of the original image is smaller than the width or height of the mesh of the deformed image), and block noise is included therein If mosquito noise is included, block noise and mosquito noise are enlarged.
However, when the width or height of the mesh of the original image is larger than the width or height of the mesh of the deformed image, the same coordinate point of the original image does not exist in the deformed image, so that the influence of noise is small. In the conventional image transformation process, since all the pixels are filtered without considering these features, the efficiency is low. Especially in mobile phones, the CPU and memory are limited, so we want to reduce the amount of computation and memory as much as possible.
In the conventional method, a storage area for filtering is also required when filtering the original image in advance.
本発明は上述した従来技術の問題点を解決するために、画像変形に伴いノイズが強調されることを抑制し、高画質な変形画像を得られる画像処理装置および画像処理方法を提供することを目的とする。
また、本発明は、画像変形時に画質向上のための画像処理を行う場合に、メモリの記憶容量、並びに演算量を削減できる画像処理装置および画像処理方法を提供することを目的とする。
In order to solve the above-described problems of the prior art, the present invention provides an image processing apparatus and an image processing method capable of suppressing noise enhancement associated with image deformation and obtaining a high-quality deformed image. Objective.
It is another object of the present invention to provide an image processing apparatus and an image processing method capable of reducing the storage capacity of a memory and the amount of calculation when performing image processing for improving image quality during image deformation.
上述した従来技術の問題点を解決し、上述した目的を達成するため、第1の発明の画像処理装置は、画像を変形させて変形画像を生成する画像処理装置であって、前記画像の変形対象の領域と、該変形対象の領域に対応する前記変形画像の変形対象の領域との大きさを比較する比較手段と、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求める第1の手段と、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求め、前記画像の変形対象の領域の画素に対してノイズを取り除くためのフィルタ処理を行う第2の手段と、を備え、前記比較手段により、前記画像の変形対象の領域が対応する前記変形画像の変形対象の領域より小さいと判断されると、前記第2の手段が、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求め、前記画像の変形対象の領域の画素に対してノイズを取り除くためのフィルタ処理を行い、前記比較手段により、前記画像の変形対象の領域が対応する前記変形画像の変形対象の領域より大きいと判断されると、前記第1の手段が、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求める。
In order to solve the above-described problems of the prior art and achieve the above-described object, an image processing apparatus according to a first aspect of the present invention is an image processing apparatus that generates a deformed image by deforming an image. and the target region, and comparing means for comparing the magnitude of the transformation target area of the deformed image corresponding to the region of the deformation object, the Kiga image before corresponding to the coordinates of the region of the deformation object of the deformed image A first means for determining the coordinates of the region to be deformed ; and coordinates of the region to be deformed corresponding to the coordinates of the region to be deformed of the deformed image; And a second means for performing filtering to remove noise, and when the comparison means determines that the deformation target area of the image is smaller than the corresponding deformation target area of the deformation image, The second means is the front Corresponding to the coordinates of the transformation target area of the deformed image seeking the coordinates of the transformation target area of the image, it performs filter processing for removing noise for the pixel of transformation target area of the image, by the comparison means When it is determined that the region to be deformed of the image is larger than the region to be deformed of the corresponding deformed image, the first means is configured to store the image corresponding to the coordinates of the region to be deformed of the deformed image. Find the coordinates of the area to be deformed .
好適には、第1の発明の画像処理装置は、前記画像の変形対象の領域に存在するノイズレベルが所定の基準値を超えているか否かを判断するノイズ判断手段をさらに備え、前記ノイズ判断手段が前記画像の変形対象の領域に存在するノイズレベルが所定の基準値を超えていないと判断すると、前記第1の手段が、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求め、前記ノイズ判断手段が前記画像の変形対象の領域に存在するノイズレベルが所定の基準値を超えていると判断すると、前記比較手段が前記比較を行い、該比較により、前記画像の変形対象の領域が対応する前記変形画像の変形対象の領域より小さいと判断されると、前記第2の手段が、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求め、前記画像の変形対象の領域の画素に対してノイズを取り除くためのフィルタ処理を行い、該比較により、前記画像の変形対象の領域が対応する前記変形画像の変形対象の領域より大きいと判断されると、前記第1の手段が、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求める。
Preferably, the image processing apparatus according to the first aspect of the present invention further comprises noise determination means for determining whether or not a noise level existing in a region to be deformed of the image exceeds a predetermined reference value, and the noise determination When the means determines that the noise level present in the region to be deformed of the image does not exceed a predetermined reference value, the first means has the image corresponding to the coordinates of the region to be deformed of the deformed image. The coordinates of the region to be deformed are obtained, and when the noise determining unit determines that the noise level existing in the region to be deformed of the image exceeds a predetermined reference value, the comparing unit performs the comparison, and the comparison Accordingly, the transformation target area of the image is determined to be less than the transformation target area of the corresponding deformed image, the second means, corresponding to the coordinates of the transformation target area of the deformed image the Obtains the coordinates of the transformation target area of the image, performs filter processing for removing noise for the pixel of transformation target area of the image, the deformed image by said comparison transformation target area of the image corresponding If it is determined that the area is larger than the area to be deformed, the first means obtains coordinates of the area to be deformed of the image corresponding to the coordinates of the area to be deformed of the deformed image.
第2の発明の画像処理方法は、画像を変形させて変形画像を生成する画像処理装置の画像処理方法であって、前記画像処理装置が、前記画像の変形対象の領域と、該変形対象の領域に対応する前記変形画像の変形対象の領域との大きさを比較し、前記画像の変形対象の領域が対応する前記変形画像の変形対象の領域より小さいと判断すると、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求め、前記画像の変形対象の領域の画素に対してノイズを取り除くためのフィルタ処理を行い、前記画像の変形対象の領域が対応する前記変形画像の変形対象の領域より大きいと判断すると、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求める。
An image processing method according to a second aspect of the present invention is an image processing method of an image processing device that generates a deformed image by deforming an image, wherein the image processing device includes a region to be deformed of the image and the deformation target. When the size of the deformation target area of the deformation image corresponding to the area is compared and it is determined that the deformation target area of the image is smaller than the corresponding deformation target area of the deformation image, the deformation target of the deformation image The coordinates of the area to be deformed corresponding to the coordinates of the area of the image are obtained, the filter processing for removing noise is performed on the pixels of the area to be deformed of the image, and the area to be deformed of the image corresponds to If it is determined that the area is larger than the area to be deformed of the deformed image, the coordinates of the area to be deformed of the image corresponding to the coordinates of the area to be deformed of the deformed image are obtained.
第3の発明の画像処理方法は、画像を変形させて変形画像を生成する画像処理装置の画像処理方法であって、前記画像処理装置が、前記画像の変形対象の領域に存在するノイズレベルが所定の基準値を超えているか否かを判断し、前記画像の変形対象の領域に存在するノイズレベルが所定の基準値を超えていないと判断すると、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の画像を求め、前記画像の変形対象の領域に存在するノイズレベルが所定の基準値を超えていると判断すると、前記画像の変形対象の領域と、該変形対象の領域に対応する前記変形画像の変形対象の領域との大きさを比較し、該比較において、前記画像の変形対象の領域が対応する前記変形画像の変形対象の領域より小さいと判断すると、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求め、前記画像の変形対象の領域の画素に対してノイズを取り除くためのフィルタ処理を行い、該比較において、前記画像の変形対象の領域が対応する前記変形画像の変形対象の領域より大きいと判断すると、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求める。
An image processing method according to a third aspect of the present invention is an image processing method for an image processing apparatus that generates a deformed image by deforming an image, wherein the image processing apparatus has a noise level present in a region to be deformed of the image. It is determined whether or not a predetermined reference value is exceeded, and if it is determined that the noise level present in the deformation target area of the image does not exceed the predetermined reference value, the coordinates of the deformation target area of the deformed image are When the image of the corresponding area to be deformed of the image is obtained and it is determined that the noise level existing in the area to be deformed of the image exceeds a predetermined reference value, the area to be deformed of the image and the deformation comparing the magnitude of the transformation target area of the deformed image corresponding to the region of interest, in the comparison, if it is determined that transformation target area of the image is smaller than the deformation target region of the corresponding deformed image, Obtains the coordinates of the transformation target area of the image corresponding to the coordinates of the transformation target area of the serial deformed image, it performs filter processing for removing noise for the pixel of transformation target area of the image, in the comparison When it is determined that the region to be deformed of the image is larger than the region to be deformed of the corresponding deformed image, the coordinates of the region to be deformed of the image corresponding to the coordinates of the region to be deformed of the deformed image are obtained.
本発明によれば、画像変形に伴いノイズが強調されることを抑制し、高画質な変形画像を得られる画像処理装置および画像処理方法を提供することができる。
また、本発明によれば、画像変形時に画質向上のための画像処理を行う場合に、メモリの記憶容量、並びに演算量を削減できる画像処理装置および画像処理方法を提供することができる。
According to the present invention, it is possible to provide an image processing apparatus and an image processing method capable of suppressing noise from being enhanced with image deformation and obtaining a high-quality deformed image.
In addition, according to the present invention, it is possible to provide an image processing apparatus and an image processing method capable of reducing the storage capacity of memory and the amount of calculation when performing image processing for improving image quality during image deformation.
以下、本発明の実施形態に係わる画像処理装置について説明する。
<第1実施形態>
以下、本発明の第1実施形態を説明する。
図1は、本発明の第1実施形態の画像処理装置1の構成図である。
図1に示すように、画像処理装置1は、例えば、メッシュ座標生成部10、ノイズ判定部11、領域比較部13および逆変換部15を有する。
なお、本実施形態では、メッシュ座標生成部10を逆変換部15とは別に設けた場合を例示するが、メッシュ座標生成部10を逆変換部15の機能の一部として実現してもよい。
Hereinafter, an image processing apparatus according to an embodiment of the present invention will be described.
<First Embodiment>
Hereinafter, a first embodiment of the present invention will be described.
FIG. 1 is a configuration diagram of an
As illustrated in FIG. 1, the
In the present embodiment, the case where the mesh
メッシュ座標生成部10は、入力操作などに応じて、原画像データORG内の各メッシュについて、その変形後のメッシュ(変形画像データTRN内のメッシュ)との対応関係を決定する。
具体的には、メッシュ座標生成部10は、例えば、原画像データORG内の各メッシュの3頂点の座標と、それに対応した変形画像データTRN内のメッシュの3頂点とを生成し、それぞれの頂点をアフィン逆変換を基にした下記式(1),(2)に代入して6つの連立1次方程式を規定する。
下記式(1),(2)において、原画像データORGのメッシュの頂点の座標を座標M0(M0x,M0y)とし、変形画像データTRNのメッシュの頂点の座標を座標M1(M1x,M1y)とする。
The mesh
Specifically, the mesh
In the following formulas (1) and (2), the coordinates of the mesh vertices of the original image data ORG are the coordinates M0 (M0x, M0y), and the coordinates of the mesh vertices of the deformed image data TRN are the coordinates M1 (M1x, M1y). To do.
(数1)
M0x=aM1x*bM1y+c …(1)
(Equation 1)
M0x = aM1x * bM1y + c (1)
(数2)
M0y=dM1x*eM1y+f …(2)
(Equation 2)
M0y = dM1x * eM1y + f (2)
そして、メッシュ座標生成部10は、上記6つの連立1次方程式を解いて上記式(1),(2)の係数a,b,c,d,e,fを生成する。
以降、これにより、上記式(1),(2)を基に、原画像データORG内の各メッシュ内の座標と、その変形後のメッシュ(変形画像データTRN内のメッシュ)内の座標との対応関係が規定される。
The mesh coordinate
Thereafter, based on the above formulas (1) and (2), the coordinates in each mesh in the original image data ORG and the coordinates in the deformed mesh (mesh in the deformed image data TRN) Correspondence is defined.
ノイズ判定部11は、メッシュ座標生成部10から指定された原画像データORG内のメッシュ(本発明の第1のメッシュ)に存在するノイズレベルと、第1の基準値および第2の基準値(第1の基準値>第2の基準値)との間の大小関係を判断し、その判断の結果を示すノイズ判定信号S11を生成し、これを逆変換部15に出力する。
具体的には、ノイズ判定部11は、指定された原画像データORG内のメッシュに存在するノイズレベルが第1の基準値より大きい場合に「大」を示し、第2の基準値より大きく第1の基準値以下の場合に「中」を示し、第2の基準値以下の場合に「小」を示すノイズ判定信号S11を生成する。
このとき、メッシュ座標生成部10は、変形画像データTRNの画素データの生成対象となるメッシュに対応した原画像データORGのメッシュを指定している。
The
Specifically, the
At this time, the mesh coordinate
領域比較部13は、メッシュ座標生成部10から指定された原画像データORGの上記指定されたメッシュと、変形画像データTRN内の対応したメッシュとの大きさを比較する。
具体的には、領域比較部13は、原画像データORG内の上記指定されたメッシュの3頂点の座標と、変形画像データTRN内の対応したメッシュの3頂点の座標とを基に、原画像データORG内の上記指定されたメッシュの幅または高さが変形画像データTRN内の対応したメッシュより小さいか否かを判断し、その判断の結果を示す大きさ判断信号S13を逆変換部15に出力する。
The
Specifically, the
図1に示すように、逆変換部15は、例えば、選択部21、単純逆変換部23および画像補間逆変換部25を有する。
選択部21は、ノイズ判定部11からのノイズ判定信号S11と、領域比較部13からの大きさ判断信号S13とを基に、ノイズ判定信号S11が「大」を示す場合、あるいは、ノイズ判定信号S11が「中」を示し且つ原画像データORG内の指定されたメッシュの幅または高さが変形画像データTRN内の対応したメッシュより小さいという条件を満たすか否かを判断する。
選択部21は、上記条件を満たすと判断すると、画像補間逆変換部25を選択し、上記条件を満たさないと判断すると単純逆変換部23を選択する。
As illustrated in FIG. 1, the inverse transform unit 15 includes, for example, a
Based on the noise determination signal S11 from the
If the
図2は、図1に示す単純逆変換部23の処理を説明するためのフローチャートである。
単純逆変換部23は、変形画像データTRNのメッシュ内の座標データに対応した原画像データORGのメッシュ内の座標データを上記式(1),(2)を用いて計算する(ステップST1)。
次に、画像処理装置1は、ステップST1で計算した原画像データORGの座標データに対応した画素データを原画像データORGから取得して記憶する(ステップST2)。
FIG. 2 is a flowchart for explaining the processing of the simple
The simple
Next, the
図3は、図1に示す画像補間逆変換部25の処理を説明するためのフローチャートである。
画像補間逆変換部25は、変形画像データTRNのメッシュ内の座標データに対応した原画像データORGのメッシュ内の座標データを上記式(1),(2)を用いて計算する(ステップST11)。
次に、画像補間逆変換部25は、例えば、ステップST11で計算した原画像データORGの座標データ、並びにその近傍の座標データに対応した画素データを原画像データORGから取得して、これら複数の画素データをフィルタ処理して新たな画素データを生成する(ステップST12)。
当該フィルタ処理は、例えば、ぼかし処理、メディアンフィルタ処理、バイリニア補間処理、あるいはバイキュービック補間処理である。
次に、画像処理装置1は、変形画像データTRNの対応する画素データとして、ステップST12で生成した新たな画素データを記憶する(ステップST13)。
FIG. 3 is a flowchart for explaining the processing of the image interpolation
The image interpolation
Next, the image interpolation
The filter processing is, for example, blur processing, median filter processing, bilinear interpolation processing, or bicubic interpolation processing.
Next, the
単純逆変換部23および画像補間逆変換部25は、図2および図3の処理を各メッシュ内の全ての座標データについて行う。なお、原画像データORGおよび変形画像データTRN内の全てのメッシュについて、単純逆変換部23あるいは画像補間逆変換部25の処理が行われる。
なお、単純逆変換部23による新たな画素データの処理量(演算量)は、画像補間逆変換部25による新たな画素データの処理量より小さい。
The simple
Note that the processing amount (calculation amount) of new pixel data by the simple
以下、図1に示す画像処理装置1の全体動作例を説明する。
図4は、図1に示す画像処理装置1の全体動作例を説明するためのフローチャートである。
ステップST21:
メッシュ座標生成部10は、入力操作などに応じて、原画像データORG内の選択したメッシュについて、その変形後のメッシュ(変形画像データTRN内のメッシュ)との対応関係、すなわち、アフィン逆変換を基にした上記式(1),(2)の係数a,b,c,d,e,fを生成する。
メッシュ座標生成部10は、以後、上記式(1),(2)を基に原画像データORGのメッシュ内の座標データを指定する。
ステップST22:
ノイズ判定部11は、メッシュ座標生成部10から指定された原画像データORG内のメッシュに存在するノイズレベルと、第1の基準値および第2の基準値(第1の基準値>第2の基準値)との間の大小関係を判断し、その判断の結果を示すノイズ判定信号S11を生成し、これを逆変換部15に出力する。
Hereinafter, an example of the overall operation of the
FIG. 4 is a flowchart for explaining an overall operation example of the
Step ST21:
The mesh coordinate
Thereafter, the mesh coordinate
Step ST22:
The
ステップST23:
画像処理装置1は、ステップST22でノイズ判定信号S11が「大」を示す場合にステップST24に進み、「中」を示す場合にステップST26に進み、「小」を示す場合にステップST28に進む。
Step ST23:
The
ステップST24:
逆変換部15の選択部21は、画像補間逆変換部25を選択する。
画像補間逆変換部25は、図3を用いて説明したように、原画像データORG内の指定された座標データ、並びにその周囲の座標データに対応した画素データをフィルタ処理して新たな画素データを生成し、記憶する。そして、処理中のメッシュ内の全ての座標に対して当該処理を行う。
Step ST24:
The
As described with reference to FIG. 3, the image interpolation
ステップST26:
領域比較部13は、メッシュ座標生成部10から指定された原画像データORGの上記指定されたメッシュと、変形画像データTRN内の対応したメッシュとの大きさを比較する。
ステップST27:
逆変換部15の選択部21は、ステップST26で原画像データORG内の指定されたメッシュの幅または高さが変形画像データTRN内の対応したメッシュより小さいと判断するとステップST24に進み、そうでない場合にはステップST28に進む。
Step ST26:
The
Step ST27:
If the
ステップST28:
逆変換部15の選択部21は、単純逆変換部23を選択する。
単純逆変換部23は、図2を用いて説明したように、原画像データORG内の指定された座標データに対応する画素データを、変形画像データTRN内の対応する座標データの画素データとして記憶する。そして、単純逆変換部23は、処理中のメッシュ内の全ての座標に対して、当該処理を行う。
ステップST30:
画像処理装置1は、変形画像データTRN内の全てのメッシュについてステップST21〜ST28の処理を終了したか否かを判断し、終了したと判断すると処理を終了し、そうでない場合はステップST1に戻る。
Step ST28:
The
As described with reference to FIG. 2, the simple
Step ST30:
The
以上説明したように、画像処理装置1では、ノイズ判定部11において原画像データORGのメッシュのノイズレベルが「大」と判断された場合、あるいは、ノイズ判定部11において原画像データORGのメッシュのノイズレベルが「中」と判断され且つ原画像データORGのメッシュが変形画像データTRNのメッシュより小さいと判断された場合場合に図3を用いて説明した画素補間逆変換処理を行い、それ以外の場合に図2を用いて説明した単純逆変換処理を行なう。
そのため、画像処理装置1によれば、原画像データORGに存在する大きなモスキートノイズが強調されることを抑制でき、高画質な変形画像データTRNを生成できる。
例えば、従来の手法では、図5に示すように、家の画像を拡大する場合に、原画像データORGが図5(A)に示すように低圧縮画像である場合にはモスキートノイズはそれ程強調されないが、図5(B)に示すように、原画像データORGが高圧縮画像である場合にはモスキートノイズが強調される。
画像処理装置1によれば、図5(B)に示す場合でも、モスキートノイズの強調を抑制できる。
また、画像処理装置1では、上述した条件を満たす場合に、画素補間逆変換処理を行い、それ以外の場合に単純逆変換処理を行なうため、常に画素補間逆変換処理を行う場合に比べて、メモリの記憶容量および演算量を削減できる。
画像処理装置1は、携帯電話機などのように、メモリの記憶容量が比較的小さく、演算処理能力が低く、しかも高い画像圧縮率を用いるシステムに用いると特に効果的である。
As described above, in the
Therefore, according to the
For example, in the conventional method, as shown in FIG. 5, when a house image is enlarged, if the original image data ORG is a low-compression image as shown in FIG. However, as shown in FIG. 5B, mosquito noise is emphasized when the original image data ORG is a high-compression image.
According to the
In addition, in the
The
<第2実施形態>
以下、本発明の第2実施形態を説明する。
図6は、本発明の第2実施形態の画像処理装置41の構成図である。
図6に示すように、画像処理装置41は、例えば、メッシュ座標生成部10、ノイズ判定部11、領域比較部13、逆変換部45、デコーダ50およびブロック境界検出部55を有する。
なお、本実施形態では、メッシュ座標生成部10を逆変換部45とは別に設けた場合を例示するが、メッシュ座標生成部10を逆変換部45の機能の一部として実現してもよい。
Second Embodiment
Hereinafter, a second embodiment of the present invention will be described.
FIG. 6 is a configuration diagram of the image processing apparatus 41 according to the second embodiment of the present invention.
As illustrated in FIG. 6, the image processing apparatus 41 includes, for example, a mesh coordinate
In the present embodiment, the case where the mesh coordinate
図6において、図1と同じ符号を付した構成要素は、第1実施形態で説明したものと同じである。
以下、図6に示すデコーダ50、ブロック境界検出部55および選択部53について説明する。
デコーダ50は、例えば、8x8画素などの所定のデコードブロックを単位として逆DCT処理などのデコード処理を原画像データORG0に対して行って原画像データORGを生成し、これをノイズ判定部11、逆変換部45およびブロック境界検出部55に出力する。
ブロック境界検出部55は、例えば、メッシュ座標生成部10によって指定された原画像データORGのメッシュ内の座標データが、上記デコードブロックの境界上、あるいは、当該境界から所定の距離内の座標を示すという条件を満たすか否かを検出し、その検出結果を示す検出信号S55を逆変換部45に出力する。
選択部53は、ノイズ判定部11からのノイズ判定信号S11と、領域比較部13からの大きさ判断信号S13と、ブロック境界検出部55からの検出信号S55とを基に、ノイズ判定信号S11が「大」を示し且つ検出信号S55が上記条件を満たすことを示す場合、あるいは、ノイズ判定信号S11が「中」を示し、原画像データORG内の指定されたメッシュの幅または高さが変形画像データTRN内の対応したメッシュより小さく、且つ検出信号S55が上記条件を満たすことを示す場合に、画像補間逆変換部25を選択し、それ以外の場合に単純逆変換部23を選択する。
In FIG. 6, the constituent elements having the same reference numerals as those in FIG. 1 are the same as those described in the first embodiment.
Hereinafter, the
For example, the
For example, the block
The
以下、図6に示す画像処理装置41の全体動作例を説明する。
図7は、図6に示す画像処理装置41の全体動作例を説明するためのフローチャートである。
ステップST41:
メッシュ座標生成部10は、入力操作などに応じて、原画像データORG内の選択したメッシュについて、その変形後のメッシュ(変形画像データTRN内のメッシュ)との対応関係、すなわち、アフィン逆変換を基にした上記式(1),(2)の係数a,b,c,d,e,fを生成する。
メッシュ座標生成部10は、以後、上記式(1),(2)を基に原画像データORGのメッシュ内の座標を指定する。
ステップST42:
ノイズ判定部11は、メッシュ座標生成部10から指定された原画像データORG内のメッシュに存在するノイズレベルと、第1の基準値および第2の基準値(第1の基準値>第2の基準値)との間の大小関係を判断し、その判断の結果を示すノイズ判定信号S11を生成し、これを逆変換部45に出力する。
Hereinafter, an example of the overall operation of the image processing apparatus 41 shown in FIG. 6 will be described.
FIG. 7 is a flowchart for explaining an example of the overall operation of the image processing apparatus 41 shown in FIG.
Step ST41:
The mesh coordinate
Thereafter, the mesh coordinate
Step ST42:
The
ステップST43:
画像処理装置4は、ステップST42でノイズ判定信号S11が「大」を示す場合にステップST44に進み、「中」を示す場合にステップST48に進み、「小」を示す場合にステップST50に進む。
Step ST43:
The image processing apparatus 4 proceeds to step ST44 when the noise determination signal S11 indicates “large” in step ST42, proceeds to step ST48 when it indicates “medium”, and proceeds to step ST50 when it indicates “small”.
ステップST44:
選択部53は、ブロック境界検出部55からの検出信号S55が上記条件を満たすことを示す場合、すなわち、メッシュ座標生成部10によって指定された原画像データORGのメッシュ内の座標データが、上記デコードブロックの境界上、あるいは、当該境界から所定の距離内の座標を示すという条件を満たすことを示す場合にステップST45に進み、そうでない場合にステップST46に進む。
ステップST45:
画像補間逆変換部25は、図3を用いて説明したように、原画像データORG内の指定された座標データ、並びにその周囲の座標データに対応した画素データをフィルタ処理して新たな画素データを生成して記憶する。
ステップST46:
単純逆変換部23は、図2を用いて説明したように、原画像データORG内の指定された座標データに対応する画素データを、変形画像データTRNのメッシュ内の対応座標データの画素データとして記憶する。
画像補間逆変換部25は、上記ステップST45,ST46の処理を、変形画像データTRNの処理中のメッシュ内の全ての座標に対して行う。
Step ST44:
When the detection signal S55 from the block
Step ST45:
As described with reference to FIG. 3, the image interpolation
Step ST46:
As described with reference to FIG. 2, the simple
The image interpolation
ステップST45,46:
画像処理装置41は、変形画像データTRNの処理中のメッシュ内の全ての座標に対して行う。
Steps ST45 and 46:
The image processing device 41 performs the processing on all coordinates in the mesh being processed of the deformed image data TRN.
ステップST48:
領域比較部13は、メッシュ座標生成部10から指定された原画像データORGの上記指定されたメッシュと、変形画像データTRN内の対応したメッシュとの大きさを比較する。
ステップST49:
選択部53は、ステップST48で原画像データORG内の指定されたメッシュの幅または高さが変形画像データTRN内の対応したメッシュより小さいと判断するとステップST44に進み、そうでない場合にはステップST50に進む。
Step ST48:
The
Step ST49:
If the
ステップST50:
単純逆変換部23は、図2を用いて説明したように、原画像データORG内の指定された座標データに対応する画素データを、変形画像データTRNのメッシュ内の対応座標データの画素データとして記憶する。
画像処理装置41は、変形画像データTRNの処理中のメッシュ内の全ての座標に対して当該処理を行う。
ステップST52:
画像処理装置41は、変形画像データTRN内の全てのメッシュに画素データの生成あるいは取得を終了したか否かを判断し、終了したと判断すると処理を終了し、そうでない場合はステップST41に戻る。
Step ST50:
As described with reference to FIG. 2, the simple
The image processing device 41 performs the process on all coordinates in the mesh being processed of the deformed image data TRN.
Step ST52:
The image processing device 41 determines whether or not the generation or acquisition of pixel data has been completed for all meshes in the deformed image data TRN. If it is determined that the processing has ended, the processing ends. If not, the processing returns to step ST41. .
以上説明したように、画像処理装置41では、選択部53においてノイズ判定信号S11が「大」を示し且つ検出信号S55が前述した条件を満たすことを示す場合、あるいは、ノイズ判定信号S11が「中」を示し、原画像データORG内の指定されたメッシュの幅または高さが変形画像データTRN内の対応したメッシュより小さく、且つ検出信号S55が前述した条件を満たすことを示す場合に画像補間逆変換部25を選択し、それ以外の場合に単純逆変換部23を選択する。
そのため、画像処理装置1によれば、原画像データORGに存在するブロックノイズが強調されることを抑制でき、高画質な変形画像データTRNを生成できる。
例えば、図8に示すように、メッシュA,B,Cに対して縦横2倍にする画像変形処理を行う場合に、従来手法では、変形画像データTRN内のメッシュD,E,Fが生成される。ここで、メッシュD,E,Fは、縦横が2倍になっているため、原画像データORG内の1画素が4画素に拡大される。原画像データORGのデコードブロックにノイズが存在すると、メッシュD,E,Fではそのノイズがそのまま拡大され、図8に示すように、デコードブロックの境界が鮮明に現れる。
一方、本実施形態の画像処理装置41によれば、図8に示すように、デコードブロックのノイズがぼかされ、デコードブロックの境界が従来手法の場合に比べて目立たなくなる。
また、画像処理装置41では、上述したように選択的に画素補間逆変換処理を行い、それ以外の場合に単純逆変換処理を行なうため、常に画素補間逆変換処理を行う場合に比べて、メモリの記憶容量および演算量を削減できる。
画像処理装置41は、携帯電話機などのように、メモリの記憶容量が比較的小さく、演算処理能力が低く、しかも高い画像圧縮率を用いるシステムに用いると特に効果的である。
As described above, in the image processing device 41, when the noise determination signal S11 indicates “large” and the detection signal S55 satisfies the above-described condition in the
Therefore, according to the
For example, as shown in FIG. 8, when performing image deformation processing for doubling the vertical and horizontal directions for meshes A, B, and C, meshes D, E, and F in the deformed image data TRN are generated in the conventional method. The Here, since the meshes D, E, and F are doubled vertically and horizontally, one pixel in the original image data ORG is enlarged to four pixels. If noise exists in the decoding block of the original image data ORG, the noise is expanded as it is in the meshes D, E, and F, and the boundary of the decoding block appears clearly as shown in FIG.
On the other hand, according to the image processing apparatus 41 of the present embodiment, as shown in FIG. 8, the noise of the decoding block is blurred, and the boundary of the decoding block becomes inconspicuous compared to the conventional method.
Further, in the image processing device 41, the pixel interpolation reverse conversion process is selectively performed as described above, and the simple reverse conversion process is performed in other cases, so that the memory is compared with the case where the pixel interpolation reverse conversion process is always performed. Storage capacity and computation amount can be reduced.
The image processing apparatus 41 is particularly effective when used in a system such as a mobile phone having a relatively small memory storage capacity, low arithmetic processing capability, and a high image compression rate.
本発明は上述した実施形態には限定されない。
例えば、上述した第1実施形態の画像処理装置1において、ステップST23でノイズレベルと単数の所定の基準値との大小関係のみを判断し、ノイズレベルが所定の基準値を越えた場合に画素補間逆変換処理を選択し、そうでない場合に単純逆変換処理を選択してもよい。
また、上述した第2実施形態の画像処理装置41において、ノイズレベルが第2の基準値を越えていれば、全てステップST48に進むようにしてもよい。
また、上述した実施形態では、本発明の単位ブロックとして三角形のメッシュを例示したが、本発明は、三角形以外の形状の単位ブロックを用いてもよい。
The present invention is not limited to the embodiment described above.
For example, in the
Further, in the image processing apparatus 41 according to the second embodiment described above, if the noise level exceeds the second reference value, all may proceed to step ST48.
In the embodiment described above, a triangular mesh is exemplified as the unit block of the present invention. However, the present invention may use a unit block having a shape other than the triangle.
本発明は、画像処理システムに適用可能である。 The present invention is applicable to an image processing system.
1…画像処理装置、10…メッシュ座標生成部、11…ノイズ判定部、13…領域比較部、15…逆変換部、21…選択部、23…単純逆変換部、25…画像補間逆変換部、50…デコーダ、53…選択部、55…ブロック境界検出部
DESCRIPTION OF
Claims (4)
前記画像の変形対象の領域と、該変形対象の領域に対応する前記変形画像の変形対象の領域との大きさを比較する比較手段と、
前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求める第1の手段と、
前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求め、前記画像の変形対象の領域の画素に対してノイズを取り除くためのフィルタ処理を行う第2の手段と、
を備え、
前記比較手段により、前記画像の変形対象の領域が対応する前記変形画像の変形対象の領域より小さいと判断されると、前記第2の手段が、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求め、前記画像の変形対象の領域の画素に対してノイズを取り除くためのフィルタ処理を行い、
前記比較手段により、前記画像の変形対象の領域が対応する前記変形画像の変形対象の領域より大きいと判断されると、前記第1の手段が、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求める
ことを特徴とする画像処理装置。 An image processing device that generates a deformed image by deforming an image,
Comparison means for comparing the size of the region to be deformed of the image and the region to be deformed of the deformed image corresponding to the region to be deformed;
First means for determining the coordinates of the transformation target area before outs image corresponding to the coordinates of the transformation target area of the deformed image,
Second means for obtaining the coordinates of the deformation target area of the image corresponding to the coordinates of the deformation target area of the deformed image and performing filter processing for removing noise on the pixels of the deformation target area of the image When,
With
When the comparing means determines that the area to be deformed of the image is smaller than the corresponding area to be deformed of the deformed image, the second means corresponds to the coordinates of the area to be deformed of the deformed image. Obtaining the coordinates of the region to be deformed of the image, performing a filtering process to remove noise on the pixels of the region to be deformed of the image ,
When the comparison means determines that the area to be deformed of the image is larger than the corresponding area to be deformed of the deformed image, the first means corresponds to the coordinates of the area to be deformed of the deformed image. An image processing apparatus that obtains coordinates of a region to be deformed of the image.
をさらに備え、
前記ノイズ判断手段が前記画像の変形対象の領域に存在するノイズレベルが所定の基準値を超えていないと判断すると、前記第1の手段が、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求め、
前記ノイズ判断手段が前記画像の変形対象の領域に存在するノイズレベルが所定の基準値を超えていると判断すると、前記比較手段が前記比較を行い、
該比較により、前記画像の変形対象の領域が対応する前記変形画像の変形対象の領域より小さいと判断されると、前記第2の手段が、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求め、前記画像の変形対象の領域の画素に対してノイズを取り除くためのフィルタ処理を行い、
該比較により、前記画像の変形対象の領域が対応する前記変形画像の変形対象の領域より大きいと判断されると、前記第1の手段が、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求める
ことを特徴とする請求項1に記載の画像処理装置。 Noise determining means for determining whether or not a noise level present in the region to be deformed of the image exceeds a predetermined reference value;
When the noise determining means determines that the noise level existing in the deformation target area of the image does not exceed a predetermined reference value, the first means corresponds to the coordinates of the deformation target area of the deformed image. Find the coordinates of the region to be deformed of the image,
When the noise determination means determines that the noise level present in the region to be deformed of the image exceeds a predetermined reference value, the comparison means performs the comparison,
When it is determined by the comparison that the region to be deformed of the image is smaller than the region to be deformed of the corresponding deformed image, the second means corresponds to the coordinates of the region to be deformed of the deformed image. Obtain the coordinates of the region to be deformed of the image, perform a filtering process to remove noise on the pixels of the region to be deformed of the image ,
If it is determined by the comparison that the region to be deformed of the image is larger than the region to be deformed of the corresponding deformed image, the first means corresponds to the coordinates of the region to be deformed of the deformed image. The image processing apparatus according to claim 1, wherein coordinates of a region to be deformed of the image are obtained .
前記画像処理装置が、
前記画像の変形対象の領域と、該変形対象の領域に対応する前記変形画像の変形対象の領域との大きさを比較し、
前記画像の変形対象の領域が対応する前記変形画像の変形対象の領域より小さいと判断すると、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求め、前記画像の変形対象の領域の画素に対してノイズを取り除くためのフィルタ処理を行い、
前記画像の変形対象の領域が対応する前記変形画像の変形対象の領域より大きいと判断すると、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求める
ことを特徴とする画像処理装置の画像処理方法。 An image processing method of an image processing apparatus for generating a deformed image by deforming an image,
The image processing apparatus is
Comparing the deformation target area of the image with the deformation target area of the deformation image corresponding to the deformation target area;
If it is determined that the region to be deformed of the image is smaller than the region to be deformed of the corresponding deformed image, the coordinates of the region to be deformed of the image corresponding to the coordinates of the region to be deformed of the deformed image are obtained, Perform filter processing to remove noise on the pixels in the area to be transformed ,
If it is determined that the region to be deformed of the image is larger than the region to be deformed of the corresponding deformed image, the coordinates of the region to be deformed of the image corresponding to the coordinates of the region to be deformed of the deformed image are obtained. An image processing method of an image processing apparatus.
前記画像処理装置が、
前記画像の変形対象の領域に存在するノイズレベルが所定の基準値を超えているか否かを判断し、
前記画像の変形対象の領域に存在するノイズレベルが所定の基準値を超えていないと判断すると、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の画像を求め、
前記画像の変形対象の領域に存在するノイズレベルが所定の基準値を超えていると判断すると、前記画像の変形対象の領域と、該変形対象の領域に対応する前記変形画像の変形対象の領域との大きさを比較し、
該比較において、前記画像の変形対象の領域が対応する前記変形画像の変形対象の領域より小さいと判断すると、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求め、前記画像の変形対象の領域の画素に対してノイズを取り除くためのフィルタ処理を行い、
該比較において、前記画像の変形対象の領域が対応する前記変形画像の変形対象の領域より大きいと判断すると、前記変形画像の変形対象の領域の座標に対応する前記画像の変形対象の領域の座標を求める
ことを特徴とする画像処理装置の画像処理方法。 An image processing method of an image processing apparatus for generating a deformed image by deforming an image,
The image processing apparatus is
Determining whether the noise level present in the region to be deformed of the image exceeds a predetermined reference value;
When it is determined that the noise level present in the region to be deformed of the image does not exceed a predetermined reference value, an image of the region to be deformed of the image corresponding to the coordinates of the region to be deformed of the deformed image is obtained,
When it is determined that the noise level existing in the deformation target area of the image exceeds a predetermined reference value, the deformation target area of the image and the deformation target area of the deformation image corresponding to the deformation target area Compare the size with
In this comparison, if it is determined that the region to be deformed of the image is smaller than the region to be deformed of the corresponding deformed image, the coordinates of the region to be deformed corresponding to the coordinates of the region to be deformed of the deformed image And performing a filtering process to remove noise on the pixels in the region to be deformed of the image ,
In this comparison, if it is determined that the region to be deformed of the image is larger than the region to be deformed of the corresponding deformed image, the coordinates of the region to be deformed corresponding to the coordinates of the region to be deformed of the deformed image the image processing method of an image processing apparatus and obtains the.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004316823A JP4790247B2 (en) | 2004-10-29 | 2004-10-29 | Image processing apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004316823A JP4790247B2 (en) | 2004-10-29 | 2004-10-29 | Image processing apparatus and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006127292A JP2006127292A (en) | 2006-05-18 |
JP4790247B2 true JP4790247B2 (en) | 2011-10-12 |
Family
ID=36721966
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004316823A Expired - Fee Related JP4790247B2 (en) | 2004-10-29 | 2004-10-29 | Image processing apparatus and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4790247B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9123105B2 (en) | 2011-10-26 | 2015-09-01 | Mitsubishi Electric Corporation | Image processing device, image processing method, image capturing device, computer program, and recording medium |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3288811B2 (en) * | 1993-07-26 | 2002-06-04 | 日本無線株式会社 | Post-processing filter control method and post-processing filter control circuit in video codec |
JPH0837664A (en) * | 1994-07-26 | 1996-02-06 | Toshiba Corp | Moving picture encoding/decoding device |
JPH10327315A (en) * | 1997-05-26 | 1998-12-08 | Fuji Xerox Co Ltd | Image processing unit |
JP4031584B2 (en) * | 1998-12-11 | 2008-01-09 | 株式会社メガチップス | Image adjustment device |
JP2000184185A (en) * | 1998-12-15 | 2000-06-30 | Canon Inc | Device and method for converting resolution and computer-readable storing device |
JP2000187679A (en) * | 1998-12-22 | 2000-07-04 | Dainippon Screen Mfg Co Ltd | Package design simulation method and its device and recording medium recording package design simulation program |
JP3736291B2 (en) * | 2000-05-31 | 2006-01-18 | 松下電器産業株式会社 | Image signal decoding apparatus and method |
JP4145665B2 (en) * | 2001-05-10 | 2008-09-03 | 松下電器産業株式会社 | Image processing apparatus and image processing method |
JP2003008907A (en) * | 2001-06-19 | 2003-01-10 | Fuji Xerox Co Ltd | Image processor |
JP2004304561A (en) * | 2003-03-31 | 2004-10-28 | Dainippon Screen Mfg Co Ltd | Apparatus and method for image processing using compression image data |
-
2004
- 2004-10-29 JP JP2004316823A patent/JP4790247B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9123105B2 (en) | 2011-10-26 | 2015-09-01 | Mitsubishi Electric Corporation | Image processing device, image processing method, image capturing device, computer program, and recording medium |
Also Published As
Publication number | Publication date |
---|---|
JP2006127292A (en) | 2006-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4455364B2 (en) | Resolution conversion method and apparatus | |
Rukundo et al. | Nearest neighbor value interpolation | |
JP4431362B2 (en) | Method and system for removing artifacts in compressed images | |
JP4847591B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP2003283811A (en) | Image processing apparatus and program | |
JPH07231450A (en) | Filter device and method for reducing artifact in moving video picture signal system | |
TW201120805A (en) | Forward and backward resizing method | |
US9462220B2 (en) | Auto-regressive edge-directed interpolation with backward projection constraint | |
Liang et al. | Improved non-local iterative back-projection method for image super-resolution | |
CN111325692A (en) | Image quality enhancement method and device, electronic equipment and readable storage medium | |
Jakhetiya et al. | Maximum a posterior and perceptually motivated reconstruction algorithm: A generic framework | |
US7848597B2 (en) | Data processing | |
Vo et al. | Selective data pruning-based compression using high-order edge-directed interpolation | |
JP4790247B2 (en) | Image processing apparatus and method | |
JP2001223888A (en) | Picture processing method, picture processor and recording medium | |
RU2310911C1 (en) | Method for interpolation of images | |
KR102027886B1 (en) | Image Resizing apparatus for Large Displays and method thereof | |
KR101006810B1 (en) | High quality image acquisition method using example-based super resolution skill | |
Chan et al. | An adaptive interpolation using spatial varying filter | |
Gan | Low complexity image/video super resolution using edge and nonlocal self-similarity constraint | |
JP2004288046A (en) | Image processing method, device and program | |
JP2002259960A (en) | Image processing device and image processing method | |
KR101332030B1 (en) | Method of magnifying image and computer readable medium storing the program thereof | |
KR101650897B1 (en) | Window size zooming method and the apparatus for lower resolution contents | |
JP3750164B2 (en) | Image processing method and image processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070907 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100309 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100510 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100803 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101004 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110329 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110530 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110621 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110720 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140729 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |