JP2005223490A - Image processor and image processing method - Google Patents
Image processor and image processing method Download PDFInfo
- Publication number
- JP2005223490A JP2005223490A JP2004027716A JP2004027716A JP2005223490A JP 2005223490 A JP2005223490 A JP 2005223490A JP 2004027716 A JP2004027716 A JP 2004027716A JP 2004027716 A JP2004027716 A JP 2004027716A JP 2005223490 A JP2005223490 A JP 2005223490A
- Authority
- JP
- Japan
- Prior art keywords
- processing
- enlargement
- image
- yuv format
- reduction ratio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Television Systems (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
Description
本発明は画像処理装置に関し、特に解像度変換処理及び、YUVから別フォーマットのYUVへのフォーマット変換(以下YUVフォーマット変換処理と呼ぶ)を行う画像処理装置及び画像処理方法に関する。 The present invention relates to an image processing apparatus, and more particularly to an image processing apparatus and an image processing method for performing resolution conversion processing and format conversion from YUV to another format YUV (hereinafter referred to as YUV format conversion processing).
携帯電話機や、デジタルスチルカメラなど各種マルチメディア機器では、画像の解像度変換処理や、RGBからYUV、あるいはその逆のYUVからRGBへのフォーマット変換、YUVフォーマット変換処理など様々な画像処理が行われている。 Various types of image processing such as image resolution conversion processing, RGB to YUV or vice versa YUV to RGB format conversion processing, YUV format conversion processing are performed in various multimedia devices such as mobile phones and digital still cameras. Yes.
このような画像処理は、ソフトウェア的手段により実施可能であるが、その場合、計算時間がかかるという問題から、拡大/縮小などの画像処理をハードウェアで実施する技術が知られている(例えば、特許文献1参照)。 Such image processing can be performed by software means. In such a case, a technique for performing image processing such as enlargement / reduction by hardware is known because of the problem that calculation time is required (for example, Patent Document 1).
画像の解像度変換処理及びフォーマット変換を行う画像処理装置には、主に以下の3つのタイプがある。
図10、11、12は従来の画像処理装置のブロック図である。
There are mainly the following three types of image processing apparatuses that perform image resolution conversion processing and format conversion.
10, 11 and 12 are block diagrams of a conventional image processing apparatus.
図10で示す従来の画像処理装置800aは、画像処理装置800aの各部を制御するCPU(Central Processing Unit)801、バス占有を制御するバスアービタ802、アドレスをデコードしてモジュールを選択する信号を生成するアドレスデコーダ803、VRAM(Video Random Access Memory)804aを制御するメモリコントローラ804、画像の解像度変換処理を行うスケーラ805、フォーマット変換を行うフォーマットコンバータ806と、その他の画像処理を行う画像処理モジュール807−1、…、807−nが、それぞれシステムバス808に接続されている構成である。
A conventional
スケーラ805は、例えば、YUVフォーマットの画像の解像度変換処理を行う場合、通常、Y、U、Vの全ての成分に対して同じ拡大縮小率を適用して、画像を拡大または縮小する。
For example, when performing resolution conversion processing of an image in the YUV format, the
また、フォーマットコンバータ806は、RGBからYUV、あるいはその逆のYUVからRGBへのフォーマット変換、YUVフォーマット変換処理などの各種フォーマット変換処理を行う。
The
なお、YUVフォーマットとは、「人間の目は明るさの変化には敏感だが、色の変化には鈍感である」という性質を利用し、色度を抑え、輝度により広い帯域やビット数を割り当てることにより、少ない損失で効率の良い伝送や圧縮を実現するフォーマットである。サブサンプリングする際の色差成分の間引き方によって、いくつかのフォーマットに分かれる。主なものに、YUV444(1画素あたり1つの“U”と1つの“V”を持つ。色差成分の間引きなし)、YUV422(水平方向に並んだ2画素で1つの“U”と1つの“V”を共有する。水平方向で色差成分を間引く)、YUV411(水平方向に並んだ4画素で1つの“U”と1つの“V”を共有する。水平方向で色差成分を間引く)、YUV420(2×2のブロック(4画素)で1つの“U”と1つの“V”を共有する。ブロックで色差成分を間引く)、YUV410(4×4のブロック(16画素)で1つの“U”と1つの“V”を共有する。ブロックで色差成分を間引く)がある。 The YUV format uses the property that “the human eye is sensitive to changes in brightness but is insensitive to changes in color”, suppresses chromaticity, and assigns a wider band and bit number to luminance. Therefore, it is a format that realizes efficient transmission and compression with little loss. There are several formats depending on how the color difference components are thinned out during sub-sampling. The main ones are YUV444 (having one “U” and one “V” per pixel. No thinning of color difference components), YUV422 (one “U” and one “2” in two pixels arranged in the horizontal direction). V ”is shared. Color difference components are thinned out in the horizontal direction), YUV 411 (one“ U ”and one“ V ”are shared in four pixels arranged in the horizontal direction. Color difference components are thinned out in the horizontal direction), YUV420 (The 2 × 2 block (4 pixels) shares one “U” and one “V”. The color difference component is thinned out by the block), and YUV410 (4 × 4 block (16 pixels) has one “U”. "And one" V "are shared. Color difference components are thinned out in blocks).
一方、図11で示す従来の画像処理装置800bは、スケーラ805と、フォーマットコンバータ806とがローカルで接続され、それらが1つのモジュール809としてシステムバス808に接続されている構成である。その他の構成要素は、図10と同様であるので符号を同一とし、説明を省略する。
On the other hand, the conventional
また、図12で示す従来の画像処理装置800cは、ある画像処理モジュール807−iがその中にフォーマットコンバータ806を内蔵している構成である。その他の構成要素は、図10と同様であるので符号を同一とし、説明を省略する。
A conventional
以上の図10、11、12において、解像度変換処理とフォーマット変換を両方行う場合の、従来の処理を以下に説明する。
図13、14は、従来の画像処理装置における、解像度変換処理及びフォーマット変換を両方行う際の処理の流れを説明するフローチャートである。
10, 11, and 12, conventional processing when both resolution conversion processing and format conversion are performed will be described below.
13 and 14 are flowcharts for explaining the flow of processing when performing both resolution conversion processing and format conversion in a conventional image processing apparatus.
なお、ここでは、YUV画像に対してまず解像度変換処理を行い、続いてYUVフォーマット変換処理を行った場合の処理の流れを示している。また、どちらの変換も処理は単位ブロックの画像データごとに行う。また、フレームバッファは、図10〜12のVRAM804aに対応している。
Here, the flow of processing when a resolution conversion process is first performed on a YUV image and then a YUV format conversion process is performed is shown. Both conversions are performed for each unit block image data. The frame buffer corresponds to the
処理が開始すると、CPU801により制御されたメモリコントローラ804によって、フレームバッファから解像度変換処理を行う際の補間に必要な、例えば、4×4ピクセルの単位ブロックの画像データを読み出す(ステップS50)。読み出された画像データは、CPU801の制御のもとシステムバス808を介して、スケーラ805に送出され、スケーラ805で解像度変換処理が行われる(ステップS51)。
When the processing starts, the
読み出した画像データに対する解像度変換処理が終了すると、解像度変換処理後の画像データを再び、CPU801の制御のもとシステムバス808を介して、VRAM804aへ書き込む(ステップS52)。以上の処理を1水平方向について繰り返し行う。1水平方向の処理が終了した場合にはステップS54の処理に進む(ステップS53)。1水平方向についての解像度変換処理が終了すると、垂直方向アドレスを遷移させて(ステップS54)、次の行について、ステップS50からステップS54の処理を繰り返す。垂直方向の処理が全て終了した場合にはステップS56の処理へ進む(ステップS55)。以上のようにして1つの処理成分、例えば、輝度YについてのステップS50〜55の処理が終わると、処理成分数N=N+1として(ステップS56)、例えば、次に色差Uを用いて上記のステップS50〜56の処理を繰り返す。YUV全てについて上記の処理が終了した場合(N=3)には、ステップS58に進む(ステップS57)。
When the resolution conversion process for the read image data is completed, the image data after the resolution conversion process is written again into the
図15は、通常の解像度変換処理の様子を示す図である。
ここでは、簡単のために、YUV420フォーマットの8×8ピクセルの画像を水平・垂直方向ともに2倍に拡大し、16×16ピクセルの画像を得る場合について説明している。1マスは1ピクセルを表している。YUV420フォーマットでは色差成分U、Vの数は輝度成分の1/4であるから、図のように間引き分を詰めた形で描くと、色差成分U、Vの拡大前のサイズは4×4ピクセルである。このような画像データに対し、バイキュービック法、バイリニア法、ニアレストネイバー法などの各種画素補間方式を用いて、8×8ピクセルの画像を2倍に拡大し、16×16ピクセルの画像が得られる。なお、色差成分U、Vは、2倍に拡大して間引き分を詰めた形で描くと8×8ピクセルとなる。
FIG. 15 is a diagram illustrating a state of normal resolution conversion processing.
Here, for the sake of simplicity, a case has been described in which an 8 × 8 pixel image in YUV420 format is enlarged twice in both the horizontal and vertical directions to obtain a 16 × 16 pixel image. One square represents one pixel. In the YUV420 format, the number of color difference components U and V is ¼ of the luminance component. Therefore, when drawn in a form with thinned out portions as shown in the figure, the size of the color difference components U and V before enlargement is 4 × 4 pixels. It is. By using various pixel interpolation methods such as bicubic method, bilinear method, and nearest neighbor method for such image data, an 8 × 8 pixel image is doubled to obtain a 16 × 16 pixel image. It is done. Note that the color difference components U and V are 8 × 8 pixels when drawn in a form that is doubled and thinned out.
このようにして、例えば、QVGA画像(320×240ピクセル)に対しても同様に、Y、U、Vの全ての成分を2倍することで、VGA画像(640×480ピクセル)に変換することができる。 In this way, for example, a QVGA image (320 × 240 pixels) is similarly converted to a VGA image (640 × 480 pixels) by doubling all components of Y, U, and V. Can do.
ステップS58からの処理は、YUVフォーマット変換処理である。
解像度変換処理の場合と同様に、YUVフォーマット変換処理を行う際も、VRAM804aからブロック単位で画像データを読み出す(ステップS58)。そして読み出した画像データをフォーマットコンバータ806に送出し、例えば、YUV420からYUV422など、YUVの別フォーマットへの変換を行う(ステップS59)。フォーマット変換後の画像データは、再び、VRAM804aに書き込まれる(ステップS60)。以上の処理を1水平方向について繰り返し行う。1水平方向について処理が終了した場合には、ステップS62の処理に進む(ステップS61)。1水平方向についてのフォーマット変換が終了すると、垂直方向アドレスを遷移させて(ステップS62)、次の行について、ステップS58からステップS62の処理を繰り返す。垂直方向の処理が全て終了した場合にはステップS64の処理に進む(ステップS63)。以上のようにして一方の色差成分(U成分またはV成分)についての処理が終わると、処理成分数N=N+1として(ステップS64)、残りの1つの色差成分についても同様に上記のステップS58〜S64の処理を繰り返す。U成分、V成分両方について上記の処理が終了すると(N=2)、解像度変換処理及びフォーマット変換の処理を終了する(ステップS65)。
Similarly to the resolution conversion process, when performing the YUV format conversion process, image data is read out from the
しかし、上記のように従来では解像度変換処理とYUVフォーマット変換処理の両方を行う作業は、それぞれフレームバッファに別々にアクセスして行っているので、出力画像を得るまでに長い処理時間を要するという問題があった。 However, as described above, conventionally, both the resolution conversion process and the YUV format conversion process are performed by separately accessing the frame buffer, so that it takes a long processing time to obtain an output image. was there.
通常、静止画や動画を扱う、マルチメディア処理システムにおいては、解像度変換処理やフォーマット変換の他にも、動画エンコード・デコードや静止画圧縮・解凍、カメラ画像の色補間など、負荷の重い処理が多数共存しており、出力画像を得るまでに多大な処理時間を要してしまう。 In general, multimedia processing systems that handle still images and moving images perform heavy processing such as video encoding / decoding, still image compression / decompression, and camera image color interpolation in addition to resolution conversion processing and format conversion. Many coexist, and it takes a lot of processing time to obtain an output image.
また、画像処理モジュール数の増加は回路面積の増加につながり、特に、実装面積が限られる携帯機器向けシステムなどに適用する際には大きな問題となる。
本発明はこのような点に鑑みてなされたものであり、解像度変換処理およびYUVフォーマット変換処理を1つのスケーラで同時に行うことが可能な画像処理装置を提供することを目的とする。
In addition, an increase in the number of image processing modules leads to an increase in circuit area, which becomes a serious problem particularly when applied to a system for portable devices where the mounting area is limited.
The present invention has been made in view of these points, and an object thereof is to provide an image processing apparatus capable of simultaneously performing resolution conversion processing and YUV format conversion processing with a single scaler.
また、本発明の他の目的は、解像度変換処理及びYUVフォーマット変換処理を同時に行うことが可能な画像処理方法を提供することである。 Another object of the present invention is to provide an image processing method capable of simultaneously performing resolution conversion processing and YUV format conversion processing.
本発明では上記問題を解決するために、解像度変換処理およびYUVフォーマット変換処理を行う画像処理装置において、図1に示すように、入力画像のYUVフォーマット情報と、出力画像のYUVフォーマット情報と、水平方向の拡大縮小率及び垂直方向の拡大縮小率と、輝度または2つの色差成分のいずれの成分を処理するかを指定する処理成分指定情報とを格納する設定情報格納部11と、入力画像のYUVフォーマット情報と、出力画像のYUVフォーマット情報及び、処理成分指定情報に応じて、水平方向または垂直方向の拡大縮小率を補正する補正部12と、補正した拡大縮小率を解像度変換処理で用いる新たな拡大縮小率として格納する拡大縮小率格納部13と、を有することを特徴とする画像処理装置が提供される。
In the present invention, in order to solve the above problems, in an image processing apparatus that performs resolution conversion processing and YUV format conversion processing, as shown in FIG. 1, YUV format information of an input image, YUV format information of an output image, and horizontal A setting
上記の構成によれば、設定情報格納部11に格納された、入力画像のYUVフォーマット情報と、出力画像のYUVフォーマット情報及び、処理成分指定情報に応じて、補正部12は設定情報格納部11に格納された水平方向または垂直方向の拡大縮小率を補正し、拡大縮小率格納部13は、補正した拡大縮小率を解像度変換処理で用いる新たな拡大縮小率として格納する。これにより、補正した拡大縮小率を用いた解像度変換処理では、YUVフォーマット変換処理が同時に行われる。
According to the above configuration, the
本発明では、入力画像のYUVフォーマット情報と、出力画像のYUVフォーマット情報及び、処理成分指定情報に応じて、もとの水平方向または垂直方向の拡大縮小率を補正し、補正した拡大縮小率を用いた解像度変換処理するので、解像度変換処理と同時にYUVフォーマット変換処理を行うことができる。 In the present invention, the original horizontal or vertical enlargement / reduction ratio is corrected according to the YUV format information of the input image, the YUV format information of the output image, and the processing component designation information, and the corrected enlargement / reduction ratio is obtained. Since the used resolution conversion process is performed, the YUV format conversion process can be performed simultaneously with the resolution conversion process.
これにより、フレームバッファへのアクセス回数が減少し、処理時間を短縮することができる。また、YUVフォーマット変換処理をフォーマットコンバータではなく、スケーラで行うことが可能であるので、フォーマットコンバータの機能を削減でき、全体の回路面積を削減することができる。 As a result, the number of accesses to the frame buffer is reduced, and the processing time can be shortened. In addition, since the YUV format conversion process can be performed not by the format converter but by the scaler, the function of the format converter can be reduced and the entire circuit area can be reduced.
以下、本発明の実施の形態を図面を参照して詳細に説明する。
図1は、本発明の第1の実施の形態の画像処理装置の特徴部を示す図である。
また、図2は、本発明の第1の実施の形態の画像処理装置の構成を示す図である。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a diagram showing a characteristic part of the image processing apparatus according to the first embodiment of the present invention.
FIG. 2 is a diagram showing the configuration of the image processing apparatus according to the first embodiment of the present invention.
また、図3は、本発明の第1の実施の形態の画像処理装置のスケーラの構成を示す図である。
以下、説明の都合上、図2で示す画像処理装置の構成から説明する。
FIG. 3 is a diagram showing the configuration of the scaler of the image processing apparatus according to the first embodiment of the present invention.
Hereinafter, for the convenience of description, the configuration of the image processing apparatus shown in FIG. 2 will be described.
本発明の第1の実施の形態の画像処理装置100は、画像処理装置100の各部を制御するCPU101、バス占有を制御するバスアービタ102、アドレスをデコードしてモジュールを選択する信号を生成するアドレスデコーダ103、VRAM104aを制御するメモリコントローラ104、画像の解像度変換処理を行うスケーラ200、RGBからYUVフォーマット、あるいはその逆のYUVフォーマットからRGBへのフォーマット変換などのフォーマット変換処理を行うフォーマットコンバータ105、その他の画像処理を行う画像処理モジュール106−1、…、106−nが、それぞれシステムバス107に接続されている構成となっている。
The
スケーラ200は、従来と同様に画像の解像度変換処理を行うが、本発明の第1の実施の形態のスケーラ200は、YUVフォーマット変換処理を解像度変換処理と同時に行うことが可能である。
The
図3のように、スケーラ200は、解像度変換処理を行う解像度変換処理部210と、システムバス107を介して入力されたデータを保持して解像度変換処理部210に入力する入力バッファ220と、解像度変換処理部210からの出力データを保持してシステムバス107に送出する出力バッファ230と、解像度変換処理時に画素の重み付けを決める演算係数を出力する係数部240と、また、本発明の特徴部であるレジスタ部10を有している。
As shown in FIG. 3, the
入力バッファ220は、VRAM104a(図2参照)に格納された拡大・縮小処理の対象となるソースデータを、スケーラ200からメモリコントローラ104への読み出し要求、あるいはCPU101からの書き込み要求により保持する。
The
出力バッファ230は、VRAM104aに出力する拡大・縮小処理後のデータを保持する。
係数部240は、解像度変換処理時に参照するウインドウにおける画素の、例えば、2×2ピクセルならば4画素の、それぞれの重み付けを決める係数を格納し、解像度変換処理部210に出力する。この係数は画質を決める1要因となり、例えば、B−スプライン係数などが用いられる。
The
The
さらに、解像度変換処理部210は、入力制御部211、出力制御部212、積和演算器213、演算制御部214からなる。
入力制御部211は、メモリコントローラ104に対してVRAM104aに格納された画像データの読み出し要求を発行する。また、積和演算器213に必要な画像データを出力する。
Further, the resolution
The
出力制御部212は、演算結果を出力バッファ230に書き込む。またメモリコントローラ104に対して拡大・縮小処理後のデータの書き込み要求を発行する。
積和演算器213は、ある演算ポイントを処理するとき、例えば近傍の2×2ピクセルを参照するならばK0×D0+K1×D1+K2×D2+K3×D3の演算を行う。ここで、K0〜K3は係数部240から出力される演算係数、D0〜D3は画素データ(その画素におけるY、U、Vの値)である。
The
The product-
演算制御部214は、解像度変換処理の開始・終了や割り込み発行などの制御を行う。
レジスタ部10は、本発明の第1の実施の形態の画像処理装置100の特徴部であり、解像度変換処理を行う際の拡大縮小率を設定する。
The
The
本発明の第1の実施の形態の画像処理装置100におけるレジスタ部10は、図1に示すように、各種設定情報を格納する設定情報格納部11と、YUVフォーマット変換処理のために、設定情報格納部11に格納された水平方向の拡大縮小率(以下X−拡大縮小率と表記する場合もある)と、垂直方向の拡大縮小率(以下Y−拡大縮小率と表記する場合もある)を補正する補正部12と、補正した拡大縮小率を格納する拡大縮小率格納部13とを有している。
As shown in FIG. 1, the
設定情報格納部11は、入力画像のYUVフォーマット情報(以下入力YUVフォーマットと略す)と、出力画像のYUVフォーマット情報(以下出力YUVフォーマットと略す)と、X−拡大縮小率及びY−拡大縮小率と、輝度または2つの色差成分のいずれの成分を処理するかを指定する処理成分指定情報を格納する複数のレジスタ11a、11b、11c、11d、11eを有している。
The setting
これらの情報は、例えば、図示しない入力インターフェースを介したユーザの入力により、図2で示したCPU101の制御のもと、設定情報格納部11に格納される。
なお、図示を省略したが、設定情報格納部11には、以上の情報のほかにも、処理開始やモード指定情報、割り込みステータス、割り込みイネーブル、ソースデータ転送開始アドレス、解像度変換処理後のデータの転送開始アドレス、入力画像(=Y成分)の水平方向サイズ、出力画像(=Y成分)の水平及び垂直方向サイズなどが格納される。
These pieces of information are stored in the setting
Although not shown, the setting
補正部12は、設定情報格納部11に格納された入力YUVフォーマットと、出力YUVフォーマット及び、処理成分指定情報に応じて、X−拡大縮小率、Y−拡大縮小率を補正する。具体的には、入力YUVフォーマット、出力YUVフォーマットと、処理成分指定情報に応じて、水平方向の拡大縮小率の補正係数Axと、垂直方向の拡大縮小率の補正係数Ayを求める。補正係数Axは、設定情報格納部11に格納されたX−拡大縮小率に乗算することでこれを補正し、補正係数Ayは、Y−拡大縮小率に乗算することでこれを補正する。
The
なお、補正係数Ax、Ayは、以下に示すようなテーブルで与えられ、補正部12に格納されている。
図4は、補正部に格納される補正係数決定テーブルの例である。
The correction coefficients Ax and Ay are given by a table as shown below and stored in the
FIG. 4 is an example of a correction coefficient determination table stored in the correction unit.
図のように、入力YUVフォーマットと、出力YUVフォーマット、及び処理成分指定情報で指定される処理成分に応じて、補正係数Ax、Ayが求まる。例えば、入力YUVフォーマットがYUV444で、出力YUVフォーマットをYUV422としたい場合、処理成分が輝度(Y)成分ならば、補正係数Ax、Ayともに1であり、処理成分が、色差(UまたはV)成分ならば、補正係数Axは1/2、補正係数Ayは1となる。なお、入力YUVフォーマットと出力YUVフォーマットが等しい通常の解像度変換処理の場合は、処理成分によらず補正係数Ax=Ay=1である。この場合については図示を省略している。 As shown in the figure, correction coefficients Ax and Ay are obtained according to the input YUV format, the output YUV format, and the processing components specified by the processing component specifying information. For example, when the input YUV format is YUV444 and the output YUV format is YUV422, if the processing component is a luminance (Y) component, both the correction coefficients Ax and Ay are 1, and the processing component is a color difference (U or V) component. Then, the correction coefficient Ax is 1/2 and the correction coefficient Ay is 1. In the case of normal resolution conversion processing in which the input YUV format and the output YUV format are the same, the correction coefficient Ax = Ay = 1 regardless of the processing component. In this case, illustration is omitted.
また、YUVフォーマット変換処理では輝度成分の間引きをすることはないので、輝度成分を処理するときの補正係数Ax、Ayは常に1である。
前述したように、拡大縮小率の補正は補正係数Ax、Ayを乗算することにより行うが、図4を見てわかるように、1と2と4という因子しかないため、実際はビットシフト演算で事足りてしまう。例えば、補正係数AxまたはAyが1/2の場合は、拡大縮小率を1ビット右シフト、補正係数AxまたはAyが4の場合は、2ビット左シフトすればよい。よって、補正部12は、シフトレジスタで実現可能である。
Further, since the luminance component is not thinned out in the YUV format conversion process, the correction coefficients Ax and Ay are always 1 when the luminance component is processed.
As described above, the enlargement / reduction ratio is corrected by multiplying the correction coefficients Ax and Ay. However, as can be seen from FIG. 4, since there are
拡大縮小率格納部13は、補正した拡大縮小率を解像度変換処理で用いる新たな拡大縮小率として格納する。補正処理後のX−拡大縮小率はレジスタ13aに、補正処理後のY−拡大縮小率はレジスタ13bにそれぞれ設定される。
The enlargement / reduction
以下、8×8ピクセルのYUV420フォーマットの画像を、2倍の16×16ピクセルのYUV422フォーマットの画像に変換する場合を例にして、本発明の第1の実施の形態の画像処理装置100の動作を説明する。
Hereinafter, the operation of the
図5は、本発明の第1の実施の形態の画像処理装置における、解像度変換処理及びフォーマット変換を両方行う際の処理の流れを説明するフローチャートである。
処理が開始すると、CPU101により制御されたメモリコントローラ104によって、VRAM104a(フレームバッファ)から解像度変換処理を行う際の補間に必要な単位ブロックの画像データを読み出す(ステップS10)。読み出された画像データは、CPU101の制御のもとシステムバス107を介して、スケーラ200に送出され、スケーラ200で解像度変換処理及びYUVフォーマット変換処理が行われる(ステップS11)。
FIG. 5 is a flowchart for explaining the flow of processing when performing both resolution conversion processing and format conversion in the image processing apparatus according to the first embodiment of the present invention.
When the process starts, the
8×8ピクセルのYUV420フォーマットの画像を、2倍の16×16ピクセルのYUV422フォーマットの画像に変換する場合、CPU101の制御のもと、図1のレジスタ部10の設定情報格納部11には、レジスタ11aに入力のYUV420フォーマット、レジスタ11bに出力のYUV422フォーマットが設定される。また、レジスタ11cには水平方向の拡大縮小率の“2”が、レジスタ11dにも、垂直方向の拡大縮小率の“2”が設定される。また、例えば、Y成分をはじめに処理する場合、レジスタ11eには、処理成分としてY成分が設定される。
When converting an 8 × 8 pixel YUV420 format image into a double 16 × 16 pixel YUV422 format image, the setting
Y成分について処理を行う場合は、図4で示したように、補正部12において求められる補正係数Ax、Ayはともに“1”になる。したがって、拡大縮小率格納部13のレジスタ13a、13bに設定される拡大縮小率は、設定情報格納部11のレジスタ11c、11dに設定されたものと同じ、“2”になる。図3で示した解像度変換処理部210では、拡大縮小率格納部13のレジスタ13a、13bに設定された拡大縮小率を用いて解像度変換処理を行う。
When processing is performed for the Y component, the correction coefficients Ax and Ay obtained by the
色差成分であるU成分またはV成分について処理を行う場合は、補正部12は、図4で示したような補正係数決定テーブルを参照して補正係数Ax、Ayを決定する。YUV420からYUV422に変換する場合には、水平方向の補正係数Axは“1”、垂直方向の補正係数Ayは“2”となる。ここで求めた補正係数Ax、Ayを、設定情報格納部11のレジスタ11c、11dに設定された拡大縮小率に掛け合わせる。“2”の補正係数Ayの乗算は、1ビット左シフトで実現される。これにより、X−拡大縮小率、Y−拡大縮小率ともに“2”であったものが、X−拡大縮小率は“2”で、Y−拡大縮小率は“4”となり、新たな拡大縮小率として拡大縮小率格納部13のレジスタ13a、13bにそれぞれ設定される。
When processing the U component or the V component that is the color difference component, the
解像度変換処理部210における解像度変換処理は、以下のように実施される。
図6は、水平方向に2倍の解像度変換処理を行う様子を示す図であり、(A)はある処理のときの処理位置を示し、(B)は(A)の次の処理における処理位置を示している。
The resolution conversion process in the resolution
6A and 6B are diagrams illustrating a state in which the resolution conversion process is performed twice in the horizontal direction. FIG. 6A illustrates a processing position in a certain process, and FIG. 6B illustrates a processing position in a process subsequent to (A). Is shown.
解像度変換処理の際、VRAM104aから読み出した画像データの単位ブロックのソース画素50に対して、例えば、2×2ピクセルのサイズのウインドウ51を移動させる。ここで、図6(A)のようにウインドウ51内のソース画素50a、50b、50c、50dを参照して積和演算により処理位置52の値を得る。なお、図6(A)における処理位置52は、縦横ともちょうど画素間の中点にあるとしている。
In the resolution conversion process, for example, a
積和演算器213では、演算制御部214の制御のもとK0×D0+K1×D1+K2×D2+K3×D3の演算を行い、その処理位置52における値を求める。演算係数K0〜K3は、ウインドウ51内のソース画素50a、50b、50c、50dと処理位置52との距離によって決まる。図6(A)の場合は、ソース画素50a、50b、50c、50d全て同じ重み付けになる。
The product-
次の処理のために、ウインドウ51を動かす処理ピッチは、拡大縮小率格納部13のレジスタ13a、13bにそれぞれ設定された拡大縮小率の逆数となる。水平方向の拡大縮小率が2倍の場合、処理ピッチは水平方向に1/2ピクセル間隔となる。図6(B)は、図6(A)の次の処理における処理位置53を示している。ウインドウ51を水平方向に1/2ピクセル分移動している。このとき、ウインドウ51内には、ソース画素50c、50dがそれぞれ1つ分と、ソース画素50a、50b、50e、50fがそれぞれ半分の割合で存在する。この場合は、例えば、右側のソース画素50e、50fを参照するというルールを決めておく。図6(B)のようなときの重み付けは、処理位置53と距離が近いソース画素50c、50dの重み付けが、右側のソース画素50e、50fより重くなる。
The processing pitch for moving the
このように、ウインドウ51を水平方向に1/2ピクセル間隔で移動し、ウインドウ51ごとに値を得ていくことによって、水平方向に2倍の解像度変換処理を行うことができる。なお、フレームバッファに格納された原画像の右端にウインドウ51が来たときに、参照するソース画素50がなくなる場合がある。このときは、例えば、右端のソース画素50を右側に引き延ばして処理を行う。
Thus, by moving the
同様にウインドウ51を垂直方向に1/2ピクセル間隔で移動して得ていくことで、垂直方向に2倍の解像度変換処理を行うことができる。
また、このほかの拡大縮小率でも同様に、拡大縮小率格納部13のレジスタ13a、13bに設定された拡大縮小率の逆数の処理ピッチで水平または垂直方向にウインドウ51を移動して値を得ていくことで、所定の拡大縮小率の解像度変換処理を行うことができる。例えば、水平方向に2ピクセル間隔でウインドウ51を移動させて値を得ていくことによって、1/2倍の解像度変換処理を行うことができる。
Similarly, by obtaining the
Similarly, for other enlargement / reduction ratios, a value is obtained by moving the
読み出した画像データについて解像度変換処理が終わると、得られた画像データは、出力制御部212の制御のもと出力バッファ230からシステムバス107に送出され、メモリコントローラ104の制御のもとVRAM(フレームバッファ)104aに書き込まれる(ステップS12)。
When the resolution conversion process is completed for the read image data, the obtained image data is sent from the
以上のステップS10〜S12の処理を1水平方向について繰り返し行う。1水平方向の処理が終了した場合にはステップS14の処理に進む(ステップS13)。1水平方向についての解像度変換処理が終了すると、垂直方向アドレスを遷移させて(ステップS14)、ステップS10からステップS14の処理を繰り返す。垂直方向の処理が全て終了した場合にはステップS16の処理へ進む(ステップS15)。以上のようにして1つの処理成分、例えば、輝度YについてのステップS10〜15の処理が終わると、処理成分数N=N+1とする(ステップS16)。その後、CPU101の制御のもと、設定情報格納部11の処理成分設定情報としてレジスタ11eに、例えば、色差Uを設定して、上記のステップS10〜16の処理を繰り返す。YUV全てについて上記の処理が終了した場合(N=3)には、処理を終了する(ステップS17)。
The processes in steps S10 to S12 are repeated for one horizontal direction. When the process in one horizontal direction is completed, the process proceeds to step S14 (step S13). When the resolution conversion process for one horizontal direction is completed, the vertical direction address is changed (step S14), and the processes from step S10 to step S14 are repeated. If all the vertical processing is completed, the process proceeds to step S16 (step S15). When the processing in steps S10 to S15 for one processing component, for example, luminance Y, is completed as described above, the number of processing components N = N + 1 is set (step S16). Thereafter, under the control of the
図7は、8×8ピクセルのYUV420フォーマットの画像から、16×16ピクセルのYUV422フォーマットの画像への解像度変換処理及びYUVフォーマット変換処理の様子を示した図である。 FIG. 7 is a diagram showing a state of resolution conversion processing and YUV format conversion processing from an 8 × 8 pixel YUV420 format image to a 16 × 16 pixel YUV422 format image.
YUV420フォーマットの画像は、2×2のブロック(4画素)で1つの“U”と1つの“V”を共有し、ブロックで色差成分を間引いているフォーマットである。つまり、8×8ピクセルの画像の場合、色差成分(U成分、V成分)のサイズは、間引き分を詰めると、4×4ピクセルとなる。 An image in the YUV420 format is a format in which one “U” and one “V” are shared by 2 × 2 blocks (4 pixels), and color difference components are thinned out by the blocks. That is, in the case of an 8 × 8 pixel image, the size of the color difference component (U component, V component) is 4 × 4 pixels when the thinning is reduced.
一方、YUV422フォーマットの画像は、水平方向に並んだ2画素で1つの“U”と1つの“V”を共有し、水平方向で色差成分を間引いているフォーマットである。16×16ピクセルの画像の場合、色差成分(U成分、V成分)のサイズは、間引き分を詰めると、8×16ピクセルとなる。 On the other hand, an image in the YUV422 format is a format in which two “pixels” arranged in the horizontal direction share one “U” and one “V” and thin out the color difference component in the horizontal direction. In the case of an image of 16 × 16 pixels, the size of the color difference component (U component, V component) is 8 × 16 pixels after thinning out.
本発明では、前述のように、補正部12にてX−拡大縮小率とY−拡大縮小率とを補正して、Y成分に対してはX−拡大縮小率とY−拡大縮小率ともに2倍のままで、色差成分U、Vに対しては、垂直方向に補正係数Ayの“2”を掛けることによって、Y−拡大縮小率を4倍とする。これによって、8×8ピクセルから16×16ピクセルへの2倍の解像度変換処理と、YUV420フォーマットの画像から、YUV422フォーマットの画像へのYUVフォーマット変換処理を同時に行うことができる。
In the present invention, as described above, the
このように、本発明の第1の実施の形態の画像処理装置100によれば、解像度変換処理部210で用いる拡大縮小率を、出力画像のYUVフォーマットに合わせて補正することで、解像度変換処理とYUVフォーマット変換処理を、同時に、スケーラ200にて行うことができる。
As described above, according to the
これにより、フレームバッファへのアクセス回数が減少し、処理時間を短縮することができる。また、YUVフォーマット変換処理をフォーマットコンバータ105ではなく、スケーラ200で行うことが可能であるので、フォーマットコンバータの機能を削減でき、全体の回路面積を削減することができる。
As a result, the number of accesses to the frame buffer is reduced, and the processing time can be shortened. Further, since the YUV format conversion process can be performed not by the
次に本発明の第2の実施の形態の画像処理装置について説明する。
本発明の第2の実施の形態の画像処理装置は、第1の実施の形態におけるレジスタ部10に相当する部分が異なっている。他の構成要素についてはほぼ同一の構成である。
Next, an image processing apparatus according to a second embodiment of the present invention will be described.
The image processing apparatus according to the second embodiment of the present invention is different in a portion corresponding to the
図8は、本発明の第2の実施の形態の画像処理装置の特徴部を示す図である。
本発明の第2の実施の形態の画像処理装置の特徴部であるレジスタ部20は、第1の実施の形態におけるレジスタ部10に相当する部分である。設定情報格納部21は、第1の実施の形態のレジスタ部10と同様に、各種設定情報が設定されるレジスタ21a、21b、21c、21d、21eを有している。しかし、第1の実施の形態におけるレジスタ部10と異なり、処理成分指定情報の代わりに処理順序指定情報が格納される。
FIG. 8 is a diagram illustrating a characteristic part of the image processing apparatus according to the second embodiment of the present invention.
The
補正部22と、補正後の拡大縮小率が格納されるレジスタ23a、23bを有した拡大縮小率格納部23は、第1の実施の形態のレジスタ部10と同様の構成である。しかし、第2の実施の形態におけるレジスタ部20では、処理順序指定情報に応じた順序で、解像度変換処理及びYUVフォーマット変換処理を行う処理成分を、補正部22に対し設定する処理成分設定部24を有している。
The enlargement / reduction
処理順序指定情報は、例えば、ユーザの入力に応じて、CPU101の制御のもと設定情報格納部21に設定される。処理する成分(Y、U、V成分)の順序を指定する情報である。
For example, the processing order designation information is set in the setting
このような構成のレジスタ部20を有した第2の実施の形態の画像処理装置(全体の構成は図1で示した第1の実施の形態の画像処理装置100と同一であるので図示を省略)の動作について簡単に説明する。
Image processing apparatus according to the second embodiment having the
第2の実施の形態の画像処理装置の動作は、図5で示した処理フローとほぼ同様となるが、ステップS16の処理において、1つの処理成分についての処理終了フラグを検出すると、処理順序指定情報に応じて処理成分設定部24は、自動的に次の処理成分に更新される。
The operation of the image processing apparatus of the second embodiment is almost the same as the processing flow shown in FIG. 5, but when the processing end flag for one processing component is detected in the processing of step S16, the processing order is designated. The processing
これによって、1つの処理成分についての処理が終わった際に、処理成分を設定しなおす必要がなくなる。
なお、上記第1及び第2の実施の形態では、例えば、補正部12、22においてハードウェアで、高速にX−拡大縮小率、Y−拡大縮小率を補正して、解像度変換処理部210にて、解像度変換処理及びYUVフォーマット変換処理が同時に行えるようにした場合について説明した。しかし、例えばユーザの入力に応じて、CPU101が、例えば、図示しないROM(Read Only Memory)に格納された図4のような補正係数決定テーブルを参照して補正係数を決定し、ソフトウェア的に解像度変換処理部210にて使用するX−拡大縮小率、Y−拡大縮小率を補正するようにしても良い。以下に、その処理の概略を示す。
This eliminates the need to reset the processing component when the processing for one processing component is completed.
In the first and second embodiments, for example, the
図9は、本発明の実施の形態の画像処理方法を示すフローチャートである。
処理が開始すると、例えばユーザより、図示しない入力インターフェースを介して、入力YUVフォーマット、出力YUVフォーマット、X−拡大縮小率及びY−拡大縮小率といった設定情報を入力する(ステップS20)。
FIG. 9 is a flowchart showing an image processing method according to the embodiment of the present invention.
When the process is started, setting information such as an input YUV format, an output YUV format, an X-enlargement / reduction ratio, and a Y-enlargement / reduction ratio is input from the user via an input interface (not shown), for example (step S20).
その後CPU101は、入力された入力YUVフォーマット、出力YUVフォーマットを参照し、さらに、輝度または2つの色差成分からなる3つの処理成分のうちいずれを処理するかに応じて、例えば、図示しないROMに格納された図4のような補正係数決定テーブルにより、補正係数Ax、Ayを決定する(ステップS21)。
Thereafter, the
次にその補正係数Ax、Ayを、入力されたX−拡大縮小率及びY−拡大縮小率に掛け合わせることによって、X−拡大縮小率及びY−拡大縮小率を補正する(ステップS22)。 Next, the correction factors Ax and Ay are multiplied by the inputted X-enlargement / reduction rate and Y-enlargement / reduction rate, thereby correcting the X-enlargement / reduction rate and the Y-enlargement / reduction rate (step S22).
最後に、ステップS22の処理で補正したX−拡大縮小率及びY−拡大縮小率を用いて、解像度変換処理部210にて、図5で示したようなステップS10からS17の処理を行う。この際、ステップS17の処理で処理成分が更新されると、図9のステップS21、S22の処理で補正した処理成分におけるX−拡大縮小率及びY−拡大縮小率を用いてYUVそれぞれについての解像度変換処理をスケーラ200で行う(ステップS23)。
Finally, using the X-enlargement / reduction ratio and the Y-enlargement / reduction ratio corrected in the process of step S22, the resolution
ステップS23の解像度変換処理において、ステップS21、S22で補正したX−拡大縮小率及びY−拡大縮小率を用いることで、スケーラ200で解像度変換処理と同時にYUVフォーマット変換処理を行うことができる。これにより、解像度変換処理とYUVフォーマット変換処理を別々に行うよりも処理時間を短くできる。また、YUVフォーマット変換処理をスケーラ200で行うことができるので、フォーマットコンバータ105の回路規模を縮小でき、画像処理装置全体の回路面積を小さくすることができる。
By using the X-enlargement / reduction ratio and the Y-enlargement / reduction ratio corrected in steps S21 and S22 in the resolution conversion process in step S23, the
なお、上記ではYUVと表記しているが、YCbCr表記に置き換えてもよい。つまり、UをCb、VをCrと置き換えても本発明は同様に適用可能である。Yはどちらも国際照明委員会(CIE:Commission Internationale del' Eclairage)が定めた色度図のY軸である。 In the above description, YUV is used, but it may be replaced with YCbCr. That is, the present invention can be similarly applied even if U is replaced with Cb and V is replaced with Cr. Y is both the Y-axis of the chromaticity diagram determined by the Commission Internationale del Eclairage (CIE).
本発明は、例えば、携帯電話機や、デジタルスチルカメラなど各種マルチメディア機器において画像処理を行う際に適用される。 The present invention is applied to image processing in various multimedia devices such as a mobile phone and a digital still camera.
10 レジスタ部
11 設定情報格納部
11a、11b、11c、11d、11e、13a、13b レジスタ
12 補正部
13 拡大縮小率格納部
DESCRIPTION OF
Claims (5)
入力画像のYUVフォーマット情報と、出力画像のYUVフォーマット情報と、水平方向の拡大縮小率及び垂直方向の拡大縮小率と、輝度または2つの色差成分のいずれの成分を処理するかを指定する処理成分指定情報とを格納する設定情報格納部と、
前記入力画像のYUVフォーマット情報と、前記出力画像のYUVフォーマット情報及び、前記処理成分指定情報に応じて、前記水平方向または前記垂直方向の拡大縮小率を補正する補正部と、
補正した前記拡大縮小率を解像度変換処理で用いる新たな拡大縮小率として格納する拡大縮小率格納部と、
を有することを特徴とする画像処理装置。 In an image processing apparatus that performs resolution conversion processing and YUV format conversion processing,
Processing component that specifies YUV format information of input image, YUV format information of output image, horizontal enlargement / reduction ratio, vertical enlargement / reduction ratio, and luminance or two color difference components to be processed A setting information storage unit for storing designation information;
A correction unit that corrects the enlargement / reduction ratio in the horizontal direction or the vertical direction according to the YUV format information of the input image, the YUV format information of the output image, and the processing component designation information;
An enlargement / reduction ratio storage unit that stores the corrected enlargement / reduction ratio as a new enlargement / reduction ratio used in the resolution conversion process;
An image processing apparatus comprising:
入力画像のYUVフォーマット情報と、出力画像のYUVフォーマット情報と、水平方向の拡大縮小率及び垂直方向の拡大縮小率と、輝度または2つの色差成分の処理の順序を指定する処理順序指定情報とを格納する設定情報格納部と、
前記処理順序指定情報に応じて、処理成分を設定する処理成分設定部と、
前記入力画像のYUVフォーマット情報と、前記出力画像のYUVフォーマット情報及び、設定された前記処理成分に応じて、前記水平方向または前記垂直方向の拡大縮小率を補正する補正部と、
補正した前記拡大縮小率を解像度変換処理で用いる新たな拡大縮小率として格納する拡大縮小率格納部と、
を有することを特徴とする画像処理装置。 In an image processing apparatus that performs resolution conversion processing and YUV format conversion processing,
YUV format information of the input image, YUV format information of the output image, horizontal enlargement / reduction ratio and vertical enlargement / reduction ratio, and processing order designation information for designating the order of processing of luminance or two color difference components A setting information storage unit to store;
A processing component setting unit that sets a processing component according to the processing order designation information;
A correction unit that corrects the horizontal or vertical scaling ratio according to the YUV format information of the input image, the YUV format information of the output image, and the set processing component;
An enlargement / reduction ratio storage unit that stores the corrected enlargement / reduction ratio as a new enlargement / reduction ratio used in the resolution conversion process;
An image processing apparatus comprising:
入力画像のYUVフォーマット情報と、出力画像のYUVフォーマット情報と、水平方向の拡大縮小率及び垂直方向の拡大縮小率を入力し、
前記入力画像のYUVフォーマット情報及び前記出力画像のYUVフォーマット情報を参照し、さらに、輝度または2つの色差成分からなる3つの処理成分のうちいずれを処理するかに応じて補正係数を決定し、
前記補正係数にて、前記処理成分それぞれについて、入力された前記水平方向または前記垂直方向の拡大縮小率を補正し、
補正した前記水平方向または前記垂直方向の拡大縮小率を用いて解像度変換処理を行うことを特徴とする画像処理方法。 In an image processing method for performing resolution conversion processing and YUV format conversion processing,
Input the YUV format information of the input image, the YUV format information of the output image, the horizontal scaling factor and the vertical scaling factor,
Refer to the YUV format information of the input image and the YUV format information of the output image, and further determine a correction coefficient according to which of the three processing components consisting of luminance or two color difference components is processed,
In the correction coefficient, for each of the processing components, the input horizontal or vertical scaling ratio is corrected,
A resolution conversion process is performed using the corrected scaling ratio in the horizontal direction or the vertical direction.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004027716A JP4397242B2 (en) | 2004-02-04 | 2004-02-04 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004027716A JP4397242B2 (en) | 2004-02-04 | 2004-02-04 | Image processing apparatus and image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005223490A true JP2005223490A (en) | 2005-08-18 |
JP4397242B2 JP4397242B2 (en) | 2010-01-13 |
Family
ID=34998807
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004027716A Expired - Fee Related JP4397242B2 (en) | 2004-02-04 | 2004-02-04 | Image processing apparatus and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4397242B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1750090A2 (en) | 2005-08-01 | 2007-02-07 | Topcon Corporation | Three-dimensional measurement system and method of the same, and color-coded mark |
JP2010535382A (en) * | 2007-07-31 | 2010-11-18 | ヒューレット−パッカード デベロップメント カンパニー エル.ピー. | How to supply pixels from an update buffer |
CN102447915A (en) * | 2011-10-09 | 2012-05-09 | 杭州海康威视软件有限公司 | YUV (Luma and Chroma) video data resolution automatic identification method and device thereof |
-
2004
- 2004-02-04 JP JP2004027716A patent/JP4397242B2/en not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1750090A2 (en) | 2005-08-01 | 2007-02-07 | Topcon Corporation | Three-dimensional measurement system and method of the same, and color-coded mark |
JP2010535382A (en) * | 2007-07-31 | 2010-11-18 | ヒューレット−パッカード デベロップメント カンパニー エル.ピー. | How to supply pixels from an update buffer |
CN102447915A (en) * | 2011-10-09 | 2012-05-09 | 杭州海康威视软件有限公司 | YUV (Luma and Chroma) video data resolution automatic identification method and device thereof |
CN102447915B (en) * | 2011-10-09 | 2013-08-28 | 杭州海康威视数字技术股份有限公司 | YUV (Luma and Chroma) video data resolution automatic identification method and device thereof |
Also Published As
Publication number | Publication date |
---|---|
JP4397242B2 (en) | 2010-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9787922B2 (en) | Pixel defect preprocessing in an image signal processor | |
US9911174B2 (en) | Multi-rate processing for image data in an image processing pipeline | |
US20050248590A1 (en) | Method and system for scaling, filtering, scan conversion, panoramic scaling, YC adjustment, and color conversion in a display controller | |
US20090268086A1 (en) | Method and system for scaling, filtering, scan conversion, panoramic scaling, yc adjustment, and color conversion in a display controller | |
US8798386B2 (en) | Method and system for processing image data on a per tile basis in an image sensor pipeline | |
US20120308147A1 (en) | Image processing device, image processing method, and program | |
CN111193917B (en) | Operation method, device and related product | |
US20050285813A1 (en) | Display controller, electronic equipment, and image data supplying method | |
JP4397242B2 (en) | Image processing apparatus and image processing method | |
US10178359B2 (en) | Macropixel processing system, method and article | |
US7227554B2 (en) | Method and system for providing accelerated video processing in a communication device | |
US9374526B2 (en) | Providing frame delay using a temporal filter | |
JPH09101771A (en) | Picture processor | |
JP6524644B2 (en) | Image processing apparatus and electronic device | |
JP2006163674A (en) | Image processing device, printer, and load distribution method | |
JP2002091421A (en) | Method and device for controlling picture display, and computer-readable recording medium | |
JP2006163673A (en) | Image processing device, printer, and load distribution method | |
JP2006163672A (en) | Image processing device and method, and printer | |
JP4174730B2 (en) | Scaling apparatus and method capable of controlling amount of data flow | |
US9811920B2 (en) | Macropixel processing system, method and article | |
CN118429202A (en) | Video image enhancement method and device based on neural network and electronic equipment | |
JP2007213251A (en) | Image correction processing device and image correction processing method | |
JP2004241971A (en) | Method and device for interpolation pixel data generation | |
CN116228525A (en) | Image processing method, device, electronic equipment and readable storage medium | |
CN116939380A (en) | Image format conversion circuit, method, chip and electronic equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070202 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20080729 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090310 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090511 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090602 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090831 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090916 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091020 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091020 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121030 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121030 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121030 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121030 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131030 Year of fee payment: 4 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |