JP2016139184A

JP2016139184A - Image processor and image processing method

Info

Publication number: JP2016139184A
Application number: JP2015012238A
Authority: JP
Inventors: 大輔若宮; Daisuke Wakamiya
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-01-26
Filing date: 2015-01-26
Publication date: 2016-08-04
Anticipated expiration: 2035-01-26
Also published as: JP6465669B2

Abstract

PROBLEM TO BE SOLVED: To achieve filter processing for referring to pixels around a target pixel after interpolation enlargement in hierarchical processing with a small circuit scale.SOLUTION: An image processor includes reduction means for reducing an upper hierarchical image, a plurality of line memories for respectively storing a plurality of pixel strings in the scanning direction of processing of a reduced image acquired by the reduction means, selection means for selecting a line memory to be referred to on the basis of a target position of the reduced image corresponding to a target position of the upper hierarchical image, generation means for reading a pixel from the selected line memory, interpolating a new pixel at an interpolation position determined on the basis of the target position of the reduced image on the basis of the read pixel, and generating a lower hierarchical image, and operation means for using a pixel of the upper hierarchical image and a pixel of the lower hierarchical image to perform an operation.SELECTED DRAWING: Figure 1

Description

本発明は、画像処理装置および画像処理方法に関する。 The present invention relates to an image processing apparatus and an image processing method.

従来、画像処理において、局所的に異なるゲインをかけて階調特性を制御するデジタル覆い焼き処理、ベイヤ配列画像における欠落色画素の補間処理等、様々な目的のために複数の異なる解像度の画像（階層画像）を利用した階層処理が行われている。階層処理のフローは、階層画像の生成と、階層画像の合成に分けられる。 Conventionally, in image processing, images with different resolutions (for example, digital dodging processing for controlling gradation characteristics by applying locally different gains, interpolation processing of missing color pixels in a Bayer array image) Hierarchical processing using a hierarchical image) is performed. The flow of hierarchical processing is divided into generation of hierarchical images and synthesis of hierarchical images.

階層画像は、入力画像の縮小・拡大により高周波成分を除去することにより簡易的に生成することができる。拡大の方法としては、バイリニア拡大やバイキュービック拡大等、着目画素の周辺の画素から補間拡大する方法が用いられることが多い。上記の場合、画素の走査方向に対して垂直方向の周辺画素を参照するために、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）等で構成されるラインメモリが用いられる。バイリニア拡大では、着目画素に対して水平垂直方向にそれぞれ近傍1画素を参照するため、縮小画像１ライン分のラインメモリが必要となる。 A hierarchical image can be easily generated by removing high-frequency components by reducing or enlarging the input image. As an enlargement method, a method of interpolating and enlarging pixels around the pixel of interest, such as bilinear enlargement or bicubic enlargement, is often used. In the above case, a line memory constituted by a static random access memory (SRAM) or the like is used to refer to peripheral pixels in a direction perpendicular to the pixel scanning direction. In bilinear enlargement, one neighboring pixel is referenced in the horizontal and vertical directions with respect to the pixel of interest, and therefore a line memory for one line of a reduced image is required.

階層画像の合成では、高解像度な上階層画像と低解像度な下階層画像を目的に応じた方式によって重み付けを行いながら加算処理することにより、最終的な合成画像を生成する等の処理を行う。合成時に着目画素の周辺の画素を参照する必要がある場合は、画像拡大時と同様にラインメモリを用いる。着目画素の周辺の画素を広範囲に参照すると、高度なフィルタ処理を行うことができるが、画素の走査に対して垂直方向に参照する画素数分だけ必要なラインメモリ数は増える。 In the synthesis of hierarchical images, processing such as generating a final synthesized image is performed by performing addition processing while weighting a high-resolution upper hierarchical image and a low-resolution lower hierarchical image by a method according to the purpose. When it is necessary to refer to pixels around the target pixel at the time of synthesis, a line memory is used as in the case of image enlargement. When the pixels around the target pixel are referred to in a wide range, advanced filter processing can be performed. However, the number of line memories required is increased by the number of pixels referenced in the vertical direction with respect to pixel scanning.

特許文献１には、ベイヤ配列画像における欠落色画素の補間処理において、階層処理を用いることで偽色の発生を抑制する技術が開示されている。本技術では、解像度の異なる画像を生成し、着目画素と周辺の画素の類似度を算出し、各解像度の類似度結果より出力画素を決定している。また、本技術では、低解像画像を生成するためにラインメモリを使用し、その後周辺類似度算出による処理を行うために別のラインメモリを使用している。 Patent Document 1 discloses a technique for suppressing generation of false colors by using hierarchical processing in interpolation processing of missing color pixels in a Bayer array image. In the present technology, images having different resolutions are generated, the similarity between the target pixel and surrounding pixels is calculated, and the output pixel is determined from the similarity result of each resolution. Further, in the present technology, a line memory is used to generate a low-resolution image, and another line memory is subsequently used to perform processing based on peripheral similarity calculation.

特開２００９−４４５９４号公報JP 2009-44594 A

しかしながら、上述の特許文献に開示された従来技術では、補間拡大処理と、合成処理それぞれにおいてラインメモリを必要とするため、回路規模が大きくなってしまうという問題があった。 However, the conventional technique disclosed in the above-mentioned patent document has a problem that the circuit scale becomes large because a line memory is required for each of the interpolation enlargement process and the synthesis process.

本発明はこのような問題点に鑑みなされたもので、階層処理で補間拡大後に着目画素の周辺の画素を参照するフィルタ処理を小さい回路規模で実現することを目的とする。 The present invention has been made in view of such a problem, and an object of the present invention is to realize filter processing that refers to pixels around a pixel of interest after interpolation enlargement by hierarchical processing with a small circuit scale.

そこで、本発明は、画像処理装置であって、上階層画像を縮小する縮小手段と、前記縮小手段により得られた縮小画像の、処理の走査方向の複数の画素列それぞれを記憶する複数のラインメモリと、前記上階層画像の着目位置に対応する前記縮小画像の着目位置に基づいて、参照するラインメモリを選択する選択手段と、前記選択したラインメモリから画素を読み出し、読み出した画素に基づいて、前記縮小画像の前記着目位置に基づいて定まる補間位置に新たな画素を補間して、下階層画像を生成する生成手段と、前記上階層画像の画素と前記下階層画像の画素とを用いて演算を行う演算手段とを有する。 Therefore, the present invention is an image processing apparatus, wherein a plurality of lines storing each of a plurality of pixel columns in a scanning direction of processing of a reduction unit that reduces an upper layer image and a reduced image obtained by the reduction unit. A memory, a selection unit that selects a line memory to be referred to based on the focus position of the reduced image corresponding to the focus position of the upper layer image, and a pixel read from the selected line memory, and based on the read pixel And generating means for generating a lower layer image by interpolating a new pixel at an interpolation position determined based on the position of interest of the reduced image, and using a pixel of the upper layer image and a pixel of the lower layer image And a calculation means for performing a calculation.

本発明によれば、階層処理で補間拡大後に着目画素の周辺の画素を参照するフィルタ処理を小さい回路規模で実現することができる。 According to the present invention, it is possible to realize filter processing that refers to pixels around a pixel of interest after interpolation enlargement by hierarchical processing with a small circuit scale.

画像処理装置の構成図である。It is a block diagram of an image processing apparatus. 上階層画像と下階層画像の位置関係を示す図である。It is a figure which shows the positional relationship of an upper hierarchy image and a lower hierarchy image. 補間拡大部を示す図である。It is a figure which shows an interpolation expansion part. 垂直カウンタ値と、位相と、ラインメモリの関係の説明図である。It is explanatory drawing of the relationship between a vertical counter value, a phase, and a line memory. 垂直カウンタ値と、位相と、ラインメモリの関係の説明図である。It is explanatory drawing of the relationship between a vertical counter value, a phase, and a line memory. 差分絶対値と重み係数のグラフを示す図である。It is a figure which shows the graph of a difference absolute value and a weighting coefficient.

以下、本発明の実施形態について図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図１は、画像処理装置の構成図である。本実施形態に係る画像処理装置は、デジタル覆い焼きにより、画像に対して画素毎に異なるゲインを掛ける機能を有しているものとする。同図において、１００は入力画像である。入力画像１００は、例えば不図示の撮像素子から出力され、撮像素子に起因するノイズ等が取り除かれた画像である。撮像素子は、一般的にベイヤ配列になっており、赤（Ｒ）緑（Ｇ）、青（Ｂ）が規則正しく配列されている。本実施形態においては、画像処理装置は、後段の処理と遅延量を合わせるために画像を一度不図示のメモリに格納し、メモリから読み出した画像を入力画像として用いているが、これに限定されるものではない。他の例としては、画像処理装置は、撮像素子から出力された画像を直接入力画像として用いてもよい。 FIG. 1 is a configuration diagram of an image processing apparatus. The image processing apparatus according to the present embodiment has a function of multiplying an image by a different gain for each pixel by digital dodging. In the figure, reference numeral 100 denotes an input image. The input image 100 is an image that is output from, for example, an image sensor (not shown) and from which noise or the like due to the image sensor is removed. The image pickup element is generally in a Bayer array, and red (R) green (G) and blue (B) are regularly arranged. In the present embodiment, the image processing apparatus stores an image once in a memory (not shown) and matches an amount of delay with the subsequent processing and uses the image read from the memory as an input image. It is not something. As another example, the image processing apparatus may use an image output from the image sensor as a direct input image.

１０１は輝度変換部である。輝度変換部１０１は、入力画像１００に係数を乗算することで、入力画像１００を輝度に変換する。係数は撮像素子の配列に合わせて色毎に与えられる。１０２はゲイン生成部である。ゲイン生成部１０２は、輝度変換部１０１で生成された輝度画像に係数を乗算することにより、輝度画像をゲイン画像に変換する。本実施形態の画像処理装置は、デジタル覆い焼きを行うためのゲイン画像を生成するため、ゲイン生成部１０２は、輝度値が小さい程、大きなゲインとなるような係数を乗算する。ゲイン生成部１０２で生成されたゲイン画像１０３は、後段の処理と遅延量を合わせるために一度メモリに書き込まれた後、合成部１０８に入力される。 Reference numeral 101 denotes a luminance conversion unit. The luminance conversion unit 101 converts the input image 100 into luminance by multiplying the input image 100 by a coefficient. The coefficient is given for each color in accordance with the arrangement of the image sensors. Reference numeral 102 denotes a gain generation unit. The gain generation unit 102 converts the luminance image into a gain image by multiplying the luminance image generated by the luminance conversion unit 101 by a coefficient. Since the image processing apparatus according to the present embodiment generates a gain image for performing digital dodging, the gain generation unit 102 multiplies a coefficient that increases the gain as the luminance value decreases. The gain image 103 generated by the gain generation unit 102 is once written in the memory in order to match the delay amount with the subsequent processing, and then input to the synthesis unit 108.

１０４は縮小部、１０５は縮小ゲイン画像である。縮小部１０４は、ゲイン生成部１０２によって生成されたゲイン画像１０３に対して縮小処理を行う。縮小処理方法には、公知の方法を用いることができる。公知の方法としては、例えば画素をブロック毎に加算し、加算した画素数で正規化する等の方法がある。縮小部１０４による縮小処理により、縮小ゲイン画像１０５が生成される。ここで、縮小ゲイン画像１０５は、縮小画像の一例である。ゲイン画像１０３および縮小ゲイン画像１０５は、いずれもゲイン画像であるが、差分としては、縮小ゲイン画像１０５はゲイン画像１０３に対して高周波成分が取り除かれた画像である。例えば、入力画像サイズが４０００×３０００画素、縮小率が水平垂直ともに１／８であった場合、１ブロックのサイズは８×８画素であり、縮小ゲイン画像１０５のサイズは５００×３７５画素となる。 Reference numeral 104 denotes a reduction unit, and reference numeral 105 denotes a reduction gain image. The reduction unit 104 performs a reduction process on the gain image 103 generated by the gain generation unit 102. A known method can be used as the reduction processing method. As a known method, for example, there is a method of adding pixels for each block and normalizing with the number of added pixels. A reduction gain image 105 is generated by the reduction processing by the reduction unit 104. Here, the reduced gain image 105 is an example of a reduced image. The gain image 103 and the reduced gain image 105 are both gain images, but as a difference, the reduced gain image 105 is an image obtained by removing high frequency components from the gain image 103. For example, if the input image size is 4000 × 3000 pixels and the reduction ratio is 1/8 both horizontally and vertically, the size of one block is 8 × 8 pixels, and the size of the reduced gain image 105 is 500 × 375 pixels. .

１０６は補間拡大部、１０７はラインメモリである。補間拡大部１０６は、ラインメモリ１０７を使用し、縮小ゲイン画像１０５に対して補間拡大処理を行う。補間拡大部１０６の処理内容については後に詳細に説明する。ラインメモリ１０７には、縮小ゲイン画像１０５の処理の走査方向に沿った複数の画素列が格納される。１０８は、合成部である。合成部１０８は、ゲイン画像１０３を上階層画像、補間拡大部１０６の出力を下階層画像とし、２つの画像の合成を行う。合成方法については別途説明するが、本実施形態に係る合成部１０８は、上階層画像においては、着目画素に対して周辺画素の参照はなく、下階層画像においては周辺画素を参照した上で合成処理を行う。図１において、補間拡大部１０６から合成部１０８に対して複数の矢印が出ているのは、下階層画像の複数ラインの画素値を同時に合成部１０８へ出力されていることを示している。 106 is an interpolation enlargement unit, and 107 is a line memory. The interpolation enlargement unit 106 uses the line memory 107 to perform interpolation enlargement processing on the reduced gain image 105. The processing contents of the interpolation enlargement unit 106 will be described in detail later. The line memory 107 stores a plurality of pixel columns along the scanning direction of processing of the reduced gain image 105. Reference numeral 108 denotes a synthesis unit. The combining unit 108 combines the two images with the gain image 103 as the upper layer image and the output of the interpolation enlargement unit 106 as the lower layer image. Although the synthesis method will be described separately, the synthesis unit 108 according to the present embodiment does not refer to the pixel of interest in the upper layer image, and performs the synthesis after referring to the peripheral pixel in the lower layer image. Process. In FIG. 1, a plurality of arrows appear from the interpolation enlargement unit 106 to the synthesis unit 108, indicating that pixel values of a plurality of lines of the lower layer image are simultaneously output to the synthesis unit 108.

１０９はゲイン乗算部である。ゲイン乗算部１０９は、合成部１０８で生成したゲインを入力画像１００に対して乗算する。ゲインは、暗い領域程大きな値を取る。したがって、全体的に暗部に対して比較的大きなゲインがかかり、デジタル覆い焼き処理となる。 Reference numeral 109 denotes a gain multiplication unit. The gain multiplication unit 109 multiplies the input image 100 by the gain generated by the synthesis unit 108. The gain takes a larger value in a dark region. Accordingly, a relatively large gain is applied to the dark portion as a whole, and digital dodging processing is performed.

本実施形態に係る画像処理装置は、上述の通り、上階層画像と下階層画像の２階層を合成するものとしたが、合成対象の階層数は３階層以上であってもよい。例えば３階層の階層処理は以下のような構成により実現できる。画像処理装置は、縮小ゲイン画像１０５を第１の縮小ゲイン画像とし、これをさらに縮小し、第２の縮小ゲイン画像を生成する。次に画像処理装置は、第２の縮小ゲイン画像を補間拡大し、第１の縮小ゲイン画像と合成する。画像処理装置は、その後さらに補間拡大を行い、入力画像と合成を行う。上記のように縮小と、補間拡大と、合成とを組み合わせることによって、３階層以上の階層処理を行うことが可能である。 As described above, the image processing apparatus according to the present embodiment combines two layers of the upper layer image and the lower layer image, but the number of layers to be combined may be three or more layers. For example, a three-level hierarchical process can be realized by the following configuration. The image processing apparatus uses the reduced gain image 105 as a first reduced gain image, further reduces this, and generates a second reduced gain image. Next, the image processing apparatus interpolates and enlarges the second reduced gain image and combines it with the first reduced gain image. Thereafter, the image processing apparatus further performs interpolation enlargement, and performs synthesis with the input image. By combining reduction, interpolation enlargement, and synthesis as described above, it is possible to perform three or more hierarchical processes.

図２は、合成部１０８に入力される上階層画像と下階層画像の位置関係を示す図である。図２（ａ）において、２００は上階層画像、２１０は下階層画像であり、それぞれ入力画像１００および補間拡大部１０６の出力（図１参照）である。２０１および２１１は、ある着目位置における上階層画像２００と下階層画像２１０の画素を表している。図２（ｂ）は、下階層画像２１０における着目位置の画素２１１と、合成部１０８が必要とする周辺画素の位置関係を示す図である。本実施形態においては、合成部１０８が必要とする下階層の参照範囲は上下左右６画素分とする。図２（ｂ）において、４つのライン２２１、２２２、２２３、および２２４上にある斜線で塗りつぶされた丸印が周辺の参照画素を示している。すなわち、周辺の参照画素の位置は、上階層画像２００の画素の配列に対し、離散的に配置された位置である。すなわち、下階層画像２１０の解像度は上階層画像２００の解像度に比べて低い。 FIG. 2 is a diagram illustrating a positional relationship between the upper layer image and the lower layer image input to the synthesis unit 108. 2A, reference numeral 200 denotes an upper layer image and 210 denotes a lower layer image, which are the input image 100 and the output of the interpolation enlargement unit 106 (see FIG. 1). Reference numerals 201 and 211 denote pixels of the upper layer image 200 and the lower layer image 210 at a certain position of interest. FIG. 2B is a diagram illustrating the positional relationship between the pixel 211 at the target position in the lower layer image 210 and the peripheral pixels required by the synthesis unit 108. In the present embodiment, the reference range of the lower hierarchy required by the combining unit 108 is assumed to be 6 pixels in the vertical and horizontal directions. In FIG. 2B, circles filled with diagonal lines on the four lines 221, 222, 223, and 224 indicate peripheral reference pixels. That is, the positions of the peripheral reference pixels are positions that are discretely arranged with respect to the pixel arrangement of the upper layer image 200. That is, the resolution of the lower layer image 210 is lower than the resolution of the upper layer image 200.

下階層画像における周辺の参照画素数は１６画素であり、着目位置の画素に対して離散的に分布している。本実施形態に係る画像処理装置は、水平を走査方向とし、ライン毎に画素を処理するものとする。また、合成部１０８はこの１６画素に加えて、着目位置の画素２１１の値も参照する。このため、図２（ｂ）において、上階層画像と合成するためには、ライン２２１，２２２，２２３，および２２４に加え、ライン２２０における画素値を求めておく必要がある。ライン２２０は、着目位置の画素２１１を含むラインであり、ライン２２１〜２２４は、それぞれ周辺の参照画素を含むラインである。つまり、補間拡大部１０６は、ライン２２０〜２２４を含む５ラインの画素を出力する。 The number of peripheral reference pixels in the lower layer image is 16 pixels, and is distributed discretely with respect to the pixel at the target position. In the image processing apparatus according to the present embodiment, the horizontal direction is the scanning direction, and pixels are processed for each line. In addition to the 16 pixels, the combining unit 108 also refers to the value of the pixel 211 at the target position. Therefore, in FIG. 2B, in order to synthesize with the upper layer image, it is necessary to obtain the pixel value in the line 220 in addition to the lines 221, 222, 223, and 224. The line 220 is a line including the pixel 211 at the target position, and the lines 221 to 224 are lines including peripheral reference pixels, respectively. That is, the interpolation enlargement unit 106 outputs five lines of pixels including the lines 220 to 224.

図３は、補間拡大部１０６を示す図である。補間拡大部１０６は、バイリニア方式により補間拡大を行うものとする。なお、他の例としては、補間拡大部１０６は、バイキュービック等、他の補間拡大方法を用いて補間拡大を行ってもよい。図３において、３００はコントロール部である。コントロール部３００は縮小ゲイン画像１０５を入力し、水平・垂直それぞれの画素数をカウントする。コントロール部３００が保持する水平カウンタ値、垂直カウンタ値は、それぞれ０〜７の間でインクリメントされ、後段の処理においてタイミング制御信号として使用される。 FIG. 3 is a diagram illustrating the interpolation enlargement unit 106. The interpolation enlargement unit 106 performs interpolation enlargement by a bilinear method. As another example, the interpolation enlargement unit 106 may perform interpolation enlargement using another interpolation enlargement method such as bicubic. In FIG. 3, reference numeral 300 denotes a control unit. The control unit 300 receives the reduced gain image 105 and counts the number of horizontal and vertical pixels. The horizontal counter value and the vertical counter value held by the control unit 300 are each incremented between 0 and 7, and are used as timing control signals in subsequent processing.

３０１はメモリＩＦ（インターフェース）である。メモリＩＦ３０１は、縮小ゲイン画像１０５を入力し、ラインメモリ１０７に対して画素の読み書きを行う。メモリＩＦ３０１は、またコントロール部３００から出力される垂直カウンタの値を受けて、後段に縮小ゲイン画像１０５における複数ラインの画素を入力のライン順に順次ライン０〜ライン３に出力する。本実施形態においては、垂直方向に８倍に拡大するため、垂直カウンタ値が０のときに入出力のラインを切り替える。メモリＩＦ３０１は、４ラインを同時に後段に出力する。 Reference numeral 301 denotes a memory IF (interface). The memory IF 301 receives the reduced gain image 105 and reads / writes pixels from / to the line memory 107. The memory IF 301 receives the value of the vertical counter output from the control unit 300, and sequentially outputs a plurality of lines of pixels in the reduced gain image 105 to the lines 0 to 3 in the input line order in the subsequent stage. In the present embodiment, the input / output lines are switched when the vertical counter value is 0 in order to enlarge the vertical direction by 8 times. The memory IF 301 outputs four lines to the subsequent stage simultaneously.

３０３Ｂ〜３０３Ｅは位相生成部、３０４Ｂ〜３０４Ｅはライン選択部、３０５Ａ〜３０５Ｅは垂直補間部である。位相生成部３０３Ｂ〜３０３Ｅは、コントロール部３００から出力される垂直カウンタの値に基づいて、各ラインの位相を生成する。ライン選択部３０４Ｂ〜３０４Ｅは、それぞれ位相生成部３０３Ｂ〜３０３Ｅが生成した位相に基づいて、メモリＩＦ３０１から出力される画素を選択する。すなわち、ライン選択部３０４Ｂ〜３０４Ｅは、参照するラインメモリを選択する。垂直補間部３０５Ａは、メモリＩＦ３０１から出力される画素を使用して、線形補間を行う。垂直補間部３０５Ｂ〜３０５Ｅは、それぞれ位相生成部３０３Ｂ〜３０３Ｅが生成した位相と、ライン選択部３０４が選択した画素を使用して、線形補間を行う。すなわち、垂直補間部３０５Ａ〜３０５Ｅは、ラインメモリから画素を読み出し、読み出した画素に基づいて、縮小画像の着目位置に基づいて定まる補間位置に新たな画素を補間して、予備補間画素を生成する。 303B to 303E are phase generation units, 304B to 304E are line selection units, and 305A to 305E are vertical interpolation units. The phase generation units 303 B to 303 E generate the phase of each line based on the value of the vertical counter output from the control unit 300. The line selection units 304B to 304E select pixels output from the memory IF 301 based on the phases generated by the phase generation units 303B to 303E, respectively. That is, the line selection units 304B to 304E select a line memory to be referred to. The vertical interpolation unit 305A performs linear interpolation using the pixels output from the memory IF 301. The vertical interpolation units 305B to 305E perform linear interpolation using the phases generated by the phase generation units 303B to 303E and the pixels selected by the line selection unit 304, respectively. That is, the vertical interpolation units 305 A to 305 E read out pixels from the line memory, and based on the read out pixels, interpolate new pixels at interpolation positions determined based on the focus position of the reduced image, and generate preliminary interpolation pixels. .

３０６はデコーダ、３０７Ａ〜３０７Ｅは遅延素子である。遅延素子３０７Ａ〜３０７Ｅは、フリップフロップ等で構成される。デコーダ３０６はコントロール部３００から水平カウンタ値を受け取り、前段の予備補間画素をロードする。本実施形態においては、水平拡大率は８倍であるため、水平カウンタの値は０〜７の間でインクリメントされる。デコーダ３０６は、水平カウンタ値が０のときにロードを行い、０以外のときは画素値を保持する。水平補間部３０８Ａ〜３０８Ｅは、コントロール部３００から水平カウンタを受け、それぞれ遅延素子３０７Ａ〜３０７Ｅの前と後の予備補間画素を線形補間する。水平補間部３０８Ａ〜３０８Ｅにより線形補間された画素は後段に出力される。水平補間部３０８Ａ〜３０８Ｅから出力された画素は、図２に示す着目位置の画素を含むライン２２０および周辺の参照画素を含むライン２２１〜２２４の画素として合成部１０８に入力される。 Reference numeral 306 denotes a decoder, and reference numerals 307A to 307E denote delay elements. The delay elements 307A to 307E are configured by flip-flops or the like. The decoder 306 receives the horizontal counter value from the control unit 300 and loads the preliminary interpolation pixel in the previous stage. In the present embodiment, since the horizontal enlargement ratio is 8 times, the value of the horizontal counter is incremented between 0 and 7. The decoder 306 performs loading when the horizontal counter value is 0, and holds the pixel value when the horizontal counter value is other than 0. The horizontal interpolation units 308A to 308E receive the horizontal counter from the control unit 300, and linearly interpolate the preliminary interpolation pixels before and after the delay elements 307A to 307E, respectively. Pixels linearly interpolated by the horizontal interpolation units 308A to 308E are output to the subsequent stage. The pixels output from the horizontal interpolation units 308A to 308E are input to the combining unit 108 as pixels of the line 220 including the pixel at the target position and the lines 221 to 224 including the peripheral reference pixels shown in FIG.

図４は、垂直カウンタ値と、位相と、ラインメモリの関係の説明図である。図４において、ライン４０１〜４０４の画素は、縮小ゲイン画像１０５の各画素を含むラインメモリの画素を表している。すなわち、ライン４０１〜４０４は、処理の走査方向に垂直な方向に沿って配置されている。図４（ａ）は、ラインメモリ上の縮小ゲイン画像１０５の各ライン４０１〜４０４、下階層画像２１０の着目位置の画素２１１、この画素２１１を含むライン２２０、および周辺の参照画素を含むライン２２１〜２２４の位置関係を示す図である。縮小ゲイン画像１０５は入力画像１００を１／８に縮小しているため、各画素の重心位置は８画素おきに位置している。また、縮小ゲイン画像１０５は入力画像１００を１／８という偶数の単位で縮小しているため、縮小ゲイン画像１０５の画素の重心と下階層画像２１０の画素の重心は、位相が一致しない。そのため、まず垂直補間部３０５Ａ〜３０５Ｅが、縮小ゲイン画像１０５の画素値を用いて垂直方向に線形補間を行う。これにより、水平方向において縮小ゲイン画像１０５の画素と同じ位相であって、かつ、垂直方向において下階層画像２１０の画素と同じ位相となる予備補間画素が生成される。そして、後段の水平補間部３０８Ａ〜３０８Ｅが、予備補間画素を用いて水平補間を行う。こうすることで、予備補間画素から下階層画像２１０の画素が生成される。 FIG. 4 is an explanatory diagram of the relationship between the vertical counter value, the phase, and the line memory. In FIG. 4, the pixels on the lines 401 to 404 represent the pixels in the line memory including each pixel of the reduced gain image 105. That is, the lines 401 to 404 are arranged along a direction perpendicular to the scanning direction of processing. FIG. 4A shows the lines 401 to 404 of the reduced gain image 105 on the line memory, the pixel 211 at the target position in the lower layer image 210, the line 220 including the pixel 211, and the line 221 including the surrounding reference pixels. It is a figure which shows the positional relationship of -224. Since the reduced gain image 105 reduces the input image 100 to 1/8, the center of gravity of each pixel is located every 8 pixels. Further, since the reduced gain image 105 is obtained by reducing the input image 100 by an even number unit of 1/8, the phase of the pixel centroid of the reduced gain image 105 and the pixel centroid of the lower layer image 210 do not match. Therefore, first, the vertical interpolation units 305 A to 305 E perform linear interpolation in the vertical direction using the pixel values of the reduced gain image 105. Thereby, a preliminary interpolation pixel having the same phase as the pixel of the reduced gain image 105 in the horizontal direction and the same phase as the pixel of the lower layer image 210 in the vertical direction is generated. Then, the subsequent horizontal interpolation units 308A to 308E perform horizontal interpolation using the preliminary interpolation pixels. In this way, pixels of the lower layer image 210 are generated from the preliminary interpolation pixels.

図４（ａ）は、コントロール部３００の垂直カウンタ値が０の時の各画素の位置関係を表している。このとき、下階層画像２１０の着目位置の画素２１１を含むライン２２０および周辺の参照画素を含むライン２２１，２２２のそれぞれと垂直方向の位相が一致する予備補間画素が生成される。この予備補間画素は、ライン２２１，２２２を挟んで上下両側に位置する縮小ゲイン画像１０５の２つのライン４０１，４０２それぞれの画素値から線形補間して生成される。このとき、下階層画像２１０の着目位置の画素２１１を含むライン２２０および周辺の参照画素を含むライン２２１，２２２のそれぞれと垂直方向の位相が一致する予備補間画素が生成される。この予備補間画素は、ライン２２１，２２２を挟んで上下両側に位置する縮小ゲイン画像１０５の２つのライン４０１，４０２それぞれの画素値から線形補間して生成される。 FIG. 4A shows the positional relationship of each pixel when the vertical counter value of the control unit 300 is zero. At this time, pre-interpolated pixels whose phases in the vertical direction match the line 220 including the pixel 211 at the target position of the lower layer image 210 and the lines 221 and 222 including the peripheral reference pixels are generated. The preliminary interpolation pixels are generated by linear interpolation from the pixel values of the two lines 401 and 402 of the reduced gain image 105 located on both the upper and lower sides with the lines 221 and 222 interposed therebetween. At this time, pre-interpolated pixels whose phases in the vertical direction match the line 220 including the pixel 211 at the target position of the lower layer image 210 and the lines 221 and 222 including the peripheral reference pixels are generated. The preliminary interpolation pixels are generated by linear interpolation from the pixel values of the two lines 401 and 402 of the reduced gain image 105 located on both the upper and lower sides with the lines 221 and 222 interposed therebetween.

ライン２２１と垂直方向の位相が一致する予備補間画素は、ライン４０１に対して垂直方向に０．５画素分だけ離れており、ライン４０２に対しては垂直方向に７．５画素分だけ離れている。よって、ライン４０１の画素値とライン４０２の画素値に対する重み付けの比率が７．５：０．５となるように線形補間を行うことで、ライン２２１と垂直方向の位相が一致する予備補間画素の値を求める。同様にライン２２２と垂直方向の位相が一致する予備補間画素は、ライン４０１に対して垂直方向に４．５画素分だけ離れており、ライン４０２に対しては垂直方向に３．５画素分だけ離れている。よって、ライン４０１の画素値とライン４０２の画素値に対する重み付けの比率が３．５：４．５となるように線形補間を行うことで、ライン２２２と垂直方向の位相が一致する予備補間画素の値を求める。同様にライン２２０と垂直方向の位相が一致する予備補間画素は、ライン４０１に対して垂直方向に６．５画素分だけ離れており、ライン４０２に対しては垂直方向に１．５画素分だけ離れている。よって、ライン４０１の画素値とライン４０２の画素値に対する重み付けの比率が６．５：１．５となるように線形補間を行うことで、ライン２２２と垂直方向の位相が一致する予備補間画素の値を求める。ライン２２３，２２４と垂直方向の位相が一致する予備補間画素の値は、縮小ゲイン画像１０５の２つのライン４０２，４０３それぞれの画素値から同様に線形補間して生成される。 The pre-interpolated pixels whose phase in the vertical direction coincides with the line 221 are separated from the line 401 by 0.5 pixels in the vertical direction, and separated from the line 402 by 7.5 pixels in the vertical direction. Yes. Therefore, by performing linear interpolation so that the weighting ratio between the pixel value of the line 401 and the pixel value of the line 402 is 7.5: 0.5, the pre-interpolated pixel whose phase in the vertical direction coincides with the line 221. Find the value. Similarly, the pre-interpolated pixels whose phase in the vertical direction coincides with the line 222 are separated by 4.5 pixels in the vertical direction with respect to the line 401, and by 3.5 pixels in the vertical direction with respect to the line 402. is seperated. Therefore, by performing linear interpolation so that the weighting ratio between the pixel value of the line 401 and the pixel value of the line 402 is 3.5: 4.5, the pre-interpolated pixel whose phase in the vertical direction coincides with the line 222. Find the value. Similarly, the pre-interpolated pixels whose phase in the vertical direction coincides with that of the line 220 are separated by 6.5 pixels in the vertical direction with respect to the line 401, and by 1.5 pixels in the vertical direction with respect to the line 402. is seperated. Therefore, by performing linear interpolation so that the weighting ratio between the pixel value of the line 401 and the pixel value of the line 402 is 6.5: 1.5, the pre-interpolated pixel whose phase in the vertical direction coincides with that of the line 222. Find the value. The value of the preliminary interpolation pixel whose phase in the vertical direction coincides with the lines 223 and 224 is generated by linear interpolation in the same manner from the pixel values of the two lines 402 and 403 of the reduced gain image 105.

図４（ｂ）は、コントロール部３００の垂直カウンタ値が１の時の各画素の位置関係を表している。このときも、着目位置の画素２１１を含むライン２２０および２２１〜２２４と垂直方向の位相が一致する予備補間画素を生成するために使用する縮小ゲイン画像１０５の画素は、コントロール部３００の垂直カウンタ値が０の時と同様である。ただし、位相生成部３０３Ａ〜３０３Ｄの位相は、垂直カウンタ値に応じて図４（ａ）に対して変化する。例えば、ライン２２１と垂直方向の位相が一致する予備補間画素は、ライン４０１に対して垂直方向に１．５画素分だけ離れており、ライン４０２に対しては垂直方向に６．５画素分だけ離れている。よって、ライン４０１の画素値とライン４０２の画素値に対する重み付けの比率が６．５：１．５となるように線形補間を行うことで、ライン２２１と垂直方向の位相が一致する予備補間画素の値を求める。ライン２２０および２２２〜２２４と垂直方向の位相が一致する予備補間画素の値も同様に線形補間して生成される。 FIG. 4B shows the positional relationship of each pixel when the vertical counter value of the control unit 300 is 1. Also at this time, the pixels of the reduced gain image 105 used for generating the preliminary interpolation pixels whose phases in the vertical direction coincide with the lines 220 and 221 to 224 including the pixel 211 at the target position are the vertical counter values of the control unit 300. Same as when 0 is zero. However, the phases of the phase generators 303A to 303D change with respect to FIG. 4A according to the vertical counter value. For example, the pre-interpolated pixels whose phase in the vertical direction matches the line 221 are separated by 1.5 pixels in the vertical direction with respect to the line 401, and by 6.5 pixels in the vertical direction with respect to the line 402. is seperated. Therefore, by performing linear interpolation so that the weight ratio between the pixel value of the line 401 and the pixel value of the line 402 is 6.5: 1.5, the pre-interpolated pixel whose phase in the vertical direction coincides with that of the line 221. Find the value. Similarly, the values of the pre-interpolated pixels whose phases in the vertical direction coincide with the lines 220 and 222 to 224 are also generated by linear interpolation.

図４（ｃ）は、コントロール部３００の垂直カウンタ値が７の時の各画素の位置関係を表している。このとき、ライン２２１と垂直方向の位相が一致する予備補間画素は、縮小ゲイン画像１０５の２つのライン４０１,４０２それぞれの画素から線形補間して生成される。着目位置の画素２１１を含むライン２２０および周辺の参照画素を含むライン２２２，２２３のそれぞれと垂直方向の位相が一致する予備補間画素は、縮小ゲイン画像１０５の２つのライン４０２，４０３それぞれの画素から線形補間して生成される。周辺の参照画素を含むライン２２４と垂直方向の位相が一致する予備補間画素は、縮小ゲイン画像１０５の２つのライン４０３，４０４それぞれの画素から線形補間して生成される。図４（ｂ）の場合と同様に位相生成部３０３Ｂ〜３０３Ｄの位相は、垂直カウンタ値に応じて図４（ａ）に対して変化する。例えば、ライン２２１と垂直方向の位相が一致する予備補間画素は、ライン４０１に対して垂直方向に７．５画素分だけ離れており、ライン４０２に対しては垂直方向に０．５画素分だけ離れている。よって、ライン４０１の画素値とライン４０２の画素値に対する重み付けの比率が０．５：７．５となるように線形補間を行うことで、ライン２２１と垂直方向の位相が一致する予備補間画素の値を求める。ライン２２０および２２２〜２２４と垂直方向の位相が一致する予備補間画素の値も同様に線形補間して生成される。 FIG. 4C shows the positional relationship of each pixel when the vertical counter value of the control unit 300 is 7. At this time, a preliminary interpolation pixel whose phase in the vertical direction matches that of the line 221 is generated by linear interpolation from the pixels of the two lines 401 and 402 of the reduced gain image 105. Preliminary interpolation pixels whose phases in the vertical direction coincide with the lines 220 including the pixel 211 at the target position and the lines 222 and 223 including the peripheral reference pixels are the pixels from the two lines 402 and 403 of the reduced gain image 105, respectively. Generated by linear interpolation. Preliminary interpolation pixels whose phase in the vertical direction matches the line 224 including the peripheral reference pixels are generated by linear interpolation from the pixels of the two lines 403 and 404 of the reduced gain image 105. Similarly to the case of FIG. 4B, the phases of the phase generators 303B to 303D change with respect to FIG. 4A according to the vertical counter value. For example, the pre-interpolated pixels whose phase in the vertical direction matches that of the line 221 are separated by 7.5 pixels in the vertical direction with respect to the line 401, and by 0.5 pixels in the vertical direction with respect to the line 402. is seperated. Therefore, by performing linear interpolation so that the weighting ratio between the pixel value of the line 401 and the pixel value of the line 402 is 0.5: 7.5, the pre-interpolated pixel whose phase in the vertical direction coincides with that of the line 221. Find the value. Similarly, the values of the pre-interpolated pixels whose phases in the vertical direction coincide with the lines 220 and 222 to 224 are also generated by linear interpolation.

図４（ａ）〜図４（ｃ）に示すように、着目位置の画素を含むライン２２０および周辺の参照画素を含むライン２２１〜２２４に含まれる予備補間画素を生成するために参照されるラインメモリは、垂直カウンタの値に応じて異なるものとなる。なお、本実施形態に係る画像処理装置では、１番上の周辺の参照画素２２１を含むラインを基準として位相を算出する。このため、参照画素２２１を含むラインと垂直方向の位相が一致する予備補間画素の生成の際には、位相には垂直カウンタ値がそのまま使用され、縮小ゲイン画像１０５のライン選択も常に同じ４０１，４０２となる。 As shown in FIG. 4A to FIG. 4C, the lines that are referred to generate the pre-interpolated pixels included in the line 220 including the pixel at the target position and the lines 221 to 224 including the surrounding reference pixels. The memory differs depending on the value of the vertical counter. In the image processing apparatus according to the present embodiment, the phase is calculated based on the line including the top peripheral reference pixel 221. For this reason, when generating a preliminary interpolation pixel whose phase in the vertical direction matches that of the line including the reference pixel 221, the vertical counter value is used as it is for the phase, and the line selection of the reduced gain image 105 is always the same 401, 402.

図５は、垂直カウンタ値と、位相と、ラインメモリの関係の説明図である。図５に示すように、位相生成部３０３Ｂ〜３０３Ｅおよびライン選択部３０４Ａ〜３０４Ｅは、垂直カウンタ値に基づいて、それぞれ位相および入力ラインを制御する。垂直カウンタの値は、７の次は０に戻り、位相生成部３０３Ｂ〜３０３Ｅおよびライン選択部３０４Ａ〜３０４Ｅは、上記の動作を繰り返す。なお、上記の位相と入力ラインの関係は、縮小部１０４における縮小率と、合成部１０８で必要とする下階層画像の参照位置によって決まるものである。 FIG. 5 is an explanatory diagram of the relationship between the vertical counter value, the phase, and the line memory. As shown in FIG. 5, the phase generators 303B to 303E and the line selectors 304A to 304E control the phase and the input line, respectively, based on the vertical counter value. The value of the vertical counter returns to 0 after 7, and the phase generators 303B to 303E and the line selectors 304A to 304E repeat the above operation. Note that the relationship between the phase and the input line is determined by the reduction ratio in the reduction unit 104 and the reference position of the lower layer image required by the synthesis unit 108.

次に、水平補間部３０８Ａ〜３０８Ｅは、垂直補間部３０５Ａ〜３０５Ｅで生成された予備補間画素を用いて、下階層画像２１０を生成する。図４（ａ）においてライン２２０〜２２４の最も左側に位置する参照画素は、図４（ａ）において縮小ゲイン画像１０５の最も左の列から０．５画素分だけ離れ、図４（ａ）において縮小ゲイン画像１０５の左から２番目の列から７．５画素分だけ離れている。よって、図４（ａ）において縮小ゲイン画像１０５の最も左の列と水平方向の位相が一致する予備補間画素の値と、左から２番目の列と水平方向の位相が一致する予備補間画素の値に対する重み付けの比率が７．５：０．５となるように線形補間を行う。こうすることで、ライン２２０〜２２４の最も左側に位置する参照画素の値が求まる。 Next, the horizontal interpolation units 308A to 308E generate the lower layer image 210 by using the preliminary interpolation pixels generated by the vertical interpolation units 305A to 305E. In FIG. 4A, the leftmost reference pixel of the lines 220 to 224 is separated by 0.5 pixels from the leftmost column of the reduced gain image 105 in FIG. 4A, and in FIG. The reduced gain image 105 is separated from the second column from the left by 7.5 pixels. Therefore, in FIG. 4A, the value of the pre-interpolation pixel whose horizontal phase coincides with the leftmost column of the reduced gain image 105, and the pre-interpolation pixel whose horizontal phase coincides with the second column from the left. Linear interpolation is performed so that the weighting ratio to the value is 7.5: 0.5. By doing so, the value of the reference pixel located on the leftmost side of the lines 220 to 224 is obtained.

同様に、図４（ａ）においてライン２２０〜２２４の左から５番目の列に位置する参照画素は、縮小ゲイン画像１０５の最も左の列から４．５画素分だけ離れ、縮小ゲイン画像１０５の左から２番目の列から３．５画素分だけ離れている。よって、図４（ａ）において縮小ゲイン画像１０５の最も左の列と水平方向の位相が一致する予備補間画素の値と、左から２番目の列と水平方向の位相が一致する予備補間画素の値に対する重み付けの比率が３．５：４．５となるように線形補間を行う。こうすることで、ライン２２０〜２２４の左から２番目の列に位置する参照画素の値が求まる。 Similarly, the reference pixels located in the fifth column from the left of the lines 220 to 224 in FIG. 4A are separated from the leftmost column of the reduced gain image 105 by 4.5 pixels, and the reduced gain image 105 It is 3.5 pixels away from the second column from the left. Therefore, in FIG. 4A, the value of the pre-interpolation pixel whose horizontal phase coincides with the leftmost column of the reduced gain image 105, and the pre-interpolation pixel whose horizontal phase coincides with the second column from the left. Linear interpolation is performed so that the weighting ratio to the value is 3.5: 4.5. By doing so, the values of the reference pixels located in the second column from the left of the lines 220 to 224 are obtained.

他の列の参照画素、および、図４（ｂ）および図４（ｃ）のときの各参照画素についても、同様の演算方法で参照画素の値を求めることができる。このように処理することで、ライン２２０〜２２４の各ラインにおける参照画素を線形補間により求め、出力することができる。 For the reference pixels in other columns and each reference pixel in FIGS. 4B and 4C, the value of the reference pixel can be obtained by the same calculation method. By processing in this way, reference pixels in each of the lines 220 to 224 can be obtained by linear interpolation and output.

次に合成部１０８による合成処理について説明する。上階層画像であるゲイン画像１０３は、下階層画像である縮小ゲイン画像１０５に対して解像度が高い。よって、上階層画像は、入力画像のある領域と別の領域の境界部分のような、ゲインが急激に変化する箇所において、より正確なゲイン値を持つ一方で、ある領域内におけるノイズ成分にも敏感に反応してしまう。下階層画像は、上階層画像に対して反対に領域の境界に対してはゲイン値がなまってしまうが、ノイズ成分に対してはロバストになる。このため、合成部１０８は、領域と領域の境界部分に対しては上階層画像のゲインの重みを大きくし、それ以外に対しては下階層画像のゲインの重みを大きくするような合成処理を行う必要がある。 Next, the synthesis process by the synthesis unit 108 will be described. The gain image 103 that is an upper layer image has a higher resolution than the reduced gain image 105 that is a lower layer image. Therefore, the upper layer image has a more accurate gain value at a portion where the gain changes abruptly, such as a boundary portion between one region of the input image and another region, and also has a noise component in a certain region. It reacts sensitively. In contrast to the upper layer image, the lower layer image has a gain value that becomes dull with respect to the boundary of the region, but is robust against noise components. Therefore, the synthesizing unit 108 performs a synthesizing process that increases the gain weight of the upper layer image for the boundary portion between the regions and increases the gain weight of the lower layer image for the other regions. There is a need to do.

本実施形態に係る合成部１０８は、以下のような重み付けを行う。まず、合成部１０８は、図２（ｂ）の着目位置の周辺に離散的に配置された１６画素と、上階層画像の着目位置の画素との差分絶対値を取る。次に、合成部１０８は、図６のグラフに示すように、差分絶対値が小さい程、重みが大きくなるような重み係数を算出し、着目位置の周辺の１６画素に対して重み係数を乗算する。この図６のグラフに示す重み係数は、上階層画像の着目位置の画素値と下階層画像の着目位置の画素値の差分に応じて変化する。具体的には、上階層画像の着目位置の画素値と下階層画像の着目位置の画素値の差分が大きくなるほど、上階層画像の着目位置の画素との下階層画像の参照画素の差分絶対値に対する重み係数が大きくなる。次に、合成部１０８は、重み係数を乗算した１６画素を加算し、重み係数で正規化する。合成部１０８は、この正規化した値を出力ゲインとする。上記のような重み付けを行うことにより、周辺の１６画素のうち、上階層画像の着目位置の画素と近い値程大きい重みを付与することができる。また、重み付けしたゲインを加算して正規化することにより、ノイズ成分にロバストになり、領域の境界に対しては敏感に切り替わるようなゲインを生成することができる。なお、上階層画像の着目位置の画素値と下階層画像の着目位置の画素値の差分に応じて変化しない構成とすれば、下階層画像の着目位置の画素を含むライン２２０の画素を生成する必要がなくなる。よって、ライン２２０の画素を生成するための図３の位相差生成部３０３Ｃ〜水平補間部３０８Ｃを省略することが可能となる。 The synthesizing unit 108 according to the present embodiment performs the following weighting. First, the synthesizing unit 108 takes the absolute difference between the 16 pixels discretely arranged around the position of interest in FIG. 2B and the pixel of the position of interest of the upper layer image. Next, as shown in the graph of FIG. 6, the synthesis unit 108 calculates a weighting factor that increases the weight as the absolute difference value is smaller, and multiplies the 16 pixels around the position of interest by the weighting factor. To do. The weighting coefficient shown in the graph of FIG. 6 changes according to the difference between the pixel value at the target position in the upper layer image and the pixel value at the target position in the lower layer image. Specifically, as the difference between the pixel value at the target position in the upper layer image and the pixel value at the target position in the lower layer image increases, the absolute value of the difference between the pixel at the target position in the upper layer image and the reference pixel in the lower layer image The weighting factor for becomes larger. Next, the synthesizing unit 108 adds 16 pixels multiplied by the weighting factor, and normalizes with the weighting factor. The synthesizing unit 108 sets the normalized value as an output gain. By performing the weighting as described above, it is possible to give a larger weight to a value closer to the pixel at the target position in the upper hierarchy image among the surrounding 16 pixels. Further, by adding and normalizing the weighted gains, it is possible to generate a gain that is robust to the noise component and that switches sensitively to the boundary of the region. If the configuration does not change according to the difference between the pixel value at the target position in the upper layer image and the pixel value at the target position in the lower layer image, the pixel of the line 220 including the pixel at the target position in the lower layer image is generated. There is no need. Therefore, the phase difference generation unit 303C to the horizontal interpolation unit 308C of FIG. 3 for generating the pixels of the line 220 can be omitted.

本実施形態に係る画像処理装置が使用するラインメモリの画素数は次の通りである。補間拡大部１０６に入力される画像は縮小ゲイン画像１０５であり、水平画素数は４０００／８＝５００画素である。画素の走査と垂直方向に必要な参照画素の範囲は上下それぞれの方向に６画素分であり、図４を参照しつつ説明した通り、必要なラインメモリのライン数は４本になる。よって５００×４＝２０００画素となる。一方で、従来技術のように、補間拡大処理および合成処理それぞれにおいてラインメモリを使用する場合には、バイリニア拡大時に４０００／８＝５００画素、合成処理では４０００×１２＝４８０００画素、合計４８５００画素分のラインメモリが必要になる。すなわち、本実施形態に係る画像処理装置は、従来に比べて、大幅に回路規模の削減効果が期待できる。このように、本実施形態に係る画像処理装置は、階層処理で補間拡大後に着目位置の画素の周辺の画素を参照するフィルタ処理を小さい回路規模で実現することができる。 The number of pixels in the line memory used by the image processing apparatus according to the present embodiment is as follows. An image input to the interpolation enlargement unit 106 is a reduced gain image 105, and the number of horizontal pixels is 4000/8 = 500 pixels. The range of reference pixels required in the vertical direction with respect to pixel scanning is 6 pixels in the vertical direction, and as described with reference to FIG. 4, the number of lines in the required line memory is four. Therefore, 500 × 4 = 2000 pixels. On the other hand, when a line memory is used in each of the interpolation enlargement process and the synthesis process as in the prior art, 4000/8 = 500 pixels at the time of bilinear enlargement and 4000 × 12 = 48000 pixels in the synthesis process, for a total of 48500 pixels. Line memory is required. That is, the image processing apparatus according to the present embodiment can be expected to greatly reduce the circuit scale as compared with the conventional one. As described above, the image processing apparatus according to the present embodiment can realize the filter processing that refers to the pixels around the pixel at the target position after interpolation enlargement in the hierarchical processing with a small circuit scale.

本実施形態に係る画像処理装置の変更例としては、補間拡大部１０６の拡大率および合成部１０８の下階層画像において利用される周辺の参照画素の範囲は、入力画像に応じて、又はデジタル覆い焼きにおけるゲインの大小に応じて可変にしてもよい。例えば、画像処理装置は、入力画像において被写体が大きく写っている場合は、縮小率を上げて被写体全体に対してゲインを掛けるように制御してもよい。本実施形態に係る画像処理装置においては、拡大率や周辺の参照画素の範囲が変更になった場合においても、位相生成部３０３Ｂ〜３０３Ｅを制御すればよい。これにより、合成部１０８による合成処理の内容を変更することなく、容易に対応することができる。 As a modification example of the image processing apparatus according to the present embodiment, the enlargement ratio of the interpolation enlargement unit 106 and the range of peripheral reference pixels used in the lower layer image of the synthesis unit 108 depend on the input image or digital coverage. You may make it variable according to the magnitude of the gain in baking. For example, the image processing apparatus may control to increase the reduction ratio and apply gain to the entire subject when the subject appears large in the input image. In the image processing apparatus according to the present embodiment, the phase generation units 303B to 303E may be controlled even when the enlargement ratio or the range of surrounding reference pixels is changed. Thereby, it can respond easily, without changing the content of the synthetic | combination process by the synthetic | combination part 108. FIG.

また、本実施形態ではデジタル覆い焼きを例に挙げて説明を行ったが、これに限られるものではない。画像に含まれるノイズを抑圧するため、撮像素子で生成された画像を複数の階層に分離し、それぞれの階層の画像にノイズ抑圧処理を行った後に、各階層の画像を合成する処理においても利用することができる。 In the present embodiment, digital dodging has been described as an example, but the present invention is not limited to this. In order to suppress noise contained in the image, the image generated by the image sensor is separated into multiple layers, and is also used in processing to synthesize images in each layer after performing noise suppression processing on the images in each layer can do.

また、本実施形態に係る画像処理装置は、上階層画像と下階層画像の合成を行うが、上階層画像と下階層画像を用いた演算の種類は、合成に限定されるものではない。 The image processing apparatus according to the present embodiment combines the upper layer image and the lower layer image, but the type of calculation using the upper layer image and the lower layer image is not limited to the combination.

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。 <Other embodiments>
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media. Then, the computer (or CPU, MPU, etc.) of the system or apparatus reads and executes the program.

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 The preferred embodiments of the present invention have been described in detail above, but the present invention is not limited to such specific embodiments, and various modifications can be made within the scope of the gist of the present invention described in the claims.・ Change is possible.

１０４縮小部
１０６補間拡大部
１０８合成部 104 reduction unit 106 interpolation enlargement unit 108 composition unit

Claims

上階層画像を縮小する縮小手段と、
前記縮小手段により得られた縮小画像の、処理の走査方向の複数の画素列それぞれを記憶する複数のラインメモリと、
前記上階層画像の着目位置に対応する前記縮小画像の着目位置に基づいて、参照するラインメモリを選択する選択手段と、
前記選択したラインメモリから画素を読み出し、読み出した画素に基づいて、前記縮小画像の前記着目位置に基づいて定まる補間位置に新たな画素を補間して、下階層画像を生成する生成手段と、
前記上階層画像の画素と前記下階層画像の画素とを用いて演算を行う演算手段と
を有することを特徴とする画像処理装置。 A reduction means for reducing the upper layer image;
A plurality of line memories each storing a plurality of pixel columns in the scanning direction of processing of the reduced image obtained by the reduction means;
Selection means for selecting a line memory to be referred to based on the focus position of the reduced image corresponding to the focus position of the upper layer image;
Generating means for reading out pixels from the selected line memory, interpolating new pixels at an interpolation position determined based on the position of interest of the reduced image based on the read out pixels, and generating a lower layer image;
An image processing apparatus comprising: an operation unit that performs an operation using a pixel of the upper layer image and a pixel of the lower layer image.

前記補間位置は、前記上階層画像の画素の配列に対し離散的に配置された位置であることを特徴とする請求項１に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the interpolation position is a position discretely arranged with respect to an array of pixels of the upper layer image.

前記縮小画像の前記着目位置に基づいて、処理の走査方向に垂直な方向における位相を生成する位相生成手段をさらに有し、
前記選択手段は、前記位相に基づいて、前記ラインメモリを選択することを特徴とする請求項１又は２に記載の画像処理装置。 A phase generation unit configured to generate a phase in a direction perpendicular to a scanning direction of processing based on the target position of the reduced image;
The image processing apparatus according to claim 1, wherein the selection unit selects the line memory based on the phase.

前記上階層画像の画素に対し、前記下階層画像の画素値と前記上階層画像の画素値とに基づいて、前記下階層画像の画素に重みを付与する重み付け手段をさらに有し、
前記演算手段は、前記上階層画像の画素と、重みが付与された前記下階層画像の画素とを用いて演算を行うことを特徴とする請求項１乃至３何れか１項に記載の画像処理装置。 The image processing apparatus further includes weighting means for assigning weights to the pixels of the lower layer image based on the pixel values of the lower layer image and the pixel values of the upper layer image with respect to the pixels of the upper layer image,
4. The image processing according to claim 1, wherein the calculation unit performs a calculation using a pixel of the upper layer image and a pixel of the lower layer image to which a weight is given. 5. apparatus.

前記演算手段は、前記上階層画像の画素と、前記下階層画像の画素とを合成することを特徴とする請求項１乃至４何れか１項に記載の画像処理装置。 5. The image processing apparatus according to claim 1, wherein the calculation unit synthesizes the pixels of the upper layer image and the pixels of the lower layer image. 6.

画像処理装置が実行する画像処理方法であって、
上階層画像を縮小する縮小ステップと、
前記縮小ステップで得られた縮小画像の、処理の走査方向の複数の画素列それぞれを複数のラインメモリに格納する格納ステップと、
前記上階層画像の着目位置に対応する前記縮小画像の着目位置に基づいて、参照するラインメモリを選択する選択ステップと、
前記選択したラインメモリから画素を読み出し、読み出した画素に基づいて、前記縮小画像の前記着目位置に基づいて定まる補間位置に新たな画素を補間して、下階層画像を生成する生成ステップと、
前記上階層画像の画素と前記下階層画像の画素とを用いて演算を行う演算ステップと
を含むことを特徴とする画像処理方法。 An image processing method executed by an image processing apparatus,
A reduction step for reducing the upper layer image;
A storage step of storing, in a plurality of line memories, each of a plurality of pixel columns in the scanning direction of processing of the reduced image obtained in the reduction step;
A selection step of selecting a line memory to be referred to based on the focus position of the reduced image corresponding to the focus position of the upper layer image;
A generation step of reading out pixels from the selected line memory, interpolating new pixels at an interpolation position determined based on the position of interest of the reduced image based on the read out pixels, and generating a lower layer image;
An image processing method comprising: an operation step of performing an operation using a pixel of the upper layer image and a pixel of the lower layer image.