JP4736121B2 - Image analysis apparatus, image processing apparatus, image analysis method, image analysis program, and recording medium recording the same - Google Patents

Description

本発明は、画像を解析する画像解析装置、画像処理装置、画像解析方法、画像解析プログラム及びこれを記録した記録媒体に関するものである。   The present invention relates to an image analysis apparatus for analyzing an image, an image processing apparatus, an image analysis method, an image analysis program, and a recording medium recording the same.

画像を解析し、解析結果に応じて画像を拡大するなどの処理を行う画像処理装置が知られている。例えば画像の拡大処理は、画像の編集やファイリング、表示、印刷などを行うシステムにとって、基本的な処理の一つである。また近年、インターネットのホームページ上の画像やデジタルビデオなどのディスプレイ解像度での表示を主目的とした画像データなどの普及により、これらの低解像度画像を高解像度のプリンタなどで印刷することも頻繁に行われている。このプリンタによる印刷の際に、高画質の出力結果を得ることが望まれており、高画質の拡大処理に対する重要度が高まっている。   An image processing apparatus that analyzes an image and performs processing such as enlarging the image according to the analysis result is known. For example, the image enlargement process is one of the basic processes for a system that performs image editing, filing, display, printing, and the like. In recent years, with the widespread use of image data mainly for display at display resolutions such as images on the Internet homepage and digital video, these low-resolution images are frequently printed by high-resolution printers. It has been broken. At the time of printing with this printer, it is desired to obtain a high-quality output result, and the importance of the high-quality enlargement process is increasing.

カラーを含む多階調で表現された画像（以下では、これを多値画像と称する）を拡大処理する既存の代表的な手法としては、最近傍法や線形補間法、キュービック・コンボリューション法などがある。最近傍法は、拡大後の各画素値として、その画素を原画像上に逆写像した際に最も距離が近い画素の画素値を使う方法である。この方法は、演算量が少ないため、高速に処理することができる。しかし、原画像の１画素がそのまま矩形形状に拡大されるため、隣り合う画素の画素値の差が小さい場合は、画質劣化の程度は小さくほとんど影響はないが、逆に大きい場合などは、斜線部やエッジ部のジャギーが目立ったり、倍率が大きい場合には、画像がモザイク状になるなど、画質劣化の程度は大きい。   Typical existing methods for enlarging images expressed in multi-tones including color (hereinafter referred to as multi-valued images) include nearest neighbor method, linear interpolation method, cubic convolution method, etc. There is. The nearest neighbor method is a method in which the pixel value of the pixel having the closest distance is used as each enlarged pixel value when the pixel is reversely mapped on the original image. Since this method has a small amount of calculation, it can be processed at high speed. However, since one pixel of the original image is directly expanded into a rectangular shape, if the difference between the pixel values of adjacent pixels is small, the degree of image quality degradation is small and has almost no effect. When the jagged edges and edge portions are conspicuous or the magnification is large, the degree of image quality deterioration is large, such as a mosaic image.

線形補間法は、画素間の画素値が直線的に変化していると仮定し、拡大後の画素を逆写像した点の近傍４画素の画素値を線形に補間して画素値を求める方法である。この方法では、最近傍法よりも処理は重いが、演算量は比較的少なく、ジャギーなども発生しにくい。その一方で、直線的に変化しているという仮定に当てはまらないエッジ部分を中心に、画像全体がボケ気味になるという欠点がある。   In the linear interpolation method, it is assumed that pixel values between pixels change linearly, and pixel values of four pixels in the vicinity of a point obtained by inversely mapping the enlarged pixel are linearly interpolated to obtain a pixel value. is there. Although this method is heavier than the nearest neighbor method, the amount of calculation is relatively small and jaggies are not easily generated. On the other hand, there is a drawback that the entire image becomes blurred, centering on the edge portion that does not apply to the assumption that it changes linearly.

キュービック・コンボリューション法は、標本化定理に基づいてｓｉｎｃ関数（ｓｉｎ（ｘ）／ｘ）を近似した補間関数を定義し、拡大後の画素を逆写像した点の近傍１６画素（Ｘ、Ｙ方向それぞれ４画素）と前記の近似補間関数との畳み込み演算により、拡大後の画素値を求める方法である。この方法では、前記２つの手法に比べて画質は比較的良いが、参照範囲が大きく、演算量が多いという欠点がある。また、高域が強調気味となる特性を持つため、エッジ部分で軽いジャギーが発生したり、ノイズ成分が強調されてしまうなどの欠点もある。   The cubic convolution method defines an interpolation function that approximates a sinc function (sin (x) / x) based on the sampling theorem, and 16 pixels in the vicinity of a point obtained by inversely mapping the enlarged pixel (X and Y directions) This is a method for obtaining an enlarged pixel value by a convolution operation of each of 4 pixels) and the approximate interpolation function. This method has relatively good image quality compared to the above two methods, but has a drawback that the reference range is large and the amount of calculation is large. In addition, since the high frequency band is emphasized, there are disadvantages such as light jaggies occurring at the edge and noise components being emphasized.

これら拡大画像の画質問題を解決する試みとして、例えば、特許文献１は、画像データの画素の変化度合いに最適な補間処理を複数の補間処理の中から選択して実行する画像データ補間装置を開示する。また、特許文献２は、人間の視覚感度が鈍い画像の成分、及び画素密度が低く情報量が減っている画像の成分に対し、補間精度を低くして演算処理量を低減させることにより、画質を維持しつつ全体の演算量を低減させる画像データ補間方法を開示する。また、特許文献３は、肌色領域や空色領域であると判断した注目ブロックに対してはバイリニア法で画素補間し、その他の色調の領域に対してはＭキュービック法で画素補間する画像データ補間方法を開示する。また、特許文献４は、エッジ部に適した画像拡大法を使って拡大した画像と、非エッジ部に適した画像拡大法を使って拡大した画像を合成するが画像拡大装置を開示する。   As an attempt to solve the image quality problem of these enlarged images, for example, Patent Document 1 discloses an image data interpolation apparatus that selects and executes an interpolation process optimal for the degree of pixel change of image data from among a plurality of interpolation processes. To do. Further, Patent Document 2 discloses that image quality is reduced by reducing the amount of calculation processing by reducing the interpolation accuracy for image components with low human visual sensitivity and image components with low pixel density and reduced information amount. Disclosed is an image data interpolation method that reduces the overall calculation amount while maintaining the above. Patent Document 3 discloses an image data interpolation method in which pixel interpolation is performed by a bilinear method for a block of interest determined to be a skin color region or a sky blue region, and pixel interpolation is performed by M cubic for other tone regions. Is disclosed. Further, Patent Document 4 discloses an image enlargement device that combines an image enlarged using an image enlargement method suitable for an edge portion and an image enlarged using an image enlargement method suitable for a non-edge portion.

特開平１１−２９８７２１号公報JP 11-298721 A 特開２０００−１５１９８９号公報JP 2000-151989 特開２０００−１５１９９０号公報JP 2000-151990 A 特許第３５７８９２１号Japanese Patent No. 3578921

しかしながら、上記従来例においては、画像の解析精度を維持しつつ、高速で画像を解析することは何ら開示されていない。   However, in the above conventional example, there is no disclosure of analyzing an image at high speed while maintaining the analysis accuracy of the image.

そこで、本発明は、画像の解析精度を維持しつつ、高速で画像を解析することができる画像解析装置、画像処理装置、画像解析方法、画像解析プログラム及びこれを記録した記録媒体を提供することを目的とする。   Therefore, the present invention provides an image analysis apparatus, an image processing apparatus, an image analysis method, an image analysis program, and a recording medium recording the same, which can analyze an image at high speed while maintaining the analysis accuracy of the image. With the goal.

上記目的を達成するため、本発明の第１の特徴とするところは、入力画像から所定サイズの画像領域を選択する画像領域選択手段と、この画像領域選択手段が選択した画像領域の特徴量を算出する特徴量算出手段と、この特徴量算出手段が算出した特徴量に応じて、前記画像領域選択手段が次に選択する画像領域の位置を制御する選択位置制御手段と、前記特徴量算出手段が算出した特徴量を記憶する記憶手段とを有する画像解析装置にある。即ち、画像領域選択手段が次に選択する画像領域の位置を、画像領域の特徴量に応じて制御することができるので、画像の解析精度に影響を与えない画像領域を解析しないようにすることができ、画像の解析精度を維持しつつ、高速で画像を解析することができる。   In order to achieve the above object, the first feature of the present invention is that an image area selection means for selecting an image area of a predetermined size from an input image, and a feature amount of the image area selected by the image area selection means. A feature amount calculation means to calculate, a selection position control means for controlling a position of an image region to be selected next by the image region selection means in accordance with the feature amount calculated by the feature amount calculation means, and the feature amount calculation means. Is stored in the image analysis apparatus having storage means for storing the calculated feature amount. That is, since the position of the image area to be selected next by the image area selection means can be controlled in accordance with the feature amount of the image area, the image area that does not affect the analysis accuracy of the image is not analyzed. The image can be analyzed at high speed while maintaining the analysis accuracy of the image.

好適には、前記特徴量算出手段が算出する特徴量が所定の閾値よりも大きいか否かを判定する判定手段をさらに有し、特徴量が所定の閾値以下であると前記判定手段が判定した場合、前記選択位置制御手段は、前記画像領域選択手段が最後に選択した画像領域と次に選択する画像領域との距離を所定の基準距離よりも大きくするよう制御する。   Preferably, the apparatus further includes a determination unit that determines whether or not the feature amount calculated by the feature amount calculation unit is greater than a predetermined threshold, and the determination unit determines that the feature amount is equal to or less than the predetermined threshold. In this case, the selection position control means controls the distance between the image area last selected by the image area selection means and the next image area to be selected to be larger than a predetermined reference distance.

また、好適には、特徴量が所定の閾値よりも大きいと前記判定手段が判定した場合、前記選択位置制御手段は、前記画像領域選択手段が最後に選択した画像領域と次に選択する画像領域との距離を所定の基準距離にするよう制御する。   Preferably, when the determination unit determines that the feature amount is larger than a predetermined threshold, the selection position control unit is configured to select the image region selected last by the image region selection unit and the next image region to be selected. Is controlled to be a predetermined reference distance.

また、好適には、特徴量が所定の閾値よりも大きいと前記判定手段が判定した場合、前記選択位置制御手段は、特徴量が所定の閾値以下であると前記判定手段が判定した最後の画像領域に遡って、前記画像領域選択手段が画像領域を選択するよう制御する。   Preferably, when the determination unit determines that the feature amount is greater than a predetermined threshold value, the selection position control unit determines that the last image determined by the determination unit is that the feature amount is equal to or less than the predetermined threshold value. Going back to the area, the image area selection means controls to select the image area.

また、好適には、前記判定手段に対して閾値を設定する閾値設定手段をさらに有する。   Preferably, the apparatus further includes threshold setting means for setting a threshold for the determination means.

また、好適には、前記選択位置制御手段に対して、前記画像領域選択手段が最後に選択した画像領域と次に選択する画像領域との基準距離を設定する基準距離設定手段をさらに有する。   Preferably, the selection position control means further includes a reference distance setting means for setting a reference distance between an image area last selected by the image area selection means and an image area to be selected next.

また、好適には、前記特徴量算出手段は、前記画像領域選択手段が選択した画像領域内の階調変化量を特徴量として算出する。   Preferably, the feature amount calculation unit calculates a gradation change amount in the image region selected by the image region selection unit as a feature amount.

また、好適には、前記特徴量算出手段は、前記画像領域選択手段が選択した画像領域内の階調変化方向を特徴量として算出する。   Preferably, the feature amount calculation unit calculates a gradation change direction in the image area selected by the image region selection unit as a feature amount.

また、好適には、複数のエッジパターンを記憶するエッジパターン記憶手段をさらに有し、前記特徴量算出手段は、前記画像領域選択手段が選択した画像領域内のエッジパターンを算出し、算出したエッジパターンに対応する前記エッジパターン記憶手段に記憶されたエッジパターンのいずれかを特徴量とみなす。   Preferably, the image processing apparatus further includes an edge pattern storage unit that stores a plurality of edge patterns, and the feature amount calculation unit calculates an edge pattern in the image region selected by the image region selection unit, and calculates the calculated edge. Any one of the edge patterns stored in the edge pattern storage unit corresponding to the pattern is regarded as a feature amount.

また、好適には、前記特徴量算出手段は、前記画像領域選択手段が選択した画像領域内の1つ以上の色成分に基づいて、特徴量を算出する。   Preferably, the feature amount calculation unit calculates a feature amount based on one or more color components in the image region selected by the image region selection unit.

また、本発明の第２の特徴とするところは、入力画像から所定サイズの画像領域を選択する画像領域選択手段と、この画像領域選択手段が選択した画像領域の特徴量を算出する特徴量算出手段と、この特徴量算出手段が算出した特徴量に応じて、前記画像領域選択手段が次に選択する画像領域の位置を制御する選択位置制御手段と、前記特徴量算出手段が算出した特徴量を記憶する記憶手段と、前記特徴量算出手段が算出する特徴量が所定の閾値よりも大きいか否かを判定する判定手段と、特徴量が所定の閾値よりも大きいと前記判定手段が判定した場合に、前記画像領域選択手段が選択した画像領域に第１の処理を行う第１の処理手段と、入力画像に対して第２の処理を行う第２の処理手段と、この第２の処理手段が処理した入力画像、及び前記第１の処理手段が処理した画像領域の画像から出力画像を生成する出力画像生成手段とを有する画像処理装置にある。   The second feature of the present invention is that an image area selecting means for selecting an image area of a predetermined size from the input image, and a feature quantity calculation for calculating the feature quantity of the image area selected by the image area selecting means. Means, a selection position control means for controlling the position of the image area to be selected next by the image area selection means according to the feature quantity calculated by the feature quantity calculation means, and a feature quantity calculated by the feature quantity calculation means Storage means for storing, determination means for determining whether or not the feature quantity calculated by the feature quantity calculation means is greater than a predetermined threshold, and the determination means determines that the feature quantity is greater than a predetermined threshold A first processing unit that performs a first process on the image area selected by the image region selection unit, a second processing unit that performs a second process on the input image, and the second process. The input image processed by the means, and In the image processing apparatus and an output image generation means for generating an output image from said first processing means the image of the image area treated.

好適には、特徴量が所定の閾値以下であると前記判定手段が判定した場合、前記選択位置制御手段は、前記画像領域選択手段が最後に選択した画像領域と次に選択する画像領域との距離を所定の基準距離よりも大きくするよう制御する。   Preferably, when the determination unit determines that the feature amount is equal to or less than a predetermined threshold value, the selection position control unit determines whether the image region selection unit selects the image region selected last and the next image region to be selected. The distance is controlled to be larger than a predetermined reference distance.

また、好適には、特徴量が所定の閾値よりも大きいと前記判定手段が判定した場合、前記選択位置制御手段は、前記画像領域選択手段が最後に選択した画像領域と次に選択する画像領域との距離を所定の基準距離にするよう制御する。   Preferably, when the determination unit determines that the feature amount is larger than a predetermined threshold, the selection position control unit is configured to select the image region selected last by the image region selection unit and the next image region to be selected. Is controlled to be a predetermined reference distance.

また、好適には、特徴量が所定の閾値よりも大きいと前記判定手段が判定した場合、前記選択位置制御手段は、特徴量が所定の閾値以下であると前記判定手段が判定した最後の画像領域に遡って、前記画像領域選択手段が画像領域を選択するよう制御する。   Preferably, when the determination unit determines that the feature amount is greater than a predetermined threshold value, the selection position control unit determines that the last image determined by the determination unit is that the feature amount is equal to or less than the predetermined threshold value. Going back to the area, the image area selection means controls to select the image area.

また、好適には、前記判定手段に対して閾値を設定する閾値設定手段をさらに有する。   Preferably, the apparatus further includes threshold setting means for setting a threshold for the determination means.

また、好適には、前記選択位置制御手段に対して、前記画像領域選択手段が最後に選択した画像領域と次に選択する画像領域との基準距離を設定する基準距離設定手段をさらに有する。   Preferably, the selection position control means further includes a reference distance setting means for setting a reference distance between an image area last selected by the image area selection means and an image area to be selected next.

また、好適には、前記特徴量算出手段は、前記画像領域選択手段が選択した画像領域内の階調変化量を特徴量として算出する。   Preferably, the feature amount calculation unit calculates a gradation change amount in the image region selected by the image region selection unit as a feature amount.

また、好適には、前記特徴量算出手段は、前記画像領域選択手段が選択した画像領域内の階調変化方向を特徴量として算出する。   Preferably, the feature amount calculation unit calculates a gradation change direction in the image area selected by the image region selection unit as a feature amount.

また、好適には、複数のエッジパターンを記憶するエッジパターン記憶手段をさらに有し、前記特徴量算出手段は、前記画像領域選択手段が選択した画像領域内のエッジパターンを算出し、算出したエッジパターンに対応する前記エッジパターン記憶手段に記憶されたエッジパターンのいずれかを特徴量とみなす。   Preferably, the image processing apparatus further includes an edge pattern storage unit that stores a plurality of edge patterns, and the feature amount calculation unit calculates an edge pattern in the image region selected by the image region selection unit, and calculates the calculated edge. Any one of the edge patterns stored in the edge pattern storage unit corresponding to the pattern is regarded as a feature amount.

また、好適には、前記特徴量算出手段は、前記画像領域選択手段が選択した画像領域内の1つ以上の色成分に基づいて、特徴量を算出する。   Preferably, the feature amount calculation unit calculates a feature amount based on one or more color components in the image region selected by the image region selection unit.

また、好適には、前記第１の処理手段は、前記画像領域選択手段が選択した画像領域に対し、前記特徴量算出手段が算出した特徴量を保存する拡大処理を行い、前記第２の処理手段は、入力画像に対して前記第１の処理手段による拡大処理とは異なる拡大処理を行う。   Preferably, the first processing unit performs an enlargement process for storing the feature amount calculated by the feature amount calculation unit on the image region selected by the image region selection unit, and the second process. The means performs an enlargement process different from the enlargement process by the first processing means on the input image.

また、好適には、前記第１の処理手段は、前記特徴量算出手段が算出した特徴量とともに、前記画像領域選択手段が選択した画像領域の近傍領域の特徴量および画素値を用いて拡大処理を行う。   Preferably, the first processing unit performs an enlargement process using the feature amount calculated by the feature amount calculation unit and the feature amount and the pixel value of a region near the image region selected by the image region selection unit. I do.

また、好適には、前記第１の処理手段は、カーネル要素及びカーネル要素間距離が画像の拡大率に応じて異なるエッジ強調カーネルを用いて補正した画像領域の画素値を用いて拡大処理を行う。   Preferably, the first processing means performs enlargement processing using a pixel value of an image region corrected by using an edge enhancement kernel in which a kernel element and a distance between kernel elements are different depending on an enlargement ratio of the image. .

また、好適には、前記第１の処理手段は、前記画像領域選択手段が選択した画像領域の階調変化の方向に応じて選択した近傍領域内の画素値を用いて拡大処理を行う。   Preferably, the first processing means performs an enlargement process using a pixel value in a neighboring area selected according to a direction of gradation change of the image area selected by the image area selecting means.

また、好適には、前記第１の処理手段は、前記特徴量算出手段が算出した特徴量に応じた演算により、拡大処理を行う。   Preferably, the first processing unit performs an enlargement process by an operation according to the feature amount calculated by the feature amount calculation unit.

また、好適には、前記第２の処理手段は、最近傍補間法または線形補間法を用いて拡大処理を行う。   Preferably, the second processing means performs the enlargement process using a nearest neighbor interpolation method or a linear interpolation method.

また、好適には、前記第２の処理手段は、入力画像毎又は入力画像中の数ライン毎に拡大処理を行う。   Preferably, the second processing means performs an enlargement process for each input image or for every several lines in the input image.

また、好適には、前記出力画像生成手段は、前記第１の処理手段が処理した画像領域の画像を、前記第２の処理手段が処理した入力画像上の対応する位置に配置することによって出力画像を生成する。   Preferably, the output image generation means outputs an image of the image area processed by the first processing means by arranging the image in a corresponding position on the input image processed by the second processing means. Generate an image.

また、本発明の第３の特徴とするところは、入力画像から所定サイズの画像領域を選択し、選択した画像領域の特徴量を算出し、算出した特徴量を記憶し、算出した特徴量に応じて、次に選択する画像領域の位置を制御する画像解析方法にある。   The third feature of the present invention is that an image region of a predetermined size is selected from the input image, the feature amount of the selected image region is calculated, the calculated feature amount is stored, and the calculated feature amount is stored in the calculated feature amount. Accordingly, there is an image analysis method for controlling the position of the image region to be selected next.

また、本発明の第４の特徴とするところは、入力画像から所定サイズの画像領域を選択するステップと、選択した画像領域の特徴量を算出するステップと、算出した特徴量を記憶するステップと、算出した特徴量に応じて、次に選択する画像領域の位置を制御するステップとをコンピュータに実行させる画像解析プログラムにある。   The fourth feature of the present invention includes a step of selecting an image region of a predetermined size from the input image, a step of calculating a feature amount of the selected image region, and a step of storing the calculated feature amount. The image analysis program causes the computer to execute a step of controlling the position of the image region to be selected next in accordance with the calculated feature amount.

また、本発明の第５の特徴とするところは、入力画像から所定サイズの画像領域を選択するステップと、選択した画像領域の特徴量を算出するステップと、算出した特徴量を記憶するステップと、算出した特徴量に応じて、次に選択する画像領域の位置を制御するステップとをコンピュータに実行させるための画像解析プログラムを記録したコンピュータ読み取り可能な記録媒体にある。   The fifth feature of the present invention includes a step of selecting an image region of a predetermined size from the input image, a step of calculating a feature amount of the selected image region, and a step of storing the calculated feature amount. The computer-readable recording medium stores an image analysis program for causing a computer to execute a step of controlling a position of an image region to be selected next in accordance with the calculated feature amount.

本発明によれば、画像の解析精度を維持しつつ、高速で画像を解析することができる。   According to the present invention, it is possible to analyze an image at high speed while maintaining the analysis accuracy of the image.

［ハードウェア構成］
本実施形態における画像処理装置２のハードウェア構成を説明する。
図１は、本発明にかかる画像解析方法が適用される画像処理装置２のハードウェア構成を、制御装置２０を中心に例示する図である。
図１に例示するように、画像処理装置２は、ＣＰＵ２０２及びメモリ２０４などを含む制御装置２０、通信装置２２、ＨＤＤ・ＣＤ装置などの記憶装置２４、並びに、ＬＣＤ表示装置あるいはＣＲＴ表示装置及びキーボード・タッチパネルなどを含むユーザインターフェース装置（ＵＩ装置）２６を有する。
画像処理装置２は、汎用コンピュータとしての機能を有し、例えば入力画像を拡大するなどの処理を行うプログラムがインストールされている。例えば、画像処理装置２は、フルカラーのプリンタ装置１０に対して画像データを出力する場合には、６００ｄｐｉ又は２４００ｄｐｉなどの解像度に変換し、ＵＩ装置２６に対して画像データを出力する場合には、７５ｄｐｉなどの解像度に変換する。 [Hardware configuration]
A hardware configuration of the image processing apparatus 2 in the present embodiment will be described.
FIG. 1 is a diagram illustrating a hardware configuration of an image processing apparatus 2 to which an image analysis method according to the present invention is applied, centering on a control apparatus 20.
As illustrated in FIG. 1, the image processing apparatus 2 includes a control device 20 including a CPU 202 and a memory 204, a communication device 22, a storage device 24 such as an HDD / CD device, an LCD display device or a CRT display device, and a keyboard. A user interface device (UI device) 26 including a touch panel and the like is included.
The image processing apparatus 2 has a function as a general-purpose computer and is installed with a program for performing processing such as enlarging an input image. For example, when outputting image data to the full-color printer device 10, the image processing device 2 converts the resolution to 600 dpi or 2400 dpi, and when outputting image data to the UI device 26, Conversion to a resolution of 75 dpi or the like.

記録媒体２０４は、本発明の画像処理装置の機能または画像解析方法をコンピュータプログラムで実現した場合におけるコンピュータプログラムを格納した記憶媒体の一例である。ここで、記憶媒体とは、コンピュータのハードウェア資源に備えられている読取装置に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読取装置にプログラムの記述内容を伝達できるものである。記録媒体２０４は、例えば、光磁気ディスク、光ディスク（ＣＤやＤＶＤなどを含む）、磁気ディスク、メモリ（ＩＣカード、メモリカードなどを含む）等である。もちろんこれらの記憶媒体は、可搬型に限られるものではない。   The recording medium 204 is an example of a storage medium that stores a computer program when the function of the image processing apparatus of the present invention or the image analysis method is realized by a computer program. Here, the storage medium causes a state of change in energy such as magnetism, light, electricity, etc., corresponding to the description content of the program for the reading device provided in the hardware resource of the computer, and corresponds to it. The description contents of the program can be transmitted to the reading device in the form of a signal. The recording medium 204 is, for example, a magneto-optical disk, an optical disk (including a CD or a DVD), a magnetic disk, a memory (including an IC card, a memory card, or the like). Of course, these storage media are not limited to portable types.

［画像拡大プログラム］
図２は、制御装置２０（図１）により実行され、本発明にかかる画像解析方法を用いる画像拡大プログラム４の機能構成を示す図である。
図２に示すように、画像拡大プログラム４は、記憶部４０、画像ブロック設定部４２、特徴量保存拡大処理部４４、高速拡大処理部４６６及び拡大画像生成部４８を有する。 [Image enlargement program]
FIG. 2 is a diagram showing a functional configuration of the image enlargement program 4 which is executed by the control device 20 (FIG. 1) and uses the image analysis method according to the present invention.
As illustrated in FIG. 2, the image enlargement program 4 includes a storage unit 40, an image block setting unit 42, a feature amount storage enlargement processing unit 44, a high-speed enlargement processing unit 466, and an enlarged image generation unit 48.

記憶部４０は、画像データが拡大処理されるまで画像データを一時的に記憶し、解像度変換又は拡大処理された拡大画像データが出力装置（不図示）に出力されるまで一時的に記憶する。なお、画像データは、画像処理装置２により処理可能である画像フォーマット（例えば、ＢＭＰ、ＴＩＦＦ、ＰＮＧなど）で記述されたデータであり、デジタルカメラ（不図示）又はスキャナ（不図示）などにより取り込まれた画像データ、又は、パーソナルコンピュータ（画像処理装置２など）等において作成又は編集等を行うアプリケーションプログラムにより作成された画像データ等である。拡大画像データ（拡大された後の画像データ）もまた、同様の画像フォーマットのデータである。   The storage unit 40 temporarily stores the image data until the image data is enlarged, and temporarily stores the enlarged image data subjected to resolution conversion or enlargement processing until it is output to an output device (not shown). The image data is data described in an image format (for example, BMP, TIFF, PNG, etc.) that can be processed by the image processing apparatus 2, and is captured by a digital camera (not shown) or a scanner (not shown). Or image data created by an application program that is created or edited in a personal computer (image processing apparatus 2 or the like). Enlarged image data (image data after being enlarged) is also data in the same image format.

画像ブロック設定部４２は、画像ブロック選択部４２０、エッジ強度算出部４２２を有し、特徴量保存拡大処理部４４における処理で必要とされる既定の画像ブロックサイズ及び次に選択すべき画像ブロックの位置を示すブロック移動量をそれぞれ設定し、記憶部４０により記憶される入力画像データから、設定された所定サイズの画像ブロックをブロック移動量に基づいて順次選択する。さらに、選択された画像ブロックを画像特徴量に基づいて切り分け、特徴量保存拡大処理部４４に出力する画像ブロックを抽出する。画像ブロックの切り分けとは、特徴のある画像ブロック（例えば、エッジを含んだ画像ブロックなど）と、特徴の少ない画像ブロック（例えば、画素値変化の少ない画像ブロックなど）とを切り分けることを意味する。より具体的には、画像ブロック設定部４２は、画像特徴量が基準値以上である画像ブロックを特徴ブロックと判定し、画像特徴量が基準値未満である画像ブロックを非特徴ブロックと判定する。本例では、画像ブロック設定部４２は、画像特徴量の１つとして画像ブロックのエッジ強度（数値）を算出し、算出されたエッジ強度が基準値以上である画像ブロックを特徴ブロックであると判定し、エッジ強度が基準値未満である画像ブロックを非特徴ブロックであると判定する。なお、特徴ブロックの切り分けに用いる特徴量は、エッジ強度に限られるものではなく、例えば画像ブロックの各画素値の平均値を求め、その平均値に対する各画素値のばらつきを表すような値（例えば、標準偏差や分散）などの、種々の画像特徴量であってもよい。
なお、画像ブロック設定部４２の詳細については後述する。 The image block setting unit 42 includes an image block selection unit 420 and an edge strength calculation unit 422. The image block setting unit 42 includes a predetermined image block size required for processing in the feature amount storage enlargement processing unit 44 and an image block to be selected next. A block movement amount indicating the position is set, and the set image blocks of a predetermined size are sequentially selected from the input image data stored in the storage unit 40 based on the block movement amount. Further, the selected image block is segmented based on the image feature amount, and an image block to be output to the feature amount storage / enlargement processing unit 44 is extracted. The segmentation of the image block means that an image block having a characteristic (for example, an image block including an edge) and an image block having a small feature (for example, an image block having a small change in pixel value) are segmented. More specifically, the image block setting unit 42 determines an image block having an image feature amount equal to or greater than a reference value as a feature block, and determines an image block having an image feature amount less than the reference value as a non-feature block. In this example, the image block setting unit 42 calculates the edge strength (numerical value) of the image block as one of the image feature amounts, and determines that the image block having the calculated edge strength equal to or greater than the reference value is a feature block. Then, an image block whose edge strength is less than the reference value is determined as a non-feature block. Note that the feature amount used for dividing the feature block is not limited to the edge strength. For example, an average value of each pixel value of the image block is obtained, and a value (for example, representing variation of each pixel value with respect to the average value) Various image feature quantities such as standard deviation and variance).
Details of the image block setting unit 42 will be described later.

特徴量保存拡大処理部４４は、画像ブロック設定部４２から出力された所定サイズの画像ブロック（以後、注目領域と呼ぶ）に対して、前記注目領域の画像特徴を保存した拡大画像ブロックを生成する。なお、画像特徴量としてエッジ強度およびエッジ角度を用いた特徴量保存拡大処理部４４の詳細については後述する。   The feature amount storage / enlargement processing unit 44 generates an enlarged image block storing the image features of the region of interest for an image block of a predetermined size (hereinafter referred to as a region of interest) output from the image block setting unit 42. . Details of the feature amount storage / enlargement processing unit 44 using the edge strength and the edge angle as the image feature amount will be described later.

高速拡大処理部４６は、記憶部４０により記憶されている入力画像データを拡大する。高速拡大処理部４６は、特徴量保存拡大処理部４４による拡大処理よりも処理負荷の小さい拡大アルゴリズムを適用する。具体的には、高速拡大処理部４６は、例えば、最近傍補間拡大法や線形補間拡大法などを適用して入力画像データを拡大する。また、高速拡大処理部４６は、画像ブロック毎の処理ではなく、入力画像単位又は入力画像の数ライン単位で拡大処理を行うことができる。   The high-speed enlargement processing unit 46 enlarges the input image data stored in the storage unit 40. The high-speed enlargement processing unit 46 applies an enlargement algorithm having a smaller processing load than the enlargement processing performed by the feature amount storage enlargement processing unit 44. Specifically, the high-speed enlargement processing unit 46 enlarges the input image data by applying, for example, the nearest neighbor enlargement method or the linear interpolation enlargement method. Further, the high-speed enlargement processing unit 46 can perform the enlargement process not in units of image blocks but in units of input images or units of several lines of input images.

拡大画像生成部４８は、特徴量保存拡大処理部４４により拡大された拡大画像ブロックと、高速拡大処理部４６により拡大された拡大画像とを用いて原画像に対する拡大画像を生成する。より具体的には、拡大画像生成部４８は、画像ブロック設定部４２で選択および出力された画像特徴量が基準値以上である画像ブロック（特徴ブロック）について、特徴量保存拡大処理部４４で拡大した拡大画像を適用し、画像特徴量が基準値未満である画像ブロック（非特徴ブロック）については高速拡大処理部４６により拡大された拡大画像を適用して、１つの拡大画像を生成する。   The enlarged image generation unit 48 generates an enlarged image for the original image using the enlarged image block enlarged by the feature amount storage enlargement processing unit 44 and the enlarged image enlarged by the high-speed enlargement processing unit 46. More specifically, the enlarged image generation unit 48 enlarges the image block (feature block) in which the image feature amount selected and output by the image block setting unit 42 is greater than or equal to a reference value by the feature amount storage enlargement processing unit 44. The enlarged image is applied, and an enlarged image enlarged by the high-speed enlargement processing unit 46 is applied to an image block (non-feature block) whose image feature amount is less than the reference value to generate one enlarged image.

［画像ブロック設定部の詳細説明］
次に、画像ブロック設定部４２についてより詳細に説明する。画像ブロック設定部４２は、図２に示すように、画像ブロック選択部４２０、エッジ強度算出部４２２を有する。
画像ブロック選択部４２０は、特徴量保存拡大処理部４４における処理で必要な注目領域を含む画像ブロックサイズと、画像ブロックを順次選択する際の画像ブロックの位置を示すブロック移動量を設定し、処理すべき画像ブロックとして前記ブロック移動量が示す位置の所定サイズの画像ブロックを設定する。以降、本例では注目領域が２×２画素サイズブロックであり、注目領域を含む周辺領域が４×４画素サイズブロックである場合を具体例として説明する。
また画像ブロック選択部４２０は、後述するエッジ強度算出部４２２で算出されたエッジ強度に基づいて、基準値（既定のしきい値Ｔｈ）との比較を行い、注目領域が特徴ブロック又は非特徴ブロックのいずれであるかを判定し、特徴ブロックであると判定された画像ブロックだけを選択して特徴量保存拡大処理部４４に出力する。 [Detailed description of image block setting section]
Next, the image block setting unit 42 will be described in more detail. As illustrated in FIG. 2, the image block setting unit 42 includes an image block selection unit 420 and an edge strength calculation unit 422.
The image block selection unit 420 sets an image block size including a region of interest necessary for processing in the feature amount storage enlargement processing unit 44, and a block movement amount indicating the position of the image block when sequentially selecting image blocks. An image block of a predetermined size at a position indicated by the block movement amount is set as an image block to be processed. Hereinafter, in this example, a case where the attention area is a 2 × 2 pixel size block and the peripheral area including the attention area is a 4 × 4 pixel size block will be described as a specific example.
Further, the image block selection unit 420 compares with the reference value (predetermined threshold Th) based on the edge strength calculated by the edge strength calculation unit 422, which will be described later, and the region of interest is a feature block or non-feature block. Is selected, and only the image block determined to be a feature block is selected and output to the feature amount storage enlargement processing unit 44.

エッジ強度算出部４２２は、画像ブロック選択部４２０で設定された画像ブロック中の注目領域のエッジ強度Ｇを次の式（１）で算出する。
ｇｘ＝（ａ＋ｃ−ｂ−ｄ）／２
ｇｙ＝（ａ＋ｂ−ｃ−ｄ）／２
Ｇ＝ｇｘ×ｇｘ＋ｇｙ×ｇｙ・・・式（１）
上記式におけるａ、ｂ、ｃ及びｄは、図３に例示するように、注目領域にある各画素の画素値である。また、このように算出される「ｇｘ」は、主走査方向（図３の左右方向）の画素値の変化量を示し、「ｇｙ」は、副走査方向（図３の上下方向）の画素値の変化量を示す。
なお、エッジ強度は上記式（１）で算出されるものに限定されるわけでなく、以下の式（２）などで算出しても良い。
Ｇ＝｜ｇｘ｜＋｜ｇｙ｜・・・式（２）
すなわち、エッジ強度Ｇは、（ｇｘ）の絶対値と（ｇｙ）の絶対値との和として算出されてもよい。 The edge strength calculation unit 422 calculates the edge strength G of the attention area in the image block set by the image block selection unit 420 using the following equation (1).
gx = (a + c−b−d) / 2
gy = (a + b−c−d) / 2
G = gx × gx + gy × gy (1)
In the above formula, a, b, c, and d are pixel values of each pixel in the region of interest, as illustrated in FIG. Further, “gx” calculated in this way indicates the amount of change in the pixel value in the main scanning direction (left and right direction in FIG. 3), and “gy” indicates the pixel value in the sub scanning direction (up and down direction in FIG. 3). The amount of change is shown.
The edge strength is not limited to that calculated by the above formula (1), but may be calculated by the following formula (2).
G = | gx | + | gy | ... Formula (2)
That is, the edge strength G may be calculated as the sum of the absolute value of (gx) and the absolute value of (gy).

図４は、本例における画像ブロック設定部４２による画像ブロック設定処理のフローチャートである。
図４に示すように、ステップＳ１００において、画像ブロック選択部４２０は、次に選択すべき注目領域の位置を示すブロック移動量を初期値として１に設定する。 FIG. 4 is a flowchart of image block setting processing by the image block setting unit 42 in this example.
As shown in FIG. 4, in step S100, the image block selection unit 420 sets the block movement amount indicating the position of the attention area to be selected next to 1 as an initial value.

ステップＳ１０２において、画像ブロック選択部４２０は、ステップＳ１００において設定されたブロック移動量に従って、現在選択されている画像ブロックからブロック移動量分、ラスタスキャン方向にシフトした位置の注目領域を選択する。   In step S102, the image block selection unit 420 selects a region of interest at a position shifted in the raster scan direction from the currently selected image block by the block movement amount according to the block movement amount set in step S100.

ステップＳ１０４において、エッジ強度算出部４２２は、ステップＳ１０２で選択された注目領域のエッジ強度Ｇを式（１）あるいは式（２）で算出する。なお、｛ａ，ｂ，ｃ，ｄ｝は図５に例示するように注目領域内の各画素値である。入力画像データがグレースケール画像でなく、例えばＲＧＢ色空間のカラー画像である場合には、エッジ強度算出部４２２は、注目領域に関してＲ，Ｇ，Ｂ各色空間の色成分毎の画像ブロックそれぞれについて、式（１）あるいは式（２）を用いてエッジ強度Ｇｒ、Ｇｇ、Ｇｂを計算し、Ｇｒ、Ｇｇ、Ｇｂの中で最大のエッジ強度である色成分の画像ブロックを選択し、そのエッジ強度を注目領域の（すべての色成分に共通の）エッジ強度とする。   In step S104, the edge strength calculation unit 422 calculates the edge strength G of the region of interest selected in step S102 using equation (1) or equation (2). Note that {a, b, c, d} are each pixel value in the region of interest as illustrated in FIG. When the input image data is not a grayscale image but a color image in the RGB color space, for example, the edge strength calculation unit 422 performs the image block for each color component in each of the R, G, and B color spaces with respect to the region of interest. The edge strength Gr, Gg, Gb is calculated using the formula (1) or the formula (2), the image block having the color component having the maximum edge strength among the Gr, Gg, Gb is selected, and the edge strength is calculated. Edge strength (common to all color components) of the region of interest.

ステップＳ１０６において、画像ブロック選択部４２０は、ステップＳ１０４においてエッジ強度算出部４２２で算出されたエッジ強度Ｇと所定の基準値Ｔｈとの比較を行う。算出されたエッジ強度Ｇが所定の基準値Ｔｈよりも小さい場合は、注目領域は非特徴ブロック、つまり平坦領域に属する画像ブロックであると判定し、ステップＳ１００に処理を戻してブロック移動量を再設定する。算出されたエッジ強度Ｇが所定の基準値Ｔｈよりも大きい場合は、注目領域は特徴ブロック、つまりエッジ領域に属する画像ブロックであると判定し、ステップＳ１０８に処理を移す。   In step S106, the image block selection unit 420 compares the edge strength G calculated by the edge strength calculation unit 422 in step S104 with a predetermined reference value Th. If the calculated edge strength G is smaller than the predetermined reference value Th, it is determined that the region of interest is a non-feature block, that is, an image block belonging to a flat region, and the process returns to step S100 to reestablish the block movement amount. Set. If the calculated edge strength G is greater than the predetermined reference value Th, it is determined that the region of interest is a feature block, that is, an image block belonging to the edge region, and the process proceeds to step S108.

ステップＳ１０８において、画像ブロック選択部４２０は、現在設定されているブロック移動量が１であるかそうでないかを判定する。設定されているブロック移動量が１の場合は、ステップＳ１１０に処理を移す。現在設定されているブロック移動量が１でない場合は、ステップＳ１００に処理を戻してブロック移動量を再設定する。   In step S108, the image block selection unit 420 determines whether the currently set block movement amount is 1 or not. If the set block movement amount is 1, the process proceeds to step S110. If the currently set block movement amount is not 1, the process returns to step S100 to reset the block movement amount.

ステップＳ１００において、ステップＳ１０６において特徴ブロックと判定された注目領域を含む周辺領域（４×４サイズ画像ブロック）を特徴量保存拡大処理部４４へ出力する。またブロック移動量も初期値"１"に設定する。   In step S <b> 100, the peripheral area (4 × 4 size image block) including the attention area determined as the feature block in step S <b> 106 is output to the feature amount storage / enlargement processing unit 44. The block movement amount is also set to the initial value “1”.

ここで、ステップＳ１００におけるブロック移動量の再設定処理について、図５を用いて詳細に説明する。図５は、画像ブロック選択部４２０による注目領域の選択処理の具体例を説明する図である。ここで、図５（Ａ）に例示する図において、各々の小さい四角が画素を表しており、大きい四角で囲まれた２×２の画像ブロック（画像ブロック３ａ、画像ブロック３ｂ）が注目領域を示す画像ブロックである。ハッチングされた部分は画像のエッジ領域（各画素の画素値変化が大きい領域）を構成する画素を示し、ハッチングされていない部分は平坦な領域（各画素の画素値変化が小さい領域）を構成する画素を示す。
また、図５（Ｂ）、図５（Ｄ）に示す各々の四角い枠は、選択される注目領域である。 Here, the block movement amount resetting process in step S100 will be described in detail with reference to FIG. FIG. 5 is a diagram for explaining a specific example of attention area selection processing by the image block selection unit 420. Here, in the diagram illustrated in FIG. 5A, each small square represents a pixel, and a 2 × 2 image block (image block 3a, image block 3b) surrounded by the large square represents a region of interest. It is the image block shown. The hatched portion indicates the pixels constituting the edge region (region where the pixel value change of each pixel is large), and the non-hatched portion forms the flat region (region where the pixel value change of each pixel is small). Indicates a pixel.
Each square frame shown in FIGS. 5B and 5D is a selected region of interest.

図４に示したステップＳ１０６において、画像ブロック選択部４２０で選択された注目領域が非特徴ブロックと判定されてステップＳ１００に処理が戻された場合、図５（Ｂ）に例示するように、画像ブロック選択部４２０はブロック移動量を"２"に再設定する。このようにブロック移動量を増加するように設定することで、図５（Ｂ）に示すように、ブロック移動量が１（初期値）の場合と比較して、選択される注目領域が間引かれ、非特徴ブロックが属する平坦領域における画像ブロック選択の処理負荷が減少し、処理時間の短縮が可能となる。なお、ブロック移動量が１の場合のブロック間の距離を基準距離とする。   When it is determined in step S106 shown in FIG. 4 that the region of interest selected by the image block selection unit 420 is a non-feature block and the process returns to step S100, as illustrated in FIG. The block selection unit 420 resets the block movement amount to “2”. By setting the block movement amount to increase in this way, as shown in FIG. 5B, the selected attention area is thinned out compared to the case where the block movement amount is 1 (initial value). In addition, the processing load for selecting an image block in the flat area to which the non-feature block belongs is reduced, and the processing time can be shortened. Note that the distance between blocks when the block movement amount is 1 is defined as a reference distance.

図４に示したステップＳ１０８において、画像ブロック選択部４２０で選択された注目領域が特徴ブロックと判定されたがブロック移動量が１ではないとしてステップＳ１００に処理が戻された場合（例えば、図５（Ｂ）のハッチングされた画像ブロックにおける処理の場合）、画像ブロック選択部４２０は、図５（Ｃ）に例示するようにブロック移動量を"−１"に再設定し、１つ手前の画像ブロックを次の注目領域として選択するようにする。このように注目領域を遡って選択することで、図５（Ｂ）に示したように平坦領域においてブロック移動量"２"で画像ブロックを間引きながら選択した際に、平坦領域とエッジ領域との境界付近で間引かれた画像ブロック（例えば、図５（Ａ）の画像ブロック３ｂ）を処理することが可能となる。これにより図５（Ｂ）に示したような注目領域の間引き選択処理によって間引かれた、本来特徴ブロックとして特徴量保存拡大処理部４４に出力されるべき注目領域を処理することが可能となる。   When the attention area selected by the image block selection unit 420 is determined to be a feature block in step S108 shown in FIG. 4, but the processing is returned to step S100 assuming that the block movement amount is not 1 (for example, FIG. 5). In the case of (B) hatched image block processing), the image block selecting unit 420 resets the block movement amount to “−1” as illustrated in FIG. The block is selected as the next attention area. By selecting the region of interest retrospectively in this way, as shown in FIG. 5B, when selecting an image block while thinning out the image block with the block movement amount “2” in the flat region, the flat region and the edge region are selected. It is possible to process an image block thinned out near the boundary (for example, the image block 3b in FIG. 5A). This makes it possible to process the attention area to be output to the feature amount storage / enlargement processing unit 44 as the original feature block, which has been thinned out by the attention area thinning selection process as shown in FIG. .

また、画像ブロック選択部４２０は、例えば図５（Ａ）のハッチングされた部分であるエッジ領域においては、図４のステップＳ１１０の処理で述べたようにブロック移動量を"１"に設定して、注目領域を間引かずに選択する（図５（Ｄ）に例示）。これにより特徴ブロックとして判定される注目領域は全て特徴量保存拡大処理部４４へ出力され、画像のエッジ領域は特徴量を保存した拡大処理が施されて拡大後のエッジ領域の画質は保たれる。   In addition, the image block selection unit 420 sets the block movement amount to “1” as described in the process of step S110 of FIG. 4 in the edge region that is a hatched portion of FIG. 5A, for example. The attention area is selected without thinning out (illustrated in FIG. 5D). As a result, all the attention areas determined as feature blocks are output to the feature amount storage / expansion processing unit 44, and the edge region of the image is subjected to enlargement processing storing the feature amount, and the image quality of the enlarged edge region is maintained. .

［特徴量保存拡大処理部の詳細説明］
図６は、本実施例の特徴量保存拡大処理部４４の構成及びその周辺を示すブロック図である。
図６に示すように、特徴量保存拡大処理部４４は、画像ブロック特徴量算出部４４０、高画質画像ブロック生成部４４２を有する。なお、記憶部４０は図２に記載のものと同様である。 [Detailed description of feature quantity saving and enlargement processing unit]
FIG. 6 is a block diagram showing the configuration of the feature amount storage / enlargement processing unit 44 of the present embodiment and its surroundings.
As illustrated in FIG. 6, the feature amount storage / enlargement processing unit 44 includes an image block feature amount calculation unit 440 and a high-quality image block generation unit 442. The storage unit 40 is the same as that shown in FIG.

画像ブロック特徴量算出部４４０は、エッジ方向推定部４４４及びエッジパターン選択部４４６を有し、画像ブロック設定部４２から順次入力される特徴ブロックと判定された画像ブロックの少なくとも一部である注目領域における画像特徴量を、注目領域又はこの注目領域の周辺部を含む画像ブロック内の各画素値に基づいて算出する。画像特徴量とは、例えば、注目領域のエッジ角度（階調変化の方向）又はエッジパターン（階調変化のパターン）などである。しかしこれに限られるものではなく、画像ブロック特徴量算出部４４０は、例えば注目領域の各画素値の平均値を算出し、この平均値に対する注目領域の各画素値のばらつきを表す値（例えば標準偏差又は分散）を画像特徴量として算出してもよい。   The image block feature quantity calculation unit 440 includes an edge direction estimation unit 444 and an edge pattern selection unit 446, and is an attention area that is at least part of an image block determined as a feature block sequentially input from the image block setting unit 42 Is calculated based on each pixel value in the image block including the attention area or the peripheral portion of the attention area. The image feature amount is, for example, an edge angle (direction of gradation change) or an edge pattern (pattern of gradation change) of the attention area. However, the present invention is not limited to this, and the image block feature amount calculation unit 440 calculates, for example, an average value of each pixel value of the attention area, and a value (for example, standard) representing variation of each pixel value of the attention area with respect to this average value. Deviation or variance) may be calculated as an image feature amount.

高画質画像ブロック生成部４４２は、画像ブロック特徴量算出部４４０により算出された画像特徴量を用いて、注目領域に対応する拡大画像ブロックを生成する。高画質画像ブロック生成部４４２における拡大処理は、注目領域に含まれる特徴を保持するような拡大手法を適用するのが望ましい。
また、高画質画像ブロック生成部４４２は、画像ブロック設定部４２により算出された特徴量が基準値以上である画像ブロック（すなわち、特徴ブロック）についてのみ、拡大処理を行う。 The high image quality image block generation unit 442 generates an enlarged image block corresponding to the attention area using the image feature amount calculated by the image block feature amount calculation unit 440. For the enlargement process in the high-quality image block generation unit 442, it is desirable to apply an enlargement method that maintains the features included in the region of interest.
In addition, the high-quality image block generation unit 442 performs the enlargement process only for an image block (that is, a feature block) in which the feature amount calculated by the image block setting unit 42 is greater than or equal to a reference value.

［画像ブロック特徴量算出部の詳細説明］
次に、画像ブロック特徴量算出部４４０をより詳細に説明する。なお、注目領域が２×２画素サイズブロックであり、注目領域を含む周辺領域が４×４画素サイズブロックである場合を具体例として説明する。
本例の画像ブロック特徴量算出部４４０は、図６に示すように、エッジ方向推定部４４４、エッジパターン選択部４４６を含む。 [Detailed Description of Image Block Feature Quantity Calculation Unit]
Next, the image block feature amount calculation unit 440 will be described in more detail. A case where the attention area is a 2 × 2 pixel size block and the peripheral area including the attention area is a 4 × 4 pixel size block will be described as a specific example.
As shown in FIG. 6, the image block feature quantity calculation unit 440 of this example includes an edge direction estimation unit 444 and an edge pattern selection unit 446.

エッジ方向推定部４４４は、画像ブロック設定部４２から出力された特徴ブロックである画像ブロック中の注目領域のエッジ方向を推定する。
図３（Ａ）は、注目領域及び周辺領域を例示し、図３（Ｂ）は、この注目領域について推定されるエッジ方向を例示する図である。
図３（Ａ）に例示するように、注目領域（画像領域）は２×２の矩形領域（主走査方向及び副走査方向にそれぞれ２つ）を有し、周辺領域は４×４の矩形領域（主走査方向及び副走査方向にそれぞれ４つ）を有する。各矩形はそれぞれ画素に相当し、矩形内の各数字はそれぞれの画素値を示している。すなわち、注目領域は、中心部近傍の画素｛ａ，ｂ，ｃ，ｄ｝＝｛１５，１０４，８６，２０３｝である。以下、この図３（Ａ）で例示する注目領域を具体例として、エッジ方向推定部４４４によるエッジ方向推定処理を説明する。 The edge direction estimation unit 444 estimates the edge direction of the region of interest in the image block that is the feature block output from the image block setting unit 42.
FIG. 3A illustrates the attention area and the peripheral area, and FIG. 3B illustrates the edge direction estimated for the attention area.
As illustrated in FIG. 3A, the attention area (image area) has a 2 × 2 rectangular area (two each in the main scanning direction and the sub-scanning direction), and the peripheral area is a 4 × 4 rectangular area. (Four in each of the main scanning direction and the sub-scanning direction). Each rectangle corresponds to a pixel, and each number in the rectangle indicates a pixel value. That is, the attention area is the pixel {a, b, c, d} = {15, 104, 86, 203} near the center. Hereinafter, the edge direction estimation processing by the edge direction estimation unit 444 will be described using the attention area illustrated in FIG. 3A as a specific example.

図７は、エッジ方向推定部４４４によるエッジ方向推定処理（Ｓ２０）のフローチャートである。
図８は、Ｓ２１０において選択される参照領域を例示する図である。なお、図８におけるハッチングされた部分は、図３に示した注目領域に相当する。
図７に示すように、ステップ２００（Ｓ２００）において、エッジ方向推定部４４４は、図３（Ａ）に例示した注目領域のエッジ角度Θを、次の式（３）で計算する。
Θ＝arctan（ｇｙ／ｇｘ）・・・式（３）
図３（Ａ）では、注目領域の画素値は、｛ａ，ｂ，ｃ，ｄ｝＝｛１５，１０４，８６，２０３｝であり、式（１）より、
ｇｘ＝−１０３
ｇｙ＝−８５
となり、これらを式（３）に代入することにより、
Θ＝−１４０．５°
となる。
このエッジ角度Θの方向は、図３（Ｂ）に示された破線方向に相当する。 FIG. 7 is a flowchart of the edge direction estimation process (S20) by the edge direction estimation unit 444.
FIG. 8 is a diagram illustrating a reference region selected in S210. The hatched portion in FIG. 8 corresponds to the attention area shown in FIG.
As shown in FIG. 7, in step 200 (S200), the edge direction estimation unit 444 calculates the edge angle Θ of the attention area exemplified in FIG. 3A by the following equation (3).
Θ = arctan (gy / gx) (3)
In FIG. 3 (A), the pixel value of the attention area is {a, b, c, d} = {15, 104, 86, 203}.
gx = −103
gy = −85
By substituting these into equation (3),
Θ = -140.5 °
It becomes.
The direction of the edge angle Θ corresponds to the broken line direction shown in FIG.

さらに、エッジ方向推定部４４４は、算出されたエッジ角度Θが２２．５°ごとに区分された方向（８方向）の角度範囲のいずれに含まれるかを判定する。本例では、エッジ角度Θが０°又は±１８０°を中心とした角度範囲を「方向０」とし、２２．５°又は−１５７．５°を中心とした角度範囲を「方向１」とし、４５°又は−１３５°を中心とした角度範囲を「方向２」とし、６７．５°又は−１１２．５°を中心とした角度範囲を「方向３」とし、９０°又は−９０°を中心とした角度範囲を「方向４」とし、１１２．５°又は−６７．５°を中心とした角度範囲を「方向５」とし、１３５°又は−４５°を中心とした角度範囲を「方向６」とし、１５７．５°又は−２２．５°を中心とした角度範囲を「方向７」する。これらの角度範囲は、それぞれの中心から±１１．２５°の範囲である。上述の具体例におけるエッジ角度Θ（＝−１４０．５°）は、−１３５°±１１．２５°の範囲内に含まれるので、エッジ角度は「方向２」となる。   Furthermore, the edge direction estimation unit 444 determines whether the calculated edge angle Θ is included in an angle range of directions (8 directions) divided every 22.5 °. In this example, the angle range around the edge angle Θ of 0 ° or ± 180 ° is “direction 0”, the angle range around 22.5 ° or −157.5 ° is “direction 1”, An angle range centered on 45 ° or −135 ° is “direction 2”, an angle range centered on 67.5 ° or −112.5 ° is “direction 3”, and centered on 90 ° or −90 °. An angle range centered on 112.5 ° or −67.5 ° is “direction 5”, and an angle range centered on 135 ° or −45 ° is “direction 6”. ", And an angle range centered on 157.5 ° or -22.5 ° is" direction 7 ". These angle ranges are ± 11.25 ° from their respective centers. Since the edge angle Θ (= −140.5 °) in the above specific example is included in the range of −135 ° ± 11.25 °, the edge angle is “direction 2”.

ステップ２０２（Ｓ２０２）において、エッジ方向推定部４４４は、算出された注目領域のエッジ角度Θに応じて、図３（Ａ）に示した周辺領域（太線枠外の領域）の中からエッジ方向の推定に用いる参照領域を選択する。より具体的には、エッジ方向推定部４４４は、算出されたエッジ角度Θの方向で注目領域と隣接する可能性のある画素を含むように、参照領域を選択する。
例えば、エッジ方向推定部４４４は、注目領域について算出されたエッジ角度が「方向０」に含まれる場合に、図８（Ａ）に例示する参照領域（太線で囲まれた２つの領域）を選択し、算出されたエッジ角度が「方向４」に含まれる場合に、図８（Ｂ）に例示する参照領域（太線で囲まれた２つの領域）を選択し、算出されたエッジ角度が上記以外の方向（方向１〜３、方向５〜７）に含まれる場合に、図８（Ｃ）に例示する参照領域（太線で囲まれた４つの領域）を選択する。図３に示した具体例では、エッジ角度の方向は「方向２」であるので、図８（Ｃ）に示した４つの参照領域が選択の候補となる。
なお、参照領域は、図８に例示したものに限定されるわけではなく、例えば図８（Ｃ）の場合などは、参照領域数を８としたり、それぞれの方向に応じた参照領域を設定してもよい。 In step 202 (S202), the edge direction estimation unit 444 estimates the edge direction from the peripheral area (outside the bold frame) shown in FIG. 3A according to the calculated edge angle Θ of the attention area. Select the reference area to be used for. More specifically, the edge direction estimation unit 444 selects a reference area so as to include a pixel that may be adjacent to the attention area in the direction of the calculated edge angle Θ.
For example, the edge direction estimation unit 444 selects the reference areas (two areas surrounded by a thick line) illustrated in FIG. 8A when the edge angle calculated for the attention area is included in “direction 0”. When the calculated edge angle is included in “direction 4”, the reference area (two areas surrounded by a thick line) illustrated in FIG. 8B is selected, and the calculated edge angle is other than the above. Are included in the directions (directions 1 to 3 and directions 5 to 7), reference areas (four areas surrounded by thick lines) illustrated in FIG. 8C are selected. In the specific example shown in FIG. 3, since the direction of the edge angle is “direction 2”, the four reference areas shown in FIG. 8C are candidates for selection.
The reference areas are not limited to those illustrated in FIG. 8. For example, in the case of FIG. 8C, the number of reference areas is set to 8, or the reference areas corresponding to the respective directions are set. May be.

ステップ２０４（Ｓ２０４）において、エッジ方向推定部４４４は、選択された参照領域それぞれに対して、Ｓ２００と同様に、式（１）及び式（３）に従ってエッジ角度Θを計算する。   In step 204 (S204), the edge direction estimation unit 444 calculates an edge angle Θ for each of the selected reference areas in accordance with Expression (1) and Expression (3), similarly to S200.

ステップ２０６（Ｓ２０６）において、エッジ方向推定部４４４は、それぞれの参照領域について算出されたエッジ角度と、注目領域について算出されたエッジ角度とを比較して、これらの差分が予め設定されている閾値Θｔｈより小さいか否かを判断する。エッジ方向推定部４４４は、エッジ角度の差分が閾値Θｔｈより小さい場合には、この参照領域のエッジ角度を適正なエッジ角度として判定してＳ２０８の処理に移行し、エッジ角度の差分が閾値Θｔｈ以上である場合には、この参照領域のエッジ角度を適正なエッジ角度ではないと判定してＳ２１０の処理に移行する。   In step 206 (S206), the edge direction estimation unit 444 compares the edge angle calculated for each reference area with the edge angle calculated for the attention area, and the difference between these is set in advance. It is determined whether it is smaller than Θth. If the edge angle difference is smaller than the threshold Θth, the edge direction estimation unit 444 determines that the edge angle of the reference region is an appropriate edge angle, and proceeds to the processing of S208. The edge angle difference is equal to or greater than the threshold Θth. If it is, it is determined that the edge angle of the reference region is not an appropriate edge angle, and the process proceeds to S210.

ステップ２０８（Ｓ２０８）において、エッジ方向推定部４４４は、角度参照数をインクリメントする。すなわち、エッジ方向推定部４４４は、参照領域について算出されたエッジ角度が適正なエッジ角度であると判断された場合にのみ、角度参照数をインクリメントする。
なお、角度参照数は、エッジ角度の参照数をカウントするための変数であり、注目領域ごとに「角度参照数１」に初期化される。 In step 208 (S208), the edge direction estimation unit 444 increments the angle reference number. That is, the edge direction estimation unit 444 increments the angle reference number only when it is determined that the edge angle calculated for the reference region is an appropriate edge angle.
The angle reference number is a variable for counting the reference number of the edge angle, and is initialized to “angle reference number 1” for each region of interest.

ステップ２１０（Ｓ２１０）において、エッジ方向推定部４４４は、選択した全ての参照領域についてエッジ角度を算出したか否かを判断し、全ての参照領域についてエッジ角度が算出された場合には、Ｓ２１２の処理に移行し、これ以外の場合には、Ｓ２０４の処理に戻って次の参照領域についてエッジ角度を算出する。   In step 210 (S210), the edge direction estimation unit 444 determines whether or not the edge angles have been calculated for all the selected reference areas. In other cases, the process returns to S204 to calculate an edge angle for the next reference area.

ステップ２１２（Ｓ２１２）において、エッジ方向推定部４４４は、注目領域のエッジ角度と、適正なエッジ角度として判定された参照領域のエッジ角度との総和を計算し、算出されたエッジ角度の総和を角度参照数で割った平均エッジ角度を注目領域の推定エッジ方向とする。   In step 212 (S212), the edge direction estimation unit 444 calculates the sum of the edge angle of the attention area and the edge angle of the reference area determined as an appropriate edge angle, and calculates the sum of the calculated edge angles as an angle. The average edge angle divided by the reference number is set as the estimated edge direction of the attention area.

なお、図３に示した具体例では、上部の参照領域｛８６，２０３，１７１，２１１｝からエッジ角度ΘＵ＝−１４９．４°、左部の参照領域｛１０，１５，２０，８６｝からエッジ角度ΘＬ＝−１３１．２°、下部の参照領域｛１，１０２，１５，１０４｝からエッジ角度ΘＤ＝−１７５．２°、右部の参照領域｛１０４，２１５，２０３，２１９｝からエッジ角度ΘＲ＝−１４１．０°となる。注目領域のエッジ角度Θ＝−１４０．５°とそれぞれの参照領域のエッジ角度が比較され、その差分が閾値Θｔｈより小さい参照領域の数が角度参照数としてカウントされる。   In the specific example shown in FIG. 3, the edge angle ΘU = -149.4 ° from the upper reference area {86, 203, 171, 211}, and from the left reference area {10, 15, 20, 86}. Edge angle ΘL = −131.2 °, lower reference region {1, 102, 15, 104} to edge angle ΘD = −175.2 °, right reference region {104, 215, 203, 219} to edge The angle ΘR = −141.0 °. The edge angle Θ = −140.5 ° of the attention area is compared with the edge angle of each reference area, and the number of reference areas whose difference is smaller than the threshold Θth is counted as the angle reference number.

図９は、図３に示した注目領域における推定エッジ方向の一例の説明図である。例えば上述の具体例において、すべての参照領域について注目領域のエッジ角度との差分が閾値Θｔｈより小さいとすれば、注目領域及び４つの参照領域から求められたエッジ角度の総和は−７３７．３°となり、角度参照数５で割ることによって平均エッジ角度は−１４７．５°と求めることができる。この場合も、エッジ方向推定部４４４は、上述の注目領域のエッジ方向と同様に、例えば８方向のいずれかに含まれるかを判定する。本例では、平均エッジ角度が−１４７．５°であるため「方向１」に含まれ、これが推定エッジ方向となる。   FIG. 9 is an explanatory diagram of an example of the estimated edge direction in the attention area illustrated in FIG. 3. For example, in the above-described specific example, if the difference between the edge angle of the attention area for all the reference areas is smaller than the threshold Θth, the sum of the edge angles obtained from the attention area and the four reference areas is −737.3 °. By dividing by the angle reference number 5, the average edge angle can be obtained as -147.5 °. Also in this case, the edge direction estimation unit 444 determines whether it is included in, for example, any one of the eight directions, similarly to the edge direction of the region of interest described above. In this example, since the average edge angle is −147.5 °, it is included in “direction 1”, which is the estimated edge direction.

なお、本実施形態では、１画素につき１色要素であるグレースケール画像を具体例として説明しているが、これに限定されるわけではない。例えば、１画素につき３色要素のＲＧＢ色空間のカラー画像が入力される場合には、各々の色成分のデータにおけるエッジ強度Ｇｒ、Ｇｇ、Ｇｂの強さにより選択された色空間データで上記のエッジ方向推定処理を行えばよい。より具体的には、それぞれの色成分についてエッジ強度算出部４２２においてエッジ強度を算出し、算出されたエッジ強度Ｇｒ、Ｇｇ、Ｇｂが最大となる色成分を選択して、画像ブロック特徴量算出部４４０は、選択された色成分についてのみ特徴量を算出する。このようにすることにより、カラー画像における拡大画像データのエッジ部の色ずれなど、画質低下を抑えることが可能となる。
また、本例では、注目領域及び参照領域について式（１）により算出されたエッジ角度は、８方向のいずれかに分類されたが、これに限定されるものではなく、より精度の高いエッジ方向が必要であれば１２方向（１５．０°ごと）、１６方向（１２．２５°ごと）など、さらに多数の角度領域に分類してもよい。 In the present embodiment, a grayscale image that is one color element per pixel is described as a specific example, but the present invention is not limited to this. For example, when a color image in the RGB color space having three color elements per pixel is input, the color space data selected by the strengths of the edge strengths Gr, Gg, and Gb in each color component data is used as described above. An edge direction estimation process may be performed. More specifically, the edge strength calculation unit 422 calculates the edge strength for each color component, selects the color component that maximizes the calculated edge strengths Gr, Gg, and Gb, and the image block feature amount calculation unit. A feature amount 440 is calculated only for the selected color component. By doing so, it is possible to suppress deterioration in image quality such as color shift at the edge of enlarged image data in a color image.
Further, in this example, the edge angle calculated by the expression (1) for the attention area and the reference area is classified into any one of the eight directions, but the present invention is not limited to this, and the edge direction with higher accuracy is used. May be classified into a larger number of angle regions such as 12 directions (every 15.0 °) and 16 directions (every 12.25 °).

次に、エッジパターン選択部４４６について説明する。
図１０は、エッジパターン選択部４４６で用いるエッジパターンテーブルを例示する図である。
図１０に例示するように、エッジパターン選択部４４６は、推定エッジ方向とエッジパターンとを互いに対応付けたエッジパターンテーブルを有する。エッジパターンテーブルには、注目領域のパターンサイズに対応するエッジパターンがそれぞれの推定エッジ方向（ここでは８方向）ごとに１つ以上のエッジパターンが登録されている。
エッジパターン選択部４４６は、このエッジパターンテーブルを参照して、エッジ方向推定部４４４によりそれぞれの注目領域について推定された推定エッジ方向に対応するエッジパターンを選択する。
本例では、図１０に例示するように、注目領域に対する推定エッジ方向がエッジ方向推定部４４４によって「方向１」であると推定されているため、エッジパターン選択部４４６は、この推定エッジ方向（方向１）に従い、図１０に示すエッジパターンテーブルの中から、方向１に対応する「パターン０」から「パターン３」までの４つのエッジパターンを選択し、これらをこの注目領域（図１０）に対するエッジパターンの候補とする。 Next, the edge pattern selection unit 446 will be described.
FIG. 10 is a diagram illustrating an edge pattern table used in the edge pattern selection unit 446.
As illustrated in FIG. 10, the edge pattern selection unit 446 has an edge pattern table in which the estimated edge direction and the edge pattern are associated with each other. In the edge pattern table, one or more edge patterns corresponding to the pattern size of the region of interest are registered for each estimated edge direction (here, eight directions).
The edge pattern selection unit 446 selects an edge pattern corresponding to the estimated edge direction estimated for each region of interest by the edge direction estimation unit 444 with reference to the edge pattern table.
In this example, as illustrated in FIG. 10, since the estimated edge direction with respect to the region of interest is estimated to be “direction 1” by the edge direction estimation unit 444, the edge pattern selection unit 446 uses the estimated edge direction ( According to direction 1), four edge patterns from “pattern 0” to “pattern 3” corresponding to direction 1 are selected from the edge pattern table shown in FIG. 10, and these are selected for this region of interest (FIG. 10). The edge pattern is a candidate.

次に、エッジパターン選択部４４６は、注目領域の画素値に基づいて、エッジパターンの候補となった１つ以上のエッジパターンの中から、１つのエッジパターンを選択する。エッジパターンの具体的な選択方法について、図１１を参照しながら説明する。
図１１は、図１０に示した注目領域に対応するエッジパターンの選択方法を説明する図である。
本例では、推定エッジ方向が「方向１」であったため、図１１（Ａ）に例示するように、エッジパターンの候補として、「パターン０」から「パターン３」までの４つのエッジパターンが選択されている。これらのエッジパターンは、図１１（Ｂ）に例示するように、ビットパターンとして表現される。具体的には、白部分を０、それ以外を１としてビットパターン化し、「ビットパターン０」から「ビットパターン３」までのビットパターンが生成される。なお、これらのビットパターンは、図１０に示すエッジパターンテーブルにビットテーブルとして予め登録されていてもよい。 Next, the edge pattern selection unit 446 selects one edge pattern from one or more edge patterns that are candidates for the edge pattern, based on the pixel value of the region of interest. A specific method for selecting an edge pattern will be described with reference to FIG.
FIG. 11 is a diagram for explaining a method of selecting an edge pattern corresponding to the attention area shown in FIG.
In this example, since the estimated edge direction is “direction 1”, four edge patterns from “pattern 0” to “pattern 3” are selected as the edge pattern candidates as illustrated in FIG. 11A. Has been. These edge patterns are expressed as bit patterns as illustrated in FIG. Specifically, a bit pattern is generated by setting the white portion to 0 and the other to 1 to generate bit patterns from “bit pattern 0” to “bit pattern 3”. Note that these bit patterns may be registered in advance in the edge pattern table shown in FIG. 10 as bit tables.

エッジパターン選択部４４６は、注目領域に相当するビットパターンを判定する。具体的には、エッジパターン選択部４４６は、以下に示す式（４）に従い、注目領域中の平均画素値を計算し、注目領域内の各々の画素値から平均値を引き、その符号を以て注目領域の画素値パターンとする。
Ｍｅａｎ＝（ａ＋ｂ＋ｃ＋ｄ）／４
ａ＿ｓｉｇｎ＝ａ−Ｍｅａｎ
ｂ＿ｓｉｇｎ＝ｂ−Ｍｅａｎ
ｃ＿ｓｉｇｎ＝ｃ−Ｍｅａｎ
ｄ＿ｓｉｇｎ＝ｄ−Ｍｅａｎ・・・式（４）
なお、本例では、図１１（Ｃ）に示すように、Ｍｅａｎ＝（１５＋１０４＋８６＋２０３）／４＝１０２であり、ａ＿ｓｉｇｎ＝−８７、ｂ＿ｓｉｇｎ＝２、ｃ＿ｓｉｇｎ＝−１６、ｄ＿ｓｉｇｎ＝１０１となる。よって、エッジパターン選択部４４６は、これらの正負符号を判定して、図１１（Ｃ）に示すように、注目領域のビットパターン（１０１０）を生成する。
そして、エッジパターン選択部４４６は、図１１（Ｂ）に例示するエッジパターン候補に対応するビットパターンと、図１１（Ｃ）に例示する注目領域のビットパターンとのパターンマッチングを行い、最も類似するエッジパターンを選択パターンとして決定する。選択されたエッジパターンは、後述する拡大画像ブロック生成部１４における拡大画像ブロック生成処理に適用される。 The edge pattern selection unit 446 determines a bit pattern corresponding to the attention area. Specifically, the edge pattern selection unit 446 calculates an average pixel value in the attention area according to the following formula (4), subtracts the average value from each pixel value in the attention area, and uses the sign as the attention. The pixel value pattern of the region is used.
Mean = (a + b + c + d) / 4
a_sign = a-Mean
b_sign = b-Mean
c_sign = c-Mean
d_sign = d−Mean (4)
In this example, as shown in FIG. 11C, Mean = (15 + 104 + 86 + 203) / 4 = 102, and a_sign = −87, b_sign = 2, c_sign = −16, and d_sign = 101. Therefore, the edge pattern selection unit 446 determines these positive and negative signs, and generates a bit pattern (1010) of the region of interest as shown in FIG.
Then, the edge pattern selection unit 446 performs pattern matching between the bit pattern corresponding to the edge pattern candidate illustrated in FIG. 11B and the bit pattern of the attention area illustrated in FIG. An edge pattern is determined as a selection pattern. The selected edge pattern is applied to an enlarged image block generation process in the enlarged image block generation unit 14 to be described later.

なお、エッジパターンは、図１０に示したものに限定されるわけではなく、例えば、エッジパターン選択部４４６は、入力画像データの種類に応じて、エッジパターンテーブルを切り替えて、異なるエッジパターンを適用してもよい。また、エッジパターン選択部４４６は、各角度におけるエッジパターン候補数を増減させてもよい。   Note that the edge patterns are not limited to those shown in FIG. 10. For example, the edge pattern selection unit 446 switches the edge pattern table according to the type of input image data and applies different edge patterns. May be. Further, the edge pattern selection unit 446 may increase or decrease the number of edge pattern candidates at each angle.

［高画質画像ブロック生成部の詳細説明］
次に、高画質画像ブロック生成部４４２をより詳細に説明する。
高画質画像ブロック生成部４４２は、画像ブロック設定部４２において、特徴ブロックであると判定された画像ブロック中の注目領域に対して、画像ブロック特徴量算出部４４０で得られた注目領域に対するエッジパターンおよび推定エッジ方向に基づいて、拡大画像ブロック生成処理を行う。
高画質画像ブロック生成部４４２は、まず、拡大処理の拡大倍率に応じたサイズおよび係数の強調カーネルを用いて、画像ブロック設定部４２により出力された画像ブロック中の注目領域およびその周辺領域の画像データのコントラストを強調する。 [Detailed description of high-quality image block generator]
Next, the high-quality image block generation unit 442 will be described in more detail.
The high-quality image block generation unit 442 performs an edge pattern for the attention area obtained by the image block feature amount calculation unit 440 with respect to the attention area in the image block determined by the image block setting section 42 as a feature block. And an enlarged image block generation process is performed based on the estimated edge direction.
First, the high-quality image block generation unit 442 uses the size and coefficient emphasis kernel according to the enlargement magnification of the enlargement process, and the image of the attention area and the peripheral area in the image block output by the image block setting unit 42 Emphasize the contrast of data.

図１２は、高画質画像ブロック生成部４４２により用いられる強調カーネル４５０（エッジ強調カーネル）を例示する図である。
図１２に例示するように、第１の強調カーネル４５０ａは、重み付け係数「１．６０」及び「−０．１５」を用いてコントラストを強調し、第２の強調カーネル４５０ｂは、重み付け係数「１．２０」及び「−０．０５」を用いてコントラストを強調する。これらの強調カーネルは、対象画像に対して既になされた拡大処理の拡大倍率に対応付けられており、互いに異なる重み付け係数を用いて、互いに異なる位置の画素値を参照する。 FIG. 12 is a diagram illustrating an enhancement kernel 450 (edge enhancement kernel) used by the high-quality image block generation unit 442.
As illustrated in FIG. 12, the first enhancement kernel 450 a uses the weighting factors “1.60” and “−0.15” to enhance contrast, and the second enhancement kernel 450 b includes the weighting factor “1”. .20 ”and“ −0.05 ”to enhance contrast. These enhancement kernels are associated with the enlargement magnification of the enlargement process already performed on the target image, and refer to pixel values at different positions using different weighting coefficients.

第１の強調カーネル４５０ａは、図１２（Ａ）に例示するように、注目画素Ｐの直下画素ａ、直右画素ｂ、直上画素ｃ及び直左画素ｄを参照して、これらの画素の画素値にそれぞれ重み付け係数（−０．１５）を掛け合わせ、重み付け係数（１．６０）が掛けられた注目画素Ｐの画素値と合算し、合算された値を注目画素Ｐの画素値とする。
第２の強調カーネル４５０ｂは、第１の強調カーネル４５０ａよりも拡大倍率の大きな画像に対して適用され、図１２（Ｂ）に例示するように、注目画素Ｐから１画素分離間した下画素ａ、右画素ｂ、上画素ｃ及び左画素ｄを参照して、これらの画素の画素値にそれぞれ重み付け係数（−０．０５）を掛け合わせ、重み付け係数（１．２０）が掛けられた注目画素Ｐの画素値と合算し、合算された値を注目画素Ｐの画素値とする。
例えば、第１の強調カーネル４５０ａを適用する場合に、以下の式（５）に従って、コントラスト強調後の画素値Ｐ'が算出される。
（画素値Ｐ'）＝１．６０×Ｐ‐０．１５×（ａ＋ｂ＋ｃ＋ｄ）・・・式（５） As illustrated in FIG. 12A, the first enhancement kernel 450a refers to the pixel a, the right pixel b, the pixel c, and the pixel d of the pixel P of the pixel of interest P. Each value is multiplied by a weighting coefficient (−0.15) and added to the pixel value of the pixel of interest P multiplied by the weighting coefficient (1.60), and the sum is set as the pixel value of the pixel of interest P.
The second enhancement kernel 450b is applied to an image having a larger magnification than the first enhancement kernel 450a. As illustrated in FIG. 12B, the lower pixel a separated by one pixel from the target pixel P. , The right pixel b, the upper pixel c, and the left pixel d, the pixel value of these pixels is multiplied by a weighting coefficient (−0.05), and the pixel of interest multiplied by the weighting coefficient (1.20) The pixel value of P is added together, and the added value is set as the pixel value of the target pixel P.
For example, when applying the first enhancement kernel 450a, the pixel value P ′ after contrast enhancement is calculated according to the following equation (5).
(Pixel value P ′) = 1.60 × P−0.15 × (a + b + c + d) Expression (5)

このように、既になされた拡大処理の拡大倍率に応じて強調カーネルが異なるのは、４倍、８倍と順に画像を拡大していくと、原画像の特徴を有している画素は、２画素、４画像離れた位置の画素となる。そのため、高画質画像ブロック生成部４４２は、図１２に例示するように、拡大倍率が高いほど離れた画素を参照して強調処理を行う。例えば、高画質画像ブロック生成部４４２は、２倍拡大処理を２回連続して適用することにより４倍拡大が実現される場合に、最初の２倍拡大処理において第１の強調カーネル４５０ａ（図１２（Ａ））を適用し、２回目の２倍拡大処理において第２の強調カーネル４５０ｂ（図１２（Ｂ））を適用する。なお、８倍、１６倍以降の倍率においても同様である。   As described above, the enhancement kernels differ according to the enlargement magnification of the already performed enlargement process. When the image is enlarged in order of 4 times and 8 times, the pixels having the characteristics of the original image are 2 The pixel is a pixel at a position distant from four images. Therefore, as illustrated in FIG. 12, the high-quality image block generation unit 442 performs enhancement processing with reference to pixels that are further away as the enlargement magnification is higher. For example, the high-quality image block generation unit 442 performs the first enhancement kernel 450a (see FIG. 5) in the first double enlargement process when the double enlargement process is applied twice in succession to realize the quadruple enlargement. 12 (A)) and the second enhancement kernel 450b (FIG. 12B) is applied in the second double enlargement process. The same applies to magnifications of 8 times, 16 times and later.

また、参照する画素の位置は、図１２に示すような上下左右に限られたものではない。例えば、高画質画像ブロック生成部４４２は、斜め方向の画素を参照してコントラスト強調を行ったり、さらに離れた画素を参照してコントラスト強調を行ったり、処理対象画像データの種類及びサイズなどにより適用する強調カーネルを切り替えたりしてもよい。   Further, the position of the pixel to be referred to is not limited to the vertical and horizontal directions as shown in FIG. For example, the high-quality image block generation unit 442 applies contrast enhancement with reference to pixels in an oblique direction, applies contrast enhancement with reference to further distant pixels, and is applied depending on the type and size of processing target image data. You may also switch the emphasis kernel.

次に高画質画像ブロック生成部４４２は、画像ブロック特徴抽出部１１で得られた注目領域に対するエッジパターンおよび推定エッジ方向と、前述したようにコントラスト強調処理が行われた注目領域とその周辺領域の画素値を用いて、注目領域に対する拡大画像ブロックを生成する。   Next, the high-quality image block generation unit 442 generates an edge pattern and an estimated edge direction with respect to the attention region obtained by the image block feature extraction unit 11, and the attention region and its surrounding region that have undergone contrast enhancement processing as described above. An enlarged image block for the region of interest is generated using the pixel value.

図１３は、高画質画像ブロック生成部４４２における拡大画像ブロックの生成処理の具体例の説明図である。まず高画質画像ブロック生成部４４２は、注目領域のエッジパターンおよび推定エッジ方向基づき、コントラスト強調処理を施された画素値を用いて３×３画像ブロックに相当する画素値を算出する。図１３（Ａ）には図７（Ａ）に示した注目領域及び周辺領域の一例を示している。この注目領域は前述したように画像ブロック特徴量算出部４４０において、エッジパターン１０１０、推定エッジ方向は「方向１」と求められている。高画質画像ブロック生成部４４２では、（エッジパターン１０１０）−（推定エッジ方向「１」）の組み合わせの場合、図１３（Ｂ）に示すように、３×３画像ブロックに相当するそれぞれの画素をｐ０〜ｐ８とすると、図１３（Ａ）に示した注目領域の画素値｛ａ，ｂ，ｃ，ｄ｝をもとに、ｐ０〜ｐ８の画素値を次の式によって計算する。
ｐ０＝ａ
ｐ１＝（ａ＋ｂ）／２
ｐ２＝ｂ
ｐ３＝（ａ＋ｃ）／２
ｐ４＝（ｂ＋ｃ）／２
ｐ５＝（ｂ＋ｄ）／２
ｐ６＝ｃ
ｐ７＝（ｂ＋ｂ）／２
ｐ８＝ｄ FIG. 13 is an explanatory diagram of a specific example of enlarged image block generation processing in the high-quality image block generation unit 442. First, the high-quality image block generation unit 442 calculates a pixel value corresponding to a 3 × 3 image block using a pixel value subjected to contrast enhancement processing based on the edge pattern of the region of interest and the estimated edge direction. FIG. 13A illustrates an example of the attention area and the peripheral area illustrated in FIG. As described above, the image block feature quantity calculation unit 440 obtains this attention area as the edge pattern 1010 and the estimated edge direction as “direction 1”. In the case of the combination of (edge pattern 1010) − (estimated edge direction “1”), the high-quality image block generation unit 442 calculates each pixel corresponding to the 3 × 3 image block as shown in FIG. Assuming p0 to p8, the pixel values of p0 to p8 are calculated by the following formula based on the pixel values {a, b, c, d} of the attention area shown in FIG.
p0 = a
p1 = (a + b) / 2
p2 = b
p3 = (a + c) / 2
p4 = (b + c) / 2
p5 = (b + d) / 2
p6 = c
p7 = (b + b) / 2
p8 = d

これらの計算式は、（エッジパターン）−（推定エッジ方向）の組み合わせにより一意に決定され、３×３画像ブロック相当の画素値が計算される。   These calculation formulas are uniquely determined by a combination of (edge pattern) − (estimated edge direction), and pixel values corresponding to 3 × 3 image blocks are calculated.

図１４は、他の（エッジパターン）−（推定エッジ方向）の組み合わせの場合に用いる計算式の一例の説明図である。図１４（Ａ）は（エッジパターン１０００）−（推定エッジ方向「１」）の場合であり、
ｐ０＝ａ
ｐ２＝ｂ
ｐ３＝ａ
ｐ４＝（ｂ＋ｃ）／２
ｐ５＝（ｂ＋ｄ）／２
ｐ６＝ｃ
ｐ７＝（ｃ＋ｄ）／２
ｐ８＝ｄ
ｐ１＝（ｐ４＋ｃ）／２
によって３×３画像ブロック相当の画素値を計算する。 FIG. 14 is an explanatory diagram of an example of a calculation formula used in the case of another (edge pattern)-(estimated edge direction) combination. FIG. 14A shows the case of (edge pattern 1000) − (estimated edge direction “1”),
p0 = a
p2 = b
p3 = a
p4 = (b + c) / 2
p5 = (b + d) / 2
p6 = c
p7 = (c + d) / 2
p8 = d
p1 = (p4 + c) / 2
To calculate a pixel value corresponding to a 3 × 3 image block.

図１４（Ｂ）は（エッジパターン１１００）−（推定エッジ方向「５」）の場合であり、この場合は、
ｐ０＝ａ
ｐ１＝（ａ＋ｂ）／２
ｐ２＝ｂ
ｐ４＝（ａ＋ｄ）／２
ｐ６＝ｃ
ｐ７＝（ｃ＋ｄ）／２
ｐ８＝ｄ
ｐ３＝（ｐ４＋ｃ）／２
ｐ５＝（ｐ４＋ｂ）／２
によって３×３画像ブロック相当の画素値を計算する。 FIG. 14B shows the case of (edge pattern 1100) − (estimated edge direction “5”). In this case,
p0 = a
p1 = (a + b) / 2
p2 = b
p4 = (a + d) / 2
p6 = c
p7 = (c + d) / 2
p8 = d
p3 = (p4 + c) / 2
p5 = (p4 + b) / 2
To calculate a pixel value corresponding to a 3 × 3 image block.

図１４（Ｃ）は（エッジパターン１１００）−（推定エッジ方向「２」）の場合であり、この場合は、
ｐ０＝ａ
ｐ１＝ａ
ｐ２＝ｂ
ｐ３＝ａ
ｐ４＝（ｂ＋ｃ）／２
ｐ５＝（ｂ＋ｄ）／２
ｐ６＝ｃ
ｐ７＝（ｃ＋ｄ）／２
ｐ８＝ｄ
によって３×３画像ブロック相当の画素値を計算する。 FIG. 14C shows the case of (edge pattern 1100) − (estimated edge direction “2”). In this case,
p0 = a
p1 = a
p2 = b
p3 = a
p4 = (b + c) / 2
p5 = (b + d) / 2
p6 = c
p7 = (c + d) / 2
p8 = d
To calculate a pixel value corresponding to a 3 × 3 image block.

図１４（Ｄ）は（エッジパターン０１０１）−（推定エッジ方向「７」）の場合であり、この場合は、
ｐ０＝ａ
ｐ２＝ｂ
ｐ３＝（ａ＋ｃ）／２
ｐ４＝（ａ＋ｄ）／２
ｐ５＝（ｂ＋ｄ）／２
ｐ６＝ｃ
ｐ８＝ｄ
ｐ１＝（ｐ４＋ｂ）／２
ｐ７＝（ｐ４＋ｃ）／２
によって３×３画像ブロック相当の画素値を計算する。なお、他のエッジパターンの場合にも、同様にそれぞれのエッジパターンに対応した計算式に従って計算を行うことによって、３×３画像ブロック相当の画素値を計算する事ができる。 FIG. 14D shows the case of (edge pattern 0101) − (estimated edge direction “7”). In this case,
p0 = a
p2 = b
p3 = (a + c) / 2
p4 = (a + d) / 2
p5 = (b + d) / 2
p6 = c
p8 = d
p1 = (p4 + b) / 2
p7 = (p4 + c) / 2
To calculate a pixel value corresponding to a 3 × 3 image block. In the case of other edge patterns as well, pixel values corresponding to 3 × 3 image blocks can be calculated by calculating according to the calculation formula corresponding to each edge pattern.

次に、高画質画像ブロック生成部４４２は、前述のように計算された３×３画像ブロック相当の画素値と、注目領域の推定エッジ方向に基づいて選択された周辺領域内の複数の参照画素を用いて４×４画像ブロックを生成する。
図１５は、注目領域における推定エッジ方向に基づく参照画素ｒ０〜ｒ１３の選択方法の説明図である。注目領域の推定エッジ方向が方向１（２２．５°）から方向３（６７．５°）の場合には、図１５（Ａ）に示したように、参照画素ｒ０〜ｒ５を図１５（Ａ）に太線枠で囲んだように左上から下へ３画素と右下から上へ３画素となるように選択する。また、注目領域の推定エッジ方向が方向５（１１２．５°）から方向７（１５７．５°）の場合には、図１５（Ｂ）に示したように、参照画素ｒ０〜ｒ５を左下から上へ３画素と右上から下へ３画素となるように選択する。参照画素ｒ６〜ｒ１３は推定エッジ方向に拠らず、図１５（Ａ）（Ｂ）に示すように、上下それぞれ4画素を選択する。このように、注目領域における推定エッジ方向に基づいて、参照画素を選択する。もちろん、参照画素の選択は図１５に示すように２パターンからの選択に限定されるわけではなく、推定エッジ方向に従い、より多くの参照画素選択パターンを用意してもよい。また、選択する参照画素についても、推定エッジ方向によって変更してもよい。 Next, the high-quality image block generation unit 442 generates a plurality of reference pixels in the peripheral area selected based on the pixel value equivalent to the 3 × 3 image block calculated as described above and the estimated edge direction of the attention area. Is used to generate a 4 × 4 image block.
FIG. 15 is an explanatory diagram of a method of selecting the reference pixels r0 to r13 based on the estimated edge direction in the attention area. When the estimated edge direction of the attention area is from direction 1 (22.5 °) to direction 3 (67.5 °), as shown in FIG. 15A, the reference pixels r0 to r5 are set as shown in FIG. ), 3 pixels from the upper left to the lower and 3 pixels from the lower right to the upper are selected. Further, when the estimated edge direction of the attention area is from the direction 5 (112.5 °) to the direction 7 (157.5 °), the reference pixels r0 to r5 are moved from the lower left as shown in FIG. Select 3 pixels up and 3 pixels down from the upper right. The reference pixels r6 to r13 do not depend on the estimated edge direction, and four pixels are selected on the upper and lower sides as shown in FIGS. In this way, the reference pixel is selected based on the estimated edge direction in the attention area. Of course, the selection of reference pixels is not limited to selection from two patterns as shown in FIG. 15, and more reference pixel selection patterns may be prepared according to the estimated edge direction. Also, the reference pixel to be selected may be changed according to the estimated edge direction.

図１６は、４×４画素の拡大画像ブロックの生成処理の具体例の説明図である。図１６に示すように、計算された３×３画像ブロック相当の画素値ｐ０〜ｐ８、および注目領域における推定エッジ方向に基づいて選択された参照画素ｒ０〜ｒ１３を用いて、次のような計算式に従って４×４画素の拡大画像ブロックに相当する画素値（ｓ０〜ｓ１５）を計算し、４ｘ４拡大画像ブロックを生成する。
ｓ０＝０．２×ｒ６＋０．１６×ｒ０＋０．６４×ｐ０
ｓ１＝０．２×ｒ７＋０．３２×ｐ０＋０．４８×ｐ１
ｓ２＝０．２×ｒ８＋０．４８×ｐ１＋０．３２×ｐ２
ｓ３＝０．２×ｒ９＋０．６４×ｐ２＋０．１６×ｒ１
ｓ４＝０．０８×ｒ０＋０．３２×ｐ０＋０．１２×ｒ２＋０．４８×ｐ３
ｓ５＝０．１６×ｐ０＋０．２４×ｐ１＋０．２４×ｐ３＋０．３６×ｐ４
ｓ６＝０．２４×ｐ１＋０．１６×ｐ２＋０．３６×ｐ４＋０．２４×ｐ５
ｓ７＝０．３２×ｐ２＋０．０８×ｒ１＋０．４８×ｐ５＋０．１２×ｒ３
ｓ８＝０．１２×ｒ２＋０．４８×ｐ３＋０．０８×ｒ４＋０．３２×ｐ６
ｓ９＝０．２４×ｐ３＋０．３６×ｐ４＋０．１６×ｐ６＋０．２４×ｐ７
ｓ１０＝０．３６×ｐ４＋０．２４×ｐ５＋０．２４×ｐ７＋０．１６×ｐ８
ｓ１１＝０．４８×ｐ５＋０．１２×ｒ３＋０．３２×ｐ８＋０．０８×ｒ５
ｓ１２＝０．１６×ｒ４＋０．６４×ｐ６＋０．２×ｒ１０
ｓ１３＝０．３２×ｐ６＋０．４８×ｐ７＋０．２×ｒ１１
ｓ１４＝０．４８×ｐ７＋０．３２×ｐ８＋０．２×ｒ１２
ｓ１５＝０．６４×ｐ８＋０．１６×ｒ５＋０．２×ｒ１３ FIG. 16 is an explanatory diagram of a specific example of generation processing of a 4 × 4 pixel enlarged image block. As shown in FIG. 16, using the calculated pixel values p0 to p8 corresponding to the 3 × 3 image block and the reference pixels r0 to r13 selected based on the estimated edge direction in the region of interest, the following calculation is performed. Pixel values (s0 to s15) corresponding to the enlarged image block of 4 × 4 pixels are calculated according to the formula, and a 4 × 4 enlarged image block is generated.
s0 = 0.2 × r6 + 0.16 × r0 + 0.64 × p0
s1 = 0.2 × r7 + 0.32 × p0 + 0.48 × p1
s2 = 0.2 × r8 + 0.48 × p1 + 0.32 × p2
s3 = 0.2 × r9 + 0.64 × p2 + 0.16 × r1
s4 = 0.08 * r0 + 0.32 * p0 + 0.12 * r2 + 0.48 * p3
s5 = 0.16 × p0 + 0.24 × p1 + 0.24 × p3 + 0.36 × p4
s6 = 0.24 × p1 + 0.16 × p2 + 0.36 × p4 + 0.24 × p5
s7 = 0.32 × p2 + 0.08 × r1 + 0.48 × p5 + 0.12 × r3
s8 = 0.12 * r2 + 0.48 * p3 + 0.08 * r4 + 0.32 * p6
s9 = 0.24 × p3 + 0.36 × p4 + 0.16 × p6 + 0.24 × p7
s10 = 0.36 × p4 + 0.24 × p5 + 0.24 × p7 + 0.16 × p8
s11 = 0.48 × p5 + 0.12 × r3 + 0.32 × p8 + 0.08 × r5
s12 = 0.16 × r4 + 0.64 × p6 + 0.2 × r10
s13 = 0.32 × p6 + 0.48 × p7 + 0.2 × r11
s14 = 0.48 × p7 + 0.32 × p8 + 0.2 × r12
s15 = 0.64 × p8 + 0.16 × r5 + 0.2 × r13

以上のように処理を行うことにより、画像ブロック特徴量算出部４４０において特徴ブロックと判断された注目領域に対する４×４画素の拡大画像ブロック（ｓ０〜ｓ１５）が生成される。
このように、画像ブロック特徴量算出部４４０で算出された画像特徴量に従って、高画質画像ブロック生成部４４２により拡大画像ブロック生成処理を行うことで、ジャギーを抑えた高画質な拡大処理ができる。 By performing the processing as described above, 4 × 4 pixel enlarged image blocks (s0 to s15) are generated for the region of interest determined as the feature block by the image block feature amount calculation unit 440.
As described above, the high-quality image block generation unit 442 performs the enlarged image block generation process according to the image feature amount calculated by the image block feature amount calculation unit 440, thereby performing high-quality enlargement processing with reduced jaggies.

[拡大画像生成部の詳細]
次に、拡大画像生成部１６をより詳細に説明する。
高画質画像ブロック生成部４４２で生成された注目領に対する拡大画像ブロックと、高速拡大処理部４６から出力された拡大画像とを統合する。図１７は、高画質画像ブロック生成部４４２で生成された４×４画素の拡大画像ブロックと、高速拡大処理部４６から出力された拡大画像とを統合する具体例の説明図である。図１７に示すように、順次生成された拡大画像ブロック０および拡大画像ブロック１は、高速拡大処理部４６から出力された拡大画像上の対応する位置に順次配置するようにして統合される。このとき拡大画像上の各画素値を拡大ブロックの各画素値（ｓ０〜ｓ１５）で置き換えるように配置してもよいし、また拡大画像上の各画素値と拡大ブロックの各画素値（ｓ０〜ｓ１５）を重畳するように配置してもよい。
また拡大画像ブロック同士（図１７における拡大画像ブロック０と拡大画像ブロック１）の拡大画像上の対応位置がオーバーラップする場合は、各拡大画像ブロックのオーバーラップする画素は各々平均をとるようにする。または、オーバーラップする画素の総和を計算し、前記画素値の総和をオーバーラップした数で割ることにより各画素値を算出するようにしてもよい。 [Details of enlarged image generator]
Next, the enlarged image generation unit 16 will be described in more detail.
The enlarged image block for the region of interest generated by the high-quality image block generation unit 442 and the enlarged image output from the high-speed enlargement processing unit 46 are integrated. FIG. 17 is an explanatory diagram of a specific example in which the enlarged image block of 4 × 4 pixels generated by the high-quality image block generation unit 442 and the enlarged image output from the high-speed enlargement processing unit 46 are integrated. As shown in FIG. 17, the enlarged image block 0 and the enlarged image block 1 that are sequentially generated are integrated so as to be sequentially arranged at corresponding positions on the enlarged image output from the high-speed enlargement processing unit 46. At this time, each pixel value on the enlarged image may be replaced with each pixel value (s0 to s15) of the enlarged block, or each pixel value on the enlarged image and each pixel value (s0 to s0) of the enlarged block. You may arrange | position so that s15) may overlap.
Further, when the corresponding positions on the enlarged image of the enlarged image blocks (enlarged image block 0 and enlarged image block 1 in FIG. 17) overlap, the overlapping pixels of each enlarged image block are averaged. . Alternatively, the sum of overlapping pixels may be calculated, and each pixel value may be calculated by dividing the sum of the pixel values by the number of overlaps.

［全体動作］
次に、本例の画像処理装置および画像処理方法の全体動作を説明する。
図１８は、本例の画像拡大処理のフローチャートである。
図１８に示すように、ステップＳ３００において、画像ブロック設定部４２は、図４で示したフローチャート（ステップＳ１００〜ステップＳ１１０）に基づく処理により、特徴量保存拡大処理部４４で処理すべき規定のサイズの画像ブロック、つまり特徴ブロックを選択し、特徴量保存拡大処理部４４に出力する。 [Overall operation]
Next, the overall operation of the image processing apparatus and the image processing method of this example will be described.
FIG. 18 is a flowchart of the image enlargement process of this example.
As shown in FIG. 18, in step S300, the image block setting unit 42 performs a process based on the flowchart (steps S100 to S110) shown in FIG. Image blocks, that is, feature blocks are selected and output to the feature amount storage enlargement processing unit 44.

ステップＳ３０２において、画像ブロック特徴量算出部４４０は、画像ブロック設定部４２から出力された特徴ブロック中の注目領域、及びその注目領域を含む１ないし複数の周辺領域中の参照領域のエッジ角度Θを、式（３）で計算する。
なお、ｇｘ、ｇｙは式（１）あるいは式（２）において各々算出される値である。そして、画像ブロック特徴量算出部４４０は、算出された複数のエッジ角度Θから注目領域のエッジ方向θを推定する。例えば、画像ブロック特徴量算出部４４０は、得られた複数のエッジ角度Θの平均値を算出し、算出された平均値を推定エッジ方向θとする。 In step S302, the image block feature quantity calculation unit 440 calculates the edge angle Θ of the attention area in the feature block output from the image block setting section 42 and the reference area in one or more peripheral areas including the attention area. The calculation is performed using Equation (3).
Note that gx and gy are values calculated in the formula (1) or the formula (2), respectively. Then, the image block feature amount calculation unit 440 estimates the edge direction θ of the attention area from the calculated plurality of edge angles Θ. For example, the image block feature quantity calculation unit 440 calculates the average value of the obtained plurality of edge angles Θ, and sets the calculated average value as the estimated edge direction θ.

ステップＳ３０４において、画像ブロック特徴量算出部４４０は、推定されたエッジ方向θ及び注目領域（特徴ブロック）の画素分布パターンを用いてエッジパターンを選択する。ここで、エッジパターンについては、エッジ方向及び画素分布パターンに応じて予め用意されたパターンテーブル（図１０）の中から選択される。   In step S304, the image block feature quantity calculation unit 440 selects an edge pattern using the estimated edge direction θ and the pixel distribution pattern of the region of interest (feature block). Here, the edge pattern is selected from a pattern table (FIG. 10) prepared in advance according to the edge direction and the pixel distribution pattern.

ステップＳ３０６において、高画質画像ブロック生成部４４２は、拡大率に応じてサイズ及び重み付け係数が設定された強調カーネル４５０（図１２）を用いて、画像ブロック設定部４２により出力された特徴ブロック中の注目領域、及びその周辺領域の画像データに対してコントラスト強調処理を施す。   In step S306, the high-quality image block generation unit 442 uses the enhancement kernel 450 (FIG. 12) in which the size and the weighting coefficient are set according to the enlargement ratio, and the feature block in the feature block output by the image block setting unit 42. Contrast enhancement processing is performed on the image data of the attention area and the surrounding area.

ステップＳ３０８において、高画質画像ブロック生成部４４２は、画像ブロック特徴量算出部４４０で得られた注目領域のエッジパターンおよび前記注目領域の推定エッジ方向θと、ステップＳ３０６においてコントラスト強調が施された注目領域および周辺領域内の画素値を用いて、エッジパターンと推定エッジ方向θに対応する算出式（図１３〜図１４）により３×３画像ブロックに相当する画素値（ｐ０〜ｐ８）を生成する。さらに前記生成された画素値（ｐ０〜ｐ８）と推定エッジ方向θに基づいて選択された参照画素（ｒ０〜ｒ１３）を用いて、図１６に示す算出式により注目領域に対する拡大画像ブロックを生成する。   In step S308, the high-quality image block generation unit 442 displays the edge pattern of the attention area and the estimated edge direction θ of the attention area obtained by the image block feature amount calculation section 440, and the attention subjected to contrast enhancement in step S306. Using the pixel values in the region and the peripheral region, pixel values (p0 to p8) corresponding to 3 × 3 image blocks are generated by calculation formulas (FIGS. 13 to 14) corresponding to the edge pattern and the estimated edge direction θ. . Further, using the generated pixel values (p0 to p8) and the reference pixels (r0 to r13) selected based on the estimated edge direction θ, an enlarged image block for the attention area is generated by the calculation formula shown in FIG. .

ステップＳ３１０において、画像処理装置は、全ての入力画像データについてステップＳ３００からステップＳ３０８までの処理が完了したか否かを判定し、処理が完了していないと判定された場合に、ステップＳ３００の処理に戻って次の画像ブロックに対する処理を行い、全ての入力画像データについて処理が完了していると判定された場合に、ステップＳ３１２の処理に移行する。   In step S310, the image processing apparatus determines whether or not the processing from step S300 to step S308 has been completed for all input image data. If it is determined that the processing has not been completed, the processing in step S300 is performed. Returning to step S3, processing for the next image block is performed, and if it is determined that processing has been completed for all input image data, the process proceeds to step S312.

ステップＳ３１２において、高速拡大処理部４６は、記憶部４０に記憶されている入力画像データを画像毎または数ライン毎に入力し、最近傍補間法により拡大処理を行う。なお、本例の高速拡大処理部４６は、本例による高画質画像ブロック生成処理（ステップＳ３００〜ステップＳ３０８までの処理）が終了した後に拡大処理を行っているが、高画質画像ブロック生成処理と並行して拡大処理を行ってもよいし、高画質画像ブロック生成処理の前に拡大処理を行ってもよい。   In step S312, the high-speed enlargement processing unit 46 inputs the input image data stored in the storage unit 40 for each image or every several lines, and performs enlargement processing by the nearest neighbor interpolation method. Note that the high-speed enlargement processing unit 46 of this example performs the enlargement process after the high-quality image block generation process (steps S300 to S308) according to this example is completed. The enlargement process may be performed in parallel, or the enlargement process may be performed before the high-quality image block generation process.

ステップＳ３１４において、拡大画像生成部４８は、高画質画像ブロック生成部４４２により生成された拡大画像と、高速拡大処理部４６により拡大された拡大画像を統合する。
なお、拡大画像生成部４８は、拡大画素の統合方法として、高画質画像ブロック生成部４４２により生成された拡大画像で単純に置き換える方法、又は、高画質画像ブロック生成部４４２により生成された拡大画像と高速拡大処理部４６により生成された拡大画像との平均化処理を行う方法などを適用してもよい。すなわち、拡大画像生成部４８は、高画質画像ブロック生成部４４２により生成された拡大画像を用いるのであれば、処理速度及び画質を勘案し、種々の統合方法を適用しうる。 In step S <b> 314, the enlarged image generation unit 48 integrates the enlarged image generated by the high-quality image block generation unit 442 and the enlarged image enlarged by the high-speed enlargement processing unit 46.
Note that the enlarged image generation unit 48 simply replaces the enlarged image generated by the high quality image block generation unit 442 with the enlarged pixel integration method, or the enlarged image generated by the high quality image block generation unit 442. A method of performing an averaging process on the enlarged image generated by the high-speed enlargement processing unit 46 may be applied. That is, if the enlarged image generated by the high quality image block generating unit 442 is used, the enlarged image generating unit 48 can apply various integration methods in consideration of the processing speed and the image quality.

以上説明したように、本実施形態における画像処理方法は、注目画素を含む所定の大きさの画像領域の特徴に基づいて複数の選択手段を切替えて画像領域を選択し、選択された画像領域の特徴量を算出し、算出された特徴量が所定の条件を満たす前記画像領域に対して拡大画像領域を生成し、さらには、異なる拡大手法により入力画像の拡大画像を生成し、前記拡大画像領域と、異なる拡大手法により生成された拡大画像とに基づいて、入力画像に対する拡大画像を生成している。このような拡大処理によって、高画質拡大処理を特徴的な部分（特徴ブロック）にのみ適用することにより、全体としての処理負荷を抑え、かつ、特徴的な部分について高画質拡大処理を適用することにより、特徴的な部分の特徴量を保存して、ボケやジャギーなどの画質欠陥を抑制した高画質な拡大画像が得ることができる。   As described above, the image processing method according to the present embodiment selects an image area by switching a plurality of selection units based on the characteristics of the image area having a predetermined size including the target pixel, and selects the selected image area. A feature amount is calculated, an enlarged image region is generated for the image region where the calculated feature amount satisfies a predetermined condition, and an enlarged image of the input image is generated by a different enlargement method. And an enlarged image for the input image is generated based on the enlarged images generated by different enlargement methods. By applying high-quality enlargement processing only to characteristic parts (feature blocks) by such enlargement processing, the overall processing load is suppressed, and high-quality enlargement processing is applied to characteristic parts. Thus, it is possible to save the feature amount of the characteristic part and obtain a high-quality enlarged image in which image quality defects such as blur and jaggy are suppressed.

本発明にかかる画像解析方法が適用される画像処理装置のハードウェア構成を、制御装置を中心に例示する図である。It is a figure which illustrates the hardware constitutions of the image processing apparatus to which the image analysis method concerning this invention is applied centering on a control apparatus. 制御装置により実行され、本発明にかかる画像解析方法を用いる画像拡大プログラムの機能構成を示す図である。It is a figure which shows the function structure of the image expansion program which is performed by the control apparatus and uses the image analysis method concerning this invention. 注目領域及び周辺領域の具体例と、注目領域のエッジ方向の一例の説明図であり、図３（Ａ）は、注目領域及び周辺領域を例示し、図３（Ｂ）は、この注目領域について推定されるエッジ方向を例示する図である。FIG. 3A is a diagram illustrating a specific example of a region of interest and a peripheral region, and an example of an edge direction of the region of interest. FIG. 3A illustrates the region of interest and the peripheral region, and FIG. It is a figure which illustrates the estimated edge direction. 本例における画像ブロック設定部による画像ブロック設定処理のフローチャートである。It is a flowchart of the image block setting process by the image block setting part in this example. 画像ブロック選択部による注目領域の選択処理の具体例を説明する図である。It is a figure explaining the specific example of the selection process of the attention area by an image block selection part. 本実施例の特徴量保存拡大処理部の構成及びその周辺を示すブロック図である。It is a block diagram which shows the structure of the feature-value storage expansion process part of a present Example, and its periphery. エッジ方向推定部によるエッジ方向推定処理（Ｓ２０）のフローチャートである。It is a flowchart of the edge direction estimation process (S20) by an edge direction estimation part. 図７に示したＳ２１０の処理において選択される参照領域を例示する図である。It is a figure which illustrates the reference field selected in processing of S210 shown in Drawing 7. 図３に示した注目領域における推定エッジ方向の一例の説明図である。It is explanatory drawing of an example of the estimated edge direction in the attention area | region shown in FIG. エッジパターン選択部で用いるエッジパターンテーブルを例示する図である。It is a figure which illustrates the edge pattern table used in an edge pattern selection part. 図１０に示した注目領域に対応するエッジパターンの選択方法を説明する図である。It is a figure explaining the selection method of the edge pattern corresponding to the attention area shown in FIG. 高画質画像ブロック生成部により用いられる強調カーネル（エッジ強調カーネル）を例示する図である。It is a figure which illustrates the emphasis kernel (edge emphasis kernel) used by the high quality image block production | generation part. 高画質画像ブロック生成部における拡大画像ブロックの生成処理の具体例の説明図である。It is explanatory drawing of the specific example of the production | generation process of the enlarged image block in a high quality image block production | generation part. 他の（エッジパターン）−（推定エッジ方向）の組み合わせの場合に用いる計算式の一例の説明図である。It is explanatory drawing of an example of the calculation formula used in the case of another (edge pattern)-(estimated edge direction) combination. 注目領域における推定エッジ方向に基づく参照画素ｒ０〜ｒ１３の選択方法の説明図である。It is explanatory drawing of the selection method of the reference pixels r0-r13 based on the estimated edge direction in an attention area. ４×４画素の拡大画像ブロックの生成処理の具体例の説明図である。It is explanatory drawing of the specific example of a production | generation process of the enlarged image block of 4x4 pixel. 高画質画像ブロック生成部で生成された４×４画素の拡大画像ブロックと、高速拡大処理部から出力された拡大画像とを統合する具体例の説明図である。It is explanatory drawing of the specific example which integrates the 4x4 pixel enlarged image block produced | generated by the high quality image block production | generation part, and the enlarged image output from the high-speed enlargement process part. 本例の画像拡大処理のフローチャートである。It is a flowchart of the image expansion process of this example.

符号の説明Explanation of symbols

２・・・画像処理装置
１０・・・プリンタ装置
２０・・・制御装置
２０２・・・ＣＰＵ
２０４・・・メモリ
２２・・・通信装置
２４・・・記憶装置
２４０・・・記録媒体
２６・・・ＵＩ装置
４・・・画像拡大プログラム
４０・・・記憶部
４２・・・画像ブロック設定部
４２０・・・画像ブロック選択部
４２２・・・エッジ強度算出部
４４・・・特徴量保存拡大処理部
４４０・・・画像ブロック特徴量算出部
４４２・・・高画質画像ブロック生成部
４４４・・・エッジ方向推定部
４４６・・・エッジパターン選択部
４５０ａ、４５０ｂ・・・強調カーネル
４６・・・高速拡大処理部
４８・・・拡大画像生成部 2 ... Image processing device 10 ... Printer device 20 ... Control device 202 ... CPU
204 ... Memory 22 ... Communication device 24 ... Storage device 240 ... Recording medium 26 ... UI device 4 ... Image enlargement program 40 ... Storage unit 42 ... Image block setting unit 420 ... Image block selection unit 422 ... Edge strength calculation unit 44 ... Feature amount storage / enlargement processing unit 440 ... Image block feature amount calculation unit 442 ... High quality image block generation unit 444 ... Edge direction estimation unit 446 ... edge pattern selection unit 450a, 450b ... enhancement kernel 46 ... high-speed enlargement processing unit 48 ... enlarged image generation unit

Claims (29)

入力画像から所定サイズの画像領域を選択する画像領域選択手段と、この画像領域選択手段が選択した画像領域の特徴量を算出する特徴量算出手段と、この特徴量算出手段が算出した特徴量に応じて、前記画像領域選択手段が次に選択する画像領域の位置を制御する選択位置制御手段と、前記特徴量算出手段が算出した特徴量を記憶する記憶手段と、前記特徴量算出手段により算出された特徴量が所定の閾値よりも大きいか否かを判定する判定手段と、前記判定手段における判定結果に基づいて前記画像領域選択手段により選択された画像領域を特徴量が大きい特徴領域と特徴量が小さい非特徴領域とに切り分ける切分け手段とを有し、
前記選択位置制御手段は、特徴量が所定の閾値よりも大きいと前記判定手段が判定した場合、特徴量が所定の閾値以下であると前記判定手段が判定した最後の画像領域に遡って、前記画像領域選択手段が画像領域を選択するよう制御する画像解析装置。 An image area selecting means for selecting an image area of a predetermined size from the input image, a feature quantity calculating means for calculating the feature quantity of the image area selected by the image area selecting means, and a feature quantity calculated by the feature quantity calculating means. In response, the image area selection means controls the selection position control means for controlling the position of the image area to be selected next, the storage means for storing the feature quantity calculated by the feature quantity calculation means, and the feature quantity calculation means. A determination unit that determines whether or not the determined feature amount is greater than a predetermined threshold; and an image region selected by the image region selection unit based on a determination result in the determination unit and a feature region having a large feature amount Cutting means for dividing into a non-feature region having a small amount,
When the determination unit determines that the feature amount is greater than a predetermined threshold, the selection position control unit traces back to the last image area determined by the determination unit that the feature amount is equal to or less than the predetermined threshold. An image analysis apparatus that controls an image area selection unit to select an image area . 特徴量が所定の閾値以下であると前記判定手段が判定した場合、前記選択位置制御手段は、前記画像領域選択手段が最後に選択した画像領域と次に選択する画像領域との距離を所定の基準距離よりも大きくするよう制御する請求項１記載の画像解析装置。 When the determination unit determines that the feature amount is equal to or less than a predetermined threshold, the selection position control unit determines a distance between the image region last selected by the image region selection unit and the next image region to be selected. The image analysis apparatus according to claim 1, wherein the image analysis apparatus is controlled to be larger than the reference distance. 特徴量が所定の閾値よりも大きいと前記判定手段が判定した場合、前記選択位置制御手段は、前記画像領域選択手段が最後に選択した画像領域と次に選択する画像領域との距離を所定の基準距離にするよう制御する請求項２記載の画像解析装置。   When the determination unit determines that the feature amount is larger than a predetermined threshold, the selection position control unit determines a distance between the image region last selected by the image region selection unit and the next image region to be selected. The image analysis apparatus according to claim 2, wherein the image analysis apparatus is controlled to be a reference distance. 前記判定手段に対して閾値を設定する閾値設定手段をさらに有する請求項１乃至３いずれか記載の画像解析装置。 The image analysis device according to any one of claims 1 to 3 further comprising a threshold setting means for setting a threshold value to said determining means. 前記選択位置制御手段に対して、前記画像領域選択手段が最後に選択した画像領域と次に選択する画像領域との基準距離を設定する基準距離設定手段をさらに有する請求項２乃至４いずれか記載の画像解析装置。 To the selected position control means, the image area selection means further comprises according to any one of claims 2 to 4 the reference distance setting means for setting a reference distance between the last selected image area and the image area to be selected in the following Image analysis device. 前記特徴量算出手段は、前記画像領域選択手段が選択した画像領域内の階調変化量を特徴量として算出する請求項１乃至５いずれか記載の画像解析装置。 The feature amount calculating means, the image area selection unit image analysis device according to any one of claims 1 to 5 is calculated as a feature amount a gradation change of the image within the area selected. 前記特徴量算出手段は、前記画像領域選択手段が選択した画像領域内の階調変化方向を特徴量として算出する請求項１乃至５いずれか記載の画像解析装置。 The feature amount calculating means, the image area selection unit image analysis apparatus according to any of claims 1 to 5 for calculating a gradation change direction of the selected image region as the feature amount. 複数のエッジパターンを記憶するエッジパターン記憶手段をさらに有し、前記特徴量算出手段は、前記画像領域選択手段が選択した画像領域内のエッジパターンを算出し、算出したエッジパターンに対応する前記エッジパターン記憶手段に記憶されたエッジパターンのいずれかを特徴量とみなす請求項１乃至５いずれか記載の画像解析装置。 The image processing apparatus further includes an edge pattern storage unit that stores a plurality of edge patterns, wherein the feature amount calculation unit calculates an edge pattern in the image region selected by the image region selection unit, and the edge corresponding to the calculated edge pattern the image analysis device according to any one of claims 1 to 5 regarded as the feature amount of any of the stored edge pattern in the pattern storage means. 前記特徴量算出手段は、前記画像領域選択手段が選択した画像領域内の1つ以上の色成分に基づいて、特徴量を算出する請求項１乃至８いずれか記載の画像解析装置。 The feature amount calculating means, the image area selection unit based on one or more color components of the image region selected, the image analysis device according to any one of claims 1 to 8 to calculate a feature amount. 入力画像から所定サイズの画像領域を選択する画像領域選択手段と、この画像領域選択手段が選択した画像領域の特徴量を算出する特徴量算出手段と、この特徴量算出手段が算出した特徴量に応じて、前記画像領域選択手段が次に選択する画像領域の位置を制御する選択位置制御手段と、前記特徴量算出手段が算出した特徴量を記憶する記憶手段と、前記特徴量算出手段が算出する特徴量が所定の閾値よりも大きいか否かを判定する判定手段と、特徴量が所定の閾値よりも大きいと前記判定手段が判定した場合に、前記画像領域選択手段が選択した画像領域に第１の処理を行う第１の処理手段と、入力画像に対して第２の処理を行う第２の処理手段と、この第２の処理手段が処理した入力画像、及び前記第１の処理手段が処理した画像領域の画像から出力画像を生成する出力画像生成手段とを有し、
前記選択位置制御手段は、特徴量が所定の閾値よりも大きいと前記判定手段が判定した場合、特徴量が所定の閾値以下であると前記判定手段が判定した最後の画像領域に遡って、前記画像領域選択手段が画像領域を選択するよう制御する画像処理装置。 An image area selecting means for selecting an image area of a predetermined size from the input image, a feature quantity calculating means for calculating the feature quantity of the image area selected by the image area selecting means, and a feature quantity calculated by the feature quantity calculating means. In response, the position selection unit for controlling the position of the image region to be selected next by the image region selection unit, the storage unit for storing the feature amount calculated by the feature amount calculation unit, and the feature amount calculation unit A determination unit that determines whether or not a feature amount to be greater than a predetermined threshold, and an image region selected by the image region selection unit when the determination unit determines that the feature amount is greater than a predetermined threshold. First processing means for performing first processing, second processing means for performing second processing on the input image, input image processed by the second processing means, and the first processing means Of the image area processed by It possesses an output image generation means for generating an output image from the image,
When the determination unit determines that the feature amount is greater than a predetermined threshold, the selection position control unit traces back to the last image area determined by the determination unit that the feature amount is equal to or less than the predetermined threshold. An image processing apparatus that controls an image area selection unit to select an image area . 特徴量が所定の閾値以下であると前記判定手段が判定した場合、前記選択位置制御手段は、前記画像領域選択手段が最後に選択した画像領域と次に選択する画像領域との距離を所定の基準距離よりも大きくするよう制御する請求項１０記載の画像処理装置。 When the determination unit determines that the feature amount is equal to or less than a predetermined threshold, the selection position control unit determines a distance between the image region last selected by the image region selection unit and the next image region to be selected. The image processing apparatus according to claim 10 , wherein the image processing apparatus is controlled to be larger than the reference distance. 特徴量が所定の閾値よりも大きいと前記判定手段が判定した場合、前記選択位置制御手段は、前記画像領域選択手段が最後に選択した画像領域と次に選択する画像領域との距離を所定の基準距離にするよう制御する請求項１１記載の画像処理装置。 When the determination unit determines that the feature amount is larger than a predetermined threshold, the selection position control unit determines a distance between the image region last selected by the image region selection unit and the next image region to be selected. The image processing apparatus according to claim 11 , wherein the image processing apparatus is controlled to be a reference distance. 前記判定手段に対して閾値を設定する閾値設定手段をさらに有する請求項１０乃至１２いずれか記載の画像処理装置。 The image processing device according to any one of claims 10 to 12 further comprising a threshold setting means for setting a threshold value to said determining means. 前記選択位置制御手段に対して、前記画像領域選択手段が最後に選択した画像領域と次に選択する画像領域との基準距離を設定する基準距離設定手段をさらに有する請求項１０乃至１３いずれか記載の画像処理装置。 To the selected position control means, the image area selection unit last selected image area and according to any one of claims 10 to 13 further comprising a reference distance setting means for setting a reference distance between the image area to be selected next Image processing apparatus. 前記特徴量算出手段は、前記画像領域選択手段が選択した画像領域内の階調変化量を特徴量として算出する請求項１０乃至１４いずれか記載の画像処理装置。 The feature amount calculating means, the image area selection unit image processing device according to any one of claims 10 to 14 is calculated as a feature amount a gradation change of the image within the area selected. 前記特徴量算出手段は、前記画像領域選択手段が選択した画像領域内の階調変化方向を特徴量として算出する請求項１０乃至１４いずれか記載の画像処理装置。 The feature amount calculating means, the image area selection unit image processing device according to any one of claims 10 to 14 to calculate a gradation change direction in the image area selected as a feature. 複数のエッジパターンを記憶するエッジパターン記憶手段をさらに有し、前記特徴量算出手段は、前記画像領域選択手段が選択した画像領域内のエッジパターンを算出し、算出したエッジパターンに対応する前記エッジパターン記憶手段に記憶されたエッジパターンのいずれかを特徴量とみなす請求項１０乃至１４いずれか記載の画像処理装置。 The image processing apparatus further includes an edge pattern storage unit that stores a plurality of edge patterns, wherein the feature amount calculation unit calculates an edge pattern in the image region selected by the image region selection unit, and the edge corresponding to the calculated edge pattern the image processing device according to any one of claims 10 to 14 regarded as the feature amount of any of the stored edge pattern in the pattern storage means. 前記特徴量算出手段は、前記画像領域選択手段が選択した画像領域内の1つ以上の色成分に基づいて、特徴量を算出する請求項１０乃至１７いずれか記載の画像処理装置。 The feature amount calculating means, the image area selection unit based on one or more color components of the image region selected, the image processing apparatus according to any one of claims 10 to 17 to calculate a feature amount. 前記第１の処理手段は、前記画像領域選択手段が選択した画像領域に対し、前記特徴量算出手段が算出した特徴量が保存されるような拡大処理を行い、前記第２の処理手段は、入力画像に対して前記第１の処理手段による拡大処理とは異なる拡大処理を行う請求項１０乃至１８いずれか記載の画像処理装置。 The first processing unit performs an enlargement process on the image region selected by the image region selection unit so that the feature amount calculated by the feature amount calculation unit is stored, and the second processing unit includes: the image processing device according to any one of claims 10 to 18 perform different enlargement processing and enlargement processing by said first processing means to the input image. 前記第１の処理手段は、前記特徴量算出手段が算出した特徴量とともに、前記画像領域選択手段が選択した画像領域の近傍領域の特徴量および画素値を用いて拡大処理を行う請求項１９記載の画像処理装置。 Said first processing means, together with the feature quantity the feature amount calculation means has calculated, according to claim 19, wherein performing the enlargement processing using the feature amount and the pixel values of the neighboring region of the image area where the image area selecting means selects Image processing apparatus. 前記第１の処理手段は、カーネル要素及びカーネル要素間距離が画像の拡大率に応じて異なるエッジ強調カーネルを用いて補正した画像領域の画素値を用いて拡大処理を行う請求項１９記載の画像処理装置。 The image according to claim 19, wherein the first processing means performs an enlargement process using a pixel value of an image region in which a kernel element and a distance between kernel elements are corrected using edge enhancement kernels that differ according to an enlargement ratio of the image. Processing equipment. 前記第１の処理手段は、前記画像領域選択手段が選択した画像領域の階調変化の方向に応じて選択した近傍領域内の画素値を用いて拡大処理を行う請求項１９記載の画像処理装置。 The image processing apparatus according to claim 19, wherein the first processing unit performs an enlargement process using a pixel value in a neighboring region selected according to a direction of gradation change of the image region selected by the image region selecting unit. . 前記第１の処理手段は、前記特徴量算出手段が算出した特徴量に応じた演算により、拡大処理を行う請求項１９記載の画像処理装置。 The image processing apparatus according to claim 19, wherein the first processing unit performs an enlargement process by an operation according to the feature amount calculated by the feature amount calculation unit. 前記第２の処理手段は、最近傍補間法または線形補間法を用いて拡大処理を行う請求項１９乃至２３いずれか記載の画像処理装置。 The image processing apparatus according to any one of claims 19 to 23, wherein the second processing means performs an enlargement process using a nearest neighbor interpolation method or a linear interpolation method. 前記第２の処理手段は、入力画像毎又は入力画像中の数ライン毎に拡大処理を行う請求項１９乃至２３いずれか記載の画像処理装置。 The image processing apparatus according to any one of claims 19 to 23, wherein the second processing means performs an enlargement process for each input image or for several lines in the input image. 前記出力画像生成手段は、前記第１の処理手段が処理した画像領域の画像を、前記第２の処理手段が処理した入力画像上の対応する位置に配置することによって出力画像を生成する請求項１０乃至２５いずれか記載の画像処理装置。 The output image generation unit generates an output image by arranging an image of an image region processed by the first processing unit at a corresponding position on an input image processed by the second processing unit. The image processing apparatus according to any one of 10 to 25 . 入力画像から所定サイズの画像領域を選択し、選択した画像領域の特徴量を算出し、算出した特徴量を記憶し、算出された特徴量が所定の閾値よりも大きいか否かを判定し、その判定結果に基づいて選択された画像領域を特徴量が大きい特徴領域と特徴量が小さい非特徴領域とに切り分ける切分け、算出された特徴量が所定の閾値よりも大きいと判定された場合、特徴量が所定の閾値以下であると判定された最後の画像領域に遡って、画像領域を選択するようにして次に選択する画像領域の位置を制御する画像解析方法。 Select an image area of a predetermined size from the input image, calculate the feature amount of the selected image region, store the calculated feature amount, determine whether the calculated feature amount is greater than a predetermined threshold, When the image region selected based on the determination result is divided into a feature region having a large feature amount and a non-feature region having a small feature amount, and the calculated feature amount is determined to be larger than a predetermined threshold, An image analysis method for controlling the position of an image area to be selected next by selecting an image area by going back to the last image area in which the feature amount is determined to be equal to or less than a predetermined threshold . 入力画像から所定サイズの画像領域を選択するステップと、選択した画像領域の特徴量を算出するステップと、算出した特徴量を記憶するステップと、算出された特徴量が所定の閾値よりも大きいか否かを判定するステップと、その判定結果に基づいて選択された画像領域を特徴量が大きい特徴領域と特徴量が小さい非特徴領域とに切り分ける切分けるステップと、算出された特徴量が所定の閾値よりも大きいと判定された場合、特徴量が所定の閾値以下であると判定された最後の画像領域に遡って、画像領域を選択するようにして次に選択する画像領域の位置を制御するステップとをコンピュータに実行させる画像解析プログラム。 Selecting an image area of a predetermined size from the input image; calculating a feature amount of the selected image region; storing the calculated feature amount; and whether the calculated feature amount is greater than a predetermined threshold value A step of determining whether or not an image region selected based on the determination result is divided into a feature region having a large feature amount and a non-feature region having a small feature amount, and the calculated feature amount is predetermined. If it is determined that it is larger than the threshold, the position of the next image area to be selected is controlled so as to select the image area by going back to the last image area where the feature amount is determined to be equal to or less than the predetermined threshold. An image analysis program for causing a computer to execute steps. 入力画像から所定サイズの画像領域を選択するステップと、選択した画像領域の特徴量を算出するステップと、算出した特徴量を記憶するステップと、算出された特徴量が所定の閾値よりも大きいか否かを判定するステップと、その判定結果に基づいて選択された画像領域を特徴量が大きい特徴領域と特徴量が小さい非特徴領域とに切り分ける切分けるステップと、算出された特徴量が所定の閾値よりも大きいと判定された場合、特徴量が所定の閾値以下であると判定された最後の画像領域に遡って、画像領域を選択するようにして次に選択する画像領域の位置を制御するステップとをコンピュータに実行させるための画像解析プログラムを記録したコンピュータ読み取り可能な記録媒体。

Selecting an image area of a predetermined size from the input image; calculating a feature amount of the selected image region; storing the calculated feature amount; and whether the calculated feature amount is greater than a predetermined threshold value A step of determining whether or not an image region selected based on the determination result is divided into a feature region having a large feature amount and a non-feature region having a small feature amount, and the calculated feature amount is predetermined. If it is determined that it is larger than the threshold, the position of the next image area to be selected is controlled so as to select the image area by going back to the last image area where the feature amount is determined to be equal to or less than the predetermined threshold. A computer-readable recording medium on which an image analysis program for causing a computer to execute the steps is recorded.

Images