JP2012114687A - Image processing apparatus and image processing method - Google Patents
Image processing apparatus and image processing method Download PDFInfo
- Publication number
- JP2012114687A JP2012114687A JP2010262150A JP2010262150A JP2012114687A JP 2012114687 A JP2012114687 A JP 2012114687A JP 2010262150 A JP2010262150 A JP 2010262150A JP 2010262150 A JP2010262150 A JP 2010262150A JP 2012114687 A JP2012114687 A JP 2012114687A
- Authority
- JP
- Japan
- Prior art keywords
- edge
- interpolation
- pixel
- image
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 146
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000003708 edge detection Methods 0.000 claims abstract description 99
- 238000002156 mixing Methods 0.000 claims abstract description 54
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims description 106
- 238000009825 accumulation Methods 0.000 claims description 18
- 230000001186 cumulative effect Effects 0.000 claims description 14
- 230000002093 peripheral effect Effects 0.000 claims description 10
- 230000000694 effects Effects 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 27
- 239000007787 solid Substances 0.000 description 20
- 238000010586 diagram Methods 0.000 description 15
- 239000004973 liquid crystal related substance Substances 0.000 description 14
- 239000000203 mixture Substances 0.000 description 14
- 238000007792 addition Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000000750 progressive effect Effects 0.000 description 6
- 230000000717 retained effect Effects 0.000 description 4
- 239000000758 substrate Substances 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Television Systems (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
Description
本発明は、入力された画像を拡大処理し、液晶、ＰＤＰ、有機ＥＬなどのパネルに表示する画像処理装置及び画像処理方法に関する。 The present invention relates to an image processing apparatus and an image processing method for enlarging an input image and displaying it on a panel such as a liquid crystal display, a PDP, or an organic EL.
近年、画像の高解像化に伴い、表示装置（液晶、ＰＤＰ、有機ＥＬなど）の表示解像度も高くなっている。但し、ハイビジョン放送などにより放送されるテレビ信号（インターレース信号）等の入力画像は、表示装置の表示解像度に合っていない場合があり、表示装置内で入力画像の解像度を表示解像度まで拡大する必要がある。 In recent years, display resolution of display devices (liquid crystal, PDP, organic EL, and the like) has been increased with higher resolution of images. However, an input image such as a TV signal (interlace signal) broadcasted by high-definition broadcasting or the like may not match the display resolution of the display device, and it is necessary to increase the resolution of the input image to the display resolution in the display device. is there.
しかし、単純に線形補間等の手法で拡大処理してしまうと、輪郭にぼやけが生じたり、斜め線でジャギーが発生したりしてしまう。そこで、入力画像を縦横に拡大する際に、インターレース・プログレッシブ変換（ＩＰ変換）時に用いるフレーム内補間処理を、縦方向及び横方向に適用することにより、斜め方向のエッジが滑らかな補間画素を生成することが可能となる。 However, if the enlargement process is simply performed by a method such as linear interpolation, the outline is blurred or jaggy is generated in an oblique line. Therefore, when the input image is expanded vertically and horizontally, intra-frame interpolation processing used during interlace progressive conversion (IP conversion) is applied in the vertical and horizontal directions to generate interpolation pixels with smooth edges in the diagonal direction. It becomes possible to do.
Ｉ／Ｐ変換とは、インターレース信号において間引かれている走査線を、各フィールドの情報をそれぞれ用いて補間信号を生成し、プログレッシブ信号に変換するものである。一般に、インターレース方式の画像をプログレッシブ方式の画像に変換する場合、インターレース画像が静止画像である場合には、一方のフィールド走査線を隣接する他方のフィールド走査線の間にはめ込むことにより補間走査線（以下、補間ラインという）を生成するフィールド間補間が行われ、またインターレース画像が動画像である場合には、同一フィールド内の隣接走査線上の画素を用いて補間ラインを生成するフィールド内補間が行われる。 In the I / P conversion, an interpolated signal is generated from the scanning line thinned out in the interlace signal by using information of each field, and converted into a progressive signal. In general, when an interlaced image is converted into a progressive image, when the interlaced image is a still image, an interpolated scanning line (by inserting one field scanning line between the other adjacent field scanning lines ( Inter-field interpolation for generating interpolation lines is performed, and when the interlaced image is a moving image, intra-field interpolation for generating an interpolation line using pixels on adjacent scanning lines in the same field is performed. Is called.
フィールド内の補間処理でインターレースｎラインとインターレースｎ＋１ライン間に補間ラインを生成するにあたっては、補間ライン上の画素Ａとして、その上下の走査線ｎ，ｎ＋１上の画素Ｕ，Ｄを加算して平均値（＝（Ｕ＋Ｄ）/２）を得る方法が簡単である。しかしながら、この上下方向の補間方法を適用した場合、絵柄によっては斜め線がギザギザして見える、いわゆるジャギーが目立つ画像となる場合がある。 When generating an interpolated line between interlaced n lines and interlaced n + 1 lines in the interpolation process in the field, the pixels U and D on the upper and lower scanning lines n and n + 1 are added and averaged as the pixel A on the interpolated line. The method of obtaining the value (= (U + D) / 2) is simple. However, when this vertical interpolation method is applied, depending on the pattern, an oblique line may appear jagged, so-called jaggy is noticeable.
また、インターレース画像をプログレッシブ画像に変換する技術として、動き適応型プログレッシブ変換がある。この技術は、画素単位もしくは画素ブロック単位で動き検出を行い、フィールド内補間処理結果とフィールド間補間処理結果を、動き検出結果に応じた混合比で混合処理する、という技術である。動き検出としては、１フレーム間の同一位置の画素同士の信号レベルの差分等から推定する。 As a technique for converting an interlaced image into a progressive image, there is a motion adaptive progressive conversion. This technique is a technique in which motion detection is performed in units of pixels or pixel blocks, and the inter-field interpolation processing result and inter-field interpolation processing result are mixed with a mixing ratio corresponding to the motion detection result. As motion detection, estimation is performed from a difference in signal level between pixels at the same position in one frame.
しかし、動き適応型プログレッシブ変換処理では、フィールド内補間処理として上下画素平均値を使用すると、垂直方向の解像感が低くなり、斜め線がギザギザに見える問題がある。一方、このような問題を解決する方法として、斜め補間という方法が知られている。斜め補間処理は、補間画素Ａを生成するにあたり、その上下の走査線ｎ，ｎ＋１から、補間ライン上の画素Ａを中心として点対称となる画素のペアを一組選択し、そのペアの画素値の平均値を補間画素値として用いる方法である。 However, in the motion adaptive progressive conversion processing, if the upper and lower pixel average values are used as the intra-field interpolation processing, the vertical resolution is lowered, and there is a problem that the diagonal lines appear jagged. On the other hand, as a method for solving such a problem, a method called diagonal interpolation is known. In the diagonal interpolation process, when generating the interpolation pixel A, a pair of pixels that are point-symmetric about the pixel A on the interpolation line is selected from the upper and lower scanning lines n, n + 1, and the pixel value of the pair is selected. Is used as an interpolated pixel value.
補間方向の選択の方法の例として、ペアの画素間の絶対差分値が最小のものを使用する方法がある。例えば、補間しようとしている画素を中心とする上下及び斜め方向の一対の画素間の差分をとり、多数の斜め差分信号を用いて、斜め相関の高い方向を判定し、補間画素を作成するものである。斜め補間に関する従来技術としては、例えば、特許文献１、特許文献２に記載のものがある。 As an example of the method of selecting the interpolation direction, there is a method of using the one having the smallest absolute difference value between a pair of pixels. For example, the difference between a pair of pixels in the vertical and diagonal directions centered on the pixel to be interpolated is taken, a large diagonal correlation signal is used to determine the direction with high diagonal correlation, and an interpolation pixel is created. is there. For example, Patent Documents 1 and 2 disclose conventional techniques related to oblique interpolation.
以上を踏まえて、拡大処理を行なうと、例えば、縦方向に２倍にする場合、まず、補間画素位置を挟むようにした上下の複数ラインから、補間画素位置を中心とした周辺画素を用い相関値を計算する。次に、その相関値から最適な補間方向を選択し、その補間方向から補間画素値を生成する。これによって、斜め方向に関してはジャギーがなくなる。 Based on the above, when the enlargement process is performed, for example, when doubling in the vertical direction, first, correlation is performed using peripheral pixels centered on the interpolation pixel position from a plurality of upper and lower lines sandwiching the interpolation pixel position. Calculate the value. Next, an optimal interpolation direction is selected from the correlation value, and an interpolation pixel value is generated from the interpolation direction. This eliminates jaggy in the oblique direction.
しかし、縦方向に急峻に変化する水平ライン（このような画像の代表例としては、文字などが挙げられる。）のような画像の場合、相関がどの方向も同じとなるため、対象画素の上下方向に線形補間を行うことになる。その結果、補間値は上下画素値の平均値となってしまう。そのため、元々はっきりしていた文字などは、ぼやけた表示になってしまい、見づらい低品質な表示になるという問題が発生する。このような縦方向に急峻に変化する水平ラインのような画像に対しては、上記従来の画素補間処理では対応できないという課題があった。このような課題を有する従来の画素補間処理の具体例について、以下に説明する。 However, in the case of an image such as a horizontal line that sharply changes in the vertical direction (a typical example of such an image is a character or the like), the correlation is the same in any direction. Linear interpolation is performed in the direction. As a result, the interpolation value becomes an average value of the upper and lower pixel values. For this reason, characters that were originally clear become a blurred display, resulting in a low quality display that is difficult to see. There is a problem that the conventional pixel interpolation processing cannot cope with such an image such as a horizontal line that changes sharply in the vertical direction. A specific example of conventional pixel interpolation processing having such problems will be described below.
図１は、上記補間画素を中心として点対称となる画素のペアを選択して行なう斜め補間処理の一例を示す図である。この場合、図中の右斜め方向に相関が高い画素が存在するため、その中央位置に配置された補間画素は滑らかに補間されている。一方、図２も同様に斜め補間処理の一例を示す図である。しかし、このように各オリジナルラインの水平方向にのみ相関が強く、補間画素を中心とした点対称となる画素間の相関がいずれの方向でも同じとなる場合には、結局上下画素値の平均値を補間画素値として生成してしまう。図３は、この図２の場合に斜め補間処理を行なった補間結果を示した図である。よって、このような場合に従来の斜め補間をそのまま行なうと、元々はっきりとしていたものがぼやけた表示となってしまい、見づらい低品質な表示になってしまう。 FIG. 1 is a diagram showing an example of an oblique interpolation process performed by selecting a pixel pair that is point-symmetric about the interpolation pixel. In this case, since there is a pixel having a high correlation in the diagonally right direction in the figure, the interpolation pixel arranged at the center position is smoothly interpolated. On the other hand, FIG. 2 is also a diagram showing an example of diagonal interpolation processing. However, when the correlation is strong only in the horizontal direction of each original line and the correlation between the pixels that are point-symmetric with respect to the interpolation pixel is the same in any direction, the average value of the upper and lower pixel values is eventually obtained. Is generated as an interpolated pixel value. FIG. 3 is a diagram showing an interpolation result obtained by performing an oblique interpolation process in the case of FIG. Therefore, if the conventional diagonal interpolation is performed as it is in such a case, what was originally clear becomes a blurred display, resulting in a low quality display that is difficult to see.
本発明は、上記の問題に鑑み、画像中に急峻な画素値の変化をもつ画像を拡大する際に、斜め補間処理によるフィールド内補間のジャギーの軽減という改善効果を残しつつ、かつ、原画像の急峻な変化を拡大後も保持することができ、原画像の品質を保持したままより高品位な表示を可能にする画素補間処理を実現する画像処理装置及び画像処理方法を提供することを目的とする。 In view of the above problems, the present invention, while enlarging an image having a sharp change in pixel value in an image, leaves an improvement effect of reducing jaggies of intra-field interpolation by oblique interpolation processing, and also preserves the original image It is possible to provide an image processing apparatus and an image processing method for realizing a pixel interpolation process that can maintain a steep change in image quality even after enlargement and enables higher-quality display while maintaining the quality of the original image And
本願発明の一実施形態に係る画像処理装置は、入力画像の拡大処理を実行する画像処理装置において、前記入力画像のフレーム毎に前記入力画像の補間画素を作成して出力するフレーム内補間処理部と、前記入力画像のフレーム内で検出対象領域毎に画素間の変化を検出し、前記画素間の変化によりエッジの有無を判定してエッジ判定結果を出力するエッジ検出部と、前記エッジ検出部による前記エッジ判定結果に基づいて、前記フレーム内補間処理部から出力される補間画素に対して前記入力画像に含まれる原画素を選択的に混合して前記フレーム内補間処理を実行する混合処理部と、を備えることを特徴とする。この画像処理装置によれば、画像中に急峻な画素値の変化をもつ画像を拡大する際に、斜め補間処理によるフレーム内補間時のジャギーを軽減しながら、原画像の急峻な変化を拡大後も保持することができ、原画像の品質を保持したままより高品位な表示が可能となる。 An image processing apparatus according to an embodiment of the present invention provides an intra-frame interpolation processing unit that generates and outputs an interpolation pixel of the input image for each frame of the input image in an image processing apparatus that executes an enlargement process of the input image. An edge detection unit that detects a change between pixels for each detection target region in a frame of the input image, determines the presence or absence of an edge based on the change between the pixels, and outputs an edge determination result; and the edge detection unit Based on the edge determination result by the above, the mixing processing unit that selectively mixes the original pixel included in the input image with the interpolation pixel output from the intra-frame interpolation processing unit and executes the intra-frame interpolation processing And. According to this image processing apparatus, when enlarging an image having a sharp change in pixel value in the image, after reducing the steep change in the original image while reducing jaggies during intra-frame interpolation by the diagonal interpolation process, Can be maintained, and higher quality display can be performed while maintaining the quality of the original image.
また、前記エッジ検出部は、前記入力画像のフレーム内で検出対象画素毎に複数の方向の周辺画素との間で方向別の差分を各々求め、各方向別の差分を第１の閾値及び第２の閾値と比較し、前記第１の閾値以下の差分を累積して第１の累積結果を出力し、前記第２の閾値以上の差分を累積して第２の累積結果を出力し、前記第１の累積結果と第３の閾値との比較結果が第１の条件を満たすか否か、且つ、前記第２の累積結果と第４の閾値との比較結果が第２の条件を満たすか否かにより前記エッジの有無を判定してもよい。この画像処理装置によれば、入力画像の特徴に応じたエッジ検出が可能となる。 Further, the edge detection unit obtains a difference for each direction with respect to peripheral pixels in a plurality of directions for each detection target pixel in the frame of the input image, and calculates the difference for each direction as a first threshold value and a first threshold value. 2 is compared, the difference less than the first threshold is accumulated to output a first accumulation result, the difference greater than or equal to the second threshold is accumulated to output a second accumulation result, Whether the comparison result between the first cumulative result and the third threshold satisfies the first condition, and whether the comparison result between the second cumulative result and the fourth threshold satisfies the second condition The presence or absence of the edge may be determined based on whether or not it is present. According to this image processing apparatus, it is possible to detect edges according to the characteristics of the input image.
また、前記エッジ検出部は、前記第１の累積結果と第３の閾値との比較結果及び前記第２の累積結果と第４の閾値との比較結果が前記第１の条件及び前記第２の条件の一方または双方を満たさない場合は、前記フレーム内に同一の隣接画素が存在することを示す第１の情報を出力し、前記第１の累積結果と第３の閾値との比較結果及び前記第２の累積結果と第４の閾値との比較結果が前記第１の条件及び前記第２の条件の双方を満たす場合は、前記入力画像のフレーム内で検出対象領域にエッジが存在することを示す第２の情報を出力してもよい。この画像処理装置によれば、入力画像の特徴に応じたエッジの検出が可能となり、かつ、エッジの有無に応じて出力すべき補間画素を選択することが可能となるので、入力画像の特徴に応じた最良の補間画素を出力することが可能となる。 In addition, the edge detection unit may determine that the comparison result between the first accumulation result and the third threshold and the comparison result between the second accumulation result and the fourth threshold are the first condition and the second threshold. When one or both of the conditions are not satisfied, the first information indicating that the same adjacent pixel exists in the frame is output, the comparison result between the first cumulative result and the third threshold value, and the When the comparison result between the second cumulative result and the fourth threshold satisfies both the first condition and the second condition, it is determined that an edge exists in the detection target region within the frame of the input image. The second information shown may be output. According to this image processing apparatus, it is possible to detect an edge according to the feature of the input image and to select an interpolation pixel to be output according to the presence or absence of the edge. It is possible to output the best interpolated pixel corresponding thereto.
また、前記フレーム内補間処理部は、前記入力画像のフレーム内で補間対象画素毎に複数の方向の周辺画素との間で相関値を求め、該相関値により生成した前記補間画素を出力するとともに前記補間画素の補間方向を出力し、前記混合処理部は、前記フレーム内補間処理部から出力される前記補間方向が垂直方向であり、前記エッジ検出部から出力される前記エッジ判定結果がエッジ有りである場合は、前記補間画素と当該補間画素に対応する原画素とを混合して前記フレーム内補間処理を実行し、前記フレーム内補間処理部から出力される前記補間方向が垂直方向ではなく、前記エッジ検出部から出力される前記エッジ判定結果がエッジ無しである場合は、前記補間画素により前記フレーム内補間処理を実行してもよい。フレーム内補間処理部が斜め方向の補間をしている場合に上記混合画素を出力してしまうと、拡大後にはジャギーの多い斜線となってしまうところ、この画像処理装置によれば、上記混合画素を出力すべき場合のみを判別しうるので、上記フレーム内補間処理部の補間処理によるフレーム内補間時のジャギーを軽減しながら、原画像の急峻なエッジ部分を拡大後も保持することができ、原画像の品質を保持したままより高品位な表示が可能になる。 The intra-frame interpolation processing unit obtains a correlation value with peripheral pixels in a plurality of directions for each interpolation target pixel in the frame of the input image, and outputs the interpolation pixel generated based on the correlation value. The interpolation processing unit outputs an interpolation direction of the interpolation pixel, and the mixing processing unit has a vertical direction for the interpolation direction output from the intra-frame interpolation processing unit, and an edge determination result output from the edge detection unit. When the interpolation pixel and the original pixel corresponding to the interpolation pixel are mixed to execute the intra-frame interpolation process, the interpolation direction output from the intra-frame interpolation processing unit is not a vertical direction, When the edge determination result output from the edge detection unit indicates that there is no edge, the intra-frame interpolation process may be executed by the interpolation pixel. If the mixed pixel is output when the intra-frame interpolation processing unit is performing an oblique interpolation, it becomes a jaggy diagonal line after enlargement. According to this image processing apparatus, the mixed pixel Therefore, it is possible to hold the sharp edge portion of the original image even after enlargement, while reducing jaggy during intra-frame interpolation by the interpolation processing of the intra-frame interpolation processing unit, Higher quality display is possible while maintaining the quality of the original image.
また、前記混合処理部は、前記補間画素と前記原画素を混合する割合を示す係数を設定し、前記係数を用いて前記補間画素と前記原画素の混合処理を実行してもよい。この画像処理装置によれば、混合割合を調節することが可能となるので、原画像のエッジを保持したより高品位な画像を出力することが可能となる。 The mixing processing unit may set a coefficient indicating a ratio of mixing the interpolation pixel and the original pixel, and execute the mixing process of the interpolation pixel and the original pixel using the coefficient. According to this image processing apparatus, since the mixing ratio can be adjusted, it is possible to output a higher quality image that retains the edge of the original image.
本発明の一実施の形態に係る画像処理方法は、入力画像の拡大処理を実行する画像処理方法において、前記入力画像のフレーム毎に前記入力画像の補間画素を作成して出力するフレーム内補間処理を実行し、前記入力画像のフレーム内で検出対象領域毎に画素間の変化を検出し、前記画素間の変化によりエッジの有無を判定してエッジ判定結果を出力し、前記エッジ判定結果に基づいて、前記フレーム内補間処理により出力される補間画素に対して前記入力画像に含まれる原画素を選択的に混合してフレーム内補間処理を実行すること、を含むことを特徴とする。この画像処理方法によれば、画像中に急峻な画素値の変化をもつ画像を拡大する際に、斜め補間処理によるフレーム内補間時のジャギーを軽減しながら、原画像の急峻な変化を拡大後も保持することができ、原画像の品質を保持したままより高品位な表示が可能となる。 An image processing method according to an embodiment of the present invention is an image processing method for performing an enlargement process of an input image, and an intra-frame interpolation process for generating and outputting an interpolation pixel of the input image for each frame of the input image And detecting a change between pixels for each detection target region in the frame of the input image, determining the presence or absence of an edge based on the change between the pixels, and outputting an edge determination result, based on the edge determination result The inter-frame interpolation processing is performed by selectively mixing the original pixels included in the input image with the interpolation pixels output by the intra-frame interpolation processing. According to this image processing method, when an image having a steep pixel value change in the image is enlarged, the steep change in the original image is reduced while reducing jaggies during intra-frame interpolation by the diagonal interpolation process. Can be maintained, and higher quality display can be performed while maintaining the quality of the original image.
また、前記エッジの有無の判定において、前記入力画像のフレーム内で検出対象画素毎に複数の方向の周辺画素との間で方向別の差分を各々求め、各方向別の差分を第１の閾値及び第２の閾値と比較し、前記第１の閾値以下の差分を累積して第１の累積結果を出力し、前記第２の閾値以上の差分を累積して第２の累積結果を出力し、前記第１の累積結果と前記第３の閾値との比較結果が第１の条件を満たすか否か、且つ、前記第２の累積結果と前記第４の閾値との比較結果が第２の条件を満たすか否かにより前記エッジの有無を判定してもよい。この画像処理方法によれば、入力画像の特徴に応じたエッジ検出が可能となる。 Further, in the determination of the presence / absence of the edge, a difference for each direction is obtained for each pixel to be detected in the frame of the input image with respect to peripheral pixels in a plurality of directions, and the difference for each direction is determined as a first threshold And a second threshold value, a difference equal to or less than the first threshold value is accumulated and a first accumulation result is output, a difference equal to or greater than the second threshold value is accumulated and a second accumulation result is output. , Whether the comparison result between the first cumulative result and the third threshold satisfies a first condition, and the comparison result between the second cumulative result and the fourth threshold is a second The presence or absence of the edge may be determined depending on whether the condition is satisfied. According to this image processing method, it is possible to detect edges according to the characteristics of the input image.
また、前記エッジの有無の判定において、前記第１の累積結果と前記第３の閾値との比較結果及び前記第２の累積結果と前記第４の閾値との比較結果が前記第１の条件及び前記第２の条件の一方または双方を満たさない場合は、前記フレーム内に同一の隣接画素が存在することを示す第１の情報を出力し、前記第１の累積結果と前記第３の閾値との比較結果及び前記第２の累積結果と前記第４の閾値との比較結果が前記第１の条件及び前記第２の条件の双方を満たす場合は、前記入力画像のフレーム内で検出対象領域にエッジが存在することを示す第２の情報を出力してもよい。この画像処理装置によれば、入力画像の特徴に応じたエッジの検出が可能となり、かつ、エッジの有無に応じて出力すべき補間画素を選択することが可能となるので、入力画像の特徴に応じた最良の補間画素を出力することが可能となる。 In the determination of the presence / absence of the edge, the comparison result between the first accumulation result and the third threshold and the comparison result between the second accumulation result and the fourth threshold are the first condition and When one or both of the second conditions are not satisfied, first information indicating that the same adjacent pixel exists in the frame is output, and the first accumulation result, the third threshold value, And the comparison result between the second accumulated result and the fourth threshold value satisfy both the first condition and the second condition, the detection target region is included in the frame of the input image. Second information indicating that an edge exists may be output. According to this image processing apparatus, it is possible to detect an edge according to the feature of the input image and to select an interpolation pixel to be output according to the presence or absence of the edge. It is possible to output the best interpolated pixel corresponding thereto.
また、前記フレーム内補間処理において、前記入力画像のフレーム内で補間対象画素毎に複数の方向の周辺画素との間で相関値を求め、該相関値により生成した前記補間画素を出力するとともに前記補間画素の補間方向を出力し、前記フレーム内補間処理において、前記フレーム内補間処理により出力される前記補間方向が垂直方向であり、前記エッジ判定結果がエッジ有りである場合は、前記補間画素と当該補間画素に対応する原画素とを混合して前記フレーム内補間処理を実行し、前記フレーム内補間処理により出力される前記補間方向が垂直方向ではなく、前記エッジ判定結果がエッジ無しである場合は、前記補間画素により前記フレーム内補間処理を実行することを含んでもよい。ここで、前記フレーム内補間処理が斜め方向の補間をしている場合に前記補間画素と当該補間画素に対応する原画素とを混合した画素を出力してしまうと、拡大後にはジャギーの多い斜線となってしまう。しかし、この画像処理方法によれば、上記混合画素を出力すべき場合のみを判別しうるので、上記フレーム内補間処理の補間処理によるフレーム内補間時のジャギーを軽減しながら、原画像の急峻なエッジ部分を拡大後も保持することができ、原画像の品質を保持したままより高品位な表示が可能になる。 Further, in the intra-frame interpolation processing, a correlation value is obtained between peripheral pixels in a plurality of directions for each interpolation target pixel in the frame of the input image, and the interpolation pixel generated based on the correlation value is output and An interpolation direction of an interpolation pixel is output, and in the intra-frame interpolation process, when the interpolation direction output by the intra-frame interpolation process is a vertical direction and the edge determination result includes an edge, When the inter-frame interpolation process is executed by mixing the original pixel corresponding to the interpolation pixel, the interpolation direction output by the intra-frame interpolation process is not a vertical direction, and the edge determination result is no edge May include performing the intra-frame interpolation process with the interpolated pixels. Here, when the intra-frame interpolation processing is performed in an oblique direction, if a pixel in which the interpolated pixel and the original pixel corresponding to the interpolated pixel are output is output, a diagonal line with a lot of jaggy after enlargement End up. However, according to this image processing method, it is possible to determine only when the mixed pixel is to be output. Therefore, the steepness of the original image is reduced while reducing jaggies during intra-frame interpolation by the inter-frame interpolation processing. The edge portion can be held even after being enlarged, and higher quality display can be performed while maintaining the quality of the original image.
また、前記フレーム内補間処理において、前記補間画素と前記現画素を混合する割合を示す係数を設定し、前記係数を用いて前記補間画素と前記現画素の混合処理を実行してもよい。この画像処理方法によれば、混合割合を調節することが可能となるので、原画像のエッジを保持したより高品位な画像を出力することが可能となる。 Further, in the intra-frame interpolation process, a coefficient indicating a ratio of mixing the interpolation pixel and the current pixel may be set, and the mixing process of the interpolation pixel and the current pixel may be executed using the coefficient. According to this image processing method, since the mixing ratio can be adjusted, it is possible to output a higher quality image retaining the edges of the original image.
本発明によれば、画像中に急峻な画素値の変化をもつ画像を拡大する際に、斜め補間によるフレーム内補間時のジャギーを軽減しながら、原画像の急峻な変化を拡大後も保持することができ、原画像の品質を保持したままより高品位な表示を可能にする画素補間処理を実現する画像処理装置及び画像処理方法を提供することができる。 According to the present invention, when an image having a sharp change in pixel value is enlarged in the image, the steep change in the original image is retained even after enlargement while reducing jaggies during intra-frame interpolation by diagonal interpolation. Therefore, it is possible to provide an image processing apparatus and an image processing method that realize pixel interpolation processing that enables higher quality display while maintaining the quality of the original image.
（発明に至る経緯）
２０１１年７月、現行の地上アナログ放送がデジタル放送に完全移行されることに伴い、放送画質も現行のスタンダード画質からハイビジョン画質への高画質化が本格化する。そのハイビジョンの更なる高画質化を目指して、ＮＨＫ放送技術研究所（以下、ＮＨＫ技研）では、スーパーハイビジョン（以下、ＳＨＶ）放送の実用化へ向けた研究開発が進められている。ＳＨＶとは、次世代テレビ向けフォーマットであり、７６８０×４３２０画素の解像度を持つ超高精細映像のことである。これは、縦横共に現行のフルハイビジョンの４倍で、計１６倍の解像度となる。そこで、ＳＨＶ放送の実用化を想定し、ＳＨＶに対応した表示装置が必要となる。また、これに伴って地上デジタル放送でＳＨＶを放送ないし受信するための技術も開発中である。
(Background to Invention)
In July 2011, as the current terrestrial analog broadcasting is completely shifted to digital broadcasting, the broadcast image quality will be increased from the current standard image quality to the high-definition image quality. With the aim of further improving the image quality of the high-definition television, the NHK Broadcasting Technology Laboratory (hereinafter referred to as NHK STRL) is conducting research and development toward the practical application of Super Hi-Vision (hereinafter referred to as SHV) broadcasting. SHV is a format for next-generation television, and is an ultra-high definition video having a resolution of 7680 × 4320 pixels. This is 4 times the current full high-definition both vertically and horizontally, for a total resolution of 16 times. Therefore, assuming the practical application of SHV broadcasting, a display device compatible with SHV is required. Along with this, a technique for broadcasting or receiving SHV by digital terrestrial broadcasting is also under development.
しかし、伝送容量を拡大するための技術の向上の必要性や、電波の送受信のためのアンテナも専用のものが必要になるなど、すぐに地上波放送で導入することは難しい。このため、全ての放送が完全にＳＨＶ放送へ移行することは未だ困難であり、過渡期にはフルハイビジョン放送である状況が続くことが予想される。したがって、表示装置が放送フォーマットより高解像度の場合は、表示装置に合わせた映像の拡大処理が必要になる。 However, it is difficult to immediately introduce it in terrestrial broadcasting, such as the necessity of improving the technology for expanding the transmission capacity and the need for a dedicated antenna for transmitting and receiving radio waves. For this reason, it is still difficult for all broadcasts to completely shift to SHV broadcasts, and it is expected that the situation of full high-definition broadcasts will continue in the transition period. Therefore, when the display device has a higher resolution than the broadcast format, it is necessary to perform video enlargement processing in accordance with the display device.
このような背景のもと、拡大処理を行なっても原画像の品質を保持した状態で高品位な表示が可能となるような画像の補間処理技術が求められる。 Under such a background, there is a need for an image interpolation processing technique that enables high-quality display while maintaining the quality of the original image even if enlargement processing is performed.
そこで、本発明は、Ｉ／Ｐ変換時に用いるフィールド内補間処理を、解像度を２倍にするフレーム内補間処理として利用し、急峻なエッジ検出処理と混合処理とを組み合わせることにより、上記の課題を克服する画像補間処理装置を提供するものである。以下の実施の形態では、画像の微小な変化と大きな変化の両方を検出するエッジ検出処理、及び垂直方向の補間かつ急峻なエッジである場合のみ補間画素に原画素を混合する混合処理とを組み合わせて、画像拡大処理時のぼやけ等を低減する画像処理装置について説明する。なお、本発明において「エッジ」とは、隣接する原画素間の画素値の絶対差分値が設定された閾値以上の場合、その隣接画素間の変化の大きい部分を示すものである。 Therefore, the present invention uses the intra-field interpolation processing used at the time of I / P conversion as the intra-frame interpolation processing for doubling the resolution, and combines the steep edge detection processing with the mixing processing to solve the above problem. An object of the present invention is to provide an image interpolation processing apparatus that overcomes this problem. The following embodiments combine edge detection processing that detects both minute and large changes in the image, and mixing processing that mixes the original pixel with the interpolated pixel only when it is a vertical interpolation and a steep edge. An image processing apparatus that reduces blurring during image enlargement processing will be described. In the present invention, “edge” indicates a portion where the change between adjacent pixels is large when the absolute difference value of the pixel values between adjacent original pixels is equal to or larger than a set threshold value.
以下、図面を参照して本発明に係る拡大処理時にぼやけを低減する画像処理装置について説明する。ただし、本発明の装置は多くの異なる態様で実施することが可能であり、以下に示す多数の実施の形態の記載内容に限定して解釈されるものではない。 Hereinafter, an image processing apparatus that reduces blurring during enlargement processing according to the present invention will be described with reference to the drawings. However, the apparatus of the present invention can be implemented in many different modes and should not be construed as being limited to the description of a number of embodiments shown below.
図４は、本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。図４に示すように、本発明の一実施形態に係る画像処理装置１００は、補間画素を生成するＩ／Ｐ変換処理のフレーム内補間処理部１０１（以下、フレーム内補間処理部１０１という）と、原画像が急峻なエッジを持つ画像か否かを判断するエッジ検出部１０２と、混合処理部１０３と、を有する。 FIG. 4 is a block diagram showing the configuration of the image processing apparatus according to the embodiment of the present invention. As shown in FIG. 4, an image processing apparatus 100 according to an embodiment of the present invention includes an intra-frame interpolation processing unit 101 (hereinafter referred to as an intra-frame interpolation processing unit 101) for I / P conversion processing that generates interpolation pixels. , An edge detection unit 102 that determines whether or not the original image has a steep edge, and a mixing processing unit 103.
フレーム内補間処理部１０１は、原画像のフレーム毎にフレーム内補間処理を実行して原画像の補間画素を作成して、原画像の拡大に伴う補間処理を行なう。従来の補間処理は、補間画素Ｐｉｎｔ＿ｉｐを生成する際に、その上下の走査線ｎ，ｎ＋１から、補間ライン上の画素Ｐｉｎｔ＿ｉｐを中心として点対称となる画素のペアを一組選択し、その平均値を補間画素値として用いる補間処理方法である。 The intra-frame interpolation processing unit 101 executes intra-frame interpolation processing for each frame of the original image to create interpolation pixels of the original image, and performs interpolation processing accompanying enlargement of the original image. In the conventional interpolation process, when generating the interpolation pixel Pint_ip, a pair of pixel pairs that are point-symmetric about the pixel Pint_ip on the interpolation line is selected from the upper and lower scanning lines n, n + 1, and the average value thereof is selected. Is an interpolation processing method using as an interpolation pixel value.
再度、図１から図２を参照して、従来の補間処理方法を説明する。図１は、上記補間画素を中心として点対称となる画素のペアを選択して行なう補間処理の一例を示す図である。補間しようとしている画素を中心とする垂直及び左右斜め方向の一対の画素間の画素値の絶対差分値を取り、各方向の絶対差分値の中で最も小さいものを相関の高い方向と判定し、その方向のペアの各原画素値をもとに線形補間を行い、補間画素Ｐｉｎｔ＿ｉｐを作成する。図１を参照すると、図中の補間画素を中心とした右斜め方向に相関が高い画素が存在するため、その中央位置に配置された補間画素はその方向に隣接する原画素の画素値をもとに線形補間される。 With reference to FIGS. 1 and 2 again, the conventional interpolation processing method will be described. FIG. 1 is a diagram showing an example of an interpolation process performed by selecting a pixel pair that is point-symmetric about the interpolation pixel. Take the absolute difference value of the pixel value between a pair of pixels in the vertical and left-right diagonal directions centering on the pixel to be interpolated, determine the smallest of the absolute difference values in each direction as the direction with high correlation, Linear interpolation is performed based on each original pixel value of the pair in that direction to create an interpolation pixel Pint_ip. Referring to FIG. 1, since there is a highly correlated pixel in the diagonally right direction centering on the interpolation pixel in the figure, the interpolation pixel arranged at the center position has the pixel value of the original pixel adjacent in that direction. And linear interpolation.
図２も同様に補間処理の一例を示す図である。図２に示す原画像は、各オリジナルラインの水平方向にのみ相関が強く、補間画素を中心とした点対称となる画素間の相関がいずれの方向でも同じとなる。この場合には、垂直方向を相関の強いペアとして選択し、そのペアの各画素値をもとに線形補間して、補間画素を生成する。 FIG. 2 is also a diagram illustrating an example of interpolation processing. The original image shown in FIG. 2 has a strong correlation only in the horizontal direction of each original line, and the correlation between pixels that are point-symmetric about the interpolation pixel is the same in any direction. In this case, the vertical direction is selected as a highly correlated pair, and interpolation is performed by linear interpolation based on each pixel value of the pair.
以上の従来の補間処理に対して、フレーム内補間処理部１０１は、補間方向が斜めの場合には、補間方向結果ｃｏｒｒｅｌａｔｉｏｎ＿ｖとして「０」を、上下方向の場合には補間方向結果ｃｏｒｒｅｌａｔｉｏｎ＿ｖとして「１」を混合処理部１０３に出力する。 In contrast to the conventional interpolation processing described above, the intra-frame interpolation processing unit 101 sets “0” as the interpolation direction result correlation_v when the interpolation direction is diagonal, and “1” as the interpolation direction result correlation_v when the interpolation direction is vertical. Is output to the mixing processing unit 103.
次に、上記補間処理の詳細について、図５に示すフローチャートを参照して説明する。図５を参照すると、ステップＳ５００１において、フレーム内補間処理部１０１は補間画素を中心として点対称となる画素のペアの画素間の絶対差分値が最小のものを検出して相関の強さを判定して、相関の強いペアの存在する方向を決定する。次いで、ステップＳ５００２において、フレーム内補間処理部１０１は、決定した方向で線形補間を行い、補間画素Ｐｉｎｔ＿ｉｐを生成する。次いで、Ｓ５００３において、フレーム内補間処理部１０１は、生成した補間画素Ｐｉｎｔ＿ｉｐを混合処理部１０３に出力する。 Next, the details of the interpolation processing will be described with reference to the flowchart shown in FIG. Referring to FIG. 5, in step S5001, the intra-frame interpolation processing unit 101 determines the strength of the correlation by detecting a pixel having a minimum absolute difference value between a pair of pixels that are point-symmetric about the interpolation pixel. Thus, the direction in which a highly correlated pair exists is determined. Next, in step S5002, the intraframe interpolation processing unit 101 performs linear interpolation in the determined direction to generate an interpolation pixel Pint_ip. In step S <b> 5003, the intra-frame interpolation processing unit 101 outputs the generated interpolation pixel Pint_ip to the mixing processing unit 103.
また、ステップＳ５００４において、フレーム内補間処理部１０１は、補間方向が斜めか否かを判断する。補間方向が斜めであれば、ステップＳ５００５においてｃｏｒｒｅｌａｔｉｏｎ＿ｖ＝０とする。補間方向が斜めでなければ、ステップＳ５００６においてｃｏｒｒｅｌａｔｉｏｎ＿ｖ＝１とする。次いで、ステップＳ５００７において、フレーム内補間処理部１０１は、ｃｏｒｒｅｌａｔｉｏｎ＿ｖを混合処理部１０３へ出力する。なお、ステップＳ５００４〜ステップＳ５００７の処理は、ステップＳ５００２〜ステップＳ５００３の処理と並行して行ってもよいし、順次行ってもよい。 In step S5004, the intraframe interpolation processing unit 101 determines whether the interpolation direction is diagonal. If the interpolation direction is diagonal, correlation_v = 0 is set in step S5005. If the interpolation direction is not oblique, correlation_v = 1 is set in step S5006. Next, in step S5007, the intraframe interpolation processing unit 101 outputs correlation_v to the mixing processing unit 103. Note that the processing of step S5004 to step S5007 may be performed in parallel with the processing of step S5002 to step S5003, or may be performed sequentially.
エッジ検出部１０２は、垂直水平及び左右斜め方向に隣接する原画素間の画素値の差などから原画像が急峻なエッジを持つ画像か否かを判断する。この判断は、例えば、ベタの背景上に文字があるような場合のみを検出するために行なわれるものである。この検出においては、このような画像が通常二つの特徴を有することに着目する。一つは、（１）背景上の文字が認識しやすいように、背景と文字の間の画素値に大きな差を持っていることが多い（画素間の相関が比較的低い）という特徴である。この大きな画素値の差を「エッジ」と呼ぶ。もう一つは、（２）文字内は単一色の場合が多い（画素間の相関が比較的高い）という特徴である。この（２）の特徴を、本実施の形態では「同一性」と呼ぶことにする。エッジ検出部１０２は、これらの特徴を抽出し、急峻なエッジを持つ画像か否かを判断する。具体的には、垂直水平及び左右斜め方向に隣接する画素値の絶対差分値Δｐを用いて、次のように計算する。 The edge detection unit 102 determines whether or not the original image has a steep edge from the difference in pixel values between the original pixels adjacent in the horizontal and vertical directions. This determination is made, for example, to detect only when there is a character on a solid background. In this detection, it is noted that such an image usually has two features. One of the features is that (1) the pixel value between the background and the character often has a large difference (the correlation between the pixels is relatively low) so that the character on the background can be easily recognized. . This large pixel value difference is called an “edge”. The other is (2) the character is often a single color (the correlation between pixels is relatively high). The feature (2) is referred to as “identity” in the present embodiment. The edge detection unit 102 extracts these features and determines whether the image has a steep edge. Specifically, the calculation is performed as follows using the absolute difference value Δp of pixel values adjacent to each other in the vertical and horizontal and diagonal directions.
まず、（１）の特徴を抽出するため、隣接画素間のエッジを検出する閾値ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘを設定し、隣接画素間の画素値の絶対差分値Δｐが閾値ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘ（第２の閾値）以上となる隣接画素の組の数をカウントする。そのカウント値をエッジ部分のカウント値ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ（第２の累積結果）とする。同様にして、（２）の特徴を抽出するため、隣接画素間の同一性を検出する閾値ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎ（第１の閾値）を設定し、絶対差分値Δｐが閾値ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎ以下となる隣接画素の組の数をカウントする。そのカウント値を同一な部分のカウント値ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ（第１の累積結果）とする。 First, in order to extract the feature of (1), a threshold px_threshold_max for detecting an edge between adjacent pixels is set, and an adjacent pixel value absolute difference value Δp between adjacent pixels is equal to or greater than a threshold px_threshold_max (second threshold). Count the number of pixel pairs. The count value is set as the edge portion count value edge_count_max (second accumulated result). Similarly, in order to extract the feature (2), a threshold px_threshold_min (first threshold) for detecting identity between adjacent pixels is set, and an adjacent pixel set whose absolute difference value Δp is equal to or smaller than the threshold px_threshold_min is set. Count the number. The count value is the count value edge_count_min (first accumulation result) of the same part.
そして、（１）及び（２）の特徴を備えた急峻なエッジを含む画像であることを検出する条件として、エッジ部分のカウント値に対応する閾値ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘ（第４の閾値）と、同一な部分のカウント値に対応する閾値ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎ（第３の閾値）を用いて、「ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ≧ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘ（第２の条件）かつｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎ≧ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎ（第１の条件）」を設定する。この条件を、本実施の形態では「エッジ条件」と呼ぶことにする。 As a condition for detecting that the image includes a steep edge having the features (1) and (2), the same part as the threshold count_threshold_max (fourth threshold) corresponding to the count value of the edge part “Edge_count_max ≧ count_threshold_max (second condition) and px_threshold_min ≧ count_threshold_min (first condition)” are set using a threshold count_threshold_min (third threshold value) corresponding to the count value. This condition is referred to as an “edge condition” in the present embodiment.
エッジ検出部１０２は、エッジ条件を満たす場合は、エッジ検出結果ｅｄｇｅ＿ｄｅｔｅｃｔｉｏｎとして「１」を、エッジ条件を満たさない場合は、エッジ検出結果ｅｄｇｅ＿ｄｅｔｅｃｔｉｏｎとして「０」を混合処理部１０３に出力する。 The edge detection unit 102 outputs “1” as the edge detection result edge_detection to the mixing processing unit 103 when the edge condition is satisfied, and “0” as the edge detection result edge_detection when the edge condition is not satisfied.
次に、図６から図１０を用いて、上記エッジ検出処理をより詳細に説明する。図６は、円で表される原画素を、その位置する座標（ｘ，ｙ）と、その座標における画素値ｐ（ｘ，ｙ）と、により定義する例を示す図である。図７の（ａ）は、水平方向のエッジ検出処理を例示した図である。図６に従って、図７の（ａ）のように水平方向に隣接する画素値の絶対差分値Δｐを定義すると、Δｐ(ｘ,ｙ)＝|ｐ(ｘ,ｙ)−ｐ(ｘ＋１,ｙ)|（ｘ＝１〜２，ｙ＝０〜２）となる。エッジ検出部１０２は、水平方向に隣接する画素間に急峻なエッジが存在するか否かを判断するため、水平方向の絶対差分値Δｐ(ｘ,ｙ)と予め外部より設定する閾値ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘを比較し、Δｐ(ｘ,ｙ)≧ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘの条件を満たすか否かを判断する。また、エッジ検出部１０２は、水平方向の隣接画素間に同一な部分が存在するか否かを判断するため、絶対差分値Δｐと予め外部より設定する閾値ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎを比較し、Δｐ(ｘ,ｙ)≦ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎの条件を満たすか否かを判断する。エッジ検出部１０２は、水平方向の絶対差分値Δｐ(ｘ,ｙ)がΔｐ(ｘ,ｙ)≧ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘの条件を満たす場合は、その隣接画素の組をカウントするため、水平方向のエッジ部分のカウント値ｅｄｇｅ_ｈ_ｍａｘを出力する。また、エッジ検出部１０２は、水平方向の絶対差分値Δｐ(ｘ,ｙ)がΔｐ(ｘ,ｙ)≦ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎの条件を満たす場合は、その隣接画素の組をカウントするため、水平方向の同一な部分のカウント値ｅｄｇｅ_ｈ_ｍｉｎを出力する。 Next, the edge detection process will be described in more detail with reference to FIGS. FIG. 6 is a diagram illustrating an example in which an original pixel represented by a circle is defined by coordinates (x, y) where the original pixel is located and a pixel value p (x, y) at the coordinate. FIG. 7A is a diagram illustrating edge detection processing in the horizontal direction. When the absolute difference value Δp of pixel values adjacent in the horizontal direction is defined as shown in FIG. 7A according to FIG. 6, Δp (x, y) = | p (x, y) −p (x + 1, y) | (X = 1 to 2, y = 0 to 2). The edge detection unit 102 compares the horizontal absolute difference value Δp (x, y) with a threshold value px_threshold_max set in advance from the outside in order to determine whether or not there is a steep edge between pixels adjacent in the horizontal direction. Then, it is determined whether or not the condition of Δp (x, y) ≧ px_threshold_max is satisfied. Further, the edge detection unit 102 compares the absolute difference value Δp with a threshold value px_threshold_min set in advance from the outside in order to determine whether or not the same portion exists between adjacent pixels in the horizontal direction, and Δp (x, y ) ≦ px_threshold_min is determined. When the absolute difference value Δp (x, y) in the horizontal direction satisfies the condition Δp (x, y) ≧ px_threshold_max, the edge detection unit 102 counts the set of the adjacent pixels, so that the edge portion in the horizontal direction The count value edge_h_max is output. In addition, when the horizontal absolute difference value Δp (x, y) satisfies the condition of Δp (x, y) ≦ px_threshold_min, the edge detection unit 102 counts the set of adjacent pixels, and therefore the same in the horizontal direction. The count value edge_h_min is output for this part.
図７の（ｂ）は垂直方向のエッジ検出処理の一例を示す図、図８の（ａ）は右斜め方向のエッジ検出処理の一例を示す図、図８の（ｂ）は左斜め方向のエッジ検出処理の一例を示す図である。図７の（ａ）における水平方向のエッジ検出と同様に、垂直方向、右斜め方向、左斜め方向に隣接する原画素間の絶対差分値Δｐを求め、設定した閾値（ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘ，ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎ）と比較することで、エッジ部分及び同一な部分を検出する。 FIG. 7B is a diagram showing an example of vertical edge detection processing, FIG. 8A is a diagram showing an example of edge detection processing in the right diagonal direction, and FIG. It is a figure which shows an example of an edge detection process. Similar to the edge detection in the horizontal direction in FIG. 7A, the absolute difference value Δp between the original pixels adjacent in the vertical direction, the right diagonal direction, and the left diagonal direction is obtained and compared with the set threshold values (px_threshold_max, px_threshold_min). By doing so, the edge portion and the same portion are detected.
すなわち、垂直方向のエッジ検出処理では、エッジ検出部１０２は、垂直方向に隣接する画素間に急峻なエッジが存在するか否かを判断するため、垂直方向の絶対差分値Δｐ(ｘ,ｙ)と予め外部より設定する閾値ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘを比較し、Δｐ(ｘ,ｙ)≧ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘの条件を満たすか否かを判断する。また、エッジ検出部１０２は、垂直方向の隣接画素間に同一な部分が存在するか否かを判断するため、絶対差分値Δｐと予め外部より設定する閾値ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎを比較し、Δｐ(ｘ,ｙ)≦ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎの条件を満たすか否かを判断する。エッジ検出部１０２は、垂直方向の絶対差分値Δｐ(ｘ,ｙ)がΔｐ(ｘ,ｙ)≧ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘの条件を満たす場合は、その隣接画素の組をカウントするため、ｅｄｇｅ_ｖ_ｍａｘを出力する。また、エッジ検出部１０２は、垂直方向の絶対差分値Δｐ(ｘ,ｙ)がΔｐ(ｘ,ｙ)≦ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎの条件を満たす場合は、その隣接画素の組をカウントするため、ｅｄｇｅ_ｖ_ｍｉｎを出力する。 That is, in the edge detection process in the vertical direction, the edge detection unit 102 determines whether or not there is a steep edge between pixels adjacent in the vertical direction, and therefore the absolute difference value Δp (x, y) in the vertical direction. Is compared with a threshold value px_threshold_max set in advance from the outside, and it is determined whether or not a condition of Δp (x, y) ≧ px_threshold_max is satisfied. Further, the edge detection unit 102 compares the absolute difference value Δp with a threshold value px_threshold_min set in advance from the outside in order to determine whether or not the same portion exists between adjacent pixels in the vertical direction, and Δp (x, y ) ≦ px_threshold_min is determined. When the absolute difference value Δp (x, y) in the vertical direction satisfies the condition of Δp (x, y) ≧ px_threshold_max, the edge detection unit 102 outputs edge_v_max in order to count the adjacent pixel sets. Further, when the absolute difference value Δp (x, y) in the vertical direction satisfies the condition of Δp (x, y) ≦ px_threshold_min, the edge detection unit 102 outputs edge_v_min in order to count the adjacent pixel sets. .
また、左右斜め方向のエッジ検出処理では、エッジ検出部１０２は、左右斜め方向に隣接する画素間に急峻なエッジが存在するか否かを判断するため、左右斜め方向の各絶対差分値Δｐ(ｘ,ｙ)と予め外部より設定する閾値ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘを比較し、Δｐ(ｘ,ｙ)≧ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘの条件を満たすか否かを判断する。また、エッジ検出部１０２は、左右斜め方向の隣接画素間に同一な部分が存在するか否かを判断するため、左右斜め方向の各絶対差分値Δｐと予め外部より設定する閾値ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎを比較し、Δｐ(ｘ,ｙ)≦ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎの条件を満たすか否かを判断する。エッジ検出部１０２は、左右斜め方向の一方又は双方の絶対差分値Δｐ(ｘ,ｙ)がΔｐ(ｘ,ｙ)≧ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘの条件を満たす場合は、その隣接画素の組をカウントするため、ｅｄｇｅ_ｒ_ｍａｘ及び／又はｅｄｇｅ_ｌ_ｍａｘを出力する。また、エッジ検出部１０２は、左右斜め方向の一方又は双方の絶対差分値Δｐ(ｘ,ｙ)がΔｐ(ｘ,ｙ)≦ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎの条件を満たす場合は、その隣接画素の組をカウントするため、ｅｄｇｅ_ｒ_ｍｉｎ及び／又はｅｄｇｅ_ｌ_ｍｉｎを出力する。 In the edge detection process in the left-right diagonal direction, the edge detection unit 102 determines whether or not there is a steep edge between pixels adjacent in the left-right diagonal direction. Therefore, each absolute difference value Δp ( x, y) and a threshold value px_threshold_max set in advance from the outside are compared, and it is determined whether or not a condition of Δp (x, y) ≧ px_threshold_max is satisfied. The edge detection unit 102 compares each absolute difference value Δp in the left-right diagonal direction with a threshold value px_threshold_min set in advance from the outside in order to determine whether the same portion exists between adjacent pixels in the left-right diagonal direction. , Δp (x, y) ≦ px_threshold_min is determined. When the absolute difference value Δp (x, y) in one or both of the left and right diagonal directions satisfies the condition of Δp (x, y) ≧ px_threshold_max, the edge detection unit 102 counts the set of adjacent pixels, and therefore, edge_r_max And / or output edge_l_max. Further, when one or both of the absolute difference values Δp (x, y) in the left and right diagonal directions satisfy the condition of Δp (x, y) ≦ px_threshold_min, the edge detection unit 102 counts the set of adjacent pixels. , Edge_r_min and / or edge_l_min.
次に、エッジ検出部１０２は、上述の各方向で検出した隣接画素間のエッジ部分の各カウント数（ｅｄｇｅ_ｈ_ｍａｘ，ｅｄｇｅ_ｖ_ｍａｘ，ｅｄｇｅ_ｒ_ｍａｘ，ｅｄｇｅ_ｌ_ｍａｘ）を加算し、その加算結果をｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘとして出力する。すなわち、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ＝ｅｄｇｅ_ｈ_ｍａｘ＋ｅｄｇｅ_ｖ_ｍａｘ＋ｅｄｇｅ_ｒ_ｍａｘ＋ｅｄｇｅ_ｌ_ｍａｘである。また、エッジ検出部１０２は、上述の各方向で検出した隣接画素間の同一な部分の各カウント数（ｅｄｇｅ_ｈ_ｍｉｎ，ｅｄｇｅ_ｖ_ｍｉｎ，ｅｄｇｅ_ｒ_ｍｉｎ，ｅｄｇｅ_ｌ_ｍｉｎ）を加算し、その結果をｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎとして出力する。すなわち、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ＝ｅｄｇｅ_ｈ_ｍｉｎ＋ｅｄｇｅ_ｖ_ｍｉｎ＋ｅｄｇｅ_ｒ_ｍｉｎ＋ｅｄｇｅ_ｌ_ｍｉｎである。そして、エッジ検出部１０２は、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘとエッジ部分のカウント数の閾値ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘを比較し、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎと同一な部分のカウント数の閾値ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎを比較して、エッジ条件を満たすか否かを判断する。この場合、エッジ条件は、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ≧ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘ、及びｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ≧ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎである。 Next, the edge detection unit 102 adds the counts (edge_h_max, edge_v_max, edge_r_max, edge_l_max) of edge portions between adjacent pixels detected in the above-described directions, and outputs the addition result as edge_count_max. That is, edge_count_max = edge_h_max + edge_v_max + edge_r_max + edge_l_max. In addition, the edge detection unit 102 adds count numbers (edge_h_min, edge_v_min, edge_r_min, edge_l_min) of the same portion between adjacent pixels detected in the above-described directions, and outputs the result as edge_count_min. That is, edge_count_min = edge_h_min + edge_v_min + edge_r_min + edge_l_min. Then, the edge detection unit 102 compares edge_count_max with the count value threshold count_threshold_max of the edge part, and compares the count number threshold count_threshold_min of the same part as the edge_count_min to determine whether or not the edge condition is satisfied. In this case, the edge conditions are edge_count_max ≧ count_threshold_max and edge_count_min ≧ count_threshold_min.
次に、上記エッジ検出処理の具体例について図９を参照して説明する。図９は、上記エッジ検出処理の具体例を説明するための画像を例示した図である。なお、図９に示す各画像において、高い相関を示す方向は破線矢印で示し、低い相関を示す方向は太線矢印で示す。ここで、高い相関を示す方向は、上述の隣接画素間に同一な部分が存在する方向を示し、低い相関を示す方向は、上述の隣接画素間にエッジが存在する方向を示す。なお、以下の具体例では、仮に、上記エッジのカウント数の閾値ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘを８、同一な部分のカウント数の閾値ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎを６と設定する。 Next, a specific example of the edge detection process will be described with reference to FIG. FIG. 9 is a diagram illustrating an image for explaining a specific example of the edge detection process. In each image shown in FIG. 9, a direction indicating a high correlation is indicated by a broken line arrow, and a direction indicating a low correlation is indicated by a thick line arrow. Here, a direction indicating a high correlation indicates a direction in which the same portion exists between the above-described adjacent pixels, and a direction indicating a low correlation indicates a direction in which an edge exists between the above-described adjacent pixels. In the following specific example, the threshold count_threshold_max for the edge count is set to 8, and the threshold count_threshold_min for the same part is set to 6.
図９において、(ａ１)〜（ａ４）はベタの背景にある横線の画像を示している。この横線の画像は、水平方向の相関が高い画像である。しかし、他の方向（垂直方向、左右斜め方向）は相関が低くなる。エッジ検出部１０２は、この横線の画像の(ａ１)〜（ａ４）に示す各方向に対して、高い相関に対応する上記ｅｄｇｅ_ｈ_ｍｉｎ，ｅｄｇｅ_ｖ_ｍｉｎ，ｅｄｇｅ_ｒ_ｍｉｎ，ｅｄｇｅ_ｌ_ｍｉｎを各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎを出力する。また、エッジ検出部１０２は、この横線の画像の(ａ１)〜（ａ４）に示す各方向に対して、低い相関に対応する上記ｅｄｇｅ_ｈ_ｍａｘ，ｅｄｇｅ_ｖ_ｍａｘ，ｅｄｇｅ_ｒ_ｍａｘ，ｅｄｇｅ_ｌ_ｍａｘの数を各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘを出力する。この場合、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ＝６、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ＝１８である。 In FIG. 9, (a1) to (a4) show images of horizontal lines on a solid background. This horizontal line image is an image having a high horizontal correlation. However, the correlation is low in other directions (vertical direction, left-right diagonal direction). The edge detection unit 102 counts the edge_h_min, edge_v_min, edge_r_min, and edge_l_min corresponding to a high correlation with respect to each direction indicated by (a1) to (a4) of the horizontal line image, and then adds edge_count_min as a result of these additions. Is output. Further, the edge detection unit 102 counts the numbers of the edge_h_max, edge_v_max, edge_r_max, and edge_l_max corresponding to the low correlation for each direction indicated by (a1) to (a4) of the horizontal line image. Edge_count_max is output as the addition result. In this case, edge_count_min = 6 and edge_count_max = 18.
次いで、エッジ検出部１０２は、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ＝６と、予め外部より設定した閾値ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎ＝６とを比較し、上記エッジ条件の一つであるｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ≧ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎを満たすか否かを判別する。この場合、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ＝６はエッジ条件の一方を満たしている。また、エッジ検出部１０２は、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ＝１８と、予め外部より設定した閾値ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘ＝８とを比較し、上記エッジ条件の一つであるｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ≧ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘを満たすか否かを判別する。この場合、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ＝１８はエッジ条件の他方を満たしている。したがって、この横線の画像は急峻なエッジを持つ画像と判定される。 Next, the edge detection unit 102 compares edge_count_min = 6 with a threshold count_threshold_min = 6 set in advance from the outside, and determines whether or not edge_count_min ≧ count_threshold_min, which is one of the edge conditions, is satisfied. In this case, edge_count_min = 6 satisfies one of the edge conditions. Further, the edge detection unit 102 compares edge_count_max = 18 with a threshold count_threshold_max = 8 set in advance from the outside, and determines whether edge_count_max ≧ count_threshold_max, which is one of the edge conditions, is satisfied. In this case, edge_count_max = 18 satisfies the other edge condition. Therefore, the horizontal line image is determined as an image having a steep edge.
図９において、（ｂ１）〜（ｂ４）はベタの背景にある縦線の画像を示している。この縦線の画像は、垂直方向の相関が高い画像である。しかし、他の方向（水平方向、左右斜め方向）は相関が低くなる。エッジ検出部１０２は、この縦線の画像の(ｂ１)〜（ｂ４）に示す各方向に対して、高い相関に対応する上記ｅｄｇｅ_ｈ_ｍｉｎ，ｅｄｇｅ_ｖ_ｍｉｎ，ｅｄｇｅ_ｒ_ｍｉｎ，ｅｄｇｅ_ｌ_ｍｉｎを各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎを出力する。また、エッジ検出部１０２は、この縦線の画像の(ｂ１)〜（ｂ４）に示す各方向に対して、低い相関に対応する上記ｅｄｇｅ_ｈ_ｍａｘ，ｅｄｇｅ_ｖ_ｍａｘ，ｅｄｇｅ_ｒ_ｍａｘ，ｅｄｇｅ_ｌ_ｍａｘの数を各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘを出力する。この場合、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ＝１０、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ＝１４である。よって、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ≧６、及びｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ≧８であり、上記のエッジ条件を満たすため、この縦線の画像は急峻なエッジを持つ画像と判定される。 In FIG. 9, (b1) to (b4) show images of vertical lines on a solid background. This vertical line image is an image having a high correlation in the vertical direction. However, the correlation is low in the other directions (horizontal direction and diagonal direction). The edge detection unit 102 counts the edge_h_min, edge_v_min, edge_r_min, and edge_l_min corresponding to the high correlation for each direction indicated by (b1) to (b4) of the vertical line image, and adds these results. edge_count_min is output. Further, the edge detection unit 102 counts the numbers of the above-described edge_h_max, edge_v_max, edge_r_max, and edge_l_max corresponding to the low correlation with respect to each direction indicated by (b1) to (b4) of the vertical line image. As a result of addition, edge_count_max is output. In this case, edge_count_min = 10 and edge_count_max = 14. Therefore, edge_count_min ≧ 6 and edge_count_max ≧ 8, and the above edge condition is satisfied. Therefore, this vertical line image is determined as an image having a steep edge.
図９において、（ｃ１）〜（ｃ４）は、ベタの背景にある点を示している。この画像は、点を示す画素とその周辺の画素との間の相関が低く、点を示す画素以外の他の画素の間の相関が高い画像である。エッジ検出部１０２は、この画像の(ｃ１)〜（ｃ４）に示す各方向に対して、高い相関に対応する上記ｅｄｇｅ_ｈ_ｍｉｎ，ｅｄｇｅ_ｖ_ｍｉｎ，ｅｄｇｅ_ｒ_ｍｉｎ，ｅｄｇｅ_ｌ_ｍｉｎを各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎを出力する。また、エッジ検出部１０２は、この画像の(ｃ１)〜（ｃ４）に示す各方向に対して、低い相関に対応する上記ｅｄｇｅ_ｈ_ｍａｘ，ｅｄｇｅ_ｖ_ｍａｘ，ｅｄｇｅ_ｒ_ｍａｘ，ｅｄｇｅ_ｌ_ｍａｘの数を各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘを出力する。この場合、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ＝１６、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ＝８である。よって、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ≧６、及びｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ≧８であり、上記のエッジ条件を満たすため、この画像は急峻なエッジを持つ画像と判定される。 In FIG. 9, (c1) to (c4) indicate points in the solid background. This image is an image in which the correlation between the pixel indicating the point and the surrounding pixels is low, and the correlation between other pixels other than the pixel indicating the point is high. The edge detection unit 102 counts the edge_h_min, edge_v_min, edge_r_min, and edge_l_min corresponding to the high correlation for each direction indicated by (c1) to (c4) of this image, and outputs edge_count_min as a result of adding these. To do. Further, the edge detection unit 102 counts the number of edge_h_max, edge_v_max, edge_r_max, and edge_l_max corresponding to the low correlation for each direction indicated by (c1) to (c4) of the image, and the addition result thereof. Output edge_count_max. In this case, edge_count_min = 16 and edge_count_max = 8. Therefore, edge_count_min ≧ 6 and edge_count_max ≧ 8, and the above edge condition is satisfied, so this image is determined as an image having a steep edge.
図９において、（ｄ１）〜（ｄ４）は、ベタの背景にある斜線の画像を示している。この画像は、斜線の向きである右斜め方向の相関が高い画像である。しかし、他の方向（水平方向、垂直方向、左斜め方向）は相関が低くなる。エッジ検出部１０２は、この斜線の画像の(ｄ１)〜（ｄ４）に示す各方向に対して、高い相関に対応する上記ｅｄｇｅ_ｈ_ｍｉｎ，ｅｄｇｅ_ｖ_ｍｉｎ，ｅｄｇｅ_ｒ_ｍｉｎ，ｅｄｇｅ_ｌ_ｍｉｎを各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎを出力する。また、エッジ検出部１０２は、この斜線の画像の(ｄ１)〜（ｄ４）に示す各方向に対して、低い相関に対応する上記ｅｄｇｅ_ｈ_ｍａｘ，ｅｄｇｅ_ｖ_ｍａｘ，ｅｄｇｅ_ｒ_ｍａｘ，ｅｄｇｅ_ｌ_ｍａｘの数を各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘを出力する。この場合、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ＝１４、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ＝１０である。ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ≧６、及びｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ≧８であり、上記のエッジ条件を満たすため、この画像は急峻なエッジを持つ画像と判定される。 In FIG. 9, (d1) to (d4) show hatched images on a solid background. This image is an image having a high correlation in the right oblique direction, which is the direction of the oblique line. However, the correlation is low in other directions (horizontal direction, vertical direction, left diagonal direction). The edge detection unit 102 counts the edge_h_min, edge_v_min, edge_r_min, and edge_l_min corresponding to high correlation with respect to each direction indicated by (d1) to (d4) of the hatched image, and then adds edge_count_min Is output. In addition, the edge detection unit 102 counts the numbers of the edge_h_max, edge_v_max, edge_r_max, and edge_l_max corresponding to the low correlation for each direction indicated by (d1) to (d4) of the hatched image, respectively. Edge_count_max is output as the addition result. In this case, edge_count_min = 14 and edge_count_max = 10. Since edge_count_min ≧ 6 and edge_count_max ≧ 8 and the above edge condition is satisfied, this image is determined as an image having a steep edge.
次に、上記エッジ検出処理の具体例について図１０を参照して説明する。図１０は、上記エッジ検出処理を説明するための一例を示したものである。なお、図１０に示す各画像において、高い相関を示す方向は破線矢印で示し、低い相関を示す方向は太線矢印で示し、中程度の相関は実線矢印で示す。ここで、高い相関を示す方向は、上述の隣接画素間に同一な部分が存在する方向を示す。低い相関を示す方向は、上述の隣接画素間にエッジが存在する方向を示す。中程度の相関を示す方向は、上述の隣接画素間の画素値の絶対差分値Δｐがエッジの閾値ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘ及び同一性の閾値ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎの間にある方向を示す。なお、以下の具体例では、仮に、隣接画素間のエッジのカウント数の閾値ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍａｘを８、隣接画素間の同一な部分の数の閾値ｃｏｕｎｔ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎを６と設定する。なお、図１０において、円の中の縦線の疎密は画素値の高低を示し、縦線が密であるほど画素値が低く、縦線が疎であるほど画素値が高いことを示す。 Next, a specific example of the edge detection process will be described with reference to FIG. FIG. 10 shows an example for explaining the edge detection process. In each image shown in FIG. 10, a direction indicating a high correlation is indicated by a dashed arrow, a direction indicating a low correlation is indicated by a thick arrow, and a medium correlation is indicated by a solid arrow. Here, the direction showing a high correlation indicates a direction in which the same portion exists between the adjacent pixels. The direction indicating a low correlation indicates a direction in which an edge exists between the adjacent pixels. A direction indicating a medium correlation indicates a direction in which the absolute difference value Δp of the pixel values between adjacent pixels is between the edge threshold px_threshold_max and the identity threshold px_threshold_min. In the following specific example, suppose that the threshold count_threshold_max of the count number of edges between adjacent pixels is set to 8, and the threshold count_threshold_min of the same number of portions between adjacent pixels is set to 6. In FIG. 10, the density of the vertical lines in the circle indicates the level of the pixel value. The denser the vertical line, the lower the pixel value, and the lower the vertical line, the higher the pixel value.
図１０において、(ａ１)〜（ａ４）はグラデーションの背景に横線がある画像を示している。この画像は、背景が垂直方向に緩やかに変化しており、ベタの背景を示す画素の垂直方向の相関に対して、グラデーションの背景を示す画素の垂直方向の相関の方が比較的低くなっている。エッジ検出部１０２は、この画像の(ａ１)〜（ａ４）に示す各方向に対して、高い相関に対応する上記ｅｄｇｅ_ｈ_ｍｉｎ，ｅｄｇｅ_ｖ_ｍｉｎ，ｅｄｇｅ_ｒ_ｍｉｎ，ｅｄｇｅ_ｌ_ｍｉｎを各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎを出力する。また、エッジ検出部１０２は、この画像の(ａ１)〜（ａ４）に示す各方向に対して、低い相関に対応する上記ｅｄｇｅ_ｈ_ｍａｘ，ｅｄｇｅ_ｖ_ｍａｘ，ｅｄｇｅ_ｒ_ｍａｘ，ｅｄｇｅ_ｌ_ｍａｘの数を各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘを出力する。この場合、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ＝６、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ＝１８である。ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ≧６、及びｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ≧８であり、上記のエッジ条件を満たすため、この画像は急峻なエッジを持つ画像と判定される。 In FIG. 10, (a1) to (a4) show images with horizontal lines on the background of gradation. In this image, the background gradually changes in the vertical direction, and the correlation in the vertical direction of the pixels indicating the background of the gradation is relatively lower than the correlation in the vertical direction of the pixels indicating the solid background. Yes. The edge detection unit 102 counts the edge_h_min, edge_v_min, edge_r_min, and edge_l_min corresponding to high correlation for each direction indicated by (a1) to (a4) of this image, and outputs edge_count_min as a result of adding these. To do. In addition, the edge detection unit 102 counts the number of edge_h_max, edge_v_max, edge_r_max, and edge_l_max corresponding to low correlation for each direction indicated by (a1) to (a4) of this image, and the addition result thereof. Output edge_count_max. In this case, edge_count_min = 6 and edge_count_max = 18. Since edge_count_min ≧ 6 and edge_count_max ≧ 8 and the above edge condition is satisfied, this image is determined as an image having a steep edge.
図１０において、(ｂ１)〜（ｂ４）はグラデーションの背景に縦線がある画像を表している。エッジ検出部１０２は、この画像の(ｂ１)〜（ｂ４）に示す各方向に対して、高い相関に対応する上記ｅｄｇｅ_ｈ_ｍｉｎ，ｅｄｇｅ_ｖ_ｍｉｎ，ｅｄｇｅ_ｒ_ｍｉｎ，ｅｄｇｅ_ｌ_ｍｉｎを各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎを出力する。また、エッジ検出部１０２は、この画像の(ｂ１)〜（ｂ４）に示す各方向に対して、低い相関に対応する上記ｅｄｇｅ_ｈ_ｍａｘ，ｅｄｇｅ_ｖ_ｍａｘ，ｅｄｇｅ_ｒ_ｍａｘ，ｅｄｇｅ_ｌ_ｍａｘの数を各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘを出力する。この場合、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ＝１０、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ＝１４である。ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ≧６、及びｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ≧８であり、上記のエッジ条件を満たすため、この画像は急峻なエッジを持つ画像と判定される。 In FIG. 10, (b1) to (b4) represent images having vertical lines on the gradation background. The edge detection unit 102 counts the edge_h_min, edge_v_min, edge_r_min, and edge_l_min corresponding to high correlation for each direction indicated by (b1) to (b4) of this image, and outputs edge_count_min as a result of adding these. To do. In addition, the edge detection unit 102 counts the number of edge_h_max, edge_v_max, edge_r_max, and edge_l_max corresponding to low correlation for each direction indicated by (b1) to (b4) of the image, and the addition result Output edge_count_max. In this case, edge_count_min = 10 and edge_count_max = 14. Since edge_count_min ≧ 6 and edge_count_max ≧ 8 and the above edge condition is satisfied, this image is determined as an image having a steep edge.
図１０の(ａ１)〜（ａ４）及び(ｂ１)〜（ｂ４）のように、背景にグラデーションなどの小さな変化があっても、その小さな変化を同一とみなせることによって、急峻なエッジのある画像と判断できる。これは、同一性の閾値ｐｘ＿ｔｈｒｅｓｈｏｌｄ＿ｍｉｎを比較的大きめに取ることにより、グラデーションなどの小さな変化も同一とみなせるので、ベタの背景に縦線または横線がある画像と認識でき、急峻なエッジを持つ画像であると判定がすることが可能となっているからである。 As shown in (a1) to (a4) and (b1) to (b4) of FIG. 10, even if there is a small change such as a gradation in the background, the small change can be regarded as the same, so that an image with steep edges is obtained. It can be judged. This is because an image having a steep edge can be recognized as an image having a vertical line or a horizontal line on a solid background because a small change such as gradation can be regarded as the same by setting the identity threshold px_threshold_min to be relatively large. This is because it is possible to determine that there is.
図１０において、(ｃ１)から（ｃ４）は葉の間から光がさしているような画像を示している。この画像は、差し込む光を示す画素とその周辺の画素との間の相関が低い。しかし、差し込む光を示す画素以外のその周辺の画素の間の相関は比較的高い。エッジ検出部１０２は、この画像の(ｃ１)〜（ｃ４）に示す各方向に対して、高い相関に対応する上記ｅｄｇｅ_ｈ_ｍｉｎ，ｅｄｇｅ_ｖ_ｍｉｎ，ｅｄｇｅ_ｒ_ｍｉｎ，ｅｄｇｅ_ｌ_ｍｉｎを各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎを出力する。また、エッジ検出部１０２は、この画像の(ｃ１)〜（ｃ４）に示す各方向に対して、低い相関に対応する上記ｅｄｇｅ_ｈ_ｍａｘ，ｅｄｇｅ_ｖ_ｍａｘ，ｅｄｇｅ_ｒ_ｍａｘ，ｅｄｇｅ_ｌ_ｍａｘの数を各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘを出力する。この場合、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ＝４、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ＝１２である。ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ＜６、及びｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ≧８であり、上記のエッジ条件を満たさないため、この画像は急峻なエッジを持つ画像ではないと判定される。 In FIG. 10, (c1) to (c4) show images in which light is emitted from between the leaves. In this image, the correlation between the pixel indicating the light to be inserted and the surrounding pixels is low. However, the correlation between the peripheral pixels other than the pixel indicating the light to be inserted is relatively high. The edge detection unit 102 counts the edge_h_min, edge_v_min, edge_r_min, and edge_l_min corresponding to the high correlation for each direction indicated by (c1) to (c4) of this image, and outputs edge_count_min as a result of adding these. To do. Further, the edge detection unit 102 counts the number of edge_h_max, edge_v_max, edge_r_max, and edge_l_max corresponding to the low correlation for each direction indicated by (c1) to (c4) of the image, and the addition result thereof. Output edge_count_max. In this case, edge_count_min = 4 and edge_count_max = 12. Since edge_count_min <6 and edge_count_max ≧ 8 and the above edge condition is not satisfied, it is determined that this image is not an image having a steep edge.
図１０において、(ｄ１)から（ｄ４）は明るい空の背景に電線があるような場合を表している。この画像は、電線を示す画素とその周辺の明るい空を示す画素との間の相関が低い。しかし、それ以外の画素の組（例えば、明るい空を示す画素どうし、または電線を示す画素どうし）の相関は比較的高い。エッジ検出部１０２は、この画像の(ｄ１)〜（ｄ４）に示す各方向に対して、高い相関に対応する上記ｅｄｇｅ_ｈ_ｍｉｎ，ｅｄｇｅ_ｖ_ｍｉｎ，ｅｄｇｅ_ｒ_ｍｉｎ，ｅｄｇｅ_ｌ_ｍｉｎを各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎを出力する。また、エッジ検出部１０２は、この画像の(ｄ１)〜（ｄ４）に示す各方向に対して、低い相関に対応する上記ｅｄｇｅ_ｈ_ｍａｘ，ｅｄｇｅ_ｖ_ｍａｘ，ｅｄｇｅ_ｒ_ｍａｘ，ｅｄｇｅ_ｌ_ｍａｘの数を各々カウントし、これらの加算結果としてｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘを出力する。この場合、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ＝２、ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ＝１６である。ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎ＜６、及びｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘ≧８であり、上記のエッジ条件を満たさないため、この画像は急峻なエッジを持つ画像ではないと判定される。 In FIG. 10, (d1) to (d4) represent a case where there is an electric wire on a bright sky background. In this image, the correlation between the pixel indicating the electric wire and the pixel indicating the bright sky around it is low. However, the correlation between the other pixel groups (for example, pixels indicating bright sky or pixels indicating electric wires) is relatively high. The edge detection unit 102 counts the edge_h_min, edge_v_min, edge_r_min, and edge_l_min corresponding to a high correlation for each direction indicated by (d1) to (d4) of this image, and outputs edge_count_min as a result of adding these. To do. In addition, the edge detection unit 102 counts the number of edge_h_max, edge_v_max, edge_r_max, and edge_l_max corresponding to low correlation for each direction indicated by (d1) to (d4) of the image, and the addition result Output edge_count_max. In this case, edge_count_min = 2 and edge_count_max = 16. Since edge_count_min <6 and edge_count_max ≧ 8 and the above edge condition is not satisfied, it is determined that this image is not an image having a steep edge.
図１０の(ｃ１)〜（ｃ４）及び(ｄ１)〜（ｄ４）のように、自然画を示す画像においては、その画像中にエッジと判定される部分があっても、中程度の相関が増加した結果同一と判定される部分が減少するため、上記エッジ条件を満たさない。よって、混合検出部１０３によって急峻なエッジと判定されない。 As shown in (c1) to (c4) and (d1) to (d4) in FIG. 10, in an image showing a natural image, even if there is a portion determined to be an edge in the image, there is a moderate correlation. As a result of the increase, the portion determined to be the same decreases, so the above edge condition is not satisfied. Therefore, the mixture detection unit 103 does not determine a steep edge.
次に、上記エッジ検出処理の詳細について、図１１の示すフローチャートを参照して説明する。図１１を参照すると、まず、エッジ検出部１０２は、Ｓ１１００１において垂直方向に、Ｓ１１００２において水平方向に、Ｓ１２００３において右斜め方向に、Ｓ１１００４において左斜め方向に、それぞれエッジ検出処理を行う。なお、ステップＳ１１００１〜ステップＳ１１００４の各処理は、並行して行ってもよいし、順次行ってもよい。 Next, the details of the edge detection processing will be described with reference to the flowchart shown in FIG. Referring to FIG. 11, first, the edge detection unit 102 performs edge detection processing in the vertical direction in S11001, in the horizontal direction in S11002, in the diagonally right direction in S12003, and in the diagonally left direction in S11004. Note that the processes in steps S11001 to S11004 may be performed in parallel or sequentially.
次に、ステップＳ１１００５において、エッジ検出部１０２は、ステップＳ１１００１〜ステップＳ１１００４の各処理において検出した隣接画素間の同一な部分の組のカウント数を、垂直方向、水平方向、左右斜め方向の各方向に対して、高い相関に対応する上記ｅｄｇｅ_ｈ_ｍｉｎ，ｅｄｇｅ_ｖ_ｍｉｎ，ｅｄｇｅ_ｒ_ｍｉｎ，ｅｄｇｅ_ｌ_ｍｉｎとして各々出力し、これらの加算結果として同一な部分のカウント数ｅｄｇｅ＿ｃｏｕｎｔ＿ｍｉｎを出力する。また、ステップＳ１１００６において、エッジ検出部１０２は、ステップＳ１１００１〜ステップＳ１１００４の各処理において検出した隣接画素間のエッジ部分の組のカウント数を、垂直方向、水平方向、左右斜め方向の各方向に対して、低い相関に対応する上記ｅｄｇｅ_ｈ_ｍａｘ，ｅｄｇｅ_ｖ_ｍａｘ，ｅｄｇｅ_ｒ_ｍａｘ，ｅｄｇｅ_ｌ_ｍａｘとして各々出力し、これらの加算結果としてエッジ部分のカウント数ｅｄｇｅ＿ｃｏｕｎｔ＿ｍａｘを出力する。なお、ステップＳ１１００５とステップＳ１１００６の各処理は、並行して行ってもよいし、順次行ってもよい。 Next, in step S11005, the edge detection unit 102 calculates the number of counts of the same portion between adjacent pixels detected in each process of steps S11001 to S11004 in each direction in the vertical direction, the horizontal direction, and the left and right diagonal directions. Are output as the above-mentioned edge_h_min, edge_v_min, edge_r_min, edge_l_min corresponding to a high correlation, and the count number edge_count_min of the same part is output as the addition result. In step S11006, the edge detection unit 102 sets the count number of the pair of edge portions between adjacent pixels detected in the processes in steps S11001 to S11004 in each of the vertical direction, the horizontal direction, and the left and right diagonal directions. Then, the edge_h_max, edge_v_max, edge_r_max, and edge_l_max corresponding to the low correlation are output, and the count number edge_count_max of the edge portion is output as the addition result. Note that the processes of step S11005 and step S11006 may be performed in parallel or sequentially.
次いで、ステップＳ１１００７において、エッジ検出部１０２は、上記エッジ条件について判定する。上記エッジ条件を満たした場合は、Ｓ１１００８において、エッジ検出部１０２はエッジ検出結果ｅｄｇｅ＿ｄｅｔｅｃｔｉｏｎとして「１」を出力する。上記エッジ条件を満たさない場合には、エッジ検出部１０２は、Ｓ１１００９において、エッジ検出結果ｅｄｇｅ＿ｄｅｔｅｃｔｉｏｎとして「０」を出力する。 Next, in step S11007, the edge detection unit 102 determines the edge condition. If the edge condition is satisfied, in step S11008, the edge detection unit 102 outputs “1” as the edge detection result edge_detection. If the edge condition is not satisfied, the edge detection unit 102 outputs “0” as the edge detection result edge_detection in step S11209.
次いで、Ｓ１１０１０において、エッジ検出部１０２は、エッジ検出結果ｅｄｇｅ＿ｄｅｔｅｃｔｉｏｎの値を混合処理部１０３へ出力する。 Next, in S11010, the edge detection unit 102 outputs the value of the edge detection result edge_detection to the mixing processing unit 103.
混合処理部１０３は、混合処理として、エッジ検出部１０２のエッジ検出結果ｅｄｇｅ＿ｄｅｔｅｃｔｉｏｎおよびフレーム内補間処理部１０１で行なわれた補間の補間方向結果ｃｏｒｒｅｌａｔｉｏｎ＿ｖに応じて、いかなる補間画素を混合画素Ｐｉｎｔ＿ｍｉｘとして最終的に出力するかを判断する。 As the mixing process, the mixing processing unit 103 finally determines any interpolation pixel as a mixed pixel Pint_mix according to the edge detection result edge_detection of the edge detection unit 102 and the interpolation direction result correlation_v of the interpolation performed by the intra-frame interpolation processing unit 101. Judge whether to output to.
具体的には、入力された原画像が、例えばベタの背景上に文字があるような場合、すなわち急峻なエッジが存在し（ｅｄｇｅ＿ｄｅｔｅｃｔｉｏｎ＝１）かつ補間方向が垂直に選択される場合（ｃｏｒｒｅｌａｔｉｏｎ＿ｖ＝１）、混合画素Ｐｉｎｔ＿ｍｉｘとして、原画像に対応した原画素Ｐｏｒｇと補間画素Ｐｉｎｔ＿ｉｐとを混合したｔｅｍｐｏｒａｒｙ混合画素Ｐｉｎｔ＿ｔｍｐを出力する。上記の条件にあてはまらない場合は、混合画素Ｐｉｎｔ＿ｍｉｘとして補間画素Ｐｉｎｔ＿ｉｐを出力する。ここで、ｔｅｍｐｏｒａｒｙ混合画素は、Ｐｉｎｔ＿ｔｍｐ＝α×Ｐｏｒｇ＋（１−α）×Ｐｉｎｔ＿ｉｐであり、「α」は予め外部から設定される混合の割合を決定するＢｌｅｎｄｉｎｇ係数（０≦α≦１）である。 Specifically, when the input original image has characters on a solid background, for example, there is a steep edge (edge_detection = 1) and the interpolation direction is selected vertically (correlation_v = 1) As a mixed pixel Pint_mix, a temporary mixed pixel Pint_tmp obtained by mixing the original pixel Porg corresponding to the original image and the interpolation pixel Pint_ip is output. When the above condition is not satisfied, the interpolation pixel Pint_ip is output as the mixed pixel Pint_mix. Here, the temporary mixed pixel is Pint_tmp = α × Porg + (1−α) × Pint_ip, and “α” is a blending coefficient (0 ≦ α ≦ 1) that determines a mixing ratio set in advance from the outside. .
次に、上記混合処理の詳細について、図１２の示すフローチャートを参照して説明する。図１２を参照すると、ステップＳ１２００１において、混合処理部１０３は、原画素Ｐｏｒｇとフレーム内補間処理部１０１から出力された補間画素Ｐｉｎｔ＿ｉｐとを用いて、ｔｅｍｐｏｒａｒｙ混合画素Ｐｉｎｔ＿ｔｍｐを生成する。また、ステップＳ１２００２において、混合処理部１０３は、フレーム内補間処理部１０１から出力された補間方向結果ｃｏｒｒｅｌａｔｉｏｎ＿ｖと、エッジ検出部から出力されたエッジ検出結果ｅｄｇｅ＿ｄｅｔｅｃｔｉｏｎとを合わせて、混合信号ｆｌａｇ＿ｍｉｘを次のように生成する。すなわち、エッジ検出結果ｅｄｇｅ＿ｄｅｔｅｃｔｉｏｎ＝１、かつ、補間方向結果ｃｏｒｒｅｌａｔｉｏｎ＿ｖ＝１ならば、混合信号ｆｌａｇ＿ｍｉｘとして「１」を、そうでなければ混合信号ｆｌａｇ＿ｍｉｘとして「０」を出力する。なお、ステップＳ１２００２はステップＳ１２００１と並行して行ってもよいし、順次に行ってもよい。 Next, the details of the mixing process will be described with reference to the flowchart shown in FIG. Referring to FIG. 12, in step S12001, the mixing processing unit 103 generates a temporary mixed pixel Pint_tmp using the original pixel Porg and the interpolation pixel Pint_ip output from the intra-frame interpolation processing unit 101. In step S12002, the mixing processing unit 103 combines the interpolation direction result correlation_v output from the intra-frame interpolation processing unit 101 with the edge detection result edge_detection output from the edge detection unit, and outputs the mixed signal flag_mix as the following. To generate. That is, if the edge detection result edge_detection = 1 and the interpolation direction result correlation_v = 1, “1” is output as the mixed signal flag_mix, and “0” is output as the mixed signal flag_mix otherwise. Note that step S12002 may be performed in parallel with step S12001, or may be performed sequentially.
次いで、ステップＳ１２００３において、混合処理部１０３は、この混合信号ｆｌａｇ＿ｍｉｘの値を判断し、混合画素Ｐｉｎｔ＿ｍｉｘとして出力する画素を決定する。すなわち、混合信号ｆｌａｇ＿ｍｉｘ＝１ならば、ステップＳ１２００４において混合画素Ｐｉｎｔ＿ｍｉｘ＝ｔｅｍｐｏｒａｒｙ混合画素Ｐｉｎｔ＿ｔｍｐとする。また、混合信号ｆｌａｇ＿ｍｉｘ＝０ならば、ステップＳ１２００５において混合画素Ｐｉｎｔ＿ｍｉｘ＝ｔｅｍｐｏｒａｒｙ混合画素Ｐｉｎｔ＿ｉｐとする。 Next, in step S12003, the mixing processing unit 103 determines the value of the mixed signal flag_mix, and determines a pixel to be output as the mixed pixel Pint_mix. That is, if the mixed signal flag_mix = 1, the mixed pixel Pint_mix = temporary mixed pixel Pint_tmp is set in step S12004. If the mixed signal flag_mix = 0, the mixed pixel Pint_mix = temporary mixed pixel Pint_ip is set in step S12005.
次いで、ステップＳ１２００６において、混合処理部１０３は、決定された混合画素Ｐｉｎｔ＿ｍｉｘを最終的な補間画素として出力する。 Next, in step S12006, the mixing processing unit 103 outputs the determined mixed pixel Pint_mix as a final interpolation pixel.
次に、上記画像処理を経て補間された結果について図１３及び図１４を参照して説明する。 Next, the result of interpolation after the image processing will be described with reference to FIGS.
図１３はベタの背景に横線がある画像を垂直方向に拡大する場合の上記画像処理結果について説明するための図である。図１３において、（ａ）はベタの背景に横線がある原画像を示している。（ａ）中のａ１は画素値の高い画素を示し、ａ２は画素値の低い画素を示している。ベタの背景を示す画素がａ１に対応し、横線を示す画素がａ２に対応する。この画像は、垂直方向及び左右斜め方向に相関が低く、水平方向に相関が高い。垂直方向及び左右斜め方向の相関の低さは著しく、急峻な変化が生じており、この画像は上記の急峻なエッジを持つ画像に当たる。 FIG. 13 is a diagram for explaining the image processing result when an image having a horizontal line on a solid background is enlarged in the vertical direction. In FIG. 13, (a) shows an original image with a horizontal line on a solid background. In (a), a1 indicates a pixel having a high pixel value, and a2 indicates a pixel having a low pixel value. A pixel indicating a solid background corresponds to a1, and a pixel indicating a horizontal line corresponds to a2. This image has a low correlation in the vertical direction and the left-right diagonal direction, and a high correlation in the horizontal direction. The low correlation between the vertical direction and the left-right oblique direction is remarkable, and a steep change occurs. This image corresponds to the image having the steep edge.
図１３において、（ｂ）は、画像処理として、垂直方向に線形補間処理を行った結果を示している。（ｃ）は、画像処理として、上記Ｂｌｅｎｄｉｎｇ係数αを０．５に設定して上記混合処理を行った結果を示している。（ｄ）は、画像処理として、単に補間画素に原画素を出力する処理を行った結果を示している。この（ｄ）は、画像を単に垂直方向に引き伸ばしたことに対応する。 In FIG. 13, (b) shows the result of performing linear interpolation processing in the vertical direction as image processing. (C) shows the result of the above blending process with the blending coefficient α set to 0.5 as image processing. (D) shows the result of performing the process of simply outputting the original pixel to the interpolated pixel as the image processing. This (d) corresponds to simply stretching the image in the vertical direction.
図１４において（ａ）は、画素値の高低を縦軸として、走査線に垂直な方向に沿った画素の位置を横軸として、図１３において行った画像処理の結果をグラフに示している。このグラフにおいて、画素値の高低を示す縦軸に並行で等間隔に並べられた実線及び点線は、それぞれ走査線及び補間画素のある補間ラインを示す。また、図１４において（ｂ）は、（ａ）のグラフの横軸と、画像中の画素との対応関係を示す。 FIG. 14A is a graph showing the results of the image processing performed in FIG. 13, with the vertical and horizontal axes of pixel values along the direction perpendicular to the scanning line. In this graph, a solid line and a dotted line arranged at equal intervals in parallel with the vertical axis indicating the level of the pixel value indicate a scanning line and an interpolation line with an interpolation pixel, respectively. 14B shows the correspondence between the horizontal axis of the graph of FIG. 14A and the pixels in the image.
図１４において、（ａ）のａ１は画素値の高い原画素を示し、ａ２は画素値の低い原画素を示している。これらの円で示された画素は、図１３の（ａ）における、画素値の高い画素ａ１と低い画素ａ２にそれぞれ対応する。図１４において、（ａ）のａ３は、垂直方向に線形補間した補間画素を示している。これは、図１３の（ｂ）における、補間画素に対応する。図１４において、（ａ）のａ４は、補間処理として上記混合処理を行った補間画素を示している。これは、図１３の（ｃ）における補間画素に対応する。図１４において、（ａ）のａ５は、補間処理として原画素を出力する処理を行った補間画素を示している。これは、図１３の（ｄ）における補間画素に対応する。 In FIG. 14, a1 in (a) indicates an original pixel having a high pixel value, and a2 indicates an original pixel having a low pixel value. The pixels indicated by these circles correspond to the pixel a1 having a high pixel value and the pixel a2 having a low pixel value in FIG. In FIG. 14, a3 in (a) indicates an interpolation pixel obtained by linear interpolation in the vertical direction. This corresponds to the interpolation pixel in FIG. In FIG. 14, a4 in (a) indicates an interpolated pixel that has been subjected to the above mixing process as an interpolating process. This corresponds to the interpolation pixel in FIG. In FIG. 14, a5 in (a) indicates an interpolation pixel that has been subjected to a process of outputting an original pixel as an interpolation process. This corresponds to the interpolation pixel in FIG.
図１４の（ａ）において、画素位置ｎ−１にある原画素と画素位置ｎにある原画素を結ぶ線分の傾きは、画素間の画素値の差に対応する。すなわち、傾きが急であれば画素値の差は大きいことを示す。また、これはその隣接する画素間には上記エッジが存在することを示す。他方、傾きが緩やかであれば画素間の画素値の差は小さいことを示す。 In FIG. 14A, the slope of the line segment connecting the original pixel at pixel position n-1 and the original pixel at pixel position n corresponds to the difference in pixel value between the pixels. That is, if the slope is steep, it indicates that the difference in pixel values is large. This also indicates that the edge exists between adjacent pixels. On the other hand, a gentle slope indicates that the difference in pixel value between the pixels is small.
図１４の（ａ）を参照すると、原画像を拡大する際に原画素間の平均値による補間処理を行った結果、原画素中に存在していた画素位置ｎ−１にある原画素と画素位置ｎの間の急峻なエッジは緩やかなものとなる。同様に、画素位置ｎにある原画素と画素位置ｎ＋１の間にあった急峻なエッジも緩やかなものとなる。これは、ベタの背景にある横線の画像を拡大する際に平均値による補間を行うと、横線の輪郭がぼやけてしまうことを示す。 Referring to FIG. 14A, the original pixel and the pixel at the pixel position n−1 that existed in the original pixel as a result of performing the interpolation process using the average value between the original pixels when the original image is enlarged. The steep edge between the positions n is gentle. Similarly, the steep edge between the original pixel at the pixel position n and the pixel position n + 1 is also gentle. This indicates that when the horizontal line image on the solid background is enlarged, if the interpolation using the average value is performed, the outline of the horizontal line is blurred.
これに対して、図１４の（ａ）を参照すると、原画像を拡大する際に補間画素として上記混合画素を出力する補間処理を行った結果、原画素中に存在していた画素位置ｎ−１にある原画素と画素位置ｎの間のエッジは、平均値による補間処理を行った場合よりも急になっていることがわかる。このことは、単に平均値による補間処理を行った場合よりも、原画像の急峻なエッジを保持できていることを示す。同様に、画素位置ｎにある原画素と画素位置ｎ＋１の間にあったエッジも、平均値による補間処理を行った場合より急になっている。このことは、単に平均値による補間処理を行った場合よりも、原画像の急峻なエッジを保持できていることを示す。 On the other hand, referring to (a) of FIG. 14, as a result of performing an interpolation process for outputting the mixed pixel as an interpolation pixel when the original image is enlarged, the pixel position n− existing in the original pixel is obtained. It can be seen that the edge between the original pixel at 1 and the pixel position n is steeper than when the interpolation process using the average value is performed. This indicates that the sharper edge of the original image can be retained than when the interpolation process using the average value is simply performed. Similarly, the edge between the original pixel at the pixel position n and the pixel position n + 1 is steeper than when the interpolation process using the average value is performed. This indicates that the sharper edge of the original image can be retained than when the interpolation process using the average value is simply performed.
また、図１４の（ａ）を参照すると、原画像を拡大する際に補間位置に原画素を出力する補間処理を行うと、原画素中に存在していた画素位置ｎ−１にある原画素と画素位置ｎの間の急峻なエッジは維持されていることがわかる。同様に、画素位置ｎにある原画素と画素位置ｎ＋１の間にあった急峻なエッジも維持されていることがわかる。図１４の（ａ）を参照すると、上記混合画素による補間処理を行った場合よりも、上記原画素を出力する補間を行った場合の方が、より原画素間の急峻なエッジが保持されていることがわかる。しかし、以下で詳細に説明するように、両者にはその補間方法の違いから、斜線の画像の拡大処理においてがたつき（ジャギー）が生じてしまう。そのため、急峻なエッジを持つ画像を拡大する際には、上記混合画素による補間処理を行う方が課題の解決という点において優れている。 Further, referring to (a) of FIG. 14, when an interpolation process for outputting an original pixel to an interpolation position when enlarging the original image is performed, the original pixel at the pixel position n−1 existing in the original pixel is performed. It can be seen that the steep edge between the pixel position n and the pixel position n is maintained. Similarly, it can be seen that the steep edge between the original pixel at the pixel position n and the pixel position n + 1 is also maintained. Referring to (a) of FIG. 14, the sharper edge between the original pixels is held more in the case of performing the interpolation for outputting the original pixel than in the case of performing the interpolation process with the mixed pixel. I understand that. However, as will be described in detail below, due to the difference in the interpolation method between the two, rattling (jaggy) occurs in the process of enlarging the hatched image. Therefore, when enlarging an image having a steep edge, the interpolation processing using the mixed pixels is superior in terms of solving the problem.
次に、上記混合画素による補間処理と、上記原画素を出力する補間処理との違いを、図１５を参照して詳細に説明する。 Next, a difference between the interpolation process using the mixed pixel and the interpolation process for outputting the original pixel will be described in detail with reference to FIG.
図１５はベタの背景に右斜め方向の斜線がある画像を垂直方向に拡大する場合の上記画像処理結果について説明するためのものである。図１５において、（ａ）はベタの背景に右斜め方向の斜線がある原画像を示している。（ａ）中の黒く塗りつぶされた円は画素値の低い画素を示し、白抜きの円は画素値の高い画素を示している。ベタの背景を示す画素が白抜きの円に対応し、横線を示す画素が黒く塗りつぶされた円に対応する。この画像は、右斜め方向に相関が高く、その他の方向（垂直、水平、左斜め方向）に相関が低い。また、垂直及び水平及び左斜め方向の相関の低さは著しく、急峻な変化が生じており、この部分は上記のエッジ部分に当たる。 FIG. 15 is a view for explaining the above-described image processing result when an image having a solid diagonal line in the right diagonal direction is enlarged in the vertical direction. In FIG. 15, (a) shows an original image having a diagonal line in the right diagonal direction on a solid background. The black circle in (a) indicates a pixel having a low pixel value, and the white circle indicates a pixel having a high pixel value. Pixels indicating a solid background correspond to white circles, and pixels indicating horizontal lines correspond to circles filled in black. This image has a high correlation in the right diagonal direction and a low correlation in the other directions (vertical, horizontal, diagonal left). Further, the low correlation in the vertical, horizontal, and left diagonal directions is remarkable, and a steep change occurs, and this portion corresponds to the edge portion.
また、図１５において、（ｂ）は、補間画素として原画素を出力する補間処理を行った結果を示している。（ｃ）は、画像処理として上記Ｂｌｅｎｄｉｎｇ係数αを０．５に設定して上記混合処理を行った結果を示している。 In FIG. 15, (b) shows the result of performing an interpolation process for outputting an original pixel as an interpolation pixel. (C) shows the result of the blending process with the blending coefficient α set to 0.5 as image processing.
図１５の（ｂ）を参照すると、右斜め方向の斜線を垂直方向に拡大する際に補間画素として原画素を出力する補間処理を行った場合、がたつき（ジャギー）の多い斜線となってしまうことがわかる。これに対し、図１５の（ｃ）を参照すると、右斜め方向の斜線を垂直方向に拡大する際に補間画素として上記混合画素を出力する上記混合処理を行った場合には、図１５の（ｂ）の場合に比べ、ジャギーが軽減されていることがわかる。 Referring to (b) of FIG. 15, when an interpolation process is performed to output an original pixel as an interpolation pixel when the diagonal line in the right diagonal direction is expanded in the vertical direction, the diagonal line has a lot of backlash (jaggy). I understand that. On the other hand, referring to (c) of FIG. 15, when the mixing process for outputting the mixed pixel as an interpolation pixel when the diagonal line in the right diagonal direction is expanded in the vertical direction, It can be seen that jaggies are reduced compared to the case of b).
以上より、補間画素として原画素を出力する補間処理及び上記混合画素を出力する上記混合処理のいずれも、ベタの背景に横線がある画像を垂直方向に拡大する場合には原画像の急峻なエッジを保持しうる。しかし、ベタの背景に斜線がある画像を垂直方向に拡大する場合には、補間画素として原画素を出力する補間処理は斜め方向にジャギーを生じてしまう。したがって、本発明にかかる上記混合画素を出力する上記混合処理は、原画像の垂直方向の急峻なエッジを保持しつつ、斜め方向にジャギーを生じさせない補間処理として優れている。なお、本実施の形態においては垂直方向の拡大のみを扱ったが、水平方向の拡大においても反時計回りに90度回転させることで垂直方向の拡大と同等に扱える。それゆえ、垂直及び水平方向の拡大において、本発明にかかる上記混合画素を出力する上記混合処理は、原画像の急峻なエッジを保持しつつ、斜め方向にジャギーを生じさせない補間処理として優れている。 As described above, when both the interpolation process for outputting the original pixel as the interpolation pixel and the above-described mixing process for outputting the mixed pixel expand the image with the horizontal line in the solid background in the vertical direction, the sharp edge of the original image Can be retained. However, when an image having a solid background with diagonal lines is enlarged in the vertical direction, the interpolation processing for outputting the original pixel as an interpolation pixel causes jaggies in the oblique direction. Therefore, the mixing process for outputting the mixed pixels according to the present invention is excellent as an interpolation process that does not cause jaggy in an oblique direction while maintaining a sharp edge in the vertical direction of the original image. In this embodiment, only vertical enlargement has been dealt with, but horizontal enlargement can be handled in the same way as vertical enlargement by rotating 90 degrees counterclockwise. Therefore, in the enlargement in the vertical and horizontal directions, the blending process for outputting the blended pixel according to the present invention is excellent as an interpolation process that does not cause jaggy in an oblique direction while maintaining a sharp edge of the original image. .
次に、上記画像処理装置１００を利用した液晶表示装置の一例について図１６を参照して説明する。図１６において、液晶表示装置２００は、画像処理装置１００と液晶パネル２０１により構成される。画像処理装置１００は、上述の図４に示したものと同一である。液晶パネル２０１は、薄膜トランジスタ（以下、ＴＦＴという）基板、ＴＦＴ基板に対向して結合されるカラーフィルタ基板及び両基板の間に介在されて液晶等を含む。液晶パネル２０１は、画像処理装置１００からフレーム毎に入力される補間画素により画像を表示する。液晶パネル２０１の解像度が、入力されるフルハイビジョン画像の縦横２倍である場合、画像処理装置１００は、入力されるフルハイビジョン画像を縦横２倍に拡大するように上記画像補間処理を実行する。これにより、拡大後も原画像の急峻なエッジを保持しつつ、斜め方向にジャギーを生じさせない高品位な画像表示が可能になる。なお、本実施の形態では、画像処理装置を液晶表示装置に用いた場合を示したが、液晶表示装置に限定するものではなく、例えば、ＰＤＰ、有機ＥＬなどの表示装置にも適用可能である。 Next, an example of a liquid crystal display device using the image processing apparatus 100 will be described with reference to FIG. In FIG. 16, the liquid crystal display device 200 includes an image processing device 100 and a liquid crystal panel 201. The image processing apparatus 100 is the same as that shown in FIG. The liquid crystal panel 201 includes a thin film transistor (hereinafter referred to as TFT) substrate, a color filter substrate coupled to face the TFT substrate, and a liquid crystal interposed between the two substrates. The liquid crystal panel 201 displays an image with interpolation pixels input from the image processing apparatus 100 for each frame. When the resolution of the liquid crystal panel 201 is twice the vertical and horizontal dimensions of the input full high-definition image, the image processing apparatus 100 executes the image interpolation process so as to enlarge the input full high-definition image twice as long and horizontal. As a result, it is possible to display a high-quality image without causing jaggies in an oblique direction while maintaining a sharp edge of the original image even after enlargement. In the present embodiment, the case where the image processing device is used in a liquid crystal display device is shown. However, the present invention is not limited to the liquid crystal display device, and can be applied to a display device such as a PDP or an organic EL. .
１００…画像処理装置
１０１…フレーム内補間処理部
１０２…エッジ検出部
１０３…混合処理部
２００…液晶表示装置
２０１…液晶パネル
DESCRIPTION OF SYMBOLS 100 ... Image processing apparatus 101 ... Intra-frame interpolation process part 102 ... Edge detection part 103 ... Mixing process part 200 ... Liquid crystal display device 201 ... Liquid crystal panel
Claims (11)
前記入力画像のフレーム毎に前記入力画像の補間画素を作成して出力するフレーム内補間処理部と、
前記入力画像のフレーム内で検出対象領域毎に画素間の変化を検出し、前記画素間の変化によりエッジの有無を判定してエッジ判定結果を出力するエッジ検出部と、
前記エッジ検出部による前記エッジ判定結果に基づいて、前記フレーム内補間処理部から出力される補間画素に対して前記入力画像に含まれる原画素を選択的に混合してフレーム内補間処理を実行する混合処理部と、
を備えることを特徴とする画像処理装置。 In an image processing apparatus that executes enlargement processing of an input image,
An intra-frame interpolation processing unit that creates and outputs an interpolation pixel of the input image for each frame of the input image;
An edge detection unit that detects a change between pixels for each detection target region in a frame of the input image, determines the presence or absence of an edge by the change between the pixels, and outputs an edge determination result;
Based on the edge determination result by the edge detection unit, the intra-frame interpolation process is executed by selectively mixing the original pixel included in the input image with the interpolation pixel output from the intra-frame interpolation processing unit. A mixing processing unit;
An image processing apparatus comprising:
前記混合処理部は、前記フレーム内補間処理部から出力される前記補間方向が垂直方向であり、前記エッジ検出部から出力される前記エッジ判定結果がエッジ有りである場合は、前記補間画素と当該補間画素に対応する原画素とを混合して前記フレーム内補間処理を実行し、前記フレーム内補間処理部から出力される前記補間方向が垂直方向ではなく、前記エッジ検出部から出力される前記エッジ判定結果がエッジ無しである場合は、前記補間画素により前記フレーム内補間処理を実行することを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。 The intra-frame interpolation processing unit obtains a correlation value with peripheral pixels in a plurality of directions for each interpolation target pixel in the frame of the input image, outputs the interpolation pixel generated based on the correlation value, and performs the interpolation Output pixel interpolation direction,
The mixing processing unit, when the interpolation direction output from the intra-frame interpolation processing unit is a vertical direction and the edge determination result output from the edge detection unit includes an edge, The inter-frame interpolation process is performed by mixing the original pixel corresponding to the interpolation pixel, and the interpolation direction output from the intra-frame interpolation processing unit is not the vertical direction, but the edge output from the edge detection unit 4. The image processing apparatus according to claim 1, wherein when the determination result is that there is no edge, the intra-frame interpolation processing is executed by the interpolation pixel. 5.
前記入力画像のフレーム毎に前記入力画像の補間画素を作成して出力するフレーム内補間処理を実行し、
前記入力画像のフレーム内で検出対象領域毎に画素間の変化を検出し、前記画素間の変化によりエッジの有無を判定してエッジ判定結果を出力し、
前記エッジ判定結果に基づいて、前記フレーム内補間処理により出力される補間画素に対して前記入力画像に含まれる原画素を選択的に混合してフレーム内補間処理を実行すること、を含むことを特徴とする画像処理方法。 In an image processing method for executing enlargement processing of an input image,
Performing intra-frame interpolation processing for generating and outputting interpolation pixels of the input image for each frame of the input image;
Detecting a change between pixels for each detection target region in the frame of the input image, determining the presence or absence of an edge by the change between the pixels, and outputting an edge determination result;
Including selectively mixing original pixels included in the input image with respect to the interpolation pixels output by the intra-frame interpolation process based on the edge determination result, and executing the intra-frame interpolation process. A featured image processing method.
前記入力画像のフレーム内で検出対象画素毎に複数の方向の周辺画素との間で方向別の差分を各々求め、
各方向別の差分を第１の閾値及び第２の閾値と比較し、
前記第１の閾値以下の差分を累積して第１の累積結果を出力し、
前記第２の閾値以上の差分を累積して第２の累積結果を出力し、
前記第１の累積結果と第３の閾値との比較結果が第１の条件を満たすか否か、且つ、前記第２の累積結果と第４の閾値との比較結果が第２の条件を満たすか否かにより前記エッジの有無を判定すること、を含むことを特徴とする請求項６記載の画像処理方法。 In determining the presence or absence of the edge,
Each direction-specific difference is determined with respect to peripheral pixels in a plurality of directions for each detection target pixel in the frame of the input image,
Compare the difference for each direction with the first and second thresholds,
Accumulating the difference below the first threshold and outputting a first accumulation result;
Accumulating a difference greater than or equal to the second threshold and outputting a second cumulative result;
Whether the comparison result between the first cumulative result and the third threshold satisfies the first condition, and the comparison result between the second cumulative result and the fourth threshold satisfies the second condition The image processing method according to claim 6, further comprising: determining whether or not the edge exists based on whether or not the edge exists.
前記第１の累積結果と前記第３の閾値との比較結果及び前記第２の累積結果と前記第４の閾値との比較結果が前記第１の条件及び前記第２の条件の一方または双方を満たさない場合は、前記フレーム内に同一の隣接画素が存在することを示す第１の情報を出力し、
前記第１の累積結果と前記第３の閾値との比較結果及び前記第２の累積結果と前記第４の閾値との比較結果が前記第１の条件及び前記第２の条件の双方を満たす場合は、前記入力画像のフレーム内で検出対象領域にエッジが存在することを示す第２の情報を出力すること、を含むことを特徴とする請求項７記載の画像処理方法。 In determining the presence or absence of the edge,
The comparison result between the first accumulation result and the third threshold and the comparison result between the second accumulation result and the fourth threshold satisfy one or both of the first condition and the second condition. If not, output first information indicating that the same adjacent pixel exists in the frame,
The comparison result between the first cumulative result and the third threshold and the comparison result between the second cumulative result and the fourth threshold satisfy both the first condition and the second condition. The image processing method according to claim 7, further comprising: outputting second information indicating that an edge exists in a detection target region within a frame of the input image.
前記入力画像のフレーム内で補間対象画素毎に複数の方向の周辺画素との間で相関値を求め、該相関値により生成した前記補間画素を出力するとともに前記補間画素の補間方向を出力すること、を含み、
前記フレーム内補間処理において、
前記フレーム内補間処理により出力される前記補間方向が垂直方向であり、前記エッジ判定結果がエッジ有りである場合は、前記補間画素と当該補間画素に対応する原画素とを混合して前記フレーム内補間処理を実行し、
前記フレーム内補間処理により出力される前記補間方向が垂直方向ではなく、前記エッジ判定結果がエッジ無しである場合は、前記補間画素により前記フレーム内補間処理を実行すること、を含むことを特徴とする請求項６乃至８の何れか一項に記載の画像処理方法。 In the intra-frame interpolation process,
Obtaining a correlation value with peripheral pixels in a plurality of directions for each interpolation target pixel in the frame of the input image, outputting the interpolation pixel generated based on the correlation value and outputting an interpolation direction of the interpolation pixel; Including,
In the intra-frame interpolation process,
When the interpolation direction output by the intra-frame interpolation processing is a vertical direction and the edge determination result includes an edge, the interpolated pixel and the original pixel corresponding to the interpolated pixel are mixed and Perform interpolation processing,
When the interpolation direction output by the intra-frame interpolation process is not a vertical direction and the edge determination result is no edge, the intra-frame interpolation process is executed by the interpolation pixel. The image processing method according to any one of claims 6 to 8.
前記補間画素と前記現画素を混合する割合を示す係数を設定し、前記係数を用いて前記補間画素と前記現画素の混合処理を実行すること、を含むことを特徴とする請求項９記載の画像処理方法。 In the intra-frame interpolation process,
The method according to claim 9, further comprising: setting a coefficient indicating a ratio of mixing the interpolation pixel and the current pixel, and executing a mixing process of the interpolation pixel and the current pixel using the coefficient. Image processing method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010262150A JP2012114687A (en) | 2010-11-25 | 2010-11-25 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010262150A JP2012114687A (en) | 2010-11-25 | 2010-11-25 | Image processing apparatus and image processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012114687A true JP2012114687A (en) | 2012-06-14 |
Family
ID=46498408
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010262150A Pending JP2012114687A (en) | 2010-11-25 | 2010-11-25 | Image processing apparatus and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012114687A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160049444A (en) * | 2014-10-27 | 2016-05-09 | 삼성디스플레이 주식회사 | Image processing decvce and image processing method |
-
2010
- 2010-11-25 JP JP2010262150A patent/JP2012114687A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160049444A (en) * | 2014-10-27 | 2016-05-09 | 삼성디스플레이 주식회사 | Image processing decvce and image processing method |
| KR102457856B1 (en) | 2014-10-27 | 2022-10-25 | 삼성디스플레이 주식회사 | Image processing decvce and image processing method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6600517B1 (en) | System and method for improving the sharpness of a video image | |
| KR102169480B1 (en) | Creating details in an image with adaptive frequency strength controlled transform | |
| US20100027664A1 (en) | Image Processing Apparatus and Image Processing Method | |
| KR100403364B1 (en) | Apparatus and method for deinterlace of video signal | |
| JP2004527171A (en) | Scalable resolution enhancement of video images | |
| KR102197579B1 (en) | Creating details in an image with frequency lifting | |
| KR102169053B1 (en) | Control of frequency lifting super-resolution with image features | |
| US20080174694A1 (en) | Method and apparatus for video pixel interpolation | |
| US20140267347A1 (en) | Creating details in an image with adaptive frequency lifting | |
| EP2063636B1 (en) | Video processing device and video processing method | |
| US8704945B1 (en) | Motion adaptive deinterlacer | |
| TWI471010B (en) | A motion compensation deinterlacing image processing apparatus and method thereof | |
| JP2012114687A (en) | Image processing apparatus and image processing method | |
| JP2011035776A (en) | Video information processing apparatus, and program | |
| CN107517356B (en) | Deinterlacing image processing method and device | |
| KR102603650B1 (en) | System for Interpolating Color Image Intelligent and Method for Deinterlacing Using the Same | |
| JP2006030352A (en) | Liquid crystal display device | |
| US7495706B2 (en) | Video signal setting device for performing output setting to a display device | |
| US20080165279A1 (en) | Motion adaptive image processing | |
| Suzuki et al. | 7.2: Determination Method of Pixel Values for Combined Single‐Line and Multi‐Line Scanning Method for 120‐Hz PDPs | |
| JP2016111421A (en) | Image processing device, image processing method, computer program, and display device | |
| JP2016025459A (en) | Image processing system, image processing method, computer program and display device | |
| WO2012124523A1 (en) | Noise reduction processing device, and display device | |
| JP2016086236A (en) | Image processing device, image processing method, computer program and display device | |
| Lee et al. | Deinterlacing with reduced flickering |