WO2014084136A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2014084136A1
WO2014084136A1 PCT/JP2013/081501 JP2013081501W WO2014084136A1 WO 2014084136 A1 WO2014084136 A1 WO 2014084136A1 JP 2013081501 W JP2013081501 W JP 2013081501W WO 2014084136 A1 WO2014084136 A1 WO 2014084136A1
Authority
WO
WIPO (PCT)
Prior art keywords
sharpening
image
unit
area
additional image
Prior art date
Application number
PCT/JP2013/081501
Other languages
English (en)
French (fr)
Inventor
貴行 村井
善光 村橋
直樹 塩原
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2014084136A1 publication Critical patent/WO2014084136A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Definitions

  • the present invention relates to an image processing apparatus, and particularly to a sharpening processing technique.
  • Japanese Patent Application Laid-Open No. 2010-152518 discloses that a sharpening process for a specific color area such as a face image area is reduced from other areas, thereby sharpening an image such as a landscape from a face image area, and the like.
  • sharpness processing is performed by setting a sharpness processing parameter for a specific color region lower than a level set for a region other than the specific color region.
  • images such as subtitle images and OSD (On Screen Display) are added and displayed on content images (hereinafter referred to as content images) such as movies and programs.
  • content images such as movies and programs.
  • the additional image added to the content image is displayed in a predetermined area in the display area.
  • sharpening processing is performed on a pixel-by-pixel basis using pixel values of peripheral pixels of the target pixel, noise may occur at the boundary between the display area of the additional image and the display area of the content image.
  • an image such as a black belt is displayed in the subtitle display area. Therefore, for pixels near the boundary between the display area of the content image and the display area of the black belt portion, the pixels of the black belt portion are included in the peripheral pixels used for the sharpening process.
  • the boundary portion becomes easy to be visually recognized due to the difference in the pixel data of the peripheral pixels with respect to the pixels near the boundary and the other areas. Noise is generated. Such noise becomes more prominent as the sharpening strength increases. In order to suppress noise at the boundary part, it is conceivable that the sharpening process is not performed on the boundary part.
  • the sharpened portion and the non-sharpened portion in the caption image are mixed, and the visibility of the subtitle image is lowered or the user feels uncomfortable.
  • An object of the present invention is to provide a technique for reducing noise in the vicinity of a boundary between a display area of a content image and a display area of an additional image such as caption or OSD when sharpening processing is performed on the image. .
  • An image processing apparatus is directed to an image processing unit that performs a sharpening process on a signal value of each pixel in an input signal including image data to be displayed in a display area using an input parameter; Of the display area, a predetermined specific area including a boundary between an area where the image of the image data is displayed and an area where the additional image added to the image is displayed is added to the image of the image data.
  • Acquisition unit for acquiring at least one of the additional image information indicating whether or not to display the additional image and the intensity information indicating the strength of the sharpening in the sharpening process, and acquired by the acquisition unit
  • a determination unit that determines the parameter for the pixel in the specific region based on the sharpening processing information and outputs the parameter to the image processing unit.
  • the determining unit when the intensity information is included in the sharpening process information, applies the specific area to the specific area when the intensity indicated by the intensity information is equal to or greater than a threshold value.
  • the parameter indicating that the sharpening process is not performed is determined, and when the intensity is smaller than the threshold value, the parameter indicating that the sharpening process is performed on the specific region is determined.
  • the determination unit when the additional image information indicating that the additional image is to be displayed is included in the sharpening processing information, the determination unit includes a first determination process and a second determination process. If the additional image information indicating that the additional image is not displayed is included in the sharpening processing information, one of a third determination process and a fourth determination process is performed,
  • the first determination process is a process of determining the parameter so that the sharpening level of the specific area is the same as the sharpening level of another area for each pixel of the specific area.
  • the determination process is a process of determining the different parameters for the pixels in the specific area so that the sharpening level decreases as the area from which the additional image is displayed is approached from the specific area.
  • the determination unit includes the additional image information indicating that the additional image is further displayed in the sharpening processing information when the intensity is equal to or greater than the threshold value.
  • the first determination processing and the second determination processing are performed. Any one of four determination processes, and the first determination process is a process of determining the parameter so that a sharpening level of the specific area is in common with a sharpening level of another area, The second determination process is a process of determining different parameters for the pixels in the specific area so that the sharpening level decreases as the area from which the additional image is displayed is approached from the specific area.
  • the third determination process is a process of determining the parameter indicating that the sharpening process is not performed on each pixel of the specific region, and the fourth determination process is performed from the specific region to the other This is a process of determining the different parameters for the pixels in the specific region so that the sharpening level of the specific region approaches the sharpening level in the other region as the region approaches.
  • the input signal includes additional image data indicating the additional image
  • the acquisition unit includes the additional image data in the input signal.
  • the additional image information is acquired by determining whether or not it is present.
  • the configuration of the present invention when sharpening processing is performed on an image, it is possible to reduce noise in the vicinity of the boundary between the display area of the content image and the display area of the additional image such as caption or OSD.
  • FIG. 1 is a block diagram illustrating a schematic configuration of the display device according to the first embodiment.
  • FIG. 2 is a diagram showing a display area in the first embodiment.
  • FIG. 3 is a block diagram illustrating a configuration example of the image processing unit in the first embodiment.
  • FIG. 4 is a conceptual diagram illustrating a configuration example of the high-frequency extension unit in the first embodiment.
  • FIG. 5 is a block diagram showing a schematic configuration of the configuration of the high-frequency extension section in the first embodiment.
  • FIG. 6 is a schematic diagram illustrating the configuration of the vertical high-pass filter unit in the first embodiment.
  • FIG. 7 is a schematic diagram illustrating the configuration of the horizontal high-pass filter unit in the first embodiment.
  • FIG. 1 is a block diagram illustrating a schematic configuration of the display device according to the first embodiment.
  • FIG. 2 is a diagram showing a display area in the first embodiment.
  • FIG. 3 is a block diagram illustrating a configuration example of the image processing unit in the first embodiment.
  • FIG. 8 is a schematic diagram illustrating the configuration of the nonlinear arithmetic unit in the first embodiment.
  • FIG. 9 is a block diagram illustrating a configuration example of the display device according to the second embodiment.
  • FIG. 10 is a block diagram illustrating an image processing unit and a parameter output unit in the second embodiment.
  • FIG. 11 is a block diagram illustrating a configuration example of a display device according to the third embodiment.
  • FIG. 12 is a block diagram illustrating an image processing unit and a parameter output unit in the third embodiment.
  • FIG. 13A is a conceptual diagram illustrating an example of parameters for pixels in a boundary vicinity region in a modified example.
  • FIG. 13B is a conceptual diagram illustrating an example of parameters for pixels in the boundary vicinity region in the modification.
  • FIG. 14A is a conceptual diagram illustrating an example of parameters for pixels in a boundary vicinity region in a modified example.
  • FIG. 14B is a conceptual diagram illustrating an example of parameters for pixels in the vicinity of the boundary in the modified example
  • An image processing apparatus includes an image processing unit that performs a sharpening process on a signal value of each pixel in an input signal including image data to be displayed in a display area using an input parameter.
  • an image processing unit that performs a sharpening process on a signal value of each pixel in an input signal including image data to be displayed in a display area using an input parameter.
  • a predetermined specific area including a boundary between an area where an image of the image data is displayed and an area where an additional image added to the image is displayed is included in the image of the image data.
  • An acquisition unit for acquiring at least one of additional image information indicating whether or not to display an additional image to be added and intensity information indicating the intensity of sharpening in the sharpening process as sharpening process information; and A determination unit that determines the parameter for the pixel in the specific region based on the acquired sharpening processing information and outputs the parameter to the image processing unit (first configuration).
  • the sharpening process is performed on the specific region in accordance with the sharpening process information indicating the strength of the sharpening and the presence / absence of display of the additional image. Therefore, noise generated in the specific area can be reduced as compared with the case where the sharpening process is not performed on the specific area, regardless of the sharpening strength and whether or not the additional image is displayed.
  • the determination unit when the intensity information is included in the sharpening processing information, the determination unit applies to the specific region when the intensity indicated by the intensity information is equal to or greater than a threshold value.
  • the parameter indicating that the sharpening process is not performed may be determined, and when the intensity is smaller than the threshold, the parameter indicating that the sharpening process is performed on the specific region may be determined.
  • the boundary portion between the display area of the content image and the display area of the additional image is visually recognized. Can be difficult.
  • the determination unit when the additional image information indicating that the additional image is displayed is included in the sharpening processing information, the determination unit performs a first determination process and a second determination process. If the additional image information indicating that the additional image is not displayed is included in the sharpening processing information, one of a third determination process and a fourth determination process is performed,
  • the first determination process is a process of determining the parameter so that the sharpening level of the specific area is the same as the sharpening level of another area for each pixel of the specific area.
  • the determination process is a process of determining the different parameters for the pixels in the specific area so that the sharpening level decreases as the area from which the additional image is displayed is approached from the specific area.
  • the sharpening process can be performed on the specific area using a parameter according to whether or not the additional image is displayed on the specific area, the additional image displayed on the specific area is visually recognized. Can be improved.
  • the determination unit includes the additional image information indicating that the additional image is further displayed in the sharpening processing information when the intensity is equal to or greater than the threshold.
  • the first determination processing and the second determination processing are performed. Any one of four determination processes, and the first determination process is a process of determining the parameter so that a sharpening level of the specific area is in common with a sharpening level of another area, The second determination process is a process of determining different parameters for the pixels in the specific area so that the sharpening level decreases as the area from which the additional image is displayed is approached from the specific area.
  • the third determination process is a process of determining the parameter indicating that the sharpening process is not performed on each pixel of the specific region, and the fourth determination process is performed from the specific region to the other It is good also as the process which determines the said parameter which is different with respect to the pixel of the said specific area so that the level of sharpening of the said specific area may approach the level of sharpening in the said other area, so that it approaches the area of this. .
  • the sharpening process can be performed on the specific area using the parameters according to the sharpening strength and the presence / absence of the additional image display. Therefore, the content image display area and the additional image display can be performed. While making the boundary part with an area
  • the input signal includes additional image data indicating the additional image
  • the acquisition unit includes the additional image data in the input signal.
  • the additional image information may be acquired by determining whether or not it is present.
  • the sharpening process is performed on the pixel values in the image signal input to the display device, the sharpening process is performed based on the sharpening intensity instructed by the user.
  • an area for displaying additional images such as subtitles and OSD displayed in addition to the content image
  • an additional image display area an area for displaying the content image
  • a sharpening process is performed on the pixels located near the boundary of the image display area) according to the instructed sharpening intensity. Details of this embodiment will be described below.
  • FIG. 1 is a block diagram illustrating a schematic configuration of a display device including an image processing device according to the present embodiment.
  • a display device 1A is connected to an antenna 10, and includes an input unit 11, a Y / C (luminance signal / color difference signal) separation unit 12, a scaling unit 13, an image format conversion unit 14, a display unit 15, An operation signal receiving unit 16, an image processing unit 20, and a parameter output unit 30a are included.
  • the image processing unit 20 and the parameter output unit 30a are an example of an image processing apparatus.
  • the antenna 10 receives, for example, a high-frequency signal as a radio wave related to television broadcasting, and outputs the received high-frequency signal to the display device 1A.
  • a high frequency signal is input to the input unit 11 via the antenna 10.
  • the input unit 11 extracts a modulation signal related to a designated channel from a high-frequency signal input from the antenna 10, and converts the extracted modulation signal into a modulation signal in a base frequency band.
  • the input unit 11 outputs the converted modulation signal to the Y / C separation unit 12.
  • the Y / C separation unit 12 demodulates the modulation signal input from the input unit 11 to generate an image signal, and separates the generated image signal into an analog luminance signal Y, a color difference signal Cb, and a color difference signal Cr.
  • the Y / C separation unit 12 converts each separated signal from an analog signal to a digital signal at a predetermined sampling frequency.
  • the Y / C separation unit 12 outputs an image signal including the converted digital luminance signal Y, color difference signal Cb, and color difference signal Cr to the scaling unit 13.
  • the scaling unit 13 When the resolution (number of pixels) of the image signal input from the Y / C separation unit 12 is different from the resolution of the display unit 15, the scaling unit 13 is input so as to be equal to the resolution of the display unit 15. Adjust (scaling) the resolution of the image signal. When the resolution of the display unit 15 is larger than the resolution of the input image, the scaling unit 13 performs interpolation on the input image signal. When the resolution of the display unit 15 is smaller than the resolution of the input image, the scaling unit 13 downsamples the input image signal. The scaling unit 13 uses, for example, a bicubic method or a bilinear method as a method for interpolation or downsampling. The scaling unit 13 outputs the image signal whose resolution has been adjusted to the image processing unit 20.
  • the input image signal is output to the image processing unit 20.
  • the ratio of the number of pixels in the horizontal direction (or vertical direction) of the display unit 15 to the number of pixels in the horizontal direction (or vertical direction) of the input image signal is referred to as an enlargement ratio.
  • the enlargement ratio is 3.
  • the image format converter 14 converts the format of the image signal input from the image processor 20 described later.
  • the image format conversion unit 14 converts the format of the image signal into a progressive signal.
  • the interlace signal is a signal configured by performing horizontal scanning on pixels every other column, and is a signal in which the column to be scanned is different for each frame.
  • a progressive signal is a signal formed by scanning a pixel in the horizontal direction for each column.
  • the image format conversion unit 14 is an image signal (for example, RGB signal, red (R), green (G)) in which the input image signal or the image signal obtained by converting the format is represented in a color system corresponding to the display unit 15. , Blue (B) image signals including signal values of respective colors), and the converted image signals are output to the display unit 15.
  • the display unit 15 includes a display including a display panel such as a liquid crystal panel.
  • the display unit 15 displays an image represented by the image signal input from the image format conversion unit 14.
  • FIG. 2 is a schematic diagram showing a display area of the display unit 15.
  • the display area 150 includes an image display area 151 and an additional image display area 152.
  • the additional image display area 152 is a so-called black belt area in which an image such as black is displayed.
  • an image or an additional image is displayed in a predetermined area 151a including a boundary with the additional image display area 152.
  • this region 151a is referred to as a boundary vicinity region 151a.
  • the upper, lower, left and right edges of the display area 150 are used as the additional image display area 152, but either the upper or lower edge or the left and right edges may be used as the additional image display area 152. May be used as the additional image display area 152.
  • the operation signal receiving unit 16 includes an infrared light receiving unit, and receives an operation signal output from the operation unit 17 described later.
  • the operation signal is an operation signal for instructing the channel setting
  • the operation signal receiving unit 16 outputs the operation signal to the input unit 11 to instruct the sharpening intensity setting and the display of the additional image.
  • the operation signal is output to the parameter output unit 30a.
  • the operation unit 17 includes, for example, a remote control having numbers, letters, direction keys, and the like.
  • the operation unit 17 receives an operation for instructing an operation by a user, for example, a channel setting, a sharpening intensity setting, an additional image display such as a menu screen, and the like.
  • the operation unit 17 transmits an operation signal indicating the instructed operation using infrared rays.
  • the sharpening intensity for example, a numerical value within a predetermined range can be selected.
  • the user designates a desired sharpening intensity by remote control operation.
  • the image processing unit 20 performs image processing on each pixel value in the image signal.
  • the image processing unit 20 performs noise reduction and sharpening processing on the luminance signal Y of the image signal input from the scaling unit 13 using parameters output from the parameter output unit 30a described later, and the noise is reduced and sharpened.
  • a luminance signal Z indicating the converted image is generated.
  • the image processing unit 20 updates the luminance signal Y input from the scaling unit 13 to the generated luminance signal Z, and synchronizes with the color difference signals Cb and Cr.
  • the image processing unit 20 outputs an image signal including the luminance signal Z and the color difference signals Cb and Cr to the image format conversion unit 14.
  • the image processing unit 20 may be any unit that performs the above image processing on a pixel basis, and a configuration example thereof will be described below.
  • FIG. 3 is a block diagram illustrating a configuration example of the image processing unit 20 in the present embodiment.
  • the image processing unit 20 includes a contour direction detection unit 21, a low-pass filter unit 20 a, and a high-frequency extension unit 27.
  • the contour direction detection unit 21 estimates the contour direction for each pixel based on the signal value (luminance value) for each pixel.
  • the low-pass filter unit 20a is a reference pixel arranged in the contour direction of each pixel, and filters the signal value of each pixel using a signal value for each reference pixel in a reference region determined in advance from each pixel.
  • the high frequency extension unit 27 generates a high frequency component of the signal value of each pixel filtered by the low-pass filter unit 20a, and extends the frequency band of the signal value for each pixel. Details of each part will be described below.
  • the contour direction detection unit 21 estimates the contour direction for each pixel based on the signal value for each pixel represented by the luminance signal Y input from the scaling unit 13.
  • the contour direction is a direction orthogonal to the normal line of the contour line, that is, a tangential direction of the contour line.
  • the contour line refers to a line indicating a space where the signal value is substantially constant, and may be a curve or a straight line. Therefore, the contour is not limited to a region where the signal value changes rapidly according to a change in position.
  • the relationship between contour lines and signal values corresponds to the relationship between contour lines and elevation.
  • the position of each pixel is given discretely or is affected by noise around the contour to be improved in the present invention, such as jaggy, dot interference, mosquito noise, etc.
  • the direction of the contour cannot be determined by using the line that passes through as the line forming the contour.
  • the signal value is differentiable (that is, continuous) in the space representing the coordinates for each pixel.
  • the contour direction detection unit 21 calculates the contour direction ⁇ based on, for example, the following equation (1) based on the difference value in the horizontal direction or the vertical direction of the signal value for each pixel.
  • the contour direction ⁇ is a counterclockwise angle with respect to the horizontal direction (x direction).
  • x and y are horizontal and vertical coordinates, respectively.
  • Y (x, y) is a signal value at coordinates (x, y). That is, the contour direction ⁇ is calculated as an angle that gives a tangent value obtained by dividing the partial differentiation of the signal value Y (x, y) in the x direction by the partial differentiation of the signal value Y (x, y) in the y direction.
  • the Equation (1) can be derived from the relationship that the signal value Y (x, y) is constant even if the coordinates (x, y) are different.
  • Gx (x, y) and Gy (x, y) represent partial differentiation in the x direction and partial differentiation in the y direction of the signal value Y (x, y), respectively.
  • Gx (x, y) and Gy (x, y) may be referred to as x-direction partial differentiation and y-direction partial differentiation, respectively.
  • the position (coordinates) of the pixel (i, j) indicates the barycentric point of the pixel.
  • the variable a at the position of the pixel is represented as a (i, j) or the like.
  • the contour direction detection unit 21 uses, for example, the following equations (2) and (3), respectively, and the x-direction partial differential Gx (i, j) of the signal value Y (i, j) at each pixel (i, j). , Y-direction partial differential Gy (i, j) is calculated.
  • i and j are integer values indicating indices in the x direction and y direction of the pixel of interest, respectively.
  • a pixel of interest is a pixel that attracts attention as a direct processing target.
  • Wx (u ′, v ′) and Wy (u ′, v ′) indicate filter coefficients of the difference filter in the x direction and the y direction, respectively.
  • u and v are integer values indicating indices of the reference pixel in the x and y directions, respectively.
  • the reference pixel is a pixel within a range determined by a predetermined rule with the target pixel as a reference, and is a pixel that is referred to when processing the target pixel.
  • the reference pixel includes a target pixel.
  • the difference filter described above has filter coefficients Wx (u ′, v) for u ′, v ′ of 2n + 1 in the x direction and 2n + 1 in the y direction (total (2n + 1) (2n + 1)) reference pixels, respectively.
  • Wx (u ′, v) for u ′, v ′ of 2n + 1 in the x direction and 2n + 1 in the y direction (total (2n + 1) (2n + 1)) reference pixels, respectively.
  • n is an integer value greater than 1 (for example, 2).
  • n is set to a value smaller than a predetermined maximum value, for example, an integer value equal to the enlargement rate, an integer value obtained by rounding up the digits after the decimal point of the enlargement rate, or any of these integer values. It is determined that the value is larger.
  • the contour direction detection unit 21 quantizes and quantizes the contour direction ⁇ (i, j) calculated based on the calculated x-direction partial differential Gx (i, j) and y-direction partial differential Gy (i, j).
  • a quantized contour direction D (i, j) representing the contour direction is calculated.
  • the contour direction detection unit 21 uses, for example, the following equation (4) when calculating the quantized contour direction D (i, j).
  • Equation (4) round E is a rounding function that gives an integer value obtained by rounding off the decimal places of the real number ....
  • N d is a constant representing the number of quantized contour directions (number of quantized contour directions).
  • the quantization contour direction number Nd is, for example, any value between 8 and 32.
  • of the x-direction partial differential Gx (i, j) is smaller than a predetermined minute real value (for example, 10 ⁇ 6 ).
  • Tan ⁇ 1 is ⁇ / 2.
  • the quantized contour direction D (i, j) is represented by any integer from 0 to N d ⁇ 1 by rounding a value obtained by dividing the contour direction ⁇ by the quantization interval by ⁇ / N d. .
  • the contour direction detection unit 21 outputs quantized contour direction information representing the calculated quantized contour direction D (i, j) to the direction evaluation unit 22 and the reference region load processing unit 23.
  • the low-pass filter unit 20 a includes a direction evaluation unit 22, a reference region load processing unit 23, a preprocessing unit 24, a product-sum operation unit 25, and a synthesis operation unit 26.
  • the direction evaluating unit 22 Based on the quantized contour direction for each pixel represented by the quantized contour direction information input from the contour direction detecting unit 21, the direction evaluating unit 22 has each reference belonging to the reference region centered on the target pixel for each target pixel. A pixel direction evaluation value is calculated.
  • the direction evaluation unit 22 determines the difference between the quantization contour direction D (i, j) of the target pixel (i, j) and the quantization contour direction D (u, v) of the reference pixel (u, v). The direction evaluation value of the reference pixel is determined so that the smaller the value is, the larger the direction evaluation value is.
  • D (u, v) ⁇ D (i, j) is calculated.
  • ) is determined as the maximum value 1.
  • ) is determined as the minimum value 0.
  • the direction evaluation unit 22 approximates the quantization contour direction D (i, j) for the target pixel (i, j) to the quantization contour direction D (u, v) for the reference pixel (u, v), that is, the difference.
  • the direction evaluation value F ( ⁇ D) may be determined so as to increase as the absolute value
  • ) 0. (
  • the direction evaluation unit 22 determines the other quantization contour.
  • a correction value is calculated by adding Nd to the direction value.
  • the direction evaluation unit 22 calculates an absolute value for a difference value between the calculated correction value and one quantization contour direction.
  • the intended direction evaluation value is determined by using the absolute value thus calculated as
  • the contour direction of the pixel of interest (i, j) is different from the reference pixel (u, v) having a different contour direction. The effect can be ignored or neglected.
  • the size of the reference region to which the reference pixel (u, v) belongs may be 2n + 1 or larger than this number.
  • the size of the reference region in the direction evaluation unit 22 may be different from the size of the reference region in the contour direction detection unit 21.
  • the number of pixels in the horizontal direction and the vertical direction of the reference area in the direction evaluation unit 22 is 7 respectively, whereas the number of pixels in the horizontal direction and the vertical direction of the reference area in the contour direction detection unit 21 is 5 respectively. There may be.
  • the direction evaluation unit 22 outputs direction evaluation value information representing the direction evaluation value F ( ⁇ D) of each reference pixel (u, v) to the product-sum calculation unit 25 for each pixel of interest (i, j).
  • the reference area load processing unit 23 performs, for each pixel of interest (i, j), based on the quantized contour direction D (i, j) for each pixel represented by the quantized contour direction information input from the contour direction detection unit 21.
  • the reference area load information is a weighting factor R (D (i, j), u ′, v ′) for each reference pixel (u ′, v ′) belonging to a reference area centered on a certain target pixel (i, j). ).
  • This weighting factor may be referred to as a reference area load.
  • the size of the reference area in the reference area load processing unit 23 is determined in advance so as to be equal to the size of the reference area in the direction evaluation unit 22.
  • the reference area load processing unit 23 weights R (D (i, j), u) of reference pixels in a direction in a predetermined range from the quantization contour direction D (i, j) of the target pixel (i, j). ', V') is set to a value larger than the weight coefficient of the reference pixel in the direction outside the range.
  • U ′, v ′) is defined as 1, and the weighting factor R (D (i, j), u ′, v ′) of the reference pixel (u ′, v ′) in the other direction is defined as 0. .
  • the reference pixel in the quantization contour direction or the direction approximate to the direction from the target pixel is specifically a line segment extending in the quantization contour direction from the center of the target pixel (i, j) passes through the region.
  • Reference pixel (u ′, v ′) may determine the weighting coefficient so that the reference pixel (u ′, v ′) having a longer distance through which the line segment passes through the area becomes larger.
  • the reference region load processing unit 23 includes a storage unit that stores in advance reference region load information representing the calculated weighting coefficient of each reference pixel in association with the quantized contour direction information.
  • the reference area load processing unit 23 reads the reference area load information corresponding to the quantized contour direction represented by the input quantized contour direction information from the storage unit.
  • the reference area load processing unit 23 outputs the reference area load information determined for each pixel of interest (i, j) to the product-sum operation unit 25. Further, the reference area load processing unit 23 may change the reference area load information of the reference pixel to be output according to the sharpening strength indicated by the input operation signal.
  • the reference area load information of the reference pixel whose angle difference from the quantization contour direction of the target pixel is within a predetermined range is output, and the sharpening is performed.
  • the intensity of conversion is less than the first threshold, the reference area load information of the reference pixel in the same direction as the quantization contour direction of the target pixel is output.
  • the preprocessing unit 24 for each pixel of interest (i, j), from the luminance signal Y input from the scaling unit 13, each reference pixel (u, j) belonging to a reference region centered on the pixel of interest (i, j). A luminance signal representing the signal value Y (u, v) of v) is extracted. The preprocessing unit 24 subtracts the signal value Y (i, j) of the pixel of interest from the signal value Y (u, v) of the reference signal represented by the extracted luminance signal, and obtains the difference signal value Y (u, v) ⁇ Y (i, j) is calculated.
  • the preprocessing unit 34 generates a difference signal representing the calculated difference signal value, and outputs the generated difference signal to the product-sum operation unit 35.
  • the size of the reference region in the preprocessing unit 24 is determined in advance so as to be equal to the size of the reference region in the direction evaluation unit 22 and the reference region load processing unit 23.
  • the product-sum operation unit 25 receives direction evaluation value information from the direction evaluation unit 22, reference region load information from the reference region load processing unit 23, and difference signal from the preprocessing unit 34. Entered.
  • the product-sum operation unit 25 performs the direction evaluation value F (
  • a smoothing difference value ⁇ Y (i, j) is calculated by multiply-adding the reference region load R (D (i, j), u ′, v ′) represented by the information.
  • the product-sum operation unit 35 uses, for example, the following equation (5) when calculating the smoothed difference value ⁇ Y (i, j).
  • Equation (5) is obtained by calculating the direction evaluation value F (
  • the product-sum operation unit 25 generates a smoothed difference signal representing the calculated smoothed difference value ⁇ Y (i, j), and outputs the generated smoothed difference signal to the combining operation unit 26.
  • the synthesis calculation unit 26 receives the smoothed difference signal ⁇ Y (i, j) from the product-sum calculation unit 25 and the luminance signal Y (i, j) from the scaling unit 13.
  • the synthesis calculation unit 26 adds (synthesizes) the smoothed difference value ⁇ Y (i, j) and the signal value Y (i, j) represented by the luminance signal Y to obtain a low-pass signal value Y ′′ (i, j, j) is output.
  • the low-pass signal value Y ′′ (i, j) is output to the high frequency extension unit 27 as the luminance signal Y ′′.
  • FIG. 4 is a conceptual diagram illustrating a configuration example of the high-frequency extension unit 27 according to the present embodiment.
  • the high-frequency extension unit 27 includes k (k is an integer greater than 1 or 1) nonlinear filter units 28-1 to 28-k, an exclusion processing calculation unit 271, and a synthesis calculation unit 29.
  • the nonlinear filter units 28-1 to 28-k calculate high-frequency component values for the low-pass signal values Y ′′ (i, j) of the respective pixels represented by the input luminance signal Y ′′, and the calculated high-frequency values The component value is output to the exclusion processing calculation unit 271.
  • the nonlinear filter units 28-1 to 28-k include linear filter units 281-1 to 281-k and nonlinear operation units 282-1 to 282-k, respectively.
  • the linear filter units 281-1 to 281-k extract components representing line drawings (for example, contours) each facing a predetermined direction.
  • the linear filter units 281-1 to 281-k output direction component signals representing the extracted components to the non-linear operation units 282-1 to 282-k, respectively.
  • Nonlinear computing units 282-1 to 282-k perform nonlinear computation on the signal values represented by the direction component signals respectively input from linear filter units 281-1 to 281-k to calculate nonlinear output values.
  • the non-linear operation units 282-1 to 282-k generate direction component signals represented by the calculated non-linear output values, and output the generated direction component signals to the synthesis operation unit 29, respectively.
  • the nonlinear calculation performed by the nonlinear calculation units 282-1 to 282-k is, for example, a high-order function f (W) of the input signal value W.
  • f (W) is, for example, sgn (W)
  • sgn indicates a sign function of real numbers. That is, sgn extended is a function that gives 1 when ... is greater than 0, gives -1 when ... is less than 0, and gives 0 when ... is 0. Since these functions are odd functions, the output value includes odd-order harmonic components.
  • the exclusion processing calculation unit 271 receives high-frequency component values from the nonlinear filter units 28-1 to 28-k, and receives a parameter K from the parameter output unit 30a.
  • the exclusion processing calculation unit 271 includes a storage unit (not shown) in which pixel information indicating the pixel (i, j) included in the boundary vicinity region 151a (FIG. 2) is stored in advance.
  • the exclusion processing calculation unit 271 outputs a result obtained by multiplying the parameter K and each high-frequency component value to the synthesis calculation unit 29.
  • the target pixel is a pixel (i, j) other than the boundary vicinity area 151 a
  • each high-frequency component value is output to the synthesis calculation unit 29.
  • the synthesis calculation unit 29 adds (synthesizes) each high-frequency component value input from the exclusion processing calculation unit 271 and further adds (synthesizes) the low-pass signal value Y ′′ (i, j) of each pixel. A high frequency expansion signal value Z (i, j) is calculated. The composition calculation unit 29 generates a luminance signal Z representing the calculated high-frequency extension signal value Z (i, j).
  • FIG. 5 is a block diagram illustrating a schematic configuration of the high-frequency extension unit 27.
  • the high frequency extension unit 27 generates a harmonic component of a component representing a line drawing in the vertical direction and the horizontal direction.
  • the high-frequency extension unit 27 includes two nonlinear filter units 28-v and 28-h, an exclusion processing calculation unit 271, and a synthesis calculation unit 29. That is, the nonlinear filter units 28-v and 28-h are examples of the above-described nonlinear filter units 28-1 and 28-2.
  • the non-linear filter unit 28-v generates a directional component signal representing a vertical line drawing based on the luminance signal Y ′′ input from the synthesis calculation unit 26.
  • the non-linear filter unit 28-v includes a vertical high-pass filter unit 281-v and a non-linear operation unit 282-v.
  • the vertical high-pass filter unit 281-v and the horizontal high-pass filter unit 281-h are one mode of the above-described linear filter unit 281-1 and the like.
  • Vertical high-pass filter 281-v extracts a component representing a line drawing that is oriented in the vertical direction, and outputs the vertical component signal W v in nonlinear operator 282-v representing the extracted component.
  • the horizontal high-pass filter unit 281-h extracts a component representing a line drawing facing in the horizontal direction, and outputs a horizontal direction component signal W h representing the extracted component to the non-linear operation unit 282-h.
  • the nonlinear operation units 282-v and 282-h are one mode of the above-described nonlinear operation unit 282-1 and the like.
  • the nonlinear arithmetic units 282-v and 282-h are respectively described in the signal values represented by the direction component signals W v and W h input from the vertical high pass filter unit 281-v and the horizontal high pass filter unit 281-h.
  • Perform non-linear operation The nonlinear arithmetic units 282-v and 282-h generate vertical high-frequency component values NL v and horizontal high-frequency component values NL h represented by the calculated nonlinear output values, respectively, and the generated vertical high-frequency component values NL v and horizontal
  • the direction high-frequency component value NL h is output to the composition calculation unit 29.
  • the composition calculation unit 29 has the same configuration as the composition calculation unit 29 described above.
  • FIG. 6 is a schematic diagram showing the configuration of the vertical high-pass filter unit 281-v.
  • the vertical high-pass filter unit 281-v includes a delay memory 2811-v, a filter coefficient memory 2812-v, a multiplication unit 2813-v, and a synthesis operation unit 2814-v.
  • the delay memory 2811-v multiplies a low-pass signal value based on the input luminance signal Y ′′ by a delay signal obtained by delaying W x , 2 ⁇ W x ,..., (2n + 1) ⁇ W x samples, respectively.
  • W x is the number of pixels in the horizontal direction included in one frame image. Therefore, the signal values of 2n + 1 pixels that are adjacent to each other in the vertical direction around the target pixel are output to the multiplier 2813-v.
  • the delay memory 2811-v includes 2n + 1 delay elements 2811-v-1 to 2811-v-2n + 1 that delay the input signal by W x samples.
  • the delay elements 2811-v-1 to 2811-v-2n + 1 are respectively connected in series.
  • the luminance signal Y ′′ is input to one end of the delay element 2811-v-1, and the other end of the delay element 2811-v-1 is connected to the delay unit 2813-v by the delay signal obtained by delaying W x samples. Output to one end of 2811-v-2.
  • each of the delay elements 2811-v-2 to 2811-v-2n + 1 receives a delay signal delayed by W x to 2n ⁇ W x samples from the other end of the delay elements 2811-v-1 to 2811-v-2n, respectively. Is done.
  • the other ends of the delay elements 2811-v-2 to 2811-v-2n are delayed signals delayed by 2 ⁇ W x to 2n ⁇ W x samples, respectively, by a multiplier 2813-v and delay elements 2811-v-3 to 2811 Output to one end of -v-2n + 1.
  • the other end of the delay element 2811-v-2n + 1 outputs a delayed signal delayed by (2n + 1) ⁇ W x samples to the multiplier 2813-v.
  • the filter coefficient memory 2812-v includes 2n + 1 storage elements 2812-v-1 to 2812-v-2n + 1.
  • the storage elements 2812-v-1 to 2812-v-2n + 1 store filter coefficients a L + n to a L ⁇ n , respectively.
  • the multiplication unit 2813-v includes 2n + 1 multipliers 2813-v-1 to 2813-v-2n + 1.
  • the multipliers 2813-v-1 to 2813-v-2n + 1 store the signal values input from the delay elements 2811-v-1 to 2811-v-2n + 1 and the storage elements 2812-v-1 to 2812-v-2n + 1.
  • the obtained filter coefficients a L + n to a L ⁇ n are respectively multiplied.
  • Multipliers 2813-v-1 to 2813-v-2n + 1 output the multiplication values obtained by the multiplication to synthesis operation unit 2814-v, respectively.
  • the filter coefficient to be multiplied in the vertical high-pass filter unit 281-v may be changed in accordance with the sharpening strength indicated by the operation signal input to the high-frequency extension unit 27.
  • the filter coefficients a L + 3 to a L-3 are used when the sharpening intensity is greater than or equal to the first threshold
  • the filter coefficients a L + 1 to a L-1 are used when the sharpening intensity is less than the first threshold. Good.
  • the synthesis operation unit 2814-v adds the multiplication values respectively input from the multipliers 2813-v-1 to 2813-v-2n + 1 to calculate a synthesis value.
  • the calculated combined value is a value obtained by multiplying and adding the filter coefficients a L + n to a L ⁇ n to the signal values of 2n + 1 pixels adjacent to each other in the vertical direction around the target pixel.
  • Combining unit 2814-v outputs the vertical component signal W v representing the calculated composite value to the nonlinear operator 282-v.
  • FIG. 7 is a schematic diagram showing the configuration of the horizontal high-pass filter unit 281-h.
  • the horizontal high-pass filter unit 281-h includes a delay memory 2811-h, a filter coefficient memory 2812-h, a multiplication unit 2813-h, and a synthesis operation unit 2814-h.
  • the configurations of the delay memory 2811-h, the filter coefficient memory 2812-h, the multiplication unit 2813-h, and the synthesis operation unit 2814-h are the same as the above-described delay memory 2811-v, filter coefficient memory 2812-v, multiplication unit 2813-v, and This is the same as the composition calculation unit 2814-v.
  • the delay memory 2811-h does not use delay elements 2811-v-1 to 2811-v-2n + 1 that delay the input signal by W x samples, but delay elements 2811-h-1 that delay the input signal by one sample. There are 2n + 1 pieces of ⁇ 2811-h-2n + 1.
  • the filter coefficient memory 2812-h includes storage elements 2812-h-1 to 2812-h-2n + 1 instead of the storage elements 2812-v-1 to 2812-v-2n + 1.
  • the storage elements 2812-h-1 to 2812-h-2n + 1 store filter coefficients a D + n to a D ⁇ n , respectively.
  • the composition calculation unit 2814-h calculates a value obtained by multiplying and adding the filter coefficients a D + n to a D ⁇ n to the signal values of 2n + 1 pixels that are adjacent to each other in the horizontal direction around the target pixel.
  • the synthesis calculation unit 2814-h outputs a horizontal direction component signal W h representing the calculated synthesis value to the nonlinear calculation unit 282-h.
  • the filter coefficient to be multiplied in the horizontal high-pass filter unit 281-h may be changed according to the sharpening strength indicated by the operation signal input to the high-frequency extension unit 27.
  • the filter coefficients a D + 3 to a D-3 are used when the sharpening intensity is greater than or equal to the first threshold, and the filter coefficients a D + 1 to a D-1 are used when the strength is less than the first threshold. Good.
  • the filter coefficients a L ⁇ n , a L ⁇ n + 1 , to a L + n are high-pass filter coefficients that realize a high-pass filter by a product-sum operation with a signal value. Note that the total value of the filter coefficients a L + n to a L ⁇ n and the total value of the filter coefficients a D + n to a D ⁇ n are 0, that is, the transfer function of the DC component is 0. As a result, a DC component is not included in the calculated composite value.
  • the filter coefficients a L + n to a L ⁇ n pass through a frequency component higher than a spatial frequency lower by a predetermined frequency f than the Nyquist frequency f nyq ′ of the luminance signal before expansion (high-pass Characteristic).
  • the Nyquist frequency f nyq ′ of the luminance signal before enlargement is a frequency obtained by dividing the sampling frequency frequency f s of the luminance signal to be processed by 2n (n is an enlargement rate).
  • the filter coefficients a L + 3 , a L + 2 , a L + 1 , a L , a L ⁇ 1 , a L ⁇ 2 , and a L ⁇ 3 are ⁇ 0.0637, 0.0, 0.5732, ⁇ 0. 0189, 0.5732, 0.0000, and -0.0637.
  • the filter coefficients a D + 3 , a D + 2 , a D + 1 , a D , a D ⁇ 1 , a D ⁇ 2 , and a D ⁇ 3 are filter coefficients a L + 3 , a L + 2 , a L + 1 , a L , a L ⁇ 1 , A L ⁇ 2 , and a L ⁇ 3 may have the same high-pass characteristics.
  • FIG. 8 is a schematic diagram illustrating the configuration of the nonlinear arithmetic unit 282-A.
  • the non-linear operation unit 282-A includes an absolute value calculation unit 2821-A, a power operation unit 2822-A, a filter coefficient memory 2823-A, a multiplication unit 2824-A, a synthesis operation unit 2825-A, a code detection unit 2826-A, and A multiplier 2827-A is included.
  • the non-linear operation unit 282 -A is an odd function sgn
  • l ) is output as the nonlinear output value NL A.
  • c 1 , c 2 ,..., c 1 are 1, 2,.
  • the absolute value calculating unit 2821-A calculates the absolute value
  • the power calculation unit 2822-A includes l ⁇ 1 multipliers 2822-A-2 to 2822-A ⁇ 1, and uses the absolute value
  • Multiplier 2822-A-2 calculates absolute square value
  • the multiplier 2822-A-2 outputs the calculated absolute square value
  • Multipliers 2822-A-3 to 2822-A-1-1 are absolute square values
  • to l-2 the absolute value calculating unit 2821-a is input from the absolute value
  • the multipliers 2822-A-3 to 2822-Al-1 use the calculated absolute cube values
  • the data is output to A-l and the multiplier 2824-A.
  • the multiplier 2822-A-l receives the absolute l-1 power value
  • the multiplier 2822-A-l outputs the calculated absolute l-th power value
  • the filter coefficient memory 2823-A includes l storage elements 2823-A-1 to 2823-A-l.
  • the multiplication unit 2824-A includes l multipliers 2824-A-1 to 2824-A-l.
  • Multipliers 2824-A-1 ⁇ 2824- A-l the absolute value is input from the respective power calculating section 2822-A
  • Multipliers 2824-A-1 to 2824-A-l output the calculated multiplication values to synthesis operation unit 2825-A, respectively.
  • the synthesis calculation unit 2825-A adds the multiplication values respectively input from the multipliers 2824-A-1 to 2824-A-1 to calculate a synthesis value.
  • the combination calculation unit 2825-A outputs the calculated combination value to the multiplication unit 2827-A.
  • the sign detection unit 2826-A detects the sign of the signal value W indicated by the direction component signal respectively input from the linear filter unit 281-1 or the like, that is, positive / negative. When the signal value is smaller than 0, the code detection unit 2826-A outputs ⁇ 1 as a code value to the multiplication unit 2827-A. When the signal value is 0 or larger than 0, the code detection unit 2826-A outputs 1 as the code value to the multiplication unit 2827-A.
  • the multiplier 2827-A multiplies the combined value input from the combining calculator 2825-A and the code value input from the code detector 2826-A to calculate the high frequency component value NL A.
  • the multiplier 2827 -A outputs the calculated high frequency component value to the composition calculator 29.
  • the nonlinear arithmetic unit 282-A having the above-described configuration has a relatively large circuit scale, but can adjust the output high-frequency component value using a small number of coefficients. If the coefficient values c 1 to c l ⁇ 1 other than the highest order l are 0, the configuration related to the product-sum operation of these orders may be omitted.
  • the parameter output unit 30a (an example of an acquisition unit and a determination unit) acquires the operation signal output from the operation signal reception unit 16, and uses the numerical information indicated by the operation signal to indicate the strength information (sharpening processing information). As an example).
  • the parameter output unit 30a determines that the sharpening level is the “strong” level when the intensity information is greater than or equal to the first threshold. If the intensity information is greater than or equal to the second threshold and less than the first threshold, it is determined that the sharpening level is the “medium” level. When the intensity information is less than the second threshold, it is determined that the sharpening level is the “weak” level.
  • the parameter output unit 30 a determines a parameter K used for image processing according to the sharpening level, and outputs the parameter K to the image processing unit 20.
  • the image processing unit 20 performs noise reduction and sharpening image processing using the peripheral pixels (reference pixels in the reference region of the target pixel) of the pixel to be processed (target pixel).
  • the pixels in the additional image display area 152 in which an image such as black is displayed are included in the peripheral pixels.
  • the result is output to the exclusion processing calculation unit 271 of the high frequency extension unit 27.
  • the synthesis calculation unit 26 adds the smoothed difference value ⁇ Y (i, j) and the luminance signal Y (i, j) for the pixel of interest in the boundary vicinity region 151 a and outputs the result to the high frequency extension unit 27.
  • the high frequency component value output from the exclusion processing calculation unit 271 and the luminance signal Y ′′ (i, j) are added and output. Therefore, when the sharpening intensity is equal to or greater than the first threshold, the luminance signal Z (i, j) that has not been sharpened is output.
  • the synthesis calculation unit 26 adds the smoothed difference value ⁇ Y (i, j) and the luminance signal Y (i, j) for the pixel of interest in the boundary vicinity region 151 a and outputs the result to the high frequency extension unit 27.
  • the sharpening process In order to make the boundary between the image display area 151 and the additional image display area 152 less visible, if the sharpening process is not uniformly performed on the boundary vicinity area 151a, the sharpened process and the sharpened process are performed. A new boundary is generated between the region and the region where no correction is made, resulting in a sense of incongruity.
  • the sharpening process since the sharpening process is performed on the boundary vicinity area 151a according to the sharpening strength, the sharpening process is not uniformly performed on the boundary vicinity area 151a. Compared with, noise generated by the sharpening process can be reduced.
  • FIG. 9 is a block diagram illustrating a configuration example of the display device according to the present embodiment.
  • the display device 1B is different from the first embodiment in that it includes a parameter output unit 30b and a display unit 15b.
  • FIG. 10 is a block diagram illustrating an image processing unit 20 similar to that of the first embodiment and a parameter output unit 30b according to the present embodiment.
  • the parameter K is input from the parameter output unit 30b to the exclusion processing calculation unit 271 of the high-frequency extension unit 27 of the image processing unit 20.
  • an operation signal is input to the image processing unit 20 and image processing is performed according to the sharpening intensity indicated by the operation signal.
  • an operation signal indicating additional image information is image processing. It is configured not to be input to the unit 20.
  • the image processing unit 20 and the parameter output unit 30b are an example of an image processing apparatus.
  • the parameter output unit 30b acquires additional image information (an example of sharpening processing information) from the operation signal output from the operation signal reception unit 16. That is, for example, in the case of an operation signal indicating display of an additional image such as a menu screen, additional image information indicating that the additional image is displayed is acquired. In the case of an operation signal indicating that the display of the additional image is to be canceled, additional image information indicating that the additional image is not displayed is acquired.
  • Additional images such as menu screens and program information may be displayed across the boundary vicinity area 151a and other areas.
  • image processing is not performed on the boundary vicinity region 151a, the portion of the boundary vicinity region 151a in the additional image is not sharpened, and the other portions are sharpened. As a result, the visibility of the portion near the boundary 151a of the additional image is lowered, giving a sense of incongruity. Therefore, when an additional image is displayed, image processing is performed on the pixels in the boundary vicinity area 151a as well as the pixels in other areas.
  • image processing is performed on the boundary vicinity area 151a, the boundary between the image display area 151 and the additional image display area 152 appears significantly. Therefore, when no additional image is displayed, image processing is not performed on the pixels in the boundary vicinity area 151a.
  • the display unit 15b acquires an operation signal from the operation signal receiving unit 16.
  • the display unit 15b acquires an operation signal instructing to display the additional image
  • the display unit 15b generates an OSD signal indicating the additional image corresponding to the operation signal, and adds the OSD to the image signal output from the image format conversion unit 14.
  • An OSD generation unit that superimposes the signal and outputs it to the display is included.
  • the image processing on the boundary vicinity area 151a is not uniformly performed in order to make it difficult to see the boundary between the image display area 151 and the additional image display area 152.
  • a boundary between the sharpened portion and the non-sharpened portion occurs in the display portion of the additional image.
  • a sharpening process is performed on the boundary vicinity area 151a. Therefore, noise generated in the display portion of the additional image is reduced as compared with the case where the image processing is not uniformly performed on the boundary vicinity region 151a.
  • FIG. 11 is a block diagram illustrating a configuration example of the display device according to the present embodiment.
  • the display device 1C is different from the second embodiment in that it includes a parameter output unit 30c.
  • FIG. 12 is a block diagram showing an image processing unit 20 similar to that in the first embodiment and the second embodiment, and a parameter output unit 30c according to the present embodiment.
  • the parameter K is input from the parameter output unit 30 c to the exclusion processing calculation unit 271 in the high-frequency extension unit 27 of the image processing unit 20.
  • the image processing unit 20 and the parameter output unit 30c are an example of an image processing apparatus.
  • a different part from 1st Embodiment and 2nd Embodiment is demonstrated.
  • the parameter output unit 30c (an example of an acquisition unit and a determination unit) acquires an operation signal from the operation signal reception unit 16, and acquires intensity information and additional image information from the operation signal in the same manner as in the first and second embodiments. To do.
  • the sharpening level is “medium” or “weak”
  • the boundary between the image display area 151 and the additional image display area 152 is higher than that when the additional image is displayed, regardless of whether or not the additional image is displayed. It is hard to be done. Therefore, in this case, similar to the first embodiment, the same image processing as that of other regions is performed on the pixels in the boundary vicinity region 151a (first determination processing).
  • the sharpening level is the “strong” level
  • the boundary between the image display area 151 and the additional image display area 152 is easily seen compared to the case of the “medium” or “weak” level. It is conceivable that image processing is not performed on the boundary vicinity area 151a.
  • the image processing target area image display area 151, additional image display area 152 is displayed. There is a possibility that a boundary is generated between the boundary area 151a and the boundary vicinity area 151a.
  • the boundary between the image display area 151 and the additional image display area 152 is visually recognized, priority is given to the visibility of the additional image, and when displaying the additional image, the boundary vicinity area 151a. Is subjected to the same image processing as other areas.
  • the boundary between the image display area 151 and the additional image display area 152 is hardly visible.
  • the display portion of the additional image may be uncomfortable.
  • sharpening processing is performed on the boundary vicinity area 151a according to whether or not an additional image is displayed, it is effective in that the display portion of the additional image does not feel uncomfortable.
  • the boundary between the image display area 151 and the additional image display area 152 may be easily visible.
  • the boundary portion between the image display area 151 and the additional image display area 152 is hardly visible, and it is possible to prevent the display portion of the additional image from feeling uncomfortable.
  • the parameter K that indicates that image processing is not performed for each pixel in the boundary vicinity area 151a.
  • 0 is set, it may be configured as follows. For example, the pixels in the boundary vicinity area 151a approach the sharpening level of the image processing target area as the area near the boundary processing area 151a approaches the image processing target area (the image display area 151 and the additional image display area 152).
  • the parameter K may be different.
  • 13A and 13B are conceptual diagrams showing an example of a change in the parameter K according to the position of the pixel in the boundary vicinity area 151a in the present modification.
  • the range of A on the horizontal axis corresponds to the image display area 151
  • the range of B corresponds to the boundary vicinity area 151a
  • the range of C corresponds to the additional image display area 152.
  • the parameter K at the position b1 of the substantially central pixel in B is set to 0, and the parameter that monotonously increases so that the parameter K becomes 1 as the pixel position approaches A and C. Is set.
  • a pixel located approximately in the middle between the boundary with the image display area 151 and the boundary with the additional image display area 152 (hereinafter referred to as a central vicinity pixel).
  • the sharpening level approaches the sharpening level of the image display area 151 and the additional image display area 152 as it approaches the image display area 151 and the additional image display area 152.
  • sharpening processing according to the pixel position is performed.
  • a parameter K 1 indicating that image processing is performed for each pixel in the boundary vicinity region 151a is set.
  • the parameter K of the pixel in the boundary vicinity area 151a may be varied so that the sharpening level decreases as it approaches the additional image display area 152 (second determination process).
  • FIGS. 14A and 14B are conceptual diagrams showing changes in the parameter K according to the position of the pixel in the boundary vicinity region 151a in the present modification.
  • the range of A on the horizontal axis corresponds to the image display area 151
  • the range of B corresponds to the boundary vicinity area 151a
  • the range of C corresponds to the additional image display area 152.
  • the parameter K is set to 1 in B between the pixel position b0 at the boundary with A and the pixel position b1 near the center.
  • the parameter K of the pixel in the boundary vicinity area 151a may be varied so as to approach (4th determination process).
  • the parameter K may be varied (second determination process).
  • the intensity information corresponding to the sharpening level “strong” level is acquired, and additional image information indicating that the additional image is not displayed is acquired, or the additional image is displayed.
  • the parameter K 0 indicating that the image processing is not performed for each pixel in the boundary vicinity area 151a is set, but the following may be performed.
  • the sharpening level of these regions becomes closer to the target region (the image display region 151 and the additional image display region 152) of the image processing from the boundary vicinity region 151a.
  • the parameter K of the pixel in the boundary vicinity area 151a may be varied so as to approach (4th determination process).
  • the parameter output units 30b and 30c have described the example of acquiring the additional image information by the operation signal.
  • the image signal includes additional image data indicating subtitles and OSD.
  • the additional image information may be acquired from the image signal.
  • the image signal is a digital signal encoded by MPEG (Moving Picture Experts Group) -2 or the like
  • the parameter output units 30b and 30c may use the packet identifier (PID) of the TS packet of the TS (Transport Stream) in the image signal. (Packet Identifier)) may be acquired as additional image information.
  • PID is information for identifying data transmitted by each TS packet.
  • the parameter output units 30b and 30c can determine whether or not to display an additional image depending on whether or not a PID indicating a caption is included.
  • a detection unit having an image detection algorithm for detecting a position where characters such as captions are included in the input signal is provided in the preceding stage of the input unit 11, and the detection result by the detection unit May be output to the parameter output unit.
  • the present invention can be used industrially as an image processing device mounted on a display device that displays an image of content such as a television broadcast.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

　画像に対して鮮鋭化処理を行う際に、コンテンツ画像の表示領域と字幕やＯＳＤ等の付加画像の表示領域との境界近傍におけるノイズを低減すること。画像処理装置は、画像処理部において、コンテンツ画像の画像データを含む入力信号における各画素値に対し、入力されるパラメータを用いて鮮鋭化処理を行う。また、画像処理装置は、パラメータ出力部において、表示領域におけるコンテンツ画像が表示される領域と、字幕やＯＳＤ等の付加画像が表示される領域との境界を含む予め定められた特定領域において、コンテンツ画像に付加画像を付加して表示するか否かを示す付加画像情報と、鮮鋭化処理の強度を示す強度情報の少なくとも一方を鮮鋭化処理情報として取得し、鮮鋭化処理情報に基づいて、特定領域の画素に対するパラメータを決定して画像処理部に出力する。

Description

画像処理装置
　本発明は、画像処理装置に関し、特に、鮮鋭化処理の技術に関する。
　特開２０１０－１５２５１８号公報には、顔画像領域等の特定色領域に対する鮮鋭化処理を他の領域より低減化させることで、風景等の画像を顔画像領域よりも鮮鋭化し、人物の顔等については自然な画像となるように鮮鋭化処理を行う技術が開示されている。この技術は、特定色領域に対するシャープネス処理のパラメータを特定色領域以外の領域について設定されているレベルより低くしてシャープネス処理を行う。
　ところで、字幕画像やＯＳＤ（On Screen Display）等の画像は、映画や番組等のコンテンツの画像（以下、コンテンツ画像）に付加されて表示される。コンテンツ画像に付加される付加画像は、表示領域内の予め定められた領域に表示される。対象画素の周辺画素の画素値を用いて画素単位に鮮鋭化処理を行う場合、付加画像の表示領域とコンテンツ画像の表示領域との境界部分にノイズが生じることがある。
　例えば、字幕の表示領域には黒帯等の画像が表示される。そのため、コンテンツ画像の表示領域と黒帯部分の表示領域との境界近傍の画素については、鮮鋭化処理に用いられる周辺画素に黒帯部分の画素が含まれる。その結果、コンテンツ画像の表示領域と同様に境界近傍の画素について鮮鋭化処理を行うと、境界近傍とその他の領域の画素に対する周辺画素の画素データの違いから、境界部分が視認されやすくなる等のノイズが発生する。このようなノイズは、鮮鋭化の強度が高くなるほど顕著に表れる。境界部分のノイズを抑制するために境界部分について鮮鋭化処理を行わないようにすることが考えられる。しかしながら、境界部分の表示領域とその他の表示領域とに跨って字幕が表示される場合、境界部分に鮮鋭化処理を行わなければ、字幕画像において鮮鋭化された部分と鮮鋭化されていない部分とが混在し、字幕画像の視認性を低下させたり、違和感を生じさせたりする。
　本発明は、画像に対して鮮鋭化処理を行う際に、コンテンツ画像の表示領域と字幕やＯＳＤ等の付加画像の表示領域との境界近傍におけるノイズを低減する技術を提供することを目的とする。
　第１の発明に係る画像処理装置は、表示領域に表示すべき画像データを含む入力信号における各画素の信号値に対し、入力されるパラメータを用いて鮮鋭化処理を行う画像処理部と、前記表示領域のうち、前記画像データの画像が表示される領域と前記画像に付加される付加画像が表示される領域との境界を含む予め定められた特定領域において、前記画像データの画像に付加される付加画像を表示するか否かを示す付加画像情報と、前記鮮鋭化処理における鮮鋭化の強度を表す強度情報の少なくとも一方を鮮鋭化処理情報として取得する取得部と、前記取得部で取得された前記鮮鋭化処理情報に基づいて、前記特定領域の画素に対する前記パラメータを決定し、前記画像処理部に出力する決定部と、を備える。
　第２の発明は、第１の発明において、前記決定部は、前記鮮鋭化処理情報に前記強度情報が含まれる場合、前記強度情報が示す前記強度が閾値以上であるときには、前記特定領域に対して前記鮮鋭化処理を行わないことを示す前記パラメータを決定し、前記強度が前記閾値より小さいときには、前記特定領域に対して前記鮮鋭化処理を行うことを示す前記パラメータを決定する。
　第３の発明は、第１の発明において、前記決定部は、前記鮮鋭化処理情報に前記付加画像を表示する旨の前記付加画像情報が含まれる場合には、第１決定処理と第２決定処理のいずれか一方を行い、前記鮮鋭化処理情報に前記付加画像を表示しない旨の前記付加画像情報が含まれる場合には、第３決定処理と第４決定処理のいずれか一方を行い、前記第１決定処理は、前記特定領域の各画素に対し、前記特定領域の鮮鋭化のレベルが、他の領域における鮮鋭化のレベルと共通するように前記パラメータを決定する処理であり、前記第２決定処理は、前記特定領域から前記付加画像が表示される領域に近づくほど鮮鋭化のレベルが小さくなるように、前記特定領域の画素に対して異なる前記パラメータを決定する処理であり、前記第３決定処理は、前記特定領域の各画素に対して前記鮮鋭化処理を行わないことを示す前記パラメータを決定する処理であり、前記第４決定処理は、前記特定領域から前記他の領域に近づくほど、前記特定領域の鮮鋭化のレベルが前記他の領域における鮮鋭化のレベルに近づくように、前記特定領域の画素に対して異なる前記パラメータを決定する処理である。
　第４の発明は、第２の発明において、前記決定部は、前記強度が前記閾値以上である場合において、前記鮮鋭化処理情報に、さらに前記付加画像を表示する旨の前記付加画像情報が含まれるとき、第１決定処理と第２決定処理のいずれか一方を行い、前記鮮鋭化処理情報に、さらに前記付加画像を表示しない旨の前記付加画像情報が含まれるとき、第３決定処理と第４決定処理のいずれか一方を行い、前記第１決定処理は、前記特定領域の鮮鋭化のレベルが、他の領域における鮮鋭化のレベルと共通するように前記パラメータを決定する処理であり、前記第２決定処理は、前記特定領域から前記付加画像が表示される領域に近づくほど鮮鋭化のレベルが小さくなるように、前記特定領域の画素に対して異なる前記パラメータを決定する処理であり、前記第３決定処理は、前記特定領域の各画素に対して前記鮮鋭化処理を行わないことを示す前記パラメータを決定する処理であり、前記第４決定処理は、前記特定領域から前記他の領域に近づくほど、前記特定領域の鮮鋭化のレベルが前記他の領域における鮮鋭化のレベルに近づくように、前記特定領域の画素に対して異なる前記パラメータを決定する処理である。
　第５の発明は、第１から第４のいずれかの発明において、前記入力信号は、前記付加画像を示す付加画像データを含み、前記取得部は、前記入力信号に前記付加画像データが含まれているか否か判断することにより前記付加画像情報を取得する。
　本発明の構成によれば、画像に対して鮮鋭化処理を行う際に、コンテンツ画像の表示領域と字幕やＯＳＤ等の付加画像の表示領域との境界近傍におけるノイズを低減することができる。
図１は、第１実施形態に係る表示装置の概略構成を示すブロック図である。 図２は、第１実施形態における表示領域を示す図である。 図３は、第１実施形態における画像処理部の構成例を示すブロック図である。 図４は、第１実施形態における高周波拡張部の構成例を示す概念図である。 図５は、第１実施形態における高周波拡張部の構成の概略構成を示すブロック図である。 図６は、第１実施形態における垂直高域通過フィルタ部の構成を表す概略図である。 図７は、第１実施形態における水平高域通過フィルタ部の構成を表す概略図である。 図８は、第１実施形態における非線形演算部の構成を表す概略図である。 図９は、第２実施形態に係る表示装置の構成例を示すブロック図である 図１０は、第２実施形態における画像処理部とパラメータ出力部を示すブロック図である。 図１１は、第３実施形態に係る表示装置の構成例を示すブロック図である。 図１２は、第３実施形態における画像処理部とパラメータ出力部を示すブロック図である。 図１３Ａは、変形例における境界近傍領域の画素に対するパラメータの例を示す概念図である。 図１３Ｂは、変形例における境界近傍領域の画素に対するパラメータの例を示す概念図である。 図１４Ａは、変形例における境界近傍領域の画素に対するパラメータの例を示す概念図である。 図１４Ｂは、変形例における境界近傍領域の画素に対するパラメータの例を示す概念図である。
　本発明の一実施形態に係る画像処理装置は、表示領域に表示すべき画像データを含む入力信号における各画素の信号値に対し、入力されるパラメータを用いて鮮鋭化処理を行う画像処理部と、前記表示領域のうち、前記画像データの画像が表示される領域と前記画像に付加される付加画像が表示される領域との境界を含む予め定められた特定領域において、前記画像データの画像に付加される付加画像を表示するか否かを示す付加画像情報と、前記鮮鋭化処理における鮮鋭化の強度を表す強度情報の少なくとも一方を鮮鋭化処理情報として取得する取得部と、前記取得部で取得された前記鮮鋭化処理情報に基づいて、前記特定領域の画素に対する前記パラメータを決定し、前記画像処理部に出力する決定部と、を備える（第１の構成）。
　第１の構成によれば、鮮鋭化の強度や付加画像の表示の有無を示す鮮鋭化処理情報に応じて特定領域に対し鮮鋭化処理がなされる。そのため、鮮鋭化の強度や付加画像の表示の有無に関わらず、特定領域に対して鮮鋭化処理を行わない場合と比べ、特定領域に生じるノイズを低減させることができる。
　第２の構成は、第１の構成において、前記決定部は、前記鮮鋭化処理情報に前記強度情報が含まれる場合、前記強度情報が示す前記強度が閾値以上であるときには、前記特定領域に対して前記鮮鋭化処理を行わないことを示す前記パラメータを決定し、前記強度が前記閾値より小さいときには、前記特定領域に対して前記鮮鋭化処理を行うことを示す前記パラメータを決定することとしてもよい。
　第２の構成によれば、鮮鋭化の強度に応じたパラメータを用いて特定領域に鮮鋭化処理を行うことができるので、コンテンツ画像の表示領域と付加画像の表示領域との境界部分を視認されにくくすることができる。
　第３の構成は、第１の構成において、前記決定部は、前記鮮鋭化処理情報に前記付加画像を表示する旨の前記付加画像情報が含まれる場合には、第１決定処理と第２決定処理のいずれか一方を行い、前記鮮鋭化処理情報に前記付加画像を表示しない旨の前記付加画像情報が含まれる場合には、第３決定処理と第４決定処理のいずれか一方を行い、前記第１決定処理は、前記特定領域の各画素に対し、前記特定領域の鮮鋭化のレベルが、他の領域における鮮鋭化のレベルと共通するように前記パラメータを決定する処理であり、前記第２決定処理は、前記特定領域から前記付加画像が表示される領域に近づくほど鮮鋭化のレベルが小さくなるように、前記特定領域の画素に対して異なる前記パラメータを決定する処理であり、前記第３決定処理は、前記特定領域の各画素に対して前記鮮鋭化処理を行わないことを示す前記パラメータを決定する処理であり、前記第４決定処理は、前記特定領域から前記他の領域に近づくほど、前記特定領域の鮮鋭化のレベルが前記他の領域における鮮鋭化のレベルに近づくように、前記特定領域の画素に対して異なる前記パラメータを決定する処理であることとしてもよい。
　第３の構成によれば、特定領域に付加画像が表示されるか否かに応じたパラメータを用いて特定領域に鮮鋭化処理を行うことができるので、特定領域に表示される付加画像の視認性を向上させることができる。
　第４の構成は、第２の構成において、前記決定部は、前記強度が前記閾値以上である場合において、前記鮮鋭化処理情報に、さらに前記付加画像を表示する旨の前記付加画像情報が含まれるとき、第１決定処理と第２決定処理のいずれか一方を行い、前記鮮鋭化処理情報に、さらに前記付加画像を表示しない旨の前記付加画像情報が含まれるとき、第３決定処理と第４決定処理のいずれか一方を行い、前記第１決定処理は、前記特定領域の鮮鋭化のレベルが、他の領域における鮮鋭化のレベルと共通するように前記パラメータを決定する処理であり、前記第２決定処理は、前記特定領域から前記付加画像が表示される領域に近づくほど鮮鋭化のレベルが小さくなるように、前記特定領域の画素に対して異なる前記パラメータを決定する処理であり、前記第３決定処理は、前記特定領域の各画素に対して前記鮮鋭化処理を行わないことを示す前記パラメータを決定する処理であり、前記第４決定処理は、前記特定領域から前記他の領域に近づくほど、前記特定領域の鮮鋭化のレベルが前記他の領域における鮮鋭化のレベルに近づくように、前記特定領域の画素に対して異なる前記パラメータを決定する処理であることとしてもよい。
　第４の構成によれば、鮮鋭化の強度と付加画像の表示の有無とに応じたパラメータを用いて特定領域に鮮鋭化処理を行うことができるので、コンテンツ画像の表示領域と付加画像の表示領域との境界部分を視認されにくくすることができるとともに、付加画像の視認性を向上させることができる。
　第５の構成は、第１から第４のいずれかの構成において、前記入力信号は、前記付加画像を示す付加画像データを含み、前記取得部は、前記入力信号に前記付加画像データが含まれているか否か判断することにより前記付加画像情報を取得することとしてもよい。
　以下、図面を参照し、本発明の実施の形態を詳しく説明する。図中同一又は相当部分には同一符号を付してその説明は繰り返さない。
＜第１実施形態＞
　（概要）
　本実施形態では、表示装置に入力される画像信号における画素値に対して鮮鋭化処理を行う際、ユーザによって指示された鮮鋭化の強度に基づいて鮮鋭化処理を行う。本実施形態では、表示領域のうち、コンテンツ画像に付加して表示される字幕やＯＳＤ等の付加画像を表示する領域（以下、付加画像用表示領域）と、コンテンツ画像が表示される領域（以下、画像用表示領域）の境界付近に位置する画素に対する鮮鋭化処理を、指示された鮮鋭化の強度に応じて行う。以下、本実施形態の詳細について説明する。
　（構成）
　図１は、本実施形態に係る画像処理装置を含む表示装置の概略構成を示すブロック図である。図１に示すように、表示装置１Ａは、アンテナ１０に接続され、入力部１１、Ｙ／Ｃ（輝度信号／色差信号）分離部１２、スケーリング部１３、画像形式変換部１４、表示部１５、操作信号受信部１６、画像処理部２０、及びパラメータ出力部３０ａを含む。本実施形態において、画像処理部２０及びパラメータ出力部３０ａは、画像処理装置の一例である。
　アンテナ１０は、例えば、テレビジョン放送に係る電波として高周波信号を受信し、受信した高周波信号を表示装置１Ａに出力する。入力部１１には、アンテナ１０を介して高周波信号が入力される。入力部１１は、例えば、アンテナ１０から入力された高周波信号から、指定されたチャネルに係る変調信号を抽出し、抽出した変調信号を基底周波数帯域の変調信号に変換する。入力部１１は、変換した変調信号をＹ／Ｃ分離部１２に出力する。
　Ｙ／Ｃ分離部１２は、入力部１１から入力された変調信号を復調して画像信号を生成し、生成した画像信号からアナログの輝度信号Ｙ、色差信号Ｃｂ及び色差信号Ｃｒに分離する。Ｙ／Ｃ分離部１２は、分離したそれぞれの信号を、予め定めたサンプリング周波数でアナログ信号からデジタル信号に変換する。Ｙ／Ｃ分離部１２は、変換したデジタルの輝度信号Ｙ、色差信号Ｃｂ及び色差信号Ｃｒを含む画像信号をスケーリング部１３に出力する。
　スケーリング部１３は、Ｙ／Ｃ分離部１２から入力された画像信号の解像度（画素数）が、表示部１５の解像度と異なる場合には、表示部１５の解像度と等しくなるように、入力された画像信号の解像度を調整（スケーリング）する。入力された画像の解像度よりも表示部１５の解像度の方が大きい場合には、スケーリング部１３は、入力された画像信号に対して補間を行う。入力された画像の解像度よりも表示部１５の解像度の方が小さい場合には、スケーリング部１３は、入力された画像信号に対してダウンサンプリングを行う。スケーリング部１３は、補間又はダウンサンプリングのための方式として、例えばバイキュービック（bicubic）法、バイリニア（bilinear）法、等の方式を用いる。スケーリング部１３は、解像度を調整した画像信号を画像処理部２０に出力する。入力された画像信号の解像度と表示部１５の解像度が等しい場合には、入力された画像信号を画像処理部２０に出力する。なお、以下の説明では、表示部１５の水平方向（又は垂直方向）の画素数の、入力された画像信号の水平方向（又は垂直方向）の画素数に対する比を拡大率と呼ぶ。例えば、入力された画像信号の解像度が水平方向６４０画素、垂直方向３６０画素であり、表示部１５の解像度が水平方向１９２０画素、垂直方向１０８０画素である場合には、拡大率は３である。
　画像形式変換部１４は、後述の画像処理部２０から入力された画像信号の形式を変換する。画像形式変換部１４は、入力された画像信号がインターレース（interlace）信号である場合、その画像信号をプログレッシブ（progressive）信号に形式を変換する。インターレース信号とは、画素に対する水平方向への走査を１列おきに行って構成された信号であって、走査対象の列がフレーム毎に異なる信号である。プログレッシブ信号とは、画素に対する水平方向への走査を列毎に行って構成された信号である。画像形式変換部１４は、入力された画像信号又は形式を変換した画像信号を表示部１５に応じた表色系で表された画像信号（例えば、ＲＧＢ信号、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色の信号値を含む画像信号）に変換し、変換した画像信号を表示部１５に出力する。
　表示部１５は、液晶パネル等の表示パネルを備えるディスプレイを含む。表示部１５は、画像形式変換部１４から入力された画像信号が表す画像を表示する。図２は、表示部１５の表示領域を示す模式図である。表示領域１５０は、画像用表示領域１５１と付加画像用表示領域１５２とで構成されている。付加画像用表示領域１５２は、黒色等の画像が表示される、いわゆる、黒帯領域である。画像用表示領域１５１のうち、付加画像用表示領域１５２との境界を含む、予め定められた範囲の領域１５１ａには、画像や付加画像が表示される。以下、この領域１５１ａを境界近傍領域１５１ａと称する。なお、本実施形態では、表示領域１５０の上下左右端を付加画像用表示領域１５２としているが、上下端又は左右端のいずれかを付加画像用表示領域１５２としてもよいし、表示領域１５０のうちの一部の領域を付加画像用表示領域１５２としてもよい。
　図１に戻り、説明を続ける。操作信号受信部１６は、赤外線受光部を有し、後述の操作部１７から出力される操作信号を受信する。操作信号受信部１６は、操作信号がチャネルの設定を指示する操作信号の場合には、その操作信号を入力部１１に出力し、鮮鋭化の強度の設定や付加画像の表示を指示する操作信号の場合には、その操作信号をパラメータ出力部３０ａに出力する。
　操作部１７は、例えば、数字、文字、及び方向キー等を有するリモコン等を含む。操作部１７は、ユーザによる操作、例えば、チャネルの設定、鮮鋭化の強度の設定、メニュー画面等の付加画像の表示等を指示する操作を受け付ける。操作部１７は、指示された操作を示す操作信号を赤外線により送信する。本実施形態において、鮮鋭化の強度は、例えば予め定められた範囲の数値が選択可能となっている。ユーザは、所望する鮮鋭化の強度をリモコン操作により指定する。
　画像処理部２０は、画像信号における各画素値に対して画像処理を行う。画像処理部２０は、後述のパラメータ出力部３０ａから出力されるパラメータを用い、スケーリング部１３から入力された画像信号のうち輝度信号Ｙについてノイズの低減及び鮮鋭化処理を行い、ノイズが低減され鮮鋭化された画像を示す輝度信号Ｚを生成する。画像処理部２０は、スケーリング部１３から入力された輝度信号Ｙを、生成した輝度信号Ｚに更新し、色差信号Ｃｂ、Ｃｒと同期をとる。画像処理部２０は、輝度信号Ｚ及び色差信号Ｃｂ、Ｃｒを含んだ画像信号を画像形式変換部１４に出力する。
　画像処理部２０は、画素単位に上記画像処理を行うものであればよく、以下では、その一構成例について説明する。図３は、本実施形態における画像処理部２０の一構成例を示すブロック図である。画像処理部２０は、輪郭方向検出部２１、低域フィルタ部２０ａ及び高周波拡張部２７を含む。
　輪郭方向検出部２１は、画素毎の信号値（輝度値）に基づいて輪郭方向を画素毎に推定する。低域フィルタ部２０ａは、各画素の輪郭方向に配列された参照画素であって、各画素から予め定めた参照領域内における参照画素毎の信号値を用いて各画素の信号値をフィルタリングする。高周波拡張部２７は、低域フィルタ部２０ａがフィルタリングした各画素の信号値の高周波成分を生成して画素毎の信号値の周波数帯域を拡張する。以下、各部の詳細について説明する。
（輪郭方向検出部２１）
　輪郭方向検出部２１は、スケーリング部１３から入力された輝度信号Ｙが表す画素毎の信号値に基づいて輪郭方向を画素毎に推定する。輪郭方向とは、輪郭をなす線の法線に直交する方向、つまり輪郭をなす線の接線方向である。輪郭をなす線は、信号値が略一定となる空間を示す線を指し、曲線であっても直線であってもよい。従って、輪郭とは位置の変化に応じて信号値が急激に変化する領域には限られない。輪郭をなす線と信号値との間の関係は、等高線と標高の間の関係に相当する。各画素の位置は離散的に与えられたり、ジャギー、ドット妨害、モスキートノイズ等、本発明で改善対象とする輪郭周辺のノイズの影響を受けていたりするため、一定の信号値をとる画素間を通る線を、輪郭をなす線として、輪郭方向を定めることはできないことがある。ここでは、信号値が画素毎の座標を表す空間において微分可能（即ち、連続）であると仮定する。輪郭方向検出部２１は、画素毎に信号値の水平方向もしくは垂直方向の差分値に基づいて、例えば、以下の式（１）に基づいて輪郭方向θを算出する。 
Figure JPOXMLDOC01-appb-M000001
　式（１）において、輪郭方向θは、水平方向（ｘ方向）を基準とした左回りの角度である。ｘ、ｙは、それぞれ水平方向、垂直方向の座標である。Ｙ（ｘ，ｙ）は、座標（ｘ，ｙ）における信号値である。即ち、輪郭方向θは、信号値Ｙ（ｘ，ｙ）のｘ方向への偏微分を、信号値Ｙ（ｘ，ｙ）のｙ方向への偏微分で除算した正接値を与える角度として算出される。式（１）は、座標（ｘ，ｙ）が異なっても信号値Ｙ（ｘ，ｙ）が一定という関係から導き出すことができる。ここで、Ｇｘ（ｘ，ｙ）、Ｇｙ（ｘ，ｙ）は、それぞれ信号値Ｙ（ｘ，ｙ）のｘ方向への偏微分、ｙ方向への偏微分を表す。以下の説明では、Ｇｘ（ｘ，ｙ）、Ｇｙ（ｘ，ｙ）を、それぞれｘ方向偏微分、ｙ方向偏微分と呼ぶことがある。以下の説明では特に断らない限り、画素（ｉ，ｊ）の位置（座標）は、その画素の重心点を指す。また、その画素の位置における変数ａを、ａ（ｉ，ｊ）等と表す。
　輪郭方向検出部２１は、例えば、それぞれ以下の式（２）、（３）を用いて各画素（ｉ，ｊ）における信号値Ｙ（ｉ，ｊ）のｘ方向偏微分Ｇｘ（ｉ，ｊ）、ｙ方向偏微分Ｇｙ（ｉ，ｊ）を算出する。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　式（２）、（３）において、ｉ、ｊは、それぞれ注目画素のｘ方向、ｙ方向のインデックスを示す整数値である。注目画素とは、直接の処理対象として注目される画素である。Ｗｘ（ｕ’，ｖ’）、Ｗｙ（ｕ’，ｖ’）は、それぞれｘ方向、ｙ方向の差分フィルタのフィルタ係数を示す。ｕ、ｖは、それぞれ、参照画素のｘ方向、ｙ方向のインデックスを示す整数値である。参照画素とは、注目画素を基準にして、予め定められた規則により決まる範囲内にある画素であって、注目画素に対する処理を行う際に参照される画素である。参照画素は、注目画素を含む。ｕ’、ｖ’は、それぞれ、注目画素を原点としたときの参照画素のｘ方向、ｙ方向のインデックスを示す整数値である。従って、ｕ＝ｉ＋ｕ’、ｖ＝ｊ＋ｖ’である。
　前述の差分フィルタは、例えば、ｘ方向に２ｎ＋１個、ｙ方向に２ｎ＋１個（計（２ｎ＋１）（２ｎ＋１）個）の参照画素の各々ｕ’，ｖ’に対してフィルタ係数Ｗｘ（ｕ’，ｖ’）、Ｗｙ（ｕ’，ｖ’）を有する。以下の説明では、このフィルタ係数が与えられる参照画素が属する領域を参照領域と呼ぶことがある。ｎは、１よりも大きい整数値（例えば、２）である。ここで、フィルタ係数Ｗｘ（ｕ’，ｖ’）、Ｗｙ（ｕ’，ｖ’）は、注目画素を基準として正方向の参照画素に対して１、注目画素と同一の差分方向（ｘ方向）の座標値を有する参照画素に対して０、注目画素を基準として負方向の参照画素に対して－１である。即ち、ｘ方向の差分フィルタのフィルタ係数Ｗｘ（ｕ’，ｖ’）は、１（０＜ｕ’≦ｎ）、０（ｕ’＝０）、－１（０＞ｕ’≧－ｎ）である。ｙ方向の差分フィルタのフィルタ係数Ｗｙ（ｕ’，ｖ’）は、１（０＜ｖ’≦ｎ）、０（ｖ’＝０）、－１（０＞ｖ’≧－ｎ）である。また、ｎは、画像の拡大率と等しいか、その拡大率よりも大きい整数値である。
　これにより、注目画素に対して正方向、負方向各々に対して、信号値が平滑化されるため解像度の変化によって発生するノイズを低減することができる。但し、ｎを大きくとり、注目画素から離れた参照画素を考慮すると、本来、局所的な値である偏微分値が正しく算出されないことがある。従って、ｎを、予め定めた最大値よりも小さい値、例えば、拡大率と等しい整数値もしくは拡大率の小数点以下の桁を切り上げた整数値、又はこれらの整数値の何れかよりも予め定めた値だけ大きい値と定めておく。 
　輪郭方向検出部２１は、算出したｘ方向偏微分Ｇｘ（ｉ，ｊ）、ｙ方向偏微分Ｇｙ（ｉ，ｊ）に基づいて算出した輪郭方向θ（ｉ，ｊ）を量子化し、量子化した輪郭方向を表す量子化輪郭方向Ｄ（ｉ，ｊ）を算出する。輪郭方向検出部２１は、量子化輪郭方向Ｄ（ｉ，ｊ）を算出する際、例えば、以下の式（４）を用いる。
Figure JPOXMLDOC01-appb-M000004
　式（４）において、ｒｏｕｎｄ（…）は、実数…の小数点以下の桁を四捨五入した整数値を与える丸め関数である。Ｎｄは、量子化された輪郭方向の数（量子化輪郭方向数）を表す定数である。量子化輪郭方向数Ｎｄは、例えば、８から３２の間のいずれかの値である。なお、ゼロ除算を回避するために、ｘ方向偏微分Ｇｘ（ｉ，ｊ）の絶対値｜Ｇｘ（ｉ，ｊ）｜が予め定めた微小な実数値（例えば、１０－６）よりも小さい場合には、ｔａｎ－１をπ/２とする。つまり、量子化輪郭方向Ｄ（ｉ，ｊ）は、輪郭方向θを、量子化間隔をπ/Ｎｄで除算した値を丸め、０からＮｄ－１までのいずれかの整数で表される。これにより、輪郭方向θの自由度を制約して、後述する処理の負荷を低減する。輪郭方向検出部２１は、算出した量子化輪郭方向Ｄ（ｉ，ｊ）を表す量子化輪郭方向情報を方向評価部２２及び参照領域荷重処理部２３に出力する。
（低域フィルタ部２０ａ）
　低域フィルタ部２０ａは、方向評価部２２、参照領域荷重処理部２３、前処理部２４、積和演算部２５及び合成演算部２６を含む。
　方向評価部２２は、輪郭方向検出部２１から入力された量子化輪郭方向情報が表す画素毎の量子化輪郭方向に基づいて、注目画素毎にその注目画素を中心とする参照領域に属する各参照画素の方向評価値を算出する。ここで、方向評価部２２は、注目画素（ｉ，ｊ）の量子化輪郭方向Ｄ（ｉ，ｊ）と参照画素（ｕ，ｖ）の量子化輪郭方向Ｄ（ｕ，ｖ）との差が小さいほど、方向評価値が大きくなるように当該参照画素の方向評価値を定める。例えば、方向評価部２２は、注目画素（ｉ，ｊ）に対する量子化輪郭方向Ｄ（ｉ，ｊ）と参照画素（ｕ，ｖ）に対する量子化輪郭方向Ｄ（ｕ，ｖ）の差分値ΔＤ＝Ｄ（ｕ，ｖ）－Ｄ（ｉ，ｊ）を算出する。ここで差分値ΔＤが０、つまりＤ（ｕ，ｖ）とＤ（ｉ，ｊ）が等しいとき、方向評価値Ｆ（｜ΔＤ｜）を最大値１と定める。差分値ΔＤが０ではない場合、つまりＤ（ｕ，ｖ）とＤ（ｉ，ｊ）が等しくない場合に、方向評価値Ｆ（｜ΔＤ｜）を最小値０と定める。
　方向評価部２２は、注目画素（ｉ，ｊ）に対する量子化輪郭方向Ｄ（ｉ，ｊ）が参照画素（ｕ，ｖ）に対する量子化輪郭方向Ｄ（ｕ，ｖ）に近似するほど、つまり差分値ΔＤの絶対値｜ΔＤ｜が小さいほど、大きくなるように方向評価値Ｆ（ΔＤ）を定めてもよい。例えば、方向評価部２２は、Ｆ（０）＝１、Ｆ（１）＝０．７５、Ｆ（２）＝０．５、Ｆ（３）＝０．２５、Ｆ（｜ΔＤ｜）＝０（｜ΔＤ｜＞３）とする。 
　量子化輪郭方向Ｄ（ｉ，ｊ）と量子化輪郭方向Ｄ（ｕ，ｖ）のうちいずれか一方が、Ｎｄ/２よりも大きく、他方がＮｄ/２よりも小さい場合、それぞれが示す輪郭方向が近似するにも関わらず、絶対値｜ΔＤ｜が大きくなるために、誤った方向評価値Ｆ（ΔＤ）が算出されることがある。例えば、Ｄ（ｉ，ｊ）＝７、Ｄ（ｕ，ｖ）＝０の場合、｜ΔＤ｜＝７となる。しかし、量子化輪郭方向の差分はπ/８であり、本来は｜ΔＤ｜＝１と定められるべきである。そこで、方向評価部２２は、量子化輪郭方向Ｄ（ｉ，ｊ）と量子化輪郭方向Ｄ（ｕ，ｖ）のうちいずれか一方が、Ｎｄ/２よりも大きい場合、他方の量子化輪郭方向の値にＮｄを加算して補正値を算出する。方向評価部２２は、算出した補正値と一方の量子化輪郭方向との差分値に対する絶対値を算出する。このようにして算出した絶対値を、上述の｜ΔＤ｜として用いることで意図した方向評価値を定める。
　後述する積和演算部２５において、上述の方向評価値Ｆ（｜ΔＤ｜）を用いることにより、注目画素（ｉ，ｊ）における輪郭方向とは、輪郭方向が異なる参照画素（ｕ，ｖ）による影響を無視又は軽視することができる。
　方向評価部２２においても、参照画素（ｕ，ｖ）が属する参照領域の大きさ、つまり水平方向もしくは垂直方向の画素数は、２ｎ＋１個又はこの個数よりも多ければよい。なお、方向評価部２２における参照領域の大きさは、輪郭方向検出部２１における参照領域の大きさと異なっていてもよい。例えば、方向評価部２２における参照領域の水平方向及び垂直方向の画素数は、それぞれ７であるのに対し、輪郭方向検出部２１における参照領域の水平方向及び垂直方向の画素数は、それぞれ５であってもよい。方向評価部２２は、注目画素（ｉ，ｊ）毎に各参照画素（ｕ，ｖ）の方向評価値Ｆ（ΔＤ）を表す方向評価値情報を積和演算部２５に出力する。
　参照領域荷重処理部２３は、輪郭方向検出部２１から入力された量子化輪郭方向情報が表す画素毎の量子化輪郭方向Ｄ（ｉ，ｊ）に基づいて、注目画素（ｉ，ｊ）毎に参照領域荷重情報を定める。参照領域荷重情報とは、ある注目画素（ｉ，ｊ）を中心とする参照領域に属する参照画素（ｕ’，ｖ’）毎の重み係数Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）を表す情報である。この重み係数を参照領域荷重と呼ぶことがある。参照領域荷重処理部２３における参照領域の大きさは、方向評価部２２における参照領域の大きさと等しくなるように予め定めておく。
　参照領域荷重処理部２３は、注目画素（ｉ，ｊ）の量子化輪郭方向Ｄ（ｉ，ｊ）から予め定めた範囲の方向にある参照画素の重み係数Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）を、その範囲外の方向にある参照画素の重み係数よりも大きい値に定める。参照領域荷重処理部２３は、例えば、注目画素（ｉ，ｊ）から量子化輪郭方向又はその方向に近似する方向にある参照画素（ｕ’，ｖ’）の重み係数Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）を１と定め、それ以外の方向にある参照画素（ｕ’，ｖ’）の重み係数Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）を０と定める。注目画素から量子化輪郭方向又はその方向に近似する方向にある参照画素とは、具体的には注目画素（ｉ，ｊ）の中心から量子化輪郭方向に延びる線分が、その領域を通過する参照画素（ｕ’，ｖ’）である。また、参照領域荷重処理部２３は、この線分がその領域を通過する距離が長い参照画素（ｕ’，ｖ’）ほど、大きくなるように重み係数を定めるようにしてもよい。
　なお、各量子化輪郭方向に対する各参照画素の重み係数を予め算出しておいてもよい。参照領域荷重処理部２３は、算出しておいた各参照画素の重み係数を表す参照領域荷重情報を量子化輪郭方向情報と対応付けて予め記憶した記憶部を備える。参照領域荷重処理部２３は、入力された量子化輪郭方向情報が表す量子化輪郭方向に対応する参照領域荷重情報を記憶部から読み出す。参照領域荷重処理部２３は、注目画素（ｉ，ｊ）毎に定めた参照領域荷重情報を積和演算部２５に出力する。また、参照領域荷重処理部２３は、入力される操作信号が示す鮮鋭化の強度に応じて、出力対象となる参照画素の参照領域荷重情報を変えるようにしてもよい。例えば、操作信号が示す鮮鋭化の強度が第１閾値以上である場合には、注目画素の量子化輪郭方向との角度差が所定範囲内の参照画素の参照領域荷重情報を出力対象とし、鮮鋭化の強度が第１閾値未満である場合には、注目画素の量子化輪郭方向と同じ方向にある参照画素の参照領域荷重情報を出力対象とする。
　前処理部２４は、スケーリング部１３から入力された輝度信号Ｙから、注目画素（ｉ，ｊ）毎に、その注目画素（ｉ，ｊ）を中心とした参照領域に属する各参照画素（ｕ，ｖ）の信号値Ｙ（ｕ，ｖ）を表す輝度信号を抽出する。前処理部２４は、抽出した輝度信号が表す参照信号の信号値Ｙ（ｕ，ｖ）から注目画素の信号値Ｙ（ｉ，ｊ）をそれぞれ減算し、差信号値Ｙ（ｕ，ｖ）－Ｙ（ｉ，ｊ）を算出する。前処理部３４は、算出した差信号値を表す差信号を生成し、生成した差信号を積和演算部３５に出力する。なお、前処理部２４における参照領域の大きさは、方向評価部２２及び参照領域荷重処理部２３における参照領域の大きさと等しくなるように予め定めておく。 
　積和演算部２５は、注目画素（ｉ，ｊ）毎に、方向評価部２２から方向評価値情報が、参照領域荷重処理部２３から参照領域荷重情報が、前処理部３４から差信号がそれぞれ入力される。積和演算部２５は、差信号が表す差信号値Ｙ（ｕ，ｖ）－Ｙ（ｉ，ｊ）に対して、方向評価値情報が表す方向評価値Ｆ（｜ΔＤ｜）、参照領域荷重情報が表す参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）を積和演算して、平滑化差分値ΔＹ（ｉ，ｊ）を算出する。積和演算部３５は、平滑化差分値ΔＹ（ｉ，ｊ）を算出する際、例えば、以下の式（５）を用いる。
Figure JPOXMLDOC01-appb-M000005
　式（５）は、方向評価値Ｆ（｜ΔＤ｜）、参照領域荷重Ｒ（Ｄ（ｉ，ｊ），ｕ’，ｖ’）及び差信号が表す差信号値Ｙ（ｕ，ｖ）－Ｙ（ｉ，ｊ）の積を参照画素毎に算出し、算出した積の参照領域に属する参照画素間の総和を算出することを表す。式（５）は、算出した総和に対して参照面積Ｎ（ｉ，ｊ）で除算して平滑化差分値ΔＹ（ｉ，ｊ）を算出することを表す。積和演算部２５は、算出した平滑化差分値ΔＹ（ｉ，ｊ）を表す平滑化差分信号を生成し、生成した平滑化差分信号を合成演算部２６に出力する。 
　合成演算部２６には、積和演算部２５から平滑化差分信号ΔＹ（ｉ，ｊ）が入力され、スケーリング部１３から輝度信号Ｙ（ｉ，ｊ）が入力される。合成演算部２６は、平滑化差分値ΔＹ（ｉ，ｊ）と輝度信号Ｙが表す信号値Ｙ（ｉ，ｊ）とを加算（合成演算）し、低域通過信号値Ｙ’’（ｉ，ｊ）を出力する。低域通過信号値Ｙ’’（ｉ，ｊ）は、輝度信号Ｙ’’として高周波拡張部２７に出力される。
（高周波拡張部２７）
　図４は、本実施形態に係る高周波拡張部２７の構成例を示す概念図である。高周波拡張部２７は、ｋ個（ｋは、１又は１よりも大きい整数）の非線形フィルタ部２８－１～２８－ｋと、除外処理演算部２７１と、合成演算部２９とを含む。
　非線形フィルタ部２８－１～２８－ｋは、それぞれ入力された輝度信号Ｙ’’が表す各画素の低域通過信号値Ｙ’’（ｉ，ｊ）について高周波成分値を算出し、算出した高周波成分値を除外処理演算部２７１に出力する。ここで、非線形フィルタ部２８－１～２８－ｋは、それぞれ線形フィルタ部２８１－１～２８１－ｋ及び非線形演算部２８２－１～２８２－ｋを備える。
　線形フィルタ部２８１－１～２８１－ｋは、それぞれ所定の方向を向いている線画（例えば、輪郭）を表す成分を抽出する。線形フィルタ部２８１－１～２８１－ｋは、それぞれ抽出した成分を表す方向成分信号を非線形演算部２８２－１～２８２－ｋに出力する。
　非線形演算部２８２－１～２８２－ｋは、線形フィルタ部２８１－１～２８１－ｋからそれぞれ入力された方向成分信号が表す信号値に対して非線形演算を行って非線形出力値を算出する。非線形演算部２８２－１～２８２－ｋは、算出した非線形出力値が表す方向成分信号を生成し、生成した方向成分信号をそれぞれ合成演算部２９に出力する。非線形演算部２８２－１～２８２－ｋが行う非線形演算は、例えば、入力信号値Ｗの高次の関数ｆ（Ｗ）である。ｆ（Ｗ）は、例えば、ｓｇｎ（Ｗ）｜Ｗ｜２、Ｗ３、ｓｇｎ（Ｗ）｜Ｗ｜４、Ｗ５…、又はこれらの線形結合である。ｓｇｎ（…）は、実数…の符号関数を示す。つまり、ｓｇｎ（…）は、…が０よりも大きい場合、１を与え、…が０よりも小さい場合、－１を与え、…が０の場合、０を与える関数である。これらの関数は、奇関数であるため、出力値は奇数次高調波成分を含む。 
　除外処理演算部２７１は、非線形フィルタ部２８－１～２８－ｋから高周波成分値がそれぞれ入力され、パラメータ出力部３０ａからパラメータＫが入力される。除外処理演算部２７１は、境界近傍領域１５１ａ（図２）に含まれる画素（ｉ，ｊ）を示す画素情報が予め記憶された記憶部（図示略）を有する。除外処理演算部２７１は、注目画素が、境界近傍領域１５１ａにおける画素（ｉ，ｊ）である場合には、パラメータＫと各高周波成分値とを各々乗算した結果を合成演算部２９に出力する。一方、注目画素が、境界近傍領域１５１ａ以外の画素（ｉ，ｊ）である場合には、各高周波成分値を合成演算部２９に出力する。
　合成演算部２９は、除外処理演算部２７１から入力された各高周波成分値を加算（合成）し、更に各画素の低域通過信号値Ｙ’’（ｉ，ｊ）を加算（合成）して高周波拡張信号値Ｚ（ｉ，ｊ）を算出する。合成演算部２９は、算出した高周波拡張信号値Ｚ（ｉ，ｊ）を表す輝度信号Ｚを生成する。
　ここで、高周波拡張部２７の構成例を説明する。図５は、高周波拡張部２７の概略構成を示すブロック図である。この例において、高周波拡張部２７は、垂直方向及び水平方向の線画を表す成分の高調波成分を生成する。高周波拡張部２７は、２個の非線形フィルタ部２８－ｖ、２８－ｈ、除外処理演算部２７１、及び合成演算部２９を含む。即ち、非線形フィルタ部２８－ｖ、２８－ｈは、上述した非線形フィルタ部２８－１、２８－２の一例である。
　非線形フィルタ部２８－ｖは、合成演算部２６から入力された輝度信号Ｙ’’に基づいて垂直方向の線画を表す方向成分信号を生成する。非線形フィルタ部２８－ｖは、垂直高域通過フィルタ部２８１－ｖ及び非線形演算部２８２－ｖを含んで構成される。垂直高域通過フィルタ部２８１－ｖ及び水平高域通過フィルタ部２８１－ｈは、上述の線形フィルタ部２８１－１等の一態様である。垂直高域通過フィルタ部２８１－ｖは、垂直方向を向いている線画を表す成分を抽出し、抽出した成分を表す垂直方向成分信号Ｗｖを非線形演算部２８２－ｖに出力する。水平高域通過フィルタ部２８１－ｈは、水平方向を向いている線画を表す成分を抽出し、抽出した成分を表す水平方向成分信号Ｗｈを非線形演算部２８２－ｈに出力する。
　非線形演算部２８２－ｖ、２８２－ｈは、上述の非線形演算部２８２－１等の一態様である。非線形演算部２８２－ｖ、２８２－ｈは、垂直高域通過フィルタ部２８１－ｖ、水平高域通過フィルタ部２８１－ｈから入力された方向成分信号Ｗｖ、Ｗｈが表す信号値にそれぞれ上述の非線形演算を行う。非線形演算部２８２－ｖ、２８２－ｈは、それぞれ算出した非線形出力値が表す垂直方向高周波成分値ＮＬｖ、水平方向高周波成分値ＮＬｈを生成し、生成した垂直方向高周波成分値ＮＬｖ、水平方向高周波成分値ＮＬｈを合成演算部２９に出力する。合成演算部２９の構成は、上述の合成演算部２９の構成と同様である。 
　図６は、垂直高域通過フィルタ部２８１－ｖの構成を表す概略図である。垂直高域通過フィルタ部２８１－ｖは、遅延メモリ２８１１－ｖ、フィルタ係数メモリ２８１２－ｖ、乗算部２８１３－ｖ及び合成演算部２８１４－ｖを含む。遅延メモリ２８１１－ｖは、入力された輝度信号Ｙ’’に基づく低域通過信号値を、Ｗｘ、２・Ｗｘ、…、（２ｎ＋１）・Ｗｘサンプル遅延させた遅延信号を、それぞれ乗算部２８１３－ｖに出力する。Ｗｘは、１フレームの画像に含まれる水平方向の画素数である。従って、注目画素を中心に互いに垂直方向に隣接する２ｎ＋１画素の信号値が乗算部２８１３－ｖに出力される。 
　ここで、遅延メモリ２８１１－ｖは、入力信号をＷｘサンプル遅延させる遅延素子２８１１－ｖ－１～２８１１－ｖ－２ｎ＋１を２ｎ＋１個備える。遅延素子２８１１－ｖ－１～２８１１－ｖ－２ｎ＋１は、それぞれ直列に接続されている。遅延素子２８１１－ｖ－１の一端に、輝度信号Ｙ’’が入力され、遅延素子２８１１－ｖ－１の他端は、Ｗｘサンプル遅延させた遅延信号が乗算部２８１３－ｖと、遅延素子２８１１－ｖ－２の一端に出力する。遅延素子２８１１－ｖ－２～２８１１－ｖ－２ｎ＋１の一端は、遅延素子２８１１－ｖ－１～２８１１－ｖ－２ｎの他端からそれぞれ、Ｗｘ～２ｎ・Ｗｘサンプル遅延した遅延信号が入力される。遅延素子２８１１－ｖ－２～２８１１－ｖ－２ｎの他端は、２・Ｗｘ～２ｎ・Ｗｘサンプル遅延した遅延信号を、それぞれ乗算部２８１３－ｖ及び遅延素子２８１１－ｖ－３～２８１１－ｖ－２ｎ＋１の一端に出力する。遅延素子２８１１－ｖ－２ｎ＋１の他端は、（２ｎ＋１）・Ｗｘサンプル遅延した遅延信号を、それぞれ乗算部２８１３－ｖに出力する。
　フィルタ係数メモリ２８１２－ｖは、２ｎ＋１個の記憶素子２８１２－ｖ－１～２８１２－ｖ－２ｎ＋１を備える。記憶素子２８１２－ｖ－１～２８１２－ｖ－２ｎ＋１には、それぞれフィルタ係数ａＬ＋ｎ～ａＬ－ｎが記憶されている。
　乗算部２８１３－ｖは、２ｎ＋１個の乗算器２８１３－ｖ－１～２８１３－ｖ－２ｎ＋１を備える。乗算器２８１３－ｖ－１～２８１３－ｖ－２ｎ＋１は、遅延素子２８１１－ｖ－１～２８１１－ｖ－２ｎ＋１から入力された信号値と記憶素子２８１２－ｖ－１～２８１２－ｖ－２ｎ＋１に記憶されたフィルタ係数ａＬ＋ｎ～ａＬ－ｎをそれぞれ乗算する。乗算器２８１３－ｖ－１～２８１３－ｖ－２ｎ＋１は、乗算して得られた乗算値を、それぞれ合成演算部２８１４－ｖに出力する。なお、高周波拡張部２７に入力される操作信号が示す鮮鋭化の強度に応じて、垂直高域通過フィルタ部２８１－ｖにおいて乗算するフィルタ係数を変えるようにしてもよい。例えば、鮮鋭化の強度が第１閾値以上の場合にはフィルタ係数ａＬ＋３～ａＬ－３を用い、第１閾値未満の場合にはフィルタ係数ａＬ＋１～ａＬ－１を用いるようにしてもよい。
　合成演算部２８１４－ｖは、乗算器２８１３－ｖ－１～２８１３－ｖ－２ｎ＋１からそれぞれ入力された乗算値を加算して合成値を算出する。算出された合成値は、注目画素を中心に互いに垂直方向に隣接する２ｎ＋１画素の信号値に、それぞれフィルタ係数ａＬ＋ｎ～ａＬ－ｎを積和演算した値である。合成演算部２８１４－ｖは、算出した合成値を表す垂直方向成分信号Ｗｖを非線形演算部２８２－ｖに出力する。
　図７は、水平高域通過フィルタ部２８１－ｈの構成を表す概略図である。水平高域通過フィルタ部２８１－ｈは、遅延メモリ２８１１－ｈ、フィルタ係数メモリ２８１２－ｈ、乗算部２８１３－ｈ及び合成演算部２８１４－ｈを含む。
　遅延メモリ２８１１－ｈ、フィルタ係数メモリ２８１２－ｈ、乗算部２８１３－ｈ及び合成演算部２８１４－ｈの構成は、上述の遅延メモリ２８１１－ｖ、フィルタ係数メモリ２８１２－ｖ、乗算部２８１３－ｖ及び合成演算部２８１４－ｖと同様である。但し、遅延メモリ２８１１－ｈは、入力信号をそれぞれＷｘサンプル遅延させる遅延素子２８１１－ｖ－１～２８１１－ｖ－２ｎ＋１の代わりに、入力信号をそれぞれ１サンプル遅延させる遅延素子２８１１－ｈ－１～２８１１－ｈ－２ｎ＋１を２ｎ＋１個備える。
　フィルタ係数メモリ２８１２－ｈは、記憶素子２８１２－ｖ－１～２８１２－ｖ－２ｎ＋１の代わりに、記憶素子２８１２－ｈ－１～２８１２－ｈ－２ｎ＋１を備える。記憶素子２８１２－ｈ－１～２８１２－ｈ－２ｎ＋１には、それぞれフィルタ係数ａＤ＋ｎ～ａＤ－ｎが記憶されている。
　従って、合成演算部２８１４－ｈは、注目画素を中心に互いに水平方向に隣接する２ｎ＋１画素の信号値に、それぞれフィルタ係数ａＤ＋ｎ～ａＤ－ｎを積和演算した値を算出する。合成演算部２８１４－ｈは、算出した合成値を表す水平方向成分信号Ｗｈを非線形演算部２８２－ｈに出力する。なお、高周波拡張部２７に入力される操作信号が示す鮮鋭化の強度に応じて、水平高域通過フィルタ部２８１－ｈにおいて乗算するフィルタ係数を変えるようにしてもよい。例えば、鮮鋭化の強度が第１閾値以上の場合にはフィルタ係数ａＤ＋３～ａＤ－３を用い、第１閾値未満の場合にはフィルタ係数ａＤ＋１～ａＤ－１を用いるようにしてもよい。
　フィルタ係数ａＬ－ｎ、ａＬ－ｎ＋１、～ａＬ＋ｎは、信号値との積和演算によって高域通過フィルタを実現する高域通過フィルタ係数である。なお、フィルタ係数ａＬ＋ｎ～ａＬ－ｎの合計値、フィルタ係数ａＤ＋ｎ～ａＤ－ｎの合計値は、それぞれ０、即ち直流成分の伝達関数は０である。これにより、算出した合成値に直流成分が含まれないようにする。また、フィルタ係数ａＬ＋ｎ～ａＬ－ｎは、拡大を行う前の輝度信号のナイキスト周波数ｆｎｙｑ’よりも予め定めた周波数ｆだけ低い空間周波数よりも高い周波数成分を通過する特性（高域通過特性）を有する。拡大を行う前の輝度信号のナイキスト周波数ｆｎｙｑ’は、処理対象の輝度信号のサンプリング周波数周波数ｆｓを２ｎ（ｎは、拡大率）で除算した周波数である。 例えば、フィルタ係数ａＬ＋３、ａＬ＋２、ａＬ＋１、ａＬ、ａＬ－１、ａＬ－２、ａＬ－３は、それぞれ、－０．０６３７、０．０、０．５７３２、－０．０１８９、０．５７３２、０．００００、－０．０６３７である。また、フィルタ係数ａＤ＋３、ａＤ＋２、ａＤ＋１、ａＤ、ａＤ－１、ａＤ－２、ａＤ－３は、フィルタ係数ａＬ＋３、ａＬ＋２、ａＬ＋１、ａＬ、ａＬ－１、ａＬ－２、ａＬ－３とそれぞれ同様の高域通過特性を有する値であってもよい。 
　次に、非線形演算部２８２－１等の一構成例（非線形演算部２８２－Ａ）について説明する。図８は、非線形演算部２８２－Ａの構成を表す概略図である。非線形演算部２８２－Ａは、絶対値算出部２８２１－Ａ、べき乗演算部２８２２－Ａ、フィルタ係数メモリ２８２３－Ａ、乗算部２８２４－Ａ、合成演算部２８２５－Ａ、符号検出部２８２６－Ａ及び乗算部２８２７－Ａを含んで構成される。
　非線形演算部２８２－Ａは、入力された信号値Ｗに対するｌ（エル）次（ｌは、１よりも大きい整数である）の奇関数ｓｇｎ｜Ｗ｜・（ｃ１・｜Ｗ｜＋ｃ２・｜Ｗ｜２＋…＋ｃｌ・｜Ｗ｜ｌ）を非線形出力値ＮＬＡとして出力する。ｃ１、ｃ２、…ｃｌは、それぞれ１、２、…ｌ次の係数である。
　絶対値算出部２８２１－Ａは、線形フィルタ部２８１－１等からそれぞれ入力された方向成分信号が示す信号値Ｗの絶対値｜Ｗ｜を算出し、算出した絶対値｜Ｗ｜をべき乗演算部２８２２－Ａに出力する。
　べき乗演算部２８２２－Ａは、ｌ－１個の乗算器２８２２－Ａ－２～２８２２－Ａ－ｌを備え、絶対値算出部２８２１－Ａから入力された絶対値｜Ｗ｜を乗算部２８２４－Ａに出力する。乗算器２８２２－Ａ－２は、絶対値算出部２８２１－Ａから入力された絶対値｜Ｗ｜同士を乗算して絶対二乗値｜Ｗ｜２を算出する。乗算器２８２２－Ａ－２は、算出した絶対二乗値｜Ｗ｜２を乗算器２８２２－Ａ－３及び乗算部２８２４－Ａに出力する。
　乗算器２８２２－Ａ－３～２８２２－Ａ－ｌ－１は、乗算器２８２２－Ａ－２～２８２２－Ａ－ｌ－２から入力された絶対二乗値｜Ｗ｜２～絶対ｌ－２乗値｜Ｗ｜ｌ－２に、絶対値算出部２８２１－Ａから入力された絶対値｜Ｗ｜を乗算して絶対三乗値｜Ｗ｜３～絶対ｌ－１乗値｜Ｗ｜ｌ－１をそれぞれ算出する。乗算器２８２２－Ａ－３～２８２２－Ａｌ－１は、算出した絶対三乗値｜Ｗ｜３～絶対ｌ－１乗値｜Ｗ｜ｌ－１をそれぞれ乗算器２８２２－Ａ－４～２８２２－Ａ－ｌ及び乗算部２８２４－Ａに出力する。
　乗算器２８２２－Ａ－ｌは、乗算器２８２２－Ａ－ｌ－１から入力された絶対ｌ－１乗値｜Ｗ｜ｌ－１と絶対値算出部２８２１－Ａから入力された絶対値｜Ｗ｜を乗算して絶対ｌ乗値｜Ｗ｜ｌを算出する。乗算器２８２２－Ａ－ｌは、算出した絶対ｌ乗値｜Ｗ｜ｌを乗算部２８２４－Ａに出力する。
　フィルタ係数メモリ２８２３－Ａは、ｌ個の記憶素子２８２３－Ａ－１～２８２３－Ａ－ｌを備える。記憶素子２８２３－Ａ－１～２８２３－Ａ－ｌには、それぞれ１～ｌ次の係数ｃ１～ｃｌが記憶されている。
　乗算部２８２４－Ａは、ｌ個の乗算器２８２４－Ａ－１～２８２４－Ａ－ｌを備える。乗算器２８２４－Ａ－１～２８２４－Ａ－ｌは、それぞれべき乗演算部２８２２－Ａから入力された絶対値｜Ｗ｜～絶対ｌ乗値｜Ｗ｜ｌに、記憶素子２８２３－Ａ－１～２８２３－Ａ－ｌに記憶された１～ｌ次の係数ｃ１～ｃｌを乗算して乗算値を算出する。乗算器２８２４－Ａ－１～２８２４－Ａ－ｌは、算出した乗算値をそれぞれ合成演算部２８２５－Ａに出力する。
　合成演算部２８２５－Ａは、乗算器２８２４－Ａ－１～２８２４－Ａ－ｌからそれぞれ入力された乗算値を加算して合成値を算出する。合成演算部２８２５－Ａは、算出した合成値を乗算部２８２７－Ａに出力する。
　符号検出部２８２６－Ａは、線形フィルタ部２８１－１等からそれぞれ入力された方向成分信号が示す信号値Ｗの符号、即ち正負を検出する。符号検出部２８２６－Ａは、信号値が０よりも小さい場合、－１を符号値として乗算部２８２７－Ａに出力する。符号検出部２８２６－Ａは、信号値が０又は０よりも大きい場合、１を符号値として乗算部２８２７－Ａに出力する。
　乗算部２８２７－Ａは、合成演算部２８２５－Ａから入力された合成値と符号検出部２８２６－Ａから入力された符号値を乗算して、高周波成分値ＮＬＡを算出する。乗算部２８２７－Ａは、算出した高周波成分値を合成演算部２９に出力する。
　上述の構成を備える非線形演算部２８２－Ａは、比較的回路規模が大きくなるが、少数の係数を用いて出力される高周波成分値を調整することができる。なお、最高次数ｌ以外の係数値ｃ１～ｃｌ－１が０である場合には、これらの次数の積和演算に係る構成を省略してもよい。省略できる構成は、非線形演算部２８２－Ａにおいて記憶素子２８２３－Ａ－１～２８２３－Ａ－ｌ－１、乗算器２８２４－Ａ－１～２８２４－Ａ－ｌ－１である。例えば、ｆ（Ｗ）＝ｓｇｎ（Ｗ）｜Ｗ｜２の場合、記憶素子２８２３－Ａ－１、乗算器２８２４－Ａ－１を省略してもよい。
　図１に戻り、説明を続ける。パラメータ出力部３０ａ（取得部及び決定部の一例）は、操作信号受信部１６から出力される操作信号を取得し、操作信号が示す数値を鮮鋭化の強度を表す強度情報（鮮鋭化処理情報の一例）として取得する。パラメータ出力部３０ａは、強度情報が第１閾値以上である場合には、鮮鋭化のレベルが「強」レベルであると判断する。また、強度情報が第２閾値以上であり第１閾値未満である場合には、鮮鋭化のレベルが「中」レベルであると判断する。また、強度情報が第２閾値未満である場合には、鮮鋭化のレベルが「弱」レベルであると判断する。パラメータ出力部３０ａは、鮮鋭化のレベルに応じて画像処理に用いられるパラメータＫを決定し、そのパラメータＫを画像処理部２０に出力する。
　上述したように、画像処理部２０では、処理対象の画素（注目画素）の周辺画素（注目画素の参照領域内の参照画素）を用いてノイズ低減化及び鮮鋭化の画像処理がなされる。境界近傍領域１５１ａの画素に対して画像処理を行う際、黒色等の画像が表示される付加画像用表示領域１５２の画素が周辺画素に含まれる。その結果、境界近傍領域１５１ａの画素と、境界近傍領域１５１ａ以外の他の画素とで画像処理の演算に用いられる値に差異が生じる。そのため、境界近傍領域１５１ａの画素に対し、他の画素と同様の画像処理を行うと、画像用表示領域１５１と付加画像用表示領域１５２の境界が視認されやすくなり違和感を生じさせることとなる。
　特に、鮮鋭化のレベルが「強」レベルの場合には、画像用表示領域１５１と付加画像用表示領域１５２の境界部分が視認されやすくなる。そのため、この場合には、パラメータ出力部３０ａは、境界近傍領域１５１ａの画素に対しては画像処理を行わないことを示すパラメータＫ＝０を設定する（第３決定処理）。
　一方、鮮鋭化のレベルが「中」又は「弱」レベルである場合には、「強」レベルの場合と比べて、画像用表示領域１５１と付加画像用表示領域１５２の境界部分が視認されにくい。そのため、この場合には、パラメータ出力部３０ａは、境界近傍領域１５１ａの画素に対し、他の領域の画素と同様の画像処理を行うことを示すパラメータＫ＝１を設定する（第１決定処理）。つまり、境界近傍領域１５１ａの鮮鋭化のレベルが他の領域（画像用表示領域１５１，付加画像用表示領域１５２）の鮮鋭化のレベルと共通するようにパラメータが設定される。
　従って、本実施形態では、鮮鋭化のレベルが「強」レベルの場合、つまり、鮮鋭化の強度が第１閾値以上の場合には、パラメータ出力部３０ａからパラメータＫ＝０が画像処理部２０の高周波拡張部２７の除外処理演算部２７１に出力される。この場合、合成演算部２６において、境界近傍領域１５１ａにおける注目画素に対する平滑化差分値ΔＹ（ｉ，ｊ）と輝度信号Ｙ（ｉ，ｊ）が加算されて高周波拡張部２７に出力される。高周波拡張部２７において、非線形フィルタ部２８－１～２８－ｋによって算出された輝度信号Ｙ''（ｉ，ｊ）の高周波成分値と、パラメータＫ＝０とが除外処理演算部２７１によって乗算されて加算され、合成演算部２９に出力される。そして、合成演算部２９において、除外処理演算部２７１から出力された高周波成分値と輝度信号Ｙ''（ｉ，ｊ）とが加算されて出力される。従って、鮮鋭化の強度が第１閾値以上の場合、鮮鋭化処理がなされていない輝度信号Ｚ（ｉ，ｊ）が出力される。
　一方、鮮鋭化のレベルが「中」又は「弱」レベルの場合、つまり、鮮鋭化の強度が第１閾値未満には、パラメータ出力部３０ａからパラメータＫ＝１が、画像処理部２０の合成演算部２６と高周波拡張部２７の除外処理演算部２７１に出力される。この場合、合成演算部２６において、境界近傍領域１５１ａにおける注目画素に対する平滑化差分値ΔＹ（ｉ，ｊ）と輝度信号Ｙ（ｉ，ｊ）が加算されて高周波拡張部２７に出力される。高周波拡張部２７において、非線形フィルタ部２８－１～２８－ｋにより算出された輝度信号Ｙ''（ｉ，ｊ）の各高周波成分値と、パラメータＫ＝１とが除外処理演算部２７１によって乗算されて加算される。そして、合成演算部２９において、除外処理演算部２７１で演算された高周波成分値と、輝度信号Ｙ''（ｉ，ｊ）とが加算されて出力される。従って、鮮鋭化の強度が第１閾値未満には、境界近傍領域１５１ａに対し、他の領域（画像用表示領域１５１，付加画像用表示領域１５２）と同様に平滑化処理及び鮮鋭化処理がなされた輝度信号Ｚ（ｉ，ｊ）が出力される。
　画像用表示領域１５１と付加画像用表示領域１５２の境界を視認されにくくするために、境界近傍領域１５１ａに対して一律に鮮鋭化処理を行わない場合、鮮鋭化処理がなされた領域と鮮鋭化処理がなされない領域との間に新たな境界が発生し、違和感を生じさせることになる。これに対し、上述した第１実施形態では、鮮鋭化の強度に応じて境界近傍領域１５１ａに対して鮮鋭化処理が行われるので、境界近傍領域１５１ａに対して一律に鮮鋭化処理を行わない場合と比べて、鮮鋭化処理によって生じるノイズを低減させることができる。
＜第２実施形態＞
　上述した第１実施形態では、境界近傍領域１５１ａの画素に対し、鮮鋭化の強度に応じた画像処理を行う例について説明した。本実施形態では、例えば、メニュー画面や番組情報等の付加画像を表示するユーザ操作に応じて境界近傍領域１５１ａの画素に対して画像処理を行う例について説明する。
　図９は、本実施形態に係る表示装置の構成例を示すブロック図である。図９に示すように、表示装置１Ｂは、パラメータ出力部３０ｂと表示部１５ｂを有する点で第１実施形態と異なる。また、図１０は、第１実施形態と同様の画像処理部２０と、本実施形態に係るパラメータ出力部３０ｂとを示すブロック図である。図１０に示すように、画像処理部２０の高周波拡張部２７の除外処理演算部２７１は、パラメータ出力部３０ｂからパラメータＫが入力される。第１実施形態では、画像処理部２０に操作信号が入力され、操作信号が示す鮮鋭化の強度に応じて画像処理を行ったが、本実施形態では、付加画像情報を示す操作信号が画像処理部２０に入力されない構成となっている。なお、本実施形態において、画像処理部２０及びパラメータ出力部３０ｂは、画像処理装置の一例である。
　パラメータ出力部３０ｂ（取得部及び決定部の一例）は、操作信号受信部１６から出力される操作信号から付加画像情報（鮮鋭化処理情報の一例）を取得する。つまり、例えばメニュー画面等の付加画像を表示することを示す操作信号の場合、付加画像を表示する旨の付加画像情報を取得する。また、付加画像の表示を解除することを示す操作信号の場合、付加画像を表示しない旨の付加画像情報を取得する。
　パラメータ出力部３０ｂは、付加画像情報に応じて、画像処理に用いられるパラメータＫを決定し、そのパラメータＫを画像処理部２０に出力する。具体的には、パラメータ出力部３０ｂは、付加画像を表示する旨の付加画像情報を取得した場合には、境界近傍領域１５１ａの画素に対し、他の領域と同様の画像処理を行うことを示すパラメータＫ＝１を設定する（第１決定処理）。一方、付加画像の表示を行わない旨の付加画像情報を取得した場合、又は、付加画像を表示する旨の付加画像情報を取得していない場合には、境界近傍領域１５１ａの画素に対しては画像処理を行わないことを示すパラメータＫ＝０を設定する（第３決定処理）。
　メニュー画面や番組情報等の付加画像は、境界近傍領域１５１ａと他の領域に跨って表示されることがある。境界近傍領域１５１ａに対して画像処理を行わない場合、付加画像における境界近傍領域１５１ａの部分は鮮鋭化されず、その他の部分については鮮鋭化される。その結果、付加画像の境界近傍領域１５１ａの部分の視認性が低下し、違和感を与える。そのため、付加画像が表示される場合には、他の領域の画素と同様に境界近傍領域１５１ａの画素に対しても画像処理を行う。一方で、境界近傍領域１５１ａに対して画像処理を行うと、画像用表示領域１５１と付加画像用表示領域１５２の境界が顕著に表れる。そのため、付加画像が表示されない場合は、境界近傍領域１５１ａの画素に対して画像処理を行わないようにする。
　表示部１５ｂは、操作信号受信部１６から操作信号を取得する。表示部１５ｂは、付加画像を表示することを指示する操作信号を取得した場合、その操作信号に対応する付加画像を示すＯＳＤ信号を生成し、画像形式変換部１４から出力される画像信号にＯＳＤ信号を重畳させてディスプレイに出力するＯＳＤ生成部を有する。
　境界近傍領域１５１ａに跨って付加画像が表示される場合、画像用表示領域１５１と付加画像用表示領域１５２との境界を視認されにくくするために、境界近傍領域１５１ａに対する画像処理を一律に行わないようにすると、付加画像の表示部分に鮮鋭化された部分と鮮鋭化されていない部分との境界が発生する。上述した第２実施形態では、付加画像が表示される場合には、境界近傍領域１５１ａに対して鮮鋭化処理がなされる。そのため、境界近傍領域１５１ａに対して画像処理を一律に行わない場合と比べ、付加画像の表示部分に生じるノイズが低減される。
＜第３実施形態＞
　上述した第１実施形態及び第２実施形態では、強度情報又は付加画像情報に応じて、境界近傍領域１５１ａの画素に対して画像処理を行う例について説明した。本実施形態では、強度情報及び付加画像情報に応じて、境界近傍領域１５１ａの画素に対して画像処理を行う例について説明する。
　図１１は、本実施形態に係る表示装置の構成例を示すブロック図である。図１１に示すように、表示装置１Ｃは、パラメータ出力部３０ｃを備えている点で第２実施形態と異なる。また、図１２は、第１実施形態及び第２実施形態と同様の画像処理部２０と、本実施形態に係るパラメータ出力部３０ｃとを示すブロック図である。画像処理部２０の高周波拡張部２７における除外処理演算部２７１に、パラメータ出力部３０ｃからパラメータＫが入力される。なお、本実施形態において、画像処理部２０及びパラメータ出力部３０ｃは、画像処理装置の一例である。以下、第１実施形態及び第２実施形態と異なる部分について説明する。
　パラメータ出力部３０ｃ（取得部及び決定部の一例）は、操作信号受信部１６から操作信号を取得し、第１及び第２実施形態と同様にして、操作信号から強度情報及び付加画像情報を取得する。パラメータ出力部３０ｃは、鮮鋭化のレベルが「中」又は「弱」に対応する強度情報の場合には、境界近傍領域１５１ａの画素に対して画像処理を行うことを示すパラメータＫ＝１を設定する。鮮鋭化のレベルが「中」又は「弱」の場合、付加画像の表示の有無に関わらず、画像用表示領域１５１と付加画像用表示領域１５２の境界が「強」レベルの場合と比べて視認されにくい。そのため、この場合には、第１実施形態と同様、境界近傍領域１５１ａの画素に対し、他の領域と同様の画像処理を行う（第１決定処理）。
　また、パラメータ出力部３０ｃは、鮮鋭化のレベルが「強」レベルに対応する強度情報の場合には、付加画像情報に応じてパラメータＫを設定する。つまり、付加画像を表示する旨の付加画像情報を取得した場合には、境界近傍領域１５１ａの画素に対し、他の領域と同様の画像処理を行うことを示すパラメータＫ＝１を設定する（第１決定処理）。一方、付加画像を表示しない旨の付加画像情報を取得した場合や、付加画像を表示する旨の付加画像情報を取得していない場合、つまり、付加画像を表示しない場合には、境界近傍領域１５１ａの画素に対して画像処理を行わないことを示すパラメータＫ＝０を設定する（第３決定処理）。
　鮮鋭化のレベルが「強」レベルの場合には、「中」や「弱」のレベルの場合と比べて、画像用表示領域１５１と付加画像用表示領域１５２の境界が視認されやすくなるため、境界近傍領域１５１ａに対して画像処理を行わないようにすることが考えられる。一方で、境界近傍領域１５１ａに付加画像が表示される場合に、境界近傍領域１５１ａに対して画像処理を行わなければ、画像処理の対象領域（画像用表示領域１５１，付加画像用表示領域１５２）と境界近傍領域１５１ａとの間に境界が発生する可能性がある。つまり、付加画像において画像処理がなされる部分と画像処理がなされない部分とが存在することになり、違和感を生じさせる。そのため、本実施形態では、画像用表示領域１５１と付加画像用表示領域１５２との境界が視認されるとしても、付加画像の視認性を優先し、付加画像を表示する場合には境界近傍領域１５１ａに対して他の領域と同様の画像処理を行う。
　第１実施形態のように、鮮鋭化の強度に応じて境界近傍領域１５１ａに対して鮮鋭化処理を行う場合、画像用表示領域１５１と付加画像用表示領域１５２との境界が視認されにくくなるが、付加画像が境界近傍領域１５１ａに跨って表示されるような場合、付加画像の表示部分に違和感を生じさせる場合がある。また、第２実施形態のように、付加画像の表示の有無に応じて境界近傍領域１５１ａに鮮鋭化処理を行う場合には、付加画像の表示部分に違和感を生じさせない点で有効であるが、画像用表示領域１５１と付加画像用表示領域１５２の境界が視認されやすくなることがある。上述した第３実施形態では、鮮鋭化の強度と付加画像の表示の有無とに応じて、境界近傍領域１５１ａに対して鮮鋭化処理を行うため、第１実施形態及び第２実施形態と比べ、画像用表示領域１５１と付加画像用表示領域１５２との境界部分が視認されにくく、付加画像の表示部分に違和感を生じさせないようにすることができる。
　以上、本発明の実施の形態を説明したが、上述した実施の形態は本発明を実施するための例示に過ぎない。よって、本発明は上述した実施の形態に限定されることなく、その趣旨を逸脱しない範囲内で上述した実施の形態を適宜変形して実施することが可能である。以下、本発明の変形例について説明する。
＜変形例＞
　（１）上述した第１実施形態において、鮮鋭化のレベルが「強」レベルに対応する強度情報を取得した場合、境界近傍領域１５１ａにおける各画素については画像処理を行わないことを示すパラメータＫ＝０を設定したが、以下のように構成してもよい。例えば、境界近傍領域１５１ａから画像処理の対象領域（画像用表示領域１５１及び付加画像用表示領域１５２）に近づくほど、画像処理の対象領域の鮮鋭化のレベルに近づくように境界近傍領域１５１ａにおける画素のパラメータＫを異ならせてもよい。
　図１３Ａ及び１３Ｂは、本変形例における、境界近傍領域１５１ａの画素の位置に応じたパラメータＫの変化の一例を示す概念図である。図１３Ａ及び１３Ｂにおいて、横軸のＡの範囲は、画像用表示領域１５１に対応し、Ｂの範囲は境界近傍領域１５１ａに対応し、Ｃの範囲は付加画像用表示領域１５２に対応している。図１３Ａ及び１３Ｂに示すように、Ｂにおける略中央の画素の位置ｂ１のパラメータＫは０に設定され、画素の位置がＡ及びＣに近づくほどパラメータＫ＝１となるように単調増加するパラメータが設定されている。つまり、この場合には、境界近傍領域１５１ａにおいて、画像用表示領域１５１との境界から付加画像用表示領域１５２との境界までの間の略中間に位置する画素（以下、中央付近画素と称する）に対しては鮮鋭化処理がなされず、画像用表示領域１５１及び付加画像用表示領域１５２に近づくほど鮮鋭化のレベルが画像用表示領域１５１及び付加画像用表示領域１５２の鮮鋭化のレベルに近づくように画素の位置に応じた鮮鋭化処理がなされる。このように構成することにより、境界近傍領域１５１ａの全ての画素に対して画像処理を行わない場合と比べ、境界近傍領域１５１ａとその他の領域との境界部分がより視認されにくくなり、自然な画像を表示させることができる。
　（２）また、上述した第２実施形態において、付加画像を表示する旨の付加画像情報を取得した場合、境界近傍領域１５１ａにおける各画素について画像処理を行うことを示すパラメータＫ＝１を設定したが、以下のように構成してもよい。例えば、付加画像用表示領域１５２に近づくほど鮮鋭化のレベルが小さくなるように、境界近傍領域１５１ａにおける画素のパラメータＫを異ならせてもよい（第２決定処理）。
　図１４Ａ及び１４Ｂは、本変形例における、境界近傍領域１５１ａの画素の位置に応じたパラメータＫの変化を示す概念図である。図１４Ａ及び１４Ｂにおいて、横軸のＡの範囲は、画像用表示領域１５１に対応し、Ｂの範囲は境界近傍領域１５１ａに対応し、Ｃの範囲は付加画像用表示領域１５２に対応している。図１４Ａ及び１４Ｂに示すように、Ｂにおける、Ａとの境界の画素の位置ｂ０から中央付近画素の位置ｂ１の間はパラメータＫは１に設定されている。また、中央付近画素の位置ｂ１からＣとの境界の画素の位置ｂ２の間は、位置ｂ２においてパラメータＫ＝０となるように単調減少するパラメータが設定される。つまり、境界近傍領域１５１ａにおいて、画像用表示領域１５１との境界から中央付近画素の間に存在する画素に対しては、画像用表示領域１５１における鮮鋭化のレベルに近づくように、画像用表示領域１５１と同様に鮮鋭化処理がなされる。また、付加画像用表示領域１５２との境界に近づくほど鮮鋭化のレベルを小さくし、付加画像用表示領域１５２との境界部分では鮮鋭化処理を行わないように画素の位置に応じた鮮鋭化処理がなされる。このように構成することで、境界近傍領域１５１ａの全ての画素について画像処理を行う場合と比べ、付加画像用表示領域１５２と画像用表示領域１５１の境界部分が視認されにくくなり、自然な画像を表示させることができる。
　また、第２実施形態において、付加画像を表示しない旨の付加画像情報を取得した場合や、付加画像を表示する旨の付加画像情報を取得していない場合、境界近傍領域１５１ａにおける各画素について画像処理を行わないことを示すパラメータＫ＝０を設定したが、以下のようにしてもよい。例えば、上述した図１３Ａ及び図１３Ｂに示したように、境界近傍領域１５１ａから画像処理の対象領域（画像用表示領域１５１及び付加画像用表示領域１５２）に近づくほど、これら領域の鮮鋭化のレベルに近づくように境界近傍領域１５１ａにおける画素のパラメータＫを異ならせてもよい(第４決定処理)。
　（３）また、上述した第３実施形態において、鮮鋭化のレベルが「強」レベルに対応する強度情報を取得するとともに、付加画像を表示する旨の付加画像情報を取得したとき、境界近傍領域１５１ａにおける各画素について画像処理を行うことを示すパラメータＫ＝１を設定したが、以下のように構成してもよい。この場合には、例えば、上述した図１４Ａ及び図１４Ｂに示したように、境界近傍領域１５１ａから付加画像用表示領域１５２に近づくほど鮮鋭化のレベルが小さくなるように境界近傍領域１５１ａにおける画素のパラメータＫを異ならせてもよい（第２決定処理）。
　また、第３実施形態において、鮮鋭化のレベルが「強」レベルに対応する強度情報を取得するとともに、付加画像を表示しない旨の付加画像情報を取得した場合や、付加画像を表示する旨の付加画像情報を取得していない場合、境界近傍領域１５１ａにおける各画素について画像処理を行わないことを示すパラメータＫ＝０を設定したが、以下のようにしてもよい。例えば、上述した図１３Ａ及び図１３Ｂに示したように、境界近傍領域１５１ａから画像処理の対象領域（画像用表示領域１５１及び付加画像用表示領域１５２）に近づくほど、これら領域の鮮鋭化のレベルに近づくように境界近傍領域１５１ａにおける画素のパラメータＫを異ならせてもよい(第４決定処理)。
　（４）上述した第２及び第３実施形態では、パラメータ出力部３０ｂ，３０ｃは、操作信号によって付加画像情報を取得する例について説明したが、画像信号に字幕やＯＳＤを示す付加画像データが含まれている場合、画像信号から付加画像情報を取得してもよい。例えば、画像信号がＭＰＥＧ（Moving Picture Experts Group）‐２等で符号化されたデジタル信号である場合、パラメータ出力部３０ｂ，３０ｃは、画像信号におけるＴＳ（Transport Stream）のＴＳパケットのパケット識別子（ＰＩＤ（Packet Identifier））を付加画像情報として取得してもよい。ＰＩＤは、各ＴＳパケットが伝送しているデータを識別する情報である。パラメータ出力部３０ｂ，３０ｃは、字幕を示すＰＩＤが含まれているか否かにより付加画像の表示の有無を判断することができる。また、上述した第２及び第３実施形態において、例えば、入力信号において字幕等の文字が含まれる位置を検出する画像検出アルゴリズムを有する検出部を入力部１１の前段に備え、検出部による検出結果をパラメータ出力部に出力するように構成してもよい。
　（５）また、上述した第１実施形態における高周波拡張部２７の線形フィルタ部２８１－１～２８１－ｋにおいて、鮮鋭化の強度に応じたフィルタ係数を用いて方向成分信号を算出する例を説明したが、非線形演算部２８２－Ａにおいて、鮮鋭化の強度に応じて調整された奇関数を用いるようにしてもよいし、鮮鋭化の強度に応じたフィルタ係数と奇関数とを用いるようにしてもよい。
　本発明は、テレビ放送等のコンテンツの画像を表示する表示装置に搭載される画像処理装置として産業上の利用が可能である。

Claims (5)

  1. 　表示領域に表示すべき画像データを含む入力信号における各画素の信号値に対し、入力されるパラメータを用いて鮮鋭化処理を行う画像処理部と、
    　前記表示領域のうち、前記画像データの画像が表示される領域と前記画像に付加される付加画像が表示される領域との境界を含む予め定められた特定領域において、前記画像データの画像に付加される付加画像を表示するか否かを示す付加画像情報と、前記鮮鋭化処理における鮮鋭化の強度を表す強度情報の少なくとも一方を鮮鋭化処理情報として取得する取得部と、
    　前記取得部で取得された前記鮮鋭化処理情報に基づいて、前記特定領域の画素に対する前記パラメータを決定し、前記画像処理部に出力する決定部と、
    　を備える画像処理装置。
  2. 　前記決定部は、前記鮮鋭化処理情報に前記強度情報が含まれる場合、前記強度情報が示す前記強度が閾値以上であるときには、前記特定領域に対して前記鮮鋭化処理を行わないことを示す前記パラメータを決定し、前記強度が前記閾値より小さいときには、前記特定領域に対して前記鮮鋭化処理を行うことを示す前記パラメータを決定する、請求項１に記載の画像処理装置。
  3. 　前記決定部は、前記鮮鋭化処理情報に前記付加画像を表示する旨の前記付加画像情報が含まれる場合には、第１決定処理と第２決定処理のいずれか一方を行い、前記鮮鋭化処理情報に前記付加画像を表示しない旨の前記付加画像情報が含まれる場合には、第３決定処理と第４決定処理のいずれか一方を行い、
    　前記第１決定処理は、前記特定領域の各画素に対し、前記特定領域の鮮鋭化のレベルが、他の領域における鮮鋭化のレベルと共通するように前記パラメータを決定する処理であり、
    　前記第２決定処理は、前記特定領域から前記付加画像が表示される領域に近づくほど鮮鋭化のレベルが小さくなるように、前記特定領域の画素に対して異なる前記パラメータを決定する処理であり、
    　前記第３決定処理は、前記特定領域の各画素に対して前記鮮鋭化処理を行わないことを示す前記パラメータを決定する処理であり、
    　前記第４決定処理は、前記特定領域から前記他の領域に近づくほど、前記特定領域の鮮鋭化のレベルが前記他の領域における鮮鋭化のレベルに近づくように、前記特定領域の画素に対して異なる前記パラメータを決定する処理である、請求項１に記載の画像処理装置。
  4. 　前記決定部は、前記強度が前記閾値以上である場合において、前記鮮鋭化処理情報に、さらに前記付加画像を表示する旨の前記付加画像情報が含まれるとき、第１決定処理と第２決定処理のいずれか一方を行い、前記鮮鋭化処理情報に、さらに前記付加画像を表示しない旨の前記付加画像情報が含まれるとき、第３決定処理と第４決定処理のいずれか一方を行い、
    　前記第１決定処理は、前記特定領域の鮮鋭化のレベルが、他の領域における鮮鋭化のレベルと共通するように前記パラメータを決定する処理であり、
    　前記第２決定処理は、前記特定領域から前記付加画像が表示される領域に近づくほど鮮鋭化のレベルが小さくなるように、前記特定領域の画素に対して異なる前記パラメータを決定する処理であり、
    　前記第３決定処理は、前記特定領域の各画素に対して前記鮮鋭化処理を行わないことを示す前記パラメータを決定する処理であり、
    　前記第４決定処理は、前記特定領域から前記他の領域に近づくほど、前記特定領域の鮮鋭化のレベルが前記他の領域における鮮鋭化のレベルに近づくように、前記特定領域の画素に対して異なる前記パラメータを決定する処理である、請求項２に記載の画像処理装置。
  5. 　前記入力信号は、前記付加画像を示す付加画像データを含み、
    　前記取得部は、前記入力信号に前記付加画像データが含まれているか否か判断することにより前記付加画像情報を取得する、請求項１から４のいずれか一項に記載の画像処理装置。
PCT/JP2013/081501 2012-11-30 2013-11-22 画像処理装置 WO2014084136A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-262124 2012-11-30
JP2012262124 2012-11-30

Publications (1)

Publication Number Publication Date
WO2014084136A1 true WO2014084136A1 (ja) 2014-06-05

Family

ID=50827774

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/081501 WO2014084136A1 (ja) 2012-11-30 2013-11-22 画像処理装置

Country Status (1)

Country Link
WO (1) WO2014084136A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11196294A (ja) * 1998-01-05 1999-07-21 Hitachi Ltd 映像信号処理装置
JP2006222541A (ja) * 2005-02-08 2006-08-24 Denon Ltd 光ディスク再生装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11196294A (ja) * 1998-01-05 1999-07-21 Hitachi Ltd 映像信号処理装置
JP2006222541A (ja) * 2005-02-08 2006-08-24 Denon Ltd 光ディスク再生装置

Similar Documents

Publication Publication Date Title
US7894684B2 (en) Visual processing device, visual processing method, program, display device, and integrated circuit
US8233744B2 (en) Image enlargement apparatus, method, integrated circuit, and program
US20090022396A1 (en) Image processing device, image processing method, image processing system, program, storage medium, and integrated circuit
US8401324B2 (en) Visual processing apparatus, visual processing method, program, recording medium, display device, and integrated circuit
JP5121294B2 (ja) 画像処理方法、画像処理装置、プログラム、記録媒体および集積回路
US20120230601A1 (en) Image processing apparatus, image processing method, and program
CN102821230A (zh) 图像处理装置和图像处理方法
CN104335565A (zh) 采用具有自适应滤芯的细节增强滤波器的图像处理方法
JP5014274B2 (ja) 画像処理装置、画像処理方法、画像処理システム、プログラム、記録媒体および集積回路
JP5002348B2 (ja) 画像処理装置、映像受信装置および画像処理方法
WO2014024691A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び画像表示装置
JP2013235517A (ja) 画像処理装置、画像表示装置、コンピュータプログラム及び記録媒体
WO2014084136A1 (ja) 画像処理装置
WO2014136552A1 (ja) 画像処理装置
CN101909141B (zh) 电视影像调整方法与装置
US9589324B1 (en) Overshoot protection of upscaled images
WO2014129209A1 (ja) 画像処理装置、画像処理方法
WO2014119448A1 (ja) 画像処理装置
JP2014138329A (ja) 画像処理装置、画像表示装置、プログラム、および、記憶媒体
WO2014024373A1 (ja) 画像強調装置、画像強調方法
CN101316320B (zh) 用于图像处理***的图像处理方法及其相关图像处理装置
WO2014024916A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び画像表示装置
KR20090063101A (ko) 비디오 화상에서 가장자리 방위를 나타내는 거리들을 생성하는 방법, 대응하는 디바이스, 및 디인터레이싱이나 포맷 전환을 위한 방법의 용도
CN102281387B (zh) 影像瞬时改善装置
US20150063726A1 (en) Image processing method and image processing apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13858480

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13858480

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP