WO2014084136A1 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- WO2014084136A1 WO2014084136A1 PCT/JP2013/081501 JP2013081501W WO2014084136A1 WO 2014084136 A1 WO2014084136 A1 WO 2014084136A1 JP 2013081501 W JP2013081501 W JP 2013081501W WO 2014084136 A1 WO2014084136 A1 WO 2014084136A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- sharpening
- image
- unit
- area
- additional image
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 171
- 238000000034 method Methods 0.000 claims abstract description 125
- 230000008569 process Effects 0.000 claims abstract description 118
- 238000013459 approach Methods 0.000 claims description 20
- 230000007423 decrease Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 description 47
- 238000010586 diagram Methods 0.000 description 30
- 238000011156 evaluation Methods 0.000 description 30
- 230000015572 biosynthetic process Effects 0.000 description 27
- 238000003786 synthesis reaction Methods 0.000 description 27
- 238000001514 detection method Methods 0.000 description 20
- 238000013139 quantization Methods 0.000 description 20
- 230000007717 exclusion Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 7
- 239000000203 mixture Substances 0.000 description 7
- 230000004069 differentiation Effects 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 6
- 238000000926 separation method Methods 0.000 description 6
- 230000003111 delayed effect Effects 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 241000255925 Diptera Species 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4884—Data services, e.g. news ticker for displaying subtitles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/142—Edging; Contouring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
- H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Definitions
- the present invention relates to an image processing apparatus, and particularly to a sharpening processing technique.
- Japanese Patent Application Laid-Open No. 2010-152518 discloses that a sharpening process for a specific color area such as a face image area is reduced from other areas, thereby sharpening an image such as a landscape from a face image area, and the like.
- sharpness processing is performed by setting a sharpness processing parameter for a specific color region lower than a level set for a region other than the specific color region.
- images such as subtitle images and OSD (On Screen Display) are added and displayed on content images (hereinafter referred to as content images) such as movies and programs.
- content images such as movies and programs.
- the additional image added to the content image is displayed in a predetermined area in the display area.
- sharpening processing is performed on a pixel-by-pixel basis using pixel values of peripheral pixels of the target pixel, noise may occur at the boundary between the display area of the additional image and the display area of the content image.
- an image such as a black belt is displayed in the subtitle display area. Therefore, for pixels near the boundary between the display area of the content image and the display area of the black belt portion, the pixels of the black belt portion are included in the peripheral pixels used for the sharpening process.
- the boundary portion becomes easy to be visually recognized due to the difference in the pixel data of the peripheral pixels with respect to the pixels near the boundary and the other areas. Noise is generated. Such noise becomes more prominent as the sharpening strength increases. In order to suppress noise at the boundary part, it is conceivable that the sharpening process is not performed on the boundary part.
- the sharpened portion and the non-sharpened portion in the caption image are mixed, and the visibility of the subtitle image is lowered or the user feels uncomfortable.
- An object of the present invention is to provide a technique for reducing noise in the vicinity of a boundary between a display area of a content image and a display area of an additional image such as caption or OSD when sharpening processing is performed on the image. .
- An image processing apparatus is directed to an image processing unit that performs a sharpening process on a signal value of each pixel in an input signal including image data to be displayed in a display area using an input parameter; Of the display area, a predetermined specific area including a boundary between an area where the image of the image data is displayed and an area where the additional image added to the image is displayed is added to the image of the image data.
- Acquisition unit for acquiring at least one of the additional image information indicating whether or not to display the additional image and the intensity information indicating the strength of the sharpening in the sharpening process, and acquired by the acquisition unit
- a determination unit that determines the parameter for the pixel in the specific region based on the sharpening processing information and outputs the parameter to the image processing unit.
- the determining unit when the intensity information is included in the sharpening process information, applies the specific area to the specific area when the intensity indicated by the intensity information is equal to or greater than a threshold value.
- the parameter indicating that the sharpening process is not performed is determined, and when the intensity is smaller than the threshold value, the parameter indicating that the sharpening process is performed on the specific region is determined.
- the determination unit when the additional image information indicating that the additional image is to be displayed is included in the sharpening processing information, the determination unit includes a first determination process and a second determination process. If the additional image information indicating that the additional image is not displayed is included in the sharpening processing information, one of a third determination process and a fourth determination process is performed,
- the first determination process is a process of determining the parameter so that the sharpening level of the specific area is the same as the sharpening level of another area for each pixel of the specific area.
- the determination process is a process of determining the different parameters for the pixels in the specific area so that the sharpening level decreases as the area from which the additional image is displayed is approached from the specific area.
- the determination unit includes the additional image information indicating that the additional image is further displayed in the sharpening processing information when the intensity is equal to or greater than the threshold value.
- the first determination processing and the second determination processing are performed. Any one of four determination processes, and the first determination process is a process of determining the parameter so that a sharpening level of the specific area is in common with a sharpening level of another area, The second determination process is a process of determining different parameters for the pixels in the specific area so that the sharpening level decreases as the area from which the additional image is displayed is approached from the specific area.
- the third determination process is a process of determining the parameter indicating that the sharpening process is not performed on each pixel of the specific region, and the fourth determination process is performed from the specific region to the other This is a process of determining the different parameters for the pixels in the specific region so that the sharpening level of the specific region approaches the sharpening level in the other region as the region approaches.
- the input signal includes additional image data indicating the additional image
- the acquisition unit includes the additional image data in the input signal.
- the additional image information is acquired by determining whether or not it is present.
- the configuration of the present invention when sharpening processing is performed on an image, it is possible to reduce noise in the vicinity of the boundary between the display area of the content image and the display area of the additional image such as caption or OSD.
- FIG. 1 is a block diagram illustrating a schematic configuration of the display device according to the first embodiment.
- FIG. 2 is a diagram showing a display area in the first embodiment.
- FIG. 3 is a block diagram illustrating a configuration example of the image processing unit in the first embodiment.
- FIG. 4 is a conceptual diagram illustrating a configuration example of the high-frequency extension unit in the first embodiment.
- FIG. 5 is a block diagram showing a schematic configuration of the configuration of the high-frequency extension section in the first embodiment.
- FIG. 6 is a schematic diagram illustrating the configuration of the vertical high-pass filter unit in the first embodiment.
- FIG. 7 is a schematic diagram illustrating the configuration of the horizontal high-pass filter unit in the first embodiment.
- FIG. 1 is a block diagram illustrating a schematic configuration of the display device according to the first embodiment.
- FIG. 2 is a diagram showing a display area in the first embodiment.
- FIG. 3 is a block diagram illustrating a configuration example of the image processing unit in the first embodiment.
- FIG. 8 is a schematic diagram illustrating the configuration of the nonlinear arithmetic unit in the first embodiment.
- FIG. 9 is a block diagram illustrating a configuration example of the display device according to the second embodiment.
- FIG. 10 is a block diagram illustrating an image processing unit and a parameter output unit in the second embodiment.
- FIG. 11 is a block diagram illustrating a configuration example of a display device according to the third embodiment.
- FIG. 12 is a block diagram illustrating an image processing unit and a parameter output unit in the third embodiment.
- FIG. 13A is a conceptual diagram illustrating an example of parameters for pixels in a boundary vicinity region in a modified example.
- FIG. 13B is a conceptual diagram illustrating an example of parameters for pixels in the boundary vicinity region in the modification.
- FIG. 14A is a conceptual diagram illustrating an example of parameters for pixels in a boundary vicinity region in a modified example.
- FIG. 14B is a conceptual diagram illustrating an example of parameters for pixels in the vicinity of the boundary in the modified example
- An image processing apparatus includes an image processing unit that performs a sharpening process on a signal value of each pixel in an input signal including image data to be displayed in a display area using an input parameter.
- an image processing unit that performs a sharpening process on a signal value of each pixel in an input signal including image data to be displayed in a display area using an input parameter.
- a predetermined specific area including a boundary between an area where an image of the image data is displayed and an area where an additional image added to the image is displayed is included in the image of the image data.
- An acquisition unit for acquiring at least one of additional image information indicating whether or not to display an additional image to be added and intensity information indicating the intensity of sharpening in the sharpening process as sharpening process information; and A determination unit that determines the parameter for the pixel in the specific region based on the acquired sharpening processing information and outputs the parameter to the image processing unit (first configuration).
- the sharpening process is performed on the specific region in accordance with the sharpening process information indicating the strength of the sharpening and the presence / absence of display of the additional image. Therefore, noise generated in the specific area can be reduced as compared with the case where the sharpening process is not performed on the specific area, regardless of the sharpening strength and whether or not the additional image is displayed.
- the determination unit when the intensity information is included in the sharpening processing information, the determination unit applies to the specific region when the intensity indicated by the intensity information is equal to or greater than a threshold value.
- the parameter indicating that the sharpening process is not performed may be determined, and when the intensity is smaller than the threshold, the parameter indicating that the sharpening process is performed on the specific region may be determined.
- the boundary portion between the display area of the content image and the display area of the additional image is visually recognized. Can be difficult.
- the determination unit when the additional image information indicating that the additional image is displayed is included in the sharpening processing information, the determination unit performs a first determination process and a second determination process. If the additional image information indicating that the additional image is not displayed is included in the sharpening processing information, one of a third determination process and a fourth determination process is performed,
- the first determination process is a process of determining the parameter so that the sharpening level of the specific area is the same as the sharpening level of another area for each pixel of the specific area.
- the determination process is a process of determining the different parameters for the pixels in the specific area so that the sharpening level decreases as the area from which the additional image is displayed is approached from the specific area.
- the sharpening process can be performed on the specific area using a parameter according to whether or not the additional image is displayed on the specific area, the additional image displayed on the specific area is visually recognized. Can be improved.
- the determination unit includes the additional image information indicating that the additional image is further displayed in the sharpening processing information when the intensity is equal to or greater than the threshold.
- the first determination processing and the second determination processing are performed. Any one of four determination processes, and the first determination process is a process of determining the parameter so that a sharpening level of the specific area is in common with a sharpening level of another area, The second determination process is a process of determining different parameters for the pixels in the specific area so that the sharpening level decreases as the area from which the additional image is displayed is approached from the specific area.
- the third determination process is a process of determining the parameter indicating that the sharpening process is not performed on each pixel of the specific region, and the fourth determination process is performed from the specific region to the other It is good also as the process which determines the said parameter which is different with respect to the pixel of the said specific area so that the level of sharpening of the said specific area may approach the level of sharpening in the said other area, so that it approaches the area of this. .
- the sharpening process can be performed on the specific area using the parameters according to the sharpening strength and the presence / absence of the additional image display. Therefore, the content image display area and the additional image display can be performed. While making the boundary part with an area
- the input signal includes additional image data indicating the additional image
- the acquisition unit includes the additional image data in the input signal.
- the additional image information may be acquired by determining whether or not it is present.
- the sharpening process is performed on the pixel values in the image signal input to the display device, the sharpening process is performed based on the sharpening intensity instructed by the user.
- an area for displaying additional images such as subtitles and OSD displayed in addition to the content image
- an additional image display area an area for displaying the content image
- a sharpening process is performed on the pixels located near the boundary of the image display area) according to the instructed sharpening intensity. Details of this embodiment will be described below.
- FIG. 1 is a block diagram illustrating a schematic configuration of a display device including an image processing device according to the present embodiment.
- a display device 1A is connected to an antenna 10, and includes an input unit 11, a Y / C (luminance signal / color difference signal) separation unit 12, a scaling unit 13, an image format conversion unit 14, a display unit 15, An operation signal receiving unit 16, an image processing unit 20, and a parameter output unit 30a are included.
- the image processing unit 20 and the parameter output unit 30a are an example of an image processing apparatus.
- the antenna 10 receives, for example, a high-frequency signal as a radio wave related to television broadcasting, and outputs the received high-frequency signal to the display device 1A.
- a high frequency signal is input to the input unit 11 via the antenna 10.
- the input unit 11 extracts a modulation signal related to a designated channel from a high-frequency signal input from the antenna 10, and converts the extracted modulation signal into a modulation signal in a base frequency band.
- the input unit 11 outputs the converted modulation signal to the Y / C separation unit 12.
- the Y / C separation unit 12 demodulates the modulation signal input from the input unit 11 to generate an image signal, and separates the generated image signal into an analog luminance signal Y, a color difference signal Cb, and a color difference signal Cr.
- the Y / C separation unit 12 converts each separated signal from an analog signal to a digital signal at a predetermined sampling frequency.
- the Y / C separation unit 12 outputs an image signal including the converted digital luminance signal Y, color difference signal Cb, and color difference signal Cr to the scaling unit 13.
- the scaling unit 13 When the resolution (number of pixels) of the image signal input from the Y / C separation unit 12 is different from the resolution of the display unit 15, the scaling unit 13 is input so as to be equal to the resolution of the display unit 15. Adjust (scaling) the resolution of the image signal. When the resolution of the display unit 15 is larger than the resolution of the input image, the scaling unit 13 performs interpolation on the input image signal. When the resolution of the display unit 15 is smaller than the resolution of the input image, the scaling unit 13 downsamples the input image signal. The scaling unit 13 uses, for example, a bicubic method or a bilinear method as a method for interpolation or downsampling. The scaling unit 13 outputs the image signal whose resolution has been adjusted to the image processing unit 20.
- the input image signal is output to the image processing unit 20.
- the ratio of the number of pixels in the horizontal direction (or vertical direction) of the display unit 15 to the number of pixels in the horizontal direction (or vertical direction) of the input image signal is referred to as an enlargement ratio.
- the enlargement ratio is 3.
- the image format converter 14 converts the format of the image signal input from the image processor 20 described later.
- the image format conversion unit 14 converts the format of the image signal into a progressive signal.
- the interlace signal is a signal configured by performing horizontal scanning on pixels every other column, and is a signal in which the column to be scanned is different for each frame.
- a progressive signal is a signal formed by scanning a pixel in the horizontal direction for each column.
- the image format conversion unit 14 is an image signal (for example, RGB signal, red (R), green (G)) in which the input image signal or the image signal obtained by converting the format is represented in a color system corresponding to the display unit 15. , Blue (B) image signals including signal values of respective colors), and the converted image signals are output to the display unit 15.
- the display unit 15 includes a display including a display panel such as a liquid crystal panel.
- the display unit 15 displays an image represented by the image signal input from the image format conversion unit 14.
- FIG. 2 is a schematic diagram showing a display area of the display unit 15.
- the display area 150 includes an image display area 151 and an additional image display area 152.
- the additional image display area 152 is a so-called black belt area in which an image such as black is displayed.
- an image or an additional image is displayed in a predetermined area 151a including a boundary with the additional image display area 152.
- this region 151a is referred to as a boundary vicinity region 151a.
- the upper, lower, left and right edges of the display area 150 are used as the additional image display area 152, but either the upper or lower edge or the left and right edges may be used as the additional image display area 152. May be used as the additional image display area 152.
- the operation signal receiving unit 16 includes an infrared light receiving unit, and receives an operation signal output from the operation unit 17 described later.
- the operation signal is an operation signal for instructing the channel setting
- the operation signal receiving unit 16 outputs the operation signal to the input unit 11 to instruct the sharpening intensity setting and the display of the additional image.
- the operation signal is output to the parameter output unit 30a.
- the operation unit 17 includes, for example, a remote control having numbers, letters, direction keys, and the like.
- the operation unit 17 receives an operation for instructing an operation by a user, for example, a channel setting, a sharpening intensity setting, an additional image display such as a menu screen, and the like.
- the operation unit 17 transmits an operation signal indicating the instructed operation using infrared rays.
- the sharpening intensity for example, a numerical value within a predetermined range can be selected.
- the user designates a desired sharpening intensity by remote control operation.
- the image processing unit 20 performs image processing on each pixel value in the image signal.
- the image processing unit 20 performs noise reduction and sharpening processing on the luminance signal Y of the image signal input from the scaling unit 13 using parameters output from the parameter output unit 30a described later, and the noise is reduced and sharpened.
- a luminance signal Z indicating the converted image is generated.
- the image processing unit 20 updates the luminance signal Y input from the scaling unit 13 to the generated luminance signal Z, and synchronizes with the color difference signals Cb and Cr.
- the image processing unit 20 outputs an image signal including the luminance signal Z and the color difference signals Cb and Cr to the image format conversion unit 14.
- the image processing unit 20 may be any unit that performs the above image processing on a pixel basis, and a configuration example thereof will be described below.
- FIG. 3 is a block diagram illustrating a configuration example of the image processing unit 20 in the present embodiment.
- the image processing unit 20 includes a contour direction detection unit 21, a low-pass filter unit 20 a, and a high-frequency extension unit 27.
- the contour direction detection unit 21 estimates the contour direction for each pixel based on the signal value (luminance value) for each pixel.
- the low-pass filter unit 20a is a reference pixel arranged in the contour direction of each pixel, and filters the signal value of each pixel using a signal value for each reference pixel in a reference region determined in advance from each pixel.
- the high frequency extension unit 27 generates a high frequency component of the signal value of each pixel filtered by the low-pass filter unit 20a, and extends the frequency band of the signal value for each pixel. Details of each part will be described below.
- the contour direction detection unit 21 estimates the contour direction for each pixel based on the signal value for each pixel represented by the luminance signal Y input from the scaling unit 13.
- the contour direction is a direction orthogonal to the normal line of the contour line, that is, a tangential direction of the contour line.
- the contour line refers to a line indicating a space where the signal value is substantially constant, and may be a curve or a straight line. Therefore, the contour is not limited to a region where the signal value changes rapidly according to a change in position.
- the relationship between contour lines and signal values corresponds to the relationship between contour lines and elevation.
- the position of each pixel is given discretely or is affected by noise around the contour to be improved in the present invention, such as jaggy, dot interference, mosquito noise, etc.
- the direction of the contour cannot be determined by using the line that passes through as the line forming the contour.
- the signal value is differentiable (that is, continuous) in the space representing the coordinates for each pixel.
- the contour direction detection unit 21 calculates the contour direction ⁇ based on, for example, the following equation (1) based on the difference value in the horizontal direction or the vertical direction of the signal value for each pixel.
- the contour direction ⁇ is a counterclockwise angle with respect to the horizontal direction (x direction).
- x and y are horizontal and vertical coordinates, respectively.
- Y (x, y) is a signal value at coordinates (x, y). That is, the contour direction ⁇ is calculated as an angle that gives a tangent value obtained by dividing the partial differentiation of the signal value Y (x, y) in the x direction by the partial differentiation of the signal value Y (x, y) in the y direction.
- the Equation (1) can be derived from the relationship that the signal value Y (x, y) is constant even if the coordinates (x, y) are different.
- Gx (x, y) and Gy (x, y) represent partial differentiation in the x direction and partial differentiation in the y direction of the signal value Y (x, y), respectively.
- Gx (x, y) and Gy (x, y) may be referred to as x-direction partial differentiation and y-direction partial differentiation, respectively.
- the position (coordinates) of the pixel (i, j) indicates the barycentric point of the pixel.
- the variable a at the position of the pixel is represented as a (i, j) or the like.
- the contour direction detection unit 21 uses, for example, the following equations (2) and (3), respectively, and the x-direction partial differential Gx (i, j) of the signal value Y (i, j) at each pixel (i, j). , Y-direction partial differential Gy (i, j) is calculated.
- i and j are integer values indicating indices in the x direction and y direction of the pixel of interest, respectively.
- a pixel of interest is a pixel that attracts attention as a direct processing target.
- Wx (u ′, v ′) and Wy (u ′, v ′) indicate filter coefficients of the difference filter in the x direction and the y direction, respectively.
- u and v are integer values indicating indices of the reference pixel in the x and y directions, respectively.
- the reference pixel is a pixel within a range determined by a predetermined rule with the target pixel as a reference, and is a pixel that is referred to when processing the target pixel.
- the reference pixel includes a target pixel.
- the difference filter described above has filter coefficients Wx (u ′, v) for u ′, v ′ of 2n + 1 in the x direction and 2n + 1 in the y direction (total (2n + 1) (2n + 1)) reference pixels, respectively.
- Wx (u ′, v) for u ′, v ′ of 2n + 1 in the x direction and 2n + 1 in the y direction (total (2n + 1) (2n + 1)) reference pixels, respectively.
- n is an integer value greater than 1 (for example, 2).
- n is set to a value smaller than a predetermined maximum value, for example, an integer value equal to the enlargement rate, an integer value obtained by rounding up the digits after the decimal point of the enlargement rate, or any of these integer values. It is determined that the value is larger.
- the contour direction detection unit 21 quantizes and quantizes the contour direction ⁇ (i, j) calculated based on the calculated x-direction partial differential Gx (i, j) and y-direction partial differential Gy (i, j).
- a quantized contour direction D (i, j) representing the contour direction is calculated.
- the contour direction detection unit 21 uses, for example, the following equation (4) when calculating the quantized contour direction D (i, j).
- Equation (4) round E is a rounding function that gives an integer value obtained by rounding off the decimal places of the real number ....
- N d is a constant representing the number of quantized contour directions (number of quantized contour directions).
- the quantization contour direction number Nd is, for example, any value between 8 and 32.
- of the x-direction partial differential Gx (i, j) is smaller than a predetermined minute real value (for example, 10 ⁇ 6 ).
- Tan ⁇ 1 is ⁇ / 2.
- the quantized contour direction D (i, j) is represented by any integer from 0 to N d ⁇ 1 by rounding a value obtained by dividing the contour direction ⁇ by the quantization interval by ⁇ / N d. .
- the contour direction detection unit 21 outputs quantized contour direction information representing the calculated quantized contour direction D (i, j) to the direction evaluation unit 22 and the reference region load processing unit 23.
- the low-pass filter unit 20 a includes a direction evaluation unit 22, a reference region load processing unit 23, a preprocessing unit 24, a product-sum operation unit 25, and a synthesis operation unit 26.
- the direction evaluating unit 22 Based on the quantized contour direction for each pixel represented by the quantized contour direction information input from the contour direction detecting unit 21, the direction evaluating unit 22 has each reference belonging to the reference region centered on the target pixel for each target pixel. A pixel direction evaluation value is calculated.
- the direction evaluation unit 22 determines the difference between the quantization contour direction D (i, j) of the target pixel (i, j) and the quantization contour direction D (u, v) of the reference pixel (u, v). The direction evaluation value of the reference pixel is determined so that the smaller the value is, the larger the direction evaluation value is.
- D (u, v) ⁇ D (i, j) is calculated.
- ) is determined as the maximum value 1.
- ) is determined as the minimum value 0.
- the direction evaluation unit 22 approximates the quantization contour direction D (i, j) for the target pixel (i, j) to the quantization contour direction D (u, v) for the reference pixel (u, v), that is, the difference.
- the direction evaluation value F ( ⁇ D) may be determined so as to increase as the absolute value
- ) 0. (
- the direction evaluation unit 22 determines the other quantization contour.
- a correction value is calculated by adding Nd to the direction value.
- the direction evaluation unit 22 calculates an absolute value for a difference value between the calculated correction value and one quantization contour direction.
- the intended direction evaluation value is determined by using the absolute value thus calculated as
- the contour direction of the pixel of interest (i, j) is different from the reference pixel (u, v) having a different contour direction. The effect can be ignored or neglected.
- the size of the reference region to which the reference pixel (u, v) belongs may be 2n + 1 or larger than this number.
- the size of the reference region in the direction evaluation unit 22 may be different from the size of the reference region in the contour direction detection unit 21.
- the number of pixels in the horizontal direction and the vertical direction of the reference area in the direction evaluation unit 22 is 7 respectively, whereas the number of pixels in the horizontal direction and the vertical direction of the reference area in the contour direction detection unit 21 is 5 respectively. There may be.
- the direction evaluation unit 22 outputs direction evaluation value information representing the direction evaluation value F ( ⁇ D) of each reference pixel (u, v) to the product-sum calculation unit 25 for each pixel of interest (i, j).
- the reference area load processing unit 23 performs, for each pixel of interest (i, j), based on the quantized contour direction D (i, j) for each pixel represented by the quantized contour direction information input from the contour direction detection unit 21.
- the reference area load information is a weighting factor R (D (i, j), u ′, v ′) for each reference pixel (u ′, v ′) belonging to a reference area centered on a certain target pixel (i, j). ).
- This weighting factor may be referred to as a reference area load.
- the size of the reference area in the reference area load processing unit 23 is determined in advance so as to be equal to the size of the reference area in the direction evaluation unit 22.
- the reference area load processing unit 23 weights R (D (i, j), u) of reference pixels in a direction in a predetermined range from the quantization contour direction D (i, j) of the target pixel (i, j). ', V') is set to a value larger than the weight coefficient of the reference pixel in the direction outside the range.
- U ′, v ′) is defined as 1, and the weighting factor R (D (i, j), u ′, v ′) of the reference pixel (u ′, v ′) in the other direction is defined as 0. .
- the reference pixel in the quantization contour direction or the direction approximate to the direction from the target pixel is specifically a line segment extending in the quantization contour direction from the center of the target pixel (i, j) passes through the region.
- Reference pixel (u ′, v ′) may determine the weighting coefficient so that the reference pixel (u ′, v ′) having a longer distance through which the line segment passes through the area becomes larger.
- the reference region load processing unit 23 includes a storage unit that stores in advance reference region load information representing the calculated weighting coefficient of each reference pixel in association with the quantized contour direction information.
- the reference area load processing unit 23 reads the reference area load information corresponding to the quantized contour direction represented by the input quantized contour direction information from the storage unit.
- the reference area load processing unit 23 outputs the reference area load information determined for each pixel of interest (i, j) to the product-sum operation unit 25. Further, the reference area load processing unit 23 may change the reference area load information of the reference pixel to be output according to the sharpening strength indicated by the input operation signal.
- the reference area load information of the reference pixel whose angle difference from the quantization contour direction of the target pixel is within a predetermined range is output, and the sharpening is performed.
- the intensity of conversion is less than the first threshold, the reference area load information of the reference pixel in the same direction as the quantization contour direction of the target pixel is output.
- the preprocessing unit 24 for each pixel of interest (i, j), from the luminance signal Y input from the scaling unit 13, each reference pixel (u, j) belonging to a reference region centered on the pixel of interest (i, j). A luminance signal representing the signal value Y (u, v) of v) is extracted. The preprocessing unit 24 subtracts the signal value Y (i, j) of the pixel of interest from the signal value Y (u, v) of the reference signal represented by the extracted luminance signal, and obtains the difference signal value Y (u, v) ⁇ Y (i, j) is calculated.
- the preprocessing unit 34 generates a difference signal representing the calculated difference signal value, and outputs the generated difference signal to the product-sum operation unit 35.
- the size of the reference region in the preprocessing unit 24 is determined in advance so as to be equal to the size of the reference region in the direction evaluation unit 22 and the reference region load processing unit 23.
- the product-sum operation unit 25 receives direction evaluation value information from the direction evaluation unit 22, reference region load information from the reference region load processing unit 23, and difference signal from the preprocessing unit 34. Entered.
- the product-sum operation unit 25 performs the direction evaluation value F (
- a smoothing difference value ⁇ Y (i, j) is calculated by multiply-adding the reference region load R (D (i, j), u ′, v ′) represented by the information.
- the product-sum operation unit 35 uses, for example, the following equation (5) when calculating the smoothed difference value ⁇ Y (i, j).
- Equation (5) is obtained by calculating the direction evaluation value F (
- the product-sum operation unit 25 generates a smoothed difference signal representing the calculated smoothed difference value ⁇ Y (i, j), and outputs the generated smoothed difference signal to the combining operation unit 26.
- the synthesis calculation unit 26 receives the smoothed difference signal ⁇ Y (i, j) from the product-sum calculation unit 25 and the luminance signal Y (i, j) from the scaling unit 13.
- the synthesis calculation unit 26 adds (synthesizes) the smoothed difference value ⁇ Y (i, j) and the signal value Y (i, j) represented by the luminance signal Y to obtain a low-pass signal value Y ′′ (i, j, j) is output.
- the low-pass signal value Y ′′ (i, j) is output to the high frequency extension unit 27 as the luminance signal Y ′′.
- FIG. 4 is a conceptual diagram illustrating a configuration example of the high-frequency extension unit 27 according to the present embodiment.
- the high-frequency extension unit 27 includes k (k is an integer greater than 1 or 1) nonlinear filter units 28-1 to 28-k, an exclusion processing calculation unit 271, and a synthesis calculation unit 29.
- the nonlinear filter units 28-1 to 28-k calculate high-frequency component values for the low-pass signal values Y ′′ (i, j) of the respective pixels represented by the input luminance signal Y ′′, and the calculated high-frequency values The component value is output to the exclusion processing calculation unit 271.
- the nonlinear filter units 28-1 to 28-k include linear filter units 281-1 to 281-k and nonlinear operation units 282-1 to 282-k, respectively.
- the linear filter units 281-1 to 281-k extract components representing line drawings (for example, contours) each facing a predetermined direction.
- the linear filter units 281-1 to 281-k output direction component signals representing the extracted components to the non-linear operation units 282-1 to 282-k, respectively.
- Nonlinear computing units 282-1 to 282-k perform nonlinear computation on the signal values represented by the direction component signals respectively input from linear filter units 281-1 to 281-k to calculate nonlinear output values.
- the non-linear operation units 282-1 to 282-k generate direction component signals represented by the calculated non-linear output values, and output the generated direction component signals to the synthesis operation unit 29, respectively.
- the nonlinear calculation performed by the nonlinear calculation units 282-1 to 282-k is, for example, a high-order function f (W) of the input signal value W.
- f (W) is, for example, sgn (W)
- sgn indicates a sign function of real numbers. That is, sgn extended is a function that gives 1 when ... is greater than 0, gives -1 when ... is less than 0, and gives 0 when ... is 0. Since these functions are odd functions, the output value includes odd-order harmonic components.
- the exclusion processing calculation unit 271 receives high-frequency component values from the nonlinear filter units 28-1 to 28-k, and receives a parameter K from the parameter output unit 30a.
- the exclusion processing calculation unit 271 includes a storage unit (not shown) in which pixel information indicating the pixel (i, j) included in the boundary vicinity region 151a (FIG. 2) is stored in advance.
- the exclusion processing calculation unit 271 outputs a result obtained by multiplying the parameter K and each high-frequency component value to the synthesis calculation unit 29.
- the target pixel is a pixel (i, j) other than the boundary vicinity area 151 a
- each high-frequency component value is output to the synthesis calculation unit 29.
- the synthesis calculation unit 29 adds (synthesizes) each high-frequency component value input from the exclusion processing calculation unit 271 and further adds (synthesizes) the low-pass signal value Y ′′ (i, j) of each pixel. A high frequency expansion signal value Z (i, j) is calculated. The composition calculation unit 29 generates a luminance signal Z representing the calculated high-frequency extension signal value Z (i, j).
- FIG. 5 is a block diagram illustrating a schematic configuration of the high-frequency extension unit 27.
- the high frequency extension unit 27 generates a harmonic component of a component representing a line drawing in the vertical direction and the horizontal direction.
- the high-frequency extension unit 27 includes two nonlinear filter units 28-v and 28-h, an exclusion processing calculation unit 271, and a synthesis calculation unit 29. That is, the nonlinear filter units 28-v and 28-h are examples of the above-described nonlinear filter units 28-1 and 28-2.
- the non-linear filter unit 28-v generates a directional component signal representing a vertical line drawing based on the luminance signal Y ′′ input from the synthesis calculation unit 26.
- the non-linear filter unit 28-v includes a vertical high-pass filter unit 281-v and a non-linear operation unit 282-v.
- the vertical high-pass filter unit 281-v and the horizontal high-pass filter unit 281-h are one mode of the above-described linear filter unit 281-1 and the like.
- Vertical high-pass filter 281-v extracts a component representing a line drawing that is oriented in the vertical direction, and outputs the vertical component signal W v in nonlinear operator 282-v representing the extracted component.
- the horizontal high-pass filter unit 281-h extracts a component representing a line drawing facing in the horizontal direction, and outputs a horizontal direction component signal W h representing the extracted component to the non-linear operation unit 282-h.
- the nonlinear operation units 282-v and 282-h are one mode of the above-described nonlinear operation unit 282-1 and the like.
- the nonlinear arithmetic units 282-v and 282-h are respectively described in the signal values represented by the direction component signals W v and W h input from the vertical high pass filter unit 281-v and the horizontal high pass filter unit 281-h.
- Perform non-linear operation The nonlinear arithmetic units 282-v and 282-h generate vertical high-frequency component values NL v and horizontal high-frequency component values NL h represented by the calculated nonlinear output values, respectively, and the generated vertical high-frequency component values NL v and horizontal
- the direction high-frequency component value NL h is output to the composition calculation unit 29.
- the composition calculation unit 29 has the same configuration as the composition calculation unit 29 described above.
- FIG. 6 is a schematic diagram showing the configuration of the vertical high-pass filter unit 281-v.
- the vertical high-pass filter unit 281-v includes a delay memory 2811-v, a filter coefficient memory 2812-v, a multiplication unit 2813-v, and a synthesis operation unit 2814-v.
- the delay memory 2811-v multiplies a low-pass signal value based on the input luminance signal Y ′′ by a delay signal obtained by delaying W x , 2 ⁇ W x ,..., (2n + 1) ⁇ W x samples, respectively.
- W x is the number of pixels in the horizontal direction included in one frame image. Therefore, the signal values of 2n + 1 pixels that are adjacent to each other in the vertical direction around the target pixel are output to the multiplier 2813-v.
- the delay memory 2811-v includes 2n + 1 delay elements 2811-v-1 to 2811-v-2n + 1 that delay the input signal by W x samples.
- the delay elements 2811-v-1 to 2811-v-2n + 1 are respectively connected in series.
- the luminance signal Y ′′ is input to one end of the delay element 2811-v-1, and the other end of the delay element 2811-v-1 is connected to the delay unit 2813-v by the delay signal obtained by delaying W x samples. Output to one end of 2811-v-2.
- each of the delay elements 2811-v-2 to 2811-v-2n + 1 receives a delay signal delayed by W x to 2n ⁇ W x samples from the other end of the delay elements 2811-v-1 to 2811-v-2n, respectively. Is done.
- the other ends of the delay elements 2811-v-2 to 2811-v-2n are delayed signals delayed by 2 ⁇ W x to 2n ⁇ W x samples, respectively, by a multiplier 2813-v and delay elements 2811-v-3 to 2811 Output to one end of -v-2n + 1.
- the other end of the delay element 2811-v-2n + 1 outputs a delayed signal delayed by (2n + 1) ⁇ W x samples to the multiplier 2813-v.
- the filter coefficient memory 2812-v includes 2n + 1 storage elements 2812-v-1 to 2812-v-2n + 1.
- the storage elements 2812-v-1 to 2812-v-2n + 1 store filter coefficients a L + n to a L ⁇ n , respectively.
- the multiplication unit 2813-v includes 2n + 1 multipliers 2813-v-1 to 2813-v-2n + 1.
- the multipliers 2813-v-1 to 2813-v-2n + 1 store the signal values input from the delay elements 2811-v-1 to 2811-v-2n + 1 and the storage elements 2812-v-1 to 2812-v-2n + 1.
- the obtained filter coefficients a L + n to a L ⁇ n are respectively multiplied.
- Multipliers 2813-v-1 to 2813-v-2n + 1 output the multiplication values obtained by the multiplication to synthesis operation unit 2814-v, respectively.
- the filter coefficient to be multiplied in the vertical high-pass filter unit 281-v may be changed in accordance with the sharpening strength indicated by the operation signal input to the high-frequency extension unit 27.
- the filter coefficients a L + 3 to a L-3 are used when the sharpening intensity is greater than or equal to the first threshold
- the filter coefficients a L + 1 to a L-1 are used when the sharpening intensity is less than the first threshold. Good.
- the synthesis operation unit 2814-v adds the multiplication values respectively input from the multipliers 2813-v-1 to 2813-v-2n + 1 to calculate a synthesis value.
- the calculated combined value is a value obtained by multiplying and adding the filter coefficients a L + n to a L ⁇ n to the signal values of 2n + 1 pixels adjacent to each other in the vertical direction around the target pixel.
- Combining unit 2814-v outputs the vertical component signal W v representing the calculated composite value to the nonlinear operator 282-v.
- FIG. 7 is a schematic diagram showing the configuration of the horizontal high-pass filter unit 281-h.
- the horizontal high-pass filter unit 281-h includes a delay memory 2811-h, a filter coefficient memory 2812-h, a multiplication unit 2813-h, and a synthesis operation unit 2814-h.
- the configurations of the delay memory 2811-h, the filter coefficient memory 2812-h, the multiplication unit 2813-h, and the synthesis operation unit 2814-h are the same as the above-described delay memory 2811-v, filter coefficient memory 2812-v, multiplication unit 2813-v, and This is the same as the composition calculation unit 2814-v.
- the delay memory 2811-h does not use delay elements 2811-v-1 to 2811-v-2n + 1 that delay the input signal by W x samples, but delay elements 2811-h-1 that delay the input signal by one sample. There are 2n + 1 pieces of ⁇ 2811-h-2n + 1.
- the filter coefficient memory 2812-h includes storage elements 2812-h-1 to 2812-h-2n + 1 instead of the storage elements 2812-v-1 to 2812-v-2n + 1.
- the storage elements 2812-h-1 to 2812-h-2n + 1 store filter coefficients a D + n to a D ⁇ n , respectively.
- the composition calculation unit 2814-h calculates a value obtained by multiplying and adding the filter coefficients a D + n to a D ⁇ n to the signal values of 2n + 1 pixels that are adjacent to each other in the horizontal direction around the target pixel.
- the synthesis calculation unit 2814-h outputs a horizontal direction component signal W h representing the calculated synthesis value to the nonlinear calculation unit 282-h.
- the filter coefficient to be multiplied in the horizontal high-pass filter unit 281-h may be changed according to the sharpening strength indicated by the operation signal input to the high-frequency extension unit 27.
- the filter coefficients a D + 3 to a D-3 are used when the sharpening intensity is greater than or equal to the first threshold, and the filter coefficients a D + 1 to a D-1 are used when the strength is less than the first threshold. Good.
- the filter coefficients a L ⁇ n , a L ⁇ n + 1 , to a L + n are high-pass filter coefficients that realize a high-pass filter by a product-sum operation with a signal value. Note that the total value of the filter coefficients a L + n to a L ⁇ n and the total value of the filter coefficients a D + n to a D ⁇ n are 0, that is, the transfer function of the DC component is 0. As a result, a DC component is not included in the calculated composite value.
- the filter coefficients a L + n to a L ⁇ n pass through a frequency component higher than a spatial frequency lower by a predetermined frequency f than the Nyquist frequency f nyq ′ of the luminance signal before expansion (high-pass Characteristic).
- the Nyquist frequency f nyq ′ of the luminance signal before enlargement is a frequency obtained by dividing the sampling frequency frequency f s of the luminance signal to be processed by 2n (n is an enlargement rate).
- the filter coefficients a L + 3 , a L + 2 , a L + 1 , a L , a L ⁇ 1 , a L ⁇ 2 , and a L ⁇ 3 are ⁇ 0.0637, 0.0, 0.5732, ⁇ 0. 0189, 0.5732, 0.0000, and -0.0637.
- the filter coefficients a D + 3 , a D + 2 , a D + 1 , a D , a D ⁇ 1 , a D ⁇ 2 , and a D ⁇ 3 are filter coefficients a L + 3 , a L + 2 , a L + 1 , a L , a L ⁇ 1 , A L ⁇ 2 , and a L ⁇ 3 may have the same high-pass characteristics.
- FIG. 8 is a schematic diagram illustrating the configuration of the nonlinear arithmetic unit 282-A.
- the non-linear operation unit 282-A includes an absolute value calculation unit 2821-A, a power operation unit 2822-A, a filter coefficient memory 2823-A, a multiplication unit 2824-A, a synthesis operation unit 2825-A, a code detection unit 2826-A, and A multiplier 2827-A is included.
- the non-linear operation unit 282 -A is an odd function sgn
- l ) is output as the nonlinear output value NL A.
- c 1 , c 2 ,..., c 1 are 1, 2,.
- the absolute value calculating unit 2821-A calculates the absolute value
- the power calculation unit 2822-A includes l ⁇ 1 multipliers 2822-A-2 to 2822-A ⁇ 1, and uses the absolute value
- Multiplier 2822-A-2 calculates absolute square value
- the multiplier 2822-A-2 outputs the calculated absolute square value
- Multipliers 2822-A-3 to 2822-A-1-1 are absolute square values
- to l-2 the absolute value calculating unit 2821-a is input from the absolute value
- the multipliers 2822-A-3 to 2822-Al-1 use the calculated absolute cube values
- the data is output to A-l and the multiplier 2824-A.
- the multiplier 2822-A-l receives the absolute l-1 power value
- the multiplier 2822-A-l outputs the calculated absolute l-th power value
- the filter coefficient memory 2823-A includes l storage elements 2823-A-1 to 2823-A-l.
- the multiplication unit 2824-A includes l multipliers 2824-A-1 to 2824-A-l.
- Multipliers 2824-A-1 ⁇ 2824- A-l the absolute value is input from the respective power calculating section 2822-A
- Multipliers 2824-A-1 to 2824-A-l output the calculated multiplication values to synthesis operation unit 2825-A, respectively.
- the synthesis calculation unit 2825-A adds the multiplication values respectively input from the multipliers 2824-A-1 to 2824-A-1 to calculate a synthesis value.
- the combination calculation unit 2825-A outputs the calculated combination value to the multiplication unit 2827-A.
- the sign detection unit 2826-A detects the sign of the signal value W indicated by the direction component signal respectively input from the linear filter unit 281-1 or the like, that is, positive / negative. When the signal value is smaller than 0, the code detection unit 2826-A outputs ⁇ 1 as a code value to the multiplication unit 2827-A. When the signal value is 0 or larger than 0, the code detection unit 2826-A outputs 1 as the code value to the multiplication unit 2827-A.
- the multiplier 2827-A multiplies the combined value input from the combining calculator 2825-A and the code value input from the code detector 2826-A to calculate the high frequency component value NL A.
- the multiplier 2827 -A outputs the calculated high frequency component value to the composition calculator 29.
- the nonlinear arithmetic unit 282-A having the above-described configuration has a relatively large circuit scale, but can adjust the output high-frequency component value using a small number of coefficients. If the coefficient values c 1 to c l ⁇ 1 other than the highest order l are 0, the configuration related to the product-sum operation of these orders may be omitted.
- the parameter output unit 30a (an example of an acquisition unit and a determination unit) acquires the operation signal output from the operation signal reception unit 16, and uses the numerical information indicated by the operation signal to indicate the strength information (sharpening processing information). As an example).
- the parameter output unit 30a determines that the sharpening level is the “strong” level when the intensity information is greater than or equal to the first threshold. If the intensity information is greater than or equal to the second threshold and less than the first threshold, it is determined that the sharpening level is the “medium” level. When the intensity information is less than the second threshold, it is determined that the sharpening level is the “weak” level.
- the parameter output unit 30 a determines a parameter K used for image processing according to the sharpening level, and outputs the parameter K to the image processing unit 20.
- the image processing unit 20 performs noise reduction and sharpening image processing using the peripheral pixels (reference pixels in the reference region of the target pixel) of the pixel to be processed (target pixel).
- the pixels in the additional image display area 152 in which an image such as black is displayed are included in the peripheral pixels.
- the result is output to the exclusion processing calculation unit 271 of the high frequency extension unit 27.
- the synthesis calculation unit 26 adds the smoothed difference value ⁇ Y (i, j) and the luminance signal Y (i, j) for the pixel of interest in the boundary vicinity region 151 a and outputs the result to the high frequency extension unit 27.
- the high frequency component value output from the exclusion processing calculation unit 271 and the luminance signal Y ′′ (i, j) are added and output. Therefore, when the sharpening intensity is equal to or greater than the first threshold, the luminance signal Z (i, j) that has not been sharpened is output.
- the synthesis calculation unit 26 adds the smoothed difference value ⁇ Y (i, j) and the luminance signal Y (i, j) for the pixel of interest in the boundary vicinity region 151 a and outputs the result to the high frequency extension unit 27.
- the sharpening process In order to make the boundary between the image display area 151 and the additional image display area 152 less visible, if the sharpening process is not uniformly performed on the boundary vicinity area 151a, the sharpened process and the sharpened process are performed. A new boundary is generated between the region and the region where no correction is made, resulting in a sense of incongruity.
- the sharpening process since the sharpening process is performed on the boundary vicinity area 151a according to the sharpening strength, the sharpening process is not uniformly performed on the boundary vicinity area 151a. Compared with, noise generated by the sharpening process can be reduced.
- FIG. 9 is a block diagram illustrating a configuration example of the display device according to the present embodiment.
- the display device 1B is different from the first embodiment in that it includes a parameter output unit 30b and a display unit 15b.
- FIG. 10 is a block diagram illustrating an image processing unit 20 similar to that of the first embodiment and a parameter output unit 30b according to the present embodiment.
- the parameter K is input from the parameter output unit 30b to the exclusion processing calculation unit 271 of the high-frequency extension unit 27 of the image processing unit 20.
- an operation signal is input to the image processing unit 20 and image processing is performed according to the sharpening intensity indicated by the operation signal.
- an operation signal indicating additional image information is image processing. It is configured not to be input to the unit 20.
- the image processing unit 20 and the parameter output unit 30b are an example of an image processing apparatus.
- the parameter output unit 30b acquires additional image information (an example of sharpening processing information) from the operation signal output from the operation signal reception unit 16. That is, for example, in the case of an operation signal indicating display of an additional image such as a menu screen, additional image information indicating that the additional image is displayed is acquired. In the case of an operation signal indicating that the display of the additional image is to be canceled, additional image information indicating that the additional image is not displayed is acquired.
- Additional images such as menu screens and program information may be displayed across the boundary vicinity area 151a and other areas.
- image processing is not performed on the boundary vicinity region 151a, the portion of the boundary vicinity region 151a in the additional image is not sharpened, and the other portions are sharpened. As a result, the visibility of the portion near the boundary 151a of the additional image is lowered, giving a sense of incongruity. Therefore, when an additional image is displayed, image processing is performed on the pixels in the boundary vicinity area 151a as well as the pixels in other areas.
- image processing is performed on the boundary vicinity area 151a, the boundary between the image display area 151 and the additional image display area 152 appears significantly. Therefore, when no additional image is displayed, image processing is not performed on the pixels in the boundary vicinity area 151a.
- the display unit 15b acquires an operation signal from the operation signal receiving unit 16.
- the display unit 15b acquires an operation signal instructing to display the additional image
- the display unit 15b generates an OSD signal indicating the additional image corresponding to the operation signal, and adds the OSD to the image signal output from the image format conversion unit 14.
- An OSD generation unit that superimposes the signal and outputs it to the display is included.
- the image processing on the boundary vicinity area 151a is not uniformly performed in order to make it difficult to see the boundary between the image display area 151 and the additional image display area 152.
- a boundary between the sharpened portion and the non-sharpened portion occurs in the display portion of the additional image.
- a sharpening process is performed on the boundary vicinity area 151a. Therefore, noise generated in the display portion of the additional image is reduced as compared with the case where the image processing is not uniformly performed on the boundary vicinity region 151a.
- FIG. 11 is a block diagram illustrating a configuration example of the display device according to the present embodiment.
- the display device 1C is different from the second embodiment in that it includes a parameter output unit 30c.
- FIG. 12 is a block diagram showing an image processing unit 20 similar to that in the first embodiment and the second embodiment, and a parameter output unit 30c according to the present embodiment.
- the parameter K is input from the parameter output unit 30 c to the exclusion processing calculation unit 271 in the high-frequency extension unit 27 of the image processing unit 20.
- the image processing unit 20 and the parameter output unit 30c are an example of an image processing apparatus.
- a different part from 1st Embodiment and 2nd Embodiment is demonstrated.
- the parameter output unit 30c (an example of an acquisition unit and a determination unit) acquires an operation signal from the operation signal reception unit 16, and acquires intensity information and additional image information from the operation signal in the same manner as in the first and second embodiments. To do.
- the sharpening level is “medium” or “weak”
- the boundary between the image display area 151 and the additional image display area 152 is higher than that when the additional image is displayed, regardless of whether or not the additional image is displayed. It is hard to be done. Therefore, in this case, similar to the first embodiment, the same image processing as that of other regions is performed on the pixels in the boundary vicinity region 151a (first determination processing).
- the sharpening level is the “strong” level
- the boundary between the image display area 151 and the additional image display area 152 is easily seen compared to the case of the “medium” or “weak” level. It is conceivable that image processing is not performed on the boundary vicinity area 151a.
- the image processing target area image display area 151, additional image display area 152 is displayed. There is a possibility that a boundary is generated between the boundary area 151a and the boundary vicinity area 151a.
- the boundary between the image display area 151 and the additional image display area 152 is visually recognized, priority is given to the visibility of the additional image, and when displaying the additional image, the boundary vicinity area 151a. Is subjected to the same image processing as other areas.
- the boundary between the image display area 151 and the additional image display area 152 is hardly visible.
- the display portion of the additional image may be uncomfortable.
- sharpening processing is performed on the boundary vicinity area 151a according to whether or not an additional image is displayed, it is effective in that the display portion of the additional image does not feel uncomfortable.
- the boundary between the image display area 151 and the additional image display area 152 may be easily visible.
- the boundary portion between the image display area 151 and the additional image display area 152 is hardly visible, and it is possible to prevent the display portion of the additional image from feeling uncomfortable.
- the parameter K that indicates that image processing is not performed for each pixel in the boundary vicinity area 151a.
- 0 is set, it may be configured as follows. For example, the pixels in the boundary vicinity area 151a approach the sharpening level of the image processing target area as the area near the boundary processing area 151a approaches the image processing target area (the image display area 151 and the additional image display area 152).
- the parameter K may be different.
- 13A and 13B are conceptual diagrams showing an example of a change in the parameter K according to the position of the pixel in the boundary vicinity area 151a in the present modification.
- the range of A on the horizontal axis corresponds to the image display area 151
- the range of B corresponds to the boundary vicinity area 151a
- the range of C corresponds to the additional image display area 152.
- the parameter K at the position b1 of the substantially central pixel in B is set to 0, and the parameter that monotonously increases so that the parameter K becomes 1 as the pixel position approaches A and C. Is set.
- a pixel located approximately in the middle between the boundary with the image display area 151 and the boundary with the additional image display area 152 (hereinafter referred to as a central vicinity pixel).
- the sharpening level approaches the sharpening level of the image display area 151 and the additional image display area 152 as it approaches the image display area 151 and the additional image display area 152.
- sharpening processing according to the pixel position is performed.
- a parameter K 1 indicating that image processing is performed for each pixel in the boundary vicinity region 151a is set.
- the parameter K of the pixel in the boundary vicinity area 151a may be varied so that the sharpening level decreases as it approaches the additional image display area 152 (second determination process).
- FIGS. 14A and 14B are conceptual diagrams showing changes in the parameter K according to the position of the pixel in the boundary vicinity region 151a in the present modification.
- the range of A on the horizontal axis corresponds to the image display area 151
- the range of B corresponds to the boundary vicinity area 151a
- the range of C corresponds to the additional image display area 152.
- the parameter K is set to 1 in B between the pixel position b0 at the boundary with A and the pixel position b1 near the center.
- the parameter K of the pixel in the boundary vicinity area 151a may be varied so as to approach (4th determination process).
- the parameter K may be varied (second determination process).
- the intensity information corresponding to the sharpening level “strong” level is acquired, and additional image information indicating that the additional image is not displayed is acquired, or the additional image is displayed.
- the parameter K 0 indicating that the image processing is not performed for each pixel in the boundary vicinity area 151a is set, but the following may be performed.
- the sharpening level of these regions becomes closer to the target region (the image display region 151 and the additional image display region 152) of the image processing from the boundary vicinity region 151a.
- the parameter K of the pixel in the boundary vicinity area 151a may be varied so as to approach (4th determination process).
- the parameter output units 30b and 30c have described the example of acquiring the additional image information by the operation signal.
- the image signal includes additional image data indicating subtitles and OSD.
- the additional image information may be acquired from the image signal.
- the image signal is a digital signal encoded by MPEG (Moving Picture Experts Group) -2 or the like
- the parameter output units 30b and 30c may use the packet identifier (PID) of the TS packet of the TS (Transport Stream) in the image signal. (Packet Identifier)) may be acquired as additional image information.
- PID is information for identifying data transmitted by each TS packet.
- the parameter output units 30b and 30c can determine whether or not to display an additional image depending on whether or not a PID indicating a caption is included.
- a detection unit having an image detection algorithm for detecting a position where characters such as captions are included in the input signal is provided in the preceding stage of the input unit 11, and the detection result by the detection unit May be output to the parameter output unit.
- the present invention can be used industrially as an image processing device mounted on a display device that displays an image of content such as a television broadcast.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
画像に対して鮮鋭化処理を行う際に、コンテンツ画像の表示領域と字幕やOSD等の付加画像の表示領域との境界近傍におけるノイズを低減すること。画像処理装置は、画像処理部において、コンテンツ画像の画像データを含む入力信号における各画素値に対し、入力されるパラメータを用いて鮮鋭化処理を行う。また、画像処理装置は、パラメータ出力部において、表示領域におけるコンテンツ画像が表示される領域と、字幕やOSD等の付加画像が表示される領域との境界を含む予め定められた特定領域において、コンテンツ画像に付加画像を付加して表示するか否かを示す付加画像情報と、鮮鋭化処理の強度を示す強度情報の少なくとも一方を鮮鋭化処理情報として取得し、鮮鋭化処理情報に基づいて、特定領域の画素に対するパラメータを決定して画像処理部に出力する。
Description
本発明は、画像処理装置に関し、特に、鮮鋭化処理の技術に関する。
特開2010-152518号公報には、顔画像領域等の特定色領域に対する鮮鋭化処理を他の領域より低減化させることで、風景等の画像を顔画像領域よりも鮮鋭化し、人物の顔等については自然な画像となるように鮮鋭化処理を行う技術が開示されている。この技術は、特定色領域に対するシャープネス処理のパラメータを特定色領域以外の領域について設定されているレベルより低くしてシャープネス処理を行う。
ところで、字幕画像やOSD(On Screen Display)等の画像は、映画や番組等のコンテンツの画像(以下、コンテンツ画像)に付加されて表示される。コンテンツ画像に付加される付加画像は、表示領域内の予め定められた領域に表示される。対象画素の周辺画素の画素値を用いて画素単位に鮮鋭化処理を行う場合、付加画像の表示領域とコンテンツ画像の表示領域との境界部分にノイズが生じることがある。
例えば、字幕の表示領域には黒帯等の画像が表示される。そのため、コンテンツ画像の表示領域と黒帯部分の表示領域との境界近傍の画素については、鮮鋭化処理に用いられる周辺画素に黒帯部分の画素が含まれる。その結果、コンテンツ画像の表示領域と同様に境界近傍の画素について鮮鋭化処理を行うと、境界近傍とその他の領域の画素に対する周辺画素の画素データの違いから、境界部分が視認されやすくなる等のノイズが発生する。このようなノイズは、鮮鋭化の強度が高くなるほど顕著に表れる。境界部分のノイズを抑制するために境界部分について鮮鋭化処理を行わないようにすることが考えられる。しかしながら、境界部分の表示領域とその他の表示領域とに跨って字幕が表示される場合、境界部分に鮮鋭化処理を行わなければ、字幕画像において鮮鋭化された部分と鮮鋭化されていない部分とが混在し、字幕画像の視認性を低下させたり、違和感を生じさせたりする。
本発明は、画像に対して鮮鋭化処理を行う際に、コンテンツ画像の表示領域と字幕やOSD等の付加画像の表示領域との境界近傍におけるノイズを低減する技術を提供することを目的とする。
第1の発明に係る画像処理装置は、表示領域に表示すべき画像データを含む入力信号における各画素の信号値に対し、入力されるパラメータを用いて鮮鋭化処理を行う画像処理部と、前記表示領域のうち、前記画像データの画像が表示される領域と前記画像に付加される付加画像が表示される領域との境界を含む予め定められた特定領域において、前記画像データの画像に付加される付加画像を表示するか否かを示す付加画像情報と、前記鮮鋭化処理における鮮鋭化の強度を表す強度情報の少なくとも一方を鮮鋭化処理情報として取得する取得部と、前記取得部で取得された前記鮮鋭化処理情報に基づいて、前記特定領域の画素に対する前記パラメータを決定し、前記画像処理部に出力する決定部と、を備える。
第2の発明は、第1の発明において、前記決定部は、前記鮮鋭化処理情報に前記強度情報が含まれる場合、前記強度情報が示す前記強度が閾値以上であるときには、前記特定領域に対して前記鮮鋭化処理を行わないことを示す前記パラメータを決定し、前記強度が前記閾値より小さいときには、前記特定領域に対して前記鮮鋭化処理を行うことを示す前記パラメータを決定する。
第3の発明は、第1の発明において、前記決定部は、前記鮮鋭化処理情報に前記付加画像を表示する旨の前記付加画像情報が含まれる場合には、第1決定処理と第2決定処理のいずれか一方を行い、前記鮮鋭化処理情報に前記付加画像を表示しない旨の前記付加画像情報が含まれる場合には、第3決定処理と第4決定処理のいずれか一方を行い、前記第1決定処理は、前記特定領域の各画素に対し、前記特定領域の鮮鋭化のレベルが、他の領域における鮮鋭化のレベルと共通するように前記パラメータを決定する処理であり、前記第2決定処理は、前記特定領域から前記付加画像が表示される領域に近づくほど鮮鋭化のレベルが小さくなるように、前記特定領域の画素に対して異なる前記パラメータを決定する処理であり、前記第3決定処理は、前記特定領域の各画素に対して前記鮮鋭化処理を行わないことを示す前記パラメータを決定する処理であり、前記第4決定処理は、前記特定領域から前記他の領域に近づくほど、前記特定領域の鮮鋭化のレベルが前記他の領域における鮮鋭化のレベルに近づくように、前記特定領域の画素に対して異なる前記パラメータを決定する処理である。
第4の発明は、第2の発明において、前記決定部は、前記強度が前記閾値以上である場合において、前記鮮鋭化処理情報に、さらに前記付加画像を表示する旨の前記付加画像情報が含まれるとき、第1決定処理と第2決定処理のいずれか一方を行い、前記鮮鋭化処理情報に、さらに前記付加画像を表示しない旨の前記付加画像情報が含まれるとき、第3決定処理と第4決定処理のいずれか一方を行い、前記第1決定処理は、前記特定領域の鮮鋭化のレベルが、他の領域における鮮鋭化のレベルと共通するように前記パラメータを決定する処理であり、前記第2決定処理は、前記特定領域から前記付加画像が表示される領域に近づくほど鮮鋭化のレベルが小さくなるように、前記特定領域の画素に対して異なる前記パラメータを決定する処理であり、前記第3決定処理は、前記特定領域の各画素に対して前記鮮鋭化処理を行わないことを示す前記パラメータを決定する処理であり、前記第4決定処理は、前記特定領域から前記他の領域に近づくほど、前記特定領域の鮮鋭化のレベルが前記他の領域における鮮鋭化のレベルに近づくように、前記特定領域の画素に対して異なる前記パラメータを決定する処理である。
第5の発明は、第1から第4のいずれかの発明において、前記入力信号は、前記付加画像を示す付加画像データを含み、前記取得部は、前記入力信号に前記付加画像データが含まれているか否か判断することにより前記付加画像情報を取得する。
本発明の構成によれば、画像に対して鮮鋭化処理を行う際に、コンテンツ画像の表示領域と字幕やOSD等の付加画像の表示領域との境界近傍におけるノイズを低減することができる。
本発明の一実施形態に係る画像処理装置は、表示領域に表示すべき画像データを含む入力信号における各画素の信号値に対し、入力されるパラメータを用いて鮮鋭化処理を行う画像処理部と、前記表示領域のうち、前記画像データの画像が表示される領域と前記画像に付加される付加画像が表示される領域との境界を含む予め定められた特定領域において、前記画像データの画像に付加される付加画像を表示するか否かを示す付加画像情報と、前記鮮鋭化処理における鮮鋭化の強度を表す強度情報の少なくとも一方を鮮鋭化処理情報として取得する取得部と、前記取得部で取得された前記鮮鋭化処理情報に基づいて、前記特定領域の画素に対する前記パラメータを決定し、前記画像処理部に出力する決定部と、を備える(第1の構成)。
第1の構成によれば、鮮鋭化の強度や付加画像の表示の有無を示す鮮鋭化処理情報に応じて特定領域に対し鮮鋭化処理がなされる。そのため、鮮鋭化の強度や付加画像の表示の有無に関わらず、特定領域に対して鮮鋭化処理を行わない場合と比べ、特定領域に生じるノイズを低減させることができる。
第2の構成は、第1の構成において、前記決定部は、前記鮮鋭化処理情報に前記強度情報が含まれる場合、前記強度情報が示す前記強度が閾値以上であるときには、前記特定領域に対して前記鮮鋭化処理を行わないことを示す前記パラメータを決定し、前記強度が前記閾値より小さいときには、前記特定領域に対して前記鮮鋭化処理を行うことを示す前記パラメータを決定することとしてもよい。
第2の構成によれば、鮮鋭化の強度に応じたパラメータを用いて特定領域に鮮鋭化処理を行うことができるので、コンテンツ画像の表示領域と付加画像の表示領域との境界部分を視認されにくくすることができる。
第3の構成は、第1の構成において、前記決定部は、前記鮮鋭化処理情報に前記付加画像を表示する旨の前記付加画像情報が含まれる場合には、第1決定処理と第2決定処理のいずれか一方を行い、前記鮮鋭化処理情報に前記付加画像を表示しない旨の前記付加画像情報が含まれる場合には、第3決定処理と第4決定処理のいずれか一方を行い、前記第1決定処理は、前記特定領域の各画素に対し、前記特定領域の鮮鋭化のレベルが、他の領域における鮮鋭化のレベルと共通するように前記パラメータを決定する処理であり、前記第2決定処理は、前記特定領域から前記付加画像が表示される領域に近づくほど鮮鋭化のレベルが小さくなるように、前記特定領域の画素に対して異なる前記パラメータを決定する処理であり、前記第3決定処理は、前記特定領域の各画素に対して前記鮮鋭化処理を行わないことを示す前記パラメータを決定する処理であり、前記第4決定処理は、前記特定領域から前記他の領域に近づくほど、前記特定領域の鮮鋭化のレベルが前記他の領域における鮮鋭化のレベルに近づくように、前記特定領域の画素に対して異なる前記パラメータを決定する処理であることとしてもよい。
第3の構成によれば、特定領域に付加画像が表示されるか否かに応じたパラメータを用いて特定領域に鮮鋭化処理を行うことができるので、特定領域に表示される付加画像の視認性を向上させることができる。
第4の構成は、第2の構成において、前記決定部は、前記強度が前記閾値以上である場合において、前記鮮鋭化処理情報に、さらに前記付加画像を表示する旨の前記付加画像情報が含まれるとき、第1決定処理と第2決定処理のいずれか一方を行い、前記鮮鋭化処理情報に、さらに前記付加画像を表示しない旨の前記付加画像情報が含まれるとき、第3決定処理と第4決定処理のいずれか一方を行い、前記第1決定処理は、前記特定領域の鮮鋭化のレベルが、他の領域における鮮鋭化のレベルと共通するように前記パラメータを決定する処理であり、前記第2決定処理は、前記特定領域から前記付加画像が表示される領域に近づくほど鮮鋭化のレベルが小さくなるように、前記特定領域の画素に対して異なる前記パラメータを決定する処理であり、前記第3決定処理は、前記特定領域の各画素に対して前記鮮鋭化処理を行わないことを示す前記パラメータを決定する処理であり、前記第4決定処理は、前記特定領域から前記他の領域に近づくほど、前記特定領域の鮮鋭化のレベルが前記他の領域における鮮鋭化のレベルに近づくように、前記特定領域の画素に対して異なる前記パラメータを決定する処理であることとしてもよい。
第4の構成によれば、鮮鋭化の強度と付加画像の表示の有無とに応じたパラメータを用いて特定領域に鮮鋭化処理を行うことができるので、コンテンツ画像の表示領域と付加画像の表示領域との境界部分を視認されにくくすることができるとともに、付加画像の視認性を向上させることができる。
第5の構成は、第1から第4のいずれかの構成において、前記入力信号は、前記付加画像を示す付加画像データを含み、前記取得部は、前記入力信号に前記付加画像データが含まれているか否か判断することにより前記付加画像情報を取得することとしてもよい。
以下、図面を参照し、本発明の実施の形態を詳しく説明する。図中同一又は相当部分には同一符号を付してその説明は繰り返さない。
<第1実施形態>
(概要)
本実施形態では、表示装置に入力される画像信号における画素値に対して鮮鋭化処理を行う際、ユーザによって指示された鮮鋭化の強度に基づいて鮮鋭化処理を行う。本実施形態では、表示領域のうち、コンテンツ画像に付加して表示される字幕やOSD等の付加画像を表示する領域(以下、付加画像用表示領域)と、コンテンツ画像が表示される領域(以下、画像用表示領域)の境界付近に位置する画素に対する鮮鋭化処理を、指示された鮮鋭化の強度に応じて行う。以下、本実施形態の詳細について説明する。
(概要)
本実施形態では、表示装置に入力される画像信号における画素値に対して鮮鋭化処理を行う際、ユーザによって指示された鮮鋭化の強度に基づいて鮮鋭化処理を行う。本実施形態では、表示領域のうち、コンテンツ画像に付加して表示される字幕やOSD等の付加画像を表示する領域(以下、付加画像用表示領域)と、コンテンツ画像が表示される領域(以下、画像用表示領域)の境界付近に位置する画素に対する鮮鋭化処理を、指示された鮮鋭化の強度に応じて行う。以下、本実施形態の詳細について説明する。
(構成)
図1は、本実施形態に係る画像処理装置を含む表示装置の概略構成を示すブロック図である。図1に示すように、表示装置1Aは、アンテナ10に接続され、入力部11、Y/C(輝度信号/色差信号)分離部12、スケーリング部13、画像形式変換部14、表示部15、操作信号受信部16、画像処理部20、及びパラメータ出力部30aを含む。本実施形態において、画像処理部20及びパラメータ出力部30aは、画像処理装置の一例である。
図1は、本実施形態に係る画像処理装置を含む表示装置の概略構成を示すブロック図である。図1に示すように、表示装置1Aは、アンテナ10に接続され、入力部11、Y/C(輝度信号/色差信号)分離部12、スケーリング部13、画像形式変換部14、表示部15、操作信号受信部16、画像処理部20、及びパラメータ出力部30aを含む。本実施形態において、画像処理部20及びパラメータ出力部30aは、画像処理装置の一例である。
アンテナ10は、例えば、テレビジョン放送に係る電波として高周波信号を受信し、受信した高周波信号を表示装置1Aに出力する。入力部11には、アンテナ10を介して高周波信号が入力される。入力部11は、例えば、アンテナ10から入力された高周波信号から、指定されたチャネルに係る変調信号を抽出し、抽出した変調信号を基底周波数帯域の変調信号に変換する。入力部11は、変換した変調信号をY/C分離部12に出力する。
Y/C分離部12は、入力部11から入力された変調信号を復調して画像信号を生成し、生成した画像信号からアナログの輝度信号Y、色差信号Cb及び色差信号Crに分離する。Y/C分離部12は、分離したそれぞれの信号を、予め定めたサンプリング周波数でアナログ信号からデジタル信号に変換する。Y/C分離部12は、変換したデジタルの輝度信号Y、色差信号Cb及び色差信号Crを含む画像信号をスケーリング部13に出力する。
スケーリング部13は、Y/C分離部12から入力された画像信号の解像度(画素数)が、表示部15の解像度と異なる場合には、表示部15の解像度と等しくなるように、入力された画像信号の解像度を調整(スケーリング)する。入力された画像の解像度よりも表示部15の解像度の方が大きい場合には、スケーリング部13は、入力された画像信号に対して補間を行う。入力された画像の解像度よりも表示部15の解像度の方が小さい場合には、スケーリング部13は、入力された画像信号に対してダウンサンプリングを行う。スケーリング部13は、補間又はダウンサンプリングのための方式として、例えばバイキュービック(bicubic)法、バイリニア(bilinear)法、等の方式を用いる。スケーリング部13は、解像度を調整した画像信号を画像処理部20に出力する。入力された画像信号の解像度と表示部15の解像度が等しい場合には、入力された画像信号を画像処理部20に出力する。なお、以下の説明では、表示部15の水平方向(又は垂直方向)の画素数の、入力された画像信号の水平方向(又は垂直方向)の画素数に対する比を拡大率と呼ぶ。例えば、入力された画像信号の解像度が水平方向640画素、垂直方向360画素であり、表示部15の解像度が水平方向1920画素、垂直方向1080画素である場合には、拡大率は3である。
画像形式変換部14は、後述の画像処理部20から入力された画像信号の形式を変換する。画像形式変換部14は、入力された画像信号がインターレース(interlace)信号である場合、その画像信号をプログレッシブ(progressive)信号に形式を変換する。インターレース信号とは、画素に対する水平方向への走査を1列おきに行って構成された信号であって、走査対象の列がフレーム毎に異なる信号である。プログレッシブ信号とは、画素に対する水平方向への走査を列毎に行って構成された信号である。画像形式変換部14は、入力された画像信号又は形式を変換した画像信号を表示部15に応じた表色系で表された画像信号(例えば、RGB信号、赤(R)、緑(G)、青(B)の各色の信号値を含む画像信号)に変換し、変換した画像信号を表示部15に出力する。
表示部15は、液晶パネル等の表示パネルを備えるディスプレイを含む。表示部15は、画像形式変換部14から入力された画像信号が表す画像を表示する。図2は、表示部15の表示領域を示す模式図である。表示領域150は、画像用表示領域151と付加画像用表示領域152とで構成されている。付加画像用表示領域152は、黒色等の画像が表示される、いわゆる、黒帯領域である。画像用表示領域151のうち、付加画像用表示領域152との境界を含む、予め定められた範囲の領域151aには、画像や付加画像が表示される。以下、この領域151aを境界近傍領域151aと称する。なお、本実施形態では、表示領域150の上下左右端を付加画像用表示領域152としているが、上下端又は左右端のいずれかを付加画像用表示領域152としてもよいし、表示領域150のうちの一部の領域を付加画像用表示領域152としてもよい。
図1に戻り、説明を続ける。操作信号受信部16は、赤外線受光部を有し、後述の操作部17から出力される操作信号を受信する。操作信号受信部16は、操作信号がチャネルの設定を指示する操作信号の場合には、その操作信号を入力部11に出力し、鮮鋭化の強度の設定や付加画像の表示を指示する操作信号の場合には、その操作信号をパラメータ出力部30aに出力する。
操作部17は、例えば、数字、文字、及び方向キー等を有するリモコン等を含む。操作部17は、ユーザによる操作、例えば、チャネルの設定、鮮鋭化の強度の設定、メニュー画面等の付加画像の表示等を指示する操作を受け付ける。操作部17は、指示された操作を示す操作信号を赤外線により送信する。本実施形態において、鮮鋭化の強度は、例えば予め定められた範囲の数値が選択可能となっている。ユーザは、所望する鮮鋭化の強度をリモコン操作により指定する。
画像処理部20は、画像信号における各画素値に対して画像処理を行う。画像処理部20は、後述のパラメータ出力部30aから出力されるパラメータを用い、スケーリング部13から入力された画像信号のうち輝度信号Yについてノイズの低減及び鮮鋭化処理を行い、ノイズが低減され鮮鋭化された画像を示す輝度信号Zを生成する。画像処理部20は、スケーリング部13から入力された輝度信号Yを、生成した輝度信号Zに更新し、色差信号Cb、Crと同期をとる。画像処理部20は、輝度信号Z及び色差信号Cb、Crを含んだ画像信号を画像形式変換部14に出力する。
画像処理部20は、画素単位に上記画像処理を行うものであればよく、以下では、その一構成例について説明する。図3は、本実施形態における画像処理部20の一構成例を示すブロック図である。画像処理部20は、輪郭方向検出部21、低域フィルタ部20a及び高周波拡張部27を含む。
輪郭方向検出部21は、画素毎の信号値(輝度値)に基づいて輪郭方向を画素毎に推定する。低域フィルタ部20aは、各画素の輪郭方向に配列された参照画素であって、各画素から予め定めた参照領域内における参照画素毎の信号値を用いて各画素の信号値をフィルタリングする。高周波拡張部27は、低域フィルタ部20aがフィルタリングした各画素の信号値の高周波成分を生成して画素毎の信号値の周波数帯域を拡張する。以下、各部の詳細について説明する。
(輪郭方向検出部21)
輪郭方向検出部21は、スケーリング部13から入力された輝度信号Yが表す画素毎の信号値に基づいて輪郭方向を画素毎に推定する。輪郭方向とは、輪郭をなす線の法線に直交する方向、つまり輪郭をなす線の接線方向である。輪郭をなす線は、信号値が略一定となる空間を示す線を指し、曲線であっても直線であってもよい。従って、輪郭とは位置の変化に応じて信号値が急激に変化する領域には限られない。輪郭をなす線と信号値との間の関係は、等高線と標高の間の関係に相当する。各画素の位置は離散的に与えられたり、ジャギー、ドット妨害、モスキートノイズ等、本発明で改善対象とする輪郭周辺のノイズの影響を受けていたりするため、一定の信号値をとる画素間を通る線を、輪郭をなす線として、輪郭方向を定めることはできないことがある。ここでは、信号値が画素毎の座標を表す空間において微分可能(即ち、連続)であると仮定する。輪郭方向検出部21は、画素毎に信号値の水平方向もしくは垂直方向の差分値に基づいて、例えば、以下の式(1)に基づいて輪郭方向θを算出する。
輪郭方向検出部21は、スケーリング部13から入力された輝度信号Yが表す画素毎の信号値に基づいて輪郭方向を画素毎に推定する。輪郭方向とは、輪郭をなす線の法線に直交する方向、つまり輪郭をなす線の接線方向である。輪郭をなす線は、信号値が略一定となる空間を示す線を指し、曲線であっても直線であってもよい。従って、輪郭とは位置の変化に応じて信号値が急激に変化する領域には限られない。輪郭をなす線と信号値との間の関係は、等高線と標高の間の関係に相当する。各画素の位置は離散的に与えられたり、ジャギー、ドット妨害、モスキートノイズ等、本発明で改善対象とする輪郭周辺のノイズの影響を受けていたりするため、一定の信号値をとる画素間を通る線を、輪郭をなす線として、輪郭方向を定めることはできないことがある。ここでは、信号値が画素毎の座標を表す空間において微分可能(即ち、連続)であると仮定する。輪郭方向検出部21は、画素毎に信号値の水平方向もしくは垂直方向の差分値に基づいて、例えば、以下の式(1)に基づいて輪郭方向θを算出する。
式(1)において、輪郭方向θは、水平方向(x方向)を基準とした左回りの角度である。x、yは、それぞれ水平方向、垂直方向の座標である。Y(x,y)は、座標(x,y)における信号値である。即ち、輪郭方向θは、信号値Y(x,y)のx方向への偏微分を、信号値Y(x,y)のy方向への偏微分で除算した正接値を与える角度として算出される。式(1)は、座標(x,y)が異なっても信号値Y(x,y)が一定という関係から導き出すことができる。ここで、Gx(x,y)、Gy(x,y)は、それぞれ信号値Y(x,y)のx方向への偏微分、y方向への偏微分を表す。以下の説明では、Gx(x,y)、Gy(x,y)を、それぞれx方向偏微分、y方向偏微分と呼ぶことがある。以下の説明では特に断らない限り、画素(i,j)の位置(座標)は、その画素の重心点を指す。また、その画素の位置における変数aを、a(i,j)等と表す。
輪郭方向検出部21は、例えば、それぞれ以下の式(2)、(3)を用いて各画素(i,j)における信号値Y(i,j)のx方向偏微分Gx(i,j)、y方向偏微分Gy(i,j)を算出する。
式(2)、(3)において、i、jは、それぞれ注目画素のx方向、y方向のインデックスを示す整数値である。注目画素とは、直接の処理対象として注目される画素である。Wx(u’,v’)、Wy(u’,v’)は、それぞれx方向、y方向の差分フィルタのフィルタ係数を示す。u、vは、それぞれ、参照画素のx方向、y方向のインデックスを示す整数値である。参照画素とは、注目画素を基準にして、予め定められた規則により決まる範囲内にある画素であって、注目画素に対する処理を行う際に参照される画素である。参照画素は、注目画素を含む。u’、v’は、それぞれ、注目画素を原点としたときの参照画素のx方向、y方向のインデックスを示す整数値である。従って、u=i+u’、v=j+v’である。
前述の差分フィルタは、例えば、x方向に2n+1個、y方向に2n+1個(計(2n+1)(2n+1)個)の参照画素の各々u’,v’に対してフィルタ係数Wx(u’,v’)、Wy(u’,v’)を有する。以下の説明では、このフィルタ係数が与えられる参照画素が属する領域を参照領域と呼ぶことがある。nは、1よりも大きい整数値(例えば、2)である。ここで、フィルタ係数Wx(u’,v’)、Wy(u’,v’)は、注目画素を基準として正方向の参照画素に対して1、注目画素と同一の差分方向(x方向)の座標値を有する参照画素に対して0、注目画素を基準として負方向の参照画素に対して-1である。即ち、x方向の差分フィルタのフィルタ係数Wx(u’,v’)は、1(0<u’≦n)、0(u’=0)、-1(0>u’≧-n)である。y方向の差分フィルタのフィルタ係数Wy(u’,v’)は、1(0<v’≦n)、0(v’=0)、-1(0>v’≧-n)である。また、nは、画像の拡大率と等しいか、その拡大率よりも大きい整数値である。
これにより、注目画素に対して正方向、負方向各々に対して、信号値が平滑化されるため解像度の変化によって発生するノイズを低減することができる。但し、nを大きくとり、注目画素から離れた参照画素を考慮すると、本来、局所的な値である偏微分値が正しく算出されないことがある。従って、nを、予め定めた最大値よりも小さい値、例えば、拡大率と等しい整数値もしくは拡大率の小数点以下の桁を切り上げた整数値、又はこれらの整数値の何れかよりも予め定めた値だけ大きい値と定めておく。
輪郭方向検出部21は、算出したx方向偏微分Gx(i,j)、y方向偏微分Gy(i,j)に基づいて算出した輪郭方向θ(i,j)を量子化し、量子化した輪郭方向を表す量子化輪郭方向D(i,j)を算出する。輪郭方向検出部21は、量子化輪郭方向D(i,j)を算出する際、例えば、以下の式(4)を用いる。
式(4)において、round(…)は、実数…の小数点以下の桁を四捨五入した整数値を与える丸め関数である。Ndは、量子化された輪郭方向の数(量子化輪郭方向数)を表す定数である。量子化輪郭方向数Ndは、例えば、8から32の間のいずれかの値である。なお、ゼロ除算を回避するために、x方向偏微分Gx(i,j)の絶対値|Gx(i,j)|が予め定めた微小な実数値(例えば、10-6)よりも小さい場合には、tan-1をπ/2とする。つまり、量子化輪郭方向D(i,j)は、輪郭方向θを、量子化間隔をπ/Ndで除算した値を丸め、0からNd-1までのいずれかの整数で表される。これにより、輪郭方向θの自由度を制約して、後述する処理の負荷を低減する。輪郭方向検出部21は、算出した量子化輪郭方向D(i,j)を表す量子化輪郭方向情報を方向評価部22及び参照領域荷重処理部23に出力する。
(低域フィルタ部20a)
低域フィルタ部20aは、方向評価部22、参照領域荷重処理部23、前処理部24、積和演算部25及び合成演算部26を含む。
低域フィルタ部20aは、方向評価部22、参照領域荷重処理部23、前処理部24、積和演算部25及び合成演算部26を含む。
方向評価部22は、輪郭方向検出部21から入力された量子化輪郭方向情報が表す画素毎の量子化輪郭方向に基づいて、注目画素毎にその注目画素を中心とする参照領域に属する各参照画素の方向評価値を算出する。ここで、方向評価部22は、注目画素(i,j)の量子化輪郭方向D(i,j)と参照画素(u,v)の量子化輪郭方向D(u,v)との差が小さいほど、方向評価値が大きくなるように当該参照画素の方向評価値を定める。例えば、方向評価部22は、注目画素(i,j)に対する量子化輪郭方向D(i,j)と参照画素(u,v)に対する量子化輪郭方向D(u,v)の差分値ΔD=D(u,v)-D(i,j)を算出する。ここで差分値ΔDが0、つまりD(u,v)とD(i,j)が等しいとき、方向評価値F(|ΔD|)を最大値1と定める。差分値ΔDが0ではない場合、つまりD(u,v)とD(i,j)が等しくない場合に、方向評価値F(|ΔD|)を最小値0と定める。
方向評価部22は、注目画素(i,j)に対する量子化輪郭方向D(i,j)が参照画素(u,v)に対する量子化輪郭方向D(u,v)に近似するほど、つまり差分値ΔDの絶対値|ΔD|が小さいほど、大きくなるように方向評価値F(ΔD)を定めてもよい。例えば、方向評価部22は、F(0)=1、F(1)=0.75、F(2)=0.5、F(3)=0.25、F(|ΔD|)=0(|ΔD|>3)とする。
量子化輪郭方向D(i,j)と量子化輪郭方向D(u,v)のうちいずれか一方が、Nd/2よりも大きく、他方がNd/2よりも小さい場合、それぞれが示す輪郭方向が近似するにも関わらず、絶対値|ΔD|が大きくなるために、誤った方向評価値F(ΔD)が算出されることがある。例えば、D(i,j)=7、D(u,v)=0の場合、|ΔD|=7となる。しかし、量子化輪郭方向の差分はπ/8であり、本来は|ΔD|=1と定められるべきである。そこで、方向評価部22は、量子化輪郭方向D(i,j)と量子化輪郭方向D(u,v)のうちいずれか一方が、Nd/2よりも大きい場合、他方の量子化輪郭方向の値にNdを加算して補正値を算出する。方向評価部22は、算出した補正値と一方の量子化輪郭方向との差分値に対する絶対値を算出する。このようにして算出した絶対値を、上述の|ΔD|として用いることで意図した方向評価値を定める。
後述する積和演算部25において、上述の方向評価値F(|ΔD|)を用いることにより、注目画素(i,j)における輪郭方向とは、輪郭方向が異なる参照画素(u,v)による影響を無視又は軽視することができる。
方向評価部22においても、参照画素(u,v)が属する参照領域の大きさ、つまり水平方向もしくは垂直方向の画素数は、2n+1個又はこの個数よりも多ければよい。なお、方向評価部22における参照領域の大きさは、輪郭方向検出部21における参照領域の大きさと異なっていてもよい。例えば、方向評価部22における参照領域の水平方向及び垂直方向の画素数は、それぞれ7であるのに対し、輪郭方向検出部21における参照領域の水平方向及び垂直方向の画素数は、それぞれ5であってもよい。方向評価部22は、注目画素(i,j)毎に各参照画素(u,v)の方向評価値F(ΔD)を表す方向評価値情報を積和演算部25に出力する。
参照領域荷重処理部23は、輪郭方向検出部21から入力された量子化輪郭方向情報が表す画素毎の量子化輪郭方向D(i,j)に基づいて、注目画素(i,j)毎に参照領域荷重情報を定める。参照領域荷重情報とは、ある注目画素(i,j)を中心とする参照領域に属する参照画素(u’,v’)毎の重み係数R(D(i,j),u’,v’)を表す情報である。この重み係数を参照領域荷重と呼ぶことがある。参照領域荷重処理部23における参照領域の大きさは、方向評価部22における参照領域の大きさと等しくなるように予め定めておく。
参照領域荷重処理部23は、注目画素(i,j)の量子化輪郭方向D(i,j)から予め定めた範囲の方向にある参照画素の重み係数R(D(i,j),u’,v’)を、その範囲外の方向にある参照画素の重み係数よりも大きい値に定める。参照領域荷重処理部23は、例えば、注目画素(i,j)から量子化輪郭方向又はその方向に近似する方向にある参照画素(u’,v’)の重み係数R(D(i,j),u’,v’)を1と定め、それ以外の方向にある参照画素(u’,v’)の重み係数R(D(i,j),u’,v’)を0と定める。注目画素から量子化輪郭方向又はその方向に近似する方向にある参照画素とは、具体的には注目画素(i,j)の中心から量子化輪郭方向に延びる線分が、その領域を通過する参照画素(u’,v’)である。また、参照領域荷重処理部23は、この線分がその領域を通過する距離が長い参照画素(u’,v’)ほど、大きくなるように重み係数を定めるようにしてもよい。
なお、各量子化輪郭方向に対する各参照画素の重み係数を予め算出しておいてもよい。参照領域荷重処理部23は、算出しておいた各参照画素の重み係数を表す参照領域荷重情報を量子化輪郭方向情報と対応付けて予め記憶した記憶部を備える。参照領域荷重処理部23は、入力された量子化輪郭方向情報が表す量子化輪郭方向に対応する参照領域荷重情報を記憶部から読み出す。参照領域荷重処理部23は、注目画素(i,j)毎に定めた参照領域荷重情報を積和演算部25に出力する。また、参照領域荷重処理部23は、入力される操作信号が示す鮮鋭化の強度に応じて、出力対象となる参照画素の参照領域荷重情報を変えるようにしてもよい。例えば、操作信号が示す鮮鋭化の強度が第1閾値以上である場合には、注目画素の量子化輪郭方向との角度差が所定範囲内の参照画素の参照領域荷重情報を出力対象とし、鮮鋭化の強度が第1閾値未満である場合には、注目画素の量子化輪郭方向と同じ方向にある参照画素の参照領域荷重情報を出力対象とする。
前処理部24は、スケーリング部13から入力された輝度信号Yから、注目画素(i,j)毎に、その注目画素(i,j)を中心とした参照領域に属する各参照画素(u,v)の信号値Y(u,v)を表す輝度信号を抽出する。前処理部24は、抽出した輝度信号が表す参照信号の信号値Y(u,v)から注目画素の信号値Y(i,j)をそれぞれ減算し、差信号値Y(u,v)-Y(i,j)を算出する。前処理部34は、算出した差信号値を表す差信号を生成し、生成した差信号を積和演算部35に出力する。なお、前処理部24における参照領域の大きさは、方向評価部22及び参照領域荷重処理部23における参照領域の大きさと等しくなるように予め定めておく。
積和演算部25は、注目画素(i,j)毎に、方向評価部22から方向評価値情報が、参照領域荷重処理部23から参照領域荷重情報が、前処理部34から差信号がそれぞれ入力される。積和演算部25は、差信号が表す差信号値Y(u,v)-Y(i,j)に対して、方向評価値情報が表す方向評価値F(|ΔD|)、参照領域荷重情報が表す参照領域荷重R(D(i,j),u’,v’)を積和演算して、平滑化差分値ΔY(i,j)を算出する。積和演算部35は、平滑化差分値ΔY(i,j)を算出する際、例えば、以下の式(5)を用いる。
式(5)は、方向評価値F(|ΔD|)、参照領域荷重R(D(i,j),u’,v’)及び差信号が表す差信号値Y(u,v)-Y(i,j)の積を参照画素毎に算出し、算出した積の参照領域に属する参照画素間の総和を算出することを表す。式(5)は、算出した総和に対して参照面積N(i,j)で除算して平滑化差分値ΔY(i,j)を算出することを表す。積和演算部25は、算出した平滑化差分値ΔY(i,j)を表す平滑化差分信号を生成し、生成した平滑化差分信号を合成演算部26に出力する。
合成演算部26には、積和演算部25から平滑化差分信号ΔY(i,j)が入力され、スケーリング部13から輝度信号Y(i,j)が入力される。合成演算部26は、平滑化差分値ΔY(i,j)と輝度信号Yが表す信号値Y(i,j)とを加算(合成演算)し、低域通過信号値Y’’(i,j)を出力する。低域通過信号値Y’’(i,j)は、輝度信号Y’’として高周波拡張部27に出力される。
(高周波拡張部27)
図4は、本実施形態に係る高周波拡張部27の構成例を示す概念図である。高周波拡張部27は、k個(kは、1又は1よりも大きい整数)の非線形フィルタ部28-1~28-kと、除外処理演算部271と、合成演算部29とを含む。
図4は、本実施形態に係る高周波拡張部27の構成例を示す概念図である。高周波拡張部27は、k個(kは、1又は1よりも大きい整数)の非線形フィルタ部28-1~28-kと、除外処理演算部271と、合成演算部29とを含む。
非線形フィルタ部28-1~28-kは、それぞれ入力された輝度信号Y’’が表す各画素の低域通過信号値Y’’(i,j)について高周波成分値を算出し、算出した高周波成分値を除外処理演算部271に出力する。ここで、非線形フィルタ部28-1~28-kは、それぞれ線形フィルタ部281-1~281-k及び非線形演算部282-1~282-kを備える。
線形フィルタ部281-1~281-kは、それぞれ所定の方向を向いている線画(例えば、輪郭)を表す成分を抽出する。線形フィルタ部281-1~281-kは、それぞれ抽出した成分を表す方向成分信号を非線形演算部282-1~282-kに出力する。
非線形演算部282-1~282-kは、線形フィルタ部281-1~281-kからそれぞれ入力された方向成分信号が表す信号値に対して非線形演算を行って非線形出力値を算出する。非線形演算部282-1~282-kは、算出した非線形出力値が表す方向成分信号を生成し、生成した方向成分信号をそれぞれ合成演算部29に出力する。非線形演算部282-1~282-kが行う非線形演算は、例えば、入力信号値Wの高次の関数f(W)である。f(W)は、例えば、sgn(W)|W|2、W3、sgn(W)|W|4、W5…、又はこれらの線形結合である。sgn(…)は、実数…の符号関数を示す。つまり、sgn(…)は、…が0よりも大きい場合、1を与え、…が0よりも小さい場合、-1を与え、…が0の場合、0を与える関数である。これらの関数は、奇関数であるため、出力値は奇数次高調波成分を含む。
除外処理演算部271は、非線形フィルタ部28-1~28-kから高周波成分値がそれぞれ入力され、パラメータ出力部30aからパラメータKが入力される。除外処理演算部271は、境界近傍領域151a(図2)に含まれる画素(i,j)を示す画素情報が予め記憶された記憶部(図示略)を有する。除外処理演算部271は、注目画素が、境界近傍領域151aにおける画素(i,j)である場合には、パラメータKと各高周波成分値とを各々乗算した結果を合成演算部29に出力する。一方、注目画素が、境界近傍領域151a以外の画素(i,j)である場合には、各高周波成分値を合成演算部29に出力する。
合成演算部29は、除外処理演算部271から入力された各高周波成分値を加算(合成)し、更に各画素の低域通過信号値Y’’(i,j)を加算(合成)して高周波拡張信号値Z(i,j)を算出する。合成演算部29は、算出した高周波拡張信号値Z(i,j)を表す輝度信号Zを生成する。
ここで、高周波拡張部27の構成例を説明する。図5は、高周波拡張部27の概略構成を示すブロック図である。この例において、高周波拡張部27は、垂直方向及び水平方向の線画を表す成分の高調波成分を生成する。高周波拡張部27は、2個の非線形フィルタ部28-v、28-h、除外処理演算部271、及び合成演算部29を含む。即ち、非線形フィルタ部28-v、28-hは、上述した非線形フィルタ部28-1、28-2の一例である。
非線形フィルタ部28-vは、合成演算部26から入力された輝度信号Y’’に基づいて垂直方向の線画を表す方向成分信号を生成する。非線形フィルタ部28-vは、垂直高域通過フィルタ部281-v及び非線形演算部282-vを含んで構成される。垂直高域通過フィルタ部281-v及び水平高域通過フィルタ部281-hは、上述の線形フィルタ部281-1等の一態様である。垂直高域通過フィルタ部281-vは、垂直方向を向いている線画を表す成分を抽出し、抽出した成分を表す垂直方向成分信号Wvを非線形演算部282-vに出力する。水平高域通過フィルタ部281-hは、水平方向を向いている線画を表す成分を抽出し、抽出した成分を表す水平方向成分信号Whを非線形演算部282-hに出力する。
非線形演算部282-v、282-hは、上述の非線形演算部282-1等の一態様である。非線形演算部282-v、282-hは、垂直高域通過フィルタ部281-v、水平高域通過フィルタ部281-hから入力された方向成分信号Wv、Whが表す信号値にそれぞれ上述の非線形演算を行う。非線形演算部282-v、282-hは、それぞれ算出した非線形出力値が表す垂直方向高周波成分値NLv、水平方向高周波成分値NLhを生成し、生成した垂直方向高周波成分値NLv、水平方向高周波成分値NLhを合成演算部29に出力する。合成演算部29の構成は、上述の合成演算部29の構成と同様である。
図6は、垂直高域通過フィルタ部281-vの構成を表す概略図である。垂直高域通過フィルタ部281-vは、遅延メモリ2811-v、フィルタ係数メモリ2812-v、乗算部2813-v及び合成演算部2814-vを含む。遅延メモリ2811-vは、入力された輝度信号Y’’に基づく低域通過信号値を、Wx、2・Wx、…、(2n+1)・Wxサンプル遅延させた遅延信号を、それぞれ乗算部2813-vに出力する。Wxは、1フレームの画像に含まれる水平方向の画素数である。従って、注目画素を中心に互いに垂直方向に隣接する2n+1画素の信号値が乗算部2813-vに出力される。
ここで、遅延メモリ2811-vは、入力信号をWxサンプル遅延させる遅延素子2811-v-1~2811-v-2n+1を2n+1個備える。遅延素子2811-v-1~2811-v-2n+1は、それぞれ直列に接続されている。遅延素子2811-v-1の一端に、輝度信号Y’’が入力され、遅延素子2811-v-1の他端は、Wxサンプル遅延させた遅延信号が乗算部2813-vと、遅延素子2811-v-2の一端に出力する。遅延素子2811-v-2~2811-v-2n+1の一端は、遅延素子2811-v-1~2811-v-2nの他端からそれぞれ、Wx~2n・Wxサンプル遅延した遅延信号が入力される。遅延素子2811-v-2~2811-v-2nの他端は、2・Wx~2n・Wxサンプル遅延した遅延信号を、それぞれ乗算部2813-v及び遅延素子2811-v-3~2811-v-2n+1の一端に出力する。遅延素子2811-v-2n+1の他端は、(2n+1)・Wxサンプル遅延した遅延信号を、それぞれ乗算部2813-vに出力する。
フィルタ係数メモリ2812-vは、2n+1個の記憶素子2812-v-1~2812-v-2n+1を備える。記憶素子2812-v-1~2812-v-2n+1には、それぞれフィルタ係数aL+n~aL-nが記憶されている。
乗算部2813-vは、2n+1個の乗算器2813-v-1~2813-v-2n+1を備える。乗算器2813-v-1~2813-v-2n+1は、遅延素子2811-v-1~2811-v-2n+1から入力された信号値と記憶素子2812-v-1~2812-v-2n+1に記憶されたフィルタ係数aL+n~aL-nをそれぞれ乗算する。乗算器2813-v-1~2813-v-2n+1は、乗算して得られた乗算値を、それぞれ合成演算部2814-vに出力する。なお、高周波拡張部27に入力される操作信号が示す鮮鋭化の強度に応じて、垂直高域通過フィルタ部281-vにおいて乗算するフィルタ係数を変えるようにしてもよい。例えば、鮮鋭化の強度が第1閾値以上の場合にはフィルタ係数aL+3~aL-3を用い、第1閾値未満の場合にはフィルタ係数aL+1~aL-1を用いるようにしてもよい。
合成演算部2814-vは、乗算器2813-v-1~2813-v-2n+1からそれぞれ入力された乗算値を加算して合成値を算出する。算出された合成値は、注目画素を中心に互いに垂直方向に隣接する2n+1画素の信号値に、それぞれフィルタ係数aL+n~aL-nを積和演算した値である。合成演算部2814-vは、算出した合成値を表す垂直方向成分信号Wvを非線形演算部282-vに出力する。
図7は、水平高域通過フィルタ部281-hの構成を表す概略図である。水平高域通過フィルタ部281-hは、遅延メモリ2811-h、フィルタ係数メモリ2812-h、乗算部2813-h及び合成演算部2814-hを含む。
遅延メモリ2811-h、フィルタ係数メモリ2812-h、乗算部2813-h及び合成演算部2814-hの構成は、上述の遅延メモリ2811-v、フィルタ係数メモリ2812-v、乗算部2813-v及び合成演算部2814-vと同様である。但し、遅延メモリ2811-hは、入力信号をそれぞれWxサンプル遅延させる遅延素子2811-v-1~2811-v-2n+1の代わりに、入力信号をそれぞれ1サンプル遅延させる遅延素子2811-h-1~2811-h-2n+1を2n+1個備える。
フィルタ係数メモリ2812-hは、記憶素子2812-v-1~2812-v-2n+1の代わりに、記憶素子2812-h-1~2812-h-2n+1を備える。記憶素子2812-h-1~2812-h-2n+1には、それぞれフィルタ係数aD+n~aD-nが記憶されている。
従って、合成演算部2814-hは、注目画素を中心に互いに水平方向に隣接する2n+1画素の信号値に、それぞれフィルタ係数aD+n~aD-nを積和演算した値を算出する。合成演算部2814-hは、算出した合成値を表す水平方向成分信号Whを非線形演算部282-hに出力する。なお、高周波拡張部27に入力される操作信号が示す鮮鋭化の強度に応じて、水平高域通過フィルタ部281-hにおいて乗算するフィルタ係数を変えるようにしてもよい。例えば、鮮鋭化の強度が第1閾値以上の場合にはフィルタ係数aD+3~aD-3を用い、第1閾値未満の場合にはフィルタ係数aD+1~aD-1を用いるようにしてもよい。
フィルタ係数aL-n、aL-n+1、~aL+nは、信号値との積和演算によって高域通過フィルタを実現する高域通過フィルタ係数である。なお、フィルタ係数aL+n~aL-nの合計値、フィルタ係数aD+n~aD-nの合計値は、それぞれ0、即ち直流成分の伝達関数は0である。これにより、算出した合成値に直流成分が含まれないようにする。また、フィルタ係数aL+n~aL-nは、拡大を行う前の輝度信号のナイキスト周波数fnyq’よりも予め定めた周波数fだけ低い空間周波数よりも高い周波数成分を通過する特性(高域通過特性)を有する。拡大を行う前の輝度信号のナイキスト周波数fnyq’は、処理対象の輝度信号のサンプリング周波数周波数fsを2n(nは、拡大率)で除算した周波数である。 例えば、フィルタ係数aL+3、aL+2、aL+1、aL、aL-1、aL-2、aL-3は、それぞれ、-0.0637、0.0、0.5732、-0.0189、0.5732、0.0000、-0.0637である。また、フィルタ係数aD+3、aD+2、aD+1、aD、aD-1、aD-2、aD-3は、フィルタ係数aL+3、aL+2、aL+1、aL、aL-1、aL-2、aL-3とそれぞれ同様の高域通過特性を有する値であってもよい。
次に、非線形演算部282-1等の一構成例(非線形演算部282-A)について説明する。図8は、非線形演算部282-Aの構成を表す概略図である。非線形演算部282-Aは、絶対値算出部2821-A、べき乗演算部2822-A、フィルタ係数メモリ2823-A、乗算部2824-A、合成演算部2825-A、符号検出部2826-A及び乗算部2827-Aを含んで構成される。
非線形演算部282-Aは、入力された信号値Wに対するl(エル)次(lは、1よりも大きい整数である)の奇関数sgn|W|・(c1・|W|+c2・|W|2+…+cl・|W|l)を非線形出力値NLAとして出力する。c1、c2、…clは、それぞれ1、2、…l次の係数である。
絶対値算出部2821-Aは、線形フィルタ部281-1等からそれぞれ入力された方向成分信号が示す信号値Wの絶対値|W|を算出し、算出した絶対値|W|をべき乗演算部2822-Aに出力する。
べき乗演算部2822-Aは、l-1個の乗算器2822-A-2~2822-A-lを備え、絶対値算出部2821-Aから入力された絶対値|W|を乗算部2824-Aに出力する。乗算器2822-A-2は、絶対値算出部2821-Aから入力された絶対値|W|同士を乗算して絶対二乗値|W|2を算出する。乗算器2822-A-2は、算出した絶対二乗値|W|2を乗算器2822-A-3及び乗算部2824-Aに出力する。
乗算器2822-A-3~2822-A-l-1は、乗算器2822-A-2~2822-A-l-2から入力された絶対二乗値|W|2~絶対l-2乗値|W|l-2に、絶対値算出部2821-Aから入力された絶対値|W|を乗算して絶対三乗値|W|3~絶対l-1乗値|W|l-1をそれぞれ算出する。乗算器2822-A-3~2822-Al-1は、算出した絶対三乗値|W|3~絶対l-1乗値|W|l-1をそれぞれ乗算器2822-A-4~2822-A-l及び乗算部2824-Aに出力する。
乗算器2822-A-lは、乗算器2822-A-l-1から入力された絶対l-1乗値|W|l-1と絶対値算出部2821-Aから入力された絶対値|W|を乗算して絶対l乗値|W|lを算出する。乗算器2822-A-lは、算出した絶対l乗値|W|lを乗算部2824-Aに出力する。
フィルタ係数メモリ2823-Aは、l個の記憶素子2823-A-1~2823-A-lを備える。記憶素子2823-A-1~2823-A-lには、それぞれ1~l次の係数c1~clが記憶されている。
乗算部2824-Aは、l個の乗算器2824-A-1~2824-A-lを備える。乗算器2824-A-1~2824-A-lは、それぞれべき乗演算部2822-Aから入力された絶対値|W|~絶対l乗値|W|lに、記憶素子2823-A-1~2823-A-lに記憶された1~l次の係数c1~clを乗算して乗算値を算出する。乗算器2824-A-1~2824-A-lは、算出した乗算値をそれぞれ合成演算部2825-Aに出力する。
合成演算部2825-Aは、乗算器2824-A-1~2824-A-lからそれぞれ入力された乗算値を加算して合成値を算出する。合成演算部2825-Aは、算出した合成値を乗算部2827-Aに出力する。
符号検出部2826-Aは、線形フィルタ部281-1等からそれぞれ入力された方向成分信号が示す信号値Wの符号、即ち正負を検出する。符号検出部2826-Aは、信号値が0よりも小さい場合、-1を符号値として乗算部2827-Aに出力する。符号検出部2826-Aは、信号値が0又は0よりも大きい場合、1を符号値として乗算部2827-Aに出力する。
乗算部2827-Aは、合成演算部2825-Aから入力された合成値と符号検出部2826-Aから入力された符号値を乗算して、高周波成分値NLAを算出する。乗算部2827-Aは、算出した高周波成分値を合成演算部29に出力する。
上述の構成を備える非線形演算部282-Aは、比較的回路規模が大きくなるが、少数の係数を用いて出力される高周波成分値を調整することができる。なお、最高次数l以外の係数値c1~cl-1が0である場合には、これらの次数の積和演算に係る構成を省略してもよい。省略できる構成は、非線形演算部282-Aにおいて記憶素子2823-A-1~2823-A-l-1、乗算器2824-A-1~2824-A-l-1である。例えば、f(W)=sgn(W)|W|2の場合、記憶素子2823-A-1、乗算器2824-A-1を省略してもよい。
図1に戻り、説明を続ける。パラメータ出力部30a(取得部及び決定部の一例)は、操作信号受信部16から出力される操作信号を取得し、操作信号が示す数値を鮮鋭化の強度を表す強度情報(鮮鋭化処理情報の一例)として取得する。パラメータ出力部30aは、強度情報が第1閾値以上である場合には、鮮鋭化のレベルが「強」レベルであると判断する。また、強度情報が第2閾値以上であり第1閾値未満である場合には、鮮鋭化のレベルが「中」レベルであると判断する。また、強度情報が第2閾値未満である場合には、鮮鋭化のレベルが「弱」レベルであると判断する。パラメータ出力部30aは、鮮鋭化のレベルに応じて画像処理に用いられるパラメータKを決定し、そのパラメータKを画像処理部20に出力する。
上述したように、画像処理部20では、処理対象の画素(注目画素)の周辺画素(注目画素の参照領域内の参照画素)を用いてノイズ低減化及び鮮鋭化の画像処理がなされる。境界近傍領域151aの画素に対して画像処理を行う際、黒色等の画像が表示される付加画像用表示領域152の画素が周辺画素に含まれる。その結果、境界近傍領域151aの画素と、境界近傍領域151a以外の他の画素とで画像処理の演算に用いられる値に差異が生じる。そのため、境界近傍領域151aの画素に対し、他の画素と同様の画像処理を行うと、画像用表示領域151と付加画像用表示領域152の境界が視認されやすくなり違和感を生じさせることとなる。
特に、鮮鋭化のレベルが「強」レベルの場合には、画像用表示領域151と付加画像用表示領域152の境界部分が視認されやすくなる。そのため、この場合には、パラメータ出力部30aは、境界近傍領域151aの画素に対しては画像処理を行わないことを示すパラメータK=0を設定する(第3決定処理)。
一方、鮮鋭化のレベルが「中」又は「弱」レベルである場合には、「強」レベルの場合と比べて、画像用表示領域151と付加画像用表示領域152の境界部分が視認されにくい。そのため、この場合には、パラメータ出力部30aは、境界近傍領域151aの画素に対し、他の領域の画素と同様の画像処理を行うことを示すパラメータK=1を設定する(第1決定処理)。つまり、境界近傍領域151aの鮮鋭化のレベルが他の領域(画像用表示領域151,付加画像用表示領域152)の鮮鋭化のレベルと共通するようにパラメータが設定される。
従って、本実施形態では、鮮鋭化のレベルが「強」レベルの場合、つまり、鮮鋭化の強度が第1閾値以上の場合には、パラメータ出力部30aからパラメータK=0が画像処理部20の高周波拡張部27の除外処理演算部271に出力される。この場合、合成演算部26において、境界近傍領域151aにおける注目画素に対する平滑化差分値ΔY(i,j)と輝度信号Y(i,j)が加算されて高周波拡張部27に出力される。高周波拡張部27において、非線形フィルタ部28-1~28-kによって算出された輝度信号Y''(i,j)の高周波成分値と、パラメータK=0とが除外処理演算部271によって乗算されて加算され、合成演算部29に出力される。そして、合成演算部29において、除外処理演算部271から出力された高周波成分値と輝度信号Y''(i,j)とが加算されて出力される。従って、鮮鋭化の強度が第1閾値以上の場合、鮮鋭化処理がなされていない輝度信号Z(i,j)が出力される。
一方、鮮鋭化のレベルが「中」又は「弱」レベルの場合、つまり、鮮鋭化の強度が第1閾値未満には、パラメータ出力部30aからパラメータK=1が、画像処理部20の合成演算部26と高周波拡張部27の除外処理演算部271に出力される。この場合、合成演算部26において、境界近傍領域151aにおける注目画素に対する平滑化差分値ΔY(i,j)と輝度信号Y(i,j)が加算されて高周波拡張部27に出力される。高周波拡張部27において、非線形フィルタ部28-1~28-kにより算出された輝度信号Y''(i,j)の各高周波成分値と、パラメータK=1とが除外処理演算部271によって乗算されて加算される。そして、合成演算部29において、除外処理演算部271で演算された高周波成分値と、輝度信号Y''(i,j)とが加算されて出力される。従って、鮮鋭化の強度が第1閾値未満には、境界近傍領域151aに対し、他の領域(画像用表示領域151,付加画像用表示領域152)と同様に平滑化処理及び鮮鋭化処理がなされた輝度信号Z(i,j)が出力される。
画像用表示領域151と付加画像用表示領域152の境界を視認されにくくするために、境界近傍領域151aに対して一律に鮮鋭化処理を行わない場合、鮮鋭化処理がなされた領域と鮮鋭化処理がなされない領域との間に新たな境界が発生し、違和感を生じさせることになる。これに対し、上述した第1実施形態では、鮮鋭化の強度に応じて境界近傍領域151aに対して鮮鋭化処理が行われるので、境界近傍領域151aに対して一律に鮮鋭化処理を行わない場合と比べて、鮮鋭化処理によって生じるノイズを低減させることができる。
<第2実施形態>
上述した第1実施形態では、境界近傍領域151aの画素に対し、鮮鋭化の強度に応じた画像処理を行う例について説明した。本実施形態では、例えば、メニュー画面や番組情報等の付加画像を表示するユーザ操作に応じて境界近傍領域151aの画素に対して画像処理を行う例について説明する。
上述した第1実施形態では、境界近傍領域151aの画素に対し、鮮鋭化の強度に応じた画像処理を行う例について説明した。本実施形態では、例えば、メニュー画面や番組情報等の付加画像を表示するユーザ操作に応じて境界近傍領域151aの画素に対して画像処理を行う例について説明する。
図9は、本実施形態に係る表示装置の構成例を示すブロック図である。図9に示すように、表示装置1Bは、パラメータ出力部30bと表示部15bを有する点で第1実施形態と異なる。また、図10は、第1実施形態と同様の画像処理部20と、本実施形態に係るパラメータ出力部30bとを示すブロック図である。図10に示すように、画像処理部20の高周波拡張部27の除外処理演算部271は、パラメータ出力部30bからパラメータKが入力される。第1実施形態では、画像処理部20に操作信号が入力され、操作信号が示す鮮鋭化の強度に応じて画像処理を行ったが、本実施形態では、付加画像情報を示す操作信号が画像処理部20に入力されない構成となっている。なお、本実施形態において、画像処理部20及びパラメータ出力部30bは、画像処理装置の一例である。
パラメータ出力部30b(取得部及び決定部の一例)は、操作信号受信部16から出力される操作信号から付加画像情報(鮮鋭化処理情報の一例)を取得する。つまり、例えばメニュー画面等の付加画像を表示することを示す操作信号の場合、付加画像を表示する旨の付加画像情報を取得する。また、付加画像の表示を解除することを示す操作信号の場合、付加画像を表示しない旨の付加画像情報を取得する。
パラメータ出力部30bは、付加画像情報に応じて、画像処理に用いられるパラメータKを決定し、そのパラメータKを画像処理部20に出力する。具体的には、パラメータ出力部30bは、付加画像を表示する旨の付加画像情報を取得した場合には、境界近傍領域151aの画素に対し、他の領域と同様の画像処理を行うことを示すパラメータK=1を設定する(第1決定処理)。一方、付加画像の表示を行わない旨の付加画像情報を取得した場合、又は、付加画像を表示する旨の付加画像情報を取得していない場合には、境界近傍領域151aの画素に対しては画像処理を行わないことを示すパラメータK=0を設定する(第3決定処理)。
メニュー画面や番組情報等の付加画像は、境界近傍領域151aと他の領域に跨って表示されることがある。境界近傍領域151aに対して画像処理を行わない場合、付加画像における境界近傍領域151aの部分は鮮鋭化されず、その他の部分については鮮鋭化される。その結果、付加画像の境界近傍領域151aの部分の視認性が低下し、違和感を与える。そのため、付加画像が表示される場合には、他の領域の画素と同様に境界近傍領域151aの画素に対しても画像処理を行う。一方で、境界近傍領域151aに対して画像処理を行うと、画像用表示領域151と付加画像用表示領域152の境界が顕著に表れる。そのため、付加画像が表示されない場合は、境界近傍領域151aの画素に対して画像処理を行わないようにする。
表示部15bは、操作信号受信部16から操作信号を取得する。表示部15bは、付加画像を表示することを指示する操作信号を取得した場合、その操作信号に対応する付加画像を示すOSD信号を生成し、画像形式変換部14から出力される画像信号にOSD信号を重畳させてディスプレイに出力するOSD生成部を有する。
境界近傍領域151aに跨って付加画像が表示される場合、画像用表示領域151と付加画像用表示領域152との境界を視認されにくくするために、境界近傍領域151aに対する画像処理を一律に行わないようにすると、付加画像の表示部分に鮮鋭化された部分と鮮鋭化されていない部分との境界が発生する。上述した第2実施形態では、付加画像が表示される場合には、境界近傍領域151aに対して鮮鋭化処理がなされる。そのため、境界近傍領域151aに対して画像処理を一律に行わない場合と比べ、付加画像の表示部分に生じるノイズが低減される。
<第3実施形態>
上述した第1実施形態及び第2実施形態では、強度情報又は付加画像情報に応じて、境界近傍領域151aの画素に対して画像処理を行う例について説明した。本実施形態では、強度情報及び付加画像情報に応じて、境界近傍領域151aの画素に対して画像処理を行う例について説明する。
上述した第1実施形態及び第2実施形態では、強度情報又は付加画像情報に応じて、境界近傍領域151aの画素に対して画像処理を行う例について説明した。本実施形態では、強度情報及び付加画像情報に応じて、境界近傍領域151aの画素に対して画像処理を行う例について説明する。
図11は、本実施形態に係る表示装置の構成例を示すブロック図である。図11に示すように、表示装置1Cは、パラメータ出力部30cを備えている点で第2実施形態と異なる。また、図12は、第1実施形態及び第2実施形態と同様の画像処理部20と、本実施形態に係るパラメータ出力部30cとを示すブロック図である。画像処理部20の高周波拡張部27における除外処理演算部271に、パラメータ出力部30cからパラメータKが入力される。なお、本実施形態において、画像処理部20及びパラメータ出力部30cは、画像処理装置の一例である。以下、第1実施形態及び第2実施形態と異なる部分について説明する。
パラメータ出力部30c(取得部及び決定部の一例)は、操作信号受信部16から操作信号を取得し、第1及び第2実施形態と同様にして、操作信号から強度情報及び付加画像情報を取得する。パラメータ出力部30cは、鮮鋭化のレベルが「中」又は「弱」に対応する強度情報の場合には、境界近傍領域151aの画素に対して画像処理を行うことを示すパラメータK=1を設定する。鮮鋭化のレベルが「中」又は「弱」の場合、付加画像の表示の有無に関わらず、画像用表示領域151と付加画像用表示領域152の境界が「強」レベルの場合と比べて視認されにくい。そのため、この場合には、第1実施形態と同様、境界近傍領域151aの画素に対し、他の領域と同様の画像処理を行う(第1決定処理)。
また、パラメータ出力部30cは、鮮鋭化のレベルが「強」レベルに対応する強度情報の場合には、付加画像情報に応じてパラメータKを設定する。つまり、付加画像を表示する旨の付加画像情報を取得した場合には、境界近傍領域151aの画素に対し、他の領域と同様の画像処理を行うことを示すパラメータK=1を設定する(第1決定処理)。一方、付加画像を表示しない旨の付加画像情報を取得した場合や、付加画像を表示する旨の付加画像情報を取得していない場合、つまり、付加画像を表示しない場合には、境界近傍領域151aの画素に対して画像処理を行わないことを示すパラメータK=0を設定する(第3決定処理)。
鮮鋭化のレベルが「強」レベルの場合には、「中」や「弱」のレベルの場合と比べて、画像用表示領域151と付加画像用表示領域152の境界が視認されやすくなるため、境界近傍領域151aに対して画像処理を行わないようにすることが考えられる。一方で、境界近傍領域151aに付加画像が表示される場合に、境界近傍領域151aに対して画像処理を行わなければ、画像処理の対象領域(画像用表示領域151,付加画像用表示領域152)と境界近傍領域151aとの間に境界が発生する可能性がある。つまり、付加画像において画像処理がなされる部分と画像処理がなされない部分とが存在することになり、違和感を生じさせる。そのため、本実施形態では、画像用表示領域151と付加画像用表示領域152との境界が視認されるとしても、付加画像の視認性を優先し、付加画像を表示する場合には境界近傍領域151aに対して他の領域と同様の画像処理を行う。
第1実施形態のように、鮮鋭化の強度に応じて境界近傍領域151aに対して鮮鋭化処理を行う場合、画像用表示領域151と付加画像用表示領域152との境界が視認されにくくなるが、付加画像が境界近傍領域151aに跨って表示されるような場合、付加画像の表示部分に違和感を生じさせる場合がある。また、第2実施形態のように、付加画像の表示の有無に応じて境界近傍領域151aに鮮鋭化処理を行う場合には、付加画像の表示部分に違和感を生じさせない点で有効であるが、画像用表示領域151と付加画像用表示領域152の境界が視認されやすくなることがある。上述した第3実施形態では、鮮鋭化の強度と付加画像の表示の有無とに応じて、境界近傍領域151aに対して鮮鋭化処理を行うため、第1実施形態及び第2実施形態と比べ、画像用表示領域151と付加画像用表示領域152との境界部分が視認されにくく、付加画像の表示部分に違和感を生じさせないようにすることができる。
以上、本発明の実施の形態を説明したが、上述した実施の形態は本発明を実施するための例示に過ぎない。よって、本発明は上述した実施の形態に限定されることなく、その趣旨を逸脱しない範囲内で上述した実施の形態を適宜変形して実施することが可能である。以下、本発明の変形例について説明する。
<変形例>
(1)上述した第1実施形態において、鮮鋭化のレベルが「強」レベルに対応する強度情報を取得した場合、境界近傍領域151aにおける各画素については画像処理を行わないことを示すパラメータK=0を設定したが、以下のように構成してもよい。例えば、境界近傍領域151aから画像処理の対象領域(画像用表示領域151及び付加画像用表示領域152)に近づくほど、画像処理の対象領域の鮮鋭化のレベルに近づくように境界近傍領域151aにおける画素のパラメータKを異ならせてもよい。
(1)上述した第1実施形態において、鮮鋭化のレベルが「強」レベルに対応する強度情報を取得した場合、境界近傍領域151aにおける各画素については画像処理を行わないことを示すパラメータK=0を設定したが、以下のように構成してもよい。例えば、境界近傍領域151aから画像処理の対象領域(画像用表示領域151及び付加画像用表示領域152)に近づくほど、画像処理の対象領域の鮮鋭化のレベルに近づくように境界近傍領域151aにおける画素のパラメータKを異ならせてもよい。
図13A及び13Bは、本変形例における、境界近傍領域151aの画素の位置に応じたパラメータKの変化の一例を示す概念図である。図13A及び13Bにおいて、横軸のAの範囲は、画像用表示領域151に対応し、Bの範囲は境界近傍領域151aに対応し、Cの範囲は付加画像用表示領域152に対応している。図13A及び13Bに示すように、Bにおける略中央の画素の位置b1のパラメータKは0に設定され、画素の位置がA及びCに近づくほどパラメータK=1となるように単調増加するパラメータが設定されている。つまり、この場合には、境界近傍領域151aにおいて、画像用表示領域151との境界から付加画像用表示領域152との境界までの間の略中間に位置する画素(以下、中央付近画素と称する)に対しては鮮鋭化処理がなされず、画像用表示領域151及び付加画像用表示領域152に近づくほど鮮鋭化のレベルが画像用表示領域151及び付加画像用表示領域152の鮮鋭化のレベルに近づくように画素の位置に応じた鮮鋭化処理がなされる。このように構成することにより、境界近傍領域151aの全ての画素に対して画像処理を行わない場合と比べ、境界近傍領域151aとその他の領域との境界部分がより視認されにくくなり、自然な画像を表示させることができる。
(2)また、上述した第2実施形態において、付加画像を表示する旨の付加画像情報を取得した場合、境界近傍領域151aにおける各画素について画像処理を行うことを示すパラメータK=1を設定したが、以下のように構成してもよい。例えば、付加画像用表示領域152に近づくほど鮮鋭化のレベルが小さくなるように、境界近傍領域151aにおける画素のパラメータKを異ならせてもよい(第2決定処理)。
図14A及び14Bは、本変形例における、境界近傍領域151aの画素の位置に応じたパラメータKの変化を示す概念図である。図14A及び14Bにおいて、横軸のAの範囲は、画像用表示領域151に対応し、Bの範囲は境界近傍領域151aに対応し、Cの範囲は付加画像用表示領域152に対応している。図14A及び14Bに示すように、Bにおける、Aとの境界の画素の位置b0から中央付近画素の位置b1の間はパラメータKは1に設定されている。また、中央付近画素の位置b1からCとの境界の画素の位置b2の間は、位置b2においてパラメータK=0となるように単調減少するパラメータが設定される。つまり、境界近傍領域151aにおいて、画像用表示領域151との境界から中央付近画素の間に存在する画素に対しては、画像用表示領域151における鮮鋭化のレベルに近づくように、画像用表示領域151と同様に鮮鋭化処理がなされる。また、付加画像用表示領域152との境界に近づくほど鮮鋭化のレベルを小さくし、付加画像用表示領域152との境界部分では鮮鋭化処理を行わないように画素の位置に応じた鮮鋭化処理がなされる。このように構成することで、境界近傍領域151aの全ての画素について画像処理を行う場合と比べ、付加画像用表示領域152と画像用表示領域151の境界部分が視認されにくくなり、自然な画像を表示させることができる。
また、第2実施形態において、付加画像を表示しない旨の付加画像情報を取得した場合や、付加画像を表示する旨の付加画像情報を取得していない場合、境界近傍領域151aにおける各画素について画像処理を行わないことを示すパラメータK=0を設定したが、以下のようにしてもよい。例えば、上述した図13A及び図13Bに示したように、境界近傍領域151aから画像処理の対象領域(画像用表示領域151及び付加画像用表示領域152)に近づくほど、これら領域の鮮鋭化のレベルに近づくように境界近傍領域151aにおける画素のパラメータKを異ならせてもよい(第4決定処理)。
(3)また、上述した第3実施形態において、鮮鋭化のレベルが「強」レベルに対応する強度情報を取得するとともに、付加画像を表示する旨の付加画像情報を取得したとき、境界近傍領域151aにおける各画素について画像処理を行うことを示すパラメータK=1を設定したが、以下のように構成してもよい。この場合には、例えば、上述した図14A及び図14Bに示したように、境界近傍領域151aから付加画像用表示領域152に近づくほど鮮鋭化のレベルが小さくなるように境界近傍領域151aにおける画素のパラメータKを異ならせてもよい(第2決定処理)。
また、第3実施形態において、鮮鋭化のレベルが「強」レベルに対応する強度情報を取得するとともに、付加画像を表示しない旨の付加画像情報を取得した場合や、付加画像を表示する旨の付加画像情報を取得していない場合、境界近傍領域151aにおける各画素について画像処理を行わないことを示すパラメータK=0を設定したが、以下のようにしてもよい。例えば、上述した図13A及び図13Bに示したように、境界近傍領域151aから画像処理の対象領域(画像用表示領域151及び付加画像用表示領域152)に近づくほど、これら領域の鮮鋭化のレベルに近づくように境界近傍領域151aにおける画素のパラメータKを異ならせてもよい(第4決定処理)。
(4)上述した第2及び第3実施形態では、パラメータ出力部30b,30cは、操作信号によって付加画像情報を取得する例について説明したが、画像信号に字幕やOSDを示す付加画像データが含まれている場合、画像信号から付加画像情報を取得してもよい。例えば、画像信号がMPEG(Moving Picture Experts Group)‐2等で符号化されたデジタル信号である場合、パラメータ出力部30b,30cは、画像信号におけるTS(Transport Stream)のTSパケットのパケット識別子(PID(Packet Identifier))を付加画像情報として取得してもよい。PIDは、各TSパケットが伝送しているデータを識別する情報である。パラメータ出力部30b,30cは、字幕を示すPIDが含まれているか否かにより付加画像の表示の有無を判断することができる。また、上述した第2及び第3実施形態において、例えば、入力信号において字幕等の文字が含まれる位置を検出する画像検出アルゴリズムを有する検出部を入力部11の前段に備え、検出部による検出結果をパラメータ出力部に出力するように構成してもよい。
(5)また、上述した第1実施形態における高周波拡張部27の線形フィルタ部281-1~281-kにおいて、鮮鋭化の強度に応じたフィルタ係数を用いて方向成分信号を算出する例を説明したが、非線形演算部282-Aにおいて、鮮鋭化の強度に応じて調整された奇関数を用いるようにしてもよいし、鮮鋭化の強度に応じたフィルタ係数と奇関数とを用いるようにしてもよい。
本発明は、テレビ放送等のコンテンツの画像を表示する表示装置に搭載される画像処理装置として産業上の利用が可能である。
Claims (5)
- 表示領域に表示すべき画像データを含む入力信号における各画素の信号値に対し、入力されるパラメータを用いて鮮鋭化処理を行う画像処理部と、
前記表示領域のうち、前記画像データの画像が表示される領域と前記画像に付加される付加画像が表示される領域との境界を含む予め定められた特定領域において、前記画像データの画像に付加される付加画像を表示するか否かを示す付加画像情報と、前記鮮鋭化処理における鮮鋭化の強度を表す強度情報の少なくとも一方を鮮鋭化処理情報として取得する取得部と、
前記取得部で取得された前記鮮鋭化処理情報に基づいて、前記特定領域の画素に対する前記パラメータを決定し、前記画像処理部に出力する決定部と、
を備える画像処理装置。 - 前記決定部は、前記鮮鋭化処理情報に前記強度情報が含まれる場合、前記強度情報が示す前記強度が閾値以上であるときには、前記特定領域に対して前記鮮鋭化処理を行わないことを示す前記パラメータを決定し、前記強度が前記閾値より小さいときには、前記特定領域に対して前記鮮鋭化処理を行うことを示す前記パラメータを決定する、請求項1に記載の画像処理装置。
- 前記決定部は、前記鮮鋭化処理情報に前記付加画像を表示する旨の前記付加画像情報が含まれる場合には、第1決定処理と第2決定処理のいずれか一方を行い、前記鮮鋭化処理情報に前記付加画像を表示しない旨の前記付加画像情報が含まれる場合には、第3決定処理と第4決定処理のいずれか一方を行い、
前記第1決定処理は、前記特定領域の各画素に対し、前記特定領域の鮮鋭化のレベルが、他の領域における鮮鋭化のレベルと共通するように前記パラメータを決定する処理であり、
前記第2決定処理は、前記特定領域から前記付加画像が表示される領域に近づくほど鮮鋭化のレベルが小さくなるように、前記特定領域の画素に対して異なる前記パラメータを決定する処理であり、
前記第3決定処理は、前記特定領域の各画素に対して前記鮮鋭化処理を行わないことを示す前記パラメータを決定する処理であり、
前記第4決定処理は、前記特定領域から前記他の領域に近づくほど、前記特定領域の鮮鋭化のレベルが前記他の領域における鮮鋭化のレベルに近づくように、前記特定領域の画素に対して異なる前記パラメータを決定する処理である、請求項1に記載の画像処理装置。 - 前記決定部は、前記強度が前記閾値以上である場合において、前記鮮鋭化処理情報に、さらに前記付加画像を表示する旨の前記付加画像情報が含まれるとき、第1決定処理と第2決定処理のいずれか一方を行い、前記鮮鋭化処理情報に、さらに前記付加画像を表示しない旨の前記付加画像情報が含まれるとき、第3決定処理と第4決定処理のいずれか一方を行い、
前記第1決定処理は、前記特定領域の鮮鋭化のレベルが、他の領域における鮮鋭化のレベルと共通するように前記パラメータを決定する処理であり、
前記第2決定処理は、前記特定領域から前記付加画像が表示される領域に近づくほど鮮鋭化のレベルが小さくなるように、前記特定領域の画素に対して異なる前記パラメータを決定する処理であり、
前記第3決定処理は、前記特定領域の各画素に対して前記鮮鋭化処理を行わないことを示す前記パラメータを決定する処理であり、
前記第4決定処理は、前記特定領域から前記他の領域に近づくほど、前記特定領域の鮮鋭化のレベルが前記他の領域における鮮鋭化のレベルに近づくように、前記特定領域の画素に対して異なる前記パラメータを決定する処理である、請求項2に記載の画像処理装置。 - 前記入力信号は、前記付加画像を示す付加画像データを含み、
前記取得部は、前記入力信号に前記付加画像データが含まれているか否か判断することにより前記付加画像情報を取得する、請求項1から4のいずれか一項に記載の画像処理装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012-262124 | 2012-11-30 | ||
JP2012262124 | 2012-11-30 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2014084136A1 true WO2014084136A1 (ja) | 2014-06-05 |
Family
ID=50827774
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2013/081501 WO2014084136A1 (ja) | 2012-11-30 | 2013-11-22 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2014084136A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11196294A (ja) * | 1998-01-05 | 1999-07-21 | Hitachi Ltd | 映像信号処理装置 |
JP2006222541A (ja) * | 2005-02-08 | 2006-08-24 | Denon Ltd | 光ディスク再生装置 |
-
2013
- 2013-11-22 WO PCT/JP2013/081501 patent/WO2014084136A1/ja active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11196294A (ja) * | 1998-01-05 | 1999-07-21 | Hitachi Ltd | 映像信号処理装置 |
JP2006222541A (ja) * | 2005-02-08 | 2006-08-24 | Denon Ltd | 光ディスク再生装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7894684B2 (en) | Visual processing device, visual processing method, program, display device, and integrated circuit | |
US8233744B2 (en) | Image enlargement apparatus, method, integrated circuit, and program | |
US20090022396A1 (en) | Image processing device, image processing method, image processing system, program, storage medium, and integrated circuit | |
US8401324B2 (en) | Visual processing apparatus, visual processing method, program, recording medium, display device, and integrated circuit | |
JP5121294B2 (ja) | 画像処理方法、画像処理装置、プログラム、記録媒体および集積回路 | |
US20120230601A1 (en) | Image processing apparatus, image processing method, and program | |
CN102821230A (zh) | 图像处理装置和图像处理方法 | |
CN104335565A (zh) | 采用具有自适应滤芯的细节增强滤波器的图像处理方法 | |
JP5014274B2 (ja) | 画像処理装置、画像処理方法、画像処理システム、プログラム、記録媒体および集積回路 | |
JP5002348B2 (ja) | 画像処理装置、映像受信装置および画像処理方法 | |
WO2014024691A1 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び画像表示装置 | |
JP2013235517A (ja) | 画像処理装置、画像表示装置、コンピュータプログラム及び記録媒体 | |
WO2014084136A1 (ja) | 画像処理装置 | |
WO2014136552A1 (ja) | 画像処理装置 | |
CN101909141B (zh) | 电视影像调整方法与装置 | |
US9589324B1 (en) | Overshoot protection of upscaled images | |
WO2014129209A1 (ja) | 画像処理装置、画像処理方法 | |
WO2014119448A1 (ja) | 画像処理装置 | |
JP2014138329A (ja) | 画像処理装置、画像表示装置、プログラム、および、記憶媒体 | |
WO2014024373A1 (ja) | 画像強調装置、画像強調方法 | |
CN101316320B (zh) | 用于图像处理***的图像处理方法及其相关图像处理装置 | |
WO2014024916A1 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び画像表示装置 | |
KR20090063101A (ko) | 비디오 화상에서 가장자리 방위를 나타내는 거리들을 생성하는 방법, 대응하는 디바이스, 및 디인터레이싱이나 포맷 전환을 위한 방법의 용도 | |
CN102281387B (zh) | 影像瞬时改善装置 | |
US20150063726A1 (en) | Image processing method and image processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 13858480 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 13858480 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |