WO2014119448A1 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- WO2014119448A1 WO2014119448A1 PCT/JP2014/051247 JP2014051247W WO2014119448A1 WO 2014119448 A1 WO2014119448 A1 WO 2014119448A1 JP 2014051247 W JP2014051247 W JP 2014051247W WO 2014119448 A1 WO2014119448 A1 WO 2014119448A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- resolution
- unit
- image processing
- image
- pixel group
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 149
- 238000010586 diagram Methods 0.000 description 30
- 238000011156 evaluation Methods 0.000 description 30
- 238000004364 calculation method Methods 0.000 description 27
- 230000015572 biosynthetic process Effects 0.000 description 21
- 238000003786 synthesis reaction Methods 0.000 description 21
- 238000013139 quantization Methods 0.000 description 18
- 238000001514 detection method Methods 0.000 description 16
- 238000000034 method Methods 0.000 description 14
- NCGICGYLBXGBGN-UHFFFAOYSA-N 3-morpholin-4-yl-1-oxa-3-azonia-2-azanidacyclopent-3-en-5-imine;hydrochloride Chemical compound Cl.[N-]1OC(=N)C=[N+]1N1CCOCC1 NCGICGYLBXGBGN-UHFFFAOYSA-N 0.000 description 13
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 238000012986 modification Methods 0.000 description 9
- 230000003111 delayed effect Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 239000000203 mixture Substances 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000004069 differentiation Effects 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 6
- 238000000926 separation method Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000007717 exclusion Effects 0.000 description 3
- 101000621511 Potato virus M (strain German) RNA silencing suppressor Proteins 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 241000255925 Diptera Species 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- IUTCEZPPWBHGIX-UHFFFAOYSA-N tin(2+) Chemical compound [Sn+2] IUTCEZPPWBHGIX-UHFFFAOYSA-N 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/46—Receiver circuitry for the reception of television signals according to analogue transmission standards for receiving on more than one standard at will
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
- H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
Definitions
- the present invention relates to an image processing apparatus, and more particularly to a technique for performing image processing suitable for an input image signal.
- Japanese Patent Laid-Open No. 2010-200112 discloses a sharpening process in which frequency band information of an input video signal is acquired in real time in units of frames to perform an optimum sharpening process according to the characteristics of the video signal for each frame.
- An apparatus is disclosed. This sharpening processing device detects a histogram of frequency components of a video signal for each frame. Then, the sharpness is automatically adjusted for each frame in accordance with the relative proportion of the high frequency component and the low frequency component included in the video signal.
- the image of the content portion included in the input image signal is different from the screen resolution of the display device, the image of the content portion is enlarged or reduced on the display device, and the upper and lower ends or the left and right ends of the display area
- An image such as a band may be added and displayed.
- an image signal in which an image such as a black band is added to an image of a content part may be input to the display device so that the resolution is based on a standard determined on the broadcast station side.
- the resolution of the content portion of the input image signal for example, if sharpening processing suitable for the screen resolution of the display device is performed on the image signal, the sharpening effect may not be obtained properly.
- the outline of the image of the content portion may not be emphasized.
- the outline of the content portion may be crushed when sharpening processing suitable for the screen resolution of the display device is performed.
- An object of the present invention is to provide a technique for performing image processing such as sharpening suitable for the resolution of a content portion included in an input image signal.
- An image processing apparatus uses a luminance value of a pixel in an image signal and determines a resolution of a content portion in the image signal in units of frames, and according to the resolution determined by the determination unit
- a specific image including pixels having a predetermined luminance value is included in the image signal, and the determination unit includes a first pixel located outside the second display area. Whether the resolution of the content portion of the image signal is the first resolution or the second resolution is determined according to the luminance difference of the pixels in the group.
- the determination unit further determines the resolution of the content portion of the image signal according to the luminance difference of the pixels in the second pixel group in the second display area. It is determined whether the resolution is the first resolution or the second resolution.
- the second display area is configured to be smaller than the first display area in the extending direction of at least one side constituting the first display area
- the first pixel group is located in the vicinity of each of two sides constituting a boundary of the second display region in a region where the first display region and the second display region do not overlap
- the second pixel group is located in the vicinity of the first pixel group in the second display area.
- the luminance value of each pixel constituting the specific image is determined to be substantially uniform, and the determination unit includes the first pixel in the image signal.
- a first difference indicating a luminance difference of the pixels in the first pixel group is obtained using a luminance value of the pixels constituting the group, and a luminance value of the pixels constituting the second pixel group in the image signal is obtained.
- the parameter setting unit is configured such that when the resolution of the Nth frame determined by the determination unit is different from the resolution of the (N + 1) th frame, the N frame The image processing parameters for which the image processing parameters for the eye resolution are changed at a constant rate until the image processing parameters for the resolution of the (N + 1) th frame are obtained are sequentially output to the image processing unit.
- the parameter setting unit sets the image processing parameters respectively corresponding to the first resolution and the second resolution to the determination unit. According to the determination result, they are mixed at a predetermined ratio and output to the image processing unit.
- FIG. 1 is a block diagram illustrating a schematic configuration of the display device according to the first embodiment.
- FIG. 2 is a schematic diagram illustrating a display area of the display unit according to the first embodiment.
- FIG. 3A is a diagram illustrating a display example of an upscaled image.
- FIG. 3B is a diagram illustrating a display example of an image having the same resolution as the resolution of the display unit.
- FIG. 4A is a schematic diagram illustrating a pixel group used for resolution determination in the first embodiment.
- FIG. 4B is an enlarged view of a part of the pixels of the pixel group shown in FIG. 4A.
- FIG. 5 is a block diagram illustrating a configuration example of the image processing unit.
- FIG. 5 is a block diagram illustrating a configuration example of the image processing unit.
- FIG. 6 is a conceptual diagram illustrating a configuration example of the high-frequency extension unit illustrated in FIG. 5.
- FIG. 7 is a block diagram showing a schematic configuration of the high-frequency extension section shown in FIG.
- FIG. 8 is a block diagram showing a schematic configuration of the vertical high-pass filter section shown in FIG.
- FIG. 9 is a block diagram showing a schematic configuration of the horizontal high-pass filter section shown in FIG.
- FIG. 10 is a block diagram showing a schematic configuration of the nonlinear arithmetic unit shown in FIG.
- FIG. 11 is a block diagram illustrating a schematic configuration of a display device according to the second embodiment.
- FIG. 12 is a schematic diagram illustrating a pixel group used for resolution determination in the third embodiment.
- FIG. 13 is an enlarged view of a part of a pixel group used for resolution determination in the modification example (1).
- FIG. 14A is a schematic diagram illustrating a pixel group used for resolution determination in Modification (2).
- FIG. 14B is an enlarged schematic view of a part of the pixel group shown in FIG. 14A.
- FIG. 15 is a schematic diagram showing the positions of pixels used for resolution determination in the modification (3).
- FIG. 16A is a schematic diagram illustrating a second display area and a pixel group used for determination of resolution in Modification Example (8).
- FIG. 16B is a schematic diagram illustrating a second display area and a pixel group used for determination of resolution in Modification Example (8).
- An image processing apparatus uses a luminance value of a pixel in an image signal and determines a resolution of a content part in the image signal in units of frames, and a resolution determined by the determination unit. Accordingly, a parameter setting unit that sets image processing parameters used for image processing of the image signal, and the image signal is subjected to image processing using the image processing parameters set by the parameter setting unit, and displayed.
- the determination unit determines whether the resolution of the content portion is the first resolution or the second resolution according to the luminance difference of the pixels in the first pixel group located outside the second display area where the specific image is displayed. Determine if there is. Since the specific image is composed of pixels having a predetermined luminance value, whether or not the specific image is included in the image signal by determining the luminance difference of the pixels in the first pixel group, That is, it can be determined whether the resolution of the content portion is the first resolution or the second resolution. As a result, an image processing parameter suitable for the resolution of the content portion in the image signal can be set in the parameter setting unit, and an image in which the effect of the image processing is appropriately reflected can be displayed.
- the determination unit further determines the resolution of the content portion of the image signal in accordance with a luminance difference of the pixels in the second pixel group in the second display area. It may be determined whether the resolution is the first resolution or the second resolution.
- the determination unit includes the luminance difference between the pixels in the first pixel group outside the second display area in which the specific image is displayed, and the second display area in which the content portion is displayed. Whether the resolution of the content portion is the first resolution or the second resolution is determined according to the luminance difference between the pixels in the second pixel group. When the content portion is displayed at the first resolution, the luminance difference between the pixels constituting the content portion displayed outside the second display area may approximate the luminance difference between the pixels constituting the specific image. is there. Therefore, it is possible to reduce erroneous determination of resolution by determining the resolution of the content portion based on not only the luminance difference of the pixels in the first pixel group but also the luminance difference of the pixels in the second pixel group.
- the second display area is configured to be smaller than the first display area in the extending direction of at least one side constituting the first display area
- the first pixel group is located in the vicinity of each of two sides constituting a boundary of the second display region in a region where the first display region and the second display region do not overlap
- the second pixel group may be located in the vicinity of the first pixel group in the second display area.
- the determination unit determines whether the content portion corresponds to the luminance difference between the pixels in the first pixel group and the second pixel group located in the vicinity of the two sides serving as the boundary of the second display area. Determine the resolution. Therefore, the first pixel group and the second pixel group that are located away from the boundary of the second display region, or the first pixel group that is positioned near one side that forms the boundary of the second display region. Compared with the case where the resolution is determined according to the luminance difference between the pixels in the second pixel group, the erroneous determination of the resolution can be reduced.
- the luminance value of each pixel constituting the specific image is determined substantially uniformly, and the determination unit includes the first pixel in the image signal.
- a first difference indicating a luminance difference of the pixels in the first pixel group is obtained using a luminance value of the pixels constituting the group, and a luminance value of the pixels constituting the second pixel group in the image signal is obtained.
- the second resolution may be determined to satisfy the second threshold value that is greater than or equal to the threshold value, and may be determined to be the first resolution when the condition is not satisfied.
- the luminance difference of the pixels in the first pixel group located in the area where the specific image is displayed is the content.
- the luminance difference of the pixels in the second pixel group located in the area where the portion is displayed is smaller than the luminance difference of the pixels. Since the determination unit can perform resolution determination using the first threshold for the first difference and the second threshold larger than the first threshold for the second difference, the resolution of the content portion Can be determined by a simple configuration.
- the parameter setting unit may be sequentially output to the image processing unit by changing the image processing parameters for the resolution of a predetermined rate until the image processing parameters for the resolution of the (N + 1) th frame are reached.
- the parameter setting unit sets the image processing parameter for the resolution of the Nth frame as the image processing parameter for the resolution of the (N + 1) th frame even when the resolutions determined for the Nth frame and the N + 1th frame are different. Gradually change until it becomes a parameter. Therefore, even if the determination result of the resolution in the determination unit is an erroneous determination, it is possible to make it difficult for unnatural disturbance to occur in the image of the image signal.
- the parameter setting unit has each of the first resolution and the second resolution.
- Corresponding image processing parameters may be mixed at a predetermined ratio according to the determination result of the determination unit and output to the image processing unit.
- the parameter setting unit sets the image processing parameters obtained by mixing the image processing parameters corresponding to the first resolution and the second resolution at a ratio according to the determination result in the determination unit. Output. For this reason, even if the determined resolution is erroneous determination, it is possible to reduce defects that occur in the image as compared with the case where image processing is performed using only the image processing parameters of the erroneously determined resolution.
- scaling processing is performed according to the resolution of the image signal input to the display device, and image processing including sharpening processing is performed on the image signal after the scaling processing.
- the display device according to the present embodiment has an aspect ratio of 16: 9, for example.
- an image signal (aspect ratio is 4: 3) corresponding to a standard such as NTSC is input to the display device
- the display device converts the content portion in the image signal so that the aspect ratio of the display device is obtained by scaling processing. Enlarge and add an image such as a black belt to the left and right edges of the image of the content part.
- the display device performs image processing using an image processing parameter corresponding to the resolution of the content portion in the image signal.
- FIG. 1 is a block diagram illustrating a schematic configuration of a display device including an image processing device according to the present embodiment.
- the display device 1 is connected to an antenna 10, and includes an input unit 11, a Y / C (luminance signal / color difference signal) separation unit 12, a scaling unit 13, a parameter output unit 14, and an image format conversion unit 15. , A display unit 16 and an image processing unit 20.
- the parameter output unit 14 and the image processing unit 20 are an example of an image processing apparatus. Hereinafter, each part will be described.
- the antenna 10 receives a high frequency signal as a radio wave related to television broadcasting, for example, and outputs the received high frequency signal to the display device 1.
- a high frequency signal is input to the input unit 11 via the antenna 10.
- the input unit 11 extracts a modulation signal related to a designated channel from a high-frequency signal input from the antenna 10, and converts the extracted modulation signal into a modulation signal in a base frequency band.
- the input unit 11 outputs the converted modulation signal to the Y / C separation unit 12.
- the Y / C separation unit 12 demodulates the modulation signal input from the input unit 11 to generate an image signal, and separates the generated image signal into an analog luminance signal Y, a color difference signal Cb, and a color difference signal Cr.
- the Y / C separation unit 12 converts each separated signal from an analog signal to a digital signal at a predetermined sampling frequency.
- the Y / C separation unit 12 outputs an image signal including the converted digital luminance signal Y, color difference signal Cb, and color difference signal Cr to the scaling unit 13.
- the scaling unit 13 When the resolution (number of pixels) of the image signal input from the Y / C separation unit 12 is different from the resolution of the display unit 16, the scaling unit 13 is input so as to be equal to the resolution of the display unit 16. Adjust (scaling) the resolution of the image signal.
- the scaling unit 13 upscales the input image signal so that the resolution of the display unit 16 is obtained, and An image signal in which image data of a uniform color such as black is added to the end is generated. That is, an image signal is generated by adding a specific image composed of each pixel having a predetermined luminance value to an image P (hereinafter referred to as a content image) of a content portion in the image signal.
- the specific image added to the content image may be, for example, an image composed of image data of a specific color such as black or gray, or may be an image expressed in a specific display form such as a stripe or a lattice.
- any image may be used as long as it is composed of pixels having a predetermined luminance value and can be distinguished from the content image.
- an image composed of black image data hereinafter referred to as a black belt image
- the luminance value of each pixel is set to be approximately uniform is added to the content image.
- the scaling unit 13 performs downsampling on the input image signal.
- the scaling unit 13 performs scaling using a method such as a bicubic method or a bilinear method.
- the scaling unit 13 outputs the image signal whose resolution has been adjusted to the parameter output unit 14 and the image processing unit 20.
- the resolution of the input image signal is equal to the resolution of the display unit 16
- the input image signal is output to the parameter output unit 14 and the image processing unit 20.
- the parameter output unit 14 includes a determination unit 141 and a parameter setting unit 142.
- the determination unit 141 determines the resolution of the image signal output from the scaling unit 13.
- the parameter setting unit 142 outputs a parameter P (an example of an image processing parameter) corresponding to the determined resolution to the image processing unit 20.
- resolution H the resolution of the display unit 16
- P1 is output as the parameter P to the image processing unit 20
- P2 is used as the parameter P. Output to. Details of resolution determination processing in the determination unit 141 will be described later.
- the image processing unit 20 performs image processing on each pixel value in the image signal.
- the image processing unit 20 uses the parameter P output from the parameter output unit 14 to perform noise reduction and sharpening processing on the luminance signal Y of the image signal input from the scaling unit 13, thereby reducing noise and sharpening.
- a luminance signal Z indicating the processed image is generated.
- the image processing unit 20 updates the luminance signal Y input from the scaling unit 13 to the generated luminance signal Z, and synchronizes with the color difference signals Cb and Cr.
- the image processing unit 20 outputs an image signal including the luminance signal Z and the color difference signals Cb and Cr to the image format conversion unit 15. Details of the image processing unit 20 will be described later.
- the image format conversion unit 15 converts the format of the image signal input from the image processing unit 20.
- the image format conversion unit 15 converts the format of the image signal into a progressive signal.
- the interlace signal is a signal configured by performing horizontal scanning on pixels every other column, and is a signal in which the column to be scanned is different for each frame.
- a progressive signal is a signal formed by scanning a pixel in the horizontal direction for each column.
- the image format conversion unit 15 is an image signal (for example, RGB signal, red (R), green (G)) in which the input image signal or the image signal obtained by converting the format is represented in a color system corresponding to the display unit 16. , Blue (B) image signals including signal values of respective colors), and the converted image signals are output to the display unit 16.
- the display unit 16 includes a display including a display panel such as a liquid crystal panel.
- the display unit 16 displays an image represented by the image signal input from the image format conversion unit 15.
- the display area of the display unit 16 in the present embodiment will be described.
- the image signal is a first resolution that is a display target of the content image P in the first display area that is the entire display area of the display unit 16 or a first part that is a part of the first display area.
- the second display area is displayed on the display unit 16 at the second resolution (resolution S) for which the content image P is to be displayed.
- FIG. 2 is a schematic diagram showing a display area of the display unit 16.
- the display screen of the display unit 16 includes, for example, a display area 16A having an aspect ratio of 16: 9 and a resolution of 1920 ⁇ 1080 (resolution H).
- the display area 16A is an example of a first display area
- the resolution H is an example of a first resolution.
- the display area 16C sandwiched between the broken lines D1 and D2 is a display area corresponding to a standard such as NTSC, for example.
- the display area 16C has an aspect ratio of 4: 3 and a resolution of 720 ⁇ 540 (resolution S).
- the display area 16C is an example of a second display area, and the resolution S is an example of a second resolution.
- a black belt image is added to the content image P by the scaling unit 13.
- FIG. 3A is a diagram illustrating an example in which an image signal with a resolution S in which a black belt image is added to the content image P is displayed on the display unit 16.
- the content image P is displayed in the display area 16C, and black band images are displayed in the display areas 16L and 16R excluding the display area 16C in the display area 16A.
- an image signal with an aspect ratio of 16: 9 and resolution H is output as it is in the scaling unit 13.
- FIG. 3B is a diagram illustrating an example in which an image signal having a resolution H including the content image P is displayed on the display unit 16. As shown in FIG. 3B, the black belt image is not displayed, and only the content image P is displayed in the display area 16A.
- the determination unit 141 uses the luminance value of the image signal input from the scaling unit 13 to determine the resolution of the content portion (content image) included in the image signal in units of frames.
- the luminance value of the first pixel group located outside the second display area in the first display area is used to obtain the luminance difference of the pixels in the first pixel group, and the second display area Using the luminance value of the second pixel group located at, the luminance difference of the pixels in the second pixel group is obtained.
- the resolution H or resolution S is determined according to the luminance difference between the pixels in the first pixel group and the second pixel group.
- FIG. 4A is a schematic diagram showing the positions of pixels used for resolution determination in the display area shown in FIG.
- each pixel group in the areas PL, PCL, PR, and PCR indicated by the alternate long and short dash line, which is located in the vicinity of the broken lines D1 and D2 that are the boundaries between the display areas 16L and 16R and the display area 16C.
- the sizes of the regions PL, PCL, PR, and PCR are the same, and the number of pixels in each region is the same.
- the pixel group in the region PL is the first L pixel group
- the pixel group in the region PR is the first R pixel group
- the pixel group in the region PCL is the second L pixel group
- the pixel group in the region PCR is the second R pixel group.
- the first L pixel group and the first R pixel group are examples of the first pixel group
- the second L pixel group and the second R pixel group are examples of the second pixel group.
- the first pixel group and the second pixel group are located in a predetermined range from the side that becomes the boundary of the second display area.
- the display area 16A is the display target area of the content image P. That is, the luminance value corresponding to the content image is set for each pixel value in the display areas 16L, 16R, and 16C in the image signal.
- the display areas 16L and 16R are display target areas for black belt images
- the display area 16C is a display target area for content images. .
- a substantially uniform luminance value is set for each pixel in the display areas 16L and 16R in the image signal with the resolution S, and a luminance value corresponding to the content image is set for each pixel in the display area 16C in the image signal. . Therefore, in the case of an image signal of resolution S, there is a high possibility that the luminance difference in the display areas 16L and 16R is smaller than the luminance difference in the display area 16C where the content image is displayed.
- the determination unit 141 obtains, for each frame, a first difference indicating the luminance difference of the pixels in the first pixel group in the image signal and a second difference indicating the luminance difference of the pixels in the second pixel group. Then, it is determined whether the resolution of the content portion is the resolution H or the resolution S according to the first difference and the second difference.
- FIG. 4B is an enlarged view of the first L pixel group shown in FIG. 4A.
- the first L pixel group is composed of pixel groups in n + 1 rows (j to j + n) in the y-axis direction, out of two columns (i, i + 1) in the x-axis direction in the display region 16L.
- the first R pixel group, the second L pixel group, and the second R pixel group are similarly configured. That is, the first R pixel group is configured by a part of the two pixel groups in the x-axis direction in the display region 16R, similarly to the first L pixel group.
- the second L pixel group is configured by a part of two columns of pixel groups in the x-axis direction in the display region 16C, and is substantially line symmetrical with the first L pixel group across the boundary D1.
- the second R pixel group includes a part of two columns of pixel groups in the x-axis direction in the display region 16C, and is substantially line-symmetric with the first R pixel group across the boundary D2. It is in.
- each pixel group is composed of a part of two adjacent pixel groups in the x-axis direction (pixel group for n + 1 rows) in the display region in which each pixel is located. You may be comprised by all the pixels of a pixel group.
- the first difference is an integrated value (Sout1) obtained by integrating the difference of luminance values Y of two pixels adjacent in the x-axis direction in the first L pixel group for n + 1 rows, and x in the first R pixel group.
- the second difference is an integrated value (Sin1) obtained by integrating the difference of the luminance value Y of two pixels adjacent in the x-axis direction in the second L pixel group for n + 1 rows, and in the x-axis direction in the second R pixel group.
- an integrated value (Sin2) obtained by integrating the difference between the luminance values Y of two adjacent pixels for n + 1 rows.
- the integrated values Sout1, Sout2, Sin1, and Sin2 are obtained by the following equation (1).
- integrated values S are referred to as integrated values S.
- the determination unit 141 determines that the second difference (resolution S) is the second resolution when the first difference is less than the first threshold and the second difference is greater than or equal to the second threshold greater than the first threshold.
- resolution S the second difference
- An example of the determination method is shown below.
- the determination unit 141 determines the resolution of the image signal under the following conditions (i) to (iii). (I) When all of Sout1 ⁇ Tout, Sout2 ⁇ Tout, Uout ⁇ C are satisfied (ii) When (i) is satisfied and Sin1> Tin and Sin2> Tin are satisfied (iii) When (i) is satisfied, Sin1> Tin and Sin2 ⁇ Tin or When Sin1 ⁇ Tin and Sin2> Tin are satisfied
- Tout and C are arbitrary constants and have a relationship of Tout ⁇ C ⁇ 0.
- the above Tin is an arbitrary constant and has a relationship of Tin> Tout.
- Tout and C are examples of the first threshold value, and Tin is an example of the second threshold value.
- the determination unit 141 determines that the luminance difference between the first L pixel group and the first R pixel group is small and that the black belt image is likely to be displayed in the display regions 16L and 16R. It is determined whether it corresponds to (ii) or (iii). In the case of (ii) or (iii), the luminance difference in the display region 16L in the vicinity of the display region 16L or 16R that is the display target region of the black belt image is relatively larger than the luminance difference between the display regions 16L and 16R. Therefore, in this case, the determination unit 141 determines that the resolution of the image signal is the resolution S.
- the determination unit 141 determines that the resolution of the image signal is the resolution H when it does not correspond to (ii) or (iii).
- the condition (i) is not met, that is, when any one of the conditions (i) is not satisfied, the determination unit 141 determines that the resolution of the image signal is the resolution H.
- the degree of change by image processing is generally larger than in the case of resolution H, and parameter P2 is set to a larger value than parameter P1.
- the image processing unit 20 may be any unit that performs image processing on a pixel basis, and a configuration example thereof will be described below.
- FIG. 5 is a block diagram illustrating a configuration example of the image processing unit 20 in the present embodiment.
- the image processing unit 20 includes a contour direction detection unit 21, a low-pass filter unit 20 a, and a high-frequency extension unit 27.
- the contour direction detection unit 21 estimates the contour direction for each pixel based on the signal value (luminance value) for each pixel.
- the low-pass filter unit 20a filters the signal value of each pixel using the signal value of the reference pixel arranged in the contour direction of each pixel. This reference pixel is a pixel within a reference area determined in advance from each pixel.
- the high frequency extension unit 27 generates a high frequency component of the signal value of each pixel filtered by the low-pass filter unit 20a, and extends the frequency band of the signal value for each pixel. Details of each part will be described below.
- the contour direction detection unit 21 estimates the contour direction for each pixel based on the signal value for each pixel represented by the luminance signal Y input from the scaling unit 13.
- the contour direction is a direction orthogonal to the normal line of the contour line, that is, a tangential direction of the contour line.
- the contour line refers to a line indicating a space where the signal value is substantially constant, and may be a curve or a straight line. Therefore, the contour is not limited to a region where the signal value changes rapidly according to a change in position.
- the relationship between contour lines and signal values corresponds to the relationship between contour lines and elevation.
- the contour direction detection unit 21 calculates the contour direction ⁇ for each pixel based on, for example, the following equation (2) based on the difference value of the signal value in the horizontal direction or the vertical direction.
- the contour direction ⁇ is a counterclockwise angle with respect to the horizontal direction (x direction).
- x and y are horizontal and vertical coordinates, respectively.
- Y (x, y) is a signal value at coordinates (x, y). That is, the contour direction ⁇ is calculated as an angle that gives a tangent value obtained by dividing the partial differentiation of the signal value Y (x, y) in the x direction by the partial differentiation of the signal value Y (x, y) in the y direction.
- the Equation (2) can be derived from the relationship that the signal value Y (x, y) is constant even if the coordinates (x, y) are different.
- Gx (x, y) and Gy (x, y) represent partial differentiation in the x direction and partial differentiation in the y direction of the signal value Y (x, y), respectively.
- Gx (x, y) and Gy (x, y) may be referred to as x-direction partial differentiation and y-direction partial differentiation, respectively.
- the position (coordinates) of the pixel (i, j) indicates the barycentric point of the pixel.
- the variable a at the position of the pixel is represented as a (i, j) or the like.
- the contour direction detection unit 21 uses, for example, the following expressions (3) and (4), respectively, and the x-direction partial differential Gx (i, j) of the signal value Y (i, j) at each pixel (i, j). , Y-direction partial differential Gy (i, j) is calculated.
- i and j are integer values indicating indexes of the pixel of interest in the x direction and y direction, respectively.
- a pixel of interest is a pixel that attracts attention as a direct processing target.
- Wx (u ′, v ′) and Wy (u ′, v ′) indicate filter coefficients of the difference filter in the x direction and the y direction, respectively.
- u and v are integer values indicating indices of the reference pixel in the x and y directions, respectively.
- the reference pixel is a pixel within a range determined by a predetermined rule with the target pixel as a reference, and is a pixel that is referred to when processing the target pixel.
- the reference pixel includes a target pixel.
- the difference filter described above has filter coefficients Wx (u ′, v) for u ′, v ′ of 2n + 1 in the x direction and 2n + 1 in the y direction (total (2n + 1) (2n + 1)) reference pixels, respectively.
- Wx (u ′, v) for u ′, v ′ of 2n + 1 in the x direction and 2n + 1 in the y direction (total (2n + 1) (2n + 1)) reference pixels, respectively.
- n is an integer value greater than 1 (for example, 2).
- n is set to a value smaller than a predetermined maximum value, for example, an integer value equal to the enlargement rate, an integer value obtained by rounding up the digits after the decimal point of the enlargement rate, or any of these integer values. It is determined that the value is larger.
- the contour direction detection unit 21 quantizes and quantizes the contour direction ⁇ (i, j) calculated based on the calculated x-direction partial differential Gx (i, j) and y-direction partial differential Gy (i, j).
- a quantized contour direction D (i, j) representing the contour direction is calculated.
- the contour direction detection unit 21 uses, for example, the following equation (5) when calculating the quantized contour direction D (i, j).
- round (z) is a rounding function that gives an integer value obtained by rounding off the digits after the decimal point of the real number z.
- N d is a constant representing the number of quantized contour directions (number of quantized contour directions).
- the quantization contour direction number Nd is, for example, any value between 8 and 32.
- of the x-direction partial differential Gx (i, j) is smaller than a predetermined minute real value (for example, 10 ⁇ 6 ). Tan ⁇ 1 is ⁇ / 2.
- the quantized contour direction D (i, j) is represented by any integer from 0 to N d ⁇ 1 by rounding a value obtained by dividing the contour direction ⁇ by the quantization interval by ⁇ / N d. .
- the contour direction detection unit 21 outputs quantized contour direction information representing the calculated quantized contour direction D (i, j) to the direction evaluation unit 22 and the reference region load processing unit 23.
- the low-pass filter unit 20 a includes a direction evaluation unit 22, a reference region load processing unit 23, a preprocessing unit 24, a product-sum operation unit 25, and a synthesis operation unit 26.
- the direction evaluating unit 22 belongs to each reference region centered on the target pixel for each target pixel.
- the direction evaluation value of the reference pixel is calculated.
- the direction evaluation unit 22 determines the difference between the quantization contour direction D (i, j) of the target pixel (i, j) and the quantization contour direction D (u, v) of the reference pixel (u, v).
- the direction evaluation value of the reference pixel is determined so that the smaller the value is, the larger the direction evaluation value is.
- D (u, v) ⁇ D (i, j) is calculated.
- ) is determined as the maximum value 1.
- ) is determined as the minimum value 0.
- the direction evaluation unit 22 approximates the quantization contour direction D (i, j) for the target pixel (i, j) to the quantization contour direction D (u, v) for the reference pixel (u, v), that is, the difference.
- the direction evaluation value F ( ⁇ D) may be determined so as to increase as the absolute value
- ) 0. (
- the direction evaluation unit 22 determines the other quantization contour.
- a correction value is calculated by adding Nd to the direction value.
- the direction evaluation unit 22 calculates an absolute value for a difference value between the calculated correction value and one quantization contour direction.
- the intended direction evaluation value is determined by using the absolute value thus calculated as
- the size of the reference region to which the reference pixel (u, v) belongs may be 2n + 1 or larger than this number.
- the size of the reference region in the direction evaluation unit 22 may be different from the size of the reference region in the contour direction detection unit 21.
- the number of pixels in the horizontal direction and the vertical direction of the reference area in the direction evaluation unit 22 is 7 respectively, whereas the number of pixels in the horizontal direction and the vertical direction of the reference area in the contour direction detection unit 21 is 5 respectively. There may be.
- the direction evaluation unit 22 outputs direction evaluation value information representing the direction evaluation value F ( ⁇ D) of each reference pixel (u, v) to the product-sum calculation unit 25 for each pixel of interest (i, j).
- the reference region load processing unit 23 performs the pixel-of-interest (i, j) for each pixel of interest (i, j) based on the quantized contour direction D (i, j) for each pixel represented by the quantized contour direction information input from the contour direction detection unit 21.
- the reference area load information is defined in The reference area load information is a weighting factor R (D (i, j), u ′, v ′) for each reference pixel (u ′, v ′) belonging to a reference area centered on a certain target pixel (i, j). ). This weighting factor may be referred to as a reference area load.
- the size of the reference area in the reference area load processing unit 23 is determined in advance so as to be equal to the size of the reference area in the direction evaluation unit 22.
- the reference area load processing unit 23 weights R (D (i, j), u) of reference pixels in a direction in a predetermined range from the quantization contour direction D (i, j) of the target pixel (i, j). ', V') is set to a value larger than the weight coefficient of the reference pixel in the direction outside the range.
- the weight coefficient R (D (i, j), u ′, v ′) of the reference pixel (u ′, v ′) in the other direction is set to 0.
- the reference pixel in the quantization contour direction or the direction approximate to the direction from the target pixel is specifically a line segment extending in the quantization contour direction from the center of the target pixel (i, j) passes through the region.
- the reference area load processing unit 23 may determine the weighting coefficient so that the reference pixel (u ′, v ′) having a longer distance through which the line segment passes through the area becomes larger.
- the reference region load processing unit 23 includes a storage unit that stores in advance reference region load information representing the weight coefficient of each reference pixel calculated in advance in association with the quantized contour direction information.
- the reference area load processing unit 23 reads the reference area load information corresponding to the quantized contour direction represented by the input quantized contour direction information from the storage unit.
- the reference area load processing unit 23 outputs the reference area load information determined for each pixel of interest (i, j) to the product-sum operation unit 25.
- the preprocessing unit 24 for each pixel of interest (i, j), from the luminance signal Y input from the scaling unit 13, each reference pixel (u, j) belonging to a reference region centered on the pixel of interest (i, j). A luminance signal representing the signal value Y (u, v) of v) is extracted. The preprocessing unit 24 subtracts the signal value Y (i, j) of the pixel of interest from the signal value Y (u, v) of the reference signal represented by the extracted luminance signal, and obtains the difference signal value Y (u, v) ⁇ Y (i, j) is calculated.
- the preprocessing unit 34 generates a difference signal representing the calculated difference signal value, and outputs the generated difference signal to the product-sum operation unit 35.
- the size of the reference region in the preprocessing unit 24 is determined in advance so as to be equal to the size of the reference region in the direction evaluation unit 22 and the reference region load processing unit 23.
- the product-sum operation unit 25 receives direction evaluation value information from the direction evaluation unit 22, reference region load information from the reference region load processing unit 23, and difference signal from the preprocessing unit 34. Entered.
- the product-sum operation unit 25 receives a parameter P (P1 or P2) corresponding to the resolution of the image signal from the parameter output unit 14.
- the product-sum operation unit 25 performs the direction evaluation value F (
- a smoothing difference value ⁇ Y (i, j) is calculated by multiply-adding the reference region load R (D (i, j), u ′, v ′) represented by the information.
- the product-sum operation unit 35 uses, for example, the following equation (6) when calculating the smoothed difference value ⁇ Y (i, j).
- Expression (6) is obtained by calculating the direction evaluation value F (
- Expression (6) represents that the smoothed difference value ⁇ Y (i, j) is calculated by dividing the calculated sum by the reference area N (i, j).
- the product-sum operation unit 25 multiplies the calculated smoothing difference value ⁇ Y (i, j) by the parameter P (P1 or P2) input from the parameter output unit 14.
- the product-sum operation unit 25 generates a smoothed difference signal representing the smoothed difference value multiplied by the parameter P, and outputs the generated smoothed difference signal to the synthesis operation unit 26.
- the synthesis calculation unit 26 receives the smoothed difference signal ⁇ Y (i, j) from the product-sum calculation unit 25 and the luminance signal Y (i, j) from the scaling unit 13.
- the synthesis calculation unit 26 adds (synthesizes) the smoothed difference value ⁇ Y (i, j) and the signal value Y (i, j) represented by the luminance signal Y to obtain a low-pass signal value Y ′′ (i, j, j) is output.
- the low-pass signal value Y ′′ (i, j) is output to the high frequency extension unit 27 as the luminance signal Y ′′.
- FIG. 6 is a conceptual diagram illustrating a configuration example of the high-frequency extension unit 27 according to the present embodiment.
- the high-frequency extension unit 27 includes k (k is an integer greater than 1 or 1) nonlinear filter units 28-1 to 28-k, an exclusion processing calculation unit 271, and a synthesis calculation unit 29.
- the non-linear filter units 28-1 to 28-k calculate high-frequency component values for the low-pass signal value Y ′′ (i, j) of each pixel represented by the input luminance signal Y ′′. Then, the nonlinear filter units 28-1 to 28-k output the calculated high-frequency component values to the exclusion processing calculation unit 271.
- the nonlinear filter units 28-1 to 28-k include linear filter units 281-1 to 281-k and nonlinear operation units 282-1 to 282-k, respectively.
- the linear filter units 281-1 to 281-k extract components representing line drawings (for example, contours) each facing a predetermined direction.
- the linear filter units 281-1 to 281-k output direction component signals representing the extracted components to the non-linear operation units 282-1 to 282-k, respectively.
- the non-linear operation units 282-1 to 282-k perform non-linear operation on the signal values represented by the direction component signals input from the linear filter units 281-1 to 281-k, respectively, to calculate non-linear output values.
- the non-linear operation units 282-1 to 282-k generate direction component signals represented by the calculated non-linear output values, and output the generated direction component signals to the synthesis operation unit 29, respectively.
- the nonlinear calculation performed by the nonlinear calculation units 282-1 to 282-k is, for example, a high-order function f (W) of the input signal value W.
- f (W) is, for example, sgn (W)
- sgn (Q) represents a sign function of a real number Q. That is, sgn (Q) is a function that gives 1 when Q is larger than 0, gives ⁇ 1 when Q is smaller than 0, and gives 0 when Q is 0. Since these functions are odd functions, the output value includes odd-order harmonic components.
- the synthesis operation unit 29 adds (synthesizes) each input high frequency component value, and further adds (synthesizes) the low-pass signal value Y ′′ (i, j) of each pixel to generate a high frequency extended signal value Z ( i, j) is calculated.
- the composition calculation unit 29 generates a luminance signal Z representing the calculated high-frequency extension signal value Z (i, j).
- FIG. 7 is a block diagram illustrating a schematic configuration of the high-frequency extension unit 27.
- the high frequency extension unit 27 generates a harmonic component of a component representing a line drawing in the vertical direction and the horizontal direction.
- the high-frequency extension unit 27 includes two nonlinear filter units 28-v and 28-h, an exclusion processing calculation unit 271, and a synthesis calculation unit 29. That is, the nonlinear filter units 28-v and 28-h are examples of the above-described nonlinear filter units 28-1 and 28-2.
- the non-linear filter unit 28-v generates a directional component signal representing a vertical line drawing based on the luminance signal Y ′′ input from the synthesis calculation unit 26.
- the non-linear filter unit 28-v includes a vertical high-pass filter unit 281-v and a non-linear operation unit 282-v.
- the vertical high-pass filter unit 281-v and the horizontal high-pass filter unit 281-h are one mode of the above-described linear filter unit 281-1 and the like.
- the vertical high-pass filter unit 281-v extracts a component representing a line drawing facing in the vertical direction, and outputs a vertical direction component signal Wv representing the extracted component to the non-linear operation unit 282-v.
- the horizontal high-pass filter unit 281-h extracts a component representing a line drawing facing in the horizontal direction, and outputs a horizontal direction component signal W h representing the extracted component to the non-linear operation unit 282-h.
- the nonlinear operation units 282-v and 282-h are one mode of the above-described nonlinear operation unit 282-1 and the like.
- the nonlinear arithmetic units 282-v and 282-h are respectively described in the signal values represented by the direction component signals W v and W h input from the vertical high pass filter unit 281-v and the horizontal high pass filter unit 281-h.
- Perform non-linear operation The nonlinear arithmetic units 282-v and 282-h generate vertical high-frequency component values NL v and horizontal high-frequency component values NL h represented by the calculated nonlinear output values, respectively, and the generated vertical high-frequency component values NL v and horizontal
- the direction high-frequency component value NL h is output to the composition calculation unit 29.
- the composition calculation unit 29 has the same configuration as the composition calculation unit 29 described above.
- FIG. 8 is a schematic diagram showing the configuration of the vertical high-pass filter unit 281-v.
- the vertical high-pass filter unit 281-v includes a delay memory 2811-v, a filter coefficient memory 2812-v, a multiplication unit 2813-v, and a synthesis operation unit 2814-v.
- the delay memory 2811-v multiplies each of the delayed signals obtained by delaying the low-pass signal value based on the input luminance signal Y ′′ by Wx, 2 ⁇ Wx,..., (2n + 1) ⁇ Wx samples.
- output to v. Wx is the number of pixels in the horizontal direction included in one frame image. Therefore, the signal values of 2n + 1 pixels that are adjacent to each other in the vertical direction around the target pixel are output to the multiplier 2813-v.
- the delay memory 2811-v includes 2n + 1 delay elements 2811-v-1 to 2811-v-2n + 1 for delaying the input signal by Wx samples.
- the delay elements 2811-v-1 to 2811-v-2n + 1 are respectively connected in series.
- the luminance signal Y ′′ is input to one end of the delay element 2811-v-1, and the other end of the delay element 2811-v-1 is connected to the delay unit 2813-v by the delayed signal delayed by Wx samples and the delay element 2811. -Output to one end of v-2.
- each of the delay elements 2811-v-2 to 2811-v-2n + 1 receives a delay signal delayed by Wx to 2n ⁇ Wx samples from the other end of each of the delay elements 2811-v-1 to 2811-v-2n. .
- the other ends of the delay elements 2811-v-2 to 2811-v-2n are delayed signals delayed by 2 ⁇ Wx to 2n ⁇ Wx samples, respectively, by a multiplier 2813-v and delay elements 2811-v-3 to 2811-v.
- the other end of the delay element 2811-v-2n + 1 outputs the delayed signal delayed by (2n + 1) ⁇ Wx samples to the multiplier 2813-v.
- the filter coefficient memory 2812-v includes 2n + 1 storage elements 2812-v-1 to 2812-v-2n + 1.
- the storage elements 2812-v-1 to 2812-v-2n + 1 store filter coefficients a L + n to a L ⁇ n , respectively.
- the multiplication unit 2813-v includes 2n + 1 multipliers 2813-v-1 to 2813-v-2n + 1.
- the multipliers 2813-v-1 to 2813-v-2n + 1 store the signal values input from the delay elements 2811-v-1 to 2811-v-2n + 1 and the storage elements 2812-v-1 to 2812-v-2n + 1.
- the obtained filter coefficients a L + n to a L ⁇ n are respectively multiplied.
- Multipliers 2813-v-1 to 2813-v-2n + 1 output the multiplication values obtained by the multiplication to synthesis operation unit 2814-v, respectively.
- the synthesis operation unit 2814-v adds the multiplication values respectively input from the multipliers 2813-v-1 to 2813-v-2n + 1 to calculate a synthesis value.
- the calculated combined value is a value obtained by multiplying and adding the filter coefficients a L + n to a L ⁇ n to the signal values of 2n + 1 pixels adjacent to each other in the vertical direction around the target pixel.
- Combining unit 2814-v outputs the vertical component signal W v representing the calculated composite value to the nonlinear operator 282-v.
- FIG. 9 is a schematic diagram showing the configuration of the horizontal high-pass filter unit 281-h.
- the horizontal high-pass filter unit 281-h includes a delay memory 2811-h, a filter coefficient memory 2812-h, a multiplication unit 2813-h, and a synthesis operation unit 2814-h.
- the configurations of the delay memory 2811-h, the filter coefficient memory 2812-h, the multiplication unit 2813-h, and the synthesis operation unit 2814-h are the same as the above-described delay memory 2811-v, filter coefficient memory 2812-v, multiplication unit 2813-v, and This is the same as the composition calculation unit 2814-v.
- the delay memory 2811-h does not use the delay elements 2811-v-1 to 2811-v-2n + 1 that delay the input signal by Wx samples, but delay elements 2811-h-1 to 2811-h-1 to delay the input signal by one sample. There are 2n + 1 2811-h-2n + 1.
- the filter coefficient memory 2812-h includes storage elements 2812-h-1 to 2812-h-2n + 1 instead of the storage elements 2812-v-1 to 2812-v-2n + 1.
- the storage elements 2812-h-1 to 2812-h-2n + 1 store filter coefficients a D + n to a D ⁇ n , respectively.
- the composition calculation unit 2814-h calculates a value obtained by multiplying and adding the filter coefficients a D + n to a D ⁇ n to the signal values of 2n + 1 pixels that are adjacent to each other in the horizontal direction around the target pixel.
- the synthesis calculation unit 2814-h outputs a horizontal direction component signal W h representing the calculated synthesis value to the nonlinear calculation unit 282-h.
- the filter coefficients a L ⁇ n , a L ⁇ n + 1 , to a L + n are high-pass filter coefficients that realize a high-pass filter by a product-sum operation with a signal value. Note that the total value of the filter coefficients a L + n to a L ⁇ n and the total value of the filter coefficients a D + n to a D ⁇ n are 0, that is, the transfer function of the DC component is 0. As a result, a DC component is not included in the calculated composite value.
- the filter coefficients a L + n to a L ⁇ n pass through a frequency component higher than a spatial frequency lower by a predetermined frequency f than the Nyquist frequency f nyq ′ of the luminance signal before expansion (high-pass Characteristic).
- the Nyquist frequency f nyq ′ of the luminance signal before enlargement is a frequency obtained by dividing the sampling frequency frequency f s of the luminance signal to be processed by 2n (n is an enlargement rate).
- the filter coefficients a L + 3 , a L + 2 , a L + 1 , a L , a L ⁇ 1 , a L ⁇ 2 , and a L ⁇ 3 are ⁇ 0.0637, 0.0, 0.5732, ⁇ 0. 0189, 0.5732, 0.0000, and -0.0637.
- the filter coefficients a D + 3 , a D + 2 , a D + 1 , a D , a D ⁇ 1 , a D ⁇ 2 , and a D ⁇ 3 are filter coefficients a L + 3 , a L + 2 , a L + 1 , a L , a L ⁇ 1 , A L ⁇ 2 , and a L ⁇ 3 may have the same high-pass characteristics.
- FIG. 10 is a schematic diagram illustrating the configuration of the nonlinear arithmetic unit 282-A.
- the non-linear operation unit 282-A includes an absolute value calculation unit 2821-A, a power operation unit 2822-A, a filter coefficient memory 2823-A, a multiplication unit 2824-A, a synthesis operation unit 2825-A, a code detection unit 2826-A, and A multiplier 2827-A is included.
- the non-linear operation unit 282 -A is an odd function sgn
- l ) is output as the nonlinear output value NL A.
- c 1 , c 2 ,..., c 1 are 1, 2,.
- the absolute value calculating unit 2821-A calculates the absolute value
- the power calculation unit 2822-A includes l ⁇ 1 multipliers 2822-A-2 to 2822-A ⁇ 1, and uses the absolute value
- Multiplier 2822-A-2 calculates absolute square value
- the multiplier 2822-A-2 outputs the calculated absolute square value
- Multipliers 2822-A-3 to 2822-A-1-1 are absolute square values
- to l-2 the absolute value calculating unit 2821-a is input from the absolute value
- the multipliers 2822-A-3 to 2822-Al-1 use the calculated absolute cube values
- the data is output to A-l and the multiplier 2824-A.
- the multiplier 2822-A-l receives the absolute l-1 power value
- the multiplier 2822-A-l outputs the calculated absolute l-th power value
- the filter coefficient memory 2823-A includes l storage elements 2823-A-1 to 2823-A-l.
- the multiplication unit 2824-A includes l multipliers 2824-A-1 to 2824-A-l.
- Multipliers 2824-A-1 ⁇ 2824- A-l the absolute value is input from the respective power calculating section 2822-A
- Multipliers 2824-A-1 to 2824-A-l output the calculated multiplication values to synthesis operation unit 2825-A, respectively.
- the synthesis calculation unit 2825-A adds the multiplication values respectively input from the multipliers 2824-A-1 to 2824-A-1 to calculate a synthesis value.
- the combination calculation unit 2825-A outputs the calculated combination value to the multiplication unit 2827-A.
- the sign detection unit 2826-A detects the sign of the signal value W indicated by the direction component signal respectively input from the linear filter unit 281-1 or the like, that is, positive / negative. When the signal value is smaller than 0, the code detection unit 2826-A outputs ⁇ 1 as a code value to the multiplication unit 2827-A. When the signal value is 0 or larger than 0, the code detection unit 2826-A outputs 1 as the code value to the multiplication unit 2827-A.
- the multiplier 2827-A multiplies the combined value input from the combining calculator 2825-A and the code value input from the code detector 2826-A to calculate the high frequency component value NL A.
- the multiplier 2827 -A outputs the calculated high frequency component value to the composition calculator 29.
- the nonlinear arithmetic unit 282-A having the above-described configuration has a relatively large circuit scale, but can adjust the output high-frequency component value using a small number of coefficients. If the coefficient values c 1 to c l ⁇ 1 other than the highest order l are 0, the configuration related to the product-sum operation of these orders may be omitted.
- the details of the image processing unit 20 are as described above.
- image processing is performed using parameters according to the resolution of the content portion included in the image signal input to the image processing unit 20.
- the image processing unit 20 performs smoothing processing more strongly than the resolution H and sharpens. Processing is performed, and a clearer content image can be displayed.
- the smoothing process is performed weaker than the resolution S and the sharpening process is performed. A phenomenon such as crushing hardly occurs, and a more appropriate image processing effect can be obtained.
- Second Embodiment In the first embodiment, an example in which image processing is performed using a parameter corresponding to the determined resolution has been described. In the present embodiment, an example will be described in which a parameter obtained by mixing parameters according to each resolution is applied to image processing according to a determination result.
- the same components as those in the first embodiment are denoted by the same reference numerals as those in the first embodiment, and different parts from the first embodiment will be described.
- FIG. 11 is a block diagram illustrating a configuration example of the display device according to the present embodiment.
- the parameter output unit 14A of the display device 1A includes a determination unit 141 and a parameter setting unit 142A.
- the parameter setting unit 142A generates a parameter P ′ by mixing parameters of each resolution with a predetermined weight according to the resolution determined by the determination unit 141, and outputs the parameter P ′ to the image processing unit 20. To do.
- the weight for the parameter P2 of the resolution S is ⁇ (0 ⁇ ⁇ 1)
- the weight for the parameter of the resolution may be set according to the condition that led to the determination of the resolution, that is, the condition (i) to (iii) described above. Specifically, when it is determined that the resolution S is satisfied by satisfying the conditions (i) and (ii), and when it is determined that the resolution S is satisfied by satisfying the conditions (i) and (iii)
- the weight ⁇ for the parameter P2 may be changed. That is, when the luminance difference between the first L pixel group and the first R pixel group is less than the first threshold value and the luminance difference between the second L pixel group and the second R pixel group is equal to or larger than the second threshold value, the second L pixel group.
- the black band image is more likely to be displayed than when the luminance difference in the second R pixel group is equal to or greater than the second threshold. Therefore, the weighting ⁇ for the parameter P2 of the resolution S is set to be higher when the condition (i) (iii) is satisfied than when the condition (i) (iii) is satisfied.
- the weighting ⁇ for the parameter P1 may be changed. That is, if the luminance difference between the first L pixel group and the first R pixel group is equal to or greater than the first threshold value, the luminance difference between the first L pixel group and the first R pixel group is less than the first threshold value, and the second L pixel group There is a higher possibility that the black belt image is not displayed in the display areas 16L and 16R than when the luminance difference between the second R pixel groups is less than the second threshold. Therefore, the weighting ⁇ for the parameter P1 of the resolution H satisfies the condition (i) and is higher when the condition (i) is not satisfied than when the conditions (ii) and (iii) are not satisfied. Set to.
- the weights for the resolution parameters are set according to the conditions that are met when the resolution is determined. For example, the resolution is determined using the above conditions in advance, and the determination accuracy is verified. Based on this, the weighting for each resolution parameter may be set in advance. In short, the weight determined according to the resolution determination result may be set for the parameter of each resolution.
- the parameters weighted and mixed with the parameters of each resolution are input to the image processing unit 20. Therefore, when the resolution is erroneously determined, it is possible to reduce image defects caused by the image processing as compared with the case where the image processing is performed using the erroneously determined resolution parameter.
- FIG. 12 is a schematic diagram showing a display area in the present embodiment.
- D3 and D4 indicated by broken lines indicate the boundaries of the display target area of the content image corresponding to, for example, aspect ratio (4: 3) and resolution (720 ⁇ 576) (hereinafter referred to as resolution V).
- the display area 16L includes display areas 16L1 and 16L2 separated by a boundary D3.
- the display area 16R includes display areas 16R1 and 16R2 separated by a boundary D4.
- the display area 16B is a display target area for the content image
- the display areas 16L1 and 16R1 are display target areas for the black belt image.
- the display area 16B is an example of a second display area corresponding to the resolution V.
- the pixel group is used for determining the resolution.
- the sizes of the regions PL1, PL2, PCL, PR1, PR2, and PCR are the same, and the number of pixels in each region is the same.
- the pixel group in the region PL1 is referred to as a first LA pixel group
- the pixel group in the region PL2 is referred to as a first LB pixel group.
- the pixel group in the region PR1 is referred to as a first RA pixel group, and the pixel group in the region PR2 is referred to as a first RB pixel group.
- the pixel groups in the areas PCL and PRL in the display area 16C are referred to as a second L pixel group and a second R pixel group, as in the first embodiment.
- the resolution determination unit 14 uses two pixels adjacent to each other in the x-axis direction for each of the first LA pixel group, the first LB pixel group, the first RA pixel group, and the first RB pixel group in the determination unit 141.
- the integrated values S (Sout1LA, Sout1LB, Sout1RA, Sout1RB) are respectively calculated using the luminance values.
- the difference (UoutA
- a difference (UoutB
- ) between the sum (Uout1LB) of the brightness values Y of the pixel group and the sum (Uout1RB) of the brightness values Y of the first RB pixel group is calculated.
- the integrated value Sin1 is calculated for the second L pixel group, and the integrated value Sin2 is calculated for the second R pixel group. Then, the determination unit 141 determines the resolution of the content portion in the image signal under the following conditions (I) to (III).
- Condition (I) is that each luminance difference of the pixels in the first LA pixel group, the first LB pixel group, the first RA pixel group, and the first RB pixel group in the display areas 16L and 16R is less than the first threshold value, This is a case where each luminance difference of the pixels in the second R pixel group and the second L pixel group is equal to or greater than the second threshold value. Accordingly, when the condition (I) is satisfied, the determination unit 141 determines that the resolution is S because the black belt image is highly likely to be displayed in the display areas 16L and 16R.
- Condition (II) is a case where the luminance difference between the pixels in the first LA pixel group and the first RA pixel group is equal to or greater than the first threshold value. Accordingly, when the condition (II) is satisfied, the determination unit 141 determines that the resolution is H because the display region 16A is likely to be the display target region of the content image.
- Condition (III) is that the luminance difference between the pixels in the first LA pixel group and the first RA pixel group is less than the first threshold, and at least the luminance difference between the pixels in the first LB pixel group and the first RB pixel group is greater than or equal to the first threshold. Or it is a case where the brightness
- the resolution V is determined by determining the luminance difference between the pixels in the first LA pixel group and the first RA pixel group located in the display areas 16L1 and 16R1, the first LB pixel group located in the display area 16B, and Whether the resolution is V or not is determined according to each luminance difference of the pixels in the first RB pixel group or each luminance difference of the pixels in the second L pixel group and the second R pixel group located in the display area 16C.
- the parameter setting unit 142 outputs the parameter P1 corresponding to the resolution H to the image processing unit 20 when the determined resolution is the resolution H, and the resolution S when the determined resolution is the resolution S. Is output to the image processing unit 20. If the determined resolution is the resolution V, the parameter P3 corresponding to the resolution V is output to the image processing unit 20. Note that the values of the parameters P1, P2, and P3 are set to satisfy P1 ⁇ P3 ⁇ P2.
- the first L pixel group, the first R pixel group, the second L pixel group, and the second R pixel group are configured by a part of two columns of pixel groups in the x-axis direction of the display area.
- it may be configured by a part or all of a pixel group of four columns x1 to x4.
- the integrated value S may be calculated with respect to and the total value of the integrated values S of each set may be calculated as Sout or Sin, or at least one set of integrated values S may be Sout or Sin.
- the display area 16A is an example of a display target area of the content image in the case of the first resolution
- the display area 16C ′ is a content image in the case of the second resolution.
- the display areas 16U and 16D are examples of black band image display target areas in the case of the second resolution.
- a pixel group is used for resolution determination.
- the areas PU, PD, PCU, and PCD have the same size and the same number of pixels.
- the pixel group in the region PU and the region PD is an example of a first pixel group
- the pixel group in the region PCU and the region PCD is an example of a second pixel group.
- FIG. 14B is an enlarged schematic view of a part of the pixel group in the region shown in FIG. 14A.
- the integrated value S ′ in each pixel group is calculated by the following equation (7). That is, in this case, the difference between the luminance values of two pixels adjacent in the y-axis direction is calculated, and the difference values are integrated for the columns in the x-axis direction.
- each pixel group is used as a determination target in each of the left and right display areas 16L and 16R of the display screen.
- pixel groups in a plurality of predetermined regions (PL11, PL12, PR11, PR12) in the display regions 16L and 16R may be used for the determination.
- Each pixel group may be a part or all of one column of pixel groups in the display regions 16L and 16R, or may be a part or all of two columns of pixel groups.
- the pixel group in the region PL11 is referred to as a first La pixel group
- the pixel group in the region PL12 is referred to as a first Lb pixel group
- the pixel group in the region PR11 is referred to as a first Ra pixel group
- the pixel group in the region PR12 is referred to as a first Rb pixel group.
- the determination unit 141 obtains an integrated value of differences in luminance values of pixels located in the same row. In this case, the determination unit 141 determines the resolution under the same conditions (i) to (iii) as in the first embodiment.
- the determination unit 141 obtains the integrated value S for each pixel group in the same manner as in the first embodiment.
- the integrated value S for the first La pixel group is Sout1La
- the integrated value S for the first Lb pixel group is Sout1Lb
- the integrated value S for the first Ra pixel group is Sout1Ra
- the integrated value S for the first Rb pixel group is Sout1Rb.
- the determination unit 141 obtains integrated values Sin1 and Sin2 for the second L pixel group and the second R pixel group in the display area 16C.
- the determination unit 141 determines the difference (Uout11) between the total luminance value of the first La pixel group and the total luminance value of the first Lb pixel group, and the total of the luminance values of the first Ra pixel group and the luminance value of the first Rb pixel group. And the difference (Uout12). Then, the determination unit 141 performs resolution determination using the following conditions (X) to (Z).
- the determination unit 141 determines that the resolution of the image signal is the resolution S.
- the display regions 16L and 16R and the display region 16C near the display regions 16L and 16R have luminance.
- the resolution of the image signal is the resolution H.
- the determination unit 141 determines that the resolution of the image signal is the resolution H.
- the resolution determination unit 14 may be configured to have the function of the parameter setting unit 142A in the second embodiment. That is, in the third embodiment, the parameters for each resolution may be weighted to generate a mixed parameter and output to the image processing unit 20.
- the parameter setting unit 142 uses the resolution parameter determined for the previous frame as the resolution parameter determined for the subsequent frame. You may make it produce
- the parameter P1 of the resolution H and the parameter P2 of the resolution S are set for a certain time.
- the mixed parameters may be sequentially generated by changing at a predetermined ratio.
- the parameter setting unit 142A may generate the parameter P by the following equation (8).
- t represents weighting, and is increased at a constant rate according to time from 0 to s.
- the parameter setting unit 142A may generate the parameter as follows.
- the parameter setting unit 142A weights the resolution H parameter P1, the resolution S parameter P2, and the resolution V parameter P3 that change at regular intervals, and sequentially generates a parameter obtained by mixing these parameters. To do.
- the parameter is generated by the following equation (9).
- Equation (9) t and r represent weights, and are increased at a constant rate according to time from 0 to s1 and s2, respectively.
- the resolution of the image signal is the resolution H
- the brightness difference of the content image may be small and it may be determined as the resolution S or the resolution V.
- the image processing is not appropriately performed. Therefore, when the resolution determined for the previous frame is the resolution H and the resolution determined for the subsequent frame is the resolution S or the resolution V, the resolution S or the resolution V is determined within a predetermined time. Until then, the parameters obtained by mixing the parameters using the above equation (9) are output to the image processing unit 20. Then, when the resolution of the frame determined within the predetermined time is the resolution S or the resolution V, the parameter corresponding to the resolution S or V is output to the image processing unit 20.
- the weights t and r in the above formula (9) are set to constant ratios from s1 and s2 to 0, respectively. May be reduced to return to the resolution H parameter P1.
- the determination unit 141 calculates, as the first difference, the luminance values of the pixels for one column in the first L pixel group and the pixels for one column in the first R pixel group. You may make it obtain
- the resolution of the content portion of the image signal may be determined according to the difference in the luminance values of the pixels constituting the first pixel group. Although the resolution determination accuracy is lower than in the first embodiment and the third embodiment, the determination process can be speeded up compared to the first embodiment and the third embodiment.
- the second display area (display area 16C) is configured to be smaller than the first display area (display area 16A) in the x-axis direction. That is, in the first embodiment, the second display area is configured to be smaller than the first display area in the extending direction of one side constituting the first display area, and the two sides D1 serving as the boundary of the second display area , D2 is an example in which the first pixel group and the second pixel group located in the vicinity of D2 are provided, but the following configuration may be used.
- the second display area is configured to be smaller than the first display area in the extending direction of the two sides constituting the first display area, and the first pixel group is in the vicinity of the two sides serving as the boundary of the second display area
- the second pixel group only needs to be positioned in the vicinity of the first pixel group. Such an example is shown in FIGS. 16A and 16B.
- two sides D1 'and D2' indicated by broken lines are boundaries of the display region 16C '.
- the display area 16C ' is an example of a second display area corresponding to the second resolution.
- four sides D11 ', D12', D21 ', D22' indicated by broken lines are boundaries of the display region 16C '.
- the display area 16C ' is an example of a second display area corresponding to the second resolution.
- the display area 16A in FIGS. 16A and 16B is an example of a first display area corresponding to the first resolution, as in the first embodiment.
- the display area 16F is an area where the display area 16A and the display area 16C ′ do not overlap, that is, outside the second display area, and is displayed when the content portion in the image signal is displayed at the second resolution. This is an area where a band image (specific image) is displayed.
- pixel groups 16F-1 and 16F-2 located in the vicinity of the sides D1 ′ and D2 ′ serving as the boundary of the display area 16C ′ are set as the first pixel group.
- pixel groups 16C'-1 and 16C'-2 located in the vicinity of the pixel groups 16F-1 and 16F-2 are set as the second pixel group.
- the present invention can be industrially used as an image processing apparatus provided in a display device such as a television.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
入力される画像信号におけるコンテンツ部分の解像度に適した画像処理を行う。画像処理装置は、画像処理部に入力される画像信号に含まれるコンテンツ部分の解像度を判定する判定部と、判定された解像度に応じた画像処理用パラメータを設定して画像処理部に出力するパラメータ設定部と、入力された画像処理用パラメータを用い、画像信号に画像処理を行う画像処理部とを備える。画像信号は、表示部において、表示領域の全体である第1の表示領域に対応する第1の解像度、又は表示領域の一部である第2の表示領域に対応する第2の解像度で表示される。コンテンツ部分が第2の解像度で表示される場合、第2の表示領域外に表示される特定の画像が画像信号に含まれる。判定部は、第2の表示領域外に位置する第1の画素群における画素の輝度差に応じて、コンテンツ部分の解像度が第1の解像度であるか第2の解像度であるか判定する。
Description
本発明は、画像処理装置に関し、特に、入力される画像信号に適した画像処理を行う技術に関する。
特開2010-200112号公報には、入力される映像信号の周波数帯域情報をフレーム単位にリアルタイムで取得することで、フレーム毎に映像信号の特徴に応じた最適な鮮鋭化処理を行う鮮鋭化処理装置が開示されている。この鮮鋭化処理装置は、1フレーム毎に映像信号の周波数成分のヒストグラムを検出する。そして、映像信号に含まれる高域成分と低域成分の相対的な割合に応じて、フレーム単位に鮮鋭感を自動調整する。
ところで、入力される画像信号に含まれるコンテンツ部分の画像の解像度が表示装置の画面解像度と異なる場合に、表示装置においてコンテンツ部分の画像を拡大又は縮小し、表示領域の上下端又は左右端に黒帯等の画像を付加して表示することがある。また、放送局側において予め定めた規格に基づく解像度となるように、コンテンツ部分の画像に黒帯等の画像を付加した画像信号が表示装置に入力される場合がある。入力される画像信号のコンテンツ部分の解像度に関わらず、例えば表示装置の画面解像度に適した鮮鋭化処理を画像信号に対して行うと、鮮鋭化の効果が適切に得られないことがある。つまり、コンテンツ部分の解像度が表示装置の画面解像度より低解像度である画像信号に対し、表示装置の画面解像度に適した鮮鋭化処理を行うと、コンテンツ部分の画像の輪郭が強調されない場合がある。他方、コンテンツ部分の解像度が表示装置の画面解像度より高解像度である場合、表示装置の画面解像度に適した鮮鋭化処理を行うとコンテンツ部分の輪郭がつぶれてしまう場合がある。
本発明は、入力される画像信号に含まれるコンテンツ部分の解像度に適した鮮鋭化等の画像処理を行う技術を提供することを目的とする。
第1の発明に係る画像処理装置は、画像信号における画素の輝度値を用い、前記画像信号におけるコンテンツ部分の解像度をフレーム単位に判定する判定部と、前記判定部で判定された解像度に応じて、前記画像信号の画像処理に用いられる画像処理用パラメータを設定するパラメータ設定部と、前記パラメータ設定部で設定された前記画像処理用パラメータを用いて前記画像信号に画像処理を行い、表示部に出力する画像処理部と、を備え、前記画像信号のコンテンツ部分は、前記表示部において、表示領域の全体である第1の表示領域に対応する第1の解像度、又は、前記表示領域の一部である第2の表示領域に対応する第2の解像度で表示され、前記コンテンツ部分が前記第2の解像度で表示される場合、前記第2の表示領域外に表示される画像であって、予め定められた輝度値を有する画素からなる特定の画像が前記画像信号に含まれており、前記判定部は、前記第2の表示領域外に位置する第1の画素群における画素の輝度差に応じて、前記画像信号のコンテンツ部分の解像度が前記第1の解像度であるか前記第2の解像度であるかを判定する。
第2の発明は、第1の発明において、前記判定部は、さらに、前記第2の表示領域内の第2の画素群における画素の輝度差に応じて、前記画像信号のコンテンツ部分の解像度が前記第1の解像度であるか前記第2の解像度であるかを判定する。
第3の発明は、第2の発明において、前記第2の表示領域は、前記第1の表示領域を構成する少なくとも1辺の延伸方向において前記第1の表示領域より小さく構成されており、前記第1の画素群は、前記第1の表示領域と前記第2の表示領域とが重ならない領域において、前記第2の表示領域の境界を構成する2つの辺の各近傍に位置し、前記第2の画素群は、前記第2の表示領域において、前記第1の画素群の近傍に位置する。
第4の発明は、第2又は第3の発明において、前記特定の画像を構成する各画素の輝度値は略均一に定められており、前記判定部は、前記画像信号における前記第1の画素群を構成する画素の輝度値を用いて、前記第1の画素群における画素の輝度差を示す第1の差分を求め、前記画像信号における前記第2の画素群を構成する画素の輝度値を用いて、前記第2の画素群における画素の輝度差を示す第2の差分を求め、前記第1の差分が予め定めた第1閾値未満であって、前記第2の差分が、前記第1閾値より大きい第2閾値以上である条件を満たす場合には前記第2の解像度であると判定し、前記条件を満たさない場合には前記第1の解像度であると判定する。
第5の発明は、第1から第4のいずれかの発明において、前記パラメータ設定部は、前記判定部において判定されたNフレーム目の解像度とN+1フレーム目の解像度とが異なる場合、前記Nフレーム目の解像度に対する前記画像処理用パラメータを前記N+1フレーム目の解像度に対する前記画像処理用パラメータになるまで一定の割合で変化させた各画像処理用パラメータを前記画像処理部に逐次出力する。
第6の発明は、第1から第5のいずれかの発明において、前記パラメータ設定部は、前記第1の解像度と前記第2の解像度とに各々対応する画像処理用パラメータを、前記判定部の判定結果に応じて予め定めた割合で混合して前記画像処理部へ出力する。
本発明の構成によれば、入力される画像信号に含まれるコンテンツ部分の解像度に適した鮮鋭化等の画像処理を行うことができる。
本発明の一実施形態に係る画像処理装置は、画像信号における画素の輝度値を用い、前記画像信号におけるコンテンツ部分の解像度をフレーム単位に判定する判定部と、前記判定部で判定された解像度に応じて、前記画像信号の画像処理に用いられる画像処理用パラメータを設定するパラメータ設定部と、前記パラメータ設定部で設定された前記画像処理用パラメータを用いて前記画像信号に画像処理を行い、表示部に出力する画像処理部と、を備え、前記画像信号のコンテンツ部分は、前記表示部において、表示領域の全体である第1の表示領域に対応する第1の解像度、又は、前記表示領域の一部である第2の表示領域に対応する第2の解像度で表示され、前記コンテンツ部分が前記第2の解像度で表示される場合、前記第2の表示領域外に表示される画像であって、予め定められた輝度値を有する画素からなる特定の画像が前記画像信号に含まれており、前記判定部は、前記第2の表示領域外に位置する第1の画素群における画素の輝度差に応じて、前記画像信号のコンテンツ部分の解像度が前記第1の解像度であるか前記第2の解像度であるかを判定する(第1の構成)。
第1の構成によれば、画像信号のコンテンツ部分が第2の解像度で表示される場合には、第2の表示領域外に特定の画像が表示され、第1の解像度でコンテンツ部分が表示される場合には、特定の画像は表示されない。判定部は、特定の画像が表示される第2の表示領域外に位置する第1の画素群における画素の輝度差に応じてコンテンツ部分の解像度が第1の解像度であるか第2の解像度であるか判定する。特定の画像は予め定められた輝度値を有する画素で構成されているため、第1の画素群における画素の輝度差を判定することにより、特定の画像が画像信号に含まれているか否か、すなわち、コンテンツ部分の解像度が第1の解像度であるか第2の解像度であるかを判定することができる。その結果、画像信号におけるコンテンツ部分の解像度に適した画像処理用パラメータをパラメータ設定部において設定することができ、画像処理の効果が適切に反映された画像を表示させることができる。
第2の構成は、第1の構成において、前記判定部は、さらに、前記第2の表示領域内の第2の画素群における画素の輝度差に応じて、前記画像信号のコンテンツ部分の解像度が前記第1の解像度であるか前記第2の解像度であるかを判定することとしてもよい。
第2の構成によれば、判定部は、特定の画像が表示される第2の表示領域外にある第1の画素群における画素の輝度差と、コンテンツ部分が表示される第2の表示領域内にある第2の画素群における画素の輝度差とに応じて、コンテンツ部分の解像度が第1の解像度であるか第2の解像度であるか判定する。第1の解像度でコンテンツ部分が表示される場合において、第2の表示領域外に表示されるコンテンツ部分を構成する画素の輝度差が、特定の画像を構成する画素の輝度差と近似する場合がある。そのため、第1の画素群における画素の輝度差だけでなく、第2の画素群における画素の輝度差によってコンテンツ部分の解像度を判定することにより、解像度の誤判定を軽減することができる。
第3の構成は、第2の構成において、前記第2の表示領域は、前記第1の表示領域を構成する少なくとも1辺の延伸方向において前記第1の表示領域より小さく構成されており、前記第1の画素群は、前記第1の表示領域と前記第2の表示領域とが重ならない領域において、前記第2の表示領域の境界を構成する2つの辺の各近傍に位置し、前記第2の画素群は、前記第2の表示領域において、前記第1の画素群の近傍に位置することとしてもよい。
第3の構成によれば、判定部は、第2の表示領域の境界となる2辺の近傍に位置する第1の画素群と第2の画素群における画素の輝度差に応じてコンテンツ部分の解像度を判定する。そのため、第2の表示領域の境界から離れた位置にある第1の画素群と第2の画素群や、第2の表示領域の境界を構成する1辺の近傍に位置する第1の画素群と第2の画素群における画素の輝度差に応じて解像度の判定を行う場合と比べて解像度の誤判定を軽減することができる。
第4の構成は、第2又は第3の構成において、前記特定の画像を構成する各画素の輝度値は略均一に定められており、前記判定部は、前記画像信号における前記第1の画素群を構成する画素の輝度値を用いて、前記第1の画素群における画素の輝度差を示す第1の差分を求め、前記画像信号における前記第2の画素群を構成する画素の輝度値を用いて、前記第2の画素群における画素の輝度差を示す第2の差分を求め、前記第1の差分が予め定めた第1閾値未満であって、前記第2の差分が、前記第1閾値より大きい第2閾値以上である条件を満たす場合には前記第2の解像度であると判定し、前記条件を満たさない場合には前記第1の解像度であると判定することとしてもよい。
第4の構成によれば、特定の画像を構成する各画素の輝度値は略均一であるため、特定の画像が表示される領域に位置する第1の画素群における画素の輝度差は、コンテンツ部分が表示される領域に位置する第2の画素群における画素の輝度差よりも小さくなる可能性がある。判定部は、第1の差分に対して第1閾値を用い、第2の差分に対して第1閾値よりも大きい第2閾値を用いて解像度の判定を行うことができるので、コンテンツ部分の解像度を簡易な構成により判定することができる。
第5の構成は、第1から第4のいずれか構成において、前記パラメータ設定部は、前記判定部において判定されたNフレーム目の解像度とN+1フレーム目の解像度とが異なる場合、前記Nフレーム目の解像度に対する前記画像処理用パラメータを前記N+1フレーム目の解像度に対する前記画像処理用パラメータになるまで一定の割合で変化させた各画像処理用パラメータを前記画像処理部に逐次出力することとしてもよい。
前後のフレームにおいて判定された解像度が異なる場合に、その判定結果に応じて画像処理用パラメータを切り替えると、判定結果が誤判定である場合には、その誤判定によって施される画像処理によっては画像に不自然な乱れが生じているように見えることがある。第5の構成によれば、パラメータ設定部は、NフレームとN+1フレームについて判定された解像度が異なる場合であっても、Nフレーム目の解像度に対する画像処理用パラメータをN+1フレーム目の解像度に対する画像処理用パラメータとなるまで徐々に変化させる。そのため、判定部における解像度の判定結果が誤判定であっても、画像信号の画像に不自然な乱れを生じにくくすることができる。
第6の構成は、第1から第5のいずれかの構成において、第1から第5のいずれかの発明において、前記パラメータ設定部は、前記第1の解像度と前記第2の解像度とに各々対応する画像処理用パラメータを、前記判定部の判定結果に応じて予め定めた割合で混合して前記画像処理部へ出力することとしてもよい。
第6の構成によれば、パラメータ設定部は、判定部における判定結果に応じた割合で、第1の解像度と第2の解像度とに対応する各画像処理用パラメータを混合した画像処理用パラメータを出力する。そのため、判定された解像度が誤判定であっても、誤判定された解像度の画像処理用パラメータだけを用いて画像処理を行う場合と比べ、画像に生じる不具合を軽減することができる。
以下、図面を参照し、本発明の実施の形態を詳しく説明する。図中同一又は相当部分には同一符号を付してその説明は繰り返さない。
<第1実施形態>
(概要)
本実施形態では、表示装置に入力される画像信号の解像度に応じてスケーリング処理を行い、スケーリング処理後の画像信号について鮮鋭化処理を含む画像処理を行う。本実施形態に係る表示装置は、例えばアスペクト比が16:9である。表示装置は、NTSC等の規格に対応した画像信号(アスペクト比が4:3)が表示装置に入力された場合、スケーリング処理によって、表示装置のアスペクト比となるように、画像信号におけるコンテンツ部分を拡大し、コンテンツ部分の画像の左右端に黒帯等の画像を付加する。表示装置は、スケーリング処理された画像信号に対して画像処理を行う際、その画像信号におけるコンテンツ部分の解像度に応じた画像処理用パラメータを用いて画像処理を行う。
(概要)
本実施形態では、表示装置に入力される画像信号の解像度に応じてスケーリング処理を行い、スケーリング処理後の画像信号について鮮鋭化処理を含む画像処理を行う。本実施形態に係る表示装置は、例えばアスペクト比が16:9である。表示装置は、NTSC等の規格に対応した画像信号(アスペクト比が4:3)が表示装置に入力された場合、スケーリング処理によって、表示装置のアスペクト比となるように、画像信号におけるコンテンツ部分を拡大し、コンテンツ部分の画像の左右端に黒帯等の画像を付加する。表示装置は、スケーリング処理された画像信号に対して画像処理を行う際、その画像信号におけるコンテンツ部分の解像度に応じた画像処理用パラメータを用いて画像処理を行う。
(構成)
図1は、本実施形態に係る画像処理装置を含む表示装置の概略構成を示すブロック図である。図1に示すように、表示装置1は、アンテナ10に接続され、入力部11、Y/C(輝度信号/色差信号)分離部12、スケーリング部13、パラメータ出力部14、画像形式変換部15、表示部16、及び画像処理部20を含む。本実施形態において、パラメータ出力部14及び画像処理部20は、画像処理装置の一例である。以下、各部について説明する。
図1は、本実施形態に係る画像処理装置を含む表示装置の概略構成を示すブロック図である。図1に示すように、表示装置1は、アンテナ10に接続され、入力部11、Y/C(輝度信号/色差信号)分離部12、スケーリング部13、パラメータ出力部14、画像形式変換部15、表示部16、及び画像処理部20を含む。本実施形態において、パラメータ出力部14及び画像処理部20は、画像処理装置の一例である。以下、各部について説明する。
アンテナ10は、例えば、テレビジョン放送に係る電波として高周波信号を受信し、受信した高周波信号を表示装置1に出力する。入力部11には、アンテナ10を介して高周波信号が入力される。入力部11は、例えば、アンテナ10から入力された高周波信号から、指定されたチャネルに係る変調信号を抽出し、抽出した変調信号を基底周波数帯域の変調信号に変換する。入力部11は、変換した変調信号をY/C分離部12に出力する。
Y/C分離部12は、入力部11から入力された変調信号を復調して画像信号を生成し、生成した画像信号からアナログの輝度信号Y、色差信号Cb及び色差信号Crに分離する。Y/C分離部12は、分離したそれぞれの信号を、予め定めたサンプリング周波数でアナログ信号からディジタル信号に変換する。Y/C分離部12は、変換したディジタルの輝度信号Y、色差信号Cb及び色差信号Crを含む画像信号をスケーリング部13に出力する。
スケーリング部13は、Y/C分離部12から入力された画像信号の解像度(画素数)が、表示部16の解像度と異なる場合には、表示部16の解像度と等しくなるように、入力された画像信号の解像度を調整(スケーリング)する。入力された画像の解像度よりも表示部16の解像度の方が大きい場合には、スケーリング部13は、表示部16の解像度となるように、入力された画像信号をアップスケーリングし、表示画面の左右端に黒色等の均一な色の画像データを付加した画像信号を生成する。つまり、画像信号におけるコンテンツ部分の画像P(以下、コンテンツ画像と称する)に、予め定められた輝度値を有する各画素で構成された特定の画像を付加した画像信号が生成される。コンテンツ画像に付加される特定の画像は、例えば、黒色や灰色等の特定の色の画像データからなる画像でもよいし、ストライプや格子などの特定の表示態様で表される画像でもよい。要するに、予め定められた輝度値を有する画素で構成され、コンテンツ画像と区別可能な表示態様の画像であればよい。本実施形態では、この画像の一例として、例えば、各画素の輝度値が略均一に設定された黒色の画像データからなる画像(以下、黒帯画像と称する)がコンテンツ画像に付加されるものとして説明する。
また、入力された画像の解像度よりも表示部16の解像度の方が小さい場合には、スケーリング部13は、入力された画像信号に対してダウンサンプリングを行う。スケーリング部13は、例えばバイキュービック(bicubic)法、バイリニア(bilinear)法、等の方式を用いてスケーリングを行う。スケーリング部13は、解像度を調整した画像信号をパラメータ出力部14と画像処理部20とに出力する。入力された画像信号の解像度と表示部16の解像度が等しい場合には、入力された画像信号をパラメータ出力部14と画像処理部20に出力する。
パラメータ出力部14は、判定部141とパラメータ設定部142とを有する。判定部141は、スケーリング部13から出力された画像信号の解像度を判定する。パラメータ設定部142は、判定した解像度に応じたパラメータP(画像処理用パラメータの一例)を画像処理部20に出力する。なお、本実施形態では、画像信号の解像度が、表示部16の解像度(以下、解像度Hと称する)であるか、解像度Hより低解像度である解像度Sかの判定を行う。また、画像信号の解像度が解像度Hである場合には、パラメータPとしてP1を画像処理部20に出力し、画像信号の解像度が解像度Sである場合には、パラメータPとしてP2を画像処理部20に出力する。判定部141における解像度の判定処理の詳細については後述する。
画像処理部20は、画像信号における各画素値に対して画像処理を行う。画像処理部20は、パラメータ出力部14から出力されるパラメータPを用い、スケーリング部13から入力された画像信号のうち輝度信号Yについてノイズの低減及び鮮鋭化処理を行い、ノイズが低減され鮮鋭化された画像を示す輝度信号Zを生成する。画像処理部20は、スケーリング部13から入力された輝度信号Yを、生成した輝度信号Zに更新し、色差信号Cb、Crと同期をとる。画像処理部20は、輝度信号Z及び色差信号Cb、Crを含んだ画像信号を画像形式変換部15に出力する。画像処理部20の詳細については後述する。
画像形式変換部15は、画像処理部20から入力された画像信号の形式を変換する。画像形式変換部15は、入力された画像信号がインターレース(interlace)信号である場合、その画像信号をプログレッシブ(progressive)信号に形式を変換する。インターレース信号とは、画素に対する水平方向への走査を1列おきに行って構成された信号であって、走査対象の列がフレーム毎に異なる信号である。プログレッシブ信号とは、画素に対する水平方向への走査を列毎に行って構成された信号である。画像形式変換部15は、入力された画像信号又は形式を変換した画像信号を表示部16に応じた表色系で表された画像信号(例えば、RGB信号、赤(R)、緑(G)、青(B)の各色の信号値を含む画像信号)に変換し、変換した画像信号を表示部16に出力する。
表示部16は、液晶パネル等の表示パネルを備えるディスプレイを含む。表示部16は、画像形式変換部15から入力された画像信号が表す画像を表示する。ここで、本実施形態における表示部16の表示領域について説明する。
本実施形態では、画像信号は、表示部16の表示領域全体である第1の表示領域をコンテンツ画像Pの表示対象とする第1の解像度、または、第1の表示領域の一部である第2の表示領域をコンテンツ画像Pの表示対象とする第2の解像度(解像度S)で表示部16に表示される。
図2は、表示部16の表示領域を示す模式図である。表示部16の表示画面は、例えば、アスペクト比が16:9、解像度が1920×1080(解像度H)の表示領域16Aを有する。表示領域16Aは、第1の表示領域の一例であり、解像度Hは、第1の解像度の一例である。また、図2に示すように、表示領域16Aにおいて、破線D1及びD2に挟まれた表示領域16Cは、例えば、NTSC等の規格に対応する表示領域である。この表示領域16Cは、アスペクト比が4:3であり、解像度が720×540(解像度S)となっている。表示領域16Cは第2の表示領域の一例であり、解像度Sは第2の解像度の一例である。アスペクト比4:3の画像信号は、スケーリング部13によってコンテンツ画像Pに黒帯画像が付加される。図3Aは、コンテンツ画像Pに黒帯画像が付加された解像度Sの画像信号を表示部16に表示する例を示す図である。図3Aにおいて、コンテンツ画像Pは、表示領域16Cに表示され、表示領域16Aにおいて表示領域16Cを除いた表示領域16Lと16Rには、黒帯画像が表示される。一方、アスペクト比が16:9、解像度Hの画像信号はスケーリング部13においてそのまま出力される。図3Bは、コンテンツ画像Pを含む解像度Hの画像信号を表示部16に表示する例を示す図である。図3Bに示すように、黒帯画像は表示されず、コンテンツ画像Pだけが表示領域16Aに表示される。
(解像度判定)
ここで、パラメータ出力部14における解像度の判定処理について説明する。判定部141は、スケーリング部13から入力される画像信号の輝度値を用い、画像信号に含まれるコンテンツ部分(コンテンツ画像)の解像度をフレーム単位に判定する。本実施形態では、第1の表示領域において第2の表示領域外に位置する第1の画素群の輝度値を用いて、第1の画素群における画素の輝度差を求め、第2の表示領域に位置する第2の画素群の輝度値を用い、第2の画素群における画素の輝度差を求める。そして、第1の画素群と第2の画素群における画素の輝度差に応じて解像度H又は解像度Sの判定を行う。
ここで、パラメータ出力部14における解像度の判定処理について説明する。判定部141は、スケーリング部13から入力される画像信号の輝度値を用い、画像信号に含まれるコンテンツ部分(コンテンツ画像)の解像度をフレーム単位に判定する。本実施形態では、第1の表示領域において第2の表示領域外に位置する第1の画素群の輝度値を用いて、第1の画素群における画素の輝度差を求め、第2の表示領域に位置する第2の画素群の輝度値を用い、第2の画素群における画素の輝度差を求める。そして、第1の画素群と第2の画素群における画素の輝度差に応じて解像度H又は解像度Sの判定を行う。
図4Aは、図2に示した表示領域において、解像度の判定に用いる画素の位置を示す模式図である。本実施形態では、図4Aにおいて、表示領域16L及び16Rと、表示領域16Cとの境界となる破線D1及びD2の近傍に位置する、一点鎖線で示す領域PL、PCL、PR、PCRにおける各画素群が解像度の判定に用いられる。本実施形態において、領域PL、PCL、PR、PCRのそれぞれの大きさは同じであり、各領域の画素数は同じである。以下、領域PL内の画素群を第1L画素群、領域PR内の画素群を第1R画素群、領域PCL内の画素群を第2L画素群、領域PCR内の画素群を第2R画素群と称する。第1L画素群及び第1R画素群は、第1の画素群の一例であり、第2L画素群及び第2R画素群は、第2の画素群の一例である。第1の画素群と第2の画素群は、第2の表示領域の境界となる辺から予め定められた範囲に位置する。
図3Bに示したように、画像信号におけるコンテンツ部分の解像度が解像度Hの場合には、表示領域16Aがコンテンツ画像Pの表示対象領域となる。つまり、画像信号における表示領域16L、16R、16C内の各画素値は、コンテンツ画像に応じた輝度値が設定される。一方、図3Aに示したように、画像信号の解像度が解像度Sの場合には、表示領域16L及び16Rは黒帯画像の表示対象領域であり、表示領域16Cはコンテンツ画像の表示対象領域である。つまり、解像度Sの画像信号における表示領域16L及び16R内の各画素には略均一な輝度値が設定され、画像信号における表示領域16Cの各画素にはコンテンツ画像に応じた輝度値が設定される。従って、解像度Sの画像信号の場合には、コンテンツ画像が表示される表示領域16C内の輝度差に比べて、表示領域16L及び16R内の輝度差が小さくなる可能性が高い。
判定部141は、フレーム毎に、画像信号における第1の画素群における画素の輝度差を示す第1の差分と、第2の画素群における画素の輝度差を示す第2の差分とを求める。そして、第1の差分と第2の差分に応じてコンテンツ部分の解像度が解像度Hであるか解像度Sであるか判定する。
ここで、第1の差分及び第2の差分の具体例について説明する。図4Bは、図4Aに示した第1L画素群を拡大した図である。図4Bの例では、第1L画素群は、表示領域16Lにおけるx軸方向の2列(i,i+1)の画素群のうち、y軸方向のn+1行(j~j+n)の画素群で構成されている。第1R画素群、第2L画素群、第2R画素群も同様に構成されている。つまり、第1R画素群は、第1L画素群と同様に、表示領域16Rにおけるx軸方向の2列の画素群の一部で構成されている。第2L画素群は、第1L画素群と同様、表示領域16Cにおけるx軸方向の2列の画素群の一部で構成され、境界D1を挟んで第1L画素群と略線対称な位置にある。また、第2R画素群は、第2L画素群と同様、表示領域16Cにおけるx軸方向の2列の画素群の一部で構成され、境界D2を挟んで第1R画素群と略線対称な位置にある。なお、この例では、各画素群は、各々が位置する表示領域におけるx軸方向の隣接する2列の画素群の一部(n+1行分の画素群)で構成されているが、2列の画素群の全ての画素で構成されていてもよい。
本実施形態において、第1の差分は、第1L画素群におけるx軸方向に隣り合う2つの画素の輝度値Yの差分をn+1行分積算した積算値(Sout1)と、第1R画素群におけるx軸方向に隣り合う2つの画素の輝度値Yの差分を積算した積算値(Sout2)と、第1L画素群の輝度値Yの合計(Uout1)と第1R画素群の輝度値Yの合計(Uout2)との差分(Uout=|Uout1-Uout2|)とを含む。
また、第2の差分は、第2L画素群におけるx軸方向に隣り合う2つの画素の輝度値Yの差分をn+1行分積算した積算値(Sin1)と、第2R画素群におけるx軸方向に隣り合う2つの画素の輝度値Yの差分をn+1行分積算した積算値(Sin2)とを含む。
つまり、積算値Sout1、Sout2、Sin1、Sin2は、以下の式(1)により求められる。以下、これら積算値を区別しないときは積算値Sと称する。
判定部141は、第1の差分が第1閾値未満であり、第2の差分が第1閾値より大きい第2閾値以上である場合に、第2の解像度(解像度S)であると判定する。以下にその判定方法の一例を示す。
判定部141は、以下の条件(i)~(iii)によって画像信号の解像度の判定を行う。
(i)Sout1<Tout,Sout2<Tout,Uout<Cを全て満たす場合
(ii)(i)を満たし、Sin1>Tin及びSin2>Tinを満たす場合
(iii)(i)を満たし、Sin1>Tin及びSin2<Tin、又は、
Sin1<Tin及びSin2>Tinを満たす場合
(i)Sout1<Tout,Sout2<Tout,Uout<Cを全て満たす場合
(ii)(i)を満たし、Sin1>Tin及びSin2>Tinを満たす場合
(iii)(i)を満たし、Sin1>Tin及びSin2<Tin、又は、
Sin1<Tin及びSin2>Tinを満たす場合
なお、上記Tout及びCは任意の定数であり、Tout≒C≧0の関係を有する。また、上記Tinは任意の定数であり、Tin>Toutの関係を有する。Tout及びCは第1閾値の一例であり、Tinは第2閾値の一例である。
判定部141は、条件(i)に該当する場合、第1L画素群と第1R画素群における輝度差が小さく、表示領域16L及び16Rに黒帯画像が表示される可能性が高いと判断し、(ii)又は(iii)に該当するか否か判断する。(ii)又は(iii)に該当する場合、黒帯画像の表示対象領域である表示領域16L又は16R近傍の表示領域16Cにおける輝度差は、表示領域16L及び16Rの輝度差よりも比較的大きい。そのため、この場合には、判定部141は、画像信号の解像度が解像度Sであると判定する。
一方、(ii)又は(iii)に該当しない場合、つまり、Sin1<Tin、及びSin2<Tinである場合、黒帯画像の表示対象領域である表示領域16L及び16R近傍の表示領域16Cにおける輝度差は小さい。この場合には、表示領域16L及び16Rと、表示領域16L及び16R近傍の表示領域16Cには輝度差が少ないコンテンツ画像が表示される可能性が高い。そのため、判定部141は、(ii)又は(iii)に該当しない場合には、画像信号の解像度は解像度Hであると判定する。なお、条件(i)に該当しない場合、つまり、条件(i)のいずれか1つでも満たさない場合には、判定部141は、画像信号の解像度は解像度Hであると判定する。
パラメータ設定部142は、判定部141において判定された画像信号の解像度が解像度Hである場合、つまり、表示部16の解像度である場合には解像度Hに対応するパラメータP=P1(>0)を画像処理部20へ出力する。また、パラメータ設定部142は、判定部141において判定された画像信号の解像度が解像度Sである場合、解像度Sに対応するパラメータP=P2(>0)を画像処理部20へ出力する。なお、画像信号の解像度が解像度Sの場合には、解像度Hの場合よりも画像処理による変化度を大きくするのが一般的であり、パラメータP2はパラメータP1よりも大きな値が設定されているものとする。
次に、画像処理部20の詳細について説明する。画像処理部20は、画素単位に画像処理を行うものであればよく、以下では、その一構成例について説明する。図5は、本実施形態における画像処理部20の一構成例を示すブロック図である。画像処理部20は、輪郭方向検出部21、低域フィルタ部20a及び高周波拡張部27を含む。
輪郭方向検出部21は、画素毎の信号値(輝度値)に基づいて輪郭方向を画素毎に推定する。低域フィルタ部20aは、各画素の輪郭方向に配列された参照画素の信号値を用いて各画素の信号値をフィルタリングする。この参照画素は、各画素から予め定めた参照領域内にある画素である。高周波拡張部27は、低域フィルタ部20aがフィルタリングした各画素の信号値の高周波成分を生成し、画素毎の信号値の周波数帯域を拡張する。以下、各部の詳細について説明する。
(輪郭方向検出部21)
輪郭方向検出部21は、スケーリング部13から入力された輝度信号Yが表す画素毎の信号値に基づいて輪郭方向を画素毎に推定する。輪郭方向とは、輪郭をなす線の法線に直交する方向、つまり輪郭をなす線の接線方向である。輪郭をなす線は、信号値が略一定となる空間を示す線を指し、曲線であっても直線であってもよい。従って、輪郭とは、位置の変化に応じて信号値が急激に変化する領域には限られない。輪郭をなす線と信号値との間の関係は、等高線と標高の間の関係に相当する。各画素の位置は離散的に与えられたり、ジャギー、ドット妨害、モスキートノイズ等、輪郭周辺のノイズの影響を受けていたりするため、一定の信号値をとる画素間を通る線を、輪郭をなす線として、輪郭方向を定めることはできないことがある。ここでは、画素毎の座標を表す空間において、信号値が微分可能(即ち、連続)であると仮定する。輪郭方向検出部21は、画素毎に、信号値の水平方向もしくは垂直方向の差分値に基づいて、例えば、以下の式(2)に基づいて輪郭方向θを算出する。
輪郭方向検出部21は、スケーリング部13から入力された輝度信号Yが表す画素毎の信号値に基づいて輪郭方向を画素毎に推定する。輪郭方向とは、輪郭をなす線の法線に直交する方向、つまり輪郭をなす線の接線方向である。輪郭をなす線は、信号値が略一定となる空間を示す線を指し、曲線であっても直線であってもよい。従って、輪郭とは、位置の変化に応じて信号値が急激に変化する領域には限られない。輪郭をなす線と信号値との間の関係は、等高線と標高の間の関係に相当する。各画素の位置は離散的に与えられたり、ジャギー、ドット妨害、モスキートノイズ等、輪郭周辺のノイズの影響を受けていたりするため、一定の信号値をとる画素間を通る線を、輪郭をなす線として、輪郭方向を定めることはできないことがある。ここでは、画素毎の座標を表す空間において、信号値が微分可能(即ち、連続)であると仮定する。輪郭方向検出部21は、画素毎に、信号値の水平方向もしくは垂直方向の差分値に基づいて、例えば、以下の式(2)に基づいて輪郭方向θを算出する。
式(2)において、輪郭方向θは、水平方向(x方向)を基準とした左回りの角度である。x、yは、それぞれ水平方向、垂直方向の座標である。Y(x,y)は、座標(x,y)における信号値である。即ち、輪郭方向θは、信号値Y(x,y)のx方向への偏微分を、信号値Y(x,y)のy方向への偏微分で除算した正接値を与える角度として算出される。式(2)は、座標(x,y)が異なっても信号値Y(x,y)が一定という関係から導き出すことができる。ここで、Gx(x,y)、Gy(x,y)は、それぞれ信号値Y(x,y)のx方向への偏微分、y方向への偏微分を表す。以下の説明では、Gx(x,y)、Gy(x,y)を、それぞれx方向偏微分、y方向偏微分と呼ぶことがある。
以下の説明では特に断らない限り、画素(i,j)の位置(座標)は、その画素の重心点を指す。また、その画素の位置における変数aを、a(i,j)等と表す。
以下の説明では特に断らない限り、画素(i,j)の位置(座標)は、その画素の重心点を指す。また、その画素の位置における変数aを、a(i,j)等と表す。
輪郭方向検出部21は、例えば、それぞれ以下の式(3)、(4)を用いて各画素(i,j)における信号値Y(i,j)のx方向偏微分Gx(i,j)、y方向偏微分Gy(i,j)を算出する。
式(3)、(4)において、i、jは、それぞれ注目画素のx方向、y方向のインデックスを示す整数値である。注目画素とは、直接の処理対象として注目される画素である。Wx(u’,v’)、Wy(u’,v’)は、それぞれx方向、y方向の差分フィルタのフィルタ係数を示す。u、vは、それぞれ、参照画素のx方向、y方向のインデックスを示す整数値である。参照画素とは、注目画素を基準にして、予め定められた規則により決まる範囲内にある画素であって、注目画素に対する処理を行う際に参照される画素である。参照画素は、注目画素を含む。u’、v’は、それぞれ、注目画素を原点としたときの参照画素のx方向、y方向のインデックスを示す整数値である。従って、u=i+u’、v=j+v’である。
前述の差分フィルタは、例えば、x方向に2n+1個、y方向に2n+1個(計(2n+1)(2n+1)個)の参照画素の各々u’,v’に対してフィルタ係数Wx(u’,v’)、Wy(u’,v’)を有する。以下の説明では、このフィルタ係数が与えられる参照画素が属する領域を参照領域と呼ぶことがある。nは、1よりも大きい整数値(例えば、2)である。ここで、フィルタ係数Wx(u’,v’)、Wy(u’,v’)は、注目画素を基準として正方向の参照画素に対して1、注目画素と同一の差分方向(x方向)の座標値を有する参照画素に対して0、注目画素を基準として負方向の参照画素に対して-1である。即ち、x方向の差分フィルタのフィルタ係数Wx(u’,v’)は、1(0<u’≦n)、0(u’=0)、-1(0>u’≧-n)である。y方向の差分フィルタのフィルタ係数Wy(u’,v’)は、1(0<v’≦n)、0(v’=0)、-1(0>v’≧-n)である。また、nは、画像の拡大率と等しいか、その拡大率よりも大きい整数値である。
これにより、注目画素に対して正方向、負方向各々に対して、信号値が平滑化されるため解像度の変化によって発生するノイズを低減することができる。但し、nを大きくとり、注目画素から離れた参照画素を考慮すると、本来、局所的な値である偏微分値が正しく算出されないことがある。従って、nを、予め定めた最大値よりも小さい値、例えば、拡大率と等しい整数値もしくは拡大率の小数点以下の桁を切り上げた整数値、又はこれらの整数値の何れかよりも予め定めた値だけ大きい値と定めておく。
輪郭方向検出部21は、算出したx方向偏微分Gx(i,j)、y方向偏微分Gy(i,j)に基づいて算出した輪郭方向θ(i,j)を量子化し、量子化した輪郭方向を表す量子化輪郭方向D(i,j)を算出する。輪郭方向検出部21は、量子化輪郭方向D(i,j)を算出する際、例えば、以下の式(5)を用いる。
式(5)において、round(z)は、実数zの小数点以下の桁を四捨五入した整数値を与える丸め関数である。Ndは、量子化された輪郭方向の数(量子化輪郭方向数)を表す定数である。量子化輪郭方向数Ndは、例えば、8から32の間のいずれかの値である。なお、ゼロ除算を回避するために、x方向偏微分Gx(i,j)の絶対値|Gx(i,j)|が予め定めた微小な実数値(例えば、10-6)よりも小さい場合には、tan-1をπ/2とする。つまり、量子化輪郭方向D(i,j)は、輪郭方向θを、量子化間隔をπ/Ndで除算した値を丸め、0からNd-1までのいずれかの整数で表される。これにより、輪郭方向θの自由度を制約して、後述する処理の負荷を低減する。輪郭方向検出部21は、算出した量子化輪郭方向D(i,j)を表す量子化輪郭方向情報を方向評価部22及び参照領域荷重処理部23に出力する。
(低域フィルタ部20a)
低域フィルタ部20aは、方向評価部22、参照領域荷重処理部23、前処理部24、積和演算部25及び合成演算部26を含む。
低域フィルタ部20aは、方向評価部22、参照領域荷重処理部23、前処理部24、積和演算部25及び合成演算部26を含む。
方向評価部22は、輪郭方向検出部21から入力された量子化輪郭方向情報が表す画素毎の量子化輪郭方向に基づいて、注目画素毎に、その注目画素を中心とする参照領域に属する各参照画素の方向評価値を算出する。ここで、方向評価部22は、注目画素(i,j)の量子化輪郭方向D(i,j)と参照画素(u,v)の量子化輪郭方向D(u,v)との差が小さいほど、方向評価値が大きくなるように当該参照画素の方向評価値を定める。例えば、方向評価部22は、注目画素(i,j)に対する量子化輪郭方向D(i,j)と参照画素(u,v)に対する量子化輪郭方向D(u,v)の差分値ΔD=D(u,v)-D(i,j)を算出する。ここで差分値ΔDが0、つまりD(u,v)とD(i,j)が等しいとき、方向評価値F(|ΔD|)を最大値1と定める。差分値ΔDが0ではない場合、つまりD(u,v)とD(i,j)が等しくない場合に、方向評価値F(|ΔD|)を最小値0と定める。
方向評価部22は、注目画素(i,j)に対する量子化輪郭方向D(i,j)が参照画素(u,v)に対する量子化輪郭方向D(u,v)に近似するほど、つまり差分値ΔDの絶対値|ΔD|が小さいほど、大きくなるように方向評価値F(ΔD)を定めてもよい。例えば、方向評価部22は、F(0)=1、F(1)=0.75、F(2)=0.5、F(3)=0.25、F(|ΔD|)=0(|ΔD|>3)とする。
量子化輪郭方向D(i,j)と量子化輪郭方向D(u,v)のうちいずれか一方が、Nd/2よりも大きく、他方がNd/2よりも小さい場合、それぞれが示す輪郭方向が近似するにも関わらず、絶対値|ΔD|が大きくなるために、誤った方向評価値F(ΔD)が算出されることがある。例えば、D(i,j)=7、D(u,v)=0の場合、|ΔD|=7となる。しかし、量子化輪郭方向の差分はπ/8であり、本来は|ΔD|=1と定められるべきである。そこで、方向評価部22は、量子化輪郭方向D(i,j)と量子化輪郭方向D(u,v)のうちいずれか一方が、Nd/2よりも大きい場合、他方の量子化輪郭方向の値にNdを加算して補正値を算出する。方向評価部22は、算出した補正値と一方の量子化輪郭方向との差分値に対する絶対値を算出する。このようにして算出した絶対値を、上述の|ΔD|として用いることで意図した方向評価値を定める。
後述する積和演算部25において、上述の方向評価値F(|ΔD|)を用いることにより、注目画素(i,j)における輪郭方向とは輪郭方向が異なる参照画素(u,v)による影響を無視又は軽視することができる。
方向評価部22においても、参照画素(u,v)が属する参照領域の大きさ、つまり水平方向もしくは垂直方向の画素数は、2n+1個又はこの個数よりも多ければよい。なお、方向評価部22における参照領域の大きさは、輪郭方向検出部21における参照領域の大きさと異なっていてもよい。例えば、方向評価部22における参照領域の水平方向及び垂直方向の画素数は、それぞれ7であるのに対し、輪郭方向検出部21における参照領域の水平方向及び垂直方向の画素数は、それぞれ5であってもよい。方向評価部22は、注目画素(i,j)毎に各参照画素(u,v)の方向評価値F(ΔD)を表す方向評価値情報を積和演算部25に出力する。
参照領域荷重処理部23は、輪郭方向検出部21から入力された量子化輪郭方向情報が表す画素毎の量子化輪郭方向D(i,j)とに基づいて、注目画素(i,j)毎に参照領域荷重情報を定める。参照領域荷重情報とは、ある注目画素(i,j)を中心とする参照領域に属する参照画素(u’,v’)毎の重み係数R(D(i,j),u’,v’)を表す情報である。この重み係数を参照領域荷重と呼ぶことがある。参照領域荷重処理部23における参照領域の大きさは、方向評価部22における参照領域の大きさと等しくなるように予め定めておく。
参照領域荷重処理部23は、注目画素(i,j)の量子化輪郭方向D(i,j)から予め定めた範囲の方向にある参照画素の重み係数R(D(i,j),u’,v’)を、その範囲外の方向にある参照画素の重み係数よりも大きい値に定める。参照領域荷重処理部23は、例えば、注目画素(i,j)から量子化輪郭方向又はその方向に近似する方向にある参照画素(u’,v’)の重み係数R(D(i,j),u’,v’)を1と定める。そして、それ以外の方向にある参照画素(u’,v’)の重み係数R(D(i,j),u’,v’)を0と定める。注目画素から量子化輪郭方向又はその方向に近似する方向にある参照画素とは、具体的には注目画素(i,j)の中心から量子化輪郭方向に延びる線分が、その領域を通過する参照画素(u’,v’)である。また、参照領域荷重処理部23は、この線分がその領域を通過する距離が長い参照画素(u’,v’)ほど、大きくなるように重み係数を定めるようにしてもよい。
なお、各量子化輪郭方向に対する各参照画素の重み係数が予め算出されていてもよい。参照領域荷重処理部23は、予め算出した各参照画素の重み係数を表す参照領域荷重情報を量子化輪郭方向情報と対応付けて予め記憶した記憶部を備える。参照領域荷重処理部23は、入力された量子化輪郭方向情報が表す量子化輪郭方向に対応する参照領域荷重情報を記憶部から読み出す。参照領域荷重処理部23は、注目画素(i,j)毎に定めた参照領域荷重情報を積和演算部25に出力する。
前処理部24は、スケーリング部13から入力された輝度信号Yから、注目画素(i,j)毎に、その注目画素(i,j)を中心とした参照領域に属する各参照画素(u,v)の信号値Y(u,v)を表す輝度信号を抽出する。前処理部24は、抽出した輝度信号が表す参照信号の信号値Y(u,v)から注目画素の信号値Y(i,j)をそれぞれ減算し、差信号値Y(u,v)-Y(i,j)を算出する。前処理部34は、算出した差信号値を表す差信号を生成し、生成した差信号を積和演算部35に出力する。なお、前処理部24における参照領域の大きさは、方向評価部22及び参照領域荷重処理部23における参照領域の大きさと等しくなるように予め定めておく。
積和演算部25は、注目画素(i,j)毎に、方向評価部22から方向評価値情報が、参照領域荷重処理部23から参照領域荷重情報が、前処理部34から差信号がそれぞれ入力される。また、積和演算部25には、パラメータ出力部14から画像信号の解像度に応じたパラメータP(P1又はP2)が入力される。積和演算部25は、差信号が表す差信号値Y(u,v)-Y(i,j)に対して、方向評価値情報が表す方向評価値F(|ΔD|)、参照領域荷重情報が表す参照領域荷重R(D(i,j),u’,v’)を積和演算して、平滑化差分値ΔY(i,j)を算出する。積和演算部35は、平滑化差分値ΔY(i,j)を算出する際、例えば、以下の式(6)を用いる。
式(6)は、方向評価値F(|ΔD|)、参照領域荷重R(D(i,j),u’,v’)及び差信号が表す差信号値Y(u,v)-Y(i,j)の積を参照画素毎に算出し、算出した積の参照領域に属する参照画素間の総和を算出することを表す。式(6)は、算出した総和に対して参照面積N(i,j)で除算して平滑化差分値ΔY(i,j)を算出することを表す。積和演算部25は、算出した平滑化差分値ΔY(i,j)に、パラメータ出力部14から入力されたパラメータP(P1又はP2)を乗算する。積和演算部25は、パラメータPを乗算した平滑化差分値を表す平滑化差分信号を生成し、生成した平滑化差分信号を合成演算部26に出力する。
合成演算部26には、積和演算部25から平滑化差分信号ΔY(i,j)が入力され、スケーリング部13から輝度信号Y(i,j)が入力される。合成演算部26は、平滑化差分値ΔY(i,j)と輝度信号Yが表す信号値Y(i,j)とを加算(合成演算)し、低域通過信号値Y’’(i,j)を出力する。低域通過信号値Y’’(i,j)は、輝度信号Y’’として高周波拡張部27に出力される。
(高周波拡張部27)
図6は、本実施形態に係る高周波拡張部27の構成例を示す概念図である。高周波拡張部27は、k個(kは、1又は1よりも大きい整数)の非線形フィルタ部28-1~28-kと、除外処理演算部271と、合成演算部29とを含む。
図6は、本実施形態に係る高周波拡張部27の構成例を示す概念図である。高周波拡張部27は、k個(kは、1又は1よりも大きい整数)の非線形フィルタ部28-1~28-kと、除外処理演算部271と、合成演算部29とを含む。
非線形フィルタ部28-1~28-kは、それぞれ入力された輝度信号Y’’が表す各画素の低域通過信号値Y’’(i,j)について高周波成分値を算出する。そして、非線形フィルタ部28-1~28-kは、算出した高周波成分値を除外処理演算部271に出力する。ここで、非線形フィルタ部28-1~28-kは、それぞれ線形フィルタ部281-1~281-k及び非線形演算部282-1~282-kを備える。
線形フィルタ部281-1~281-kは、それぞれ所定の方向を向いている線画(例えば、輪郭)を表す成分を抽出する。線形フィルタ部281-1~281-kは、それぞれ抽出した成分を表す方向成分信号を非線形演算部282-1~282-kに出力する。
非線形演算部282-1~282-kは、線形フィルタ部281-1~281-kからそれぞれ入力された方向成分信号が表す信号値に対して非線形演算を行って、非線形出力値を算出する。非線形演算部282-1~282-kは、算出した非線形出力値が表す方向成分信号を生成し、生成した方向成分信号をそれぞれ合成演算部29に出力する。非線形演算部282-1~282-kが行う非線形演算は、例えば、入力信号値Wの高次の関数f(W)である。f(W)は、例えば、sgn(W)|W|2、W3、sgn(W)|W|4、W5…、又はこれらの線形結合である。sgn(Q)は、実数Qの符号関数を示す。つまり、sgn(Q)は、Qが0よりも大きい場合、1を与え、Qが0よりも小さい場合、-1を与え、Qが0の場合、0を与える関数である。これらの関数は、奇関数であるため、出力値は奇数次高調波成分を含む。
合成演算部29は、入力された各高周波成分値を加算(合成)し、更に各画素の低域通過信号値Y’’(i,j)を加算(合成)して高周波拡張信号値Z(i,j)を算出する。合成演算部29は、算出した高周波拡張信号値Z(i,j)を表す輝度信号Zを生成する。
ここで、高周波拡張部27の構成例を説明する。図7は、高周波拡張部27の概略構成を示すブロック図である。本実施形態において、高周波拡張部27は、垂直方向及び水平方向の線画を表す成分の高調波成分を生成する。高周波拡張部27は、2個の非線形フィルタ部28-v、28-h、除外処理演算部271、及び合成演算部29を含む。即ち、非線形フィルタ部28-v、28-hは、上述した非線形フィルタ部28-1、28-2の一例である。
非線形フィルタ部28-vは、合成演算部26から入力された輝度信号Y’’に基づいて垂直方向の線画を表す方向成分信号を生成する。非線形フィルタ部28-vは、垂直高域通過フィルタ部281-v及び非線形演算部282-vを含んで構成される。垂直高域通過フィルタ部281-v及び水平高域通過フィルタ部281-hは、上述の線形フィルタ部281-1等の一態様である。垂直高域通過フィルタ部281-vは、垂直方向を向いている線画を表す成分を抽出し、抽出した成分を表す垂直方向成分信号Wvを非線形演算部282-vに出力する。水平高域通過フィルタ部281-hは、水平方向を向いている線画を表す成分を抽出し、抽出した成分を表す水平方向成分信号Whを非線形演算部282-hに出力する。
非線形演算部282-v、282-hは、上述の非線形演算部282-1等の一態様である。非線形演算部282-v、282-hは、垂直高域通過フィルタ部281-v、水平高域通過フィルタ部281-hから入力された方向成分信号Wv、Whが表す信号値にそれぞれ上述の非線形演算を行う。非線形演算部282-v、282-hは、それぞれ算出した非線形出力値が表す垂直方向高周波成分値NLv、水平方向高周波成分値NLhを生成し、生成した垂直方向高周波成分値NLv、水平方向高周波成分値NLhを合成演算部29に出力する。合成演算部29の構成は、上述の合成演算部29の構成と同様である。
図8は、垂直高域通過フィルタ部281-vの構成を表す概略図である。垂直高域通過フィルタ部281-vは、遅延メモリ2811-v、フィルタ係数メモリ2812-v、乗算部2813-v及び合成演算部2814-vを含む。遅延メモリ2811-vは、入力された輝度信号Y’’に基づく低域通過信号値を、Wx、2・Wx、…、(2n+1)・Wxサンプル遅延させた遅延信号を、それぞれ乗算部2813-vに出力する。Wxは、1フレームの画像に含まれる水平方向の画素数である。従って、注目画素を中心に互いに垂直方向に隣接する2n+1画素の信号値が乗算部2813-vに出力される。
ここで、遅延メモリ2811-vは、入力信号をWxサンプル遅延させる遅延素子2811-v-1~2811-v-2n+1を2n+1個備える。遅延素子2811-v-1~2811-v-2n+1は、それぞれ直列に接続されている。遅延素子2811-v-1の一端に、輝度信号Y’’が入力され、遅延素子2811-v-1の他端は、Wxサンプル遅延させた遅延信号が乗算部2813-vと、遅延素子2811-v-2の一端に出力する。遅延素子2811-v-2~2811-v-2n+1の一端は、遅延素子2811-v-1~2811-v-2nの他端からそれぞれ、Wx~2n・Wxサンプル遅延した遅延信号が入力される。遅延素子2811-v-2~2811-v-2nの他端は、2・Wx~2n・Wxサンプル遅延した遅延信号を、それぞれ乗算部2813-v及び遅延素子2811-v-3~2811-v-2n+1の一端に出力する。遅延素子2811-v-2n+1の他端は、(2n+1)・Wxサンプル遅延した遅延信号を、それぞれ乗算部2813-vに出力する。
フィルタ係数メモリ2812-vは、2n+1個の記憶素子2812-v-1~2812-v-2n+1を備える。記憶素子2812-v-1~2812-v-2n+1には、それぞれフィルタ係数aL+n~aL-nが記憶されている。
乗算部2813-vは、2n+1個の乗算器2813-v-1~2813-v-2n+1を備える。乗算器2813-v-1~2813-v-2n+1は、遅延素子2811-v-1~2811-v-2n+1から入力された信号値と記憶素子2812-v-1~2812-v-2n+1に記憶されたフィルタ係数aL+n~aL-nをそれぞれ乗算する。乗算器2813-v-1~2813-v-2n+1は、乗算して得られた乗算値を、それぞれ合成演算部2814-vに出力する。
合成演算部2814-vは、乗算器2813-v-1~2813-v-2n+1からそれぞれ入力された乗算値を加算して合成値を算出する。算出された合成値は、注目画素を中心に互いに垂直方向に隣接する2n+1画素の信号値に、それぞれフィルタ係数aL+n~aL-nを積和演算した値である。合成演算部2814-vは、算出した合成値を表す垂直方向成分信号Wvを非線形演算部282-vに出力する。
図9は、水平高域通過フィルタ部281-hの構成を表す概略図である。水平高域通過フィルタ部281-hは、遅延メモリ2811-h、フィルタ係数メモリ2812-h、乗算部2813-h及び合成演算部2814-hを含む。
遅延メモリ2811-h、フィルタ係数メモリ2812-h、乗算部2813-h及び合成演算部2814-hの構成は、上述の遅延メモリ2811-v、フィルタ係数メモリ2812-v、乗算部2813-v及び合成演算部2814-vと同様である。但し、遅延メモリ2811-hは、入力信号をそれぞれWxサンプル遅延させる遅延素子2811-v-1~2811-v-2n+1の代わりに、入力信号をそれぞれ1サンプル遅延させる遅延素子2811-h-1~2811-h-2n+1を2n+1個備える。
フィルタ係数メモリ2812-hは、記憶素子2812-v-1~2812-v-2n+1の代わりに、記憶素子2812-h-1~2812-h-2n+1を備える。記憶素子2812-h-1~2812-h-2n+1には、それぞれフィルタ係数aD+n~aD-nが記憶されている。
従って、合成演算部2814-hは、注目画素を中心に互いに水平方向に隣接する2n+1画素の信号値に、それぞれフィルタ係数aD+n~aD-nを積和演算した値を算出する。合成演算部2814-hは、算出した合成値を表す水平方向成分信号Whを非線形演算部282-hに出力する。
フィルタ係数aL-n、aL-n+1、~aL+nは、信号値との積和演算によって高域通過フィルタを実現する高域通過フィルタ係数である。なお、フィルタ係数aL+n~aL-nの合計値、フィルタ係数aD+n~aD-nの合計値は、それぞれ0、即ち直流成分の伝達関数は0である。これにより、算出した合成値に直流成分が含まれないようにする。また、フィルタ係数aL+n~aL-nは、拡大を行う前の輝度信号のナイキスト周波数fnyq’よりも予め定めた周波数fだけ低い空間周波数よりも高い周波数成分を通過する特性(高域通過特性)を有する。拡大を行う前の輝度信号のナイキスト周波数fnyq’は、処理対象の輝度信号のサンプリング周波数周波数fsを2n(nは、拡大率)で除算した周波数である。 例えば、フィルタ係数aL+3、aL+2、aL+1、aL、aL-1、aL-2、aL-3は、それぞれ、-0.0637、0.0、0.5732、-0.0189、0.5732、0.0000、-0.0637である。また、フィルタ係数aD+3、aD+2、aD+1、aD、aD-1、aD-2、aD-3は、フィルタ係数aL+3、aL+2、aL+1、aL、aL-1、aL-2、aL-3とそれぞれ同様の高域通過特性を有する値であってもよい。
次に、非線形演算部282-1等の一構成例(非線形演算部282-A)について説明する。図10は、非線形演算部282-Aの構成を表す概略図である。非線形演算部282-Aは、絶対値算出部2821-A、べき乗演算部2822-A、フィルタ係数メモリ2823-A、乗算部2824-A、合成演算部2825-A、符号検出部2826-A及び乗算部2827-Aを含んで構成される。
非線形演算部282-Aは、入力された信号値Wに対するl(エル)次(lは、1よりも大きい整数である)の奇関数sgn|W|・(c1・|W|+c2・|W|2+…+cl・|W|l)を非線形出力値NLAとして出力する。c1、c2、…clは、それぞれ1、2、…l次の係数である。
絶対値算出部2821-Aは、線形フィルタ部281-1等からそれぞれ入力された方向成分信号が示す信号値Wの絶対値|W|を算出し、算出した絶対値|W|をべき乗演算部2822-Aに出力する。
べき乗演算部2822-Aは、l-1個の乗算器2822-A-2~2822-A-lを備え、絶対値算出部2821-Aから入力された絶対値|W|を乗算部2824-Aに出力する。乗算器2822-A-2は、絶対値算出部2821-Aから入力された絶対値|W|同士を乗算して絶対二乗値|W|2を算出する。乗算器2822-A-2は、算出した絶対二乗値|W|2を乗算器2822-A-3及び乗算部2824-Aに出力する。
乗算器2822-A-3~2822-A-l-1は、乗算器2822-A-2~2822-A-l-2から入力された絶対二乗値|W|2~絶対l-2乗値|W|l-2に、絶対値算出部2821-Aから入力された絶対値|W|を乗算して絶対三乗値|W|3~絶対l-1乗値|W|l-1をそれぞれ算出する。乗算器2822-A-3~2822-Al-1は、算出した絶対三乗値|W|3~絶対l-1乗値|W|l-1をそれぞれ乗算器2822-A-4~2822-A-l及び乗算部2824-Aに出力する。
乗算器2822-A-lは、乗算器2822-A-l-1から入力された絶対l-1乗値|W|l-1と絶対値算出部2821-Aから入力された絶対値|W|を乗算して絶対l乗値|W|lを算出する。乗算器2822-A-lは、算出した絶対l乗値|W|lを乗算部2824-Aに出力する。
フィルタ係数メモリ2823-Aは、l個の記憶素子2823-A-1~2823-A-lを備える。記憶素子2823-A-1~2823-A-lには、それぞれ1~l次の係数c1~clが記憶されている。
乗算部2824-Aは、l個の乗算器2824-A-1~2824-A-lを備える。乗算器2824-A-1~2824-A-lは、それぞれべき乗演算部2822-Aから入力された絶対値|W|~絶対l乗値|W|lに、記憶素子2823-A-1~2823-A-lに記憶された1~l次の係数c1~clを乗算して乗算値を算出する。乗算器2824-A-1~2824-A-lは、算出した乗算値をそれぞれ合成演算部2825-Aに出力する。
合成演算部2825-Aは、乗算器2824-A-1~2824-A-lからそれぞれ入力された乗算値を加算して合成値を算出する。合成演算部2825-Aは、算出した合成値を乗算部2827-Aに出力する。
符号検出部2826-Aは、線形フィルタ部281-1等からそれぞれ入力された方向成分信号が示す信号値Wの符号、即ち正負を検出する。符号検出部2826-Aは、信号値が0よりも小さい場合、-1を符号値として乗算部2827-Aに出力する。符号検出部2826-Aは、信号値が0又は0よりも大きい場合、1を符号値として乗算部2827-Aに出力する。
乗算部2827-Aは、合成演算部2825-Aから入力された合成値と符号検出部2826-Aから入力された符号値を乗算して、高周波成分値NLAを算出する。乗算部2827-Aは、算出した高周波成分値を合成演算部29に出力する。
上述の構成を備える非線形演算部282-Aは、比較的回路規模が大きくなるが、少数の係数を用いて出力される高周波成分値を調整することができる。なお、最高次数l以外の係数値c1~cl-1が0である場合には、これらの次数の積和演算に係る構成を省略してもよい。省略できる構成は、非線形演算部282-Aにおいて記憶素子2823-A-1~2823-A-l-1、乗算器2824-A-1~2824-A-l-1である。例えば、f(W)=sgn(W)|W|2の場合、記憶素子2823-A-1、乗算器2824-A-1を省略してもよい。画像処理部20の詳細は以上のとおりである。
上述した第1実施形態では、画像処理部20に入力される画像信号に含まれるコンテンツ部分の解像度に応じたパラメータを用いて画像処理がなされる。その結果、画像信号におけるコンテンツ部分の解像度が表示部16の解像度Hより低解像度である解像度Sの場合には、画像処理部20において解像度Hの場合よりも強めに平滑化処理がなされて鮮鋭化処理が施され、より鮮明なコンテンツ画像を表示させることができる。一方、画像信号におけるコンテンツ部分の解像度が表示部16の解像度Hである場合には、解像度Sの場合よりも弱めに平滑化処理がなされて鮮鋭化処理が施されるので、コンテンツ画像の細部が潰れる等の現象が生じにくく、より適切な画像処理の効果を得ることができる。
<第2実施形態>
第1実施形態では、判定した解像度に対応するパラメータを用いて画像処理を行う例について説明した。本実施形態では、判定結果に応じて、各解像度に応じたパラメータを混合したパラメータを画像処理に適用する例について説明する。なお、以下の説明において、第1実施形態と同様の構成については第1実施形態と同じ符号を用い、第1実施形態と異なる部分について説明する。
第1実施形態では、判定した解像度に対応するパラメータを用いて画像処理を行う例について説明した。本実施形態では、判定結果に応じて、各解像度に応じたパラメータを混合したパラメータを画像処理に適用する例について説明する。なお、以下の説明において、第1実施形態と同様の構成については第1実施形態と同じ符号を用い、第1実施形態と異なる部分について説明する。
図11は、本実施形態における表示装置の構成例を示すブロック図である。図11に示すように、表示装置1Aのパラメータ出力部14Aは、判定部141とパラメータ設定部142Aとを有する。
パラメータ設定部142Aは、判定部141で判定された解像度に応じて、各解像度のパラメータを予め定められた重みづけで混合してパラメータP’を生成し、パラメータP’を画像処理部20へ出力する。本実施形態において、例えば、解像度SのパラメータP2に対する重みづけをα(0<α<1)とし、解像度HのパラメータP1に対する重みづけをβ(=1-α)とする。パラメータ設定部142Aは、各重みづけを用いてパラメータP’(=P1×β+P2×α)を求める。
ここで、各解像度に応じたパラメータに対する重みづけの一例について説明する。例えば、解像度の判定に至った条件、つまり、上述した条件(i)~(iii)のうち、該当する条件によって、その解像度のパラメータに対する重みづけを設定するようにしてもよい。具体的には、条件(i)と(ii)とを満たして解像度Sであると判定された場合と、条件(i)と(iii)とを満たして解像度Sであると判定された場合とでパラメータP2に対する重みづけαを変えてもよい。つまり、第1L画素群及び第1R画素群における輝度差が第1閾値未満であって、第2L画素群及び第2R画素群における輝度差が第2閾値以上である場合には、第2L画素群又は第2R画素群における輝度差が第2閾値以上である場合よりも黒帯画像が表示される可能性が高い。そのため、解像度SのパラメータP2に対する重みづけαは、条件(i)(iii)を満たす場合より、条件(i)(ii)を満たす場合の方が高くなるように設定する。
また、条件(i)を満たさないことで解像度Hと判定された場合と、条件(i)を満たし、条件(ii)及び(iii)のいずれも満たさないことによって解像度Hと判定された場合とでパラメータP1に対する重みづけβを変えてもよい。つまり、第1L画素群及び第1R画素群における輝度差が第1閾値以上である場合には、第1L画素群及び第1R画素群における輝度差が第1閾値未満であって、第2L画素群及び第2R画素群における輝度差が第2閾値未満である場合よりも、表示領域16L及び16Rに黒帯画像が表示されない可能性が高い。そのため、解像度HのパラメータP1に対する重みづけβは、条件(i)を満たし、条件(ii)及び(iii)のいずれも満たさない場合より、条件(i)を満たさない場合の方が高くなるように設定する。
上記の例では、解像度の判定の際に該当した条件に応じて解像度のパラメータに対する重みづけを設定したが、例えば、予め上記各条件を用いて解像度の判定を行い、判定精度を検証した結果に基づいて、各解像度のパラメータに対する重みづけを予め設定するようにしてもよい。要するに、解像度の判定結果に応じて定められた重みづけを各解像度のパラメータに対して設定すればよい。
本実施形態では、判定された解像度が、画像信号におけるコンテンツ部分の解像度である可能性を考慮して、各解像度のパラメータに重みづけされて混合されたパラメータが画像処理部20に入力される。そのため、解像度が誤判定された場合に、誤判定された解像度のパラメータを用いて画像処理がなされる場合と比べて、画像処理による画像の不具合を軽減することができる。
<第3実施形態>
上述した第1実施形態では、2つの解像度(解像度H又はS)のいずれかを判定する例について説明した。本実施形態では、3つの解像度のいずれかを判定する例について説明する。
上述した第1実施形態では、2つの解像度(解像度H又はS)のいずれかを判定する例について説明した。本実施形態では、3つの解像度のいずれかを判定する例について説明する。
図12は、本実施形態における表示領域を表す模式図である。図12において、破線で示すD3及びD4は、例えば、アスペクト比(4:3)、解像度(720×576)(以下、解像度Vと称する)に対応するコンテンツ画像の表示対象領域の境界を示している。表示領域16Lは、境界D3によって区分けされた表示領域16L1及び16L2を含む。表示領域16Rは、境界D4によって区分けされた表示領域16R1及び16R2を含む。解像度Vの場合、表示領域16Bがコンテンツ画像の表示対象領域であり、表示領域16L1と16R1が黒帯画像の表示対象領域となる。本実施形態において、表示領域16Bは、解像度Vに対応する第2の表示領域の一例である。
また、図12において、表示領域16L1及び16L2の各々において一点鎖線で示す領域PL1及びPL2の画素群と、表示領域16R1及び16R2の各々において一点鎖線で示す領域PR1及びPR2の画素群は、第1実施形態と同様、解像度の判定に用いられる画素群である。本実施形態において、領域PL1、PL2、PCL、PR1、PR2、PCRのそれぞれの大きさは同じであり、各領域の画素数は同じである。以下、領域PL1における画素群を第1LA画素群、領域PL2における画素群を第1LB画素群と称する。また、領域PR1における画素群を第1RA画素群、領域PR2における画素群を第1RB画素群と称する。表示領域16C内の領域PCL及びPRLにおける画素群は、第1実施形態と同様、第2L画素群及び第2R画素群と称する。
解像度判定部14は、判定部141において、第1実施形態と同様、第1LA画素群、第1LB画素群、第1RA画素群、第1RB画素群の各々について、x軸方向に隣り合う2つの画素の輝度値を用いて積算値S(Sout1LA、Sout1LB、Sout1RA、Sout1RB)を各々算出する。また、判定部141において、第1LA画素群の輝度値Yの合計(Uout1LA)と第1RA画素群の輝度値Yの合計(Uout1RA)との差分(UoutA=|Uout1LA-Uout1RA|)と、第1LB画素群の輝度値Yの合計(Uout1LB)と第1RB画素群の輝度値Yの合計(Uout1RB)との差分(UoutB=|Uout1LB-Uout1RB|)を算出する。さらに、判定部141において、第1実施形態と同様、第2L画素群について積算値Sin1を算出し、第2R画素群について積算値Sin2を算出する。そして、判定部141は、以下の条件(I)~(III)により、画像信号におけるコンテンツ部分の解像度の判定を行う。
(I)Sout1LA<Tout,Sout1RA<Tout,
Sout1LB<Tout,Sout1RB<Tout,
UoutA<C,UoutB<C,Sin1>Tin,Sin2>Tin
を全て満たす場合
(II)Sout1LA>Tout,Sout1RA>Tout,UoutA>C,
のいずれかを満たす場合
(III)上記(I)と(II)のいずれにも該当しない場合
Sout1LB<Tout,Sout1RB<Tout,
UoutA<C,UoutB<C,Sin1>Tin,Sin2>Tin
を全て満たす場合
(II)Sout1LA>Tout,Sout1RA>Tout,UoutA>C,
のいずれかを満たす場合
(III)上記(I)と(II)のいずれにも該当しない場合
条件(I)は、表示領域16L及び16R内の第1LA画素群、第1LB画素群、第1RA画素群、第1RB画素群における画素の各輝度差が第1閾値未満であり、表示領域16C内の第2R画素群及び第2L画素群における画素の各輝度差が第2閾値以上となる場合である。従って、条件(I)に該当する場合には、表示領域16L及び16Rに黒帯画像が表示される可能性が高いため、判定部141は、解像度Sであると判定する。
条件(II)は、第1LA画素群及び第1RA画素群における画素の輝度差が第1閾値以上となる場合である。従って、条件(II)に該当する場合には、表示領域16Aがコンテンツ画像の表示対象領域となる可能性が高いため、判定部141は、解像度Hであると判定する。
条件(III)は、第1LA画素群及び第1RA画素群における画素の輝度差が第1閾値未満であり、少なくとも、第1LB画素群及び第1RB画素群における画素の輝度差が第1閾値以上、又は、第2L画素群及び第2R画素群における画素の輝度差が第2閾値以上となる場合である。従って、条件(III)に該当する場合には、表示領域16Bがコンテンツ画像の表示対象領域となり、表示領域16L1及び16R1が黒帯画像の表示対象領域となる可能性が高い。そのため、この場合、判定部141は、解像度Vであると判定する。つまり、本実施形態では、解像度Vの判定には、表示領域16L1及び16R1に位置する第1LA画素群と第1RA画素群における画素の各輝度差と、表示領域16Bに位置する第1LB画素群及び第1RB画素群における画素の各輝度差、または表示領域16Cに位置する第2L画素群及び第2R画素群における画素の各輝度差に応じて解像度Vであるか否か判定される。
パラメータ設定部142は、判定された解像度が解像度Hである場合には、解像度Hに対応するパラメータP1を画像処理部20へ出力し、判定された解像度が解像度Sである場合には、解像度Sに対応するパラメータP2を画像処理部20へ出力する。また、判定された解像度が解像度Vである場合には、解像度Vに対応するパラメータP3を画像処理部20へ出力する。なお、パラメータP1、P2、P3の値は、P1<P3<P2となるように設定されているものとする。
以上、本発明の実施の形態を説明したが、上述した実施の形態は本発明を実施するための例示に過ぎない。よって、本発明は上述した実施の形態に限定されることなく、その趣旨を逸脱しない範囲内で上述した実施の形態を適宜変形して実施することが可能である。以下、本発明の変形例について説明する。
<変形例>
(1)上述した第1実施形態では、第1L画素群、第1R画素群、第2L画素群、第2R画素群は、表示領域のx軸方向における2列の画素群の一部で構成されている例を説明したが、例えば、図13に示すように、x1~x4の4列の画素群の一部又は全部で構成されていてもよい。この場合には、例えば、各画素群について、(x1,x2)、(x1,x3)、(x1,x4)、(x2,x3)、(x2,x4)、(x3,x4)の各組について積算値Sを算出し、各組の積算値Sの合計値をSout又はSinとして算出してもよいし、少なくとも1組の積算値SをSout又はSinとしてもよい。
(2)上述した第1実施形態では、画像信号のコンテンツ部分の解像度に応じて、表示画面の左右端に黒帯画像が表示される例について説明したが、表示画面の上下端に黒帯画像が表示される場合についても適用することができる。この場合には、図14Aに示すように、表示領域16Aは、第1の解像度の場合におけるコンテンツ画像の表示対象領域の一例であり、表示領域16C’は、第2の解像度の場合におけるコンテンツ画像の表示対象領域の一例である。表示領域16U及び16Dは、第2の解像度の場合における黒帯画像の表示対象領域の一例である。表示領域16U及び16Dにおいて、表示領域16C’との境界D11、D21近傍に位置する領域PU及びPDにおける各画素群と、表示領域16C’の境界D11、D21近傍に位置する領域PCU及びPCDにおける各画素群とを解像度の判定に用いるようにする。なお、領域PU、PD、PCU、PCDは、各々同じ大きさであり、画素数が同じに設定されている。この例において、領域PUと領域PDにおける画素群は第1の画素群の一例であり、領域PCUと領域PCDにおける画素群は第2の画素群の一例である。
図14Bは、図14Aに示した領域における画素群の一部を拡大した模式図である。本変形例では、以下の式(7)により各画素群における積算値S’を算出する。つまり、この場合には、y軸方向に隣り合う2つの画素の輝度値の差分を算出し、差分値をx軸方向の列分だけ積算する。
(3)上述した第1実施形態では、解像度Sを判定する際、表示画面の左右の表示領域16L及び16Rにおいて各々1つの画素群を判定対象として用いる例を説明したが、図15に示すように、表示領域16L及び16Rにおいて予め定めた複数の領域(PL11,PL12,PR11,PR12)における画素群を判定に用いるようにしてもよい。各画素群は、表示領域16L及び16Rにおける1列の画素群の一部又は全部であってもよいし、2列の画素群の一部又は全部であってもよい。以下、領域PL11における画素群を第1La画素群、領域PL12における画素群を第1Lb画素群、領域PR11における画素群を第1Ra画素群、領域PR12における画素群を第1Rb画素群と称する。
例えば、各画素群が1列で構成されている場合、判定部141は、同じ行に位置する画素の輝度値の差分の積算値を求めるようにする。そして、この場合には、判定部141は、第1実施形態と同様の条件(i)~(iii)により解像度の判定を行う。
また、各画素群が2列で構成されている場合、判定部141は、各画素群について、第1実施形態と同様に積算値Sを各々求める。第1La画素群に対する積算値SをSout1La、第1Lb画素群に対する積算値SをSout1Lb、第1Ra画素群に対する積算値SをSout1Ra、第1Rb画素群に対する積算値SをSout1Rbとする。また、判定部141は、第1実施形態と同様、表示領域16Cにおける第2L画素群及び第2R画素群について積算値Sin1,Sin2を求める。判定部141は、第1La画素群の輝度値の合計と第1Lb画素群の輝度値の合計との差分(Uout11)と、第1Ra画素群の輝度の合計と第1Rb画素群の輝度値の合計との差分(Uout12)とを求める。そして、判定部141は、以下の条件(X)~(Z)を用いて解像度の判定を行う。
(X)Sout1La<Tout,Sout1Ra<Tout,
Sout1Lb<Tout,Sout1Rb<Tout,Uout11<C,
Uout12<C を全て満たす場合
(Y)(X)を満たし、Sin1>Tin及びSin2>Tinを満たす場合
(Z)(X)を満たし、Sin1>Tin及びSin2<Tin、又は、
Sin1<Tin及びSin2>Tinを満たす場合
Sout1Lb<Tout,Sout1Rb<Tout,Uout11<C,
Uout12<C を全て満たす場合
(Y)(X)を満たし、Sin1>Tin及びSin2>Tinを満たす場合
(Z)(X)を満たし、Sin1>Tin及びSin2<Tin、又は、
Sin1<Tin及びSin2>Tinを満たす場合
条件(X)に該当する場合は、表示領域16L及び16Rにおける輝度差が小さく、表示領域16L及び16Rに黒帯画像が表示される可能性が高いと判断し、(Y)又は(Z)に該当するか否か判断する。(Y)又は(Z)に該当する場合には、黒帯画像の表示対象領域である表示領域16L又は16R近傍の表示領域16Cにおける輝度差は、表示領域16L及び16Rの輝度差よりも比較的大きい。そのため、この場合には、判定部141は、画像信号の解像度が解像度Sであると判定する。
一方、(Y)又は(Z)に該当しない場合、つまり、Sin1<Tin、及びSin2<Tinである場合には、表示領域16L及び16Rと、表示領域16L及び16R近傍の表示領域16Cには輝度差が少ないコンテンツ画像が表示される可能性が高い。そのため、この場合には、画像信号の解像度は解像度Hであると判定する。また、条件(X)のいずれか1つでも満たさない場合には、判定部141は、画像信号の解像度は解像度Hであると判定する。このように表示領域16L及び16Rにおける複数の画素群を用いて解像度の判定を行うことにより、表示領域16L及び16Rにおける1つの画素群を用いて解像度の判定を行う場合と比べて解像度の誤判定を軽減することができる。
(4)上述した第3実施形態において、解像度判定部14は、第2実施形態におけるパラメータ設定部142Aの機能を有するように構成してもよい。すなわち、第3実施形態において、解像度毎のパラメータに重みづけを行って混合したパラメータを生成し、画像処理部20へ出力するようにしてもよい。
(5)上述した第1実施形態において、パラメータ設定部142は、前後のフレームについて判定された解像度が異なる場合、前のフレームについて判定された解像度のパラメータを後のフレームについて判定された解像度のパラメータとなるまで一定の割合で変化させたパラメータを逐次生成するようにしてもよい。つまり、例えば、Nフレーム目に判定した解像度が解像度Hであり、N+1フレーム目に判定された解像度が解像度Sである場合、解像度Sのパラメータとなるまで解像度Hのパラメータを一定時間ごとに所定の割合で変化させるようにしてもよい。
また、第2実施形態において、例えば、前のフレームの判定結果が解像度Sであり、後のフレームの判定結果が解像度Hである場合、解像度HのパラメータP1と解像度SのパラメータP2とを一定時間ごとに所定の割合で変化させて混合したパラメータを逐次生成するようにしてもよい。具体的には、パラメータ設定部142Aは、以下の式(8)によりパラメータPを生成するようにしてもよい。なお、式(8)において、tは重みづけを表し、0からsになるまで時間に応じて一定の割合で増加させる。
また、上記変形例(4)の構成において、例えば、前のフレームについて判定された解像度が解像度Hである場合において、後のフレームについて判定された解像度が解像度S又は解像度Vであるとき、パラメータ設定部142Aは、以下のようにしてパラメータを生成してもよい。パラメータ設定部142Aは、解像度HのパラメータP1と解像度SのパラメータP2と解像度VのパラメータP3とに対し、一定時間ごとに変化する重みづけを行い、これらパラメータを混合したパラメータを逐次生成するようにする。具体的には、以下の式(9)によりパラメータを生成する。なお、式(9)において、t及びrは重みづけを表し、それぞれ0からs1、s2となるまで時間に応じて一定の割合で増加させる。
画像信号の解像度が解像度Hであるにも関わらず、コンテンツ画像の輝度差が小さく解像度S又は解像度Vと判定される場合がある。このような場合に、解像度S又は解像度Vに応じたパラメータを用いて画像処理を行うと適切に画像処理がなされない。そのため、前のフレームについて判定された解像度が解像度Hである場合において、後のフレームについて判定された解像度が解像度S又は解像度Vであるときには、予め定めた時間内に解像度S又は解像度Vと判定されるまで、上記式(9)を用いて各パラメータを混合したパラメータを画像処理部20に出力する。そして、予め定めた時間内に判定したフレームの解像度が解像度S又は解像度Vである場合には、解像度S又はVに対応するパラメータを画像処理部20へ出力する。また、予め定めた時間内に判定したフレームの解像度が解像度S又は解像度Vでない場合には、上記式(9)において、重みづけt及びrを、それぞれs1、s2から0になるまで一定の割合で減少させて、解像度HのパラメータP1に戻すようにしてもよい。
(6)上述した第1実施形態において、判定部141は、第1の差分として、第1L画素群における1列分の各画素と、第1R画素群における1列分の各画素との輝度値の差分を合計した結果(以下、SUoutと称する)を求めるようにしてもよい。この場合には、条件(i)を、”SUout<C を満たす場合”に替えて解像度の判定を行うようにする。本変形例の構成によれば、第1L画素群と第1R画素群における輝度値の合計の差分(Uout)についての判断を行わないため、第1実施形態と比べて解像度の判定精度は低下するが、Uoutを算出して判断する処理が不要であるため、解像度の判定処理の高速化を図ることができる。
(7)上述した第1実施形態及び第3実施形態において、第1の画素群を構成する画素の輝度値の差に応じて、画像信号のコンテンツ部分の解像度を判定するようにしてもよい。第1実施形態及び第3実施形態と比べて解像度の判定精度は低下するが、第1実施形態及び第3実施形態より判定処理を高速化することができる。
(8)上述した第1実施形態では、図2の例において、第2の表示領域(表示領域16C)は、x軸方向において第1の表示領域(表示領域16A)より小さく構成されている。つまり、第1実施形態では、第1の表示領域を構成する1辺の延伸方向において第2の表示領域は第1の表示領域より小さく構成され、第2の表示領域の境界となる2辺D1,D2の近傍に位置する第1の画素群と第2の画素群とが設けられる例であったが、以下のように構成してもよい。第2の表示領域は、第1の表示領域を構成する2辺の延伸方向において第1の表示領域より小さく構成され、第1の画素群は第2の表示領域の境界となる2辺の近傍に位置し、第2の画素群は第1の画素群の近傍に位置していればよい。このような例を図16A及び16Bに示す。
図16Aの例において、破線で示す2つの辺D1’とD2’は表示領域16C’の境界である。表示領域16C’は、第2の解像度に対応する第2の表示領域の一例である。また、図16Bの例においては、破線で示す4つの辺D11’,D12’,D21’,D22’は表示領域16C’の境界である。表示領域16C’は、第2の解像度に対応する第2の表示領域の一例である。
図16A及び16Bにおける表示領域16Aは、第1実施形態と同様、第1の解像度に対応する第1の表示領域の一例である。また、表示領域16Fは、表示領域16Aと表示領域16C’とが重ならない領域、つまり、第2の表示領域外であり、第2の解像度で画像信号におけるコンテンツ部分が表示される場合に、黒帯画像(特定の画像)が表示される領域である。
図16Aの例では、表示領域16Fにおいて、表示領域16C’の境界となる辺D1’とD2’の近傍に位置する画素群16F-1と16F-2が第1の画素群として設定されている。また、表示領域16C’において、画素群16F-1と16F-2の近傍に位置する画素群16C’-1と16C’-2が第2の画素群として設定されている。
図16Bの例では、表示領域16Fにおいて、表示領域16C’の境界となる4つの各辺D11’,D12’,D21’,D22’の近傍に位置する画素群16F-1,16F-2,16F-3,16F-4が第1の画素群として設定されている。また、表示領域16C’において、画素群16F-1,16F-2,16F-3,16F-4の各々の近傍に位置する画素群16C’-1,16C’-2,16C’-3,16C’-4が第2の画素群として設定されている。
本発明は、テレビ等の表示装置に設けられる画像処理装置として産業上の利用が可能である。
Claims (6)
- 画像信号における画素の輝度値を用い、前記画像信号におけるコンテンツ部分の解像度をフレーム単位に判定する判定部と、
前記判定部で判定された解像度に応じて、前記画像信号の画像処理に用いられる画像処理用パラメータを設定するパラメータ設定部と、
前記パラメータ設定部で設定された前記画像処理用パラメータを用いて前記画像信号に画像処理を行い、表示部に出力する画像処理部と、を備え、
前記画像信号のコンテンツ部分は、前記表示部において、表示領域の全体である第1の表示領域に対応する第1の解像度、又は、前記表示領域の一部である第2の表示領域に対応する第2の解像度で表示され、
前記コンテンツ部分が前記第2の解像度で表示される場合、前記第2の表示領域外に表示される画像であって、予め定められた輝度値を有する画素からなる特定の画像が前記画像信号に含まれており、
前記判定部は、前記第2の表示領域外に位置する第1の画素群における画素の輝度差に応じて、前記画像信号のコンテンツ部分の解像度が前記第1の解像度であるか前記第2の解像度であるかを判定する、画像処理装置。 - 前記判定部は、さらに、前記第2の表示領域内の第2の画素群における画素の輝度差に応じて、前記画像信号のコンテンツ部分の解像度が前記第1の解像度であるか前記第2の解像度であるかを判定する、請求項1に記載の画像処理装置。
- 前記第2の表示領域は、前記第1の表示領域を構成する少なくとも1辺の延伸方向において前記第1の表示領域より小さく構成されており、
前記第1の画素群は、前記第1の表示領域と前記第2の表示領域とが重ならない領域において、前記第2の表示領域の境界を構成する2つの辺の各近傍に位置し、
前記第2の画素群は、前記第2の表示領域において、前記第1の画素群の近傍に位置する、請求項2に記載の画像処理装置。 - 前記特定の画像を構成する各画素の輝度値は略均一に定められており、
前記判定部は、前記画像信号における前記第1の画素群を構成する画素の輝度値を用いて、前記第1の画素群における画素の輝度差を示す第1の差分を求め、前記画像信号における前記第2の画素群を構成する画素の輝度値を用いて、前記第2の画素群における画素の輝度差を示す第2の差分を求め、前記第1の差分が予め定めた第1閾値未満であって、前記第2の差分が、前記第1閾値より大きい第2閾値以上である条件を満たす場合には前記第2の解像度であると判定し、前記条件を満たさない場合には前記第1の解像度であると判定する、請求項2又は請求項3に記載の画像処理装置。 - 前記パラメータ設定部は、前記判定部において判定されたNフレーム目の解像度とN+1フレーム目の解像度とが異なる場合、前記Nフレーム目の解像度に対する前記画像処理用パラメータを前記N+1フレーム目の解像度に対する前記画像処理用パラメータになるまで一定の割合で変化させた各画像処理用パラメータを前記画像処理部に逐次出力する、請求項1から請求項4のいずれか一項に記載の画像処理装置。
- 前記パラメータ設定部は、前記第1の解像度と前記第2の解像度とに各々対応する画像処理用パラメータを、前記判定部の判定結果に応じて予め定めた割合で混合して前記画像処理部へ出力する、請求項1から請求項5のいずれか一項に記載の画像処理装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013-017385 | 2013-01-31 | ||
JP2013017385 | 2013-01-31 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2014119448A1 true WO2014119448A1 (ja) | 2014-08-07 |
Family
ID=51262162
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2014/051247 WO2014119448A1 (ja) | 2013-01-31 | 2014-01-22 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2014119448A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110351604A (zh) * | 2019-07-29 | 2019-10-18 | 北京德为智慧科技有限公司 | 不同影像模态的自适应显示方法、装置及*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006339737A (ja) * | 2005-05-31 | 2006-12-14 | Matsushita Electric Ind Co Ltd | デジタル放送受信機 |
JP2007288587A (ja) * | 2006-04-18 | 2007-11-01 | Pioneer Electronic Corp | 映像調整装置、映像調整方法および映像処理プログラム |
JP2008300930A (ja) * | 2007-05-29 | 2008-12-11 | Funai Electric Co Ltd | テレビジョン受像機 |
JP2009038490A (ja) * | 2007-07-31 | 2009-02-19 | Sony Corp | 画像判定装置、画像判定方法、およびプログラム |
-
2014
- 2014-01-22 WO PCT/JP2014/051247 patent/WO2014119448A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006339737A (ja) * | 2005-05-31 | 2006-12-14 | Matsushita Electric Ind Co Ltd | デジタル放送受信機 |
JP2007288587A (ja) * | 2006-04-18 | 2007-11-01 | Pioneer Electronic Corp | 映像調整装置、映像調整方法および映像処理プログラム |
JP2008300930A (ja) * | 2007-05-29 | 2008-12-11 | Funai Electric Co Ltd | テレビジョン受像機 |
JP2009038490A (ja) * | 2007-07-31 | 2009-02-19 | Sony Corp | 画像判定装置、画像判定方法、およびプログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110351604A (zh) * | 2019-07-29 | 2019-10-18 | 北京德为智慧科技有限公司 | 不同影像模态的自适应显示方法、装置及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8792746B2 (en) | Image processing apparatus, image processing method, and program | |
US8335394B2 (en) | Image processing method for boundary resolution enhancement | |
TWI543586B (zh) | 影像增強的方法及其影像處理裝置與電腦程式產品 | |
US20110019082A1 (en) | Multi-frame approach for image upscaling | |
CN104574277A (zh) | 图像插值方法和图像插值装置 | |
US20140009469A1 (en) | Method and device for converting image resolution, and electronic device having the device | |
CN104700360B (zh) | 基于边缘自适应的图像缩放方法及*** | |
US11854157B2 (en) | Edge-aware upscaling for improved screen content quality | |
TWI544785B (zh) | 影像縮減取樣裝置與方法 | |
US20150178895A1 (en) | Image processing device and image processing method | |
CN115272068A (zh) | 一种用于图像上采样的高效插值方法 | |
WO2014024691A1 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び画像表示装置 | |
WO2014119448A1 (ja) | 画像処理装置 | |
US20100201701A1 (en) | Image processor, image processing method, display device, program and integrated circuit | |
US9401005B2 (en) | Image processing circuit, image processing method, and display device using the same | |
JP2009094862A (ja) | 映像信号処理装置 | |
WO2014136552A1 (ja) | 画像処理装置 | |
JP2021009543A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN113793249A (zh) | 一种Pentile图像转换为RGB图像的方法、装置及存储介质 | |
US8346021B2 (en) | Content adaptive scaler based on a farrow structure | |
US9245331B2 (en) | Video contrast enhancement with sub-segments | |
US20150063726A1 (en) | Image processing method and image processing apparatus | |
WO2014024916A1 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び画像表示装置 | |
WO2014084136A1 (ja) | 画像処理装置 | |
CN101459811B (zh) | 视频画面格式转换方法和对应设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 14746627 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 14746627 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |