WO2012114373A1 - 映像信号処理方法及び装置 - Google Patents

映像信号処理方法及び装置 Download PDF

Info

Publication number
WO2012114373A1
WO2012114373A1 PCT/JP2011/001000 JP2011001000W WO2012114373A1 WO 2012114373 A1 WO2012114373 A1 WO 2012114373A1 JP 2011001000 W JP2011001000 W JP 2011001000W WO 2012114373 A1 WO2012114373 A1 WO 2012114373A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
color difference
luminance
filter
unit
Prior art date
Application number
PCT/JP2011/001000
Other languages
English (en)
French (fr)
Inventor
健一 米司
浜田　宏一
義崇 平松
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to PCT/JP2011/001000 priority Critical patent/WO2012114373A1/ja
Publication of WO2012114373A1 publication Critical patent/WO2012114373A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H04N9/78—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase for separating the brightness signal or the chrominance signal from the colour television signal, e.g. using comb filter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Definitions

  • the present invention relates to a video signal processing technique using a spatial filter.
  • a process is generally performed in which an image captured by a camera is temporarily reduced and stored in a storage medium such as a personal computer, and then enlarged and displayed on a television.
  • Non-Patent Document 1 An example of video signal processing for enlarging / reducing video is disclosed in Non-Patent Document 1 and Non-Patent Document 2.
  • An object of the present invention is to provide a high-quality image in which color shift noise is suppressed.
  • Actual images include images in which the spatial frequency characteristics of the luminance signal and the spatial frequency characteristics of the color difference signal are completely different.
  • the luminance signal and the color difference signal have been processed with the same spatial filter.
  • a filter that generates a shoot is used as a spatial filter.
  • color misalignment noise was generated.
  • the inventors have used a second spatial filter that is different from the first spatial filter that inputs the luminance signal as a spatial filter that performs image processing on the color difference signal, thereby shooting the color difference signal after image processing. I thought that the color shift noise caused by this could be suppressed.
  • the luminance signal is processed by the first filter that generates a shoot with respect to the first input signal
  • the color difference signal is output by the second filter that has a smaller shoot than when the first input signal is processed by the first filter.
  • An object of the present invention is to provide a high-quality image in which color shift noise is suppressed.
  • FIG. 1 is a block diagram of a video signal processing apparatus according to Embodiment 1.
  • FIG. 3 is a block diagram of a luminance / color discrimination signal processing unit according to Embodiment 1.
  • FIG. 3 is a block diagram of an image signal processing unit according to the first embodiment.
  • FIG. 3 is a block diagram of a color difference signal reduction processing unit and a color difference signal enlargement processing unit according to the first embodiment. It is a figure which shows the spatial frequency characteristic of a low-pass filter.
  • FIG. 6 is a diagram showing the result of reducing / enlarging the input signal of Example 1 with a spatial filter. 6 is a block diagram of a luminance / color discrimination signal processing unit according to Embodiment 2.
  • FIG. 6 is a diagram showing the result of reducing / enlarging the input signal of Example 2 with a spatial filter.
  • FIG. 10 is a block diagram of color difference signal enlargement processing according to the third embodiment. 10 is a block diagram of a luminance / color discrimination signal processing unit according to Embodiment 4.
  • FIG. 10 is a block diagram of a color difference signal reduction processing unit and a color difference signal enlargement processing unit according to a fourth embodiment.
  • FIG. 10 is a block diagram of a luminance / color discrimination signal processing unit according to a fifth embodiment.
  • FIG. 10 is a block diagram of color difference signal super-resolution processing according to a fifth embodiment.
  • FIG. 10 is a block diagram of color difference signal super-resolution processing according to a sixth embodiment.
  • FIG. 10 is a block diagram of a video display device in Example 7.
  • FIG. 10 is a block diagram of a recording / playback apparatus according to an eighth embodiment.
  • FIG. 1 shows a block diagram of a video signal processing apparatus according to the first embodiment.
  • the input signal (101) is input to the luminance / color difference signal separation unit (102).
  • the luminance / chrominance signal separation unit (102) decomposes the input signal (101) into a luminance signal (103) and a color difference signal (104).
  • the luminance signal (103) and the color difference signal (104) are input to the luminance color discrimination signal processing unit (105).
  • the luminance signal and the color difference signal are processed separately.
  • the luminance signal (103) is input to the luminance signal processing unit (106), and the color difference signal (104) is input to the color difference signal processing unit (107).
  • Each processing result is input to the luminance / chrominance signal combining unit (108) and output as one output signal (109).
  • the luminance / chrominance signal separation unit (102) when the input signal (101) is a signal using a luminance and color difference, such as YCbCr system or YPbPr system, the luminance signal (103) and color difference The signal (104) is divided and output as it is.
  • the luminance signal (103) and color difference signal (104) are output separately. . This conversion method is performed by multiplying conversion coefficients. Further, if the input signal is originally such that the luminance signal and the color difference signal are separated, the output may be performed without any processing.
  • the luminance / chrominance signal combining unit (108) collectively outputs the output signals from the luminance / color discrimination signal processing unit (105). At this time, if the format of the output signal (109) needs to be RGB or XYZ, the signal format is converted according to a predetermined method, and then the signals are output together. In addition, when there is an apparatus that receives the output signal (109) and performs further processing behind this apparatus, it is necessary to separately input the luminance signal and the color difference signal when it is necessary to input the luminance signal and the color difference signal separately. It is sufficient to output the data as it is without putting it together.
  • image signal processing including processing using a spatial filter is performed.
  • the process using the spatial filter is a process in which the spatial frequency characteristics change before and after the image signal processing.
  • FIG. 2 an example in which reduction / enlargement processing is performed as processing using a spatial filter will be described.
  • the luminance signal (103) is subjected to image reduction processing by the luminance signal reduction processing unit (201).
  • the color difference signal (103) is subjected to image reduction processing by the color difference signal reduction processing unit (202).
  • Outputs of the luminance signal reduction processing unit (201) and the color difference signal reduction processing unit (202) are input to the image signal processing unit (203).
  • the image signal processing unit (203) performs the image signal processing shown in FIG.
  • the luminance signal is input to the luminance signal enlargement processing unit (204), and the color difference signal is input to the color difference signal enlargement processing unit (205).
  • the luminance signal enlargement processing unit (204) and the color difference signal enlargement processing unit (205) each perform image enlargement processing.
  • Fig. 3 shows a block diagram of the image signal processing unit (203).
  • the input luminance signal (301) and the input color difference signal (302) are input to the encoding unit (303).
  • the encoding unit (303) performs encoding processing in a standardized encoding format such as MPEG2, MPEG4, H.264, HEVC, and the like, thereby reducing the data amount.
  • the reduced data is transmitted by a transmission / recording medium such as a broadcast wave (304), and the received signal is input to the decoding unit (305).
  • the decoding unit (305) performs a decoding process corresponding to the encoding process to obtain an output luminance signal (306) and an output color difference signal (307).
  • the input luminance signal (301) and the input color difference signal (302) have a smaller number of pixels than the luminance signal (201) and the color difference signal (202) in FIG. 2, the luminance signal reduction processing unit (203 ) And the color difference signal reduction processing unit (204), there is an advantage that transmission (304) is possible with a smaller amount of data.
  • FIG. 4 shows a block diagram of the color difference signal reduction processing unit (202) and the color difference signal enlargement processing unit (205).
  • the color difference signal reduction processing unit (202) an input signal is first input to the filter processing unit (401).
  • the reduction filter processing unit (401) performs spatial filter processing using a low-pass filter.
  • the output of the reduction filter processing unit (401) is input to the pixel thinning unit (402), and image reduction processing is performed by thinning out pixels.
  • This flow is a general image reduction process, and the luminance signal reduction processing unit (201) has the same configuration.
  • the color difference signal enlargement processing unit (205) an input signal is first input to the pixel interpolation unit (403).
  • the pixel interpolation unit (403) inserts black at regular intervals until the required number of pixels is reached, thereby increasing the number of pixels.
  • the output of the pixel interpolation unit (403) is input to the enlargement filter processing unit (404).
  • the enlargement filter processing unit (404) performs spatial filter processing using a low-pass filter to obtain an enlarged image. This flow is a general image enlargement process, and the luminance signal enlargement processing unit (204) has the same configuration.
  • a pixel interpolation unit may be required for the reduction process, and a pixel thinning unit may be required for the enlargement process.
  • the reduction filter processing unit (401) and the enlargement filter processing unit (402) each require a low-pass filter that drops high-frequency components.
  • Fig. 5 shows the spatial frequency characteristics of the low-pass filter.
  • FIG. 5A shows the spatial frequency characteristic (501) of the low-pass filter.
  • This low-pass filter is a filter that drops the spatial frequency components after the cutoff frequency (505).
  • This cut-off frequency (505) is set in consideration of the sampling theorem from the enlargement ratio and reduction ratio.
  • the spatial filter (502) of FIG. 5 (b) is obtained by Fourier transforming this filter, and filter processing is performed by convolution operation using this spatial filter (502).
  • FIG. 6 is a diagram showing the result of reducing and enlarging the input signal.
  • FIG. 6A shows an input luminance signal (601) and an input color difference signal (602).
  • the results of processing the luminance signal and the color difference signal using the spatial filter (502) of FIG. 5 (b) are shown in the output luminance signal (603) and the output color difference signal (604) of FIG. 6 (b).
  • the general spatial filter (502) an overshoot (605) and an undershoot (606) are generated as shown in FIG. 6 (b).
  • This overshoot (605) and undershoot (606) of the color difference signal may be visually recognized as a picture in which the color difference component protrudes outside the edge line when viewed in the image, and this is color shift noise. is there.
  • This color shift noise is caused by overshoot (605) and undershoot (606), and this overshoot (605) and undershoot (606) are vibrations in the spatial filter (502) of FIG.5 (b). Occurs due to component (503). Therefore, considering this, the result of processing the luminance signal and the color difference signal using the filter (504) with a small vibration component as shown in FIG. 5 (c) is the output luminance signal (607) and the output of FIG. 6 (c).
  • a filter used for processing such a color difference signal is suitable if it is a filter that does not cause overshoot and undershoot, or a filter that has a smaller shoot than the filter used for processing the luminance signal.
  • an output luminance signal (610) in which a steep component is stored in the luminance signal is obtained, and an output color difference signal (611) in which overshoot and undershoot are reduced is obtained as the color difference signal. It is done. As a result, it is possible to suppress color misregistration noise while preserving the sharpness of the reduction and enlargement processing results.
  • the sharpness of the reduction and enlargement processing results is preserved by changing (making different) the spatial filter used for signal processing between the luminance signal and the color difference signal. As a result, it is possible to suppress color shift noise.
  • Example 2 describes an example in which the input signal is a signal that has already been reduced in Example 1.
  • FIG. 7 is a block diagram of the luminance / color discrimination signal processing unit when the reduced input signal is enlarged.
  • the luminance signal (103) is input to the luminance signal enlargement processing unit (703) and subjected to enlargement processing.
  • the color difference signal (104) is input to the color difference signal enlargement processing unit (704) and subjected to enlargement processing.
  • the reduction and enlargement filter may be a filter (801) having a small vibration component as shown in FIG. 8 (a).
  • the enlargement filter (803) such that the result of convolution of the reduction filter (802) and the enlargement filter (803) becomes a filter (801) with less vibration components that are less likely to cause overshoot and undershoot. It is possible to reduce overshoot and undershoot. Therefore, it is possible to suppress the color shift noise of the enlarged video by enlarging the color difference signal using such an enlargement filter (803).
  • the enlargement filter is designed so that the result of convolution of the reduction filter and the enlargement filter becomes a filter that stores the steep component of the luminance signal.
  • luminance / chrominance signal separation unit (102) and the luminance / chrominance signal combination processing unit (108) have already been described in the first embodiment, description thereof is omitted here.
  • the video signal processing device According to the video signal processing device according to the second embodiment described above, even when a reduced signal has already been input, by appropriately processing the luminance signal and the color difference signal, the sharpness of the enlargement processing result can be obtained. It is possible to suppress color misregistration noise while it is stored.
  • Example 3 describes a modification of the color difference signal enlargement process (205) in Example 1.
  • FIG. 9 shows a modification (block diagram) of the color difference signal enlargement processing (205).
  • the input color difference reduction signal is enlarged by the pixel interpolation unit (403) and the enlargement filter processing unit (404).
  • the shoot detection unit (901) detects a region where overshoot and undershoot occur.
  • an overshoot and undershoot region is detected by detecting a portion where the signal changes greatly using an edge detection process of an image and detecting a fine step generated in the vicinity thereof as a shoot.
  • the detected overshoot and undershoot regions and the output of the enlargement filter processing unit (404) are input to the shoot reduction unit (902).
  • the shoot reduction unit reduces the overshoot and undershoot of the output of the enlargement filter processing unit (404) based on the information of the overshoot and undershoot areas detected by the shoot detection unit (901).
  • this reduction method a method of applying a low-pass filter to the overshoot and undershoot regions is used.
  • Example 4 describes a modification of the luminance color discrimination signal processing unit (105) in Example 1.
  • FIG. 10 shows a modification (block diagram) of the luminance / color discrimination signal processing unit (105).
  • the difference between this modification and the first embodiment is that the luminance signal reduction processing unit (1003) and the color difference signal reduction processing unit (1004) output the luminance control signal (1001) and the color difference control signal (1002).
  • This signal is used in luminance signal enlargement processing (1005) and color difference signal enlargement processing (1006).
  • the luminance control signal (1001) and the color difference control signal (1002) are used to store steep components while suppressing color shift noise.
  • FIG. 11 is a block diagram of the color difference signal reduction processing unit (1004) and the color difference signal enlargement processing unit (1006).
  • the input signal is input to the control signal generator (1101).
  • the control signal generator (1101) generates a control signal (1102).
  • the control signal generation unit (1101) detects an edge using the image edge detection method, assumes that the vicinity is an area where a shoot is generated, and outputs the information as a control signal (1102).
  • a control signal (1102) is input to the color difference enlargement processing unit (1006).
  • FIG. 11 shows an example in which the control signal (1102) is input to the enlargement filter processing unit (404).
  • the processing is switched so that a filter that hardly causes overshoot or undershoot near the edge is used, and a filter that stores a steep component of the image is used otherwise.
  • the enlargement filter of the color difference enlargement processing unit is used near the edge, and the brightness enlargement filter is used otherwise.
  • the luminance signal reduction processing unit (1003) and the luminance signal enlargement processing unit (1005) may have the same configuration as the color difference signal reduction processing unit (1004) and the color difference signal enlargement processing unit (1006).
  • control signal is used in both the luminance signal processing and the color difference signal processing, but the control signal may be used only for the color difference signal processing, for example.
  • control signal is generated from the input signal, and the processing is switched using the control signal, thereby maintaining the sharpness of the reduction and enlargement processing results while maintaining the color shift. Noise can be suppressed.
  • Example 5 describes a modification of the luminance color discrimination signal processing unit (105) in Example 1.
  • FIG. 12 shows a modification (block diagram) of the luminance / color discrimination signal processing unit (105).
  • the luminance signal enlargement processing unit (204) and the color difference signal enlargement processing unit (205) in the first embodiment are changed to enlargement processing by super-resolution processing.
  • Super-resolution processing is processing for improving the resolution of an image, and is a technique for obtaining an image with higher resolution than general enlargement processing. For this reason, it is possible to obtain an enlargement processing result with a sharper sharpness compared to a general enlargement processing.
  • Super-resolution processing includes a technique that has an effect of recovering image blur that occurs during reduction and enlargement as in Non-Patent Document 2.
  • Such super-resolution processing requires a transfer function for recovering image blur that occurs during imaging. Generally, this transfer function is given by a low-pass filter. If this low-pass filter is a low-pass filter with a high degree of reduction of high-frequency components (hereinafter referred to as a strong low-pass filter), the blur recovery effect of super-resolution processing is strengthened.
  • the low-pass filter is weak, the blur recovery effect of the super-resolution processing is weakened.
  • this low-pass filter is set strongly, the blurring recovery effect becomes strong, and an enlarged result with a high sharpness can be obtained.
  • overshoot and undershoot may occur around the image edge. Therefore, even in enlargement using super-resolution processing, there is a problem in that color misalignment noise is generated when overshoot and undershoot occur in the color difference signal.
  • the low-pass filter is set to be weak, the blur recovery effect of the super-resolution processing is weakened, so that high sharpness cannot be obtained.
  • the luminance signal super-resolution processing unit (1201) sets the transfer function low-pass filter strongly, and the chrominance signal super-resolution processing unit (1202) sets the transfer function low-pass filter weakly.
  • Fig. 13 shows a block diagram of super-resolution processing (1202) for color difference signals.
  • a transfer function necessary for super-resolution processing is generated by a transfer function generation unit (1301).
  • An external signal (1303) is input to the transfer function generator (1301), and a transfer function is generated according to the external signal (1303).
  • the external signal (1303) is, for example, an image enlargement rate, and the higher the image enlargement rate, the stronger the transfer function generally becomes a low-pass filter.
  • the super-resolution enlargement processing unit (1302) performs super-resolution processing.
  • the low-pass filter of the transfer function used for the color difference signal super-resolution processing (1202) is a weak low-pass filter in which overshoot and undershoot hardly occur.
  • the luminance signal super-resolution processing (1201) may be designed in the same manner as the color difference signal super-resolution processing (1202). At this time, the transfer function is a strong low-pass filter so that a high sharpness can be obtained.
  • super-resolution processing is used for both enlargement processing.
  • super-resolution processing may be used only for the luminance signal, and the color difference signal may be used for enlargement processing as described in the first embodiment. .
  • the transfer function used for super-resolution processing is changed between the luminance signal and the color difference signal, respectively. It is possible to suppress color misregistration noise while preserving the sharpness of the reduction and enlargement processing results.
  • Example 6 describes a modification of the color difference signal super-resolution processing (1202) in Example 5.
  • Fig. 14 shows a block diagram of super-resolution processing (1202) for color difference signals.
  • the transfer function generation unit (1401) receives the external signal (1303) and the number of repetitions output from the super-resolution enlargement processing unit (1402), and generates a transfer function according to this. Using the generated transfer function, the super-resolution enlargement processing unit (1302) performs super-resolution processing.
  • the super-resolution enlargement processing unit (1402) is a super-resolution process using iterative calculation, and the number of repetitions is passed to the transfer function generation unit (1401), so that To switch the low-pass filter of the transfer function.
  • the transfer function generation unit (1401) so that To switch the low-pass filter of the transfer function.
  • overshoot and undershoot can be reduced, and color shift noise can be suppressed.
  • the final super-resolution processing result of the color difference signal is higher in sharpness than the result of super-resolution processing using a weak low-pass filter. Become.
  • the color difference signal super-resolution processing (1202) has been described, but the same processing may be used for the luminance signal super-resolution processing (1201).
  • the same processing may be used for the luminance signal super-resolution processing (1201).
  • the transfer function used for the super-resolution process is changed every time the super-resolution process is repeated.
  • the transfer function used for the super-resolution process is changed every time the super-resolution process is repeated.
  • FIG. 15 is a block diagram of a video display apparatus according to the seventh embodiment.
  • the video display apparatus according to the present embodiment is a video display apparatus configured to perform the image signal processing described in the first embodiment.
  • a video display device (1500) includes, for example, an input unit (1501) for inputting a broadcast signal, video content, image content, etc.
  • Recording / playback unit (1502) for recording or playing back content input from the input unit (1501), content storage unit (1503) for recording content by the recording / playback unit (1502), and playback by the recording / playback unit (1502)
  • the image signal processing unit (1504) which is the image signal processing apparatus described in the first embodiment, and a display for displaying the video signal or image signal processed by the image signal processing unit (1504) Unit (1505), audio output unit (1506) that outputs the audio signal reproduced by the recording / playback unit (1502), control unit (1507) that controls each component of the video display device (1500), and the user User interface for operating the video display device (1500) And the like (1508).
  • the video display device (1500) includes the image signal processing unit (1504) that is the image signal processing device described in the first embodiment, the video signal or the image signal input to the input unit (1501) It can be displayed on the display portion (1505) as a simple video signal or image signal.
  • the image signal processing unit (1504) may be included in the recording / playback unit (1502), and the above-described image signal processing may be performed during recording. In this case, since it is not necessary to perform the above-described image signal processing during reproduction, the processing load during reproduction can be reduced.
  • the video display device having the effects shown in the first embodiment can be realized. That is, the image can be displayed with higher resolution.
  • FIG. 16 is a block diagram of the recording / playback apparatus according to the eighth embodiment.
  • the recording / playback apparatus according to the present embodiment is a recording / playback apparatus configured to perform the image signal processing described in the first embodiment.
  • a recording / playback apparatus (1600) includes, for example, an input unit (1601) for inputting a broadcast signal, video content, image content, etc.
  • the image signal processing unit (1604) that is the image signal processing device described in the first embodiment is output to the image signal, and the video signal or the image signal processed by the image signal processing unit (1604) is output to another device or the like.
  • the video / video output unit (1605), the audio output unit (1606) for outputting the audio signal reproduced by the recording / reproducing unit (1602) to other devices, and the respective components of the recording / reproducing device (1600) are controlled.
  • the controller (1607) and the user can operate the recording / playback device (1600).
  • a user interface unit (1608) for performing operations is provided. Since the recording / playback apparatus (1600) includes the image signal processing unit (1604) that is the image signal processing apparatus described in the first embodiment, the video signal or the image signal input to the input unit (1601) can have a higher resolution. Thus, it can be output to another device or the like as a high-quality video signal or image signal.
  • the image signal processing unit (1604) may be included in the recording / playback unit (1602), and the above-described image signal processing may be performed during recording. In this case, since it is not necessary to perform the above-described image signal processing during reproduction, the processing load during reproduction can be reduced. According to the recording / playback apparatus according to the eighth embodiment described above, the recording / playback apparatus having the effects shown in the first embodiment can be realized. That is, it is possible to record, reproduce or output an image with higher resolution.
  • Control signal generation unit 1102 ... Control signal, 1201 ... Super-resolution processor for luminance signal, 1202 ... Super-resolution processor for color difference signal, 1301 ... Transfer function generator, 1302 ... Super-resolution enlargement processor, 1303 ... External signal, 1401 ... Transfer function generation unit, 1402 ... number of repetitions, 1500 ... image display device 1501 ... Input unit, 1502 ... Recording / playback unit, 1503 ... Content storage unit, 1504 ... Image signal processing unit, 1505 ... Display unit, 1506 ... Audio output unit, 1507 ... Control unit, 1508 ... User interface unit, 1600 ... Recording / playback Device 1601 Input unit 1602 Recording / playback unit 1603 Content storage unit 1604 Image signal processing unit 1605 Image video output unit 1606 Audio output unit 1607 Control unit 1608 User interface unit, 1600 ... Recording / playback Device 1601 Input unit 1602 Recording / playback unit 1603 Content storage unit 1604 Image signal processing unit 1605 Image video output

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)

Abstract

　色ずれノイズを抑制した高品質な映像を提供する。その目的達成手段として、第1映像信号を第2映像信号に変換する映像信号処理装置に、前記第1映像信号から第1輝度信号と第1色差信号を分離または生成する輝度色差分離部と、第1輝度信号を第1空間フィルタで第2輝度信号にする輝度信号処理部と、第1色差信号を第1空間フィルタとは異なる第2空間フィルタで第2色差信号にする色差信号処理部と、第2輝度信号と第2色差信号から第2映像信号を出力する輝度色差信号結合部とを備えさせる。

Description

映像信号処理方法及び装置
　本発明は、空間フィルタを用いた映像信号処理技術に関する。
　近年、映像信号処理装置において、処理系統の途中で入力される映像信号の拡大や縮小などの信号処理が行われる。例えばカメラで撮影した映像を一旦縮小してパソコン等記憶媒体に保存し、その後テレビに拡大して表示する処理が一般的に行われている。
　映像を拡大・縮小する映像信号処理の一例が非特許文献1や非特許文献2に開示されている。
吹抜 敬彦："TV画像の多次元信号処理"、 日刊工業新聞社(1988-11) Sina Farsiu、M. Dirk Robinson、Michael Elad、Peyman Milanfar："Fast and Robust Multiframe Super Resolution"、IEEE Transactions on Image Processing、VOL. 13、NO. 10、October 2004
　従来技術では、入力信号の輝度信号と色差信号に対して画像処理を行う際、拡大率や縮小率に合わせた空間フィルタを含む画像処理が行われる。このような画像処理では、通常、画像の先鋭感を保持させる画像の先鋭感を保存するか、または強調する処理が行われる。しかし、このような先鋭感を保存する処理を行うと、色ずれノイズが生じるときがある。色ずれノイズは映像品質を劣化させる。
　本発明の目的は、色ずれノイズを抑制した高品質な映像を提供することにある。
　実際の映像には、輝度信号の空間周波数特性と色差信号の空間周波数特性とが全く異なる画像が含まれている。
　にもかかわらず、これまで輝度信号と色差信号に同じ空間フィルタで画像処理していた。
　上述の通り、画像の先鋭感を保存するか、または強調する場合には、空間フィルタにシュート（オーバーシュートやアンダーシュート）が発生するようなフィルタを用いるため、色差信号に輝度信号のようなシュートが発生してしまい、色ずれノイズが生じていたのである。
　そこで、発明者らは、色差信号に画像処理を行う空間フィルタとして、輝度信号を入力する第1空間フィルタとは異なる第2空間フィルタを用いるようにすることで、画像処理後の色差信号のシュートに起因する色ずれノイズが抑制できるのではないかと考えた。
　具体的には、第1入力信号に対してシュートが発生する第1フィルタで輝度信号を処理し、第1入力信号を第1フィルタで処理した場合よりもシュートが小さくなる第2フィルタで色差信号を処理するようにする。
　本発明の目的は、色ずれノイズを抑制した高品質な映像を提供することにある。
実施例1の映像信号処理装置のブロック図である。 実施例1の輝度色差別信号処理部のブロック図である。 実施例1の画像信号処理部のブロック図である。 実施例1の色差信号用縮小処理部と色差信号用拡大処理部のブロック図である。 ローパスフィルタの空間周波数特性を示す図である。 実施例1の入力信号を空間フィルタで縮小・拡大した結果を示す図である。 実施例2の輝度色差別信号処理部のブロック図である。 実施例2の入力信号を空間フィルタで縮小・拡大した結果を示す図である。 実施例3の色差信号用拡大処理のブロック図である。 実施例4の輝度色差別信号処理部ブロック図である。 実施例4の色差信号用縮小処理部と色差信号用拡大処理部のブロック図ある。 実施例5の輝度色差別信号処理部のブロック図である。 実施例5の色差信号用超解像処理のブロック図である。 実施例6の色差信号用超解像処理のブロック図である。 実施例7の映像表示装置のブロック図である。 実施例8の録画再生装置のブロック図である。
　以下の実施例を記載するが、本発明がこれらの実施例にのみ限定されるものではない。
　図1に実施例1に係る映像信号処理装置のブロック図を示す。
　入力信号(101)は輝度色差信号分離部(102)に入力される。輝度色差信号分離部(102)では、入力信号(101)を輝度信号(103)と色差信号(104)に分解する。輝度信号(103)と色差信号(104)は輝度色差別信号処理部(105)に入力される。輝度色差別信号処理部(105)内では輝度信号と色差信号が別々に処理される。輝度信号(103)は輝度信号処理部(106)に入力され、色差信号(104)は色差信号処理部(107)に入力される。それぞれの処理結果は輝度色差信号結合部(108)に入力され、一つの出力信号(109)として出力される。以上のように構成することで、輝度信号(103)と色差信号(104)で別々の信号処理を行うことが可能となる。
　輝度色差信号分離部(102)では、入力信号(101)が例えばYCbCr系やYPbPr系のように、輝度と色差を用いた形式の信号になっている場合には、輝度信号(103)と色差信号(104)をそのまま分けて出力する。それ以外の形式で表現される場合、例えばRGB系やXYZ系で表現される場合には、YCbCr系やYPbPr系に変換した後、輝度信号(103)と色差信号(104)を分けて出力する。この変換の方式は変換係数の掛け合わせにより行う。また、元々輝度信号と色差信号が分かれているような入力信号であった場合には、そのまま何もせず出力すればよい。
　輝度色差信号結合部(108)では、輝度色差別信号処理部(105)からの出力信号を一つにまとめて出力する。この際出力信号(109)の形式がRGB系やXYZ系である必要がある場合においては、所定の方式に従って信号の形式を変換したのち、信号を一つにまとめて出力する。また、出力信号(109)を受けてさらに処理を行う装置がこの装置の後ろにあった場合で、輝度信号と色差信号を別々に入力する必要がある際には、輝度信号と色差信号を一つにまとめずにそのまま出力すればよい。
　輝度色差別信号処理部(105)では、空間フィルタ用いる処理を含む画像信号処理が行われる。この空間フィルタを用いる処理は、画像信号処理前と画像信号処理後とで空間周波数特性が変化する処理である。本実施例では図2に示すように、空間フィルタを用いる処理として縮小・拡大処理を行う例について説明する。輝度信号(103)は輝度信号用縮小処理部(201)で画像縮小処理が行われる。同様に色差信号(103)は色差信号用縮小処理部(202)で画像縮小処理が行われる。輝度信号用縮小処理部(201)及び色差信号用縮小処理部(202)の出力は画像信号処理部(203)に入力される。画像信号処理部(203)では、図3に示す画像信号処理が行われる。画像信号処理部(203)の出力のうち、輝度信号は輝度信号用拡大処理部(204)に入力され、色差信号は色差信号用拡大処理部(205)に入力される。輝度信号用拡大処理部(204)及び色差信号用拡大処理部(205)では、それぞれ画像拡大処理を行う。
　画像信号処理部(203)のブロック図を図3に示す。入力輝度信号(301)及び入力色差信号(302)が符号化部(303)に入力される。符号化部(303)では、MPEG2、MPEG4、H.264、HEVCなどの規格化された符号化形式による符号化処理が行われ、データ量が削減される。削減されたデータは放送波などの伝送・記録媒体により伝送され(304)、受信信号は復号化部(305)に入力される。復号化部(305)では、符号化処理に対応した復号化処理が行われ、出力輝度信号(306)及び出力色差信号(307)を得る。ここで、入力輝度信号(301)及び入力色差信号(302)は図2の輝度信号(201)及び色差信号(202)と比べ画素数が少ない信号であるため、輝度信号用縮小処理部(203)及び色差信号用縮小処理部(204)が無い場合と比べ、より少ないデータ量で伝送(304)が可能であるというメリットがある。
　図4に色差信号用縮小処理部(202)と色差信号用拡大処理部(205)のブロック図を示す。色差信号用縮小処理部(202)ではまず入力信号がフィルタ処理部(401)に入力される。縮小用フィルタ処理部(401)ではローパスフィルタによる空間フィルタ処理が行われる。縮小用フィルタ処理部(401)の出力は画素間引き部(402)に入力され、画素を間引くことによる画像縮小処理が行われる。この流れは一般的な画像縮小処理であり、輝度信号用縮小処理部(201)も同様の構成となる。色差信号用拡大処理部(205)ではまず入力信号が画素補間部(403)に入力される。画素補間部(403)では必要な画素数になるまで等間隔に黒挿入し、画素数を増やす。画素補間部(403)の出力は拡大用フィルタ処理部(404)に入力される。拡大用フィルタ処理部(404)ではローパスフィルタによる空間フィルタ処理が行われ、拡大画像を得る。この流れは一般的な画像拡大処理であり、輝度信号用拡大処理部(204)も同様の構成となる。また、拡大率及び縮小率によっては、縮小処理に画素補間部が必要になり、拡大処理に、画素間引き部が必要になる場合もある。
　縮小用フィルタ処理部(401)と拡大用フィルタ処理部(402)にはそれぞれ高周波成分を落とすローパスフィルタが必要である。図5にローパスフィルタの空間周波数特性を示す。図5の(a)にローパスフィルタの空間周波数特性(501)を示す。このローパスフィルタはカットオフ周波数(505)以降の空間周波数成分を落とすフィルタである。このカットオフ周波数(505)は拡大率及び縮小率から、サンプリング定理を考慮して設定する。このフィルタをフーリエ変換することで図5(b)の空間フィルタ(502)が得られ、この空間フィルタ(502)を用いた畳み込み演算によりフィルタ処理を行う。
　図6は入力信号を縮小し、拡大した結果を示す図である。図6(a)に入力輝度信号(601)と入力色差信号(602)を表す。これに対して図5(b)の空間フィルタ(502)を用いて輝度信号及び色差信号を処理した結果を図6(b)の出力輝度信号(603)と出力色差信号(604)に示す。このように、一般的な空間フィルタ(502)で縮小及び拡大処理を行うと、図6(b)のようにオーバーシュート(605)やアンダーシュート(606)が発生する。この色差信号のオーバーシュート(605)及びアンダーシュート(606)は、画像で見た際に色差成分がエッジ線などの外側にはみ出したような絵として視認される場合があり、これが色ずれノイズである。この色ずれノイズはオーバーシュート(605)及びアンダーシュート(606)が原因で発生しており、このオーバーシュート(605)及びアンダーシュート(606)は図5(b)の空間フィルタ(502)における振動成分(503)が原因で発生する。そこで、これを考慮し、図5(c)のような振動成分の少ないフィルタ(504)を用いて輝度信号及び色差信号を処理した結果が図6(c)の出力輝度信号(607)及び出力色差信号(608)である。これによりオーバーシュート及びアンダーシュートを低減することが可能となるが、一方で本来急峻であった信号が、なだらかな信号成分(609)になる場合が生じてしまう。そのため、縮小及び拡大処理結果の先鋭感が失われ、全体的にぼやけた映像となってしまうという問題がある。以上を鑑みて、輝度信号の処理に図5(b)の空間フィルタ(502)のような、急峻な成分を保存できるがオーバーシュート及びアンダーシュートが発生するフィルタを用いる。そして、色差信号の処理に図5(c)の振動成分の少ないフィルタ(503)のような、出力信号の空間的な立ち上がりが入力信号よりもなだらかになるフィルタを用いる。このような色差信号の処理に用いるフィルタは、オーバーシュート及びアンダーシュートが発生しないフィルタか、又は輝度信号の処理に用いたフィルタよりもシュートが小さくなるフィルタであれば適合する。これにより、図6(d)のように、輝度信号は急峻な成分を保存した出力輝度信号(610)が得られ、色差信号はオーバーシュート及びアンダーシュートを低減した出力色差信号(611)が得られる。その結果、縮小及び拡大処理結果の先鋭感を保存したまま、色ずれノイズを抑えることが可能となる。　以上説明した実施例1に係る映像信号処理装置によれば、輝度信号と色差信号で信号処理に用いる空間フィルタを変える（異なるようにする）ことで、縮小及び拡大処理結果の先鋭感を保存したまま、色ずれノイズを抑えることが可能となる。
　実施例2は、実施例1において、入力信号が既に縮小された信号である場合の例について述べる。
　入力信号が縮小された信号である場合を考慮して、実施例1の図1の輝度色差別信号処理部の変更例を示す。図7は縮小された入力信号を拡大処理する場合の輝度色差別信号処理部のブロック図である。輝度信号(103)は輝度信号用拡大処理部(703)に入力され、拡大処理される。色差信号(104)は色差信号用拡大処理部(704)に入力され、拡大処理される。
　入力信号が縮小された信号である場合、その縮小方法によっては既に色差信号にオーバーシュート及びアンダーシュートが発生している場合がある。図8(b)のような縮小フィルタ(802)を用いて縮小された映像が入力映像の場合は、オーバーシュート及びアンダーシュートが既に発生しているため、拡大処理部ではこれを考慮した拡大フィルタが必要になる。オーバーシュート及びアンダーシュートを発生させないためには、縮小及び拡大フィルタが図8(a)のような振動成分の少ないフィルタ(801)を用いればよい。そこで、縮小フィルタ(802)と拡大フィルタ(803)を畳み込んだ結果がオーバーシュート及びアンダーシュートが発生しづらい振動成分の少ないフィルタ(801)になるような拡大フィルタ(803)を用いることで、オーバーシュート及びアンダーシュートを低減することが可能である。そこで、このような拡大フィルタ(803)を用いて色差信号を拡大処理することで、拡大映像の色ずれノイズを抑えることが可能となる。
　色差信号と同様に、輝度信号が縮小された信号である場合、その縮小方法によっては既に輝度信号の急峻な成分が失われている可能性がある。この場合も色差信号の処理と同様に、縮小フィルタと拡大フィルタを畳み込んだ結果が、輝度信号の急峻な成分が保存されるフィルタになるように、拡大フィルタを設計する。
　輝度色差信号分離部(102)及び輝度色差信号結合処理部(108)については実施例1で説明済みなので、ここでは説明を省略する。
　以上説明した実施例2に係る映像信号処理装置によれば、既に縮小された信号が入力された場合においても、輝度信号と色差信号をそれぞれ適切に処理することで、拡大処理結果の先鋭感を保存したまま、色ずれノイズを抑えることが可能となる。
　実施例3は、実施例1における色差信号用拡大処理(205)の変形例について述べる。
　図9に色差信号用拡大処理(205)の変形例（ブロック図）を示す。入力される色差縮小信号は画素補間部(403)と拡大フィルタ処理部(404)で拡大される。その後、シュート検出部(901)で、オーバーシュート及びアンダーシュートが発生している領域を検出する。この処理には、画像のエッジ検出処理を用いて信号が大きく変わる部分を検出し、その付近に発生する細かい段差をシュートとして検出する方法により、オーバーシュート及びアンダーシュート領域を検出する。この検出されたオーバーシュート及びアンダーシュート領域と、拡大用フィルタ処理部(404)の出力がシュート低減部(902)に入力される。シュート低減部では、シュート検出部(901)で検出されたオーバーシュート及びアンダーシュート領域の情報に基づいて、拡大用フィルタ処理部(404)の出力のオーバーシュート及びアンダーシュートを低減する。この低減手法としては、ローパスフィルタをオーバーシュート及びアンダーシュート領域に適用する方法を用いる。
　色差縮小信号は画素補間部(403)と拡大フィルタ処理部(404) については実施例1で説明済みなので、ここでは説明を省略する。
　以上のように構成することで、色差信号用の拡大処理の際に、オーバーシュート及びアンダーシュートが発生するが急峻な成分を保存できる拡大フィルタを用いることができ、これにより色差成分がぼやけてしまうのを防ぐことが可能になる。
　以上説明した実施例3に係る映像信号処理装置によれば、色差信号の処理において、オーバーシュート及びアンダーシュートを検出し低減することで、拡大処理結果の先鋭感を保存したまま、色ずれノイズを抑えることが可能となる。
　実施例4は、実施例1における輝度色差別信号処理部(105)の変形例について述べる。
　図10に輝度色差別信号処理部(105)の変形例（ブロック図）を示す。この変形例と実施例1との違いは、輝度信号用縮小処理部(1003)と色差信号用縮小処理部(1004)から輝度用制御信号(1001)と色差用制御信号(1002)が出力され、この信号を輝度信号用拡大処理(1005)と色差信号用拡大処理(1006)で用いる点である。
　輝度用制御信号(1001)と色差用制御信号(1002)は、色ずれノイズを抑えながら、急峻な成分を保存するために用いる。
　色差信号用縮小処理部(1004)と色差信号用拡大処理部(1006)のブロック図を図11に示す。入力信号は制御信号発生部(1101)に入力される。制御信号発生部(1101)では制御信号(1102)が生成される。縮小及び拡大処理によって発生するオーバーシュートやアンダーシュートは、画像のエッジ付近に発生する場合が多い。そこで、制御信号発生部(1101)では、画像エッジ検出方法を用いてエッジを検出し、その付近をシュートが発生する領域であるとし、その情報を制御信号(1102)として出力する。色差用拡大処理部(1006)には制御信号(1102)が入力される。図11は拡大用フィルタ処理部(404)に制御信号(1102)を入力した例を示している。この制御信号により、エッジ付近ではオーバーシュートやアンダーシュートが発生しにくいフィルタを用い、それ以外では画像の急峻な成分が保存されるフィルタを用いるように処理を切り替える。例えば、エッジ付近では色差用拡大処理部の拡大フィルタを使い、それ以外では輝度用拡大フィルタを用いる。このように制御信号(1102)によって拡大用フィルタ処理部(404)のフィルタを切り替えることで、オーバーシュートやアンダーシュートの発生を抑え、画像の急峻な成分を保存することが可能となる。
　輝度信号用縮小処理部(1003)と輝度信号用拡大処理部(1005)も、色差信号用縮小処理部(1004)と色差信号用拡大処理部(1006)と同様の構成とすればよい。
　またここでは輝度信号処理と色差信号処理の両方で制御信号を用いたが、例えば色差信号処理のみに制御信号を用いてもよい。
　以上説明した実施例4に係る映像信号処理装置によれば、入力信号から制御信号を生成し、それを用いて処理を切り替えることで、縮小及び拡大処理結果の先鋭感を保存したまま、色ずれノイズを抑えることが可能となる。
　実施例5は、実施例1における輝度色差別信号処理部(105)の変形例について述べる。
　図12に輝度色差別信号処理部(105)の変形例（ブロック図）を示す。この実施例では実施例1における輝度信号用拡大処理部(204)と色差信号用拡大処理部(205)を超解像処理による拡大処理に変えた例である。
　超解像処理は画像の解像度を向上させる処理であり、一般的な拡大処理と比べより解像度の高い画像を得る手法である。そのため、一般的な拡大処理と比べ先鋭感の高い拡大処理結果を得ることが可能である。超解像処理には非特許文献２のような縮小及び拡大の際に生じる画像ぼやけを回復する効果のある手法がある。そういった超解像処理には撮像の際に生じる画像ぼやけを回復するための伝達関数が必要となる。一般的にはこの伝達関数はローパスフィルタで与えられる。このローパスフィルタを高周波成分の低減度合いが高いローパスフィルタ(以下強いローパスフィルタ)にすると、超解像処理のぼやけ回復効果が強くなり、逆にローパスフィルタを高周波成分の低減度合いが低いローパスフィルタ(以下弱いローパスフィルタ)にすると、超解像処理のぼやけ回復効果が弱くなる。このローパスフィルタを強く設定した場合、ぼやけの回復効果が強くなり、先鋭感の高い拡大結果が得られる。しかし、一般の拡大処理と同様に、処理を強くすると画像エッジの周辺にオーバーシュート及びアンダーシュートが発生する場合がある。そのため超解像処理を用いた拡大においても、色差信号にオーバーシュート及びアンダーシュートが発生した場合には、色ずれノイズが発生するといった問題がある。一方でローパスフィルタを弱く設定すると、超解像処理のぼやけ回復効果が弱くなるため、高い先鋭感が得られない。
　そこで本実施例では、輝度信号用超解像処理部(1201)では伝達関数のローパスフィルタを強く設定し、色差信号用超解像処理部(1202)では伝達関数のローパスフィルタを弱く設定する。これにより輝度信号は急峻な成分を保存した処理結果が得られ、色差信号はオーバーシュート及びアンダーシュートの少ない処理結果が得られる。
　図13に色差信号用超解像処理(1202)のブロック図を示す。まず、超解像処理に必要な伝達関数を伝達関数生成部(1301)で生成する。伝達関数生成部(1301)には外部信号(1303)が入力され、これに従い伝達関数を生成する。外部信号(1303)は例えば画像の拡大率等があげられ、画像の拡大率が高いほど、一般に伝達関数は強いローパスフィルタとなる。生成された伝達関数を用いて超解像拡大処理部(1302)で超解像処理を行う。色差信号用超解像処理(1202)に用いる伝達関数のローパスフィルタはオーバーシュート及びアンダーシュートが発生しにくい弱めのローパスフィルタとする。
　輝度信号用超解像処理(1201)は色差信号用超解像処理(1202)と同様に設計すればよい。この際高い先鋭感が得られるように、伝達関数を強いローパスフィルタとする。
　また、本実施例では拡大処理に両方とも超解像処理を用いているが、輝度信号のみ超解像処理を用いて、色差信号は実施例1に記載したような拡大処理を用いてもよい。
　以上説明した実施例5に係る映像信号処理装置によれば、拡大処理に超解像処理を用いた場合に、超解像処理に用いる伝達関数を、輝度信号と色差信号でそれぞれ変えることで、縮小及び拡大処理結果の先鋭感を保存したまま、色ずれノイズを抑えることが可能となる。
　実施例6は、実施例5における色差信号用超解像処理(1202)の変形例について述べる。
　図14に色差信号用超解像処理(1202)のブロック図を示す。伝達関数生成部(1401)には外部信号(1303)と超解像拡大処理部(1402)から出力される繰り返し回数が入力され、これに従い伝達関数を生成する。生成された伝達関数を用いて超解像拡大処理部(1302)で超解像処理を行う。
　超解像処理には、繰り返し演算を用いて、徐々に画像の先鋭度を向上させる手法がある。このような処理の場合、繰り返し回数が少ない時点では伝達関数のローパスフィルタとして、弱いローパスフィルタを用い、繰り返し回数が増えるにつれ、強いローパスフィルタを用いることで、オーバーシュートやアンダーシュートの発生を抑えながら、高い先鋭度の処理結果を得ることが可能である。これは、弱いローパスフィルタを用いた処理では、処理前と処理結果の差分が小さいため超解像処理が安定し、大きいオーバーシュートやアンダーシュートが発生しにくいためである。そこで、本実施例では超解像拡大処理部(1402)で繰り返し演算を用いた超解像処理であることを想定し、その繰り返し回数を伝達関数生成部(1401)に渡すことで、繰り返し毎に伝達関数のローパスフィルタを切り替える。これにより、オーバーシュートやアンダーシュートを低減することが可能となり、色ずれノイズを抑えることができる。また、繰り返し回数が増えるにつれて強いローパスフィルタを用いることで、最終的な色差信号の超解像処理結果は、弱いローパスフィルタを用いて超解像処理した結果と比べ、先鋭度の高い処理結果となる。
　本実施例では色差信号用超解像処理(1202)について説明したが、輝度信号用超解像処理(1201)についても同様の処理を用いてもよい。この際、色差信号用超解像処理(1202)に用いる伝達関数よりも、強いローパスフィルタにすることで、より先鋭度の高い処理結果を得ることが可能となる。
　以上説明した実施例6に係る映像信号処理装置によれば、拡大処理に超解像処理を用いた場合に、超解像処理に用いる伝達関数を、超解像処理の繰り返し演算毎に変えることで、縮小及び拡大処理結果の先鋭感を保存したまま、色ずれノイズを抑えることが可能となる。
　図15に、実施例7に係る映像表示装置のブロック図を示す。本実施例に係る映像表示装置は、上述の実施例1に記載された画像信号処理を行う構成とした映像表示装置である。 
　同図において、映像表示装置(1500)は、例えば、テレビジョン信号などを含む放送波やネットワークなどの伝送媒体を介して放送信号や映像コンテンツや画像コンテンツなどを入力する入力部(1501)と、入力部(1501)から入力されたコンテンツを録画もしくは再生する録画再生部(1502)と、録画再生部(1502)がコンテンツを記録するコンテンツ蓄積部(1503)と、録画再生部(1502)が再生した映像信号または画像信号に実施例1に記載された画像信号処理装置である画像信号処理部(1504)と、画像信号処理部(1504)にて処理された映像信号または画像信号を表示する表示部(1505)と、録画再生部(1502)が再生した音声信号を出力する音声出力部(1506)と、映像表示装置(1500)の各構成部を制御する制御部(1507)と、ユーザーが映像表示装置(1500)の操作を行うユーザインターフェース部(1508)などを備える。 
　画像信号処理部(1504)の詳細な構成・動作については、実施例１に記載したとおりであるので、説明を省略する。 
　映像表示装置(1500)が実施例1に記載された画像信号処理装置である画像信号処理部(1504)を備えることで、入力部(1501) に入力された映像信号または画像信号をより高解像度な映像信号または画像信号として表示部(1505)に表示することができる。
　よって、表示部(1505)の表示デバイスの解像度よりも、低解像度の信号が入力部(1501)から入力された場合も、再生信号を高解像度化した表示を行うことが可能となる。 
　また、コンテンツ蓄積部(1503)に蓄積された映像コンテンツまたは画像コンテンツを再生する際も、より高解像度な映像信号または画像信号に変換して表示部(1505)に表示することができる。 
　また、画像信号処理部(1504)の画像処理をコンテンツ蓄積部(1503)に蓄積された映像コンテンツまたは画像コンテンツの再生後に行うことにより、コンテンツ蓄積部(1503)に蓄積されるデータは、表示部(1505)に表示される解像度のよりも相対的に低解像度である。よって相対的にコンテンツのデータ量を小さくして蓄積できるという効果がある。
　また、画像信号処理部(1504)を録画再生部(1502)に含め、録画時に上述の画像信号処理を行ってもよい。この場合は、再生時には上述の画像信号処理を行う必要が無いため、再生時の処理負荷を低減できるという効果がある。
　以上説明した実施例7に係る映像表示装置によれば、実施例1に示す効果を有する映像表示装置を実現できる。すなわち、より好適に画像の高解像化して表示することができる。
　図16に、実施例8に係る録画再生装置のブロック図を示す。本実施例に係る録画再生装置は、上述の実施例1の実施例に記載された画像信号処理を行う構成とした録画再生装置である。 
　同図において、録画再生装置(1600)は、例えば、テレビジョン信号などを含む放送波やネットワークなどを介して放送信号や映像コンテンツや画像コンテンツなどを入力する入力部(1601)と、入力部(1601)から入力されたコンテンツを録画もしくは再生する録画再生部(1602)と、録画再生部(1602)がコンテンツを記録するコンテンツ蓄積部(1603)と、録画再生部(1602)が再生した映像信号または画像信号に実施例1に記載された画像信号処理装置である画像信号処理部(1604)と、画像信号処理部(1604)にて処理された映像信号または画像信号を他の装置などに出力する画像映像出力部(1605)と、録画再生部(1602)が再生した音声信号を他の装置などに出力する音声出力部(1606)と、録画再生装置(1600)の各構成部を制御する制御部(1607)と、ユーザーが録画再生装置(1600)の操作を行うユーザインターフェース部(1608)などを備える。 
　録画再生装置(1600)が実施例1に記載された画像信号処理装置である画像信号処理部(1604)を備えることで、入力部(1601) に入力された映像信号または画像信号をより高解像度で高画質な映像信号または画像信号として、他の装置などに出力することができる。
　また、画像信号処理部(1604)の画像処理をコンテンツ蓄積部(1603)に蓄積された映像コンテンツまたは画像コンテンツの再生後に行うことにより、コンテンツ蓄積部(1603)に蓄積されるデータは、他の装置に出力する信号の解像度のよりも相対的に低解像度である。よって相対的にコンテンツのデータ量を小さくして蓄積できるという効果がある。 
　また、画像信号処理部(1604)を録画再生部(1602)に含め、録画時に上述の画像信号処理を行ってもよい。この場合は、再生時には上述の画像信号処理を行う必要が無いため、再生時の処理負荷を低減できるという効果がある。 
　以上説明した実施例8に係る録画再生装置によれば、実施例1に示す効果を有する録画再生装置を実現できる。すなわち、より好適に画像の高解像化して録画、再生または出力することができる。
101…入力信号、102…輝度色差信号分離部、103…輝度信号、104…色差信号、105…輝度色差別信号処理部、106…輝度信号処理部、107…色差信号処理部、108…輝度色差信号結合部、109…出力信号、201…輝度信号用縮小処理部、202…色差信号用縮小処理部、203…画像信号処理部、204…輝度信号用拡大処理部、205…色差信号用拡大処理部、301…入力輝度信号、302…入力色差信号、303…符号化部、304…伝送、305…復号化部、306…出力輝度信号、307…出力色差信号、401…縮小用フィルタ処理部、402…画素間引き部、403…画素補間部、404…拡大用フィルタ処理部、501…ローパスフィルタの周波数特性、502…空間フィルタ、503…振動成分、504…振動成分の少ないフィルタ、505…カットオフ周波数、601…入力輝度信号、602…入力色差信号、603…出力輝度信号、604…出力色差信号、605…オーバーシュート、606…アンダーシュート、607…出力輝度信号、608…出力色差信号、609…なだらかな信号成分、610…出力輝度信号、611…出力色差信号、701…輝度信号用拡大処理部、702…色差信号用拡大処理部、801…振動成分の少ないフィルタ、802…縮小フィルタ、803…拡大フィルタ、901…シュート検出部、902…シュート低減部、1001…輝度用制御信号、1002…色差用制御信号、1003…輝度信号用縮小処理部、1004…色差信号用縮小処理部、1005…輝度信号用拡大処理部、1006…色差信号用拡大処理部、1101…制御信号発生部、1102…制御信号、1201…輝度信号用超解像処理部、1202…色差信号用超解像処理部、1301…伝達関数生成部、1302…超解像拡大処理部、1303…外部信号、1401…伝達関数生成部、1402…繰り返し回数、1500…画像表示装置、1501…入力部、1502…録画再生部、1503…コンテンツ蓄積部、1504…画像信号処理部、1505…表示部、1506…音声出力部、1507…制御部、1508…ユーザインターフェース部、1600…録画再生装置、1601…入力部、1602…録画再生部、1603…コンテンツ蓄積部、1604…画像信号処理部、1605…画像映像出力部、1606…音声出力部、1607…制御部、1608…ユーザインターフェース部

Claims (16)

  1. 　第1映像信号を第2映像信号に変換する映像信号処理装置において、
    　前記第1映像信号から第1輝度信号と第1色差信号を分離または抽出する輝度色差分離部と、
    　第1輝度信号を第1空間フィルタで第2輝度信号にする輝度信号処理部と、
    　第1色差信号を第1空間フィルタとは異なる第2空間フィルタで第2色差信号にする色差信号処理部と、
    　第2輝度信号と第2色差信号から第2映像信号を生成し、出力する輝度色差信号結合部と
    　を備えることを特徴とする映像信号処理装置。
  2. 　請求項1において、
    　前記第2輝度信号はシュートがあり、
    　前記第2色差信号はシュートがないことを特徴とする映像信号処理装置。
  3. 　請求項1において、
    　前記第1空間フィルタは、
    　第1輝度信号が入力されてもシュートが発生し、
    　第1色差信号が入力されてもシュートが発生するフィルタであり、
    　前記第2空間フィルタは、
    　第1輝度信号が入力されてもシュートが発生せず、
    　第2輝度信号が入力されてもシュートが発生しないフィルタである
    ことを特徴とする映像信号処理装置。
  4. 　請求項1において、
    　前記第2空間フィルタは、第2色差信号が前記第1色差信号を第1空間フィルタに入力して得られる第3色差信号のシュートより小さいシュートを生じさせるか、またはシュートを生じさせないフィルタであることを特徴とする映像信号処理装置。
  5. 　請求項1において、
    　前記輝度信号処理部および前記色差信号処理部は、
    　入力される信号に対して縮小処理を行う画像縮小部と、
    　入力される信号に対して拡大処理を行う画像拡大部
    　の一方又は双方を備えることを特徴とする映像信号処理装置。
  6. 　請求項1において、
    　前記輝度信号処理部および前記色差信号処理部の一方または双方はノイズ成分の発生を検出する検出部と、
    　前記検出部で検出したノイズ成分を低減する処理を行う信号処理部
    　を備えること特徴とする映像信号処理装置。
  7. 　請求項1において、
    　前記輝度信号処理部および前記色差信号処理部の一方または双方は
    　映像にシュートが発生する可能性のある領域を検出する検出部と、
    　前記検出部で検出した領域とそれ以外の領域とで前記第1フィルタと前記第2フィルタを切り替える信号処理部と
    　を備えること特徴とする映像信号処理装置。
  8. 　請求項1において、
    　前記輝度画像拡大部は、
    　超解像処理によって輝度画像拡大を行う輝度超解像画像拡大部および
    　超解像処理によって色差画像拡大を行う色差超解像画像拡大部の一方又は双方　を備えることを特徴とする映像信号処理装置。
  9. 　第1映像信号を第2映像信号に変換する映像信号処理方法において、
    　前記第1映像信号から第1輝度信号と第1色差信号を分離または抽出し、
    　第1輝度信号を第1空間フィルタで第2輝度信号にし、
    　第1色差信号を第1空間フィルタとは異なる第2空間フィルタで第2色差信号にし、
    　第2輝度信号と第2色差信号から第2映像信号を生成し、出力することを特徴とする映像信号処理方法。
  10. 　請求項9において、
    　前記第2輝度信号はシュートがあり、
    　前記第2色差信号はシュートがないことを特徴とする映像信号処理方法。
  11. 　請求項9において、
    　前記第1空間フィルタは、
    　第1輝度信号が入力されてもシュートが発生し、
    　第1色差信号が入力されてもシュートが発生するフィルタであり、
    　前記第2空間フィルタは、
    　第1輝度信号が入力されてもシュートが発生せず、
    　第2輝度信号が入力されてもシュートが発生しないフィルタである
    ことを特徴とする映像信号処理方法。
  12. 　請求項9において、
    　前記第2空間フィルタは、第2色差信号が前記第1色差信号を第1空間フィルタに入力して得られる第3色差信号のシュートより小さいシュートを生じさせるか、またはシュートを生じさせないフィルタであることを特徴とする映像信号処理方法。
  13. 　請求項9において、
    　前記第1空間フィルタおよび前記第2空間フィルタによりなされる処理は、入力される信号に対する画像縮小処理及び入力される信号に対する画像拡大処理の少なくとも一方に含まれることを特徴とする映像信号処理方法。
  14. 　請求項9において、
    　ノイズ成分の発生を検出し、検出したノイズ成分を低減するフィルタを第2フィルタに用いること特徴とする映像信号処理方法。
  15. 　請求項9において、
    　映像にシュートが発生する可能性のある領域を検出し、検出した領域とそれ以外の領域とで前記第1フィルタと前記第2フィルタを切り替えて信号処理を行うこと特徴とする映像信号処理方法。
  16. 　請求項9において、
    　前記第1フィルタおよび前記第2フィルタは、超解像処理に含まれることを特徴とする映像信号処理方法。
PCT/JP2011/001000 2011-02-23 2011-02-23 映像信号処理方法及び装置 WO2012114373A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/001000 WO2012114373A1 (ja) 2011-02-23 2011-02-23 映像信号処理方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/001000 WO2012114373A1 (ja) 2011-02-23 2011-02-23 映像信号処理方法及び装置

Publications (1)

Publication Number Publication Date
WO2012114373A1 true WO2012114373A1 (ja) 2012-08-30

Family

ID=46720202

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/001000 WO2012114373A1 (ja) 2011-02-23 2011-02-23 映像信号処理方法及び装置

Country Status (1)

Country Link
WO (1) WO2012114373A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109754374A (zh) * 2018-12-20 2019-05-14 深圳市资福医疗技术有限公司 一种去除图像亮度噪声的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02246582A (ja) * 1989-03-20 1990-10-02 Sony Corp 映像信号の輪郭補正回路
JP2005173944A (ja) * 2003-12-10 2005-06-30 Pioneer Plasma Display Corp 解像度変換方法、解像度変換回路、表示装置
JP2006050155A (ja) * 2004-08-03 2006-02-16 Sharp Corp 画像の鮮鋭化装置および方法、画像の鮮鋭化装置を用いた電子機器及び鮮鋭化プログラム、及びそのプログラムを記録した記録媒体
JP2008054267A (ja) * 2006-07-28 2008-03-06 Hitachi Ltd 画像処理装置、画像符号化装置及び画像復号化装置
JP4483255B2 (ja) * 2003-10-02 2010-06-16 パナソニック株式会社 液晶表示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02246582A (ja) * 1989-03-20 1990-10-02 Sony Corp 映像信号の輪郭補正回路
JP4483255B2 (ja) * 2003-10-02 2010-06-16 パナソニック株式会社 液晶表示装置
JP2005173944A (ja) * 2003-12-10 2005-06-30 Pioneer Plasma Display Corp 解像度変換方法、解像度変換回路、表示装置
JP2006050155A (ja) * 2004-08-03 2006-02-16 Sharp Corp 画像の鮮鋭化装置および方法、画像の鮮鋭化装置を用いた電子機器及び鮮鋭化プログラム、及びそのプログラムを記録した記録媒体
JP2008054267A (ja) * 2006-07-28 2008-03-06 Hitachi Ltd 画像処理装置、画像符号化装置及び画像復号化装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109754374A (zh) * 2018-12-20 2019-05-14 深圳市资福医疗技术有限公司 一种去除图像亮度噪声的方法及装置

Similar Documents

Publication Publication Date Title
US8305397B2 (en) Edge adjustment method, image processing device and display apparatus
JP4444354B2 (ja) 画像処理装置、および画像処理方法
US7719547B2 (en) Video and graphics system with square graphics pixels
US6281933B1 (en) Images in interlaced formats: a novel method of scan conversion for video imaging systems
US6100937A (en) Method and system for combining multiple images into a single higher-quality image
EP1933556A2 (en) TV user interface and processing for personal video players
US8548272B2 (en) Image signal processing apparatus, image signal processing method, camera apparatus, image display apparatus, and image signal output apparatus
US20100158403A1 (en) Image Processing Apparatus and Image Processing Method
JP5066041B2 (ja) 画像信号処理装置、画像信号処理方法
US20060181643A1 (en) Spatial image conversion
WO2012114373A1 (ja) 映像信号処理方法及び装置
EP2285123A2 (en) Video processing apparatus
JP4869302B2 (ja) 画像処理装置及び画像処理方法
US20100027913A1 (en) Image processing apparatus and image processing method
JP4991884B2 (ja) 画像処理装置、および画像処理方法
JP2007028468A (ja) 画像処理装置及び方法
US20030067553A1 (en) Method and system for enhanced resolution in upconverted video using improved interpolation
JP2012004890A (ja) 映像信号出力装置、映像信号出力方法
JP2007295224A (ja) 映像処理装置
JP2011228822A (ja) 画像再生装置
JP2011139114A (ja) 画像処理方法及び画像処理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11859452

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11859452

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP