WO2001078384A1 - Image processing device - Google Patents

Image processing device Download PDF

Info

Publication number
WO2001078384A1
WO2001078384A1 PCT/JP2001/002998 JP0102998W WO0178384A1 WO 2001078384 A1 WO2001078384 A1 WO 2001078384A1 JP 0102998 W JP0102998 W JP 0102998W WO 0178384 A1 WO0178384 A1 WO 0178384A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
image
interpolation
image signal
synthesizing
Prior art date
Application number
PCT/JP2001/002998
Other languages
French (fr)
Japanese (ja)
Inventor
Youichi Igarashi
Kentaro Nagai
Ayumi Yamashita
Akira Nakamura
Shunichi Okada
Masashi Kubota
Sadaharu Okada
Original Assignee
Kabushiki Kaisha Yamashita Denshi Sekkei
Nippon Hoso Kyokai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kabushiki Kaisha Yamashita Denshi Sekkei, Nippon Hoso Kyokai filed Critical Kabushiki Kaisha Yamashita Denshi Sekkei
Publication of WO2001078384A1 publication Critical patent/WO2001078384A1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Definitions

  • the present invention relates to an image processing apparatus, and particularly to an NTSC (National Television).
  • NTSC National Television
  • the present invention relates to an image processing device capable of generating an image.
  • the screen aspect ratio is 4: 3, but in HDTV broadcasting, the screen aspect ratio is 16:16. : 9 and the screen is wider than the conventional broadcasting system. This widening of the TV screen is indispensable for reproducing a more powerful screen than ever before and giving viewers a sense of realism.
  • FIG. 1 shows a configuration of a part for generating and adding an interpolation signal for aspect ratio conversion in a conventional receiving apparatus for receiving a broadcast signal.
  • an image signal received by an antenna (not shown) and decoded by a decoder (not shown) and corresponding to an image material Pi having an aspect ratio of 4: 3 according to a method such as NTSC, PAL, or SECA is input to the image synthesizing unit 1. And input to switch 2.
  • the image capturing unit 3 supplies the same image signal as the input signal of the image synthesizing unit 1. Is entered.
  • the image capturing section 3 extracts pixels near both ends of the input image signal and outputs the pixels to the interpolation signal generating section 4. That is, an image signal (portions indicated by a and c in the figure) having a width corresponding to a predetermined number of pixels is cut out from both ends of the image signal having an aspect ratio of 4: 3 shown in FIG. Output to signal generator 4.
  • the interpolation signal generator 4 generates an interpolation signal for non-image portions at both ends in the horizontal direction, which is generated when converting an image material P i having an aspect ratio of 4: 3 into an image material P 2 having an aspect ratio of 16: 9. Is generated using the input image signals a and c at both ends and output to the multiplication unit 5.
  • the interpolation signal generated by the interpolation signal generation unit 4 is a signal at both ends of an image signal having an aspect ratio of 16: 9, that is, an interpolation signal of a portion indicated by a ′ and c ′ in FIG. 2 (B). is there.
  • the interpolation signal a ′ is generated using the image signal a
  • the interpolation signal c ′ is generated using the image signal c.
  • the multiplication unit 5 multiplies the input signal by a coefficient corresponding to a gain control signal input from a control unit (not shown) or the like, and outputs the result to the image synthesis unit 1.
  • the image synthesizing unit 1 synthesizes the input image signal corresponding to the image material P i having the aspect ratio of 4: 3 and the interpolated signals a ′ and c ′ input from the multiplying unit 5, and obtains the image signal shown in FIG. ) to be as shown, the aspect ratio of 1 6: to respond to 9 wide image material P 2 of Generate and output image signals.
  • the image capturing unit 3 When the terminal of the switch 2 is switched to the output side of the image synthesizing unit 1 (that is, the terminal y side in the figure), the image capturing unit 3 outputs the same image A signal is input.
  • the image capturing section 3 converts the input image signal having an aspect ratio of 16: 9 into pixels near both ends of a portion corresponding to an image signal having an aspect ratio of 4: 3 (see FIG. 2 (B)). (a and c) are extracted and output to the interpolation signal generator 4.
  • the switch 2 is the same process as the case that has been switched to the terminal X side is performed, images signals both sleeves corresponding to the wide images P 2 which is interpolated is generated and output.
  • both end portions of the input image data that is, in FIG. 2 (A) or FIG. And the portion indicated by c) change for each input frame, that is, if it is a moving image, the interpolation signal generated using the image signal of that portion is would be unnatural. Disclosure of the invention
  • the present invention has been made in view of such a situation, and performs motion detection of an input image signal and generates an interpolation signal based on the detection result, thereby preventing an unnatural image from being generated.
  • it is possible to generate an aspect ratio-converted image while suppressing it, or to use the motion detection function for other purposes conventionally used for generating an interpolation signal.
  • the receiver can reduce the unnatural image with a simple configuration, and perform the aspect ratio conversion. This is to make it possible to generate an image.
  • a first image processing apparatus includes: a first signal generation unit that generates a signal for interpolation using a predetermined portion of an image signal; and a motion detection unit that detects a motion of a predetermined portion of the image signal. According to the detection result by the motion detecting means, the first signal generating means A second signal generating means for generating a synthesizing signal for synthesizing with the image signal using the generated interpolating signal, a synthesizing signal generated by the second signal generating means, and an image signal. And synthesizing means for synthesizing.
  • the image processing apparatus may further include a storage unit that stores the interpolation signal generated by the first signal generation unit.
  • the second signal generation means may include at least one of the interpolation signal generated by the first signal generation means and the interpolation signal stored by the storage means, A signal can be generated.
  • the second signal generation means determines the ratio of the interpolation signal generated by the first signal generation means and the interpolation signal stored by the storage means based on the detection result by the motion detection means.
  • a signal for synthesis can be generated.
  • image conversion means for converting the interlaced image signal into a progressive image signal by a predetermined conversion method in accordance with the movement of the image signal. The conversion method can be selected based on the result.
  • a first image processing method includes: a first signal generation step of generating an interpolation signal by using a predetermined portion of an image signal; and a motion detection step of detecting a motion of a predetermined portion of the image signal.
  • a second signal generating a synthesizing signal for synthesizing with the image signal using the interpolation signal generated by the first signal generating step in response to the detection result obtained by the motion detecting step; It is characterized by including a signal generating step, a synthesizing step for synthesizing an image signal and a synthesizing signal generated by the processing of the second signal generating step.
  • the program recorded on the recording medium includes a first signal generation step of generating an interpolation signal using a predetermined portion of the image signal, and a motion detection for detecting a motion of the predetermined portion of the image signal. Using the interpolation signal generated by the processing of the first signal generation step in accordance with the step and the detection result obtained by the processing of the motion detection step.
  • a second image processing apparatus includes: an image generation unit configured to generate a still image signal having a predetermined size; and a predetermined size being deleted from both horizontal ends of the first image signal having a predetermined aspect ratio. Extracting means for extracting the obtained second image signal, and adding means for adding the still image signal generated by the image generating means to both ends of the second image signal in the horizontal direction to generate a third image signal And output means for outputting the third image signal generated by the adding means as a broadcast signal.
  • a second image processing method includes: an image generation step of generating a still image signal of a predetermined size; and a predetermined size from a horizontal end of the first image signal having a predetermined aspect ratio.
  • an interpolation signal is generated using a predetermined portion of the image signal, and a predetermined portion of the image signal is generated.
  • a synthesizing signal for synthesizing with the image signal is generated using the generated interpolation signal, and the generated synthesizing signal and the image signal are synthesized.
  • a still image signal having a predetermined size is generated, and a predetermined size is obtained from both horizontal ends of the first image signal having a predetermined aspect ratio. Is extracted, and the generated still image signal is added to both ends of the second image signal in the horizontal direction to generate a third image signal.
  • the image signal is output as a broadcast signal.
  • FIG. 1 is a block diagram showing a configuration of a part for generating and adding an interpolation signal for aspect ratio conversion in a conventional receiving apparatus.
  • FIG. 2 is a diagram for explaining addition of an interpolation signal for aspect ratio conversion.
  • FIG. 3 is a block diagram showing a configuration of a part for generating and adding an interpolation signal for aspect ratio conversion in a receiving apparatus to which the present invention is applied.
  • FIG. 4 is a diagram for explaining the relationship between an image material having an aspect ratio of 4: 3 and an image material having an aspect ratio of 16: 9.
  • FIG. 5 is a diagram for explaining interpolation in a left sleeve interpolation part and a right sleeve interpolation part.
  • FIG. 6 is a diagram for explaining pixels to be interpolated.
  • FIG. 7 is a diagram for explaining adjustment of gradation characteristics.
  • FIG. 8 is a diagram for explaining a pixel in a case where luminance is adjusted as a gradation characteristic.
  • FIG. 9 is a diagram for explaining a pixel in the case where luminance is adjusted as a gradation characteristic.
  • FIG. 10 is a diagram for explaining the adjustment of the defocus level.
  • FIG. 11 is a diagram for explaining a pixel when the defocus level is adjusted.
  • FIG. 12 is a block diagram showing the configuration of a receiving apparatus to which the present invention is applied and which has a function of performing a motion-adaptive in-line progressive conversion.
  • FIG. 13 is a diagram for describing a motion detection area for in-lace / progressive conversion and a motion detection area for both sleeves interpolation.
  • FIG. 14 is a block diagram showing a configuration of a part related to synthesis of an interpolation signal in a transmission device having an interpolation signal addition function.
  • FIG. 15 is a diagram for explaining the processing of the transmitting device in FIG. BEST MODE FOR CARRYING OUT THE INVENTION
  • FIG. 3 is a block diagram showing a configuration of a part for generating and adding an interpolation signal for aspect ratio conversion in a receiving apparatus to which the present invention is applied.
  • the two-sleeve interpolator 11 receives an image material P i received by an antenna (not shown) and decoded by a decoder (not shown) and having an aspect ratio of 4: 3 according to a method such as NTS PAL or SECAM.
  • motion detector 1 2 and is input from the controller 1 3, the gain control signal or, in accordance with the control signal, ⁇ scan Bae transfected ratio 1 6: generate 9 wide images P 2, and outputs.
  • the input image material Pi is generated by an NTSC signal.
  • FIG. 4 shows the relationship between an image material P i having an aspect ratio of 4: 3 and a wide image material P 2 having an aspect ratio of 16: 9.
  • the motion detection unit 12 receives the same image signal as the image signal input to the both-sleeve interpolation unit 11 and generates an interpolation signal of the left-sleeve interpolation part HL described with reference to FIG. partial AS physician and extracts image signals of a portion AS R for generating an interpolation signal of the right sleeve interpolation portion H R, detects a motion of an image of that portion.
  • the extracted image signal of the first input frame is compared with the extracted image signal of the next frame, and it is determined whether the difference is larger than a predetermined threshold value.
  • the movement of the image signal of the portion may be detected, or a method of analyzing a movement vector in macroblock units, for example, may be used.
  • the controller 13 switches the terminal of a later-described switch 30 of the both-sleeve interpolator 11 to a terminal U of the fixed pattern generator 29 described later, or the image synthesizer 28 described later.
  • a control signal for controlling whether or not to switch to the terminal L is supplied to the switch 30, and a control signal for controlling a data calculation process on an interpolation signal executed by the data calculation unit 31 described later is generated. Generate and output to data operation unit 31.
  • the drive 14 is connected to the motion detection unit 12, and is provided with a magnetic disk 15, an optical disk 16, a magneto-optical disk 17, and a semiconductor memory 18 as necessary, and exchanges data. .
  • the image synthesizing section 21 is an image material composed of NTSC signals. Receives the image signal corresponding to, by combining the interpolation signal output from the input signal and a data computation unit 3 1, an aspect ratio of 1 6: 9 wide images ⁇ generates an image signal corresponding to the second (The details of the interpolation signal output from the data processing unit 31 will be described later.)
  • the image capturing section 22 performs the same processing as the image capturing section 3 described with reference to FIG. 1 to convert the image signal output from the image combining section 21 into a portion corresponding to an image signal having an aspect ratio of 4: 3. near both ends of the pixel (with reference to FIG. 4 partially AS described and partially AS R) by extracting, and outputs the interpolation signal generating unit 2 3.
  • Interpolation signal generating unit 2 an interpolation signal for the fourth left sleeve interpolation portion described with reference to figures and Migisode interpolation portion H R, generated using the pixels of the input partial ⁇ S L and the partial ⁇ S R I do. That is, the interpolation signal generating unit 23, as the left sleeve interpolation portion H L and the right sleeve interpolation portion H R can be interpolated all parts AS! And partial AS R 'shown in FIG. 5, is repeatedly generated .
  • each pixel included in the left sleeve interpolation part HL is represented by the following equation (1).
  • each pixel included in the left sleeve interpolation portion is represented by the following equation (2).
  • the partial AS described with reference to FIG. 5 is, for example, an image signal having a width of three pixels or more, as in Expressions (1) and (2), as the left sleeve interpolation part H! ⁇ and the right sleeve interpolation part H R can be interpolated all, part aS and and partial aS R is generated repeatedly.
  • the interpolation signal against the left sleeve interpolation part ⁇ and the right sleeve interpolation portion H R is the interpolation signal generating unit 2 3, is output to switch 24 and the multiplication unit 2-7.
  • the interpolation signal output by the interpolation signal generation unit 23 is a signal at both ends of the image signal having an aspect ratio of 16: 9, that is, the left sleeve interpolation part H L and the right sleeve interpolation part H R in FIG. And does not include the central part (that is, the part with an aspect ratio of 4: 3 corresponding to the NTSC signal input to the two-sleeve interpolation unit 11).
  • the motion detection unit 12 When the motion detection unit 12 detects that the extracted image signal is a still image without motion, the motion detection unit 12 generates a control signal for turning on the switch 24 as described above. Since the signal is output to the switch 24, the interpolation signal output from the interpolation signal generator 23 is input to the memory 25 and stored. The memory 25 stores the newly input interpolation signal and erases the previously input interpolation signal (overwrites the old interpolation signal with the new interpolation signal). When the motion detection unit 12 detects that the extracted image signal is a moving image, the switch 24 is turned off. Therefore, the interpolation signal output from the interpolation signal generation unit 23 is stored in the memory 2. Not entered in 5 ⁇
  • the multiplication unit 27 multiplies the interpolation signal input from the interpolation signal generation unit 23 by a coefficient 1 _ ⁇ (0 ⁇ 1) as a gain control signal input from the motion detection unit 12, and 2 Output to 8.
  • the multiplication unit 26 reads the interpolation signal stored in the memory 25, and the gain control signal input from the motion detection unit 12 , And outputs the result to the image synthesis unit 28.
  • the value of the coefficient a is a value determined by the magnitude of the motion detected by the motion detection unit 12 (when the motion of the extracted image is large, the coefficient a becomes closer to 1 and If the motion of is small, the coefficient a is close to 0).
  • the interpolation signal synthesized by the image synthesis unit 28 is supplied to the terminal L of the switch 30.
  • Fixed pattern generation unit 2 9, for example, black, blue, the images of no pattern that is colored like green, as the image of the fixed pattern for insertion into the left sleeve interpolation portion and the right sleeve interpolation portion H R, switch 30 Output to terminal U.
  • the switch 30 selects one of the output signal of the image synthesizing unit 28 and the output signal of the fixed pattern generating unit 29 according to the control signal input from the controller 13 and performs data operation. Output to part 31.
  • the de-arithmetic operation unit 31 adjusts the gradation characteristics (for example, luminance level, hue, and a characteristic) and the defocus level of the input interpolation signal according to the control signal input from the controller 13. To generate a final interpolated signal and output it to the image synthesizing unit 21.
  • the defocus level means the amount of defocus of an image.
  • the controller 1 3 when the control signal that instructs to adjust the gradation characteristic of the interpolation signal is inputted, the data operation unit 3 1, as shown in FIG. 7, portions ⁇ of S L left end, and the gradation characteristics of the right end portion delta S R as 1, toward the left end portion or right end portion of the wide image material P 2, floors of the image to be displayed A process is performed so that the tonal characteristics become low.
  • the left sleeve interpolation part is shown in FIG. Equation (1) explained in the above.
  • the interpolation signal p a generated based to partially AS This position of the predetermined line S p to S n, the luminance of p is, for example, as shown in FIG. 9, Assuming that the luminance of the pixels S Q and P is 1, the adjustment is made such that the luminance becomes smaller as approaching the edge of the wide image P 2 .
  • a (S r , p ) ⁇ A (S n , p ) -A (S 0 , P ) ⁇ XS r , p / (S n , p- one S 0 , P ) + ⁇ A (S n , p ) XS n , p — A (S n , p) XS 0 , p ⁇ / (S n , p- S 0 , p)
  • the hue or the 7 ′′ characteristic is substituted for the above-mentioned equation (3) instead of the luminance, and the gradation characteristic is similarly calculated. Can be adjusted.
  • the data operation unit 31 when a control signal instructing to adjust the defocus of the input interpolation signal is input from the controller 13, the data operation unit 31 outputs the partial ⁇ S L as shown in FIG. the Defoe blur bell at the right end of the left end portion and a partial ⁇ S R 0%, closer to the opposite ends of the wide image material P 2, performs processing such as defocus level of images to be displayed increases.
  • the left-sleeve interpolation portion is shown in FIG. It is expressed by the equation (2) described above.
  • Each pixel of the generated interpolation signal is grouped from a pixel close to the partial AS, for example, every 2 ⁇ 2 pixels, such as a pixel group 41 and a pixel group 42.
  • a similar grouping is performed up to the bottom pixel m and S 2 , m .
  • the pixels close to the portion AS L to the next, for example, as in the pixel groups 43 grouping is performed for each 9 pixels of 3 X 3.
  • grouping is performed for every 4X4 16 pixels, starting from the pixel closest to the partial AS. Thereafter, the same grouping, S n is the pixel at the left end of the left sleeve interpolation portion H L, up to E or S n. M, is performed while sequentially magnitude comb size of the pixel group.
  • FIG. 6, FIG. 8, in the Figure 9 and first FIG. 1, has been described calculation and conversion of each pixel of the left sleeve interpolation portion H L, contact to each pixel of the right sleeve interpolation portion H R However, the same calculation and conversion as in the left sleeve interpolation part H L are performed.
  • the two-sleeve interpolator 11, the motion detector 12, and the controller 13 described with reference to FIG. 3 have a function of performing a motion-adaptive interlaced progressive conversion on a received image signal. In this case, it can be used as shown in FIG.
  • the input image signal is supplied to the in-line lace progressive conversion unit 61 and the motion detection unit 12.
  • the motion detection unit 12 uses all parts of the input NTSC signal, that is, the input video area, as the motion detection area for in-line and Z-progressive conversion.
  • the motion detection unit 12 among the input NTSC signal, an image area for both sleeves interpolation generation part aS Salts spare parts aS R at both ends, both sleeves Recognize as the motion detection area for interpolation.
  • the motion detector 12 detects the motion of the input image area shown in FIG. 13A, and supplies the detection result to the in-line lace progressive converter 61.
  • the interlaced / progressive conversion unit 61 performs a motion-adaptive interlaced Z-progressive conversion on the input interlaced NTSC signal according to the motion detection result. Then, a progressive image is output to the aspect ratio converter 62.
  • an in-field interlaced image is converted to a progressive image by performing intra-field interpolation. Inter-frame interpolation is performed on the image of the system, and the image is converted to the image of the progressive system.
  • the aspect ratio conversion unit 62 is, for example, an NTSCZ It converts an NTSC signal with an aspect ratio of 4: 3 input from the in-line race Z-progressive conversion unit 61 into a signal with an aspect ratio of 16: 9.
  • the motion detection unit 12 detects the motion of the image of the motion detection area for both sleeve interpolation shown in FIG. 13 (B), and performs the detection in the same manner as described with reference to FIG.
  • the control signal based on the result and the gain control signal are output to the both-sleeve interpolator 11.
  • the controller 13 also generates a control signal and outputs the control signal to the both-sleeve interpolation unit 11 as in the case described with reference to FIG.
  • the two-sleeve interpolation unit 11 generates an interpolation signal, adds the interpolation signal to the input image signal, and outputs the signal, as in the case described with reference to FIG.
  • one motion detection unit performs the motion detection necessary for the motion-adaptive interlaced progressive conversion and the motion detection required for generating the interpolation image. It can be performed using 1 and 2. Therefore, the configuration can be simplified as compared with the case where two motion detection units are provided.
  • the receiving apparatus converts the aspect ratio of an image signal having an aspect ratio of 4: 3, and for example, it is assumed that a wide image signal having an aspect ratio of 16: 9 is to be generated, the image signal is generated.
  • the pixel portion described with reference to FIG. 4 AS! ⁇ and partial AS R
  • an interpolation signal of a predetermined still image The image signal for creation may be inserted in the image signal to be transmitted in advance. This allows the receiving apparatus to generate and add an interpolation signal by simple processing without using the motion detection described above.
  • FIG. 14 shows a block diagram of a part related to the synthesis of the interpolation signal in the transmitting apparatus to which the present invention is applied.
  • the interpolation pattern generator 71 generates a signal A of a predetermined interpolation pattern and outputs the signal A to the synthesizer 74.
  • the signal A of the interpolation pattern has predetermined widths L and R near both ends of an NTSC signal having an aspect ratio of 4: 3. (E.g., to that corresponding to the portion and the portion AS R described with reference to such Figure 4) is a signal of a still image, the part shown by the width W of the central portion, an image signal is absent.
  • the image data acquisition section 72 acquires the image data B of the NTSC signal having an aspect ratio of 4: 3 shown in FIG. 15 (B), and outputs it to the extraction section 73.
  • the extraction unit 73 converts the input image data with an aspect ratio of 4: 3 (see FIG. 15).
  • the synthesizing unit 74 includes the interpolation image input from the interpolation pattern generation unit 71 described with reference to FIG. 15 (A) and the interpolation image input from the extraction unit 73 shown in FIG.
  • the output unit 75 outputs, for example, an image data to a coding unit (not shown) to execute a predetermined encoding process, and transmits the image data via an antenna (not shown).
  • the receiving apparatus receives the image data shown in FIG. 15 (D)
  • the interpolation pattern of width L and width R added in advance to the transmission signal is replaced with the left sleeve interpolation part ⁇ and right sleeve interpolation portion H R, by generating repeated without performing motion detection, as shown in the first 5 view (E), an aspect ratio of 1 6: 9 image data can be obtained.
  • the interpolation pattern signal A is used, for example, a pattern such as a frame.
  • the receiving apparatus can display an image in which unnaturalness is suppressed.
  • the transmitting apparatus When the transmitting apparatus performs the additional processing of the interpolation image data described with reference to FIGS. 14 and 15, the two-sleeve interpolation unit 11 and the motion detection unit 1 described with reference to FIG. 2.
  • the controller 13 it is possible to delete the motion detector 12.
  • the switches 24, the memory 25, the multiplication unit 26, the multiplication unit 27, and the image synthesis unit 28 of the both-sleeve interpolation unit 11 can be deleted.
  • cost reduction can be realized.
  • the above-described series of processing can be executed by software.
  • the software may be a computer in which the programs that make up the software are embedded in dedicated hardware, or various functions can be executed by installing various programs, such as a general-purpose personal computer.
  • Convenience Installed from recording media in the evening.
  • this recording medium is a magnetic disk 15 (including a floppy disk) on which the program is recorded and an optical disk 1 which are distributed separately from the computer to provide the program to the user.
  • 6 including CD-ROM (Co-act disk-read only memory), DVD (Digital Versatile Disk)), magneto-optical disk 17 (including MD (Mini-Disk)), or semiconductor memory 1 8 and other package media.
  • steps for describing a program recorded on a recording medium are not limited to processing performed in chronological order according to the described order, but are not necessarily performed in chronological order. Alternatively, it also includes processes that are individually executed.
  • an interpolation signal is generated using a predetermined portion of an image signal, and a motion of the predetermined portion of the image signal is generated.
  • a synthesizing signal for synthesizing with the image signal is generated, and the generated synthesizing signal and the image signal are synthesized, so that an unnatural image is suppressed.
  • An aspect ratio converted image can be generated.
  • the still image signal is added to both ends in the horizontal direction of the second image signal and output, so that the receiving apparatus has a simple configuration, An aspect ratio converted image can be generated while suppressing an unnatural image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

A motion detecting section (12) detects a motion of an image for interpolation, controls a switch (24), stores an interpolation signal in a memory (25) if the image for interpolation is a still image, and does not store the interpolation signal in the memory (25) if the image is a time-varying image. Multiplying sections (27, 26) multiply the interpolating signal by a coefficient (1-α) and a coefficient α determined by the result of detection of a motion respectively. An image synthesizing section (28) combines input signals. A switch (30) is operated to select either the output signal of the image synthesizing section (28) or the output from a fixed pattern generating section (29) according to a control signal from a controller (13). A data calculating section (31) adjusts, e.g., the gradation characteristics of the interpolating signal and outputs the resultant signal to the image synthesizing section (21). Thus the image after an alteration of the aspect ratio can be prevented from being unnatural.

Description

明細書  Specification
画像処理装置 技術分野  Image processing equipment Technical field
5 本発明は、 画像処理装置に関し、 特に、 NTSC (National Television  5 The present invention relates to an image processing apparatus, and particularly to an NTSC (National Television).
Standards Committee) 、 PAL (Phase Alternating Line) 、 もしくは SECAM (Sequential Color And Memory) など、 アスペクト比 4 ： 3の画像素材を受信 し、 アスペクト比が異なるワイド画像素材 （例えば、 アスペクト比 16 ： 9のハ イビジョン、 もしくは 480 iの画像素材など） へ変換することができる画像処 10 理装置、 および、 受信側の画像処理装置が簡単な回路構成でァスぺクト比を変換 することができるような画像デ一夕を生成することができる画像処理装置に関す る。  Standards Committee), PAL (Phase Alternating Line), or SECAM (Sequential Color And Memory), etc., receive image materials with an aspect ratio of 4: 3 and wide image materials with different aspect ratios (for example, a 16: 9 aspect ratio). Ivision, or 480i image material) and an image processing device that can convert the aspect ratio with a simple circuit configuration. The present invention relates to an image processing device capable of generating an image.
ー 背景技術 ー Background technology
15 従来の、 NTSC、 PAL, あるいは SECAMなどの放送方式では、 いずれも、 画面のァ スぺクト比が 4 ： 3とされているが、 ハイビジョン放送においては、 画面のァス ぺクト比が 16 ： 9となされており、 従来の放送方式と比較して、 横長のワイド 画面となっている。 この、 テレビ画面のワイド化は、 今まで以上に迫力ある画面 を再現し、 視聴者に、 臨場感を感じさせる上で、 必要不可欠なものである。 ま 15 In conventional broadcasting systems such as NTSC, PAL, and SECAM, the screen aspect ratio is 4: 3, but in HDTV broadcasting, the screen aspect ratio is 16:16. : 9 and the screen is wider than the conventional broadcasting system. This widening of the TV screen is indispensable for reproducing a more powerful screen than ever before and giving viewers a sense of realism. Ma
20 た、 ハイビジョン放送の普及に伴い、 画面サイズが横長のワイド画面 （例えば、 アスペクト比 16 : 9) のテレビジョン受像機も普及してきている。 20 With the spread of high-definition broadcasting, television receivers with a wide screen (for example, an aspect ratio of 16: 9) have become widespread.
視聴者が、 ワイド画面のテレビジョン受像機を用いて、 アスペクト比 4 ： 3の 放送方式による放送画像を受信した場合、 アスペクト比 4 ： 3の画像をそのまま アスペクト比 16 ： 9の表示画面に表示したのでは、 水平方向の両端部 （両袖） When a viewer receives a broadcast image of a 4: 3 aspect ratio broadcast system using a wide-screen television receiver, the image of the 4: 3 aspect ratio is displayed as is on a 16: 9 aspect ratio display screen. After that, both ends in the horizontal direction (both sleeves)
25 に、 無画像部分が発生してしまう。 25, a non-image part occurs.
この無画像部分に対しては、 例えば、 黒、 青、 緑などで彩色した、 無模様の画 像を挿入するようになされていたが、 この画像の不自然さは否めない。 そこで、 両袖部分が不自然な表示画像にならないように、 例えば、 アスペクト比 4 ： 3の 画像信号の両端の画像信号を用いて、 両袖部分の画像を補間する技術がある。 第 1図に、 従来の放送信号を受信する受信装置における、 アスペクト比変換の ための、 補間信号の生成および付加を行う部分の構成を示す。 For this non-image portion, for example, a non-patterned image colored with black, blue, green, or the like is inserted, but the unnaturalness of this image cannot be denied. Therefore, For example, there is a technique of interpolating an image of both sleeves using image signals at both ends of an image signal having an aspect ratio of 4: 3 so as to prevent an unnatural display image at both sleeves. FIG. 1 shows a configuration of a part for generating and adding an interpolation signal for aspect ratio conversion in a conventional receiving apparatus for receiving a broadcast signal.
例えば、 図示しないアンテナで受信され、 図示しないデコーダでデコードされ た、 NTSC、 PAL、 あるいは SECAなどの方式によるアスペクト比 4 ： 3の画像素材 P iに対応する画像信号は、 画像合成部 1に入力されるとともに、 スィッチ 2に 入力される。  For example, an image signal received by an antenna (not shown) and decoded by a decoder (not shown) and corresponding to an image material Pi having an aspect ratio of 4: 3 according to a method such as NTSC, PAL, or SECA is input to the image synthesizing unit 1. And input to switch 2.
スィッチ 2の端子が、 画像合成部 1の入力側 （すなわち、 図中端子 X側） に切 り替えられている場合、 画像取り込み部 3には、 画像合成部 1の入力信号と同一 の画像信号が入力される。 画像取り込み部 3は、 入力された画像信号の両端近傍 の画素を抽出して、 補間信号生成部 4に出力する。 すなわち、 第 2図 （A) に示 される、 アスペクト比 4 ： 3の画像信号の両端から、 所定の画素数分の幅の画像 信号 （図中 aおよび cで示される部分） を切出し、 補間信号生成部 4に出力す る。  When the terminal of the switch 2 is switched to the input side of the image synthesizing unit 1 (that is, the terminal X side in the figure), the image capturing unit 3 supplies the same image signal as the input signal of the image synthesizing unit 1. Is entered. The image capturing section 3 extracts pixels near both ends of the input image signal and outputs the pixels to the interpolation signal generating section 4. That is, an image signal (portions indicated by a and c in the figure) having a width corresponding to a predetermined number of pixels is cut out from both ends of the image signal having an aspect ratio of 4: 3 shown in FIG. Output to signal generator 4.
補間信号生成部 4は、 アスペクト比 4 ： 3の画像素材 P iから、 アスペクト比 1 6 ： 9の画像素材 P 2に変換する場合に発生する、 水平方向の両端部の無画像 部分に対する補間信号を、 入力された両端の画像信号 aおよび cを用いて生成 し、 乗算部 5に出力する。 補間信号生成部 4が生成する補間信号は、 アスペクト 比 1 6 ： 9の画像信号の両端部分の信号、 すなわち、 第 2図 （B) において、 a 'および c 'で示される部分の補間信号である。 補間信号 a 'は、 画像信号 a を用いて、 補間信号 c 'は、 画像信号 cを用いてそれぞれ生成される。 The interpolation signal generator 4 generates an interpolation signal for non-image portions at both ends in the horizontal direction, which is generated when converting an image material P i having an aspect ratio of 4: 3 into an image material P 2 having an aspect ratio of 16: 9. Is generated using the input image signals a and c at both ends and output to the multiplication unit 5. The interpolation signal generated by the interpolation signal generation unit 4 is a signal at both ends of an image signal having an aspect ratio of 16: 9, that is, an interpolation signal of a portion indicated by a ′ and c ′ in FIG. 2 (B). is there. The interpolation signal a ′ is generated using the image signal a, and the interpolation signal c ′ is generated using the image signal c.
乗算部 5は、 図示しない制御部などから入力されるゲインコントロール信号に 対応する係数を、 入力された信号に乗算し、 画像合成部 1に出力する。  The multiplication unit 5 multiplies the input signal by a coefficient corresponding to a gain control signal input from a control unit (not shown) or the like, and outputs the result to the image synthesis unit 1.
画像合成部 1は、 入力されたアスペクト比 4 ： 3の画像素材 P iに対応する画 像信号と、 乗算部 5から入力された補間信号 a 'および c 'を合成し、 第 2図 (B) に示されるような、 アスペクト比 1 6 ： 9のワイド画像素材 P 2に対応す る画像信号を生成し、 出力する。 The image synthesizing unit 1 synthesizes the input image signal corresponding to the image material P i having the aspect ratio of 4: 3 and the interpolated signals a ′ and c ′ input from the multiplying unit 5, and obtains the image signal shown in FIG. ) to be as shown, the aspect ratio of 1 6: to respond to 9 wide image material P 2 of Generate and output image signals.
また、 スィッチ 2の端子が、 画像合成部 1の出力側 （すなわち、 図中端子 y 側） に切り替えられている場合、 画像取り込み部 3には、 画像合成部 1の出力信 号と同一の画像信号が入力される。 画像取り込み部 3は、 入力された、 ァスぺク ト比 1 6 ： 9の画像信号から、 アスペクト比 4 ： 3の画像信号に対応する部分の 両端近傍の画素 （第 2図 （B) の aおよび cで示される部分） を抽出して、 補間 信号生成部 4に出力する。 そして、 スィッチ 2が端子 X側に切り替えられていた 場合と同様の処理がなされ、 両袖が補間されたワイド画像素材 P 2に対応する画 像信号が生成され、 出力される。 When the terminal of the switch 2 is switched to the output side of the image synthesizing unit 1 (that is, the terminal y side in the figure), the image capturing unit 3 outputs the same image A signal is input. The image capturing section 3 converts the input image signal having an aspect ratio of 16: 9 into pixels near both ends of a portion corresponding to an image signal having an aspect ratio of 4: 3 (see FIG. 2 (B)). (a and c) are extracted and output to the interpolation signal generator 4. The switch 2 is the same process as the case that has been switched to the terminal X side is performed, images signals both sleeves corresponding to the wide images P 2 which is interpolated is generated and output.
しかしながら、 第 1図を用いて説明した受信装置では、 入力された画像データ の両端部分 （すなわち、 補間信号を生成する基となる、 第 2図 （A) もしくは第 2図 （B) において、 aおよび cで示されている部分） が、 入力されるフレーム ごとに変化している、 すなわち動画像である場合、 その部分の画像信号を用いて 生成される補間信号は、 補間前の画像に対して不自然なものとなってしまう。 発明の開示  However, in the receiving device described with reference to FIG. 1, both end portions of the input image data (that is, in FIG. 2 (A) or FIG. And the portion indicated by c) change for each input frame, that is, if it is a moving image, the interpolation signal generated using the image signal of that portion is Would be unnatural. Disclosure of the invention
本発明はこのような状況に鑑みてなされたものであり、 入力された画像信号の 動き検出を行い、 その検出結果に基づいて、 補間信号を生成することにより、 不 自然な画像になるのを抑制しつつ、 ァスぺクト比変換画像を生成することができ るようにしたり、 従来用いられている他の目的のための動き検出機能を、 補間信 号の生成に用いることができるようにしたり、 あるいは、 送信される画像信号 に、 補間用の静止画像を予め挿入することにより、 受信装置が、 簡単な構成で、 不自然な画像になるのを抑制しつつ、 ァスぺクト比変換画像を生成することがで きるようにするものである。  The present invention has been made in view of such a situation, and performs motion detection of an input image signal and generates an interpolation signal based on the detection result, thereby preventing an unnatural image from being generated. In this way, it is possible to generate an aspect ratio-converted image while suppressing it, or to use the motion detection function for other purposes conventionally used for generating an interpolation signal. , Or by inserting a still image for interpolation in advance into the image signal to be transmitted, the receiver can reduce the unnatural image with a simple configuration, and perform the aspect ratio conversion. This is to make it possible to generate an image.
本発明の第 1の画像処理装置は、 画像信号の所定の部分を用いて、 補間用信号 を生成する第 1の信号生成手段と、 画像信号の所定の部分の動きを検出する動き 検出手段と、 動き検出手段による検出結果に対応して、 第 1の信号生成手段によ り生成された補間用信号を用いて、 画像信号と合成するための合成用信号を生成 する第 2の信号生成手段と、 第 2の信号生成手段により生成された合成用信号 と、 画像信号とを合成する合成手段とを備えることを特徴とする。 A first image processing apparatus according to the present invention includes: a first signal generation unit that generates a signal for interpolation using a predetermined portion of an image signal; and a motion detection unit that detects a motion of a predetermined portion of the image signal. According to the detection result by the motion detecting means, the first signal generating means A second signal generating means for generating a synthesizing signal for synthesizing with the image signal using the generated interpolating signal, a synthesizing signal generated by the second signal generating means, and an image signal. And synthesizing means for synthesizing.
前記動き検出手段により、 前記画像信号の所定の部分に動きがないと判断され た場合、 前記第 1の信号生成手段により生成された前記補間用信号を保存する保 存手段を更に備えさせることができ、 前記第 2の信号生成手段には、 前記第 1の 信号生成手段により生成された前記補間用信号と、 前記保存手段により保存され た前記補間用信号の少なくとも一方を用いて、 前記合成用信号を生成させること ができる。  When the motion detection unit determines that the predetermined portion of the image signal does not move, the image processing apparatus may further include a storage unit that stores the interpolation signal generated by the first signal generation unit. The second signal generation means may include at least one of the interpolation signal generated by the first signal generation means and the interpolation signal stored by the storage means, A signal can be generated.
前記第 2の信号生成手段には、 動き検出手段による検出結果に基づいて、 第 1 の信号生成手段により生成された補間用信号と、 保存手段により保存された補間 用信号の割合を決定して、 合成用信号を生成させるようにすることができる。 また、 画像信号の動きに対応して、 インタレース画像信号を所定の変換方法で プログレッシブ画像信号に変換する画像変換手段を更に備えさせることができ、 前記画像変換手段には、 動き検出手段による検出結果に基づいて、 変換方法を選 択させることができる。  The second signal generation means determines the ratio of the interpolation signal generated by the first signal generation means and the interpolation signal stored by the storage means based on the detection result by the motion detection means. A signal for synthesis can be generated. Further, it is possible to further comprise image conversion means for converting the interlaced image signal into a progressive image signal by a predetermined conversion method in accordance with the movement of the image signal. The conversion method can be selected based on the result.
本発明の第 1の画像処理方法は、 画像信号の所定の部分を用いて、 補間用信号 を生成する第 1の信号生成ステップと、 画像信号の所定の部分の動きを検出する 動き検出ステップと、 動き検出ステップの処理による検出結果に対応して、 第 1 の信号生成ステップの処理により生成された補間用信号を用いて、 画像信号と合 成するための合成用信号を生成する第 2の信号生成ステツプと、 第 2の信号生成 ステップの処理により生成された合成用信号と、 画像信号とを合成する合成ステ ップとを含むことを特徴とする。  A first image processing method according to the present invention includes: a first signal generation step of generating an interpolation signal by using a predetermined portion of an image signal; and a motion detection step of detecting a motion of a predetermined portion of the image signal. A second signal generating a synthesizing signal for synthesizing with the image signal using the interpolation signal generated by the first signal generating step in response to the detection result obtained by the motion detecting step; It is characterized by including a signal generating step, a synthesizing step for synthesizing an image signal and a synthesizing signal generated by the processing of the second signal generating step.
本発明の記録媒体に記録されているプログラムは、 画像信号の所定の部分を用 いて、 補間用信号を生成する第 1の信号生成ステップと、 画像信号の所定の部分 の動きを検出する動き検出ステップと、 動き検出ステップの処理による検出結果 に対応して、 第 1の信号生成ステップの処理により生成された補間用信号を用い て、 画像信号と合成するための合成用信号を生成する第 2の信号生成ステップ と、 第 2の信号生成ステップの処理により生成された合成用信号と、 画像信号と を合成する合成ステップとを含むことを特徵とする。 The program recorded on the recording medium according to the present invention includes a first signal generation step of generating an interpolation signal using a predetermined portion of the image signal, and a motion detection for detecting a motion of the predetermined portion of the image signal. Using the interpolation signal generated by the processing of the first signal generation step in accordance with the step and the detection result obtained by the processing of the motion detection step. A second signal generation step of generating a synthesis signal for synthesis with the image signal; and a synthesis step of synthesizing the image signal with the synthesis signal generated by the processing of the second signal generation step. It is specially included.
本発明の第 2の画像処理装置は、 所定の大きさの静止画像信号を生成する画像 生成手段と、 所定のアスペクト比の第 1の画像信号の水平方向の両端から、 所定 の大きさを削除した第 2の画像信号を抽出する抽出手段と、 第 2の画像信号の水 平方向の両端に、 画像生成手段により生成された静止画像信号を付加して第 3の 画像信号を生成する付加手段と、 付加手段により生成された第 3の画像信号を、 放送用信号として出力する出力手段とを特徴とする。  A second image processing apparatus according to the present invention includes: an image generation unit configured to generate a still image signal having a predetermined size; and a predetermined size being deleted from both horizontal ends of the first image signal having a predetermined aspect ratio. Extracting means for extracting the obtained second image signal, and adding means for adding the still image signal generated by the image generating means to both ends of the second image signal in the horizontal direction to generate a third image signal And output means for outputting the third image signal generated by the adding means as a broadcast signal.
本発明の第 2の画像処理方法は、 所定の大きさの静止画像信号を生成する画像 生成ステップと、 所定のァスぺクト比の第 1の画像信号の水平方向の両端から、 所定の大きさを削除した第 2の画像信号を抽出する抽出ステップと、 第 2の画像 信号の水平方向の両端に、 画像生成ステップの処理により生成された静止画像信 号を付加して第 3の画像信号を生成する付加ステップと、 付加ステップの処理に より生成された第 3の画像信号を、 放送用信号として出力する出力ステップとを 含むことを特徴とする。  A second image processing method according to the present invention includes: an image generation step of generating a still image signal of a predetermined size; and a predetermined size from a horizontal end of the first image signal having a predetermined aspect ratio. An extraction step of extracting a second image signal from which the image data has been deleted, and adding a still image signal generated by the processing of the image generation step to both ends of the second image signal in the horizontal direction to obtain a third image signal And an output step of outputting the third image signal generated by the processing of the addition step as a broadcast signal.
本発明の第 1の画像処理装置、 画像処理方法、 および記録媒体に記録されてい るプログラムにおいては、 画像信号の所定の部分を用いて、 補間用信号が生成さ れ、 画像信号の所定の部分の動きが検出され、 生成された補間用信号を用いて、 画像信号と合成するための合成用信号が生成され、 生成された合成用信号と、 画 像信号とが合成される。  In the first image processing apparatus, the image processing method, and the program recorded on the recording medium according to the present invention, an interpolation signal is generated using a predetermined portion of the image signal, and a predetermined portion of the image signal is generated. Is detected, a synthesizing signal for synthesizing with the image signal is generated using the generated interpolation signal, and the generated synthesizing signal and the image signal are synthesized.
本発明の第 2の画像処理装置および方法においては、 所定の大きさの静止画像 信号が生成され、 所定のァスぺクト比の第 1の画像信号の水平方向の両端から、 所定の大きさを削除した第 2の画像信号が抽出され、 第 2の画像信号の水平方向 の両端に、 生成された静止画像信号が付加されて、 第 3の画像信号が生成され、 生成された第 3の画像信号が放送用信号として出力される。 図面の簡単な説明 In the second image processing apparatus and method according to the present invention, a still image signal having a predetermined size is generated, and a predetermined size is obtained from both horizontal ends of the first image signal having a predetermined aspect ratio. Is extracted, and the generated still image signal is added to both ends of the second image signal in the horizontal direction to generate a third image signal. The image signal is output as a broadcast signal. BRIEF DESCRIPTION OF THE FIGURES
第 1図は、 従来の受信装置において、 アスペクト比変換のための、 補間信号の 生成および付加を行う部分の構成を示すブロック図である。  FIG. 1 is a block diagram showing a configuration of a part for generating and adding an interpolation signal for aspect ratio conversion in a conventional receiving apparatus.
第 2図は、 アスペクト比変換のための、 補間信号の付加について説明するため の図である。  FIG. 2 is a diagram for explaining addition of an interpolation signal for aspect ratio conversion.
第 3図は、 本発明を適用した受信装置において、 アスペクト比変換のための補 間信号の生成および付加を行う部分の構成を示すプロック図である。  FIG. 3 is a block diagram showing a configuration of a part for generating and adding an interpolation signal for aspect ratio conversion in a receiving apparatus to which the present invention is applied.
第 4図は、 ァスぺクト比 4 ： 3の画像素材と、 ァスぺクト比 1 6 ： 9の画像素 材の関係を説明するための図である。  FIG. 4 is a diagram for explaining the relationship between an image material having an aspect ratio of 4: 3 and an image material having an aspect ratio of 16: 9.
第 5図は、 左袖補間部分と右袖補間部分における補間を説明するための図であ る。  FIG. 5 is a diagram for explaining interpolation in a left sleeve interpolation part and a right sleeve interpolation part.
第 6図は、 補間される画素について説明するための図である。  FIG. 6 is a diagram for explaining pixels to be interpolated.
第 7図は、 階調特性の調整について説明するための図である。  FIG. 7 is a diagram for explaining adjustment of gradation characteristics.
第 8図は、 階調特性として、 輝度の調整を行う場合の画素について説明するた めの図である。  FIG. 8 is a diagram for explaining a pixel in a case where luminance is adjusted as a gradation characteristic.
第 9図は、 階調特性として、 輝度の調整を行う場合の画素について説明するた めの図である。  FIG. 9 is a diagram for explaining a pixel in the case where luminance is adjusted as a gradation characteristic.
第 1 0図は、 デフォーカスレベルの調整について説明するための図である。 第 1 1図は、 デフォーカスレベルを調整する場合の画素について説明するため の図である。  FIG. 10 is a diagram for explaining the adjustment of the defocus level. FIG. 11 is a diagram for explaining a pixel when the defocus level is adjusted.
第 1 2図は、 本発明を適用した、 動き適応型イン夕レース プログレッシブ変 換を行う機能を備えた受信装置の構成を示すブロック図である。  FIG. 12 is a block diagram showing the configuration of a receiving apparatus to which the present invention is applied and which has a function of performing a motion-adaptive in-line progressive conversion.
第 1 3図は、 イン夕レース/プログレッシブ変換用動き検出エリアと、 両袖補 間用動き検出エリアについて説明するための図である。  FIG. 13 is a diagram for describing a motion detection area for in-lace / progressive conversion and a motion detection area for both sleeves interpolation.
第 1 4図は、 補間用信号付加機能を有した送信装置において、 補間用信号の合 成にかかわる部分の構成を示すブロック図である。  FIG. 14 is a block diagram showing a configuration of a part related to synthesis of an interpolation signal in a transmission device having an interpolation signal addition function.
第 1 5図は、 第 1 4図の送信装置の処理を説明するための図である。 発明を実施するための最良の形態 FIG. 15 is a diagram for explaining the processing of the transmitting device in FIG. BEST MODE FOR CARRYING OUT THE INVENTION
以下、 図を参照して、 本発明の実施の形態について説明する。  Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
第 3図は、 本発明を適用した受信装置の、 アスペクト比変換のために補間信号 の生成および付加を行う部分の構成を示すブロック図である。  FIG. 3 is a block diagram showing a configuration of a part for generating and adding an interpolation signal for aspect ratio conversion in a receiving apparatus to which the present invention is applied.
両袖補間部 1 1は、 図示しないアンテナで受信され、 図示しないデコーダでデ コードされた、 例えば、 NTS PAL, あるいは SECAMなどの方式によるアスペクト 比 4 ： 3の画像素材 P iの入力を受け、 動き検出部 1 2、 およびコントローラ 1 3から入力される、 ゲインコントロール信号、 あるいは、 制御信号に従って、 ァ スぺクト比 1 6 ： 9のワイド画像素材 P 2を生成し、 出力する。 ここでは、 入力 される画像素材 P iは、 NTSC方式の信号により生成されているものとする。 The two-sleeve interpolator 11 receives an image material P i received by an antenna (not shown) and decoded by a decoder (not shown) and having an aspect ratio of 4: 3 according to a method such as NTS PAL or SECAM. motion detector 1 2, and is input from the controller 1 3, the gain control signal or, in accordance with the control signal, § scan Bae transfected ratio 1 6: generate 9 wide images P 2, and outputs. Here, it is assumed that the input image material Pi is generated by an NTSC signal.
第 4図に、 ァスぺクト比 4 ： 3の画像素材 P iとァスぺクト比 1 6 ： 9のワイ ド画像素材 P 2との関係を示す。 アスペクト比 4 ： 3の画像素材 P iからァスぺ クト比 1 6 ： 9のワイド画像素材 P 2を生成する場合、 図中 で示される左袖 補間部分と、 図中 HRで示される右袖補間部分の画像信号を補間する必要があ る。 図中 で示されるワイド画像素材 P 2の左袖補間部分の補間には、 図中 Δ S : ^で示される画像素材 P iの部分の画像信号が、 また、 図中 HRで示されるワイ ド画像素材 P 2の右袖補間部分の補間には、 図中 A S Rで示される画像素材 P iの 部分の画像信号が、 それぞれ用いられる。 FIG. 4 shows the relationship between an image material P i having an aspect ratio of 4: 3 and a wide image material P 2 having an aspect ratio of 16: 9. When generating a wide image material P 2 with an aspect ratio of 16: 9 from an image material P i with an aspect ratio of 4: 3, the left sleeve interpolation part shown in the figure and the right part shown by H R in the figure It is necessary to interpolate the image signal of the sleeve interpolation part. The interpolation of the left sleeve interpolation portion of the wide image material P 2 shown in the figure, reference numeral delta S: Wai ^ image signal portion of the image component P i represented by is also shown in the figure H R the interpolation of the right sleeve interpolation portion of de images P 2, the image signal of the portion of the image material P i shown in the figure aS R are used respectively.
動き検出部 1 2は、 両袖補間部 1 1に入力された画像信号と同一の画像信号の 入力を受け、 第 4図を用いて説明した、 左袖補間部分 HLの補間信号を生成する 部分 A Sい および、 右袖補間部分 HRの補間信号を生成する部分 A S Rの画像信 号を抽出し、 その部分の画像の動きを検出する。 動き検出においては、 例えば、 最初に入力されたフレームの抽出画像信号と、 次のフレームの抽出画像信号を比 較して、 その差分が所定の閾値より大きいか否かを判断して、 対応する部分の画 像信号の動きを検出するようにしても良いし、 例えば、 マクロブロック単位で動 きべクトルを解析するなどの手法を用いるようにしても良い。 動き検出部 1 2は、 抽出画像信号が動きのない静止画像 （動きがあつたとして も、 所定の閾値以下の動きの画像） である場合、 両袖補間部 1 1の、 後述するス イッチ 2 4をオンにするための制御信号を生成し、 スィッチ 2 4に出力する。 ま た、 動き検出部 1 2は、 乗算部 2 6に係数 α ( 0≤α≤1 ) で示されるゲインコ ントロール信号 （係数） を出力し、 乗算部 2 7に 1 _ αで示されるゲインコント ロール信号 （係数） を出力する。 この αの値は、 動き検出部 1 2が検出した抽出 画像の動きの大きさによって決まり、 抽出画像の動きが大きい場合、 αの値は 1 に近くなり、 抽出画像の動きが小さい場合、 αの値は 0に近くなる。 また、 抽出 画像が静止画像である場合、 ひの値は、 ひ = 0となる。 The motion detection unit 12 receives the same image signal as the image signal input to the both-sleeve interpolation unit 11 and generates an interpolation signal of the left-sleeve interpolation part HL described with reference to FIG. partial AS physician and extracts image signals of a portion AS R for generating an interpolation signal of the right sleeve interpolation portion H R, detects a motion of an image of that portion. In the motion detection, for example, the extracted image signal of the first input frame is compared with the extracted image signal of the next frame, and it is determined whether the difference is larger than a predetermined threshold value. The movement of the image signal of the portion may be detected, or a method of analyzing a movement vector in macroblock units, for example, may be used. When the extracted image signal is a still image having no motion (an image having a motion equal to or less than a predetermined threshold even if motion is detected), the motion detecting unit 12 performs a switch 2 (described later) of the two-sleeve interpolation unit 11. Generates a control signal to turn on 4 and outputs it to switch 24. Further, the motion detection section 12 outputs a gain control signal (coefficient) represented by a coefficient α (0≤α≤1) to the multiplication section 26, and a gain control signal represented by 1_α to the multiplication section 27. Outputs a roll signal (coefficient). The value of α is determined by the magnitude of the motion of the extracted image detected by the motion detection unit 12. When the motion of the extracted image is large, the value of α is close to 1, and when the motion of the extracted image is small, α Is close to 0. When the extracted image is a still image, the value of “hi” is “hi = 0”.
コントローラ 1 3は、 両袖補間部 1 1の、 後述するスィッチ 3 0の端子を、 後 述する固定パターン発生部 2 9側の端子 Uに切り替えるか、 または、 後述する画 像合成部 2 8側の端子 Lに切り替えるかを制御するための制御信号を生成し、 ス イッチ 3 0に供給するとともに、 後述するデータ演算部 3 1が実行する補間信号 に対するデータ演算処理を制御するための制御信号を生成し、 データ演算部 3 1 に出力する。  The controller 13 switches the terminal of a later-described switch 30 of the both-sleeve interpolator 11 to a terminal U of the fixed pattern generator 29 described later, or the image synthesizer 28 described later. A control signal for controlling whether or not to switch to the terminal L is supplied to the switch 30, and a control signal for controlling a data calculation process on an interpolation signal executed by the data calculation unit 31 described later is generated. Generate and output to data operation unit 31.
また、 ドライブ 1 4は、 動き検出部 1 2に接続され、 必要に応じて磁気ディス ク 1 5、 光ディスク 1 6、 光磁気ディスク 1 7、 および半導体メモリ 1 8が装着 され、 データの授受を行う。  In addition, the drive 14 is connected to the motion detection unit 12, and is provided with a magnetic disk 15, an optical disk 16, a magneto-optical disk 17, and a semiconductor memory 18 as necessary, and exchanges data. .
次に、 両袖補間部 1 1の詳細な構成について説明する。  Next, a detailed configuration of the two-sleeve interpolation unit 11 will be described.
画像合成部 2 1は、 NTSC信号よりなる画像素材 Ρ！に対応する画像信号の入力 を受け、 その入力信号とデータ演算部 3 1から出力される補間信号を合成して、 アスペクト比 1 6 ： 9のワイド画像素材 Ρ 2に対応する画像信号を生成し、 出力 する （デ一夕演算部 3 1から出力される補間信号についての詳細は、 後述す る） 。 画像取り込み部 2 2は、 第 1図を用いて説明した画像取り込み部 3と同様 の処理により、 画像合成部 2 1が出力した画像信号から、 アスペクト比 4 ： 3の 画像信号に対応する部分の両端近傍の画素 （第 4図を用いて説明した部分 A S し および部分 A S R) を抽出して、 補間信号生成部 2 3に出力する。 補間信号生成部 2 3は、 第 4図を用いて説明した左袖補間部分 および右袖 補間部分 HRに対する補間信号を、 入力された部分△ SLおよび部分△ SRの画素 を用いて生成する。 すなわち、 補間信号生成部 23は、 左袖補間部分 HLおよび 右袖補間部分 HRが全て補間できるように、 第 5図に示される部分 AS! およ び部分 ASR 'を、 繰り返し発生させる。 The image synthesizing section 21 is an image material composed of NTSC signals. Receives the image signal corresponding to, by combining the interpolation signal output from the input signal and a data computation unit 3 1, an aspect ratio of 1 6: 9 wide images Ρ generates an image signal corresponding to the second (The details of the interpolation signal output from the data processing unit 31 will be described later.) The image capturing section 22 performs the same processing as the image capturing section 3 described with reference to FIG. 1 to convert the image signal output from the image combining section 21 into a portion corresponding to an image signal having an aspect ratio of 4: 3. near both ends of the pixel (with reference to FIG. 4 partially AS described and partially AS R) by extracting, and outputs the interpolation signal generating unit 2 3. Interpolation signal generating unit 2 3, an interpolation signal for the fourth left sleeve interpolation portion described with reference to figures and Migisode interpolation portion H R, generated using the pixels of the input partial △ S L and the partial △ S R I do. That is, the interpolation signal generating unit 23, as the left sleeve interpolation portion H L and the right sleeve interpolation portion H R can be interpolated all parts AS! And partial AS R 'shown in FIG. 5, is repeatedly generated .
例えば、 第 6図において、 第 5図を用いて説明した部分 が、 SQ, S 0, 2. S0, 3 ' ' * 30, 111で示される、 1画素分の幅の画像信号である場合、 左袖 補間部分 HLに含まれる各画素は、 以下の式 （1) で表わされる。 For example, in Figure 6, the parts described with reference to FIG. 5 is, S Q, at S 0, 2. S 0, 3 '' * 3 0, 111 represented by the image signal of the width of one pixel In some cases, each pixel included in the left sleeve interpolation part HL is represented by the following equation (1).
o 0 l— 1— n - 1, 1— · * · — 2 1― ° 1, 1  o 0 l— 1— n-1, 1— · * · — 2 1— ° 1, 1
° 0, 2"~ ^ η, 2— ° η-1, 2~ · * — ° 2, 2― ° 1, 2 ° 0, 2 "~ ^ η, 2 — ° η-1, 2 ~ · * — ° 2, 2 ― ° 1, 2
0, 3― ° nf 3— ° n-lt 3— · ~ ° 2, 3~ ° 1, 3 o 0, m - 1— 0 n m- 1— n - 1, m - 1— · · ~ ° 2, m- 1 l m-l 0, 3- ° n f 3 - ° nl t 3 - · ~ ° 2, 3 ~ ° 1, 3 o 0, m - 1- 0 n m- 1- n - 1, m - 1- · · ~ ° 2, m- 1 l ml
° 0f m― ° n, m― ° n- 1, m― · · · ― ° 2, m― ° 1, m · · ·
Figure imgf000011_0001
すなわち、 部分 ASL 'は、 Si,い 2, · · · , S1> mの画素列、 S2, 1. S2, 2， · · ·， S2, mの画素列、 · · ·、 Sn, い Sn, 2, · · · ' Sn. m の画素列で構成される。 ° 0 f m-° n, m-° n-1, m----° 2, m-° 1, m-
Figure imgf000011_0001
That is, partial AS L 'is, Si, have 2, · · ·, S 1> pixel column of m, S 2, 1. S 2 , 2, · · ·, S 2, m pixel row, · · · , composed of S n, we have S n, 2, · · · 'S n. m pixel columns of.
また、 第 6図において、 第 5図を用いて説明した部分 が、 So,い S_ i, i， S0> 2, S_!, 2 - · · S0, m, S mで示される、 2画素分の幅の画像信 号である場合、 左袖補間部分 こ含まれる各画素は、 以下の式 （2) で表わさ れる。 Further, in FIG. 6, the parts described with reference to FIG. 5 is, So., have S_ i, i, S 0> 2, S_ !, 2 - · · S 0, m, represented by S m, 2 In the case of an image signal having a width of a pixel, each pixel included in the left sleeve interpolation portion is represented by the following equation (2).
° 0, 1— ° n, 1— n - 2, 1— · * ' ― 4 1— 02, 1 ° 0, 1 — ° n, 1— n-2, 1— · * '― 4 1— 0 2, 1
0 - 1, 1— η - I' l— 3 1— · · * — ° 3f 1― ° 1, 1 0-1, 1— η-I 'l— 3 1— · * — ° 3 f 1— ° 1, 1
° 0, 2 ~ ° n, 2— n- 2, 2― " " — 4 2― ° 2, 2  ° 0, 2 ~ ° n, 2— n- 2, 2— “” — 4 2— ° 2, 2
。- 1, 2― ° η- 1, 2― η- 3, 2― · · · ― ° 3, 2― ° 1, 2  . -1, 2-° η- 1, 2-η-3, 2-...-° 3, 2-° 1, 2
S 0, m n— 2 ~" ° 4, m— ° 2, S - i, m― S n— m— S n— 3, m― · · — S 3 m― S m · · · (2) すなわち、 このとき、 部分 A SL 'は、 S 1; 1, S 2, 1; S 2， S 2, S 0, mn— 2 ~ "° 4, m— ° 2, S-i, m ― S n — m — S n — 3 , m ― · · — S 3 m ― S m · · · (2) In other words, at this time, the partial AS L 'is S 1; 1 , S 2 , 1; S 2 , S 2 ,
2， · · ·， S M, S 2, mの画素列などで構成される。 , S M , S 2 , and m pixel columns.
更に、 第 5図を用いて説明した部分 A Sしが、 例えば、 3画素分の幅あるいは それ以上の幅を有する画像信号である場合においても、 式 （1) および式 (2) と同様に、 左袖補間部分 H! ^および右袖補間部分 HRが全て補間できるように、 部分 A Sしおよび部分 A S Rが、 繰り返して発生される。 Further, in the case where the partial AS described with reference to FIG. 5 is, for example, an image signal having a width of three pixels or more, as in Expressions (1) and (2), as the left sleeve interpolation part H! ^ and the right sleeve interpolation part H R can be interpolated all, part aS and and partial aS R is generated repeatedly.
以上のようにして生成された、 左袖補間部分 ^および右袖補間部分 HRに対 する補間信号が、 補間信号生成部 2 3から、 スィッチ 24および乗算部 2 7に出 力される。 補間信号生成部 2 3が出力する補間信号は、 ァスぺクト比 1 6 ： 9の 画像信号の両端部分の信号、 すなわち、 第 5図における左袖補間部分 HLおよび 右袖補間部分 HRの補間信号であり、 その中央の部分 （すなわち、 両袖補間部 1 1に入力された NTSC信号に対応するアスペクト比 4 ： 3の部分） は含まれていな い。 Was generated as described above, the interpolation signal against the left sleeve interpolation part ^ and the right sleeve interpolation portion H R is the interpolation signal generating unit 2 3, is output to switch 24 and the multiplication unit 2-7. The interpolation signal output by the interpolation signal generation unit 23 is a signal at both ends of the image signal having an aspect ratio of 16: 9, that is, the left sleeve interpolation part H L and the right sleeve interpolation part H R in FIG. And does not include the central part (that is, the part with an aspect ratio of 4: 3 corresponding to the NTSC signal input to the two-sleeve interpolation unit 11).
動き検出部 1 2が、 抽出画像信号が動きのない静止画像であることを検出した 場合、 動き検出部 1 2は、 上述したように、 スィッチ 24をオンにするための制 御信号を生成し、 スィッチ 24に出力するので、 補間信号生成部 2 3から出力さ れた補間信号は、 メモリ 2 5に入力され、 保存される。 メモリ 2 5は、 新たに入 力された補間信号を保存し、 その前に入力された補間信号を消去する （古い補間 信号の上に新しい補間信号を上書きする） 。 また、 動き検出部 1 2が、 抽出画像 信号が動きのある画像であることを検出した場合、 スィッチ 24はオフになるた め、 補間信号生成部 2 3から出力された補間信号は、 メモリ 2 5に入力されな レ^  When the motion detection unit 12 detects that the extracted image signal is a still image without motion, the motion detection unit 12 generates a control signal for turning on the switch 24 as described above. Since the signal is output to the switch 24, the interpolation signal output from the interpolation signal generator 23 is input to the memory 25 and stored. The memory 25 stores the newly input interpolation signal and erases the previously input interpolation signal (overwrites the old interpolation signal with the new interpolation signal). When the motion detection unit 12 detects that the extracted image signal is a moving image, the switch 24 is turned off. Therefore, the interpolation signal output from the interpolation signal generation unit 23 is stored in the memory 2. Not entered in 5 ^
乗算部 2 7は、 補間信号生成部 2 3から入力される補間信号に、 動き検出部 1 2から入力されるゲインコントロール信号としての係数 1 _α (0≤ ≤ 1) を 乗算し、 画像合成部 2 8に出力する。 乗算部 2 6は、 メモリ 2 5に保存されてい る補間信号を読み出し、 動き検出部 1 2から入力されるゲインコントロール信号 としての係数 αを乗算し、 画像合成部 2 8に出力する。 The multiplication unit 27 multiplies the interpolation signal input from the interpolation signal generation unit 23 by a coefficient 1 _α (0≤≤1) as a gain control signal input from the motion detection unit 12, and 2 Output to 8. The multiplication unit 26 reads the interpolation signal stored in the memory 25, and the gain control signal input from the motion detection unit 12 , And outputs the result to the image synthesis unit 28.
上述したように、 この係数 aの値は、 動き検出部 1 2により検出された動きの 大きさによって決まる値である （抽出画像の動きが大きい場合、 係数 aは 1に近 くなり、 抽出画像の動きが小さい場合、 係数 aは 0に近くなる） 。  As described above, the value of the coefficient a is a value determined by the magnitude of the motion detected by the motion detection unit 12 (when the motion of the extracted image is large, the coefficient a becomes closer to 1 and If the motion of is small, the coefficient a is close to 0).
すなわち、 抽出画像の動きが大きい場合、 その画像信号を用いた補間信号を用 いて、 左袖補間部分 HLおよび右袖補間部分 HRを補間すると、 不自然な画像が 表示されてしまうため、 メモリ 2 5に保存されている、 最新の過去の静止画像デ 一夕による補間信号の割合が多くされる。 逆に、 抽出画像の動きが小さい場合、 過去の画像ではなく、 現在の画像信号を用いて生成された補間信号の割合が多く される。 そして、 画像合成部 2 8において、 抽出画像の動きの大きさによって決 められた割合の、 2つの補間信号が合成される。 That is, when the motion of the extracted image is large, and have use an interpolation signal using the image signals, for when interpolating the left sleeve interpolation portion H L and the right sleeve interpolation portion H R, resulting in an unnatural image is displayed, The ratio of the interpolation signal based on the latest past still image data stored in the memory 25 is increased. Conversely, when the motion of the extracted image is small, the proportion of the interpolation signal generated using the current image signal instead of the past image is increased. Then, in the image synthesizing unit 28, two interpolation signals are synthesized at a ratio determined by the magnitude of the motion of the extracted image.
画像合成部 2 8で合成された補間信号は、 スィツチ 3 0の端子 Lに供給され る。 固定パターン発生部 2 9は、 例えば、 黒、 青、 緑などで彩色された無模様の 画像を、 左袖補間部分 および右袖補間部分 HRに挿入するための固定パター ンの画像として、 スィッチ 3 0の端子 Uに出力する。 スィッチ 3 0は、 コント口 ーラ 1 3から入力される制御信号に従って、 画像合成部 2 8の出力信号と、 固定 パターン発生部 2 9の出力信号のいずれか一方の信号を選択し、 データ演算部 3 1に出力する。 The interpolation signal synthesized by the image synthesis unit 28 is supplied to the terminal L of the switch 30. Fixed pattern generation unit 2 9, for example, black, blue, the images of no pattern that is colored like green, as the image of the fixed pattern for insertion into the left sleeve interpolation portion and the right sleeve interpolation portion H R, switch 30 Output to terminal U. The switch 30 selects one of the output signal of the image synthesizing unit 28 and the output signal of the fixed pattern generating unit 29 according to the control signal input from the controller 13 and performs data operation. Output to part 31.
デ一夕演算部 3 1は、 コントローラ 1 3から入力される制御信号に従って、 入 力された補間信号の階調特性 （例えば、 輝度レベル、 色相、 ァ特性など） や、 デ フォーカスレベルを調整するための演算を行って、 最終的な補間信号を生成し、 画像合成部 2 1に出力する。 ここで、 デフォーカスレベルとは、 画像のピントの ずれ量を意味する。  The de-arithmetic operation unit 31 adjusts the gradation characteristics (for example, luminance level, hue, and a characteristic) and the defocus level of the input interpolation signal according to the control signal input from the controller 13. To generate a final interpolated signal and output it to the image synthesizing unit 21. Here, the defocus level means the amount of defocus of an image.
例えば、 コントローラ 1 3から、 補間信号の階調特性を調整することを指示す る制御信号が入力された場合、 データ演算部 3 1は、 第 7図に示されるように、 部分△ S Lの左端部、 および部分 Δ S Rの右端部の階調特性を 1として、 ワイド 画像素材 P 2の左側端部または右側端部に近づくにつれて、 表示される画像の階 調特性が低くなるような処理を行う。 For example, the controller 1 3, when the control signal that instructs to adjust the gradation characteristic of the interpolation signal is inputted, the data operation unit 3 1, as shown in FIG. 7, portions △ of S L left end, and the gradation characteristics of the right end portion delta S R as 1, toward the left end portion or right end portion of the wide image material P 2, floors of the image to be displayed A process is performed so that the tonal characteristics become low.
階調特性として輝度を用いた場合について、 第 8図および第 9図を用いて説明 する。  The case where luminance is used as the gradation characteristic will be described with reference to FIGS. 8 and 9.
第 8図に示すように、 補間信号の生成の基となる画素が、 部分 ASj__の 1画素 の幅の画像信号である場合、 左袖補間部分 こ含まれる各画素は、 第 6図を参 照して説明した式 （1) によって表わされる。 所定のラインの部分 AS こ位置 する画素 S0， pを基に生成された補間信号の同一ラインの各画素 S p乃至 Sn， pの輝度は、 例えば、 第 9図に示されるように、 画素 SQ, Pの輝度を 1として、 ワイド画像 P2の端部に近づくにつれて小さくなるように調整される。 第 9図に おいて、 画素 S0, pの輝度を A (S0, p) 、 画素 Sn, pの輝度を A (Sn, p) とす ると、 画素 Sr, pの輝度 A (Sr> p) は、 次の式 （3) により演算される。 As shown in FIG. 8, when the pixel on which the generation of the interpolation signal is based is an image signal having a width of one pixel of the part ASj__, the left sleeve interpolation part is shown in FIG. Equation (1) explained in the above. Each pixel in the same line of pixels S 0, the interpolation signal p a generated based to partially AS This position of the predetermined line S p to S n, the luminance of p is, for example, as shown in FIG. 9, Assuming that the luminance of the pixels S Q and P is 1, the adjustment is made such that the luminance becomes smaller as approaching the edge of the wide image P 2 . In FIG. 9, if the brightness of pixels S 0 and p is A (S 0 , p) and the brightness of pixels S n and p is A (S n , p ), the brightness of pixels S r and p is A (S r> p ) is calculated by the following equation (3).
A (Sr, p) ={A (Sn, p) -A (S0, P) }XSr, p/ (Sn, p一 S0, P) + {A (Sn, p) XSn, p— A (Sn, p) XS0， p}/ (Sn, p一 S0, p)A (S r , p ) = {A (S n , p ) -A (S 0 , P )} XS r , p / (S n , p- one S 0 , P ) + {A (S n , p ) XS n , p — A (S n , p) XS 0 , p } / (S n , p- S 0 , p)
• · · (3) • · · (3)
なお、 階調特性を、 色相や、 ァ特性をとした場合においても、 上述した式 (3) に、 輝度ではなく、 色相、 もしくは 7"特性を代入することにより、 同様 に、 階調特性を調整することができる。  Even when the gradation characteristic is set to the hue or the a characteristic, the hue or the 7 ″ characteristic is substituted for the above-mentioned equation (3) instead of the luminance, and the gradation characteristic is similarly calculated. Can be adjusted.
なお、 第 9図においては、 直線関数の変換テーブルを用いて、 ワイド画像素材 P 2の端部に近づくにつれて、 階調特性がリニァに小さくなるように調整した が、 例えば、 s i n関数の変換テーブルを用いて、 サインカーブ状に階調特性が 小さくなるように調整しても良い。 In the Figure 9, using the conversion table of the linear function, as it approaches the end of the wide image material P 2, but the gradation characteristics are adjusted so as to reduce the Rinia, for example, conversion of the sin function table May be used to adjust the gradation characteristics in a sine curve shape so as to decrease.
また、 コントローラ 13から、 入力された補間信号のデフォーカスを調整する ことを指示する制御信号が入力された場合、 データ演算部 31は、 第 10図に示 されるように、 部分 Δ SLの左端部および部分△ SRの右端部のデフォーカスレ ベルを 0%として、 ワイド画像素材 P2の両端に近づくにつれて、 表示される画 像のデフォーカスレベルが高くなるような処理を行う。 In addition, when a control signal instructing to adjust the defocus of the input interpolation signal is input from the controller 13, the data operation unit 31 outputs the partial ΔS L as shown in FIG. the Defoe blur bell at the right end of the left end portion and a partial △ S R 0%, closer to the opposite ends of the wide image material P 2, performs processing such as defocus level of images to be displayed increases.
次に、 第 1 1図を用いて、 デフォーカスレベルを調整するための演算の例につ いて説明する。 Next, an example of an operation for adjusting the defocus level will be described with reference to FIG. Will be described.
第 11図に示されるように、 補間信号の生成の基となる部分 ASしの画素が、 2画素の幅の画像列である場合、 左袖補間部分 こ含まれる各画素は、 第 6図 を用いて説明した式 （2) によって表わされる。 生成された補間信号の各画素 は、 部分 AS こ近い画素から、 例えば、 画素グループ 41および画素グループ 42のように、 2 X 2の 4画素毎にグループィ匕される。 同様のグループ化が、 最下部の画素 mおよび S2, mまで行なわれる。 そして、 その次に部分 AS L に近い画素から、 例えば、 画素グループ 43のように、 3 X 3の 9画素毎にグ ループ化が行われる。 更に、 その次に部分 ASしに近い画素から、 4X4の 16 画素毎にグループ化が行われる。 以下、 同様のグループ化が、 左袖補間部分 HL の左端部の画素である Sn, ェ乃至 Sn. mまで、 画素グループの大きさを順次大き くしながら行われる。 As shown in FIG. 11, when the pixel on which the interpolation signal is to be generated is an image sequence having a width of 2 pixels, the left-sleeve interpolation portion is shown in FIG. It is expressed by the equation (2) described above. Each pixel of the generated interpolation signal is grouped from a pixel close to the partial AS, for example, every 2 × 2 pixels, such as a pixel group 41 and a pixel group 42. A similar grouping is performed up to the bottom pixel m and S 2 , m . Then, the pixels close to the portion AS L to the next, for example, as in the pixel groups 43, grouping is performed for each 9 pixels of 3 X 3. Furthermore, grouping is performed for every 4X4 16 pixels, starting from the pixel closest to the partial AS. Thereafter, the same grouping, S n is the pixel at the left end of the left sleeve interpolation portion H L, up to E or S n. M, is performed while sequentially magnitude comb size of the pixel group.
そして、 これらの画素グループ毎に、 例えば、 画素グループ 41に対しては、 式 （5) に示される演算が、 画素グループ 42に対しては、 式 （6) に示される 演算が、 そして、 画素グループ 43に対しては、 式 （7) に示される演算が行な われる。 以下、 同様にして、 全ての画素グループの各画素値の和を、 グループの 画素数で除算することにより、 部分 Δ S！ ^のデフォーカスレベルを 0 %として、 ワイド画像素材 P2の端部に近づくにつれて、 そのデフォーカスレベルが高くな るような画素値が演算される。 各画素の値は、 その演算結果 （グループの画素値 の平均値） に置換され、 出力される。For each of these pixel groups, for example, for pixel group 41, the operation shown in equation (5) is performed. For pixel group 42, the operation shown in equation (6) is performed. For group 43, the operation shown in equation (7) is performed. Hereinafter, similarly, by dividing the sum of the pixel values of all the pixel groups by the number of pixels of the group, the partial ΔS! ^ Defocus level as 0%, as it approaches the end of the wide image material P 2, the defocus level is high for so that pixel values are computed. The value of each pixel is replaced with the result of the operation (the average of the pixel values of the group) and output.
1, 1―。 2, 1― ° 1, 2― ° 2, 2― 、 1， 1 + 2， 1 +。 1， 2 + 2， 2) , 4 1, 1-. 2, 1- ° 1, 2- ° 2, 2-, 1, 1 + 2, 1+. 1, 2 + 2, 2), 4
• · · (5) • · · (Five)
° 1, 3― ° 2, 3― ° 1, 4― ° 2, 4― ( 1， 3 +〇 2, 3 + 1, 4 + 2, 4) , 4 ° 1, 3 ― ° 2, 3 ― ° 1, 4 ― ° 2, 4 ― (1, 3 + 〇 2, 3 + 1, 4 + 2, 4), 4
• · · (6) • · · (6)
° 3, 1 "~ ° 4, 1— ° 5, 1— ° 3, 2— 4， 2 "~ ° 5, 2— ° 3, 3— 4, 3 ~ ° 5, 3 =° 3, 1 "~ ° 4, 1 — ° 5, 1 — ° 3, 2— 4, 2" ~ ° 5, 2 — ° 3, 3— 4, 3 ~ ° 5, 3 =
( 3, 1+ 4， 1 τ ° 5, 1+ 3， 2+04, 2Τ ° 5, 2 + 3, 3Τ ° 4, 3^ ° 5, 3) , (3, 1+ 4, 1 τ ° 5, 1+ 3, 2+ 0 4, 2 Τ ° 5, 2 + 3, 3 Τ ° 4, 3 ^ ° 5, 3),
• · · (7) なお、 第 6図、 第 8図、 第 9図および第 1 1図においては、 左袖補間部分 H L の各画素の演算および変換について説明したが、 右袖補間部分 HRの各画素にお いても、 左袖補間部分 HLと同様の演算および変換が実施される。 • · · (7) Incidentally, FIG. 6, FIG. 8, in the Figure 9 and first FIG. 1, has been described calculation and conversion of each pixel of the left sleeve interpolation portion H L, contact to each pixel of the right sleeve interpolation portion H R However, the same calculation and conversion as in the left sleeve interpolation part H L are performed.
次に、 第 1 2図を用いて、 受信した画像信号に対して、 動き適応型インタレー ス Zプログレッシブ変換を行う機能を備えた受信装置について説明する。 第 3図 を用いて説明した両袖補間部 1 1、 動き検出部 1 2、 およびコントローラ 1 3 は、 受信した画像信号に対して、 動き適応型インタレース プログレッシブ変換 を行う機能を備えた受信装置において、 第 1 2図のようにして用いることが可能 である。  Next, a receiving apparatus having a function of performing a motion-adaptive interlace Z-progressive conversion on a received image signal will be described with reference to FIG. The two-sleeve interpolator 11, the motion detector 12, and the controller 13 described with reference to FIG. 3 have a function of performing a motion-adaptive interlaced progressive conversion on a received image signal. In this case, it can be used as shown in FIG.
入力された画像信号は、 イン夕レース プログレッシブ変換部 6 1および動き 検出部 1 2に供給される。 動き検出部 1 2は、 第 1 3図 （A) に示すように、 入 力された NTSC信号の全ての部分、 すなわち、 入力映像エリアを、 イン夕レース Z プログレッシブ変換のための動き検出エリアとして認識し、 一方、 第 1 3図 ( B ) に示されるように、 入力された NTSC信号のうち、 その両端の部分 A S しお よび部分 A S Rの両袖補間生成用の画像エリアを、 両袖補間用動き検出エリアと して認識する。 動き検出部 1 2は、 第 1 3図 （A) に示される入力画像エリアの 動きを検出し、 検出結果を、 イン夕レース プログレッシブ変換部 6 1に供給す る。 The input image signal is supplied to the in-line lace progressive conversion unit 61 and the motion detection unit 12. As shown in Fig. 13 (A), the motion detection unit 12 uses all parts of the input NTSC signal, that is, the input video area, as the motion detection area for in-line and Z-progressive conversion. recognized, whereas, as shown in the first FIG. 3 (B), among the input NTSC signal, an image area for both sleeves interpolation generation part aS Salts spare parts aS R at both ends, both sleeves Recognize as the motion detection area for interpolation. The motion detector 12 detects the motion of the input image area shown in FIG. 13A, and supplies the detection result to the in-line lace progressive converter 61.
イン夕レース/プログレッシブ変換部 6 1は、 動き検出部 1 2から入力された 動き検出結果に従って、 入力されたイン夕レース方式の NTSC信号に対して、 動き 適応型ィン夕レース Zプログレツシブ変換を行って、 プログレツシブ方式の画像 をアスペクト比変換部 6 2に出力する。 すなわち、 動きが速い画像信号において は、 イン夕レース方式の画像に対して、 フィールド内補間を行ってプログレッシ ブ画像に変換し、 動きがない、 あるいは比較的動きの遅い画像信号においては、 インタレース方式の画像に対して、 フレーム間補間を行って、 プログレッシブ方 式の画像に変換する。  According to the motion detection result input from the motion detection unit 12, the interlaced / progressive conversion unit 61 performs a motion-adaptive interlaced Z-progressive conversion on the input interlaced NTSC signal according to the motion detection result. Then, a progressive image is output to the aspect ratio converter 62. In other words, in the case of a fast-moving image signal, an in-field interlaced image is converted to a progressive image by performing intra-field interpolation. Inter-frame interpolation is performed on the image of the system, and the image is converted to the image of the progressive system.
アスペクト比変換部 6 2は、 例えば、 NTSCZハイビジョンアップコンパ一夕な どで構成され、 イン夕レース Zプログレッシブ変換部 6 1から入力されるァスぺ クト比が 4 ： 3の NTSC信号を、 ァスぺクト比力 1 6 ： 9の信号に変換して、 両袖 補間部 1 1に出力する。 The aspect ratio conversion unit 62 is, for example, an NTSCZ It converts an NTSC signal with an aspect ratio of 4: 3 input from the in-line race Z-progressive conversion unit 61 into a signal with an aspect ratio of 16: 9. Sleeve Interpolator 1 Output to 1.
そして、 動き検出部 1 2は、 第 1 3図 （B) に示される両袖補間用動き検出ェ リアの画像の動きを検出し、 第 3図を用いて説明した場合と同様に、 その検出結 果に基づいた制御信号、 およびゲインコントロール信号を、 両袖補間部 1 1に出 力する。 また、 コントローラ 1 3も、 第 3図を用いて説明した場合と同様に、 制 御信号を生成して、 両袖補間部 1 1に出力する。 両袖補間部 1 1は、 第 3図を用 いて説明した場合と同様に、 補間信号を生成し、 入力された画像信号に付加し て、 出力する。  Then, the motion detection unit 12 detects the motion of the image of the motion detection area for both sleeve interpolation shown in FIG. 13 (B), and performs the detection in the same manner as described with reference to FIG. The control signal based on the result and the gain control signal are output to the both-sleeve interpolator 11. The controller 13 also generates a control signal and outputs the control signal to the both-sleeve interpolation unit 11 as in the case described with reference to FIG. The two-sleeve interpolation unit 11 generates an interpolation signal, adds the interpolation signal to the input image signal, and outputs the signal, as in the case described with reference to FIG.
第 1 2図を用いて説明したような構成にすることにより、 動き適応型インタレ ース プログレッシブ変換に必要な動き検出と、 補間用画像生成のために必要な 動き検出を、 1つの動き検出部 1 2を用いて実行することができる。 従って、 動 き検出部を 2個設ける場合に比べて、 構成を簡略化することができる。  By adopting the configuration described with reference to FIG. 12, one motion detection unit performs the motion detection necessary for the motion-adaptive interlaced progressive conversion and the motion detection required for generating the interpolation image. It can be performed using 1 and 2. Therefore, the configuration can be simplified as compared with the case where two motion detection units are provided.
ところで、 受信装置が、 アスペクト比 4 ： 3の画像信号のアスペクト比を変換 し、 例えば、 アスペクト比 1 6 ： 9のワイド画像信号を生成することが予め想定 される場合、 画像信号を生成して送信 （放送） する送信装置において、 補間信号 を生成するために用いられる両端近傍の画素 （第 4図を用いて説明した部分 A S ！ ^および部分 A S R) に、 所定の静止画像からなる補間信号作成用の画像信号 を、 送信する画像信号に予め挿入するようにしてもよい。 このことにより、 受信 装置においては、 以上説明したような動き検出を用いることなく、 簡単な処理 で、 補間信号を生成して付加することができるようになる。 By the way, if the receiving apparatus converts the aspect ratio of an image signal having an aspect ratio of 4: 3, and for example, it is assumed that a wide image signal having an aspect ratio of 16: 9 is to be generated, the image signal is generated. in the transmitting apparatus for transmitting (broadcasting), the pixel (portion described with reference to FIG. 4 AS! ^ and partial AS R) near both ends used to generate an interpolation signal, an interpolation signal of a predetermined still image The image signal for creation may be inserted in the image signal to be transmitted in advance. This allows the receiving apparatus to generate and add an interpolation signal by simple processing without using the motion detection described above.
第 1 4図に、 本発明を適用した送信装置において、 補間用信号の合成にかかわ る部分のブロック図を示す。  FIG. 14 shows a block diagram of a part related to the synthesis of the interpolation signal in the transmitting apparatus to which the present invention is applied.
補間用パターン発生部 7 1は、 所定の補間用パターンの信号 Aを発生し、 合成 部 7 4に出力する。 この補間用パターンの信号 Aは、 第 1 5図 （A) に示される ように、 アスペクト比 4 ： 3である NTSC信号の両端近傍の、 所定の幅 Lおよび R (例えば、 第 4図などを用いて説明した部分 および部分 A S Rに対応す る） の静止画像の信号であり、 その中央部分の幅 Wで示される部分には、 画像信 号は存在しない。 画像データ取得部 7 2は、 第 1 5図 （B ) に示される、 ァスぺ クト比 4 ： 3である NTSC信号の画像データ Bを取得し、 抽出部 7 3に出力する。 抽出部 7 3は、 入力された、 ァスぺクト比 4 ： 3の画像デ一夕 （第 1 5図The interpolation pattern generator 71 generates a signal A of a predetermined interpolation pattern and outputs the signal A to the synthesizer 74. As shown in FIG. 15 (A), the signal A of the interpolation pattern has predetermined widths L and R near both ends of an NTSC signal having an aspect ratio of 4: 3. (E.g., to that corresponding to the portion and the portion AS R described with reference to such Figure 4) is a signal of a still image, the part shown by the width W of the central portion, an image signal is absent. The image data acquisition section 72 acquires the image data B of the NTSC signal having an aspect ratio of 4: 3 shown in FIG. 15 (B), and outputs it to the extraction section 73. The extraction unit 73 converts the input image data with an aspect ratio of 4: 3 (see FIG. 15).
(B ) ) から、 第 1 5図 （A) を用いて説明した画像中央部の幅 Wに対応する部 分を抽出し、 信号 Cとして、 合成部 7 4に出力する。 すなわち、 この信号 Cは、 第 1 5図 （C) に示されるように、 横幅 Wに対応するの部分のみの画像デ一夕で ある。 合成部 7 4は、 補間用パターン発生部 7 1から入力された、 第 1 5図 (A) を用いて説明した補間用画像と、 抽出部 7 3から入力された、 第 1 5図(B)), a portion corresponding to the width W of the central portion of the image described with reference to FIG. 15 (A) is extracted, and is output to the synthesizing unit 74 as a signal C. That is, as shown in FIG. 15 (C), this signal C is an image of only the portion corresponding to the width W. The synthesizing unit 74 includes the interpolation image input from the interpolation pattern generation unit 71 described with reference to FIG. 15 (A) and the interpolation image input from the extraction unit 73 shown in FIG.
(C) を用いて説明した画像とを合成して、 第 1 5図 （D) に示す、 両端に補間 用の静止画像を有するアスペクト比 4 ： 3の画像データを生成し、 出力部 7 5に 出力する。 出力部 7 5は、 例えば、 図示しないコーディング部に画像デ一夕を出 力して所定の符号化処理を実行させ、 図示しないアンテナなどを介して送信させ る。 (C) is combined with the image described above to generate image data having an aspect ratio of 4: 3 having still images for interpolation at both ends, as shown in FIG. Output to The output unit 75 outputs, for example, an image data to a coding unit (not shown) to execute a predetermined encoding process, and transmits the image data via an antenna (not shown).
そして、 受信装置においては、 第 1 5図 （D) に示される画像データを受信す るので、 送信信号に予め付加されている幅 Lおよび幅 Rの補間用パターンを、 左 袖補間部分 ^および右袖補間部分 HRに、 繰り返して発生させることにより、 動き検出を行うことなく、 第 1 5図 （E) に示されるような、 アスペクト比 1 6 ： 9の画像データを得ることができる。 Then, since the receiving apparatus receives the image data shown in FIG. 15 (D), the interpolation pattern of width L and width R added in advance to the transmission signal is replaced with the left sleeve interpolation part ^ and right sleeve interpolation portion H R, by generating repeated without performing motion detection, as shown in the first 5 view (E), an aspect ratio of 1 6: 9 image data can be obtained.
抽出部 7 3から入力された、 第 1 5図 （C) を用いて説明した画像が、 例え ば、 絵画の画像である場合、 補間用パターンの信号 Aを、 例えば、 額縁のような 模様を有するものとすることにより、 受信装置は、 不自然さを抑制した画像を表 示することができる。  For example, if the image input from the extraction unit 73 and described with reference to FIG. 15 (C) is a picture of a painting, the interpolation pattern signal A is used, for example, a pattern such as a frame. With this configuration, the receiving apparatus can display an image in which unnaturalness is suppressed.
送信装置側で、 第 1 4図および第 1 5図を用いて説明した、 補間用画像データ の付加処理を行う場合、 第 3図を用いて説明した両袖補間部 1 1、 動き検出部 1 2、 コントローラ 1 3においては、 動き検出部 1 2を削除することが可能とな り、 また、 両袖補間部 1 1の、 スィッチ 2 4、 メモリ 2 5、 乗算部 2 6、 乗算部 2 7、 および画像合成部 2 8を削除することが可能となり、 回路の簡略化、 およ びコストダウンを実現することができる。 When the transmitting apparatus performs the additional processing of the interpolation image data described with reference to FIGS. 14 and 15, the two-sleeve interpolation unit 11 and the motion detection unit 1 described with reference to FIG. 2. In the controller 13, it is possible to delete the motion detector 12. In addition, the switches 24, the memory 25, the multiplication unit 26, the multiplication unit 27, and the image synthesis unit 28 of the both-sleeve interpolation unit 11 can be deleted. In addition, cost reduction can be realized.
上述した一連の処理は、 ソフトウェアにより実行することもできる。 そのソフ トウエアは、 そのソフトウェアを構成するプログラムが、 専用のハードウェアに 組み込まれているコンピュータ、 または、 各種のプログラムをインストールする ことで、 各種の機能を実行することが可能な、 例えば汎用のパーソナルコンビュ —夕などに、 記録媒体からインストールされる。  The above-described series of processing can be executed by software. The software may be a computer in which the programs that make up the software are embedded in dedicated hardware, or various functions can be executed by installing various programs, such as a general-purpose personal computer. Convenience — Installed from recording media in the evening.
この記録媒体は、 第 3図に示すように、 コンピュータとは別に、 ユーザにプロ グラムを提供するために配布される、 プログラムが記録されている磁気ディスク 1 5 (フロッピーディスクを含む） 、 光ディスク 1 6 (CD-ROM (Co即 act Disk- Read Only Memory) , DVD (Digi tal Versat i le Disk) を含む） 、 光磁気デイス ク 1 7 (MD (Mini-Disk)を含む） 、 もしくは半導体メモリ 1 8などよりなるパ ッケージメディァなどにより構成される。  As shown in FIG. 3, this recording medium is a magnetic disk 15 (including a floppy disk) on which the program is recorded and an optical disk 1 which are distributed separately from the computer to provide the program to the user. 6 (including CD-ROM (Co-act disk-read only memory), DVD (Digital Versatile Disk)), magneto-optical disk 17 (including MD (Mini-Disk)), or semiconductor memory 1 8 and other package media.
また、 本明細書において、 記録媒体に記録されるプログラムを記述するステツ プは、 記載された順序に沿って時系列的に行われる処理はもちろん、 必ずしも時 系列的に処理されなくとも、 並列的あるいは個別に実行される処理をも含むもの である。 産業上の利用可能性  Further, in this specification, steps for describing a program recorded on a recording medium are not limited to processing performed in chronological order according to the described order, but are not necessarily performed in chronological order. Alternatively, it also includes processes that are individually executed. Industrial applicability
本発明の第 1の画像処理装置および方法ならびに記録媒体に記録されているプ ログラムによれば、 画像信号の所定の部分を用いて補間用信号を生成し、 画像信 号の所定の部分の動きに対応して、 画像信号と合成するための合成用信号を生成 し、 生成された合成用信号と、 画像信号とを合成するようにしたので、 不自然な 画像になるのを抑制しつつ、 アスペクト比変換画像を生成することができる。 本発明の第 2の画像処理装置によれば、 第 2の画像信号の水平方向の両端に、 静止画像信号を付加して出力するようにしたので、 受信装置が、 簡単な構成で、 不自然な画像になるのを抑制しつつ、 ァスぺクト比変換画像を生成することがで さる。 According to the first image processing apparatus and method of the present invention, and a program recorded on a recording medium, an interpolation signal is generated using a predetermined portion of an image signal, and a motion of the predetermined portion of the image signal is generated. In response to this, a synthesizing signal for synthesizing with the image signal is generated, and the generated synthesizing signal and the image signal are synthesized, so that an unnatural image is suppressed. An aspect ratio converted image can be generated. According to the second image processing apparatus of the present invention, the still image signal is added to both ends in the horizontal direction of the second image signal and output, so that the receiving apparatus has a simple configuration, An aspect ratio converted image can be generated while suppressing an unnatural image.

Claims

請求の範囲 The scope of the claims
1 . 入力された画像信号のァスぺクト比を変換する画像処理装置において、 前記画像信号の所定の部分を用いて、 補間用信号を生成する第 1の信号生成手 段と、  1. In an image processing apparatus for converting an aspect ratio of an input image signal, a first signal generation means for generating an interpolation signal using a predetermined portion of the image signal;
前記画像信号の所定の部分の動きを検出する動き検出手段と、  Motion detection means for detecting the motion of a predetermined portion of the image signal,
前記動き検出手段による検出結果に対応して、 前記第 1の信号生成手段により 生成された前記補間用信号を用いて、 前記画像信号と合成するための合成用信号 を生成する第 2の信号生成手段と、  A second signal generation for generating a synthesis signal for synthesizing with the image signal using the interpolation signal generated by the first signal generation means in accordance with a detection result by the motion detection means Means,
前記第 2の信号生成手段により生成された前記合成用信号と、 前記画像信号と を合成する合成手段と  Synthesizing means for synthesizing the synthesizing signal generated by the second signal generating means and the image signal;
を備えることを特徴とする画像処理装置。  An image processing apparatus comprising:
2 . 前記動き検出手段により、 前記画像信号の所定の部分に動きがないと判断 された場合、 前記第 1の信号生成手段により生成された前記補間用信号を保存す る保存手段  2. A storage unit for storing the interpolation signal generated by the first signal generation unit when the motion detection unit determines that a predetermined portion of the image signal has no motion.
を更に備え、  Further comprising
前記第 2の信号生成手段は、 前記第 1の信号生成手段により生成された前記補 間用信号と、 前記保存手段により保存された前記補間用信号の少なくとも一方を 用いて、 前記合成用信号を生成する  The second signal generation means uses the at least one of the interpolation signal generated by the first signal generation means and the interpolation signal stored by the storage means to convert the synthesis signal. Generate
ことを特徴とする請求の範囲第 1項に記載の画像処理装置。  2. The image processing device according to claim 1, wherein:
3 . 前記第 2の信号生成手段は、 前記動き検出手段による検出結果に基づい て、 前記第 1の信号生成手段により生成された前記補間用信号と、 前記保存手段 により保存された前記補間用信号の割合を決定して、 前記合成用信号を生成する ことを特徴とする請求の範囲第 2項に記載の画像処理装置。 3. The second signal generation means, based on a detection result by the motion detection means, the interpolation signal generated by the first signal generation means, and the interpolation signal stored by the storage means 3. The image processing apparatus according to claim 2, wherein a ratio of the combination is determined to generate the synthesis signal.
4 . 前記画像信号の動きに対応して、 インタレース画像信号を所定の変換方法 でプログレッシブ画像信号に変換する画像変換手段 4. Image conversion means for converting an interlaced image signal into a progressive image signal by a predetermined conversion method in accordance with the movement of the image signal
を更に備え、  Further comprising
前記画像変換手段は、 前記動き検出手段による検出結果に基づいて、 前記変換 方法を選択する The image conversion unit is configured to perform the conversion based on a detection result by the motion detection unit. Choose a method
ことを特徴とする請求の範囲第 1項に記載の画像処理装置。  2. The image processing device according to claim 1, wherein:
5 . 入力された画像信号のァスぺクト比を変換する画像処理装置の画像処理方 法において、  5. In an image processing method of an image processing apparatus for converting an aspect ratio of an input image signal,
前記画像信号の所定の部分を用いて、 補間用信号を生成する第 1の信号生成ス テツプこ、  A first signal generation step for generating an interpolation signal using a predetermined portion of the image signal;
前記画像信号の所定の部分の動きを検出する動き検出ステップと、  A motion detecting step of detecting a motion of a predetermined portion of the image signal;
前記動き検出ステップの処理による検出結果に対応して、 前記第 1の信号生成 ステップの処理により生成された前記補間用信号を用いて、 前記画像信号と合成 するための合成用信号を生成する第 2の信号生成ステップと、  A second signal generating a synthesis signal for synthesizing with the image signal by using the interpolation signal generated by the processing of the first signal generation step in accordance with a detection result by the processing of the motion detection step. 2 signal generation steps;
前記第 2の信号生成ステツプの処理により生成された前記合成用信号と、 前記 画像信号とを合成する合成ステップと  A synthesizing step of synthesizing the synthesizing signal generated by the processing of the second signal generation step and the image signal;
を含むことを特徴とする画像処理方法。  An image processing method comprising:
6 . 入力された画像信号のァスぺクト比を変換する画像処理装置用のプログラ ムであって、  6. A program for an image processing device for converting an aspect ratio of an input image signal,
前記画像信号の所定の部分を用いて、 補間用信号を生成する第 1の信号生成ス テツフと、  A first signal generation step for generating an interpolation signal using a predetermined portion of the image signal;
前記画像信号の所定の部分の動きを検出する動き検出ステップと、  A motion detecting step of detecting a motion of a predetermined portion of the image signal;
前記動き検出ステップの処理による検出結果に対応して、 前記第 1の信号生成 ステップの処理により生成された前記補間用信号を用いて、 前記画像信号と合成 するための合成用信号を生成する第 2の信号生成ステップと、  A second signal generating a synthesis signal for synthesizing with the image signal by using the interpolation signal generated by the processing of the first signal generation step in accordance with a detection result by the processing of the motion detection step. 2 signal generation steps;
前記第 2の信号生成ステツプの処理により生成された前記合成用信号と、 前記 画像信号とを合成する合成ステップと  A synthesizing step of synthesizing the synthesizing signal generated by the processing of the second signal generation step and the image signal;
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録され ている記録媒体。  A recording medium on which a computer-readable program is recorded.
7 . 所定のァスぺクト比の画像信号を生成して出力する画像処理装置におい て、 所定の大きさの静止画像信号を生成する画像生成手段と、 7. In an image processing apparatus that generates and outputs an image signal having a predetermined aspect ratio, Image generating means for generating a still image signal of a predetermined size,
所定のァスぺクト比の第 1の画像信号の水平方向の両端から、 所定の大きさを 削除した第 2の画像信号を抽出する抽出手段と、  Extracting means for extracting a second image signal having a predetermined size removed from both ends in the horizontal direction of the first image signal having a predetermined aspect ratio;
前記第 2の画像信号の水平方向の両端に、 前記画像生成手段により生成された 前記静止画像信号を付加して第 3の画像信号を生成する付加手段と、  Adding means for adding the still image signal generated by the image generating means to both ends of the second image signal in the horizontal direction to generate a third image signal;
前記付加手段により生成された前記第 3の画像信号を、 放送用信号として出力 する出力手段と  Output means for outputting the third image signal generated by the adding means as a broadcast signal;
を備えることを特徴とする画像処理装置。  An image processing apparatus comprising:
8 . 所定のァスぺクト比の画像信号を生成して出力する画像処理装置の画像処 理方法において、 8. In an image processing method of an image processing apparatus for generating and outputting an image signal having a predetermined aspect ratio,
所定の大きさの静止画像信号を生成する画像生成ステップと、  An image generating step of generating a still image signal of a predetermined size;
所定のァスぺクト比の第 1の画像信号の水平方向の両端から、 所定の大きさを 削除した第 2の画像信号を抽出する抽出ステップと、  An extraction step of extracting a second image signal having a predetermined size removed from both ends in the horizontal direction of the first image signal having a predetermined aspect ratio;
前記第 2の画像信号の水平方向の両端に、 前記画像生成ステツプの処理により 生成された前記静止画像信号を付加して第 3の画像信号を生成する付加ステップ と、  An adding step of adding the still image signal generated by the processing of the image generation step to both ends in the horizontal direction of the second image signal to generate a third image signal;
前記付加ステツプの処理により生成された前記第 3の画像信号を、 放送用信号 として出力する出力ステップと  Outputting the third image signal generated by the processing of the additional step as a broadcast signal;
を含むことを特徴とする画像処理方法。  An image processing method comprising:
PCT/JP2001/002998 2000-04-07 2001-04-06 Image processing device WO2001078384A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2000105911A JP2001292387A (en) 2000-04-07 2000-04-07 Image processing, apparatus, its method and recording medium
JP2000-105911 2000-04-07

Publications (1)

Publication Number Publication Date
WO2001078384A1 true WO2001078384A1 (en) 2001-10-18

Family

ID=18619164

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2001/002998 WO2001078384A1 (en) 2000-04-07 2001-04-06 Image processing device

Country Status (2)

Country Link
JP (1) JP2001292387A (en)
WO (1) WO2001078384A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1494469A2 (en) * 2003-06-30 2005-01-05 Kabushiki Kaisha Toshiba Television receiver and control method thereof
WO2005096624A1 (en) * 2004-03-01 2005-10-13 Thomson Licensing S.A. Non-linear aspect ratio conversion

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1075406A (en) * 1997-07-25 1998-03-17 Hitachi Ltd Wide screen/standard screen television signal receiver
JPH10108218A (en) * 1996-09-30 1998-04-24 Hitachi Ltd Scanning conversion circuit for video signal
JPH11341445A (en) * 1998-05-06 1999-12-10 Thomson Multimedia Sa Frame format conversion method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10108218A (en) * 1996-09-30 1998-04-24 Hitachi Ltd Scanning conversion circuit for video signal
JPH1075406A (en) * 1997-07-25 1998-03-17 Hitachi Ltd Wide screen/standard screen television signal receiver
JPH11341445A (en) * 1998-05-06 1999-12-10 Thomson Multimedia Sa Frame format conversion method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1494469A2 (en) * 2003-06-30 2005-01-05 Kabushiki Kaisha Toshiba Television receiver and control method thereof
EP1494469A3 (en) * 2003-06-30 2007-09-19 Kabushiki Kaisha Toshiba Television receiver and control method thereof
WO2005096624A1 (en) * 2004-03-01 2005-10-13 Thomson Licensing S.A. Non-linear aspect ratio conversion

Also Published As

Publication number Publication date
JP2001292387A (en) 2001-10-19

Similar Documents

Publication Publication Date Title
US7064790B1 (en) Adaptive video data frame resampling
AU2003248047B2 (en) Method and video processing unit for processing a video signal
JP3855761B2 (en) Image signal processing apparatus and method
US6697122B2 (en) Apparatus for adaptively processing an externally input video signal in digital television
JP4119092B2 (en) Method and apparatus for converting the number of frames of an image signal
JP2008098691A (en) Video processing apparatus
JP2946340B2 (en) Image signal interpolation circuit
JP3522273B2 (en) Adaptive letterbox detector
JP3972938B2 (en) Display device
JP3594596B2 (en) Letterbox display control
WO2001078384A1 (en) Image processing device
JP2869844B2 (en) Image signal processing device having frame number conversion function
JP2005026885A (en) Television receiver and its control method
US6385250B1 (en) Image processing apparatus and image processing method
JPH11266440A (en) Scanning conversion circuit for image signal and image decoder
JP4256180B2 (en) Video signal processing apparatus and video signal processing method
JP4035808B2 (en) Moving image scanning structure conversion apparatus and moving image scanning structure conversion method
US7495706B2 (en) Video signal setting device for performing output setting to a display device
JP3617088B2 (en) Television receiver
JP2621615B2 (en) High-definition television receiver
KR20020054933A (en) Image processing apparatus capable of changing active size and method for changing the active size thereof
JP4305480B2 (en) Television receiver, television receiving method, image signal processing apparatus, image signal processing method, motion vector detection method
JP2001103433A (en) Scanning double-speed signal output method
JP2004236353A (en) Television receiver
JPH03179890A (en) Television receiver

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
122 Ep: pct application non-entry in european phase