JPH077660A - Method for conversion of video signal system - Google Patents
Method for conversion of video signal systemInfo
- Publication number
- JPH077660A JPH077660A JP5168981A JP16898193A JPH077660A JP H077660 A JPH077660 A JP H077660A JP 5168981 A JP5168981 A JP 5168981A JP 16898193 A JP16898193 A JP 16898193A JP H077660 A JPH077660 A JP H077660A
- Authority
- JP
- Japan
- Prior art keywords
- input
- pixel
- output
- video signal
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0112—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/012—Conversion between an interlaced and a progressive signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/84—Television signal recording using optical recording
- H04N5/87—Producing a motion picture film from a television signal
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Television Systems (AREA)
Abstract
Description
【0001】[0001]
【産業上の利用分野】本発明は、ビデオ信号をフィルム
映像に変換することに関し、さらに詳しくは、60Hz
・2:1インターレース方式の入力ビデオ信号を24H
z・1:1方式の出力ビデオ信号に変換するビデオ信号
の変換方法に関する。FIELD OF THE INVENTION This invention relates to converting a video signal into a film image, and more particularly 60 Hz.
・ 2: 1 interlaced input video signal 24H
The present invention relates to a video signal conversion method for converting an output video signal of the z · 1: 1 system.
【0002】[0002]
【従来の技術】ここ数年来、電子ビーム記録(EBR)シス
テムを使用してビデオ信号をフィルム映像に変換するこ
とが可能になっている。このシステムを使用して、60
Hz(60フィールド/秒)・2:1インターレース方
式のビデオ信号HDVS(HighDefinition Video Signa
l)を24Hz{24フレーム(コマ)/秒}のフィル
ム映像に変換する場合には、まず、上記60Hzビデオ
信号から24コマ/秒に対応するビデオ信号を作成す
る。次に、作成された24コマ/秒のビデオ信号が電子
ビーム記録装置を駆動するのに用いられ、その結果、フ
ィルム上に24Hzコマ(1秒間に24コマ)が記録さ
れる。このシステムでは、図1に示す「ドロップフィー
ルド」処理がフレームレート変換処理用として使用され
ている。2. Description of the Related Art Over the last few years, it has been possible to convert a video signal into a film image using an electron beam recording (EBR) system. 60 using this system
Hz (60 fields / second) 2: 1 interlaced video signal HDVS (High Definition Video Signa)
When converting l) into a film image of 24 Hz {24 frames (frames) / second}, first, a video signal corresponding to 24 frames / second is created from the 60 Hz video signal. The produced 24 fps video signal is then used to drive the electron beam recorder, resulting in 24 hps (24 fps) recorded on the film. In this system, the "drop field" processing shown in FIG. 1 is used for the frame rate conversion processing.
【0003】図1は、24Hzフィルムの4コマA,
B,C,D分と、この4コマA,B,C,Dを作成する
ために用いられる符号1〜10で示す10個の60Hz
ビデオ信号のフィールド(以下、必要に応じて、単にビ
デオフィールドという)との時間関係を描いている。図
1の矢印に示すように、ビデオフィールドの対1,2と
3,4とは、それぞれ、コマAとコマBとを作成するた
めに結合され、この場合において、奇数フィールドであ
るビデオフィールド5は捨てられる。同様にして、ビデ
オフィールドの対6,7はコマCを作成するのに結合さ
れ、ビデオフィールド対8,9はコマDを作成するのに
結合される。偶数フィールドであるビデオフィールド1
0は捨てられる。このようにして完全な1つの変換サイ
クルが終了する。FIG. 1 shows 4 frames A of a 24 Hz film,
B, C, D and ten 60 Hz numbers 1 to 10 used to create these four frames A, B, C and D
A time relationship with a field of a video signal (hereinafter, simply referred to as a video field, if necessary) is drawn. As indicated by the arrows in FIG. 1, the video field pairs 1, 2 and 3, 4 are combined to create a frame A and a frame B, respectively, in this case the video field 5 which is an odd field. Is thrown away. Similarly, video field pair 6, 7 is combined to create frame C, and video field pair 8, 9 is combined to create frame D. Video field 1 which is an even field
0 is discarded. This completes one complete conversion cycle.
【0004】図1から分かるように、この「ドロップフ
ィールド」処理では、奇数フィールドと偶数フィールド
とが常に1つ置きに(交互に)要求されるというビデオ
信号の要請により、コマA,Bに比較して、コマC,D
のビデオフィールドのタイミングが本来的に反転してい
る。しかし、ビデオフィールドの対(つい)毎にフィル
ムに記録され、かつ同時に映出されるので、この時間反
転は、最終的な製品では、(たとえ、フィルムに記録す
る前の24Hzビデオ信号のモニタ映像上において問題
があるとしても)何の違和感も与えない。As can be seen from FIG. 1, in this "drop field" processing, a comparison is made between frames A and B due to the request of a video signal that an odd field and an even field are always requested every other (alternately). Then, the tops C and D
The video field timing of is originally inverted. However, since each pair of video fields is recorded on the film and displayed at the same time, this time reversal occurs in the final product (even on the monitor image of the 24 Hz video signal before recording on film). I don't feel any discomfort.
【0005】図1に示した「ドロップフィールド」処理
は、大ざっぱな標準変換形式であり、この標準変換方式
では、元の60Hzビデオ信号のうち5番目毎のフィー
ルドの消失により12Hzの激しい震動(judder、以
下、ジャダーという)成分が存在する。また、動解像度
の劣化が存在する、すなわち、時間的に(時間軸上で)
変位(オフセット)されたフィールドがフィルムの各コ
マを作成するために結合されるので、動く対象物の輪郭
ににじみが現れる。このように、「ドロップフィール
ド」処理は、時間範囲の大部分においては適切な映像品
質を与えるものであるが、フィルム映写機によって映出
される動きには、24Hzの映像に12Hzのジャダー
が含まれることになるので品位が劣る、すなわち、動解
像度が劣化する。The "drop field" process shown in FIG. 1 is a rough standard conversion format in which the 12 Hz violent vibration (judder) occurs due to the loss of every fifth field of the original 60 Hz video signal. , Hereinafter referred to as judder). In addition, there is deterioration of the dynamic resolution, that is, temporally (on the time axis).
Since the displaced fields are combined to create each frame of film, bleeding appears in the contours of moving objects. Thus, while the "drop field" process provides adequate video quality for most of the time range, the motion projected by the film projector must include 12Hz judder in the 24Hz video. Therefore, the quality is inferior, that is, the dynamic resolution is deteriorated.
【0006】ビデオ信号方式変換に使用される他の周知
の技術は、2次元垂直軸/時間軸補間処理技術である。
この技術は、図2に図式的に示すように、625/50
/2:1(625本/フレーム,50Hz,2:1イン
ターレース)のビデオ信号を525/60/2:1ビデ
オ信号に変換するビデオ信号方式変換技術である。Another well-known technique used for video signal format conversion is a two-dimensional vertical / temporal interpolation processing technique.
This technique, as shown schematically in FIG.
This is a video signal system conversion technology for converting a video signal of / 2: 1 (625 lines / frame, 50 Hz, 2: 1 interlace) into a 525/60/2: 1 video signal.
【0007】図2の「×」印は、この垂直軸/時間軸
(V/T)平面上の625/50方式の画素を示してい
る。このV/T平面では、時間軸に沿う画素の連続垂直
列が奇数フィールドと偶数フィールドとで交互に表示さ
れる所定列に対応する画素を表すようになっている。
「○」印は、525/60方式の各画素を示している。The mark "x" in FIG. 2 indicates a pixel of the 625/50 system on the vertical axis / time axis (V / T) plane. On this V / T plane, successive vertical columns of pixels along the time axis represent pixels corresponding to predetermined columns that are alternately displayed in odd and even fields.
The mark “◯” indicates each pixel of the 525/60 system.
【0008】同図の点線で示すように、所要の各出力画
素は垂直軸/時間軸平面上の出力画素位置を囲む4個の
入力画素から作成される。すなわち、出力画素は、4個
の入力画素のそれぞれの値に、それぞれ重み付け係数
(factor)を乗算した後、それら重み付けされた各値を
加算することによって得られる。(なお、補間特性をよ
り良い近似とするためには、各出力画素を作成する際に
さらに多数個の画素群を使用すればよい。例えば、図2
上実線によって境界付けされた16個の入力画素を使用
するなどである。)As shown by the dotted line in the figure, each required output pixel is created from four input pixels surrounding the output pixel position on the vertical axis / time axis plane. That is, the output pixel is obtained by multiplying the respective values of the four input pixels by the respective weighting factors, and then adding the respective weighted values. (Note that in order to obtain a better approximation of the interpolation characteristic, a larger number of pixel groups may be used when creating each output pixel. For example, FIG.
Use 16 input pixels bounded by the upper solid line, and so on. )
【0009】各重み付け係数は、出力画素位置から対応
する入力画素位置までの垂直軸・時間軸の変位に基づい
て決定される。したがって、出力画素位置に垂直軸時間
軸上で近い位置にある入力画素ほど、遠い位置にある入
力画素よりも、より大きく出力画素値に寄与する。この
ような2次元垂直軸/時間軸補間処理は、所要の重み付
け係数(この係数は上述のように出力画素位置によって
変わる。)に対応する係数(coefficient)を有する2次
元デジタルフィルタを用いて行うことができる。Each weighting factor is determined based on the displacement of the vertical axis and time axis from the output pixel position to the corresponding input pixel position. Therefore, an input pixel located closer to the output pixel position on the vertical axis time axis contributes more to the output pixel value than an input pixel located far from the output pixel position. Such two-dimensional vertical axis / time axis interpolation processing is performed using a two-dimensional digital filter having a coefficient corresponding to a required weighting coefficient (this coefficient changes depending on the output pixel position as described above). be able to.
【0010】上述した2次元垂直軸/時間軸補間処理は
ビデオ信号の方式変換処理として周知であるが、そのよ
うなリニア補間技術によって得られる結果は、入力ビデ
オ信号中に垂直軸・時間軸上の偽信号が現れるので、理
想的なものではない。このように、従来のリニア補間技
術では、好ましくない時間軸上のジャダー及び空間解像
度の損失が人工的に付加されてしまうという欠点を有し
ている。The above-mentioned two-dimensional vertical axis / time axis interpolation processing is well known as a method conversion processing of a video signal, and the result obtained by such a linear interpolation technique is in the input video signal on the vertical axis / time axis. This is not an ideal one, because the false signal of appears. As described above, the conventional linear interpolation technique has a drawback that unfavorable judder on the time axis and loss of spatial resolution are artificially added.
【0011】このような問題を解決するために、動き補
償時間軸補間技術を含む精巧な方式変換システムが提案
されている。60Hz・2:1インターレース方式のビ
デオ信号を24Hzのフィルム映像に変換するこの方式
は、下記の(i) 〜(iv)までの4過程を有している。(i)
の過程;入力フィールドにおける動きに基づいて複数の
入力60フィールド/秒・フィールドのうち1個または
3個から順次走査フレームを作成する過程。(ii)の過
程;時間的に近接した順次走査フレーム対(つい)間の
映像領域中の動きを検出する過程。(iii) の過程;10
個ずつの順次走査フレームから4個の24コマ/秒の出
力映像を作成する過程。ここで、出力映像の各画素は、
この出力映像とそれを作成するフレーム対との間の検出
された動きと時間不整合(misalignment)とに基づいて
出力画素から空間的に変位された順次走査フレームのそ
れぞれの対(つい)中の画素群から求められる。(iv)の
過程:フィルム上に出力フレームを記録する過程。この
ように4つの過程から、映像中の動きが解析され、各画
素の補間処理が動きの方向に沿って行われる。In order to solve such a problem, an elaborate system conversion system including a motion compensation time base interpolation technique has been proposed. This system for converting a 60 Hz 2: 1 interlaced video signal into a 24 Hz film image has the following four processes (i) to (iv). (i)
Process of creating a progressive scan frame from one or three of a plurality of input 60 fields / second fields based on movement in the input field. Process (ii): a process of detecting a motion in a video region between a pair of sequentially scanned frames which are temporally close to each other. Process of (iii); 10
The process of creating four 24 fps output images from each progressive scan frame. Here, each pixel of the output video is
In each pair of progressive scan frames spatially displaced from the output pixel based on the detected motion and temporal misalignment between this output image and the frame pair that creates it. It is calculated from the pixel group. Process (iv): A process of recording the output frame on the film. In this way, the motion in the video is analyzed from the four processes, and the interpolation processing of each pixel is performed along the motion direction.
【0012】60Hz・2:1インターレース方式のビ
デオ信号を24Hzのフィルム映像に変換するこの方式
は、規則「GB2231228A」に詳細に記載されて
いる。この方式による出力映像は、動解像度が保存さ
れ、かつ動きが非常に滑らかな最高の品質を有する。This system for converting a 60 Hz 2: 1 interlaced video signal into a 24 Hz film image is described in detail in the regulation "GB2231228A". The output image according to this method has the highest quality in which the moving resolution is preserved and the movement is very smooth.
【0013】[0013]
【発明が解決しようとする課題】しかしながら、この方
式は、(データ)処理量が膨大であるとともに、装置構
成が複雑かつ大規模で高価であるという問題があった。
上記したことから分かるように、方式変換技術において
は、処理の複雑性が比較的に小さくて、高品質映像が得
られる技術が要請されている。However, this system has a problem that the amount of (data) processing is enormous, and that the device configuration is complicated, large-scale and expensive.
As can be seen from the above, in the format conversion technology, there is a demand for a technology in which the processing complexity is relatively small and a high quality image can be obtained.
【0014】本発明はこのような課題を考慮してなされ
たものであり、時間軸上のジャダー(映像の激しい震
動)が回避されるとともに、動解像度の劣化がなく、そ
の上、垂直軸・時間軸上で偽信号が現れず、さらに、方
式変換過程における(データの)処理量が比較的に少な
くなり、また本発明を実施する装置の構成が簡単かつ小
規模で廉価なビデオ信号の方式変換方法を提供すること
を目的とする。The present invention has been made in consideration of such a problem, and avoids judder (violent vibration of the image) on the time axis, and does not deteriorate the dynamic resolution. A false signal does not appear on the time axis, the amount of processing (data) in the system conversion process is relatively small, and the configuration of the apparatus for carrying out the present invention is simple, small, and inexpensive. The purpose is to provide a conversion method.
【0015】[0015]
【課題を解決するための手段及び作用】本発明は、例え
ば、図7及び図10に示すように、2:1インターレー
ス方式の入力ビデオ信号を1:1方式の出力ビデオ信号
に変換するビデオ信号の方式変換方法において、上記入
力ビデオ信号のフィールド間の映像領域の動き度を評価
する過程(動き評価器1による処理過程)と、上記入力
信号のフィールド位置から時間的に変位(オフセット)
した位置での出力フレームを作成する過程(1次元フレ
ーム間補間器2、フィールド内補間器3または2次元垂
直軸/時間軸補間器4による処理過程)とを有し、上記
出力フレームの各画素が上記出力フレームに対応する上
記評価された動き度に応じて、(a)上記入力信号のフ
レーム間の1次元フレーム間補間処理により対応する画
素を得る過程(1次元フレーム間補間器2による処理過
程)、又は上記入力信号に時間的に近いフィールドでの
対応画素を得る過程(フィールド内補間器3による処理
過程)、及び(又は)(b)上記出力フレームに対応す
る上記評価された動き度に応じて、上記入力信号のフィ
ールド間の2次元垂直軸/時間軸補間処理により対応す
る画素を得る過程(2次元垂直軸/時間軸補間器4によ
る処理過程)により作成されるようにしたものである。According to the present invention, for example, as shown in FIGS. 7 and 10, a video signal for converting an input video signal of 2: 1 interlace system into an output video signal of 1: 1 system. In the method of converting the input video signal, the step of evaluating the degree of motion of the video area between the fields of the input video signal (processing step by the motion evaluator 1) and the temporal displacement (offset) from the field position of the input signal
And a step of creating an output frame at the selected position (processing step by the one-dimensional inter-frame interpolator 2, the intra-field interpolator 3, or the two-dimensional vertical axis / time axis interpolator 4). According to the evaluated degree of motion corresponding to the output frame, (a) obtaining a corresponding pixel by one-dimensional inter-frame interpolation processing between frames of the input signal (processing by the one-dimensional inter-frame interpolator 2) Process), or a process of obtaining a corresponding pixel in a field temporally close to the input signal (processing process by the intra-field interpolator 3), and / or (b) the evaluated motion degree corresponding to the output frame. According to the process of obtaining the corresponding pixel by the two-dimensional vertical axis / time axis interpolation processing between the fields of the input signal (processing step by the two-dimensional vertical axis / time axis interpolator 4). In which it was to be created.
【0016】このように、出力画素を作成する2つの異
なる方法の動き適応型結合処理が出力フレームの画素を
作成するために用いられる。これによって、入力フィー
ルド位置から時間的に変位した位置に存在する出力フレ
ームの画素を作成することができる。出力フレームは入
力フレームに対して時間的に変位し(ずれ)ているの
で、全ての出力画素を作成するために上記2つの方法の
うちの1つまたは両方を使用することにより良好な結果
を得ることができる。全ての出力フレームが同じ量だけ
時間軸上で入力フレームに最も近い時間軸上の変位の差
を有しているときに、最良の結果が得られ、これによっ
て出力フレーム間の映像品質の揺らぎが回避される。例
えば、60Hz・2:1インターレース方式の入力信号
をフィルム記録用の24Hz・1:1方式の出力信号に
変換するときには、出力フレームの画素が時間軸上で最
も近い位置にある入力フィールドからその入力フィール
ド周期の1/4だけ変位した各位置で作成される。Thus, two different methods of creating an output pixel, the motion adaptive combining process, are used to create the pixels of the output frame. As a result, it is possible to create the pixels of the output frame existing at the position displaced in time from the input field position. Since the output frame is displaced (shifted) in time with respect to the input frame, good results are obtained by using one or both of the above two methods to create all output pixels. be able to. Best results are obtained when all output frames have the same amount of time-based displacement difference on the time axis as the input frame, which results in fluctuations in video quality between output frames. Avoided. For example, when converting an input signal of 60 Hz 2: 1 interlace system to an output signal of 24 Hz 1: 1 system for film recording, the pixel of the output frame is input from the input field closest to the time axis. It is created at each position displaced by ¼ of the field period.
【0017】出力画素を作成する上記2つの方法(1次
元内部フレーム補間処理及び2次元垂直軸/時間軸補間
処理、又は入力フィールドに時間的に近接した対応画素
及び2次元垂直軸/時間軸補間処理による対応画素の複
写により得る方法)により作成される上記出力画素に対
する相対的な寄与率は、出力画素に対応する映像領域中
の評価された動き度に応じたものにされる。全ての映像
が静止映像である場合、出力画素は1次元フレーム間補
間処理のみにより、又は入力フィールドに時間的に近接
した対応画素(入力フィールドに最も近接した画素「最
近接フィールド置換」が好ましい。)の複写処理のみに
より最良の結果が得られ、これによれば、2次元垂直軸
/時間軸補間処理に付随する垂直軸解像度の劣化が避け
られる。また逆に、最大動き映像の領域である場合に
は、2次元垂直軸/時間軸補間処理のみで良好な動き描
写が得られる。これらの両極端の間の動きに対しては出
力画素を作成する際に、評価された動き度による重み付
けを行う。例えば、出力画素の値は、式(1−K)p1
+Kp2 または(1−K)p0 +Kp2 で与えられる。
ここで、p1 は1次元フレーム間補間処理により得られ
る対応画素の値、p2は2次元垂直軸/時間軸補間処理
による得られる対応画素の値、p0 は上記時間的に入力
フレームに近い対応する画素の値、Kは評価された動き
度がゼロの場合に0値を評価された動き度が予め定めら
れたレベルを超えた場合に1値をとる値にされる。The above-mentioned two methods of creating an output pixel (a one-dimensional internal frame interpolation process and a two-dimensional vertical axis / time axis interpolation process, or a corresponding pixel temporally close to an input field and a two-dimensional vertical axis / time axis interpolation process) The relative contribution rate to the output pixel created by copying the corresponding pixel by processing) is made to correspond to the evaluated degree of motion in the video area corresponding to the output pixel. When all the images are still images, the output pixel is preferably only the one-dimensional inter-frame interpolation process or the corresponding pixel that is temporally close to the input field (the pixel closest to the input field "closest field replacement"). The best result is obtained only by the copying process of 1), which avoids the deterioration of the vertical resolution associated with the two-dimensional vertical / temporal interpolation process. On the contrary, in the case of the area of the maximum motion video, good motion description can be obtained only by the two-dimensional vertical axis / time axis interpolation processing. The motion between these two extremes is weighted by the evaluated degree of motion when the output pixel is created. For example, the value of the output pixel is the expression (1-K) p 1
+ Kp 2 or (1−K) p 0 + Kp 2 .
Here, p 1 is the value of the corresponding pixel obtained by the one-dimensional inter-frame interpolation processing, p 2 is the value of the corresponding pixel obtained by the two-dimensional vertical axis / time axis interpolation processing, and p 0 is the temporally input frame. The value of the nearest corresponding pixel, K, is set to a value of 0 when the evaluated degree of motion is zero and a value of 1 when the evaluated degree of motion exceeds a predetermined level.
【0018】1次元内部フレーム補間処理に対して1つ
置きに用いられる最近接フィールド置換処理では、後者
の補間処理の方が、入力信号中の雑音を減少させるので
好ましい。この場合に、上記出力フレーム画素が(a)
上記入力信号のフレーム間の1次元内部フレーム補間処
理により得られる対応画素を得る過程、(b)上記入力
信号のフィールド間の2次元垂直軸/時間軸補間処理に
より得られる対応画素を得る過程のうち少なくとも一方
の過程またはこれらの組み合わせにより作成される。In the nearest field replacement process used every other one-dimensional internal frame interpolation process, the latter interpolation process is preferable because it reduces noise in the input signal. In this case, the output frame pixel is (a)
A step of obtaining a corresponding pixel obtained by the one-dimensional internal frame interpolation processing between the frames of the input signal, and (b) a step of obtaining a corresponding pixel obtained by the two-dimensional vertical axis / time axis interpolation processing between the fields of the input signal. It is created by at least one of these processes or a combination thereof.
【0019】1次元フレーム間補間処理は、単純には、
出力フレーム位置に時間軸上で近い入力フレームの所要
の出力画素に対応する入力フレームの値の平均処理によ
り行われる。しかしながら、入力画素値は出力画素位置
からの時間軸上の変位に応じて重み付けされているほう
が好ましい。The one-dimensional inter-frame interpolation processing is simply
This is performed by averaging the values of the input frame corresponding to the required output pixels of the input frame that is close to the output frame position on the time axis. However, it is preferable that the input pixel value is weighted according to the displacement on the time axis from the output pixel position.
【0020】上述のビデオ信号をフィルムに変換する方
法を用いた場合には、結果として得られるフィルムを映
画として映出した場合、有効である。ただし、例えば、
そのフィルムから得ようとするものが広告撮影、静止映
像であるときには、コマから次のコマへの揺らぎ、滑ら
かな動き描写は、各コマが独立して用いられるのでそれ
ほど重要ではない。この場合、各コマを作成するのに用
いられる補間方法は、次のコマを作成するためのその方
法が良い動き描写、すなわち一定の映像品質が得られる
かどうかということをそれほど顧慮せずに、そのコマに
対して良い結果を与えるために選択できるWhen the above-described method of converting a video signal to film is used, it is effective when the resulting film is displayed as a movie. However, for example,
When the film is to be used for advertisement shooting or still images, the fluctuation from one frame to the next and the smooth motion description are not so important because each frame is used independently. In this case, the interpolation method used to create each frame does not care too much about whether that method for creating the next frame gives good motion depiction, i.e. whether a constant image quality is obtained, Can be selected to give good results for that piece
【0021】このような場合にこの発明では、例えば、
図7及び図10に示すように、2:1インターレース方
式の入力ビデオ信号を1:1方式の出力ビデオ信号に変
換するビデオ信号の方式変換方法において、上記入力ビ
デオ信号のフィールド間の映像領域の動き度を評価する
過程(動き評価器1による処理過程)と、各入力フィー
ルド位置に時間的に一致した位置の出力フレームを作成
する過程{上記各入力フィールドに時間的に一致してい
る不存在画素に対応する出力フレームの画素が、上記出
力フレームの画素に対応する上記評価された動き度に応
じて上記入力フィールドに時間軸上で一致した位置での
フィールド内補間処理(フィールド内補間器3による処
理)によって得られる対応画素、及び(又は)上記出力
フレームの画素に対応する上記評価された動き度に応じ
て上記入力信号のフレーム間の1次元補間処理(1次元
補間器2による処理)によって得られる対応画素のうち
のいずれか一方又はそれらの対応画素の結合により作成
される}と、上記入力信号のフィールド間の2次元垂直
的/時間的補間処理(2次元垂直軸/時間軸補間器4に
よる処理過程)により上記入力フィールド位置から時間
位置的に変位した位置の出力フレームを作成する過程と
を有するものである。In such a case, according to the present invention, for example,
As shown in FIGS. 7 and 10, in a method of converting a video signal system for converting an input video signal of a 2: 1 interlace system into an output video signal of a 1: 1 system, a video area between fields of the input video signal is converted. A process of evaluating the degree of motion (process by the motion evaluator 1) and a process of creating an output frame at a position that temporally coincides with each input field position {absence of temporal coincidence with each input field In-field interpolation processing (in-field interpolator 3) at a position where the pixel of the output frame corresponding to the pixel matches the input field on the time axis according to the evaluated degree of motion corresponding to the pixel of the output frame Processing of the input signal according to the corresponding pixel obtained by the processing according to (1) and / or the evaluated degree of motion corresponding to the pixel of the output frame. One of the corresponding pixels obtained by the one-dimensional interpolation processing between the frames (processing by the one-dimensional interpolator 2) or a combination of these corresponding pixels} and two-dimensional between the fields of the input signal A vertical / temporal interpolation process (process by the two-dimensional vertical axis / time axis interpolator 4) to create an output frame at a position displaced temporally from the input field position.
【0022】60Hz・2:1インターレース方式の入
力信号をフィルム記録を行うための24Hz・1:1方
式の出力信号に変換する場合において、例えば、各入力
フィールド位置に一致した時間軸上の位置において1つ
置きに出力フィールドが作成され、残りの出力フィール
ドは、時間軸上で隣合う入力フィールド間の時間軸上の
中間位置で作成される。出力フィールドが入力フィール
ド位置に対して変位を有している場合には、2次元垂直
軸/時間軸補間処理が良い結果をもたらす。しかし、出
力フレームが入力フィールド位置に一致している場合に
は、フィールド内及び1次元フレーム間補間処理の動き
適応型結合により入力フィールドの不存在走査線に対応
する画素を作成することが、2次元垂直軸/時間軸補間
処理によりも良い結果を与える。出力フレームの走査線
上の画素は一致した入力フィールドの走査線に対応して
いるので、入力フィールド画素を直接的に用いることが
できる。In the case of converting an input signal of the 60 Hz 2: 1 interlace system into an output signal of the 24 Hz 1: 1 system for film recording, for example, at a position on the time axis corresponding to each input field position. Every other output field is created, and the remaining output fields are created at intermediate positions on the time axis between adjacent input fields on the time axis. When the output field has a displacement with respect to the input field position, the two-dimensional vertical axis / time axis interpolation process gives good results. However, if the output frame coincides with the position of the input field, it may be possible to create a pixel corresponding to a non-existing scan line of the input field by motion adaptive combination of intra-field and one-dimensional inter-frame interpolation processing. The dimensional vertical axis / time axis interpolation process also gives good results. Since the pixels on the scan lines of the output frame correspond to the scan lines of the matched input field, the input field pixels can be used directly.
【0023】入力フィールドに一致しているフレームに
対して、補間処理の各方法により出力画素に対する比例
配分の寄与率は評価された動き度による。全てが静止映
像領域である場合、出力画素の作成は、可能な限り垂直
軸方向の情報を保持できる1次元フレーム間補間処理の
みにより行われる。これとは逆に、全てが最大動きを有
する動き映像領域である場合、出力画素の作成は、時間
軸上で一致した入力フィールドに良好な結果を与えるフ
ィールド内補間処理のみでよい。これら両極端の間の動
きに対してはこれら2つの方法を結合して用いればよ
い。上記出力画素が入力フィールドに時間的に一致して
いる上記出力フレームの各画素の値は、例えば、式(1
−K)p1 +Kp3 で与えられる。ここで、p1 は1次
元フレーム間補間処理により得られる対応画素の値、p
3 は時間的に入力フィールドに一致したフィールド内補
間処理により得られる対応画素の値、Kは評価された動
き度がゼロの場合に0値を評価された動き度が予め定め
られたレベルを超えた場合に1値をとる値にされる。With respect to the frame matching the input field, the contribution ratio of the proportional distribution to the output pixel by each method of the interpolation processing depends on the evaluated degree of motion. When all are still image areas, output pixels are created only by one-dimensional inter-frame interpolation processing that can hold information in the vertical axis direction as much as possible. On the contrary, when all are the moving image areas having the maximum movement, the output pixels may be created only by the intra-field interpolation processing that gives a good result to the input fields matched on the time axis. For movement between these two extremes, these two methods may be combined and used. The value of each pixel of the output frame in which the output pixel temporally corresponds to the input field can be calculated by
-K) is given by p 1 + Kp 3. Here, p 1 is the value of the corresponding pixel obtained by the one-dimensional inter-frame interpolation processing, p 1
3 is the value of the corresponding pixel obtained by the intra-field interpolation processing that temporally matches the input field, and K is 0 when the evaluated motion degree is zero, and the evaluated motion degree exceeds the predetermined level. If it does, it takes a value of 1.
【0024】[0024]
【実施例】以下、本発明ビデオ信号の方式変換方法の一
実施例についてこれを適用した装置との関係において図
面を参照して説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of a video signal format conversion method of the present invention will be described below with reference to the drawings in relation to an apparatus to which the method is applied.
【0025】図3の上部には、24Hzフィルムの4個
のフレーム(コマ)A,B,C,Dと、60Hz・2:
1インターレース方式のビデオ信号の10個のフィール
ドとの間の時間関係(すなわち、10個のフィールドか
らフィルムの4コマA,B,C,Dが作成される時間関
係)が示されている。同図から分かるように、このビデ
オフィールドには、符号1〜10までの奇数フィールド
(O)と偶数フィールド(E)とが交互に存在する。図
3の中央部には、垂直軸/時間軸(V/T)平面上のフ
ィールド1〜10までの60Hzビデオ信号の画素が示
されている。同様に、図3の下部には、垂直軸/時間軸
平面上の24Hz・1:1方式のビデオ信号の所要の画
素を示している。なお、24Hz・1:1方式のビデオ
信号は、フィルムのコマA,B,C,Dを形成するため
にフィルムに書き込まれる信号である。In the upper part of FIG. 3, four frames (frames) A, B, C, D of 24 Hz film and 60 Hz / 2:
A time relationship between ten fields of a 1-interlaced video signal (that is, a time relationship in which four frames A, B, C, D of a film are created from the ten fields) is shown. As can be seen from the figure, in this video field, odd-numbered fields (O) and even-numbered fields (E) of reference numerals 1 to 10 are alternately present. In the center of FIG. 3, pixels of a 60 Hz video signal in fields 1 to 10 on the vertical / time axis (V / T) plane are shown. Similarly, the lower part of FIG. 3 shows the required pixels of a 24 Hz 1: 1 format video signal on the vertical / time axis plane. The 24 Hz 1: 1 video signal is a signal written on the film to form the film frames A, B, C, and D.
【0026】図3から分かるように、1つ置きのフィル
ムコマA,Cなどが、それぞれ60Hzビデオフィール
ドと一緒に並べられている。すなわち、1つ置きのフィ
ルムコマは、ビデオフィールド1に対応するコマAの時
間位置、ビデオフィールド6に対応するコマCの時間位
置など、各入力フィールドに時間軸上で一致している。
出力コマ上の画素についての1つ置きの走査線は、入力
フィールドの走査線に一致している。このため、入力フ
ィールド画素を出力コマ画素として直接利用することが
できる。出力コマ上の画素の他の走査線は、入力フィー
ルド上で一致する走査線がない(以下、このような場合
には、必要に応じて、出力コマ上の画素の他の走査線
は、入力フィールド上の不存在走査線に対応していると
いう。)。この場合、出力コマの画素を作成するために
補間処理が必要である。残りのフィルムコマB,Dなど
は、ビデオフィールド3,8などのように時間的に中間
部分を有している。As can be seen in FIG. 3, every other film frame A, C, etc., is aligned with a 60 Hz video field. That is, every other film frame coincides with each input field on the time axis, such as the time position of the frame A corresponding to the video field 1 and the time position of the frame C corresponding to the video field 6.
Every other scan line for a pixel on the output frame corresponds to a scan line in the input field. Therefore, the input field pixel can be directly used as the output frame pixel. The other scan line of the pixel on the output frame has no matching scan line on the input field (hereinafter, in such a case, the other scan line of the pixel on the output frame is It corresponds to the non-existent scan line on the field). In this case, interpolation processing is necessary to create the pixels of the output frame. The remaining film frames B, D, etc. have an intermediate portion in time like the video fields 3, 8, etc.
【0027】図7は、60Hz・2:1入力ビデオ信号
から図3に示した時間配列に対応する出力画素を作成す
るために使用される装置の実施例の構成を示している。
この時間配列と図7の装置によって実行される変換方法
は、結果として得られる24Hzフィルムが、選択され
た静止画から映像画面を作成するために使用されるとき
に、特に有効である。図7に示す装置は、同図に示すよ
うに相互接続された動き評価器1、1次元中間フレーム
補間器2(以下、必要に応じて、単に、補間器2とい
う。)、内部フィールド補間器3(以下、必要に応じ
て、単に、補間器3という。)、2次元垂直軸/時間軸
補間器4(以下、必要に応じて、単に、補間器4とい
う。)、2個の乗算器5a,5b及び2個のセレクタ
8,9を有している。セレクタ8,9及び補間器4は、
コントローラ7の制御の下に動作する。図7に点線で示
す制御リンクが、コントローラ7と補間器2,3との間
に接続されているが、これは少なくとも以下に説明する
変換動作に対しては本質的なものではない。FIG. 7 shows the configuration of an embodiment of the apparatus used to create the output pixels corresponding to the time alignment shown in FIG. 3 from a 60 Hz 2: 1 input video signal.
This time alignment and the conversion method implemented by the apparatus of FIG. 7 is particularly effective when the resulting 24 Hz film is used to create a video screen from selected still images. The apparatus shown in FIG. 7 includes a motion estimator 1, a one-dimensional intermediate frame interpolator 2 (hereinafter, simply referred to as an interpolator 2 if necessary), an internal field interpolator, which are interconnected as shown in FIG. 3 (hereinafter, simply referred to as interpolator 3 if necessary), two-dimensional vertical axis / time axis interpolator 4 (hereinafter, simply referred to as interpolator 4, if necessary), and two multipliers It has 5a, 5b and two selectors 8, 9. The selectors 8 and 9 and the interpolator 4 are
It operates under the control of the controller 7. A control link, shown in phantom in FIG. 7, is connected between the controller 7 and the interpolators 2, 3 but this is not essential for at least the conversion operation described below.
【0028】この応用例において、映画の品質はそれほ
ど重要ではない。そのため、各出力コマの作成に際し
て、コマからコマへの動き描写または揺らぎのような映
像品質についてそれほど顧慮せずに、良好な結果が得ら
れる。図3に示した入力フィールド位置の中間部分にあ
る出力コマは、図7中の補間器4による2次元垂直軸/
時間軸補間処理により作成される。図3に示すように、
入力フィールドに一致している出力コマの画素の1つ置
き走査線は、1次元中間フレーム補間器2(図7参照)
による動き適応型結合処理と補間器3における内部フィ
ールド補間とによって作成され、上述したように、入力
フィールド走査線がこれら出力コマの他の走査線として
直接的に用いられる。In this application, the quality of the movie is not so important. Therefore, when creating each output frame, a good result can be obtained without paying much attention to the image quality such as the motion description or the fluctuation from frame to frame. The output frame in the middle of the input field position shown in FIG. 3 is the two-dimensional vertical axis /
It is created by time axis interpolation processing. As shown in FIG.
Every other scan line of the pixels of the output frame that matches the input field is a one-dimensional intermediate frame interpolator 2 (see FIG. 7).
Created by the motion-adaptive combining process according to (4) and internal field interpolation in the interpolator 3, and as described above, the input field scan lines are directly used as the other scan lines of these output frames.
【0029】映像領域中の評価された動き度に基づく1
次元中間フレーム補間処理と内部フィールド補間処理に
よる出力画素に対する比例配分が、作成しようとする出
力画素に対応する。この概念は、最大限、垂直軸情報を
保持しているもっぱら静止映像領域上の中間フレームの
補間処理に用いられるとともに、最大の動きが存在する
ときには内部フィールド補間処理にも用いられる。これ
らの両極端の間においては、2種類の補間処理について
の重み付け結合が用いられる。この重み付けは、動きの
評価度(以下、必要に応じて、単に動き度という。)に
より決定される。1 based on the estimated degree of motion in the image area
The proportional distribution to the output pixels by the dimensional intermediate frame interpolation processing and the internal field interpolation processing corresponds to the output pixels to be created. This concept is used for the interpolation processing of the intermediate frame which holds the vertical axis information exclusively to the maximum, and also for the internal field interpolation processing when the maximum motion exists. Between these two extremes, weighted combinations for two types of interpolation processing are used. This weighting is determined by the degree of motion evaluation (hereinafter, simply referred to as the degree of motion).
【0030】以下、動き評価器1によって決定されるこ
の動き度について図4〜図6を参照して説明する。The degree of motion determined by the motion evaluator 1 will be described below with reference to FIGS.
【0031】60Hz・2:1インターレース方式入力
ビデオ信号が動き評価器1に供給される。この動き評価
器1において、この入力ビデオ信号の入力フィールド毎
に動き評価係数Kの束が作成される。この動き評価係数
Kは、そのフィールドの不存在走査線の各画素位置に相
当するものである。この場合、図4に示すように、前の
フィールドと次のフィールドとの間の内部フレーム差係
数が、まず作成される。各点における所要の動き評価係
数Kを作成するために、前のフィールドと次のフィール
ドから内部フレーム差係数の束が次のようにして作成さ
れる。A 60 Hz 2: 1 interlaced input video signal is supplied to the motion estimator 1. In this motion estimator 1, a bundle of motion evaluation coefficients K is created for each input field of this input video signal. The motion evaluation coefficient K corresponds to each pixel position of the non-existing scanning line of the field. In this case, as shown in FIG. 4, the internal frame difference coefficient between the previous field and the next field is first created. In order to create the required motion estimation coefficient K at each point, a bundle of internal frame difference coefficients is created from the previous field and the next field as follows.
【0032】ΔU (画素,現在の走査線,現在のフィー
ルド)=|Y(画素,現在の走査線,次のフィールド)
−Y(画素,現在の走査線,前のフィールド)|Δ U (pixel, current scan line, current field) = | Y (pixel, current scan line, next field)
-Y (pixel, current scan line, previous field) |
【0033】ここで、ΔU は未正規化の差係数の束、Y
は3次元映像に対応する輝度の束である。Where Δ U is a bundle of unnormalized difference coefficients, Y
Is a bundle of luminance corresponding to a 3D image.
【0034】未正規化の差係数は、低輝度領域における
変化の重要性を調節するために以下のように正規化され
る。The unnormalized difference coefficient is normalized as follows to adjust the significance of the change in the low intensity region.
【0035】ΔN (画素,現在の走査線,現在のフィー
ルド)=F (バーY(画素,現在の走査線))*ΔU
(画素,現在の走査線,現在のフィールド)Δ N (pixel, current scan line, current field) = F (bar Y (pixel, current scan line)) * Δ U
(Pixel, current scan line, current field)
【0036】ここで、ΔN は正規化差係数の束である。
バーYは中間フレームの平均輝度値であり、下記のよう
にして作成される。Here, Δ N is a bundle of normalized difference coefficients.
Bar Y is the average luminance value of the intermediate frame and is created as follows.
【0037】バーY(画素,現在の走査線)=(Y(画
素,現在の走査線,前のフィールド)+Y(画素,現在
の走査線,次のフィールド)/2 F(バーY)は正規化関数で、例えば、図5に示す特性
のように表される。すなわち、例えば、折点位置50を
超える明るさ領域における輝度差はその折点値よりも暗
い領域における輝度差に関してスケーリングされて小さ
くされ、このようにして輝度の全範囲における正規化が
行われる。Bar Y (pixel, current scan line) = (Y (pixel, current scan line, previous field) + Y (pixel, current scan line, next field) / 2 F (bar Y) is normal 5, which is expressed as the characteristic shown in Fig. 5. That is, for example, the luminance difference in the brightness region that exceeds the break point position 50 is scaled with respect to the luminance difference in the darker region than the break point value. It is reduced and thus normalization is performed over the entire range of luminance.
【0038】この後、差係数の束Δは、前のフィールド
差と一緒に3タップフィルタ(このフィルタの係数は、
例えば、1/4,1/2,1/4または0,1,0であ
る。)によって垂直軸方向にフィルタされる。このフィ
ルタにより、垂直軸方向の偽信号の問題が低減されると
ともに、特に、時間方向の偽信号の問題が低減される。After this, the bundle of difference coefficients Δ together with the previous field difference is a 3-tap filter (the coefficients of this filter are
For example, 1/4, 1/2, 1/4 or 0, 1, 0. ) Filter along the vertical axis. This filter reduces the problem of false signals in the vertical axis direction, and in particular reduces the problem of false signals in the time direction.
【0039】したがって、 ΔF (画素,現在の走査線,現在のフィールド)=ΔN
(画素,現在の走査線−1,前のフィールド)*C1 +
ΔN (画素,現在の走査線,現在のフィールド)*C2
+ΔN (画素,現在の走査線+1,前のフィールド)*
C1 Therefore, Δ F (pixel, current scan line, current field) = Δ N
(Pixel, current scan line -1, previous field) * C 1 +
Δ N (pixel, current scan line, current field) * C 2
+ Δ N (pixel, current scan line + 1, previous field) *
C 1
【0040】ここで、ΔF はフィルタされ正規化された
差係数の束である。C1 ,C2 はフィルタ係数であり、
2C1 +C2 =1とされ、単位直流利得が保持されてい
る。Where Δ F is a bundle of filtered and normalized difference coefficients. C 1 and C 2 are filter coefficients,
2C 1 + C 2 = 1 and the unit DC gain is held.
【0041】次に、5タップ×15タップまでのうちの
いずれかの垂直軸・水平軸フィールド内フィルタが用い
られて現在フィールド内の差係数値が滑らかにされる。
実際上、3タップ×3タップのフィルタで十分である。Next, any vertical axis / horizontal axis in-field filter of up to 5 taps × 15 taps is used to smooth the difference coefficient value in the current field.
In practice, a 3-tap × 3-tap filter is sufficient.
【0042】最後に、実際の動き評価係数を作成するた
め、非直線マッピング関数処理が関数γを用いて行わ
れ、それによって動き評価係数Kが作成される。 K(画素,現在の走査線)=γ(空間フィルタされたΔ
F (画素,現在の走査線))Finally, in order to create the actual motion evaluation coefficient, the non-linear mapping function process is performed using the function γ, thereby creating the motion evaluation coefficient K. K (pixel, current scan line) = γ (spatial filtered Δ
F (pixel, current scan line))
【0043】非直線関数γは図6に示すように定義され
る。すなわち、静止映像(ΔF が折点位置1より小さい
ときには静止映像として取り扱われる)に対してはKは
ゼロ値である。画面上の絵柄全てに動きが存在するとき
の映像(ΔF が折点位置2より大きいときで、以下、必
要に応じて全動き映像という。)に対してはKは1値で
ある。中間的な動きが存在するときの映像に対してはそ
の間の比例的な値になる。The non-linear function γ is defined as shown in FIG. That is, K is a zero value for a still image (when Δ F is smaller than the break point position 1, it is treated as a still image). K has a value of 1 for an image in which motion is present in all the patterns on the screen (when Δ F is larger than the folding point position 2, and hereinafter, it is referred to as a whole motion image as necessary). For an image when there is an intermediate motion, the value is proportional to that value.
【0044】このようにして、動き評価器1は各入力フ
ィールドに対する動き評価係数の束を作成する。各個々
の動き評価係数Kは、図4に示すように、そのフィール
ド中の不存在画素の位置に対応している。In this way, the motion estimator 1 creates a bundle of motion evaluation coefficients for each input field. Each individual motion evaluation coefficient K corresponds to the position of an absent pixel in that field, as shown in FIG.
【0045】図7を参照して既に説明したように、作成
しようとする出力画素に対応する動き評価係数に基づい
て、各入力フィールドに一致した出力フレームの1つ置
きの走査線上の画素(すなわち、一致入力フィールド上
の不存在画素に対応する画素)がそれぞれ補間回路2に
よる1次元中間フレーム補間処理および補間回路3によ
る1次元内部フィールド補間処理の結合によって作成さ
れる。出力画素に対応する動き評価係数Kの値は、時間
的に一致する入力フィールド上の出力画素位置に対応す
るK値として得られる。As already described with reference to FIG. 7, the pixels on every other scan line of the output frame (that is, on the basis of the motion evaluation coefficient corresponding to the output pixel to be created) on the other scanning line (that is, on the basis of the motion estimation coefficient). , A pixel corresponding to a non-existing pixel on the coincident input field) is created by combining the one-dimensional intermediate frame interpolation processing by the interpolation circuit 2 and the one-dimensional internal field interpolation processing by the interpolation circuit 3. The value of the motion evaluation coefficient K corresponding to the output pixel is obtained as the K value corresponding to the output pixel position on the input field that temporally matches.
【0046】図7例の装置に供給された60Hzビデオ
信号の各フィールドは、セレクタ8、補間器2〜4及び
上述した動き評価係数Kを出力する動き評価器1に供給
される。セレクタ8は、コントローラ7の制御の下に、
入力フィールド位置に対応する出力フレームをセレクタ
9の一方の入力端子に供給する。補間器4は入力フィー
ルド間の中間部分に対応するフレームを作成し、それら
をセレクタ9の他方の入力端子に供給する。コントロー
ラ7は、セレクタ8と補間器4から供給されるフレーム
をセレクタ9から交互に出力するように制御する。コン
トローラ7には、セレクタ8,9の動作タイミングと補
間器4の補間位置を制御するための入力60Hzに同期
した同期信号SYNCが供給されている。セレクタ9か
らは24Hz・1:1方式のビデオ信号が出力される。Each field of the 60 Hz video signal supplied to the apparatus of FIG. 7 is supplied to the selector 8, the interpolators 2 to 4 and the motion estimator 1 which outputs the motion evaluation coefficient K described above. The selector 8 is under the control of the controller 7,
An output frame corresponding to the input field position is supplied to one input terminal of the selector 9. The interpolator 4 creates frames corresponding to intermediate portions between the input fields and supplies them to the other input terminal of the selector 9. The controller 7 controls so that the frames supplied from the selector 8 and the interpolator 4 are alternately output from the selector 9. The controller 7 is supplied with a synchronization signal SYNC synchronized with the input 60 Hz for controlling the operation timing of the selectors 8 and 9 and the interpolation position of the interpolator 4. The selector 9 outputs a 24 Hz 1: 1 video signal.
【0047】次に補間器2〜4の補間処理動作について
説明する。Next, the interpolation processing operation of the interpolators 2 to 4 will be described.
【0048】図8Aは、補間器2により行われる1次元
中間フレーム補間処理の動作説明に供される線図であ
る。この図8Aには、垂直軸/時間軸平面上の入力画素
の束と,入力フィールドに時間軸上で一致した位置で作
成される出力24Hzフレームの所要の画素の一列が描
かれている。各所要の出力画素「○」は、図8A上の矢
線に示すように、前と次のフィールドにおける対応位置
に配されている2つの画素の間の補間結果として得られ
る。この補間結果の画素値は、前と次のフィールド上の
2つの画素の値の半値を加算して得られる。この方法に
よれば、周知のデジタルフィルタ技術を用いて出力画素
を連続的に作成することができる。FIG. 8A is a diagram for explaining the operation of the one-dimensional intermediate frame interpolation processing performed by the interpolator 2. In FIG. 8A, a bundle of input pixels on the vertical axis / time axis plane and a row of required pixels of an output 24 Hz frame created at a position matching the input field on the time axis are drawn. Each required output pixel “◯” is obtained as an interpolation result between two pixels arranged at corresponding positions in the previous and next fields, as shown by the arrow in FIG. 8A. The pixel value of this interpolation result is obtained by adding the half values of the values of the two pixels on the previous and next fields. According to this method, output pixels can be continuously created using a well-known digital filter technique.
【0049】このようにして、補間器2においては、1
次元中間フレーム補間による画素(入力フィールドに一
致する出力フレームの所要の画素に対応する画素)が作
成される。入力画素から出力画素を作成する際に採用さ
れる補間比は、補間器2によって作成される全ての画素
に対して(1/2):(1/2)になっている。この場
合、コントロールリンク(図7の点線)が動作に柔軟性
を補償するために準備されているが、コントローラ7に
よる上記補間器2の制御はそれほど厳格に行わなくても
よい。In this way, in the interpolator 2, 1
Pixels (pixels corresponding to the required pixels in the output frame that match the input field) are created by dimensional intermediate frame interpolation. The interpolation ratio used when creating the output pixel from the input pixel is (1/2) :( 1/2) for all the pixels created by the interpolator 2. In this case, a control link (dotted line in FIG. 7) is provided to compensate for flexibility in operation, but the controller 7 may not control the interpolator 2 very rigidly.
【0050】同様に、60Hzフィールドビデオ信号が
供給されるフィールド内補間器3は、入力フィールド位
置に一致した出力フレームについて、フィールド内補間
処理により所要の出力画素に対応する画素を作成する。
ここで、フィールド内補間処理には、デジタルフィルタ
を再度用いて出力画素位置の周辺の画素を比例配分的に
結合して補間画素を作成する処理も含まれる。例えば、
図8Bは、単一の入力フィールド中の画素、すなわち、
垂直軸/水平軸(V/H)において入力フィールドに一
致したフレームに対する所要の出力画素「○」の一列と
ともに、垂直/水平(V/H)平面上の単一入力フィー
ルドの画素「×」を示している。所要の出力画素は、そ
の出力画素のすぐ上下に存在する入力画素の(1/
2):(1/2)結合によって作成することができる。
この場合にも、コントロールリンク(図7の点線)が動
作に柔軟性を補償するために準備されているが、コント
ローラ7による上記補間器2の制御はそれほど厳格に行
わなくてもよい。Similarly, the intra-field interpolator 3 supplied with the 60 Hz field video signal creates a pixel corresponding to a required output pixel by the intra-field interpolation processing for the output frame which coincides with the input field position.
Here, the intra-field interpolation process also includes a process in which pixels around the output pixel position are proportionally combined by using a digital filter again to create an interpolation pixel. For example,
FIG. 8B shows the pixels in a single input field, ie,
The pixel "x" of a single input field on the vertical / horizontal (V / H) plane is displayed together with a row of required output pixels "○" for the frame matching the input field on the vertical / horizontal axis (V / H). Shows. The required output pixel is (1/1) of the input pixels immediately above and below the output pixel.
2): Can be created by (1/2) coupling.
In this case as well, the control link (dotted line in FIG. 7) is provided to compensate for the flexibility in the operation, but the controller 7 does not have to control the interpolator 2 very strictly.
【0051】もちろん、図8A,図8B例で使用した2
つの画素群よりも大きなサンプルの束を、各出力画素を
補間により作成する際に使用してもよい。この処理は、
単純には、補間器3中のデジタルフィルタのタップ数を
増加させ、そのフィルタ係数を出力画素位置と入力画素
位置との空間的時間的変位(オフセット)に応じて調整
するようにして行うことができる。Of course, 2 used in the example of FIGS. 8A and 8B
A bundle of samples larger than one pixel group may be used in creating each output pixel by interpolation. This process
Simply, the number of taps of the digital filter in the interpolator 3 is increased, and the filter coefficient is adjusted according to the spatial and temporal displacement (offset) between the output pixel position and the input pixel position. it can.
【0052】図3に示す入力フィールド位置に一致して
いるフレームの1つ置き走査線の最終出力画素を作成す
るために、所要の出力画素に対応する補間器2,3から
出力される画素がそれぞれ乗算器5a,5bに供給され
る。これらの画素には、乗算器5a,5bによりそれぞ
れ比(1−K):Kで重み付け処理がされる。Kは、動
き評価器1から供給される所要の出力画素についての動
き評価係数である。乗算器5a,5bの出力信号が加算
器6に供給され、それらが加算器6で加算された結果が
最終出力画素になる。Kは、全静止映像領域における値
0から最大動き映像領域(言い換えれば、予め決められ
ている閾値以上の動きの程度を有する領域)における値
1までの値をとる。したがって、全静止映像領域におけ
る最終出力画素は1次元中間フレーム補間処理のみで作
成でき、最大動き映像領域における最終出力画素はフィ
ールド内補間処理のみで作成できる。これら両極端の間
では、制御された遷移状態が発生する。In order to create the final output pixel of every other scan line of the frame corresponding to the input field position shown in FIG. 3, the pixel output from the interpolator 2, 3 corresponding to the required output pixel is They are supplied to the multipliers 5a and 5b, respectively. These pixels are weighted with the ratio (1-K): K by the multipliers 5a and 5b, respectively. K is a motion evaluation coefficient for the required output pixel supplied from the motion estimator 1. The output signals of the multipliers 5a and 5b are supplied to the adder 6, and the result obtained by adding them is the final output pixel. K ranges from a value of 0 in the entire still image area to a value of 1 in the maximum moving image area (in other words, an area having a degree of movement equal to or greater than a predetermined threshold). Therefore, the final output pixel in the entire still image area can be created only by the one-dimensional intermediate frame interpolation processing, and the final output pixel in the maximum motion image area can be created only by the intra-field interpolation processing. Between these two extremes, controlled transition states occur.
【0053】加算器6の出力画素はセレクタ8の一方の
入力端子に供給され、60Hz入力フィールドの画素が
セレクタ8の他方の入力端子に供給される。コントロー
ラ7の制御によりセレクタ8の出力には、入力画素の走
査線と加算器6を通じて供給される補間された画素の走
査線が交互に現れる。これによって、完全なフレームが
作成され、この作成されたフレームはセレクタ9に供給
される。The output pixel of the adder 6 is supplied to one input terminal of the selector 8, and the pixel of the 60 Hz input field is supplied to the other input terminal of the selector 8. Under the control of the controller 7, the scanning line of the input pixel and the scanning line of the interpolated pixel supplied through the adder 6 appear alternately in the output of the selector 8. As a result, a complete frame is created, and this created frame is supplied to the selector 9.
【0054】図3を参照して説明した1次元フレーム内
補間処理とフィールド間補間処理の動き適応結合処理
は、入力フィールド位置に一致した出力フレームの作成
にのみ使用される。しかしながら、図3に示すように、
出力フレームは1つ置きに2つの入力フィールドの間の
中間部分に位置している。これらの出力フレームは図7
の補間器4による2次元垂直軸/時間軸補間処理によっ
て作成される。図8Cの垂直軸/時間軸(V/T)平面
上には、入力画素と所要の出力画素の一列との間の関係
が描かれている。同図において、各出力画素は、各出力
画素位置の周辺の点線によって接続された3個の時間的
に連続するフィールドを構成する画素の比例配分的結合
によって作成される。この比例配分的結合は、出力画素
位置からの各入力画素の垂直軸・時間軸変位に基づいて
行われる。もちろん、各出力画素を作成する際に、図8
Cに示す4個の画素より多いたくさんのサンプルの束を
用いてもよい。例えば、図2に示した4個の時間的に連
続する入力フィールドの区間中の16個のサンプルの束
を利用すればよい。補間しようとする出力画素中の時間
軸上の位置はフィルタ係数を決定するが、それは、コン
トローラ7の制御により補間器4で制御される。The motion adaptive combining process of the one-dimensional intraframe interpolation process and the interfield interpolation process described with reference to FIG. 3 is used only for creating an output frame that matches the input field position. However, as shown in FIG.
Every other output frame is located in the middle part between two input fields. These output frames are shown in Figure 7.
It is created by the two-dimensional vertical axis / time axis interpolation processing by the interpolator 4. On the vertical axis / time axis (V / T) plane of FIG. 8C, the relationship between an input pixel and a row of required output pixels is depicted. In the figure, each output pixel is created by a proportional combination of the pixels that make up three temporally consecutive fields connected by a dotted line around each output pixel position. This proportional distribution is performed based on the vertical and time axis displacement of each input pixel from the output pixel position. Of course, when creating each output pixel, as shown in FIG.
Larger bundles of samples than the four pixels shown in C may be used. For example, a bundle of 16 samples in the section of the four temporally consecutive input fields shown in FIG. 2 may be used. The position on the time axis in the output pixel to be interpolated determines the filter coefficient, which is controlled by the interpolator 4 under the control of the controller 7.
【0055】補間器4の出力側はセレクタ9の他方の入
力端子に接続されている。コントローラ7はセレクタ8
から供給されるフレームと補間器4から供給されるフレ
ームを交互に選択するためにセレクタ9の切り換え動作
を制御する。このようにして、入力フィールド位置に一
致したフレームと入力フィールド位置の中間部分のフレ
ームが1つ置きにセレクタ9の出力側に現れ、24Hz
1:1方式の出力フレームが得られる。このデジタル信
号である出力フレームは、図示しないD/A変換器によ
りアナログ信号に変換される。このアナログ信号は、フ
ィルムに24Hz信号を記録するための図示しない電子
ビーム記録装置等のフィルム記録装置の駆動信号として
用いられる。The output side of the interpolator 4 is connected to the other input terminal of the selector 9. The controller 7 is the selector 8
The switching operation of the selector 9 is controlled in order to alternately select the frame supplied from the interpolator 4 and the frame supplied from the interpolator 4. In this way, every other frame corresponding to the input field position and the frame in the middle of the input field position appear on the output side of the selector 9, and the frequency of 24 Hz
A 1: 1 format output frame is obtained. The output frame which is the digital signal is converted into an analog signal by a D / A converter (not shown). This analog signal is used as a drive signal for a film recording device such as an electron beam recording device (not shown) for recording a 24 Hz signal on the film.
【0056】図7例の装置により実行される変換方法で
は、1つ置きフレームを作成するために異なった補間方
法を採用しているが、これにともなうコマから次のコマ
へ移る際の空間解像度の変化による映画品質の劣化はほ
とんど無視できる。しかしながら、各個々のフレームに
対して作成される良い映像品質は、特に半数のフレーム
が入力フィールド位置に対応しており、そして、これら
から選択されたフレームが宣伝広告用の静止映像を作成
するためのものである場合には、コマから次のコマに移
るときの揺らぎは問題にはならない。したがって、高品
質の静止映像が比較的単純な処理技術のみを利用する実
用的な装置により得られることになる。In the conversion method executed by the apparatus of FIG. 7, different interpolation methods are used to create every other frame, but the spatial resolution at the time of moving from one frame to the next is accompanied by this. The deterioration of the movie quality due to the change of is almost negligible. However, the good video quality created for each individual frame is because half the frames correspond to input field positions, and the frames selected from these create still images for advertising. If it is, the fluctuation when moving from one frame to the next does not matter. Therefore, high quality still images can be obtained with a practical device that utilizes only relatively simple processing techniques.
【0057】このようにして得られるフィルムが、映画
として、滑らかな動き描写として、そして静止画として
映し出されるときには、コマから次のコマに移る際の品
質が、この順序で要求される。このような場合、時間的
に最も近い入力フィールドから同じ量だけ変位した位置
でそれぞれ補間して出力フレームを得ることが好まし
い。この処理は図9に示されるように行われる。これ
は、図3の処理に比較して、出力フレームが時間軸上で
入力フィールド周期fの1/4周期だけずれる点が異な
る。この図9から分かるように、所要の出力画素は、時
間的に最も近い入力フィールドからそれぞれ±f/4周
期だけ変位(オフセット)している。このように構成す
ることにより、全ての出力フレームを、1次元フレーム
間補間処理及び2次元垂直軸/時間軸補間処理の動き適
応結合処理により良好な結果で得ることができる。図1
0はこの処理を行う装置の実施例を示している。When the film thus obtained is displayed as a movie, as a smooth motion description, and as a still image, the quality when moving from one frame to the next is required in this order. In such a case, it is preferable to obtain an output frame by interpolating at the positions displaced by the same amount from the temporally closest input field. This process is performed as shown in FIG. This differs from the processing of FIG. 3 in that the output frame is shifted by 1/4 cycle of the input field cycle f on the time axis. As can be seen from FIG. 9, the required output pixels are displaced (offset) by ± f / 4 periods from the input field that is closest in time. With this configuration, all output frames can be obtained with good results by the motion adaptive combination processing of the one-dimensional inter-frame interpolation processing and the two-dimensional vertical axis / time axis interpolation processing. Figure 1
Reference numeral 0 indicates an embodiment of an apparatus for performing this processing.
【0058】図10例の装置は、図に示すように相互接
続された動き評価器1、1次元中間フレーム補間器2、
2次元垂直軸/時間軸補間器4、2つの乗算器5a,5
b、及び加算器6を有している。補間器2,4はコント
ローラ7の制御の下に動作する。The apparatus of the example of FIG. 10 comprises a motion estimator 1, a one-dimensional intermediate frame interpolator 2, interconnected as shown in the figure.
Two-dimensional vertical axis / time axis interpolator 4, two multipliers 5a, 5
b, and an adder 6. The interpolators 2 and 4 operate under the control of the controller 7.
【0059】図10例装置の入力側に供給される60H
zビデオ信号のフィールドが動き評価器1と補間器2,
4に供給される。補間器2,4はそれぞれ1次元フレー
ム間補間処理と2次元垂直軸/時間軸補間処理により画
素を作成する。これらの画素は所要の出力24Hzフレ
ームを構成する画素に対応する。60Hzビデオ信号の
フィールドに対する補間器2,4の動作タイミングは、
60Hzフィールドに同期した同期信号SYNCが供給
されているコントローラ7によって制御される。補間器
2,4によって作成された画素は、動き評価器1によっ
て決定される出力画素に対応する動きの評価度に応じて
重み付けされ、その後に加算されて最終出力画素が作成
される。図10例装置の出力信号は、24Hz1:1方
式の信号である。FIG. 10: 60H supplied to the input side of the example device
The fields of the z video signal are the motion estimator 1 and the interpolator 2,
4 is supplied. The interpolators 2 and 4 respectively create pixels by one-dimensional inter-frame interpolation processing and two-dimensional vertical axis / time axis interpolation processing. These pixels correspond to the pixels that make up the desired output 24 Hz frame. The operation timing of the interpolators 2 and 4 for the field of the 60 Hz video signal is
It is controlled by the controller 7 to which the synchronization signal SYNC synchronized with the 60 Hz field is supplied. The pixels created by the interpolators 2 and 4 are weighted according to the degree of motion evaluation corresponding to the output pixel determined by the motion estimator 1, and are then added to create the final output pixel. The output signal of the device shown in FIG. 10 is a 24 Hz 1: 1 type signal.
【0060】ここで、動き評価器1は、上述したよう
に、各入力フィールドに対する動き評価係数の束を作成
する。作成された各個々の動き評価係数Kはそのフィー
ルド中における不存在画素の位置に対応している。出力
画素に対する評価係数Kの値は、所要の位置におけるK
値を有する時間的に最も近い入力フィールド上の出力画
素位置に対応するK値として得られる。すでに説明した
ように、これらの値は、例えば、係数1/4,1/2,
1/4を有するデジタルフィルタによって滑らかにされ
る。このようにして、各出力画素に対応する動き評価係
数Kが得られる。この動き評価係数Kは、以下に説明す
るように、補間器2,4によって作成された画素を比例
配分的に結合する際に用いられる。Here, the motion estimator 1 creates a bundle of motion evaluation coefficients for each input field, as described above. Each individual motion evaluation coefficient K created corresponds to the position of an absent pixel in the field. The value of the evaluation coefficient K for the output pixel is K at the required position.
It is obtained as the K value corresponding to the output pixel position on the input field that is closest in time to the value. As already explained, these values are, for example, coefficients 1/4, 1/2,
Smoothed by a digital filter with 1/4. In this way, the motion evaluation coefficient K corresponding to each output pixel is obtained. The motion evaluation coefficient K is used when the pixels created by the interpolators 2 and 4 are proportionally combined, as described below.
【0061】図11Aは、図10中の補間器2の動作説
明に供される線図である。この図11Aには、垂直軸/
時間軸(V/T)平面に所要の出力画素「○」と入力画
素「×」とが同時に描かれている。この所要の出力画素
は、図9の配列で示したのと同じように、入力フィール
ド周期に対して1/4周期変位(オフセット)してい
る。図11Aの矢線に示すように、各出力画素は、その
出力画素に対して時間軸上で近い前の入力画素と次の入
力画素との補間処理によって作成される。このようにし
て出力画素は、時間軸上で近い前後の2つの入力フレー
ムの画素から補間処理によって作成される。FIG. 11A is a diagram used for explaining the operation of the interpolator 2 in FIG. The vertical axis /
A required output pixel "O" and an input pixel "X" are simultaneously drawn on the time axis (V / T) plane. The required output pixels are displaced (offset) by 1/4 period with respect to the input field period, as in the arrangement shown in FIG. As shown by the arrow in FIG. 11A, each output pixel is created by the interpolation processing of the previous input pixel and the next input pixel that are close to the output pixel on the time axis. In this way, the output pixel is created by the interpolation processing from the pixels of the two input frames that are close to each other on the time axis.
【0062】補間された各画素の値は、出力画素位置中
のこれらの画素に時間軸上で比較的に近い前後(前と次
の)の入力画素から比例配分的結合で得られる。このよ
うにして、図11Aに示される所定列上の一方の交互出
力画素は、時間軸上前側の最も近い画素の値の7/8
と、時間軸上後ろ側の最も近い画素の値の1/8の加算
処理によって得られる。他方の出力画素は、時間軸上の
前側で最も近い画素の値の3/8と時間軸上の後ろ側で
最も近い画素の値の5/8の加算処理によって得られ
る。出力画素は、この方法により周知のデジタルフィル
タ技術を用いて連続的に作成することができる。もちろ
ん、各出力画素を作成するために2つの画素よりも多く
の画素の束を用いてもよく、その場合には出力画素に対
する入力画素の変位に応じて重み付け係数を適当に調節
する。補間器2中のデジタルフィルタの係数を決定する
最適の補間比は、60Hz入力フィールドに関連してタ
イミング制御を行うコントローラ7によって制御され
る。The interpolated value of each pixel is obtained by proportional combination from the input pixels before and after (previous and next) which are relatively close to these pixels in the output pixel position on the time axis. In this way, one of the alternating output pixels on the predetermined column shown in FIG. 11A is 7/8 of the value of the closest pixel on the front side on the time axis.
And ⅛ of the value of the nearest pixel on the rear side on the time axis. The other output pixel is obtained by adding 3/8 of the value of the closest pixel on the front side on the time axis and 5/8 of the value of the closest pixel on the rear side on the time axis. The output pixels can be continuously created by this method using well-known digital filter technology. Of course, more than two pixel bundles may be used to create each output pixel, in which case the weighting factors are adjusted appropriately according to the displacement of the input pixel with respect to the output pixel. The optimum interpolation ratio that determines the coefficients of the digital filter in the interpolator 2 is controlled by the controller 7 which provides timing control in relation to the 60 Hz input field.
【0063】このようにして、補間器2は1次元フレー
ム間補間処理によって所要の出力画素位置に対応する画
素を作成し、作成した画素を乗算器5aに供給する。In this way, the interpolator 2 creates a pixel corresponding to the required output pixel position by the one-dimensional inter-frame interpolation processing, and supplies the created pixel to the multiplier 5a.
【0064】同様に、コントローラ7によって制御され
るタイミングで2次元垂直軸/時間軸補間処理により所
要の出力画素位置に対応する補間画素が作成される。こ
の補間画素の作成処理が図11bに描かれている。この
図11bには、垂直軸/時間軸平面上に入力画素と同時
に出力画素が描かれている。各出力画素は、その出力画
素を取り囲むように配され点線によって関係付けられた
時間的に連続する3個のフィールド中の4個の入力画素
値の重み付け加算によって作成される。なお、上述した
ように、各出力画素を作成するために、より大きな画素
の束、例えば、4個の連続するフィールドの16サンプ
ル区間の画素の束を用いることもできる。また、補間器
4のフィルタ係数はコントローラ7によって制御される
が、出力画素位置に対する各入力画素位置の垂直軸・時
間軸上の変位に応じて入力画素に比例配分的に決定され
る。Similarly, the interpolation pixel corresponding to the required output pixel position is created by the two-dimensional vertical axis / time axis interpolation processing at the timing controlled by the controller 7. The process of creating this interpolated pixel is depicted in FIG. 11b. In this FIG. 11b, the output pixels are drawn at the same time as the input pixels on the vertical axis / time axis plane. Each output pixel is created by a weighted sum of four input pixel values in three temporally consecutive fields arranged around the output pixel and related by dotted lines. It should be noted that, as mentioned above, a larger bundle of pixels, for example a bundle of pixels of 16 sample intervals of four consecutive fields, can be used to create each output pixel. The filter coefficient of the interpolator 4 is controlled by the controller 7, and is proportionally determined to the input pixel according to the displacement of each input pixel position with respect to the output pixel position on the vertical axis / time axis.
【0065】補間器4の出力信号は乗算器5bに供給さ
れる。各出力画素を作成するために、補間器2,4によ
って作成された対応画素に対して、それぞれ乗算器5
a,5bで重み付け係数(1−K),K(Kは、上述の
ように出力画素に対する動き評価係数である。)がかけ
られる。乗算器5a,5bによって重み付けされた出力
信号は加算器6に供給されて加算され、最終出力画素が
作成される。The output signal of the interpolator 4 is supplied to the multiplier 5b. To generate each output pixel, the corresponding pixel created by the interpolator 2, 4 is multiplied by a multiplier 5 respectively.
The weighting coefficients (1-K) and K (K is a motion evaluation coefficient for the output pixel) are multiplied by a and 5b. The output signals weighted by the multipliers 5a and 5b are supplied to the adder 6 and added to create a final output pixel.
【0066】ここで、動き評価係数Kは、全静止映像領
域における0値から最大動き映像領域(言い換えれば、
予め決められている閾値以上の動きの程度を有する領
域)における1値までの値をとる。したがって、全静止
映像領域における最終出力画素は1次元中間フレーム補
間器2による処理のみで作成でき、最大動き映像領域に
おける最終出力画素は2次元垂直軸/時間軸補間器4に
よる補間処理のみで作成できる。Here, the motion evaluation coefficient K ranges from 0 in the entire still image area to the maximum motion image area (in other words,
It takes a value up to one value in a region having a degree of movement equal to or greater than a predetermined threshold. Therefore, the final output pixel in the entire still image area can be created only by the processing by the one-dimensional intermediate frame interpolator 2, and the final output pixel in the maximum motion image area can be created only by the interpolation processing by the two-dimensional vertical axis / time axis interpolator 4. it can.
【0067】この場合、加算器6の出力は24Hz・
1:1方式の信号であり、各出力フレームは、時間軸上
で最も近い入力フィールドの位置からフィールド周期の
1/4の時間の変位(オフセット)を有している(図9
参照)。この24Hz出力信号は図示しないD/A変換
器でアナログ信号に変換された後、フィルムに記録する
ための図示しない電子ビーム記録装置を駆動するために
使用される。In this case, the output of the adder 6 is 24 Hz.
This is a 1: 1 type signal, and each output frame has a time offset (offset) of 1/4 of the field period from the position of the closest input field on the time axis (FIG. 9).
reference). The 24 Hz output signal is converted into an analog signal by a D / A converter (not shown) and then used to drive an electron beam recording device (not shown) for recording on a film.
【0068】上述した60Hzビデオ信号を24Hzフ
ィルム映像に変換する方法は、コマから次のコマに移る
際の静止画品質と滑らかな動き描写(滑らかな動きのあ
るポートレート)を保証する。また、高度に複雑な処理
技術が回避され、比較的簡易な装置を用いることができ
る。The above-described method of converting the 60 Hz video signal into a 24 Hz film image guarantees the still image quality and smooth motion depiction (portrait with smooth motion) when moving from one frame to the next. Further, a highly complicated processing technique can be avoided, and a relatively simple device can be used.
【0069】なお、図7例の装置と図10例の装置はそ
れぞれ個別に用いてもよく、個々のシステムの特性に応
じてコントローラ7の制御により2者択一で切り換えて
制御するようにすることもできる。The apparatus shown in FIG. 7 and the apparatus shown in FIG. 10 may be separately used, and the control is performed by the controller 7 according to the characteristics of each system. You can also
【0070】なお、本発明は上記の実施例に限らず本発
明の要旨を逸脱することなく種々の構成を採り得ること
はもちろんである。The present invention is not limited to the above-mentioned embodiments, and it goes without saying that various configurations can be adopted without departing from the gist of the present invention.
【0071】[0071]
【発明の効果】以上説明したように、本発明によれば、
出力画素を作成する2つの異なる方法の動き適応型結合
処理が出力フレームの画素を作成するために用いられ
る。これによって、入力フィールド位置から時間的に変
位した位置に存在する出力フレームの画素を作成するこ
とができる。出力フレームは入力フレームに対して時間
的に変位しているので、全ての出力画素を作成するため
の上記2つの方法のうちの1つまたは両方を使用するこ
とにより良好な結果を得ることができる。全ての出力フ
レームが同じ量だけ時間軸上で入力フレームに最も近い
時間軸上の変位(オフセット)の差を有しているとき
に、最良の結果が得られ、これによって出力フレーム間
の映像品質の揺らぎが回避される。As described above, according to the present invention,
Two different methods of motion adaptive combining to create output pixels are used to create the pixels of the output frame. As a result, it is possible to create the pixels of the output frame existing at the position displaced in time from the input field position. Since the output frame is displaced in time with respect to the input frame, good results can be obtained by using one or both of the above two methods to create all output pixels. . Best results are obtained when all output frames have the same amount of offset (offset) on the time axis that is closest to the input frame on the time axis, which results in video quality between output frames. Fluctuations are avoided.
【0072】例えば、60Hz・2:1インターレース
方式の入力信号をフィルム記録用の24Hz・方式の出
力信号に変換するときには、出力フレームが時間軸上で
最も近い位置にある入力フィールドからその入力フィー
ルド周期の1/4変位(オフセット)した各位置で作成
される。For example, when an input signal of the 60 Hz 2: 1 interlace system is converted into an output signal of the film recording 24 Hz system, the output field is shifted from the input field closest to the time axis to the input field cycle. It is created at each position displaced by ¼ of (offset).
【0073】このようにすれば、時間軸上のジャダー
(映像の激しい震動)が回避されるとともに、動解像度
の劣化がなく、その上、垂直軸・時間軸上で偽信号が現
れず、さらに、方式変換過程における(データ)処理量
が比較的に少なくなり、また本発明が適用された装置の
構成が簡単かつ小規模になり、コストが低減されるとい
う効果が得られる。By doing so, judder (violent vibration of the image) on the time axis is avoided, the dynamic resolution is not deteriorated, and a false signal does not appear on the vertical axis / time axis. As a result, the amount of (data) processing in the system conversion process is relatively small, the configuration of the device to which the present invention is applied is simple and small, and the cost is reduced.
【図1】60Hz・2:1インターレース方式のビデオ
信号を24Hzフィルム映像に変換するための周知のド
ロップフィールド変換方式の説明に供される線図であ
る。FIG. 1 is a diagram provided for explaining a well-known drop field conversion method for converting a 60 Hz 2: 1 interlaced video signal into a 24 Hz film image.
【図2】625/50/2:1(625本/フレーム,
50Hz,2:1インターレース)のビデオ信号を52
5/60/2:1ビデオ信号に変換するビデオ信号方式
変換技術における2次元垂直軸/時間軸補間技術の説明
に供される線図である。FIG. 2 625/50/2: 1 (625 lines / frame,
50Hz, 2: 1 interlace) 52 video signal
FIG. 3 is a diagram provided for explaining a two-dimensional vertical axis / time axis interpolation technology in a video signal system conversion technology for converting into a 5/60/2: 1 video signal.
【図3】本発明の一実施例の方式変換方法による60H
zビデオ信号を24Hzフィルム映像に変換する技術に
おいて、60Hz・2:1インターレース方式のビデオ
信号の画素と24Hz・1:1方式のビデオ信号の所要
の画素との間の垂直軸/時間軸関係を示す線図である。FIG. 3 is a diagram illustrating a method of converting a system according to an embodiment of the present invention, which is 60H.
In the technology for converting a z video signal into a 24 Hz film image, a vertical axis / time axis relationship between a pixel of a 60 Hz 2: 1 interlaced video signal and a required pixel of a 24 Hz 1: 1 video signal is shown. It is a diagram showing.
【図4】本発明の一実施例の方式変換方法における動き
評価処理の部分の説明に供される線図である。FIG. 4 is a diagram used for explaining a part of a motion evaluation process in the method conversion method according to the embodiment of the present invention.
【図5】図4の動き評価処理に用いられる正規化関数を
示す線図である。5 is a diagram showing a normalization function used in the motion evaluation process of FIG.
【図6】図4の動き評価処理に用いられる非直線関数を
示す線図である。FIG. 6 is a diagram showing a non-linear function used in the motion evaluation process of FIG.
【図7】60Hz・2:1インターレース方式のビデオ
信号を24Hzフィルム映像に変換する際に用いられる
本発明の一実施例装置の構成を示すブロック図である。FIG. 7 is a block diagram showing a configuration of an apparatus according to an embodiment of the present invention which is used when converting a 60 Hz 2: 1 interlaced video signal into a 24 Hz film image.
【図8】Aは、図7例装置の一部によって遂行される1
次元中間フレーム補間処理の説明に供される線図であ
る。Bは、図7例装置の他の一部によって遂行される内
部フィールド補間処理の説明に供される線図である。C
は、図7例装置のさらに他の一部によって遂行される内
部フィールド補間処理の説明に供される線図である。FIG. 8A is performed by part of the apparatus of FIG.
FIG. 6 is a diagram used for explaining a dimensional intermediate frame interpolation process. 7B is a diagram provided for explaining an internal field interpolation process performed by another part of the apparatus of FIG. C
FIG. 8 is a diagram provided for explaining an internal field interpolation process performed by still another part of the apparatus of FIG. 7;
【図9】本発明方法の他の実施例によって60Hz・
2:1インターレース方式のビデオ信号を24Hzフィ
ルム映像に変換する際における60Hz・2:1インタ
ーレース方式のビデオ信号の画素と24Hz・1:1方
式のビデオ信号の所要の画素との間の垂直軸/時間軸関
係を示す線図である。FIG. 9 shows another embodiment of the method of the present invention at 60 Hz
A vertical axis between a pixel of a 60 Hz 2: 1 interlace video signal and a required pixel of a 24 Hz 1: 1 video signal when converting a 2: 1 interlace video signal into a 24 Hz film image. It is a diagram showing a time axis relationship.
【図10】60Hz・2:1インターレース方式のビデ
オ信号を24Hzフィルム映像に変換する際に用いられ
る本発明の他の実施例装置の構成を示すブロック図であ
る。FIG. 10 is a block diagram showing the configuration of another embodiment of the device of the present invention used when converting a 60 Hz 2: 1 interlaced video signal into a 24 Hz film image.
【図11】Aは、図10例装置の一部によって遂行され
る1次元フレーム間補間処理の説明に供される線図であ
る。Bは、図10例装置の他の一部によって遂行される
2次元垂直軸/時間軸補間処理の説明に供される線図で
ある。11A is a diagram used for explaining a one-dimensional inter-frame interpolation process performed by a part of the apparatus in FIG. 10; FIG. 10B is a diagram provided for explaining a two-dimensional vertical axis / time axis interpolation process performed by another part of the apparatus of FIG.
1 動き評価器 2 1次元フレーム間補間器 3 フィールド内補間器 4 2次元垂直軸/時間軸補間器 5a,5b 乗算器 6 加算器 1 Motion Evaluator 2 1-dimensional Inter-frame Interpolator 3 In-field Interpolator 4 2-dimensional Vertical Axis / Time Axis Interpolator 5a, 5b Multiplier 6 Adder
Claims (13)
信号を1:1方式の出力ビデオ信号に変換するビデオ信
号の方式変換方法において、 上記入力ビデオ信号のフィールド間の映像領域の動き度
を評価する過程と、上記入力信号のフィールド位置から
時間的に変位した位置での出力フレームを作成する過程
とを有し、 上記出力フレームの各画素が、 (a)上記出力フレームの画素に対応する上記評価され
た動き度に応じて、上記入力信号のフレーム間の1次元
フレーム間補間処理により対応する画素を得る過程、又
は上記入力信号に時間的に近いフィールドでの対応画素
を得る過程、 (b)上記出力フレームの画素に対応する上記評価され
た動き度に応じて、上記入力信号のフィールド間の2次
元垂直軸/時間軸補間処理により対応する画素を得る過
程、 のうち少なくとも一方の過程又はそれらの組み合わせに
より作成されるようにしたビデオ信号の方式変換方法。1. A video signal format conversion method for converting a 2: 1 interlaced input video signal into a 1: 1 format output video signal, wherein the degree of motion of a video region between fields of the input video signal is evaluated. And a step of creating an output frame at a position temporally displaced from a field position of the input signal, wherein each pixel of the output frame is (a) the evaluation corresponding to a pixel of the output frame. A step of obtaining a corresponding pixel by one-dimensional inter-frame interpolation processing between the frames of the input signal or a step of obtaining a corresponding pixel in a field temporally close to the input signal according to the determined degree of motion; Corresponding by the two-dimensional vertical axis / time axis interpolation processing between the fields of the input signal according to the evaluated degree of motion corresponding to the pixel of the output frame. Process of obtaining the element, at least one of the process or system conversion method for a video signal to be produced by a combination thereof of the.
次元フレーム間補間処理により得られる対応画素の値、
p2 を2次元垂直軸/時間軸補間処理による得られる対
応画素の値、p0 を上記時間的に入力フレームに近い対
応する画素の値、Kを評価された動き度がゼロの場合に
0値をとり評価された動き度が予め定められたレベルを
超えた場合に1値をとる値とするとき、上記出力フレー
ムの各画素の値が式(1−K)p1 +Kp2 または(1
−K)p0 +Kp2 で与えられるビデオ信号の方式変換
方法。2. The method according to claim 1, wherein p 1 is 1
The value of the corresponding pixel obtained by the inter-frame interpolation processing,
p 2 is the value of the corresponding pixel obtained by the two-dimensional vertical axis / time axis interpolation processing, p 0 is the value of the corresponding pixel which is temporally close to the input frame, and K is 0 when the evaluated degree of motion is zero. When the value which takes a value and takes a value of 1 when the evaluated degree of motion exceeds a predetermined level, the value of each pixel of the output frame is expressed by the formula (1-K) p 1 + Kp 2 or (1
-K) A method of converting the format of the video signal given by p 0 + Kp 2 .
フレームの各画素が、 (a)上記入力信号のフレーム間の1次元フレーム間補
間処理により得られる対応画素を得る過程、 (b)上記入力信号のフィールド間の2次元垂直軸/時
間軸補間処理により得られる対応画素を得る過程、 のうち少なくとも一方の過程又はそれらの組み合わせに
より作成されるビデオ信号の方式変換方法。3. The method according to claim 1, wherein each pixel of the output frame includes: (a) obtaining a corresponding pixel obtained by a one-dimensional interframe interpolation process between frames of the input signal; A method of converting a method of a video signal created by at least one of the steps of obtaining corresponding pixels obtained by two-dimensional vertical axis / time axis interpolation processing between fields of an input signal, or a combination thereof.
次元フレーム間補間処理により得られる対応画素の値、
p2 を2次元垂直軸/時間軸補間処理による得られる対
応画素の値、Kを評価された動き度がゼロの場合に0値
をとり評価された動き度が予め定められたレベルを超え
た場合に1値をとる値とするとき、上記出力画素のそれ
ぞれの値が式(1−K)p1 +Kp2 で与えられるビデ
オ信号の方式変換方法。4. The method according to claim 3, wherein p 1 is 1
The value of the corresponding pixel obtained by the inter-frame interpolation processing,
p 2 is the value of the corresponding pixel obtained by the two-dimensional vertical axis / time axis interpolation processing, K is 0 when the evaluated motion degree is zero, and the evaluated motion degree exceeds a predetermined level. In this case, a method for converting a video signal system in which each value of the output pixel is given by the formula (1-K) p 1 + Kp 2 when the value takes one value.
法において、入力信号が60Hz・2:1インターレー
ス方式の信号であり、出力信号が24Hz・1:1方式
の信号であるビデオ信号の方式変換方法。5. The video according to any one of claims 1 to 4, wherein the input signal is a 60 Hz 2: 1 interlace signal and the output signal is a 24 Hz 1: 1 system signal. Signal format conversion method.
フレームが、時間軸上で最も近い位置にある入力フィー
ルドからその入力フィールド周期の1/4周期変位した
各位置で作成されるビデオ信号の方式変換方法。6. The method according to claim 5, wherein the output frame is a video signal generated at each position displaced from the input field at the closest position on the time axis by ¼ cycle of the input field cycle. Method conversion method.
信号を1:1方式の出力ビデオ信号に変換するビデオ信
号の方式変換方法において、 上記入力ビデオ信号のフィールド間の映像領域の動き度
を評価する過程と、 各入力フィールド位置に時間的に一致した位置の出力フ
レームを作成するに当たり、上記時間的に一致している
上記各入力フィールドの不存在画素に対応する出力フレ
ームの画素を、上記出力フレームの画素に対応する上記
評価された動き度に応じて上記入力フィールドに時間軸
上で一致した位置でのフィールド内補間処理によって得
られる対応画素、及び(又は)上記出力フレームの画素
に対応する上記評価された動き度に応じて上記入力信号
のフレーム間の1次元補間処理によって得られる対応画
素のうちのいずれか一方又はそれらの対応画素の組み合
わせにより作成する過程と、 上記入力信号のフィールド間の2次元垂直軸/時間軸補
間処理により上記入力フィールド位置から変位した時間
位置の出力フレームを作成する過程とを有するビデオ信
号の方式変換方法。7. A video signal system conversion method for converting a 2: 1 interlaced input video signal into a 1: 1 system output video signal, wherein the degree of motion of a video region between fields of the input video signal is evaluated. In the process and in creating an output frame at a position that temporally coincides with each input field position, the pixels of the output frame corresponding to the absent pixels of each input field that temporally coincide with each other are set to the output frame. Corresponding pixel obtained by the intra-field interpolation processing at the position corresponding to the input field on the time axis according to the evaluated degree of motion corresponding to the pixel, and / or the pixel corresponding to the output frame. Any one of the corresponding pixels obtained by the one-dimensional interpolation processing between the frames of the input signal according to the evaluated degree of motion Has a step of creating by combining those corresponding pixels, and a step of creating an output frame at a time position displaced from the input field position by a two-dimensional vertical axis / time axis interpolation process between the fields of the input signal. Signal format conversion method.
フィールドに時間的に一致している上記出力フレームの
各画素の値が、p3 を時間的に入力フィールドに一致し
たフィールド内補間処理により得られる対応画素の値、
Kを評価された動き度がゼロの場合に0値をとり評価さ
れた動き度が予め定められたレベルを超えた場合に1値
をとるとするとき、式(1−K)p1 +Kp3 で与えら
れるビデオ信号の方式変換方法。8. The method according to claim 7, wherein the value of each pixel of the output frame that temporally coincides with the input field is p 3 in the field interpolating process that coincides with the input field temporally. The value of the corresponding pixel obtained,
Assuming that K has a value of 0 when the evaluated mobility is zero and takes a value of 1 when the evaluated mobility exceeds a predetermined level, the equation (1-K) p 1 + Kp 3 Video signal format conversion method given in.
て、入力信号が60Hz・2:1インターレース方式の
信号であり、出力信号が24Hz・1:1方式の信号で
あるビデオ信号の方式変換方法。9. The method according to claim 7 or 8, wherein the input signal is a signal of 60 Hz · 2: 1 interlace system and the output signal is a signal of 24 Hz · 1: 1 system. Method.
きの出力フィールドがそれぞれの入力フィールド位置に
時間軸上で一致した位置で作成され、残りの出力フィー
ルドが時間軸上近接した入力フィールド間の時間的に中
間の位置で作成されるビデオ信号の方式変換方法。10. The method according to claim 9, wherein every other output field is created at a position corresponding to each input field position on the time axis, and the remaining output fields are between adjacent input fields on the time axis. Method conversion method for video signals created at intermediate positions in time.
の方法において、2次元垂直軸/時間軸補間処理が入力
信号のうち時間軸上で連続する3個のフィールド間で行
われるようにしたビデオ信号の方式変換方法。11. The method according to claim 1, wherein the two-dimensional vertical axis / time axis interpolation processing is performed between three consecutive fields of the input signal on the time axis. Video signal format conversion method.
の方法において、2次元垂直軸/時間軸補間処理が入力
信号のうち時間軸上で連続する4個のフィールド間で行
われるようにしたビデオ信号の方式変換方法。12. The method according to claim 1, wherein the two-dimensional vertical axis / time axis interpolation processing is performed between four consecutive fields of the input signal on the time axis. Video signal format conversion method.
の方法において、出力ビデオ信号をアナログ信号に変換
するデジタル・アナログ変換処理過程を有し、このアナ
ログ信号をフィルム上に映像を記録するフィルム記録装
置に供給するようにしたビデオ信号の方式変換方法。13. The method according to claim 1, further comprising a digital-analog conversion process for converting an output video signal into an analog signal, and recording the analog signal on a film. Video signal format conversion method adapted to be supplied to a film recording device.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB9214499:7 | 1992-07-08 | ||
GB9214499A GB2268659B (en) | 1992-07-08 | 1992-07-08 | Video to film conversion |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH077660A true JPH077660A (en) | 1995-01-10 |
Family
ID=10718394
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP5168981A Pending JPH077660A (en) | 1992-07-08 | 1993-07-08 | Method for conversion of video signal system |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPH077660A (en) |
GB (1) | GB2268659B (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5661525A (en) * | 1995-03-27 | 1997-08-26 | Lucent Technologies Inc. | Method and apparatus for converting an interlaced video frame sequence into a progressively-scanned sequence |
GB2318243B (en) * | 1996-10-09 | 2000-09-13 | British Broadcasting Corp | Video signal processing |
GB2361134A (en) * | 2000-04-07 | 2001-10-10 | Snell & Wilcox Ltd | Video standards conversion |
US20040252232A1 (en) * | 2001-11-01 | 2004-12-16 | Rogier Lodder | Edge oriented interpolation of video data |
JP4722936B2 (en) * | 2005-09-30 | 2011-07-13 | シャープ株式会社 | Image display apparatus and method |
GB2505872B (en) | 2012-07-24 | 2019-07-24 | Snell Advanced Media Ltd | Interpolation of images |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2231228B (en) * | 1989-04-27 | 1993-09-22 | Sony Corp | Video signal to photographic film conversion |
GB2249909B (en) * | 1990-11-15 | 1994-09-14 | Sony Broadcast & Communication | Format conversion of digital video signals |
-
1992
- 1992-07-08 GB GB9214499A patent/GB2268659B/en not_active Expired - Fee Related
-
1993
- 1993-07-08 JP JP5168981A patent/JPH077660A/en active Pending
Also Published As
Publication number | Publication date |
---|---|
GB2268659A (en) | 1994-01-12 |
GB2268659B (en) | 1996-03-27 |
GB9214499D0 (en) | 1992-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2001285810A (en) | Method and device for calculating motion vector | |
US5444493A (en) | Method and apparatus for providing intra-field interpolation of video signals with adaptive weighting based on gradients of temporally adjacent fields | |
JPH05207432A (en) | Digital image signal system conversion method and device | |
US5579053A (en) | Method for raster conversion by interpolating in the direction of minimum change in brightness value between a pair of points in different raster lines fixed by a perpendicular interpolation line | |
JPH1070708A (en) | Non-interlacing conversion device | |
JP2003143556A (en) | Display device | |
JP3365333B2 (en) | Resolution converter | |
JPS5937775A (en) | Double scanning television receiver | |
EP0535066B1 (en) | Video signal processing | |
JP4031389B2 (en) | Image conversion apparatus and image conversion method | |
WO2005076612A1 (en) | Motion compensated de-interlacing with film mode adaptation | |
JP2005167887A (en) | Dynamic image format conversion apparatus and method | |
US20050220365A1 (en) | Method and device for interpolating a pixel of an interline of a field | |
JPH077660A (en) | Method for conversion of video signal system | |
US5430489A (en) | Video to film conversion | |
JP2000259146A (en) | Image display device | |
JP4031390B2 (en) | Image conversion apparatus and image conversion method | |
EP0817478A1 (en) | Process for interpolating frames for film mode compatibility | |
JPS5940772A (en) | Double scanning television receiver | |
JP3898546B2 (en) | Image scanning conversion method and apparatus | |
WO1993015586A1 (en) | A partial interpolation method and apparatus for frame rate conversion | |
JP3820026B2 (en) | Scan line interpolation method | |
JPH05137122A (en) | Signal processing method for video signal and circuit therefor | |
GB2262198A (en) | Video to film conversion | |
EP0575862B1 (en) | Method and apparatus for adaptive interpolation |