JP2006050230A

JP2006050230A - Frame rate converting method, converter, image signal recorder, and reproducer

Info

Publication number: JP2006050230A
Application number: JP2004228078A
Authority: JP
Inventors: Naozumi Sugimura; 直純杉村; Takuya Imaide; 宅哉今出
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2004-08-04
Filing date: 2004-08-04
Publication date: 2006-02-16

Abstract

<P>PROBLEM TO BE SOLVED: To prevent visual unnaturalness from being given by smoothly displaying a converted image when the frame rate of the image is converted. <P>SOLUTION: When the frame rate is converted by repetitively inserting and thinning the frame of an image signal, the amount of movement of the image with an adjacent frame is detected concerning the frame to be inserted or thinned. When the largeness of the detected movement amount is determined to be a slow movement (between a threshold X1 and a threshold X2), the repetitive insertion or thinning of the frame is prohibited. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、第１のフレームレートで記録された画像信号を、これと異なる第２のフレームレートの画像信号に変換するフレームレート変換方法および変換装置に関するものである。また本発明は、これを用いた画像信号記録装置および再生装置に関する。 The present invention relates to a frame rate conversion method and a conversion apparatus for converting an image signal recorded at a first frame rate into an image signal having a second frame rate different from the image signal. The present invention also relates to an image signal recording apparatus and reproducing apparatus using the same.

画像信号フォーマットとして、ＮＴＳＣ方式における毎秒約３０フレームのフレームレートと、ＰＡＬ方式における毎秒２５フレームのフレームレートが存在する。また、映画は毎秒２４コマのフィルムで撮られているため、画像信号は毎秒２４フレームのフレームレートとなる。従来、映画コンテンツを記録媒体に記録する場合には、予めＮＴＳＣ方式ないしＰＡＬ方式に変換した上で記録していた。しかしながら、この方法では、記録する情報に無駄が生じやすく、画質も劣化しやすい。そこで、記録媒体上に記録するデータを毎秒２４フレームの画像として記録しておく方法が提案されている。これにより、映画フィルムから直接エンコードを行うことができるので、画質の劣化がなく、記録する情報に無駄がない。 As an image signal format, there are a frame rate of about 30 frames per second in the NTSC system and a frame rate of 25 frames per second in the PAL system. In addition, since the movie is shot with 24 frames per second, the image signal has a frame rate of 24 frames per second. Conventionally, when movie content is recorded on a recording medium, it has been recorded after being converted into the NTSC system or the PAL system in advance. However, with this method, information to be recorded is likely to be wasted and the image quality is likely to deteriorate. Therefore, a method for recording data to be recorded on a recording medium as an image of 24 frames per second has been proposed. As a result, encoding can be performed directly from the motion picture film, so that there is no deterioration in image quality and information to be recorded is not wasted.

これらの画像信号をテレビ（モニター）に表示したり、記録装置に記録する場合には、表示装置や記録装置のフレームレートに合わせるよう変換する必要がある。フレームレートの変換のため、各種の技術が提案されてきた。 When these image signals are displayed on a television (monitor) or recorded on a recording device, it is necessary to convert them to match the frame rate of the display device or recording device. Various techniques have been proposed for frame rate conversion.

ＮＴＳＣ方式とＰＡＬ方式の相互変換については、例えば特許文献１に記載される。 The mutual conversion between the NTSC system and the PAL system is described in Patent Document 1, for example.

映画の毎秒２４フレームとＮＴＳＣ方式（毎秒約３０フレーム）との変換には、２−３プルダウンと呼ばれる変換技術が用いられ、例えば特許文献２に引用されている。 A conversion technique called 2-3 pull-down is used for conversion between 24 frames per second and NTSC (about 30 frames per second) of a movie.

特開２００２−３６９１５５号公報JP 2002-369155 A 特開平９−３０７８６２号公報Japanese Patent Laid-Open No. 9-307862

通常のフレームレートの変換では、フレーム数が不足する場合には同一画像フレームを繰返し挿入し、フレーム数が過剰な場合には、フレーム画像を間引きすることによる。例えば、毎秒２４フレームの画像を、毎秒３０フレーム（６０フィールド）に変換するためには、奇数フレームを２フィールドに、偶数フレームを３フィールドに変換する。毎秒２４フレームの画像を毎秒２５フレームに変換するためには、１秒に１回だけ、同一フレームを繰返して挿入する。これらの場合、挿入するタイミングは、フレーム数が所定数になる毎に周期的に挿入する。間引きについても、同様に周期的に行う。 In normal frame rate conversion, the same image frame is repeatedly inserted when the number of frames is insufficient, and the frame image is thinned out when the number of frames is excessive. For example, in order to convert an image of 24 frames per second into 30 frames (60 fields) per second, odd frames are converted into 2 fields and even frames are converted into 3 fields. In order to convert an image of 24 frames per second into 25 frames per second, the same frame is repeatedly inserted once per second. In these cases, the insertion timing is periodically inserted every time the number of frames reaches a predetermined number. Similarly, thinning is performed periodically.

フレームを挿入する位置が静止画像の場合には、同一画像を繰返し挿入しても不自然さは生じない。しかし、挿入位置が動画像の場合には、挿入位置で動きが止まるため、動きが不自然で、見にくい画像となってしまう。間引きについても、静止画像では問題ないが、動画像では間引き位置で動きが速まり不自然となる。 When the position where the frame is inserted is a still image, unnaturalness does not occur even if the same image is repeatedly inserted. However, when the insertion position is a moving image, the movement stops at the insertion position, so that the movement is unnatural and the image is difficult to see. Although there is no problem with thinning out in a still image, in a moving image, the movement is accelerated at the thinning out position and becomes unnatural.

本発明の目的は、変換後の画像がスムーズに表示され、視覚的に不自然さを与えることのないようなフレームレート変換方法、変換装置、これを用いた記録装置、再生装置を提供することにある。 An object of the present invention is to provide a frame rate conversion method, a conversion device, a recording device, and a playback device using the same, in which the converted image is displayed smoothly and does not give visual unnaturalness. It is in.

本発明のフレームレート変換方法は、第１のフレームレートを有する第１の画像信号を、フレームの繰返し挿入または間引きによって第２のフレームレートを有する第２の画像信号に変換するものであって、第１の画像信号のうち繰返し挿入または間引きを行うべきフレームについて、隣接フレーム間の画像の動き量を検出し、検出された動き量の大きさに応じて該フレームの繰返し挿入または間引きを制御するものである。 The frame rate conversion method of the present invention converts a first image signal having a first frame rate into a second image signal having a second frame rate by repeated insertion or decimation of frames, For the frame to be repeatedly inserted or thinned out of the first image signal, the amount of motion of the image between adjacent frames is detected, and the repeated insertion or thinning of the frame is controlled according to the detected amount of motion. Is.

ここで、画像の動き量が、第１のしきい値Ｘ１以上で、かつ第２のしきい値Ｘ２未満の場合に（ただしＸ１＜Ｘ２とする）、フレームの繰返し挿入または間引きを禁止する。また、画像の動き量は、画面を複数の領域に分割し、隣接フレーム間での各領域の動きベクトル量を検出し、動きベクトル量の画面全体での総和量から求める。あるいは、画像の動き量は、画面を複数の領域に分割し、隣接フレーム間での各領域における画像輝度の変化量を検出し、変化量の画面全体での総和量から求める。 Here, when the amount of motion of the image is greater than or equal to the first threshold value X1 and less than the second threshold value X2 (where X1 <X2), frame repetitive insertion or decimation is prohibited. Further, the amount of motion of the image is obtained from the total amount of motion vector amounts on the entire screen by dividing the screen into a plurality of regions, detecting the motion vector amount of each region between adjacent frames. Alternatively, the motion amount of the image is obtained from the total amount of the change amount over the entire screen by dividing the screen into a plurality of regions, detecting the change amount of the image brightness in each region between adjacent frames.

本発明のフレームレート変換装置は、第１のフレームレートを有する第１の画像信号を、フレームの繰返し挿入または間引きによって第２のフレームレートを有する第２の画像信号に変換するものであって、第１の画像信号の各フレームを一時記憶する画像バッファメモリと、第１の画像信号の各フレームについて、隣接フレーム間の画像の動き量を検出する動き検出手段と、検出された動き量の大きさに応じて該フレームの繰返し挿入または間引きの可否を判別する判別手段と、画像バッファメモリに一時記憶された画像信号を、判別手段の結果に従いフレームの繰返し挿入または間引きを行い、第２のフレームレートにて読み出す読出手段とを備える。 The frame rate conversion device of the present invention converts a first image signal having a first frame rate into a second image signal having a second frame rate by repeated insertion or thinning of frames. An image buffer memory for temporarily storing each frame of the first image signal; a motion detecting means for detecting a motion amount of an image between adjacent frames for each frame of the first image signal; and a magnitude of the detected motion amount A second discriminating unit for discriminating whether or not the frame can be repeatedly inserted or thinned according to the result, and the image signal temporarily stored in the image buffer memory is repeatedly inserted or thinned out according to the result of the discriminating unit. Reading means for reading at a rate.

本発明の画像信号記録装置は、第１のフレームレートを有する画像信号を、フレームの繰返し挿入または間引きによって第２のフレームレートを有する画像信号に変換し、圧縮符号化して記録媒体に記録するものであって、第１のフレームレートを有する画像信号の各フレームを一時記憶する画像バッファメモリと、画像信号の各フレームについて、隣接フレーム間の画像の動き量を検出する動き検出手段と、検出された動き量の大きさに応じて該フレームの繰返し挿入または間引きの可否を判別する判別手段と、画像バッファメモリに一時記憶された画像信号を、判別手段の結果に従いフレームの繰返し挿入または間引きを行い、第２のフレームレートに変換して読み出す読出手段と、読み出した画像信号を圧縮符号化するエンコーダ部と、圧縮符号化された画像信号を記録媒体に記録する記録部とを備える。 An image signal recording apparatus according to the present invention converts an image signal having a first frame rate into an image signal having a second frame rate by repeated insertion or thinning of frames, and compression-encodes the image signal for recording on a recording medium. An image buffer memory for temporarily storing each frame of the image signal having the first frame rate, and a motion detection means for detecting the amount of motion of the image between adjacent frames for each frame of the image signal, The discriminating means for discriminating whether or not the frame can be repeatedly inserted or thinned according to the amount of movement, and the image signal temporarily stored in the image buffer memory is repeatedly inserted or thinned out according to the result of the discriminating means. Reading means for converting to a second frame rate and reading; and an encoder unit for compressing and encoding the read image signal; And a recording section for recording the compression-encoded image signal on a recording medium.

本発明の画像信号再生装置は、記録媒体から圧縮符号化され第１のフレームレートを有する画像信号を再生し、フレームの繰返し挿入または間引きによって第２のフレームレートを有する画像信号に変換するものであって、記録媒体から圧縮符号化された画像信号を再生する再生部と、再生された画像信号を復号化するデコーダ部と、復号化された画像信号の各フレームを一時記憶する画像バッファメモリと、再生された画像信号の各フレームについて、隣接フレーム間の画像の動き量を検出する動き検出手段と、検出された動き量の大きさに応じて該フレームの繰返し挿入または間引きの可否を判別する判別手段と、画像バッファメモリに一時記憶された画像信号を、判別手段の結果に従いフレームの繰返し挿入または間引きを行い、第２のフレームレートに変換して読み出す読出手段とを備える。 The image signal reproduction apparatus of the present invention reproduces an image signal having a first frame rate that has been compression-encoded from a recording medium, and converts the image signal to an image signal having a second frame rate by repeated insertion or thinning of frames. A reproduction unit that reproduces a compression-encoded image signal from a recording medium; a decoder unit that decodes the reproduced image signal; and an image buffer memory that temporarily stores each frame of the decoded image signal; For each frame of the reproduced image signal, motion detection means for detecting the motion amount of the image between adjacent frames, and whether or not the frame can be repeatedly inserted or thinned according to the magnitude of the detected motion amount is determined. The image signal temporarily stored in the discriminating means and the image buffer memory is repeatedly inserted or thinned out according to the result of the discriminating means, and the second And a reading means for reading by converting the frame rate.

本発明によれば、フレームレート変換において、変換後の画像がスムーズに表示され、視覚的に不自然さを与えることのない画像変換方法と変換装置を提供できる。 According to the present invention, it is possible to provide an image conversion method and a conversion apparatus in which a converted image is smoothly displayed in frame rate conversion and visually unnatural.

以下本発明のフレームレート変換方法、変換装置、およびこれを用いた画像信号記録装置および再生装置について、実施例を用いて説明する。 Hereinafter, a frame rate conversion method, a conversion apparatus, and an image signal recording apparatus and a reproduction apparatus using the same according to the present invention will be described with reference to examples.

図１は、本発明にかかるフレームレート変換装置の一実施例を示すブロック図である。この実施例では、フレームレートが毎秒２４フレームの画像信号を、フレームの繰返し挿入（補間）により、フレームレートが毎秒２５フレームの画像信号に変換する場合を説明する。図１中、１０１は画像信号入力端子、１０２は動き検出部、１０３は補間可否判別部、１０４は画像バッファメモリ、１０５は読み出し部、１０６は画像信号出力端子である。すなわち、従来方式では、１秒に１回の割合で周期的に同一フレームを繰返して挿入（補間）していたものであるが、本実施例では、動き検出部１０２と補間可否判別部１０３を設け、補間の制御を行う構成としている。 FIG. 1 is a block diagram showing an embodiment of a frame rate conversion apparatus according to the present invention. In this embodiment, a case will be described in which an image signal with a frame rate of 24 frames per second is converted into an image signal with a frame rate of 25 frames per second by repeated frame insertion (interpolation). In FIG. 1, 101 is an image signal input terminal, 102 is a motion detection unit, 103 is an interpolation enable / disable determination unit, 104 is an image buffer memory, 105 is a read unit, and 106 is an image signal output terminal. That is, in the conventional method, the same frame is periodically inserted (interpolated) at a rate of once per second, but in this embodiment, the motion detection unit 102 and the interpolation enable / disable determination unit 103 are provided. It is configured to control the interpolation.

画像信号入力端子１０１には、毎秒２４フレームの画像信号が入力される。入力された画像信号は、動き検出部１０２および画像バッファメモリ１０４に入力される。 The image signal input terminal 101 receives an image signal of 24 frames per second. The input image signal is input to the motion detection unit 102 and the image buffer memory 104.

動き検出部１０２では、入力された画像信号を隣接する直前のフレームの画像信号と比較し、フレーム間の画像の動きの大きさを検出する。動き検出部１０２の動作を、図２を用いて説明する。 The motion detection unit 102 compares the input image signal with the image signal of the immediately preceding frame, and detects the magnitude of the image motion between frames. The operation of the motion detection unit 102 will be described with reference to FIG.

図２は、隣接する２つのフレーム画面の一例を表し、（ａ）は直前のフレームの画面を示し、（ｂ）は現フレームの画面を示す。 FIG. 2 shows an example of two adjacent frame screens, where (a) shows the screen of the previous frame, and (b) shows the screen of the current frame.

動き検出部１０２では、連続する２つの画面を比較し、画面内の画像の動きを検出する。具体的には、画面上をいくつかの矩形領域に分割し、各領域の画像が次の画面でどの領域に移動したかを、色彩ならびに輝度で比較し、移動量を求める。 The motion detection unit 102 compares two consecutive screens and detects the motion of the image within the screen. Specifically, the screen is divided into several rectangular areas, and the areas to which the image of each area has moved on the next screen are compared in terms of color and brightness to determine the amount of movement.

図２の例では、（ａ）内に矩形で表した領域Ｃの画像が、（ｂ）では右上方向の領域Ｄに移動していることが分かる。すなわち、領域Ｃから領域Ｄへの移動量を、ベクトル形式で、例えば、右に１５０ピクセル、上に３０ピクセルのように表現して、定量化する。 In the example of FIG. 2, it can be seen that the image of the area C represented by a rectangle in (a) has moved to the area D in the upper right direction in (b). That is, the amount of movement from the region C to the region D is expressed in a vector format, for example, 150 pixels on the right and 30 pixels on the right, and quantified.

画面上の全ての矩形領域、あるいは代表となるいくつかの矩形領域についての移動ベクトル量を求め、それらの総和を計算することにより、画像の動き量を表す指標として使用する。動き検出部１０２は、このようにして求めた画像の動き量を動き検出結果として、補間可否判断部１０３に提供する。 The amount of movement vector for all rectangular areas on the screen or some representative rectangular areas is obtained, and the sum of these is calculated and used as an index representing the amount of motion of the image. The motion detection unit 102 provides the motion amount of the image obtained in this way to the interpolation availability determination unit 103 as a motion detection result.

補間可否判別部１０３では、動き検出部１０２から提供された画像の動き量の大きさから、当該フレーム画像の補間の可否を判断する。具体的には、動き量の大きさを（１）静止状態、（２）ゆっくりとした動き、（３）速い動き、の３段階に区分し、補間の可否を判断する。 The interpolation enable / disable determining unit 103 determines whether or not interpolation of the frame image is possible based on the amount of motion of the image provided from the motion detecting unit 102. Specifically, the magnitude of the motion amount is divided into three stages: (1) stationary state, (2) slow motion, and (3) fast motion, and whether or not interpolation is possible is determined.

（１）静止状態とは、画面が静止した状態または画像の動きが非常に小さい状態である。静止状態では、画面上の動きがほとんどないため、同一の画像を補間しても、視覚的に全く違和感を与えない。 (1) The stationary state is a state where the screen is stationary or a state where the motion of the image is very small. In the stationary state, there is almost no movement on the screen, so even if the same image is interpolated, there is no visual discomfort.

（２）ゆっくりとした動きとは、カメラがゆっくりとパンしたり、画面内の物体がゆっくりと移動しているような場合である。このような場合、視聴者は画面内の物体を十分目で追うことが可能であり、同一画像を繰返して挿入すると、その画像部分が一瞬停止したように見え、なめらかな画像の動きの中では非常に目立ちやすい。 (2) Slow movement is when the camera pans slowly or an object in the screen moves slowly. In such a case, the viewer can follow the object in the screen with sufficient eyes, and if the same image is repeatedly inserted, the image portion seems to stop for a moment, and within the smooth image movement Very conspicuous.

（３）速い動きは、カメラが高速で移動し、背景が目まぐるしく変化したり、画面上の物体が高速で移動しているような場合である。このような場合には、視聴者の視点が追従できず、繰返し挿入を行っても目立ちにくい。 (3) Fast movement is a case where the camera moves at high speed, the background changes rapidly, or an object on the screen moves at high speed. In such a case, the viewer's viewpoint cannot follow, and even if it is repeatedly inserted, it is not noticeable.

従って、（１）（３）の場合は繰返し挿入（補間）することを許可し、（２）のゆっくりとした動きの場合には、補間を禁止する。補間可否判別部１０３は、どの段階かを判別し、（２）の場合には、補間禁止信号を出力する。 Accordingly, in the cases (1) and (3), repeated insertion (interpolation) is permitted, and in the case of the slow movement (2), interpolation is prohibited. The interpolation enable / disable determining unit 103 determines which stage, and in the case of (2), outputs an interpolation prohibition signal.

一方、画像信号入力端子１０１から入力された画像信号は、画像バッファメモリ１０４にも入力される。画像バッファメモリ１０４は、入力された画像信号をフレーム単位で一時記憶しておき、読み出し部１０５からの読み出し指令に従って出力する。画像バッファメモリ１０４は、数フレーム、または数１０フレーム分の画像の記憶が可能な容量とする。 On the other hand, the image signal input from the image signal input terminal 101 is also input to the image buffer memory 104. The image buffer memory 104 temporarily stores the input image signal in units of frames and outputs it in accordance with a read command from the reading unit 105. The image buffer memory 104 has a capacity capable of storing images of several frames or tens of frames.

読み出し部１０５は、入力された画像信号のフレーム数、および出力端子に出力を行うべき画像信号のフレーム数をそれぞれカウントしている。入力画像信号は毎秒２４フレームなので、１秒間に２４だけカウントを行う。一方、出力画像信号は毎秒２５フレームなので、１秒間に２５だけカウントを行う。これらカウント数の差分から、フレームの補間の要否タイミングを判断する。そして、補間可否判別部１０３からの補間禁止信号に従い、補間処理を行う。 The reading unit 105 counts the number of frames of the input image signal and the number of frames of the image signal to be output to the output terminal. Since the input image signal is 24 frames per second, only 24 are counted per second. On the other hand, since the output image signal is 25 frames per second, only 25 are counted per second. From the difference between the count numbers, the timing of necessity of frame interpolation is determined. Then, interpolation processing is performed in accordance with the interpolation prohibition signal from the interpolation enable / disable determining unit 103.

ここで、動き検出部１０２の行う画像の動き量の検出方法について、より具体的に説明する。原画像は、横７２０ピクセル、縦５７６ピクセルの画素数を有するものとする。マクロブロックの大きさを１６×１６ピクセルとすると、画面は、横４５×縦３６のマクロブロックに分割される。ここでは、マクロブロック単位での画像の動きを表現する。 Here, the method of detecting the amount of motion of the image performed by the motion detection unit 102 will be described more specifically. The original image is assumed to have a pixel number of 720 pixels wide and 576 pixels long. If the macroblock size is 16 × 16 pixels, the screen is divided into 45 × 36 macroblocks. Here, the motion of an image in units of macro blocks is expressed.

ゆっくりとした動きの画像とは、例えば、１０秒程度かけて１画面を水平にパンするような速さの画像である。一方、動きの速い画像とは、１画面を１秒以内でパンするような速さの画像である。すなわち、ゆっくりとした動きの場合、１秒間に７２ピクセルの移動を伴うので、毎秒２４フレームの場合、各マクロブロックの動き量は、１フレームあたり３ピクセルとなり、全マクロブロックの動き量の総和は、４５×３６×３＝４８６０ピクセルである。一方、動きの速い画像では、１秒間に７２０ピクセルの移動を伴うので、１フレームあたり３０ピクセルであり、全マクロブロックの動き量の総和は、４８６００ピクセルである。これらの計算から、全マクロブロックの動き量の総和が約５０００ピクセル未満の場合には、静止画像と判断し、全マクロブロックの動き量の総和が約５００００ピクセル以上の場合には、動きの速い画像と判断することができる。そして、その中間である５０００以上５００００ピクセル未満の場合には、ゆっくりとした動きと判断する。これらのしきい値Ｘ１，Ｘ２を基準に３段階に区分する。 A slowly moving image is, for example, an image with a speed such that one screen is panned horizontally over about 10 seconds. On the other hand, a fast-moving image is an image that can be panned in one second within one second. That is, in the case of slow motion, 72 pixels are moved per second, so in the case of 24 frames per second, the amount of motion of each macroblock is 3 pixels per frame, and the total amount of motion of all macroblocks is 45 × 36 × 3 = 4860 pixels. On the other hand, a fast-moving image is accompanied by a movement of 720 pixels per second, so it is 30 pixels per frame, and the total amount of movement of all macroblocks is 48600 pixels. From these calculations, when the total motion amount of all macroblocks is less than about 5000 pixels, it is determined as a still image, and when the total motion amount of all macroblocks is about 50000 pixels or more, the motion is fast. It can be determined as an image. And when it is 5000 or more and less than 50000 pixels in the middle, it judges that it is a slow motion. These threshold values X1 and X2 are used as a reference to classify into three stages.

各マクロブロックの動き量は、入力する画像データからその都度計算するか、ＭＰＥＧストリーム形式の画像データ中に含まれる動きベクトルを抽出して利用することができる。これを前記動き量の２つのしきい値とそれぞれ比較することにより、どの段階の動きかを求め、フレーム挿入の可否を判断する。具体的には、マクロブロックの動き量の総和がＸ１（＝５０００ピクセル）未満またはＸ２（＝５００００ピクセル）以上の場合にはフレーム挿入を許可し、Ｘ１以上でＸ２未満の場合にはフレーム挿入を禁止する。 The amount of motion of each macroblock can be calculated from input image data each time, or a motion vector included in image data in the MPEG stream format can be extracted and used. By comparing this with the two threshold values of the amount of movement, it is determined which stage of movement, and whether or not frame insertion is possible is determined. Specifically, frame insertion is permitted when the sum of the motion amounts of macroblocks is less than X1 (= 5000 pixels) or X2 (= 50000 pixels), and frame insertion is permitted when X1 is greater than X1 and less than X2. Ban.

図３は、本実施例にかかる動き検出部による動き量検出値と、フレーム挿入の可否結果の対応を示す。縦軸にマクロブロックの動き量の総和を、横軸に時間軸をとっている。時間とともにマクロブロックの動き量の総和が変化する。マクロブロックの動き量がＸ１（＝５０００ピクセル）以上かつＸ２（＝５００００）未満の期間が、フレーム挿入禁止となる。 FIG. 3 shows the correspondence between the motion amount detection value by the motion detector according to the present embodiment and the frame insertion result. The vertical axis represents the total amount of macroblock movement, and the horizontal axis represents the time axis. The total amount of movement of macroblocks changes with time. Frame insertion is prohibited during a period in which the amount of motion of the macroblock is greater than or equal to X1 (= 5000 pixels) and less than X2 (= 50000).

上記実施例では、マクロブロック単位での動きベクトルを利用して画像の動き量を検出し、フレーム挿入の可否を判断していたが、これに限定されるものではない。例えば、画面上の輝度の分布の変化を検出して画像の動きを検出することもできる。すなわち、画像が動けば、これに伴って輝度分布も移動するからである。この場合、画面上の各マクロブロック毎に、輝度の平均値を計算し、前後のフレームで、輝度の平均値がどの程度変化したかを求める。例えば、マクロブロックの輝度の平均値が１０％以上変化した場合に、そのマクロブロックに動きがあったと判断することができる。上記手順により、画面上の全てのマクロブロックについて動きの有無を検出する。動き「有」とされたマクロブロックが全マクロブロックの５％以下の場合には、静止画像と判断する。一方、動き「有」とされたマクロブロックが全マクロブロックの５０％以上の場合には、動きの速い画像と判断する。その中間５％以上で５０％未満の場合は、ゆっくりとした動きの画像と判断する。この場合のしきい値は、Ｘ１＝５％、Ｘ２＝５０％と設定する。このように、画面上の輝度の変化を検出することで、前記動きベクトルの計算法よりも簡単に、画像の動きの大きさを判別することができる。 In the above embodiment, the motion amount of an image is detected using a motion vector in units of macroblocks to determine whether or not a frame can be inserted. However, the present invention is not limited to this. For example, a change in luminance distribution on the screen can be detected to detect the movement of the image. That is, if the image moves, the luminance distribution moves accordingly. In this case, the average value of luminance is calculated for each macroblock on the screen, and how much the average value of luminance has changed between the previous and next frames is obtained. For example, when the average value of the luminance of a macro block changes by 10% or more, it can be determined that there is movement in the macro block. By the above procedure, the presence / absence of motion is detected for all macroblocks on the screen. When the macro block with the motion “present” is 5% or less of all the macro blocks, it is determined as a still image. On the other hand, if the number of macroblocks that have a motion “present” is 50% or more of all the macroblocks, it is determined that the image has a fast motion. If the intermediate value is 5% or more and less than 50%, it is determined that the image moves slowly. In this case, the threshold values are set as X1 = 5% and X2 = 50%. Thus, by detecting a change in luminance on the screen, it is possible to determine the magnitude of the motion of the image more easily than the motion vector calculation method.

上記した具体的数値は一例であり、表示装置や画像の種類等により適宜設定することができる。画像の動きの検出方法はこれ以外にも様々な方法が考えられる。画像の動きが画面内で不均一の場合には、画面全体の総和（平均）でなく、最大に変化した位置における最大変化量を用いることもできる。また画像の比較を行う場合、隣接する複数個のフレーム画像間で比較を行えば、より精度の高い判断をすることができる。 The specific numerical values described above are examples, and can be appropriately set depending on the display device, the type of image, and the like. There are various other methods for detecting the motion of the image. When the motion of the image is non-uniform in the screen, the maximum change amount at the position where the change is maximum can be used instead of the total (average) of the entire screen. Further, when comparing images, a more accurate determination can be made by comparing between a plurality of adjacent frame images.

図４は、フレームレート変換における入力画像と出力画像の時間的関係を、フレーム番号を付して示した図である。ここでは、周期的に補間する場合を示す。入力画像に対し出力画像は、所定時間だけ遅延して出力されるが、簡単のために対応するフレームを同位置に合わせて表示している。入力画像は、フレーム番号１から順に入力される。入力画像のフレームレートは、毎秒２４フレームである。一方、出力画像のフレーム番号は、毎秒２５フレームにてカウントされるので、１秒目に２５フレームとなる。この時点で、入力フレームとのフレーム数の差分が生じ、同一の入力フレーム（２４フレーム目）を２回繰返して出力（１回分挿入）し、フレーム補間を行う。これにより、入力画像のフレームレートを出力画像のフレームレートに変換して出力する。 FIG. 4 is a diagram showing a temporal relationship between an input image and an output image in frame rate conversion, with frame numbers attached. Here, a case of periodically interpolating is shown. Although the output image is output with a delay of a predetermined time with respect to the input image, the corresponding frame is displayed at the same position for simplicity. The input images are input in order from frame number 1. The frame rate of the input image is 24 frames per second. On the other hand, since the frame number of the output image is counted at 25 frames per second, it becomes 25 frames in the first second. At this point, a difference in the number of frames from the input frame occurs, and the same input frame (24th frame) is output twice (inserted once) to perform frame interpolation. As a result, the frame rate of the input image is converted into the frame rate of the output image and output.

図５は、図４において、本実施例の補間禁止信号が入力された場合の入力画像と出力画像の時間的関係を示す。図５では、入力画像の２フレーム目から２９フレーム目にかけて、補間可否判別部１０３からの補間禁止信号が入力されている。開始より１秒経過した時点で、入力画像は２４フレームであり、出力画像は２５フレームとなるので、１フレームの差分が発生する。しかしながら、出力フレームの２フレーム目から３０フレーム目に関しては、補間を禁止する補間禁止信号が付与されているので、この期間、補間は行わず、入力画像をそのまま出力する。入力画像の３０フレーム目からは、補間禁止信号が解除されているので、この時点で３０フレーム目の画像を繰返して出力し、フレーム番号のずれを吸収する。以上のような処理により、入力画像と出力画像のフレームレートの変換を行う。この時、ゆっくりとした動きの場面では補間を禁止することで、補間したことが目立ちにくく、視聴者に違和感を与えることがない。 FIG. 5 shows the temporal relationship between the input image and the output image when the interpolation prohibition signal of this embodiment is input in FIG. In FIG. 5, the interpolation prohibition signal from the interpolation enable / disable determining unit 103 is input from the second frame to the 29th frame of the input image. When one second has elapsed from the start, the input image has 24 frames and the output image has 25 frames, so a difference of 1 frame occurs. However, since the interpolation prohibition signal for prohibiting the interpolation is given to the 2nd to 30th frames of the output frame, the interpolation is not performed during this period, and the input image is output as it is. Since the interpolation prohibition signal is canceled from the 30th frame of the input image, the 30th frame image is repeatedly output at this time to absorb the frame number shift. The frame rate of the input image and the output image is converted by the processing as described above. At this time, the interpolation is prohibited in a slowly moving scene, so that the interpolation is not noticeable and the viewer does not feel uncomfortable.

以上のように、本実施例にかかるフレームレート変換装置は、フレームレートの異なる画像に変換する場合、フレーム画像の繰返しにより補間したことが目立ちにくく、変換後の画像がスムーズに表示され、視覚的に不自然さを与えることがない。 As described above, in the frame rate conversion apparatus according to the present embodiment, when converting to an image with a different frame rate, it is difficult to interpolate by repeating the frame image, and the converted image is displayed smoothly and visually. No unnaturalness.

上記実施例では、フレームレートを毎秒２４フレームから毎秒２５フレームに変換する場合について述べたが、これ以外の変換にも適用できることは言うまでもない。例えば、フレームレートを２４→３０、２５→３０への変換でも有効である。 In the above embodiment, the case where the frame rate is converted from 24 frames per second to 25 frames per second has been described, but it goes without saying that the conversion can be applied to other conversions. For example, it is also effective in converting the frame rate from 24 → 30 and 25 → 30.

さらに、本発明はフレームレートを下げるためにフレームを間引く逆変換の場合にも適用できる。すなわち、ゆっくりした動きの画像からフレームを間引くと、一瞬その時点での動きが速まるので、視聴者に違和感を与える。そこで、ゆっくりした動きの場合には、間引き禁止信号を発生させ、その画像の間引きを禁止する。これにより、フレームレートを２５→２４、３０→２４、３０→２５に変換する逆変換を好適に実現できる。 Furthermore, the present invention can also be applied to the case of inverse transformation that thins out frames in order to reduce the frame rate. That is, if a frame is thinned out from an image of slow motion, the motion at that moment increases quickly, giving the viewer a sense of discomfort. Therefore, in the case of slow movement, a thinning prohibition signal is generated to prohibit thinning of the image. As a result, it is possible to suitably realize the inverse conversion for converting the frame rate from 25 → 24, 30 → 24, and 30 → 25.

図６は、本発明にかかるフレームレート変換装置を有する画像信号再生装置の一実施例を示すブロック図である。本装置は、光ディスク媒体から画像信号を再生し、かつ再生信号のフレームレートを変換する機能を有する。５０１はディスク装置、５０２は出力制御部、５０３は音声デコーダ、５０４は音声信号出力端子、５０５は画像デコーダ、５０６は第１の画像信号出力端子、５０７はフレームレート変換部、５０８は第２の画像信号出力端子、５０９はシステム制御部、５１０はリモコン受信部である。フレームレート変換部５０７は、画像デコーダ５０５から出力された画像信号のフレームレートを変換して、第２の画像信号出力端子５０８に出力する。なお、ディスク装置５０１は外部装置として接続しても良い。 FIG. 6 is a block diagram showing an embodiment of an image signal reproduction apparatus having a frame rate conversion apparatus according to the present invention. This apparatus has a function of reproducing an image signal from an optical disk medium and converting the frame rate of the reproduced signal. Reference numeral 501 denotes a disk device, 502 an output control unit, 503 an audio decoder, 504 an audio signal output terminal, 505 an image decoder, 506 a first image signal output terminal, 507 a frame rate conversion unit, and 508 a second output. An image signal output terminal, 509 is a system control unit, and 510 is a remote control receiving unit. The frame rate conversion unit 507 converts the frame rate of the image signal output from the image decoder 505 and outputs it to the second image signal output terminal 508. The disk device 501 may be connected as an external device.

次に、再生装置の動作を説明する。ディスク装置５０１には、毎秒２４枚のフレームレートで画像信号を記録した光ディスクがセットされているものとする。画像信号は、ＭＰＥＧ方式に従い圧縮符号化されている。ディスク装置５０１は、システム制御部５０９からの指令に従い、光ディスク上から画像信号などのデータの読み出しを行う。 Next, the operation of the playback device will be described. It is assumed that an optical disk on which image signals are recorded at a frame rate of 24 frames per second is set in the disk device 501. The image signal is compression encoded according to the MPEG system. The disk device 501 reads data such as an image signal from the optical disk in accordance with a command from the system control unit 509.

ユーザーがリモコン（図示せず）を用いて再生開始を指示すると、リモコンからの信号がリモコン受信部５１０により受信され、システム制御部５０９に入力される。システム制御部５０９は、入力された再生開始指令を受け、光ディスクからのデータ再生動作を開始する。 When the user uses a remote control (not shown) to start playback, a signal from the remote control is received by the remote control receiving unit 510 and input to the system control unit 509. In response to the input reproduction start command, the system control unit 509 starts a data reproduction operation from the optical disc.

再生動作を開始すると、システム制御部５０９は、光ディスク上に記録されているファイルを識別するために、ファイル管理情報の読み出しを開始する。光ディスク上には、ファイル管理情報として、例えば、ＵＤＦ（ＵｎｉｖｅｒｓａｌＤｉｓｋＦｏｒｍａｔ）形式の情報が記録されているので、ＵＤＦの仕様に従い、ファイル管理情報を読み出す。ファイル管理情報には、光ディスク上に記録されている全てのファイルのファイル識別子（ファイル名）、記録開始セクター番号、記録データ長などの情報が含まれている。 When the reproduction operation is started, the system control unit 509 starts reading the file management information in order to identify the file recorded on the optical disc. On the optical disc, for example, information in UDF (Universal Disk Format) format is recorded as file management information. Therefore, the file management information is read according to the UDF specification. The file management information includes information such as file identifiers (file names), recording start sector numbers, and recording data lengths of all files recorded on the optical disc.

システム制御部５０９は、これらファイル管理情報を用いて、光ディスク上に記録されているファイルを認識し、再生に必要なデータの読み出しを行う。具体的には、まず、メニュー画面表示のためのメニュー情報を読み出し、その情報に基づき、画面にメニューを表示する。メニュー情報には、光ディスク上に記録されている各コンテンツのタイトル名、代表的な画面のサムネイル（縮小画面）およびそのコンテンツに対応したファイル識別子などが含まれており、これらを画面上に表示することにより、ユーザーは所望のコンテンツを選択することができる。ユーザーは、表示されたメニュー画面から所望のコンテンツをリモコンの左右ボタンなどで選択し、決定ボタンで指定する。 The system control unit 509 recognizes a file recorded on the optical disc using these file management information and reads out data necessary for reproduction. Specifically, first, the menu information for displaying the menu screen is read, and the menu is displayed on the screen based on the information. The menu information includes the title name of each content recorded on the optical disc, a thumbnail (reduced screen) of a typical screen, and a file identifier corresponding to the content, and these are displayed on the screen. Thus, the user can select desired content. The user selects desired content from the displayed menu screen with the left and right buttons of the remote controller and designates it with the enter button.

ユーザーのリモコン操作は、リモコン受信部５１０を介してシステム制御部５０９に入力され、再生が指定されたコンテンツの再生を開始する。具体的には、再生が指示されたコンテンツに対応したファイルの読み出すために、システム制御部５０９は、ディスク装置５０１に対して、コンテンツに対応したファイルの記録されている光ディスク上のセクターデータの読み出しを指示する。 The user's remote control operation is input to the system control unit 509 via the remote control receiving unit 510, and playback of the content designated for playback is started. Specifically, in order to read a file corresponding to the content instructed to be reproduced, the system control unit 509 reads out the sector data on the optical disc in which the file corresponding to the content is recorded to the disk device 501. Instruct.

セクターデータの読み出しが指示されると、ディスク装置５０１は、指定されたセクターのデータを読み出すため、光ディスクを所定の速度で回転させるとともに、光ピックアップを所定のセクター位置に移動し、レーザー光により光ディスク上の情報の読み出しを行う。光ディスクから読み出された情報は、ディスク装置内の信号処理回路により所定の復調処理・誤り訂正処理などが行われ、セクターデータとして出力制御部５０２に入力される。 When reading of sector data is instructed, the disk device 501 rotates the optical disk at a predetermined speed and moves the optical pickup to a predetermined sector position in order to read the data of the designated sector, and the optical disk is irradiated with laser light. The above information is read out. Information read from the optical disk is subjected to predetermined demodulation processing, error correction processing, and the like by a signal processing circuit in the disk device, and is input to the output control unit 502 as sector data.

出力制御部５０２は、光ディスク上から読み出されたセクターデータを所定の処理により、ＭＰＥＧ形式パケットに変換し、音声デコーダ５０３および画像デコーダ５０５に供給する。ここで、ＭＰＥＧパケットは、１８８バイトの長さであり、光ディスク上には、ＭＰＥＧパケットに４バイトのパケットヘッダーを付加した形で記録されている。このパケットヘッダーのうち、３０ビットはパケットの送出時刻を示すタイムスタンプ（時刻情報）として使用される。すなわち、出力制御部５０９は、出力時刻を計時する計時回路を有しており、計時回路で計時された時刻と、各パケットに付加されているタイムスタンプとを比較し、時刻が一致した時点で、パケットの出力を行う。これにより、各パケットの出力タイミングを制御することができる。 The output control unit 502 converts the sector data read from the optical disc into an MPEG format packet by a predetermined process, and supplies the packet to the audio decoder 503 and the image decoder 505. Here, the MPEG packet has a length of 188 bytes, and is recorded on the optical disc in a form in which a 4-byte packet header is added to the MPEG packet. Of this packet header, 30 bits are used as a time stamp (time information) indicating the packet transmission time. In other words, the output control unit 509 has a timing circuit that counts the output time, compares the time counted by the timing circuit with the time stamp added to each packet, and when the times match. , Output the packet. Thereby, the output timing of each packet can be controlled.

音声デコーダ５０３は、出力制御部５０２から入力されたＭＰＥＧパケットのうち、音声情報の含まれた音声パケットを使用し、音声のデコード（復号化）を行う。デコードされた音声信号は、音声出力端子５０４を介して、外部に接続されているアンプやスピーカーから音声として出力される。 The audio decoder 503 uses an audio packet including audio information among the MPEG packets input from the output control unit 502, and performs audio decoding (decoding). The decoded audio signal is output as audio from an amplifier or speaker connected to the outside via the audio output terminal 504.

画像デコーダ５０５は、出力制御部５０２から入力されたＭＰＥＧパケットのうち、画像情報の含まれたパケットを使用し、画像信号のデコード（復号化）を行う。ここで、画像デコーダ５０５によりデコードされた画像は、毎秒２４フレームのフレームレートを持つ画像信号である。この毎秒２４フレームの画像信号は、第１の画像信号出力端子５０６を介して接続される外部のモニターテレビに送られ、画像として表示される。ただし、これを表示するには、フレームレートが毎秒２４フレームに対応したモニターテレビでなければならない。 The image decoder 505 performs decoding (decoding) of an image signal using a packet including image information among MPEG packets input from the output control unit 502. Here, the image decoded by the image decoder 505 is an image signal having a frame rate of 24 frames per second. The image signal of 24 frames per second is sent to an external monitor television connected via the first image signal output terminal 506 and displayed as an image. However, in order to display this, the monitor television must have a frame rate of 24 frames per second.

本実施例の再生装置では、フレームレートの異なるＮＴＳＣ形式専用のモニターテレビやＰＡＬ形式専用のモニターテレビでも表示可能とするために、フレームレート変換部５０７を有している。 The playback apparatus of the present embodiment includes a frame rate conversion unit 507 so that it can be displayed on a monitor television dedicated to NTSC format and a monitor television dedicated to PAL format having different frame rates.

すなわち、画像デコーダ５０５から出力された毎秒２４フレームの画像信号は、フレームレート変換部５０７に入力され、ここで毎秒２５フレームまたは毎秒３０フレームの画像信号に変換され、第２の画像信号出力端子５０８に出力される。ここで、日本国内やアメリカ向けの製品では、ＮＴＳＣ形式に対応した毎秒３０フレームの画像信号に変換して出力する。一方、ヨーロッパ向けの製品では、ＰＡＬ形式に対応した毎秒２５フレームの画像信号に変換して出力するように構成する。もちろん、フレームレート変換部５０７を、切り替えによりＮＴＳＣ形式とＰＡＬ形式の双方に対応できるように構成しても良い。この場合、切り替えスイッチないし、ソフトウェアの設定などにより切り替えが可能なようにすればよい。あるいは、フレームレート変換部５０７を２つ設け、それぞれがＮＴＳＣ形式およびＰＡＬ形式の出力を行うように構成し、それぞれの出力を、それぞれの画像信号出力端子から出力するように構成してもよい。 That is, the image signal of 24 frames per second output from the image decoder 505 is input to the frame rate conversion unit 507, where it is converted into an image signal of 25 frames per second or 30 frames per second, and the second image signal output terminal 508 Is output. Here, in products for Japan and the United States, it is converted into an image signal of 30 frames per second corresponding to the NTSC format and output. On the other hand, a product for Europe is configured to convert and output an image signal of 25 frames per second corresponding to the PAL format. Of course, the frame rate conversion unit 507 may be configured to be compatible with both the NTSC format and the PAL format by switching. In this case, it is only necessary to enable switching by a changeover switch or software setting. Alternatively, two frame rate conversion units 507 may be provided, each configured to output in NTSC format and PAL format, and each output may be configured to be output from each image signal output terminal.

ここで、フレームレート変換部５０７の変換方法は、前記実施例で述べた通りである。画像デコーダ５０５から出力された毎秒２４フレームの画像信号を、画像の動き量に応じてフレーム補間するタイミングを調整し、フレームレート変換を行う。 Here, the conversion method of the frame rate conversion unit 507 is as described in the above embodiment. Frame rate conversion is performed by adjusting the timing of frame interpolation of the image signal of 24 frames per second output from the image decoder 505 according to the amount of motion of the image.

以上のようにして、光ディスク上に毎秒２４フレームのフレームレートで記録されている画像信号を再生し、毎秒３０フレームまたは毎秒２５フレームの画像信号に変換して出力することができる。 As described above, the image signal recorded on the optical disk at a frame rate of 24 frames per second can be reproduced, converted into an image signal of 30 frames per second or 25 frames per second, and output.

実施例１，２では、動き検出のため前後の画面を矩形領域に分割し、動きベクトルを計算していたが、これに限定されるものではない。例えば、光ディスク上に記録されているＭＰＥＧ方式のストリームでは、フレーム前後の画像の類似性を用いてデータ圧縮を行っている。また、１６×１６ピクセルのブロックごとに、動きベクトルを使用して、画像の補間処理を行っている。すなわち、ＭＰＥＧストリーム中には、既に動きベクトルの情報が含まれており、この動きベクトルを抽出して画像の動きの大きさを判断することができる。 In the first and second embodiments, the front and rear screens are divided into rectangular areas and motion vectors are calculated for motion detection. However, the present invention is not limited to this. For example, in an MPEG stream recorded on an optical disc, data compression is performed using the similarity of images before and after a frame. Further, image interpolation processing is performed using a motion vector for each block of 16 × 16 pixels. That is, the motion vector information is already included in the MPEG stream, and the motion vector can be extracted to determine the magnitude of the motion of the image.

図７は、本発明にかかるフレームレート変換装置の他の実施例を示すブロック図である。ここでは、ＭＰＥＧストリーム中の動きベクトルを用いて画面の動き量を検出し、フレームレート変換を行うものである。６０１はストリーム入力端子、６０２は動きベクトル検出部であり、その他の記号は図１と同じである。 FIG. 7 is a block diagram showing another embodiment of the frame rate conversion apparatus according to the present invention. Here, the motion rate of the screen is detected using the motion vector in the MPEG stream, and the frame rate is converted. Reference numeral 601 denotes a stream input terminal, 602 denotes a motion vector detection unit, and other symbols are the same as those in FIG.

動きベクトル検出部６０２では、ＭＰＥＧ方式でエンコードされたストリーム中に含まれる動きベクトル情報を検出する。検出した動きベクトルから、動きベクトルの平均値を求め、これを画像の動き量として使用する。これにより、前後の画像間の動き量を新たに計算することなく、各画像における動きの大きさを知ることができ、回路規模やメモリの削減を行うことができる。なお、動きベクトルは、全ての画像に含まれているわけではないが、数フレーム分の平均値を用いることにより、各画像における動きの大きさとして用いることが可能である。動きベクトル検出部６０２により検出された画像の動き量は、補間可否判別部１０３に入力され、動き量に応じて、フレーム補間の可否を判断する。補間可否判別部１０３は、ゆっくりした動きの画像の場合には、フレーム補間を禁止するための補間禁止信号を読み出し部１０５に対して出力する。 The motion vector detection unit 602 detects motion vector information included in a stream encoded by the MPEG method. From the detected motion vector, an average value of the motion vectors is obtained and used as the amount of motion of the image. Thus, the amount of motion in each image can be known without newly calculating the amount of motion between the previous and next images, and the circuit scale and memory can be reduced. The motion vector is not included in all images, but can be used as the magnitude of motion in each image by using an average value for several frames. The amount of motion of the image detected by the motion vector detection unit 602 is input to the interpolation enable / disable determining unit 103 and determines whether frame interpolation is possible according to the amount of motion. In the case of an slowly moving image, the interpolation enable / disable determining unit 103 outputs an interpolation prohibition signal for prohibiting frame interpolation to the reading unit 105.

図８は、図７に示したフレームレート変換装置を用いた画像信号再生装置の他の実施例を示すブロック図である。この再生装置では、出力制御部５０２から出力されたＭＰＥＧストリームは、画像デコーダ５０５に入力するとともに、フレームレート変換部７０１にも入力される。フレームレート変換部７０１の内部は図７に示した通りで、ＭＰＥＧストリームは、入力端子６０１を介して動きベクトル検出部６０２に入力される。 FIG. 8 is a block diagram showing another embodiment of the image signal reproducing apparatus using the frame rate converting apparatus shown in FIG. In this playback apparatus, the MPEG stream output from the output control unit 502 is input to the image decoder 505 and also to the frame rate conversion unit 701. The inside of the frame rate conversion unit 701 is as shown in FIG. 7, and the MPEG stream is input to the motion vector detection unit 602 via the input terminal 601.

動きベクトル検出部６０２では、ＭＰＥＧストリーム中の動きベクトル情報を検出し、画像の動き量を求める。補間可否判別部１０３は、動き量に応じてフレーム補間を禁止するための補間禁止信号を出力する。 The motion vector detection unit 602 detects motion vector information in the MPEG stream and obtains a motion amount of the image. The interpolation enable / disable determining unit 103 outputs an interpolation prohibition signal for prohibiting frame interpolation according to the amount of motion.

一方、ＭＰＥＧストリームは画像デコーダ５０５によりデコード（復号化）され、フレームレート変換部７０１の画像信号入力端子１０１に入力する。そして画像バッファメモリ１０４に一時記憶され、読み出し部１０５により所定のタイミングで読み出される。その際、補間可否判別部１０３からの補間禁止信号による補間の制限を行いながら、フレームレートが変換された画像信号を第２の画像信号出力端子５０８から出力する。 On the other hand, the MPEG stream is decoded (decoded) by the image decoder 505 and input to the image signal input terminal 101 of the frame rate conversion unit 701. Then, it is temporarily stored in the image buffer memory 104 and read out at a predetermined timing by the reading unit 105. At this time, the image signal with the frame rate converted is output from the second image signal output terminal 508 while the interpolation is limited by the interpolation prohibition signal from the interpolation enable / disable determining unit 103.

以上のように、ＭＰＥＧストリーム中に含まれる動きベクトル情報を用いて画像の動き量の検出を行うので、回路規模を削減することができる。 As described above, since the motion amount of the image is detected using the motion vector information included in the MPEG stream, the circuit scale can be reduced.

本発明にかかるフレームレート変換装置は、再生装置のみならず、記録装置においても適用可能である。図９は、本発明にかかるフレームレート変換装置を有する画像信号記録装置の一実施例を示すブロック図である。９０１は音声信号入力端子、９０２は音声エンコーダ、９０３は画像信号入力端子、９０４はフレームレート変換部、９０５は画像エンコーダ、９０６は記録制御部である。他の符号は、図６と共通である。 The frame rate conversion apparatus according to the present invention can be applied not only to a reproducing apparatus but also to a recording apparatus. FIG. 9 is a block diagram showing an embodiment of an image signal recording apparatus having a frame rate conversion apparatus according to the present invention. Reference numeral 901 denotes an audio signal input terminal, 902 an audio encoder, 903 an image signal input terminal, 904 a frame rate conversion unit, 905 an image encoder, and 906 a recording control unit. Other symbols are the same as those in FIG.

図９の記録装置では、フレームレートが毎秒２５フレームの画像信号（ＰＡＬ形式）を入力し、フレームレートが毎秒２４フレームの画像信号に変換して記録する場合を例に示す。毎秒２５フレームの画像信号を毎秒２４フレームの画像信号に変換するには、基本的には１秒間に１フレーム分の画像を間引く必要がある。その場合、静止画像や動きの速い画像からフレームを間引いても目立ちにくいが、ゆっくりとした動きの画像からフレームを間引くと非常に目立つ。従って、入力する画像信号の動き量に応じてフレームの間引きの可否を制御する。 The recording apparatus of FIG. 9 shows an example in which an image signal (PAL format) with a frame rate of 25 frames per second is input and converted into an image signal with a frame rate of 24 frames per second for recording. In order to convert an image signal of 25 frames per second into an image signal of 24 frames per second, it is basically necessary to thin out an image for one frame per second. In that case, even if a frame is thinned out from a still image or a fast-moving image, it is not noticeable, but when a frame is thinned out from a slowly moving image, it is very conspicuous. Therefore, whether to thin out frames is controlled according to the amount of motion of the input image signal.

毎秒２４フレームに変換された画像信号は、画像エンコーダ９０５により例えばＭＰＥＧ２のパケット形式に圧縮符号化され、記録制御部９０６に入力される。音声信号は音声エンコーダ９０２により圧縮符号化され、記録制御部９０６に入力される。 The image signal converted to 24 frames per second is compressed and encoded by the image encoder 905 into, for example, an MPEG2 packet format and input to the recording control unit 906. The audio signal is compression encoded by the audio encoder 902 and input to the recording control unit 906.

記録制御部９０６では、入力された画像および音声のＭＰＥＧパケットに所定のタイムスタンプを付加し、光ディスク上に記録可能な記録データの形式に変換を行う。システム制御部５０９は、ディスク装置５０１を制御し、ディスク上の所定のセクター位置に記録を行う。記録終了後、システム制御部５０９は、記録したデータを読み出し可能なようにファイル管理情報を書き換える。 The recording control unit 906 adds a predetermined time stamp to the input image and audio MPEG packets, and converts them into a recording data format that can be recorded on the optical disc. A system control unit 509 controls the disk device 501 to perform recording at a predetermined sector position on the disk. After the recording is completed, the system control unit 509 rewrites the file management information so that the recorded data can be read.

本実施例の記録装置では、ＰＡＬ形式の画像信号をフレームレートを毎秒２４フレームに低減して記録しているので、記録するデータ量を少なくできるため、符号化効率が向上する。また、フレームレート毎秒３０フレームのＮＴＳＣ信号についても、２−３プルダウンの逆変換を使用することにより、毎秒２４フレームの画像信号として記録することが可能である。その結果、ＰＡＬ、ＮＴＳＣ双方の画像信号を毎秒２４フレームで記録することができ、互換性の面からも望ましい。 In the recording apparatus of the present embodiment, the PAL format image signal is recorded with the frame rate reduced to 24 frames per second, so that the amount of data to be recorded can be reduced and the coding efficiency is improved. An NTSC signal with a frame rate of 30 frames per second can also be recorded as an image signal with 24 frames per second by using 2-3 pulldown inverse conversion. As a result, both PAL and NTSC image signals can be recorded at 24 frames per second, which is desirable in terms of compatibility.

本実施例の装置によりフレームレート毎秒２４フレームで記録した光ディスクは、前述の実施例の再生装置を用いることにより、ＰＡＬ、ＮＴＳＣ形式のフレームレートに変換して読み出すことが可能であることはいうまでもない。 It goes without saying that an optical disk recorded at a frame rate of 24 frames per second by the apparatus of this embodiment can be read by converting it to a PAL or NTSC format frame rate by using the reproducing apparatus of the above-described embodiment. Nor.

上記各実施例では、記録媒体として光ディスクを用いる場合を説明したが、これに限定されず、磁気記録媒体や半導体メモリなど任意の媒体に適用できる。 In each of the above-described embodiments, the case where an optical disk is used as a recording medium has been described.

本発明にかかるフレームレート変換装置の一実施例を示すブロック図。The block diagram which shows one Example of the frame rate conversion apparatus concerning this invention. 隣接する２つのフレーム画面の一例を示す図。The figure which shows an example of two adjacent frame screens. 動き量検出値とフレーム挿入の可否結果の対応を示す図。The figure which shows a response | compatibility with a motion amount detection value and the frame insertion availability result. フレームレート変換における入力画像と出力画像の関係を示す図。The figure which shows the relationship between the input image and output image in frame rate conversion. 補間禁止信号が入力された場合の、入力画像と出力画像の関係を示す図。The figure which shows the relationship between an input image and an output image when an interpolation prohibition signal is input. 本発明にかかる画像信号再生装置の一実施例を示すブロック図。1 is a block diagram showing an embodiment of an image signal reproduction device according to the present invention. 本発明にかかるフレームレート変換装置の他の実施例を示すブロック図。The block diagram which shows the other Example of the frame rate conversion apparatus concerning this invention. 本発明に係る画像信号再生装置の他の実施例を示すブロック図。The block diagram which shows the other Example of the image signal reproducing | regenerating apparatus based on this invention. 本発明にかかる画像信号記録装置の一実施例を示すブロック図。1 is a block diagram showing an embodiment of an image signal recording apparatus according to the present invention.

符号の説明Explanation of symbols

１０２…動き検出部、１０３…補間可否判別部、１０４…画像バッファメモリ、１０５…読み出し部、５０１…ディスク装置、５０２…出力制御部、５０３…音声デコーダ、５０５…画像デコーダ、５０７…フレームレート変換部、５０９…システム制御部、５１０…リモコン受信部、６０２…動きベクトル検出部、７０１…フレームレート変換部、９０２…音声エンコーダ、９０４…フレームレート変換部、９０５…画像エンコーダ、９０６…記録制御部。 DESCRIPTION OF SYMBOLS 102 ... Motion detection part, 103 ... Interpolation possibility determination part, 104 ... Image buffer memory, 105 ... Reading part, 501 ... Disk apparatus, 502 ... Output control part, 503 ... Audio | voice decoder, 505 ... Image decoder, 507 ... Frame rate conversion 509: System control unit, 510: Remote control reception unit, 602: Motion vector detection unit, 701: Frame rate conversion unit, 902 ... Audio encoder, 904 ... Frame rate conversion unit, 905 ... Image encoder, 906 ... Recording control unit .

Claims

第１のフレームレートを有する第１の画像信号を、フレームの繰返し挿入または間引きによって第２のフレームレートを有する第２の画像信号に変換するフレームレート変換方法であって、
上記第１の画像信号のうち繰返し挿入または間引きを行うべきフレームについて、隣接フレーム間の画像の動き量を検出し、
検出された動き量の大きさに応じて該フレームの繰返し挿入または間引きを制御することを特徴とするフレームレート変換方法。 A frame rate conversion method for converting a first image signal having a first frame rate into a second image signal having a second frame rate by repeated insertion or decimation of frames,
Detecting a motion amount of an image between adjacent frames for a frame to be repeatedly inserted or thinned out of the first image signal;
A frame rate conversion method characterized by controlling the repeated insertion or thinning of the frame in accordance with the detected amount of motion.

請求項１に記載のフレームレート変換方法であって、
前記画像の動き量が、第１のしきい値Ｘ１以上で、かつ第２のしきい値Ｘ２未満の場合に（ただしＸ１＜Ｘ２とする）、前記フレームの繰返し挿入または間引きを禁止することを特徴とするフレームレート変換方法。 The frame rate conversion method according to claim 1,
Prohibiting repeated insertion or thinning of the frame when the amount of motion of the image is equal to or greater than the first threshold value X1 and less than the second threshold value X2 (where X1 <X2). A featured frame rate conversion method.

請求項１または請求項２に記載のフレームレート変換方法であって、
前記画像の動き量は、画面を複数の領域に分割し、隣接フレーム間での各領域の動きベクトル量を検出し、該動きベクトル量の画面全体での総和量から求めることを特徴とするフレームレート変換方法。 The frame rate conversion method according to claim 1 or 2, wherein
The motion amount of the image is obtained by dividing the screen into a plurality of regions, detecting a motion vector amount of each region between adjacent frames, and obtaining the motion vector amount from a total amount of the entire screen. Rate conversion method.

請求項１または請求項２に記載のフレームレート変換方法であって、
前記画像の動き量は、画面を複数の領域に分割し、隣接フレーム間での各領域における画像輝度の変化量を検出し、該変化量の画面全体での総和量から求めることを特徴とするフレームレート変換方法。 The frame rate conversion method according to claim 1 or 2, wherein
The amount of motion of the image is obtained by dividing the screen into a plurality of regions, detecting the amount of change in image brightness in each region between adjacent frames, and obtaining the amount of change from the total amount over the entire screen. Frame rate conversion method.

請求項１ないし請求項４のいずれか１項に記載のフレームレート変換方法であって、
前記第１のフレームレートと前記第２のフレームレートは、一方が毎秒２４フレームであり、他方が毎秒２５フレームであることを特徴とするフレームレート変換方法。 The frame rate conversion method according to any one of claims 1 to 4, wherein:
One of the first frame rate and the second frame rate is 24 frames per second, and the other is 25 frames per second.

第１のフレームレートを有する第１の画像信号を、フレームの繰返し挿入または間引きによって第２のフレームレートを有する第２の画像信号に変換するフレームレート変換装置であって、
上記第１の画像信号の各フレームを一時記憶する画像バッファメモリと、
上記第１の画像信号の各フレームについて、隣接フレーム間の画像の動き量を検出する動き検出手段と、
検出された動き量の大きさに応じて該フレームの繰返し挿入または間引きの可否を判別する判別手段と、
上記画像バッファメモリに一時記憶された画像信号を、上記判別手段の結果に従いフレームの繰返し挿入または間引きを行い、上記第２のフレームレートにて読み出す読出手段と、
を備えることを特徴とするフレームレート変換装置。 A frame rate conversion device that converts a first image signal having a first frame rate into a second image signal having a second frame rate by repeated insertion or decimation of frames,
An image buffer memory for temporarily storing each frame of the first image signal;
Motion detection means for detecting a motion amount of an image between adjacent frames for each frame of the first image signal;
A discriminating means for discriminating whether or not the frame can be repeatedly inserted or thinned out according to the detected amount of motion;
A reading means for repetitively inserting or thinning out frames of the image signal temporarily stored in the image buffer memory in accordance with the result of the discrimination means and reading at the second frame rate;
A frame rate conversion apparatus comprising:

請求項６に記載のフレームレート変換装置であって、
前記判別手段は、前記動き検出手段により検出された画像の動き量が、第１のしきい値Ｘ１以上で、かつ第２のしきい値Ｘ２未満の場合に（ただしＸ１＜Ｘ２とする）、前記フレームの繰返し挿入または間引きを禁止することを特徴とするフレームレート変換装置。 The frame rate conversion device according to claim 6,
The discriminating means, when the amount of motion of the image detected by the motion detecting means is not less than the first threshold value X1 and less than the second threshold value X2 (where X1 <X2). A frame rate conversion apparatus characterized by prohibiting repeated insertion or thinning of the frame.

請求項６または請求項７に記載のフレームレート変換装置であって、
前記動き検出手段は、前記画像の動き量として、画面を複数の領域に分割し、隣接フレーム間での各領域の動きベクトル量を検出し、該動きベクトル量の画面全体での総和量から求めることを特徴とするフレームレート変換装置。 The frame rate conversion apparatus according to claim 6 or 7,
The motion detection means divides the screen into a plurality of regions as the motion amount of the image, detects the motion vector amount of each region between adjacent frames, and obtains the motion vector amount from the total amount of the entire screen. A frame rate conversion apparatus characterized by that.

請求項６または請求項７に記載のフレームレート変換装置であって、
前記動き検出手段は、前記画像の動き量として、画面を複数の領域に分割し、隣接フレーム間での各領域における画像輝度の変化量を検出し、該変化量の画面全体での総和量から求めることを特徴とするフレームレート変換装置。 The frame rate conversion apparatus according to claim 6 or 7,
The motion detection means divides the screen into a plurality of regions as the amount of motion of the image, detects the amount of change in image brightness in each region between adjacent frames, and calculates the amount of change from the total amount over the entire screen. A frame rate conversion device characterized in that it is obtained.

請求項６ないし請求項９のいずれか１項に記載のフレームレート変換装置であって、
前記第１のフレームレートと前記第２のフレームレートは、一方が毎秒２４フレームであり、他方が毎秒２５フレームであることを特徴とするフレームレート変換装置。 The frame rate conversion device according to any one of claims 6 to 9,
One of the first frame rate and the second frame rate is 24 frames per second, and the other is 25 frames per second.

第１のフレームレートを有する画像信号を、フレームの繰返し挿入または間引きによって第２のフレームレートを有する画像信号に変換し、圧縮符号化して記録媒体に記録する画像信号記録装置であって、
上記第１のフレームレートを有する画像信号の各フレームを一時記憶する画像バッファメモリと、
上記画像信号の各フレームについて、隣接フレーム間の画像の動き量を検出する動き検出手段と、
該検出された動き量の大きさに応じて該フレームの繰返し挿入または間引きの可否を判別する判別手段と、
上記画像バッファメモリに一時記憶された画像信号を、上記判別手段の結果に従いフレームの繰返し挿入または間引きを行い、上記第２のフレームレートに変換して読み出す読出手段と、
該読み出した画像信号を圧縮符号化するエンコーダ部と、
該圧縮符号化された画像信号を記録媒体に記録する記録部と、
を備えることを特徴とする画像信号記録装置。 An image signal recording apparatus for converting an image signal having a first frame rate into an image signal having a second frame rate by repeated insertion or thinning of frames, compression-coding and recording the image signal on a recording medium,
An image buffer memory for temporarily storing each frame of the image signal having the first frame rate;
For each frame of the image signal, motion detection means for detecting the amount of motion of the image between adjacent frames;
A discriminating means for discriminating whether or not the frame can be repeatedly inserted or thinned out according to the detected amount of motion;
A reading means that reads out the image signal temporarily stored in the image buffer memory by repeatedly inserting or thinning out frames according to the result of the discrimination means, and converting and reading to the second frame rate;
An encoder for compressing and encoding the read image signal;
A recording unit for recording the compression-encoded image signal on a recording medium;
An image signal recording apparatus comprising:

記録媒体から圧縮符号化され第１のフレームレートを有する画像信号を再生し、フレームの繰返し挿入または間引きによって第２のフレームレートを有する画像信号に変換する画像信号再生装置であって、
上記記録媒体から上記圧縮符号化された画像信号を再生する再生部と、
該再生された画像信号を復号化するデコーダ部と、
該復号化された画像信号の各フレームを一時記憶する画像バッファメモリと、
上記再生された画像信号の各フレームについて、隣接フレーム間の画像の動き量を検出する動き検出手段と、
該検出された動き量の大きさに応じて該フレームの繰返し挿入または間引きの可否を判別する判別手段と、
上記画像バッファメモリに一時記憶された画像信号を、上記判別手段の結果に従いフレームの繰返し挿入または間引きを行い、上記第２のフレームレートに変換して読み出す読出手段と、
を備えることを特徴とする画像信号再生装置。 An image signal reproduction device that reproduces an image signal having a first frame rate that is compression-encoded from a recording medium, and converts the image signal to an image signal having a second frame rate by repeated insertion or thinning of frames.
A reproduction unit for reproducing the compression-encoded image signal from the recording medium;
A decoder unit for decoding the reproduced image signal;
An image buffer memory for temporarily storing each frame of the decoded image signal;
For each frame of the reproduced image signal, motion detection means for detecting the amount of motion of the image between adjacent frames;
A discriminating means for discriminating whether or not the frame can be repeatedly inserted or thinned out according to the detected amount of motion;
A reading means that reads out the image signal temporarily stored in the image buffer memory by repeatedly inserting or thinning out frames according to the result of the discrimination means, and converting and reading to the second frame rate;
An image signal reproducing apparatus comprising: