JP2006050230A - Frame rate converting method, converter, image signal recorder, and reproducer - Google Patents
Frame rate converting method, converter, image signal recorder, and reproducer Download PDFInfo
- Publication number
- JP2006050230A JP2006050230A JP2004228078A JP2004228078A JP2006050230A JP 2006050230 A JP2006050230 A JP 2006050230A JP 2004228078 A JP2004228078 A JP 2004228078A JP 2004228078 A JP2004228078 A JP 2004228078A JP 2006050230 A JP2006050230 A JP 2006050230A
- Authority
- JP
- Japan
- Prior art keywords
- frame rate
- image
- image signal
- motion
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Television Systems (AREA)
Abstract
Description
本発明は、第1のフレームレートで記録された画像信号を、これと異なる第2のフレームレートの画像信号に変換するフレームレート変換方法および変換装置に関するものである。また本発明は、これを用いた画像信号記録装置および再生装置に関する。 The present invention relates to a frame rate conversion method and a conversion apparatus for converting an image signal recorded at a first frame rate into an image signal having a second frame rate different from the image signal. The present invention also relates to an image signal recording apparatus and reproducing apparatus using the same.
画像信号フォーマットとして、NTSC方式における毎秒約30フレームのフレームレートと、PAL方式における毎秒25フレームのフレームレートが存在する。また、映画は毎秒24コマのフィルムで撮られているため、画像信号は毎秒24フレームのフレームレートとなる。従来、映画コンテンツを記録媒体に記録する場合には、予めNTSC方式ないしPAL方式に変換した上で記録していた。しかしながら、この方法では、記録する情報に無駄が生じやすく、画質も劣化しやすい。そこで、記録媒体上に記録するデータを毎秒24フレームの画像として記録しておく方法が提案されている。これにより、映画フィルムから直接エンコードを行うことができるので、画質の劣化がなく、記録する情報に無駄がない。 As an image signal format, there are a frame rate of about 30 frames per second in the NTSC system and a frame rate of 25 frames per second in the PAL system. In addition, since the movie is shot with 24 frames per second, the image signal has a frame rate of 24 frames per second. Conventionally, when movie content is recorded on a recording medium, it has been recorded after being converted into the NTSC system or the PAL system in advance. However, with this method, information to be recorded is likely to be wasted and the image quality is likely to deteriorate. Therefore, a method for recording data to be recorded on a recording medium as an image of 24 frames per second has been proposed. As a result, encoding can be performed directly from the motion picture film, so that there is no deterioration in image quality and information to be recorded is not wasted.
これらの画像信号をテレビ(モニター)に表示したり、記録装置に記録する場合には、表示装置や記録装置のフレームレートに合わせるよう変換する必要がある。フレームレートの変換のため、各種の技術が提案されてきた。 When these image signals are displayed on a television (monitor) or recorded on a recording device, it is necessary to convert them to match the frame rate of the display device or recording device. Various techniques have been proposed for frame rate conversion.
NTSC方式とPAL方式の相互変換については、例えば特許文献1に記載される。
The mutual conversion between the NTSC system and the PAL system is described in
映画の毎秒24フレームとNTSC方式(毎秒約30フレーム)との変換には、2−3プルダウンと呼ばれる変換技術が用いられ、例えば特許文献2に引用されている。 A conversion technique called 2-3 pull-down is used for conversion between 24 frames per second and NTSC (about 30 frames per second) of a movie.
通常のフレームレートの変換では、フレーム数が不足する場合には同一画像フレームを繰返し挿入し、フレーム数が過剰な場合には、フレーム画像を間引きすることによる。例えば、毎秒24フレームの画像を、毎秒30フレーム(60フィールド)に変換するためには、奇数フレームを2フィールドに、偶数フレームを3フィールドに変換する。毎秒24フレームの画像を毎秒25フレームに変換するためには、1秒に1回だけ、同一フレームを繰返して挿入する。これらの場合、挿入するタイミングは、フレーム数が所定数になる毎に周期的に挿入する。間引きについても、同様に周期的に行う。 In normal frame rate conversion, the same image frame is repeatedly inserted when the number of frames is insufficient, and the frame image is thinned out when the number of frames is excessive. For example, in order to convert an image of 24 frames per second into 30 frames (60 fields) per second, odd frames are converted into 2 fields and even frames are converted into 3 fields. In order to convert an image of 24 frames per second into 25 frames per second, the same frame is repeatedly inserted once per second. In these cases, the insertion timing is periodically inserted every time the number of frames reaches a predetermined number. Similarly, thinning is performed periodically.
フレームを挿入する位置が静止画像の場合には、同一画像を繰返し挿入しても不自然さは生じない。しかし、挿入位置が動画像の場合には、挿入位置で動きが止まるため、動きが不自然で、見にくい画像となってしまう。間引きについても、静止画像では問題ないが、動画像では間引き位置で動きが速まり不自然となる。 When the position where the frame is inserted is a still image, unnaturalness does not occur even if the same image is repeatedly inserted. However, when the insertion position is a moving image, the movement stops at the insertion position, so that the movement is unnatural and the image is difficult to see. Although there is no problem with thinning out in a still image, in a moving image, the movement is accelerated at the thinning out position and becomes unnatural.
本発明の目的は、変換後の画像がスムーズに表示され、視覚的に不自然さを与えることのないようなフレームレート変換方法、変換装置、これを用いた記録装置、再生装置を提供することにある。 An object of the present invention is to provide a frame rate conversion method, a conversion device, a recording device, and a playback device using the same, in which the converted image is displayed smoothly and does not give visual unnaturalness. It is in.
本発明のフレームレート変換方法は、第1のフレームレートを有する第1の画像信号を、フレームの繰返し挿入または間引きによって第2のフレームレートを有する第2の画像信号に変換するものであって、第1の画像信号のうち繰返し挿入または間引きを行うべきフレームについて、隣接フレーム間の画像の動き量を検出し、検出された動き量の大きさに応じて該フレームの繰返し挿入または間引きを制御するものである。 The frame rate conversion method of the present invention converts a first image signal having a first frame rate into a second image signal having a second frame rate by repeated insertion or decimation of frames, For the frame to be repeatedly inserted or thinned out of the first image signal, the amount of motion of the image between adjacent frames is detected, and the repeated insertion or thinning of the frame is controlled according to the detected amount of motion. Is.
ここで、画像の動き量が、第1のしきい値X1以上で、かつ第2のしきい値X2未満の場合に(ただしX1<X2とする)、フレームの繰返し挿入または間引きを禁止する。また、画像の動き量は、画面を複数の領域に分割し、隣接フレーム間での各領域の動きベクトル量を検出し、動きベクトル量の画面全体での総和量から求める。あるいは、画像の動き量は、画面を複数の領域に分割し、隣接フレーム間での各領域における画像輝度の変化量を検出し、変化量の画面全体での総和量から求める。 Here, when the amount of motion of the image is greater than or equal to the first threshold value X1 and less than the second threshold value X2 (where X1 <X2), frame repetitive insertion or decimation is prohibited. Further, the amount of motion of the image is obtained from the total amount of motion vector amounts on the entire screen by dividing the screen into a plurality of regions, detecting the motion vector amount of each region between adjacent frames. Alternatively, the motion amount of the image is obtained from the total amount of the change amount over the entire screen by dividing the screen into a plurality of regions, detecting the change amount of the image brightness in each region between adjacent frames.
本発明のフレームレート変換装置は、第1のフレームレートを有する第1の画像信号を、フレームの繰返し挿入または間引きによって第2のフレームレートを有する第2の画像信号に変換するものであって、第1の画像信号の各フレームを一時記憶する画像バッファメモリと、第1の画像信号の各フレームについて、隣接フレーム間の画像の動き量を検出する動き検出手段と、検出された動き量の大きさに応じて該フレームの繰返し挿入または間引きの可否を判別する判別手段と、画像バッファメモリに一時記憶された画像信号を、判別手段の結果に従いフレームの繰返し挿入または間引きを行い、第2のフレームレートにて読み出す読出手段とを備える。 The frame rate conversion device of the present invention converts a first image signal having a first frame rate into a second image signal having a second frame rate by repeated insertion or thinning of frames. An image buffer memory for temporarily storing each frame of the first image signal; a motion detecting means for detecting a motion amount of an image between adjacent frames for each frame of the first image signal; and a magnitude of the detected motion amount A second discriminating unit for discriminating whether or not the frame can be repeatedly inserted or thinned according to the result, and the image signal temporarily stored in the image buffer memory is repeatedly inserted or thinned out according to the result of the discriminating unit. Reading means for reading at a rate.
本発明の画像信号記録装置は、第1のフレームレートを有する画像信号を、フレームの繰返し挿入または間引きによって第2のフレームレートを有する画像信号に変換し、圧縮符号化して記録媒体に記録するものであって、第1のフレームレートを有する画像信号の各フレームを一時記憶する画像バッファメモリと、画像信号の各フレームについて、隣接フレーム間の画像の動き量を検出する動き検出手段と、検出された動き量の大きさに応じて該フレームの繰返し挿入または間引きの可否を判別する判別手段と、画像バッファメモリに一時記憶された画像信号を、判別手段の結果に従いフレームの繰返し挿入または間引きを行い、第2のフレームレートに変換して読み出す読出手段と、読み出した画像信号を圧縮符号化するエンコーダ部と、圧縮符号化された画像信号を記録媒体に記録する記録部とを備える。 An image signal recording apparatus according to the present invention converts an image signal having a first frame rate into an image signal having a second frame rate by repeated insertion or thinning of frames, and compression-encodes the image signal for recording on a recording medium. An image buffer memory for temporarily storing each frame of the image signal having the first frame rate, and a motion detection means for detecting the amount of motion of the image between adjacent frames for each frame of the image signal, The discriminating means for discriminating whether or not the frame can be repeatedly inserted or thinned according to the amount of movement, and the image signal temporarily stored in the image buffer memory is repeatedly inserted or thinned out according to the result of the discriminating means. Reading means for converting to a second frame rate and reading; and an encoder unit for compressing and encoding the read image signal; And a recording section for recording the compression-encoded image signal on a recording medium.
本発明の画像信号再生装置は、記録媒体から圧縮符号化され第1のフレームレートを有する画像信号を再生し、フレームの繰返し挿入または間引きによって第2のフレームレートを有する画像信号に変換するものであって、記録媒体から圧縮符号化された画像信号を再生する再生部と、再生された画像信号を復号化するデコーダ部と、復号化された画像信号の各フレームを一時記憶する画像バッファメモリと、再生された画像信号の各フレームについて、隣接フレーム間の画像の動き量を検出する動き検出手段と、検出された動き量の大きさに応じて該フレームの繰返し挿入または間引きの可否を判別する判別手段と、画像バッファメモリに一時記憶された画像信号を、判別手段の結果に従いフレームの繰返し挿入または間引きを行い、第2のフレームレートに変換して読み出す読出手段とを備える。 The image signal reproduction apparatus of the present invention reproduces an image signal having a first frame rate that has been compression-encoded from a recording medium, and converts the image signal to an image signal having a second frame rate by repeated insertion or thinning of frames. A reproduction unit that reproduces a compression-encoded image signal from a recording medium; a decoder unit that decodes the reproduced image signal; and an image buffer memory that temporarily stores each frame of the decoded image signal; For each frame of the reproduced image signal, motion detection means for detecting the motion amount of the image between adjacent frames, and whether or not the frame can be repeatedly inserted or thinned according to the magnitude of the detected motion amount is determined. The image signal temporarily stored in the discriminating means and the image buffer memory is repeatedly inserted or thinned out according to the result of the discriminating means, and the second And a reading means for reading by converting the frame rate.
本発明によれば、フレームレート変換において、変換後の画像がスムーズに表示され、視覚的に不自然さを与えることのない画像変換方法と変換装置を提供できる。 According to the present invention, it is possible to provide an image conversion method and a conversion apparatus in which a converted image is smoothly displayed in frame rate conversion and visually unnatural.
以下本発明のフレームレート変換方法、変換装置、およびこれを用いた画像信号記録装置および再生装置について、実施例を用いて説明する。 Hereinafter, a frame rate conversion method, a conversion apparatus, and an image signal recording apparatus and a reproduction apparatus using the same according to the present invention will be described with reference to examples.
図1は、本発明にかかるフレームレート変換装置の一実施例を示すブロック図である。この実施例では、フレームレートが毎秒24フレームの画像信号を、フレームの繰返し挿入(補間)により、フレームレートが毎秒25フレームの画像信号に変換する場合を説明する。図1中、101は画像信号入力端子、102は動き検出部、103は補間可否判別部、104は画像バッファメモリ、105は読み出し部、106は画像信号出力端子である。すなわち、従来方式では、1秒に1回の割合で周期的に同一フレームを繰返して挿入(補間)していたものであるが、本実施例では、動き検出部102と補間可否判別部103を設け、補間の制御を行う構成としている。
FIG. 1 is a block diagram showing an embodiment of a frame rate conversion apparatus according to the present invention. In this embodiment, a case will be described in which an image signal with a frame rate of 24 frames per second is converted into an image signal with a frame rate of 25 frames per second by repeated frame insertion (interpolation). In FIG. 1, 101 is an image signal input terminal, 102 is a motion detection unit, 103 is an interpolation enable / disable determination unit, 104 is an image buffer memory, 105 is a read unit, and 106 is an image signal output terminal. That is, in the conventional method, the same frame is periodically inserted (interpolated) at a rate of once per second, but in this embodiment, the
画像信号入力端子101には、毎秒24フレームの画像信号が入力される。入力された画像信号は、動き検出部102および画像バッファメモリ104に入力される。
The image
動き検出部102では、入力された画像信号を隣接する直前のフレームの画像信号と比較し、フレーム間の画像の動きの大きさを検出する。動き検出部102の動作を、図2を用いて説明する。
The
図2は、隣接する2つのフレーム画面の一例を表し、(a)は直前のフレームの画面を示し、(b)は現フレームの画面を示す。 FIG. 2 shows an example of two adjacent frame screens, where (a) shows the screen of the previous frame, and (b) shows the screen of the current frame.
動き検出部102では、連続する2つの画面を比較し、画面内の画像の動きを検出する。具体的には、画面上をいくつかの矩形領域に分割し、各領域の画像が次の画面でどの領域に移動したかを、色彩ならびに輝度で比較し、移動量を求める。
The
図2の例では、(a)内に矩形で表した領域Cの画像が、(b)では右上方向の領域Dに移動していることが分かる。すなわち、領域Cから領域Dへの移動量を、ベクトル形式で、例えば、右に150ピクセル、上に30ピクセルのように表現して、定量化する。 In the example of FIG. 2, it can be seen that the image of the area C represented by a rectangle in (a) has moved to the area D in the upper right direction in (b). That is, the amount of movement from the region C to the region D is expressed in a vector format, for example, 150 pixels on the right and 30 pixels on the right, and quantified.
画面上の全ての矩形領域、あるいは代表となるいくつかの矩形領域についての移動ベクトル量を求め、それらの総和を計算することにより、画像の動き量を表す指標として使用する。動き検出部102は、このようにして求めた画像の動き量を動き検出結果として、補間可否判断部103に提供する。
The amount of movement vector for all rectangular areas on the screen or some representative rectangular areas is obtained, and the sum of these is calculated and used as an index representing the amount of motion of the image. The
補間可否判別部103では、動き検出部102から提供された画像の動き量の大きさから、当該フレーム画像の補間の可否を判断する。具体的には、動き量の大きさを(1)静止状態、(2)ゆっくりとした動き、(3)速い動き、の3段階に区分し、補間の可否を判断する。
The interpolation enable / disable determining
(1)静止状態とは、画面が静止した状態または画像の動きが非常に小さい状態である。静止状態では、画面上の動きがほとんどないため、同一の画像を補間しても、視覚的に全く違和感を与えない。 (1) The stationary state is a state where the screen is stationary or a state where the motion of the image is very small. In the stationary state, there is almost no movement on the screen, so even if the same image is interpolated, there is no visual discomfort.
(2)ゆっくりとした動きとは、カメラがゆっくりとパンしたり、画面内の物体がゆっくりと移動しているような場合である。このような場合、視聴者は画面内の物体を十分目で追うことが可能であり、同一画像を繰返して挿入すると、その画像部分が一瞬停止したように見え、なめらかな画像の動きの中では非常に目立ちやすい。 (2) Slow movement is when the camera pans slowly or an object in the screen moves slowly. In such a case, the viewer can follow the object in the screen with sufficient eyes, and if the same image is repeatedly inserted, the image portion seems to stop for a moment, and within the smooth image movement Very conspicuous.
(3)速い動きは、カメラが高速で移動し、背景が目まぐるしく変化したり、画面上の物体が高速で移動しているような場合である。このような場合には、視聴者の視点が追従できず、繰返し挿入を行っても目立ちにくい。 (3) Fast movement is a case where the camera moves at high speed, the background changes rapidly, or an object on the screen moves at high speed. In such a case, the viewer's viewpoint cannot follow, and even if it is repeatedly inserted, it is not noticeable.
従って、(1)(3)の場合は繰返し挿入(補間)することを許可し、(2)のゆっくりとした動きの場合には、補間を禁止する。補間可否判別部103は、どの段階かを判別し、(2)の場合には、補間禁止信号を出力する。
Accordingly, in the cases (1) and (3), repeated insertion (interpolation) is permitted, and in the case of the slow movement (2), interpolation is prohibited. The interpolation enable / disable determining
一方、画像信号入力端子101から入力された画像信号は、画像バッファメモリ104にも入力される。画像バッファメモリ104は、入力された画像信号をフレーム単位で一時記憶しておき、読み出し部105からの読み出し指令に従って出力する。画像バッファメモリ104は、数フレーム、または数10フレーム分の画像の記憶が可能な容量とする。
On the other hand, the image signal input from the image
読み出し部105は、入力された画像信号のフレーム数、および出力端子に出力を行うべき画像信号のフレーム数をそれぞれカウントしている。入力画像信号は毎秒24フレームなので、1秒間に24だけカウントを行う。一方、出力画像信号は毎秒25フレームなので、1秒間に25だけカウントを行う。これらカウント数の差分から、フレームの補間の要否タイミングを判断する。そして、補間可否判別部103からの補間禁止信号に従い、補間処理を行う。
The
ここで、動き検出部102の行う画像の動き量の検出方法について、より具体的に説明する。原画像は、横720ピクセル、縦576ピクセルの画素数を有するものとする。マクロブロックの大きさを16×16ピクセルとすると、画面は、横45×縦36のマクロブロックに分割される。ここでは、マクロブロック単位での画像の動きを表現する。
Here, the method of detecting the amount of motion of the image performed by the
ゆっくりとした動きの画像とは、例えば、10秒程度かけて1画面を水平にパンするような速さの画像である。一方、動きの速い画像とは、1画面を1秒以内でパンするような速さの画像である。すなわち、ゆっくりとした動きの場合、1秒間に72ピクセルの移動を伴うので、毎秒24フレームの場合、各マクロブロックの動き量は、1フレームあたり3ピクセルとなり、全マクロブロックの動き量の総和は、45×36×3=4860ピクセルである。一方、動きの速い画像では、1秒間に720ピクセルの移動を伴うので、1フレームあたり30ピクセルであり、全マクロブロックの動き量の総和は、48600ピクセルである。これらの計算から、全マクロブロックの動き量の総和が約5000ピクセル未満の場合には、静止画像と判断し、全マクロブロックの動き量の総和が約50000ピクセル以上の場合には、動きの速い画像と判断することができる。そして、その中間である5000以上50000ピクセル未満の場合には、ゆっくりとした動きと判断する。これらのしきい値X1,X2を基準に3段階に区分する。 A slowly moving image is, for example, an image with a speed such that one screen is panned horizontally over about 10 seconds. On the other hand, a fast-moving image is an image that can be panned in one second within one second. That is, in the case of slow motion, 72 pixels are moved per second, so in the case of 24 frames per second, the amount of motion of each macroblock is 3 pixels per frame, and the total amount of motion of all macroblocks is 45 × 36 × 3 = 4860 pixels. On the other hand, a fast-moving image is accompanied by a movement of 720 pixels per second, so it is 30 pixels per frame, and the total amount of movement of all macroblocks is 48600 pixels. From these calculations, when the total motion amount of all macroblocks is less than about 5000 pixels, it is determined as a still image, and when the total motion amount of all macroblocks is about 50000 pixels or more, the motion is fast. It can be determined as an image. And when it is 5000 or more and less than 50000 pixels in the middle, it judges that it is a slow motion. These threshold values X1 and X2 are used as a reference to classify into three stages.
各マクロブロックの動き量は、入力する画像データからその都度計算するか、MPEGストリーム形式の画像データ中に含まれる動きベクトルを抽出して利用することができる。これを前記動き量の2つのしきい値とそれぞれ比較することにより、どの段階の動きかを求め、フレーム挿入の可否を判断する。具体的には、マクロブロックの動き量の総和がX1(=5000ピクセル)未満またはX2(=50000ピクセル)以上の場合にはフレーム挿入を許可し、X1以上でX2未満の場合にはフレーム挿入を禁止する。 The amount of motion of each macroblock can be calculated from input image data each time, or a motion vector included in image data in the MPEG stream format can be extracted and used. By comparing this with the two threshold values of the amount of movement, it is determined which stage of movement, and whether or not frame insertion is possible is determined. Specifically, frame insertion is permitted when the sum of the motion amounts of macroblocks is less than X1 (= 5000 pixels) or X2 (= 50000 pixels), and frame insertion is permitted when X1 is greater than X1 and less than X2. Ban.
図3は、本実施例にかかる動き検出部による動き量検出値と、フレーム挿入の可否結果の対応を示す。縦軸にマクロブロックの動き量の総和を、横軸に時間軸をとっている。時間とともにマクロブロックの動き量の総和が変化する。マクロブロックの動き量がX1(=5000ピクセル)以上かつX2(=50000)未満の期間が、フレーム挿入禁止となる。 FIG. 3 shows the correspondence between the motion amount detection value by the motion detector according to the present embodiment and the frame insertion result. The vertical axis represents the total amount of macroblock movement, and the horizontal axis represents the time axis. The total amount of movement of macroblocks changes with time. Frame insertion is prohibited during a period in which the amount of motion of the macroblock is greater than or equal to X1 (= 5000 pixels) and less than X2 (= 50000).
上記実施例では、マクロブロック単位での動きベクトルを利用して画像の動き量を検出し、フレーム挿入の可否を判断していたが、これに限定されるものではない。例えば、画面上の輝度の分布の変化を検出して画像の動きを検出することもできる。すなわち、画像が動けば、これに伴って輝度分布も移動するからである。この場合、画面上の各マクロブロック毎に、輝度の平均値を計算し、前後のフレームで、輝度の平均値がどの程度変化したかを求める。例えば、マクロブロックの輝度の平均値が10%以上変化した場合に、そのマクロブロックに動きがあったと判断することができる。上記手順により、画面上の全てのマクロブロックについて動きの有無を検出する。動き「有」とされたマクロブロックが全マクロブロックの5%以下の場合には、静止画像と判断する。一方、動き「有」とされたマクロブロックが全マクロブロックの50%以上の場合には、動きの速い画像と判断する。その中間5%以上で50%未満の場合は、ゆっくりとした動きの画像と判断する。この場合のしきい値は、X1=5%、X2=50%と設定する。このように、画面上の輝度の変化を検出することで、前記動きベクトルの計算法よりも簡単に、画像の動きの大きさを判別することができる。 In the above embodiment, the motion amount of an image is detected using a motion vector in units of macroblocks to determine whether or not a frame can be inserted. However, the present invention is not limited to this. For example, a change in luminance distribution on the screen can be detected to detect the movement of the image. That is, if the image moves, the luminance distribution moves accordingly. In this case, the average value of luminance is calculated for each macroblock on the screen, and how much the average value of luminance has changed between the previous and next frames is obtained. For example, when the average value of the luminance of a macro block changes by 10% or more, it can be determined that there is movement in the macro block. By the above procedure, the presence / absence of motion is detected for all macroblocks on the screen. When the macro block with the motion “present” is 5% or less of all the macro blocks, it is determined as a still image. On the other hand, if the number of macroblocks that have a motion “present” is 50% or more of all the macroblocks, it is determined that the image has a fast motion. If the intermediate value is 5% or more and less than 50%, it is determined that the image moves slowly. In this case, the threshold values are set as X1 = 5% and X2 = 50%. Thus, by detecting a change in luminance on the screen, it is possible to determine the magnitude of the motion of the image more easily than the motion vector calculation method.
上記した具体的数値は一例であり、表示装置や画像の種類等により適宜設定することができる。画像の動きの検出方法はこれ以外にも様々な方法が考えられる。画像の動きが画面内で不均一の場合には、画面全体の総和(平均)でなく、最大に変化した位置における最大変化量を用いることもできる。また画像の比較を行う場合、隣接する複数個のフレーム画像間で比較を行えば、より精度の高い判断をすることができる。 The specific numerical values described above are examples, and can be appropriately set depending on the display device, the type of image, and the like. There are various other methods for detecting the motion of the image. When the motion of the image is non-uniform in the screen, the maximum change amount at the position where the change is maximum can be used instead of the total (average) of the entire screen. Further, when comparing images, a more accurate determination can be made by comparing between a plurality of adjacent frame images.
図4は、フレームレート変換における入力画像と出力画像の時間的関係を、フレーム番号を付して示した図である。ここでは、周期的に補間する場合を示す。入力画像に対し出力画像は、所定時間だけ遅延して出力されるが、簡単のために対応するフレームを同位置に合わせて表示している。入力画像は、フレーム番号1から順に入力される。入力画像のフレームレートは、毎秒24フレームである。一方、出力画像のフレーム番号は、毎秒25フレームにてカウントされるので、1秒目に25フレームとなる。この時点で、入力フレームとのフレーム数の差分が生じ、同一の入力フレーム(24フレーム目)を2回繰返して出力(1回分挿入)し、フレーム補間を行う。これにより、入力画像のフレームレートを出力画像のフレームレートに変換して出力する。
FIG. 4 is a diagram showing a temporal relationship between an input image and an output image in frame rate conversion, with frame numbers attached. Here, a case of periodically interpolating is shown. Although the output image is output with a delay of a predetermined time with respect to the input image, the corresponding frame is displayed at the same position for simplicity. The input images are input in order from
図5は、図4において、本実施例の補間禁止信号が入力された場合の入力画像と出力画像の時間的関係を示す。図5では、入力画像の2フレーム目から29フレーム目にかけて、補間可否判別部103からの補間禁止信号が入力されている。開始より1秒経過した時点で、入力画像は24フレームであり、出力画像は25フレームとなるので、1フレームの差分が発生する。しかしながら、出力フレームの2フレーム目から30フレーム目に関しては、補間を禁止する補間禁止信号が付与されているので、この期間、補間は行わず、入力画像をそのまま出力する。入力画像の30フレーム目からは、補間禁止信号が解除されているので、この時点で30フレーム目の画像を繰返して出力し、フレーム番号のずれを吸収する。以上のような処理により、入力画像と出力画像のフレームレートの変換を行う。この時、ゆっくりとした動きの場面では補間を禁止することで、補間したことが目立ちにくく、視聴者に違和感を与えることがない。
FIG. 5 shows the temporal relationship between the input image and the output image when the interpolation prohibition signal of this embodiment is input in FIG. In FIG. 5, the interpolation prohibition signal from the interpolation enable / disable determining
以上のように、本実施例にかかるフレームレート変換装置は、フレームレートの異なる画像に変換する場合、フレーム画像の繰返しにより補間したことが目立ちにくく、変換後の画像がスムーズに表示され、視覚的に不自然さを与えることがない。 As described above, in the frame rate conversion apparatus according to the present embodiment, when converting to an image with a different frame rate, it is difficult to interpolate by repeating the frame image, and the converted image is displayed smoothly and visually. No unnaturalness.
上記実施例では、フレームレートを毎秒24フレームから毎秒25フレームに変換する場合について述べたが、これ以外の変換にも適用できることは言うまでもない。例えば、フレームレートを24→30、25→30への変換でも有効である。 In the above embodiment, the case where the frame rate is converted from 24 frames per second to 25 frames per second has been described, but it goes without saying that the conversion can be applied to other conversions. For example, it is also effective in converting the frame rate from 24 → 30 and 25 → 30.
さらに、本発明はフレームレートを下げるためにフレームを間引く逆変換の場合にも適用できる。すなわち、ゆっくりした動きの画像からフレームを間引くと、一瞬その時点での動きが速まるので、視聴者に違和感を与える。そこで、ゆっくりした動きの場合には、間引き禁止信号を発生させ、その画像の間引きを禁止する。これにより、フレームレートを25→24、30→24、30→25に変換する逆変換を好適に実現できる。 Furthermore, the present invention can also be applied to the case of inverse transformation that thins out frames in order to reduce the frame rate. That is, if a frame is thinned out from an image of slow motion, the motion at that moment increases quickly, giving the viewer a sense of discomfort. Therefore, in the case of slow movement, a thinning prohibition signal is generated to prohibit thinning of the image. As a result, it is possible to suitably realize the inverse conversion for converting the frame rate from 25 → 24, 30 → 24, and 30 → 25.
図6は、本発明にかかるフレームレート変換装置を有する画像信号再生装置の一実施例を示すブロック図である。本装置は、光ディスク媒体から画像信号を再生し、かつ再生信号のフレームレートを変換する機能を有する。501はディスク装置、502は出力制御部、503は音声デコーダ、504は音声信号出力端子、505は画像デコーダ、506は第1の画像信号出力端子、507はフレームレート変換部、508は第2の画像信号出力端子、509はシステム制御部、510はリモコン受信部である。フレームレート変換部507は、画像デコーダ505から出力された画像信号のフレームレートを変換して、第2の画像信号出力端子508に出力する。なお、ディスク装置501は外部装置として接続しても良い。
FIG. 6 is a block diagram showing an embodiment of an image signal reproduction apparatus having a frame rate conversion apparatus according to the present invention. This apparatus has a function of reproducing an image signal from an optical disk medium and converting the frame rate of the reproduced signal.
次に、再生装置の動作を説明する。ディスク装置501には、毎秒24枚のフレームレートで画像信号を記録した光ディスクがセットされているものとする。画像信号は、MPEG方式に従い圧縮符号化されている。ディスク装置501は、システム制御部509からの指令に従い、光ディスク上から画像信号などのデータの読み出しを行う。
Next, the operation of the playback device will be described. It is assumed that an optical disk on which image signals are recorded at a frame rate of 24 frames per second is set in the
ユーザーがリモコン(図示せず)を用いて再生開始を指示すると、リモコンからの信号がリモコン受信部510により受信され、システム制御部509に入力される。システム制御部509は、入力された再生開始指令を受け、光ディスクからのデータ再生動作を開始する。
When the user uses a remote control (not shown) to start playback, a signal from the remote control is received by the remote
再生動作を開始すると、システム制御部509は、光ディスク上に記録されているファイルを識別するために、ファイル管理情報の読み出しを開始する。光ディスク上には、ファイル管理情報として、例えば、UDF(Universal Disk Format)形式の情報が記録されているので、UDFの仕様に従い、ファイル管理情報を読み出す。ファイル管理情報には、光ディスク上に記録されている全てのファイルのファイル識別子(ファイル名)、記録開始セクター番号、記録データ長などの情報が含まれている。
When the reproduction operation is started, the
システム制御部509は、これらファイル管理情報を用いて、光ディスク上に記録されているファイルを認識し、再生に必要なデータの読み出しを行う。具体的には、まず、メニュー画面表示のためのメニュー情報を読み出し、その情報に基づき、画面にメニューを表示する。メニュー情報には、光ディスク上に記録されている各コンテンツのタイトル名、代表的な画面のサムネイル(縮小画面)およびそのコンテンツに対応したファイル識別子などが含まれており、これらを画面上に表示することにより、ユーザーは所望のコンテンツを選択することができる。ユーザーは、表示されたメニュー画面から所望のコンテンツをリモコンの左右ボタンなどで選択し、決定ボタンで指定する。
The
ユーザーのリモコン操作は、リモコン受信部510を介してシステム制御部509に入力され、再生が指定されたコンテンツの再生を開始する。具体的には、再生が指示されたコンテンツに対応したファイルの読み出すために、システム制御部509は、ディスク装置501に対して、コンテンツに対応したファイルの記録されている光ディスク上のセクターデータの読み出しを指示する。
The user's remote control operation is input to the
セクターデータの読み出しが指示されると、ディスク装置501は、指定されたセクターのデータを読み出すため、光ディスクを所定の速度で回転させるとともに、光ピックアップを所定のセクター位置に移動し、レーザー光により光ディスク上の情報の読み出しを行う。光ディスクから読み出された情報は、ディスク装置内の信号処理回路により所定の復調処理・誤り訂正処理などが行われ、セクターデータとして出力制御部502に入力される。
When reading of sector data is instructed, the
出力制御部502は、光ディスク上から読み出されたセクターデータを所定の処理により、MPEG形式パケットに変換し、音声デコーダ503および画像デコーダ505に供給する。ここで、MPEGパケットは、188バイトの長さであり、光ディスク上には、MPEGパケットに4バイトのパケットヘッダーを付加した形で記録されている。このパケットヘッダーのうち、30ビットはパケットの送出時刻を示すタイムスタンプ(時刻情報)として使用される。すなわち、出力制御部509は、出力時刻を計時する計時回路を有しており、計時回路で計時された時刻と、各パケットに付加されているタイムスタンプとを比較し、時刻が一致した時点で、パケットの出力を行う。これにより、各パケットの出力タイミングを制御することができる。
The
音声デコーダ503は、出力制御部502から入力されたMPEGパケットのうち、音声情報の含まれた音声パケットを使用し、音声のデコード(復号化)を行う。デコードされた音声信号は、音声出力端子504を介して、外部に接続されているアンプやスピーカーから音声として出力される。
The
画像デコーダ505は、出力制御部502から入力されたMPEGパケットのうち、画像情報の含まれたパケットを使用し、画像信号のデコード(復号化)を行う。ここで、画像デコーダ505によりデコードされた画像は、毎秒24フレームのフレームレートを持つ画像信号である。この毎秒24フレームの画像信号は、第1の画像信号出力端子506を介して接続される外部のモニターテレビに送られ、画像として表示される。ただし、これを表示するには、フレームレートが毎秒24フレームに対応したモニターテレビでなければならない。
The
本実施例の再生装置では、フレームレートの異なるNTSC形式専用のモニターテレビやPAL形式専用のモニターテレビでも表示可能とするために、フレームレート変換部507を有している。
The playback apparatus of the present embodiment includes a frame
すなわち、画像デコーダ505から出力された毎秒24フレームの画像信号は、フレームレート変換部507に入力され、ここで毎秒25フレームまたは毎秒30フレームの画像信号に変換され、第2の画像信号出力端子508に出力される。ここで、日本国内やアメリカ向けの製品では、NTSC形式に対応した毎秒30フレームの画像信号に変換して出力する。一方、ヨーロッパ向けの製品では、PAL形式に対応した毎秒25フレームの画像信号に変換して出力するように構成する。もちろん、フレームレート変換部507を、切り替えによりNTSC形式とPAL形式の双方に対応できるように構成しても良い。この場合、切り替えスイッチないし、ソフトウェアの設定などにより切り替えが可能なようにすればよい。あるいは、フレームレート変換部507を2つ設け、それぞれがNTSC形式およびPAL形式の出力を行うように構成し、それぞれの出力を、それぞれの画像信号出力端子から出力するように構成してもよい。
That is, the image signal of 24 frames per second output from the
ここで、フレームレート変換部507の変換方法は、前記実施例で述べた通りである。画像デコーダ505から出力された毎秒24フレームの画像信号を、画像の動き量に応じてフレーム補間するタイミングを調整し、フレームレート変換を行う。
Here, the conversion method of the frame
以上のようにして、光ディスク上に毎秒24フレームのフレームレートで記録されている画像信号を再生し、毎秒30フレームまたは毎秒25フレームの画像信号に変換して出力することができる。 As described above, the image signal recorded on the optical disk at a frame rate of 24 frames per second can be reproduced, converted into an image signal of 30 frames per second or 25 frames per second, and output.
実施例1,2では、動き検出のため前後の画面を矩形領域に分割し、動きベクトルを計算していたが、これに限定されるものではない。例えば、光ディスク上に記録されているMPEG方式のストリームでは、フレーム前後の画像の類似性を用いてデータ圧縮を行っている。また、16×16ピクセルのブロックごとに、動きベクトルを使用して、画像の補間処理を行っている。すなわち、MPEGストリーム中には、既に動きベクトルの情報が含まれており、この動きベクトルを抽出して画像の動きの大きさを判断することができる。 In the first and second embodiments, the front and rear screens are divided into rectangular areas and motion vectors are calculated for motion detection. However, the present invention is not limited to this. For example, in an MPEG stream recorded on an optical disc, data compression is performed using the similarity of images before and after a frame. Further, image interpolation processing is performed using a motion vector for each block of 16 × 16 pixels. That is, the motion vector information is already included in the MPEG stream, and the motion vector can be extracted to determine the magnitude of the motion of the image.
図7は、本発明にかかるフレームレート変換装置の他の実施例を示すブロック図である。ここでは、MPEGストリーム中の動きベクトルを用いて画面の動き量を検出し、フレームレート変換を行うものである。601はストリーム入力端子、602は動きベクトル検出部であり、その他の記号は図1と同じである。
FIG. 7 is a block diagram showing another embodiment of the frame rate conversion apparatus according to the present invention. Here, the motion rate of the screen is detected using the motion vector in the MPEG stream, and the frame rate is converted.
動きベクトル検出部602では、MPEG方式でエンコードされたストリーム中に含まれる動きベクトル情報を検出する。検出した動きベクトルから、動きベクトルの平均値を求め、これを画像の動き量として使用する。これにより、前後の画像間の動き量を新たに計算することなく、各画像における動きの大きさを知ることができ、回路規模やメモリの削減を行うことができる。なお、動きベクトルは、全ての画像に含まれているわけではないが、数フレーム分の平均値を用いることにより、各画像における動きの大きさとして用いることが可能である。動きベクトル検出部602により検出された画像の動き量は、補間可否判別部103に入力され、動き量に応じて、フレーム補間の可否を判断する。補間可否判別部103は、ゆっくりした動きの画像の場合には、フレーム補間を禁止するための補間禁止信号を読み出し部105に対して出力する。
The motion
図8は、図7に示したフレームレート変換装置を用いた画像信号再生装置の他の実施例を示すブロック図である。この再生装置では、出力制御部502から出力されたMPEGストリームは、画像デコーダ505に入力するとともに、フレームレート変換部701にも入力される。フレームレート変換部701の内部は図7に示した通りで、MPEGストリームは、入力端子601を介して動きベクトル検出部602に入力される。
FIG. 8 is a block diagram showing another embodiment of the image signal reproducing apparatus using the frame rate converting apparatus shown in FIG. In this playback apparatus, the MPEG stream output from the
動きベクトル検出部602では、MPEGストリーム中の動きベクトル情報を検出し、画像の動き量を求める。補間可否判別部103は、動き量に応じてフレーム補間を禁止するための補間禁止信号を出力する。
The motion
一方、MPEGストリームは画像デコーダ505によりデコード(復号化)され、フレームレート変換部701の画像信号入力端子101に入力する。そして画像バッファメモリ104に一時記憶され、読み出し部105により所定のタイミングで読み出される。その際、補間可否判別部103からの補間禁止信号による補間の制限を行いながら、フレームレートが変換された画像信号を第2の画像信号出力端子508から出力する。
On the other hand, the MPEG stream is decoded (decoded) by the
以上のように、MPEGストリーム中に含まれる動きベクトル情報を用いて画像の動き量の検出を行うので、回路規模を削減することができる。 As described above, since the motion amount of the image is detected using the motion vector information included in the MPEG stream, the circuit scale can be reduced.
本発明にかかるフレームレート変換装置は、再生装置のみならず、記録装置においても適用可能である。図9は、本発明にかかるフレームレート変換装置を有する画像信号記録装置の一実施例を示すブロック図である。901は音声信号入力端子、902は音声エンコーダ、903は画像信号入力端子、904はフレームレート変換部、905は画像エンコーダ、906は記録制御部である。他の符号は、図6と共通である。
The frame rate conversion apparatus according to the present invention can be applied not only to a reproducing apparatus but also to a recording apparatus. FIG. 9 is a block diagram showing an embodiment of an image signal recording apparatus having a frame rate conversion apparatus according to the present invention.
図9の記録装置では、フレームレートが毎秒25フレームの画像信号(PAL形式)を入力し、フレームレートが毎秒24フレームの画像信号に変換して記録する場合を例に示す。毎秒25フレームの画像信号を毎秒24フレームの画像信号に変換するには、基本的には1秒間に1フレーム分の画像を間引く必要がある。その場合、静止画像や動きの速い画像からフレームを間引いても目立ちにくいが、ゆっくりとした動きの画像からフレームを間引くと非常に目立つ。従って、入力する画像信号の動き量に応じてフレームの間引きの可否を制御する。 The recording apparatus of FIG. 9 shows an example in which an image signal (PAL format) with a frame rate of 25 frames per second is input and converted into an image signal with a frame rate of 24 frames per second for recording. In order to convert an image signal of 25 frames per second into an image signal of 24 frames per second, it is basically necessary to thin out an image for one frame per second. In that case, even if a frame is thinned out from a still image or a fast-moving image, it is not noticeable, but when a frame is thinned out from a slowly moving image, it is very conspicuous. Therefore, whether to thin out frames is controlled according to the amount of motion of the input image signal.
毎秒24フレームに変換された画像信号は、画像エンコーダ905により例えばMPEG2のパケット形式に圧縮符号化され、記録制御部906に入力される。音声信号は音声エンコーダ902により圧縮符号化され、記録制御部906に入力される。
The image signal converted to 24 frames per second is compressed and encoded by the
記録制御部906では、入力された画像および音声のMPEGパケットに所定のタイムスタンプを付加し、光ディスク上に記録可能な記録データの形式に変換を行う。システム制御部509は、ディスク装置501を制御し、ディスク上の所定のセクター位置に記録を行う。記録終了後、システム制御部509は、記録したデータを読み出し可能なようにファイル管理情報を書き換える。
The
本実施例の記録装置では、PAL形式の画像信号をフレームレートを毎秒24フレームに低減して記録しているので、記録するデータ量を少なくできるため、符号化効率が向上する。また、フレームレート毎秒30フレームのNTSC信号についても、2−3プルダウンの逆変換を使用することにより、毎秒24フレームの画像信号として記録することが可能である。その結果、PAL、NTSC双方の画像信号を毎秒24フレームで記録することができ、互換性の面からも望ましい。 In the recording apparatus of the present embodiment, the PAL format image signal is recorded with the frame rate reduced to 24 frames per second, so that the amount of data to be recorded can be reduced and the coding efficiency is improved. An NTSC signal with a frame rate of 30 frames per second can also be recorded as an image signal with 24 frames per second by using 2-3 pulldown inverse conversion. As a result, both PAL and NTSC image signals can be recorded at 24 frames per second, which is desirable in terms of compatibility.
本実施例の装置によりフレームレート毎秒24フレームで記録した光ディスクは、前述の実施例の再生装置を用いることにより、PAL、NTSC形式のフレームレートに変換して読み出すことが可能であることはいうまでもない。 It goes without saying that an optical disk recorded at a frame rate of 24 frames per second by the apparatus of this embodiment can be read by converting it to a PAL or NTSC format frame rate by using the reproducing apparatus of the above-described embodiment. Nor.
上記各実施例では、記録媒体として光ディスクを用いる場合を説明したが、これに限定されず、磁気記録媒体や半導体メモリなど任意の媒体に適用できる。 In each of the above-described embodiments, the case where an optical disk is used as a recording medium has been described.
102…動き検出部、103…補間可否判別部、104…画像バッファメモリ、105…読み出し部、501…ディスク装置、502…出力制御部、503…音声デコーダ、505…画像デコーダ、507…フレームレート変換部、509…システム制御部、510…リモコン受信部、602…動きベクトル検出部、701…フレームレート変換部、902…音声エンコーダ、904…フレームレート変換部、905…画像エンコーダ、906…記録制御部。
DESCRIPTION OF
Claims (12)
上記第1の画像信号のうち繰返し挿入または間引きを行うべきフレームについて、隣接フレーム間の画像の動き量を検出し、
検出された動き量の大きさに応じて該フレームの繰返し挿入または間引きを制御することを特徴とするフレームレート変換方法。 A frame rate conversion method for converting a first image signal having a first frame rate into a second image signal having a second frame rate by repeated insertion or decimation of frames,
Detecting a motion amount of an image between adjacent frames for a frame to be repeatedly inserted or thinned out of the first image signal;
A frame rate conversion method characterized by controlling the repeated insertion or thinning of the frame in accordance with the detected amount of motion.
前記画像の動き量が、第1のしきい値X1以上で、かつ第2のしきい値X2未満の場合に(ただしX1<X2とする)、前記フレームの繰返し挿入または間引きを禁止することを特徴とするフレームレート変換方法。 The frame rate conversion method according to claim 1,
Prohibiting repeated insertion or thinning of the frame when the amount of motion of the image is equal to or greater than the first threshold value X1 and less than the second threshold value X2 (where X1 <X2). A featured frame rate conversion method.
前記画像の動き量は、画面を複数の領域に分割し、隣接フレーム間での各領域の動きベクトル量を検出し、該動きベクトル量の画面全体での総和量から求めることを特徴とするフレームレート変換方法。 The frame rate conversion method according to claim 1 or 2, wherein
The motion amount of the image is obtained by dividing the screen into a plurality of regions, detecting a motion vector amount of each region between adjacent frames, and obtaining the motion vector amount from a total amount of the entire screen. Rate conversion method.
前記画像の動き量は、画面を複数の領域に分割し、隣接フレーム間での各領域における画像輝度の変化量を検出し、該変化量の画面全体での総和量から求めることを特徴とするフレームレート変換方法。 The frame rate conversion method according to claim 1 or 2, wherein
The amount of motion of the image is obtained by dividing the screen into a plurality of regions, detecting the amount of change in image brightness in each region between adjacent frames, and obtaining the amount of change from the total amount over the entire screen. Frame rate conversion method.
前記第1のフレームレートと前記第2のフレームレートは、一方が毎秒24フレームであり、他方が毎秒25フレームであることを特徴とするフレームレート変換方法。 The frame rate conversion method according to any one of claims 1 to 4, wherein:
One of the first frame rate and the second frame rate is 24 frames per second, and the other is 25 frames per second.
上記第1の画像信号の各フレームを一時記憶する画像バッファメモリと、
上記第1の画像信号の各フレームについて、隣接フレーム間の画像の動き量を検出する動き検出手段と、
検出された動き量の大きさに応じて該フレームの繰返し挿入または間引きの可否を判別する判別手段と、
上記画像バッファメモリに一時記憶された画像信号を、上記判別手段の結果に従いフレームの繰返し挿入または間引きを行い、上記第2のフレームレートにて読み出す読出手段と、
を備えることを特徴とするフレームレート変換装置。 A frame rate conversion device that converts a first image signal having a first frame rate into a second image signal having a second frame rate by repeated insertion or decimation of frames,
An image buffer memory for temporarily storing each frame of the first image signal;
Motion detection means for detecting a motion amount of an image between adjacent frames for each frame of the first image signal;
A discriminating means for discriminating whether or not the frame can be repeatedly inserted or thinned out according to the detected amount of motion;
A reading means for repetitively inserting or thinning out frames of the image signal temporarily stored in the image buffer memory in accordance with the result of the discrimination means and reading at the second frame rate;
A frame rate conversion apparatus comprising:
前記判別手段は、前記動き検出手段により検出された画像の動き量が、第1のしきい値X1以上で、かつ第2のしきい値X2未満の場合に(ただしX1<X2とする)、前記フレームの繰返し挿入または間引きを禁止することを特徴とするフレームレート変換装置。 The frame rate conversion device according to claim 6,
The discriminating means, when the amount of motion of the image detected by the motion detecting means is not less than the first threshold value X1 and less than the second threshold value X2 (where X1 <X2). A frame rate conversion apparatus characterized by prohibiting repeated insertion or thinning of the frame.
前記動き検出手段は、前記画像の動き量として、画面を複数の領域に分割し、隣接フレーム間での各領域の動きベクトル量を検出し、該動きベクトル量の画面全体での総和量から求めることを特徴とするフレームレート変換装置。 The frame rate conversion apparatus according to claim 6 or 7,
The motion detection means divides the screen into a plurality of regions as the motion amount of the image, detects the motion vector amount of each region between adjacent frames, and obtains the motion vector amount from the total amount of the entire screen. A frame rate conversion apparatus characterized by that.
前記動き検出手段は、前記画像の動き量として、画面を複数の領域に分割し、隣接フレーム間での各領域における画像輝度の変化量を検出し、該変化量の画面全体での総和量から求めることを特徴とするフレームレート変換装置。 The frame rate conversion apparatus according to claim 6 or 7,
The motion detection means divides the screen into a plurality of regions as the amount of motion of the image, detects the amount of change in image brightness in each region between adjacent frames, and calculates the amount of change from the total amount over the entire screen. A frame rate conversion device characterized in that it is obtained.
前記第1のフレームレートと前記第2のフレームレートは、一方が毎秒24フレームであり、他方が毎秒25フレームであることを特徴とするフレームレート変換装置。 The frame rate conversion device according to any one of claims 6 to 9,
One of the first frame rate and the second frame rate is 24 frames per second, and the other is 25 frames per second.
上記第1のフレームレートを有する画像信号の各フレームを一時記憶する画像バッファメモリと、
上記画像信号の各フレームについて、隣接フレーム間の画像の動き量を検出する動き検出手段と、
該検出された動き量の大きさに応じて該フレームの繰返し挿入または間引きの可否を判別する判別手段と、
上記画像バッファメモリに一時記憶された画像信号を、上記判別手段の結果に従いフレームの繰返し挿入または間引きを行い、上記第2のフレームレートに変換して読み出す読出手段と、
該読み出した画像信号を圧縮符号化するエンコーダ部と、
該圧縮符号化された画像信号を記録媒体に記録する記録部と、
を備えることを特徴とする画像信号記録装置。 An image signal recording apparatus for converting an image signal having a first frame rate into an image signal having a second frame rate by repeated insertion or thinning of frames, compression-coding and recording the image signal on a recording medium,
An image buffer memory for temporarily storing each frame of the image signal having the first frame rate;
For each frame of the image signal, motion detection means for detecting the amount of motion of the image between adjacent frames;
A discriminating means for discriminating whether or not the frame can be repeatedly inserted or thinned out according to the detected amount of motion;
A reading means that reads out the image signal temporarily stored in the image buffer memory by repeatedly inserting or thinning out frames according to the result of the discrimination means, and converting and reading to the second frame rate;
An encoder for compressing and encoding the read image signal;
A recording unit for recording the compression-encoded image signal on a recording medium;
An image signal recording apparatus comprising:
上記記録媒体から上記圧縮符号化された画像信号を再生する再生部と、
該再生された画像信号を復号化するデコーダ部と、
該復号化された画像信号の各フレームを一時記憶する画像バッファメモリと、
上記再生された画像信号の各フレームについて、隣接フレーム間の画像の動き量を検出する動き検出手段と、
該検出された動き量の大きさに応じて該フレームの繰返し挿入または間引きの可否を判別する判別手段と、
上記画像バッファメモリに一時記憶された画像信号を、上記判別手段の結果に従いフレームの繰返し挿入または間引きを行い、上記第2のフレームレートに変換して読み出す読出手段と、
を備えることを特徴とする画像信号再生装置。 An image signal reproduction device that reproduces an image signal having a first frame rate that is compression-encoded from a recording medium, and converts the image signal to an image signal having a second frame rate by repeated insertion or thinning of frames.
A reproduction unit for reproducing the compression-encoded image signal from the recording medium;
A decoder unit for decoding the reproduced image signal;
An image buffer memory for temporarily storing each frame of the decoded image signal;
For each frame of the reproduced image signal, motion detection means for detecting the amount of motion of the image between adjacent frames;
A discriminating means for discriminating whether or not the frame can be repeatedly inserted or thinned out according to the detected amount of motion;
A reading means that reads out the image signal temporarily stored in the image buffer memory by repeatedly inserting or thinning out frames according to the result of the discrimination means, and converting and reading to the second frame rate;
An image signal reproducing apparatus comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004228078A JP2006050230A (en) | 2004-08-04 | 2004-08-04 | Frame rate converting method, converter, image signal recorder, and reproducer |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004228078A JP2006050230A (en) | 2004-08-04 | 2004-08-04 | Frame rate converting method, converter, image signal recorder, and reproducer |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006050230A true JP2006050230A (en) | 2006-02-16 |
Family
ID=36028275
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004228078A Pending JP2006050230A (en) | 2004-08-04 | 2004-08-04 | Frame rate converting method, converter, image signal recorder, and reproducer |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006050230A (en) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008126252A1 (en) * | 2007-03-30 | 2008-10-23 | Pioneer Corporation | Image generating device, image generating method, image generating program, and computer-readable recording medium |
JP2009115910A (en) * | 2007-11-02 | 2009-05-28 | Denso Corp | Synchronous converter, synchronous converting method and program |
JP2010130495A (en) * | 2008-11-28 | 2010-06-10 | Toshiba Corp | Device and method for output of three-dimensional information |
JP2010239406A (en) * | 2009-03-31 | 2010-10-21 | Nec Personal Products Co Ltd | Image outputting device, method of outputting image, and image output program |
JP2011227873A (en) * | 2010-03-29 | 2011-11-10 | Asahi Research Corp | Drive recorder |
WO2012107985A1 (en) * | 2011-02-10 | 2012-08-16 | パナソニック株式会社 | Image signal processing device and image signal processing method |
JP2014220660A (en) * | 2013-05-08 | 2014-11-20 | Necパーソナルコンピュータ株式会社 | Information processing device, control method, and program |
JP2018037734A (en) * | 2016-08-29 | 2018-03-08 | 株式会社Nexpoint | Monitoring camera system, and moving image browsing method and moving image coupling method for monitoring camera system |
CN112203034A (en) * | 2020-09-30 | 2021-01-08 | Oppo广东移动通信有限公司 | Frame rate control method and device and electronic equipment |
-
2004
- 2004-08-04 JP JP2004228078A patent/JP2006050230A/en active Pending
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008126252A1 (en) * | 2007-03-30 | 2008-10-23 | Pioneer Corporation | Image generating device, image generating method, image generating program, and computer-readable recording medium |
JPWO2008126252A1 (en) * | 2007-03-30 | 2010-07-22 | パイオニア株式会社 | Image generating apparatus, image generating method, image generating program, and computer-readable recording medium |
JP2009115910A (en) * | 2007-11-02 | 2009-05-28 | Denso Corp | Synchronous converter, synchronous converting method and program |
JP2010130495A (en) * | 2008-11-28 | 2010-06-10 | Toshiba Corp | Device and method for output of three-dimensional information |
JP2010239406A (en) * | 2009-03-31 | 2010-10-21 | Nec Personal Products Co Ltd | Image outputting device, method of outputting image, and image output program |
JP2011227873A (en) * | 2010-03-29 | 2011-11-10 | Asahi Research Corp | Drive recorder |
WO2012107985A1 (en) * | 2011-02-10 | 2012-08-16 | パナソニック株式会社 | Image signal processing device and image signal processing method |
JP2014220660A (en) * | 2013-05-08 | 2014-11-20 | Necパーソナルコンピュータ株式会社 | Information processing device, control method, and program |
JP2018037734A (en) * | 2016-08-29 | 2018-03-08 | 株式会社Nexpoint | Monitoring camera system, and moving image browsing method and moving image coupling method for monitoring camera system |
CN112203034A (en) * | 2020-09-30 | 2021-01-08 | Oppo广东移动通信有限公司 | Frame rate control method and device and electronic equipment |
CN112203034B (en) * | 2020-09-30 | 2023-09-08 | Oppo广东移动通信有限公司 | Frame rate control method and device and electronic equipment |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8903222B2 (en) | Image reproducing apparatus, image reproducing method, image capturing apparatus, and control method therefor | |
JP3302970B2 (en) | DVD information transmission apparatus and method | |
JP2008228282A (en) | Image processing device | |
CN107251551B (en) | Image processing device, image capturing apparatus, image processing method, and storage medium | |
JP3789048B2 (en) | Video re-encoding device | |
JPH1188874A (en) | Method for inserting editable point in encoding device and the encoding device | |
JP2006050230A (en) | Frame rate converting method, converter, image signal recorder, and reproducer | |
JP4766567B2 (en) | Method and apparatus for controlling the insertion of additional fields or additional frames into a first format picture sequence for constructing a second format picture sequence from a first format picture sequence | |
JP3551887B2 (en) | Moving image reproducing method and apparatus | |
JP2003230092A (en) | Information processing apparatus and method, program storage medium, and program | |
JP3604186B2 (en) | Recording method and recording method of recording medium | |
JP3590275B2 (en) | Recording / reproducing apparatus, recording / reproducing method, and recording medium recording recording / reproducing program | |
JP4289055B2 (en) | Transcoder and recording / reproducing apparatus using the same | |
JP2005318180A (en) | Hard disk recorder and video recording apparatus | |
JP3962053B2 (en) | Video re-encoding device | |
JP2006157855A (en) | Information recording medium, image coding method, and image decoding method | |
JPH09182025A (en) | Picture jitter prevention device in video decoder at high speed reproduction | |
JP2000308016A (en) | Still picture reproducing device for recording medium | |
JP3161229B2 (en) | Video signal processing method and video signal processing device | |
JP2003032685A (en) | Noise reduction method and image processing device | |
JP4573166B2 (en) | Information recording apparatus, information reproducing apparatus, information recording method, and information reproducing method | |
JP4867872B2 (en) | Image processing apparatus, control method for the image processing apparatus, and program | |
JPWO2008129648A1 (en) | Frame rate conversion apparatus, frame rate conversion method, and moving picture encoding apparatus | |
US20050013587A1 (en) | Video player and video playing method | |
JP2004289876A (en) | Recording device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070712 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070712 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090629 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090721 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090917 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091201 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100127 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100223 |