JP2009206940A - Interpolation frame generation circuit and frame interpolation apparatus - Google Patents

Interpolation frame generation circuit and frame interpolation apparatus Download PDF

Info

Publication number
JP2009206940A
JP2009206940A JP2008048167A JP2008048167A JP2009206940A JP 2009206940 A JP2009206940 A JP 2009206940A JP 2008048167 A JP2008048167 A JP 2008048167A JP 2008048167 A JP2008048167 A JP 2008048167A JP 2009206940 A JP2009206940 A JP 2009206940A
Authority
JP
Japan
Prior art keywords
frame
diff
interpolation
frames
generation circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008048167A
Other languages
Japanese (ja)
Inventor
Keisuke Azuma
啓介 東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2008048167A priority Critical patent/JP2009206940A/en
Publication of JP2009206940A publication Critical patent/JP2009206940A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Television Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an interpolation frame generation circuit and a frame interpolation apparatus capable of performing a frame interpolation processing with less throughput for reducing power consumption. <P>SOLUTION: The interpolation frame generation circuit 63 includes a correlation determining means and an interpolation processing means. The correlation determining means uses information about a display interval of two continuous frames having the same size and a luminance value differential average of corresponding pixels to estimate a correlation between the two frames and to determine whether an interpolation frame can be generated or not. The interpolation processing means includes a means for calculating a weighting coefficient in combining screens of the two frames while using differential information of corresponding pixels between frames and for calculating the weighting coefficient so as to use a preceding image when a differential value is great in interpolation image generation or to use an averaged images of the two frames when the differential value is small; and a means for generating an interpolation frame by performing weighted combination of two frames while using above coefficient. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、動画像表示を行う際に元画像の2倍のフレームレートで表示を行うために、連続する２つのフレームからその間の補間画像を作成するための補間フレーム生成回路、及び、補間画像を含めたフレーム数２倍の画像を作成するためのフレーム補間装置に関するものである。   The present invention provides an interpolated frame generation circuit for creating an interpolated image between two consecutive frames in order to perform display at a frame rate twice that of the original image when displaying a moving image, and an interpolated image The present invention relates to a frame interpolation device for creating an image having twice the number of frames including

画像の表示フレーム数を増やすことによって表示画像をスムーズに見せる際に使用されるフレーム補間処理は、動きを補完するという目的から、前画像と現画像の間の動きベクトルを検出し、これを利用する方法や、処理量をより軽くするために、デコード時に使用した動きベクトルを用いる方法などが公知例として知られている。   The frame interpolation process used to display the displayed image smoothly by increasing the number of display frames of the image detects and uses the motion vector between the previous image and the current image for the purpose of complementing the motion. As a known example, there are known a method for performing the processing, a method using a motion vector used at the time of decoding in order to reduce the processing amount, and the like.

従来の補間フレーム生成を行う装置としては、動き検出を用いて画像中のノイズやシーンチェンジにかかわらず高精度な処理を実現するものがある(例えば特許文献１参照)。   As a conventional apparatus for generating an interpolation frame, there is an apparatus that realizes highly accurate processing using motion detection regardless of noise in an image or a scene change (see, for example, Patent Document 1).

しかし、このような方式は、非常に大きな処理量を要するとともに、一歩間違うと画像が大きく乱れる危険性があるため、処理量を削減することが困難であるという問題がある。   However, such a method requires a very large amount of processing, and there is a risk that the image may be greatly disturbed if one step is wrong, so that it is difficult to reduce the amount of processing.

一方、ワンセグメント放送などに代表される、１５fpsの画像を３０fpsにするフレーム補間処理を低消費電力のために、より少ない処理で行うことを考えた場合、従来の動きベクトルを用いた方法では、実現が難しく、処理量を減少させる効果が少なく、かつ乱れた画像が表示される危険性があるという問題がある。
特開２００６−９９５６１号公報 On the other hand, when considering a frame interpolation process that represents 15 fps image to 30 fps, represented by one-segment broadcasting, with less processing for low power consumption, the conventional method using motion vectors There is a problem that it is difficult to realize, has little effect of reducing the processing amount, and has a risk of displaying a distorted image.
JP 2006-99561 A

そこで、本発明は上記の問題に鑑み、フレーム補間処理を低消費電力のために、より少ない処理量で行うことができる補間フレーム生成回路及びフレーム補間装置を提供することを目的とするものである。   SUMMARY OF THE INVENTION In view of the above problems, an object of the present invention is to provide an interpolated frame generation circuit and a frame interpolator that can perform frame interpolation processing with a smaller processing amount for low power consumption. .

本願発明の一態様によれば、フレーム毎に画像データを復号化する画像復号化装置から出力される連続する２つのフレームの間に補間フレームを生成する補間フレーム生成回路であって、連続する２つのフレームのサイズが同じであり、フレーム間の表示間隔情報および対応する画素の輝度値差分平均を用いて、２つのフレームの相関関係を推定し補間フレームを作成するか否かを判定する相関判定手段と、フレーム間の対応画素の差分情報を用いて、２つのフレームの画面合成時の重み付け係数を算出するものであって、補間画像を生成するに際して、差分値が大きい場合には前画像を用い、差分値が小さい場合には２つのフレーム平均化画像を用いるように重み付け係数を算出する手段と、その係数を用いて２つのフレームの重み付け合成を行い、補間フレームを生成する手段とを備えた補間処理手段と、を具備したことを特徴とする補間フレーム生成回路が提供される。   According to one aspect of the present invention, there is provided an interpolated frame generation circuit that generates an interpolated frame between two consecutive frames output from an image decoding apparatus that decodes image data for each frame. Correlation determination in which the size of two frames is the same, and using the display interval information between frames and the luminance value difference average of the corresponding pixels, the correlation between the two frames is estimated to determine whether to create an interpolated frame And the weighting coefficient at the time of screen composition of two frames using the difference information of the corresponding pixels between the means and the frame, and when generating the interpolated image, if the difference value is large, the previous image is When the difference value is small, a means for calculating a weighting coefficient so that two frame averaged images are used, and a weighted sum of the two frames using the coefficient are used. Was carried out, the interpolation frame generating circuit, characterized by comprising a interpolation processing means and means for generating an interpolation frame is provided.

本発明によれば、フレーム補間処理を低消費電力のために、より少ない処理量で行うことができる補間フレーム生成回路及びフレーム補間装置を提供することができる。   According to the present invention, it is possible to provide an interpolated frame generation circuit and a frame interpolating apparatus that can perform frame interpolation processing with a smaller amount of processing because of low power consumption.

発明の実施の形態について図面を参照して説明する。
本実施形態は、モバイル向けのパワー少ないデジタル放送受信端末、例えば携帯電話機などに搭載されたワンセグ放送受信装置(以下、受信装置)における補間フレーム生成回路及びフレーム補間装置を対象としている。 Embodiments of the invention will be described with reference to the drawings.
The present embodiment is directed to an interpolated frame generation circuit and a frame interpolating device in a one-seg broadcast receiving device (hereinafter referred to as a receiving device) mounted on a mobile digital power receiving terminal with low power, such as a mobile phone.

図１は本発明の一実施形態のフレーム補間装置が適用される受信装置のブロック図を示している。
図１に示す受信装置１０は、アンテナ１と、チューナ２と、復調器３と、ＴＳデコーダ４と、画像復号化装置としてのビデオデコーダ５と、フレーム補間装置６と、表示装置７と、オーディオデコーダ８と、スピーカ９とを備えている。
図１に示すように、無線周波数によるストリームデータがアンテナ１を介してチューナ２に入力される。チューナ２は、入力された無線周波数の信号をベースバンド信号に変換して復調器３に出力する。復調器３は、入力されたベースバンド信号を復調処理してトランスポートストリーム(以下、ＴＳという)を復元し、これをＴＳデコーダ４に出力する。 FIG. 1 is a block diagram of a receiving apparatus to which a frame interpolation apparatus according to an embodiment of the present invention is applied.
A receiving apparatus 10 shown in FIG. 1 includes an antenna 1, a tuner 2, a demodulator 3, a TS decoder 4, a video decoder 5 as an image decoding apparatus, a frame interpolation apparatus 6, a display apparatus 7, and an audio. A decoder 8 and a speaker 9 are provided.
As shown in FIG. 1, stream data with a radio frequency is input to a tuner 2 via an antenna 1. The tuner 2 converts the input radio frequency signal into a baseband signal and outputs it to the demodulator 3. The demodulator 3 demodulates the input baseband signal to restore a transport stream (hereinafter referred to as TS), and outputs it to the TS decoder 4.

ＴＳデコーダ４は、図示しない制御プロセッサから設定されているフィルタ条件を満たす、例えば、設定されているPIDを有しているＴＳパケットを選別し、必要なデータ（情報）をその中から抽出する。ＴＳデコーダ４によって映像データと音声データとに選別される。
そして、ＴＳデコーダ４にて選別された映像データ及び音声データはそれぞれ、ビデオデコーダ５、オーディオデコーダ８に供給される。 The TS decoder 4 selects a TS packet that satisfies a filter condition set by a control processor (not shown) and has a set PID, for example, and extracts necessary data (information) from the selected TS packet. The video data and the audio data are selected by the TS decoder 4.
The video data and audio data selected by the TS decoder 4 are supplied to a video decoder 5 and an audio decoder 8, respectively.

ビデオデコーダ５は、ＴＳデコーダ４から供給されたビデオデータをフレーム毎にデコードし、そのデコードしたフレームデータをフレーム補間装置６に供給する。フレーム補間装置６は、連続する２つのフレームの重み付け合成を行って補間フレームを生成し、この補間フレームを本来の連続する２つのフレーム間に挿入して本来のフレーム数の２倍のフレーム数の画像データを生成して表示装置７に表示出力する。なお、表示装置７は、例えば、液晶ディスプレイ（LCD：Liquid Crystal Display）、有機ＥＬディスプレイ、ブラウン管（CRT：Cathode Ray Tube）などである。   The video decoder 5 decodes the video data supplied from the TS decoder 4 for each frame, and supplies the decoded frame data to the frame interpolation device 6. The frame interpolating device 6 performs weighted synthesis of two consecutive frames to generate an interpolated frame, and inserts this interpolated frame between the two consecutive original frames so that the number of frames is twice the original number of frames. Image data is generated and displayed on the display device 7. The display device 7 is, for example, a liquid crystal display (LCD), an organic EL display, a cathode ray tube (CRT), or the like.

オーディオデコーダ８は、ＴＳデコーダ４から供給されたオーディオデータをデコードし、その結果得られる音声データをスピーカ９に音声出力する。
なお、文字データなどの補助データが伝送されてくる場合には、ＴＳデコーダ４は、これを選別し、図示しない制御プロセッサに供給し、制御プロセッサはこれらを文字図形情報としてデコードし、ビデオデコーダ５を経由して、映像データに重畳して出力することができる。 The audio decoder 8 decodes the audio data supplied from the TS decoder 4 and outputs the audio data obtained as a result to the speaker 9.
When auxiliary data such as character data is transmitted, the TS decoder 4 selects and supplies it to a control processor (not shown). The control processor decodes these as character graphic information, and the video decoder 5 And can be superimposed on the video data and output.

図２は図１におけるフレーム補間装置６の構成を示すブロック図である。
図２に示すフレーム補間装置６は、現フレーム回路６１と、前フレーム回路６２と、補間フレーム生成回路６３と、フレーム選択手段６４とを備えている。
現フレーム回路６１は、ビデオデコーダ５からの現フレームの画像データを入力し一時保持するフレームメモリを備えている。 FIG. 2 is a block diagram showing the configuration of the frame interpolation device 6 in FIG.
2 includes a current frame circuit 61, a previous frame circuit 62, an interpolation frame generation circuit 63, and a frame selection means 64.
The current frame circuit 61 includes a frame memory that receives and temporarily stores image data of the current frame from the video decoder 5.

前フレーム回路６２は、現フレーム回路６１からの画像データを入力し一時保持することによって１フレーム遅延した前フレームの画像データとして出力するフレームメモリを備えている。
補間フレーム生成回路６３は、現フレーム回路６１からの画像データと前フレーム回路６２からの画像データとを入力し、前フレームと現フレームとの間に補間フレームを生成して一時保持するフレームメモリを備えている。補間フレーム生成回路６３は、連続する２つのフレーム間のフレーム相関判定を行う相関判定手段と、フレーム相関判定の結果、フレーム相関がある場合に、連続する２つのフレームの重み付け合成を行い、補間フレームを生成する補間処理手段とを備えている。 The previous frame circuit 62 includes a frame memory that receives and temporarily stores the image data from the current frame circuit 61 and outputs the image data as the previous frame delayed by one frame.
The interpolation frame generation circuit 63 receives the image data from the current frame circuit 61 and the image data from the previous frame circuit 62, and generates a frame memory that temporarily generates and holds an interpolation frame between the previous frame and the current frame. I have. The interpolated frame generation circuit 63 performs correlation determination means for determining a frame correlation between two consecutive frames, and performs weighted synthesis of two consecutive frames when there is a frame correlation as a result of the frame correlation determination. Interpolating processing means for generating.

補間フレーム生成回路６３は、さらに、前フレームの画像データと現フレームの画像データを本来のフレーム間の表示間隔の1/２間隔毎に交互に切り替えるためのフレーム切替信号を生成する機能を備えている。具体的には、フレーム毎の画像データに含まれるPTS(Presentation Time Stamp)を用いて補間フレームのPTSを算出し、本来のPTSと算出したPTSを用いて補間フレームとその直後の元画像フレームを切り替えるためのフレーム切替信号を生成する手段をさらに備えたものである。フレーム切替信号は、元画像フレーム間の周期(本来の２つのPTS間の周期)の１／２になるように演算された周期となっている。補間フレームのPTSは例えば前フレームのPTSと現フレームのPTSを平均化する(２つのPTSを加算して１／２にする)ことによって容易に算出することができる。   The interpolated frame generation circuit 63 further has a function of generating a frame switching signal for alternately switching the image data of the previous frame and the image data of the current frame every 1/2 interval of the display interval between the original frames. Yes. Specifically, the PTS (Presentation Time Stamp) included in the image data for each frame is used to calculate the PTS of the interpolation frame, and the interpolation frame and the original image frame immediately after that are calculated using the original PTS and the calculated PTS. The apparatus further includes means for generating a frame switching signal for switching. The frame switching signal has a cycle calculated to be ½ of the cycle between original image frames (original cycle between two PTSs). The PTS of the interpolated frame can be easily calculated by, for example, averaging the PTS of the previous frame and the PTS of the current frame (adding two PTSs to ½).

なお、補間フレームのPTSを算出し、それを用いてフレーム切替信号を生成する手段は、補間フレーム生成回路６３とは独立したフレーム切替信号生成回路を設けたり、或いは、図示しない制御プロセッサなどの制御回路にフレーム切替信号生成機能を持たせることによって、実現してもよい。   The means for calculating the PTS of the interpolation frame and generating the frame switching signal using the PTS is provided with a frame switching signal generation circuit independent of the interpolation frame generation circuit 63, or by a control processor or the like not shown. This may be realized by providing the circuit with a frame switching signal generation function.

フレーム選択手段６４は、２つの入力端子ａ，ｂを有し、入力端子ａに補間フレーム生成回路６３からの補間フレームの画像データを入力し、入力端子ｂにはこの補間フレームの直後の現フレームに相当する、現フレーム回路６１からの画像データを入力し、両フレームの画像データを本来のフレーム間の表示間隔の１/２間隔毎に交互に切り替えて出力端子ｃから表示装置７へ出力する。これによって、表示装置７は、本来の画像の２倍のフレームレートで表示出力することができる。   The frame selection means 64 has two input terminals a and b. The image data of the interpolation frame from the interpolation frame generation circuit 63 is input to the input terminal a, and the current frame immediately after the interpolation frame is input to the input terminal b. The image data from the current frame circuit 61 is input, and the image data of both frames are alternately switched at every 1/2 of the display interval between the original frames and output from the output terminal c to the display device 7. . Thus, the display device 7 can display and output at a frame rate twice that of the original image.

フレーム補間装置６は、現フレーム回路６１と、前フレーム回路６２と、補間フレーム生成回路６３と、フレーム選択手段６４とを用いて、 図３に示すように、フレーム相関判定（ステップＳ1）、補間フレームの生成を行う補間処理（ステップＳ2）、フレーム数２倍生成（ステップＳ3）の３つの処理フローを実行する。 The frame interpolation device 6 uses the current frame circuit 61, the previous frame circuit 62, the interpolation frame generation circuit 63, and the frame selection means 64, as shown in FIG. Three processing flows are executed: an interpolation process for generating a frame (step S2) and a double frame number generation (step S3).

図４は補間フレーム生成回路６３によるフレーム相関判定の処理Ａ、及びフレーム選択手段６４による表示処理Ｂを説明するための図を示している。
図４において、白色枠は元画像フレームを、斜線枠は元画像フレーム間に作成される補間画像フレームを表している。白色枠の元画像フレーム間でフレーム相関判定処理Ａが行われ、斜線枠の補間フレームとその直後の白色枠の元画像フレームとの間で表示処理Ｂが行われる。 FIG. 4 shows a diagram for explaining the frame correlation determination process A by the interpolation frame generation circuit 63 and the display process B by the frame selection means 64.
In FIG. 4, a white frame represents an original image frame, and a hatched frame represents an interpolated image frame created between the original image frames. Frame correlation determination processing A is performed between the original image frames of the white frame, and display processing B is performed between the interpolation frame of the hatched frame and the original image frame of the white frame immediately thereafter.

なお、ワンセグ放送の規格において、連続する２つの元画像フレーム間の時間間隔は、６６msec以上(換言すれば１５fps以下)となっている。
補間フレーム生成回路６３によるフレーム相関判定の処理Ａは、画像復号化装置であるビデオデコーダ５からの連続する２つのフレームのサイズが同じであり、２つのフレーム間の表示間隔情報および対応する画素の輝度値差分平均(＝対応画素間の絶対差分和(差分絶対値の和)÷画素数)を用いて、２つのフレームの相関関係を推定し補間フレームを作成するか否かを判定する。具体的には、２つのフレーム間の対応する画素の輝度差分平均値が予め定めた閾値以内であるフレーム間に対して、かつ、PTS(Presentation Time Stamp)間隔が予め定めた閾値以下であるフレームに対して、補間フレームの作成が可であると判定する。この補間フレーム作成可の判定によって、連続する２つのフレーム間の相関性が高いと推定される場合のみ補間フレームの作成が可となり、補間フレーム生成を行う補間処理ステップに進むことができる。 In the one-segment broadcasting standard, the time interval between two consecutive original image frames is 66 msec or more (in other words, 15 fps or less).
In the process A of the frame correlation determination by the interpolated frame generation circuit 63, the size of two consecutive frames from the video decoder 5 which is an image decoding device is the same, and the display interval information between the two frames and the corresponding pixel Using a luminance value difference average (= sum of absolute differences between corresponding pixels (sum of difference absolute values) ÷ number of pixels), a correlation between two frames is estimated to determine whether or not to create an interpolation frame. Specifically, a frame in which the luminance difference average value of corresponding pixels between two frames is within a predetermined threshold and a PTS (Presentation Time Stamp) interval is equal to or less than a predetermined threshold On the other hand, it is determined that an interpolation frame can be created. Only when it is estimated that the correlation between two consecutive frames is high due to the determination of whether or not the interpolation frame can be generated, an interpolation frame can be generated, and the process can proceed to an interpolation processing step for generating an interpolation frame.

モバイル向けの受信装置では、移動により受信環境の変化等に起因して元画像フレームが欠落しPTSが正常に取得できない場合がある。即ち、PTS間隔がエラーにより予め定めた閾値より大きくなる結果、相関判定処理Ａにて非相関と判定されることがある。このような場合は、元画像フレームに基づいて作成される補間フレームも正常なものとならないので、補間フレームを生成するための補間処理を行わないように制御されることになる。   In a mobile reception device, the original image frame may be lost due to a change in the reception environment due to movement, and the PTS may not be acquired normally. That is, as a result of the PTS interval becoming larger than a predetermined threshold due to an error, the correlation determination process A may determine that there is no correlation. In such a case, since the interpolation frame created based on the original image frame is not normal, control is performed so as not to perform the interpolation processing for generating the interpolation frame.

フレーム相関判定の処理Ａにて２つのフレーム間で非相関(例えばシーンチェンジが発生したときやフレームが欠落したときなど)即ち補間フレーム生成不可の判定となったときは、補間フレーム生成回路６３は補間フレームを作成せずに、フレーム切替信号によってフレーム選択手段６４を入力端子ｂに切り替え、現フレーム回路６１からの現フレーム出力を表示装置７へ供給することになる。   When the frame correlation determination process A determines that there is no correlation between two frames (for example, when a scene change occurs or when a frame is lost), that is, when it is determined that an interpolation frame cannot be generated, the interpolation frame generation circuit 63 Without creating an interpolation frame, the frame selection means 64 is switched to the input terminal b by the frame switching signal, and the current frame output from the current frame circuit 61 is supplied to the display device 7.

なお、２つのフレーム間の対応する画素の輝度差分平均値が閾値以内であるフレーム間に対して、又は、PTS(Presentation Time Stamp)間隔が閾値以下であるフレームに対して、補間フレームの作成が可であると判定してもよい。
なお、受信装置１０には、送信側より画像データと共にPCR(Program Clock Reference)と呼ばれる時刻参照値が送られてきており、受信装置１０はPCRに基づいて連続的な時間値をSTC(System Time Clock)タイマーにて生成する。そして、このSTCタイマーが画像フレームデータに含まれるPTSの時間に一致したときに画像データの表示を行うようになっている。 Note that an interpolated frame can be created between frames in which the average luminance difference of corresponding pixels between two frames is within a threshold, or for frames in which the PTS (Presentation Time Stamp) interval is less than or equal to the threshold. You may determine that it is possible.
Note that a time reference value called PCR (Program Clock Reference) is sent to the receiving apparatus 10 together with image data from the transmitting side, and the receiving apparatus 10 converts a continuous time value based on the PCR to an STC (System Time). Generate by Clock) timer. When this STC timer coincides with the time of PTS included in the image frame data, the image data is displayed.

フレーム選択手段６４による表示処理Ｂは、生成した補間フレームを表示装置７へ出力した後は、必ずその補間フレームの直後の元画像フレームを表示装置７へ出力する。具体的には、補間フレーム生成回路６３からのフレーム切替信号によってフレーム選択手段６４を制御する際には、補間フレームを表示した後必ず直後の元画像フレームを表示するべく、フレーム選択手段６４の入力端子ａ，ｂを入力端子ａに切り替えて補間フレームを表示した後、必ず入力端子ｂに切り替えて表示装置７に元画像フレームを表示する。これにより、補間画像が２つの元画像フレームの画面合成時に不具合な画面となっても直ぐに本来の元画像フレームが表示されるために、多少乱れた補間画像が生成されることになった場合でも人間の目に違和感を与えることを無くすことができる。これは携帯端末などのモバイル端末に乱れた補間画面を表示した状態となる虞を無くす利点を有する。   The display process B by the frame selection means 64 always outputs the original image frame immediately after the interpolation frame to the display device 7 after outputting the generated interpolation frame to the display device 7. Specifically, when the frame selection unit 64 is controlled by the frame switching signal from the interpolation frame generation circuit 63, the input of the frame selection unit 64 is displayed so that the original image frame immediately after the interpolation frame is displayed. After the terminals a and b are switched to the input terminal a to display the interpolated frame, the original image frame is displayed on the display device 7 without fail by switching to the input terminal b. As a result, even if the interpolated image becomes a defective screen when combining the two original image frames, the original original image frame is displayed immediately, so even if a somewhat disturbed interpolated image is generated. It can eliminate giving a sense of incongruity to human eyes. This has the advantage of eliminating the possibility of displaying a disturbed interpolation screen on a mobile terminal such as a portable terminal.

図５は補間フレーム生成回路６３による補間処理を説明するための図を示している。
補間フレーム生成回路６３による補間処理は、連続する２つのフレームの各フレームにおける画素の輝度信号成分Ｙ，色差信号成分Ｃb及びＣrを、１つのフレーム上の座標(x，y)についてＹ(n)、Ｃb(n)及びＣr(n)と表し、その１つのフレームの直前のもう１つのフレーム上の対応する座標(x，y)に対してＹ(n-1)、Ｃb(n-1)及びＣr(n-1)と表す。これら２つのフレーム間の対応する画素値から、生成される補間フレーム上の座標(x，y)について、補間画素値をＹ，Ｃb及びＣrとすると、Ｙ、Ｃb及びＣrについて、２フレーム間での差分値diffは、図５(a)に示すように、
diff_Ｙ＝ax｜Ｙ(n-1)−Ｙ(n)｜
if (diff_Y>255) then diff_Y=255 if (diff_Y<0) then diff_Y=0
diff_Ｃb＝bx｜Ｃb(n-1)−Ｃb(n)｜ （１）
if (diff_Cb>255) then diff_Cb=255 if (diff_Cb<0) then diff_Cb=0
diff_Ｃr＝cx｜Ｃr(n-1)−Ｃr(n)｜
if (diff_Cr>255) then diff_Cr=255 if (diff_Cr<0) then diff_Cr=0
である。上式で、ax，bx，cxは任意の係数であり、diff値に応じた重み付けを表す。2フレームの補間処理を行うが、補間画素値Ｙ、Ｃb及びＣrは連続する２つのフレームの関数として表される。即ち、
Y= F( Y(n-1) , Y(n) )
Cb= F( Cb(n-1) , Cb(n) ) （２）
Cr= F( Cr(n-1) , Cr(n) )
図５(b)で関数Ｆは重み付け補間処理を表している。上式（２）は、差分値diffがそれぞれ８ビットの値(０〜２５５)をとるものとすると、例えば
Ｙ={(256＋diff)×Y(n-1)＋(256−diff)×Y(n)}／512
Ｃb={(256＋diff)×Cb(n-1)＋(256−diff)×Cb(n)}／512 （３）
Ｃr={(256＋diff)×Cr(n-1)＋(256−diff)×Cr(n)}／512
と表される。但し、Ｙ、Ｃb及びＣrの各式では、Ｙ、Ｃb及びＣrについての差分値diff_Ｙ，diff_Ｃb，diff_Ｃrを簡略化して全てdiffと表している。 FIG. 5 is a diagram for explaining the interpolation processing by the interpolation frame generation circuit 63.
Interpolation processing by the interpolation frame generation circuit 63 is performed by using the luminance signal component Y and the color difference signal components Cb and Cr of the pixels in each of two consecutive frames as Y (n) with respect to coordinates (x, y) on one frame. , Cb (n) and Cr (n), and Y (n-1), Cb (n-1) with respect to the corresponding coordinates (x, y) on the other frame immediately before the one frame. And Cr (n-1). From the corresponding pixel values between these two frames, assuming that the interpolation pixel values are Y, Cb and Cr for the coordinates (x, y) on the generated interpolation frame, Y, Cb and Cr As shown in FIG. 5 (a), the difference value diff of
diff_Y = ax | Y (n-1) -Y (n) |
if (diff_Y> 255) then diff_Y = 255 if (diff_Y <0) then diff_Y = 0
diff_Cb = bx | Cb (n-1) -Cb (n) | (1)
if (diff_Cb> 255) then diff_Cb = 255 if (diff_Cb <0) then diff_Cb = 0
diff_Cr = cx | Cr (n-1) -Cr (n) |
if (diff_Cr> 255) then diff_Cr = 255 if (diff_Cr <0) then diff_Cr = 0
It is. In the above equation, ax, bx, and cx are arbitrary coefficients and represent weights according to the diff value. Although interpolation processing of two frames is performed, the interpolation pixel values Y, Cb, and Cr are expressed as a function of two consecutive frames. That is,
Y = F (Y (n-1), Y (n))
Cb = F (Cb (n-1), Cb (n)) (2)
Cr = F (Cr (n-1), Cr (n))
In FIG. 5B, function F represents weighted interpolation processing. If the difference value diff is an 8-bit value (0 to 255), for example,
Y = {(256 + diff) × Y (n−1) + (256−diff) × Y (n)} / 512
Cb = {(256 + diff) × Cb (n−1) + (256−diff) × Cb (n)} / 512 (3)
Cr = {(256 + diff) × Cr (n−1) + (256−diff) × Cr (n)} / 512
It is expressed. However, in the Y, Cb, and Cr equations, the difference values diff_Y, diff_Cb, and diff_Cr for Y, Cb, and Cr are simplified and all expressed as diff.

上式（３）で、(256＋diff)及び(256−diff)は、補間画素値Ｙ，Ｃb及びＣrを生成する際の、差分情報diffを用いた重み付け係数を表している。この重み付け係数を用いた上記のＹ、Ｃb及びＣrの各式によれば、２フレーム間の差分値diffが大きい場合(diffが例えば２５５に近い場合)には主に前画像を用いた画像が補間画像として得られ、差分値diffが小さい場合(diffが例えば０に近い場合)には２つのフレーム平均化画像が補間画像として得られる。このように、同じ画像サイズのフレームに対して、対応する画素に対してのみ、画素単位で演算を行うことで、補間画像作成に必要な演算量を非常に少なくすることができる。   In the above equation (3), (256 + diff) and (256−diff) represent weighting coefficients using the difference information diff when generating the interpolated pixel values Y, Cb, and Cr. According to the above Y, Cb, and Cr equations using this weighting coefficient, when the difference value diff between two frames is large (when diff is close to, for example, 255), an image mainly using the previous image is used. When the difference value diff is small (when diff is close to 0, for example), two frame averaged images are obtained as interpolation images. As described above, by performing the calculation for each pixel only on the corresponding pixels with respect to the frames having the same image size, it is possible to greatly reduce the calculation amount necessary for creating the interpolation image.

なお、補間フレーム上の補間画素値Ｙ，Ｃb及びＣrの算出については、Ｙ，Ｃb及びＣrの全てを算出してもよいし、Ｙのみ算出してもよい。
以上の実施形態によれば、フレーム補間処理として、膨大な演算量が必要となる動きベクトルを用いずに、隣り合う画面の条件付き合成処理を実施することにより、モバイル向けの消費電力の少ない端末でも処理が可能となる。絶対的な処理量が少ないにも関わらず、全体的な動きのある動画に対しては、全体の動きがスムーズとなる動き補間の効果がある。また、細かい動きに対しても効果がある。さらに、処理量が少ないにも関わらず、補間画像が崩れることがない。 In addition, regarding the calculation of the interpolation pixel values Y, Cb, and Cr on the interpolation frame, all of Y, Cb, and Cr may be calculated, or only Y may be calculated.
According to the above-described embodiment, a terminal with low power consumption for mobile by performing conditional synthesis processing of adjacent screens without using a motion vector that requires an enormous amount of computation as frame interpolation processing. But processing is possible. In spite of a small absolute processing amount, there is an effect of motion interpolation that makes the overall motion smooth for a moving image with overall motion. It is also effective for fine movements. Furthermore, the interpolation image does not collapse even though the processing amount is small.

本発明の一実施形態のフレーム補間装置が適用される受信装置を示すブロック図。The block diagram which shows the receiver with which the frame interpolation apparatus of one Embodiment of this invention is applied. 図１におけるフレーム補間装置の構成を示すブロック図。The block diagram which shows the structure of the frame interpolation apparatus in FIG. フレーム補間装置の処理フローを示す図。The figure which shows the processing flow of a frame interpolation apparatus. 補間フレーム生成回路によるフレーム相関判定の処理、及びフレーム選択手段による表示処理を説明するための図。The figure for demonstrating the process of frame correlation determination by an interpolation frame production | generation circuit, and the display process by a frame selection means. 補間フレーム生成回路による補間処理を説明するための図。The figure for demonstrating the interpolation process by an interpolation frame production | generation circuit.

符号の説明Explanation of symbols

５…ビデオデコーダ(画像復号化装置)
６…フレーム補間装置
７…表示装置
１０…受信装置
６１…現フレーム回路
６２…前フレーム回路
６３…補間フレーム生成回路
６４…フレーム選択手段 5 ... Video decoder (image decoding device)
6 ... Frame interpolation device 7 ... Display device 10 ... Reception device 61 ... Current frame circuit 62 ... Previous frame circuit 63 ... Interpolation frame generation circuit 64 ... Frame selection means

Claims (5)

フレーム毎に画像データを復号化する画像復号化装置から出力される連続する２つのフレームの間に補間フレームを生成する補間フレーム生成回路であって、
連続する２つのフレームのサイズが同じであり、フレーム間の表示間隔情報および対応する画素の輝度値差分平均を用いて、２つのフレームの相関関係を推定し補間フレームを作成するか否かを判定する相関判定手段と、
フレーム間の対応画素の差分情報を用いて、２つのフレームの画面合成時の重み付け係数を算出するものであって、補間画像を生成するに際して、差分値が大きい場合には前画像を用い、差分値が小さい場合には２つのフレーム平均化画像を用いるように重み付け係数を算出する手段と、その係数を用いて２つのフレームの重み付け合成を行い、補間フレームを生成する手段とを備えた補間処理手段と、
を具備したことを特徴とする補間フレーム生成回路。 An interpolation frame generation circuit that generates an interpolation frame between two consecutive frames output from an image decoding device that decodes image data for each frame,
Determines whether to create an interpolated frame by estimating the correlation between two frames using the display interval information between frames and the luminance value difference average of the corresponding pixels, and the size of two consecutive frames is the same Correlation determining means,
Using the difference information of corresponding pixels between frames, the weighting coefficient at the time of screen composition of two frames is calculated. When generating an interpolated image, if the difference value is large, the previous image is used and the difference is calculated. An interpolation process comprising means for calculating a weighting coefficient so as to use two frame averaged images when the value is small, and means for performing weighted synthesis of two frames using the coefficient and generating an interpolated frame Means,
An interpolated frame generating circuit comprising: 前記相関判定手段は、
２つのフレーム間の対応する画素の輝度差分平均値が閾値以内であるフレーム間に対して、及び／又は、PTS間隔が閾値以下であるフレームに対して、補間フレームの作成が可であると判定することを特徴とする請求項１に記載の補間フレーム生成回路。 The correlation determination means includes
Determines that an interpolated frame can be created between frames in which the average value of the luminance difference of the corresponding pixels between the two frames is within the threshold and / or for frames in which the PTS interval is less than or equal to the threshold. The interpolated frame generation circuit according to claim 1, wherein: 前記補間処理手段は、連続する２つのフレームの各フレームにおける画素の輝度信号成分Ｙ，色差信号成分Ｃb及びＣrを、１つのフレーム上の座標(x，y)についてＹ(n)、Ｃb(n)及びＣr(n)と表し、その１つのフレームの直前のもう１つのフレーム上の対応する座標(x，y)に対してＹ(n-1)、Ｃb(n-1)及びＣr(n-1)と表し、これら２つのフレーム間の対応する画素値に基づいて生成される補間フレーム上の座標(x，y)についての補間画素値をＹ，Ｃb及びＣrとすると、
Ｙ={(256＋diff)×Y(n-1)＋(256−diff)×Y(n)}／512
Ｃb={(256＋diff)×Cb(n-1)＋(256−diff)×Cb(n)}／512
Ｃr={(256＋diff)×Cr(n-1)＋(256−diff)×Cr(n)}／512
但し、Ｙ、Ｃb及びＣrについての２フレーム間での差分値diffは、
diff_Ｙ＝ax｜Ｙ(n-1)−Ｙ(n)｜
ここで、diff_Y>255であればdiff_Y=255とし、diff_Y<0であればdiff_Y=0とする、
diff_Ｃb＝bx｜Ｃb(n-1)−Ｃb(n)｜
ここで、diff_Cb>255であればdiff_Cb=255とし、diff_Cb<0であればdiff_Cb=0とする、
diff_Ｃr＝cx｜Ｃr(n-1)−Ｃr(n)｜
ここで、diff_Cr>255であればdiff_Cr=255とし、diff_Cr<0であればdiff_Cr=0とする、
上式で、ax，bx，cxは任意の係数とし、Ｙ，Ｃb及びＣrの差分値diffは８ビットの値(０〜２５５)をとるものとし、
補間フレーム上の補間画素値Ｙ，Ｃb及びＣrの算出については、Ｙ，Ｃb及びＣrの全てを算出するか、又は、Ｙのみ算出する
ことを特徴とする請求項１又は２に記載の補間フレーム生成回路。 The interpolation processing means converts the luminance signal component Y and color difference signal components Cb and Cr of pixels in each of two consecutive frames into Y (n) and Cb (n) for coordinates (x, y) on one frame. ) And Cr (n), and Y (n-1), Cb (n-1) and Cr (n) with respect to the corresponding coordinates (x, y) on the other frame immediately before that one frame. -1), and Y, Cb, and Cr are interpolation pixel values for coordinates (x, y) on the interpolation frame generated based on the corresponding pixel values between these two frames,
Y = {(256 + diff) × Y (n−1) + (256−diff) × Y (n)} / 512
Cb = {(256 + diff) × Cb (n−1) + (256−diff) × Cb (n)} / 512
Cr = {(256 + diff) × Cr (n−1) + (256−diff) × Cr (n)} / 512
However, the difference value diff between two frames for Y, Cb and Cr is
diff_Y = ax | Y (n-1) -Y (n) |
Here, diff_Y = 255 if diff_Y> 255, diff_Y = 0 if diff_Y <0,
diff_Cb = bx | Cb (n-1) -Cb (n) |
Here, diff_Cb = 255 if diff_Cb> 255, diff_Cb = 0 if diff_Cb <0,
diff_Cr = cx | Cr (n-1) -Cr (n) |
Here, diff_Cr = 255 if diff_Cr> 255, diff_Cr = 0 if diff_Cr <0,
In the above equation, ax, bx, and cx are arbitrary coefficients, and the difference value diff of Y, Cb, and Cr is an 8-bit value (0 to 255).
The interpolated frame according to claim 1 or 2, wherein all of Y, Cb, and Cr are calculated or only Y is calculated for the calculation of the interpolated pixel values Y, Cb, and Cr on the interpolated frame. Generation circuit. フレーム毎の画像データに含まれるPTSを用いて補間フレームのPTSを算出し、本来のPTSと算出したPTSを用いて補間フレームとその直後の元画像フレームを切り替えるためのフレーム切替信号を生成する手段をさらに具備したことを特徴とする請求項１乃至３のいずれか１つに記載の補間フレーム生成回路。   Means for calculating a PTS of an interpolation frame using the PTS included in the image data for each frame, and generating a frame switching signal for switching between the original PTS and the original image frame immediately after that using the calculated PTS. The interpolation frame generation circuit according to claim 1, further comprising: 請求項１乃至４のいずれか１つに記載の補間フレーム生成回路と、
この補間フレーム生成回路において生成される補間フレームと、その補間フレーム生成に用いた２つのフレームのうちの当該補間フレームの直後の元画像フレームとを入力し、この入力した補間フレームと元画像フレームとを本来のフレーム間の表示間隔の1/２間隔毎に交互に切り替えて表示装置へ出力するフレーム選択手段とを具備し、
前記補間フレームを表示装置へ出力した後は、必ず該補間フレームの直後の元画像フレームを表示装置へ出力することを特徴とするフレーム補間装置。 The interpolation frame generation circuit according to any one of claims 1 to 4,
An interpolation frame generated by the interpolation frame generation circuit and an original image frame immediately after the interpolation frame of the two frames used for generating the interpolation frame are input. Frame selection means for alternately switching at every 1/2 interval of the display interval between the original frames and outputting to the display device,
After outputting the interpolation frame to a display device, the original image frame immediately after the interpolation frame is always output to the display device.
JP2008048167A 2008-02-28 2008-02-28 Interpolation frame generation circuit and frame interpolation apparatus Pending JP2009206940A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008048167A JP2009206940A (en) 2008-02-28 2008-02-28 Interpolation frame generation circuit and frame interpolation apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008048167A JP2009206940A (en) 2008-02-28 2008-02-28 Interpolation frame generation circuit and frame interpolation apparatus

Publications (1)

Publication Number Publication Date
JP2009206940A true JP2009206940A (en) 2009-09-10

Family

ID=41148755

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008048167A Pending JP2009206940A (en) 2008-02-28 2008-02-28 Interpolation frame generation circuit and frame interpolation apparatus

Country Status (1)

Country Link
JP (1) JP2009206940A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9485453B2 (en) 2013-09-10 2016-11-01 Kabushiki Kaisha Toshiba Moving image player device
CN114079824A (en) * 2021-11-02 2022-02-22 深圳市洲明科技股份有限公司 Transmitting card, display device, computer device, storage medium, and control method for transmitting card
CN116260928A (en) * 2023-05-15 2023-06-13 湖南马栏山视频先进技术研究院有限公司 Visual optimization method based on intelligent frame insertion

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9485453B2 (en) 2013-09-10 2016-11-01 Kabushiki Kaisha Toshiba Moving image player device
CN114079824A (en) * 2021-11-02 2022-02-22 深圳市洲明科技股份有限公司 Transmitting card, display device, computer device, storage medium, and control method for transmitting card
CN114079824B (en) * 2021-11-02 2024-03-08 深圳市洲明科技股份有限公司 Transmission card, control method thereof, display device, computer device, and storage medium
CN116260928A (en) * 2023-05-15 2023-06-13 湖南马栏山视频先进技术研究院有限公司 Visual optimization method based on intelligent frame insertion
CN116260928B (en) * 2023-05-15 2023-07-11 湖南马栏山视频先进技术研究院有限公司 Visual optimization method based on intelligent frame insertion

Similar Documents

Publication Publication Date Title
JP4859219B2 (en) Video output apparatus and control method thereof
JP4747917B2 (en) Digital broadcast receiver
US8432973B2 (en) Interpolation frame generation apparatus, interpolation frame generation method, and broadcast receiving apparatus
JP2008160591A (en) Television receiver and frame rate conversion method therefor
JP4693546B2 (en) Digital noise reduction apparatus and method, and video signal processing apparatus
JP2010136292A (en) Image processing apparatus
JP2010041336A (en) Image processing unit and image processing method
US20100026885A1 (en) Image Processing Apparatus
JP5100495B2 (en) Image processing device
US20080240617A1 (en) Interpolation frame generating apparatus, interpolation frame generating method, and broadcast receiving apparatus
JPH11112940A (en) Generation method for motion vector and device therefor
JP2009206940A (en) Interpolation frame generation circuit and frame interpolation apparatus
JP2009290802A (en) Interpolation frame generating apparatus, interpolation frame generating method, and broadcast receiving apparatus
JP4363199B2 (en) Information signal processing apparatus and information signal processing method
JP2009135769A (en) Image processing device
WO2009081627A1 (en) Interpolation processing apparatus, interpolation processing method, and picture display apparatus
US20080063067A1 (en) Frame interpolating circuit, frame interpolating method, and display apparatus
JP2004187023A (en) Moving image encoding device and moving image decoding device
JP2011078136A (en) Video image noise reduction processing unit and video processing device
JP2012010146A (en) Image display device and control method thereof
JP5305822B2 (en) Video signal processing apparatus, method, and program
JP2010147699A (en) Interpolation frame generating apparatus, interpolation frame generating method, and broadcast receiving apparatus
JP4679372B2 (en) Image noise reduction processing apparatus and image display apparatus
JP2007019956A (en) Image synthesizing apparatus and image synthesizing method thereof
WO2020039956A1 (en) Display device, signal processing device, and signal processing method