JP2008199097A - 映像処理装置、映像処理方法、プログラム、記録媒体、携帯端末、及び、受信装置 - Google Patents
映像処理装置、映像処理方法、プログラム、記録媒体、携帯端末、及び、受信装置 Download PDFInfo
- Publication number
- JP2008199097A JP2008199097A JP2007029358A JP2007029358A JP2008199097A JP 2008199097 A JP2008199097 A JP 2008199097A JP 2007029358 A JP2007029358 A JP 2007029358A JP 2007029358 A JP2007029358 A JP 2007029358A JP 2008199097 A JP2008199097 A JP 2008199097A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- motion vector
- interpolation
- received
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Systems (AREA)
Abstract
【解決手段】連続して受信した受信フレームk(51x),受信フレームk+1(52x)の画像の動きベクトル値を算出し、受信フレーム間に補間するフレーム数及び画像の拡大倍率Mに基づいて動きベクトルを調整し、調整した動きベクトル値及び拡大倍率Mに基づいて受信フレームk(51x),受信フレームk+1(52x)を参照して補間拡大フレーム52mを生成する。
【選択図】図1
Description
図7に示したように、従来では、受信フレームk(101x)及び受信フレームk+1(103x)から、補間フレームI(102x)を生成し、当該各フレームに対して拡大処理を実行し、拡大フレーム101m〜103mを生成する。なお、拡大フレーム104m,105mについても、補間フレームI+1(104x),受信フレームk+2(105x)から生成される。
ここで、図8を用いて、この問題について説明する。
図8(A)は、受信フレームk(101x)の一部分(ブロック)を示す画素数10×10の画素配列図111で、図8(B)は、受信フレームk+1(103x)の同画素配列図112で、図8(C)は、補間フレームI(102x)の同画素配列図113である。
このような場合に、当該注目画素の動きベクトルmvは、(5,0)((7,2)−(2,2))と算出される。そして、補間フレーム生成時に参照される動きベクトルは、前記動きベクトルmvを(補間フレーム数+1)で割った値、すなわち、mv/2((5,0)/2=(2.5,0))と非整数倍となる。
つまり、補間フレームを生成する際に算出される動きベクトルが非整数倍(半画素精度)の場合には、補間フレームの画素位置を決定する際に、誤差が生じてしまう(補間の精度が低い)。
また、前記映像処理装置を備えた受信装置及び携帯端末を提供することを目的とする。
図1に示したように、本発明により、受信フレームk(51x)及び受信フレームk+1(52x)に基づいて、フレーム補間と画像拡大処理を同時に実行することにより、補間拡大フレーム52mを生成する。また、この補間拡大フレームの生成処理手法によって、受信フレームk/受信フレームk+1の拡大フレーム51m,53mを生成する。
なお、同様に、受信フレームk+1(52x)及び受信フレームk+2(53x)から、補間拡大フレーム54m、拡大フレーム55mを生成する。
すなわち、(式1)に示すように、注目画素抽出部12が抽出した受信フレームk内の注目画素に対応する受信フレームk+1内の注目画素の画素位置と、前記受信フレームk内の注目画素の画素位置との差をとり、動きベクトルmv1を算出する。
mv1=受信フレームk内の注目画素に対応する受信フレームk+1内の注目画素の画素位置p’−受信フレームk内の注目画素の画素位置p……(式1)
図3(A)は、受信フレームk(11a)の一部分(ブロック)を示す画素数10×10の画素配列図61で、図3(B)は、受信フレームk+1(11b)の同画素配列図62である。
図からも明らかなように、注目画素は右方向に移動している。
mv2=mv1×C×(1/N)×M……(式2)
をもとに、補間拡大フレームごとに動きベクトルmv2の値を調整する。
1枚目の補間拡大フレームに対して、mv2’ =mv1×(1)×(1/4)×M
2枚目の補間拡大フレームに対して、mv2’’ =mv1×(2)×(1/4)×M
3枚目の補間拡大フレームに対して、mv2’’’=mv1×(3)×(1/4)×M
として、補間拡大フレームごとに動きベクトルmv2の値を調整する。
なお、当該拡大倍率は任意である。
P=p×M+mv2……(式3)
により算出される。そして、算出した画素位置Pの近隣に位置する画素に対して所定の拡大処理を施すことにより、拡大した補間フレームを生成する。
このように、補間拡大フレーム生成手法を利用して受信フレームの拡大フレームを生成することができるので、処理負担も削減することができる。
なお、拡大処理における画素の補間の手法は、従来から提案されている様々な手法を採用することができる。
図4(A)は、出力フレーム生成部16にて生成される補間拡大フレームの一部分(ブロック)を示す画素数20×20の画素配列図63である。これは、前述した図3の画素配列図を2倍に拡大した画素配列図である。
出力フレーム生成部16は、例えば、前述した(式3)の数式、P=p×M+mv2を用いて補間拡大フレームの画素位置を決定する。
図4(B)は、図3(B)の画素配列図を2倍に拡大した画素数20×20の画素配列図64を示すものである。
出力フレーム生成部16は、前述した(式3)の数式、P=p×M+mv2の動きベクトルmv2を(動きベクトルmv1×拡大倍率M)に置換した式を用いて拡大フレームの画素位置を決定する。
図4(C)は、図3(A)の画素配列図を2倍に拡大した画素数20×20の画素配列図65を示すものである。
この拡大処理は、受信フレームk−1と受信フレームkの補間拡大処理で同様に生成される。
しかし、本発明のようにフレーム補間処理と画像拡大処理を同時に実行することで、従来の手法で生成する補間拡大フレームよりも精度の向上した補間拡大フレームを生成でき、滑らかな動画像を生成できる。
受信フレームk,受信フレームk+1を受信フレームメモリ11に記憶する(ステップS1)。
注目画素抽出部12は、記憶した受信フレームk及び受信フレームk+1内の画像に対して注目画素を抽出してコントロールラインを設定する(ステップS2)。
次に、動きベクトル算出部13は、注目画素抽出部12にて設定したコントロールラインの画素の動きベクトルmv1を算出する(ステップS3)。
さらに、本発明による映像処理機能をプログラムにて実行することもでき、当該プログラムを記録媒体に記録し、記録したプログラムを携帯端末、情報処理装置にインストールして実行することもできる。
Claims (10)
- 受信映像についてフレーム補間すると共に画像を拡大する映像処理装置であって、
連続して受信した2つの受信フレームの画像の動きベクトル値を算出し、
前記受信フレーム間に補間するフレーム数及び画像の拡大倍率に基づいて前記動きベクトル値を調整し、
前記調整した動きベクトル値及び拡大倍率に基づいて前記受信フレームを参照して拡大フレーム上に補間フレームの画像を生成することを特徴とする映像処理装置。 - 前記動きベクトル値の調整は、前記算出した動きベクトル値に補間フレーム数に1を加算した数の逆数及び拡大倍率を乗算して算出することを特徴とする請求項1に記載の映像処理装置。
- 前記動きベクトル値の調整において、前記算出した動きベクトル値に拡大倍率を乗算した値を参照して拡大フレーム上に受信フレームの画像を生成することを特徴とする請求項1に記載の映像処理装置。
- 受信映像についてフレーム補間すると共に画像を拡大する映像処理方法であって、
連続して受信した2つの受信フレームの画像の動きベクトル値を算出するステップと、
前記受信フレーム間に補間するフレーム数及び画像の拡大倍率に基づいて前記動きベクトル値を調整するステップと、
前記調整した動きベクトル値及び拡大倍率に基づいて前記受信フレームを参照して拡大フレーム上に補間フレームの画像を生成するステップからなることを特徴とする映像処理方法。 - 前記動きベクトル値を調整するステップは、前記算出した動きベクトル値に補間フレーム数に1を加算した数の逆数及び拡大倍率を乗算して算出することを特徴とする請求項4に記載の映像処理方法。
- 前記動きベクトルを調整するステップにおいて、前記算出した動きベクトル値に拡大倍率を乗算した値を参照して拡大フレーム上に受信フレームの画像を生成することを特徴とする請求項4に記載の映像処理方法。
- 請求項1〜3のいずれか1に記載の映像処理装置を備えたことを特徴とする携帯端末。
- 請求項1〜3のいずれか1に記載の映像処理装置を備えたことを特徴とする受信装置。
- 請求項4〜6のいずれか1に記載の映像処理方法を実行するプログラム。
- 請求項9に記載のプログラムを記録した記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007029358A JP4915018B2 (ja) | 2007-02-08 | 2007-02-08 | 映像処理装置、映像処理方法、プログラム、記録媒体、携帯端末、及び、受信装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007029358A JP4915018B2 (ja) | 2007-02-08 | 2007-02-08 | 映像処理装置、映像処理方法、プログラム、記録媒体、携帯端末、及び、受信装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008199097A true JP2008199097A (ja) | 2008-08-28 |
JP4915018B2 JP4915018B2 (ja) | 2012-04-11 |
Family
ID=39757688
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007029358A Expired - Fee Related JP4915018B2 (ja) | 2007-02-08 | 2007-02-08 | 映像処理装置、映像処理方法、プログラム、記録媒体、携帯端末、及び、受信装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4915018B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011035776A (ja) * | 2009-08-04 | 2011-02-17 | Sanyo Electric Co Ltd | 映像情報処理装置およびプログラム |
US8571355B2 (en) | 2009-08-13 | 2013-10-29 | Samsung Electronics Co., Ltd. | Method and apparatus for reconstructing a high-resolution image by using multi-layer low-resolution images |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007324830A (ja) * | 2006-05-31 | 2007-12-13 | Toshiba Corp | フレームレート変換装置及びフレームレート変換方法 |
-
2007
- 2007-02-08 JP JP2007029358A patent/JP4915018B2/ja not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007324830A (ja) * | 2006-05-31 | 2007-12-13 | Toshiba Corp | フレームレート変換装置及びフレームレート変換方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011035776A (ja) * | 2009-08-04 | 2011-02-17 | Sanyo Electric Co Ltd | 映像情報処理装置およびプログラム |
US8665377B2 (en) | 2009-08-04 | 2014-03-04 | Semiconductor Components Industries, Llc | Video information processing apparatus and recording medium having program recorded therein |
US8571355B2 (en) | 2009-08-13 | 2013-10-29 | Samsung Electronics Co., Ltd. | Method and apparatus for reconstructing a high-resolution image by using multi-layer low-resolution images |
Also Published As
Publication number | Publication date |
---|---|
JP4915018B2 (ja) | 2012-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4869045B2 (ja) | 補間フレーム作成方法および補間フレーム作成装置 | |
JP4198608B2 (ja) | 補間画像生成方法および装置 | |
JP5245783B2 (ja) | フレーム補間装置、方法、及びプログラム、フレームレート変換装置、映像再生装置、映像表示装置 | |
JP4564564B2 (ja) | 動画像再生装置、動画像再生方法および動画像再生プログラム | |
TWI408620B (zh) | 用以決定插補畫面之移動向量的影像處理方法及其相關裝置 | |
JP5100495B2 (ja) | 画像処理装置 | |
KR20070076337A (ko) | 에지영역 판단장치 및 에지영역 판단방법 | |
US20080002051A1 (en) | Motion vector detecting apparatus, motion vector detecting method and interpolation frame creating apparatus | |
US8385430B2 (en) | Video signal processing apparatus and video signal processing method | |
JP4915018B2 (ja) | 映像処理装置、映像処理方法、プログラム、記録媒体、携帯端末、及び、受信装置 | |
JP2008011454A (ja) | 動画像フレームレート変換装置および動画像フレームレート変換方法 | |
JP2008011476A (ja) | フレーム補間装置及びフレーム補間方法 | |
JP4930304B2 (ja) | 画像処理装置、画像処理方法、プログラム、及び記録媒体 | |
US9894367B2 (en) | Multimedia device and motion estimation method thereof | |
JP2008245135A (ja) | 補間フレーム作成方法および補間フレーム作成装置 | |
US20090046208A1 (en) | Image processing method and apparatus for generating intermediate frame image | |
JP5219646B2 (ja) | 映像処理装置及び映像処理装置の制御方法 | |
US8698954B2 (en) | Image processing method, image processing apparatus and image processing program | |
JP2009206940A (ja) | 補間フレーム生成回路及びフレーム補間装置 | |
JP5145887B2 (ja) | フレーム補間装置および方法 | |
JP2011205519A (ja) | フレームレート変換回路 | |
JPWO2009116595A1 (ja) | 画像処理方法、画像処理装置及び画像処理プログラム | |
US8913794B2 (en) | Image processing apparatus, image processing method, and medium | |
JP2010098513A (ja) | 補間画像生成装置及び補間画像生成方法 | |
JP2018160725A (ja) | 映像信号処理装置、映像信号処理方法、映像信号処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090807 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110729 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110809 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110915 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20111003 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20111003 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111220 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120106 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150203 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |