JP2009534900A - 補間画像生成方法及びシステム - Google Patents
補間画像生成方法及びシステム Download PDFInfo
- Publication number
- JP2009534900A JP2009534900A JP2009505997A JP2009505997A JP2009534900A JP 2009534900 A JP2009534900 A JP 2009534900A JP 2009505997 A JP2009505997 A JP 2009505997A JP 2009505997 A JP2009505997 A JP 2009505997A JP 2009534900 A JP2009534900 A JP 2009534900A
- Authority
- JP
- Japan
- Prior art keywords
- vector
- image
- covering
- uncovering
- segment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 239000013598 vector Substances 0.000 claims abstract description 136
- 238000006243 chemical reaction Methods 0.000 claims abstract description 22
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 238000004590 computer program Methods 0.000 claims description 5
- 125000001475 halogen functional group Chemical group 0.000 description 16
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
- G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
- H04N7/0132—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Television Systems (AREA)
Abstract
Description
本発明は、ビデオストリーム中の前の画像と現在画像との間に補間画像を生成する方法に関するものである。本発明は、ビデオストリーム中の前の画像と現在画像との間の補間画像を生成する画像処理システムにも関するものである。
ここ2、3年、LCDテレビジョン用のフレームレートのアップコンバージョンは一般に、50、60フレーム/秒のような比較的低いフレームレートについて行われている。近年、市場は、LCDスクリーンのサンプル−ホールドの問題に応えようとしている。この問題に応える1つの方法は、96、100、120フレーム/秒のような、より高いフレームレートへのアップコンバージョンによるものである。不都合なことに、より大きい倍率でアップコンバージョンを行うことは、知覚されるビデオの画質もより悪化させる。このことはとりわけ、比較的長時間にわたって補間画像を表示することによって生じる。一般に使用されるフレームレートのアップコンバージョン用の動き推定アルゴリズムは、3DRSアルゴリズムであり、G. de Haan and P. W. A. C. Biezen: ”Sub-pixel motion estimation with 3-D recursive search block-matching”, Signal Processing: Image Communication 6, pp. 229-239, 1994に記載されている。このアルゴリズムは、ブロック依存性の候補の組からフェッチ(取得)したベクトルについての絶対差の総和(SAD:Sum of Absolute Differences)を最小化することによって、現在フレーム中のブロック毎にベクトルを見つける。
本発明の目的は、ハロー・アーティファクトを低減し、かつ比較的安価である、補間画像を生成する方法を提供することにある。この目的は、請求項1による方法によって達成される。
以下、本発明の実施例について図面を参照しながら説明する。
時間的アップコンバージョンは、2つの入力画像を使用するアルゴリズムを含み、これらの入力画像間に補間画像を生成しなければならない。直前の画像を前の画像と称し、最新の画像を現在画像と称する。このアルゴリズムは一般に、補間画像を段階的に生成し:画像の複数セグメント(例えば複数ブロックまたは複数画素)について動きベクトルを生成し、そしてこれらの動きベクトルを用いてこれらのセグメントの補間値を計算して、前の画像及び現在画像中の正しい元の値をフェッチする。
mvx(x−N,y)−mvx(x+N,y)>Tocclusion⇒アンカバリング (1)
mvx(x−N,y)−mvx(x+N,y)<−Tocclusion⇒カバリング (2)
この式では、mvx(x,y)は、位置(x,y)におけるベクトルの水平成分であり、Tocclusionはオクルージョン閾値である。
効率的かつ安価な実現を可能にする。
比較的低いレイテンシでの実現を可能にする。
推定の時間位置を1/2のより近く、または遠くに移動させることによって、ロバスト性とハロー性能の円滑なトレードオフを行うことができる。
比較的ロバストなアルゴリズムである
」等は、請求項に記載した以外の部分を排除するものではない。各要素は複数存在し得る。本発明の部分を形成する手段は、専用ハードウェアの形態でも、プログラムされた汎用プロセッサの形態でも実現することができる。本発明は、新たな特徴の各々、あるいはこれらの特徴の組合せに存在する。
Claims (8)
- ビデオストリーム中の前の画像と現在画像との間に補間画像を生成する方法において、
(a)前記前の画像と前記現在画像との間で動き推定を実行して第1ベクトル場及び第2ベクトル場を生成するステップであって、前記動き推定の1回目は1/2より小さい時間位置で実行し、前記動き推定の2回目は1/2より大きい時間位置で実行するステップを備え、
前記補間画像のセグメントの内容を、
(b)前記第1ベクトル場及び前記第2ベクトル場の少なくとも一方を分析することによって、アンカバリング−カバリングの検出を実行するステップと、
(c)前記第1ベクトル場から第1ベクトルをフェッチし、前記第2ベクトル場から第2ベクトルをフェッチするステップと、
(d)アップコンバージョンベクトルを発生するステップであって、
(d1)カバリングが存在する場合には、前記アップコンバージョンベクトルを前記第2ベクトルとし、
(d2)アンカバリングが存在する場合には、前記アップコンバージョンベクトルを前記第1ベクトルとし、
(d3)カバリング−アンカバリングが存在しない場合には、前記アップコンバージョンベクトルを、前記第1ベクトル及び前記第2ベクトルから任意に選択するステップと、
(e)前記アップコンバージョンベクトルを用いて、前記前の画像及び前記現在画像中の元のセグメント値をフェッチし、前記元のセグメント値から前記セグメントの補間値を計算するステップと、
(f)前記補間画像の前記セグメント毎に、ステップ(b)〜(e)を反復するステップと
によって決定することを特徴とする補間画像の生成方法。 - 請求項1に記載の方法において、ステップ(b)における前記アンカバリング−カバリングの検出を、
(b1)前記セグメントの左側のN個のセグメント位置におけるベクトルと、前記セグメントの右側のN個のセグメント位置におけるベクトルとの水平差分を計算するステップと、
(b2)次式:
mvx(x−N,y)−mvx(x+N,y)>Tocclusionであればアンカバリング (1)
mvx(x−N,y)−mvx(x+N,y)<−Tocclusionであればカバリング (2)
を用いて、前記水平差分をオクルージョン閾値と比較するステップであって、ここにN≧1であり、mvx(x,y)は位置(x,y)におけるベクトルの水平成分であり、Tocclusionは前記オクルージョン閾値であるステップと
によって実行することを特徴とする方法。 - 請求項1に記載の方法において、前記動き推定を、3DRS的な動き推定器によって実行することを特徴とする方法。
- 請求項1に記載の方法において、ステップ(c)においてフェッチすることを、
(c1)カバリングを検出した場合に、前記第1ベクトル場からのベクトルに沿って実行し、
(c2)アンカバリングを検出した場合に、前記第2ベクトル場からのベクトルに沿って実行し、
(c3)アンカバリング−カバリングを検出しなかった場合に、0ベクトルに沿って実行する
ことを特徴とする方法。 - 請求項2に記載の方法において、ステップ(c)とステップ(d)との間に、
前記第1ベクトルの水平成分と前記第2ベクトルの水平成分とを比較し、前記水平成分どうしの差が前記オクルージョン閾値より小さい場合に、アンカバリング−カバリングが存在しないものとしてステップ(d)及び(e)を実行するステップを実行することを特徴とする方法。 - 請求項1に記載の方法において、1/4以下の時間位置におけるアップコンバージョンについてはアンカバリングの検出を無効にし、3/4以上の時間位置におけるアップコンバージョンついてはカバリングの検出を無効にすることを特徴とする方法。
- ビデオストリーム中の前の画像と現在画像との間に補間画像を生成する画像処理システムにおいて
(a)前記前の画像と前記現在画像との間の動き推定を実行して第1ベクトル場及び第2ベクトル場を生成する手段であって、前記動き推定の1回目は1/2より小さい時間位置で実行し、前記動き推定の2回目は1/2より大きい時間位置で実行する手段と、
前記補間画像のセグメントの内容を、
(b)前記第1ベクトル場及び前記第2ベクトル場の少なくとも一方を分析することによって、アンカバリング−カバリングの検出を実行するステップと、
(c)前記第1ベクトル場から第1ベクトルをフェッチし、前記第2ベクトル場から第2ベクトルをフェッチするステップと、
(d)アップコンバージョンベクトルを発生するステップであって、
(d1)カバリングが存在する場合には、前記アップコンバージョンベクトルを前記第2ベクトルとし、
(d2)アンカバリングが存在する場合には、前記アップコンバージョンベクトルを前記第1ベクトルとし、
(d3)カバリング−アンカバリングが存在しない場合には、前記アップコンバージョンベクトルを、前記第1ベクトル及び前記第2ベクトルから任意に選択するステップと、
(e)前記アップコンバージョンベクトルを用いて、前記前の画像及び前記現在画像中の元のセグメント値をフェッチし、前記元のセグメント値から前記セグメントの補間値を計算するステップと、
(f)前記補間画像の前記セグメント毎に、ステップ(b)〜(e)を反復するステップと
によって決定する手段と、
を備えていることを特徴とする補間画像生成システム。 - 請求項1に記載の方法を実行するためのコンピュータプログラム製品。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP06112756 | 2006-04-19 | ||
EP06112756.9 | 2006-04-19 | ||
PCT/IB2007/051120 WO2007119183A2 (en) | 2006-04-19 | 2007-03-29 | Method and system for creating an interpolated image |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009534900A true JP2009534900A (ja) | 2009-09-24 |
JP5081898B2 JP5081898B2 (ja) | 2012-11-28 |
Family
ID=38373423
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009505997A Expired - Fee Related JP5081898B2 (ja) | 2006-04-19 | 2007-03-29 | 補間画像生成方法及びシステム |
Country Status (5)
Country | Link |
---|---|
US (1) | US8406305B2 (ja) |
EP (1) | EP2011334A2 (ja) |
JP (1) | JP5081898B2 (ja) |
CN (1) | CN101496063A (ja) |
WO (1) | WO2007119183A2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102007062996A1 (de) | 2007-12-21 | 2009-06-25 | Robert Bosch Gmbh | Werkzeugmaschinenvorrichtung |
EP2227012A1 (en) * | 2009-03-05 | 2010-09-08 | Sony Corporation | Method and system for providing reliable motion vectors |
EP2237560A1 (en) | 2009-03-30 | 2010-10-06 | Vestel Elektronik Sanayi ve Ticaret A.S. | Halo reducing motion-compensated interpolation |
EP2237559B1 (en) | 2009-03-30 | 2016-05-11 | Vestel Elektronik Sanayi ve Ticaret A.S. | Background motion estimate based halo reduction |
TWI408621B (zh) | 2009-11-17 | 2013-09-11 | Mstar Semiconductor Inc | 影像插補處理裝置及其方法 |
US8411751B2 (en) * | 2009-12-15 | 2013-04-02 | Nvidia Corporation | Reducing and correcting motion estimation artifacts during video frame rate conversion |
US9013584B2 (en) * | 2010-03-01 | 2015-04-21 | Stmicroelectronics, Inc. | Border handling for motion compensated temporal interpolator using camera model |
US20110249870A1 (en) * | 2010-04-08 | 2011-10-13 | National Taiwan University | Method of occlusion handling |
CN103313059B (zh) * | 2013-06-14 | 2016-04-27 | 珠海全志科技股份有限公司 | 一种帧率提升中闭塞区域的判定方法 |
CN112770015B (zh) * | 2020-12-29 | 2022-09-13 | 紫光展锐(重庆)科技有限公司 | 一种数据处理方法及相关装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005022922A1 (en) * | 2003-09-02 | 2005-03-10 | Koninklijke Philips Electronics N.V. | Temporal interpolation of a pixel on basis of occlusion detection |
WO2005027525A1 (en) * | 2003-09-17 | 2005-03-24 | Koninklijke Philips Electronics N.V. | Motion vector field re-timing |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20020021805A (ko) * | 2000-05-18 | 2002-03-22 | 요트.게.아. 롤페즈 | 전경/배경 검출기 |
CN100504925C (zh) | 2000-05-18 | 2009-06-24 | Nxp股份有限公司 | 用于检测图像间的运动的方法和装置以及图像显示装置 |
EP1590957A1 (en) * | 2003-01-23 | 2005-11-02 | Koninklijke Philips Electronics N.V. | Background motion vector detection |
-
2007
- 2007-03-29 JP JP2009505997A patent/JP5081898B2/ja not_active Expired - Fee Related
- 2007-03-29 CN CNA2007800137708A patent/CN101496063A/zh active Pending
- 2007-03-29 EP EP07735314A patent/EP2011334A2/en not_active Withdrawn
- 2007-03-29 WO PCT/IB2007/051120 patent/WO2007119183A2/en active Application Filing
- 2007-03-29 US US12/297,500 patent/US8406305B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005022922A1 (en) * | 2003-09-02 | 2005-03-10 | Koninklijke Philips Electronics N.V. | Temporal interpolation of a pixel on basis of occlusion detection |
WO2005027525A1 (en) * | 2003-09-17 | 2005-03-24 | Koninklijke Philips Electronics N.V. | Motion vector field re-timing |
Also Published As
Publication number | Publication date |
---|---|
CN101496063A (zh) | 2009-07-29 |
WO2007119183A3 (en) | 2009-03-05 |
JP5081898B2 (ja) | 2012-11-28 |
WO2007119183A2 (en) | 2007-10-25 |
US8406305B2 (en) | 2013-03-26 |
EP2011334A2 (en) | 2009-01-07 |
US20090296818A1 (en) | 2009-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5081898B2 (ja) | 補間画像生成方法及びシステム | |
JP4997281B2 (ja) | イメージ中の推定動きベクトルの決定方法、コンピュータプログラムおよびディスプレイ装置 | |
JP4973031B2 (ja) | ノイズ抑圧方法、ノイズ抑圧方法のプログラム、ノイズ抑圧方法のプログラムを記録した記録媒体及びノイズ抑圧装置 | |
CN104219533B (zh) | 一种双向运动估计方法和视频帧率上转换方法及*** | |
US8503812B2 (en) | Method and system for motion compensated temporal filtering using both FIR and IIR filtering | |
JP2013059016A (ja) | 画像処理装置および方法、並びにプログラム | |
TW200945904A (en) | Image interpolation with halo reduction | |
US20120093231A1 (en) | Image processing apparatus and image processing method | |
JP2003163894A (ja) | 適応動き補償型フレーム及び/又はフィールドレート変換装置及びその方法 | |
JPH11112939A (ja) | 画像信号の方式変換方法および装置 | |
US8610826B2 (en) | Method and apparatus for integrated motion compensated noise reduction and frame rate conversion | |
US20090251612A1 (en) | Motion vector field retimer | |
JP3960258B2 (ja) | 信号処理装置および信号処理方法 | |
JP2009532984A (ja) | 補償アーチファクトに対する保護を有する動き補償フレームレート変換 | |
JP2006513661A (ja) | バックグラウンド動きベクトル検出方法及び装置 | |
JP2005318624A (ja) | 静止領域におけるフィルムモード補正方法および装置 | |
US20050129124A1 (en) | Adaptive motion compensated interpolating method and apparatus | |
JPH11112940A (ja) | 動きベクトルの生成方法および装置 | |
WO2010007777A1 (ja) | 画像処理装置、画像処理方法、プログラム、記録媒体および集積回路 | |
US20120274845A1 (en) | Image processing device and method, and program | |
JP2005051460A (ja) | ビデオ信号処理装置及びビデオ信号の処理方法 | |
JP4886479B2 (ja) | 動きベクトル補正装置、動きベクトル補正プログラム、補間フレーム生成装置及び映像補正装置 | |
JP2007243627A (ja) | ビデオ信号処理装置 | |
US8531598B2 (en) | Image processing method and related apparatus for generating target image block | |
JP3948616B2 (ja) | 画像のマッチング装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110826 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110906 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20120217 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120327 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120713 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20120725 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120821 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120903 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150907 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |