JP2006345446A - 動画像変換装置、動画像変換方法、及びコンピュータ・プログラム - Google Patents
動画像変換装置、動画像変換方法、及びコンピュータ・プログラム Download PDFInfo
- Publication number
- JP2006345446A JP2006345446A JP2005171626A JP2005171626A JP2006345446A JP 2006345446 A JP2006345446 A JP 2006345446A JP 2005171626 A JP2005171626 A JP 2005171626A JP 2005171626 A JP2005171626 A JP 2005171626A JP 2006345446 A JP2006345446 A JP 2006345446A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- image sequence
- image
- thinned
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【解決手段】 初期動きベクトル検出部43は、間引き画像のみをもとに初期動きベクトルを検出し、動きベクトル画像列バッファ44に格納する。再構成処理部45は動きベクトル画像列バッファ44に格納された動きベクトルと間引き画像とをもとに復元画像を再構成し、動きベクトル検出部47は動きベクトル画像列バッファ44に格納された動きベクトルと復元画像とをもとに新たな動きベクトルを検出する。精度検出部48は、直前に再構成した復元画像と新たに再構成した復元画像との差を求め、再構成の前後における画像の差が十分小さくなったとき、再構成処理部45と動きベクトル検出部47との繰り返し処理を打ち切る。
【選択図】図8
Description
(2)動きベクトルを付随しない圧縮データをもとに復元画像を生成する動画像変換装置および動画像変換方法
まず、本発明のベースとなる超解像効果を利用した動画像圧縮を実行する動画像変換装置の基本構成について説明する。なお、この基本構成は、本出願人が先に出願した特願2003−412501の明細書及び図面に詳細を記載しているものであり、画像を小領域(ブロック)に分割し、各領域の移動速度に応じて画素数の間引きや、フレームレートの間引きを適応的に行うことでデータ量の圧縮を実現した構成である。
上述したように、圧縮画像データに動きベクトルを付随させると、動きベクトルの容量が圧縮率向上の阻害要因になってしまう。本発明を適用した動画像変換装置40では、動きベクトルを付随しない間引き画像のみからなる圧縮画像データから動きベクトルを推定しつつ復元画像の再構成を行い、動きベクトルによる圧縮率の低下を回避する。
p:現在フレームの任意の点の座標
v:座標pから次/前フレームへの動きベクトル
d:座標pからのずれ
r(x) :現在フレームの座標xでの信頼度
r’(x):次/前フレームの座標xでの信頼度
c(x) :現在フレームの座標xでの色
c’(x):次/前フレームの座標xでの色
である。
Claims (11)
- 元画像列の画素を間引いて得られた間引き画像列の復元処理を実行する動画像変換装置であって、
上記間引き画像列を入力する入力部と、
上記間引き画像列をもとに動きベクトル画像列を検出する初期動きベクトル検出部と、
新たな動きベクトル画像列が検出される毎に、上記新たに検出された動きベクトル画像列と上記間引き画像列とをもとに復元画像列を再構成する再構成処理部と、
新たな復元画像列が再構成される毎に、上記新たに再構成された復元画像列と過去に検出された動きベクトル画像列とから新たな動きベクトル画像列を検出する動きベクトル検出部と、
上記再構成処理部による再構成処理と上記動きベクトル検出部による動きベクトルの検出処理とを所定の条件に基づいて終了し、上記終了判定時に得られていた復元画像列のうち、復元対象であった復元画像を出力する終了処理部と
を有することを特徴とする動画像変換装置。 - 上記終了処理部は、上記再構成処理部が新たに再構成した復元画像列と上記再構成処理部が上記新たな復元画像列の再構成処理より1つ前の処理で再構成した復元画像列との輝度変化を算出し、上記輝度変化が十分小さくなったときに上記再構成処理部における復元画像列の再構成と上記動きベクトル検出部における動きベクトル画像列の検出とを終了させることを特徴とする請求項1記載の動画像変換装置。
- 上記終了処理部は、上記動きベクトル検出部によって新たに検出された動きベクトル画像列と当該動きベクトル画像列の直前に検出された動きベクトルとのベクトル変化を算出し、上記ベクトル変化が十分小さくなったときに上記再構成処理部における復元画像の再構成と上記動きベクトル検出ベクトルにおける動きベクトルの検出とを終了させることを特徴とする請求項1記載の動画像変換装置。
- 上記動きベクトル検出部は、上記初期動きベクトルを初期値として局所探索による動きベクトルの検出を行い、上記局所探索では上記間引き画像の画素毎の信頼度に応じて局所領域に対する類似性比較の評価値を求めることを特徴とする請求項1記載の動画像変換装置。
- 上記初期動きベクトル検出部は、
上記間引き画像列の一部のフレームを選択し選択したフレームを縮小して上記間引き画像列よりもフレームレート及び解像度の低い縮小画像列を生成する縮小処理部と、
上記縮小画像列から補間前動きベクトル画像列を検出する補間前動きベクトル検出部と、
上記補間前動きベクトル画像列のフレームレートおよび解像度を上記間引き画像に基づいて検出された動きベクトルと同じになるように補間し動きベクトル画像列を生成する補間処理部と
を有することを特徴とする請求項1記載の動画像変換装置。 - 上記初期動きベクトル検出部は、
上記間引き画像列の一部のフレームを選択し選択したフレームを縮小して上記間引き画像列よりもフレームレートかつ解像度の低い縮小画像列を生成する縮小処理部と、
上記縮小画像列の各画像を拡大して上記間引き画像列よりも低フレームレートかつ同解像度の拡大画像列を生成する拡大処理部と、
上記拡大画像列から補間前動きベクトル画像列を検出する補間前動きベクトル検出部と、
上記補間前動きベクトル画像列のフレームレートが上記間引き画像列に基づく動きベクトル画像列と同じになるように補間し動きベクトル画像列を生成する補間処理部とを有することを特徴とする請求項1記載の動画像変換装置。 - 上記初期動きベクトル検出部は、
上記間引き画像列の一部のフレームを選択し選択したフレームを縮小して上記間引き画像列よりもフレームレート及び解像度の低い縮小画像列を生成する縮小処理部と、
上記縮小画像列から補間前動きベクトル画像列を検出する補間前動きベクトル検出部と、
上記補間前動きベクトル画像列を用いて上記縮小画像列のフレームレート及び解像度が上記間引き画像列と同じになるように補間し補間済画像列を生成する画像補間処理部と、
上記補間済画像列を構成する各補間済画像と、上記各補間済画像と時間的に一致する上記間引き画像列の間引き画像とを合成し合成画像列を生成する合成処理部と、
上記合成画像列から初期動きベクトル画像列を検出する初期動きベクトル検出処理部と
を有することを特徴とする請求項1記載の動画像変換装置。 - 上記間引き画像列は、上記元画像列を構成する各画像を分割したブロックのフレーム間の移動量に応じた間引きパターンで上記復元画像の各ブロックの画素を間引いて得られたものであり、
上記初期動きベクトル検出部は、間引き画像をブロックに分割し、各ブロックの間引きパターンに対応するブロックの移動量をもとに前初期動きベクトルを生成する前初期動きベクトル検出部を備え、
上記補間前動きベクトル検出部は、上記前初期動きベクトルを初期値として補間前動きベクトルを検出することを特徴とする請求項5乃至7記載の動画像変換装置。 - 上記補間前動きベクトル検出部は、上記前初期動きベクトルを初期値として局所探索による動きベクトルの検出を行い、上記局所探索では上記間引き画像の画素毎の信頼度に応じて局所領域に対する類似性比較の評価値を求めることを特徴とする請求項5乃至7記載の動画像変換装置。
- 元画像列の画素を間引いて得られた間引き画像列の復元処理を実行する動画像変換方法であって、
上記間引き画像列を入力する入力工程と、
上記間引き画像列をもとに動きベクトル画像列を検出する初期動きベクトル検出工程と、
新たな動きベクトル画像列が検出される毎に、上記新たな動きベクトル画像列と上記間引き画像列とをもとに復元画像列を再構成する処理と、新たな復元画像列が再構成される毎に、上記新たな復元画像列と上記動きベクトルをもとに新たな動きベクトルを検出する動きベクトル検出処理とを繰り返す繰り返し工程と、
上記繰り返しを所定の条件に基づいて終了し、上記終了判定時に得られていた復元画像列のうち、復元対象であった復元画像を出力する終了工程と
を有することを特徴とする動画像変換方法。 - 元画像列の画素を間引いて得られた間引き画像列の復元処理を所定のコンピュータに実行させるコンピュータ・プログラムであり、
上記間引き画像列を入力する入力工程と、
上記間引き画像列をもとに動きベクトル画像列を検出する初期動きベクトル検出工程と、
新たな動きベクトル画像列が検出される毎に、上記新たな動きベクトル画像列と上記間引き画像列とをもとに復元画像列を再構成する処理と、新たな復元画像列が再構成される毎に、上記新たな復元画像列と上記動きベクトルをもとに新たな動きベクトルを検出する動きベクトル検出処理とを繰り返す繰り返し工程と、
上記繰り返しを所定の条件に基づいて終了し、上記終了判定時に得られていた復元画像列のうち、復元対象であった復元画像を出力する終了工程と
を有するコンピュータ・プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005171626A JP4735063B2 (ja) | 2005-06-10 | 2005-06-10 | 動画像変換装置、動画像変換方法、及びコンピュータ・プログラム |
US11/434,876 US8149913B2 (en) | 2005-06-10 | 2006-05-17 | Moving picture converting apparatus and method, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005171626A JP4735063B2 (ja) | 2005-06-10 | 2005-06-10 | 動画像変換装置、動画像変換方法、及びコンピュータ・プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006345446A true JP2006345446A (ja) | 2006-12-21 |
JP4735063B2 JP4735063B2 (ja) | 2011-07-27 |
Family
ID=37524088
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005171626A Expired - Fee Related JP4735063B2 (ja) | 2005-06-10 | 2005-06-10 | 動画像変換装置、動画像変換方法、及びコンピュータ・プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8149913B2 (ja) |
JP (1) | JP4735063B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7983835B2 (en) | 2004-11-03 | 2011-07-19 | Lagassey Paul J | Modular intelligent transportation system |
US20080278633A1 (en) * | 2007-05-09 | 2008-11-13 | Mikhail Tsoupko-Sitnikov | Image processing method and image processing apparatus |
KR101493325B1 (ko) * | 2008-09-03 | 2015-02-16 | 삼성전자주식회사 | 정밀 움직임 예측을 기반으로 한 프레임 보간 장치 및 그 방법 |
US8718366B2 (en) * | 2009-04-01 | 2014-05-06 | Ati Technologies Ulc | Moving text detection in video |
ATE547775T1 (de) * | 2009-08-21 | 2012-03-15 | Ericsson Telefon Ab L M | Verfahren und vorrichtung zur schätzung von interframe-bewegungsfeldern |
JP5574830B2 (ja) * | 2010-06-03 | 2014-08-20 | 三菱電機株式会社 | 画像処理装置及び方法、並びに画像表示装置及び方法 |
JP2012089986A (ja) * | 2010-10-18 | 2012-05-10 | Mitsubishi Electric Corp | 画像処理装置及び方法、並びに画像表示装置及び方法 |
US20150110190A1 (en) * | 2013-10-21 | 2015-04-23 | Sony Corporation | Method and apparatus for motion estimation |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01231583A (ja) * | 1988-03-11 | 1989-09-14 | Fujitsu Ltd | 可変ビットレート画像符号化装置 |
JPH07222145A (ja) * | 1994-01-31 | 1995-08-18 | Mitsubishi Electric Corp | 画像符号化装置 |
JPH0937243A (ja) * | 1995-07-20 | 1997-02-07 | Sanyo Electric Co Ltd | 動画像符号化装置及び復号装置 |
JP2004023670A (ja) * | 2002-06-19 | 2004-01-22 | Nec Corp | 画像符号化装置および同方式 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6463178B1 (en) * | 1997-06-16 | 2002-10-08 | Sony Corporation | Image processing device and method, and transmission medium, transmission method and image format |
US6470050B1 (en) * | 1999-04-09 | 2002-10-22 | Matsushita Electric Industrial Co., Ltd. | Image coding apparatus and its motion vector detection method |
JP2002027466A (ja) | 2000-07-13 | 2002-01-25 | Matsushita Electric Ind Co Ltd | 符号化領域補正装置及び符号化装置 |
JP2003169284A (ja) | 2001-12-04 | 2003-06-13 | Fuji Photo Film Co Ltd | 画像変換装置並びに画像変換プログラム |
US20040247032A1 (en) * | 2002-07-29 | 2004-12-09 | Yuichiro Aihara | Motion vector detection device and motion vector detection method |
-
2005
- 2005-06-10 JP JP2005171626A patent/JP4735063B2/ja not_active Expired - Fee Related
-
2006
- 2006-05-17 US US11/434,876 patent/US8149913B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01231583A (ja) * | 1988-03-11 | 1989-09-14 | Fujitsu Ltd | 可変ビットレート画像符号化装置 |
JPH07222145A (ja) * | 1994-01-31 | 1995-08-18 | Mitsubishi Electric Corp | 画像符号化装置 |
JPH0937243A (ja) * | 1995-07-20 | 1997-02-07 | Sanyo Electric Co Ltd | 動画像符号化装置及び復号装置 |
JP2004023670A (ja) * | 2002-06-19 | 2004-01-22 | Nec Corp | 画像符号化装置および同方式 |
Also Published As
Publication number | Publication date |
---|---|
JP4735063B2 (ja) | 2011-07-27 |
US20060280250A1 (en) | 2006-12-14 |
US8149913B2 (en) | 2012-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4735063B2 (ja) | 動画像変換装置、動画像変換方法、及びコンピュータ・プログラム | |
US6118488A (en) | Method and apparatus for adaptive edge-based scan line interpolation using 1-D pixel array motion detection | |
US9210341B2 (en) | Image processing device, imaging device, information storage medium, and image processing method | |
US20070047651A1 (en) | Video prediction apparatus and method for multi-format codec and video encoding/decoding apparatus and method using the video prediction apparatus and method | |
JP2003501902A (ja) | ビデオ信号の符号化 | |
JP2009532984A (ja) | 補償アーチファクトに対する保護を有する動き補償フレームレート変換 | |
JP2000041223A (ja) | 情報信号処理装置、画像情報変換装置および画像表示装置 | |
JP5133038B2 (ja) | 画像復元方法および画像復元装置 | |
WO2012147523A1 (ja) | 撮像装置及び画像生成方法 | |
JP2006345445A (ja) | 動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラム | |
JP4193233B2 (ja) | 動き判定装置、その方法および画像情報変換装置 | |
JP4168490B2 (ja) | 動き判定装置、その方法および画像情報変換装置 | |
JP3946781B2 (ja) | 画像情報変換装置及び方法 | |
JP4412062B2 (ja) | 動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラム | |
JP4140091B2 (ja) | 画像情報変換装置および画像情報変換方法 | |
JP2001339695A (ja) | 画像信号処理装置及び画像信号処理方法 | |
JP3759538B2 (ja) | 画像信号処理方法及び画像信号伝送装置 | |
JPH0363275B2 (ja) | ||
JP4470324B2 (ja) | 画像信号変換装置および方法 | |
JP4590975B2 (ja) | 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム | |
JP4779424B2 (ja) | 動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラム | |
JP4123587B2 (ja) | 画像情報処理装置および方法 | |
JP4174891B2 (ja) | 画像情報変換装置および方法 | |
JP3800638B2 (ja) | 画像情報変換装置および方法 | |
JP4001143B2 (ja) | 係数生成装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080509 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100309 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100622 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100813 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110329 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110411 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140513 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |