JP2013048375A - 動き補償フレーム生成装置及び方法 - Google Patents
動き補償フレーム生成装置及び方法 Download PDFInfo
- Publication number
- JP2013048375A JP2013048375A JP2011186245A JP2011186245A JP2013048375A JP 2013048375 A JP2013048375 A JP 2013048375A JP 2011186245 A JP2011186245 A JP 2011186245A JP 2011186245 A JP2011186245 A JP 2011186245A JP 2013048375 A JP2013048375 A JP 2013048375A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- pixel
- unit
- value
- reliability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 49
- 239000013598 vector Substances 0.000 claims abstract description 381
- 238000001514 detection method Methods 0.000 claims abstract description 86
- 230000003068 static effect Effects 0.000 claims description 33
- 230000003044 adaptive effect Effects 0.000 claims description 11
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 7
- 239000008186 active pharmaceutical agent Substances 0.000 abstract description 36
- 230000014509 gene expression Effects 0.000 description 42
- 230000002093 peripheral effect Effects 0.000 description 12
- 239000000203 mixture Substances 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Systems (AREA)
Abstract
【解決手段】動きベクトル検出部12は動きベクトルMVを検出し、ブロックマッチング誤差値BMEを出力する。全体スクロール判定部13bは、全体スクロール度DSを生成する。信頼度生成部14は、ブロックマッチング誤差値BMEに基づいて、動きベクトルMVの信頼度を示す信頼度データDR1を生成する。信頼度調整部15は、全体スクロール度DSが全体的にスクロールしている程度が大きい値であるほど、信頼度データDR1の値が大きくなるように調整して調整信頼度データDR2を出力する。補間画素生成部16は、調整信頼度データDR2に基づいて、動き補償フレームを構成するそれぞれの補間画素Pxを生成する。
【選択図】図11
Description
図1は、第1実施形態の動き補償フレーム生成装置101を示している。動き補償フレーム生成装置101は、フレームメモリ11,動きベクトル検出部12a,全体スクロール判定部13a,信頼度生成部14,信頼度調整部15,補間画素生成部16を備える。補間画素生成部16は、静止補間部161,動補間部162,適応混合部163を備える。
Hist_nrm(mvx_c,mvy_c)=Hist(mvx_c,mvy_c)×255/Total_num …(2)
次に、全体スクロール判定部13aは、ステップS4にて、式(3)に基づいて、正規化ヒストグラム値Hist_nrm(mvx_c,mvy_c)において最大のヒストグラム値Hist_nrm(mvx_c_hmax,mvy_c_hmax)と、最大値動きベクトル(mvx_c_hmax,mvy_c_hmax)の周辺の動きベクトルに対応するヒストグラム値とを積算した周辺積算値Sum_Histを算出する。
第1実施形態においては、静止補間部161及び動補間部162の補間処理を図9及び図10に示すように隣接する2フレーム内の画素を用いて行っているが、隣接していない2フレーム内の画素を用いて補間処理を行ってもよい。
Px=Ps×(256-DR2)/256+Pm×DR2/256 …(4)
図11に示す第2実施形態の動き補償フレーム生成装置102において、第1実施形態の動き補償フレーム生成装置101と同一部分には同一符号を付し、その説明を適宜省略することとする。第2実施形態の動き補償フレーム生成装置102における動きベクトル検出部12は、図1の動きベクトル検出部12aと同じでもよいし、動きベクトル候補MVcを間引かず動きベクトルMVを検出する構成であってもよい。第2実施形態の動き補償フレーム生成装置102は、全体スクロール判定部13aの代わりに、全体スクロール度DSを生成する構成が異なる全体スクロール判定部13bを備える。
|MV_REF_V-MV_ABOVE_V| > TH_V …(8)
図19に示す第3実施形態の動き補償フレーム生成装置103において、第1実施形態の動き補償フレーム生成装置101または第2実施形態の動き補償フレーム生成装置102と同一部分には同一符号を付し、その説明を適宜省略することとする。第3実施形態の動き補償フレーム生成装置103における動きベクトル検出部12は、図1の動きベクトル検出部12aと同じでもよいし、動きベクトル候補MVcを間引かず動きベクトルMVを検出する構成であってもよい。
MVX≦(SMVX+X_TH) …(11)
(SMVY-Y_TH)≦MVY …(12)
MVY≦(SMVY+Y_TH) …(13)
図20に示す第4実施形態の動き補償フレーム生成装置104において、第1実施形態の動き補償フレーム生成装置101、第2実施形態の動き補償フレーム生成装置102、第3実施形態の動き補償フレーム生成装置103と同一部分には同一符号を付し、その説明を適宜省略することとする。第4実施形態も、第3実施形態と同様、局所的に誤った動きベクトルMVを検出した場合の画質改善効果の低下を防ぐように構成したものである。
MVX≦(SMVX+X_TH1) …(15)
(SMVY-Y_TH1)≦MVY …(16)
MVY≦(SMVY+Y_TH1) …(17)
MVX≦(SMVX+X_TH2) …(19)
(SMVY-Y_TH2)≦MVY …(20)
MVY≦(SMVY+Y_TH2) …(21)
MVX≦(SMVX+X_TH3) …(23)
(SMVY-Y_TH3)≦MVY …(24)
MVY≦(SMVY+Y_TH3) …(25)
MVX≦(SMVX+X_TH4) …(27)
(SMVY-Y_TH4)≦MVY …(28)
MVY≦(SMVY+Y_TH4) …(29)
DR_MIX=DR2×DCMP/4+DR1×(1-DCMP/4) …(30)
第1〜第4実施形態では、フレームレートを2倍にする動き補償フレーム生成装置を例として説明しているがこれに限るものではない。本発明は、フレームレートを3倍,4倍等の2倍以外のフレームレートにアップコンバートする動き補償フレーム生成装置にも用いることができる。また、本発明はフィルムジャダ除去装置等にも用いることができる。
12,12a 動きベクトル検出部
13a,13b 全体スクロール判定部
14 信頼度生成部
15 信頼度調整部
16 補間画素生成部
17 ベクトル一致判定部(ベクトル判定部)
18 信頼度選択部
19 ベクトル一致度判定部(ベクトル判定部)
20 信頼度混合部
101〜104 動き補償フレーム生成装置
131 水平動きベクトル境界判定部
132 垂直動きベクトル境界判定部
133 境界判定信号混合部
134 境界判定信号集計部
135 判定部
161 静止補間部
162 動補間部
163 適応混合部
3123 境界判定信号生成部
Claims (4)
- 映像信号における実フレーム内の所定の検出単位を注目検出単位とし、この注目検出単位から、他の実フレーム内の所定の探索範囲内に含まれる複数の検出単位へと向かう複数の動きベクトル候補の中から、ブロックマッチングを用いて最も相関の高い検出単位へと向かう動きベクトルを検出し、前記動きベクトルに対応する前記注目検出単位それぞれのブロックマッチング誤差値を出力する動きベクトル検出部と、
前記動きベクトルに基づいて、画像が全体的にスクロールしている程度を示す全体スクロール度を生成する全体スクロール判定部と、
前記ブロックマッチング誤差値に基づいて、前記動きベクトルの信頼度を示す信頼度データを生成する信頼度生成部と、
前記全体スクロール度が全体的にスクロールしている程度が大きい値であるほど、前記信頼度データの値が大きくなるように前記信頼度データを調整して、調整信頼度データとして出力する信頼度調整部と、
前記動きベクトルを用いない静止補間処理と前記動きベクトルを用いた動補間処理の内、前記調整信頼度データに基づいて、前記動きベクトルの信頼度が大きいほど前記動補間処理の割合を大きくして、動き補償フレームを構成するそれぞれの補間画素を生成する補間画素生成部と、
を備え、
前記全体スクロール判定部は、
前記動きベクトル検出部で検出された動きベクトルの内、1実フレーム内の異なる検出単位間の動きベクトルを比較することによって、前記異なる検出単位間に動きベクトルの境界が存在するか否かを判定して動きベクトル境界判定信号を生成する境界判定信号生成部と、
前記境界判定信号生成部が生成した動きベクトル境界判定信号を集計して、1実フレーム内で動きベクトルの境界が存在する程度を示す集計値を生成する境界判定信号集計部と、
前記集計値と所定の閾値とを比較することによって、前記全体スクロール度を生成する判定部と、
を含むことを特徴とする動き補償フレーム生成装置。 - 前記補間画素生成部は、
前記静止補間処理によって静止補間画素を生成する静止補間部と、
前記動補間処理によって動補間画素を生成する動補間部と、
前記調整信頼度データの値に応じて、前記静止補間画素と前記動補間画素とを適応的に混合する適応混合部と、
を備えることを特徴とする請求項1記載の動き補償フレーム生成装置。 - 映像信号における実フレーム内の所定の検出単位を注目検出単位とし、この注目検出単位から、他の実フレーム内の所定の探索範囲内に含まれる複数の検出単位へと向かう複数の動きベクトル候補それぞれで、ブロックマッチングによって相関の程度を算出するステップと、
前記複数の動きベクトル候補の内、最も相関の高い検出単位に向かう動きベクトルを検出するステップと、
前記動きベクトルに対応する前記注目検出単位それぞれの相関の程度をブロックマッチング誤差値として出力するステップと、
前記動きベクトルに基づいて、画像が全体的にスクロールしている程度を示す全体スクロール度を生成するステップと、
前記ブロックマッチング誤差値に基づいて、前記動きベクトルの信頼度を示す信頼度データを生成するステップと、
前記全体スクロール度が全体的にスクロールしている程度が大きい値であるほど、前記信頼度データの値が大きくなるように前記信頼度データを調整して、調整信頼度データとして出力するステップと、
前記動きベクトルを用いない静止補間処理と前記動きベクトルを用いた動補間処理の内、前記調整信頼度データに基づいて、前記動きベクトルの信頼度が大きいほど前記動補間処理の割合を大きくして、動き補償フレームを構成するそれぞれの補間画素を生成するステップと、
を含み、
前記全体スクロール度を生成するステップは、
前記動きベクトルを検出するステップにて検出された動きベクトルの内、1実フレーム内の異なる検出単位間の動きベクトルを比較することによって、前記異なる検出単位間に動きベクトルの境界が存在するか否かを判定して動きベクトル境界判定信号を生成するステップと、
前記動きベクトル境界判定信号を集計して、1実フレーム内で動きベクトルの境界が存在する程度を示す集計値を生成するステップと、
前記集計値と所定の閾値とを比較することによって、前記全体スクロール度を生成するステップと、
を有することを特徴とする動き補償フレーム生成方法。 - 前記補間画素を生成するステップは、
前記静止補間処理によって静止補間画素を生成する静止補間ステップと、
前記動補間処理によって動補間画素を生成する動補間ステップと、
前記調整信頼度データの値に応じて、前記静止補間画素と前記動補間画素とを適応的に混合する適応混合ステップと、
を含むことを特徴とする請求項3記載の動き補償フレーム生成方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011186245A JP5887764B2 (ja) | 2011-08-29 | 2011-08-29 | 動き補償フレーム生成装置及び方法 |
US13/595,628 US20130051470A1 (en) | 2011-08-29 | 2012-08-27 | Motion compensated frame generating apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011186245A JP5887764B2 (ja) | 2011-08-29 | 2011-08-29 | 動き補償フレーム生成装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013048375A true JP2013048375A (ja) | 2013-03-07 |
JP5887764B2 JP5887764B2 (ja) | 2016-03-16 |
Family
ID=47743711
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011186245A Active JP5887764B2 (ja) | 2011-08-29 | 2011-08-29 | 動き補償フレーム生成装置及び方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20130051470A1 (ja) |
JP (1) | JP5887764B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019058606A1 (ja) * | 2017-09-22 | 2019-03-28 | 株式会社Jvcケンウッド | 補間フレーム生成装置 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103650375B (zh) * | 2011-07-06 | 2017-05-03 | Sk 普兰尼特有限公司 | 基于多播的内容传输***和方法以及用于高速地估算运动的设备和方法 |
CN105794210B (zh) * | 2013-12-06 | 2019-05-10 | 联发科技股份有限公司 | 视频编码***中用于边界像素的运动补偿预测方法及装置 |
US10382782B2 (en) * | 2014-06-27 | 2019-08-13 | Samsung Electronics Co., Ltd. | Image frame interpolation apparatus, display apparatus and control method thereof |
AT518230B1 (de) * | 2016-01-22 | 2023-02-15 | Hs Art Digital Service Gmbh | Ein Verfahren zur Speicherung von Manipulationsinformation bei der digitalen Staubentfernung in Bildsequenzen |
CN117768658A (zh) | 2018-11-06 | 2024-03-26 | 北京字节跳动网络技术有限公司 | 依赖位置的对运动信息的存储 |
WO2020233513A1 (en) * | 2019-05-17 | 2020-11-26 | Beijing Bytedance Network Technology Co., Ltd. | Motion information determination and storage for video processing |
CN111698517B (zh) * | 2020-06-29 | 2022-07-12 | Oppo广东移动通信有限公司 | 运动矢量的确定方法、装置、电子设备和可读存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009159300A (ja) * | 2007-12-26 | 2009-07-16 | Toshiba Corp | 順次走査変換装置および順次走査変換方法並びに映像表示装置 |
WO2011067869A1 (ja) * | 2009-12-01 | 2011-06-09 | パナソニック株式会社 | 画像処理装置及び画像処理方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5956026A (en) * | 1997-12-19 | 1999-09-21 | Sharp Laboratories Of America, Inc. | Method for hierarchical summarization and browsing of digital video |
JP2001054075A (ja) * | 1999-08-06 | 2001-02-23 | Hitachi Ltd | 画像信号の動き補償走査変換回路 |
US8340185B2 (en) * | 2006-06-27 | 2012-12-25 | Marvell World Trade Ltd. | Systems and methods for a motion compensated picture rate converter |
KR101366093B1 (ko) * | 2007-03-28 | 2014-02-21 | 삼성전자주식회사 | 영상의 부호화, 복호화 방법 및 장치 |
JP5106203B2 (ja) * | 2008-03-27 | 2012-12-26 | 株式会社東芝 | 補間画像生成装置、方法およびプログラム |
JP4873765B2 (ja) * | 2009-11-20 | 2012-02-08 | キヤノン株式会社 | 映像信号処理装置及び映像信号処理方法 |
-
2011
- 2011-08-29 JP JP2011186245A patent/JP5887764B2/ja active Active
-
2012
- 2012-08-27 US US13/595,628 patent/US20130051470A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009159300A (ja) * | 2007-12-26 | 2009-07-16 | Toshiba Corp | 順次走査変換装置および順次走査変換方法並びに映像表示装置 |
WO2011067869A1 (ja) * | 2009-12-01 | 2011-06-09 | パナソニック株式会社 | 画像処理装置及び画像処理方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019058606A1 (ja) * | 2017-09-22 | 2019-03-28 | 株式会社Jvcケンウッド | 補間フレーム生成装置 |
Also Published As
Publication number | Publication date |
---|---|
JP5887764B2 (ja) | 2016-03-16 |
US20130051470A1 (en) | 2013-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5887764B2 (ja) | 動き補償フレーム生成装置及び方法 | |
JP5645636B2 (ja) | フレーム補間装置及び方法 | |
JP4869045B2 (ja) | 補間フレーム作成方法および補間フレーム作成装置 | |
US20110134315A1 (en) | Bi-Directional, Local and Global Motion Estimation Based Frame Rate Conversion | |
US20090324136A1 (en) | Apparatus, method, and computer-readable recording medium for pixel interpolation | |
US8411974B2 (en) | Image processing apparatus, method, and program for detecting still-zone area | |
JP5737072B2 (ja) | 動き補償フレーム生成装置及び方法 | |
US20120008689A1 (en) | Frame interpolation device and method | |
KR20070074781A (ko) | 프레임율 변환장치 | |
US8817869B2 (en) | Image processing device and method, and image display device and method | |
JP5841345B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置 | |
JP2017174311A (ja) | エッジ検出装置およびエッジ検出方法 | |
JP5887763B2 (ja) | 動き補償フレーム生成装置及び方法 | |
JP6417204B2 (ja) | 画像処理装置および画像処理方法 | |
JP5448983B2 (ja) | 解像度変換装置及び方法、走査線補間装置及び方法、並びに映像表示装置及び方法 | |
JP5928465B2 (ja) | 劣化復元システム、劣化復元方法およびプログラム | |
JP2013098961A (ja) | 画像処理装置及び方法、並びに画像表示装置及び方法 | |
US10311546B2 (en) | Edge detection apparatus and edge detection method | |
JP2008035436A (ja) | プルダウンシーケンス検出装置およびプルダウンシーケンス検出方法 | |
JP2009290277A (ja) | 信号処理装置 | |
JP5824937B2 (ja) | 動きベクトル導出装置および方法 | |
JP5018198B2 (ja) | 補間信号生成回路、補間信号生成方法、プログラムおよびビデオ信号処理装置 | |
JP5253077B2 (ja) | 映像処理装置およびその方法 | |
JP2013038490A (ja) | スクロール判定装置及び方法 | |
JP2018180964A (ja) | 画像処理装置及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150804 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150807 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160119 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160201 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5887764 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |