JP5737072B2 - 動き補償フレーム生成装置及び方法 - Google Patents
動き補償フレーム生成装置及び方法 Download PDFInfo
- Publication number
- JP5737072B2 JP5737072B2 JP2011186248A JP2011186248A JP5737072B2 JP 5737072 B2 JP5737072 B2 JP 5737072B2 JP 2011186248 A JP2011186248 A JP 2011186248A JP 2011186248 A JP2011186248 A JP 2011186248A JP 5737072 B2 JP5737072 B2 JP 5737072B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- reliability data
- reliability
- unit
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Television Systems (AREA)
Description
図1は、第1実施形態の動き補償フレーム生成装置101を示している。動き補償フレーム生成装置101は、フレームメモリ11,動きベクトル検出部12a,全体スクロール判定部13a,信頼度生成部14,信頼度調整部15,補間画素生成部16を備える。補間画素生成部16は、静止補間部161,動補間部162,適応混合部163を備える。
Hist_nrm(mvx_c,mvy_c)=Hist(mvx_c,mvy_c)×255/Total_num …(2)
次に、全体スクロール判定部13aは、ステップS4にて、式(3)に基づいて、正規化ヒストグラム値Hist_nrm(mvx_c,mvy_c)において最大のヒストグラム値Hist_nrm(mvx_c_hmax,mvy_c_hmax)と、最大値動きベクトル(mvx_c_hmax,mvy_c_hmax)の周辺の動きベクトルに対応するヒストグラム値とを積算した周辺積算値Sum_Histを算出する。
第1実施形態においては、静止補間部161及び動補間部162の補間処理を図9及び図10に示すように隣接する2フレーム内の画素を用いて行っているが、隣接していない2フレーム内の画素を用いて補間処理を行ってもよい。
Px=Ps×(256-DR2)/256+Pm×DR2/256 …(4)
図11に示す第2実施形態の動き補償フレーム生成装置102において、第1実施形態の動き補償フレーム生成装置101と同一部分には同一符号を付し、その説明を適宜省略することとする。第2実施形態の動き補償フレーム生成装置102における動きベクトル検出部12は、図1の動きベクトル検出部12aと同じでもよいし、動きベクトル候補MVcを間引かず動きベクトルMVを検出する構成であってもよい。第2実施形態の動き補償フレーム生成装置102は、全体スクロール判定部13aの代わりに、全体スクロール度DSを生成する構成が異なる全体スクロール判定部13bを備える。
|MV_REF_V-MV_ABOVE_V| > TH_V …(8)
図19に示す第3実施形態の動き補償フレーム生成装置103において、第1実施形態の動き補償フレーム生成装置101または第2実施形態の動き補償フレーム生成装置102と同一部分には同一符号を付し、その説明を適宜省略することとする。第3実施形態の動き補償フレーム生成装置103における動きベクトル検出部12は、図1の動きベクトル検出部12aと同じでもよいし、動きベクトル候補MVcを間引かず動きベクトルMVを検出する構成であってもよい。
MVX≦(SMVX+X_TH) …(11)
(SMVY-Y_TH)≦MVY …(12)
MVY≦(SMVY+Y_TH) …(13)
図20に示す第4実施形態の動き補償フレーム生成装置104において、第1実施形態の動き補償フレーム生成装置101、第2実施形態の動き補償フレーム生成装置102、第3実施形態の動き補償フレーム生成装置103と同一部分には同一符号を付し、その説明を適宜省略することとする。第4実施形態も、第3実施形態と同様、局所的に誤った動きベクトルMVを検出した場合の画質改善効果の低下を防ぐように構成したものである。
MVX≦(SMVX+X_TH1) …(15)
(SMVY-Y_TH1)≦MVY …(16)
MVY≦(SMVY+Y_TH1) …(17)
MVX≦(SMVX+X_TH2) …(19)
(SMVY-Y_TH2)≦MVY …(20)
MVY≦(SMVY+Y_TH2) …(21)
MVX≦(SMVX+X_TH3) …(23)
(SMVY-Y_TH3)≦MVY …(24)
MVY≦(SMVY+Y_TH3) …(25)
MVX≦(SMVX+X_TH4) …(27)
(SMVY-Y_TH4)≦MVY …(28)
MVY≦(SMVY+Y_TH4) …(29)
DR_MIX=DR2×DCMP/4+DR1×(1-DCMP/4) …(30)
第1〜第4実施形態では、フレームレートを2倍にする動き補償フレーム生成装置を例として説明しているがこれに限るものではない。本発明は、フレームレートを3倍,4倍等の2倍以外のフレームレートにアップコンバートする動き補償フレーム生成装置にも用いることができる。また、本発明はフィルムジャダ除去装置等にも用いることができる。
12,12a 動きベクトル検出部
13a,13b 全体スクロール判定部
14 信頼度生成部
15 信頼度調整部
16 補間画素生成部
17 ベクトル一致判定部(ベクトル判定部)
18 信頼度選択部
19 ベクトル一致度判定部(ベクトル判定部)
20 信頼度混合部
101〜104 動き補償フレーム生成装置
131 水平動きベクトル境界判定部
132 垂直動きベクトル境界判定部
133 境界判定信号混合部
134 境界判定信号集計部
135 判定部
161 静止補間部
162 動補間部
163 適応混合部
3123 境界判定信号生成部
Claims (6)
- 映像信号における実フレーム内の所定の検出単位を注目検出単位とし、この注目検出単位から、他の実フレーム内の所定の探索範囲内に含まれる複数の検出単位へと向かう複数の動きベクトル候補の中から、ブロックマッチングを用いて最も相関の高い検出単位へと向かう動きベクトルを検出し、前記動きベクトルに対応する前記注目検出単位それぞれのブロックマッチング誤差値を出力する動きベクトル検出部と、
1実フレーム内の前記動きベクトルに基づいて、画像が全体的にスクロールしている程度を示す全体スクロール度を生成すると共に、1実フレーム内で最も頻度の高い動きベクトルを全体スクロール動きベクトルとして検出する全体スクロール判定部と、
前記ブロックマッチング誤差値に基づいて、前記動きベクトルの信頼度を示す信頼度データを生成する信頼度生成部と、
前記全体スクロール度が全体的にスクロールしている程度が大きい値であるほど、前記信頼度データの値が大きくなるように前記信頼度データを調整して、調整信頼度データとして出力する信頼度調整部と、
前記動きベクトルと前記全体スクロール動きベクトルとが一致しているか否かを判定するベクトル一致判定部と、
前記ベクトル一致判定部による判定結果に基づいて、前記信頼度データと前記調整信頼度データとのいずれかを選択する信頼度選択部と、
前記信頼度選択部によって選択された前記信頼度データと前記調整信頼度データとのいずれかに応じて、前記動きベクトルを用いない静止補間処理によって生成された第1の補間画素と、前記動きベクトルを用いた動補間処理によって生成された第2の補間画素とを適応混合して、動き補償フレームを構成するそれぞれの補間画素を生成する補間画素生成部と、
を備えることを特徴とする動き補償フレーム生成装置。 - 前記信頼度選択部は、
前記ベクトル一致判定部によって前記動きベクトルと前記全体スクロール動きベクトルとが一致していると判定された場合には、前記調整信頼度データを選択し、
前記ベクトル一致判定部によって前記動きベクトルと前記全体スクロール動きベクトルとが一致していないと判定された場合には、前記信頼度データを選択する
ことを特徴とする請求項1記載の動き補償フレーム生成装置。 - 映像信号における実フレーム内の所定の検出単位を注目検出単位とし、この注目検出単位から、他の実フレーム内の所定の探索範囲内に含まれる複数の検出単位へと向かう複数の動きベクトル候補の中から、ブロックマッチングを用いて最も相関の高い検出単位へと向かう動きベクトルを検出し、前記動きベクトルに対応する前記注目検出単位それぞれのブロックマッチング誤差値を出力する動きベクトル検出部と、
1実フレーム内の前記動きベクトルに基づいて、画像が全体的にスクロールしている程度を示す全体スクロール度を生成すると共に、1実フレーム内で最も頻度の高い動きベクトルを全体スクロール動きベクトルとして検出する全体スクロール判定部と、
前記ブロックマッチング誤差値に基づいて、前記動きベクトルの信頼度を示す信頼度データを生成する信頼度生成部と、
前記全体スクロール度が全体的にスクロールしている程度が大きい値であるほど、前記信頼度データの値が大きくなるように前記信頼度データを調整して、調整信頼度データとして出力する信頼度調整部と、
前記動きベクトルと前記全体スクロール動きベクトルとの一致の程度を判定するベクトル一致度判定部と、
前記ベクトル一致度判定部による判定結果に応じて、前記信頼度データと前記調整信頼度データとを混合して混合信頼度データを生成する信頼度混合部と、
前記混合信頼度データに応じて、前記動きベクトルを用いない静止補間処理によって生成された第1の補間画素と、前記動きベクトルを用いた動補間処理によって生成された第2の補間画素とを適応混合して、動き補償フレームを構成するそれぞれの補間画素を生成する補間画素生成部と、
を備えることを特徴とする動き補償フレーム生成装置。 - 映像信号における実フレーム内の所定の検出単位を注目検出単位とし、この注目検出単位から、他の実フレーム内の所定の探索範囲内に含まれる複数の検出単位へと向かう複数の動きベクトル候補それぞれで、ブロックマッチングによって相関の程度を算出するステップと、
前記複数の動きベクトル候補の内、最も相関の高い検出単位に向かう動きベクトルを検出するステップと、
前記動きベクトルに対応する前記注目検出単位それぞれの相関の程度をブロックマッチング誤差値として出力するステップと、
前記動きベクトルに基づいて、画像が全体的にスクロールしている程度を示す全体スクロール度を生成するステップと、
1実フレーム内で最も頻度の高い動きベクトルを全体スクロール動きベクトルとして検出するステップと、
前記ブロックマッチング誤差値に基づいて、前記動きベクトルの信頼度を示す信頼度データを生成するステップと、
前記全体スクロール度が全体的にスクロールしている程度が大きい値であるほど、前記信頼度データの値が大きくなるように前記信頼度データを調整して、調整信頼度データとして出力するステップと、
前記動きベクトルと前記全体スクロール動きベクトルとが一致しているか否かを判定するステップと、
前記判定するステップによる判定結果に基づいて、前記信頼度データと前記調整信頼度データとのいずれかを選択するステップと、
前記選択するステップにて選択された前記信頼度データと前記調整信頼度データとのいずれかに応じて、前記動きベクトルを用いない静止補間処理によって生成された第1の補間画素と、前記動きベクトルを用いた動補間処理によって生成された第2の補間画素とを適応混合して、動き補償フレームを構成するそれぞれの補間画素を生成するテップと、
を含むことを特徴とする動き補償フレーム生成方法。 - 前記選択するステップは、
前記判定するステップにて前記動きベクトルと前記全体スクロール動きベクトルとが一致していると判定された場合には、前記調整信頼度データを選択し、
前記判定するステップにて前記動きベクトルと前記全体スクロール動きベクトルとが一致していないと判定された場合には、前記信頼度データを選択する
ことを特徴とする請求項4記載の動き補償フレーム生成方法。 - 映像信号における実フレーム内の所定の検出単位を注目検出単位とし、この注目検出単位から、他の実フレーム内の所定の探索範囲内に含まれる複数の検出単位へと向かう複数の動きベクトル候補それぞれで、ブロックマッチングによって相関の程度を算出するステップと、
前記複数の動きベクトル候補の内、最も相関の高い検出単位に向かう動きベクトルを検出するステップと、
前記動きベクトルに対応する前記注目検出単位それぞれの相関の程度をブロックマッチング誤差値として出力するステップと、
前記動きベクトルに基づいて、画像が全体的にスクロールしている程度を示す全体スクロール度を生成するステップと、
1実フレーム内で最も頻度の高い動きベクトルを全体スクロール動きベクトルとして検出するステップと、
前記ブロックマッチング誤差値に基づいて、前記動きベクトルの信頼度を示す信頼度データを生成するステップと、
前記全体スクロール度が全体的にスクロールしている程度が大きい値であるほど、前記信頼度データの値が大きくなるように前記信頼度データを調整して、調整信頼度データとして出力するステップと、
前記動きベクトルと前記全体スクロール動きベクトルとの一致の程度を判定するステップと、
前記判定するステップによる判定結果に基づいて、前記信頼度データと前記調整信頼度データとを混合して混合信頼度データを生成するステップと、
前記混合信頼度データに応じて、前記動きベクトルを用いない静止補間処理によって生成された第1の補間画素と、前記動きベクトルを用いた動補間処理によって生成された第2の補間画素とを適応混合して、動き補償フレームを構成するそれぞれの補間画素を生成するテップと、
を含むことを特徴とする動き補償フレーム生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011186248A JP5737072B2 (ja) | 2011-08-29 | 2011-08-29 | 動き補償フレーム生成装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011186248A JP5737072B2 (ja) | 2011-08-29 | 2011-08-29 | 動き補償フレーム生成装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013048376A JP2013048376A (ja) | 2013-03-07 |
JP5737072B2 true JP5737072B2 (ja) | 2015-06-17 |
Family
ID=48011130
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011186248A Active JP5737072B2 (ja) | 2011-08-29 | 2011-08-29 | 動き補償フレーム生成装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5737072B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6794353B2 (ja) * | 2014-11-07 | 2020-12-02 | オハイオ・ステート・イノヴェーション・ファウンデーション | アンビエント照明条件において眼についての判定を行うための方法及び装置 |
EP3843380A4 (en) * | 2018-08-22 | 2021-10-20 | Sony Group Corporation | DISPLAY DEVICE, SIGNAL PROCESSING DEVICE AND SIGNAL PROCESSING METHOD |
US20210196119A1 (en) | 2019-12-27 | 2021-07-01 | Ohio State Innovation Foundation | Methods and apparatus for detecting a presence and severity of a cataract in ambient lighting |
US11622682B2 (en) | 2019-12-27 | 2023-04-11 | Ohio State Innovation Foundation | Methods and apparatus for making a determination about an eye using color temperature adjusted ambient lighting |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4331234B2 (ja) * | 2007-12-26 | 2009-09-16 | 株式会社東芝 | 順次走査変換装置および順次走査変換方法並びに映像表示装置 |
US8320455B2 (en) * | 2009-03-05 | 2012-11-27 | Qualcomm Incorporated | System and method to process motion vectors of video data |
-
2011
- 2011-08-29 JP JP2011186248A patent/JP5737072B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013048376A (ja) | 2013-03-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5887764B2 (ja) | 動き補償フレーム生成装置及び方法 | |
JP4412323B2 (ja) | 映像処理装置及び映像表示装置 | |
US8175417B2 (en) | Apparatus, method, and computer-readable recording medium for pixel interpolation | |
JP4869045B2 (ja) | 補間フレーム作成方法および補間フレーム作成装置 | |
JP5645636B2 (ja) | フレーム補間装置及び方法 | |
JP5245783B2 (ja) | フレーム補間装置、方法、及びプログラム、フレームレート変換装置、映像再生装置、映像表示装置 | |
US20110134315A1 (en) | Bi-Directional, Local and Global Motion Estimation Based Frame Rate Conversion | |
US20120093231A1 (en) | Image processing apparatus and image processing method | |
US8411974B2 (en) | Image processing apparatus, method, and program for detecting still-zone area | |
JP5737072B2 (ja) | 動き補償フレーム生成装置及び方法 | |
KR20070074781A (ko) | 프레임율 변환장치 | |
US20120008689A1 (en) | Frame interpolation device and method | |
US8817869B2 (en) | Image processing device and method, and image display device and method | |
US8385430B2 (en) | Video signal processing apparatus and video signal processing method | |
JP5841345B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置 | |
US8339519B2 (en) | Image processing apparatus and method and image display apparatus and method | |
JP5887763B2 (ja) | 動き補償フレーム生成装置及び方法 | |
JP5448983B2 (ja) | 解像度変換装置及び方法、走査線補間装置及び方法、並びに映像表示装置及び方法 | |
JP2010056729A (ja) | フレーム補間装置及び方法並びに画像表示装置 | |
JP5928465B2 (ja) | 劣化復元システム、劣化復元方法およびプログラム | |
US10311546B2 (en) | Edge detection apparatus and edge detection method | |
JP5114290B2 (ja) | 信号処理装置 | |
US8698954B2 (en) | Image processing method, image processing apparatus and image processing program | |
JP2008035436A (ja) | プルダウンシーケンス検出装置およびプルダウンシーケンス検出方法 | |
JP5018198B2 (ja) | 補間信号生成回路、補間信号生成方法、プログラムおよびビデオ信号処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140228 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141216 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150324 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150406 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5737072 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |