JP6872412B2 - 映像符号化装置及びプログラム - Google Patents
映像符号化装置及びプログラム Download PDFInfo
- Publication number
- JP6872412B2 JP6872412B2 JP2017089850A JP2017089850A JP6872412B2 JP 6872412 B2 JP6872412 B2 JP 6872412B2 JP 2017089850 A JP2017089850 A JP 2017089850A JP 2017089850 A JP2017089850 A JP 2017089850A JP 6872412 B2 JP6872412 B2 JP 6872412B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- video
- motion vector
- block
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000013598 vector Substances 0.000 claims description 200
- 238000001514 detection method Methods 0.000 claims description 90
- 238000012545 processing Methods 0.000 description 53
- 238000013139 quantization Methods 0.000 description 40
- 238000000034 method Methods 0.000 description 38
- 238000006243 chemical reaction Methods 0.000 description 33
- 230000008569 process Effects 0.000 description 24
- 239000000463 material Substances 0.000 description 11
- 230000009466 transformation Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
フレームレートの変換を高い画質で行うためには、動き検出など映像の内容に応じた高度な処理を必要とする。そのため、設備の規模が大きくなりがちである。反面、簡易な機器では、変換処理としてフレームの繰り返しなどの簡易な処理にならざるを得ない。簡易な機器により得られる映像の品質は、120Hzの映像として十分ではない。
前記第2フレームのブロック毎に、生成した動きベクトルで参照される方向に前記第3フレームに投影される投影領域を定め、前記投影領域のうち、前記第3フレームの符号化対象ブロックに重複する領域が最も大きい前記投影領域に投影される前記第2フレームのブロックの動きベクトルを選択することを特徴とする。
図1は、本実施形態に係る映像符号化装置1の全体構成を示す概略ブロック図である。
映像符号化装置1は、符号化処理部10と、LFR(Low Frame Rate;低フレームレート)検出部20と、を備える。
(C1)各フレームの全領域について、よりフレームレートが低い原映像(例えば、60Hz映像)を素材として生成された区間が一部又は全部の時間帯であるケース
(C2)一部の空間的領域(例えば、小窓)において、よりフレームレートが低い原映像(例えば、60Hz映像)を素材とし、その他の領域における素材の映像についてフレームレートを変更しないケース
(C2)のケースでは、LFR検出部20は、低フレームレート区間をブロック単位で検出し、検出した区間において、そのブロックの種別を示すLFR検出信号を映像符号化装置1に出力する。より具体的には、LFR検出部20は、各フレームの空間的領域を区分した複数のブロックのそれぞれについて、そのブロックが、原映像のブロック(以下、通常ブロック)であるか、原映像を繰り返して生成されたブロック(以下、LFRブロック)であるかを判定する。LFR検出部20は、ブロック毎の映像の種別として、低フレームレート区間においてLFRブロックと判定したブロックについて、そのブロックの種類がLFRブロックであることを示すLFR検出信号を生成する。ブロックとして、例えば、HEVCに規定された予測単位(PU:Prediction Unit)などの処理単位が適用されてもよい。
符号化処理部10は、LFR検出部20から入力されたLFR検出信号に基づいて各ブロックの種類を判定し、判定したブロックの種類に応じた動作モードで符号化処理を行う。ここで、符号化処理部10は、通常ブロックについて、通常モードで符号化処理を実行し、LFRブロックについてLFRモードで符号化処理を実行する。
次に、LFRフレームの検出例について説明する。図2は、LFRフレームの検出例を示す図である。ここで、映像符号化装置1は、120Hz映像の符号化処理を実行する120Hzシステムであり、フレーム単位でフレームの種別を判定するものとする。また、入力素材として3系統の映像信号から1系統の映像信号が選択され、選択された映像信号が放送番組の映像信号として映像符号化装置1に入力される場合を仮定する。
他方、時刻T1から時刻T2の間では、シーン2が映像符号化装置1に入力される。この期間では、通常フレームとLFRフレームが交互に繰り返される。従って、LFR検出部20は、この期間内のフレームのうち、フレームの種類がLFRフレームと判定したフレームについてLFRフレームを示すLFR検出信号を符号化処理部10に出力する。従って、この期間では、符号化処理部10は、シーン2の映像信号に実行する符号化処理の動作モードとして、通常モードとLFRモードを60Hzで交互に繰り返す。
次に、本実施形態に係る符号化処理部10の構成について説明する。図3は、本実施形態に係る符号化処理部10の構成を示すブロック図である。次の説明では、符号化処理部10がHEVCで規定された映像復号方式を用いて復号するための符号化データを生成し、LFR検出部20がフレーム単位でLFRフレームを検出する場合を例にする。
他方、映像符号化装置1は、フレームの種別がLFRフレームであるとき、既に生成された動きベクトルにもとづいて算出処理を行い、そのフレームの動きベクトルを生成する。LFRフレームにおける動きベクトルは、通常フレームにおける動きベクトルを、参照先フレームからその通常フレームまでの第1期間に対する、参照先フレームから符号化対象のLFRフレームまでの第2期間との比を乗じて得られる。また、映像符号化装置1は、予測残差に基づく量子化変換係数の符号を出力せず、通常フレームにおいて検出された動きベクトルから算出される動きベクトルを示す符号を出力する。
次に、動きベクトル生成部124による動きベクトルの生成方法について説明する。図4は、本実施形態に係る動きベクトルの生成方法の説明図である。
図4に示す例では、通常フレームPvにおいて符号化処理の過程で得られた動きベクトルを用いて、LRFフレームPi内の1つのPUにおける動きベクトルを生成する場合を仮定する。このPUが符号化対象ブロックとなる。通常フレームPvにおける動きベクトルの生成において、参照先フレームPrが参照される。
(S1)動きベクトル生成部124は、通常フレームPvの各PUにおける動きベクトルMVに対し、参照先フレームPrから通常フレームPvまでの期間(フレーム間隔)に対する参照先フレームPrからLRFフレームPiまでの期間の比を乗じる。この乗算により、各PUにおける動きベクトルMVが、参照先フレームPrから通常フレームPvまでの期間がLRFフレームPiの表示順にしたがった期間の比で内分され、内分により動きベクトルMV’が算出される。図4(a)は、動きベクトルMVA、MVBが、それぞれPUvA、PUvBの動きベクトルを示す。矢印は、動きベクトルMVA、MVBで参照される参照方向を示す。
(S3)動きベクトル生成部124は、(S1)、(S2)の処理を通常フレームPvのPU毎に繰り返す。
(S5)動きベクトル生成部124は、(S2)の処理により特定されたLRFフレームPi上の投影領域のうち、符号化対象PUの領域と重複する面積が最大となる投影領域を特定する。動きベクトル生成部124は、特定した投影領域の投影元である通常フレームPv内のPUの動きベクトルMVを選択する。図4(b)に示す例では、SA、SBは、動きベクトルMVA、MVBに基づいて特定される投影領域と、符号化対象PUの領域と重複する領域の面積を示す。面積SA、SBのうち、面積SAが最大となるので、動きベクトルMVAが選択される。
なお、PUは各フレームにおいて独立に定められるため、符号化対象PUの領域と重複する投影領域の数が1個の場合もある。その場合には、動きベクトル生成部124は、その1個の投影領域を与える動きベクトルMVを選択する。
(S6)動きベクトル生成部124は、選択した動きベクトルMVについて、(S1)の処理において算出された動きベクトルMV’を符号化対象PUの動きベクトルとして定める。図4(c)に示す例では、選択された動きベクトルMVAに基づく動きベクトルMVA’が符号化対象PUの動きベクトルとして定められる。
また、動きベクトル生成部124は、複数の通常フレームPvのそれぞれにおいて生成された動きベクトルMVから定められたLRFフレームPiの動きベクトルMV’を候補とする。動きベクトル生成部124は、候補した動きベクトルのうち予測距離、即ちその絶対値が最も小さい動きベクトルMV’を選択してもよい。選択される動きベクトルMV’の予測距離が小さくなるので、動きベクトルMV’の符号量が低減することができる。従って、この手法によっても符号化効率を向上させることができる。
なお、エントロピー符号化部132は、これらの候補の動きベクトルのうちエントロピー符号化により得られる符号の符号量が最も少ない動きベクトルMV’の符号を採用し、その他の候補の符号を棄却してもよい。
LFR検出部20からLFR検出信号が通知されないPUは、通常ブロックであるので、動き検出部118は、そのPUについて動き検出を行って動きベクトルを生成する。他方、LFR検出部20からLFR検出信号が通知されるPUは、LFRブロックであるので、動きベクトル生成部124は、そのPUについて上述の(S1)〜(S6)の処理を行って動きベクトルを定める。なお、符号化対象の各LFRフレームについて(S1)〜(S3)の処理が少なくとも1回行われていれば、そのLFRフレーム内のPU毎に(S1)〜(S3)の処理が繰り返されなくてもよい。
そして、エントロピー符号化部130は、そのPUと重複する領域を有する予測残差ブロックに基づく量子化変換係数の符号に対してエントロピー符号化を行い、エントロピー符号化により得られた符号化ストリームを出力する。エントロピー符号化部130は、ブロックの種別がLFRブロックであるPUと重複する領域を有する予測残差ブロックに基づく量子化変換係数の符号に対してエントロピー符号化を行わない。
次に、SOPの例について説明する。図5は、SOPの例を示す図である。図5に示すSOPは、16フレームの相互間の参照関係を示す4階層(L=4)構造を有する。図5において左右方向は、各フレームの表示順を示し、上下方向は階層を示す。四角形で囲まれる数値は、符号化順を示す。矢印の起点、終点は、参照元の符号化対象のフレーム、参照先の符号化済のフレームを示す。最下位の階層(第0層)に属するフレーム0を除き、より上位の階層に属する各フレームの参照先フレームは、そのフレームよりも下位の符号化済みのフレームとなる。図5に示す例では、符号化順が第1、3、…番目である奇数フレームでの動き検出において、符号化順が第2、4、…、番目である符号化済みの偶数フレームが参照される。奇数フレームでは符号化順と表示順が一致し、最上位の階層に属する。
この構成によれば、入力映像を参照せずに映像の動きを推定する空間的領域が、LFR映像が含まれるLFRブロックからなるフレームの一部の領域に限定される。他方、LFR映像が含まれないその他の領域は、通常フレームと同様に入力映像の参照先フレームを参照して映像の動きが推定される。そのため、LFR映像の領域の変化に応じて、入力映像を参照せずに映像の動きを推定する空間的領域を追従させることができる。
この構成によれば、フレーム毎に分割されたブロックの区分が異なる場合でもLFRフレームの符号化対象ブロックに最も空間的に近接した投影領域に係る動きベクトルが特定される。そのため、符号化対象のLFRフレームのブロック毎に異なる映像の動きの確実な符号化と符号量の低減を実現することができる。
例えば、映像符号化装置1は、入力される原映像のフレームレートをより高いフレームレートに変換する変換装置(図示せず)の一部として構成されてもよい。変換装置は、さらにフレームリピート部と、映像復号部を備える。フレームリピート部は、現映像を構成する各フレームについてフレームリピートを行い、フレームレートがより高い映像信号を生成する。映像符号化装置1には、フレームリピート部が生成した映像信号が、入力映像信号として入力される。映像復号部は、映像符号化装置1から入力される符号化ストリームに対して映像復号処理を行って得られる復号映像信号を変換装置の外部に出力する。この変換装置によれば、例えば、60Hz映像を素材として符号化処理の過程を利用して、主観的品質が高い120Hz映像を生成することができる。
また、1個のSOPに含まれるフレーム数は16フレームに限られず、例えば、8フレームであってもよいし、可変であってもよい。
また、上述した実施形態における映像符号化装置1の一部または全部をLSI(Large Scale Integration)等の集積回路として実現してもよい。映像符号化装置1の一部の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
Claims (4)
- 入力映像のブロック毎に動きベクトルを検出し、前記動きベクトルに基づく動き補償を行って得られる予測映像と前記入力映像との予測残差と、前記動きベクトルとを符号化する映像符号化装置であって、
前記入力映像のうち、前記入力映像よりもフレームレートが低い原映像が繰り返された低フレームレート映像を検出する低フレームレート検出部と、
前記入力映像の第1フレームの復号映像を参照して前記低フレームレート映像が検出されない第2フレームの動きベクトルを生成し、
前記動きベクトルと、前記第1フレームから前記第2フレームまでの第1期間に対する前記第1フレームから前記低フレームレート映像を含む第3フレームまでの第2期間の比に基づいて、前記第3フレームの動きベクトルを生成する動きベクトル生成部と、
前記第3フレームにおいて、前記予測残差の符号化を行わず、前記第3フレームの動きベクトルを符号化する符号化部と、
を備える映像符号化装置。 - 前記低フレームレート検出部は、前記ブロック毎に前記低フレームレート映像の有無を判定し、
前記動きベクトル生成部は、前記低フレームレート映像を有するブロックである低フレームレートブロックにおいて、前記第3フレームの動きベクトルを生成し、
前記符号化部は、前記低フレームレートブロックにおいて、前記予測残差の符号化を行わず、前記低フレームレートブロックの動きベクトルを符号化する
ことを特徴とする請求項1に記載の映像符号化装置。 - 前記動きベクトル生成部は、
前記第2フレームのブロック毎に、生成した動きベクトルで参照される方向に前記第3フレームに投影される投影領域を定め、
前記投影領域のうち、前記第3フレームの符号化対象ブロックに重複する領域が最も大きい前記投影領域に投影される前記第2フレームのブロックの動きベクトルを選択することを特徴とする請求項1又は請求項2に記載の映像符号化装置。 - コンピュータに、入力映像のブロック毎に動きベクトルを検出し、前記動きベクトルに基づく動き補償を行って得られる予測映像と前記入力映像との予測残差と、前記動きベクトルとを符号化する映像符号化装置であって、
前記入力映像のうち、前記入力映像よりもフレームレートが低い原映像が繰り返された低フレームレート映像を検出する低フレームレート検出部と、
前記入力映像の第1フレームの復号映像を参照して前記低フレームレート映像が検出されない第2フレームの動きベクトルを生成し、
前記動きベクトルと、前記第1フレームから前記第2フレームまでの第1期間に対する前記第1フレームから前記低フレームレート映像を含む第3フレームまでの第2期間の比に基づいて、前記第3フレームの動きベクトルを生成する動きベクトル生成部と、
前記第3フレームにおいて、前記予測残差の符号化を行わず、前記第3フレームの動きベクトルを符号化する符号化部と、
を備える映像符号化装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017089850A JP6872412B2 (ja) | 2017-04-28 | 2017-04-28 | 映像符号化装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017089850A JP6872412B2 (ja) | 2017-04-28 | 2017-04-28 | 映像符号化装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018191058A JP2018191058A (ja) | 2018-11-29 |
JP6872412B2 true JP6872412B2 (ja) | 2021-05-19 |
Family
ID=64480239
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017089850A Active JP6872412B2 (ja) | 2017-04-28 | 2017-04-28 | 映像符号化装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6872412B2 (ja) |
-
2017
- 2017-04-28 JP JP2017089850A patent/JP6872412B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018191058A (ja) | 2018-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI565298B (zh) | 利用畫面內矩形區塊估測模式的視訊編解碼方法及其裝置 | |
US8243803B2 (en) | Moving picture coding apparatus, moving picture decoding apparatus, moving picture coding method, moving picture decoding method, program, and computer-readable recording medium containing the program | |
TWI424749B (zh) | 解碼影像之方法 | |
CN102835111B (zh) | 使用先前块的运动矢量作为当前块的运动矢量来对图像进行编码/解码的方法和设备 | |
BR112019027821A2 (pt) | emparelhamento de gabarito com base em reconstrução parcial para derivação de vetor de movimento | |
US20150365677A1 (en) | Motion picture encoding device and motion picture decoding device | |
TWI616092B (zh) | 動態影像預測解碼裝置及動態影像預測解碼方法 | |
TW201739252A (zh) | 具有仿射運動補償的視訊編碼的方法以及裝置 | |
KR20080088299A (ko) | 움직임 모델 파라메터의 부호화, 복호화 방법 및 움직임모델 파라메터를 이용한 영상의 부호화, 복호화 방법 및장치 | |
KR20140029383A (ko) | 화상 부호화 장치 및 화상 복호 장치 | |
KR100922510B1 (ko) | 영상의 부호화 및 복호화 방법, 장치 및 그 애플리케이션 | |
CN102598670A (zh) | 参考多个帧对图像进行编码/解码的方法和设备 | |
KR20180037042A (ko) | 모션 벡터 필드 코딩 방법 및 디코딩 방법, 및 코딩 및 디코딩 장치들 | |
JP2016154395A (ja) | 以前ブロックの動きベクトルを現在ブロックの動きベクトルとして用いる映像符号化/復号化方法及び装置 | |
CN114900691B (zh) | 编码方法、编码器及计算机可读存储介质 | |
JP2000224593A (ja) | フレーム補間方法および装置およびこの方法を記録した記録媒体 | |
JPH11177980A (ja) | 適応的インタレース走査形状情報符号化/復号化装置および方法 | |
JP4427553B2 (ja) | 動画像復号化装置 | |
JP6872412B2 (ja) | 映像符号化装置及びプログラム | |
JP2001224036A (ja) | 動画像符号化装置 | |
JP2008017304A (ja) | 画像符号化装置、画像復号装置、画像符号化方法、及び画像符号化するプログラム | |
JP4239894B2 (ja) | 画像符号化装置及び画像復号化装置 | |
JP5946980B1 (ja) | 画像復号化方法 | |
JP5750191B2 (ja) | 画像復号化方法 | |
JP5911982B2 (ja) | 画像復号化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181026 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200302 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210323 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210419 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6872412 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |