JP6826439B2

JP6826439B2 - 映像復号装置

Info

Publication number: JP6826439B2
Application number: JP2017003249A
Authority: JP
Inventors: 俊枝三須; 俊輔岩村; 境田　慎一; 慎一境田
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2017-01-12
Filing date: 2017-01-12
Publication date: 2021-02-03
Anticipated expiration: 2037-01-12
Also published as: JP2018113607A

Description

本発明は、映像復号装置に関する。

従来より、映像情報（映像信号）の圧縮伝送のための映像符号化装置として、映像信号の解像度変換を伴う手法が実用化されている（例えば、特許文献１参照）。この手法では、映像符号化装置は、入力映像の解像度を削減してから従来型の映像符号化方式により映像のビットストリーム（映像情報）を生成するとともに、映像復号装置において超解像パラメータなど解像度を復元するために補助となる信号（補助情報）を生成する。映像符号化装置において生成された前記映像情報及び前記補助情報は、映像復号装置に伝送される。映像復号装置は、映像情報から低解像化された映像信号（低解像復号映像）を復号する。また、映像復号装置は、補助情報に基づいて解像復号映像の解像度を高解像化して出力する（例えば、特許文献１参照）。

特開２０１１−２２８９７４号公報

ところで、特許文献１の手法では、映像情報と補助情報とを伝送するルート（伝送ルート）が異なっていてもよい。特許文献１の手法では、映像復号装置が補助情報を受信できなくても、映像情報のみから低解像の映像を得ることが可能であるため、補助情報よりも映像情報の優先度や信頼性を高く設定して伝送することが好ましい。その結果、伝送ルートの状態（輻輳による遅延増大や回線断、ジッタなど）によっては、映像復号装置が映像情報を受信しても、補助情報を受信しない（不達になる）状況が生じ得る。補助情報が不達となった場合、映像復号装置において低解像映像は得られるものの、これを高解像化するための補助情報が得られていないため、例えば低解像映像をそのまま出力することになる。また、補間処理により画素数を増すこと、あるいは固定的な手法（例えば補助情報として既定（デフォルト）のモード）で低解像映像を高解像化することはできるが、画像を考慮しない解像度変換を実行することとなるため、不自然に高解像化された画像を表示するおそれがある。

そこで、補助情報を受信できない場合でも映像信号を高解像化することができる映像復号装置を提供することを目的とする。

本発明の実施の形態の映像復号装置は、映像信号を符号化したビットストリームと、前記ビットストリームを復号化して得る映像信号の高解像化に用いられる第１補助情報とを出力する映像符号化装置から、前記ビットストリームと前記第１補助情報とを受信する映像復号装置であって、前記受信したビットストリームを復号化し、映像信号を出力する映像復号部と、前記映像復号部から出力される映像信号に含まれる閾値以上の空間周波数の成分の大きさに応じて、当該映像信号の高解像化に用いる第２補助情報を生成する補助情報生成部と、前記第１補助情報の受信状態に応じて、前記受信した第１補助情報又は前記第２補助情報を選択する補助情報選択部と、前記補助情報選択部によって選択される前記第１補助情報又は前記第２補助情報を用いて前記映像復号部から出力される映像信号を高解像化する画像復元部とを含み、前記画像復元部は、前記第２補助情報に基づいて、前記映像信号に対する高解像化の度合いを決定する。

補助情報を受信できない場合でも映像信号を高解像化することができる映像復号装置を提供することができる。

実施の形態の映像復号装置と、映像復号装置に映像信号を伝送する映像符号化装置とを示す図である。実施の形態の映像復号装置と、映像復号装置に映像信号を伝送する映像符号化装置とを示す図である。

以下、本発明の映像復号装置を適用した実施の形態について説明する。

＜実施の形態＞
図１は、実施の形態の映像復号装置と、映像復号装置に映像信号を伝送する映像符号化装置とを示す図である。

映像符号化装置１は、画像縮小部１０、映像符号化部１１、画像復元部１２、最適化部１３、及び補助情報送信部１４を含む。映像復号装置２は、映像復号部２０、補助情報受信部２１、補助情報生成部２２、補助情報選択部２３、及び画像復元部２４を含む。

映像符号化装置１は、典型的にはテレビ放送局の施設に設置され、放送用の放送波を用いた無線の伝送路３で映像ストリームをデジタル方式で多重化して伝送するとともに、携帯電話回線を利用したＩＰ（Internet Protocol）プロトコルによる無線の伝送路４で補助情報を伝送する。補助情報は、映像復号装置２において低解像映像信号を高解像映像信号に復元する際の最適な条件を表す制御値であり、高解像映像信号に含まれる特徴量を表す。特徴量には、例えば、低解像映像信号成分を空間周波数成分に分解した場合の高域成分（例えば所定の閾値以上の空間周波数成分）の大きさを定量化した数値（例えば電力）を用いることができる。高域成分を定量化する際に、空間周波数成分を水平・垂直方向にそれぞれ区分（例えば４帯域区画に区分）し、方向毎の成分の大きさを定量化してもよい。また、映像復号装置２は、視聴者の家や施設等に設置され、映像ストリームと補助情報とを別々に受信する。

なお、ここでは、映像ストリームを伝送路３でデジタル方式で多重化して伝送する形態について説明する。伝送路３は、映像ストリームを伝送するため、天候等の影響を受けにくい頑強な伝送路である。ただし、伝送路３は、映像ストリームを多重化せずに伝送する伝送路であってもよい。

また、ここでは、伝送路４が携帯電話回線を用いた無線の伝送路である形態について説明する。補助情報を伝送する伝送路４は、伝送路３ほど頑強な伝送路ではなくてよく、携帯電話回線の代わりに、ＰＨＳ（Personal Handy-phone System）回線、無線又は有線のＬＡＮ（Local Area Network）、又は、Bluetoothのような近距離通信等の伝送路であってもよい。また、伝送路４は、利用者がこれらの伝送路を選択でき、希望に応じて切り替えられるものであってもよい。

また、ここでは映像ストリームと補助情報の伝送について説明するため、音声やその他の情報等は、音声やその他の情報等とは別に伝送すればよい。

以下では、図１に加えて図２を用いる。図２は、図１の詳細版であり、画像復元部１２及び画像復元部２４の内部の構成を詳細に示す図である。画像復元部１２は、４つの高解像化部０、１、２、３を有し、画像復元部２４は、４つの高解像化部０、１、２、３を有する。

画像縮小部１０は、高解像の映像信号を出力する装置から入力された高解像映像信号の解像度削減処理を実行し、解像度を低下させた低解像映像信号を生成する。解像度削減処理は、例えば、空間解像度の削減、時間解像度の削減、又は、空間解像度及び時間解像度の複合（例えば、空間解像度と時間解像度とを両方とも一定に間引く方法や、時間に応じて空間解像度を間引く位相を変化させるインタレース法）による標本数の削減を行う処理である。

映像符号化部１１は、低解像映像信号に対して周知の映像符号化方式による映像符号化処理を行うことにより、映像ストリーム（映像情報）を出力する。また、映像符号化部１１は、映像符号化処理の途中で生成される局部復号映像（ローカルデコード映像）も出力する。

また、映像符号化部１１は、ローカルデコード映像を直接出力する代わりに、映像符号化方式による映像復号を映像情報に対して施して復号映像を得て、この復号映像を出力してもよい。この場合には、このような復号映像をローカルデコード映像とみなして用いればよい。

画像復元部１２は、映像符号化部１１から出力されるローカルデコード映像に対して映像の高解像化を行い、高解像映像信号を出力する。画像復元部１２は、例えば複数の高解像化部（例えば、補間による標本点数の増加、各種超解像技術による標本点数の増加など）を備え、それら複数の結果を出力するよう構成してもよい。

画像復元部１２は、一例として、図２に示すように高解像化部０、１、２、３を有する。画像復元部１２の高解像化部０〜３は、例えば、互いに高域付加の度合いが異なり、それぞれが高解像化した画像を出力するアップコンバータである。ここで、ローカルデコード映像の画像（フレームもしくはこれを分割した部分画像）をＬ、高解像化部ｎ（ｎは０以上３以下の整数）の出力をＨ_ｎとおく。このとき、高解像化部ｎは、次式（１）に従って出力Ｈ_ｎを生成する。出力Ｈ_ｎは、ｎの数値（０〜３）に応じて、式（１）に含まれる４つの右辺のうちのいずれか１つを出力する。出力Ｈ_ｎは、高解像映像信号である。

ここに、Ｂ［Ｌ］は画像Ｌを補間処理（例えば、双一次補間、双三次補間、最近傍補間、Ｌａｎｃｚｏｓ補間など）により高解像化する（例えば、解像度を水平２倍、垂直２倍にする）操作を表す汎関数である。また、Ｓ［Ｌ］は画像Ｌを超解像処理により高解像化することを表す汎関数である。なお、超解像処理は、例えば、特開2014-119949号公報に記載の超解像手法で実現できるものである。

また、画像復元部１２は、後述する最適化部１３からのフィードバック入力に従って高解像化部ｎ（ｎは０〜３）の出力を調整し、調整した画像を出力するよう構成してもよいし、フィードバック入力に従って、例えば高解像化部ｎ（ｎは０〜３）のパラメータを調整し、調整したパラメータに基づいて高解像化部ｎ（ｎは０〜３）が出力する画像を出力するよう構成してもよい。

最適化部１３は、画像復元部１２の高解像化部０〜３の出力を高解像映像信号（原画像）と比較し、高解像映像信号に最も近い高解像化の結果を表す高解像化部ｎを（１つ）求め（並列型の最適判定）、高解像化部ｎを特定する識別子を補助情報として出力する。補助情報は、画像復元部１２の高解像化部ｎ（ｎは０〜３）のいずれか１つを表す情報である。

また、画像復元部１２が最適化部１３からのフィードバック入力に従って高解像化の結果を求める構成の場合には、最適化部１３は、フィードバック入力を複数通り変化させ、画像復元部１２からの高解像化の結果が最も高解像映像信号に近くなるフィードバック入力のパラメータを求め（反復処理による最適判定）、このパラメータを補助情報として出力する。このパラメータは、高解像化部０〜３のいずれか１つを表す。

最適化部１３の並列型又は反復処理による最適判定は、画面（フレーム）単位で実行してもよいし、画面を分割した領域単位で実行してもよいし、複数フレームの集合単位（例えば映像符号化部１１のＧＯＰ（Group Of Pictures）単位）で実行してもよい。

補助情報送信部１４は、最適化部１３から入力される補助情報を伝送路４に出力するインタフェースである。補助情報送信部１４は、例えば、情報源符号化や、暗号化、パリティビットやチェックディジット、ハッシュ値の付加、伝送路符号化、変調といった操作を行ってから補助情報伝送手段４の伝送フォーマットにフォーマット化して出力してもよいし、情報源符号化や、暗号化、伝送路符号化、変調といった操作を行わず、単純に伝送路４の伝送フォーマットにフォーマット化して出力してもよい。

映像復号部２０は、映像符号化装置１の映像符号化部１１から伝送路３を介して受信する映像ストリーム（映像情報）を周知の映像符号化方式による映像復号処理を実行して、低解像映像を出力する。

補助情報受信部２１は、補助情報送信部１４から出力され、伝送路４を介して伝送される補助情報を受信するインタフェースである。補助情報受信部２１は、受信した補助情報を受信補助情報ｒ（図２参照）として出力する。受信補助情報ｒは、第１補助情報の一例である。補助情報受信部２１は、補助情報そのものを受信するのみならず、補助情報が正しく受信されたか否かを判定し、判定結果をフラグｆとして出力する。例えば、フラグｆは、正常受信時にはｆ＝１、それ以外の場合にはｆ＝０である。

補助情報が正しく受信されたか否かは、例えば受信したデータ量（例えばＩＰパケットの数）やデータ受信時のタイムアウトエラーで判定してもよいし、あるいは補助情報送信部１４において伝送路符号化やチェックディジット、パリティビット、ハッシュ値の付加を行った場合にはこれら（パリティ等）の状態で判定してもよい。

補助情報送信部１４が、例えば、情報源符号化や、暗号化、伝送路符号化やチェックディジット、パリティビット、ハッシュ値の付加、変調といった操作を行ってから補助情報伝送手段４の伝送フォーマットにフォーマット化して出力する場合には、補助情報受信部２１は、これらの逆処理を必要に応じて行うものとする。

次に、補助情報生成部２２及び補助情報選択部２３について説明する前に、画像復元部２４について説明する。

画像復元部２４は、画像復元部１２と同様の処理により映像復号部２０から入力される低解像復号映像の高解像化を実行する。画像復元部２４は、一例として、図２に示すように高解像化部０、１、２、３と、スイッチ２４Ａとを有する。

画像復元部２４の高解像化部０〜３は、例えば、高解像化手法（例えば、補間による標本点数の増加、各種超解像技術による標本点数の増加など）を実現するアップコンバータである。

画像復元部２４は、補助情報選択部２３から入力される補助情報ａ（図２参照）によって特定される高解像化部０〜３のうちのいずれか１つを選択するようにスイッチ２４Ａを切り替え、選択されたいずれか１つの高解像化部が出力する画像を高解像映像信号として出力する。補助情報ａによって特定されるのは、高解像化部０〜３のうちのいずれか１つである。

ここで、低解像復号映像の画像（フレームもしくはこれを分割した部分画像）をＤ、高解像化部ｍ（ｍは０以上３以下の整数）の出力をＲ_ｍとおく。このとき、高解像化部ｍは、次式（２）に従って出力Ｒ_ｍを生成する。出力Ｒ_ｍは、高解像映像信号である。

また、画像復元部２４は、補助情報ａに従って、例えば高解像化部０〜３のパラメータを調整し、このパラメータを用いて高解像化した高解像化部０〜３の出力のうちのいずれか１つを高解像映像信号として出力する構成であってもよい。

補助情報生成部２２は、映像復号部２０から入力される低解像復号映像に基づき、画像復元部２４を制御するための情報（ローカル補助情報ｓ）を生成する。ローカル補助情報ｓは、第２補助情報の一例である。例えば、補助情報生成部２２は、低解像復号映像のフレーム（又はこれを分割した部分画像）に含まれる空間周波数の高域成分に着目し、高域成分の電力に応じてローカル補助情報ｓを生成する。ローカル補助情報ｓは、画像復元部２４の高解像化部０〜３のうちのいずれか１つを選択する情報である。

画像復元部２４が、式（２）で表される４つの高解像化部ｍ（ｍ＝０〜３）によって実現される場合には、補助情報生成部２２は、低解像復号映像の画像（フレーム又はその部分画像）Ｄを２次元ウェーブレット分解により水平低域・垂直低域成分、水平高域・垂直低域成分、水平低域・垂直高域成分、及び水平高域・垂直高域成分の４帯域に分解する。

補助情報生成部２２は、これら４帯域のうち水平高域・垂直低域成分、水平低域・垂直高域成分、及び水平高域・垂直高域成分の３帯域成分（高域成分）について、画素値の電力Ｐを求める。補助情報生成部２２は、電力Ｐに対して所定の３つの閾値（いずれも正の実数）を用いて閾値処理を行い、電力Ｐを４段階（電力Ｐの小さい方から、例えば、分類０〜３とする）に分類する。補助情報生成部２２は、このような４つの分類を表すローカル補助情報ｓを出力する。例えば、補助情報生成部２２は、分類０〜３に応じて、それぞれ、ｓ＝０〜３のローカル補助情報ｓを出力する。

補助情報選択部２３は、補助情報受信部２１から入力されるフラグｆを参照し、補助情報受信部２１が正常受信（ｆ＝１）の場合には受信した受信補助情報ｒを、正常受信ではない場合（ｆ＝０の場合）にはローカル補助情報ｓを選択し、選択した受信補助情報ｒ又はローカル補助情報ｓを補助情報ａとして出力する。補助情報選択部２３が出力する補助情報ａは、画像復元部２４に入力される。

このため、補助情報受信部２１が正常受信ではない場合（ｆ＝０の場合）においても、補助情報選択部２３がローカル補助情報ｓを補助信号ａとして選択して出力するので、画像復元部２４は、ローカル補助情報ｓに基づく補助信号ａを用いて、映像復号部２０から入力される低解像復号映像の高解像化を実行し、出力Ｒ_ｍ（高解像映像信号）を出力することができる。

なお、補助情報選択部２３は、画面単位、画面を分割した領域単位、又は、複数フレーム単位で補助情報ａを出力すればよい。画像復元部２４は、画面単位、画面を分割した領域単位、又は、複数フレーム単位で出力Ｒ_ｍ（高解像映像信号）を出力することができる。

以上の動作により、映像復号装置２は、補助情報の受信の成否に応じて、受信補助情報ｒとローカル補助情報ｓのいずれかを画面単位、部分画像単位あるいは複数フレーム単位で切り替えつつ高解像映像信号を生成する。これにより、伝送路４の状態（例えば輻輳等）が悪化しても画像復元部２４による高解像化処理を維持することができ、安定した画質の高解像映像信号（出力Ｒ_ｍ）を出力することができる。

従って、補助情報を受信できない場合でも映像信号を高解像化することができる映像復号装置を提供することができる。

なお、以上では、補助情報選択部２３が受信補助情報ｒとローカル補助情報ｓのいずれか１つを選択する形態について説明したが、例えば、時系列的に、ある瞬間では正常受信（ｆ＝１）であり、次のある瞬間では正常受信ではない（ｆ＝０）ような状態が続く場合には、補助情報選択部２３は、フラグｆの値に応じて、ローカル補助情報ｓ又は受信補助情報ｒを補助情報ａとして出力すればよい。

また、例えば、受信補助情報ｒが５０％の信頼性で受信されるような場合（例えば、ＱＰＳＫ変調により補助情報が伝送される場合に、受信信号の振幅・位相が２信号点から等距離の位置にあり、これをいずれか一方の信号点であったものとして復調した場合）には、ローカル補助情報ｓと受信補助情報ｒとを、ある比率（例えば、５０％ずつの比率）で合成して補助情報ａとして出力してもよい。

また、以上では、伝送路４が携帯電話回線を用いた無線の伝送路であり、伝送路３ほど頑強な伝送路ではない形態について説明した。しかしながら、伝送路３と伝送路４とは、物理的には同一の伝送路であってもよい。伝送路３と伝送路４の間において、伝送路符号化や変調における誤り耐性の差異が存在すれば、実施の形態の映像復号装置２を用いることが有効的である。

以上、本発明の例示的な実施の形態の映像復号装置について説明したが、本発明は、具体的に開示された実施の形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。

１映像符号化装置
１０画像縮小部
１１映像符号化部
１２画像復元部
１３最適化部
１４補助情報送信部
２映像復号装置
２０映像復号部
２１補助情報受信部
２２補助情報生成部
２３補助情報選択部
２４画像復元部
３伝送路
４伝送路

Claims

映像信号を符号化したビットストリームと、前記ビットストリームを復号化して得る映像信号の高解像化に用いられる第１補助情報とを出力する映像符号化装置から、前記ビットストリームと前記第１補助情報とを受信する映像復号装置であって、
前記受信したビットストリームを復号化し、映像信号を出力する映像復号部と、
前記映像復号部から出力される映像信号に含まれる閾値以上の空間周波数の成分の大きさに応じて、当該映像信号の高解像化に用いる第２補助情報を生成する補助情報生成部と、
前記第１補助情報の受信状態に応じて、前記受信した第１補助情報又は前記第２補助情報を選択する補助情報選択部と、
前記補助情報選択部によって選択される前記第１補助情報又は前記第２補助情報を用いて前記映像復号部から出力される映像信号を高解像化する画像復元部と
を含み、
前記画像復元部は、前記第２補助情報に基づいて、前記映像信号に対する高解像化の度合いを決定する、
映像復号装置。
前記補助情報選択部は、前記第１補助情報の受信状態が所定レベル以下のときに前記第２補助情報を選択し、前記第１補助情報の受信状態が前記所定レベルよりも高いときに前記受信した第１補助情報を選択する、請求項１記載の映像復号装置。
前記補助情報選択部は、前記第１補助情報の受信状態に応じて、前記受信した第１補助情報と前記第２補助情報とを用いる比率を選択する、請求項１記載の映像復号装置。