JP6195404B2 - 処理システム、前処理装置、後処理装置、前処理プログラム及び後処理プログラム - Google Patents
処理システム、前処理装置、後処理装置、前処理プログラム及び後処理プログラム Download PDFInfo
- Publication number
- JP6195404B2 JP6195404B2 JP2012131787A JP2012131787A JP6195404B2 JP 6195404 B2 JP6195404 B2 JP 6195404B2 JP 2012131787 A JP2012131787 A JP 2012131787A JP 2012131787 A JP2012131787 A JP 2012131787A JP 6195404 B2 JP6195404 B2 JP 6195404B2
- Authority
- JP
- Japan
- Prior art keywords
- processing
- preprocessing
- unit
- signal
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007781 pre-processing Methods 0.000 title claims description 261
- 238000012545 processing Methods 0.000 title claims description 191
- 238000012805 post-processing Methods 0.000 title claims description 43
- 238000005457 optimization Methods 0.000 claims description 77
- 238000000034 method Methods 0.000 claims description 74
- 230000008569 process Effects 0.000 claims description 55
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 10
- 230000006870 function Effects 0.000 description 33
- 238000011156 evaluation Methods 0.000 description 18
- 230000015556 catabolic process Effects 0.000 description 13
- 238000006731 degradation reaction Methods 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 8
- 230000006866 deterioration Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000002950 deficient Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
また、符号化において、前処理および後処理に解像度変換を行うものも提案されており、例えば、後処理の結果が入力信号をできる限り近似するよう、後処理のパラメータを符号化側で最適化する手法が提案されている(特許文献2参照)。
一方、特許文献2の手法は、符号化側において後処理結果が入力画像を近似するよう最適化を行った結果として、後処理は「前処理および符号化劣化」総体の逆過程に近づくものといえる。しかし、後処理は、「前処理および符号化劣化」総体の逆過程に近づけるために、後処理はパラメータの種類や値を多く試行する必要があり、計算コストが大きいという問題があった。
図1は、本実施形態における処理システム9の構成を示す概略ブロック図である。処理システム9は、前処理装置7と、後処理装置8とを備える。
符号化システム1は、データ圧縮(情報源符号化)または誤り耐性付加(伝送路符号化または通信路符号化)またはその両方を目的とする符号化を行う。符号化システム1は、前処理装置7から入力された符号化信号を、予め決められた符号化方式に従って、ビット列に変換する。そして、符号化システム1は、変換後のビット列を上述した符号化方式に対応した復号方式に従って復号し、復号することにより得られた復号信号を後処理装置8へ出力する。
後処理装置8は、前処理装置7が生成した最適なパラメータθ(ハット)に基づいて、符号化システム1から入力された復号信号に対して、前処理装置7が施した前処理とは逆の処理である逆処理を施す。そして、後処理装置8は、逆処理を施した後の信号を出力信号として自装置の外部へ出力する。
本実施形態では、一例として、前処理装置7は、事前に前処理手段100、符号化システム101、逆処理手段4、比較手段5および最適化手段6を反復的に試行して仮のパラメータθを最適値に収束させる。そして、前処理装置7は、最適値に収束させることにより得られた最適なパラメータθ(ハット)を用いて入力信号に対して前処理を行う。そして、前処理装置7は、前処理を行うことにより得られた最適な符号化信号を符号化システム1へ出力する。符号化システム1は前処理装置7から入力された最適な符号化信号をビット列に変換する。符号化システム1は変換後のビット列を伝送する。そして、符号化システム1は伝送されたビット列を復号し、復号により得られた最適な復号信号を後処理装置8へ出力する。
なお、処理システム9は、誤り耐性の向上と符号化劣化の抑制の両者を目的としてもよい。以下では、符号化劣化の抑制を目的とする処理システム9に関して詳説する。
一例として、前処理手段2は、以下の式(2)に従って、入力信号xに対して係数Hを乗じる。
例えば、逆処理手段4は、符号化システム101から入力された局所復号信号に対する逆処理実行結果を仮定する。そして、逆処理手段4は、仮定した仮の逆処理結果を逆処理手段4が備える前処理手段41によって前処理を試行する。そして、逆処理手段4は、前処理手段41が前処理を試行した後の信号と局所復号信号とを比較して、その比較結果が一致するよう仮の逆処理結果を修正することで、逆処理の結果を算出する。そして、逆処理手段4は、算出した逆処理の結果を局所出力信号として、比較手段5へ出力する。
なお、比較手段5は、対応する標本点ごとの標本値の差分(画像や映像にあっては差分画像)、標本点の集合に対する標本値の差分二乗和、標本点の集合に対する標本値の相互相関、または標本点の集合に対する標本値のバタチャリヤ距離の評価によって、比較してもよい。
このように、仮のパラメータθが最適化されない場合、その仮のパラメータθに基づいて、局所復号信号が更新され、逆処理手段4は、更新された局所復号信号と仮のパラメータθとを用いて局所出力信号を再度生成する。これにより、前処理装置7は、仮のパラメータθが最適化されるまで、上述した一連の処理を繰り返す。
符号化手段11は、前処理手段2から入力された最適な符号化信号を予め決められた符号化方式に従ってビット列に変換する。そして、符号化手段11は、変換後のビット列を復号手段12へ伝送する。
復号手段12は、符号化手段11から伝送されたビット列を上述した符号化方式に対応する復号方式に従って復号し、復号により得られた復号信号を後処理装置8の逆処理手段3へ出力する。
逆処理手段4は、前処理手段41と、記憶手段42と、比較手段43と、最適化手段44と、スイッチ45とを備える。
前処理手段41は、記憶手段42から仮の逆処理結果を読み出し、読み出した仮の逆処理結果に対して、前処理手段41が保持する仮の前処理パラメータθを用いて前処理を行う。そして、前処理手段41は、前処理を行った結果を示す前処理結果信号を比較手段43へ出力する
なお、最適化手段44は、前処理結果信号と局所復号信号とが予め決められた閾値よりも小さい場合に限らず、予め決められた繰り返し回数に達した場合に、スイッチ45を閉じてもよい。
前処理手段31は、記憶手段32から仮の逆処理結果を読み出し、読み出した仮の逆処理結果に対して最適化手段6から入力された仮のパラメータθを用いて前処理を行う。そして、前処理手段31は、前処理を行った結果を示す前処理結果信号を比較手段33へ出力する
なお、最適化手段34は、前処理結果信号と復号信号とが予め決められた閾値よりも小さい場合に限らず、予め決められた繰り返し回数に達した場合に、スイッチ35を閉じてもよい。
続いて、本実施形態の処理システム9の処理の詳細について説明する。
符号化システム101が演算して得られる局所復号信号yは、一例として、以下の式(3)で表される。
逆処理手段4は、符号化システム101から入力された局所復号信号yに対して前処理手段41(仮のパラメータθ)の逆処理を行い、逆処理を行ったことにより得られた局所出力信号k(θ;y)を比較手段5へ出力する。
具体的には、例えば、逆処理手段4は、以下の式(4)に従って、局所出力信号k(θ;y)を生成する。
また、関数gは前処理hが不良設定の場合などに符号化により失われた信号を元に戻すために与える拘束条件に関する正則化項である。関数gは、例えばトータルバリエーションに基づく値(例えば、トータルバリエーション値の定数倍)である。ここで、トータルバリエーションノルムは、処理対象画素と隣接する画素との間の画素値の差分の絶対値和である。関数gは、例えば、以下の式(6)で表される。
本発明に係る処理システム9は、逆処理手段3の内部のループ(記憶手段32、前処理手段31、比較手段33および最適化手段34からなるループ)に符号化劣化dを実行する過程を含まないように構成する。このように構成することで、後処理装置8は、演算コストの大きい符号化システム1の試行を繰り返さずに符号化劣化dの復元することができる。
ステップS109において、最適化手段44は、スイッチ45を閉じて、局所出力信号を比較手段5へ出力すし、ステップS110の処理へ遷移する。
後処理装置8は、この最適なパラメータθ(ハット)に基づいて後処理をするので、より「前処理および符号化劣化」総体の逆過程に近い後処理を実現することができる。
その場合、前処理手段41は、最適化手段6から最適なパラメータθ(ハット)が入力された場合、前処理手段41は、記憶手段42との接続を切断して、入力信号xを受信できるように第1のスイッチを切り替える。そして、前処理手段41は、入力信号xを受信した場合、比較手段43との接続を切断して、符号化手段11と接続するように第2のスイッチを切り替える。これにより、前処理手段41は、最適なパラメータθ(ハット)に基づいて、入力信号xに前処理を行い、前処理を行うことにより得られた最適な符号化信号z(ハット)を符号化手段11に出力することができる。
これにより、前処理装置7は、前処理手段2における前処理を前処理手段41に行わせることにより、前処理手段2を備えないようにすることができる。この結果、前処理装置7の回路面積を削減できるので、前処理装置7の小型化及び低コスト化を実現できる。
2 前処理手段(第2の前処理部)
3 逆処理手段(第2の逆処理部)
4 逆処理手段(第1の逆処理部)
5 比較手段
6 最適化手段
7 前処理装置
8 後処理装置
9 処理システム
11 符号化手段
12 復号手段
13 局所復号手段
31 前処理手段
32 記憶手段
33 比較手段
34 最適化手段
35 スイッチ
41 前処理手段
42 記憶手段
43 比較手段
44 最適化手段
45 スイッチ
100 前処理手段(第1の前処理部)
101 符号化システム(復号信号生成部)
Claims (5)
- 符号化システムに符号化対象とする符号化信号を供給する前処理装置と該符号化システムから復号信号を受信する後処理装置とを備える処理システムであって、
前記前処理装置は、
入力信号に対して仮のパラメータに基づいて、前処理を行う第1の前処理部と、
前記第1の前処理部が前処理を行った後の信号に対して、前記符号化システムが実行する符号化と復号に相当する処理を施して、局所復号信号を生成する復号信号生成部と、 前記仮のパラメータに基づいて、前記復号信号生成部が生成した局所復号信号に対して、前記第1の前処理部が行った処理の逆処理を行う第1の逆処理部と、
前記第1の逆処理部が処理を行った後の出力信号と前記入力信号との差分の大きさを得る比較部と、
前記比較部から得られた差分の大きさが予め決められた閾値以上である場合、前記差分の大きさが前記予め決められた閾値より小さくなるように前記仮のパラメータを最適化する最適化部と、
前記入力
信号に対して前記最適化部が最適化したパラメータに基づいて、前記第1の前処理部と同一の前処理を行って前記符号化信号を生成する第2の前処理部と、
を備え、
前記第1の前処理部および前記第2の前処理部における前処理は、標本点を間引く処理または標本点の追加の処理を伴うものであり、
前記後処理装置は、
前記最適化部が最適化したパラメータに基づいて、前記符号化システムから受信した復号信号に対して、前記第2の前処理部が行った処理の逆処理を行う第2の逆処理部を備えることを特徴とする処理システム。 - 符号化システムに符号化対象とする符号化信号を供給する前処理装置であって、
入力信号に対して仮のパラメータに基づいて前処理を行う第1の前処理部と、
前記第1の前処理部が前処理を行った後の信号に対して、前記符号化システムが実行する符号化と復号に相当する処理を施して、局所復号信号を生成する復号信号生成部と、 前記仮のパラメータに基づいて、前記復号信号生成部が生成した局所復号信号に対して、前記第1の前処理部が行った処理の逆処理を行う逆処理部と、
前記逆処理部が処理を行った後の出力信号と前記入力信号との差分の大きさを得る比較部と、
前記比較部から得られた差分の大きさが予め決められた閾値以上である場合、前記差分の大きさが前記予め決められた閾値より小さくなるように前記仮のパラメータを最適化する最適化部と、
前記入力信号に対して前記最適化部が最適化したパラメータに基づいて、前記第1の前処理部と同一の前処理を行って前記符号化信号を生成する第2の前処理部と、
を備え、
前記第1の前処理部および前記第2の前処理部における前処理は、標本点を間引く処理または標本点の追加の処理を伴うものである、
ことを特徴とする前処理装置。 - 前処理装置が入力信号から符号化対象とする符号化信号を生成する際に用いるために最適化したパラメータを前記前処理装置から取得し、該取得したパラメータに基づいて、前記符号化信号に符号化と復号とが施されることで得られた復号信号に対して、前記前処理装置が前記符号化信号を生成する際に行った処理の逆処理を行う逆処理部を備え、
前記前処理装置が前記符号化信号を生成する際に行った処理は、標本点を間引く処理または標本点の追加の処理を伴うものである、
ことを特徴とする後処理装置。 - 符号化システムに符号化対象とする符号化信号を供給する前処理装置に、
入力信号に対して仮のパラメータに基づいて前処理を行う第1の前処理ステップと、 前記第1の前処理ステップにより前処理が行われた後の信号に対して、前記符号化システムが実行する符号化と復号に相当する処理を施して、局所復号信号を生成する復号信号生成ステップと、
前記仮のパラメータに基づいて、前記復号信号生成ステップにより生成された局所復号信号に対して、前記第1の前処理ステップにより行なわれた処理の逆処理を行う逆処理ステップと、
前記逆処理ステップにより処理を行った後の出力信号と前記入力信号との差分の大きさを得る比較ステップと、
前記比較ステップにより得られた差分の大きさが予め決められた閾値以上である場合、前記差分の大きさが前記予め決められた閾値より小さくなるように前記仮のパラメータを最適化する最適化ステップと、
前記入力信号に対して前記最適化ステップにより最適化されたパラメータに基づいて、前記第1の前処理ステップと同一の前処理を行って前記符号化信号を生成する第2の前処理ステップと、
を実行させるための前処理プログラムであって、
前記第1の前処理ステップおよび前記第2の前処理ステップにおける前処理は、標本点を間引く処理または標本点の追加の処理を伴うものである、
前処理プログラム。 - コンピュータに、
前処理装置が入力信号から符号化対象とする符号化信号を生成する際に用いるために最適化したパラメータを前記前処理装置から取得し、該取得したパラメータに基づいて、前記符号化信号に符号化と復号とが施されることで得られた復号信号に対して、前記前処理装置が前記符号化信号を生成する際に行った処理の逆処理を行う逆処理ステップを実行させるための後処理プログラムであって、
前記前処理装置が前記符号化信号を生成する際に行った処理は、標本点を間引く処理または標本点の追加の処理を伴うものである、
後処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012131787A JP6195404B2 (ja) | 2012-06-11 | 2012-06-11 | 処理システム、前処理装置、後処理装置、前処理プログラム及び後処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012131787A JP6195404B2 (ja) | 2012-06-11 | 2012-06-11 | 処理システム、前処理装置、後処理装置、前処理プログラム及び後処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013258465A JP2013258465A (ja) | 2013-12-26 |
JP6195404B2 true JP6195404B2 (ja) | 2017-09-13 |
Family
ID=49954585
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012131787A Active JP6195404B2 (ja) | 2012-06-11 | 2012-06-11 | 処理システム、前処理装置、後処理装置、前処理プログラム及び後処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6195404B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6796435B2 (ja) * | 2016-09-14 | 2020-12-09 | 日本放送協会 | レート制御装置、映像復号装置、及び、プログラム |
WO2020031601A1 (ja) * | 2018-08-10 | 2020-02-13 | キヤノン株式会社 | 画像処理方法、画像処理装置、画像処理システム、およびプログラム |
JP7467034B2 (ja) * | 2018-08-10 | 2024-04-15 | キヤノン株式会社 | 画像処理方法、画像処理装置、画像処理システム、およびプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1631090A1 (en) * | 2004-08-31 | 2006-03-01 | Matsushita Electric Industrial Co., Ltd. | Moving picture coding apparatus and moving picture decoding apparatus |
JP4146444B2 (ja) * | 2005-03-16 | 2008-09-10 | 株式会社東芝 | 動画像符号化の方法及び装置 |
JP2007074337A (ja) * | 2005-09-07 | 2007-03-22 | Matsushita Electric Ind Co Ltd | 符号化装置及び符号化方法 |
JP2009055440A (ja) * | 2007-08-28 | 2009-03-12 | Mitsubishi Electric Corp | 画像符号化装置および画像符号化プログラム |
-
2012
- 2012-06-11 JP JP2012131787A patent/JP6195404B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013258465A (ja) | 2013-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6717385B2 (ja) | 量子化パラメータに基づくビデオ処理のためのシステム及び方法 | |
JP6334006B2 (ja) | ビデオ符号化用の高コンテンツ適応型品質回復フィルタ処理のためのシステムおよび方法 | |
Yu et al. | Robust adaptive steganography based on generalized dither modulation and expanded embedding domain | |
JP6336438B2 (ja) | 方法、プログラム、およびコンピュータシステム | |
JP5590133B2 (ja) | 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム | |
JP5490404B2 (ja) | 画像復号装置 | |
JP6761033B2 (ja) | 前フレーム残差を用いた動きベクトル予測 | |
US20180213233A1 (en) | Method and device for processing video signal by using separable graph-based transform | |
JP6504604B2 (ja) | 動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化方法、動画像復号方法、およびプログラム | |
CN110741641A (zh) | 用于视频压缩的翘曲参考运动矢量 | |
US7702017B2 (en) | Moving picture encoding apparatus, moving picture encoding method, moving picture encoding program, moving picture decoding apparatus, moving picture decoding method, and moving picture decoding program | |
JP6065613B2 (ja) | 動画像符号化装置 | |
CN114631312A (zh) | 用于快速视频代码化的超轻模型和决策融合 | |
JP6195404B2 (ja) | 処理システム、前処理装置、後処理装置、前処理プログラム及び後処理プログラム | |
JP2021175090A (ja) | 画像符号化装置、画像復号装置及びこれらのプログラム | |
Zhou et al. | $\ell_ {2} $ Restoration of $\ell_ {\infty} $-Decoded Images Via Soft-Decision Estimation | |
CN112085667B (zh) | 一种基于伪模拟视频传输的去分块效应方法和装置 | |
CN110677653B (zh) | 视频编解码方法和装置及存储介质 | |
US10390025B2 (en) | Method and apparatus for encoding and decoding video signal using improved prediction filter | |
Liu et al. | Adaptive video data hiding with low bit-rate growth based on texture selection and ternary syndrome-trellis coding | |
US20150098512A1 (en) | Image processing apparatus and method thereof | |
CN100459714C (zh) | 测量区块假像及关联的编码/解码/译码的方法和设备 | |
JP2012142769A (ja) | 符号化装置及び復号化装置 | |
Kazemi | Refinement of the recovered motion vectors for error concealment in HEVC | |
WO2020066307A1 (ja) | 画像復号装置、画像符号化装置、画像処理システム及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150501 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160705 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160829 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170403 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170718 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170814 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6195404 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |