JP2013243453A - 符号化データ変換装置 - Google Patents
符号化データ変換装置 Download PDFInfo
- Publication number
- JP2013243453A JP2013243453A JP2012114365A JP2012114365A JP2013243453A JP 2013243453 A JP2013243453 A JP 2013243453A JP 2012114365 A JP2012114365 A JP 2012114365A JP 2012114365 A JP2012114365 A JP 2012114365A JP 2013243453 A JP2013243453 A JP 2013243453A
- Authority
- JP
- Japan
- Prior art keywords
- data
- encoded data
- encoded
- conversion
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】MPEG−4 AVC等の動画像圧縮符号化技術を利用するにあたり、符号化専用ハードウェアを搭載するパソコンが拡大しつつある。符号化専用ハードウェアは、ソフトウェアエンコーダに比べてCPU負荷と処理時間を大幅に削減できる一方、ハードウェアの使用に依って、一部の再生機器では再生できない符号化データを出力する場合があった。
【解決手段】符号化専用ハードウェアで作成した符号化データが、特定の再生機の復号処理に関する制約条件に適合するようシンタックスレベルで変換し、さらに、シンタックス変換の内容に応じて、適宜非圧縮動画像信号から再度符号化処理を行い、シンタックス値を再生成する。
【選択図】図2
【解決手段】符号化専用ハードウェアで作成した符号化データが、特定の再生機の復号処理に関する制約条件に適合するようシンタックスレベルで変換し、さらに、シンタックス変換の内容に応じて、適宜非圧縮動画像信号から再度符号化処理を行い、シンタックス値を再生成する。
【選択図】図2
Description
映像等のデジタルデータを符号化する情報処理装置及び情報処理方法に関する。
動画像の蓄積や配信に、MPEG(Moving Picture Experts Group)−2ビデオや、MPEG−4 AVC(MPEG−4 Part 10 Advanced Video Coding)等の画像圧縮符号化技術が利用される機会が増えている。これらの符号化技術は、高画質な動画像を少ないデータ量で表現できる代わりに、処理に要する演算量が非常に多い。従って、パソコンなどの汎用機においてソフトウェアで処理するには大変に負荷が高く、長い処理時間を要していた。
これに対して、近年では符号化専用のハードウェアを搭載するパソコンが増えつつある。符号化専用のハードウェアを利用することにより、符号化処理におけるCPU負荷を低減し、処理時間を大幅に短縮できるが、一方で、符号化専用ハードウェアの仕様に依って、特定の再生機器では再生できない符号化データになる事がある。
作成した符号化データが再生機器で再生できない原因として、符号化方式の違いや、符号化方式が同じでも符号化ツールの使用有無の違い、さらには再生機器のハードウェアリソースに起因するシンタックス値の許容範囲など、多岐に渡る。
これらのうち、符号化方式の違いや、符号化ツールの違いに起因する互換性の問題を解決するために、符号化データをシンタックスレベルで変換することにより、再生機器で再生可能な符号化データに変換する方法(特許文献1)が提案されている。
しかし、シンタックス値の許容範囲、たとえば、動き保障のブロックサイズ、画面内予測モードの種類、参照ピクチャ番号の制限、動きベクトルの範囲などに制約がある場合には、制約条件を満たさない部分について、非圧縮動画像信号から再度符号化処理を行う必要があるため、特許文献1の非圧縮動画像信号を扱わない方法では対応できない。
本発明は、上記の課題を解決するためになされたものであり、本発明にかかる符号化データ変換装置は、所定の規格に準拠して、第一の符号化装置により符号化された第一の符号化映像データを取得する映像データ取得部と、特定の再生機の復号処理に関する制約条件に関する情報を取得する制約条件取得部と、前記第一の符号化映像データと、前記取得した制約条件との適合性を判断し、前記第一の符号化映像データの変換の要否を判断する判断部と、前記判断部により、前記第一の符号化データの変換が必要と判断された場合は、前記所定の規格に準拠して、前記取得した制約条件に基づき、前記第一の映像符号化データを第二の符号化映像データに変換するデータ変換部と、を備える。
これにより、符号化データを変換可能な範囲を広げて、特定の再生機で再生可能な符号化データを作成可能にする。
〔実施の形態1〕
図2に本実施の形態の符号化データ変換装置の構成を示す。なお、ここではMPEG−4 AVCの符号化データを変換するのに最適な構成を示すが、本手法は他の符号化方式においても同様に適用可能である。データ変換装置200は、入力符号化データの受信バッファ211と、入力符号化データを可変長復号化する可変長復号化部212と、可変長復号化した入力データを逆量子化する逆量子化部213と、可変長復号化した入力データに基づいて動き補償情報を復号する動き補償予測部215と、非圧縮動画像をバッファリングするフレームメモリ216と、非圧縮動画像を変換する変換部221と、変換したデータを量子化する量子化部222と、量子化したデータを逆量子化する逆量子化部223と、逆量子化したデータを逆変換する逆変換部224と、逆変換したデータをバッファリングするフレームメモリ225と、逆変換したデータに基づいて動き補償行う動き補償予測部226と、量子化したデータを可変長符号化する可変長符号化部227と、符号化したデータをバッファリングする送信バッファ228とを有する符号化データ変換装置であって、入力符号化データ221および可変長復号化部212から受信した可変長復号化データと、出力符号化データに関する制約条件233に基づいて、入力符号化データの変換の必要性を判断する変換制御部201と、入力データのパラメータ等を出力符号化形式の制約条件に合わせて変換するパラメータ変換部202と、入力データのビデオのシンタックスを出力符号化形式の制約条件に合わせて変換するシンタックス変換部とを有することを特徴とする。
図2に本実施の形態の符号化データ変換装置の構成を示す。なお、ここではMPEG−4 AVCの符号化データを変換するのに最適な構成を示すが、本手法は他の符号化方式においても同様に適用可能である。データ変換装置200は、入力符号化データの受信バッファ211と、入力符号化データを可変長復号化する可変長復号化部212と、可変長復号化した入力データを逆量子化する逆量子化部213と、可変長復号化した入力データに基づいて動き補償情報を復号する動き補償予測部215と、非圧縮動画像をバッファリングするフレームメモリ216と、非圧縮動画像を変換する変換部221と、変換したデータを量子化する量子化部222と、量子化したデータを逆量子化する逆量子化部223と、逆量子化したデータを逆変換する逆変換部224と、逆変換したデータをバッファリングするフレームメモリ225と、逆変換したデータに基づいて動き補償行う動き補償予測部226と、量子化したデータを可変長符号化する可変長符号化部227と、符号化したデータをバッファリングする送信バッファ228とを有する符号化データ変換装置であって、入力符号化データ221および可変長復号化部212から受信した可変長復号化データと、出力符号化データに関する制約条件233に基づいて、入力符号化データの変換の必要性を判断する変換制御部201と、入力データのパラメータ等を出力符号化形式の制約条件に合わせて変換するパラメータ変換部202と、入力データのビデオのシンタックスを出力符号化形式の制約条件に合わせて変換するシンタックス変換部とを有することを特徴とする。
図3に本実施の形態のデータ記録装置の動作フローを示す。なお、ここでもMPEG−4 AVCの符号化データを変換するために最適なフローを示すが、本手法は他の符号化方式においても同様に適用可能である。符号化データ変換装置は、まずストリームからNAL(Network Abstraction Layer)ユニットを取得し、NALユニットの種類に応じて処理を分岐する。
NALユニットが非符号化データ(非VCL NALユニット)の場合、データ内にはSPS(Sequence Parameter Set)、PPS(Picture Parameter Set)等の動画像の符号化に関するパラメータや、SEI(Supplemental Enhancement Information)やAUデリミタ(Access Unit Delimiter)等の動画像の補助情報が含まれるため、それらの情報が、出力復号化データに関する制約条件を満たすかを確認する。制約条件を満たしている場合には、当該の非VCL NALユニットは変換せずに送信バッファに送り、そうでない場合には満たしていない制約条件が、パラメータ等の変換により、ビデオの再符号化を伴わずに満たすことができるようになるかを確認する。満たすことができる場合は、当該の非VCL NALユニットを、パラメータセット等変換部に送り、制約条件に合わせて変換したうえで、送信バッファに送信する。また、NALユニットの要不要がある場合には、適宜生成や除外を行う。再符号化が伴う変換が必須の場合は、NALユニット毎の制約条件チェックが不要になるため中断して、ストリーム全体の再符号化処理に移行する。なお、ストリーム全体の再符号化が必要な制約条件の差異としては、画像解像度・アスペクト比・ピクチャ構造・フレームレートが異なる、各ピクチャの構成スライス数が制約を超える等の原因が挙げられるが、これらの一般的なパラメータは符号化専用ハードウェアに対して外部から指定可能であるため、あらかじめ出力形式に合わせて指定しておけば相違が生じることは無い。
NALユニットが符号化データ(VCL NALユニット)の場合、VCL NALユニットを可変長符号化して動画像(ピクチャ)のシンタックス情報を取得する。まず、当該ピクチャがインター予測で参照しているピクチャに、変換が発生していないかを確認する。変換が発生していた場合には、変換後のピクチャを用いた再符号化が必要な為、再符号化処理を行って得られた符号化ピクチャを送信バッファに送る。当該ピクチャの参照ピクチャに変換が発生していない場合(および参照ピクチャが無い場合)には、当該ピクチャが制約条件を満たすかを確認し、満たす場合には当該のVCL NALユニットは変換せずに送信バッファに送り、満たさない場合には当該のVCL NALユニットをシンタックス変換部に送り、制約条件を満たさないマクロブロックを制約条件に合わせて変換したうえで、送信バッファに送信する。
以上の処理を全てのNALユニットに対して繰り返し実施する。
図4に本実施の形態のデータ記録装置におけるシンタックス変換の処理フローの詳細を示す。なお、MPEG−4 AVCの符号化データを変換するために最適なフローを示すが、本手法は他の符号化方式においても同様に適用可能である。シンタックス変換では、ビデオのシンタックスを、マクロブロック毎に再生機の制約条件と比較していく。制約条件の例として、動き補償のブロックサイズ、画面内予測モードの種類、参照ピクチャのインデックス値、動きベクトルの大きさ等が挙げられる。これらのうち一つでも再生機の制約条件を満たさない場合には、当該のマクロブロックを非圧縮映像信号に戻した上で再符号化する。その際、画面内予測にて再符号化することで、処理負荷を抑えて変換できる。なお、動き補償予測から画面内予測に変更することに伴う情報量の増加により、当初の目標ビットレートを超える可能性が出てくるため、当初の符号量からの増加分を累計しておき、一定の閾値を超えた時点でシンタックス変換部203から変換制御部201にフィードバックして、量子化部222における係数を大きくすることで画像の情報量を削減し、目標ビットレートを一定に保つ制御が可能である。
以上のように、本実施の形態のデータ記録装置は、符号化専用ハードウェアで作成した符号化データが、特定の再生機の復号処理に関する制約条件に適合するようシンタックスレベルで変換し、さらに、シンタックス変換の内容に応じて、適宜非圧縮動画像信号から再度符号化処理を行い、シンタックス値を再生成する。
これにより、符号化データを変換可能な範囲を広げて、特定の再生機で再生可能な符号化データを作成可能にする。また、図1に示すような、符号化データの復号化器と符号化器を接続した変換装置に比べ、必要最低限の符号化しか行わないため、演算量の軽減による処理負荷の低減と処理時間の短縮が可能になる。
したがって、本発明による符号化方法には、符号化専用ハードウェアによる処理負荷および処理時間削減のメリットを享受しつつ、特定の再生機で再生可能な符号化データを作成できるという利点がある。
本発明にかかる変化装置及び方法は、符号化データを再変換する機器全般に適用することが可能である。
100 復号化器と符号化器を接続した単純なデータ変換装置
110 汎用的な復号化装置による復号化処理部
120 汎用的な符号化装置による符号化処理部
200 本実施の形態の符号化データ変換装置
201 符号化データの変換制御部
202 符号化データのパラメータ等(非VCL NALユニット)の変換部
203 符号化データのシンタックス(VCL NALユニット)変換部
211 受信バッファ
212 可変長復号化部
213 逆量子化部
214 逆変換部
215 動き補償予測部
216 フレームメモリ
221 変換部
222 量子化部
223 逆量子化部
224 逆変換部
225 フレームメモリ
226 動き補償予測部
227 可変長符号化部
228 送信バッファ
231 入力符号化データ
232 出力符号化データ
233 出力符号化データの符号化に関する制約条件
110 汎用的な復号化装置による復号化処理部
120 汎用的な符号化装置による符号化処理部
200 本実施の形態の符号化データ変換装置
201 符号化データの変換制御部
202 符号化データのパラメータ等(非VCL NALユニット)の変換部
203 符号化データのシンタックス(VCL NALユニット)変換部
211 受信バッファ
212 可変長復号化部
213 逆量子化部
214 逆変換部
215 動き補償予測部
216 フレームメモリ
221 変換部
222 量子化部
223 逆量子化部
224 逆変換部
225 フレームメモリ
226 動き補償予測部
227 可変長符号化部
228 送信バッファ
231 入力符号化データ
232 出力符号化データ
233 出力符号化データの符号化に関する制約条件
Claims (1)
- 所定の規格に準拠して、第一の符号化装置により符号化された第一の符号化映像データを取得する映像データ取得部と、
特定の再生機の復号処理に関する制約条件に関する情報を取得する制約条件取得部と、
前記第一の符号化映像データと、前記取得した制約条件との適合性を判断し、前記第一の符号化映像データの変換の要否を判断する判断部と、
前記判断部により、前記第一の符号化データの変換が必要と判断された場合は、前記所定の規格に準拠して、前記取得した制約条件に基づき、前記第一の映像符号化データを第二の符号化映像データに変換するデータ変換部と、
を備えた符号化データ変換装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012114365A JP2013243453A (ja) | 2012-05-18 | 2012-05-18 | 符号化データ変換装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012114365A JP2013243453A (ja) | 2012-05-18 | 2012-05-18 | 符号化データ変換装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013243453A true JP2013243453A (ja) | 2013-12-05 |
Family
ID=49843968
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012114365A Pending JP2013243453A (ja) | 2012-05-18 | 2012-05-18 | 符号化データ変換装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013243453A (ja) |
-
2012
- 2012-05-18 JP JP2012114365A patent/JP2013243453A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI478584B (zh) | 一種視訊編解碼的方法及其裝置 | |
KR101365441B1 (ko) | 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법 | |
KR101366249B1 (ko) | 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법 | |
JP5807638B2 (ja) | 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム | |
JP6632638B2 (ja) | トランスコーディングのための方法および構成 | |
KR101955374B1 (ko) | 고속 코딩 단위(Coding Unit) 모드 결정을 통한 부호화/복호화 방법 및 장치 | |
KR20160114566A (ko) | 동영상 부호화 장치 및 그 방법 | |
JP2008172599A5 (ja) | ||
KR20150105431A (ko) | 비디오 스플라이싱을 단순화시키기 위한 버퍼링 정보에 대한 구문 및 의미 | |
KR20140042778A (ko) | 비디오 인코더 내에서 기준 이미지들의 압축 및 압축해제 | |
CN100555332C (zh) | 使用包括多个宏块的预测和非预测画面对画面序列编码的方法和装置 | |
JPWO2009008177A1 (ja) | トランスコーダ、トランスコード方法、デコーダ、およびデコード方法 | |
EP2891312A2 (en) | Improved architecture for hybrid video codec | |
KR100968371B1 (ko) | 영상의 복호화 방법 및 장치 | |
WO2011148887A1 (ja) | 動画像配信システム、動画像送信装置、動画像配信方法および動画像配信プログラム | |
US20100074326A1 (en) | Transcoder unit and method | |
JP7338053B2 (ja) | ビデオコード化のための方法及び装置 | |
JPWO2004093457A1 (ja) | 動画像圧縮符号化方式変換装置及び動画像通信システム | |
JP5472094B2 (ja) | 動画像変換装置、動画像配信システム、動画像変換方法及びプログラム | |
JP4113044B2 (ja) | 画像符号化装置 | |
JP2013243453A (ja) | 符号化データ変換装置 | |
WO2012049876A1 (ja) | 動画像符号化方法および復号方法 | |
KR101075776B1 (ko) | 트랜스코딩 방법 및 그 장치 | |
WO2011161823A1 (ja) | 動画像符号化方法および復号方法 | |
KR20140048805A (ko) | 다중 계층 비디오를 위한 계층 간 예측 방법 및 그 장치 |