JP2013243453A

JP2013243453A - 符号化データ変換装置

Info

Publication number: JP2013243453A
Application number: JP2012114365A
Authority: JP
Inventors: Hirohisa Waki; 寛尚脇; Shinya Takeda; 真也竹田
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2012-05-18
Filing date: 2012-05-18
Publication date: 2013-12-05

Abstract

【課題】ＭＰＥＧ−４ＡＶＣ等の動画像圧縮符号化技術を利用するにあたり、符号化専用ハードウェアを搭載するパソコンが拡大しつつある。符号化専用ハードウェアは、ソフトウェアエンコーダに比べてＣＰＵ負荷と処理時間を大幅に削減できる一方、ハードウェアの使用に依って、一部の再生機器では再生できない符号化データを出力する場合があった。
【解決手段】符号化専用ハードウェアで作成した符号化データが、特定の再生機の復号処理に関する制約条件に適合するようシンタックスレベルで変換し、さらに、シンタックス変換の内容に応じて、適宜非圧縮動画像信号から再度符号化処理を行い、シンタックス値を再生成する。
【選択図】図２

Description

映像等のデジタルデータを符号化する情報処理装置及び情報処理方法に関する。

動画像の蓄積や配信に、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）−２ビデオや、ＭＰＥＧ−４ＡＶＣ（ＭＰＥＧ−４Ｐａｒｔ１０ＡｄｖａｎｃｅｄＶｉｄｅｏＣｏｄｉｎｇ）等の画像圧縮符号化技術が利用される機会が増えている。これらの符号化技術は、高画質な動画像を少ないデータ量で表現できる代わりに、処理に要する演算量が非常に多い。従って、パソコンなどの汎用機においてソフトウェアで処理するには大変に負荷が高く、長い処理時間を要していた。

これに対して、近年では符号化専用のハードウェアを搭載するパソコンが増えつつある。符号化専用のハードウェアを利用することにより、符号化処理におけるＣＰＵ負荷を低減し、処理時間を大幅に短縮できるが、一方で、符号化専用ハードウェアの仕様に依って、特定の再生機器では再生できない符号化データになる事がある。

作成した符号化データが再生機器で再生できない原因として、符号化方式の違いや、符号化方式が同じでも符号化ツールの使用有無の違い、さらには再生機器のハードウェアリソースに起因するシンタックス値の許容範囲など、多岐に渡る。

これらのうち、符号化方式の違いや、符号化ツールの違いに起因する互換性の問題を解決するために、符号化データをシンタックスレベルで変換することにより、再生機器で再生可能な符号化データに変換する方法（特許文献１）が提案されている。

特開２００６−２０３６８２号公報

しかし、シンタックス値の許容範囲、たとえば、動き保障のブロックサイズ、画面内予測モードの種類、参照ピクチャ番号の制限、動きベクトルの範囲などに制約がある場合には、制約条件を満たさない部分について、非圧縮動画像信号から再度符号化処理を行う必要があるため、特許文献１の非圧縮動画像信号を扱わない方法では対応できない。

本発明は、上記の課題を解決するためになされたものであり、本発明にかかる符号化データ変換装置は、所定の規格に準拠して、第一の符号化装置により符号化された第一の符号化映像データを取得する映像データ取得部と、特定の再生機の復号処理に関する制約条件に関する情報を取得する制約条件取得部と、前記第一の符号化映像データと、前記取得した制約条件との適合性を判断し、前記第一の符号化映像データの変換の要否を判断する判断部と、前記判断部により、前記第一の符号化データの変換が必要と判断された場合は、前記所定の規格に準拠して、前記取得した制約条件に基づき、前記第一の映像符号化データを第二の符号化映像データに変換するデータ変換部と、を備える。

これにより、符号化データを変換可能な範囲を広げて、特定の再生機で再生可能な符号化データを作成可能にする。

復号化器と符号化器を接続した符号化データ変換装置の例を示す図本実施の形態の符号化データ変換装置の構成図本実施の形態の符号化データ変換装置の動作フローチャート本実施の形態の符号化データ変換装置におけるシンタックス変換の処理フローチャート

〔実施の形態１〕
図２に本実施の形態の符号化データ変換装置の構成を示す。なお、ここではＭＰＥＧ−４ＡＶＣの符号化データを変換するのに最適な構成を示すが、本手法は他の符号化方式においても同様に適用可能である。データ変換装置２００は、入力符号化データの受信バッファ２１１と、入力符号化データを可変長復号化する可変長復号化部２１２と、可変長復号化した入力データを逆量子化する逆量子化部２１３と、可変長復号化した入力データに基づいて動き補償情報を復号する動き補償予測部２１５と、非圧縮動画像をバッファリングするフレームメモリ２１６と、非圧縮動画像を変換する変換部２２１と、変換したデータを量子化する量子化部２２２と、量子化したデータを逆量子化する逆量子化部２２３と、逆量子化したデータを逆変換する逆変換部２２４と、逆変換したデータをバッファリングするフレームメモリ２２５と、逆変換したデータに基づいて動き補償行う動き補償予測部２２６と、量子化したデータを可変長符号化する可変長符号化部２２７と、符号化したデータをバッファリングする送信バッファ２２８とを有する符号化データ変換装置であって、入力符号化データ２２１および可変長復号化部２１２から受信した可変長復号化データと、出力符号化データに関する制約条件２３３に基づいて、入力符号化データの変換の必要性を判断する変換制御部２０１と、入力データのパラメータ等を出力符号化形式の制約条件に合わせて変換するパラメータ変換部２０２と、入力データのビデオのシンタックスを出力符号化形式の制約条件に合わせて変換するシンタックス変換部とを有することを特徴とする。

図３に本実施の形態のデータ記録装置の動作フローを示す。なお、ここでもＭＰＥＧ−４ＡＶＣの符号化データを変換するために最適なフローを示すが、本手法は他の符号化方式においても同様に適用可能である。符号化データ変換装置は、まずストリームからＮＡＬ（ＮｅｔｗｏｒｋＡｂｓｔｒａｃｔｉｏｎＬａｙｅｒ）ユニットを取得し、ＮＡＬユニットの種類に応じて処理を分岐する。

ＮＡＬユニットが非符号化データ（非ＶＣＬＮＡＬユニット）の場合、データ内にはＳＰＳ（ＳｅｑｕｅｎｃｅＰａｒａｍｅｔｅｒＳｅｔ）、ＰＰＳ（ＰｉｃｔｕｒｅＰａｒａｍｅｔｅｒＳｅｔ）等の動画像の符号化に関するパラメータや、ＳＥＩ（ＳｕｐｐｌｅｍｅｎｔａｌＥｎｈａｎｃｅｍｅｎｔＩｎｆｏｒｍａｔｉｏｎ）やＡＵデリミタ（ＡｃｃｅｓｓＵｎｉｔＤｅｌｉｍｉｔｅｒ）等の動画像の補助情報が含まれるため、それらの情報が、出力復号化データに関する制約条件を満たすかを確認する。制約条件を満たしている場合には、当該の非ＶＣＬＮＡＬユニットは変換せずに送信バッファに送り、そうでない場合には満たしていない制約条件が、パラメータ等の変換により、ビデオの再符号化を伴わずに満たすことができるようになるかを確認する。満たすことができる場合は、当該の非ＶＣＬＮＡＬユニットを、パラメータセット等変換部に送り、制約条件に合わせて変換したうえで、送信バッファに送信する。また、ＮＡＬユニットの要不要がある場合には、適宜生成や除外を行う。再符号化が伴う変換が必須の場合は、ＮＡＬユニット毎の制約条件チェックが不要になるため中断して、ストリーム全体の再符号化処理に移行する。なお、ストリーム全体の再符号化が必要な制約条件の差異としては、画像解像度・アスペクト比・ピクチャ構造・フレームレートが異なる、各ピクチャの構成スライス数が制約を超える等の原因が挙げられるが、これらの一般的なパラメータは符号化専用ハードウェアに対して外部から指定可能であるため、あらかじめ出力形式に合わせて指定しておけば相違が生じることは無い。

ＮＡＬユニットが符号化データ（ＶＣＬＮＡＬユニット）の場合、ＶＣＬＮＡＬユニットを可変長符号化して動画像（ピクチャ）のシンタックス情報を取得する。まず、当該ピクチャがインター予測で参照しているピクチャに、変換が発生していないかを確認する。変換が発生していた場合には、変換後のピクチャを用いた再符号化が必要な為、再符号化処理を行って得られた符号化ピクチャを送信バッファに送る。当該ピクチャの参照ピクチャに変換が発生していない場合（および参照ピクチャが無い場合）には、当該ピクチャが制約条件を満たすかを確認し、満たす場合には当該のＶＣＬＮＡＬユニットは変換せずに送信バッファに送り、満たさない場合には当該のＶＣＬＮＡＬユニットをシンタックス変換部に送り、制約条件を満たさないマクロブロックを制約条件に合わせて変換したうえで、送信バッファに送信する。

以上の処理を全てのＮＡＬユニットに対して繰り返し実施する。

図４に本実施の形態のデータ記録装置におけるシンタックス変換の処理フローの詳細を示す。なお、ＭＰＥＧ−４ＡＶＣの符号化データを変換するために最適なフローを示すが、本手法は他の符号化方式においても同様に適用可能である。シンタックス変換では、ビデオのシンタックスを、マクロブロック毎に再生機の制約条件と比較していく。制約条件の例として、動き補償のブロックサイズ、画面内予測モードの種類、参照ピクチャのインデックス値、動きベクトルの大きさ等が挙げられる。これらのうち一つでも再生機の制約条件を満たさない場合には、当該のマクロブロックを非圧縮映像信号に戻した上で再符号化する。その際、画面内予測にて再符号化することで、処理負荷を抑えて変換できる。なお、動き補償予測から画面内予測に変更することに伴う情報量の増加により、当初の目標ビットレートを超える可能性が出てくるため、当初の符号量からの増加分を累計しておき、一定の閾値を超えた時点でシンタックス変換部２０３から変換制御部２０１にフィードバックして、量子化部２２２における係数を大きくすることで画像の情報量を削減し、目標ビットレートを一定に保つ制御が可能である。

以上のように、本実施の形態のデータ記録装置は、符号化専用ハードウェアで作成した符号化データが、特定の再生機の復号処理に関する制約条件に適合するようシンタックスレベルで変換し、さらに、シンタックス変換の内容に応じて、適宜非圧縮動画像信号から再度符号化処理を行い、シンタックス値を再生成する。

これにより、符号化データを変換可能な範囲を広げて、特定の再生機で再生可能な符号化データを作成可能にする。また、図１に示すような、符号化データの復号化器と符号化器を接続した変換装置に比べ、必要最低限の符号化しか行わないため、演算量の軽減による処理負荷の低減と処理時間の短縮が可能になる。

したがって、本発明による符号化方法には、符号化専用ハードウェアによる処理負荷および処理時間削減のメリットを享受しつつ、特定の再生機で再生可能な符号化データを作成できるという利点がある。

本発明にかかる変化装置及び方法は、符号化データを再変換する機器全般に適用することが可能である。

１００復号化器と符号化器を接続した単純なデータ変換装置
１１０汎用的な復号化装置による復号化処理部
１２０汎用的な符号化装置による符号化処理部
２００本実施の形態の符号化データ変換装置
２０１符号化データの変換制御部
２０２符号化データのパラメータ等（非ＶＣＬＮＡＬユニット）の変換部
２０３符号化データのシンタックス（ＶＣＬＮＡＬユニット）変換部
２１１受信バッファ
２１２可変長復号化部
２１３逆量子化部
２１４逆変換部
２１５動き補償予測部
２１６フレームメモリ
２２１変換部
２２２量子化部
２２３逆量子化部
２２４逆変換部
２２５フレームメモリ
２２６動き補償予測部
２２７可変長符号化部
２２８送信バッファ
２３１入力符号化データ
２３２出力符号化データ
２３３出力符号化データの符号化に関する制約条件

Claims

所定の規格に準拠して、第一の符号化装置により符号化された第一の符号化映像データを取得する映像データ取得部と、
特定の再生機の復号処理に関する制約条件に関する情報を取得する制約条件取得部と、
前記第一の符号化映像データと、前記取得した制約条件との適合性を判断し、前記第一の符号化映像データの変換の要否を判断する判断部と、
前記判断部により、前記第一の符号化データの変換が必要と判断された場合は、前記所定の規格に準拠して、前記取得した制約条件に基づき、前記第一の映像符号化データを第二の符号化映像データに変換するデータ変換部と、
を備えた符号化データ変換装置。