JP3743220B2 - 符号化動画像編集方法およびその装置 - Google Patents
符号化動画像編集方法およびその装置 Download PDFInfo
- Publication number
- JP3743220B2 JP3743220B2 JP25859099A JP25859099A JP3743220B2 JP 3743220 B2 JP3743220 B2 JP 3743220B2 JP 25859099 A JP25859099 A JP 25859099A JP 25859099 A JP25859099 A JP 25859099A JP 3743220 B2 JP3743220 B2 JP 3743220B2
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- encoded
- type
- editing
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Television Signal Processing For Recording (AREA)
Description
【発明の属する技術分野】
本発明は、符号化動画像の編集を行う符号化動画像編集方法およびその装置に関するものである。
【0002】
【従来の技術】
従来、ISO/IEC13318-2(以下MPEG2 Videoによる符号化と略す。)によって既に符号化が行なわれている符号化動画像をフレーム単位で編集を行う場合には、たとえば、P. Brightwell らによる"Flexible switching and editing of MPEG-2 video bitstreams" Proceedings of IBC'97, Amsterdam, p.547に述べられているような、復号化装置からMB毎に、符号化モード、動きベクトル、量子化係数、DCTモードを伝達し、符号化装置でマクロブロック(MB)毎に符号化モード、動きベクトル、量子化係数、DCTモードをエンコーダに伝達し、MB毎に伝達される符号化モード、動きベクトル、量子化係数、DCTモードを用いて符号化を行っていた。
【0003】
【発明が解決しようとする課題】
しかし、このような方法で再符号化を行う場合、MB毎に復号化装置から符号化装置へ転送する情報量が多いため、実時間で編集装置を構成することが困難であった。
【0004】
本発明は、同一の符号化動画像を含む複数の符号化動画像の編集を行う際に、編集前の符号化動画像の画質を保つために、編集前の符号化動画像に含まれている、動きベクトル、符号化モード、量子化係数等の符号化情報のうち一部を利用し、その他の情報は符号化装置において外部情報に依らずに決定することにより、復号化装置から符号化装置へ渡す情報量を少なくし、かつ画質を維持する符号化動画像編集方法および装置を提供することを目的とする。
【0005】
【課題を解決するための手段】
この課題を解決するために本発明は、符号化動画像内に符号化されている各種符号化情報のうち、編集前の符号化動画像のピクチャータイプ、量子化マトリックスを含む量子化係数およびDCTをフィールド構造で行うかあるいはフレーム構造で行うかを指定するDCTモードの情報を復号器より出力し、動きベクトルおよび符号化モードは符号器によって決定するようにしたものである。
【0006】
【発明の実施の形態】
本発明の請求項1に記載の発明は、任意の符号化フレーム位置で編集する際に、符号化動画像を復号化し、前記復号化する際に前記符号化動画像から得られる符号化パラメータを利用して再符号化を行う編集方法において、復号化時の符号化パラメータの有効性を、符号化タイプが内部符号化されている場合、符号化タイプが片方向予測であり、かつ、参照フレームが編集後の符号化動画像に存在している場合、及び符号化タイプが両方向予測符号化であり、かつ、当該符号化フレームが参照していた符号化フレームが編集後の符号化動画像に存在している場合、に有効であると判定し、前記有効性情報に基づいて、前記符号化パラメータである量子化係数、直交変換種、動き補償モードを利用して再符号化を行うものであり、符号化動画像の編集を行う際に、復号化時の符号化パラメータの有効性の判定を行い、編集後の符号化フレームの符号化情報が編集前の当該符号化フレームの符号化情報と同一となるように編集を行うことで再符号化を行った際の画質を劣化させない作用がある。
【0008】
請求項2に記載の発明は、再符号化を行う際に、符号量制御が必要ない場合には、動きベクトルを探索し探索した動きベクトルを用いて動き補償を行い、直交変換種は前記復号化時に得られた直交変換情報を利用して直交変換を行い、前記量子化情報をそのまま利用して量子化を行うもので、復号化時の符号化パラメータの有効性の判定を行い、復号化時の符号化パラメータを利用して再符号化を行うことにより、画質を劣化させない作用がある。
【0009】
請求項3記載の発明は、任意の符号化フレーム位置で編集する際に、符号化動画像を復号化し、前記復号化する際に前記符号化動画像から得られる符号化パラメータを利用して再符号化を行う編集装置において、
復号化時の符号化パラメータの有効性を、符号化タイプが内部符号化されている場合、符号化タイプが片方向予測であり、かつ、参照フレームが編集後の符号化動画像に存在している場合、及び符号化タイプが両方向予測符号化であり、かつ、当該符号化フレームが参照していた符号化フレームが編集後の符号化動画像に存在している場合、に有効であると判定するパラメータ有効性判定部、
前記有効性情報に基づいて、前記符号化パラメータである量子化係数、直交変換種、動き補償モードを利用して再符号化を行う符号化部とを有するもので、
符号化動画像の編集を行う際に、復号化時の符号化パラメータの有効性の判定を行い、再符号化の際に画質に影響のある情報を符号化情報としているために、編集で再符号化を行った際の画質を劣化させない作用がある。
【0010】
請求項5に記載の発明は、請求項1乃至3のいずれかに記載の符号化動画像編集方法において、符号化情報は、マクロブロック毎の符号化タイプ、直交変換の種類、量子化係数の値及びDCTモードとしたもので、再符号化の際に画質に影響のある情報を符号化情報としているために、編集で再符号化を行った際の画質を劣化させない作用がある。
【0011】
請求項6に記載の発明は、符号化された動画像を復号化する復号化サブシステムと、前記復号化サブシステムからの符号化動画像の任意の編集位置を指定する編集サブシステムと、前記編集サブシステムから得られる編集位置と前記符号化情報に基づいて再符号化を行う符号化サブシステムとからなるもので、復号化サブシステムによって出力される符号化タイプと、量子化係数と、直交変換種を符号化サブシステムに入力することによって、再符号化を行う符号化フレームの符号化を行う際の画質を劣化させずに符号化を行うことができる。
【0012】
請求項7に記載の発明は、符号化された動画像を復号化する復号化サブシステムと、前記復号化サブシステムからの符号化動画像の編集位置を指定する編集サブシステムと、前記編集サブシステムから得られる編集位置と前記符号化情報に基づいて再符号化を行う符号化サブシステムと、符号化された動画像を入出力する記憶装置とからなるもので、復号化サブシステムによって出力される符号化タイプと、量子化係数と、直交変換種を符号化サブシステムに入力することによって、再符号化を行う符号化フレームの符号化を行う際の画質を劣化させずに符号化を行うことができる。
【0013】
請求項8に記載の発明は、請求項6乃至7のいずれかに記載の符号化動画像編集装置において、符号化情報は、符号化タイプ、直交変換の種類、量子化係数の値及びDCTモードとしたもので、再符号化の際に画質に影響のある情報を符号化情報としているために、編集で再符号化を行った際の画質を劣化させない作用がある。
【0014】
請求項9に記載の発明は、請求項6乃至7のいずれかに記載の符号化動画像編集装置において、符号化情報は、マクロブロック毎の符号化タイプ、直交変換の種類、量子化係数の値及びDCTモードとしたもので、再符号化の際に画質に影響のある情報を符号化情報としているために、編集で再符号化を行った際の画質を劣化させない作用がある。
【0015】
請求項10に記載の発明は、請求項7記載の符号化動画像編集装置において、符号化された動画像を入出力する記憶装置は、DVD、メモリチップ及びメモリカードとしたもので、各種の映像再生装置に適用できる。
【0016】
以下、本発明の実施の形態について図を参照して説明する。
【0017】
(実施の形態1)
本発明の実施の形態1について図を用いて説明する。ただし、本実施の形態の符号化方法として、MPEG2によって符号化された動画像の編集を例として説明する。
【0018】
図1は、本発明の実施の形態における符号化動画像編集装置をコンピュータシステムで構築した1例である。図1において、CPU100は、符号化動画像編集装置の各処理を実行するものである。記憶装置101は符号化された動画像を一時的あるいは永続的に保存する記憶装置であり、符号化動画像を編集する際の編集対象である複数の符号化動画像や編集結果の符号化動画像あるいは、その他の情報を一時的あるいは永続的に保存するものである。符号化動画像102は、上記編集対象である複数の符号化動画像や編集結果の符号化動画像である。
【0019】
入出力制御部103は、入力装置104、符号化動画像入出力装置105および表示装置106とCPU100とのインターフェースとなる装置であり、入力装置104および符号化動画像入出力装置105からの情報をCPU100へ伝達し、CPU100からの情報を表示装置106へ伝達する働きをする。入力装置104は、キーボード、マウス、その他の符号化動画像編集装置を操作する操作者からの入力を行う装置である。符号化動画像入出力装置105は、符号化動画像編集装置に符号化された動画像を入出力するための装置で、DVD、メモリチップ及びメモリカード等がある。表示装置106は、符号化動画像編集装置の状態を操作者に提示する装置である。メモリ107は、CPU100によって一時的に使われる記憶装置である。
【0020】
上記のように構成された符号化動画像編集装置は、機能別に3つのサブシステムで構成されており、図2に機能ブロックとデータの流れを示し、以下に説明する。
【0021】
200は、符号化動画像編集装置を操作する操作者によって編集対象となる符号化動画像の指定と編集位置を入力する編集サブシステム、201は編集対象である符号化動画像の復号化と符号化動画像内に符号化されている符号化情報の一部を出力する復号化サブシステム、202は復号化サブシステム201によって復号化された復号化画像を復号化サブシステム201によって出力される符号化情報をもとに、再符号化する符号化サブシステム、203は符号化動画像を一時的に保存する符号化動画像ファイル、204は復号化サブシステム201で符号化された符号化情報を一時的に保存する符号化情報ファイル、205は符号化サブシステム201で再生された復号化画像を一時的に保存する復号化画像ファイルである。
【0022】
以下に各サブシステム毎に詳細に説明する。
【0023】
図3に、本発明の符号化動画像編集装置における編集対象である符号化動画像を復号化し、本発明の方法を用いて編集を行う際に必要な符号化情報を出力する復号化サブシステム201の動作フローチャートを示し、以下に説明する。
【0024】
S200は、符号化動画像を記憶装置100または符号化動画像入出力装置105より読み出し、メモリ107に読み出す。S201は、メモリ107に符号化動画像の全フレームの復号化が終了したか否かを判定し、判定結果が終了した場合には復号化サブシステム201の動作を終了する。
【0025】
ヘッダーの読み出しS202は、当該符号化動画像のヘッダー部を読み出だす。
【0026】
符号化タイプの出力S203は、当該ヘッダーに書き込まれている符号化フレームの符号化タイプが内部符号化であるか、片方向予測符号化であるかあるいは双方向符号化であるかを、ヘッダー部と共に符号化情報としてメモリ107の符号化情報ファイル204に保存する。
【0027】
S204は、符号化フレームの全データを復号化し終えたか否かを判定し、フレームの全データの復号化を終了した場合にはS200へ動作を進める。フレームの全データの復号化が終了していない場合には、S205へ動作を進める。
【0028】
S205は、符号化フレームを構成するマクロブロック(MB)のデータを読み出し、復号化し、符号化情報である当該MBの符号化モード、動きベクトル値、量子化係数値、DCTタイプ(フィールド構造としてMBのDCTを行うかあるいはフレーム構造としてMBのDCTを行うかを示す)、量子化されたDCT係数値を読み出し復号化して、必要な情報を符号化情報としてメモリ107の符号化情報ファイル204に記憶する。
【0029】
S206は、前記ステップS205によって復号化された、符号化情報である符号化モード、動きベクトル値、量子化係数、DCTタイプ、量子化されたDCT係数値を用いて、必要であれば参照画像を動きベクトル値に基づいて参照画像を作成し、DCT係数を当該量子化係数によって逆量子化し、逆量子化された係数をDCTタイプに基づいて逆DCTを行い、必要な場合当該参照画像と当該逆DCTを行った結果を加えることによってMBの復号化画像を作成し、メモリ107の復号化画像ファイルに205に記憶する。
【0030】
ステップS204に戻り、全ての符号化フレームについて、S204〜S206の処理を繰り返す。
【0031】
次に、図4を用いて、本発明の符号化動画像編集装置において、復号化サブシステム201によって得られる復号化された復号化画像と符号化情報、及び編集サブシステム200からの編集情報に基づいて、再符号化する符号化サブシステムの動作説明を行う。
【0032】
S300は、符号化サブシステム202が符号化を終了する条件を満たしている場合には符号化サブシステム202の動作を停止し、符号化サブシステム202が終了する条件を満たしていない場合にはステップS301に実行の制御を移す。
【0033】
S301は、メモリ17の復号化画像ファイル205から符号化サブシステムが符号化を行う符号化フレームの入力を行う。S302は、前記復号化サブシステム201によって出力される符号化タイプをメモリ17の符号化情報ファイル204から読み出し、符号化サブシステム202に入力する。S303は、符号化サブシステム202によって符号化を行う符号化フレームの画像サイズ等のMPEG2 Videoの復号化を行うために必要なパラメータを符号化情報ファイル204から読み出し、編集しヘッダーとしてメモリ17の符号化動画像ファイル203に出力する。
【0034】
S304は、符号化サブシステム202が符号化フレームの全画像の符号化を終了した場合には、ステップS300に進み、符号化フレームの全画像の符号化が終了していない場合にはステップS305に進む。
【0035】
S305は、符号化フレームのMBの各符号化モードに応じた動きベクトルを、例えば水平方向16画素垂直方向16画素の範囲の任意の動きベクトルを用いた場合の、符号化を行うMBの画素と動きベクトルを用いて動き補償を行った場合での輝度成分の誤差の総和のもっとも小さくなるものを、MBの符号化を行う際に用いる動きベクトルの候補として決定する。
【0036】
S306は、S305によって算出した、各符号化モード毎に動きベクトルを用いて符号化した場合の、差分画像の絶対値の誤差等の統計量を用い、その統計量がもっとも小さくなるようなものを符号化モードとして決定する。ただし、符号化モードには、動きベクトルを用いるフレーム間符号化およびフレーム内符号化が含まれる。
【0037】
S307は、MBの量子化係数を入力する。S308は、MBの直交変換の種類(本実施例においては、DCTモード)を入力する。S309は、編集サブシステム200の編集情報の出力をS307において入力された外部直交変換種が有効であるかの情報によって、外部直交変換種が有効である場合にはステップS311に進み、外部直交変換種が有効でない場合にはステップS310に進む。
【0038】
S310は、S306によって決定した符号化モードで動き補償を行った結果の差分画像または原画像を、フレーム構造によってDCTを行うか、フィールド構造によってDCTを行うかを決定し、当該DCTモードによってDCTを行う。S311は、外部より入力された直交変換種、すなわちDCTRモードによってDCTを行う。
【0039】
S312は、編集サブシステム200の出力をS307において入力された外部入力量子化係数が有効であるかどうかの情報によって、外部入力量子化係数が有効である場合には制御をステップS313に進み、外部入力量子化係数が有効でない場合には制御をステップS314に進む。
【0040】
S313は、S310あるいはS311によって動き補償済みのMBあるいは原画像を直交変換を行った結果に対して外部入力量子化係数によって量子化を行う。S314は、符号化サブシステム202内に存在する符号量積算サブシステムによって決定された積算符号量に応じて量子化係数を決定し、当該量子化係数によって動き補償済みのMBあるいは原画像を直交変換を行った結果を量子化する。
【0041】
S315は、S313あるいはS314によって決定された量子化係数を符号として出力する。S316は、S310あるいはS311によって決定された直交変換種を符号として出力する。S3017は、S313あるいはS314によって量子化された値を符号として出力する。
【0042】
S318は、S313あるいはS314によって量子化された結果を逆量子化する。S320は、S310或はS311によって直交変換された結果を逆直交変換する。S321は、S320によって再生された画像によって参照画像の更新を行い、ステップS304に戻る。
【0043】
図5は、本発明の符号化動画像編集装置における編集サブシステム200の動作フローチャートを示したものである。
【0044】
S400は、編集装置を操作する操作者が編集対象となる符号化動画像を指定する。S401は、S400によって入力された符号化動画像内の編集位置を操作者が指定する値を入力する。この場合、復号化サブシステム201により再生された再生画像を表示装置207に表示しながら編集位置を指定することが出来る。
【0045】
S402は、S401によって入力された符号化動画像内の編集位置がS400によって指定された符号化動画像内に含まれているか否かを判定し、入力された編集位置が符号化動画像内に含まれている場合にはステップS403に進み、入力された編集位置が符号化動画像内に含まれている場合にはステップS404に進む。
【0046】
S404は、復号化サブシステム201によって出力された符号化タイプを入力する。S405は、S404によって符号化サブシステム202より出力された符号化タイプが有効であるかどうかを判定する。符号化タイプが有効であるのは、復号化サブシステム201より出力された符号化タイプが内部符号化されているか、或は、片方向予測符号化によって符号化されておりかつ当該符号化フレームが参照していた符号化フレームが編集対象となる領域に存在しているか、或は、当該符号化フレームが両方向予測符号化がされていてかつ当該符号化フレームが参照していた符号化フレームが編集対象となる領域に存在しているかどうかで判定する。
【0047】
S406は、S405による判定に基づき、符号化タイプが有効である場合には、符号化タイプが有効であること示す判定情報と符号化タイプを出力し、符号化タイプが有効でない場合には符号化タイプが有効でないことを示す判定情報のみを出力する。
【0048】
S407は、編集対象である符号化フレームに含まれるMBの処理が全て終了したかどうかを判定し、全てのMBの処理が終了した場合にはステップS403に戻り、全てのMBの処理が終了していない場合にはステップS408に進む。
【0049】
S408は、復号化サブシステム201によって出力される量子化係数値を入力する。S409は、復号化サブシステム201によって出力される直交変換種を入力する。S410は、S405によって符号化タイプが有効であると判定された場合にはS408によって入力された量子化係数が有効であると判定し、S405によって符号化タイプが有効であると判定され無かった場合にはS408によって入力された量子化係数が有効でないと判定する。
【0050】
S411は、S405によって符号化タイプが有効であると判定された場合にはS409によって入力された直交変換種が有効であると判定し、S405によって符号化タイプが有効であると判定され無かった場合にはS409によって入力された直交変換種が有効でないと判定する。
【0051】
S412は、S410の判定結果により、入力された量子化係数が有効である場合には当該量子化係数とその量子化係数が有効であることを示す判定情報を出力し、入力された量子化係数が有効でない場合には、量子化係数が有効でないことを示す判定情報を出力する。
【0052】
S413は、S411の判定結果により、入力された直交変換種が有効である場合には当該直交変換種とその直交変換種が有効であることを示す判定情報を出力し、入力された直交変換種が有効でない場合には、直交変換種が有効でないことを示す判定情報を出力する。
【0053】
次に、図4のステップS314の符号量積算処理について詳細に説明する。図6は、本発明の符号化サブシステムにおける符号量積算処理の動作フローチャートを示したものである。符号量積算処理は、符号化サブシステム一部であり、符号化サブシステムによって生成された符号量をフレームごとに積算する働きをする。積算された符号量は、符号化サブシステムが内部量子化係数を用いて符号化する際に利用される。
【0054】
S500は、符号量の積算値を”0”にセットする。S501は、符号化サブシステムでの符号化が終了したか否かを判定し符号化が終了した場合には符号量積算サブシステムは動作を停止し、符号化が終了していない場合にはS502に制御を移す。
【0055】
S502は、符号化サブシステムにおいて符号化フレームの符号化が終了した場合にはS501に制御を移し、符号化サブシステムにおいて符号化フレームの符号化が終了していない場合にはS503に制御を移す。
【0056】
S503は、符号化サブシステムにおいてMBの符号化が終了したか否かを判定し、MBの符号化が終了した場合にはS504に制御を移し、MBの符号化が行われている場合にはS503に制御を移す。S5004は、符号化を終えたMBの発生符号量を符号量の積算値に加える。
【0057】
(実施の形態2)
図7に本発明の実施の形態2における符号化動画像編集装置のブロック図を示し説明する。
【0058】
図7において、900は符号化動画像を入力し、当該符号化動画像を復号化した復号化画像と符号化情報である符号化タイプと量子化係数と直交変換種とを出力する復号化処理を行う復号化サブシステム、901は復号化サブシステム900によって出力された復号化動画像と符号化タイプと量子化係数と直交変換種及び編集位置情報を基に符号化処理を行う符号化サブシステム、902は編集を行う当該編集装置の操作者が符号化動画像を指定し符号化動画像の編集位置を指定する編集位置指定手段、903は復号化サブシステム900からの符号化タイプと直交変換種及び量子化係数がそれぞれ有効であるかどうかの判定情報と復号化動画像と符号化タイプと量子化係数と直交変換種及び編集位置情報を出力する出力判定手段から構成される。
【0059】
上記のように構成された符号化動画像編集装置について、各サブブロック毎に詳細に説明する。
【0060】
図8に復号化サブシステムのブロック図を示し、以下に説明する。ただし、本実施の形態においては符号化方法として MPEG2 Videoによって符号化された動画像の復号化を例に説明する。
【0061】
符号化動画像入力手段700は、符号化された動画像を入力し、入力された符号化動画像を符号分配手段701に出力する。符号分配手段701は、入力された符号を復号化し、符号の意味を判別して、入力された符号が符号化タイプである場合には、符号化タイプを判定するために必要な符号を符号化タイプ判定手段702に出力し、入力された符号が直交変換種である場合には、直交変換種を判定するために必要な符号を、直交変換種判定手段703に出力し、入力された符号が量子化係数である場合には量子化係数を判定するために必要な符号を量子化係数判定手段704に出力し、入力された符号が符号化モードである場合には符号化モードを判定するために必要な符号を符号化モード判定手段705に出力し、入力された符号が動きベクトルを表す場合に動きベクトルを判定する多面に必要な符号を動きベクトル判定手段706に出力し、入力された符号が量子化された係数値を表す場合には、量子化された計数値を判定するために必要な符号を係数読み出し手段707に出力する。
【0062】
符号化タイプ判定手段702は、符号分配手段701より入力された符号の符号化タイプを判定し、当該符号化タイプを出力する。直交変換種判定手段703は、入力された符号の直交変換種を判定し当該直交変換種を出力する。量子化係数判定手段704は、入力された量子化係数を判定し当該量子化係数を出力する。符号化モード判定手段705は、符号分配手段701より入力された符号の符号化モードを判定する。
【0063】
動きベクトル判定手段706は、入力された符号の動きベクトル値を判定する。係数読み出し手段707は、入力された符号の符号化モードと動きベクトルによって動き補償された画像を直交変換し、さらに量子化された係数値を判定する。
【0064】
逆量子化手段709は、係数読み出し手段707によって得られた値を、量子化係数判定手段704によって出力された量子化係数によって逆量子化する。逆直交変換手段710は、逆量子化手段709によって得られた値を、直交変換種判定手段703によって判定された直交変換種に応じた逆直交変換を行う。
【0065】
動き補償手段708は、符号化タイプ判定手段702によって判定された符号化タイプに応じて参照画像を選択し、符号化モード判定手段705によって判定された符号化モードに応じて動きベクトル判定手段706によって判定された動きベクトルを用いた動き補償を行い復号化画像を作成する。フレームバッファ711は、動き補償手段708によって出力された復号化画像を保存し、復号化画像を出力する。
【0066】
次に、図9に符号化サブシステムのブロック図を示し、以下に説明する。ただし、本実施の形態においては符号化方法として MPEG2 Videoによる符号化を例に説明する。
【0067】
符号化タイプ決定手段800は、あらかじめ決められたGOPの構造によって符号化フレームの符号化タイプを決定する。符号化タイプ入力手段801は、符号化タイプを外部から入力する。入力手段802は、符号化タイプ入力手段801より入力される符号化タイプと、直交変換種入力手段804より入力される直交変換種と、量子化係数入力手段804より入力される量子化係数がそれぞれ有効であるかどうかを示す情報を入力する。
【0068】
スイッチ817は、入力手段802より入力された情報のうち符号化タイプに関する情報を用い、符号化タイプ入力手段801より入力された情報が有効である場合には符号化タイプ入力手段801より入力された符号化タイプを出力し、符号化タイプ入力手段801より入力された情報が有効でない場合には符号化タイプ決定手段800によって決定された符号化タイプを出力する。
【0069】
直交変換種入力手段803は、MBを直交変換する際に用いる直交変換の種類を外部より入力する。量子化係数入力手段804は、MBを量子化する際に用いる量子化係数を入力する。符号量制御手段805は、発生符号量の積算を行い、また、符号化開始時点からの平均発生符号量をもとに符号化開始時点からの発生符号量の目標値を計算し、当該発生符号量と当該発生符号量の目標値との差分が大きい場合には量子化係数を大きくし、当該発生符号量と当該発生符号量の目標値との差分が小さい場合には量子化係数を小さくすすることで、発生符号量に応じて量子化係数を出力する。
【0070】
スイッチ818は、入力手段802によって入力された情報のうち直交変換種入力手段803によって入力された直交変換種が有効であることを示す場合には直交変換種入力手段803によって入力された直交変換種を出力し、入力手段802によって入力された情報のうち直交変換種入力手段803によって入力された直交変換種が有効でないことを示す場合には直交変換種決定手段814によって決定された直交変換種を出力する。
【0071】
スイッチ819は、入力手段802によって入力された情報のうち量子化係数入力手段804によって入力された量子化係数値が有効であることを示す場合には、量子化係数入力手段804によって入力された量子化係数を出力し、入力手段802によって入力された情報のうち量子化係数入力手段804によって入力された量子化係数値が有効でないことを示す場合には、符号量制御手段805によって決定された量子化係数を出力する。
【0072】
動画像入力手段806は、当該符号化装置によって符号化を行う符号化フレームを入力する。動きベクトル探索手段807は、スイッチ817より出力される符号化タイプの情報に基づきフレームバッファ816に格納されている参照画像を参照し動画像入力手段806より入力される原画像の情報をもとに動きベクトルを探索し、動きベクトルを出力する。
【0073】
符号化モード決定手段808は、動きベクトル探索手段807からの動きベクトルの値と動画像入力手段806より入力される原画像の値とスイッチ817より出力される符号化タイプに基づいてフレームバッファ816に格納されている参照画像を用い、動きベクトルによって動き補償を行った画像と原画像との差分画像の輝度成分の絶対値の和を求め、その和がもっとも小さいものを符号化モードの候補とする。同候補の差分画像の輝度成分の画素値の2乗和と原画像の2乗和を求め、差分画像の輝度成分の画素値の2乗和が原画像の2乗和より小さい場合には当該動きベクトルを用いた動き補償を行う符号化モードを出力し、差分画像の輝度成分の画素値の2乗和が原画像の2乗和より小さく無い場合には、内部符号化を符号化モードを出力する。
【0074】
動き補償手段809は、符号化モード決定手段808より出力される符号化モードに応じて、当該符号化モードがフレーム間符号化である場合には、フレームバッファ816の参照画像を参照し原画像と参照画像との差分画像を生成し当該差分画像を出力する。また、符号化モード決定手段808より出力される符号化モードが、フレーム内符号化である場合には、原画像を出力する。
【0075】
直交変換手段810は、動き補償手段809によって出力されたMBのデータをスイッチ818より入力される直交変換種によって直交変換する。量子化手段811は、直交変換手段810より出力される直交変換結果をスイッチ819より入力される量子化係数によって量子化する。
【0076】
逆量子化手段812は、量子化手段811によって量子化された結果を逆量子化する。直交変換手段813は、逆量子化手段813によって逆量子化された結果を逆直交変換し参照画像を生成する。
【0077】
フレームバッファ816は、逆直交変換手段813によって出力された参照画像を保存し、動きベクトル探索手段807、符号化モード決定手段808、動き補償手段809および直交変換種決定手段814に出力する。
【0078】
符号生成手段815は、符号化モード決定手段808によって決定された符号化モードと当該符号化モードに応じた動きベクトルと直交変換種と量子化係数とを符号化し出力する。
【0079】
【発明の効果】
以上のように本発明によれば、複数の符号化動画像を任意の位置で編集する際に、編集後の符号化タイプと量子化係数と直交変換種を編集前の当該符号化フレームの符号化タイプと量子化係数と直交変換種とを同一にすることで、編集後の画像の画質を劣化させずに高画質な再符号化を行うことができる。
【図面の簡単な説明】
【図1】本発明の実施の形態1における符号化動画像編集装置のブロック図
【図2】本発明の実施の形態1における符号化動画像編集装置の各サブシステムのデータの流れを説明するブロック図
【図3】本発明の実施の形態1における復号化サブシステムの動作フローチャート
【図4】本発明の実施の形態1における符号化サブシステムの動作フローチャート
【図5】本発明の実施の形態1における編集サブシステムの動作フローチャート
【図6】本発明の実施の形態1における符号量積算サブシステムの動作フローチャート
【図7】本発明の実施の形態2における符号化動画像編集システムのブロック図
【図8】本発明の実施の形態2における復号化サブシステムのブロック図
【図9】本発明の実施の形態2における符号化サブシステムのブロック図
【符号の説明】
100 CPU
101 記憶装置
102 符号化動画像
103 入出力制御部
104 入力装置
105 符号化動画像入出力装置
106 表示装置
107 メモリ
700 符号化動画像入力手段
701 符号分配手段
702 符号化タイプ判定手段
703 直交変換種判定手段
704 量子化係数判定手段
705 符号化モード判定手段
706 動きベクトル判定手段
707 係数読み出し手段
708 動き補償手段
709 逆量子化手段
710 逆直交変換手段
711 フレームバッファ
800 符号化タイプ決定手段
801 符号化タイプ入力手段
802 入力手段
803 直交変換種入力手段
804 量子化係数入力手段
805 符号量制御手段
806 動画像入力手段
807 動きベクトル探索手段
808 符号化モード決定手段
809 動き補償手段
810 直交変換手段
811 量子化手段
812 逆量子化手段
813 逆直交変換手段
814 直交変換種決定手段
815 符号生成手段
816 フレームバッファ
817 スイッチ
818 スイッチ
819 スイッチ
900 復号化サブシステム
901 符号化サブシステム
902 編集位置指定手段
903 出力判定手段
Claims (3)
- 任意の符号化フレーム位置で編集する際に、符号化動画像を復号化し、前記復号化する際に前記符号化動画像から得られる符号化パラメータを利用して再符号化を行う編集方法において、
復号化時の符号化パラメータの有効性を、符号化タイプが内部符号化されている場合、符号化タイプが片方向予測であり、かつ、参照フレームが編集後の符号化動画像に存在している場合、及び符号化タイプが両方向予測符号化であり、かつ、当該符号化フレームが参照していた符号化フレームが編集後の符号化動画像に存在している場合、に有効であると判定し、
前記有効性情報に基づいて、前記符号化パラメータである量子化係数、直交変換種、動き補償モードを利用して再符号化を行うことを特徴とする符号化動画像編集方法。 - 再符号化を行う際に、符号量制御が必要ない場合には、動きベクトルを探索し探索した動きベクトルを用いて動き補償を行い、直交変換種は前記復号化時に得られた直交変換情報を利用して直交変換を行い、前記量子化情報をそのまま利用して量子化を行うことを特徴とする請求項1記載の符号化動画像編集方法。
- 任意の符号化フレーム位置で編集する際に、符号化動画像を復号化し、前記復号化する際に前記符号化動画像から得られる符号化パラメータを利用して再符号化を行う編集装置において、
復号化時の符号化パラメータの有効性を、符号化タイプが内部符号化されている場合、符号化タイプが片方向予測であり、かつ、参照フレームが編集後の符号化動画像に存在している場合、及び符号化タイプが両方向予測符号化であり、かつ、当該符号化フレームが参照していた符号化フレームが編集後の符号化動画像に存在している場合、に有効であると判定するパラメータ有効性判定部と、
前記有効性情報に基づいて、前記符号化パラメータである量子化係数、直交変換種、動き補償モードを利用して再符号化を行う符号化部とを有することを特徴とする符号化動画像編集装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25859099A JP3743220B2 (ja) | 1999-09-13 | 1999-09-13 | 符号化動画像編集方法およびその装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25859099A JP3743220B2 (ja) | 1999-09-13 | 1999-09-13 | 符号化動画像編集方法およびその装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001086459A JP2001086459A (ja) | 2001-03-30 |
JP3743220B2 true JP3743220B2 (ja) | 2006-02-08 |
Family
ID=17322384
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP25859099A Expired - Fee Related JP3743220B2 (ja) | 1999-09-13 | 1999-09-13 | 符号化動画像編集方法およびその装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3743220B2 (ja) |
-
1999
- 1999-09-13 JP JP25859099A patent/JP3743220B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001086459A (ja) | 2001-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101690234B (zh) | 视频图像编码方法及解码方法、其装置 | |
US8625916B2 (en) | Method and apparatus for image encoding and image decoding | |
CN100544444C (zh) | 用于全景图像的运动估计和补偿的方法和设备 | |
KR100977255B1 (ko) | 영상 부호화 방법 및 복호 방법, 그들의 장치, 및 그들의프로그램 및 프로그램을 기록한 기억 매체 | |
CN1960495B (zh) | 图像编码装置、图像编码方法和集成电路装置 | |
US20080137734A1 (en) | Video encoding method, video decoding method, video encoding program, video decoding program, video encoding apparatus, and video decoding apparatus | |
US20100020879A1 (en) | Method for decoding a block of a video image | |
CN101164336B (zh) | 影像信息记录装置以及影像信息记录方法 | |
CN102369730B (zh) | 动态图像编码装置、动态图像解码装置、动态图像编码方法及动态图像解码方法 | |
US11310524B2 (en) | Method and apparatus for determining motion vector of affine code block | |
JP2004096757A (ja) | 動き補償のための補間方法及びその装置 | |
JPH11168731A (ja) | 動きベクトル検出方法及びその方法を実施する装置 | |
TW525391B (en) | Method and apparatus for performing motion compensation in a texture mapping engine | |
US20090279801A1 (en) | Decoding device, decoding method, decoding program, and integrated circuit | |
JP4898415B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
JP2006246277A (ja) | 再符号化装置、再符号化方法、および再符号化用プログラム | |
JP2007067526A (ja) | 画像処理装置 | |
JP3743220B2 (ja) | 符号化動画像編集方法およびその装置 | |
JP4514666B2 (ja) | 動画像符号化装置 | |
JP2009021786A (ja) | 画像符号化装置及び画像符号化方法 | |
JP4118180B2 (ja) | 符号化復号化システム | |
JP2008072608A (ja) | 画像符号化装置及び画像符号化方法 | |
JP4574019B2 (ja) | 画像処理装置及び画像処理方法及びメモリ媒体、並びに画像符号化装置及び画像復号装置 | |
JP4478480B2 (ja) | 動画像符号化装置及びその方法 | |
JP2020108017A (ja) | 画像符号化装置及びその制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050519 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050531 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050629 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050725 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050913 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050930 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051025 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051107 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091125 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091125 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101125 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111125 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121125 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121125 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131125 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |