JP2003116053A

JP2003116053A - 特殊効果データ符号化方法及び特殊効果表示方法及び特殊効果データ編集方法

Info

Publication number: JP2003116053A
Application number: JP2001309385A
Authority: JP
Inventors: Yoshinori Suzuki; 芳典鈴木
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2001-10-05
Filing date: 2001-10-05
Publication date: 2003-04-18
Also published as: EP1301042A3; CN1413017A; KR20030029442A; EP1301042A2; US20030067560A1

Abstract

(57)【要約】【課題】特殊効果用のマスクデータのみをコード化す
る方法では、動きを伴う特殊効果手順をデータとしてラ
イブラリ化することができない。【解決手段】マスクパターンと動きパターンを表すデ
ータを符号化し、一本のデータに多重化することによ
り、画像の変形を伴う特殊効果パターンのライブラリ化
を行う。また、特殊効果を実現するための圧縮データを
配信することも可能となり、さらに、拡大の動きベクト
ルにより形状データを拡大させることで、特殊効果用マ
スクデータのデータ量を削減することが可能となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像処理に関
し、特に、特殊効果パターンの符号化ならびにシーン合
成処理に関するものである。

【０００２】

【従来の技術】従来、映像信号に特殊効果を施すことに
より、例えば映像と映像とのつながりを滑らかに切り替
えることが行われてきた。特殊効果には、ワイプ、ディ
ゾルブ、フェードイン・フェードアウト等が知られてい
る。

【０００３】特開平７−１４３３９９号公報には、特殊
効果処理装置上で特殊効果を行なう為のマスクデータを
コード化することにより、特殊効果の為のデータを軽減
する技術が開示されている。

【０００４】また、特開２０００−３４１５８４号公報
には、シーン切り替え時の効果をスクリプトとして記録
することにより、再生側で特殊効果を表示に反映させる
画像記録装置が開示されている。

【０００５】

【発明が解決しようとする課題】従来の特殊効果用のマ
スクデータのみをコード化する方法や、シーン記述デー
タ或いは再生画像レベルで画像変形をおこなう方法で
は、対象となるシーン記述データに、その都度、変形情
報を埋め込む必要が生じる。その為に、特殊効果パター
ンのライブラリ化は困難であるという問題があった。

【０００６】

【課題を解決するための手段】そこで本発明では、特殊
効果用のマスクパターンと任意の再生画像を変形するた
めの動きパターンを表すデータを符号化し、１本のデー
タに多重化することにより、画像の変形を伴う特殊効果
パターンのライブラリ化を可能とする。

【０００７】

【発明の実施の形態】まず、本発明にて扱う動きパター
ンについて説明する。特殊効果のうち、ディゾルブのよ
うに２個のシーンを徐々に入れ替える特殊効果では、２
個のシーン自体は変化しないため、マスクデータのみで
効果パターンを表現することが可能となる。そのため、
特殊効果パターンのライブラリ化もマスクパターンの符
号化のみで実現できる。しかしながら、スライドインの
ように入れ替えるシーン自体が動きを伴う効果や、マス
クパターン自体が動きを伴う効果をライブラリ化するた
めには、マスクパターンの他に、シーンの動きパターン
も同時に符号化する必要がある。この動きパターンは、
動きモデルの種類とその適用範囲で規定される。動きモ
デルの種類としては、例えば

【０００８】

【数１】に示す線形内・外挿（アフィン変換）モデルや、

【０００９】

【数２】に示す共１次内・外挿モデルが考えられる。上記２つの
式では、（ｕg（ｘ，ｙ），ｖg（ｘ，ｙ））が画像内の
画素（ｘ，ｙ）の動きベクトル、ａ0〜ａ5、ｂ0〜ｂ7が
動きパラメータを示している。一方、適用範囲として
は、画像全体を１つの動きパラメータにて変形させる方
法と、画像を幾つかの部分に分け、部分ごとに異なる動
きパラメータにて変形させる方法が考えられる。いずれ
の場合でも、数１や数２に示したような動きパラメータ
を、各適用範囲についてそれぞれ符号化することで、動
きパターンをライブラリ化することが可能となる。動き
パラメータの符号化方法としては、ａ0〜ａ5またはｂ0
〜ｂ7の値を直接符号化しても良いが、代わりにいくつ
かの代表点の動きベクトルを符号化する方法もある。い
ま、動きモデルを数１のアフィン変換、適用範囲を画像
全体とし、画像の左上端、右上端、左下端、右下端の画
素の座標がそれぞれ（０，０）、（ｒ，０）、（０，
ｓ）、（ｒ，ｓ）で表されると考える（ただし、ｒとｓ
は正の整数）。このとき、代表点（０，０）、（ｒ，
０）、（０，ｓ）の動きベクトルの水平・垂直成分をそ
れぞれ（ｕa，ｖa）、（ｕb，ｖb）、（ｕc，ｖc）とす
ると、数１は

【００１０】

【数３】と書き換えることができる。これは、ａ0〜ａ5を伝送す
る代わりにｕa、ｖa、ｕb、ｖb、ｕc、ｖcを伝送しても
同様の機能が実現できることを意味する。同様に、動き
モデルを数２の共一次変換、適用範囲を画像全体とする
と、４個の代表点（０，０）、（ｒ，０）、（０，
ｓ）、（ｒ，ｓ）の動きベクトルの水平・垂直成分（ｕ
a，ｖa）、（ｕb，ｖb）、（ｕc，ｖc）、（ｕd，ｖd）
を用いて数２は、

【００１１】

【数４】と書き換えることができる。これは、ｂ0〜ｂ7を伝送す
る代わりにｕa、ｖa、ｕb、ｖb、ｕc、ｖc、ｕd、ｖdを
伝送しても同様の機能が実現できることを意味する。な
お、ここでは、アフィン変換と共一次変換を例に説明し
たが、本発明にて適用される変換モデルはこの２モデル
に限定されない。例えば、グローバル動き補償を扱うMP
EG-4にて扱われている平行移動、等方変換、アフィン変
換、透視変換に基づく動きモデル等も使用できる。これ
らの動きモデルでも、動きパラメータを動きベクトルに
て表現することが可能である。ここで、画像変形の例と
して、アフィン変換モデルにより、図２の元画像３０２
を特殊効果画像３０１に変形するための手順を示す。符
号化側では、まず、元画像３０２と特殊効果画像３０１
の間で動きパラメータを推定する。次に、この動きパラ
メータに基づいて、特殊効果画像３０１の左上端、右上
端、左下端に位置する代表点３０５、３０６、３０７に
おける動きベクトルを求める。これらの動きベクトル
は、特殊効果画像３０１の左上端、右上端、左下端に位
置する代表点が元画像上でどの位置に相当するかを示し
ている。この例では、３０３が動き補償画像、３０８、
３０９、３１０が動き補償後の代表点となる。そして、
動きベクトルあるいは動きパラメータを符号化する。一
方、復号側では、まず、動きパラメータを復号する。こ
の際、受信データが動きベクトルであった場合には、数
３や数４に示すような関係を用いて動きパラメータを算
出する。そして、算出した動きパラメータを用いて、元
画像上の各画素の動きベクトル３１１，３１２，３１３
を求め、特殊効果画像を合成する。算出された各画素の
動きベクトルが実数値を示す場合には、例えば、隣接サ
ンプル値による線形内挿処理等を用いて、特殊画像上の
画素値を決定する。この際、実数のベクトル値を各縦横
成分について、1/2画素精度、1/4画素精度等に量子化す
るアルゴリズムを規定しておけば、符号化側と復号側で
同じ値が算出できる。なお、ここで示した例は、一般的
な画像における動きパラメータの算出方法を示したもの
である。特殊効果の場合には、効果の種類によって動き
パラメータが一意に決まっており、符号化されデータベ
ース化されている(新規の特殊効果パターンを作成する
場合も、一度だけパラメータ推定を行い、データベース
化すればよい)。従って、一般的に符号化時の動きパラ
メータの推定は必要とされない。また、この図２は適用
範囲が画像全体の場合の例であるが、適用範囲が幾つか
の部分に分割される場合においても、画像全体に適用す
る場合と同様の方法が利用できる。例えば、図８に示す
ような四角パッチを張ったフレーム６０１（透視変換モ
デル）や図９に示すような三角パッチを張ったフレーム
６０２（アフィン変換モデル）を構成することにより、
パッチ単位での動きベクトルあるいは動きパターンの符
号化ならびに画像の変形処理が可能となる。この方法で
あれば、局所的に変化する動きパターンにも対応でき
る。また、さらに、ここで示した例では、変形前と変形
後の画像サイズが同じであるが、画像サイズが変化する
場合でも、２画像の空間的な位置さえ規定しておけば、
そのまま適用できる。

【００１２】ここでさらに、MPEG-4ビデオ符号化方式の
機能である形状符号化とグローバル動きベクトルの符号
化を利用して、マスクパターンと動きパターンの符号化
による特殊効果データを生成する方法と、特殊効果処理
方法について説明する。なお、MPEG-4ビデオ符号化機能
ならびにデータフォーマットの詳細については、ISO/IE
C JTC1/SC29 14496-2:2001(E)に規定されている。本実
施例では、形状符号化・復号化とグローバル動きベクト
ルの符号化・復号化の機能を利用する仕組みについて説
明する。

【００１３】図１に、特殊効果データ生成処理の構成例
を示す。マスクパターンメモリ２０２と動きパターンメ
モリ２０３には、各特殊効果を実現するためのマスクデ
ータならびに動きパラメータが格納されている。編集情
報解析部２０１は、特殊効果の種類、特殊効果を発生す
る期間、フレームレート、ビットレート、画像サイズ等
の編集情報を解析し、特殊効果データの各フレームを構
成するために必要となる情報をマスクパターンメモリ２
０２と動きパターンメモリ２０３に通知する。解析によ
り必要と判断されたマスクデータならびに動きパラメー
タは、それぞれ形状エンコーダ２０４ならびに特殊効果
動きベクトルエンコーダ２０５にて符号化され、多重化
部２０６にて１本の特殊効果データとして多重化され
る。この特殊効果動きベクトルエンコーダ２０５と形状
エンコーダ２０４の各機能は一般のビデオエンコーダに
も含まれているため、MPEG-4ビデオエンコーダでも代用
可能である。なお、MPEG-4で扱う形状データは、第１シ
ーンの映像に対して、第２シーンの映像をどのような比
率で重ね合わせるかを示すものである。そのため、フェ
ードアウト、フェードインのようにシーンチェンジ時に
２個のデータが重ならない場合には、重ねる対象が必要
となる。このようなケースでは、編集情報解析部２０１
の命令により背景データエンコーダ２０７が起動され、
重ねる対象となる背景データの色パターン（背景データ
レベル）が同時に符号化される。この背景データレベル
も多重化部２０６に渡され特殊効果データに多重化され
る。

【００１４】特殊効果データを生成する別の形態とし
て、各特殊効果用の特殊効果データを予め用意してお
き、編集情報に従って編集する方法がある。具体的な編
集方法は、例えば、フレームレートに応じた時刻情報の
修正、フレームデータの削除や、画像サイズ（具体的な
方法は図１４にて説明）の修正等がある。この際、デー
タ量の変更に伴うバイトアライン処理等も必要となる。

【００１５】図３に、システムデータ生成処理の構成例
を示す。システムデータとは、図１の特殊効果データ生
成処理にて生成された特殊効果データ、特殊効果が適用
される被編集データ、オーディオデータなどを多重化し
たデータを意味する。ここでは、各種メディアデータを
統合したファイルフォーマットや通信用パケットデータ
等の統合データの総称と考える。このシステムデータを
受信した端末では、システムデコーダと統合された各種
データを復元するデコーダを用いて、特殊効果データが
解読され、特殊効果を含むシーンが再現される。２１１
の特殊効果データ作成部は、図１のマスクパターンメモ
リ２０２、動きパターンメモリ２０３、形状エンコーダ
２０４、特殊効果動きベクトルエンコーダ２０５、多重
化部２０６、背景データエンコーダ２０７にて構成され
ているものとする。メモリ２１０には被編集データが蓄
積されている。編集情報に従い、編集情報解析部２０１
は、メモリ２１０に、必要とされる被編集データを指示
する。また、編集情報解析部２０１は、特殊効果データ
作成部２１１に、特殊効果データの生成に必要となる情
報を通知する。システムエンコーダ２１２では、編集情
報に従い、被編集データ（オーディオデータも含む）と
特殊効果データを合成してシステムデータを作成する。

【００１６】次に、図１の特殊効果動きベクトルエンコ
ーダ、形状エンコーダならびに合成部にて生成される特
殊効果データの構造例について述べる。図４に、特殊効
果データの構造例を示す。シーケンスヘッダ４１０に
は、入力データの形状タイプなど、シーン全体に関わる
パラメータが含まれる。MPEG-4ビデオ符号化では、形状
タイプとして「矩形画像(rectangular)」、「バイナリ
任意形状付き画像(binary)」、「グレイスケール任意形
状付き画像(grayscale)」、「任意形状のみ（形状デー
タはバイナリ表現, binary only）」の４種類を扱って
いる。ここでは、輝度信号や色差信号の符号化を伴わな
い「任意形状のみ」のモードの機能を用いてマスクパタ
ーンを形状符号化するものとするが、特殊効果用の形状
タイプを別途設けても良い。また、本発明では、マスク
パターンのほかに動きパターンを符号化する必要があ
る。そこで、次に、この動きパターンに関連したシーケ
ンスヘッダのデータを考える。まず、本発明の場合、動
きパターンは必ずしもマスクデータとは限らず、いくつ
かのケースが考えられる。いま、現在のシーンをシーン
A、特殊効果により現れるシーンをシーンBと仮定した場
合、つまり、マスクデータに従って、シーンBをシーンA
に重ねる場合を考える。このとき、変形処理を行う対象
として以下の場合が想定できる。 1) マスクデータ、 2) シーンB、 3) シーンBとマスクデータ、 4) シーンAとシーンBをマスクした後の画像、 5) シーンA。従って、本発明では、動きパラメータを適用する画像を
指定する情報(変形画像情報)を符号化側と復号側で情報
を共有していない場合には、これを用意する必要があ
る。また、動きパラメータの性質を決める適用範囲（範
囲画像全体の変形または局所的な変形、あるいはその両
方を適用）を示す変形選択情報（両方の変形を適用する
場合には、その順序も含む）と、使用する動きモデルの
種類（適用範囲が画面全体の場合）やパッチの大きさや
数に関する情報(適用範囲が局所的な場合、例えば、パ
ッチ形状、縦横の格子点数)についても、符号化側と復
号側で情報を共有していない場合には、シーケンスヘッ
ダ内に含める必要がある。フレームヘッダ４２０には各
フレームの符号化に関わるパラメータが、形状データ４
３０にはマスク画像の実際の符号化データが、そして動
きパターンデータ４４０には動きパラメータの符号化デ
ータが含まれる。図５に、フレームヘッダ４２０に含ま
れるパラメータの一部を示す。フレームタイプ４２１
は、フレーム内符号化、予測符号化などそのフレームの
符号化タイプを示すパラメータである。時刻情報４２２
は、そのフレームを再生すべき時刻を示すパラメータで
ある。サイズ位置情報４２３は、再生オブジェクトの位
置とサイズを示すパラメータであり、形状タイプが「形
状」を含む場合のみに発生する。このパラメータによ
り、ビデオオブジェクトの配置が指定できる。特殊効果
を目的とするマスクデータでは、基本的に、表示位置は
画面の左端(0, 0)、サイズは画面と同サイズとすればよ
いが、動きパターンとの組み合わせによっては、このパ
ラメータを有効利用することでデータサイズの削減等が
図れる可能性がある。形状データレベル４２４も、形状
タイプが「形状」を含む場合のみに発生するパラメータ
であり、画像全体の形状信号の透明度レベルを、同じ割
合で変更する役割を果たす。例えば、マスクデータがバ
イナリであっても、このパラメータを利用することで、
マスクデータ全体の透明度を変更することが可能とな
る。従って、この形状タイプ情報のみ（形状データの符
号化をせずに）でディゾルブ（２つのシーンを徐々に入
れ替える）を表現することも可能である。背景データレ
ベル４２４２は、フェードアウト・フェードインのよう
に２つのシーンが重ならない特殊効果の場合について、
重ねる対象となる背景データの色パターン（背景データ
レベル）を編集データに加える役割を果たす。

【００１７】図６に、動きパターンデータ４４０のデー
タフォーマットを示す。シーケンスヘッダの変形画像情
報、変形選択情報、動きモデルならびにパッチ情報を用
いる場合、つまり、全ての特殊効果フレームに対して、
同じ条件で画像の変形を行う場合には、サイズ位置情報
４２３２と、グローバル動きベクトル４２５またはパッ
チ動きベクトル４２６のいずれか、あるいは、グローバ
ル動きベクトル４２５とパッチ動きベクトル４２６の両
方のデータが動きパターンデータ４４０に含まれる。ど
のデータが含まれるかは変形選択情報あるいは予め定め
られた規則（変形選択情報を使用しない場合）によって
決まる。サイズ位置情報４２３２は、変形処理後の画像
サイズと画面上でのその表示位置を示す。この情報は、
変形処理が画像サイズを変更しない場合や、変形処理後
の画像サイズが予め定められている場合には必要ない。
グローバル動きベクトル４２５は、画像全体に対する動
きパラメータを生成するためのパラメータである。MPEG
-4ビデオ符号化では、数３、数４に示したように、画像
の端の動きベクトルにて動きパラメータを生成する。そ
こで、本実施例でも、動きパラメータを符号化する替わ
りに、動きベクトルを符号化する仕組みを適用するが、
動きパラメータをそのまま符号化する方法も、当然、本
発明に含まれる。パッチ動きベクトル４２７は、図８、
９のようにフレームにパッチを張り、局所的に動きパラ
メータを生成するためのパラメータである。ここでは、
フレームヘッダにてフレーム内の全格子点の動きベクト
ルを符号化することを想定している。一方、シーケンス
ヘッダ内の変形画像情報、変形選択情報、動きモデルな
らびにパッチ情報をこの動きパラメータデータに移動し
た場合、フレーム単位で、動きパターンの種別を変更す
ることが可能となり、さらに細かい動きに対応できるよ
うになる。なお、シーンA、シーンB、マスクデータ用に
異なる動きパラメータを適用する場合には、この動きパ
ターンデータ４４０を繰り返し発生させればよい。

【００１８】次に、図４の形状データ４３０のデータフ
ォーマットについて示す。MPEG-4ビデオ規格では、動画
像の各フレームを図１０に示すような小ブロック５０
１、５０２，５０３に分割し、マクロブロックと呼ばれ
るブロック単位で再生処理を行う。図１１にマクロブロ
ックの構造を示す。マクロブロックは１６×１６画素の
１個のY信号ブロック５１１と、それと空間的に一致す
る８×８画素のCr信号ブロック５１２ならびにCb信号ブ
ロック５１３にて構成されている。なお、Y信号ブロッ
クは、マクロブロックの復元過程では更に４個の８×８
画素ブロック（５１４、５１５、５１６、５１７）に分
割して処理されることがある。従って、バイナリ表現の
マスクデータでは、図１２のバイナリMBデータ４３１
が、画像の左上端のMBから右下端のMBに向かって順に符
号化され、形状データ４３０に配置される。一方、グレ
イスケール表現のマスクデータについては、図１２のMB
のデータフォーマットは、バイナリMBデータの後にグレ
イスケールMBデータ４３３が続く構成となる。但し、MP
EG-4では、グレイスケールデータのみを扱う形状タイプ
を扱っていないため、別途「グレイスケール任意形状の
み」というモードを設ける必要がある。グレイスケール
データの符号化方法については、MPEG-4の「グレイスケ
ール形状つき画像」形状タイプのように、グレイスケー
ルデータを輝度信号の符号化と類似の方法で扱えばよ
い。なお、MBデータフォーマットの拡張として、マクロ
ブロックのサイズと図８、９のパッチのサイズを一致さ
せることにより、格子点のパッチ動きベクトル４３２を
MBデータ内に配置する方法が考えられる。この場合に
は、フレームヘッダにてパッチの数に関する情報をすべ
て符号化する必要はない。但し、符号化ブロック数と格
子点数は一致しないため、例えば、フレームの上端と左
端に位置する格子点の動きベクトルをフレームヘッダ内
で符号化し、各MBデータにて、パッチ右下格子点の動き
ベクトルを符号化するような構成をとる必要がある。な
お、このフォーマットにおいても、MBデータ内でこのパ
ッチ動きベクトルを繰り返すことによりシーンA、シー
ンB、マスクデータ用に個々に動きパラメータを持つ方
法が適用できるようになる。

【００１９】図４の例では、マスクデータ以外の特殊効
果対象画像に対する変形を特殊効果データ内で扱ってい
る。これに対して図７のように、特殊効果対象画像に対
する動きパターンを、そのビデオデータ４５０内にて扱
うことも可能である。この場合には、特殊効果データ内
では、マスクデータへの動きパターンのみを扱い、元の
ビデオデータ４５０に対して、それぞれ、動きパターン
に関連する情報を追加することになる。この場合には、
変形画像の対象は一意に決まるため、基本的には、変形
画像情報は必要ない。但し、ビデオデータのアルゴリズ
ムにて、動き補償の際に動きパラメータを用いる場合に
は、動きパターンによる変形を施す画像が表示前の再生
画像であるか動き予測に用いる前フレームであるかの識
別情報を変形画像情報として付け加える必要がある。

【００２０】次に、生成した特殊効果データから特殊効
果シーンを合成する方法について述べる。簡単のため、
シーン合成に用いる特殊効果が１種類である場合を例に
説明する。変形処理を伴わない特殊効果では、特殊効果
発生前から再生されている第１シーン、特殊効果後に現
れる第２シーンならびに特殊効果データをフレームごと
に復号した後、第２シーンの各フレームを、対応するマ
スクデータのマスク処理によって、第１シーンの対応フ
レームと合成することになる。一方、変形処理を伴う特
殊効果では、データ復号後の特殊効果シーン合成方法
は、変形処理を施す対象の種類によって異なる。シーケ
ンスヘッダの説明のところで述べたように、シーン合成
に用いる特殊効果が１種類である場合については、以下
の５種類が考えられる。 1) マスクデータ、 2) シーンB、 3) シーンBとマスクデータ、 4) シーンAとシーンBをマスクした後の画像、 5) シーンA。次に、各ケースについて、ある１フレームの合成方法を
示す。上記1)のケースでは、まず、動きパラメータに応
じてマスクデータを変形する。そして、第２シーンのフ
レームを、変形したマスクデータのマスク処理によっ
て、第１シーンのフレームと合成する。2)のケースで
は、まず、動きパラメータに応じて第２シーンのフレー
ムを変形する。そして、変形した第２シーンのフレーム
を、マスクデータのマスク処理によって、第１シーンの
フレームと合成する。3)のケースでは、まず、動きパラ
メータに応じて第２シーンのフレームとマスクデータを
それぞれ変形する。変形した第２シーンのフレーム
を、変形したマスクデータのマスク処理によって、第１
シーンのフレームと合成する。4)のケースでは、まず、
第２シーンのフレームを、マスクデータのマスク処理に
よって、第１シーンのフレームと合成する。そして、合
成されたデータを動きパラメータに応じて変形する。5)
のケースでは、まず、動きパラメータに応じて第１シー
ンのフレームを変形する。そして、第２シーンのフレ
ームを、マスクデータのマスク処理によって、変形した
第１シーンのフレームと合成する。なお、ここで言う動
きパラメータの意味は、グローバル動きベクトルとパッ
チ動きベクトルのいずれか一方、あるいは、その組み合
わせを含むものとする。１枚のフレームを２種類以上の
動きパラメータを用いて合成する場合でも、基本的な方
法は同じである。つまり、第１シーンのフレームと第２
シーンのフレームをマスクデータにて合成する過程で、
変形処理を施す対象に対して、それぞれ変形処理を施せ
ばよい。

【００２１】ここで、上記のケース1)とケース2)の画像
変形処理について、動きパラメータの適用範囲が画像全
体である場合の例に説明する。図１３は、ケース2)に関
して、スライドインを想定した特殊効果動きベクトルな
らびに動き補償の例を示した図である。図１３の構成
は、図３と同じである。但し、図１３では、特殊効果画
像３０１の代表点３０５、３０６、３０７を与えた図を
省略している。また、動きモデルを平行移動とし、画面
の左上端のみに代表点を設けている。このケースでは、
第２シーンが画面の右端からスラインドインすること
で、第１シーンと入れ替わる効果を想定している。従っ
て、変形前の元画像３０２が、常に画面全体に表示され
る画像、特殊効果画像３０１が、元画像３０２を平行移
動させた画像となる。そして、この平行移動の大きさを
徐々に減らすことにより、スライドインの特殊効果が実
現できる。この際、マスクデータは、表示位置を画面の
左端（０，０）、サイズを画面と同サイズとし、第１シ
ーンのフレームが表示される部分の画素値を“０”(第
１シーンを表示)、第２シーンのフレームが表示される
部分の画素値を“１”(第２シーンを表示)とする。図３
と同様に３０３が特殊効果画像３０１の左上端に位置す
る代表点が、元画像上でどの位置に相当するかを補償し
た動き補償画像を示しており、３０８が動き補償後の代
表点、３１１がグローバル動きベクトルを示している。
このグローバル動きベクトル３１１に従い、特殊効果後
のフレーム内の画素値を算出する。しかしながら、この
例では、動きベクトルが元画像の外を指す画素が存在す
る。このような場合、一般的には、各画素に対する動き
ベクトルを縦、横成分ごとに、画面サイズ内にクリッピ
ングし、画像サイズ画像端のデータを補償画素として代
用するという方法を適用する。但し、このケース2)で
は、元画像の外を指している画素は、マスクデータの
“０”値にあたるため、実際には補償しなくても差し支
えない。なお、このスライドイン効果は、複雑な変形を
伴わない単純な平行移動であるため、動きパラメータを
使わずに、画像サイズと表示位置のみを指定する方法で
も対応可能である。

【００２２】図１８に、スライドインを想定した特殊効
果処理の例を示す。７１０が特殊効果発生前から再生さ
れている第１シーンのフレーム、７２０が特殊効果後に
現れる第２シーンのフレーム、７３０がマスクデータを
示している。第２シーンのフレーム７２０は平行移動の
動きパラメータにより、７２１のように変形される。こ
の変形された第２シーンのフレーム７２１と第１シーン
のフレームをマスクデータにて合成することにより、特
殊効果処理を施した合成フレーム７４０が生成される。
図１４は、ケース1)に関して、マスクデータのサイズ拡
大を想定した特殊効果動きベクトルならびに動き補償の
例を示した図である。図１４の構成は、図３と同じであ
る。但し、図１４では、特殊効果画像３０１の代表点３
０５、３０６、３０７を与えた図を省略している。ま
た、動きモデルを透視変換とし、画面の右下端にも代表
点を設けている。このケースでは、画面サイズのマスク
データを符号化する替わりに、小さいサイズのマスクデ
ータとそのサイズを拡大するための動きパラメータを符
号化することで、符号量を削減することを想定してい
る。従って、変形前の元画像３０２が、画面サイズに対
して縮小した画像、特殊効果画像３０１が、画面サイズ
までズームアップした画像となっている。図３と同様に
３０３が特殊効果画像３０１の左上端、右上端、左下
端、右下端に位置する代表点が、元画像上でどの位置に
相当するかを補償した動き補償画像を示しており、３０
８、３０９、３１０、３１４が動き補償後の代表点、３
１２、３１３、３１５がグローバル動きベクトルを示し
ている。このグローバル動きベクトルから算出される透
視変換モデルの動きパラメータを用いて各画素の動きベ
クトルを算出し、特殊効果後のマスクデータ内の画素値
を導出する。図１９は、形状データのサイズ拡大を想定
した特殊効果処理の例を示している。図１８と同様に、
７１０が特殊効果発生前から再生されている第１シーン
のフレーム、７２０が特殊効果後に現れる第２シーンの
フレーム、７３０がマスクデータを示している。マスク
データ７３０が拡大の動きパラメータにより、７３１の
ように変形される。この変形されたマスクデータ７３１
に基づいて第２シーンのフレームと第１シーンのフレー
ムを合成することにより、特殊効果処理を施した合成フ
レーム７４０が生成される。

【００２３】次に、図３のシステムデータ生成処理にて
作成したデータから特殊効果を含んだ映像を合成する方
法について、図１５を例に説明する。まず、入力された
システムデータは、システムデコーダ１０１にて、オー
ディオデータ、ビデオデータ（特殊効果発生前から再生
されている第１シーンと特殊効果後に現れる第２シー
ン）、特殊効果データに分離される。分離されたオーデ
ィオデータは、それぞれオーディオデコーダ１０２にて
復号処理され、システムデータあるいはオーディオデー
タに含まれている時刻情報に従って、スピーカから再生
される。分離された特殊効果データは、ビデオデコーダ
１０５に入力される。特殊効果ビデオデコーダ１０５で
は、第１に、図５、図６、図７に示した動きタイプ情報
（パッチ情報、動きモデル情報）や変形タイプ情報（変
形選択情報、変形画像情報）が復元される。第２に、特
殊効果データから切り出されたグローバル動きベクトル
あるいはパッチ動きベクトルが、動きタイプ情報に基づ
いてパラメータデコーダ１５２にて復元され、動きパラ
メータが算出される。第３に、形状データが特殊効果デ
ータから切り出され形状デコーダ１５１にて復元され、
マスクデータが得られる。分離されたビデオデータは、
動き・模様デコーダ１０３（ビデオデータが形状信号を
持つ場合には形状デコーダ、ビデオデータがグローバル
な動きベクトル補償を伴う場合には、パラメータデコー
ダと画像変形部も利用）にて、第１シーンならびに第２
シーンの各フレームに復号される。これらのビデオデコ
ーダにて復元されたマスクデータ、第１シーンならびに
第２シーンのフレーム画像のうち、変形選択情報にて指
定された画像、あるいはアルゴリズム上予め規定されて
いる画像は、画像変形部１５３に入力され、復号された
動きパラメータに従って変形処理される。その後、マス
クデータ、第１シーンならびに第２シーンのフレーム画
像は、合成部１０６に入力され、特殊効果画像として合
成される。なお、図１５では、説明上、パラメータデコ
ーダと画像変形部を動き・模様デコーダとは別の処理ユ
ニットとして記載しているが、一般的は、パラメータデ
コーダと画像変形部は動き・模様デコーダの機能として
扱われる。

【００２４】図１５では、受信したシステムデータか
ら、特殊効果シーンを再現する方法について示した。し
かしながら、特殊効果画像の合成作業としては、単純
に、蓄積されているデータから、特殊効果データと被編
集用のビデオデータを選択し、特殊効果データの修正等
を行いながら、シーンを合成する方法なども考えられ
る。

【００２５】上記の特殊効果処理の説明では、特殊効果
データとビデオデータを別のビットストリームで扱うこ
とを考えてきた。しかしながら、特殊効果データと特殊
効果後に現れる第２シーンのビデオデータを統合して扱
うことも可能である。具体的には、統合データ用の形状
タイプを、別途用意し、２種類のデータを統合して扱う
ためのシーケンスヘッダ、フレームヘッダのフォーマッ
トを規定する。そして、さらに、２データの統合ＭＢデ
ータフォーマットを図１６に示すように規定する。統合
ＭＢデータは、マスクＭＢデータ４３４とビデオＭＢデ
ータ４３５にて構成されており、お互いに依存関係は持
たない。図１７は、それぞれ、図３のシステムデータ生
成処理を統合データ用に拡張した図である。図１７が図
３と異なる点は、データ合成部２１３が追加されている
点である。このデータ合成部２１３は、特殊効果データ
作成２１１にて生成される特殊効果データと、メモリ２
１０から出力される被編集ビデオデータを統合する役割
を持つ。なお、データ合成部２１３は、合成の対象とな
る特殊効果データがない場合（第１ビデオシーンのデー
タ、オーディオデータなど）には、入力データをそのま
ま出力する。なお、この統合データは、図１５に示した
要素要素にて再生処理することが可能である。

【００２６】本発明には以下の変形も含まれる。本実施
例では、MPEG-4の機能を使用した例にて本発明を説明し
たが、本発明の適用範囲はMPEG-4には限定されない。マ
スクデータと動きベクトル（動きパラメータ）を扱う機
能をもつ装置ならびに処理方法であれば、適応可能であ
る。また、マスクパターンと動きパターンの符号化方法
もMPEG-4のアルゴリズムには限定されない。また、本実
施例では、特殊効果データのフォーマットを図５〜図
７、図１２、図１６のように示したが、フォーマット内
での各要素の配置は、これに限定されない。形状デー
タ、動きベクトル等、図に記載されている要素が含まれ
ているデータを扱うデータならびにデータ生成処理方法
はすべて含まれる。さらに、本発明では、特殊効果を施
す対象となるビデオデータの形状タイプは限定されな
い。任意オブジェクトにも適用できる。例えば、シーン
に登場するオブジェクトに対して、特殊効果を施す際に
も使用できる。その場合には、オブジェクトが持つ形状
データごと特殊効果を適用すればよい。また、本実施例
では、特殊効果の対象となるシーンを単一オブジェクト
に限定して説明してきたが、複数のオブジェクトにて構
成されるシーンにも適用できる。この場合には、オブジ
ェクトシーンの合成を行い、合成画像に対して特殊効果
処理を施せばよい。

【００２７】

【発明の効果】本発明により、画像の変形を伴う特殊効
果パターンのライブラリ化が可能となる。また、特殊効
果を実現するための圧縮データを配信することも可能と
なる。さらに、拡大の動きベクトルにより形状データを
拡大させることで、特殊効果用マスクデータのデータ量
を削減することが可能となる。

【図面の簡単な説明】

【図１】特殊効果データ生成処理の構成例。

【図２】グローバル動き補償処理の例。

【図３】システムデータ生成処理の構成例。

【図４】特殊効果データの構造例。

【図５】特殊効果データにおけるフレームヘッダの構造
の例。

【図６】特殊効果データにおける動きパターンデータの
構造の例。

【図７】動きパターンデータを含むビデオデータの構造
の例。

【図８】四角パッチを張ったフレーム画像の例。

【図９】三角パッチを張ったフレーム画像の例。

【図１０】マクロブロック分割の例。

【図１１】マクロブロックの構造図。

【図１２】特殊効果データにおけるMBデータの構造の
例。

【図１３】スライドインを想定した特殊効果動きベクト
ルならびに動き補償の例。

【図１４】形状データのサイズ拡大を想定した特殊効果
動きベクトルならびに動き補償の例。

【図１５】システムデータ復号ならびに特殊効果を含む
シーンの合成処理構成の例。

【図１６】特殊効果データとビデオデータを統合したデ
ータにおけるMBデータの構造例。

【図１７】特殊効果データとビデオデータを統合したシ
ステムデータ生成処理の構成例。

【図１８】スライドインを想定した特殊効果処理の例。

【図１９】形状データのサイズ拡大を想定した特殊効果
処理の例。

【符号の説明】

１０１…システムデコーダ、１０２…オーディオデコー
ダ、１０３…動き・模様デコーダ、１０５…ビデオデコ
ーダ、１５１…形状デコーダ、１５２…パラメータデコ
ーダ、１５３…画像変形部、１０６…合成部、２０１…
編集情報解析部、２０２…マスクパターンメモリ、２０
３…動きパターンメモリ、２０４…形状エンコーダ、２
０５…特殊効果動きベクトルエンコーダ、２０６…多重
化部、２０７…背景データエンコーダ、２１０…メモ
リ、２１１…特殊効果データ作成部、２１２…システム
エンコーダ、２１３…データ合成部、３０１…特殊効果
画像、３０２…元画像、３０３…動き補償画像、３０
５、３０６、３０７…動き補償後の代表点、３０８、３
０９、３１０、３１４…動き補償前の代表点、３１１、
３１２、３１３、３１５…グローバル動きベクトル、４
１０…シーケンスヘッダ、４２０…フレームヘッダ、４
２１…フレームタイプ、４２２…時刻情報、４２３、４
２３２…サイズ位置情報、４２４…形状データレベル、
４２４２…背景データレベル、４２５…グローバル動き
ベクトル、４２６…パッチ動きベクトル、４２７…パッ
チ情報、４２８…変形選択情報、４２９…変形画像情
報、４２５２…動きモデル情報、４３０…形状データ、
４３１…バイナリMBデータ、４３２…パッチ動きベクト
ル、４３３…グレイスケールMBデータ、４３４…マスク
MBデータ、４３５…ビデオMBデータ、６０１…四角パッ
チを張ったフレーム、６０２…三角パッチを張ったフレ
ーム、７１０…第１シーンのフレーム、７２０…第２シ
ーンのフレーム、７２１…変形した第２シーンのフレー
ム、７３０…マスクデータ、７３１…変形したマスクデ
ータ、７４０…合成フレーム。

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5C023 AA01 AA02 AA03 AA04 AA11 BA11 CA01 5C059 KK37 MB04 MB16 MB23 MB24 MB26 NN01 RB02 RB09 RC16 RC34 UA02 UA05 UA38 5J064 AA02 BA09 BA16 BC01 BC16

Claims

【特許請求の範囲】

【請求項１】特殊効果用のマスクパターンと、任意の再
生画像を変形するための動きパターンとを符号化し、１
本のデータに多重化することを特徴とする特殊効果デー
タ符号化方法。
【請求項２】前記多重化された１本のデータには、動き
パターンに基づいて変形させる画像の種類を示す情報
（変形画像情報）がさらに符号化され含まれることを特
徴とする請求項１記載の特殊効果データ符号化方法。
【請求項３】前記動きパターンの適用範囲は画面全体で
あることを特徴とする請求項１または２に記載の特殊効
果データ符号化方法。
【請求項４】前記動きパターンの適用範囲は局所画面で
あり、複数の動きパラメータ群にて構成されていること
を特徴とする請求項１または２に記載の特殊効果データ
符号化方法。
【請求項５】前記動きパターンが、変形後の画像サイズ
ならびに表示位置を示す情報を含むことを特徴とする請
求項１または２に記載の特殊効果データ符号化方法。
【請求項６】前記動きパターンが１フレームデータに対
して複数個含まれることを特徴とする請求項１乃至５に
記載の特殊効果データ符号化方法。
【請求項７】前記マスクパターンがバイナリデータと透
明度のレベルにて構成されていることを特徴とする請求
項１乃至６に記載の特殊効果データ符号化方法。
【請求項８】前記マスクパターンがグレイスケールデー
タであることを特徴とする請求項１乃至６に記載の特殊
効果データ符号化方法。
【請求項９】マスクパターンと動きパターンを含む符号
化データを復号する復号処理と、復号したマスクデータ
と動きパラメータに基づいて、特殊効果処理対象の入力
画像または復号画像に対し演算を行う演算処理を有する
ことを特徴とする特殊効果表示方法。
【請求項１０】前記符号化データはさらに変形する画像
の種類を示す変形画像情報を含み、前記演算処理はさら
に変形画像情報に基づいて演算を行うことを特徴とする
請求項９記載の特殊効果表示方法。
【請求項１１】前記特殊効果処理対象の入力画像または
復号画像に対し演算を行う演算処理に、マスクデータを
動きパラメータに基づいて変形する処理を含むことを特
徴とする請求項９または１０に記載の特殊効果処理方
法。
【請求項１２】前記特殊効果処理対象の入力画像または
復号画像に対し演算を行う演算処理に、１つの入力画像
または復号画像を動きパラメータに基づいて変形する処
理を含むことを特徴とする請求項９または１０に記載の
特殊効果処理方法。
【請求項１３】特殊効果処理対象の入力画像または復号
画像に対し演算を行う演算処理に、特殊効果処理対象と
なる２つの入力画像または復号画像を合成した画像を動
きパラメータに基づいて変形する処理を含むことを特徴
とする請求項９または１０に記載の特殊効果処理方法。
【請求項１４】格納された符号化ビデオデータに対し、
画像を変形するための動きパターンの符号化データを前
記格納されたビデオデータに追加することを特徴とする
特殊効果データ編集方法。
【請求項１５】前記特殊効果データ編集方法はさらに、
動きパターンに基づいて変形させる画像が表示前の再生
画像であるか動き補償用の参照画像であるかを示す情報
を符号化したデータを多重化することを特徴とする請求
項１４記載の特殊効果データ編集方法。