JPH11243542A - マルチメディア情報編集装置 - Google Patents

Abstract

(57)【要約】 【課題】 符号化された縮小画像をマルチ画面上の任意
の位置に表示し得るマルチメディア情報編集装置を提供
する。 【解決手段】 取り込まれた動画像を縮小する動画像縮
小手段１０２と、縮小動画を符号化し符号化動画を生成
する動画像符号化手段１０３と、符号化動画を蓄積格納
する蓄積手段１０５と、その蓄積した１つ以上の符号化
動画を編集しマルチ画面動画像を生成する動画像合成手
段１０６とを備え、動画像符号化手段１０３が、縮小画
像が有する位置情報から、編集の際にその縮小画像の配
置によって前記位置情報に変更が生じた場合を考慮し
て、その位置情報の変更を容易にする符号化を行い、動
画像合成手段１０６が、その編集処理によって、縮小画
像が有する位置情報の変更を要する場合、前記位置情報
をその編集処理に必要な位置情報へ変更するようにす
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数動画像データ
を１つの映像としてマルチ画面同時再生する場合に、各
動画像データを符号化する方式、及び、動画像データの
任意組み合わせに対するマルチ画面合成動画を生成する
編集方式、を用いたマルチメディア情報編集装置に関す
る。

【０００２】

【従来の技術】従来、動画像の画面を複数領域に分割
し、領域毎に符号化した符号列をそれぞれ連結して得ら
れる合成符号列が、画面を領域分割せずに符号化を行な
って生成した符号列と同じシンタックスになるような方
法としては、特開平７−２９８２６３号に開示されてい
るものがある。

【０００３】図５１は、このブロック構成図であり、以
下その動作概要を示す。まず、入力動画像が画面分割器
によってフレーム単位で複数領域に分割される。このと
き画面分割器は、分割制御器からの画面分割制御信号に
より分割方法を決定する。ここでは、フレームを縦に３
分割しており、分割画像信号は元の映像の左の領域から
順に分割画像信号７７，７８，７９となり、それぞれが
符号化器６２，６３，６４へと入力される。各符号化器
では、分割制御器から分割フレームの大きさや符号化条
件を受け取り、入力となった分割画像信号を符号化し、
それぞれ符号列８０，８１，８２として符号列合成器へ
出力する。こののち、分割制御器は、画面分割器に指示
したフレーム分割方法を符号列合成器に伝えるための符
号列合成信号を出力し、符号列合成器は符号列合成信号
により、各符号化器からの符号列をフレーム分割しない
場合と同じシンタックスになるような符号列順に連結
し、最終的に合成符号列を出力する。

【０００４】

【発明が解決しようとする課題】特開平７−２９８２６
３号では、元来１つの映像画面であった画像信号を、分
割制御器の指示により複数領域の画像信号に分割したの
ち、各画像信号を別々の符号化器でＭＰＥＧ符号化処理
を施し、最終的に複数符号化器の出力符号列を本来のシ
ンタックスになるように並べるものである。

【０００５】このとき、それぞれの符号化器は、分割制
御器から分割フレームの大きさや符号化条件を受け取る
ことで、各符号化器自身が符号化している画像信号が元
の映像画面のどの領域を符号化しているのか、言い換え
ると、符号化器自身が出力した符号列が最終的に画面の
どの領域に表示されるのか、を知った上でＭＰＥＧ符号
化処理を施している。

【０００６】しかし、縮小動画（以下、サムネール動
画）をマルチ画面の任意の画像領域に表示することを考
えた場合、各サムネール動画に対してＭＰＥＧ符号化処
理を行なう時点では表示する位置がわからない。

【０００７】したがって、マルチ画面を合成する時点
で、符号化した各サムネール動画（以下、符号化サムネ
ール動画）に対し、表示位置を指定するための処理を施
さなければならない。

【０００８】ところで、例えばＭＰＥＧ規格（参考まで
に、図５２に、ＭＰＥＧでのビデオストリームのシンタ
ックスの一部を示す）では、復号再生された際にスライ
スが表示される水平位置は、そのスライス中の先頭マク
ロブロックの可変長符号ビットmacroblock_address_inc
rement（以下、MB_Addr_Inc）により示される。符号化
サムネール動画の任意位置への配置のためにMB_Addr_In
c部の値変更を行なうと、可変長符号であるMB_Addr_Inc
部のビット数が変化する。その結果、（符号化サムネー
ル動画に対し、表示位置を指定するための処理として、
単にＭＰＥＧに当てはめた場合、）マルチ画面動画の合
成時に、MB_Addr_Inc部より後続のすべての符号列に対
して、変化したビット数分のビットシフト演算が発生
し、膨大な計算量を必要としてしまうことになる。

【０００９】図５３は、この現象の例を示したものであ
る。図５３（ａ）で示されるように符号化サムネール動
画Ａを縦２横２のマルチ画面右下へ配置する場合、符号
化サムネール動画Ａの符号列は図５３（ｂ）のように変
化する。スライスを動画全体から見た場合の垂直方向の
位置は、slice_start_code部の末尾1バイトにより指定
される。

【００１０】一方、前述のようにスライスの水平位置は
MB_Addr_Incにより指定される。合成によりスライスの
水平位置は１から５に変化しているが、MB_Addr_Inc=1
を可変長符号で表すと1ビットの "1"であり、MB_Addr_I
nc=5を可変長符号で表すと４ビットの "0010"となり、
合成後の方が３ビット余分にビット列が必要となる。し
たがって、図５３（ｂ）、（ｃ）で示されるように、合
成後のMB_Addr_Inc以降の符号列は、余分に増えた３ビ
ット分だけ右へシフトされた状態で配置される。通常、
計算機、および計算機で通常使用する記憶装置はバイト
単位でのアクセスを行なう。そのために、図５３（ｃ）
のように、先頭マクロブロックのMB_Addr_Inc以降のす
べてについてビット演算を必要とする。

【００１１】また、同じくＭＰＥＧ規格では、隣り合う
マクロブロック同士の符号列がバイト単位で分離（バイ
トアライメント）されている保証はなく、唯一、スライ
スを構成するマクロブロック群の最後のマクロブロック
の符号列後に、図５２の next_start_code()によりバイ
トアライメントがなされているのみである。符号化サム
ネール動画の任意位置への配置を、目的とする順にマク
ロブロックを並べることで実現しようとすると、バイト
境界をまたがったマクロブロック同士を連結することに
なり、符号列は正しい画像として復号化できないものに
なる。

【００１２】さらに、前述のようにスライスの最後のマ
クロブロックの符号列については、パディングビットに
よるバイトアライメントがなされている。パディングビ
ットの付加されたマクロブロック符号列の後続に別のマ
クロブロック符号列を連結した場合、復号化器は、スラ
イスの最後尾でない限り、隣り合うマクロブロック同士
の符号列にはパディングビットはないものとして符号列
の復号化を行なう。このため、復号化器は符号列中のパ
ディングビットにより正しい画像を復号できない。

【００１３】図５４は、この現象の例を示したものであ
り、図５４（ａ）の符号化サムネール動画Ａ，Ｂにより
縦１横２のマルチ画面を合成することを行なっている。
この合成処理を、それぞれの符号化サムネール動画を構
成するマクロブロックをマルチ画面内の任意位置に配置
することで実現した場合、各マクロブロックのマルチ画
面内での配置は図５４（ｂ）のようになり、その符号列
は図５４（ｃ）の一番下のように、最初にスライスＭ１
のスライスヘッダ部の符号列が並び、後続にマクロブロ
ックＡ１、Ａ２、Ｂ１、Ｂ２の順に符号列が続く。

【００１４】このとき、スライスＡ１の最後のマクロブ
ロックＡ２がパディングビットによってバイトアライメ
ントされていたとすると、スライスＭ１の符号列はマク
ロブロックＡ２とＢ１の間にパディングビット列が挿入
された状態になり、復号化器は正しく画像を復号するこ
とができなくなる。

【００１５】本発明は、様々な規格で符号化されたサム
ネール動画をマルチ画面上の任意の位置に表示するシス
テムにおいて、上記のような課題を解決するものであ
り、例えば、ＭＰＥＧ規格の場合、スライスの表示位置
を示す可変長符号ビット部分の任意値への書き換えを高
速に行ない、マクロブロックをラスタスキャン順に並べ
るだけでマルチ画面の編集を行ない、異なるサイズのサ
ムネール動画を同じマルチ画面上に同時に表示し、マル
チ画面を符号化したサムネール動画を分割しさらに任意
の順序でマルチ画面に再構成することを目的とする。

【００１６】

【課題を解決するための手段】そこで、本発明では、編
集前の縮小・符号化画像が、編集画像のどこに配置され
るか未定である場合を考慮して、符号化の際にその位置
情報の変更が容易にできるように符号化を行ない、編集
の際にその位置情報の変更を要する場合にその変更を容
易に行なうことができるようにしたものであり、これに
より、様々な画像の編集が行なえるという効果を奏する
ものである。

【００１７】そして、ＭＰＥＧ規格の場合、第１に、可
変長データ（動画像）符号化手段が、スライスの水平座
標が変更されたことによる MB_Addr_Inc のビット数が
変化した場合に備えて、足りなくなったビットを補うた
めの符号列（補填符号列）をあらかじめ出力しておくこ
とで、可変長データ（動画像）編集手段が、スライス単
位でマルチ画面編集を行なうための可変長符号ビットで
ある MB_Addr_Inc（スライスの水平位置情報）書き換え
処理を単純な計算を数回行なうだけで完了させるもので
あり、これにより、マルチ画面合成動画生成の高速化を
可能にする。

【００１８】また、前記補填符号列として、extra_bit_
slice と extra_information_sliceの８組を補填符号列
として出力する可変長データ（動画像）符号化手段を備
えることで、可変長データ（動画像）編集手段が前記補
填符号列から任意数の不足ビットの補填と macroblock_
escape 符号列生成を行なうことを可能にしたものであ
り、これにより、スライスの表示位置を示す可変長符号
ビット部分の任意値への書き換えを可能にする。

【００１９】第２に、可変長データ（動画像）符号化手
段が、マクロブロック符号列の先頭と末端がバイト境界
をまたがらないようにし、かつ、ＭＰＥＧビデオシーケ
ンスとして正しい符号列となるような処理を施したマク
ロブロック符号列を生成しておくものであり、これによ
り、可変長データ（動画像）編集手段が、マクロブロッ
ク符号列をラスタスキャンオーダーで連結するだけで所
望のマルチ画面合成動画の符号列を生成することが可能
になるため、マルチ画面合成動画生成の高速化を可能に
する。

【００２０】第３に、可変長データ（動画像）編集手段
が、画面サイズの異なる符号化サムネール動画同士をス
ライス単位で編集可能にするものであり、これにより、
マルチメディア情報編集装置（動画像合成装置）が、画
面サイズの異なる符号化サムネール動画同士を混在させ
たマルチ画面合成動画像の符号列を提供できる。

【００２１】第４に、すでにマルチ画面合成動画になっ
ているＭＰＥＧ符号列を、元の複数の符号化サムネール
動画に分離し、かつ分離した符号化サムネール動画が再
び任意位置に配置可能にするものであり、これにより、
衛星放送など、ある決められたマルチ画面番組一覧のよ
うなマルチ画面動画符号列から、視聴者の所望する組み
合わせ・順序の番組一覧を再構成することを可能にす
る。

【００２２】第５に、可変長データ（画像）編集手段
が、入力とする各符号化画像の情報値を書き換えること
で、マルチ画面画像ストリーム中の各符号化画像の符号
列が、前記画像符号化フォーマットとして正しい情報値
であり、かつ、マルチ画面画像ストリーム中の各符号化
画像の符号列シーケンスが前記画像符号化フォーマット
として正しいシーケンスであるようなマルチ画面画像ス
トリームを出力するものであり、これにより、可変長符
号で定義される情報値を変更することで生じる当該情報
の符号長変化に対し、膨大なビットシフト演算等の処理
を要することなく当該情報値の変更を可能にするもので
あり、マルチ画面画像ストリーム生成処理の高速化を図
ることができる。

【００２３】また、このとき、可変長データ（画像）編
集手段により生成されたマルチ画面画像ストリームの符
号列シーケンスは、ＭＰＥＧフォーマットとして正しい
ものであるので、ＭＰＥＧ符号列を復号する可変長デー
タ（画像）復号手段、または可変長データ（画像）復号
装置（一般的に、ＭＰＥＧデコーダと呼ぶ）により復
号、再生表示が可能となる。

【００２４】第６に、マルチメディア情報編集装置（動
画像合成装置）として、遅延手段を配置していない工程
が存在するような構成をとり、可変長データ（画像）編
集手段が、遅延手段を１度も経由することなく生成され
る符号化画像を少なくとも１つ以上入力とするものであ
り、これにより、入力画像としてカメラからの映像のよ
うなリアルタイムライブ映像と蓄積映像などのマルチ画
面編集表示が可能であり、また、遅延手段によるライブ
映像部分の遅延再生、フレーム間引き処理による遅延時
間の調整などを行なったマルチ画面画像の再生表示が可
能となる。

【００２５】第７に、レイアウトテーブル内のマルチ画
面レイアウト情報の値を任意のタイミングで変更するレ
イアウトテーブル変更手段を備え、可変長データ（画
像）編集手段が、変更後のマルチ画面レイアウト情報の
値を参照することで、出力となるマルチ画面画像ストリ
ームの画面レイアウトの動的変更を可能にするものであ
り、これにより、マルチ画面画像の各領域の配置構成、
各領域のサイズ、各領域に表示される符号化画像などを
動的変更が可能となる。

【００２６】第８に、可変長データ（画像）符号化フォ
ーマットに基づいた符号化処理により生成された符号化
画像を少なくとも１つ以上入力とすることでマルチ画面
画像ストリームを生成する可変長データ（画像）編集手
段を備え、可変長データ（画像）編集手段が、画像符号
化フォーマットにおいて可変長符号として定義される情
報値の変更を要する場合に、画像符号化フォーマットに
おいて画像には影響を与えない符号列として定義される
拡張符号列部分を利用し、マルチ画面画像ストリーム中
に前記拡張符号列を出力することで前記符号化画像中の
当該情報値を別の値に変更するものであり、これによ
り、可変長符号で定義される情報値を変更することで生
じる当該情報の符号長変化に対し、膨大なビットシフト
演算等の処理を要することなく当該情報値の変更を可能
にするものであり、マルチ画面画像生成処理の高速化を
図ることができる。

【００２７】また、本可変長データ（画像）編集手段の
入力となる符号化画像を生成する可変長データ（画像）
符号化手段が、前述の高速化を実現するための特別な処
理を行なっておく必要がないため、画像符号化フォーマ
ットに基づいた符号化処理を行なう一般的な可変長デー
タ（画像）符号化手段を使用することができる。

【００２８】また、画像符号化フォーマットに基づく一
般的な符号化画像同士の編集処理の高速化を図ることが
できる。

【００２９】

【発明の実施の形態】以下、本発明の各実施の形態につ
いて、図面を参照しながら説明する。なお、本発明はこ
れら実施の形態に何ら限定されるものではなく、その要
旨を逸脱しない範囲において、種々なる態様で実施し得
る。

【００３０】（第１の実施の形態）最初に、本発明にお
ける第１の実施の形態について説明する。図２は、本実
施の形態における動画像合成装置を示すブロック構成図
である。ここで、２０１は、複数の符号化サムネール動
画を蓄積管理しマルチ画面合成処理を行なう動画像合成
サーバ、２０２は、マルチ画面合成対象とする動画像を
動画像合成サーバに取り込む動画像取込手段、２０３
は、取り込んだ動画像を所定のサイズに縮小し、サムネ
ール動画を生成する動画像縮小手段、２０４は、サムネ
ール動画をＭＰＥＧ符号化し、符号化サムネール動画を
生成する動画像符号化手段、２０５は、位置情報書き換
え時にスライス符号列を一時的に格納するための作業メ
モリ、２０６は、符号化サムネール動画を蓄積格納する
蓄積手段、２０７は、複数の符号化サムネール動画を合
成し、マルチ画面動画像符号列を生成する動画像合成手
段、２０８は、マルチ画面動画像を再生表示する再生端
末、２０９は、マルチ画面を構成する動画像の組み合わ
せ・順序一覧を生成する動画像一覧生成手段、２１０
は、合成したマルチ画面動画像を復号する動画像復号化
手段、２１１は、復号化された動画像を画面表示する動
画像表示手段である。

【００３１】動画像合成サーバ２０１、および再生端末
２０８は、一般的なオペレーティングシステムが動作す
る、例えばパソコンやワークステーションなどの計算機
であり、動画像取込手段２０２、動画像縮小手段２０
３、動画像符号化手段２０４、動画像合成手段２０７、
動画像一覧生成手段２０９、動画像復号化手段２１０、
動画像表示手段２１１はそれぞれ、計算機内において、
汎用、あるいは専用のオペレーティングシステムのもと
で動作するプログラム、あるいは専用のハードウェアで
ある。（なお図１は、サーバ２０１、端末２０８という
開いたシステムに特化したものでなく、広く一般的な構
成を示したものである。）以下、この動画像合成装置に
おける、動画像符号化処理および複数動画像の合成処理
の方法について説明する。

【００３２】まず、動画像データの符号化処理について
説明する。マルチ画面合成対象となる動画像データは、
あらかじめ動画像取込手段２０２により動画像合成サー
バ２０１内部に取り込まれ、動画像縮小手段２０３によ
って所定のサイズにまで縮小されたサムネール動画へと
変換される。さらにこのサムネール動画は、動画像符号
化手段２０４によってマルチ画面合成可能な形式でＭＰ
ＥＧ符号化処理が施され、マルチ画面合成用の符号化サ
ムネール動画として蓄積手段２０６に蓄積される。

【００３３】図３は、動画像符号化手段２０４におい
て、サムネール動画が、マルチ画面合成可能なＭＰＥＧ
符号化された符号化サムネール動画に変換されるまでの
処理フローを示したものであり、ステップ３０１では、
サムネール動画１フレーム分の画像データを読み出し、
ステップ３０２では、1フレーム分の画像データを水平
方向にＮ分割し、ステップ３０３では、スライスｎのス
ライスヘッダ符号列を、符号化サムネール動画符号列の
一部として出力し、ステップ３０４では、スライスｎを
Ｍ個のマクロブロックに分割し、ステップ３０５では、
マクロブロックｍのMB_Addr_Incを、符号化サムネール
動画符号列の一部として出力し、ステップ３０６では、
マクロブロックｍをＭＰＥＧ符号化（ＤＣＴ、量子化、
可変長符号化）し、その符号列を符号化サムネール動画
符号列の一部として出力し、ステップ３０７では、スラ
イスｎ中のすべてのマクロブロックの符号化が完了した
かをチェックし、ステップ３０８では、図５２（ｄ）の
next_start_code()の処理をし、ステップ３０９では、
Ｎ個の全スライスについて符号化が完了したかをチェッ
クし、ステップ３１０では、サムネール動画の全フレー
ムを処理したかをチェック、をそれぞれ行なう。ここ
で、変数ｍは処理しているマクロブロックの識別に、変
数ｎはスライスの識別のために使用する。

【００３４】図４は、動画像符号化手段２０４によって
サムネール動画を符号化サムネール動画として符号化す
る場合に、サムネール動画の各フレーム画像を小さなブ
ロック分割する例を示すものである（ステップ３０２，
ステップ３０４）。

【００３５】図５は、動画像符号化手段２０４が、ステ
ップ３０３，３０５、３０６，３０８にて、サムネール
動画の各スライスをＭＰＥＧ符号化処理する際に、スラ
イス単位でマルチ画面合成可能なように出力した符号列
の一例を示したものである。なお、図５では、図４で示
したスライス、マクロブロックの分割例を基にしてい
る。

【００３６】図５（ａ）、（ｅ）に示されるように、ス
テップ３０３において、スライスｎのスライスヘッダ符
号列を出力する場合に、slice_start_codeを、末尾１バ
イトを値"ｎ" にして出力する。

【００３７】さらに、図５（ｂ）のように、スライス単
位でマルチ画面合成する時に、スライスの水平座標が変
更されたことによるMB_Addr_Incのビット数が変化した
場合に備えて、足りなくなったビットを補うための補填
符号列を extra_bit_sliceおよびextra_information_sl
iceとしてあらかじめ出力しておく。この補填符号列
は、図５２のＭＰＥＧ規格でも規定された部分を利用し
ており、復号化器はこのような符号列のある符号化サム
ネール動画をＭＰＥＧビデオシーケンスとして正常に復
号化することが可能である。

【００３８】図５の例では補填符号列として、extra_bi
t_sliceとextra_information_sliceの組を８つ、合計７
２ビットの符号列をすべてのビットを "1" にして出力
している（extra_bit_sliceとextra_information_slice
が８組であることの理由は後述する．）。

【００３９】また、図５（ｃ）に示されるように、ステ
ップ３０５において、スライスの先頭マクロブロックの
MB_Addr_Incには値１を指定し、値１を表す1ビット長の
可変長符号列 "1" を出力する。図５（ｄ）部分の符号
列は、ステップ２０６および２０８において、一般的な
ＭＰＥＧ符号化処理（ＤＣＴ、量子化、動き予測、可変
長符号化およびバイトアライメント処理）を施すことで
得られる符号列である。

【００４０】なお、補足であるが、スライス単位でマル
チ画面合成を行なう場合に、符号化サムネール動画とし
て必要な部分は、図５に示されるようなスライス層以下
の符号列部分である。しかし、上記スライス部の符号列
以外に、ＭＰＥＧビデオシーケンスとして必要な符号列
（シーケンスヘッダ、ＧＯＰヘッダ、ピクチャヘッダ
等）を出力することで、これら符号列により構成される
符号化サムネール動画を、単体のＭＰＥＧビデオシーケ
ンスとして復号し再生表示可能にすることができる。

【００４１】また、図５（ａ）、（ｃ）、（ｅ）の上記
説明では、slice_start_codeおよびMB_Addr_Inc部の値
を、符号化サムネール動画が単体のＭＰＥＧビデオシー
ケンスとして復号し再生表示可能になるような値にして
出力しているが、実際は符号化時にはどのような値であ
ってもかまわない。

【００４２】さらに、図５（ｂ）の説明で示したよう
に、スライスの水平座標が変更されたことによるMB_Add
r_Incのビット数が変化した場合に備えて、足りなくな
ったビットを補うための符号列をextra_bit_sliceおよ
びextra_information_sliceとしてあらかじめ出力して
いるが、この他にもmacroblock_staffingなど、MB_Addr
_Inc部のビット数変化に対して補填処理可能な符号列を
あらかじめ出力しておいてもかまわない。

【００４３】以上のような過程を経て、動画像符号化手
段２０４は、スライス単位でマルチ画面合成可能な符号
化サムネール動画符号列を出力する。

【００４４】次に、複数符号化サムネール動画をマルチ
画面動画として合成する処理について説明する。

【００４５】図６は、蓄積手段２０６に蓄積されている
符号化サムネール動画の一例を示したものである。図６
に示されるように、蓄積手段２０６には５つの符号化サ
ムネール動画Ａ、Ｂ、Ｃ、Ｄ、Ｅが蓄積されている。こ
のとき、それぞれの符号化サムネール動画は、水平に２
スライスに分割され各スライスは３つのマクロブロック
で構成されているものとする。

【００４６】動画像一覧生成手段２０９は、蓄積手段２
０６に蓄積されている符号化サムネール動画に対する組
み合わせ・順序一覧を生成する。たとえば、動画像一覧
生成手段２０９の一例として、動画像検索システムにお
ける、検索キーのヒット率ランキングによる一覧生成が
あげられる。ここでは、図７に示すような縦２横２のマ
ルチ画面を合成するように、動画像一覧生成手段２０９
が動画像合成手段２０７に要求を出したものとして説明
する。

【００４７】図８は、動画像合成手段２０７によって、
複数符号化サムネール動画をマルチ画面合成しそのＭＰ
ＥＧ符号列を出力するまでの処理フローを示したもので
ある。ステップ８０１では、マルチ画面合成のための初
期化処理を行ない、ステップ８０２では、マルチ画面合
成動画をＭＰＥＧビデオシーケンスとして復号可能にす
るために、ＭＰＥＧビデオシーケンスヘッダ符号列を出
力し、ステップ８０３では、同様にＭＰＥＧビデオシー
ケンスとして復号可能にするために、ＧＯＰヘッダ、ピ
クチャヘッダ符号列を出力し、ステップ８０４では、各
符号化サムネール動画からスライス符号列を読み出し、
ステップ８０５では、読み出したスライスをマルチ画面
中の目的の場所に表示するための位置情報の書き換えを
行ない、ステップ８０６では、符号化サムネール動画を
水平方向に走査するためのカウンタ値をチェックし、ス
テップ８０７では、ステップ９０４，９０５において使
用するスライスカウント値をチェックし、ステップ８０
８では、符号化サムネール動画を垂直方向に走査するた
めのカウンタ値をチェックし、ステップ８０９では、マ
ルチ画面合成を終了するかをチェック、をそれぞれ行な
う。

【００４８】図７に示すようなマルチ画面合成を要求さ
れると、動画像合成手段２０７では、まず、次のような
初期化処理が行なわれる。すなわち、縦２横２のマルチ
画面なので、水平方向の画面数を示す変数Ｘを２に、垂
直方向の画面数を示す変数Ｙを２にする。また、マルチ
画面の各画面領域に表示されるそれぞれの符号化サムネ
ール動画のスライス数を示す変数Ｎを２に、各スライス
を構成するマクロブロック数を示す変数Ｍを３に初期化
する。さらにマルチ画面のどの位置にどの符号化サムネ
ール動画を配置するのかを示す2次元の配列変数Ｖ（１
番目の添え字は前記各画面領域の水平方向の画面領域を
示し、２番目は垂直方向の画面領域を示す）を、 V[1,1]=B, V[2,1]=D, V[1,2]=E, V[2,2]=A に初期化する。

【００４９】図９は、図８の処理フローでのループ８１
０、８１１、８１２におけるループ処理をＣ言語で表現
したものであり、変数ｘは処理中である画面の水平方向
位置を、同様に変数ｙは垂直位置を、変数ｎは処理中で
ある符号化サムネール動画のスライス番号をそれぞれル
ープカウンタ値として使用している。この３つのループ
の最内ループで、ステップ８０４，８０５の処理が行な
われる。

【００５０】図１０は、動画像合成手段２０７が、ステ
ップ８０４にて行なうスライス符号列の読み出し処理を
示したものである。ステップ８０４では、変数V[x, y]
で指定される符号化サムネール動画から変数ｆで指定さ
れるフレームの、変数ｎで指定されるスライス部分の符
号列が読み出される（図１２（ａ））。たとえば、ｘ＝
２，ｙ＝２，ｎ＝１のとき、ステップ８０４では、スラ
イス１Ａの符号列が読み出される。読み出されたスライ
ス符号列は、バッファの先頭アドレスが変数Bufにより
ポインティングされた合成作業メモリに格納される（図
１２（ｂ））。

【００５１】ＭＰＥＧ規格では、スライス層の符号列
は、バイト境界から符号列が始まり、符号列の末端もバ
イトアライメントされた状態で終端するように規定され
ており、動画像符号化手段２０４もそのようなスライス
符号列を出力する。そのため、バイト単位でスライス符
号列の先頭から末端まですべて読み込み、それを合成作
業メモリ内に蓄えることができる。

【００５２】動画像合成手段２０７が、ステップ８０５
にて行なうスライス表示位置情報の書き換え処理は次の
ようにして行なわれる。動画像合成手段２０７は、合成
作業メモリ内のスライス符号列が、マルチ画面中のどの
座標に表示されるのかを次の式により算出する。 水平位置:（ｘ−１）＊Ｍ＋１ 垂直位置:（ｙ−１）＊Ｎ＋ｎ 前記スライス１Ａの例では、ｘ＝２、ｙ＝２、ｎ＝１で
あるため、水平位置＝４、垂直位置＝３となる。

【００５３】図１１は、合成作業メモリ内のスライス１
Ａの垂直位置情報を書き換える処理例を示している。図
１１（ａ）は、ステップ８０４にて合成作業メモリ内に
スライス１Ａの符号列が格納された状態を示しており、
図１１（ｂ）は、さらにスライスの垂直位置情報の符号
列を含む slice_start_code部をビット単位で詳細表示
したものである。スライスの垂直位置情報はslice_star
t_codeの４バイト目、すなわち buf[3]で示されるの
で、ステップ８０５では、垂直位置を３にするために、 buf[3] = 3 の代入処理を行なう。図１１（ｃ）は、代入処理による
垂直位置情報が書き換えられた後のslice_start_code部
の符号列を示している。

【００５４】また同様に、図１２は、合成作業メモリ内
のスライス１Ａの水平位置情報を書き換える処理例を示
している。図１２（ａ）は、ステップ８０４にて合成作
業メモリ内にスライス１Ａの符号列が読み込まれた状態
を示しており、図１２（ｂ）は、さらにビット単位で詳
細表示したものである。スライス１Ａの新たな水平位置
（MB_Addr_Inc）は４となるが、水平位置４を可変長符
号であらわすと４ビット長の '0011' となる。符号化サ
ムネール動画を生成する動画像符号化手段２０４は、図
１２（ｂ）で示されるように MB_Addr_Incを '1'、つま
り１ビット長で出力している。そこで動画像合成手段２
０７は、足りない３ビット分を補填符号列部分から補
う。まず、図１２（ｃ）に示されるように、足りないビ
ット分の数値と同じバイト数（スライス１Ａの例では３
ビット分足りないので、３バイト）の間引き処理を行な
う。

【００５５】次に、間引き処理の対象とならなかったbu
f[0]〜buf[9]までの10バイト分の符号列を出力した後、
図１２（ｃ）から（ｄ）の部分に示されるように、新た
な水平位置情報を書き換える処理、 buf[13]=buf[13]&0x01 + 0xc6 を行なう。buf[13]&0x01は、buf[13]の下1ビットを書き
換えないようにフィルタ演算を行なっている。水平位置
書き換え後、間引かれたバイト部分の符号列を出力しな
いように、buf[13]から後続のすべてのスライス符号列
を出力する。全スライス符号列を出力した後は、合成作
業メモリは空の状態にセットされる。

【００５６】以上のような過程を経ることで、動画像合
成手段２０７は、スライスの水平位置情報を示す可変長
符号ビット部分の書き換え処理を単純な演算を数回行な
うだけで完了させ、スライス符号列単位でマルチ画面合
成したマルチ画面動画像符号列を出力する。動画像合成
手段２０７で出力されたマルチ画面動画像の符号列は、
動画像復号化手段２１０で動画像として復号化され、動
画像表示手段２１１によりその映像が表示される。

【００５７】なお、前述した extra_bit_sliceとextra_
information_slice が８組であることの理由を以下に説
明する。

【００５８】extra_bit_slice は１ビット長、extra_in
formation_slice は８ビット長であり、この２つを組に
した符号長は９ビットとなる。この９ビット長の補填符
号列部分から１バイト（＝８ビット長）を間引くこと
で、１ビットが余る。この１ビットをMB_Addr_Inc部の
ビット数が変化した際の足りなくなったビットの補填に
割り当てることができる。

【００５９】上記組について、１組につき１バイトを間
引けば１ビットを補填可能なので、８組から７バイト間
引くことで８ビットを補填可能になる。９以上の補填ビ
ットを必要とする場合には、間引くバイト数をそのつど
減らせばよい。例えば、１４ビットを補填したいのであ
れば、まず５バイトだけ間引きくことで５ビットの補填
可能ビットを得る。次に１組分の９ビットをさらにこの
補填可能ビットとして割り当てることで、合計１４ビッ
トの補填可能ビットを得ることができる。

【００６０】したがって、extra_bit_sliceとextra_inf
ormation_sliceが８組にすることで、任意数の不足ビッ
トを補うことができ、かつ８組という最小の値を取るこ
とで、補填符号列により動画像のビットレートが高くな
るのを最小限に押さえることができる訳である。

【００６１】以上のように、本実施の形態では、マルチ
画面合成対象とする動画像を取り込む動画像取込手段
と、取り込んだ動画像を所定のサイズに縮小しサムネー
ル動画を生成する動画像縮小手段と、サムネール動画を
ＭＰＥＧ符号化し符号化サムネール動画を生成する動画
像符号化手段と、ＭＰＥＧ符号化された符号化サムネー
ル動画を蓄積格納する蓄積手段と、蓄積手段に蓄積され
た複数符号化サムネール動画を合成しマルチ画面動画像
符号列を生成する動画像合成手段と、動画像合成手段が
スライス符号列を一時的に格納するために用いる合成作
業メモリと、マルチ画面を構成する動画像の組み合わせ
・順序一覧を生成する動画像一覧生成手段と、合成によ
り得られるマルチ画面動画像符号列を復号する動画像復
号化手段と、復号化された動画像を画面表示する動画像
表示手段とを備え、動画像符号化手段が、スライスの水
平座標が変更されたことによりMB_Addr_Inc部分のビッ
ト数変化が生じた場合、足りなくなったビットを補うた
めの補填符号列をあらかじめ出力し、動画像合成手段
が、補填符号列部分から足りないビットを補いMB_Addr_
Incの値の書き換えを行なうことにより、マルチ画面動
画像符号列を生成するマルチメディア情報編集装置を実
現するものである。

【００６２】これによりマルチ画面の動画像合成時にビ
ット数変化による後続のすべての符号列に対するビット
シフト演算をなくす、具体的には、スライスの水平位置
情報を示す可変長符号ビット部分の書き換え処理を単純
な計算を数回行なうだけで完了させることができ、結
果、マルチ画面動画の生成を高速に行なうことができ、
その実用的効果は大きい。

【００６３】また、より具体的には、動画像符号化手段
が、補填符号列としてextra_bit_sliceとextra_informa
tion_sliceの８組を補填符号列として出力する機能を有
することにより、動画像合成手段が前記補填符号列から
任意数の不足ビットの補填とmacroblock_escape符号列
生成を行なうことを可能にし、スライスの表示位置を示
す可変長符号ビット部分の任意値への書き換えが可能と
なり、その実用的効果は大きい。

【００６４】なお、本実施の形態では、スライスの位置
配置に関して、水平位置が４の場合について説明してい
るが、これ以外の配置位置についても同様の書き換え処
理が可能である。図１３，１４，１５は、配置する水平
位置がそれぞれ７，１３，３７の場合のMB_Addr_Inc書
き換え処理を示したものである。配置位置が３４以上の
場合は macroblock_escapeと呼ばれる１１ビットの符号
列を出力しなければならないが、この場合も図１５に図
示されるように、間引きバイト数やフィルタ演算などの
数値変更を行なうことで、同様の効果を得ることが可能
である。

【００６５】また、本実施の形態では、スライス符号列
の水平位置を示す部分が可変長符号ビットMB_Addr_Inc
であり、MB_Addr_Incの値書き換えを行なうために不足
するビットを、あらかじめスライスヘッダ部分に出力し
ておいた補填符号列に対する簡単なバイト間引きにより
補填する一連の処理について、ＭＰＥＧビデオシーケン
ス規格を例に説明しているが、これはＭＰＥＧ以外の規
格のものでも適用可能である。

【００６６】すなわち、ある符号列が画像イメージへ復
号されたときに、その符号列が画像イメージ中のどの位
置に表示されるのかを示す位置情報が可変長符号ビット
で与えられるような規格において、位置情報を示す符号
列部分の前方、または後方、または双方部分に、その規
格として復号時に画像イメージへ影響を与えない拡張符
号列を出力可能な領域が規定されている場合、その領域
を補填符号列として利用することにより、ＭＰＥＧ以外
の規格に関しても同様の効果を得ることができる。

【００６７】（第２の実施の形態）次に、本発明におけ
る第２の実施の形態について説明する。なお、前述した
実施の形態において説明済みのものについては同じ番号
を割り当て、その説明を省略する。

【００６８】図１６は、本実施の形態における動画像合
成装置を示すブロック構成図である。ここで、１６０１
は、サムネール動画をＭＰＥＧ符号化し、符号化サムネ
ール動画を生成する動画像符号化手段、１６０２は、Ｍ
ＰＥＧ符号化により生成した符号列を一時的に保持する
ための符号化作業メモリ、１６０３は、複数の符号化サ
ムネール動画を合成し、マルチ画面動画像符号列を生成
する動画像合成手段、である。

【００６９】以下、この動画像合成装置における、動画
像符号化処理、および複数動画像の合成処理の方法につ
いて説明する。

【００７０】まず、動画像データの符号化処理について
説明する。図１７は、動画像符号化手段１６０１におい
て、サムネール動画が、マルチ画面合成可能なＭＰＥＧ
符号化された符号化サムネール動画に変換されるまでの
処理フローを示したものである。ステップ１７０１で
は、スライスｎのスライスヘッダ符号列を、符号化サム
ネール動画符号列の一部として出力し、ステップ１７０
２では、符号化作業メモリの初期化処理として、符号化
作業メモリの内容を空にし、ステップ１７０３では、マ
クロブロックｍをＭＰＥＧ符号化（ＤＣＴ、量子化、可
変長符号化）し、その符号化により生成した符号列を符
号化作業メモリ内へ出力し、ステップ１７０４では、符
号化作業メモリ内の符号列に対してバイトアライメント
処理を施し、ステップ１７０５では、符号化作業メモリ
内の符号列を符号化サムネール動画符号列の一部として
出力、をそれぞれ行なう。

【００７１】図１８は、ステップ１７０１にて、スライ
スヘッダ符号列の例を示したものである。図１８
（ａ）、（ｂ）は、一般的なＭＰＥＧ符号化手段により
出力される符号列例である。このように、マクロブロッ
ク１の先頭はバイト境界をまたがったものになってい
る。そこで、本実施の形態における動画像符号化手段１
６０１では、図１８（ｃ）に示すようにextra_bit_slic
eおよびextra_information_sliceの２組、合計１８ビッ
トからなる補充符号列を出力する。このように補充符号
列を出力することで、マクロブロック符号列の先頭がき
ちんとバイト境界から開始されるようになる。

【００７２】なお、補充符号列は、ＭＰＥＧ規格でも規
定された部分を利用して出力するため、復号化器はこの
ような符号列のある符号化サムネール動画をＭＰＥＧビ
デオシーケンスとして正常に復号化することが可能であ
る。また、図１８（ｃ）では、extra_information_slic
eとして '1111 1111' を出力しているが、他の値でもか
まわない。

【００７３】以上のように、ステップ１７０１の処理を
行なうことで、スライスを構成するマクロブロック符号
列は、バイト境界位置から開始されることを保証するこ
とができる。

【００７４】さて、ここで符号化作業メモリ１６０２の
動作について説明する。図１９は、符号化作業メモリ１
６０２の動作について示したものである。ステップ１７
０２の処理により、符号化作業メモリ１６０２の内容は
空の状態になる（図１９（ａ））。ところで、符号化作
業メモリも計算機の一部であり、その読み出し・書き込
みアクセスはバイト単位で行なわれる。そこで、変数ｂ
を用いることで、バイト内で有効なビット長を表すよう
にする。図１９（ｂ）に示されるように、有効な符号列
は３５ビットあるので、３５を８で割ったあまりの３ビ
ットについては、作業バッファ１９０２の５バイト目の
一部のビットを用いて表現することになる。そのため、
変数ｂを３にすることで、５バイト目の有効なビット長
を表す。図１９（ｃ）は、図１９（ｂ）の状態から、さ
らに７ビット長の符号列 '1111 111' を符号化作業メモ
リに追加したときの符号化作業メモリ内の内容の変化を
示したものである。

【００７５】以上のように、符号化作業メモリでは変数
ｂを用いることで、ビット単位での符号列を保持する。

【００７６】図２０は、ステップ１７０３、１７０４に
て、動画像符号化手段１６０１が行なうＭＰＥＧ符号化
処理（ＤＣＴ、量子化、動き予測、可変長符号化）を施
したときの符号化作業メモリ１６０２の内容を示したも
のである。図２０（ａ）で示されるように、初期状態に
おける符号化作業メモリの内容は、ステップ１７０２の
処理により空の状態になっている。

【００７７】次に、ステップ１７０３での、マクロブロ
ックｍに対するＭＰＥＧ符号化処理により得られる符号
列が符号化作業メモリへ追加されることで、符号化作業
メモリの内容は図２０（ｂ）のようになる。図２０
（ｂ）では、変数ｂの値が５であるため、マクロブロッ
クの末端はバイト境界を５ビットだけまたがっているこ
とを示している。そこで、マクロブロック符号列の先頭
部分に macroblock_stuffingを挿入することで、マクロ
ブロックの末端をバイト境界に接した状態にする。図２
０（ｂ）にあるように、macroblock_stuffingは１１ビ
ット長の符号列なので、macroblock_stuffingを符号化
作業メモリの先頭に１つ挿入するごとに、すでに符号化
作業メモリ内にある符号列を全体に１１ビット後方へシ
フトすることができる。バイト境界が５ビットだけまた
がっている場合には、macroblock_stuffingを１つ挿入
すれば、変数ｂは０となり、マクロブロックの末端をバ
イトアライメントされた状態にすることができる（図２
０（ｃ））。

【００７８】マクロブロックの先頭部分にmacroblock_s
tuffingを挿入処理を行なった符号列は、図５２（ｂ）
にあるようにＭＰＥＧビデオシーケンスとして正しいも
のである。

【００７９】図２１に、macroblock_stuffing挿入前の
変数ｂの値と、その時の挿入するmacroblock_stuffing
の数の関係を示す。

【００８０】以上のように、マクロブロック符号列は、
符号化作業メモリ内でその先頭と末尾がバイト境界に接
する状態にされる。動画像符号化手段１６０１は、ステ
ップ１７０５にて、符号化作業メモリ内のマクロブロッ
ク符号列を符号化サムネール動画符号列の一部として出
力する。

【００８１】なお、補足であるが、マクロブロック単位
でマルチ画面合成を行なう場合に、符号化サムネール動
画として必要な部分は、符号列の先頭と末端がバイト境
界に接しているようなマクロブロック符号列である。上
記ステップ１７０１では、スライスヘッダ符号列の出力
を行なっているが、符号化サムネール動画の符号列中に
は、スライスヘッダ符号列は必ずしも出力されている必
要はない。

【００８２】また、ＭＰＥＧビデオシーケンスとして必
要な符号列（シーケンスヘッダ、ＧＯＰヘッダ、ピクチ
ャヘッダ等）を出力することにより、符号化サムネール
動画を単体のＭＰＥＧビデオシーケンスとして復号し再
生表示可能にすることが可能である。

【００８３】次に、複数符号化サムネール動画をマルチ
画面動画として合成する処理について説明する。実施の
形態１と同じように、図７に示すような縦２横２のマル
チ画面を合成するように、動画像一覧生成手段２０９が
動画像合成手段１６０３に要求を出したものとする。

【００８４】図２２は、動画像合成手段１６０３によっ
て、複数符号化サムネール動画をマルチ画面合成しその
ＭＰＥＧ符号列を出力するまでの処理フローを示したも
のである。ステップ２２０１では、マルチ画面合成動画
をＭＰＥＧビデオシーケンスとして復号可能にするため
に、ＧＯＰヘッダ、ピクチャヘッダ、スライスヘッダの
各ヘッダ符号列を出力し、ステップ２２０２では、各符
号化サムネール動画から、マクロブロック符号列を読み
出し、ステップ２２０３では、マルチ画面動画符号列と
して、読み出したマクロブロック符号列を出力し、ステ
ップ２２０４では、マクロブロックカウントｍの値のチ
ェック、をそれぞれ行なう。

【００８５】図２３は、図２２の処理フローでのループ
８１０、８１１、８１２、２２０５におけるループ処理
をＣ言語で表現したものであり、変数ｘは処理中である
画面の水平方向位置を、同様に変数ｙは垂直位置を、変
数ｎは処理中である符号化サムネール動画のスライス番
号を、変数ｍは処理中である符号化サムネール動画のマ
クロブロック番号を、それぞれループカウンタ値として
使用している。

【００８６】図２４は、本実施の形態におけるマルチ画
面１フレーム分の合成画像処理順序を示したものであ
る。図２３のループ処理による、ステップ２２０２での
各符号化サムネール動画のマクロブロック符号列の読み
込み、およびステップ２２０３でのマルチ画面動画符号
列の出力はラスタスキャンオーダー（図２４でカッコで
囲んだ数字順）で行なわれる。すなわち、読み込んだマ
クロブロック符号列をラスタスキャンオーダーで順に連
結することによりマルチ画面動画符号列を生成する。

【００８７】以上のように、動画像符号化手段１６０１
が、マクロブロック符号列の先頭と末端がバイト境界を
またがらないようなマクロブロック符号列を生成してお
くことにより、動画像合成手段１６０３は、マクロブロ
ック符号列をラスタスキャンオーダーで連結するだけで
所望のマルチ画面合成動画の符号列を生成することが可
能になり、マルチ画面合成動画生成の高速化を図ること
ができる。

【００８８】なお、本実施の形態の図２２で示した処理
フローでは、マルチ画面合成動画のＭＰＥＧビデオシー
ケンスにおける１ピクチャが１つのスライスのみで構成
されるようなフローであるが、複数スライスで構成され
たフローにすることでも同様に、マクロブロック符号列
をラスタスキャンオーダーで連結するだけで所望のマル
チ画面合成動画の符号列を生成することが可能である。
このとき、各スライスヘッダ符号列とマクロブロック符
号列が、きちんとバイト境界で互いに連結されるよう
に、各スライスヘッダ符号列は、ステップ１７０１で施
した図１８（ｃ）のような補充符号列によるバイトアラ
イメント処理を行なう必要がある。

【００８９】以上のように、本実施の形態では、マルチ
画面合成対象とする動画像を取り込む動画像取込手段
と、取り込んだ動画像を所定のサイズに縮小しサムネー
ル動画を生成する動画像縮小手段と、サムネール動画を
ＭＰＥＧ符号化し符号化サムネール動画を生成する動画
像符号化手段と、動画像符号化手段がマクロブロック符
号列を一時的に格納するために用いる符号化作業メモリ
と、ＭＰＥＧ符号化された符号化サムネール動画を蓄積
格納する蓄積手段と、蓄積手段に蓄積した複数符号化サ
ムネール動画を合成しマルチ画面動画像符号列を生成す
る動画像合成手段と、マルチ画面を構成する動画像の組
み合わせ・順序一覧を生成する動画像一覧生成手段と、
合成により得られるマルチ画面動画像符号列を復号する
動画像復号化手段と、復号化された動画像を画面表示す
る動画像表示手段とを備え、符号化作業メモリが、ビッ
ト単位で符号列を格納保持する手段を有し、動画像符号
化手段が、補充符号列の挿入によりマクロブロック符号
列の先頭と末端がバイト境界に接した状態になるように
し、動画像合成手段が、目的とするマルチ画面を構成す
るように前記マクロブロック符号列をラスタスキャンオ
ーダー順に並べることによりマルチ画面動画像符号列を
生成するようにした動画像合成装置を実現するものであ
る。

【００９０】これにより、動画像合成装置によるマルチ
画面の動画像合成を、各マクロブロックを順に並べるだ
けの処理にし、マルチ画面合成動画像生成の高速化を図
ることができ、その実用的効果は大きい。

【００９１】（第３の実施の形態）次に、本発明におけ
る第３の実施の形態について説明する。なお、前述した
実施の形態において説明済みのものについては同じ番号
を割り当て、その説明を省略する。

【００９２】図２５は、本実施の形態における動画像合
成装置を示すブロック構成図である。ここで、２５０１
は、マルチ画面をマクロブロックサイズで領域分割した
ときに各領域のマルチ画面レイアウト情報を保持するレ
イアウトテーブル、２５０２は、前記レイアウトテーブ
ルを動画像一覧生成手段からの要求により作成するレイ
アウトテーブル作成手段、２５０３は、画像サイズの異
なる複数符号化サムネール動画同士を合成し、マルチ画
面動画像符号列を生成する動画像合成手段、２５０４
は、各画面領域のサイズが異なるマルチ画面を構成する
動画像の組み合わせ・順序一覧を生成する動画像一覧生
成手段である。

【００９３】図２６は、動画像合成手段２５０１によっ
て、画像サイズの異なる符号化サムネール動画同士をマ
ルチ画面合成し、そのＭＰＥＧ符号列を出力するまでの
処理フローを示したものである。ステップ２６０１で
は、マルチ画面合成のための初期化処理としてレイアウ
トテーブルを作成し、ステップ２６０２では、カウンタ
値ｘ,ｙにおいて合成処理を行なうかをチェックし、ス
テップ２６０３では、カウンタ値ｘ,ｙにおいてスキッ
プマクロブロック符号列を出力するかをチェックし、ス
テップ２６０４では、スキップスライス符号列を出力
し、ステップ２６０５では、レイアウトテーブルＴ
［ｘ,ｙ］で示される符号化サムネール動画からスライ
ス符号列を読み込み、ステップ２６０６では、ループカ
ウンタ値ｘの値を１インクリメント、をそれぞれ行な
う。

【００９４】図２７は、本実施の形態における画像サイ
ズの異なる符号化サムネール動画により構成されるマル
チ画面の例である。ここでは、動画像一覧生成手段２０
９が動画像合成手段２５０１に対して、図２７のような
マルチ画面を合成するように要求を出したものとして説
明する。図２７では、各符号化サムネール動画の画像サ
イズは、マクロブロックが水平、垂直の各方向に次の数
だけ並んだ大きさである（一般的なマクロブロックのサ
イズは１６画素＊１６画素）。 符号化サムネール動画A： （５、４） 符号化サムネール動画B： （２、３） 符号化サムネール動画C： （２、２） 符号化サムネール動画D： （２、２） 符号化サムネール動画E： （３、２） 各符号化サムネール動画は、実施の形態１で説明したよ
うに、動画像符号化手段２０４により符号化されてお
り、蓄積手段２０６内に蓄積されているものとする。

【００９５】図２７に示すようなマルチ画面合成を要求
されると、動画像合成手段２５０１は、ステップ２６０
１において、レイアウトテーブル作成手段２５０２を用
いて次のような初期化処理を行なう。すなわち、マルチ
画面動画の水平方向のマクロブロック数を示す変数Ｘを
７に、垂直方向のマクロブロック数を示す変数Ｙを６に
する。また2次元配列Ｔ［ｘ,ｙ］と表記されるレイアウ
トテーブル２５０１の各配列要素に対して（１番目の添
え字はマルチ画面をマクロブロックサイズで領域分割し
たときの水平方向の領域を示し、2番目は垂直方向の領
域を示す）、座標（ｘ,ｙ）に対応する領域が、動画を
表示しない領域である場合には記号Ｓを、座標（ｘ,
ｙ）に対応する領域が、マルチ画面を構成する各画面領
域の左端以外の場合には記号Ｎを、座標（ｘ,ｙ）に対
応する領域が、マルチ画面を構成する各画面領域の左端
の場合には、その符号化サムネール動画の識別ＩＤと、
その画面領域の一番上を座標１とした場合の垂直座標値
からなる記号、で初期化する。

【００９６】図２８は、図２７に示すマルチ画面合成を
行なう場合のレイアウトテーブル２５０１の内容を図示
したものである。図２８では、前述符号化サムネール動
画の識別ＩＤは、各桝目のＡ，Ｂ，Ｃ，Ｄ，Ｅの部分に
相当し、垂直座標値は各桝目の数字部分に相当する。

【００９７】図２９は、図２６の処理フローでのループ
２６０７、２６０８におけるループ処理をＣ言語で表現
したものである。

【００９８】ステップ２６０２において、Ｔ［ｘ,ｙ］
の値が記号Ｎであった場合には、動画像合成手段２５０
１は何も処理をおこなわない。ステップ２６０３におい
て、Ｔ［ｘ,ｙ］の値が記号Ｓであった場合には、動画
像合成手段２５０１はスキップスライス符号列を出力す
る。

【００９９】図３０は、１マクロブロック分だけスキッ
プするスライス符号列の例である。動画像合成手段２５
０１は、図３０で示される６バイトを符号列として出力
することで、１マクロブロック分の領域をスキップする
ことができ、これにより何も動画像を表示しない領域を
作り出すことができる。

【０１００】ステップ２６０５では、Ｔ［ｘ,ｙ］の値
が示す記号から、符号化サムネール動画の識別ＩＤと垂
直座標値を得る。符号化サムネール動画の識別ＩＤは、
蓄積手段２０６内の符号化サムネール動画を識別するた
めに用い、垂直座標値は前記符号化サムネール動画の読
み込むべきスライス符号列の番号として使用する。ステ
ップ２６０５で読み込まれたスライス符号列は、ステッ
プ８０５にて、座標（ｘ,ｙ）の位置に表示されるべく
実施の形態１で説明した表示位置情報の書き換え処理が
なされる。

【０１０１】ループ２６０７，２６０８内の処理を繰り
返すことで、動画像合成手段２５０１は、順次Ｔ［ｘ,
ｙ］により示される符号化サムネール動画から読み込ん
だスライス符号列のslice_start_codeとMB_Addr_Incを
書き換え、その結果の符号列をマルチ画面動画符号列と
して出力する。

【０１０２】以上のように、本実施の形態では、動画像
合成装置が、画面サイズが異なる符号化サムネール動画
から構成されたマルチ画面の組み合わせ・順序一覧を生
成する動画像一覧生成手段と、マルチ画面をマクロブロ
ックサイズで領域分割したときの各領域のマルチ画面レ
イアウト情報を保持するレイアウトテーブルと、このレ
イアウトテーブルを作成するレイアウトテーブル作成手
段とを有する動画像合成手段とを備えることで、動画像
合成手段が、マルチ画面の各座標において、どの符号化
サムネール動画のスライス符号列を処理すべきなのかを
レイアウトテーブル参照を行なうことにより決定する。
レイアウトテーブルには、マルチ画面レイアウト情報と
して、マルチ画面の各座標が、マルチ画面の各画面領域
のどの部分に位置し、またその画面領域に配置される符
号化サムネール動画が何であるのか、を保持させる。

【０１０３】このような過程を経ることで、動画像合成
手段２５０１は、画像サイズの異なる複数の符号化サム
ネール動画同士を合成可能にし、画面サイズの異なる符
号化サムネール動画同士を混在させたマルチ画面動画像
符号列を提供することが可能になり、その実用的効果は
大きい。

【０１０４】（第４の実施の形態）次に、本発明におけ
る第４の実施の形態について説明する。なお、前述した
実施の形態において説明済みのものについては同じ番号
を割り当て、その説明を省略する。

【０１０５】図３１は、本実施の形態における動画像合
成装置を示すブロック構成図である。ここで、３１０１
は、マルチ画面動画像符号列を動画像合成サーバに取り
込む動画像取込手段、３１０２は、取り込んだマルチ画
面動画像符号列から、各画面領域部分の動画像符号列を
それぞれ抽出するマルチ画面動画像分割手段、３１０３
は、前記マルチ画面動画像とマルチ画面の各領域部分の
サイズと位置情報を保持する画面レイアウトテーブルを
作成する画面レイアウトテーブル作成手段、３１０４
は、抽出された各動画像符号列を、別のマルチ画面内に
再合成可能な符号列（符号化サムネール動画）への変換
処理を行なう動画像再符号化手段、３１０５は、再符号
化された符号化サムネール動画および蓄積手段内の符号
化サムネール同士をを合成し、マルチ画面動画像の符号
列を生成する動画像合成手段、３１０６は、再構成する
マルチ画面の組み合わせ・順序一覧を生成する動画像一
覧生成手段、である。

【０１０６】まず、入力となったマルチ画面動画像符号
列から、各画面領域部分の符号列を分割する処理につい
て説明する。

【０１０７】図３２は、マルチ画面動画像分割手段３１
０２によって、入力となるマルチ画面動画像符号列か
ら、マルチ画面を構成している各画面領域部分の動画像
符号列を抽出し、それぞれ別の動画像符号列として出力
するまでの処理フローを示したものである。ステップ３
２０１では、マルチ画面動画像データ符号列中に、その
マルチ画面の画面構成を示すレイアウト情報が含まれて
いるかをチェックし、ステップ３２０２では、もしレイ
アウト情報が含まれていれば画面レイアウトテーブルを
作成し、ステップ３２０３では、マルチ画面動画像デー
タ符号列から１フレーム分の符号列を読み込み、ステッ
プ３２０４では、各スライス符号列の切り出しをslice_
start_code（図３８（ａ）参照）を探索することにより
行ない、ステップ３２０５では、切り出したスライスの
位置情報を取り出し、ステップ３２０６では、切り出し
たスライス符号列を、符号化サムネールの識別ＩＤ、マ
ルチ画面でのスライス位置情報、各画面領域でのスライ
ス位置情報、とともに動画像再符号化手段３１０４へ出
力し、ステップ３２０７では、１フレーム分の符号列中
の全スライスについて処理したかをチェックし、ステッ
プ３２０８では、入力マルチ画面動画像データの全フレ
ームについて処理したかをチェック、をそれぞれ行な
う。

【０１０８】図３３は、画面レイアウトテーブルのフォ
ーマットを示したものである。動画水平サイズおよび動
画垂直サイズには、入力となるマルチ画面動画像データ
のマクロブロック単位でのサイズ、画面数は、マルチ画
面を構成する画面領域数、画面ｍの識別IDは、各画面領
域ｍ部分に配置された符号化サムネール動画の識別Ｉ
Ｄ、画面ｍの位置情報は、画面領域ｍの左上角の座標位
置、画面ｍの水平サイズおよび垂直サイズは、画面領域
ｍのサイズをそれぞれ格納する。

【０１０９】図３４に、図２７で示すような画面構成を
持つマルチ画面動画データ入力時に作成される画面レイ
アウトテーブルの例を示したものである。以下、入力と
なったマルチ画面動画像データが、図２７のような画面
構成を持つ場合について説明する。

【０１１０】画面レイアウトテーブルの作成は画面レイ
アウトテーブル作成手段により行なわれ、ステップ３２
０１にて、マルチ画面動画像データ符号列の各ヘッダ部
（シーケンスヘッダ、ＧＯＰヘッダ、ピクチャヘッダ）
の拡張符号領域またはユーザデータ領域に、画面レイア
ウトテーブルが符号化されて出力されているかをチェッ
クし、もし出力されていれば、ステップ３２０２にて、
その符号列を読み込むことで作成される。

【０１１１】なお、マルチ画面動画像符号列中に画面レ
イアウトテーブルを出力するために、マルチ画面動画像
符号列を生成出力する動画像合成装置は、画面レイアウ
トテーブルを符号列中に出力する処理を行なう。例え
ば、実施の形態３における動画像合成手段２５０３は、
図２８に示したレイアウトテーブルから図３４の画面レ
イアウトテーブルへの変換を行ない、その画面レイアウ
トテーブルを符号化し出力する。

【０１１２】各スライス符号列の切り出しは、ステップ
３２０４にて、スライスの先頭を示すslice_start_code
の探索により行なわれる。切り出されたスライス符号列
の位置情報（マルチ画面でのスライス位置情報）は、ス
テップ３２０５にて、 水平位置＝先頭マクロブロックのMB_Addr_Incの値 垂直位置＝slice_start_codeの４バイト目の値 を参照することにより取得される。

【０１１３】マルチ画面動画像分割手段３１０２は、ス
テップ３２０６にて、画面レイアウトテーブルとマルチ
画面でのスライス符号列の位置情報から、符号化サムネ
ールの識別IDと各画面領域でのスライス位置情報を求
め、動画像再符号化手段３１０３へ出力する。

【０１１４】図３５は、図３４で示した画面レイアウト
テーブルと各位置情報例から求められる、符号化サムネ
ールの識別IDと各画面領域でのスライス位置情報を示し
たものである。なお、図３５は、図３２の処理フローで
処理された順に上から並んでいる。

【０１１５】次に、マルチ画面動画像分割手段３１０２
にて分割抽出されたスライス符号列を、別のマルチ画面
内に再合成可能な符号列に変換する処理について説明す
る。

【０１１６】図３６は、動画像再符号化手段３１０３
で、マルチ画面動画像分割手段３１０２から渡されたス
ライス符号列，マルチ画面での位置情報，画面領域での
位置情報から、スライス符号列を、別のマルチ画面内に
再合成可能な符号列への変換処理例を図示したものであ
る。ここで、動画像符号化手段３１０４が、マルチ画面
動画像分割手段３１０２から渡される値は、 スライス符号列 ：図３６（ａ）および（ｂ）で示される符号列 マルチ画面での位置情報：（５，６） 画面領域での位置情報 ：（１，２） 識別ＩＤ ：Ｅ のとおりである。すなわち、図３６は、図２７で示され
たマルチ画面動画において座標（５，６）に配置された
符号化サムネール動画Ｅの2番目のスライス符号列を変
換するものである。

【０１１７】図３６（ａ）は、マルチ画面動画像分割手
段３１０２から渡されたスライス符号列を示しており、
図３６（ｂ）は、さらにビット単位で詳細表示したもの
である。スライス符号列の垂直位置情報は、slice_star
t_codeの４バイト目、すなわちbuf[3]に格納されている
ので、buf[3]の値を画面領域での位置情報で示される垂
直位置 '2' にするために、 buf[3] = 2 の代入処理を行なう。

【０１１８】また、スライス符号列の水平位置は５から
１へと書き換える必要があるが、可変長符号ビットMB_A
ddr_Inc部分である。そのため、水平位置５を可変長符
号で表すと '0010'であり、水平位置１を可変長符号で
表すと '1' になる。したがって、水平位置を５から１
へと書き換えることによりMB_Addr_Inc部分には３ビッ
トが余るが、これを図３６（ｃ）のように３バイトのパ
ディングバイトを挿入することで吸収する。そして、図
３６（ｃ）から（ｄ）の部分に示されるように、水平位
置を１にする書き換え演算を行なう。

【０１１９】以上のようにしてスライス位置情報の書き
換え処理が行なわれたスライス符号列は、スライス単位
で合成可能な符号化サムネール動画Ｅの符号列として蓄
積手段２０６または直接動画像合成手段３１０４へ送ら
れ、マルチ画面合成動画として合成に利用される。

【０１２０】以上のように、本実施の形態では、マルチ
画面動画像を取り込む動画像取込手段と、取り込んだマ
ルチ画面動画像符号列から各画面領域部分のスライス符
号列を抽出するマルチ画面動画像分割手段と、マルチ画
面の各画面領域のサイズと位置情報との対応を保持する
画面レイアウトテーブルを作成する画面レイアウトテー
ブル作成手段と、前記スライス符号列を別のマルチ画面
内に再合成可能なスライス符号列への変換処理を行なう
動画像再符号化手段と、再符号化されたスライス符号列
同士を再合成し別画面構成のマルチ画面動画像符号列を
生成する動画像合成手段とを備え、動画像分割手段が、
抽出したスライス符号列のヘッダ部から位置情報を取り
出し、この位置情報を用いて画面レイアウトテーブルを
参照することで、対応する符号化サムネール動画の識別
ＩＤ，各画面領域での位置情報を導出し、この導出結果
を受けて、動画像再符号化手段が、前記スライス符号列
の位置情報を、マルチ画面のものから各画面領域のもの
へと変換を行なうことにより、前記スライス符号列を別
のマルチ画面内に再合成可能な符号列への変換処理を行
なうようにする画像合成装置を提供するものである。

【０１２１】以上のような過程を経ることにより、マル
チ画面動画像を別画面構成に再構成したマルチ画面動画
像を生成することを可能にし、特に、動画像再符号化手
段３１０３が、実施の形態１で説明した動画像符号化手
段２０４の出力する符号化サムネール動画と同じフォー
マットのスライス符号列を出力するので、出力されたス
ライス符号列は動画像合成手段によりスライス単位で再
合成可能なものとすることができ、その実用的効果は大
きい。

【０１２２】（第５の実施の形態）次に、本発明におけ
る第５の実施の形態について説明する。なお、前述した
実施の形態において説明済みのものについては同じ番号
を割り当て、その説明を省略する。

【０１２３】本実施の形態における動画像合成装置のブ
ロック図を図３７に示す。ここで、３７０１は、入力画
像に対し画像符号化フォーマットに基づく符号化処理を
行ない符号化画像を出力する画像符号化手段、３７０２
は、符号化画像を蓄積格納する蓄積手段、３７０３は、
少なくとも１つ以上の符号化画像を入力としマルチ画面
画像ストリームを生成する画像合成手段、３７０４は、
マルチ画面画像ストリームを復号しマルチ画面画像イメ
ージを生成表示する画像復号手段、である。

【０１２４】本実施の形態における動画像合成装置の動
作について以下説明する。本実施の形態では、入力画像
の画像符号化フォーマットとしてＭＰＥＧフォーマット
を例に使用するので、画像符号化手段３７０１は、実施
の形態１での動画像符号化手段２０４と同じものであ
り、その内部動作も同様の説明が適用される。すなわ
ち、入力画像としてサムネール動画、符号化画像として
符号化サムネール動画とした説明が適用される。したが
って、画像符号化手段３７０１は、実施の形態１での説
明に従い、ＭＰＥＧフォーマットで圧縮符号化された符
号化画像を蓄積手段３７０２へ出力する。

【０１２５】蓄積手段３７０２は、実施の形態１での蓄
積手段２０５と同じものであり、その内部動作も同様の
説明が適用される。また、蓄積手段３７０２は符号化画
像を蓄積格納し、このとき符号化画像に対して一意に識
別可能な画像ＩＤを割り当てて蓄積管理している。図１
０の（ａ）では、５つの符号化画像を蓄積し、それぞれ
の符号化画像に対し、Ａ，Ｂ，Ｃ，Ｄ，Ｅの画像ＩＤを
割り当てて蓄積管理している状態を示している。これら
の画像ＩＤを元に、任意の符号化画像を蓄積手段３７０
２から取り出すことが可能である。なお、各符号化画像
は、図６で示すような符号化サムネールの構成と同じで
ある。

【０１２６】画像合成手段３７０３は、少なくとも１つ
以上の符号化画像を蓄積手段３７０２から取り出し、画
像合成処理を行なうことでマルチ画面画像ストリームを
生成出力する。なお、本実施の形態における画像合成手
段３７０３は、実施の形態１での動画像合成手段２０７
と同じものであり、その内部動作も同様の説明が適用さ
れる。

【０１２７】本実施の形態では、画像合成手段３７０３
にて図３８に示すようなマルチ画面画像を生成する場合
について説明する。すなわち、画像合成手段３７０３
は、マルチ画面画像を縦に２分割，横に２分割の合計４
つの領域に分割された各領域に対し、蓄積手段３７０２
に格納されている各符号化画像を表示するようなマルチ
画面画像を合成する。

【０１２８】図３８に示すようなマルチ画面画像を表示
するためには、画像合成手段３７０３から出力されるマ
ルチ画面画像ストリームは、図３９で示されるような符
号列シーケンスでなければならない。したがって、画像
合成手段３７０３では、図３で示したようなステップを
経て、図３９で示す符号列生成処理を行なう。この符号
列生成処理により生成されるマルチ画面画像ストリーム
は、ＭＰＥＧフォーマットとして正しい符号列であるの
で、画像復号手段３７０４にてＭＰＥＧ再生が可能とな
る。

【０１２９】以上のように本実施の形態の動画像合成装
置を構成することで、可変長符号で定義される情報値を
変更することで生じる当該情報の符号長変化に対し、膨
大なビットシフト演算等の処理を要することなく当該情
報値の変更が可能になり、マルチ画面画像ストリーム生
成処理の高速化を図ることができる。

【０１３０】また、このとき、画像合成手段により生成
されたマルチ画面画像ストリームの符号列シーケンス
は、ＭＰＥＧフォーマットとして正しいものであるの
で、ＭＰＥＧ符号列を復号する画像復号手段、または画
像復号装置（一般的に、ＭＰＥＧデコーダと呼ぶ）によ
り復号、再生表示が可能となる。

【０１３１】なお、本実施の形態での画像符号化手段の
入力となる入力画像は、静止画、動画のどちらであって
も構わない。静止画の場合の処理は、本実施の形態（画
像符号化手段の動作説明としては実施の形態１参照）で
の説明において、フレームレベルでの処理部分で入力画
像が１フレームのみであった場合を適用することで説明
できる。

【０１３２】また、入力画像があらかじめ何らかの画像
符号化フォーマットで符号化処理が施されていても構わ
ない。この場合は、画像符号化手段は、入力画像に対し
て画像符号化フォーマットの変換処理を行なうことにな
る。

【０１３３】また、本実施の形態では、入力画像および
マルチ画面画像ストリームの画像符号化フォーマットと
してＭＰＥＧフォーマットを使用し説明しているが、画
像符号化フォーマットの規格として、可変長符号として
定義される情報を持つ全ての画像符号化フォーマットに
対し適用可能である。

【０１３４】また、本実施の形態では、可変長符号とし
て定義された情報の書き換えを行なう画像合成手段の基
本演算処理単位長が８ビット（すなわち、現在通常呼ば
れる１バイト）として説明しているが、基本単位長は１
以上の任意のもので構わない。

【０１３５】また、本実施の形態では、書き換えを行な
う情報として水平位置情報を例にしているが、画像符号
化フォーマットの規格として、可変長符号として定義さ
れる情報であればなんであっても構わない。また一度に
変更する情報が複数であっても構わない。

【０１３６】また、本実施の形態では、足りないビット
を補填するための拡張符号列としてextra_bit_sliceとe
xtra_information_sliceの組を使用しているが、画像符
号化フォーマットにおいて画像には影響を与えない、ま
たは影響の少ない符号列として定義される部分をあらか
じめ符号化画像中に出力しておいても構わない。

【０１３７】（第６の実施の形態）次に、本発明におけ
る第６の実施の形態について説明する。なお、前述した
実施の形態において説明済みのものについては同じ番号
を割り当て、その説明を省略する。

【０１３８】本実施の形態における動画像合成装置のブ
ロック図を図４０に示す。ここで、４００１、４００２
は、入力データに対して蓄積または保持またはなんらか
の処理を一時的もしくは長期にわたり行なったのちに出
力する遅延手段、４００３は、符号化画像を蓄積管理す
る合成サーバ、４００４は、マルチ画面画像ストリーム
の合成処理および再生表示する再生端末、である。

【０１３９】本実施の形態における動画像合成装置の動
作について以下説明する。遅延手段４００１および４０
０２は、磁気ディスク，メモリデバイスを含む記憶手段
により、遅延手段の入力データの遅延出力を行なった
り、フレーム間引き処理による遅延時間の調整などの処
理を行なう。

【０１４０】ここでは、遅延手段４００１（以下、遅延
手段１）は、画像符号化手段３７０１からの符号化画像
の符号列を一定時間遅延した後に出力する。この遅延時
間は遅延手段の外部から指定可能であり、例えば、再生
端末４００４から５秒遅延するような指示を行なうこと
が可能である。また、遅延時間の変更も可能であり、遅
延時間が１０秒だった初期状態から徐々に遅延時間を小
さくし、初期状態から１分後に遅延時間なし（０秒）に
なるようにすることで、追いかけ再生（Catch-Up）を行
なうことも遅延手段の処理に含まれる。

【０１４１】一方、遅延手段４００２（以下、遅延手段
２）は、蓄積手段３７０２から取り出した符号化画像に
対し、４フレーム置きに符号列を出力（つまり、フレー
ム番号が１，５，９，１３……のフレームの符号列）す
る。すなわち、遅延手段２から出力された符号化画像は
再生速度が４倍速の画像となる。

【０１４２】本実施の形態における画像合成手段は、図
４１に示すように、４つの経路から符号化画像の符号列
を入力する。図４１では、画像符号化手段は、入力画像
としてカメラからのリアルタイムライブ映像を入力し、
ＭＰＥＧ符号化処理を行ない、画像ＩＤがＸである符号
化画像を出力している。

【０１４３】また、遅延手段１では、前述の遅延処理を
行なうとともに、画像ＩＤの変更を行なっており、ここ
ではＸ′に変更している。また、蓄積手段からは画像Ｉ
ＤがＢである符号化画像が取り出されている。遅延手段
２では、前述の遅延処理を行なうとともに、画像ＩＤを
Ｂ′に変更している。

【０１４４】したがって、画像合成手段３７０３は、画
像ＩＤがＸ，Ｘ′，Ｂ，Ｂ′の４つの符号化画像の合成
処理を行なう。

【０１４５】図４０で示すように、動画像合成装置の構
成として、再生端末側に画像合成手段を配置することも
可能である。また、その際の画像合成手段３７０３の内
部処理については実施の形態１と同様であり、画像復号
手段３７０４は、画像合成手段により合成されたマルチ
画面画像ストリームを復号再生する。

【０１４６】本実施の形態によるマルチ画面画像の再生
イメージ例を図４２に示す。図４２は、ライブ映像、ラ
イブ映像の遅延映像、蓄積映像、蓄積映像の変速映像、
のような各種映像を各画面領域にマルチ画面画像として
合成した際の再生イメージ例である。

【０１４７】以上のように本実施の形態の動画像合成装
置を構成することで、入力画像としてカメラからの映像
のようなリアルタイムライブ映像と蓄積映像などのマル
チ画面合成表示が可能であり、また、遅延手段によるラ
イブ映像部分の遅延再生、フレーム間引き処理による遅
延時間の調整などを行なったマルチ画面画像の再生表示
が可能となる。

【０１４８】（第７の実施の形態）次に、本発明におけ
る第７の実施の形態について説明する。なお、前述した
実施の形態において説明済みのものについては同じ番号
を割り当て、その説明を省略する。

【０１４９】本実施の形態における動画像合成装置のブ
ロック図を図４３に示す。ここで、４３０１は、出力と
するマルチ画面画像の再生画面を少なくとも１つ以上の
領域に分割したときの各領域の構成をマルチ画面レイア
ウト情報として保持するレイアウトテーブル、４３０２
は、レイアウトテーブル内のマルチ画面レイアウト情報
の値を変更するレイアウトテーブル変更手段、である。

【０１５０】本実施の形態における動画像合成装置の動
作について以下説明する。本実施の形態において、実施
の形態３での説明と同様の部分については、説明を省略
する。つまり、入力画像としてサムネール動画、符号化
画像として符号化サムネール動画とした説明が適用され
る。また、レイアウトテーブル４３０１は、実施の形態
３でのレイアウトテーブルと同じものであり、その構成
も同様の説明が適用される。また、画像合成手段３７０
３は、図２５に示される実施の形態３での動画像合成手
段２５０３と同じものであり、その内部動作も同様の説
明が適用される。

【０１５１】図４４は、レイアウトテーブル変更手段４
３０２でレイアウトテーブルの内容を変更する前後のマ
ルチ画面画像の画面構成を示すものである。図４４で示
すように、本実施の形態により、画像合成手段３７０３
は画面構成のまったく異なるマルチ画面画像ストリーム
を生成することが可能となる。

【０１５２】図４５は、画像合成手段３７０３における
符号化画像の合成処理を示すものである。図４５におい
て、ステップ４５０１では、図２６に示される実施の形
態３におけるステップ２６０１と同じく初期化処理を行
ない、初期状態として図４４の上のような画面構成を持
つレイアウトテーブルを作成し、ステップ４５０２で
は、画像合成手段が、レイアウトテーブルの参照を行な
う。すなわち、画像合成手段３７０３は、マルチ画面画
像ストリーム生成処理におけるフレームレベルでの処理
開始時に、その時点でのレイアウトテーブルの参照を行
ない（ステップ４５０２）、レイアウトテーブル内のマ
ルチ画面レイアウト情報に沿った合成処理（図４５での
ステップ８０３からステップ８０９）を行なう。これに
より、レイアウトテーブル変更手段４３０２によるマル
チ画面画像の画面構成変更は、フレームレベルで行なわ
れることになる。

【０１５３】以上のように本実施の形態の動画像合成装
置を構成することで、マルチ画面画像の各領域の配置構
成、各領域のサイズ、各領域に表示される符号化画像な
どを動的変更が可能となる。

【０１５４】（第８の実施の形態）次に、本発明におけ
る第８の実施の形態について説明する。なお、前述した
実施の形態において説明済みのものについては同じ番号
を割り当て、その説明を省略する。

【０１５５】本実施の形態における動画像合成装置のブ
ロック図を図４６に示す。ここで、４６０１は、入力画
像に対し画像符号化フォーマットに基づく符号化処理を
行ない符号化画像を出力する画像符号化手段、４６０２
は、少なくとも１つ以上の符号化画像を入力としマルチ
画面画像ストリームを生成する画像合成手段、である。

【０１５６】本実施の形態における動画像合成装置の動
作について以下説明する。まず、本実施の形態の画像符
号化手段４６０１による入力画像の符号化処理について
説明する。本実施の形態の画像符号化手段４６０１によ
り、画像符号化手段へ入力された入力画像はＭＰＥＧフ
ォーマットとして符号化処理が施され、符号化画像とし
て蓄積手段３７０２に蓄積される。画像符号化手段４６
０１のＭＰＥＧ符号化処理フローは、実施の形態１の図
３と同じである。なお、図３の説明におけるサムネール
動画と本実施の形態における入力画像とは同じものとし
て扱うことができる。

【０１５７】図４７は、画像符号化手段４６０１が、図
３に示されるステップ３０３，３０５，３０６，３０８
にて、入力画像を各スライス単位でＭＰＥＧ符号化し、
符号化画像として出力した際の符号列の一例を示したも
のである。図４７（ａ），（ｂ），（ｃ），（ｄ）は、
それぞれ図５（ａ），（ｃ），（ｄ），（ｅ）の説明が
適用される。

【０１５８】このように、本実施の形態における符号化
画像の符号列は、一般的なＭＰＥＧ符号化手段またはＭ
ＰＥＧ符号化装置（一般的に、ＭＰＥＧエンコーダと呼
ぶ）により生成されたものと同じものである。したがっ
て、本実施の形態における画像符号化手段４６０１は、
一般的なＭＰＥＧ符号化手段を使用することができる。

【０１５９】画像符号化手段４６０１により出力された
符号化画像は、蓄積手段３７０２により蓄積管理され
る。図４８は、蓄積手段３７０２に蓄積されている符号
化画像の一例を示したものである。図４８の例では、蓄
積手段３７０２には、画像ＩＤがそれぞれＡ，Ｂ，Ｃ，
Ｄ，Ｅで識別される符号化画像が蓄積されている。ま
た、符号化画像は、水平に２スライスに分割され、各ス
ライスは３つのマクロブロックで構成されていることを
示している。

【０１６０】次に、本発明における符号化画像の可変長
で定義された情報値の書換え処理について説明する。

【０１６１】本実施の形態では、図３８で示すようなマ
ルチ画面画像を合成する場合を例に説明する。マルチ画
面画像の合成処理は画像合成手段４６０２により行なわ
れ、その処理フローは、実施の形態１の図８と同じであ
る。なお、図８の説明における符号化サムネール動画と
本実施の形態における符号化画像とは同じものとして扱
うことができる。

【０１６２】図４９は、画像合成手段４６０２が、図８
に示すステップ８０４にて行なうスライス符号列の読み
出し処理を示したものである。読み出されたスライス符
号列は、先頭アドレスが変数Ｂｕｆによりポインティン
グされるバッファ内に格納される。

【０１６３】画像合成手段４６０２は、図８に示すステ
ップ８０５にて行なうスライス表示位置情報の書換え処
理は次のようにして行なう。

【０１６４】垂直位置情報の書換えについては、実施の
形態１における図１１の説明が適用される。ステップ８
０５における可変長符号で定義された水平位置情報の書
換え処理を、水平位置の値が１から４に変化した場合を
例に説明する。蓄積手段３７０２に格納された状態で
は、図４７に示すように、符号化画像の水平位置情報値
は１であり、その符号列は１ビット長の'1'である。こ
れを水平位置４に書き換えるためには、水平位置４を可
変長符号であらわすと４ビット長の'0011'となる。した
がって、３ビット分の符号列が不足する。そこで、不足
分の符号列を補い、可変長符号で定義された水平位置情
報値を高速に書きかえる方法について、図５０をもとに
説明する。

【０１６５】図５０（ａ）は、ステップ８０４にてバッ
ファ中にスライス１Ａの符号列が読み込まれた状態を示
しており、（ｂ）はその時のスライスヘッダ近傍をさら
に詳細に示したものである。

【０１６６】画像合成手段４６０２は、まず buf[4]部
分の書換えを行なう。本実施形態では、 buf[4] ＝ buf[4] | 0x07 とする。その後、buf[0]から buf[4]までの５バイトを
マルチ画面画像ストリームの符号列として出力する。

【０１６７】次に、６バイトの挿入処理として、0xffを
６バイト、同じくマルチ画面画像ストリームの符号列と
して出力する。

【０１６８】最後に、水平位置情報の書換え処理とし
て、 buf[10] ＝ 0xc6 + （buf[4] & 0x01） を行なったのち、buf[10]からうしろのすべてのスライ
ス符号列をマルチ画面画像ストリームの符号列として出
力する。

【０１６９】なお、厳密なことを述べると、水平位置情
報の書換え処理時に buf[4]の値を参照するために、最
初に buf[4]の書換えを行なう際に buf[4]の値は一時
的に変数に格納しておく必要がある。

【０１７０】以上のような処理により、可変長符号で定
義された情報値の書換えを、単純な計算を数回行なうの
みで完了させることができる。したがって、可変長符号
で定義される情報値を変更することで生じる当該情報の
符号長変化に対し、膨大なビットシフト演算等の処理を
要することなく当該情報値の変更を可能にするものであ
り、マルチ画面画像生成処理の高速化を図ることができ
る。

【０１７１】また、本画像合成手段の入力となる符号化
画像を生成する画像符号化手段が、前述の高速化を実現
するための特別な処理を行なっておく必要がないため、
前記画像符号化フォーマットに基づいた符号化処理を行
なう一般的な画像符号化手段を使用することができる。
また、前記画像符号化フォーマットに基づく一般的な符
号化画像同士の編集処理の高速化を図ることができる。

【０１７２】なお、以上の実施の形態の説明においては
専ら、動画像を対象にして説明してきたが、これに止ま
らず動画、静止画、音声、テキストなどにおいて、可変
長データを扱う素材全てについても同様に扱うことがで
きるものである。その場合においては、「合成」という
用語では内容を十分言い尽くすことはできないので、
「合成」という用語に代えて、「編集」という用語に置
き換える方が適切である。

【０１７３】

【発明の効果】以上のように、本発明では、可変長デー
タ（動画像）を編集するにあたり、取り込んだ可変長デ
ータ（動画像）を縮小、符号化、（蓄積、）編集、復号
化という手順で行なうため、従来のように復号してから
編集（表示のための配置）する手法だと編集画像分の復
号化処理を要するのに対し、編集してから復号するため
復号化処理が１回で済むので、編集処理に要する時間が
最小限に抑えられるのは勿論のこと、編集前の縮小・符
号化画像が、編集画像のどこに配置されるか未定である
場合を考慮して、符号化の際にその位置情報の変更が容
易にできるように符号化を行ない、編集の際にその位置
情報の変更を要する場合にその変更を容易に行なうこと
ができるため、様々な画像の編集（編集前の縮小画像
を、編集後のマルチ画面上の任意の位置への配置・表
示）が行なえるという効果を奏するものである。

【０１７４】そして、実施の形態１〜４で例示したよう
に、ＭＰＥＧ規格の場合、第１に、可変長データ（動画
像）符号化手段が、スライスの水平座標が変更されたこ
とによる MB_Addr_Inc のビット数が変化した場合に
備えて、足りなくなったビットを補うための符号列（補
填符号列）をあらかじめ出力しておくことで、可変長デ
ータ（動画像）編集手段が、スライス単位でマルチ画面
編集を行なうための可変長符号ビットである MB_Addr_
Inc（スライスの水平位置情報）書き換え処理を単純な
計算を数回行なうだけで完了させることが可能なため、
マルチ画面合成動画生成の高速化を可能にする。

【０１７５】また、前記補填符号列として、extra_bit_
slice と extra_information_sliceの８組を補填符号列
として出力する可変長データ（動画像）符号化手段を備
えることで、可変長データ（動画像）編集手段が前記補
填符号列から任意数の不足ビットの補填と macroblock_
escape符号列生成を行なうことを可能にし、スライスの
表示位置を示す可変長符号ビット部分の任意値への書き
換えを可能にする。

【０１７６】第２に、可変長データ（動画像）符号化手
段が、マクロブロック符号列の先頭と末端がバイト境界
をまたがらないようにし、かつ、ＭＰＥＧビデオシーケ
ンスとして正しい符号列となるような処理を施したマク
ロブロック符号列を生成しておくことにより、可変長デ
ータ（動画像）編集手段が、マクロブロック符号列をラ
スタスキャンオーダーで連結するだけで所望のマルチ画
面合成動画の符号列を生成することが可能になるため、
マルチ画面合成動画生成の高速化を可能にする。

【０１７７】第３に、可変長データ（動画像）編集手段
が、画面サイズの異なる符号化サムネール動画同士をス
ライス単位で編集可能にすることで、マルチメディア情
報編集装置（動画像合成装置）が、画面サイズの異なる
符号化サムネール動画同士を混在させたマルチ画面合成
動画像の符号列を提供できるという効果を得ることがで
きる。

【０１７８】第４に、すでにマルチ画面合成動画になっ
ているＭＰＥＧ符号列を、元の複数の符号化サムネール
動画に分離し、かつ分離した符号化サムネール動画が再
び任意位置に配置可能にするものであり、これにより、
衛星放送など、ある決められたマルチ画面番組一覧のよ
うなマルチ画面動画符号列から、視聴者の所望する組み
合わせ・順序の番組一覧を再構成することを可能にする
という効果が得られる。

【０１７９】第５に、可変長データ（画像）編集手段
が、入力とする各符号化画像の情報値を書き換えること
で、マルチ画面画像ストリーム中の各符号化画像の符号
列が、前記画像符号化フォーマットとして正しい情報値
であり、かつ、マルチ画面画像ストリーム中の各符号化
画像の符号列シーケンスが前記画像符号化フォーマット
として正しいシーケンスであるようなマルチ画面画像ス
トリームを出力するものであり、これにより、可変長符
号で定義される情報値を変更することで生じる当該情報
の符号長変化に対し、膨大なビットシフト演算等の処理
を要することなく当該情報値の変更を可能にし、マルチ
画面画像ストリーム生成処理の高速化を図ることができ
る。

【０１８０】また、このとき、可変長データ（画像）編
集手段により生成されたマルチ画面画像ストリームの符
号列シーケンスは、ＭＰＥＧフォーマットとして正しい
ものであるので、ＭＰＥＧ符号列を復号する可変長デー
タ（画像）復号手段、または可変長データ（画像）復号
装置（一般的に、ＭＰＥＧデコーダと呼ぶ）により復
号、再生表示が可能となる。

【０１８１】第６に、マルチメディア情報編集装置（動
画像合成装置）として、遅延手段を配置していない工程
が存在するような構成をとり、可変長データ（画像）編
集手段が、前記遅延手段を１度も経由することなく生成
される符号化画像を少なくとも１つ以上入力とするもの
であり、これにより、入力画像としてカメラからの映像
のようなリアルタイムライブ映像と蓄積映像などのマル
チ画面編集表示が可能であり、また、遅延手段によるラ
イブ映像部分の遅延再生、フレーム間引き処理による遅
延時間の調整などを行なったマルチ画面画像の再生表示
が可能となる。

【０１８２】第７に、レイアウトテーブル内のマルチ画
面レイアウト情報の値を任意のタイミングで変更するレ
イアウトテーブル変更手段を備え、可変長データ（画
像）編集手段が、変更後のマルチ画面レイアウト情報の
値を参照することで、出力となるマルチ画面画像ストリ
ームの画面レイアウトの動的変更を可能にするものであ
り、これにより、マルチ画面画像の各領域の配置構成、
各領域のサイズ、各領域に表示される符号化画像などを
動的変更が可能となる。

【０１８３】第８に、画像符号化フォーマットに基づい
た符号化処理により生成された符号化画像を少なくとも
１つ以上入力とすることでマルチ画面画像ストリームを
生成する可変長データ（画像）編集手段を備え、この可
変長データ（画像）編集手段が、画像符号化フォーマッ
トにおいて可変長符号として定義される情報値の変更を
要する場合に、画像符号化フォーマットにおいて画像に
は影響を与えない符号列として定義される拡張符号列部
分を利用し、マルチ画面画像ストリーム中に前記拡張符
号列を出力することで符号化画像中の当該情報値を別の
値に変更するものであり、これにより、可変長符号で定
義される情報値を変更することで生じる当該情報の符号
長変化に対し、膨大なビットシフト演算等の処理を要す
ることなく当該情報値の変更を可能にするものであり、
マルチ画面画像生成処理の高速化を図ることができる。

【０１８４】また、本可変長データ（画像）編集手段の
入力となる符号化画像を生成する可変長データ（画像）
符号化手段が、前述の高速化を実現するための特別な処
理を行なっておく必要がないため、画像符号化フォーマ
ットに基づいた符号化処理を行なう一般的な可変長デー
タ（画像）符号化手段を使用することができる。また、
画像符号化フォーマットに基づく一般的な符号化画像同
士の編集処理の高速化を図ることができる。

【図面の簡単な説明】

【図１】本発明の動画像合成装置の構成を示す概略図、

【図２】本発明の第１の実施の形態における動画像合成
装置のブロック図、

【図３】本発明の第１の実施の形態における動画像符号
化手段の動作を示す処理フロー図、

【図４】本発明の第１の実施の形態におけるサムネール
動画のブロック分割の例図、

【図５】本発明の第１の実施の形態における動画像符号
化手段の出力する符号列の例図、

【図６】本発明の第１の実施の形態における蓄積手段に
蓄積されている符号化サムネール動画の一覧の例図、

【図７】本発明の第１の実施の形態における動画像一覧
生成手段が動画像合成手段に出した要求によるマルチ画
面の例図、

【図８】本発明の第１の実施の形態における動画像合成
手段の動作を示す処理フロー図、

【図９】本発明の第１の実施の形態における動画像合成
手段内部のループ処理の例図、

【図１０】本発明の第１の実施の形態における動画像合
成手段による蓄積手段内のスライス符号列読み出し処理
の例図、

【図１１】本発明の第１の実施の形態におけるスライス
の垂直位置情報の書き換え処理の例図（垂直位置＝
３）、

【図１２】本発明の第１の実施の形態におけるスライス
の水平位置情報の書き換え処理の例図（水平位置＝
４）、

【図１３】本発明の第１の実施の形態におけるスライス
の水平位置情報の書き換え処理の例図（水平位置＝
７）、

【図１４】本発明の第１の実施の形態におけるスライス
の水平位置情報の書き換え処理の例図（水平位置＝１
３）、

【図１５】本発明の第１の実施の形態におけるスライス
の水平位置情報の書き換え処理の例図（水平位置＝３
７）、

【図１６】本発明の第２の実施の形態における動画像合
成装置のブロック図、

【図１７】本発明の第２の実施の形態における動画像符
号化手段の動作を示す処理フロー図、

【図１８】本発明の第２の実施の形態におけるスライス
ヘッダ符号列の例図、

【図１９】本発明の第２の実施の形態における作業バッ
ファの動作の例図、

【図２０】本発明の第２の実施の形態における動画像符
号化手段のＭＰＥＧ符号化処理時の作業バッファの動作
の例図、

【図２１】本発明の第２の実施の形態におけるmacroblo
ck_stuffingの挿入数と変数ｂの値の関係図、

【図２２】本発明の第２の実施の形態における動画像合
成手段の動作を示す処理フロー図、

【図２３】本発明の第２の実施の形態における動画像合
成手段内部のループ処理の例図、

【図２４】本発明の第２の実施の形態におけるマルチ画
面１フレーム分の編集画像処理順序の例図、

【図２５】本発明の第３の実施の形態における動画像合
成装置のブロック図、

【図２６】本発明の第３の実施の形態における動画像符
号化手段の動作を示す処理フロー図、

【図２７】本発明の第３の実施の形態におけるマルチ画
面構成の例図、

【図２８】本発明の第３の実施の形態における２次元配
列変数Ｖの初期化の例図、

【図２９】本発明の第３の実施の形態における動画像合
成手段内部のループ処理の例図、

【図３０】本発明の第３の実施の形態におけるスキップ
スライス符号列の例図、

【図３１】本発明の第４の実施の形態における動画像合
成装置のブロック図、

【図３２】本発明の第４の実施の形態におけるマルチ画
面動画像分割手段の動作を示す処理フロー図、

【図３３】本発明の第４の実施の形態における画面レイ
アウトテーブルのフォーマットの例図、

【図３４】本発明の第４の実施の形態における動画像一
覧生成手段が動画像合成手段に出した要求によるマルチ
画面の例図、

【図３５】本発明の第４の実施の形態におけるマルチ画
面動画像分割手段の処理経過の例図、

【図３６】本発明の第４の実施の形態における動画像再
符号化手段によるスライス符号列変換処理の例図、

【図３７】本発明の第５の実施の形態における動画像合
成装置のブロック図、

【図３８】本発明の第５の実施の形態におけるマルチ画
面の例図、

【図３９】本発明の第５の実施の形態におけるマルチ画
面画像の符号列シーケンス、

【図４０】本発明の第６の実施の形態における動画像合
成装置のブロック図、

【図４１】本発明の第６の実施の形態における画像合成
手段への符号化画像の入力経路、

【図４２】本発明の第６の実施の形態におけるマルチ画
面画像の再生イメージ、

【図４３】本発明の第７の実施の形態における動画像合
成装置のブロック図、

【図４４】本発明の第７の実施の形態におけるレイアウ
トテーブルの内容変更前後のマルチ画面画像の画面構
成、

【図４５】本発明の第７の実施の形態における画像合成
手段における符号化画像の編集処理、

【図４６】本発明の第８の実施の形態における動画像合
成装置のブロック図、

【図４７】本発明の第８の実施の形態における画像符号
化手段の出力する符号列の例図、

【図４８】本発明の第８の実施の形態における蓄積手段
に蓄積されている符号化画像の一覧の例図、

【図４９】本発明の第８の実施の形態における画像合成
手段による蓄積手段内のスライス符号列読み出し処理の
例図、

【図５０】本発明の第８の実施の形態におけるスライス
の水平位置情報の書換え処理の例図、

【図５１】従来例におけるブロック構成図、

【図５２】ＭＰＥＧでのビデオストリームのシンタック
スの一部の例図、

【図５３】スライス水平位置情報書き換え時の現象を示
した例図、

【図５４】バイトアライメントされていないマクロブロ
ック連結時の現象を示した例図である。

【符号の説明】

１０１ 動画像取込手段 １０２ 動画像縮小手段 １０３ 動画像符号化手段 １０４ 合成作業メモリ １０５ 蓄積手段 １０６ 動画像合成手段 １０７ 動画像一覧生成手段 １０８ 動画像復号化手段 １０９ 動画像表示手段

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 ＦＩ Ｈ０４Ｎ 1/387 Ｈ０４Ｎ 1/387 5/262 5/262 5/78 5/78 Ｂ 5/92 5/92 Ｈ (72)発明者 加藤 等 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 由雄 宏明 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 加藤 毅 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 早川 佳宏 大阪府門真市大字門真1006番地 松下電器 産業株式会社内

Claims (36)

【特許請求の範囲】
1. 【請求項１】 可変長データを取り込む可変長データ取
   込手段と、前記可変長データを縮小し、縮小可変長デー
   タを生成する可変長データ縮小手段と、前記縮小可変長
   データを符号化し符号化可変長データを生成する可変長
   データ符号化手段と、前記符号化可変長データを蓄積格
   納する蓄積手段と、前記蓄積手段に蓄積した１つ以上の
   符号化可変長データを編集しマルチ画面可変長データを
   生成する可変長データ編集手段と、前記マルチ画面可変
   長データを復号する可変長データ復号化手段と、復号化
   された可変長データを画面表示する可変長データ表示手
   段とを備え、 前記可変長データ符号化手段が、縮小可変長データが有
   する位置情報から、編集の際にその縮小可変長データの
   配置によって前記位置情報に変更が生じた場合を考慮し
   て、その位置情報の変更を容易にする符号化を行ない、 前記可変長データ編集手段が、その編集処理によって、
   縮小可変長データが有する位置情報の変更を要する場
   合、前記位置情報をその編集処理に必要な位置情報へ変
   更することを特徴とするマルチメディア情報編集装置。
2. 【請求項２】 可変長データを取り込む可変長データ取
   込手段と、前記可変長データを縮小しサムネール動画を
   生成する可変長データ縮小手段と、前記サムネール動画
   をＭＰＥＧ符号化し符号化サムネール動画を生成する可
   変長データ符号化手段と、前記符号化サムネール動画を
   蓄積格納する蓄積手段と、前記蓄積手段に蓄積した１つ
   以上の前記符号化サムネール動画を編集しマルチ画面可
   変長データを生成する可変長データ編集手段と、前記マ
   ルチ画面可変長データを復号する可変長データ復号化手
   段と、復号化された可変長データを画面表示する可変長
   データ表示手段とを備え、 前記可変長データ符号化手段が、スライスの水平座標が
   変更されたことにより MB_Addr_Inc 部分のビット数変
   化が生じる場合を考慮して、足りなくなったビットを補
   うための補填符号列をあらかじめ出力し、 前記可変長データ編集手段が、前記補填符号列部分から
   足りないビットを補うことで可変長符号列ビットである
   MB_Addr_Inc の値の書き換えを行なうことによりマルチ
   画面可変長データ符号列を生成することを特徴とするマ
   ルチメディア情報編集装置。
3. 【請求項３】 可変長データ符号化手段および可変長デ
   ータ編集手段が、足りなくなったビットを補うための補
   填符号列を、ＭＰＥＧビデオシーケンスにおけるスライ
   スヘッダ部の extra_bit_slice と extra_information_
   slice 部分を利用することを特徴とする請求項２記載の
   マルチメディア情報編集装置。
4. 【請求項４】 可変長データ符号化手段が、補填符号列
   として extra_bit_slice と extra_information_slice
   の８組を補填符号列として出力し、 可変長データ編集手段が、前記補填符号列から任意数の
   不足ビットの補填と macroblock_escape 符号列生成を
   行なうことを特徴とする請求項３記載のマルチメディア
   情報編集装置。
5. 【請求項５】 可変長データを取り込む可変長データ取
   込手段と、前記可変長データを縮小しサムネール動画を
   生成する可変長データ縮小手段と、前記サムネール動画
   をＭＰＥＧ符号化し符号化サムネール動画を生成する可
   変長データ符号化手段と、前記符号化サムネール動画を
   蓄積格納する蓄積手段と、前記蓄積手段に蓄積した１つ
   以上の前記符号化サムネール動画を編集しマルチ画面可
   変長データを生成する可変長データ編集手段と、前記マ
   ルチ画面可変長データを復号する可変長データ復号化手
   段と、復号化された可変長データを画面表示する可変長
   データ表示手段とを備え、 前記可変長データ符号化手段が、補充符号列の挿入によ
   りマクロブロック符号列の先頭と末端がバイト境界に接
   した状態になるようにし、 前記可変長データ編集手段が、目的とするマルチ画面を
   構成するように前記マクロブロック符号列をラスタスキ
   ャンオーダー順に並べることによりマルチ画面可変長デ
   ータ符号列を生成することを特徴とするマルチメディア
   情報編集装置。
6. 【請求項６】 可変長データ符号化手段が、マクロブロ
   ック符号列の先頭がバイト境界に接した状態になるよう
   にするための補充符号列として、ＭＰＥＧビデオシーケ
   ンスにおけるスライスヘッダ部の extra_bit_slice と
   extra_information_slice 部分を利用することを特徴と
   する請求項５記載のマルチメディア情報編集装置。
7. 【請求項７】 可変長データ符号化手段が、マクロブロ
   ック符号列の末端がバイト境界に接した状態になるよう
   にするための補充符号列として、マクロブロック符号列
   の先頭部分にＭＰＥＧビデオシーケンスにおける macro
   block_stuffing を挿入することを特徴とする請求項５
   記載のマルチメディア情報編集装置。
8. 【請求項８】 可変長データ編集手段が、マルチ画面を
   マクロブロックサイズで領域分割したときの各領域のマ
   ルチ画面レイアウト情報を保持するレイアウトテーブル
   と、前記レイアウトテーブルを作成するレイアウトテー
   ブル作成手段を備え、 前記可変長データ編集手段が、マルチ画面可変長データ
   符号列として出力処理を行なうべき符号化サムネール動
   画符号列を、レイアウトテーブルの参照することにより
   決定することを特徴とする請求項２記載のマルチメディ
   ア情報編集装置。
9. 【請求項９】 マルチ画面可変長データを取り込む可変
   長データ取込手段と、前記マルチ画面可変長データの符
   号列から各画面領域部分のスライス符号列を抽出するマ
   ルチ画面可変長データ分割手段と、マルチ画面の各画面
   領域のサイズと位置情報との対応を保持する画面レイア
   ウトテーブルを作成する画面レイアウトテーブル作成手
   段と、前記スライス符号列を別のマルチ画面内に再編集
   可能なスライス符号列への変換処理を行なう可変長デー
   タ再符号化手段と、請求項２記載の符号化サムネール動
   画を蓄積格納する蓄積手段と、前記再符号化されたスラ
   イス符号列同士を再編集し別画面構成のマルチ画面可変
   長データ符号列を生成する可変長データ編集手段と、マ
   ルチ画面を構成する可変長データの組み合わせ・順序一
   覧を生成する可変長データ一覧生成手段と、前記マルチ
   画面可変長データを復号する可変長データ復号化手段
   と、復号化された可変長データを画面表示する可変長デ
   ータ表示手段とを備え、 前記マルチ画面可変長データ分割手段が、抽出した前記
   スライス符号列を再符号化するために必要な符号化サム
   ネール動画の識別ＩＤ、マルチ画面での位置情報、各画
   面領域での位置情報を画面レイアウトテーブルから導出
   し、 前記可変長データ再符号化手段が、前記導出結果から前
   記スライス符号列を別のマルチ画面内に再編集可能な符
   号列への変換処理を行なうことで、前記マルチ画面可変
   長データを別画面構成にしたマルチ画面可変長データを
   生成することを特徴とするマルチメディア情報編集装
   置。
10. 【請求項１０】 可変長データ一覧生成手段が、蓄積手
    段内に蓄積されている符号化サムネール動画と再符号化
    されたスライス符号列からなる可変長データの両方から
    選択的に可変長データ一覧を生成し、 可変長データ編集手段が、前記可変長データ一覧生成手
    段の生成した可変長データ一覧に基づき、前記蓄積手段
    内に蓄積されている符号化サムネール動画符号列と前記
    再符号化されたスライス符号列の両方から符号列を取得
    することを特徴とする請求項９記載のマルチメディア情
    報編集装置。
11. 【請求項１１】 入力となる可変長データに対し可変長
    データ符号化フォーマットに基づく符号化処理を行ない
    符号化可変長データを出力する可変長データ符号化手段
    と、少なくとも１つ以上の前記符号化可変長データを入
    力としマルチ画面可変長データストリームを生成する可
    変長データ編集手段を備え、 前記可変長データ符号化手段が、前記可変長データ符号
    化フォーマットにおいて可変長符号として定義される情
    報値の変更が生じた場合を考慮して、前記可変長データ
    符号化フォーマットにおいて可変長データには影響を与
    えない符号列として定義される拡張符号列をあらかじめ
    前記符号化可変長データ中に出力しておき、 前記可変長データ編集手段が、前記拡張符号列部分を利
    用することで前記符号化可変長データの当該情報値を別
    の値に変更し、これにより編集処理を行なうことを特徴
    とするマルチメディア情報編集装置。
12. 【請求項１２】 前記可変長データ編集手段が、入力と
    する各符号化可変長データの情報値を書き換えること
    で、マルチ画面可変長データストリーム中の各符号化可
    変長データの符号列が、前記可変長データ符号化フォー
    マットとして正しい情報値であり、かつ、マルチ画面可
    変長データストリーム中の各符号化可変長データの符号
    列シーケンスが前記可変長データ符号化フォーマットと
    して正しいシーケンスであるようなマルチ画面可変長デ
    ータストリームを出力することを特徴とする請求項１１
    記載のマルチメディア情報編集装置。
13. 【請求項１３】 前記可変長データ編集手段が、１つの
    前記符号化可変長データのみを入力とする場合には、マ
    ルチ画面の可変長データを生成するのではなく、当該符
    号化可変長データ中で可変長符号として定義される前記
    情報値の変更を行ない、情報値変更後の符号化可変長デ
    ータを出力することを特徴とする請求項１１記載のマル
    チメディア情報編集装置。
14. 【請求項１４】 前記可変長データ編集手段が、可変長
    符号として定義される情報値変更を行なうために、当該
    可変長データ編集手段の基本演算処理単位長をＮビット
    としたとき、Ｎの任意倍数分のビット符号列を当該拡張
    符号列部分から間引くことで、当該情報値の値変更によ
    り発生する当該情報符号長の増加減分ビット列を調整す
    ることを特徴とする請求項１１記載のマルチメディア情
    報編集装置。
15. 【請求項１５】 前記演算単位長が、汎用計算機のＣＰ
    Ｕ（中央演算装置）での演算単位長である４ビット、ま
    たは８ビット（１バイト）、または１６ビット、または
    ３２ビット、または６４ビットであることを特徴とする
    請求項１４記載のマルチメディア情報編集装置。
16. 【請求項１６】 さらに、入力データに対して蓄積また
    は保持またはなんらかの処理を一時的もしくは長期にわ
    たり行なったのちに出力する遅延手段を備え、 このとき、前記可変長データ編集手段が、少なくとも１
    つ以上の前記遅延手段を経て生成される前記符号化可変
    長データを入力とすることを特徴とする請求項１１記載
    のマルチメディア情報編集装置。
17. 【請求項１７】 マルチメディア情報編集装置として、
    前記可変長データ符号化手段より入力側の工程、または
    前記可変長データ符号化手段から前記可変長データ編集
    手段との間の工程、またはその両方の工程中に前記請求
    項１６に記載の遅延手段を配置していない工程が存在す
    るような構成をとり、 前記可変長データ編集手段が、前記構成により前記遅延
    手段を１度も経由することなく生成される前記符号化可
    変長データを少なくとも１つ以上入力とすることを特徴
    とする請求項１１記載のマルチメディア情報編集装置。
18. 【請求項１８】 さらに、出力とするマルチ画面可変長
    データの再生画面を少なくとも１つ以上の領域に分割し
    たときの各領域の構成を、マルチ画面レイアウト情報と
    して保持するレイアウトテーブルを備え、 前記レイアウトテーブルが、マルチ画面レイアウト情報
    として、少なくとも前記マルチ画面可変長データにおけ
    る各領域の配置位置情報および各領域のサイズ情報を保
    持し、 前記可変長データ編集手段が、前記マルチ画面可変長デ
    ータストリームを生成する際に、前記可変長符号として
    定義される情報値および固定長符号として定義される情
    報値を、前記レイアウトテーブルに保持されている値に
    変更することを特徴とする請求項１１記載のマルチメデ
    ィア情報編集装置。
19. 【請求項１９】 前記符号化可変長データが、一意の識
    別子により互いに識別可能であるとともに、識別子によ
    り任意の識別子を持つ符号化可変長データの取得が可能
    であり、 前記レイアウトテーブルが、前記マルチ画面レイアウト
    情報として、さらに、前記領域に対して表示すべき符号
    化可変長データの識別子を領域可変長データ情報として
    保持し、 前記可変長データ編集手段が、前記領域可変長データ情
    報を参照することで当該領域に表示するための符号化可
    変長データを入力符号化可変長データの中から選択、ま
    たは入力符号化可変長データの１つとして入力し、当該
    符号化可変長データの情報値の変更を行なうことを特徴
    とする請求項１８記載のマルチメディア情報編集装置。
20. 【請求項２０】 さらに、前記レイアウトテーブル内の
    前記マルチ画面レイアウト情報の値を変更するレイアウ
    トテーブル変更手段を備え、 前記レイアウトテーブル変更手段が、任意のタイミング
    で前記マルチ画面レイアウト情報の値を変更し、 前記可変長データ編集手段が、変更後の前記マルチ画面
    レイアウト情報の値を参照することで、出力となる前記
    マルチ画面可変長データのマルチ画面レイアウトの動的
    変更を可能にすることを特徴とする請求項１８記載のマ
    ルチメディア情報編集装置。
21. 【請求項２１】 前記可変長データ符号化フォーマット
    が静止画に関するものであり、前記符号化可変長データ
    が静止画像であることを特徴とする請求項１１記載のマ
    ルチメディア情報編集装置。
22. 【請求項２２】 前記可変長データ符号化フォーマット
    が動画に関するものであり、前記符号化可変長データが
    動画像であることを特徴とする請求項１１記載のマルチ
    メディア情報編集装置。
23. 【請求項２３】 前記可変長データ編集手段において、
    入力とする符号化可変長データと出力とするマルチ画面
    可変長データストリームとが、互いに異なる可変長デー
    タ符号化フォーマットで符号化されていることを特徴と
    する請求項１１記載のマルチメディア情報編集装置。
24. 【請求項２４】 可変長データ符号化フォーマットに基
    づいた符号化処理により生成された符号化可変長データ
    を少なくとも１つ以上入力とすることでマルチ画面可変
    長データストリームを生成する画像編集手段を備え、 前記可変長データ編集手段が、前記可変長データ符号化
    フォーマットにおいて可変長符号として定義される情報
    値の変更を要する場合に、前記可変長データ符号化フォ
    ーマットにおいて可変長データには影響を与えない符号
    列として定義される拡張符号列部分を利用し、前記マル
    チ画面可変長データ中に前記拡張符号列を出力すること
    で前記符号化可変長データ中の当該情報値を別の値に変
    更することを特徴とするマルチメディア情報編集装置。
25. 【請求項２５】 前記可変長データ編集手段が、入力と
    する各符号化可変長データの情報値を書き換えること
    で、マルチ画面可変長データストリーム中の各符号化可
    変長データの符号列が、前記可変長データ符号化フォー
    マットとして正しい情報値であり、かつ、マルチ画面可
    変長データストリーム中の各符号化可変長データの符号
    列シーケンスが前記可変長データ符号化フォーマットと
    して正しいシーケンスであるようなマルチ画面可変長デ
    ータストリームを出力することを特徴とする請求項２４
    記載のマルチメディア情報編集装置。
26. 【請求項２６】 前記可変長データ編集手段が、１つの
    前記符号化可変長データのみを入力とする場合には、マ
    ルチ画面の可変長データを生成するのではなく、当該符
    号化可変長データ中で可変長符号として定義される前記
    情報値の変更を行ない、情報値変更後の符号化可変長デ
    ータを出力することを特徴とする請求項２４記載のマル
    チメディア情報編集装置。
27. 【請求項２７】 前記可変長データ編集手段が、可変長
    符号として定義される情報値変更を行なうために、当該
    可変長データ編集手段の基本演算処理単位長をＮビット
    としたとき、Ｎの任意倍数分のビット符号列を当該拡張
    符号列部分へ挿入するような処理を行なうことで、当該
    情報値の値変更により発生する当該情報符号長の増加減
    分ビット列を調整することを特徴とする請求項２４記載
    のマルチメディア情報編集装置。
28. 【請求項２８】 前記演算単位長が、汎用計算機のＣＰ
    Ｕ（中央演算装置）での演算単位長である４ビット、ま
    たは８ビット（１バイト）、または１６ビット、または
    ３２ビット、または６４ビットであることを特徴とする
    請求項２４記載のマルチメディア情報編集装置。
29. 【請求項２９】 さらに、入力データに対して蓄積また
    は保持またはなんらかの処理を一時的もしくは長期にわ
    たり行なったのちに出力する遅延手段を備え、 このとき、前記可変長データ編集手段が、少なくとも１
    つ以上の前記遅延手段を経て生成される前記符号化可変
    長データを入力とすることを特徴とする請求項２４記載
    のマルチメディア情報編集装置。
30. 【請求項３０】 マルチメディア情報編集装置として、
    前記可変長データ符号化手段より入力側の工程、または
    前記可変長データ符号化手段から前記可変長データ編集
    手段との間の工程、またはその両方の工程中に前記請求
    項２９に記載の遅延手段を配置していない工程が存在す
    るような構成をとり、 前記可変長データ編集手段が、前記構成により前記遅延
    手段を１度も経由することなく生成される前記符号化可
    変長データを少なくとも１つ以上入力とすることを特徴
    とする請求項２４記載のマルチメディア情報編集装置。
31. 【請求項３１】 さらに、出力とするマルチ画面可変長
    データの再生画面を少なくとも１つ以上の領域に分割し
    たときの各領域の構成を、マルチ画面レイアウト情報と
    して保持するレイアウトテーブルを備え、 前記レイアウトテーブルが、マルチ画面レイアウト情報
    として、少なくとも前記マルチ画面可変長データにおけ
    る各領域の配置位置情報および各領域のサイズ情報を保
    持し、 前記可変長データ編集手段が、前記マルチ画面可変長デ
    ータストリームを生成する際に、前記可変長符号として
    定義される情報値および固定長符号として定義される情
    報値を、前記レイアウトテーブルに保持されている値に
    変更することを特徴とする請求項２４記載のマルチメデ
    ィア情報編集装置。
32. 【請求項３２】 前記符号化可変長データが、一意の識
    別子により互いに識別可能であるとともに、識別子によ
    り任意の識別子を持つ符号化可変長データの取得が可能
    であり、 前記レイアウトテーブルが、前記マルチ画面レイアウト
    情報として、さらに、前記領域に対して表示すべき符号
    化可変長データの識別子を領域可変長データ情報として
    保持し、 前記可変長データ編集手段が、前記領域可変長データ情
    報を参照することで当該領域に表示するための符号化可
    変長データを入力符号化可変長データの中から選択、ま
    たは入力符号化可変長データの１つとして入力し、当該
    符号化可変長データの情報値の変更を行なうことを特徴
    とする請求項３１記載のマルチメディア情報編集装置。
33. 【請求項３３】 さらに、前記レイアウトテーブル内の
    前記マルチ画面レイアウト情報の値を変更するレイアウ
    トテーブル変更手段を備え、 前記レイアウトテーブル変更手段が、任意のタイミング
    で前記マルチ画面レイアウト情報の値を変更し、 前記可変長データ編集手段が、変更後の前記マルチ画面
    レイアウト情報の値を参照することで、出力となる前記
    マルチ画面可変長データのマルチ画面レイアウトの動的
    変更を可能にすることを特徴とする請求項３１記載のマ
    ルチメディア情報編集装置。
34. 【請求項３４】 前記可変長データ符号化フォーマット
    が静止画に関するものであり、前記符号化可変長データ
    が静止画像であることを特徴とする請求項２４記載のマ
    ルチメディア情報編集装置。
35. 【請求項３５】 前記可変長データ符号化フォーマット
    が動画に関するものであり、前記符号化可変長データが
    動画像であることを特徴とする請求項２４記載のマルチ
    メディア情報編集装置。
36. 【請求項３６】 入力となる可変長データに対し可変長
    データ符号化フォーマットに基づく符号化処理を行ない
    符号化可変長データを出力する第１および第２の可変長
    データ符号化手段と、第１の前記符号化手段の出力した
    少なくとも１つ以上の符号化可変長データと、第２の前
    記符号化手段の出力した少なくとも１つ以上の符号化可
    変長データとを入力としマルチ画面可変長データを生成
    する可変長データ編集手段を備え、 前記第１の可変長データ符号化手段が、前記可変長デー
    タ符号化フォーマットにおいて可変長符号として定義さ
    れる情報値の変更が生じた場合を考慮して、前記可変長
    データ符号化フォーマットにおいて可変長データには影
    響を与えない符号列として定義される拡張符号列をあら
    かじめ前記符号化可変長データ中に出力しておき、 前記第２の可変長データ符号化手段が、前記拡張符号列
    を前記符号化可変長データ中にはあらかじめ出力せず、 前記可変長データ編集手段が、前記第１の可変長データ
    符号化手段の出力した符号化可変長データに対し、前記
    拡張符号列部分を利用することで当該情報値を別の値に
    変更し、前記第２の可変長データ符号化手段の出力した
    符号化可変長データに対し、前記マルチ画面可変長デー
    タ中に前記拡張符号列を出力することで当該情報値を別
    の値に変更することを特徴とする請求項１１および請求
    項２４のいずれかに記載のマルチメディア情報編集装
    置。