JP4556146B2 - 情報処理装置および方法、プログラム、並びに情報処理システム - Google Patents

Description

本発明は、情報処理装置および方法、プログラム、並びに情報処理システムに関し、特に、より複雑な画像合成処理をより低遅延に行うことができるようにした情報処理装置および方法、プログラム、並びに情報処理システムに関する。

従来、様々な画像処理が存在している（例えば、特許文献１および特許文献２）。例えば、特許文献１には、多角柱等の３次元形状に入力画像をマッピングする方法が記載されている。特許文献２には、１枚の画像に拡大、縮小、シフト、変形等の特殊効果を付与する方法が記載されている。

また、複数の画像を用いた画像処理も様々なものが考えられている（例えば、特許文献３乃至特許文献５）。特許文献２、特許文献３、および特許文献５には、一方の画像を他方の画像の一部に嵌め込んだ状態で表示させる所謂ピクチャインピクチャの方法が記載されている。また、特許文献４には、２枚の画像を混合する比の制御方法が記載されている。

特許３１１７０９７号 特許３５０３１６８号 特許３４８０６４８号 特許３７００８７１号 特許４００３５０８号

しかしながら、多数（多系統）の入力画像のそれぞれより自由曲線で囲まれる枠内に収まる部分画像を切り出し、例えば縮小等の加工を施し、互いを組み合わせたり、ＣＧ（Computer Graphics）画像やさらに他の画像を重畳させたりして１枚の出力画像を生成する等の、より複雑な画像処理の方法については記載されていない。

このようなより複雑な画像処理は、従来、録画保存された画像データに対して（オフライン状態で）行われていたが、近年においては、例えばスポーツ中継のような、即時的に（リアルタイムに）撮影された画像が放送される、所謂ライブ放送（生放送）においても、このような、より複雑な画像処理が要求されるようになってきた。つまり、より短い遅延で、より複雑な画像処理を行うことが要求されるようになってきた。

しかしながら、オフライン状態における編集処理による従来の方法では、画像データ保存が必要であるので、このような要求に応えることが困難になる恐れがあった。

また、特許文献２、特許文献３、および特許文献５に記載の装置や、従来の、所謂スイッチャと称される装置は、画像の一部の矩形領域に他方の画像を埋め込むという簡易な合成処理しか行わない。特許文献４に記載の装置も、重畳させる２枚の画像の混合比を制御するのみである。従って上述したような、より複雑な画像処理を実現させることは困難であった。

さらに、特許文献１乃至特許文献５に記載の方法を組み合わせることが考えられるが、その場合、画像処理の段数が増大するので、画像処理による遅延も増大してしまう。従って、上述したような、ライブ放送においてより複雑な画像処理を実現させることは困難である恐れがあった。

本発明はこのような問題を解決するためのものであり、より複雑な画像合成処理をより低遅延に行うことができるようにするものである。

本発明の一側面の情報処理装置は、画像の一部を部分画像として自由曲線により切り出す切り出し処理を複数の画像に対して行い、前記複数の画像のそれぞれより部分画像を切り出す切り出し手段と、前記切り出し手段により切り出された複数の前記部分画像のそれぞれについて、画像サイズを補正するサイズ補正手段と、前記サイズ補正手段により画像サイズが補正された前記部分画像同士を繋ぎ合わせて１枚の合成画像を生成する合成手段とを備える情報処理装置である。

前記切り出し手段は、第１の制御情報により指定される切り出し方法で、前記部分画像の切り出しを行い、前記サイズ補正手段は、前記部分画像を、前記第１の制御情報により指定される画像サイズに補正し、前記合成手段は、前記第１の制御情報により指定される繋ぎ合わせ方で前記部分画像同士を繋ぎ合わせることができる。

複数の画像の重ね合わせ方を指定する第２の制御情報により指定される重ね合わせ方で、前記合成手段により生成される前記合成画像にＣＧ（Computer Graphics）情報を重畳させるＣＧ情報合成手段をさらに備えることができる。

前記第１の制御情報および前記第２の制御情報を記憶する記憶手段と、前記記憶手段より前記第１の制御情報および前記第２の制御情報を読み出し、前記第１の制御情報を前記切り出し手段、前記サイズ補正手段、および前記合成手段に供給し、前記第２の制御情報を前記ＣＧ情報合成手段に供給する読み出し手段をさらに備えることができる。

前記読み出し手段は、前記記憶手段より読み出した前記第１の制御情報から、前記複数の画像のそれぞれに対する制御情報である部分制御情報を生成し、生成した複数の部分制御情報を前記切り出し手段および前記サイズ補正手段に供給し、前記切り出し手段は、各画像に対して、各画像に対応する部分制御情報により指定される切り出し方法で前記部分画像の切り出しを行い、前記サイズ補正手段は、各部分画像を、各部分画像に対応する部分制御情報により指定される画像サイズに補正することができる。

前記記憶手段により記憶されている前記第１の制御情報および前記第２の制御情報をそれぞれ所定の方法で圧縮されており、前記読み出し手段は、前記記憶手段より読み出した前記第１の制御情報および前記第２の制御情報を、それぞれの圧縮方法に対応する方法で復号してから供給することができる。

前記記憶手段は、前記第１の制御情報および前記第２の制御情報を合成パターン毎に管理し、前記読み出し手段は、指定された合成パターンの前記第１の制御情報および前記第２の制御情報を前記記憶手段より読み出して供給することができる。

前記合成パターンの進行を制御する進行制御指示を受け付ける進行制御指示受付手段をさらに備え、前記読み出し手段は、前記進行制御指示受付手段により受け付けられた前記進行制御指示に基づいて前記合成パターンにおける処理対象位置を特定し、前記処理対象位置に対応する第１の制御情報および前記第２の制御情報を読み出して供給することができる。

前記ＣＧ情報の構成の変更指示を受け付ける変更指示受付手段をさらに備え、前記読み出し手段は、前記変更指示受付手段により受け付けられた前記変更指示に基づいて、前記第１の情報および前記第２の情報を更新することができる。

前記複数の画像に対して前処理を行う前処理手段をさらに備え、前記切り出し手段は、前記前処理手段により前処理された前記複数の画像より前記部分画像を切り出すことができる。

前記前処理手段は、前記前処理として、インタレース方式の前記複数の画像をプログレッシブ方式に変換することができる。

前記前処理手段は、前記前処理として、前記複数の画像のそれぞれより顔画像を検出し、前記切り出し手段により切り出される前記部分画像の中心座標を決定することができる。
前記複数の画像のそれぞれに対応する音声情報を、それぞれの前記音声情報の合成方法を指定する情報である音声合成情報に従って合成する音声合成手段をさらに備えるようにすることができる。
前記自由曲線により切り出す部分は、マスク画像情報により指定されるようにすることができる。
前記マスク画像情報においては、画像の切り出し部分が画素単位で指定されるようにすることができる。

本発明の一側面の情報処理方法は、画像の一部を部分画像として自由曲線により切り出す切り出し処理を複数の画像に対して行い、前記複数の画像のそれぞれより部分画像を切り出し、切り出された複数の前記部分画像のそれぞれについて、画像サイズを補正し、画像サイズが補正された前記部分画像同士を繋ぎ合わせて１枚の合成画像を生成するステップを含む情報処理方法である。

本発明の一側面のプログラムは、画像の一部を部分画像として自由曲線により切り出す切り出し処理を複数の画像に対して行い、前記複数の画像のそれぞれより部分画像を切り出し、切り出された複数の前記部分画像のそれぞれについて、画像サイズを補正し、画像サイズが補正された前記部分画像同士を繋ぎ合わせて１枚の合成画像を生成するステップを含む処理をコンピュータに実行させるプログラムである。
本発明の他の側面の情報処理システムは、画像の一部を部分画像として切り出す切り出し処理を複数の画像に対して行い、前記複数の画像のそれぞれより部分画像を切り出す切り出し手段と、前記切り出し手段により切り出された複数の前記部分画像のそれぞれについて、画像サイズを補正するサイズ補正手段と、前記スイッチャパネルに対して入力されたユーザの指示に従って、前記サイズ補正手段により画像サイズが補正された前記部分画像同士を繋ぎ合わせて１枚の合成画像を生成する合成手段とを備える情報処理装置と、前記情報処理装置により生成された前記合成画像と、前記合成画像のバックグランドとなる画像として入力されたバックグランド画像とを重畳する重畳手段を備えるスイッチャと、前記情報処理装置、又は、前記スイッチャに対する指示を行うスイッチャパネルとを有する。

本発明の一側面においては、画像の一部を部分画像として自由曲線により切り出す切り出し処理が複数の画像に対して行われ、複数の画像のそれぞれより部分画像が切り出され、切り出された複数の部分画像のそれぞれについて、画像サイズが補正され、画像サイズが補正された部分画像同士が繋ぎ合わせられて１枚の合成画像が生成される。
本発明の他の側面においては、その情報処理装置において、画像の一部を部分画像として切り出す切り出し処理が複数の画像に対して行われ、前記複数の画像のそれぞれより部分画像が切り出され、切り出された複数の前記部分画像のそれぞれについて、画像サイズが補正され、スイッチャパネルに対して入力されたユーザの指示に従って、画像サイズが補正された前記部分画像同士を繋ぎ合わせて１枚の合成画像が生成される。また、スイッチャにおいては、前記情報処理装置により生成された前記合成画像と、前記合成画像のバックグランドとなる画像として入力されたバックグランド画像とが重畳され、前記前記スイッチャパネルにおいては、前記情報処理装置、又は、前記スイッチャに対する指示が行われる。

本発明によれば、画像を処理することができる。特に、より複雑な画像合成処理をより低遅延に行うことができる。

図１は、本発明を適用した画像処理システムの構成例を示すブロック図である。

図１において、画像処理システム１００は、より複雑な画像合成処理をより低遅延に行うシステムであり、画像合成装置１１１、スイッチャ１１２、およびスイッチャパネル１１３が、例えばインターネットに代表されるネットワーク１１０を介して互いに接続されている。

画像合成装置１１１は、より複雑な画像合成処理をより低遅延に行う装置である。画像合成装置１１１の複数の入力系統にはそれぞれ、画像情報および音声情報よりなる画像音声情報（第１入力画像音声情報乃至第４入力画像音声情報）が入力される。画像合成装置１１１は、制御情報に従って、各入力画像音声情報の画像情報より、自由曲線（任意の曲線）等で作られた枠内の部分画像を切り出し、所定のサイズに縮小（または拡大）する。画像合成装置１１１は、それらの部分画像を互いに組み合わせて合成画像を作成し、その合成画像を画像情報として、所定の専用ケーブル等を介して、スイッチャ１１２に供給する。画像合成装置１１１は、画像情報以外にも、その画像情報に対応する情報（例えば、音声情報や、スイッチャ１１２における画像合成のための制御情報であるキー情報）を、所定の専用ケーブル等を介して、スイッチャ１１２に供給する。

スイッチャ１１２は、第５入力画像音声情報の画像をバックグラウンド画像とし、これに、画像合成装置１１１より供給される画像（合成画像）を、キー情報に従って重畳する。スイッチャ１１２は、合成結果を出力画像情報および出力音声情報として出力する。

なお、画像合成装置１１１の入力系統の数は複数であればいくつであってもよい。また、出力系統の数も任意である。また、スイッチャ１１２の入力系統の数も複数であればいくつであってもよく、出力系統の数も任意である。以下においては、説明の便宜上、画像合成装置１１１が４系統の入力と１系統の出力を備え、スイッチャ１１２が２系統の入力と１系統の出力を備える場合について説明する。

また、画像合成装置１１１およびスイッチャ１１２が、画像情報に対応する上述した以外の情報を入出力するようにしてもよい。

スイッチャパネル１１３は、スイッチやレバー等を有するユーザインタフェースデバイスであり、例えば、合成パターンの指定や合成開始指示等のユーザからの指示を受け付け、その情報を画像合成装置１１１やスイッチャ１１２に供給する。画像合成装置１１１やスイッチャ１１２は、そのユーザ指示に基づいて各種処理を行う。

図２は、本発明を適用した画像合成装置の主な構成例を示すブロック図である。

図２に示される画像合成装置１１１は、図１の画像処理システム１００を構成する装置であり、図２に示されるように、情報読み出し制御部１３１、記憶部１３２、入力部１３３、前処理部１３４、入力画像処理部１３５、合成処理部１３６、およびキー生成部１３７を有する。

情報読み出し制御部１３１は、記憶部１３２に記憶されている情報を読み出して処理し、所定の情報を所定のタイミングで、入力画像処理部１３５、合成処理部１３６、またはキー生成部１３７に供給する。例えば、情報読み出し制御部１３１は、第１部分マスク情報乃至第４部分マスク情報を、入力画像処理部１３５の、画像切り出し部１５１−１乃至画像切り出し部１５１−４、並びに、サイズ補正部１５２−１乃至サイズ補正部１５２−４に供給する。また、例えば、情報読み出し制御部１３１は、全体マスク情報を合成処理部１３６の画像合成部１６１に供給する。さらに、情報読み出し制御部１３１は、例えば、キー情報付きＣＧ情報を合成処理部１３６のＣＧ合成部１６２に供給する。また、情報読み出し制御部１３１は、例えば、音声情報や音声合成情報を合成処理部１３６の音声合成部１６３に供給する。さらに、例えば、情報読み出し制御部１３１は、キー情報および全体マスク情報をキー生成部１３７に供給する。

各情報についての説明は後述する。

記憶部１３２は、例えばハードディスクやフラッシュメモリ等の記憶媒体を有し、合成処理に関する制御情報等を予め記憶している。入力部１３３は、例えばスイッチやボタン等のユーザインタフェースや、ネットワーク１１０に接続されるネットワークインタフェース等をを備える。入力部１３３は、例えば、ユーザ入力やネットワーク１１０を介して接続される他の装置より供給される情報を受け付け、情報読み出し制御部１３１に供給する。

前処理部１３４は、各系統の入力画像に対して、合成の前に必要な処理を行う。前処理部１３４は、IP変換部１４１−１乃至IP変換部１４１−４を有する。IP変換部１４１−１は、第１入力画像音声情報の画像情報がインタレース方式の場合、プログレッシブ方式に変換する（IP変換を行う）。同様に、IP変換部１４１−２は第２入力画像音声情報の画像情報をIP変換し、IP変換部１４１−３は第３入力画像音声情報の画像情報をIP変換し、IP変換部１４１−４は第４入力画像音声情報の画像情報をIP変換する。

IP変換処理が行われた各入力画像音声情報は、入力画像処理部１３５に供給される。つまり、入力画像処理部１３５に入力される第１入力画像音声情報乃至第４入力画像音声情報の画像情報はプログレッシブ方式である。なお、前処理部１３４の入力画像がプログレッシブ方式の場合、このIP変換処理は省略される。

以上の様に前処理においてIP変換されるので、入力画像処理部１３５、合成処理部１３６、およびキー生成部１３７において画像情報に対して行われる各処理はフレーム単位で行われる。なお、インタレース方式の入力画像に対してIP変換せずに、入力画像処理部１３５、合成処理部１３６、およびキー生成部１３７においてフィールド毎に各処理を行うことも可能である。以下においては、フレームとフィールドを区別して説明する必要が無い場合、これらをまとめてピクチャと称する。つまり、入力画像処理部１３５、合成処理部１３６、およびキー生成部１３７における各処理は、ピクチャ（フレームまたはフィールド）単位で行われる。

入力画像処理部１３５は、画像切り出し部１５１およびサイズ補正部１５２を有する。画像切り出し部１５１は、入力された画像情報よりマスク情報に指定される部分を切り出す。画像切り出し部１５１は、画像切り出し部１５１−１乃至画像切り出し部１５１−４を有する。

画像切り出し部１５１−１は、第１入力画像音声情報の画像情報の各ピクチャから、情報読み出し制御部１３１より供給される第１部分マスク情報により指定される範囲を切り出し、その切り出した部分画像をサイズ補正部１５２−１に供給する。画像切り出し部１５１−２は、第２入力画像音声情報の画像情報の各ピクチャから、情報読み出し制御部１３１より供給される第２部分マスク情報により指定される範囲を切り出し、その切り出した部分画像をサイズ補正部１５２−２に供給する。画像切り出し部１５１−３は、第３入力画像音声情報の画像情報の各ピクチャから、情報読み出し制御部１３１より供給される第３部分マスク情報により指定される範囲を切り出し、その切り出した部分画像をサイズ補正部１５２−３に供給する。画像切り出し部１５１−４は、第１入力画像音声情報の画像情報の各ピクチャから、情報読み出し制御部１３１より供給される第４部分マスク情報により指定される範囲を切り出し、その切り出した部分画像をサイズ補正部１５２−４に供給する。

サイズ補正部１５２は、画像切り出し部１５１において切り出された部分画像の画像サイズを補正する。より具体的には、サイズ補正部１５２は、各部分画像を繋ぎ合わせた合成画像の画像サイズが所定のサイズとなるように、各部分画像の画像サイズを補正（縮小または拡大）する。

サイズ補正部１５２は、サイズ補正部１５２−１乃至サイズ補正部１５２−４を有する。サイズ補正部１５２−１は、画像切り出し部１５１−１において切り出された部分画像の画像サイズを、情報読み出し制御部１３１より供給される第１部分マスク情報により指定される縮小率（または拡大率）で補正する。サイズ補正部１５２−２は、画像切り出し部１５１−２において切り出された部分画像の画像サイズを、情報読み出し制御部１３１より供給される第２部分マスク情報により指定される縮小率（または拡大率）で補正する。サイズ補正部１５２−３は、画像切り出し部１５１−３において切り出された部分画像の画像サイズを、情報読み出し制御部１３１より供給される第３部分マスク情報により指定される縮小率（または拡大率）で補正する。サイズ補正部１５２−４は、画像切り出し部１５１−４において切り出された部分画像の画像サイズを、情報読み出し制御部１３１より供給される第４部分マスク情報により指定される縮小率（または拡大率）で補正する。

サイズ補正部１５２−１は、サイズ補正した部分画像を合成処理部１３６の画像合成部１６１に供給する。また、サイズ補正部１５２−１は、第１入力画像音声情報の音声情報（処理対象のピクチャに対応する部分の音声情報）を音声合成部１６３に供給する。同様に、サイズ補正部１５２−２は、サイズ補正した部分画像を合成処理部１３６の画像合成部１６１に供給し、第２入力画像音声情報の音声情報（処理対象のピクチャに対応する部分の音声情報）を音声合成部１６３に供給する。

サイズ補正部１５２−３も同様に、サイズ補正した部分画像を合成処理部１３６の画像合成部１６１に供給し、第３入力画像音声情報の音声情報（処理対象のピクチャに対応する部分の音声情報）を音声合成部１６３に供給する。サイズ補正部１５２−４も同様に、サイズ補正した部分画像を合成処理部１３６の画像合成部１６１に供給し、第４入力画像音声情報の音声情報（処理対象のピクチャに対応する部分の音声情報）を音声合成部１６３に供給する。

合成処理部１３６は、画像や音声の合成処理を行う。合成処理部１３６は、画像合成部１６１、ＣＧ合成部１６２、および音声合成部１６３を有する。画像合成部１６１は、サイズ補正部１５２−１乃至サイズ補正部１５２−４より供給される部分画像を、情報読み出し制御部１３１より供給される全体マスク情報に従って繋ぎ合わせ、合成画像を生成し、それをＣＧ合成部１６２に供給する。ＣＧ合成部１６２は、画像合成部１６１より供給される合成画像に、情報読み出し制御部１３１より供給されるキー情報付きＣＧ情報を重畳させ、その合成画像を出力画像情報として出力する。音声合成部１６３は、情報読み出し制御部１３１より供給される音声合成情報に基づいて、サイズ補正部１５２−１乃至サイズ補正部１５２−４より供給される音声情報や、情報読み出し制御部１３１より供給される音声情報を、適宜合成したり選択したりして出力音声情報を生成し、出力する。

キー生成部１３７は、情報読み出し制御部１３１より供給される全体マスク情報に従って、情報読み出し制御部１３１より供給されるキー情報を更新し、出力用のキー情報、すなわち出力画像情報に対応するキー情報を生成し、出力する。

図１を参照して説明したように、画像合成装置１１１より出力される出力音声情報、出力画像情報、および出力キー情報は、それぞれ専用のケーブル等を介して、スイッチャ１１２に供給される。

次に、各情報について説明する。最初に、図３を参照して制御情報について説明する。

図３に示されるように、画像合成装置１１１の記憶部１３２には、予め、全体マスク情報１７１、キー情報付きＣＧ情報１７４、音声情報１７６、および音声合成情報１７７が記憶されている。

マスク情報は、画像の切り出し方や繋ぎ合わせ方等の合成方法を示す制御情報である。全体マスク情報１７１は、画像全体（ピクチャ全体）について合成方法を示すマスク情報である。図２に示されるように、全体マスク情報１７１は、マスク画像情報１７２およびマスクメタ情報１７３を有する。

マスク画像情報１７２は、合成結果である合成画像の構造を示す情報である。つまり、マスク画像情報１７２は、合成画像の全画素について、どの入力系統の画像を合成結果として選択するかを指定する。換言すれば、マスク画像情報１７２は、部分画像の形状および切り出された部分画像の繋ぎ合わせ方を指定する。この指定は画素単位で行われ、マスク画像情報１７２は、ビットマップ情報として構成される。

図３においては、その指定の様子（ビットマップ）を模式的に示している。図３の例の場合、画像全体が４つの領域に分割され、左上の領域（「１」の領域）内の各画素には、第１入力画像音声情報の部分画像を指定する値（例えば「１」）が割り当てられ、右上の領域（「２」の領域）内の各画素には、第２入力画像音声情報の部分画像を指定する値（例えば「２」）が割り当てられ、左下の領域（「３」の領域）内の各画素には、第３入力画像音声情報の部分画像を指定する値（例えば「３」）が割り当てられている。この値は、数字であってもよいし、文字または記号等であってもよい。なお、右下の領域（「５」の領域）には、他の装置において別の画像を重畳させる予定であり、この領域の各画素には、どの部分画像も指定しないことを示す値（例えば「５」）が割り当てられる。この値も、数字であってもよいし、文字または記号等であってもよい。

このような指定を画素単位で行うことにより、マスク画像情報１７２は、任意の形状の部分画像を切り出すように指定することが容易にできるとともに、複雑な形状の部分画像の繋ぎ合わせ方も容易に指定することができる。例えば、マスク画像情報１７２は、切り出しの枠となる領域の境界線を自由曲線（任意の曲線）とすることも容易に行うことができ、また、その自由曲線状に切り出された部分画像の繋ぎ合わせ方も容易に指定することができる。

マスクメタ情報１７３は、マスク画像情報１７２の付加情報であり、例えば、切り出しの中心角、回転角、および縮小率等の、マスク画像情報１７２で示されない情報を含む。

この全体マスク情報１７１は、記憶部１３２に予め記憶されるが、記憶部１３２の記憶領域の有効利用（領域確保）や、読み出し時のバス帯域の有効利用（帯域確保）のために、所定の方法で圧縮されて情報量が低減された状態で記憶される。圧縮方法は任意であるが、例えばランレングス符号化によって圧縮される。

情報読み出し制御部１３１は、図３に示されるように復号部１８１、分割部１８２、および保持部１８３を有する。情報読み出し制御部１３１は、記憶部１３２より全体マスク情報１７１を読み出すと、復号部１８１において復号し、分割部１８２において入力系統毎のマスク情報を生成する。第１部分マスク情報１７１−１は、全体マスク情報１７１から第１入力画像音声情報に関する情報のみが抽出されて生成された、第１の入力系統に対するマスク情報（部分マスク情報）である。第２部分マスク情報１７１−２は、全体マスク情報１７１から第２入力画像音声情報に関する情報のみが抽出されて生成された、第２の入力系統に対するマスク情報（部分マスク情報）である。第３部分マスク情報１７１−３は、全体マスク情報１７１から第３入力画像音声情報に関する情報のみが抽出されて生成された、第３の入力系統に対するマスク情報（部分マスク情報）である。第４部分マスク情報１７１−４は、全体マスク情報１７１から第４入力画像音声情報に関する情報のみが抽出されて生成された、第４の入力系統に対するマスク情報（部分マスク情報）である。

分割部１８２は、生成した第１部分マスク情報１７１−１乃至第４部分マスク情報１７１−４、並びに、分割前の全体マスク情報１７１を、RAM（Random Access Memory）等の記憶領域を有する保持部１８３に保持させる。

情報読み出し制御部１３１は、保持部１８３に保持されている第１部分マスク情報１７１−１乃至第４部分マスク情報１７１−４を所定のタイミングで入力画像処理部１３５のそれぞれが対応する入力系統に供給する。このように必要な情報のみを各入力系統に供給するので、画像切り出し部１５１およびサイズ補正部１５２は、不要な制御情報を取り扱う必要がないので、効率よく各処理を行うことができる。また、記憶部１３２においてはそれらの部分マスク情報を１つの全体マスク情報１７１として記憶させることにより、例えば重複する情報を省略することができるなど、情報量を低減させることができる。また、部分マスク情報を１つの全体マスク情報１７１として記憶させることにより、読み出し処理や復号処理の回数を低減させ、処理の効率を向上させることができる。

また、情報読み出し制御部１３１は、保持部１８３に保持されている全体マスク情報１７１を、画像合成部１６１およびキー生成部１３７に、それぞれ所定のタイミングで供給する。

キー情報付きＣＧ情報１７４は、画像情報であるＣＧ情報に、一方の画像を他方の画像に重畳させるときに使用される制御情報であるキー情報が付加された情報である。ＣＧ情報は、RGB等の３色のビットマップである。キー情報は、どの部分に他の画像を重畳（合成）させるかを画素単位で指定する１色（グレースケール）のビットマップである。キー情報は、スイッチャ１１２においても利用可能な一般的な制御情報である。

図３の画像１７４Ａは、このキー銃砲付きＣＧ情報１７４を模式的に表わしたものであり、黒く塗りつぶされた部分がキー情報であり、その他の斜線模様の部分（「Catch You!」の文字を含む）がＣＧ情報である。

このキー情報付きＣＧ情報１７４も、記憶部１３２に予め記憶されるが、記憶部１３２の記憶領域の有効利用（領域確保）や、読み出し時のバス帯域の有効利用（帯域確保）のために、所定の方法で圧縮されて情報量が低減された状態で記憶される。例えば、キー情報付きＣＧ情報１７４は、４：２：２：４のYCbCrA信号に変換されてから圧縮される。この圧縮方法は任意である。

情報読み出し制御部１３１は、図３に示されるように復号部１８４および抽出部１８５を有する。情報読み出し制御部１３１は、記憶部１３２よりキー情報付きＣＧ情報１７４を読み出すと、復号部１８４において復号し、抽出部１８５においてキー情報付きＣＧ情報１７４よりキー情報１７５を抽出する。画像１７５Ａは、キー情報１７５を模式的に示したものである。画像１７４Ａと比べて分かるように、黒塗りつぶしの部分（つまりキー情報）のみが抽出されている。

抽出部１８５は、抽出したキー情報１７５、並びに、抽出元のキー情報付きＣＧ情報１７４を保持部１８３に保持させる。

情報読み出し制御部１３１は、保持部１８３に保持されているキー情報１７５を所定のタイミングでキー生成部１３７に供給する。また、情報読み出し制御部１３１は、保持部１８３に保持されているキー情報付きＣＧ情報１７４を所定のタイミングでＣＧ合成部１６２に供給する。

以上のように、キー情報付きＣＧ情報１７４よりキー情報１７５のみを抽出してキー生成部１３７に供給することにより、キー生成部１３７は、不要な制御情報（ＣＧ情報）を取り扱う必要がないので、効率よく出力用のキー情報の生成を行うことができる。また、キー情報１７５をキー情報付きＣＧ情報１７４より抽出して生成するようにすることにより、つまり、記憶部１３２には、キー情報付きＣＧ情報１７４のみを記憶させるようにすることにより、情報量を低減させる（記憶領域やバス帯域をより有効に利用する）ことができる。また、読み出し処理や復号処理の回数を低減させ、処理の効率を向上させることができる。

音声情報１７６は、例えば入力画像にＣＧ情報を重畳させる際の効果音等、各入力画像音声情報に含まれない音声情報である。音声合成情報１７７は、各入力画像音声情報の音声情報の音声合成方法を指定する制御情報である。例えば、音声合成情報１７７には、各入力系統の音声情報のいずれか１つを選択し、さらに、音声情報１７６を合成される等の指示情報が含まれる。

情報読み出し制御部１３１は、記憶部１３２より音声情報１７６および音声合成情報１７７を読み出すとそれらを保持部１８３に保持させ、所定のタイミングにおいて、その音声情報１７６および音声合成情報１７７を音声合成部１６３に供給する。

画像合成装置１１１においては、以上のような制御情報が使用される。

なお、このような制御情報は、合成パターン毎に用意される。合成パターンとは、入力画像の合成方法のことである。例えば、入力画像をどのように処理し、どのように繋ぎ合わせ、どのようなＣＧ情報をどのように重畳させて合成画像を生成するかは任意である。また、画像合成装置１１１により行われる合成処理の長さは、任意であり、１枚のピクチャに対して行われるものであってもよいし、複数のピクチャ（所定の期間）にわたって行われるものでもよい。また、複数のピクチャにわたって合成処理を行う場合、その合成期間の最初から最後まで全てのピクチャにおいて、互いに完全に同一の構成（デザイン）で各画像が合成されるようにしても良いし、ピクチャ毎にその構成（デザイン）が変化するようにしてもよい。また、その変化の仕方も任意である。

このような合成方法の違いを合成パターンと称する。このような合成方法の違いは、マスク情報やキー情報付きＣＧ情報等の、合成方法を制御する制御情報の内容の違いで示される。従って、これらの制御情報は、合成パターン毎に用意されることになる。また、複数のピクチャにわたって合成処理を行い、かつ、ピクチャ毎にその構成（デザイン）が変化する合成パターン（動的な合成パターン）の場合、各制御情報は、ピクチャ毎に用意される（制御情報の内容がピクチャ毎に変化することにより、合成画像の構成（デザイン）が動的に変化する）。

記憶部１３２は、このような複数の制御情報を、合成パターン毎にまとめて管理する。

次に、各入力系統の画像の合成の様子について図４を参照して説明する。

図４において、画像１９１−１は第１入力画像音声情報の画像情報を示しており、画像１９１−２は第２入力画像音声情報の画像情報を示しており、画像１９１−３は第３入力画像音声情報の画像情報を示しており、画像１９１−４は第４入力画像音声情報の画像情報を示している。

画像切り出し部１５１−１は、第１部分マスク情報１７１−１に含まれる切り出し形状や中心座標等の情報に基づいて、画像１９１−１より部分画像１９２−１を切り出す。図４において、画像切り出し部１５１−１とサイズ補正部１５２−１との間に示される画像１９１−１内の黒線は、部分画像１９２−１の輪郭、つまり、切り出し形状を示しており、×印は、その中心点を示している。

サイズ補正部１５２−１は、第１部分マスク情報１７１−１に含まれる縮小率等の情報に基づいて、このように切り出された部分画像１９２−１のサイズを補正（縮小または拡大）し、画像１９３−１を生成する。図４の例において、画像１９３−１は、部分画像１９２−１の縮小画像である。画像１９３−１は、合成処理部１３６に供給される。

画像切り出し部１５１−２は、第２部分マスク情報１７１−２に含まれる切り出し形状や中心座標等の情報に基づいて、画像１９１−２より部分画像１９２−２を切り出す。サイズ補正部１５２−２は、第２部分マスク情報１７１−２に含まれる縮小率等の情報に基づいて、このように切り出された部分画像１９２−２のサイズを補正（縮小または拡大）し、画像１９３−２を生成する。図４の例において、画像１９３−２は、部分画像１９２−２の縮小画像である。画像１９３−２は、合成処理部１３６に供給される。

画像切り出し部１５１−３は、第３部分マスク情報１７１−３に含まれる切り出し形状や中心座標等の情報に基づいて、画像１９１−３より部分画像１９２−３を切り出す。サイズ補正部１５２−３は、第３部分マスク情報１７１−３に含まれる縮小率等の情報に基づいて、このように切り出された部分画像１９２−３のサイズを補正（縮小または拡大）し、画像１９３−３を生成する。図４の例において、画像１９３−３は、部分画像１９２−３の縮小画像である。画像１９３−３は、合成処理部１３６に供給される。

画像切り出し部１５１−４も、第４部分マスク情報１７１−４に含まれる切り出し形状や中心座標等の情報に基づいて、画像１９１−４より画像の切り出しを行うが、図４の例においては、第４部分マスク情報１７１−４では、部分画像を切り出すように指示されていない（図３のマスク画像情報１７２参照）。従って、画像切り出し部１５１−４は、部分画像を生成せず、また、サイズ補正部１５２−４もサイズ補正を行わない。

合成処理部１３６は、以上のように供給された画像１９３−１乃至画像１９３−３、並びに、情報読み出し制御部１３１より供給されるキー情報付きＣＧ情報１７４を合成し、合成画像１９４を生成する。この合成画像１９４は、画像１９３−１乃至画像１９３−３を、全体マスク情報１７１のマスク画像情報１７２が示すとおりに繋ぎ合わせ、さらに、キー情報付きＣＧ情報を重畳したものである。合成画像１９４の黒く塗りつぶされた部分は、キー情報である。

以上のように、マスク情報等の制御情報に基づいて、入力画像等より合成画像１９４が生成される。また、この合成処理に対応して、キー生成部１３７は、全体マスク情報１７１およびキー情報１７５から出力用のキー情報１９５を生成する。キー生成部１３７は、全体マスク情報１７１に基づいて、キー情報１７５から、部分画像やＣＧ情報の部分を除去し、出力用のキー情報１９５を生成する。つまり、このキー情報１９５は、合成画像１９４に対応する。

以上のような画像合成処理の流れの例を、図５のフローチャートを参照して説明する。

画像合成装置１１１の電源がオンされたりサスペンド状態が解除されたりすると、画像合成処理が開始される。画像合成処理が開始されると、情報読み出し制御部１３１は、ステップＳ１０１において、制御情報読み出し処理を行い、全ての合成パターンの、全体マスク情報１７１、キー情報付きＣＧ情報１７４、音声情報１７６、および音声合成情報１７７等の制御情報を記憶部１３２より読み出す。

ステップＳ１０２において、情報読み出し制御部１３１は、合成開始指示を受け付けるまで待機する。ステップＳ１０３において、入力部１３３が、例えば画像合成装置１１１を操作するユーザにより入力された、または、ネットワーク１１０を介してスイッチャパネル１１３より供給された合成パターンの指定および合成開始指示を受け付けると、情報読み出し制御部１３１は、処理をステップＳ１０４に進める。ステップＳ１０４において、情報読み出し制御部１３１は、保持部１８３に保持されている、指定された合成パターンの処理対象ピクチャの制御情報を各部に供給する。

ステップＳ１０５において、前処理部１３４（IP変換部１４１−１乃至IP変換部１４１−４）は、各入力画像に対してIP変換を行う。ステップＳ１０６において、画像切り出し部１５１（画像切り出し部１５１−１乃至画像切り出し部１５１−４）は、各部分マスク情報に基づいて各入力画像の切り出しを行う。ステップＳ１０７において、サイズ補正部１５２（サイズ補正部１５２−１乃至サイズ補正部１５２−４）は、各部分マスク情報に基づいて、各切り出し画像（切り出された部分画像）のサイズ補正を行う。

ステップＳ１０８において、画像合成部１６１は、全体マスク情報１７１に基づいて、各切り出し画像（切り出された部分画像）を繋ぎ合わせることにより合成画像を生成する。ステップＳ１０９において、ＣＧ合成部１６２は、合成画像にキー情報付きＣＧ情報を合成する。ステップＳ１１０において、音声合成部１６３は、指定された合成パターンの音声合成情報１７７に応じて音声情報の合成を行う。

ステップＳ１１１において、指定された合成パターンの全体マスク情報１７１に基づいて、キー情報１７５から出力用キー情報１９５を生成する。

ステップＳ１１２において、情報読み出し制御部１３１は、合成パターンの全ピクチャを処理したか否かを判定し、未処理のピクチャが存在すると判定した場合、処理対象ピクチャを次のピクチャに更新し、処理をステップＳ１０４に戻し、それ以降の処理を実行させる。すなわち、画像合成装置１１１は、ステップＳ１０４乃至ステップＳ１１２の各処理をピクチャ毎に繰り返す。

そして、ステップＳ１１２において、合成パターンの全てのピクチャを処理したと判定した場合、情報読み出し制御部１３１は、処理をステップＳ１１３に進め、画像合成処理を終了するか否かを判定する。終了しないと判定した場合、情報読み出し制御部１３１は、処理をステップＳ１０２に戻し、それ以降の処理を実行させる。また、ステップＳ１１３において、例えば、画像の入力が停止したり、ユーザ指示があったり等、何らかの理由により画像合成処理を終了すると判定した場合、情報読み出し制御部１３１は、画像合成処理を終了する。

図６に合成パターンの例を示す。図６には、ある合成パターンの全体マスク情報およびその全体マスク情報より生成される第１部分マスク情報、第２部分マスク情報、第３部分マスク情報、および第４部分マスク情報が上から順に模式的に示されている。なお、図６において、時系列は、左から右に向かって進む。

全体マスク情報に示されるように、最初、合成画像全体には、バックグラウンド画像が表示される。時刻が進むと、合成画像の左上の領域に、第１の入力系統の画像情報が徐々に左側から右側に向かって挿入される。さらに時刻が進むと、合成画像の右上の領域に、第２の入力系統の画像情報が徐々に右側から左側に向かって挿入される。さらに時刻が進むと、合成画像の左下の領域に、第３の入力系統の画像情報が徐々に左側から右側に向かって挿入される。

第１部分マスク情報乃至第４部分マスク情報において、斜線で示される部分は部分画像として抽出されない領域であり、白抜きの部分は部分画像として抽出される領域である。また、×印は、抽出される部分画像の中心点を示す。

最初、全体マスク情報において、画像全体にバックグラウンド画像が割り当てられているとき、第１部分マスク情報乃至第４部分マスク情報のいずれにおいても、部分画像の切り出しの指示はない。そして、全体マスク情報において、第１の入力系統の画像情報が徐々に左側から右側に向かって挿入されると、第１部分マスク情報において、その動きに従って、切り出す領域が右から左に広げられていく。続いて、全体マスク情報において、第２の入力系統の画像情報が徐々に右側から左側に向かって挿入されると、第２部分マスク情報において、その動きに従って、切り出す領域が左から右に広げられていく。さらに続いて、全体マスク情報において、第３の入力系統の画像情報が徐々に左側から右側に向かって挿入されると、第３部分マスク情報において、その動きに従って、切り出す領域が右から左に広げられていく。

なお、全体マスク情報において第４の系統の画像の合成は指示されていないので、第４部分マスク情報では、切り出しの指示はない。

以上のように、各制御情報がピクチャ毎に用意されるので、画像合成装置１１１は、合成の仕方がピクチャ毎に変化するような動的な合成パターンも容易に実現することができる。

次に、図５のステップＳ１０１において実行される制御情報読み出し処理の流れの例を図７のフローチャートを参照して説明する。

制御情報読み出し処理が開始されると、情報読み出し制御部１３１は、ステップＳ１３１において、処理対象合成パターンを選択する。記憶部１３２においては、制御情報は合成パターン毎に管理されているので、情報読み出し制御部１３１は、制御情報を合成パターン毎に読み出す。

処理対象合成パターンを選択すると情報読み出し制御部１３１は、ステップＳ１３２において、処理対象合成パターンの全体マスク情報１７１を全て（合成パターンの全ピクチャについて）記憶部１３２より読み出す。ステップＳ１３３において、復号部１８１は、読み出された全ての全体マスク情報１７１を所定の方法で復号する。ステップＳ１３４において、分割部１８２は、全ての全体マスク情報１７１から、それぞれ入力系統毎の部分マスク情報を生成する。ステップＳ１３５において、保持部１８３は、各部分マスク情報および全体マスク情報１７１を全て保持する。

ステップＳ１３６において、情報読み出し制御部１３１は、処理対象合成パターンのキー情報付きＣＧ情報１７４を全て（合成パターンの全ピクチャについて）記憶部１３２より読み出す。ステップＳ１３７において、復号部１８４は、読み出された全てのキー情報付きＣＧ情報を所定の方法で復号する。ステップＳ１３８において、抽出部１８５は、全てのキー情報付きＣＧ情報１７４からそれぞれキー情報１７５を抽出する。ステップＳ１３９において、保持部１８３は、キー情報付きＣＧ情報およびキー情報を全て保持する。

ステップＳ１４０において、情報読み出し制御部１３１は、処理対象合成パターンの音声情報１７６および音声合成情報１７７を全て（合成パターンの全ピクチャについて）記憶部１３２より読み出す。ステップＳ１４１において、保持部１８３は、読み出した全ての音声情報１７６および音声合成情報１７７を保持する。

ステップＳ１４２において、情報読み出し制御部１３１は、全ての合成パターンの制御情報を読み出したか否かを判定し、未処理の合成パターンが存在すると判定した場合、処理をステップＳ１４３に進め、未処理の合成パターンを１つ選択し、処理対象合成パターンとする。ステップＳ１４３の処理を終了すると、情報読み出し制御部１３１は、処理をステップＳ１３２に戻し、それ以降の処理を繰り返す。すなわち、合成パターン毎に、ステップＳ１３２乃至ステップＳ１４３の処理が繰り返し実行される。

そして、ステップＳ１４２において、全ての合成パターンの情報を読み出したと判定した場合、情報読み出し制御部１３１は、情報読み出し処理を終了し、処理を図５のステップＳ１０１に戻し、それ以降の処理を実行させる。

以上のように、予め制御情報を全て読み出しておくことにより、画像合成装置１１１は、画像合成時の記憶部１３２へのアクセス数を低減させることができ、合成処理の効率を向上させることができる。

以上のように、画像合成装置１１１は、部分マスク情報を用いて各入力系統の入力画像の切り出しやサイズ補正を行って部分画像を生成し、全体マスク情報、キー情報付きＣＧ情報、音声合成情報等の制御情報を用いてそれらの部分画像を合成する。従って、画像合成装置１１１は、自由曲線での切り出しや繋ぎ合わせ等の高度な画像合成処理や、構成が動的に変化するような複雑な合成パターンも、図２に示されるように少ない処理段数により実現することができる。つまり、画像合成装置１１１は、より複雑な画像合成処理をより低遅延に行うことができる。

図１に戻り、画像処理システム１００のユーザは、スイッチャパネル１１３のスイッチやスライダ等のユーザインタフェースを操作し、上述したような、より複雑な画像合成処理の実行開始指示や合成パターン選択指示など、各種の制御指示を入力する。スイッチャパネル１１３は、その受け付けた指示を、画像合成装置１１１またはスイッチャ１１２に、ネットワーク１１０を介して適切に供給する。画像合成装置１１１は、入力部１３３においてその指示を受け付け、その指示に従って画像合成処理を行う。スイッチャ１１２も同様に、スイッチャパネル１１３より供給されるユーザ指示に基づいて、第５入力画像音声情報（バックグラウンド画像情報）と、画像合成装置１１１より供給される画像情報、音声情報、およびキー情報との合成を行う。

このように画像処理システム１００は、画像合成装置１１１を適用することにより、従来のスイッチャを複数並べて合成処理を行わせる場合よりも少ない処理段数でより複雑な合成処理を行うことができる。つまり、画像処理システム１００は、より複雑な画像合成処理をより低遅延に行うことができる。

このような画像処理システム１００は、例えば、テレビジョン放送等における所謂ライブ放送（生放送）における即時的な編集（リアルタイム編集）に使用される。ライブ放送は、撮影した画像をできるだけ低遅延に放送する手法であり、撮影と放送が略同時刻に行われる（リアルタイムに放送される）。例えば、野球、サッカー、テニス、ゴルフ、バレーといった各種スポーツの試合の様子を放送する番組、コンサートやお祭りのような各種イベントの様子を放送する番組、事件・事故現場の様子を放送するニュース番組等において利用される。

しかしながら、ライブ放送においては、撮影した画像をできるだけ低遅延に放送しなければならないため、編集を行う時間が極端に制限される。従って、ライブ放送においては、一般的に、画像の切り替えや予め決められたパターンの画像処理等といった簡易的な編集を即時的に行うリアルタイム編集が行われる。

しかしながら、このような簡易的な編集では効果的な演出を施すことが困難である場合があった。例えば、サッカーの試合において、シュートがゴールに入り得点が入ったときは、試合として盛り上がる瞬間である。従って、サッカーの試合を放送する番組（所謂サッカー中継）においても、視聴者の感情をより盛り上げるような演出を施すことが望ましい。

従来においても、例えば、ピクチャインピクチャを利用して、得点した選手や注目選手のアップの画像、得点した瞬間の監督やコーチの様子、または客席の様子等複数の画像を１画面にまとめて放送したりすることが行われている。

しかしながら、このような演出も低遅延に行わなければならないため、ピクチャインピクチャも四角や円等単純な形状の画像の重ね合わせでしかなく、例えば上述したような自由曲線での画像の切り出し、その切り出した部分画像の繋ぎ合わせ、複雑なＣＧ情報の合成、さらに構成（デザイン）の動的な変化などといった、より凝った演出を行うことは困難であった。

上述したように、画像処理システム１００（画像合成装置１１１）は、より複雑な画像合成処理を、例えば数ピクチャ程度といった低遅延に行うことができるので、このようなリアルタイム編集に用いることにより、意匠性に優れた、視覚的効果の高い演出を実現することができる。つまり、例えば、サッカーの試合を放送する番組において、画像処理システム１００（画像合成装置１１１）を用いてリアルタイム編集を行うことにより、例えば得点が入った直後等に、見栄えのよい演出を行うことができ、視聴者の感情をより盛り上げるような演出を施すことができる。

なお、以上においては、画像合成装置１１１が、切り出した部分画像のサイズ補正を行うように説明したが、このサイズ補正の代わりに、もしくは、このサイズ補正に加えてさらに、例えば部分画像を回転させる等、他の処理を行うようにしてもよい。例えば、全体マスク情報１７１のマスクメタ情報１７３に回転角の情報を登録するようにし、入力画像処理部１３５がそのマスクメタ情報１７３に基づいて切り出された部分画像を２次元方向または３次元方向に回転させるようにしてもよい。これにより、画像合成装置１１１は、さらに視覚的効果を高めた合成画像を生成することができる。

また、入力画像処理部１３５が、回転やサイズ補正の他にも、例えば、明暗調整、ノイズ除去、変形、色相調整、特殊効果等、任意の画像処理を部分画像に対して施すようにしてもよい。

さらに、画像合成装置１１１は、単体の編集装置としても使用可能である。その場合、基本的に、入力系統に入力される画像の合成のみで合成処理が完結するので（画像合成装置１１１の後段において合成処理が行われないので）、キー生成部１３７は省略することができる。

以上においては、画像合成処理は、予め複数用意された中からユーザ等によって選択された合成パターンに従って行われるように説明した。つまり、この場合、ユーザは、合成パターンを指定し、処理実行開始を指示するのみであり、画像合成装置１１１は、その指示に従って指定された合成パターンの画像合成を実現する。しかしながら、これ以外にも、例えば、合成パターンの進行速度や進行方向を、合成処理実行中にユーザが制御することができるようにしてもよい。

図８に合成パターンの進行例を示す。図８において、横軸が合成パターンの進行（ピクチャ）を示し、縦軸が時系列を示す。図８Ａに示されるように、時刻０から時刻ｔまでの間に、番号「０」のピクチャから番号「ｐ」のピクチャまで進む合成パターンを基本とする。

例えば、ユーザが合成パターンの進行速度を２倍に速めるように指示すると、図８Ｂに示されるように、時刻ｔ／２において合成パターンが番号「ｐ」のピクチャまで進むようにしてもよい。この場合、例えば、ピクチャ毎に用意されたマスク情報等の制御情報が、１ピクチャ分ずつ選択され、連続する入力画像の各ピクチャに割り当てられる。また、ユーザが合成パターンの進行速度を１／２倍に遅くするように指示すると、図８Ｃに示されるように、時刻ｔにおいて合成パターンが番号「ｐ／２」のピクチャまで進むようにしてもよい。この場合、例えば、１ピクチャ分のマスク情報等の制御情報が、入力画像の連続する２枚のピクチャに割り当てられる。

さらに、例えば、ユーザが合成パターンの進行を逆方向とするように指示する（逆再生させる）と、図８Ｄに示されるように、時系列が進むにつれ、番号「ｐ」のピクチャから番号「０」のピクチャまで戻るようにしてもよい。この場合、例えば、ピクチャ毎に用意されたマスク情報等の制御情報の選択順が逆順となる。

また、例えば、ユーザが合成パターンの進行を飛ばすように指示する（ジャンプさせる）と、図８Ｅに示されるように、合成パターンの進行が番号「ｐ１」のピクチャから番号「ｐ２」のピクチャにジャンプする（その間のピクチャが省略される）ようにしてもよい。この場合、例えば、番号「ｐ１」のピクチャの制御情報が割り当てられた入力画像のピクチャの次のピクチャに対して、番号「ｐ２」のピクチャの制御情報が割り当てられる。

さらに、例えば、ユーザが合成パターンの進行を繰り返すように指示する（リピートさせる）と、図８Ｆに示されるように、同一ピクチャの合成処理が繰り返し実行されるようにしてもよい。この場合、例えば、同じマスク情報等の制御情報が、入力画像の複数のピクチャに割り当てられる。

また、例えば、ユーザが合成パターンの進行を任意に指示し、図８Ｇに示されるように、合成パターンの進行が自由曲線（任意の曲線）状となるように合成処理が実行されるようにしても良い。

この場合、情報読み出し制御部１３１は、図９に示されるように、保持部１８３とともに、再生ピクチャ特定部３０１、および制御情報供給部３０２を有する。ユーザがスイッチャパネル１１３を操作し、スローや早送り等の速度指定、逆戻しや繰り返し等の再生パターン指定、または、ジャンプ先指定などの再生ピクチャ指定等を入力すると、その指定は、入力部１３３を介して再生ピクチャ特定部３０１に供給される。

再生ピクチャ特定部３０１は、入力された、速度指定、再生パターン指定、または再生ピクチャ指定に基づいて、次に処理対象とする、合成パターンにおけるピクチャ（つまり、合成パターンにおける処理対象位置（ピクチャ））を指定する再生ピクチャ指定に変換し、その再生ピクチャ指定を制御情報供給部３０２に供給する。制御情報供給部３０２は、再生ピクチャ指定により指定されたピクチャの制御情報（マスク情報やキー情報付きＣＧ情報等）を、保持部１８３より読み出し、入力画像処理部１３５や合成処理部１３６に供給する。つまり、ユーザの指示した進行パターンに応じて制御情報が選択されて読み出され、各部において使用される。これにより、ユーザの指示した進行パターンに応じて合成パターンが進行する。つまり、ユーザは、自由に合成パターンの進行を即時的に（リアルタイムに）制御することができる。

この場合の画像合成処理の流れの例を図１０のフローチャートを参照して説明する。

図１０に示される画像合成処理は、図５の画像合成処理に対応する処理である。ステップＳ３０１乃至ステップＳ３０３の各処理は、図５のステップＳ１０１乃至ステップＳ１０３の各処理と同様に実行される。

図１０のステップＳ３０４において、入力部１３３は、ユーザまたはスイッチャパネル１１３より再生制御指示を受け付ける。ステップＳ３０５において、再生ピクチャ特定部３０１は、再生制御指示に基づいて、再生ピクチャを特定する。ステップＳ３０６において、制御情報供給部３０２は、指定された合成パターンの再生ピクチャの制御情報を各部に供給する。

ステップＳ３０７乃至ステップＳ３１５の各処理は、図５のステップＳ１０５乃至ステップＳ１１３の各処理と同様に実行される。

以上のように、画像処理システム１００（画像合成装置１１１）は、ユーザの指示に従って、即時的に（リアルタイムに）合成パターンの進行を制御することができる。

なお、上述した各種制御情報は、画像合成処理よりも前に予め生成される。その生成の様子を図１１に示す。

最初に、所定のツールなどを使ってＣＧ情報の生成が行われる（処理３３１）。この処理３３１によりＣＧ情報３５１、キー情報３５２、およびマスク画像情報３５３が生成される。処理３３１が終了すると、次に、マスク情報の生成が行われる（処理３３２）。この処理３３２においては、上述したマスク画像情報３５３と、縮小率３６１、回転角３６２、および中心座標３６３等を含むマスクメタ情報３５４とが合成され、マスク情報３５５が生成される。

以上のように生成されたＣＧ情報３５１、キー情報３５２、およびマスク情報３５５が、画像合成装置に記録される（処理３３３）。このとき、ＣＧ情報３５１およびキー情報３５２は、キー情報付きＣＧ情報として圧縮されて記憶される。また、マスク情報３５５は、所定の方式で圧縮されて記憶される。

そして、試験的に、それらの制御情報を用いて合成処理が行われ、合成結果の確認が行われる（処理３３４）。合成結果に不満が残る場合、パラメータ等の修正を行う（処理３３５）。修正が終了すると処理３３１や処理３３２に戻され、それ以降の処理が実行される。

以上のようなワークフローに従って制御情報は事前に生成される。

なお、これらの制御情報を、ユーザが即時的に（リアルタイムに）更新することができるようにしても良い。例えば、図１２に示されるように、キー情報付きＣＧ情報をモニタ等に表示し、ユーザがその表示されたキー情報付きＣＧ情報をマウスやタッチペン等で操作して変形させ、ＣＧ情報等の構成（デザイン）を更新する（すなわち、合成画像の構成を更新する）ことができるようにしてもよい。例えば、図１２Ａに示されるように表示されたキー情報付きＣＧ情報３７１を、図１２Ｂに示されるキー情報付きＣＧ情報３８１のように、中央部分の位置をずらすように変形させると、そのキー情報付きＣＧ情報３７１に対応するキー情報３７２やマスク情報３７３（図１２Ａ）の構成も、キー情報３８２やマスク情報３８３（図１２Ｂ）のように、キー情報付きＣＧ情報の変化に合わせて変化する。

このような場合、制御情報の更新を容易にするために、キー情報付きＣＧ情報やマスク画像情報は、ビットマップではなく、頂点座標およびテクスチャ情報として記憶部１３２に記憶される。そして、情報読み出し制御部１３１は、それらの情報を保持部１８３より読み出す際に、即時的に（リアルタイムに）レンダリングを行い、ビットマップに変換して各部に供給する。

つまり、図１３に示されるように、記憶部１３２には、キー情報付きＣＧ情報用レンダリング情報４０１、全体マスク情報４０２、音声情報１７６、および音声合成情報１７７が記憶される。キー情報付きＣＧ情報用レンダリング情報４０１は、頂点座標情報４１１およびテクスチャ情報４１２よりなり、後述するレンダリング処理によりビットマップのキー情報付きＣＧ情報に変換される。

全体マスク情報４０２は、マスク画像情報用レンダリング情報４２１およびマスクメタ情報１７３を有する。マスク画像情報用レンダリング情報４２１は、頂点座標情報４３１およびテクスチャ情報４３２よりなり、後述するレンダリング処理によりビットマップのマスク画像情報に変換される。

つまり、頂点座標およびテクスチャ情報の場合も、形式が異なるだけでその情報の内容は、ビットマップの場合と同様である。

これらの情報は、保持部１８３に供給され保持される。

ユーザは、スイッチャパネル１１３を操作し、図１２を参照して説明したように、ＣＧデザイン変更指示を入力する。入力部１３３は、そのＣＧデザイン変更指示を取得すると、そのＣＧデザイン変更指示をＣＧ変更用座標情報生成部４５１に供給する。

情報読み出し制御部１３１は、保持部１８３の他に、ＣＧ変更用座標情報生成部４５１、およびリアルタイムレンダリング部４５２を有する。ＣＧ変更用座標情報生成部４５１は、入力部１３３を介して入力されたＣＧデザイン変更指示に基づいて、処理対象ピクチャにおけるデザイン変更後の座標情報を生成し、それをリアルタイムレンダリング部４５２に供給する。リアルタイムレンダリング部４５２は、処理対象ピクチャのキー情報付きＣＧ情報用レンダリング情報４０１を保持部１８３より取得すると、ＣＧ変更用座標情報生成部４５１より取得した変更後の座標情報に基づいてレンダリングを行い、ビットマップのキー情報付きＣＧ情報やキー情報を生成する。同様に、リアルタイムレンダリング部４５２は、保持部１８３より処理対象ピクチャのマスク画像情報用レンダリング情報４２１を取得し、ＣＧ変更用座標情報生成部４５１より取得した変更後の座標情報に基づいてレンダリングを行い、ビットマップのマスク画像情報を生成する。リアルタイムレンダリング部４５２は、そのマスク画像情報を用いて全体マスク情報や部分マスク情報を生成する。リアルタイムレンダリング部４５２は、生成したそれらの情報を各部に供給する。

この場合の画像合成処理の流れの例を図１４および図１５のフローチャートを参照して説明する。なお、このフローチャートは、図５の画像合成処理のフローチャートに対応する。

図１４のステップＳ４０１乃至ステップＳ４０３の各処理は、図５のステップＳ１０１乃至ステップＳ１０３の各処理と同様に実行される。ただし、ステップＳ４０１の制御情報読み出し処理においては、部分マスク情報の生成やキー情報の抽出等の処理は省略される。

図１４のステップＳ４０４において、入力部１３３は、ＣＧデザイン変更指示を受け付ける。ステップＳ４０５において、ＣＧ変更用座標情報生成部４５１は、ＣＧデザイン変更指示に基づいて、処理対象ピクチャのＣＧ変更用座標情報を算出する。

ステップＳ４０６において、リアルタイムレンダリング部４５２は、指定された合成パターンの処理対象ピクチャのキー情報付きＣＧ情報用レンダリング情報４０１を保持部１８３より取得する。ステップＳ４０７において、リアルタイムレンダリング部４５２は、各種座標情報およびテクスチャ情報に基づいてレンダリングを行い、ビットマップのキー情報付きＣＧ情報を生成する。さらに、リアルタイムレンダリング部４５２は、その生成したビットマップのキー情報付きＣＧ情報からキー情報（ビットマップ）を抽出する。ステップＳ４０８において、リアルタイムレンダリング部４５２は、キー情報付きＣＧ情報およびキー情報（いずれもビットマップ）を各部に供給する。

ステップＳ４０９において、リアルタイムレンダリング部４５２は、指定された合成パターンの処理対象ピクチャのマスク画像情報用レンダリング情報４２１を保持部１８３より取得する。ステップＳ４１０において、リアルタイムレンダリング部４５２は、各種座標情報およびテクスチャ情報に基づいてレンダリングを行い、ビットマップのマスク画像情報を生成する。ステップＳ４１１において、リアルタイムレンダリング部４５２は、そのマスク画像情報から、全体マスク情報や部分マスク画像情報を生成し、さらに、各部分マスク情報並びに全体マスク情報を各部に適宜供給する。

ステップＳ４１２において、情報読み出し制御部１３１は、指定された合成パターンの処理対象ピクチャの音声情報及び音声合成情報を保持部１８３より読み出し、音声合成部１６３に供給する。

図１５のステップＳ４２１乃至ステップＳ４２９の各処理は、図５のステップＳ１０５乃至ステップＳ１１３の各処理と同様に実行される。

以上のように、画像処理システム１００（画像合成装置１１１）は、画像合成中にユーザがその合成画像の構成を変更するように制御情報を更新させることができる。

なお、以上においては、前処理としてIP変換を行う場合について説明したが、この前処理は、入力画像に対して行われる処理であれば、どのような処理であってもよい。例えば、図１６に示されるように、IP変換の代わりに、各入力画像より顔検出が行われ、検出された顔画像を中心として画像の切り出しが行われるようにしてもよい。

図１６において、前処理部１３４には、IP変換部１４１−１乃至IP変換部１４１−４の代わりに、顔検出部５０１−１乃至顔検出部５０１−４が設けられている。

顔検出部５０１−１は、第１入力画像音声情報の画像情報に対して顔検出を行い、検出された顔画像の位置に基づいて、切り出しの中心座標を設定する。顔検出部５０１−１は、設定した中心座標を、第１入力画像音声情報とともに、画像切り出し部１５１−１に供給する。画像切り出し部１５１−１は、その中心座標を用いて、情報読み出し制御部１３１より供給される第１部分マスク情報の中心座標を更新し、更新後の第１部分マスク情報に基づいて部分画像の切り出しを行う。

顔検出部５０１−２は、第２入力画像音声情報の画像情報に対して顔検出を行い、検出された顔画像の位置に基づいて、切り出しの中心座標を設定する。顔検出部５０１−２は、設定した中心座標を、第２入力画像音声情報とともに、画像切り出し部１５１−２に供給する。画像切り出し部１５１−２は、その中心座標を用いて、情報読み出し制御部１３１より供給される第２部分マスク情報の中心座標を更新し、更新後の第２部分マスク情報に基づいて部分画像の切り出しを行う。

顔検出部５０１−３は、第３入力画像音声情報の画像情報に対して顔検出を行い、検出された顔画像の位置に基づいて、切り出しの中心座標を設定する。顔検出部５０１−３は、設定した中心座標を、第３入力画像音声情報とともに、画像切り出し部１５１−３に供給する。画像切り出し部１５１−３は、その中心座標を用いて、情報読み出し制御部１３１より供給される第３部分マスク情報の中心座標を更新し、更新後の第３部分マスク情報に基づいて部分画像の切り出しを行う。

顔検出部５０１−４は、第４入力画像音声情報の画像情報に対して顔検出を行い、検出された顔画像の位置に基づいて、切り出しの中心座標を設定する。顔検出部５０１−４は、設定した中心座標を、第４入力画像音声情報とともに、画像切り出し部１５１−４に供給する。画像切り出し部１５１−４は、その中心座標を用いて、情報読み出し制御部１３１より供給される第４部分マスク情報の中心座標を更新し、更新後の第４部分マスク情報に基づいて部分画像の切り出しを行う。

この場合の画像合成処理の流れの例を図１７のフローチャートを参照して説明する。なお、このフローチャートは、図５の画像合成処理のフローチャートに対応する。

図１７のステップＳ５０１乃至ステップＳ５０４の各処理は、図５のステップＳ１０１乃至ステップＳ１０４の各処理と同様に実行される。

図１７のステップＳ５０５において、前処理部１３４の顔検出部５０１−１乃至顔検出部５０１−４は、各入力画像に対して顔検出を行う。顔検出部５０１−１乃至顔検出部５０１−４は、ステップＳ５０６において、検出結果に基づいて、切り出しの中心座標を決定する。ステップＳ５０７において、画像切り出し部１５１（画像切り出し部１５１−１乃至画像切り出し部１５１−４）は、ステップＳ５０６において決定された値を用いて、各部分マスク情報（の中心座標）を更新する。

ステップＳ５０８乃至ステップＳ５１５の各処理は、図５のステップＳ１０６乃至ステップＳ１１３の各処理と同様に実行される。

以上のように、前処理部１３４において、入力画像より顔画像を検出し、その顔の位置に基づいて切り出し位置を決定することにより、入力画像処理部１３５は、より適切な絵柄の部分画像を切り出すことができる。つまり、画像合成装置１１１は、合成結果（合成画像）の視覚的効果をより向上させることができる。

なお、以上において、マスク画像情報１７２やキー情報付きＣＧ情報１７４のようなビットマップデータは、所定の方式で圧縮されて記憶部１３２に記憶されるように説明した。この圧縮方法の具体的な例について以下に説明する。

まず、マスク画像情報１７２について説明する。マスク画像情報１７２は、図３に模式的に示されるように、どの入力系統の画像を合成結果として選択するかを画素単位で指定している。この各画素の指定順は、どのような順序でも可能であるが、処理の容易化のためにラスタスキャン方式で行われる。つまり、図３に模式的に示されるように、マスク画像情報１７２は、同じ値のデータが連続する（繰り返しが多い）傾向が強いという特徴を有する。

そこで、マスク画像情報１７２は、例えばバイト単位でランレングス符号化することにより効率よく圧縮することができる。つまり、マスク画像情報１７２をランレングス符号化により符号化することにより、画像合成装置１１１は、記憶領域やバス領域の利用効率を向上させることができる。

なお、ランレングス符号化の場合、値とその値が連続する長さを指定するのみであるので、圧縮後のデータ構造は比較的単純になる。従って、情報読み出し制御部１３１は、マスク画像情報１７２の復号処理を容易かつ高速に行うことができる。

次に、キー情報付きＣＧ情報１７４（キー情報およびＣＧ情報）について説明する。ＣＧ情報は、表示用の情報であるので、一般的に、マスク画像情報１７２と比較して絵柄が複雑になる。また、合成パターンにおいて、ＣＧ情報は、動画像とする場合が多く、ピクチャ間で大きく変化する傾向が強いという特徴を有する。

このような特徴を有するキー情報付きＣＧ情報を、例えば離散コサイン変換や動きベクトルを用いる圧縮符号化で符号化する場合、合成画像において、所謂モスキートノイズのような視覚的に目立つノイズが発生する可能性が高くなる恐れがある。つまり、合成画像の体感的な画質を低減させやすい。

これに対して、例えば、ウェーブレット変換を用いる圧縮符号化の場合、情報損失等が発生しても、合成画像は、解像度が低下する（所謂ぼける）傾向にあるので、視覚的には目立ちにくい。つまり、合成画像の体感的な画質を低減させにくい。

また、ピクチャ単位で処理されるので、イントラ符号化の方が復号処理が容易になり好適である。

従って、キー情報付きＣＧ情報１７４の符号化には、ウェーブレット変換を用いるイントラ符号化方式の圧縮符号化を用いるのが望ましい。ただし、JPEG2000（Joint Photographic Experts Group 2000）方式の場合、処理の負荷が大きい。

そこで、ウェーブレット変換を用い、かつ、ピクチャよりも小さいデータ単位で処理を行う圧縮符号化方式をキー情報付きＣＧ情報１７４の符号化に適用する。

以下、この圧縮符号化方式について説明する。

図１８は、この圧縮符号化方式の符号化装置の構成例を示すブロック図である。図１８において、符号化装置６００は、ウェーブレット変換部６１０、途中計算用バッファ部６１１、係数並び替え用バッファ部６１２、係数並び替え部６１３、レート制御部６１４、およびエントロピ符号化部６１５を有する。

符号化装置６００に入力された画像データは、途中計算用バッファ部６１１に一時的に溜め込まれる。ウェーブレット変換部６１０は、途中計算用バッファ部６１１に溜め込まれた画像データに対してウェーブレット変換を施す。すなわち、ウェーブレット変換部６１０は、途中計算用バッファ部６１１から画像データを読み出して分析フィルタによりフィルタ処理を施して低域成分および高域成分の係数のデータを生成し、生成された係数データを途中計算用バッファ部６１１に格納する。ウェーブレット変換部６１０は、水平分析フィルタと垂直分析フィルタとを有し、画像データ群に対して、画面水平方向と画面垂直方向の両方について分析フィルタ処理を行う。ウェーブレット変換部６１０は、途中計算用バッファ部６１１に格納された低域成分の係数データを再度読み出し、読み出した係数データに対して分析フィルタによるフィルタ処理を施して、高域成分および低域成分の係数のデータをさらに生成する。生成された係数データは、途中計算用バッファ部６１１に格納される。

ウェーブレット変換部６１０は、この処理を垂直方向および水平方向に低域な成分に対して再帰的に繰り返す。ウェーブレット変換では、例えば図１９に概略的に示されるように、画像データを空間周波数の高い帯域と低い帯域とに分割する処理を、分割の結果得られる空間周波数の低い帯域のデータに対して再帰的に繰り返す。こうして、空間周波数の低い帯域のデータをより小さな領域に追い込んでいくことで、効率的な圧縮符号化を可能とする。

なお、図１９は、画像データの最低域成分領域に対する低域成分の領域Ｌおよび高域成分の領域Ｈへの分割処理を３回、繰り返し、分割の階層の総数を示す分割レベル＝３とした場合の例である。図１９において、"Ｌ"および"Ｈ"は、それぞれ低域成分および高域成分を表し、"Ｌ"および"Ｈ"の順序は、前側が横方向に分割した結果の帯域を示し、後側が縦方向に分割した結果の帯域を示す。また、"Ｌ"および"Ｈ"の前の数字は、その領域の階層を示しており、低域成分の階層ほど小さい値で表されている。

また、図１９の例から分かるように、画面の右下の領域から左上の領域にかけて段階的に処理がなされ、低域成分が追い込まれていく。すなわち、図１９の例では、画面の右下の領域が最も低域成分の少ない（高域成分が最も多く含まれる）領域３ＨＨとされる、画面が４分割された左上の領域は、さらに４分割され、この４分割された領域のうち左上の領域がさらに４分割される。最も左上隅の領域は、最も低域成分を多く含む領域０ＬＬとされる。低域成分に対して繰り返し変換および分割を行うのは、画像のエネルギが低域成分に集中しているためである。

ウェーブレット変換部６１０は、以上のようにウェーブレット変換を繰り返し、分解レベルが所定レベルに達したら、途中計算用バッファ部６１１から係数データを読み出し、読み出された係数データを係数並び替え用バッファ部６１２に書き込む。

係数並び替え部６１３は、係数並び替え用バッファ部６１２に書き込まれた係数データを復号時において逆ウェーブレット変換される順で読み出し、エントロピ符号化部６１５に供給する。エントロピ符号化部６１５は、供給された係数データを、例えばハフマン符号化や算術符号化といった所定のエントロピ符号化方式で符号化する。

エントロピ符号化部６１５は、レート制御部６１４と連動的に動作し、出力される圧縮符号化データのビットレートが略一定値となるように制御される。すなわち、レート制御部６１４は、エントロピ符号化部６１５からの符号化データ情報に基づき、エントロピ符号化部６１５により圧縮符号化されたデータのビットレートが目標値に達した時点あるいは目標値に達する直前でエントロピ符号化部６１５による符号化処理を終了するように制御する制御信号を、エントロピ符号化部６１５に対して供給する。エントロピ符号化部６１５は、レート制御部６１４から供給される制御信号に応じて符号化処理が終了した時点で、符号化データを出力する。

なお、エントロピ符号化部６１５が、係数並び替え部６１３から読み出された係数データに対して、最初に量子化を行い、得られた量子化係数に対してハフマン符号化や算術符号化等の情報源符号化処理を施すようにすれば、さらに圧縮効果の向上を期待することができる。この量子化の方法としてはどのようなものを用いても良く、例えば、一般的な手段、つまり、以下の式（１）に示されるような、係数データＷを量子化ステップサイズΔで除算する手法を用いれば良い。

量子化係数＝Ｗ／Δ ・・・（１）

この時の量子化ステップサイズΔは、例えばレート制御部６１４において算出される。

なお、ウェーブレット変換部６１０は、ウェーブレット変換によるフィルタ処理を、画面の縦方向について、数ライン毎の処理に分割して、複数回に分けて段階的に行う。このライン数は、高域成分と低域成分とに再帰的に２分解した後に、１ライン分の最低域成分が生成されるために必要なライン数に基づく。

なお、以下において、この最低域成分の１ライン分（最低域成分のサブバンドの１ライン分の係数データ）を生成するために必要な、他のサブバンドも含めたラインの集まりを、プレシンクト（またはラインブロック）と称する。ここでラインとは、ウェーブレット変換前の画像データに対応するピクチャ若しくはフィールド内、または各サブバンド内において形成される１行分の画素データ若しくは係数データのことを示す。すなわち、プレシンクト（ラインブロック）とは、ウェーブレット変換前の元の画像データにおける、ウェーブレット変換後の最低域成分のサブバンド１ライン分の係数データを生成するために必要なライン数分の画素データ群、または、その画素データ群をウェーブレット変換して得られる各サブバンドの係数データ群のことを示す。

図２０は、５×３フィルタを用いて、分解レベル＝２までウェーブレット変換によるフィルタ処理を施した例である。ウェーブレット変換部６１０において、図２０Ａに一例が示されるように、入力画像データの第１ラインから第７ラインに対して１回目のフィルタ処理が水平および垂直方向にそれぞれ行われる（図６ＡのＩｎ−１）。

１回目のフィルタ処理の分解レベル＝１の処理において、図２０Ｂに一例が示されるように、分解レベル＝１で形成される領域ＨＨ、領域ＨＬおよび領域ＬＨのそれぞれに配置される（図２０ＢのＷＴ−１）。また、分解レベル＝１で形成される領域ＬＬは、分解レベル＝２による水平および垂直方向のフィルタ処理でさらに４分割される。

ウェーブレット変換部６１０による２回目以降のフィルタ処理では、４ライン毎にフィルタ処理が行われ（図２０ＡのＩｎ−２・・・）、分解レベル＝１で２ラインずつの係数データが生成され（図２０ＢのＷＴ−２）、分解レベル＝２で１ラインずつの係数データが生成される。それらの係数データは、図２０Ｂに一例が示されるように、分解レベル１で形成される領域ＨＨ、領域ＨＬおよび領域ＬＨの、１回目のフィルタ処理で生成された係数データの次から配置される。同様に、分解レベル＝１による領域ＬＬ内において、分解レベル＝２のフィルタ処理で生成された１ライン分の係数が領域ＬＬに配置され、１ライン分の係数が領域ＨＨ、領域ＨＬおよび領域ＬＨにそれぞれ配置される。

図２０Ｂのようにウェーブレット変換されたデータを復号した際には、図２０Ｃに一例が示されるように、符号化側の第１ライン乃至第７ラインによる１回目のフィルタ処理に対して、復号側の１回目の合成処理による第１ラインが出力される（図２０ＣのＯｕｔ−１）。以降、符号化側の２回目から最後の回の前までのフィルタ処理に対して、復号側で４ラインずつが出力される（図２０ＣのＯｕｔ−２・・・）。そして、符号化側の最後の回のフィルタ処理に対して、復号側で８ラインが出力される。

ウェーブレット変換部６１０で高域成分側から低域成分側へと生成された係数データは、係数並び替え用バッファ部６１２に順次格納される。係数並び替え部６１３は、上述した係数データの並び替えが可能となるまで係数並び替え用バッファ部６１２に係数データが蓄積されると、係数並び替え用バッファ部６１２から、復号時の合成処理（逆ウェーブレット変換処理）に必要な順に並び替えて係数データを読み出す。読み出された係数データは、エントロピ符号化部６１５に順次、供給される。

以上のように、符号化装置６００は、１ピクチャの画像データを、複数のプレシンクトに分割し、そのプレシンクト毎に符号化を行う。図２１にその様子を模式的に示す。

キー情報付きＣＧ情報１７４を、以上のような方法で符号化して記憶部１３２に記憶させる場合の復号部１８４の構成例を図２２に示す。

記憶部１３２より読み出されたキー情報付きＣＧ情報１７４は、図２２の復号部１８４のエントロピ復号部６２１に供給され、エントロピ符号を復号され、係数データとされる。係数データは、係数バッファ部６２２に格納される。逆ウェーブレット変換部６２３は、係数バッファ部６２２に格納された係数データを用いて、合成フィルタによる合成フィルタ処理を行い、合成フィルタ処理の結果を再び係数バッファ部６２２に格納する。逆ウェーブレット変換部６２３は、この処理を分解レベルに応じて繰り返して、復号された画像データ、すなわち、ベースバンドの（非圧縮の）キー情報付きＣＧ情報１７４を得る。

以上のように、この圧縮符号化方式の場合、JPEG2000方式の場合よりも容易に復号することができ、復号処理の負荷を軽減させることができる。なお、この圧縮符号化方式の場合、上述したように符号化時に係数の並び替えを行っているので、復号時における処理の負荷がさらに軽減される。

なお、圧縮効率の観点からすれば、例えばMPEG（Moving Picture Experts Group）方式の方が効率がよい。従って、例えば、動きが小さく、かつ、例えば１００種類以上の画像を含むようなデータ量の多いＣＧ情報の場合、MPEG方式により圧縮するようにするのが望ましい。ただし、その場合、復号部１８４もMPEG方式に対応させる必要がある。さらに、上述したような各種の符号化方式を適宜組み合わせて使用するようにしてもよい。その場合、復号部１８４は、それら全ての方式に対応する必要がある。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図２３に示されるような情報処理システムとして構成されるようにしてもよい。

図２３は、上述した一連の処理をプログラムにより実行する情報処理システムの構成の例を示すブロック図である。

図２３に示されるように、情報処理システム８００は、情報処理装置８０１、その情報処理装置８０１とPCIバス（Peripheral Components Interconnect bus）８０２によって接続された、記憶装置８０３、複数台のビデオテープレコーダ（VTR：Video Tape Recorder）であるVTR８０４-１乃至VTR８０４−Ｓ、ユーザがこれらに対する操作入力を行うためのマウス８０５、キーボード８０６、並びに操作コントローラ８０７により構成されるシステムであり、インストールされたプログラムによって、上述したような画像符号化処理や画像復号処理等を行うシステムである。

例えば情報処理システム８００の情報処理装置８０１は、RAID（Redundant Arrays of Independent Disks）でなる大容量の記憶装置８０３に記憶されている動画コンテンツを符号化して得られた符号化データを記憶装置８０３に記憶させたり、記憶装置８０３に記憶されている符号化データを復号して得られた復号画像データ（動画コンテンツ）を記憶装置８０３に記憶させたり、符号化データや復号画像データをVTR８０４-１乃至VTR８０４−Ｓを介してビデオテープに記録したりすることができる。また、情報処理装置８０１は、VTR８０４-１乃至VTR８０４−Ｓに装着されたビデオテープに記録された動画コンテンツを記憶装置８０３に取り込み得るようにもなされている。その際、情報処理装置８０１が、動画コンテンツを符号化するようにしてもよい。

情報処理装置８０１は、マイクロプロセッサ９０１、GPU（Graphics Processing Unit）９０２、XDR-RAM（Extreme Data Rate - Random Access Memory）９０３、サウスブリッジ９０４、HDD（Hard Disk Drive）９０５、USB（Universal Serial Bus）インタフェース（USB I/F）９０６、およびサウンド入出力コーデック９０７を有している。

GPU９０２は専用のバス９１１を介してマイクロプロセッサ９０１に接続される。XDR-RAM９０３は専用のバス９１２を介してマイクロプロセッサ９０１に接続される。サウスブリッジ９０４は、専用のバスを介してマイクロプロセッサ９０１のI/Oコントローラ９４４に接続される。このサウスブリッジ９０４には、HDD９０５、USBインタフェース９０６、および、サウンド入出力コーデック９０７も接続されている。このサウンド入出力コーデック９０７にはスピーカ９２１が接続されている。また、GPU９０２にはディスプレイ９２２が接続されている。

またサウスブリッジ９０４には、さらに、PCIバス８０２を介して、マウス８０５、キーボード８０６、VTR８０４-１乃至VTR８０４−Ｓ、記憶装置８０３、並びに、操作コントローラ８０７が接続されている。

マウス８０５およびキーボード８０６は、ユーザの操作入力を受け、PCIバス８０２およびサウスブリッジ９０４を介して、ユーザの操作入力の内容を示す信号を、マイクロプロセッサ９０１に供給する。記憶装置８０３およびVTR８０４-１乃至VTR８０４−Ｓは、所定のデータを記録または再生できるようになされている。

PCIバス８０２にはさらに、必要に応じてドライブ８０８が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア８１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じてHDD９０５にインストールされる。

マイクロプロセッサ９０１は、OS（Operating System）等の基本プログラムを実行する汎用のメインCPU（Central Processing Unit）コア９４１と、メインCPUコア９４１に内部バス９４５を介して接続された複数（この場合８個）のRISC（Reduced Instruction Set Computer）タイプの信号処理プロセッサである、サブCPUコア９４２-１乃至サブCPUコア９４２-８と、例えば２５６[MByte]の容量を持つXDR-RAM９０３に対するメモリコントロールを行うメモリコントローラ９４３と、サウスブリッジ９０４との間でデータの入出力を管理するI/O（In/Out）コントローラ９４４とが１チップに集積されたマルチコア構成でなり、例えば動作周波数４[GHz]を実現している。

このマイクロプロセッサ９０１は、起動時、HDD９０５に格納された制御プログラムに基づき、HDD９０５に格納されている必要なアプリケーションプログラムを読み出してXDR-RAM９０３に展開し、この後このアプリケーションプログラム及びオペレータ操作に基づいて必要な制御処理を実行する。

例えば、図２に示される画像合成装置１１１の構成のうち、点線１２１により囲まれる部分の処理部により行われる処理、すなわち、IP変換等の前処理や情報読み出し制御処理等をマイクロプロセッサ９０１により実行させ、点線１２２によりかこまれる部分の処理部により行われる処理、すなわち、画像切り出し、サイズ補正、各種合成等の画像に関する処理をGPU９０２により実行させる。

なお、記憶部１３２は、例えばHDD９０５、記憶装置８０３、またはリムーバブルメディア８１１が装着されたドライブ８０８等により実現し、入力部１３３は、例えば、マウス８０５、キーボード８０６、USB/IF９０６、または図示せぬネットワークインタフェース等により実現する。また、情報読み出し制御部１３１において、復号部１８１、分割部１８２、復号部１８４、および抽出部１８５が行う各処理は、マイクロプロセッサ９０１により実行し、保持部１８３は、XDR-RAM９０３により実現する。

なお、マイクロプロセッサ９０１は、複数のコアを有するので、処理の実行を適宜並列化し、複数の処理を同時並列的に進行させるようにすることもできる。また、各処理に対するコアの割り当て方も任意である。

上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図２３に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM,DVDを含む）、光磁気ディスク（MDを含む）、もしくは半導体メモリなどよりなるリムーバブルメディア８１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているHDD９０５や記憶装置８０３等で構成される。もちろん、記録媒体は、ROMやフラッシュメモリ等の半導体メモリであってもよい。

以上においては、マイクロプロセッサ９０１内に８個のサブCPUコアが構成されるように説明したが、これに限らず、サブCPUコアの数は任意である。また、マイクロプロセッサ９０１が、メインCPUコアとサブCPUコアのような複数のコアにより構成されていなくてもよく、シングルコア（１つのコア）により構成されるCPUを用いるようにしてもよい。また、マイクロプロセッサ９０１の代わりに複数のCPUを用いるようにしてもよいし、複数の情報処理装置を用いる（すなわち、本発明の処理を実行するプログラムを、互いに連携して動作する複数の装置において実行する）ようにしてもよい。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

なお、以上において、１つの装置として説明した構成を分割し、複数の装置として構成するようにしてもよい。逆に、以上において複数の装置として説明した構成をまとめて１つの装置として構成されるようにしてもよい。また、各装置の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置の構成の一部を他の装置の構成に含めるようにしてもよい。つまり、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した画像処理システムの構成例を示すブロック図である。 本発明を適用した画像合成装置の主な構成例を示すブロック図である。 制御情報を説明する図である。 入力画像の合成の様子の例を示す図である。 画像合成処理の流れの例を説明するフローチャートである。 マスク情報の時間的変化の例を説明する図である。 制御情報読み出し処理の流れの例を説明するフローチャートである。 合成パターンの進行方法の例を説明する図である。 情報読み出し制御部の構成例を示すブロック図である。 画像合成処理の流れの、他の例を説明するフローチャートである。 制御情報制作のワークフローの例を説明する図である。 制御情報更新の様子の例を説明する図である。 情報読み出し制御部の、他の構成例を示すブロック図である。 画像合成処理の流れの、さらに他の例を説明するフローチャートである。 画像合成処理の流れの、さらに他の例を説明する、図１４に続くフローチャートである。 本発明を適用した画像合成装置の、他の構成例を示すブロック図である。 画像合成処理の流れの、さらに他の例を説明するフローチャートである。 符号化装置の構成例を示すブロック図である。 ウェーブレット変換について概略的に説明するための略線図である。 ウェーブレット変換および逆ウェーブレット変換の流れを概略的に示す略線図である。 ピクチャの構成例を示す模式図である。 復号部の構成例を示すブロック図である。 本発明を適用した情報処理システムの構成例を示すブロック図である。

符号の説明

１００ 画像処理システム， １１１ 画像合成装置， １３１ 情報読み出し制御部， １３４ 前処理部， １３６ 合成処理部， １３７ キー生成部， １５１ 画像切り出し部， １５２ サイズ補正部， １６１ 画像合成部， １６２ ＣＧ合成部， １８１ 復号部， １８２ 分割部， １８３ 保持部， １８４ 復号部， １８５ 抽出部， ３０１ 再生ピクチャ特定部， ３０２ 制御情報供給部， ４５１ ＣＧ変更用座標情報生成部， ４５２ リアルタイムレンダリング部， ５０１−１乃至５０１−４ 顔検出部

Claims (18)

1. 画像の一部を部分画像として自由曲線により切り出す切り出し処理を複数の画像に対して行い、前記複数の画像のそれぞれより部分画像を切り出す切り出し手段と、
   前記切り出し手段により切り出された複数の前記部分画像のそれぞれについて、画像サイズを補正するサイズ補正手段と、
   前記サイズ補正手段により画像サイズが補正された前記部分画像同士を繋ぎ合わせて１枚の合成画像を生成する合成手段と
   を備える情報処理装置。
2. 前記切り出し手段は、第１の制御情報により指定される切り出し方法で、前記部分画像の切り出しを行い、
   前記サイズ補正手段は、前記部分画像を、前記第１の制御情報により指定される画像サイズに補正し、
   前記合成手段は、前記第１の制御情報により指定される繋ぎ合わせ方で前記部分画像同士を繋ぎ合わせる
   請求項１に記載の情報処理装置。
3. 複数の画像の重ね合わせ方を指定する第２の制御情報により指定される重ね合わせ方で、前記合成手段により生成される前記合成画像にＣＧ（Computer Graphics）情報を重畳させるＣＧ情報合成手段をさらに備える
   請求項２に記載の情報処理装置。
4. 前記第１の制御情報および前記第２の制御情報を記憶する記憶手段と、
   前記記憶手段より前記第１の制御情報および前記第２の制御情報を読み出し、前記第１の制御情報を前記切り出し手段、前記サイズ補正手段、および前記合成手段に供給し、前記第２の制御情報を前記ＣＧ情報合成手段に供給する読み出し手段をさらに備える
   請求項３に記載の情報処理装置。
5. 前記読み出し手段は、前記記憶手段より読み出した前記第１の制御情報から、前記複数の画像のそれぞれに対する制御情報である部分制御情報を生成し、生成した複数の部分制御情報を前記切り出し手段および前記サイズ補正手段に供給し、
   前記切り出し手段は、各画像に対して、各画像に対応する部分制御情報により指定される切り出し方法で前記部分画像の切り出しを行い、
   前記サイズ補正手段は、各部分画像を、各部分画像に対応する部分制御情報により指定される画像サイズに補正する
   請求項４に記載の情報処理装置。
6. 前記記憶手段により記憶されている前記第１の制御情報および前記第２の制御情報をそれぞれ所定の方法で圧縮されており、
   前記読み出し手段は、前記記憶手段より読み出した前記第１の制御情報および前記第２の制御情報を、それぞれの圧縮方法に対応する方法で復号してから供給する
   請求項４に記載の情報処理装置。
7. 前記記憶手段は、前記第１の制御情報および前記第２の制御情報を合成パターン毎に管理し、
   前記読み出し手段は、指定された合成パターンの前記第１の制御情報および前記第２の制御情報を前記記憶手段より読み出して供給する
   請求項４に記載の情報処理装置。
8. 前記合成パターンの進行を制御する進行制御指示を受け付ける進行制御指示受付手段をさらに備え、
   前記読み出し手段は、前記進行制御指示受付手段により受け付けられた前記進行制御指示に基づいて前記合成パターンにおける処理対象位置を特定し、前記処理対象位置に対応する第１の制御情報および前記第２の制御情報を読み出して供給する
   請求項７に記載の情報処理装置。
9. 前記ＣＧ情報の構成の変更指示を受け付ける変更指示受付手段をさらに備え、
   前記読み出し手段は、前記変更指示受付手段により受け付けられた前記変更指示に基づいて、前記第１の情報および前記第２の情報を更新する
   請求項４に記載の情報処理装置。
10. 前記複数の画像に対して前処理を行う前処理手段をさらに備え、
    前記切り出し手段は、前記前処理手段により前処理された前記複数の画像より前記部分画像を切り出す
    請求項１に記載の情報処理装置。
11. 前記前処理手段は、前記前処理として、インタレース方式の前記複数の画像をプログレッシブ方式に変換する
    請求項１０に記載の情報処理装置。
12. 前記前処理手段は、前記前処理として、前記複数の画像のそれぞれより顔画像を検出し、前記切り出し手段により切り出される前記部分画像の中心座標を決定する
    請求項１０に記載の情報処理装置。
13. 前記複数の画像のそれぞれに対応する音声情報を、それぞれの前記音声情報の合成方法を指定する情報である音声合成情報に従って合成する音声合成手段をさらに備える
    請求項１に記載の情報処理装置。
14. 前記自由曲線により切り出す部分は、マスク画像情報により指定される
    請求項１に記載の情報処理装置。
15. 前記マスク画像情報においては、画像の切り出し部分が画素単位で指定される
    請求項１４に記載の情報処理装置。
16. 画像の一部を部分画像として自由曲線により切り出す切り出し処理を複数の画像に対して行い、前記複数の画像のそれぞれより部分画像を切り出し、
    切り出された複数の前記部分画像のそれぞれについて、画像サイズを補正し、
    画像サイズが補正された前記部分画像同士を繋ぎ合わせて１枚の合成画像を生成する
    ステップを含む情報処理方法。
17. 画像の一部を部分画像として自由曲線により切り出す切り出し処理を複数の画像に対して行い、前記複数の画像のそれぞれより部分画像を切り出し、
    切り出された複数の前記部分画像のそれぞれについて、画像サイズを補正し、
    画像サイズが補正された前記部分画像同士を繋ぎ合わせて１枚の合成画像を生成する
    ステップを含む処理をコンピュータに実行させるプログラム。
18. 画像の一部を部分画像として切り出す切り出し処理を複数の画像に対して行い、前記複数の画像のそれぞれより部分画像を切り出す切り出し手段と、
    前記切り出し手段により切り出された複数の前記部分画像のそれぞれについて、画像サイズを補正するサイズ補正手段と、
    スイッチャパネルに対して入力されたユーザの指示に従って、前記サイズ補正手段により画像サイズが補正された前記部分画像同士を繋ぎ合わせて１枚の合成画像を生成する合成手段と
    を備える情報処理装置と、
    前記情報処理装置により生成された前記合成画像と、前記合成画像のバックグランドとなる画像として入力されたバックグランド画像とを重畳する重畳手段を備えるスイッチャと、
    前記情報処理装置、又は、前記スイッチャに対する指示を行うスイッチャパネルと
    を有する情報処理システム。

Images