JP2000151982A - 画像合成装置および画像合成方法、画像生成装置および画像生成方法、並びに提供媒体 - Google Patents

Abstract

(57)【要約】 【課題】 画像の合成を、効率良く行う。 【解決手段】 マット画像に対して、０でないマット値
すべてを包含する第１のバウンディングボックスと、１
のマット値のみからなる第２のバウンディングボックス
とが設定され、第１のバウンディングボックスの外部の
領域（外部領域）、第１のバウンディングボックスの領
域のうちの第２のバウンディングボックスの領域でない
領域（中間領域）、および第２のバウンディングボック
スの領域（内部領域）の３つの領域それぞれに対応する
前景画像および背景画像について、画像合成のための合
成処理が施される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像合成装置およ
び画像合成方法、画像生成装置および画像生成方法、並
びに提供媒体に関し、特に、マット値による画像どうし
の合成を、効率良く行うことができるようにする画像合
成装置および画像合成方法、画像生成装置および画像生
成方法、並びに提供媒体に関する。

【０００２】

【従来の技術】近年におけるディジタル信号処理技術の
進歩、発展により、例えば、映画やテレビジョン放送番
組等の制作においては、背景となる風景等の画像上に、
その背景とは別に撮影した登場人物の画像を合成するよ
うな、画像のディジタル合成が行われることが多くなっ
てきている。

【０００３】画像のディジタル合成には、その合成の対
象となる前景の画像（前景画像）を構成する各画素ごと
に設定されたマット値（キー信号やα（アルファ）値な
どとも呼ばれる）が用いられる。

【０００４】即ち、マット値は、所定の範囲の値によっ
て、前景画像の各画素の不透明度を表すもので、一般
に、所定の範囲の最小のマット値は、前景画像の画素
が、完全に透明な状態に対応し、最大のマット値は、前
景画像の画素が、完全に不透明な状態に対応する。

【０００５】ここで、マット値を用いた画像合成を行う
場合においては、一般に、マット値が取りうる値の範囲
の最小値は０に、最大値は１に、それぞれ正規化される
ため、以下では、マット値の最小値または最大値が、そ
れぞれ０または１であるとして、説明を行う。

【０００６】マット値は、上述したように、前景画像の
各画素の不透明度を表すから、前景画像を構成する画素
それぞれについて存在し、そのようなマット値を、画素
値とする画像は、マット画像と呼ばれることがある。マ
ット画像は、それ自体単独で与えられる場合もあるが、
前景画像とともに（前景画像の一部として）与えられる
場合もある。

【０００７】マット値を用いた画像合成は、例えば、次
のように行われる。即ち、いま、前景画像および背景の
画像（背景画像）の画素の画素値が、ＲＧＢ（Red, Gre
en,Bule）の各成分からなり、前景画像の画素のＲ，
Ｇ，Ｂ成分を、Ｆｒ，Ｆｇ，Ｆｂと表すとともに、背景
画像の画素のＲ，Ｇ，Ｂ成分を、Ｂｒ，Ｂｇ，Ｂｂと表
すこととする。さらに、前景画像の画素に対するマット
値をＭと表し、前景画像と背景画像とを合成した合成画
像の画素のＲ，Ｇ，Ｂ成分を、Ｃｒ，Ｃｇ，Ｃｂと表す
こととする。この場合、合成画像の画素のＲ，Ｇ，Ｂ成
分は、次式で求められる。

【０００８】 Ｃｒ＝Ｍ×Ｆｒ＋（１−Ｍ）×Ｂｒ Ｃｇ＝Ｍ×Ｆｇ＋（１−Ｍ）×Ｂｇ Ｃｂ＝Ｍ×Ｆｂ＋（１−Ｍ）×Ｂｂ ・・・（１）

【０００９】なお、式（１）による画像合成について
は、例えば、T.Porter and T.Duff, "Compositing Digi
tal Images", Computer Graphics Vol.18, No.3(1984),
pp.253-259などに、その詳細が開示されている。

【００１０】式（１）から、マット値Ｍは、前景画像の
画素の、合成画像に対する寄与の程度を表しており、マ
ット値Ｍが１の画素（合成画像の画素）では、前景画像
だけが現れる。また、マット値Ｍが１未満でかつ０より
大きい画素では、そのマット値Ｍに応じて、前景画像と
背景とが混合され、さらに、マット値Ｍが０の画素で
は、背景画像だけが現れる。

【００１１】

【発明が解決しようとする課題】ところで、式（１）の
演算には、乗算と加算（減算）が含まれるが、乗算は、
一般に、加算に比較して時間を要する。特に、高解像度
の画像（画素数の多い画像）について合成を行う場合に
は、画素数が多いために、乗算の回数が莫大になり、そ
の結果、処理の低速化を招くことになる。

【００１２】このような処理の低速化を低減するには、
演算量を少なくする必要があり、演算量の少なくする方
法としては、例えば、J.Foley, et al., Computer Grap
hics: Principles and Practice, Addison-Wesley, sec
ond edition, 1990.などに記載されている、いわゆるバ
ウンディングボックス（外接矩形の概念）を使用して演
算の対象とする領域（演算対象領域）を限定するものが
知られている。

【００１３】バウンディングボックスを使用して、画像
合成における演算量を少なくする場合には、図１１に示
すように、マット画像に対して、０でないマット値に外
接する矩形の領域（図１１において、点線で囲んである
領域）を設定し、その矩形の領域の内部だけを対象に、
式（１）の演算を行うようにすれば良い。即ち、この矩
形がバウンディングボックスと呼ばれるが、バウンディ
ングボックスの外部の領域のマット値は０であるから、
合成画像において、背景画像がそのまま現れる。従っ
て、バウンディングボックスの外部の領域に対応する背
景画像は、そのまま合成画像にコピーし、バウンディン
グボックスの内部の領域に対応する前景画像および背景
画像についてだけ、式（１）の演算を行えば良い。

【００１４】ここで、図１１のマット画像において（後
述する図３においても同様）、影を付していない領域は
マット値が０の領域（以下、適宜、透明領域という）
を、薄い影を付してある部分は、マット値が０より大き
く、１より小さい領域（以下、適宜、半透明領域とい
う）を、濃い影を付してある部分は、マット値が１の領
域（以下、適宜、完全不透明領域という）を、それぞれ
表している。

【００１５】なお、合成画像を、前景画像および背景画
像とは別に生成する場合は、上述のように、バウンディ
ングボックスの外部の領域に対応する背景画像を、合成
画像にコピーする必要があるが、背景画像に上書きする
形で合成画像を生成する場合には、バウンディングボッ
クスの外部の領域に対応する背景画像については、特に
処理を行う必要はない。

【００１６】また、バウンディングボックスは、０でな
いマット値すべてを包含する形状であれば良く、矩形で
ある必要はないが、バウンディングボックスの内外の判
定が容易なため、一般に、矩形のバウンディングボック
スが用いられることが多い。

【００１７】さらに、図１１において、バウンディング
ボックスは、半透明領域に外接するように設定されてい
るが、必ずしも接する必要はない。

【００１８】次に、図１２のフローチャートを参照し
て、バウンディングボックスを用いた従来の画像合成処
理について説明する。なお、ここでは、背景画像に上書
きする形で合成画像を生成するものとする（従って、こ
の場合、上述したように、バウンディングボックスの外
部の領域に対応する背景画像については、特に処理を行
う必要はない）。

【００１９】まず最初に、ステップＳ８１において、バ
ウンディングボックスが設定される。即ち、ステップＳ
８１では、ユーザによって、バウンディングボックス
の、例えば、左下の頂点と右上の頂点が指定される。

【００２０】なお、ここでは、図１１に示すように、マ
ット画像の左下の頂点を原点（０，０）とし、左から右
方向、または下から上方向に、ｘ軸またはｙ軸をとった
座標系を用い、ユーザによって指定されたバウンディン
グボックスの左下または右上の頂点の座標を、それぞれ
（Ｘ_min1，Ｙ_min1）または（Ｘ_max1，Ｙ_max1）と表す
（Ｘ_min1＜Ｘ_max1，Ｙ_min1＜Ｙ_max1）。また、マット画
像の横または縦の画素数を、それぞれＷまたはＨとす
る。

【００２１】ユーザによって、点（Ｘ_min1，Ｙ_min1）お
よび（Ｘ_max1，Ｙ_max1）が指定されると、それぞれの点
を、左下の頂点または右上の頂点とする矩形が求めら
れ、ステップＳ８１では、その矩形がバウンディングボ
ックスとして設定される。

【００２２】バウンディングボックスが設定されると、
以下、そのバウンディングボックスの内部（Ｘ_min1≦ｘ
≦Ｘ_max1，Ｙ_min1≦ｙ≦Ｙ_max1）に対応する前景画像お
よび背景画像のみを対象に処理が行われる。

【００２３】即ち、ステップＳ８２において、画素のｙ
座標を表す変数ｙが、Ｙ_min1に初期化され、ステップＳ
８３に進み、変数ｙが、Ｙ_max1以下であるかどうかが判
定される。ステップＳ８３において、変数ｙが、Ｙ_max1
以下であると判定された場合、即ち、変数ｙが、バウン
ディングボックス内の画素のｙ座標を表すものである場
合、ステップＳ８４に進み、後述する一行計算サブルー
チン（例えば、関数やオブジェクト）が呼び出され、こ
れにより、一行計算処理が行われる。なお、一行計算サ
ブルーチンは、変数ｙ、並びにバウンディングボックス
の左右の境界のｘ座標Ｘ_min1およびＸ_max1を引数として
呼び出される。

【００２４】一行計算処理が終了すると、ステップＳ８
５に進み、変数ｙが１だけインクリメントされ、ステッ
プＳ８３に戻る。そして、ステップＳ８３において、変
数ｙが、Ｙ_max1以下でないと判定されると、処理を終了
する。

【００２５】次に、図１３のフローチャートを参照し
て、図１２の一行計算処理について説明する。なお、図
１２のステップＳ８４において、一行計算サブルーチン
は、上述したように、変数ｙ、並びにバウンディングボ
ックスの左右の境界のｘ座標Ｘ_min1およびＸ_max1を引数
として呼び出されるが、図１３では、そのうちの、Ｘ_mi
n1またはＸ_max1を、それぞれＸＬまたはＸＲと表してあ
る。

【００２６】一行計算処理では、まず最初に、ステップ
Ｓ９１において、ｘ座標を表す変数ｘが、ＸＬに初期化
され、ステップＳ９２に進み、変数ｘが、ＸＲ以下であ
るかどうかが判定される。ステップＳ９２において、変
数ｘが、ＸＲ以下であると判定された場合、即ち、変数
ｘが、バウンディングボックス内の画素のｘ座標を表す
ものである場合、ステップＳ９３に進み、変数Ｍに、座
標（画素）（ｘ，ｙ）のマット値ｍａｔｔｅ［ｘ，ｙ］
がセットされる。ここで、配列変数ｍａｔｔｅ［ｘ，
ｙ］には、座標（ｘ，ｙ）のマット値が記憶されている
ものとする。

【００２７】そして、ステップＳ９４に進み、マット値
Ｍが０であるかどうかが判定され、０でないと判定され
た場合、ステップＳ９５に進み、マット値Ｍが１である
かどうかが判定される。ステップＳ９５において、マッ
ト値Ｍが１であると判定された場合、即ち、マット画像
の座標（ｘ，ｙ）の画素が、バウンディングボックス内
の完全不透明領域（図１１において、濃い影を付してあ
る部分）の画素である場合、ステップＳ９６に進み、背
景画像の画素（ｘ，ｙ）の画素値Ｂ［ｘ，ｙ］に、前景
画像の画素（ｘ，ｙ）の画素値Ｆ［ｘ，ｙ］がコピーさ
れ、ステップＳ９８に進む。

【００２８】ここで、背景画像の画素（ｘ，ｙ）のＲ，
Ｇ，Ｂ成分が、構造体とされた配列変数Ｂ［ｘ，ｙ］．
ｒ，Ｂ［ｘ，ｙ］．ｇ，Ｂ［ｘ，ｙ］．ｂで、前景画像
の画素（ｘ，ｙ）のＲ，Ｇ，Ｂ成分が、構造体とされた
配列変数Ｆ［ｘ，ｙ］．ｒ，Ｆ［ｘ，ｙ］．ｇ，Ｆ
［ｘ，ｙ］．ｂで、それぞれ表されるものとすると、ス
テップＳ９６では、次式で示す演算が行われる。

【００２９】 Ｂ［ｘ，ｙ］．ｒ＝Ｆ［ｘ，ｙ］．ｒ Ｂ［ｘ，ｙ］．ｇ＝Ｆ［ｘ，ｙ］．ｇ Ｂ［ｘ，ｙ］．ｂ＝Ｆ［ｘ，ｙ］．ｂ ・・・（２）

【００３０】また、ステップＳ９５において、マット値
Ｍが１でないと判定された場合、即ち、マット画像の座
標（ｘ，ｙ）の画素が、バウンディングボックス内の半
透明領域（図１１において、薄い影を付してある部分）
の画素である場合、ステップＳ９７に進み、前景画像の
画素（ｘ，ｙ）と、背景画像の画素（ｘ，ｙ）とを用い
て、式（１）の演算に相当する次式で示す演算が行わ
れ、ステップＳ９８に進む。

【００３１】 Ｂ［ｘ，ｙ］．ｒ＝Ｍ×Ｆ［ｘ，ｙ］．ｒ＋（１−Ｍ）×Ｂ［ｘ，ｙ］．ｒ Ｂ［ｘ，ｙ］．ｇ＝Ｍ×Ｆ［ｘ，ｙ］．ｇ＋（１−Ｍ）×Ｂ［ｘ，ｙ］．ｇ Ｂ［ｘ，ｙ］．ｂ＝Ｍ×Ｆ［ｘ，ｙ］．ｂ＋（１−Ｍ）×Ｂ［ｘ，ｙ］．ｂ ・・・（３）

【００３２】一方、ステップＳ９４において、マット値
Ｍが０であると判定された場合、即ち、マット画像の座
標（ｘ，ｙ）の画素が、バウンディングボックス内の透
明領域（図１１において、影を付していない部分）の画
素である場合、ステップＳ９８に進み、変数ｘが１だけ
インクリメントされ、ステップＳ９２に戻り、以下、同
様の処理が繰り返される。

【００３３】そして、ステップＳ９２において、変数ｘ
が、ＸＲ以下でないと判定された場合、即ち、変数ｙで
ｙ座標が表されるラインを構成する画素のうち、バウン
ディングボックス内にあるものすべてを対象に処理を行
った場合、リターンする。

【００３４】なお、式（２）および（３）から分かるよ
うに、合成画像は、背景画像がセットされていた変数Ｂ
［ｘ，ｙ］にセットされる。

【００３５】以上のように、バウンディングボックスを
用いた場合には、そのバウンディングボックスの外部の
領域に対応する画素については、加算や乗算を施す必要
がないから、演算対象を少なくすることができる。しか
しながら、バウンディングボックス内の画素は、基本的
に、式（１）の演算の対象とする必要がある。

【００３６】そこで、図１３に示した一行計算処理で
は、バウンディングボックス内の画素について、画素ご
とに、マット値Ｍを判定し（ステップＳ９４，Ｓ９
５）、その値が０または１のいずれか場合には、式
（１）の演算の対象から除外するようにしているが、こ
の場合、バウンディングボックス内の画素すべてについ
て、マット値Ｍの判定を行う必要があり、効率的である
とはいえない。

【００３７】ここで、例えば、特開平８−１１５４１３
号公報には、ページ記述言語における図形画像合成処理
において、領域抽出演算に用いられるマット値が、完全
に不透明であることを表しているときには、本来行うべ
き演算操作を、それにより短時間で行うことができるク
リッピング処理操作に置き換える方法が開示されてお
り、クリッピング処理操作というのは、コピーに等しい
から、この方法によれば、処理を、高速に行うことがで
きる。

【００３８】しかしながら、この方法は、マット値が０
または１の２値のみ取り得ることを前提としている。

【００３９】一方、映画等の制作では、合成画像の自然
さを確保するため（不自然さを低減するため）、マット
値として、０と１の２値だけでなく、その間の中間値も
取り得る、いわゆるソフトキーと呼ばれるものが用いら
れるのが一般的である。

【００４０】従って、映画等の制作においては、特開平
８−１１５４１３号公報に開示されている方法を適用す
るのは、合成画像の画質等の面から困難である。

【００４１】本発明は、このような状況に鑑みてなされ
たものであり、画像の合成を、効率良く行うことができ
るようにするものである。

【００４２】

【課題を解決するための手段】請求項１に記載の画像合
成装置は、マット画像に対して、所定の範囲の最小値で
ないマット値すべてを包含する第１の領域と、所定の範
囲の最大値のマット値のみからなる第２の領域とを設定
する設定手段と、第１の領域の外部の領域、第１の領域
のうちの第２の領域でない領域、および第２の領域の３
つの領域それぞれに対応する第１および第２の画像につ
いて、画像合成のための合成処理を施す処理手段とを備
えることを特徴とする。

【００４３】請求項８に記載の画像合成方法は、マット
画像に対して、所定の範囲の最小値でないマット値すべ
てを包含する第１の領域と、所定の範囲の最大値のマッ
ト値のみからなる第２の領域とを設定する設定ステップ
と、第１の領域の外部の領域、第１の領域のうちの第２
の領域でない領域、および第２の領域の３つの領域それ
ぞれに対応する第１および第２の画像について、画像合
成のための合成処理を施す処理ステップとを備えること
を特徴とする。

【００４４】請求項９に記載の提供媒体は、マット画像
に対して、所定の範囲の最小値でないマット値すべてを
包含する第１の領域と、所定の範囲の最大値のマット値
のみからなる第２の領域とを設定する設定ステップと、
第１の領域の外部の領域、第１の領域のうちの第２の領
域でない領域、および第２の領域の３つの領域それぞれ
に対応する第１および第２の画像について、画像合成の
ための合成処理を施す処理ステップとを備える制御情報
を提供することを特徴とする。

【００４５】請求項１０に記載の画像生成装置は、マッ
ト画像に対して、所定の範囲の最小値でないマット値す
べてを包含する第１の領域と、所定の範囲の最大値のマ
ット値のみからなる第２の領域とを設定する設定手段を
備えることを特徴とする。

【００４６】請求項１４に記載の画像生成方法は、マッ
ト画像に対して、所定の範囲の最小値でないマット値す
べてを包含する第１の領域と、所定の範囲の最大値のマ
ット値のみからなる第２の領域とを設定する設定ステッ
プを備えることを特徴とする。

【００４７】請求項１５に記載の提供媒体は、マット画
像に対して、所定の範囲の最小値でないマット値すべて
を包含する第１の領域と、所定の範囲の最大値のマット
値のみからなる第２の領域とを設定する設定ステップを
備える制御情報を提供することを特徴とする。

【００４８】請求項１６に記載の提供媒体は、マット画
像における、所定の範囲の最小値でないマット値すべて
を包含する第１の領域と、所定の範囲の最大値のマット
値のみからなる第２の領域とを特定するための特定情報
とともに、マット画像を提供することを特徴とする。

【００４９】請求項１に記載の画像合成装置において
は、設定手段は、マット画像に対して、所定の範囲の最
小値でないマット値すべてを包含する第１の領域と、所
定の範囲の最大値のマット値のみからなる第２の領域と
を設定し、処理手段は、第１の領域の外部の領域、第１
の領域のうちの第２の領域でない領域、および第２の領
域の３つの領域それぞれに対応する第１および第２の画
像について、画像合成のための合成処理を施すようにな
されている。

【００５０】請求項８に記載の画像合成方法において
は、マット画像に対して、所定の範囲の最小値でないマ
ット値すべてを包含する第１の領域と、所定の範囲の最
大値のマット値のみからなる第２の領域とを設定し、第
１の領域の外部の領域、第１の領域のうちの第２の領域
でない領域、および第２の領域の３つの領域それぞれに
対応する第１および第２の画像について、画像合成のた
めの合成処理を施すようになされている。

【００５１】請求項９に記載の提供媒体においては、マ
ット画像に対して、所定の範囲の最小値でないマット値
すべてを包含する第１の領域と、所定の範囲の最大値の
マット値のみからなる第２の領域とを設定し、第１の領
域の外部の領域、第１の領域のうちの第２の領域でない
領域、および第２の領域の３つの領域それぞれに対応す
る第１および第２の画像について、画像合成のための合
成処理を施す処理を、情報処理装置に行わせるための制
御情報を提供するようになされている。

【００５２】請求項１０に記載の画像生成装置において
は、設定手段が、マット画像に対して、所定の範囲の最
小値でないマット値すべてを包含する第１の領域と、所
定の範囲の最大値のマット値のみからなる第２の領域と
を設定するようになされている。

【００５３】請求項１４に記載の画像生成方法において
は、マット画像に対して、所定の範囲の最小値でないマ
ット値すべてを包含する第１の領域と、所定の範囲の最
大値のマット値のみからなる第２の領域とを設定するよ
うになされている。

【００５４】請求項１５に記載の提供媒体においては、
マット画像に対して、所定の範囲の最小値でないマット
値すべてを包含する第１の領域と、所定の範囲の最大値
のマット値のみからなる第２の領域とを設定する処理
を、情報処理装置に行わせるための制御情報を提供する
ようになされている。

【００５５】請求項１６に記載の提供媒体においては、
マット画像における、所定の範囲の最小値でないマット
値すべてを包含する第１の領域と、所定の範囲の最大値
のマット値のみからなる第２の領域とを特定するための
特定情報とともに、マット画像を提供するようになされ
ている。

【００５６】

【発明の実施の形態】図１は、本発明を適用した画像処
理装置の一実施の形態の構成例を示している。この画像
処理装置は、マット画像にしたがって前景画像（第１の
画像）と背景画像（第２の画像）とを合成して合成画像
を生成する画像合成装置、およびその画像合成に用いら
れるマット画像を生成する画像生成装置のいずれとして
も機能するようになされている。

【００５７】即ち、ＲＯＭ（Read Only Memory）１は、
例えば、ＩＰＬ（Initial ProgramLoading）のためのプ
ログラムなどを記憶している。ＣＰＵ（Centoral Proce
ssing Unit）２は、例えば、外部記憶装置７に記憶され
たＯＳ（Operating System）のプログラムを読み出して
実行し、そのＯＳの制御の下で、やはり、外部記憶装置
７に記憶されたアプリケーションプログラムとしての合
成処理プログラムや領域情報付きマット画像生成プログ
ラムを実行することで、後述するような画像合成やマッ
ト画像（領域情報付きマット画像）の生成を行い、これ
により、画像処理装置を、画像合成装置や画像生成装置
として機能させるようになされている。ＲＡＭ（Random
Access Memory）３は、ＣＰＵ２が実行するプログラム
や、ＣＰＵ２の処理上必要なデータを一時記憶するよう
になされている。

【００５８】入力装置４（操作手段）は、例えば、キー
ボードやマウス、タブレットとペンの組み合わせなどで
なり、ＣＰＵ２に対して、必要なコマンドやデータを入
力するとき等に操作される。出力装置５は、例えば、Ｃ
ＲＴ（Cathode Ray Tube）や液晶ディスプレイなどで構
成され、ＣＰＵ２の制御にしたがい、必要な情報の表示
を行うようになされている。外部Ｉ／Ｆ（Interface）
６は、例えば、モデムや、ＴＡ（Terminal Adapter）、
ネットワークアダプタなどでなり、外部との通信を制御
するようになされている。

【００５９】外部記憶装置７は、例えば、ＨＤ（Hard D
isk）や、ＣＤ（Compact Disc）などで構成され、上述
したようにＯＳのプログラムや、合成処理プログラム、
領域情報付きマット画像生成プログラムを記憶している
他、合成処理プログラムによる画像合成の対象となる前
景画像および背景画像や、その合成に用いられるマット
画像等を記憶している。また、外部記憶装置７は、合成
処理プログラムによる画像合成によって得られる合成画
像や、領域情報付きマット画像生成プログラムによって
生成される領域情報付きマット画像等を記憶するように
もなされている。

【００６０】なお、以上のデータ処理装置を構成する各
ブロックは、バスを介して、相互に接続されている。

【００６１】以上のように構成される画像処理装置で
は、装置の電源がオンにされると、ＣＰＵ２において、
ＲＯＭ１に記憶されたＩＰＬのプログラムが実行され、
これにより、外部記憶装置７に記憶されたＯＳのプログ
ラムが読み出され、ＲＡＭ３上に展開されて実行され
る。そして、例えば、入力装置４の操作に応じて、ＣＰ
Ｕ２は、ＯＳの制御の下、外部記憶装置７に記憶された
合成処理プログラムや領域情報付きマット画像生成プロ
グラムを読み出し、ＲＡＭ３上に展開して実行し、これ
により、画像合成や領域情報付きマット画像の生成を行
う。

【００６２】即ち、画像合成が行われる場合には、外部
記憶装置７に記憶された前景画像、背景画像、およびマ
ット画像が読み出され、ＲＡＭ３に記憶される。そし
て、そのＲＡＭ３に記憶された前景画像、背景画像、お
よびマット画像を用いて、各種の演算等が実行されるこ
とにより、前景画像と背景画像とをマット画像にしたが
って合成した合成画像が生成される。この合成画像は、
ＲＡＭ３に記憶されるか、または、外部記憶装置７に供
給されて記憶される。あるいは、合成画像は、出力装置
５に供給されて表示され、または外部Ｉ／Ｆ６に供給さ
れて、例えば、インターネットその他の伝送媒体（図示
せず）を介して伝送されることにより、他の装置等に提
供される。

【００６３】また、領域情報付きマット画像の生成が行
われる場合には、外部記憶装置７に記憶されたマット画
像が読み出され、ＲＡＭ３に供給されて記憶される。そ
して、そのマット画像に対して、各種の演算等が実行さ
れることにより、領域情報付きマット画像が生成され
る。この領域情報付きマット画像は、例えば、ＲＡＭ３
から外部記憶装置７に転送されて記憶され、あるいは、
外部Ｉ／Ｆ６に供給され、例えば、インターネットその
他の伝送媒体を介して伝送されることにより、他の装置
等に提供される。また、領域情報付きマット画像の生成
後、即座に、画像合成が行われる場合には、その領域情
報付きマット画像は、ＲＡＭ３に記憶された状態とされ
る。

【００６４】次に、図２は、前景画像と背景画像とをマ
ット画像にしたがって合成する画像合成装置として機能
する場合の、図１のデータ処理装置の機能的構成例を示
している。なお、この図２の構成は、図１のＣＰＵ２に
おいて、合成処理プログラムが実行されることにより実
現される。

【００６５】前景画像記憶部１１または背景画像記憶部
１２には、外部記憶装置７に記憶された前景画像または
背景画像がそれぞれ供給されるようになされており、前
景画像記憶部１１または背景画像記憶部１２は、その前
景画像または背景画像を記憶するようになされている。
また、ここでは、前景画像と背景画像とを合成した合成
画像が、例えば、背景画像に上書きする形で記憶される
ようになされており、従って、背景画像記憶部１２は、
その合成画像を記憶するようにもなされている。

【００６６】マット画像記憶部１３には、外部記憶装置
７に記憶されたマット画像が供給されるようになされて
おり、マット画像記憶部１３は、そのマット画像を記憶
するようになされている。なお、マット画像は、例え
ば、クロマキーを用いた方法その他によって生成するこ
とができる。

【００６７】領域設定部１４（設定手段）（出力手段）
は、マット画像記憶部１３に記憶されたマット画像に対
して、０でないマット値すべてを包含するバウンディン
グボックス（以下、適宜、第１のバウンディングボック
スという）（第１の領域）と、１のマット値のみからな
るバウンディングボックス（以下、適宜、第２のバウン
ディングボックスという）（第２の領域）とを設定する
ようになされている。即ち、領域設定部１４は、例え
ば、図３に示すように、マット画像記憶部１３に記憶さ
れたマット画像の半透明領域（図３において、薄い影を
付してある部分）に外接する矩形の領域を、第１のバウ
ンディングボックスとして設定するとともに、その完全
不透明領域に、２つ頂点が内接する矩形の領域を、第２
のバウンディングボックスとして設定する。

【００６８】なお、図３は、前述の図１１と同一のマッ
ト画像を示している。そして、図３においても、図１１
における場合と同様の座標系をとり、第１のバウンディ
ングボックスの左下または右上の頂点の座標を、それぞ
れ、（Ｘ_min1，Ｙ_min1）または（Ｘ_max1，Ｙ_max1）と表
す。また、第２のバウンディングボックスの左下または
右上の頂点の座標を、それぞれ、（Ｘ_min2，Ｙ_min2）ま
たは（Ｘ_max2，Ｙ_max2）と表す。さらに、マット画像の
横または縦の画素数は、それぞれＷまたはＨ画素である
とする。また、前景画像および背景画像の横または縦の
画素数も、それぞれＷまたはＨ画素であるとする。さら
に、座標（画素）（ｘ，ｙ）のマット値は、配列変数
（２次元配列変数）ｍａｔｔｅ［ｘ，ｙ］で表されるも
のとし、前景画像および背景画像の画素値は、Ｒ，Ｇ，
Ｂの３つの色成分が連続したパックトピクセル形式で表
されるものとする。また、前景画像または背景画像の画
素（ｘ，ｙ）の画素値を、それぞれ、構造体とされた配
列変数Ｆ［ｘ，ｙ］またはＢ［ｘ，ｙ］で表し、さら
に、前景画像の画素（ｘ，ｙ）のＲ，Ｇ，Ｂ成分は、Ｆ
［ｘ，ｙ］．ｒ，Ｆ［ｘ，ｙ］．ｇ，Ｆ［ｘ，ｙ］．ｂ
で、背景画像の画素（ｘ，ｙ）のＲ，Ｇ，Ｂ成分は、Ｂ
［ｘ，ｙ］．ｒ，Ｂ［ｘ，ｙ］．ｇ，Ｂ［ｘ，ｙ］．ｂ
で、それぞれ表されるものとする。ここで、ｘ＝０，
１，・・・，Ｗ−１であり、ｙ＝０，１，・・・，Ｈ−
１である。

【００６９】領域設定部１４は、第１および第２のバウ
ンディングボックスを設定すると、それぞれを特定する
ための領域情報（特定情報）を求め、マット画像ととも
に、レンダリング部１５に供給するようになされてい
る。このように、領域設定部１４からは、第１および第
２のバウンディングボックスの領域情報を含むマット画
像が出力されるが、これが、領域情報付きマット画像で
あり、従って、領域設定部１４は、ＣＰＵ２が、領域情
報付きマット画像生成プログラムを実行することで実現
される。領域情報付きマット画像は、レンダリング部１
５に供給する他、上述したように、外部記憶装置７に供
給して記憶させたり、また、外部Ｉ／Ｆ６を介して、他
の装置に提供すること等が可能である。

【００７０】レンダリング部１５（処理手段）は、図３
に示した第１のバウンディングボックスの外部の領域
（以下、適宜、外部領域という）、第１のバウンディン
グボックスの領域のうちの第２のバウンディングボック
スでない領域（以下、適宜、中間領域という）、および
第２のバウンディングボックスの領域（以下、適宜、内
部領域という）の３つの領域それぞれに対応する前景画
像および背景画像について、画像合成のための合成処理
を施し、その結果得られる合成画像を、背景画像記憶部
１２に、そこに記憶された背景画像に上書きする形で書
き込むようになされている。

【００７１】次に、図４のフローチャートを参照して、
図２の画像合成装置の処理について説明する。

【００７２】まず最初に、ステップＳ１において、外部
記憶装置７に記憶された前景画像、背景画像、またはマ
ット画像が読み出され、前景画像記憶部１１、背景画像
記憶部１２、またはマット画像記憶部１３にそれぞれ供
給されて記憶され、ステップＳ２に進む。

【００７３】ステップＳ２では、領域設定部１４におい
て、マット画像記憶部１３に記憶されたマット画像が読
み出され、そのマット画像に対して、第１および第２の
バウンディングボックスが設定される。即ち、例えば、
領域設定部１４は、マット画像を出力装置５に供給し、
グレイスケール画像として表示させる。ユーザは、その
グレイスケール画像を見ながら、入力装置４を操作する
ことより、第１および第２のバウンディングボックスを
指定し、領域設定部１４は、この指定にしたがって、第
１および第２のバウンディングボックスを設定する。

【００７４】具体的には、ユーザは、例えば、第１およ
び第２のバウンディングボックスの左下の頂点と右下の
頂点を指定する。あるいは、例えば、第１および第２の
バウンディングボックスの左下の頂点と、横および縦の
長さ、あるいは対角線の長さを指定する。領域設定部１
４では、このようなユーザの指定にしたがって、矩形の
第１および第２のバウンディングボックスが設定され
る。

【００７５】領域設定部１４は、第１、第２のバウンデ
ィングボックスを設定すると、それを特定するための領
域情報として、例えば、図３に示したような、それぞれ
の左下の頂点（Ｘ_min1，Ｙ_min1），（Ｘ_min2，Ｙ_min2）
と、右上の頂点（Ｘ_max1，Ｙ_max1），（Ｘ_max2，
Ｙ_max2）を求め、マット画像とともに、レンダリング部
１５に出力する。即ち、領域設定部１４は、領域情報付
きマット画像を、レンダリング部１５に供給する。

【００７６】レンダリング部１５は、領域情報付きマッ
ト画像を受信すると、ステップＳ３において、ｙ座標を
表す変数ｙを、Ｙ_min1に初期化し、ステップＳ４に進
み、変数ｙが、Ｙ_min2より小さいかどうかを判定する。
ステップＳ４において、変数ｙが、Ｙ_min2より小さいと
判定された場合、即ち、変数ｙが、Ｙ_min1以上Ｙ_min2未
満である場合、ステップＳ５に進み、一行計算処理を行
う一行計算サブルーチンが、変数ｙ、並びに第１のバウ
ンディングボックスの左右の境界のｘ座標Ｘ_min1および
Ｘ_max1の３つの変数の並びを引数として呼び出される。

【００７７】そして、ステップＳ５における一行計算処
理が終了すると、ステップＳ６に進み、変数ｙが１だけ
インクリメントされる。そして、ステップＳ４に戻り、
以下、ステップＳ４で、変数ｙがＹ_min2より小さくない
と判定されるまで、ステップＳ４乃至Ｓ６の処理が繰り
返される。

【００７８】即ち、ｙ座標が、第１のバウンディングボ
ックスの左下の頂点のｙ座標であるＹ_min1未満のライン
（行）は、外部領域（図３）の画素だけで構成され、外
部領域には、透明領域（マット値が０の領域）しか含ま
れない。そして、ここでは、上述したように、背景画像
に上書きする形で合成画像を生成するので、そのような
透明領域のラインを構成する画素については、背景画像
記憶部１２に記憶された背景画像の画素値をそのまま用
いることができ、特に処理を行う必要はない。

【００７９】また、ｙ座標が、第１のバウンディングボ
ックスの左下の頂点のｙ座標であるＹ_min1以上で、かつ
第２のバウンディングボックスの左下の頂点のｙ座標で
あるＹ_min2未満のラインを構成する画素のうち、そのｘ
座標が、第１のバウンディングボックスの左下の頂点の
ｘ座標であるＸ_min1未満の画素、およびその右上の頂点
のｘ座標であるＸ_max1より大きい画素も、外部領域（図
３）の画素であり、やはり、そのような画素について
は、背景画像記憶部１２に記憶された背景画像の画素値
をそのまま用いることができるため、特に処理を行う必
要はない。

【００８０】さらに、ｙ座標が、Ｙ_min1以上Ｙ_min2未満
のラインを構成する画素のうち、そのｘ座標が、第１の
バウンディングボックスの左下の頂点のｘ座標であるＸ
_min1以上で、かつその右上の頂点のｘ座標であるＸ_max1
以下の画素は、中間領域（図３）の画素であり、中間領
域には、半透明領域（マット値が０より大きく、かつ１
より小さい領域）が含まれる可能性があるため、式
（１）の演算の対象とする必要がある。そこで、ステッ
プＳ５において、そのような画素（ｙ座標がＹ_min1以上
Ｙ_min2未満のラインを構成する画素のうち、ｘ座標がＸ
_min1以上Ｘ_max1以下のもの）のみを対象にして、一行計
算処理が行われる。

【００８１】ここで、図５のフローチャートは、図４の
ステップＳ５における一行計算処理の詳細を示してい
る。一行計算サブルーチンは、上述したように、３つの
変数の並びを引数として呼び出されるが、図５の実施の
形態では、その３つの変数の並びが、変数ｙ，ＸＬ，Ｘ
Ｒに対応している。

【００８２】一行計算処理では、まず最初に、ステップ
Ｓ２１において、ｘ座標を表す変数ｘが、ＸＬに初期化
され、ステップＳ２２に進み、変数ｘが、ＸＲ以下であ
るかどうかが判定される。ステップＳ２２において、変
数ｘが、ＸＲ以下であると判定された場合、ステップＳ
２３に進み、レンダリング部１５において、変数Ｍに、
マット画像記憶部１３に記憶されたマット画像の、座標
（画素）（ｘ，ｙ）のマット値ｍａｔｔｅ［ｘ，ｙ］が
セットされる。

【００８３】そして、ステップＳ２４に進み、レンダリ
ング部１５において、マット値Ｍが０であるかどうかが
判定され、０でないと判定された場合、ステップＳ２５
に進み、マット値Ｍが１であるかどうかが判定される。
ステップＳ２５において、マット値Ｍが１であると判定
された場合、ステップＳ２６に進み、レンダリング部１
５において、背景画像記憶部１２に記憶された背景画像
の画素（ｘ，ｙ）の画素値Ｂ［ｘ，ｙ］に、前景画像記
憶部１１に記憶された前景画像の画素（ｘ，ｙ）の画素
値Ｆ［ｘ，ｙ］がコピーされ、ステップＳ２８に進む。
即ち、ステップＳ２６では、前述の式（２）に示した演
算が行われ、ステップＳ２８に進む。

【００８４】また、ステップＳ２５において、マット値
Ｍが１でないと判定された場合、ステップＳ２７に進
み、レンダリング部１５において、前景画像記憶部１１
に記憶された前景画像の画素（ｘ，ｙ）と、背景画像記
憶部１２に記憶された背景画像の画素（ｘ，ｙ）とを用
いて、前述の式（３）に示した演算が行われ、ステップ
Ｓ２８に進む。

【００８５】一方、ステップＳ２４において、マット値
Ｍが０であると判定された場合、ステップＳ２８に進
み、変数ｘが１だけインクリメントされ、ステップＳ２
２に戻り、以下、同様の処理が繰り返される。

【００８６】そして、ステップＳ２２において、変数ｘ
が、ＸＲ以下でないと判定された場合、リターンする。

【００８７】図４に戻り、ステップＳ４において、変数
ｙがＹ_min2より小さくないと判定されると、ステップＳ
７に進み、レンダリング部１５において、変数ｙが、Ｙ
_min2に初期化され、ステップＳ８に進み、変数ｙが、Ｙ
_max2以下であるかどうかが判定される。ステップＳ８に
おいて、変数ｙが、Ｙ_max2以下であると判定された場
合、即ち、変数ｙが、Ｙ_min2以上Ｙ_max2以下である場
合、ステップＳ９に進み、図５に示した一行計算処理を
行う一行計算サブルーチンが、変数ｙ、第１のバウンデ
ィングボックスの左の境界のｘ座標Ｘ_min1、および第２
のバウンディングボックスの左の境界のｘ座標Ｘ_min1−
１を引数として呼び出される。

【００８８】そして、ステップＳ９における一行計算処
理が終了すると、ステップＳ１０に進み、レンダリング
部１５は、前景画像記憶部１１に記憶された前景画像の
画素値Ｆ［Ｘ_min2，ｙ］乃至Ｆ［Ｘ_max2，ｙ］を、背景
画像記憶部１２に記憶された背景画像の画素値Ｂ［Ｘ
_min2，ｙ］乃至Ｂ［Ｘ_max2，ｙ］にコピーし、ステップ
Ｓ１１に進む。

【００８９】ステップＳ１１では、図５に示した一行計
算処理を行う一行計算サブルーチンが、変数ｙ、第２の
バウンディングボックスの右の境界のｘ座標Ｘ_max2＋
１、および第１のバウンディングボックスの右の境界の
ｘ座標Ｘ_max1を引数として呼び出される。

【００９０】そして、ステップＳ１１における一行計算
処理が終了すると、ステップＳ１２に進み、レンダリン
グ部１５において、変数ｙが１だけインクリメントされ
る。そして、ステップＳ８に戻り、以下、ステップＳ８
で、変数ｙがＹ_max2以下でないと判定されるまで、ステ
ップＳ８乃至Ｓ１２の処理が繰り返される。

【００９１】即ち、ｙ座標が、第２のバウンディングボ
ックスの左下の頂点のｙ座標であるＹ_min2以上、かつ第
２のバウンディングボックスの右上の頂点のｙ座標であ
るＹ_max2以下のラインを構成する画素のうち、そのｘ座
標が、第１のバウンディングボックスの左下の頂点のｘ
座標であるＸ_min1未満の画素、および第１のバウンディ
ングボックスの右上の頂点のｘ座標であるＸ_max1より大
きい画素は、外部領域（図３）の画素であり、外部領域
には、透明領域しか含まれない。そして、ここでは、上
述したように、背景画像に上書きする形で合成画像を生
成するので、透明領域の画素については、背景画像記憶
部１２に記憶された背景画像の画素値をそのまま用いる
ことができ、特に処理を行う必要はない。

【００９２】また、ｙ座標がＹ_min2以上Ｙ_max2以下のラ
インを構成する画素のうち、そのｘ座標が、第１のバウ
ンディングボックスの左下の頂点のｘ座標であるＸ_min1
以上で、かつ第２のバウンディングボックスの左下の頂
点のｘ座標であるＸ_min2未満の画素、および第２のバウ
ンディングボックスの右上の頂点のｘ座標であるＸ_{ma x2}
より大きく、かつ第１のバウンディングボックスの右上
の頂点のｘ座標であるＸ_max1以下の画素は、中間領域
（図３）の画素であり、中間領域には、半透明領域が含
まれる可能性があるため、式（１）の演算の対象とする
必要がある。そこで、ステップＳ９およびＳ１１におい
て、そのような画素のみを対象にして、一行計算処理が
行われる。

【００９３】さらに、ｙ座標がＹ_min2以上Ｙ_max2以下の
ラインを構成する画素のうち、そのｘ座標が、第２のバ
ウンディングボックスの左下の頂点のｘ座標であるＸ
_min2以上で、かつその右上の頂点のｘ座標であるＸ_max2
以下の画素は、内部領域（図３）の画素であり、内部領
域には、完全不透明領域（マット値が１の領域）しか含
まれない。そして、ここでは、上述したように、背景画
像に上書きする形で合成画像を生成するので、完全不透
明領域の画素については、前景画像記憶部１１に記憶さ
れた前景画像の画素をコピーすれば済む。そこで、ステ
ップＳ１０において、そのような画素については、前景
画像記憶部１１に記憶された前景画像の画素値が、背景
画像記憶部１２にコピーされる。

【００９４】その後、ステップＳ８において、変数ｙ
が、Ｙ_max2より小さくないと判定されると、ステップＳ
１３に進み、レンダリング部１５は、ｙ座標を表す変数
ｙを、Ｙ_max2＋１に初期化し、ステップＳ１４に進む。
ステップＳ１４では、レンダリング部１５において、変
数ｙが、Ｙ_max1以下であるかどうかが判定される。ステ
ップＳ１４において、変数ｙが、Ｙ_max1より小さいと判
定された場合、即ち、変数ｙが、Ｙ_max2以上Ｙ_max1未満
である場合、ステップＳ１５に進み、図５に示した一行
計算処理を行う一行計算サブルーチンが、変数ｙ，Ｘ
_min1，Ｘ_max1を引数として呼び出される。

【００９５】そして、ステップＳ１５における一行計算
処理が終了すると、ステップＳ１６に進み、変数ｙが１
だけインクリメントされる。そして、ステップＳ１４に
戻り、以下、ステップＳ１４で、変数ｙがＹ_max1以下で
ないと判定されるまで、ステップＳ１４乃至Ｓ１６の処
理が繰り返される。

【００９６】即ち、ｙ座標が、Ｙ_max2以上Ｙ_max1以下の
ラインを構成する画素のうち、そのｘ座標が、Ｘ_min1未
満の画素、およびＸ_max1より大きい画素は、外部領域
（図３）の画素であり、そのような画素については、背
景画像記憶部１２に記憶された背景画像の画素値をその
まま用いることができるため、特に処理を行う必要はな
い。

【００９７】また、ｙ座標が、Ｙ_max2以上Ｙ_max1以下の
ラインを構成する画素のうち、そのｘ座標が、Ｘ_min1以
上Ｘ_max1以下の画素は、中間領域（図３）の画素であ
り、中間領域には、半透明領域が含まれる可能性がある
ため、式（１）の演算の対象とする必要がある。そこ
で、ステップＳ１５において、そのような画素のみを対
象にして、一行計算処理が行われる。

【００９８】そして、ステップＳ１４において、変数ｙ
がＹ_max1以下でないと判定されると、ステップＳ１７に
進み、背景画像記憶部１２に記憶された合成画像が、外
部記憶装置７に書き込まれ、処理を終了する。

【００９９】即ち、ｙ座標が、Ｙ_max1より大きいライン
は、外部領域（図３）の画素だけで構成され、外部領域
には、透明領域しか含まれない。そして、ここでは、上
述したように、背景画像に上書きする形で合成画像を生
成するので、そのような透明領域のラインを構成する画
素については、背景画像記憶部１２に記憶された背景画
像の画素値をそのまま用いることができ、特に処理を行
う必要はない。

【０１００】従って、ｙ座標を表す変数ｙがＹ_max1以下
でなくなった時点で、背景画像記憶部１２には、前景画
像と背景画像とを、マット画像にしたがって合成した合
成画像が記憶されており、ステップＳ１７では、その合
成画像が、外部記憶装置７に書き込まれる（あるいは、
出力装置５に表示される）。

【０１０１】以上のように、マット画像に対して、第１
および第２のバウンディングボックスを設定し、第１の
バウンディングボックスの外部の領域（外部領域）、第
１のバウンディングボックスの領域のうちの第２のバウ
ンディングボックスでない領域（中間領域）、および第
２のバウンディングボックス（内部領域）の３つの領域
それぞれに対応する前景画像および背景画像について、
画像合成のための処理を施すようにしたので、画像の合
成を、効率良く行うことができる。

【０１０２】即ち、従来においては、第１のバウンディ
ングボックス内の画素を、式（１）の演算の対象とする
必要があったのに対して、図２（図１）の画像処理装置
によれば、第１のバウンディングボックス内の画素のう
ちの、第２のバウンディングボックス内の画素を除いた
ものだけを、式（１）の演算の対象とすれば良く、第２
のバウンディングボックス内の画素については、コピー
を行うだけで済む。

【０１０３】なお、図４のステップＳ１０における前景
画像の画素値の、背景画像記憶部１２へのコピーは、例
えば、図１の画像処理装置において、メモリブロックコ
ピーを行うサブルーチンプログラムが用意されている場
合等には、そのサブルーチンをコールすることで行うこ
とが可能である。即ち、メモリブロックコピーは、一般
に、複数バイト単位で、データを効率良くコピー（一括
でコピー）することができ、前景画像の画素値を、１画
素単位で、背景画像記憶部１２へのコピーするような場
合に比較して効率良くコピーを行うことが可能となる。

【０１０４】次に、上述したように、図２の画像処理装
置においては、領域設定部１４に、領域情報付きマット
画像を、外部に出力させることが可能であるが、図６
は、領域設定部１４が出力する領域情報付きマット画像
のデータフォーマットを示している。なお、領域情報付
きマット画像には、前景画像記憶部１１に記憶された前
景画像を含ませることができ、図６は、そのように前景
画像を含ませた場合の領域情報付きマット画像のデータ
フォーマットを示している。ここで、領域情報付きマッ
ト画像に、前景画像記憶部１１に記憶された前景画像を
含ませるには、図２において点線で示すように、領域設
定部１４に、前景画像記憶部１１に記憶された前景画像
を読み出せるようにすれば良い。

【０１０５】図６において、第１行目（上から１行目）
のＷまたはＨは、前景画像およびマット画像の横または
縦の画素数をそれぞれ表している。また、第２行目の
（Ｘ_{mi n1}，Ｙ_min1）または（Ｘ_max1，Ｙ_max1）は、第１
のバウンディングボックスの左下または右上の頂点をそ
れぞれ表しており、第３行目の（Ｘ_min2，Ｙ_min2）また
は（Ｘ_max2，Ｙ_max2）は、第２のバウンディングボック
スの左下または右上の頂点をそれぞれ表している。そし
て、第４行目以降には、前景画像を構成する画素（ｘ，
ｙ）のＲ，Ｇ，Ｂ成分Ｒ_x,y，Ｇ_x,y，Ｂ_x,yと、その画
素に対応するマット値Ｍ_x,yとが、前景画像の画素数分
だけ、即ち、Ｗ×Ｈ個だけ配列されている。

【０１０６】なお、外部記憶装置７（図１）には、図６
に示したような領域情報付きマット画像を生成して記憶
させておき、図４のステップＳ１においては、前景画像
記憶部１１に、図６の領域情報付きマット画像を記憶さ
せるようにすることができる。この場合、ステップＳ２
では、前景画像記憶部１１に記憶された領域情報付きマ
ット画像の中の座標（Ｘ_min1，Ｙ_min1），（Ｘ_max1，Ｙ
_max1），（Ｘ_min2，Ｙ_{mi n2}）、および（Ｘ_max2，
Ｙ_max2）を読み出すことで、第１および第２のバウンデ
ィングボックスが設定される。

【０１０７】また、図６の領域情報付きマット画像は、
前景画像を含んでいるが、領域情報付きマット画像は、
前景画像を含めずに構成することが可能である。この場
合、図４のステップＳ１においては、マット画像記憶部
１３に、そのような前景画像を含まない領域情報付きマ
ット画像を記憶させるようにすることができ、ステップ
Ｓ２では、マット画像記憶部１３に記憶された領域情報
付きマット画像の中の座標（Ｘ_min1，Ｙ_min1），（Ｘ
_max1，Ｙ_max1），（Ｘ_min2，Ｙ_min2）、および
（Ｘ_max2，Ｙ_max2）を読み出すことで、第１および第２
のバウンディングボックスが設定される。

【０１０８】次に、上述の場合においては、０でないマ
ット値すべてを包含する第１のバウンディングボックス
と、１のマット値のみからなる第２のバウンディングボ
ックスとを、ユーザからの頂点の入力に基づいて設定す
るようにしたが、第１および第２のバウンディングボッ
クスは、マット画像を構成するマット値に基づいて設定
することが可能である。さらに、上述の場合において
は、第１および第２のバウンディングボックスを矩形と
したことから、第１のバウンディングボックスには、０
のマット値が含まれることがあり、また、第２のバウン
ディングボックスには、１のマット値のすべてが含まれ
ないことがあったが、第１および第２のバウンディング
ボックスを任意の形とし、第１のバウンディングボック
スは、０のマット値を含まないように、また、第２のバ
ウンディングボックスは、すべての１のマット値を含む
ように構成することが可能である。即ち、図７に示すよ
うに、第１のバウンディングボックスは、半透明領域の
外周と一致するように、また、第２のバウンディングボ
ックスは、完全不透明領域の外周と一致するように、そ
れぞれ構成することが可能である。

【０１０９】この場合、図７に示すように、例えば、マ
ット画像（上述したように、横×縦がＷ×Ｈ画素で構成
される）の各行について、４つのｘ座標を導入し、これ
により、第１および第２のバウンディングボックスを規
定する。即ち、あるｙ座標で表される行（以下、適宜、
第ｙ行という）について、半透明領域の左端のｘ座標、
完全不透明領域の左端のｘ座標、完全不透明領域の右端
のｘ座標、および半透明領域の右端のｘ座標を導入す
る。ここで、第ｙ行における半透明領域の左端のｘ座
標、完全不透明領域の左端のｘ座標、完全不透明領域の
右端のｘ座標、または半透明領域の右端のｘ座標を、そ
れぞれ、Ｘ_min1［ｙ］，Ｘ_min2［ｙ］，Ｘ_{ma x2}［ｙ］、
またはＸ_max1［ｙ］と表す。この場合、０≦ｘ＜Ｘ_min1
［ｙ］およびＸ_max1［ｙ］＜ｘ≦Ｗの範囲が外部領域に
なり、Ｘ_min1［ｙ］≦ｘ＜Ｘ_min2［ｙ］およびＸ
_max2［ｙ］＜ｘ≦Ｘ_max1［ｙ］の範囲が中間領域にな
り、Ｘ_min2［ｙ］≦ｘ≦Ｘ_max2［ｙ］の範囲が内部領域
になる。

【０１１０】なお、第ｙ行において、必ずしも、外部領
域、中間領域、および内部領域の３つの領域すべてが存
在するとは限らない。そこで、例えば、内部領域が存在
しない場合には、内部領域を規定するｘ座標Ｘ
_min2［ｙ］およびＸ_max2［ｙ］に対して、内部領域が存
在するときに満たす関係（Ｘ_min2［ｙ］≦Ｘ
_max2［ｙ］）を満たさない値、即ち、Ｘ_min2［ｙ］＞Ｘ
_max2［ｙ］となるような値を設定することにより（例え
ば、Ｘ_min2［ｙ］＝Ｘ_max1［ｙ］＋１，Ｘ_max2［ｙ］＝
Ｘ_max1［ｙ］とする）、内部領域が存在しないことを表
すこととする。

【０１１１】次に、図８のフローチャートを参照して、
上述のように、第１および第２のバウンディングボック
スを設定して画像合成を行う場合の、図２の画像合成装
置の処理について説明する。

【０１１２】まず最初に、ステップＳ３１において、図
４のステップＳ１における場合と同様に、外部記憶装置
７に記憶された前景画像、背景画像、またはマット画像
が読み出され、前景画像記憶部１１、背景画像記憶部１
２、またはマット画像記憶部１３にそれぞれ供給されて
記憶され、ステップＳ３２に進む。

【０１１３】ステップＳ３２では、領域設定部１４にお
いて、マット画像記憶部１３に記憶されたマット画像が
読み出され、そのマット画像に対して、第１および第２
のバウンディングボックスが設定される。即ち、ここで
は、領域設定部１４は、マット画像記憶部１３に記憶さ
れたマット画像の各行について、図７で説明したＸ_{mi n1}
［ｙ］，Ｘ_min2［ｙ］，Ｘ_max2［ｙ］、およびＸ
_max1［ｙ］を求めることで、第１および第２のバウンデ
ィングボックスを設定する。領域設定部１４は、第１、
第２のバウンディングボックスを設定すると、それを特
定するための領域情報として、マット画像の各行につい
て設定されたＸ_min1［ｙ］，Ｘ_min2［ｙ］，Ｘ
_{ma x2}［ｙ］、およびＸ_max1［ｙ］を、マット画像ととも
に、レンダリング部１５に出力する。即ち、領域設定部
１４は、領域情報付きマット画像を、レンダリング部１
５に供給する。

【０１１４】ここで、この第１および第２のバウンディ
ングボックスを設定し、領域情報付きマット画像を生成
するステップＳ３２の処理の詳細については、後述す
る。

【０１１５】レンダリング部１５は、領域情報付きマッ
ト画像を受信すると、ステップＳ３３において、ｙ座標
を表す変数ｙを、０に初期化し、ステップＳ３４に進
み、変数ｙが、マット画像の縦の画素数Ｈより小さいか
どうかを判定する。ステップＳ３４において、変数ｙ
が、Ｈより小さいと判定された場合、即ち、変数ｙが、
０以上Ｈ未満である場合、ステップＳ３５に進み、図５
に示した一行計算処理を行う一行計算サブルーチンが、
変数ｙ、並びに第ｙ行における第１のバウンディングボ
ックスの左の境界のｘ座標Ｘ_min1［ｙ］、および第ｙ行
における第２のバウンディングボックスの左の境界のｘ
座標Ｘ_min2［ｙ］−１の３つの変数の並びを引数として
呼び出される。

【０１１６】そして、ステップＳ３５における一行計算
処理が終了すると、ステップＳ３６に進み、レンダリン
グ部１５は、前景画像記憶部１１に記憶された前景画像
の画素値Ｆ［Ｘ_min2［ｙ］，ｙ］乃至Ｆ［Ｘ
_max2［ｙ］，ｙ］を、背景画像記憶部１２に記憶された
背景画像の画素値Ｂ［Ｘ_min2［ｙ］，ｙ］乃至Ｂ［Ｘ
_max2［ｙ］，ｙ］にコピーし、ステップＳ３７に進む。

【０１１７】ステップＳ３７では、図５に示した一行計
算処理を行う一行計算サブルーチンが、変数ｙ、第２の
バウンディングボックスの右の境界のｘ座標Ｘ
_max2［ｙ］＋１、および第１のバウンディングボックス
の右の境界のｘ座標Ｘ_max1［ｙ］を引数として呼び出さ
れる。

【０１１８】そして、ステップＳ３７における一行計算
処理が終了すると、ステップＳ３８に進み、レンダリン
グ部１５において、変数ｙが１だけインクリメントされ
る。そして、ステップＳ３４に戻り、以下、ステップＳ
３４で、変数ｙがＨ未満でないと判定されるまで、ステ
ップＳ３４乃至Ｓ３８の処理が繰り返される。

【０１１９】即ち、第ｙ行のラインを構成する画素のう
ち、そのｘ座標が、第１のバウンディングボックスの左
側の境界のｘ座標であるＸ_min1［ｙ］未満の画素、およ
び第１のバウンディングボックスの右側の境界のｘ座標
であるＸ_max1［ｙ］より大きい画素は、外部領域（図
７）の画素であり、ここでは、外部領域には、透明領域
のみが含まれる。そして、上述したように、ここでは、
背景画像に上書きする形で合成画像を生成するので、透
明領域の画素については、背景画像記憶部１２に記憶さ
れた背景画像の画素値をそのまま用いることができ、特
に処理を行う必要はない。

【０１２０】また、第ｙ行のラインを構成する画素のう
ち、そのｘ座標が、第１のバウンディングボックスの左
側の境界のｘ座標であるＸ_min1［ｙ］以上で、かつ第２
のバウンディングボックスの左側の境界のｘ座標である
Ｘ_min2［ｙ］未満の画素、および第２のバウンディング
ボックスの右側の境界のｘ座標であるＸ_max2［ｙ］より
大きく、かつ第１のバウンディングボックスの右側の境
界のｘ座標であるＸ_{ma x1}［ｙ］以下の画素は、中間領域
（図７）の画素であり、ここでは、中間領域は、半透明
領域のみを含むため、式（１）の演算の対象とする必要
がある。そこで、ステップＳ３５およびＳ３７におい
て、そのような画素のみを対象にして、一行計算処理が
行われる。

【０１２１】さらに、第ｙ行のラインを構成する画素の
うち、そのｘ座標が、第２のバウンディングボックスの
左側の境界のｘ座標であるＸ_min2以上で、かつその右側
の境界のｘ座標であるＸ_max2以下の画素は、内部領域
（図７）の画素であり、内部領域には、完全不透明領域
しかふくまれない。そして、ここでは、上述したよう
に、背景画像に上書きする形で合成画像を生成するの
で、完全不透明領域の画素については、前景画像記憶部
１１に記憶された前景画像の画素をコピーすれば済む。
そこで、ステップＳ３６において、そのような画素につ
いては、前景画像記憶部１１に記憶された前景画像の画
素値が、背景画像記憶部１２にコピーされる。

【０１２２】その後、ステップＳ３４において、変数ｙ
が、Ｈ未満でないと判定されると、ステップＳ３９に進
み、背景画像記憶部１２に記憶された合成画像が、外部
記憶装置７に書き込まれ、処理を終了する。

【０１２３】図８の実施の形態においても、第１のバウ
ンディングボックス内の画素のうちの、第２のバウンデ
ィングボックス内の画素を除いたものだけを、式（１）
の演算の対象とすれば良く、第２のバウンディングボッ
クス内の画素については、コピーを行うだけで済むの
で、画像の合成を、効率良く行うことができる。

【０１２４】次に、図９のフローチャートを参照して、
図８のステップＳ３２の処理の詳細について説明する。

【０１２５】図８のステップＳ３２では、マット画像を
構成する各行（ライン）が走査され、その行を構成する
画素のマット値に基づいて、上述のｘ座標Ｘ
_min1［ｙ］，Ｘ_{mi n2}［ｙ］，Ｘ_max2［ｙ］、およびＸ
_max1［ｙ］が設定される。

【０１２６】即ち、ステップＳ４１では、ｙ座標を表す
変数ｙが、０に初期化され、ステップＳ４２に進み、変
数ｙが、マット画像の縦の画素数Ｈより小さいかどうか
が判定される。ステップＳ４２において、変数ｙがＨ未
満であると判定された場合、即ち、変数ｙが、０以上Ｈ
未満である場合、ステップＳ４３に進み、ｘ座標を表す
変数ｘが、０に初期化され、ステップＳ４４に進む。

【０１２７】ステップＳ４４では、変数ｘが、マット画
像の横の画素数Ｗ未満であるかどうかが判定される。ス
テップＳ４４において、変数ｘが、マット画像の横の画
素数Ｗ未満であると判定された場合、即ち、変数ｘが、
０以上Ｗ未満である場合、ステップＳ４５に進み、マッ
ト値ｍａｔｔｅ［ｘ，ｙ］（座標（ｘ，ｙ）のマット
値）が０に等しいかどうかが判定される。ステップＳ４
５において、マット値ｍａｔｔｅ［ｘ，ｙ］が０に等し
いと判定された場合、ステップＳ４６に進み、ｘ座標が
１だけインクリメントされる。そして、ステップＳ４４
に戻り、以下、ステップＳ４４でｘ座標がＷ未満でない
と判定されるか、またはステップＳ４５でｍａｔｔｅ
［ｘ，ｙ］が０に等しくないと判定されるまで、ステッ
プＳ４４乃至Ｓ４６の処理が繰り返される。

【０１２８】そして、ステップＳ４５において、ｍａｔ
ｔｅ［ｘ，ｙ］が０に等しくないと判定された場合、即
ち、第ｙ行のマット値を、左から右方向に走査していっ
て、０でないマット値が最初に現れた場合、ステップＳ
４７に進み、その０でないマット値を有する画素のｘ座
標が、第１のバウンディングボックスの左側の境界のｘ
座標を表す変数Ｘ_min1［ｙ］にセットされ、ステップＳ
４８に進む。

【０１２９】ステップＳ４８では、ステップＳ４４にお
ける場合と同様に、ｘ座標がＷ未満であるかどうかが判
定され、Ｗ未満であると判定された場合、ステップＳ４
９に進み、マット値ｍａｔｔｅ［ｘ，ｙ］が、０より大
きく、かつ１より小さいかどうかが判定される。ステッ
プＳ４９において、マット値ｍａｔｔｅ［ｘ，ｙ］が、
０より大きく、かつ１より小さいと判定された場合、ス
テップＳ５０に進み、ｘ座標が１だけインクリメントさ
れる。そして、ステップＳ４８に戻り、ステップＳ４８
でｘ座標がＷ未満でないと判定されるか、またはステッ
プＳ４９でマット値ｍａｔｔｅ［ｘ，ｙ］が、０または
１のいずれかに等しいと判定されるまで、ステップＳ４
８乃至Ｓ５０の処理が繰り返される。

【０１３０】そして、ステップＳ４９において、マット
値ｍａｔｔｅ［ｘ，ｙ］が、０または１のいずれかに等
しいと判定されると、ステップＳ５１に進み、そのマッ
ト値ｍａｔｔｅ［ｘ，ｙ］が、１に等しいかどうかが判
定される。ステップＳ５１において、ｍａｔｔｅ［ｘ，
ｙ］が１に等しいと判定された場合、即ち、第ｙ行のマ
ット値を、左から右方向に走査していって、１のマット
値が最初に現れた場合、ステップＳ５２に進み、その１
のマット値を有する画素のｘ座標が、第２のバウンディ
ングボックスの左側の境界のｘ座標を表す変数Ｘ
_min2［ｙ］にセットされ、ステップＳ５３に進む。

【０１３１】ステップＳ５３では、ステップＳ４４にお
ける場合と同様に、変数ｘが、マット画像の横の画素数
Ｗ未満であるかどうかが判定される。ステップＳ５３に
おいて、変数ｘが、マット画像の横の画素数Ｗ未満であ
ると判定された場合、ステップＳ５４に進み、マット値
ｍａｔｔｅ［ｘ，ｙ］が１に等しいかどうかが判定され
る。ステップＳ５４において、マット値ｍａｔｔｅ
［ｘ，ｙ］が１に等しいと判定された場合、ステップＳ
５５に進み、ｘ座標が１だけインクリメントされる。そ
して、ステップＳ５３に戻り、以下、ステップＳ５３で
ｘ座標がＷ未満でないと判定されるか、またはステップ
Ｓ５４でｍａｔｔｅ［ｘ，ｙ］が１に等しくないと判定
されるまで、ステップＳ５３乃至Ｓ５５の処理が繰り返
される。

【０１３２】そして、ステップＳ５４において、ｍａｔ
ｔｅ［ｘ，ｙ］が１に等しくないと判定された場合、即
ち、第ｙ行のマット値を、左から右方向に走査していっ
て、１のマット値が現れ、その後、１でないマット値が
最初に現れた場合、ステップＳ５６に進み、その１でな
いマット値を有する画素のｘ座標−１が、第２のバウン
ディングボックスの右側の境界のｘ座標を表す変数Ｘ
_max2［ｙ］にセットされ、ステップＳ５７に進む。

【０１３３】ステップＳ５７では、ステップＳ４４にお
ける場合と同様に、変数ｘが、マット画像の横の画素数
Ｗ未満であるかどうかが判定される。ステップＳ５７に
おいて、変数ｘが、マット画像の横の画素数Ｗ未満であ
ると判定された場合、ステップＳ５８に進み、マット値
ｍａｔｔｅ［ｘ，ｙ］が０より大きいかどうかが判定さ
れる。ステップＳ５８において、マット値ｍａｔｔｅ
［ｘ，ｙ］が０より大きいと判定された場合、ステップ
Ｓ５９に進み、ｘ座標が１だけインクリメントされる。
そして、ステップＳ５７に戻り、以下、ステップＳ５７
でｘ座標がＷ未満でないと判定されるか、またはステッ
プＳ５８でｍａｔｔｅ［ｘ，ｙ］が０より大きくないと
判定されるまで、ステップＳ５７乃至Ｓ５９の処理が繰
り返される。

【０１３４】そして、ステップＳ５８において、ｍａｔ
ｔｅ［ｘ，ｙ］が０より大きくないと判定された場合、
即ち、第ｙ行のマット値を、左から右方向に走査してい
って、１のマット値が現れ、さらに、１でないマット値
が現れ、その後、０より大きくないマット値、つまり０
のマット値が最初に現れた場合、ステップＳ６０に進
み、その０のマット値を有する画素のｘ座標−１が、第
１のバウンディングボックスの右側の境界のｘ座標を表
す変数Ｘ_max1［ｙ］にセットされ、ステップＳ６１に進
む。

【０１３５】ステップ６１では、ステップＳ４４におけ
る場合と同様に、変数ｘが、マット画像の横の画素数Ｗ
未満であるかどうかが判定される。ステップＳ６１にお
いて、変数ｘが、マット画像の横の画素数Ｗ未満である
と判定された場合、ステップＳ６２に進み、マット値ｍ
ａｔｔｅ［ｘ，ｙ］が０に等しいかどうかが判定され
る。ステップＳ６２において、マット値ｍａｔｔｅ
［ｘ，ｙ］が０に等しいと判定された場合、ステップＳ
６３に進み、ｘ座標が１だけインクリメントされる。そ
して、ステップＳ６１に戻り、以下、ステップＳ６１で
ｘ座標がＷ未満でないと判定されるか、またはステップ
Ｓ６２でマット値ｍａｔｔｅ［ｘ，ｙ］が０に等しくな
いと判定されるまで、ステップＳ６１乃至Ｓ６３の処理
が繰り返される。

【０１３６】そして、ステップＳ６２において、マット
値ｍａｔｔｅ［ｘ，ｙ］が０に等しくないと判定される
と、ステップＳ５７に戻り、以下、同様の処理が繰り返
される。即ち、これにより、第ｙ行が、半透明領域を複
数回横切るような場合には、ステップＳ６０において、
最後に横切った半透明領域の右側の境界のｘ座標−１
が、変数Ｘ_max1［ｙ］にセットされる。

【０１３７】また、ステップＳ６１において、ｘ座標が
Ｗ未満でないと判定された場合、即ち、第ｙ行のマット
値を、左から右方向に走査していき、その右端の画素ま
で到達した場合、ステップＳ６４に進み、ｙ座標が１だ
けインクリメントされる。そして、ステップＳ４２に戻
り、以下、同様の処理が繰り返される。

【０１３８】一方、ステップＳ４４において、ｘ座標が
Ｗ未満でないと判定された場合、即ち、第ｙ行のマット
値を、左から右方向に走査していって、０でないマット
値を検出することができなかった場合（従って、第ｙ行
のマット値がすべて０の場合）、ステップＳ６５に進
み、第１のバウンディングボックスの左側の境界のｘ座
標を表す変数Ｘ_min1［ｙ］に、取り得ない値である、例
えばＷがセットされ、ステップＳ６６に進む。ステップ
Ｓ６６では、第２のバウンディングボックスの左側の境
界のｘ座標を表す変数Ｘ_min2［ｙ］に、取り得ない値で
ある、例えばＷがセットされ、ステップＳ６７に進む。
ステップＳ６７では、第２のバウンディングボックスの
右側の境界のｘ座標を表す変数Ｘ_max2［ｙ］に、変数Ｘ
_min2［ｙ］にＷがセットされたときに取り得ない値であ
る、例えばＷ−１がセットされ、ステップＳ６８に進
む。ステップＳ６８では、第１のバウンディングボック
スの右側の境界のｘ座標を表す変数Ｘ_max1［ｙ］に、変
数Ｘ_min1［ｙ］にＷがセットされたときに取り得ない値
である、例えばＷ−１がセットされ、ステップＳ６４に
進み、以下、上述した場合と同様の処理が行われる。

【０１３９】また、ステップＳ４８において、ｘ座標が
Ｗ未満でないと判定された場合、即ち、第ｙ行のマット
値を、左から右方向に走査していって、０でないマット
値が現れた後、その０でないマット値が、第ｙ行の右端
まで連続する場合、ステップＳ６６に進み、以下、上述
した場合と同様の処理が行われる。さらに、ステップＳ
Ｓ５３において、ｘ座標がＷ未満でないと判定された場
合、即ち、第ｙ行のマット値を、左から右方向に走査し
ていって、１のマット値が現れた後、その１のマット値
が、第ｙ行の右端まで連続する場合、ステップＳ６７に
進み、以下、上述した場合と同様の処理が行われる。ま
た、ステップＳ５７において、ｘ座標がＷ未満でないと
判定された場合、即ち、第ｙ行のマット値を、左から右
方向に走査していって、１のマット値が現れ、さらに、
１未満の０でないマット値が現れた後、その１未満の０
でないマット値が、第ｙ行の右端まで連続する場合、ス
テップＳ６８に進み、以下、上述した場合と同様の処理
が行われる。

【０１４０】一方、ステップＳ５１において、ｍａｔｔ
ｅ［ｘ，ｙ］が１に等しくないと判定された場合、即
ち、第ｙ行のマット値を、左から右方向に走査していっ
て、０より大きく、かつ１より小さいマット値が現れた
後に、１のマット値が現れず、０のマット値が現れた場
合、ステップＳ６９に進み、ステップＳ６０における場
合と同様に、その０のマット値を有する画素のｘ座標−
１が、第１のバウンディングボックスの右側の境界のｘ
座標を表す変数Ｘ_max1［ｙ］にセットされ、ステップＳ
７０に進む。

【０１４１】ステップＳ７０では、ステップＳ４４にお
ける場合と同様に、変数ｘが、マット画像の横の画素数
Ｗ未満であるかどうかが判定される。ステップＳ７０に
おいて、変数ｘが、マット画像の横の画素数Ｗ未満であ
ると判定された場合、ステップＳ７１に進み、マット値
ｍａｔｔｅ［ｘ，ｙ］が０に等しいかどうかが判定され
る。ステップＳ７１において、マット値ｍａｔｔｅ
［ｘ，ｙ］が０に等しいと判定された場合、ステップＳ
７２に進み、ｘ座標が１だけインクリメントされる。そ
して、ステップＳ７０に戻り、以下、ステップＳ７０で
ｘ座標がＷ未満でないと判定されるか、またはステップ
Ｓ７１でマット値ｍａｔｔｅ［ｘ，ｙ］が０に等しくな
いと判定されるまで、ステップＳ７０乃至Ｓ７２の処理
が繰り返される。

【０１４２】そして、ステップＳ７１において、マット
値ｍａｔｔｅ［ｘ，ｙ］が０に等しくないと判定される
と、即ち、０でないマット値が現れると、ステップＳ４
８に戻り、以下、同様の処理が繰り返される。即ち、こ
れにより、ステップＳ５２では、第ｙ行を左から右に走
査していって、最初に現れる１のマット値のｘ座標が、
変数Ｘ_min2［ｙ］にセットされる。

【０１４３】また、ステップＳ７０において、ｘ座標が
Ｗ未満でないと判定された場合、ステップＳ７３に進
み、第２のバウンディングボックスの左側の境界のｘ座
標を表す変数Ｘ_min2［ｙ］に、第１のバウンディングボ
ックスとの関係で取り得ない値である、例えば、その右
側の境界のｘ座標を表す変数Ｘ_max1［ｙ］＋１がセット
されるとともに、第２のバウンディングボックスの右側
の境界のｘ座標を表す変数Ｘ_max2［ｙ］に、第１のバウ
ンディングボックスとの関係で取り得ない値である、例
えば、その右側の境界のｘ座標を表す変数Ｘ_max1［ｙ］
がセットされる。そして、ステップＳ６４に進み、以
下、上述の場合と同様の処理が繰り返される。

【０１４４】次に、図１０は、領域設定部１４におい
て、図９で説明した処理が行われることにより得られる
領域情報付きマット画像のデータフォーマットを示して
いる。なお、図１０の実施の形態でも、図６における場
合と同様に、前景画像記憶部１１に記憶された前景画像
を含む領域情報付きマット画像のデータフォーマットを
示している。

【０１４５】図１０において、第１行目（上から１行
目）のＷまたはＨは、前景画像およびマット画像の横ま
たは縦の画素数をそれぞれ表している。また、第２行目
からのＨ行におけるＸ_min1［ｙ］，Ｘ_min2［ｙ］，Ｘ
_max2［ｙ］、またはＸ_max1［ｙ］は、マット画像の第ｙ
行のラインにおける第１のバウンディングボックスの左
側の境界、第２のバウンディングボックスの左側の境
界、第２のバウンディングボックスの右側の境界、第１
のバウンディングボックスの右側の境界のｘ座標を、そ
れぞれ表している。そして、その後のＷ×Ｈ行には、図
６の第４行目以降と同様に、前景画像を構成する画素
（ｘ，ｙ）のＲ，Ｇ，Ｂ成分Ｒ_x,y，Ｇ_x,y，Ｂ_{x, y}と、
対応するマット値Ｍ_x,yとが配列されている。

【０１４６】なお、図６や図１０に示した領域情報付き
マット画像は、例えば、そこに含まれる前景画像を用い
た画像合成を複数回行うようなときに、特に有用であ
る。

【０１４７】また、本実施の形態では、第１および第２
のバウンディングボックスを、左下および右下の頂点で
規定される矩形や、各ラインごとに設定された４つのｘ
座標Ｘ_min1［ｙ］，Ｘ_min2［ｙ］，Ｘ_max2［ｙ］、およ
びＸ_max1［ｙ］によって表すようにしたが、第１および
第２のバウンディングボックスの表現形式は、特に限定
されるものではなく、マット画像上の点（画素）が与え
られたときに、その点が、第１および第２のバウンディ
ングボックスの内側、外側のいずれに位置するのかを判
断することができるものであれば良い。即ち、第１およ
び第２のバウンディングボックスの表現形式としては、
例えば、４分木（quad-tree）その他を用いることも可
能である。

【０１４８】さらに、本実施の形態では、合成画像を、
背景画像に上書きする形で生成するようにしたが、合成
画像は、背景画像とは別に生成することも可能である。
但し、その場合、背景画像について、特に処理を行う必
要はないと説明した部分では、背景画像を、合成画像と
してコピーするようにする必要がある。

【０１４９】また、本実施の形態では、前景画像および
背景画像として、ＲＧＢ成分を有するものを用いるよう
にしたが、前景画像および背景画像としては、ＲＧＢ以
外の、例えば、ＹＩＱその他で画素値が表現されるもの
を用いることが可能である。

【０１５０】さらに、本実施の形態では、ユーザからの
２頂点の入力に基づき、その２頂点で規定される矩形の
第１および第２のバウンディングボックスを設定するよ
うにしたが、その他、例えば、ユーザには、３頂点以上
を入力してもらい、その３頂点以上で規定される、矩形
以外の形状の第１および第２のバウンディングボックス
を設定するようにすることも可能である。

【０１５１】また、本実施の形態では、図３において、
半透明領域に外接する第１のバウンディングボックス、
および２頂点が完全透明領域に内接する第２のバウンデ
ィングボックスを設定するようにしたが、第１および第
２のバウンディングボックスの設定の仕方は、これに限
定されるものではない。即ち、第１のバウンディングボ
ックスは、半透明領域および完全不透明領域を包含する
ものであれば、半透明領域に外接していなくてもかまわ
ない。また、第２のバウンディングボックスは、完全不
透明領域の少なくとも一部のみを有するものであれば、
完全不透明領域に内接していなくてもかまわない。

【０１５２】さらに、本実施の形態では、ＣＰＵ２に、
コンピュータプログラムを実行させることにより、画像
合成や領域情報付きマット画像の生成を行うようにした
が、これらの処理は、それ専用のハードウェアによって
行うことも可能である。

【０１５３】また、本実施の形態では、ＣＰＵ２に実行
させるアプリケーションプログラムを、外部記憶装置７
に記憶させて提供するようにしたが、アプリケーション
プログラムは、例えば、インターネットその他の伝送媒
体を介して伝送して提供することも可能である。

【０１５４】

【発明の効果】請求項１に記載の画像合成装置および請
求項８に記載の画像合成方法、並びに請求項９に記載の
提供媒体によれば、マット画像に対して、所定の範囲の
最小値でないマット値すべてを包含する第１の領域と、
所定の範囲の最大値のマット値のみからなる第２の領域
とが設定され、第１の領域の外部の領域、第１の領域の
うちの第２の領域でない領域、および第２の領域の３つ
の領域それぞれに対応する第１および第２の画像につい
て、画像合成のための合成処理が施される。従って、画
像の合成を、効率良く行うことが可能となる。

【０１５５】請求項１０に記載の画像生成装置および請
求項１４に記載の画像生成方法、並びに請求項１５に記
載の提供媒体によれば、マット画像に対して、所定の範
囲の最小値でないマット値すべてを包含する第１の領域
と、所定の範囲の最大値のマット値のみからなる第２の
領域とが設定される。また、請求項１６に記載の提供媒
体によれば、マット画像における、所定の範囲の最小値
でないマット値すべてを包含する第１の領域と、所定の
範囲の最大値のマット値のみからなる第２の領域とを特
定するための特定情報とともに、マット画像が提供され
る。従って、効率良く画像の合成を行うことができるマ
ット画像を提供することが可能となる。

【図面の簡単な説明】

【図１】本発明を適用した画像処理装置の一実施の形態
の構成例を示すブロック図である。

【図２】図１の画像処理装置の機能的構成例を示すブロ
ック図である。

【図３】第１および第２のバウンディングボックスの設
定方法を説明するため図である。

【図４】図２の画像処理装置の処理を説明するためのフ
ローチャートである。

【図５】図４のステップＳ５の処理のより詳細を説明す
るためのフローチャートである。

【図６】領域情報付きマット画像のフォーマットを示す
図である。

【図７】第１および第２のバウンディングボックスの他
の設定方法を説明するための図である。

【図８】図２の画像処理装置の処理を説明するためのフ
ローチャートである。

【図９】図８のステップＳ３２の処理のより詳細を説明
するためのフローチャートである。

【図１０】領域情報付きマット画像のフォーマットを示
す図である。

【図１１】バウンディングボックスを使用した従来の画
像合成を説明するための図である。

【図１２】バウンディングボックスを用いた従来の画像
合成を説明するためのフローチャートである。

【図１３】図１２のステップＳ８４の処理のより詳細を
説明するためのフローチャートである。

【符号の説明】

１ ＲＯＭ， ２ ＣＰＵ， ３ ＲＡＭ， ４ 入力
装置（操作手段），５ 出力装置， ６ 外部Ｉ／Ｆ，
７ 外部記憶装置， １１ 前景画像記憶部， １２
背景画像記憶部， １３ マット画像記憶部， １４
領域設定部（設定手段）（出力手段）， １５ レン
ダリング部（処理手段）

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 CA01 CA08 CB01 CB08 CC03 CE08 5B080 DA07 DA08 FA03 FA17 5C023 AA16 BA02 BA13 CA03 CA08 DA02 DA03 DA08 5C076 AA01 AA12

Claims (16)

【特許請求の範囲】
1. 【請求項１】 第１の画像と第２の画像とを、所定の範
   囲の値によって、前記第１の画像の不透明度を表すマッ
   ト値からなるマット画像にしたがって合成する画像合成
   装置であって、 前記マット画像に対して、前記所定の範囲の最小値でな
   いマット値すべてを包含する第１の領域と、前記所定の
   範囲の最大値のマット値のみからなる第２の領域とを設
   定する設定手段と、 前記第１の領域の外部の領域、前記第１の領域のうちの
   前記第２の領域でない領域、および前記第２の領域の３
   つの領域それぞれに対応する前記第１および第２の画像
   について、画像合成のための合成処理を施す処理手段と
   を備えることを特徴とする画像合成装置。
2. 【請求項２】 前記処理手段は、前記第１の領域の外部
   の領域に対応する前記第１および第２の画像について、
   その第２の画像をコピーする処理を施すことを特徴とす
   る請求項１に記載の画像合成装置。
3. 【請求項３】 前記処理手段は、前記第１の領域のうち
   の前記第２の領域でない領域に対応する前記第１および
   第２の画像について、その第１および第２の画像を、前
   記マット値にしたがって合成する処理を施すことを特徴
   とする請求項１に記載の画像合成装置。
4. 【請求項４】 前記処理手段は、前記第２の領域に対応
   する前記第１および第２の画像について、その第１の画
   像をコピーする処理を施すことを特徴とする請求項１に
   記載の画像合成装置。
5. 【請求項５】 前記処理手段は、前記第２の領域に対応
   する前記第１の画像の連続する画素群を、一括でコピー
   することを特徴とする請求項４に記載の画像合成装置。
6. 【請求項６】 前記第１および第２の領域を指定すると
   きに操作される操作手段をさらに備え、 前記設定手段は、前記操作手段の操作に対応して、前記
   第１および第２の領域を設定することを特徴とする請求
   項１に記載の画像合成装置。
7. 【請求項７】 前記設定手段は、前記マット画像を構成
   するマット値に基づいて、前記第１および第２の領域を
   設定することを特徴とする請求項１に記載の画像合成装
   置。
8. 【請求項８】 第１の画像と第２の画像とを、所定の範
   囲の値によって、前記第１の画像の不透明度を表すマッ
   ト値からなるマット画像にしたがって合成する画像合成
   方法であって、 前記マット画像に対して、前記所定の範囲の最小値でな
   いマット値すべてを包含する第１の領域と、前記所定の
   範囲の最大値のマット値のみからなる第２の領域とを設
   定する設定ステップと、 前記第１の領域の外部の領域、前記第１の領域のうちの
   前記第２の領域でない領域、および前記第２の領域の３
   つの領域それぞれに対応する前記第１および第２の画像
   について、画像合成のための合成処理を施す処理ステッ
   プとを備えることを特徴とする画像合成方法。
9. 【請求項９】 第１の画像と第２の画像とを、所定の範
   囲の値によって、前記第１の画像の不透明度を表すマッ
   ト値からなるマット画像にしたがって合成する処理を、
   情報処理装置に行わせるための制御情報を提供する提供
   媒体であって、 前記マット画像に対して、前記所定の範囲の最小値でな
   いマット値すべてを包含する第１の領域と、前記所定の
   範囲の最大値のマット値のみからなる第２の領域とを設
   定する設定ステップと、 前記第１の領域の外部の領域、前記第１の領域のうちの
   前記第２の領域でない領域、および前記第２の領域の３
   つの領域それぞれに対応する前記第１および第２の画像
   について、画像合成のための合成処理を施す処理ステッ
   プとを備える制御情報を提供することを特徴とする提供
   媒体。
10. 【請求項１０】 第１の画像と第２の画像とを合成する
    ときに用いられる、所定の範囲の値によって、前記第１
    の画像の不透明度を表すマット値からなるマット画像を
    生成する画像生成装置であって、 前記マット画像に対して、前記所定の範囲の最小値でな
    いマット値すべてを包含する第１の領域と、前記所定の
    範囲の最大値のマット値のみからなる第２の領域とを設
    定する設定手段と、 前記第１および第２の領域を特定するための特定情報
    を、前記マット画像とともに出力する出力手段とを備え
    ることを特徴とする画像生成装置。
11. 【請求項１１】 前記第１および第２の領域を指定する
    ときに操作される操作手段をさらに備え、 前記設定手段は、前記操作手段の操作に対応して、前記
    第１および第２の領域を設定することを特徴とする請求
    項１０に記載の画像生成装置。
12. 【請求項１２】 前記設定手段は、前記マット画像を構
    成するマット値に基づいて、前記第１および第２の領域
    を設定することを特徴とする請求項１０に記載の画像生
    成装置。
13. 【請求項１３】 前記出力手段は、前記特定情報を、前
    記マット画像および第１の画像とともに出力することを
    特徴とする請求項１０に記載の画像生成装置。
14. 【請求項１４】 第１の画像と第２の画像とを合成する
    ときに用いられる、所定の範囲の値によって、前記第１
    の画像の不透明度を表すマット値からなるマット画像を
    生成する画像生成方法であって、 前記マット画像に対して、前記所定の範囲の最小値でな
    いマット値すべてを包含する第１の領域と、前記所定の
    範囲の最大値のマット値のみからなる第２の領域とを設
    定する設定ステップと、 前記第１および第２の領域を特定するための特定情報
    を、前記マット画像とともに出力する出力ステップとを
    備えることを特徴とする画像生成方法。
15. 【請求項１５】 第１の画像と第２の画像とを合成する
    ときに用いられる、所定の範囲の値によって、前記第１
    の画像の不透明度を表すマット値からなるマット画像を
    生成する処理を、情報処理装置に行わせるための制御情
    報を提供する提供媒体であって、 前記マット画像に対して、前記所定の範囲の最小値でな
    いマット値すべてを包含する第１の領域と、前記所定の
    範囲の最大値のマット値のみからなる第２の領域とを設
    定する設定ステップと、 前記第１および第２の領域を特定するための特定情報
    を、前記マット画像とともに出力する出力ステップとを
    備える制御情報を提供することを特徴とする提供媒体。
16. 【請求項１６】 第１の画像と第２の画像とを合成する
    ときに用いられる、所定の範囲の値によって、前記第１
    の画像の不透明度を表すマット値からなるマット画像を
    提供する提供媒体であって、 前記マット画像における、前記所定の範囲の最小値でな
    いマット値すべてを包含する第１の領域と、前記所定の
    範囲の最大値のマット値のみからなる第２の領域とを特
    定するための特定情報とともに、前記マット画像を提供
    することを特徴とする提供媒体。