JP3642952B2 - 画像合成方法及び装置、並びに情報処理システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、複数の画像を混合して新しい画像を合成する画像合成方法及び装置、並びに情報処理システムに関する。
【０００２】
【従来の技術】
グラフィックコンピュータ、ゲーム機、ビデオ機器などにおいて、ある混ぜ合わせ率情報を用いて複数の画像を混合して、新しい画像を合成することが行われている。
【０００３】
この画像生成方法には、画像とは別に供給されるアルファ情報と呼ばれる情報を用いてキー信号を生成する方法と、画像に含まれる特定の画素値をキー信号として用いる方法がある。
【０００４】
アルファ情報は、画像と同じ解像度をもち、０から１の間の値をとる２次元の情報である。例えば、画像の解像度が６４０×４８０であるときには、アルファ情報の解像度も６４０×４８０とされる。また、アルファ情報を表すビット数が、例えば２ビットであれば、アルファ情報の値は０，０．３３，０．６６，１．０の４通りの値をとることができる。
【０００５】
いま、第１の画像のある画素値が（Ｒ1 ，Ｇ1 ，Ｂ1 ）であり、この画素に対応する第２の画像の対応する画素値が（Ｒ2 ，Ｇ2 ，Ｂ2 ）であるとする。また、これらの画像に対応するアルファ情報の値をＡとすると、上記の第１の画像と第２の画像とから合成される画像の画素値は、以下の（１）〜（３）の式を用いて計算される。
【０００６】

次に、上述したアルファ情報を用いて２つの画像を合成する方法について説明する。
【０００７】
図５は、第１の画像１１と第２の画像１２とを、これらの画像とは別に供給されるアルファ情報１３を用いて混合することにより、合成画像１４が生成される様子を示している。
【０００８】
この例では、アルファ情報１３の左半分１３ａの値は０．０であり、右半分１３ｂの値は１．０である。従って、このアルファ情報１３をキー信号として第１の画像と第２の画像とを混合して得られる合成画像１４は、その左半分１４ａが第１の画像の左半分であり、その右半分１４ｂが第２の画像の右半分になる。
【０００９】
この合成画像１４の画素値は（１）式を用いて計算され、その左半分１４ａが（４ａ）式で表され、その右半分１４ｂが（４ｂ）式で表される。

図６は、第１の画像２１と第２の画像２２とを、上記の例におけるアルファ値１３とは別のアルファ情報２３を用いて混合することにより、合成画像２４が生成される様子を示している。
【００１０】
この例では、アルファ情報２３は、その左側の１／３の部分２３ａの値が０．０であり、右側の１／３の部分２３ｂの値が１であり、中央の１／３の部分２３ｃの値が０．５である。
【００１１】
このアルファ情報２４をキー信号として第１の画像２１と第２の画像２２を混合した合成画像２４は、その左側の１／３の部分２４ａが第１の画像の左側の１／３の部分であり、右側の１／３の部分２４ｂが第２の画像の右側の１／３の部分になる。そして、合成画像２４の中央の１／３の部分２４ｃは、第１の画像の中央の１／３の部分と第２の画像の中央の１／３の部分とが重ね合わされた画像になる。
【００１２】
この合成画像２４の画素値は前述の（１）式を用いて計算され、左側の１／３の部分２４ａの画素値が（５ａ）式で表され、右側の１／３の部分２４ｂが（５ｂ）式で表され、その中央の１／３の部分２４ｃが（５ｃ）式で表される。
【００１３】

図７は、アルファ情報を用いて２つの画像を混合して新たな画像を合成するための画像混合回路の構成例を示している。この画像混合回路３１には、第１の画像と第２の画像、およびこれらの画像の混合される部分や割合を与えるキー信号となるアルファ情報が入力される。そして、上記のアルファ情報に従って、第１の画像と第２の画像とが混合されて、合成画像として出力される。
【００１４】
なお、このような画像混合回路において、アルファ情報を用いて２つの画像を混合する方法については、具体的に後述する。
【００１５】
次に、画像の特定の色の部分からキー信号を作成して、２つの画像を合成する方法について説明する。
【００１６】
図８は、第１の画像４１に含まれる特定色からキー信号４３を生成し、そのキー信号４３を用いて、上記の第１の画像４１と第２の画像４２とを合成する様子を示している。
【００１７】
ここで、第１の画像４１は、合成画像４４の前景となる画像であり、ある色の三角形状の部分４１ａと、その周囲の特定色の部分４１ｂとからなる。第２の画像４２は、合成画像４４の背景となる画像であり、ある色の四角形状の部分４２ｂを含んでいる。また、キー信号４３は、第１の画像４１から画素値が特定色である部分４１ｂのみを抽出して得た信号である。
【００１８】
上記の第１の画像４１と第２の画像４２とを、キー信号４３を用いて合成した画像である合成画像４４は、第２の画像４２に第１の画像４１の三角形状の部分４１ａを重ね合わせた画像である。
【００１９】
図９は、上記のように、第１の画像４１に含まれる特定色からキー信号４３を作成し、そのキー信号４３を用いて第１の画像４１と第２の画像４２とを合成するための画像混合回路の構成例を示している。
【００２０】
特定色判定回路５１では、第１の画像（原画像）４１の画素が特定色であるかどうかを判定し、画素が特定色である部分のみを抽出してキー信号４３を生成する。この生成されたキー信号４３は、上記の原画像４１と共に画像混合回路５３に入力される。
【００２１】
画像混合回路５３では、特定色判定回路５１からのキー信号４３により、第１の画像（原画像）４１と第２の画像４２の混合される部分や割合が決められ、合成画像４４が作成されて出力される。
【００２２】
【発明が解決しようとする課題】
以上説明した画像合成方法によれば、いずれの方法によっても、原画像の一部を透明色として２つの画像を重ね合わせる、いわゆる「透明抜き画像」をつくることができる。
【００２３】
しかし、アルファ情報を用いる方法は、原画像とは別に情報を付加しなければならないため不便である。また、透明色を特定色として画像からキー信号を生成する方法は、原画像にローパスフィルタリングなどの画像処理を施すと、合成画像の画質が低下することがある。
【００２４】
本発明は、このような問題を解決するために行われたものであり、アルファ情報などの付加情報を用いる必要がなく、原画像に画像処理を施す場合でも合成画像の画質が劣化しない画像合成方法および画像合成装置を提供することを目的としている。
【００２５】
【課題を解決するための手段】
上記の課題に対応した本発明の画像合成方法は、第１の原画像と第２の原画像とをキー情報を用いて合成する画像合成方法において、第１の原画像から透明色以外の特定色を用いてキー信号を抽出するステップと、前記第１の原画像および抽出されたキー信号にローパスフィルタリングを施すステップと、前記ローパスフィルタリングが施されたキー信号を用いて、前記ローパスフィルタリングが施された第１の原画像と第２の原画像とを混合するステップとを有することを特徴とする。
【００２６】
上記の課題に対応した本発明の画像合成装置は、第１の原画像と第２の原画像とを合成する画像合成装置において、第１の原画像から透明色以外の特定色を用いてキー信号を抽出するキー信号生成手段と、前記第１の原画像および前記抽出されたキー信号にローパスフィルタリングを施す画像処理手段と、前記ローパスフィルタリングが施されたキー信号を用いて前記ローパスフィルタリングが施された第１の原画像と第２の原画像とを混合する画像混合手段とを備えることを特徴とする。
【００２７】
上記特定色として黒色を選択することが可能である。
【００２８】
【発明の実施の形態】
本発明に係る画像合成方法及び装置、並びに情報処理システムの実施の形態の説明に先立って、本発明の基本技術としての、透明色を特定色としてキー信号を生成する画像合成の技術について説明する。
【００２９】
図１０は、透明色を特定色として用いて「透明抜き画像」を作成する様子を示している。なお、以下では、簡単のために、１次元のグラフ画像を用いて説明する。
【００３０】
ここで、第１の画像６１は合成画像６４の前景となる画像であり、第２の画像６２は背景となる画像である。また、キー信号６３は、第１の画像６１の画素値が特定色（例えば０）である部分を透明色として扱う際に、合成画像６４の前景となる画像と背景となる画像とを切り替えるための信号であり、第１の画像の特定色である部分では値が０．０とされ、特定色でない部分では値が１．０とされる。
【００３１】
合成画像６４は、上記のキー信号６３を用いて、第１の画像６１と第２の画像６２とが合成された画像である。
【００３２】
ところが、第１の画像（原画像）に画像処理を施すと、前述したように、その画像処理が施された第１の画像を用いて合成した画像の画質が低下することがある。
【００３３】
図１１は、図１０に示した第１の画像（原画像）６１にローパスフィルタリング処理（以下では、単にフィルタリングともいう。）を施した後に、図１０と同様の方法で画像が合成される様子を示している。
【００３４】
ここでも、第１の処理画像７１は合成画像７４の前景となる画像であり、第２の画像７２は背景となる画像であるとする。
【００３５】
第１の処理画像７１は、第１の画像（原画像）６１にフィルタリングを施したものである。また、合成画像７４の前景画像７１と背景画像７２とを切り替えるためのキー信号７３は、第１の処理画像７１から生成されるものである。フィルタリングが施された第１の処理画像７１から生成されるキー信号７３は、合成画像７４の前景となる処理画像７１の画素値が特定色である部分である部分を指定しており、原画像６１から直接に生成される前述のキー信号６３に比べて広い範囲を指定ている。
【００３６】
合成画像７４は、上記のキー信号７３を用いて、すでにローパスフィルタリングが施されている処理画像７１と、第２の画像（原画像）７２とを合成した画像である。
【００３７】
この処理画像７１には、ローパスフィルタリングが施されたことによって、画素値が特定色に近いものの特定色ではない中間値を有する部分が現れている。このため、合成画像７４には、前述の合成画像６４には全く現れない特定色（透明色）に近い色が現れてしまう。すなわち、原画像にフィルタリングを施した後にキー信号を生成すると、そのキー信号によって示される混合される画像の切換え位置が本来の位置とは異なってしまうため、色にじみなどの画質低下が発生してしまう。簡単にいえば、キー信号の範囲がフィルタリング後の原画像の範囲より大きくなり、その差分が出力されるためである。
【００３８】
次に、図１は、「透明抜き画像」を作成する画像合成装置の基本的な構成例を示している。この画像合成装置は、上述した透明色を特定色として用いるものである。
【００３９】
この図１において、第１の画像（原画像）６１は、特定色判定回路８１及び画像処理回路８２に送られる。画像処理回路８２にて画像処理（例えばローパスフィルタリング処理）が施された第１の処理画像７１と、第２の処理画像７２とが、画像混合回路８３に送られて、特定色判定回路８１からのキー信号７３に応じて合成処理され、合成画像７４が出力される。
【００４０】
特定色を（Ｒ0 ，Ｇ0 ，Ｂ0 ）とし、この特定色以外の第１の画像（原画像）６１の色を（Ｒ1 ，Ｇ1 ，Ｂ1 ）とすると、ローパスフィルタリングが施された第１の処理画像７１は（６）式で表される。
【００４１】

この（６）式で表される第１の処理画像７１と、（Ｒ2 ，Ｇ2 ，Ｂ2 ）で表される第２の画像（原画像）７２を混合して得られる合成画像７４は、次の（７）式で与えられる。
【００４２】

この（７）式から、特定色（Ｒ0 ，Ｇ0 ，Ｂ0 ）が、（０，０，０）以外のとき、すなわち黒色でないときには、合成画像の前景や背景に特定色がにじみ出してしまうことが分かる。
【００４３】
本発明は、上述したような画像合成の技術を基本として、さらに改善を図ったものである。以下、本発明に係る画像合成方法及び装置、並びに情報処理システムの好ましい実施の形態について、図面を参照しながら説明する。
【００４４】
図２は、本発明の画像合成方法の実施の一形態として、「透明抜き画像」を得る様子を示している。
【００４５】
第１の画像（原画像）９１は、画像処理を施され、第１の処理画像９１ａとされる。この画像処理としては、画像を滑らかにつなげるためのローパスフィルタリングなどが挙げられる。
【００４６】
また、アルファ情報９３は、第１の原画像９１から特定色を用いて抽出されたキー信号である。このアルファ情報９３の値は、第１の原画像９１の特定色の部分では０とされ、それ以外の部分では１とされる。処理アルファ情報９３ａは、このアルファ情報９３に、第１の原画像９１に施された画像処理と同じ画像処理を施されたものである。
【００４７】
合成画像９４は、この処理アルファ情報９３ａを用いて、処理画像９１と第１の画像（原画像）９２とを合成したものである。この合成を行う際の計算は、前述の（３）式で与えられる。
【００４８】
図３は、上記の本発明に係る画像合成方法を実行するための、本発明の画像合成装置の実施の一形態を示している。この図３に示す、本発明の実施の形態としての画像合成装置（グラフィックプロセッサ）１０６は、半導体集積回路装置、複数のトランジスタを用いたディスクリート回路、若しくはＣＰＵボードで実現される。
【００４９】
第１の画像（原画像）９１は、特定色判定回路１０１と画像処理回路１０２に供給される。特定色判定回路１０１は、第１の原画像９１の特定色の部分を判定してキー信号９３を生成する。
【００５０】
画像処理回路１０２は、このキー信号９３と第１の原画像９１に対して同じ画像処理を施す。ここで、第１の原画像９１は第１の処理画像９１ａとされ、同様にキー信号９３は処理キー信号９３ａとされる。この画像処理は、例えば、前述したローパスフィルタリングなどである。
【００５１】
このとき、例えば、第１の原画像９１の画素の色を表す（Ｒ，Ｇ，Ｂ）の各成分が８ビットで表される場合には、処理キー信号９３も８ビットに拡張される。そして、この８ビットのキー信号９３は、アルファ情報として第１の原画像９１の（Ｒ，Ｇ，Ｂ）の各成分と同様の画像処理が施されて処理キー情報（処理アルファ情報）９３ａとされる。この第１の処理画像９１ａと処理キー信号９３ａは、画像混合回路１０３に供給される。
【００５２】
画像混合回路１０３は、処理キー信号９３ａを用いて、第１の処理画像９１ａと第２の画像（原画像）９２とを混合して合成する。このとき、特定色として（Ｒ0，Ｇ0，Ｂ0）＝（０，０，０）、すなわち黒色が選択されると、前述の（４）式は（８）式のように表される。さらに、（３）式を用いるためにｓ＝１，ｔ＝１−ｑとすれば、（８）式は（９）式のように表される。つまり、前景と背景だけの混合ができることになる。
【００５３】

図４は、以上説明したような本発明の実施の形態となる画像合成装置を含む情報処理システム、例えばゲーム機等のエンタテインメントシステムの構成例を示している。このようなエンタテインメントシステムのような情報処理システムは、例えば３次元画像を高精度、高速度に表示することができるものである。
【００５４】
この図４において、マイクロプロセッサ等からなる中央演算装置であるＣＰＵ２０１は、作成される表示画像の三角形領域（ポリゴン）に対して、頂点座標を算出したり、対象物体の属性と光源データとから法線ベクトルと光源ベクトルの内積計算等を行うためのものである。そして、このＣＰＵ２０１から、三角形領域の３頂点色情報（Ｒｇ，Ｇｇ，Ｂｇ，Ａｇ）が画像合成装置としてのグラフィックプロセッサ（ＧＰＵ）２０６に送られる。このグラフィックプロセッサ２０６は、上記図３に示した画像合成装置（グラフィックプロセッサ）１０６に相当する。
【００５５】
また、ＣＰＵ２０１は、入力パッドやジョイスティック等の入力デバイス２０４の操作情報をインターフェース２０３及びメインバス２０９を介して取り出す。そして、ＣＰＵ２０１は、抽出した操作情報に基づいて、メインメモリ２０２に記憶されている３次元画像の情報を上記メインバス２０９を介してグラフィックプロセッサ（ＧＰＵ）２０６に供給する。
【００５６】
グラフィックプロセッサ（ＧＰＵ）２０６は、ＣＰＵ２０１から供給された３次元画像の情報を変換して画像データを生成するためのものであり、既に説明した画像合成装置を含むものである。ＧＰＵ２０６で生成された画像データによる３次元画像がビデオメモリ２０５に書き込まれる。
【００５７】
ビデオメモリ２０５に書き込まれた３次元画像データは、ビデオ信号のスキャン時に読み出され、テレビジョンモニタ等（図示せず）に３次元画像として表示される。
【００５８】
一方、上記ＣＰＵ２０１によって抽出された操作情報中の上記表示された３次元画像に対応する音声情報が、オーディオプロセッサ２０７に供給される。オーディオプロセッサ２０７は、ＣＰＵ２０１から供給された音声情報に基づいてオーディオメモリ２０８内に記憶されている音声データをスピーカ（図示せず）から音声として出力する。
【００５９】
【発明の効果】
上記の本発明によれば、アルファ情報などの特別な情報を付加する必要がなく、また、特定色として透明色を用いないため、原画像に画像処理を施す場合でも合成画像の画質が劣化しない画像合成方法および画像合成装置を提供できる。
【図面の簡単な説明】
【図１】「透明抜き画像」を作成するための画像合成装置の基本的な構成例を示すブロック図である。
【図２】本発明の画像合成方法の実施の形態を説明するための図である。
【図３】本発明の画像合成装置の実施の形態を示すブロック図である。
【図４】図３に示した画像合成装置を含む本発明の情報処理システム（エンタテインメントシステム）の実施の形態を示すブロック図である。
【図５】第１の画像と第２の画像とをアルファ情報を用いて混合して合成画像を生成する方法を説明するための図である。
【図６】第１の画像と第２の画像とを別のアルファ情報を用いて混合して合成画像を生成する方法を説明するための図である。
【図７】アルファ情報を用いて２つの画像を混合して合成画像を得るための画像混合回路の構成例を示すブロック図である。
【図８】第１の画像に含まれる特定色から生成したキー信号を用いて第１の画像と第２の画像とを合成する方法を説明するための図である。
【図９】第１の画像に含まれる特定色から生成したキー信号を用いて第１の画像と第２の画像とを合成するための画像混合回路の構成例を示すブロック図である。
【図１０】透明色を特定色として「透明抜き画像」を作成する方法を説明するための図である。
【図１１】画像処理が施された第１の画像から生成したキー信号を用いて第１の画像と第２の画像とを合成する様子を説明するための図である。
【符号の説明】
９１ 第１の画像（原画像）、 ９１ａ 第１の処理画像、 ９２ 第２の画像（原画像）、 ９３ キー信号、 ９３ａ 処理キー信号（アルファ情報）、９４ 合成画像、 １０１ 特定色判定回路、 １０２ 画像処理回路、 １０３ 画像混合回路、 １０６，２０６ グラフィックプロセッサ

Claims (4)

1. 第１の原画像と第２の原画像と合成する画像合成方法において、
   第１の原画像から透明色以外の特定色を用いてキー信号を抽出するステップと、
   前記第１の原画像および抽出されたキー信号にローパスフィルタリングを施すステップと、
   前記ローパスフィルタリングが施されたキー信号を用いて、前記ローパスフィルタリングが施された第１の原画像と第２の原画像とを混合するステップとを有する画像合成方法。
2. 前記特定色は黒色である、請求項１記載の画像合成方法。
3. 第１の原画像と第２の原画像とを合成する画像合成装置において、
   第１の原画像から透明色以外の特定色を用いてキー信号を抽出するキー信号生成手段と、
   前記第１の原画像および前記抽出されたキー信号にローパスフィルタリングを施す画像処理手段と、
   前記ローパスフィルタリングが施されたキー信号を用いて前記ローパスフィルタリングが施された第１の原画像と第２の原画像とを混合する画像混合手段とを備える画像合成装置。
4. 前記特定色は黒色である、請求項３記載の画像合成装置。

Images