JP3967036B2 - Image synthesizer - Google Patents
Image synthesizer Download PDFInfo
- Publication number
- JP3967036B2 JP3967036B2 JP9937299A JP9937299A JP3967036B2 JP 3967036 B2 JP3967036 B2 JP 3967036B2 JP 9937299 A JP9937299 A JP 9937299A JP 9937299 A JP9937299 A JP 9937299A JP 3967036 B2 JP3967036 B2 JP 3967036B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- texture
- original image
- synthesis
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Image Generation (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、原画像の中の所望の領域に、他のテクスチャ画像を合成して合成画像を作成する際に適用して好適な画像合成装置に関する。
【0002】
【従来の技術】
建物の外装材や内装材、キッチン・収納の扉などの商品のカタログでは、実際の施工例は一部の商品についてのみ掲載し、他の商品については色・素材の見本のみを掲載することが多く、顧客は実際の施工例と見本を眺め、所望の見本を施工例に適用した場合の外観を想像し、商品を選択しなければならなかった。
【0003】
【本発明が解決しようとする課題】
このように、前記カタログでは、各商品について実際の施工例があるわけではないため、顧客が商品を選択するためにイメージを掴むことが難しいという問題がある。すべての商品に対して実際に施工例を作成してカタログを作成すれば前記問題は解決するが、そのためにはコストが高すぎて非現実的である。
【0004】
他の解決方法として、実際の施工例の画像に他の商品見本画像を合成するという方法もあるが、違和感の無い合成画像を得るためには、熟練したオペレータが経験と勘を使って試行錯誤しながら合成する必要があり、この作業を多くの商品見本に対して行うには困難が伴う上に、コストが高くなってしまう。
【0005】
本発明は、前記従来の問題点を解決するべくなされたもので、任意の商品の施工例等の原画像に対して商品見本画像等のテクスチャ画像を合成する場合に、特別な経験や勘がなくとも、違和感の無い合成画像を容易に作成することができる画像合成装置を提供することを課題とする。
【0006】
【課題を解決するための手段】
本発明は、原画像の一部にテクスチャ画像を合成する画像合成装置において、
原画像を入力する手段と、
該原画像に合成するテクスチャ画像を入力する手段と、
同原画像の中でテクスチャ画像を合成する合成領域を指定する手段と、
該合成領域には、遮景領域を考慮して作成されたマスクデータが適用されるとともに、
該合成領域の座標値をテクスチャ画像上の座標値に座標変換するためのパラメータを指定する手段と、
該パラメータに基づき前記合成領域内の座標に対して座標変換を行い相対座標値を計算する手段と、該相対座標値より前記テクスチャ画像上のテクスチャ座標値を計算する手段と、
該テクスチャ座標値を基に前記合成領域内であって、マスクデータによりマスクされた領域内のテクスチャ画像を合成する合成手段と、
を備えていると共に、前記原画像の各画素の輝度情報のみからなる原画像輝度データを生成する手段と、合成されたテクスチャ画像の輝度を原画像輝度データ及び明暗の差を制御するためのパラメータを使った次式:
Yto=((Ys-Yas)・R+Yas)/Yas)×(Yt+(Yas−Yat)×S)
(ここで、Yto:変換後の輝度、Ys:原画像の合成位置の画素の輝度、Yt:合成されたテクスチャ画像の画素の輝度、Yas:原画像の合成領域内の平均輝度、Yat:テクスチャ画像の平均輝度、R:明暗の差を制御するパラメータ(R>1で原画像より明暗の差が大きくなり、R<1で明暗の差が小さくなる。)、S:テクスチャの平均輝度をどの程度原画像に近づけるか制御するパラメータ(S=0で合成されたテクスチャの平均輝度=Yat、S=1で平均輝度=Yas))
に基づき変更する輝度変更手段とが兼備されていることにより、前記課題を解決したものである。
本発明は、また、原画像の一部にテクスチャ画像を合成する画像合成装置において、
原画像を入力する手段と、
該原画像に合成するテクスチャ画像を入力する手段と、
同原画像の中でテクスチャ画像を合成する合成領域を指定する手段と、
該合成領域には、遮景領域を考慮して作成されたマスクデータが適用されるとともに、
該合成領域の座標値をテクスチャ画像上の座標値に座標変換するためのパラメータを指定する手段と、
該パラメータに基づき前記合成領域内の座標に対して座標変換を行い相対座標値を計算する手段と、
該相対座標値より前記テクスチャ画像上のテクスチャ座標値を計算する手段と、
該テクスチャ座標値を基に前記合成領域内であって、マスクデータによりマスクされた領域内のテクスチャ画像を合成する合成手段と、
を備えていると共に、
前記座標変換に使用するパラメータには、実際の3次元空間上では長方形となる前記原画像上の合成領域を表す四角形の該3次元空間での実際の大きさ(Sx,Sy)が含まれ、前記合成手段が前記長方形の実際の大きさ(Sx,Sy)と前記テクスチャ画像の実際の大きさ(Strx,Stry)との相対比に応じた回数、該テクスチャ画像を繰り返して前記合成領域に合成するに際し、
前記テクスチャ座標値を計算する手段が、合成を行う合成領域内の座標値に対して正規化変換を行って算出した相対座標値(α、β)を使った次式:
xt=α×(Stpx/Strx)
yt=β×(Stpy/Stry)
(ここで、xt、yt:テクスチャ画像上の座標値、Stpx、Stpy:合成するテクスチャ画像の大きさ(画素単位)、Strx,Stry:合成するテクスチャの実際の大きさ(絶対値))
によりテクスチャ座標変換を行なうことにより、同様に前記課題を解決したものである。
【0007】
本発明においては、原画像上で指定した合成領域の座標値をテクスチャ画像上の座標値に座標変換するためのパラメータを指定し、該パラメータに基づき前記合成領域内の座標に対して座標変換を行い相対座標値を計算し、該相対座標値より前記テクスチャ画像上のテクスチャ座標値を計算し、該テクスチャ座標値を基に前記合成領域内にテクスチャ画像を合成するようにしたので、これら3つの座標系の対応関係を利用することにより、任意の大きさのテクスチャ画像を前記合成領域に合成し、違和感のない合成画像を作成することが可能となる。
【0008】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。
【0009】
図1は、本発明に係る一実施形態の画像合成システム(画像合成装置)の概略構成を示すブロック図である。本実施形態の画像合成システムは、画像入力装置10、指示入力装置12、画像合成装置14、表示装置16及び画像出力装置18を備えている。
【0010】
上記画像入力装置10は、原画像やこれに合成するテクスチャ画像等を入力するイメージスキャナやこれら画像データが格納され、読み出すことができるハードディスク等の記憶装置で構成されている。又、前記指示入力装置12は、キーボードやマウス等からなり、原画像の中でテクスチャ画像を合成する合成領域を指定したり、合成領域の座標値をテクスチャ画像上の座標値に座標変換するためのパラメータを指定することができるようになっている。
【0011】
又、前記画像合成装置14はコンピュータで構成され、該装置14には、指定されたパラメータに基づき合成領域内の座標に対して座標変換を行い相対座標値を計算する手段と、該相対座標値よりテクスチャ画像上のテクスチャ座標値を計算する手段と、該テクスチャ座標値を基に合成領域内にテクスチャ画像を合成する手段とが、ソフトウェアにより実現されている。又、前記表示装置16はCRTや液晶等のディスプレイからなり、原画像、テクスチャ画像、合成画像等を表示し、又、前記出力装置18はプリンタ等からなり、合成画像等を出力することができるようになっている。
【0012】
本実施形態について更に詳述すると、前記画像合成装置14には、同じくソフトウェアにより、原画像の各画素の輝度情報のみからなる原画像輝度データを生成する手段と、合成されたテクスチャ画像の輝度をこの原画像輝度データ及び明暗の差を制御するためのパラメータに基づき変更する輝度変更手段等が実現されている。又、同様に、前記合成領域には、遮景領域を考慮して作成されたマスクデータが適用されると共に、前記座標変換に使用するパラメータには、実際の3次元空間では長方形となる前記原画像上の四角形の領域を規定するための4頂点座標が含まれ、前記相対座標値を計算する手段が、前記マスクデータを考慮して前記パラメータに基づいて座標変換を行うことができるようになっている。
【0013】
又、同様に、前記座標変換に使用するパラメータには、実際の3次元空間上では長方形となる前記原画像上の合成領域を表わす四角形の該3次元空間での実際の大きさ(Sx、Sy)が含まれ、前記合成手段が、前記長方形の実際の大きさ(Sx、Sy)と前記テクスチャ画像の実際の大きさ(Strx、Stry)との相対比に応じた回数、該テクスチャ画像を繰り返して前記合成領域に合成することができるようになっている。更に、前記テクスチャ画像が複数用意されており、前記テクスチャ座標値を計算する手段は、他の新しいテクスチャ画像が選択されたときに、すでに得られている相対座標値に基づいてそのテクスチャ座標値を計算することができるようになっている。
【0014】
次に、本実施形態の作用を、図2に示したフローチャートを用いて説明する。
【0015】
まず、画像入力装置で原画像(図3)とテクスチャ画像(図4)を入力する(ステップ1、2)。なお、この図3において、後方の物体(立方体)の前の面に付した2点鎖線は、手前の立方体により生じている陰影が識別し難いため、その境界を示したものである。
【0016】
次に、テクスチャ画像を合成する領域を表すマスクデータを作成する(ステップ3)。このマスクデータは、原画像中で、テクスチャを合成する有効領域を表すもので、異なるテクスチャを合成する領域ごと、またはパース(Perspect:遠近感)のかかり方が違う、即ち原画像について実際の三次元空間を考えた時に同一平面とならない領域ごとに異なる識別番号を設定して作成する。
【0017】
このマスクデータの一例としては、原画像と縦横の大きさが同じ座標値の配列データを用意し、テクスチャの合成を行わない画素に対しては0の値を設定し、テクスチャの合成を行う画素には前述の識別番号を設定する。ここでは、このマスクデータ作成手順の一例として、原画像を元にして図5、図6のように合成領域のみを任意の色(ここでは白)に加工した画像を用意し、この2枚の画像から図7のようなマスクデータを作成した。ここでは、便宜上合成が行われない領域を白色とし、行われる有効領域毎に違う色(黒とグレー)で示した。又、本実施形態では、前記図3の原画像において、手前にある立方体により視野が遮られる遮景領域が存在する後方の立方体の場合には、図7に黒で有効領域を示したように、この遮光領域を除いた範囲のマスクデータを作成する。
【0018】
次に、テクスチャ画像を合成する原画像上の合成領域の座標値を、テクスチャ画像上の座標値に射影的正規化変換するためのパラメータを指定(入力)する(ステップ4)。この操作は、実際の三次元空間上で同一平面上にある長方形の各頂点P1〜P4の原画像上での合成領域の座標値と、その実際の三次元実空間上での長方形のx方向、y方向の大きさSx、Syを、指示入力装置12により指定することにより行う。この場合、長方形の実際の大きさが既知又は推定できる場合はその値を指定すればよいが、長方形の大きさが既知でなく、又、原画像中の大きさが既知のもの等から推定することもできない場合には、指定した頂点P1〜P4で囲まれた領域に、テクスチャ画像が縦方向にいくつ、横方向にいくつ並ぶといった相対値を使用してもなんら問題なく、その場合には、後述するテクスチャ画像の実際の大きさStrx、Stryの指定時にはそれぞれ1を指定すればよい。
【0019】
ここで、この指定する4頂点の座標(パラメータ)について補足すると、これらの座標値は合成を行う合成領域自体や、前記図7に示したようなマスク領域(マスクデータで規定される有効領域)に対して指定できることは言うまでもないが、マスク領域と直接は関係なく、実際の三次元空間上で同一平面となる原画像上の領域であれば、即ちパースのかかり方が同一であればマスク領域外で指定しても問題なく、更には、原画像の領域外で指定してもなんら問題はない。
【0020】
パラメータ指定の具体例として、図5に示した合成領域に対応するマスク領域に対して座標値を指定する場合の例を図8に示す。この図では、実際の3次元空間では長方形である原画像上の四角形の頂点にP1〜P4の座標(x1,y1)〜(x4,y4)を指定し、この四角形の実際の三次元空間上でのx、yそれぞれの方向の大きさSx、Syを指定している。P2に関しては、手前の物体によって隠れており、この付近(遮景領域)は前記図7に示したマスクデータでは有効領域外であるが、パラメータ指定は前述した通りマスク領域と直接は関係ないので、実際の三次元空間上で長方形になるであろう領域上の点であれば問題なく利用できる。なお、合成の対象となる全てのマスク領域に対して前記パラメータを指定する必要があるが、実際の三次元空間上で同一平面となる、即ち原画像上ではパースのかかり方が同じ領域であれば同一のパラメータを適用できる。
【0021】
次いで、以下に詳述する各種演算処理を前記画像合成装置14で行う。まず、前記パラメータに基づいて合成領域内の座標に対して射影的正規化変換(この座標変換については、例えば「計算機幾何と地理情報処理」 bit別冊 共立出版(1986)に詳説されている)を行う。具体的には、以下に示す(1)、(2)式で規定されるc、dを含む(3)、(4)式により、後述するテクスチャ合成を行う領域に含まれる全ての画素に対して射影的正規化変換を行い、相対座標値α、βを計算する(ステップ5)。なお、ここでは、相対座標値は、x、y方向の実際の大きさSx、Syからなる長方形座標に正規化された値で与えられる。
【0022】
【数1】
【0023】
このステップ5の相対座標値の計算では、前記頂点座標(x1、y1)〜(x4 、y4)及び実際の大きさSx、Syのパラメータを用いて上記(1)〜(4)式により座標変換する際、前記マスクデータ(マスク領域)を考慮して処理を行う。これにより、遮景領域がある場合には、その範囲について座標変換の計算処理を行う必要がなくなるため、計算量の削減を図ることが可能となり、処理の迅速化を図ることが可能となる。
【0024】
次に、指示入力装置12により、既に入力されているものの中から合成するテクスチャ画像を選択(指定)し(ステップ6)、そのテクスチャ画像を合成する合成領域(1領域でも複数領域でもかまわない)を指定する(ステップ7)。この時、合成されるテクスチャ画像が縮小されて合成される場合は、あらかじめテクスチャ画像にローパスフィルタ処理等を行い、モアレの発生を抑える必要がある。
【0025】
次に、合成するテクスチャ画像の実際の大きさを指定する(前述したように、長方形の大きさをテクスチャ画像がいくつ並ぶという相対値で指定した場合は1を指定する)。そして、合成を行う合成領域内の座標値に対して前記射影的正規化変換を行って算出した相対座標値(α,β)を、テクスチャ画像の実際の大きさおよびテクスチャ画像の画素単位での大きさより、実際に合成を行うテクスチャ画像上での座標値(xt,yt)に、以下の式により変換するテクスチャ座標変換を行う(ステップ8)。その際、xt、ytが0未満(後述する図11に示すような相対座標系でα、βが負の場合)またはStpx、Stpy以上となる時は、Stpx、Stpyで割った余りを計算し、余りの画素数でテクスチャ画像上の座標値を設定する。
【0026】
【数2】
【0027】
次に、上記ステップ8で変換した座標のテクスチャ画像を構成する各画素の画素値を、合成を行う画素(マスク領域内の合成領域の対応する画素)の画素値と置換する事により、選択した前記合成領域にテクスチャ画像の合成を行う(ステップ9)。その際、実際の3次元空間では長方形となる前記原画像上の合成領域を表わす四角形の該3次元空間上での実際の大きさ(Sx、Sy)と前記テクスチャ画像の実際の大きさ(Strx、Stry)とにより求められる相対比として与えられる回数、該テクスチャ画像を繰り返して前記合成領域に合成する。この繰り返し合成の詳細については、便宜上後述する。
【0028】
次に、合成されたテクスチャ画像の輝度を原画像の輝度データに基づいて変更する(ステップ10)。具体的には、上記ステップ9の合成処理によりテクスチャ画像が合成された領域の各画素に対して、下記(7)式により輝度の変更を行う。これにより、原画像の合成領域内の明暗の差を大きくまたは小さくしたり、原画像と合成されたテクスチャ画像の平均輝度の差を大きくしたり小さくしたり調整し、より自然な合成画像が得られるようにできる。ここで各パラメータを変更することにより、原画像の合成領域上の材質と反射率等の極端に違うテクスチャ画像を合成したい場合でも、違和感のない自然な合成画像を得ることができる。他に合成するテクスチャ画像がある場合には、上述したステップ6〜10の処理を繰り返す(ステップ11)。
【0029】
図9には、実際に前記図3の原画像に図7のマスクデータを設定し、その2つの領域に図4のテクスチャ画像を合成することにより作成した合成画像を示した。この図9では、階調差が明確でないために分り難いが、前記図3と同様に2点鎖線で境界を示した陰影が、この合成画像に反映されている。
【0030】
【数3】
【0031】
次に、便宜上ここで、前述したようにテクスチャ画像上での座標値を計算するに当り、いったん相対座標値α、βを計算しておき、その後xt、ytを計算した理由を図を用いて詳細に説明する。
【0032】
いま、図10に示した合成領域の実際の大きさが、例えばm単位で幅5、高さ3であったとすると、α、βに変換された後の座標は図11のようになる(ここまでの計算はテクスチャの画素単位での大きさ、実際の大きさに無関係に計算できる)。ここで、この領域に図12に模式的に示すテクスチャ画像(画素単位での大きさ:100×100、実際の大きさ:1×1)に対してテクスチャ画像上での座標値への変換を行った結果を、該テクスチャ画像を繰り返して合成した結果として図14に示す。また、図13に模式的に示すテクスチャ画像(画素単位での大きさ:150×150、実際の大きさ:2×2)に対してテクスチャ画像上での座標値への変換を行った結果を、同じく繰り返して合成した結果として図15に示す。
【0033】
この例からも明らかなように、P1〜P4の領域の実際の大きさ、テクスチャ画像の画素単位での大きさと実際の大きさを指定することにより、実際に即した大きさで合成することが可能である。また、いったんα、βを計算しておくことにより、このα、βはテクスチャ画像の大きさと無関係に計算できるので、画素単位で実際の大きさの異なるテクスチャ画像を合成する場合でも、α、βの値は再利用できるため、計算量を減らすことが可能である。
【0034】
以上、本発明について具体的に説明したが、本発明は、前記実施形態に示したものに限られるものでなく、その要旨を逸脱しない範囲で種々変更可能である。
【0035】
例えば、前記実施形態では座標変換として射影的正規化変換を採用したが、これに限定されず、原画像上の合成領域を実際の3次元空間で長方形(正方形を含む)に正規化する座標変換であれば制限されない。又、画像合成装置の具体的構成は前記図1に示したものに限定されない。
【0036】
【発明の効果】
以上説明した通り、本発明によれば、任意の商品の施工例等の原画像に対して商品見本画像等のテクスチャ画像を合成する場合に、特別な経験や勘がなくとも、違和感の無い合成画像を容易に作成することができる。
【図面の簡単な説明】
【図1】本発明に係る一実施形態の画像合成装置の概略構成を示すブロック図
【図2】同実施形態の作用を示すフローチャート
【図3】原画像の一例を示す説明図
【図4】テクスチャ画像の一例を示す説明図
【図5】マスクデータの作成手順を示す説明図
【図6】マスクデータの作成手順を示す他の説明図
【図7】作成されたマスクデータの一例を示す説明図
【図8】パラメータの指定の仕方を示す説明図
【図9】合成画像の一例を示す説明図
【図10】パラメータ設定された合成領域の一例を示す線図
【図11】上記合成領域を相対座標に変換した状態を示す線図
【図12】テクスチャ画像の一例を模式的に示す線図
【図13】テクスチャ画像の他の一例を模式的に示す線図
【図14】図12のテクスチャ画像を合成した画像を示す線図
【図15】図13のテクスチャ画像を合成した画像を示す線図
【符号の説明】
10…画像入力装置
12…指示入力装置
14…画像合成装置
16…表示装置
18…画像出力装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image synthesizing apparatus that is suitable for application when creating a synthesized image by synthesizing another texture image with a desired region in an original image.
[0002]
[Prior art]
In the catalog of products such as building exterior materials and interior materials, kitchen / storage doors, etc., actual construction examples may be listed only for some products, and only other color / material samples may be listed for other products. Many customers have to look at actual construction examples and samples, imagine the appearance of applying the desired samples to the construction examples, and select products.
[0003]
[Problems to be solved by the present invention]
Thus, in the catalog, since there is no actual construction example for each product, there is a problem that it is difficult for a customer to grasp an image in order to select a product. The above problem can be solved by actually creating construction examples and catalogs for all products, but this is too expensive and unrealistic.
[0004]
As another solution, there is a method of synthesizing other product sample images with images of actual construction examples, but in order to obtain a composite image without any sense of incongruity, a skilled operator uses trial and error using experience and intuition. However, it is difficult to perform this operation for many sample products, and the cost is increased.
[0005]
The present invention has been made to solve the above-mentioned conventional problems, and has special experience and intuition when a texture image such as a product sample image is synthesized with an original image such as a construction example of an arbitrary product. It is an object of the present invention to provide an image composition device that can easily create a composite image without any sense of incongruity.
[0006]
[Means for Solving the Problems]
The present invention provides an image synthesizing apparatus that synthesizes a texture image with a part of an original image.
Means for inputting the original image;
Means for inputting a texture image to be combined with the original image;
Means for designating a synthesis region for synthesizing a texture image in the original image;
Mask data created in consideration of the shielding area is applied to the composite area,
Means for designating parameters for coordinate conversion of the coordinate value of the synthesis region into a coordinate value on the texture image;
Means for performing coordinate transformation on the coordinates in the composite region based on the parameters and calculating relative coordinate values; means for calculating texture coordinate values on the texture image from the relative coordinate values;
Synthesis means for synthesizing a texture image in the synthesis area based on the texture coordinate value and masked by the mask data;
Means for generating original image luminance data consisting only of luminance information of each pixel of the original image, and a parameter for controlling the luminance of the synthesized texture image and the difference between the original image luminance data and light and dark Using the following formula:
Yto = ((Ys-Yas) ・ R + Yas) / Yas) × (Yt + (Yas−Yat) × S)
(Where Yto: luminance after conversion, Ys: luminance of the pixel at the synthesis position of the original image, Yt: luminance of the pixel of the synthesized texture image, Yas: average luminance within the synthesis area of the original image, Yat: texture Parameters that control the average brightness of the image, R: Light / dark difference (R> 1 makes the light / dark difference larger than the original image, and R <1 makes the light / dark difference smaller), S: What is the texture's average brightness? Parameters that control whether or not the image is close to the original image (average brightness of texture synthesized with S = 0 = Yat, average brightness = Yas with S = 1))
The above-described problem is solved by having a luminance changing means that changes based on the above.
The present invention also provides an image synthesizing apparatus that synthesizes a texture image with a part of an original image.
Means for inputting the original image;
Means for inputting a texture image to be combined with the original image;
Means for designating a synthesis region for synthesizing a texture image in the original image;
Mask data created in consideration of the shielding area is applied to the composite area,
Means for designating parameters for coordinate conversion of the coordinate value of the synthesis region into a coordinate value on the texture image;
Means for performing coordinate transformation on the coordinates in the composite region based on the parameters and calculating relative coordinate values;
Means for calculating a texture coordinate value on the texture image from the relative coordinate value;
Synthesis means for synthesizing a texture image in the synthesis area based on the texture coordinate value and masked by the mask data;
With
The parameters used for the coordinate transformation include the actual size (Sx, Sy) in the three-dimensional space of the quadrangle representing the composite area on the original image that is rectangular in the actual three-dimensional space, The synthesizing unit repeatedly synthesizes the texture image into the synthesis area a number of times according to the relative ratio between the actual size of the rectangle (Sx, Sy) and the actual size of the texture image (Strx, Stry). When doing
The following formula using relative coordinate values (α, β) calculated by performing normalization conversion on the coordinate values in the synthesis region where the texture coordinate values are calculated is:
xt = α × (Stpx / Strx)
yt = β × (Stpy / Stry)
(Where xt, yt: coordinate values on texture image, Stpx, Stpy: size of texture image to be synthesized (pixel unit), Strx, Stry: actual size of texture to be synthesized (absolute value))
The above-mentioned problem is similarly solved by performing texture coordinate conversion.
[0007]
In the present invention, a parameter for coordinate conversion of the coordinate value of the synthesis area designated on the original image to the coordinate value on the texture image is designated, and coordinate transformation is performed on the coordinates in the synthesis area based on the parameter. The relative coordinate value is calculated, the texture coordinate value on the texture image is calculated from the relative coordinate value, and the texture image is synthesized in the synthesis area based on the texture coordinate value. By using the correspondence relationship of the coordinate system, it is possible to synthesize a texture image of an arbitrary size in the synthesis area and create a synthesized image without a sense of incongruity.
[0008]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0009]
FIG. 1 is a block diagram showing a schematic configuration of an image composition system (image composition apparatus) according to an embodiment of the present invention. The image composition system of this embodiment includes an
[0010]
The
[0011]
The image synthesizing
[0012]
More specifically, the
[0013]
Similarly, the parameters used for the coordinate conversion include the actual size (Sx, Sy) of the quadrilateral representing the composite area on the original image that is rectangular in the actual three-dimensional space. ), And the synthesis unit repeats the texture image a number of times according to the relative ratio between the actual size (Sx, Sy) of the rectangle and the actual size (Strx, Stry) of the texture image. And can be synthesized in the synthesis region. Further, a plurality of the texture images are prepared, and the means for calculating the texture coordinate value is obtained by selecting the texture coordinate value based on the relative coordinate value already obtained when another new texture image is selected. It can be calculated.
[0014]
Next, the operation of this embodiment will be described with reference to the flowchart shown in FIG.
[0015]
First, an original image (FIG. 3) and a texture image (FIG. 4) are input by an image input device (
[0016]
Next, mask data representing a region where the texture image is synthesized is created (step 3). This mask data represents the effective area in which the texture is synthesized in the original image. Each area where different textures are synthesized, or how the perspective is applied, that is, the actual tertiary of the original image. A different identification number is set for each region that is not on the same plane when the original space is considered.
[0017]
As an example of this mask data, array data having the same coordinate values as the original image in the vertical and horizontal dimensions is prepared, and a value of 0 is set for pixels that are not subjected to texture synthesis, and pixels for which texture synthesis is performed. Is set with the aforementioned identification number. Here, as an example of the mask data creation procedure, an image in which only the composite area is processed into an arbitrary color (here, white) as shown in FIGS. 5 and 6 based on the original image is prepared. Mask data as shown in FIG. 7 was created from the image. Here, for the sake of convenience, an area where synthesis is not performed is shown in white, and a different color (black and gray) is shown for each effective area. Further, in the present embodiment, in the original image of FIG. 3, in the case of a rear cube in which a scene is blocked by the cube in front, the effective area is shown in black in FIG. Then, mask data in a range excluding the light shielding area is created.
[0018]
Next, a parameter for projectively normalizing the coordinate value of the synthesis area on the original image to synthesize the texture image to the coordinate value on the texture image is designated (input) (step 4). In this operation, the coordinate value of the composite area on the original image of each of the vertices P1 to P4 of the rectangle on the same plane in the actual three-dimensional space and the x direction of the rectangle in the actual three-dimensional real space , Y direction sizes Sx and Sy are designated by the
[0019]
Here, supplementing the coordinates (parameters) of the four vertices to be designated, these coordinate values are obtained by combining the composition area itself to be synthesized or the mask area (effective area defined by the mask data) as shown in FIG. Needless to say, the mask area is not directly related to the mask area, and if it is an area on the original image that is the same plane in the actual three-dimensional space, that is, if the method of parsing is the same, the mask area There is no problem if it is specified outside, and there is no problem if it is specified outside the area of the original image.
[0020]
As a specific example of parameter specification, FIG. 8 shows an example in which coordinate values are specified for a mask area corresponding to the composite area shown in FIG. In this figure, coordinates (x1, y1) to (x4, y4) of P1 to P4 are designated at the vertices of a rectangle on the original image which is a rectangle in an actual three-dimensional space, and the actual three-dimensional space of this rectangle is displayed. The sizes Sx and Sy in the x and y directions are specified. As for P2, it is hidden by an object in front, and this vicinity (blocking area) is outside the effective area in the mask data shown in FIG. 7, but parameter designation is not directly related to the mask area as described above. Any point on an area that will be rectangular in an actual three-dimensional space can be used without any problem. It is necessary to specify the above parameters for all mask areas to be combined. However, if the parameters are the same plane in the actual three-dimensional space, that is, the areas on which the perspective is applied are the same on the original image. The same parameters can be applied.
[0021]
Next, various arithmetic processes described in detail below are performed by the
[0022]
[Expression 1]
[0023]
In the calculation of the relative coordinate values in step 5, coordinate conversion is performed by the above equations (1) to (4) using the parameters of the vertex coordinates (x1, y1) to (x4, y4) and the actual sizes Sx and Sy. In this case, the processing is performed in consideration of the mask data (mask region). As a result, if there is a shaded area, there is no need to perform coordinate conversion calculation processing for that range, so the amount of calculation can be reduced and the processing speeded up.
[0024]
Next, a texture image to be synthesized is selected (designated) from those already input by the instruction input device 12 (step 6), and a synthesis area (one area or a plurality of areas may be synthesized) to synthesize the texture image. Is designated (step 7). At this time, when the texture image to be synthesized is reduced and synthesized, it is necessary to perform low-pass filter processing or the like on the texture image in advance to suppress the occurrence of moire.
[0025]
Next, the actual size of the texture image to be synthesized is designated (as described above, 1 is designated when the size of the rectangle is designated by a relative value indicating how many texture images are arranged). Then, the relative coordinate values (α, β) calculated by performing the projective normalization conversion on the coordinate values in the synthesis area to be synthesized are expressed in terms of the actual size of the texture image and the pixel unit of the texture image. Based on the size, texture coordinate conversion is performed by converting the coordinate value (x t , y t ) on the texture image to be actually synthesized according to the following expression (step 8). At that time, x t, less than y t is 0 (alpha in relative coordinates as shown in FIG. 11 to be described later, if β is negative) or STPX, when the above Stpy is, STPX, the modulo Stpy Calculate and set the coordinate value on the texture image with the number of remaining pixels.
[0026]
[Expression 2]
[0027]
Next, the pixel value of each pixel constituting the texture image of the coordinate converted in step 8 is selected by replacing the pixel value of the pixel to be synthesized (the corresponding pixel in the synthesis area in the mask area). A texture image is synthesized in the synthesis area (step 9). At that time, the actual size (Sx, Sy) of the quadrilateral representing the composite area on the original image which is a rectangle in the actual three-dimensional space and the actual size of the texture image (Strx). , Stry) and the texture image is repeated for a number of times given as a relative ratio obtained by the above-described synthesis region. Details of this repeated synthesis will be described later for convenience.
[0028]
Next, the brightness of the synthesized texture image is changed based on the brightness data of the original image (step 10). Specifically, the luminance is changed by the following equation (7) for each pixel in the region where the texture image is synthesized by the synthesis process in step 9 above. This makes it possible to increase or decrease the difference in light and darkness in the synthesis area of the original image, or to increase or decrease the average brightness difference between the original image and the synthesized texture image to obtain a more natural synthesized image. Can be done. Here, by changing each parameter, it is possible to obtain a natural composite image without any sense of incongruity even when it is desired to synthesize extremely different texture images such as the material on the composite region of the original image and the reflectance. If there are other texture images to be synthesized, the above-described processing in steps 6 to 10 is repeated (step 11).
[0029]
FIG. 9 shows a composite image created by actually setting the mask data of FIG. 7 on the original image of FIG. 3 and synthesizing the texture image of FIG. 4 in the two areas. In FIG. 9, it is difficult to understand because the gradation difference is not clear, but the shadow indicating the boundary with a two-dot chain line is reflected in the composite image as in FIG. 3.
[0030]
[Equation 3]
[0031]
Then, where for convenience, per To calculate the coordinate value on the texture image as described above, once the relative coordinate value alpha, advance to calculate the beta, then x t, FIG why calculating the y t The details will be described.
[0032]
Now, if the actual size of the composite area shown in FIG. 10 is, for example, m units of width 5 and height 3, the coordinates after conversion to α and β are as shown in FIG. 11 (here Can be calculated regardless of the actual size of the texture in pixel units). Here, in this area, the texture image schematically shown in FIG. 12 (size in pixel units: 100 × 100, actual size: 1 × 1) is converted into coordinate values on the texture image. The results obtained are shown in FIG. 14 as the result of repeatedly synthesizing the texture image. In addition, the result of converting the texture image schematically shown in FIG. 13 (size in pixel units: 150 × 150, actual size: 2 × 2) into coordinate values on the texture image is shown. FIG. 15 shows the result of repeated synthesis.
[0033]
As is clear from this example, the actual size of the P1 to P4 region, the size of the texture image in pixel units, and the actual size can be specified, so that the actual size can be synthesized. Is possible. In addition, once α and β are calculated, α and β can be calculated regardless of the size of the texture image. Therefore, even when a texture image having a different actual size is synthesized in units of pixels, α, β Since the value of can be reused, the amount of calculation can be reduced.
[0034]
Although the present invention has been specifically described above, the present invention is not limited to that shown in the above embodiment, and various modifications can be made without departing from the scope of the invention.
[0035]
For example, the projective normalization conversion is adopted as the coordinate conversion in the embodiment, but the present invention is not limited to this, and the coordinate conversion that normalizes the synthesis area on the original image into a rectangle (including a square) in the actual three-dimensional space. If it is, it will not be restricted. Further, the specific configuration of the image composition apparatus is not limited to that shown in FIG.
[0036]
【The invention's effect】
As described above, according to the present invention, when a texture image such as a product sample image is synthesized with an original image such as a construction example of an arbitrary product, there is no sense of incongruity without special experience or intuition. Images can be created easily.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration of an image synthesizing apparatus according to an embodiment of the present invention. FIG. 2 is a flowchart showing the operation of the embodiment. FIG. 3 is an explanatory diagram showing an example of an original image. FIG. 5 is an explanatory diagram showing an example of a texture image. FIG. 5 is an explanatory diagram showing a procedure for creating mask data. FIG. 6 is another explanatory diagram showing a procedure for creating mask data. FIG. 8 is an explanatory diagram showing how to specify parameters. FIG. 9 is an explanatory diagram showing an example of a composite image. FIG. 10 is a diagram showing an example of a composite region where parameters are set. FIG. 12 is a diagram schematically showing an example of a texture image. FIG. 13 is a diagram schematically showing another example of a texture image. FIG. 14 is a diagram showing the texture of FIG. Diagram showing the combined image [ 15] diagram showing an image obtained by combining the texture image of FIG. 13 [Description of symbols]
DESCRIPTION OF
Claims (2)
原画像を入力する手段と、
該原画像に合成するテクスチャ画像を入力する手段と、
同原画像の中でテクスチャ画像を合成する合成領域を指定する手段と、
該合成領域には、遮景領域を考慮して作成されたマスクデータが適用されるとともに、
該合成領域の座標値をテクスチャ画像上の座標値に座標変換するためのパラメータを指定する手段と、
該パラメータに基づき前記合成領域内の座標に対して座標変換を行い相対座標値を計算する手段と、該相対座標値より前記テクスチャ画像上のテクスチャ座標値を計算する手段と、
該テクスチャ座標値を基に前記合成領域内であって、マスクデータによりマスクされた領域内のテクスチャ画像を合成する合成手段と、
を備えていると共に、前記原画像の各画素の輝度情報のみからなる原画像輝度データを生成する手段と、合成されたテクスチャ画像の輝度を原画像輝度データ及び明暗の差を制御するためのパラメータを使った次式:
Yto=((Ys-Yas)・R+Yas)/Yas)×(Yt+(Yas−Yat)×S)
(ここで、Yto:変換後の輝度、Ys:原画像の合成位置の画素の輝度、Yt:合成されたテクスチャ画像の画素の輝度、Yas:原画像の合成領域内の平均輝度、Yat:テクスチャ画像の平均輝度、R:明暗の差を制御するパラメータ(R>1で原画像より明暗の差が大きくなり、R<1で明暗の差が小さくなる。)、S:テクスチャの平均輝度をどの程度原画像に近づけるか制御するパラメータ(S=0で合成されたテクスチャの平均輝度=Yat、S=1で平均輝度=Yas))
に基づき変更する輝度変更手段とが兼備されていることを特徴とする画像合成装置。In an image synthesizer that synthesizes a texture image with a part of an original image,
Means for inputting the original image;
Means for inputting a texture image to be combined with the original image;
Means for designating a synthesis region for synthesizing a texture image in the original image;
Mask data created in consideration of the shielding area is applied to the composite area,
Means for designating parameters for coordinate conversion of the coordinate value of the synthesis region into a coordinate value on the texture image;
Means for performing coordinate transformation on the coordinates in the composite region based on the parameters and calculating relative coordinate values; means for calculating texture coordinate values on the texture image from the relative coordinate values;
Synthesis means for synthesizing a texture image in the synthesis area based on the texture coordinate value and masked by the mask data;
Means for generating original image luminance data consisting only of luminance information of each pixel of the original image, and a parameter for controlling the luminance of the synthesized texture image and the difference between the original image luminance data and light and dark Using the following formula:
Yto = ((Ys-Yas) ・ R + Yas) / Yas) × (Yt + (Yas−Yat) × S)
(Where Yto: luminance after conversion, Ys: luminance of the pixel at the synthesis position of the original image, Yt: luminance of the pixel of the synthesized texture image, Yas: average luminance within the synthesis area of the original image, Yat: texture Parameters that control the average brightness of the image, R: Light / dark difference (R> 1 makes the light / dark difference larger than the original image, and R <1 makes the light / dark difference smaller), S: What is the texture's average brightness? Parameters that control whether or not the image is close to the original image (average brightness of texture synthesized with S = 0 = Yat, average brightness = Yas with S = 1))
An image synthesizing apparatus comprising: a brightness changing means for changing the brightness based on the above.
原画像を入力する手段と、
該原画像に合成するテクスチャ画像を入力する手段と、
同原画像の中でテクスチャ画像を合成する合成領域を指定する手段と、
該合成領域には、遮景領域を考慮して作成されたマスクデータが適用されるとともに、
該合成領域の座標値をテクスチャ画像上の座標値に座標変換するためのパラメータを指定する手段と、
該パラメータに基づき前記合成領域内の座標に対して座標変換を行い相対座標値を計算する手段と、
該相対座標値より前記テクスチャ画像上のテクスチャ座標値を計算する手段と、
該テクスチャ座標値を基に前記合成領域内であって、マスクデータによりマスクされた領域内のテクスチャ画像を合成する合成手段と、
を備えていると共に、
前記座標変換に使用するパラメータには、実際の3次元空間上では長方形となる前記原画像上の合成領域を表す四角形の該3次元空間での実際の大きさ(Sx,Sy)が含まれ、前記合成手段が前記長方形の実際の大きさ(Sx,Sy)と前記テクスチャ画像の実際の大きさ(Strx,Stry)との相対比に応じた回数、該テクスチャ画像を繰り返して前記合成領域に合成するに際し、
前記テクスチャ座標値を計算する手段が、合成を行う合成領域内の座標値に対して正規化変換を行って算出した相対座標値(α、β)を使った次式:
xt=α×(Stpx/Strx)
yt=β×(Stpy/Stry)
(ここで、xt、yt:テクスチャ画像上の座標値、Stpx、Stpy:合成するテクスチャ画像の大きさ(画素単位)、Strx,Stry:合成するテクスチャの実際の大きさ(絶対値))
によりテクスチャ座標変換を行なうことを特徴とする画像合成装置。In an image synthesizer that synthesizes a texture image with a part of an original image,
Means for inputting the original image;
Means for inputting a texture image to be combined with the original image;
Means for designating a synthesis region for synthesizing a texture image in the original image;
Mask data created in consideration of the shielding area is applied to the composite area,
Means for designating parameters for coordinate conversion of the coordinate value of the synthesis region into a coordinate value on the texture image;
Means for performing coordinate transformation on the coordinates in the composite region based on the parameters and calculating relative coordinate values;
Means for calculating a texture coordinate value on the texture image from the relative coordinate value;
Synthesis means for synthesizing a texture image in the synthesis area based on the texture coordinate value and masked by the mask data;
With
The parameters used for the coordinate transformation include the actual size (Sx, Sy) in the three-dimensional space of the quadrangle representing the composite area on the original image that is rectangular in the actual three-dimensional space, The synthesizing unit repeatedly synthesizes the texture image into the synthesis area a number of times according to the relative ratio between the actual size of the rectangle (Sx, Sy) and the actual size of the texture image (Strx, Stry). When doing
The following formula using relative coordinate values (α, β) calculated by performing normalization conversion on the coordinate values in the synthesis region where the texture coordinate values are calculated is:
xt = α × (Stpx / Strx)
yt = β × (Stpy / Stry)
(Where xt, yt: coordinate values on texture image, Stpx, Stpy: size of texture image to be synthesized (pixel unit), Strx, Stry: actual size of texture to be synthesized (absolute value))
An image synthesizing apparatus characterized by performing texture coordinate conversion.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9937299A JP3967036B2 (en) | 1999-04-06 | 1999-04-06 | Image synthesizer |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9937299A JP3967036B2 (en) | 1999-04-06 | 1999-04-06 | Image synthesizer |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005166194A Division JP2005293616A (en) | 2005-06-06 | 2005-06-06 | Image synthesis device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000293667A JP2000293667A (en) | 2000-10-20 |
JP3967036B2 true JP3967036B2 (en) | 2007-08-29 |
Family
ID=14245719
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP9937299A Expired - Fee Related JP3967036B2 (en) | 1999-04-06 | 1999-04-06 | Image synthesizer |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3967036B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4353358B2 (en) * | 2003-06-04 | 2009-10-28 | 株式会社ジオ技術研究所 | DATA GENERATION DEVICE, DATA GENERATION METHOD, AND COMPUTER PROGRAM |
US8244070B2 (en) * | 2009-06-01 | 2012-08-14 | Xerox Corporation | Real-time image personalization |
JP6930091B2 (en) * | 2016-11-15 | 2021-09-01 | 富士フイルムビジネスイノベーション株式会社 | Image processing equipment, image processing methods, image processing systems and programs |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05298455A (en) * | 1992-04-16 | 1993-11-12 | Hitachi Ltd | Texture mapping device |
JPH06274649A (en) * | 1993-03-23 | 1994-09-30 | Dainippon Printing Co Ltd | Image synthesizer |
JPH09106411A (en) * | 1995-10-12 | 1997-04-22 | Sekisui House Ltd | Method for switch-displaying surface material of building by means of computer graphic picture |
-
1999
- 1999-04-06 JP JP9937299A patent/JP3967036B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000293667A (en) | 2000-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP0423930B1 (en) | Electronic graphic system using low resolution control image | |
EP1064619B1 (en) | Stochastic level of detail in computer animation | |
US5412402A (en) | Electronic graphic systems | |
CA2301607C (en) | An improved method and apparatus for per pixel mip mapping and trilinear filtering | |
JPH05307610A (en) | Texture mapping method and its device | |
JPH0285970A (en) | Picture forming device and system of continuous tone to which smooth shadow is formed | |
JP3967036B2 (en) | Image synthesizer | |
JPH10507858A (en) | Method and apparatus for automatically and quickly drawing on a photographic real surface on a three-dimensional wireframe | |
JP2005293616A (en) | Image synthesis device | |
JP3649478B2 (en) | Image information processing apparatus and image information processing method | |
JP2003504697A (en) | Anti-aliasing of subsampled texture edges | |
JPH1063828A (en) | Method for processing image and device therefor | |
JPH0721407A (en) | Method for displaying picture | |
JP2973432B2 (en) | Image processing method and apparatus | |
JP3090409B2 (en) | Method and apparatus for designing three-dimensional shape using computer | |
JP3501479B2 (en) | Image processing device | |
JP4372924B2 (en) | Moving image material generation method and apparatus | |
US7454320B1 (en) | System and method for calculating partial differential equations in a hardware graphics pipeline | |
JP3684171B2 (en) | Pattern change simulation system | |
WO1998046011A1 (en) | Special effect apparatus and special effect method | |
US6137496A (en) | Electronic graphic system | |
JP3502901B2 (en) | Three-dimensional graphics image display apparatus and method | |
JPH08287225A (en) | Image simulation device | |
JP2713249B2 (en) | Image display device | |
JP2000067266A (en) | Method for displaying and editing raster image and computer aided graphic processing system utilizing the method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041214 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050214 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050405 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050606 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050616 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050706 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050706 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050711 |
|
A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20050729 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070530 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110608 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110608 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120608 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120608 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130608 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140608 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |