JP3679347B2 - 柄替えシミュレーションシステム - Google Patents
柄替えシミュレーションシステム Download PDFInfo
- Publication number
- JP3679347B2 JP3679347B2 JP2001141861A JP2001141861A JP3679347B2 JP 3679347 B2 JP3679347 B2 JP 3679347B2 JP 2001141861 A JP2001141861 A JP 2001141861A JP 2001141861 A JP2001141861 A JP 2001141861A JP 3679347 B2 JP3679347 B2 JP 3679347B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- texture
- pixel
- coordinate system
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Image Generation (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【０００１】
【発明が属する技術分野】
本発明は、柄替えシミュレーションシステム、特に２次元の背景画像に含まれる曲面物体の柄をその曲面を考慮して自然な状態に変更する際に適用して好適な柄替えシミュレーションシステムに関する。
【０００２】
【従来の技術】
コンピュータ・グラフィックスにより、室内等を表わす背景画像に含まれる内装等の柄を変更する柄替えシミュレーションシステムが知られている。
【０００３】
その一つである３次元情報で定義された柄替えシミュレーションシステムでは、多角形（ポリゴン）や、曲面へマッピングするテクスチャ素材を変更することにより柄替えを実現する手法が採られている。このような３次元情報を利用するシミュレーションシステムは、自由度が高いという利点があるものの、製作にコストと時間がかかるという欠陥があり、その上実写並のクオリティを実現するためには、レンダリングに多くの時間を要するため、インタラクティブなシミュレーションには不向きである。
【０００４】
一方、これとは別に、２次元画像に対する柄替えシミュレーションシステムも知られており、このシステムでは画像内の所望の領域に他の画像（テクスチャ画像）を合成する技術が開発されている。このような２次元画像による柄替えシミュレーションシステムでは、壁面等の平面に対するシミュレーション技術が、例えば特開２０００−２９３６６７に提案されているように、既に確立されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、前記２次元画像による柄替えシミュレーションシステムには、カーテンや枕等のような２次元画像の曲面をシミュレーションする場合には、複雑な式を用いてパラメータを設定する等、経験を積むことにより習得するような熟練した技が必要とされることから、誰にでも容易に直ぐに操作できる技術ではない。前記３次元の場合に比べて操作性に優れてはいるものの、奥行き感を表わすパースがかからない等の不自然な合成結果になり易いことから、その適用が平面へのマッピングに限定されることが多いという問題があった。
【０００６】
本発明は、前記従来の問題点を解決するべくなされたもので、簡単な操作により、２次元の背景画像に曲面を有する対象物の画像を、自然な状態で合成することができる柄替えシミュレーションシステムを提供することを課題とする。
【０００７】
【課題を解決するための手段】
本発明は、２次元の背景画像に、柄を構成するテクスチャ画像を合成する柄替えシミュレーションシステムにおいて、背景画像を入力する手段と、背景画像に合成するテクスチャ画像を入力する手段と、背景画像中でテクスチャ画像を合成するオブジェクトを指定する手段と、前記オブジェクトに対応する矩形領域に関して、背景画像内の３次元空間における四角形の実際の大きさと、背景画像中の２次元画像上の四角形の領域を規定するための４頂点の座標とが含まれる矩形パラメータと共に、合成するテクスチャ画像を変形するための周期関数のパタメータを設定する手段と、指定されたオブジェクトに対応する矩形領域の座標値を、前記テクスチャ画像に対応する正規化されたテクスチャ座標系の座標値に変換する手段と、前記テクスチャ座標系の座標値を、縦軸及び横軸の少なくとも一方の軸に沿って周期関数により変換する曲線変換手段と、前記テクスチャ座標系に展開されているテクスチャ画像の各画素の画素値を、各画素の座標値を前記曲線変換手段により変更して、前記オブジェクトに対応する矩形領域上の対応する画素に設定する合成手段と、を備えたことにより、前記課題を解決したものである。
【０００８】
即ち、本発明においては、画像を合成する背景画像上のオブジェクト領域に、対象物の柄を表わすテクスチャ画像を合成する際、該テクスチャ画像を周期関数により曲線変更するようにしたので、周期関数のパラメータを設定するという簡単な操作により、自然な曲面を有する対象物を画像合成することが可能となる。
【０００９】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。
【００１０】
図１は、本発明に係る一実施形態の２次元画像による柄替えシミュレーションシステムの概略構成を示すブロック図である。
【００１１】
本実施形態の柄替えシミュレーションシステムは、画像合成装置１０１、画像入力装置１０２、指示入力装置１０３、及び画像表示装置１０４を備えていると共に、前記画像合成装置１０１は、画像読込部１０５、パラメータ読込部１０６及び合成部１０７を有する構成になっている。
【００１２】
本システムは、シミュレーションを行いたい対象画像（以下、“背景画像”と呼ぶ）中にある、シミュレーションを行いたい画像上の曲面を有する対象物（以下、“オブジェクト”と呼ぶ）に、様々な柄画像（以下、“テクスチャ画像”と呼ぶ）を変形し、合成することにより柄替えのシミュレーションを行うことができるようになっている。
【００１３】
本システムについて詳述すると、前記画像合成装置１０１は、以下に説明する画像入力装置１０２により入力される背景画像、テクスチャ画像等に対して、指示入力装置１０３で入力される各種パラメータに従い、指定した背景画像内のオブジェクトの柄を変更し、結果を表示装置１０４に出力する機能を有している。
【００１４】
前記画像入力装置１０２は、背景画像及びテクスチャ画像を画像合成装置１０１に入力するための装置で、具体的にはデジタルカメラやスキャナ等の画像取込装置や、予め準備しておいた画像を格納しているＨＤＤ（ハードディスクドライブ）等である。又、前記指示入力装置１０３は、背景画像中のシミュレーションを行うオブジェクトの指定や、オブジェクト毎のテキスチャ変形に用いるパラメータを入力するための装置で、具体的にはキーボードやマウス等である。又、前記画像表示装置１０４は、画像合成装置１０１で作成されたシミュレーション結果を表示するもので、ディスプレイ等に相当する。
【００１５】
前記画像合成装置１０１について更に説明すると、画像読込部１０５はシミュレーションを行うためための２次元画像（背景画像、テクスチャ画像等）を読込み、合成部１０７に入力する機能を有し、パラメータ読込部１０６は上記画像読込部１０５により入力された画像に対して、シミュレーションを行いたいオブジェクト毎に設定するパラメータを読み込み、同じく合成部１０７に入力する機能を有している。又、この合成部１０７は、上記のように画像読込部１０５により入力された画像と、パラメータ読込部１０６により入力されたパラメータを用いて、以下に詳述する画像処理により合成画像を作成すると共に、作成された合成画像を、柄の変更を行ったシミュレーション結果として表示装置１０４に出力する機能を有している。
【００１６】
本実施形態では、前記画像合成装置１０１、即ち合成部１０７において、指定されたオブジェクトに対応する矩形領域の座標値を、テクスチャ画像に対応付けられている正規化されたテクスチャ座標系の座標値に変換する手段と、この正規化されたテクスチャ座標系の座標値を、縦軸及び横軸の少なくとも一方の軸に沿って周期関数により変換する曲線変換手段と、前記正規化されたテクスチャ座標系に展開されているテクスチャ画像の画素の画素値を、各画素の座標値を前記曲線変換手段により変更して、前記オブジェクトに対応する矩形領域上の対応する画素に設定する手段とが、ソフトウェアにより実現されている。
【００１７】
次に、本実施形態の作用を、図２に示したフローチャートに従って説明する。
【００１８】
まず、前記画像入力装置１０２により、背景画像とテクスチャ画像を画像合成装置１０１に入力する（ステップ１）。ここでは、背景画像として図３にイメージを示す室内をカメラで撮影した２次元画像を入力し、テクスチャ画像として図４（Ａ）と同図（Ｂ）の２つを入力する場合を例として示す。
【００１９】
次いで、入力した背景画像を画面表示させ、画面上で柄替えを行いたいオブジェクトを登録する（ステップ２）。これは、柄替えの対象としたいオブジェクトをマウス等により順番に指定することにより、異なるテクスチャを合成するオブジェクト毎、あるいは後述するパラメータの設定が異なるオブジェクト毎に、背景画像内におけるオブジェクトの可視領域（以下、オブジェクト領域とも言う）に対して、識別番号を割り当てて設定することを意味する。図５には、背景画像内におけるオブジェクト領域の設定の一例を示す。この図に示されるように、オブジェクトの登録は、前記図３の背景画像と同一の縦横の大きさを持つ配列データを用意し、テクスチャ合成を行わない領域の画素に対して０の値を設定し、テクスチャの合成を行うオブジェクト領域（ここでは２箇所のカーテンの画像領域）に属する画素に対して、前述した識別番号として、１と２をそれぞれ設定し、オブジェクト１、オブジェクト２として領域指定（登録）したことを表わしている。
【００２０】
次いで、前記指示入力装置１０３により矩形パラメータを入力し、設定する（ステップ３）。後述する背景画像中のオブジェクト領域に対してテクスチャ画像を合成する際には、オブジェクトに対応する矩形領域の座標値（ｘ，ｙ）をテクスチャ画像上の座標値（テクスチャ座標系の座標値（α，β））に変換する処理を行う。そこで、このテクスチャ座標系への変換のためのパラメータとして、前記図４に示した単位のテクスチャ画像を、該座標系に割り付けた場合に、その繰り返しが明確になるようにするために矩形パラメータを設定する。
【００２１】
図６には、前記オブジェクト１に対応する矩形領域と、これに設定した矩形パラメータとの関係を示す。この図に示されるように、矩形パラメータは、背景画像内の空間、即ち室内の３次元空間において実際には長方形である窓枠等の四角形（矩形）の大きさと、背景画像上の座標との対応を規定するための数値であり、サイズ（図中size）Ａ、サイズＢで示す横方向、縦方向の実際の大きさと、背景画像中の２次元画像上の四角形の領域を規定するための４頂点の座標とが含まれる。これらパラメータの関係から、２次元画像上ではパース（遠近感）がかかっているオブジェクト領域を、パースがかかっていない正規化された直交座標系のテクスチャ座標系に変換することができる。このような変換としては、詳細な説明は省略するが、「計算機幾何と地理情報処理」ｂｉｔ別冊 共立出版（１９８６）に詳説されている、射影的正規化変換を挙げることができる。
【００２２】
即ち、前記図６でサイズＡ、サイズＢは、前記図４に示したようなテクスチャ画像の単位を、縦横それぞれの方向に幾つ並べる（展開する）ことができるかの繰り返し数を決めるために設定するもので、具体的には実際の大きさでそれぞれ０．８ｍ、２．０ｍのような実寸法で設定しても、あるいは２、５のような単位テクスチャ画像の大きさに対する相対値で設定してもよい。いま、サイズＡ、サイズＢをそれぞれ２、５と、４、１０の相対値で設定した場合であれば、前記図４（Ａ）の単位テクスチャ画像は、同図に併記したように、大きさが相対値で１×１（画素単位の大きさが１００×１００）であることから、前記オブジェクトの矩形領域に対応するテクスチャ座標系では、図７（Ａ）と図８（Ａ）にそれぞれ示すように単位テクスチャ画像が繰り返し配列された、画素を単位とするテクスチャ座標が得られることを意味する。即ち、上記矩形パラメータを設定することにより、オブジェクトに対応する矩形領域を変換して得られる直交座標からなるテクスチャ座標系が決定されることになる。
【００２３】
次に、オブジェクトに曲面部分がある場合には、合成するテクスチャを波形変形するために、前記指示入力装置１０３によりｓｉｎ（周期関数）パラメータを入力し、設定する（ステップ４）。このパラメータのスケールはテクスチャ座標系と同じである。又、以下の例では、サイズ（size）Ａ＝４、サイズＢ＝１０であるとする。
【００２４】
ここで行う波形変形は、上記ステップ３で設定した矩形パラメータにより正規化変換して作成される長方形を、ｓｉｎ波で歪める処理を行うことであり、その際のパラメータとしては波の数、振幅、初期位相を設定する。いま、テクスチャ座標系で、長方形の横方向をα軸、縦方向をβ軸とし、長方形の点（α，β）が、α軸に沿って揺れるｓｉｎ波によって変形され、（αsin，βsin）の位置に移動するとした場合、αsin及びβsinは以下の式で表わすことができる。
【００２５】
αsin＝α …（１）
βsin＝Ａ×ｓｉｎ（（２πＮ／sizeＡ）α＋θ）＋β …（２）
ここで、Ａ：振幅
Ｎ：長方形の横辺におこす波の数
sizeＡ：長方形の横辺の長さ
θ：初期位相
【００２６】
この（１）式、（２）式により、テクスチャを変形するイメージを、便宜上テクスチャ座標系でない前記図６に示したオブジェクト１に対応する矩形領域に相当する図９（Ａ）に示し、更に分り易くするためにこの図の上方の長丸で囲んだ部分を拡大して同図（Ｂ）に示す。但し、この例では、波形変換パラメータとして、波の数Ｎ＝５、振幅Ａ1＝０．０４、振幅Ａ2＝−０．１０、β1＝０．０、β2＝１．０、β3＝８．０、β4＝１０．０、初期位相θ＝（１／２）π（ｒａｄ）をそれぞれ設定し、α軸に沿って揺れるｓｉｎ波の振幅Ａの値をβ軸の値によって、
β1≦β＜β2：Ａ1
β2≦β＜β3：Ａ1〜Ａ2までリニアに変化
β3＜β≦β4：Ａ2
のように、β1〜β2とβ3〜β4では定数を設定し、中間のβ2〜β3では線形補間させている。
【００２７】
又、上記ｓｉｎパラメータを設定する場合には、最終的に合成されるテクスチャ画像が、背景画像に撮影されているオブジェクトの状態にできるだけ近くなるように、それぞれの値を選択するようにする。
【００２８】
このようにｓｉｎパラメータを設定することは、後述する合成後は、上記図９に示したようにオブジェクトに対応する矩形領域の座標値が波形変換されることになる。但し、前記（１）式、（２）式は、直交座標系のテクスチャ座標を波形変換していることから、この段階ではこれら両式によっては前記図８（Ａ）に示したようにテクスチャ画像が配列（展開）されたテクスチャ座標系の場合であれば、図１０（Ａ）から同図（Ｂ）のように曲線変形された状態にすることができることを意味する。
【００２９】
以上のパラメータ設定等の準備が終了した後、背景画像中に複数あるオブジェクトのうち、柄替えシミュレーションを行いたいオブジェクトを指示入力装置１０３を用いて指定する（ステップ５）。ここでは、前記オブジェクト１を指定する。次いで、このステップ５で指定したオブジェクトに合成したいテクスチャ画像を指定する（ステップ６）。ここでは、前記図４（Ａ）に示したテクスチャ画像を指定したとする。この指定に際しては、指定したテクスチャ画像の縦横の実際の大きさを、前記ステップ３で設定した矩形パラメータにより正規化変換される長方形の大きさとの相対値である１×１で指示する。即ち、前記図７（Ａ）、図８（Ａ）を用いて説明したように、長方形に縦横幾つのテクスチャが繰り返し合成されるかを指示する。
【００３０】
次いで、背景画像中の指定したオブジェクトに対応する矩形領域について、次の（３）式、（４）式の変換式により求められるテクスチャ画像上の画素（ｘt，ｙt）に基づいて、後述するように画素値を変更することにより合成を行う（ステップ７）。
【００３１】
ｘt＝αsin×Ｓtpx／Ｓtrx …（３）
ｙt＝βsin×Ｓtpy／Ｓtry …（４）
ここで、αsin，βsin：テクスチャ座標系の座標値
Ｓtpx，Ｓtpy：合成するテクスチャ画像上の大きさ（画素単位）
Ｓtrx，Ｓtry：合成するテクスチャの実際の大きさ
【００３２】
ｘt、ｙtの値が、Ｓtpx、Ｓtpy以上となる時は、ｘt、ｙtを、それぞれＳtpx、Ｓtpyで割った余りを新たにｘt、ｙtとする。
【００３３】
このステップ７の座標変換・合成を、図４（Ａ）の単位テクスチャ画像の場合について詳述する。分り易くするために、ｓｉｎ変換せずに、即ち直交座標系のテクスチャ座標系で表わされているテクスチャ画像を同じオブジェクトに対応する矩形領域に合成する場合を考える。
【００３４】
いま、図１１に改めて示すオブジェクトに対応する矩形領域を前記正規化変換して得られるテクスチャ座標系が図１２（Ａ）であり、矩形領域上の座標（ｘ，ｙ）はテクスチャ座標系の座標（α，β）に対応しているとする。又、図１２（Ｂ）のテクスチャ画像をこの座標系にマッピング（配列）する場合、座標（α，β）はテクスチャ画像上の画素（ｘt，ｙt）に対応しているとする。
【００３５】
この場合の画像合成は、ｓｉｎ変換前のテクスチャ座標系の座標（α，β）を使って、前記（３）式、（４）式に相当する、次の（３′）式、（４′）式
ｘt＝α×Ｓtpx／Ｓtrx …（３′）
ｙt＝β×Ｓtpy／Ｓtry …（４′）
により、画素（ｘt，ｙt）を座標（α，β）にマッピングすることにより、図１２（Ｃ）に示す、前記図８（Ａ）の状態に配列することができる。そして、このテクスチャ座標系を前記正規化とは逆の変換（逆変換）を行なうことにより、両座標系を１：１に対応付けて、便宜上図８（Ｂ）に示すようにパースがかかった状態に合成することができる。なお、参考のために、前記図７（Ａ）の場合についても示すと、同図（Ｂ）にようになる。
【００３６】
これに対して、本実施形態では、図１２のテクスチャ座標系の座標を前記（１）式、（２）式によりｓｉｎ変換して、図１３にイメージを示すように（α，β）は（αsin，βsin）に座標移動されている。それに伴って、（ｘt，ｙt）がマッピングされるのは（α，β）ではなく、（αsin，βsin）になり、オブジェクトに対応する矩形領域の座標系においても、（ｘt，ｙt）の画素がマッピングされるのは、（ｘ，ｙ）ではなく移動している。この移動先を（ｘ’，ｙ’）とすると、オブジェクトに対応する矩形領域から得られる座標（ｘ’，ｙ’）に、テクスチャ画像上の（ｘt，ｙt）の画素を参照して画素値を設定することにより、合成する。
【００３７】
即ち、本実施形態では、（３′）式、（４′）式により、直交座標系の座標値を、テクスチャ画像に対応付けて、オブジェクト領域に１：１で画素値を設定する際、各画素の座標値を前記（１）式、（２）式により同時に変更して合せ込むことにより合成していることになる。
【００３８】
いま、射影的正規化変換をｆ、ｓｉｎカ―ブ変換（式（１）（２））をｇ、テクスチャを繰り返しマッピングするための変換（式（３）（４））をｈ、それぞれの逆変換を−１乗で表わすとすると、上述した画素合成は、図１４にオブジェクト画像上の座標、テクスチャ座標系及びテクスチャ画像上の座標の間の相関関係を示すように、以下のような（１）〜（５）の手順で処理していることになる。なお、ここでオブジェクト画像は、オブジェクトに対応する矩形領域と結果的に曲線変形された領域を含むものとする。
【００３９】
（１）オブジェクト画像上の座標（ｘ，ｙ）をテクスチャ座標系の座標（α，β）にｆで変換する。
【００４０】
（２）（α，β）にマッピングする画素のテクスチャ画像上の座標（ｘt，ｙt）をｈで求める。
【００４１】
（３）テクスチャ画像上の座標（ｘt，ｙt）の画素ｐを（α，β）にセットする。
【００４２】
（４）（α，β）をｇにより求めたｓｉｎカーブ変換後の座標（αsin，βsin）に移動させる。
【００４３】
（５）（αsin，βsin）をｆ-1によりオブジェクト画像上の座標（ｘ’，ｙ’）に変換し、（ｘ’，ｙ’）の画素を（αsin，βsin）にセットされている画素ｐで置換する。
【００４４】
このように、前記図１３に示したように座標変換させた画素を、正規化変換ｆの逆変換ｆ-1でオブジェクト画像上の座標系に戻すことによって合成する。但し、この場合、どの（αsin，βsin）がオブジェクト画像上の座標（ｘ，ｙ）にマッピングされるのかがわからないため、オブジェクト画像上の全ての画素に対応するためには無駄な計算が生じることになる。
【００４５】
そこで、実際のプログラムでは、実質的に同一の処理ではあるが、前記図１３に相当する図１５にイメージを示すように、オブジェクト画像上の座標（ｘ，ｙ）が合成の際に参照するテクスチャ画像上の画素は、ｓｉｎ変換の逆変換ｇ-1を使うことにより（α，β）から（α’，β’）を求め、この（α’，β’）にマッピングされる予定の（ｘt’，ｙt’）の画素が（α，β）にマッピングされるようにすることにより、オブジェクト画像上の座標（ｘ，ｙ）にマッピングするテクスチャ画像上の画素を直接求めている。
【００４６】
即ち、前記図１の合成部１０７において、前記曲線変換手段により、前記テクスチャ座標系の座標を、前記周期関数の逆変換により逆変換座標とし、前記合成手段が、該逆変換座標に対応するテクスチャ画像上の画素の画素値を、前記逆変換前のテクスチャ座標系の座標に対応する前記オブジェクトに対応する矩形領域上の座標の画素に設定するようになっている。
【００４７】
これを具体的に説明すると、前記図１４に相当する図１６にイメージを示すように、以下のような（１）〜（５）の手順で処理していることになる。なお、図１７には、この図１６と前記図１４との対応関係を示す。
【００４８】
（１）オブジェクト画像上の座標（ｘ，ｙ）をテクスチャ座標系の座標（α，β）にｆで変換する。
【００４９】
（２）（α，β）をｓｉｎカーブ変換の逆変換ｇ-1により（α’，β’）に変換する（移動させる）。
【００５０】
（３）（α’，β’）をｈによりテクスチャ画像上の座標（ｘt’，ｙt’）に変換する。
【００５１】
（４）（ｘt’，ｙt’）の画素ｐ’を（α，β）にセットする。
【００５２】
（５）（ｘ，ｙ）の画素を、（α，β）にセットされている画素ｐ’で置換する。
【００５３】
以上詳述した処理手順により合成することにより、図１８にイメージを示すような自然な曲面状態のカーテンの画像を合成することができる。
【００５４】
次いで、オブジェクトに合成するテクスチャを変更したい場合は前記ステップ６へ戻る（ステップ８）。そして、例えば前記図４（Ｂ）に示したテクスチャを指定することにより、前記図１０の場合と同様にｓｉｎ変換後のテクスチャ座標系のイメージを示すと、テクスチャ画像のサイズが２×２で合成された場合であれば、図１９（Ａ）の画像が、サイズが１．５×１．５の場合であれば、同図（Ｂ）のような画像を合成できる。一方、テクスチャを変更しない場合で、合成したいオブジェクトが残っている場合は（ステップ９）、前記ステップ５へ戻って同様の処理を行なう。そして、全てのオブジェクトについて処理を終了した場合は、柄替えシミュレーション結果として作成された合成画像を表示装置１０４に出力する（ステップ１０）。
【００５５】
以上詳述した本実施形態によれば、視線の角度変化を考慮する等、複雑な処理が必要と思われる曲面部分への柄替えシミュレーションにおいて、三角関数（ｓｉｎ）という単純な波形のパラメータを設定するだけの簡単な操作により、容易に自然な曲がり方でウェーブしているカーテンを合成したシミュレーション結果を得ることができる。
【００５６】
又、前記図９を用いて説明したように、関数の振幅Ａを縦方向に変化させることにより、実際のカーテンのウェーブに近付けることが可能となり、一段と自然なシミュレーション結果を得ることができた。
【００５７】
以上、本発明について具体的に説明したが、本発明は、前記実施形態に示したものに限られるものでなく、その要旨を逸脱しない範囲で種々変更可能である。
【００５８】
例えば、前記実施形態では横方向のα軸に沿った波形変換を示したが、縦方向のβ軸に沿った波形変換を行うことも可能であることは言うまでもない。又、α軸、β軸の両方向に行ってもよく、例えば両方向にそれぞれ半周期ずつの波形変換を行うことにより、枕等の長方形を膨らませた形の柄替えシミュレーションも容易に行なうことが可能となる。
【００５９】
又、波形変換する際、波の開始位置から終了位置にかけて、例えば直線的に振幅を変化させる等、各種パラメータの変化のさせ方を組み合わせるようにしてもよい。又、適用可能な関数としても、前記ｓｉｎに限らず、ｃｏｓであっても、他の任意の周期関数であってもよい。更に、前記図１２に示した合成画像に陰影情報を重ね合わせるようにしてもよい。
【００６０】
【発明の効果】
以上説明したとおり、本発明によれば、２次元の背景画像に曲面を有する対象物の画像を簡単な操作で自然な柄の状態に合成することができる。
【図面の簡単な説明】
【図１】本発明に係る一実施形態の柄替えシミュレーションシステムの概略構成を示すブロック図
【図２】実施形態の作用を示すフローチャート
【図３】背景画像の一例を示す説明図
【図４】テクスチャ画像の一例を示す説明図
【図５】オブジェクトの登録を示す説明図
【図６】矩形パラメータを説明するための線図
【図７】テクスチャ座標系とテクスチャ画像の関係等を示す説明図
【図８】テクスチャ座標系とテクスチャ画像の関係等を示す他の説明図
【図９】ｓｉｎパラメータを説明するための線図
【図１０】テクスチャ座標系と、それをｓｉｎ変換した状態の関係のイメージを示す説明図
【図１１】背景画像におけるオブジェクトに対応する矩形領域と座標の関係を示す説明図
【図１２】矩形領域を正規化変換して得られるテクスチャ座標系のイメージを示す説明図
【図１３】テクスチャ座標系をｓｉｎ変換したイメージを示す説明図
【図１４】実施形態による画像合成の処理手順の一例を示す説明図
【図１５】実際のプログラムによるテクスチャ座標系のイメージを示す説明図
【図１６】実際のプログラムによる画像合成の処理手順を示す説明図
【図１７】図１４と図１６との対応関係を示す説明図
【図１８】合成結果のイメージを示す説明図
【図１９】ｓｉｎ変換したテクスチャ座標系でテクスチャを変更した場合の変形例を示す説明図
【符号の説明】
１０１…画像合成装置
１０２…画像入力装置
１０３…指示入力装置
１０４…画像表示装置
１０５…画像読込部
１０６…パラメータ読込部
１０７…合成部
【発明が属する技術分野】
本発明は、柄替えシミュレーションシステム、特に２次元の背景画像に含まれる曲面物体の柄をその曲面を考慮して自然な状態に変更する際に適用して好適な柄替えシミュレーションシステムに関する。
【０００２】
【従来の技術】
コンピュータ・グラフィックスにより、室内等を表わす背景画像に含まれる内装等の柄を変更する柄替えシミュレーションシステムが知られている。
【０００３】
その一つである３次元情報で定義された柄替えシミュレーションシステムでは、多角形（ポリゴン）や、曲面へマッピングするテクスチャ素材を変更することにより柄替えを実現する手法が採られている。このような３次元情報を利用するシミュレーションシステムは、自由度が高いという利点があるものの、製作にコストと時間がかかるという欠陥があり、その上実写並のクオリティを実現するためには、レンダリングに多くの時間を要するため、インタラクティブなシミュレーションには不向きである。
【０００４】
一方、これとは別に、２次元画像に対する柄替えシミュレーションシステムも知られており、このシステムでは画像内の所望の領域に他の画像（テクスチャ画像）を合成する技術が開発されている。このような２次元画像による柄替えシミュレーションシステムでは、壁面等の平面に対するシミュレーション技術が、例えば特開２０００−２９３６６７に提案されているように、既に確立されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、前記２次元画像による柄替えシミュレーションシステムには、カーテンや枕等のような２次元画像の曲面をシミュレーションする場合には、複雑な式を用いてパラメータを設定する等、経験を積むことにより習得するような熟練した技が必要とされることから、誰にでも容易に直ぐに操作できる技術ではない。前記３次元の場合に比べて操作性に優れてはいるものの、奥行き感を表わすパースがかからない等の不自然な合成結果になり易いことから、その適用が平面へのマッピングに限定されることが多いという問題があった。
【０００６】
本発明は、前記従来の問題点を解決するべくなされたもので、簡単な操作により、２次元の背景画像に曲面を有する対象物の画像を、自然な状態で合成することができる柄替えシミュレーションシステムを提供することを課題とする。
【０００７】
【課題を解決するための手段】
本発明は、２次元の背景画像に、柄を構成するテクスチャ画像を合成する柄替えシミュレーションシステムにおいて、背景画像を入力する手段と、背景画像に合成するテクスチャ画像を入力する手段と、背景画像中でテクスチャ画像を合成するオブジェクトを指定する手段と、前記オブジェクトに対応する矩形領域に関して、背景画像内の３次元空間における四角形の実際の大きさと、背景画像中の２次元画像上の四角形の領域を規定するための４頂点の座標とが含まれる矩形パラメータと共に、合成するテクスチャ画像を変形するための周期関数のパタメータを設定する手段と、指定されたオブジェクトに対応する矩形領域の座標値を、前記テクスチャ画像に対応する正規化されたテクスチャ座標系の座標値に変換する手段と、前記テクスチャ座標系の座標値を、縦軸及び横軸の少なくとも一方の軸に沿って周期関数により変換する曲線変換手段と、前記テクスチャ座標系に展開されているテクスチャ画像の各画素の画素値を、各画素の座標値を前記曲線変換手段により変更して、前記オブジェクトに対応する矩形領域上の対応する画素に設定する合成手段と、を備えたことにより、前記課題を解決したものである。
【０００８】
即ち、本発明においては、画像を合成する背景画像上のオブジェクト領域に、対象物の柄を表わすテクスチャ画像を合成する際、該テクスチャ画像を周期関数により曲線変更するようにしたので、周期関数のパラメータを設定するという簡単な操作により、自然な曲面を有する対象物を画像合成することが可能となる。
【０００９】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。
【００１０】
図１は、本発明に係る一実施形態の２次元画像による柄替えシミュレーションシステムの概略構成を示すブロック図である。
【００１１】
本実施形態の柄替えシミュレーションシステムは、画像合成装置１０１、画像入力装置１０２、指示入力装置１０３、及び画像表示装置１０４を備えていると共に、前記画像合成装置１０１は、画像読込部１０５、パラメータ読込部１０６及び合成部１０７を有する構成になっている。
【００１２】
本システムは、シミュレーションを行いたい対象画像（以下、“背景画像”と呼ぶ）中にある、シミュレーションを行いたい画像上の曲面を有する対象物（以下、“オブジェクト”と呼ぶ）に、様々な柄画像（以下、“テクスチャ画像”と呼ぶ）を変形し、合成することにより柄替えのシミュレーションを行うことができるようになっている。
【００１３】
本システムについて詳述すると、前記画像合成装置１０１は、以下に説明する画像入力装置１０２により入力される背景画像、テクスチャ画像等に対して、指示入力装置１０３で入力される各種パラメータに従い、指定した背景画像内のオブジェクトの柄を変更し、結果を表示装置１０４に出力する機能を有している。
【００１４】
前記画像入力装置１０２は、背景画像及びテクスチャ画像を画像合成装置１０１に入力するための装置で、具体的にはデジタルカメラやスキャナ等の画像取込装置や、予め準備しておいた画像を格納しているＨＤＤ（ハードディスクドライブ）等である。又、前記指示入力装置１０３は、背景画像中のシミュレーションを行うオブジェクトの指定や、オブジェクト毎のテキスチャ変形に用いるパラメータを入力するための装置で、具体的にはキーボードやマウス等である。又、前記画像表示装置１０４は、画像合成装置１０１で作成されたシミュレーション結果を表示するもので、ディスプレイ等に相当する。
【００１５】
前記画像合成装置１０１について更に説明すると、画像読込部１０５はシミュレーションを行うためための２次元画像（背景画像、テクスチャ画像等）を読込み、合成部１０７に入力する機能を有し、パラメータ読込部１０６は上記画像読込部１０５により入力された画像に対して、シミュレーションを行いたいオブジェクト毎に設定するパラメータを読み込み、同じく合成部１０７に入力する機能を有している。又、この合成部１０７は、上記のように画像読込部１０５により入力された画像と、パラメータ読込部１０６により入力されたパラメータを用いて、以下に詳述する画像処理により合成画像を作成すると共に、作成された合成画像を、柄の変更を行ったシミュレーション結果として表示装置１０４に出力する機能を有している。
【００１６】
本実施形態では、前記画像合成装置１０１、即ち合成部１０７において、指定されたオブジェクトに対応する矩形領域の座標値を、テクスチャ画像に対応付けられている正規化されたテクスチャ座標系の座標値に変換する手段と、この正規化されたテクスチャ座標系の座標値を、縦軸及び横軸の少なくとも一方の軸に沿って周期関数により変換する曲線変換手段と、前記正規化されたテクスチャ座標系に展開されているテクスチャ画像の画素の画素値を、各画素の座標値を前記曲線変換手段により変更して、前記オブジェクトに対応する矩形領域上の対応する画素に設定する手段とが、ソフトウェアにより実現されている。
【００１７】
次に、本実施形態の作用を、図２に示したフローチャートに従って説明する。
【００１８】
まず、前記画像入力装置１０２により、背景画像とテクスチャ画像を画像合成装置１０１に入力する（ステップ１）。ここでは、背景画像として図３にイメージを示す室内をカメラで撮影した２次元画像を入力し、テクスチャ画像として図４（Ａ）と同図（Ｂ）の２つを入力する場合を例として示す。
【００１９】
次いで、入力した背景画像を画面表示させ、画面上で柄替えを行いたいオブジェクトを登録する（ステップ２）。これは、柄替えの対象としたいオブジェクトをマウス等により順番に指定することにより、異なるテクスチャを合成するオブジェクト毎、あるいは後述するパラメータの設定が異なるオブジェクト毎に、背景画像内におけるオブジェクトの可視領域（以下、オブジェクト領域とも言う）に対して、識別番号を割り当てて設定することを意味する。図５には、背景画像内におけるオブジェクト領域の設定の一例を示す。この図に示されるように、オブジェクトの登録は、前記図３の背景画像と同一の縦横の大きさを持つ配列データを用意し、テクスチャ合成を行わない領域の画素に対して０の値を設定し、テクスチャの合成を行うオブジェクト領域（ここでは２箇所のカーテンの画像領域）に属する画素に対して、前述した識別番号として、１と２をそれぞれ設定し、オブジェクト１、オブジェクト２として領域指定（登録）したことを表わしている。
【００２０】
次いで、前記指示入力装置１０３により矩形パラメータを入力し、設定する（ステップ３）。後述する背景画像中のオブジェクト領域に対してテクスチャ画像を合成する際には、オブジェクトに対応する矩形領域の座標値（ｘ，ｙ）をテクスチャ画像上の座標値（テクスチャ座標系の座標値（α，β））に変換する処理を行う。そこで、このテクスチャ座標系への変換のためのパラメータとして、前記図４に示した単位のテクスチャ画像を、該座標系に割り付けた場合に、その繰り返しが明確になるようにするために矩形パラメータを設定する。
【００２１】
図６には、前記オブジェクト１に対応する矩形領域と、これに設定した矩形パラメータとの関係を示す。この図に示されるように、矩形パラメータは、背景画像内の空間、即ち室内の３次元空間において実際には長方形である窓枠等の四角形（矩形）の大きさと、背景画像上の座標との対応を規定するための数値であり、サイズ（図中size）Ａ、サイズＢで示す横方向、縦方向の実際の大きさと、背景画像中の２次元画像上の四角形の領域を規定するための４頂点の座標とが含まれる。これらパラメータの関係から、２次元画像上ではパース（遠近感）がかかっているオブジェクト領域を、パースがかかっていない正規化された直交座標系のテクスチャ座標系に変換することができる。このような変換としては、詳細な説明は省略するが、「計算機幾何と地理情報処理」ｂｉｔ別冊 共立出版（１９８６）に詳説されている、射影的正規化変換を挙げることができる。
【００２２】
即ち、前記図６でサイズＡ、サイズＢは、前記図４に示したようなテクスチャ画像の単位を、縦横それぞれの方向に幾つ並べる（展開する）ことができるかの繰り返し数を決めるために設定するもので、具体的には実際の大きさでそれぞれ０．８ｍ、２．０ｍのような実寸法で設定しても、あるいは２、５のような単位テクスチャ画像の大きさに対する相対値で設定してもよい。いま、サイズＡ、サイズＢをそれぞれ２、５と、４、１０の相対値で設定した場合であれば、前記図４（Ａ）の単位テクスチャ画像は、同図に併記したように、大きさが相対値で１×１（画素単位の大きさが１００×１００）であることから、前記オブジェクトの矩形領域に対応するテクスチャ座標系では、図７（Ａ）と図８（Ａ）にそれぞれ示すように単位テクスチャ画像が繰り返し配列された、画素を単位とするテクスチャ座標が得られることを意味する。即ち、上記矩形パラメータを設定することにより、オブジェクトに対応する矩形領域を変換して得られる直交座標からなるテクスチャ座標系が決定されることになる。
【００２３】
次に、オブジェクトに曲面部分がある場合には、合成するテクスチャを波形変形するために、前記指示入力装置１０３によりｓｉｎ（周期関数）パラメータを入力し、設定する（ステップ４）。このパラメータのスケールはテクスチャ座標系と同じである。又、以下の例では、サイズ（size）Ａ＝４、サイズＢ＝１０であるとする。
【００２４】
ここで行う波形変形は、上記ステップ３で設定した矩形パラメータにより正規化変換して作成される長方形を、ｓｉｎ波で歪める処理を行うことであり、その際のパラメータとしては波の数、振幅、初期位相を設定する。いま、テクスチャ座標系で、長方形の横方向をα軸、縦方向をβ軸とし、長方形の点（α，β）が、α軸に沿って揺れるｓｉｎ波によって変形され、（αsin，βsin）の位置に移動するとした場合、αsin及びβsinは以下の式で表わすことができる。
【００２５】
αsin＝α …（１）
βsin＝Ａ×ｓｉｎ（（２πＮ／sizeＡ）α＋θ）＋β …（２）
ここで、Ａ：振幅
Ｎ：長方形の横辺におこす波の数
sizeＡ：長方形の横辺の長さ
θ：初期位相
【００２６】
この（１）式、（２）式により、テクスチャを変形するイメージを、便宜上テクスチャ座標系でない前記図６に示したオブジェクト１に対応する矩形領域に相当する図９（Ａ）に示し、更に分り易くするためにこの図の上方の長丸で囲んだ部分を拡大して同図（Ｂ）に示す。但し、この例では、波形変換パラメータとして、波の数Ｎ＝５、振幅Ａ1＝０．０４、振幅Ａ2＝−０．１０、β1＝０．０、β2＝１．０、β3＝８．０、β4＝１０．０、初期位相θ＝（１／２）π（ｒａｄ）をそれぞれ設定し、α軸に沿って揺れるｓｉｎ波の振幅Ａの値をβ軸の値によって、
β1≦β＜β2：Ａ1
β2≦β＜β3：Ａ1〜Ａ2までリニアに変化
β3＜β≦β4：Ａ2
のように、β1〜β2とβ3〜β4では定数を設定し、中間のβ2〜β3では線形補間させている。
【００２７】
又、上記ｓｉｎパラメータを設定する場合には、最終的に合成されるテクスチャ画像が、背景画像に撮影されているオブジェクトの状態にできるだけ近くなるように、それぞれの値を選択するようにする。
【００２８】
このようにｓｉｎパラメータを設定することは、後述する合成後は、上記図９に示したようにオブジェクトに対応する矩形領域の座標値が波形変換されることになる。但し、前記（１）式、（２）式は、直交座標系のテクスチャ座標を波形変換していることから、この段階ではこれら両式によっては前記図８（Ａ）に示したようにテクスチャ画像が配列（展開）されたテクスチャ座標系の場合であれば、図１０（Ａ）から同図（Ｂ）のように曲線変形された状態にすることができることを意味する。
【００２９】
以上のパラメータ設定等の準備が終了した後、背景画像中に複数あるオブジェクトのうち、柄替えシミュレーションを行いたいオブジェクトを指示入力装置１０３を用いて指定する（ステップ５）。ここでは、前記オブジェクト１を指定する。次いで、このステップ５で指定したオブジェクトに合成したいテクスチャ画像を指定する（ステップ６）。ここでは、前記図４（Ａ）に示したテクスチャ画像を指定したとする。この指定に際しては、指定したテクスチャ画像の縦横の実際の大きさを、前記ステップ３で設定した矩形パラメータにより正規化変換される長方形の大きさとの相対値である１×１で指示する。即ち、前記図７（Ａ）、図８（Ａ）を用いて説明したように、長方形に縦横幾つのテクスチャが繰り返し合成されるかを指示する。
【００３０】
次いで、背景画像中の指定したオブジェクトに対応する矩形領域について、次の（３）式、（４）式の変換式により求められるテクスチャ画像上の画素（ｘt，ｙt）に基づいて、後述するように画素値を変更することにより合成を行う（ステップ７）。
【００３１】
ｘt＝αsin×Ｓtpx／Ｓtrx …（３）
ｙt＝βsin×Ｓtpy／Ｓtry …（４）
ここで、αsin，βsin：テクスチャ座標系の座標値
Ｓtpx，Ｓtpy：合成するテクスチャ画像上の大きさ（画素単位）
Ｓtrx，Ｓtry：合成するテクスチャの実際の大きさ
【００３２】
ｘt、ｙtの値が、Ｓtpx、Ｓtpy以上となる時は、ｘt、ｙtを、それぞれＳtpx、Ｓtpyで割った余りを新たにｘt、ｙtとする。
【００３３】
このステップ７の座標変換・合成を、図４（Ａ）の単位テクスチャ画像の場合について詳述する。分り易くするために、ｓｉｎ変換せずに、即ち直交座標系のテクスチャ座標系で表わされているテクスチャ画像を同じオブジェクトに対応する矩形領域に合成する場合を考える。
【００３４】
いま、図１１に改めて示すオブジェクトに対応する矩形領域を前記正規化変換して得られるテクスチャ座標系が図１２（Ａ）であり、矩形領域上の座標（ｘ，ｙ）はテクスチャ座標系の座標（α，β）に対応しているとする。又、図１２（Ｂ）のテクスチャ画像をこの座標系にマッピング（配列）する場合、座標（α，β）はテクスチャ画像上の画素（ｘt，ｙt）に対応しているとする。
【００３５】
この場合の画像合成は、ｓｉｎ変換前のテクスチャ座標系の座標（α，β）を使って、前記（３）式、（４）式に相当する、次の（３′）式、（４′）式
ｘt＝α×Ｓtpx／Ｓtrx …（３′）
ｙt＝β×Ｓtpy／Ｓtry …（４′）
により、画素（ｘt，ｙt）を座標（α，β）にマッピングすることにより、図１２（Ｃ）に示す、前記図８（Ａ）の状態に配列することができる。そして、このテクスチャ座標系を前記正規化とは逆の変換（逆変換）を行なうことにより、両座標系を１：１に対応付けて、便宜上図８（Ｂ）に示すようにパースがかかった状態に合成することができる。なお、参考のために、前記図７（Ａ）の場合についても示すと、同図（Ｂ）にようになる。
【００３６】
これに対して、本実施形態では、図１２のテクスチャ座標系の座標を前記（１）式、（２）式によりｓｉｎ変換して、図１３にイメージを示すように（α，β）は（αsin，βsin）に座標移動されている。それに伴って、（ｘt，ｙt）がマッピングされるのは（α，β）ではなく、（αsin，βsin）になり、オブジェクトに対応する矩形領域の座標系においても、（ｘt，ｙt）の画素がマッピングされるのは、（ｘ，ｙ）ではなく移動している。この移動先を（ｘ’，ｙ’）とすると、オブジェクトに対応する矩形領域から得られる座標（ｘ’，ｙ’）に、テクスチャ画像上の（ｘt，ｙt）の画素を参照して画素値を設定することにより、合成する。
【００３７】
即ち、本実施形態では、（３′）式、（４′）式により、直交座標系の座標値を、テクスチャ画像に対応付けて、オブジェクト領域に１：１で画素値を設定する際、各画素の座標値を前記（１）式、（２）式により同時に変更して合せ込むことにより合成していることになる。
【００３８】
いま、射影的正規化変換をｆ、ｓｉｎカ―ブ変換（式（１）（２））をｇ、テクスチャを繰り返しマッピングするための変換（式（３）（４））をｈ、それぞれの逆変換を−１乗で表わすとすると、上述した画素合成は、図１４にオブジェクト画像上の座標、テクスチャ座標系及びテクスチャ画像上の座標の間の相関関係を示すように、以下のような（１）〜（５）の手順で処理していることになる。なお、ここでオブジェクト画像は、オブジェクトに対応する矩形領域と結果的に曲線変形された領域を含むものとする。
【００３９】
（１）オブジェクト画像上の座標（ｘ，ｙ）をテクスチャ座標系の座標（α，β）にｆで変換する。
【００４０】
（２）（α，β）にマッピングする画素のテクスチャ画像上の座標（ｘt，ｙt）をｈで求める。
【００４１】
（３）テクスチャ画像上の座標（ｘt，ｙt）の画素ｐを（α，β）にセットする。
【００４２】
（４）（α，β）をｇにより求めたｓｉｎカーブ変換後の座標（αsin，βsin）に移動させる。
【００４３】
（５）（αsin，βsin）をｆ-1によりオブジェクト画像上の座標（ｘ’，ｙ’）に変換し、（ｘ’，ｙ’）の画素を（αsin，βsin）にセットされている画素ｐで置換する。
【００４４】
このように、前記図１３に示したように座標変換させた画素を、正規化変換ｆの逆変換ｆ-1でオブジェクト画像上の座標系に戻すことによって合成する。但し、この場合、どの（αsin，βsin）がオブジェクト画像上の座標（ｘ，ｙ）にマッピングされるのかがわからないため、オブジェクト画像上の全ての画素に対応するためには無駄な計算が生じることになる。
【００４５】
そこで、実際のプログラムでは、実質的に同一の処理ではあるが、前記図１３に相当する図１５にイメージを示すように、オブジェクト画像上の座標（ｘ，ｙ）が合成の際に参照するテクスチャ画像上の画素は、ｓｉｎ変換の逆変換ｇ-1を使うことにより（α，β）から（α’，β’）を求め、この（α’，β’）にマッピングされる予定の（ｘt’，ｙt’）の画素が（α，β）にマッピングされるようにすることにより、オブジェクト画像上の座標（ｘ，ｙ）にマッピングするテクスチャ画像上の画素を直接求めている。
【００４６】
即ち、前記図１の合成部１０７において、前記曲線変換手段により、前記テクスチャ座標系の座標を、前記周期関数の逆変換により逆変換座標とし、前記合成手段が、該逆変換座標に対応するテクスチャ画像上の画素の画素値を、前記逆変換前のテクスチャ座標系の座標に対応する前記オブジェクトに対応する矩形領域上の座標の画素に設定するようになっている。
【００４７】
これを具体的に説明すると、前記図１４に相当する図１６にイメージを示すように、以下のような（１）〜（５）の手順で処理していることになる。なお、図１７には、この図１６と前記図１４との対応関係を示す。
【００４８】
（１）オブジェクト画像上の座標（ｘ，ｙ）をテクスチャ座標系の座標（α，β）にｆで変換する。
【００４９】
（２）（α，β）をｓｉｎカーブ変換の逆変換ｇ-1により（α’，β’）に変換する（移動させる）。
【００５０】
（３）（α’，β’）をｈによりテクスチャ画像上の座標（ｘt’，ｙt’）に変換する。
【００５１】
（４）（ｘt’，ｙt’）の画素ｐ’を（α，β）にセットする。
【００５２】
（５）（ｘ，ｙ）の画素を、（α，β）にセットされている画素ｐ’で置換する。
【００５３】
以上詳述した処理手順により合成することにより、図１８にイメージを示すような自然な曲面状態のカーテンの画像を合成することができる。
【００５４】
次いで、オブジェクトに合成するテクスチャを変更したい場合は前記ステップ６へ戻る（ステップ８）。そして、例えば前記図４（Ｂ）に示したテクスチャを指定することにより、前記図１０の場合と同様にｓｉｎ変換後のテクスチャ座標系のイメージを示すと、テクスチャ画像のサイズが２×２で合成された場合であれば、図１９（Ａ）の画像が、サイズが１．５×１．５の場合であれば、同図（Ｂ）のような画像を合成できる。一方、テクスチャを変更しない場合で、合成したいオブジェクトが残っている場合は（ステップ９）、前記ステップ５へ戻って同様の処理を行なう。そして、全てのオブジェクトについて処理を終了した場合は、柄替えシミュレーション結果として作成された合成画像を表示装置１０４に出力する（ステップ１０）。
【００５５】
以上詳述した本実施形態によれば、視線の角度変化を考慮する等、複雑な処理が必要と思われる曲面部分への柄替えシミュレーションにおいて、三角関数（ｓｉｎ）という単純な波形のパラメータを設定するだけの簡単な操作により、容易に自然な曲がり方でウェーブしているカーテンを合成したシミュレーション結果を得ることができる。
【００５６】
又、前記図９を用いて説明したように、関数の振幅Ａを縦方向に変化させることにより、実際のカーテンのウェーブに近付けることが可能となり、一段と自然なシミュレーション結果を得ることができた。
【００５７】
以上、本発明について具体的に説明したが、本発明は、前記実施形態に示したものに限られるものでなく、その要旨を逸脱しない範囲で種々変更可能である。
【００５８】
例えば、前記実施形態では横方向のα軸に沿った波形変換を示したが、縦方向のβ軸に沿った波形変換を行うことも可能であることは言うまでもない。又、α軸、β軸の両方向に行ってもよく、例えば両方向にそれぞれ半周期ずつの波形変換を行うことにより、枕等の長方形を膨らませた形の柄替えシミュレーションも容易に行なうことが可能となる。
【００５９】
又、波形変換する際、波の開始位置から終了位置にかけて、例えば直線的に振幅を変化させる等、各種パラメータの変化のさせ方を組み合わせるようにしてもよい。又、適用可能な関数としても、前記ｓｉｎに限らず、ｃｏｓであっても、他の任意の周期関数であってもよい。更に、前記図１２に示した合成画像に陰影情報を重ね合わせるようにしてもよい。
【００６０】
【発明の効果】
以上説明したとおり、本発明によれば、２次元の背景画像に曲面を有する対象物の画像を簡単な操作で自然な柄の状態に合成することができる。
【図面の簡単な説明】
【図１】本発明に係る一実施形態の柄替えシミュレーションシステムの概略構成を示すブロック図
【図２】実施形態の作用を示すフローチャート
【図３】背景画像の一例を示す説明図
【図４】テクスチャ画像の一例を示す説明図
【図５】オブジェクトの登録を示す説明図
【図６】矩形パラメータを説明するための線図
【図７】テクスチャ座標系とテクスチャ画像の関係等を示す説明図
【図８】テクスチャ座標系とテクスチャ画像の関係等を示す他の説明図
【図９】ｓｉｎパラメータを説明するための線図
【図１０】テクスチャ座標系と、それをｓｉｎ変換した状態の関係のイメージを示す説明図
【図１１】背景画像におけるオブジェクトに対応する矩形領域と座標の関係を示す説明図
【図１２】矩形領域を正規化変換して得られるテクスチャ座標系のイメージを示す説明図
【図１３】テクスチャ座標系をｓｉｎ変換したイメージを示す説明図
【図１４】実施形態による画像合成の処理手順の一例を示す説明図
【図１５】実際のプログラムによるテクスチャ座標系のイメージを示す説明図
【図１６】実際のプログラムによる画像合成の処理手順を示す説明図
【図１７】図１４と図１６との対応関係を示す説明図
【図１８】合成結果のイメージを示す説明図
【図１９】ｓｉｎ変換したテクスチャ座標系でテクスチャを変更した場合の変形例を示す説明図
【符号の説明】
１０１…画像合成装置
１０２…画像入力装置
１０３…指示入力装置
１０４…画像表示装置
１０５…画像読込部
１０６…パラメータ読込部
１０７…合成部
Claims (3)
- ２次元の背景画像に、柄を構成するテクスチャ画像を合成する柄替えシミュレーションシステムにおいて、
背景画像を入力する手段と、
背景画像に合成するテクスチャ画像を入力する手段と、
背景画像中でテクスチャ画像を合成するオブジェクトを指定する手段と、
前記オブジェクトに対応する矩形領域に関して、背景画像内の３次元空間における四角形の実際の大きさと、背景画像中の２次元画像上の四角形の領域を規定するための４頂点の座標とが含まれる矩形パラメータと共に、合成するテクスチャ画像を変形するための周期関数のパタメータを設定する手段と、
指定されたオブジェクトに対応する矩形領域の座標値を、前記テクスチャ画像に対応する正規化されたテクスチャ座標系の座標値に変換する手段と、
前記テクスチャ座標系の座標値を、縦軸及び横軸の少なくとも一方の軸に沿って周期関数により変換する曲線変換手段と、
前記テクスチャ座標系に展開されているテクスチャ画像の各画素の画素値を、各画素の座標値を前記曲線変換手段により変更して、前記オブジェクトに対応する矩形領域上の対応する画素に設定する合成手段と、を備えていることを特徴とする柄替えシミュレーションシステム。 - 前記曲線変換手段により、前記テクスチャ座標系の座標を、前記周期関数の逆変換により逆変換座標とし、
前記合成手段が、該逆変換座標に対応するテクスチャ画像上の画素の画素値を、前記逆変換前のテクスチャ座標系の座標に対応する、前記オブジェクトに対応する矩形領域上の座標の画素に設定することを特徴とする請求項１に記載の柄替えシミュレーションシステム。 - 前記オブジェクトがカーテンである場合、前記テクスチャ座標系の座標値を、横軸に沿って前記周期関数により変換するとともに、縦軸に沿って該関数の振幅を変化させること特徴とする請求項１に記載の柄替えシミュレーションシステム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001141861A JP3679347B2 (ja) | 2001-05-11 | 2001-05-11 | 柄替えシミュレーションシステム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001141861A JP3679347B2 (ja) | 2001-05-11 | 2001-05-11 | 柄替えシミュレーションシステム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002342781A JP2002342781A (ja) | 2002-11-29 |
| JP3679347B2 true JP3679347B2 (ja) | 2005-08-03 |
Family
ID=18988250
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001141861A Expired - Fee Related JP3679347B2 (ja) | 2001-05-11 | 2001-05-11 | 柄替えシミュレーションシステム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3679347B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5067879B2 (ja) * | 2008-06-26 | 2012-11-07 | 株式会社川島織物セルコン | 画像生成プログラムおよび装置 |
| US9495790B2 (en) * | 2014-04-05 | 2016-11-15 | Sony Interactive Entertainment America Llc | Gradient adjustment for texture mapping to non-orthonormal grid |
| KR101503803B1 (ko) | 2014-11-07 | 2015-03-18 | (주)넛지 | 사용자 맞춤형 3차원 객체 생성 장치 및 방법 |
| JP6597560B2 (ja) * | 2016-10-31 | 2019-10-30 | 京セラドキュメントソリューションズ株式会社 | 画像処理装置 |
-
2001
- 2001-05-11 JP JP2001141861A patent/JP3679347B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002342781A (ja) | 2002-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6268846B1 (en) | 3D graphics based on images and morphing | |
| JP4947593B2 (ja) | 局所領域分割による自由視点画像の生成装置およびプログラム | |
| JP4803594B2 (ja) | 局所領域分割による自由視点画像の生成装置およびプログラム | |
| US20070035547A1 (en) | Statistical dynamic modeling method and apparatus | |
| US20040227760A1 (en) | Statistical dynamic collisions method and apparatus | |
| JP2006053568A (ja) | 劣化文字画像生成プログラム、方法および装置 | |
| JP3104638B2 (ja) | ３次元画像作成装置 | |
| JPH1049704A (ja) | 画像変換方法 | |
| JP3679347B2 (ja) | 柄替えシミュレーションシステム | |
| JP2973573B2 (ja) | 画像変換装置 | |
| CN109074670B (zh) | 信息处理装置、图像生成方法以及记录介质 | |
| JPH06176129A (ja) | コンピュータ・グラフィックス制作装置 | |
| JP3684171B2 (ja) | 柄替えシミュレーションシステム | |
| JP3309841B2 (ja) | 合成動画像生成装置および合成動画像生成方法 | |
| JPH10283487A (ja) | 多重テクスチャマッピング装置及び方法並びに多重テクスチャマッピングのためのプログラムを格納した記憶媒体 | |
| JP3850080B2 (ja) | 画像生成表示装置 | |
| JPH11265440A (ja) | 任意光源位置の画像合成方法および表示装置 | |
| JPH10198824A (ja) | 映像生成処理装置及びその装置で用いられる構造化データを作成する構造化データ作成装置 | |
| EP0549183B1 (en) | System for displaying solid cuts for surfaces of solid models | |
| JP4358752B2 (ja) | 統計力学的衝突の方法と装置 | |
| JP2002312810A (ja) | 合成動画像生成装置および合成動画像生成方法 | |
| KR100603040B1 (ko) | 화상처리 방법 및 화상처리 장치 | |
| JP4187078B2 (ja) | 画像変形方法及びその装置 | |
| KR101911904B1 (ko) | 3차원 객체 생성 장치 및 그 방법 | |
| Sharma et al. | VR Visualization of Heritage Structures at Different Scales via Mode Switching |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050125 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050201 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050404 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050510 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050512 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090520 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090520 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100520 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110520 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120520 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120520 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130520 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140520 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |