JP4006105B2 - 画像処理装置およびその方法 - Google Patents
画像処理装置およびその方法 Download PDFInfo
- Publication number
- JP4006105B2 JP4006105B2 JP23911698A JP23911698A JP4006105B2 JP 4006105 B2 JP4006105 B2 JP 4006105B2 JP 23911698 A JP23911698 A JP 23911698A JP 23911698 A JP23911698 A JP 23911698A JP 4006105 B2 JP4006105 B2 JP 4006105B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- model
- light source
- camera
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮影された画像から作成される被写体画像と、 CG 画像を合成する画像処理に関する。
【０００２】
【従来の技術】
三次元コンピュータグラフィックス(CG)システムにより、三次元の物体または複数の三次元物体を含むシーン(scene)のモデルを作成して、ユーザが移動および回転などの操作を指示することにより、CGで作成した三次元空間内を仮想的にウォークスルーできるシステムがある。
【０００３】
【発明が解決しようとする課題】
しかしながら、CGを作成するには複雑な作業を必要する上、CGシステムにより作成された三次元物体（以下「三次元CG物体」と呼ぶ）の表面も一般に単一色である。これに対して、現実の物体の表面は様々な色やテクスチャに覆われている。そのため、CGで作成した三次元空間内のウォークスルーは臨場感が欠けたものになり易い。
【０００４】
一方、カメラで撮影された画像（以下「カメラ画像」と呼ぶ）を、三次元CG物体の表面に貼り付けることも可能であるが、モデルの作成はさらに複雑になる。さらに、カメラ画像をその表面に貼り付けた三次元CG物体と、三次元CG物体とを同一シーン中に混在させると次の問題がある。
【０００５】
CGで作成された物体に立体感をもたせるには、その物体が方向性のある光（以下「方向光」と称する）で照明されているように表示する必要があるが、カメラ画像には元もと陰影が含まれているので、カメラ画像を貼り付けた物体を方向光で照明されているように表示すると極めて不自然な画像になる。
【０００６】
本発明は、撮影された画像から作成される被写体画像と、 CG 画像を合成する場合に、自然な合成画像を得ることを目的とする。
【０００８】
【課題を解決するための手段】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【０００９】
本発明にかかる画像処理装置は、方向性をもたない光源モデルを設定する第一の設定手段と、方向性をもつ光源モデルを設定する第二の設定手段と、カメラによって撮影された画像データを取得する取得手段と、仮想カメラの位置を設定する第三の設定手段と、前記画像データをテクスチャ情報として使用し、前記仮想カメラの位置と前記方向性をもたない光源モデルに応じて、被写体画像を生成する被写体画像生成手段と、 CG モデル、前記仮想カメラの位置、前記方向性をもたない光源モデル、および、前記方向性をもつ光源モデルを用いて、 CG画像を生成する CG 画像生成手段と、前記被写体画像と前記 CG 画像を合成した合成画像を生成する合成手段とを有することを特徴とする。
【００１０】
本発明にかかる画像処理方法は、方向性をもたない光源モデルを設定するステップと、方向性をもつ光源モデルを設定するステップと、カメラによって撮影された画像データを取得するステップと、仮想カメラの位置を設定する設定ステップと、前記画像データをテクスチャ情報として使用し、前記仮想カメラの位置と前記方向性をもたない光源モデルに応じて、被写体画像を生成する被写体画像生成ステップと、 CG モデル、前記仮想カメラの位置、前記方向性をもたない光源モデル、および、前記方向性をもつ光源モデルを用いて、 CG 画像を生成する CG 画像生成ステップと、前記被写体画像と前記 CG 画像を合成した合成画像を生成する合成ステップとを有することを特徴とする。
【００１１】
【発明の実施の形態】
以下、本発明にかかる一実施形態の画像処理装置を図面を参照して詳細に説明する。
【００１２】
【第１実施形態】
図1は本発明にかかる第1実施形態の三次元シーンを合成し表示する画像処理装置の機能構成の一例を示すブロック図である。
【００１３】
ステレオカメラ200は左右二系統の画像データを出力する。カメラパラメータ記憶部101は、ステレオカメラ200から出力された左右の画像データのカメラパラメータを記憶する。画像メモリ102および103は、ステレオカメラ200から出力された左右の画像データをそれぞれ一画面分記憶する。視差抽出部110は、画像メモリ102および103に記憶されている左右の画像データの視差分布を抽出して出力する。モデル生成部120は、視差抽出部110の出力である視差分布と、カメラパラメータ記憶部101に記憶されているカメラパラメータとから三次元シーンのモデルデータを生成して出力する。
【００１４】
光源設定部130は、モデル生成部120で生成された三次元シーンのモデルデータに対する光源モデルを設定する。被写体画像生成部140は、モデル操作部150を介して入力される三次元空間上での移動および回転操作を表すデータに従い、光源設定部130により設定された光源モデル、画像メモリ102に記憶されている左画像データ、カメラパラメータ記憶部101に記憶されているカメラパラメータ、および、モデル生成部120から出力される三次元シーンのモデルデータから画像を生成する。
【００１５】
CGモデル記憶部160は、予め作制されたCGオブジェクトのモデルを記憶する。光源設定部170は、CGモデル記憶部160に記憶されたモデルに対する光源モデルを設定する。CG画像生成部180は、モデル操作部150を介して入力される三次元空間上での移動および回転操作を表すデータに従い、光源設定部170で設定された光源モデル、カメラパラメータ記憶部101に記憶されているカメラパラメータ、および、CGモデル記憶部160に記憶されたモデルデータから画像を生成する。
【００１６】
画像合成部190は、被写体画像生成部140から出力される被写体画像データと、CG画像生成部180から出力されるCG画像データとを合成した表示すべき画像データを、表示装置に画像を表示するための表示部300へ出力する。
【００１７】
図2はステレオカメラ200の構成例を示すブロック図である。
【００１８】
201および202は撮影レンズで、これらの撮影レンズにより二つの視点における画像（ステレオ画像）が撮影される。CCD 203および204は、画像を電気信号として取り込むためのイメージセンサである。これら二つの撮像系それぞれの撮像レンズの光軸は、CCD 203および204の水平方向に対して左右に振り分けられ、平行に配置されている。
【００１９】
画像取込制御回路205および206は、CCD 203および204による画像の取り込みを制御するものである。画像信号処理部207および208は、CCD 203および204から出力されるアナログ画像信号を保持し、そのアナログ画像信号の利得を制御して階調補正を行うものである。A/D変換器209および210は、画像信号処理部207および208から出力されるアナログ画像信号をディジタル画像データに変換する。色信号処理回路211および212は、A/D変換器209および210から出力されるディジタル画像データを、RGB24ビット/画素のカラー画像データとして出力するためのものである。
【００２０】
なお、撮影レンズ201および202、並びに、CCD 203および204などの構成要素は左右同一の特性のものから構成されている。
【００２１】
以下では、本実施形態の三次元シーンを合成し表示する画像処理装置の動作を説明する。
【００２２】
撮影者がステレオカメラ200および画像処理装置の電源スイッチ（不図示）をオンにすると、画像取込制御回路205の制御により、撮影レンズ201を通してイメージセンサ203に結像した被写体の右視点の画像データが、画像信号処理部207、A/D変換器209および色信号処理回路211を介して得られる。同様に、画像取込制御回路206の制御により、撮影レンズ204を通してイメージセンサ204に結像した被写体の左視点の画像データが、画像信号処理部208、A/D変換器210および色信号処理回路212を介して得られる。得られた二つの画像データは、図示しない同期信号発生回路により発生される同期信号に同期して、同じタイミングで撮影された画像データとしてステレオカメラ200から出力される。
【００２３】
ステレオカメラ200から出力される左右一組の画像データは、撮影者によって図示しないシャッタボタンが押されると、それぞれ画像メモリ102および103に記憶される。そして、それら画像データのうち、画像メモリ102に記憶された左画像データが被写体画像生成部140に送られ、被写体画像生成部140は、画像合成部190を介してそのまま左画像データを表示部300に出力する。従って、表示装置には、ステレオカメラ200で撮影された左画像が表示されることになる。
【００２４】
視差抽出部110は、画像メモリ102に記憶された基準になる左画像を例えば矩形の小領域に分割し、その各領域ごとに、画像メモリ103に記憶された右画像の画像データの差分が最も少ない領域を対応する領域として抽出する。その抽出結果は、左右画像間の水平ずれ量（以下「視差」と称する）データとして出力される。
【００２５】
モデル生成部120は、視差抽出部110から出力された視差データの分布から三次元シーンのモデルデータを生成する。まず、モデル生成部120は、視差データ(u, v, d)を受け取る。ここで、(u, v)は左画像の画素座標を表す。つまり、イメージセンサと光軸との交点を原点とし、イメージセンサの水平方向および垂直方向にそれぞれu軸およびv軸を設定する。そして、座標(u, v)における視差をdとする。
【００２６】
そして、カメラパラメータに基づき、各視差データに対する左撮像系の視点を原点とする撮像面の三次元空間の座標、つまりイメージセンサの水平方向および垂直方向にそれぞれx軸およびy軸を、光軸方向にz軸を設定した場合の座標(x, y, z)を求める。カメラパラメータは、二つの撮像系のレンズ中心（視点）間の距離b（以下「基線長」と称する）、撮像系の焦点距離f（撮像系の光軸に沿った視点から撮像面までの距離）、および、画像データの画素間隔pよりなり、次式から三次元空間の座標(x, y, z)が求められる。求められた三次元空間の座標データにはそれぞれインデックスが付与される。
x = (b/d)・u
y = (b/d)・v …(1)
z = (f・b)/(p・d)
【００２７】
次に、モデル生成部120は、得られた三次元空間の座標データから三つのインデックスを組とする三角形データを形成する。三角形データの生成方法にはドロネー網として知られる方法などを用いる。そして、モデル生成部120は、三次元シーンのモデルデータとして式(1)により得た頂点データ、それぞれの頂点座標に対応する画像の座標および三角形データを出力する。
【００２８】
被写体画像生成部140は、モデル生成部120から出力される三次元シーンのモデルデータおよび仮想カメラのモデルをワールド座標系に設定し、仮想カメラの撮像面に透視投影により画像を描画する。三次元シーンモデルの画像は、三角形データおよび頂点データの組合わせから三角形を生成し、各頂点に対応する画像の座標で指定される左画像データの一部をテクスチャとしてマッピングすることにより生成される。このとき生成される画像の輝度（画素値）は、光源設定部130に設定される光源モデルの光源の明るさを表す係数と、被写体画像データの画素値との積として求められる。従って、生成される三次元シーンモデルの画像は、方向性のない光源（以下「環境光」と称する）で一様に照明された画像になる。また、光源モデルの光源の明るさを表す係数は、光源設定部130により変更可能であり、三次元シーンモデルの画像の明るさを変えることができる。
【００２９】
仮想カメラの初期位置および方向は、それぞれワールド座標系の頂点および三つの座標軸にxyz軸が一致するように合わせる。仮想カメラの焦点距離は、カメラパラメータ記憶部101のカメラパラメータである焦点距離から求める。また、仮想カメラの撮像面の大きさは、カメラパラメータ記憶部101のカメラパラメータである画素間隔および画像データの大きさから求める。
【００３０】
このようにして得られた仮想カメラの撮像面に透視投影により描画された画像の画像データは、画像合成部190に出力される。一方、初期状態では、CG画像生成部180の出力はなく、画像合成部190は表示部300に被写体画像生成部140の出力画像のみを出力し、表示装置には初期画像が表示される。
【００３１】
次に、CGモデルとの合成が指示されると、CG画像生成部180は、CGモデル記憶部160のモデルデータと、仮想カメラのモデルとをワールド座標系に設定し、仮想カメラの撮像面に透視投影により画像の描画を行う。この際の仮想カメラの設定位置および方向は、被写体画像生成部140と同様に求められる。このとき生成されるCGオブジェクト画像の輝度は、方向光によるCGオブジェクト画像の輝度と、環境光によるCGオブジェクト画像の輝度との和として求められる。
【００３２】
光源設定部170には、方向光の光源モデル、その設定位置および方向、並びに、環境光の光源モデルが設定される。従って、方向光によるCGオブジェクト画像の輝度は、光源設定部170の方向光の明るさを表す係数、方向光の位置および方向、並びに、モデルデータの位置、表面の面方向および表面の色情報から、陰影のある画像として求められる。また、環境光によるCGオブジェクト画像の輝度は、光源設定部170の環境光の係数および表面の色情報の積として求める。従って、CGモデルの画像は、方向光で照明され陰影が附加された画像になり、立体感のある画像になる。
【００３３】
生成されたCGオブジェクト画像は画像合成部190に出力され、被写体画像生成部140の出力画像に重ね合わされて、表示部300に三次元シーンとCGモデルとを合成した画像が表示される。また、光源設定部170における方向光や環境光の特性を表す値は変更可能であり、CGモデルの全体的な明るさと、モデルの表面形状を表現するための陰影との表示状態を変更することができる。また、ステレオカメラ200で撮影された被写体の画像およびCGモデルの画像の明るさおよび陰影を別々に操作し表示することもできる。
【００３４】
モデル操作部150は、キーボード、マウスなどのインタフェイスを介して、仮想カメラの移動および回転指示を被写体画像生成部140に伝える。そして、被写体画像生成部140は、その指示に従い仮想カメラの位置を移動し、方向を回転して、仮想カメラの撮像面に三次元シーンのモデルを再描画する。CG画像生成部180も同様に、仮想カメラの位置を移動し、方向を回転して、仮想カメラの撮像面にCGモデルを再描画する。そして、画像合成部190は、再描画された被写体画像とCG画像とを合成して、モデル操作部150により指示された仮想カメラの移動および回転が反映された画像を表示装置に表示する。
【００３５】
以上の動作により、ステレオカメラ200により撮影された画像から三次元シーンのモデルが生成され、CGオブジェクトと合成することにより、合成された三次元シーン中のウォークスルー再生が可能になる。しかも、ステレオカメラ200で撮影された三次元シーンの画像を違和感なく表示し、CGオブジェクトに陰影を付加した立体感のある画像として表示することができる。
【００３６】
なお、本実施形態では、複数の描画手段を設けて三次元シーンのモデルとCGモデルとから別々に画像を生成するようにしたので、CGオブジェクトのみを操作する場合には、CGモデルのみ描画すればよい。
【００３７】
以上説明したように、第1実施形態によれば、物体の三次元形状を表す複数の形状モデル、光源の特性を表す複数の光源モデル、カメラの特性を表すカメラモデル、仮想の三次元空間に前記複数の形状モデル、前記複数の光源モデルおよび前記カメラモデルをそれぞれ所定の位置および方向に設定して透視投影により合成画像を生成する画像生成部、並びに、前記合成画像を表示する表示部を有する三次元シーンを合成し表示する画像処理装置に、方向性を持たない光源モデルのみを設定する第一の光源設定部、および、少なくとも方向性をもつ光源モデルを設定する第二の光源設定部を備え、前記複数の形状モデルのうち少なくとも一つは表面のテクスチャ情報として画像データを有し、前記画像生成部は前記表面のテクスチャ情報として画像データを有する形状モデルのうち少なくとも一つを第一の光源設定部により設定される光源モデルで照明し、それ以外の形状モデルを第二の光源設定部により設定される光源モデルで照明した画像を生成するようにすることで、カメラで撮影された画像を三次元物体の表面に貼り付けた物体と、CGにより作成された三次元物体とを同一シーン中に混在させて表示する場合に、より自然な表示を得ることができる。
【００３８】
【第２実施形態】
以下、本発明にかかる第2実施形態の画像処理装置を説明する。なお、本実施形態において、第1実施形態と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００３９】
図3は第2実施形態の三次元シーンを合成し表示する画像処理装置の機能構成の一例を示すブロック図である。
【００４０】
モデル合成部400は、CGモデル操作部420を介して指示される三次元空間のCGオブジェクトの移動および回転操作を表すデータに従い、モデル生成部120により生成された三次元シーンのモデルと、CGモデル記憶部160に記憶されたモデルとを合成し、合成されたモデルと光源モデルとを出力する。
【００４１】
光源設定部410は、三次元シーンのモデルと、CGモデルのそれぞれモデルに対する光源モデルを設定する。
【００４２】
画像生成部440は、カメラ操作部430を介して指示される三次元空間の仮想カメラの移動および回転操作を表すデータに従い、画像メモリ102に記憶されている左画像データ、カメラパラメータ記憶部101に記憶されているカメラパラメータ、並びに、モデル合成部400から出力されるモデルおよび光源モデルから画像を生成する。
【００４３】
次に、第2実施形態の三次元シーンを合成し表示する画像処理装置の動作を説明する。
【００４４】
撮影者がカメラの電源スイッチ（不図示）をオンすると、第1実施形態と同様に、左右の画像データがそれぞれ画像メモリ102および103に記憶される。そして、左右の画像データのうち、画像メモリ102に記憶された左画像データが画像生成部440に送られる。画像生成部440からは左画像データをそのまま表示部300に出力されるので、表示装置にはステレオカメラ200で撮影された左画像が表示される。また、視差抽出部110およびモデル生成部120は、第1実施形態と同様に動作し、三次元シーンのモデルデータをモデル合成部400に出力する。
【００４５】
次に、CGモデルとの合成が指示されると、モデル合成部400は、モデル生成部120で生成された三次元シーンのモデルデータと、CGモデル記憶部160に記憶されているCGモデルとを一つのモデルに統合する。このとき、それぞれのモデルデータは、光源設定部410に設定されているそれぞれのモデルに対する光源モデルに関連付けられる。三次元シーンのモデルデータに対応した光源モデルは環境光のみで、CGモデルに対応した光源モデルは環境光および方向光の両方のモデルをもつ。
【００４６】
また、CGモデルのモデルデータは、三次元シーンのワールド座標系と、CGモデルのワールド座標系との相対的な位置関係を表す移動および回転パラメータとも関連付けられる。なお、初期状態では、三次元シーンのワールド座標系と、CGモデルのワールド座標系との相対的な位置関係は一致されている。
【００４７】
統合されたモデルデータは、三次元シーンおよびCGのモデルデータ、それぞれのモデルデータに対応した光源モデル、並びに、三次元シーンのワールド座標系およびCGモデルのワールド座標系の相対的な位置関係を表すパラメータを含む。
【００４８】
画像生成部440は、モデル合成部400の出力である統合されたモデルデータおよび仮想カメラを三次元シーンのワールド座標系に設定し、仮想カメラの撮像面に透視投影により画像を描画する。三次元シーンモデルの画像は、三角形データおよび頂点データの組合わせから三角形を生成し、各頂点に対応する画像の座標で指定される左画像データの一部をテクスチャとしてマッピングすることにより生成される。
【００４９】
このとき生成される三次元シーンモデルの画像の輝度（画素値）は、光源設定部410に設定されている三次元シーンモデルに対応した光源モデルの環境光の明るさを表す係数と、被写体画像データの画素値の積として求められる。また、CGモデルの画像の輝度は、光源設定部410に設定されているCGモデルに対応した光源モデルから方向光によるCGオブジェクトの画像の輝度と、環境光によるCGオブジェクトの画像の輝度の和として求められる。従って、生成される三次元シーンモデルの画像は、方向性のない光源（環境光）で一様に照明された画像になる。また、CGモデルの画像は、方向光で照明された陰影が付加された画像になり、立体感のある画像になる。
【００５０】
このようにして描画された画像は、表示部300に出力され、三次元シーンとCGモデルを合成した画像が表示装置に表示される。
【００５１】
CGモデル操作部420は、キーボードおよびマウスなどのインタフェイスを介して、CGモデルの移動および回転指示をモデル合成部400に伝える。そして、モデル合成部400はその指示に従い、三次元シーンのワールド座標系と、CGモデルのワールド座標系との相対的な位置関係を表す移動および回転パラメータを変更する。画像生成部440は変更されたパラメータに従い、CGモデルの画像の描画を行い、表示装置にはCGモデルに移動および/または回転が反映された画像が表示されることになる。
【００５２】
カメラ操作部430は、キーボードおよびマウスなどのインタフェイスを介して、仮想カメラの移動および回転指示を画像生成部440に伝える。その指示に従い、画像生成部440は、仮想カメラの位置の移動および/または方向を回転し、仮想カメラの撮像面に三次元シーンモデルおよびCGモデルを再描画する。そして、カメラ操作部430により指示された仮想カメラの移動および/または回転が反映された画像が表示装置に表示されることになる。
【００５３】
このように、第2実施形態では、三次元シーンのモデルとCGモデルとを合成して、画像生成部410において描画を行うので、複数の描画手段を設ける必要がない。また、三次元シーンのモデルおよびCGモデルにそれぞれの光源データを関連付けているので、三次元シーンのモデルは環境光で一様に照明された画像が、CGモデルは環境光と方向光で照明された陰影が付加された画像が、一つの描画手段により生成され表示装置に表示される。
【００５４】
また、上記の各実施形態は、画像合成部190あるいは画像生成部440で生成される画像を記録する構成をもたないが、所望のカメラ位置および方向の画像が得られたことを表示部300で確認した後、その画像を記録媒体に記録することもできる。
【００５５】
上記の各実施形態においては、ステレオカメラ200から直接ステレオ画像を取得して、三次元モデルの生成処理を行う構成としたが、ステレオカメラ200で撮影された画像をカメラに着脱自在な記録媒体に記録し、その記録媒体に記録されたステレオ画像について、画像メモリ102および103に記憶された画像と同様の処理を行うように装置を構成することもできる。
【００５６】
また、ステレオ画像は、ステレオカメラ200によって撮影されたものに限らず、通常のディジタルカメラを利用して視点を変えて撮影された複数の画像を用いることもできる。
【００５７】
以上説明したように、第2実施形態によれば、第1実施形態の効果に加えて、異なる視点で撮影された互いに視野の重なる複数の被写体画像から視差分布を抽出する視差抽出部と、視差分布から被写体の三次元形状を表す形状モデルを生成する被写体モデル生成部とを有し、複数の形状モデルのうち少なくとも一つは、被写体モデル生成部により生成された形状モデルであり、複数の被写体画像のうち少なくとも一つの画像の表面のテクスチャ情報を有するよう構成したので、カメラで撮影した画像をテクスチャとして貼り付けた三次元シーンのモデルを、複雑な作業を行うことなく生成でき、CGで作成した三次元物体と合成することができる。
【００５８】
【第３実施形態】
上記の各実施形態では、画像処理装置をハードウェアで構成する例を説明したが、それらの処理部をソフトウェアの処理モジュールに置き換えたプログラムをコンピュータで実行しても同じ結果を得ることができる。
【００５９】
以下では、第1実施形態の構成をソフトウェアの処理モジュールに置き換えた例を第3実施形態として説明する。図4は第3実施形態の構成例を示すフローチャートである。
【００６０】
ステップS10で画像データを取得する。ここで取得される画像データは、例えば、第1実施形態のステレオカメラ200で撮影された左右の画像データである。
【００６１】
次に、ステップS11で、取得された画像データのカメラパラメータを取得し、ステップS12で、取得された左右の画像データから視差分布を抽出する。この視差分布の抽出処理は、第1実施形態における視差抽出部110と同様の処理である。
【００６２】
ステップS13では、取得されたカメラパラメータおよび抽出された視差分布から三次元シーンのモデルデータを生成する。この三次元シーンモデルの生成処理は、第1の実施形態におけるモデル生成部120と同様の処理である。
【００６３】
ステップS14では、生成された三次元シーンモデルに対する光源の設定を行い、ステップS15でCGオブジェクトのモデルデータを取得し、ステップS16で、取得されたCGモデルに対する光源の設定を行い、ステップS17で仮想カメラおよびCGオブジェクトの位置および方向に関する初期状態を設定する。
【００６４】
ステップS18では、生成された三次元シーンのモデルデータ、取得された画像データのうち左画像データ、取得されたカメラパラメータ、設定された三次元シーンモデルに対する光源、および、設定された仮想カメラの初期状態データから三次元シーンモデルの画像を生成する。この三次元シーンモデルの画像生成処理は、第1実施形態における被写体画像生成部140と同様の処理である。
【００６５】
次に、ステップS19で、取得されたCGオブジェクトのモデルデータ、取得されたカメラパラメータ、設定されたCGモデルに対する光源データ、および、設定された仮想カメラおよびCGオブジェクトの初期状態データからCGモデルの画像を生成する。このCGモデルの画像生成処理は、第1実施形態におけるCG画像生成部180と同様の処理である。
【００６６】
続いて、ステップS20で、生成された三次元シーンモデルの画像データおよび生成されたCGモデルの画像データを合成し、ステップS21で、合成された画像データをコンピュータの表示装置に表示し、ステップS22で、ユーザがキーボードやマウスなどのインタフェイスを介して行った仮想カメラおよびCGオブジェクトの移動および回転操作のパラメータを取得し、ステップS23で、取得されたパラメータに応じて処理を分岐する。
【００６７】
CGオブジェクトの移動および回転操作を示すパラメータが取得された場合、処理はステップS19に戻り、再描画が行われる。また、仮想カメラの移動および回転操作を示すパラメータが取得された場合、処理はステップS18に戻り、再描画が行われる。また、表示終了を示すパラメータが取得された場合は処理プログラムを終了する。
【００６８】
なお、図4には示さないが、ステップS22で画像の記録を示すパラメータが取得された場合は合成された画像を記録媒体に格納する。
【００６９】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００７０】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOS（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７１】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７２】
【発明の効果】
以上説明したように、本発明によれば、撮影された画像から作成される被写体画像と、 CG 画像を合成する場合に、自然な合成画像を得ることができる。
【図面の簡単な説明】
【図１】第1実施形態の三次元シーンを合成し表示する画像処理装置の機能構成の一例を示すブロック図、
【図２】図1に示すステレオカメラの構成例を示すブロック図、
【図３】第2実施形態の三次元シーンを合成し表示する画像処理装置の機能構成の一例を示すブロック図、
【図４】第3実施形態の構成例を示すフローチャートである。
【発明の属する技術分野】
本発明は、撮影された画像から作成される被写体画像と、 CG 画像を合成する画像処理に関する。
【０００２】
【従来の技術】
三次元コンピュータグラフィックス(CG)システムにより、三次元の物体または複数の三次元物体を含むシーン(scene)のモデルを作成して、ユーザが移動および回転などの操作を指示することにより、CGで作成した三次元空間内を仮想的にウォークスルーできるシステムがある。
【０００３】
【発明が解決しようとする課題】
しかしながら、CGを作成するには複雑な作業を必要する上、CGシステムにより作成された三次元物体（以下「三次元CG物体」と呼ぶ）の表面も一般に単一色である。これに対して、現実の物体の表面は様々な色やテクスチャに覆われている。そのため、CGで作成した三次元空間内のウォークスルーは臨場感が欠けたものになり易い。
【０００４】
一方、カメラで撮影された画像（以下「カメラ画像」と呼ぶ）を、三次元CG物体の表面に貼り付けることも可能であるが、モデルの作成はさらに複雑になる。さらに、カメラ画像をその表面に貼り付けた三次元CG物体と、三次元CG物体とを同一シーン中に混在させると次の問題がある。
【０００５】
CGで作成された物体に立体感をもたせるには、その物体が方向性のある光（以下「方向光」と称する）で照明されているように表示する必要があるが、カメラ画像には元もと陰影が含まれているので、カメラ画像を貼り付けた物体を方向光で照明されているように表示すると極めて不自然な画像になる。
【０００６】
本発明は、撮影された画像から作成される被写体画像と、 CG 画像を合成する場合に、自然な合成画像を得ることを目的とする。
【０００８】
【課題を解決するための手段】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【０００９】
本発明にかかる画像処理装置は、方向性をもたない光源モデルを設定する第一の設定手段と、方向性をもつ光源モデルを設定する第二の設定手段と、カメラによって撮影された画像データを取得する取得手段と、仮想カメラの位置を設定する第三の設定手段と、前記画像データをテクスチャ情報として使用し、前記仮想カメラの位置と前記方向性をもたない光源モデルに応じて、被写体画像を生成する被写体画像生成手段と、 CG モデル、前記仮想カメラの位置、前記方向性をもたない光源モデル、および、前記方向性をもつ光源モデルを用いて、 CG画像を生成する CG 画像生成手段と、前記被写体画像と前記 CG 画像を合成した合成画像を生成する合成手段とを有することを特徴とする。
【００１０】
本発明にかかる画像処理方法は、方向性をもたない光源モデルを設定するステップと、方向性をもつ光源モデルを設定するステップと、カメラによって撮影された画像データを取得するステップと、仮想カメラの位置を設定する設定ステップと、前記画像データをテクスチャ情報として使用し、前記仮想カメラの位置と前記方向性をもたない光源モデルに応じて、被写体画像を生成する被写体画像生成ステップと、 CG モデル、前記仮想カメラの位置、前記方向性をもたない光源モデル、および、前記方向性をもつ光源モデルを用いて、 CG 画像を生成する CG 画像生成ステップと、前記被写体画像と前記 CG 画像を合成した合成画像を生成する合成ステップとを有することを特徴とする。
【００１１】
【発明の実施の形態】
以下、本発明にかかる一実施形態の画像処理装置を図面を参照して詳細に説明する。
【００１２】
【第１実施形態】
図1は本発明にかかる第1実施形態の三次元シーンを合成し表示する画像処理装置の機能構成の一例を示すブロック図である。
【００１３】
ステレオカメラ200は左右二系統の画像データを出力する。カメラパラメータ記憶部101は、ステレオカメラ200から出力された左右の画像データのカメラパラメータを記憶する。画像メモリ102および103は、ステレオカメラ200から出力された左右の画像データをそれぞれ一画面分記憶する。視差抽出部110は、画像メモリ102および103に記憶されている左右の画像データの視差分布を抽出して出力する。モデル生成部120は、視差抽出部110の出力である視差分布と、カメラパラメータ記憶部101に記憶されているカメラパラメータとから三次元シーンのモデルデータを生成して出力する。
【００１４】
光源設定部130は、モデル生成部120で生成された三次元シーンのモデルデータに対する光源モデルを設定する。被写体画像生成部140は、モデル操作部150を介して入力される三次元空間上での移動および回転操作を表すデータに従い、光源設定部130により設定された光源モデル、画像メモリ102に記憶されている左画像データ、カメラパラメータ記憶部101に記憶されているカメラパラメータ、および、モデル生成部120から出力される三次元シーンのモデルデータから画像を生成する。
【００１５】
CGモデル記憶部160は、予め作制されたCGオブジェクトのモデルを記憶する。光源設定部170は、CGモデル記憶部160に記憶されたモデルに対する光源モデルを設定する。CG画像生成部180は、モデル操作部150を介して入力される三次元空間上での移動および回転操作を表すデータに従い、光源設定部170で設定された光源モデル、カメラパラメータ記憶部101に記憶されているカメラパラメータ、および、CGモデル記憶部160に記憶されたモデルデータから画像を生成する。
【００１６】
画像合成部190は、被写体画像生成部140から出力される被写体画像データと、CG画像生成部180から出力されるCG画像データとを合成した表示すべき画像データを、表示装置に画像を表示するための表示部300へ出力する。
【００１７】
図2はステレオカメラ200の構成例を示すブロック図である。
【００１８】
201および202は撮影レンズで、これらの撮影レンズにより二つの視点における画像（ステレオ画像）が撮影される。CCD 203および204は、画像を電気信号として取り込むためのイメージセンサである。これら二つの撮像系それぞれの撮像レンズの光軸は、CCD 203および204の水平方向に対して左右に振り分けられ、平行に配置されている。
【００１９】
画像取込制御回路205および206は、CCD 203および204による画像の取り込みを制御するものである。画像信号処理部207および208は、CCD 203および204から出力されるアナログ画像信号を保持し、そのアナログ画像信号の利得を制御して階調補正を行うものである。A/D変換器209および210は、画像信号処理部207および208から出力されるアナログ画像信号をディジタル画像データに変換する。色信号処理回路211および212は、A/D変換器209および210から出力されるディジタル画像データを、RGB24ビット/画素のカラー画像データとして出力するためのものである。
【００２０】
なお、撮影レンズ201および202、並びに、CCD 203および204などの構成要素は左右同一の特性のものから構成されている。
【００２１】
以下では、本実施形態の三次元シーンを合成し表示する画像処理装置の動作を説明する。
【００２２】
撮影者がステレオカメラ200および画像処理装置の電源スイッチ（不図示）をオンにすると、画像取込制御回路205の制御により、撮影レンズ201を通してイメージセンサ203に結像した被写体の右視点の画像データが、画像信号処理部207、A/D変換器209および色信号処理回路211を介して得られる。同様に、画像取込制御回路206の制御により、撮影レンズ204を通してイメージセンサ204に結像した被写体の左視点の画像データが、画像信号処理部208、A/D変換器210および色信号処理回路212を介して得られる。得られた二つの画像データは、図示しない同期信号発生回路により発生される同期信号に同期して、同じタイミングで撮影された画像データとしてステレオカメラ200から出力される。
【００２３】
ステレオカメラ200から出力される左右一組の画像データは、撮影者によって図示しないシャッタボタンが押されると、それぞれ画像メモリ102および103に記憶される。そして、それら画像データのうち、画像メモリ102に記憶された左画像データが被写体画像生成部140に送られ、被写体画像生成部140は、画像合成部190を介してそのまま左画像データを表示部300に出力する。従って、表示装置には、ステレオカメラ200で撮影された左画像が表示されることになる。
【００２４】
視差抽出部110は、画像メモリ102に記憶された基準になる左画像を例えば矩形の小領域に分割し、その各領域ごとに、画像メモリ103に記憶された右画像の画像データの差分が最も少ない領域を対応する領域として抽出する。その抽出結果は、左右画像間の水平ずれ量（以下「視差」と称する）データとして出力される。
【００２５】
モデル生成部120は、視差抽出部110から出力された視差データの分布から三次元シーンのモデルデータを生成する。まず、モデル生成部120は、視差データ(u, v, d)を受け取る。ここで、(u, v)は左画像の画素座標を表す。つまり、イメージセンサと光軸との交点を原点とし、イメージセンサの水平方向および垂直方向にそれぞれu軸およびv軸を設定する。そして、座標(u, v)における視差をdとする。
【００２６】
そして、カメラパラメータに基づき、各視差データに対する左撮像系の視点を原点とする撮像面の三次元空間の座標、つまりイメージセンサの水平方向および垂直方向にそれぞれx軸およびy軸を、光軸方向にz軸を設定した場合の座標(x, y, z)を求める。カメラパラメータは、二つの撮像系のレンズ中心（視点）間の距離b（以下「基線長」と称する）、撮像系の焦点距離f（撮像系の光軸に沿った視点から撮像面までの距離）、および、画像データの画素間隔pよりなり、次式から三次元空間の座標(x, y, z)が求められる。求められた三次元空間の座標データにはそれぞれインデックスが付与される。
x = (b/d)・u
y = (b/d)・v …(1)
z = (f・b)/(p・d)
【００２７】
次に、モデル生成部120は、得られた三次元空間の座標データから三つのインデックスを組とする三角形データを形成する。三角形データの生成方法にはドロネー網として知られる方法などを用いる。そして、モデル生成部120は、三次元シーンのモデルデータとして式(1)により得た頂点データ、それぞれの頂点座標に対応する画像の座標および三角形データを出力する。
【００２８】
被写体画像生成部140は、モデル生成部120から出力される三次元シーンのモデルデータおよび仮想カメラのモデルをワールド座標系に設定し、仮想カメラの撮像面に透視投影により画像を描画する。三次元シーンモデルの画像は、三角形データおよび頂点データの組合わせから三角形を生成し、各頂点に対応する画像の座標で指定される左画像データの一部をテクスチャとしてマッピングすることにより生成される。このとき生成される画像の輝度（画素値）は、光源設定部130に設定される光源モデルの光源の明るさを表す係数と、被写体画像データの画素値との積として求められる。従って、生成される三次元シーンモデルの画像は、方向性のない光源（以下「環境光」と称する）で一様に照明された画像になる。また、光源モデルの光源の明るさを表す係数は、光源設定部130により変更可能であり、三次元シーンモデルの画像の明るさを変えることができる。
【００２９】
仮想カメラの初期位置および方向は、それぞれワールド座標系の頂点および三つの座標軸にxyz軸が一致するように合わせる。仮想カメラの焦点距離は、カメラパラメータ記憶部101のカメラパラメータである焦点距離から求める。また、仮想カメラの撮像面の大きさは、カメラパラメータ記憶部101のカメラパラメータである画素間隔および画像データの大きさから求める。
【００３０】
このようにして得られた仮想カメラの撮像面に透視投影により描画された画像の画像データは、画像合成部190に出力される。一方、初期状態では、CG画像生成部180の出力はなく、画像合成部190は表示部300に被写体画像生成部140の出力画像のみを出力し、表示装置には初期画像が表示される。
【００３１】
次に、CGモデルとの合成が指示されると、CG画像生成部180は、CGモデル記憶部160のモデルデータと、仮想カメラのモデルとをワールド座標系に設定し、仮想カメラの撮像面に透視投影により画像の描画を行う。この際の仮想カメラの設定位置および方向は、被写体画像生成部140と同様に求められる。このとき生成されるCGオブジェクト画像の輝度は、方向光によるCGオブジェクト画像の輝度と、環境光によるCGオブジェクト画像の輝度との和として求められる。
【００３２】
光源設定部170には、方向光の光源モデル、その設定位置および方向、並びに、環境光の光源モデルが設定される。従って、方向光によるCGオブジェクト画像の輝度は、光源設定部170の方向光の明るさを表す係数、方向光の位置および方向、並びに、モデルデータの位置、表面の面方向および表面の色情報から、陰影のある画像として求められる。また、環境光によるCGオブジェクト画像の輝度は、光源設定部170の環境光の係数および表面の色情報の積として求める。従って、CGモデルの画像は、方向光で照明され陰影が附加された画像になり、立体感のある画像になる。
【００３３】
生成されたCGオブジェクト画像は画像合成部190に出力され、被写体画像生成部140の出力画像に重ね合わされて、表示部300に三次元シーンとCGモデルとを合成した画像が表示される。また、光源設定部170における方向光や環境光の特性を表す値は変更可能であり、CGモデルの全体的な明るさと、モデルの表面形状を表現するための陰影との表示状態を変更することができる。また、ステレオカメラ200で撮影された被写体の画像およびCGモデルの画像の明るさおよび陰影を別々に操作し表示することもできる。
【００３４】
モデル操作部150は、キーボード、マウスなどのインタフェイスを介して、仮想カメラの移動および回転指示を被写体画像生成部140に伝える。そして、被写体画像生成部140は、その指示に従い仮想カメラの位置を移動し、方向を回転して、仮想カメラの撮像面に三次元シーンのモデルを再描画する。CG画像生成部180も同様に、仮想カメラの位置を移動し、方向を回転して、仮想カメラの撮像面にCGモデルを再描画する。そして、画像合成部190は、再描画された被写体画像とCG画像とを合成して、モデル操作部150により指示された仮想カメラの移動および回転が反映された画像を表示装置に表示する。
【００３５】
以上の動作により、ステレオカメラ200により撮影された画像から三次元シーンのモデルが生成され、CGオブジェクトと合成することにより、合成された三次元シーン中のウォークスルー再生が可能になる。しかも、ステレオカメラ200で撮影された三次元シーンの画像を違和感なく表示し、CGオブジェクトに陰影を付加した立体感のある画像として表示することができる。
【００３６】
なお、本実施形態では、複数の描画手段を設けて三次元シーンのモデルとCGモデルとから別々に画像を生成するようにしたので、CGオブジェクトのみを操作する場合には、CGモデルのみ描画すればよい。
【００３７】
以上説明したように、第1実施形態によれば、物体の三次元形状を表す複数の形状モデル、光源の特性を表す複数の光源モデル、カメラの特性を表すカメラモデル、仮想の三次元空間に前記複数の形状モデル、前記複数の光源モデルおよび前記カメラモデルをそれぞれ所定の位置および方向に設定して透視投影により合成画像を生成する画像生成部、並びに、前記合成画像を表示する表示部を有する三次元シーンを合成し表示する画像処理装置に、方向性を持たない光源モデルのみを設定する第一の光源設定部、および、少なくとも方向性をもつ光源モデルを設定する第二の光源設定部を備え、前記複数の形状モデルのうち少なくとも一つは表面のテクスチャ情報として画像データを有し、前記画像生成部は前記表面のテクスチャ情報として画像データを有する形状モデルのうち少なくとも一つを第一の光源設定部により設定される光源モデルで照明し、それ以外の形状モデルを第二の光源設定部により設定される光源モデルで照明した画像を生成するようにすることで、カメラで撮影された画像を三次元物体の表面に貼り付けた物体と、CGにより作成された三次元物体とを同一シーン中に混在させて表示する場合に、より自然な表示を得ることができる。
【００３８】
【第２実施形態】
以下、本発明にかかる第2実施形態の画像処理装置を説明する。なお、本実施形態において、第1実施形態と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００３９】
図3は第2実施形態の三次元シーンを合成し表示する画像処理装置の機能構成の一例を示すブロック図である。
【００４０】
モデル合成部400は、CGモデル操作部420を介して指示される三次元空間のCGオブジェクトの移動および回転操作を表すデータに従い、モデル生成部120により生成された三次元シーンのモデルと、CGモデル記憶部160に記憶されたモデルとを合成し、合成されたモデルと光源モデルとを出力する。
【００４１】
光源設定部410は、三次元シーンのモデルと、CGモデルのそれぞれモデルに対する光源モデルを設定する。
【００４２】
画像生成部440は、カメラ操作部430を介して指示される三次元空間の仮想カメラの移動および回転操作を表すデータに従い、画像メモリ102に記憶されている左画像データ、カメラパラメータ記憶部101に記憶されているカメラパラメータ、並びに、モデル合成部400から出力されるモデルおよび光源モデルから画像を生成する。
【００４３】
次に、第2実施形態の三次元シーンを合成し表示する画像処理装置の動作を説明する。
【００４４】
撮影者がカメラの電源スイッチ（不図示）をオンすると、第1実施形態と同様に、左右の画像データがそれぞれ画像メモリ102および103に記憶される。そして、左右の画像データのうち、画像メモリ102に記憶された左画像データが画像生成部440に送られる。画像生成部440からは左画像データをそのまま表示部300に出力されるので、表示装置にはステレオカメラ200で撮影された左画像が表示される。また、視差抽出部110およびモデル生成部120は、第1実施形態と同様に動作し、三次元シーンのモデルデータをモデル合成部400に出力する。
【００４５】
次に、CGモデルとの合成が指示されると、モデル合成部400は、モデル生成部120で生成された三次元シーンのモデルデータと、CGモデル記憶部160に記憶されているCGモデルとを一つのモデルに統合する。このとき、それぞれのモデルデータは、光源設定部410に設定されているそれぞれのモデルに対する光源モデルに関連付けられる。三次元シーンのモデルデータに対応した光源モデルは環境光のみで、CGモデルに対応した光源モデルは環境光および方向光の両方のモデルをもつ。
【００４６】
また、CGモデルのモデルデータは、三次元シーンのワールド座標系と、CGモデルのワールド座標系との相対的な位置関係を表す移動および回転パラメータとも関連付けられる。なお、初期状態では、三次元シーンのワールド座標系と、CGモデルのワールド座標系との相対的な位置関係は一致されている。
【００４７】
統合されたモデルデータは、三次元シーンおよびCGのモデルデータ、それぞれのモデルデータに対応した光源モデル、並びに、三次元シーンのワールド座標系およびCGモデルのワールド座標系の相対的な位置関係を表すパラメータを含む。
【００４８】
画像生成部440は、モデル合成部400の出力である統合されたモデルデータおよび仮想カメラを三次元シーンのワールド座標系に設定し、仮想カメラの撮像面に透視投影により画像を描画する。三次元シーンモデルの画像は、三角形データおよび頂点データの組合わせから三角形を生成し、各頂点に対応する画像の座標で指定される左画像データの一部をテクスチャとしてマッピングすることにより生成される。
【００４９】
このとき生成される三次元シーンモデルの画像の輝度（画素値）は、光源設定部410に設定されている三次元シーンモデルに対応した光源モデルの環境光の明るさを表す係数と、被写体画像データの画素値の積として求められる。また、CGモデルの画像の輝度は、光源設定部410に設定されているCGモデルに対応した光源モデルから方向光によるCGオブジェクトの画像の輝度と、環境光によるCGオブジェクトの画像の輝度の和として求められる。従って、生成される三次元シーンモデルの画像は、方向性のない光源（環境光）で一様に照明された画像になる。また、CGモデルの画像は、方向光で照明された陰影が付加された画像になり、立体感のある画像になる。
【００５０】
このようにして描画された画像は、表示部300に出力され、三次元シーンとCGモデルを合成した画像が表示装置に表示される。
【００５１】
CGモデル操作部420は、キーボードおよびマウスなどのインタフェイスを介して、CGモデルの移動および回転指示をモデル合成部400に伝える。そして、モデル合成部400はその指示に従い、三次元シーンのワールド座標系と、CGモデルのワールド座標系との相対的な位置関係を表す移動および回転パラメータを変更する。画像生成部440は変更されたパラメータに従い、CGモデルの画像の描画を行い、表示装置にはCGモデルに移動および/または回転が反映された画像が表示されることになる。
【００５２】
カメラ操作部430は、キーボードおよびマウスなどのインタフェイスを介して、仮想カメラの移動および回転指示を画像生成部440に伝える。その指示に従い、画像生成部440は、仮想カメラの位置の移動および/または方向を回転し、仮想カメラの撮像面に三次元シーンモデルおよびCGモデルを再描画する。そして、カメラ操作部430により指示された仮想カメラの移動および/または回転が反映された画像が表示装置に表示されることになる。
【００５３】
このように、第2実施形態では、三次元シーンのモデルとCGモデルとを合成して、画像生成部410において描画を行うので、複数の描画手段を設ける必要がない。また、三次元シーンのモデルおよびCGモデルにそれぞれの光源データを関連付けているので、三次元シーンのモデルは環境光で一様に照明された画像が、CGモデルは環境光と方向光で照明された陰影が付加された画像が、一つの描画手段により生成され表示装置に表示される。
【００５４】
また、上記の各実施形態は、画像合成部190あるいは画像生成部440で生成される画像を記録する構成をもたないが、所望のカメラ位置および方向の画像が得られたことを表示部300で確認した後、その画像を記録媒体に記録することもできる。
【００５５】
上記の各実施形態においては、ステレオカメラ200から直接ステレオ画像を取得して、三次元モデルの生成処理を行う構成としたが、ステレオカメラ200で撮影された画像をカメラに着脱自在な記録媒体に記録し、その記録媒体に記録されたステレオ画像について、画像メモリ102および103に記憶された画像と同様の処理を行うように装置を構成することもできる。
【００５６】
また、ステレオ画像は、ステレオカメラ200によって撮影されたものに限らず、通常のディジタルカメラを利用して視点を変えて撮影された複数の画像を用いることもできる。
【００５７】
以上説明したように、第2実施形態によれば、第1実施形態の効果に加えて、異なる視点で撮影された互いに視野の重なる複数の被写体画像から視差分布を抽出する視差抽出部と、視差分布から被写体の三次元形状を表す形状モデルを生成する被写体モデル生成部とを有し、複数の形状モデルのうち少なくとも一つは、被写体モデル生成部により生成された形状モデルであり、複数の被写体画像のうち少なくとも一つの画像の表面のテクスチャ情報を有するよう構成したので、カメラで撮影した画像をテクスチャとして貼り付けた三次元シーンのモデルを、複雑な作業を行うことなく生成でき、CGで作成した三次元物体と合成することができる。
【００５８】
【第３実施形態】
上記の各実施形態では、画像処理装置をハードウェアで構成する例を説明したが、それらの処理部をソフトウェアの処理モジュールに置き換えたプログラムをコンピュータで実行しても同じ結果を得ることができる。
【００５９】
以下では、第1実施形態の構成をソフトウェアの処理モジュールに置き換えた例を第3実施形態として説明する。図4は第3実施形態の構成例を示すフローチャートである。
【００６０】
ステップS10で画像データを取得する。ここで取得される画像データは、例えば、第1実施形態のステレオカメラ200で撮影された左右の画像データである。
【００６１】
次に、ステップS11で、取得された画像データのカメラパラメータを取得し、ステップS12で、取得された左右の画像データから視差分布を抽出する。この視差分布の抽出処理は、第1実施形態における視差抽出部110と同様の処理である。
【００６２】
ステップS13では、取得されたカメラパラメータおよび抽出された視差分布から三次元シーンのモデルデータを生成する。この三次元シーンモデルの生成処理は、第1の実施形態におけるモデル生成部120と同様の処理である。
【００６３】
ステップS14では、生成された三次元シーンモデルに対する光源の設定を行い、ステップS15でCGオブジェクトのモデルデータを取得し、ステップS16で、取得されたCGモデルに対する光源の設定を行い、ステップS17で仮想カメラおよびCGオブジェクトの位置および方向に関する初期状態を設定する。
【００６４】
ステップS18では、生成された三次元シーンのモデルデータ、取得された画像データのうち左画像データ、取得されたカメラパラメータ、設定された三次元シーンモデルに対する光源、および、設定された仮想カメラの初期状態データから三次元シーンモデルの画像を生成する。この三次元シーンモデルの画像生成処理は、第1実施形態における被写体画像生成部140と同様の処理である。
【００６５】
次に、ステップS19で、取得されたCGオブジェクトのモデルデータ、取得されたカメラパラメータ、設定されたCGモデルに対する光源データ、および、設定された仮想カメラおよびCGオブジェクトの初期状態データからCGモデルの画像を生成する。このCGモデルの画像生成処理は、第1実施形態におけるCG画像生成部180と同様の処理である。
【００６６】
続いて、ステップS20で、生成された三次元シーンモデルの画像データおよび生成されたCGモデルの画像データを合成し、ステップS21で、合成された画像データをコンピュータの表示装置に表示し、ステップS22で、ユーザがキーボードやマウスなどのインタフェイスを介して行った仮想カメラおよびCGオブジェクトの移動および回転操作のパラメータを取得し、ステップS23で、取得されたパラメータに応じて処理を分岐する。
【００６７】
CGオブジェクトの移動および回転操作を示すパラメータが取得された場合、処理はステップS19に戻り、再描画が行われる。また、仮想カメラの移動および回転操作を示すパラメータが取得された場合、処理はステップS18に戻り、再描画が行われる。また、表示終了を示すパラメータが取得された場合は処理プログラムを終了する。
【００６８】
なお、図4には示さないが、ステップS22で画像の記録を示すパラメータが取得された場合は合成された画像を記録媒体に格納する。
【００６９】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００７０】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOS（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７１】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７２】
【発明の効果】
以上説明したように、本発明によれば、撮影された画像から作成される被写体画像と、 CG 画像を合成する場合に、自然な合成画像を得ることができる。
【図面の簡単な説明】
【図１】第1実施形態の三次元シーンを合成し表示する画像処理装置の機能構成の一例を示すブロック図、
【図２】図1に示すステレオカメラの構成例を示すブロック図、
【図３】第2実施形態の三次元シーンを合成し表示する画像処理装置の機能構成の一例を示すブロック図、
【図４】第3実施形態の構成例を示すフローチャートである。
Claims (8)
- 方向性をもたない光源モデルを設定する第一の設定手段と、
方向性をもつ光源モデルを設定する第二の設定手段と、
カメラによって撮影された画像データを取得する取得手段と、
仮想カメラの位置を設定する第三の設定手段と、
前記画像データをテクスチャ情報として使用し、前記仮想カメラの位置と前記方向性をもたない光源モデルに応じて、被写体画像を生成する被写体画像生成手段と、
CG モデル、前記仮想カメラの位置、前記方向性をもたない光源モデル、および、前記方向性をもつ光源モデルを用いて、 CG画像を生成する CG 画像生成手段と、
前記被写体画像と前記 CG 画像を合成した合成画像を生成する合成手段とを有することを特徴とする画像処理装置。 - さらに、前記画像データが含む、前記カメラによって異なる視点で撮影された互いに視野の重なる複数の被写体画像データから視差分布を抽出する抽出手段と、
前記視差分布から前記カメラが撮影した被写体の三次元形状を表す形状モデルを生成する被写体モデル生成手段とを有し、
前記被写体画像生成手段は、前記形状モデルに基づき、三次元シーンを表す被写体画像を生成することを特徴とする請求項1に記載された画像処理装置。 - 前記第三の設定手段によって前記仮想カメラの位置が変更された場合、前記被写体画像生成手段、前記 CG画像生成手段および前記合成手段は、前記合成画像を再生成することを特徴とする請求項1または請求項2に記載された画像処理装置。
- さらに、前記合成画像を表示する表示手段を有することを特徴とする請求項1から請求項3の何れか一項に記載された画像処理装置。
- 方向性をもたない光源モデルを設定するステップと、
方向性をもつ光源モデルを設定するステップと、
カメラによって撮影された画像データを取得するステップと、
仮想カメラの位置を設定する設定ステップと、
前記画像データをテクスチャ情報として使用し、前記仮想カメラの位置と前記方向性をもたない光源モデルに応じて、被写体画像を生成する被写体画像生成ステップと、
CG モデル、前記仮想カメラの位置、前記方向性をもたない光源モデル、および、前記方向性をもつ光源モデルを用いて、 CG 画像を生成する CG 画像生成ステップと、
前記被写体画像と前記 CG 画像を合成した合成画像を生成する合成ステップとを有することを特徴とする画像処理方法。 - さらに、前記画像データが含む、前記カメラによって異なる視点で撮影された互いに視野の重なる複数の被写体画像データから視差分布を抽出するステップと、
前記視差分布から前記カメラが撮影した被写体の三次元形状を表す形状モデルを生成するステップとを有し、
前記被写体画像生成ステップは、前記形状モデルに基づき、三次元シーンを表す被写体画像を生成することを特徴とする請求項5に記載された画像処理方法。 - 前記設定ステップにおいて、前記仮想カメラの位置が変更された場合、前記被写体画像生成ステップ、前記 CG 画像生成ステップおよび前記合成ステップにおいて、前記合成画像を再生成することを特徴とする請求項5または請求項6に記載された画像処理方法。
- 画像処理装置を制御して、請求項5から請求項7の何れか一項に記載された画像処理を実現するコンピュータプログラムが記録されたことを特徴とするコンピュータが読み取り可能な記憶媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23911698A JP4006105B2 (ja) | 1998-08-25 | 1998-08-25 | 画像処理装置およびその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23911698A JP4006105B2 (ja) | 1998-08-25 | 1998-08-25 | 画像処理装置およびその方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2000067265A JP2000067265A (ja) | 2000-03-03 |
| JP2000067265A5 JP2000067265A5 (ja) | 2007-04-26 |
| JP4006105B2 true JP4006105B2 (ja) | 2007-11-14 |
Family
ID=17040042
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23911698A Expired - Fee Related JP4006105B2 (ja) | 1998-08-25 | 1998-08-25 | 画像処理装置およびその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4006105B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090284584A1 (en) * | 2006-04-07 | 2009-11-19 | Sharp Kabushiki Kaisha | Image processing device |
| JP2009268088A (ja) * | 2008-04-04 | 2009-11-12 | Fujifilm Corp | 画像処理システム、画像処理方法、およびプログラム |
| US8301013B2 (en) | 2008-11-18 | 2012-10-30 | Panasonic Corporation | Reproduction device, reproduction method, and program for stereoscopic reproduction |
| US8335425B2 (en) | 2008-11-18 | 2012-12-18 | Panasonic Corporation | Playback apparatus, playback method, and program for performing stereoscopic playback |
| CN102726051B (zh) * | 2009-09-11 | 2016-02-03 | 迪斯尼实业公司 | 3d视频中的虚拟插件 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2883523B2 (ja) * | 1992-08-26 | 1999-04-19 | 株式会社ナムコ | 画像合成装置及び画像合成方法 |
| JPH06231275A (ja) * | 1993-01-29 | 1994-08-19 | Hitachi Ltd | 画像シミュレーション方法 |
| JPH11175762A (ja) * | 1997-12-08 | 1999-07-02 | Katsushi Ikeuchi | 光環境計測装置とそれを利用した仮想画像への陰影付与装置及び方法 |
| WO1999060526A1 (fr) * | 1998-05-20 | 1999-11-25 | Sega Enterprises, Ltd. | Processeur d'image, machine de distraction, procede de traitement d'image et support d'enregistrement |
-
1998
- 1998-08-25 JP JP23911698A patent/JP4006105B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000067265A (ja) | 2000-03-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4065488B2 (ja) | ３次元画像生成装置、３次元画像生成方法及び記憶媒体 | |
| US5694533A (en) | 3-Dimensional model composed against textured midground image and perspective enhancing hemispherically mapped backdrop image for visual realism | |
| US20020113865A1 (en) | Image processing method and apparatus | |
| US20190164346A1 (en) | Method and apparatus for providing realistic 2d/3d ar experience service based on video image | |
| JP3992629B2 (ja) | 画像生成システム、画像生成装置、画像生成方法 | |
| JP4847203B2 (ja) | 情報処理方法、情報処理装置 | |
| JP2002163670A (ja) | 複合現実感提示装置及びその制御方法 | |
| JP2006107213A (ja) | 立体画像印刷システム | |
| US11941729B2 (en) | Image processing apparatus, method for controlling image processing apparatus, and storage medium | |
| KR20230032893A (ko) | 화상처리장치, 화상처리방법 및 기억 매체 | |
| JP7234021B2 (ja) | 画像生成装置、画像生成システム、画像生成方法、およびプログラム | |
| JP4006105B2 (ja) | 画像処理装置およびその方法 | |
| RU2735066C1 (ru) | Способ отображения широкоформатного объекта дополненной реальности | |
| JP2008287588A (ja) | 画像処理装置および方法 | |
| JP2003143477A (ja) | 映像合成装置および方法 | |
| CA3155612A1 (en) | Method and system for providing at least a portion of content having six degrees of freedom motion | |
| WO2021171982A1 (ja) | 画像処理装置、３ｄモデルの生成方法、学習方法およびプログラム | |
| JP4046973B2 (ja) | 情報処理方法および画像混合装置 | |
| JP4098882B2 (ja) | 仮想現実感生成装置及び方法 | |
| JP2001118074A (ja) | ３次元画像作成方法、３次元画像作成装置及びプログラム記録媒体 | |
| JPH10336703A (ja) | 画像合成装置、方法および記憶媒体 | |
| JP4366165B2 (ja) | 画像表示装置及び方法並びに記憶媒体 | |
| JPH11328443A (ja) | 三次元パノラマ画像生成システム、三次元パノラマ画像生成方法及び記録媒体 | |
| JPH1188910A (ja) | ３次元モデル生成装置、３次元モデル生成方法、３次元モデル生成プログラムを記録した媒体、３次元モデル再生装置、３次元モデル再生方法及び３次元モデル再生プログラムを記録した媒体 | |
| JP3387856B2 (ja) | 画像処理方法、画像処理装置および記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040520 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20040520 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040520 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061109 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061218 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070208 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070806 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070827 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100831 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110831 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120831 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120831 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130831 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |