JP2007323418A - 画像合成装置および画像合成プログラム - Google Patents

Abstract

【課題】手動で入力された画像と、カメラで撮影された画像とを、当該カメラのカメラパラメータに連動して合成する画像合成装置を提供する。
【解決手段】カメラ画像の所定位置を入力するための入力画像座標系の座標値を、実空間に対応した実座標系の座標値に変換する第１座標変換手段１２と、第１座標変換手段１２で変換された座標値を記憶する座標記憶手段１１３と、座標記憶手段１１３に記憶された座標値を、カメラ画像を撮影したときのカメラの撮影角度を含むカメラパラメータθを用いて、画像座標系の座標値に変換する第２座標変換手段１３と、第２座標変換手段１３で変換された座標値で示される位置に、入力画像座標系の座標値に対応した画像を生成する画像生成手段１４と、画像生成手段１４で生成された画像とカメラ画像とを合成する画像合成手段１５とを備える。
【選択図】図２

Description

本発明は、カメラ画像の所定位置を入力するための入力画像座標系の座標値に対応した画像を生成し、生成された画像とカメラで撮影された画像を示すカメラ画像とを合成する画像合成装置および画像合成プログラムに関する。

一般に、学習や解説のため文字や図形を表示する場合に、例えば、黒板（またはホワイトボード等）とチョーク（またはマグネット等）とが用いられている。例えば、スポーツの学習や解説では、コーチ等がチョークで黒板に、戦術を説明するための図形等を描いて呈示したり、戦術の分析を行ったりしている。また、このような単なる黒板ではなく、画面に映像を表示し、表示された映像上に、予め定められたアイコンや、手動で入力される任意の曲線など（手動入力画像）を合成表示するビデオ画面チョークボード装置が知られている。このような装置で合成された合成映像は、放送番組（例えば、スポーツ番組）において実際に利用されているのが現状である。

また、タッチパネル付きコンピュータ内蔵のディスプレイと、ビデオキャプチャと、ハードディスクと、ＶＴＲとを備えたスポーツコーチングシステムについても知られている（特許文献１参照）。このスポーツコーチングシステムでは、ディスプレイに人物等の静止画を表示しているときに、ペンでタッチパネルに描いた図形等（手動入力画像）を、静止画に重ねて表示させることができるものであり、表示された表示データは必要に応じてハードディスクに保存される。
特開２００３−１８０８９５号公報（段落００１０−００１５、図１）

しかしながら、従来のスポーツコーチングシステムでは、静止画の場合にしか、ペンでタッチパネルに描いた軌跡を合成表示することができなかった。
また、従来のビデオ画面チョークボード装置では、カメラで撮影された画像（以下、カメラ映像という）のカメラパラメータが変化したときに、カメラパラメータが変化する前に入力した手動入力画像がディスプレイにそのまま表示されることになる。ここで、カメラパラメータとは、例えば、パン、ズーム等のカメラ姿勢を含むカメラに係る各種のパラメータのことである。例えば、仮に、カメラ映像のあるフレームにおいて表示画面中で左に表示されている人物等の画像オブジェクトに対して矢印（手動入力画像）が入力された後で、別のフレームにおいてカメラが左にパンするカメラ映像に変化したとする。この場合、画像オブジェクトは、表示画面中で右に表示される。ところが、この画像オブジェクトに対して入力された矢印は、表示画面中で左に表示されたままとなる。したがって、入力された矢印が意味をなさなくなる。そのため、この残存している矢印を消去して、カメラアングル（カメラパラメータ）変化後の位置に、矢印を改めて入力しなければならない。

特に、カメラ映像と手動入力画像との合成映像を、放送番組に利用する場合に、解説者等が手動入力画像を入力しているときにカメラアングルが変化すると、前記したように変化前のカメラアングルで手動入力画像が表示されるので、視聴者は違和感を感じることとなってしまう。そのため、現状の放送では、固定されたカメラアングルの映像のみを使用するか、あるいは、映像を静止させた状態で手動入力画像を入力しなければならない。

本発明は、以上のような問題点に鑑みてなされたものであり、手動で入力された画像と、カメラで撮影された画像とを、当該カメラのカメラパラメータに連動して合成する画像合成装置および画像合成プログラムを提供することを目的とする。

前記目的を達成するために、本発明の請求項１に記載の画像合成装置は、カメラで撮影された被写体の画像を示すカメラ画像と、前記カメラ画像の所定位置を入力するための入力画像座標系の座標値に対応して生成された画像とを合成する画像合成装置であって、座標記憶手段と、座標変換手段と、画像生成手段と、画像合成手段とを備えることとした。

かかる構成によれば、画像合成装置は、前記入力画像座標系の座標値を座標記憶手段に記憶する。そして、画像合成装置は、座標変換手段によって、画像座標系の座標値を実空間に対応した実座標系の座標値に変換してから、前記変換された座標値を、前記カメラ画像を撮影したときのカメラの撮影角度を含むカメラパラメータを用いて画像座標系の座標値に変換する一連の変換を示す変換規則を用いて、前記座標記憶手段に記憶された座標値を変換する。ここで、カメラパラメータには、例えば、カメラの設置場所やカメラ高さを示す３次元座標、カメラのパン軸、チルト軸、ズーム量、フォーカス位置等の操作を反映したカメラ姿勢を示す軸移動角度や軸移動距離等が含まれる。そして、画像合成装置は、画像生成手段によって、前記座標変換手段で変換された座標値で示される位置に、前記入力画像座標系の座標値に対応した画像を生成し、画像合成手段によって、前記画像生成手段で生成された画像と前記カメラ画像とを合成する。

また、請求項２に記載の画像合成装置は、請求項１に記載の画像合成装置において、前記座標記憶手段に記憶された座標値で示される位置に、前記入力画像座標系の座標値に対応した画像を生成する第２画像生成手段をさらに備えることとした。

かかる横成によれば、画像合成装置は、入力された座標値を座標記憶手段に記憶しているので、第２画像生成手段によって、入力された座標値で示される位置に画像を生成する。したがって、第２画像生成手段によって生成された画像は、入力された座標値で示される画像の形状を忠実に再現できる。

また、前記目的を達成するために、本発明の請求項３に記載の画像合成装置は、カメラで撮影された被写体の画像を示すカメラ画像と、前記カメラ画像の所定位置を入力するための入力画像座標系の座標値に対応して生成された画像とを合成する画像合成装置であって、第１座標変換手段と、座標記憶手段と、第２座標変換手段と、画像生成手段と、画像合成手段とを備えることとした。

かかる構成によれば、画像合成装置は、第１座標変換手段によって、前記入力画像座標系の座標値を、実空間に対応した実座標系の座標値に変換する。ここで、変換は、例えば、線形変換や非線形変換等である。そして、画像合成装置は、前記第１座標変換手段で変換された座標値を座標記憶手段に記憶する。そして、画像合成装置は、第２座標変換手段によって、前記座標記憶手段に記憶された座標値を、前記カメラ画像を撮影したときのカメラの撮影角度を含むカメラパラメータを用いて、画像座標系の座標値に変換する。そして、画像合成装置は、画像生成手段によって、前記第２座標変換手段で変換された座標値で示される位置に、前記入力画像座標系の座標値に対応した画像を生成し、画像合成手段によって、前記画像生成手段で生成された画像と前記カメラ画像とを合成する。

また、請求項４に記載の画像合成装置は、請求項３に記載の画像合成装置において、逆変換手段と、第２画像生成手段とをさらに備えることとした。

かかる横成によれば、画像合成装置は、逆変換手段によって、前記座標記憶手段に記憶された座標値を、前記入力画像座標系の座標値に変換する。ここで、逆変換手段は、第１座標変換手段で用いられる変換を示すベクトル関数と互いに逆変換となるベクトル関数を用いることが好ましい。そして、画像合成装置は、第２画像生成手段によって、前記逆変換手段で変換された座標値で示される位置に、前記入力画像座標系の座標値に対応した画像を生成する。したがって、第２画像生成手段によって生成された画像は、入力された座標値で示される画像の形状を忠実に再現できる。

また、前記目的を達成するために、本発明の請求項５に記載の画像合成装置は、第１カメラで撮影された被写体の画像を示す第１カメラ画像と、前記第１カメラ画像の所定位置を入力するための入力画像座標系の座標値に対応して生成された画像とを合成すると共に、前記被写体を第２カメラで撮影した画像を示す第２カメラ画像と前記生成された画像とを合成する画像合成装置であって、第１座標変換手段と、座標記憶手段と、第２座標変換手段と、画像生成手段と、画像合成手段と、逆変換手段と、第２画像生成手段と、第２画像合成手段とを備えることとした。なお、第１カメラと第２カメラとは同じものでもよい。

かかる構成によれば、画像合成装置は、第１座標変換手段によって、前記入力画像座標系の座標値を、前記カメラ画像を撮影したときの第１カメラの撮影角度を含む第１カメラパラメータを用いて、実空間に対応した実座標系の座標値に変換し、前記第１座標変換段で変換された座標値を座標記憶手段に記憶する。そして、画像合成装置は、第２座標変換手段によって、前記座標記憶手段に記憶された座標値を、前記カメラ画像を撮影したときの第２カメラの撮影角度を含む第２カメラパラメータを用いて、画像座標系の座標値に変換する。そして、画像合成装置は、画像生成手段によって、前記第２座標変換手段で変換された座標値で示される位置に、前記入力画像座標系の座標値に対応した画像を生成し、画像合成手段によって、前記画像生成手段で生成された画像と前記第２カメラ画像とを合成する。また、画像合成装置は、逆変換手段によって、前記座標記憶手段に記憶された座標値を、前記入力画像座標系の座標値に変換する。そして、画像合成装置は、第２画像生成手段によって、前記逆変換手段で変換された座標値で示される位置に、前記入力画像座標系の座標値に対応した画像を生成し、第２画像合成手段によって、前記第２画像生成手段で生成された画像と前記第１カメラ画像とを合成する。

また、請求項６に記載の画像合成プログラムは、カメラで撮影された被写体の画像を示すカメラ画像と、前記カメラ画像の所定位置を入力するための入力画像座標系の座標値に対応して生成された画像とを合成するために、コンピュータを、座標変換手段、画像生成手段、画像合成手段として機能させることとした。

かかる構成によれば、画像合成プログラムは、座標変換手段によって、画像座標系の座標値を実空間に対応した実座標系の座標値に変換してから、前記変換された座標値を、前記カメラ画像を撮影したときのカメラの撮影角度を含むカメラパラメータを用いて画像座標系の座標値に変換する一連の変換を示す変換規則を用いて、前記入力画像座標系の座標値を変換する。そして、画像合成プログラムは、画像生成手段によって、前記座標変換手段で変換された座標値で示される位置に、前記入力画像座標系の座標値に対応した画像を生成し、画像合成手段によって、前記画像生成手段で生成された画像と前記カメラ画像とを合成する。

また、請求項７に記載の画像合成プログラムは、カメラで撮影された被写体の画像を示すカメラ画像と、前記カメラ画像の所定位置を入力するための入力画像座標系の座標値に対応して生成された画像とを合成するために、コンピュータを、第１座標変換手段、第２座標変換手段、画像生成手段、画像合成手段として機能させることとした。

かかる構成によれば、画像合成プログラムは、第１座標変換手段によって、前記入力画像座標系の座標値を、実空間に対応した実座標系の座標値に変換し、第２座標変換手段によって、前記第１座標変換手段で変換された座標値を、前記カメラ画像を撮影したときのカメラの撮影角度を含むカメラパラメータを用いて、画像座標系の座標値に変換する。なお、第１座標変換手段で変換された座標値はメモリ等の記憶手段に書き込まれた後に、第２座標変換手段によって変換される。そして、画像合成プログラムは、画像生成手段によって、前記第２座標変換手段で変換された座標値で示される位置に、前記入力画像座標系の座標値に対応した画像を生成し、画像合成手段によって、前記画像生成手段で生成された画像と前記カメラ画像とを合成する。

また、請求項８に記載の画像合成プログラムは、第１カメラで撮影された被写体の画像を示す第１カメラ画像と、前記第１カメラ画像の所定位置を入力するための入力画像座標系の座標値に対応して生成された画像とを合成すると共に、前記被写体を第２カメラで撮影した画像を示す第２カメラ画像と前記生成された画像とを合成するために、コンピュータを、第１座標変換手段、第２座標変換手段、画像生成手段、画像合成手段、逆変換手段、第２画像生成手段、第２画像合成手段として機能させることとした。

かかる構成によれば、画像合成プログラムは、第１座標変換手段によって、前記入力画像座標系の座標値を、前記カメラ画像を撮影したときの第１カメラの撮影角度を含む第１カメラパラメータを用いて、実空間に対応した実座標系の座標値に変換し、第２座標変換手段によって、前記第１座標変換段で変換された座標値を、前記カメラ画像を撮影したときの第２カメラの撮影角度を含む第２カメラパラメータを用いて、画像座標系の座標値に変換する。そして、画像合成プログラムは、画像生成手段によって、前記第２座標変換手段で変換された座標値で示される位置に、前記入力画像座標系の座標値に対応した画像を生成し、画像合成手段によって、前記画像生成手段で生成された画像と前記第２カメラ画像とを合成する。また、画像合成プログラムは、逆変換手段によって、前記第１座標変換段で変換された座標値を、前記入力画像座標系の座標値に変換する。なお、第１座標変換手段で変換された座標値はメモリ等の記憶手段に書き込まれた後に、逆変換手段によって変換される。そして、画像合成プログラムは、第２画像生成手段によって、前記逆変換手段で変換された座標値で示される位置に、前記入力画像座標系の座標値に対応した画像を生成し、第２画像合成手段によって、前記第２画像生成手段で生成された画像と前記第１カメラ画像とを合成する。

請求項１または請求項６に記載の発明によれば、手動で入力された画像が、カメラパラメータを用いて変換された画像座標系の座標値で示される位置に生成されるので、手動で入力された画像と、カメラ画像とを、当該カメラのカメラパラメータに連動して合成することができる。その結果、合成画像が表示されたときに、手動で入力された画像が、カメラ映像に直接描画されているような視覚的効果が得られる。

請求項２または請求項４に記載の発明によれば、手動で入力された画像とカメラ画像との合成画像以外に、入力された画像の形状を忠実に再現した画像を得ることができる。そのため、この画像を表示したときに、入力操作を行った操作者が、その画像を視ることで、入力画像を確認することができる。

請求項３または請求項７に記載の発明によれば、手動で入力された画像と、カメラ画像とを、当該カメラのカメラパラメータに連動して合成することができる。また、入力画像座標系の座標値を、実空間に対応した実座標系の座標値に変換する操作と、この変換された座標値をカメラパラメータを用いて画像座標系の座標値に変換する操作とを独立に実行できる。その結果、それぞれの変換を示すベクトル関数や行列の定式化を容易に行うことが可能となる。

請求項５または請求項８に記載の発明によれば、手動で入力された画像と第１カメラ画像とを第１カメラパラメータに連動して合成することができると共に、手動で入力された画像と第２カメラ画像とを第２カメラパラメータに連動して合成することができる。そのため、一方の合成画像を、入力操作を行った操作者の確認用の画像として、他方の合成画像を視聴者用の画像として区別して利用することが可能となる。

以下、図面を参照して本発明の画像合成装置を実施するための最良の形態（以下「実施形態」という）について、第１実施形態ないし第３実施形態に分けて詳細に説明する。
（第１実施形態）
図１は、本発明の第１実施形態に係る画像合成装置の動作の概要を示す模式図である。
画像合成装置１は、入力装置２で入力された入力図形１０１の画像座標系の座標値に対応した画像を生成し、図示しないカメラで撮影された映像を示すカメラ映像１０２と生成された画像とを合成した合成映像１０３を生成するものである。合成映像１０３は、図示しない表示装置（または画像蓄積装置）に出力される。なお、カメラ映像１０２は、カメラ画像から構成される。

本実施形態では、合成映像１０３は、例えば、インターネット等のネットワークや放送波を介して視聴者に放送されるものとする。以下では、この合成映像１０３を視聴者用映像ともいう。また、カメラは、スポーツ（サッカー）の試合の様子を撮影したものとして説明する。

画像合成装置１は、ディスプレイ３と接続されており、ディスプレイ３の表面には、タッチパネル４が装着されている。
ディスプレイ３は、入力装置２の操作者の操作によりタッチパネル４から入力された画像を表示するものであり、例えば、液晶ディスプレイ等から構成される。以下では、このディスプレイ３に表示される画像を操作者用画像ともいう。
タッチパネル４は、ディスプレイ３の表示領域またはディスプレイ３に表示されるウィンドウ領域に対応しており、スタイラスペン等の入力装置２を介して、カメラ映像１０２と合成させる画像についての座標およびイベントを入力するものである。

イベントは、「押下」、「開放」、「移動」のいずれか１以上を含むものとする。
「押下」は、入力装置２がタッチパネル４に接触したことを示すイベントである。
「開放」は、入力装置２がタッチパネル４から離脱したことを示すイベントである。
「移動」は、入力装置２がタッチパネル４に接触した状態で移動したことを示すイベントである。
なお、図１では、入力図形１０１としてカタカナの「イ」を例示したが、入力装置２で入力される内容は、文字に限らず、記号や図形等でもよい。

本実施形態では、入力装置２とタッチパネル４とが、画像合成装置１に対する座標およびイベント入力手段である。なお、本発明は、これに限定されるものではなく、入力装置２を用いることなく操作者が指等をタッチパネル４に接触させることで座標およびイベントを入力するようにしてもよい。また、タッチパネル４の代わりにペンタブレット等を用いるようにしてもよい。

また、画像合成装置１に対する座標およびイベント入力手段として、例えば、マウス（またはトラックボール、以下、同じ）を用いてもよい。この場合、マウスカーソル等のポインタ表示により現在指示している座標値が入力座標値（画像座標系の座標値）となる。また、マウスを用いたときの「押下」、「開放」、「移動」の各イベントは、それぞれ次の意味を示すこととなる。
「押下」は、マウスのボタンを押下したことを示すイベントである。
「開放」は、マウスのボタンを開放したことを示すイベントである。
「移動」は、マウスのボタンを押下した状態でマウスのポインタ座標を移動したことを示すイベントである。

画像合成装置１には、図示しないカメラで撮影されたカメラ映像１０２と、カメラパラメータθとが入力される。ここで、カメラパラメータθは、カメラ映像１０２を撮影したときの図示しないカメラの撮影角度を含む。カメラパラメータθは、例えば、カメラの設置場所やカメラ高さを示す３次元座標、カメラのパン軸、チルト軸、ズーム軸、フォーカス軸等の操作を反映したカメラ姿勢を示す軸移動角度や軸移動距離、カメラレンズの焦点距離、カメラの撮像素子の画素ピッチ等である。なお、カメラ映像１０２を出力するカメラの台数は複数でもよい。

ディスプレイ３上には、操作者による入力操作を視覚的に補助するために、固定的な補助画像１１０が表示されている。補助画像１１０は、例えば、サッカーコートを示すライン（タッチライン、ゴールライン、ハーフウェイライン、センターサークル、ペナルティエリア、ゴールエリア、ペナルティアーク等）の画像である。補助画像１１０は、例えば、ＣＧ（Computer Graphics）で表示される。なお、補助画像１１０は、タッチパネル４上（またはディスプレイ３上）に予め印刷しておいてもよい。

画像合成装置１は、タッチパネル４に書き込まれた入力図形１０１に基づいて、２種類のＣＧ、すなわち、入力対応ＣＧ１１１と出力対応ＣＧ１２１とを生成する。
入力対応ＣＧ１１１は、ディスプレイ３に表示されるＣＧであり、主として、入力装置２の操作者が、入力図形１０１に対応した画像（入力図形と同じ形状の画像）をディスプレイ３上で確認するために生成される。生成された入力対応ＣＧ１１１は、ディスプレイ３に表示される。

出力対応ＣＧ１２１は、図示しない表示装置（または画像蓄積装置）に出力される合成映像１０３に合成されるＣＧであり、タッチパネル４に書き込まれた入力図形１０１がカメラ映像１０２に対応して変換されたものである。合成映像１０３において、出力対応ＣＧ１２１で示されるカタカナの「イ」の文字は、サッカーコートの地面に張り付いたような形状となってカメラ映像１０２に投影されて合成される。したがって、カメラ操作に連動してカメラアングル（カメラパラメータ）を時々刻々変化させることで、出力対応ＣＧ１２１が変形することとなる。その結果、画像合成装置１によれば、現実のカメラ映像１０２の中に、あたかも出力対応ＣＧ１２１が存在するかのような映像効果を得ることが可能となる。

［画像構成装置の構成］
図２は、図１に示した画像合成装置の構成例を示す機能ブロック図である。
画像合成装置１は、図２に示すように、記憶手段１１と、第１座標変換手段１２と、第２座標変換手段１３と、画像生成手段１４と、画像合成手段１５と、逆変換手段１６と、第２画像生成手段１７とを含む構成とした。

＜記憶手段＞
記憶手段１１は、例えば、ＣＰＵ（Central Processing Unit）による演算処理等に利用されるＲＡＭ（Random Access Memory）１１１と、所定のプログラムを格納したＲＯＭ（Read Only Memory）１１２と、座標記憶手段１１３とを備えている。
座標記憶手段１１３は、詳細は後記するが、１以上の座標値を記憶するメモリであり、半導体メモリのほか磁気ディスクや光磁気ディスクなど任意の記憶装置により実現することができる。

記憶手段１１以外の各機能ブロックは、例えば、ＣＰＵが記憶手段１１のＲＯＭ１１２等に格納された所定のプログラムをＲＡＭ１１１に展開して実行することにより実現されるものである。これらの各機能ブロックは、次に示すように、３つに大別される。
第１座標変換手段１２は、前処理のためのブロック（前処理ブロック）である。
第２座標変換手段１３と、画像生成手段１４と、画像合成手段１５とは、視聴者用映像を合成するためのブロック（視聴者用画像ブロック）である。
逆変換手段１６および第２画像生成手段１７とは、操作者用画像を生成するためのブロック（操作者用画像ブロック）である。
以下では、前処理ブロック、操作者用画像ブロック、視聴者用映像ブロックの順に説明する。

［前処理ブロック］
＜第１座標変換手段＞
第１座標変換手段１２は、タッチパネル４に入力された画像座標系（入力画像座標系）の座標値を、実空間に対応した実座標系の座標値に変換するものである。変換された座標値は、座標記憶手段１１３に格納される。なお、タッチパネル４に入力された座標値と、変換された座標値とは、１対１に対応している。

図３は、図２に示した第１座標変換手段による座標の変換例を示す図であり、（ａ）はディスプレイ画面、（ｂ）は変換先空間をそれぞれ示している。
第１座標変換手段１２は、例えば、図３（ａ）に示すディスプレイ画面３０１（ディスプレイ３の画面）において指定された点Ｐの座標（ｘ，ｙ）を、図３（ｂ）に示す変換先空間３０２における点Ｑの座標（Ｘ，Ｙ，Ｚ）へ変換する。なお、点Ｐの座標（ｘ，ｙ）は、入力装置２（図２参照）でタッチパネル４（図２参照）の所定地点を押圧することにより指定される。以下の説明では、ディスプレイ３上の任意の座標の値を特に区別しない限り（ｘ，ｙ）と表記し、座標軸の名称をｘ軸およびｙ軸とする。同様に、変換先空間３０２における任意の座標の値を特に区別しない限り（Ｘ，Ｙ，Ｚ）と表記し、座標軸の名称をＸ軸，Ｙ軸およびＺ軸とする。

図３に示した点Ｐの座標（ｘ，ｙ）は、例えば、画素単位で示される。また、変換先空間３０２は、実空間を示し、ここでは、サッカーコートを例示した。そのため、点Ｑの座標（Ｘ，Ｙ，Ｚ）は、例えば、メートル単位で示される。

第１座標変換手段１２は、式（１）に示すように、ベクトル関数ｇを用いて、座標値（ｘ，ｙ）を座標値（Ｘ，Ｙ，Ｚ）に変換する。式（１）は一般形である。式（１）の特別な表式の一例を式（２）に示す。式（２）に示すベクトル関数ｇは、線形変換を行う関数である。

以下では、ディスプレイ３上の座標（画像座標）のことをディスプレイ座標という。ディスプレイ座標として、例えば、ディスプレイ３上の６４０×４８０画素で形成された座標［（０，０）〜（６３９，４７９）］を用いることができる。このディスプレイ座標は、左上を原点とし、右方向にｘ軸、下方向にｙ軸をとるものである。

また、実空間の座標として、例えば、１０５×６８メートルのサッカーコートで形成された座標を用いることができる。この座標は、サッカーコートの中央を原点とし、タッチラインと平行かつ右方向にＸ軸、ハーフウェイライン上の奥行方向にＹ軸、鉛直上方向にＺ軸をとるものである。

このようにディスプレイ座標および実空間の座標を想定した場合には、前記した式（２）に示すベクトル関数ｇにおけるｇ_llないしｇ₃₂及びｈ₁ないしｈ₃の具体的な数値を指定することができる。この場合、式（２）は、例えば、式（３）に示すように書き換えることができる。

本実施形態では、前記した式（１）に示すベクトル関数ｇは、前記した式（３）に示すような固定的なものに限定されるものではない。例えば、式（２）で示したベクトル関数ｇにおけるｇ_llないしｇ₃₂及びｈ₁ないしｈ₃を座標変換パラメータとして、これらの値を可変としてもよい。具体的には、所定の座標変換パラメータを第１座標変換手段１２に入力し、第１座標変換手段１２が入力された座標変換パラメータに応じてベクトル関数ｇを変化させるようにしてもよい。

また、これに関連して、例えば、画像合成装置１が、ディスプレイ３上に大きさや位置が可変のウィンドウを表示し、タッチパネル４やマウス等を介して該ウィンドウ上における座標を取得するプログラムを実行するように構成してもよい。このように画像合成装置１を構成した場合には、画像合成装置１が取得したウィンドウの大きさや位置に応じて、第１座標変換手段１２が、式（２）に示すベクトル関数ｇにおけるｇ_llないしｇ₃₂及びｈ₁ないしｈ₃を変化させることも可能である。

以下では、第１座標変換手段１２は、ディスプレイ３上の座標（ｘ，ｙ）を、実空間におけるメートル単位の座標（Ｘ，Ｙ，Ｚ）へ変換するものとして説明する。
図４は、図３に示した変換例を複数の座標値に適用した場合の説明図であり、（ａ）はディスプレイ座標、（ｂ）は変換先空間の座標をそれぞれ示している。
ディスプレイ画面３０１には、カタカナ「イ」が入力されるときの複数（図４では７個）の座標値をそれぞれ示す点４００〜４０６が示されている。

図４（ａ）に示すように、カタカナ「イ」の第１画では、点４００において「押下」イベントが入力し、続いて、点４０１および点４０２において「移動」イベントが入力し、最後に点４０３において「開放」イベントが入力する。なお、各イベントは、入力装置２（図２参照）とタッチパネル４（図２参照）との関係で入力される。同様に、カタカナ「イ」の第２画では、点４０４において「押下」イベントが入力し、続いて、点４０５において「移動」イベントが入力し、最後に点４０６において「開放」イベントが入力する。

図４（ａ）に示した点４００〜４０６の座標値は、ディスプレイ座標で示されるものであり、第１座標変換手段１２によって、実空間における座標の値に変換される。
図４（ｂ）に示す点４５０〜４５６の座標値は、図４（ａ）に示した点４００〜４０６の座標値がそれぞれ変換されたものを示している。

第１座標変換手段１２は、変換した座標値を、図５に示すように座標記憶手段１１３に格納する。図５は、図２に示した座標記憶手段に記憶されたデータベースの一例を示す図である。

データベース５００は、項目として、アドレス５０１と、座標５０２と、イベント５０３とを有している。
アドレス５０１は、座標記憶手段１１３のメモリ上のアドレス（番地）を示す。
座標５０２は、第１座標変換手段１２で変換された座標値（変換座標値）を示す。
イベント５０３は、タッチパネル４（図２参照）に入力された前記した「押下」、「移動」、「開放」のいずれかのイベントを示す。
本実施形態では、一例として、第１座標変換手段１２は、座標およびイベントが入力された順序に従って、変換した座標値を座標記憶手段１１３に順次格納する。

［操作者用画像ブロック］
＜逆変換手段＞
逆変換手段１６は、座標記憶手段１１３に記憶された座標値を、入力画像座標系の座標値に変換するものである。変換された座標値は、第２画像生成手段１７に出力される。この逆変換手段１６は、式（４）に示すように、ベクトル関数ｈを用いて、座標値（Ｘ，Ｙ，Ｚ）を座標値（ｘ，ｙ）に変換する。

式（４）は一般形である。式（４）の特別な表式の一例を式（５）に示す。式（５）に示すベクトル関数ｈと、第１座標変換手段１２で用いられるベクトル関数ｇとは、互いに逆変換となるようにした。

ベクトル関数ｈが式（５）で示され、かつ、ベクトル関数ｇが前記した式（３）で示される場合には、前記した式（５）は、例えば、式（６）に示すように書き換えられる。

＜第２画像生成手段＞
第２画像生成手段１７は、逆変換手段１６で変換された座標値で示される位置に画像（入力対応ＣＧ）を生成するものである。生成された画像は、ディスプレイ３に出力される。この第２画像生成手段１７は、座標記憶手段１１３に記憶されているイベントに応じて、図形を描画する。例えば、第２画像生成手段１７は、ある１つの「押下」イベントから、０個以上の「移動」イベントを経て、直後の「開放」イベントまでの座標群を線分で接続した折線のＣＧを生成する。また、折線の代わりに、例えば、スプライン曲線やべジエ曲線のＣＧを生成してもよい。

図６は、図２に示した第２画像生成手段で生成された入力対応ＣＧの一例を示す図である。また、図６は、第２画像生成手段１７（図２参照）が、図５に例示したデータベース５００に基づいて生成したＣＧを示している。この場合、ディスプレイ画面３０１には、入力対応ＣＧ６０１が表示される。入力対応ＣＧ６０１は、カタカナの「イ」を示すものであり、カタカナの「イ」の１画目を示すＣＧ６０１ａと、２画目を示すＣＧ６０１ｂとから構成されている。ＣＧ６０１ａは、図５に示すアドレス「０」〜「３」に対応して格納されたイベントを反映し、ＣＧ６０１ｂは、図５に示すアドレス「４」〜「６」に対応して格納されたイベントを反映している。つまり、第２画像生成手段１７（図２参照）は、イベント「押下」に対応した座標値（ディスプレイ座標）を始点とすると共に、イベント「開放」に対応した座標値（ディスプレイ座標）を終点として、折線のＣＧ６０１ａと直線のＣＧ６０１ｂとを描画する。入力対応ＣＧ６０１は、入力図形１０１（図１参照）の形状を忠実に再現したものである。なお、本実施形態では、第２画像生成手段１７（図２参照）は、入力対応ＣＧ６０１と、生成したＣＧである補助画像６０２とを合成してディスプレイ３（図２参照）に出力する。
図２に戻って説明を続ける。

［視聴者用映像ブロック］
＜第２座標変換手段＞
第２座標変換手段１３は、座標記憶手段１１３に記憶された座標値を、カメラパラメータθを用いて、画像座標系の座標値に変換するものである。変換された座標値は、画像生成手段１４に出力される。この第２座標変換手段１３は、例えば透視投影モデルに基づく座標変換を行うことができる。

図７は、透視投影の説明図である。図７では、実空間７０５において、水平面内にＸ軸およびＹ軸をとり、高さ方向にＺ紬をとったデカルト座標系を示している。透視殺影では、図７に示すように、実空間７０５上の実座標７０６と撮像系の投影中心７０１とを結ぶ線分７０４を求め、線分７０４と画像平面７０２とが交差する点の画像座標７０３を（Ｃ_x，Ｃ_y）として求める。（Ｃ_x，Ｃ_y）はディスプレイ座標における座標値である。画像座標７０３の値（Ｃ_x，Ｃ_y）は、実座標７０６の値（Ｘ，Ｙ，Ｚ）と、カメラパラメータθとにより決定することが可能である。

実座標７０６は、座標記憶手投１１３（図２参照）に格納されている座標５０２（図５参照）に相当する。

第２座標変換手投１３は、座標記憶手段１１３（図２参照）に記憶されている変換座標値に対して、図７を参照して説明した透視投影を施してディスプレイ座標の値に変換する。

第２座標変換手段１３は、式（７）に示すように、ベクトル関数ｆとカメラパラメータθとを用いて、座標記憶手段１１３（図２参照）に記憶されている変換座標値（Ｘ，Ｙ，Ｚ）をディスプレイ座標系（画像座標系）の座標値（ξ，η）に変換する。式（７）は一般形である。また、式（７）に示すベクトル関数θは、各種のカメラパラメータθをまとめて表記したものである。

本実施形態では、ディスプレイ座標系の座標値（ξ，η）は、ディスプレイ３の解像度や画面サイズとは異なる座標空間の座標値である。なお、本発明は、これに限定されるものではなく、第２座標変換手段１３の変換先の座標空間が、タッチパネル４に入力された座標値の座標空間と同じであってもよい。

＜画像生成手段＞
画像生成手段１４は、第２座標変換手段１３で変換された座標値で示される位置に画像（出力対応ＣＧ）を生成する。生成された画像は、画像合成手段１５に出力される。この画像生成手段１４は、座標記憶手段１１３に記憶されているイベントに応じて、図形を描画する。図形の描画の方法は、第２画像生成手段１７と同じなので説明を省略する。

図８は、図２に示した画像生成手段で生成された出力対応ＣＧの一例を示す図である。
また、図８は、画像生成手段１４（図２参照）が、図５に例示したデータベース５００に基づいて生成したＣＧを示している。この場合、図８に示すように、出力対応ＣＧ８０１が生成される。出力対応ＣＧ８０１は、カタカナの「イ」を示すものであり、カタカナの「イ」の１画目を示すＣＧ８０１ａと、２画目を示すＣＧ８０１ｂとから構成されている。ＣＧ８０１ａ，８０１ｂは、図６に示したＣＧ６０１ａ，６０１ｂと同様な方法で生成されるので詳細な説明を省略する。画像生成手段１４（図２参照）は、カメラパラメータθを反映した座標値の位置に描画するので、出力対応ＣＧ８０１は、カメラ映像１０２（図１参照）に合わせて入力図形１０１（図１参照）が変形された形状を有している。
図２に戻って説明を続ける。

＜画像合成手段＞
画像合成手段１５は、画像生成手段１４で生成された画像（出力対応ＣＧ）と、カメラ映像とを合成するものである。構成された映像は、図示しない表示装置（または画像蓄積装置）に出力される。なお、画像合成手段１５は、画像生成手段１４により生成されたＣＧを、例えば、カメラ映像の上を覆うように不透明もしくは半透明に合成するようにしてもよい。また、画像合成手段１５は、画像生成手段１４により生成されたＣＧを、カメラ映像の特定の色の領域（例えば芝生の色の領域）のみに重畳合成するようにしてもよい。

図２に示した画像合成装置１は、一般的なコンピュータを、前記した各手段として機能させるプログラムにより動作させることで実現することができる。このプログラム（画像合成プログラム）は、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。

［画像合成装置の動作］
＜入力対応ＣＧの提示動作＞
図２に示した画像合成装置１の動作について図９を参照（適宜図２参照）して説明する。図９は、図２に示した画像合成装置による入力対応ＣＧの提示動作を示すフローチャートである。画像合成装置１は、まず、第１座標変換手段１２によって、入力されたディスプレイ座標を実座標（実空間の座標）に変換し、座標記憶手段１１３に格納する（ステップＳ１）。そして、画像合成装置１は、逆変換手段１６によって、座標記憶手段１１３に記憶された実座標をディスプレイ座標に逆変換する（ステップＳ２）。そして、画像合成装置１は、第２画像生成手段１７によって、逆変換された座標で示される位置に入力対応ＣＧを生成し（ステップＳ３）、生成した入力対応ＣＧをディスプレイ３に出力する（ステップＳ４）。例えば、線が入力されれば、入力された線のそれぞれの座標が示す位置に沿って入力対応ＣＧが生成される。

＜出力対応ＣＧの提示動作＞
図１０は、図２に示した画像合成装置による出力対応ＣＧの合成動作を示すフローチャートである。画像合成装置１は、まず、第１座標変換手段１２によって、入力されたディスプレイ座標を実座標に変換し、座標記憶手段１１３に格納する（ステップＳ１１）。そして、画像合成装置１は、第２座標変換手段１３によって、カメラパラメータθに基づいて、座標記憶手段１１３に記憶された実座標を変換する（ステップＳ１２）。そして、画像合成装置１は、画像生成手段１４によって、変換された座標で示される位置に出力対応ＣＧを生成する（ステップＳ１３）。そして、画像合成装置１は、画像合成手段１５によって、出力対応ＣＧとカメラ映像とを合成して出力する（ステップＳ１４）。例えば、線が入力されれば、入力された線が変換された線のそれぞれの座標が示す位置に沿って出力対応ＣＧが生成される。

第１実施形態によれば、操作者によってタッチパネル４に入力された入力図形に対応した出力対応ＣＧが、カメラパラメータθに基づいて変換された座標値で示される位置に生成される。したがって、手動で入力された画像と、カメラパラメータθで特徴付けられるカメラ映像とを、カメラパラメータθに連動して合成することができる。その結果、合成映像中のカメラ映像のカメラアングルが変化したときに、変化前に入力された出力対応ＣＧがカメラ映像中の人物等の画像オブジェクトと共に自動的に移動したり、その形状が変化したりする。つまり、合成映像が表示されたときに、手動で入力された画像が、カメラ映像に直接描画されているような視覚的効果が得られる。

（第２実施形態）
図１１は、本発明の第２実施形態に係る画像合成装置の構成例を示す機能ブロック図である。第２実施形態に係る画像合成装置１Ａは、図２に示した第１座標変換手段１２および逆変換手段１６を省略すると共に、座標変換手段１３Ａの機能が異なる点を除いて、図２に示した画像合成装置１と同一の構成なので、同一の構成には同一の符号を付し、その説明を省略する。

座標変換手段１３Ａは、画像座標系の座標値を実空間に対応した実座標系の座標値に変換してから、その変換された座標値を、カメラパラメータθを用いて、画像座標系の座標値に変換する一連の変換を示す変換規則を用いて、座標記憶手段１１３に記憶された座標値を変換するものである。すなわち、座標変換手段１３Ａは、図２にそれぞれ示した第１座標変換手段１２の機能と、座標変換手段１３の機能とを合わせた機能を有している。

画像合成装置１Ａは、タッチパネル４から入力された座標を、そのまま座標記憶手段１１３に格納する。つまり、座標記憶手段１１３に格納された座標値の座標系はディスプレイ座標である。そして、画像合成装置１Ａは、座標変換手段１３Ａおよび第２画像生成手段１７によって、座標記憶手段１１３に格納された座標値（タッチパネル４から入力された座標値）を読み出す。第２実施形態によれば、画像合成装置の構成を簡略化することができる。

（第３実施形態）
図１２は、本発明の第３実施形態に係る画像合成装置の動作の概要を示す模式図である。第３実施形態に係る画像合成装置１Ｂは、入力対応ＣＧ１２１１とカメラ映像Ｖ_Aとを合成してディスプレイ３に表示させるものである。

画像合成装置１Ｂには、図示しないカメラ（第１カメラ）で撮影されたカメラ映像Ｖ_Aおよび第１カメラに関するカメラパラメータθ_A（第１カメラパラメータ）と、図示しないカメラ（第２カメラ）で撮影されたカメラ映像Ｖ_Bおよび第２カメラに関するカメラパラメータθ_B（第２カメラパラメータ）とが入力される。なお、第１カメラと第２カメラとは異なるカメラであってもよいし、同一のカメラであってもよい。

ここで、カメラ映像Ｖ_Aは、操作者による入力操作を視覚的に補助するために、ディスプレイ３に表示される。このカメラ映像Ｖ_Aは、タッチパネル４に書き込まれた入力図形１２０１と合成するための映像である。
カメラ映像Ｖ_Bは、タッチパネル４に書き込まれた入力図形１２０１と合成されて合成映像１２０２となるものである。

画像合成装置１Ｂは、タッチパネル４に書き込まれた入力図形１２０１に基づいて、２種類のＣＧ、すなわち、入力対応ＣＧ１２１１と出力対応ＣＧ１２２１とを生成する。
入力対応ＣＧ１２１１は、ディスプレイ３に表示されるＣＧであり、主として、入力装置２の操作者が、入力図形１２０１をカメラ映像Ｖ_A上に描くつもりで入力した画像をディスプレイ３上で確認するために生成される。この入力対応ＣＧ１２１１は、タッチパネル４に書き込まれた入力図形１２０１がカメラ映像Ｖ_Aに対応して変換されたものである。生成された入力対応ＣＧ１２１１は、ディスプレイ３に表示される。入力対応ＣＧ１２１１で示されるカタカナの「イ」の文字は、サッカーコートの地面に張り付いたように投影されて合成される。これにより、第１カメラの操作に連動してカメラパラメータθ_Aを時々刻々変化させることで、入力対応ＣＧ１２１１が変形し、カメラ映像Ｖ_Aの中に入力対応ＣＧ１２１１があたかも存在するかのような映像効果が得られる。

出力対応ＣＧ１２２１は、図示しない表示装置（または画像蓄積装置）に出力される合成映像１２０２に合成されるＣＧであり、タッチパネル４に書き込まれた入力図形１０１がカメラ映像Ｖ_Bに対応して変換されたものである以外は、入力対応ＣＧ１２１１と同様なものなので詳細な説明を省略する。

［画像合成装置の構成］
図１３は、図１２に示した画像合成装置の構成例を示す機能ブロック図である。
画像合成装置１Ｂは、第１座標変換手段１２Ｂおよび逆変換手段１６Ｂの機能が異なると共に、第２画像合成手段３０を備える点を除いて、図２に示した画像合成装置１と同一の構成なので、同一の構成には同一の符号を付し、その説明を省略する。なお、第２座標変換手段１３には、カメラパラメータθ_Bが入力し、また、画像合成手段１５には、カメラ映像Ｖ_Bが入力する。

＜第１座標変換手段＞
第１座標変換手段１２Ｂは、タッチパネル４に入力された画像座標系（入力画像座標系）の座標値を、カメラパラメータθ_Aを用いて、実空間に対応した実座標系の座標値に変換するものである。変換された座標値は、座標記憶手段１１３に格納される。この第１座標変換手段１２Ｂは、透視投影モデルを用いて非線形変換を行い、ディスプレイ座標を実空間の座標へ変換する。

図１４は、図１３に示した第１座標変換手段による透視投影の逆変換を、面的な拘束条件の下で実行する手法の説明図である。
図１４では、実空間において、水平面内にＸ軸およびＹ軸をとり、高さ方向にＺ軸をとったデカルト座標系を示している。第一座標変換手段１２Ｂ（図１３参照）は、図示しない第１カメラの撮像系の投影中心１４０１から、画像平面１４０２の画像座標１４０３を通る半直線１４０４を生成し、半直線１４０４と、変換先空間１４０７との交点である変換座標１４０６を求める。つまり、２次元の画像座標１４０３を実空間内における３次元の変換座標１４０６として逆投影する。変換先空間１４０７は、実空間上に設定される曲面または曲面群（ここで曲面と言う場合には平面を含むものとする）であり、例えば、実空間内における地表面を表す。特にスポーツ競技場では、例えば、競技場のグラウンド面（サッカーのピッチ面など）を表すことができる。また、例えば、ゴルフ場のように起伏のある競技場の場合には、該起伏を考慮した曲面とすることもできる。

ここで、画像座標１４０３は、入力されたディスプレイ３上における座標（例えば画素単位）を示し、変換座標１４０６は、実空間の座標（例えばメートル単位）を示す。また、画像座標１４０３の値を（ｘ，ｙ）、変換座標１４０６の値を（Ｘ，Ｙ，Ｚ）とする。この変換座標の値（Ｘ，Ｙ，Ｚ）は、画像座標の値（ｘ，ｙ）と、カメラパラメータθ_Aとにより決定することが可能である。

本実施形態のように、変換先空間１４０７をサッカーコートとする場合には、Ｚ＝０となる。ここで、変換座標の値（Ｘ，Ｙ，Ｚ）は、座標記憶手段１１３（図２参照）に格納されている座標５０２（図５参照）の値に相当する。

第１座標変換手段１２Ｂは、式（８）に示すように、ベクトル関数ｇ′とカメラパラメータθ_Aとを用いて、入力されたディスプレイ３上における座標、すなわち、画像座標の値（ｘ，ｙ）を、変換座標の値（Ｘ，Ｙ，Ｚ）に変換する。式（８）は一般形である。

なお、変換先空間１４０７は、Ｚ＝０の平面（地面）に限定されるものではない。例えば、Ｘ＝０の平面（壁）やＹ＝０の平面（壁）でもよい。また、変換先空間１４０７は平面に限定されるものではなく曲面でもよい。ここで、曲面とは、例えば、現実のでこぼこした地面も意味する。このように変換先空間１４０７が曲面の場合には、変換先空間１４０７と半直線１４０４との交点が複数存在する場合もある。このように交点が複数存在する場合には、第１座標変換手段１２Ｂは、所定の規則に従って１つの交点を選択する。ここで、所定の規則は、例えば、最も投影中心１４０１に近い交点を選択するというものでもよい。

＜逆変換手段＞
逆変換手段１６Ｂは、座標記憶手段１１３に記憶された座標値を、ディスプレイ３上の画像座標系の座標値に変換するものである。この逆変換手段１６Ｂは、式（９）に示すように、ベクトル関数ｈ′とカメラパラメータθ_Aとを用いて、実空間に対応した実座標系の座標値（Ｘ，Ｙ，Ｚ）を、ディスプレイ３上の座標値（ｘ，ｙ）に変換する。式（９）は一般形である。この座標変換は、前記した式（７）と同様な原理で導出されたものなので説明を省略する。逆変換手段１６Ｂで変換された座標値は、第２画像生成手段１７に出力される。これにより、第２画像生成手段１７は、カメラパラメータθ_Aに連動したＣＧ（入力対応ＣＧ）を生成することができる。

＜第２画像合成手段＞
第２画像合成手段３０は、第２画像生成手段１７により生成されたＣＧ（入力対応ＣＧ）と、カメラ映像Ｖ_Aとを合成するものである。合成された映像は、ディスプレイ３に出力される。合成方法は画像合成手段１５と同様なので、説明を省略する。

［画像合成装置の動作］
図１３に示した画像合成装置１Ｂの動作について図１５を参照（適宜図１３参照）して説明する。図１５は、図１３に示した画像合成装置による入力対応ＣＧの合成動作を示すフローチャートである。画像合成装置１Ｂは、まず、第１座標変換手段１２Ｂによって、入力されたディスプレイ座標を実座標に変換し、座標記憶手段１１３に格納する（ステップＳ２１）。そして、画像合成装置１Ｂは、逆変換手段１６Ｂによって、座標記憶手段１１３に記憶された実座標をディスプレイ座標に逆変換する（ステップＳ２２）。そして、画像合成装置１Ｂは、第２画像生成手段１７によって、逆変換された座標で示される位置に入力対応ＣＧを生成する（ステップＳ２３）。そして、画像合成装置１は、第２画像合成手段３０によって、生成された入力対応ＣＧとカメラ映像Ｖ_Aとを合成してディスプレイ３に出力する（ステップＳ２４）。例えば、線が入力されれば、入力された線のそれぞれの座標が示す位置に沿って入力対応ＣＧが生成される。なお、画像合成装置１Ｂにおける出力対応ＣＧの合成動作は図１０のフローチャートと同様なので説明を省略する。

第３実施形態によれば、操作者によってタッチパネル４に入力された入力図形に対応した入力対応ＣＧおよび出力対応ＣＧが、各カメラパラメータθ_A，θ_Bに基づいて変換された座標値で示される位置に２つの合成映像を別々に生成することができる。そのため、一方の合成映像を、操作者用映像として、他方の合成映像を視聴者用映像として区別して利用することが可能となる。

以上、各実施形態に基づいて本発明を説明したが、本発明はこれらに限定されるものではない。例えば、画像合成手段１５で合成された合成画像は、例えば、視聴者に放送されるものとして説明したが、これに限定されるものではない。例えば、画像合成手段１５で合成された合成画像を、タッチパネル４の操作者が視るために、ディスプレイ３の近傍に配設した別のディスプレイに出力するようにしてもよい。また、画像合成手段１５で合成された合成画像を、タッチパネル４の操作者が視るためにディスプレイ３に出力するようにしてもよい。この場合には、操作者は、入力時と確認時とでディスプレイ３の表示画面を切り替えて使用する。

また、前記した画像生成手段１４と画像合成手段１５とは、公知のバーチャルスタジオ用ＣＧ合成装置で実現するようにしてもよい。同様に、画像合成装置１Ｂの第２画像生成手段１７と第２画像合成手段３０とは、公知のバーチャルスタジオ用ＣＧ合成装置で実現するようにしてもよい。

また、各実施形態では、画像合成装置１（１Ａ，１Ｂ）には、サッカーに関するカメラ画像が入力するものとして説明したが、これは一例であって、野球、ゴルフ、テニス、ラグビー、バレーボール、バスケットボールなど各種スポーツに関するカメラ映像でもよい。さらに、スポーツに限らず、実写であれば、ニュース番組、娯楽番組、教育番組、料理番組、天気予報等のカメラ映像でもよい。

本発明の第１実施形態に係る画像合成装置の動作の概要を示す模式図である。 図１に示した画像合成装置の構成例を示す機能ブロック図である。 図２に示した第１座標変換手段による座標の変換例を示す図であり、（ａ）はディスプレイ画面、（ｂ）は変換先空間をそれぞれ示している。 図３に示した変換例を複数の座標値に適用した場合の説明図であり、（ａ）はディスプレイ座標、（ｂ）は変換先空間の座標をそれぞれ示している。 図２に示した座標記憶手段に記憶されたデータベースの一例を示す図である。 図２に示した第２画像生成手段で生成された入力対応ＣＧの一例を示す図である。 透視投影の説明図である。 図２に示した画像生成手段で生成された出力対応ＣＧの一例を示す図である。 図２に示した画像合成装置による入力対応ＣＧの提示動作を示すフローチャートである。 図２に示した画像合成装置による出力対応ＣＧの合成動作を示すフローチャートである。 本発明の第２実施形態に係る画像合成装置の構成例を示す機能ブロック図である。 本発明の第３実施形態に係る画像合成装置の動作の概要を示す模式図である。 図１２に示した画像合成装置の構成例を示す機能ブロック図である。 図１３に示した第１座標変換手段による透視投影の逆変換を、面的な拘束条件の下で実行する手法の説明図である。 図１３に示した画像合成装置による入力対応ＣＧの合成動作を示すフローチャートである。

符号の説明

１，１Ａ，１Ｂ 画像合成装置
２ 入力装置
３ ディスプレイ
４ タッチパネル
１１ 記憶手段
１１１ ＲＡＭ
１１２ ＲＯＭ
１１３ 座標記憶手段
１２，１２Ｂ 第１座標変換手段
１３，１３Ａ 第２座標変換手段
１４ 画像生成手段
１５ 画像合成手段
１６，１６Ｂ 逆変換手段
１７ 第２画像生成手段
３０ 第２画像合成手段

Claims (8)

1. カメラで撮影された被写体の画像を示すカメラ画像と、前記カメラ画像の所定位置を入力するための入力画像座標系の座標値に対応して生成された画像とを合成する画像合成装置であって、
   前記入力画像座標系の座標値を記憶する座標記憶手段と、
   画像座標系の座標値を実空間に対応した実座標系の座標値に変換してから、前記変換された座標値を、前記カメラ画像を撮影したときのカメラの撮影角度を含むカメラパラメータを用いて画像座標系の座標値に変換する一連の変換を示す変換規則を用いて、前記座標記憶手段に記憶された座標値を変換する座標変換手段と、
   前記座標変換手段で変換された座標値で示される位置に、前記入力画像座標系の座標値に対応した画像を生成する画像生成手段と、
   前記画像生成手段で生成された画像と前記カメラ画像とを合成する画像合成手段と、
   を備えることを特徴とする画像合成装置。
2. 前記座標記憶手段に記憶された座標値で示される位置に、前記入力画像座標系の座標値に対応した画像を生成する第２画像生成手段をさらに備えることを特徴とする請求項１に記載の画像合成装置。
3. カメラで撮影された被写体の画像を示すカメラ画像と、前記カメラ画像の所定位置を入力するための入力画像座標系の座標値に対応して生成された画像とを合成する画像合成装置であって、
   前記入力画像座標系の座標値を、実空間に対応した実座標系の座標値に変換する第１座標変換手段と、
   前記第１座標変換手段で変換された座標値を記憶する座標記憶手段と、
   前記座標記憶手段に記憶された座標値を、前記カメラ画像を撮影したときのカメラの撮影角度を含むカメラパラメータを用いて、画像座標系の座標値に変換する第２座標変換手段と、
   前記第２座標変換手段で変換された座標値で示される位置に、前記入力画像座標系の座標値に対応した画像を生成する画像生成手段と、
   前記画像生成手段で生成された画像と前記カメラ画像とを合成する画像合成手段と、
   を備えることを特徴とする画像合成装置。
4. 前記座標記憶手段に記憶された座標値を、前記入力画像座標系の座標値に変換する逆変換手段と、
   前記逆変換手段で変換された座標値で示される位置に、前記入力画像座標系の座標値に対応した画像を生成する第２画像生成手段とをさらに備えることを特徴とする請求項３に記載の画像合成装置。
5. 第１カメラで撮影された被写体の画像を示す第１カメラ画像と、前記第１カメラ画像の所定位置を入力するための入力画像座標系の座標値に対応して生成された画像とを合成すると共に、前記被写体を第２カメラで撮影した画像を示す第２カメラ画像と前記生成された画像とを合成する画像合成装置であって、
   前記入力画像座標系の座標値を、前記カメラ画像を撮影したときの第１カメラの撮影角度を含む第１カメラパラメータを用いて、実空間に対応した実座標系の座標値に変換する第１座標変換手段と、
   前記第１座標変換段で変換された座標値を記憶する座標記憶手段と、
   前記座標記憶手段に記憶された座標値を、前記カメラ画像を撮影したときの第２カメラの撮影角度を含む第２カメラパラメータを用いて、画像座標系の座標値に変換する第２座標変換手段と、
   前記第２座標変換手段で変換された座標値で示される位置に、前記入力画像座標系の座標値に対応した画像を生成する画像生成手段と、
   前記画像生成手段で生成された画像と前記第２カメラ画像とを合成する画像合成手段と、
   前記座標記憶手段に記憶された座標値を、前記入力画像座標系の座標値に変換する逆変換手段と、
   前記逆変換手段で変換された座標値で示される位置に、前記入力画像座標系の座標値に対応した画像を生成する第２画像生成手段と、
   前記第２画像生成手段で生成された画像と前記第１カメラ画像とを合成する第２画像合成手段と、
   を備えることを特徴とする画像合成装置。
6. カメラで撮影された被写体の画像を示すカメラ画像と、前記カメラ画像の所定位置を入力するための入力画像座標系の座標値に対応して生成された画像とを合成するために、コンピュータを、
   画像座標系の座標値を実空間に対応した実座標系の座標値に変換してから、前記変換された座標値を、前記カメラ画像を撮影したときのカメラの撮影角度を含むカメラパラメータを用いて画像座標系の座標値に変換する一連の変換を示す変換規則を用いて、前記入力画像座標系の座標値を変換する座標変換手段、
   前記座標変換手段で変換された座標値で示される位置に、前記入力画像座標系の座標値に対応した画像を生成する画像生成手段、
   前記画像生成手段で生成された画像と前記カメラ画像とを合成する画像合成手段、
   として機能させることを特徴とする画像合成プログラム。
7. カメラで撮影された被写体の画像を示すカメラ画像と、前記カメラ画像の所定位置を入力するための入力画像座標系の座標値に対応して生成された画像とを合成するために、コンピュータを、
   前記入力画像座標系の座標値を、実空間に対応した実座標系の座標値に変換する第１座標変換手段、
   前記第１座標変換手段で変換された座標値を、前記カメラ画像を撮影したときのカメラの撮影角度を含むカメラパラメータを用いて、画像座標系の座標値に変換する第２座標変換手段、
   前記第２座標変換手段で変換された座標値で示される位置に、前記入力画像座標系の座標値に対応した画像を生成する画像生成手段、
   前記画像生成手段で生成された画像と前記カメラ画像とを合成する画像合成手段、
   として機能させることを特徴とする画像合成プログラム。
8. 第１カメラで撮影された被写体の画像を示す第１カメラ画像と、前記第１カメラ画像の所定位置を入力するための入力画像座標系の座標値に対応して生成された画像とを合成すると共に、前記被写体を第２カメラで撮影した画像を示す第２カメラ画像と前記生成された画像とを合成するために、コンピュータを、
   前記入力画像座標系の座標値を、前記カメラ画像を撮影したときの第１カメラの撮影角度を含む第１カメラパラメータを用いて、実空間に対応した実座標系の座標値に変換する第１座標変換手段、
   前記第１座標変換段で変換された座標値を、前記カメラ画像を撮影したときの第２カメラの撮影角度を含む第２カメラパラメータを用いて、画像座標系の座標値に変換する第２座標変換手段、
   前記第２座標変換手段で変換された座標値で示される位置に、前記入力画像座標系の座標値に対応した画像を生成する画像生成手段、
   前記画像生成手段で生成された画像と前記第２カメラ画像とを合成する画像合成手段、
   前記第１座標変換段で変換された座標値を、前記入力画像座標系の座標値に変換する逆変換手段、
   前記逆変換手段で変換された座標値で示される位置に、前記入力画像座標系の座標値に対応した画像を生成する第２画像生成手段、
   前記第２画像生成手段で生成された画像と前記第１カメラ画像とを合成する第２画像合成手段、
   として機能させることを特徴とする画像合成プログラム。

Images