JP3331752B2 - 画像合成装置 - Google Patents
画像合成装置Info
- Publication number
- JP3331752B2 JP3331752B2 JP15091894A JP15091894A JP3331752B2 JP 3331752 B2 JP3331752 B2 JP 3331752B2 JP 15091894 A JP15091894 A JP 15091894A JP 15091894 A JP15091894 A JP 15091894A JP 3331752 B2 JP3331752 B2 JP 3331752B2
- Authority
- JP
- Japan
- Prior art keywords
- camera head
- depth data
- image
- data
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Image Input (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
Description
【０００１】
【産業上の利用分野】本発明は複数の実写映像や、実写
映像と計算機で生成した画像を合成する画像合成装置に
関するものである。
映像と計算機で生成した画像を合成する画像合成装置に
関するものである。
【０００２】
【従来の技術】従来の技術の第１の例として、クロマキ
ーを使った画像合成装置について（図７）を用いて説明
する。クロマキーは放送などの分野で広く使われている
特殊効果技術の１つで、その原理については、「放送技
術双書 カラーテレビジョン」日本放送協会編、1961
年、pp539-540に記述されている。（図７）において、
１０１と１０２は合成の対象となる２つの画像、１０３
は画像合成装置、１０４は合成結果の画像である。この
動作原理について説明する。まず、画像１０１と画像１
０２の画像データにおいて、どちらか一方の画像データ
の特定の色や信号レベルをキーとして選択する。画像合
成装置１０３は、画像１０１と画像１０２を入力とし、
キー選択を行った画像データに対して、選択したキーが
検出された部分をもう一方の画像データで置き換えるこ
とで画像を合成する。その結果合成されたい画像が、画
像１０４で、いわゆるはめ込み画像が生成される。（図
７）においては、画像１０２の円領域の外側部分の色が
キーとして選択され、その部分を画像１０１で置き換え
ている。
ーを使った画像合成装置について（図７）を用いて説明
する。クロマキーは放送などの分野で広く使われている
特殊効果技術の１つで、その原理については、「放送技
術双書 カラーテレビジョン」日本放送協会編、1961
年、pp539-540に記述されている。（図７）において、
１０１と１０２は合成の対象となる２つの画像、１０３
は画像合成装置、１０４は合成結果の画像である。この
動作原理について説明する。まず、画像１０１と画像１
０２の画像データにおいて、どちらか一方の画像データ
の特定の色や信号レベルをキーとして選択する。画像合
成装置１０３は、画像１０１と画像１０２を入力とし、
キー選択を行った画像データに対して、選択したキーが
検出された部分をもう一方の画像データで置き換えるこ
とで画像を合成する。その結果合成されたい画像が、画
像１０４で、いわゆるはめ込み画像が生成される。（図
７）においては、画像１０２の円領域の外側部分の色が
キーとして選択され、その部分を画像１０１で置き換え
ている。
【０００３】一方、従来の技術の第２の例として、奥行
き値を考慮したカメラ画像と計算機生成画像の合成方法
として、「特開平１−１９６６７２号公報」がある。
き値を考慮したカメラ画像と計算機生成画像の合成方法
として、「特開平１−１９６６７２号公報」がある。
【０００４】ここに記述されている内容について解説す
る。まず、人間の右目と左目に相当する２台のカメラを
規定距離だけ離して配置して撮影した２枚の画像で、同
一点がどの程度離れているかによって、左目に相当する
カメラの画像に対する画素毎の奥行き値を計算する。計
算機で生成する画像に対しては、デプスバッファ法と呼
ばれる方法で奥行きを有する画像を求めておく。次に、
画面の各画素毎に左目に相当するカメラの画像に対する
奥行き値と計算機で生成した画像に対する奥行き値を比
較して、奥行きの近い側の色情報を残すことによって合
成画像を生成する。
る。まず、人間の右目と左目に相当する２台のカメラを
規定距離だけ離して配置して撮影した２枚の画像で、同
一点がどの程度離れているかによって、左目に相当する
カメラの画像に対する画素毎の奥行き値を計算する。計
算機で生成する画像に対しては、デプスバッファ法と呼
ばれる方法で奥行きを有する画像を求めておく。次に、
画面の各画素毎に左目に相当するカメラの画像に対する
奥行き値と計算機で生成した画像に対する奥行き値を比
較して、奥行きの近い側の色情報を残すことによって合
成画像を生成する。
【０００５】
【発明が解決しようとする課題】しかしながら上記の第
１の従来例では、合成対象の画像の位置的な関係を考慮
していないので、一方の画像がもう一方の画像に対し
て、常に前になるか、もしくは後ろに配置された形での
合成画像しか作成することができないという問題点を有
していた。例えば、（図８）の（ａ），（ｂ）の画像を
位置的な関係を考慮して、（図８）の（ｃ）のような形
で合成画像を作成するためには、少なくとも（図８）
（ａ），（ｂ）の奥行きデータがなければ生成すること
は不可能である。（図８）よりももっと複雑な画像、任
意の画像に対して、位置関係を考慮した画像合成を精密
に行うためには、画素単位での奥行きデータが必要であ
る。
１の従来例では、合成対象の画像の位置的な関係を考慮
していないので、一方の画像がもう一方の画像に対し
て、常に前になるか、もしくは後ろに配置された形での
合成画像しか作成することができないという問題点を有
していた。例えば、（図８）の（ａ），（ｂ）の画像を
位置的な関係を考慮して、（図８）の（ｃ）のような形
で合成画像を作成するためには、少なくとも（図８）
（ａ），（ｂ）の奥行きデータがなければ生成すること
は不可能である。（図８）よりももっと複雑な画像、任
意の画像に対して、位置関係を考慮した画像合成を精密
に行うためには、画素単位での奥行きデータが必要であ
る。
【０００６】これに対し、上記の第２の従来例では、奥
行き値考慮した形でのカメラ撮影画像と計算機生成画像
の合成方法を提供している。
行き値考慮した形でのカメラ撮影画像と計算機生成画像
の合成方法を提供している。
【０００７】しかしながら、現実の状況で使用する場合
には、２台のカメラでは、左目に相当するカメラの画像
には写っている点が、右目に相当するカメラに写ってい
ないということがしばしば生じる。この場合、奥行き値
は決定不能で、つまり、第２の従来例では画素毎に奥行
き値を求められるといっているが、実際には画素毎に求
められない状況がしばしば生じる。全ての画素について
奥行き値が決定できる画像に対してだけ画像合成をする
のならば、それは非常に限られた画像（例えば凹凸のほ
とんど無いような風景の画像）に対してしか適用できな
い。
には、２台のカメラでは、左目に相当するカメラの画像
には写っている点が、右目に相当するカメラに写ってい
ないということがしばしば生じる。この場合、奥行き値
は決定不能で、つまり、第２の従来例では画素毎に奥行
き値を求められるといっているが、実際には画素毎に求
められない状況がしばしば生じる。全ての画素について
奥行き値が決定できる画像に対してだけ画像合成をする
のならば、それは非常に限られた画像（例えば凹凸のほ
とんど無いような風景の画像）に対してしか適用できな
い。
【０００８】また、現実の画像では、繰り返しパターン
のように似通った点が多数存在するような状況（例えば
壁やタイル張りの床、格子窓など）がしばしばある。こ
の場合には、左目に相当するカメラの画像のある点に対
応する右目に相当するカメラの画像の同一点が多数存在
するという状況が起こる。つまり、奥行き値を一意に決
定できないという画素が多数存在することになる。
のように似通った点が多数存在するような状況（例えば
壁やタイル張りの床、格子窓など）がしばしばある。こ
の場合には、左目に相当するカメラの画像のある点に対
応する右目に相当するカメラの画像の同一点が多数存在
するという状況が起こる。つまり、奥行き値を一意に決
定できないという画素が多数存在することになる。
【０００９】更に重要な問題点は、カメラの撮影方向や
位置、ズーム値を即応的に変更することができないとい
う点である。つまり、奥行き値を算出するためにはカメ
ラ定数が既知として算出するわけであるが、もし、カメ
ラの撮影方向や位置、ズーム値を変更したならば、第２
の従来例の方法ではカメラ定数を再測定（計算）しなけ
ればならない。一般には、この実行にはかなりの時間が
掛かることが知られている。従って、第２の従来例は、
基本的には固定した方向や位置、ズーム値で撮影した画
像に対しての画像合成方法であると言わざるをえず、即
応的な撮影（例えば、移動物体の撮影）を必要とする状
況下での使用は不可能である。
位置、ズーム値を即応的に変更することができないとい
う点である。つまり、奥行き値を算出するためにはカメ
ラ定数が既知として算出するわけであるが、もし、カメ
ラの撮影方向や位置、ズーム値を変更したならば、第２
の従来例の方法ではカメラ定数を再測定（計算）しなけ
ればならない。一般には、この実行にはかなりの時間が
掛かることが知られている。従って、第２の従来例は、
基本的には固定した方向や位置、ズーム値で撮影した画
像に対しての画像合成方法であると言わざるをえず、即
応的な撮影（例えば、移動物体の撮影）を必要とする状
況下での使用は不可能である。
【００１０】以上のことから、第２の従来例は非常に限
定された状況と条件下で撮影した画像にしか適用できな
い画像合成方法であると言え、現実の状況と条件下での
使用には耐えることができない。また、用途は実写画像
と計算機生成画像との画像合成に限定されている。
定された状況と条件下で撮影した画像にしか適用できな
い画像合成方法であると言え、現実の状況と条件下での
使用には耐えることができない。また、用途は実写画像
と計算機生成画像との画像合成に限定されている。
【００１１】本発明は上記問題点に鑑み、複雑な状況や
条件下における複数の実写映像や、複雑な状況や条件下
における実写映像と計算機で生成した画像を位置関係を
考慮した形で画像合成するための画像合成装置の提供を
目的としている。
条件下における複数の実写映像や、複雑な状況や条件下
における実写映像と計算機で生成した画像を位置関係を
考慮した形で画像合成するための画像合成装置の提供を
目的としている。
【００１２】
【課題を解決するための手段】上記問題点を解決するた
めに本発明の画像合成装置は、ベースカメラヘッドと複
数の測定用カメラヘッドで構成されるマルチカメラヘッ
ドと、前記マルチカメラヘッドから出力される画像デー
タを入力とし、前記マルチカメラヘッドのベースカメラ
ヘッドの画像データに対して画素単位に奥行きデータを
計算し、前記ベースカメラヘッドの画像データと奥行き
データを出力する奥行きデータ算出装置と、前記奥行き
データ算出装置から出力される画像データ、奥行きデー
タと前記マルチカメラとは別系統から入力される画像デ
ータ、奥行きデータとを入力とし、前記２つの奥行きデ
ータを比較し、比較結果によって前記２つの画像データ
の内の１つを選択することで画像を合成し、合成した画
像を出力する３次元画像合成装置とを備えたものであ
る。
めに本発明の画像合成装置は、ベースカメラヘッドと複
数の測定用カメラヘッドで構成されるマルチカメラヘッ
ドと、前記マルチカメラヘッドから出力される画像デー
タを入力とし、前記マルチカメラヘッドのベースカメラ
ヘッドの画像データに対して画素単位に奥行きデータを
計算し、前記ベースカメラヘッドの画像データと奥行き
データを出力する奥行きデータ算出装置と、前記奥行き
データ算出装置から出力される画像データ、奥行きデー
タと前記マルチカメラとは別系統から入力される画像デ
ータ、奥行きデータとを入力とし、前記２つの奥行きデ
ータを比較し、比較結果によって前記２つの画像データ
の内の１つを選択することで画像を合成し、合成した画
像を出力する３次元画像合成装置とを備えたものであ
る。
【００１３】上記問題点を解決するために本発明の画像
合成装置は、ベースカメラヘッドと複数の測定用カメラ
ヘッドで構成されるマルチカメラヘッドと、前記マルチ
カメラヘッドから出力される画像データを入力とし、前
記マルチカメラヘッドのベースカメラヘッドの画像デー
タに対して画素単位に奥行きデータを計算し、前記ベー
スカメラヘッドの画像データと奥行きデータを出力する
奥行きデータ算出装置と、前記奥行きデータ算出装置か
ら出力される画像データ、奥行きデータを保存する記憶
装置と、前記記憶装置から獲得する画像データ、奥行き
データと前記記憶装置とは別系統から入力される画像デ
ータ、奥行きデータとを入力とし、前記２つの奥行きデ
ータを比較し、比較結果によって前記２つの画像データ
の内の１つを選択することで画像を合成し、合成した画
像を出力する３次元画像合成装置とを備えたものであ
る。
合成装置は、ベースカメラヘッドと複数の測定用カメラ
ヘッドで構成されるマルチカメラヘッドと、前記マルチ
カメラヘッドから出力される画像データを入力とし、前
記マルチカメラヘッドのベースカメラヘッドの画像デー
タに対して画素単位に奥行きデータを計算し、前記ベー
スカメラヘッドの画像データと奥行きデータを出力する
奥行きデータ算出装置と、前記奥行きデータ算出装置か
ら出力される画像データ、奥行きデータを保存する記憶
装置と、前記記憶装置から獲得する画像データ、奥行き
データと前記記憶装置とは別系統から入力される画像デ
ータ、奥行きデータとを入力とし、前記２つの奥行きデ
ータを比較し、比較結果によって前記２つの画像データ
の内の１つを選択することで画像を合成し、合成した画
像を出力する３次元画像合成装置とを備えたものであ
る。
【００１４】上記問題点を解決するために本発明の画像
合成装置は、ベースカメラヘッドと複数の測定用カメラ
ヘッドで構成されるマルチカメラヘッドと、前記マルチ
カメラヘッドから出力される画像データを入力とし、前
記マルチカメラヘッドのベースカメラヘッドの画像デー
タに対して、前記マルチカメラヘッドの測定用カメラヘ
ッドの画像から奥行きデータを決定できる画素について
まず奥行きデータを算出し、残りの画素については奥行
きデータの決定している画素の奥行きデータから算出す
ることで画素単位に奥行きデータを計算し、前記ベース
カメラヘッドの画像データと奥行きデータを出力する奥
行きデータ算出装置と、前記奥行きデータ算出装置から
出力される画像データ、奥行きデータと前記マルチカメ
ラとは別系統から入力される画像データ、奥行きデータ
とを入力とし、前記２つの奥行きデータを比較し、比較
結果によって前記２つの画像データの内の１つを選択す
ることで画像を合成し、合成した画像を出力する３次元
画像合成装置とを備えたものである。
合成装置は、ベースカメラヘッドと複数の測定用カメラ
ヘッドで構成されるマルチカメラヘッドと、前記マルチ
カメラヘッドから出力される画像データを入力とし、前
記マルチカメラヘッドのベースカメラヘッドの画像デー
タに対して、前記マルチカメラヘッドの測定用カメラヘ
ッドの画像から奥行きデータを決定できる画素について
まず奥行きデータを算出し、残りの画素については奥行
きデータの決定している画素の奥行きデータから算出す
ることで画素単位に奥行きデータを計算し、前記ベース
カメラヘッドの画像データと奥行きデータを出力する奥
行きデータ算出装置と、前記奥行きデータ算出装置から
出力される画像データ、奥行きデータと前記マルチカメ
ラとは別系統から入力される画像データ、奥行きデータ
とを入力とし、前記２つの奥行きデータを比較し、比較
結果によって前記２つの画像データの内の１つを選択す
ることで画像を合成し、合成した画像を出力する３次元
画像合成装置とを備えたものである。
【００１５】上記問題点を解決するために本発明の画像
合成装置は、ベースカメラヘッドと複数の測定用カメラ
ヘッドで構成されるマルチカメラヘッドと、前記マルチ
カメラヘッドのベースカメラヘッドレンズのズーム値を
読み取るズーム値検出装置と、前記ズーム値検出装置か
ら出力されるズーム値を入力として前記マルチカメラの
ベースカメラヘッドのレンズの焦点距離を算出するレン
ズ焦点距離算出装置と、前記レンズ焦点距離算出装置か
ら出力されるレンズの焦点距離と前記マルチカメラヘッ
ドから出力される画像データとを入力として、前記マル
チカメラヘッドのベースカメラヘッドの画像データに対
して画素単位に奥行きデータを計算し、前記ベースカメ
ラヘッドの画像データと奥行きデータを出力する奥行き
データ算出装置と、前記奥行きデータ算出装置から出力
される画像データ、奥行きデータと前記マルチカメラと
は別系統から入力される画像データ、奥行きデータとを
入力とし、前記２つの奥行きデータを比較し、比較結果
によって前記２つの画像データの内の１つを選択するこ
とで画像を合成し、合成した画像を出力する３次元画像
合成装置とを備えたものである。
合成装置は、ベースカメラヘッドと複数の測定用カメラ
ヘッドで構成されるマルチカメラヘッドと、前記マルチ
カメラヘッドのベースカメラヘッドレンズのズーム値を
読み取るズーム値検出装置と、前記ズーム値検出装置か
ら出力されるズーム値を入力として前記マルチカメラの
ベースカメラヘッドのレンズの焦点距離を算出するレン
ズ焦点距離算出装置と、前記レンズ焦点距離算出装置か
ら出力されるレンズの焦点距離と前記マルチカメラヘッ
ドから出力される画像データとを入力として、前記マル
チカメラヘッドのベースカメラヘッドの画像データに対
して画素単位に奥行きデータを計算し、前記ベースカメ
ラヘッドの画像データと奥行きデータを出力する奥行き
データ算出装置と、前記奥行きデータ算出装置から出力
される画像データ、奥行きデータと前記マルチカメラと
は別系統から入力される画像データ、奥行きデータとを
入力とし、前記２つの奥行きデータを比較し、比較結果
によって前記２つの画像データの内の１つを選択するこ
とで画像を合成し、合成した画像を出力する３次元画像
合成装置とを備えたものである。
【００１６】上記問題点を解決するために本発明の画像
合成装置は、ベースカメラヘッドと複数の測定用カメラ
ヘッドで構成されるマルチカメラヘッドと、前記マルチ
カメラヘッドのベースカメラヘッドレンズのズーム値を
読み取るズーム値検出装置と、前記ズーム値検出装置か
ら出力されるズーム値を入力として前記マルチカメラの
ベースカメラヘッドのレンズの焦点距離を算出するレン
ズ焦点距離算出装置と、前記レンズ焦点距離算出装置か
ら出力されるレンズの焦点距離と前記マルチカメラヘッ
ドから出力される画像データとを入力として、前記マル
チカメラヘッドのベースカメラヘッドの画像データに対
して画素単位に奥行きデータを計算し、前記ベースカメ
ラヘッドの画像データと奥行きデータを出力する奥行き
データ算出装置と、前記奥行きデータ算出装置から出力
される画像データ、奥行きデータを保存する記憶装置
と、前記記憶装置から獲得する画像データ、奥行きデー
タと前記記憶装置とは別系統から入力される画像デー
タ、奥行きデータとを入力とし、前記２つの奥行きデー
タを比較し、比較結果によって前記２つの画像データの
内の１つを選択することで画像を合成し、合成した画像
を出力する３次元画像合成装置とを備えたものである。
合成装置は、ベースカメラヘッドと複数の測定用カメラ
ヘッドで構成されるマルチカメラヘッドと、前記マルチ
カメラヘッドのベースカメラヘッドレンズのズーム値を
読み取るズーム値検出装置と、前記ズーム値検出装置か
ら出力されるズーム値を入力として前記マルチカメラの
ベースカメラヘッドのレンズの焦点距離を算出するレン
ズ焦点距離算出装置と、前記レンズ焦点距離算出装置か
ら出力されるレンズの焦点距離と前記マルチカメラヘッ
ドから出力される画像データとを入力として、前記マル
チカメラヘッドのベースカメラヘッドの画像データに対
して画素単位に奥行きデータを計算し、前記ベースカメ
ラヘッドの画像データと奥行きデータを出力する奥行き
データ算出装置と、前記奥行きデータ算出装置から出力
される画像データ、奥行きデータを保存する記憶装置
と、前記記憶装置から獲得する画像データ、奥行きデー
タと前記記憶装置とは別系統から入力される画像デー
タ、奥行きデータとを入力とし、前記２つの奥行きデー
タを比較し、比較結果によって前記２つの画像データの
内の１つを選択することで画像を合成し、合成した画像
を出力する３次元画像合成装置とを備えたものである。
【００１７】上記問題点を解決するために本発明の画像
合成装置は、ベースカメラヘッドと複数の測定用カメラ
ヘッドで構成されるマルチカメラヘッドと、前記マルチ
カメラヘッドのベースカメラヘッドレンズのズーム値を
読み取るズーム値検出装置と、前記ズーム値検出装置か
ら出力されるズーム値を入力として前記マルチカメラの
ベースカメラヘッドのレンズの焦点距離を算出するレン
ズ焦点距離算出装置と、前記レンズ焦点距離算出装置か
ら出力されるレンズの焦点距離と前記マルチカメラヘッ
ドから出力される画像データとを入力として、前記マル
チカメラヘッドのベースカメラヘッドの画像データに対
して、前記マルチカメラヘッドの測定用カメラヘッドの
画像から奥行きデータを決定できる画素についてまず奥
行きデータを算出し、残りの画素については奥行きデー
タの決定している画素の奥行きデータから算出すること
で画素単位に奥行きデータを計算し、前記ベースカメラ
ヘッドの画像データと奥行きデータを出力する奥行きデ
ータ算出装置と、前記奥行きデータ算出装置から出力さ
れる画像データ、奥行きデータと前記マルチカメラとは
別系統から入力される画像データ、奥行きデータとを入
力とし、前記２つの奥行きデータを比較し、比較結果に
よって前記２つの画像データの内の１つを選択すること
で画像を合成し、合成した画像を出力する３次元画像合
成装置とを備えたものである。
合成装置は、ベースカメラヘッドと複数の測定用カメラ
ヘッドで構成されるマルチカメラヘッドと、前記マルチ
カメラヘッドのベースカメラヘッドレンズのズーム値を
読み取るズーム値検出装置と、前記ズーム値検出装置か
ら出力されるズーム値を入力として前記マルチカメラの
ベースカメラヘッドのレンズの焦点距離を算出するレン
ズ焦点距離算出装置と、前記レンズ焦点距離算出装置か
ら出力されるレンズの焦点距離と前記マルチカメラヘッ
ドから出力される画像データとを入力として、前記マル
チカメラヘッドのベースカメラヘッドの画像データに対
して、前記マルチカメラヘッドの測定用カメラヘッドの
画像から奥行きデータを決定できる画素についてまず奥
行きデータを算出し、残りの画素については奥行きデー
タの決定している画素の奥行きデータから算出すること
で画素単位に奥行きデータを計算し、前記ベースカメラ
ヘッドの画像データと奥行きデータを出力する奥行きデ
ータ算出装置と、前記奥行きデータ算出装置から出力さ
れる画像データ、奥行きデータと前記マルチカメラとは
別系統から入力される画像データ、奥行きデータとを入
力とし、前記２つの奥行きデータを比較し、比較結果に
よって前記２つの画像データの内の１つを選択すること
で画像を合成し、合成した画像を出力する３次元画像合
成装置とを備えたものである。
【００１８】上記問題点を解決するために本発明の画像
合成装置は、ベースカメラヘッド、複数の測定用カメラ
ヘッドとズーム値を同時に変更することが可能な同期ズ
ーム変更装置とで構成されるマルチカメラヘッドと、前
記マルチカメラヘッドの同期ズーム変更装置からのズー
ム値を読み取るズーム値検出装置と、前記ズーム値検出
装置から出力されるズーム値を入力として前記マルチカ
メラのベースカメラヘッドのレンズの焦点距離を算出す
るレンズ焦点距離算出装置と、前記レンズ焦点距離算出
装置から出力されるレンズの焦点距離と前記マルチカメ
ラヘッドから出力される画像データとを入力として、前
記マルチカメラヘッドのベースカメラヘッドの画像デー
タに対して画素単位に奥行きデータを計算し、前記ベー
スカメラヘッドの画像データと奥行きデータを出力する
奥行きデータ算出装置と、前記奥行きデータ算出装置か
ら出力される画像データ、奥行きデータと前記マルチカ
メラとは別系統から入力される画像データ、奥行きデー
タとを入力とし、前記２つの奥行きデータを比較し、比
較結果によって前記２つの画像データの内の１つを選択
することで画像を合成し、合成した画像を出力する３次
元画像合成装置とを備えたものである。
合成装置は、ベースカメラヘッド、複数の測定用カメラ
ヘッドとズーム値を同時に変更することが可能な同期ズ
ーム変更装置とで構成されるマルチカメラヘッドと、前
記マルチカメラヘッドの同期ズーム変更装置からのズー
ム値を読み取るズーム値検出装置と、前記ズーム値検出
装置から出力されるズーム値を入力として前記マルチカ
メラのベースカメラヘッドのレンズの焦点距離を算出す
るレンズ焦点距離算出装置と、前記レンズ焦点距離算出
装置から出力されるレンズの焦点距離と前記マルチカメ
ラヘッドから出力される画像データとを入力として、前
記マルチカメラヘッドのベースカメラヘッドの画像デー
タに対して画素単位に奥行きデータを計算し、前記ベー
スカメラヘッドの画像データと奥行きデータを出力する
奥行きデータ算出装置と、前記奥行きデータ算出装置か
ら出力される画像データ、奥行きデータと前記マルチカ
メラとは別系統から入力される画像データ、奥行きデー
タとを入力とし、前記２つの奥行きデータを比較し、比
較結果によって前記２つの画像データの内の１つを選択
することで画像を合成し、合成した画像を出力する３次
元画像合成装置とを備えたものである。
【００１９】上記問題点を解決するために本発明の画像
合成装置は、ベースカメラヘッド、複数の測定用カメラ
ヘッドとズーム値を同時に変更することが可能な同期ズ
ーム変更装置とで構成されるマルチカメラヘッドと、前
記マルチカメラヘッドの同期ズーム変更装置からのズー
ム値を読み取るズーム値検出装置と、前記ズーム値検出
装置から出力されるズーム値を入力として前記マルチカ
メラのベースカメラヘッドのレンズの焦点距離を算出す
るレンズ焦点距離算出装置と、前記レンズ焦点距離算出
装置から出力されるレンズの焦点距離と前記マルチカメ
ラヘッドから出力される画像データとを入力として、前
記マルチカメラヘッドのベースカメラヘッドの画像デー
タに対して画素単位に奥行きデータを計算し、前記ベー
スカメラヘッドの画像データと奥行きデータを出力する
奥行きデータ算出装置と、前記奥行きデータ算出装置か
ら出力される画像データ、奥行きデータを保存する記憶
装置と、前記記憶装置から獲得する画像データ、奥行き
データと前記記憶装置とは別系統から入力される画像デ
ータ、奥行きデータとを入力とし、前記２つの奥行きデ
ータを比較し、比較結果によって前記２つの画像データ
の内の１つを選択することで画像を合成し、合成した画
像を出力する３次元画像合成装置とを備えたものであ
る。
合成装置は、ベースカメラヘッド、複数の測定用カメラ
ヘッドとズーム値を同時に変更することが可能な同期ズ
ーム変更装置とで構成されるマルチカメラヘッドと、前
記マルチカメラヘッドの同期ズーム変更装置からのズー
ム値を読み取るズーム値検出装置と、前記ズーム値検出
装置から出力されるズーム値を入力として前記マルチカ
メラのベースカメラヘッドのレンズの焦点距離を算出す
るレンズ焦点距離算出装置と、前記レンズ焦点距離算出
装置から出力されるレンズの焦点距離と前記マルチカメ
ラヘッドから出力される画像データとを入力として、前
記マルチカメラヘッドのベースカメラヘッドの画像デー
タに対して画素単位に奥行きデータを計算し、前記ベー
スカメラヘッドの画像データと奥行きデータを出力する
奥行きデータ算出装置と、前記奥行きデータ算出装置か
ら出力される画像データ、奥行きデータを保存する記憶
装置と、前記記憶装置から獲得する画像データ、奥行き
データと前記記憶装置とは別系統から入力される画像デ
ータ、奥行きデータとを入力とし、前記２つの奥行きデ
ータを比較し、比較結果によって前記２つの画像データ
の内の１つを選択することで画像を合成し、合成した画
像を出力する３次元画像合成装置とを備えたものであ
る。
【００２０】上記問題点を解決するために本発明の画像
合成装置は、ベースカメラヘッド、複数の測定用カメラ
ヘッドとズーム値を同時に変更することが可能な同期ズ
ーム変更装置とで構成されるマルチカメラヘッドと、前
記マルチカメラヘッドの同期ズーム変更装置からのズー
ム値を読み取るズーム値検出装置と、前記ズーム値検出
装置から出力されるズーム値を入力として前記マルチカ
メラのベースカメラヘッドのレンズの焦点距離を算出す
るレンズ焦点距離算出装置と、前記レンズ焦点距離算出
装置から出力されるレンズの焦点距離と前記マルチカメ
ラヘッドから出力される画像データとを入力として、前
記マルチカメラヘッドのベースカメラヘッドの画像デー
タに対して、前記マルチカメラヘッドの測定用カメラヘ
ッドの画像から奥行きデータを決定できる画素について
まず奥行きデータを算出し、残りの画素については奥行
きデータの決定している画素の奥行きデータから算出す
ることで画素単位に奥行きデータを計算し、前記ベース
カメラヘッドの画像データと奥行きデータを出力する奥
行きデータ算出装置と、前記奥行きデータ算出装置から
出力される画像データ、奥行きデータと前記マルチカメ
ラとは別系統から入力される画像データ、奥行きデータ
とを入力とし、前記２つの奥行きデータを比較し、比較
結果によって前記２つの画像データの内の１つを選択す
ることで画像を合成し、合成した画像を出力する３次元
画像合成装置とを備えたものである。
合成装置は、ベースカメラヘッド、複数の測定用カメラ
ヘッドとズーム値を同時に変更することが可能な同期ズ
ーム変更装置とで構成されるマルチカメラヘッドと、前
記マルチカメラヘッドの同期ズーム変更装置からのズー
ム値を読み取るズーム値検出装置と、前記ズーム値検出
装置から出力されるズーム値を入力として前記マルチカ
メラのベースカメラヘッドのレンズの焦点距離を算出す
るレンズ焦点距離算出装置と、前記レンズ焦点距離算出
装置から出力されるレンズの焦点距離と前記マルチカメ
ラヘッドから出力される画像データとを入力として、前
記マルチカメラヘッドのベースカメラヘッドの画像デー
タに対して、前記マルチカメラヘッドの測定用カメラヘ
ッドの画像から奥行きデータを決定できる画素について
まず奥行きデータを算出し、残りの画素については奥行
きデータの決定している画素の奥行きデータから算出す
ることで画素単位に奥行きデータを計算し、前記ベース
カメラヘッドの画像データと奥行きデータを出力する奥
行きデータ算出装置と、前記奥行きデータ算出装置から
出力される画像データ、奥行きデータと前記マルチカメ
ラとは別系統から入力される画像データ、奥行きデータ
とを入力とし、前記２つの奥行きデータを比較し、比較
結果によって前記２つの画像データの内の１つを選択す
ることで画像を合成し、合成した画像を出力する３次元
画像合成装置とを備えたものである。
【００２１】
【作用】本発明は上記した構成によって、ベースカメラ
ヘッドで撮影した画像に対して、画素単位での奥行きデ
ータと画像データを取り出せ、奥行きデータを比較した
形での画像合成が可能である。
ヘッドで撮影した画像に対して、画素単位での奥行きデ
ータと画像データを取り出せ、奥行きデータを比較した
形での画像合成が可能である。
【００２２】次に、上記に指摘した第２の従来例の欠点
を如何に解決しているかについて説明する。
を如何に解決しているかについて説明する。
【００２３】まず、第２の従来例で、左目に相当するカ
メラの撮影画像に写っている点が、右目に相当するカメ
ラの撮影画像に写っていないために奥行きデータが決定
不能となる状況に関して説明する。本発明ではマルチカ
メラヘッドがベースカメラヘッドの他に複数の測定用カ
メラヘッドを備えているので、多くの場合、ベースカメ
ラヘッドに写っている領域（点）は、ある測定用のカメ
ラには無くても、別の測定用カメラヘッドには写ってい
るのでそれを用いて奥行きデータを決定すればよい。但
し、状況によっては、希に、ベースカメラヘッドに写っ
ている領域がどの測定用カメラヘッドにも写っていない
ことは起こり得る。この場合には、まず奥行きデータを
求められる画素についてのみ奥行きデータを決定してお
き、決定不能な画素に対しては、周囲に存在する奥行き
データが決定された画素の奥行きデータを用いて算出す
る。こうすることにより、任意の撮影画像に対して、全
ての画素における奥行きデータを決定することができ
る。
メラの撮影画像に写っている点が、右目に相当するカメ
ラの撮影画像に写っていないために奥行きデータが決定
不能となる状況に関して説明する。本発明ではマルチカ
メラヘッドがベースカメラヘッドの他に複数の測定用カ
メラヘッドを備えているので、多くの場合、ベースカメ
ラヘッドに写っている領域（点）は、ある測定用のカメ
ラには無くても、別の測定用カメラヘッドには写ってい
るのでそれを用いて奥行きデータを決定すればよい。但
し、状況によっては、希に、ベースカメラヘッドに写っ
ている領域がどの測定用カメラヘッドにも写っていない
ことは起こり得る。この場合には、まず奥行きデータを
求められる画素についてのみ奥行きデータを決定してお
き、決定不能な画素に対しては、周囲に存在する奥行き
データが決定された画素の奥行きデータを用いて算出す
る。こうすることにより、任意の撮影画像に対して、全
ての画素における奥行きデータを決定することができ
る。
【００２４】次に、繰り返しパターンのように似通った
点が存在するような状況において、第２の従来例では、
左目に相当するカメラの撮影画像のある点に対応する右
目に相当するカメラの撮影画像の同一点が多数存在する
ために、奥行き値を一意に決定できないという場合につ
いて説明する。上記のように、本発明ではマルチカメラ
ヘッドがベースカメラヘッドの他に複数の測定用カメラ
ヘッドを備えており、ベースカメラヘッドの撮影画像中
のある領域に対応する、各測定用カメラヘッドの撮影画
像中の領域の候補は多数存在する。これらの候補に対
し、ベースカメラヘッドの撮影画像中のある領域に対す
る奥行きデータは一定であるという条件と、複数の測定
用のカメラで複数の異なる位置から撮影しているという
条件を使って、例えば度数分布等の評価を行うことによ
り、奥行きデータを一意に決定することができる。但
し、第２の従来例のように右目に相当するカメラ１台に
対する多数の候補点では、どの候補点も等価であるた
め、第２の従来例ではこの度数分布評価は実行不可能で
ある。
点が存在するような状況において、第２の従来例では、
左目に相当するカメラの撮影画像のある点に対応する右
目に相当するカメラの撮影画像の同一点が多数存在する
ために、奥行き値を一意に決定できないという場合につ
いて説明する。上記のように、本発明ではマルチカメラ
ヘッドがベースカメラヘッドの他に複数の測定用カメラ
ヘッドを備えており、ベースカメラヘッドの撮影画像中
のある領域に対応する、各測定用カメラヘッドの撮影画
像中の領域の候補は多数存在する。これらの候補に対
し、ベースカメラヘッドの撮影画像中のある領域に対す
る奥行きデータは一定であるという条件と、複数の測定
用のカメラで複数の異なる位置から撮影しているという
条件を使って、例えば度数分布等の評価を行うことによ
り、奥行きデータを一意に決定することができる。但
し、第２の従来例のように右目に相当するカメラ１台に
対する多数の候補点では、どの候補点も等価であるた
め、第２の従来例ではこの度数分布評価は実行不可能で
ある。
【００２５】最後に、第２の従来例では不可能であっ
た、カメラの撮影方向や位置、ズーム値の即応的な変更
について説明する。上記のように、本発明ではベースカ
メラヘッドと測定用のカメラがマルチカメラヘッドとし
て一体化されているので、方向と位置の変更は問題なく
即応できる。また、本発明でズーム値検出装置とレンズ
焦点距離算出装置を備えたものに関しては、ズーム値を
変更した場合には、まず、そのズーム値をズーム値検出
装置で読み取り、次に、読み取ったズーム値からレンズ
の焦点距離をレンズ焦点距離算出装置で算出する。この
算出方法には、例えば、ズーム値とレンズの焦点距離の
相関関係を示したテーブルを使ったり、このテーブルと
補間計算を併用するなどの方法がある。従って、本発明
ではズーム値の変更も即応的に可能な構成になってい
る。
た、カメラの撮影方向や位置、ズーム値の即応的な変更
について説明する。上記のように、本発明ではベースカ
メラヘッドと測定用のカメラがマルチカメラヘッドとし
て一体化されているので、方向と位置の変更は問題なく
即応できる。また、本発明でズーム値検出装置とレンズ
焦点距離算出装置を備えたものに関しては、ズーム値を
変更した場合には、まず、そのズーム値をズーム値検出
装置で読み取り、次に、読み取ったズーム値からレンズ
の焦点距離をレンズ焦点距離算出装置で算出する。この
算出方法には、例えば、ズーム値とレンズの焦点距離の
相関関係を示したテーブルを使ったり、このテーブルと
補間計算を併用するなどの方法がある。従って、本発明
ではズーム値の変更も即応的に可能な構成になってい
る。
【００２６】また、本発明では、３次元画像合成装置の
２つの入力に対して、マルチカメラヘッドと奥行きデー
タ算出装置で生成した奥行きデータと画像データを入力
すれば、実写映像と実写映像との位置関係を考慮した画
像合成を行うことができ、入力の片方に計算機で生成し
た奥行きデータと画像データを入力すれば、実写映像と
計算機で生成した画像との位置関係を考慮した画像合成
を行うことができる。
２つの入力に対して、マルチカメラヘッドと奥行きデー
タ算出装置で生成した奥行きデータと画像データを入力
すれば、実写映像と実写映像との位置関係を考慮した画
像合成を行うことができ、入力の片方に計算機で生成し
た奥行きデータと画像データを入力すれば、実写映像と
計算機で生成した画像との位置関係を考慮した画像合成
を行うことができる。
【００２７】更に、本発明において記憶装置を設けたも
のに関しては、ベースカメラヘッドで撮影した画像に対
する奥行きデータと画像データを保存できるようにして
いる。従って、一旦撮影後保存しておいた画像との位置
関係を考慮した画像合成も可能な構成にしている。
のに関しては、ベースカメラヘッドで撮影した画像に対
する奥行きデータと画像データを保存できるようにして
いる。従って、一旦撮影後保存しておいた画像との位置
関係を考慮した画像合成も可能な構成にしている。
【００２８】以上により、本発明は複雑な状況や条件下
における複数の実写映像や、複雑な状況や条件下におけ
る実写映像と計算機で生成した画像を位置関係を考慮し
た形での画像合成を実行することが可能である。
における複数の実写映像や、複雑な状況や条件下におけ
る実写映像と計算機で生成した画像を位置関係を考慮し
た形での画像合成を実行することが可能である。
【００２９】
【実施例】以下本発明の第１の実施例の画像合成装置に
ついて、（図１）を参照しながら説明する。
ついて、（図１）を参照しながら説明する。
【００３０】（図１）は本発明の実施例における画像合
成装置の構成を示すものである。（図１）において、１
はマルチカメラヘッド、２は奥行きデータ算出装置、３
は３次元画像合成装置、１０はベースカメラヘッド、１
１は測定用カメラヘッドである。但し、マルチカメラヘ
ッド１を構成するベースカメラヘッド１０と複数の測定
用カメラヘッド１１の光軸は平行で、レンズの焦点距離
は共通で既知で、ベースカメラヘッド１０に対する各測
定用カメラヘッド１１の相対的な位置関係も既知とす
る。
成装置の構成を示すものである。（図１）において、１
はマルチカメラヘッド、２は奥行きデータ算出装置、３
は３次元画像合成装置、１０はベースカメラヘッド、１
１は測定用カメラヘッドである。但し、マルチカメラヘ
ッド１を構成するベースカメラヘッド１０と複数の測定
用カメラヘッド１１の光軸は平行で、レンズの焦点距離
は共通で既知で、ベースカメラヘッド１０に対する各測
定用カメラヘッド１１の相対的な位置関係も既知とす
る。
【００３１】以上のように構成された画像合成装置につ
いて、以下にその動作を説明する。まず、マルチカメラ
ヘッド１で被写体を撮影し、画素単位の画像データを奥
行きデータ算出装置２へ出力する。マルチカメラヘッド
１は（図１）に示したように、ベースカメラヘッド１０
と複数の測定用カメラヘッド１１で構成されているの
で、奥行きデータ算出装置２は、ベースカメラヘッド１
０から出力される画素単位の画像データと各測定用カメ
ラヘッド１１から出力される画素単位の画像データを得
ることになる。
いて、以下にその動作を説明する。まず、マルチカメラ
ヘッド１で被写体を撮影し、画素単位の画像データを奥
行きデータ算出装置２へ出力する。マルチカメラヘッド
１は（図１）に示したように、ベースカメラヘッド１０
と複数の測定用カメラヘッド１１で構成されているの
で、奥行きデータ算出装置２は、ベースカメラヘッド１
０から出力される画素単位の画像データと各測定用カメ
ラヘッド１１から出力される画素単位の画像データを得
ることになる。
【００３２】奥行きデータ算出装置２では、まずマルチ
カメラヘッド１から出力される複数の画素単位の画像デ
ータをそれぞれ１画面分づつ専用に設けられた記憶領域
に保存する。つまり、ベースカメラヘッド１０で撮影さ
れた画素単位の画像データと各測定用カメラヘッド１１
で撮影された画素単位の画像データがそれぞれの専用領
域に１画面分づつ保存される。この後、ベースカメラヘ
ッド１０で撮影された画像データの各画素毎にその奥行
きデータを算出することになるが、これについては（図
９）を用いて説明する。
カメラヘッド１から出力される複数の画素単位の画像デ
ータをそれぞれ１画面分づつ専用に設けられた記憶領域
に保存する。つまり、ベースカメラヘッド１０で撮影さ
れた画素単位の画像データと各測定用カメラヘッド１１
で撮影された画素単位の画像データがそれぞれの専用領
域に１画面分づつ保存される。この後、ベースカメラヘ
ッド１０で撮影された画像データの各画素毎にその奥行
きデータを算出することになるが、これについては（図
９）を用いて説明する。
【００３３】もし、ベースカメラヘッド１０で撮影され
た画像の各画素位置（ベクトルａとする）の画像データ
が測定用カメラヘッド１１で撮影された画像中の画素位
置（ベクトルｂとする）とマッチングが取れていれば、
（図９）で示す状況が成り立つ。但し、（図９）におい
て、Ｐは被写対象物の位置、Ｂはベースカメラヘッド１
０に対する測定用カメラヘッド１１の相対位置を表すベ
クトル、Ｆは各カメラヘッドに共通のレンズの焦点距
離、ＺはＰに対する奥行きデータ値、ａ’はベースカメ
ラヘッド１０の光軸に垂直で光軸上に始点があり、終点
がＰのベクトル、ｂ’は測定用カメラヘッド１１の光軸
に垂直で光軸上に始点があり、終点がＰのベクトルで、
Ｂ＝ａ’−ｂ’の関係があり、ベクトルｄは差ベクトル
で、ｄ＝ａ−ｂによって定義される。画素位置のマッチ
ングが取れるということは言い替えると、（図９）にお
ける仮想スクリーン上のベクトルａとベクトルｂが決定
できたことに他ならない。（図９）に示した関係から、
Ｚ，Ｆ，ｄ，Ｂの間で、 Ｚｄ＝ＦＢ が成り立つ。この式はベクトル方程式であるが、スカラ
ー表現でも表すことができて、 Ｚ｜ｄ｜＝Ｆ｜Ｂ｜ とも書ける。但し、｜｜はベクトルの大きさを表す。い
ずれにしろ、Ｆ，ｄ，Ｂは仮定から既知なので、もし、
仮想スクリーンが連続空間ならば、ベクトル方程式、ス
カラー方程式いずれを解いても、 Ｚ＝Ｆ｜Ｂ｜／｜ｄ｜ によって、奥行きデータ値を求めることができる。しか
し、仮想スクリーン空間は、一般には離散空間なので、
量子化誤差を考慮する場合にはベクトル方程式を最小自
乗法を使って解く方が精度的には良い。つまり、 Ｚ＝Ｆ（ｄ・Ｂ）／｜ｄ｜2 によって求める。但し、・は内積を表す。
た画像の各画素位置（ベクトルａとする）の画像データ
が測定用カメラヘッド１１で撮影された画像中の画素位
置（ベクトルｂとする）とマッチングが取れていれば、
（図９）で示す状況が成り立つ。但し、（図９）におい
て、Ｐは被写対象物の位置、Ｂはベースカメラヘッド１
０に対する測定用カメラヘッド１１の相対位置を表すベ
クトル、Ｆは各カメラヘッドに共通のレンズの焦点距
離、ＺはＰに対する奥行きデータ値、ａ’はベースカメ
ラヘッド１０の光軸に垂直で光軸上に始点があり、終点
がＰのベクトル、ｂ’は測定用カメラヘッド１１の光軸
に垂直で光軸上に始点があり、終点がＰのベクトルで、
Ｂ＝ａ’−ｂ’の関係があり、ベクトルｄは差ベクトル
で、ｄ＝ａ−ｂによって定義される。画素位置のマッチ
ングが取れるということは言い替えると、（図９）にお
ける仮想スクリーン上のベクトルａとベクトルｂが決定
できたことに他ならない。（図９）に示した関係から、
Ｚ，Ｆ，ｄ，Ｂの間で、 Ｚｄ＝ＦＢ が成り立つ。この式はベクトル方程式であるが、スカラ
ー表現でも表すことができて、 Ｚ｜ｄ｜＝Ｆ｜Ｂ｜ とも書ける。但し、｜｜はベクトルの大きさを表す。い
ずれにしろ、Ｆ，ｄ，Ｂは仮定から既知なので、もし、
仮想スクリーンが連続空間ならば、ベクトル方程式、ス
カラー方程式いずれを解いても、 Ｚ＝Ｆ｜Ｂ｜／｜ｄ｜ によって、奥行きデータ値を求めることができる。しか
し、仮想スクリーン空間は、一般には離散空間なので、
量子化誤差を考慮する場合にはベクトル方程式を最小自
乗法を使って解く方が精度的には良い。つまり、 Ｚ＝Ｆ（ｄ・Ｂ）／｜ｄ｜2 によって求める。但し、・は内積を表す。
【００３４】いずれにしろ、マッチングが取れるという
ことが重要で、マッチングが取れれば奥行きデータを以
上の方法により算出することは可能である。
ことが重要で、マッチングが取れれば奥行きデータを以
上の方法により算出することは可能である。
【００３５】そこで次に、マッチング方法について説明
する。まず、理想的な状況を仮定して話を進める。ベー
スカメラヘッド１０で撮影した画像中のマッチングを取
りたい１画素を選び、この画素を中心とした領域を決め
る。この領域の形は任意に決定して良い。例えば３×３
画素の正方形領域でもいいし、１×３の長方形領域でも
よい。次に、各測定用カメラヘッド１１で撮影した画像
中を評価関数で評価しながら、選択した領域に最も適合
する領域を探索する。この評価関数としては、領域の対
応する画素位置の画素データの差の２乗値を領域全ての
画素に渡って和を取ったものや、差の絶対値を領域全て
の画素に渡って和を取ったもの等を使うことができる。
各測定用カメラヘッド１１で撮影した画像中において、
この評価関数で最小値を取る領域をマッチングの取れた
領域と定めれば、このマッチングの取れた領域の中心が
測定用カメラヘッド１１で撮影した画像中で対応する画
素位置となる。理想的な状況では、この画素位置は各測
定用カメラヘッドで撮影した画像中で一意に決められる
ので、この画素位置と先の算出式を使って奥行きデータ
を求める。測定用カメラヘッド１１は複数存在するの
で、算出される奥行きデータも複数存在するので、これ
らに対して平均値を取るなどの操作を行うことで一意に
決められる。
する。まず、理想的な状況を仮定して話を進める。ベー
スカメラヘッド１０で撮影した画像中のマッチングを取
りたい１画素を選び、この画素を中心とした領域を決め
る。この領域の形は任意に決定して良い。例えば３×３
画素の正方形領域でもいいし、１×３の長方形領域でも
よい。次に、各測定用カメラヘッド１１で撮影した画像
中を評価関数で評価しながら、選択した領域に最も適合
する領域を探索する。この評価関数としては、領域の対
応する画素位置の画素データの差の２乗値を領域全ての
画素に渡って和を取ったものや、差の絶対値を領域全て
の画素に渡って和を取ったもの等を使うことができる。
各測定用カメラヘッド１１で撮影した画像中において、
この評価関数で最小値を取る領域をマッチングの取れた
領域と定めれば、このマッチングの取れた領域の中心が
測定用カメラヘッド１１で撮影した画像中で対応する画
素位置となる。理想的な状況では、この画素位置は各測
定用カメラヘッドで撮影した画像中で一意に決められる
ので、この画素位置と先の算出式を使って奥行きデータ
を求める。測定用カメラヘッド１１は複数存在するの
で、算出される奥行きデータも複数存在するので、これ
らに対して平均値を取るなどの操作を行うことで一意に
決められる。
【００３６】次に、現実的な状況について考えてみる。
マッチングを行う領域は有界なので、必ず評価関数の最
小値は存在する。しかし、前述のように、ベースカメラ
ヘッド１０で撮影した画像中の全ての部分が、測定用カ
メラヘッド１１で撮影した画像中に存在するとは限らな
い。つまり、評価関数の最小値と成る領域が、対応する
領域とは限らないということを意味する。これを避ける
ためには、閾値を設定して、評価関数の最小値がこの閾
値以上ならば、この測定用カメラヘッド１１で撮影した
画像中には対応する領域が存在しないとして棄却し、棄
却されなかったデータを用いて前述のように奥行きデー
タを求める。全ての測定用カメラヘッド１１で撮影した
画像中の領域の評価関数値の最小値が閾値以上であった
ときは、複数の測定用カメラヘッド１１があるので、少
なくとも１つの測定用カメラヘッド１１で撮影した画像
にはマッチングを取りたい領域が存在すると仮定すれ
ば、最も最小値の小さい領域をマッチングの取れた領域
として、前述の式を用いて奥行きデータを算出できる。
従って、少なくとも１つの測定用カメラヘッド１１で撮
影した画像にはマッチングを取りたい領域が存在すると
いう仮定を認めれば、ここで述べた方法で奥行きデータ
を算出することができる。
マッチングを行う領域は有界なので、必ず評価関数の最
小値は存在する。しかし、前述のように、ベースカメラ
ヘッド１０で撮影した画像中の全ての部分が、測定用カ
メラヘッド１１で撮影した画像中に存在するとは限らな
い。つまり、評価関数の最小値と成る領域が、対応する
領域とは限らないということを意味する。これを避ける
ためには、閾値を設定して、評価関数の最小値がこの閾
値以上ならば、この測定用カメラヘッド１１で撮影した
画像中には対応する領域が存在しないとして棄却し、棄
却されなかったデータを用いて前述のように奥行きデー
タを求める。全ての測定用カメラヘッド１１で撮影した
画像中の領域の評価関数値の最小値が閾値以上であった
ときは、複数の測定用カメラヘッド１１があるので、少
なくとも１つの測定用カメラヘッド１１で撮影した画像
にはマッチングを取りたい領域が存在すると仮定すれ
ば、最も最小値の小さい領域をマッチングの取れた領域
として、前述の式を用いて奥行きデータを算出できる。
従って、少なくとも１つの測定用カメラヘッド１１で撮
影した画像にはマッチングを取りたい領域が存在すると
いう仮定を認めれば、ここで述べた方法で奥行きデータ
を算出することができる。
【００３７】しかし、この仮定も認められないときに
は、全ての測定用カメラヘッド１１で撮影した画像中の
領域の評価関数値の最小値が閾値以上の場合、奥行きデ
ータ算出不能として、この画素に対する奥行きデータの
算出を一旦保留しておく。奥行きデータが決定できる画
素についてのみ先に全て求め、この算出が終了後、奥行
きデータの算出を保留しておいた画素に対し、周囲の奥
行きデータが算出されている画素の奥行きデータから補
間式を使って奥行きデータを算出する。補間式として
は、双線形補間式やスプライン補間などを使用すること
ができる。
は、全ての測定用カメラヘッド１１で撮影した画像中の
領域の評価関数値の最小値が閾値以上の場合、奥行きデ
ータ算出不能として、この画素に対する奥行きデータの
算出を一旦保留しておく。奥行きデータが決定できる画
素についてのみ先に全て求め、この算出が終了後、奥行
きデータの算出を保留しておいた画素に対し、周囲の奥
行きデータが算出されている画素の奥行きデータから補
間式を使って奥行きデータを算出する。補間式として
は、双線形補間式やスプライン補間などを使用すること
ができる。
【００３８】現実の状況では、前述のように、画像中に
繰り返しパターンなどが含まれることにより、１つの測
定用カメラヘッド１１で撮影した画像中に評価関数の最
小値を取る領域がいくつも存在することがある。この場
合の対処方法について説明する。この時には、まず、そ
れぞれの最小値を取る領域から対応する画素を決定し、
各々に対して前述の方程式を用いて奥行きデータを算出
する。この処理が終わると、各測定用カメラヘッド１１
で撮影した画像毎に、候補となる奥行きデータが複数求
められていることになる。求めたい画素の奥行きデータ
は、一意であるから、これら候補となる全ての奥行きデ
ータの度数分布を調べると、ある１つの奥行きデータ値
のところに度数が集中する。この度数の集中した奥行き
データが、この画素に対応する奥行きデータである。従
って、評価関数の最小値がいくつも存在する場合でも、
この方法で奥行きデータを決定できる。
繰り返しパターンなどが含まれることにより、１つの測
定用カメラヘッド１１で撮影した画像中に評価関数の最
小値を取る領域がいくつも存在することがある。この場
合の対処方法について説明する。この時には、まず、そ
れぞれの最小値を取る領域から対応する画素を決定し、
各々に対して前述の方程式を用いて奥行きデータを算出
する。この処理が終わると、各測定用カメラヘッド１１
で撮影した画像毎に、候補となる奥行きデータが複数求
められていることになる。求めたい画素の奥行きデータ
は、一意であるから、これら候補となる全ての奥行きデ
ータの度数分布を調べると、ある１つの奥行きデータ値
のところに度数が集中する。この度数の集中した奥行き
データが、この画素に対応する奥行きデータである。従
って、評価関数の最小値がいくつも存在する場合でも、
この方法で奥行きデータを決定できる。
【００３９】以上の一連の操作により、奥行きデータ算
出装置２は、ベースカメラヘッド１０で撮影した画像の
各画素に対する奥行きデータが算出し、各画素毎に画像
データと奥行きデータを対応を取りながら、３次元画像
合成装置３へ出力する。
出装置２は、ベースカメラヘッド１０で撮影した画像の
各画素に対する奥行きデータが算出し、各画素毎に画像
データと奥行きデータを対応を取りながら、３次元画像
合成装置３へ出力する。
【００４０】３次元画像合成装置３は２つの入力ポート
で、奥行きデータ算出装置２から出力される奥行きデー
タと画像データ及び、奥行きデータ算出装置２から出力
されるデータと画素位置の対応している、奥行きデータ
と画像データとをこれとは別のポートで受け取る。この
別ポートから入力される奥行きデータと画像データは、
本実施例と同様の方法で生成された実写映像に対する奥
行きデータと画像データでも、計算機で生成したもので
もよく、前者の場合であれば実写同士の位置関係を考慮
した画像合成になり、後者の場合であれば実写と計算機
生成の画像の位置関係を考慮した画像合成が行える。入
力後、入力された２つの奥行きデータに対してどちらが
視点の側に近いかを比較をする。比較の結果、視点の側
に近いと判断された方の奥行きデータに対応する画像デ
ータを合成画像データとして出力する。
で、奥行きデータ算出装置２から出力される奥行きデー
タと画像データ及び、奥行きデータ算出装置２から出力
されるデータと画素位置の対応している、奥行きデータ
と画像データとをこれとは別のポートで受け取る。この
別ポートから入力される奥行きデータと画像データは、
本実施例と同様の方法で生成された実写映像に対する奥
行きデータと画像データでも、計算機で生成したもので
もよく、前者の場合であれば実写同士の位置関係を考慮
した画像合成になり、後者の場合であれば実写と計算機
生成の画像の位置関係を考慮した画像合成が行える。入
力後、入力された２つの奥行きデータに対してどちらが
視点の側に近いかを比較をする。比較の結果、視点の側
に近いと判断された方の奥行きデータに対応する画像デ
ータを合成画像データとして出力する。
【００４１】なお、奥行きデータ算出装置２において、
マッチングの効率を上げるために、マルチカメラヘッド
１で撮影した画像に対して、一旦、画像平滑化フィルタ
やエッジ強調フィルタなど画像フィルタ処理をしてか
ら、マッチング処理をしても良い。
マッチングの効率を上げるために、マルチカメラヘッド
１で撮影した画像に対して、一旦、画像平滑化フィルタ
やエッジ強調フィルタなど画像フィルタ処理をしてか
ら、マッチング処理をしても良い。
【００４２】以上のように第１の実施例のよれば、カメ
ラの撮影位置や方向を即応的に変えて撮影した複雑な状
況や条件下における複数の実写映像や、実写映像と計算
機で生成した画像を位置関係を考慮した形での画像合成
を実行することが可能である。
ラの撮影位置や方向を即応的に変えて撮影した複雑な状
況や条件下における複数の実写映像や、実写映像と計算
機で生成した画像を位置関係を考慮した形での画像合成
を実行することが可能である。
【００４３】以下本発明の第２の実施例について（図
２）を参照しながら説明する。（図２）は本発明の第２
の実施例を示す画像合成装置の構成図である。（図２）
において、１はマルチカメラヘッド、２は奥行きデータ
算出装置、３は３次元画像合成装置、１０はベースカメ
ラヘッド、１１は測定用カメラヘッド、１２は記憶装置
である。但し、マルチカメラヘッド１を構成するベース
カメラヘッド１０と複数の測定用カメラヘッド１１の光
軸は平行で、レンズの焦点距離は共通で既知で、ベース
カメラヘッド１０に対する各測定用カメラヘッド１１の
相対的な位置関係も既知とする。
２）を参照しながら説明する。（図２）は本発明の第２
の実施例を示す画像合成装置の構成図である。（図２）
において、１はマルチカメラヘッド、２は奥行きデータ
算出装置、３は３次元画像合成装置、１０はベースカメ
ラヘッド、１１は測定用カメラヘッド、１２は記憶装置
である。但し、マルチカメラヘッド１を構成するベース
カメラヘッド１０と複数の測定用カメラヘッド１１の光
軸は平行で、レンズの焦点距離は共通で既知で、ベース
カメラヘッド１０に対する各測定用カメラヘッド１１の
相対的な位置関係も既知とする。
【００４４】以上のように構成された画像合成装置につ
いて、以下にその動作を説明するが、マルチカメラヘッ
ド１から奥行きデータ算出装置２までの動作は第１の実
施例と同様なので省略する。
いて、以下にその動作を説明するが、マルチカメラヘッ
ド１から奥行きデータ算出装置２までの動作は第１の実
施例と同様なので省略する。
【００４５】奥行きデータ算出装置２で求められた、ベ
ースカメラヘッド１０で撮影した画像の各画素に対応す
る奥行きデータと画像データは、どの画素に対応するも
のかが分かるような形で、記憶装置１２に保存される。
これは、記憶装置１２へ保存するときに、画素番号と記
憶装置１２におけるアドレスが１対１に対応するように
割り振れば可能である。また、保存する奥行きデータと
画像データに例えばＤＣＴ系の圧縮技術を用いれば記憶
量を節約できる。
ースカメラヘッド１０で撮影した画像の各画素に対応す
る奥行きデータと画像データは、どの画素に対応するも
のかが分かるような形で、記憶装置１２に保存される。
これは、記憶装置１２へ保存するときに、画素番号と記
憶装置１２におけるアドレスが１対１に対応するように
割り振れば可能である。また、保存する奥行きデータと
画像データに例えばＤＣＴ系の圧縮技術を用いれば記憶
量を節約できる。
【００４６】３次元画像合成装置３は２つの入力ポート
で、このように記憶装置１２に保存されたベースカメラ
ヘッド１０で撮影した画像の各画素に対応する奥行きデ
ータと画像データと、このデータと画素位置の対応して
いる、奥行きデータと画像データとを受け取る。次に第
１の実施例と同様の方法で、記憶装置１２に保存され画
像と記憶装置１２とは別ポートから入力される画像とを
合成し、画像合成データを出力する。なお、本実施例で
は記憶装置１２と３次元画像装置は３はバス接続されて
いるが、フロッピーディスクやＣＤＲＯＭのようなデー
タ伝達媒介物とこれに対するドライブ装置を設ければ、
データ伝達媒介物を介してのデータの授受を行うことが
できる。
で、このように記憶装置１２に保存されたベースカメラ
ヘッド１０で撮影した画像の各画素に対応する奥行きデ
ータと画像データと、このデータと画素位置の対応して
いる、奥行きデータと画像データとを受け取る。次に第
１の実施例と同様の方法で、記憶装置１２に保存され画
像と記憶装置１２とは別ポートから入力される画像とを
合成し、画像合成データを出力する。なお、本実施例で
は記憶装置１２と３次元画像装置は３はバス接続されて
いるが、フロッピーディスクやＣＤＲＯＭのようなデー
タ伝達媒介物とこれに対するドライブ装置を設ければ、
データ伝達媒介物を介してのデータの授受を行うことが
できる。
【００４７】以上のように第２の実施例のよれば、カメ
ラの撮影位置や方向を即応的に変えて撮影した複雑な状
況や条件下における複数の実写映像や、複雑な状況や条
件下における実写映像と計算機で生成した画像を位置関
係を考慮した形での画像合成を実行することが可能であ
る。また、奥行き値データ付きの画像データを一旦保存
しておき、保存した画像との画像を位置関係を考慮した
形での画像合成を実行することも可能である。
ラの撮影位置や方向を即応的に変えて撮影した複雑な状
況や条件下における複数の実写映像や、複雑な状況や条
件下における実写映像と計算機で生成した画像を位置関
係を考慮した形での画像合成を実行することが可能であ
る。また、奥行き値データ付きの画像データを一旦保存
しておき、保存した画像との画像を位置関係を考慮した
形での画像合成を実行することも可能である。
【００４８】以下本発明の第３の実施例の画像合成装置
について、（図３）を参照しながら説明する。
について、（図３）を参照しながら説明する。
【００４９】（図３）は本発明の実施例における画像合
成装置の構成を示すものである。（図３）において、２
１はマルチカメラヘッド、２２は奥行きデータ算出装
置、２３はズーム値検出装置、２４はレンズ焦点距離算
出装置、３は３次元画像合成装置、３０はベースカメラ
ヘッド、３１は測定用カメラヘッドである。但し、マル
チカメラヘッド２１を構成するベースカメラヘッド３０
と複数の測定用カメラヘッド３１の光軸は平行で、また
測定用カメラヘッド３１についてはレンズの焦点距離は
共通で既知で、更にベースカメラヘッド３０に対する各
測定用カメラヘッド３１の相対的な位置関係も既知とす
る。
成装置の構成を示すものである。（図３）において、２
１はマルチカメラヘッド、２２は奥行きデータ算出装
置、２３はズーム値検出装置、２４はレンズ焦点距離算
出装置、３は３次元画像合成装置、３０はベースカメラ
ヘッド、３１は測定用カメラヘッドである。但し、マル
チカメラヘッド２１を構成するベースカメラヘッド３０
と複数の測定用カメラヘッド３１の光軸は平行で、また
測定用カメラヘッド３１についてはレンズの焦点距離は
共通で既知で、更にベースカメラヘッド３０に対する各
測定用カメラヘッド３１の相対的な位置関係も既知とす
る。
【００５０】以上のように構成された画像合成装置につ
いて、以下にその動作を説明する。まず、マルチカメラ
ヘッド２１でベースカメラヘッド３０のズーム値を調整
しながら被写体を撮影し、画素単位の画像データを奥行
きデータ算出装置２２へ出力する。
いて、以下にその動作を説明する。まず、マルチカメラ
ヘッド２１でベースカメラヘッド３０のズーム値を調整
しながら被写体を撮影し、画素単位の画像データを奥行
きデータ算出装置２２へ出力する。
【００５１】これと同時に、ベースカメラヘッド３０の
撮影時のズーム値をズーム値検出装置２３で読み取る。
一般に、カメラヘッドのズームの変更は機械的に行われ
るので、この機械的な移動量を検出する事は可能で、こ
の移動量をズーム値検出装置２３はズーム値として検出
することになる。
撮影時のズーム値をズーム値検出装置２３で読み取る。
一般に、カメラヘッドのズームの変更は機械的に行われ
るので、この機械的な移動量を検出する事は可能で、こ
の移動量をズーム値検出装置２３はズーム値として検出
することになる。
【００５２】このズーム値はレンズ焦点距離算出装置２
４に送られ、レンズ焦点距離算出装置２４ではこのズー
ム値からベースカメラヘッド３０のレンズの焦点距離を
算出する。このレンズの焦点距離の算出は、予めベース
カメラヘッド３０に対して、各ズーム値毎のカメラキャ
リブレーションを行い、これをテーブル化しておき、ズ
ーム値検出装置２３から送られてくるズーム値からこの
テーブルを引くことで行える。この場合は、ズーム値は
離散的に変化することになるが、連続的な変化にも対応
したければ、テーブルの値を基に多項式補間式を算出し
ておき、ズーム値検出装置２３から送られてくるズーム
値のときのレンズの焦点距離を多項式補間式で求めるこ
とで実現できる。このように算出されたレンズの焦点距
離は奥行きデータ算出装置２２に送られる。
４に送られ、レンズ焦点距離算出装置２４ではこのズー
ム値からベースカメラヘッド３０のレンズの焦点距離を
算出する。このレンズの焦点距離の算出は、予めベース
カメラヘッド３０に対して、各ズーム値毎のカメラキャ
リブレーションを行い、これをテーブル化しておき、ズ
ーム値検出装置２３から送られてくるズーム値からこの
テーブルを引くことで行える。この場合は、ズーム値は
離散的に変化することになるが、連続的な変化にも対応
したければ、テーブルの値を基に多項式補間式を算出し
ておき、ズーム値検出装置２３から送られてくるズーム
値のときのレンズの焦点距離を多項式補間式で求めるこ
とで実現できる。このように算出されたレンズの焦点距
離は奥行きデータ算出装置２２に送られる。
【００５３】以上により、奥行きデータ算出装置２２
は、ベースカメラヘッド３０から出力される画素単位の
画像データと各測定用カメラヘッド３１から出力される
画素単位の画像データ、及びレンズ焦点距離２４で算出
されたベースカメラヘッド３０のレンズの焦点距離を得
ることになる。
は、ベースカメラヘッド３０から出力される画素単位の
画像データと各測定用カメラヘッド３１から出力される
画素単位の画像データ、及びレンズ焦点距離２４で算出
されたベースカメラヘッド３０のレンズの焦点距離を得
ることになる。
【００５４】奥行きデータ算出装置２２では、ベースカ
メラヘッド３０で撮影された画素単位の画像データと各
測定用カメラヘッド３１で撮影された画素単位の画像デ
ータがそれぞれの専用領域に１画面分づつ保存される。
この後、ベースカメラヘッド３０で撮影された画像デー
タの各画素毎に、各測定用カメラヘッド３１で撮影され
た画像での対応する画素位置を決定するために、第１の
実施例と同様の方法でマッチング処理を行う。但し、適
当なスケール変換をしながらのマッチング処理が必要で
ある。次に、その奥行きデータを算出することになる
が、これについては（図１０）を用いて説明する。
メラヘッド３０で撮影された画素単位の画像データと各
測定用カメラヘッド３１で撮影された画素単位の画像デ
ータがそれぞれの専用領域に１画面分づつ保存される。
この後、ベースカメラヘッド３０で撮影された画像デー
タの各画素毎に、各測定用カメラヘッド３１で撮影され
た画像での対応する画素位置を決定するために、第１の
実施例と同様の方法でマッチング処理を行う。但し、適
当なスケール変換をしながらのマッチング処理が必要で
ある。次に、その奥行きデータを算出することになる
が、これについては（図１０）を用いて説明する。
【００５５】もし、ベースカメラヘッド３０で撮影され
た画像の各画素位置（ベクトルａ（ａ1，ａ2）とする）
の画像データが測定用カメラヘッド３１で撮影された画
像中の画素位置（ベクトルｂ（ｂ1，ｂ2）とする）とマ
ッチングが取れていれば、（図１０）で示す状況が成り
立つ。但し、（図１０）において、Ｐは被写対象物の位
置、Ｂ（Ｂ1，Ｂ2）はベースカメラヘッド３０に対する
測定用カメラヘッド３１の相対位置を表すベクトルで、
Ｆは各測定用カメラヘッ３１ドに共通のレンズの焦点距
離、Ｆbはベースカメラヘッド３０のレンズの焦点距
離、Ｚは各測定用カメラヘッド３１でのＰに対する奥行
きデータ値、Ｚbはベースカメラヘッド３０でのＰに対
する奥行きデータ値、ａ’はベースカメラヘッド３０の
光軸に垂直で光軸上に始点があり、終点がＰのベクト
ル、ｂ’は測定用カメラヘッド３１の光軸に垂直で光軸
上に始点があり、終点がＰのベクトルで、Ｂ＝ａ’−
ｂ’の関係がある。（図１０）に示した関係から、
Ｚb，Ｆb，ａ，ａ’の間で、 Ｚbａ／Ｆb＝ａ’ が成り立つ。同様に、Ｚ，Ｆ，ｂ，ｂ’の間で、 Ｚｂ／Ｆ＝ｂ’ が成り立つ。両式において、各辺毎に引き算を行うと、 Ｚbａ／Ｆb−Ｚｂ／Ｆ＝Ｂ が成り立つ。Ｆb，ａ，Ｆ，ｂ，Ｂは既知なので、従っ
て次の連立方程式、 Ｚbａ1／Ｆb−Ｚｂ1／Ｆ＝Ｂ1 Ｚbａ2／Ｆb−Ｚｂ2／Ｆ＝Ｂ2 を解くことで、ベースカメラヘッド３０で撮影した画像
に対する各画素毎の奥行きデータＺbを算出することが
できる。なお、この連立方程式は不定方程式となること
があるが、その場合には、別の不定方程式とならない測
定用カメラヘッド３１で撮影した画像データを用いて解
く。また複数の測定用カメラヘッド３１で撮影した画像
（個数をｎとする）を用いて立てた連立方程式の場合
は、係数行列は２ｎ×２の行列Ｍとなり、これを用い
て、 Ｍ（Ｚb，Ｚ）T＝（Ｂ1，Ｂ2，．．．．，Ｂ1，Ｂ2）T と表すことができる。但し、（）Tは転置を表し、右辺
は２ｎ×１の行列（縦ベクトル）である。これは、最小
自乗法を使って、 ＭTＭ（Ｚb，Ｚ）T＝ＭT（Ｂ1，Ｂ2，．．．．，Ｂ1，
Ｂ2）T に変形し、これを解けば良い。
た画像の各画素位置（ベクトルａ（ａ1，ａ2）とする）
の画像データが測定用カメラヘッド３１で撮影された画
像中の画素位置（ベクトルｂ（ｂ1，ｂ2）とする）とマ
ッチングが取れていれば、（図１０）で示す状況が成り
立つ。但し、（図１０）において、Ｐは被写対象物の位
置、Ｂ（Ｂ1，Ｂ2）はベースカメラヘッド３０に対する
測定用カメラヘッド３１の相対位置を表すベクトルで、
Ｆは各測定用カメラヘッ３１ドに共通のレンズの焦点距
離、Ｆbはベースカメラヘッド３０のレンズの焦点距
離、Ｚは各測定用カメラヘッド３１でのＰに対する奥行
きデータ値、Ｚbはベースカメラヘッド３０でのＰに対
する奥行きデータ値、ａ’はベースカメラヘッド３０の
光軸に垂直で光軸上に始点があり、終点がＰのベクト
ル、ｂ’は測定用カメラヘッド３１の光軸に垂直で光軸
上に始点があり、終点がＰのベクトルで、Ｂ＝ａ’−
ｂ’の関係がある。（図１０）に示した関係から、
Ｚb，Ｆb，ａ，ａ’の間で、 Ｚbａ／Ｆb＝ａ’ が成り立つ。同様に、Ｚ，Ｆ，ｂ，ｂ’の間で、 Ｚｂ／Ｆ＝ｂ’ が成り立つ。両式において、各辺毎に引き算を行うと、 Ｚbａ／Ｆb−Ｚｂ／Ｆ＝Ｂ が成り立つ。Ｆb，ａ，Ｆ，ｂ，Ｂは既知なので、従っ
て次の連立方程式、 Ｚbａ1／Ｆb−Ｚｂ1／Ｆ＝Ｂ1 Ｚbａ2／Ｆb−Ｚｂ2／Ｆ＝Ｂ2 を解くことで、ベースカメラヘッド３０で撮影した画像
に対する各画素毎の奥行きデータＺbを算出することが
できる。なお、この連立方程式は不定方程式となること
があるが、その場合には、別の不定方程式とならない測
定用カメラヘッド３１で撮影した画像データを用いて解
く。また複数の測定用カメラヘッド３１で撮影した画像
（個数をｎとする）を用いて立てた連立方程式の場合
は、係数行列は２ｎ×２の行列Ｍとなり、これを用い
て、 Ｍ（Ｚb，Ｚ）T＝（Ｂ1，Ｂ2，．．．．，Ｂ1，Ｂ2）T と表すことができる。但し、（）Tは転置を表し、右辺
は２ｎ×１の行列（縦ベクトル）である。これは、最小
自乗法を使って、 ＭTＭ（Ｚb，Ｚ）T＝ＭT（Ｂ1，Ｂ2，．．．．，Ｂ1，
Ｂ2）T に変形し、これを解けば良い。
【００５６】以上のようにして、奥行きデータ算出装置
２２ではベースカメラヘッド３０で撮影された画像に対
して画素毎の奥行きデータを算出し、この奥行きデータ
とそれに対応する画像データが３次元画像合成装置３へ
出力される。
２２ではベースカメラヘッド３０で撮影された画像に対
して画素毎の奥行きデータを算出し、この奥行きデータ
とそれに対応する画像データが３次元画像合成装置３へ
出力される。
【００５７】３次元画像合成装置３では、第１の実施例
と同様の方法で、２つの入力ポートで、奥行きデータ算
出装置２２から出力される奥行きデータと画像データ及
び、奥行きデータ算出装置２２から出力されるデータと
画素位置の対応している、奥行きデータと画像データと
をこれとは別のポートで受け取る。この別ポートから入
力される奥行きデータと画像データは、本実施例と同様
の方法で生成された実写映像に対する奥行きデータと画
像データでも、計算機で生成したものでもよく、前者の
場合であれば実写同士の位置関係を考慮した画像合成に
なり、後者の場合であれば実写と計算機生成の画像の位
置関係を考慮した画像合成が行える。入力後、入力され
た２つの奥行きデータに対してどちらが視点の側に近い
かを比較をする。比較の結果、視点の側に近いと判断さ
れた方の奥行きデータに対応する画像データを合成画像
データとして出力する。
と同様の方法で、２つの入力ポートで、奥行きデータ算
出装置２２から出力される奥行きデータと画像データ及
び、奥行きデータ算出装置２２から出力されるデータと
画素位置の対応している、奥行きデータと画像データと
をこれとは別のポートで受け取る。この別ポートから入
力される奥行きデータと画像データは、本実施例と同様
の方法で生成された実写映像に対する奥行きデータと画
像データでも、計算機で生成したものでもよく、前者の
場合であれば実写同士の位置関係を考慮した画像合成に
なり、後者の場合であれば実写と計算機生成の画像の位
置関係を考慮した画像合成が行える。入力後、入力され
た２つの奥行きデータに対してどちらが視点の側に近い
かを比較をする。比較の結果、視点の側に近いと判断さ
れた方の奥行きデータに対応する画像データを合成画像
データとして出力する。
【００５８】なお、奥行きデータ算出装置２２におい
て、マッチングの効率を上げるために、マルチカメラヘ
ッド２１で撮影した画像に対して、一旦、画像平滑化フ
ィルタやエッジ強調フィルタなど画像フィルタ処理をし
てから、マッチング処理をしても良い。
て、マッチングの効率を上げるために、マルチカメラヘ
ッド２１で撮影した画像に対して、一旦、画像平滑化フ
ィルタやエッジ強調フィルタなど画像フィルタ処理をし
てから、マッチング処理をしても良い。
【００５９】以上のように第３の実施例のよれば、カメ
ラの撮影位置や方向、及びズーム値変更を即応的に変え
て撮影した複雑な状況や条件下における複数の実写映像
や、複雑な状況や条件下における実写映像と計算機で生
成した画像を位置関係を考慮した形での画像合成を実行
することが可能である。
ラの撮影位置や方向、及びズーム値変更を即応的に変え
て撮影した複雑な状況や条件下における複数の実写映像
や、複雑な状況や条件下における実写映像と計算機で生
成した画像を位置関係を考慮した形での画像合成を実行
することが可能である。
【００６０】以下本発明の第４の実施例の画像合成装置
について、（図４）を参照しながら説明する。
について、（図４）を参照しながら説明する。
【００６１】（図４）は本発明の実施例における画像合
成装置の構成を示すものである。（図４）において、２
１はマルチカメラヘッド、２２は奥行きデータ算出装
置、２３はズーム値検出装置、２４はレンズ焦点距離算
出装置、１２は記憶装置、３は３次元画像合成装置、３
０はベースカメラヘッド、３１は測定用カメラヘッドで
ある。但し、マルチカメラヘッド２１を構成するベース
カメラヘッド３０と複数の測定用カメラヘッド３１の光
軸は平行で、また測定用カメラヘッド３１についてはレ
ンズの焦点距離は共通で既知で、更にベースカメラヘッ
ド３０に対する各測定用カメラヘッド３１の相対的な位
置関係も既知とする。
成装置の構成を示すものである。（図４）において、２
１はマルチカメラヘッド、２２は奥行きデータ算出装
置、２３はズーム値検出装置、２４はレンズ焦点距離算
出装置、１２は記憶装置、３は３次元画像合成装置、３
０はベースカメラヘッド、３１は測定用カメラヘッドで
ある。但し、マルチカメラヘッド２１を構成するベース
カメラヘッド３０と複数の測定用カメラヘッド３１の光
軸は平行で、また測定用カメラヘッド３１についてはレ
ンズの焦点距離は共通で既知で、更にベースカメラヘッ
ド３０に対する各測定用カメラヘッド３１の相対的な位
置関係も既知とする。
【００６２】以上のように構成された画像合成装置につ
いて、以下にその動作を説明するが、マルチカメラヘッ
ド２１、奥行きデータ算出装置２２、ズーム値検出装置
２３、レンズ焦点距離算出装置２４までの動きは、第３
の実施例と全く同様なのでここでは省略する。
いて、以下にその動作を説明するが、マルチカメラヘッ
ド２１、奥行きデータ算出装置２２、ズーム値検出装置
２３、レンズ焦点距離算出装置２４までの動きは、第３
の実施例と全く同様なのでここでは省略する。
【００６３】次に、奥行きデータ算出装置２２で求めら
れた、ベースカメラヘッド３０で撮影した画像の各画素
に対応する奥行きデータと画像データは、どの画素に対
応するものかが分かるような形で、記憶装置１２に保存
される。
れた、ベースカメラヘッド３０で撮影した画像の各画素
に対応する奥行きデータと画像データは、どの画素に対
応するものかが分かるような形で、記憶装置１２に保存
される。
【００６４】３次元画像合成装置３は２つの入力ポート
で、このように記憶装置１２に保存されたベースカメラ
ヘッド３０で撮影した画像の各画素に対応する奥行きデ
ータと画像データと、このデータと画素位置の対応して
いる、奥行きデータと画像データとを受け取る。次に第
１の実施例と同様の方法で、記憶装置１２に保存され画
像と記憶装置１２とは別ポートから入力される画像とを
合成し、画像合成データを出力する。なお、本実施例で
は記憶装置１２と３次元画像装置は３はバス接続されて
いるが、フロッピーディスクやＣＤＲＯＭのようなデー
タ伝達媒介物とこれに対するドライブ装置を設ければ、
データ伝達媒介物を介してのデータの授受を行うことが
できる。
で、このように記憶装置１２に保存されたベースカメラ
ヘッド３０で撮影した画像の各画素に対応する奥行きデ
ータと画像データと、このデータと画素位置の対応して
いる、奥行きデータと画像データとを受け取る。次に第
１の実施例と同様の方法で、記憶装置１２に保存され画
像と記憶装置１２とは別ポートから入力される画像とを
合成し、画像合成データを出力する。なお、本実施例で
は記憶装置１２と３次元画像装置は３はバス接続されて
いるが、フロッピーディスクやＣＤＲＯＭのようなデー
タ伝達媒介物とこれに対するドライブ装置を設ければ、
データ伝達媒介物を介してのデータの授受を行うことが
できる。
【００６５】以上のように第４の実施例のよれば、カメ
ラの撮影位置や方向、及びズーム値変更を即応的に変え
て撮影した複雑な状況や条件下における複数の実写映像
や、複雑な状況や条件下における実写映像と計算機で生
成した画像を位置関係を考慮した形での画像合成を実行
することが可能である。また、奥行き値データ付きの画
像データを一旦保存しておき、保存した画像との画像を
位置関係を考慮した形での画像合成を実行することも可
能である。
ラの撮影位置や方向、及びズーム値変更を即応的に変え
て撮影した複雑な状況や条件下における複数の実写映像
や、複雑な状況や条件下における実写映像と計算機で生
成した画像を位置関係を考慮した形での画像合成を実行
することが可能である。また、奥行き値データ付きの画
像データを一旦保存しておき、保存した画像との画像を
位置関係を考慮した形での画像合成を実行することも可
能である。
【００６６】以下本発明の第５の実施例の画像合成装置
について、（図５）を参照しながら説明する。
について、（図５）を参照しながら説明する。
【００６７】（図５）は本発明の実施例における画像合
成装置の構成を示すものである。（図５）において、４
１はマルチカメラヘッド、４２は奥行きデータ算出装
置、２３はズーム値検出装置、２４はレンズ焦点距離算
出装置、３は３次元画像合成装置、５０は同期ズーム変
更装置、５１はベースカメラヘッド、５２は測定用カメ
ラヘッドである。但し、マルチカメラヘッド４１を構成
するベースカメラヘッド５１と複数の測定用カメラヘッ
ド５２のレンズ系は同じもので光軸は平行、ベースカメ
ラヘッド５１に対する各測定用カメラヘッド５２の相対
的な位置関係は既知とする。
成装置の構成を示すものである。（図５）において、４
１はマルチカメラヘッド、４２は奥行きデータ算出装
置、２３はズーム値検出装置、２４はレンズ焦点距離算
出装置、３は３次元画像合成装置、５０は同期ズーム変
更装置、５１はベースカメラヘッド、５２は測定用カメ
ラヘッドである。但し、マルチカメラヘッド４１を構成
するベースカメラヘッド５１と複数の測定用カメラヘッ
ド５２のレンズ系は同じもので光軸は平行、ベースカメ
ラヘッド５１に対する各測定用カメラヘッド５２の相対
的な位置関係は既知とする。
【００６８】以上のように構成された画像合成装置につ
いて、以下にその動作を説明する。まず、マルチカメラ
ヘッド４１で同期ズーム変更装置５０を調整しながら被
写体を撮影し、画素単位の画像データを奥行きデータ算
出装置４２へ出力する。同期ズーム変更装置５０は、ベ
ースカメラヘッド５１と各測定用カメラヘッド５２のズ
ームを同じ状態に変更するもので、これはモータと制御
機構によって機械的に実現することができる。
いて、以下にその動作を説明する。まず、マルチカメラ
ヘッド４１で同期ズーム変更装置５０を調整しながら被
写体を撮影し、画素単位の画像データを奥行きデータ算
出装置４２へ出力する。同期ズーム変更装置５０は、ベ
ースカメラヘッド５１と各測定用カメラヘッド５２のズ
ームを同じ状態に変更するもので、これはモータと制御
機構によって機械的に実現することができる。
【００６９】ズーム値検出装置２３は、撮影時の同期ズ
ーム変更装置５０のズーム値を読み取るが、これは第３
の実施例と同様に、同期ズーム変更装置５０の機械的な
移動量を検出し、これをズーム値とする。
ーム変更装置５０のズーム値を読み取るが、これは第３
の実施例と同様に、同期ズーム変更装置５０の機械的な
移動量を検出し、これをズーム値とする。
【００７０】このズーム値はレンズ焦点距離算出装置２
４に送られ、レンズ焦点距離算出装置２４ではこのズー
ム値からベースカメラヘッド５１及び測定用カメラヘッ
ド５２に共通のレンズの焦点距離を算出する。この共通
のレンズの焦点距離の算出は、第３の実施例と同様に、
予め、各ズーム値毎のカメラキャリブレーションを行
い、これをテーブル化しておき、ズーム値検出装置２３
から送られてくるズーム値からこのテーブルを引くこと
で行える。また、ズーム値の連続的な変化にも対応した
ければ、テーブルの値を基に多項式補間式を算出してお
き、ズーム値検出装置２３から送られてくるズーム値の
ときのレンズの焦点距離を多項式補間式で求めることで
実現できる。このように算出されたレンズの焦点距離は
奥行きデータ算出装置４２に送られる。
４に送られ、レンズ焦点距離算出装置２４ではこのズー
ム値からベースカメラヘッド５１及び測定用カメラヘッ
ド５２に共通のレンズの焦点距離を算出する。この共通
のレンズの焦点距離の算出は、第３の実施例と同様に、
予め、各ズーム値毎のカメラキャリブレーションを行
い、これをテーブル化しておき、ズーム値検出装置２３
から送られてくるズーム値からこのテーブルを引くこと
で行える。また、ズーム値の連続的な変化にも対応した
ければ、テーブルの値を基に多項式補間式を算出してお
き、ズーム値検出装置２３から送られてくるズーム値の
ときのレンズの焦点距離を多項式補間式で求めることで
実現できる。このように算出されたレンズの焦点距離は
奥行きデータ算出装置４２に送られる。
【００７１】以上により、奥行きデータ算出装置４２
は、ベースカメラヘッド５１から出力される画素単位の
画像データと各測定用カメラヘッド５２から出力される
画素単位の画像データ、及びレンズ焦点距離２４で算出
されたベースカメラヘッド５１と測定用カメラヘッド５
２に共通のレンズの焦点距離を得ることになる。
は、ベースカメラヘッド５１から出力される画素単位の
画像データと各測定用カメラヘッド５２から出力される
画素単位の画像データ、及びレンズ焦点距離２４で算出
されたベースカメラヘッド５１と測定用カメラヘッド５
２に共通のレンズの焦点距離を得ることになる。
【００７２】奥行きデータ算出装置４２では、ベースカ
メラヘッド５１で撮影された画素単位の画像データと各
測定用カメラヘッド５２で撮影された画素単位の画像デ
ータがそれぞれの専用領域に１画面分づつ保存される。
この後、ベースカメラヘッド５１で撮影された画像デー
タの各画素毎に、各測定用カメラヘッド５２で撮影され
た画像での対応する画素位置を決定するために、第１の
実施例と同様の方法でマッチング処理を行う。次に、第
１の実施例で示した方法と同様に、ベースカメラヘッド
５１で撮影された画像に対して画素毎の奥行きデータを
算出し、この奥行きデータとそれに対応する画像データ
が３次元画像合成装置３へ出力される。但し、第１の実
施例では共通のレンズの焦点距離Ｆは固定値であった
が、本実施例では可変値で、ズーム値を変更する毎に異
なる値となる。
メラヘッド５１で撮影された画素単位の画像データと各
測定用カメラヘッド５２で撮影された画素単位の画像デ
ータがそれぞれの専用領域に１画面分づつ保存される。
この後、ベースカメラヘッド５１で撮影された画像デー
タの各画素毎に、各測定用カメラヘッド５２で撮影され
た画像での対応する画素位置を決定するために、第１の
実施例と同様の方法でマッチング処理を行う。次に、第
１の実施例で示した方法と同様に、ベースカメラヘッド
５１で撮影された画像に対して画素毎の奥行きデータを
算出し、この奥行きデータとそれに対応する画像データ
が３次元画像合成装置３へ出力される。但し、第１の実
施例では共通のレンズの焦点距離Ｆは固定値であった
が、本実施例では可変値で、ズーム値を変更する毎に異
なる値となる。
【００７３】３次元画像合成装置３では、第１の実施例
と同様の方法で、２つの入力ポートで、奥行きデータ算
出装置４２から出力される奥行きデータと画像データ及
び、奥行きデータ算出装置４２から出力されるデータと
画素位置の対応している、奥行きデータと画像データと
をこれとは別のポートで受け取る。この別ポートから入
力される奥行きデータと画像データは、本実施例と同様
の方法で生成された実写映像に対する奥行きデータと画
像データでも、計算機で生成したものでもよく、前者の
場合であれば実写同士の位置関係を考慮した画像合成に
なり、後者の場合であれば実写と計算機生成の画像の位
置関係を考慮した画像合成が行える。入力後、入力され
た２つの奥行きデータに対してどちらが視点の側に近い
かを比較をする。比較の結果、視点の側に近いと判断さ
れた方の奥行きデータに対応する画像データを合成画像
データとして出力する。
と同様の方法で、２つの入力ポートで、奥行きデータ算
出装置４２から出力される奥行きデータと画像データ及
び、奥行きデータ算出装置４２から出力されるデータと
画素位置の対応している、奥行きデータと画像データと
をこれとは別のポートで受け取る。この別ポートから入
力される奥行きデータと画像データは、本実施例と同様
の方法で生成された実写映像に対する奥行きデータと画
像データでも、計算機で生成したものでもよく、前者の
場合であれば実写同士の位置関係を考慮した画像合成に
なり、後者の場合であれば実写と計算機生成の画像の位
置関係を考慮した画像合成が行える。入力後、入力され
た２つの奥行きデータに対してどちらが視点の側に近い
かを比較をする。比較の結果、視点の側に近いと判断さ
れた方の奥行きデータに対応する画像データを合成画像
データとして出力する。
【００７４】なお、奥行きデータ算出装置４２におい
て、マッチングの効率を上げるために、マルチカメラヘ
ッド４１で撮影した画像に対して、一旦、画像平滑化フ
ィルタやエッジ強調フィルタなど画像フィルタ処理をし
てから、マッチング処理をしても良い。
て、マッチングの効率を上げるために、マルチカメラヘ
ッド４１で撮影した画像に対して、一旦、画像平滑化フ
ィルタやエッジ強調フィルタなど画像フィルタ処理をし
てから、マッチング処理をしても良い。
【００７５】以上のように第５の実施例のよれば、カメ
ラの撮影位置や方向、及びズーム値変更を即応的に変え
て撮影した複雑な状況や条件下における複数の実写映像
や、複雑な状況や条件下における実写映像と計算機で生
成した画像を位置関係を考慮した形での画像合成を実行
することが可能である。
ラの撮影位置や方向、及びズーム値変更を即応的に変え
て撮影した複雑な状況や条件下における複数の実写映像
や、複雑な状況や条件下における実写映像と計算機で生
成した画像を位置関係を考慮した形での画像合成を実行
することが可能である。
【００７６】以下本発明の第６の実施例の画像合成装置
について、（図６）を参照しながら説明する。
について、（図６）を参照しながら説明する。
【００７７】（図６）は本発明の実施例における画像合
成装置の構成を示すものである。（図６）において、４
１はマルチカメラヘッド、４２は奥行きデータ算出装
置、２３はズーム値検出装置、２４はレンズ焦点距離算
出装置、１２は記憶装置、３は３次元画像合成装置、５
０は同期ズーム変更装置、５１はベースカメラヘッド、
５２は測定用カメラヘッドである。但し、マルチカメラ
ヘッド４１を構成するベースカメラヘッド５１と複数の
測定用カメラヘッド５２のレンズ系は同じもので光軸は
平行、ベースカメラヘッド５１に対する各測定用カメラ
ヘッド５２の相対的な位置関係は既知とする。
成装置の構成を示すものである。（図６）において、４
１はマルチカメラヘッド、４２は奥行きデータ算出装
置、２３はズーム値検出装置、２４はレンズ焦点距離算
出装置、１２は記憶装置、３は３次元画像合成装置、５
０は同期ズーム変更装置、５１はベースカメラヘッド、
５２は測定用カメラヘッドである。但し、マルチカメラ
ヘッド４１を構成するベースカメラヘッド５１と複数の
測定用カメラヘッド５２のレンズ系は同じもので光軸は
平行、ベースカメラヘッド５１に対する各測定用カメラ
ヘッド５２の相対的な位置関係は既知とする。
【００７８】以上のように構成された画像合成装置につ
いて、以下にその動作を説明するが、マルチカメラヘッ
ド４１、奥行きデータ算出装置４２、ズーム値検出装置
２３、レンズ焦点距離算出装置２４までの動きは、第５
の実施例と全く同様なのでここでは省略する。
いて、以下にその動作を説明するが、マルチカメラヘッ
ド４１、奥行きデータ算出装置４２、ズーム値検出装置
２３、レンズ焦点距離算出装置２４までの動きは、第５
の実施例と全く同様なのでここでは省略する。
【００７９】次に、奥行きデータ算出装置４２で求めら
れた、ベースカメラヘッド５１で撮影した画像の各画素
に対応する奥行きデータと画像データは、どの画素に対
応するものかが分かるような形で、記憶装置１２に保存
される。
れた、ベースカメラヘッド５１で撮影した画像の各画素
に対応する奥行きデータと画像データは、どの画素に対
応するものかが分かるような形で、記憶装置１２に保存
される。
【００８０】３次元画像合成装置３は２つの入力ポート
で、このように記憶装置１２に保存されたベースカメラ
ヘッド５１で撮影した画像の各画素に対応する奥行きデ
ータと画像データと、このデータと画素位置の対応して
いる、奥行きデータと画像データとを受け取る。次に第
１の実施例と同様の方法で、記憶装置１２に保存され画
像と記憶装置１２とは別ポートから入力される画像とを
合成し、画像合成データを出力する。なお、本実施例で
は記憶装置１２と３次元画像装置は３はバス接続されて
いるが、フロッピーディスクやＣＤＲＯＭのようなデー
タ伝達媒介物とこれに対するドライブ装置を設ければ、
データ伝達媒介物を介してのデータの授受を行うことが
できる。
で、このように記憶装置１２に保存されたベースカメラ
ヘッド５１で撮影した画像の各画素に対応する奥行きデ
ータと画像データと、このデータと画素位置の対応して
いる、奥行きデータと画像データとを受け取る。次に第
１の実施例と同様の方法で、記憶装置１２に保存され画
像と記憶装置１２とは別ポートから入力される画像とを
合成し、画像合成データを出力する。なお、本実施例で
は記憶装置１２と３次元画像装置は３はバス接続されて
いるが、フロッピーディスクやＣＤＲＯＭのようなデー
タ伝達媒介物とこれに対するドライブ装置を設ければ、
データ伝達媒介物を介してのデータの授受を行うことが
できる。
【００８１】以上のように第６の実施例のよれば、カメ
ラの撮影位置や方向、及びズーム値変更を即応的に変え
て撮影した複雑な状況や条件下における複数の実写映像
や、複雑な状況や条件下における実写映像と計算機で生
成した画像を位置関係を考慮した形での画像合成を実行
することが可能である。また、奥行き値データ付きの画
像データを一旦保存しておき、保存した画像との画像を
位置関係を考慮した形での画像合成を実行することも可
能である。
ラの撮影位置や方向、及びズーム値変更を即応的に変え
て撮影した複雑な状況や条件下における複数の実写映像
や、複雑な状況や条件下における実写映像と計算機で生
成した画像を位置関係を考慮した形での画像合成を実行
することが可能である。また、奥行き値データ付きの画
像データを一旦保存しておき、保存した画像との画像を
位置関係を考慮した形での画像合成を実行することも可
能である。
【００８２】
【発明の効果】以上のように本発明は上記した構成によ
って、ベースカメラヘッドで撮影した画像に対して、画
素単位での奥行きデータと画像データを取り出せ、奥行
きデータを比較した形での画像合成が可能である。
って、ベースカメラヘッドで撮影した画像に対して、画
素単位での奥行きデータと画像データを取り出せ、奥行
きデータを比較した形での画像合成が可能である。
【００８３】本発明では、マルチカメラヘッドがベース
カメラヘッドの他に複数の測定用カメラヘッドを備えて
いるので、多くの場合、ベースカメラヘッドに写ってい
る領域（点）は、ある測定用のカメラには無くても、別
の測定用カメラヘッドには写っているのでそれを用いて
奥行きデータを決定することや、まず奥行きデータを求
められる画素についてのみ奥行きデータを決定してお
き、決定不能な画素に対しては、周囲に存在する奥行き
データが決定された画素の奥行きデータを用いて算出す
ることにより、任意の撮影画像に対して、全ての画素に
おける奥行きデータを決定することができる。
カメラヘッドの他に複数の測定用カメラヘッドを備えて
いるので、多くの場合、ベースカメラヘッドに写ってい
る領域（点）は、ある測定用のカメラには無くても、別
の測定用カメラヘッドには写っているのでそれを用いて
奥行きデータを決定することや、まず奥行きデータを求
められる画素についてのみ奥行きデータを決定してお
き、決定不能な画素に対しては、周囲に存在する奥行き
データが決定された画素の奥行きデータを用いて算出す
ることにより、任意の撮影画像に対して、全ての画素に
おける奥行きデータを決定することができる。
【００８４】また、繰り返しパターンが存在するような
状況においても、本発明ではベースカメラヘッドの撮影
画像中のある領域に対する奥行きデータは一定であると
いう条件と、複数の測定用のカメラで複数の異なる位置
から撮影しているという条件を使って、例えば度数分布
等の評価を行うことにより、奥行きデータを一意に決定
することができる。
状況においても、本発明ではベースカメラヘッドの撮影
画像中のある領域に対する奥行きデータは一定であると
いう条件と、複数の測定用のカメラで複数の異なる位置
から撮影しているという条件を使って、例えば度数分布
等の評価を行うことにより、奥行きデータを一意に決定
することができる。
【００８５】本発明ではベースカメラヘッドと測定用の
カメラがマルチカメラヘッドとして一体化されているの
で、方向と位置の変更は問題なく即応できる。また、本
発明でズーム値検出装置とレンズ焦点距離算出装置を備
えたものに関しては、ズーム値を変更した場合には、ま
ず、そのズーム値をズーム値検出装置で読み取り、次
に、読み取ったズーム値からレンズの焦点距離をレンズ
焦点距離算出装置で算出した後、奥行きデータを求める
ので、ズーム値の変更も即応的に可能な構成になってい
る。
カメラがマルチカメラヘッドとして一体化されているの
で、方向と位置の変更は問題なく即応できる。また、本
発明でズーム値検出装置とレンズ焦点距離算出装置を備
えたものに関しては、ズーム値を変更した場合には、ま
ず、そのズーム値をズーム値検出装置で読み取り、次
に、読み取ったズーム値からレンズの焦点距離をレンズ
焦点距離算出装置で算出した後、奥行きデータを求める
ので、ズーム値の変更も即応的に可能な構成になってい
る。
【００８６】また、本発明では、３次元画像合成装置の
２つの入力に対して、マルチカメラヘッドと奥行きデー
タ算出装置で生成した奥行きデータと画像データを入力
すれば、実写映像と実写映像との位置関係を考慮した画
像合成を行うことができ、入力の片方に計算機で生成し
た奥行きデータと画像データを入力すれば、実写映像と
計算機で生成した画像との位置関係を考慮した画像合成
を行うことができる。
２つの入力に対して、マルチカメラヘッドと奥行きデー
タ算出装置で生成した奥行きデータと画像データを入力
すれば、実写映像と実写映像との位置関係を考慮した画
像合成を行うことができ、入力の片方に計算機で生成し
た奥行きデータと画像データを入力すれば、実写映像と
計算機で生成した画像との位置関係を考慮した画像合成
を行うことができる。
【００８７】更に、本発明において記憶装置を設けたも
のに関しては、ベースカメラヘッドで撮影した画像に対
する奥行きデータと画像データを保存できるようにして
いる。従って、一旦撮影後保存しておいた画像との位置
関係を考慮した画像合成も可能な構成にしている。
のに関しては、ベースカメラヘッドで撮影した画像に対
する奥行きデータと画像データを保存できるようにして
いる。従って、一旦撮影後保存しておいた画像との位置
関係を考慮した画像合成も可能な構成にしている。
【００８８】以上により、本発明は複雑な状況や条件下
における複数の実写映像や、複雑な状況や条件下におけ
る実写映像と計算機で生成した画像を位置関係を考慮し
た形での画像合成を実行することが可能である。
における複数の実写映像や、複雑な状況や条件下におけ
る実写映像と計算機で生成した画像を位置関係を考慮し
た形での画像合成を実行することが可能である。
【図１】本発明の第１の実施例における画像合成装置の
構成図
構成図
【図２】本発明の第２の実施例における画像合成装置の
構成図
構成図
【図３】本発明の第３の実施例における画像合成装置の
構成図
構成図
【図４】本発明の第４の実施例における画像合成装置の
構成図
構成図
【図５】本発明の第５の実施例における画像合成装置の
構成図
構成図
【図６】本発明の第６の実施例における画像合成装置の
構成図
構成図
【図７】第１の従来例におけるクロマキーを用いた画像
合成装置の説明図
合成装置の説明図
【図８】本発明で実現したい位置関係を考慮した画像合
成の説明図
成の説明図
【図９】本発明の第１、第２、第５、第６の実施例にお
ける奥行きデータ算出のための数理モデルの説明図
ける奥行きデータ算出のための数理モデルの説明図
【図１０】本発明の第３、第４の実施例における奥行き
データ算出のための数理モデルの説明図
データ算出のための数理モデルの説明図
１ マルチカメラヘッド ２ 奥行きデータ算出装置 ３ ３次元画像合成装置 １０ ベースカメラヘッド １１ 測定用カメラヘッド １２ 記憶装置 ２１ マルチカメラヘッド ２２ 奥行きデータ算出装置 ２３ ズーム値検出装置 ２４ レンズ焦点距離算出装置 ３０ ベースカメラヘッド ３１ 測定用カメラヘッド ４１ マルチカメラヘッド ４２ 奥行きデータ算出装置 ５０ 同期ズーム変更装置 ５１ ベースカメラヘッド ５２ 測定用カメラヘッド
───────────────────────────────────────────────────── フロントページの続き (72)発明者 鷺島 敬之 大阪府門真市大字門真1006番地 松下電 器産業株式会社内 審査官 井上 信一 (56)参考文献 特開 平１−196672（ＪＰ，Ａ) 特開 平５−244630（ＪＰ，Ａ) 特開 平６−28449（ＪＰ，Ａ) 特開 平６−30336（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 5/262 - 5/265 G06T 1/00 - 3/00
Claims (12)
- 【請求項１】ベースカメラヘッドと複数の測定用カメラ
ヘッドで構成されるマルチカメラヘッドと、 前記マルチカメラヘッドから出力される画像データを入
力とし、前記マルチカメラヘッドのベースカメラヘッド
の画像データに対して画素単位に奥行きデータを計算
し、前記ベースカメラヘッドの画像データと奥行きデー
タを出力する奥行きデータ算出装置と、 前記奥行きデータ算出装置から出力される画像データ、
奥行きデータと前記マルチカメラとは別系統から入力さ
れる画像データ、奥行きデータとを入力とし、前記２つ
の奥行きデータを比較し、比較結果によって前記２つの
画像データの内の１つを選択することで画像を合成し、
合成した画像を出力する３次元画像合成装置とを備えた
ことを特徴とする画像合成装置。 - 【請求項２】ベースカメラヘッドと複数の測定用カメラ
ヘッドで構成されるマルチカメラヘッドと、 前記マルチカメラヘッドから出力される画像データを入
力とし、前記マルチカメラヘッドのベースカメラヘッド
の画像データに対して画素単位に奥行きデータを計算
し、前記ベースカメラヘッドの画像データと奥行きデー
タを出力する奥行きデータ算出装置と、 前記奥行きデータ算出装置から出力される画像データ、
奥行きデータを保存する記憶装置と、 前記記憶装置から獲得する画像データ、奥行きデータと
前記記憶装置とは別系統から入力される画像データ、奥
行きデータとを入力とし、前記２つの奥行きデータを比
較し、比較結果によって前記２つの画像データの内の１
つを選択することで画像を合成し、合成した画像を出力
する３次元画像合成装置とを備えたことを特徴とする画
像合成装置。 - 【請求項３】ベースカメラヘッドと複数の測定用カメラ
ヘッドで構成されるマルチカメラヘッドと、 前記マルチカメラヘッドから出力される画像データを入
力とし、前記マルチカメラヘッドのベースカメラヘッド
の画像データに対して、前記マルチカメラヘッドの測定
用カメラヘッドの画像から奥行きデータを決定できる画
素についてまず奥行きデータを算出し、残りの画素につ
いては奥行きデータの決定している画素の奥行きデータ
から算出することで画素単位に奥行きデータを計算し、
前記ベースカメラヘッドの画像データと奥行きデータを
出力する奥行きデータ算出装置と、 前記奥行きデータ算出装置から出力される画像データ、
奥行きデータと前記マルチカメラとは別系統から入力さ
れる画像データ、奥行きデータとを入力とし、前記２つ
の奥行きデータを比較し、比較結果によって前記２つの
画像データの内の１つを選択することで画像を合成し、
合成した画像を出力する３次元画像合成装置とを備えた
ことを特徴とする画像合成装置。 - 【請求項４】ベースカメラヘッドと複数の測定用カメラ
ヘッドで構成されるマルチカメラヘッドと、 前記マルチカメラヘッドから出力される画像データを入
力とし、前記マルチカメラヘッドのベースカメラヘッド
の画像データに対して、前記マルチカメラヘッドの測定
用カメラヘッドの画像から奥行きデータを決定できる画
素についてまず奥行きデータを算出し、残りの画素につ
いては奥行きデータの決定している画素の奥行きデータ
から算出することで画素単位に奥行きデータを計算し、
前記ベースカメラヘッドの画像データと奥行きデータを
出力する奥行きデータ算出装置と、 前記奥行きデータ算出装置から出力される画像データ、
奥行きデータを保存する記憶装置と、 前記記憶装置から獲得する画像データ、奥行きデータと
前記記憶装置とは別系統から入力される画像データ、奥
行きデータとを入力とし、前記２つの奥行きデータを比
較し、比較結果によって前記２つの画像データの内の１
つを選択することで画像を合成し、合成した画像を出力
する３次元画像合成装置とを備えたことを特徴とする画
像合成装置。 - 【請求項５】ベースカメラヘッドと複数の測定用カメラ
ヘッドで構成されるマルチカメラヘッドと、 前記マルチカメラヘッドのベースカメラヘッドレンズの
ズーム値を読み取るズーム値検出装置と、 前記ズーム値検出装置から出力されるズーム値を入力と
して前記マルチカメラのベースカメラヘッドのレンズの
焦点距離を算出するレンズ焦点距離算出装置と、 前記レンズ焦点距離算出装置から出力されるレンズの焦
点距離と前記マルチカメラヘッドから出力される画像デ
ータとを入力として、前記マルチカメラヘッドのベース
カメラヘッドの画像データに対して画素単位に奥行きデ
ータを計算し、前記ベースカメラヘッドの画像データと
奥行きデータを出力する奥行きデータ算出装置と、 前記奥行きデータ算出装置から出力される画像データ、
奥行きデータと前記マルチカメラとは別系統から入力さ
れる画像データ、奥行きデータとを入力とし、前記２つ
の奥行きデータを比較し、比較結果によって前記２つの
画像データの内の１つを選択することで画像を合成し、
合成した画像を出力する３次元画像合成装置とを備えた
ことを特徴とする画像合成装置。 - 【請求項６】ベースカメラヘッドと複数の測定用カメラ
ヘッドで構成されるマルチカメラヘッドと、 前記マルチカメラヘッドのベースカメラヘッドレンズの
ズーム値を読み取るズーム値検出装置と、 前記ズーム値検出装置から出力されるズーム値を入力と
して前記マルチカメラのベースカメラヘッドのレンズの
焦点距離を算出するレンズ焦点距離算出装置と、 前記レンズ焦点距離算出装置から出力されるレンズの焦
点距離と前記マルチカメラヘッドから出力される画像デ
ータとを入力として、前記マルチカメラヘッドのベース
カメラヘッドの画像データに対して画素単位に奥行きデ
ータを計算し、前記ベースカメラヘッドの画像データと
奥行きデータを出力する奥行きデータ算出装置と、 前記奥行きデータ算出装置から出力される画像データ、
奥行きデータを保存する記憶装置と、 前記記憶装置から獲得する画像データ、奥行きデータと
前記記憶装置とは別系統から入力される画像データ、奥
行きデータとを入力とし、前記２つの奥行きデータを比
較し、比較結果によって前記２つの画像データの内の１
つを選択することで画像を合成し、合成した画像を出力
する３次元画像合成装置とを備えたことを特徴とする画
像合成装置。 - 【請求項７】ベースカメラヘッドと複数の測定用カメラ
ヘッドで構成されるマルチカメラヘッドと、 前記マルチカメラヘッドのベースカメラヘッドレンズの
ズーム値を読み取るズーム値検出装置と、 前記ズーム値検出装置から出力されるズーム値を入力と
して前記マルチカメラのベースカメラヘッドのレンズの
焦点距離を算出するレンズ焦点距離算出装置と、 前記レンズ焦点距離算出装置から出力されるレンズの焦
点距離と前記マルチカメラヘッドから出力される画像デ
ータとを入力として、前記マルチカメラヘッドのベース
カメラヘッドの画像データに対して、前記マルチカメラ
ヘッドの測定用カメラヘッドの画像から奥行きデータを
決定できる画素についてまず奥行きデータを算出し、残
りの画素については奥行きデータの決定している画素の
奥行きデータから算出することで画素単位に奥行きデー
タを計算し、前記ベースカメラヘッドの画像データと奥
行きデータを出力する奥行きデータ算出装置と、 前記奥行きデータ算出装置から出力される画像データ、
奥行きデータと前記マルチカメラとは別系統から入力さ
れる画像データ、奥行きデータとを入力とし、前記２つ
の奥行きデータを比較し、比較結果によって前記２つの
画像データの内の１つを選択することで画像を合成し、
合成した画像を出力する３次元画像合成装置とを備えた
ことを特徴とする画像合成装置。 - 【請求項８】ベースカメラヘッドと複数の測定用カメラ
ヘッドで構成されるマルチカメラヘッドと、 前記マルチカメラヘッドのベースカメラヘッドレンズの
ズーム値を読み取るズーム値検出装置と、 前記ズーム値検出装置から出力されるズーム値を入力と
して前記マルチカメラのベースカメラヘッドのレンズの
焦点距離を算出するレンズ焦点距離算出装置と、 前記レンズ焦点距離算出装置から出力されるレンズの焦
点距離と前記マルチカメラヘッドから出力される画像デ
ータとを入力として、前記マルチカメラヘッドのベース
カメラヘッドの画像データに対して、前記マルチカメラ
ヘッドの測定用カメラヘッドの画像から奥行きデータを
決定できる画素についてまず奥行きデータを算出し、残
りの画素については奥行きデータの決定している画素の
奥行きデータから算出することで画素単位に奥行きデー
タを計算し、前記ベースカメラヘッドの画像データと奥
行きデータを出力する奥行きデータ算出装置と、 前記奥行きデータ算出装置から出力される画像データ、
奥行きデータを保存する記憶装置と、 前記記憶装置から獲得する画像データ、奥行きデータと
前記記憶装置とは別系統から入力される画像データ、奥
行きデータとを入力とし、前記２つの奥行きデータを比
較し、比較結果によって前記２つの画像データの内の１
つを選択することで画像を合成し、合成した画像を出力
する３次元画像合成装置とを備えたことを特徴とする画
像合成装置。 - 【請求項９】ベースカメラヘッド、複数の測定用カメラ
ヘッドとズーム値を同時に変更することが可能な同期ズ
ーム変更装置とで構成されるマルチカメラヘッドと、 前記マルチカメラヘッドの同期ズーム変更装置からのズ
ーム値を読み取るズーム値検出装置と、 前記ズーム値検出装置から出力されるズーム値を入力と
して前記マルチカメラのベースカメラヘッドのレンズの
焦点距離を算出するレンズ焦点距離算出装置と、 前記レンズ焦点距離算出装置から出力されるレンズの焦
点距離と前記マルチカメラヘッドから出力される画像デ
ータとを入力として、前記マルチカメラヘッドのベース
カメラヘッドの画像データに対して画素単位に奥行きデ
ータを計算し、前記ベースカメラヘッドの画像データと
奥行きデータを出力する奥行きデータ算出装置と、 前記奥行きデータ算出装置から出力される画像データ、
奥行きデータと前記マルチカメラとは別系統から入力さ
れる画像データ、奥行きデータとを入力とし、前記２つ
の奥行きデータを比較し、比較結果によって前記２つの
画像データの内の１つを選択することで画像を合成し、
合成した画像を出力する３次元画像合成装置とを備えた
ことを特徴とする画像合成装置。 - 【請求項１０】ベースカメラヘッド、複数の測定用カメ
ラヘッドとズーム値を同時に変更することが可能な同期
ズーム変更装置とで構成されるマルチカメラヘッドと、 前記マルチカメラヘッドの同期ズーム変更装置からのズ
ーム値を読み取るズーム値検出装置と、 前記ズーム値検出装置から出力されるズーム値を入力と
して前記マルチカメラのベースカメラヘッドのレンズの
焦点距離を算出するレンズ焦点距離算出装置と、 前記レンズ焦点距離算出装置から出力されるレンズの焦
点距離と前記マルチカメラヘッドから出力される画像デ
ータとを入力として、前記マルチカメラヘッドのベース
カメラヘッドの画像データに対して画素単位に奥行きデ
ータを計算し、 前記ベースカメラヘッドの画像データと奥行きデータを
出力する奥行きデータ算出装置と、 前記奥行きデータ算出装置から出力される画像データ、
奥行きデータを保存する記憶装置と、 前記記憶装置から獲得する画像データ、奥行きデータと
前記記憶装置とは別系統から入力される画像データ、奥
行きデータとを入力とし、前記２つの奥行きデータを比
較し、比較結果によって前記２つの画像データの内の１
つを選択することで画像を合成し、合成した画像を出力
する３次元画像合成装置とを備えたことを特徴とする画
像合成装置。 - 【請求項１１】ベースカメラヘッド、複数の測定用カメ
ラヘッドとズーム値を同時に変更することが可能な同期
ズーム変更装置とで構成されるマルチカメラヘッドと、 前記マルチカメラヘッドの同期ズーム変更装置からのズ
ーム値を読み取るズーム値検出装置と、 前記ズーム値検出装置から出力されるズーム値を入力と
して前記マルチカメラのベースカメラヘッドのレンズの
焦点距離を算出するレンズ焦点距離算出装置と、 前記レンズ焦点距離算出装置から出力されるレンズの焦
点距離と前記マルチカメラヘッドから出力される画像デ
ータとを入力として、前記マルチカメラヘッドのベース
カメラヘッドの画像データに対して、前記マルチカメラ
ヘッドの測定用カメラヘッドの画像から奥行きデータを
決定できる画素についてまず奥行きデータを算出し、残
りの画素については奥行きデータの決定している画素の
奥行きデータから算出することで画素単位に奥行きデー
タを計算し、前記ベースカメラヘッドの画像データと奥
行きデータを出力する奥行きデータ算出装置と、 前記奥行きデータ算出装置から出力される画像データ、
奥行きデータと前記マルチカメラとは別系統から入力さ
れる画像データ、奥行きデータとを入力とし、前記２つ
の奥行きデータを比較し、比較結果によって前記２つの
画像データの内の１つを選択することで画像を合成し、
合成した画像を出力する３次元画像合成装置とを備えた
ことを特徴とする画像合成装置。 - 【請求項１２】ベースカメラヘッド、複数の測定用カメ
ラヘッドとズーム値を同時に変更することが可能な同期
ズーム変更装置とで構成されるマルチカメラヘッドと、 前記マルチカメラヘッドの同期ズーム変更装置からのズ
ーム値を読み取るズーム値検出装置と、 前記ズーム値検出装置から出力されるズーム値を入力と
して前記マルチカメラのベースカメラヘッドのレンズの
焦点距離を算出するレンズ焦点距離算出装置と、 前記レンズ焦点距離算出装置から出力されるレンズの焦
点距離と前記マルチカメラヘッドから出力される画像デ
ータとを入力として、前記マルチカメラヘッドのベース
カメラヘッドの画像データに対して、前記マルチカメラ
ヘッドの測定用カメラヘッドの画像から奥行きデータを
決定できる画素についてまず奥行きデータを算出し、残
りの画素については奥行きデータの決定している画素の
奥行きデータから算出することで画素単位に奥行きデー
タを計算し、前記ベースカメラヘッドの画像データと奥
行きデータを出力する奥行きデータ算出装置と、 前記奥行きデータ算出装置から出力される画像データ、
奥行きデータを保存する記憶装置と、 前記記憶装置から獲得する画像データ、奥行きデータと
前記記憶装置とは別系統から入力される画像データ、奥
行きデータとを入力とし、前記２つの奥行きデータを比
較し、比較結果によって前記２つの画像データの内の１
つを選択することで画像を合成し、合成した画像を出力
する３次元画像合成装置とを備えたことを特徴とする画
像合成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15091894A JP3331752B2 (ja) | 1994-07-01 | 1994-07-01 | 画像合成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15091894A JP3331752B2 (ja) | 1994-07-01 | 1994-07-01 | 画像合成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0818858A JPH0818858A (ja) | 1996-01-19 |
| JP3331752B2 true JP3331752B2 (ja) | 2002-10-07 |
Family
ID=15507252
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15091894A Expired - Lifetime JP3331752B2 (ja) | 1994-07-01 | 1994-07-01 | 画像合成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3331752B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100591144B1 (ko) * | 2001-02-09 | 2006-06-19 | 이구진 | 주석기입에 따른 전방위성 3차원 이미지 데이터 획득장치 및 그 방법 |
| US7126630B1 (en) | 2001-02-09 | 2006-10-24 | Kujin Lee | Method and apparatus for omni-directional image and 3-dimensional data acquisition with data annotation and dynamic range extension method |
| JP4202943B2 (ja) * | 2004-02-13 | 2008-12-24 | 株式会社日立製作所 | マルチカメラシステム |
| JP6712453B2 (ja) | 2015-10-16 | 2020-06-24 | 富士フイルム株式会社 | 拡張現実提供システム及び方法、情報処理装置、並びにプログラム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2709066B2 (ja) * | 1988-02-01 | 1998-02-04 | 株式会社日立製作所 | カメラ撮影画像と計算機生成画像の合成方法 |
| JPH05244630A (ja) * | 1992-03-02 | 1993-09-21 | Nippon Hoso Kyokai <Nhk> | クロマキー合成システム |
| JPH0628449A (ja) * | 1992-07-08 | 1994-02-04 | Matsushita Electric Ind Co Ltd | 画像合成装置 |
| JP3193930B2 (ja) * | 1992-07-08 | 2001-07-30 | 松下電器産業株式会社 | 画像入力合成装置 |
-
1994
- 1994-07-01 JP JP15091894A patent/JP3331752B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0818858A (ja) | 1996-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4065488B2 (ja) | ３次元画像生成装置、３次元画像生成方法及び記憶媒体 | |
| US8441518B2 (en) | Imaging apparatus, imaging control method, and recording medium | |
| JP2001346226A (ja) | 画像処理装置、立体写真プリントシステム、画像処理方法、立体写真プリント方法、及び処理プログラムを記録した媒体 | |
| JP2011060216A (ja) | 画像処理装置および画像処理方法 | |
| JPH07255681A (ja) | 医用画像処理装置 | |
| CN102724398B (zh) | 图像数据提供方法、组合方法及呈现方法 | |
| JP4193342B2 (ja) | ３次元データ生成装置 | |
| JP3331752B2 (ja) | 画像合成装置 | |
| KR100837776B1 (ko) | 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치 및그 방법 | |
| JP2009258005A (ja) | 三次元測定装置及び三次元測定方法 | |
| WO2023112971A1 (ja) | 三次元モデル生成装置、三次元モデル生成方法及び三次元モデル生成プログラム | |
| JP2821042B2 (ja) | 画像合成装置 | |
| JP2005141655A (ja) | ３次元モデリング装置及び３次元モデリング方法 | |
| JP3924576B2 (ja) | 写真測量による３次元計測方法及び装置 | |
| JP3614898B2 (ja) | 写真撮影装置、画像処理装置及び立体写真作成方法 | |
| JP2000028354A (ja) | ３次元画像処理装置 | |
| JP3193930B2 (ja) | 画像入力合成装置 | |
| JPH09237346A (ja) | 部分立体モデルの合成方法及び完全立体モデルの作成方法 | |
| JPH10255071A (ja) | 画像処理システム | |
| JP3135162B2 (ja) | 距離測定装置 | |
| WO1995026539A1 (en) | Method and apparatus for estimating motion | |
| JP2834790B2 (ja) | 画像情報生成方法 | |
| JPH05183808A (ja) | 画像情報入力装置と画像合成装置 | |
| JPH10240967A (ja) | モデル画像を用いた３次元物体のグラフィクスアニメーション装置及び方法 | |
| JP3093409B2 (ja) | ３次元計測装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070726 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080726 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090726 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090726 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100726 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110726 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110726 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120726 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120726 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130726 Year of fee payment: 11 |
|
| EXPY | Cancellation because of completion of term |