JP2005050037A - 画像処理方法および装置 - Google Patents

Abstract

【課題】通信容量を増やすことなく、設定された視点位置・方向から見た画像を生成することができるようにする。
【解決手段】異なる視点位置で撮影した複数の画像から、実際には撮影していない視点位置での新規な画像を再構成する画像処理方法において、視点位置・方向情報を設定する設定工程と、前記設定された視点位置・方向情報を複数の撮影装置に送信する送信工程と、前記複数の撮影装置の夫々から前記視点位置・方向情報に応じた画像の有効画素情報を受信する受信工程と、前記受信した有効画素情報から前記新規な画像を再構成する再構成工程とを有し、前記撮影装置は、前記視点位置・方向情報に基づき撮影画像内から有効画素を抽出することを特徴とする。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、多数のカメラが撮影した画像を元に、設定された視点位置・方向からの画像を生成するものに関する。
【０００２】
【従来の技術】
従来のデジタルカメラは、カメラを構えた位置からみた画像を撮影するのみであり、撮影位置とは異なる位置で見える画像を生成することはできなかった。ＣＧ分野では、多数の画像から任意視点の画像を生成するイメージベーストレンダリングと呼ばれる技術が研究されている。
【０００３】
イメージベーストレンダリングによって多数の画像から任意視点の画像を生成する方法を説明する。説明のために、カメラを図９のようにモデル化する。カメラ位置（視点位置）を中心として破線にはさまれた範囲が画角となり、画像構成面と被写体からの光線との交点に位置する画素が、その光線に対応する色となる。その画素の集まりがカメラの撮影画像となる。このモデルに基づいて既存のイメージベーストレンダリング技術を説明したものが図１０である。（Ａ）（Ｂ）（Ｃ）（Ｄ）は実際のカメラの撮影位置であり、（Ｘ）は、実際にはカメラで撮影していない、仮想的なカメラの視点位置である。仮想カメラ（Ｘ）の視点位置とカメラ（Ｂ）の視点位置を結ぶ光線上の画素は同じ色である（光の減衰などがない）と仮定すると、画素ｘ２は画素ｂ２と同じ色になるはずなので、画素ｂ２から画素ｘ２を推定できる。同様にして、カメラ（Ｃ）の画素ｃ１から画素ｘ１を推定できる。同様にして、さまざまな視点位置からの撮影画像中の画素情報を集めることによって、実際には撮影していない位置（Ｘ）における画像が推定できる。また、カメラ（Ａ）や（Ｄ）のような視点位置・方向のものの場合、仮想カメラ（Ｘ）の視点位置と自身の視点位置を結ぶ光線が、仮想カメラ（Ｘ）の画角範囲からはずれるため、仮想カメラ（Ｘ）の画像生成に使える画素を含まない。従って、カメラ（Ｂ）（Ｃ）のような範囲に属する視点位置・方向からの画像を多数撮影する必要がある。
【０００４】
【発明が解決しようとする課題】
従来技術では、このように多数撮影した画像をすべて記憶装置に確保したのちに処理を行うため、膨大な容量を持つ記憶装置が必要であった。また、１台のカメラを用いる場合、多数の画像を撮影するのに、１台のカメラで視点位置・方向を変えながら撮影する必要があるため、時間がかかり、また、動画の生成はできないという問題があった。この問題に対しては、多数台のカメラをネットワーク上に配置して、同時に撮影し、サーバコンピュータでその撮影された多数を処理するという方法が考えられる。しかし、この場合、サーバコンピュータに多数の画像を送信する必要があるため、ネットワークの負荷が膨大になるという問題がある。
【０００５】
【課題を解決するための手段】
上記問題点を解決するために、本発明は以下の構成を有することを特徴とする。
【０００６】
本願請求項１記載の画像処理方法は、異なる視点位置で撮影した複数の画像から、実際には撮影していない視点位置での新規な画像を再構成する画像処理方法において、視点位置・方向情報を設定する設定工程と、前記設定された視点位置・方向情報を複数の撮影装置に送信する送信工程と、前記複数の撮影装置の夫々から前記視点位置・方向情報に応じた画像の有効画素情報を受信する受信工程と、前記受信した有効画素情報から前記新規な画像を再構成する再構成工程とを有し、前記撮影装置は、前記視点位置・方向情報に基づき撮影画像内から有効画素を抽出することを特徴とする。
【０００７】
本願請求項４記載の画像処理方法は、異なる視点位置で撮影した複数の画像から、実際には撮影していない視点位置での新規な画像を再構成する画像処理方法において、視点位置・方向情報を設定する設定工程と、ネットワーク接続された複数のカメラそれぞれの位置および方向の情報を保持し、前記設定された視点位置・方向情報に基づき、前記新規な画像を生成するために必要な有効画素を有するカメラを選択する選択工程と、前記選択されたカメラに、該選択カメラの有効画素位置情報を送信する送信工程と、前記複数の撮影装置の夫々から前記視点位置・方向情報に応じた画像の有効画素情報を受信する受信工程と、前記受信した有効画素情報から前記新規な画像を再構成する再構成工程とを有することを特徴とする。
【０００８】
【発明の実施の形態】
（第一の実施形態）
以下、図面を参照して本発明の第一の実施形態を詳細に説明する。
【０００９】
本実施形態では、図１に示すように、（たとえばスポーツ競技場のような場所に）ネットワーク接続されたカメラを多数配備し、ユーザがクライアントコンピュータを用いて、自分が見たい視点位置・方向の情報をサーバコンピュータに送信し、サーバコンピュータが多数のカメラと所定のインタラクションを行うことにより、その望みの視点位置・方向情報から見た静止画像を作り出してクライアントコンピュータに送り返す例を想定する。
【００１０】
図１において、１０１は、サーバコンピュータである。１０２は、通信機能を持ったデジタルカメラである。１０３は、クライアントコンピュータである。１０４は、多数のカメラとサーバコンピュータ１０２をつなぐＬＡＮである。１０５は、インターネットである。
【００１１】
図２は、本実施形態に係るサーバコンピュータ１０１のブロック図である。同図において、２０１は、画像生成部であり、設定された視点位置・方向の画像を構成する。２０２は、視点位置・方向受信部であり、クライアントコンピュータ１０３からインターネット１０５を通じてユーザの望みの視点位置・方向情報を受け取る。２０３は、視点位置・方向送信部であり、視点位置・方向受信部で受け取った視点位置・方向情報を、ＬＡＮ１０４を通じてデジタルカメラ１０２を含む多数のデジタルカメラに同時に送信する。２０４は、画素情報受信部であり、デジタルカメラ１０２を含む多数のデジタルカメラからそれぞれさまざまな画素位置の画素情報をＬＡＮ１０４を通じて受け取る。２０５は、生成画像送信部であり、画像生成部２０１で生成された画像情報をインターネット１０５を通じてクライアントコンピュータ１０３に送信する。
【００１２】
図３は、本実施形態に係るサーバコンピュータ１０１のハードウエア構成を示す構成図である。同図において、３０１はＣＰＵであり、後述する手順を実現するプログラムに従って動作する。３０２はＲＡＭであり、上記プログラムの動作に必要な記憶領域を提供する。３０３はＲＯＭであり、後述する手順を実現するプログラムを保持する。３０４は通信デバイスであり、ＬＡＮ１０４やインターネット１０５に接続して、クライアントコンピュータ１０３やデジタルカメラ１０２などとの通信を行う。３０５はバスである。
【００１３】
図４は、本実施形態に係るデジタルカメラ１０２のブロック図である。同図において、４０１は、撮像部である。４０２は、画像保持部であり、撮影した画像データを保持する。４０３は、有効画素取得部であり、サーバが設定された視点位置・方向の画像を生成するのに有効な画素情報を、撮像部４０１が撮像した画像情報から抽出する。４０４は、有効画素保持判定部であり、撮像部４０１が撮像した画像情報がサーバが設定された視点位置・方向の画像を生成するのに有効な画素情報を含むかどうかを判定する。４０５は、カメラ位置・方向保持部であり、自身の位置や方向の情報を保持する。４０６は、有効画素情報送信部であり、有効画素取得部４０３が取得した画素情報をＬＡＮ１０４を通じてサーバコンピュータ１０１に送信する。４０７は、視点位置・方向受信部であり、サーバコンピュータ１０１から設定された視点位置・方向情報をＬＡＮ１０４を通じて取得する。
【００１４】
図５は、本実施形態に係るデジタルカメラ１０２のハードウエア構成を示す構成図である。同図において、５０１はＣＰＵであり、後述する手順を実現するプログラムに従って動作する。 ５０２はＲＡＭであり、上記プログラムの動作に必要な記憶領域を提供する。さらに、画像保持部４０２はこのＲＡＭ上に撮影した画像データを保持する。５０３はＲＯＭであり、後述する手順を実現するプログラムを保持する。５０４は通信デバイスであり、ＬＡＮ１０４に接続して、サーバコンピュータ１０１との通信を行う。５０５はＣＣＤであり、外部の画像を撮像する。５０６はバスである。
【００１５】
図６は、本実施形態に係るクライアントコンピュータ１０３のブロック図である。同図において、６０１は、視点位置・方向入力部であり、ユーザが望みの視点位置・方向を入力する。６０２は、視点位置・方向送信部であり、入力された視点位置・方向情報をインターネット１０５を通じてサーバコンピュータ１０１に送信する。６０３は、生成画像受信部であり、サーバコンピュータ１０１が生成した生成画像の情報を、インターネット１０５を通じて受信する。６０４は、表示部であり、生成画像受信部６０３で受信した生成画像を表示装置に表示する。
【００１６】
図７は、本実施形態に係るクライアントコンピュータ１０３のハードウエア構成を示す構成図である。同図において、７０１はＣＰＵであり、プログラムに従って動作する。７０２はＲＡＭであり、プログラムの動作に必要な記憶領域を提供する。７０３はＲＯＭであり、プログラムを保持する。７０４は通信デバイスであり、インターネット１０５に接続して、サーバコンピュータ１０１との通信を行う。７０５はディスプレイであり、生成画像を表示する。７０６はバスである。
【００１７】
図８のフローチャートをもとに、本実施形態におけるサーバコンピュータ１０１およびデジタルカメラ１０２の動作を説明する。サーバコンピュータ１０１は、クライアントコンピュータ１０３から、生成したい画像の視点位置・方向情報を取得する（Ｓ８０１）。視点位置・方向は、視点の３次元位置（ｘ、ｙ、ｚ）とそこからの方向（θ、φ）からなる。視点位置・方向は、ユーザが自分の見たい視点位置・方向をクライアントコンピュータ１０３上で指定したものである。サーバコンピュータ１０１は、この視点位置・方向情報（ｘ、ｙ、ｚ、θ、φ）を、デジタルカメラ１０２（を含む多数のカメラ）に送信する（Ｓ８０２）。
【００１８】
デジタルカメラ１０２は、視点位置・方向受信部４０７からサーバコンピュータ１０１から視点位置・方向情報（ｘ、ｙ、ｚ、θ、φ）を受信すると（Ｓ８０８）、有効画素保持判定部４０４は、この視点位置・方向からの画像を生成するのに有効な画素情報が自身の撮影画像に含まれるか否かを判定する。
【００１９】
デジタルカメラ１０２のカメラ位置・方向保持部４０４には、事前にこのデジタルカメラの視点位置・方向情報（ｘ１、ｙ１、ｚ１、θ１、φ１）が記憶されている。有効画素保持判定部４０４は、デジタルカメラの視点位置・方向情報（ｘ１、ｙ１、ｚ１、θ１、φ１）と視点位置・方向受信部４０７が受信した生成画像の視点位置・方向情報（ｘ、ｙ、ｚ、θ、φ）とから、図１０の原理に基づいてこの判定を行う。
【００２０】
すなわち、（ｘ、ｙ、ｚ）と（ｘ１、ｙ１、ｚ１）を結ぶ直線が、設定された視点位置・方向で示される仮想的なカメラ（Ｘ）の画角と、デジタルカメラ１０２自身の画角の両方に含まれていれば有効な画素情報を含むと判定する。
【００２１】
有効画素情報を含まない場合は、Ｓ８０８に戻る。有効画素情報を含む場合は、撮影部４０１によって撮影された画像が保持されている画像保持部４０２から、有効画素取得部４０３が有効画素情報（色情報）を取得し（Ｓ８１０）、有効画素情報送信部４０６を用いてサーバコンピュータ１０１に送信する。
【００２２】
本実施形態では、デジタルカメラ１０２の撮影画像全体ではなく、必要な画素情報だけを送信するため、通信量が少なくて済む。
【００２３】
サーバコンピュータ１０１は、画素情報受信部２０４がデジタルカメラ１０２（を含む多数のカメラ）からの画素情報を受信したら（Ｓ８０３）、画像再構成部２０１を用いて生成画像の対応する画素に反映する（Ｓ８０４）。例えば、図１０で、カメラ（Ｂ）から画素情報ｂ２を受信したら、自身の画素ｘ２にその値をコピーする。画像生成の終了条件を判定し（Ｓ８０５）、終了条件を満たしたら、後処理を行い（Ｓ８０６）、出来上がった生成画像をクライアントコンピュータ１０３に送信する。ここで、終了条件とは、画像を生成するのに十分な画素情報デジタルカメラ１０２を含む多数のカメラから集まったか否かの判定であり、単純には、すべての画素位置に対する画素情報が取得できたか否かで判定する。あるいは、すべての画素位置に対する画素情報が集まらなくても何らかの補間処理によってすべての画素位置に対する画素情報が推定可能と判断できた場合も、この判定条件を満たすことになる。補間処理を前提とした場合は、後処理Ｓ８０６でその補間処理を行う。
【００２４】
生成された再構成画像は、再構成画像送信部２０５を用いてクライアントコンピュータに送信する。
【００２５】
（第二の実施形態）
上記実施形態では、ユーザの望みの視点位置・方向情報から見た静止画像を作り出してクライアントコンピュータに送り返す例を説明した。本実施形態では、ユーザの望みの視点位置・方向情報から見た動画像を作り出す方法を説明する。
【００２６】
この場合、デジタルカメラ１０２として、動画を撮影可能なビデオカメラを用い、その撮影動画データは、任意の時刻Ｔにおける静止画の集合として記録される。そして、図８のフローチャートのステップＳ８１１において、デジタルカメラ１０２は、時刻Ｔにおける有効画素情報として、画素位置（Ｘ、Ｙ）、色情報（Ｒ、Ｇ、Ｂ）、とそのときの時刻情報（Ｔ）を合わせた（Ｘ、Ｙ、Ｒ、Ｇ、Ｂ、Ｔ）をサーバコンピュータ１０１に送信する。これを任意の時刻Ｔに対して行う。サーバコンピュータ１０１はステップＳ８０４において、受信した有効画素情報（Ｘ、Ｙ、Ｒ、Ｇ、Ｂ、Ｔ）のうち、時刻情報（Ｔ）が同じものを一つの画像に集めて、時刻Ｔにおける静止画を生成する。
【００２７】
時刻情報（Ｔ）を持つ画素情報を収集したものがステップＳ８０５の終了条件を満たしたら、必要な補間などの後処理を施して（Ｓ８０６）、これを時刻Ｔでの画像としてクライアントコンピュータ１０３に送信する。これを任意の時刻Ｔに対して時々刻々行うことで、設定された視点位置・方向から見た動画像を生成される。
【００２８】
（第三の実施形態）
上記第一、第二の実施形態では、一つのクライアントコンピュータ、すなわち一人のユーザから望みの視点位置・方向からの画像生成が要求されることを想定していた。しかし、これは複数ユーザに拡張可能である。
【００２９】
サーバコンピュータ１０１は、ユーザＡから設定された視点位置・方向情報をデジタルカメラ１０２に送信する際、視点位置・方向情報にユーザ識別子Ａを加えた（ｘ、ｙ、ｚ、θ、φ、Ａ）を送信する。これを受信したデジタルカメラ１０２は、返信する有効画素情報にユーザ識別子Ａを加えたものをサーバコンピュータ１０１に送信する。サーバコンピュータ１０１は、同じユーザ識別子Ａを含む有効画素情報を集めて画像を生成し、生成した画像をユーザＡのクライアントコンピュータに送信する。
【００３０】
（第四の実施形態）
上記実施形態では、サーバコンピュータ１０１が、設定された視点位置・方向を多数のデジタルカメラにブロードキャストし、各カメラが自身が有効画素を含むか否かを判定し、有効画素情報をサーバコンピュータ１０１に送信するようにしていたが、有効画素を含むカメラをサーバコンピュータ１０１で事前に選別するようにしても構わない。
【００３１】
図１１は、第三の実施形態におけるサーバコンピュータ１０１のブロック図である。同図において、１１０１は、画像生成部であり、設定された視点位置・方向の画像を構成する。１１０２は、視点位置・方向受信部であり、クライアントコンピュータ１０３からインターネット１０５を通じてユーザの望みの視点位置・方向情報を受け取る。１１０３は、有効カメラ選別部であり、多数のカメラから、設定された視点位置・方向に対する有効画素を含むカメラを選別する。１１０４は、カメラ位置・方向保持部であり、多数のカメラそれぞれの位置・方向の情報を保持する。１１０５は、必要画素位置情報送信部であり、有効カメラ選別部１１０３で選別された各カメラに対し、設定された視点位置・方向に対する有効画素の位置情報を送信する。１１０６は、画素情報受信部であり、デジタルカメラ１０２を含む多数のデジタルカメラからそれぞれさまざまな画素位置の画素情報をＬＡＮ１０４を通じて受け取る。１１０７は、生成画像送信部であり、画像生成部１１０１で生成された画像情報をインターネット１０５を通じてクライアントコンピュータ１０３に送信する。
【００３２】
図１２は、この第三の実施形態における、多数のカメラの一つであるデジタルカメラ１０２のブロック図である。同図において、１２０１は、撮像部である。
１２０２は、画像保持部であり、撮影した画像データを保持する。１２０３は、有効画素取得部であり、サーバコンピュータ１０１から送信される必要画素位置情報に対応する画素情報を画像保持部１２０２が保持する画像データから取得する。１２０４は、有効画素情報送信部であり、有効画素取得部１２０３が取得した画素情報をＬＡＮ１０４を通じてサーバコンピュータ１０１に送信する。１２０５は、必要画素位置情報受信部であり、サーバコンピュータ１０１から設定された必要画素位置情報をＬＡＮ１０４を通じて取得する。
【００３３】
クライアントコンピュータ１０３のブロック図やハードウエア構成図は、第一の実施形態と同じである。
【００３４】
図１３のフローチャートをもとに、本実施形態におけるサーバコンピュータ１０１およびデジタルカメラ１０２の動作を説明する。サーバコンピュータ１０１は、クライアントコンピュータ１０３から、生成したい画像の視点位置・方向情報を取得する（Ｓ１３０１）。サーバコンピュータ１０１は、カメラ位置・方向保持部１１０４において、デジタルカメラ１０２を含む多数のカメラそれぞれの位置・方向の情報を保持している。これと、設定された生成したい画像の視点位置・方向情報から、図１０の原理に基づいて、各カメラがこの視点位置・方向からの画像を生成するのに有効な画素情報を含むか否かを判定する（Ｓ１３０２）。続いて、有効な画素情報を含むと判定した各カメラに対して、それぞれが含む有効画素の位置情報をやはり図１０の原理に基づいて算出する。例えば、図１０のカメラ（Ｂ）の場合は画素ｂ２が、カメラ（Ｃ）の場合は画素ｃ１が有効画素であることを算出する。そして、それぞれのカメラに対し、算出した有効画素の位置情報（Ｘ、Ｙ）を必要画素位置情報として送信する（Ｓ１３０３）。
【００３５】
デジタルカメラ１０２は、有効カメラと判定された場合、サーバコンピュータ１０１から、必要画素位置情報（Ｘ、Ｙ）を取得することになる（Ｓ１３０９）。これを受けて、撮影を行い、その中から必要画素位置情報（Ｘ、Ｙ）に対応する画素情報を取得し（Ｓ１３１０）、これをサーバコンピュータ１０１に送信する（Ｓ１３１１）。デジタルカメラ１０２の撮影画像全体ではなく、必要な画素情報だけを送信するため、通信量が少なくて済む。
【００３６】
サーバコンピュータ１０１は、デジタルカメラ１０２（を含む多数のカメラ）からの画素情報を受信したら（Ｓ１３０４）、図８のステップＳ８０３〜Ｓ８０７と同様の処理Ｓ１３０４〜Ｓ１３０８を実行することで、設定された視点位置・方向の画像を生成する。
【００３７】
（第五の実施形態）
上記第四の実施形態では、ユーザの望みの視点位置・方向情報から見た静止画像を作り出す例を説明した。これに対し、前記第二の実施形態のような方法を第三の実施形態に適用することで、動画像の生成が可能になることは言うまでもない。
【００３８】
（第六の実施形態）
上記第四、第五の実施形態では、一つのクライアントコンピュータ、すなわち一人のユーザから望みの視点位置・方向からの画像生成が要求されることを想定していた。しかし、これは複数ユーザに拡張可能である。サーバコンピュータ１０１は、ユーザＡから設定された視点位置・方向情報から導き出される必要画素位置情報（Ｘ、Ｙ）を選別されたデジタルカメラ１０２に送信する際、必要画素位置情報にユーザ識別子Ａを加えた（Ｘ、Ｙ、Ａ）を送信する。これを受信したデジタルカメラ１０２は、返信する有効画素情報にユーザ識別子Ａを加えたものをサーバコンピュータ１０１に送信する。サーバコンピュータ１０１は、同じユーザ識別子Ａを含む有効画素情報を集めて画像を生成し、生成した画像をユーザＡのクライアントコンピュータに送信する。
【００３９】
（他の実施形態）
上記実施形態では、デジタルカメラ１０２において、撮像にＣＣＤを用いていたが、ＣＭＯＳを用いてもよい。この場合、デジタルカメラ１０２のハードウエア構成図は図１４のようになる。ＣＭＯＳを用いた場合、撮影画像全体をＲＡＭ上に記録することなく、有効画素位置の画素情報だけを取得することができるので、ＲＡＭ使用量を削減できるという効果がある。
【００４０】
また、上記実施形態では、望みの視点位置・方向を設定するようにし、画角はあらかじめ決められた固定値であるという前提であった。しかし、画角を設定できるようにしてもよい。図１０の原理からすると、生成したい画像の画角を変えると、有効画素を含むデジタルカメラを含む範囲が変わるだけで、設定された画角で画像の再構成は可能である。
【００４１】
また、上記実施形態では、望みの視点位置・方向を設定するようにし、解像度はあらかじめ決められた固定値であるという前提であった。しかし、解像度を設定できるようにしてもよい。図１０の原理からすると、仮想カメラ（Ｘ）の画素ｘを推定するには、ｘの位置と仮想カメラ（Ｘ）の視点位置を結ぶ直線上に実際のカメラが存在すればよい。要求解像度が高くなると、より多数のカメラが必要になる。実際には設置可能なカメラの台数には限界があるので、実際のカメラの撮影画像の画素から直接推定できない仮想カメラ（Ｘ）の画素が存在し、要求解像度が高くなるとその確率が高くなる。実際のカメラの撮影画像の画素から直接推定できない画素に関しては、近傍の画素の値を用いたなんらかの補間処理によって推定できる。
【００４２】
上記実施形態においては、プログラムをＲＯＭに保持する場合について説明したが、これに限定されるものではなく、任意の記憶媒体を用いて実現してもよい。また、同様の動作をする回路で実現してもよい。
【００４３】
また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。前述した実施形態の機能を実現するソフトウエアのプログラムコードを記録した記録媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【００４４】
プログラムコードを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤーＲＯＭ、ＣＤーＲ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００４５】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４６】
更に、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４７】
【発明の効果】
以上説明したように、本発明によれば、通信容量を増やすことなく、設定された視点位置・方向から見た画像を生成することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るシステムの構成図である。
【図２】本発明の一実施形態に係るサーバコンピュータ１０１のブロック図である。
【図３】本発明の一実施形態に係るサーバコンピュータ１０１のハードウエア構成を示す構成図である。
【図４】本発明の一実施形態に係るデジタルカメラ１０２のブロック図である。
【図５】本発明の一実施形態に係るデジタルカメラ１０２のハードウエア構成を示す構成図である。
【図６】本発明の一実施形態に係るクライアントコンピュータ１０３のブロック図である。
【図７】本発明の一実施形態に係るクライアントコンピュータ１０３のハードウエア構成を示す構成図である。
【図８】本発明の一実施形態に係るサーバコンピュータ１０１およびデジタルカメラ１０２の動作示すフローチャートである。
【図９】本発明の一実施形態に係るカメラのモデルを説明する図である。
【図１０】本発明の一実施形態に係る複数のカメラから設定された視点位置・方向の画像を生成する原理を説明する図である。
【図１１】本発明の第四の実施形態に係るサーバコンピュータ１０１のブロック図である。
【図１２】本発明の第四の実施形態に係るデジタルカメラ１０２のブロック図である。
【図１３】本発明の第四の実施形態に係るサーバコンピュータ１０１およびデジタルカメラ１０２の動作示すフローチャートである。
【図１４】本発明の第七の実施形態に係るデジタルカメラ１０２のハードウエア構成を示す構成図である。

Claims (9)

1. 異なる視点位置で撮影した複数の画像から、実際には撮影していない視点位置での新規な画像を再構成する画像処理方法において、
   視点位置・方向情報を設定する設定工程と、
   前記設定された視点位置・方向情報を複数の撮影装置に送信する送信工程と、
   前記複数の撮影装置の夫々から前記視点位置・方向情報に応じた画像の有効画素情報を受信する受信工程と、
   前記受信した有効画素情報から前記新規な画像を再構成する再構成工程とを有し、
   前記撮影装置は、前記視点位置・方向情報に基づき撮影画像内から有効画素を抽出することを特徴とする画像処理方法。
2. 前記受信工程は、前記有効画素情報とともに撮影タイミング情報を受信し、
   前記再構成工程は、前記撮影タイミング情報が略同一の有効画素情報を用いて、前記新規な画像を再構成することを特徴とする請求項１記載の画像処理方法。
3. 前記再構成工程は、動画を生成することを特徴とする請求項２記載の画像処理方法。
4. 異なる視点位置で撮影した複数の画像から、実際には撮影していない視点位置での新規な画像を再構成する画像処理方法において、
   視点位置・方向情報を設定する設定工程と、
   ネットワーク接続された複数のカメラそれぞれの位置および方向の情報を保持し、
   前記設定された視点位置・方向情報に基づき、前記新規な画像を生成するために必要な有効画素を有するカメラを選択する選択工程と、
   前記選択されたカメラに、該選択カメラの有効画素位置情報を送信する送信工程と、
   前記複数の撮影装置の夫々から前記視点位置・方向情報に応じた画像の有効画素情報を受信する受信工程と、
   前記受信した有効画素情報から前記新規な画像を再構成する再構成工程とを有することを特徴とする画像処理方法。
5. 前記受信工程は、前記有効画素情報とともに撮影タイミング情報を受信し、
   前記再構成工程は、前記撮影タイミング情報が略同一の有効画素情報を用いて、前記新規な画像を再構成することを特徴とする請求項１記載の画像処理方法。
6. 前記再構成工程は、動画を生成することを特徴とする請求項２記載の画像処理方法。
7. 請求項１乃至６のいずれかに記載の画像処理方法を、コンピュータを用いて実現するためのプログラム。
8. 異なる視点位置で撮影した複数の画像から、実際には撮影していない視点位置での新規な画像を再構成する画像処理装置において、
   視点位置・方向情報を設定する設定手段と、
   前記設定された視点位置・方向情報を複数の撮影装置に送信する送信手段と、
   前記複数の撮影装置の夫々から前記視点位置・方向情報に応じた画像の有効画素情報を受信する受信手段と、
   前記受信した有効画素情報から前記新規な画像を再構成する再構成手段とを有し、
   前記撮影装置は、前記視点位置・方向情報に基づき撮影画像内から有効画素を抽出することを特徴とする画像処理装置。
9. 異なる視点位置で撮影した複数の画像から、実際には撮影していない視点位置での新規な画像を再構成する画像処理装置において、
   視点位置・方向情報を設定する設定手段と、
   ネットワーク接続された複数のカメラそれぞれの位置および方向の情報を保持する保持手段と、
   前記設定された視点位置・方向情報に基づき、前記新規な画像を生成するために必要な有効画素を有するカメラを選択する選択工程と、
   前記選択されたカメラに、該選択カメラの有効画素位置情報を送信する送信手段と、
   前記複数の撮影装置の夫々から前記視点位置・方向情報に応じた画像の有効画素情報を受信する受信手段と、
   前記受信した有効画素情報から前記新規な画像を再構成する再構成手段とを有することを特徴とする画像処理装置。

Images