JP4860431B2 - 画像生成装置 - Google Patents

Description

この発明は、複数のカメラ等により撮影された多視点画像からスポーツ鑑賞や監視などの用途に有用な画像を生成する画像生成装置に関するものである。

従来の画像生成装置では、ユーザにより指定された注視点を中心とする多視点画像を生成する場合、複数のカメラにより撮影された画像に対して、各カメラのカメラパラメータ（３次元空間の世界座標を映像の座標に変換するためのパラメータ）を用いて、カメラにより撮影された被写体の世界座標を各カメラの映像座標に変換するようにしている（例えば、特許文献１を参照）。
したがって、画像生成装置が多視点画像を生成するには、事前に、各カメラのカメラパラメータを得るために、各カメラに対して高精度のカメラキャリブレーションを実施する必要がある。

特開２００６−１１５２９８号公報（段落番号［００１５］から［００１７］、図１）

従来の画像生成装置は以上のように構成されているので、世界座標を映像座標に変換するためのカメラパラメータが事前に得られていれば、ユーザにより指定された注視点を中心とする多視点画像を生成することができる。しかし、カメラパラメータを得るには、各カメラに対して高精度のカメラキャリブレーションを実施しなければならないなどの課題があった。

この発明は上記のような課題を解決するためになされたもので、高精度のカメラキャリブレーションを実施することなく、被写体の大きさや位置などが一致している見易い臨場感のある画像を生成することができる画像生成装置を得ることを目的とする。

この発明に係る画像生成装置は、位置指定手段により指定されたマルチビュー対象の物体の位置と平面射影変換行列算出手段により算出された平面射影変換行列から複数の画像に存在するマルチビュー対象の物体の位置を算出するとともに、位置指定手段により指定された垂直基準棒の床面位置と平面射影変換行列から複数の画像に存在する垂直基準棒の床面位置を算出する位置算出手段と、位置算出手段により算出されたマルチビュー対象の物体の位置及び垂直基準棒の床面位置を用いて、複数の画像におけるマルチビュー対象の物体の位置を揃え、かつ、マルチビュー対象の物体の大きさを同じにする画像倍率を複数の画像毎に算出する画像倍率算出手段とを設け、画像変換手段が画像倍率算出手段により算出された画像倍率にしたがって複数の画像を変換するようにしたものである。

この発明によれば、位置指定手段により指定されたマルチビュー対象の物体の位置と平面射影変換行列算出手段により算出された平面射影変換行列から複数の画像に存在するマルチビュー対象の物体の位置を算出するとともに、位置指定手段により指定された垂直基準棒の床面位置と平面射影変換行列から複数の画像に存在する垂直基準棒の床面位置を算出する位置算出手段と、位置算出手段により算出されたマルチビュー対象の物体の位置及び垂直基準棒の床面位置を用いて、複数の画像におけるマルチビュー対象の物体の位置を揃え、かつ、マルチビュー対象の物体の大きさを同じにする画像倍率を複数の画像毎に算出する画像倍率算出手段とを設け、画像変換手段が画像倍率算出手段により算出された画像倍率にしたがって複数の画像を変換するように構成したので、高精度のカメラキャリブレーションを実施することなく、被写体の大きさや位置などが一致している見易い臨場感のある画像を生成することができる効果がある。

実施の形態１．
図１はこの発明の実施の形態１による画像生成装置を示す構成図である。
図１の画像生成装置の場合、Ｎ台のカメラを使用して、ある３次元領域をそれぞれ異なる方向から撮影した複数の画像に対して、上記領域内に存在するある物体が、全ての画像で同じ大きさになるように各画像を拡大または縮小し、かつ、画像内の同じ座標に位置するよう移動し、さらに、水平方向や垂直方向の歪を補正するようにしている。
なお、上記のような画像を、Ｎ台のカメラにより撮影されたＮ枚の画像を用いて生成した後、それらの画像をカメラの並びの順番に表示すると、ある物体を中心に等距離の視点をカメラの並びに沿って順番に移動させたような画像効果を得ることができる。以後、上記のような効果をマルチビュー効果または単にマルチビューと称する。
これ以降の説明では、Ｎ台のカメラで、水平な平面である床面にいくつかの物体が置かれている領域を撮影し、その領域に対してマルチビュー効果を有する画像を生成するものとする。

図において、カメラ１−１〜１−Ｎは相互に異なる方向から同一の３次元領域を撮影し、その３次元領域の撮影結果であるオリジナル画像ｎ（１≦ｎ≦Ｎ）を出力する。
画像データ一時保存部２はカメラ１−ｎ（１≦ｎ≦Ｎ）から出力されたオリジナル画像ｎ（１≦ｎ≦Ｎ）を一時的に保存するメモリである。なお、画像データ一時保存部２は画像格納手段を構成している。
ただし、この実施の形態１では、以降、説明の簡単化のために、Ｎ＝８であるものとして説明する。

マルチビュー位置指定部３は画像データ一時保存部２に保存されている８枚のオリジナル画像ｎの中から任意のオリジナル画像ｎ₁（１≦ｎ₁≦８）の選択を受け付け、そのオリジナル画像ｎ₁に存在するマルチビュー対象の物体（ユーザがマルチビューを希望する物体）の床面上の位置を示す画像座標の指定を受け付ける処理を実施する。
マルチビュー位置指定部３における画像座標の読み取りは、ユーザがオリジナル画像ｎ₁を見ながら、例えば、マウスを操作して画像内の位置を指定することにより、その位置の画像座標を読み取るようにしてもよいし、何らかの方法で自動的に指定可能としてもよい。

基準位置指定部４は画像データ一時保存部２に保存されている８枚のオリジナル画像ｎの中から任意のオリジナル画像ｎ₂（１≦ｎ₂≦８）の選択を受け付け、そのオリジナル画像ｎ₂に存在する垂直基準棒が床面に垂直に接している床面上の位置を示す画像座標の指定を受け付ける処理を実施する。
基準位置指定部４における画像座標の読み取りは、ユーザがオリジナル画像ｎ₂を見ながら、例えば、マウスを操作して画像内の位置を指定することにより、その位置の画像座標を読み取るようにしてもよいし、何らかの方法で自動的に指定可能としてもよい。
なお、マルチビュー位置指定部３及び基準位置指定部４から位置指定手段が構成されている。

床面座標読取部５は画像データ一時保存部２に保存されているオリジナル画像ｎ（１≦ｎ≦８）の床面上に共通に存在しているマーキング（図２を参照）の頂点（１）、頂点（２）、頂点（３）、頂点（４）の画像座標を読み取る処理を実施する。なお、床面座標読取部５はマーキング位置取得手段を構成している。
水平消失点算出部６は画像データ一時保存部２に保存されているオリジナル画像ｎ（１≦ｎ≦８）毎に、オリジナル画像ｎの水平消失点（カメラ１−ｎの光軸を床面に垂直な方向に投影した床面上の直線の無限遠点を撮影画像に投影した消失点）の画像座標を算出する処理を実施する。
垂直消失点算出部７は画像データ一時保存部２に保存されているオリジナル画像ｎ（１≦ｎ≦８）毎に、オリジナル画像ｎの垂直消失点（床面に垂直な直線の無限遠点を画像に投影した消失点）の画像座標を算出する処理を実施する。
なお、水平消失点算出部６及び垂直消失点算出部７から消失点算出手段が構成されている。

平面射影変換行列算出部８はオリジナル画像ｎ₁と他のオリジナル画像ｎ（オリジナル画像ｎ₁を除く）におけるマーキングの頂点（１）、頂点（２）、頂点（３）、頂点（４）の画像座標を使用して、オリジナル画像ｎ₁と他のオリジナル画像ｎ（オリジナル画像ｎ₁を除く）間で、床面を構成する平面の平面射影変換行列Ｈ_n1-1〜Ｈ_n1-8（１≦ｎ₁≦８の７個）を算出する処理を実施する。
また、平面射影変換行列算出部８はオリジナル画像ｎ₂と他のオリジナル画像ｎ（オリジナル画像ｎ₂を除く）におけるマーキングの頂点（１）、頂点（２）、頂点（３）、頂点（４）の画像座標を使用して、オリジナル画像ｎ₂と他のオリジナル画像ｎ（オリジナル画像ｎ₂を除く）間で、床面を構成する平面の平面射影変換行列Ｈ_n2-1〜Ｈ_n2-8（１≦ｎ₂≦８の７個）を算出する処理を実施する。
平面射影変換行列の算出方法は、例えば、非特許文献「出口光一郎 “ロボットビジョンの基礎”ｐ４７（本文献ではホモグラフィー行列と記載されている）」に記載されている。
なお、平面射影変換行列算出部８は平面射影変換行列算出手段を構成している。

マルチビュー位置算出部９は平面射影変換行列算出部８により算出された平面射影変換行列Ｈ_n1-1〜Ｈ_n1-8を用いて、オリジナル画像ｎ（オリジナル画像ｎ₁を除く）に存在するマルチビュー対象の物体の床面上の位置を示す画像座標を算出する処理を実施する。即ち、平面射影変換行列Ｈ_n1-1〜Ｈ_n1-8を用いて、マルチビュー位置指定部３により指定が受け付けられたマルチビュー対象の物体の床面上の位置を示す画像座標（または、マルチビュー画像座標変換部２２により変換された画像座標）を、オリジナル画像ｎ（オリジナル画像ｎ₁を除く）の画像座標に変換することにより、オリジナル画像ｎ（オリジナル画像ｎ₁を除く）に存在するマルチビュー対象の物体の床面上の位置を示す画像座標を算出する処理を実施する。

基準位置算出部１０は平面射影変換行列算出部８により算出された平面射影変換行列Ｈ_n2-1〜Ｈ_n2-8を用いて、オリジナル画像ｎ（オリジナル画像ｎ₂を除く）に存在する垂直基準棒の床面上の位置を示す画像座標を算出する処理を実施する。即ち、平面射影変換行列Ｈ_n2-1〜Ｈ_n2-8を用いて、基準位置指定部４により指定が受け付けられたオリジナル画像ｎ₂内の垂直基準棒の床面位置を示す画像座標を、オリジナル画像ｎ（オリジナル画像ｎ₂を除く）の画像座標に変換する処理を実施することにより、オリジナル画像ｎ（オリジナル画像ｎ₂を除く）に存在する垂直基準棒の床面上の位置を示す画像座標を算出する処理を実施する。
なお、マルチビュー位置算出部９及び基準位置算出部１０から位置算出手段が構成されている。

画像内倍率算出部１１はマルチビュー位置算出部９により算出されたオリジナル画像ｎに存在するマルチビュー対象の床面位置を示す画像座標と、基準位置算出部１０により算出されたオリジナル画像ｎに存在する垂直基準棒の床面位置を示す画像座標と、水平消失点算出部６により算出されたオリジナル画像ｎの水平消失点の画像座標とを用いて、マルチビュー対象の物体を垂直基準棒と同じ奥行きの床面位置まで移動させた場合のマルチビュー対象の物体の画像内倍率（マルチビュー対象の物体の大きさの見え方の変化倍率）を算出する処理を実施する。

カメラ水平軸歪補正パラメータ算出部１２は垂直消失点算出部７により算出されたオリジナル画像ｎの垂直消失点から、オリジナル画像ｎを撮影する際のカメラ１−ｎの傾きに起因する水平軸歪の補正パラメータを算出する処理を実施する。
透視投影歪補正パラメータ算出部１３は垂直消失点算出部７により算出されたオリジナル画像ｎの垂直消失点から、カメラ１−ｎの撮影時に３次元空間を２次元平面に透視投影することに起因する画像の透視投影歪の補正パラメータを算出する処理を実施する。

１次補正画像生成部１４はカメラ水平軸歪補正パラメータ算出部１２により算出された水平軸歪の補正パラメータと、透視投影歪補正パラメータ算出部１３により算出された透視投影歪の補正パラメータとを用いて、オリジナル画像ｎの水平軸歪と透視投影歪を補正し、補正後の画像を１次補正画像ｎ（１≦ｎ≦８）として出力する。
基準長読取部１５は１次補正画像生成部１４から出力された１次補正画像ｎ内の垂直基準棒の見かけの長さを読み取る処理を実施する。

画像間倍率算出部１６は画像内倍率算出部１１により算出されたマルチビュー対象の物体の画像内倍率と、基準長読取部１５により読み取られた１次補正画像ｎ内の垂直基準棒の見かけの長さを用いて、１次補正画像ｎ（１≦ｎ≦８）におけるマルチビュー対象の物体を同じ大きさで表示する場合の画像間倍率を１次補正画像ｎ毎に算出する処理を実施する。
なお、画像内倍率算出部１１及び画像間倍率算出部１６から画像倍率算出手段が構成されている。なおこのとき、画像間倍率を用いて、１次補正画像を拡大または縮小して大きさを補正してもよい。

２次補正画像生成部１７はカメラ水平軸歪補正パラメータ算出部１２により算出された水平軸歪の補正パラメータと、透視投影歪補正パラメータ算出部１３により算出された透視投影歪の補正パラメータと、画像間倍率算出部１６により算出された画像間倍率とを用いて、２次透視変換を実施することにより、オリジナル画像ｎ（１≦ｎ≦８）の歪や大きさを補正し、補正後の画像を２次補正画像ｎ（１≦ｎ≦８）として出力する。
なお、カメラ水平軸歪補正パラメータ算出部１２、透視投影歪補正パラメータ算出部１３及び２次補正画像生成部１７から歪み補正手段が構成されている。

２次透視変換座標算出部１８は２次補正画像生成部１７がカメラ水平軸歪補正パラメータ算出部１２により算出された水平軸歪の補正パラメータと、透視投影歪補正パラメータ算出部１３により算出された透視投影歪の補正パラメータと、画像間倍率算出部１６により算出された画像間倍率とを用いて、２次透視変換を実施した場合のマルチビュー対象の物体の画像座標（マルチビュー対象の物体の移動先の画像座標）を算出する処理を実施する。
移動パラメータ算出部１９は２次透視変換座標算出部１８により算出されたマルチビュー対象の物体の移動先の画像座標と、画像中心とのずれを移動パラメータとして算出する処理を実施する。

マルチビュー画像生成部２０は移動パラメータ算出部１９により算出された移動パラメータにしたがって、２次補正画像生成部１７から出力された２次補正画像ｎ（１≦ｎ≦８）を移動させることにより、マルチビュー対象の物体が画像の中心に存在するマルチビュー画像ｎ（１≦ｎ≦８）を生成する処理を実施する。
なお、２次透視変換座標算出部１８、移動パラメータ算出部１９及びマルチビュー画像生成部２０から画像変換手段が構成されている。

マルチビュー位置指定部２１はマルチビュー画像生成部２０により生成されたマルチビュー画像ｎ（１≦ｎ≦８）に対して、新たなマルチビューの位置の指定を受け付ける処理を実施する。
マルチビュー画像座標変換部２２は移動パラメータ算出部１９により算出された移動パラメータの逆移動パラメータと、２次透視変換座標算出部１８により算出された２次透視変換の逆変換と、平面射影変換行列算出部８により算出された平面射影変換行列の逆変換行列とを用いて、マルチビュー位置指定部２１により指定が受け付けられたマルチビュー画像ｎ（１≦ｎ≦８）上の座標位置を、オリジナル画像ｎ（１≦ｎ≦８）上の座標位置に変換する処理を実施する。

図２は８台のカメラ１−ｎ（１≦ｎ≦８）を使用して画像を撮影している様子を示す説明図であり、図３はカメラ１−１，１−３，１−５，１−７により撮影された画像を示す説明図である。

次に動作について説明する。
この実施の形態１では、図２に示すように、水平な平面で構成される床面を考え、その床面に「ぬいぐるみ」や「花瓶」を置き、「ぬいぐるみ」や「花瓶」の周囲を囲むように、ほぼ同じ大きさの三脚に固定された８台のカメラ１−ｎ（１≦ｎ≦８）を並べるものとする。
ただし、８台のカメラ１−ｎ（１≦ｎ≦８）の全てが、図２に示している「全カメラの視野に入る床面領域」を撮影できる位置に設置されているものとする。
図２では、８台のカメラ１−ｎの設置形態や「全カメラの視野に入る床面領域」を、円形又は楕円形の点線で示しているが、実際にはこの点線は存在しなくてよい。

また、図２の例では、「全カメラの視野に入る床面領域」の枠一杯に収まる四角形のマーキングが施されており、８台のカメラ１−ｎ（１≦ｎ≦８）の全てが「ぬいぐるみ」や「花瓶」に邪魔されずにマーキングの４つの角を撮影できる状態にあるものとする。
図２の例では、四角形のマーキングを利用するものについて示しているが、４点以上を撮影できるものであれば、四角形のマーキングに限るものではない。
また、８台のカメラ１−ｎが４点を同時に撮影するものとしているが、少なくとも４つ以上の同じ点が、異なる２つのカメラで同時に撮影できればよく、４角形の４角でなくてよい。

図２において、垂直基準棒は「全カメラの視野に入る床面領域」の中央付近に垂直に立てられた棒であり、全体の長さの２分の１の位置にマーキングが施されている。
この垂直基準棒の最上位の頂点と、中央のマーキングと、床面と接している接点は、８台のカメラ１−ｎ（１≦ｎ≦８）の全てが「ぬいぐるみ」や「花瓶」に邪魔されずに撮影できる状態にあるものとする。
また、この垂直基準棒は十分細く、カメラ１−ｎ（１≦ｎ≦８）により撮影された場合、直線と見なすことができるものとする。

図２の例では、垂直基準棒は、異なる方向毎に撮影された場合の大きさの読み取りと、平面に垂直な直線の無限遠点を画像に投影した消失点を算出することを目的に利用されるものである。
垂直基準棒は、精度を高めるため、上記のような形態をしているが、垂直基準棒を大きさの読み取りのみに使用し、消失点の算出には、後で述べるような別の方法で算出するようにしてもよい。この場合、垂直基準棒は、上記のような形態でなくてもよく、例えば、実際の人などで代用してもよい。

図２の垂直基準棒は、全体の長さの２分の１の位置にマーキングが施されているが、２分の１の位置でなくてもよく、その比率が分っていればよい。
また、図２の垂直基準棒は、「全カメラの視野に入る床面領域」の中央付近に立てられているが、中央付近でなくてよい。
また、図２の垂直基準棒は、最上位の頂点と、床面と接している接点と、中央のマーキングが、全てのカメラ１−ｎ（１≦ｎ≦８）から撮影可能としているが、必ずしも同じ垂直基準棒が撮影可能でなくてもよい。例えば、カメラ１−１とカメラ１−２で共通に撮影された垂直基準棒Ａと、カメラ１−１とカメラ１−３で共通に撮影された垂直基準棒Ｂとが同じでなくてもよい。この場合は、カメラ１−１において、垂直基準棒Ａの大きさと、垂直基準棒Ｂの大きさが分ればよい。なお、この実施例では、垂直方向や大きさの基準として、棒である垂直基準棒を利用した。この場合、いったん設置してしまえば形が崩れにくく、直線を測定しやすいという利点がある。一方、この用途として、棒ではなく、紐などを利用しても良い。この場合、先端に錘などをつけ、それを垂直に垂らして、先端が床に接するようにすればよい。この場合、垂直方向の制度が高く、また長さを調整しやすいという効果がある。

図２では、カメラ１−７用の水平基準棒が描かれている。
水平基準棒は、例えば、対象とするカメラ（図３の例では、カメラ１−７）の光軸が、床面に垂直な方向に沿って平面に投影した直線に平行となるように床面に設置されている。
また、水平基準棒の長さの２分の１の箇所にマーキングが施されている。この水平基準棒の両端と中央のマーキングは、カメラ１−７から「ぬいぐるみ」や「花瓶」に邪魔されず、撮影できる状態にあるものとする。
また、この水平基準棒は十分細く、カメラ１−７により撮影された場合、直線と見なすことができるものとする。
また、この水平基準棒は、全体の長さの２分の１の位置にマーキングが施されているが、２分の１の位置でなくてもよく、その比率が分っていればよい。また、水平基準棒は、例えば「カメラの光軸を床面に垂直な方向に沿って床面に投影した直線に平行になるよう、床面に設置されている」としたが、この場合、精度が向上しやすいという効果がある。このほか、水平基準棒は、どちらの方向でもよく、その水平基準棒を含む床面上の直線の無限遠点を、画像に投影した消失点を利用すればよい。この場合、カメラごとに、水平基準棒を移動させなくて良いという効果がある。さらに図２に示したように、「床面にマーキングされた四角形の辺」を利用しても良い。さらに、この四角形を正方形や長方形、平行四辺形としておき、その向かい合った２つの辺を用いて床面上の直線の無限遠点を求め、それを画像に投影した消失点を利用しても良い。
なお、この実施例では、水平基準棒という棒を水平方向の基準として利用したが、上記で記載した「垂直基準棒の替わりに紐を用いる例」のように、紐などで代替しても良い。その場合、紐が直線状になるよう張力をかけておく必要があるが、一方で垂直基準棒を紐で大体した場合と同じような利点がある。

この実施の形態１では、カメラ１−１〜１−８は、外部からの同じ同期タイミングによってシャッターを切り、また、同じ同期タイミングのフレームによって画像を撮影する。
このような同期したタイミングによる撮影は、被写体が動く場合には必須であるが、例えば、「ぬいぐるみ」や「花瓶」、水平基準棒／垂直基準棒、床面のマーキングなどが動かない場合は、同期していなくてもよい。その場合は、カメラ１−１〜１−８を８台用意しないで、１台のカメラで順次撮影してもよい。
また、この実施の形態１では、「ぬいぐるみ」や「花瓶」などのマルチビューしたい被写体と、マルチビューするために必要なパラメータを得るための水平基準棒／垂直基準棒、床面のマーキングなどを撮影した後、カメラを移動させないままそれらを撤去して「ぬいぐるみ」などのマルチビューしたい被写体を設置して撮影してもよい。この場合、カメラを動かさないよう注意する必要があるが、一方で基準棒や床面のマーキングが、マルチビューしたい被写体に遮られること無く撮影できるという利点がある。

以下、画像生成装置の処理内容を具体的に説明する。
カメラ１−ｎ（１≦ｎ≦８）が相互に異なる方向から同一の３次元領域を撮影すると、画像データ一時保存部２がカメラ１−ｎ（１≦ｎ≦８）により撮影されたオリジナル画像ｎ（１≦ｎ≦８）を一時的に保存する。

マルチビュー位置指定部３は、画像データ一時保存部２がオリジナル画像ｎ（１≦ｎ≦８）を保存すると、そのオリジナル画像ｎ（１≦ｎ≦８）の中から任意のオリジナル画像ｎ₁の選択を受け付け、そのオリジナル画像ｎ₁に存在するマルチビュー対象の物体（ユーザがマルチビューを希望する物体）の床面上の位置を示す画像座標の指定を受け付ける処理を実施する。
マルチビュー位置指定部３における画像座標の読み取りは、ユーザがオリジナル画像ｎ₁を見ながら、例えば、マウスを操作して画像内の位置を指定することにより、その位置の画像座標を読み取るようにしてもよいし、何らかの方法で自動的に指定可能としてもよい。

また、基準位置指定部４は、画像データ一時保存部２がオリジナル画像ｎ（１≦ｎ≦８）を保存すると、そのオリジナル画像ｎ（１≦ｎ≦８）の中から任意のオリジナル画像ｎ₂の選択を受け付け、そのオリジナル画像ｎ₂に存在する垂直基準棒が床面に垂直に接している床面上の位置を示す画像座標の指定を受け付ける処理を実施する。
基準位置指定部４における画像座標の読み取りは、ユーザがオリジナル画像ｎ₂を見ながら、例えば、マウスを操作して画像内の位置を指定することにより、その位置の画像座標を読み取るようにしてもよいし、何らかの方法で自動的に指定可能としてもよい。
床面座標読取部５は、画像データ一時保存部２がオリジナル画像ｎ（１≦ｎ≦８）を保存すると、そのオリジナル画像ｎ（１≦ｎ≦８）の床面上に共通に存在しているマーキングの頂点（１）、頂点（２）、頂点（３）、頂点（４）の画像座標を読み取る処理を実施する。
床面座標読取部５における画像座標の読み取りは、ユーザがオリジナル画像ｎを見ながら、例えば、マウスを操作して画像内の位置を指定することにより、その位置の画像座標を読み取るようにしてもよいし、何らかの方法で自動的に指定可能としてもよい。

また、水平消失点算出部６は、画像データ一時保存部２がオリジナル画像ｎ（１≦ｎ≦８）を保存すると、そのオリジナル画像ｎ（１≦ｎ≦８）毎に、オリジナル画像ｎの水平消失点、即ち、例えば、カメラ１−ｎの光軸を床面に垂直な方向に投影した床面上の直線の無限遠点を撮影画像に投影した消失点の画像座標を算出する。
水平消失点の算出方法としては、例えば、上記床面の上記条件を満たす直線上におかれた水平基準棒を使用して求めることができる。
即ち、水平基準棒には、マーキングが施されており、そのマーキングの実際の位置と、画像上の見かけの位置から水平消失点を求めることができる（水平消失点の詳細な求め方は、垂直消失点の求め方と同様であるため、後述する垂直消失点の求め方を参照）。
この他、上記床面上の直線に平行な直線を２つ以上設定して、それらの直線を画像に投影した場合の交点を消失点として利用することもできる。

垂直消失点算出部７は、画像データ一時保存部２がオリジナル画像ｎ（１≦ｎ≦８）を保存すると、そのオリジナル画像ｎ（１≦ｎ≦８）毎に、オリジナル画像ｎの垂直消失点、即ち、床面に垂直な直線の無限遠点を画像に投影した消失点の画像座標を算出する。
以下、垂直消失点の算出方法の一例を説明する。
この実施の形態１では、全てのオリジナル画像ｎ（１≦ｎ≦８）に垂直基準棒が存在しており、垂直基準棒は、図６に示すように、その長さ方向の中央にマーキングが施されている。
垂直基準棒が図６に示すように画像に投影されている場合において、垂直基準棒上の３点Ｘ１、Ｘ２、Ｘ３と、３点Ｘ１、Ｘ２、Ｘ３を通る直線上の無限遠点Ｘ_∞が、画像において、それぞれｘ１、ｘ２、ｘ３、ｘ_∞に投影されたものとする。

このとき、このような直線上の４点から計算される複比は、投影前後では不変であるので、以下の式（１）が成立する。

式（１）において、Ｘ_∞は無限に遠い点であるから｜Ｘ_∞−Ｘ₂｜／｜Ｘ_∞−Ｘ₃｜＝１であり、また、垂直基準棒の実距離の比は｜Ｘ₁−Ｘ₂｜／｜Ｘ₁−Ｘ₃｜＝２である。
また、｜ｘ₁−ｘ₂｜／｜ｘ₁−ｘ₃｜は、画像座標から得ることができるので、垂直消失点ｘ_∞の座標（ｘ_vin，ｙ_vin）を算出することができる。
詳細は非特許文献「小島他 “消失点を用いた多視点カメラキャリブレーション”ＦＩＴ２００４」に開示されている。
この他、上記床面に垂直な直線（棒などで代用する）を２つ以上設定して、それらの直線を画像に投影した場合の２つの直線の交点を垂直消失点として利用することもできる。

平面射影変換行列算出部８は、床面座標読取部５がオリジナル画像ｎ（１≦ｎ≦８）の床面上に共通に存在しているマーキングの頂点（１）、頂点（２）、頂点（３）、頂点（４）の画像座標を読み取ると、オリジナル画像ｎ₁と他のオリジナル画像ｎ（オリジナル画像ｎ₁を除く）におけるマーキングの頂点（１）、頂点（２）、頂点（３）、頂点（４）の画像座標を使用して、オリジナル画像ｎ₁と他のオリジナル画像ｎ（オリジナル画像ｎ₁を除く）間で、床面を構成する平面の平面射影変換行列Ｈ_n1-1〜Ｈ_n1-8（１≦ｎ₁≦８の７個）を算出する。
また、平面射影変換行列算出部８は、オリジナル画像ｎ₂と他のオリジナル画像ｎ（オリジナル画像ｎ₂を除く）におけるマーキングの頂点（１）、頂点（２）、頂点（３）、頂点（４）の画像座標を使用して、オリジナル画像ｎ₂と他のオリジナル画像ｎ（オリジナル画像ｎ₂を除く）間で、床面を構成する平面の平面射影変換行列Ｈ_n2-1〜Ｈ_n2-8（１≦ｎ₂≦８の７個）を算出する。
なお、平面射影変換行列の算出方法は、例えば、非特許文献「出口光一郎 “ロボットビジョンの基礎”ｐ４７（本文献ではホモグラフィー行列と記載されている）」に記載されている。

マルチビュー位置算出部９は、平面射影変換行列算出部８が平面射影変換行列Ｈ_n1-1〜Ｈ_n1-8を算出すると、その平面射影変換行列Ｈ_n1-1〜Ｈ_n1-8を用いて、オリジナル画像ｎ（オリジナル画像ｎ₁を除く）に存在するマルチビュー対象の物体の床面上の位置を示す画像座標を算出する。
即ち、マルチビュー位置算出部９は、平面射影変換行列Ｈ_n1-1〜Ｈ_n1-8を用いて、マルチビュー位置指定部３により指定が受け付けられたマルチビュー対象の物体の床面上の位置を示す画像座標、または、マルチビュー画像座標変換部２２により変換された画像座標を、オリジナル画像ｎ（オリジナル画像ｎ₁を除く）の画像座標に変換することにより、オリジナル画像ｎ（オリジナル画像ｎ₁を除く）に存在するマルチビュー対象の物体の床面上の位置を示す画像座標を算出する。
なお、マルチビュー位置指定部３により指定が受け付けられたマルチビュー対象の物体の床面上の位置を示す画像座標を変換するか、あるいは、マルチビュー画像座標変換部２２により変換された画像座標を変換するかは、例えば、システムの起動時のみ、前者を選択するようにしてもよいし、両者を常に監視しておいて、変化があった方を選択するようにしてもよい。

基準位置算出部１０は、平面射影変換行列算出部８が平面射影変換行列Ｈ_n2-1〜Ｈ_n2-8を算出すると、その平面射影変換行列Ｈ_n2-1〜Ｈ_n2-8を用いて、オリジナル画像ｎ（オリジナル画像ｎ₂を除く）に存在する垂直基準棒の床面上の位置を示す画像座標を算出する。
即ち、基準位置算出部１０は、平面射影変換行列Ｈ_n2-1〜Ｈ_n2-8を用いて、基準位置指定部４により指定が受け付けられたオリジナル画像ｎ₂内の垂直基準棒の床面位置を示す画像座標を、オリジナル画像ｎ（オリジナル画像ｎ₂を除く）の画像座標に変換することにより、オリジナル画像ｎ（オリジナル画像ｎ₂を除く）に存在する垂直基準棒の床面上の位置を示す画像座標を算出する。

ここまでは、マルチビュー位置指定部３により選択が受け付けられたオリジナル画像がオリジナル画像ｎ₁であり、基準位置指定部４により選択が受け付けられたオリジナル画像がオリジナル画像ｎ₂であるものについて示したが、オリジナル画像ｎ₁とオリジナル画像ｎ₂が別々の画像でも、同一の画像でもよい。
オリジナル画像ｎ₁とオリジナル画像ｎ₂が同一のオリジナル画像であれば（ｎ₁＝ｎ₂）、平面射影行列は、Ｈ_n1-1〜Ｈ_n1-8（１≦ｎ₁≦８）の７個のみでよい。
以後、ｎ₁＝ｎ₂である場合について説明する。

画像内倍率算出部１１は、マルチビュー位置算出部９がオリジナル画像ｎ（１≦ｎ≦８）に存在するマルチビュー対象の床面位置を示す画像座標を算出し、基準位置算出部１０がオリジナル画像ｎに存在する垂直基準棒の床面上の位置を示す画像座標を算出すると、それらの画像座標と、水平消失点算出部６により算出されたオリジナル画像ｎの水平消失点の画像座標とを用いて、マルチビュー対象の物体を垂直基準棒と同じ奥行きの床面位置まで移動させた場合のマルチビュー対象の物体の画像内倍率ｍ_n（マルチビュー対象の物体の大きさの見え方の変化倍率）を算出する。

以下、画像内倍率の算出方法を説明する。
図４は水平消失点が画像中心にある場合で、カメラの光軸が床面に平行になるように、かつ、カメラ画像の横軸がほぼ床面に平行になるように設置されている例を示す説明図である。
また、図５は水平消失点が画像の中心より上方にある場合で、カメラ画像の横軸がほぼ床面に平行であるが、カメラの光軸を水平な床面に対して、やや下向きにして撮影している例を示す説明図である。

図４及び図５において、水平消失点の座標を（ｘ_hin，ｙ_hin）、マルチビュー対象の物体の位置座標を（ｘ_mv，ｙ_mv）、垂直基準棒と同じ奥行きの位置座標を（ｘ_b，ｙ_b）とすると、マルチビュー対象の物体を垂直基準棒の位置に移動させた場合、マルチビュー対象の物体の大きさは以下の式（２）のように近似することができる。したがって、以下の式（２）から画像内倍率ｍ_nを算出することができる。

また、これらの垂直基準棒の位置や大きさ、および水平消失点の位置を図４や図５に示すように利用することで、被写体である物体の大きさや人物の身長などを精度よく推定することができる。またそれらの物体や人物の大きさがわかっている場合、その物体や人物が存在する床面上の位置を容易に知ることができる。

カメラ水平軸歪補正パラメータ算出部１２は、垂直消失点算出部７がオリジナル画像ｎ（１≦ｎ≦８）の垂直消失点ｘ_∞の座標（ｘ_vin，ｙ_vin）を算出すると、オリジナル画像ｎの垂直消失点ｘ_∞の座標（ｘ_vin，ｙ_vin）を用いて、オリジナル画像ｎを撮影する際のカメラ１−ｎの傾きに起因する水平軸歪の補正パラメータを算出する。
即ち、カメラ水平軸歪補正パラメータ算出部１２は、例えば、図６に示すような画像の垂直軸に対して、画像の中心点Ｂ（ｘ_size／２，ｙ_size／２）と垂直消失点ｘ_∞とを結ぶ直線の傾き（角度ｒｚ）をカメラ水平軸歪と近似できると見なして、その角度ｒｚを算出する。
例えば、オリジナル画像の横サイズがｘ_size、縦サイズがｙ_sizeであり、垂直消失点ｘ_∞の座標が（ｘ_vin，ｙ_vin）であって、ｙ_vin≫ｘ_size、ｙ_vin≫ｙ_sizeであるとすると、以下の式（３）が成立する。

ここでは、画像の垂直軸に対して、画像の中心点Ｂ（ｘ_size／２，ｙ_size／２）と垂直消失点ｘ_∞とを結ぶ直線の傾き（角度ｒｚ）をカメラ水平軸歪と近似できると見なして、その角度ｒｚを算出するものについて示したが、画像の垂直軸に対して、画像の上端の中点（ｘ_size／２，０）や、画像の下端の中点（ｘ_size／２，ｙ_size）とを結ぶ直線の傾きをカメラ水平軸歪と近似できると見なしてもよい。
さらに、近似ではなく、正確な角度を算出して利用してもよい。
また、これ以外の画像の上端の中点（ｘ_size／２，０）と、画像の下端の中点（ｘ_size／２，ｙ_size）を結ぶ直線上の点を用いてもよく、これ以外の画像内部の点を用いてもよい。さらには、画像を含む平面上の点を利用してもよい。

透視投影歪補正パラメータ算出部１３は、垂直消失点算出部７がオリジナル画像ｎ（１≦ｎ≦８）の垂直消失点ｘ_∞の座標（ｘ_vin，ｙ_vin）を算出すると、垂直消失点ｘ_∞の座標（ｘ_vin，ｙ_vin）を用いて、カメラ１−ｎの撮影時に３次元空間を２次元平面に透視投影することに起因する画像の透視投影歪の補正パラメータを算出する。
透視投影歪は、カメラで撮影することにより生じたと考えられる歪、即ち、３次元空間内の物体を平面に射影変換したことによって発生したと考えられる歪であり、例えば、３次元空間において、水平な床面に対して垂直な直線が複数ある場合、それらの直線を画像に透視投影した場合、画像上では直線が互いに平行でなくなる現象である。

透視投影歪補正パラメータ算出部１３では、図６に示すように、先にカメラ水平軸歪を補正した画像に対して、画像の中心点Ｂ（ｘ_size／２，ｙ_size／２）を含む画像の水平ラインの第１画素（０，ｙ_size／２）と垂直消失点とを結ぶ直線と、カメラ水平軸歪を補正した後の画像の垂直軸とのなす角（角度ｒｘ）で透視投影歪が近似できると見なして、その角度ｒｘを算出する。
例えば、オリジナル画像の横サイズがｘ_size、縦サイズがｙ_sizeであり、垂直消失点ｘ_∞の座標が（ｘ_vin，ｙ_vin）であって、ｙ_vin≫ｘ_size、ｙ_vin≫ｙ_sizeであるとすると、以下の式（４）が成立する。

ここでは、水平軸歪の補正角度ｒｚが十分小さいものとして、透視投影歪の補正角度ｒｘを、「画像の中心点Ｂ（ｘ_size／２，ｙ_size／２）を含む画像の水平ラインの第１画素（０，ｙ_size／２）における垂直軸の傾き（角度ｒｘ）で透視投影歪が近似できる」と見なしているが、図６に示すように、直線ＢＸ_∞に垂直な画像の中心点を通る直線上の点の座標を利用してもよい。
また、「画像の中心点Ｂ（ｘ_size／２，ｙ_size／２）を含む画像の水平ラインの第ｘ_size画素（ｘ_size，ｙ_size／２）における垂直軸の傾きで透視投影歪が近似できる」としてもよく、その他の画像の左右両端上の点を結ぶ直線を利用してもよく、これ以外の画像内の点を結ぶ直線を利用してもよい。
さらに、近似ではなく、正確な角度を算出して利用してもよい。

１次補正画像生成部１４は、カメラ水平軸歪補正パラメータ算出部１２が水平軸歪の補正パラメータを算出し、透視投影歪補正パラメータ算出部１３が透視投影歪の補正パラメータを算出すると、その水平軸歪の補正パラメータと透視投影歪の補正パラメータとを用いて、オリジナル画像ｎの水平軸歪と透視投影歪を補正し、補正後の画像を１次補正画像ｎ（１≦ｎ≦８）として出力する。
即ち、１次補正画像生成部１４は、図７に示すように、３次元座標の原点を画像中心とし、かつ、その画像がＸＹ平面に含まれるように３次元座標軸を設定し、透視投影のスクリーンをＺ軸に垂直な平面上に設定し、また、視点をＺ軸上に設定する場合を考える。
このとき、画像をＺ軸の周りにｒｚ回転し、Ｘ軸の周りにｒｘ回転した場合のスクリーンへの透視投影像を算出し、これを１次補正画像として出力する。
このとき、ｒｚはカメラ水平歪補正パラメータ算出部１２により算出された水平軸歪の補正パラメータであり、ｒｘは透視投影歪補正パラメータ算出部１３により算出された透視投影歪の補正パラメータである。

図８は図７の３次元座標をＸ軸の正方向から見た説明図である。
図８の例では、カメラ水平軸歪補正パラメータ算出部１２が画像中心における水平軸歪の補正パラメータを算出し、透視投影歪補正パラメータ算出部１３が画像中心を含む画像の水平軸上の点における透視変換歪補正パラメータを算出し、１次補正画像生成部１４が画像中心を原点とする透視投影変換を実施するが、画像中心でない点の水平軸歪の補正パラメータと透視変換歪の補正パラメータを算出しておき、その画像中心でない点を原点とする透視投影変換を実施してもよい。また、両者を一致させないで、透視変換を行ってもよい。

基準長読取部１５は、１次補正画像生成部１４が１次補正画像ｎ（１≦ｎ≦８）を出力すると、その１次補正画像ｎ内の垂直基準棒の見かけの長さＬ_nを読み取る。このとき、ユーザが１次補正画像ｎを見ながら読み取ってもよいし、何らかの方法で自動的に読み取ってもよい。
ここでは、１次補正画像ｎ内の垂直基準棒の見かけの長さＬ_nを読み取るものについて示したが、オリジナル画像ｎ内の垂直基準棒の見かけの長さＬ_nを読み取るようにしてもよい。
この場合、処理が単純になるため、処理速度の向上を図ることができる効果がある。
画像間倍率算出部１６は、基準長読取部１５が１次補正画像ｎ内の垂直基準棒の見かけの長さＬ_nを読み取ると、１次補正画像ｎ内の垂直基準棒の見かけの長さＬ_nと、画像内倍率算出部１１により算出されたマルチビュー対象の物体の画像内倍率ｍ_nとを用いて、１次補正画像ｎ（１≦ｎ≦８）におけるマルチビュー対象の物体を同じ大きさで表示する場合の画像間倍率ｍ_o1nを１次補正画像ｎ毎に算出する。

ただし、Ｌ₁はオリジナル画像ｎ₁の１次補正画像ｎ₁から基準長読取部１５により読み取られ垂直基準棒の長さである。
式（５）のＬ₁は、倍率ｍ_olnを適当な範囲に収めるために使用される定数であるため、実際の基準棒の見かけの長さそのものでなくてもよく、全てのオリジナル画像ｎで同じであればよい。

２次補正画像生成部１７は、画像間倍率算出部１６が画像間倍率ｍ_o1nを１次補正画像ｎ毎に算出すると、その画像間倍率ｍ_o1nと、カメラ水平軸歪補正パラメータ算出部１２により算出された水平軸歪の補正パラメータと、透視投影歪補正パラメータ算出部１３により算出された透視投影歪の補正パラメータとを用いて、２次透視変換を実施することにより、オリジナル画像ｎ（１≦ｎ≦８）の歪や大きさを補正し、補正後の画像を２次補正画像ｎ（１≦ｎ≦８）として出力する。
即ち、２次補正画像生成部１７は、１次補正画像生成部１４と同様に、３次元座標軸を設定して、スクリーン上に透視変換画像を生成し、２次補正画像として出力する。
このとき、１次補正画像生成部１４では、Ｚ軸の回転ｒｚとＸ軸の回転ｒｘ以外のパラメータである画像の倍率（スクリーン上に透視変換された画像の倍率）が１倍であるものを示したが、この２次補正画像生成部１７では、上記スクリーン上の倍率をｍ_o1nとしている。

２次透視変換座標算出部１８は、２次補正画像生成部１７がカメラ水平軸歪補正パラメータ算出部１２により算出された水平軸歪の補正パラメータと、透視投影歪補正パラメータ算出部１３により算出された透視投影歪の補正パラメータと、画像間倍率算出部１６により算出された画像間倍率とを用いて、２次透視変換を実施した場合のマルチビュー対象の物体の画像座標（マルチビュー対象の物体の移動先の画像座標）を算出する。
移動パラメータ算出部１９は、２次透視変換座標算出部１８がマルチビュー対象の物体の移動先の画像座標を算出すると、その移動先の画像座標と、画像中心（例えば、６４０×４８０の画像の場合、画像中心は（３２０，２４０））とのずれを移動パラメータとして算出する。
ここでは、画像中心にマルチビュー対象の物体が移動するように、画像中心とのずれを算出するものについて示したが、画像内の他の位置にマルチビュー対象の物体が移動するように、他の位置とのずれを算出するようにしてもよい。

マルチビュー画像生成部２０は、移動パラメータ算出部１９が移動パラメータを算出すると、その移動パラメータにしたがって、２次補正画像生成部１７から出力された２次補正画像ｎ（１≦ｎ≦８）を移動させることにより、マルチビュー対象の物体が画像の中心に存在するマルチビュー画像ｎ（１≦ｎ≦８）を生成する。
即ち、マルチビュー画像生成部２０は、２次補正画像生成部１７から出力された２次補正画像ｎ（１≦ｎ≦８）を移動パラメータが示す移動量だけ移動することにより、２次補正画像ｎ（１≦ｎ≦８）からマルチビュー画像ｎ（１≦ｎ≦８）を生成する。

図９は「ぬいぐるみ」の大きさが各画像で同じであり、かつ、「ぬいぐるみ」が各画像の中心に位置するように、図３の画像を変換している例を示す説明図である。
ただし、見易くするため、各画像に写っていた水平基準棒と垂直基準棒を省いている。
また、「花瓶に」ついては、図９のカメラ１−１の画像では、変形後でも画像の範囲に残っているが、カメラ１−３の画像、カメラ１−５の画像、カメラ１−７の画像では、画像の範囲外に移動しているため見えていない。「床面にマーキングされた四角形」については、画像の範囲外の部分は点線で示されている。

マルチビュー位置指定部２１は、マルチビュー画像生成部２０により生成されたマルチビュー画像ｎ（１≦ｎ≦８）に対して、新たなマルチビューの位置の指定を受け付ける処理を実施する。
新たなマルチビューの位置の指定は、ユーザがマルチビュー画像を見ながら指定してもよいし、何らかの方法で自動的に指定してもよい。

マルチビュー画像座標変換部２２は、マルチビュー位置指定部２１が新たなマルチビューの位置の指定を受け付けると、移動パラメータ算出部１９により算出された移動パラメータの逆移動パラメータと、２次透視変換座標算出部１８により算出された２次透視変換の逆変換と、平面射影変換行列算出部８により算出された平面射影変換行列の逆変換行列とを用いて、マルチビュー位置指定部２１により指定が受け付けられたマルチビュー画像ｎ（１≦ｎ≦８）上の座標位置（新たなマルチビューの位置）を、オリジナル画像ｎ（１≦ｎ≦８）上の座標位置に変換する。
ここでは、平面射影変換行列算出部８により算出された平面射影変換行列の逆変換行列を用いて、マルチビュー画像ｎ（１≦ｎ≦８）上の座標位置をオリジナル画像ｎ（１≦ｎ≦８）上の座標位置に変換するものについて示したが、平面射影変換行列の逆変換行列を用いないことでオリジナル画像ｎ（１≦ｎ≦８）上の座標位置に変換された段階の座標位置を、マルチビュー位置算出部９により算出されるオリジナル画像ｎ毎のマルチビュー位置に相当する座標位置の代用としてもよい。

以上で明らかなように、この実施の形態１によれば、マルチビュー位置算出部９により算出されたマルチビュー対象の物体の位置と基準位置算出部１０により算出された垂直基準棒の床面位置と、基準長読取部１５で算出された垂直基準棒の大きさを用いて、オリジナル画像ｎ（１≦ｎ≦８）におけるマルチビュー対象の物体の位置を揃え、かつ、マルチビュー対象の物体の大きさを同じにする画像倍率をオリジナル画像ｎ毎に算出し、その画像倍率にしたがってオリジナル画像ｎを変換するように構成したので、高精度のカメラキャリブレーションを実施することなく、被写体の大きさや位置などが一致している見易い臨場感のある画像を生成することができる効果を奏する。

即ち、この実施の形態１によれば、ある平面に接して置かれている物体がある方向から撮影された画像Ａの変換後のマルチビュー画像と、その物体が別の方向から撮影された画像Ｂの変換後のマルチビュー画像とにおいては、上記物体の位置が同じで、かつ、大きさが等しいものになる。
また、マルチビュー画像を見ながら、平面上の異なる位置に置かれている別の物体の位置を指定することにより、その別の物体の位置が同じで、かつ、大きささが等しい新たなマルチビュー画像を、画像Ａと画像Ｂから容易に生成することができる。

例えば、上記カメラの光軸を床面に対して垂直に投影した直線である平面上の直線の無限遠点を撮影画像に投影した点である消失点（水平消失点）の位置と、画像Ａと画像Ｂに写っている同じ物体Ｓの位置及び大きさと、物体Ｔの位置とから、物体Ｔの大きさが変換後の画像で同じになるような倍率を求めるので、物体Ｓと物体Ｔが上記平面内のどこにあっても、大きさを同じにするための倍率を精度良く求めることができる。
画像Ａと画像Ｂのカメラの横方向の傾きに起因する歪と、撮影時の透視投影の原理に起因する歪とを、上記平面に対して垂直な直線の無限遠点を画像に投影した点である消失点（垂直消失点）と画像内部の点を結ぶ直線が画像の垂直軸となす角を、３次元空間に置いた画像の回転角として回転した後の透視投影変換を利用して、画像補正を行っているので、画像補正に伴って生じる物体の歪が少ない画像補正を行うことができる。また、補正に必要なパラメータを容易に決定することができる。

画像Ａ内の物体が置かれている位置ａの座標が分った場合に、画像Ｂ内の物体が置かれている位置ｂの座標を、上記平面に関する平面射影変換行列を用いて算出することで、位置ａと位置ｂが画像内で同じ位置にくるような画像の移動を、平面上のすべての点に対し、精度よく、また効率よく行うことができる。

なお、この実施の形態１では、カメラを“理想的なピンホールカメラモデル”と仮定している。この“理想的なピンホールカメラモデル”では、カメラの内部パラメータであるカメラの光学中心が撮影画像の画像中心と一致し、また、その他のカメラの内部パラメータも、カメラ座標のＸＹＺ軸が互いに直交し、かつ、そのカメラ座標とそのカメラによって撮影された画像座標とが一致するような値であると仮定される。
これらの仮定が成立しないときは、上記仮定の誤差を考慮して、上記アルゴリズムを改良する必要がある。ただし、多くの場合、通常のカメラで撮影した画像を用いて、上記実施の形態１の処理内容を実施しても問題が生じることは少ない。
“理想的なピンホールカメラモデル”、“カメラの内部パラメータ”については、非特許文献「出口光一郎 ロボットビジョンの基礎 コロナ社」などに開示されている。

また、この実施の形態１では、カメラの撮影画像に対して、レンズ歪（歪曲収差）を無視している。
この“レンズ歪”には、たる型歪や糸巻き型歪と呼ばれる歪が含まれるが、この“レンズ歪”は良いレンズを良い条件で使用する限り、無視できるものである。ただし、使用レンズの性能やカメラと被写体の距離、撮影後にカメラで行われる画像処理などによっては、必ずしも無視できない場合がある。
この“レンズ歪”が無視できない場合は、撮影画像に対してレンズ歪を補正してから、上記実施の形態１のオリジナル画像として使用すればよく、それ以降のアルゴリズムを改良する必要はない（画像データ一時保存部２以降は変わらない）。
レンズ収差歪の補正に関しては、非特許文献「出口光一郎 ロボットビジョンの基礎 コロナ社」などに開示されている。

この発明の実施の形態１による画像生成装置を示す構成図である。 ８台のカメラ１−ｎ（１≦ｎ≦８）を使用して画像を撮影している様子を示す説明図である。 カメラ１−１，１−３，１−５，１−７により撮影された画像を示す説明図である。 水平消失点が画像中心にあり、カメラの光軸が床面に平行になるように、かつ、カメラ画像の横軸がほぼ床面に並行になるように設置されている例を示す説明図である。 カメラ画像の横軸がほぼ床面に並行であるが、カメラの光軸を水平な床面に対して、やや下向きにして撮影している例を示す説明図である。 カメラの水平軸歪と透視投影歪の補正パラメータの算出を説明する説明図である。 オリジナル画像ｎの水平軸歪と透視投影歪の補正を説明する説明図である。 図７の３次元座標をＸ軸の正方向から見た説明図である。 図３の画像の変換例を示す説明図である。

符号の説明

１−１〜１−Ｎ カメラ、２ 画像データ一時保存部（画像格納手段）、３ マルチビュー位置指定部（位置指定手段）、４ 基準位置指定部（位置指定手段）、５ 床面座標読取部（マーキング位置取得手段）、６ 水平消失点算出部（消失点算出手段）、７ 垂直消失点算出部（消失点算出手段）、８ 平面射影変換行列算出部（平面射影変換行列算出手段）、９ マルチビュー位置算出部（位置算出手段）、１０ 基準位置算出部（位置算出手段）、１１ 画像内倍率算出部（画像倍率算出手段）、１２ カメラ水平軸歪補正パラメータ算出部（歪み補正手段）、１３ 透視投影歪補正パラメータ算出部（歪み補正手段）、１４ １次補正画像生成部、１５ 基準長読取部、１６ 画像間倍率算出部（画像倍率算出手段）、１７ ２次補正画像生成部（歪み補正手段）、１８ ２次透視変換座標算出部（画像変換手段）、１９ 移動パラメータ算出部（画像変換手段）、２０ マルチビュー画像生成部（画像変換手段）、２１ マルチビュー位置指定部、２２ マルチビュー画像座標変換部。

Claims (5)

1. 相互に異なる方向から同一の３次元領域が撮影された複数の画像を格納する画像格納手段と、上記複数の画像の中の任意の画像に存在するマルチビュー対象の物体の位置を指定するとともに、任意の画像に存在する垂直基準棒が床面に接している床面位置を指定する位置指定手段と、上記複数の画像における床面上のマーキングの位置を取得するマーキング位置取得手段と、上記マーキング位置取得手段により取得されたマーキングの位置から上記複数の画像間の平面射影変換行列を算出する平面射影変換行列算出手段と、上記位置指定手段により指定されたマルチビュー対象の物体の位置と上記平面射影変換行列算出手段により算出された平面射影変換行列から上記複数の画像に存在するマルチビュー対象の物体の位置を算出するとともに、上記位置指定手段により指定された垂直基準棒の床面位置と上記平面射影変換行列から上記複数の画像に存在する垂直基準棒の床面位置を算出する位置算出手段と、上記位置算出手段により算出されたマルチビュー対象の物体の位置及び垂直基準棒の床面位置を用いて、上記複数の画像におけるマルチビュー対象の物体の位置を揃え、かつ、マルチビュー対象の物体の大きさを同じにする画像倍率を上記複数の画像毎に算出する画像倍率算出手段と、上記画像倍率算出手段により算出された画像倍率にしたがって上記複数の画像を変換する画像変換手段とを備えた画像生成装置。
2. 画像倍率算出手段は、位置算出手段により算出されたマルチビュー対象の物体の位置と垂直基準棒の床面位置を用いて、マルチビュー対象の物体を上記垂直基準棒の床面位置まで移動させた場合のマルチビュー対象の物体の画像内倍率を複数の画像毎に算出する画像内倍率算出部と、上記画像内倍率算出部により算出された画像内倍率と垂直基準棒の長さを用いて、上記複数の画像におけるマルチビュー対象の物体を同じ大きさで表示する場合の画像間倍率を上記複数の画像毎に算出する画像間倍率算出部とから構成されていることを特徴とする請求項１記載の画像生成装置。
3. 複数の画像における消失点を算出する消失点算出手段と、上記消失点算出手段により算出された消失点と上記画像倍率算出手段により算出された画像間倍率にしたがって上記複数の画像の歪みを補正する歪み補正手段とを設けたことを特徴とする請求項２記載の画像生成装置。
4. 歪み補正手段は、消失点算出手段により算出された消失点からカメラの傾きに起因する水平軸歪の補正パラメータを算出するカメラ水平軸歪補正パラメータ算出部と、上記消失点算出手段により算出された消失点から透視投影に起因する画像の透視投影歪の補正パラメータを算出する透視投影歪補正パラメータ算出部と、上記カメラ水平軸歪補正パラメータ算出部及び上記透視投影歪補正パラメータ算出部により算出された補正パラメータと画像倍率算出手段により算出された画像間倍率にしたがって複数の画像の歪みを補正する補正画像生成部とから構成されていることを特徴とする請求項３記載の画像生成装置。
5. 補正画像生成部は、複数の画像の垂直方向又は水平方向のずれを透視変換を使用して補正することを特徴とする請求項４記載の画像生成装置。

Images