JP2004152133A

JP2004152133A - Virtual view image generation method, virtual view image generation apparatus, virtual view image generation program and recording medium

Info

Publication number: JP2004152133A
Application number: JP2002318343A
Authority: JP
Inventors: Yutaka Kunida; 豊國田; Akihiko Hashimoto; 秋彦橋本
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2002-10-31
Filing date: 2002-10-31
Publication date: 2004-05-27
Anticipated expiration: 2022-10-31
Also published as: JP3971691B2

Abstract

<P>PROBLEM TO BE SOLVED: To maintain the accuracy of a virtual view image to be generated and shorten (increase speed) a processing time for generating the virtual view image in a virtual view image generation method and apparatus for generating the virtual view image, when viewing an object from a virtual view position by using images of an object shot by a plurality of cameras. <P>SOLUTION: By using a plurality of images of the object shot by a plurality of cameras, the depth information of the object is obtained. The images are adhered to a plurality of transparent image projection surfaces and transformed into coordinates on the image projection surface specified, based on virtual view positions. Portions, overlapping with a projection surface region in the images subjected to the coordinate conversion, are made to adhere on the image projection surfaces so as to be two-dimensional (subjected to rendering) from the virtual view position, and a virtual view image is generated. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、仮想画像生成方法及び仮想画像生成装置、ならびに記録媒体に関し、特に、複数のカメラで撮影した被写体の画像を用いて、実際にはカメラがない視点位置（仮想視点位置）から前記被写体を見たときの画像（仮想視点画像）を生成する方法に適用して有効な技術に関するものである。
【０００２】
【従来の技術】
従来、コンピュータグラフィックス（ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ）やバーチャルリアリティ（ＶｉｒｔｕａｌＲｅａｌｉｔｙ）技術により、被写体の周辺に設置したカメラで撮影した画像を用いて、実際にはカメラのない視点位置（以下、仮想視点位置と称する）から前記被写体を見たときの画像（以下、仮想視点画像と称する）を生成し、観察することができる。
また、近年は、前記ＣＧや前記ＶＲ技術が発達しており、より写実的な前記仮想視点画像を生成できるようになってきている。
【０００３】
前記仮想視点画像を生成する方法としては、大きく分けて幾何ベースと画像ベースの２種類がある。
前記幾何ベースの仮想視点画像生成方法は、前記被写体の幾何学的なモデルを取得した後に、前記モデルをポリゴンやボクセルと呼ばれる基本図形の集まりとして表現し、透視投影や正射影などの２次元変換を行い、仮想視点画像を生成する。
【０００４】
また、前記幾何学的なモデルを取得する方法としては、例えば、多視点画像間の対応する領域をマッチングして、三角測量の原理でその距離を求める方法（ステレオ法）がある（例えば、非特許文献１参照。）。
また、前記幾何学的なモデルを取得する方法には、前記ステレオ法の他にも、例えば、被写体の輪郭をもとに、空間中で前記被写体が占める領域を求める方法（ＳｈａｐｅｆｒｏｍＳｉｌｈｏｕｅｔｔｅ法）と呼ばれる方法もある（例えば、非特許文献２参照。）。
また、その他にも、例えば、前記ステレオ法と前記ＳｈａｐｅｆｒｏｍＳｉｌｈｏｕｅｔｔｅ法を組み合わせた方法などがある（例えば、非特許文献３参照。）。
【０００５】
前記幾何学的なモデルを取得する方法は、コンピュータビジョン（ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ）の分野では、ＳｈａｐｅｆｒｏｍＸとして数多くの研究がされている。
しかしながら、前記幾何ベースによる仮想視点画像生成方法は、画像処理自体が難しい、あるいはノイズに対して脆弱であるといった、コンピュータビジョンによるアプローチでは避けられない本質的な問題を持つ。そのため、画像生成処理に時間がかかるとともに、生成される仮想視点画像の品質（精度）が悪いという問題がある。
【０００６】
前記幾何ベースによる方法のうち、特に、前記ステレオ法では、画像間の対応関係を、画素ごとに検出するのは、本質的に困難な課題である（例えば、非特許文献４参照）。そのため、前記ステレオ法では、通常、いくつかの画素を集めたものに対してパターンマッチングを行うので、水平方向及び垂直方向の分解能が低く、不十分になる。
【０００７】
一方、前記画像ベースの仮想視点画像生成方法は、コンピュータグラフィックスの分野から生まれた方法であり、カメラにより多数の視点位置から撮影した画像をもとにして仮想生成画像を生成するが、明示的には被写体のモデルを求めず、２次元画像処理により生成する（例えば、非特許文献５、非特許文献６、非特許文献７参照。）。
【０００８】
前記画像ベースによる方法は、イメージベースドレンダリング（Ｉｍａｇｅ−ＢａｓｅｄＲｅｎｄｅｒｉｎｇ）と呼ばれ、極めて単純な処理であるにもかかわらず、生成される画像は、写真のような写実性を持つ。
【０００９】
しかしながら、前記画像ベースによる方法は、前記幾何ベースによる方法と比べて、要求される多視点画像の視点位置の密度が高いので、結果としてデータ量が多くなる。そのため、静止している被写体に対して少しずつカメラを動かし、いったん多視点画像データをメモリや外部記憶装置上に記憶した後、前記多視点画像データを参照して、仮想視点画像を生成するという処理手順になる。
【００１０】
前記処理手順に沿った方法の場合、いったん前記多視点画像データを記憶した状態であれば、前記仮想視点画像を生成するのに要する時間は短くなるが、前記多視点画像データを記憶するまでの処理（オフライン処理）に時間がかかる。
【００１１】
以上のようなことから、前記画像ベースによる方法は、コミュニケーションなどの実時間性が要求される用途には不向きであり、主に、静止物体の鑑賞などに用いられている。
【００１２】
そこで、近年、前記被写体のモデルを取得する処理はしないものの、およそ被写体のある位置に平面という幾何構造を想定し、そこに多数のカメラからの画像のうち仮想視点位置に応じて部分画像を適切に投影して必要となるカメラの密度を小さくする方法が提案されている（例えば、非特許文献８参照。）。
【００１３】
前記カメラの密度を小さくする方法では、前記多視点画像データに要求される視点の密度は、実際にカメラを並べることができるほど現実的となり、多視点画像データを記憶するまでの時間を短縮することができる。そのため、前記被写体の画像の撮影から仮想視点画像の生成までの処理時間が短縮し、実時間での処理が可能となる。
【００１４】
なお、前記カメラの密度を小さくする方法では、多くの場合、被写体の実際の形状と、仮定した平面の形状が異なる。そのため、被写体上のある点が仮定した平面の位置から外れている場合、仮想視点画像上に写像された被写体の点は誤差を含む。
【００１５】
しかしながら、前記被写体の各点の誤差が、仮想視点画像に要求される精度よりも小さい場合は、実質的には問題にならない。このとき、前記仮想視点画像に要求される精度は、一般的に、前記仮想視点画像における１画素程度であり、１画素以内の誤差であれば問題にならない。
【００１６】
またこのとき、前記被写体の各点の誤差の最大値が、許容される範囲内に収まることが保証されるためには、前記被写体の各点が存在できる位置は、仮定した平面の前後の限られた領域となる。前記仮定した平面の前後は、被写体（画像）の奥行きに相当する。
【００１７】
前記奥行きの範囲の長さ（距離）は、等価被写界深度と呼ばれ、カメラの間隔との間にはトレードオフの関係がある。しかしながら、現実的にカメラを並べることができる間隔においては、前記等価被写界深度が不足しがちであり、被写体が人物の場合などは動作範囲が限定されるという欠点があった。そのため、前記カメラの密度を小さくする方法も、十分に実用的な方法であるとは言い難かった。
【００１８】
また、前記幾何ベースや前記画像ベースなどの仮想視点画像生成方法の進展が進む一方で、距離計測技術も進展が進んでいる。前記距離計測技術の分野では、対象物の情報を受動的にセンシングするだけでなく、対象物に参照光を照射してその結果を計測といった能動的なセンシングを行うアクティブ法と呼ばれる距離計測方法が提案されている。前記アクティブ法を用いた距離計測方法の代表例には、飛行時間法（ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔｍｅｔｈｏｄ）に基づいた計測方法がある。
【００１９】
前記飛行時間法に基づいた距離計測方法は、参照光を計測対象に照射したときに、前記参照光が前記計測対象で反射して戻ってくるまでに要する時間から、前記計測対象までの距離を算出する方法である。
【００２０】
前記飛行時間法に基づいた距離計測を行う場合、以前は、計測対象の各点に対して参照光の照射と反射光の検出を行っていたので、計測対象全体の距離計測を行うには、前記計測対象全体で走査をしなければならなかった。そのため、計測対象が大きくなると、計測時間が長くなり、実時間での計測が困難であった。
【００２１】
しかしながら、近年の電子素子の発達により、前記計測対象上の複数の点を一度に計測することが可能になり、指定した計測地点からの対象物の奥行き情報を実時間のレベルで得ることが可能になった（例えば、特許文献１、非特許文献９、非特許文献１０参照。）。
【００２２】
また、前記距離計測方法には、前記飛行時間法に基づいた方法のほかに、光切断法と呼ばれる方法に基づいた計測方法がある。前記光切断法に基づいた計測方法も、近年、実時間での処理が可能になっている（例えば、非特許文献１１参照。）。
【００２３】
前記飛行時間法や前記光切断法に基づいた距離計測を行う距離計測装置は、水平方向及び垂直方向の分解能が高く、画素単位で計測対象の奥行き情報を求めることができる。
【００２４】
しかしながら、前記距離計測装置を用いた場合でも、奥行き方向の分解能はまだ十分とはいえず、被写体（計測対象）のモデルを生成できるほどの精度（性能）はないので、そのまま幾何ベースの仮想視点画像生成方法に適用することが難しい。
【００２５】
【非特許文献１】
ＴａｋｅｏＫａｎａｄｅｅｔａｌ．：”ＶｉｒｔｕａｌｉｚｅｄＲｅａｌｉｔｙ：ＣｏｎｓｔｒｕｃｔｉｎｇＶｉｒｔｕａｌＷｏｒｌｄｓｆｒｏｍＲｅａｌＳｃｅｎｅｓ，” ＩＥＥＥＭｕｌｔｉＭｅｄｉａ，Ｖｏｌ．４，Ｎｏ．１，ｐｐ．３４−４７，１９９７
【非特許文献２】
ＷｏｊｃｉｅｃｈＭａｔｕｓｉｋｅｔａｌ．：”Ｉｍａｇｅ−ＢａｓｅｄＶｉｓｕａｌＨｕｌｌｓ，” ＳＩＧＧＲＡＰＨ２０００ＣｏｎｆｅｒｅｎｃｅＰｒｏｃｅｅｄｉｎｇｓ，ｐｐ．３６９−３７４，２０００
【非特許文献３】
片山美和ほか：多視点ハイビジョンカメラによる任意視点映像生成システムの試作，２００２年電子情報通信学会総合大会予稿集，ｐ．１６０，２００２
【非特許文献４】
奥富正敏：「ステレオがなぜ難しいか」，日本ロボット学会誌，Ｖｏｌ．１６，Ｎｏ．６，ｐｐ．３９−４３，１９９８
【非特許文献５】
ＭａｒｃＬｅｖｏｙａｎｄＰａｔＨａｎｒａｈａｎ：”ＬｉｇｈｔＦｉｅｌｄＲｅｎｄｅｒｉｎｇ，” ＳＩＧＧＲＡＰＨ’９６ＣｏｎｆｅｒｅｎｃｅＰｒｏｃｅｅｄｉｎｇｓ，ｐｐ．３４−４１，１９９６
【非特許文献６】
ＳｔｅｖｅｎＪ．Ｇｏｒｔｌｅｒｅｔａｌ．：”ＴｈｅＬｕｍｉｇｒａｐｈ，” ＳＩＧＧＲＡＰＨ’９６ＣｏｎｆｅｒｅｎｃｅＰｒｏｃｅｅｄｉｎｇｓ，ｐｐ．４３−５４，１９９６
【非特許文献７】
片山昭宏ほか：「多視点画像の補間・再構成による視点追従型立体画像表示法」，電子情報通信学会誌，Ｖｏｌ．Ｊ７９−ＤＩＩ，Ｎｏ．５，ｐｐ．８０３−８１１，１９９６
【非特許文献８】
國田豊ほか：「多眼カメラを用いた任意視点人物像の実時間生成システム」，電子情報通信学会誌，Ｖｏｌ．Ｊ８４−ＤＩＩ，Ｎｏ．１，ｐｐ．１２９−１３８，２００１
【非特許文献９】
Ｇ．Ｊ．ＩｄｄａｎａｎｄＧ．Ｙａｈａｖ；”３ＤＩｍａｇｉｎｇｉｎｔｈｅＳｔｕｄｉｏ（ａｎｄＥｌｅｓｅｗｈｅｒｅ．．．），” ＰｒｏｃｅｅｄｉｎｇｓｏｆＳＰＩＥ，Ｖｏｌ．４２９８，ｐｐ．４８−５５，２００１
【非特許文献１０】
河北真宏ほか：「三次元撮像装置Ａｘｉ−ＶｉｓｉｏｎＣａｍｅｒａの開発」，３次元画像コンファレンス’９９，ｐｐ．１５１−１５６，１９９９
【非特許文献１１】
Ｓ．Ｙｏｓｈｉｋａｗａｅｔａｌ．：”Ａ４８ｋｆｒａｍｅｓ／ｓＣＭＯＳＩｍａｇｅＳｅｎｓｏｒｆｏｒＲｅａｌ−ｔｉｍｅ３−ＤＳｅｎｓｉｎｇａｎｄＭｏｔｉｏｎＤｅｔｅｃｔｉｏｎ，” ＩＳＳＣＣＤｉｇｅｓｔｏｆＴｅｃｈｎｉｃａｌＰａｐｅｒｓ，ｐｐ．９４−９５，２００１
【特許文献１】
米国特許第６３２３９４２号明細書
【００２６】
【発明が解決しようとする課題】
前記従来の技術で説明したように、前記仮想視点画像を生成するときに、例えば、生成する仮想視点画像の精度を高くしようとすると、画像を生成するために必要な処理時間が長くなるので、実時間レベルで仮想視点画像を生成することが難しいという問題があった。
また、逆に、実時間レベルで仮想視点画像を生成させようとすると、前記仮想視点画像を生成するために必要な処理時間は短くなるが、生成した仮想視点画像の精度が低くなるという問題があった。
【００２７】
本発明の目的は、複数のカメラで撮影した被写体の画像を用いて、仮想視点位置から前記被写体を見たときの仮想視点画像を生成する仮想視点画像生成方法及び装置において、生成する仮想視点画像の精度を保ち、かつ、仮想視点画像の生成にかかる処理時間を短くする（高速にする）ことが可能な技術を提供することにある。
【００２８】
本発明の他の目的は、前記仮想視点画像生成方法をコンピュータに実行させる仮想視点画像生成プログラム、及び前記仮想視点画像生成プログラムが記録された記録媒体を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかになるであろう。
【００２９】
【課題を解決するための手段】
本願において開示される発明のうち、代表的なものの概要を説明すれば、以下のとおりである。
【００３０】
第１の発明は、複数のカメラのそれぞれで撮影した複数枚の被写体の画像（以下、被写体画像と称する）を用いて、あらかじめ指定した視点位置（以下、仮想視点位置と称する）から見た前記被写体の画像（以下、仮想視点画像と称する）を生成する仮想視点画像生成方法であって、前記被写体の奥行き情報を取得する第１ステップと、複数の透明な画像投影面の配置、数、形状を設定する第２ステップと、前記各被写体画像の座標と前記画像投影面の座標との対応関係を決定する第３ステップと、前記被写体の奥行き情報に基づいて、前記複数の画像投影面のそれぞれに対して、画像を貼り付け可能な領域（以下、投影面部分領域と称する）を決定する第４ステップと、前記仮想視点位置に基づいて、前記被写体画像から、前記被写体画像のうち指定した画像投影面上の画像生成に用いる領域（以下、カメラ部分領域と称する）を決定し、前記カメラ部分領域の画像を抽出する第５ステップと、前記第５ステップで抽出した画像の座標を、前記第３ステップで決定した前記対応関係に基づいて、前記指定した画像投影面上の座標に変換する第６ステップと、前記第６ステップで座標変換をした画像のうち、前記投影面部分領域と重なる部分を、前記画像投影面に貼り付ける第７ステップと、すべての被写体画像について、前記第５ステップ、前記第６ステップ、前記第７ステップを繰り返し行う第８ステップと、前記第２ステップで設定したすべての画像投影面に対して、前記第５ステップ、前記第６ステップ、前記第７ステップ、前記第８ステップを繰り返し行う第９ステップと、前記画像が貼り付けられた前記画像投影面からなる３次元的な画像を、前記仮想視点位置から２次元化（レンダリング）して、前記仮想視点画像を生成する第１０ステップとを備え、前記第２ステップは、前記仮想視点画像の精度、及び前記仮想視点位置または前記仮想視点の移動範囲に応じて、前記画像投影面の配置、数、形状を設定する仮想視点画像生成方法である。
【００３１】
前記第１の発明によれば、従来の画像ベースの仮想視点画像生成方法と同様に、シンプルな画像貼り付け（テクスチャマッピング）処理により、短時間（高速）で仮想視点画像を生成することができる。
【００３２】
また、前記投影画像を貼り付ける画像投影面を複数枚設定し、実際に被写体が存在する位置に近い画像投影面に前記投影画像を貼り付けることができるので、前記被写体上の各点の実際の位置と、前記画像投影面に貼り付けられる前記投影画像上の位置のずれを小さくし、生成した仮想視点画像上の誤差を小さく抑えることができる。またこのとき、前記仮想視点画像における誤差が許容範囲内に収まるための前記被写体の奥行き範囲は、従来の画像投影面が１面の場合よりも広くすることができるので、前記被写体が複数の投影面にわたる広い奥行き範囲にあっても、前記仮想視点画像の誤差を許容範囲内に収めることができる。
【００３３】
また、前記仮想視点画像における誤差の大きさは、前記画像投影面の構成、すなわち前記画像投影面の配置、数、形状と前記仮想視点位置に依存し、前記画像投影面の構成を精緻にするほど、生成される仮想視点画像の誤差が小さくなる。しかしながら、前記画像投影面の構成は、前記仮想視点画像に要求されている精度以上に、前記仮想視点画像の誤差を小さくなるようにする必要はない。
【００３４】
そこで、前記第１の発明のように、前記画像投影面の構成を、前記仮想視点画像で要求される精度を満たすように、前記仮想視点位置または移動範囲に応じて自動的に設定する。このとき、前記画像投影面の構成の精緻さは、前記仮想視点画像で要求される精度を満たす程度に制限されるので、画像生成にかかる処理時間も制限される。そのため、余計な計算による負荷を軽減させることができ、高速（短時間）で仮想視点画像を生成することができる。
【００３５】
第２の発明は、前記第１の発明において、前記第１ステップは、前記仮想視点位置または移動範囲、及び前記仮想視点画像で許容される誤差に応じて、前記被写体の奥行き情報の分解能及び計測範囲を決定する仮想視点画像生成方法である。
【００３６】
前記第２の発明によれば、前記奥行き情報の計測は、画像投影面を構成するために必要な分解能と計測範囲に制限することができ、計測時間を短縮できるとともに、前記奥行き情報の信頼性を向上させることができる。
【００３７】
前記奥行き情報を計測する方法として、例えば、能動型の距離計測方法を用いる場合、前記奥行き情報の分解能と計測範囲の決定要因は、主に、参照光の符号化方式による。そのため、被写体や前記被写体の周囲の状態の影響を受けにくく、計測時間の短縮、及び前記奥行き情報の信頼性の向上を実現することができる。
【００３８】
第３の発明は、前記第１の発明または前記第２の発明において、前記第４ステップは、前記仮想視点位置に応じて、前記投影面部分領域を決定する仮想視点画像生成方法である。
【００３９】
前記第３の発明によれば、前記仮想視点位置に応じて、前記投影面部分領域を随時変化させることで、前記仮想視点位置が移動したときに、隣り合う画像投影面の投影面部分領域の隙間から、前記投影画像のない領域が露見することを防げ、生成した仮想視点画像の劣化を抑制することができる。
【００４０】
第４の発明は、前記第１の発明及び前記第２の発明、ならびに前記第３の発明において、前記第１ステップは、複数の地点から前記被写体の奥行き情報を取得し、前記第４ステップは、前記複数の地点から取得した複数の奥行き情報のうち、前記仮想視点位置に応じた奥行き情報を選択して用いる仮想視点画像生成方法である。
【００４１】
前記第４の発明によれば、複数の地点から取得した複数の奥行き情報から１つの奥行き情報を選択することで、前記被写体の形状に起因する奥行き情報の欠損を生じにくくすることができる。そのため、生成する仮想視点画像の劣化を防ぐことができ、画像の品質を高くすることができる。
【００４２】
第５の発明は、前記第１の発明及び前記第２の発明、ならびに前記第３の発明において、前記第１ステップは、複数の地点から前記被写体の奥行き情報を取得し、前記第４ステップは、前記複数の地点から取得した複数の奥行き情報を統合して用いる仮想視点画像生成方法である。
【００４３】
前記第５の発明によれば、特定の計測地点からは奥行き情報が取得できない領域の奥行き情報を、他の計測地点から取得した奥行き情報で補うことができる。そのため、前記第４の発明と同様に、奥行き情報の欠損を防ぐことができ、生成する仮想視点画像の劣化を防ぐことができる。
【００４４】
第６の発明は、複数のカメラのそれぞれで撮影した複数枚の被写体の画像（以下、被写体画像と称する）を用いて、あらかじめ指定した視点位置（以下、仮想視点位置と称する）から見た前記被写体の画像（以下、仮想視点画像と称する）を生成する仮想視点画像生成装置であって、前記複数枚の被写体の画像を取得する被写体画像取得手段と、前記被写体の奥行き情報を取得する奥行き情報取得手段と、複数の透明な画像投影面の配置、数、形状を設定する画像投影面設定手段と、前記各被写体画像の座標と前記画像投影面の座標との対応関係を決定する対応関係決定手段と、前記被写体の奥行き情報に基づいて、前記複数の画像投影面のそれぞれに対して、画像を貼り付け可能な領域（以下、投影面部分領域と称する）を決定する投影面部分領域決定手段と、前記仮想視点位置に基づいて、前記被写体画像のうち、指定した画像投影面上の画像生成に用いる領域（以下、カメラ部分領域と称する）を決定し、前記カメラ部分領域の画像を抽出するカメラ部分領域抽出手段と、前記抽出した画像の座標を、前記対応関係決定手段で決定した前記対応関係に基づいて、前記指定した画像投影面上の座標に変換する座標変換手段と、前記座標変換手段で座標変換をした画像のうち、前記指定した画像投影面の投影面部分領域と重なる部分を、前記画像投影面に貼り付ける投影用画像貼り付け手段と、すべての被写体画像について、前記カメラ部分領域抽出手段、前記座標変換手段、前記投影用画像貼り付け手段を繰り返し行ったか判定する第１判定手段と、すべての画像投影面に対して、前記カメラ部分領域抽出手段、前記座標変換手段、前記投影用画像貼り付け手段、前記第１判定手段を繰り返し行ったか判定する第２判定手段と、前記投影画像が貼り付けられた前記画像投影面からなる３次元的な画像を、前記仮想視点位置から２次元化（レンダリング）して、前記仮想視点画像を生成するレンダリング手段とを備え、前記画像投影面設定手段は、前記仮想視点画像の精度、及び前記仮想視点位置または前記仮想視点の移動範囲に応じて、前記画像投影面の配置、数、形状を設定する手段である仮想視点画像生成装置である。
【００４５】
前記第６の発明は、前記第１の発明である仮想視点画像生成方法を実現するための装置であり、前記各手段を備える仮想視点画像生成装置を用いることで、生成する仮想視点画像の精度を保ち、かつ、高速（短時間）で画像処理を行うことができる。
【００４６】
第７の発明は、前記第６の発明において、前記奥行き情報取得手段は、複数の計測地点から計測した奥行き情報を取得し、前記投影面部分領域決定手段は、複数の計測地点から計測した奥行き情報の中から、前記仮想視点位置に応じた奥行き情報を選択する奥行き情報選択手段を備える仮想視点画像生成装置である。
【００４７】
前記第７の発明によれば、前記第４の発明を実現するための奥行き情報選択手段を備えるので、奥行き情報の欠損を防ぐことができる。そのため、高品質の仮想視点画像を生成することができる。
【００４８】
第８の発明は、前記第６の発明において、前記奥行き情報取得手段は、複数の計測地点から計測した奥行き情報を取得し、前記投影面部分領域決定手段は、前記複数の計測地点から計測した奥行き情報を統合する奥行き情報統合手段を備える仮想視点画像生成装置である。
【００４９】
前記第８の発明によれば、前記第５の発明を実現するための奥行き情報統合手段を備えるので、奥行き情報の欠損を生じにくくすることができる。そのため、高品質の仮想視点画像を生成することができる。
【００５０】
第９の発明は、複数のカメラのそれぞれで撮影した複数枚の被写体の画像（以下、被写体画像と称する）を用いて、あらかじめ指定した視点位置（以下、仮想視点位置と称する）から見た前記被写体の画像（以下、仮想視点画像と称する）を生成させる仮想視点画像生成方法をコンピュータに実行させる仮想視点画像生成プログラムであって、前記仮想視点画像生成プログラムは、前記被写体の奥行き情報を取得させる手順１と、前記仮想視点画像の精度、及び前記仮想視点位置または前記仮想視点の移動範囲に応じて、複数の透明な画像投影面の配置、数、形状を設定させる手順２と、前記各被写体画像の座標と前記画像投影面の座標との対応関係を決定させる手順３と、前記被写体の奥行き情報に基づいて、前記複数の画像投影面のそれぞれに対して、画像を貼り付け可能な領域（以下、投影面部分領域と称する）を決定させる手順４と、前記仮想視点位置に基づいて、前記被写体画像から、前記被写体画像のうち指定した画像投影面上の画像生成に用いる領域（以下、カメラ部分領域と称する）を決定させ、前記カメラ部分領域の画像を抽出させる手順５と、前記手順５で抽出した画像の座標を、前記手順３で決定した前記対応関係に基づいて、前記指定した画像投影面上の座標に変換させる手順６と、前記手順６で座標変換をした画像のうち、前記投影面部分領域と重なる部分を、前記画像投影面に貼り付けさせる手順７と、すべての被写体画像について、前記手順５、前記手順６、前記手順７を繰り返し行わせる手順８と、前記手順２で設定したすべての画像投影面に対して、前記手順５、前記手順６、前記手順７、前記手順８を繰り返し行わせる手順９と、前記画像が貼り付けられた前記画像投影面からなる３次元的な画像を、前記仮想視点位置から２次元化（レンダリング）させて、前記仮想視点画像を生成させる手順１０とをコンピュータに実行させる仮想視点画像生成プログラムである。
【００５１】
第１０の発明は、前記第９の発明において、前記手順１は、前記仮想視点位置または移動範囲、及び前記仮想視点画像で許容される誤差に応じて、前記被写体の奥行き情報の分解能及び計測範囲を決定させる仮想視点画像生成プログラムである。
【００５２】
第１１の発明は、前記第９の発明または第１０の発明において、前記手順４は、
前記仮想視点位置に応じて、前記投影面部分領域を決定させる仮想視点画像生成プログラムである。
【００５３】
第１２の発明は、前記第９の発明乃至第１１の発明のいずれかにおいて、前記手順１は、複数の地点から前記被写体の奥行き情報を取得させ、前記手順４は、前記複数の地点から取得した複数の奥行き情報のうち、前記仮想視点位置に応じた奥行き情報を選択させる仮想視点画像生成プログラムである。
【００５４】
第１３の発明は、前記第９の発明乃至第１１の発明において、前記手順１は、複数の地点から前記被写体の奥行き情報を取得させ、前記手順４は、前記複数の地点から取得した複数の奥行き情報を統合させる仮想視点画像生成プログラムである。
【００５５】
前記第９の発明乃至前記第１３の発明は、前記第１の発明乃至前記第５の発明である仮想視点画像生成方法を、コンピュータに実行させることができるプログラムであり、専用の装置を用いることなく、仮想視点画像を生成させることができる。
【００５６】
第１４の発明は、前記第９の発明乃至第１３の発明のいずれか１つの仮想視点画像生成プログラムが記録された記録媒体である。
前記第１４の発明によれば、専用の装置を用いることなく、前記仮想視点画像を容易に生成させることができる。
【００５７】
以下、本発明について、図面を参照して実施の形態（実施例）とともに詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは、同一符号を付け、その繰り返しの説明は省略する。
【００５８】
【発明の実施の形態】
（実施例１）
図１及び図２は、本発明による実施例１の仮想画像生成装置の概略構成を示す模式図であり、図１は仮想画像生成装置全体の構成を示すブロック図、図２は図１の部分画像抽出貼り付け手段の構成を示すブロック図である。
【００５９】
図１において、１は仮想視点画像生成装置、１０１は被写体画像取得手段、１０２は奥行き情報取得手段、１０３は画像投影面設定手段、１０４は対応関係決定手段、１０５は部分画像抽出貼り付け手段、１０６はレンダリング手段、２はカメラ、３は被写体、４は奥行き情報計測手段、５は視点位置入力手段、６は表示手段である。また、図２において、１０５ａは初期化手段、１０５ｂは投影面部分領域決定手段、１０５ｃはカメラ部分領域抽出手段、１０５ｄは座標変換手段、１０５ｅは投影用画像貼り付け手段、１０５ｆは第１判定手段、１０５ｇは第２判定手段である。
【００６０】
本実施例１の仮想画像生成装置１は、図１に示すように、複数のカメラ２で撮影した被写体３の画像を取得する被写体画像取得手段１０１と、奥行き情報計測手段４を用いて計測した前記被写体３の奥行き情報を取得する奥行き情報取得手段１０２と、複数の透明な画像投影面の配置、数、形状を設定する画像投影面設定手段１０３と、前記各被写体画像の座標と前記画像投影面の座標との対応関係を決定する対応関係決定手段１０４と、前記被写体画像取得手段１０１で取得した被写体画像、前記奥行き情報取得手段１０２で取得した奥行き情報、前記対応関係決定手段１０４で決定した対応関係を用いて、前記被写体画像を部分的に抽出し、前記画像投影面設定手段１０３で設定した画像投影面上に貼り付ける部分画像抽出貼り付け手段１０５と、前記部分画像抽出貼り付け手段１０５で画像を貼り付けた画像投影面を、視点位置入力手段５から入力した仮想視点位置でレンダリング（２次元化）するレンダリング手段１０６とにより構成されている。
【００６１】
また、前記部分画像抽出貼り付け手段１０５は、図２に示すように、初期化手段１０５ａと、前記被写体３の奥行き情報に基づいて、前記複数の画像投影面のそれぞれに対して、画像を貼り付け可能な領域（以下、投影面部分領域と称する）を決定する投影面部分領域決定手段１０５ｂと、前記仮想視点位置に基づいて、前記被写体画像から、前記被写体画像のうち指定した画像投影面上の画像生成に用いる領域（以下、カメラ部分領域と称する）を決定し、前記カメラ部分領域の画像を抽出するカメラ部分領域抽出手段１０５ｃと、前記カメラ部分領域の画像の座標を、前記対応関係決定手段１０４で決定した前記対応関係に基づいて、前記画像投影面上の座標に変換する座標変換手段１０５ｄと、前記座標変換手段１０５ｄで座標変換をした画像のうち、前記指定した画像投影面の投影面部分領域と重なる部分を、前記画像投影面に貼り付ける投影用画像貼り付け手段１０５ｅと、すべての被写体画像について、前記カメラ部分領域抽出手段１０５ｃ、前記座標変換手段１０５ｄ、前記投影用画像貼り付け手段１０５ｅを繰り返し行ったか判定する第１判定手段１０５ｆと、すべての画像投影面に対して、前記カメラ部分領域抽出手段１０５ｃ、前記座標変換手段１０５ｄ、前記投影用画像貼り付け手段１０５ｅ、前記第１判定手段１０５ｆを繰り返し行ったか判定する第２判定手段１０５ｇとを備える。
【００６２】
このとき、前記画像投影面設定手段１０３は、生成する仮想視点画像の精度、及び前記仮想視点位置または前記仮想視点の移動範囲に応じて、前記画像投影面の配置、数、形状を設定する。
【００６３】
また、前記カメラ２は、例えば、図１に示したように、光軸が被写体３の方向を向くように配置する。このとき、前記複数のカメラ２で撮影した各画像、すなわち、さまざまな方向から撮影した前記被写体３の画像は、前記仮想視点画像生成装置１に設けられた前記被写体画像取得手段１０１に転送される。
【００６４】
また、前記奥行き情報計測手段４は、例えば、ＴｉｍｅｏｆＦｌｉｇｈｔ法を用いる能動的計測器などの奥行き計測器である。前記奥行き情報計測手段４で計測した前記被写体３の奥行き情報は、前記仮想視点画像生成装置１に設けられた前記奥行き情報保存手段１０２に転送される。
【００６５】
また、前記仮想視点画像生成装置１は、例えば、コンピュータであり、前記仮想視点画像を生成するために設けられた各手段は、例えば、あらかじめ定められたプログラムに沿って実行されるものとする。
【００６６】
また、前記仮想視点位置は、例えば、キーボードやマウスなどの視点位置入力手段５を用いて入力する。また、前記仮想視点画像生成装置１で生成させた仮想視点画像は、ＣＲＴや液晶ディスプレイなどの表示手段６に表示される。このとき、前記視点位置入力手段５や前記表示手段６は、前記仮想視点画像生成装置１の近傍にあってもよいし、遠隔地に設置して、ネットワーク回線等で接続されたものであってもよい。
【００６７】
本実施例１の仮想視点画像生成装置１を用いて仮想視点画像を生成するときには、まず、被写体画像取得手段１０１において、前記複数台のカメラ２で撮影した前記被写体３の画像を取得する。このとき、例えば、Ｎ台のカメラ２で前記被写体３の画像を撮影したとすると、前記被写体画像取得手段１０１は、Ｎ枚の被写体画像ＣＰ_ｉ（ｉ＝１，２，…，Ｎ）を取得する。
【００６８】
またこのとき、前記複数台のカメラ２の配置は、図１に示したような、各カメラ２の光軸が前記被写体３の方向を向く配置でなくてもかまわない。すなわち、前記カメラ２は、例えば、前記被写体３が置かれた点を中心とした円の円周上に、前記被写体３を囲むように配置してもよい。また、前記カメラ２は、図１に示したような、円弧状の配列に限らず、例えば、１列（線状）に配置してもよいし、２次元格子状に配置してもよい。
【００６９】
また、前記被写体３が時間とともに移動する物体（動物体）であるときには、前記被写体３の動きに合わせて、定期的な間隔で前記被写体３を撮影し、前記被写体画像取得手段１０１に転送する。
【００７０】
また、前記奥行き情報計測手段４は、例えば、前記複数台のカメラ２が設置された状態で、前記被写体３全体の奥行き情報を取得できるような場所に配置する。このとき、前記奥行き情報計測手段４で計測した情報を前記奥行き情報取得手段１０２に転送するが、前記奥行き情報取得手段１０２で取得する奥行き情報は、前記被写体３の完全な３次元形状を表す情報である必要はなく、一般にデプスマップと呼ばれる２次元座標に対して奥行き値を持つ情報であればよい。
【００７１】
また、前記奥行き情報計測手段４は、図１に示したように、１つであってもよいし、複数台設置して、様々な角度から前記被写体１の奥行き情報を取得してもよい。
【００７２】
また、前記奥行き情報計測手段４としては、前記被写体３の２次元画像及び奥行き情報の両方を取得できる計測器を用いることもできる。この場合、前記複数台のカメラ２のうちのいくつかに替えて、前記計測器を用いることもできる。
【００７３】
また、前記被写体３が動物体であるときには、例えば、前記カメラ２で画像を撮影するときと同じように、定期的な間隔で前記被写体３の奥行き情報を計測し、前記奥行き情報取得手段１０２に転送する。
【００７４】
また、前記被写体画像ＣＰ_ｉ、及び前記被写体３の奥行き情報を用いて仮想視点画像を生成するときには、前記画像投影面設定手段１０３、前記対応関係決定手段１０４、部分画像抽出貼り付け手段１０５、前記レンダリング手段１０６の各手段による画像処理を行う。以下、前記各手段を用いた画像処理による仮想視点画像の生成方法について説明する。
【００７５】
図３は、本実施例１の仮想視点画像生成装置を用いた仮想視点画像生成方法を説明するための模式図であり、仮想視点画像生成装置内で行う画像処理のフローチャートである。
【００７６】
前記仮想視点画像生成装置１を用いて画像処理を行うときには、まず、図３に示すように、前記仮想視点画像生成装置１内の空間に、複数の透明な画像投影面Ｌ_ｊ（ｊ＝１，２，…，Ｍ）を設定する（ステップ７０１）。前記画像投影面Ｌ_ｊを設定するステップ７０１は、前記仮想視点画像生成装置１に設けられた画像投影面設定手段１０３で行う。
【００７７】
このとき、前記画像投影面Ｌ_ｊは透明であるため、画像を何も投影しない状態、すなわち、画像を貼り付けていない状態では、レンダリングに影響を与えない。そのため、後方にある画像投影面に画像を貼り付けたとき、前方にある画像投影面の、前記後方の画像投影面の前記画像が貼り付けられた領域に、画像が貼り付けられていなければ、前記後方の画像投影面に貼り付けられた画像が透けて見える。
【００７８】
また、前記画像投影面Ｌ_ｊの配置、数、形状は、仮想視点位置に応じて、生成する仮想視点画像で要求される精度を満たすように、仮想視点位置に応じて最適かつ自動的に設定される。このときの、前記画像投影面Ｌ_ｊの設定方法の詳細については、後で説明する。
【００７９】
次に、図３に示すように、前記各被写体画像ＣＰ_ｉの座標と前記各画像投影面Ｌ_ｊの座標との対応関係Ｔ_ｉｊを決定する（ステップ７０２）。前記対応関係Ｔ_ｉｊを決定するステップ７０２は、前記仮想視点画像生成装置１に設けられた対応関係決定手段１０４で行う。
【００８０】
前記対応関係Ｔ_ｉｊは、前記被写体画像ＣＰ_ｉのすべての点（画素）の対応関係を決めてもよいし、前記被写体画像ＣＰ_ｉ上の代表的な点（画素）の対応関係だけを決めておき、その他の点は決定した対応関係に基づいて補完するようにしてもよい。
【００８１】
また、前記被写体画像ＣＰ_ｉが、理想的な透視変換とみなせるならば、前記対応関係Ｔ_ｉｊを透視変換行列とすることも可能である。また、実測値に基づいたデータを用いることで、前記被写体画像ＣＰ_ｉ上に現れるレンズの歪曲収差を補正して、前記画像投影面Ｌ_ｊ上に投影することができる。
【００８２】
次に、図３に示すように、前記被写体画像ＣＰ_ｉの変数ｉと前記画像投影面Ｌ_ｊの変数ｊのそれぞれを初期化して、ｉ＝１、ｊ＝１とする（ステップ７０３）。前記変数ｉ，ｊの初期化は、前記部分画像抽出貼り付け手段１０５に設けた初期化手段１０５ａで行う。
【００８３】
次に、図３に示すように、前記奥行き情報取得手段１０２で取得した奥行き情報に基づいて、前記画像投影面Ｌ_ｊ上の投影面部分領域Ｓ_ｊを決定する（ステップ７０４）。前記投影面部分領域Ｓ_ｊを決定するステップ７０４は、前記部分画像抽出貼り付け手段１０５に設けられた投影面部分領域決定手段１０５ｂで行う。
【００８４】
このとき、前記投影面部分領域Ｓ_ｊは、仮想視点画像を生成するために、前記被写体画像ＣＰ_ｉの一部を貼り付ける領域である。このときの、前記投影面部分領域Ｓ_ｊの決定方法の詳細については、後で説明する。
また、本実施例１では、前記奥行き情報は、図１に示したように、１つの奥行き情報計測手段４で計測した１種類の奥行き情報を用いることにする。
【００８５】
次に、図３に示すように、指定した被写体画像ＣＰ_ｉ（例えば、第１被写体画像ＣＰ_１）のうち、指定した画像投影面Ｌ_ｊ（例えば、第１画像投影面Ｌ_１）上の画像生成に用いるカメラ部分領域Ｒ_ｉｊを決定して抽出する（ステップ７０５）。前記カメラ部分領域Ｒ_ｉｊを抽出するステップ７０５は、前記部分画像抽出貼り付け手段１０５に設けられたカメラ部分領域抽出手段１０５ｃで行う。
【００８６】
このとき、前記カメラ部分領域Ｒ_ｉｊは、生成する仮想視点画像に生じる誤差が最小となるように、仮想視点位置に応じて決定する。このときの、前記カメラ部分領域Ｒ_ｉｊの決定方法の詳細については、後で説明する。
【００８７】
次に、図３に示すように、前記カメラ部分領域Ｒ_ｉｊの各点（画素）の座標を、前記対応関係Ｔ_ｉｊで変換する（ステップ７０６）。前記座標を変換するステップ７０６は、前記カメラ部分領域抽出手段１０５に設けられた座標変換手段１０５ｄで行う。
このとき、前記カメラ部分領域Ｒ_ｉｊの画像は、前記画像投影面Ｌ_ｊでは、領域Ｕ_ｉｊの画像となる。
【００８８】
次に、図３に示すように、前記領域Ｕ_ｉｊの画像のうち、前記ステップ７０４で決定した前記投影面部分領域Ｓ_ｊと重なった部分を、前記画像投影面Ｌ_ｊに貼り付ける（ステップ７０７）。前記画像を画像投影面Ｌ_ｊに貼り付けるステップ７０７は、部分画像抽出貼り付け手段１０５に設けられた投影用画像貼り付け手段１０５ｅで行う。
【００８９】
次に、前記被写体画像ＣＰ_ｉの変数ｉを更新（ステップ７０８）し、すべての被写体画像に対して、前記ステップ７０５、前記ステップ７０６、前記ステップ７０７の処理を行ったか判定する（ステップ７０９）。前記ステップ７０８及び前記ステップ７０９は、部分画像抽出貼り付け手段１０５に設けられた第１判定手段１０５ｆで行う。
【００９０】
このとき、すべての被写体画像について前記ステップ７０５から前記ステップ７０７までの処理が済んでいれば、次のステップに進み、未処理の被写体画像があれば、前記カメラ部分領域Ｒ_ｉｊを決定するステップ７０５に戻り、前記未処理の被写体画像について前記ステップ７０５から前記ステップ７０７を行う。
【００９１】
次に、前記画像投影面Ｌ_ｊの変数ｊを更新（ステップ７１０）し、すべての画像投影面に対して、前記ステップ７０５、前記ステップ７０６、前記ステップ７０７、前記ステップ７０８の処理を行ったか判定する（ステップ７１１）。前記ステップ７１０及び前記ステップ７１１は、前記部分画像抽出貼り付け手段１０５に設けられた第２判定手段１０５ｇで行う。
【００９２】
このとき、すべての画像投影面について前記ステップ７０５から前記ステップ７０９までの処理が済んでいれば次のステップに進み、未処理の画像投影面があれば、前記投影面部分領域Ｓ_ｊを決定するステップ７０４に戻り、前記未処理の画像投影面について前記ステップ７０４から前記ステップ７０９までを行う。
【００９３】
次に、図３に示すように、前記画像を貼り付けた画像投影面群を、前記仮想視点位置から２次元化（レンダリング）して仮想視点画像を生成する（ステップ７１２）。前記レンダリングをするステップ７１２は、前記仮想視点画像生成装置１に設けられたレンダリング手段１０６で行う。
【００９４】
以上の手順により、前記視点位置入力手段５を用いて入力した仮想視点位置から前記被写体３を見たときの仮想視点画像が生成され、生成された前記仮想視点画像は、前記表示手段６に表示される。このとき、前記表示手段６は、前記仮想視点画像生成装置１に直接接続されたＣＲＴなどのモニタであってもよいし、例えば、ネットワークを介して遠隔地に設置されたコンピュータあるいはモニタに送信してもよい。また、図示は省略するが、前記手順で生成した仮想視点画像を、ハードディスクや半導体メモリなどの外部記録装置に記録（保存）してもよい。
【００９５】
本実施例１の仮想視点画像の生成方法では、前記画像投影面Ｌ_ｊは、前記被写体画像ＣＰ_ｉから抽出した部分画像を貼り付けるスクリーンの役割をする。また、前記画像投影面Ｌ_ｊは、初期設定では透明であり、前記部分画像を貼り付けた部分が不透明になるようにしているので、仮想視点位置から見て後方（遠方）にある画像投影面の画像が適切に透視もしくは遮蔽される。
【００９６】
また、仮想視点画像の精度を向上させるためには、前記画像投影面Ｌ_ｊの配置間隔を細かくしていくとともに、実際の被写体の形状に近づけていけばよいが、そうすることで処理時間が長くなる。そのため、前記仮想視点画像に要求されている精度に合わせて前記画像投影面Ｌ_ｊの構成を設定することで、無駄な画像処理を行わないようにすることができ、精度が高い仮想視点画像を高速（短時間）で生成することができる。
【００９７】
また、前記ステップ７０５で決定する前記カメラ部分領域_ｉｊは、前記各カメラ２で撮影した被写体画像ＣＰ_ｉのうち、前記画像投影面Ｌ_ｊごとに限定された領域であり、同じ被写体画像ＣＰ_ｉ（例えば第１被写体画像ＣＰ_１）、同じ画像投影面Ｌ_ｊ（例えば、第１画像投影面Ｌ_１）であっても、仮想視点位置を変えると前記カメラ部分領域Ｒ_ｉｊは変化する。そのため、前記仮想視点位置に基づいて、適切なカメラ部分領域Ｒ_ｉｊを決定することにより、前記画像投影面Ｌ_ｊ上に、適切な前記部分画像を貼り付けることができ、生成する仮想視点画像の精度を保証することができる。
【００９８】
なお、前記画像投影面Ｌ_ｊには、前記カメラ部分領域Ｒ_ｉｊに含まれるすべての部分画像を貼り付けるわけではなく、前記対応関係Ｔ_ｉｊにより座標変換をしたときに、前記投影面部分領域Ｓ_ｊに含まれる部分のみが貼り付けられる。
また、前記投影面部分領域Ｓ_ｊは、奥行き情報取得手段１０２で取得した奥行き情報に基づいて決定する。
【００９９】
前記被写体画像ＣＰ_ｉの各点は、実際にその点が存在する位置の近傍にある画像投影面に貼り付けた場合、画像を生成するときの誤差が小さくなり、仮想視点画像の精度が高くなる。逆に、実際にその点が存在する位置から離れた画像投影面に貼り付けられた場合、画像を生成するときの誤差が大きくなり、仮想視点画像の精度が低くなる。
【０１００】
すなわち、前記画像投影面のうち、実際に被写体が存在する位置の近傍のみを、前記投影面部分領域Ｓ_ｊとすることにより、画像を生成するときの誤差を小さくすることができる。
【０１０１】
以下、前記ステップ７０１で設定する前記画像投影面Ｌ_ｊの設定方法、前記ステップ７０４で決定する投影面部分領域Ｓ_ｊの決定方法、前記ステップ７０５で決定するカメラ部分領域Ｒ_ｉｊの決定方法のそれぞれについての、具体的な方法の一例を説明する。
【０１０２】
なお、説明を簡単にするために、まず、前記カメラ部分領域Ｒ_ｉｊの決定方法について説明し、続けて、前記画像投影面Ｌ_ｊの設定方法、及び前記投影面部分領域Ｓ_ｊの設定方法について説明する。
【０１０３】
図４乃至図６は、本実施例１における仮想視点画像の生成方法を説明するための模式図であり、図４はカメラの配置と画像投影面の配列の例を示す図、図５（ａ）及び図５（ｂ）はボロノイ領域について説明するための図、図６はカメラ部分領域の決定方法を説明するための図である。
【０１０４】
前記カメラ部分領域Ｒ_ｉｊを決定する方法は、前記カメラ２の配置や、仮想視点位置、生成する仮想視点画像の精度などにより、いくつかの方法が考えられる。本実施例１では、生成する仮想視点画像の精度を保証しやすい決定方法の一例として、ボロノイ領域を利用した決定方法について説明する。
【０１０５】
また、本実施例１では、前記カメラ部分領域Ｒ_ｉｊを決定するにあたって、前記被写体画像ＣＰ_ｉ（ｉ＝１，２，…，Ｎ）は、例えば、図４に示すように、ある平面（カメラ設置面）８上に、等間隔εで２次元格子状に並べられたＮ台のカメラ２で撮影したとする。また、前記奥行き情報計測手段（図示しない）は前記カメラ２と干渉しないような位置に配置されているとする。また、仮想視点位置Ｐは図４に示したよう、カメラ設置面８から距離ＺＰだけ離れた位置に設定し、前記画像投影面Ｌ_ｊは、図４に示したように、前記カメラ２を設置した面（カメラ設置面）と平行な平面になるように設定したとする。
【０１０６】
また、前記ボロノイ領域は、例えば、図５（ａ）に示すように、ある空間内にいくつかの点（母点）９が与えられたときに、最近傍則によって、その空間を背反な部分空間に分割した領域のことである。すなわち、前記Ｎ台のカメラ２を２次元格子状に並べたときには、前記母点９も２次元格子状に並んでいることになるので、前記ボロノイ領域Ｖ_ｉは、図５（ｂ）に示すように、正方形の領域になる。
【０１０７】
以上のような条件のもとで、例えば、図６に示すように、前記カメラ設置面からの距離ｌ_ｊにある画像投影面Ｌ_ｊに対して、前記被写体画像ＣＰ_ｉの部分画像を貼り付けるときのカメラ部分領域Ｒ_ｉｊの決定する場合、まず、前記カメラ設置面８上で、Ｎ台の前記各カメラ２の設置位置を母点とするボロノイ領域Ｖ_ｉ（ｉ＝１，２，…，Ｎ）を求める。
【０１０８】
次に、図６に示すように、前記仮想視点位置Ｐを中心とした透視投影により、前記ボロノイ領域Ｖ_ｉを、前記画像投影面Ｌ_ｊに投影する。
そして、前記対応関係Ｔ_ｉｊを用いて前記被写体画像ＣＰ_ｉを前記画像投影面Ｌ_ｊに投影したときに、前記被写体画像の全域１０のうち、前記画像投影面Ｌ_ｊに投影されたボロノイ領域Ｗ_ｉｊと重なる（一致する）領域を前記カメラ部分領域Ｒ_ｉｊに決定する。
【０１０９】
図７は、本実施例１の仮想視点画像の生成方法を説明するための模式図であり、画像投影面の設定方法の一例を示す図である。
本実施例１の画像生成方法を用いて、前記被写体画像ＣＰ_ｉから前記カメラ部分領域Ｒ_ｉｊの画像を抽出し、前記画像投影面Ｌ_ｊに貼り付ける場合、例えば、カメラ設置面８から実際の被写体３上の点までの距離と、前記カメラ設置面８から前記画像投影面Ｌ_ｊ上の距離とが異なると、生成した画像上に誤差が生じる。そこで、前記仮想視点画像で要求される精度を満たすために許容される誤差の最大値をδとする。
【０１１０】
このとき、前記カメラ設置面８から距離ｌの位置にある被写体３上の点が、前記画像投影面Ｌ_ｊに貼り付けられているとすると、前記距離ｌが、下記数式１、数式２、数式３で表される条件を満たしていれば、前記距離ｌの位置にある被写体上の点と画像投影面Ｌ_ｊ上の点の誤差が最大値δよりも小さいことが保証される。
【０１１１】
【数１】

【０１１２】
【数２】

【０１１３】
【数３】

【０１１４】
前記数式１において、ｆｌ_ｊ及びｂｌ_ｊは画像投影面Ｌ_ｊに貼り付けられる点の最小値及び最大値で、カメラ設置面からの距離ｌがｆｌ_ｊからｂｌ_ｊまでの間である点は、前記画像投影面Ｌ_ｊに貼り付けられる。
【０１１５】
また、前記数式２及び数式３において、ＺＰはカメラ設置面から仮想視点位置までの距離、ｆはカメラの焦点距離、εはカメラの設置間隔、δは許容される誤差の最大値である。またこのとき、前記仮想視点の位置は、前記カメラ設置面８を基準として、前記画像投影面Ｌ_ｊが設けられた方向とは逆の方向にあるとする。また、被写体画像ＣＰ_ｉと前記画像投影面Ｌ_ｊの間の写像は透視投影とする。
【０１１６】
すなわち、ある画像投影面（例えば、第１画像投影面Ｌ_１）に関して考えると、前記第１画像投影面Ｌ_１上に貼り付けられた画像（点）のうち、実際の被写体上の点が、前記数式１によって与えられる奥行き範囲内に存在する場合は、画像投影面Ｌ_１上での位置の誤差を最大値δよりも小さくすることができる。そのため、前記各画像投影面Ｌ_ｊに対して、前記数式１の条件を設定し、前記被写体３が存在する奥行き範囲全体をカバーするように配置することで、仮想視点画像を一定の誤差の範囲内で生成することができる。
【０１１７】
前記ｆｌ_ｊ及びｂｌ_ｊ、ならびにカメラ設置面８から画像投影面Ｌ_ｊまでの距離ｌ_ｊを設定するときは、まず、例えば、図７に示すように、奥行き情報の最小値ｌｍｉｎをｆｌ_１とする。このとき、前記数式２から第１画像投影面Ｌ_１の距離ｌ_１が決定する。また、前記第１画像投影面Ｌ_１の距離ｌ_１が決まると、前記数式３からｂｌ_１が決まる。
【０１１８】
次の画像投影面（第２画像投影面Ｌ_２）に関しては、図７に示したように、ｆｌ_２＝ｂｌ_１とし、前記数式２及び前記数式３を用いて前記第２画像投影面Ｌ２の距離ｌ_２、及びｂｌ_２を決める。
【０１１９】
以下、逐次的にｆｌ_ｊ＋１＝ｂｌ_ｊとして計算を繰り返し、ｂｌ_ｊが被写体３の奥行き情報の最大値ｌｍａｘよりも大きくなるか、無限大になるまで画像投影面を設定していく。
【０１２０】
前記被写体の奥行き情報の最小値ｌｍｉｎ、及び最大値ｌｍａｘは、前記奥行き情報取得手段１０２で取得した奥行き情報を用いる代わりに、例えば、あらかじめ被写体３が移動する奥行き範囲を想定しておき、その情報を用いてもよい。
【０１２１】
また、前記画像投影面Ｌ_ｊの設定方法では、仮想視点位置が更新されるたびに設定処理を行ってもよいし、あらかじめ仮想視点位置が移動する範囲を限定しておき、その限定された範囲内で、許容される誤差の最大値δがもっとも厳しい（小さい）場合に基づいて設定してもよい。
【０１２２】
図８乃至図１１は、本実施例１の仮想視点画像の生成方法を説明するための模式図であり、図８及び図９はそれぞれ投影面部分領域の決定方法の一例を示す図であり、図１０及び図１１は投影面部分領域の他の決定方法を示す図である。
【０１２３】
本実施例１の仮想視点画像生成方法では、前記数式１、前記数式２、前記数式３を満たすように前記画像投影面Ｌ_ｊを設定することにより、被写体上の任意の点は、前記画像投影面ごとに生じる生成画像上の奥行き方向の誤差を、一定の範囲内に収めることができる。しかしながら、実際に画像を生成したときに、誤差を一定の範囲内に収めるためには、前記被写体上のある点を撮影した画像が、適切な画像投影面、すなわち、その点の距離が許容される奥行き範囲に属するような画像投影面に貼り付けなくてはならない。
【０１２４】
前記ステップ７０４で決定する投影面部分領域Ｓ_ｊには、前記被写体上の各点を、適切な画像投影面に貼り付けるために必要となる。すなわち、前記投影面部分領域Ｓ_ｊは、奥行き情報を取得した前記被写体３上の点のうち、前記数式１で与えられる前記画像投影面Ｌ_ｊの許容奥行き範囲にある点を、何らかの方法で前記画像投影面Ｌ_ｊ上に写像したときに得られる領域である。
【０１２５】
前記被写体３上の点の写像には、さまざまな形態が考えられるが、例えば、奥行き計測地点からの透視投影変換を用いることができる。
このとき、前記投影面部分領域Ｓ_ｊは、例えば、前記数式１の関係を利用し、図８に示すように、前記被写体３の点のうち、前記カメラ設置面からの距離がｆｌ_ｊからｂｌ_ｊの中にある点を、奥行き計測地点Ｆから前記画像投影面Ｌ_ｊに投影したときに得られる領域とする。
【０１２６】
同様に、前記投影面部分領域Ｓ_ｊ＋１は、図９に示すように、前記カメラ設置面からの距離がｆｌ_ｊ＋１（＝ｂｌ_ｊ）からｂｌ_ｊ＋１の中にある点を、奥行き計測地点Ｆから前記画像投影面Ｌ_ｊ＋１に投影したときに得られる領域とする。
また、前記投影面部分領域Ｓ_ｊを決定するときには、前記数式１の関係を用い
る代わりに、下記数式４を用いることもできる。
【０１２７】
【数４】

【０１２８】
前記数式４の関係を用いて前記投影面部分領域Ｓ_ｊを決定した場合、例えば、ある画像投影面Ｌ_ｊ＋１の投影面部分領域Ｓ_ｊ＋１には、図１０に示すように、前記画像投影面Ｌ_ｊ＋１の前方にある画像投影面Ｌ_ｊの投影面部分領域とするべき領域も含まれる。そのため、前記ある画像投影面Ｌ_ｊ＋１には、図１１に示すように、本来貼り付けるべき部分画像のほかに、前方の画像投影面に貼り付けられている部分画像も貼り付けられる。しかしながら、前記画像投影面Ｌ_ｊ＋１に貼り付けられた余分な部分画像のうち、前方の画像投影面Ｌ_ｊに貼り付けられている部分画像と重なった領域は、仮想視点位置からレンダリングするときには見えない。
【０１２９】
前記数式１の関係を用いて前記画像投影面Ｌ_ｊを決定するときには、例えば、投影面部分領域Ｓ_ｊの境界と投影面部分領域Ｓ_ｊ＋１の境界線が一致せずに、隣り合う画像投影面の隙間に画像の欠損ができることがある。そこで、例えば、前記数式４の関係を用いて前記画像投影面Ｓ_ｊを決定することで、画像の欠損を防ぎ、仮想生成画像の品質を向上させることができる。
【０１３０】
以上説明したように、本実施例１の仮想視点画像生成装置１を用いた仮想視点画像生成方法によれば、生成する画像の精度に応じて複数の画像投影面Ｌ_ｊを設定し、前記複数の画像投影面のそれぞれに、前記被写体画像ＣＰ_ｉの中から適切な条件で抽出した部分画像を貼り付けることにより、仮想視点画像の精度、特に奥行き方向の精度をよくすることができる。
【０１３１】
また、前記複数の画像投影面Ｌ_ｊを設定するときに、前記数式１、前記数式２、前記数式３の条件を満たすようにすると、無駄な処理を省き、要求された精度の仮想視点画像を効率よく生成することができる。そのため、被写体３が大きい、あるいは形状が複雑な場合、もしくは前記被写体３が時間とともに移動する場合でも、仮想視点画像を高速（短時間）で生成することができる。
【０１３２】
なお、本実施例１で説明した、前記画像投影面Ｌ_ｊの設定方法、前記投影面部分領域Ｓ_ｊの決定方法、前記カメラ部分領域Ｒ_ｉｊの決定方法は、それぞれの一例であり、例えば、前記被写体３の形状や時間変化、あるいは被写体画像ＣＰ_ｉの撮影条件などに応じて、適宜変更することが可能である。
【０１３３】
また、本実施例１では、前記仮想視点画像生成装置１としてコンピュータを用い、前記仮想視点画像生成装置１に、図３に示したような手順のプログラムを実行させて仮想生成画像を生成する方法について説明したが、このときのプログラムは、記録媒体に記録してもよいし、ネットワーク回線を通して提供してもよい。
【０１３４】
（実施例２）
図１２及び図１３は、本発明による実施例２の仮想視点画像生成方法を説明するための模式図であり、図１２（ａ）及び図１２（ｂ）は奥行き情報計測手段の概略構成を示す図、図１３は前記奥行き情報計測手段を用いた奥行き情報の計測方法を説明するための図である。
【０１３５】
図１２（ａ）及び図１２（ｂ）において、４０１は参照光照射手段、４０２は撮像手段、４０２ａは撮像面、４０２ｂは光学系調節手段、４０２ｃはゲート、４０３は制御手段である。
【０１３６】
本実施例２では、前記実施例１で説明した方法で仮想視点画像を生成するときに用いる、前記被写体３の奥行き情報の計測方法の一例として、飛行時間法（ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔｍｅｔｈｏｄ）を用いた計測方法について説明する。なお、本実施例２の仮想視点画像生成装置の全体的な構成は、前記実施例１で説明した仮想視点画像生成装置１と同様であるため、詳細な説明は省略する。
【０１３７】
前記飛行時間法を用いて、前記被写体３の奥行き情報を計測する奥行き情報計測手段４は、例えば、図１２（ａ）に示すように、前記被写体３に参照光を照射する参照光照射手段４０１と、前記被写体３で反射した参照光を検出する撮像手段４０２と、前記参照光照射手段４０１及び前記撮像手段４０２を制御する制御手段４０３とにより構成される。また、前記撮像手段４０２は、例えば、図１２（ｂ）に示すように、前記被写体３で反射した参照光を受ける撮像面４０２ａと、前記参照光を前記撮像面４０２ａで結像させるための光学系調節手段４０２ｂと、ゲート４０２ｃにより構成されている。このとき、前記参照光照射手段４０１の光源には、例えば、レーザや発光ダイオードなどを用いる。また、前記ゲート４０２ｃには、例えば、イメージインテンシファイアを用いる。
【０１３８】
また、前記ゲート４０２ｃは、例えば、前記制御手段４０３により開閉のタイミングが電子的に制御されており、前記ゲート４０２ｃが開いているときだけ、前記被写体３で反射した参照光が前記撮像面４０２ａに到達して結像する。そのため、前記ゲート４０２ｃの開閉のタイミングと前記参照光を照射するタイミングを制御することで、前記参照光が照射されてから、前記被写体３の表面で反射し、前記撮像面４０２ａで結像（撮影）されるまでの時間を間接的に計測することができ、前記撮像面４０２ａ上の画素ごとに、奥行き情報を取得することができる。
【０１３９】
前記参照光を照射するタイミングと前記ゲートの開閉のタイミングは、一般に、図１３に示すように、時刻ｔ＝０にパルス状の参照光を照射したときに、その後、時刻ｔ１から時刻ｔ２までの間だけ前記ゲート４０２ｃが開かれるように制御される。
【０１４０】
このとき、光速をｃで表すと、時刻ｔ１までに参照光が進む距離はｃ・ｔ１、時刻ｔ２までに参照光が進む距離はｃ・ｔ２である。そのため、時刻ｔ＝０に照射した参照光を、前記被写体３の表面で反射した後、前記時刻ｔ１から時刻ｔ２の間に前記撮像手段４０２に到達させるには、前記光源（参照光照射手段４０１）と前記被写体の距離ｌｌが下記数式５を満たさなければならない。
【０１４１】
【数５】

【０１４２】
逆に言えば、前記被写体３の表面上の各点のうち、前記参照光照射手段４０１からの距離ｌｌが前記数式５を満たしている点で反射した参照光だけが、前記ゲート４０２ｃを通過して撮像面４０２ａに到達する。すなわち、前記撮像面４０２ａには、前記被写体のうち、参照光照射手段４０１から距離ｌｌの点のみが結像する。そのため、前記時刻ｔ１及び時刻ｔ２の設定を適宜変更することで、前記被写体３の表面上の各点における、前記参照光照射手段４０１から前記被写体３までの距離を得ることができ、その距離に基づいて前記被写体３の奥行き情報を得ることができる。
【０１４３】
ただし、１回の行程で前記撮像面に到達する参照光の光量は微量であり、ノイズと分離して検出できるほどの光量ではない。そのため、同じ設定で複数回の行程を行い、多重露光して光量の総和を十分に大きくする。
【０１４４】
そして、前記時刻ｔ１及び前記時刻ｔ２の設定を逐次的に変更し、それぞれの設定において計測することで、前記被写体の表面上のすべての点の距離を得る。このとき、前記奥行き情報の分解能（精度）は、前記時刻ｔ１及び前記時刻ｔ２を変更する間隔により決まり、間隔を小さくすれば分解能は高くなる。また、前記奥行き情報の計測範囲は、前記時刻ｔ１及び時刻ｔ２を変化させる範囲により決まる。
【０１４５】
しかしながら、分解能を高くし、計測範囲を広くしようとすると、光量の総和を十分な大きさにする場合には、計測にかかる時間が長くなってしまう。逆に、計測にかかる時間を短くしようとすると、光量の総和が小さくなり、奥行き情報の信頼性が低下する。そのため、前記奥行き情報の分解能と計測範囲は、仮想視点画像を生成する上で要求される性能（精度）に応じて、設定することが好ましい。前記奥行き情報の分解能と計測範囲に要求される精度は、前記実施例１で説明したような、画像投影面の設定により規定することができる。
【０１４６】
このとき、前記ゲートの開閉のタイミング、すなわち、前記時刻ｔ１及び前記時刻ｔ２を、下記数式６及び数式７のように設定すると、前記数式５で表される計測範囲が、前記数式１で表される前記画像投影面Ｌ_ｊがカバーする範囲と一致する。そのため、前記画像投影面で得られたパターンに基づいて、前記実施例１で説明した投影面部分領域Ｓ_ｊを決定することができる。
【０１４７】
【数６】

【０１４８】
【数７】

【０１４９】
なお、前記参照光は、前記カメラ２で撮影する被写体画像ＣＰ_ｉに影響を与えないようにする必要があるので、波長帯域や照射時間を調節しなければならない。そのため、例えば、前記参照光として赤外領域の波長の光を用い、前記カメラ２に赤外光カットフィルタを設けて前記参照光が入射するのを防ぐ。また、例えば、参照光を断続的に照射し、参照光を照射している時間は前記カメラ２のシャッターを閉じておき、前記参照光を照射していない時間に前記カメラ２で前記被写体画像ＣＰ_ｉを撮影する。
【０１５０】
以上説明したように、本実施例２の奥行き情報の計測方法によれば、仮想視点画像を生成する上で要求される精度に適した分解能及び計測範囲の奥行き情報を効率よく計測することができる。すなわち、本実施例２で説明した方法で前記奥行き情報を計測するときに、前記数式６及び前記数式７に示したような条件を与えることで、計測データの処理の無駄を省け、データ処理にかかる時間を短縮することができる。
【０１５１】
また、本実施例２の奥行き情報の計測方法を用いることで、前記被写体３の奥行き情報の信頼性が向上する。そのため、前記実施例１で説明したような方法で仮想視点画像を生成したときに、前記仮想視点画像の精度を保証することができる。
【０１５２】
また、本実施例２の奥行き情報の計測方法では、参照光の符号化、すなわち、前記光源から被写体までの距離に応じた参照光の分離は、パルス波を照射した時刻とゲートの開閉のタイミングを用いて行ったが、これに限らず、参照光の照射を強度や周波数で変調することも可能である。また、前記参照光の符号化は、本実施例２で説明した方法に限らず、他の方法を用いることもでき、同様の効果を得ることができる。すなわち、奥行き情報を計測する状況に応じて、参照光を符号化する方法を変えることで、要求される分解能及び計測範囲の奥行き情報を効率よく計測することができる。
【０１５３】
また、本実施例２では、飛行時間法（ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔｍｅｔｈｏｄ）を用いた計測方法について説明したが、他の能動的計測法を用いて計測することもできる。
また、前記奥行き情報の計測には、前記能動的計測法に限らず、ステレオ法やレンズ焦点法などの受動的計測法を用いることもできる。前記受動的計測法を用いる場合も、本実施例２で説明したように、仮想視点画像を生成する上で要求される性能（精度）に応じて、前記奥行き情報の分解能や計測範囲を設定することで、信頼性の高い奥行き情報を効率よく計測することができる。
【０１５４】
（実施例３）
図１４乃至図１６は、本発明による実施例３の仮想視点画像生成方法を説明するための模式図であり、図１４は投影面部分領域の決定方法を説明するためのフローチャート、図１５は前記実施例１で説明した方法で投影面部分領域を決定したときの図、図１６は本実施例３で説明する方法で投影面部分領域を決定したときの図である。
【０１５５】
本実施例３の仮想視点画像の全体的な生成方法は、前記実施例１で説明した生成方法と同様であるので、詳細な説明は省略する。
本実施例３の仮想視点画像の生成方法と、前記実施例１で説明した生成方法とで異なるのは、前記投影面部分領域Ｓ_ｊを決定する方法である。本実施例３では、前記投影面部分領域Ｓ_ｊを決定するために、図１４に示すように、奥行き計測地点における奥行き情報を３次元空間上に投射するステップ７０４ａと、仮想視点位置Ｐにおける奥行き情報を取得するステップ７０４ｂと、投影面部分領域を決定するステップ７０４ｃの各ステップを設ける。
【０１５６】
前記実施例１では、図１５に示すように、前記奥行き計測地点Ｆからの透視投影を行って、画像投影面Ｌ_ｊの投影面部分領域Ｓ_ｊや、画像投影面Ｌ_ｊ＋１の投影面部分領域Ｓ_ｊ＋１を決定している。このとき、前記仮想視点位置Ｐと前記奥行き計測地点Ｆのずれが大きいと、前記仮想視点位置から前記画像投影面を見た時に、画像投影面Ｌ_ｊの投影面部分領域Ｓ_ｊと、画像投影面Ｌ_ｊ＋１の投影面部分領域Ｓ_ｊ＋１の間に画像が存在しない領域が生じ、仮想視点画像の品質が低下する。
【０１５７】
そこで、本実施例３の投影面部分領域決定方法のように、まず、前記奥行き計測地点Ｆにおける奥行き情報を３次元空間上に投射（ステップ７０４ａ）し、仮想視点位置Ｐにおける奥行き情報を取得（ステップ７０４ｂ）すると、図１６に示したように、前記仮想視点位置Ｐからの透視投影により投影面部分領域Ｓ_ｊを決定することができる（ステップ７０４ｃ）。そのため、投影面部分領域に隙間が生じるのを防ぐことができる。
【０１５８】
以上説明したように、本実施例３の仮想視点画像生成方法によれば、任意の計測地点Ｆから取得した奥行き情報を、仮想視点位置Ｐから取得した奥行き情報にすることにより、仮想視点画像の品質の低下を防ぐことができる。
また、前記投影面部分領域を決定するときには、前記実施例１で説明したように、前記数式１の関係を用いて透視投影してもよいし、前記数式４の関係を用いて透視投影してもよい。
【０１５９】
（実施例４）
図１７乃至図１９は、本発明による実施例４の仮想視点画像生成方法を説明するための模式図であり、図１７及び図１９は奥行き計測地点の決定方法を説明するための模式図であり、図１８は投影面部分領域を決定するために用いる奥行き情報の選択方法を説明するためのフローチャートである。
【０１６０】
本実施例４の仮想視点画像の全体的な生成方法は、前記実施例１で説明した方法と同様であるため、詳細な説明は省略する。
本実施例４の仮想視点画像の生成方法において、前記実施例１で説明した方法と異なるのは、前記投影面部分領域を決定するための奥行き情報の計測方法である。
【０１６１】
前記実施例１では、１つの計測地点から取得した奥行き情報を用いて前記投影面部分領域Ｓ_ｊを決定している。しかしながら、計測地点が１点の場合、被写体の形状によっては、例えば、前記計測地点からでは計測できない領域が出てくる。前記奥行き情報を計測できない、すなわち取得できない領域があると、その部分は投影面部分領域に含まれない。そのため、設定した仮想視点の位置によっては、生成した仮想視点画像に欠損が生じ、品質が低下する。
【０１６２】
そのような問題を解決するために、本実施例４では、例えば、図１７に示すように、２つの計測地点Ｆ１，Ｆ２のそれぞれから、前記被写体３の奥行き情報を計測して取得する。そして、仮想視点位置Ｐに応じて、２つの奥行き情報のうち、画像の欠損が少ない奥行き情報を選択し、その奥行き情報を用いて投影面部分領域を決定する。なお、図１７では、計測地点が２つの例を示しているが、これに限らず、３つ以上の計測地点から奥行き情報を取得し、その中から最適な奥行き情報を決定してもよい。
【０１６３】
前記複数の奥行き情報の中の一つを選択する場合は、まず、図１８に示すように、複数の計測地点から複数の奥行き情報を計測（ステップ７０４ｄ）しておき後、仮想視点位置Ｐの情報を取得する（ステップ７０４ｅ）。前記仮想視点位置Ｐの情報は、前記実施例１で説明したような入力手段５から入力される。
【０１６４】
次に、複数の計測地点の中から、前記仮想視点位置からの画像生成に最適な計測地点Ｆ^＊を選択する（ステップ７０４ｆ）。
次に、前記選択した計測地点から計測した奥行き情報を投影面部分領域決定手段に送る（ステップ７０４ｇ）。
このとき、最適な計測地点Ｆ^＊は、一般に、前記仮想視点位置に最も近い計測地点を選択すると、生成した画像の劣化も小さくなるが、場合によっては、画質が低下することもある。
【０１６５】
例えば、図１７に示したように、２つの計測地点Ｆ１，Ｆ２から奥行き情報を取得したときに、仮想視点位置Ｐから一番近いのは計測地点Ｆ１である。しかしながら、計測地点Ｆ１から計測した奥行き情報では、前記仮想視点位置Ｐから見える被写体表面上であって、かつ、前記計測地点Ｆ１からは計測できない領域３Ａが多い。そのため、前記計測地点Ｆ１から取得した奥行き情報を用いて仮想視点画像を生成すると画質が低下する。一方、計測地点Ｆ２は、前記仮想視点位置Ｐとの距離は大きくなるが、図１９に示すように、前記仮想視点位置Ｐから見える領域と前記計測地点Ｆ２からは計測できない領域３Ａの重なりが少ない。そのため、この場合には、前記計測地点Ｆ１の奥行き情報よりも、計測地点Ｆ２から取得した奥行き情報を用いたほうが好ましいと考えられる。すなわち、選択する計測位置は、仮想視点位置との距離だけでなく、被写体の形状なども考慮する必要がある。
【０１６６】
図２０は、本実施例４の奥行き情報の選択方法を説明するための模式図であり、ジャンプエッジを説明するための図である。
前記複数の計測地点から取得した奥行き情報の中から、最適な奥行き情報を選択する方法としては、ジャンプエッジと呼ばれる奥行き情報の不連続箇所が最も小さくなる計測地点を選択する方法がある。
【０１６７】
前記奥行き情報を取得するときに、例えば、図２０に示すように、ある計測地点Ｆｋから、２つの物体３０１，３０２からなる被写体の奥行き情報を計測し、取得したとする。このとき、前記計測地点Ｆｋからは、図２０に示したように、前記物体３０１，３０２の領域３Ｂの奥行き情報を取得することができる。
【０１６８】
ここで、前記計測地点Ｆｋから取得した奥行き情報を用いて、図２０に示したような仮想視点位置Ｐからの仮想視点画像を生成しようとすると、奥行き情報が不連続な箇所１１が生じる。この奥行き情報が不連続な箇所１１は、ジャンプエッジと呼ぶ。
【０１６９】
最適な奥行き情報を取得するには、各計測地点で取得した奥行き情報に関して、前記ジャンプエッジ１１の仮想視点位置Ｐを頂点とした立体角１３を求める。前記立体角は、例えば、前記仮想視点位置Ｐを頂点とし、前記ジャンプエッジ１１を底面とした錐体を考え、前記頂点Ｐを中心とする半径１の球を作り、前記錐体が切り取る球の表面部分の面積の大きさとして求める。またこのとき、前記ジャンプエッジ１１が複数箇所にわかれている場合は、それぞれの立体角を求め、その総和をとる。
【０１７０】
そして、前記各計測地点に関するジャンプエッジ１１の立体角１３もしくはその総和の値が最も小さい地点をＦ^＊として選択する。
またこのとき、前記立体角１３の替わりに、前記仮想視点位置Ｐにおける透視投影変換像におけるジャンプエッジ１１の面積の総和によって選択することも可能である。
【０１７１】
前記透視投影変換は、図３に示したレンダリングを行うステップ７１２で用いる透視投影変換と一致させると、ジャンプエッジの透視投影変換像が実際にレンダリングした時の画像の欠損領域と一致する。そのため、生成画像の画質に即した評価基準となる。
【０１７２】
図２１は、本実施例４の奥行き情報の選択方法を説明するための模式図であり、他の選択方法を説明するためのフローチャートである。
前記奥行き情報を計測する計測地点を複数にした場合、図１８に示したように、全ての計測地点において奥行き情報を取得しておき、仮想視点位置Ｐに応じて、用いる奥行き情報を選択する方法のほかに、仮想視点位置Ｐに応じて、前記奥行き情報を計測する地点を決定する方法もある。
【０１７３】
前記仮想視点位置Ｐを先に決める場合には、図２１に示すように、まず、仮想視点Ｐを取得（ステップ７０４ｈ）し、前記仮想視点位置Ｐに応じた奥行き計測地点Ｆ^＊を選択する（ステップ７０４ｉ）。その後、選択した計測地点Ｆ^＊のみで奥行き情報を計測（ステップ７０４ｊ）し、そこで得られた奥行き情報から前記投影面部分領域Ｓ_ｊを決定する（ステップ７０４ｋ）。
【０１７４】
前記仮想視点位置Ｐに応じて計測地点を選択する方法は、前記奥行き情報計測手段４として、参照光を照射する能動的計測法を用いる場合において有効であり、複数の計測地点から照射される参照光が、お互いの計測に影響を与える情況を回避することができる。
【０１７５】
なお、前記奥行き情報の計測地点Ｆ^＊は、前記奥行き情報計測手段４で決定してもよいし、前記仮想視点画像生成装置１（奥行き情報取得手段１０２）で決定してもよい。
【０１７６】
以上説明したように、本実施例４の仮想視点画像の生成方法によれば、複数の奥行き計測情報を計測する地点から、前記仮想視点位置Ｐに応じた計測地点Ｆ^＊を選択し、その計測地点Ｆ^＊からの奥行き情報を用いて前記投影面部分領域Ｓ_ｊを決定することで、前記仮想視点画像の精度をよくすることができる。
【０１７７】
なお、本実施例４では、図１７に示したように、計測地点が２つの例を示しているが、これに限らず、３つ以上の計測地点から奥行き情報を取得し、その中から最適な奥行き情報を決定してもよい。
【０１７８】
（実施例５）
図２２は、本発明による実施例５の仮想視点画像生成方法を説明するための模式図であり、投影面部分領域の決定方法を説明するためのフローチャートである。
【０１７９】
本実施例５の仮想視点画像の生成に用いる仮想視点画像生成装置は、前記実施例１で説明した装置と同様の構成であるため、詳細な説明は省略する。
また、本実施例５の仮想視点画像生成方法では、前記実施例４で説明したように、複数の計測地点から取得した奥行き情報を用いて投影面部分領域を決定するが、前記実施例４で説明した方法と異なり、全ての計測地点から取得した奥行き情報を統合して用いる。
【０１８０】
本実施例５の仮想視点画像生成方法における前記投影面部分領域を決定する手順は、図２２に示すように、まず、複数の計測地点から取得した奥行き情報を３次元空間上に投影する（ステップ７０４ｌ）。このとき、全ての計測地点からの奥行き情報を投影することも可能であるし、仮想視点位置Ｐの近傍の奥行き計測地点をいくつか選択して、それらの奥行き情報のみを投影することも可能である。
【０１８１】
次に、前記３次元空間中に投影した奥行き情報のうち、複数の計測地点から計測された領域、すなわち重複する情報があれば、それらを統合して整合性をとる（ステップ７０４ｍ）。前記重複する情報を統合するには、例えば、特開２０００−２１５３１１号公報に記載された方法を用いることができる。
【０１８２】
次に、前記統合するステップ７０４ｍで得られた３次元空間中の被写体のデータに仮想視点位置Ｐを投影中心とした透視投影変換をすることで、仮想視点位置Ｐからの奥行き情報の形に変換する（ステップ７０４ｎ）。
【０１８３】
その後、前記ステップ７０４ｎで得られた、前記仮想視点位置Ｐからの奥行き情報に、前記数式１もしくは前記数式４を当てはめることで、投影面部分領域Ｓ_ｊを決定する（ステップ７０４ｐ）。
【０１８４】
以上説明したように、本実施例５の仮想視点画像生成方法によれば、複数の計測地点から取得した奥行き情報を統合することにより、前記実施例４で説明したようなジャンプエッジを防ぐことができる。そのため、前記実施例４で説明した投影面部分領域決定方法を用いた仮想視点画像生成方法に比べて、生成画像の欠損が少なく、品質の高い画像を得ることができる。
【０１８５】
以上、本発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において、種々変更可能であることはもちろんである。
【０１８６】
【発明の効果】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば、以下の通りである。
（１）複数のカメラで撮影した被写体の画像を用いて、仮想視点位置から前記被写体を見たときの仮想視点画像を生成する仮想視点画像生成方法及び装置において、生成する仮想視点画像の精度を保ち、かつ、仮想視点画像の生成にかかる処理時間を短くする（高速にする）ことができる。
（２）前記仮想視点画像生成方法をコンピュータに実行させる仮想視点画像生成プログラム、及び前記仮想視点画像生成プログラムを記録した記録媒体を得ることができる。
【図面の簡単な説明】
【図１】本発明による実施例１の仮想視点画像生成装置の概略構成を示す模式図であり、仮想視点画像生成装置全体の構成を示すブロック図である。
【図２】本発明による実施例１の仮想視点画像生成装置の概略構成を示す模式図であり、図１の部分画像抽出貼り付け手段の構成を示すブロック図である。
【図３】本実施例１の仮想視点画像生成装置を用いた仮想視点画像生成方法を説明するための模式図であり、仮想視点画像生成装置内で行う画像処理のフローチャートである。
【図４】本実施例１における仮想視点画像の生成方法を説明するための模式図であり、カメラの配置と画像投影面の配列の例を示す図である。
【図５】本実施例１における仮想視点画像の生成方法を説明するための模式図であり、図５（ａ）及び図５（ｂ）はボロノイ領域について説明するための図である。
【図６】本実施例１における仮想視点画像の生成方法を説明するための模式図であり、カメラ部分領域の決定方法を説明するための図である。
【図７】本実施例１の仮想視点画像の生成方法を説明するための模式図であり、画像投影面の設定方法の一例を示す図である。
【図８】本実施例１の仮想視点画像の生成方法を説明するための模式図であり、投影面部分領域の決定方法の一例を示す図である。
【図９】本実施例１の仮想視点画像の生成方法を説明するための模式図であり、投影面部分領域の決定方法の一例を示す図である。
【図１０】本実施例１の仮想視点画像の生成方法を説明するための模式図であり、投影面部分領域の他の決定方法の一例を示す図である。
【図１１】本実施例１の仮想視点画像の生成方法を説明するための模式図であり、投影面部分領域の他の決定方法の一例を示す図である。
【図１２】本発明による実施例２の仮想視点画像生成方法を説明するための模式図であり、図１２（ａ）及び図１２（ｂ）は奥行き情報計測手段の概略構成を示す図である。
【図１３】本発明による実施例２の仮想視点画像生成方法を説明するための模式図であり、奥行き情報の計測方法を説明するための図である。
【図１４】本発明による実施例３の仮想視点画像生成方法を説明するための模式図であり、投影面部分領域の決定方法を説明するためのフローチャートである。
【図１５】本発明による実施例３の仮想視点画像生成方法を説明するための模式図であり、前記実施例１で説明した方法で投影面部分領域を決定したときの図である。
【図１６】本発明による実施例３の仮想視点画像生成方法を説明するための模式図であり、本実施例３で説明する方法で投影面部分領域を決定したときの図である。
【図１７】本発明による実施例４の仮想視点画像生成方法を説明するための模式図であり、奥行き計測地点の決定方法を説明するための模式図である。
【図１８】本発明による実施例４の仮想視点画像生成方法を説明するための模式図であり、投影面部分領域を決定するために用いる奥行き情報の選択方法を説明するためのフローチャートである。
【図１９】本発明による実施例４の仮想視点画像生成方法を説明するための模式図であり、奥行き計測地点の決定方法を説明するための模式図である。
【図２０】本実施例４の奥行き情報の選択方法を説明するための模式図であり、ジャンプエッジを説明するための模式図である。
【図２１】本実施例４の奥行き情報の選択方法を説明するための模式図であり、他の選択方法を説明するためのフローチャートである。
【図２２】本発明による実施例５の仮想視点画像生成方法を説明するための模式図であり、投影面部分領域の決定方法を説明するためのフローチャートである。
【符号の説明】
１…仮想視点画像生成装置、１０１…被写体画像取得手段、１０２…奥行き情報取得手段、１０３…画像投影面設定手段、１０４…対応関係決定手段、１０５…部分画像抽出貼り付け手段、１０５ａ…初期化手段、１０５ｂ…投影面部分領域決定手段、１０５ｃ…カメラ部分領域抽出手段、１０５ｄ…座標変換手段、１０５ｅ…投影用画像貼り付け手段、１０５ｆ…第１判定手段、１０５ｇ…第２判定手段、１０６…レンダリング手段、２…カメラ、３…被写体、４…奥行き情報計測手段、４０１…参照光照射手段、４０２…撮像手段、４０２ａ…撮像面、４０２ｂ…光学系調節手段、４０２ｃ…ゲート、５…視点位置入力手段、６…表示手段、８…カメラ設置面、Ｐ…仮想視点位置、Ｆ…奥行き情報計測地点。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a virtual image generation method, a virtual image generation device, and a recording medium, and more particularly to a method of using an image of a subject captured by a plurality of cameras from a viewpoint position (virtual viewpoint position) where there is no camera. The present invention relates to a technique which is effective when applied to a method of generating an image (virtual viewpoint image) when the user sees the image.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, by using computer graphics (Computer Graphics) or virtual reality (Virtual Reality) technology, an image taken by a camera installed around a subject is used to actually use a viewpoint position without a camera (hereinafter, referred to as a virtual viewpoint position). ), An image (hereinafter, referred to as a virtual viewpoint image) when the subject is viewed can be generated and observed.
In recent years, the CG and VR technologies have been developed, and it has become possible to generate more realistic virtual viewpoint images.
[0003]
Methods for generating the virtual viewpoint image are roughly classified into two types, a geometric base and an image base.
The geometric-based virtual viewpoint image generation method includes, after acquiring a geometric model of the subject, expressing the model as a set of basic figures called polygons or voxels, and performing two-dimensional transformation such as perspective projection or orthographic projection. To generate a virtual viewpoint image.
[0004]
Further, as a method of acquiring the geometric model, for example, there is a method (stereo method) of matching corresponding regions between multi-view images and obtaining the distance based on the principle of triangulation (for example, non- See Patent Document 1.).
In addition to the stereo method, the method of obtaining the geometric model includes, for example, a method of obtaining an area occupied by the subject in space based on the contour of the subject (Shape from Silhouette method). (For example, see Non-Patent Document 2).
In addition, for example, there is a method combining the stereo method and the Shape from Silhouette method (for example, see Non-Patent Document 3).
[0005]
Many methods for obtaining the geometric model have been studied as Shape from X in the field of computer vision.
However, the above-mentioned method of generating a virtual viewpoint image based on the geometry has an essential problem that cannot be avoided by the computer vision approach, such that the image processing itself is difficult or vulnerable to noise. Therefore, there is a problem that the image generation processing takes time and the quality (accuracy) of the generated virtual viewpoint image is poor.
[0006]
Among the geometric-based methods, in particular, in the stereo method, it is essentially difficult to detect the correspondence between images for each pixel (for example, see Non-Patent Document 4). Therefore, in the stereo method, since pattern matching is usually performed on a group of several pixels, the resolution in the horizontal and vertical directions is low and insufficient.
[0007]
On the other hand, the image-based virtual viewpoint image generation method is a method born from the field of computer graphics, and generates a virtual generation image based on images taken from a number of viewpoint positions by a camera. Are generated by two-dimensional image processing without obtaining a model of the subject (for example, see Non-Patent Document 5, Non-Patent Document 6, and Non-Patent Document 7).
[0008]
The image-based method is called image-based rendering, and although the processing is extremely simple, the generated image has photorealism.
[0009]
However, in the image-based method, the required density of viewpoint positions of the multi-view image is higher than in the geometric-based method, and as a result, the data amount is increased. Therefore, moving the camera little by little with respect to a stationary subject, once storing multi-view image data in a memory or an external storage device, and then referring to the multi-view image data to generate a virtual viewpoint image It becomes a processing procedure.
[0010]
In the case of the method according to the processing procedure, once the multi-view image data is stored, the time required to generate the virtual viewpoint image is reduced, but the time required to store the multi-view image data is reduced. Processing (offline processing) takes time.
[0011]
As described above, the image-based method is not suitable for applications requiring real-time performance such as communication, and is mainly used for appreciating a stationary object.
[0012]
Therefore, in recent years, although a process of acquiring the model of the subject is not performed, a geometrical structure of a plane is roughly assumed at a position of the subject, and a partial image is appropriately determined based on a virtual viewpoint position among images from a number of cameras. There has been proposed a method of reducing the required camera density by projecting the image onto a camera (for example, see Non-Patent Document 8).
[0013]
In the method of reducing the camera density, the viewpoint density required for the multi-view image data becomes more realistic as the cameras can be actually arranged, and the time required to store the multi-view image data is reduced. be able to. Therefore, the processing time from the photographing of the image of the subject to the generation of the virtual viewpoint image is reduced, and the processing can be performed in real time.
[0014]
In the method of reducing the camera density, the actual shape of the subject and the assumed plane shape are different in many cases. Therefore, when a certain point on the subject deviates from the assumed position of the plane, the point of the subject mapped on the virtual viewpoint image includes an error.
[0015]
However, when the error of each point of the subject is smaller than the accuracy required for the virtual viewpoint image, there is substantially no problem. At this time, the accuracy required for the virtual viewpoint image is generally about one pixel in the virtual viewpoint image, and there is no problem as long as the error is within one pixel.
[0016]
At this time, in order to ensure that the maximum value of the error of each point of the subject falls within an allowable range, the position where each point of the subject can exist is limited to a position before and after the assumed plane. Area. The front and rear of the assumed plane correspond to the depth of the subject (image).
[0017]
The length (distance) of the depth range is called an equivalent depth of field, and has a trade-off relationship with the camera interval. However, at intervals where cameras can be arranged in a realistic manner, the equivalent depth of field tends to be insufficient, and there is a drawback that an operation range is limited when a subject is a person or the like. Therefore, it has been difficult to say that the method of reducing the density of the camera is a sufficiently practical method.
[0018]
In addition, while a method of generating a virtual viewpoint image such as the geometric base or the image base is progressing, a distance measurement technique is also progressing. In the field of the distance measurement technology, a distance measurement method called an active method that not only passively senses information of an object but also performs active sensing such as irradiating the reference light to the object and measuring a result thereof is known. Proposed. A representative example of the distance measurement method using the active method is a measurement method based on a time-of-flight method.
[0019]
The distance measurement method based on the time-of-flight method, when irradiating the reference light to the measurement target, from the time required until the reference light is reflected by the measurement target and returned, the distance to the measurement target This is the calculation method.
[0020]
When performing distance measurement based on the time-of-flight method, previously, irradiation of reference light and detection of reflected light were performed on each point of the measurement target, so that distance measurement of the entire measurement target was performed Scanning had to be performed on the entire measurement object. For this reason, when the measurement target becomes large, the measurement time becomes long, and it is difficult to perform measurement in real time.
[0021]
However, with the recent development of electronic elements, it has become possible to measure a plurality of points on the measurement target at one time, and to obtain depth information of an object from a specified measurement point at a real-time level. (For example, see Patent Document 1, Non-Patent Document 9, and Non-Patent Document 10).
[0022]
The distance measurement method includes a measurement method based on a method called a light section method, in addition to the method based on the time-of-flight method. In recent years, a measurement method based on the light section method has also become possible to perform processing in real time (for example, see Non-Patent Document 11).
[0023]
A distance measurement device that performs distance measurement based on the time-of-flight method or the light-section method has high resolution in the horizontal and vertical directions, and can obtain depth information of a measurement target in pixel units.
[0024]
However, even when the distance measuring device is used, the resolution in the depth direction cannot be said to be sufficient yet, and there is no accuracy (performance) enough to generate a model of a subject (measurement target). Difficult to apply to image generation methods.
[0025]
[Non-patent document 1]
Takeo Kanade et al. : "Virtualized Reality: Constructing Virtual Worlds from Real Scenes," IEEE MultiMedia, Vol. 4, No. 1, pp. 34-47, 1997
[Non-patent document 2]
Wojciech Matusik et al. : "Image-Based Visual Hulls," SIGGRAPH2000 Conference Proceedings, pp. 369-374, 2000
[Non-Patent Document 3]
Mika Katayama et al .: Prototype of an arbitrary viewpoint video generation system using a multi-view HDTV camera, Proceedings of the 2002 IEICE General Conference, p. 160, 2002
[Non-patent document 4]
Masatoshi Okutomi: "Why is stereo difficult?", Journal of the Robotics Society of Japan, Vol. 16, No. 6, pp. 39-43, 1998
[Non-Patent Document 5]
Marc Levoy and Pat Hanrahan: “Light Field Rendering,” SIGGRAPH '96 Conference Proceedings, pp. 34-41, 1996
[Non-Patent Document 6]
Steven J. Gortler et al. : "The Lumigraph," SIGGRAPH '96 Conference Proceedings, pp. 43-54, 1996
[Non-Patent Document 7]
Akihiro Katayama et al .: "Viewpoint-following 3D image display method by interpolation and reconstruction of multi-view images", IEICE Journal, Vol. J79-DII, No. 5, pp. 803-811, 1996
[Non-Patent Document 8]
Yutaka Kunida et al .: “Real-time generation system of arbitrary viewpoint person image using multi-view camera”, IEICE Journal, Vol. J84-DII, No. 1, pp. 129-138, 2001
[Non-Patent Document 9]
G. FIG. J. Iddan and G. Yahav; "3D Imaging in the Studio (and Eleshere ...)," Proceedings of SPIE, Vol. 4298, pp. 48-55, 2001
[Non-Patent Document 10]
Masahiro Kawakita et al .: "Development of 3D Imaging Device Axi-Vision Camera", 3D Image Conference '99, pp. 151-156, 1999
[Non-Patent Document 11]
S. Yoshikawa et al. : "A 48kframes / s CMOS Image Sensor for Real-time 3-D Sensing and Motion Detection," ISSCC Digest of Technical Papers, pp. 94-95, 2001
[Patent Document 1]
U.S. Pat. No. 6,323,942
[0026]
[Problems to be solved by the invention]
As described in the related art, when generating the virtual viewpoint image, for example, when trying to increase the accuracy of the generated virtual viewpoint image, the processing time required to generate the image increases, There is a problem that it is difficult to generate a virtual viewpoint image at a real time level.
Conversely, if a virtual viewpoint image is to be generated at a real time level, the processing time required to generate the virtual viewpoint image is reduced, but the accuracy of the generated virtual viewpoint image is reduced. there were.
[0027]
An object of the present invention is to provide a virtual viewpoint image generating method and apparatus for generating a virtual viewpoint image when viewing the object from a virtual viewpoint position using images of the object captured by a plurality of cameras. It is an object of the present invention to provide a technique capable of maintaining the accuracy of (1) and reducing (speeding up) the processing time required for generating a virtual viewpoint image.
[0028]
Another object of the present invention is to provide a virtual viewpoint image generation program for causing a computer to execute the virtual viewpoint image generation method, and a recording medium on which the virtual viewpoint image generation program is recorded.
The above and other objects and novel features of the present invention will become apparent from the description of the present specification and the accompanying drawings.
[0029]
[Means for Solving the Problems]
The outline of a typical invention among the inventions disclosed in the present application will be described as follows.
[0030]
The first invention uses a plurality of subject images (hereinafter, referred to as subject images) photographed by a plurality of cameras and uses a plurality of images of the subject as viewed from a viewpoint position designated in advance (hereinafter, referred to as a virtual viewpoint position). A virtual viewpoint image generating method for generating an image of a subject (hereinafter, referred to as a virtual viewpoint image), comprising: a first step of acquiring depth information of the subject; and the arrangement, number, and shape of a plurality of transparent image projection planes A second step of determining the correspondence between the coordinates of each of the subject images and the coordinates of the image projection plane. Based on the depth information of the subject, each of the plurality of image projection planes A fourth step of determining an area where an image can be pasted (hereinafter, referred to as a projection plane partial area), and extracting the subject image from the subject image based on the virtual viewpoint position. A fifth step of determining an area (hereinafter, referred to as a camera partial area) to be used for image generation on the designated image projection plane and extracting an image of the camera partial area; and coordinates of the image extracted in the fifth step A step of converting the coordinates into coordinates on the designated image projection plane based on the correspondence determined in the third step, and the projection plane portion of the image subjected to the coordinate transformation in the sixth step A seventh step of pasting a portion overlapping an area onto the image projection plane, an eighth step of repeatedly performing the fifth step, the sixth step, and the seventh step for all subject images, and a second step A ninth step of repeating the fifth step, the sixth step, the seventh step, and the eighth step for all the image projection planes set in A three-dimensional image composed of the image projection surface to which the image is pasted, two-dimensionally rendering the three-dimensional image from the virtual viewpoint position to generate the virtual viewpoint image. The second step is a virtual viewpoint image generation method for setting the arrangement, number, and shape of the image projection plane according to the accuracy of the virtual viewpoint image and the virtual viewpoint position or the moving range of the virtual viewpoint.
[0031]
According to the first aspect, similarly to the conventional image-based virtual viewpoint image generation method, the virtual viewpoint image can be generated in a short time (high speed) by a simple image pasting (texture mapping) process. .
[0032]
Further, since a plurality of image projection planes on which the projection images are pasted are set, and the projection images can be pasted on the image projection plane near the position where the subject actually exists, the actual position of each point on the subject A deviation between a position and a position on the projection image pasted on the image projection plane can be reduced, and an error in the generated virtual viewpoint image can be suppressed to a small value. Also, at this time, the depth range of the subject in which the error in the virtual viewpoint image falls within the allowable range can be made wider than in the case where the conventional image projection plane is a single plane. Even in a wide depth range over a plane, the error of the virtual viewpoint image can be kept within an allowable range.
[0033]
The magnitude of the error in the virtual viewpoint image depends on the configuration of the image projection plane, that is, the arrangement, number, and shape of the image projection plane and the virtual viewpoint position, and refines the configuration of the image projection plane. The smaller the error of the generated virtual viewpoint image, the smaller the error. However, it is not necessary for the configuration of the image projection plane to make the error of the virtual viewpoint image smaller than the accuracy required for the virtual viewpoint image.
[0034]
Therefore, as in the first aspect, the configuration of the image projection plane is automatically set according to the virtual viewpoint position or the movement range so as to satisfy the accuracy required for the virtual viewpoint image. At this time, since the fineness of the configuration of the image projection plane is limited to satisfy the accuracy required for the virtual viewpoint image, the processing time required for image generation is also limited. Therefore, it is possible to reduce the load due to unnecessary calculations, and to generate a virtual viewpoint image at high speed (for a short time).
[0035]
In a second aspect based on the first aspect, the first step comprises: resolving and measuring depth information of the subject in accordance with the virtual viewpoint position or moving range and an error allowed in the virtual viewpoint image. This is a virtual viewpoint image generation method for determining a range.
[0036]
According to the second aspect, the measurement of the depth information can be limited to a resolution and a measurement range necessary for forming an image projection plane, and the measurement time can be reduced, and the reliability of the depth information can be reduced. Can be improved.
[0037]
When an active distance measurement method is used as a method for measuring the depth information, for example, the resolution of the depth information and the determinant of the measurement range mainly depend on the encoding method of the reference light. Therefore, it is hard to be affected by the subject and the surrounding state of the subject, and it is possible to shorten the measurement time and improve the reliability of the depth information.
[0038]
A third invention is the virtual viewpoint image generation method according to the first invention or the second invention, wherein the fourth step determines the projection plane partial region according to the virtual viewpoint position.
[0039]
According to the third aspect, by changing the projection plane partial area as needed according to the virtual viewpoint position, when the virtual viewpoint position moves, the projection plane partial area of the adjacent image projection plane is changed. The area without the projection image can be prevented from being exposed from the gap, and the deterioration of the generated virtual viewpoint image can be suppressed.
[0040]
In a fourth aspect based on the first aspect, the second aspect, and the third aspect, the first step acquires depth information of the subject from a plurality of points, and the fourth step includes: And a virtual viewpoint image generation method for selecting and using depth information corresponding to the virtual viewpoint position from among the plurality of pieces of depth information acquired from the plurality of points.
[0041]
According to the fourth aspect, by selecting one piece of depth information from a plurality of pieces of depth information acquired from a plurality of points, it is possible to make it difficult to cause loss of the depth information due to the shape of the subject. Therefore, it is possible to prevent the generated virtual viewpoint image from deteriorating, and to enhance the image quality.
[0042]
In a fifth aspect based on the first aspect, the second aspect, and the third aspect, the first step acquires depth information of the subject from a plurality of points, and the fourth step includes: And a virtual viewpoint image generation method using a plurality of pieces of depth information acquired from the plurality of points.
[0043]
According to the fifth aspect, it is possible to supplement depth information of an area where depth information cannot be obtained from a specific measurement point with depth information obtained from another measurement point. Therefore, similarly to the fourth aspect, it is possible to prevent loss of the depth information and prevent deterioration of the generated virtual viewpoint image.
[0044]
According to a sixth aspect of the present invention, a plurality of images of a subject (hereinafter, referred to as subject images) photographed by a plurality of cameras are used, and the image is viewed from a viewpoint position designated in advance (hereinafter, referred to as a virtual viewpoint position). What is claimed is: 1. A virtual viewpoint image generating apparatus for generating an image of a subject (hereinafter, referred to as a virtual viewpoint image), said subject image obtaining means for obtaining said plurality of subject images, and depth information for obtaining depth information of said subject. Acquisition means, image projection plane setting means for setting the arrangement, number, and shape of a plurality of transparent image projection planes, and correspondence determination for determining the correspondence between the coordinates of each subject image and the coordinates of the image projection plane Means and a projection plane for determining an area to which an image can be pasted (hereinafter referred to as a projection plane partial area) for each of the plurality of image projection planes based on the depth information of the subject A segment region determining means, and a region (hereinafter, referred to as a camera partial region) to be used for generating an image on a designated image projection plane in the subject image based on the virtual viewpoint position; A camera partial area extracting unit for extracting an image; and a coordinate converting unit for converting coordinates of the extracted image into coordinates on the designated image projection plane based on the correspondence determined by the correspondence determining unit. A projection image pasting unit for pasting a portion of the image subjected to the coordinate transformation by the coordinate transformation unit, which overlaps the projection surface partial area of the designated image projection surface, to the image projection surface; and A first determination unit that determines whether the camera partial area extraction unit, the coordinate conversion unit, and the projection image pasting unit have been repeatedly performed; and A second determination unit that determines whether the camera partial region extraction unit, the coordinate conversion unit, the projection image pasting unit, and the first determination unit have been repeatedly performed, and the image projection surface on which the projection image is pasted. Rendering means for two-dimensionally rendering (rendering) a three-dimensional image consisting of the following from the virtual viewpoint position to generate the virtual viewpoint image, wherein the image projection plane setting means comprises: , And a means for setting the arrangement, number, and shape of the image projection plane according to the virtual viewpoint position or the moving range of the virtual viewpoint.
[0045]
The sixth invention is an apparatus for realizing the virtual viewpoint image generation method according to the first invention, wherein the accuracy of the generated virtual viewpoint image is improved by using the virtual viewpoint image generation apparatus including the respective units. And image processing can be performed at high speed (for a short time).
[0046]
In a seventh aspect based on the sixth aspect, the depth information obtaining means obtains depth information measured from a plurality of measurement points, and the projection plane partial area determining means obtains depth information measured from the plurality of measurement points. A virtual viewpoint image generation device including depth information selection means for selecting depth information according to the virtual viewpoint position from information.
[0047]
According to the seventh aspect, since depth information selecting means for realizing the fourth aspect is provided, loss of depth information can be prevented. Therefore, a high-quality virtual viewpoint image can be generated.
[0048]
In an eighth aspect based on the sixth aspect, the depth information acquisition means acquires depth information measured from a plurality of measurement points, and the projection plane partial area determination means measures the depth information from the plurality of measurement points. This is a virtual viewpoint image generation device including depth information integration means for integrating depth information.
[0049]
According to the eighth aspect, since the depth information integrating means for realizing the fifth aspect is provided, it is possible to make it difficult for loss of depth information to occur. Therefore, a high-quality virtual viewpoint image can be generated.
[0050]
The ninth invention is directed to the ninth invention, wherein the image is viewed from a viewpoint position designated in advance (hereinafter, referred to as a virtual viewpoint position) using a plurality of subject images (hereinafter, referred to as subject images) photographed by a plurality of cameras. A virtual viewpoint image generation program for causing a computer to execute a virtual viewpoint image generation method for generating an image of a subject (hereinafter, referred to as a virtual viewpoint image), wherein the virtual viewpoint image generation program causes depth information of the subject to be acquired. Procedure 1, Procedure 2 for setting the arrangement, number, and shape of a plurality of transparent image projection planes in accordance with the accuracy of the virtual viewpoint image and the virtual viewpoint position or the moving range of the virtual viewpoint, Step 3 of determining the correspondence between the coordinates of the image and the coordinates of the image projection plane, and the step 3 of the plurality of image projection planes based on the depth information of the subject. In response to this, a procedure 4 for determining an area to which an image can be pasted (hereinafter referred to as a projection plane partial area), and, based on the virtual viewpoint position, A procedure 5 for determining a region (hereinafter, referred to as a camera partial region) used for generating an image on the projection plane and extracting an image of the camera partial region, and coordinates of the image extracted in the procedure 5 are determined in the procedure 3. Step 6 of converting the coordinates to the coordinates on the designated image projection plane based on the determined correspondence, and a part of the image subjected to the coordinate transformation in the step 6 which overlaps with the projection plane partial area is subjected to the image projection. Step 7 for pasting on the surface, Step 8 for repeating

Steps

5, 6, and 7 for all subject images, and Step 8 for all image projection planes set in Step 2. And a procedure 9 for repeating the procedure 5, the procedure 6, the procedure 7, and the procedure 8 and a three-dimensional image composed of the image projection surface on which the image is pasted, from the virtual viewpoint position. A virtual viewpoint image generation program for causing a computer to execute a step 10 of two-dimensionally rendering (rendering) and generating the virtual viewpoint image.
[0051]
In a ninth aspect based on the ninth aspect, the step 1 includes the resolution and measurement range of the depth information of the subject in accordance with the virtual viewpoint position or the movement range and an error allowed in the virtual viewpoint image. Is a virtual viewpoint image generation program that determines
[0052]
According to an eleventh aspect, in the ninth aspect or the tenth aspect, the procedure 4 comprises:
A virtual viewpoint image generation program for determining the projection plane partial region according to the virtual viewpoint position.
[0053]
In a twelfth aspect based on any of the ninth aspect to the eleventh aspect, the step 1 obtains depth information of the subject from a plurality of points, and the step 4 obtains depth information from the plurality of points. A virtual viewpoint image generation program for selecting depth information corresponding to the virtual viewpoint position from among the plurality of pieces of depth information.
[0054]
In a thirteenth aspect based on the ninth to eleventh aspects, the step 1 causes the depth information of the subject to be obtained from a plurality of points, and the step 4 includes a plurality of the depth information obtained from the plurality of points. This is a virtual viewpoint image generation program that integrates depth information.
[0055]
The ninth to thirteenth inventions are programs which allow a computer to execute the virtual viewpoint image generation methods according to the first to fifth inventions, wherein a dedicated device is used. Instead, a virtual viewpoint image can be generated.
[0056]
A fourteenth invention is a recording medium on which the virtual viewpoint image generation program according to any one of the ninth to thirteenth inventions is recorded.
According to the fourteenth aspect, the virtual viewpoint image can be easily generated without using a dedicated device.
[0057]
Hereinafter, the present invention will be described in detail with embodiments (examples) with reference to the drawings.
In all the drawings for describing the embodiments, components having the same function are denoted by the same reference numerals, and the repeated description thereof will be omitted.
[0058]
BEST MODE FOR CARRYING OUT THE INVENTION
(Example 1)
1 and 2 are schematic diagrams illustrating a schematic configuration of a virtual image generation device according to a first embodiment of the present invention. FIG. 1 is a block diagram illustrating a configuration of the entire virtual image generation device. FIG. FIG. 4 is a block diagram illustrating a configuration of an image extracting and pasting unit.
[0059]
In FIG. 1, 1 is a virtual viewpoint image generation device, 101 is a subject image acquisition unit, 102 is depth information acquisition unit, 103 is an image projection plane setting unit, 104 is a correspondence determination unit, 105 is a partial image extraction and pasting unit, Reference numeral 106 denotes a rendering unit, 2 denotes a camera, 3 denotes a subject, 4 denotes a depth information measuring unit, 5 denotes a viewpoint position input unit, and 6 denotes a display unit. In FIG. 2, reference numeral 105a denotes initialization means, 105b denotes projection plane partial area determination means, 105c denotes camera partial area extraction means, 105d denotes coordinate conversion means, 105e denotes projection image pasting means, and 105f denotes first determination means. , 105g are second determining means.
[0060]
As shown in FIG. 1, the virtual image generation device 1 according to the first embodiment performs measurement using a subject image acquisition unit 101 that acquires images of a subject 3 captured by a plurality of cameras 2 and a depth information measurement unit 4. Depth information acquiring means 102 for acquiring depth information of the subject 3, image projecting plane setting means 103 for setting the arrangement, number, and shape of a plurality of transparent image projecting planes, coordinates of each subject image and the image projection A correspondence determination unit 104 for determining a correspondence relationship with the coordinates of the surface; a subject image acquired by the subject image acquisition unit 101; depth information acquired by the depth information acquisition unit 102; A partial image extracting and pasting unit that partially extracts the subject image using the correspondence relationship and pastes the subject image on the image projection plane set by the image projection plane setting unit 103 05 and a rendering means 106 for rendering (two-dimensionally) the image projection surface on which the image is pasted by the partial image extraction / pasting means 105 at the virtual viewpoint position input from the viewpoint position input means 5. .
[0061]
As shown in FIG. 2, the partial image extracting and pasting unit 105 pastes an image onto each of the plurality of image projection planes based on the initializing unit 105a and the depth information of the subject 3. A projection plane partial area determination unit 105b for determining an attachable area (hereinafter, referred to as a projection plane partial area); and, based on the virtual viewpoint position, from the subject image on the designated image projection plane of the subject image. A camera partial area extracting unit 105c for determining an area (hereinafter, referred to as a camera partial area) used for generating an image of the camera partial area and extracting an image of the camera partial area, Based on the correspondence determined by the means 104, coordinate conversion means 105d for converting the coordinates on the image projection plane, and coordinate conversion by the coordinate conversion means 105d. Projection image pasting means 105e for pasting a portion of the image overlapping the projection plane partial area of the designated image projection plane to the image projection plane, and the camera partial area extraction means 105c for all subject images. A first determination unit 105f for determining whether the coordinate conversion unit 105d and the projection image pasting unit 105e have been repeatedly performed, and the camera partial area extraction unit 105c and the coordinate conversion unit 105d for all image projection planes. And a second determination unit 105g for determining whether the projection image pasting unit 105e and the first determination unit 105f have been repeatedly performed.
[0062]
At this time, the image projection plane setting means 103 sets the arrangement, number, and shape of the image projection plane according to the accuracy of the generated virtual viewpoint image and the virtual viewpoint position or the moving range of the virtual viewpoint.
[0063]
Further, the camera 2 is arranged, for example, such that the optical axis faces the direction of the subject 3 as shown in FIG. At this time, each image photographed by the plurality of cameras 2, that is, the image of the subject 3 photographed from various directions is transferred to the subject image obtaining means 101 provided in the virtual viewpoint image generating device 1. .
[0064]
The depth information measuring means 4 is a depth measuring device such as an active measuring device using the Time of Flight method. The depth information of the subject 3 measured by the depth information measurement unit 4 is transferred to the depth information storage unit 102 provided in the virtual viewpoint image generation device 1.
[0065]
The virtual viewpoint image generation device 1 is, for example, a computer, and each unit provided to generate the virtual viewpoint image is executed, for example, in accordance with a predetermined program.
[0066]
The virtual viewpoint position is input by using a viewpoint position input unit 5 such as a keyboard or a mouse. The virtual viewpoint image generated by the virtual viewpoint image generation device 1 is displayed on a display unit 6 such as a CRT or a liquid crystal display. At this time, the viewpoint position input unit 5 and the display unit 6 may be located near the virtual viewpoint image generation device 1 or may be installed in a remote place and connected by a network line or the like. Is also good.
[0067]
When generating a virtual viewpoint image using the virtual viewpoint image generation device 1 of the first embodiment, first, the subject image obtaining unit 101 obtains an image of the subject 3 captured by the plurality of cameras 2. At this time, for example, assuming that images of the subject 3 are taken by N cameras 2, the subject image acquiring unit 101 outputs N subject images CP. _i (I = 1, 2,..., N).
[0068]
At this time, the arrangement of the plurality of cameras 2 does not have to be an arrangement in which the optical axis of each camera 2 faces the direction of the subject 3 as shown in FIG. That is, the camera 2 may be arranged so as to surround the subject 3 on a circumference of a circle centered on the point where the subject 3 is placed. Further, the cameras 2 are not limited to the arc-shaped arrangement as shown in FIG. 1, but may be arranged, for example, in one row (linear) or in a two-dimensional lattice.
[0069]
When the subject 3 is an object (animal object) that moves with time, the subject 3 is photographed at regular intervals in accordance with the movement of the subject 3 and is transferred to the subject image acquiring means 101.
[0070]
Further, the depth information measuring means 4 is arranged, for example, in a place where the plurality of cameras 2 are installed and where the depth information of the entire subject 3 can be obtained. At this time, the information measured by the depth information measurement unit 4 is transferred to the depth information acquisition unit 102. The depth information acquired by the depth information acquisition unit 102 is information representing a complete three-dimensional shape of the subject 3. It is not necessary that the information has a depth value with respect to two-dimensional coordinates generally called a depth map.
[0071]
Further, as shown in FIG. 1, one depth information measuring means 4 may be provided, or a plurality of the depth information measuring means 4 may be provided to acquire the depth information of the subject 1 from various angles.
[0072]
Further, as the depth information measuring means 4, a measuring instrument capable of acquiring both a two-dimensional image of the subject 3 and depth information can be used. In this case, the measuring instrument can be used instead of some of the plurality of cameras 2.
[0073]
When the subject 3 is a moving object, the depth information of the subject 3 is measured at regular intervals, for example, as in the case of capturing an image with the camera 2. Forward.
[0074]
Further, the subject image CP _i When a virtual viewpoint image is generated using the depth information of the subject 3, the image projection plane setting unit 103, the correspondence determination unit 104, the partial image extraction and pasting unit 105, and the rendering unit 106 Perform image processing. Hereinafter, a method of generating a virtual viewpoint image by image processing using the above-described units will be described.
[0075]
FIG. 3 is a schematic diagram for explaining a virtual viewpoint image generation method using the virtual viewpoint image generation device of the first embodiment, and is a flowchart of image processing performed in the virtual viewpoint image generation device.
[0076]
When performing image processing using the virtual viewpoint image generation device 1, first, as shown in FIG. 3, a plurality of transparent image projection planes L are placed in a space inside the virtual viewpoint image generation device 1. _j (J = 1, 2,..., M) are set (step 701). The image projection plane L _j Is performed by the image projection plane setting means 103 provided in the virtual viewpoint image generation apparatus 1.
[0077]
At this time, the image projection plane L _j Is transparent, and therefore does not affect rendering in a state where no image is projected, that is, in a state where no image is pasted. Therefore, when pasting the image on the rear image projection surface, the front image projection surface, in the region where the image is pasted on the rear image projection surface, if the image is not pasted, The image pasted on the rear image projection surface can be seen through.
[0078]
Further, the image projection plane L _j Are optimally and automatically set according to the virtual viewpoint position so as to satisfy the accuracy required for the generated virtual viewpoint image according to the virtual viewpoint position. At this time, the image projection plane L _j The details of the setting method will be described later.
[0079]
Next, as shown in FIG. _i And the image projection plane L _j T with the coordinates of _ij Is determined (step 702). The correspondence T _ij Is determined by the correspondence determining unit 104 provided in the virtual viewpoint image generating apparatus 1.
[0080]
The correspondence T _ij Is the subject image CP _i May correspond to all points (pixels) of the object image CP _i Only the correspondence between the above representative points (pixels) may be determined, and the other points may be complemented based on the determined correspondence.
[0081]
Further, the subject image CP _i Can be regarded as an ideal perspective transformation, the correspondence T _ij May be a perspective transformation matrix. Further, by using data based on actual measurement values, the object image CP _i By correcting the distortion of the lens appearing above, the image projection plane L _j Can be projected on top.
[0082]
Next, as shown in FIG. _i And the image projection plane L _j Are initialized to i = 1 and j = 1 (step 703). The initialization of the variables i and j is performed by an initialization unit 105 a provided in the partial image extraction and pasting unit 105.
[0083]
Next, as shown in FIG. 3, based on the depth information acquired by the depth information acquisition means 102, the image projection plane L _j Upper projection plane partial area S _j Is determined (step 704). The projection plane partial area S _j Is determined by the projection plane partial area determining means 105b provided in the partial image extracting and pasting means 105.
[0084]
At this time, the projection plane partial area S _j Is the object image CP for generating a virtual viewpoint image. _i Is an area to which a part of is pasted. At this time, the projection plane partial area S _j The details of the determination method will be described later.
In the first embodiment, one type of depth information measured by one depth information measuring unit 4 is used as the depth information as shown in FIG.
[0085]
Next, as shown in FIG. _i (For example, the first subject image CP ₁ ), The designated image projection plane L _j (For example, the first image projection plane L ₁ ) Camera partial region R used for image generation above _ij Is determined and extracted (step 705). The camera partial area R _ij Is performed by the camera partial area extracting means 105c provided in the partial image extracting and pasting means 105.
[0086]
At this time, the camera partial region R _ij Is determined according to the virtual viewpoint position so that an error generated in the generated virtual viewpoint image is minimized. At this time, the camera partial region R _ij The details of the determination method will be described later.
[0087]
Next, as shown in FIG. _ij The coordinates of each point (pixel) of _ij (Step 706). The step of converting the coordinates 706 is performed by the coordinate conversion means 105d provided in the camera partial area extraction means 105.
At this time, the camera partial region R _ij Is an image projection plane L _j Then, the area U _ij Image.
[0088]
Next, as shown in FIG. _ij Of the projection plane partial area S determined in the step 704 _j Is overlapped with the image projection plane L _j (Step 707). The image is projected onto an image projection plane L _j Step 707 is performed by the projection image pasting means 105e provided in the partial image extraction / pasting means 105.
[0089]
Next, the subject image CP _i Is updated (step 708), and it is determined whether or not the processing of step 705, step 706, and step 707 has been performed on all the subject images (step 709).

Steps

708 and 709 are performed by the first determining unit 105f provided in the partial image extracting and pasting unit 105.
[0090]
At this time, if the processing from step 705 to step 707 has been completed for all the subject images, the process proceeds to the next step, and if there is an unprocessed subject image, the camera partial region R _ij Then, the process returns to step 705, and steps 705 to 707 are performed on the unprocessed subject image.
[0091]
Next, the image projection plane L _j Is updated (step 710), and it is determined whether or not the processing of step 705, step 706, step 707, and step 708 has been performed on all image projection planes (step 711).

Steps

710 and 711 are performed by the second determining unit 105g provided in the partial image extracting and pasting unit 105.
[0092]
At this time, if the processing from step 705 to step 709 has been completed for all image projection planes, the process proceeds to the next step. If there is an unprocessed image projection plane, the projection plane partial area S _j Is returned to step 704, and the steps 704 to 709 are performed on the unprocessed image projection plane.
[0093]
Next, as shown in FIG. 3, the image projection plane group on which the image is pasted is two-dimensionally rendered from the virtual viewpoint position to generate a virtual viewpoint image (step 712). The rendering step 712 is performed by the rendering unit 106 provided in the virtual viewpoint image generation device 1.
[0094]
According to the above procedure, a virtual viewpoint image when the subject 3 is viewed from the virtual viewpoint position input using the viewpoint position input unit 5 is generated, and the generated virtual viewpoint image is displayed on the display unit 6. Is done. At this time, the display means 6 may be a monitor such as a CRT directly connected to the virtual viewpoint image generating apparatus 1 or, for example, transmit the image to a computer or monitor installed at a remote place via a network. You may. Although not shown, the virtual viewpoint image generated in the above procedure may be recorded (saved) in an external recording device such as a hard disk or a semiconductor memory.
[0095]
In the method for generating a virtual viewpoint image according to the first embodiment, the image projection plane L _j Is the subject image CP _i Plays the role of a screen to paste the partial image extracted from. Further, the image projection plane L _j Is transparent by default, and the portion where the partial image is pasted is made opaque, so that the image on the image projection plane behind (far away) when viewed from the virtual viewpoint position can be properly viewed or shielded. Is done.
[0096]
In order to improve the accuracy of the virtual viewpoint image, the image projection plane L _j It is only necessary to make the arrangement intervals smaller and make them closer to the actual shape of the subject, but doing so increases the processing time. Therefore, the image projection plane L is adjusted in accordance with the accuracy required for the virtual viewpoint image. _j By setting the configuration described above, unnecessary image processing can be prevented from being performed, and a virtual viewpoint image with high accuracy can be generated at high speed (in a short time).
[0097]
The camera partial area determined in step 705 _ij Is the subject image CP taken by each camera 2 _i Of the image projection plane L _j Is an area limited for each image, and the same subject image CP _i (For example, the first subject image CP ₁ ), The same image projection plane L _j (For example, the first image projection plane L ₁ ), When the virtual viewpoint position is changed, the camera partial region R _ij Changes. Therefore, based on the virtual viewpoint position, an appropriate camera partial region R _ij Is determined, the image projection plane L _j Appropriate partial images can be pasted thereon, and the accuracy of the generated virtual viewpoint image can be guaranteed.
[0098]
The image projection plane L _j The camera partial area R _ij Is not pasted, and the corresponding relationship T _ij When the coordinate transformation is performed by _j Only the part included in is pasted.
Further, the projection plane partial area S _j Is determined based on the depth information acquired by the depth information acquisition means 102.
[0099]
The subject image CP _i When each point is attached to an image projection plane near the position where the point actually exists, an error in generating an image is reduced, and the accuracy of the virtual viewpoint image is increased. Conversely, if the point is pasted on an image projection plane distant from the position where the point actually exists, an error in generating the image increases, and the accuracy of the virtual viewpoint image decreases.
[0100]
That is, of the image projection plane, only the vicinity of the position where the subject actually exists is defined by the projection plane partial area S. _j By doing so, it is possible to reduce an error when generating an image.
[0101]
Hereinafter, the image projection plane L set in step 701 _j , The projection plane partial area S determined in step 704 _j And the camera partial region R determined in step 705 _ij An example of a specific method for each of the determination methods will be described.
[0102]
In order to simplify the description, first, the camera partial region R _ij Will be described, and then the image projection plane L _j Setting method and the projection plane partial area S _j The setting method of will be described.
[0103]
4 to 6 are schematic diagrams for explaining a method of generating a virtual viewpoint image according to the first embodiment. FIG. 4 is a diagram showing an example of camera arrangement and an arrangement of image projection planes. ) And FIG. 5B are diagrams for explaining a Voronoi region, and FIG. 6 is a diagram for explaining a method for determining a camera partial region.
[0104]
The camera partial area R _ij Can be determined according to the arrangement of the camera 2, the virtual viewpoint position, the accuracy of the generated virtual viewpoint image, and the like. In the first embodiment, a determination method using a Voronoi region will be described as an example of a determination method that easily guarantees the accuracy of a generated virtual viewpoint image.
[0105]
In the first embodiment, the camera partial region R _ij When determining the subject image CP _i (I = 1, 2,..., N) are, for example, N cameras 2 arranged in a two-dimensional lattice at equal intervals ε on a plane (camera installation surface) 8 as shown in FIG. Let's say you shot at. It is also assumed that the depth information measuring means (not shown) is arranged at a position where it does not interfere with the camera 2. Further, as shown in FIG. 4, the virtual viewpoint position P is set at a position away from the camera installation surface 8 by a distance ZP, and the image projection surface L _j Is set to be a plane parallel to the surface on which the camera 2 is installed (camera installation surface), as shown in FIG.
[0106]
In addition, for example, as shown in FIG. 5A, when several points (generating points) 9 are given in a certain space, the Voronoi region is defined by the nearest neighbor rule. An area divided into spaces. That is, when the N cameras 2 are arranged in a two-dimensional lattice, the generating points 9 are also arranged in a two-dimensional lattice, so that the Voronoi region V _i Becomes a square area as shown in FIG.
[0107]
Under the above conditions, for example, as shown in FIG. _j Image projection plane L _j With respect to the subject image CP _i Camera partial area R when pasting partial image of _ij Is determined, first, on the camera installation surface 8, the Voronoi region V having the installation positions of the N cameras 2 as generating points. _i (I = 1, 2,..., N).
[0108]
Next, as shown in FIG. 6, the Voronoi region V is obtained by perspective projection centering on the virtual viewpoint position P. _i With the image projection plane L _j Projected onto
Then, the correspondence T _ij The subject image CP using _i To the image projection plane L _j When projected on the image projection plane L of the entire area 10 of the subject image. _j Voronoi region W projected on _ij The area overlapping (coinciding with) the camera partial area R _ij To decide.
[0109]
FIG. 7 is a schematic diagram for explaining a method of generating a virtual viewpoint image according to the first embodiment, and is a diagram illustrating an example of a method of setting an image projection plane.
Using the image generation method of the first embodiment, the object image CP _i From the camera partial area R _ij Of the image projection plane L _j In the case where the image projection plane L is attached to, for example, the distance from the camera installation surface 8 to the actual point on the subject 3, _j If the above distance is different, an error occurs on the generated image. Therefore, the maximum value of the error allowed to satisfy the accuracy required for the virtual viewpoint image is set to δ.
[0110]
At this time, a point on the subject 3 which is located at a distance 1 from the camera installation surface 8 corresponds to the image projection surface L _j If the distance l satisfies the conditions represented by the following

formulas

1, 2, and 3, the point on the subject at the position of the distance 1 and the image projection plane L _j It is guaranteed that the error at the upper point is smaller than the maximum value δ.
[0111]
(Equation 1)

[0112]
(Equation 2)

[0113]
[Equation 3]

[0114]
In Equation 1, fl _j And bl _j Is the image projection plane L _j Is the minimum and maximum value of the point to be attached to the camera. _j From bl _j Is a point between the image projection plane L _j Pasted in.
[0115]
In

Equations

2 and 3, ZP is the distance from the camera installation surface to the virtual viewpoint position, f is the focal length of the camera, ε is the camera installation interval, and δ is the maximum allowable error. At this time, the position of the virtual viewpoint is determined based on the camera projection surface 8 and the image projection surface L. _j Is in the direction opposite to the direction in which is provided. In addition, the subject image CP _i And the image projection plane L _j Is a perspective projection.
[0116]
That is, a certain image projection plane (for example, the first image projection plane L ₁ ), The first image projection plane L ₁ When the actual point on the subject in the image (point) pasted on the upper side exists within the depth range given by the above equation 1, the image projection plane L ₁ The above position error can be made smaller than the maximum value δ. Therefore, each of the image projection planes L _j In contrast, by setting the condition of Equation 1 above and arranging the object so as to cover the entire depth range where the subject 3 exists, the virtual viewpoint image can be generated within a certain error range.
[0117]
The fl _j And bl _j , And the camera projection surface 8 to the image projection surface L _j Distance to l _j First, for example, as shown in FIG. 7, the minimum value lmin of the depth information is set to fl ₁ And At this time, the first image projection plane L ₁ Distance l ₁ Is determined. Further, the first image projection plane L ₁ Distance l ₁ Is determined, bl ₁ Is determined.
[0118]
Next image projection plane (second image projection plane L ₂ ), As shown in FIG. ₂ = Bl ₁ And the distance l of the second image projection plane

L2 using Equations

2 and 3. ₂ , And bl ₂ Decide.
[0119]
Hereinafter, sequentially fl _{j + 1} = Bl _j The calculation is repeated as bl _j The image projection plane is set until is larger than the maximum value lmax of the depth information of the subject 3 or becomes infinity.
[0120]
The minimum value lmin and the maximum value lmax of the depth information of the subject are not limited to the depth information acquired by the depth information acquisition unit 102, but are assumed to be, for example, a depth range in which the subject 3 moves in advance. May be used.
[0121]
Further, the image projection plane L _j In the setting method, the setting process may be performed each time the virtual viewpoint position is updated, or the range in which the virtual viewpoint position moves is limited in advance, and the allowable error is set within the limited range. The maximum value δ may be set based on the strictest (smallest) case.
[0122]
8 to 11 are schematic diagrams for explaining a method of generating a virtual viewpoint image according to the first embodiment. FIGS. 8 and 9 are diagrams illustrating an example of a method of determining a projection plane partial region, respectively. 10 and 11 are diagrams showing another method of determining the projection plane partial area.
[0123]
In the virtual viewpoint image generation method according to the first embodiment, the image projection plane L is set so as to satisfy Expression 1, Expression 2, and Expression 3. _j By setting, the error in the depth direction on the generated image generated for each image projection plane at any point on the subject can be kept within a certain range. However, in order to keep the error within a certain range when an image is actually generated, an image obtained by photographing a point on the subject must have an appropriate image projection plane, that is, a distance between the points. Must be attached to an image projection plane that belongs to the depth range of the image.
[0124]
Projection plane partial area S determined in step 704 _j Is necessary for attaching each point on the subject to an appropriate image projection plane. That is, the projection plane partial area S _j Is the image projection plane L given by Equation 1 among the points on the subject 3 for which depth information has been acquired. _j The point in the allowable depth range of the image projection plane L _j This is the area obtained when the image is mapped on the top.
[0125]
Various forms are conceivable for the mapping of the point on the subject 3. For example, perspective projection transformation from a depth measurement point can be used.
At this time, the projection plane partial area S _j Is, for example, using the relationship of Equation 1 above, and as shown in FIG. 8, among the points of the subject 3, the distance from the camera installation surface is fl _j From bl _j From the depth measurement point F to the image projection plane L _j Is an area obtained when the image is projected.
[0126]
Similarly, the projection surface partial area S _{j + 1} Means that the distance from the camera installation surface is fl, as shown in FIG. _{j + 1} (= Bl _j ) To bl _{j + 1} From the depth measurement point F to the image projection plane L _{j + 1} Is an area obtained when the image is projected.
Further, the projection plane partial area S _j Is determined using the relationship of the above equation (1).
Instead, Equation 4 below can be used.
[0127]
(Equation 4)

[0128]
The projection plane partial area S is calculated by using the relationship of the above equation (4). _j Is determined, for example, a certain image projection plane L _{j + 1} Projection plane partial area S _{j + 1} As shown in FIG. 10, the image projection plane L _{j + 1} Image projection plane L in front of _j The area to be set as the projection plane partial area is also included. Therefore, the certain image projection plane L _{j + 1} As shown in FIG. 11, in addition to the partial image to be originally pasted, the partial image pasted on the front image projection plane is also pasted. However, the image projection plane L _{j + 1} Of the extra partial image pasted on the front image projection plane L _j Are not visible when rendering from the virtual viewpoint position.
[0129]
The image projection plane L is calculated by using the relationship of the above-described formula 1. _j Is determined, for example, the projection plane partial area S _j Boundary and projection plane partial area S _{j + 1} In some cases, an image may be missing in a gap between adjacent image projection planes without matching the boundary lines of the two. Therefore, for example, the image projection surface S _j Is determined, loss of the image can be prevented, and the quality of the virtual generated image can be improved.
[0130]
As described above, according to the virtual viewpoint image generation method using the virtual viewpoint image generation device 1 of the first embodiment, a plurality of image projection planes L are set in accordance with the accuracy of the generated image. _j Is set, and the subject image CP is set on each of the plurality of image projection planes. _i By pasting the partial images extracted under the appropriate conditions from among the above, the accuracy of the virtual viewpoint image, particularly, the accuracy in the depth direction can be improved.
[0131]
Further, the plurality of image projection planes L _j If the conditions of the above-described

formulas

1, 2, and 3 are satisfied when setting, the unnecessary processing can be omitted, and a virtual viewpoint image with the required accuracy can be efficiently generated. Therefore, even when the subject 3 is large or has a complicated shape, or when the subject 3 moves with time, a virtual viewpoint image can be generated at high speed (short time).
[0132]
The image projection plane L described in the first embodiment _j Setting method, the projection plane partial area S _j And the camera partial region R _ij Is an example of each of them, for example, the shape and time change of the subject 3 or the subject image CP _i It can be changed as appropriate according to the shooting conditions of.
[0133]
In the first embodiment, a computer is used as the virtual viewpoint image generation device 1, and the virtual viewpoint image generation device 1 executes a program having the procedure shown in FIG. 3 to generate a virtual generation image. However, the program at this time may be recorded on a recording medium or provided through a network line.
[0134]
(Example 2)
12 and 13 are schematic diagrams for explaining a virtual viewpoint image generation method according to the second embodiment of the present invention. FIGS. 12A and 12B show a schematic configuration of a depth information measuring unit. FIG. 13 and FIG. 13 are diagrams for explaining a depth information measuring method using the depth information measuring means.
[0135]
12A and 12B, reference numeral 401 denotes a reference light irradiation unit, 402 denotes an imaging unit, 402a denotes an imaging surface, 402b denotes an optical system adjustment unit, 402c denotes a gate, and 403 denotes a control unit.
[0136]
In the second embodiment, a time-of-flight method is used as an example of a method of measuring depth information of the subject 3 used when generating a virtual viewpoint image by the method described in the first embodiment. The measurement method used will be described. Note that the overall configuration of the virtual viewpoint image generation device of the second embodiment is the same as that of the virtual viewpoint image generation device 1 described in the first embodiment, and a detailed description thereof will be omitted.
[0137]
The depth information measuring unit 4 that measures depth information of the subject 3 using the time-of-flight method is, for example, a reference light irradiating unit 401 that irradiates the subject 3 with reference light, as shown in FIG. And an imaging unit 402 for detecting the reference light reflected by the subject 3, and a control unit 403 for controlling the reference light irradiation unit 401 and the imaging unit 402. For example, as shown in FIG. 12B, the imaging unit 402 includes an imaging surface 402a that receives the reference light reflected by the subject 3 and an optical device that forms the reference light on the imaging surface 402a. It is composed of a system adjusting means 402b and a gate 402c. At this time, for example, a laser or a light emitting diode is used as a light source of the reference light irradiation unit 401. For the gate 402c, for example, an image intensifier is used.
[0138]
The gate 402c is, for example, electronically controlled in timing of opening and closing by the control means 403, and the reference light reflected by the subject 3 is reflected on the imaging surface 402a only when the gate 402c is open. Reach and image. Therefore, by controlling the opening / closing timing of the gate 402c and the timing of irradiating the reference light, the reference light is irradiated and then reflected on the surface of the subject 3 to form an image on the imaging surface 402a (imaging) ) Can be indirectly measured, and depth information can be obtained for each pixel on the imaging surface 402a.
[0139]
In general, the timing of irradiating the reference light and the timing of opening and closing the gate are, as shown in FIG. 13, when the pulsed reference light is radiated at time t = 0, and thereafter, from time t1 to time t2 It is controlled so that the gate 402c is opened only for a while.
[0140]
At this time, if the speed of light is represented by c, the distance that the reference light travels by time t1 is c · t1, and the distance that the reference light travels by time t2 is c · t2. Therefore, in order for the reference light emitted at time t = 0 to be reflected on the surface of the subject 3 and reach the imaging unit 402 between the time t1 and time t2, the light source (the reference light irradiation unit 401) is used. ) And the distance 11 between the subject and the subject must satisfy the following equation (5).
[0141]
(Equation 5)

[0142]
Conversely, among the points on the surface of the subject 3, only the reference light reflected at the point where the distance 11 from the reference light irradiating means 401 satisfies the expression 5 passes through the gate 402c. And reaches the imaging surface 402a. In other words, only the points of the subject at a distance 11 from the reference light irradiating unit 401 are imaged on the imaging surface 402a. Therefore, by appropriately changing the settings of the time t1 and the time t2, the distance from the reference light irradiation unit 401 to the subject 3 at each point on the surface of the subject 3 can be obtained. The depth information of the subject 3 can be obtained based on the information.
[0143]
However, the light amount of the reference light that reaches the imaging surface in one process is very small, and is not enough to be detected separately from noise. Therefore, a plurality of steps are performed with the same setting, and multiple exposures are performed to sufficiently increase the total amount of light.
[0144]
Then, the settings at the time t1 and the time t2 are sequentially changed, and measurement is performed at each setting, thereby obtaining the distances of all points on the surface of the subject. At this time, the resolution (accuracy) of the depth information is determined by an interval at which the time t1 and the time t2 are changed, and a shorter interval increases the resolution. The measurement range of the depth information is determined by a range in which the time t1 and the time t2 are changed.
[0145]
However, when trying to increase the resolution and widen the measurement range, if the total amount of light is made sufficiently large, the time required for the measurement becomes long. Conversely, if an attempt is made to shorten the time required for measurement, the sum of the light amounts becomes small, and the reliability of the depth information decreases. Therefore, it is preferable to set the resolution and the measurement range of the depth information according to the performance (accuracy) required for generating a virtual viewpoint image. The resolution required for the depth information and the accuracy required for the measurement range can be defined by setting the image projection plane as described in the first embodiment.
[0146]
At this time, if the gate opening / closing timing, that is, the time t1 and the time t2 are set as in the following

Expressions

6 and 7, the measurement range represented by Expression 5 is represented by Expression 1. The image projection plane L _j Matches the range covered by. Therefore, based on the pattern obtained on the image projection plane, the projection plane partial area S described in the first embodiment is used. _j Can be determined.
[0147]
(Equation 6)

[0148]
(Equation 7)

[0149]
Note that the reference light is a subject image CP captured by the camera 2. _i It is necessary to adjust the wavelength band and the irradiation time because it is necessary not to affect the wavelength. Therefore, for example, light having a wavelength in an infrared region is used as the reference light, and an infrared light cut filter is provided in the camera 2 to prevent the reference light from entering. Further, for example, the reference light is intermittently radiated, and the shutter of the camera 2 is closed during the time when the reference light is radiated. _i To shoot.
[0150]
As described above, according to the depth information measuring method of the second embodiment, it is possible to efficiently measure the depth information of the resolution and the measurement range suitable for the accuracy required for generating the virtual viewpoint image. . In other words, when the depth information is measured by the method described in the second embodiment, by giving the conditions as shown in

Expressions

6 and 7, the waste of the measurement data processing can be eliminated, and the data processing can be performed. Such time can be reduced.
[0151]
Further, by using the depth information measuring method of the second embodiment, the reliability of the depth information of the subject 3 is improved. Therefore, when the virtual viewpoint image is generated by the method described in the first embodiment, the accuracy of the virtual viewpoint image can be guaranteed.
[0152]
In the depth information measurement method according to the second embodiment, the encoding of the reference light, that is, the separation of the reference light according to the distance from the light source to the subject is performed by the time of irradiating the pulse wave and the timing of opening and closing the gate. However, the present invention is not limited to this, and the irradiation of the reference light can be modulated by intensity or frequency. Further, the encoding of the reference light is not limited to the method described in the second embodiment, and other methods can be used, and the same effect can be obtained. That is, by changing the method of encoding the reference light according to the situation in which the depth information is measured, it is possible to efficiently measure the required resolution and depth information of the measurement range.
[0153]
In the second embodiment, the measurement method using the time-of-flight method has been described. However, the measurement may be performed using another active measurement method.
Further, the measurement of the depth information is not limited to the active measurement method, but may be a passive measurement method such as a stereo method or a lens focusing method. Even when the passive measurement method is used, as described in the second embodiment, the resolution and the measurement range of the depth information are set according to the performance (accuracy) required for generating the virtual viewpoint image. Thereby, highly reliable depth information can be measured efficiently.
[0154]
(Example 3)
14 to 16 are schematic diagrams for explaining a virtual viewpoint image generating method according to the third embodiment of the present invention. FIG. 14 is a flowchart for explaining a method of determining a projection plane partial region, and FIG. FIG. 16 is a diagram when a projection plane partial region is determined by the method described in the first embodiment, and FIG. 16 is a diagram when a projection plane partial region is determined by the method described in the third embodiment.
[0155]
The overall method of generating a virtual viewpoint image according to the third embodiment is the same as the generation method described in the first embodiment, and a detailed description thereof will be omitted.
The difference between the method of generating a virtual viewpoint image according to the third embodiment and the generation method described in the first embodiment is that the projection plane partial area S _j It is a method of determining. In the third embodiment, the projection plane partial area S _j 14, a step 704a of projecting depth information at a depth measurement point onto a three-dimensional space, a step 704b of acquiring depth information at a virtual viewpoint position P, and a projection plane partial area as shown in FIG. Each step of the determining step 704c is provided.
[0156]
In the first embodiment, as shown in FIG. 15, the perspective projection is performed from the depth measurement point F, and the image projection plane L _j Projection plane partial area S _j Or the image projection plane L _{j + 1} Projection plane partial area S _{j + 1} Is determined. At this time, if the difference between the virtual viewpoint position P and the depth measurement point F is large, when the image projection surface is viewed from the virtual viewpoint position, the image projection surface L _j Projection plane partial area S _j And the image projection plane L _{j + 1} Projection plane partial area S _{j + 1} A region in which no image exists exists between the images, and the quality of the virtual viewpoint image deteriorates.
[0157]
Therefore, as in the projection plane partial area determination method of the third embodiment, first, the depth information at the depth measurement point F is projected onto a three-dimensional space (step 704a), and the depth information at the virtual viewpoint position P is obtained ( In step 704b), as shown in FIG. 16, the projection plane partial area S is obtained by perspective projection from the virtual viewpoint position P. _j Can be determined (step 704c). Therefore, it is possible to prevent a gap from being generated in the partial area of the projection surface.
[0158]
As described above, according to the virtual viewpoint image generation method of the third embodiment, the depth information acquired from an arbitrary measurement point F is changed to the depth information acquired from the virtual viewpoint position P, so that the virtual viewpoint image The quality can be prevented from deteriorating.
When the projection plane partial area is determined, as described in the first embodiment, perspective projection may be performed using the relationship of Expression 1, or perspective projection may be performed using the relationship of Expression 4. Is also good.
[0159]
(Example 4)
17 to 19 are schematic diagrams for explaining a virtual viewpoint image generation method according to the fourth embodiment of the present invention, and FIGS. 17 and 19 are schematic diagrams for explaining a method for determining a depth measurement point. FIG. 18 is a flow chart for explaining a method of selecting depth information used for determining a projection plane partial area.
[0160]
The overall method of generating a virtual viewpoint image according to the fourth embodiment is the same as the method described in the first embodiment, and a detailed description thereof will be omitted.
The method of generating a virtual viewpoint image according to the fourth embodiment differs from the method described in the first embodiment in a method of measuring depth information for determining the projection plane partial region.
[0161]
In the first embodiment, the projection plane partial area S is determined using the depth information acquired from one measurement point. _j Is determined. However, when the number of measurement points is one, depending on the shape of the subject, for example, an area that cannot be measured from the measurement point appears. If there is an area where the depth information cannot be measured, that is, cannot be obtained, that part is not included in the projection plane partial area. For this reason, depending on the position of the set virtual viewpoint, the generated virtual viewpoint image is lost, and the quality is reduced.
[0162]
In order to solve such a problem, in the fourth embodiment, for example, as shown in FIG. 17, depth information of the subject 3 is measured and obtained from each of two measurement points F1 and F2. Then, from the two pieces of depth information, depth information with less image loss is selected according to the virtual viewpoint position P, and the projection plane partial area is determined using the depth information. Although FIG. 17 shows an example in which the number of measurement points is two, the present invention is not limited to this, and depth information may be obtained from three or more measurement points, and optimal depth information may be determined from the information.
[0163]
When selecting one of the plurality of pieces of depth information, first, as shown in FIG. 18, a plurality of pieces of depth information are measured from a plurality of measurement points (step 704d), and then the virtual viewpoint position P is determined. Information is obtained (step 704e). The information on the virtual viewpoint position P is input from the input unit 5 as described in the first embodiment.
[0164]
Next, from among the plurality of measurement points, a measurement point F optimal for generating an image from the virtual viewpoint position is used. ^* Is selected (step 704f).
Next, the depth information measured from the selected measurement point is sent to the projection plane partial area determination means (step 704g).
At this time, the optimal measurement point F ^* In general, when the measurement point closest to the virtual viewpoint position is selected, the deterioration of the generated image is reduced, but in some cases, the image quality is reduced.
[0165]
For example, as shown in FIG. 17, when depth information is acquired from two measurement points F1 and F2, the measurement point F1 is closest to the virtual viewpoint position P. However, in the depth information measured from the measurement point F1, there are many areas 3A that are on the subject surface viewed from the virtual viewpoint position P and cannot be measured from the measurement point F1. Therefore, when a virtual viewpoint image is generated using the depth information acquired from the measurement point F1, the image quality is reduced. On the other hand, the measurement point F2 has a large distance from the virtual viewpoint position P, but as shown in FIG. 19, the overlap between the region visible from the virtual viewpoint position P and the region 3A that cannot be measured from the measurement point F2 is small. . Therefore, in this case, it is considered preferable to use the depth information acquired from the measurement point F2 rather than the depth information of the measurement point F1. That is, the measurement position to be selected needs to consider not only the distance from the virtual viewpoint position but also the shape of the subject.
[0166]
FIG. 20 is a schematic diagram for explaining a method of selecting depth information according to the fourth embodiment, and is a diagram for explaining a jump edge.
As a method of selecting the optimum depth information from the depth information acquired from the plurality of measurement points, there is a method of selecting a measurement point called a jump edge at which the discontinuity of the depth information is minimized.
[0167]
When acquiring the depth information, for example, as shown in FIG. 20, it is assumed that the depth information of a subject including two

objects

301 and 302 is measured and acquired from a certain measurement point Fk. At this time, as shown in FIG. 20, the depth information of the area 3B of the

objects

301 and 302 can be acquired from the measurement point Fk.
[0168]
Here, when an attempt is made to generate a virtual viewpoint image from the virtual viewpoint position P as shown in FIG. 20 using the depth information acquired from the measurement point Fk, a place 11 where the depth information is discontinuous occurs. The location 11 where the depth information is discontinuous is called a jump edge.
[0169]
In order to obtain the optimum depth information, a solid angle 13 having the virtual viewpoint position P of the jump edge 11 as a vertex is obtained for the depth information obtained at each measurement point. The solid angle is, for example, a cone having the virtual viewpoint position P as a vertex and the jump edge 11 as a bottom surface, forming a sphere having a radius of 1 centered on the vertex P, and forming a sphere cut by the cone. Obtained as the size of the surface area. At this time, when the jump edge 11 is divided into a plurality of positions, the solid angles of each of the jump edges 11 are obtained, and the sum is obtained.
[0170]
Then, the point at which the solid angle 13 of the jump edge 11 or the sum of the solid angles 13 of the measurement points is the smallest is defined as F ^* Select as
At this time, instead of the solid angle 13, the selection can be made based on the total area of the jump edges 11 in the perspective projection converted image at the virtual viewpoint position P.
[0171]
When the perspective projection conversion is made to coincide with the perspective projection conversion used in the rendering step 712 shown in FIG. 3, the perspective projection transformed image of the jump edge matches the missing area of the image when the rendering is actually performed. Therefore, it becomes an evaluation criterion according to the image quality of the generated image.
[0172]
FIG. 21 is a schematic diagram for explaining a depth information selection method according to the fourth embodiment, and is a flowchart for explaining another selection method.
When there are a plurality of measurement points for measuring the depth information, as shown in FIG. In addition to the above, there is a method of determining a point at which the depth information is measured according to the virtual viewpoint position P.
[0173]
When the virtual viewpoint position P is determined first, as shown in FIG. 21, the virtual viewpoint P is first obtained (step 704h), and the depth measurement point F corresponding to the virtual viewpoint position P is acquired. ^* Is selected (step 704i). After that, the selected measurement point F ^* Only the depth information is measured (step 704j), and the projection surface partial area S _j Is determined (step 704k).
[0174]
The method of selecting a measurement point according to the virtual viewpoint position P is effective when an active measurement method of irradiating reference light is used as the depth information measurement unit 4, and a reference illuminated from a plurality of measurement points is used. It is possible to avoid situations where light affects each other's measurements.
[0175]
The measurement point F of the depth information ^* May be determined by the depth information measurement unit 4 or may be determined by the virtual viewpoint image generation device 1 (depth information acquisition unit 102).
[0176]
As described above, according to the virtual viewpoint image generation method of the fourth embodiment, the measurement point F corresponding to the virtual viewpoint position P is determined from the points at which the plurality of pieces of depth measurement information are measured. ^* And select the measurement point F ^* The projection plane partial area S using the depth information from _j Is determined, the accuracy of the virtual viewpoint image can be improved.
[0177]
In the fourth embodiment, as shown in FIG. 17, an example in which there are two measurement points is shown. However, the present invention is not limited to this. Depth information may be determined.
[0178]
(Example 5)
FIG. 22 is a schematic diagram for explaining a virtual viewpoint image generation method according to the fifth embodiment of the present invention, and is a flowchart for explaining a method for determining a projection plane partial region.
[0179]
The virtual viewpoint image generation device used for generating the virtual viewpoint image according to the fifth embodiment has the same configuration as the device described in the first embodiment, and a detailed description thereof will be omitted.
In the virtual viewpoint image generation method according to the fifth embodiment, as described in the fourth embodiment, the projection plane partial area is determined using the depth information acquired from the plurality of measurement points. Unlike the method described, depth information obtained from all measurement points is integrated and used.
[0180]
In the procedure for determining the projection plane partial area in the virtual viewpoint image generation method according to the fifth embodiment, as shown in FIG. 22, first, depth information acquired from a plurality of measurement points is projected onto a three-dimensional space (step 704l). At this time, it is also possible to project depth information from all measurement points, or to select some depth measurement points near the virtual viewpoint position P and project only those depth information. is there.
[0181]
Next, in the depth information projected into the three-dimensional space, if there are areas measured from a plurality of measurement points, that is, overlapping information, the information is integrated to obtain consistency (step 704m). In order to integrate the overlapping information, for example, a method described in JP-A-2000-215311 can be used.
[0182]
Next, by subjecting the data of the subject in the three-dimensional space obtained in the integrating step 704m to perspective projection transformation with the virtual viewpoint position P as the projection center, the data is converted into the form of depth information from the virtual viewpoint position P. (Step 704n).
[0183]
Then, by applying Equation 1 or Equation 4 to the depth information from the virtual viewpoint position P obtained in Step 704n, the projection plane partial area S _j Is determined (step 704p).
[0184]
As described above, according to the virtual viewpoint image generation method of the fifth embodiment, the jump edge as described in the fourth embodiment can be prevented by integrating the depth information acquired from a plurality of measurement points. it can. For this reason, compared to the virtual viewpoint image generation method using the projection plane partial area determination method described in the fourth embodiment, it is possible to obtain a high quality image with less loss of the generated image.
[0185]
As described above, the present invention has been specifically described based on the embodiment. However, the present invention is not limited to the embodiment, and can be variously modified without departing from the gist of course. is there.
[0186]
【The invention's effect】
The effects obtained by typical aspects of the invention disclosed in the present application will be briefly described as follows.
(1) In a virtual viewpoint image generating method and apparatus for generating a virtual viewpoint image when the subject is viewed from a virtual viewpoint position using images of the object captured by a plurality of cameras, the accuracy of the generated virtual viewpoint image is determined. The processing time required for generating the virtual viewpoint image can be shortened (higher speed).
(2) A virtual viewpoint image generation program for causing a computer to execute the virtual viewpoint image generation method, and a recording medium on which the virtual viewpoint image generation program is recorded can be obtained.
[Brief description of the drawings]
FIG. 1 is a schematic diagram illustrating a schematic configuration of a virtual viewpoint image generation device according to a first embodiment of the present invention, and is a block diagram illustrating a configuration of the entire virtual viewpoint image generation device.
FIG. 2 is a schematic diagram illustrating a schematic configuration of a virtual viewpoint image generation device according to a first embodiment of the present invention, and is a block diagram illustrating a configuration of a partial image extracting and pasting unit in FIG. 1;
FIG. 3 is a schematic diagram for explaining a virtual viewpoint image generation method using the virtual viewpoint image generation device of the first embodiment, and is a flowchart of image processing performed in the virtual viewpoint image generation device.
FIG. 4 is a schematic diagram for explaining a method of generating a virtual viewpoint image according to the first embodiment, and is a diagram illustrating an example of an arrangement of cameras and an arrangement of image projection planes.
FIGS. 5A and 5B are schematic diagrams illustrating a method of generating a virtual viewpoint image according to the first embodiment, and FIGS. 5A and 5B are diagrams illustrating a Voronoi region; FIGS.
FIG. 6 is a schematic diagram for explaining a method for generating a virtual viewpoint image in the first embodiment, and is a diagram for explaining a method for determining a camera partial region.
FIG. 7 is a schematic diagram for explaining a method of generating a virtual viewpoint image according to the first embodiment, and is a diagram illustrating an example of a method of setting an image projection plane.
FIG. 8 is a schematic diagram for explaining a method of generating a virtual viewpoint image according to the first embodiment, and is a diagram illustrating an example of a method of determining a projection plane partial region.
FIG. 9 is a schematic diagram for explaining a method of generating a virtual viewpoint image according to the first embodiment, and is a diagram illustrating an example of a method of determining a projection plane partial region.
FIG. 10 is a schematic diagram for explaining a method of generating a virtual viewpoint image according to the first embodiment, and is a diagram illustrating an example of another method for determining a projection plane partial region.
FIG. 11 is a schematic diagram for explaining a method of generating a virtual viewpoint image according to the first embodiment, and is a diagram illustrating an example of another method for determining a projection plane partial region.
FIG. 12 is a schematic diagram for explaining a virtual viewpoint image generation method according to a second embodiment of the present invention, and FIGS. 12A and 12B are diagrams illustrating a schematic configuration of a depth information measuring unit; .
FIG. 13 is a schematic diagram for explaining a virtual viewpoint image generation method according to a second embodiment of the present invention, and is a diagram for explaining a depth information measurement method.
FIG. 14 is a schematic diagram for explaining a virtual viewpoint image generation method according to a third embodiment of the present invention, and is a flowchart for explaining a method for determining a projection plane partial region.
FIG. 15 is a schematic diagram for explaining a virtual viewpoint image generation method according to a third embodiment of the present invention, and is a diagram when a projection plane partial region is determined by the method described in the first embodiment.
FIG. 16 is a schematic diagram for explaining a virtual viewpoint image generation method according to the third embodiment of the present invention, and is a diagram when a projection plane partial region is determined by the method described in the third embodiment.
FIG. 17 is a schematic diagram for explaining a virtual viewpoint image generation method according to a fourth embodiment of the present invention, and is a schematic diagram for explaining a method for determining a depth measurement point.
FIG. 18 is a schematic diagram illustrating a virtual viewpoint image generation method according to a fourth embodiment of the present invention, and is a flowchart illustrating a method of selecting depth information used to determine a projection plane partial region.
FIG. 19 is a schematic diagram illustrating a virtual viewpoint image generation method according to a fourth embodiment of the present invention, and is a schematic diagram illustrating a method of determining a depth measurement point.
FIG. 20 is a schematic diagram for explaining a depth information selection method according to the fourth embodiment, and is a schematic diagram for explaining a jump edge.
FIG. 21 is a schematic diagram for explaining a depth information selection method according to the fourth embodiment, and is a flowchart for explaining another selection method.
FIG. 22 is a schematic diagram for explaining a virtual viewpoint image generation method according to a fifth embodiment of the present invention, and is a flowchart for explaining a method for determining a projection plane partial region.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Virtual viewpoint image generation apparatus, 101 ... Subject image acquisition means, 102 ... Depth information acquisition means, 103 ... Image projection plane setting means, 104 ... Correspondence determination means, 105 ... Partial image extraction and pasting means, 105a ... Initialization Means 105b Projection plane partial area determination means 105c Camera partial area extraction means 105d Coordinate conversion means 105e Projection image pasting means 105f First determination means 105g Second determination means 106 Rendering means, 2 ... Camera, 3 ... Subject, 4 ... Depth information measurement means, 401 ... Reference light irradiation means, 402 ... Imaging means, 402a ... Imaging surface, 402b ... Optical system adjustment means, 402c ... Gate, 5 ... Viewpoint position Input means, 6: display means, 8: camera installation surface, P: virtual viewpoint position, F: depth information measurement point.

Claims

複数のカメラのそれぞれで撮影した複数枚の被写体の画像（以下、被写体画像と称する）を用いて、あらかじめ指定した視点位置（以下、仮想視点位置と称する）から見た前記被写体の画像（以下、仮想視点画像と称する）を生成する仮想視点画像生成方法であって、
前記被写体の奥行き情報を取得する第１ステップと、
複数の透明な画像投影面の配置、数、形状を設定する第２ステップと、
前記各被写体画像の座標と前記画像投影面の座標との対応関係を決定する第３ステップと、
前記被写体の奥行き情報に基づいて、前記複数の画像投影面のそれぞれに対して、画像を貼り付け可能な領域（以下、投影面部分領域と称する）を決定する第４ステップと、
前記仮想視点位置に基づいて、前記被写体画像から、前記被写体画像のうち指定した画像投影面上の画像生成に用いる領域（以下、カメラ部分領域と称する）を決定し、前記カメラ部分領域の画像を抽出する第５ステップと、
前記第５ステップで抽出した画像の座標を、前記第３ステップで決定した前記対応関係に基づいて、前記指定した画像投影面上の座標に変換する第６ステップと、
前記第６ステップで座標変換をした画像のうち、前記投影面部分領域と重なる部分を、前記画像投影面に貼り付ける第７ステップと、
すべての被写体画像について、前記第５ステップ、前記第６ステップ、前記第７ステップを繰り返し行う第８ステップと、
前記第２ステップで設定したすべての画像投影面に対して、前記第５ステップ、前記第６ステップ、前記第７ステップ、前記第８ステップを繰り返し行う第９ステップと、
前記画像が貼り付けられた前記画像投影面からなる３次元的な画像を、前記仮想視点位置から２次元化（レンダリング）して、前記仮想視点画像を生成する第１０ステップとを備え、
前記第２ステップは、
前記仮想視点画像の精度、及び前記仮想視点位置または前記仮想視点の移動範囲に応じて、前記画像投影面の配置、数、形状を設定することを特徴とする仮想視点画像生成方法。Using a plurality of subject images (hereinafter, referred to as subject images) photographed by each of the plurality of cameras, an image of the subject (hereinafter, referred to as a virtual viewpoint position) viewed from a previously designated viewpoint position (hereinafter, referred to as a virtual viewpoint position). A virtual viewpoint image) for generating a virtual viewpoint image).
A first step of acquiring depth information of the subject;
A second step of setting the arrangement, number, and shape of a plurality of transparent image projection planes;
A third step of determining the correspondence between the coordinates of each of the subject images and the coordinates of the image projection plane;
A fourth step of determining, on each of the plurality of image projection planes, an area where an image can be pasted (hereinafter, referred to as a projection plane partial area) based on the depth information of the subject;
Based on the virtual viewpoint position, an area (hereinafter, referred to as a camera partial area) used for generating an image on a designated image projection plane of the subject image is determined from the subject image, and the image of the camera partial area is determined. A fifth step of extracting,
A sixth step of converting the coordinates of the image extracted in the fifth step into coordinates on the specified image projection plane based on the correspondence determined in the third step;
A seventh step of pasting, on the image projection plane, a part of the image subjected to the coordinate transformation in the sixth step, which overlaps the projection plane partial area;
An eighth step of repeating the fifth step, the sixth step, and the seventh step for all the subject images;
A ninth step of repeating the fifth step, the sixth step, the seventh step, and the eighth step for all the image projection planes set in the second step;
A tenth step of two-dimensionally rendering (rendering) a three-dimensional image composed of the image projection surface to which the image is pasted from the virtual viewpoint position to generate the virtual viewpoint image,
The second step includes:
A virtual viewpoint image generation method, wherein the arrangement, number, and shape of the image projection plane are set according to the accuracy of the virtual viewpoint image and the virtual viewpoint position or the moving range of the virtual viewpoint.

前記第１ステップは、
前記仮想視点位置または移動範囲、及び前記仮想視点画像で許容される誤差に応じて、前記被写体の奥行き情報の分解能及び計測範囲を決定することを特徴とする請求項１に記載の仮想視点画像生成方法。The first step is
The virtual viewpoint image generation according to claim 1, wherein a resolution and a measurement range of the depth information of the subject are determined according to the virtual viewpoint position or the moving range and an error allowed in the virtual viewpoint image. Method.

前記第４ステップは、
前記仮想視点位置に応じて、前記投影面部分領域を決定することを特徴とする請求項１または請求項２に記載の仮想視点画像生成方法。The fourth step is
The virtual viewpoint image generation method according to claim 1, wherein the projection plane partial area is determined according to the virtual viewpoint position.

前記第１ステップは、
複数の地点から前記被写体の奥行き情報を取得し、
前記第４ステップは、
前記複数の地点から取得した複数の奥行き情報のうち、前記仮想視点位置に応じた奥行き情報を選択して用いることを特徴とする請求項１乃至請求項３のいずれか１項に記載の仮想視点画像生成方法。The first step is
Obtaining depth information of the subject from a plurality of points,
The fourth step is
The virtual viewpoint according to any one of claims 1 to 3, wherein depth information corresponding to the virtual viewpoint position is selected from a plurality of pieces of depth information acquired from the plurality of points and used. Image generation method.

前記第１ステップは、
複数の地点から前記被写体の奥行き情報を取得し、
前記第４ステップは、
前記複数の地点から取得した複数の奥行き情報を統合して用いることを特徴とする請求項１乃至請求項３のいずれか１項に記載の仮想視点画像生成方法。The first step is
Obtaining depth information of the subject from a plurality of points,
The fourth step is
4. The virtual viewpoint image generation method according to claim 1, wherein a plurality of pieces of depth information obtained from the plurality of points are integrated and used.

複数のカメラのそれぞれで撮影した複数枚の被写体の画像（以下、被写体画像と称する）を用いて、あらかじめ指定した視点位置（以下、仮想視点位置と称する）から見た前記被写体の画像（以下、仮想視点画像と称する）を生成する仮想視点画像生成装置であって、
前記複数枚の被写体の画像を取得する被写体画像取得手段と、
前記被写体の奥行き情報を取得する奥行き情報取得手段と、
複数の透明な画像投影面の配置、数、形状を設定する画像投影面設定手段と、
前記各被写体画像の座標と前記画像投影面の座標との対応関係を決定する対応関係決定手段と、
前記被写体の奥行き情報に基づいて、前記複数の画像投影面のそれぞれに対して、画像を貼り付け可能な領域（以下、投影面部分領域と称する）を決定する投影面部分領域決定手段と、
前記仮想視点位置に基づいて、前記被写体画像のうち、指定した画像投影面上の画像生成に用いる領域（以下、カメラ部分領域と称する）を決定し、前記カメラ部分領域の画像を抽出するカメラ部分領域抽出手段と、
前記抽出した画像の座標を、前記対応関係決定手段で決定した前記対応関係に基づいて、前記指定した画像投影面上の座標に変換する座標変換手段と、
前記座標変換手段で座標変換をした画像のうち、前記指定した画像投影面の投影面部分領域と重なる部分を、前記画像投影面に貼り付ける投影用画像貼り付け手段と、
すべての被写体画像について、前記カメラ部分領域抽出手段、前記座標変換手段、前記投影用画像貼り付け手段を繰り返し行ったか判定する第１判定手段と、
すべての画像投影面に対して、前記カメラ部分領域抽出手段、前記座標変換手段、前記投影用画像貼り付け手段、前記第１判定手段を繰り返し行ったか判定する第２判定手段と、
前記投影画像が貼り付けられた前記画像投影面からなる３次元的な画像を、前記仮想視点位置から２次元化（レンダリング）して、前記仮想視点画像を生成するレンダリング手段とを備え、
前記画像投影面設定手段は、
前記仮想視点画像の精度、及び前記仮想視点位置または前記仮想視点の移動範囲に応じて、前記画像投影面の配置、数、形状を設定する手段であることを特徴とする仮想視点画像生成装置。An image of the subject (hereinafter, referred to as a virtual viewpoint position) viewed from a previously designated viewpoint position (hereinafter, referred to as a virtual viewpoint position) using a plurality of subject images (hereinafter, referred to as a subject image) captured by each of the plurality of cameras. Virtual viewpoint image), which generates a virtual viewpoint image).
Subject image acquiring means for acquiring images of the plurality of subjects,
Depth information obtaining means for obtaining depth information of the subject,
Image projection plane setting means for setting the arrangement, number, and shape of a plurality of transparent image projection planes,
Correspondence determining means for determining the correspondence between the coordinates of each of the subject images and the coordinates of the image projection plane,
Projection plane partial area determination means for determining, on each of the plurality of image projection planes, an area where an image can be pasted (hereinafter referred to as a projection plane partial area) based on the depth information of the subject;
A camera part for determining an area (hereinafter, referred to as a camera partial area) used for image generation on a designated image projection plane of the subject image based on the virtual viewpoint position, and extracting an image of the camera partial area Region extracting means;
Coordinate conversion means for converting the coordinates of the extracted image into coordinates on the designated image projection plane based on the correspondence determined by the correspondence determination means;
Projection image pasting means for pasting a portion of the image subjected to the coordinate transformation by the coordinate transformation means, which overlaps with the projection plane partial area of the designated image projection plane, to the image projection plane,
A first determination unit that determines whether the camera partial region extraction unit, the coordinate conversion unit, and the projection image pasting unit are repeatedly performed for all subject images;
A second determination unit that determines whether the camera partial region extraction unit, the coordinate conversion unit, the projection image pasting unit, and the first determination unit have been repeatedly performed on all image projection planes;
Rendering means for two-dimensionally rendering a three-dimensional image composed of the image projection surface to which the projection image is pasted from the virtual viewpoint position to generate the virtual viewpoint image,
The image projection plane setting means,
A virtual viewpoint image generation apparatus, characterized in that it is means for setting the arrangement, the number, and the shape of the image projection plane according to the accuracy of the virtual viewpoint image and the virtual viewpoint position or the moving range of the virtual viewpoint.

前記奥行き情報取得手段は、複数の計測地点から計測した奥行き情報を取得し、
前記投影面部分領域決定手段は、複数の計測地点から計測した奥行き情報の中から、前記仮想視点位置に応じた奥行き情報を選択する奥行き情報選択手段を備えることを特徴とする請求項６に記載の仮想視点画像生成装置。The depth information obtaining means obtains depth information measured from a plurality of measurement points,
7. The projection plane partial area determination unit according to claim 6, further comprising a depth information selection unit that selects depth information according to the virtual viewpoint position from among depth information measured from a plurality of measurement points. Virtual viewpoint image generation device.

前記奥行き情報取得手段は、複数の計測地点から計測した奥行き情報を取得し、
前記投影面部分領域決定手段は、前記複数の計測地点から計測した奥行き情報を統合する奥行き情報統合手段を備えることを特徴とする請求項６に記載の仮想視点画像生成装置。The depth information obtaining means obtains depth information measured from a plurality of measurement points,
7. The virtual viewpoint image generation apparatus according to claim 6, wherein the projection plane partial area determination unit includes a depth information integration unit that integrates depth information measured from the plurality of measurement points.

複数のカメラのそれぞれで撮影した複数枚の被写体の画像（以下、被写体画像と称する）を用いて、あらかじめ指定した視点位置（以下、仮想視点位置と称する）から見た前記被写体の画像（以下、仮想視点画像と称する）を生成させる仮想視点画像生成方法をコンピュータに実行させる仮想視点画像生成プログラムであって、
前記仮想視点画像生成プログラムは、前記被写体の奥行き情報を取得させる手順１と、
前記仮想視点画像の精度、及び前記仮想視点位置または前記仮想視点の移動範囲に応じて、複数の透明な画像投影面の配置、数、形状を設定させる手順２と、
前記各被写体画像の座標と前記画像投影面の座標との対応関係を決定させる手順３と、
前記被写体の奥行き情報に基づいて、前記複数の画像投影面のそれぞれに対して、画像を貼り付け可能な領域（以下、投影面部分領域と称する）を決定させる手順４と、
前記仮想視点位置に基づいて、前記被写体画像から、前記被写体画像のうち指定した画像投影面上の画像生成に用いる領域（以下、カメラ部分領域と称する）を決定させ、前記カメラ部分領域の画像を抽出させる手順５と、
前記手順５で抽出した画像の座標を、前記手順３で決定した前記対応関係に基づいて、前記指定した画像投影面上の座標に変換させる手順６と、
前記手順６で座標変換をした画像のうち、前記投影面部分領域と重なる部分を、前記画像投影面に貼り付けさせる手順７と、
すべての被写体画像について、前記手順５、前記手順６、前記手順７を繰り返し行わせる手順８と、
前記手順２で設定したすべての画像投影面に対して、前記手順５、前記手順６、前記手順７、前記手順８を繰り返し行わせる手順９と、
前記画像が貼り付けられた前記画像投影面からなる３次元的な画像を、前記仮想視点位置から２次元化（レンダリング）させて、前記仮想視点画像を生成させる手順１０とをコンピュータに実行させることを特徴とする仮想視点画像生成プログラム。An image of the subject (hereinafter, referred to as a virtual viewpoint position) viewed from a previously designated viewpoint position (hereinafter, referred to as a virtual viewpoint position) using a plurality of subject images (hereinafter, referred to as a subject image) captured by each of the plurality of cameras. A virtual viewpoint image generation program for causing a computer to execute a virtual viewpoint image generation method for generating a virtual viewpoint image).
The virtual viewpoint image generation program includes a procedure 1 for acquiring depth information of the subject;
Procedure 2 for setting the arrangement, number, and shape of a plurality of transparent image projection planes according to the accuracy of the virtual viewpoint image, and the virtual viewpoint position or the moving range of the virtual viewpoint,
A procedure 3 for determining the correspondence between the coordinates of each of the subject images and the coordinates of the image projection plane;
A procedure 4 for determining an area where an image can be pasted (hereinafter referred to as a projection plane partial area) for each of the plurality of image projection planes based on the depth information of the subject;
Based on the virtual viewpoint position, a region (hereinafter, referred to as a camera partial region) to be used for generating an image on a designated image projection plane of the subject image is determined from the subject image, and the image of the camera partial region is determined. Step 5 for extracting,
A procedure 6 of converting the coordinates of the image extracted in the procedure 5 into coordinates on the designated image projection plane based on the correspondence determined in the procedure 3;
Step 7 of pasting, on the image projection plane, a portion of the image subjected to the coordinate transformation in Step 6 that overlaps the projection plane partial area;
A procedure 8 for repeatedly performing the procedure 5, the procedure 6, and the procedure 7 for all the subject images;
A procedure 9 for repeating the procedure 5, the procedure 6, the procedure 7, and the procedure 8 for all the image projection planes set in the procedure 2,
Causing the computer to execute a step 10 of generating the virtual viewpoint image by two-dimensionally rendering (rendering) the three-dimensional image formed by the image projection surface to which the image is pasted from the virtual viewpoint position. A virtual viewpoint image generation program characterized by the following.

前記手順１は、
前記仮想視点位置または移動範囲、及び前記仮想視点画像で許容される誤差に応じて、前記被写体の奥行き情報の分解能及び計測範囲を決定させることを特徴とする請求項９に記載の仮想視点画像生成プログラム。The procedure 1 includes:
The virtual viewpoint image generation according to claim 9, wherein a resolution and a measurement range of the depth information of the subject are determined according to the virtual viewpoint position or the movement range and an error allowed in the virtual viewpoint image. program.

前記手順４は、
前記仮想視点位置に応じて、前記投影面部分領域を決定させることを特徴とする請求項９または請求項１０に記載の仮想視点画像生成プログラム。Step 4 is:
11. The virtual viewpoint image generation program according to claim 9, wherein the projection plane partial area is determined according to the virtual viewpoint position.

前記手順１は、
複数の地点から前記被写体の奥行き情報を取得させ、
前記手順４は、
前記複数の地点から取得した複数の奥行き情報のうち、前記仮想視点位置に応じた奥行き情報を選択させることを特徴とする請求項９乃至請求項１１のいずれか１項に記載の仮想視点画像生成プログラム。The procedure 1 includes:
Causing the subject to acquire depth information from a plurality of points,
Step 4 is:
The virtual viewpoint image generation according to any one of claims 9 to 11, wherein depth information corresponding to the virtual viewpoint position is selected from a plurality of pieces of depth information acquired from the plurality of points. program.

前記手順１は、
複数の地点から前記被写体の奥行き情報を取得させ、
前記手順４は、
前記複数の地点から取得した複数の奥行き情報を統合させることを特徴とする請求項９乃至請求項１１のいずれか１項に記載の仮想視点画像生成プログラム。The procedure 1 includes:
Causing the subject to acquire depth information from a plurality of points,
Step 4 is:
The virtual viewpoint image generation program according to claim 9, wherein a plurality of pieces of depth information acquired from the plurality of points are integrated.

前記請求項９乃至請求項１３のいずれか１項に記載の仮想視点画像生成プログラムが記録された記録媒体。A recording medium on which the virtual viewpoint image generation program according to any one of claims 9 to 13 is recorded.