JP7170224B2 - 三次元生成方法および三次元生成装置 - Google Patents

Description

本開示は、複数のカメラにより得られた複数の画像を用いて三次元再構成を行う三次元再構成方法および三次元再構成装置に関する。

コンピュータビジョンの分野における三次元再構成技術では、複数の二次元画像間で対応付けを行い、カメラの位置、向き、及び被写体の三次元位置を推定する。また、カメラキャリブレーション及び三次元点群再構成が行われる。例えば、このような三次元再構成技術は、自由視点映像生成方法などで用いられる。

特許文献１に記載の装置は、３台以上の複数カメラ間でキャリブレーションを行い、取得したカメラパラメータにより各カメラ座標系を任意視点の仮想カメラ座標系へ変換する。当該装置は、その仮想カメラ座標系において、座標変換後の画像間のブロックマッチングによる対応付けを行い、距離情報を推定する。当該装置は、推定した距離情報を基に仮想カメラ視点の画像を合成する。

特開２０１０－２５０４５２号公報

このような、三次元再構成方法または三次元再構成装置では、三次元再構成の精度を向上できることが望まれている。

そこで本開示は、三次元再構成の精度を向上できる三次元再構成方法または三次元再構成装置を提供することを目的とする。

上記目的を達成するために、ｎ（ｎは２以上の整数）台のカメラにより異なる複数の視点から撮像された複数の画像を用いて三次元再構成を行う三次元再構成方法であって、前記ｎ台のカメラを含む複数のカメラによって異なるｍ（ｍはｎより大きい整数）視点において撮像されたｍ枚の第１画像を用いて前記複数のカメラのカメラパラメータを算出するカメラ校正ステップと、（１）前記ｎ台のカメラのそれぞれによって撮像されたｎ枚の第２画像、および、（２）前記カメラ校正ステップにおいて算出された前記カメラパラメータ、を用いて三次元モデルを再構成する三次元モデリングステップと、を含む。

なお、これらの全般的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

本開示の三次元再構成方法または三次元再構成装置は、自由視点映像の精度を向上することができる。

図１は、実施の形態に係る自由視点映像生成システムの概要を示す図である。 図２は、実施の形態に係る三次元再構成処理を説明するための図である。 図３は、実施の形態に係る同期撮影を説明するための図である。 図４は、実施の形態に係る同期撮影を説明するための図である。 図５は、実施の形態に係る自由視点映像生成システムのブロック図である。 図６は、実施の形態に係る自由視点映像生成装置による処理を示すフローチャートである。 図７は、実施の形態に係る多視点フレームセットの一例を示す図である。 図８は、実施の形態に係る自由視点映像生成部の構造を示すブロック図である。 図９は、実施の形態に係る自由視点映像生成部の動作を示すフローチャートである。 図１０は、変形例１に係る自由視点映像生成部の構造を示すブロック図である。 図１１は、変形例１に係る自由視点映像生成部の動作を示すフローチャートである。 図１２は、変形例２に係る自由視点映像生成システムの概要を示す図である。

（本開示の基礎となった知見）
自由視点映像の生成では、カメラ校正、三次元モデリングおよび自由視点映像合成の３つの処理が行われる。カメラ校正は、複数のカメラのそれぞれのカメラパラメータを校正する処理である。三次元モデリングは、カメラパラメータと、複数のカメラにより得られた複数の画像とを用いて三次元モデルを再構成する処理である。自由視点映像合成は、三次元モデルと、複数のカメラにより得られた複数の画像とを用いて自由視点映像を合成する処理である。

これらの３つの処理では、視点数が多い、つまり、画像数が多いほど処理負荷が大きくなる一方で精度が向上するというトレードオフの関係にある。３つの処理では、三次元モデリング及び自由視点映像生成に影響を及ぼすためカメラ校正に最も高い精度が求められる。また、自由視点映像合成は、例えば隣接する２つのカメラのような互いに近い位置に配置される複数のカメラによって撮像された複数の画像の全てを用いても、当該複数の画像のうちの１つの画像を用いても、自由視点映像合成処理により得られる結果への精度はあまり変わらない。これらのことから、本発明者らは、これらの３つの処理において最適な複数の画像の視点数、つまり、複数の画像が撮像された位置の数は、異なるということを見出した。

このように、３つの処理で異なる視点数による複数の画像を用いることは、特許文献１のような従来技術では考慮されておらず、従来技術では、三次元再構成の精度が十分でないおそれがあった。また、従来技術では、三次元再構成を行うのに要する処理負荷が十分に低減できていないおそれがあった。

そこで本開示では、三次元再構成の精度を向上できる三次元再構成方法または三次元再構成装置について説明する。

本開示の一態様に係る三次元再構成方法は、ｎ（ｎは２以上の整数）台のカメラにより異なる複数の視点から撮像された複数の画像を用いて三次元再構成を行う三次元再構成方法であって、前記ｎ台のカメラを含む複数のカメラによって異なるｍ（ｍはｎより大きい整数）視点において撮像されたｍ枚の第１画像を用いて前記複数のカメラのカメラパラメータを算出するカメラ校正ステップと、（１）前記ｎ台のカメラのそれぞれによって撮像されたｎ枚の第２画像、および、（２）前記カメラ校正ステップにおいて算出された前記カメラパラメータ、を用いて三次元モデルを再構成する三次元モデリングステップと、を含む。

これによれば、三次元再構成方法では、カメラパラメータの精度が向上するように三次元モデリング処理における視点数ｎよりも多い視点数ｍを、カメラ校正処理において用いる多視点フレームセットの視点数として決定することで、三次元モデリング処理及び自由視点映像合成処理における精度を向上させることができる。

また、さらに、（１）前記ｎ台のカメラのうちの、ｌ（ｌはｎより小さい２以上の整数）台のカメラのそれぞれによって撮像されたｌ枚の第３画像、（２）前記カメラ校正ステップにおいて算出されたカメラパラメータ、および、（３）前記三次元モデリングステップにおいて再構成された前記三次元モデル、を用いて自由視点映像を合成する自由視点映像合成ステップを含んでもよい。

これによれば、三次元モデリング処理における視点数ｎよりも少ない視点数ｌを、自由視点映像合成処理において用いる多視点フレームセットの視点数として決定することで、自由視点映像を合成する処理における精度が低下するのを抑えつつ、自由視点映像を生成するのに要する処理負荷を低減することができる。

また、前記カメラ校正ステップでは、（１）前記複数のカメラのそれぞれによって撮像された前記ｍ枚の第１画像を用いて前記複数のカメラの前記カメラパラメータである第１カメラパラメータを算出し、かつ、（２）前記第１カメラパラメータと、前記ｎ台のカメラのそれぞれによって撮像されることにより得られたｎ枚の第４画像を用いて前記ｎ台のカメラの前記カメラパラメータである第２カメラパラメータを算出し、前記三次元モデリングステップでは、前記ｎ枚の第２画像、および、前記第２カメラパラメータを用いて前記三次元モデルを再構成してもよい。

これによれば、２段階でカメラ校正処理を実行するため、カメラパラメータの精度を向上させることができる。

また、前記ｎ台のカメラは、第１の感度で撮像する、ｉ台の第１カメラと、前記第１の感度とは異なる第２の感度で撮像するｊ台の第２カメラとを含み、前記３次元モデリングステップでは、前記ｎ台のカメラの全てによって撮像されることにより得られた前記ｎ枚の第２画像を用いて前記三次元モデルを再構成し、前記自由視点映像合成ステップでは、前記ｉ台の第１カメラまたは前記ｊ台の第２カメラによって撮像されることにより得られた複数の画像である前記ｌ枚の第３画像、前記カメラパラメータ、および、前記三次元モデル、を用いて前記自由視点映像を合成してもよい。

これによれば、撮影空間の状況に応じて感度の異なる２種類のカメラから得られる２種類の画像のうちの一方の画像を用いて自由視点映像合成を行う。このため、精度よく自由視点映像を生成することができる。

また、前記第１カメラと前記第２カメラとは、色感度が互いに異なっていてもよい。

これによれば、撮影空間の状況に応じて色感度の異なる２種類のカメラから得られる２種類の画像のうちの一方の画像を用いて自由視点映像合成を行う。このため、精度よく自由視点映像を生成することができる。

また、前記第１カメラと前記第２カメラとは、輝度感度が互いに異なっていてもよい。

これによれば、撮影空間の状況に応じて輝度感度の異なる２種類のカメラから得られる２種類の画像のうちの一方の画像を用いて自由視点映像合成を行う。このため、精度よく自由視点映像を生成することができる。

また、前記ｎ台のカメラは、それぞれ、互いに異なる位置において、互いに異なる姿勢で固定されている固定カメラであり、前記複数のカメラのうち前記ｎ台のカメラを除くカメラは、固定されていない非固定カメラであってもよい。

また、前記カメラ校正ステップにおいて用いられる前記ｍ枚の第１画像は、異なるタイミングで撮像された画像を含み、前記三次元モデリングステップにおいて用いられる前記ｎ枚の第２画像は、第１タイミングで前記ｎ台のカメラのそれぞれによって撮像された画像であってもよい。

なお、これらの包括的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態）
本実施の形態に係る三次元再構成装置は、時刻間で座標軸の一致した時系列三次元モデルを再構成できる。具体的には、まず、三次元再構成装置は、時刻毎に独立して三次元再構成を行うことで、各時刻の三次元モデルを取得する。次に、三次元再構成装置は、静止カメラ及び静止物体（静止三次元点）を検出し、検出した静止カメラ及び静止物体を用いて、時刻間で三次元モデルの座標合せを行い、座標軸の一致した時系列三次元モデルを生成する。

これにより、三次元再構成装置は、カメラの固定／非固定又は被写体の移動／静止に関わらず、各時刻の被写体及びカメラの相対位置関係が高精度であり、かつ時間方向の推移情報を利用可能な時系列三次元モデルを生成できる。

また、自由視点映像生成装置は、生成した時系列三次元モデルに、カメラにより撮像された画像から得られるテクスチャ情報を適用することで、任意の視点から被写体を見た場合の自由視点映像を生成する。

なお、自由視点映像生成装置は、三次元再構成装置を含んでいてもよい。また、自由視点映像生成方法は、三次元再構成方法を含んでいてもよい。

図１は、自由視点映像生成システムの概要を示す図である。例えば、校正済みのカメラ（例えば固定カメラ）を用いて同一空間を多視点から撮影することにより撮影する空間を三次元再構成できる（三次元空間再構成）。この三次元再構成されたデータを用いて、トラッキング、シーン解析、及び映像レンダリングを行うことで、任意の視点（自由視点カメラ）から見た映像を生成できる。これにより、次世代広域監視システム、及び自由視点映像生成システムを実現できる。

本開示における三次元再構成を定義する。実空間上に存在する被写体を複数のカメラにより異なる視点で撮影した映像又は画像を多視点映像又は多視点画像と呼ぶ。つまり、多視点画像は、同一の被写体を異なる視点から撮影した複数の二次元画像を含む。また、時系列に撮影された多視点画像を多視点映像と呼ぶ。この多視点画像を用いて被写体を三次元空間に再構成することを三次元再構成と呼ぶ。図２は、三次元再構成の仕組みを示す図である。

自由視点映像生成装置は、カメラパラメータを用いて、画像面の点を世界座標系に再構成する。三次元空間に再構成された被写体を三次元モデルと呼ぶ。被写体の三次元モデルは、多視点の二次元画像に映る被写体上の複数の点それぞれの三次元位置を示す。三次元位置は、例えば、ＸＹＺ軸からなる三次元座標空間のＸ成分、Ｙ成分、Ｘ成分からなる三値情報で表される。なお、三次元モデルは、三次元位置のみだけでなく、各点の色又は各点及びその周辺の表面形状を表す情報を含んでもよい。

この時、自由視点映像生成装置は、各カメラのカメラパラメータを、予め取得してもよいし、三次元モデルの作成と同時に推定してもよい。カメラパラメータは、カメラの焦点距離及び画像中心などからなる内部パラメータと、カメラの三次元位置及び向きを示す外部パラメータとを含む。

図２は、代表的なピンホールカメラモデルの例を示している。このモデルではカメラのレンズ歪みは考慮されていない。レンズ歪みを考慮する場合は、自由視点映像生成装置は、画像面座標における点の位置を歪みモデルにより正規化した補正位置を用いる。

次に、多視点映像の同期撮影について説明する。図３及び図４は同期撮影を説明するための図である。図３及び図４の横方向は時間を示し、矩形信号が立っている時間はカメラが露光していることを示す。カメラにより画像を取得する際、シャッタが開放されている時間を露光時間と呼ぶ。

露光時間中、レンズを通して撮像素子にさらされたシーンが画像として得られる。図３では、視点の異なる２台のカメラで撮影されたフレームでは、露光時間が重複している。これにより２台のカメラにより取得したフレームは、同一時刻のシーンを含んでいる同期フレームと判定される。

一方、図４では、２台のカメラで露光時間の重複が無いため、２台のカメラにより取得したフレームは、同一時刻のシーンを含まない非同期フレームと判定される。図３のように、同期フレームを複数のカメラで撮影することを同期撮影と呼ぶ。

次に、本実施の形態に係る自由視点映像生成システムの構成を説明する。図５は、本実施の形態に係る自由視点映像生成システムのブロック図である。図５に示す自由視点映像生成システム１は、複数のカメラ１００－１～１００－ｎ、１０１－１～１０１－ａと、自由視点映像生成装置２００とを含む。

複数のカメラ１００－１～１００－ｎ、１０１－１～１０１－ａは被写体を撮影し、撮影された複数の映像である多視点映像を出力する。多視点映像の送信は、インターネットなどの公衆通信網、又は専用通信網のいずれを介してもよい。あるいは、多視点映像は、一度ハードディスクドライブ（ＨＤＤ）又はソリッドステートドライブ（ＳＳＤ）などの外部記憶装置に記憶され、必要な時に自由視点映像生成装置２００へ入力されてもよい。あるいは、多視点映像は、クラウドサーバ等の外部記憶装置に一旦ネットワークを介して送信され、記憶される。そして、必要な時に自由視点映像生成装置２００へ送信されてもよい。

また、ｎ台のカメラ１００－１～１００－ｎの各々は、監視カメラなどの固定カメラである。つまり、ｎ台のカメラ１００－１～１００－ｎは、例えば、それぞれ、互いに異なる位置において、互いに異なる姿勢で固定されている固定カメラである。また、ａ台のカメラ１０１－１～１０１－ａ、つまり、複数のカメラ１００－１～１００－ｎ、１０１－１～１０１－ａのうちｎ台のカメラ１００－１～１００－ｎを除くカメラは、固定されていない非固定カメラである。ａ台のカメラ１０１－１～１０１－ａは、例えば、ビデオカメラ、スマートフォンまたはウェアラブルカメラなどのモバイルカメラであっても、撮影機能付きドローンなどの移動カメラであってもよい。なお、ｎは、２以上の整数である。ａは、１以上の整数である。

また、多視点映像には、映像又はフレームのヘッダ情報として、撮影したカメラを特定するカメラＩＤなどのカメラ特定情報が付加されてもよい。

複数のカメラ１００－１～１００－ｎ、１０１－１～１０１－ａを用いて、毎フレームで同じ時刻の被写体を撮影する同期撮影が行われてもよい。あるいは、複数のカメラ１００－１～１００－ｎ、１０１－１～１０１－ａに内蔵された時計の時刻を合せ、同期撮影せずに、映像又はフレーム毎に撮影時刻情報が付加されてもよし、撮影順序を示すインデックス番号が付加されてもよい。

多視点映像の映像セット毎、映像毎、又はフレーム毎に、同期撮影されたか、非同期撮影されたかを示す情報がヘッダ情報として付加されてもよい。

また、自由視点映像生成装置２００は、受信部２１０と、記憶部２２０と、取得部２３０と、自由視点映像生成部２４０と、送信部２５０とを備える。

次に、自由視点映像生成装置２００の動作を説明する。図６は、本実施の形態に係る自由視点映像生成装置２００の動作を示すフローチャートである。

まず、受信部２１０は、複数のカメラ１００－１～１００－ｎ、１０１－１～１０１－ａで撮影された多視点映像を受信する（Ｓ１０１）。記憶部２２０は、受信された多視点映像を記憶する（Ｓ１０２）。

次に、取得部２３０は、多視点映像からフレームを選択し、多視点フレームセットとして自由視点映像生成部２４０へ出力する（Ｓ１０３）。

例えば、多視点フレームセットは、全ての視点の映像から１フレームずつ選択した複数フレームにより構成されてもよいし、全ての視点の映像から少なくとも１フレーム選択した複数フレームにより構成されてもよいし、多視点映像のうち２つ以上の視点の映像を選択し、選択された各映像から１フレームずつ選択した複数フレームにより構成されてもよいし、多視点映像のうち２つ以上の視点の映像を選択し、選択された各映像から少なくとも１フレーム選択した複数フレームにより構成されてもよい。

また、多視点フレームセットの各フレームにカメラ特定情報が付加されていない場合は、取得部２３０は、カメラ特定情報を、各フレームのヘッダ情報に個別に付加してもよいし、多視点フレームセットのヘッダ情報に一括して付加してもよい。

また、多視点フレームセットの各フレームに撮影時刻又は撮影順を示すインデックス番号が付加されていない場合は、取得部２３０は、撮影時刻又はインデックス番号を、各フレームのヘッダ情報に個別に付加してもよいし、フレームセットのヘッダ情報に一括して付加してもよい。

次に、自由視点映像生成部２４０は、多視点フレームセットを用いて、カメラ校正処理、三次元モデリング処理及び自由視点映像合成処理を実行することで自由視点映像を生成する（Ｓ１０４）。

また、ステップＳ１０３及びＳ１０４の処理は、多視点フレームセット毎に繰り返し行われる。

最後に、送信部２５０は、カメラパラメータ、被写体の三次元モデル及び自由視点映像の少なくとも１つを外部装置へ送信する（Ｓ１０５）。

次に、多視点フレームセットの詳細について説明する。図７は、多視点フレームセットの一例を示す図である。ここでは、取得部２３０が、５台のカメラ１００－１～１００－５から１フレームずつを選択することで多視点フレームセットを決定する例を説明する。

また、複数のカメラが同期撮影することを仮定している。各フレームのヘッダ情報には、撮影されたカメラを特定するカメラＩＤがそれぞれ１００－１～１００－５として付与されている。また、各フレームのヘッダ情報には、各カメラ内での撮影順序を示すフレーム番号００１～Ｎが付与されており、カメラ間で同じフレーム番号を持つフレームは同時刻の被写体が撮影されたことを示す。

取得部２３０は、多視点フレームセット２００－１～２００－ｎを自由視点映像生成部２４０へ順次出力する。自由視点映像生成部２４０は、繰り返し処理により多視点フレームセット２００－１～２００－ｎを用いて、順次三次元再構成を行う。

多視点フレームセット２００－１は、カメラ１００－１のフレーム番号００１、カメラ１００－２のフレーム番号００１、カメラ１００－３のフレーム番号００１、カメラ１００－４のフレーム番号００１、カメラ１００－５のフレーム番号００１の５枚のフレームから構成される。自由視点映像生成部２４０は、この多視点フレームセット２００－１を、多視点映像の最初のフレームの集合として、繰り返し処理１で使用することにより、フレーム番号００１を撮影した時刻の三次元モデルを再構成する。

多視点フレームセット２００－２では、全てのカメラでフレーム番号が更新される。多視点フレームセット２００－２は、カメラ１００－１のフレーム番号００２、カメラ１００－２のフレーム番号００２、カメラ１００－３のフレーム番号００２、カメラ１００－４のフレーム番号００２、カメラ１００－５のフレーム番号００２の５枚のフレームから構成される。自由視点映像生成部２４０は、多視点フレームセット２００－２を繰り返し処理２で使用することにより、フレーム番号００２を撮影した時刻の三次元モデルを再構成する。

以下、繰り返し処理３以降でも同様に全てのカメラでフレーム番号が更新される。これにより、自由視点映像生成部２４０は、各時刻の三次元モデルを再構成できる。

ただし、各時刻で独立して三次元再構成を行うため、再構成された複数の三次元モデルの座標軸とスケールが一致しているとは限らない。つまり、動く被写体の三次元モデルを取得するためには、各時刻の座標軸及びスケールを合せる必要がある。

その場合、各フレームには撮影時刻が付与されており、その撮影時刻を基に取得部２３０は、同期フレームと非同期フレームを組み合わせた多視点フレームセットを作成する。以下、２台のカメラ間での撮影時刻を用いた同期フレームと非同期フレームの判定方法を説明する。

カメラ１００－１から選択したフレームの撮影時刻をＴ１とし、カメラ１００－２から選択したフレームの撮影時刻をＴ２とし、カメラ１００－１の露光時間をＴＥ１とし、カメラ１００－２の露光時間をＴＥ２とする。ここで、撮影時刻Ｔ１、Ｔ２は、図３及び図４の例で露光が開始された時刻、つまり矩形信号の立ち上がりの時刻を指している。

この場合、カメラ１００－１の露光終了時刻はＴ１＋ＴＥ１である。この時、（式１）又は（式２）が成立していれば、２台のカメラは、同じ時刻の被写体を撮影していることになり、２枚のフレームは同期フレームと判定される。

Ｔ１≦Ｔ２≦Ｔ１＋ＴＥ１ （式１）

Ｔ１≦Ｔ２＋ＴＥ２≦Ｔ１＋ＴＥ１ （式２）

次に、自由視点映像生成部２４０の詳細について説明する。図８は、自由視点映像生成部２４０の構造を示すブロック図である。図８に示すように自由視点映像生成部２４０は、制御部２４１と、カメラ校正部３１０と、三次元モデリング部３２０と、自由視点映像合成部３３０とを備える。

制御部２４１は、カメラ校正部３１０、三次元モデリング部３２０及び自由視点映像合成部３３０における各処理で最適な視点数を決定する。ここで決定する視点数とは、互いに異なる視点の数を示す。

制御部２４１は、三次元モデリング部３２０における三次元モデリング処理において用いる多視点フレームセットの視点数を、例えば、固定カメラであるｎ台のカメラ１００－１～１００－ｎと同じ数、つまり、ｎに決定する。そして、制御部２４１は、三次元モデリング処理における視点数ｎを基準として、他の処理であるカメラ校正処理及び自由視点映像合成処理に用いる多視点フレームセットの視点数を決定する。

カメラ校正処理において算出するカメラパラメータの精度は、三次元モデリング処理及び自由視点映像合成処理における精度に大きな影響を及ぼす。よって、制御部２４１は、三次元モデリング処理及び自由視点映像合成処理における精度を低下させないために、カメラパラメータの精度が向上するように三次元モデリング処理における視点数ｎよりも多い視点数ｍを、カメラ校正処理において用いる多視点フレームセットの視点数として決定する。つまり、制御部２４１は、ｎ台のカメラ１００－１～１００－ｎにより撮像されたｎ枚のフレームに、ａ台のカメラ１０１－１～１０１－ａにより撮像されたｋ（ｋはａ以上の整数）枚のフレームを加えたｍ枚のフレームを用いてカメラ校正部３１０にカメラ校正処理を実行させる。なお、ａ台のカメラ１０１－１～１０１－ａは、必ずしもｋ台でなくてもよく、ａ台のカメラ１０１－１～１０１－ａを移動させることによりｋ視点で撮像を行った結果得られた、ｋ枚のフレーム（画像）であってもよい。

また、自由視点映像合成処理において、実カメラによって得られた画像と、仮想視点の画像との対応位置の算出には、実カメラ台数が多いほど大きい処理負荷がかかるため、多くの処理時間を要する。一方で、ｎ台のカメラ１００－１～１００－ｎのうち配置されている位置が近い複数のカメラにおいて得られた複数の画像間において、当該複数の画像から得られるテクスチャ情報が互いに似ている。このため、自由視点映像合成処理に、当該複数の画像の全てを用いても、当該複数の画像のうちの１つの画像を用いても、自由視点映像合成処理により得られる結果への精度はあまり変わらない。よって、制御部２４１は、三次元モデリング処理における視点数ｎよりも少ない視点数ｌを、自由視点映像合成処理において用いる多視点フレームセットの視点数として決定する。

図９は、自由視点映像生成部２４０の動作を示すフローチャートである。なお、図９に示す処理では、制御部２４１において決定された視点数の多視点フレームセットが用いられる。

まず、カメラ校正部３１０は、互いに異なる位置に配置されるｎ台のカメラ１００－１～１００－ｎを含む複数のカメラ１００－１～１００－ｎ、１０１－１～１０１－ａによって異なるｍ視点において撮像されたｍ枚の第１画像を用いて複数のカメラ１００－１～１００－ｎ、１０１－１～１０１－ａのカメラパラメータを算出する（Ｓ３１０）。なお、ここでのｍ視点は、制御部２４１において決定された視点数に基づく。

カメラ校正部３１０は、具体的には、複数のカメラ１００－１～１００－ｎ、１０１－１～１０１－ａのそれぞれの内部パラメータ、外部パラメータ及びレンズ歪み係数をカメラパラメータとして算出する。内部パラメータとは、カメラの焦点距離、収差、画像中心等の光学系の特性を示す。外部パラメータとは、三次元空間におけるカメラの位置及び姿勢を示す。

カメラ校正部３１０は、複数のカメラ１００－１～１００－ｎがチェッカボードの白黒の交点を撮影することにより得られたｍ枚のフレームであるｍ枚の第１画像を用いて内部パラメータ、外部パラメータ及びレンズ歪み係数を別々に算出してもよいし、Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎのようにｍ枚のフレーム間の対応点を用いて内部パラメータ、外部パラメータ及びレンズ歪み係数を一括して算出し、全体最適化を行ってもよい。後者の場合のｍ枚のフレームは、チェッカボードが撮像された画像でなくてもよい。

なお、カメラ校正部３１０は、固定カメラであるｎ台のカメラ１００－１～１００－ｎと、非固定カメラであるａ台のカメラ１０１－１～１０１－ａとによって得られたｍ枚の第１画像を用いてカメラ校正処理を行う。カメラ校正処理では、カメラの数が多いほどカメラ間の距離が近くなり、距離が近い複数のカメラの視野が近くなるため、距離が近い複数のカメラから得られる複数の画像の対応付けが容易になる。よって、カメラ校正部３１０は、カメラ校正を行う場合、撮影空間１０００に常時設置されている固定カメラであるｎ台のカメラ１００－１～１００－ｎに加えて、非固定カメラであるａ台のカメラ１０１－１～１０１－ａを用いて視点数を増やす。

非固定カメラは、少なくとも１台の移動カメラでもよく、非固定カメラとして移動カメラを使用する場合、撮像するタイミングが異なる画像が含まれることとなる。つまり、カメラ校正処理において用いられるｍ枚の第１画像は、異なるタイミングで撮像された画像を含むことになる。言い換えると、ｍ枚の第１画像が構成するｍ視点の多視点フレームセットは、非同期撮影により得られたフレームを含む。このため、カメラ校正部３１０は、ｍ枚の第１画像のうちの静止物体が映っている領域である静止領域から得られる特徴点の画像間同士の対応点を利用してカメラ校正処理を行う。よって、カメラ校正部３１０は、静止領域に対応したカメラパラメータを算出する。静止領域は、ｍ枚の第１画像のうちの動物体が映っている動領域を除く領域である。フレームに映り込む動領域は、例えば、過去のフレームとの差分を計算したり、背景映像との差分を計算したり、機械学習により動物体の領域を自動検知するなどで検出される。

なお、カメラ校正部３１０は、自由視点映像生成部２４０における自由視点映像生成処理において、ステップＳ３１０のカメラ校正処理を常に行わなくてもよく、所定の回数毎に１回行ってもよい。

次に、三次元モデリング部３２０は、ｎ台のカメラ１００－１～１００－ｎのそれぞれによって撮像されたｎ枚の第２画像、及び、カメラ校正処理において得られたカメラパラメータ、を用いて三次元モデルを再構成する（Ｓ３２０）。つまり、三次元モデリング部３２０は、制御部２４１において決定された視点数ｎに基づいて、ｎ視点において撮像されたｎ枚の第２画像を用いて三次元モデルを再構成する。これにより、三次元モデリング部３２０は、ｎ枚の第２画像における被写体を三次元点として再構成する。三次元モデリング処理において用いられるｎ枚の第２画像は、任意のタイミングでｎ台のカメラ１００－１～１００－ｎのそれぞれによって撮像された画像である。つまり、ｎ枚の第２画像が構成するｎ視点の多視点フレームセットは、同期撮影により得られた多視点フレームセットである。このため、三次元モデリング部３２０は、ｎ枚の第２画像のうち静止物体及び動物体を含む領域（つまり、全ての領域）を用いて三次元モデリング処理を行う。なお、三次元モデリング部３２０は、レーザスキャンを用いて被写体の三次元空間上の位置の計測結果を用いてもよいし、多視点ステレオ法のように複数のステレオ画像の対応点を用いて、被写体の三次元空間上の位置を算出してもよい。

次に、自由視点映像合成部３３０は、ｎ台のカメラ１００－１～１００－ｎのうちの、ｌ台のカメラのそれぞれによって撮像されたｌ枚の第３画像、カメラ校正処理において算出されたカメラパラメータ、及び、三次元モデリング処理において再構成された三次元モデル、を用いて自由視点映像を合成する（Ｓ３３０）。つまり、自由視点映像合成部３３０は、制御部２４１において決定された視点数ｌに基づいて、ｌ視点において撮像されたｌ枚の第３画像を用いて自由視点映像を合成する。具体的には、自由視点映像合成部３３０は、カメラパラメータ及び三次元モデルにより求めた、実カメラの画像と仮想視点の画像との対応位置を基に、実カメラのテクスチャ情報を用いて仮想視点のテクスチャ情報を算出することで、自由視点映像を合成する。

本実施の形態に係る自由視点映像生成装置２００によれば、カメラ校正処理において算出するカメラパラメータの精度が、三次元モデリング処理及び自由視点映像合成処理における精度に大きな影響を及ぼすことを考慮して、カメラパラメータの精度が向上するように三次元モデリング処理における視点数ｎよりも多い視点数ｍを、カメラ校正処理において用いる多視点フレームセットの視点数として決定する。このため、三次元モデリング処理及び自由視点映像合成処理における精度を向上させることができる。

また、本実施の形態に係る自由視点映像生成装置２００によれば、三次元モデリング処理における視点数ｎよりも少ない視点数ｌを、自由視点映像合成処理において用いる多視点フレームセットの視点数として決定することで、自由視点映像を生成するのに要する処理負荷を低減することができる。

（変形例１）
変形例１に係る自由視点映像生成装置について説明する。

変形例１に係る自由視点映像生成装置は、実施の形態に係る自由視点映像生成装置２００と比較して、自由視点映像生成部２４０Ａの構成が異なる。変形例１に係る自由視点映像生成装置のその他の構成は、実施の形態に係る自由視点映像生成装置２００と同様であるので詳細な説明を省略する。

自由視点映像生成部２４０Ａの詳細について図１０を用いて説明する。図１０は、自由視点映像生成部２４０Ａの構造を示すブロック図である。図１０に示すように自由視点映像生成部２４０Ａは、制御部２４１と、カメラ校正部３１０Ａと、三次元モデリング部３２０と、自由視点映像合成部３３０とを備える。自由視点映像生成部２４０Ａは、実施の形態に係る自由視点映像生成部２４０と比較して、カメラ校正部３１０Ａの構成が異なり、その他の構成は同様である。このため、以下では、カメラ校正部３１０Ａについて説明する。

実施の形態において説明したように、自由視点映像生成システム１が備える複数のカメラ１００－１～１００－ｎ、１０１－１～１０１－ａは、非固定カメラを含む。このため、カメラ校正部３１０Ａにより算出されたカメラパラメータは、固定カメラで撮影された動領域に対応しているとは限らない。また、Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎのような方式は、カメラパラメータの全体最適化を実施するため、固定カメラのみに着目した場合は、最適化されているとは限らない。よって、本変形例では、カメラ校正部３１０Ａは、実施の形態とは異なり、ステップＳ３１１及びステップＳ３１２の２段階でカメラ校正処理を実行する。

図１１は、自由視点映像生成部２４０Ａの動作を示すフローチャートである。なお、図１１に示す処理では、制御部２４１において決定された視点数の多視点フレームセットが用いられる。

カメラ校正部３１０Ａは、複数のカメラ１００－１～１００－ｎ、１０１－１～１０１－ａのそれぞれによって撮像されたｍ枚の第１画像を用いて複数のカメラ１００－１～１００－ｎ、１０１－１～１０１－ａのカメラパラメータである第１カメラパラメータを算出する（Ｓ３１１）。つまり、カメラ校正部３１０Ａは、撮影空間１０００に常時設置されている固定カメラであるｎ台のカメラ１００－１～１００－ｎによって撮像されたｎ枚の画像と、移動カメラ（非固定カメラ）であるａ台のカメラ１０１－１～１０１－ａで撮影されたｋ枚の画像とにより構成される多視点フレームセットを用いて、大まかなカメラ校正処理を行う。

次に、カメラ校正部３１０Ａは、第１カメラパラメータと、ｎ台のカメラ１００－１～１００－ｎのそれぞれによって撮像されることにより得られたｎ枚の第４画像を用いてｎ台のカメラ１００－１～１００－ｎのカメラパラメータである第２カメラパラメータを算出する（Ｓ３１２）。つまり、カメラ校正部３１０Ａは、撮影空間１０００に常時設置されている固定カメラであるｎ台のカメラ１００－１～１００－ｎによって撮像されたｎ枚の画像を用いて、ステップＳ３１１で算出した第１カメラパラメータをｎ台のカメラ１００－１～１００－ｎ環境で最適化する。ここで、最適化とは、カメラパラメータの算出の際に副次的に得られた三次元点を、ｎ枚の画像のそれぞれにおいて当該画像上に再投影し、その再投影によって得られた当該画像上の点と当該画像上で検出された特徴点との誤差（再投影誤差という）を評価値として、評価値を最小化する処理である。

そして、三次元モデリング部３２０は、ｎ枚の第２画像、及び、ステップＳ３１２で算出された第２カメラパラメータを用いて三次元モデルを再構成する（Ｓ３２０）。

なお、ステップＳ３３０は、実施の形態と同様であるので詳細な説明を省略する。

変形例１に係る自由視点映像生成装置によれば、２段階でカメラ校正処理を実行するため、カメラパラメータの精度を向上させることができる。

（変形例２）
変形例２に係る自由視点映像生成装置について説明する。

図１２は、変形例２に係る自由視点映像生成システムの概要を示す図である。

上記実施の形態及びその変形例１におけるｎ台のカメラ１００－１～１００－ｎは、２つのカメラを有するステレオカメラにより構成されていてもよい。ステレオカメラは、図１２に示すように、互いに略同じ方向を撮像する２つのカメラ、つまり、第１カメラ及び第２カメラを有し、２つのカメラの間の距離が所定距離以下である構成であればよい。このように、ｎ台のカメラ１００－１～１００－ｎがステレオカメラにより構成された場合、ｎ／２台の第１カメラと、ｎ／２台の第２カメラとにより構成される。なお、ステレオカメラが有する２つのカメラは、一体化されていてもよいし、別体であってもよい。

また、ステレオカメラを構成する第１カメラ及び第２カメラは、互いに異なる感度で撮像してもよい。第１カメラは、第１の感度で撮像するカメラである。第２カメラは、第１の感度とは異なる第２の感度で撮像するカメラである。第１カメラと第２カメラとは、色感度が互いに異なるカメラである。

変形例２に係る三次元モデリング部は、ｎ台のカメラ１００－１～１００－ｎの全てによって撮像されることにより得られたｎ枚の第２画像を用いて三次元モデルを再構成する。三次元モデリング部は、三次元モデリング処理において、輝度情報を使用するため、色感度の相違に関わらずｎ台のカメラ全てを使用して三次元モデルを高精度に算出することができる。

変形例２に係る自由視点映像合成部は、ｎ／２台の第１カメラまたはｎ／２台の第２カメラによって撮像されることにより得られた複数の画像であるｎ／２枚の第３画像、カメラ校正部により算出されたカメラパラメータ、及び、変形例２に係る三次元モデリング部により再構成された三次元モデル、を用いて自由視点映像を合成する。自由視点映像合成部は、自由視点映像生成処理において、ｎ／２台の第１カメラ、及び、ｎ／２台の第２カメラのどちらか一方によるｎ／２枚の画像を使用しても精度に及ぼす影響は小さい。そこで、変形例２に係る自由視点映像合成部は、撮影空間１０００の状況に応じて、第１カメラと第２カメラとの一方で撮像されたｎ／２枚の画像を用いて、自由視点合成を実施する。例えば、ｎ／２台の第１カメラは、赤系統の色感度が高いカメラであり、ｎ／２台の第２カメラは、青系統の色感度が高いカメラであるとする。この場合、変形例２に係る自由視点映像合成部は、被写体が赤系統の色であれば、赤の色感度が高い第１カメラにより撮像された画像を用い、被写体が青系統の色であれば、青の色感度が高い第２カメラにより撮像された画像を用いて自由視点映像合成処理を実行するように、用いる画像を切り替える。

変形例２に係る自由視点映像装置によれば、撮影空間の状況に応じて感度の異なる２種類のカメラから得られる２種類の画像のうちの一方の画像を用いて自由視点映像合成を行う。このため、精度よく自由視点映像を生成することができる。

なお、第１カメラと第２カメラとは、色感度が互いに異なることに限らず、輝度感度が互いに異なるカメラであってもよい。この場合、変形例２に係る自由視点映像合成部は、昼間と夜間、晴天と曇天などの状況に応じて、カメラを切替えることができる。

なお、変形例２では、ステレオカメラを用いるとしたが、必ずしもステレオカメラを用いなくてもよい。よって、ｎ台のカメラは、ｎ／２台の第１カメラ、及び、ｎ／２台の第２カメラにより構成されていることに限らずに、ｉ台の第１カメラと、ｊ台の第２カメラとにより構成されていてもよい。

（その他）
上記実施の形態およびその変形例１、２では、複数のカメラ１００－１～１００－ｎ、１０１－１～１０１－ａは、固定カメラ及び非固定カメラにより構成されるとしたが、これに限らずに、全ての複数のカメラが固定カメラにより構成されてもよい。また、三次元モデリングで用いられるｎ枚の画像は、固定カメラにより撮像された画像であるとしたが、非固定カメラにより撮像された画像を含んでいてもよい。

以上、本開示の実施の形態に係る自由視点映像生成システムについて説明したが、本開示は、この実施の形態に限定されるものではない。

また、上記実施の形態に係る自由視点映像生成システムに含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

また、本開示は、自由視点映像生成システムにより実行される各種方法として実現されてもよい。

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

以上、一つまたは複数の態様に係る自由視点映像生成システムについて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

本開示は、自由視点映像生成方法及び自由視点映像生成装置に適用でき、例えば、三次元空間認識システム、自由視点映像生成システム、及び次世代監視システム等に適用できる。

１００－１～１００－ｎ、１０１－１～１０１－ａ カメラ
２００ 自由視点映像生成装置
２００－１、２００－２、２００－３、２００－４、２００－５、２００－６、２００－ｎ 多視点フレームセット
２１０ 受信部
２２０ 記憶部
２３０ 取得部
２４０、２４０Ａ 自由視点映像生成部
２４１ 制御部
２５０ 送信部
３１０、３１０Ａ カメラ校正部
３２０ 三次元モデリング部
３３０ 自由視点映像合成部

Claims (10)

1. 異なるｍ視点から撮像されたｍ枚の第１画像に基づいてｎ台のカメラのカメラパラメータを算出し、ｍはｎより大きい整数であり、ｎは２以上の整数であるカメラ校正ステップと、
   前記ｎ台のカメラによって異なるｎ視点からそれぞれ撮像されたｎ枚の第２画像、および、前記カメラパラメータ、に基づいて三次元モデルを生成する三次元モデル生成ステップと、を含む
   三次元モデル生成方法。
2. 前記ｍ枚の第１画像は、前記ｎ台のカメラおよび追加のカメラによって前記ｍ視点から撮像され、
   前記追加のカメラの追加のカメラパラメータは、前記ｍ枚の第１画像に基づいて算出される
   請求項１に記載の三次元モデル生成方法。
3. さらに、
   （１）前記ｎ台のカメラのうちの、ｌ（ｌはｎより小さい２以上の整数）台のカメラのそれぞれによって撮像されたｌ枚の第３画像、（２）前記カメラ校正ステップにおいて算出されたカメラパラメータ、および、（３）前記三次元モデル生成ステップにおいて生成された前記三次元モデル、に基づいて自由視点映像を生成する自由視点映像生成ステップを含む
   請求項１または２に記載の三次元モデル生成方法。
4. 前記カメラ校正ステップでは、（１）前記ｎ台のカメラおよび前記追加のカメラを含む複数のカメラのそれぞれによって撮像された前記ｍ枚の第１画像に基づいて、前記複数のカメラの前記カメラパラメータである第１カメラパラメータを算出し、かつ、（２）前記第１カメラパラメータと、前記ｎ台のカメラのそれぞれによって撮像されることにより得られたｎ枚の第４画像に基づいて前記ｎ台のカメラの前記カメラパラメータである第２カメラパラメータを算出し、
   前記三次元モデル生成ステップでは、前記ｎ枚の第２画像、および、前記第２カメラパラメータに基づいて前記三次元モデルを生成する
   請求項２に記載の三次元モデル生成方法。
5. 前記ｎ台のカメラは、第１の感度で撮像する、ｉ台の第１カメラと、前記第１の感度とは異なる第２の感度で撮像するｊ台の第２カメラとを含み、
   前記三次元モデル生成ステップでは、前記ｎ台のカメラの全てによって撮像されることにより得られた前記ｎ枚の第２画像に基づいて前記三次元モデルを生成し、
   前記自由視点映像生成ステップでは、前記ｉ台の第１カメラまたは前記ｊ台の第２カメラによって撮像されることにより得られた複数の画像である前記ｌ枚の第３画像、前記カメラパラメータ、および、前記三次元モデル、に基づいて前記自由視点映像を生成する
   請求項３に記載の三次元モデル生成方法。
6. 前記第１カメラと前記第２カメラとは、色感度が互いに異なる
   請求項５に記載の三次元モデル生成方法。
7. 前記第１カメラと前記第２カメラとは、輝度感度が互いに異なる
   請求項５に記載の三次元モデル生成方法。
8. 前記ｎ台のカメラは、それぞれ、互いに異なる位置において、互いに異なる姿勢で固定されている固定カメラであり、
   前記追加のカメラは、固定されていない非固定カメラである
   請求項２に記載の三次元モデル生成方法。
9. 前記カメラ校正ステップにおいて用いられる前記ｍ枚の第１画像は、異なるタイミングで撮像された画像を含み、
   前記三次元モデル生成ステップにおいて用いられる前記ｎ枚の第２画像は、第１タイミングで前記ｎ台のカメラのそれぞれによって撮像された画像である
   請求項８に記載の三次元モデル生成方法。
10. 異なるｍ視点から撮像されたｍ枚の第１画像に基づいてｎ台のカメラのカメラパラメータを算出し、ｍはｎより大きい整数であり、ｎは２以上の整数であるカメラ校正部と、
    前記ｎ台のカメラによって異なるｎ視点からそれぞれ撮像されたｎ枚の第２画像、および、前記カメラパラメータ、に基づいて三次元モデルを生成する三次元モデル生成部と、を含む
    三次元モデル生成装置。

Images