JP2017215706A - 映像合成方法、映像取得装置、映像合成装置、映像合成システム及びコンピュータプログラム。 - Google Patents

Abstract

【課題】大型の機材を用いることなく、リアルタイムに高い精確性で、自由視点映像を合成できる映像合成技術を提供する。
【解決手段】実施形態の映像合成方法は、複数の視点の三次元画像に対して補正処理を行う信号補正処理ステップと、前記信号補正処理ステップにおいて補正処理された複数の視点の三次元画像から、仮想視点の三次元画像を生成する画像合成処理を行う合成処理ステップと、を有し、前記合成処理部の要求に応じて、前記複数の視点の三次元画像ごとに前記信号補正処理ステップを並列で実行する。
【選択図】図１

Description

本発明は、複数視点の映像から自由視点映像を合成する映像合成技術に関する。

バーチャルリアリティ（以下、ＶＲと称する）が近年急速に注目を集めており、ヘッドマウントディスプレイ（ＨＭＤ）をはじめとするＶＲ視聴デバイスや、ＶＲコンテンツの市場が開拓されつつある。ＶＲコンテンツの多くは、ヘッドマウントディスプレイ等を装着することにより、実世界における自身の頭の動き等を計測し、バーチャルな仮想世界における視線方向と連動させることで、従来のテレビ映像では不可能であった没入感を生み出すことができる。そのため、コンピュータグラフィックス（以下、ＣＧと称する）やアニメーションの世界への没入型の映像体験が可能となるため、映像エンタテインメント業界をはじめとする各種業界から高い注目を集めている。

しかしながら、現状のほとんどのＶＲコンテンツは、ＣＧか若しくは全天球映像によるものである。全天球映像は、ＣＧに比べて写実的な表現ができるため、よりリアリティがあるものの、ユーザは全天球カメラが設置されたある１点から視線を動かすことはできるが、視点の移動をすることはできない。そのため、より没入感を高めるためには、自由視点映像の開発が必要であるといえる。

一方で、究極の映像メディアを追及する研究として、古くから自由視点映像の研究が数多くなされてきた。例えば非特許文献１では、複数のＴＯＦ（Time of Flight）カメラを利用した自由視点映像を行っているが、ＴＯＦセンサの距離データの補正方法が画像処理ベースのものであり、必ずしも正しい補正結果が得られるとは限らないという課題がある。さらに、ＴＯＦセンサが高解像度化してきており、撮影するために要求されるＰＣ（Personal Computer）のスペックが上がってきているという現状がある。このような状況において、非特許文献１のように、並列処理ができない方法では、自由視点映像をリアルタイムに実現することは難しい。

非特許文献２は、クロマキーをはじめ多くの機材を利用し、高画質な自由視点映像を実現するものである。しかしながら、特許文献２では、クロマキー等撮影機材の大規模化は、自由視点映像コンテンツ作成のハードルを上げてしまうというデメリットがある。

Alexiadis, Dimitrios, Dimitrios Zarpalas, and Petros Daras. "Fast and smooth 3D reconstruction using multiple RGB-Depth sensors." Visual Communications and Image Processing Conference, 2014 IEEE. IEEE, 2014. A. Collet et al., "High-quality streamable free-viewpoint video," ACM Transactions on Graphics, 34(4), 2015

上述のように、現状のリアルタイム自由視点映像技術においては、三次元形状復元におけるアルゴリズムが画像処理ベースであるため、形状の精確性に欠けてしまい、必ずしも正しい形状の復元ができるとは限らない。また、非特許文献１では、並列処理を行うことが困難であり、リアルタイムで高い精確性の三次元形状を生成するためには、機器が大型化するという課題がある。

上述の課題を鑑み、本発明の目的は、大型の機材を用いることなく、リアルタイムに高い精確性で、自由視点映像を合成できる映像合成技術を提供することを目的とする。

本発明の一態様は、複数の視点の三次元画像に対して補正処理を行う信号補正処理ステップと、前記信号補正処理ステップにおいて補正処理された複数の視点の三次元画像から、仮想視点の三次元画像を生成する画像合成処理を行う合成処理ステップと、を有し、前記合成処理部の要求に応じて、前記複数の視点の三次元画像ごとに前記信号補正処理ステップを並列で実行する、映像合成方法である。

本発明の一態様は、上記の映像合成方法であって、前記信号補正処理ステップでは各視点の三次元画像に対して、光学系モデルに従った補正処理を行う映像合成方法である。

本発明の一態様は、上記の映像合成方法であって、前記信号補正処理ステップでは、カラー画像のレンズ歪を補正する第１の補正処理と、距離画像のレンズ歪を補正する第２の補正処理と、前記第２の補正処理によって補正された距離画像の奥行方向の歪を補正する第３の補正処理と、前記第３の補正処理によって補正された距離画像をカラーカメラ視点へと投影するマッピング処理と、を行う、映像合成方法である。

本発明の一態様は、自装置の視点で取得される三次元画像に対して補正処理を行う信号補正処理部を備え、前記信号補正処理部は、自装置を含む複数の映像取得装置によって補正処理された各視点の三次元画像から、仮想視点の三次元画像を生成する画像合成処理を行う映像合成装置の要求に応じて、他の前記映像取得装置に並列して前記補正処理を実行する、映像取得装置である。

本発明の一態様は、複数の視点の三次元画像に基づいて、仮想視点の三次元画像を生成する画像合成処理を行う合成処理部を備え、前記合成処理部は、各視点の三次元画像に対する補正処理を、各視点の三次元画像を取得する複数の映像取得装置に対して並列に実行させる、映像合成装置である。

本発明の一態様は、複数の視点の三次元画像に対して補正処理を行う複数の信号補正処理部と、前記信号補正処理部により補正処理された複数の視点の三次元画像から、仮想視点の三次元画像を生成する画像合成処理を行う合成処理部と、を備え、前記複数の信号補正処理部は、前記合成処理部の要求に応じて前記補正処理を並列処理で行う、映像合成システムである。

本発明の一態様は、複数の視点の三次元画像に対して補正処理を行う信号補正処理ステップと、前記信号補正処理ステップにおいて補正処理された複数の視点の三次元画像から、仮想視点の三次元画像を生成する画像合成処理を行う合成処理ステップと、前記合成処理ステップの処理に応じて、前記複数の視点の三次元画像ごとに前記信号補正処理ステップを並列で実行するステップと、をコンピュータに実行させるためのコンピュータプログラムである。

本発明によれば、信号補正処理部と合成処理部との並列処理により、精確な形状復元による自由視点による三次元形状をリアルタイムで生成できる。

本発明の実施形態に係る映像合成システムの概要の構成図である。 本発明の実施形態に係る映像合成システムにおけるセンサの構成を示すブロック図である。 本発明の実施形態に係る映像合成システムにおいて信号補正処理部として用いるＰＣの機能ブロック図である。 本発明の実施形態に係る映像合成システムにおいて合成処理部として機能するＰＣの機能ブロック図である。 本発明の実施形態に係る映像合成システムの全体構成をブロック図である。 本発明の実施形態に係る映像合成システムの全体動作を示すフローチャートである。 本発明の実施形態に係る映像合成システムにおける入力部の具体的な処理を示すフローチャートである。 本発明の実施形態に係る映像合成システムにおける信号補正部の構成を示すブロック図である。 本発明の実施形態に係る映像合成システムにおけるレンズ歪補正の説明図である。 本発明の実施形態に係る映像合成システムにおける画像合成部の処理を示すフローチャートである。

以下、本発明の実施の形態について、図面を参照しながら説明する。図１は本発明の実施形態に係る映像合成システム１の概要の構成図である。図１に示すように、本発明の実施形態に係る映像合成システム１は、複数の視点の三次元画像を撮影するセンサ１０−１〜１０−４と、信号補正処理部１１−１〜１１−４と、合成処理部１２と、ネットワークスイッチ１３とから構成される。

センサ１０−１〜１０−４は、異なる位置に配置されており、各視点でオブジェクト２の撮影を行う。なお、センサ１０−１〜１０−４の数は任意であり、センサ１０−１〜１０−４を特定しない場合、センサ１０という。

図２は、センサ１０の構成を示すブロック図である。図２に示すように、センサ１０は、カラーカメラ１０１と、距離センサ１０２とを有している。距離センサ１０２としては、例えばＴＯＦ（Time Of Flight）センサが用いられる。センサ１０からは、カラー画像と、距離画像と、撮影時のカメラパラメータ及び奥行方向歪補正パラメータ等の各種パラメータとが出力される。

図１において、センサ１０−１〜１０−４は、それぞれ、信号補正処理部１１−１〜１１−４と接続される。信号補正処理部１１−１〜１１−４は、例えばＰＣ（Personal Computer）を用いて構成される。信号補正処理部１１−１〜１１−４のＬＡＮ（Local Area Network）端子は、ネットワークスイッチ１３に接続される。

図３は、信号補正処理部１１−１〜１１−４として用いるＰＣの機能ブロック図である。なお、信号補正処理部１１−１〜１１−４の数は任意であり、信号補正処理部１１−１〜１１−４を特定しない場合、信号補正処理部１１という。

図３に示すように、信号補正処理部１１は、入力部１１１と、信号補正部１１２を有している。入力部１１１は、センサ１０を構成するカラーカメラ１０１及び距離センサ１０２から、１フレームのカラー画像及び距離画像、撮影時のカメラパラメータ、奥行方向歪補正パラメータ等の各種パラメータを取得し、信号補正部１１２へ出力する。ここで取得されたカラーカメラのフレーム画像及び距離センサのフレーム画像を、以下では、それぞれカラー原画像、距離原画像と称する。信号補正部１１２は、センサ１０からのカラー画像及び距離画像に対して、光学系モデルに従った補正処理を行う。すなわち、信号補正部１１２は、センサ１０からのカラー画像及び距離画像に対して、カラー画像のレンズ歪補正処理と、距離画像のレンズ歪補正処理と、奥行方向歪補正処理と、補正された距離画像をカラーカメラ視点へと投影するマッピング処理を行う。

図１において、合成処理部１２は、例えばＰＣを用いて構成される。合成処理部１２には、操作インターフェース機器１５と映像出力機器１６とが接続される。操作インターフェース機器１５及び映像出力機器１６としては、例えばヘッドマウントディスプレイ１８（ＨＭＤ）が用いられる。また、合成処理部１２のＬＡＮ端子は、ネットワークスイッチ１３に接続される。ネットワークスイッチ１３は、信号補正処理部１１−１〜１１−４と合成処理部１２との間で、データのやり取りを行う。

図４は、合成処理部１２として機能するＰＣの機能ブロック図である。図４に示すように、合成処理部１２は、送受信部１２１と、画像合成部１２２を備えている。送受信部１２１は、システムの起動時の現時刻のタイムコード、若しくは録画データ中の要求フレームのタイムコードを送信する。また、送受信部１２１は、補正処理された補正済みカラー画像、補正済み距離画像及びカメラパラメータを受信する。画像合成部１２２は、操作インターフェース機器１５により設定された仮想視点で、送受信部１２１を介して入力された画像から自由視点画像を合成し、この自由視点の合成画像を映像出力機器１６に出力する。

図５は、本発明の実施形態に係る映像合成システム１の全体構成をブロック図で示したものである。また、図６は本発明の実施形態に係る映像合成システム１の全体動作を示すフローチャートである。図５及び図６を用いて、本発明の実施形態に係る映像合成システム１の動作の概要を説明する。

図５に示すように、本発明の実施形態に係る映像合成システム１は、信号補正処理部１１−１〜１１−４と合成処理部１２とを有している。信号補正処理部１１−１〜１１−４と合成処理部１２とは、ネットワークスイッチ１３を介して接続されている。信号補正処理部１１−１〜１１−４は、入力部１１１−１〜１１１−４と信号補正部１１２−１〜１１２−４とを備える。合成処理部１２は、送受信部１２１と画像合成部１２２を備える。

（ステップＳ１０１）図６にフローチャートで示すように、信号補正処理部１１−１〜１１−４の入力部１１１−１〜１１１−４は、合成処理部１２から要求されるタイムコードに基いて、各々接続されたセンサ１０−１〜１０−４から、複数の視点のフレーム画像、距離画像、撮影時のカメラパラメータ、及び奥行方向歪補正パラメータをそれぞれ取得し、信号補正部１１２−１〜１１２−４へと出力する。

（ステップＳ１０２）信号補正部１１２−１〜１１２−４は、カラー原画像のレンズ歪補正処理、距離原画像のレンズ歪補正処理、奥行方向歪補正処理、及び補正された距離画像をカラーカメラの視点へマッピングする処理を行う。

（ステップＳ１０３）信号補正部１１２−１〜１１２−４は、補正処理された補正済みカラー画像、補正済み距離画像及びカメラパラメータを、ネットワークスイッチ１３を介して、合成処理部１２へと送信する。合成処理部１２の送受信部１２１は、信号補正部１１２−１〜１１２−４から補正処理された補正済みカラー画像、補正済み距離画像及びカメラパラメータを受信すると、これらを画像合成部１２２に送る。

（ステップＳ１０４）画像合成部１２２は、操作インターフェース機器１５を利用して、仮想視点を設定する。

（ステップＳ１０５）画像合成部１２２は、信号補正処理部１１−１〜１１−４から送られてきた補正処理された補正済みカラー画像、補正済み距離画像及びカメラパラメータから、設定された仮想視点に基いて三次元画像を合成し、映像出力機器１６に対して仮想視点画像を出力する。

（ステップＳ１０６）画像合成部１２２は、次フレームが取得可能か否かを判定し、次フレームが取得可能なら（ステップＳ１０６：Ｙｅｓ）、ステップＳ１０１に処理を戻す。次フレームが取得可能でなければ（ステップＳ１０６：Ｎｏ）、処理は終了となる。また、終了判定があるときも、処理は終了となる。

このように、本発明の実施形態に係る映像合成システム１は、信号補正処理部１１−１〜１１−４は、それぞれ、各視点のカラー画像のレンズ歪補正処理、距離画像のレンズ歪補正処理、奥行方向歪補正処理、補正された距離画像をカラーカメラ視点へと投影するマッピング処理を並列的に行っている。また、これらの処理と並列して、合成処理部１２は、各視点の仮想視点画像を合成する処理を行っている。これにより、精確な形状復元による自由視点映像をリアルタイムに実現することが可能となる。

次に、本発明の実施形態に係る映像合成システム１の各部の動作について詳細に説明する。まず、信号補正処理部１１−１〜１１−４の入力部１１１の動作について説明する。

図７は、入力部１１１の具体的な処理を示すフローチャートである。
（ステップＳ２０１）入力部１１１は、まず、カメラパラメータと奥行方向歪補正パラメータの設定を行う。カメラパラメータの定義は一般的なものを用いて良いため、詳細な説明は割愛するが、ここでは、焦点距離ｆｘ，ｆｙ、画像中心ｃｘ，ｃｙ、レンズ歪パラメータｋ１，ｋ２，ｋ３，ｑ１，ｑ２、３ｘ３の回転行列Ｒ、（１×３）の並進行列Ｔ、をカメラパラメータとする。カメラパラメータは、各カメラ、距離センサ毎に固有のものを設定することができる。カメラパラメータは事前に設定しておいても良いし、本システムの中で求めても良い。本システムの中で求める方法は、一般的な方法として、以下の文献に記載されているものを用いることができる。

Zhang, Zhengyou. "A flexible new technique for camera calibration." Pattern Analysis and Machine Intelligence, IEEE Transactions on 22.11 (2000): 1330-1334

奥行方向歪補正パラメータは２つのスカラー値α，βであり、一般的なＴＯＦ（Time of Flight）センサを距離センサとして用いる場合であれば、αは０．９７から１．０３程度、βは−５０から５０程度の値を用いれば良いが、これは距離センサ毎に個別の値を設定することができる。これはいかなる方法で推定しても構わないが、例えば以下の文献に記載されているものを用いることができる。

LOUIE, Ashton, 竹内広太, and 伊藤直己. "Multiple Plane View Camera Calibration for RGB-D Sensor Rectification (画像工学)." 電子情報通信学会技術研究報告= IEICE technical report: 信学技報 115.350 (2015): 81-86.

（ステップＳ２０２）次に、ユーザは、リアルタイムの自由視点映像を生成するのか、ＨＤＤ（Hard Disk Drive）等に録画されたデータを用いて自由視点映像を生成するのかを決定する。

（ステップＳ２０３）ステップＳ２０２で、リアルタイムの自由視点映像を生成すると判定された場合、入力部１１１は、最初のフレームのカラー原画像及び距離原画像をセンサ１０から取得する。

（ステップＳ２０４）入力部１１１は、カラー原画像及び距離原画像にタイムコードを付与して、処理をステップＳ２０８に進める。

（ステップＳ２０５）ステップＳ２０２で、録画されたデータを用いて自由視点映像を生成すると判定された場合、入力部１１１は、合成処理部１２の送受信部１２１からタイムコードを受信する。

（ステップＳ２０６）入力部１１１は、要求されるタイムコードに、最も近い時刻に相当するフレームのカラー画像及び距離画像を録画データから取得する。

（ステップＳ２０７）そして、入力部１１１は、カラー原画像及び距離原画像にタイムコードを付与して、処理をステップＳ２０８に進める。

（ステップＳ２０８）入力部１１１は、タイムコードを付与したカラー原画像及び距離原画像を信号補正部１１２へと出力する。また、入力部１１１は、設定したカメラパラメータも合わせて信号補正部１１２へと出力する。

（ステップＳ２０９）入力部１１１は、送受信部１２１からタイムコードの要求があるか否かを判定し（ステップＳ２０９）、タイムコードの要求があれば（ステップＳ２０９：Ｙｅｓ）、ステップＳ２０２に処理を戻し、フレーム画像の読み込み処理を繰り返す。タイムコードの要求がなければ（ステップＳ２０９：Ｎｏ）、処理を終了する。

次に、信号補正処理部１１−１〜１１−４の信号補正部１１２の動作について説明する。信号補正部１１２は、カラー原画像のレンズ歪補正と、距離原画像のレンズ歪補正と、奥行方向歪補正と、マッピング処理を順次行うことにより、最終的に、歪補正済みカラー画像と、歪補正済み距離画像と、カメラパラメータを出力する。図８は、信号補正部の構成を示すブロック図である。図８に示すように、信号補正部１１２は、カラー画像レンズ歪補正部２０１と、距離画像レンズ歪補正部２０２と、奥行方向歪補正部２０３と、マッピング部２０４とを備える。

カラー画像レンズ歪補正部２０１は、カラー原画像に対して、カメラパラメータのうちの焦点距離ｆｘ，ｆｙ，画像中心ｃｘ，ｃｙ，レンズ歪パラメータを用いて、一般的な画像のレンズ歪補正処理を行う。一般的な方法であるため、詳細な説明は割愛するが、ここではカラー原画像中の画素（ｕ，ｖ）が、レンズ歪補正により、新たに（ｕ’，ｖ’）へとマッピングされるものとする。

距離画像レンズ歪補正部２０２は、距離原画像に対して、レンズ歪補正処理を行う。カラー原画像に対する処理のみを距離画像に対して行ってしまうと、距離画像の画素値が精確に正しいものではなくなってしまう。これは、距離画像の各画素値が格納している値は、被写体表面上までの光路長さではなく、奥行方向のみの距離の値であることが理由である。そのため、信号補正部１１２においては、距離画像の画素値に誤りが生じないようなレンズ歪補正処理を距離画像レンズ歪補正部２０２にて行う。

図９は、レンズ歪補正の説明図であり、図９（Ａ）は、距離画像歪補正の説明図である。図９（Ａ）において、距離画像レンズ歪補正部２０２では、カラー原画像と同様に、各画素（ｕ，ｖ）に対して、レンズ歪処理を行うことにより、（ｕ’，ｖ’）へと移動を行う。（ｕ，ｖ）は原画像上での画素の位置を示すための二次元ベクトルであり、ｕ，ｖはそれぞれ水平，垂直方向の各要素を示すためのスカラー値である。そして、距離原画像中の画素（ｕ，ｖ）における画素値をｄ、距離原画像中の画素ｐ’における画素値をｄ’と定義する。そして，ｄ’の値を以下の式（１）により決定する。

図９（Ｂ）は、奥行方向歪補正の説明図である。図９（Ｂ）において、奥行方向歪補正部２０３は、奥行方向歪補正パラメータα，βと距離画像レンズ歪補正部２０２で補正された距離画像（以下，レンズ歪補正済み距離画像と称する）を用いて、距離画像の奥行方向の歪補正を行う。図９（Ｂ）では、距離画像レンズ歪補正部２０２での定義と同様に、画素（ｕ’，ｖ’）における画素値ｄ’に対してｄ’’へと補正するものとし、その決定方法は以下の式（２）を用いる。

式（２）において、パラメータα及びパラメータβはいずれも公知技術を用いて求めることができる。パラメータα及びパラメータβを求めるための公知技術の例として、例えば以下に示す文献に開示された技術がある。

Lachat, E., et al. "First experiences with kinect v2 sensor for close range 3d modelling." The International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences 40.5 (2015): 93.

マッピング部２０４は、奥行方向歪補正部２０３において補正された距離画像を、カラーカメラ視点へと投影し、補間処理を行うことによりカラー画像と解像度も視点も等しい距離画像を生成する。距離画像中の各画素（ｕ’，ｖ’）の画素の距離値ｄ’’と、距離センサのカメラパラメータを利用して、一般的な透視投影の逆変換を行うことで、カラーカメラがなすカメラ座標空間における三次元的な点の位置を算出することができる。この三次元点を、カラーカメラのカメラパラメータを用いて，カラーカメラの画像空間へと投影することにより、（ｕ’，ｖ’）と対応するカラーカメラ画像座標（ｉ，ｊ）を得ることができる。このような投影処理により、カラーカメラのカメラ原点を原点とする距離画像を取得することができる。しかし、一般的には距離画像センサの解像度はカラーカメラの解像度に比べて低いため、投影された（ｉ，ｊ）どうしでの補間処理が必要になる。この補間処理については、一般的な方法を用いてかまわないが、例えば、事前に距離画像空間内でメッシュを構築し、メッシュ単位での補間処理を行う方法を採ることができる。このようにして得られるカラーカメラ視点における距離画像のことを、歪補正済み距離画像とする。そして、マッピング部２０４は、送受信部１２１へと歪補正済みカラー画像、歪補正済み距離画像、カメラパラメータを出力する。歪補正済み距離画像は既にカラーカメラの視点からの画像へと変換されているため、距離センサカメラパラメータは以後不要となるため、ここで出力するカメラパラメータには含まれない。また、上記のとおり、カラーカメラ画像についてもレンズ歪補正処理を施しているため、レンズ歪パラメータも不要となる。そのため、送受信部１２１へと出力するカメラパラメータとは、カラーカメラパラメータの中からレンズ歪パラメータを除いたものだけである。

次に、合成処理部１２の送受信部１２１における処理について説明する。送受信部１２１は、画像合成部１２２が要求するタイムコードを各信号補正処理部１１−１〜１１−４に含まれる入力部１１１−１〜１１１−４へと転送する。さらに、送受信部１２１は、各信号補正処理部１１−１〜１１−４に含まれる信号補正部１１２−１〜１１２−４から出力される歪補正済みカラー画像と歪補正済み距離画像とカメラパラメータを受信し、これらを同一フレームのデータとして画像合成部１２２へと出力する。送受信部１２１は、これらの処理をネットワーク経由で行うものである。

図１０は、画像合成部１２２の処理を示すフローチャートである。
（ステップＳ４０１）まず、画像合成部１２２は、背景の三次元点群データの生成を行う。背景の三次元点群データについては、事前に本システムを用いて撮影されたデータから生成しても良いし、ＣＧなどの非実写空間の三次元モデルを用いても良い。事前に本システムを用いて撮影されたデータから背景の三次元点群データを生成する方法については、以下の装置内における点群の生成方法と同じであるため、後で説明をする。

合成処理部１２は、映像を出力するための映像出力機器１６としてヘッドマウントディスプレイ１８を備えているものとする。また、合成処理部１２は、操作インターフェース機器１５が接続されているものとする。操作インターフェース機器１５は、ヘッドマウントディスプレイ１８のヘッドトラッキング機能を利用するものとする。これにより、ユーザのリアルな視点位置と視線方向を、仮想カメラ視点位置と視線方向に反映することができるため、ユーザが自由視点映像の空間内に入り込んだような映像を提示することができるようになる。また、操作インターフェース機器１５は、三次元空間中での移動が可能であれば、その他の機器を用いても構わない。操作インターフェース機器１５としては、例えば、キーボードとマウス、ゲームコントローラなどを用いても良い。映像出力機器１６としても、通常のディスプレイを用いても構わない。その際はユーザの頭部などにトラッキングセンサ類を装着することにより、上記と同様の効果を得ることができる。

（ステップＳ４０２）ユーザが仮想視点のカメラ位置と向き、映像を視聴したいタイムコードの指定を行う。仮想視点のカメラ位置と向きについては、上述したように、ヘッドマウントディスプレイ１８のヘッドトラッキングにより入力するか、若しくは、ゲームコントローラ等によりユーザが適宜操作できるものとする。タイムコードに関しては、シークバーの利用や早送り機能などにより、ユーザが映像を見たい時刻を適宜変更できるものとする。

（ステップＳ４０３）画像合成部１２２は、ユーザが指定した要求タイムコードを送受信部１２１へと出力し、送受信部１２１がこれに応じて入力部１１１へと要求し、返答が返ってきた歪補正済みカラー画像と、歪補正済み距離画像と、カメラパラメータを、全て受信する。

（ステップＳ４０４）画像合成部１２２は、被写体の三次元点群データの生成を行う。各画素（ｉ，ｊ）における距離値ｄ’’と、カメラパラメータを利用して、一般的な透視投影の逆変換を行うことにより、各画素の三次元空間中の点の座標を得ることができる。そして、この各点に対して、画素（ｉ，ｊ）の色を付加することにより、色付きの三次元点群を得ることができる。これを全ての信号補正処理部１１−１〜１１−４のデータ毎に行うことにより、被写体の三次元点群データを生成することができる。なお、これらの処理は、画像中の全ての画素に対して行うこともできるが、一般的なＴＯＦ（Time of Flight）センサを距離センサとして用いる場合には、計測範囲の限界により距離の計測が行えていない領域が画像中に多数存在することが考えられる。また、背景モデルを事前に用意している場合には、シーン中の演者などの被写体のみの三次元点群データのみを表示したい場合も考えられる。このような場合に対しては，シーン中の三次元点群のうち、ユーザが事前に設定した範囲内に含まれる点群のみを残し、他を破棄する処理を加える。同様に、三次元点群のセグメンテーション手法を用いることで、一部の点群のみを残すこともできる。

（ステップＳ４０５）次に、画像合成部１２２は、仮想視点カメラに対して、レンダリング処理を行う。まず、画像合成部１２２は、背景の三次元点群データと被写体の三次元点群のデータを、共通の三次元空間内へと重畳する。そして、画像合成部１２２は、これら全ての点群を、仮想視点カメラのカメラパラメータを利用して、仮想視点カメラに対してレンダリング処理を行う。レンダリンググ方法については，何を用いても構わないが、ここではポイントクラウドレンダリングを行う。そのほか、メッシュを構築した後に，一般的なレンダリング方法を用いても良い。

（ステップＳ４０６）画像合成部１２２は、レンダリング画像を映像出力機器１６へと出力する。

（ステップＳ４０７）画像合成部１２２は、ユーザからの終了指示があるか否かを判定する。ユーザからの終了指示がなければ（ステップＳ４０７：Ｎｏ）、ステップＳ４０８に処理を進める。

（ステップＳ４０８）画像合成部１２２は、描画対象フレームの指定、及び仮想視点カメラの位置と向きを設定する（ステップＳ４０８）。そして、ステップＳ４０２に処理を戻し、上記の処理を繰り返すものとする。

なお、上述の例では、一枚の画像に対する処理について説明したが、複数の連続する画像に対して処理を繰り返すことで、動画像を処理することができる。なお、映像の全てのフレームに適用せずに、一部のフレームに対して本発明による処理を適用し、その他のフレームに対しては別の処理を適用しても構わない。

なお、映像合成システム１の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

１：映像合成システム，１０：センサ，１１：信号補正処理部，１２：合成処理部，１３：ネットワークスイッチ，１５：操作インターフェース機器，１６：映像出力機器，１０１：カラーカメラ，１０２：距離センサ，１１１：入力部，１１２：信号補正処理部，１２１：送受信部，１２２：画像合成部，２０１：カラー画像レンズ歪補正部２０１，２０２：距離画像レンズ歪補正部，２０３：奥行方向歪補正部，２０４：マッピング部

Claims (7)

1. 複数の視点の三次元画像に対して補正処理を行う信号補正処理ステップと、
   前記信号補正処理ステップにおいて補正処理された複数の視点の三次元画像から、仮想視点の三次元画像を生成する画像合成処理を行う合成処理ステップと、
   を有し、
   前記合成処理部の要求に応じて、前記複数の視点の三次元画像ごとに前記信号補正処理ステップを並列で実行する、
   映像合成方法。
2. 前記信号補正処理ステップでは各視点の三次元画像に対して、光学系モデルに従った補正処理を行う、
   請求項１に記載の映像合成方法。
3. 前記信号補正処理ステップでは、カラー画像のレンズ歪を補正する第１の補正処理と、距離画像のレンズ歪を補正する第２の補正処理と、前記第２の補正処理によって補正された距離画像の奥行方向の歪を補正する第３の補正処理と、前記第３の補正処理によって補正された距離画像をカラーカメラ視点へと投影するマッピング処理と、を行う、
   請求項２に記載の映像合成方法。
4. 自装置の視点で取得される三次元画像に対して補正処理を行う信号補正処理部を備え、
   前記信号補正処理部は、自装置を含む複数の映像取得装置によって補正処理された各視点の三次元画像から、仮想視点の三次元画像を生成する画像合成処理を行う映像合成装置の要求に応じて、他の前記映像取得装置に並列して前記補正処理を実行する、
   映像取得装置。
5. 複数の視点の三次元画像に基づいて、仮想視点の三次元画像を生成する画像合成処理を行う合成処理部を備え、
   前記合成処理部は、各視点の三次元画像に対する補正処理を、各視点の三次元画像を取得する複数の映像取得装置に対して並列に実行させる、
   映像合成装置。
6. 複数の視点の三次元画像に対して補正処理を行う複数の信号補正処理部と、
   前記信号補正処理部により補正処理された複数の視点の三次元画像から、仮想視点の三次元画像を生成する画像合成処理を行う合成処理部と、
   を備え、
   前記複数の信号補正処理部は、前記合成処理部の要求に応じて前記補正処理を並列処理で行う、
   映像合成システム。
7. 複数の視点の三次元画像に対して補正処理を行う信号補正処理ステップと、
   前記信号補正処理ステップにおいて補正処理された複数の視点の三次元画像から、仮想視点の三次元画像を生成する画像合成処理を行う合成処理ステップと、
   前記合成処理ステップの処理に応じて、前記複数の視点の三次元画像ごとに前記信号補正処理ステップを並列で実行するステップと、
   をコンピュータに実行させるためのコンピュータプログラム。

Images