JP7467130B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

昨今、複数の撮像装置を異なる位置に設置して被写体を多視点で同期して撮像し、当該撮像により得られた複数の視点からの画像群（以下、複数視点画像）を用いて仮想視点映像を生成する技術が注目されている。このような複数視点画像から仮想視点映像を生成する技術を用いることによって、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することができるため、通常の画像と比較してユーザに高臨場感を与えることができる。

一方、複数視点画像に基づく仮想視点映像は、複数のカメラで撮像した画像をサーバなどの画像処理部に集約し、当該画像処理部にて、三次元モデル生成、レンダリングなどの処理を施して生成され、ユーザ端末に伝送される。このような仮想視点映像を生成するシステムでは、複数のカメラが高精度に同期撮像した複数視点画像を取得することが必要であり、十分な同期撮像の精度が確保できないと、生成する仮想視点映像の画質劣化を招くことになる。

そこで特許文献１には、異なる位置に設置され、デイジーチェーン接続された複数のカメラにおいて、ＩＥＥＥ１５８８のような標準規格を用いて高精度に時刻を同期させ、多視点で同期撮像する手法が記載されている。

特開２０１７－２１１８２８号公報

しかしながら、特許文献１に記載の手法では、標準規格の時刻同期手法により高精度の同期撮像ができるものの、一部の撮像装置が同期ずれを起こすと生成する仮想視点映像の画質が著しく劣化する。そして同期ずれを起こした撮像装置以外の撮像装置の撮像した画像のみを使って十分な品質の仮想視点映像を生成できる場合でも画質を維持するためにはシステム全体をリセットして全ての撮像装置の同期を取り直す必要があった。

本発明は前述の問題点に鑑み、仮想視点映像を生成する撮像システムにおいて、同期ずれした撮像画像を仮想視点映像の生成に用いられないようにすることを目的としている。

本発明に係る情報処理装置は、複数の撮像装置の撮像に基づく画像を用いて仮想視点映像を生成する撮像システムにおける情報処理装置であって、前記複数の撮像装置の中の第１の撮像装置の撮像に基づく第１の画像を外部装置に出力する出力手段と、前記第１の画像に係る第１の時刻情報を取得し、前記複数の撮像装置の中の前記第１の撮像装置とは異なり、前記第１の撮像装置と同期して撮像する第２の撮像装置の撮像に基づく第２の画像に係る第２の時刻情報を取得する取得手段と、前記第１の時刻情報が示す時刻と前記第２の時刻情報が示す時刻とが異なる場合に、前記第１の画像を前記外部装置に出力しないように前記出力手段を制御する制御手段と、を有することを特徴とする。

本発明によれば、仮想視点映像を生成する撮像システムにおいて、同期ずれした撮像画像を仮想視点映像の生成に用いられないようにすることができる。

実施形態に係る撮像システムの構成例を示す図である。 注視点と複数のカメラとの配置関係を説明するための図である。 カメラアダプタのハードウェア構成例を示すブロック図である。 カメラアダプタの機能構成例を示すブロック図である。 時刻情報保持部に保持されている時刻情報の一例を示す図である。 第１の実施形態における撮像システムの動作シーケンスを示す図である。 第１の実施形態において、カメラアダプタがフレームデータを送信するか否かを判定する処理手順の一例を示すフローチャートである。 フレームデータの転送及び送信のタイミングを説明するための図である。 第２の実施形態における撮像システムの動作シーケンスを示す図である。 第２の実施形態において、カメラアダプタがフレームデータを送信するか否かを判定する処理手順の一例を示すフローチャートである。 エラーパケットの一例を示す図である。 フレームデータの転送及び送信のタイミングを説明するための図である。 サーバによる仮想視点映像の生成可否を判定する手順を説明するための図である。 同期ずれを起こしたカメラの位置を説明するための図である。

（第１の実施形態）
以下、本発明の第１の実施形態について、図面を参照しながら説明する。本実施形態では、競技場（スタジアム）やコンサートホールなどの施設に複数のカメラを設置して撮像を行う場合など、１つの注視点を複数のカメラで撮像する例について説明する。

図１は、本実施形態に係る撮像システム１００の構成例を示す図である。本実施形態に係る撮像システム１００は、８台のカメラ１１２ａ～ｈ、これらに対応するカメラアダプタ１２０ａ～ｈ、スイッチングハブ１８０、サーバ２００、タイムサーバ２９０、及びコントローラ３００を有する。なお、カメラとカメラアダプタは一体で構成されていてもよい。また、カメラは複数の撮像素子を有していてもよい。

本実施形態の撮像システム１００では、スイッチングハブ１８０にコントローラ３００、サーバ２００、タイムサーバ２９０、カメラアダプタ１２０ａ、及びカメラアダプタ１２０ｈが接続されている。また、カメラアダプタ１２０ａ～ｈは互いにデイジーチェーン接続されている。本実施形態では、撮像装置であるカメラ１１２ａ～ｈは、それぞれ１台ずつのカメラアダプタ１２０ａ～ｈと接続されているが、接続形態はこれに限定されない。例えば、カメラアダプタ１２０ａ～ｈがそれぞれスイッチングハブ１８０に接続され、スイッチングハブ１８０を経由してカメラアダプタ１２０ａ～ｈ間のデータ送受信を行うスター型のネットワーク構成としてもよい。

カメラアダプタ１２０ａは、カメラ１１２ａと接続されており、カメラ１１２ａの制御や、撮像画像の取得、同期信号の提供、及び時刻設定などを行う機能を有している。カメラ１１２ａの制御には、例えば撮像パラメータ（画素数、色深度、フレームレート、及びホワイトバランスの設定など）を設定したり参照したりすること、カメラ１１２ａの状態（撮像中、停止中、同期中、及びエラーなど）を取得することが含まれる。さらに、カメラ１１２ａの制御には、撮像の開始及び停止を指示したり、ピント調整などを指示したりすることも含まれる。

カメラアダプタ１２０ａがタイムサーバ２９０と同期した時刻を、撮像タイミング（制御クロック）をカメラ１１２ａに提供することにより撮像時刻を同期させる。時刻設定は、カメラアダプタ１２０ａがタイムサーバ２９０と同期した時刻を、例えばＳＭＰＴＥ１２Ｍのフォーマットに準拠したタイムコードで提供することで行われる。これにより、カメラ１１２ａから受け取る撮像画像にタイムコードが付与されることになる。なお、タイムコードのフォーマットはＳＭＰＴＥ１２Ｍに限定されるわけではなく、他のフォーマットであってもよい。また、カメラアダプタ１２０ｂ～ｈも、カメラアダプタ１２０ａと同様の機能を有しているものとする。

コントローラ３００は、撮像システム１００のネットワークを介してカメラアダプタ１２０ａ～ｈに制御信号を送ることによりカメラ１１２ａ～ｈの撮像を制御する。また、ネットワークを介してカメラ１１２ａ～ｈが撮像した画像がサーバ２００に転送されると、コントローラ３００はサーバ２００から画像を選択して取り出す。

サーバ２００は、カメラアダプタ１２０ａ～ｈから送信される撮像画像をそれぞれ受信して保持する。また、サーバ２００は、カメラアダプタ１２０ａ～ｈの何れかから撮像画像が送信されなかった場合に、仮想視点画像を生成することが可能か否かを判定し、その結果をコントローラ３００へ通知する。サーバ２００は、転送された画像を基に、画像に含まれる被写体の３次元形状データを形成し、さらに、仮想視点映像を生成するように構成されていてもよい。仮想視点映像は、仮想視点の位置及び仮想視点からの方向を示す情報を取得して、その情報に応じて、仮想視点に対応する仮想視点映像を生成する。

図２は、図１に示した撮像システム１００における注視点２０１とカメラ１１２ａ～ｈとの配置関係を説明するための図である。図２に示すように、カメラ１１２ａ～ｈおよびカメラアダプタ１２０ａ～ｈはフィールド２１０を取り囲むように設置され、カメラ１１２ａ～ｈは各々光軸が注視点２０１を向くようになっている。

次に、情報処理装置であるカメラアダプタ１２０ａのハードウェア構成について、図３を用いて説明する。なお、カメラアダプタ１２０ｂ～ｈのハードウェア構成も、以下で説明するカメラアダプタ１２０ａの構成と同様である。カメラアダプタ１２０ａは、ＣＰＵ３１１、ＲＯＭ３１２、ＲＡＭ３１３、補助記憶装置３１４、通信Ｉ／Ｆ３１７、及びバス３１８を有する。

ＣＰＵ３１１は、ＲＯＭ３１２やＲＡＭ３１３に格納されているコンピュータプログラムやデータを用いてカメラアダプタ１２０ａの全体を制御することで、後述の図４に示すカメラアダプタ１２０ａの各機能を実現する。なお、カメラアダプタ１２０ａがＣＰＵ３１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ３１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ３１２は、変更を必要としないプログラムなどを格納する。ＲＡＭ３１３は、補助記憶装置３１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ３１７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置３１４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。

通信Ｉ／Ｆ３１７は、カメラアダプタ１２０ａの外部の装置との通信に用いられる。例えば、カメラアダプタ１２０ａが外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ３１７に接続される。カメラアダプタ１２０ａが外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ３１７はアンテナを備える。バス３１８は、カメラアダプタ１２０ａの各部をつないで情報を伝達する。

図４は、カメラアダプタ１２０ａの機能構成例を示すブロック図である。なお、カメラアダプタ１２０ｂ～ｈの機能構成も、以下で説明するカメラアダプタ１２０ａの構成と同様である。カメラアダプタ１２０ａは、パケット生成部４２１、受信部４２２、送信部４２３、および送信判定部４３０を有する。

パケット生成部４２１は、カメラ１１２ａで撮像された撮像画像を、通信Ｉ／Ｆ３１７を介して受信し、ペイロードデータとしてパケットを生成する。受信部４２２は、隣接するカメラアダプタから転送される撮像画像をパケット単位で通信Ｉ／Ｆ３１７を介して受信する。送信部４２３は、通信Ｉ／Ｆ３１７を介して撮像画像をパケット単位で隣接するカメラアダプタへ送信する。

送信判定部４３０は、送信部４２３により隣接するカメラアダプタへ撮像画像をパケット単位で送信するかどうかを判定する。送信判定部４３０は、さらに時刻情報取得部４３１、時刻情報保持部４３２、および時刻情報判定部４３３を有する。

時刻情報取得部４３１は、受信部４２２により隣接するカメラアダプタから受信したパケットから時刻情報を取得する。時刻情報保持部４３２は補助記憶装置３１４の一部として、時刻情報取得部４３１が取得した時刻情報を保持する。時刻情報判定部４３３は、パケット生成部４２１が生成したパケットの時刻情報が示す時刻について、受信部４２２が受信したパケットの時刻情報が示す時刻と比較することによって異常がないかどうかを判定する。

図５は、時刻情報保持部４３２に保持されている時刻情報の一例を示す図である。なお、図５において、説明をわかりやすくするために、カメラＩＤは符号と同じものを用いている。図５に示す例では、カメラアダプタ１２０ｅの時刻情報保持部４３２がカメラ１１２ａ～ｄの撮像画像を受信して取得した時刻情報を示している。本実施形態では、後述するようにネットワークの上流側に位置するカメラアダプタ１２０ａ～ｄから転送された撮像画像の時刻情報のみを保持し、下流側のカメラアダプタ１２０ｆ～ｈからは撮像画像が転送されない。したがって、カメラアダプタ１２０ｅの時刻情報保持部４３２は、カメラ１１２ａ～ｄの撮像画像の時刻情報のみを保持している。また、後述するように、パケット生成部４２１から受信する撮像画像の時刻情報は、時刻情報保持部４３２には保持されない。

図６は、本実施形態における撮像システム１００の動作シーケンスを示す図である。本実施形態では、カメラ１１２ａで撮像した撮像画像がカメラアダプタ１２０ａから、デイジーチェーン接続されたネットワークを介して下流側のカメラアダプタ１２０ｂ～ｈに転送される。そして、スイッチングハブ１８０を介して撮像画像がサーバ２００に蓄えられる。また、カメラ１１２ｂで撮像した撮像画像がカメラアダプタ１２０ｂから、デイジーチェーン接続されたネットワークを介して下流側のカメラアダプタ１２０ｃ～ｈに転送される。そして、スイッチングハブ１８０を介して撮像画像がサーバ２００に蓄えられる。そして、同様の手順により、各々のカメラ１１２ｃ～ｈで撮像した撮像画像がサーバ２００に蓄えられる。

また、本実施形態では、時刻情報保持部４３２に保持される時刻情報は、基本的には受信部４２２が受信するパケットに含まれる時刻情報のみとする。なお、図６に示す例では、説明を簡略化するため、カメラ１１２ａ～ｃ、カメラアダプタ１２０ａ～ｃでのシーケンスを例示しているが、さらにカメラ１１２ｄ～ｈおよびカメラアダプタ１２０ｄ～ｈを含む場合も同様である。

まず、Ｔ６０１において、コントローラ３００は、カメラアダプタ１２０ａ～ｈを介して、撮像条件であるカメラパラメータをカメラ１１２ａ～ｈに設定する。
続いて、Ｔ６０２において、コントローラ３００は、カメラアダプタ１２０ａ～ｈに対して、カメラ１１２ａ～ｈが撮像した撮像画像の送信を開始するタイミングを決定する送信パラメータを設定する。

次に、Ｔ６０３において、コントローラ３００は、カメラアダプタ１２０ａ～ｈおよびカメラ１１２ａ～ｈの時刻同期を行う。例えば、時刻同期の標準規格であるＩＥＥＥ１５８８－２００８に準拠した時刻同期を行うことにより、カメラアダプタ１２０ａ～ｈおよびカメラ１１２ａ～ｈを高精度に同期させることができる。
次に、Ｔ６０４において、コントローラ３００は、カメラアダプタ１２０ａ～ｈを介してカメラ１１２ａ～ｈの撮像開始を指示する。

Ｔ６０５において、カメラ１１２ａ～ｈは、それぞれ１フレーム期間の撮像を行う。
そして、Ｔ６０６において、カメラ１１２ａ～ｈは、それぞれ対応するカメラアダプタ１２０ａ～ｈに対して、１フレーム分の撮像画像（以下、フレームデータ）を伝送する。そして、カメラアダプタ１２０ａ～ｈは、パケット生成部４２１においてフレームデータを取得し、パケットを生成する。

Ｔ６０７において、カメラアダプタ１２０ａは、カメラ１１２ａから取得したフレームデータを、デイジーチェーン接続されたネットワークによりカメラアダプタ１２０ｂ～ｈを介してサーバ２００に送信する。なお、本実施形態では、カメラアダプタ１２０ａはデイジーチェーン接続されたネットワークの最上流に位置するため、時刻情報が正しいかどうかを判定せず、常に正しいものとして必ずフレームデータの送信を行う。また、カメラアダプタ１２０ａでは、カメラ１１２ａからのフレームデータから時刻情報を取得して時刻情報保持部４３２に保持し、時刻情報判定部４３３が過去の時刻情報との整合性から時刻情報の異常の有無を判定してもよい。

一方、Ｔ６０８において、カメラアダプタ１２０ｂ～ｈは、受信部４２２においてカメラアダプタ１２０ａから転送されるフレームデータを受信し、時刻情報取得部４３１においてそのフレームデータから時刻情報を取得する。そして、時刻情報取得部４３１が取得した時刻情報は時刻情報保持部４３２に保持される。なお、受信部４２２において受信されるカメラ１１２ａで撮像されたフレームデータは、時刻情報の異常の判定の対象ではないため、そのまま送信部４２３により隣接するカメラアダプタへ常に転送され、最終的にサーバ２００へ送信される。

次に、Ｔ６０９において、カメラアダプタ１２０ｂは、カメラ１１２ｂからのフレームデータから時刻情報を取得し、送信判定部４３０においてカメラ１１２ｂからのフレームデータの時刻情報の異常の有無を判定する。この判定では、時刻情報保持部４３２に保持されているカメラ１１２ａからのフレームデータからＴ６０８で取得した時刻情報と、パケット生成部４２１を介してＴ６０９で取得した時刻情報とが一致するか否か（撮像された時刻が同じか否か）を判定する。そして、時刻情報が一致しない（撮像された時刻が異なる）場合は、Ｔ６０９で取得した時刻情報に異常があると判定する。時刻情報が一致する場合は、Ｔ６１０において、カメラアダプタ１２０ｂの送信部４２３は、カメラ１１２ｂから取得したフレームデータを、デイジーチェーン接続されたネットワークによりカメラアダプタ１２０ｃ～ｈを介してサーバ２００に送信する。なお、時刻情報が一致しない場合は、送信部４２３からカメラ１１２ｂからのフレームデータを送信せずに破棄する。

Ｔ６１１において、カメラアダプタ１２０ｃ～ｈは、受信部４２２においてカメラアダプタ１２０ｂから転送されるフレームデータを受信し、時刻情報取得部４３１においてそのフレームデータから時刻情報を取得する。そして、時刻情報取得部４３１が取得した時刻情報は時刻情報保持部４３２に保持される。なお、受信部４２２において受信されるカメラ１１２ｂで撮像されたフレームデータも同様に、時刻情報の異常の判定の対象ではないため、そのまま送信部４２３により隣接するカメラアダプタへ常に転送され、最終的にサーバ２００へ送信される。

次に、Ｔ６１２において、カメラアダプタ１２０ｃは、カメラ１１２ｃからのフレームデータから時刻情報を取得し、送信判定部４３０においてカメラ１１２ｃからのフレームデータの時刻情報の異常の有無を判定する。この判定では、Ｔ６０８及びＴ６１１で取得したカメラ１１２ａおよびカメラ１１２ｂからのフレームデータの時刻情報と、Ｔ６１２で取得したカメラ１１２ｃからのフレームデータの時刻情報とが一致するか否かを判定する。そして、時刻情報が一致しない場合は、Ｔ６１２で取得した時刻情報に異常があると判定する。時刻情報が一致する場合は、Ｔ６１３において、カメラアダプタ１２０ｃの送信部４２３は、カメラ１１２ｃから取得したフレームデータを、デイジーチェーン接続されたネットワークによりカメラアダプタ１２０ｄ～ｈを介してサーバ２００に送信する。なお、時刻情報が一致しない場合は、送信部４２３からカメラ１１２ｃからのフレームデータを送信せずに破棄する。

以上のような流れで、カメラアダプタ１２０ｄ～ｈでも同様に、それぞれカメラ１１２ｄ～ｈからのフレームデータから時刻情報を取得し、時刻情報保持部４３２に保持されている時刻情報が示す時刻と比較し、一致している場合はそのフレームデータを送信する。

Ｔ６１４において、カメラ１１２ａ～ｈはＴ６０５と同様に、それぞれ次の１フレーム期間の撮像を行う。そして、Ｔ６１５において、カメラ１１２ａ～ｈは、それぞれ対応するカメラアダプタ１２０ａ～ｈに対して１フレーム分のフレームデータを伝送する。そして、カメラアダプタ１２０ａ～ｈは、パケット生成部４２１においてフレームデータを取得し、パケットを生成する。その後、Ｔ６０７～Ｔ６１３と同様の動作を行う。以上のように、２フレーム以降も１フレーム目と同様の動作を繰り返す。

図７は、本実施形態において、カメラアダプタ１２０ｂ～ｈがフレームデータの送信を行うか否かを判定する処理手順の一例を示すフローチャートである。
ステップＳ７０１において、パケット生成部４２１においてフレームデータを取得するまで待機する。そして、フレームデータを取得すると、次のステップＳ７０２に進む。

ステップＳ７０２において、時刻情報判定部４３３は、コントローラ３００によって設定された送信パラメータに基づいて、フレームデータを送信する時刻に到達するまで待機する。そして、フレームデータを送信する時刻に到達すると、次のステップＳ７０３に進む。

ステップＳ７０３において、時刻情報判定部４３３は、パケット生成部４２１において取得したフレームデータから時刻情報を取得し、時刻情報保持部４３２に保持された他のカメラの時刻情報と一致するか否かを判定する。この判定の結果、時刻情報が一致している場合はステップＳ７０４に進み、時刻情報が一致していない場合はステップＳ７０５に進む。

ステップＳ７０４において、送信部４２３は、パケット生成部４２１において取得したフレームデータをデイジーチェーン接続されたネットワーク上にパケット単位で送信する。そして、ステップＳ７０１に戻る。
一方、ステップＳ７０５においては、時刻情報判定部４３３は、パケット生成部４２１において取得したフレームデータを破棄し、ステップＳ７０１に戻る。

図８は、本実施形態におけるフレームデータの転送及び送信のタイミングを説明するための図である。図８では、フレームＮからフレームＮ＋６までの同期撮像と１フレーム後のフレームデータの転送及び送信のタイミングを示し、以下、カメラアダプタ１２０ｅでの処理を例に説明する。

フレームＮを同期撮像した次のフレーム（フレームＮ＋１）の同期撮像が行われる際、カメラアダプタ１２０ｅの受信部４２２で、転送されたカメラ１１２ａ～ｄのフレームデータ（フレームＮ）をデイジーチェーン接続されたネットワーク上から受信する。その際、転送されたフレームデータに付随する時刻情報を時刻情報取得部４３１で取得し、取得した時刻情報が時刻情報保持部４３２に保持される。つまり、図６のＴ６０７、Ｔ６１０などで送信されたフレームデータを受信し、Ｔ６０８、Ｔ６１１などで時刻情報を取得する。なお、図８に示すフレームデータ転送の期間は、カメラアダプタ１２０ｅの場合を示しているが、カメラアダプタ１２０ｂの場合は、フレームデータ転送の期間がより短くなり、カメラアダプタ１２０ｈの場合は、フレームデータ転送の期間がより長くなる。

次に、コントローラ３００により設定された送信パラメータに基づく送信開始信号により、送信部４２３はカメラ１１２ｅからのフレームデータを送信する。このとき、時刻情報判定部４３３がカメラ１１２ｅのフレームデータの時刻情報が時刻情報保持部４３２に保持されている時刻情報と一致するか否かを判定し、一致するときのみ送信する。その後、カメラ１１２ｆ～ｈのフレームデータがサーバ２００に転送されるが、カメラアダプタ１２０ｅは転送経路とならない。

以上説明したように本実施形態によれば、デイジーチェーン接続されたネットワーク上で自身よりも上流側に位置するカメラのフレームデータを受信して時刻情報を取得する。そして、自身に接続されたカメラからのフレームデータの時刻情報と一致するときのみ、下流側に位置するカメラアダプタを経由してサーバにフレームデータを送信するようにした。一部のカメラに撮像の同期ずれが起こった場合でも、上流側のカメラの時刻情報と異なる場合はフレームデータを破棄して送信しないようにするため、同期ずれが発生したフレームデータがサーバに送信されるのを防ぐことができる。

ここで、フレームデータが破棄された場合には、仮想視点画像を生成できなくなる可能性がある。そこで、一部のカメラに撮像の同期ずれが起こった場合にサーバ２００で行われる処理の概要について説明する。

一部のカメラアダプタからフレームデータが送信されなかった場合に、サーバ２００は、そのフレームデータを用いずに仮想視点映像を生成することが可能か否かを判定する。この判定は、フレームデータが送信されなかったカメラの位置などに基づいて行われる。

カメラ台数が十分多い場合には、カメラ１台分のフレームデータがなくても仮想視点映像の生成に影響がほとんどない。しかしながら、隣接して配置されたカメラが連続して同期ずれを起こした場合、例えば図１４に示すように、カメラ１１２ｄとカメラ１１２ｅにおいて撮像の同期ずれが発生した場合は、仮想視点映像の画質が著しく劣化するか生成できない場合が多い。したがって、図１４に示す例の場合は、仮想視点映像を生成できないと判定することとなる。また、同期ずれを起こしたカメラの位置だけでなく、フィールドや注視点に対する位置や時刻のずれ量なども考慮してもよい。

このように仮想視点映像を生成することができないとサーバ２００が判定した場合には、その旨をコントローラ３００に通知する。仮想視点映像を生成できない旨が通知されると、コントローラ３００は撮像システム１００全体をリセットしたり、同期ずれを起こしたカメラおよびそのカメラに直接接続されたカメラアダプタをリセットしたりして対応する。

（第２の実施形態）
以下、本発明の第２の実施形態について説明する。本実施形態では、第１の実施形態と同様に、カメラ１１２ａ～ｈで撮像したフレームデータが、デイジーチェーン接続されたネットワークを介して下流側のカメラアダプタに転送され、スイッチングハブ１８０を介してサーバ２００に蓄えられる。また、本実施形態では、カメラアダプタからフレーム毎に最初に時刻情報を含むパケットを他の全てのカメラアダプタに送信する。なお、本実施形態に係る撮像システムの構成、カメラアダプタの内部構成については図１～図４と同様であるため、説明は省略する。以下、第１の実施形態と異なる点について説明する。

図９は、本実施形態における撮像システム１００の動作シーケンスを示す図である。以下、図９を参照しながら本実施形態におけるシーケンスについて説明する。なお、図９に示す例では、説明を簡略化するため、カメラ１１２ａ～ｃ、カメラアダプタ１２０ａ～ｃでのシーケンスを例示しているが、さらにカメラ１１２ｄ～ｈおよびカメラアダプタ１２０ｄ～ｈを含む場合も同様である。

Ｔ９０１からＴ９０６までは、第１の実施形態で説明した図６のＴ６０１からＴ６０６までと同様である。

Ｔ９０７において、カメラアダプタ１２０ａは、カメラ１１２ａからのフレームデータから取得した時刻情報を含むパケット（以下、時刻情報パケット）を、他のカメラアダプタ１２０ｂ～ｈに送信する。ここで、カメラアダプタ１２０ａはデイジーチェーン接続されたネットワーク上で最上流に位置するので、フレームデータを転送する場合と同様に、一方向に送信すれば順次全ての他のカメラアダプタ１２０ｂ～ｈに到達する。

一方、カメラアダプタ１２０ｂは、デイジーチェーン接続されたネットワーク上で上流から２番目に位置する。そこで、カメラアダプタ１２０ｂは、カメラ１１２ｂからのフレームデータから取得した時刻情報パケットを、上流側のカメラアダプタ１２０ａと下流側のカメラアダプタ１２０ｃ～ｈとの２方向に送信する。同様に、カメラアダプタ１２０ｃは、カメラ１１２ｃからのフレームデータから取得した時刻情報パケットを、上流側のカメラアダプタ１２０ａ～ｂと下流側のカメラアダプタ１２０ｄ～ｈとの２方向に送信する。以下同様に、カメラアダプタ１２０ｄ～ｈも時刻情報パケットを送信する。

Ｔ９０８において、カメラアダプタ１２０ａ～ｈは、受信部４２２において他のカメラアダプタから送信された時刻情報パケットを受信し、時刻情報取得部４３１においてそのパケットから時刻情報を取得する。そして時刻情報取得部４３１が取得した時刻情報は時刻情報保持部４３２に保持される。
次にＴ９０９において、最上流のカメラアダプタ１２０ａおよび最下流のカメラアダプタ１２０ｈは、時刻情報パケットを破棄する。

次にＴ９１０において、カメラアダプタ１２０ａ～ｈは、パケット生成部４２１を介して取得したフレームデータから時刻情報を取得する。そして、送信判定部４３０においてパケット生成部４２１を介して取得したフレームデータの時刻情報の異常の有無を判定する。この判定では、時刻情報保持部４３２に保持されているＴ９０８で取得した時刻情報とパケット生成部４２１を介してＴ９１０で取得した時刻情報とが一致するか否かを判定する。時刻情報が一致する場合は、Ｔ９１１において、送信部４２３はパケット生成部４２１を介して取得したフレームデータを、下流側のカメラアダプタを介してサーバ２００に送信する。なお、時刻情報が一致しない場合は、送信部４２３はフレームデータを送信せずに破棄し、代わりにエラーパケットをサーバ２００に送信する。以上のように、２フレーム以降も１フレーム目と同様の動作を繰り返す。

図１０は、本実施形態において、カメラアダプタ１２０ａ～ｈがフレームデータの送信を行うか否かを判定する処理手順の一例を示すフローチャートである。
ステップＳ１００１において、パケット生成部４２１においてフレームデータを取得するまで待機する。そして、フレームデータを取得すると、次のステップＳ１００２に進む。

ステップＳ１００２において、送信部４２３は、時刻情報パケットを他のカメラアダプタに送信する。そして、ステップＳ１００３において、受信部４２２は、他のカメラアダプタから時刻情報パケットを受信し、時刻情報取得部４３１においてそのパケットから時刻情報を取得する。このとき、取得した時刻情報は時刻情報保持部４３２に保持される。

次に、ステップＳ１００４において、時刻情報判定部４３３は、パケット生成部４２１において取得したフレームデータから時刻情報を取得し、時刻情報保持部４３２に保持された他のカメラの時刻情報と一致するか否かを判定する。この判定の結果、時刻情報が一致している場合はステップＳ１００５に進み、時刻情報が一致していない場合はステップＳ１００６に進む。

ステップＳ１００５において、送信部４２３は、パケット生成部４２１において取得したフレームデータをデイジーチェーン接続されたネットワーク上にパケット単位で送信する。そして、ステップＳ１００１に戻る。
一方、ステップＳ１００６においては、時刻情報判定部４３３は、パケット生成部４２１において取得したフレームデータを破棄し、エラーパケットを生成する。そして、ステップＳ１００７において、送信部４２３は、エラーパケットをサーバ２００に送信し、ステップＳ１００１に戻る。なお、図１１には、カメラアダプタ１２０ａの時刻情報判定部４３３が生成するエラーパケットの例を示しており、エラーパケットにはカメラＩＤとエラー情報とが含まれている。

図１２は、本実施形態におけるフレームデータの転送及び送信および転送のタイミングを説明するための図である。第１の実施形態では、カメラアダプタ１２０ａ～ｈのうち、順次１台ずつフレームデータの転送及び送信を行っていたが、本実施形態では、フレームデータの転送及び送信が全てのカメラアダプタ１２０ａ～ｈにおいてほぼ同じタイミングで行われる。なお、第１の実施形態と同様に順次１台ずつフレームデータの転送及び送信を行ってもよい。

また、本実施形態においては、エラーパケットをサーバ２００が受信すると、第１の実施形態と同様に仮想視点画像を生成できるか否かを判定する。図１３には、本実施形態において、サーバ２００による仮想視点映像の生成可否を判定する手順を説明するための図である。図１３に示すように、カメラアダプタ１２０ａ～ｈからフレームデータを受信し、その後、一部のカメラアダプタからエラーパケットを受信すると、サーバ２００は仮想視点画像を生成できるか否かを判定する。この判定基準は第１の実施形態と同様である。

そして、サーバ２００が仮想視点映像の生成が不可であると判定した場合は、その旨をコントローラ３００に通知する。仮想視点映像を生成できない旨が通知されると、コントローラ３００は撮像システム１００全体をリセットしたり、エラーパケットを送信したカメラアダプタおよび対応するカメラをリセットしたりして対応する。

また、図１３に示すように、エラーパケットを受信しなかった場合、もしくはエラーパケットを受信したが仮想視点映像の生成が可能であると判定した場合は、仮想視点映像の生成が可能である旨をコントローラ３００に通知してもよい。これにより、コントローラ３００は撮像システム１００として仮想視点映像の生成に問題がないことを確認できる。

以上のように本実施形態によれば、デイジーチェーン接続されたネットワーク上で他のカメラアダプタから時刻情報パケットを受信して他のカメラの時刻情報を保持する。そして、自身に接続されたカメラからのフレームデータの時刻情報と一致するときのみ、フレームデータをサーバに送信するようにした。一部のカメラに同期ずれが起こった場合でも、他のカメラの時刻情報と異なる場合はフレームデータを破棄し、代わりにエラーパケットを送信するため、同期ずれの発生したフレームデータがサーバに送信されるのを防ぐことができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

４２１ パケット生成部、４２２ 受信部、４２３ 送信部、４３１ 時刻情報取得部、４３３ 時刻情報判定部

Claims (11)

1. 複数の撮像装置の撮像に基づく画像を用いて仮想視点映像を生成する撮像システムにおける情報処理装置であって、
   前記複数の撮像装置の中の第１の撮像装置の撮像に基づく第１の画像を外部装置に出力する出力手段と、
   前記第１の画像に係る第１の時刻情報を取得し、前記複数の撮像装置の中の前記第１の撮像装置とは異なり、前記第１の撮像装置と同期して撮像する第２の撮像装置の撮像に基づく第２の画像に係る第２の時刻情報を取得する取得手段と、
   前記第１の時刻情報が示す時刻と前記第２の時刻情報が示す時刻とが異なる場合に、前記第１の画像を前記外部装置に出力しないように前記出力手段を制御する制御手段と、を有することを特徴とする情報処理装置。
2. 前記取得手段は、他の情報処理装置から出力された前記第２の画像を取得し、前記取得した第２の画像から前記第２の時刻情報を取得することを特徴とする請求項１に記載の情報処理装置。
3. 前記出力手段は、前記第２の画像を前記外部装置に転送することを特徴とする請求項２に記載の情報処理装置。
4. 前記取得手段は、前記第２の画像に係る第２の時刻情報をパケットから取得することを特徴とする請求項１に記載の情報処理装置。
5. 前記取得手段は、他の複数の情報処理装置から出力された複数の画像に係る複数の時刻情報を取得し、
   前記制御手段は、前記複数の画像に係る複数の時刻情報が示す時刻と、前記第１の時刻情報が示す時刻とを比較することに基づいて、前記第１の画像を前記外部装置に出力しないように前記出力手段を制御することを特徴とする請求項１に記載の情報処理装置。
6. 比較の結果、前記第１の時刻情報が示す時刻が前記複数の時刻情報が示す時刻と異なる場合に、前記出力手段は、エラー情報を前記外部装置に出力することを特徴とする請求項５に記載の情報処理装置。
7. 前記出力手段は、デイジーチェーン接続された前記外部装置に前記第１の画像を出力することを特徴とする請求項１から６の何れか１項に記載の情報処理装置。
8. 前記外部装置は、他の情報処理装置であることを特徴とする請求項１に記載の情報処理装置。
9. 前記外部装置は、被写体の３次元形状データを生成する装置であることを特徴とする請求項１に記載の情報処理装置。
10. 複数の撮像装置の撮像に基づく画像を用いて仮想視点映像を生成する撮像システムにおける情報処理装置の情報処理方法であって、
    前記複数の撮像装置の中の第１の撮像装置の撮像に基づく第１の画像を外部装置に出力する出力工程と、
    前記第１の画像に係る第１の時刻情報を取得し、前記複数の撮像装置の中の前記第１の撮像装置とは異なり、前記第１の撮像装置と同期して撮像する第２の撮像装置の撮像に基づく第２の画像に係る第２の時刻情報を取得する取得工程と、
    前記第１の時刻情報が示す時刻と前記第２の時刻情報が示す時刻とが異なる場合に、前記第１の画像を前記外部装置に出力しないように前記出力工程を制御する制御工程と、を有することを特徴とする情報処理方法。
11. コンピュータを、請求項１から９の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images