JP7129283B2

JP7129283B2 - 処理装置、制御方法、及びプログラム

Info

Publication number: JP7129283B2
Application number: JP2018163621A
Authority: JP
Inventors: 肇佐藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-08-31
Filing date: 2018-08-31
Publication date: 2022-09-01
Anticipated expiration: 2038-08-31
Also published as: JP2020036293A

Description

本発明は、複数の機材を用いるシステムの運用技術に関する。

複数のカメラを異なる位置に設置して多視点で同期撮影を行い、その撮影によって得られた複数視点画像を用いて仮想視点コンテンツを生成する技術が注目されている（特許文献１参照）。これによれば、例えば、サッカーやバスケットボール等の試合のハイライトシーンやコンサート等を様々な角度から視聴することが可能となり、このような技術を用いない場合と比較してユーザに高臨場感を与えることができる。

特開２００８－０１５７５６号公報特開平９－１３９８７２号公報

スポーツの試合やコンサート等のイベント撮影の際には、その準備段階としてカメラ等の機材を設置する必要がある。そして、その設置作業の際には、インターカム等を使用した音声コミュニケーションによってスタッフ間で連絡を取り合い、機材の設置状況の把握や、作業マニュアル等のチェックリストの確認等による人力での作業進捗確認が行われる（特許文献２参照）。一方、音声コミュニケーションのみでは、詳細な状況を的確に把握することが容易ではないため、限られた短い時間の中でカメラの設置と撮影の準備とを行う必要があるイベント撮影において、時間内に作業を完遂するのが困難となりうる。また、音声コミュニケーションのみでは、聞き間違いなどのヒューマンエラーが発生することも懸念される。

本発明は、かかる課題に鑑みてなされたものであり、複数の機材についての作業に関する情報を的確に提示するための技術を提供する。

本発明の一態様による処理装置は、複数の機材を運用するシステムが所定の機能を果たすことができる状態とするための当該複数の機材に関するタスクまたは当該システムの撤収のための当該複数の機材に関するタスクを設定する設定手段と、前記複数の機材のそれぞれの前記システムへの接続状態を含んだ情報を、当該複数の機材が接続される機器から取得する取得手段と、前記設定手段によって設定された前記複数の機材に関する前記タスクと、前記取得手段によって取得された前記情報とに基づいて、前記タスクの進捗に関する画面を表示手段に表示させる制御手段と、を有する。

本発明によれば、複数の機材についての作業に関する情報を的確に提示することができる。

マルチカメラ運用システムの構成例を示す図である。画像処理システムの機能構成例を示す図である。カメラアダプタの機能構成例を示す図である。システムを稼働させるためのワークフローの例を示す図である。機材設置時の処理の流れの例を示す図である。カメラ運用端末における画面表示の例を示す図である。修正プランの表示例を説明するための図である。カメラ運用端末の機能構成例を示す図である。カメラ運用端末が保持する情報の例を示す図である。修正プランの別の表示例を説明するための図である。カメラ運用端末のハードウェア構成例を示す図である。

以下、図面を参照しながら、本発明の実施の形態について説明する。なお、以下の実施形態で説明される構成は一例に過ぎず、本発明を、説明される実施形態に限定することは意図されていない。

（システム構成）
本実施形態では、競技場（スタジアム）やコンサートホール、スタジオなどの施設に複数のカメラを設置し撮影を行う、マルチカメラ運用システムの例について説明する。本実施形態では、特に、このようなマルチカメラ運用システムの設置（システムが所定の機能を果たすことができる状態にする準備）・撤収における情報の収集と通知を視覚的に行うことにより、作業の進行を適切に設定することを可能とする。これによれば、視覚的な表示によって音声コミュニケーションのみでの状況確認と比して聞き間違いなどのヒューマンエラーの発生を抑制することができる。なお、このときに、音声コミュニケーションと本実施形態に係る視覚的な情報提示を組み合わせることにより、確認等をより円滑に行うことができる。また、システムが自動的に情報を収集して提示するため、手動での確認によるミスが発生しなくなり、ユーザが、作業の状況を適切に認識することができるようになる。また、このときに、システムが自動的に優先すべきタスクの判定やスタッフ等のリソースの配分を行うようにすることで、ユーザの個人のスキルに依存せずに、適切な作業予定を組むことが可能となる。このときに、例えば、仮想視点コンテンツの提供等のシステムが本来の機能を果たすために設置が優先されるべき設備をシステムが選択して提示することにより、本来の作業予定を完遂できなかったとしても、最低限度のシステムの運用を可能とすることができる。なお、マルチカメラ運用システムは、仮想視点画像の生成に用いられてもよいが、仮想視点画像の生成以外の用途で用いられるシステムであってもよい。ここで、本実施形態において、「画像」とは、静止画像と動画像（映像）を含む。
なお、本実施形態では、マルチカメラ運用システムを例として説明するが、これに限られない。すなわち、多数の機材の準備（システムが所定の機能を果たすことができる状態にするための、機材の設置を含む各種処理）・機材の撤収等の処理を行う必要のある任意のシステムに対して、以下の議論を適用することができる。

図１に、本実施形態に係るマルチカメラ運用システム１００の構成例を示す。マルチカメラ運用システム１００は、一例において、センサシステム１１０ａ～１１０ｚ、スイッチングハブ１２０、カメラ運用端末１３０、画像コンピューティングサーバ１４０、コントローラ１６０、及び画像処理システム１８０を含んで構成される。なお、図１では、２６個のセンサシステム１１０ａ～１１０ｚが存在する例について説明するが、２６個より多いセンサシステムが用いられてもよいし、２６個より少ないセンサシステムが用いられてもよい。

コントローラ１６０は、制御ステーション１６１を含む。制御ステーション１６１は、デイジーチェーン１２１ａ～１２１ｙ、ネットワーク１２２ａ～１２２ｂ及び１２３～１２４を通じて、マルチカメラ運用システム１００を構成するそれぞれのブロックの動作状態の管理及びパラメータ設定制御等を行う。

まず、センサシステム１１０ａ～１１０ｚの構成及び動作について説明する。センサシステム１１０ａ～１１０ｚは、それぞれ、マイク１１１ａ～１１１ｚ、カメラ１１２ａ～１１２ｚ、雲台１１３ａ～１１３ｚ、外部センサ１１４ａ～１１４ｚ、及びバッテリ１１５ａ～１１５ｚを有する。また、センサシステム１１０ａ～１１０ｚは、それぞれカメラアダプタ１１６ａ～１１６ｚを有し、このカメラアダプタ１１６ａ～１１６ｚを介して、デイジーチェーン１２１ａ～１２１ｙによって相互に接続される。ただし、この構成は一例であり、センサシステム１１０ａ～１１０ｚは、これら以外の構成を有してもよい。また、図１では、センサシステム１１０ａ～１１０ｚが共通の構成を有するものとしているが、少なくとも一部のセンサシステムが、他のセンサシステムと異なる構成を有してもよい。

なお、本実施形態では、特に言及がない限りは、センサシステム１１０ａ～１１０ｚを、区別せずに、単に「センサシステム１１０」と呼ぶ。また、センサシステム１１０が有する各構成についても、特に区別する必要のない場合には、マイク１１１、カメラ１１２、雲台１１３、外部センサ１１４、バッテリ１１５、及びカメラアダプタ１１６と呼ぶ。センサシステム１１０は、それぞれが有するカメラ１１２によって撮影を行うことにより画像データを取得し、また、マイク１１１を用いて録音を行うことにより音声データを取得する。すなわち、マルチカメラ運用システム１００は、同一の被写体をそれぞれが別個の方向から撮影する複数のセンサシステム１１０を用いることにより、複数の方向から撮影された画像データを得ることができる。同様に、マルチカメラ運用システム１００は、これらの複数のセンサシステム１１０を用いて、異なる位置において（必要に応じて異なる指向特性で）収音を行うことにより、複数の位置で録音された音声データを得ることができる。

複数のカメラ１１２は何れも光軸が固定され、パンやチルト等による撮影範囲の左右や上下への移動は行われないものとする。なお、カメラ１１２の初期設定時等における光軸の調整や環境による光軸のずれの修正等は、カメラ１１２が設置される雲台１１３によって行われうる。複数のセンサシステム１１０は、それぞれ、デイジーチェーン１２１ａ～１２１ｙにより、自身の下流の他のセンサシステムへ、撮影によって得られた画像データを送信する。このとき、それぞれのセンサシステム１１０は、上流の他のセンサシステムから取得した画像データについても下流の他のセンサシステムへ転送する。例えば、センサシステム１１０ａは、カメラ１１２ａを用いて撮影された画像データを、カメラアダプタ１１６ａにおいて後述の画像処理を施した後に、デイジーチェーン１２１ａを介してセンサシステム１１０ｂのカメラアダプタ１１６ｂへ伝送する。同様に、センサシステム１１０ｂは、カメラ１１２ｂを用いて撮影された画像データを、センサシステム１１０ａから取得した画像データと共に（場合によっては別個の信号で）センサシステム１１０ｃへ伝送する。なお、センサシステム１１０ｚは、撮影により得られた画像データと上流のセンサシステムから取得した画像データを、ネットワーク１２２ｂを介してスイッチングハブ１２０へ伝送する。デイジーチェーンを用いることにより、撮影画像の４Ｋや８Ｋなどへの高解像度化及びハイフレームレート化に伴って画像データが大容量化しても、接続ケーブル数や配線作業の煩雑性の増大を防ぐことができる。

複数のマイク１１１の取り扱い及びそれらのマイク１１１で収音された音声データについても同様である。すなわち、複数のマイク１１１は、指向方向が固定されており、その方向の移動は行われないものとする。また、収音により得られた音声データは、デイジーチェーンを介して伝送される。このような動作により、センサシステム１１０ａ～１１０ｚが取得した画像データ及び音声データは、センサシステム１１０ｚからネットワーク１２２ｂを用いてスイッチングハブ１２０に伝わり、その後、画像コンピューティングサーバ１４０へ転送される。

外部センサ１１４は、撮影や収音以外の方法により、各種環境情報を取得する。例えば、外部センサ１１４は、センサシステム１１０の振動や傾き、気温、湿度、風向き、風速等の各種情報を取得しうる。なお、これらは一例であり、外部センサ１１４は、任意の環境パラメータを取得するための任意の装置構成を有しうる。

バッテリ１１５は、後述の、センサシステム１１０を競技場などの施設に設置または撤収する際のワークフローを実行する際に使用され、例えば競技場にシステム用電源が敷設されていない場合に使用される。なお、センサシステム１１０は、設置の完了後でシステム用電源が敷設された後は、バッテリ１１５を使用しないようにしうる。さらに、センサシステム１１０は、システム用電源が事前に敷設される場合には、バッテリ１１５を有さずに、その電源を使用して動作するように構成されてもよい。なお、システム用電源ではなく、施設に常設されている電源が用いられてもよい。

なお、図１では、カメラ１１２とカメラアダプタ１１６とが分離された例を示しているが、これらは同一の筺体内に含まれる１つの装置であってもよい。また、マイク１１１も、カメラ１１２に内蔵されたマイクであってもよいし、図１のように別個の装置が用意されてもよい。このように、図１に示される複数の機能部が１つの装置によって実現されてもよく、また、１つの機能部が複数の装置が協働することによって実現されてもよい。

また、本実施形態では、特に言及のない限り、「画像」という用語が動画と静止画との両方の概念を含むものとする。すなわち、マルチカメラ運用システム１００は、静止画及び動画のいずれについても対処可能である。また、本実施形態では、仮想視点コンテンツとして、仮想視点画像と仮想聴点音響がマルチカメラ運用システム１００によって提供される場合について説明するが、これに限られない。例えば、仮想視点コンテンツは、音響を含まなくてもよい。また、例えば、仮想視点コンテンツに含まれる音声が、仮想視点に最も近いマイクにより録音された音声であるなど、仮想聴点音響以外の形式で提供されてもよい。また、本実施形態では、説明を簡単にするため、音声についての説明を部分的に省略しているが、画像と音声は共に処理されるものとする。

次に、画像コンピューティングサーバ１４０の構成及び動作について説明する。画像コンピューティングサーバ１４０は、センサシステム１１０ｚから取得したデータの処理を行う。画像コンピューティングサーバ１４０は、タイムサーバ１４１と、フロントエンドサーバ１４２とを含む。

タイムサーバ１４１は、時刻及び同期信号を配信する機能を有し、スイッチングハブ１２０を介して、センサシステム１１０ａ～１１０ｚに時刻及び同期信号を配信する。センサシステム１１０ａ～１１０ｚは、カメラアダプタ１１６ａ～１１６ｚを介して時刻と同期信号を受信すると、時刻と同期信号に基づいてカメラ１１２ａ～１１２ｚを同期させ、画像フレーム同期を確立する。すなわち、タイムサーバ１４１は、複数のカメラ１１２の撮影タイミングを同期させる。

フロントエンドサーバ１４２は、センサシステム１１０ｚから取得した画像及び音声から、セグメント化された伝送パケットを再構成してデータ形式を変換する。その後、カメラの識別子、画像か音声かを示すデータ種別、フレーム番号に応じてフロントエンドサーバ１４２内のデータベース（不図示）に書き込む。

なお、フロントエンドサーバ１４２では、カメラアダプタ１１６から取得したデータをＤＲＡＭ上に一次的に記憶し、前景画像、背景画像、音声データ、及び三次元形状データが揃うまでバッファする。なお、以下では、前景画像、背景画像、音声データ、及び三次元形状データをまとめて、撮影データと呼ぶ。撮影データには、ルーティング情報やタイムコード情報（時間情報）、カメラ識別子等のメタ情報が付与されており、フロントエンドサーバ１４２は、このメタ情報に基づいてデータの属性を確認する。これにより、フロントエンドサーバ１４２は、ある１つの時刻について、バッファされているデータを確認することによって、撮影データが揃ったか否かを判定することができる。この判定により、データがカメラアダプタ１１６からネットワーク１２２等を介して転送される際に、ネットワークパケットの受信順序がデータの順序と対応しない場合であっても、必要なデータが揃うまで待つことで、ファイル生成を確実に行うことができる。なお、背景画像は、前景画像とは異なるフレームレートで撮影されてもよい。例えば、背景画像のフレームレートが１ｆｐｓ［ｆｒａｍｅｓｐｅｒｓｅｃｏｎｄ］である場合、１秒ごとに１つの背景画像が取得される。これに対して、前景画像が例えば６０ｆｐｓで取得される場合、前景画像が取得されるが背景画像が取得されないタイミングが存在しうる。このため、このようなタイミングにおいては、フロントエンドサーバ１４２は、背景画像がない状態で全てのデータが揃ったと判定してもよい。

カメラ運用端末１３０は、図１１に示すように、例えば、ＣＰＵ１１０１、メモリ（ＲＡＭ、ＲＯＭ）１１０２、グラフィックメモリ１１０３、及びインタフェース１１０４を有する処理装置であり、例えば汎用のパーソナルコンピュータ（ＰＣ）等でありうる。ここで、インタフェース１１０４は、例えば無線通信インタフェース１１０５、画像入出力インタフェース１１０６、及び、音声入出力インタフェース１１０７を含みうる。なお、これらの構成は一例に過ぎず、例えば、カメラ運用端末１３０は、画像入出力インタフェース１１０６を介して、ＨＭＤ（ＨｅａｄＭｏｕｎｔｅｄＤｉｓｐｌａｙ）等の外部の表示装置に所定の画面を表示させうるが、内蔵の表示装置を有してもよい。また、カメラ運用端末１３０は、例えば、画像入出力インタフェース１１０６としてカメラを有し、カメラによって作業の状態を撮影してカメラ運用端末１３０内部に取り込み、必要に応じて他のカメラ運用端末１３０と共有してもよい。また、画像入出力インタフェース１１０６として、図面等の情報を取り込むための外部のスキャナと通信する機能が用いられてもよいし、カメラ運用端末１３０がスキャナの機能を画像入出力インタフェース１１０６として有してもよい。同様に、カメラ運用端末１３０は、音声入出力インタフェース１１０７を介して外部のスピーカに所定の音声を出力させうるが、そのようなスピーカを内蔵していてもよい。また、カメラ運用端末１３０は、音声入出力インタフェース１１０７としてマイクを含み、音声データをカメラ運用端末１３０内部に取り込み、必要に応じて他のカメラ運用端末１３０と共有してもよい。カメラ運用端末１３０は、ＣＰＵ１１０１以外のプロセッサがメモリ等の記憶装置からプログラムを読み込んで処理を実行する構成や、専用のハードウェアが後述の処理を実行するような構成など、図１１の構成と異なる構成を有してもよい。

カメラ運用端末１３０は、例えば無線通信インタフェース１１０５を介して、センサシステム１１０と通信可能に構成される。そして、カメラ運用端末１３０は、例えばＣＰＵ１１０１がメモリ１１０２に格納されたプログラムを実行することによって、運用システムアプリケーションを動作させることができる。運用システムアプリケーションは、マルチカメラシステムを運用する際に使用され、例えば、イベント撮影の計画から、システムの設置、撮影、システムの撤収までの運用を管理するのに使用される。また、カメラ運用端末１３０は、システムを運用する上で必要な運用システムアプリケーションの画面表示や、別のカメラ運用端末とのテキストメッセージや音声等による通信を実行可能に構成されうる。

画像処理システム１８０は、撮影により得られた画像データに対して画像処理を実行し、画面表示させるまでの処理を実行する。この画像処理システム１８０の機能構成について図２を用いて説明する。なお、画像処理システム１８０は、上述のフロントエンドサーバ１４２と協働するため、図２には、フロントエンドサーバ１４２の機能構成の一部についても図解されている。フロントエンドサーバ１４２は、その機能として、複数視点画像保持部２００及び実空間情報保持部２１０を有する。複数視点画像保持部２００は、上述のように、競技フィールドやスタジオ等を取り囲むように設置された複数台のカメラによって同期撮影された画像に関する画像データを保持する。また、実空間情報保持部２１０は、被写体を含む所定範囲の空間に関する情報を保持する。実空間情報保持部２１０は、例えば、競技場のフィールドや観客席等、または、スタジオの設備等、仮想視点画像内に背景として映りこむ物体（背景オブジェクト）の三次元形状データや、仮想視点を設定可能な範囲を示す三次元空間情報等を保持する。

画像処理システム１８０は、画像処理装置２２０及び仮想カメラ操作端末２３０を含んで構成される。画像処理装置２２０は、例えば、仮想視点画像生成部２２１、仮想カメラパス算出部２２２、仮想カメラ情報保持部２２３、表示画像生成部２２４、及び装置通信部２２５を有する。また、仮想カメラ操作端末２３０は、例えば、端末通信部２３１、画像表示部２３２、仮想カメラパス指示部２３３、及びユーザ情報発信部２３４を有する。

仮想視点画像生成部２２１は、複数視点画像保持部２００から取得した複数視点画像を用いて、前景オブジェクトの三次元形状データを生成する。生成した前景三次元形状データと、実空間情報保持部２１０から取得した背景三次元形状データとに対して、仮想カメラパス算出部２２２から取得した仮想視点に合わせたテクスチャをマッピングし、レンダリングを行うことにより、仮想視点画像が生成される。仮想視点画像生成部２２１は、この仮想視点画像の生成の過程で、生成しようとする仮想視点画像に映りこむ前景オブジェクトおよび背景オブジェクトの座標を算出し、その座標についてのみのテクスチャマッピングとレンダリングとを実行する。仮想視点画像生成部２２１は、算出した座標値を、被写体前景座標および実空間背景座標として、後述の仮想カメラ情報保持部２２３に出力する。

仮想カメラパス算出部２２２は、後述の仮想カメラパス指示部２３３に対するユーザからの指示内容に基づいて、時間的に連続する仮想カメラパスパラメータを算出する。仮想カメラパスパラメータは、ユーザが被写体を観察する際の仮想的なカメラの動きを示すパラメータであり、仮想カメラの位置、向き（注視方向）、及び画角（焦点距離）を少なくとも含む。なお、仮想カメラパスパラメータは、撮影シーン中のどの瞬間に関するものであるかを特定できるように、複数視点画像に付されたフレーム番号又はタイムコードと関連付けられる。仮想カメラパス算出部２２２は、仮想カメラパスパラメータの算出の際に、実空間情報保持部２１０から取得した実空間情報を参照して、仮想視点を設定可能な範囲に仮想カメラパスを設定する。

仮想カメラ情報保持部２２３は、仮想視点画像生成部２２１から取得した、被写体前景座標および実空間背景座標と、仮想カメラパス算出部２２２で算出された仮想カメラパスパラメータとを蓄積する。

表示画像生成部２２４は、仮想カメラ操作端末２３０の画像表示部２３２に表示されるための表示画像を生成する。ここで生成される表示画像は、仮想視点画像生成部２２１で生成される仮想視点画像である。装置通信部２２５は、画像処理装置２２０と仮想カメラ操作端末２３０との間での、不図示のネットワーク等を介した有線通信又は無線通信を行うための機能部である。画像処理装置２２０と仮想カメラ操作端末２３０との間では、画像、音声、及びテキストの各データや、仮想視点画像を生成する際にユーザ側から送られる仮想カメラパス指示等の指示情報が送受信される。

仮想カメラ操作端末２３０において、端末通信部２３１は、上述のように、装置通信部２２５との間で種々の情報を送受信する。画像表示部２３２は、上述の表示画像生成部２２４において生成され、端末通信部２３１を介して受信された画像を画面表示する。仮想カメラパス指示部２３３は、ユーザから仮想カメラパスに対する指示を受け付け、その指示を示す情報を、端末通信部２３１を用いて画像処理装置２２０へ送信する。なお、画像処理装置２２０は、装置通信部２２５を用いてこの情報を受信し、仮想カメラパス算出部２２２に受信した情報を渡す。なお、ユーザは、視聴したい全時間に対して、仮想カメラパラメータのすべてを厳密に指示しなくてもよい。例えば、ユーザは、「特定の被写体（選手や演者等）に注目した仮想視点画像を視聴したい」、「ボールの周囲のある一定の範囲を視聴したい」、「より注目すべきイベントが発生している箇所を視聴したい」等、種々の観点に基づく指示を入力してもよい。ユーザ情報発信部２３４は、端末通信部２３１から装置通信部２２５に向けて送信される情報に対して、ユーザＩＤ等のユーザ情報を添付する。

本実施形態における仮想視点コンテンツは、仮想的な視点から被写体を撮影した場合に得られる画像としての仮想視点画像を含むコンテンツである。換言すれば、仮想視点画像は、指定された視点における見え方に対応する画像である。仮想的な視点（仮想視点）は、ユーザにより指定されてもよいし、画像解析の結果等に基づいて自動的に指定されてもよい。すなわち、仮想視点画像には、ユーザが任意に指定した視点に対応する任意視点画像（自由視点画像）が含まれる。また、複数の候補からユーザが指定した視点に対応する画像や、装置が自動で指定した視点に対応する画像も、仮想視点画像に含まれる。

続いて、図３を用いて、カメラアダプタ１１６の機能構成について説明する。カメラアダプタ１１６は、ネットワークアダプタ３００と、伝送部３１０と、画像処理部３２０と、外部機器制御部３３０とを含む。ここで、ネットワークアダプタ３００は、データ送受信部３０１と無線通信部３０２とを含み、伝送部３１０は、伝送部３１０は、画像・音声伝送処理部３１１とデータ圧縮・伸張部３１２とを含む。また、画像処理部３２０は、前景背景分離部３２１と、三次元形状データ生成部３２２と、キャリブレーション制御部３２３とを含む。また、外部機器制御部３３０は、マイク制御部３３１と、カメラ制御部３３２と、雲台制御部３３３と、センサ制御部３３４とを含む。なお、外部機器制御部３３０は、外部機器接続状態検出部３３５をさらに含む。

ネットワークアダプタ３００は、他の装置との通信を行うための各種機能を含んで構成される。データ送受信部３０１は、デイジーチェーン１２１、ネットワーク１２３及びネットワーク１２４を介して、他のカメラアダプタ１１６、フロントエンドサーバ１４２、タイムサーバ１４１、及び制御ステーション１６１と、データ通信を行う。例えば、データ送受信部３０１は、カメラ１１２による撮影画像が後述の前景背景分離部３２１により分離されて得られる前景画像と背景画像とを、別のカメラアダプタ１１６に対して出力する。出力先のカメラアダプタ１１６は、マルチカメラ運用システム１００のカメラアダプタ１１６のうち、デイジーチェーン１２１において隣接する下流側のカメラアダプタ１１６である。多数のカメラアダプタ１１６が、前景画像及び背景画像を出力することで、複数の視点から撮影された前景画像と背景画像とがフロントエンドサーバ１４２に伝送され、画像処理システム１８０によって仮想視点画像が生成される。なお、撮影画像から分離した前景画像を出力して背景画像は出力しないカメラアダプタ１１６が存在してもよい。

無線通信部３０２は、カメラ運用端末１３０の無線通信インタフェース１１０５との通信を行う。無線通信部３０２を介して通信するデータは、後述の外部機器接続状態検出部３３５が処理するデータであり、カメラ運用端末１３０で動作する運用システムアプリケーションで処理を実行するためのデータである。

伝送部３１０は、ネットワークアダプタ３００を介して送受信されるデータについて信号処理を実行する機能を有する。画像・音声伝送処理部３１１は、画像データ又は音声データを、データ送受信部３０１を介して他のカメラアダプタ１１６またはフロントエンドサーバ１４２へ転送するためのメッセージを作成する。メッセージには、画像データ又は音声データ、及び各データのメタ情報が含まれる。なお、本実施形態のメタ情報は、画像の撮影または音声のサンプリング時のタイムコードまたはシーケンス番号、データ種別、及び、マイク１１１やカメラ１１２の個体を示す識別子などを含む。また、送信される画像データまたは音声データは、データ圧縮・伸張部３１２でデータ圧縮されていてもよい。また、画像・音声伝送処理部３１１は、他のカメラアダプタ１１６から、データ送受信部３０１を介してメッセージを受け取る。そして、画像・音声伝送処理部３１１は、メッセージに含まれるデータ種別に応じて、伝送プロトコル規定のパケットサイズに分割されたデータから、画像データまたは音声データを復元する。なお、データを復元した際に、そのデータが圧縮されている場合は、データ圧縮・伸張部３１２が伸張処理を行う。データ圧縮・伸張部３１２は、データ送受信部３０１を介して送受信されるデータに対して所定の圧縮方式、圧縮率、及びフレームレートを適用した圧縮を行い、また、圧縮されたデータを伸張する。

画像処理部３２０は、カメラ制御部３３２の制御の下でカメラ１１２によって撮影された画像データと、他のカメラアダプタ１１６から受信した画像データとに対して、画像処理を行う。前景背景分離部３２１は、カメラ１１２によって撮影された画像データを、前景画像と背景画像とに分離する。すなわち、複数のカメラアダプタ１１６のそれぞれにおける前景背景分離部３２１は、複数のカメラ１１２のうち、対応するカメラ１１２によって撮影された撮影画像から所定領域を抽出する。所定領域は、例えば、撮影画像に対するオブジェクト検出処理によって、オブジェクトが検出された領域である。前景背景分離部３２１は、撮影画像から抽出した所定領域内の画像を前景画像とすると共に、その所定領域外の領域の画像（すなわち、前景画像ではない領域の画像）を背景画像として、前景画像及び背景画像を出力する。三次元形状データ生成部３２２は、前景背景分離部３２１で分離された前景画像と、他のカメラアダプタ１１６から受取った前景画像とを用いて、例えば、ステレオカメラの原理を用いて三次元形状データに関する画像情報を生成する。キャリブレーション制御部３２３は、入力された画像に対して、カメラごとの色のばらつきを抑えるための色補正処理や、カメラの振動に起因するブレに対して画像の位置合わせ及び画像の切り出し処理などを行う。

外部機器制御部３３０は、カメラアダプタ１１６に接続する機器を制御する機能を有する。カメラ制御部３３２は、カメラアダプタ１１６が含まれるセンサシステム内のカメラ１１２と接続され、そのカメラ１１２の制御、撮影画像取得、同期信号提供、及び時刻設定などを行う。カメラ１１２の制御は、例えば、撮影パラメータ（画素数、色深度、フレームレート、及びホワイトバランス等）の設定と参照、カメラ１１２の状態（撮影中、停止中、同期中、及びエラー等）を示す情報の取得、撮影の開始及び停止、及びピント調整等を含む。マイク制御部３３１、雲台制御部３３３、及びセンサ制御部３３４は、それぞれ、カメラアダプタ１１６が含まれるセンサシステム内のマイク１１１、雲台１１３、外部センサ１１４に接続され、その接続された機器を制御する。また、マイク制御部３３１、雲台制御部３３３、及びセンサ制御部３３４は、接続された機器が正常に動作しているか等の状態を示す情報を、各機器から読み出す処理を行う。外部機器接続状態検出部３３５は、カメラアダプタ１１６に接続する機器の接続状態および各機器が正常に動作しているかなどのセルフチェック結果を読み出す機能を有する。外部機器接続状態検出部３３５は、マイク制御部３３１、カメラ制御部３３２、雲台制御部３３３、及びセンサ制御部３３４と通信し、各機能部から取得した外部機器の接続状態およびセルフチェック結果を、外部機器接続状態検出部３３５内のメモリに記憶する。なお、外部機器接続状態検出部３３５は、外部機器に電源が供給されていない場合は、ケーブルの接続状態のみを検出する。ケーブルの接続は、カメラアダプタ１１６のケーブル端子の１つをＨＩＧＨポートに設定しておき、ケーブルが接続されたときにＬＯＷになるようにすることにより、ハードウェアレベルで検出することができる。

（処理の流れ）
続いて、スタジアムや競技場、コンサートホールなどの施設に複数のカメラ１１２やマイク１１１を設置して撮影を行う際に実行されるワークフローについて説明する。図４は、ワークフローの全体像を概略的に示している。なお、以下で説明する処理は、特段の説明がない限り、カメラ運用端末１３０の制御により実現される。なお、カメラ運用端末１３０によって実行される処理は、例えば、カメラ運用端末１３０のＣＰＵ１１０１がメモリ１１０２に格納されたプログラムを実行することによって実現される。

本ワークフローでは、まず、一連の処理の前に、マルチカメラ運用システム１００の設置や操作を行う操作者（ユーザ）が、設置前に必要な情報（事前情報）の収集や計画の立案等の設置前処理を行う。カメラ運用端末１３０は、この設置前処理により、事前情報に基づいてどのようにシステムの設置・撤収を行うか等の計画立案を行ったユーザから、その計画に応じた設定を受け付ける（Ｓ４０１）。

なお、ここでの事前情報とは、例えば、施設情報、機器情報、運用情報を含む。施設情報は、例えば、撮影場所がスタジアムの場合、スタジアム情報であり、スタジアムの形状、音響、照明、電源、伝送環境、及びスタジアムの三次元形状データなどの情報を含む。機器情報は、例えば、カメラ、雲台、レンズ、及びマイク等の撮影機材、ＬＡＮ、ＰＣ、サーバ、及びケーブル等の情報機器、及び中継車に関する情報を含む。なお、必ずしもこれらすべての情報が入力されなければならないわけではない。なお、カメラ運用端末１３０は、機器情報が入力された撮影機材のうち、カメラ、雲台、及びマイクの配置情報に関する入力を受け付ける。配置情報は、上述のスタジアムの三次元形状データを利用して入力することができる。運用情報は、カメラ取付形態（高所作業など）、作業種別（作業段階）、作業時間、作業者人数、作業者スキルレベルなどの情報を含む。なお、配置情報は、撮影対象、撮影時間、カメラワーク、及び注視点などの情報を含んでもよい。例えば、撮影対象がサッカー競技であるかなどの競技種別に応じて、注視点の変更と、カメラワークの制約条件の変更とが行われる。カメラ運用端末１３０は、これらの運用情報の組み合わせで構成される設定情報のテーブルを管理し、変更し、また、各種指示等の処理に用いる。

続いて、ユーザは対象となる施設に機材を設置する。そして、マルチカメラ運用システム１００の各装置は、ユーザからの操作に基づいてカメラ運用端末１３０から発行されたコマンドに従って、システムの動作確認のための処理を実行する（Ｓ４０２）。なお、機材の設置中は、システムが完全には動作しないため、カメラ運用端末１３０とカメラアダプタ１１６とが逐次通信を行うことによって、設置時の運用管理を行う。この処理については、後述する。機材の設置が完了した後に、設置されたカメラ１１２の調整が実行される。カメラ１１２の調整は、画角合わせと色合わせを含む。この調整は、設置されたカメラ１１２の全てについて実行される。なお、調整は、ユーザ操作に基づいて行われるようにしてもよいし、自動調整機能により実現されてもよい。また、画角合わせでは、ズーム、パン、チルト、及びフォーカスの調整が並行して同時に実行され、カメラ運用端末１３０は、それらの調整結果を取得して保存する。

そして、ユーザは、競技等の前に、マイク１１１により集音された音声やカメラ１１２により撮影された画像の確認と、その確認結果に応じた調整等を含みうる撮影前処理を実行する（Ｓ４０３）。その後、カメラ運用端末１３０は、マイク１１１に集音を行わせ、カメラ１１２に撮影を実行させる（Ｓ４０４）。なお、Ｓ４０４での撮影はマイク１１１を用いた集音を含むものとするが、これに限られず、画像の撮影だけが行われてもよい。Ｓ４０４の処理は、Ｓ４０２での設定を変更するまで、または撮影を終了するまで継続的に実行される。Ｓ４０２での設定を変更する場合または撮影を終了する場合に、処理がＳ４０５に進められる。

カメラ運用端末１３０は、Ｓ４０５において、Ｓ４０２での設定を変更して撮影を継続するユーザ操作が行われた場合（Ｓ４０５でＹＥＳ）には処理をＳ４０６へ進め、撮影を完了するユーザ操作が行われた場合（Ｓ４０５でＮＯ）には処理をＳ４０７へ進める。なお、この判定はユーザ操作に基づいて行われなくてもよく、カメラ運用端末１３０は、自律的に設定変更が必要であるか否かを判定してもよい。

Ｓ４０６では、カメラ運用端末１３０は、Ｓ４０２で行われた設定を、新しい設定へと変更する。変更内容は、例えば、Ｓ４０５において取得されたユーザ操作に基づいて決定される。Ｓ４０６における設定の変更において撮影停止の必要がある場合は、一度撮影が停止され、設定が変更された後に撮影が再開されるように構成されうる。また、撮影停止の必要がない場合は、撮影を継続しながら設定の変更が実行されうる。

Ｓ４０７では、カメラ運用端末１３０は、複数のカメラ１１２により撮影された画像及び複数のマイク１１１により集音された音声の編集の指示を発行する。なお、Ｓ４０７の処理は、Ｓ４０４の処理と並行して実行されてもよい。例えば、スポーツ競技やコンサートなどをリアルタイムに配信する（例えば競技中に競技の画像が配信される）等の場合は、Ｓ４０４の撮影が終わるのを待たずに、並行して撮影で得られたデータに対するＳ４０７の編集が実行される。一方、スポーツ競技におけるハイライト画像を競技後に配信する等の場合は、Ｓ４０５において撮影を終了した後に編集が実行される。

撮影及び編集が終了した後は、機材の撤収の処理が行われる（Ｓ４０８）。撤収処理は、例えば、Ｓ４０２で設置された機材の取外し作業等により、施設を設置前の状態に戻すことである。なお、上述の処理は、カメラ運用端末１３０において実行するとしたが、設置が完了して、システムの通常運用が可能となっている状態においては、コントローラ１６０が処理を実行してもよい。すなわち、Ｓ４０３の撮影前処理以降の処理は、コントローラ１６０によって実行されてもよい。

続いて、図５を用いて、機材の設置時の処理の流れについて説明する。なお、図５の処理は、例えば、カメラ運用端末１３０のＣＰＵ１１０１がメモリ１１０２に格納されたプログラムを実行することによって実現される。

まず、カメラ運用端末１３０は、状態データを読み出す（Ｓ５０１）。状態データは、カメラアダプタ１１６の外部機器接続状態検出部３３５が記憶するデータであり、カメラアダプタ１１６に接続されている機器の接続状態を示すデータである。なお、外部機器接続状態検出部３３５は、他のカメラアダプタ１１６における外部機器接続状態検出部３３５が検出した情報を取得してもよい。この場合、外部機器接続状態検出部３３５は、例えばデイジーチェーンの設置が完了している範囲で、複数のカメラアダプタ１１６における外部機器の接続状態の情報を収集し、その収集した情報を一括してカメラ運用端末１３０へ通知することができる。また、外部機器接続状態検出部３３５は、例えば、一時的に設置された（又はシステムが構築される設備に事前に設置されている）外部のアクセスポイントやローカルエリアネットワークを介してカメラ運用端末１３０へ送信してもよい。これによれば、カメラ運用端末１３０は、複数の外部機器接続状態検出部３３５からの情報を、少数（例えば１つ）のアクセスポイントを介して取得することができ、多数のカメラアダプタ１１６の近くに移動して情報を取得する必要がなくなる。その後、カメラ運用端末１３０は、基準データを読み出す（Ｓ５０２）。基準データは、例えば、図４のＳ４０１で説明した事前情報のうち、特に機器情報、運用情報から定義されるデータであり、例えば、カメラを１台取り付けるのに必要な時間と必要な作業人数などの情報を含む。そして、カメラ運用端末１３０は、Ｓ５０１で読み出した状態データとＳ５０２で読み出した基準データとを比較する（Ｓ５０３）。そして、カメラ運用端末１３０は、画面表示を状態表示または進捗表示にする（Ｓ５０４）。状態表示では、上述の状態データを表示し、進捗表示では、基準データに対する作業の進捗状況を表示する。

また、カメラ運用端末１３０は、Ｓ５０３の結果に基づいて、作業の修正プランがあるか否かを判定する（Ｓ５０５）。カメラ運用端末１３０は、修正プランがある場合（Ｓ５０５でＹＥＳ）は、修正プランを表示する（Ｓ５０６）。そして、カメラ運用端末１３０は、具体的なカメラＩＤや設置位置等を表示する（Ｓ５０７）。なお、カメラ運用端末１３０は、修正プランがない場合（Ｓ５０５でＮＯ）、Ｓ５０６及びＳ５０７の処理を実行せずに、図５の処理を終了する。

例えば、１時間あたり１２台のカメラを取り付ける作業能力があるとし、６０台のカメラを５時間で取付作業する想定で計画が立案されたものとする。このとき、作業から２時間経過した時点で、１時間作業時間を短縮する必要が出た場合、残り２時間で３６台のカメラを取り付ける必要がある。しかしながら、作業能力からは２４台しか取り付けることができない。このため、カメラ運用端末１３０は、例えば未設置の３６台のカメラから優先順位を付けて２４台のカメラを選択して設置する計画に変更し、その旨をＳ５０６において表示することができる。

図６（Ａ）及び図６（Ｂ）は、カメラ運用端末１３０における状態表示の例を示している。カメラ運用端末１３０は、状態表示するためのアプリケーションスイッチを有し、そのスイッチが操作されることにより、図６（Ａ）及び図６（Ｂ）のような状態表示を行う。カメラ運用端末１３０は、状態表示画面において、表示されている情報を更新するためのカメラアダプタ１１６へのリクエストコマンドを送信することができる。カメラアダプタ１１６は、状態情報のリクエストコマンドを受信すると、各ケーブルの接続状態や設置状態に関するデータ又は各機器のセルフチェック結果データをカメラ運用端末１３０に送信する。これにより、現在の設置状況が、カメラ運用端末１３０に表示される。

図６（Ａ）は、状態表示の例である。横軸には、カメラごとの接続・設置状態に関するタスク名が表示されており、縦軸には、カメラごとのデータが表示されている。カメラごとの接続状態について、例えば、カメラＩＤの横のＳｔａｔｕｓ欄の情報によって、カメラ１１２とカメラアダプタ１１６との間のケーブルの接続状態が表示される。また、レンズＩＤの横のＳｔａｔｕｓ欄の情報によって、例えばレンズを制御するためのケーブルがカメラアダプタ１１６に接続されているか否かが示される。なお、レンズＩＤの横のＳｔａｔｕｓ欄の情報は、例えば外部センサ１１４によってレンズが適切に設定されているか否かを監視する準備ができているか否かを示してもよい。この場合、レンズＩＤの横のＳｔａｔｕｓ欄の情報は、例えばレンズの監視用の外部センサ１１４がカメラアダプタ１１６に接続されているか否かを示す情報であってもよい。また、他のセンサシステム１１０との通信用のケーブルの接続状態や、その他の外部機器との接続状態を示す情報が、図６（Ａ）のようなテーブルの形式で管理されうる。なお、設置状態に関する表示は、ケーブル接続のみではなく、接続されている機器のセルフチェック結果、または、カメラ１１２やカメラアダプタ１１６を施設へ取り付けるための取付金具等への取付状態を含んだものとしてもよい。また、接続に使用されるケーブルそのものの状態が（例えばケーブルＩＤの横のＳｔａｔｕｓ欄の情報によって）示されてもよい。一例において、カメラが撮影を実行可能な状態となると、そのカメラに対応する行の全情報が「ＯＫ」となる。なお、少なくとも一部のセンサシステム１１０において、使用されない外部機器については、その状態を示す欄が用意されなくてもよいし、その状態を示す欄に「－」などの記号が記述されてもよい。なお、図６（Ａ）のような表形式ではなく、例えばスタジアムにシステムを設置する場合、スタジアムの概略図にカメラ等の設置位置を概略的に認識できるような形式で表示した画面により、状態表示を行ってもよい。

図６（Ｂ）は、進捗状況の表示（進捗表示）の例である。図６（Ｂ）の例では、ワーク単位で、予定時間、結果、進捗率が一覧できるような表示が行われている。これらの表示には、図５のＳ５０３の結果が用いられる。例えば、カメラを設置するタスクにおいて、その開始予定時刻と終了予定時刻、実際に開始した時刻と終了した時刻とが表示される。また、このタスクがカメラを設置するタスクであることが判別可能となるように、作業内容の欄に情報が記述される。そして、タスクの内容が全て完了している場合には、進捗率の欄に「１００％」や「完了」等の表示がなされる。なお、タスクを実行途中である場合や、当初の予定を未達成のまま処理を終了した場合には、進捗率の欄は、１００％より低い値が記述される。なお、この場合、タスクが実行中ではないことを示すために、例えば進捗率の数字に加えて、「終了」等の文字列が記述されてもよい。例えば、６０台のカメラを設置するタスクに対して、５４台のカメラの設置が完了した状態では、進捗率の欄に「９０％」と記述され、この状態でタスクを終了した場合は「９０％（終了）」などと記述されうる。

図７は、図５のＳ５０５において、修正プラン有りと判定された場合の修正プランの表示例を説明する図である。カメラ運用端末１３０で動作する運用システムアプリケーションは、カメラ運用端末１３０に記憶されているワークフローのタスク完了想定時間と、外部機器接続状態検出部３３５に記憶されている接続状態データとを読み出す。そして、運用システムアプリケーションは、双方のデータによって判定される設置の進捗状況において、想定時間に対して設置完了台数が所定の閾値に満たしていない場合（予定のタスクを完了することができないと判定される場合）は、修正プランを生成する。

なお、画面表示は、図７に示すように、例えばスタジアムを模した概略図であって、撮影対象のグラウンド７２０に対する相対的なカメラの設置予定位置と、設置されているカメラ及び未設置のカメラとが区別可能に表示される。例えば、図７では、ＡｒｅａＮの範囲で７１０の破線で囲まれたカメラ７１１ａ～７１１ｆの合計６台が未設置の状態であることを示している。なお、これらのカメラは、例えば、図６（Ａ）の「Ｃａｍ０３」～「Ｃａｍ０５」及び「Ｃａｍ０８」～「Ｃａｍ１０」に対応しうる。この状態で、例えば、残り時間が残り２台のカメラを設置するだけの時間しかないと判定されたとする。この場合、修正プランにより、例えば設置対象の２台のカメラが選択されて表示される。

ここで、設置するカメラについて、優先順位の設定をする優先順位データの例について説明する。システムを構成するカメラは、例えば、用途ごとに、三次元形状データを生成するための画像を取得するカメラ、人物テクスチャ生成用のカメラ、背景テクスチャ生成用のカメラを含む。一例では、このカメラの用途に応じた優先順位が設定される。例えば、三次元形状データ生成用カメラが最も優先順位が高く、次いで人物テクスチャ用カメラの優先順位が高く、背景テクスチャ用カメラの優先順位が最も低い、等のような設定が行われる。図７は、例えば、カメラ７１１ｃと７１１ｄが一番優先順位の高い人物テクスチャ用のカメラであったことにより、これらのカメラを設置すべきと判定された場合の修正プランの例を示している。図７の例では、カメラ７１１ｃと７１１ｄに○印が付されることにより、これらのカメラが設置すべきカメラであることが示されている。一方、図７のように、優先順位が低く、設置対象として選択されなかったカメラ７１１ａ、７１１ｂ、７１１ｅ、及び７１１ｆに対して×印が付されることにより、これらのカメラは設置しないと判定されたことが示されている。このような表示を、例えば設置作業を実行するスタッフが有するカメラ運用端末１３０と共有することにより、スタッフは、設置すべきカメラを視覚的に認識することができ、誤りなく設置作業を行うことができる。

なお、カメラ運用端末１３０は、カメラアダプタ１１６の無線通信部３０２を介して例えばカメラ７３０と通信し、設置済のカメラの情報をこの通信を介して収集して表示する。本システムでは、デイジーチェーンによってセンサシステム１１０を接続するため、カメラ運用端末１３０は、いずれかのセンサシステム１１０のカメラアダプタ１１６から、接続済みの他のセンサシステムにおける情報を取得することができる。なお、複数のユーザがいる場合には、複数のカメラ運用端末１３０が使用されてもよく、これらの複数のカメラ運用端末１３０の間で収集されるデータや表示されるデータが共有される。例えば、カメラ７３０と通信するカメラ運用端末１３０は、カメラ７４０を介してカメラ７５０の情報を収集可能であり、同様に、カメラ７５０と通信するカメラ運用端末１３０は、カメラ７３０の情報を収集可能である。また、カメラ運用端末１３０は、いずれも、カメラ７４０やカメラ７６０の情報を収集することができる。なお、データ入力および判断は、特定のユーザに操作権限を設定することによって制御されうる。なお、情報の共有は、外部のネットワーク（例えば、システムを構築する設備内に設けた一時的なローカルエリアネットワーク）を介して行われてもよい。これによれば、センサシステム１１０間の接続が途切れている場合であっても、システム全体の機材の設置状況を収集することが可能となる。

なお、優先して設置するカメラを指定する修正プランは、上述のような、カメラごとの仮想視点画像を生成する際のカメラ種別（用途）に基づく方法以外の方法によって決定されてもよい。例えば、設置が完了しているカメラの位置に応じて、設置済みのカメラからの距離が離れている未設置のカメラほど優先順位が高くなる（すなわちカメラが設置されていないエリアほど高い優先順位が付与される）ような方法で、修正プランが決定されてもよい。また、注視点ごと（ＡＧｒｏｕｐまたはＢＧｒｏｕｐ）に、優先して設置するカメラの設定が行われてもよい。

ここで、カメラ運用端末１３０の機能構成例について図８を用いて説明する。カメラ運用端末１３０は、例えばＣＰＵ１１０１がメモリ１１０２から読み出したプログラムを実行することにより、図８のような機能を実現する。カメラ運用端末１３０は、例えば、演算処理部８００、表示部８１０、通信部８２０、及びデータ記憶部８３０を含んで構成される。表示部８１０は、演算処理部８００の処理結果に基づいて、不図示の画面に情報を表示する処理を行う。通信部８２０は、カメラアダプタ１１６と通信し、接続状態などのデータのやり取りを行う。データ記憶部８３０は、基準データや接続状態など各種データ（テーブル）を記憶する。

演算処理部８００は、運用システムアプリケーションの処理を実行するために、例えば、ワークフローデータ設定部８０１、状態データ収集部８０２、プラン決定部８０３を含んで構成される。ワークフローデータ設定部８０１は、上述のように、マルチカメラシステムの所定エリアへの設置や所定エリアからの撤収、又は、撮影可能状態の確認をするまでのワークフロー情報であって、各施設における撮影機材の設置や撤収のフローを設定する。設定されたデータは、基準データとして後段の処理に使用される。基準データは、事前情報のうち、特に機器情報及び運用情報によって定義されるデータである。

図９（Ａ）及び図９（Ｂ）に、上述の基準データとして、データ記憶部８３０に保存されるテーブルの例を示す。図９（Ａ）において、工程ＩＤは、ワークフロー内の１つの工程に対応付けて割り当てられる工程識別子であり、完了時刻、フラグＩＤリスト、リストＮｏを含んで構成される。そして、完了時刻は、対応する工程が完了する予定の時刻を示す。フラグＩＤリストは、図９（Ｂ）に示す機器接続構成テーブルに対応付けられており、各工程において、各機器のケーブル等の接続状態などの設置状態の読み出す対象を指定する。リストＮｏは、工程において情報を読み出す対象となる機器を指定する情報である。

状態データ収集部８０２は、カメラアダプタ１１６と通信して、各ワークフローにおいて、機器接続状態や設置状態等を示す状態データを収集する。そして、状態データ収集部８０２は、必要に応じて、データ記憶部８３０に記憶されているテーブルの内容を書き換える。図９（Ｃ）は、状態データとして、データ記憶部８３０に保存されるテーブルの例を示している。リストＮｏは、カメラごとに機器構成をグループ化して管理する番号である。あるリストＮｏは、例えば、カメラＩＤ、レンズＩＤ、ケーブル１＿ＩＤなどの機器や接続機器の識別子と関連付けられる。なお、図９（Ａ）のリストＮｏと、図９（Ｃ）のリストＮｏとは対応付けられており、工程ごとに読み出される機器がこのリストＮｏによって指定される。各構成要素は、状態データ収集部８０２が収集した結果に基づいて、値が書き換えられる。

プラン決定部８０３は、上述の基準データのフラグＩＤリストと状態データの構成要素とを比較して、進捗データと修正プランとの少なくともいずれかを生成する処理を行う。生成された修正プランはデータ記憶部８３０に保存され、修正プランが存在し、修正プランを表示するために画面を切り替える際に、データ記憶部８３０から読み出されて、表示情報を生成するのに使用される。なお、複数のプランが生成されてもよく、画面表示の際に、修正プランを複数表示してユーザが適宜選択する構成としてもよい。

図９（Ｄ）は、データ記憶部８３０に保存される修正プランデータの一例を示している。図９（Ｄ）に示すように、一例において、修正プランデータは、テーブルの形式で保存されうる。修正プランデータは、例えば、図９（Ａ）に示す基準データのテーブル構成要素と同様の構成要素を含んで生成される。一例において、修正プランデータでは、状態データに応じて、基準データからリストＮｏ（すなわち、各工程における処理の対象の機器）が変更される。図９（Ｄ）においては、図９（Ａ）の基準データから、工程ＩＤが１００３～１００５の工程についてのリストＮｏ、すなわち、設置するカメラの構成が変更されたことを示している。なお、上述の修正プランによるテーブルの書き換えは、演算処理部８００によって状態データに基づいて適宜実行されうるが、ユーザによる進捗状況の判断に基づくテーブルの書き換えが行われてもよい。

図１０は、図７を用いて説明した修正プランとは別のプランを説明するための図である。想定時間に対して設置完了台数が所定の閾値に満たしていない場合に修正プランを生成するのは同様であるが、ここでの修正プランは、作業スタッフのリソースを集中させるよう再配置すれば、予定時間内に処理が完了すると判断された場合の例である。

図１０の例において、作業スタッフのグループ１０７１～１０７３は、それぞれ６人のスタッフを含む。このとき、カメラ台数と全体の作業スタッフ人数、作業スタッフのスキルなどをパラメータとして、未設置エリアに再配置する作業スタッフが決定されうる。このとき、作業スタッフの場所が画面に表示されるため、ユーザは、未設置エリアに再配置する作業スタッフを判断することができる。一方で、カメラ運用端末１３０は、例えば、上述のパラメータに基づいて、再配置対象の作業スタッフのリコメンド情報を、作業スタッフを示すアイコンを点滅させることなどによって表示してもよい。なお、図１０の例では、作業スタッフ１０７３が、未設置領域１０１０に近い位置に存在するため、リコメンドされる対象のスタッフとして、リコメンドされる対象ではないスタッフと判別可能となるように、白抜きで表示されている。

なお、作業スタッフの位置は、作業スタッフが所有するＧＰＳ端末（例えばＧＰＳ機能を有するカメラ運用端末１３０）による測位結果に基づいて特定されうるが、これに限られない。例えば、スタッフが使用しているカメラ運用端末１３０と、カメラアダプタ１１６との通信履歴に基づいて、スタッフの位置が推定されてもよい。例えば最後に通信したカメラアダプタ１１６の位置から、その通信が行われた時刻と現在時刻とに基づいて定まる所定範囲内を、そのスタッフが存在する位置として特定しうる。また、その通信履歴からスタッフがどの方向に移動しながら作業しているかを推定し、その方向の情報に基づいて、スタッフの位置が推定されてもよい。

上述の実施形態では、機材の設置に関して主に説明したが、本システムは、機材の撤収についても適用することができる。このとき、機材の設置の例では、例えばケーブル接続状態を「接続している」台数を管理していたが、機材の撤収時には、接続状態を「接続していない」台数を管理して、進捗状況が判定されうる。

また、説明したワークフロー以外でも、同様の進捗管理を行うことができる。例えば、機材の運搬、機材を取り付け位置まで運搬する配荷、カメラ姿勢調整、ネットワークケーブルの敷設、電源ケーブルの敷設なども、外部機器接続状態検出部３３５に、タスクの完了状態を示す信号を入力することで、同様の進捗管理を実行可能である。なお、タスクの完了状態を示す信号は、例えば、カメラアダプタ１１６にタスク管理用スイッチを用意しておき、運用者又は作業者が、所定のタスクが完了した時にスイッチを押すことで生成するように構成されうる。これにより、所定のタスクの完了ごとに外部機器接続状態検出部３３５に対して信号を入力することが可能となり、適切に進捗管理を行うことが可能となる。

また、上述の実施形態では、基準データと状態データとに基づいて、修正プランを生成して表示していたが、修正プランが生成されない場合は、ユーザに警告を報知してもよい。例えば、修正プランが生成されない場合（生成できない場合）に、アラートがカメラ運用端末１３０の画面に表示されてもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：マルチカメラ運用システム、１１０：センサシステム、１１６：カメラアダプタ、１２０：スイッチングハブ、１３０：カメラ運用端末、１４０：画像コンピューティングサーバ、１６０：コントローラ、１８０：画像処理システム、８００：演算処理部、８０１：ワークフローデータ設定部、８０２：状態データ収集部、８０３：プラン決定部、８１０：表示部、８２０：通信部、８３０：データ記憶部

Claims

複数の機材を運用するシステムが所定の機能を果たすことができる状態とするための当該複数の機材に関するタスクまたは当該システムの撤収のための当該複数の機材に関するタスクを設定する設定手段と、
前記複数の機材のそれぞれの前記システムへの接続状態を含んだ情報を、当該複数の機材が接続される機器から取得する取得手段と、
前記設定手段によって設定された前記複数の機材に関する前記タスクと、前記取得手段によって取得された前記情報とに基づいて、前記タスクの進捗に関する画面を表示手段に表示させる制御手段と、
を有することを特徴とする処理装置。
前記接続状態は、前記複数の機材のそれぞれが前記機器に接続されているか否かの状態であり、
前記制御手段は、前記接続状態を示す画面を、前記進捗に関する画面として前記表示手段に表示させる、
ことを特徴とする請求項１に記載の処理装置。
前記情報は、前記複数の機材のそれぞれが行ったセルフチェックの結果を含み、
前記制御手段は、当該結果を含んだ画面を、前記進捗に関する画面として前記表示手段に表示させる、
ことを特徴とする請求項１又は２に記載の処理装置。
前記セルフチェックの結果は、前記複数の機材のそれぞれが正常に動作しているかを、当該複数の機材のそれぞれがチェックした結果を含む、
ことを特徴とする請求項３に記載の処理装置。
前記制御手段は、前記タスクを終了する予定の時刻と前記情報とに基づいて定まる進捗率を示す画面を、前記進捗に関する画面として前記表示手段に表示させる、
ことを特徴とする請求項１から４のいずれか１項に記載の処理装置。
前記設定手段は、ユーザ操作に基づいて、前記タスクを設定する、
ことを特徴とする請求項１から５のいずれか１項に記載の処理装置。
前記システムはマルチカメラシステムであり、前記複数の機材は複数のカメラを含む、
ことを特徴とする請求項１から６のいずれか１項に記載の処理装置。
前記制御手段は、前記タスクの進捗に関する画面として、撮影対象の位置に対して前記複数の機材が設置されるべき位置が示され、前記タスクに関する作業が終了した機器と当該作業が終了していない機器とが区別可能に示される画面を前記表示手段に表示させる、
ことを特徴とする請求項７に記載の処理装置。
前記タスクの修正プランを生成する生成手段をさらに有し、
前記制御手段は、前記生成手段が前記修正プランを生成した場合に、当該修正プランを示す画面を前記表示手段に表示させる、
ことを特徴とする請求項１から８のいずれか１項に記載の処理装置。
前記生成手段は、前記進捗に基づいて、前記タスクを予定の時刻までに完了することができないと判定される場合に、前記修正プランを生成する、
ことを特徴とする請求項９に記載の処理装置。
前記生成手段は、前記複数の機材のうち、前記タスクに関する作業を優先して行うべき機材を選択し、
前記制御手段は、前記修正プランを示す画面として、選択された機材を示す画面を前記表示手段に表示させる、
ことを特徴とする請求項９又は１０に記載の処理装置。
前記生成手段は、前記複数の機材の用途に応じて、前記タスクに関する作業を優先して行うべき機材を選択する、
ことを特徴とする請求項１１に記載の処理装置。
前記生成手段は、前記修正プランとして、前記タスクに関する作業を行っているスタッフの再配置に関する情報を生成し、
前記制御手段は、前記修正プランを示す画面として、再配置の対象となるスタッフを、当該対象とならないスタッフと判別可能に表示する画面を前記表示手段に表示させる、
ことを特徴とする請求項９から１２のいずれか１項に記載の処理装置。
前記システムはマルチカメラシステムであり、前記複数の機材は複数のカメラを含み、
前記制御手段は、撮影対象の位置に対して前記複数の機材が設置されるべき位置が示される画面において、前記修正プランを示す画面を前記表示手段に表示させる、
ことを特徴とする請求項９から１３のいずれか１項に記載の処理装置。
前記システムは、仮想視点画像を生成するためのマルチカメラシステムである、
ことを特徴とする請求項１から１４のいずれか１項に記載の処理装置。
前記システムは、仮想視点画像の生成に用いられる被写体の三次元形状データを生成するために、複数の方向から当該被写体が撮影されるマルチカメラシステムである、
ことを特徴とする請求項１から１５のいずれか１項に記載の処理装置。
処理装置の制御方法であって、
設定手段が、複数の機材を運用するシステムが所定の機能を果たすことができる状態とするための当該複数の機材に関するタスクまたは当該システムの撤収のための当該複数の機材に関するタスクを設定する設定工程と、
取得手段が、前記複数の機材のそれぞれの前記システムへの接続状態を含んだ情報を、当該複数の機材が接続される機器から取得する取得工程と、
制御手段が、前記設定工程において設定された前記複数の機材に関する前記タスクと、前記取得工程において取得された前記情報とに基づいて、前記タスクの進捗に関する画面を表示手段に表示させる制御工程と、
を有することを特徴とする制御方法。
前記接続状態は、前記複数の機材のそれぞれが前記機器に接続されているか否かの状態であり、
前記制御工程において、前記接続状態を示す画面を、前記進捗に関する画面として前記表示手段に表示させる、
ことを特徴とする請求項１７に記載の制御方法。
前記情報は、前記複数の機材のそれぞれが行ったセルフチェックの結果を含み、
前記制御工程において、当該結果を含んだ画面を、前記進捗に関する画面として前記表示手段に表示させる、
ことを特徴とする請求項１７又は１８に記載の制御方法。
前記制御工程において、前記タスクを終了する予定の時刻と前記情報とに基づいて定まる進捗率を示す画面を、前記進捗に関する画面として前記表示手段に表示させる、
ことを特徴とする請求項１７から１９のいずれか１項に記載の制御方法。
コンピュータを、請求項１から１６のいずれか１項に記載の処理装置が有する各手段として機能させるためのプログラム。