JP2019140643A

JP2019140643A - 伝送装置

Info

Publication number: JP2019140643A
Application number: JP2018025004A
Authority: JP
Inventors: 正太川又; Shota Kawamata
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-02-15
Filing date: 2018-02-15
Publication date: 2019-08-22

Abstract

【課題】同期撮影された画像を伝送することである。【解決手段】伝送装置は、ネットワークを介して画像を伝送する伝送装置であって、画像の伝送の開始を指示する信号を受信する第１受信手段と、他の伝送装置から画像を受信する第２受信手段と、前記第１受信手段により前記信号を受信した後に前記第２受信手段により画像を前記他の伝送装置から受信した場合、前記第２受信手段により受信した画像に付加されている時間情報に対応する時間に撮影された画像を取得する取得手段と、前記取得手段により取得された画像を、前記ネットワークを介して伝送する伝送手段と、を有する。【選択図】図４

Description

本発明は、伝送装置、撮像装置、伝送方法及び撮像システムに関する。

複数のカメラを異なる位置に設置して多視点で同期撮像し、撮像により得られた複数視点画像を用いて仮想視点コンテンツを生成する技術が知られている。複数視点画像から仮想視点コンテンツを生成することにより、ユーザに高臨場感を与えることができる。そして、ネットワークで接続された複数のカメラを制御して撮像開始及び画像送信タイミングを同期させる技術が知られている。

特許文献１には、撮像開始前に制御装置が各カメラまでのネットワーク送信時間を計測し、ネットワーク送信時間と現在時刻を基に撮像開始時刻を決定した後、各カメラに撮像を行う命令を送信することで同期撮像する技術が開示されている。

特許文献２には、撮像開始前に制御装置が各カメラに予行動作を行わせ、各カメラが撮像命令を受けてから実際に撮像開始されるまでの遅延時間を計測し、各カメラの内部処理固有の処理時間を考慮することで同期撮像する技術が開示されている。

特開２０１２−１２３１３１号公報特開２０１６−６６８９９号公報

しかしながら、特許文献１では、事前にネットワーク送信時間を計測する必要がある。また、特許文献１では、送信時間の揺らぎを考慮すると、撮像開始時間はマージンを考慮して決定する必要があるため、撮像開始命令の応答性が低下する。特許文献２では、カメラ内部の処理時間を事前に計測する必要がある。また、特許文献２では、各カメラで他の制御処理と実施タイミングが重なり、事前に計測した送信時間が揺らいだ場合、撮像開始タイミングの同期がとれない。

本発明の目的は、同期撮影された画像を伝送することである。

本発明の伝送装置は、ネットワークを介して画像を伝送する伝送装置であって、画像の伝送の開始を指示する信号を受信する第１受信手段と、他の伝送装置から画像を受信する第２受信手段と、前記第１受信手段により前記信号を受信した後に前記第２受信手段により画像を前記他の伝送装置から受信した場合、前記第２受信手段により受信した画像に付加されている時間情報に対応する時間に撮影された画像を取得する取得手段と、前記取得手段により取得された画像を、前記ネットワークを介して伝送する伝送手段と、を有する。

本発明によれば、同期撮影された画像を伝送することができる。

撮像システムの構成例を説明するための図である。カメラアダプタの構成例を説明するためのブロック図である。画像送信開始タイミングの同期方法を説明するためのシーケンス図である。画像送信開始タイミングの同期方法を説明するためのフロー図である。撮像システムの構成例を説明するための図である。画像送信開始タイミングの同期方法を説明するための処理フロー図である。撮像システムの構成例を説明するための図である。画像送信開始タイミングの同期方法を説明するためのシーケンス図である。画像送信開始タイミングの同期方法を説明するためのフロー図である。

（第１の実施形態）
図１は、本発明の第１の実施形態による撮像システム１００の構成例を示す図である。撮像システム１００は、複数の撮像装置１１０ａ〜１１０ｚと、スイッチングハブ５００と、制御装置２００と、画像サーバ３００と、タイムサーバ４００とを有する。撮像装置１１０ａ〜１１０ｚの各々は、カメラ１１１ａ〜１１１ｚと、外部センサ１１２ａ〜１１２ｚと、カメラアダプタ１１３ａ〜１１３ｚとを有する。複数のカメラアダプタ１１３ａ〜１１３ｚは、ネットワーク１７０ａ〜１７０ｙによりチェーン接続され、データの送受信が可能である。一端の撮像装置１１０ｚは、終端である。他端の撮像装置１１０ａは、スイッチングハブ５００を介して、制御装置２００、画像サーバ３００及びタイムサーバ４００に接続される。カメラ１１１ａ〜１１１ｚは、放送用カメラ、産業用カメラ、赤外線カメラ等であり、光電変換により画像を撮像する。カメラ１１１ａ〜１１１ｚは、被写体を複数の方向から撮像する。外部センサ１１２ａ〜１１２ｚは、マイク、ジャイロセンサ、温度センサ等であり、種々のデータを取得する。

カメラアダプタ１１３ａは、ネットワーク５１０を介して、スイッチングハブ５００に接続される。制御装置２００は、ネットワーク５２０を介して、スイッチングハブ５００に接続される。画像サーバ３００は、ネットワーク５３０を介して、スイッチングハブ５００に接続される。タイムサーバ４００は、ネットワーク５４０を介して、スイッチングハブ５００に接続される。ここで、ネットワークは、Ｅｔｈｅｒｎｅｔ（登録商標）であるＩＥＥＥ標準準拠のＧｂＥ（ギガビットネットワーク）や１０ＧｂＥでもよいし、インターコネクトＩｎｆｉｎｉｂａｎｄ、産業用ネットワーク等を組合せて構成されてもよい。また、ネットワークは、これらに限定されず、他の種別のネットワークであってもよい。

制御装置２００は、撮像装置１１０ａ〜１１０ｚ内のカメラアダプタ１１３ａ〜１１３ｚに対して、動作状態の管理及びパラメータ設定制御等を行う。画像サーバ３００は、カメラ１１１ａ〜１１１ｚにより撮像された画像を受信し、複数視点画像から仮想視点コンテンツ生成処理等を行う。タイムサーバ４００は、撮像装置１１０ａ〜１１０ｚ、制御装置２００、画像サーバ３００に対して、時刻同期等を行うマスタクロックとして機能する。

図２は、カメラアダプタ１１３の構成例を示す図である。カメラアダプタ１１３は、図１のカメラアダプタ１１３ａ〜１１３ｚの各々に対応する。カメラ１１１は、図１のカメラ１１１ａ〜１１１ｚの各々に対応する。外部センサ１１２は、図１の外部センサ１１２ａ〜１１２ｚの各々に対応する。カメラアダプタ１１３は、機器制御部１３１０と、画像処理部１３２０と、ネットワーク制御部１３３０とを有する。

機器制御部１３１０は、外部機器制御部１３１１と、内部機器制御部１３１２と、カメラ制御部１３１３とを有する。外部機器制御部１３１１は、外部センサ１１２を制御する。内部機器制御部１３１２は、ＳＭＰＴＥ１２Ｍのフォーマットに準拠したタイムコード生成等に必要な機器を制御する。なお、ＳＭＰＴＥ１２Ｍ以外の規格でもよい。カメラ制御部１３１３は、カメラ１１１に対して、カメラパラメータ設定やカメラの姿勢制御等を行う。

画像処理部１３２０は、画像保存部１３２１と、データ処理部１３２２とを有する。画像保存部１３２１は、カメラ１１１から取得した画像及びデータ等を保存する。データ処理部１３２２は、ネットワーク負荷を削減するために、画像データ容量の削減等を行う。

ネットワーク制御部１３３０は、データ送受信部１３３１と、時刻同期制御部１３３２と、ルーティング処理部１３３３とを有する。データ送受信部１３３１は、通信手段であり、ネットワークを介して、他のカメラアダプタ１１３、制御装置２００、画像サーバ３００及びタイムサーバ４００に対して、パケットデータ送受信等を行う。時刻同期制御部１３３２は、タイムサーバ４００の時刻と同期するための処理等を行う。例えば、時刻同期制御部１３３２は、ＮｅｔｗｏｒｋＴｉｍｅＰｒｏｔｏｃｏｌを使用してもよいし、ＮｅｔｗｏｒｋＴｉｍｅＰｒｏｔｏｃｏｌ以外のプロトコル、規格を使用してもよい。時刻同期制御部１３３２は、タイムサーバ４００から受信した時刻情報を基に、時刻同期処理とタイムコード生成を行い、カメラ１１１が撮像した画像に対して生成したタイムコードを付加する。タイムコードは、時間情報である。また、時刻同期制御部１３３２は、外部機器制御部１３１１を介して、外部センサ１１２に含まれるマイクのデータ等にタイムコードを付加してもよい。ルーティング処理部１３３３は、パケットデータの送信先、経路情報等を保有し、データに応じて送信先を決定する処理等を行う。カメラアダプタ１１３の各構成要素間は、内部でデータの送受信が可能である。

特別な説明がない場合、撮像装置１１０ａから撮像装置１１０ｚまでの２６セットを区別せずに、撮像装置１１０と表す。各撮像装置１１０内の装置についても同様に、特別な説明がない場合は区別せず、カメラ１１１、外部センサ１１２、及びカメラアダプタ１１３と表す。なお、撮像装置１１０の台数として２６セットの例を示すが、あくまでも一例であり、台数をこれに限定するものではない。なお、本実施形態では、特に断りがない限り、画像は、動画と静止画を含むものとして説明する。すなわち、本実施形態の撮像システム１００は、静止画及び動画の何れについても処理可能である。

図３は、撮像システム１００の制御方法を示すシーケンスである。図４は、撮像システム１００の制御方法を示すフローチャートである。以下、撮像システム１００の撮像同期方法を説明する。

時刻Ｆ６００では、制御装置２００は、撮像装置１１０ａ〜１１０ｚのカメラアダプタ１１３ａ〜１１３ｚに対して、撮像開始信号を送信する。なお、撮像開始信号は、撮像画像の伝送開始を指示する信号ということもできる。ステップＳ４０１では、カメラアダプタ１１３ａ〜１１３ｚは、それぞれ、時刻Ｆ６００、Ｆ６００ａ〜Ｆ６００ｚで、撮像開始信号を受信する。カメラアダプタ１１３ａは、撮像開始信号を受信した場合に、その撮像開始信号を隣のカメラアダプタ１１３ｂに送信する。カメラアダプタ１１３ｂ〜ｙも同様に、受信した撮像開始信号を隣のカメラアダプタ１１３ｃ〜１１３ｚに送信する。

次に、ステップＳ４０２では、カメラ１１１ａ〜１１１ｚは、それぞれ、時刻Ｆ６１０ａ〜Ｆ６１０ｚで、カメラアダプタ１１３ａ〜１１３ｚの制御の下、画像の撮像を開始する。カメラアダプタ１１３ａ〜１１３ｚは、それぞれ、カメラ１１１ａ〜１１１ｚにより撮像された画像に対して、タイムコードを付加する。

次に、ステップＳ４０３では、撮像装置１１０ａ〜１１０ｚは、それぞれ、自己の撮像装置がネットワーク接続の最遠点であるか否かを判断する。具体的には、撮像装置１１０ａ〜１１０ｚは、自己の撮像装置がネットワーク接続の終端である場合には、自己の撮像装置がネットワーク接続の最遠点であると判断する。例えば、カメラアダプタ１１３ａ〜１１３ｚのルーティング処理部１３３３は、それぞれ、上記で受信した撮像開始信号の送信先の有無等を判定することにより、自己のカメラアダプタ１１３がネットワーク接続の最遠点か否かを判断する。ルーティング処理部１３３３は、自己が受信した撮像開始信号の送信先がない場合は、自己のカメラアダプタ１１３が最遠点であると判断し、自己が受信した撮像開始信号の送信先がある場合は、自己のカメラアダプタ１１３が最遠点でないと判断する。例えば、カメラアダプタ１１３ｚが最遠点のカメラアダプタである。カメラアダプタ１１３ａ〜１１３ｚは、それぞれ、自己が最遠点である場合にはステップＳ４０７に進み、自己が最遠点でない場合にはステップＳ４０４に進む。

ステップＳ４０４では、カメラアダプタ１１３ａ〜１１３ｙの画像保存部１３２１は、それぞれ、時刻Ｆ６２０ａ〜Ｆ６２０ｙで、タイムコードが付加された画像を保存することにより、画像のバッファリング（保持）を開始する。すなわち、カメラアダプタ１１３ａ〜１１３ｙは、撮像開始指示を受信した場合でも、すぐに撮像画像の伝送を開始せず、撮像画像の伝送を制限する。画像保存部１３２１は、記憶容量が枯渇すると、古いタイムコードの画像を破棄し、新しいタイムコードの画像を保存する。例えば、画像保存部１３２１は、リングバッファである。

ステップＳ４０７では、最遠点のカメラアダプタ１１３ｚにおいて、データ処理部１３２２は、時刻Ｆ６３０で、カメラ１１１により撮像された画像に対して、画像処理等を行う。次に、ステップＳ４０８では、最遠点のカメラアダプタ１１３ｚにおいて、データ送受信部１３３１は、時刻Ｆ６４０ｚで、ルーティング処理部１３３３に従って送信先のカメラアダプタ１１３ｙへ、タイムコードが付加された画像処理済みの画像を送信する。

ステップＳ４０５では、カメラアダプタ１１３ｙのデータ送受信部１３３１は、他のカメラアダプタ１１３ｚから画像を受信する。次に、ステップＳ４０６では、カメラアダプタ１１３ｙにおいて、データ処理部１３２２は、受信した画像に付加されているタイムコードと同じタイムコードが付加された画像が画像保存部１３２１に保存されているか否かを判定する。カメラアダプタ１１３ｙは、同じタイムコードが付加された画像が保存されている場合にはステップＳ４０７に進み、同じタイムコードが付加された画像が保存されていない場合にはステップＳ４０９に進む。ステップＳ４０７では、カメラアダプタ１１３ｙにおいて、データ処理部１３２２は、時刻Ｆ６５０ｙで、上記の同じタイムコードが付加された画像を画像保存部１３２１から選択して読み出し、その読み出した画像に対して画像処理を行う。次に、ステップＳ４０８では、カメラアダプタ１１３ｙにおいて、データ送受信部１３３１は、時刻Ｆ６４０ｙで、ルーティング処理部１３３３に従ってカメラアダプタ１１３ｘへ、同じタイムコードが付加された撮像装置１１０ｙ及び１１０ｚの画像を送信する。すなわち、データ送受信部１３３１は、その画像処理した撮像装置１１０ｙの画像を、上記の受信した撮像装置１１０ｚの画像と共に、カメラアダプタ１１０ｘに送信する。次に、ステップＳ４１０では、撮像装置１１０は、制御装置２００から画像送信終了命令を受信していない場合には、ステップＳ４０５に戻り、上記の処理を繰り返す。

ステップＳ４０５では、カメラアダプタ１１３ａ〜１１３ｙのデータ送受信部１３３１は、それぞれ、隣のカメラアダプタ１１３ｂ〜１１３ｚから画像を受信する。次に、ステップＳ４０６では、カメラアダプタ１１３ａ〜１１３ｙにおいて、データ処理部１３２２は、受信した画像に付加されているタイムコードと同じタイムコードが付加されている画像が画像保存部１３２１に保存されているか否かを判定する。カメラアダプタ１１３ａ〜１１３ｙは、同じタイムコードが付加された画像が保存されている場合にはステップＳ４０７に進み、同じタイムコードが付加された画像が保存されていない場合にはステップＳ４０９に進む。ステップＳ４０７では、カメラアダプタ１１３ａ〜１１３ｙにおいて、データ処理部１３２２は、時刻Ｆ６５０ａ〜Ｆ６５０ｙで、上記の同じタイムコードが付加された画像を画像保存部１３２１から読み出し、その読み出した画像に対して画像処理を行う。次に、ステップＳ４０８では、カメラアダプタ１１３ｂ〜１１３ｙにおいて、データ送受信部１３３１は、時刻Ｆ６４０ｂ〜Ｆ６４０ｙで、ルーティング処理部１３３３に従って送信先のカメラアダプタ１１３ａ〜１１３ｘへ画像を送信する。カメラアダプタ１１３ａのデータ送受信部１３３１は、ルーティング処理部１３３３に従って画像サーバ３００に、撮像装置１１０ａ〜１１０ｚの画像を送信する。すなわち、カメラアダプタ１１３ａ〜１１３ｙは、画像の伝送の開始を指示する信号を受信してから、他のカメラアダプタから画像を受信するまで、画像の伝送を制限する。そして、カメラアダプタ１１３ａ〜１１３ｙは、他のカメラアダプタから画像を受信した場合、その画像に付加されている時間情報に対応する時間に撮影された画像を取得する。そして、カメラアダプタ１１３ａ〜１１３ｙは、取得した画像を伝送する。これにより、撮影開始指示や画像の伝送の開始指示の伝送遅延が生じる場合であって、撮影時刻がそろった画像の伝送を各カメラアダプタ１１３ａ〜１１３ｚは行うことができる。

ステップＳ４０９では、カメラアダプタ１１３は、制御装置２００に対して、異常状態通知を送信し、ステップＳ４１０に進む。上記の撮像及び画像送信を終了する場合、制御装置２００が画像送信終了命令を撮像装置１１０に送信する。ステップＳ４１０では、撮像装置１１０は、制御装置２００から画像送信終了命令を受信した場合には、図４の処理を終了する。

以上のように、撮像装置１１０は、右隣の撮像装置１１０から受信した画像に付加されているタイムコードと同じタイムコードが付加された画像を左隣の撮像装置１１０に送信する。撮像装置１１０ａ〜１１０ｚは、画像サーバ３００に対して、同じタイムコードが付加された画像を送信することができる。これにより、画像サーバ３００は、複数の撮像装置１１０が同期撮像した画像の取得及び画像処理が可能となる。

（第２の実施形態）
図５は、本発明の第２の実施形態による撮像システム１００の構成例を示す図である。撮像システム１００は、２個の最遠点の撮像装置１１０ｍ及び１１０ｎを有する。本実施形態の撮像システム１００は、第１の実施形態の撮像システム１００に対して、構成要素が同様である。以下、本実施形態が第１の実施形態と異なる点を説明する。

カメラアダプタ１１３ａ〜１１３ｍは、ネットワーク１７０ａ〜１７０ｌにより、デイジーチェーン接続される。カメラアダプタ１１３ｎ〜１１３ｚは、ネットワーク１７０ｎ〜１７０ｙにより、デイジーチェーン接続される。カメラアダプタ１１３ａは、ネットワーク５１０により、スイッチングハブ５００に接続される。カメラアダプタ１１３ｚは、ネットワーク５５０により、スイッチングハブ５００に接続される。カメラアダプタ１１３ｍとカメラアダプタ１１３ｎの間は接続されていない。そのため、撮像装置１１０ｍと撮像装置１１０ｎは、それぞれ、最遠点の撮像装置となる。撮像装置１１０ａ〜１１０ｚは、各々が終端の撮像装置１１０ｍ及び１１０ｎを含む複数のチェーン接続を有する。その複数のチェーン接続は、画像サーバ３００に接続され、画像サーバ３００に対して、それぞれ、同じタイムコードが付加された画像を送信する。画像サーバ３００は、撮像装置１１０ａ及び１１０ｚを介して、撮像装置１１０ａ〜１１０ｚにより撮像された画像を受信する。撮像システム１００では、画像サーバ３００が受信する全ての画像に付加されているタイムコードが同じでない可能性がある。それは、２個の最遠点の撮像装置１１０ｍ及び１１０ｎが存在するため、２個の最遠点の撮像装置１１０ｍ及び１１０ｎは、制御装置２００により送信された撮像開始信号を受信するタイミングが異なるためである。

図６は、画像サーバ３００の処理方法を示すフローチャートである。ステップＳ６０１では、画像サーバ３００は、撮像装置１１０ａ〜１１０ｍにより撮像された画像を撮像装置１１０ａから受信し、撮像装置１１０ｎ〜１１０ｚにより撮像された画像を撮像装置１１０ｚから受信する。次に、ステップＳ６０２では、画像サーバ３００は、全ての撮像装置１１０ａ〜１１０ｚにより撮像された同一のタイムコードの画像を受信したか否かを判定する。画像サーバ３００は、同一のタイムコードの全ての画像を受信した場合にはステップＳ６０３に進み、同一のタイムコードの全ての画像を受信していない場合にはステップＳ６０１に戻る。なお、画像サーバ３００は、所定時間内に同一のタイムコードの全ての画像を受信できなかった場合には、そのタイムコードの画像を破棄してもよい。ステップＳ６０３では、画像サーバ３００は、サーバ処理として、画像のデータベース化処理、映像生成処理等を行う。次に、ステップＳ６０４では、画像サーバ３００は、制御装置２００から画像送信終了命令を受信したか否かを判定する。画像サーバ３００は、画像送信終了命令を受信していない場合にはステップＳ６０１に戻り、画像送信終了命令を受信した場合には図６の処理を終了する。

以上のように、画像サーバ３００は、全ての撮像装置１１０ａ〜１１０ｚにより撮像された同一のタイムコードの画像を取得することができる。画像サーバ３００は、同じタイムコードが付加された撮像装置１１０ａ〜１１０ｚの全ての画像を受信した場合に、同じタイムコードが付加された撮像装置１１０ａ〜１１０ｚの全ての画像の処理を行う。なお、最遠点の撮像装置１１０が２個ある場合を例に説明したが、最遠点の撮像装置１１０が３個以上ある場合も同様である。

（第３の実施形態）
図７は、本発明の第３の実施形態による撮像システム１００の構成例を示す図である。全てのカメラアダプタ１１３ａ〜１１３ｚは、スイッチングハブ５００を介して、リング接続される。カメラアダプタ１１３ａ〜１１３ｚは、ネットワーク１７０ａ〜１７０ｙにより、デイジーチェーン接続される。カメラアダプタ１１３ａは、ネットワーク５１０により、スイッチングハブ５００に接続される。カメラアダプタ１１３ｚは、ネットワーク５５０により、スイッチングハブ５００に接続される。撮像装置１１０ａ〜１１０ｚは、両端の撮像装置１１０ａ及び１１０ｚがスイッチングハブ５００を介して画像サーバ３００に接続され、同じタイムコードが付加された画像を送信する。以下、本実施形態が第１の実施形態と異なる点を説明する。

カメラアダプタ１１３ｚは、ネットワーク５５０により、スイッチングハブ５００に接続されるので、撮像装置１１０ｚは、最遠点の撮像装置ではない。最遠点の撮像装置１１０は、撮像装置１１０ａから撮像装置１１０ｚまでの中間地点の撮像装置である。しかし、中間地点の撮像装置１１０は、両隣の撮像装置１１０に接続されているため、第１の実施形態の方法では、自己の撮像装置１１０が最遠点の撮像装置１１０であるか否かを判定することができない。以下、最遠点の撮像装置１１０の判断方法を説明する。

図４のステップＳ４０３では、撮像装置１１０ａ〜１１０ｚは、それぞれ、自己の撮像装置１１０がネットワーク接続の最遠点の撮像装置１１０であるか否かを判断する。具体的には、撮像装置１１０は、撮像装置１１０ａ及び１１０ｚを介して、制御装置２００から撮像開始信号を２回受信した場合には、自己の撮像装置１１０がネットワーク接続の最遠点の撮像装置１１０であると判定する。すなわち、撮像装置１１０は、自己の撮像装置に対して両隣の撮像装置から撮像開始信号を受信した場合には、撮像開始信号の送信を停止し、自己の撮像装置がネットワーク接続の最遠点であると判断する。最遠点の撮像装置１１０は、制御装置２００から撮像装置１１０ａ及び１１０ｚを介した送信時間が同一になる中間地点の撮像装置１１０である。最遠点の撮像装置１００を画像の送信開始地点とすることにより、画像送信時間遅延を最小限にすることができる。例えば、撮像装置１１０ｐが撮像開始信号を２回受信した場合、撮像装置１１０ｐが最遠点の撮像装置になる。

ステップＳ４０８では、最遠点の撮像装置１１０ｐは、ネットワーク５１０側とネットワーク５５０側の両方に画像送信を開始する。すなわち、最遠点の撮像装置１１０ｐは、タイムコードが付加された画像を、自己の撮像装置に対して両隣の撮像装置に送信する。その他の処理は、第１の実施形態と同様である。

また、事前に最遠点の撮像装置１１０を設定しても良い。その場合、撮像装置１１０は、自己の撮像装置が最遠の撮像装置であることが設定されている場合には、自己の撮像装置がネットワーク接続の最遠点であると判断する。また、複数の撮像装置１１０ａ〜１１０ｚをメッシュネットワークにより接続し、各撮像装置１１０が撮像開始信号を指定回数受信することで、自己の撮像装置１００がネットワーク接続の最遠点の撮像装置であると判定してもよい。

（第４の実施形態）
図８は、本発明の第４の実施形態による撮像システム１００の制御方法を示すシーケンスである。図９は、第４の実施形態による撮像システム１００の制御方法を示すフローチャートである。本実施形態では、図２に示す画像保存部１３２１の記憶容量は、撮像対象となる競技試合時間分の画像データを保存可能である。複数の撮像装置１００ａ〜１００ｚの接続形態は、限定されない。以下、本実施形態が第１の実施形態と異なる点を説明する。

ステップＳ９０１では、カメラ１１１ａ〜１１１ｚは、撮像システム１００の起動直後に、それぞれ、時刻Ｆ８００ａ〜Ｆ８００ｚで、カメラアダプタ１１３ａ〜１１３ｚの制御の下、画像の撮像を開始する。各撮像装置１１０において、データ処理部１３２２は、それぞれ、カメラ１１１により撮像された画像に対して、タイムコードを付加する。

次に、ステップＳ９０２では、カメラアダプタ１１３ａ〜１１３ｚの画像保存部１３２１は、それぞれ、時刻Ｆ８１０ａ〜Ｆ８１０ｚで、タイムコードが付加された画像を保存することにより、画像のバッファリングを開始する。次に、制御装置２００は、撮像装置１１０ａ〜１１０ｚに送信開始命令を送信する。

ステップＳ９０３では、カメラアダプタ１１３ａ〜１１３ｚは、それぞれ、時刻Ｆ８２０，Ｆ８２０ａ〜Ｆ８２０ｙで、送信開始命令を受信する。カメラアダプタ１１３ａは、送信開始命令を受信した場合に、その送信開始命令を隣のカメラアダプタ１１３ｂに送信する。他のカメラアダプタ１１３も、受信した送信開始命令を隣のカメラアダプタ１１３に送信する。

次に、ステップＳ９０４では、カメラアダプタ１１３ａ〜１１３ｚは、それぞれ、自己のカメラアダプタ１１３がネットワーク接続の最遠点か否かを判断する。例えば、ルーティング処理部１３３３は、自己が受信した送信開始命令の送信先がない場合は、自己のカメラアダプタ１１３が最遠点であると判断し、自己が受信した送信開始命令の送信先がある場合は、自己のカメラアダプタ１１３が最遠点でないと判断する。カメラアダプタ１１３ａ〜１１３ｚは、それぞれ、自己が最遠点である場合にはステップＳ９０６に進み、自己が最遠点でない場合にはステップＳ９０５に進む。

ステップＳ９０６では、各カメラアダプタ１１３において、データ処理部１３２２は、受信した画像に付加されているタイムコードと同じタイムコードが付加された画像が画像保存部１３２１に保存されているか否かを判定する。各カメラアダプタ１１３は、同じタイムコードが付加された画像が保存されている場合にはステップＳ９０７に進み、同じタイムコードが付加された画像が保存されていない場合にはステップＳ９０９に進む。

ステップＳ９０９では、カメラアダプタ１１３は、制御装置２００に対して、異常状態通知を送信し、ステップＳ９１０に進む。なお、ステップＳ９０９では、カメラアダプタ１１３は、送信開始命令に含まれるタイムコードより新しいタイムコードの画像を取得してもよい。

ステップＳ９０７では、カメラアダプタ１１３ｚにおいて、データ処理部１３２２は、時刻Ｆ８３０ｚで、上記の同じタイムコードが付加された画像を画像保存部１３２１から読み出し、その読み出した画像に対して画像処理を行う。次に、ステップＳ９０８では、カメラアダプタ１１３ｚにおいて、データ送受信部１３３１は、時刻Ｆ８４０ｚで、ルーティング処理部１３３３に従って送信先のカメラアダプタ１１３ｙへ画像を送信する。次に、ステップＳ９１０では、撮像装置１１０は、制御装置２００から画像送信終了命令を受信していない場合には、ステップＳ９０５に戻り、上記の処理を繰り返す。

ステップＳ９０５では、カメラアダプタ１１３ａ〜１１３ｙのデータ送受信部１３３１は、それぞれ、隣のカメラアダプタ１１３ｂ〜１１３ｚから画像を受信する。次に、ステップＳ９０６では、カメラアダプタ１１３ａ〜１１３ｙにおいて、データ処理部１３２２は、受信した画像に付加されているタイムコードと同じタイムコードが付加された画像が画像保存部１３２１に保存されているか否かを判定する。カメラアダプタ１１３ａ〜１１３ｙは、同じタイムコードが付加された画像が保存されている場合にはステップＳ９０７に進み、同じタイムコードが付加された画像が保存されていない場合にはステップＳ９０９に進む。ステップＳ９０７では、カメラアダプタ１１３ａ〜１１３ｙにおいて、データ処理部１３２２は、時刻Ｆ８５０ａ〜Ｆ８５０ｙで、上記の同じタイムコードが付加された画像を画像保存部１３２１から読み出し、その読み出した画像に対して画像処理を行う。次に、ステップＳ９０８では、カメラアダプタ１１３ｂ〜１１３ｙにおいて、データ送受信部１３３１は、時刻Ｆ８４０ｂ〜Ｆ８４０ｙで、ルーティング処理部１３３３に従って送信先のカメラアダプタ１１３ａ〜１１３ｘへ画像を送信する。カメラアダプタ１１３ａのデータ送受信部１３３１は、ルーティング処理部１３３３に従って画像サーバ３００に、同じタイムコードが付加された撮像装置１１０ａ〜１１０ｚの画像を送信する。

次に、ステップＳ４１０では、撮像装置１１０は、制御装置２００から画像送信終了命令を受信した場合には、図４の処理を終了する。なお、撮像装置１００は、制御装置２００から受信した送信開始命令に含まれる送信時間が経過後に終了してもよい。

本実施形態によれば、撮像システム１００は、画像保存部１３２１が保存可能な画像が多いほど、過去に遡って必要なシーンの画像を生成することができる。また、画像サーバ３００に障害が発生し、使用できる記憶容量が少ない場合等にも有効である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００撮像システム、１１０撮像装置、１１１カメラ、１１２外部センサ、１１３カメラアダプタ、２００制御装置、３００画像サーバ、４００タイムサーバ、５００スイッチングハブ

Claims

ネットワークを介して画像を伝送する伝送装置であって、
画像の伝送の開始を指示する信号を受信する第１受信手段と、
他の伝送装置から画像を受信する第２受信手段と、
前記第１受信手段により前記信号を受信した後に前記第２受信手段により画像を前記他の伝送装置から受信した場合、前記第２受信手段により受信した画像に付加されている時間情報に対応する時間に撮影された画像を取得する取得手段と、
前記取得手段により取得された画像を、前記ネットワークを介して伝送する伝送手段と、
を有することを特徴とする伝送装置。
前記第１受信手段による前記信号を受信した場合、前記第２受信手段により画像を前記他の伝送装置から受信するまで画像の伝送を制限する制限手段を有することを特徴とする請求項１に記載の伝送装置。
前記第１受信手段による前記信号を受信した場合、前記第２受信手段により画像を前記他の伝送装置から受信するまでに撮影された複数の画像を保持する保持手段を有し、
前記取得手段は、前記保持手段により保持された複数の画像から、前記第２受信手段により受信した画像に付加されている時間情報に対応する時間に撮影された画像を選択して取得することを特徴とする請求項１又は２に記載の伝送装置。
画像を撮像する撮像手段と、
前記撮像された画像に時間情報を付加する付加手段と、
自己の撮像装置がネットワーク接続の最遠の撮像装置であるか否かを判断する判断手段と、
自己の撮像装置が最遠の撮像装置である場合には、前記付加手段により時間情報が付加された画像を他の撮像装置に送信し、自己の撮像装置が最遠の撮像装置でない場合には、時間情報が付加された画像を他の撮像装置から受信し、前記受信した画像に付加されている時間情報と同じ時間情報が前記付加手段により付加された画像を、前記受信した画像と共にさらに他の撮像装置に送信する通信手段と、
を有することを特徴とする撮像装置。
前記判断手段は、自己の撮像装置がネットワーク接続の終端である場合には、自己の撮像装置がネットワーク接続の最遠の撮像装置であると判断することを特徴とする請求項４に記載の撮像装置。
前記通信手段は、前記ネットワークを介して撮像開始信号を受信した場合に、前記撮像開始信号を他の撮像装置に送信し、
前記撮像手段は、前記撮像開始信号を受信した場合に画像の撮像を開始し、
前記判断手段は、前記通信手段の前記撮像開始信号の送信先がない場合には、自己の撮像装置がネットワーク接続の最遠の撮像装置であると判断することを特徴とする請求項４又は５に記載の撮像装置。
前記通信手段は、前記ネットワークを介して撮像開始信号を受信した場合に、前記撮像開始信号を他の撮像装置に送信し、
前記撮像手段は、前記撮像開始信号を受信した場合に画像の撮像を開始し、
前記判断手段は、前記通信手段が自己の撮像装置に対して両隣の撮像装置から前記撮像開始信号の受信した場合には、自己の撮像装置がネットワーク接続の最遠の撮像装置であると判断することを特徴とする請求項４に記載の撮像装置。
前記判断手段は、自己の撮像装置が最遠の撮像装置であることが設定されている場合には、自己の撮像装置がネットワーク接続の最遠の撮像装置であると判断することを特徴とする請求項４に記載の撮像装置。
前記通信手段は、自己の撮像装置が最遠の撮像装置である場合には、前記付加手段により時間情報が付加された画像を、自己の撮像装置に対して両隣の撮像装置に送信することを特徴とする請求項４、７、８のいずれか１項に記載の撮像装置。
前記通信手段は、前記ネットワークを介して送信開始命令を受信した場合に、前記送信開始命令を他の撮像装置に送信し、前記画像の送信を開始し、
前記判断手段は、前記通信手段の前記送信開始命令の送信先がない場合には、自己の撮像装置がネットワーク接続の最遠の撮像装置であると判断することを特徴とする請求項４又は５に記載の撮像装置。
ネットワークを介して画像を伝送する伝送装置による伝送方法であって、
画像の伝送の開始を指示する信号を受信する第１受信工程と、
他の伝送装置から画像を受信する第２受信工程と、
前記第１受信工程において前記信号を受信した後に前記第２受信工程において画像を前記他の伝送装置から受信した場合、前記第２受信工程において受信した画像に付加されている時間情報に対応する時間に撮影された画像を取得する取得工程と、
前記取得工程において取得された画像を、前記ネットワークを介して伝送する伝送工程と、
を有することを特徴とする伝送方法。
ネットワークを介してチェーン接続される複数の撮像装置を有し、
前記複数の撮像装置の各々は、
画像を撮像する撮像手段と、
前記撮像された画像に時間情報を付加する付加手段と、
自己の撮像装置がネットワーク接続の最遠の撮像装置であるか否かを判断する判断手段と、
自己の撮像装置が最遠の撮像装置である場合には、前記付加手段により時間情報が付加された画像を他の撮像装置に送信し、自己の撮像装置が最遠の撮像装置でない場合には、時間情報が付加された画像を他の撮像装置から受信し、前記受信した画像に付加されている時間情報と同じ時間情報が前記付加手段により付加された画像を、前記受信した画像と共にさらに他の撮像装置に送信する通信手段と、
を有することを特徴とする撮像システム。
前記複数の撮像装置は、一端の撮像装置が終端であり、他端の撮像装置が画像サーバに接続され、前記画像サーバに対して、同じ時間情報が付加された画像を送信することを特徴とする請求項１２に記載の撮像システム。
前記複数の撮像装置は、各々が終端の撮像装置を含む複数のチェーン接続を有し、
前記複数のチェーン接続は、画像サーバに接続され、前記画像サーバに対して、それぞれ、同じ時間情報が付加された画像を送信することを特徴とする請求項１２に記載の撮像システム。
同じ時間情報が付加された前記複数の撮像装置の全ての画像を受信した場合に、前記同じ時間情報が付加された前記複数の撮像装置の全ての画像の処理を行う画像サーバをさらに有することを特徴とする請求項１２又は１４に記載の撮像システム。
前記複数の撮像装置は、両端の撮像装置が画像サーバに接続され、同じ時間情報が付加された画像を送信することを特徴とする請求項１２に記載の撮像システム。
前記複数の撮像装置に撮像開始信号を送信する制御装置をさらに有し、
前記複数の撮像装置は、それぞれ、前記撮像開始信号を受信すると、画像の撮像を開始することを特徴とする請求項１２〜１６のいずれか１項に記載の撮像システム。
前記複数の撮像装置に送信開始命令を送信する制御装置をさらに有し、
前記複数の撮像装置は、それぞれ、前記送信開始命令を受信すると、画像の送信を開始することを特徴とする請求項１２〜１７のいずれか１項に記載の撮像システム。