JP2006203817A - マルチカメラシステム - Google Patents

Abstract

【課題】 ＩＥＥＥ１３９４で接続されたネットワークを介して、複数の１３９４カメラの各種動作を同期させることができるマルチカメラシステムを提供すること。
【解決手段】 ディスプレイは、ネットワークに接続される全ての１３９４カメラに対する同期用のアイソクロナスパケット（Ｖｓｙｎｃパケット）をディスプレイの垂直同期信号（Ｖｓｙｎｃ）に同期して発行し、このＶｓｙｎｃパケットをネットワーク上に送信する。各１３９４カメラは、このＶｓｙｎｃパケットの受信タイミングを基準として、シャッタータイミング、及び映像データの伝送タイミングを同期させる処理を実行する。
【選択図】 図１

Description

本発明は、マルチカメラシステムに関するものである。

従来、複数カメラからの映像を同期的に収録する画像記録装置が提案されている（例えば、特許文献１参照。）。この特許文献１に開示されている画像記録装置は、複数のカメラからの撮影画像データを入力して、当該画像データを記憶する複数の画像記録処理装置と、この複数の画像記録処理装置と接続されるサーバ装置とにより構成され、サーバ装置は、複数の画像記録処理装置に対して、所定時刻における収録画像フレーム番号の保存要求を出力するとともに、この複数の画像記録処理装置に保存された収録画像フレーム番号に基づいて各画像記録処理装置のフレーム同期処理を実行する。
特開２００４−３２０１２号公報

一方、車両に搭載される複数のカメラと画像処理装置等の周辺装置とをＩＥＥＥ１３９４によってネットワーク接続することが進められている。このように、複数のカメラと周辺装置とをネットワーク接続することで、従来のアナログ（ＮＴＳＣ等）接続に比べて配線やコネクタ数が少なく済む。なお、このＩＥＥＥ１３９４でネットワーク接続するカメラには、デジタルカメラプロトコル（1394-based Digital Camera Specification）準拠のカメラ（以下、１３９４カメラ）が用いられる。

上記ネットワーク接続された１３９４カメラを利用して、例えば、各カメラの撮影した映像を合成して車両の周辺を監視するアプリケーションが構築可能となるが、複数の１３９４カメラの撮影した映像を合成する場合には、各１３９４カメラの各種動作、すなわち、シャッタータイミングや映像データの伝送タイミングを全て同期させて、時間的なズレを無くす必要がある。そのため、１３９４カメラには、上述した従来の画像記録装置に用いられているカメラと同様に、外部トリガ信号による同期機能が備えられている。

しかしながら、この外部トリガ信号は、通常、ＩＥＥＥ１３９４とは別の信号線で制御する必要があり、また、複数のカメラ同期を考慮した設計になっていなかった。そのため、各１３９４カメラからは、時間的に整合していない映像データが送信されていた。

本発明は、上記の問題を鑑みてなされたもので、ＩＥＥＥ１３９４で接続されたネットワークを介して、複数の１３９４カメラの各種動作を同期させることができるマルチカメラシステムを提供することを目的とする。

上記の目的を達成するためになされた請求項１に記載のマルチカメラシステムは、複数の１３９４カメラ、及び各１３９４カメラからアイソクロナス通信によって送信される映像データを収集する映像データ収集装置をノードとして含み、各ノードがＩＥＥＥ１３９４によってネットワーク接続されたマルチカメラシステムであって、
各ノードのうちの何れか１つのノードは、ＩＥＥＥ１３９４のネットワークに接続される全ての１３９４カメラに対する同期用のアイソクロナスパケットを発行し、当該同期用のアイソクロナスパケットをネットワーク上に送信する同期用パケット送信手段を備え、
全ての１３９４カメラのノードは、同期用のアイソクロナスパケットの受信タイミングを基準として、１３９４カメラにおける各種動作を同期させる処理を実行するカメラ動作同期処理手段を備えることを特徴とする。

例えば、図１に示すように、４台の１３９４カメラ（カメラ１〜４）と映像データ収集装置としてのディスプレイをＩＥＥＥ１３９４によってネットワーク接続する場合、通常、各１３９４カメラのカメラ設定を行うとアイソクロナス通信が開始され、各１３９４カメラからの映像データがディスプレイに送信される。

この映像データは、カメラ設定の完了した１３９４カメラから順に送信されるため、各１３９４カメラにおける各種動作（シャッタータイミング、映像データの伝送タイミング等）にばらつきが生じ、ディスプレイには、時間的に整合していない映像データが送信される。

そのため、本発明では、ＩＥＥＥ１３９４によってネットワーク接続された各ノードのうちの何れか１つのノードからネットワークに接続される全ての１３９４カメラに対する同期用のアイソクロナスパケットを発行し、当該同期用のアイソクロナスパケットをネットワーク上に送信する。そして、全ての１３９４カメラは、同期用のアイソクロナスパケットの受信タイミングを基準として、１３９４カメラにおける各種動作を同期させる処理を実行する。

これにより、アイソクロナス通信の開始後、上記同期させる処理を実行することにより数サイクル分の遅れは発生するものの、同期用のアイソクロナスパケットが送信される毎に、各１３９４カメラの映像を同期してディスプレイに伝送することができる。

請求項２に記載のマルチカメラシステムによれば、
各ノードのうちの何れかの１つのノードは映像データ収集装置であって、
映像データ収集装置は、各１３９４カメラから収集した映像データの映像を表示するディスプレイを備え、
同期用パケット送信手段は、ディスプレイの垂直同期信号に同期した同期用のアイソクロナスパケットを送信することを特徴とする。

これにより、映像データ収集装置は、ディスプレイの垂直同期信号に同期した同期用のアイソクロナスパケットを垂直同期信号が発生する毎（例えば、３０フレーム／秒の場合、約３３．３ミリ秒毎）に送信することができる。その結果、各１３９４カメラは、約３３．３ミリ秒毎に映像データを同期して伝送できる。

請求項３に記載のマルチカメラシステムは、複数の１３９４カメラ、及び各１３９４カメラからアイソクロナス通信によって送信される映像データを収集する映像データ収集装置をノードとして含み、各ノードがＩＥＥＥ１３９４によってネットワーク接続されたマルチカメラシステムであって、
ＩＥＥＥ１３９４のネットワークに接続される全ての１３９４カメラのノードは、
サイクルマスタのノードから送信されるサイクルスタートパケットに基づいて、同期信号を生成する同期信号生成手段と、
同期信号生成手段の生成した同期信号を基準として、１３９４カメラにおける各種動作を同期させる処理を実行するカメラ動作同期処理手段と、を備えることを特徴とする。

アイソクロナス通信では、ネットワーク上に１台存在するサイクルマスタ（通常ルートノード）が一定間隔（例えば、１２５マイクロ秒程度）毎にサイクルスタートパケットを送信する。そこで、本発明では、各１３９４カメラは、この一定間隔で送信されるサイクルスタートパケットに基づいて自ら同期信号を生成し、この生成した同期信号を基準として、１３９４カメラにおける各種動作を同期させる処理を実行する。これにより、各１３９４カメラの各種動作を同期させることができる。

請求項４に記載のマルチカメラシステムによれば、
同期信号生成手段は、
サイクルスタートパケットに含まれる時間データを用いて、内部タイマを調整する内部タイマ調整手段を備え、
内部タイマ調整手段によって調整された内部タイマのカウントにより、同期信号を生成することを特徴とする。これにより、時間的に正確な同期信号を生成することができる。

請求項５に記載のマルチカメラシステムによれば、サイクルマスタのノードは、映像データ収集装置であることを特徴とする。これにより、サイクルスタートパケットを映像データ収集装置から送信することができる。

請求項６に記載のマルチカメラシステムによれば、カメラ動作同期処理手段は、シャッタータイミング、及び映像データの伝送タイミングを同期させる処理を実行することを特徴とする。これにより、各１３９４カメラにおける映像データを同期させることができる。

請求項７に記載のマルチカメラシステムによれば、映像データ収集装置は、各１３９４カメラ毎に確保されたメモリ領域に、各１３９４カメラから送信された映像データをその送信された順序に従って、順次記憶する映像データ記憶手段を備えることを特徴とする。これにより、時間的に同期した映像データを、順次記憶することができる。そして、この記憶する順序に従って各１３９４カメラの映像データを抽出し、上述したディスプレイに表示させることで、時間的なズレのない複数の映像を同時に表示することができる。

以下、本発明であるマルチカメラシステムの実施形態について、図面を参照して説明する。本実施形態のマルチカメラシステムは、自動車等の車両に搭載され、各カメラの撮影した映像を合成して車両の周辺を監視するアプリケーション等に用いられるものである。

（第１の実施形態）
図１に、本実施形態のマルチカメラシステムの全体構成を示す。同図に示すように、本マルチカメラシステム１００は、デジタルカメラプロトコル（1394-based Digital Camera Specification）に準拠した４台の１３９４カメラ（カメラ１〜４）と映像データ収集装置としてのディスプレイとがＩＥＥＥ１３９４によってネットワーク接続することで構成される。

各１３９４カメラは、ディスプレイからＩＥＥＥ１３９４を介して電源の供給を受けて動作する。ディスプレイは、ＩＥＥＥ１３９４対応のインタフェースボードを搭載した図示しないＰＣ（Personal Computer）等に用いられる表示画面である。以下、この表示画面を含むＰＣを「ディスプレイ」と呼ぶことにする。なお、図１のネットワークでは、ディスプレイをルートノードとする。

このように、ＩＥＥＥ１３９４によってネットワーク接続する場合、各１３９４カメラのカメラ設定を行い、アイソクロナス通信の手順に従って各１３９４カメラが必要なチャンネル及び帯域を取得するとアイソクロナス通信が開始される。そして、各１３９４カメラからの映像データがディスプレイに送信される。

ここで、カメラ設定とは、非同期のアシンクロナス通信によりカメラ設定コマンドをルートノードであるディスプレイから各１３９４カメラに送信し、このコマンドを受けた各１３９４カメラがビデオフォーマット、ビデオモード、及びフレームレートの取得、ビデオ転送開始コマンドの発行等を行うものである。

この各１３９４カメラからの映像データは、上記カメラ設定の完了した１３９４カメラから順に送信されるため、各１３９４カメラにおける各種動作（シャッタータイミング、映像データの伝送タイミング等）にばらつきが生じ、ディスプレイには、時間的に整合していない映像データが送信される。

そのため、本マルチカメラシステム１００では、図１に示すように、ルートノードであるディスプレイからネットワークに接続される全ての１３９４カメラに対する同期用のアイソクロナスパケット（Ｖｓｙｎｃパケット）を発行し、このＶｓｙｎｃパケットをネットワーク上に送信する。

このＶｓｙｎｃパケットは、図２に示すパケット構成であり、ｓｙ（synchronization code）を１、Ｄａｔａを０とするものである。また、図３に示すように、Ｖｓｙｎｃパケットは、ディスプレイの垂直同期信号（Ｖｓｙｎｃ）に同期して発行され、送信間隔は、Ｖｓｙｎｃが３０フレーム／秒の場合、約３３．３ミリ秒毎となる。

また、各１３９４カメラは、Ｖｓｙｎｃパケットの受信タイミングを基準として、１３９４カメラにおける各種動作を同期させる処理を実行する。すなわち、シャッタータイミング、及び映像データの伝送タイミングを同期させる処理を実行する。そして、各１３９４カメラは、それ以降のサイクルスタートパケット（ＣＳパケット）を受信した時点で一斉に映像データの送信を開始する。

これにより、各１３９４カメラは同期して各種動作を行うため、図３に示すように、アイソクロナス通信の開始後、上記同期させる処理を実行することにより数サイクル分の遅れは発生するものの、約３３．３ミリ秒毎に映像データを同期してディスプレイに伝送することができる。

このように、同期した映像データが各１３９４カメラから伝送されると、ディスプレイでは、各１３９４カメラ毎に確保されたＶＲＡＭ等のメモリ（図示せず）の領域に、各１３９４カメラから送信された映像データをその送信された順序に従って、順次記憶する。これにより、時間的に同期した映像データを、順次記憶することができる。そして、この記憶する順序に従って各１３９４カメラの映像データを抽出し、画面に表示させることで、時間的なズレのない複数の映像を同時に表示することができる。

次に、図４を用いて、本マルチカメラシステム１００の動作について説明する。なお、図４では、４台の１３９４カメラのうちの１台（カメラ１）とディスプレイとの動作を例として示す。

まず、ディスプレイの電源が投入されると、各１３９４カメラにも電源が供給される。続いて、ディスプレイは、カメラ設定コマンドを各１３９４カメラに送信するための動作設定処理を実行する（Ｓ１０）。

カメラ１では、このカメラ設定コマンドを受信すると、上述したカメラ設定を行い（Ｓ２０）、スタンバイ状態となる。なお、カメラ１からディスプレイに対して、カメラ設定が完了したことを知らせるＡｃｋパケット（acknowledge）を送信することで、ディスプレイは、カメラ設定が完了したことがわかる。

続いて、アイソクロナス通信が開始されると、サイクルマスタであるルートノードのディスプレイからＣＳパケットがネットワーク上に送信され、最優先のアクセス権の与えられたサイクルマスタであるディスプレイは、Ｖｓｙｎｃに同期してＶｓｙｎｃパケットを生成し（Ｓ３０）、ネットワーク上に送信する。

カメラ１は、このＶｓｙｎｃパケットを受信すると、この受信タイミングを基準として、シャッタータイミング、及び映像データの伝送タイミングを同期させる処理を実行する（Ｓ４０）。その後、各１３９４カメラは、ＣＳパケットを受信する毎（１２５マイクロ秒毎）に、例えば２ライン分の映像データをディスプレイに転送する。

この映像データを受信するディスプレイは、各１３９４カメラ毎に確保されたメモリの領域に、各１３９４カメラから送信された映像データをその送信された順序に従って、順次記憶する（Ｓ５０）。そして、この記憶する順序に従って各１３９４カメラの映像データを抽出し、画面に表示させる。

このように、本実施形態のマルチカメラシステム１００では、ディスプレイは、ネットワークに接続される全ての１３９４カメラに対する同期用のアイソクロナスパケット（Ｖｓｙｎｃパケット）をディスプレイの垂直同期信号（Ｖｓｙｎｃ）に同期して発行し、このＶｓｙｎｃパケットをネットワーク上に送信する。各１３９４カメラは、Ｖｓｙｎｃパケットの受信タイミングを基準として、シャッタータイミング、及び映像データの伝送タイミングを同期させる処理を実行する。

これにより、アイソクロナス通信の開始後、上記同期させる処理を実行することにより数サイクル分の遅れは発生するものの、約３３．３ミリ秒毎に映像データを同期してディスプレイに伝送することができる。

（第２の実施形態）
第２の実施形態は、第１の実施形態によるものと共通するところが多いので、以下、共通部分についての詳しい説明は省略し、異なる部分を重点的に説明する。第１の実施形態のマルチカメラシステムでは、上述したように、各１３９４カメラは、ディスプレイにおいて生成されたＶｓｙｎｃパケットを基準に各種動作を同期させるものである。

これに対し、本実施形態のマルチカメラシステムでは、各１３９４カメラは、ＣＳパケットに含まれる時間データ（すなわち、ネットワークに接続された全てのノードが参照可能な基準時間）を利用して各種動作を同期させる点で異なる。

図５に、本実施形態のマルチカメラシステムの全体構成を示す。このシステム構成は、第１の実施形態と同様である。同図のように、ＩＥＥＥ１３９４でネットワーク接続される場合のアイソクロナス通信では、ネットワーク上にサイクルマスタ（通常ルートノード）が１つ存在し、このサイクルマスタが１２５マイクロ秒毎にＣＳパケットを発行して、ネットワーク上に送信する。

このＣＳパケットには時間データが含まれており、各ノードである各１３９４カメラは、この時間データを基に各々のサイクルタイマを調整している。なお、本マルチカメラシステムでは、ディスプレイをサイクルマスタとし、ディスプレイからＣＳパケットを送信する。

本実施形態のマルチカメラシステムでは、図６に示すように、各１３９４カメラにおいて、１２５マイクロ秒毎に送信されるＣＳパケットに基づいて自ら同期信号を生成し、この生成した同期信号を基準として、１３９４カメラにおける各種動作を同期させる処理を実行する。

すなわち、ＣＳパケットに含まれる時間データを用いてサイクルタイマを調整するとともに、この調整されたサイクルタイマで３３．３ミリ秒（３０フレーム／秒の場合）をカウントして、独自で同期信号（Ｖｓｙｎｃ信号）を生成する。そして、このＶｓｙｎｃ信号を基準として、１３９４カメラにおける各種動作を同期させる処理を実行する。これにより、時間的に正確なＶｓｙｎｃ信号を生成するとともに、このＶｓｙｎｃ信号を基準として、各１３９４カメラの各種動作を同期させることができる。

次に、図７を用いて、本マルチカメラシステム１００の動作について説明する。なお、図７では、４台の１３９４カメラのうちの１台（カメラ１）とディスプレイとの動作を例として示す。また、ディスプレイに電源が投入されてから最初のＣＳパケットがカメラ１に送信するまでの動作は、第１の実施形態と同様であるため、その説明を省略する。

ネットワークにおいてアイソクロナス通信が開始され、サイクルマスタであるディスプレイからＣＳパケットがネットワーク上に送信されると、カメラ１は、ＣＳパケットに含まれる時間データを基にサイクルタイマを調整する（Ｓ３０ａ）。次に、カメラ１は、この調整されたサイクルタイマで３３．３ミリ秒（３０フレーム／秒の場合）をカウントして、独自で同期信号（Ｖｓｙｎｃ信号）を生成する（Ｓ４０ａ）。

カメラ１では、このＶｓｙｎｃ信号を基準として、シャッタータイミング、及び映像データの伝送タイミングを同期させる処理を実行する（Ｓ５０ａ）。その後、各１３９４カメラは、ＣＳパケットを受信する毎（１２５マイクロ秒毎）に、ＣＳパケットに含まれる時間データを基にサイクルタイマを調整し（Ｓ６０ａ）、例えば２ライン分の映像データをディスプレイに転送する。

この映像データを受信するディスプレイは、各１３９４カメラ毎に確保されたメモリの領域に、各１３９４カメラから送信された映像データをその送信された順序に従って、順次記憶する（Ｓ７０ａ）。そして、この記憶する順序に従って各１３９４カメラの映像データを抽出し、画面に表示させる。

このように、本実施形態のマルチカメラシステム１００では、ＣＳパケットに含まれる時間データを基にサイクルタイマを調整するとともに、この調整されたサイクルタイマで３３．３ミリ秒（３０フレーム／秒の場合）をカウントして、独自で同期信号（Ｖｓｙｎｃ信号）を生成する。そして、このＶｓｙｎｃ信号を基準として、シャッタータイミング、及び映像データの伝送タイミングを同期させる処理を実行する。これにより、ＩＥＥＥ１３９４で接続されたネットワークを介して、各１３９４カメラの各種動作を同期させることができる。

第１の実施形態に係る、マルチカメラシステム１００の全体構成を示すブロック図である。 第１の実施形態に係る、アイソクロナスパケットのパケット構成を示す図である。 第１の実施形態に係る、映像データの送信タイミングを示す図である。 第１の実施形態に係る、マルチカメラシステム１００の動作を説明するための図である。 第２の実施形態に係る、マルチカメラシステム１００の全体構成を示すブロック図である。 第２の実施形態に係る、Ｖｓｙｎｃ信号の生成と映像データの送信タイミングを示す図である。 第２の実施形態に係る、マルチカメラシステム１００の動作を説明するための図である。

符号の説明

１００ マルチカメラシステム

Claims (7)

1. 複数の１３９４カメラ、及び前記各１３９４カメラからアイソクロナス通信によって送信される映像データを収集する映像データ収集装置をノードとして含み、前記各ノードがＩＥＥＥ１３９４によってネットワーク接続されたマルチカメラシステムであって、
   前記各ノードのうちの何れか１つのノードは、前記ＩＥＥＥ１３９４のネットワークに接続される全ての１３９４カメラに対する同期用のアイソクロナスパケットを発行し、当該同期用のアイソクロナスパケットを前記ネットワーク上に送信する同期用パケット送信手段を備え、
   前記全ての１３９４カメラのノードは、前記同期用のアイソクロナスパケットの受信タイミングを基準として、前記１３９４カメラにおける各種動作を同期させる処理を実行するカメラ動作同期処理手段を備えることを特徴とするマルチカメラシステム。
2. 前記各ノードのうちの何れかの１つのノードは前記映像データ収集装置であって、
   前記映像データ収集装置は、前記各１３９４カメラから収集した映像データの映像を表示するディスプレイを備え、
   前記同期用パケット送信手段は、前記ディスプレイの垂直同期信号に同期した前記同期用のアイソクロナスパケットを送信することを特徴とする請求項１記載のマルチカメラシステム。
3. 複数の１３９４カメラ、及び前記各１３９４カメラからアイソクロナス通信によって送信される映像データを収集する映像データ収集装置をノードとして含み、前記各ノードがＩＥＥＥ１３９４によってネットワーク接続されたマルチカメラシステムであって、
   前記ＩＥＥＥ１３９４のネットワークに接続される全ての１３９４カメラのノードは、
   サイクルマスタのノードから送信されるサイクルスタートパケットに基づいて、同期信号を生成する同期信号生成手段と、
   前記同期信号生成手段の生成した同期信号を基準として、前記１３９４カメラにおける各種動作を同期させる処理を実行するカメラ動作同期処理手段と、を備えることを特徴とするマルチカメラシステム。
4. 前記同期信号生成手段は、
   前記サイクルスタートパケットに含まれる時間データを用いて、内部タイマを調整する内部タイマ調整手段を備え、
   前記内部タイマ調整手段によって調整された内部タイマのカウントにより、前記同期信号を生成することを特徴とする請求項３記載のマルチカメラシステム。
5. 前記サイクルマスタのノードは、前記映像データ収集装置であることを特徴とする請求項３又は４記載のマルチカメラシステム。
6. 前記カメラ動作同期処理手段は、シャッタータイミング、及び映像データの伝送タイミングを同期させる処理を実行することを特徴とする請求項１〜５の何れか１項に記載のマルチカメラシステム。
7. 前記映像データ収集装置は、前記各１３９４カメラ毎に確保されたメモリ領域に、前記各１３９４カメラから送信された映像データをその送信された順序に従って、順次記憶する映像データ記憶手段を備えることを特徴とする請求項１〜６の何れか１項に記載のマルチカメラシステム。

Images