JP2006203817A - Multicamera system - Google Patents
Multicamera system Download PDFInfo
- Publication number
- JP2006203817A JP2006203817A JP2005016064A JP2005016064A JP2006203817A JP 2006203817 A JP2006203817 A JP 2006203817A JP 2005016064 A JP2005016064 A JP 2005016064A JP 2005016064 A JP2005016064 A JP 2005016064A JP 2006203817 A JP2006203817 A JP 2006203817A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- video data
- cameras
- synchronization
- packet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、マルチカメラシステムに関するものである。 The present invention relates to a multi-camera system.
従来、複数カメラからの映像を同期的に収録する画像記録装置が提案されている（例えば、特許文献１参照。）。この特許文献１に開示されている画像記録装置は、複数のカメラからの撮影画像データを入力して、当該画像データを記憶する複数の画像記録処理装置と、この複数の画像記録処理装置と接続されるサーバ装置とにより構成され、サーバ装置は、複数の画像記録処理装置に対して、所定時刻における収録画像フレーム番号の保存要求を出力するとともに、この複数の画像記録処理装置に保存された収録画像フレーム番号に基づいて各画像記録処理装置のフレーム同期処理を実行する。
一方、車両に搭載される複数のカメラと画像処理装置等の周辺装置とをＩＥＥＥ１３９４によってネットワーク接続することが進められている。このように、複数のカメラと周辺装置とをネットワーク接続することで、従来のアナログ（ＮＴＳＣ等）接続に比べて配線やコネクタ数が少なく済む。なお、このＩＥＥＥ１３９４でネットワーク接続するカメラには、デジタルカメラプロトコル（1394-based Digital Camera Specification）準拠のカメラ（以下、１３９４カメラ）が用いられる。 On the other hand, a network connection of a plurality of cameras mounted on a vehicle and peripheral devices such as an image processing device by IEEE 1394 is in progress. In this way, by connecting a plurality of cameras and peripheral devices via a network, the number of wires and connectors can be reduced compared to conventional analog (NTSC, etc.) connections. Note that a camera compliant with a digital camera protocol (1394-based Digital Camera Specification) (hereinafter referred to as a 1394 camera) is used as a camera connected to the network by the IEEE 1394.
上記ネットワーク接続された１３９４カメラを利用して、例えば、各カメラの撮影した映像を合成して車両の周辺を監視するアプリケーションが構築可能となるが、複数の１３９４カメラの撮影した映像を合成する場合には、各１３９４カメラの各種動作、すなわち、シャッタータイミングや映像データの伝送タイミングを全て同期させて、時間的なズレを無くす必要がある。そのため、１３９４カメラには、上述した従来の画像記録装置に用いられているカメラと同様に、外部トリガ信号による同期機能が備えられている。 Using the 1394 cameras connected to the network, for example, it is possible to construct an application for monitoring the periphery of the vehicle by combining the images captured by the cameras, but when combining the images captured by a plurality of 1394 cameras Therefore, it is necessary to synchronize all the operations of each 1394 camera, that is, the shutter timing and the transmission timing of the video data, to eliminate the time shift. Therefore, the 1394 camera is provided with a synchronization function using an external trigger signal, similar to the camera used in the conventional image recording apparatus described above.
しかしながら、この外部トリガ信号は、通常、ＩＥＥＥ１３９４とは別の信号線で制御する必要があり、また、複数のカメラ同期を考慮した設計になっていなかった。そのため、各１３９４カメラからは、時間的に整合していない映像データが送信されていた。 However, this external trigger signal usually needs to be controlled by a signal line different from that of IEEE1394, and has not been designed in consideration of synchronization of a plurality of cameras. For this reason, video data that is not temporally consistent has been transmitted from each 1394 camera.
本発明は、上記の問題を鑑みてなされたもので、ＩＥＥＥ１３９４で接続されたネットワークを介して、複数の１３９４カメラの各種動作を同期させることができるマルチカメラシステムを提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a multi-camera system capable of synchronizing various operations of a plurality of 1394 cameras via a network connected by IEEE 1394.
上記の目的を達成するためになされた請求項１に記載のマルチカメラシステムは、複数の１３９４カメラ、及び各１３９４カメラからアイソクロナス通信によって送信される映像データを収集する映像データ収集装置をノードとして含み、各ノードがＩＥＥＥ１３９４によってネットワーク接続されたマルチカメラシステムであって、
各ノードのうちの何れか１つのノードは、ＩＥＥＥ１３９４のネットワークに接続される全ての１３９４カメラに対する同期用のアイソクロナスパケットを発行し、当該同期用のアイソクロナスパケットをネットワーク上に送信する同期用パケット送信手段を備え、
全ての１３９４カメラのノードは、同期用のアイソクロナスパケットの受信タイミングを基準として、１３９４カメラにおける各種動作を同期させる処理を実行するカメラ動作同期処理手段を備えることを特徴とする。
The multi-camera system according to claim 1, which is made to achieve the above object, includes a plurality of 1394 cameras and a video data collection device that collects video data transmitted from each 1394 camera by isochronous communication as nodes. A multi-camera system in which each node is network-connected by IEEE1394,
Any one of the nodes issues a synchronization isochronous packet for all 1394 cameras connected to the IEEE 1394 network, and transmits the synchronization isochronous packet on the network. With
All the 1394 camera nodes are provided with camera operation synchronization processing means for executing processing for synchronizing various operations in the 1394 camera with reference to the reception timing of the synchronization isochronous packet.
例えば、図１に示すように、４台の１３９４カメラ（カメラ１〜４）と映像データ収集装置としてのディスプレイをＩＥＥＥ１３９４によってネットワーク接続する場合、通常、各１３９４カメラのカメラ設定を行うとアイソクロナス通信が開始され、各１３９４カメラからの映像データがディスプレイに送信される。 For example, as shown in FIG. 1, when four 1394 cameras (cameras 1 to 4) and a display as a video data collection device are connected to a network by IEEE1394, normally, when the camera settings of each 1394 camera are performed, isochronous communication is performed. The video data from each 1394 camera is transmitted to the display.
この映像データは、カメラ設定の完了した１３９４カメラから順に送信されるため、各１３９４カメラにおける各種動作（シャッタータイミング、映像データの伝送タイミング等）にばらつきが生じ、ディスプレイには、時間的に整合していない映像データが送信される。 Since this video data is transmitted in order from the 1394 cameras for which the camera settings have been completed, various operations (shutter timing, video data transmission timing, etc.) occur in each 1394 camera, and the display is temporally consistent. Not transmitted video data.
そのため、本発明では、ＩＥＥＥ１３９４によってネットワーク接続された各ノードのうちの何れか１つのノードからネットワークに接続される全ての１３９４カメラに対する同期用のアイソクロナスパケットを発行し、当該同期用のアイソクロナスパケットをネットワーク上に送信する。そして、全ての１３９４カメラは、同期用のアイソクロナスパケットの受信タイミングを基準として、１３９４カメラにおける各種動作を同期させる処理を実行する。 Therefore, in the present invention, a synchronization isochronous packet for all 1394 cameras connected to the network is issued from any one of the nodes connected to the network by IEEE 1394, and the synchronization isochronous packet is transmitted to the network. Send on. All the 1394 cameras execute processing for synchronizing various operations in the 1394 camera with reference to the reception timing of the isochronous packet for synchronization.
これにより、アイソクロナス通信の開始後、上記同期させる処理を実行することにより数サイクル分の遅れは発生するものの、同期用のアイソクロナスパケットが送信される毎に、各１３９４カメラの映像を同期してディスプレイに伝送することができる。 As a result, after the start of isochronous communication, a delay of several cycles occurs due to the execution of the synchronization process, but each time a synchronization isochronous packet is transmitted, the video of each 1394 camera is synchronized and displayed. Can be transmitted.
請求項２に記載のマルチカメラシステムによれば、
各ノードのうちの何れかの１つのノードは映像データ収集装置であって、
映像データ収集装置は、各１３９４カメラから収集した映像データの映像を表示するディスプレイを備え、
同期用パケット送信手段は、ディスプレイの垂直同期信号に同期した同期用のアイソクロナスパケットを送信することを特徴とする。
According to the multi-camera system of claim 2,
One of the nodes is a video data collection device,
The video data collection device includes a display for displaying video data collected from each 1394 camera,
The synchronization packet transmitting means transmits an isochronous packet for synchronization synchronized with a vertical synchronization signal of the display.
これにより、映像データ収集装置は、ディスプレイの垂直同期信号に同期した同期用のアイソクロナスパケットを垂直同期信号が発生する毎（例えば、３０フレーム／秒の場合、約３３．３ミリ秒毎）に送信することができる。その結果、各１３９４カメラは、約３３．３ミリ秒毎に映像データを同期して伝送できる。 As a result, the video data collection device transmits an isochronous packet for synchronization synchronized with the vertical synchronization signal of the display every time the vertical synchronization signal is generated (for example, approximately 33.3 milliseconds in the case of 30 frames / second). can do. As a result, each 1394 camera can transmit video data synchronously about every 33.3 milliseconds.
請求項３に記載のマルチカメラシステムは、複数の１３９４カメラ、及び各１３９４カメラからアイソクロナス通信によって送信される映像データを収集する映像データ収集装置をノードとして含み、各ノードがＩＥＥＥ１３９４によってネットワーク接続されたマルチカメラシステムであって、
ＩＥＥＥ１３９４のネットワークに接続される全ての１３９４カメラのノードは、
サイクルマスタのノードから送信されるサイクルスタートパケットに基づいて、同期信号を生成する同期信号生成手段と、
同期信号生成手段の生成した同期信号を基準として、１３９４カメラにおける各種動作を同期させる処理を実行するカメラ動作同期処理手段と、を備えることを特徴とする。
The multi-camera system according to claim 3 includes, as nodes, a plurality of 1394 cameras and a video data collection device that collects video data transmitted from each 1394 camera by isochronous communication, and each node is connected to the network by IEEE1394. A multi-camera system,
All 1394 camera nodes connected to the IEEE 1394 network are
Synchronization signal generating means for generating a synchronization signal based on a cycle start packet transmitted from a node of the cycle master;
Camera operation synchronization processing means for executing processing for synchronizing various operations in the 1394 camera with reference to the synchronization signal generated by the synchronization signal generation means.
アイソクロナス通信では、ネットワーク上に１台存在するサイクルマスタ（通常ルートノード）が一定間隔（例えば、１２５マイクロ秒程度）毎にサイクルスタートパケットを送信する。そこで、本発明では、各１３９４カメラは、この一定間隔で送信されるサイクルスタートパケットに基づいて自ら同期信号を生成し、この生成した同期信号を基準として、１３９４カメラにおける各種動作を同期させる処理を実行する。これにより、各１３９４カメラの各種動作を同期させることができる。 In isochronous communication, one cycle master (normal root node) existing on the network transmits a cycle start packet at regular intervals (for example, about 125 microseconds). Therefore, in the present invention, each 1394 camera generates a synchronization signal by itself based on the cycle start packet transmitted at regular intervals, and performs processing for synchronizing various operations in the 1394 camera based on the generated synchronization signal. Execute. Thereby, various operations of each 1394 camera can be synchronized.
請求項４に記載のマルチカメラシステムによれば、
同期信号生成手段は、
サイクルスタートパケットに含まれる時間データを用いて、内部タイマを調整する内部タイマ調整手段を備え、
内部タイマ調整手段によって調整された内部タイマのカウントにより、同期信号を生成することを特徴とする。これにより、時間的に正確な同期信号を生成することができる。
According to the multi-camera system of claim 4,
The synchronization signal generating means
Using the time data included in the cycle start packet, the internal timer adjustment means for adjusting the internal timer,
The synchronization signal is generated by the count of the internal timer adjusted by the internal timer adjusting means. As a result, a synchronization signal that is accurate in time can be generated.
請求項５に記載のマルチカメラシステムによれば、サイクルマスタのノードは、映像データ収集装置であることを特徴とする。これにより、サイクルスタートパケットを映像データ収集装置から送信することができる。 According to the multi-camera system of the fifth aspect, the node of the cycle master is a video data collection device. Thereby, the cycle start packet can be transmitted from the video data collection device.
請求項６に記載のマルチカメラシステムによれば、カメラ動作同期処理手段は、シャッタータイミング、及び映像データの伝送タイミングを同期させる処理を実行することを特徴とする。これにより、各１３９４カメラにおける映像データを同期させることができる。 According to the multi-camera system of the sixth aspect, the camera operation synchronization processing means executes a process of synchronizing the shutter timing and the transmission timing of the video data. Thereby, the video data in each 1394 camera can be synchronized.
請求項７に記載のマルチカメラシステムによれば、映像データ収集装置は、各１３９４カメラ毎に確保されたメモリ領域に、各１３９４カメラから送信された映像データをその送信された順序に従って、順次記憶する映像データ記憶手段を備えることを特徴とする。これにより、時間的に同期した映像データを、順次記憶することができる。そして、この記憶する順序に従って各１３９４カメラの映像データを抽出し、上述したディスプレイに表示させることで、時間的なズレのない複数の映像を同時に表示することができる。 According to the multi-camera system of claim 7, the video data collection device sequentially stores the video data transmitted from each 1394 camera in the memory area secured for each 1394 camera according to the order of transmission. Video data storage means is provided. Accordingly, temporally synchronized video data can be stored sequentially. Then, by extracting the video data of each 1394 camera in accordance with the storing order and displaying it on the above-described display, it is possible to simultaneously display a plurality of videos with no time shift.
以下、本発明であるマルチカメラシステムの実施形態について、図面を参照して説明する。本実施形態のマルチカメラシステムは、自動車等の車両に搭載され、各カメラの撮影した映像を合成して車両の周辺を監視するアプリケーション等に用いられるものである。 Embodiments of a multi-camera system according to the present invention are described below with reference to the drawings. The multi-camera system of the present embodiment is mounted on a vehicle such as an automobile, and is used for an application for monitoring the periphery of the vehicle by synthesizing images taken by the cameras.
（第１の実施形態）
図１に、本実施形態のマルチカメラシステムの全体構成を示す。同図に示すように、本マルチカメラシステム１００は、デジタルカメラプロトコル（1394-based Digital Camera Specification）に準拠した４台の１３９４カメラ（カメラ１〜４）と映像データ収集装置としてのディスプレイとがＩＥＥＥ１３９４によってネットワーク接続することで構成される。
(First embodiment)
FIG. 1 shows the overall configuration of the multi-camera system of this embodiment. As shown in the figure, the
各１３９４カメラは、ディスプレイからＩＥＥＥ１３９４を介して電源の供給を受けて動作する。ディスプレイは、ＩＥＥＥ１３９４対応のインタフェースボードを搭載した図示しないＰＣ（Personal Computer）等に用いられる表示画面である。以下、この表示画面を含むＰＣを「ディスプレイ」と呼ぶことにする。なお、図１のネットワークでは、ディスプレイをルートノードとする。 Each 1394 camera operates by receiving power from the display via IEEE1394. The display is a display screen used for a PC (Personal Computer) (not shown) equipped with an IEEE 1394 compatible interface board. Hereinafter, a PC including this display screen is referred to as a “display”. In the network of FIG. 1, the display is a root node.
このように、ＩＥＥＥ１３９４によってネットワーク接続する場合、各１３９４カメラのカメラ設定を行い、アイソクロナス通信の手順に従って各１３９４カメラが必要なチャンネル及び帯域を取得するとアイソクロナス通信が開始される。そして、各１３９４カメラからの映像データがディスプレイに送信される。 As described above, when the network connection is made by IEEE 1394, the camera setting of each 1394 camera is performed, and the isochronous communication is started when each 1394 camera acquires the necessary channel and band according to the isochronous communication procedure. Video data from each 1394 camera is transmitted to the display.
ここで、カメラ設定とは、非同期のアシンクロナス通信によりカメラ設定コマンドをルートノードであるディスプレイから各１３９４カメラに送信し、このコマンドを受けた各１３９４カメラがビデオフォーマット、ビデオモード、及びフレームレートの取得、ビデオ転送開始コマンドの発行等を行うものである。 Here, the camera setting means that a camera setting command is transmitted from the display as a root node to each 1394 camera by asynchronous asynchronous communication, and each 1394 camera receiving this command acquires the video format, video mode, and frame rate. The video transfer start command is issued.
この各１３９４カメラからの映像データは、上記カメラ設定の完了した１３９４カメラから順に送信されるため、各１３９４カメラにおける各種動作（シャッタータイミング、映像データの伝送タイミング等）にばらつきが生じ、ディスプレイには、時間的に整合していない映像データが送信される。 Since the video data from each 1394 camera is transmitted sequentially from the 1394 camera for which the above camera settings have been completed, various operations (shutter timing, video data transmission timing, etc.) in each 1394 camera occur, and the display , Video data that is not temporally aligned is transmitted.
そのため、本マルチカメラシステム１００では、図１に示すように、ルートノードであるディスプレイからネットワークに接続される全ての１３９４カメラに対する同期用のアイソクロナスパケット（Ｖｓｙｎｃパケット）を発行し、このＶｓｙｎｃパケットをネットワーク上に送信する。
Therefore, in the
このＶｓｙｎｃパケットは、図２に示すパケット構成であり、ｓｙ（synchronization code）を１、Ｄａｔａを０とするものである。また、図３に示すように、Ｖｓｙｎｃパケットは、ディスプレイの垂直同期信号（Ｖｓｙｎｃ）に同期して発行され、送信間隔は、Ｖｓｙｎｃが３０フレーム／秒の場合、約３３．３ミリ秒毎となる。 This Vsync packet has the packet configuration shown in FIG. 2, and sy (synchronization code) is 1 and Data is 0. Also, as shown in FIG. 3, the Vsync packet is issued in synchronization with the vertical sync signal (Vsync) of the display, and the transmission interval is approximately every 33.3 milliseconds when Vsync is 30 frames / second. .
また、各１３９４カメラは、Ｖｓｙｎｃパケットの受信タイミングを基準として、１３９４カメラにおける各種動作を同期させる処理を実行する。すなわち、シャッタータイミング、及び映像データの伝送タイミングを同期させる処理を実行する。そして、各１３９４カメラは、それ以降のサイクルスタートパケット（ＣＳパケット）を受信した時点で一斉に映像データの送信を開始する。 Each 1394 camera executes processing for synchronizing various operations in the 1394 camera with reference to the reception timing of the Vsync packet. That is, processing for synchronizing the shutter timing and the transmission timing of the video data is executed. And each 1394 camera starts transmission of video data all at once when the subsequent cycle start packet (CS packet) is received.
これにより、各１３９４カメラは同期して各種動作を行うため、図３に示すように、アイソクロナス通信の開始後、上記同期させる処理を実行することにより数サイクル分の遅れは発生するものの、約３３．３ミリ秒毎に映像データを同期してディスプレイに伝送することができる。 As a result, each 1394 camera performs various operations in synchronization with each other. As shown in FIG. 3, after the start of isochronous communication, a delay of several cycles is generated by performing the synchronization process. .Video data can be synchronized and transmitted to the display every 3 milliseconds.
このように、同期した映像データが各１３９４カメラから伝送されると、ディスプレイでは、各１３９４カメラ毎に確保されたＶＲＡＭ等のメモリ（図示せず）の領域に、各１３９４カメラから送信された映像データをその送信された順序に従って、順次記憶する。これにより、時間的に同期した映像データを、順次記憶することができる。そして、この記憶する順序に従って各１３９４カメラの映像データを抽出し、画面に表示させることで、時間的なズレのない複数の映像を同時に表示することができる。 Thus, when synchronized video data is transmitted from each 1394 camera, the video transmitted from each 1394 camera to an area of a memory (not shown) such as a VRAM secured for each 1394 camera is displayed on the display. Data is stored sequentially according to its transmitted order. Accordingly, temporally synchronized video data can be stored sequentially. Then, by extracting the video data of each 1394 camera according to the storing order and displaying it on the screen, it is possible to simultaneously display a plurality of videos with no temporal deviation.
次に、図４を用いて、本マルチカメラシステム１００の動作について説明する。なお、図４では、４台の１３９４カメラのうちの１台（カメラ１）とディスプレイとの動作を例として示す。
Next, the operation of the
まず、ディスプレイの電源が投入されると、各１３９４カメラにも電源が供給される。続いて、ディスプレイは、カメラ設定コマンドを各１３９４カメラに送信するための動作設定処理を実行する（Ｓ１０）。 First, when the display is turned on, power is also supplied to each 1394 camera. Subsequently, the display executes an operation setting process for transmitting a camera setting command to each 1394 camera (S10).
カメラ１では、このカメラ設定コマンドを受信すると、上述したカメラ設定を行い（Ｓ２０）、スタンバイ状態となる。なお、カメラ１からディスプレイに対して、カメラ設定が完了したことを知らせるＡｃｋパケット（acknowledge）を送信することで、ディスプレイは、カメラ設定が完了したことがわかる。 Upon receiving this camera setting command, the camera 1 performs the above-described camera setting (S20) and enters a standby state. It should be noted that the display can know that the camera setting is completed by transmitting an Ack packet (acknowledge) notifying that the camera setting is completed from the camera 1 to the display.
続いて、アイソクロナス通信が開始されると、サイクルマスタであるルートノードのディスプレイからＣＳパケットがネットワーク上に送信され、最優先のアクセス権の与えられたサイクルマスタであるディスプレイは、Ｖｓｙｎｃに同期してＶｓｙｎｃパケットを生成し（Ｓ３０）、ネットワーク上に送信する。 Subsequently, when isochronous communication is started, a CS packet is transmitted over the network from the display of the root node that is the cycle master, and the display that is the cycle master to which the highest priority access right is given is synchronized with Vsync. A Vsync packet is generated (S30) and transmitted on the network.
カメラ１は、このＶｓｙｎｃパケットを受信すると、この受信タイミングを基準として、シャッタータイミング、及び映像データの伝送タイミングを同期させる処理を実行する（Ｓ４０）。その後、各１３９４カメラは、ＣＳパケットを受信する毎（１２５マイクロ秒毎）に、例えば２ライン分の映像データをディスプレイに転送する。 Upon receiving this Vsync packet, the camera 1 executes a process of synchronizing the shutter timing and the video data transmission timing with reference to this reception timing (S40). Thereafter, each time the 1394 camera receives a CS packet (every 125 microseconds), it transfers, for example, two lines of video data to the display.
この映像データを受信するディスプレイは、各１３９４カメラ毎に確保されたメモリの領域に、各１３９４カメラから送信された映像データをその送信された順序に従って、順次記憶する（Ｓ５０）。そして、この記憶する順序に従って各１３９４カメラの映像データを抽出し、画面に表示させる。 The display that receives the video data sequentially stores the video data transmitted from each 1394 camera in the memory area reserved for each 1394 camera according to the order of transmission (S50). Then, the video data of each 1394 camera is extracted in accordance with the stored order and displayed on the screen.
このように、本実施形態のマルチカメラシステム１００では、ディスプレイは、ネットワークに接続される全ての１３９４カメラに対する同期用のアイソクロナスパケット（Ｖｓｙｎｃパケット）をディスプレイの垂直同期信号（Ｖｓｙｎｃ）に同期して発行し、このＶｓｙｎｃパケットをネットワーク上に送信する。各１３９４カメラは、Ｖｓｙｎｃパケットの受信タイミングを基準として、シャッタータイミング、及び映像データの伝送タイミングを同期させる処理を実行する。
As described above, in the
これにより、アイソクロナス通信の開始後、上記同期させる処理を実行することにより数サイクル分の遅れは発生するものの、約３３．３ミリ秒毎に映像データを同期してディスプレイに伝送することができる。 As a result, after the start of isochronous communication, a delay of several cycles is generated by executing the synchronization process, but video data can be synchronized and transmitted to the display about every 33.3 milliseconds.
（第２の実施形態）
第２の実施形態は、第１の実施形態によるものと共通するところが多いので、以下、共通部分についての詳しい説明は省略し、異なる部分を重点的に説明する。第１の実施形態のマルチカメラシステムでは、上述したように、各１３９４カメラは、ディスプレイにおいて生成されたＶｓｙｎｃパケットを基準に各種動作を同期させるものである。
(Second Embodiment)
Since the second embodiment is often in common with that according to the first embodiment, a detailed description of the common parts will be omitted below, and different parts will be described mainly. In the multi-camera system according to the first embodiment, as described above, each 1394 camera synchronizes various operations based on the Vsync packet generated in the display.
これに対し、本実施形態のマルチカメラシステムでは、各１３９４カメラは、ＣＳパケットに含まれる時間データ（すなわち、ネットワークに接続された全てのノードが参照可能な基準時間）を利用して各種動作を同期させる点で異なる。 In contrast, in the multi-camera system of the present embodiment, each 1394 camera performs various operations using time data included in the CS packet (that is, a reference time that can be referred to by all nodes connected to the network). It differs in that it synchronizes.
図５に、本実施形態のマルチカメラシステムの全体構成を示す。このシステム構成は、第１の実施形態と同様である。同図のように、ＩＥＥＥ１３９４でネットワーク接続される場合のアイソクロナス通信では、ネットワーク上にサイクルマスタ（通常ルートノード）が１つ存在し、このサイクルマスタが１２５マイクロ秒毎にＣＳパケットを発行して、ネットワーク上に送信する。 FIG. 5 shows the overall configuration of the multi-camera system of this embodiment. This system configuration is the same as that of the first embodiment. As shown in the figure, in isochronous communication when connected to the network by IEEE 1394, there is one cycle master (normal root node) on the network, and this cycle master issues a CS packet every 125 microseconds. Send over the network.
このＣＳパケットには時間データが含まれており、各ノードである各１３９４カメラは、この時間データを基に各々のサイクルタイマを調整している。なお、本マルチカメラシステムでは、ディスプレイをサイクルマスタとし、ディスプレイからＣＳパケットを送信する。 This CS packet includes time data, and each 1394 camera as each node adjusts each cycle timer based on this time data. In this multi-camera system, the display is a cycle master, and a CS packet is transmitted from the display.
本実施形態のマルチカメラシステムでは、図６に示すように、各１３９４カメラにおいて、１２５マイクロ秒毎に送信されるＣＳパケットに基づいて自ら同期信号を生成し、この生成した同期信号を基準として、１３９４カメラにおける各種動作を同期させる処理を実行する。 In the multi-camera system of the present embodiment, as shown in FIG. 6, each 1394 camera generates a synchronization signal by itself based on a CS packet transmitted every 125 microseconds, and the generated synchronization signal is used as a reference. Processing for synchronizing various operations in the 1394 camera is executed.
すなわち、ＣＳパケットに含まれる時間データを用いてサイクルタイマを調整するとともに、この調整されたサイクルタイマで３３．３ミリ秒（３０フレーム／秒の場合）をカウントして、独自で同期信号（Ｖｓｙｎｃ信号）を生成する。そして、このＶｓｙｎｃ信号を基準として、１３９４カメラにおける各種動作を同期させる処理を実行する。これにより、時間的に正確なＶｓｙｎｃ信号を生成するとともに、このＶｓｙｎｃ信号を基準として、各１３９４カメラの各種動作を同期させることができる。 That is, the cycle timer is adjusted using the time data included in the CS packet, and 33.3 milliseconds (in the case of 30 frames / second) is counted by the adjusted cycle timer, and the synchronization signal (Vsync is uniquely set). Signal). And the process which synchronizes various operation | movement in a 1394 camera is performed on the basis of this Vsync signal. As a result, a time-accurate Vsync signal can be generated, and various operations of the 1394 cameras can be synchronized with the Vsync signal as a reference.
次に、図７を用いて、本マルチカメラシステム１００の動作について説明する。なお、図７では、４台の１３９４カメラのうちの１台（カメラ１）とディスプレイとの動作を例として示す。また、ディスプレイに電源が投入されてから最初のＣＳパケットがカメラ１に送信するまでの動作は、第１の実施形態と同様であるため、その説明を省略する。
Next, the operation of the
ネットワークにおいてアイソクロナス通信が開始され、サイクルマスタであるディスプレイからＣＳパケットがネットワーク上に送信されると、カメラ１は、ＣＳパケットに含まれる時間データを基にサイクルタイマを調整する（Ｓ３０ａ）。次に、カメラ１は、この調整されたサイクルタイマで３３．３ミリ秒（３０フレーム／秒の場合）をカウントして、独自で同期信号（Ｖｓｙｎｃ信号）を生成する（Ｓ４０ａ）。 When isochronous communication is started in the network and a CS packet is transmitted from the display as the cycle master to the network, the camera 1 adjusts the cycle timer based on the time data included in the CS packet (S30a). Next, the camera 1 counts 33.3 milliseconds (in the case of 30 frames / second) with this adjusted cycle timer, and independently generates a synchronization signal (Vsync signal) (S40a).
カメラ１では、このＶｓｙｎｃ信号を基準として、シャッタータイミング、及び映像データの伝送タイミングを同期させる処理を実行する（Ｓ５０ａ）。その後、各１３９４カメラは、ＣＳパケットを受信する毎（１２５マイクロ秒毎）に、ＣＳパケットに含まれる時間データを基にサイクルタイマを調整し（Ｓ６０ａ）、例えば２ライン分の映像データをディスプレイに転送する。 The camera 1 executes processing for synchronizing the shutter timing and the transmission timing of the video data with reference to the Vsync signal (S50a). After that, each time a 1394 camera receives a CS packet (every 125 microseconds), it adjusts the cycle timer based on the time data contained in the CS packet (S60a), for example, video data for two lines is displayed on the display. Forward.
この映像データを受信するディスプレイは、各１３９４カメラ毎に確保されたメモリの領域に、各１３９４カメラから送信された映像データをその送信された順序に従って、順次記憶する（Ｓ７０ａ）。そして、この記憶する順序に従って各１３９４カメラの映像データを抽出し、画面に表示させる。 The display that receives the video data sequentially stores the video data transmitted from each 1394 camera in the memory area reserved for each 1394 camera according to the order of transmission (S70a). Then, the video data of each 1394 camera is extracted in accordance with the stored order and displayed on the screen.
このように、本実施形態のマルチカメラシステム１００では、ＣＳパケットに含まれる時間データを基にサイクルタイマを調整するとともに、この調整されたサイクルタイマで３３．３ミリ秒（３０フレーム／秒の場合）をカウントして、独自で同期信号（Ｖｓｙｎｃ信号）を生成する。そして、このＶｓｙｎｃ信号を基準として、シャッタータイミング、及び映像データの伝送タイミングを同期させる処理を実行する。これにより、ＩＥＥＥ１３９４で接続されたネットワークを介して、各１３９４カメラの各種動作を同期させることができる。
As described above, in the
１００ マルチカメラシステム 100 Multi-camera system
Claims (7)
前記各ノードのうちの何れか１つのノードは、前記ＩＥＥＥ１３９４のネットワークに接続される全ての１３９４カメラに対する同期用のアイソクロナスパケットを発行し、当該同期用のアイソクロナスパケットを前記ネットワーク上に送信する同期用パケット送信手段を備え、
前記全ての１３９４カメラのノードは、前記同期用のアイソクロナスパケットの受信タイミングを基準として、前記１３９４カメラにおける各種動作を同期させる処理を実行するカメラ動作同期処理手段を備えることを特徴とするマルチカメラシステム。 A multi-camera system including a plurality of 1394 cameras and a video data collecting device that collects video data transmitted from each of the 1394 cameras by isochronous communication as nodes, wherein each of the nodes is network-connected by IEEE 1394;
Any one of the nodes issues a synchronization isochronous packet to all 1394 cameras connected to the IEEE 1394 network, and transmits the synchronization isochronous packet to the network. A packet transmission means,
A node of all the 1394 cameras includes camera operation synchronization processing means for executing processing for synchronizing various operations in the 1394 camera with reference to the reception timing of the synchronization isochronous packet. .
前記映像データ収集装置は、前記各１３９４カメラから収集した映像データの映像を表示するディスプレイを備え、
前記同期用パケット送信手段は、前記ディスプレイの垂直同期信号に同期した前記同期用のアイソクロナスパケットを送信することを特徴とする請求項１記載のマルチカメラシステム。 One of the nodes is the video data collection device,
The video data collection device includes a display for displaying video data collected from the 1394 cameras.
2. The multi-camera system according to claim 1, wherein the synchronization packet transmission unit transmits the synchronization isochronous packet synchronized with a vertical synchronization signal of the display.
前記ＩＥＥＥ１３９４のネットワークに接続される全ての１３９４カメラのノードは、
サイクルマスタのノードから送信されるサイクルスタートパケットに基づいて、同期信号を生成する同期信号生成手段と、
前記同期信号生成手段の生成した同期信号を基準として、前記１３９４カメラにおける各種動作を同期させる処理を実行するカメラ動作同期処理手段と、を備えることを特徴とするマルチカメラシステム。 A multi-camera system including a plurality of 1394 cameras and a video data collecting device that collects video data transmitted from each of the 1394 cameras by isochronous communication as nodes, wherein each of the nodes is network-connected by IEEE 1394;
All 1394 camera nodes connected to the IEEE 1394 network are:
Synchronization signal generating means for generating a synchronization signal based on a cycle start packet transmitted from a node of the cycle master;
A multi-camera system comprising: camera operation synchronization processing means for executing processing for synchronizing various operations in the 1394 camera with reference to the synchronization signal generated by the synchronization signal generation means.
前記サイクルスタートパケットに含まれる時間データを用いて、内部タイマを調整する内部タイマ調整手段を備え、
前記内部タイマ調整手段によって調整された内部タイマのカウントにより、前記同期信号を生成することを特徴とする請求項３記載のマルチカメラシステム。 The synchronization signal generating means includes
Using the time data included in the cycle start packet, comprising an internal timer adjusting means for adjusting the internal timer,
4. The multi-camera system according to claim 3, wherein the synchronization signal is generated based on a count of an internal timer adjusted by the internal timer adjusting means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005016064A JP2006203817A (en) | 2005-01-24 | 2005-01-24 | Multicamera system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005016064A JP2006203817A (en) | 2005-01-24 | 2005-01-24 | Multicamera system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2006203817A true JP2006203817A (en) | 2006-08-03 |
Family
ID=36961385
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005016064A Pending JP2006203817A (en) | 2005-01-24 | 2005-01-24 | Multicamera system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2006203817A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011092869A1 (en) * | 2010-01-26 | 2011-08-04 | 東芝テリー株式会社 | Camera device |
| WO2015068313A1 (en) * | 2013-11-11 | 2015-05-14 | 東芝テリー株式会社 | Synchronous camera |
| WO2015151522A1 (en) * | 2014-04-03 | 2015-10-08 | パナソニックＩｐマネジメント株式会社 | Rear-view verification device, and automobile equipped with same |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000011542A (en) * | 1998-06-24 | 2000-01-14 | Sony Corp | Information recorder and automobile mounting this information recorder |
| JP2000244914A (en) * | 1999-02-18 | 2000-09-08 | Matsushita Electric Ind Co Ltd | Camera device for multiplexing video and audio |
| WO2000072597A1 (en) * | 1999-05-24 | 2000-11-30 | Matsushita Electric Industrial Co., Ltd. | Image switching device and image outputting devices |
| JP2001094987A (en) * | 1999-09-22 | 2001-04-06 | Matsushita Electric Ind Co Ltd | Image data transmission method |
| JP2002247408A (en) * | 2001-02-13 | 2002-08-30 | Canon Inc | Image pickup system, image pickup device and control method |
| JP2003304529A (en) * | 2002-04-09 | 2003-10-24 | Sumitomo Electric Ind Ltd | Network system and image processing apparatus |
-
2005
- 2005-01-24 JP JP2005016064A patent/JP2006203817A/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000011542A (en) * | 1998-06-24 | 2000-01-14 | Sony Corp | Information recorder and automobile mounting this information recorder |
| JP2000244914A (en) * | 1999-02-18 | 2000-09-08 | Matsushita Electric Ind Co Ltd | Camera device for multiplexing video and audio |
| WO2000072597A1 (en) * | 1999-05-24 | 2000-11-30 | Matsushita Electric Industrial Co., Ltd. | Image switching device and image outputting devices |
| JP2001094987A (en) * | 1999-09-22 | 2001-04-06 | Matsushita Electric Ind Co Ltd | Image data transmission method |
| JP2002247408A (en) * | 2001-02-13 | 2002-08-30 | Canon Inc | Image pickup system, image pickup device and control method |
| JP2003304529A (en) * | 2002-04-09 | 2003-10-24 | Sumitomo Electric Ind Ltd | Network system and image processing apparatus |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102598654B (en) * | 2010-01-26 | 2015-01-28 | 东芝泰力株式会社 | Camera device |
| JP2011155410A (en) * | 2010-01-26 | 2011-08-11 | Toshiba Teli Corp | Camera device |
| WO2011092869A1 (en) * | 2010-01-26 | 2011-08-04 | 東芝テリー株式会社 | Camera device |
| EP2479979A1 (en) * | 2010-01-26 | 2012-07-25 | Toshiba Teli Corporation | Camera device |
| US20120200719A1 (en) * | 2010-01-26 | 2012-08-09 | Toshiba Teli Corporation | Camera apparatus |
| EP2479979A4 (en) * | 2010-01-26 | 2013-07-17 | Toshiba Teli Corp | Camera device |
| KR101396685B1 (en) * | 2010-01-26 | 2014-05-16 | 도시바 테리 가부시키가이샤 | Camera device |
| US8767077B2 (en) | 2010-01-26 | 2014-07-01 | Toshiba Teli Corporation | Camera apparatus functioning in response to received software trigger packets |
| CN102598654A (en) * | 2010-01-26 | 2012-07-18 | 东芝泰力株式会社 | Camera device |
| US9807282B2 (en) | 2013-11-11 | 2017-10-31 | Toshiba Teli Corporation | Synchronous camera |
| JP2015095720A (en) * | 2013-11-11 | 2015-05-18 | 東芝テリー株式会社 | Synchronous camera |
| WO2015068313A1 (en) * | 2013-11-11 | 2015-05-14 | 東芝テリー株式会社 | Synchronous camera |
| WO2015151522A1 (en) * | 2014-04-03 | 2015-10-08 | パナソニックＩｐマネジメント株式会社 | Rear-view verification device, and automobile equipped with same |
| WO2015151523A1 (en) * | 2014-04-03 | 2015-10-08 | パナソニックＩｐマネジメント株式会社 | Rear-view verification device, and automobile equipped with same |
| CN106165407A (en) * | 2014-04-03 | 2016-11-23 | 松下知识产权经营株式会社 | Back visibibility confirms device and loads its automobile |
| EP3128747A1 (en) * | 2014-04-03 | 2017-02-08 | Panasonic Intellectual Property Management Co., Ltd. | Rear-view verification device, and automobile equipped with same |
| JPWO2015151523A1 (en) * | 2014-04-03 | 2017-04-13 | パナソニックＩｐマネジメント株式会社 | Rear view confirmation device and car equipped with it |
| JPWO2015151522A1 (en) * | 2014-04-03 | 2017-04-13 | パナソニックＩｐマネジメント株式会社 | Rear view confirmation device and car equipped with it |
| EP3128747A4 (en) * | 2014-04-03 | 2017-05-03 | Panasonic Intellectual Property Management Co., Ltd. | Rear-view verification device, and automobile equipped with same |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3787498B2 (en) | Imaging apparatus and imaging system | |
| US7701487B2 (en) | Multicast control of motion capture sequences | |
| JP5855538B2 (en) | Imaging apparatus, imaging system, imaging method, and program | |
| CN103079088B (en) | Multi-screen video pre-filtering and synchronous broadcast method and system | |
| TWI744315B (en) | Processing apparatus, image sensor, and electronic system | |
| US20070013807A1 (en) | Digital camera | |
| US10091431B2 (en) | Method and apparatus for controlling synchronization of camera shutters in in-vehicle Ethernet communication network | |
| US20190149702A1 (en) | Imaging apparatus | |
| KR20190118548A (en) | Image sensor, and control system | |
| JP2006203817A (en) | Multicamera system | |
| JP2005013558A (en) | Subject information transmission system | |
| KR20210070746A (en) | Method and Apparatus for Synchronizing Camera Image Based on GM Clock Time Information | |
| JP2009147831A (en) | Image transmission device and wireless image reception device | |
| JP2009182754A (en) | Image processor | |
| KR102275141B1 (en) | Apparatus and method for synchronizing multi-stream data received from multiple sub-controller in vehicle ethernet network | |
| JP4445984B2 (en) | Synchronous camera | |
| JP2005176233A (en) | Communication apparatus and communication system | |
| JP4738251B2 (en) | Synchronous automatic adjustment device | |
| JP3991060B2 (en) | Imaging processing device | |
| JP7467130B2 (en) | Information processing device, information processing method, and program | |
| JP2004023397A (en) | Image processing system | |
| JP2002223434A (en) | Video monitoring system and video monitoring method | |
| JP4336574B2 (en) | Control device and control program | |
| TW202335473A (en) | Communication device, communication method, and program | |
| WO2023201822A1 (en) | Multi-camera synchronous correction method and apparatus, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070424 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100310 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100323 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100521 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110315 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110705 |