JP7492331B2 - IMAGE PROCESSING APPARATUS, CONTROL METHOD AND PROGRAM FOR IMAGE PROCESSING APPARATUS - Google Patents

IMAGE PROCESSING APPARATUS, CONTROL METHOD AND PROGRAM FOR IMAGE PROCESSING APPARATUS Download PDF

Info

Publication number
JP7492331B2
JP7492331B2 JP2019224023A JP2019224023A JP7492331B2 JP 7492331 B2 JP7492331 B2 JP 7492331B2 JP 2019224023 A JP2019224023 A JP 2019224023A JP 2019224023 A JP2019224023 A JP 2019224023A JP 7492331 B2 JP7492331 B2 JP 7492331B2
Authority
JP
Japan
Prior art keywords
image processing
processing device
image
image data
transfer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019224023A
Other languages
Japanese (ja)
Other versions
JP2021093661A (en
Inventor
昭彦 熊取谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019224023A priority Critical patent/JP7492331B2/en
Publication of JP2021093661A publication Critical patent/JP2021093661A/en
Application granted granted Critical
Publication of JP7492331B2 publication Critical patent/JP7492331B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Small-Scale Networks (AREA)

Description

本発明は、画像処理装置、画像処理装置の制御方法及びプログラムに関するものである。 The present invention relates to an image processing device, a control method for an image processing device, and a program.

近年、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数の画像を用いて仮想視点画像を生成する技術が注目されている。このような仮想視点画像を生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することができるため、通常の画像と比較してユーザに高臨場感を与えることができる。 In recent years, technology has been gaining attention for its use in which multiple cameras are installed in different positions to capture images from multiple viewpoints simultaneously, and a virtual viewpoint image is generated using the multiple images obtained by the capture. This technology for generating virtual viewpoint images allows users to view, for example, highlight scenes from a soccer or basketball game from a variety of angles, providing a greater sense of realism to the user than with normal images.

また、仮想視点画像の生成及び閲覧は、複数のカメラが撮影した画像をサーバなどに集約し、当該サーバにおいて三次元モデル生成やレンダリングなどの処理を施し、ユーザ端末に伝送を行うことで実現できる。このような仮想視点画像を生成するシステムでは、複数のカメラが複数の画像を取得し、サーバに伝送することが必要であり、伝送経路の十分な帯域が確保できないと生成する仮想視点画像の画質劣化を招くことになる。また、シーンによりカメラ毎に必要となる伝送帯域が動的に変化する場合には適応的に帯域を割り当てる必要がある。 In addition, virtual viewpoint images can be generated and viewed by collecting images captured by multiple cameras on a server or the like, performing processing such as three-dimensional model generation and rendering on the server, and transmitting the images to a user terminal. In a system that generates such virtual viewpoint images, multiple cameras need to capture multiple images and transmit them to the server, and if sufficient bandwidth cannot be secured for the transmission path, the image quality of the generated virtual viewpoint image will deteriorate. In addition, if the transmission bandwidth required for each camera dynamically changes depending on the scene, it is necessary to allocate the bandwidth adaptively.

これに対して、特許文献１は、トークン制御方式によりデータ送信を行う伝送手法を開示している。トークンを使用してカメラ毎に撮影データの送信タイミングを決定することにより、カメラ毎に無駄のない帯域割り当てが可能である。 In response to this, Patent Document 1 discloses a transmission method that transmits data using a token control method. By using tokens to determine the transmission timing of captured data for each camera, it is possible to allocate bandwidth to each camera efficiently.

特開平１１－２２０４７３号公報Japanese Patent Application Laid-Open No. 11-220473

しかしながら、特許文献１に記載の技術では、撮影データの伝送だけでなくトークンをカメラ間で還流させて制御するための仕組みが必要である。また、カメラの台数が増えるとトークンを取得して送信を開始するまでのオーバーヘッドが大きくなる。 However, the technology described in Patent Document 1 requires a mechanism for controlling the circulation of tokens between cameras in addition to transmitting captured data. Also, as the number of cameras increases, the overhead required to obtain a token and start transmission increases.

本発明は、上記の課題に鑑みてなされたものであり、画像処理装置において、処理された画像データを適切に送信するための技術を提供することを目的とする。 The present invention has been made in consideration of the above problems, and aims to provide a technique for appropriately transmitting processed image data in an image processing device.

上記の目的を達成する本発明に係る画像処理装置の一態様は、
複数の撮影装置により同期して撮影を行う撮影システムにおける、第１画像処理装置及び第２画像処理装置と接続された画像処理装置であって、
前記第１画像処理装置から、前記第１画像処理装置により処理された画像データを受信する受信手段と、
前記受信手段により受信した前記画像データを、前記第２画像処理装置に転送する転送手段と、
前記受信手段により受信した前記画像データのヘッダ情報に基づいて、前記受信手段により受信した前記画像データの前記第２画像処理装置への転送が終了することを検知する検知手段と、
前記検知手段により前記受信手段により受信した前記画像データの前記第２画像処理装置への転送が終了することが検知されたことに基づいて、前記画像処理装置が処理した画像データを前記第２画像処理装置に送信する送信手段と、
前記複数の撮影装置による撮影の同期信号に基づいて、時間を計測する計測手段と、
を有し、
前記送信手段は、前記計測手段により計測する時間が所定時間を経過する前に前記検知手段により前記転送の終了が検知されない場合、前記画像処理装置が処理した画像データを破棄することを特徴とする。

 One aspect of the image processing device according to the present invention that achieves the above object is to
An image processing device connected to a first image processing device and a second image processing device in an imaging system that synchronously captures images using a plurality of imaging devices ,
a receiving means for receiving image data processed by the first image processing device from the first image processing device;
a transfer means for transferring the image data received by the receiving means to the second image processing device;
a detection means for detecting that transfer of the image data received by the receiving means to the second image processing device is completed based on header information of the image data received by the receiving means;
a transmitting means for transmitting the image data processed by the image processing device to the second image processing device based on the detection means detecting that the transfer of the image data received by the receiving means to the second image processing device is completed;
a time measuring means for measuring time based on a synchronization signal of the plurality of image capturing devices;
having
The transmitting means is characterized in that if the detection means does not detect the end of the transfer before the time measured by the measurement means reaches a predetermined time, the transmitting means discards the image data processed by the image processing device .

本発明によれば、画像処理装置において、処理された画像データを適切に送信することが可能となる。 According to the present invention, it is possible for an image processing device to appropriately transmit processed image data.

一実施形態における撮影システムの構成を説明するための図である。FIG. 1 is a diagram illustrating a configuration of an imaging system according to an embodiment. 一実施形態におけるカメラ及びカメラアダプタの配置と注視点の位置とを説明するための図である。1A and 1B are diagrams for explaining the arrangement of a camera and a camera adapter and the position of a gaze point in one embodiment. （ａ）一実施形態におけるカメラアダプタのハードウェア構成の一例を示す図であり、（ｂ）一実施形態におけるカメラアダプタの機能構成の一例を示す図である。FIG. 2A is a diagram showing an example of a hardware configuration of a camera adapter according to an embodiment; FIG. 2B is a diagram showing an example of a functional configuration of the camera adapter according to an embodiment; 一実施形態におけるヘッダフォーマットを示した図である。FIG. 2 illustrates a header format in one embodiment. 実施形態１における転送動作の手順を示すフローチャートである。5 is a flowchart showing a procedure of a transfer operation in the first embodiment. 実施形態１における送信動作の手順を示すフローチャートである。5 is a flowchart showing a procedure of a transmission operation in the first embodiment. 実施形態１における撮影システムの動作シーケンスを示した図である。FIG. 4 is a diagram showing an operation sequence of the imaging system in the first embodiment. 実施形態２における転送動作の手順を示すフローチャートである。10 is a flowchart showing the procedure of a transfer operation in the second embodiment. 実施形態２における送信動作の手順を示すフローチャートである。10 is a flowchart showing the procedure of a transmission operation in the second embodiment.

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。 The following embodiments are described in detail with reference to the attached drawings. Note that the following embodiments do not limit the invention according to the claims. Although the embodiments describe multiple features, not all of these multiple features are necessarily essential to the invention, and multiple features may be combined in any manner. Furthermore, in the attached drawings, the same reference numbers are used for the same or similar configurations, and duplicate explanations are omitted.

（実施形態１）
まず、図１を参照しながら、競技場（スタジアム）やコンサートホールなどの施設に複数のカメラを設置して撮影を行う撮影システムについて説明する。撮影システム１００は、カメラ（撮影装置）１１２ａ－１１２ｈ、カメラアダプタ（画像処理装置）１２０ａ－１２０ｈ、スイッチングハブ１８０、画像コンピューティングサーバ２００、タイムサーバ２９０、及びコントローラ３００を含んで構成される。 (Embodiment 1)
First, an imaging system that captures images by installing multiple cameras in a facility such as a sports field (stadium) or concert hall will be described with reference to Fig. 1. The imaging system 100 includes cameras (imaging devices) 112a-112h, camera adapters (image processing devices) 120a-120h, a switching hub 180, an image computing server 200, a time server 290, and a controller 300.

本実施形態において、特別な説明がない場合は、カメラ１１２ａからカメラ１１２ｈまでを区別せずカメラ１１２と記載する。同様にカメラアダプタ１２０ａ－１２０ｈも特別な説明がない場合は区別せず、カメラアダプタ１２０と記載する。 In this embodiment, unless otherwise specified, cameras 112a through 112h will not be differentiated from one another and will be referred to as camera 112. Similarly, unless otherwise specified, camera adapters 120a through 120h will not be differentiated from one another and will be referred to as camera adapter 120.

なお、本実施形態では、特に断りがない限り、画像という文言が、動画と静止画の概念を含むものとして説明する。すなわち、本実施形態の撮影システム１００は、静止画及び動画の何れについても撮影可能である。 In this embodiment, unless otherwise specified, the term "image" is explained as including the concepts of moving images and still images. In other words, the imaging system 100 of this embodiment is capable of capturing both still images and moving images.

本実施形態の撮影システム１００では、スイッチングハブ１８０に対して画像コンピューティングサーバ２００、タイムサーバ２９０、カメラアダプタ１２０ａが接続されている。そして、画像コンピューティングサーバ２００に対してコントローラ３００が接続されている。また、カメラアダプタ１２０ａ－１２０ｈはデイジーチェーン接続されている。また、カメラ１１２ａ－１１２ｈは、それぞれ１台ずつのカメラアダプタ１２０ａ－１２０ｈと関連づけられ、接続されている。 In the imaging system 100 of this embodiment, an image computing server 200, a time server 290, and a camera adapter 120a are connected to a switching hub 180. A controller 300 is connected to the image computing server 200. The camera adapters 120a-120h are connected in a daisy chain. The cameras 112a-112h are associated with and connected to the camera adapters 120a-120h, respectively.

カメラアダプタ１２０は、カメラ１１２と接続し、カメラ１１２の制御、撮影した画像の取得、同期信号の提供、及び時刻設定などを行う機能を有している。カメラ１１２の制御には、例えば撮影パラメータ（画素数、色深度、フレームレート、及びホワイトバランスの設定など）の設定及び参照、カメラ１１２の状態（撮影中、停止中、同期中、及びエラーなど）の取得、撮影の開始及び停止や、ピント調整などがある。同期信号の提供は、カメラアダプタ１２０がタイムサーバ２９０と同期した時刻を利用し、撮影タイミング（制御クロック）をカメラ１１２に提供することで行われる。時刻設定は、カメラアダプタ１２０がタイムサーバ２９０と同期した時刻を、例えばＳＭＰＴＥ１２Ｍのフォーマットに準拠したタイムコードで提供することで行われる。これにより、カメラ１１２から受け取る画像データに提供したタイムコードが付与されることになる。なお、タイムコードのフォーマットはＳＭＰＴＥ１２Ｍに限定されるわけではなく、他のフォーマットであってもよい。 The camera adapter 120 is connected to the camera 112 and has functions such as controlling the camera 112, acquiring captured images, providing a synchronization signal, and setting the time. The control of the camera 112 includes, for example, setting and referencing shooting parameters (such as the number of pixels, color depth, frame rate, and white balance settings), acquiring the state of the camera 112 (shooting, stopped, synchronizing, error, etc.), starting and stopping shooting, and adjusting the focus. The synchronization signal is provided by providing the shooting timing (control clock) to the camera 112 using the time synchronized by the camera adapter 120 with the time server 290. The time is set by providing the time synchronized by the camera adapter 120 with the time server 290 in a time code that conforms to the SMPTE12M format, for example. As a result, the provided time code is added to the image data received from the camera 112. Note that the time code format is not limited to SMPTE12M and may be another format.

コントローラ３００は、撮影システム１００のネットワークを介してカメラアダプタ１２０ａ－１２０ｈに制御信号を送ることによりカメラ１１２ａ－１１２ｈの撮影を制御する。また、コントローラ３００は、ネットワークを介してカメラ１１２ａ－１１２ｈが撮影した画像データを画像コンピューティングサーバ２００に転送するとともに画像コンピューティングサーバ２００から選択した画像データを取り出す。 The controller 300 controls the photography of the cameras 112a-112h by sending control signals to the camera adapters 120a-120h via the network of the photography system 100. The controller 300 also transfers image data captured by the cameras 112a-112h to the image computing server 200 via the network, and retrieves selected image data from the image computing server 200.

図２は、一実施形態における注視点及びカメラ配置を説明する図である。カメラ１１２ａ－１１２ｈおよびカメラアダプタ１２０ａ－１２０ｈは、フィールド２５０を取り囲むように設置されている。また、カメラ１１２ａ－１１２ｈは、各々光軸が注視点Ａを向くようになっている。 Figure 2 is a diagram explaining the gaze point and camera arrangement in one embodiment. The cameras 112a-112h and camera adapters 120a-120h are installed to surround the field 250. In addition, the optical axis of each of the cameras 112a-112h is directed toward the gaze point A.

＜ハードウェア構成＞
図３（ａ）を用いて、画像処理装置として機能するカメラアダプタ１２０のハードウェア構成について説明する。カメラアダプタ１２０は、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、補助記憶装置２１４、通信Ｉ／Ｆ２１５、及びバス２１６を有する。 <Hardware Configuration>
3A, the hardware configuration of the camera adapter 120 functioning as an image processing device will be described. The camera adapter 120 includes a CPU 211, a ROM 212, a RAM 213, an auxiliary storage device 214, a communication I/F 215, and a bus 216.

ＣＰＵ２１１は、ＲＯＭ２１２やＲＡＭ２１３に格納されているコンピュータプログラムやデータを用いてカメラアダプタ１２０の全体を制御することで、図１に示すカメラアダプタ１２０の各機能を実現する。なお、カメラアダプタ１２０がＣＰＵ２１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ２１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ２１２は、変更を必要としないプログラムなどを格納する。ＲＡＭ２１３は、補助記憶装置２１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ２１５を介して外部から供給されるデータなどを一時記憶する。補助記憶装置２１４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。 The CPU 211 realizes each function of the camera adapter 120 shown in FIG. 1 by controlling the entire camera adapter 120 using computer programs and data stored in the ROM 212 and the RAM 213. The camera adapter 120 may have one or more dedicated hardware components different from the CPU 211, and at least a part of the processing by the CPU 211 may be executed by the dedicated hardware components. Examples of the dedicated hardware components include an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array), and a DSP (Digital Signal Processor). The ROM 212 stores programs that do not require modification. The RAM 213 temporarily stores programs and data supplied from the auxiliary storage device 214, and data supplied from the outside via the communication I/F 215. The auxiliary storage device 214 is composed of, for example, a hard disk drive, and stores various data such as image data and audio data.

通信Ｉ／Ｆ２１５は、カメラアダプタ１２０の外部の装置との通信に用いられる。例えば、カメラアダプタ１２０が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２１５に接続される。カメラアダプタ１２０が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ２１５はアンテナを備える。バス２１６は、カメラアダプタ１２０の各部をつないで情報を伝達する。 The communication I/F 215 is used for communication between the camera adapter 120 and an external device. For example, if the camera adapter 120 is connected to an external device via a wired connection, a communication cable is connected to the communication I/F 215. If the camera adapter 120 has a function for wireless communication with an external device, the communication I/F 215 is equipped with an antenna. The bus 216 connects each part of the camera adapter 120 to transmit information.

＜機能構成＞
次に、図３（ｂ）を用いて、画像処理装置として機能するカメラアダプタ１２０の機能構成について説明する。図３（ｂ）は、特にカメラアダプタ１２０の送受信処理部１３０周辺の構成を示している。図３（ｂ）に示すように、カメラアダプタ１２０は、撮影データ生成部１２１、送受信処理部１３０、ポート１２２、及びポート１２３を備えている。送受信処理部１３０は、受信データ保持部１３１、受信処理部１３２、送信処理部１３３、送品データ保持部１３４、カウンタ１３５、及びカウンタ１３６を備えている。 <Functional configuration>
Next, the functional configuration of the camera adapter 120 functioning as an image processing device will be described with reference to Fig. 3(b). Fig. 3(b) particularly shows the configuration around the transmission/reception processing unit 130 of the camera adapter 120. As shown in Fig. 3(b), the camera adapter 120 includes a photographing data generating unit 121, a transmission/reception processing unit 130, a port 122, and a port 123. The transmission/reception processing unit 130 includes a received data holding unit 131, a reception processing unit 132, a transmission processing unit 133, a delivery data holding unit 134, a counter 135, and a counter 136.

撮影データ生成部１２１は、カメラ１１２が撮影した画像データを送信する。ポート１２２及びポート１２３は、隣接するカメラアダプタ１２０間でパケットを送受信するための入力部及び出力部である。 The image data generation unit 121 transmits image data captured by the camera 112. The ports 122 and 123 are input and output units for transmitting and receiving packets between adjacent camera adapters 120.

送受信処理部１３０は、カメラアダプタ１２０が送受信するパケットを処理する。受信データ保持部１３１は、ポート１２２が受信したパケットを一時保持する。受信処理部１３２は、受信データ保持部１３１に一時保持した受信パケットのヘッダ情報に基づいて受信処理を行う。 The transmission/reception processing unit 130 processes packets transmitted and received by the camera adapter 120. The received data holding unit 131 temporarily holds packets received by the port 122. The reception processing unit 132 performs reception processing based on the header information of the received packets temporarily held in the received data holding unit 131.

送信処理部１３３は、受信処理部１３２で受信処理された受信データおよび撮影データ生成部１２１で生成された撮影データを送信するための送信処理を行う。送信データ保持部１３４は、送信処理部１３３で送信処理された送信データを一時保持する。

 The transmission processing unit 133 performs a transmission process for transmitting the reception data that has been subjected to the reception processing by the reception processing unit 132 and the photographing data that has been generated by the photographing data generating unit 121. The transmission data holding unit 134 temporarily holds the transmission data that has been subjected to the transmission processing by the transmission processing unit 133.

カウンタ１３５は、カメラ１１２の垂直同期信号に基づくフレーム開始時にリセットされた後、クロックをカウントする。所定値に達すると、カメラアダプタ１２０における転送を不可の状態にする。カウンタ１３６は、カメラ１１２の垂直同期信号に基づくフレーム開始時にリセットされた後、クロックをカウントする。所定値に達すると、カメラ１１２が生成した撮影データが破棄される。 The counter 135 is reset at the start of a frame based on the vertical synchronization signal of the camera 112, and then counts the clock. When a predetermined value is reached, transfer in the camera adapter 120 is disabled. The counter 136 is reset at the start of a frame based on the vertical synchronization signal of the camera 112, and then counts the clock. When a predetermined value is reached, the captured data generated by the camera 112 is discarded.

＜ヘッダフォーマット＞
図４は、インターネットプロトコルのヘッダフォーマットを示す図である。本実施形態においては、図１に示したネットワーク上でカメラアダプタ１２０から画像コンピューティングサーバ２００に、カメラ１１２の撮影データにヘッダを付加したパケットを送信する。本実施形態では、ヘッダの生存時間フィールド４０２に全てのカメラアダプタ１２０に共通の初期値を与えカメラアダプタ１２０を１つ経由する毎に１減じていく。このため転送するパケットの生存時間フィールド４０２の値が"初期値－１"であれば１つ上流の隣接したカメラアダプタ１２０が送信した撮影データであることが判別できる。また本実施形態では、フラグフィールド４０１のビット２を参照してフラグメント化された後続のパケットがあるかどうかを判別する。 <Header format>
4 is a diagram showing a header format of the Internet Protocol. In this embodiment, a packet in which a header is added to the photographic data of the camera 112 is transmitted from the camera adapter 120 to the image computing server 200 on the network shown in FIG. 1. In this embodiment, a common initial value is given to all the camera adapters 120 in the time-to-live field 402 of the header, and one is subtracted each time the packet passes through a camera adapter 120. Therefore, if the value of the time-to-live field 402 of the packet to be transferred is "initial value - 1", it can be determined that the photographic data was transmitted by the adjacent camera adapter 120 one step upstream. In this embodiment, bit 2 of the flag field 401 is referenced to determine whether there is a subsequent fragmented packet.

＜カメラアダプタの転送動作＞
図５は、実施形態１におけるカメラアダプタ１２０、特に送受信処理部１３０の転送動作の手順を示すフローチャートである。 <Camera adapter transfer operation>
FIG. 5 is a flowchart showing the procedure of the transfer operation of the camera adapter 120, particularly the transmission/reception processing unit 130, in the first embodiment.

ステップＳ５０１において、送受信処理部１３０は、カメラ１１２の垂直同期信号をモニタしており、フレーム開始を検知する。そして、フレーム開始を検知した後、カウンタ１３５はクロックのカウントを開始し、ステップＳ５０２へ進む。一方、フレーム開始を検知していない場合、検知するまで待機する。 In step S501, the transmission/reception processing unit 130 monitors the vertical synchronization signal of the camera 112 and detects the start of a frame. After detecting the start of a frame, the counter 135 starts counting the clock and the process proceeds to step S502. On the other hand, if the start of a frame has not been detected, the process waits until it is detected.

ステップＳ５０２において、送受信処理部１３０は、カウンタ１３５のカウント値があらかじめ設定された値に達してタイムアウトしたか否かを判定する。タイムアウトしたと判定された場合、ステップＳ５０８へ進む。一方、タイムアウトしていないと判定された場合、ステップＳ５０３へ進む。 In step S502, the transmission/reception processing unit 130 determines whether the count value of the counter 135 has reached a preset value and timed out. If it is determined that a timeout has occurred, the process proceeds to step S508. On the other hand, if it is determined that a timeout has not occurred, the process proceeds to step S503.

ステップＳ５０３において、カメラアダプタ１２０は、ポート１２２を介して上流側のカメラアダプタ１２０から転送されたパケットを受信したか否かを判定する。パケットを受信した場合、ステップＳ５０４へ進む。一方、パケットを受信していない場合、ステップＳ５０２に戻る。 In step S503, the camera adapter 120 determines whether or not a packet transferred from the upstream camera adapter 120 via the port 122 has been received. If a packet has been received, the process proceeds to step S504. On the other hand, if a packet has not been received, the process returns to step S502.

ステップＳ５０４において、受信処理部１３２は、送受信処理部１３０内の転送ステータスが転送可になっているか否かを判定する。本実施形態では、送受信処理部１３０は上流側のカメラアダプタ１２０が送信する撮影データを全て転送したと判断するまでは転送ステータスは転送可であり、全ての転送が終了した後は転送不可となる。転送可であると判定された場合、ステップＳ５０５へ進む。一方、転送不可であると判定された場合、ステップＳ５０９へ進む。 In step S504, the reception processing unit 132 determines whether the transfer status in the transmission/reception processing unit 130 is transferable. In this embodiment, the transfer status is transferable until the transmission/reception processing unit 130 determines that all of the captured data sent by the upstream camera adapter 120 has been transferred, and then becomes transferable after all transfer is completed. If it is determined that transfer is possible, the process proceeds to step S505. On the other hand, if it is determined that transfer is not possible, the process proceeds to step S509.

ステップＳ５０５において、転送ステータスが転送可であるため、カメラアダプタ１２０は、ポート１２３を介して下流側のカメラアダプタ１２０にデータを転送する。 In step S505, since the transfer status is transferable, the camera adapter 120 transfers the data to the downstream camera adapter 120 via port 123.

ステップＳ５０６において、カメラアダプタ１２０は、受信したパケットのヘッダ情報を参照し、生存時間フィールド４０２から、受信パケットが隣接しているカメラアダプタ１２０の撮影データであるか否かを判定する。前述したように受信パケットの生存時間フィールド４０２が初期値－１であれば隣接したカメラアダプタ１２０の送信データを転送していると判定することができる。そして、隣接するカメラアダプタ１２０の撮影データであると判定された場合、ステップＳ５０７へ進む。一方、隣接するカメラアダプタ１２０の撮影データではないと判定された場合、ステップＳ５１０へ進む。 In step S506, the camera adapter 120 references the header information of the received packet and determines from the time to live field 402 whether the received packet is image capture data of an adjacent camera adapter 120. As described above, if the time to live field 402 of the received packet is the initial value -1, it can be determined that transmission data of an adjacent camera adapter 120 is being transferred. If it is determined that the data is image capture data of an adjacent camera adapter 120, the process proceeds to step S507. On the other hand, if it is determined that the data is not image capture data of an adjacent camera adapter 120, the process proceeds to step S510.

ステップＳ５０７において、受信処理部１３２は、受信パケットのフラグフィールド４０１を参照し、後続するフラグメントデータがあるか否か、すなわちラストフラグであるか否かを判定する。後続するフラグメントデータがあると判定された場合は、ラストフラグではないので、ステップＳ５１０へ進む。一方、後続するフラグメントデータがないと判定された場合は、ラストフラグであるので、ステップＳ５０８へ進む。 In step S507, the reception processing unit 132 refers to the flag field 401 of the received packet and determines whether or not there is subsequent fragment data, i.e., whether or not it is the last flag. If it is determined that there is subsequent fragment data, it is not the last flag, so the process proceeds to step S510. On the other hand, if it is determined that there is no subsequent fragment data, it is the last flag, so the process proceeds to step S508.

ステップＳ５０８において、受信処理部１３２は、転送ステータスを転送不可に変更する。例えば、ステップＳ５０７からステップＳ５０８へ遷移した場合、転送したパケットが隣接したカメラアダプタ１２０の最後のパケットであるため、上流側のカメラアダプタ１２０の撮影データを全て転送したと判定し、転送ステータスを転送不可に変更する。 In step S508, the reception processing unit 132 changes the transfer status to transfer not possible. For example, when transitioning from step S507 to step S508, since the transferred packet is the last packet of the adjacent camera adapter 120, it is determined that all the image capture data of the upstream camera adapter 120 has been transferred, and the transfer status is changed to transfer not possible.

ステップＳ５０９において、受信処理部１３２は、受信したパケットを破棄し、ステップＳ５１０に進む。 In step S509, the reception processing unit 132 discards the received packet and proceeds to step S510.

ステップＳ５１０において、送受信処理部１３０は、次のフレーム開始を検知する。そして、次のフレーム開始が検知されない場合は、ステップＳ５０２に戻る。一方、次のフレーム開始が検知された場合は、ステップＳ５１１へ進む。 In step S510, the transmission/reception processing unit 130 detects the start of the next frame. If the start of the next frame is not detected, the process returns to step S502. On the other hand, if the start of the next frame is detected, the process proceeds to step S511.

ステップＳ５１１において、送受信処理部１３０は、転送ステータスを転送可に変更した後、ステップＳ５１２へ進む。 In step S511, the transmission/reception processing unit 130 changes the forwarding status to forwardable, and then proceeds to step S512.

ステップＳ５１２において、カメラアダプタ１２０は、処理を終了するか否かを判定する。処理を終了しない場合、ステップＳ５０２に戻り、一連の処理を繰り返す。 In step S512, the camera adapter 120 determines whether or not to end the process. If not, the process returns to step S502 and repeats the series of steps.

なお、ステップＳ５０８以降、次のフレームになるまで送受信処理部１３０は通常はパケットを受信しない。しかし、異常なケースとしてパケットを受信した場合、ステップＳ５０２からステップＳ５０３、ステップＳ５０４へ進み、転送ステータスが転送不可であるためステップＳ５０９へ進み、その結果、受信した異常なパケットは破棄されることになる。 After step S508, the transmission/reception processing unit 130 normally does not receive packets until the next frame. However, if a packet is received as an abnormal case, the process proceeds from step S502 to step S503 and step S504, and because the forwarding status indicates that forwarding is not possible, the process proceeds to step S509, and as a result, the received abnormal packet is discarded.

＜カメラアダプタの送信動作＞
図６は、実施形態１におけるカメラアダプタ１２０、特に送受信処理部１３０の送信動作の手順を示すフローチャートである。 <Camera adapter transmission operation>
FIG. 6 is a flowchart showing the procedure of the transmission operation of the camera adapter 120, particularly the transmission/reception processing unit 130, in the first embodiment.

ステップＳ６０１において、送受信処理部１３０は、カメラ１１２の垂直同期信号をモニタしており、フレーム開始を検知する。そして、フレーム開始を検知した後、カウンタ１３６はクロックのカウントを開始し、ステップＳ６０２へ進む。一方、フレーム開始を検知していない場合、検知するまで待機する。 In step S601, the transmission/reception processing unit 130 monitors the vertical synchronization signal of the camera 112 and detects the start of a frame. After detecting the start of a frame, the counter 136 starts counting the clock and the process proceeds to step S602. On the other hand, if the start of a frame has not been detected, the process waits until it is detected.

ステップＳ６０２において、送受信処理部１３０は、カウンタ１３６のカウント値があらかじめ設定された値に達してタイムアウトしたか否かを判定する。タイムアウトしたと判定された場合、ステップＳ６０５へ進む。一方、タイムアウトしていないと判定された場合、ステップＳ６０３へ進む。 In step S602, the transmission/reception processing unit 130 determines whether the count value of the counter 136 has reached a preset value and timed out. If it is determined that a timeout has occurred, the process proceeds to step S605. On the other hand, if it is determined that a timeout has not occurred, the process proceeds to step S603.

ステップＳ６０３において、受信処理部１３２は、送受信処理部１３０内の転送ステータスを参照し、転送ステータスが転送可になっているか否かを判定する。転送可であると判定された場合、ステップＳ６０２に戻る。一方、転送不可であると判定された場合、ステップＳ６０４へ進む。 In step S603, the reception processing unit 132 refers to the forwarding status in the transmission/reception processing unit 130 and determines whether the forwarding status is forwardable. If it is determined that the forwarding status is forwardable, the process returns to step S602. On the other hand, if it is determined that the forwarding status is not forwardable, the process proceeds to step S604.

ステップＳ６０４において、送受信処理部１３０は、送信データ保持部１３４に一時保持していた送信データを、ポート１２３を介して次のカメラアダプタ１２０に送信する。なお、送信データ保持部１３４に一時保持していた送信データは、カメラ１１２が撮影したデータに送信処理部１３３がヘッダを付加したものである。 In step S604, the transmission/reception processing unit 130 transmits the transmission data temporarily stored in the transmission data storage unit 134 to the next camera adapter 120 via the port 123. Note that the transmission data temporarily stored in the transmission data storage unit 134 is data captured by the camera 112 to which a header has been added by the transmission processing unit 133.

ステップＳ６０５において、送受信処理部１３０は、送信データ保持部１３４に一時保持していた送信データを破棄する。このように、所定時間内に転送の終了が検知されない場合、カメラアダプタ１２０が処理した画像データを破棄する。 In step S605, the transmission/reception processing unit 130 discards the transmission data temporarily stored in the transmission data storage unit 134. In this way, if the end of the transfer is not detected within a predetermined time, the image data processed by the camera adapter 120 is discarded.

ステップ６０６において、カメラアダプタ１２０は、処理を終了するか否かを判定する。処理を終了しない場合、ステップＳ６０１に戻り、一連の処理を繰り返す。 In step S606, the camera adapter 120 determines whether or not to end the process. If not, the process returns to step S601 and repeats the series of steps.

なお、所定時間内に転送の終了が検知されない場合には、カメラアダプタ１２０が処理した画像データの下流側のカメラアダプタへの送信を開始するようにしてもよい。 If the end of the transfer is not detected within a specified time, the camera adapter 120 may start sending the processed image data to the downstream camera adapter.

＜撮影システムの動作＞
図７は、実施形態１における撮影システム１００の動作シーケンスを示した図である。 <Operation of the imaging system>
FIG. 7 is a diagram showing an operation sequence of the imaging system 100 in the first embodiment.

ステップＳ７０１において、コントローラ３００が、各カメラアダプタ１２０を介してカメラ１１２の撮影条件を決定するカメラパラメータを設定する。また、コントローラ３００は、カメラアダプタ１２０およびカメラ１１２の時刻同期を行う。 In step S701, the controller 300 sets camera parameters that determine the shooting conditions of the camera 112 via each camera adapter 120. The controller 300 also performs time synchronization between the camera adapter 120 and the camera 112.

ステップＳ７０２において、コントローラ３００は、各カメラアダプタ１２０に送受信制御に関する送受信パラメータを設定する。ステップＳ７０３において、コントローラ３００は、カメラアダプタ１２０を介してカメラ１１２に撮影を開始させる。 In step S702, the controller 300 sets transmission and reception parameters related to transmission and reception control in each camera adapter 120. In step S703, the controller 300 causes the camera 112 to start capturing images via the camera adapter 120.

ステップＳ７０４において、カメラ１１２は、１フレーム期間、撮影を行う。ステップＳ７０５において、カメラ１１２は、カメラアダプタ１２０に対して１フレーム分の画像データを出力する。ステップＳ７０６において、カメラアダプタ１２０ｈは、カメラ１１２ｈが撮影したデータにヘッダを付加して隣接するカメラアダプタ１２０ｇに送信する。 In step S704, the camera 112 captures images for one frame period. In step S705, the camera 112 outputs image data for one frame to the camera adapter 120. In step S706, the camera adapter 120h adds a header to the data captured by the camera 112h and transmits the data to the adjacent camera adapter 120g.

ステップＳ７０７において、カメラアダプタ１２０ｇは、隣接するカメラアダプタ１２０ｈからカメラ１１２ｈが撮影したデータを受信し、隣接するカメラアダプタ１２０ｆに転送する。同様に、カメラアダプタ１２０ｆから、カメラ１１２ｈが撮影したデータを、カメラアダプタ１２０ｅ、カメラアダプタ１２０ｄ、カメラアダプタ１２０ｃ、カメラアダプタ１２０ｂと順次転送する。 In step S707, camera adapter 120g receives data captured by camera 112h from adjacent camera adapter 120h and transfers the data to adjacent camera adapter 120f. Similarly, camera adapter 120f transfers data captured by camera 112h to camera adapter 120e, camera adapter 120d, camera adapter 120c, and camera adapter 120b in sequence.

そして、ステップＳ７１２において、カメラアダプタ１２０ｂから、カメラ１１２ｈが撮影したデータをカメラアダプタ１２０ａに転送する。その後、ステップＳ７１３において、カメラアダプタ１２０ａから、カメラ１１２ｈが撮影したデータを画像コンピューティングサーバ２００に転送する。このようにして、カメラアダプタ１２０ｈからカメラ１１２ｈが撮影したデータを画像コンピューティングサーバ２００に送信することができる。 Then, in step S712, the data captured by the camera 112h is transferred from the camera adapter 120b to the camera adapter 120a. After that, in step S713, the data captured by the camera 112h is transferred from the camera adapter 120a to the image computing server 200. In this way, the data captured by the camera 112h can be transmitted from the camera adapter 120h to the image computing server 200.

一方、ステップＳ７０７において、カメラアダプタ１２０ｇが、カメラ１１２ｈが撮影したデータの転送を終了したことを検知すると、ステップＳ７１４において、カメラアダプタ１２０ｇはカメラ１１２ｇが撮影したデータをカメラアダプタ１２０ｆに送信する。そして、カメラ１１２ｈの場合と同様にカメラ１１２ｇが撮影したデータは最終的に画像コンピューティングサーバ２００に転送される。同様の手順で、カメラ１１２ｆからカメラ１１２ａが各々撮影したデータを画像コンピューティングサーバ２００に送信する。 On the other hand, when the camera adapter 120g detects in step S707 that the transfer of the data captured by the camera 112h has been completed, in step S714 the camera adapter 120g transmits the data captured by the camera 112g to the camera adapter 120f. Then, as in the case of the camera 112h, the data captured by the camera 112g is finally transferred to the image computing server 200. In a similar procedure, the data captured by the cameras 112f to 112a is transmitted to the image computing server 200.

以上説明したステップＳ７０６以降に示したカメラ１１２が撮影したデータの画像コンピューティングサーバ２００への送信は１フレーム期間内に完了する必要がある。カメラ１１２は、ステップＳ７０４に示した撮影動作と撮影データの伝送動作とを並行して行うことができる。そのため、カメラアダプタ１２０は、画像コンピューティングサーバ２００ｂへの１フレーム分の伝送が終了した後、次のフレームの伝送動作を開始することができる。 The transmission of data captured by the camera 112 to the image computing server 200 from step S706 onwards described above must be completed within one frame period. The camera 112 can perform the image capturing operation and the transmission operation of the captured data shown in step S704 in parallel. Therefore, the camera adapter 120 can start the transmission operation of the next frame after completing the transmission of one frame to the image computing server 200b.

以上説明したように、本実施形態によれば、トークンパケットを使用することなく、ＩＰヘッダの情報のみでカスケード接続した複数台のカメラの撮影データを順次隙間なく伝送することができる。 As described above, according to this embodiment, it is possible to transmit image data from multiple cascaded cameras sequentially and seamlessly using only IP header information, without using token packets.

（実施形態２）
本実施形態では、カメラの撮影データの転送動作と送信動作とを一部同時に行う例を説明する。本実施形態では、実施形態１で示した転送ステータスに加えて送信ステータスを導入し、送信ステータスが送信可のときに送信を行うものとする。また、図４に示したヘッダフォーマットを一部変更し、フラグメント化された最後の４パケットにおいてフラグフィールド４０１のビット０を１にして送信する。残りが４パケットと少ないパケットになっていることが分かるので、送信が終了することを検知することができる。そして、下流側のカメラアダプタ１２０は、隣接したカメラアダプタ１２０の最後の４パケットを受信したときに、送信ステータスを送信可に変更して送信を開始する。なお、最後の４パケットは一例であり、最後の３パケット、最後の２パケットなどその他の数を設定してもよい。 (Embodiment 2)
In this embodiment, an example will be described in which the transfer operation and the transmission operation of the camera's photographed data are performed partly at the same time. In this embodiment, a transmission status is introduced in addition to the transfer status shown in the first embodiment, and transmission is performed when the transmission status is transmission possible. Also, the header format shown in FIG. 4 is partially changed, and bit 0 of the flag field 401 is set to 1 in the last four fragmented packets and transmitted. Since it can be seen that there are only four packets remaining, it is possible to detect that the transmission is finished. Then, when the downstream camera adapter 120 receives the last four packets of the adjacent camera adapter 120, it changes the transmission status to transmission possible and starts transmission. Note that the last four packets are just an example, and other numbers such as the last three packets or the last two packets may be set.

なお、撮影システム１００に含まれる装置構成については実施形態１と同様であるので、詳細な説明は省略する。 The device configuration included in the imaging system 100 is the same as in embodiment 1, so a detailed description will be omitted.

＜カメラアダプタの転送動作＞
図８は、実施形態２におけるカメラアダプタ１２０、特に送受信処理部１３０の転送動作の手順を示すフローチャートである。 <Camera adapter transfer operation>
FIG. 8 is a flowchart showing the procedure of the transfer operation of the camera adapter 120, particularly the transmission/reception processing unit 130, in the second embodiment.

ステップＳ８０１からステップＳ８０４までの各処理は、実施形態１におけるステップＳ５０１からステップＳ５０４までの各処理と同じ動作であるので説明を省略する。また、ステップＳ８１０の処理は、ステップＳ５０８の処理と同じ動作であるので説明を省略する。 The processes from step S801 to step S804 are the same as the processes from step S501 to step S504 in embodiment 1, so their explanations are omitted. Also, the process from step S810 is the same as the process from step S508, so their explanations are omitted.

ステップＳ８０５において、カメラアダプタ１２０は、受信したパケットのヘッダ情報を参照し、生存時間フィールド４０２から受信パケットが隣接しているカメラアダプタ１２０の撮影データであるか否かを判定する。前述したように受信パケットの生存時間フィールド４０２が初期値－１であれば隣接したカメラアダプタ１２０の送信データを転送していると判定することができる。そして、隣接するカメラアダプタ１２０の撮影データであると判定された場合、ステップＳ５０８０６へ進む。一方、隣接するカメラアダプタ１２０の撮影データではないと判定された場合、ステップＳ８１１へ進む。 In step S805, the camera adapter 120 references the header information of the received packet and determines from the time to live field 402 whether the received packet is imaging data from an adjacent camera adapter 120. As described above, if the time to live field 402 of the received packet is the initial value -1, it can be determined that transmission data from an adjacent camera adapter 120 is being transferred. If it is determined that the data is imaging data from an adjacent camera adapter 120, the process proceeds to step S50806. On the other hand, if it is determined that the data is not imaging data from an adjacent camera adapter 120, the process proceeds to step S811.

ステップＳ８０６において、カメラアダプタ１２０は、受信パケットのフラグフィールド４０１のビット０を参照し、受信パケットの最後の４パケットであるか否か、すなわち送信可能であるか否かを判定する。最後の４パケットである場合は、送信可能であると判定できるため、ステップＳ８０７へ進む。一方、最後の４パケットではない場合は、送信可能ではないと判定できるため、ステップＳ８１１へ進む。 In step S806, the camera adapter 120 refers to bit 0 of the flag field 401 of the received packet and determines whether or not the received packets are the last four packets, i.e., whether or not they can be transmitted. If they are the last four packets, it can be determined that they can be transmitted, and the process proceeds to step S807. On the other hand, if they are not the last four packets, it can be determined that they cannot be transmitted, and the process proceeds to step S811.

ステップＳ８０７において、送受信処理部１３０は、初期状態で送信不可である送信ステータスを送信可に変更する。 In step S807, the transmission/reception processing unit 130 changes the transmission status, which is initially disabled, to enabled.

ステップＳ８０８において、受信処理部１３２は、受信パケットのフラグフィールド４０１を参照し、後続するフラグメントデータがあるか否か、すなわちラストフラグであるか否かを判定する。後続するフラグメントデータがあると判定された場合は、ラストフラグではないので、ステップＳ８１１へ進む。一方、後続するフラグメントデータがないと判定された場合は、ラストフラグであるので、ステップＳ８０９へ進む。ステップＳ８０９において、受信処理部１３２は、転送したパケットが隣接したカメラアダプタ１２０の最後のパケットであるため、上流のカメラアダプタ１２０の撮影データを全て転送したと判定し、転送ステータスを転送不可に変更する。 In step S808, the reception processing unit 132 refers to the flag field 401 of the received packet and determines whether there is subsequent fragment data, i.e., whether it is the last flag. If it is determined that there is subsequent fragment data, it is not the last flag, so the process proceeds to step S811. On the other hand, if it is determined that there is no subsequent fragment data, it is the last flag, so the process proceeds to step S809. In step S809, the reception processing unit 132 determines that all of the shooting data of the upstream camera adapter 120 has been transferred, because the transferred packet is the last packet of the adjacent camera adapter 120, and changes the transfer status to transfer not possible.

ステップＳ８１０において、受信処理部１３２は、受信したパケットを破棄し、ステップＳ８１１に進む。ステップＳ８１１において、送受信処理部１３０は、カメラ１１２の垂直同期信号に基づいて次のフレーム開始を検知する。そして、次のフレーム開始が検知されない場合は、ステップＳ８０２に戻る。一方、次のフレーム開始が検知された場合は、ステップＳ８１２へ進む。 In step S810, the reception processing unit 132 discards the received packet and proceeds to step S811. In step S811, the transmission/reception processing unit 130 detects the start of the next frame based on the vertical synchronization signal of the camera 112. If the start of the next frame is not detected, the process returns to step S802. On the other hand, if the start of the next frame is detected, the process proceeds to step S812.

ステップＳ８１２において、送受信処理部１３０は、送信ステータスを送信不可に変更する。続いて、ステップＳ８１３において、送受信処理部１３０は、転送ステータスを転送可に変更する。 In step S812, the transmission/reception processing unit 130 changes the transmission status to transmission not possible. Then, in step S813, the transmission/reception processing unit 130 changes the forwarding status to forwarding possible.

ステップＳ８１４において、カメラアダプタ１２０は、処理を終了するか否かを判定する。処理を終了しない場合、ステップＳ８０２に戻り、一連の処理を繰り返す。 In step S814, the camera adapter 120 determines whether or not to end the process. If not, the process returns to step S802 and repeats the series of steps.

なお、ステップＳ８０９以降、次のフレームになるまで送受信処理部１３０は通常はパケットを受信しない。しかし、異常なケースとしてパケットを受信した場合、ステップＳ８０２からステップＳ８０３へ進み、転送ステータスが転送不可であるためステップＳ８１０へ進み、その結果、受信した異常なパケットは破棄されることになる。 After step S809, the transmission/reception processing unit 130 normally does not receive packets until the next frame. However, if a packet is received as an abnormal case, the process proceeds from step S802 to step S803, and since the forwarding status indicates that forwarding is not possible, the process proceeds to step S810, and as a result, the received abnormal packet is discarded.

＜カメラアダプタの送信動作＞
図９は、実施形態２におけるカメラアダプタ１２０、特に送受信処理部１３０の送信動作の手順を示すフローチャートである。 <Camera adapter transmission operation>
FIG. 9 is a flowchart showing the procedure of the transmission operation of the camera adapter 120, particularly the transmission/reception processing unit 130, in the second embodiment.

ステップＳ９０１において、送受信処理部１３０は、カメラ１１２の垂直同期信号をモニタしており、フレーム開始を検知する。そして、フレーム開始を検知した後、ステップＳ９０２へ進む。 In step S901, the transmission/reception processing unit 130 monitors the vertical synchronization signal of the camera 112 and detects the start of a frame. After detecting the start of a frame, the process proceeds to step S902.

ステップＳ９０２において、送受信処理部１３０は、送信ステータスを参照し、送信ステータスが送信可になっているか否かを判定する。送信可であると判定された場合、ステップＳ９０３へ進む。一方、送信可ではないと判定された場合、送信可になるまで待機する。 In step S902, the transmission/reception processing unit 130 refers to the transmission status and determines whether the transmission status is ready for transmission. If it is determined that the transmission status is ready for transmission, the process proceeds to step S903. On the other hand, if it is determined that the transmission status is not ready for transmission, the process waits until the transmission status is ready for transmission.

ステップＳ９０３において、送受信処理部１３０は、送信データ保持部１３４に一時保持していた送信データを、ポート１２３を介して次のカメラアダプタ１２０へ送信する。 In step S903, the transmission/reception processing unit 130 transmits the transmission data temporarily stored in the transmission data storage unit 134 to the next camera adapter 120 via the port 123.

以上説明したように、本実施形態によれば、トークンパケットを使用することなく、ＩＰヘッダの情報のみでカスケード接続した複数台のカメラの撮影データを順次隙間なく伝送することができる。さらに、本実施形態によればカメラの撮影データの転送動作と送信動作とを一部同時に行うことが可能となる。 As described above, according to this embodiment, it is possible to transmit the image data of multiple cascaded cameras sequentially and seamlessly using only the IP header information, without using token packets. Furthermore, according to this embodiment, it is possible to perform the transfer and transmission operations of the camera's image data partially simultaneously.

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 Other Embodiments
The present invention can also be realized by a process in which a program for implementing one or more of the functions of the above-described embodiments is supplied to a system or device via a network or a storage medium, and one or more processors in a computer of the system or device read and execute the program. The present invention can also be realized by a circuit (e.g., ASIC) that implements one or more of the functions.

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。 The invention is not limited to the above-described embodiments, and various modifications and variations are possible without departing from the spirit and scope of the invention.

１１２：カメラ、１２０：カメラアダプタ、１２１：撮影データ生成部、１２２，１２３：ポート、１３０：送受信処理部、１３１：受信データ保持部、１３２：受信処理部、１３３：送信処理部、１３４：送信データ保持部、１３５，１３６：カウンタ、１８０：スイッチングハブ、２００：画像コンピューティングサーバ、２９０：タイムサーバ、３００：コントローラ 112: Camera, 120: Camera adapter, 121: Shooting data generation unit, 122, 123: Port, 130: Transmission/reception processing unit, 131: Received data storage unit, 132: Reception processing unit, 133: Transmission processing unit, 134: Transmitted data storage unit, 135, 136: Counter, 180: Switching hub, 200: Image computing server, 290: Time server, 300: Controller

Claims (10)

複数の撮影装置により同期して撮影を行う撮影システムにおける、第１画像処理装置及び第２画像処理装置と接続された画像処理装置であって、
前記第１画像処理装置から、前記第１画像処理装置により処理された画像データを受信する受信手段と、
前記受信手段により受信した前記画像データを、前記第２画像処理装置に転送する転送手段と、
前記受信手段により受信した前記画像データのヘッダ情報に基づいて、前記受信手段により受信した前記画像データの前記第２画像処理装置への転送が終了することを検知する検知手段と、
前記検知手段により前記受信手段により受信した前記画像データの前記第２画像処理装置への転送が終了することが検知されたことに基づいて、前記画像処理装置が処理した画像データを前記第２画像処理装置に送信する送信手段と、
前記複数の撮影装置による撮影の同期信号に基づいて、時間を計測する計測手段と、
を有し、
前記送信手段は、前記計測手段により計測する時間が所定時間を経過する前に前記検知手段により前記転送の終了が検知されない場合、前記画像処理装置が処理した画像データを破棄することを特徴とする画像処理装置。 An image processing device connected to a first image processing device and a second image processing device in an imaging system that synchronously performs imaging using a plurality of imaging devices ,
a receiving means for receiving image data processed by the first image processing device from the first image processing device;
a transfer means for transferring the image data received by the receiving means to the second image processing device;
a detection means for detecting that transfer of the image data received by the receiving means to the second image processing device is completed based on header information of the image data received by the receiving means;
a transmitting means for transmitting the image data processed by the image processing device to the second image processing device based on the detection means detecting that the transfer of the image data received by the receiving means to the second image processing device is completed;
a time measuring means for measuring time based on a synchronization signal of the plurality of image capturing devices;
having
The image processing device is characterized in that the transmitting means discards the image data processed by the image processing device if the detection means does not detect the end of the transfer before the time measured by the measurement means elapses a predetermined time . 前記ヘッダ情報はフラグフィールドを含み、
前記検知手段は、前記ヘッダ情報の前記フラグフィールドを参照し、後続するフラグメントデータがないことを検知することにより、前記転送が終了することを検知することを特徴とする請求項１に記載の画像処理装置。 the header information includes a flags field;
2. The image processing apparatus according to claim 1, wherein said detection means detects that the transfer is to end by referring to the flag field of the header information and detecting that there is no subsequent fragment data. 前記ヘッダ情報は生存時間フィールドを含み、
前記検知手段は、前記ヘッダ情報の前記生存時間フィールドを参照し、前記生存時間フィールドの値に基づいて、前記受信手段により受信された画像データが、前記第１画像処理装置により処理された画像データであることをさらに検知することを特徴とする請求項１又は２に記載の画像処理装置。 the header information includes a time to live field;
3. The image processing device according to claim 1, wherein the detection means further detects, by referring to the survival time field of the header information and based on the value of the survival time field, that the image data received by the receiving means is image data processed by the first image processing device. 前記ヘッダ情報はフラグフィールドを含み、
前記検知手段は、前記ヘッダ情報の前記フラグフィールドを参照し、前記第１画像処理装置により処理される画像データの残りのパケットが所定の値であることを検知することにより、前記転送が終了することを検知することを特徴とする請求項１に記載の画像処理装置。 the header information includes a flags field;
The image processing device according to claim 1, characterized in that the detection means detects that the transfer is completed by referring to the flag field of the header information and detecting that the remaining packets of image data to be processed by the first image processing device have a predetermined value . 前記画像処理装置と関連づけられた撮影装置により撮影された画像データを前記撮影装置から取得する取得手段をさらに備え、
前記送信手段は、前記取得手段により取得されて前記画像処理装置により処理された画像データを、前記第２画像処理装置へ送信することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。 The image processing device further includes an acquisition unit for acquiring image data captured by a photographing device associated with the image processing device from the photographing device,
5. The image processing apparatus according to claim 1 , wherein the transmitting means transmits the image data acquired by the acquiring means and processed by the image processing apparatus to the second image processing apparatus. 前記受信手段により受信される画像データは、前記第１画像処理装置と関連づけられた第１撮影装置により撮影されて前記第１画像処理装置により処理された画像データであることを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。 The image processing device according to any one of claims 1 to 5, characterized in that the image data received by the receiving means is image data captured by a first photographing device associated with the first image processing device and processed by the first image processing device. 前記画像処理装置は、前記第１画像処理装置及び前記第２画像処理装置を含む複数の画像処理装置とカスケード接続されていることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。 7. The image processing apparatus according to claim 1, wherein the image processing apparatus is cascaded with a plurality of image processing apparatuses including the first image processing apparatus and the second image processing apparatus. 前記複数の画像処理装置のうち前記カスケード接続における最も下流にある他の画像処理装置はスイッチングハブを介してサーバ装置と接続されており、
前記画像処理装置が処理した各画像データは、前記カスケード接続を介して前記サーバ装置に送信されることを特徴とする請求項７に記載の画像処理装置。 another image processing apparatus located most downstream in the cascade connection among the plurality of image processing apparatuses is connected to a server apparatus via a switching hub;
8. The image processing apparatus according to claim 7 , wherein each image data processed by said image processing apparatus is transmitted to said server apparatus via said cascade connection. 複数の撮影装置により同期して撮影を行う撮影システムにおける、第１画像処理装置及び第２画像処理装置と接続された画像処理装置の制御方法であって、
前記第１画像処理装置から、前記第１画像処理装置により処理された画像データを受信する受信工程と、
前記受信工程により受信した前記画像データを、前記第２画像処理装置に転送する転送工程と、
前記受信工程により受信した前記画像データのヘッダ情報に基づいて、前記受信工程により受信した前記画像データの前記第２画像処理装置への転送が終了することを検知する検知工程と、
前記検知工程により前記受信工程により受信した前記画像データの前記第２画像処理装置への転送が終了することが検知されたことに基づいて、前記画像処理装置が処理した画像データを前記第２画像処理装置に送信する送信工程と、
前記複数の撮影装置による撮影の同期信号に基づいて、時間を計測する計測工程と、
を有し、
前記送信工程では、前記計測工程により計測する時間が所定時間を経過する前に前記検知工程により前記転送の終了が検知されない場合、前記画像処理装置が処理した画像データを破棄することを特徴とする画像処理装置の制御方法。 A method for controlling an image processing device connected to a first image processing device and a second image processing device in an image capture system that captures images synchronously using a plurality of image capture devices , comprising:
a receiving step of receiving image data processed by the first image processing device from the first image processing device;
a transfer step of transferring the image data received in the receiving step to the second image processing device;
a detection step of detecting that transfer of the image data received in the receiving step to the second image processing device is completed based on header information of the image data received in the receiving step;
a transmitting step of transmitting the image data processed by the image processing device to the second image processing device based on the detection step of the completion of the transfer of the image data received by the receiving step to the second image processing device;
a measurement step of measuring time based on a synchronization signal of the plurality of image capturing devices;
having
A method for controlling an image processing device, characterized in that, in the transmission process, if the detection process does not detect the end of the transfer before the time measured by the measurement process elapses a predetermined time, the image data processed by the image processing device is discarded . コンピュータを、請求項１乃至８の何れか１項に記載の画像処理装置として機能させるためのプログラム。 A program for causing a computer to function as the image processing device according to any one of claims 1 to 8 .
JP2019224023A 2019-12-11 2019-12-11 IMAGE PROCESSING APPARATUS, CONTROL METHOD AND PROGRAM FOR IMAGE PROCESSING APPARATUS Active JP7492331B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019224023A JP7492331B2 (en) 2019-12-11 2019-12-11 IMAGE PROCESSING APPARATUS, CONTROL METHOD AND PROGRAM FOR IMAGE PROCESSING APPARATUS

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019224023A JP7492331B2 (en) 2019-12-11 2019-12-11 IMAGE PROCESSING APPARATUS, CONTROL METHOD AND PROGRAM FOR IMAGE PROCESSING APPARATUS

Publications (2)

Publication Number Publication Date
JP2021093661A JP2021093661A (en) 2021-06-17
JP7492331B2 true JP7492331B2 (en) 2024-05-29

Family

ID=76312882

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019224023A Active JP7492331B2 (en) 2019-12-11 2019-12-11 IMAGE PROCESSING APPARATUS, CONTROL METHOD AND PROGRAM FOR IMAGE PROCESSING APPARATUS

Country Status (1)

Country Link
JP (1) JP7492331B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009021700A (en) 2007-07-10 2009-01-29 Canon Inc Communication system, communication equipment, and communication method of communication system
JP2010154130A (en) 2008-12-24 2010-07-08 Nippon Telegr & Teleph Corp <Ntt> Routing authentication device, routing authentication system, routing authentication method and program thereof
JP2017211827A (en) 2016-05-25 2017-11-30 キヤノン株式会社 Information processing unit, control method and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009021700A (en) 2007-07-10 2009-01-29 Canon Inc Communication system, communication equipment, and communication method of communication system
JP2010154130A (en) 2008-12-24 2010-07-08 Nippon Telegr & Teleph Corp <Ntt> Routing authentication device, routing authentication system, routing authentication method and program thereof
JP2017211827A (en) 2016-05-25 2017-11-30 キヤノン株式会社 Information processing unit, control method and program

Also Published As

Publication number Publication date
JP2021093661A (en) 2021-06-17

Similar Documents

Publication Publication Date Title
US11032490B2 (en) Camera array including camera modules
US10951804B2 (en) Photographing synchronization method and apparatus
JP2007266781A (en) Photographing system
TWI449418B (en) Camera system, signal delay amount adjusting method and program
JP5995928B2 (en) Network system, network switch, and distribution destination network device
US20180376131A1 (en) Image processing apparatus, image processing system, and image processing method
JP7492331B2 (en) IMAGE PROCESSING APPARATUS, CONTROL METHOD AND PROGRAM FOR IMAGE PROCESSING APPARATUS
US20070096012A1 (en) Vehicle Service System Digital Camera Interface
JP5593078B2 (en) Camera device
JP6415499B2 (en) Information processing apparatus, information processing method, and computer program
JP2018077674A (en) Image processing device, image processing method and program
US11956344B2 (en) Communication apparatus, method for controlling communication apparatus, and storage medium
JP7508277B2 (en) Transmission processing device, transmission processing method, and program
WO2023201822A1 (en) Multi-camera synchronous correction method and apparatus, and storage medium
JP7467130B2 (en) Information processing device, information processing method, and program
JP2021090127A (en) Control unit, control method, and program
JP2023077927A (en) Data transmission device and control method for the same, data transmission system, and program
JP2022155063A (en) Communication device, control method, and program
JP2021190937A (en) Transmission processing apparatus, transmission processing method, and program
US11778145B2 (en) Control apparatus, control method, and storage medium
JP2019140643A (en) Transmission equipment
US20240107094A1 (en) Communication apparatus, control method, and storage medium
JP2021089647A (en) Data processing apparatus, data processing method, and program
JP2019103087A (en) Video distribution device, control method, and program
JP7134636B2 (en) Control device, control method and program

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231004

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240517

R150 Certificate of patent or registration of utility model

Ref document number: 7492331

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150