JP7140177B2 - camera, camera control method, control device, control device control method, system and system control method - Google Patents
camera, camera control method, control device, control device control method, system and system control method Download PDFInfo
- Publication number
- JP7140177B2 JP7140177B2 JP2020195527A JP2020195527A JP7140177B2 JP 7140177 B2 JP7140177 B2 JP 7140177B2 JP 2020195527 A JP2020195527 A JP 2020195527A JP 2020195527 A JP2020195527 A JP 2020195527A JP 7140177 B2 JP7140177 B2 JP 7140177B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- frame
- camera
- cameras
- period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Description
本技術は、カメラ、カメラの制御方法、制御装置、制御装置の制御方法、システムおよびシステムの制御方法に関する。 The present technology relates to a camera , a camera control method, a control device , a control device control method , a system, and a system control method .
陸上短距離の練習などで、アップでスタートからゴールまで撮影したい場合、レーンにカメラを載せるとコストがかかるので、複数台のカメラをコースに沿って設置して撮影することが行われている。その際に、フォームなどの確認のために、すぐにその動画を確認したいが、従来は1台ずつのカメラ本体で再生するか、パーソナルコンピュータなどに取り込んで1ファイルずつ再生しており、複数台のカメラの撮像画像の再生に手間と時間がかかるものであった。また、選手が各カメラの撮像範囲を通過していく場合に、自動でカメラ切り替えされた動画として見たいが、その手段がなかった。 When you want to shoot a close-up from the start to the finish line, such as during short-distance track and field training, it is costly to put a camera on the lane, so multiple cameras are installed along the course to shoot. At that time, I would like to check the video immediately to check the form, etc., but conventionally, it is played back by the camera body one by one, or it is imported to a personal computer etc. and played back one file at a time. However, it takes time and effort to reproduce images captured by the camera. In addition, when athletes pass through the imaging range of each camera, it would be desirable to view the video as a camera-switched video automatically, but there was no means for doing so.
例えば、特許文献1には、徒競走での順位を正確に判定することを複数のカメラを使用することで実現する技術が記載されている。しかし、この特許文献1に記載される技術では、スタートからゴールまでをすべて記録し、すぐに再生することはできない。
For example,
本技術の目的は、移動被写体を順次撮像する複数のカメラの撮像画像を良好に確認可能とすることにある。 An object of the present technology is to make it possible to satisfactorily confirm images captured by a plurality of cameras that sequentially capture moving subjects.
本技術の概念は、
複数のカメラと、該複数のカメラに有線あるいは無線で接続された確認装置とからなり、
上記カメラは、
イメージャと、
メモリと、
上記確認装置からのスタートトリガ信号の受信があるとき、該トリガ信号の受信タイミングに対応したフレームからフレーム番号をカウントする処理と、上記イメージャで撮像されて得られた画像データのうち動いている被写体が存在する期間の各フレームの画像データを上記カウントされているフレーム番号と対応付けて上記メモリに書き込む処理と、上記メモリに書き込まれている各フレームの画像データに関連付けられているフレーム番号の情報を上記確認装置に送る処理と、上記確認装置からのフレーム番号を伴う転送要求の受信があるとき、該フレーム番号で指定されたフレームの画像データを上記メモリから読み出して上記確認装置に転送する処理を制御する制御部を備え、
上記確認装置は、
ディスプレイと、
上記複数のカメラにスタートトリガ信号を送信する処理と、上記複数のカメラから送られてくる、それぞれのメモリに書き込まれている各フレームの画像データに関連付けられているフレーム番号の情報に基づいて、上記複数のカメラから選択された所定のカメラにフレーム番号を伴う転送要求を送信する処理と、上記所定カメラから転送されてくる上記フレーム番号で指定されたフレームの画像データを受信し、該画像データによる画像を上記ディスプレイに表示する処理を制御する制御部を備える
マルチカメラシステムにある。
The concept of this technology is
It consists of a plurality of cameras and a confirmation device connected to the plurality of cameras by wire or wirelessly,
The camera above
an imager;
memory;
When a start trigger signal is received from the confirmation device, a process of counting a frame number from a frame corresponding to the timing of receiving the trigger signal; a process of writing the image data of each frame in the period in which the counted frame number is associated with the counted frame number into the memory, and information of the frame number associated with the image data of each frame written into the memory. to the confirmation device, and when a transfer request with a frame number is received from the confirmation device, the image data of the frame specified by the frame number is read from the memory and transferred to the confirmation device. It has a control unit that controls the
The above confirmation device is
a display;
Based on the process of transmitting a start trigger signal to the plurality of cameras and the frame number information associated with the image data of each frame written in each memory sent from the plurality of cameras, a process of transmitting a transfer request accompanied by a frame number to a predetermined camera selected from the plurality of cameras; receiving image data of a frame designated by the frame number transferred from the predetermined camera; A multi-camera system comprising a control unit for controlling processing for displaying an image from a camera on the display.
本技術において、マルチカメラシステムは、複数のカメラと、この複数のカメラに有線あるいは無線で接続された確認装置とからなっている。例えば、複数のカメラは、被写体が直線的に動いていく範囲を分割して撮像する、ようにされてもよい。 In the present technology, a multi-camera system consists of a plurality of cameras and confirmation devices connected to the plurality of cameras by wires or wirelessly. For example, a plurality of cameras may divide the range in which the subject moves linearly and capture the images.
カメラには、イメージャと、メモリと、制御部が備えられている。制御部により、確認装置からのスタートトリガ信号の受信があるとき、このトリガ信号の受信タイミングに対応したフレームからフレーム番号をカウントする処理が制御される。また、制御部により、イメージャで撮像されて得られた画像データのうち動いている被写体が存在する期間の各フレームの画像データをフレーム番号と対応付けてメモリに書き込む処理が制御される。 A camera includes an imager, a memory, and a controller. The controller controls the process of counting the frame number from the frame corresponding to the reception timing of the trigger signal when the start trigger signal is received from the confirmation device. Further, the control unit controls the process of writing the image data of each frame in the period in which the moving subject is present among the image data obtained by imaging with the imager in the memory in association with the frame number.
また、制御部により、メモリに書き込まれている各フレームの画像データに関連付けられているフレーム番号の情報を確認装置に送る処理が制御される。また、制御部により、確認装置からのフレーム番号を伴う転送要求の受信があるとき、このフレーム番号で指定されたフレームの画像データをメモリから読み出して上記確認装置に転送する処理が制御される。 Further, the control unit controls the process of sending the frame number information associated with the image data of each frame written in the memory to the confirmation device. Further, when a transfer request with a frame number is received from the confirmation device, the control unit controls the process of reading the image data of the frame designated by the frame number from the memory and transferring it to the confirmation device.
例えば、メモリには、各フレームの画像データがイントラフレーム圧縮されて書き込まれ、確認装置には、フレーム番号で指定されたフレームのイントラフレーム圧縮された画像データが転送される、ようにされてもよい。これによりデータ量を少なくでき、転送をスムーズに行うことが可能となる。また、メモリには、各フレームの画像データが、少なくともイメージャの撮像範囲に動いている被写体が存在する期間以上の単位でループ記録される、ようにされてもよい。これにより、メモリ容量を節約することが可能となる。 For example, the image data of each frame is intra-frame-compressed and written into the memory, and the intra-frame-compressed image data of the frame specified by the frame number is transferred to the confirmation device. good. As a result, the amount of data can be reduced and the transfer can be performed smoothly. Also, the image data of each frame may be loop-recorded in the memory at least for a period longer than a period in which a moving subject exists within the imaging range of the imager. This makes it possible to save memory capacity.
確認装置には、ディスプレイと、制御部が備えられている。制御部により、複数のカメラにスタートトリガ信号を送信する処理が制御される。また、制御部により、複数のカメラから送られてくる、それぞれのメモリに書き込まれている各フレームの画像データに関連付けられているフレーム番号の情報に基づいて、複数のカメラから選択された所定のカメラにフレーム番号を伴う転送要求を送信する処理が制御される。また、制御部により、所定カメラから転送されてくるフレーム番号で指定されたフレームの画像データを受信し、この画像データによる画像をディスプレイに表示する処理が制御される。 The verification device has a display and a control. The control unit controls processing for transmitting start trigger signals to the plurality of cameras. Further, the control unit selects a predetermined number from a plurality of cameras based on the information of the frame number associated with the image data of each frame written in each memory, which is sent from the plurality of cameras. The process of sending a transfer request with a frame number to the camera is controlled. The control unit also controls the processing of receiving image data of a frame designated by a frame number transferred from a predetermined camera and displaying an image based on this image data on the display.
例えば、再生フレーム位置を操作するための操作部をさらに備える、ようにされてもよい。この場合、例えば、操作部は、ディスプレイの画面上に配置されたタッチパネルにより構成される、ようにされてもよい。そして、この場合、例えば、ディスプレイには、再生フレーム位置を操作するためのスクロールバーが表示される、ようにされてもよい。これにより、再生フレーム位置の操作を容易かつ簡単に行うことができる。 For example, it may further include an operation unit for operating the playback frame position. In this case, for example, the operation unit may be configured by a touch panel arranged on the screen of the display. In this case, for example, the display may display a scroll bar for manipulating the playback frame position. This makes it possible to easily and simply operate the reproduction frame position.
このように本技術においては、複数のカメラでは確認装置からのスタートトリガ信号の受信タイミングに対応したフレームからフレーム番号がカウントされて被写体が存在する期間の各フレームの画像データがフレーム番号と対応付けてメモリに書き込まれ、また、確認装置では所定のフレーム番号のフレーム画像を再生する際、そのフレームの画像データを持つカメラに選択的にフレーム番号を伴う転送要求が送信され、確認装置では所定カメラから送られてくる画像データによる画像が表示される。そのため、確認装置において移動被写体を順次撮像する複数のカメラの撮像画像を良好に確認し得る。 As described above, in the present technology, in a plurality of cameras, the frame number is counted from the frame corresponding to the reception timing of the start trigger signal from the confirmation device, and the image data of each frame during the period in which the subject exists is associated with the frame number. When the confirmation device reproduces the frame image of the predetermined frame number, a transfer request accompanied by the frame number is selectively transmitted to the camera having the image data of the frame. An image based on the image data sent from is displayed. Therefore, the confirmation device can satisfactorily confirm images captured by a plurality of cameras that sequentially capture images of a moving subject.
本技術によれば、移動被写体を順次撮像する複数のカメラの撮像画像を良好に確認できる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。 According to the present technology, it is possible to satisfactorily check images captured by a plurality of cameras that sequentially capture a moving subject. Note that the effects described in this specification are merely examples and are not limited, and additional effects may be provided.
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.実施の形態
2.変形例
DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, modes for carrying out the invention (hereinafter referred to as "embodiments") will be described. The description will be made in the following order.
1.
<1.実施の形態>
[マルチカメラシステムの構成例]
図1は、実施の形態としてのマルチカメラシステム10Aの構成例を示している。このマルチカメラシステム10Aは、複数個、ここでは3個のカメラ(ビデオカメラ)、つまりカメラ(カメラA)101-A、カメラ(カメラB)101-B、カメラ(カメラC)101-Cを有している。また、マルチカメラシステム10Aは、スマートフォンやタブレットなどの携帯端末あるいはパーソナルコンピュータ等からなる確認装置102を有している。
<1. Embodiment>
[Configuration example of multi-camera system]
FIG. 1 shows a configuration example of a
カメラ101-A,101-B,101-Cと確認装置102は有線あるいは無線でLAN接続されている。例えば、確認装置102はマスタ機器を構成し、カメラ101-A,101-B,101-Cのそれぞれはスレーブ機器を構成する。図2は、カメラ101-A,101-B,101-Cの設置状態を示している。カメラ101-A,101-B,101-Cは、例えば、100m選手が直線コースを走るように、被写体が直線的に動いていく範囲を分割して撮像するように配置される。この場合、カメラ101-A,101-B,101-Cのそれぞれはコースに沿って並べて配置される。これにより、カメラ101-A,101-B,101-Cにより、レースの始めから終わりまでの全てを撮像することができる。この場合、隣接するカメラの撮像範囲は多少オーバーラップするようにされる。
The cameras 101-A, 101-B, 101-C and the
確認装置102は、ユーザ操作に応じて、各カメラに対して撮像の開始・終了のトリガを掛けることができる。この場合、マスタ機器である確認装置102は、各カメラに対して撮像の開始・終了のトリガ信号(コマンド)を発行する。各カメラは、通信部分を構成する制御インタフェース(制御I/F)を介して、このトリガ信号を受け取り、その指示に従った動作をする。なお、各カメラの制御インタフェースは、当該カメラに内蔵されている。また、確認装置102は、パネル(ディスプレイ)を備えており、撮影終了後は、このパネルで各カメラにおける撮像画像の確認ができる。
The
カメラ101-A,101-B,101-Cは、それぞれ、イメージャと、このイメージャで撮像されて得られた画像データを書き込むメモリを備えている。この場合、メモリには、イメージャで撮像されて得られた画像データのうち、動いている被写体が存在する期間の各フレームの画像データ(例えば、フレームレートは60Hzである)がイントラフレーム圧縮、この実施の形態ではJPEG圧縮されて書き込まれる。 Cameras 101-A, 101-B, and 101-C each include an imager and a memory for writing image data obtained by imaging with this imager. In this case, in the memory, image data of each frame (for example, the frame rate is 60 Hz) of a period in which a moving subject exists among the image data obtained by imaging with the imager is intra-frame compression, this In the embodiment, it is written with JPEG compression.
カメラ101-A,101-B,101-Cは、確認装置102からのスタートトリガ信号の受信があるとき、このトリガ信号の受信タイミングに対応したフレームからフレーム番号をカウントする。例えば、最初のフレームのフレーム番号は“1”とされ、その後のフレームのフレーム番号は順次インクリメントされたものとなる。
When the cameras 101-A, 101-B, and 101-C receive the start trigger signal from the
上述したようにカメラ101-A,101-B,101-Cのメモリに書き込まれる画像データはフレーム番号と対応付けされている。また、カメラ101-A,101-B,101-Cのメモリには、各フレームの画像データが、少なくともイメージャの撮像範囲に動いている被写体が存在する期間以上の単位でループ記録される。なお、必ずしもループ記録である必要はなく、また、各フレームの画像データがAVCなどでエンコードされてメモリに書き込まれるようにされてもよい。カメラ101-A,101-B,101-Cのそれぞれは、メモリに書き込まれている各フレームの画像データに関連付けられているフレーム番号の情報を確認装置102に送る。
As described above, the image data written in the memories of the cameras 101-A, 101-B, and 101-C are associated with frame numbers. In the memories of the cameras 101-A, 101-B, and 101-C, the image data of each frame is loop-recorded in units of at least the period in which a moving subject exists within the imaging range of the imager. It should be noted that the loop recording is not necessarily required, and the image data of each frame may be encoded by AVC or the like and written to the memory. Each of the cameras 101-A, 101-B, 101-C sends to the
カメラ101-A,101-B,101-Cのそれぞれは、確認装置102からのエンドトリガ信号の受信があるとき、メモリへの書き込み(記録)動作を停止する(撮像動作は必ずしも停止する必要はないが、撮像動作も停止してもよい)。カメラ101-A,101-B,101-Cのそれぞれは、確認装置102からのフレーム番号を伴う転送要求の受信があるとき、このフレーム番号で指定されたフレームの画像データをメモリから読み出して確認装置102に転送する。
Each of the cameras 101-A, 101-B, and 101-C stops writing (recording) operations to the memory when receiving the end trigger signal from the confirmation device 102 (imaging operations do not necessarily have to be stopped). not, but the imaging operation may also be stopped). When each of the cameras 101-A, 101-B, and 101-C receives a transfer request with a frame number from the
確認装置102は、ユーザの撮像開始操作に応じて、各カメラにスタートトリガ信号を送る。また、確認装置102は、ユーザの撮像終了操作に応じて、各カメラにエンドトリガ信号を送る。確認装置102は、再生フレーム位置を操作するための操作部を備える。ユーザは、この操作部から再生フレーム位置を操作できる。
The
確認装置102は、所定のフレーム番号のフレーム画像を再生する際、そのフレームの画像データを持つカメラに選択的にフレーム番号を伴う転送要求を送信する。この場合、確認装置102は、各カメラからの、メモリに書き込まれている各フレームの画像データに関連付けられているフレーム番号の情報に基づいて、転送要求を送信すべきカメラを選択する。
When reproducing a frame image of a predetermined frame number, the
確認装置102は、上述したように転送要求を送ったカメラから転送されてくる、フレーム番号で指定されたフレームの画像データを受信し、この画像データによる画像をパネル(ディスプレイ)に表示する。この場合、確認装置102は、連続したフレーム番号の転送要求を連続して送信することで、連続した各フレームの画像データを受信でき、動画の再生が可能とある。
The
「カメラの構成例」
図3は、カメラ101(101-A,101-B,101-C)の構成例を示している。カメラ101は、CPU111と、メモリ112と、イメージャ/レンズ部113と、カメラ信号処理部114と、コーデック処理部115を有している。また、カメラ101は、パネル処理部116と、パネル117と、有線通信処理部118と、有線LAN端子119と、無線通信処理部120と、アンテナ121を有している。
"Camera configuration example"
FIG. 3 shows a configuration example of the cameras 101 (101-A, 101-B, 101-C). The
CPU111は、カメラ101の各部の動作を制御する。メモリ112は、制御ソフトウェアの格納およびデータの保管、CPU111のワークエリア等を構成する。また、メモリ112は、撮像画像データをループ記録するフレームバッファも構成している。
A
イメージャ/レンズ部113は、撮像レンズとイメージャとからなり、被写体を撮像して撮像信号を得る。カメラ信号処理部114は、イメージャ/レンズ部113で得られた撮像信号を処理して被写体に対応した画像データ(撮像画像データ)を生成する。コーデック処理部115は、カメラ信号処理部114で得られた各フレームの画像データに対してJPEG圧縮の処理をする。メモリ112のフレームバッファには、動いている被写体が存在する期間の各フレームの画像データがループ記録される。なお、動いている被写体が存在するか否かは、例えば、CPU111が、撮像画像データに動き検出の処理を施して検出する。
The imager/
パネル処理部116は、カメラ信号処理部114で得られた画像データに基づいてパネル117を駆動して、このパネル117に撮像画像を表示する。パネル117は、LCDや有機ELパネルなどで構成される。パネル117は、タッチパネル機能を有し、必要に応じて、パネル117には、ユーザ操作のためのUI表示もされる。
The
有線通信処理部118は、有線LAN端子119を通じて、外部機器、この実施の形態では確認装置102との間で有線通信をする。無線通信処理部120は、アンテナ121を通じて、外部機器、この実施の形態では確認装置102との間で無線通信をする。なお、無線通信と有線通信のいずれかが選択的に行われる。
The wired
「確認装置の構成例」
図4は、確認装置102の構成例を示している。確認装置102は、CPU131と、メモリ132と、コーデック処理部133と、グラフィック処理部134を有している。また、確認装置102は、パネル処理部135と、パネル136と、有線通信処理部137と、有線LAN端子138と、無線通信処理部139と、アンテナ140を有している。
"Configuration example of confirmation device"
FIG. 4 shows a configuration example of the
CPU131は、確認装置102の各部の動作を制御する。メモリ132は、制御ソフトウェアの格納およびデータの保管、CPU131のワークエリア等を構成する。また、メモリ132は、カメラ101(図3参照)から転送されてくる各フレームの画像データを一時的に記録する。
The
また、メモリ132は、各カメラから送られてくる、それぞれのカメラのメモリに書き込まれている各フレームの画像データに関連付けられているフレーム番号の情報を記憶する。この情報は、上述したように所定のフレーム番号のフレーム画像を再生する際、そのフレームの画像データを持つカメラを特定するために使用される。
The
コーデック処理部133は、画像表示のために、メモリ132のフレームバッファに一時的に記録されている各フレームの画像データを読み出し、伸長処理をする。パネル処理部135は、コーデック処理部133で伸長処理されて得られた画像データに基づいて表示パネル136を駆動して、このパネル136に画像を表示する。パネル136は、LCDや有機ELパネルなどで構成される。パネル136は、タッチパネル機能を有し、必要に応じて、パネル136には、ユーザ操作のためのUI表示もされる。
The
有線通信処理部137は、有線LAN端子138を通じて、外部機器、この実施の形態ではカメラ101との間で有線通信をする。無線通信処理部139は、アンテナ140を通じて、外部機器、この実施の形態ではカメラ101との間で無線通信をする。なお、無線通信と有線通信のいずれかが選択的に行われる。
The wired
「スタートトリガによるフレーム番号のカウントおよび記録フレーム例」
図5は、確認装置102から各カメラにスタートトリガ信号を送った場合に各カメラで行われるフレーム番号のカウントと、各カメラにおける記録フレームの一例を示している。各カメラにおける記録フレームの範囲は、それぞれのカメラの撮像範囲において動いている被写体が存在する期間に含まれるフレームに対応する。
"Frame number counting and recording frame example by start trigger"
FIG. 5 shows an example of frame number counting performed in each camera when a start trigger signal is sent from the
時刻t1で、確認装置102は、例えば、ユーザの操作に基づいて、各カメラにスタートトリガ信号(記録指示信号)を送る。各カメラは、このスタートトリガ信号の受信により、記録可の状態となると共に、この時刻t1に対応したフレームからフレーム番号をカウントする。この場合、最初のフレームのフレーム番号は「1」とされ、その後はフレーム毎にフレーム番号はインクリメントされていく。これにより、各カメラで同じ時刻のフレームには、同じフレーム番号が振られる。
At time t1, the
各カメラは、全てのフレームの画像データをメモリ112のフレームバッファに記録する(書き込む)のではなく、動いている被写体が存在する期間の各フレームの画像データのみを記録する。これにより、電力削減およびメモリ112におけるフレームバッファを節約することが可能となる。
Rather than recording (writing) all frames of image data into the frame buffer of
図示の例では、カメラ(カメラA)101-Aは、「1」から「497」のフレーム番号のフレームを記録フレームとし、その各フレームの画像データをメモリ112のフレームバッファにフレーム番号と対応付けて記録すると共に、記録開始フレーム番号が「1」であり、記録終了フレーム番号が「497」であるという記録フレーム番号情報を確認装置102に送る。
In the illustrated example, the camera (camera A) 101-A takes frames with frame numbers from "1" to "497" as recording frames, and associates the image data of each frame with the frame number in the frame buffer of the
また、図示の例では、カメラ(カメラB)101-Bは、「496」から「501」のフレーム番号のフレームを記録フレームとし、その各フレームの画像データをメモリ112のフレームバッファにフレーム番号と対応付けて記録すると共に、記録開始フレーム番号が「496」であり、記録終了フレーム番号が「501」であるという記録フレーム番号情報を確認装置102に送る。
In the illustrated example, the camera (camera B) 101-B uses frames with frame numbers from "496" to "501" as recording frames, and stores the image data of each frame in the frame buffer of the
また、図示の例では、カメラ(カメラC)101-Cは、「499」から「600」のフレーム番号のフレームを記録フレームとし、その各フレームの画像データをメモリ112のフレームバッファにフレーム番号と対応付けて記録すると共に、記録開始フレーム番号が「499」であり、記録終了フレーム番号が「600」であるという記録フレーム番号情報を確認装置102に送る。
In the illustrated example, the camera (camera C) 101-C uses frames with frame numbers from "499" to "600" as recording frames, and stores the image data of each frame in the frame buffer of the
確認装置102は、各カメラからの記録フレーム番号情報により、図6に示すようなカメラ切り替え用テーブルを生成して保持する。
The
なお、図示していないが、各カメラにスタートトリガ信号(記録指示信号)が送られてから所定時間の後、例えば100mの短距離走の場合には10数秒の後に、例えば、ユーザの操作に基づいて、確認装置102は、各カメラにエンドトリガ信号(記録停止信号)を送る。各カメラは、このエンドトリガ信号の受信により、記録不可の状態となる。
Although not shown, after a predetermined time from when the start trigger signal (recording instruction signal) is sent to each camera, for example, after 10-odd seconds in the case of a sprint of 100m, for example, after a user's operation, Based on this, the
各カメラにおける記録可の状態が、スタートトリガ信号(記録指示信号)が送られてから所定時間に予め設定されていてもよい。この場合には、確認装置102は、各カメラにエンドトリガ信号(記録停止信号)を送る必要はない。また、各カメラは、必ずしも、ゲンロック(Genlock)などで露光の位相が揃っていなくてもよい。また、確認装置102からのスタートトリガ信号(記録指示信号)が各カメラに届くまでにタイミング的なゆらぎがあってもよい。ただし、露光位相やトリガータイミングが揃っていれば、再生時のカメラ切り替えを綺麗に遷移させることができる。
The recordable state in each camera may be set in advance at a predetermined time after the start trigger signal (recording instruction signal) is sent. In this case, the
「確認装置上のユーザーインタフェース例」
図7は、確認装置102のパネル136に表示される、マルチカメラ撮像した画像(動画コンテンツ)を再生するための画面の一例を示している。この例では、再生フレーム位置が、カメラ(カメラA)101-Aにおける記録期間に相当し、その撮像画像300が表示されている。この画面には、撮像画像にユーザ操作用のUI画面が重畳されている。
"Example of user interface on confirmation device"
FIG. 7 shows an example of a screen displayed on the
この画面では、再生用アイコンが表示されている再生操作部301からのユーザ操作により、選択されているカメラの撮像画像の再生、一時停止、早送り、巻き戻し、コマ送りなどの通常の再生操作を行うことができる。ここで、再生用アイコンにはスクロールバーも併設されており、指でスクロールすることで、前後にコマ送りや、早送り・巻き戻しも可能である。
On this screen, normal playback operations such as playback, pause, fast-forward, rewind, and frame-by-frame forwarding of images captured by the selected camera can be performed by user operations from the
ユーザは複数のカメラを意識することなく、スタートからゴールまでの一連の画像として再生操作が可能である。カメラの切り替えは、確認装置102が、再生フレーム位置(再生フレーム番号位置)応じて自動的に切り替える。この際、確認装置102は、上述のカメラ切り替え用テーブル(図6参照)を参照する。2つのカメラ間で重複するフレーム位置の期間内、例えばその中央付近で切り替えが行われる。なお、切り替えタイミング情報はファイルでも保存され、本線動画の自動編集に使用可能とされてもよい。
The user can perform playback operations as a series of images from the start to the goal without being conscious of multiple cameras. Camera switching is automatically performed by the
カメラの切り替え位置の決定は、例えば先頭の選手が隣り合う2台のカメラに同時に写った瞬間や、そのタイミングの2フレーム後など予めオフセットを付けてもよい。また、無線タグや衣服上のIDをカメラで検出した情報を利用することも考えられ、顔認識などで指定した個人が写った瞬間に切り替える、などでもよい。勿論、人に限らず車のレースなどにも同様に適用可能である。 The camera switching position may be determined with an offset in advance, for example, at the moment when the leading player is captured by two adjacent cameras at the same time, or two frames after that timing. It is also conceivable to use information obtained by detecting a wireless tag or an ID on clothes with a camera, and it is also possible to switch the mode at the moment when a specified individual is captured by face recognition or the like. Of course, it is applicable not only to people but also to car races and the like.
「確認装置と各カメラとの間の通信シーケンス」
図8のシーケンス図は、確認装置102での再生時における各カメラとの間の通信のシーケンス例を示している。ここでは、画像をコマ送りして表示する際の通信例を示している。
"Communication sequence between confirmation device and each camera"
The sequence diagram of FIG. 8 shows an example of the sequence of communication with each camera during playback on the
確認装置102は、カメラ(カメラA)101-Aに対して、#495のフレームの画像データ(この場合は、JPEG圧縮符号化されている)の転送を要求する。これに対して、カメラ(カメラA)101-Aは、自分のフレームバッファ内の#495のフレームの画像データを読み出して確認装置102に転送する。これにより、確認装置102では、この#495のフレームの画像データによる画像がパネル136に表示される。
The
次に、同様に、確認装置102は、カメラ(カメラA)101-Aに対して、#496のフレームの画像データの転送を要求する。これに対して、カメラ(カメラA)101-Aは、自分のフレームバッファ内の#496のフレームの画像データを読み出して確認装置102に転送する。これにより、確認装置102では、この#496のフレームの画像データによる画像がパネル136に表示される。
Next, similarly, the
次に、確認装置102では、カメラ切り替え用テーブル(図6参照)に基づいて切り替え判を行って、(カメラB)101-Bに切り替える。確認装置102は、カメラ(カメラB)101-Bに対して、#497のフレームの画像データの転送を要求する。これに対して、カメラ(カメラB)101-Bは、自分のフレームバッファ内の#497のフレームの画像データを読み出して確認装置102に転送する。これにより、確認装置102では、この#497のフレームの画像データによる画像がパネル136に表示される。以下、同様の動作となる。
Next, the
「表示レイテンシの改善例」
なお、上述では、確認装置102に所定カメラの所定フレームの画像を表示する際に、当該所定フレームの画像データを当該所定カメラからその都度取得する例を示した。この場合、特に、無線LAN接続の場合、通信経路の状況によっては表示レイテンシが延びることが想定される。
"Example of improving display latency"
In the above description, an example is shown in which image data of a predetermined frame is obtained from the predetermined camera each time an image of a predetermined frame from a predetermined camera is displayed on the
この表示レイテンシの改善のために、確認装置102のメモリ132(図4参照)にフレームバッファを持たせ、各カメラの再生コンテンツを当該フレームバッファに予めダウンロードすることが考えられる。このバッファリング後は、確認装置102内に閉じて再生が行われるので、通信経路の状況の影響を受けることがなく、表示レイテンシが改善される。
In order to improve this display latency, it is conceivable to provide a frame buffer in the memory 132 (see FIG. 4) of the
上述したように、図1に示すマルチカメラシステム10Aにおいては、各カメラでは確認装置102からのスタートトリガ信号の受信タイミングに対応したフレームからフレーム番号がカウントされて被写体が存在する期間の各フレームの画像データがフレーム番号と対応付けてメモリ112に書き込まれ、また、確認装置102では所定のフレーム番号のフレーム画像を再生する際、そのフレームの画像データを持つカメラに選択的にフレーム番号を伴う転送要求が送信され、確認装置102では所定カメラから送られてくる画像データによる画像が表示される。そのため、確認装置102において、移動被写体を順次撮像する各カメラの撮像画像を良好に確認できる。
As described above, in the
この場合、確認装置102側で全てのカメラ内の動画フレーム番号をトリガ基準で把握しており、カメラ内でイントラフレーム圧縮しておくことで、確認端末102側は欲しいフレームだけをそのカメラと通信することで低レイテンシ・低伝送帯域で取得できる。また、イントラフレーム圧縮されたデータの再生なので確認端末102側の必要処理が少なく、ストレスのない表示レイテンシ/フレームレートで再生できる。
In this case, the
<2.変形例>
なお、上述実施の形態においては、各カメラから確認装置102に記録開始フレーム番号および記録終了フレーム番号の記録フレーム番号情報を送り、確認装置102は当該各カメラからの記録フレーム番号情報に基づいて生成されたカメラ切り替え用テーブル(図6参照)を保持し、このカメラ切り替え用テーブルを参照してカメラ切り替えを行う例を示した。
<2. Variation>
In the above-described embodiment, each camera sends recording frame number information including the recording start frame number and the recording end frame number to the
しかし、カメラ切り替え用テーブルとしては、このように記録フレーム番号情報に基づいて生成されたものに限定されない。例えば、図9(a)は、各カメラにおいて、動画ファイルが上述実施の形態にようにJPEGなどのイントラフレーム圧縮されるものではなく、例えばAVCなどのGOP構造でエンコードされる場合におけるカメラ切り替え用テーブルの一例を示している。この場合は、確認装置102は、表示するフレームの指定に、GOP番号とその中のフレーム番号を使用する。
However, the camera switching table is not limited to one generated based on the recording frame number information in this way. For example, FIG. 9(a) shows a camera switching system when a moving image file is encoded in a GOP structure such as AVC instead of intra-frame compression such as JPEG as in the above-described embodiment. An example of a table is shown. In this case,
この場合、各カメラでは、確認装置102からスタートトリガ信号(記録指示信号)が送られてくるとき、そのタイミングのフレームを例えばGOP番号が#1でフレーム番号が#1であるとしてエンコードしいく。各カメラは、少なくとも、動いている被写体が存在する期間の各フレームの画像データが含まれる各GOPの画像データをメモリ112のフレームバッファに記録する。そして、各カメラは、イメージャの撮像範囲に動いている被写体が存在する期間の開始フレームにおけるGOP番号およびフレーム番号「被写IN GOP/フレーム#」とその終了フレームにおけるGOP番号およびフレーム番号「被写体OUT GOP/フレーム#」の情報を確認装置102に送る。
In this case, each camera, when a start trigger signal (recording instruction signal) is sent from the
また、例えば、図9(b)は、各カメラがタイムコード同期している場合におけるカメラ切り替え用テーブルの一例を示している。この場合、確認装置102は、表示するフレームの指定に、タイムコードを使用する。
Also, for example, FIG. 9B shows an example of a camera switching table when each camera is time-code synchronized. In this case,
この場合、各カメラは、少なくとも、動いている被写体が存在する期間の各フレームの画像データをタイムコードを伴ってメモリ112のフレームバッファに記録する。そして、各カメラは、イメージャの撮像範囲に動いている被写体が存在する期間の開始フレームにおけるタイムコード「被写体IN Timecode」とその終了フレームにおけるタイムコード「被写体OUT Timecode」を確認装置102に送る。
In this case, each camera records at least the image data of each frame during the period in which a moving subject exists in the frame buffer of the
また、上述実施の形態においては、カメラ101-A,101-B,101-Cの撮像画像データのフレームレートが60Hzである例を示した。本技術は、カメラ101-A,101-B,101-Cの撮像画像データのフレームレートがその他の場合にも同様に適用でき、例えば、ハイフレームレート、例えば、図5に示す240Hzなどの場合にあっても同様に適用できる。 Further, in the above-described embodiment, an example is shown in which the frame rate of the captured image data of the cameras 101-A, 101-B, and 101-C is 60 Hz. The present technology can be similarly applied when the frame rate of the image data captured by the cameras 101-A, 101-B, and 101-C is other than the above. can be applied in the same way.
また、上述実施の形態においては、カメラが3個である場合の例を示した。本技術は、カメラが2個、あるいは4個以上の場合にも同様に適用できる。 Also, in the above-described embodiment, an example in which there are three cameras has been shown. This technology can be similarly applied to two or four or more cameras.
また、上述実施の形態においては、各カメラの内部に制御インタフェースを備える例を示した。しかし、カメラは制御インタフェースを備えておらず、カメラの外部に制御用機器を設けることも考えられる。 Also, in the above embodiment, an example in which each camera has a control interface is shown. However, the camera does not have a control interface, and it is conceivable to provide control equipment outside the camera.
図10は、その場合におけるマルチカメラシステム10Bの構成例を示している。この図10において、図1と対応する部分には同一符号を付して示している。カメラ101-A,101-B,101-Cは、それぞれ、図1に示すマルチカメラシステム10Aとは異なって、制御インタフェース(制御I/F)を備えてはいない。カメラ101-A,101-B,101-Cの外部に、それぞれ、制御インタフェース(制御I/F)と同様の機能を持つ制御用機器(制御用機器A)101-A、制御用機器(制御用機器B)101-B、制御用機器(制御用機器C)101-Cが設けられる。
FIG. 10 shows a configuration example of a
また、上述実施の形態においては、カメラ101-A,101-B,101-Cとは別個に確認装置102を備える例を示した。しかし、確認装置102を備えておらず、カメラ101-A,101-B,101-Cのいずれかが確認装置を兼用する構成も考えられる。図11は、その場合におけるマルチカメラシステム10Cの構成例を示している。この図11において、図1と対応する部分には同一符号を付して示している。
Further, in the above-described embodiment, an example in which
なお、図11に示すマルチカメラシステム10Cは、図1に示すマルチカメラシステム10Aに対応したものであるが、図10に示すマルチカメラシステム10Bに対応したものも同様に構成できることは勿論である。詳細説明は省略するが、図12は、その場合におけるマルチカメラシステム10Dの構成例を示している。
Although the
また、本技術は、以下のような構成を取ることもできる。
(1)複数のカメラと、該複数のカメラに有線あるいは無線で接続された確認装置とからなり、
上記カメラは、
イメージャと、
メモリと、
上記確認装置からのスタートトリガ信号の受信があるとき、該トリガ信号の受信タイミングに対応したフレームからフレーム番号をカウントする処理と、上記イメージャで撮像されて得られた画像データのうち動いている被写体が存在する期間の各フレームの画像データを上記カウントされているフレーム番号と対応付けて上記メモリに書き込む処理と、上記メモリに書き込まれている各フレームの画像データに関連付けられているフレーム番号の情報を上記確認装置に送る処理と、上記確認装置からのフレーム番号を伴う転送要求の受信があるとき、該フレーム番号で指定されたフレームの画像データを上記メモリから読み出して上記確認装置に転送する処理を制御する制御部を備え、
上記確認装置は、
ディスプレイと、
上記複数のカメラにスタートトリガ信号を送信する処理と、上記複数のカメラから送られてくる、それぞれのメモリに書き込まれている各フレームの画像データに関連付けられているフレーム番号の情報に基づいて、上記複数のカメラから選択された所定のカメラにフレーム番号を伴う転送要求を送信する処理と、上記所定カメラから転送されてくる上記フレーム番号で指定されたフレームの画像データを受信し、該画像データによる画像を上記ディスプレイに表示する処理を制御する制御部を備える
マルチカメラシステム。
(2)上記複数のカメラは、上記被写体が直線的に動いていく範囲を分割して撮像する
前記(1)に記載のマルチカメラシステム。
(3)イメージャと、
メモリと、
確認装置からのスタートトリガ信号の受信があるとき、該トリガ信号の受信タイミングに対応したフレームからフレーム番号をカウントする処理と、上記イメージャで撮像されて得られた画像データのうち動いている被写体が存在する期間の各フレームの画像データを上記カウントされているフレーム番号と対応付けて上記メモリに書き込む処理と、上記メモリに書き込まれている各フレームの画像データに関連付けられているフレーム番号の情報を上記確認装置に送る処理と、上記確認装置からのフレーム番号を伴う転送要求の受信があるとき、該フレーム番号で指定されたフレームの画像データを上記メモリから読み出して上記確認装置に転送する処理を制御する制御部を備える
カメラ。
(4)上記メモリには、各フレームの画像データがイントラフレーム圧縮されて書き込まれ、上記確認装置には、フレーム番号で指定されたフレームのイントラフレーム圧縮された画像データが転送される
前記(3)に記載のカメラ。
(5)上記メモリには、各フレームの画像データが、少なくとも上記イメージャの撮像範囲に上記動いている被写体が存在する期間以上の単位でループ記録される
前記(3)または(4)に記載のカメラ。
(6)イメージャと、メモリを備えるカメラの処理方法であって、
確認装置からのスタートトリガ信号の受信があるとき、該トリガ信号の受信タイミングに対応したフレームからフレーム番号をカウントするステップと、
上記イメージャで撮像されて得られた画像データのうち動いている被写体が存在する期間の各フレームの画像データを上記カウントされているフレーム番号と対応付けて上記メモリに書き込むステップと、
上記メモリに書き込まれている各フレームの画像データに関連付けられているフレーム番号の情報を上記確認装置に送るステップと、
上記確認装置からのフレーム番号を伴う転送要求の受信があるとき、該フレーム番号で指定されたフレームの画像データを上記メモリから読み出して上記確認装置に転送するステップを有する
カメラの処理方法。
(7)ディスプレイと、
複数のカメラにスタートトリガ信号を送信する処理と、上記複数のカメラから送られてくる、それぞれのメモリに書き込まれている各フレームの画像データに関連付けられているフレーム番号の情報に基づいて、上記複数のカメラから選択された所定のカメラにフレーム番号を伴う転送要求を送信する処理と、上記所定カメラから転送されてくる上記フレーム番号で指定されたフレームの画像データを受信し、該画像データによる画像を上記ディスプレイに表示する処理を制御する制御部を備える
確認装置。
(8)再生フレーム位置を操作するための操作部をさらに備える
前記(7)に記載の確認装置。
(9)上記操作部は、上記ディスプレイの画面上に配置されたタッチパネルにより構成される
前記(8)に記載の確認装置。
(10)上記ディスプレイには、上記再生フレーム位置を操作するためのスクロールバーが表示される
前記(9)に記載の確認装置。
(11)ディスプレイを備える確認装置の処理方法であって、
複数のカメラにスタートトリガ信号を送信するステップと、
上記複数のカメラから送られてくる、それぞれのメモリに書き込まれている各フレームの画像データに関連付けられているフレーム番号の情報に基づいて、上記複数のカメラから選択された所定のカメラにフレーム番号を伴う転送要求を送信するステップと、
上記所定カメラから転送されてくる上記フレーム番号で指定されたフレームの画像データを受信し、該画像データによる画像を上記ディスプレイに表示するステップを有する
確認装置の処理方法。
(12)複数のカメラと、該複数のカメラに有線あるいは無線で接続された確認装置とからなり、
上記カメラは、
イメージャと、
メモリと、
上記イメージャで撮像されて得られた画像データのうち動いている被写体が存在する期間の各フレームの画像データを上記メモリに書き込む処理と、上記メモリに書き込まれている画像データのフレーム期間情報を上記確認装置に送る処理と、上記確認装置からの再生フレーム情報を伴う転送要求の受信があるとき、該再生フレームの画像データを上記メモリから読み出して上記確認装置に転送する処理を制御する制御部を備え、
上記確認装置は、
ディスプレイと、
上記複数のカメラから送られてくる上記フレーム期間情報に基づいて、上記複数のカメラから選択された所定のカメラに再生フレーム情報を伴う転送要求を送信する処理と、上記所定カメラから転送されてくる上記再生フレームの画像データを受信し、該画像データによる画像を上記ディスプレイに表示する処理を制御する制御部を備える
マルチカメラシステム。
(13)上記フレーム期間情報は、フレーム番号、GOP番号およびフレーム番号、またはタイムコードで示される情報である
前記(12)に記載のマルチカメラシステム。
(14)イメージャと、
メモリと、
上記イメージャで撮像されて得られた画像データのうち動いている被写体が存在する期間の各フレームの画像データを上記メモリに書き込む処理と、上記メモリに書き込まれている画像データのフレーム期間情報を確認装置に送る処理と、上記確認装置からの再生フレーム情報を伴う転送要求の受信があるとき、該再生フレームの画像データを上記メモリから読み出して上記確認装置に転送する処理を制御する制御部を備える
カメラ。
(15)ディスプレイと、
複数のカメラから送られてくる上記フレーム期間情報に基づいて、上記複数のカメラから選択された所定のカメラに再生フレーム情報を伴う転送要求を送信する処理と、上記所定カメラから転送されてくる上記再生フレームの画像データを受信し、該画像データによる画像を上記ディスプレイに表示する処理を制御する制御部を備える
確認装置。
Moreover, this technique can also take the following structures.
(1) Consisting of a plurality of cameras and a confirmation device connected to the plurality of cameras by wire or wirelessly,
The camera above
an imager;
memory;
When a start trigger signal is received from the confirmation device, a process of counting a frame number from a frame corresponding to the timing of receiving the trigger signal; a process of writing the image data of each frame in the period in which the counted frame number is associated with the counted frame number into the memory, and information of the frame number associated with the image data of each frame written into the memory. to the confirmation device, and when a transfer request with a frame number is received from the confirmation device, the image data of the frame specified by the frame number is read from the memory and transferred to the confirmation device. It has a control unit that controls the
The above confirmation device is
a display;
Based on the process of transmitting a start trigger signal to the plurality of cameras and the frame number information associated with the image data of each frame written in each memory sent from the plurality of cameras, a process of transmitting a transfer request accompanied by a frame number to a predetermined camera selected from the plurality of cameras; receiving image data of a frame designated by the frame number transferred from the predetermined camera; A multi-camera system comprising a control unit for controlling a process of displaying an image by the display on the display.
(2) The multi-camera system according to (1), wherein the plurality of cameras divides and captures a range in which the subject moves linearly.
(3) an imager;
memory;
When a start trigger signal is received from a confirmation device, a process of counting a frame number from a frame corresponding to the reception timing of the trigger signal; A process of writing the image data of each frame in the existing period in association with the counted frame number to the memory, and the information of the frame number associated with the image data of each frame written in the memory. and a process of reading image data of a frame specified by the frame number from the memory and transferring it to the confirmation apparatus when a transfer request with a frame number is received from the confirmation apparatus. A camera with controls to control.
(4) Intra-frame-compressed image data of each frame is written in the memory, and intra-frame-compressed image data of the frame specified by the frame number is transferred to the confirmation device. ).
(5) The memory according to (3) or (4), wherein the image data of each frame is loop-recorded in units of at least a period longer than the period in which the moving subject is present in the imaging range of the imager. camera.
(6) A method of processing an imager and a camera with memory, comprising:
counting a frame number from a frame corresponding to the timing of receiving the trigger signal when a start trigger signal is received from the confirmation device;
a step of writing image data of each frame of a period in which a moving subject exists among the image data obtained by imaging with the imager in the memory in association with the counted frame number;
sending frame number information associated with each frame of image data written in the memory to the verification device;
A camera processing method comprising, upon receipt of a transfer request with a frame number from the confirmation device, reading image data of a frame designated by the frame number from the memory and transferring the image data to the confirmation device.
(7) a display;
Based on the processing of transmitting start trigger signals to a plurality of cameras and the frame number information associated with the image data of each frame written in the respective memories sent from the plurality of cameras, a process of transmitting a transfer request with a frame number to a predetermined camera selected from a plurality of cameras; receiving image data of a frame designated by the frame number transferred from the predetermined camera; A confirmation device comprising a control unit that controls processing for displaying an image on the display.
(8) The confirmation device according to (7), further comprising an operation unit for operating a reproduction frame position.
(9) The confirmation device according to (8), wherein the operation unit is configured by a touch panel arranged on the screen of the display.
(10) The confirmation device according to (9), wherein a scroll bar for operating the playback frame position is displayed on the display.
(11) A processing method for a confirmation device having a display,
sending a start trigger signal to a plurality of cameras;
a frame number assigned to a predetermined camera selected from the plurality of cameras based on frame number information associated with image data of each frame written in each memory sent from the plurality of cameras; sending a transfer request with
A processing method for a confirmation device, comprising a step of receiving image data of a frame designated by the frame number transferred from the predetermined camera and displaying an image based on the image data on the display.
(12) comprising a plurality of cameras and a confirmation device connected to the plurality of cameras by wire or wirelessly;
The camera above
an imager;
memory;
a process of writing image data of each frame of a period in which a moving subject exists among the image data obtained by imaging with the imager into the memory; a control unit for controlling processing for sending to a confirmation device, and processing for reading image data of the reproduction frame from the memory and transferring it to the confirmation device when a transfer request accompanied by reproduction frame information is received from the confirmation device; prepared,
The above confirmation device is
a display;
a process of transmitting a transfer request accompanied by reproduction frame information to a predetermined camera selected from the plurality of cameras based on the frame period information transmitted from the plurality of cameras; A multi-camera system comprising a control unit that receives image data of the reproduction frame and controls processing for displaying an image based on the image data on the display.
(13) The multi-camera system according to (12), wherein the frame period information is information indicated by a frame number, GOP number and frame number, or time code.
(14) an imager;
memory;
A process of writing image data of each frame during a period in which a moving subject exists among the image data obtained by imaging with the imager into the memory, and confirming frame period information of the image data written into the memory. a control unit for controlling a process of sending to an apparatus, and a process of reading image data of the reproduced frame from the memory and transferring the image data of the reproduced frame to the confirming apparatus when receiving a transfer request with reproduced frame information from the confirming apparatus; camera.
(15) a display;
a process of transmitting a transfer request accompanied by reproduction frame information to a predetermined camera selected from the plurality of cameras based on the frame period information transmitted from the plurality of cameras; A confirmation device comprising a control unit that receives image data of a reproduction frame and controls processing for displaying an image based on the image data on the display.
10A,10B,10C,10D・・・マルチカメラシステム
101,101-A,101-B,101-C・・・カメラ
102・・・確認装置
103-A,103-B,103-C・・・制御用機器
111・・・CPU
112・・・メモリ
113・・・イメージャ/レンズ部
114・・・カメラ信号処理部
115・・・コーデック処理部
116・・・パネル処理部
117・・・パネル
118・・・有線通信処理部
119・・・有線LAN端子
120・・・無線通信処理部
121・・・アンテナ
131・・・CPU
132・・・メモリ
133・・・コーデック処理部
134・・・グラフィック処理部
135・・・パネル処理部
136・・・パネル
137・・・有線通信処理部
138・・・有線LAN端子
139・・・無線通信処理部
140・・・アンテナ
10A, 10B, 10C, 10D...
112...
132...
Claims (17)
前記メモリに書き込まれる前記動いている被写体が存在する期間の画像データのフレームを示すフレーム情報を外部機器に送信する処理と、
前記外部機器から、前記動いている被写体が存在する期間の画像データのフレームのうちいずれかのフレームを示すフレーム情報を含む転送要求を受信した場合に、前記受信したフレーム情報によって示されたフレームの画像データを、前記メモリから読み出して前記外部機器に転送する処理と、を制御する制御部を有するカメラ。 a process of writing image data of a period in which a moving subject exists among image data obtained by the imager into a memory;
a process of transmitting to an external device frame information indicating a frame of image data written in the memory and representing a frame of image data during a period in which the moving subject exists ;
When receiving from the external device a transfer request including frame information indicating any one of the frames of the image data during the period in which the moving subject exists, transfer of the frame indicated by the received frame information A camera having a control unit that controls a process of reading image data from the memory and transferring the image data to the external device.
請求項1に記載のカメラ。 The camera according to Claim 1, wherein the frame information is information indicated by a frame number, a GOP number and a frame number, or a time code.
請求項1または請求項2に記載のカメラ。 3. The camera according to claim 1, wherein the control unit performs control so that the image data and the frame information are associated with each other and written into the memory.
請求項1乃至請求項3のいずれか一つに記載のカメラ。 The control unit, when receiving a trigger signal from the external device, controls a process of counting a frame number from a frame corresponding to the reception timing of the trigger signal, and controls a process of counting a frame number from a frame corresponding to the reception timing of the trigger signal, thereby obtaining an image of a period in which the moving subject exists. 4. The camera according to any one of claims 1 to 3, wherein the data and the counted frame numbers are associated with each other and controlled to be written in the memory.
前記外部機器には、前記フレーム情報によって示されたフレームのイントラフレーム圧縮された画像データが転送されるIntraframe-compressed image data of the frame indicated by the frame information is transferred to the external device.
請求項1乃至請求項4のいずれか一つに記載のカメラ。A camera according to any one of claims 1 to 4.
請求項1乃至請求項4のいずれか一つに記載のカメラ。A camera according to any one of claims 1 to 4.
前記メモリに書き込まれる前記動いている被写体が存在する期間の画像データのフレームを示すフレーム情報を外部機器に送信する手順と、
前記外部機器から、前記動いている被写体が存在する期間の画像データのフレームのうちいずれかのフレームを示すフレーム情報を含む転送要求を受信した場合に、前記受信したフレーム情報によって示されたフレームの画像データを、前記メモリから読み出して前記外部機器に転送する手順と、を有するカメラの制御方法。 a step of writing image data of a period in which a moving subject exists among image data obtained by the imager into a memory;
a step of transmitting to an external device frame information indicating a frame of image data written in the memory and representing a frame of image data during a period in which the moving subject exists ;
When receiving from the external device a transfer request including frame information indicating any one of the frames of the image data during the period in which the moving subject exists, transfer of the frame indicated by the received frame information and a procedure of reading image data from the memory and transferring the image data to the external device.
前記複数のカメラからそれぞれ受信されたフレーム情報に基づいて、前記複数のカメラのうちの第1のカメラに、前記動いている被写体が存在する期間の画像データのフレームのうちいずれかのフレームを示すフレーム情報を含む前記画像データの転送要求を送信する処理と、
前記第1のカメラから転送された、前記送信したフレーム情報によって示されたフレームの画像データをディスプレイに表示する処理と、を制御する制御部を有する制御装置。 a process of receiving, from each of a plurality of cameras, frame information indicating a frame of image data during a period in which a moving subject exists ;
Based on the frame information received from each of the plurality of cameras, one of the frames of the image data during the period in which the moving subject exists is indicated to a first camera among the plurality of cameras. a process of transmitting a transfer request for the image data including frame information;
A control device having a control unit for controlling a process of displaying on a display the image data of the frame indicated by the transmitted frame information, which is transferred from the first camera.
請求項8に記載の制御装置。 The control unit controls image data obtained by an imager of the first camera during a first period in which a moving subject exists and image data obtained by an imager of a second camera different from the first camera. when there is a period that overlaps with a second period in which a moving subject exists in the image data obtained, at a timing near the center of the overlapping period, by the first camera and the second camera The image data obtained by the first camera is changed from the image data obtained by the first camera at the timing when the moving subjects start to be photographed at the same time, or at the timing after a predetermined frame after the timing when the moving subjects start to be photographed at the same time. 9. The control device according to claim 8 , wherein said display is controlled to switch and display image data obtained by said camera.
請求項9に記載の制御装置。 The control unit controls to hold the information about the switching timing in a memory.
A control device according to claim 9 .
請求項8乃至請求項11のいずれか一つに記載の制御装置。12. A control device according to any one of claims 8 to 11.
前記複数のカメラからそれぞれ受信されたフレーム情報に基づいて、前記複数のカメラのうちの第1のカメラに、前記動いている被写体が存在する期間の画像データのフレームのうちいずれかのフレームを示すフレーム情報を含む前記画像データの転送要求を送信する手順と、
前記第1のカメラから転送された、前記送信したフレーム情報によって示されたフレームの画像データをディスプレイに表示する手順と、を有する制御装置の制御方法。 a step of receiving, from each of a plurality of cameras, frame information indicating frames of image data during a period in which a moving subject is present ;
Based on the frame information received from each of the plurality of cameras, one of the frames of the image data during the period in which the moving subject exists is indicated to a first camera among the plurality of cameras. a procedure for transmitting a transfer request for the image data including frame information;
and displaying, on a display, the image data of the frame indicated by the transmitted frame information, which is transferred from the first camera.
前記カメラは、
イメージャによって得られた画像データのうち動いている被写体が存在する期間の画像データを、メモリに書き込む処理と、
前記メモリに書き込まれる前記動いている被写体が存在する期間の画像データのフレームを示すフレーム情報を前記制御装置に送信する処理と、
前記制御装置から、前記動いている被写体が存在する期間の画像データのフレームのうちいずれかのフレームを示すフレーム情報を含む転送要求を受信した場合に、前記受信したフレーム情報によって示されたフレームの画像データを、前記メモリから読み出して前記制御装置に転送する処理と、を制御する制御部を有し、
前記制御装置は、
前記複数のカメラのそれぞれから、前記動いている被写体が存在する期間の画像データのフレームを示すフレーム情報を受信する処理と、
前記複数のカメラからそれぞれ受信されたフレーム情報に基づいて、前記複数のカメラのうちの第1のカメラに、前記動いている被写体が存在する期間の画像データのフレームのうちいずれかのフレームを示すフレーム情報を含む前記画像データの転送要求を送信する処理と、
前記第1のカメラから転送された、前記送信したフレーム情報によって示されたフレームの画像データをディスプレイに表示する処理と、を制御する制御部を有する
システム。 comprising a plurality of cameras and a control device connected to the plurality of cameras by wire or wirelessly,
The camera is
a process of writing image data of a period in which a moving subject exists among image data obtained by the imager into a memory;
a process of transmitting to the control device frame information indicating a frame of image data written in the memory and representing a frame of image data during which the moving subject exists ;
When receiving from the control device a transfer request including frame information indicating any one of the frames of the image data during the period in which the moving subject exists, transfer of the frame indicated by the received frame information a control unit that controls a process of reading out image data from the memory and transferring the image data to the control device ;
The control device is
a process of receiving, from each of the plurality of cameras, frame information indicating a frame of image data during a period in which the moving subject exists ;
Based on the frame information received from each of the plurality of cameras, one of the frames of the image data during the period in which the moving subject exists is indicated to a first camera among the plurality of cameras. a process of transmitting a transfer request for the image data including frame information;
A system comprising a control unit that controls a process of displaying on a display the image data of the frame indicated by the transmitted frame information, which is transferred from the first camera.
前記カメラの制御部は、
イメージャによって得られた画像データのうち動いている被写体が存在する期間の画像データを、メモリに書き込む処理と、
前記メモリに書き込まれる前記動いている被写体が存在する期間の画像データのフレームを示すフレーム情報を前記制御装置に送信する処理と、
前記制御装置から、前記動いている被写体が存在する期間の画像データのフレームのうちいずれかのフレームを示すフレーム情報を含む転送要求を受信した場合に、前記受信したフレーム情報によって示されたフレームの画像データを、前記メモリから読み出して前記制御装置に転送する処理と、を制御し、
前記制御装置の制御部は、
前記複数のカメラのそれぞれから、前記動いている被写体が存在する期間の画像データのフレームを示すフレーム情報を受信する処理と、
前記複数のカメラからそれぞれ受信されたフレーム情報に基づいて、前記複数のカメラのうちの第1のカメラに、前記動いている被写体が存在する期間の画像データのフレームのうちいずれかのフレームを示すフレーム情報を含む前記画像データの転送要求を送信する処理と、
前記第1のカメラから転送された、前記送信したフレーム情報によって示されたフレームの画像データをディスプレイに表示する処理と、を制御する
システムの制御方法。 A control method for a system comprising a plurality of cameras and a control device connected to the plurality of cameras by wire or wirelessly,
The control unit of the camera
a process of writing image data of a period in which a moving subject exists among image data obtained by the imager into a memory;
a process of transmitting to the control device frame information indicating a frame of image data written in the memory and representing a frame of image data during which the moving subject exists ;
When receiving from the control device a transfer request including frame information indicating any one of the frames of the image data during the period in which the moving subject exists, transfer of the frame indicated by the received frame information controlling a process of reading image data from the memory and transferring it to the control device ;
The control unit of the control device,
a process of receiving, from each of the plurality of cameras, frame information indicating a frame of image data during a period in which the moving subject exists ;
Based on the frame information received from each of the plurality of cameras, one of the frames of the image data during the period in which the moving subject exists is indicated to a first camera among the plurality of cameras. a process of transmitting a transfer request for the image data including frame information;
A system control method for controlling a process of displaying on a display image data of a frame indicated by the transmitted frame information, which is transferred from the first camera.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020195527A JP7140177B2 (en) | 2020-11-25 | 2020-11-25 | camera, camera control method, control device, control device control method, system and system control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020195527A JP7140177B2 (en) | 2020-11-25 | 2020-11-25 | camera, camera control method, control device, control device control method, system and system control method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016156866A Division JP6801286B2 (en) | 2016-08-09 | 2016-08-09 | Multi-camera system, camera, camera processing method, confirmation device and confirmation device processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021048608A JP2021048608A (en) | 2021-03-25 |
JP7140177B2 true JP7140177B2 (en) | 2022-09-21 |
Family
ID=74876707
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020195527A Active JP7140177B2 (en) | 2020-11-25 | 2020-11-25 | camera, camera control method, control device, control device control method, system and system control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7140177B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102650294B1 (en) * | 2021-03-31 | 2024-03-25 | 텐센트 아메리카 엘엘씨 | Method and apparatus for defining digest configuration and protocols in 5G uplink streaming |
KR102510454B1 (en) * | 2022-09-02 | 2023-03-16 | 주식회사 솔디아 | Video streaming delivery system with reduced transmission volume |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000224542A (en) | 1999-01-29 | 2000-08-11 | Hitachi Ltd | Image storage device, monitor system and storage medium |
JP2004112153A (en) | 2002-09-17 | 2004-04-08 | Fujitsu Ltd | Image processing system |
JP2014197802A (en) | 2013-03-29 | 2014-10-16 | ブラザー工業株式会社 | Work support system and program |
JP2016039450A (en) | 2014-08-06 | 2016-03-22 | 三井不動産株式会社 | Monitoring system and monitoring method |
-
2020
- 2020-11-25 JP JP2020195527A patent/JP7140177B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000224542A (en) | 1999-01-29 | 2000-08-11 | Hitachi Ltd | Image storage device, monitor system and storage medium |
JP2004112153A (en) | 2002-09-17 | 2004-04-08 | Fujitsu Ltd | Image processing system |
JP2014197802A (en) | 2013-03-29 | 2014-10-16 | ブラザー工業株式会社 | Work support system and program |
JP2016039450A (en) | 2014-08-06 | 2016-03-22 | 三井不動産株式会社 | Monitoring system and monitoring method |
Also Published As
Publication number | Publication date |
---|---|
JP2021048608A (en) | 2021-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6747158B2 (en) | Multi-camera system, camera, camera processing method, confirmation device, and confirmation device processing method | |
JP4978324B2 (en) | Image recording apparatus, image recording system, and image reproducing method | |
JP7140177B2 (en) | camera, camera control method, control device, control device control method, system and system control method | |
JP5077979B2 (en) | Display control apparatus, display control method, and program | |
JP6801286B2 (en) | Multi-camera system, camera, camera processing method, confirmation device and confirmation device processing method | |
JP5751942B2 (en) | Playback apparatus and playback method | |
JPH0799628A (en) | Image pickup device | |
JP7031703B2 (en) | Information processing equipment and multi-camera system | |
JP2004180191A (en) | Recorder and moving picture recorder with camera | |
US8687939B2 (en) | Recording/reproducing system, recording/reproducing apparatus, and method for controlling recording/reproducing apparatus | |
US9258540B2 (en) | Imaging apparatus | |
JP2005117447A (en) | Animation recording device, animation recording method and animation recording program | |
JP4828354B2 (en) | Multi-channel image transfer device | |
JP2004220679A (en) | Reproducing device | |
JP2015099995A (en) | Recording device and recording device control method | |
JP6051066B2 (en) | Singing video playback system for karaoke | |
US20070053015A1 (en) | Still image printing method and apparatus corresponding to printing request timing | |
JP2018195923A (en) | Recording device | |
JP2018098664A (en) | Recording device, control method therefor, computer program, and recording medium | |
JP5930807B2 (en) | Imaging device | |
JPH04247786A (en) | Picture recording system | |
JP5925020B2 (en) | Playback device | |
JP6082269B2 (en) | Recording apparatus and control method thereof | |
JP4568749B2 (en) | Information equipment | |
JP5509159B2 (en) | Image processing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201224 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201224 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220330 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220809 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220822 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7140177 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |