JP2007036902A

JP2007036902A - Picture data receiver, and method for receiving picture data

Info

Publication number: JP2007036902A
Application number: JP2005219715A
Authority: JP
Inventors: Masaki Miyazaki; 優樹宮嵜
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2005-07-28
Filing date: 2005-07-28
Publication date: 2007-02-08

Abstract

<P>PROBLEM TO BE SOLVED: To provide a picture data receiver by which proper information can be provided for a user by obtaining a picture by performance corresponding to a situation even when a time for obtaining data is too long with respect to a target frame rate depending on a network, a picture data size, etc. <P>SOLUTION: Transmission of picture data is requested to a camera 602 at frame intervals Tf according to a set frame rate F, and re-transmission of the picture data is requested to the camera when the picture data is not received from the camera within a set time-out time To. Based on the average Tm of the times T for obtaining the picture data of a prescribed number of frames until receiving the picture data from the camera after transmitting the transmission request or the retransmission request and the frame interval Tf according to the frame rate F set in advance, it is judged whether the set frame rate F and the time-out time To have to be corrected. When required, they are corrected, and a user is informed that the set frame rate F and the time-out time To are corrected. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、ネットワーク上のカメラにより撮像された画像データを受信する画像データ受信装置及び画像データ受信方法に関する。 The present invention relates to an image data receiving apparatus and an image data receiving method for receiving image data captured by a camera on a network.

映像監視や観光地のガイドなどの目的で、カメラで撮像した画像をネットワークを介して伝送するネットワーク画像伝送システムが広く用いられている（例えば下記の特許文献１参照）。このようなネットワーク画像伝送システムの例を図６に示す。図６において、パーソナルコンピュータ（ＰＣ）６０１と複数のネットワークカメラ６０２（６０２ａ、６０２ｂ、６０２ｃ…）がネットワーク６０３を介して接続され、ネットワークカメラ６０２で撮像した映像をデジタル化、データ圧縮などの工程を経て、ネットワーク６０３を介して画像データ受信装置であるＰＣ６０１に送り、ＰＣ６０１ではそのままハードディスクなどの蓄積装置に保存するか、データ復号化の後にディスプレイ装置などに映像を表示する。 A network image transmission system that transmits an image captured by a camera via a network is widely used for purposes such as video surveillance and sightseeing spot guidance (see, for example, Patent Document 1 below). An example of such a network image transmission system is shown in FIG. In FIG. 6, a personal computer (PC) 601 and a plurality of network cameras 602 (602a, 602b, 602c,...) Are connected via a network 603, and steps such as digitization and data compression of images captured by the network camera 602 are performed. Then, the data is sent to the PC 601 which is an image data receiving device via the network 603, and is stored in the storage device such as a hard disk as it is, or the video is displayed on the display device after data decoding.

図７は図６における１台のネットワークカメラ６０２と１台のＰＣ６０１との画像データ取得の手順を表している。ＰＣ６０１とネットワークカメラ６０２との間の画像送信の手順について説明する。まずＰＣ６０１からネットワークカメラ６０２に対して画像データの送信要求をネットワーク６０３経由で送信すると、それにネットワークカメラ６０２が応答し、撮像した画像を、例えばＪＰＥＧ（Joint Picture Experts Group）などの方式で圧縮し、圧縮した画像データをＰＣ６０１に返送する。設定フレームレートが１０ｆｐｓの場合はこのやり取りを１秒間に１０回行い、１０ｆｐｓの画像を取得する。 FIG. 7 shows a procedure for acquiring image data by one network camera 602 and one PC 601 in FIG. An image transmission procedure between the PC 601 and the network camera 602 will be described. First, when a transmission request of image data is transmitted from the PC 601 to the network camera 602 via the network 603, the network camera 602 responds to the request and compresses the captured image using a method such as JPEG (Joint Picture Experts Group). The compressed image data is returned to the PC 601. When the set frame rate is 10 fps, this exchange is performed 10 times per second to obtain a 10 fps image.

一方、通信経路上でデータが消失する可能性があり、単に要求データ受信まで待つような方式では、永久にデータを待ち続けることになる。そこで一般に、図８の破線のようにタイムアウト時間を設け、タイムアウト時にデータの受信が完了しなければ、画像の全部もしくは一部の再送を要求し、通信を継続する。また、再送要求に対して再度タイムアウトした場合は、その画像の受信を停止し、新たな画像を要求する。ここで、ネットワークカメラ６０２に画像データ送信の要求を出してから到着までの時間をデータ取得時間とすると、データ取得時間は回線の状況やネットワークの構成に影響されて変動する。タイムアウト時間がデータ取得時間よりも短いと、データが送られてくるにもかかわらず常にタイムアウトとなり、画像の受信が正常に行われなくなる。それに対して下記の特許文献２に示す方法により、実際にデータ受信に要する時間を測定し、それを基に最適なタイムアウト時間を設定する方式が提案されている。
特開平８−３１７３７４号公報（要約書）特開平２−１１３６５４号公報（特許請求の範囲） On the other hand, there is a possibility that data may be lost on the communication path, and in a system that simply waits until reception of requested data, data is kept waiting forever. Therefore, in general, a time-out period is provided as shown by a broken line in FIG. 8, and if data reception is not completed at the time of time-out, the whole or part of the image is requested to be retransmitted and communication is continued. Further, when a timeout occurs again in response to a retransmission request, reception of the image is stopped and a new image is requested. Here, assuming that the time from the request for image data transmission to the network camera 602 until arrival is the data acquisition time, the data acquisition time varies depending on the line status and the network configuration. If the time-out time is shorter than the data acquisition time, the time-out always occurs despite the data being sent, and the image is not normally received. On the other hand, there has been proposed a method of actually measuring the time required for data reception by the method shown in Patent Document 2 below and setting an optimal timeout time based on the measured time.
JP-A-8-317374 (abstract) JP-A-2-113654 (Claims)

ところで、監視カメラなどの画像データを送受信する場合、通常、単位時間に取得する画像枚数（フレームレート）が指定される。データ取得時間が指定フレーム間隔よりも長い場合、特許文献２に開示された方式ではデータ取得時間にタイムアウトの補正を行うことにより、指定フレームレートで画像取得できず、ユーザにとって目的と結果の不整合が生じるという課題があった。 By the way, when transmitting / receiving image data from a surveillance camera or the like, the number of images (frame rate) to be acquired per unit time is normally specified. If the data acquisition time is longer than the specified frame interval, the method disclosed in Patent Document 2 cannot correct the time-out of the data acquisition time to acquire an image at the specified frame rate. There was a problem that occurred.

また、従来の画像受信装置では、タイムアウトが発生した場合に、ユーザにとっては単に指定した頻度で画像が取得できないことしか分からないので、設定を見直すべきなのか、ネットワークの回線を改善すべきなのか、カメラの故障なのか、受信装置の故障なのかなどの判断材料がなく使い勝手に問題があるという課題があった。 Also, in the case of a conventional image receiving device, when a timeout occurs, the user only knows that an image cannot be acquired at a specified frequency. Should the setting be reviewed or the network line should be improved? However, there is a problem that there is no usability for determining whether the camera is malfunctioning or the receiving apparatus is malfunctioning.

本発明は上記従来技術の問題点に鑑み、ネットワークや画像データサイズなどにより、データ取得時間が目標フレームレートに対して長すぎる場合でも、状況に応じた性能で画像の取得が可能であるだけでなく、さらにユーザに適切な画像取得情報を提供することができる画像データ受信装置及び画像データ受信方法を提供することを目的とする。 In view of the above-mentioned problems of the prior art, the present invention can only acquire an image with performance according to the situation even when the data acquisition time is too long for the target frame rate due to the network and the image data size. It is another object of the present invention to provide an image data receiving apparatus and an image data receiving method that can provide appropriate image acquisition information to a user.

本発明は上記目的を達成するために、ネットワークに接続されたカメラにより撮像して得られた画像データを前記ネットワークを介して受信する画像データ受信装置であって、
前記カメラから受信する画像データのフレームレートと再送要求のためのタイムアウト時間とをあらかじめ設定する設定手段と、
前記設定手段により設定されたフレームレートに応じたフレーム間隔で前記カメラに対して画像データの送信を要求するとともに、前記設定手段により設定されたタイムアウト時間内に前記カメラから画像データを受信しない場合に前記カメラに対して画像データの再送を要求する送信要求手段と、
前記送信要求手段により送信要求を送信した後、前記カメラから画像データを受信するまでの画像データ取得時間を所定回数分計測してその平均値を算出し、この平均値と前記設定されたフレームレートに応じたフレーム間隔とに基づいて、前記画像データ取得時間が前記フレーム間隔よりも短くなるように前記フレームレートを変更する必要があるか否かを判断する判定手段と、
前記判定手段により変更の必要があると判定された場合に、前記フレームレートを変更するとともに前記変更の利用者に通知する通知手段とを備えたことを特徴とする。 In order to achieve the above object, the present invention is an image data receiving apparatus for receiving image data obtained by imaging with a camera connected to a network via the network,
Setting means for setting in advance a frame rate of image data received from the camera and a timeout period for a retransmission request;
When requesting the camera to transmit image data at a frame interval corresponding to the frame rate set by the setting unit and not receiving the image data from the camera within the timeout time set by the setting unit Transmission request means for requesting retransmission of image data to the camera;
After the transmission request is transmitted by the transmission request means, the image data acquisition time until the image data is received from the camera is measured a predetermined number of times, and the average value is calculated. The average value and the set frame rate Determination means for determining whether or not the frame rate needs to be changed so that the image data acquisition time is shorter than the frame interval based on the frame interval according to
And a notification means for changing the frame rate and notifying a user of the change when the determination means determines that a change is necessary.

また本発明は上記目的を達成するために、ネットワークに接続されたカメラにより撮像して得られた画像データを前記ネットワークを介して受信する画像データ受信方法であって、
前記カメラから受信する画像データのフレームレートと再送要求のためのタイムアウト時間とをあらかじめ設定する設定ステップと、
前記設定ステップにより設定されたフレームレートに応じたフレーム間隔で前記カメラに対して画像データの送信を要求するとともに、前記設定ステップにより設定されたタイムアウト時間内に前記カメラから画像データを受信しない場合に前記カメラに対して画像データの再送を要求する送信要求ステップと、
前記送信要求ステップにより送信要求を送信した後、前記カメラから画像データを受信するまでの画像データ取得時間を所定回数分計測してその平均値を算出し、この平均値と前記設定されたフレームレートに応じたフレーム間隔とに基づいて、前記画像データ取得時間が前記フレーム間隔よりも短くなるように前記フレームレートを変更する必要があるか否かを判定する判定ステップと、
前記判定ステップにより変更の必要があると判定された場合に、前記フレームレートを変更するとともに前期変更の旨を利用者に通知する通知ステップとを実行することを特徴とする。 In order to achieve the above object, the present invention is an image data receiving method for receiving image data obtained by imaging with a camera connected to a network via the network,
A setting step for setting in advance a frame rate of image data received from the camera and a timeout period for a retransmission request;
When requesting the camera to transmit image data at a frame interval corresponding to the frame rate set in the setting step and not receiving image data from the camera within the timeout time set in the setting step A transmission requesting step for requesting retransmission of image data to the camera;
After the transmission request is transmitted in the transmission request step, the image data acquisition time until the image data is received from the camera is measured a predetermined number of times, and the average value is calculated. The average value and the set frame rate A determination step for determining whether or not the frame rate needs to be changed so that the image data acquisition time is shorter than the frame interval based on the frame interval according to
When it is determined in the determination step that it is necessary to change, a notification step of changing the frame rate and notifying the user of the change in the previous period is executed.

本発明によれば、ネットワーク回線の品質や画像データ量などにより、データ取得時間が目標フレームレートに対して長すぎる場合でも、状況に応じた性能で画像の取得が可能であり、かつ、設定のフレームレートでの画像受信ができない場合にユーザにその理由と対応情報を提供することが可能となる。 According to the present invention, due to the quality of the network line, the amount of image data, etc., even when the data acquisition time is too long for the target frame rate, it is possible to acquire an image with performance according to the situation, and If the image cannot be received at the frame rate, the reason and the corresponding information can be provided to the user.

以下、図面を参照して本発明の実施の形態について説明する。図１は本発明に係る画像データ受信装置の一実施の形態を示すブロック図、図２は図１の通信管理部の画像伝送開始時の処理を示すフローチャート、図３は図１の通信部における画像伝送及び画像伝送時間の測定処理を示すフローチャート、図４は図１の通信管理部におけるタイムアウト時間補正値とフレームレート補正値を求める処理を示すフローチャート、図５はフレームレートの補正をユーザに知らせるダイアログの例を示す説明図である。 Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing an embodiment of an image data receiving apparatus according to the present invention, FIG. 2 is a flowchart showing processing at the start of image transmission of the communication management unit in FIG. 1, and FIG. 3 is in the communication unit in FIG. 4 is a flowchart showing image transmission and image transmission time measurement processing, FIG. 4 is a flowchart showing processing for obtaining a timeout time correction value and a frame rate correction value in the communication management unit of FIG. 1, and FIG. 5 is for informing the user of frame rate correction. It is explanatory drawing which shows the example of a dialog.

図１は本実施の形態の画像データ受信装置のソフトウエア及びハードウエアを説明するための機能ブロック図であり、ユーザインタフェース４０１と、設定保持部４０２と、通信管理部４０３と、通信部４０４と、データ処理部４０５と、通信インタフェース４０６と、現在時刻を計時する計時部４０７と、データ蓄積部４０８を備えている。本実施の形態の画像データ受信装置を含むネットワーク画像伝送システムのシステム構成図は従来技術と同様の図６で示され、図１に示す各機能ブロック４０１〜４０８は図６に示すＰＣ６０１のソフトウエア及びハードウエアにより実現される。ネットワークカメラ６０２とＰＣ６０１とがネットワーク６０３で接続されていて、ネットワークカメラ６０２で撮像した映像をデジタル化、データ圧縮などの工程を経て、ネットワーク６０３を介してＰＣ６０１に送り、ＰＣ６０１ではそのままハードディスクなどのデータ蓄積部４０８に保存するか、データ処理部４０５でのデータ復号化の後にユーザインタフェース４０１のディスプレイ装置などに映像を表示する。また、ＰＣ６０１がネットワークカメラ６０２から画像データを取得する手順は従来技術と同じく図７、図８で表される。 FIG. 1 is a functional block diagram for explaining software and hardware of an image data receiving apparatus according to the present embodiment. A user interface 401, a setting holding unit 402, a communication management unit 403, a communication unit 404, and the like. A data processing unit 405, a communication interface 406, a time measuring unit 407 that measures the current time, and a data storage unit 408. A system configuration diagram of a network image transmission system including an image data receiving apparatus according to the present embodiment is shown in FIG. 6, which is the same as that in the prior art, and the functional blocks 401 to 408 shown in FIG. 1 are the software of the PC 601 shown in FIG. And realized by hardware. A network camera 602 and a PC 601 are connected via a network 603, and an image captured by the network camera 602 is sent to the PC 601 via the network 603 through processes such as digitization and data compression. The video is stored in the storage unit 408 or displayed on the display device of the user interface 401 after data decoding by the data processing unit 405. The procedure for the PC 601 to acquire image data from the network camera 602 is shown in FIGS. 7 and 8 as in the prior art.

以下に示す方法で送受信を行う。ネットワークカメラ６０２のＩＰアドレスや各ネットワークカメラ６０２からの画像取得レートなどは設定保持部４０２にあらかじめ保持されているものとする。ここでは仮に指定フレームレートＦを１０ｆｐｓ（したがって指定フレーム間隔Ｔf は１００msec）、タイムアウト時間Ｔｏは１０msecとする。図２において、通信管理部４０３は設定保持部４０２よりフレームレートＦの設定値（初期値）を読み取り（ステップＳ１０１）、通信部４０４にフレームレートＦを設定する（ステップＳ１０２）。次に設定保持部４０２からタイムアウト時間Ｔｏの初期値を読み取って（ステップＳ１０３）、通信部４０４にタイムアウト値Ｔｏを設定する（ステップＳ１０４）。そして通信部４０４に通信開始コマンドを発行し（ステップＳ１０５）、画像取得を開始する。 Transmission / reception is performed by the following method. It is assumed that the IP address of the network camera 602, the image acquisition rate from each network camera 602, and the like are held in advance in the setting holding unit 402. Here, it is assumed that the designated frame rate F is 10 fps (therefore, the designated frame interval Tf is 100 msec), and the timeout time To is 10 msec. In FIG. 2, the communication management unit 403 reads the setting value (initial value) of the frame rate F from the setting holding unit 402 (step S101), and sets the frame rate F in the communication unit 404 (step S102). Next, the initial value of the timeout time To is read from the setting holding unit 402 (step S103), and the timeout value To is set in the communication unit 404 (step S104). Then, a communication start command is issued to the communication unit 404 (step S105), and image acquisition is started.

通信部４０４の動作を図３を用いて説明する。まず、通信開始時に再送ＦＬＧ（ｆｌａｇ：フラグ）をオフに初期化する（ステップＳ２１８）。次に、画像要求コマンドを送信すると（ステップＳ２０１）、現在時刻を画像要求コマンド送信時刻Ｔsとして不図示のメモリに記録する（ステップＳ２０２）。次に、受信データがあるかどうかを判断し（ステップＳ２０３）、ある場合は応答データを受信する（ステップＳ２０４）。次に、受信が完了したかどうかを判断し（ステップＳ２０５）、完了であれば画像受信完了時に現在時刻と、メモリに記録された画像要求送信時刻Ｔｓとの差を画像データ取得時間Ｔとして求める（ステップＳ２０６）。そして次に、再送ＦＬＧを確認し（ステップＳ２１９）、再送ＦＬＧがオンであれば再送ＦＬＧをオフにして（ステップＳ２２０）、ステップＳ２０６で求めた画像データ取得時間Ｔにタイムアウト時間Ｔｏを加算し（ステップＳ２２１）、後述するステップＳ２１５に移行する。一方、ステップＳ２１９で再送ＦＬＧがオフであった場合もステップＳ２１５に移行する。 The operation of the communication unit 404 will be described with reference to FIG. First, the retransmission FLG (flag: flag) is initialized to OFF at the start of communication (step S218). Next, when an image request command is transmitted (step S201), the current time is recorded in a memory (not shown) as an image request command transmission time Ts (step S202). Next, it is determined whether there is received data (step S203), and if there is, response data is received (step S204). Next, it is determined whether or not the reception is completed (step S205). If the reception is completed, the difference between the current time when the image reception is completed and the image request transmission time Ts recorded in the memory is obtained as the image data acquisition time T. (Step S206). Next, the retransmission FLG is confirmed (step S219). If the retransmission FLG is on, the retransmission FLG is turned off (step S220), and the timeout time To is added to the image data acquisition time T obtained in step S206 ( Step S221), the process proceeds to Step S215 described later. On the other hand, if the retransmission FLG is off in step S219, the process also proceeds to step S215.

ステップＳ２０３で受信データがない場合と、ステップＳ２０５で受信が完了していない場合はタイムアウトかどうかを判断し（ステップＳ２０７）、タイムアウトでない場合は２msecのスリープ時間をおいて（ステップＳ２０８）ステップＳ２０３に戻る。ステップＳ２０７において画像が正常に取得できずにタイムアウトとなった場合は再送ＦＬＧを確認し（ステップＳ２０９）、再送ＦＬＧがオフ（降りる）の場合は再送ＦＬＧをオン（立つ）にしてから（ステップＳ２１０）再送コマンドを送信し（ステップＳ２１１）、画像要求コマンド送信時刻Ｔs を現在時刻に書き換え（ステップＳ２１２）、２msecの間をおいた後に（ステップＳ２０８）ステップＳ２０３に戻る。 If there is no received data in step S203 and if reception is not completed in step S205, it is determined whether or not a timeout has occurred (step S207). If not, a sleep time of 2 msec is set (step S208). Return. In step S207, if the image cannot be acquired normally and a time-out occurs, the retransmission FLG is confirmed (step S209). If the retransmission FLG is off (falls), the retransmission FLG is turned on (standing) (step S210). ) A retransmission command is transmitted (step S211), the image request command transmission time Ts is rewritten to the current time (step S212), and after 2 msec (step S208), the process returns to step S203.

一方、ステップＳ２０９で再送ＦＬＧがオンの場合は、再送ＦＬＧをオフにしてから（ステップＳ２１３）、タイムアウト時間Ｔｏ＋定数を画像データ取得時間Ｔとして求める（ステップＳ２１４）。例えば定数を１０msec、Ｔｏ＝３０msecでタイムアウトが発生した場合は、そのときの画像取得時間Ｔは３０＋１０＝４０msecとなる。前述のステップＳ２１９でＮＯのとき、あるいはステップＳ２２１、又はステップＳ２１４の後に、通信部４０４は通信管理部４０３に対して現在の画像データ取得時間Ｔを通知する（ステップＳ２１５）。そして現在時刻がＴs ＋Ｔf より大きいかどうかを判断し（ステップＳ２１６）、大きい場合はステップＳ２０１に戻る。そうでない場合は２msecだけスリープした後（ステップＳ２１７）、ステップＳ２１６に戻る。 On the other hand, if the retransmission FLG is on in step S209, the retransmission FLG is turned off (step S213), and then the timeout time To + constant is obtained as the image data acquisition time T (step S214). For example, when a timeout occurs when the constant is 10 msec and To = 30 msec, the image acquisition time T at that time is 30 + 10 = 40 msec. When NO in step S219 described above, or after step S221 or step S214, the communication unit 404 notifies the communication management unit 403 of the current image data acquisition time T (step S215). Then, it is determined whether or not the current time is greater than Ts + Tf (step S216), and if it is greater, the process returns to step S201. Otherwise, after sleeping for 2 msec (step S217), the process returns to step S216.

通信管理部４０３では、通知された画像データ取得時間Ｔの値を記憶し、その最近所定回数分の画像データ取得時間Ｔの平均値Ｔm を求める。ここでは所定回数を仮に１００回とし、最近１００回のＴの平均値をＴm とする。以下に手順を図４を用いて説明する。まず、タイムアウト値Ｔｏを
Ｔｏ＝Ｔm×α
とし（ステップＳ３０１）、通信部４０４に設定する（ステップＳ３０２）。通信部４０４は以後設定された補正タイムアウト値Ｔｏの値を基に動作する。例えば、
Ｔm ＝３０msec
α＝２．０
とすると、
Ｔｏ＝３０msec×２．０＝６０msec
となる。 The communication management unit 403 stores the notified value of the image data acquisition time T, and obtains an average value Tm of the image data acquisition times T for the most recent predetermined number of times. Here, the predetermined number of times is assumed to be 100 times, and the average value of T of the latest 100 times is assumed to be Tm. The procedure will be described below with reference to FIG. First, the timeout value To is To = Tm × α
(Step S301) and set in the communication unit 404 (step S302). The communication unit 404 operates based on the set correction timeout value To. For example,
Tm = 30msec
α = 2.0
Then,
To = 30msec × 2.0 = 60msec
It becomes.

定数αの値は１．０以上の値で、大きいほどタイムアウト値Ｔｏが実際のデータ取得時間Ｔに対して長くなり、データ取得時間Ｔにバラツキがある場合にタイムアウトとなる可能性が低くなる一方で、大きいほどタイムアウトを検知するまでに時間がかかることになる。この値αは、実際の稼動環境におけるネットワーク遅延の揺らぎやデータ欠落の頻度などを基に設定する。具体的には、ネットワーク遅延の揺らぎが大きい場合は、α値も大きく（例えば、３．０）、ネットワーク遅延の揺らぎがなくパケットロスが頻繁に発生する場合は小さく（例えば、１．５）設定する。タイムアウト値Ｔｏ
を設定する別の方法として、所定回数分のＴの値の標準偏差σを求め、
Ｔｏ＝Ｔm ＋６σ
など、タイムアウト値Ｔｏを平均値Ｔm と標準偏差σに基づいて設定することも好適である。 The constant α is a value of 1.0 or more, and the larger the value, the longer the timeout value To becomes with respect to the actual data acquisition time T, and the lower the possibility of time-out when the data acquisition time T varies. Thus, the larger the time, the longer it takes to detect the timeout. This value α is set based on the fluctuation of the network delay or the frequency of data loss in the actual operating environment. Specifically, when the fluctuation of the network delay is large, the α value is also large (for example, 3.0), and when the packet loss frequently occurs without fluctuation of the network delay, the setting is small (for example, 1.5). To do. Timeout value To
As another method for setting the value, the standard deviation σ of the value of T for a predetermined number of times is obtained,
To = Tm + 6σ
It is also preferable to set the timeout value To based on the average value Tm and the standard deviation σ.

次に画像データ取得時間Ｔの平均値Ｔm をもとに指定フレーム間隔Ｔf の補正が必要か判断する（ステップＳ３０３）。
Ｔm ×β＜Ｔf …（１）
を満たすかどうかをみて（ステップＳ３０３）、満たす場合は補正が不要と判断し処理を終了する（ステップＳ３０７）。満たさない場合は、指定フレーム間隔Ｔf に対して画像データ取得時間Ｔが長すぎると判断して、指定フレーム間隔Ｔf を
Ｔf ＝Ｔm×β
に補正する（ステップＳ３０４）。例えば、
Ｔm ＝３０msec
β＝４．０
とすると、
Ｔm ×β＝３０×４．０＝１２０msec
となる。指定フレーム間隔Ｔf ＝１００msecであることから、式（１）を満たさないので、補正フレーム間隔Ｔf'を１２０msecとする。 Next, it is determined whether the designated frame interval Tf needs to be corrected based on the average value Tm of the image data acquisition time T (step S303).
Tm × β <Tf (1)
Whether or not the condition is satisfied is determined (step S303). If the condition is satisfied, it is determined that no correction is necessary, and the process ends (step S307). If not, it is determined that the image data acquisition time T is too long for the specified frame interval Tf, and the specified frame interval Tf is set to Tf = Tm × β
(Step S304). For example,
Tm = 30msec
β = 4.0
Then,
Tm × β = 30 × 4.0 = 120 msec
It becomes. Since the designated frame interval Tf = 100 msec, equation (1) is not satisfied, so the correction frame interval Tf ′ is set to 120 msec.

次に指定フレーム間隔Ｔf を補正したことに伴い、指定フレームレートＦを
Ｆ＝１／Ｔf
に補正し、通信部４０４に設定する（ステップＳ３０５）。通信部４０４は以後設定された補正フレームレートＦで動作する。補正フレーム間隔Ｔf として１２０msecに補正した場合は、
Ｆ＝１／１２０（msec）＝８．３３３３．．
＝８（ｆｐｓ）（小数点以下切り下げ）
を通信部４０４に設定する。 Next, as the specified frame interval Tf is corrected, the specified frame rate F is changed to F = 1 / Tf.
And set to the communication unit 404 (step S305). The communication unit 404 operates at the correction frame rate F set thereafter. When the correction frame interval Tf is corrected to 120 msec,
F = 1/120 (msec) = 8.3333. .
= 8 (fps) (rounded down after the decimal point)
Is set in the communication unit 404.

次に指定フレームレートＦを変更した場合には、その旨をユーザインタフェース４０１を通じてユーザに通知する（ステップＳ３０６）。図５はユーザに通知するメッセージの一例として、指定フレームレートＦ＝１０ｆｐｓを補正フレームレートＦ＝８ｆｐｓに変更した場合にユーザインタフェース４０１のディスプレイ装置に表示するダイアログの例である。 Next, when the designated frame rate F is changed, the fact is notified to the user through the user interface 401 (step S306). FIG. 5 shows an example of a dialog displayed on the display device of the user interface 401 when the designated frame rate F = 10 fps is changed to the corrected frame rate F = 8 fps as an example of a message notified to the user.

また、ステップＳ３０４における指定フレーム間隔Ｔf の別の設定方法として、以下のような方法も取り得る。まず画像データ取得時間Ｔの平均値Ｔm と標準偏差σを基に指定フレーム間隔Ｔf の補正が必要か判断する。
Ｔm ＋６σ＜Ｔf …（２）
を満たすかどうかを調べ、満たす場合は補正が不要と判断し処理を終了する。満たさない場合は、指定フレーム間隔Ｔf に対して画像データ取得時間Ｔが長すぎると判断して、指定フレーム間隔Ｔf を
Ｔf ＝Ｔm ＋６σ
と補正する。例えば、
Ｔm ＝６０msec
σ＝１０．０
とすると、
Ｔm ＋６σ＝６０＋１０．０×６＝１２０msec
となる。Ｔf ＝１００ msec であるので式（２）を満たさないので、補正フレーム間隔Ｔfを１２０msecとする。 Further, as another method for setting the designated frame interval Tf in step S304, the following method can be used. First, it is determined whether the specified frame interval Tf needs to be corrected based on the average value Tm of the image data acquisition time T and the standard deviation σ.
Tm + 6σ <Tf (2)
If the condition is satisfied, it is determined that correction is unnecessary, and the process ends. If not, it is determined that the image data acquisition time T is too long for the specified frame interval Tf, and the specified frame interval Tf is set to Tf = Tm + 6σ.
And correct. For example,
Tm = 60msec
σ = 10.0
Then,
Tm + 6σ = 60 + 10.0 × 6 = 120 msec
It becomes. Since Tf = 100 msec, equation (2) is not satisfied, so the correction frame interval Tf is set to 120 msec.

次にＴf を補正したことに伴い、指定フレームレートＦを
Ｆ＝１／Ｔf
により補正し、補正フレームレートＦを通信部４０４に設定する。通信部４０４は以後設定された補正フレームレートＦで動作する。補正フレーム間隔Ｔf として１２０msecに補正した場合は、
Ｆ＝１／１２０（msec）＝８．３３３３．．
＝８（ｆｐｓ）（小数点以下切り下げ）
を通信部４０４に設定する。 Next, as Tf is corrected, the specified frame rate F is changed to F = 1 / Tf.
And the corrected frame rate F is set in the communication unit 404. The communication unit 404 operates at the correction frame rate F set thereafter. When the correction frame interval Tf is corrected to 120 msec,
F = 1/120 (msec) = 8.3333. .
= 8 (fps) (rounded down after the decimal point)
Is set in the communication unit 404.

このように本実施の形態の画像受信装置は、画像要求コマンド送信から画像受信完了までの時間を測定し、その値に応じてタイムアウト値とフレームレートを補正してユーザに通知することとしたので、ネットワークや画像データサイズなどにより、データ取得時間が目標フレームレートに対して長すぎる場合でも、状況に応じた性能で画像の取得が可能な画像データ受信装置を提供することができる。 As described above, the image receiving apparatus according to the present embodiment measures the time from the transmission of the image request command to the completion of the image reception, corrects the timeout value and the frame rate according to the value, and notifies the user. Even if the data acquisition time is too long for the target frame rate due to the network, the image data size, etc., it is possible to provide an image data receiving apparatus capable of acquiring an image with performance according to the situation.

さらに従来の画像データ受信装置では、タイムアウトが発生した場合に、ユーザにとっては単に指定した頻度で画像が取得できないことしか分からないので、設定を見直すべきなのか、ネットワークの回線を改善すべきなのか、カメラの故障なのか、受信装置の故障なのかなどの判断材料がなく、使い勝手に問題があるという課題があったが、画像受信装置は、以上の方法によりネットワークや画像データサイズなどにより、データ取得時間が目標フレームレートに対して長すぎる場合でも、状況に応じた性能で画像の取得が可能であるだけでなく、さらにユーザに適切な情報を提供できるという効果を奏する。 Furthermore, in the conventional image data receiving device, when a timeout occurs, the user only knows that the image cannot be acquired at the specified frequency, so whether the setting should be reviewed or the network line should be improved. However, there is no material for judging whether it is a camera failure or a receiving device failure, and there is a problem that there is a problem in usability. However, the image receiving device uses the network and the image data size etc. Even when the acquisition time is too long with respect to the target frame rate, not only can the image be acquired with performance according to the situation, but also the user can be provided with appropriate information.

以上のようにフレームレートＦ及びフレーム間隔Ｔｆの補正を行って通信を継続しながら、さらに定期的にフレームレートＦとフレーム間隔Ｔｆとを初期値に戻して運用することも好適である。 As described above, it is also preferable to operate by periodically correcting the frame rate F and the frame interval Tf while correcting the frame rate F and the frame interval Tf and continuing the communication.

本発明に係る画像データ受信装置の一実施の形態を示すブロック図である。It is a block diagram which shows one Embodiment of the image data receiver which concerns on this invention. 図１の通信管理部の画像伝送開始時の処理を示すフローチャートである。2 is a flowchart illustrating processing at the start of image transmission of the communication management unit in FIG. 1. 図１の通信部における画像伝送及び画像伝送時間の測定処理を示すフローチャートである。It is a flowchart which shows the measurement process of the image transmission in the communication part of FIG. 1, and image transmission time. 図１の通信管理部におけるタイムアウト時間補正値とフレームレート補正値を求める処理を示すフローチャートである。3 is a flowchart illustrating processing for obtaining a timeout time correction value and a frame rate correction value in the communication management unit of FIG. 1. フレームレートの補正をユーザに知らせるダイアログの例を示す説明図である。It is explanatory drawing which shows the example of the dialog which notifies a user of correction | amendment of a frame rate. 従来の画像伝送システムの例を示すシステム構成図である。It is a system block diagram which shows the example of the conventional image transmission system. 従来の画像伝送システムの画像送信要求手順を示す説明図である。It is explanatory drawing which shows the image transmission request | requirement procedure of the conventional image transmission system. 従来の画像伝送システムの画像再送要求手順を示す説明図である。It is explanatory drawing which shows the image resending request | requirement procedure of the conventional image transmission system.

符号の説明Explanation of symbols

４０１ユーザインタフェース
４０２設定保持部
４０３通信管理部
４０４通信部
４０５データ処理部
４０６通信インタフェース
４０７計時部
４０８データ蓄積部
６０１パーソナルコンピュータ（ＰＣ）
６０２ネットワークカメラ
６０３ネットワーク
401 User Interface 402 Setting Holding Unit 403 Communication Management Unit 404 Communication Unit 405 Data Processing Unit 406 Communication Interface 407 Timekeeping Unit 408 Data Storage Unit 601 Personal Computer (PC)
602 network camera 603 network

Claims

ネットワークに接続されたカメラにより撮像して得られた画像データを前記ネットワークを介して受信する画像データ受信装置であって、
前記カメラから受信する画像データのフレームレートと再送要求のためのタイムアウト時間とをあらかじめ設定する設定手段と、
前記設定手段により設定されたフレームレートに応じたフレーム間隔で前記カメラに対して画像データの送信を要求するとともに、前記設定手段により設定されたタイムアウト時間内に前記カメラから画像データを受信しない場合に前記カメラに対して画像データの再送を要求する送信要求手段と、
前記送信要求手段により送信要求を送信した後、前記カメラから画像データを受信するまでの画像データ取得時間を所定回数分計測してその平均値を算出し、この平均値と前記設定されたフレームレートに応じたフレーム間隔とに基づいて、前記画像データ取得時間が前記フレーム間隔よりも短くなるように前記フレームレートを変更する必要があるか否かを判断する判定手段と、
前記判定手段により変更の必要があると判定された場合に、前記フレームレートを変更するとともに前記変更の旨を利用者に通知する通知手段とを、
備える構成とした画像データ受信装置。 An image data receiving device that receives image data obtained by imaging with a camera connected to a network via the network,
Setting means for setting in advance a frame rate of image data received from the camera and a timeout period for a retransmission request;
When requesting the camera to transmit image data at a frame interval corresponding to the frame rate set by the setting unit and not receiving the image data from the camera within the timeout time set by the setting unit Transmission request means for requesting retransmission of image data to the camera;
After the transmission request is transmitted by the transmission request means, the image data acquisition time until the image data is received from the camera is measured a predetermined number of times, and the average value is calculated. The average value and the set frame rate Determination means for determining whether or not the frame rate needs to be changed so that the image data acquisition time is shorter than the frame interval based on the frame interval according to
A notification means for changing the frame rate and notifying the user of the change when the determination means determines that a change is required;
An image data receiving apparatus configured to include.

ネットワークに接続されたカメラにより撮像して得られた画像データを前記ネットワークを介して受信する画像データ受信方法であって、
前記カメラから受信する画像データのフレームレートと再送要求のためのタイムアウト時間とをあらかじめ設定する設定ステップと、
前記設定ステップにより設定されたフレームレートに応じたフレーム間隔で前記カメラに対して画像データの送信を要求するとともに、前記設定ステップにより設定されたタイムアウト時間内に前記カメラから画像データを受信しない場合に前記カメラに対して画像データの再送を要求する送信要求ステップと、
前記送信要求ステップにより送信要求を送信した後、前記カメラから画像データを受信するまでの画像データ取得時間を所定回数分計測してその平均値を算出し、この平均値と前記設定されたフレームレートに応じたフレーム間隔とに基づいて、前記画像データ取得時間が前記フレーム間隔よりも短くなるように前記フレームレートを変更する必要があるか否かを判定する判定ステップと、
前記判定ステップにより変更の必要があると判定された場合に、前記フレームレートを変更するとともに前記変更の旨を利用者に通知する通知ステップとを、
実行する画像データ受信方法。
An image data receiving method for receiving image data obtained by imaging with a camera connected to a network via the network,
A setting step for setting in advance a frame rate of image data received from the camera and a timeout period for a retransmission request;
When requesting the camera to transmit image data at a frame interval corresponding to the frame rate set in the setting step and not receiving image data from the camera within the timeout time set in the setting step A transmission requesting step for requesting retransmission of image data to the camera;
After the transmission request is transmitted in the transmission request step, the image data acquisition time until the image data is received from the camera is measured a predetermined number of times, and the average value is calculated. The average value and the set frame rate A determination step for determining whether or not the frame rate needs to be changed so that the image data acquisition time is shorter than the frame interval based on the frame interval according to
A notification step of changing the frame rate and notifying the user of the change when the determination step determines that a change is necessary,
The image data reception method to be executed.