JP2021078028A

JP2021078028A - Media data recording device, information processing method, and program

Info

Publication number: JP2021078028A
Application number: JP2019204076A
Authority: JP
Inventors: 翔太仁賀; Shota Niga
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-11-11
Filing date: 2019-11-11
Publication date: 2021-05-20

Abstract

To provide a GUI for enabling continuous playback of even media data in an overlapping time zone in addition to making it easier to understand the overlapping time zone of the actual time (UTC time), which is a playback time of the media data generated by reference time update.SOLUTION: A GUI can distinguish an overlapping time zone from other time zones on a timeline.SELECTED DRAWING: Figure 9

Description

本発明は、メディアデータ記録装置、情報処理方法及びプログラムに関する。 The present invention relates to a media data recording device, an information processing method and a program.

近年、ＡＤＳＬ及び光ファイバー網が普及し、低価格で高速なインターネット接続が利用可能となった。それにより、監視カメラがインターネットを介し、クラウドサーバーに対して映像及び音声といったメディアデータを送信する使い方が増えている。このようなメディアデータ伝送には、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）−２規格が採用されることがある。ＭＰＥＧ−２では、監視カメラがキャプチャしたメディアデータはＰＥＳ（ＰａｃｋｅｔｉｚｅｄＥｌｅｍｅｎｔａｒｙＳｔｒｅａｍ）パケットの形式で送信される。ＰＥＳパケットのヘッダ部にはＰＴＳ（ＰｒｅｓｅｎｔａｔｉｏｎＴｉｍｅＳｔａｍｐ）と呼ばれるメディアデータの再生時刻が付加され、クラウドサーバーはＰＴＳの値を以て、メディアデータを管理する。しかしながら、ＰＴＳは一般的に単調増加するメディアデータの生成時刻から算出されるため、ＣＰＵの水晶振動子の精度によって誤差が蓄積される。一方で、監視カメラのシステム時刻の一種であるＵＴＣ時刻は、インターネット上に存在するＮＴＰサーバーによって定期的に更新される実時刻である。そのため、監視カメラが現在のＰＴＳ、及び基準時刻として現在のＰＴＳに対応するＵＴＣ時刻をクラウドサーバーに定期的に送信し、監視カメラとクラウドサーバー間での時刻同期を行うこと（以後、基準時刻更新と呼ぶ）で、クラウドサーバーはメディアデータを正しい時刻で管理することができる。 In recent years, ADSL and optical fiber networks have become widespread, and low-cost, high-speed Internet connections have become available. As a result, surveillance cameras are increasingly used to transmit media data such as video and audio to cloud servers via the Internet. For such media data transmission, the MPEG (Moving Picture Experts Group) -2 standard may be adopted. In MPEG-2, the media data captured by the surveillance camera is transmitted in the form of a PES (Packetized Elementary Stream) packet. The playback time of media data called PTS (Presentation Time Stamp) is added to the header part of the PES packet, and the cloud server manages the media data based on the PTS value. However, since PTS is generally calculated from the generation time of media data that increases monotonically, an error is accumulated depending on the accuracy of the crystal oscillator of the CPU. On the other hand, the UTC time, which is a kind of system time of the surveillance camera, is a real time that is periodically updated by an NTP server existing on the Internet. Therefore, the surveillance camera periodically sends the current PTS and the UTC time corresponding to the current PTS as the reference time to the cloud server, and the time is synchronized between the surveillance camera and the cloud server (hereinafter, the reference time is updated). The cloud server can manage the media data at the correct time.

特許文献１では、ＴＶ会議のための画像音声通信装置において、メディアデータのライブ再生時刻にズレを生じさせないために、ユーザーのコミュニケーションを阻害しないタイミングで基準時刻の更新を実行する技術が開示されている。 Patent Document 1 discloses a technique for updating a reference time at a timing that does not interfere with user communication in order to prevent a shift in the live playback time of media data in an image / voice communication device for video conferencing. There is.

特許第５４９０７８２号公報Japanese Patent No. 5490782

監視カメラが基準時刻更新を行った際、クラウドサーバーにて、基準時刻更新後に送信されたメディアデータのＰＴＳから変換した再生時刻（ＵＴＣ時刻）が、基準時刻更新前に送信されたメディアデータの再生時刻（ＵＴＣ時刻）に重複してしまうことがある。そのような場合、クラウドサーバーからメディアデータを受信し、メディアデータの表示再生を行う制御装置では、基準時刻更新時のメディアデータ再生時に映像及び音声が飛んでしまう。また、ユーザーは制御装置に表示されるＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）上でメディアデータ再生時刻（ＵＴＣ時刻）の重複時間帯がわからない。
しかしながら、上述の特許文献に開示された従来技術では、基準時刻更新によって発生する再生時刻（ＵＴＣ時刻）の重複を考慮していない。そのため、重複時間帯のメディアデータを再生することが可能なＧＵＩを提供しておらず、制御装置にて基準時刻更新前のメディアデータの再生ができない。 When the surveillance camera updates the reference time, the playback time (UTC time) converted from the PTS of the media data transmitted after the reference time update on the cloud server is the playback of the media data transmitted before the reference time update. It may overlap with the time (UTC time). In such a case, in the control device that receives the media data from the cloud server and displays and reproduces the media data, the video and audio are skipped when the media data is reproduced when the reference time is updated. Further, the user does not know the overlapping time zone of the media data reproduction time (UTC time) on the GUI (Graphical User Interface) displayed on the control device.
However, the prior art disclosed in the above-mentioned patent document does not consider the duplication of the reproduction time (UTC time) caused by the reference time update. Therefore, the GUI that can reproduce the media data in the overlapping time zone is not provided, and the control device cannot reproduce the media data before the reference time is updated.

そこで本発明は、クラウドサーバーにおいて、基準時刻更新によって発生するメディアデータ再生時刻である実時刻（ＵＴＣ時刻）の重複時間帯を考慮し、重複時間帯をわかりやすく表現することを目的とする。 Therefore, an object of the present invention is to consider the overlapping time zone of the actual time (UTC time), which is the media data reproduction time generated by updating the reference time, in the cloud server, and to express the overlapping time zone in an easy-to-understand manner.

本発明は、メディアデータ記録装置であって、前記メディアデータ記録装置を制御する制御手段と、ネットワークを介して他の装置と通信する通信手段と、を有し、前記通信手段は、メディアデータ送信装置からメディアデータと、前記メディアデータ送信装置の基準時刻更新処理に伴い、前記メディアデータに付加されるタイムスタンプの基準となる実時刻である基準時刻とを受信し、前記制御手段は、新たな前記基準時刻の更新処理の後に受信するメディアデータの再生時刻である実時刻が新たな前記基準時刻の更新処理の前に受信したメディアデータの再生時刻である実時刻に重複する時間帯を求め、前記メディアデータと、前記基準時刻と、重複時間帯とを記録領域に記録し、前記通信手段は、メディアデータの表示機能を備える制御装置からメディアデータ再生のためのＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）に表示するタイムラインの種類の指定と、メディアデータの再生開始時刻の指定とを受信し、前記ＧＵＩと、前記受信した指定に応じた、タイムラインと、前記記録領域に記録された前記再生開始時刻から始まるメディアデータとを前記制御装置に対して送信し、前記ＧＵＩは、前記重複時間帯が前記タイムライン上において他の時間帯と識別可能なＧＵＩであることを特徴とする。 The present invention is a media data recording device, which includes a control means for controlling the media data recording device and a communication means for communicating with another device via a network, and the communication means transmits media data. The media data is received from the device and the reference time, which is the actual time that is the reference of the time stamp added to the media data in accordance with the reference time update process of the media data transmission device, and the control means is new. Obtain a time zone in which the actual time, which is the playback time of the media data received after the reference time update process, overlaps with the actual time, which is the playback time of the media data received before the new reference time update process. The media data, the reference time, and the overlapping time zone are recorded in a recording area, and the communication means is displayed on a GUI (Graphical User Interface) for reproducing media data from a control device having a media data display function. From the GUI, the timeline corresponding to the received designation, and the playback start time recorded in the recording area after receiving the designation of the type of timeline to be performed and the designation of the playback start time of the media data. The starting media data is transmitted to the control device, and the GUI is characterized in that the overlapping time zone is a GUI that can be distinguished from other time zones on the timeline.

本発明によれば、提供するＧＵＩによって、基準時刻更新によって生じたメディアデータの再生時刻である実時刻（ＵＴＣ時刻）の重複時間帯がわかりやすくなる。 According to the present invention, the provided GUI makes it easy to understand the overlapping time zone of the actual time (UTC time) which is the reproduction time of the media data generated by the reference time update.

情報処理システムのシステム構成の一例を示す図である。It is a figure which shows an example of the system configuration of an information processing system. クラウドサーバー、制御装置、及び監視カメラのハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware configuration of a cloud server, a control device, and a surveillance camera. クラウドサーバーの機能構成の一例を示す図である。It is a figure which shows an example of the functional configuration of a cloud server. 監視カメラからクラウドサーバーへのメディアデータのアップロードシーケンスの一例を示す図である。It is a figure which shows an example of the upload sequence of media data from a surveillance camera to a cloud server. クラウドサーバーにおけるメディアデータ記録処理の一例を示すフローチャートである。It is a flowchart which shows an example of the media data recording processing in a cloud server. クラウドサーバーにおけるメディアデータ再生時刻の重複判定処理の一例を示すフローチャートである。It is a flowchart which shows an example of the duplication determination processing of the media data reproduction time in a cloud server. クラウドサーバーが記録部に記録するメディアデータの再生時刻の重複をタイムラインで示した図である。It is the figure which showed the duplication of the reproduction time of the media data recorded in the recording part by a cloud server by the timeline. メディアデータ再生のためのＧＵＩ、及びタイムラインの種類を説明する図（その１）である。It is a figure (the 1) explaining the GUI for media data reproduction, and the type of a timeline. メディアデータ再生のためのＧＵＩ、及びタイムラインの種類を説明する図（その２）である。It is a figure (the 2) explaining the GUI for media data reproduction, and the type of a timeline. メディアデータ再生のためのＧＵＩ、及びタイムラインの種類を説明する図（その３）である。It is a figure (the 3) explaining the GUI for media data reproduction, and the type of a timeline. メディアデータ再生のためのＧＵＩ、及びタイムラインの種類を説明する図（その４）である。It is a figure (the 4) explaining the GUI for media data reproduction, and the type of a timeline. クラウドサーバーから制御装置へのＧＵＩ、及びメディアデータ配信処理のフローチャートである。It is a flowchart of GUI and media data distribution processing from a cloud server to a control device.

以下、本発明の実施形態について図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

＜実施形態１＞
図１は、情報処理システムのシステム構成の一例を示す図である。情報処理システムでは、監視カメラ１０００、クラウドサーバー１１００、及び制御装置１２００がネットワーク１３００を介して接続されている。監視カメラ１０００は、少なくとも映像データ、又は音声データを含むメディアデータ（ＰＥＳパケット）、及び基準時刻をクラウドサーバーに対してアップロードする。クラウドサーバー１１００は、監視カメラよりアップロードされたメディアデータ（ＰＥＳパケット）、及び基準時刻を記録する。また、クラウドサーバー１１００は、監視カメラ１０００に対し、監視カメラ１０００を制御するためのコマンドを送信する。制御装置１２００には、典型的にパーソナルコンピュータ及びモバイル端末等の汎用コンピュータが用いられる。制御装置１２００は、クラウドサーバー１１００、又はクラウドサーバー１１００を介して監視カメラ１０００を制御するため、クラウドサーバー１１００に対して制御コマンドを送信する。また、制御装置１２００は、クラウドサーバー１１００から受信したメディアデータを表示する。ネットワーク１３００は、ワイドエリアネットワーク、又はローカルエリアネットワークのどちらでもよい。
監視カメラ１０００は、メディアデータ送信装置の一例である。クラウドサーバー１１００は、メディアデータ記録装置の一例である。制御装置１２００は、メディアデータの表示機能を備える制御装置の一例である。 <Embodiment 1>
FIG. 1 is a diagram showing an example of a system configuration of an information processing system. In the information processing system, the surveillance camera 1000, the cloud server 1100, and the control device 1200 are connected via the network 1300. The surveillance camera 1000 uploads at least media data (PES packet) including video data or audio data, and a reference time to a cloud server. The cloud server 1100 records the media data (PES packet) uploaded from the surveillance camera and the reference time. Further, the cloud server 1100 transmits a command for controlling the surveillance camera 1000 to the surveillance camera 1000. As the control device 1200, a general-purpose computer such as a personal computer and a mobile terminal is typically used. The control device 1200 transmits a control command to the cloud server 1100 in order to control the surveillance camera 1000 via the cloud server 1100 or the cloud server 1100. Further, the control device 1200 displays the media data received from the cloud server 1100. The network 1300 may be either a wide area network or a local area network.
The surveillance camera 1000 is an example of a media data transmission device. The cloud server 1100 is an example of a media data recording device. The control device 1200 is an example of a control device having a media data display function.

図２は、クラウドサーバー、制御装置、及び監視カメラのハードウェア構成の一例を示す図である。
まず、クラウドサーバー１１００の構成について説明する。
通信部１１０１は、監視カメラ１０００から送信されたメディアデータ（ＰＥＳパケット）、及び基準時刻を受信する一方で、システム制御部１１０３の制御により、各種コマンドを監視カメラ１０００に送信する。また、通信部１１０１は、制御装置１２００から送信された各種コマンドを受信する一方で、システム制御部１１０３の制御により、制御装置１２００に対して表示部１２０１に表示するＧＵＩデータを送信し、監視カメラ１０００から受信したメディアデータ（ＰＥＳパケット）のライブ配信、及び記録部１１０２に記録されたメディアデータ（ＰＥＳパケット）の配信を行う。ＧＵＩは、ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅの一例である。 FIG. 2 is a diagram showing an example of hardware configurations of a cloud server, a control device, and a surveillance camera.
First, the configuration of the cloud server 1100 will be described.
The communication unit 1101 receives the media data (PES packet) transmitted from the surveillance camera 1000 and the reference time, while transmitting various commands to the surveillance camera 1000 under the control of the system control unit 1103. Further, while the communication unit 1101 receives various commands transmitted from the control device 1200, the communication unit 1101 transmits GUI data to be displayed on the display unit 1201 to the control device 1200 under the control of the system control unit 1103, and the monitoring camera Live distribution of the media data (PES packet) received from 1000 and distribution of the media data (PES packet) recorded in the recording unit 1102 are performed. The GUI is an example of the Graphical User Interface.

記録部１１０２は、システム制御部１１０３の制御により、内部ストレージ及び外部ストレージに対して、主に監視カメラ１０００から受信したメディアデータ（ＰＥＳパケット）を監視カメラ１０００から受信した基準時刻に基づいて記録する。記録部１１０２の領域は、記録領域の一例である。
システム制御部１１０３は、通信部１１０１を介し、監視カメラ１０００に対して各種コマンドを送信する。また、システム制御部１１０３は、通信部１１０１を介し、制御装置１２００から送信された各種コマンドを受信する一方で、制御装置１２００に対して表示部１２０１に表示するＧＵＩデータを記録部１１０２から取り出して送信し、監視カメラ１０００から受信したメディアデータ（ＰＥＳパケット）のライブ配信、記録部１１０２に記録されたメディアデータ（ＰＥＳパケット）の録画配信を行う。システム制御部１１０３がシステム制御部１１０３のメモリ等に記録されたプログラムに基づき処理を実行することにより後述する図３に示すクラウドサーバー１１００の機能及び後述する図５、図６、図９のフローチャートの処理等が実現される。 Under the control of the system control unit 1103, the recording unit 1102 records media data (PES packets) mainly received from the surveillance camera 1000 in the internal storage and the external storage based on the reference time received from the surveillance camera 1000. .. The area of the recording unit 1102 is an example of a recording area.
The system control unit 1103 transmits various commands to the surveillance camera 1000 via the communication unit 1101. Further, the system control unit 1103 receives various commands transmitted from the control device 1200 via the communication unit 1101, while fetching GUI data to be displayed on the display unit 1201 for the control device 1200 from the recording unit 1102. The media data (PES packet) transmitted and received from the surveillance camera 1000 is live-distributed, and the media data (PES packet) recorded in the recording unit 1102 is recorded and distributed. The functions of the cloud server 1100 shown in FIG. 3 described later and the flowcharts of FIGS. 5, 6 and 9 described later by the system control unit 1103 executing processing based on the program recorded in the memory or the like of the system control unit 1103. Processing etc. are realized.

続いて、制御装置１２００の構成について説明する。
表示部１２０１は、液晶表示装置等である。表示部１２０１には、システム制御部１２０５の制御により、ＧＵＩ、及び映像データが表示される。
音声出力部１２０２は、スピーカーを有する。音声出力部１２０２からはシステム制御部１２０５の制御により、音声データが出力される。
入力部１２０３は、キーボード、マウス等のポインティングデバイス等が使用される。ユーザーは入力部１２０３を介し、表示部１２０１に表示されたＧＵＩを操作することで、監視カメラ１０００、及びクラウドサーバー１１００に対して要求を送ることができる。 Subsequently, the configuration of the control device 1200 will be described.
The display unit 1201 is a liquid crystal display device or the like. The GUI and video data are displayed on the display unit 1201 under the control of the system control unit 1205.
The audio output unit 1202 has a speaker. Audio data is output from the audio output unit 1202 under the control of the system control unit 1205.
As the input unit 1203, a pointing device such as a keyboard and a mouse is used. The user can send a request to the surveillance camera 1000 and the cloud server 1100 by operating the GUI displayed on the display unit 1201 via the input unit 1203.

通信部１２０４は、クラウドサーバー１１００から送信されたメディアデータ（ＰＥＳパケット）、及びＧＵＩを受信する。また、通信部１２０４は、システム制御部１２０５の制御により、ユーザーによって入力部１２０３より入力された各種コマンドをクラウドサーバー１１００に対して送信する。
システム制御部１２０５は、通信部１２０４を介し、ユーザーによって入力部１２０３より入力された各種コマンドをクラウドサーバー１１００に対して送信する。各種コマンドには、少なくとも監視カメラ１０００に対するメディアデータ（ＰＥＳパケット）アップロードの開始／停止命令、及び設定が含まれる。加えて、各種コマンドには、少なくともクラウドサーバー１１００に対するメディアデータ（ＰＥＳパケット）のライブ配信命令、録画配信命令、及び設定が含まれる。一方で、システム制御部１２０５は、表示部１２０１の表示を制御する。システム制御部１２０５は、クラウドサーバー１１００から受信したＰＥＳパケットを分解し、映像データを表示したり、監視カメラ１０００、及びクラウドサーバー１１００を制御するためのＧＵＩを表示したりする。また、システム制御部１２０５は、音声出力部１２０２の出力を制御する。システム制御部１２０５は、クラウドサーバー１１００から受信したＰＥＳパケットを分解し、音声データを出力する。システム制御部１２０５がシステム制御部１２０５のメモリ等に記録されたプログラムに基づき処理を実行することにより後述する制御装置１２００の機能等が実現される。システム制御部１２０５がシステム制御部１２０５のメモリ等に記録されているプログラムに基づき処理を実行することにより、制御装置１２００の機能が実現される。 The communication unit 1204 receives the media data (PES packet) transmitted from the cloud server 1100 and the GUI. Further, the communication unit 1204 transmits various commands input from the input unit 1203 by the user to the cloud server 1100 under the control of the system control unit 1205.
The system control unit 1205 transmits various commands input from the input unit 1203 by the user to the cloud server 1100 via the communication unit 1204. The various commands include at least a start / stop command for uploading media data (PES packets) to the surveillance camera 1000, and a setting. In addition, the various commands include at least a live distribution instruction of media data (PES packet), a recording distribution instruction, and a setting for the cloud server 1100. On the other hand, the system control unit 1205 controls the display of the display unit 1201. The system control unit 1205 decomposes the PES packet received from the cloud server 1100, displays video data, and displays a GUI for controlling the surveillance camera 1000 and the cloud server 1100. Further, the system control unit 1205 controls the output of the audio output unit 1202. The system control unit 1205 decomposes the PES packet received from the cloud server 1100 and outputs voice data. When the system control unit 1205 executes processing based on the program recorded in the memory or the like of the system control unit 1205, the functions of the control device 1200, which will be described later, are realized. The function of the control device 1200 is realized by the system control unit 1205 executing the process based on the program recorded in the memory or the like of the system control unit 1205.

続いて、監視カメラ１０００の構成について説明する。
撮像部１００１は、レンズ（撮像光学系）及び撮像素子を有する。撮像素子は、レンズを介して形成された被写体の像（光学像）を光電変換して画像信号を生成する。
画像処理部１００２は、撮像部１００１から出力された画像信号に対して所定の画像処理及び圧縮符号化処理を行い、映像データ（画像データ）を生成する。
音声入力部１００３は、マイクロフォン等の音声入力部を有する。マイクロフォンは、音から光電変換した音声信号を生成する。
音声処理部１００４は、音声入力部１００３から入力された音声信号に対して所定の音声処理及び圧縮符号化処理を行い、音声データを生成する。 Subsequently, the configuration of the surveillance camera 1000 will be described.
The image pickup unit 1001 includes a lens (imaging optical system) and an image pickup element. The image sensor generates an image signal by photoelectrically converting an image (optical image) of a subject formed through a lens.
The image processing unit 1002 performs predetermined image processing and compression coding processing on the image signal output from the imaging unit 1001 to generate video data (image data).
The voice input unit 1003 has a voice input unit such as a microphone. The microphone generates an audio signal that is photoelectrically converted from sound.
The voice processing unit 1004 performs predetermined voice processing and compression coding processing on the voice signal input from the voice input unit 1003 to generate voice data.

システム制御部１００５は、主に、画像処理部１００２、及び音声処理部１００４で圧縮符号化されたメディアデータをＰＥＳパケット化する。加えて、システム制御部１００５は、メディアデータの生成時刻（モノトニックタイム）からＰＴＳを算出し、ＰＥＳパケットのヘッダに付加する。ここで、モノトニックタイムとは監視カメラ１０００の起動時を０として単調増加し、ＣＰＵの水晶振動子の精度によっては誤差が生じる時刻である。ＣＰＵは、システム制御部１００５に含まれている。ＰＴＳは、ＰｒｅｓｅｎｔａｔｉｏｎＴｉｍｅＳｔａｍｐの略である。また、システム制御部１００５は、ＰＴＳの基準時刻として、システムから現在のＵＴＣ時刻を取得する。ここで、ＵＴＣ時刻とは１９７０年１月１日午前０時０分０秒を０として増加し、監視カメラ１０００の外部にあるＮＴＰサーバー等によって定期的に時刻合わせされる実時刻である。また、システム制御部１００５は、通信部１００７を介してクラウドサーバー１１００より受信した各種コマンド（制御命令）を解析し、コマンドに応じて画像処理部１００２、音声処理部１００４、記録部１００６、及び通信部１００７に対する制御を行う。システム制御部１００５がシステム制御部１００５のメモリ等に記録されているプログラムに基づき処理を実行することにより監視カメラ１０００の機能が実現される。 The system control unit 1005 mainly converts the media data compressed and encoded by the image processing unit 1002 and the audio processing unit 1004 into PES packets. In addition, the system control unit 1005 calculates the PTS from the media data generation time (monotonic time) and adds it to the header of the PES packet. Here, the monotonic time is a time when the surveillance camera 1000 starts up and increases monotonically, and an error occurs depending on the accuracy of the crystal oscillator of the CPU. The CPU is included in the system control unit 1005. PTS is an abbreviation for Presentation Time Stamp. Further, the system control unit 1005 acquires the current UTC time from the system as the reference time of the PTS. Here, the UTC time is a real time that is incremented from 00:00 on January 1, 1970 as 0 and is periodically adjusted by an NTP server or the like outside the surveillance camera 1000. Further, the system control unit 1005 analyzes various commands (control commands) received from the cloud server 1100 via the communication unit 1007, and responds to the commands with the image processing unit 1002, the voice processing unit 1004, the recording unit 1006, and the communication. Control is performed on the unit 1007. The function of the surveillance camera 1000 is realized by the system control unit 1005 executing the process based on the program recorded in the memory or the like of the system control unit 1005.

記録部１００６は、システム制御部１００５の制御により、内部ストレージ及び外部ストレージに対して、少なくともメディアデータの一部、及び監視カメラ１０００のシステムログを対象として記録を行う。
通信部１００７は、システム制御部１００５の制御により、ＰＥＳパケット、及び基準時刻をクラウドサーバーにアップロードする。また、クラウドサーバー１１００より各種コマンドを受信する。各種コマンドには、少なくとも監視カメラ１０００に対するメディアデータ（ＰＥＳパケット）アップロードの開始／停止命令、及び設定が含まれる。 Under the control of the system control unit 1005, the recording unit 1006 records at least a part of the media data and the system log of the surveillance camera 1000 in the internal storage and the external storage.
The communication unit 1007 uploads the PES packet and the reference time to the cloud server under the control of the system control unit 1005. It also receives various commands from the cloud server 1100. The various commands include at least a start / stop command for uploading media data (PES packets) to the surveillance camera 1000, and a setting.

図３は、クラウドサーバー１１００の機能構成の一例を示す図である。図３に示すように、クラウドサーバー１１００は、機能構成として、制御部３０１と、通信部３０２と、を含む。制御部３０１は、クラウドサーバー１１００の全体を制御する。通信部３０２は、ネットワーク１３００を介した監視カメラ１０００、制御装置１２００等との通信を制御する。 FIG. 3 is a diagram showing an example of the functional configuration of the cloud server 1100. As shown in FIG. 3, the cloud server 1100 includes a control unit 301 and a communication unit 302 as a functional configuration. The control unit 301 controls the entire cloud server 1100. The communication unit 302 controls communication with the surveillance camera 1000, the control device 1200, and the like via the network 1300.

図４を参照して、監視カメラ１０００からクラウドサーバー１１００へのメディアデータ（ＰＥＳパケット）のアップロードシーケンスについて説明する。
Ｓ２０００において、監視カメラ１０００は、クラウドサーバー１１００にてメディアデータ（ＰＥＳパケット）を正しい時刻で管理するため、基準時刻初期化を行うことで、監視カメラ１０００とクラウドサーバー１１００との間での時刻を同期する。基準時刻初期化処理では、監視カメラ１０００のシステム制御部１００５は、まず監視カメラ１０００のシステムの現在のＵＴＣ時刻Ｕと現在のモノトニックタイムＭを取得し、記録部１００６に記録する。ここで、Ｕ、及びＭの単位は、マイクロ秒である。次に、システム制御部１００５は、取得したモノトニックタイムＭを用い、以下の式（１）を用いてＰＴＳ値Ｐを算出する。ＰＴＳ値はタイムスタンプ値の一例である。
Ｐ＝９００００×Ｍ／１００００００・・・式（１） The upload sequence of media data (PES packets) from the surveillance camera 1000 to the cloud server 1100 will be described with reference to FIG.
In S2000, the surveillance camera 1000 manages the media data (PES packets) at the correct time on the cloud server 1100. Therefore, by initializing the reference time, the time between the surveillance camera 1000 and the cloud server 1100 can be set. Synchronize. In the reference time initialization process, the system control unit 1005 of the surveillance camera 1000 first acquires the current UTC time U and the current monotonic time M of the system of the surveillance camera 1000 and records them in the recording unit 1006. Here, the units of U and M are microseconds. Next, the system control unit 1005 calculates the PTS value P using the acquired monotonic time M and the following equation (1). The PTS value is an example of a time stamp value.
P = 90000 × M / 1000000 ・・・ Equation (1)

そして、システム制御部１００５は、クラウドサーバー１１００に対し、ＰＴＳ値ＰとＰに対応するＵＴＣ時刻Ｕをアップロードする。クラウドサーバー１１００は、アップロードされたＵＴＣ時刻Ｕとそれに対応するＰＴＳ値Ｐを基準時刻として、アップロードされるメディアデータ（ＰＥＳパケット）を管理する。また、ＰＴＳはクロック周波数をタイムベースとする。ここでは例として９００００Ｈｚ、即ち１秒あたりのＰＴＳを９００００として算出される。 Then, the system control unit 1005 uploads the UTC time U corresponding to the PTS values P and P to the cloud server 1100. The cloud server 1100 manages the uploaded media data (PES packet) with the uploaded UTC time U and the corresponding PTS value P as the reference time. In addition, PTS uses the clock frequency as a time base. Here, as an example, 90000 Hz, that is, PTS per second is calculated as 90000.

基準時刻初期化後、Ｓ２００１において、監視カメラ１０００は、メディアデータ（ＰＥＳパケット）のアップロードを開始する。システム制御部１００５は、画像処理部１００２、及び音声処理部１００４で圧縮符号化されたメディアデータをＰＥＳパケット化する。また、システム制御部１００５は、メディアデータの生成時刻（モノトニックタイムＭ₁）から式（１）を用いてＰＴＳ値Ｐ₁を算出し、ＰＥＳパケットのヘッダに付加する。ここで、Ｍ₁の単位はマイクロ秒である。そして、システム制御部１００５は、クラウドサーバー１１００に対し、ＰＥＳパケットをアップロードする。以降、ＰＥＳパケットのアップロードは、画像処理部１００２、及び音声処理部１００４にて、メディアデータが生成された順に順次行われる。 After the reference time is initialized, in S2001, the surveillance camera 1000 starts uploading the media data (PES packet). The system control unit 1005 converts the media data compressed and encoded by the image processing unit 1002 and the audio processing unit 1004 into PES packets. _{Further, the system control unit 1005 calculates the PTS value P 1} from the media data generation time (monotonic time M ₁ ) using the equation (1) and adds it to the header of the PES packet. Here, the unit of _{M 1 is microseconds.} Then, the system control unit 1005 uploads the PES packet to the cloud server 1100. After that, the PES packets are uploaded sequentially by the image processing unit 1002 and the audio processing unit 1004 in the order in which the media data is generated.

Ｓ２００２において、クラウドサーバー１１００にてメディアデータ（ＰＥＳパケット）を正しい時刻で管理するため、システム制御部１００５は、基準時刻更新処理を行うことで、監視カメラ１０００とクラウドサーバー１１００間での時刻を同期する。基準時刻更新の条件は、以下の式（３）となる。
ｄ＝（Ｕ_n−Ｕ_old）−（Ｍ_n−Ｍ_old）・・・式（２）
｜ｄ｜＞Ｔ・・・式（３）
なお、式（２）において、Ｕ_old、及びＭ_oldは、Ｓ２０００における基準時刻初期化処理、又は前回の基準時刻更新処理で取得したＵＴＣ時刻、及びモノトニックタイムである。また、Ｕ_n、及びＭ_nは、Ｓ２００２における基準時刻更新直前に画像処理部１００２、及び音声処理部１００４より生成されたｎ番目のメディアデータの生成時刻（ＵＴＣ時刻、及びモノトニックタイム）である。ここで、Ｕ_old、Ｕ_n、Ｍ_old、及びＭ_nの単位は、マイクロ秒である。定期的にＮＴＰサーバーによって時刻修正され、正しい時刻が保証されるＵ_nとは異なり、Ｍ_nにはＣＰＵの水晶振動子の精度によって誤差が蓄積されているため、Ｍ_nは実際よりも早く進んだり、遅く進んだりする。そのため、ｄはＳ２０００における基準時刻初期化処理、又は前回の基準時刻更新処理からメディアデータの生成時刻（モノトニックタイムＭ_n）にどの程度の時刻誤差が生じたかを表す値となる。式（３）において、Ｔは基準時刻更新の条件となる時刻誤差の閾値であり、０．５秒といった固定値が設定される。 In S2002, in order to manage the media data (PES packets) at the correct time on the cloud server 1100, the system control unit 1005 synchronizes the time between the surveillance camera 1000 and the cloud server 1100 by performing the reference time update process. To do. The condition for updating the reference time is the following equation (3).
_{_{d = (U n -U old)}} - (M n -M old) ··· Equation (2)
| D |> T ... Equation (3)
In the equation (2), U _old and M _old are the UTC time and the monotonic time acquired in the reference time initialization process in S2000 or the previous reference time update process. Also, U _n, and M _n is the reference time update just before generated from the image processing unit 1002 and the audio processing unit 1004, the n-th media data generation time (UTC time, and monotonic time) in S2002 .. Here, U _old, units of U _n, M _old, and M _n are microseconds. Is the time corrected by periodically NTP server, unlike U _n the correct time is guaranteed, because the error is accumulated by the accuracy of the crystal oscillator of the CPU to the M _n, M _n is proceeded actually faster than It's slow or slow. Therefore, d is a value indicating how much time error has occurred in the _{media data generation time (monotonic time M n} ) from the reference time initialization process in S2000 or the previous reference time update process. In the equation (3), T is a threshold value of the time error that is a condition for updating the reference time, and a fixed value such as 0.5 seconds is set.

式（３）を満たした場合、基準時刻更新処理では、システム制御部１００５は、監視カメラ１０００のシステムの現在のＵＴＣ時刻Ｕ_newと現在のモノトニックタイムＭ_newを取得する。ここで、Ｕ_new、及びＭ_newの単位は、マイクロ秒である。次に、システム制御部１００５は、式（１）を用い、モノトニックタイムＭ_newからＰＴＳ値Ｐ_newを算出する。そして、システム制御部１００５は、クラウドサーバー１１００に対し、ＰＴＳ値Ｐ_newとＰ_newに対応するＵＴＣ時刻Ｕ_newをアップロードする。クラウドサーバー１１００では、アップロードされたＵＴＣ時刻Ｕ_newとそれに対応するＰＴＳ値Ｐ_newを基準時刻として、アップロードされるメディアデータ（ＰＥＳパケット）を管理する。 When the equation (3) is satisfied, in the reference time update process, the system control unit 1005 acquires the _{current UTC time U new} and the current monotonic time M _{new of the system of the surveillance camera 1000.} Here, the unit of _{U new} and M _{new is microseconds.} Next, the system control unit 1005 calculates the PTS value P _new _{from the monotonic time M new using the equation (1).} Then, the system control unit 1005 uploads the UTC time U _new _{corresponding to the PTS values P new} and P _{new to the cloud server 1100.} The cloud server 1100 manages the uploaded media data (PES packet) with the uploaded _{UTC time U new} and the corresponding PTS value P _{new as the reference time.}

ここで、式（２）で求められるメディアデータの生成時刻（モノトニックタイムＭ_n）にどの程度の時刻誤差が生じたかを表す値ｄが負の値である場合、基準時刻更新前にクラウドサーバー１１００にアップロードしたメディアデータ（ＰＥＳパケット）のＰＴＳが誤差によって実時刻よりも進んでいる。そのため、クラウドサーバー１１００にて、基準時刻更新後にアップロードされたメディアデータのＰＴＳを再生時刻（ＵＴＣ時刻）に変換すると、基準時刻更新前にアップロードされたメディアデータの再生時刻（ＵＴＣ時刻）と重複してしまう。その結果、制御装置１２００にて基準時刻更新前のメディアデータが再生できなくなる恐れがある。 Here, if the value d indicating how much time error has occurred in the media data generation time (monotonic time M _n ) obtained by the equation (2) is a negative value, the cloud server before updating the reference time. The PTS of the media data (PES packet) uploaded to 1100 is ahead of the actual time due to an error. Therefore, when the PTS of the media data uploaded after the reference time is updated is converted to the playback time (UTC time) on the cloud server 1100, it overlaps with the playback time (UTC time) of the media data uploaded before the reference time is updated. It ends up. As a result, the control device 1200 may not be able to reproduce the media data before the reference time is updated.

以下、クラウドサーバー１１００において、基準時刻更新によって発生するメディアデータの再生時刻（ＵＴＣ時刻）の重複時間帯を考慮し、重複時間帯のメディアデータでも違和感なく再生可能とする方法について、図５から図９までを用いて説明する。
図５は、クラウドサーバー１１００におけるメディアデータ記録処理の一例を示すフローチャートである。
Ｓ３０００において、通信部３０２は、監視カメラ１０００との通信接続の確立を確認する。通信部３０２は、監視カメラ１０００との通信接続が確立済みの場合、処理をＳ３００１へ進め、通信接続が確立されていない場合、処理を終了する。 Hereinafter, in the cloud server 1100, considering the overlapping time zone of the playback time (UTC time) of the media data generated by updating the reference time, the method of enabling the media data in the overlapping time zone to be reproduced without discomfort is shown in FIGS. This will be described with reference to up to 9.
FIG. 5 is a flowchart showing an example of media data recording processing in the cloud server 1100.
In S3000, the communication unit 302 confirms the establishment of the communication connection with the surveillance camera 1000. The communication unit 302 advances the process to S3001 when the communication connection with the surveillance camera 1000 has been established, and ends the process when the communication connection has not been established.

クラウドサーバー１１００は、監視カメラ１０００よりメディアデータ（ＰＥＳパケット）を受信し、記録部１１０２に記録する前に、予め監視カメラ１０００より基準時刻を受信し、保持しておく必要がある。そこで、Ｓ３００１において、通信部３０２は、メディアデータ記録の初回処理として、監視カメラ１０００より、基準時刻としてＵＴＣ時刻Ｕとそれに対応するＰＴＳ値Ｐを受信済みであるかどうかを確認する。通信部３０２は、基準時刻を受信済みである場合、処理をＳ３００３へ進め、受信済みでない場合、Ｓ３００１で処理を待機する。なお、監視カメラ１０００より一定時間基準時刻を受信できない場合、通信部３０２は、監視カメラ１０００に対し、基準時刻を再要求してもよい。 The cloud server 1100 needs to receive and hold the reference time from the surveillance camera 1000 in advance before receiving the media data (PES packet) from the surveillance camera 1000 and recording it in the recording unit 1102. Therefore, in S3001, the communication unit 302 confirms whether or not the UTC time U and the corresponding PTS value P have been received from the surveillance camera 1000 as the reference time as the initial processing of the media data recording. If the reference time has been received, the communication unit 302 advances the process to S3003, and if it has not received the reference time, the communication unit 302 waits for the process in S3001. If the surveillance camera 1000 cannot receive the reference time for a certain period of time, the communication unit 302 may re-request the surveillance camera 1000 for the reference time.

Ｓ３００２において、通信部３０２は、監視カメラ１０００から基準時刻の更新が実行され、基準時刻としてＵＴＣ時刻Ｕとそれに対応するＰＴＳ値Ｐを受信したかどうかを確認する。通信部３０２は、更新された基準時刻を受信した場合、処理をＳ３００３へ進め、更新された基準時刻を受信しなかった場合、処理をＳ３００５のメディアデータ（ＰＥＳパケット）の受信確認へ進める。
Ｓ３００３において、制御部３０１は、基準時刻であるＵＴＣ時刻Ｕとそれに対応するＰＴＳ値Ｐを記録部１１０２に記録する。
Ｓ３００４において、制御部３０１は、監視カメラ１０００より新たに受信した基準時刻によって、メディアデータ（ＰＥＳパケット）のＰＴＳ値から変換した再生時刻（ＵＴＣ時刻）に重複が発生するかどうかを判定する。なお、再生時刻の重複判定処理については、図６におけるフローチャートにて詳述する。 In S3002, the communication unit 302 confirms whether or not the reference time is updated from the surveillance camera 1000 and the UTC time U and the corresponding PTS value P are received as the reference time. When the communication unit 302 receives the updated reference time, the process proceeds to S3003, and when the updated reference time is not received, the communication unit 302 proceeds to confirm the reception of the media data (PES packet) of S3005.
In S3003, the control unit 301 records the UTC time U, which is the reference time, and the PTS value P corresponding thereto in the recording unit 1102.
In S3004, the control unit 301 determines whether or not the reproduction time (UTC time) converted from the PTS value of the media data (PES packet) is duplicated by the reference time newly received from the surveillance camera 1000. The duplication determination process of the reproduction time will be described in detail in the flowchart of FIG.

Ｓ３００５において、通信部３０２は、監視カメラ１０００よりメディアデータ（ＰＥＳパケット）を受信したかどうかを確認する。通信部３０２は、メディアデータ（ＰＥＳパケット）を受信した場合、処理をＳ３００６へ進め、受信していない場合、処理をＳ３００７へ進める。
Ｓ３００６において、制御部３０１は、受信されたメディアデータ（ＰＥＳパケット）を記録部１１０２に記録する。
Ｓ３００７において、通信部３０２は、監視カメラ１０００との通信接続が切断されたかどうかの確認を行う。通信部３０２は、通信接続が切断されていない場合、処理をＳ３００１へ進め、通信接続が切断された場合、処理を終了する。 In S3005, the communication unit 302 confirms whether or not the media data (PES packet) has been received from the surveillance camera 1000. When the communication unit 302 receives the media data (PES packet), the process proceeds to S3006, and when the media data (PES packet) is not received, the communication unit 302 proceeds to the process to S3007.
In S3006, the control unit 301 records the received media data (PES packet) in the recording unit 1102.
In S3007, the communication unit 302 confirms whether or not the communication connection with the surveillance camera 1000 has been disconnected. The communication unit 302 advances the process to S3001 when the communication connection is not disconnected, and ends the process when the communication connection is disconnected.

図６は、クラウドサーバー１１００におけるメディアデータ再生時刻（ＵＴＣ時刻）の重複判定処理の一例を示すフローチャートである。
Ｓ４０００において、制御部３０１は、以下の式（４）、（５）を用い、現在の基準時刻を新たに受信した基準時刻に更新することによって、基準時刻更新前に受信したメディアデータ（ＰＥＳパケット）の再生時刻（ＵＴＣ時刻）に、基準時刻更新後に受信したメディアデータ（ＰＥＳパケット）の再生時刻（ＵＴＣ時刻）が重複するかどうかの判定を行う。
ｄ＝（Ｕ_new−Ｕ_old）−（Ｐ_new−Ｐ_old）／９００００×１００００００・・・式（４）
ｄ＜０・・・式（５）
なお、式（４）において、Ｕ_oldは現在の基準時刻であるＵＴＣ時刻である。Ｐ_oldはＵ_oldに対応するＰＴＳ値である。Ｕ_newは新たな基準時刻であるＵＴＣ時刻である。Ｐ_newはＵ_newに対応するＰＴＳ値である。ｄは基準時刻更新によって修正される時間である。ここで、Ｕ_new、Ｕ_old、及びｄの単位はマイクロ秒である。 FIG. 6 is a flowchart showing an example of the duplication determination process of the media data reproduction time (UTC time) in the cloud server 1100.
In S4000, the control unit 301 uses the following equations (4) and (5) to update the current reference time to the newly received reference time, so that the media data (PES packet) received before the reference time is updated. ), It is determined whether or not the reproduction time (UTC time) of the media data (PES packet) received after the reference time is updated overlaps with the reproduction time (UTC time).
d = (U _new −U _old ) − (P _new −P _old ) / 90000 × 1000000 ・・・ Equation (4)
d <0 ・・・ Equation (5)
In equation (4), U _old is the UTC time, which is the current reference time. P _old is a PTS value corresponding to _{U old.} U _new is the UTC time, which is the new reference time. P _new is a PTS value corresponding to _{U new.} d is the time corrected by updating the reference time. Here, _{the units of U new} , U _old , and d are microseconds.

式（５）を満たす場合、制御部３０１は、基準時刻更新前に受信したメディアデータ（ＰＥＳパケット）の再生時刻（ＵＴＣ時刻）に、基準時刻更新後に受信したメディアデータの再生時刻（ＵＴＣ時刻）が重複すると判定し、処理をＳ４００１へ進める。ここで、式（５）を満たすとき、｜ｄ｜の値がメディアデータの再生時刻（ＵＴＣ時刻）の重複時間となる。式（５）を満たさない場合、制御部３０１は、基準時刻更新前に受信したメディアデータ（ＰＥＳパケット）の再生時刻（ＵＴＣ時刻）に、基準時刻更新後に受信したメディアデータの再生時刻（ＵＴＣ時刻）が重複しないと判定し、処理を終了する。 When the equation (5) is satisfied, the control unit 301 sets the playback time (UTC time) of the media data (PES packet) received before the reference time update to the playback time (UTC time) of the media data received after the reference time update. Is determined to be duplicated, and the process proceeds to S4001. Here, when the equation (5) is satisfied, the value of | d | is the overlapping time of the media data reproduction time (UTC time). If the equation (5) is not satisfied, the control unit 301 sets the playback time (UTC time) of the media data (PES packet) received before the reference time update to the playback time (UTC time) of the media data received after the reference time update. ) Does not overlap, and the process ends.

Ｓ４００１において、制御部３０１は、以下の式（６）、（７）を用い、メディアデータの再生時刻の重複開始時刻（ＵＴＣ時刻）Ｕ_s、及び重複終了時刻（ＵＴＣ時刻）Ｕ_eを算出する。
Ｕ_s＝Ｕ_new ・・・式（６）
Ｕ_e＝Ｕ_new＋｜ｄ｜・・・式（７）
なお、式（６）、（７）において、Ｕ_newは監視カメラ１０００より受信した新たな基準時刻となるＵＴＣ時刻である。
制御部３０１は、算出したＵ_s、及びＵ_eの値を記録部１１０２に記録する。 In S4001, the control unit 301, the following equation (6), (7) using the calculated overlap start time of the reproduction time of the media data (UTC time) U _s, and overlapping end time (UTC time) U _e ..
_Us = U _new・・・ Equation (6)
U _e = U _new + | d | ・・・ Equation (7)
In the equations (6) and (7), U _new is the UTC time which is the new reference time received from the surveillance camera 1000.
Control unit 301, the calculated U _s, and the value of U _e are recorded in the recording unit 1102.

Ｓ４００２において、制御部３０１は、以下の式（８）、（９）を用い、メディアデータの再生時刻（ＵＴＣ時刻）の重複開始時のＰＴＳ値Ｐ_s、及び重複終了時のＰＴＳ値Ｐ_eを算出する。
Ｐ_s＝Ｐ_new−｜ｄ｜×９００００／１００００００・・・式（８）
Ｐ_e＝Ｐ_new＋｜ｄ｜×９００００／１００００００・・・式（９）
なお、式（８）、式（９）において、Ｐ_newは新たな基準時刻Ｕ_newに対応するＰＴＳ値であり、｜ｄ｜は式（４）で求めたメディアデータの再生時刻（ＵＴＣ時刻）の重複時間である。
制御部３０１は算出したＰ_s、及びＰ_eの値を記録部１１０２に記録する。 In S4002, the control unit 301 uses the following equations (8) and (9) to set the PTS value P _s _{at the start of duplication of the media data reproduction time (UTC time) and the PTS value P e} at the end of duplication. calculate.
P _s = P _new − | d | × 90000/1000000 ・・・ Equation (8)
P _e = P _new + | d | × 90000/1000000 ・・・ Equation (9)
In the equations (8) and (9), P _new _{is the PTS value corresponding to the new} reference time U new, and | d | is the playback time (UTC time) of the media data obtained by the equation (4). Overlapping time.
The control unit 301 _{records the calculated P s} and P _e values in the recording unit 1102.

図７は、クラウドサーバー１１００が記録部１１０２に記録するメディアデータ（ＰＥＳパケット）の再生時刻（ＵＴＣ時刻）の重複をタイムラインで示した図である。
図７において、時間軸５０００はＵＴＣ時刻で表される時間軸である。タイミング５００１は監視カメラ１０００が基準時刻更新処理を行ったタイミングである。タイムライン５００２は基準時刻更新前にアップロードしたメディアデータ（ＰＥＳパケット）のＰＴＳを更新前の基準時刻Ｕ_oldを用いてＵＴＣ時刻に変換したタイムラインである。タイムライン５００３は基準時刻更新後にアップロードしたメディアデータ（ＰＥＳパケット）のＰＴＳを更新後の基準時刻Ｕ_newを用いてＵＴＣ時刻に変換したタイムラインである。重複時間帯５００４は基準時刻更新前と基準時刻更新後にアップロードしたメディアデータ（ＰＥＳパケット）の再生時刻（ＵＴＣ時刻）の重複時間帯である。 FIG. 7 is a diagram showing the duplication of the reproduction time (UTC time) of the media data (PES packet) recorded in the recording unit 1102 by the cloud server 1100 on a timeline.
In FIG. 7, the time axis 5000 is a time axis represented by UTC time. The timing 5001 is the timing when the surveillance camera 1000 performs the reference time update process. The timeline 5002 is a timeline in which the PTS of the media data (PES packet) uploaded before the reference time update is converted into UTC time using _{the reference time U old before the update.} The timeline 5003 is a timeline in which the PTS of the media data (PES packet) uploaded after the reference time is updated is converted into UTC time using the _{updated reference time U new.} The overlapping time zone 5004 is an overlapping time zone of the reproduction time (UTC time) of the media data (PES packet) uploaded before the reference time update and after the reference time update.

図７では、タイミング５００１に示すタイミングで行われた基準時刻更新処理によって、メディアデータ（ＰＥＳパケット）のＰＴＳの基準時刻であるＵＴＣ時刻がＵ_oldからＵ_newに更新されている。それに伴い、重複時間帯５００４に示す時間帯で基準時刻更新前と基準時刻更新後にアップロードしたメディアデータ（ＰＥＳパケット）のＰＴＳから変換した再生時刻（ＵＴＣ時刻）に重複が発生している。なお、時刻更新処理を行ったタイミング５００１のＵＴＣ時刻は、式（４）における基準時刻Ｕ_newと一致する。また、再生時刻の重複時間帯５００４は、式（４）における｜ｄ｜の値と一致する。 In FIG. 7, the UTC time, which is the reference time of the PTS of the media data (PES packet), is updated from U _old _{to U new by the reference time update process performed at the timing shown in the timing 5001.} Along with this, duplication occurs in the reproduction time (UTC time) converted from the PTS of the media data (PES packet) uploaded before the reference time update and after the reference time update in the time zone shown in the overlap time zone 5004. The UTC time of the timing 5001 at which the time update process is performed coincides with the _{reference time U new in the equation (4).} Further, the overlapping time zone 5004 of the reproduction time coincides with the value of | d | in the equation (4).

図８を参照して、本実施形態に係る制御装置１２００が表示するメディアデータ再生のためのＧＵＩ、及びタイムラインの種類について説明する。
図８Ａにおいて、ＧＵＩ６０００はＧＵＩである。映像表示画面６００１は映像表示画面である。切り替えボタン６００２はＰＴＳ軸表示のタイムラインへの切り替えボタンである。切り替えボタン６００３は実時刻軸表示のタイムラインへの切り替えボタンである。重複時間帯６００４はメディアデータの再生時刻（ＵＴＣ時刻）の重複時間帯である。シークバー６００５は再生中の時刻位置を示すシークバーである。図８Ａのタイムライン６００６、図８Ｂのタイムライン６００７、及び図８Ｃのタイムライン６００８は何れも実時刻軸表示のタイムラインである。また、図８Ｄのタイムライン６００９はＰＴＳ軸表示のタイムラインである。 With reference to FIG. 8, a GUI for reproducing media data displayed by the control device 1200 according to the present embodiment and a type of timeline will be described.
In FIG. 8A, GUI 6000 is a GUI. The video display screen 6001 is a video display screen. The switching button 6002 is a switching button for the timeline of the PTS axis display. The switching button 6003 is a switching button for switching to the timeline of the actual time axis display. The overlapping time zone 6004 is an overlapping time zone of the media data reproduction time (UTC time). The seek bar 6005 is a seek bar that indicates the time position during playback. The timeline 6006 of FIG. 8A, the timeline 6007 of FIG. 8B, and the timeline 6008 of FIG. 8C are all timelines for displaying the actual time axis. The timeline 6009 in FIG. 8D is a timeline for displaying the PTS axis.

ここで、図８Ａのタイムライン６００６は時刻軸にＵＴＣ時刻といった実時刻を用いたタイムラインであり、基準時刻更新によって生じたメディアデータ再生時刻（ＵＴＣ時刻）の重複時間帯６００４がタイムライン上にカラー表示されている。なお、カラー表示はタイムラインの色とは異なる色、蛍光色といった色を用いて強調表示される。なお、強調表示という語句を用いて、以下の説明を行うが、強調表示とは、少なくともタイムライン上の他の時間帯（区間）と重複時間帯６００４とが識別可能な表示であればよい。少なくとも重複時間帯６００４が他の時間帯と識別可能となっていれば、基準時刻更新によって発生するメディアデータ再生時刻である実時刻（ＵＴＣ時刻）の重複時間帯を考慮して、重複時間帯をわかりやすく表現することができる。図８Ｂのタイムライン６００７は図８Ａのタイムライン６００６と同様、時刻軸に実時刻を用いたタイムラインである。タイムライン６００７では基準軸更新前と基準時刻更新後の２本のタイムラインを用い、メディアデータ再生時刻（ＵＴＣ時刻）の重複時間帯６００４が表されている。なお、２本のタイムラインは平行線であることが特徴であり、基準時刻更新によって生じる重複時間帯６００４は２本のタイムライン上にカラー表示で表現されてもよい。また、２本のタイムラインは図８Ｂのタイムライン６００７とは異なり、途中で途切れない表現であってもよい。図８Ｃのタイムライン６００８は図８Ａのタイムライン６００６と同様、時刻軸に実時刻を用いたタイムラインであり、フェードイン・フェードアウトの表現を用い、メディアデータ再生時刻（ＵＴＣ時刻）の重複時間帯６００４が表わされている。図８Ｄのタイムライン６００９は時刻軸にＰＴＳ値を用いたタイムラインのことであり、基準時刻更新によって生じたメディアデータ再生時刻（ＵＴＣ時刻）の重複時間帯６００４がタイムライン上にカラー表示されている。また、図８Ｄのタイムライン６００９には時刻軸にはＰＴＳ値に加え、ＰＴＳ値に対応するＵＴＣ時刻を時刻軸に表示してもよい。また、重複時間帯６００４に対応する実時刻の表記、及びＰＴＳ値の表記は、重複時間帯外と異なる色で表記されたり、強調表示されたりしてもよい。 Here, the timeline 6006 of FIG. 8A is a timeline using a real time such as UTC time on the time axis, and the overlapping time zone 6004 of the media data reproduction time (UTC time) generated by updating the reference time is on the timeline. It is displayed in color. The color display is highlighted using a color different from the color on the timeline, a fluorescent color, or the like. The following description will be given using the term highlighting, but the highlighting may be any display that can distinguish at least other time zones (sections) on the timeline from the overlapping time zone 6004. If at least the overlapping time zone 6004 can be distinguished from other time zones, the overlapping time zone is set in consideration of the overlapping time zone of the actual time (UTC time) which is the media data playback time generated by the reference time update. It can be expressed in an easy-to-understand manner. Similar to the timeline 6006 of FIG. 8A, the timeline 6007 of FIG. 8B is a timeline using real time as the time axis. In the timeline 6007, two timelines before the reference axis update and after the reference time update are used, and the overlapping time zone 6004 of the media data reproduction time (UTC time) is represented. The two timelines are characterized by being parallel lines, and the overlapping time zone 6004 generated by updating the reference time may be represented in color on the two timelines. Further, unlike the timeline 6007 of FIG. 8B, the two timelines may be expressed without interruption in the middle. Similar to the timeline 6006 of FIG. 8A, the timeline 6008 of FIG. 8C is a timeline using the real time on the time axis, and uses the expression of fade-in / fade-out to overlap the media data playback time (UTC time). 6004 is represented. The timeline 6009 in FIG. 8D is a timeline using a PTS value on the time axis, and the overlapping time zone 6004 of the media data reproduction time (UTC time) generated by updating the reference time is displayed in color on the timeline. There is. Further, in the timeline 6009 of FIG. 8D, in addition to the PTS value, the UTC time corresponding to the PTS value may be displayed on the time axis. Further, the notation of the real time corresponding to the overlapping time zone 6004 and the notation of the PTS value may be expressed in a color different from that outside the overlapping time zone or may be highlighted.

メディアデータの視聴開始時、制御装置１２００はクラウドサーバー１１００から図８ＡのＧＵＩ６０００、図８Ａの映像表示画面６００１に表示するメディアデータ、及び図８Ａのタイムライン６００６、図８Ｂのタイムライン６００７、又は図８Ｃのタイムライン６００８の何れかの実時刻軸表示のタイムラインを受信し、表示部１２０１に表示する。
ユーザーはタイムライン上のシークバー６００５を操作することで、指定再生時刻のメディアデータを再生することができる。また、ユーザーはＰＴＳ表示のタイムラインへの切り替えボタン６００２、実時刻軸表示のタイムラインへの切り替えボタン６００３をクリックすることで、タイムラインの種類を切り替えることができる。 At the start of viewing the media data, the control device 1200 displays the media data displayed on the GUI6000 of FIG. 8A, the video display screen 6001 of FIG. 8A, and the timeline 6006 of FIG. 8A, the timeline 6007 of FIG. The timeline of any of the real time axis display of the timeline 6008 of 8C is received and displayed on the display unit 1201.
The user can reproduce the media data at the specified reproduction time by operating the seek bar 6005 on the timeline. Further, the user can switch the type of the timeline by clicking the button 6002 for switching to the timeline of the PTS display and the button 6003 for switching to the timeline of the actual time axis display.

ここで、制御装置１２００は、メディアデータをＰＴＳ値に従って連続再生する。つまり、ＰＴＳ値で規定される順番で連続的に再生する。そのため、実時刻軸表示のタイムラインでは、重複時間帯６００４の再生時、シークバー６００５は基準時刻更新前と基準時刻更新後のメディアデータを再生するため、重複時間帯６００４上を二度進むように動作する。これにより、実時刻軸表示のタイムライン、ＰＴＳ軸表示のタイムラインの何れでも、再生時刻（ＵＴＣ時刻）の重複時間帯６００４のメディアデータを連続再生可能とすることができる。 Here, the control device 1200 continuously reproduces the media data according to the PTS value. That is, the playback is continuously performed in the order specified by the PTS value. Therefore, in the timeline of the actual time axis display, when the overlapping time zone 6004 is played back, the seek bar 6005 plays back the media data before the reference time update and after the reference time update. Operate. As a result, the media data in the overlapping time zone 6004 of the playback time (UTC time) can be continuously played back on either the timeline displayed on the real time axis or the timeline displayed on the PTS axis.

図９は、本実施形態に係るクラウドサーバー１１００から制御装置１２００へのＧＵＩ、及びメディアデータ配信処理のフローチャートである。
Ｓ７０００において、通信部３０２は、制御装置１２００と通信セッションが確立されているかどうかの確認を行う。通信部３０２は、通信セッションが確立されている場合、処理をＳ７００１へ進め、通信セッションが確立されていない場合、処理を終了する。
Ｓ７００１において、通信部３０２は、ＧＵＩ６０００、及びデフォルトのタイムラインとして、実時刻軸表示のタイムライン６００６を制御装置１２００へ送信する。 FIG. 9 is a flowchart of the GUI and media data distribution processing from the cloud server 1100 to the control device 1200 according to the present embodiment.
In S7000, the communication unit 302 confirms whether or not a communication session has been established with the control device 1200. The communication unit 302 advances the process to S7001 when the communication session is established, and ends the process when the communication session is not established.
In S7001, the communication unit 302 transmits the GUI 6000 and the time line 6006 for displaying the real time axis to the control device 1200 as the default time line.

Ｓ７００２において、制御部３０１は、式（６）、（７）、（８）、（９）で求めたメディアデータ再生時刻の重複開始時刻、及び重複終了時刻を参照し、送信するメディアデータの再生時刻（ＵＴＣ時刻）に重複がある場合、処理をＳ７００３へ進める。重複がない場合、処理をＳ７００４へ進める。
Ｓ７００３において、制御部３０１は、ＧＵＩ６０００上に表示するタイムライン上に重複時間帯６００４を表現する。なお、再生時刻重複の表現には、少なくともタイムラインとは異なる色や蛍光色を用いたカラー表示による表現、基準時刻更新前と基準時刻更新後の２本のタイムラインを用いた表現、フェードイン・フェードアウトを用いた表現、二重螺旋を用いた表現等が挙げられる。また、タイムラインにおいて、重複時間帯６００４に対応する実時刻の表記、及びＰＴＳ値の表記は、重複時間帯外と異なる色で表記したり、強調表示したりする。 In S7002, the control unit 301 refers to the duplicate start time and the duplicate end time of the media data reproduction times obtained by the equations (6), (7), (8), and (9), and reproduces the media data to be transmitted. If there is a duplication of time (UTC time), the process proceeds to S7003. If there is no duplication, the process proceeds to S7004.
In S7003, the control unit 301 expresses the overlapping time zone 6004 on the timeline displayed on the GUI 6000. Note that the reproduction time duplication is expressed by at least a color display using a color different from the timeline or a fluorescent color, an expression using two timelines before and after the reference time is updated, and a fade-in. -Expressions using fade-out, expressions using double helix, etc. can be mentioned. Further, in the timeline, the notation of the real time corresponding to the overlapping time zone 6004 and the notation of the PTS value are expressed or highlighted in a color different from that outside the overlapping time zone.

Ｓ７００４において、通信部３０２は、制御装置１２００よりタイムライン種類の切り替え要求を受信したかどうかを確認する。通信部３０２は、タイムライン種類の切り替え要求を受信した場合、処理をＳ７００５へ進め、受信していない場合、処理をＳ７００６へ進める。ここで、タイムラインの種類には、少なくとも実時刻軸表示のタイムラインと、ＰＴＳ軸表示のタイムラインがある。
Ｓ７００５において、通信部３０２は、制御装置１２００より指定された種類のタイムラインデータを制御装置１２００に送信する。 In S7004, the communication unit 302 confirms whether or not the timeline type switching request has been received from the control device 1200. When the communication unit 302 receives the timeline type switching request, the process proceeds to S7005, and when the request is not received, the communication unit 302 proceeds to the process to S7006. Here, the types of the timeline include at least a timeline for displaying the actual time axis and a timeline for displaying the PTS axis.
In S7005, the communication unit 302 transmits the timeline data of the type specified by the control device 1200 to the control device 1200.

Ｓ７００６において、通信部３０２は、制御装置１２００よりメディアデータの再生時刻の指定を受信したかどうかを確認する。通信部３０２は、メディアデータの再生時刻の指定を受信した場合、処理をＳ７００７へ進め、受信していない場合、処理をＳ７００９へ進める。なお、制御装置１２００から受信するメディアデータ再生時刻の指定形式は、ＵＴＣ時刻といった実時刻の形式でも、ＰＴＳ値の形式でもよい。
Ｓ７００７において、制御部３０１は、制御装置１２００に対してメディアデータを送信するため、制御装置１２００より指定された再生時刻のメディアデータを、記録部１１０２からシークして取り出す。指定された再生時刻は、再生開始時刻の一例である。 In S7006, the communication unit 302 confirms whether or not the designation of the reproduction time of the media data has been received from the control device 1200. When the communication unit 302 receives the designation of the reproduction time of the media data, the process proceeds to S7007, and when it has not received, the process proceeds to S7009. The format for specifying the media data reproduction time received from the control device 1200 may be a real time format such as UTC time or a PTS value format.
In S7007, in order to transmit the media data to the control device 1200, the control unit 301 seeks and retrieves the media data at the reproduction time specified by the control device 1200 from the recording unit 1102. The specified playback time is an example of the playback start time.

Ｓ７００８において、通信部３０２は、記録部１１０２から取り出した指定再生時刻のメディアデータより、指定再生時刻からのタイムラインデータを作成し、制御装置１２００に対して送信する。
Ｓ７００９において、通信部３０２は、前回のタイムラインデータの送信時刻から一定時間が経過したかどうかを確認する。通信部３０２は、前回のタイムラインデータの送信時刻から一定時間が経過した場合、処理をＳ７０１０へ進め、経過していない場合、処理をＳ７０１１へ進める。 In S7008, the communication unit 302 creates timeline data from the designated reproduction time from the media data of the designated reproduction time taken out from the recording unit 1102, and transmits the timeline data to the control device 1200.
In S7009, the communication unit 302 confirms whether or not a certain time has elapsed from the transmission time of the previous timeline data. The communication unit 302 advances the process to S7010 when a certain time has elapsed from the transmission time of the previous timeline data, and advances the process to S7011 when it has not elapsed.

Ｓ７０１０において、通信部３０２は、新たなタイムラインデータを制御装置１２００に対して送信する。
Ｓ７０１１において、通信部３０２は、メディアデータを制御装置１２００に対して送信する。
Ｓ７０１２において、通信部３０２は、制御装置１２００と通信セッションが切断されたかどうかの確認を行う。通信部３０２は、通信セッションが切断されていない場合、処理をＳ７００２へ進め、通信セッションが切断された場合、処理を終了する。 In S7010, the communication unit 302 transmits new timeline data to the control device 1200.
In S7011, the communication unit 302 transmits the media data to the control device 1200.
In S7012, the communication unit 302 confirms whether or not the communication session with the control device 1200 has been disconnected. If the communication session is not disconnected, the communication unit 302 advances the process to S7002, and if the communication session is disconnected, the communication unit 302 ends the process.

以上、説明したように、実施形態１では、クラウドサーバー１１００において、基準時刻更新によって発生するメディアデータ再生時刻（ＵＴＣ時刻）の重複時間帯を考慮し、再生時刻（ＵＴＣ時刻）が重複したメディアデータでも再生可能なＧＵＩを提供することにより、ユーザーが再生時刻（ＵＴＣ時刻）重複時間帯のメディアデータを再生できることを保証する。また、ＧＵＩ６０００に表示されるメディアデータのタイムライン上に、重複時間帯を視認可能な形式で表現することにより、ユーザーは基準時刻更新によって生じた再生時刻（ＵＴＣ時刻）の重複時間帯がわかりやすくなる。 As described above, in the first embodiment, the cloud server 1100 considers the overlapping time zone of the media data reproduction time (UTC time) generated by the reference time update, and the media data in which the reproduction time (UTC time) is duplicated. However, by providing a playable GUI, it is guaranteed that the user can play the media data in the playback time (UTC time) overlapping time zone. In addition, by expressing the overlapping time zone in a visible format on the timeline of the media data displayed on the GUI 6000, the user can easily understand the overlapping time zone of the playback time (UTC time) caused by the reference time update. Become.

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 <Other Embodiments>
The present invention supplies a system or apparatus via a network or recording medium a program that realizes one or more of the functions of the above-described embodiment. It can also be realized by a process in which one or more processors in the computer of the system or apparatus reads and executes a program. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。
例えば、実施形態１では、監視カメラ１０００がクラウドサーバー１１００にアップロードするメディアデータの形式をＭＰＥＧ−２規格におけるＰＥＳパケットの形式としたが、ＭＰＥＧ−２規格、及びＰＥＳパケットの形式に限定されるものではない。また、実施形態１では、メディアデータに付加されるタイムスタンプの形式としてＰＴＳを用いたが、ＰＴＳ以外のタイムスタンプを用いてもよい。また、実施形態１では、基準時刻としてＵＴＣ時刻を用いたが、ＮＴＰサーバーによって時刻同期されるＵＴＣ時刻以外の実時刻を用いてもよい。また、実施形態１では、クラウドサーバー１１００が制御装置１２００に対して送信するタイムラインの種類として、実時刻軸表示のタイムライン、ＰＴＳ軸表示のタイムラインの２種類のタイムラインデータを送信したが、タイムラインの種類には上述した２種類のタイムラインデータに限定されるものではない。 Although an example of the embodiment of the present invention has been described in detail above, the present invention is not limited to the specific embodiment.
For example, in the first embodiment, the format of the media data uploaded by the surveillance camera 1000 to the cloud server 1100 is the format of the PES packet in the MPEG-2 standard, but the format is limited to the MPEG-2 standard and the PES packet format. is not it. Further, in the first embodiment, PTS is used as the format of the time stamp added to the media data, but a time stamp other than PTS may be used. Further, in the first embodiment, the UTC time is used as the reference time, but a real time other than the UTC time synchronized by the NTP server may be used. Further, in the first embodiment, two types of timeline data, a timeline for displaying the actual time axis and a timeline for displaying the PTS axis, are transmitted as the types of the timeline transmitted by the cloud server 1100 to the control device 1200. , The type of timeline is not limited to the above-mentioned two types of timeline data.

以上、上述した各実施形態によれば、提供するＧＵＩによって、基準時刻更新によって生じたメディアデータの再生時刻である実時刻（ＵＴＣ時刻）の重複時間帯がわかりやすくなることに加え、重複時間帯のメディアデータでも連続して再生可能となる。 As described above, according to each of the above-described embodiments, the provided GUI makes it easy to understand the overlapping time zone of the actual time (UTC time) which is the playback time of the media data generated by the reference time update, and also the overlapping time zone. The media data of is also playable continuously.

１０００監視カメラ
１１００クラウドサーバー
１１０３システム制御部
１２００制御装置 1000 Surveillance camera 1100 Cloud server 1103 System control unit 1200 Control device

Claims

メディアデータ記録装置であって、
前記メディアデータ記録装置を制御する制御手段と、
ネットワークを介して他の装置と通信する通信手段と、
を有し、
前記通信手段は、メディアデータ送信装置からメディアデータと、前記メディアデータ送信装置の基準時刻更新処理に伴い、前記メディアデータに付加されるタイムスタンプの基準となる実時刻である基準時刻とを受信し、
前記制御手段は、新たな前記基準時刻の更新処理の後に受信するメディアデータの再生時刻である実時刻が新たな前記基準時刻の更新処理の前に受信したメディアデータの再生時刻である実時刻に重複する時間帯を求め、前記メディアデータと、前記基準時刻と、重複時間帯とを記録領域に記録し、
前記通信手段は、メディアデータの表示機能を備える制御装置からメディアデータ再生のためのＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）に表示するタイムラインの種類の指定と、メディアデータの再生開始時刻の指定とを受信し、前記ＧＵＩと、前記受信した指定に応じた、タイムラインと、前記記録領域に記録された前記再生開始時刻から始まるメディアデータとを前記制御装置に対して送信し、
前記ＧＵＩは、前記重複時間帯が前記タイムライン上において他の時間帯と識別可能なＧＵＩであることを特徴とするメディアデータ記録装置。 It is a media data recording device
A control means for controlling the media data recording device and
A means of communication that communicates with other devices over a network,
Have,
The communication means receives media data from the media data transmission device and a reference time which is a reference time of a time stamp added to the media data in accordance with the reference time update process of the media data transmission device. ,
The control means sets the actual time, which is the reproduction time of the media data received after the new update process of the reference time, to the actual time, which is the reproduction time of the media data received before the update process of the new reference time. The overlapping time zone is obtained, and the media data, the reference time, and the overlapping time zone are recorded in the recording area.
The communication means receives from a control device having a media data display function a specification of a timeline type to be displayed on a GUI (Graphical User Interface) for media data reproduction and a specification of a media data reproduction start time. , The GUI, the timeline according to the received designation, and the media data recorded in the recording area starting from the playback start time are transmitted to the control device.
The GUI is a media data recording device, wherein the overlapping time zone is a GUI that can be distinguished from other time zones on the timeline.

前記メディアデータには、映像データが含まれることを特徴とする請求項１に記載のメディアデータ記録装置。 The media data recording device according to claim 1, wherein the media data includes video data.

前記メディアデータには、音声データが含まれることを特徴とする請求項１に記載のメディアデータ記録装置。 The media data recording device according to claim 1, wherein the media data includes audio data.

前記タイムスタンプには、前記メディアデータの生成時刻から算出されたＰＴＳ（ＰｒｅｓｅｎｔａｔｉｏｎＴｉｍｅＳｔａｍｐ）が用いられることを特徴とする請求項１乃至３の何れか１項に記載のメディアデータ記録装置。 The media data recording apparatus according to any one of claims 1 to 3, wherein a PTS (Presentation Time Stamp) calculated from the generation time of the media data is used for the time stamp.

前記メディアデータの生成時刻には、前記メディアデータ送信装置のシステムより取得されたモノトニックタイムが用いられることを特徴とする請求項４に記載のメディアデータ記録装置。 The media data recording device according to claim 4, wherein the monotonic time acquired from the system of the media data transmission device is used as the generation time of the media data.

前記メディアデータに付加されるタイムスタンプの基準となる実時刻には、前記メディアデータ送信装置のシステムより取得されたＵＴＣ時刻が用いられることを特徴とする請求項１乃至５の何れか１項に記載のメディアデータ記録装置。 The present invention according to any one of claims 1 to 5, wherein the UTC time acquired from the system of the media data transmission device is used as the reference of the time stamp added to the media data. The media data recording device described.

前記重複時間帯は、重複開始時刻を表す実時刻で表現されることを特徴とする請求項１乃至６の何れか１項に記載のメディアデータ記録装置。 The media data recording device according to any one of claims 1 to 6, wherein the overlapping time zone is represented by a real time representing a overlapping start time.

前記重複時間帯は、タイムスタンプ値及び重複終了時刻を表す実時刻で表現されることを特徴とする請求項１乃至６の何れか１項に記載のメディアデータ記録装置。 The media data recording device according to any one of claims 1 to 6, wherein the overlapping time zone is represented by a time stamp value and a real time representing the overlapping end time.

前記重複時間帯は、タイムスタンプ値で表現されることを特徴とする請求項１乃至６の何れか１項に記載のメディアデータ記録装置。 The media data recording device according to any one of claims 1 to 6, wherein the overlapping time zone is represented by a time stamp value.

前記タイムラインの種類には、タイムラインの軸に実時刻を用いる第１のタイムラインと、タイムラインの軸に前記タイムスタンプを用いる第２のタイムラインがあり、ＧＵＩから前記タイムラインの種類を切り替え可能であることを特徴とする請求項１乃至９の何れか１項に記載のメディアデータ記録装置。 The type of the timeline includes a first timeline that uses the real time on the axis of the timeline and a second timeline that uses the time stamp on the axis of the timeline. The media data recording device according to any one of claims 1 to 9, wherein the media data recording device is switchable.

タイムライン上の重複時間帯の強調表示方法は、タイムラインの色とは異なる色を用いた強調表示方法であることを特徴とする請求項１乃至１０の何れか１項に記載のメディアデータ記録装置。 The media data recording according to any one of claims 1 to 10, wherein the highlighting method for overlapping time zones on the timeline is a highlighting method using a color different from the color of the timeline. apparatus.

タイムライン上の重複時間帯の強調表示方法は、２本の平行するタイムラインを用いた強調表示方法であることを特徴とする請求項１乃至１０の何れか１項に記載のメディアデータ記録装置。 The media data recording apparatus according to any one of claims 1 to 10, wherein the highlighting method for overlapping time zones on the timeline is a highlighting method using two parallel timelines. ..

タイムライン上の重複時間帯の強調表示方法は、フェードイン・フェードアウトの表現を用いた強調表示方法であることを特徴とする請求項１乃至１０の何れか１項に記載のメディアデータ記録装置。 The media data recording device according to any one of claims 1 to 10, wherein the highlighting method for overlapping time zones on the timeline is a highlighting method using a fade-in / fade-out expression.

タイムライン上の重複時間帯の強調表示方法は、二重螺旋を用いた強調方法であることを特徴とする請求項１乃至１０の何れか１項に記載のメディアデータ記録装置。 The media data recording device according to any one of claims 1 to 10, wherein the highlighting method for overlapping time zones on the timeline is a highlighting method using a double helix.

前記メディアデータの再生開始時刻の指定は、実時刻の形式での指定であることを特徴とする請求項１乃至１４の何れか１項に記載のメディアデータ記録装置。 The media data recording device according to any one of claims 1 to 14, wherein the designation of the playback start time of the media data is a designation in a real time format.

前記メディアデータの再生開始時刻の指定は、タイムスタンプの形式での指定であることを特徴とする請求項１乃至１４の何れか１項に記載のメディアデータ記録装置。 The media data recording device according to any one of claims 1 to 14, wherein the designation of the playback start time of the media data is specified in the form of a time stamp.

前記第２のタイムラインは、前記メディアデータのタイムスタンプに加え、タイムスタンプに対応する実時刻をタイムラインの軸に表示することを特徴とする請求項１０に記載のメディアデータ記録装置。 The media data recording device according to claim 10, wherein the second timeline displays, in addition to the time stamp of the media data, the actual time corresponding to the time stamp on the axis of the timeline.

メディアデータ記録装置が実行する情報処理方法であって、
メディアデータ送信装置からメディアデータと、前記メディアデータ送信装置の基準時刻更新処理に伴い、前記メディアデータに付加されるタイムスタンプの基準となる実時刻である基準時刻とを受信するステップと、
新たな前記基準時刻の更新処理の後に受信するメディアデータの再生時刻である実時刻が新たな前記基準時刻の更新処理の前に受信したメディアデータの再生時刻である実時刻に重複する時間帯を求め、前記メディアデータと、前記基準時刻と、重複時間帯とを記録領域に記録するステップと、
メディアデータの表示機能を備える制御装置からメディアデータ再生のためのＧＵＩに表示するタイムラインの種類の指定と、メディアデータの再生開始時刻の指定とを受信し、前記ＧＵＩと、前記受信した指定に応じた、タイムラインと、前記記録領域に記録された前記再生開始時刻から始まるメディアデータとを前記制御装置に対して送信するステップと、
を含み、
前記ＧＵＩは、前記重複時間帯が前記タイムライン上において他の時間帯と識別可能なＧＵＩであることを特徴とする情報処理方法。 An information processing method executed by a media data recording device.
A step of receiving media data from the media data transmission device and a reference time which is a reference time of a time stamp added to the media data in accordance with the reference time update process of the media data transmission device.
A time zone in which the actual time, which is the playback time of the media data received after the new reference time update process, overlaps with the actual time, which is the playback time of the media data received before the new reference time update process. A step of obtaining and recording the media data, the reference time, and the overlapping time zone in the recording area.
A control device having a media data display function receives a specification of the timeline type to be displayed on the GUI for media data reproduction and a specification of the media data reproduction start time, and the GUI and the received designation are used. A step of transmitting the corresponding timeline and the media data recorded in the recording area starting from the reproduction start time to the control device, and
Including
The GUI is an information processing method characterized in that the overlapping time zone is a GUI that can be distinguished from other time zones on the timeline.

コンピュータを、請求項１乃至１７のメディアデータ記録装置の各手段として機能させるためのプログラム。 A program for operating a computer as each means of the media data recording device according to claims 1 to 17.