JP2021078028A - Media data recording device, information processing method, and program - Google Patents
Media data recording device, information processing method, and program Download PDFInfo
- Publication number
- JP2021078028A JP2021078028A JP2019204076A JP2019204076A JP2021078028A JP 2021078028 A JP2021078028 A JP 2021078028A JP 2019204076 A JP2019204076 A JP 2019204076A JP 2019204076 A JP2019204076 A JP 2019204076A JP 2021078028 A JP2021078028 A JP 2021078028A
- Authority
- JP
- Japan
- Prior art keywords
- time
- media data
- timeline
- recording device
- overlapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、メディアデータ記録装置、情報処理方法及びプログラムに関する。 The present invention relates to a media data recording device, an information processing method and a program.
近年、ADSL及び光ファイバー網が普及し、低価格で高速なインターネット接続が利用可能となった。それにより、監視カメラがインターネットを介し、クラウドサーバーに対して映像及び音声といったメディアデータを送信する使い方が増えている。このようなメディアデータ伝送には、MPEG(Moving Picture Experts Group)−2規格が採用されることがある。MPEG−2では、監視カメラがキャプチャしたメディアデータはPES(Packetized Elementary Stream)パケットの形式で送信される。PESパケットのヘッダ部にはPTS(Presentation Time Stamp)と呼ばれるメディアデータの再生時刻が付加され、クラウドサーバーはPTSの値を以て、メディアデータを管理する。しかしながら、PTSは一般的に単調増加するメディアデータの生成時刻から算出されるため、CPUの水晶振動子の精度によって誤差が蓄積される。一方で、監視カメラのシステム時刻の一種であるUTC時刻は、インターネット上に存在するNTPサーバーによって定期的に更新される実時刻である。そのため、監視カメラが現在のPTS、及び基準時刻として現在のPTSに対応するUTC時刻をクラウドサーバーに定期的に送信し、監視カメラとクラウドサーバー間での時刻同期を行うこと(以後、基準時刻更新と呼ぶ)で、クラウドサーバーはメディアデータを正しい時刻で管理することができる。 In recent years, ADSL and optical fiber networks have become widespread, and low-cost, high-speed Internet connections have become available. As a result, surveillance cameras are increasingly used to transmit media data such as video and audio to cloud servers via the Internet. For such media data transmission, the MPEG (Moving Picture Experts Group) -2 standard may be adopted. In MPEG-2, the media data captured by the surveillance camera is transmitted in the form of a PES (Packetized Elementary Stream) packet. The playback time of media data called PTS (Presentation Time Stamp) is added to the header part of the PES packet, and the cloud server manages the media data based on the PTS value. However, since PTS is generally calculated from the generation time of media data that increases monotonically, an error is accumulated depending on the accuracy of the crystal oscillator of the CPU. On the other hand, the UTC time, which is a kind of system time of the surveillance camera, is a real time that is periodically updated by an NTP server existing on the Internet. Therefore, the surveillance camera periodically sends the current PTS and the UTC time corresponding to the current PTS as the reference time to the cloud server, and the time is synchronized between the surveillance camera and the cloud server (hereinafter, the reference time is updated). The cloud server can manage the media data at the correct time.
特許文献1では、TV会議のための画像音声通信装置において、メディアデータのライブ再生時刻にズレを生じさせないために、ユーザーのコミュニケーションを阻害しないタイミングで基準時刻の更新を実行する技術が開示されている。 Patent Document 1 discloses a technique for updating a reference time at a timing that does not interfere with user communication in order to prevent a shift in the live playback time of media data in an image / voice communication device for video conferencing. There is.
監視カメラが基準時刻更新を行った際、クラウドサーバーにて、基準時刻更新後に送信されたメディアデータのPTSから変換した再生時刻(UTC時刻)が、基準時刻更新前に送信されたメディアデータの再生時刻(UTC時刻)に重複してしまうことがある。そのような場合、クラウドサーバーからメディアデータを受信し、メディアデータの表示再生を行う制御装置では、基準時刻更新時のメディアデータ再生時に映像及び音声が飛んでしまう。また、ユーザーは制御装置に表示されるGUI(Graphical User Interface)上でメディアデータ再生時刻(UTC時刻)の重複時間帯がわからない。
しかしながら、上述の特許文献に開示された従来技術では、基準時刻更新によって発生する再生時刻(UTC時刻)の重複を考慮していない。そのため、重複時間帯のメディアデータを再生することが可能なGUIを提供しておらず、制御装置にて基準時刻更新前のメディアデータの再生ができない。
When the surveillance camera updates the reference time, the playback time (UTC time) converted from the PTS of the media data transmitted after the reference time update on the cloud server is the playback of the media data transmitted before the reference time update. It may overlap with the time (UTC time). In such a case, in the control device that receives the media data from the cloud server and displays and reproduces the media data, the video and audio are skipped when the media data is reproduced when the reference time is updated. Further, the user does not know the overlapping time zone of the media data reproduction time (UTC time) on the GUI (Graphical User Interface) displayed on the control device.
However, the prior art disclosed in the above-mentioned patent document does not consider the duplication of the reproduction time (UTC time) caused by the reference time update. Therefore, the GUI that can reproduce the media data in the overlapping time zone is not provided, and the control device cannot reproduce the media data before the reference time is updated.
そこで本発明は、クラウドサーバーにおいて、基準時刻更新によって発生するメディアデータ再生時刻である実時刻(UTC時刻)の重複時間帯を考慮し、重複時間帯をわかりやすく表現することを目的とする。 Therefore, an object of the present invention is to consider the overlapping time zone of the actual time (UTC time), which is the media data reproduction time generated by updating the reference time, in the cloud server, and to express the overlapping time zone in an easy-to-understand manner.
本発明は、メディアデータ記録装置であって、前記メディアデータ記録装置を制御する制御手段と、ネットワークを介して他の装置と通信する通信手段と、を有し、前記通信手段は、メディアデータ送信装置からメディアデータと、前記メディアデータ送信装置の基準時刻更新処理に伴い、前記メディアデータに付加されるタイムスタンプの基準となる実時刻である基準時刻とを受信し、前記制御手段は、新たな前記基準時刻の更新処理の後に受信するメディアデータの再生時刻である実時刻が新たな前記基準時刻の更新処理の前に受信したメディアデータの再生時刻である実時刻に重複する時間帯を求め、前記メディアデータと、前記基準時刻と、重複時間帯とを記録領域に記録し、前記通信手段は、メディアデータの表示機能を備える制御装置からメディアデータ再生のためのGUI(Graphical User Interface)に表示するタイムラインの種類の指定と、メディアデータの再生開始時刻の指定とを受信し、前記GUIと、前記受信した指定に応じた、タイムラインと、前記記録領域に記録された前記再生開始時刻から始まるメディアデータとを前記制御装置に対して送信し、前記GUIは、前記重複時間帯が前記タイムライン上において他の時間帯と識別可能なGUIであることを特徴とする。 The present invention is a media data recording device, which includes a control means for controlling the media data recording device and a communication means for communicating with another device via a network, and the communication means transmits media data. The media data is received from the device and the reference time, which is the actual time that is the reference of the time stamp added to the media data in accordance with the reference time update process of the media data transmission device, and the control means is new. Obtain a time zone in which the actual time, which is the playback time of the media data received after the reference time update process, overlaps with the actual time, which is the playback time of the media data received before the new reference time update process. The media data, the reference time, and the overlapping time zone are recorded in a recording area, and the communication means is displayed on a GUI (Graphical User Interface) for reproducing media data from a control device having a media data display function. From the GUI, the timeline corresponding to the received designation, and the playback start time recorded in the recording area after receiving the designation of the type of timeline to be performed and the designation of the playback start time of the media data. The starting media data is transmitted to the control device, and the GUI is characterized in that the overlapping time zone is a GUI that can be distinguished from other time zones on the timeline.
本発明によれば、提供するGUIによって、基準時刻更新によって生じたメディアデータの再生時刻である実時刻(UTC時刻)の重複時間帯がわかりやすくなる。 According to the present invention, the provided GUI makes it easy to understand the overlapping time zone of the actual time (UTC time) which is the reproduction time of the media data generated by the reference time update.
以下、本発明の実施形態について図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
<実施形態1>
図1は、情報処理システムのシステム構成の一例を示す図である。情報処理システムでは、監視カメラ1000、クラウドサーバー1100、及び制御装置1200がネットワーク1300を介して接続されている。監視カメラ1000は、少なくとも映像データ、又は音声データを含むメディアデータ(PESパケット)、及び基準時刻をクラウドサーバーに対してアップロードする。クラウドサーバー1100は、監視カメラよりアップロードされたメディアデータ(PESパケット)、及び基準時刻を記録する。また、クラウドサーバー1100は、監視カメラ1000に対し、監視カメラ1000を制御するためのコマンドを送信する。制御装置1200には、典型的にパーソナルコンピュータ及びモバイル端末等の汎用コンピュータが用いられる。制御装置1200は、クラウドサーバー1100、又はクラウドサーバー1100を介して監視カメラ1000を制御するため、クラウドサーバー1100に対して制御コマンドを送信する。また、制御装置1200は、クラウドサーバー1100から受信したメディアデータを表示する。ネットワーク1300は、ワイドエリアネットワーク、又はローカルエリアネットワークのどちらでもよい。
監視カメラ1000は、メディアデータ送信装置の一例である。クラウドサーバー1100は、メディアデータ記録装置の一例である。制御装置1200は、メディアデータの表示機能を備える制御装置の一例である。
<Embodiment 1>
FIG. 1 is a diagram showing an example of a system configuration of an information processing system. In the information processing system, the
The
図2は、クラウドサーバー、制御装置、及び監視カメラのハードウェア構成の一例を示す図である。
まず、クラウドサーバー1100の構成について説明する。
通信部1101は、監視カメラ1000から送信されたメディアデータ(PESパケット)、及び基準時刻を受信する一方で、システム制御部1103の制御により、各種コマンドを監視カメラ1000に送信する。また、通信部1101は、制御装置1200から送信された各種コマンドを受信する一方で、システム制御部1103の制御により、制御装置1200に対して表示部1201に表示するGUIデータを送信し、監視カメラ1000から受信したメディアデータ(PESパケット)のライブ配信、及び記録部1102に記録されたメディアデータ(PESパケット)の配信を行う。GUIは、Graphical User Interfaceの一例である。
FIG. 2 is a diagram showing an example of hardware configurations of a cloud server, a control device, and a surveillance camera.
First, the configuration of the
The
記録部1102は、システム制御部1103の制御により、内部ストレージ及び外部ストレージに対して、主に監視カメラ1000から受信したメディアデータ(PESパケット)を監視カメラ1000から受信した基準時刻に基づいて記録する。記録部1102の領域は、記録領域の一例である。
システム制御部1103は、通信部1101を介し、監視カメラ1000に対して各種コマンドを送信する。また、システム制御部1103は、通信部1101を介し、制御装置1200から送信された各種コマンドを受信する一方で、制御装置1200に対して表示部1201に表示するGUIデータを記録部1102から取り出して送信し、監視カメラ1000から受信したメディアデータ(PESパケット)のライブ配信、記録部1102に記録されたメディアデータ(PESパケット)の録画配信を行う。システム制御部1103がシステム制御部1103のメモリ等に記録されたプログラムに基づき処理を実行することにより後述する図3に示すクラウドサーバー1100の機能及び後述する図5、図6、図9のフローチャートの処理等が実現される。
Under the control of the
The
続いて、制御装置1200の構成について説明する。
表示部1201は、液晶表示装置等である。表示部1201には、システム制御部1205の制御により、GUI、及び映像データが表示される。
音声出力部1202は、スピーカーを有する。音声出力部1202からはシステム制御部1205の制御により、音声データが出力される。
入力部1203は、キーボード、マウス等のポインティングデバイス等が使用される。ユーザーは入力部1203を介し、表示部1201に表示されたGUIを操作することで、監視カメラ1000、及びクラウドサーバー1100に対して要求を送ることができる。
Subsequently, the configuration of the
The
The
As the
通信部1204は、クラウドサーバー1100から送信されたメディアデータ(PESパケット)、及びGUIを受信する。また、通信部1204は、システム制御部1205の制御により、ユーザーによって入力部1203より入力された各種コマンドをクラウドサーバー1100に対して送信する。
システム制御部1205は、通信部1204を介し、ユーザーによって入力部1203より入力された各種コマンドをクラウドサーバー1100に対して送信する。各種コマンドには、少なくとも監視カメラ1000に対するメディアデータ(PESパケット)アップロードの開始/停止命令、及び設定が含まれる。加えて、各種コマンドには、少なくともクラウドサーバー1100に対するメディアデータ(PESパケット)のライブ配信命令、録画配信命令、及び設定が含まれる。一方で、システム制御部1205は、表示部1201の表示を制御する。システム制御部1205は、クラウドサーバー1100から受信したPESパケットを分解し、映像データを表示したり、監視カメラ1000、及びクラウドサーバー1100を制御するためのGUIを表示したりする。また、システム制御部1205は、音声出力部1202の出力を制御する。システム制御部1205は、クラウドサーバー1100から受信したPESパケットを分解し、音声データを出力する。システム制御部1205がシステム制御部1205のメモリ等に記録されたプログラムに基づき処理を実行することにより後述する制御装置1200の機能等が実現される。システム制御部1205がシステム制御部1205のメモリ等に記録されているプログラムに基づき処理を実行することにより、制御装置1200の機能が実現される。
The
The
続いて、監視カメラ1000の構成について説明する。
撮像部1001は、レンズ(撮像光学系)及び撮像素子を有する。撮像素子は、レンズを介して形成された被写体の像(光学像)を光電変換して画像信号を生成する。
画像処理部1002は、撮像部1001から出力された画像信号に対して所定の画像処理及び圧縮符号化処理を行い、映像データ(画像データ)を生成する。
音声入力部1003は、マイクロフォン等の音声入力部を有する。マイクロフォンは、音から光電変換した音声信号を生成する。
音声処理部1004は、音声入力部1003から入力された音声信号に対して所定の音声処理及び圧縮符号化処理を行い、音声データを生成する。
Subsequently, the configuration of the
The
The
The
The
システム制御部1005は、主に、画像処理部1002、及び音声処理部1004で圧縮符号化されたメディアデータをPESパケット化する。加えて、システム制御部1005は、メディアデータの生成時刻(モノトニックタイム)からPTSを算出し、PESパケットのヘッダに付加する。ここで、モノトニックタイムとは監視カメラ1000の起動時を0として単調増加し、CPUの水晶振動子の精度によっては誤差が生じる時刻である。CPUは、システム制御部1005に含まれている。PTSは、Presentation Time Stampの略である。また、システム制御部1005は、PTSの基準時刻として、システムから現在のUTC時刻を取得する。ここで、UTC時刻とは1970年1月1日午前0時0分0秒を0として増加し、監視カメラ1000の外部にあるNTPサーバー等によって定期的に時刻合わせされる実時刻である。また、システム制御部1005は、通信部1007を介してクラウドサーバー1100より受信した各種コマンド(制御命令)を解析し、コマンドに応じて画像処理部1002、音声処理部1004、記録部1006、及び通信部1007に対する制御を行う。システム制御部1005がシステム制御部1005のメモリ等に記録されているプログラムに基づき処理を実行することにより監視カメラ1000の機能が実現される。
The
記録部1006は、システム制御部1005の制御により、内部ストレージ及び外部ストレージに対して、少なくともメディアデータの一部、及び監視カメラ1000のシステムログを対象として記録を行う。
通信部1007は、システム制御部1005の制御により、PESパケット、及び基準時刻をクラウドサーバーにアップロードする。また、クラウドサーバー1100より各種コマンドを受信する。各種コマンドには、少なくとも監視カメラ1000に対するメディアデータ(PESパケット)アップロードの開始/停止命令、及び設定が含まれる。
Under the control of the
The
図3は、クラウドサーバー1100の機能構成の一例を示す図である。図3に示すように、クラウドサーバー1100は、機能構成として、制御部301と、通信部302と、を含む。制御部301は、クラウドサーバー1100の全体を制御する。通信部302は、ネットワーク1300を介した監視カメラ1000、制御装置1200等との通信を制御する。
FIG. 3 is a diagram showing an example of the functional configuration of the
図4を参照して、監視カメラ1000からクラウドサーバー1100へのメディアデータ(PESパケット)のアップロードシーケンスについて説明する。
S2000において、監視カメラ1000は、クラウドサーバー1100にてメディアデータ(PESパケット)を正しい時刻で管理するため、基準時刻初期化を行うことで、監視カメラ1000とクラウドサーバー1100との間での時刻を同期する。基準時刻初期化処理では、監視カメラ1000のシステム制御部1005は、まず監視カメラ1000のシステムの現在のUTC時刻Uと現在のモノトニックタイムMを取得し、記録部1006に記録する。ここで、U、及びMの単位は、マイクロ秒である。次に、システム制御部1005は、取得したモノトニックタイムMを用い、以下の式(1)を用いてPTS値Pを算出する。PTS値はタイムスタンプ値の一例である。
P=90000×M/1000000 ・・・ 式(1)
The upload sequence of media data (PES packets) from the
In S2000, the
P = 90000 × M / 1000000 ・ ・ ・ Equation (1)
そして、システム制御部1005は、クラウドサーバー1100に対し、PTS値PとPに対応するUTC時刻Uをアップロードする。クラウドサーバー1100は、アップロードされたUTC時刻Uとそれに対応するPTS値Pを基準時刻として、アップロードされるメディアデータ(PESパケット)を管理する。また、PTSはクロック周波数をタイムベースとする。ここでは例として90000Hz、即ち1秒あたりのPTSを90000として算出される。
Then, the
基準時刻初期化後、S2001において、監視カメラ1000は、メディアデータ(PESパケット)のアップロードを開始する。システム制御部1005は、画像処理部1002、及び音声処理部1004で圧縮符号化されたメディアデータをPESパケット化する。また、システム制御部1005は、メディアデータの生成時刻(モノトニックタイムM1)から式(1)を用いてPTS値P1を算出し、PESパケットのヘッダに付加する。ここで、M1の単位はマイクロ秒である。そして、システム制御部1005は、クラウドサーバー1100に対し、PESパケットをアップロードする。以降、PESパケットのアップロードは、画像処理部1002、及び音声処理部1004にて、メディアデータが生成された順に順次行われる。
After the reference time is initialized, in S2001, the
S2002において、クラウドサーバー1100にてメディアデータ(PESパケット)を正しい時刻で管理するため、システム制御部1005は、基準時刻更新処理を行うことで、監視カメラ1000とクラウドサーバー1100間での時刻を同期する。基準時刻更新の条件は、以下の式(3)となる。
d=(Un−Uold)−(Mn−Mold) ・・・ 式(2)
|d|>T ・・・ 式(3)
なお、式(2)において、Uold、及びMoldは、S2000における基準時刻初期化処理、又は前回の基準時刻更新処理で取得したUTC時刻、及びモノトニックタイムである。また、Un、及びMnは、S2002における基準時刻更新直前に画像処理部1002、及び音声処理部1004より生成されたn番目のメディアデータの生成時刻(UTC時刻、及びモノトニックタイム)である。ここで、Uold、Un、Mold、及びMnの単位は、マイクロ秒である。定期的にNTPサーバーによって時刻修正され、正しい時刻が保証されるUnとは異なり、MnにはCPUの水晶振動子の精度によって誤差が蓄積されているため、Mnは実際よりも早く進んだり、遅く進んだりする。そのため、dはS2000における基準時刻初期化処理、又は前回の基準時刻更新処理からメディアデータの生成時刻(モノトニックタイムMn)にどの程度の時刻誤差が生じたかを表す値となる。式(3)において、Tは基準時刻更新の条件となる時刻誤差の閾値であり、0.5秒といった固定値が設定される。
In S2002, in order to manage the media data (PES packets) at the correct time on the
d = (U n -U old) - (M n -M old) ··· Equation (2)
| D |> T ... Equation (3)
In the equation (2), U old and M old are the UTC time and the monotonic time acquired in the reference time initialization process in S2000 or the previous reference time update process. Also, U n, and M n is the reference time update just before generated from the
式(3)を満たした場合、基準時刻更新処理では、システム制御部1005は、監視カメラ1000のシステムの現在のUTC時刻Unewと現在のモノトニックタイムMnewを取得する。ここで、Unew、及びMnewの単位は、マイクロ秒である。次に、システム制御部1005は、式(1)を用い、モノトニックタイムMnewからPTS値Pnewを算出する。そして、システム制御部1005は、クラウドサーバー1100に対し、PTS値PnewとPnewに対応するUTC時刻Unewをアップロードする。クラウドサーバー1100では、アップロードされたUTC時刻Unewとそれに対応するPTS値Pnewを基準時刻として、アップロードされるメディアデータ(PESパケット)を管理する。
When the equation (3) is satisfied, in the reference time update process, the
ここで、式(2)で求められるメディアデータの生成時刻(モノトニックタイムMn)にどの程度の時刻誤差が生じたかを表す値dが負の値である場合、基準時刻更新前にクラウドサーバー1100にアップロードしたメディアデータ(PESパケット)のPTSが誤差によって実時刻よりも進んでいる。そのため、クラウドサーバー1100にて、基準時刻更新後にアップロードされたメディアデータのPTSを再生時刻(UTC時刻)に変換すると、基準時刻更新前にアップロードされたメディアデータの再生時刻(UTC時刻)と重複してしまう。その結果、制御装置1200にて基準時刻更新前のメディアデータが再生できなくなる恐れがある。
Here, if the value d indicating how much time error has occurred in the media data generation time (monotonic time M n ) obtained by the equation (2) is a negative value, the cloud server before updating the reference time. The PTS of the media data (PES packet) uploaded to 1100 is ahead of the actual time due to an error. Therefore, when the PTS of the media data uploaded after the reference time is updated is converted to the playback time (UTC time) on the
以下、クラウドサーバー1100において、基準時刻更新によって発生するメディアデータの再生時刻(UTC時刻)の重複時間帯を考慮し、重複時間帯のメディアデータでも違和感なく再生可能とする方法について、図5から図9までを用いて説明する。
図5は、クラウドサーバー1100におけるメディアデータ記録処理の一例を示すフローチャートである。
S3000において、通信部302は、監視カメラ1000との通信接続の確立を確認する。通信部302は、監視カメラ1000との通信接続が確立済みの場合、処理をS3001へ進め、通信接続が確立されていない場合、処理を終了する。
Hereinafter, in the
FIG. 5 is a flowchart showing an example of media data recording processing in the
In S3000, the
クラウドサーバー1100は、監視カメラ1000よりメディアデータ(PESパケット)を受信し、記録部1102に記録する前に、予め監視カメラ1000より基準時刻を受信し、保持しておく必要がある。そこで、S3001において、通信部302は、メディアデータ記録の初回処理として、監視カメラ1000より、基準時刻としてUTC時刻Uとそれに対応するPTS値Pを受信済みであるかどうかを確認する。通信部302は、基準時刻を受信済みである場合、処理をS3003へ進め、受信済みでない場合、S3001で処理を待機する。なお、監視カメラ1000より一定時間基準時刻を受信できない場合、通信部302は、監視カメラ1000に対し、基準時刻を再要求してもよい。
The
S3002において、通信部302は、監視カメラ1000から基準時刻の更新が実行され、基準時刻としてUTC時刻Uとそれに対応するPTS値Pを受信したかどうかを確認する。通信部302は、更新された基準時刻を受信した場合、処理をS3003へ進め、更新された基準時刻を受信しなかった場合、処理をS3005のメディアデータ(PESパケット)の受信確認へ進める。
S3003において、制御部301は、基準時刻であるUTC時刻Uとそれに対応するPTS値Pを記録部1102に記録する。
S3004において、制御部301は、監視カメラ1000より新たに受信した基準時刻によって、メディアデータ(PESパケット)のPTS値から変換した再生時刻(UTC時刻)に重複が発生するかどうかを判定する。なお、再生時刻の重複判定処理については、図6におけるフローチャートにて詳述する。
In S3002, the
In S3003, the
In S3004, the
S3005において、通信部302は、監視カメラ1000よりメディアデータ(PESパケット)を受信したかどうかを確認する。通信部302は、メディアデータ(PESパケット)を受信した場合、処理をS3006へ進め、受信していない場合、処理をS3007へ進める。
S3006において、制御部301は、受信されたメディアデータ(PESパケット)を記録部1102に記録する。
S3007において、通信部302は、監視カメラ1000との通信接続が切断されたかどうかの確認を行う。通信部302は、通信接続が切断されていない場合、処理をS3001へ進め、通信接続が切断された場合、処理を終了する。
In S3005, the
In S3006, the
In S3007, the
図6は、クラウドサーバー1100におけるメディアデータ再生時刻(UTC時刻)の重複判定処理の一例を示すフローチャートである。
S4000において、制御部301は、以下の式(4)、(5)を用い、現在の基準時刻を新たに受信した基準時刻に更新することによって、基準時刻更新前に受信したメディアデータ(PESパケット)の再生時刻(UTC時刻)に、基準時刻更新後に受信したメディアデータ(PESパケット)の再生時刻(UTC時刻)が重複するかどうかの判定を行う。
d=(Unew−Uold)−(Pnew−Pold)/90000×1000000 ・・・ 式(4)
d<0 ・・・ 式(5)
なお、式(4)において、Uoldは現在の基準時刻であるUTC時刻である。PoldはUoldに対応するPTS値である。Unewは新たな基準時刻であるUTC時刻である。PnewはUnewに対応するPTS値である。dは基準時刻更新によって修正される時間である。ここで、Unew、Uold、及びdの単位はマイクロ秒である。
FIG. 6 is a flowchart showing an example of the duplication determination process of the media data reproduction time (UTC time) in the
In S4000, the
d = (U new −U old ) − (P new −P old ) / 90000 × 1000000 ・ ・ ・ Equation (4)
d <0 ・ ・ ・ Equation (5)
In equation (4), U old is the UTC time, which is the current reference time. P old is a PTS value corresponding to U old. U new is the UTC time, which is the new reference time. P new is a PTS value corresponding to U new. d is the time corrected by updating the reference time. Here, the units of U new , U old , and d are microseconds.
式(5)を満たす場合、制御部301は、基準時刻更新前に受信したメディアデータ(PESパケット)の再生時刻(UTC時刻)に、基準時刻更新後に受信したメディアデータの再生時刻(UTC時刻)が重複すると判定し、処理をS4001へ進める。ここで、式(5)を満たすとき、|d|の値がメディアデータの再生時刻(UTC時刻)の重複時間となる。式(5)を満たさない場合、制御部301は、基準時刻更新前に受信したメディアデータ(PESパケット)の再生時刻(UTC時刻)に、基準時刻更新後に受信したメディアデータの再生時刻(UTC時刻)が重複しないと判定し、処理を終了する。
When the equation (5) is satisfied, the
S4001において、制御部301は、以下の式(6)、(7)を用い、メディアデータの再生時刻の重複開始時刻(UTC時刻)Us、及び重複終了時刻(UTC時刻)Ueを算出する。
Us=Unew ・・・ 式(6)
Ue=Unew+|d| ・・・ 式(7)
なお、式(6)、(7)において、Unewは監視カメラ1000より受信した新たな基準時刻となるUTC時刻である。
制御部301は、算出したUs、及びUeの値を記録部1102に記録する。
In S4001, the
Us = U new・ ・ ・ Equation (6)
U e = U new + | d | ・ ・ ・ Equation (7)
In the equations (6) and (7), U new is the UTC time which is the new reference time received from the
S4002において、制御部301は、以下の式(8)、(9)を用い、メディアデータの再生時刻(UTC時刻)の重複開始時のPTS値Ps、及び重複終了時のPTS値Peを算出する。
Ps=Pnew−|d|×90000/1000000 ・・・ 式(8)
Pe=Pnew+|d|×90000/1000000 ・・・ 式(9)
なお、式(8)、式(9)において、Pnewは新たな基準時刻Unewに対応するPTS値であり、|d|は式(4)で求めたメディアデータの再生時刻(UTC時刻)の重複時間である。
制御部301は算出したPs、及びPeの値を記録部1102に記録する。
In S4002, the
P s = P new − | d | × 90000/1000000 ・ ・ ・ Equation (8)
P e = P new + | d | × 90000/1000000 ・ ・ ・ Equation (9)
In the equations (8) and (9), P new is the PTS value corresponding to the new reference time U new, and | d | is the playback time (UTC time) of the media data obtained by the equation (4). Overlapping time.
The
図7は、クラウドサーバー1100が記録部1102に記録するメディアデータ(PESパケット)の再生時刻(UTC時刻)の重複をタイムラインで示した図である。
図7において、時間軸5000はUTC時刻で表される時間軸である。タイミング5001は監視カメラ1000が基準時刻更新処理を行ったタイミングである。タイムライン5002は基準時刻更新前にアップロードしたメディアデータ(PESパケット)のPTSを更新前の基準時刻Uoldを用いてUTC時刻に変換したタイムラインである。タイムライン5003は基準時刻更新後にアップロードしたメディアデータ(PESパケット)のPTSを更新後の基準時刻Unewを用いてUTC時刻に変換したタイムラインである。重複時間帯5004は基準時刻更新前と基準時刻更新後にアップロードしたメディアデータ(PESパケット)の再生時刻(UTC時刻)の重複時間帯である。
FIG. 7 is a diagram showing the duplication of the reproduction time (UTC time) of the media data (PES packet) recorded in the
In FIG. 7, the
図7では、タイミング5001に示すタイミングで行われた基準時刻更新処理によって、メディアデータ(PESパケット)のPTSの基準時刻であるUTC時刻がUoldからUnewに更新されている。それに伴い、重複時間帯5004に示す時間帯で基準時刻更新前と基準時刻更新後にアップロードしたメディアデータ(PESパケット)のPTSから変換した再生時刻(UTC時刻)に重複が発生している。なお、時刻更新処理を行ったタイミング5001のUTC時刻は、式(4)における基準時刻Unewと一致する。また、再生時刻の重複時間帯5004は、式(4)における|d|の値と一致する。
In FIG. 7, the UTC time, which is the reference time of the PTS of the media data (PES packet), is updated from U old to U new by the reference time update process performed at the timing shown in the timing 5001. Along with this, duplication occurs in the reproduction time (UTC time) converted from the PTS of the media data (PES packet) uploaded before the reference time update and after the reference time update in the time zone shown in the
図8を参照して、本実施形態に係る制御装置1200が表示するメディアデータ再生のためのGUI、及びタイムラインの種類について説明する。
図8Aにおいて、GUI6000はGUIである。映像表示画面6001は映像表示画面である。切り替えボタン6002はPTS軸表示のタイムラインへの切り替えボタンである。切り替えボタン6003は実時刻軸表示のタイムラインへの切り替えボタンである。重複時間帯6004はメディアデータの再生時刻(UTC時刻)の重複時間帯である。シークバー6005は再生中の時刻位置を示すシークバーである。図8Aのタイムライン6006、図8Bのタイムライン6007、及び図8Cのタイムライン6008は何れも実時刻軸表示のタイムラインである。また、図8Dのタイムライン6009はPTS軸表示のタイムラインである。
With reference to FIG. 8, a GUI for reproducing media data displayed by the
In FIG. 8A,
ここで、図8Aのタイムライン6006は時刻軸にUTC時刻といった実時刻を用いたタイムラインであり、基準時刻更新によって生じたメディアデータ再生時刻(UTC時刻)の重複時間帯6004がタイムライン上にカラー表示されている。なお、カラー表示はタイムラインの色とは異なる色、蛍光色といった色を用いて強調表示される。なお、強調表示という語句を用いて、以下の説明を行うが、強調表示とは、少なくともタイムライン上の他の時間帯(区間)と重複時間帯6004とが識別可能な表示であればよい。少なくとも重複時間帯6004が他の時間帯と識別可能となっていれば、基準時刻更新によって発生するメディアデータ再生時刻である実時刻(UTC時刻)の重複時間帯を考慮して、重複時間帯をわかりやすく表現することができる。図8Bのタイムライン6007は図8Aのタイムライン6006と同様、時刻軸に実時刻を用いたタイムラインである。タイムライン6007では基準軸更新前と基準時刻更新後の2本のタイムラインを用い、メディアデータ再生時刻(UTC時刻)の重複時間帯6004が表されている。なお、2本のタイムラインは平行線であることが特徴であり、基準時刻更新によって生じる重複時間帯6004は2本のタイムライン上にカラー表示で表現されてもよい。また、2本のタイムラインは図8Bのタイムライン6007とは異なり、途中で途切れない表現であってもよい。図8Cのタイムライン6008は図8Aのタイムライン6006と同様、時刻軸に実時刻を用いたタイムラインであり、フェードイン・フェードアウトの表現を用い、メディアデータ再生時刻(UTC時刻)の重複時間帯6004が表わされている。図8Dのタイムライン6009は時刻軸にPTS値を用いたタイムラインのことであり、基準時刻更新によって生じたメディアデータ再生時刻(UTC時刻)の重複時間帯6004がタイムライン上にカラー表示されている。また、図8Dのタイムライン6009には時刻軸にはPTS値に加え、PTS値に対応するUTC時刻を時刻軸に表示してもよい。また、重複時間帯6004に対応する実時刻の表記、及びPTS値の表記は、重複時間帯外と異なる色で表記されたり、強調表示されたりしてもよい。
Here, the
メディアデータの視聴開始時、制御装置1200はクラウドサーバー1100から図8AのGUI6000、図8Aの映像表示画面6001に表示するメディアデータ、及び図8Aのタイムライン6006、図8Bのタイムライン6007、又は図8Cのタイムライン6008の何れかの実時刻軸表示のタイムラインを受信し、表示部1201に表示する。
ユーザーはタイムライン上のシークバー6005を操作することで、指定再生時刻のメディアデータを再生することができる。また、ユーザーはPTS表示のタイムラインへの切り替えボタン6002、実時刻軸表示のタイムラインへの切り替えボタン6003をクリックすることで、タイムラインの種類を切り替えることができる。
At the start of viewing the media data, the
The user can reproduce the media data at the specified reproduction time by operating the seek
ここで、制御装置1200は、メディアデータをPTS値に従って連続再生する。つまり、PTS値で規定される順番で連続的に再生する。そのため、実時刻軸表示のタイムラインでは、重複時間帯6004の再生時、シークバー6005は基準時刻更新前と基準時刻更新後のメディアデータを再生するため、重複時間帯6004上を二度進むように動作する。これにより、実時刻軸表示のタイムライン、PTS軸表示のタイムラインの何れでも、再生時刻(UTC時刻)の重複時間帯6004のメディアデータを連続再生可能とすることができる。
Here, the
図9は、本実施形態に係るクラウドサーバー1100から制御装置1200へのGUI、及びメディアデータ配信処理のフローチャートである。
S7000において、通信部302は、制御装置1200と通信セッションが確立されているかどうかの確認を行う。通信部302は、通信セッションが確立されている場合、処理をS7001へ進め、通信セッションが確立されていない場合、処理を終了する。
S7001において、通信部302は、GUI6000、及びデフォルトのタイムラインとして、実時刻軸表示のタイムライン6006を制御装置1200へ送信する。
FIG. 9 is a flowchart of the GUI and media data distribution processing from the
In S7000, the
In S7001, the
S7002において、制御部301は、式(6)、(7)、(8)、(9)で求めたメディアデータ再生時刻の重複開始時刻、及び重複終了時刻を参照し、送信するメディアデータの再生時刻(UTC時刻)に重複がある場合、処理をS7003へ進める。重複がない場合、処理をS7004へ進める。
S7003において、制御部301は、GUI6000上に表示するタイムライン上に重複時間帯6004を表現する。なお、再生時刻重複の表現には、少なくともタイムラインとは異なる色や蛍光色を用いたカラー表示による表現、基準時刻更新前と基準時刻更新後の2本のタイムラインを用いた表現、フェードイン・フェードアウトを用いた表現、二重螺旋を用いた表現等が挙げられる。また、タイムラインにおいて、重複時間帯6004に対応する実時刻の表記、及びPTS値の表記は、重複時間帯外と異なる色で表記したり、強調表示したりする。
In S7002, the
In S7003, the
S7004において、通信部302は、制御装置1200よりタイムライン種類の切り替え要求を受信したかどうかを確認する。通信部302は、タイムライン種類の切り替え要求を受信した場合、処理をS7005へ進め、受信していない場合、処理をS7006へ進める。ここで、タイムラインの種類には、少なくとも実時刻軸表示のタイムラインと、PTS軸表示のタイムラインがある。
S7005において、通信部302は、制御装置1200より指定された種類のタイムラインデータを制御装置1200に送信する。
In S7004, the
In S7005, the
S7006において、通信部302は、制御装置1200よりメディアデータの再生時刻の指定を受信したかどうかを確認する。通信部302は、メディアデータの再生時刻の指定を受信した場合、処理をS7007へ進め、受信していない場合、処理をS7009へ進める。なお、制御装置1200から受信するメディアデータ再生時刻の指定形式は、UTC時刻といった実時刻の形式でも、PTS値の形式でもよい。
S7007において、制御部301は、制御装置1200に対してメディアデータを送信するため、制御装置1200より指定された再生時刻のメディアデータを、記録部1102からシークして取り出す。指定された再生時刻は、再生開始時刻の一例である。
In S7006, the
In S7007, in order to transmit the media data to the
S7008において、通信部302は、記録部1102から取り出した指定再生時刻のメディアデータより、指定再生時刻からのタイムラインデータを作成し、制御装置1200に対して送信する。
S7009において、通信部302は、前回のタイムラインデータの送信時刻から一定時間が経過したかどうかを確認する。通信部302は、前回のタイムラインデータの送信時刻から一定時間が経過した場合、処理をS7010へ進め、経過していない場合、処理をS7011へ進める。
In S7008, the
In S7009, the
S7010において、通信部302は、新たなタイムラインデータを制御装置1200に対して送信する。
S7011において、通信部302は、メディアデータを制御装置1200に対して送信する。
S7012において、通信部302は、制御装置1200と通信セッションが切断されたかどうかの確認を行う。通信部302は、通信セッションが切断されていない場合、処理をS7002へ進め、通信セッションが切断された場合、処理を終了する。
In S7010, the
In S7011, the
In S7012, the
以上、説明したように、実施形態1では、クラウドサーバー1100において、基準時刻更新によって発生するメディアデータ再生時刻(UTC時刻)の重複時間帯を考慮し、再生時刻(UTC時刻)が重複したメディアデータでも再生可能なGUIを提供することにより、ユーザーが再生時刻(UTC時刻)重複時間帯のメディアデータを再生できることを保証する。また、GUI6000に表示されるメディアデータのタイムライン上に、重複時間帯を視認可能な形式で表現することにより、ユーザーは基準時刻更新によって生じた再生時刻(UTC時刻)の重複時間帯がわかりやすくなる。
As described above, in the first embodiment, the
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
<Other Embodiments>
The present invention supplies a system or apparatus via a network or recording medium a program that realizes one or more of the functions of the above-described embodiment. It can also be realized by a process in which one or more processors in the computer of the system or apparatus reads and executes a program. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。
例えば、実施形態1では、監視カメラ1000がクラウドサーバー1100にアップロードするメディアデータの形式をMPEG−2規格におけるPESパケットの形式としたが、MPEG−2規格、及びPESパケットの形式に限定されるものではない。また、実施形態1では、メディアデータに付加されるタイムスタンプの形式としてPTSを用いたが、PTS以外のタイムスタンプを用いてもよい。また、実施形態1では、基準時刻としてUTC時刻を用いたが、NTPサーバーによって時刻同期されるUTC時刻以外の実時刻を用いてもよい。また、実施形態1では、クラウドサーバー1100が制御装置1200に対して送信するタイムラインの種類として、実時刻軸表示のタイムライン、PTS軸表示のタイムラインの2種類のタイムラインデータを送信したが、タイムラインの種類には上述した2種類のタイムラインデータに限定されるものではない。
Although an example of the embodiment of the present invention has been described in detail above, the present invention is not limited to the specific embodiment.
For example, in the first embodiment, the format of the media data uploaded by the
以上、上述した各実施形態によれば、提供するGUIによって、基準時刻更新によって生じたメディアデータの再生時刻である実時刻(UTC時刻)の重複時間帯がわかりやすくなることに加え、重複時間帯のメディアデータでも連続して再生可能となる。 As described above, according to each of the above-described embodiments, the provided GUI makes it easy to understand the overlapping time zone of the actual time (UTC time) which is the playback time of the media data generated by the reference time update, and also the overlapping time zone. The media data of is also playable continuously.
1000 監視カメラ
1100 クラウドサーバー
1103 システム制御部
1200 制御装置
1000
Claims (19)
前記メディアデータ記録装置を制御する制御手段と、
ネットワークを介して他の装置と通信する通信手段と、
を有し、
前記通信手段は、メディアデータ送信装置からメディアデータと、前記メディアデータ送信装置の基準時刻更新処理に伴い、前記メディアデータに付加されるタイムスタンプの基準となる実時刻である基準時刻とを受信し、
前記制御手段は、新たな前記基準時刻の更新処理の後に受信するメディアデータの再生時刻である実時刻が新たな前記基準時刻の更新処理の前に受信したメディアデータの再生時刻である実時刻に重複する時間帯を求め、前記メディアデータと、前記基準時刻と、重複時間帯とを記録領域に記録し、
前記通信手段は、メディアデータの表示機能を備える制御装置からメディアデータ再生のためのGUI(Graphical User Interface)に表示するタイムラインの種類の指定と、メディアデータの再生開始時刻の指定とを受信し、前記GUIと、前記受信した指定に応じた、タイムラインと、前記記録領域に記録された前記再生開始時刻から始まるメディアデータとを前記制御装置に対して送信し、
前記GUIは、前記重複時間帯が前記タイムライン上において他の時間帯と識別可能なGUIであることを特徴とするメディアデータ記録装置。 It is a media data recording device
A control means for controlling the media data recording device and
A means of communication that communicates with other devices over a network,
Have,
The communication means receives media data from the media data transmission device and a reference time which is a reference time of a time stamp added to the media data in accordance with the reference time update process of the media data transmission device. ,
The control means sets the actual time, which is the reproduction time of the media data received after the new update process of the reference time, to the actual time, which is the reproduction time of the media data received before the update process of the new reference time. The overlapping time zone is obtained, and the media data, the reference time, and the overlapping time zone are recorded in the recording area.
The communication means receives from a control device having a media data display function a specification of a timeline type to be displayed on a GUI (Graphical User Interface) for media data reproduction and a specification of a media data reproduction start time. , The GUI, the timeline according to the received designation, and the media data recorded in the recording area starting from the playback start time are transmitted to the control device.
The GUI is a media data recording device, wherein the overlapping time zone is a GUI that can be distinguished from other time zones on the timeline.
メディアデータ送信装置からメディアデータと、前記メディアデータ送信装置の基準時刻更新処理に伴い、前記メディアデータに付加されるタイムスタンプの基準となる実時刻である基準時刻とを受信するステップと、
新たな前記基準時刻の更新処理の後に受信するメディアデータの再生時刻である実時刻が新たな前記基準時刻の更新処理の前に受信したメディアデータの再生時刻である実時刻に重複する時間帯を求め、前記メディアデータと、前記基準時刻と、重複時間帯とを記録領域に記録するステップと、
メディアデータの表示機能を備える制御装置からメディアデータ再生のためのGUIに表示するタイムラインの種類の指定と、メディアデータの再生開始時刻の指定とを受信し、前記GUIと、前記受信した指定に応じた、タイムラインと、前記記録領域に記録された前記再生開始時刻から始まるメディアデータとを前記制御装置に対して送信するステップと、
を含み、
前記GUIは、前記重複時間帯が前記タイムライン上において他の時間帯と識別可能なGUIであることを特徴とする情報処理方法。 An information processing method executed by a media data recording device.
A step of receiving media data from the media data transmission device and a reference time which is a reference time of a time stamp added to the media data in accordance with the reference time update process of the media data transmission device.
A time zone in which the actual time, which is the playback time of the media data received after the new reference time update process, overlaps with the actual time, which is the playback time of the media data received before the new reference time update process. A step of obtaining and recording the media data, the reference time, and the overlapping time zone in the recording area.
A control device having a media data display function receives a specification of the timeline type to be displayed on the GUI for media data reproduction and a specification of the media data reproduction start time, and the GUI and the received designation are used. A step of transmitting the corresponding timeline and the media data recorded in the recording area starting from the reproduction start time to the control device, and
Including
The GUI is an information processing method characterized in that the overlapping time zone is a GUI that can be distinguished from other time zones on the timeline.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019204076A JP2021078028A (en) | 2019-11-11 | 2019-11-11 | Media data recording device, information processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019204076A JP2021078028A (en) | 2019-11-11 | 2019-11-11 | Media data recording device, information processing method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021078028A true JP2021078028A (en) | 2021-05-20 |
Family
ID=75898486
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019204076A Pending JP2021078028A (en) | 2019-11-11 | 2019-11-11 | Media data recording device, information processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021078028A (en) |
-
2019
- 2019-11-11 JP JP2019204076A patent/JP2021078028A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10123070B2 (en) | Method and system for central utilization of remotely generated large media data streams despite network bandwidth limitations | |
JP2005512467A (en) | Apparatus and method for synchronizing display from a bit stream based on the contents of the bit stream | |
JP5879169B2 (en) | Subtitle synchronized playback apparatus and program thereof | |
US20130166769A1 (en) | Receiving device, screen frame transmission system and method | |
CN114189696A (en) | Video playing method and device | |
JP5707642B2 (en) | Method and apparatus for correcting synchronization error of audio signal and video signal | |
KR20170070111A (en) | Device for Generating a Video Output Data Stream, Video Source, Video System and Method for Generating a Video Output Data Stream or a Video Source Data Stream | |
JP6987567B2 (en) | Distribution device, receiver and program | |
JP2012156587A (en) | Video recording device | |
JP2021078028A (en) | Media data recording device, information processing method, and program | |
JP5740418B2 (en) | Synchronous video playback system | |
KR101957282B1 (en) | Device and method for controlling moving picture | |
JP2013055590A (en) | Imaging device and imaging method | |
JP2020005063A (en) | Processing device and control method thereof, output device, synchronization control system, and program | |
WO2018173312A1 (en) | Virtual reality viewing system, reproduction synchronizing method, and virtual reality viewing program | |
JP5283433B2 (en) | Digital still camera, image processing method and program | |
JP5471328B2 (en) | Moving picture playback apparatus, moving picture playback method, and program | |
US20100129049A1 (en) | Editing apparatus, control method of the editing apparatus, and image pickup apparatus | |
WO2021049048A1 (en) | Video-image providing system and program | |
JP2005328280A (en) | Data processor | |
WO2020174994A1 (en) | Camera video transmission/playback system, and camera and viewer configuring same | |
JP2006279294A (en) | Content reproduction system, content reproduction method, and computer program | |
WO2022269723A1 (en) | Communication system that performs synchronous control, synchronous control method therefor, reception server, and synchronous control program | |
JP2019211638A (en) | Processing device, output device, synchronization control system, and these control methods, as well as programs | |
JP2002223264A (en) | Cooperative processing method |