JP6279146B2 - データ処理装置及びデータ処理方法及びデータ処理プログラム - Google Patents

データ処理装置及びデータ処理方法及びデータ処理プログラム Download PDF

Info

Publication number
JP6279146B2
JP6279146B2 JP2017503298A JP2017503298A JP6279146B2 JP 6279146 B2 JP6279146 B2 JP 6279146B2 JP 2017503298 A JP2017503298 A JP 2017503298A JP 2017503298 A JP2017503298 A JP 2017503298A JP 6279146 B2 JP6279146 B2 JP 6279146B2
Authority
JP
Japan
Prior art keywords
frame data
time
read
data
reception
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017503298A
Other languages
English (en)
Other versions
JPWO2016139808A1 (ja
Inventor
隆宏 平松
隆宏 平松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2016139808A1 publication Critical patent/JPWO2016139808A1/ja
Application granted granted Critical
Publication of JP6279146B2 publication Critical patent/JP6279146B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4344—Remultiplexing of multiplex streams, e.g. by modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、映像データの読出し時刻を制御する技術に関する。
監視カメラが、ＲＦＣ（Ｒｅｑｕｅｓｔ ｆｏｒ Ｃｏｍｍｅｎｔｓ）３５５０で定義されるＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）プロトコルを用いて映像データをレコーダに送信する場合を想定する。
この場合に、レコーダでは、ＲＴＣＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）パケットのＳＲ（Ｓｅｎｄｅｒ Ｒｅｐｏｒｔ）を用いて、ＲＴＰヘッダに含まれるタイムスタンプと、監視カメラが持つＮＴＰ（Ｎｅｔｗｏｒｋ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）タイムスタンプとを同期させることが行われる。
上記の方式で映像データを送信する監視カメラが時刻バックアップ用の電池を持たない場合は、監視カメラは電源断時に正しい時刻を保持することができない。
このため、監視カメラは電源断があった場合には、電源投入後にＮＴＰプロトコルなどを用いて外部から時刻を取得することとなる。
しかしながら、監視カメラが時刻を取得できるまでに所定の時間を要する。
監視カメラが外部から時刻を取得できるまでの間も監視カメラが撮像を行い、撮像された映像データをレコーダに送信する場合は、時刻を取得するまでの間、ＲＴＣＰのＳＲによってＲＴＰタイムスタンプに対応付けられるＮＴＰタイムスタンプは誤った値となる。
このため、レコーダは、誤ったＮＴＰタイムスタンプで映像データを記録することになり、映像データを再配信する際などに誤ったタイミングで映像データを再配信することとなる。
この問題を回避するためには、ＲＴＣＰを用いずに、レコーダで各フレームの映像データの受信時刻を記録しておき、記録した受信時刻を映像データを再配信する際のタイミング情報として用いることも考えられる。
しかし、Ｈ．２６４のような予測符号化方式ではＩ（Ｉｎｔｒａ−ｃｏｄｅｄ）フレームデータのサイズが他の種類のフレームデータのサイズより大きい。
このため、監視カメラとレコーダ間の帯域などの要因により、Ｉフレームデータの送信は他の種類のフレームデータの送信よりも時間がかる。
この結果、Ｉフレームデータの直前のフレームデータとＩフレームデータとの間の受信間隔及びＩフレームデータとＩフレームデータの直後のフレームデータとの間の受信間隔が撮像時のフレーム間隔よりも長くなり、Ｉフレームデータ及びＩフレームデータに後続するフレームデータにずれが生じる場合がある。
このずれは、Ｉフレームデータの受信ごとに加算されていく。
そして、フレームデータの受信時刻に従って例えば再配信のためにフレームデータを読み出すと、Ｉフレームデータの度に、読出しタイミングが撮像タイミングとずれていく。
特許文献１には、ＲＴＰによりＭＰＥＧ２−ＴＳ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ２ Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）のような厳密なクロック同期を行う必要があるデータを送信する場合に、ＰＬＬ（Ｐｈａｓｅ Ｌｏｃｋｅｄ Ｌｏｏｐ）を用いてクロック再生する技術が記載されている。
特開２００９−２３９３７５号公報
上述のように、レコーダでのフレームデータの受信時刻に従ってフレームデータを読み出す方式では、Ｉフレームデータのサイズが他の種類のフレームデータのサイズより大きい場合に、Ｉフレームデータの度に、読出しタイミングが撮像タイミングとずれていくという課題がある。
また、特許文献１の技術では、ＰＬＬという特別なハードウェアが必要である。
この発明は、上記のような課題を解決することを主な目的としており、Ｉフレームデータのサイズが他の種類のフレームデータのサイズより大きい場合でも、特別なハードウェアを用いることなく、各フレームのフレームデータの読出し時刻を撮像時刻に同期させることを主な目的とする。
本発明に係るデータ処理装置は、
それぞれにタイムスタンプが設定されている複数のＩ（Ｉｎｔｒａ−ｃｏｄｅｄ）フレームデータと複数のＰ（Ｐｒｅｄｉｃｔｅｄ）フレームデータとを受信する受信部と、
前記受信部による各Ｉフレームデータの受信時刻を取得する時刻取得部と、
前記受信部により受信された前記複数のＩフレームデータと前記複数のＰフレームデータとを記憶する映像記憶部と、
Ｉフレームデータの前記映像記憶部からの読出し時刻を読出し対象のＩフレームデータの受信時刻と前記読出し対象のＩフレームデータに先行するＩフレームデータである先行Ｉフレームデータの受信時刻と前記先行Ｉフレームデータの読出し時刻とに基づき計算し、Ｐフレームデータの前記映像記憶部からの読出し時刻を読出し対象のＰフレームデータのタイムスタンプに基づき計算する時刻計算部と、
前記読出し対象のＩフレームデータと前記読出し対象のＰフレームデータとをそれぞれ前記時刻計算部により計算された時刻に前記映像記憶部から読み出すデータ読出し部とを有する。
本発明では、Ｉフレームデータの読出し時刻を、読出し対象のＩフレームデータの受信時刻と先行Ｉフレームデータの受信時刻と先行Ｉフレームデータの読出し時刻とに基づいて計算するため、Ｉフレームデータの受信時刻におけるずれを調整することができる。
このため、本発明によれば、Ｉフレームデータのサイズが他の種類のフレームデータのサイズより大きい場合でも、特別なハードウェアを用いることなく、各フレームのフレームデータの読出し時刻を撮像時刻に同期させることができる。
実施の形態１に係るシステム構成例を示す図。 実施の形態１に係るデータ処理装置の動作例を示すフローチャート図。 実施の形態１に係るデータ処理装置の動作例を示すフローチャート図。 実施の形態１に係る受信時刻と読出し時刻の例を示す図。 実施の形態１に係るデータ処理装置のハードウェア構成例を示す図。
実施の形態１．
＊＊＊構成の説明＊＊＊
図１は、本実施の形態に係るシステム構成例を示す。
図１において、監視カメラ１は撮像対象物（例えば、監視対象エリア）を撮像し、撮像対象物の映像データを送信する。
ネットワーク２は、映像データの送信に用いられるネットワークであり、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｗｔｏｒｋ）、インターネットなどである。
データ処理装置３は、監視カメラ１からの映像データを受信し、受信した映像データを記録する。
データ処理装置３は、例えば監視レコーダである。
なお、図１では、１つの監視カメラ１のみを示しているが、監視カメラ１は複数あってもよい。
監視カメラ１からの撮像映像データには、複数のＩ（Ｉｎｔｒａ−ｃｏｄｅｄ）フレームデータと複数のＢ（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ Ｐｒｅｄｉｃｔｅｄ）フレームデータと複数のＰ（Ｐｒｅｄｉｃｔｅｄ）フレームデータが含まれている。
前述したように、Ｉフレームデータは、Ｂフレームデータ及びＰフレームデータよりもサイズが大きい。
このため、Ｉフレームデータの送信はＢフレームデータ及びＰフレームデータの送信よりも時間がかかる。
また、後述するように、各フレームデータにはタイムスタンプが設定されている。
監視カメラ１において、撮像部１０１は撮像対象物を撮像する。
符号化部１０２は、撮像部１０１が撮像した映像を符号化する。
時刻付与部１０３は、符号化部１０２の符号化により得られたデータ（フレームデータ）にタイムスタンプを付与する。
送信部１０４は、ネットワーク２を介してフレームデータ（複数のＩフレームデータ、複数のＢフレームデータ、複数のＰフレームデータ）をデータ処理装置３に送信する。
データ処理装置３において、受信部３０１は、監視カメラ１から送信されたフレームデータ（複数のＩフレームデータ、複数のＢフレームデータ、複数のＰフレームデータ）を受信する。
時刻取得部３０２は、受信部３０１がＩフレームデータを受信した受信時刻を取得する。
映像記憶部３０３は、受信部３０１により受信された複数のＩフレームデータと複数のＢフレームデータと複数のＰフレームデータとを記憶する記憶領域である。
また、映像記憶部３０３は、時刻取得部３０２により取得されたＩフレームデータの受信時刻も記憶する。
時刻計算部３０４は、後述するデータ読出し部３０５が各フレームデータを映像記憶部３０３から読み出す読出し時刻を計算する。
時刻計算部３０４は、Ｉフレームデータの映像記憶部３０３からの読出し時刻を読出し対象のＩフレームデータの受信時刻と読出し対象のＩフレームデータに先行するＩフレームデータである先行Ｉフレームデータの受信時刻と先行Ｉフレームデータの読出し時刻とに基づき計算する。
例えば、時刻計算部３０４は、Ｉフレームデータの映像記憶部３０３からの読出し時刻を、読出し対象のＩフレームデータの受信時刻と読出し対象のＩフレームデータの直前のＩフレームデータである直前Ｉフレームデータの受信時刻との差分と、直前Ｉフレームデータの読出し時刻とに基づき計算する。
また、時刻計算部３０４は、Ｂフレームデータの映像記憶部３０３からの読出し時刻を読出し対象のＢフレームデータのタイムスタンプに基づき計算する。
例えば、時刻計算部３０４は、Ｂフレームデータの映像記憶部３０３からの読出し時刻を、読出し対象のＢフレームデータのタイムスタンプと読出し対象のＢフレームデータの直前のフレームデータである直前フレームデータのタイムスタンプとの差分と、直前フレームデータの読出し時刻とに基づき計算する。
また、時刻計算部３０４は、Ｐフレームデータの映像記憶部３０３からの読出し時刻を読出し対象のＰフレームデータのタイムスタンプに基づき計算する。
例えば、時刻計算部３０４は、Ｐフレームデータの映像記憶部３０３からの読出し時刻を、読出し対象のＰフレームデータのタイムスタンプと読出し対象のＰフレームデータの直前のフレームデータである直前フレームデータのタイムスタンプとの差分と、直前フレームデータの読出し時刻とに基づき計算する。
データ読出し部３０５は、読出し対象のＩフレームデータと読出し対象のＢフレームデータと読出し対象のＰフレームデータとをそれぞれ時刻計算部３０４により計算された時刻に映像記憶部３０３から読み出す。
データ読出し部３０５は、読み出した各フレームデータから監視カメラ１で撮像された映像を再生する。
もしくは、データ読出し部３０５は、読み出した各フレームデータを外部装置に再配信する。
＊＊＊動作の説明＊＊＊
次に、本実施の形態の動作例を説明する。
まずは、監視カメラ１の動作例を説明する。
監視カメラ１において、撮像部１０１は撮像対象物を撮像する。
符号化部１０２は、撮像部１０が撮像した映像を符号化する。
送信部１０４が符号化部１０２の符号化により得られたフレームデータをＲＴＰパケットで送信する際に、時刻付与部１０３がタイムスタンプをＲＴＰヘッダに挿入する。
タイムスタンプの周波数を９００００Ｈｚとすると、毎秒３０フレームの映像であれば１フレームにつきタイムスタンプの値が３０００ずつ増加する。
送信部１０４は、タイムスタンプがＲＴＰヘッダに設定されたＲＴＰパケットをネットワーク２を介してデータ処理装置３に送信する。
次に、図２及び図３を参照して、データ処理装置３の動作例を説明する。
図２は、データ処理装置３の受信処理、時刻取得処理及び映像記憶処理を示す。
図３は、データ処理装置３の時刻計算処理及びデータ読出し処理を示す。
図２及び図３に示す手順は、データ処理方法及びデータ処理プログラムの処理手順に相当する。
図２において、データ処理装置３の受信部３０１は、監視カメラ１の送信部１０４から送信されたＲＴＰパケットを受信する（Ｓ１０１）（受信処理）。
前述のように、ＲＴＰパケットには、フレームデータとタイムスタンプが含まれる。
次に、時刻取得部３０２は、受信部３０１がＩフレームデータを受信した受信時刻を取得する（Ｓ１０２）（時刻取得処理）。
１つのＩフレームデータが複数のＲＴＰパケットに分割されて送信される場合は、時刻取得部３０２は、複数のＲＴＰパケットのうちの先頭のＲＴＰパケットの受信時刻を取得する。
つまり、時刻取得部３０２は、受信部３０１が各Ｉフレームデータの受信を開始した時刻を各Ｉフレームデータの受信時刻として取得する。
ここでは、時刻取得部３０２はＩフレームデータの受信時刻のみを取得するが、時刻取得部３０２はＢフレームデータの受信時刻及びＰフレームデータの受信時刻を取得してもよい。
映像記憶部３０３は、受信部３０１により受信された各フレームデータとタイムスタンプとを記憶する（Ｓ１０３）（映像記憶処理）。
また、映像記憶部３０３は、Ｉフレームデータに対応付けて、時刻取得部３０２により取得された受信時刻を記憶する。
ＲＴＰパケットの受信後又はＲＴＰパケットの受信と並行してデータ処理装置３のユーザからフレームデータの読出しが指示された場合（図３のＳ２０１でＹＥＳ）に、時刻計算部３０４は、読出し対象のフレームデータの読出し時刻を計算する（Ｓ２０２）（時刻計算処理）。
読出し時刻の計算方法の詳細は後述するが、前述のように、Ｉフレームデータの読出し時刻の計算方法と、Ｂフレームデータの読出し時刻の計算方法及びＰフレームデータの読出し時刻の計算方法とは異なる。
データ読出し部３０５は、読出し対象のＩフレームデータと読出し対象のＢフレームデータと読出し対象のＰフレームデータとをそれぞれ時刻計算部３０４により計算された時刻に映像記憶部３０３から読み出す（Ｓ２０３）（データ読出し処理）。
なお、図３では、Ｓ２０２の後にＳ２０３が実施されるようになっているが、Ｓ２０２とＳ２０３とが並行して実施されてもよい。
次に、図４を参照して、Ｓ２０２の読出し時刻の計算方法の詳細を説明する。
図４では、左から右に時刻が進む様子を表している。
なお、図４の（ａ）が受信時刻を表し、図４の（ｂ）が読出し時刻を表している。
時刻Ｔｒ０から時刻Ｔｒ６は、０番目から６番目のフレームデータを受信した時刻を示している。
０番目のフレームデータと５番目のフレームデータはＩフレームデータである。
１番目のフレームデータから４番目のフレームデータ及び６番目のフレームデータはＰフレームデータまたはＢフレームデータである。
時刻Ｔｓ０から時刻Ｔｓ６は、０番目から６番目のフレームデータの読出し時刻を示している。
また、値Δｔｓは一定値であり、前後のフレームデータでのタイムスタンプの差分値３０００に等しく、これは１／３０秒に等しい。
データ処理装置３のユーザにより０番目のフレームデータからの読出しが指示された場合を想定する。
時刻Ｔｓ０は、ユーザからフレームデータの読出しが指示された時刻である。
読出し時刻計算部３０４は、時刻Ｔｓ０を０番目のフレームデータの読出し時刻に指定し、データ読出し部３０５は時刻Ｔｓ０にて０番目のフレームデータを映像記憶部３０３から読み出す。
時刻計算部３０４は、１番目のフレームデータの読出し時刻Ｔｓ１を、Ｔｓ１＝Ｔｓ０＋Δｔｓにより計算する。
つまり、時刻計算部３０４は、受信時刻Ｔｒ１を参照せずに、直前フレームデータである０番目のフレームデータの読出し時刻Ｔｓ０にタイムスタンプの差分Δｔｓを加算して読出し時刻Ｔｓ１を算出する。
同様に、時刻計算部３０４は、２番目のフレームデータの読出し時刻Ｔｓ２、３番目のフレームデータの読出し時刻Ｔｓ３、４番目のフレームデータの読出し時刻Ｔｓ４を以下にて算出する。
Ｔｓ２＝Ｔｓ１＋Δｔｓ
Ｔｓ３＝Ｔｓ２＋Δｔｓ
Ｔｓ４＝Ｔｓ３＋Δｔｓ
次に、５番目のフレームデータはＩフレームデータであるため、時刻計算部３０４は、５番目のフレームの読出し時刻Ｔｓ５を、Ｔｓ５＝Ｔｓ０＋Ｔｒ５−Ｔｒ０により計算する。
つまり、時刻計算部３０４は、読出し時刻Ｔｓ４を参照せずに、５番目のフレームデータの直前のＩフレームデータである０番目のフレームデータの受信時刻Ｔｒ０と５番目のフレームデータの受信時刻Ｔｒ０との差分を、読出し時刻Ｔｓ０に加算して読出し時刻Ｔｓ５を算出する。
次に、時刻計算部３０４は、６番目のフレームデータの送信時刻Ｔｓ６を、Ｔｓ６＝Ｔｓ５＋Δｔｓにより計算する。
つまり、時刻計算部３０４は、受信時刻Ｔｒ６を参照せずに、直前フレームデータである５番目のフレームデータの読出し時刻Ｔｓ５にタイムスタンプの差分Δｔｓを加算して読出し時刻Ｔｓ６を算出する。
図４には図示していないが、７番目から９番目のフレームデータがＢフレームデータまたはＰフレームデータであり、１０番目のフレームデータがＩフレームデータである場合は、時刻計算部３０４は、１０番目のフレームの読出し時刻Ｔｓ１０を、Ｔｓ１０＝Ｔｓ５＋Ｔｒ１０−Ｔｒ５により計算する。
つまり、時刻計算部３０４は、９番目の読出し時刻Ｔｓ９を参照せずに、１０番目のフレームデータの直前のＩフレームデータである５番目のフレームデータの受信時刻Ｔｒ５と１０番目のフレームデータの受信時刻Ｔｒ１０との差分を、読出し時刻Ｔｓ５に加算して読出し時刻Ｔｓ１０を算出する。
なお、７番目から９番目のフレームデータの読出し時刻の計算方法は、１番目から４番目のフレームデータの読出し時刻の計算方法と同じである。
以上では、時刻計算部３０４は、Ｉフレームデータの読出し時刻を、直前のＩフレームデータの読出し時刻を基準にして計算している。
しかし、時刻計算部３０４は、読出し対象のＩフレームデータに先行するＩフレームデータであれば、直前のＩフレームデータではないＩフレームデータの読出し時刻を基準にして読出し対象のＩフレームデータの読出し時刻を計算してもよい。
例えば、０番目のフレームデータから５フレーム前のＩフレームデータの読出し時刻が計算済みであれば、時刻計算部３０４は、０番目のフレームデータから５フレーム前のＩフレームデータの読出し時刻を基準にして５番目のフレームデータの読出し時刻Ｔｓ５を計算してもよい。
ここでは、０番目のフレームデータから５フレーム前のＩフレームデータの受信時刻をＴｒｍ５、０番目のフレームデータから５フレーム前のＩフレームデータの読出し時刻をＴｓｍ５とする。
この場合に、５番目のフレームデータの読出し時刻Ｔｓ５を、Ｔｓ５＝Ｔｓｍ５＋Ｔｒｍ５−Ｔｒ５により計算してもよい。
また、以上では、時刻計算部３０４は、読出し時刻Ｔｓ５を、Ｔｓ５＝Ｔｓ０＋Ｔｒ５−Ｔｒ０により計算したが、その結果としてＴｓ５−Ｔｓ４がΔｔｓから大きく異なる値を取る場合がある。
このような場合に、過去のＩフレームデータの受信間隔も用いてＩフレームデータの読出し時刻を補正してもよい。
例えば、０番目のフレームデータから５フレーム前のＩフレームデータの受信時刻をＴｒｍ５、０番目のフレームデータから１０フレーム前のＩフレームデータの受信時刻をＴｒｍ１０とする。
時刻計算部３０４は、例えば、Ｔｓ５＝Ｔｓ０＋（Ｔｒ５−Ｔｒ０）×０．５＋（Ｔｒ０−Ｔｒｍ５）×０．３＋（Ｔｒｍ５−Ｔｒｍ１０）×０．２により読出し時刻Ｔｓ５を計算してもよい。
このように、時刻計算部３０４は、Ｉフレームデータの映像記憶部３０３からの読出し時刻を、読出し対象のＩフレームデータの受信時刻と読出し対象のＩフレームデータの直前のＩフレームデータである直前Ｉフレームデータの受信時刻との差分と、直前Ｉフレームデータに先行する複数のＩフレームデータの間の受信時刻の差分と、直前Ｉフレームデータの読出し時刻とに基づき計算するようにしてもよい。
また、時刻計算部３０４は、上式で用いたパラメータ（０．５、０．３、０．２）を変更してもよいし、上式とは異なる計算式で読出し時刻Ｔｓ５を計算してもよい。
また、以上では、データ処理装置３は、ＩフレームデータとＢフレームデータとＰフレームデータを監視カメラ１から受信することとしたが、本実施の形態は、データ処理装置３は、ＩフレームデータとＢフレームデータのみを監視カメラ１から受信する場合にも適用可能である。
＊＊＊効果の説明＊＊＊
本実施の形態によれば、データ処理装置３は、監視カメラ１が西暦年月日を含む絶対時刻を保持していなくても、各フレームのフレームデータを撮像タイミングと同期して読み出すことができる。
また、監視カメラ１に搭載された図示しない時刻クロック源とデータ処理装置３に搭載された図示しない時刻クロック源の速度に差がある場合でも、破綻無く映像データの再生又は映像データの再配信を行うことができる。
実施の形態２．
実施の形態１では、Ｐフレームデータの読出し時刻の計算方法は、Ｂフレームデータの読出し時刻の計算方法と同じである。
本実施の形態では、Ｐフレームデータの読み出し時刻を実施の形態１で示したＩフレームデータの読出し時刻の計算方法に従って計算する。
本実施の形態においても、システム構成例は図１に示す通りである。
また、データ処理装置３の動作も図２及び図３に示す通りである。
但し、本実施の形態では、時刻取得部３０２は、図２のＳ１０２において、受信部３０１がＩフレームデータを受信した受信時刻を取得し、また、受信部３０１がＰフレームデータを受信した受信時刻を取得する。
１つのＰフレームデータが複数のＲＴＰパケットに分割されて送信される場合は、時刻取得部３０２は、複数のＲＴＰパケットのうちの先頭のＲＴＰパケットの受信時刻を取得する。
つまり、時刻取得部３０２は、受信部３０１が各Ｐフレームデータの受信を開始した時刻を各Ｐフレームデータの受信時刻として取得する。
また、映像記憶部３０３は、図２のＳ１０３において、Ｐフレームデータの受信時刻も記憶する。
更に、時刻計算部３０４は、図３のＳ２０２において、Ｐフレームデータの読み出し時刻を実施の形態１で示したＩフレームデータの読出し時刻の計算方法に従って計算する。
より具体的には、時刻計算部３０４は、Ｐフレームデータの読出し時刻を読出し対象のＰフレームデータの受信時刻と読出し対象のＰフレームデータに先行するＩフレームデータ又はＰフレームデータである先行Ｉ／Ｐフレームデータの受信時刻と先行Ｉ／Ｐフレームデータの読出し時刻とに基づき計算する。
また、実施の形態１では、時刻計算部３０４は、Ｉフレームデータの読出し時刻は、先行するＩフレームデータの読出し時刻に基づいて計算したが、本実施の形態では、時刻計算部３０４は、Ｉフレームデータの読出し時刻を、先行するＰフレームデータの読出し時刻に基づいて計算する場合がある。
以下では、図４を参照して、本実施の形態におけるＩフレームデータの読出し時刻の計算方法及びＰフレームデータの読出し時刻の計算方法を説明する。
本実施の形態では、図４の０番目のフレームデータがＩフレームデータであり、５番目のフレームデータがＰフレームデータである場合を想定する。
また１番目から４番目のフレームデータ、６番目のフレームデータは、すべてＢフレームデータである。
時刻計算部３０４は、０番目から４番目のフレームデータの読出し時刻を、実施の形態１と同様の方法で計算する。
また、時刻計算部３０４は、５番目のフレームデータ（Ｐフレームデータ）の読出し時刻Ｔｓ５を、実施の形態１と同様に、Ｔｓ５＝Ｔｓ０＋Ｔｒ５−Ｔｒ０により計算する。
つまり、時刻計算部３０４は、読出し時刻Ｔｓ４を参照せずに、５番目のフレームデータの直前のＩフレームデータである０番目のフレームデータの受信時刻Ｔｒ０と５番目のフレームデータの受信時刻Ｔｒ０との差分を、読出し時刻Ｔｓ０に加算して読出し時刻Ｔｓ５を算出する。
次に、時刻計算部３０４は、６番目のフレームデータの送信時刻Ｔｓ６を、実施の形態１と同様の方法で計算する。
図４には図示していないが、７番目から９番目のフレームデータがＢフレームデータまたはＰフレームデータであり、１０番目のフレームデータがＩフレームデータである場合は、時刻計算部３０４は、１０番目のフレームの読出し時刻Ｔｓ１０を、Ｔｓ１０＝Ｔｓ５＋Ｔｒ１０−Ｔｒ５により計算する。
つまり、時刻計算部３０４は、９番目の読出し時刻Ｔｓ９を参照せずに、１０番目のフレームデータの直前のＰフレームデータである５番目のフレームデータの受信時刻Ｔｒ５と１０番目のフレームデータの受信時刻Ｔｒ１０との差分を、読出し時刻Ｔｓ５に加算して読出し時刻Ｔｓ１０を算出する。
なお、７番目から９番目のフレームデータの読出し時刻の計算方法は、実施の形態１と同じである。
以上では、時刻計算部３０４は、Ｉフレームデータ（又はＰフレームデータ）の読出し時刻を、直前のＩフレームデータ（又はＰフレームデータ）の読出し時刻を基準にして計算している。
しかし、時刻計算部３０４は、読出し対象のＩフレームデータ（又はＰフレームデータ）に先行するＩフレームデータ（又はＰフレームデータ）であれば、直前のＩフレームデータ（又はＰフレームデータ）ではないＩフレームデータ（又はＰフレームデータ）の読出し時刻を基準にして読出し対象のＩフレームデータ（又はＰフレームデータ）の読出し時刻を計算してもよい。
例えば、０番目のフレームデータから５フレーム前のＩフレームデータ（又はＰフレームデータ）の読出し時刻が計算済みであれば、時刻計算部３０４は、０番目のフレームデータから５フレーム前のＩフレームデータ（又はＰフレームデータ）の読出し時刻を基準にして５番目のフレームデータの読出し時刻Ｔｓ５を計算してもよい。
ここでは、０番目のフレームデータから５フレーム前のＩフレームデータ（又はＰフレームデータ）の受信時刻をＴｒｍ５、０番目のフレームデータから５フレーム前のＩフレームデータ（又はＰフレームデータ）の読出し時刻をＴｓｍ５とする。
この場合に、５番目のフレームデータの読出し時刻Ｔｓ５を、Ｔｓ５＝Ｔｓｍ５＋Ｔｒｍ５−Ｔｒ５により計算してもよい。
また、時刻計算部３０４は、実施の形態１に示した別の計算方法により、Ｉフレームデータ（又はＰフレームデータ）の読出し時刻を計算してもよい。
本実施の形態では、０番目のフレームデータから５フレーム前のＰフレームデータの受信時刻をＴｒｍ５、０番目のフレームデータから１０フレーム前のＩフレームデータの受信時刻をＴｒｍ１０とする。
時刻計算部３０４は、例えば、Ｔｓ５＝Ｔｓ０＋（Ｔｒ５−Ｔｒ０）×０．５＋（Ｔｒ０−Ｔｒｍ５）×０．３＋（Ｔｒｍ５−Ｔｒｍ１０）×０．２により、５番目のフレームデータであるＰフレームデータ（又はＩフレームデータ）の読出し時刻Ｔｓ５を計算してもよい。
このように、時刻計算部３０４は、Ｉフレームデータ（又はＰフレームデータ）の映像記憶部３０３からの読出し時刻を、読出し対象のＩフレームデータ（又はＰフレームデータ）の受信時刻と読出し対象のＩフレームデータ（又はＰフレームデータ）の直前のＩフレームデータ又はＰフレームデータである直前Ｉ／Ｐフレームデータの受信時刻との差分と、直前Ｉ／Ｐフレームデータに先行する複数のＩフレームデータの間の受信時刻の差分、直前Ｉ／Ｐフレームデータに先行する複数のＰフレームデータの間の受信時刻の差分及び直前Ｉ／Ｐフレームデータに先行するＩフレームデータとＰフレームデータとの間の受信時刻の差分のうちのいずれかと、直前Ｉ／Ｐフレームデータの読出し時刻とに基づき計算するようにしてもよい。
つまり、前述の例において、０番目のフレームデータから５フレーム前のフレームデータがＩフレームデータであり、０番目のフレームデータから１０フレーム前のフレームデータがＩフレームデータであれば、時刻計算部３０４は、これら２つのＩフレームデータの間の受信時刻の差分を用いる。
また、０番目のフレームデータから５フレーム前のフレームデータがＰフレームデータであり、０番目のフレームデータから１０フレーム前のフレームデータがＰフレームデータであれば、時刻計算部３０４は、これら２つのＰフレームデータの間の受信時刻の差分を用いる。
また、０番目のフレームデータから５フレーム前のフレームデータがＩフレームデータ（又はＰフレームデータ）であり、０番目のフレームデータから１０フレーム前のフレームデータがＰフレームデータ（又はＩフレームデータ）であれば、時刻計算部３０４は、これらＩフレームデータとＰフレームデータの間の受信時刻の差分を用いる。
また、時刻計算部３０４は、上式で用いたパラメータ（０．５、０．３、０．２）を変更してもよいし、上式とは異なる計算式で読出し時刻Ｔｓ５を計算してもよい。
以上、本実施の形態によれば、ＰフレームデータのサイズがＢフレームデータのサイズよりも大幅に大きい場合にも、特別なハードウェアを用いることなく、各フレームのフレームデータの読出し時刻を撮像時刻に同期させることができる。
以上、本発明の実施の形態について説明したが、本発明は、これらの実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。
最後に、データ処理装置３のハードウェア構成例を図５を参照して説明する。
データ処理装置３はコンピュータである。
データ処理装置３は、プロセッサ９０１、補助記憶装置９０２、メモリ９０３、通信装置９０４、入力インタフェース９０５、ディスプレイインタフェース９０６といったハードウェアを備える。
プロセッサ９０１は、信号線９１０を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
入力インタフェース９０５は、入力装置９０７に接続されている。
ディスプレイインタフェース９０６は、ディスプレイ９０８に接続されている。
プロセッサ９０１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。
プロセッサ９０１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。
補助記憶装置９０２は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。
メモリ９０３は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。
図１に示す映像記憶部３０３は、メモリ９０３又は補助記憶装置９０２により実現される。
通信装置９０４は、データを受信するレシーバー９０４１及びデータを送信するトランスミッター９０４２を含む。
通信装置９０４は、例えば、通信チップ又はＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）である。
入力インタフェース９０５は、入力装置９０７のケーブル９１１が接続されるポートである。
入力インタフェース９０５は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子である。
ディスプレイインタフェース９０６は、ディスプレイ９０８のケーブル９１２が接続されるポートである。
ディスプレイインタフェース９０６は、例えば、ＵＳＢ端子又はＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子である。
入力装置９０７は、例えば、マウス、キーボード又はタッチパネルである。
ディスプレイ９０８は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）である。
補助記憶装置９０２には、図１に示す受信部３０１、時刻取得部３０２、時刻計算部３０４、データ読出し部３０５（以下、受信部３０１、時刻取得部３０２、時刻計算部３０４、データ読出し部３０５をまとめて「部」と表記する）の機能を実現するプログラムが記憶されている。
このプログラムは、メモリ９０３にロードされ、プロセッサ９０１に読み込まれ、プロセッサ９０１によって実行される。
更に、補助記憶装置９０２には、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）も記憶されている。
そして、ＯＳの少なくとも一部がメモリ９０３にロードされ、プロセッサ９０１はＯＳを実行しながら、「部」の機能を実現するプログラムを実行する。
図５では、１つのプロセッサ９０１が図示されているが、データ処理装置３が複数のプロセッサ９０１を備えていてもよい。
そして、複数のプロセッサ９０１が「部」の機能を実現するプログラムを連携して実行してもよい。
また、「部」の処理の結果を示す情報やデータや信号値や変数値が、メモリ９０３、補助記憶装置９０２、又は、プロセッサ９０１内のレジスタ又はキャッシュメモリに記憶される。
「部」を「サーキットリー」で提供してもよい。
また、「部」を「回路」又は「工程」又は「手順」又は「処理」に読み替えてもよい。
「回路」及び「サーキットリー」は、プロセッサ９０１だけでなく、ロジックＩＣ又はＧＡ（Ｇａｔｅ Ａｒｒａｙ）又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）又はＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）といった他の種類の処理回路をも包含する概念である。
１ 監視カメラ、２ ネットワーク、３ データ処理装置、１０１ 撮像部、１０２ 符号化部、１０３ 時刻付与部、１０４ 送信部、３０１ 受信部、３０２ 時刻取得部、３０３ 映像記憶部、３０４ 時刻計算部、３０５ データ読出し部。

Claims (14)

  1. それぞれにタイムスタンプが設定されている複数のＩ（Ｉｎｔｒａ−ｃｏｄｅｄ）フレームデータと複数のＰ（Ｐｒｅｄｉｃｔｅｄ）フレームデータとを受信する受信部と、
    前記受信部による各Ｉフレームデータの受信時刻を取得する時刻取得部と、
    前記受信部により受信された前記複数のＩフレームデータと前記複数のＰフレームデータとを記憶する映像記憶部と、
    Ｉフレームデータの前記映像記憶部からの読出し時刻を読出し対象のＩフレームデータの受信時刻と前記読出し対象のＩフレームデータに先行するＩフレームデータである先行Ｉフレームデータの受信時刻と前記先行Ｉフレームデータの読出し時刻とに基づき計算し、Ｐフレームデータの前記映像記憶部からの読出し時刻を読出し対象のＰフレームデータのタイムスタンプに基づき計算する時刻計算部と、
    前記読出し対象のＩフレームデータと前記読出し対象のＰフレームデータとをそれぞれ前記時刻計算部により計算された時刻に前記映像記憶部から読み出すデータ読出し部とを有するデータ処理装置。
  2. 前記受信部は、
    それぞれにタイムスタンプが設定されている複数のＩフレームデータと複数のＰフレームデータと複数のＢ（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ Ｐｒｅｄｉｃｔｅｄ）フレームデータとを受信し、
    前記映像記憶部は、
    前記受信部により受信された前記複数のＩフレームデータと前記複数のＰフレームデータと前記複数のＢフレームデータとを記憶し、
    前記時刻計算部は、
    Ｂフレームデータの前記映像記憶部からの読出し時刻を読出し対象のＢフレームデータのタイムスタンプに基づき計算し、
    前記データ読出し部は、
    前記読出し対象のＩフレームデータと前記読出し対象のＰフレームデータと前記読出し対象のＢフレームデータとをそれぞれ前記時刻計算部により計算された時刻に前記映像記憶部から読み出す請求項１に記載のデータ処理装置。
  3. 前記受信部は、
    それぞれにタイムスタンプが設定されている複数のＩフレームデータと複数のＰフレームデータと複数のＢ（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ Ｐｒｅｄｉｃｔｅｄ）フレームデータとを受信し、
    前記時刻取得部は、
    前記受信部による各Ｉフレームデータの受信時刻と各Ｂフレームデータの受信時刻とを取得し、
    前記映像記憶部は、
    前記受信部により受信された前記複数のＩフレームデータと前記複数のＰフレームデータと前記複数のＢフレームデータとを記憶し、
    前記時刻計算部は、
    Ｉフレームデータの前記映像記憶部からの読出し時刻を読出し対象のＩフレームデータの受信時刻と前記読出し対象のＩフレームデータに先行するＩフレームデータ又はＰフレームデータである先行Ｉ／Ｐフレームデータの受信時刻と前記先行Ｉ／Ｐフレームデータの読出し時刻とに基づき計算し、
    Ｂフレームデータの前記映像記憶部からの読出し時刻を読出し対象のＢフレームデータのタイムスタンプに基づき計算し、
    Ｐフレームデータの前記映像記憶部からの読出し時刻を読出し対象のＰフレームデータの受信時刻と前記読出し対象のＰフレームデータに先行するＩフレームデータ又はＰフレームデータである先行Ｉ／Ｐフレームデータの受信時刻と前記先行Ｉ／Ｐフレームデータの読出し時刻とに基づき計算し、
    前記データ読出し部は、
    前記読出し対象のＩフレームデータと前記読出し対象のＰフレームデータと前記読出し対象のＢフレームデータとをそれぞれ前記時刻計算部により計算された時刻に前記映像記憶部から読み出す請求項１に記載のデータ処理装置。
  4. 前記時刻取得部は、
    前記受信部が各Ｉフレームデータの受信を開始した時刻を各Ｉフレームデータの受信時刻として取得する請求項１に記載のデータ処理装置。
  5. 前記時刻取得部は、
    前記受信部が各Ｉフレームデータの受信を開始した時刻を各Ｉフレームデータの受信時刻として取得し、
    前記受信部が各Ｐフレームデータの受信を開始した時刻を各Ｐフレームデータの受信時刻として取得する請求項３に記載のデータ処理装置。
  6. 前記時刻計算部は、
    前記読出し対象のＩフレームデータの前記映像記憶部からの読出し時刻を、前記読出し対象のＩフレームデータの受信時刻と前記読出し対象のＩフレームデータの直前のＩフレームデータである直前Ｉフレームデータの受信時刻との差分と、前記直前Ｉフレームデータの読出し時刻とに基づき計算する請求項１に記載のデータ処理装置。
  7. 前記時刻計算部は、
    前記読出し対象のＩフレームデータの前記映像記憶部からの読出し時刻を、前記読出し対象のＩフレームデータの受信時刻と前記読出し対象のＩフレームデータの直前のＩフレームデータである直前Ｉフレームデータの受信時刻との差分と、前記直前Ｉフレームデータに先行する複数のＩフレームデータの間の受信時刻の差分と、前記直前Ｉフレームデータの読出し時刻とに基づき計算する請求項１に記載のデータ処理装置。
  8. 前記時刻計算部は、
    前記読出し対象のＰフレームデータの前記映像記憶部からの読出し時刻を、前記読出し対象のＰフレームデータのタイムスタンプと前記読出し対象のＰフレームデータの直前のフレームデータである直前フレームデータのタイムスタンプとの差分と、前記直前フレームデータの読出し時刻とに基づき計算する請求項１に記載のデータ処理装置。
  9. 前記時刻計算部は、
    前記読出し対象のＢフレームデータの前記映像記憶部からの読出し時刻を、前記読出し対象のＢフレームデータのタイムスタンプと前記読出し対象のＢフレームデータの直前のフレームデータである直前フレームデータのタイムスタンプとの差分と、前記直前フレームデータの読出し時刻とに基づき計算する請求項２に記載のデータ処理装置。
  10. 前記時刻計算部は、
    前記読出し対象のＩフレームデータの前記映像記憶部からの読出し時刻を、前記読出し対象のＩフレームデータの受信時刻と前記読出し対象のＩフレームデータの直前のＩフレームデータ又はＰフレームデータである直前Ｉ／Ｐフレームデータの受信時刻との差分と、前記直前Ｉ／Ｐフレームデータの読出し時刻とに基づき計算し、
    前記読出し対象のＰフレームデータの前記映像記憶部からの読出し時刻を、前記読出し対象のＰフレームデータの受信時刻と前記読出し対象のＰフレームデータの直前のＩフレームデータ又はＰフレームデータである直前Ｉ／Ｐフレームデータの受信時刻との差分と、前記直前Ｉ／Ｐフレームデータの読出し時刻とに基づき計算する請求項３に記載のデータ処理装置。
  11. 前記時刻計算部は、
    前記読出し対象のＩフレームデータの前記映像記憶部からの読出し時刻を、前記読出し対象のＩフレームデータの受信時刻と前記読出し対象のＩフレームデータの直前のＩフレームデータ又はＰフレームデータである直前Ｉ／Ｐフレームデータの受信時刻との差分と、前記直前Ｉ／Ｐフレームデータに先行する複数のＩフレームデータの間の受信時刻の差分、前記直前Ｉ／Ｐフレームデータに先行する複数のＰフレームデータの間の受信時刻の差分及び前記直前Ｉ／Ｐフレームデータに先行するＩフレームデータとＰフレームデータとの間の受信時刻の差分のうちのいずれかと、前記直前Ｉ／Ｐフレームデータの読出し時刻とに基づき計算し、
    前記読出し対象のＰフレームデータの前記映像記憶部からの読出し時刻を、前記読出し対象のＰフレームデータの受信時刻と前記読出し対象のＰフレームデータの直前のＩフレームデータ又はＰフレームデータである直前Ｉ／Ｐフレームデータの受信時刻との差分と、前記直前Ｉ／Ｐフレームデータに先行する複数のＩフレームデータの間の受信時刻の差分、前記直前Ｉ／Ｐフレームデータに先行する複数のＰフレームデータの間の受信時刻の差分及び前記直前Ｉ／Ｐフレームデータに先行するＩフレームデータとＰフレームデータとの間の受信時刻の差分のうちのいずれかと、前記直前Ｉ／Ｐフレームデータの読出し時刻とに基づき計算する請求項３に記載のデータ処理装置。
  12. 前記時刻計算部は、
    前記読出し対象のＢフレームデータの前記映像記憶部からの読出し時刻を、前記読出し対象のＢフレームデータのタイムスタンプと前記読出し対象のＢフレームデータの直前のフレームデータである直前フレームデータのタイムスタンプとの差分と、前記直前フレームデータの読出し時刻とに基づき計算する請求項３に記載のデータ処理装置。
  13. コンピュータが、それぞれにタイムスタンプが設定されている複数のＩ（Ｉｎｔｒａ−ｃｏｄｅｄ）フレームデータと複数のＰ（Ｐｒｅｄｉｃｔｅｄ）フレームデータとを受信し、
    前記コンピュータが、各Ｉフレームデータの受信時刻を取得し、
    前記コンピュータが、受信された前記複数のＩフレームデータと前記複数のＰフレームデータとを記憶領域に格納し、
    前記コンピュータが、Ｉフレームデータの前記記憶領域からの読出し時刻を読出し対象のＩフレームデータの受信時刻と前記読出し対象のＩフレームデータに先行するＩフレームデータである先行Ｉフレームデータの受信時刻と前記先行Ｉフレームデータの読出し時刻とに基づき計算し、Ｐフレームデータの前記記憶領域からの読出し時刻を読出し対象のＰフレームデータのタイムスタンプに基づき計算し、
    前記コンピュータが、前記読出し対象のＩフレームデータと前記読出し対象のＰフレームデータとをそれぞれ計算された時刻に前記記憶領域から読み出すデータ処理方法。
  14. それぞれにタイムスタンプが設定されている複数のＩ（Ｉｎｔｒａ−ｃｏｄｅｄ）フレームデータと複数のＰ（Ｐｒｅｄｉｃｔｅｄ）フレームデータとを受信する受信処理と、
    前記受信処理による各Ｉフレームデータの受信時刻を取得する時刻取得処理と、
    前記受信処理により受信された前記複数のＩフレームデータと前記複数のＰフレームデータとを記憶領域に格納する映像記憶処理と、
    Ｉフレームデータの前記記憶領域からの読出し時刻を読出し対象のＩフレームデータの受信時刻と前記読出し対象のＩフレームデータに先行するＩフレームデータである先行Ｉフレームデータの受信時刻と前記先行Ｉフレームデータの読出し時刻とに基づき計算し、Ｐフレームデータの前記記憶領域からの読出し時刻を読出し対象のＰフレームデータのタイムスタンプに基づき計算する時刻計算処理と、
    前記読出し対象のＩフレームデータと前記読出し対象のＰフレームデータとをそれぞれ前記時刻計算処理により計算された時刻に前記記憶領域から読み出すデータ読出し処理とをコンピュータに実行させるデータ処理プログラム。
JP2017503298A 2015-03-05 2015-03-05 データ処理装置及びデータ処理方法及びデータ処理プログラム Active JP6279146B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/056556 WO2016139808A1 (ja) 2015-03-05 2015-03-05 データ処理装置及びデータ処理方法及びデータ処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2016139808A1 JPWO2016139808A1 (ja) 2017-06-01
JP6279146B2 true JP6279146B2 (ja) 2018-02-14

Family

ID=56848808

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017503298A Active JP6279146B2 (ja) 2015-03-05 2015-03-05 データ処理装置及びデータ処理方法及びデータ処理プログラム

Country Status (5)

Country Link
US (1) US20180359303A1 (ja)
JP (1) JP6279146B2 (ja)
KR (1) KR101795350B1 (ja)
CN (1) CN107251564B (ja)
WO (1) WO2016139808A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7208530B2 (ja) * 2019-05-31 2023-01-19 日本電信電話株式会社 同期制御装置、同期制御方法及び同期制御プログラム
CN112929702B (zh) * 2021-04-01 2021-08-24 北京百家视联科技有限公司 一种数据流发送方法、装置、电子设备和存储介质
CN113259717B (zh) * 2021-07-15 2021-09-14 腾讯科技（深圳）有限公司 视频流的处理方法、装置、设备及计算机可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3552249B2 (ja) * 1993-07-09 2004-08-11 ソニー株式会社 画像および音声信号処理方法とその装置
JP4612171B2 (ja) * 2000-10-27 2011-01-12 株式会社東芝 動画像復号再生モジュールと再生時刻管理プログラムとマルチメディア情報受信装置
JP3922047B2 (ja) * 2002-02-26 2007-05-30 ソニー株式会社 データ受信装置、および受信データ処理方法、並びにコンピュータ・プログラム
JP5239405B2 (ja) * 2008-03-05 2013-07-17 日本電気株式会社 Ｔｓ受信装置及びそれに用いるタイミング再生方法
JP5598155B2 (ja) * 2010-08-12 2014-10-01 ソニー株式会社 情報処理装置および方法、並びに送受信システム

Also Published As

Publication number Publication date
KR20170102025A (ko) 2017-09-06
JPWO2016139808A1 (ja) 2017-06-01
US20180359303A1 (en) 2018-12-13
KR101795350B1 (ko) 2017-11-07
CN107251564A (zh) 2017-10-13
CN107251564B (zh) 2018-08-28
WO2016139808A1 (ja) 2016-09-09

Similar Documents

Publication Publication Date Title
CN108243350B (zh) 一种音视频同步处理的方法和装置
US20170289231A1 (en) Clock Synchronization Techniques Including Modification of Sample Rate Conversion
US20160127614A1 (en) Video frame playback scheduling
JP6279146B2 (ja) データ処理装置及びデータ処理方法及びデータ処理プログラム
JP2015082845A (ja) Ｉｐビデオ信号同期のための方法及び装置
WO2014094077A1 (en) Automated measurement of differential latency between displays
JP2016133608A (ja) 表示装置、表示システム及び表示方法
US20170026439A1 (en) Devices and methods for facilitating video and graphics streams in remote display applications
JP7171929B2 (ja) オーディオストリーム及びビデオストリーム同期切替方法及び装置
WO2013150698A1 (ja) 映像信号送信装置及び受信装置
JP6038046B2 (ja) パケット通信ネットワークを介して伝送されるコンテンツをストリーミングするためのクロックリカバリ機構
US10070017B2 (en) Controlling synchronization between devices in a network
JP2008245050A (ja) Ｐｃｒ補正回路
US20140184908A1 (en) Method and apparatus for multimedia stream synchronization
US9912427B2 (en) Reception apparatus and system
JP5367771B2 (ja) 映像伝送システム
JP5928277B2 (ja) タイムコード同期装置、及びタイムコード同期方法
JP6658504B2 (ja) 撮像装置、撮像方法および撮像システム
JP2014216706A (ja) 送信装置、受信装置及び再生システム
JP2007201797A (ja) 伝送システム及び映像出力方法
JP2013165313A (ja) カメラ制御装置
US20130141596A1 (en) Transmitter, transmission method, and program
US10560252B2 (en) Time aware audio streams with heterogenous frame rates
CN116261000A (zh) 一种云会议中音视频的同步方法、装置和电子设备
JP2004023134A (ja) 画像音声同期化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180116

R150 Certificate of patent or registration of utility model

Ref document number: 6279146

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250