JP5642319B2 - デジタルデータ配信装置及び方法、及びデジタルデータ再生装置及び方法、同期再生システム、プログラム、並びに記録媒体 - Google Patents
デジタルデータ配信装置及び方法、及びデジタルデータ再生装置及び方法、同期再生システム、プログラム、並びに記録媒体 Download PDFInfo
- Publication number
- JP5642319B2 JP5642319B2 JP2014509086A JP2014509086A JP5642319B2 JP 5642319 B2 JP5642319 B2 JP 5642319B2 JP 2014509086 A JP2014509086 A JP 2014509086A JP 2014509086 A JP2014509086 A JP 2014509086A JP 5642319 B2 JP5642319 B2 JP 5642319B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- content
- unit
- data indicating
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
- H04N5/06—Generation of synchronising signals
- H04N5/067—Arrangements or circuits at the transmitter end
- H04N5/0675—Arrangements or circuits at the transmitter end for mixing the synchronising signals with the picture signal or mutually
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
- G09G5/006—Details of the interface to the display terminal
- G09G5/008—Clock recovery
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
- G09G2330/12—Test circuits or failure detection circuits included in a display system, as permanent part thereof
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/10—Use of a protocol of communication by packets in interfaces along the display data pipeline
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/10527—Audio or video recording; Data buffering arrangements
- G11B2020/10537—Audio or video recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04J—MULTIPLEX COMMUNICATION
- H04J3/00—Time-division multiplex systems
- H04J3/02—Details
- H04J3/06—Synchronising arrangements
- H04J3/0635—Clock or time synchronisation in a network
- H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04J—MULTIPLEX COMMUNICATION
- H04J3/00—Time-division multiplex systems
- H04J3/02—Details
- H04J3/06—Synchronising arrangements
- H04J3/0635—Clock or time synchronisation in a network
- H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
- H04J3/0658—Clock or time synchronisation among packet nodes
- H04J3/0661—Clock or time synchronisation among packet nodes using timestamps
- H04J3/0667—Bidirectional timestamps, e.g. NTP or PTP for compensation of clock drift and for compensation of propagation delays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04J—MULTIPLEX COMMUNICATION
- H04J3/00—Time-division multiplex systems
- H04J3/02—Details
- H04J3/06—Synchronising arrangements
- H04J3/0635—Clock or time synchronisation in a network
- H04J3/0685—Clock or time synchronisation in a node; Intranode synchronisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L27/00—Modulated-carrier systems
- H04L27/0014—Carrier regulation
- H04L2027/0044—Control loops for carrier regulation
- H04L2027/0063—Elements of loops
- H04L2027/0065—Frequency error detectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
- H04N5/12—Devices in which the synchronising signals are only operative if a phase difference occurs between synchronising and synchronised scanning devices, e.g. flywheel synchronising
- H04N5/126—Devices in which the synchronising signals are only operative if a phase difference occurs between synchronising and synchronised scanning devices, e.g. flywheel synchronising whereby the synchronisation signal indirectly commands a frequency generator
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W56/00—Synchronisation arrangements
- H04W56/001—Synchronization between nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W56/00—Synchronisation arrangements
- H04W56/001—Synchronization between nodes
- H04W56/0015—Synchronization between nodes one node acting as a reference for the others
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W56/00—Synchronisation arrangements
- H04W56/001—Synchronization between nodes
- H04W56/002—Mutual synchronization
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Synchronisation In Digital Transmission Systems (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Television Signal Processing For Recording (AREA)
Description
所定周波数のクロックパルスを発生するクロック発生部と、
映像及び音声を含むコンテンツを読み出すデータ読み出し部と、
前記データ読み出し部により読み出された前記コンテンツを復号化するデコーダと、
各コンテンツの復号化の開始時にリセットされ、その後前記クロック発生部が発生する前記クロックパルスをカウントすることで、前記コンテンツの前記映像を構成するフレームのうちの少なくとも一部のフレームについて、当該コンテンツの先頭からの経過時間を示すデータを生成する基準クロックカウンタと、
各コンテンツの復号化の開始時にリセットされ、その後前記デコーダにより再生された、前記映像を構成するフレームの数をカウントすることで、前記映像を構成するフレームのうちの少なくとも一部のフレームについて、当該コンテンツ内におけるフレーム番号を示すデータを生成するフレーム同期カウンタと、
前記読み出された前記コンテンツのデータ、並びに前記基準クロックカウンタで生成された前記経過時間を示すデータ及び前記フレーム同期カウンタで生成された前記フレーム番号を示すデータを送信する通信部と
を有することを特徴とする。
所定周波数のクロックパルスを発生するクロック発生部と、
映像及び音声を含むコンテンツのデータ、並びに前記映像を構成するフレームのうちの少なくとも一部のフレームについて、当該コンテンツの先頭からの経過時間を示すデータ及び当該コンテンツ内におけるフレーム番号を示すデータを受信する通信部と、
前記クロックパルスに基づいて動作し、前記通信部で受信された前記コンテンツの映像と音声を復号化するデコーダと、
前記通信部で受信されたデータから前記経過時間を示すデータ及び前記フレーム番号を示すデータを分離する分離部と、
前記通信部で受信されたコンテンツのデータに基づく該コンテンツの再生開始時に、前記通信部で受信された前記経過時間を示すデータを初期値としてセットされ、その後前記クロック発生部で発生されるクロックパルスをカウントすることで、前記映像を構成するフレームのうちの少なくとも一部のフレームについて、当該コンテンツの先頭からの経過時間を示す内部データを生成する基準クロックカウンタと、
前記コンテンツの再生開始時に、前記通信部で受信された前記フレーム番号を示すデータを初期値としてセットされ、その後前記デコーダで再生されたフレームの数をカウントすることで、前記映像を構成するフレームのうちの少なくとも一部のフレームについて、前記コンテンツ内におけるフレーム番号を示す内部データを生成するフレーム同期カウンタと、
前記コンテンツの再生中に前記通信部で受信された、前記フレーム番号を示すデータを、前記フレーム同期カウンタで生成された前記内部データと比較するフレーム同期比較部と、
前記コンテンツの再生中に前記通信部で受信された、前記経過時間を示すデータを、前記基準クロックカウンタで生成された前記内部データと比較するクロック比較部と、
前記フレーム同期比較部における比較結果と前記クロック比較部による比較結果を合成して、合成結果に基づいて前記クロック発生部が発生するクロックパルスの周波数を制御する周波数制御部とを備える
ことを特徴とする。
図1は、本発明の実施の形態1によるコンテンツ再生システムを示す。
図示のコンテンツ再生システムは、送信側装置としてのデジタルデータ配信装置10と、受信側装置としての複数のデジタルデータ再生装置11〜14とを有し、配信装置10と、再生装置11〜14は、デジタルバス20で接続されている。図示のコンテンツ再生システムは例えば自動車の中で映像及び音声を視聴するためのリアシートエンタテイメントシステムに用いられる。
このような場合、複数の再生装置11〜14間で画像がずれると、音との同期がずれ違和感が生じる。これを解決するため1フレームもずれない再生を実現することが望まれる。
また、長時間再生してもすべての再生装置11〜14間で画像は1フレームもずれないで再生することが望まれる。
さらにまた、同期が一旦失われた場合に、フレーム飛ばしを行うことなく同期を回復することが望まれる。
本発明の再生システムはこれらの要求に応えようとするものである。
STCカウンタ55は例えば42ビットのカウンタであり、クロックパルスC53が27MHzであれば約162秒で1周する。
同期パケット200のTCPヘッダ201の後のデータフィールド202の中に、例えば16ビットのコンテンツ識別情報203に続き、フレーム同期識別情報204、32ビットのFCR値205、フレーム同期識別情報206、及び42ビットのSCR値が順に配置されている。
FCR値205の識別のための同期識別情報204は、例えば、0x01(「0x」はそれに続く数値が16進数であることを示す)であり、SCR値207の識別のための同期識別情報206は、例えば、0x02である。
図示の再生装置は、通信部101と、分離部102と、クロック発生部103と、デコーダ104と、STCカウンタ105と、STC比較部106と、フレーム同期カウンタ107と、フレーム同期比較部108と、周波数制御部109と、制御部110とを有する。
VCO(Voltage Controlled Oscillator)121は、入力される電圧によりその発振周波数をプラス方向にも(より高い周波数にも)、マイナス方向(より低い周波数にも)調整することができるものであり、矩形波発生部122はVCOの発振周波数で矩形パルスを生成する。
通信部101は、UDPパケットから映像・音声データを含むTSパケットを抜き出し、TSストリームデータを生成してデコーダ104に供給する。
通信部101は、またTCPパケットを分離部102に供給する。
デコーダ104は、映像デコーダ111と音声デコーダ112を有する。映像デコーダ111及び音声デコーダ112は、TSストリームデータをデコードして、映像及び音声をそれぞれ再生する。映像デコーダ111の出力は画面表示部113に供給され、音声デコーダ112の出力はスピーカ114に供給される。
デコーダ104はまた、復号化により再生された映像信号に含まれる1フレーム毎のタイミング信号をフレーム同期カウンタ107に供給する。
分離されたSCRは、STCカウンタ105及びSTC比較部106に供給され、分離されたFCRは、フレーム同期カウンタ107及びフレーム同期比較部108に供給される。
STCカウンタ105は、配信装置10内のSTCカウンタ55と同じく例えば42ビットのカウンタである。
フレーム同期カウンタ107は、配信装置10内のフレーム同期カウンタ56と同じく例えば32ビットのカウンタである。
ΔFTC=FCR−FTC …(1)
式(1)の計算は、例えば、FTCの値が更新(カウントアップ)された時点で、その時のFTCの値及びその時分離部102から出力されているFCRの値を用いて行なわれる。代わりに、分離部102から新たなFCRが分離された時点で、その時のFCRの値と、その時フレーム同期カウンタ107から出力されているFTCの値を用いて行なっても良い。
なお、フレーム同期カウンタ56及びフレーム同期カウンタ107は例えば32ビットを持っており、1つのコンテンツを再生しているうちに最大値に達することはないので、カウント値の一方が最大値から0に戻る事態を考慮しなくても良い。
差分ΔFTCが正の場合はクロック発生部103の出力周波数を高くする方に調整する。
これにより、再生装置11を配信装置10に対しフレーム同期させることができ、その結果、複数の再生装置間でフレームの同期を取ることができる。
ΔSTC=SCR−STC …(2)
で求められる。
但し、STCカウンタ55及びSTCカウンタ105は約162秒で1周するため、STC値及びSCR値が最大値MAX(=242−1=4398046511103)から0に変化するタイミングの前後での計算にはそのことを考慮した調整が必要である。以下、この点を図6及び図7を参照して説明する。
フレームが同期している場合、SCRとSTCの本来の差は、1フレームの周期である1/30秒に相当するカウント値である、
27×106÷30=9×105=Cf
よりも小さくなる。よってまず式(2)によりΔSTCを計算し、計算したΔSTCの絶対値がCf以下であれば、式(2)で求めたΔSTCを正しい値として出力する。ΔSTCの絶対値がCfよりも大きい場合には、STC値とSCR値が最大値MAXから0への変化の境界の反対側に位置すると判断して以下の処理を行う。
ΔSTC=(SCR−MAX)−STC …(3)
により計算しなおす。
ΔSTC=SCR−(STC−MAX) …(4)
により計算しなおす。
一方、(2)、(3)又は(4)により求めた差分値ΔSTCが正のときは(これには図7の場合が含まれる)、STCがSCRに比較して遅れているため、クロック発生部103の出力周波数を高くする方に調整する。
DA変換部132は、STC比較部106から出力される、差分ΔSTCを表すデジタル信号をアナログ信号に変換する。
図8は再生装置11のデコーダ104の再生が速い場合を示す。配信装置10から送信されたFCRがNt+2及びNt+3のときに、再生装置11内で生成されるFTCの値がそれぞれNt+3、Nt+4となっており、
式(1)で求められる差分ΔFTCが「−1」となる。この場合、上記のように、クロック発生部103の出力周波数を低めることでデコーダ104の再生を遅らせ、これにより、フレームのずれ量を0に戻す。
また、1つの再生装置であるコンテンツを再生している状態で、あとから他の再生装置が配信装置に接続された場合にも、これらの再生装置間で同期を取ることができる。後から接続される再生装置が複数個あり、異なるタイミングで接続された場合にも同様に、すべての再生装置間で同期を取ることができる。
さらにまた一旦同期が失われた場合にフレーム飛びを生じさせずに同期を回復することができる。
図10は、本発明の実施の形態2の再生装置を示す。
図10の再生装置は、図3の再生装置と慨して同じであるが以下の点で異なる。
まず、図3のDA変換部131及び132は図10の再生装置には設けられていない。
また、図3のクロック発生部103、STC比較部106、フレーム同期カウンタ107、フレーム同期比較部108、ゲイン調整・合成部133、及び低域フィルタ134の代わりに設けられたクロック発生部103b、STC比較部106b、フレーム同期カウンタ107b、フレーム同期比較部108b、ゲイン調整・合成部133b、及び低域フィルタ134bは、ソフトウェアで、即ちプログラムされたコンピュータで構成されている。
ゲイン調整・合成部133b及び低域フィルタ134bにより本実施の形態の周波数制御部109bが構成されている。
但し、ゲイン調整・合成部133bの出力は、合成結果を示すデジタルデータであり、低域フィルタ134bはデジタルデータの時系列に対して低域通過フィルタリング(時間軸方向のフィルタリング)を行う。
クロック発生部103bは、デジタル制御オシレータで構成されている。デジタル制御オシレータは、ハードウェアで構成されたものであり、デジタル低域フィルタ134bの出力データ(デジタルデータ)に基づき出力の周波数を変化させることができる。
まず、分離部102から出力されているSRCを読み込む(ステップST101)。
次に、STCカウンタ104bからSTCを読み込む(ステップST102)。
次に、SCRからSTCを減算して差分値ΔSTCを求める(ステップST103)。
次に、ΔSTCをCf(=9×105)と比較する(ST104)。
ΔSTC=(SCR−MAX)−STC
により計算しなおし、ステップST107に進む。
差分値ΔSTCを上記の式(4)、即ち、
ΔSTC=SCR−(STC−MAX)
により計算しなおし、ステップST107に進む。
差分値ΔSTCは、実施の形態1と同様、ゲイン調整・合成部133bに供給される。
実施の形態1では、差分値ΔSTCがDA変換部132でDA変換された後ゲイン調整・合成部133に供給されたが、本実施の形態では、そのようなDA変換を受けることなく、直接ゲイン調整・合成部133bに供給される。
まず、フレーム同期比較部108bからΔFTCを読み込む(ST201)。
次に、ΔFTCが0でないかどうかの判定を行う(ST202)。
ΔFTCが0でなければ、ステップST203に進み、
ΔFTCに所定の係数k1を掛けたものを合成結果D133とする。
ステップST203又はステップST205の後、合成結果D133を出力する。合成結果D133は、周波数制御信号として低域フィルタ134bを介してクロック発生部103bに供給される。
クロック発生部103bでは、低域フィルタ134bを介して供給される周波数制御信号に基づき出力周波数が制御される。
上記以外の点では実施の形態2の動作は実施の形態1と同様である。
図13及び図14は、本発明の実施の形態3のデジタルデータ配信装置及びデジタルデータ再生装置を示す。これらは、図1で示されるシステムでそれぞれ配信装置10及び再生装置11〜14として用いることができるものである。
図13の配信装置は図2の配信装置と慨して同じであり、同一又は同様の部材には同一の符号が付してある。
図13の配信装置は、図2のデコーダ54の代わりに、デコーダ64を備え、図2の多重部57及び送信処理部58の代わりにエンコーダ67を備える点で異なる。
図14の配信装置は、図3の分離部102を備えず、代わりにGOP分離部142を備える点で異なる。
配信装置からFCR及びSCRを含むGOP単位のストリームデータがパケット化されて再生装置に送信されるので、再生装置では、映像・音声を表すデータと、同期のためのFCR、SCRが一緒に受信される。
GOP分離部142は、送信されたパケットデータ中のGOPヘッダから、配信装置で埋め込まれたFCRとSCRを分離する。
フレーム同期比較部108におけるFCRとFTCの比較、STC比較部106におけるSCRとSTCの比較は1GOP毎に行われる。GOPは例えば15枚のフレームから成るので、例えば15フレームに1回上記の比較が行われることになる。
Claims (16)
- 所定周波数のクロックパルスを発生するクロック発生部と、
映像及び音声を含むコンテンツを読み出すデータ読み出し部と、
前記データ読み出し部により読み出された前記コンテンツを復号化するデコーダと、
各コンテンツの復号化の開始時にリセットされ、その後前記クロック発生部が発生する前記クロックパルスをカウントすることで、前記コンテンツの前記映像を構成するフレームのうちの少なくとも一部のフレームについて、当該コンテンツの先頭からの経過時間を示すデータを生成する基準クロックカウンタと、
各コンテンツの復号化の開始時にリセットされ、その後前記デコーダにより再生された、前記映像を構成するフレームの数をカウントすることで、前記映像を構成するフレームのうちの少なくとも一部のフレームについて、当該コンテンツ内におけるフレーム番号を示すデータを生成するフレーム同期カウンタと、
前記読み出された前記コンテンツのデータ、並びに前記基準クロックカウンタで生成された前記経過時間を示すデータ及び前記フレーム同期カウンタで生成された前記フレーム番号を示すデータを送信する通信部と
を有することを特徴とするデジタルデータ配信装置。 - 前記データ読み出し部により読み出された前記コンテンツのデータを送信に適した形式のパケットに変換する送信処理部と、
前記基準クロックカウンタで生成された前記経過時間を示すデータと、前記フレーム同期カウンタで生成された前記フレーム番号を示すデータを多重して同期パケットを生成する多重部とをさらに備え、
前記通信部は、前記送信処理部で生成された前記コンテンツのデータを含むパケットと、前記多重部で生成された前記同期パケットとを送信する
ことを特徴とする請求項1に記載のデジタルデータ配信装置。 - 前記基準クロックカウンタは、前記映像を構成するフレームの各々について、前記経過時間を示すデータを生成し、
前記フレーム同期カウンタは、前記映像を構成するフレームの各々について、前記フレーム番号を示すデータを生成する
ことを特徴とする請求項1又は2に記載のデジタルデータ配信装置。 - 前記読み出し部で読み出されたコンテンツが、GOPを単位とするものであり、
前記基準クロックカウンタは、前記GOPの各々の代表フレームについて、前記経過時間を示すデータを生成し、
前記フレーム同期カウンタは、前記GOPの各々の前記代表フレームについて、前記フレーム番号を示すデータを生成し、
前記デコーダにより復号化されたコンテンツのデータを符号化してGOPを単位とするコンテンツの符号化データを生成し、各GOPのGOPヘッダに、当該GOPの前記代表フレームについての前記経過時間を示すデータ及び前記フレーム番号を示すデータを埋め込むエンコーダをさらに備える
ことを特徴とする請求項1に記載のデジタルデータ配信装置。 - 前記コンテンツが、HDD、DVD、USBメモリ、SDメモリカード、CD−ROM、又はブルーレイディスクに蓄積されていることを特徴とする請求項1乃至4のいずれかに記載のデータ配信装置。
- 所定周波数のクロックパルスを発生するクロック発生部と、
映像及び音声を含むコンテンツのデータ、並びに前記映像を構成するフレームのうちの少なくとも一部のフレームについて、当該コンテンツの先頭からの経過時間を示すデータ及び当該コンテンツ内におけるフレーム番号を示すデータを受信する通信部と、
前記クロックパルスに基づいて動作し、前記通信部で受信された前記コンテンツの映像と音声を復号化するデコーダと、
前記通信部で受信されたデータから前記経過時間を示すデータ及び前記フレーム番号を示すデータを分離する分離部と、
前記通信部で受信されたコンテンツのデータに基づく該コンテンツの再生開始時に、前記通信部で受信された前記経過時間を示すデータを初期値としてセットされ、その後前記クロック発生部で発生されるクロックパルスをカウントすることで、前記映像を構成するフレームのうちの少なくとも一部のフレームについて、当該コンテンツの先頭からの経過時間を示す内部データを生成する基準クロックカウンタと、
前記コンテンツの再生開始時に、前記通信部で受信された前記フレーム番号を示すデータを初期値としてセットされ、その後前記デコーダで再生されたフレームの数をカウントすることで、前記映像を構成するフレームのうちの少なくとも一部のフレームについて、前記コンテンツ内におけるフレーム番号を示す内部データを生成するフレーム同期カウンタと、
前記コンテンツの再生中に前記通信部で受信された、前記フレーム番号を示すデータを、前記フレーム同期カウンタで生成された前記内部データと比較するフレーム同期比較部と、
前記コンテンツの再生中に前記通信部で受信された、前記経過時間を示すデータを、前記基準クロックカウンタで生成された前記内部データと比較するクロック比較部と、
前記フレーム同期比較部における比較結果と前記クロック比較部による比較結果を合成して、合成結果に基づいて前記クロック発生部が発生するクロックパルスの周波数を制御する周波数制御部と
を備えることを特徴とするデジタルデータ再生装置。 - 前記基準クロックカウンタは、前記映像を構成するフレームの各々について、前記経過時間を示す前記内部データを生成し、
前記フレーム同期カウンタは、前記映像を構成するフレームの各々について、前記フレーム番号を示す前記内部データを生成する
ことを特徴とする請求項6に記載のデジタルデータ再生装置。 - 前記通信部で受信されるコンテンツのデータが、GOPを単位とするものであり、
前記分離部が、前記コンテンツのデータGOPヘッダから、前記経過時間を示すデータ及び前記フレーム番号を示すデータを分離する
ことを特徴とする請求項6に記載のデジタルデータ再生装置。 - 前記周波数制御部は、
前記フレーム同期比較部における比較結果と前記クロック比較部による比較結果を合成するゲイン調整・混合部と、
前記ゲイン調整・混合部の出力の高域成分を除去する低域フィルタと
を備えることを特徴とする請求項6乃至8のいずれかに記載のデジタルデータ再生装置。 - 請求項1乃至3のいずれかに記載のデジタルデータ配信装置と、
前記デジタルデータ配信装置にデジタルバスで接続された、1又は2以上の、請求項6又は7に記載のデジタルデータ再生装置と
を備える同期再生システム。 - 請求項4に記載のデジタルデータ配信装置と、
前記デジタルデータ配信装置にデジタルバスで接続された、1又は2以上の、請求項8に記載のデジタルデータ再生装置と
を備える同期再生システム。 - 映像及び音声を含むコンテンツを読み出すデータ読み出しステップと、
前記データ読み出しステップで読み出された前記コンテンツを復号化するデコーディングステップと、
各コンテンツの復号化の開始時にリセットされ、その後クロック発生部が発生する所定周波数のクロックパルスをカウントすることで、前記コンテンツの前記映像を構成するフレームのうちの少なくとも一部のフレームについて、当該コンテンツの先頭からの経過時間を示すデータを生成する経過時間データ生成ステップと、
各コンテンツの復号化の開始時にリセットされ、その後前記デコーディングステップにより再生された、前記映像を構成するフレームの数をカウントすることで、前記映像を構成するフレームのうちの少なくとも一部のフレームについて、当該コンテンツ内におけるフレーム番号を示すデータを生成するフレーム番号データ生成ステップと、
前記読み出された前記コンテンツのデータ、並びに前記経過時間データ生成ステップで生成された前記経過時間を示すデータ及び前記フレーム番号データ生成ステップで生成された前記フレーム番号を示すデータを送信する通信ステップと
を有するデジタルデータ配信方法。 - 映像及び音声を含むコンテンツのデータ、並びに前記映像を構成するフレームのうちの少なくとも一部のフレームについて、当該コンテンツの先頭からの経過時間を示すデータ及び当該コンテンツ内におけるフレーム番号を示すデータを受信する通信ステップと、
クロック発生部で発生された所定周波数のクロックパルスに基づいて動作し、前記通信部で受信された前記コンテンツの映像と音声を復号化するデコーディングステップと、
前記通信ステップで受信されたデータから前記経過時間を示すデータ及び前記フレーム番号を示すデータを分離する分離ステップと、
前記通信ステップで受信されたコンテンツのデータに基づく該コンテンツの再生開始時に、前記通信ステップで受信された前記経過時間を示すデータを初期値としてセットされ、その後前記クロック発生部で発生されるクロックパルスをカウントすることで、前記映像を構成するフレームのうちの少なくとも一部のフレームについて、当該コンテンツの先頭からの経過時間を示す内部データを生成する経過時間データ生成ステップと、
前記コンテンツの再生開始時に、前記通信ステップで受信された前記フレーム番号を示すデータを初期値としてセットされ、その後前記デコーディングステップで再生されたフレームの数をカウントすることで、前記映像を構成するフレームのうちの少なくとも一部のフレームについて、前記コンテンツ内におけるフレーム番号を示す内部データを生成するフレーム番号データ生成ステップと、
前記コンテンツの再生中に前記通信ステップで受信された、前記フレーム番号を示すデータを、前記フレーム番号データ生成ステップで生成された前記内部データと比較するフレーム同期比較ステップと、
前記コンテンツの再生中に前記通信部で受信された、前記経過時間を示すデータを、前記経過時間データ生成ステップで生成された前記内部データと比較するクロック比較ステップと、
前記フレーム同期比較ステップにおける比較結果と前記クロック比較ステップによる比較結果を合成して、合成結果に基づいて前記クロック発生部が発生するクロックパルスの周波数を制御する周波数制御ステップと
を備えることを特徴とするデジタルデータ再生方法。 - 請求項12に記載のデジタルデータ配信方法をコンピュータに実行させるためのプログラム。
- 請求項13に記載のデジタルデータ再生方法をコンピュータに実行させるためのプログラム。
- 請求項14又は15に記載のプログラムを記録したコンピュータで読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014509086A JP5642319B2 (ja) | 2012-04-04 | 2013-03-06 | デジタルデータ配信装置及び方法、及びデジタルデータ再生装置及び方法、同期再生システム、プログラム、並びに記録媒体 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012085271 | 2012-04-04 | ||
JP2012085271 | 2012-04-04 | ||
JP2014509086A JP5642319B2 (ja) | 2012-04-04 | 2013-03-06 | デジタルデータ配信装置及び方法、及びデジタルデータ再生装置及び方法、同期再生システム、プログラム、並びに記録媒体 |
PCT/JP2013/056090 WO2013150852A1 (ja) | 2012-04-04 | 2013-03-06 | デジタルデータ配信装置及び方法、及びデジタルデータ再生装置及び方法、同期再生システム、プログラム、並びに記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5642319B2 true JP5642319B2 (ja) | 2014-12-17 |
JPWO2013150852A1 JPWO2013150852A1 (ja) | 2015-12-17 |
Family
ID=49300350
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014509086A Expired - Fee Related JP5642319B2 (ja) | 2012-04-04 | 2013-03-06 | デジタルデータ配信装置及び方法、及びデジタルデータ再生装置及び方法、同期再生システム、プログラム、並びに記録媒体 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10171710B2 (ja) |
JP (1) | JP5642319B2 (ja) |
CN (1) | CN104205860B (ja) |
DE (1) | DE112013001880T5 (ja) |
WO (1) | WO2013150852A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6360324B2 (ja) * | 2014-02-20 | 2018-07-18 | 株式会社イシダ | 表示システム |
KR102595903B1 (ko) * | 2016-08-26 | 2023-10-30 | 삼성전자주식회사 | 모뎀 칩, 이를 포함하는 어플리케이션 프로세서 및 모뎀 칩의 동작방법 |
US11586413B2 (en) * | 2018-10-05 | 2023-02-21 | Google Llc | Synchronous sounds for audio assistant on devices |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000322039A (ja) * | 1999-05-13 | 2000-11-24 | Mitsubishi Electric Corp | 表示装置、制御装置および多画面表示システム |
JP2000338944A (ja) * | 1999-05-26 | 2000-12-08 | Mitsubishi Electric Corp | マルチディスプレイビデオ表示装置 |
JP2003173614A (ja) * | 2001-01-12 | 2003-06-20 | Matsushita Electric Ind Co Ltd | ディスク再生システム、および表示装置 |
JP2005102193A (ja) * | 2003-09-02 | 2005-04-14 | Sony Corp | コンテンツ受信装置、ビデオオーディオ出力タイミング制御方法及びコンテンツ提供システム |
WO2006025093A1 (ja) * | 2004-08-30 | 2006-03-09 | Mitsubishi Denki Kabushiki Kaisha | 画面同期制御装置 |
JP2008090080A (ja) * | 2006-10-03 | 2008-04-17 | Canon Inc | 表示制御装置、表示システム、及び表示制御方法 |
JP2008096746A (ja) * | 2006-10-12 | 2008-04-24 | Canon Inc | 表示制御装置、表示装置、及びマルチディスプレイシステム |
JP2008197383A (ja) * | 2007-02-13 | 2008-08-28 | Seiko Epson Corp | マルチディスプレイシステム、画像表示装置、画像表示方法及び画像表示プログラム |
JP2010057069A (ja) * | 2008-08-29 | 2010-03-11 | Sony Corp | 映像表示装置、映像表示システムおよび映像表示方法 |
WO2012077392A1 (ja) * | 2010-12-10 | 2012-06-14 | 三菱電機株式会社 | マルチ画面表示システム |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09205618A (ja) * | 1996-01-29 | 1997-08-05 | Mitsubishi Electric Corp | 動画像音声伸張再生装置および動画像音声同期制御器 |
JPH09321687A (ja) | 1996-05-27 | 1997-12-12 | Fujitsu Ltd | 無線通信機器 |
DE60041470D1 (de) * | 1999-05-11 | 2009-03-19 | Canon Kk | Verfahren und Vorrichtung zur Synchronisierung zwischen zwei Netzwerken |
US6754234B1 (en) * | 1999-05-21 | 2004-06-22 | Ati International Srl | Method and apparatus for asynchronous frame synchronization |
JP2000350182A (ja) | 1999-06-01 | 2000-12-15 | Ricoh Co Ltd | 動画配信システム |
KR100323666B1 (ko) * | 1999-08-12 | 2002-02-07 | 구자홍 | 모니터의 클럭위상 보상장치 및 방법 |
EP1223755A3 (en) | 2001-01-12 | 2004-08-18 | Matsushita Electric Industrial Co., Ltd. | Disc playback system and display unit |
JP4532027B2 (ja) | 2001-07-02 | 2010-08-25 | 株式会社リコー | 配信サーバー |
US7379653B2 (en) * | 2002-02-20 | 2008-05-27 | The Directv Group, Inc. | Audio-video synchronization for digital systems |
KR100442286B1 (ko) * | 2002-02-25 | 2004-07-30 | 엘지전자 주식회사 | 디지털 방송 수신기의 색재현 오차 보상 장치 및 방법 |
JP2004172725A (ja) * | 2002-11-18 | 2004-06-17 | Sony Corp | 映像信号処理システム、映像信号処理装置および方法、記録媒体、並びにプログラム |
JP4214454B2 (ja) * | 2002-12-13 | 2009-01-28 | ソニー株式会社 | 映像信号処理システム、映像信号処理装置および方法、記録媒体、並びにプログラム |
US7250987B2 (en) * | 2004-02-06 | 2007-07-31 | Broadcom Corporation | Method and system for an integrated VSB/QAM/NTSC/OOB plug-and-play DTV receiver |
JP2006310964A (ja) | 2005-04-26 | 2006-11-09 | Canon Inc | 通信端末装置及びその制御方法、並びにプログラム |
JP2006325082A (ja) | 2005-05-20 | 2006-11-30 | Canopus Co Ltd | 動画データ編集装置および方法 |
JP2007104347A (ja) | 2005-10-05 | 2007-04-19 | Matsushita Electric Ind Co Ltd | 音声伝送システムにおけるクロック同期システム及び方法 |
US7995143B2 (en) * | 2006-02-10 | 2011-08-09 | Qualcomm Incorporated | Wireless video link synchronization |
CN101872209B (zh) | 2006-02-15 | 2013-08-14 | 克罗诺洛吉克有限公司 | 分布式同步和定时*** |
US20080211825A1 (en) | 2006-10-12 | 2008-09-04 | Canon Kabushiki Kaisha | Display control apparatus, display apparatus, display control method, and display processing method |
JP5209882B2 (ja) | 2007-02-07 | 2013-06-12 | 株式会社シービット | 番組配信システムおよび番組配信プログラム |
CN101731011B (zh) * | 2007-05-11 | 2014-05-28 | 奥迪耐特有限公司 | 用于设置接收器延迟时间的方法 |
GB2453767A (en) * | 2007-10-19 | 2009-04-22 | Toumaz Technology Ltd | Automatic frequency correction in a frequency shift keying recevier |
US20090109988A1 (en) * | 2007-10-26 | 2009-04-30 | Chowdhary Musunuri | Video Decoder with an Adjustable Video Clock |
FR2930396A1 (fr) | 2008-04-21 | 2009-10-23 | Thomson Licensing Sas | Marquage temporel associe a une synchronisation d'equipements connectes a un reseau |
WO2010023828A1 (ja) * | 2008-08-29 | 2010-03-04 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理システムおよび情報処理装置 |
CN101721011A (zh) | 2008-10-15 | 2010-06-09 | 糜鹤云 | 一种可更换填充物的鞋垫 |
WO2010134482A1 (ja) * | 2009-05-22 | 2010-11-25 | 株式会社メガチップス | 動画像再生システムおよび動画像再生方法 |
JP2011035578A (ja) | 2009-07-31 | 2011-02-17 | Panasonic Corp | 送信装置、受信装置及び伝送システム |
JP5767638B2 (ja) * | 2009-08-07 | 2015-08-19 | テレフオンアクチーボラゲット エル エム エリクソン(パブル) | MPEG(MovingPicturesExpertGroup)トランスポートストリーム(MPEG−TS)のチャンネル選局を行う装置及び方法 |
JP5471218B2 (ja) | 2009-09-14 | 2014-04-16 | 住友電気工業株式会社 | 路車間通信システム、及び車載機 |
CN101783868B (zh) * | 2010-03-24 | 2012-01-11 | 北京邮电大学 | 一种利用视频同步信号线传输用户数据的方法 |
-
2013
- 2013-03-06 DE DE201311001880 patent/DE112013001880T5/de active Pending
- 2013-03-06 US US14/380,016 patent/US10171710B2/en active Active
- 2013-03-06 WO PCT/JP2013/056090 patent/WO2013150852A1/ja active Application Filing
- 2013-03-06 JP JP2014509086A patent/JP5642319B2/ja not_active Expired - Fee Related
- 2013-03-06 CN CN201380016812.9A patent/CN104205860B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000322039A (ja) * | 1999-05-13 | 2000-11-24 | Mitsubishi Electric Corp | 表示装置、制御装置および多画面表示システム |
JP2000338944A (ja) * | 1999-05-26 | 2000-12-08 | Mitsubishi Electric Corp | マルチディスプレイビデオ表示装置 |
JP2003173614A (ja) * | 2001-01-12 | 2003-06-20 | Matsushita Electric Ind Co Ltd | ディスク再生システム、および表示装置 |
JP2005102193A (ja) * | 2003-09-02 | 2005-04-14 | Sony Corp | コンテンツ受信装置、ビデオオーディオ出力タイミング制御方法及びコンテンツ提供システム |
WO2006025093A1 (ja) * | 2004-08-30 | 2006-03-09 | Mitsubishi Denki Kabushiki Kaisha | 画面同期制御装置 |
JP2008090080A (ja) * | 2006-10-03 | 2008-04-17 | Canon Inc | 表示制御装置、表示システム、及び表示制御方法 |
JP2008096746A (ja) * | 2006-10-12 | 2008-04-24 | Canon Inc | 表示制御装置、表示装置、及びマルチディスプレイシステム |
JP2008197383A (ja) * | 2007-02-13 | 2008-08-28 | Seiko Epson Corp | マルチディスプレイシステム、画像表示装置、画像表示方法及び画像表示プログラム |
JP2010057069A (ja) * | 2008-08-29 | 2010-03-11 | Sony Corp | 映像表示装置、映像表示システムおよび映像表示方法 |
WO2012077392A1 (ja) * | 2010-12-10 | 2012-06-14 | 三菱電機株式会社 | マルチ画面表示システム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2013150852A1 (ja) | 2015-12-17 |
DE112013001880T5 (de) | 2015-01-08 |
US10171710B2 (en) | 2019-01-01 |
CN104205860A (zh) | 2014-12-10 |
US20150062431A1 (en) | 2015-03-05 |
WO2013150852A1 (ja) | 2013-10-10 |
CN104205860B (zh) | 2017-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101132043B1 (ko) | 디코더 장치 및 디코드 방법 | |
CN101076121B (zh) | 流生成装置、成像装置、数据处理装置和流生成方法 | |
JPH11205696A (ja) | 映像伝送装置及び映像伝送方法 | |
JP2007053668A (ja) | 動画配信システムおよび動画配信サーバー | |
US20070286245A1 (en) | Digital signal processing apparatus and data stream processing method | |
JP2007124044A (ja) | 基準クロック再生回路及びデータ受信装置 | |
JP5642319B2 (ja) | デジタルデータ配信装置及び方法、及びデジタルデータ再生装置及び方法、同期再生システム、プログラム、並びに記録媒体 | |
JP4096915B2 (ja) | デジタル情報再生装置及び方法 | |
JP2004040579A (ja) | デジタル放送受信装置、およびデジタル放送同期再生方法 | |
JP4850041B2 (ja) | 映像再生システム、映像再生の同期方法および映像再生端末 | |
JP4690965B2 (ja) | データ記録再生装置 | |
JP2011004015A (ja) | 再生装置およびコンテンツ再生方法 | |
JP6801668B2 (ja) | コンテンツ再生装置、およびコンテンツ再生方法 | |
JP2002290910A (ja) | マルチメディア情報記録再生装置 | |
US10262690B2 (en) | Signal processing device, signal processing system, signal processing method, and program | |
TWI743774B (zh) | 音訊與視訊同步方法與相關的裝置 | |
JP2011205439A (ja) | 再生装置および再生方法 | |
JP4998574B2 (ja) | 映像音声記録装置 | |
JP2007201797A (ja) | 伝送システム及び映像出力方法 | |
KR100527427B1 (ko) | 고출력 및 고음질의 오디오를 재생하는 동영상 재생장치및 방법 | |
JP4390666B2 (ja) | 圧縮映像データ及び圧縮音声データの復号再生方法及び復号再生装置 | |
JP2011035578A (ja) | 送信装置、受信装置及び伝送システム | |
JP2005026854A (ja) | ディジタル記録再生装置及び再生レート制御方法 | |
JP2001177833A (ja) | データ復号装置及びデータ復号方法 | |
JP2007150845A (ja) | データ再生装置,データ再生方法およびそのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140930 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141028 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5642319 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |