JP5933744B2 - 映像音声再生システム、映像表示装置、及び音声出力装置 - Google Patents

映像音声再生システム、映像表示装置、及び音声出力装置 Download PDF

Info

Publication number
JP5933744B2
JP5933744B2 JP2014544358A JP2014544358A JP5933744B2 JP 5933744 B2 JP5933744 B2 JP 5933744B2 JP 2014544358 A JP2014544358 A JP 2014544358A JP 2014544358 A JP2014544358 A JP 2014544358A JP 5933744 B2 JP5933744 B2 JP 5933744B2
Authority
JP
Japan
Prior art keywords
audio
video
frame number
reproduction
decoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014544358A
Other languages
English (en)
Other versions
JPWO2014069081A1 (ja
Inventor
松尾 英治
英治 松尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP5933744B2 publication Critical patent/JP5933744B2/ja
Publication of JPWO2014069081A1 publication Critical patent/JPWO2014069081A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • H04N5/06Generation of synchronising signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341Demultiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Television Receiver Circuits (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Details Of Television Systems (AREA)

Description

本発明は、コンテンツの映像及び音声を再生する映像音声再生システム、並びに映像表示装置及び音声出力装置に関する。本発明は特に、映像表示装置と音声出力装置とを有し、映像表示装置から音声出力装置へ音声を表す信号が無線で伝送されるシステムにおいて、映像の表示と音声の出力の同期化に関する。
従来の同様のシステムとして、テレビ装置からスピーカ付きリモコンへ音声信号を送信して、音声の出力と映像の表示を同期化するために、テレビ装置において無線通信信号が生成されるまでの時間Ta、無線通信信号がリモコンまで送信されるに要する時間Tb、リモコンにおいてスピーカで出力されるまでの時間Tcを予測乃至算出し、これらの時間の合計Tdだけ、テレビ装置における映像の表示を遅らせるものが知られている(特許文献1〜4)。
特開2008−219818号公報(段落0154、0162〜0169) 特開2008−219819号公報(段落0143、0144、0151〜0157) 特開2008−219820号公報(段落0141、0149〜0156) 特開2008−219821号公報(段落0141、0149〜0156)
しかしながら、上記の従来のシステムでは、予測乃至算出した時間Ta、Tb、Tcに基づいて求められた合計Tdが実際に要する時間と異なる場合に、映像の表示と音声の出力との間にずれが生じると言う問題があった。
本発明の一つの態様の映像音声再生システムは、
映像表示装置と、音声出力装置とを有し、
前記映像表示装置で映像を表示するとともに、前記映像と同期して出力すべき音声を表す音声信号を前記音声出力装置に無線で送信し、
前記音声出力装置において、前記音声信号で表される音声を出力する
映像音声再生システムにおいて、
前記映像表示装置は、
前記映像を表す映像データを一時的に蓄える映像データバッファと、
前記映像データバッファに蓄えられた前記映像データを逐次読み込んでデコードし、映像信号を出力する映像デコーダーと、
前記映像デコーダーでデコードされた映像のフレーム番号を再生映像フレーム番号として生成する再生映像フレーム番号生成部と、
前記音声を表す音声データを一時的に蓄える音声データバッファと、
前記音声データバッファに蓄えられた前記音声データを逐次読み込んでデコードし、音声信号を出力する音声デコーダーと、
前記音声デコーダーでデコードされた音声のフレーム番号を再生音声フレーム番号として生成する再生音声フレーム番号生成部と、
前記音声デコーダーから出力された前記音声信号と、前記再生音声フレーム番号生成部で生成された前記再生音声フレーム番号とを互いに関連付けて無線送信する無線送信部とを備え、
前記音声出力装置は、
前記無線送信部から無線送信された前記音声信号及び前記再生音声フレーム番号を受信する無線受信部と、
前記無線受信部で受信された前記再生音声フレーム番号を復元して出力する再生音声フレーム番号復元部と、
前記再生音声フレーム番号復元部で復元された前記再生音声フレーム番号を前記映像表示装置に無線送信する無線送信部とを有し、
前記映像表示装置は、
前記音声出力装置から無線送信された前記再生音声フレーム番号に、前記再生映像フレーム番号生成部で生成された前記再生映像フレーム番号が一致するように、前記映像デコーダーにおけるデコードのタイミングを制御するタイミング制御部をさらに有し、
前記再生音声フレーム番号生成部で生成される前記再生音声フレーム番号が、所定の下限値から所定の上限値までの範囲内で循環的に変化する値を表すものである
ことを特徴とする。
本発明の他の態様の映像音声再生システムは、
映像表示装置と、音声出力装置とを有し、
前記映像表示装置で映像を表示するとともに、前記映像と同期して出力すべき音声を表す音声信号を前記音声出力装置に無線で送信し、
前記音声出力装置において、前記音声信号で表される音声を出力する
映像音声再生システムにおいて、
前記映像表示装置は、
前記映像を表す映像データを一時的に蓄える映像データバッファと、
前記映像データバッファに蓄えられた前記映像データを逐次読み込んでデコードし、映像信号を出力する映像デコーダーと、
前記映像デコーダーでデコードされた映像のフレーム番号を再生映像フレーム番号として生成する再生映像フレーム番号生成部と、
前記音声を表す音声データを一時的に蓄える音声データバッファと、
前記音声データバッファに蓄えられた前記音声データを逐次読み込んでデコードし、音声信号を出力する音声デコーダーと、
前記音声デコーダーでデコードされた音声のフレーム番号を再生音声フレーム番号として生成する再生音声フレーム番号生成部と、
前記音声デコーダーから出力された前記音声信号と、前記再生音声フレーム番号生成部で生成された前記再生音声フレーム番号とを互いに関連付けて無線送信する無線送信部とを備え、
前記音声出力装置は、
前記無線送信部から無線送信された前記音声信号及び前記再生音声フレーム番号を受信する無線受信部と、
前記無線受信部で受信された前記再生音声フレーム番号を復元して出力する再生音声フレーム番号復元部と、
前記再生音声フレーム番号復元部で復元された前記再生音声フレーム番号を前記映像表示装置に無線送信する無線送信部とを有し、
前記映像表示装置は、
前記音声出力装置から無線送信された前記再生音声フレーム番号に、前記再生映像フレーム番号生成部で生成された前記再生映像フレーム番号が一致するように、前記映像デコーダーにおけるデコードのタイミングを制御するタイミング制御部をさらに有し、
前記映像表示装置は、
前記再生音声フレーム番号に対応する周波数の正弦波を生成するための正弦波発信器と、
前記音声デコーダーから出力された前記音声信号と前記正弦波発信器で生成された前記正弦波を多重して多重音声信号を出力する音声多重器と、
前記音声多重器から出力された前記多重音声信号をエンコードしてデジタルデータストリームを出力する無線通信用エンコーダーとを備え、
前記映像表示装置の前記無線送信部は、
前記無線通信用エンコーダーから出力される前記デジタルデータストリームを前記音声出力装置に無線伝送する
ことを特徴とする。
本発明のさらに他の態様の映像表示装置は、
映像を表示するとともに、前記映像と同期して出力すべき音声を表す音声信号を無線で送信する、映像表示装置において、
前記映像を表す映像データを一時的に蓄える映像データバッファと、
前記映像データバッファに蓄えられた前記映像データを逐次読み込んでデコードし、映像信号を出力する映像デコーダーと、
前記映像デコーダーでデコードされた映像のフレーム番号を再生映像フレーム番号として生成する再生映像フレーム番号生成部と、
前記音声を表す音声データを一時的に蓄える音声データバッファと、
前記音声データバッファに蓄えられた前記音声データを逐次読み込んでデコードし、音声信号を出力する音声デコーダーと、
前記音声デコーダーでデコードされた音声のフレーム番号を再生音声フレーム番号として生成する再生音声フレーム番号生成部と、
前記音声デコーダーから出力された前記音声信号と、前記再生音声フレーム番号生成部で生成された前記再生音声フレーム番号とを互いに関連付けて無線送信する無線送信部とを備え、
前記再生音声フレーム番号生成部で生成される前記再生音声フレーム番号が、所定の下限値から所定の上限値までの範囲内で循環的に変化する値を表すものである
ことを特徴とする。
本発明のさらに他の態様の映像表示装置は、
映像を表示するとともに、前記映像と同期して出力すべき音声を表す音声信号を無線で送信する、映像表示装置において、
前記映像を表す映像データを一時的に蓄える映像データバッファと、
前記映像データバッファに蓄えられた前記映像データを逐次読み込んでデコードし、映像信号を出力する映像デコーダーと、
前記映像デコーダーでデコードされた映像のフレーム番号を再生映像フレーム番号として生成する再生映像フレーム番号生成部と、
前記音声を表す音声データを一時的に蓄える音声データバッファと、
前記音声データバッファに蓄えられた前記音声データを逐次読み込んでデコードし、音声信号を出力する音声デコーダーと、
前記音声デコーダーでデコードされた音声のフレーム番号を再生音声フレーム番号として生成する再生音声フレーム番号生成部と、
前記音声デコーダーから出力された前記音声信号と、前記再生音声フレーム番号生成部で生成された前記再生音声フレーム番号とを互いに関連付けて無線送信する無線送信部と、
前記再生音声フレーム番号に対応する周波数の正弦波を生成するための正弦波発信器と、
前記音声デコーダーから出力された前記音声信号と前記正弦波発信器で生成された前記正弦波を多重して多重音声信号を出力する音声多重器と、
前記音声多重器から出力された前記多重音声信号をエンコードしてデジタルデータストリームを出力する無線通信用エンコーダーとを備え、
前記無線送信部は、
前記無線通信用エンコーダーから出力される前記デジタルデータストリームを音声出力装置に無線伝送する
ことを特徴とする。
本発明のさらに他の態様の音声出力装置は、
映像表示装置の無線送信部から無線で送信された音声信号と、前記映像表示装置で映像データをデコードする際に生成された再生音声フレーム番号を受信し、前記音声信号で表される音声を出力する音声出力装置において、
前記無線送信部から無線送信された前記音声信号及び前記再生音声フレーム番号を受信する無線受信部と、
前記無線受信部で受信された前記再生音声フレーム番号を復元して出力する再生音声フレーム番号復元部と、
前記再生音声フレーム番号復元部で復元された前記再生音声フレーム番号を前記映像表示装置に無線送信する無線送信部とを有し、
前記映像表示装置は、
前記音声出力装置から無線送信された前記再生音声フレーム番号に、前記映像表示装置で生成される再生映像フレーム番号が一致するように、前記映像表示装置における前記映像データのデコードのタイミングを制御するタイミング制御部と、
前記再生音声フレーム番号に対応する周波数の正弦波を生成するための正弦波発信器と、
前記映像表示装置の前記無線送信部から無線送信された前記音声信号と前記正弦波発信器で生成された前記正弦波を多重して多重音声信号を出力する音声多重器と、
前記音声多重器から出力された前記多重音声信号をエンコードしてデジタルデータストリームを出力する無線通信用エンコーダーとを備え、
前記映像表示装置の前記無線送信部は、
前記無線通信用エンコーダーから出力される前記デジタルデータストリームを前記音声出力装置に無線伝送し、
前記再生音声フレーム番号復元部は、
前記正弦波の周波数を計測する周波数計測器と、
前記計測した周波数に基づき対応するフレームカウント値を算出するカウント値演算部とを備え、
前記カウント値演算部で算出されたフレームカウント値が前記復元された再生音声フレーム番号として用いられる
ことを特徴とする。

本発明によれば、映像表示装置から音声出力装置への送信などのための遅れが予測できなくても、また変動しても、映像の表示と音声の出力を同期させることができる。
本発明の映像音声再生システムを示す概略図である。 本発明の実施の形態1で用いられるテレビ装置の構成例を示すブロック図である。 実施の形態1で用いられるヘッドホンの構成例を示すブロック図である。 本発明の実施の形態2で用いられるテレビ装置の構成例を示すブロック図である。 実施の形態2で用いられるヘッドホンの構成例を示すブロック図である。 (a)及び(b)は、実施の形態2のデジタル変調の一例として、ASK変調を行う場合の搬送波及び変調波の波形を示す図である。 (a)及び(b)は、ASK変調を行う場合に用いられる変調器及び復調器の構成例を示すブロック図である。 (a)及び(b)は、実施の形態2のデジタル変調の他の例として、FSK変調を行う場合の搬送波及び変調波の波形を示す図である。 (a)及び(b)は、FSK変調を行う場合に用いられる変調器及び復調器の構成例を示すブロック図である。 (a)及び(b)は、実施の形態2のデジタル変調のさらに他の例として、QPSK変調を行う場合の搬送波及び変調波の波形を示す図である。 QPSK変調を行う場合のデジタルデータの4つの値それぞれ割り当てられる、異なる位相の波形を示す図である。 QPSK変調を行う場合のデジタルデータの4つの値それぞれ割り当てられる、異なる位相を示す図である。 (a)及び(b)は、QPSK変調を行う場合に用いられる変調器及び復調器の構成例を示すブロック図である。 本発明の実施の形態3で用いられるテレビ装置の構成例を示すブロック図である。 本発明の実施の形態3で用いられるヘッドホンの構成例を示すブロック図である。
実施の形態1.
図1は本発明に係る映像音声再生システムを示す。
図示の映像音声再生システムは、音声送信側装置乃至映像表示装置としてのテレビ装置10と、音声受信側装置乃至音声出力装置としての無線音声伝送ヘッドホン20とを有する。
図1のシステムでは、例えばテレビ放送をテレビ装置10で受信して映像を表示画面11で表示するとともに、音声をヘッドホン20で出力して、テレビ放送の視聴を行う。音声信号は、テレビ装置10からヘッドホン20に無線伝送される。
図2は、図1のテレビ装置10の一例を示す。図示のテレビ装置10は、映像出力装置100と、表示部150とを備える。映像出力装置100は、チューナ101と、復調器102と、TSデコーダー103と、映像データバッファ105と、映像デコーダー106と、音声データバッファ107と、音声デコーダー108と、基準時刻生成部111と、フレームカウンター114と、フレームカウンター116と、正弦波発信器117と、音声多重器119と、無線通信用エンコーダー121と、無線送信部122と、無線受信部131と、カウント値再生部132と、カウント値比較器133と、調整値算出器134と、CPU140とを備えている。
チューナ101は、テレビ装置10に入力されたデジタル放送波のうち、指定されたチャンネルの放送波を選択して出力する。
復調器102は、チューナ101で選択されたデジタル放送波を復調して復調信号を生成する。デジタル放送波は、例えばMPEG−TS方式で、同時に再生されるべき映像と音声(同じコンテンツの映像と音声)を多重したものである。
TSデコーダー103は、復調器102で生成された復調信号をデコードし、映像データと音声データを分離する。映像データ及び音声データには、デコードを開始する時間を記述したタイムスタンプと、出力を開始する時間を記述したタイムスタンプとが含まれている。
このデコードを開始する時間を記述したタイムスタンプを、DTS(Decoding Time Stamp:復号時刻タイムスタンプ)と呼び、出力を開始する時間を記述したタイムスタンプを、PTS(Presentation Time Stamp:表示時刻タイムスタンプ)と呼ぶ。
DTS及びPTSは、映像及び音声に付けられているため、通常は、映像と音声をDTSで表される時刻にデコードを開始し、PTSで表される時刻に映像の表示、及び音声の出力を行えた、映像の表示と音声の出力を同期させることができる。しかしながら、本発明の映像音声再生システムでは、映像の表示が行われるテレビ装置10から、音声の出力が行われるヘッドホン20へ無線で音声信号を伝送する構成となっているため、上記のようにしても映像の表示と音声の出力との間にずれが生じる。本発明はこのずれをなくすことを目的とする。
映像データバッファ105は、映像データを一時的に記憶する。映像デコーダー106は、映像データバッファ105に記憶されている映像データを逐次読み込んでデコードし、映像信号を表示部150に出力する。表示部150では表示画面(図1の符号11)に映像を表示する。
音声データバッファ107は、音声データを一時的に記憶する。音声デコーダー108は音声データバッファ107に記憶されている音声データを逐次読み込んでデコードし、音声信号を出力する。
基準時刻生成部111は、映像デコーダー106による映像デコード及び音声デコーダー108による音声デコードのための基準クロック及び基準時刻情報を発生する。
基準時刻生成部111は、放送されるコンテンツのデータに付加されているPCR(Program Clock Reference)に同期するように制御される。従って、基準時刻生成部111で生成される基準時刻情報PCRaは、放送されたコンテンツに付加されたPCRに同期したものである。
映像デコーダー106による映像データのデコード、及び映像の出力のタイミングは、基準クロック及び基準時刻情報PCRa、並びに映像データに付加されているDTS及びPTSにより制御される。即ち、基準時刻生成部111で生成される基準時刻情報PCRaが、各フレームの映像データに付加されているDTS、PTSに合致する値となったときに、当該映像についてのデコード及び出力(表示)が行われるように制御される。
音声デコーダー108による音声データのデコード、及び音声信号の出力のタイミングは、基準時刻生成部111から出力される基準クロック及び基準時刻情報PCRa、並びに音声データに付加されているDTS及びPTSにより制御される。即ち、基準時刻生成部111で生成される基準時刻情報PCRaが、各フレームの音声データ(各フレームの映像に対応する音声のデータ)に付加されているDTS、PTSに合致する値となったときに、当該音声についてのデコード及び出力(音声信号の音声デコーダー108からの出力)が行われるように制御される。
CPU140は、ソフトウエアによる演算処理、及びテレビ装置10の全体に対する、ソフトウエアによる制御を行う。CPU140から各部への制御信号が符号CSaで示されている。
以上の処理ブロックは、従来のテレビ装置10にも通常備えられているものである。一方、以下に説明する処理ブロックは本発明で、映像表示と音声出力の同期化のために追加されたものである。
フレームカウンター114は、映像デコーダー106でデコードされた映像のフレームをカウントし、カウント値を映像のフレーム番号(を示す情報)VCとして出力する。
フレームカウンター116は、音声デコーダー108で音声をデコードする際に、デコードされる音声のフレーム(音声にに対応する映像、即ち当該音声の出力と同時に表示されるべき映像のフレーム)をカウントして、カウント値を音声のフレーム番号(を表す情報)ACとして出力する。
上記のように、映像データ及び音声データのいずれにもDTS、PTSが付加されているので、映像データに付加されているDTS、PTSに基づいて映像のフレームを計数することができ、音声データに付加されているDTS、PTSに基づいて音声のフレームを計数することができる。
以下に説明するように、本システムにおいて、映像の表示と音声の出力が同期した状態では、音声デコーダー108においてデコードされている音声のフレーム番号ACは、同時に映像デコーダー106でデコードされている映像のフレーム番号VCよりも若い番号のもの、即ち、より早く出力されるべき音声を表すものとなり、映像データバッファ105に蓄えられている映像データのフレーム数は、音声データバッファ107に蓄えられている音声データの音声に対応する映像のフレーム数よりも多くなる。
上記のように、フレームカウンター114のフレームカウント値は、デコードされた映像のフレーム番号を表すものであり、本願では再生映像フレーム番号と言うこともあり、フレームカウンター114を再生映像フレーム番号生成部と言うこともある。
同様に、フレームカウンター116のフレームカウント値は、デコードされた音声のフレーム番号を表すものであり、本願では再生音声フレーム番号と言うこともあり、フレームカウンター116を再生音声フレーム番号生成部と言うこともある。
正弦波発信器117は、フレームカウンター116のフレームカウント値ACに応じた周波数の正弦波信号を生成する。この正弦波信号の周波数は、音声帯域内のもの、特に音声デコーダー108で処理される音声信号で表される音声の周波数の範囲内のものであり、フレームカウント値ACが切り替わる(増加する)毎に切り替わる。
フレームカウンター116は、例えば所定の下限値、例えばゼロから所定の上限値までカウントアップし、上限値に達するとゼロにリセットされ、以降カウントアップとリセットを繰り返すもの、即ちカウント値が下限値から上限値までの範囲内で循環的に変化するものである。例えばフレームカウンター116のカウント値は、16ビットで表され、下限値は0、上限値は65535である。
正弦波発信器117では、予めカウント値に対して周波数を対応付けて記憶しており、例えばカウント値が0であれば、100Hz、カウント値が65535であれば、10kHzの周波数を発信する。カウント値が0から65535の間では、カウント値が1増加する毎に周波数が(10kHz−100Hz)/65535≒0.15Hz上昇する。
カウント値に対応付けられた周波数は音声帯域内のもの、特に音声デコーダー108で処理される音声の周波数範囲内のものであるので、音声デコーダー108でデコードされた音声と同じ方法で無線伝送することができる。
音声信号が複数のチャンネルの音声を表すものである場合、カウント値を分割して複数のチャンネルに割り当てても良い。例えば、音声が第1及び第2のチャンネルを有する場合、カウント値のうちの前半(0から32767)までを第1のチャンネルの周波数100Hzから10kHzに割り当て、後半(32768から65535まで)を第2のチャンネルの周波数100Hzから10kHzに割り当てることとしても良い。また、複数のチャンネルで同じカウント値に対応した周波数の信号を送信し、受信側で照合し、一致するかどうかの確認を行っても良い。
音声多重器119は、音声デコーダー108から出力された音声信号と正弦波発信器117で生成された正弦波形を多重する。
無線通信用エンコーダー121は、音声を無線で送るために、多重された音声信号(アナログ音声信号)をサンプリングしてエンコードし、デジタルデータストリームを生成する。このエンコードはPCM、例えばADPCMで行われる。
無線送信部122は、無線通信用エンコーダー121で生成されたデジタルデータストリームを無線伝送する。
無線伝送には、例えば、Bluetooth(登録商標)と呼ばれる近距離無線伝送方式を利用することができる。
図3は、図1のヘッドホン20の一例を示す。
図示のヘッドホン20は、無線受信部201と、無線通信用デコーダー202と、カウント値復元部203と、無線送信部206と、CPU210と、スピーカ220とを備えている。
無線受信部201は、テレビ装置10の無線送信部122から無線伝送されたデジタルデータストリームを受信して出力する。
無線通信用デコーダー202は、無線受信部201で受信したデジタルデータストリーム(例えばPCMでエンコードされたデータ)をデコードして、多重音声信号を復元し、本来の音声信号(放送されたコンテンツの音声を表す信号)と、フレームカウント値ACを表す正弦波に分離して出力する。
無線通信用デコーダー202でデコードされ、分離された音声信号はスピーカ220に供給され、これによりスピーカ220から音声が出力される。
カウント値復元部203は、無線通信用デコーダー202から出力された正弦波信号から、フレームカウント値を復元する。復元されたカウント値を符号RCで表す。カウント値RCは再生音声のフレーム番号を表すものであるので、カウント値復元部203は、再生音声フレーム番号復元部とも呼ばれる。
カウント値復元部203は、周波数計測器204と、カウント値演算部205とを有する。
周波数計測器204は、無線通信用デコーダー202から出力された正弦波信号から周波数を計測し、周波数データを生成する。
カウント値演算部205は、周波数計測器204で計測された周波数から演算により、フレームカウント値を算出する。
カウント値演算部205で算出されたフレームカウント値が、復元されたフレームカウント値RCとして用いられる。
復元されたフレームカウント値RCは、(無線通信及び復元の処理などが誤りなく行われた場合には、)送信されたフレームカウント値ACと同じ値を示し、そのときヘッドホン20で出力されている音声のフレーム番号を表す。
なお、カウント値が複数の音声チャンネルに分割して割り当てられている場合には、正弦波信号がどのチャンネルに含まれたものであるかにも基づいて、フレームカウント値RCの復元を行う。
また、同じカウント値に対応する正弦波が複数の音声チャンネルで伝送された場合には、複数のチャンネル間での照合を行い、例えば一致した場合には、復元されたカウント値は信頼性が高いものとして扱い、一致しない場合には、復元されたカウント値は信頼性が低いものとして扱うこととしても良い。
無線送信部206は、カウント値復元部203で復元されたカウント値RCを表す信号を無線伝送する。
CPU210は、ソフトウエアによる演算処理及びヘッドホン20の全体に対するソフトウエア制御を行う。CPU210から各部への制御信号が符号CSbで示されている。
図2に戻り、テレビ装置10の無線受信部131は、ヘッドホン20から無線伝送されたフレームカウント値RCを表す信号を受信する。
カウント値再生部132は無線受信部131で受信された、復元フレームカウント値RCを表す信号に基づいて、復元フレームカウント値RCを生成(再生)する。
カウント値比較器133はフレームカウンター114のフレームカウント値VCとカウント値再生部132から出力されるフレームカウント値RCの差分(dC=VC−RC)を算出する。カウント値比較器133は、フレーム番号比較器とも呼ばれる。
カウント値比較器133で求められるフレームカウント値の差分dCは、テレビ装置10における映像の表示と、ヘッドホン20における音声の出力のタイミングのずれを表す。但し、ヘッドホン20からテレビ装置10へのフレームカウント値RCを表す信号の送信に掛かる時間は無視できるものとしている。
調整値算出器134は算出された差分値dCに基づいて調整値dTSを算出する。
映像デコーダー106では、調整値算出器134で算出された調整値dTSだけ、映像のデコードのタイミングを変更する。即ち調整値dTSが正であれば、デコードのタイミングを遅らせる。例えば、基準時刻生成部111で生成される基準時刻PCRaと合致するDTS、PTSが付加された映像ではなく、基準時刻PCRaから調整値を引いた値(PCRa−dTS)に合致するDTS、PTSが付加された映像のデコード及び出力を行う。
上記の処理でデコードの対象となる映像(フレーム)を調整値dTSだけ遅らせることができる。
調整値dTSとしては、差分値dCに比例した値のものでも良いが、調整値dTSに上限を設けても良く、差分値dCに1より小さい値を掛けた値に相当する調整値dTSを生成することとしても良い。例えばデコードされる映像を一気に遅らせると、不自然な感じが生じるが、上記のように、調整値dTSに上限を設けることで、不自然さの発生を防止乃至抑制することができる。
映像のデコードの開始を遅らせる分だけ、映像データバッファ105におけるデータ蓄積量が増える。
カウント値再生部132、カウント値比較器133、及び調整値算出器134により、ヘッドホン20から無線送信されたフレームカウントRCに、フレームカウンター114で生成されたフレームカウント値VCが一致するように、映像デコーダー106におけるデコードのタイミングを制御するタイミング制御部135が構成されている。
同期化のための上記の処理、即ち、正弦波発信器117による正弦波の発生、カウント値復元部203におけるカウント値RCの復元、無線送信部206及び無線受信部207によるカウント値RCの送受信、タイミング制御部135による映像デコーダー106の制御は、一定の時間間隔で行っても良く、該時間間隔を差分dCに基づいて変更しても良い。この場合、例えば、差分dCが大きいほど時間間隔を短くしても良い。このようなタイミングの制御はCPU140により行われる。
図1のシステムにおいて、映像は、テレビ装置10の映像デコーダー106でのデコードの後、直ちに表示されるのに対して、音声は、テレビ装置10の音声デコーダー108でデコードされた後、音声多重器119、及び無線通信用エンコーダー121による処理を受けた後、ヘッドホン20に伝送され、ヘッドホン20において、無線通信用デコーダー202でデコードされた後に出力される。従って、映像デコーダー106でデコードされる映像と、音声デコーダー108で同時にデコードされる音声とが互いに同じフレームのものであれば、ヘッドホン20における音声の出力が映像の表示に対して遅れる。
本実施の形態では、音声デコーダー108でデコードされた音声のフレーム番号を表す再生音声フレーム番号ACをテレビ装置10で生成してヘッドホン20に送り、ヘッドホン20で該再生音声フレーム番号を復元して、復元された再生音声フレーム番号RCを、ヘッドホン20で出力されている音声のフレーム番号を表す情報としてヘッドホン20からテレビ装置10に送信し、テレビ装置10において、再生映像フレーム番号VCが、再生音声フレーム番号RCに一致するように、映像デコーダー106におけるデコードのタイミングを制御している。このようなループ制御(帰還制御)を行う結果、再生開始時には上記のような音声の遅れ(映像の進み)が生じても、次第にこの遅れ(映像の進み)が小さくなり、最終的には音声の出力に映像の表示のタイミングが一致するようになる。
実施の形態2.
実施の形態1ではフレームカウント値ACを、対応する周波数の正弦波に変換して伝送したが、フレームカウント値ACをデジタル変調して音声帯域で伝送してもよい。
図4及び図5は、本発明の実施の形態2の映像表示装置としてテレビ装置10b及び音声受出力装置としてのヘッドホン20bを示す。
図4に示されるテレビ10bは、概して図2の装置と同じであるが、図2の正弦波発信器117、及び音声多重器119が設けられておらず、代わりに、デジタル変調器301と、デジタル多重器302が設けられている。また、図2の無線通信用エンコーダー121の代わりに無線通信用エンコーダー121bが設けられている。
デジタル変調器301はフレームカウンター116の出力(フレームカウント値AC)をデジタル変調する。
無線通信用エンコーダー121bは、音声デコーダー108の出力(音声信号)をサンプリングしてエンコードし、デジタルデータストリームを生成する。エンコードはPCM、例えばADPCMで行われる。
デジタル多重器302は、無線通信用エンコーダー121bの出力(音声信号をエンコードすることで得られたデジタルデータストリーム)と、デジタル変調器301の出力(フレームカウント値ACをデジタル変調することで得られたデータ)を多重する。
無線送信部122は、デジタル多重器302の出力を無線伝送する。
図5に示されるヘッドホン20bは、図3のヘッドホン20と概して同じであるが、図3のカウント値復元部203の代わりにカウント値復元部203bが設けられている。
無線受信部201は、テレビ装置10bから無線伝送されたデジタルデータストリームを受信して出力する。
無線通信用デコーダー202は、無線受信部201で受信したデジタルデータストリームをデコードして、音声信号を復元し、本来の音声信号(放送されたコンテンツの音声を表す)とフレームカウント値ACを表すデジタルデータに分離して出力する。
無線通信用デコーダー202でデコードされ、分離された音声信号はスピーカ220に供給され、これによりスピーカ220から音声が出力される。
カウント値復元部203bは、無線通信用デコーダー202で分離されたカウント値ACを表すデジタルデータから、フレームカウント値を表すデータを復元する。復元されたカウント値を符号RCで表す。
復元されたカウント値RCは、その時無線通信用デコーダー202でデコードされ、ヘッドホン20bから出力されている音声のフレーム番号を表す。
カウント値復元部203bは、デジタル復調器401と、カウント値生成部402とを有する。
デジタル復調器401は、無線通信用デコーダー202で分離されたカウント値ACを表すデータをデジタル復調する。
カウント値生成部402は、デジタル復調器401の出力(復調により得られたデータ)から、フレームカウント値を生成する。
カウント値生成部402で生成されたフレームカウント値が、復元されたフレームカウント値RCとして用いられる。
復元されたフレームカウント値RCを表す信号は、無線送信部206によりテレビ装置10bに無線伝送される。
上記以外の点では、実施の形態2の動作は実施の形態1と同じである。
実施の形態2の構成でも、実施の形態1と同様のループ制御を行う結果、映像の表示を音声の出力に同期させることができる。また、再生音声フレーム番号をデジタル変調してテレビ装置からヘッドホンへ送信することとしているので、データの誤りを少なくし、高精度の制御を行うことができる。
以下、実施の形態2のデジタル変調器301及びデジタル復調器401の具体例を示す。
図6(a)及び(b)は、デジタル変調の一例として振幅変調(ASK変調)を行う場合の波形を示す。ASK変調では、デジタルデータの1、0の値にそれぞれ異なる振幅を割り当てて搬送波(図6(a))を変調し、変調波(図6(b))を生成する。
ASK変調を行う場合には、デジタル変調器301及びデジタル復調器401としては、例えばそれぞれ図7(a)及び(b)に示す構成のものを用いる。
図7(a)に示すデジタル変調器301は、所定周波数の搬送波を発生する搬送波発生器311と、搬送波発生器311で発生された搬送波をASK変調するASK変調器312を有する。図7(b)に示すデジタル復調器401は、搬送波帯域以外の周波数成分を除去するバンドパスフィルター411と、バンドパスフィルター411で帯域制限された信号をASK復調するASK復調器412を有する。
上記のようにデジタル変調をASK変調で行うこととすれば、テレビ装置10bからヘッドホン20bへの再生音声フレーム番号の送信を、ノイズに強く、誤りの少ない方法で行うことができる。
図8(a)及び(b)は、デジタル変調の他の例として周波数変調(FSK)を行う場合の波形を示す。FSK変調では、デジタルデータの1、0の値にそれぞれ異なる周波数を割り当てて搬送波(図8(a))を変調し、変調波(図8(b))を生成する。
FSK変調を行う場合には、デジタル変調器301及びデジタル復調器401としては、例えばそれぞれ図9(a)及び図9(b)に示す構成のものを用いる。
図9(a)に示すデジタル変調器301は、所定周波数の搬送波を発生する搬送波発生器311と、搬送波発生器311で発生された搬送波をFSK変調するFSK変調器313を有する。図9(b)に示すデジタル復調器401は、搬送波帯域以外の周波数成分を除去するバンドパスフィルター411と、バンドパスフィルター411で帯域制限された信号をFSK復調するFSK復調器413を有する。
上記のようにデジタル変調をFSK変調で行うこととすれば、テレビ装置10bからヘッドホン20bへの再生音声フレーム番号の送信を、誤りの少ない方法で行うことができる。
図10(a)及び(b)は、デジタル変調のさらに他の例として位相変調(PSK)、例えば4相位相変調(QPSK)を行う場合の波形を示す。QPSK変調では、デジタルデータの00、10、11、01にそれぞれ異なる位相を割り当てて搬送波(図10(a))を変調し、変調波(図10(b))を生成する。デジタルデータ00、10、11、01と位相の関係は、図11及び図12に示されている。
QPSK変調を行う場合には、デジタル変調器301及びデジタル復調器401としては、例えばそれぞれ図13(a)及び図13(b)に示す構成のものを用いる。
図13(a)に示すデジタル変調器301は、所定周波数の搬送波を発生する搬送波発生器311と、搬送波発生器311で発生された搬送波をQPSK変調するQPSK変調器314を有する。図13(b)に示すデジタル復調器401は、搬送波帯域以外の周波数成分を除去するバンドパスフィルター411と、バンドパスフィルター411で帯域制限された信号をQPSK復調するQPSK復調器414を有する。
なお、位相変調方式として、上記の4相位相変調のほか、他の相数の位相変調方式、例えば2相位相変調(BPSK)方式、8相位相変調(8PSK)方式を用いることとしても良い。
上記のようにデジタル変調をPSK変調で行うこととすれば、テレビ装置10bからヘッドホン20bへの再生音声フレーム番号の送信を、伝送効率が良く、誤りの少ない方法で行うことができる。
なおまた、上記の方式の代わりに、互いに90度位相が異なる正弦波形の振幅を変化させ、この2つの波形を直角2相変調するQAM方式を用いてもよい。
上記のようにデジタル変調をQAM方式で行うこととすれば、テレビ装置10bからヘッドホン20bへの再生音声フレーム番号の送信を、誤りの少ない方法で行うことができる。
実施の形態3.
図14及び図15は、本発明の実施の形態3の映像表示装置としてテレビ装置10c及び音声出力装置としてのヘッドホン20cを示す。
図14に示されるテレビ装置10cは、概して図2のテレビ装置と同じであるが、図2の音声データバッファ107、音声デコーダー108、フレームカウンター116、正弦波発信器117、音声多重器119、無線通信用エンコーダー121、無線受信部131、カウント値再生部132、カウント値比較器133、及び調整値算出器134が設けられていない。
図15に示されるヘッドホン20cは、無線受信部601と、音声データバッファ603と、基準時刻生成部610と、時刻生成制御部620と、時刻比較器621と、ゲイン調整器622と、低域フィルタ623と、CPU630とを有する。
基準時刻生成部610は、電圧制御発振器(VCO)611と、クロック発生器612と、STCカウンター613とを有する。
時刻生成制御部620は、時刻比較器621と、ゲイン調整器622と、低域フィルタ623とを有する。
図14において、図2と同じ符号は同様のものを示す。
図14の映像デコーダー106は、動作の開始時には、映像データバッファ105にある程度以上のデータが蓄積されてからデコードを開始するように制御されるのが望ましい。テレビ装置10cでの映像の表示がヘッドホン20cでの音声の出力に対して遅れた場合に、遅れを取り戻す(映像の表示を早める)ことを可能にするためである。映像データバッファ105の容量は、予想される最大の遅れに相当する量以上とするのが望ましい。
図2では、TSデコーダー103で分離された音声データをテレビ装置内でデコードしているが、図14では、TSデコーダー103で分離された音声データを圧縮形式のまま無線送信部122で無線伝送する。この音声データには、実施の形態1で述べたのと同様に、DTS及びPSTが多重されている。
また、基準時刻生成部111で生成された基準時刻情報PCRaを無線送信部122で無線伝送する。基準時刻情報PCRaは、ヘッドホン20cにおける音声デコーダー604の動作を、テレビ装置10c内の映像デコーダー106の動作に同期させるために用いられる。
ヘッドホン20c内の無線受信部601は、テレビ装置10c内の無線送信部122から無線伝送された音声データ及び基準時刻情報PCRaを受信する。
音声データバッファ603は、無線受信部601で受信された音声データを一時的に記憶する。
音声デコーダー604は、音声データバッファ603に記憶されている音声データを逐次読み込んでデコードし、音声信号を出力する。
出力された音声信号はスピーカ220に供給され、これにより、スピーカ220から音声が出力される。
基準時刻生成部610は、音声デコーダー604による音声デコードのための基準クロック及び基準時刻情報STCを発生する。この基準クロックの周波数は例えば27MHzである。
音声デコーダー604は、動作の開始時には、音声データバッファ603にある程度以上のデータが蓄積されてからデコードを開始するように制御されるのが望ましい。ヘッドホン20cでの音声の出力が、テレビ装置10cでの映像の表示に対して遅れた場合、遅れを取り戻す(音声の出力を早める)ことを可能にするためである。音声データバッファ603の容量は、予想される最大の遅れに相当する量以上とするのが望ましい。
音声デコーダー604による音声データのデコード、及び音声信号の出力のタイミングは、基準時刻生成部610から出力される基準クロック及び基準時刻情報STC、並びに音声データに付加されているDTS及びPTSによりそれぞれ制御される。即ち、基準時刻生成部610で生成される基準時刻情報STCが、各フレームの音声データに付加されているDTS、PTSに合致する値となったときに、当該音声についてのデコード及び出力が行われるように制御される。
STCカウンター613は、クロック発生器612で発生されるクロックをカウントすることで基準時刻情報STCを発生する。
時刻比較器621は、無線受信部601で受信された基準時刻情報PCRaと基準時刻生成部610で発生される基準時刻情報STCを比較し、両者の差
dTC=STC−PCRa
を求める。この差は、基準時刻情報PCRaに対する基準時刻情報STCのずれ量を表し、従って、そのときテレビ装置10cで表示されている映像と、ヘッドホン20cで出力されている音声のタイミングのずれ量を表す。
ゲイン調整器622はずれ量に対して所定のゲインを乗算して出力する。
低域フィルタ623は、ゲイン調整器622の出力に対して低域通過フィルタリングを掛ける。
VCO611は、低域フィルタ623の出力(電圧信号)に基づいてその発振周波数が制御される。
クロック発生器612は、VCO611の発振周波数又はこれに比例する周波数のクロックを発生する。
上記のように、時刻比較器621、ゲイン調整器622、及び低域フィルタ623で構成される時刻生成制御部620により、基準時刻生成部610で発生される基準時刻情報STCが、無線受信部601で受信された基準時刻情報PCRaに一致するように、基準時刻生成部610が制御される。
CPU630は、ソフトウエアによる演算処理及びヘッドホン20cの全体に対するソフトウエア制御を行う。
テレビ装置10cにおける映像のデコード及び表示とヘッドホン20cにおける音声のデコード及び表示は、DTS及びPTSに基づいて行われる。即ち、テレビ装置10cでは、各フレームの映像のDTSに、基準時刻情報PCRaが合致したときに当該フレームの映像のデコードを開始し、各フレームの映像のPTSに、基準時刻情報PCRaが合致したときに当該フレームの映像の表示を開始し、ヘッドホン20cでは、各フレームの音声のDTSに、基準時刻STCが一致したときに当該フレームの音声のデコードを開始し、各フレームの音声のPTSに、基準時刻STCが一致したときに当該フレームの音声の出力を開始する。
従って、ヘッドホン20cの基準時刻STCをテレビ装置10cの基準時刻PCRaに一致させれば、音声の出力を映像の表示に同期させることができる。
実施の形態3では、ヘッドホン20cにおいて、基準時刻生成部610、及び時刻生成制御部620を用いてループ制御(帰還制御)を行っているので、基準時刻STCを基準時刻PCRaに一致させることができ、音声の出力を映像の表示に一致させることができる。
また、テレビ装置10cでは、TSデコーダー103から出力された音声データをそのまま(即ちデコードすることなく)無線送信部122で送信し、ヘッドホン20cでは無線受信部601で受信した音声データを、音声データバッファ603を介して音声デコーダー604に供給するようにしているので、TSデコーダー103の出力から、音声デコーダー604への入力までの時間は短く、従って、映像データバッファ105におけるデータ蓄積量(予想される音声の最大遅れを考慮した量)はさほど大きくする必要がない。逆に、音声の出力に対して映像の表示が遅れる可能性を考慮して、音声データバッファ603の容量を決める必要があるが、通常は映像の表示が音声に対して遅れることはなく、従って、音声データバッファ603のデータ蓄積量もさほど大きくする必要がない。
実施の形態3の構成では、ヘッドホン20cにおける音声のデコード及び/又は音声の出力のタイミングを表す情報をヘッドホン20cからテレビ装置10cに送信しなくても、映像の表示と音声の出力を同期させることができる。
変形例.
以上映像表示装置がテレビ装置であり、放送波を受信して放送されたコンテンツの映像と音声を出力する場合について説明したが、映像音声を記録媒体から再生する装置、例えば、DVD装置やBD装置から、映像信号及び音声信号を受信して、映像をテレビ装置などの表示機能を有する装置で表示し、音声信号を無線伝送により音声出力装置に送信して出力させる場合にも本発明を適用することができる。また音声出力装置がヘッドホンである場合について説明したが、無線伝送により音声信号を受信して出力する他の装置、例えばスピーカ内蔵リモコンであっても本発明を適用することができる。
10、10b、10c テレビ装置、 20、20b、20c ヘッドホン、 101 チューナ、 102 復調器、 103 TSデコーダー、 107 音声データバッファ、 108 音声デコーダー、 105 映像データバッファ、 106 映像デコーダー、 111 基準時刻生成部、 114 フレームカウンター、 116 フレームカウンター、 117 正弦波発信器、 119 音声多重器、 121、121b 無線通信用エンコーダー、 122 無線送信部、 131 無線受信部、 132 カウント値再生部、 133 カウント値比較器、 134 調整値算出器、 140 CPU、 201 無線受信部、 202 無線通信用デコーダー、 203、203b カウント値復元部、 204 周波数計測器、 205 カウント値演算部、 206 無線送信部、 301 デジタル変調器、 302 デジタル多重器、 401 デジタル復調器、 402 カウント値生成部、 601 無線受信部、 603 音声データバッファ、 604 音声デコーダー、 610 基準時刻生成部、 611 VCO、 612 クロック発生器、 613 STCカウンター、 620 時刻生成制御部、 621 時刻比較器、 622 ゲイン調整器、 623 低域フィルタ、 630 CPU。

Claims (13)

  1. 映像表示装置と、音声出力装置とを有し、
    前記映像表示装置で映像を表示するとともに、前記映像と同期して出力すべき音声を表す音声信号を前記音声出力装置に無線で送信し、
    前記音声出力装置において、前記音声信号で表される音声を出力する
    映像音声再生システムにおいて、
    前記映像表示装置は、
    前記映像を表す映像データを一時的に蓄える映像データバッファと、
    前記映像データバッファに蓄えられた前記映像データを逐次読み込んでデコードし、映像信号を出力する映像デコーダーと、
    前記映像デコーダーでデコードされた映像のフレーム番号を再生映像フレーム番号として生成する再生映像フレーム番号生成部と、
    前記音声を表す音声データを一時的に蓄える音声データバッファと、
    前記音声データバッファに蓄えられた前記音声データを逐次読み込んでデコードし、音声信号を出力する音声デコーダーと、
    前記音声デコーダーでデコードされた音声のフレーム番号を再生音声フレーム番号として生成する再生音声フレーム番号生成部と、
    前記音声デコーダーから出力された前記音声信号と、前記再生音声フレーム番号生成部で生成された前記再生音声フレーム番号とを互いに関連付けて無線送信する無線送信部とを備え、
    前記音声出力装置は、
    前記無線送信部から無線送信された前記音声信号及び前記再生音声フレーム番号を受信する無線受信部と、
    前記無線受信部で受信された前記再生音声フレーム番号を復元して出力する再生音声フレーム番号復元部と、
    前記再生音声フレーム番号復元部で復元された前記再生音声フレーム番号を前記映像表示装置に無線送信する無線送信部とを有し、
    前記映像表示装置は、
    前記音声出力装置から無線送信された前記再生音声フレーム番号に、前記再生映像フレーム番号生成部で生成された前記再生映像フレーム番号が一致するように、前記映像デコーダーにおけるデコードのタイミングを制御するタイミング制御部をさらに有し、
    前記再生音声フレーム番号生成部で生成される前記再生音声フレーム番号が、所定の下限値から所定の上限値までの範囲内で循環的に変化する値を表すものである
    ことを特徴とする映像音声再生システム。
  2. 映像表示装置と、音声出力装置とを有し、
    前記映像表示装置で映像を表示するとともに、前記映像と同期して出力すべき音声を表す音声信号を前記音声出力装置に無線で送信し、
    前記音声出力装置において、前記音声信号で表される音声を出力する
    映像音声再生システムにおいて、
    前記映像表示装置は、
    前記映像を表す映像データを一時的に蓄える映像データバッファと、
    前記映像データバッファに蓄えられた前記映像データを逐次読み込んでデコードし、映像信号を出力する映像デコーダーと、
    前記映像デコーダーでデコードされた映像のフレーム番号を再生映像フレーム番号として生成する再生映像フレーム番号生成部と、
    前記音声を表す音声データを一時的に蓄える音声データバッファと、
    前記音声データバッファに蓄えられた前記音声データを逐次読み込んでデコードし、音声信号を出力する音声デコーダーと、
    前記音声デコーダーでデコードされた音声のフレーム番号を再生音声フレーム番号として生成する再生音声フレーム番号生成部と、
    前記音声デコーダーから出力された前記音声信号と、前記再生音声フレーム番号生成部で生成された前記再生音声フレーム番号とを互いに関連付けて無線送信する無線送信部とを備え、
    前記音声出力装置は、
    前記無線送信部から無線送信された前記音声信号及び前記再生音声フレーム番号を受信する無線受信部と、
    前記無線受信部で受信された前記再生音声フレーム番号を復元して出力する再生音声フレーム番号復元部と、
    前記再生音声フレーム番号復元部で復元された前記再生音声フレーム番号を前記映像表示装置に無線送信する無線送信部とを有し、
    前記映像表示装置は、
    前記音声出力装置から無線送信された前記再生音声フレーム番号に、前記再生映像フレーム番号生成部で生成された前記再生映像フレーム番号が一致するように、前記映像デコーダーにおけるデコードのタイミングを制御するタイミング制御部をさらに有し、
    前記映像表示装置は、
    前記再生音声フレーム番号に対応する周波数の正弦波を生成するための正弦波発信器と、
    前記音声デコーダーから出力された前記音声信号と前記正弦波発信器で生成された前記正弦波を多重して多重音声信号を出力する音声多重器と、
    前記音声多重器から出力された前記多重音声信号をエンコードしてデジタルデータストリームを出力する無線通信用エンコーダーとを備え、
    前記映像表示装置の前記無線送信部は、
    前記無線通信用エンコーダーから出力される前記デジタルデータストリームを前記音声出力装置に無線伝送する
    ことを特徴とする映像音声再生システム。
  3. 前記再生音声フレーム番号復元部は、
    前記正弦波の周波数を計測する周波数計測器と、
    前記計測した周波数に基づき対応するフレームカウント値を算出するカウント値演算部とを備え、
    前記カウント値演算部で算出されたフレームカウント値が前記復元された再生音声フレーム番号として用いられる
    ことを特徴とする請求項2に記載の映像音声再生システム。
  4. 映像を表示するとともに、前記映像と同期して出力すべき音声を表す音声信号を無線で送信する、映像表示装置において、
    前記映像を表す映像データを一時的に蓄える映像データバッファと、
    前記映像データバッファに蓄えられた前記映像データを逐次読み込んでデコードし、映像信号を出力する映像デコーダーと、
    前記映像デコーダーでデコードされた映像のフレーム番号を再生映像フレーム番号として生成する再生映像フレーム番号生成部と、
    前記音声を表す音声データを一時的に蓄える音声データバッファと、
    前記音声データバッファに蓄えられた前記音声データを逐次読み込んでデコードし、音声信号を出力する音声デコーダーと、
    前記音声デコーダーでデコードされた音声のフレーム番号を再生音声フレーム番号として生成する再生音声フレーム番号生成部と、
    前記音声デコーダーから出力された前記音声信号と、前記再生音声フレーム番号生成部で生成された前記再生音声フレーム番号とを互いに関連付けて無線送信する無線送信部とを備え、
    前記再生音声フレーム番号生成部で生成される前記再生音声フレーム番号が、所定の下限値から所定の上限値までの範囲内で循環的に変化する値を表すものである
    ことを特徴とする映像表示装置。
  5. 映像を表示するとともに、前記映像と同期して出力すべき音声を表す音声信号を無線で送信する、映像表示装置において、
    前記映像を表す映像データを一時的に蓄える映像データバッファと、
    前記映像データバッファに蓄えられた前記映像データを逐次読み込んでデコードし、映像信号を出力する映像デコーダーと、
    前記映像デコーダーでデコードされた映像のフレーム番号を再生映像フレーム番号として生成する再生映像フレーム番号生成部と、
    前記音声を表す音声データを一時的に蓄える音声データバッファと、
    前記音声データバッファに蓄えられた前記音声データを逐次読み込んでデコードし、音声信号を出力する音声デコーダーと、
    前記音声デコーダーでデコードされた音声のフレーム番号を再生音声フレーム番号として生成する再生音声フレーム番号生成部と、
    前記音声デコーダーから出力された前記音声信号と、前記再生音声フレーム番号生成部で生成された前記再生音声フレーム番号とを互いに関連付けて無線送信する無線送信部と、
    前記再生音声フレーム番号に対応する周波数の正弦波を生成するための正弦波発信器と、
    前記音声デコーダーから出力された前記音声信号と前記正弦波発信器で生成された前記正弦波を多重して多重音声信号を出力する音声多重器と、
    前記音声多重器から出力された前記多重音声信号をエンコードしてデジタルデータストリームを出力する無線通信用エンコーダーとを備え、
    前記無線送信部は、
    前記無線通信用エンコーダーから出力される前記デジタルデータストリームを音声出力装置に無線伝送する
    ことを特徴とする映像表示装置。
  6. 映像表示装置の無線送信部から無線で送信された音声信号と、前記映像表示装置で映像データをデコードする際に生成された再生音声フレーム番号を受信し、前記音声信号で表される音声を出力する音声出力装置において、
    前記無線送信部から無線送信された前記音声信号及び前記再生音声フレーム番号を受信する無線受信部と、
    前記無線受信部で受信された前記再生音声フレーム番号を復元して出力する再生音声フレーム番号復元部と、
    前記再生音声フレーム番号復元部で復元された前記再生音声フレーム番号を前記映像表示装置に無線送信する無線送信部とを有し、
    前記映像表示装置は、
    前記音声出力装置から無線送信された前記再生音声フレーム番号に、前記映像表示装置で生成される再生映像フレーム番号が一致するように、前記映像表示装置における前記映像データのデコードのタイミングを制御するタイミング制御部と、
    前記再生音声フレーム番号に対応する周波数の正弦波を生成するための正弦波発信器と、
    前記映像表示装置の前記無線送信部から無線送信された前記音声信号と前記正弦波発信器で生成された前記正弦波を多重して多重音声信号を出力する音声多重器と、
    前記音声多重器から出力された前記多重音声信号をエンコードしてデジタルデータストリームを出力する無線通信用エンコーダーとを備え、
    前記映像表示装置の前記無線送信部は、
    前記無線通信用エンコーダーから出力される前記デジタルデータストリームを前記音声出力装置に無線伝送し、
    前記再生音声フレーム番号復元部は、
    前記正弦波の周波数を計測する周波数計測器と、
    前記計測した周波数に基づき対応するフレームカウント値を算出するカウント値演算部とを備え、
    前記カウント値演算部で算出されたフレームカウント値が前記復元された再生音声フレーム番号として用いられる
    ことを特徴とする音声出力装置。
  7. 前記映像表示装置は、
    前記再生音声フレーム番号をデジタル変調するデジタル変調器と、
    前記音声デコーダーによってデコードされた音声信号をエンコードしてデジタルデータストリームを出力する無線通信用エンコーダーと、
    前記無線通信用エンコーダーから出力された前記デジタルデータストリームと、
    前記デジタル変調器でデジタル変調された前記再生音声フレーム番号を多重して多重データを出力するデジタル多重器とを有し、
    前記無線送信部は、
    前記デジタル多重器から出力される前記多重データを前記音声出力装置に無線伝送する
    ことを特徴とする請求項1から3のいずれか1項に記載の映像音声再生システム。
  8. 前記再生音声フレーム番号復元部は、
    前記無線受信部で受信された、デジタル変調された前記再生音声フレーム番号をデジタル復調するデジタル復調器と、
    前記デジタル復調器で復調されたデータからフレームカウント値を生成するカウント値生成部とを備え、
    前記カウント値生成部で生成されたフレームカウント値が前記復元された再生音声フレーム番号として用いられる
    ことを特徴とする請求項7に記載の映像音声再生システム。
  9. 前記デジタル変調器が、振幅変調方式で前記デジタル変調を行う
    ことを特徴とする請求項7又は8に記載の映像音声再生システム。
  10. 前記デジタル変調器が、周波数変調方式で前記デジタル変調を行う
    ことを特徴とする請求項7又は8に記載の映像音声再生システム。
  11. 前記デジタル変調器が、位相変調方式で前記デジタル変調を行う
    ことを特徴とする請求項7又は8に記載の映像音声再生システム。
  12. 前記デジタル変調器が、直角2相変調方式で前記デジタル変調を行う
    ことを特徴とする請求項7又は8に記載の映像音声再生システム。
  13. 前記タイミング制御部は、
    前記復元された再生音声フレーム番号と、前記再生映像フレーム番号の差分を求めるフレーム番号比較器と、
    前記差分に基づいて調整値を算出する調整値算出器とを有し、
    前記映像デコーダーは、前記調整値だけ、前記デコードのタイミングを変更する
    ことを特徴とする請求項1から3及び7から12のいずれか1項に記載の映像音声再生システム。
JP2014544358A 2012-10-30 2013-08-27 映像音声再生システム、映像表示装置、及び音声出力装置 Expired - Fee Related JP5933744B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012238693 2012-10-30
JP2012238693 2012-10-30
PCT/JP2013/072840 WO2014069081A1 (ja) 2012-10-30 2013-08-27 映像音声再生システム、映像表示装置、及び音声出力装置

Publications (2)

Publication Number Publication Date
JP5933744B2 true JP5933744B2 (ja) 2016-06-15
JPWO2014069081A1 JPWO2014069081A1 (ja) 2016-09-08

Family

ID=50627003

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014544358A Expired - Fee Related JP5933744B2 (ja) 2012-10-30 2013-08-27 映像音声再生システム、映像表示装置、及び音声出力装置

Country Status (5)

Country Link
US (1) US9819839B2 (ja)
JP (1) JP5933744B2 (ja)
CN (1) CN104782109B (ja)
DE (1) DE112013005221T5 (ja)
WO (1) WO2014069081A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9865427B2 (en) 2006-06-07 2018-01-09 Fei Company User interface for an electron microscope

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10178281B2 (en) * 2014-07-28 2019-01-08 Starkey Laboratories, Inc. System and method for synchronizing audio and video signals for a listening system
US9775170B2 (en) * 2014-12-04 2017-09-26 Intel Corporation Apparatus, system and method of allocation using a frame
US11044386B1 (en) * 2014-12-18 2021-06-22 The Directv Group, Inc. Method and system for synchronizing playback of independent audio and video streams through a network
CN106375820B (zh) * 2016-08-30 2018-07-06 京东方科技集团股份有限公司 对音频和视频信号进行同步的方法和装置
US11032580B2 (en) 2017-12-18 2021-06-08 Dish Network L.L.C. Systems and methods for facilitating a personalized viewing experience
US10365885B1 (en) * 2018-02-21 2019-07-30 Sling Media Pvt. Ltd. Systems and methods for composition of audio content from multi-object audio
KR20210028880A (ko) 2019-09-05 2021-03-15 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN111355975B (zh) * 2020-03-26 2021-09-07 郑州信大捷安信息技术股份有限公司 一种直播客户端音视频延时调节播放***及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002354419A (ja) * 2001-05-25 2002-12-06 Sony Corp 記録再生装置および方法、記録媒体、並びにプログラム
JP2007028261A (ja) * 2005-07-19 2007-02-01 Nec Viewtechnology Ltd 映像音声再生装置および映像音声再生方法
JP2009089056A (ja) * 2007-09-28 2009-04-23 Toshiba Corp 映像表示装置及び音声出力装置
WO2009157078A1 (ja) * 2008-06-26 2009-12-30 富士通マイクロエレクトロニクス株式会社 映像音声データ出力装置および映像音声データ出力方法
WO2010132278A2 (en) * 2009-05-14 2010-11-18 Massachusetts Institute Of Technology Selecting transforms for compressing visual data
JP2011146783A (ja) * 2010-01-12 2011-07-28 Kddi Corp 映像フレーム及び音声フレームとの間の同期外れを補正する中継装置、プログラム、システム及び方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3094999B2 (ja) * 1998-10-15 2000-10-03 日本電気株式会社 オーディオ・ビデオ同期再生装置
US7937118B2 (en) * 2001-10-30 2011-05-03 Unwired Technology Llc Wireless audio distribution system with range based slow muting
JP2004282667A (ja) 2003-03-19 2004-10-07 Matsushita Electric Ind Co Ltd 再生同期ずれ補正機能を備えた送信機及び受信機、並びにそれらを有する伝送装置
WO2005098854A1 (ja) * 2004-04-06 2005-10-20 Matsushita Electric Industrial Co., Ltd. 音声再生装置、音声再生方法及びプログラム
US20060024024A1 (en) * 2004-07-27 2006-02-02 Cheng-Che Chen Playback device capable of synchronizing playback of video signal portion and audio signal portion of av signal and method thereof
US8189679B2 (en) * 2004-09-02 2012-05-29 Sony Corporation Content receiving apparatus, method of controlling video-audio output timing and content providing system
JP4182437B2 (ja) 2004-10-04 2008-11-19 ソニー株式会社 オーディオビデオ同期システム及びモニター装置
WO2006064689A1 (ja) 2004-12-16 2006-06-22 Matsushita Electric Industrial Co., Ltd. 無線通信システム
JP4556185B2 (ja) 2005-09-28 2010-10-06 日本ビクター株式会社 ビデオ再生装置及びオーディオ再生装置
JP4352409B2 (ja) 2005-09-28 2009-10-28 日本ビクター株式会社 マルチメディア符号化データ分離伝送装置
JP2007096971A (ja) 2005-09-29 2007-04-12 Toshiba Corp 無線送信装置および無線受信装置
JP2007124044A (ja) * 2005-10-25 2007-05-17 Nec Electronics Corp 基準クロック再生回路及びデータ受信装置
CN101390388B (zh) * 2006-02-27 2010-09-15 松下电器产业株式会社 再现装置、携带式电话机和再现方法
JP2007274019A (ja) 2006-03-30 2007-10-18 Matsushita Electric Ind Co Ltd デジタル方式情報配信システムおよびその方法
JP5216781B2 (ja) 2007-01-08 2013-06-19 エスケーテレコム株式会社 付加情報サーバー、及び、放送コンテンツに含まれる特定放送プログラムに対して生成された付加情報を提供する方法
JP5183941B2 (ja) 2007-03-07 2013-04-17 ローム株式会社 リモコン、及び、テレビ
JP5183942B2 (ja) 2007-03-07 2013-04-17 ローム株式会社 リモコンシステム、及び、リモコン
JP5183940B2 (ja) 2007-03-07 2013-04-17 ローム株式会社 リモコンシステム、及び、テレビ
WO2008108352A1 (ja) 2007-03-07 2008-09-12 Rohm Co., Ltd. リモコンシステム、テレビ、及び、リモコン
JP5183939B2 (ja) 2007-03-07 2013-04-17 ローム株式会社 リモコンシステム、テレビ、及び、リモコン
JP2009049919A (ja) 2007-08-22 2009-03-05 Sony Corp 映像音声再生方法および映像音声再生システム
US8743284B2 (en) * 2007-10-08 2014-06-03 Motorola Mobility Llc Synchronizing remote audio with fixed video
KR101450100B1 (ko) * 2007-11-22 2014-10-15 삼성전자주식회사 멀티미디어기기 및 그의 동기설정방법
US8693553B2 (en) 2007-12-28 2014-04-08 Nokia Corporation Methods, apparatuses, and computer program products for adaptive synchronized decoding of digital video
JP2011091519A (ja) 2009-10-21 2011-05-06 Panasonic Corp 双方向無線通信システム
JP2011145783A (ja) 2010-01-13 2011-07-28 Hitachi Ltd 計算機システム
JP5778478B2 (ja) * 2011-05-23 2015-09-16 ルネサスエレクトロニクス株式会社 データ処理システム
US20130058419A1 (en) * 2011-09-05 2013-03-07 Zhou Ye Wireless video/audio data transmission system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002354419A (ja) * 2001-05-25 2002-12-06 Sony Corp 記録再生装置および方法、記録媒体、並びにプログラム
JP2007028261A (ja) * 2005-07-19 2007-02-01 Nec Viewtechnology Ltd 映像音声再生装置および映像音声再生方法
JP2009089056A (ja) * 2007-09-28 2009-04-23 Toshiba Corp 映像表示装置及び音声出力装置
WO2009157078A1 (ja) * 2008-06-26 2009-12-30 富士通マイクロエレクトロニクス株式会社 映像音声データ出力装置および映像音声データ出力方法
WO2010132278A2 (en) * 2009-05-14 2010-11-18 Massachusetts Institute Of Technology Selecting transforms for compressing visual data
JP2011146783A (ja) * 2010-01-12 2011-07-28 Kddi Corp 映像フレーム及び音声フレームとの間の同期外れを補正する中継装置、プログラム、システム及び方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9865427B2 (en) 2006-06-07 2018-01-09 Fei Company User interface for an electron microscope

Also Published As

Publication number Publication date
WO2014069081A1 (ja) 2014-05-08
CN104782109B (zh) 2018-09-07
US20150215496A1 (en) 2015-07-30
JPWO2014069081A1 (ja) 2016-09-08
DE112013005221T5 (de) 2015-08-20
CN104782109A (zh) 2015-07-15
US9819839B2 (en) 2017-11-14

Similar Documents

Publication Publication Date Title
JP5933744B2 (ja) 映像音声再生システム、映像表示装置、及び音声出力装置
JP4894858B2 (ja) 受信機
EP1195996B1 (en) Apparatus, method and computer program product for decoding and reproducing moving images, time control method and multimedia information receiving apparatus
JP4793247B2 (ja) 記録装置、記録方法、再生装置及び再生方法
US8842218B2 (en) Video/audio data output device and method
TW200830874A (en) Image information transmission system, image information transmitting apparatus, image information receiving apparatus, image information transmission method, image information transmitting method, and image information receiving method
JP2009272945A (ja) 同期再生装置
JP2008061150A (ja) 受信機及び情報処理方法
JP3605110B2 (ja) 放送システム、放送装置、同期情報差替装置、同期情報差替方法、プログラム及びそのプログラムを記録した記録媒体
JP2010154418A (ja) 無線映像伝送方法及び装置
JP4359024B2 (ja) 同期制御方法と装置およびそれを用いた同期再生装置およびテレビジョン受信装置
JP5254376B2 (ja) 再生装置
JP3858002B2 (ja) 無線伝送システム
JP2006221679A (ja) デジタルオーディオインターフェースの付加情報伝送方法並びに情報送信装置及び情報受信装置
JP2009105889A (ja) 送信装置
JP2009188897A (ja) 通信システム
JP5133818B2 (ja) 信号再生装置
JP2023119869A (ja) 受信装置、放送システム、受信方法及びプログラム
JP2001028738A (ja) 放送データ送受信システム及びこれに使用する送信装置並びにその受信装置
JP2003284011A (ja) 放送システム及びav信号再生装置
JP2000341684A (ja) 信号受信装置および信号受信方法、映像信号再生装置および映像信号再生方法
JP3539116B2 (ja) トランスポートストリーム発生装置
JP3052585B2 (ja) データ送信装置とデータ受信装置
JP2001045439A (ja) 記録装置および方法、再生装置および方法、並びに記録媒体
KR20060103453A (ko) 무선 영상 송신장치, 무선 영상 수신장치, 무선 영상송수신 시스템, 신호 생성장치, 신호 복호장치 및 신호생성복호장치

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160502

R150 Certificate of patent or registration of utility model

Ref document number: 5933744

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees