JP4256710B2 - AV transmission method, AV transmission device, AV transmission device, and AV reception device - Google Patents
AV transmission method, AV transmission device, AV transmission device, and AV reception device Download PDFInfo
- Publication number
- JP4256710B2 JP4256710B2 JP2003111294A JP2003111294A JP4256710B2 JP 4256710 B2 JP4256710 B2 JP 4256710B2 JP 2003111294 A JP2003111294 A JP 2003111294A JP 2003111294 A JP2003111294 A JP 2003111294A JP 4256710 B2 JP4256710 B2 JP 4256710B2
- Authority
- JP
- Japan
- Prior art keywords
- transmission
- delay
- video
- time
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Receiver Circuits (AREA)
- Television Signal Processing For Recording (AREA)
- Synchronisation In Digital Transmission Systems (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、AVコンテンツを再生する際に生じる圧縮符号化・復号化による遅延及び伝送遅延に起因し、映像と音声との再生タイミングのずれを補正するためのAV伝送方法及びAV伝送装置、並びにAV送信装置及びAV受信装置に関する。
【0002】
【従来の技術】
映像圧縮符号化規格であるMPEG(Moving Picture Experts Group)において、映像と音声の再生タイミングを合わせるために、各情報に含まれる再生時刻管理情報を用いて同期を取ることが規定されている。同一機器内で映像と音声の両方のデコードを行って再生する場合には、再生時刻管理情報を比較することによって、容易に同期が確立できる。
【0003】
このような映像と音声の再生タイミングの同期を取る方式は、特許文献1で開示されており、ビデオデコーダ及びオーディオデコーダから抽出したビデオ再生時刻管理情報及びオーディオ再生時刻管理情報から再生タイミングの差分を算出し、差分に応じてデコーダの動作クロック周波数を変動させることによって、映像と音声の再生タイミングの同期を確立することができる。
【0004】
【特許文献1】
特開平9−312834号公報(図1、図4)
【0005】
【発明が解決しようとする課題】
しかしながら、例えば無線プロジェクタにおいて、映像はDVDプレーヤのようなリモートの再生機器からプロジェクタに無線伝送され、音声はDVDプレーヤから直接アンプを介してアナログでスピーカに出力される。アンプとスピーカはケーブルで直接接続されている。映像信号はエンコード−無線−デコード−プロジェクタという経路を通ることになり、このままでは映像と音声の再生タイミングがずれるという問題が生じる。
【0006】
また、映像の再生機器であるプロジェクタと、音声の再生機器であるアンプとが異なるため、従来のように再生時刻管理情報を比較して同期を取ることができないという問題がある。
【0007】
本発明は、このような従来の問題点に鑑みてなされたものであって、無線プロジェクタなどにおいて、映像及び音声処理における符号化/復号化の回数や、無線などの伝送に起因した再生タイミングのずれが発生しても、視聴者から見て映像と音声との再生タイミングの同期が確立されたAV伝送方式及びAV伝送装置を実現することを目的とする。
【0008】
【課題を解決するための手段】
本願の請求項1の発明は、コンテンツを再生するに際し、互いに情報の送受信を行う送信装置と受信装置において、前記送信装置がコンテンツの映像情報を符号化して前記受信装置に伝送し、前記受信装置が復号化して前記映像情報を再生すると共に、前記送信装置が前記コンテンツの音声情報を再生するAV伝送方法であって、前記送信装置は、入力された前記映像情報に包含された、再生タイミングのずれを検出するための基準信号を検出して、前記受信装置に対して送信した前記基準信号の送信時刻を管理し、前記受信装置は、前記送信装置から送信された前記映像情報に包含された前記基準信号を再生して、再生した前記基準信号の再生時刻を前記送信装置に送信し、前記送信装置は、前記基準信号の前記送信時刻と、前記受信装置から受信した前記基準信号の前記再生時刻とから、前記映像情報の再生タイミングのずれを算出することにより前記音声情報の遅延量を決定し、決定された前記遅延量だけ入力された前記音声情報の再生タイミングを遅延させることにより、前記映像情報における符号化及び復号化遅延や、前記受信装置に伝送する際の伝送遅延に起因する前記映像情報と前記音声情報の再生タイミングのずれを補正することを特徴とする。
【0009】
本願の請求項2の発明は、コンテンツを再生するに際し、互いに情報の送受信を行う送信装置と受信装置において、前記送信装置がコンテンツの音声情報を符号化して前記受信装置に伝送し、前記受信装置が復号化して前記音声情報を再生すると共に、前記送信装置が前記コンテンツの映像情報を再生するAV伝送方法であって、前記送信装置は、入力された前記音声情報に包含された、再生タイミングのずれを検出するための基準信号を検出して、前記受信装置に対して送信した前記基準信号の送信時刻を管理し、前記受信装置は、前記送信装置から送信された前記音声情報に包含された前記基準信号を再生して、再生した前記基準信号の再生時刻を前記送信装置に送信し、前記送信装置は、前記基準信号の前記送信時刻と、前記受信装置から受信した前記基準信号の前記再生時刻とから、前記音声情報の再生タイミングのずれを算出することにより前記映像情報の遅延量を決定し、決定された前記遅延量だけ入力された前記映像情報の再生タイミングを遅延させることにより、前記音声情報における符号化及び復号化遅延や、前記受信装置に伝送する際の伝送遅延に起因する前記映像情報と前記音声情報の再生タイミングのずれを補正することを特徴とする。
【0010】
本願の請求項3の発明は、コンテンツを再生するに際し、互いに情報の送受信を行う送信装置と受信装置において、前記送信装置がコンテンツの映像情報を符号化して前記受信装置に伝送し、前記受信装置が復号化して前記映像情報を再生すると共に、前記送信装置が前記コンテンツの音声情報を再生するAV伝送装置であって、前記送信装置は、指定された遅延量だけ入力された音声情報の再生タイミングを遅延させる遅延部と、入力された前記映像情報に包含された、再生タイミングのずれを検出するための基準信号を検出する映像入力検出部と、前記映像入力検出部により検出された前記基準信号を、前記受信装置に対して送信した送信時刻を管理する送信時刻管理部と、前記送信時刻管理部において管理されている前記送信時刻と、前記受信装置から受信した前記基準信号の再生時刻とから前記音声情報の遅延量を決定し、前記遅延部の遅延量を指定する遅延時間検出部と、を有し、前記受信装置は、前記基準信号が包含された前記映像信号を復号化する映像復号化部と、前記映像復号化部において前記基準信号を再生したことを検出する映像再生検出部と、前記映像再生検出部において検出された前記基準信号の前記再生時刻を管理し、前記再生時刻を前記送信装置に対して送信する再生時刻管理部と、を有し、前記送信装置において、前記遅延時間検出部が、前記送信時刻と前記再生時刻とから、前記映像情報における符号化及び復号化遅延や、前記受信装置に伝送する際の伝送遅延に起因する前記映像情報と前記音声情報の再生タイミングのずれを補正することを特徴とする。
【0011】
本願の請求項4の発明は、コンテンツを再生するに際し、互いに情報の送受信を行う送信装置と受信装置において、前記送信装置がコンテンツの音声情報を符号化して前記受信装置に伝送し、前記受信装置が復号化して前記音声情報を再生すると共に、前記送信装置が前記コンテンツの映像情報を再生するAV伝送装置であって、前記送信装置は、指定された遅延量だけ入力された映像情報の再生タイミングを遅延させる遅延部と、入力された前記音声情報に包含された、再生タイミングのずれを検出するための基準信号を検出する音声入力検出部と、前記音声入力検出部により検出された前記基準信号を、前記受信装置に対して送信した送信時刻を管理する送信時刻管理部と、前記送信時刻管理部において管理されている前記送信時刻と、前記受信装置から受信した前記基準信号の再生時刻とから前記映像情報の遅延量を決定し、前記遅延部の遅延量を指定する遅延時間検出部と、を有し、前記受信装置は、前記基準信号が包含された前記音声信号を復号化する音声復号化部と、前記音声復号化部において前記基準信号を再生したことを検出する音声再生検出部と、前記音声再生検出部において検出された前記基準信号の前記再生時刻を管理し、前記再生時刻を前記送信装置に対して送信する再生時刻管理部と、を有し、前記送信装置において、前記遅延時間検出部が、前記送信時刻と前記再生時刻とから、前記音声情報における符号化及び復号化遅延や、前記受信装置に伝送する際の伝送遅延に起因する前記映像情報と前記音声情報の再生タイミングのずれを補正することを特徴とする。
【0012】
本願の請求項5の発明は、コンテンツを再生するに際し、互いに情報の送受信を行うAV送信装置とAV受信装置において、前記AV送信装置がコンテンツの映像情報を符号化して前記AV受信装置に伝送し、前記AV受信装置が復号化して前記映像情報を再生すると共に、前記AV送信装置が前記コンテンツの音声情報を再生するAV伝送装置を構成する前記AV送信装置であって、指定された遅延量だけ入力された音声情報の再生タイミングを遅延させる遅延部と、入力された前記映像情報に包含された、再生タイミングのずれを検出するための基準信号を検出する映像入力検出部と、前記映像入力検出部により検出された前記基準信号を、前記AV受信装置に対して送信した送信時刻を管理する送信時刻管理部と、前記送信時刻管理部において管理されている前記送信時刻と、前記AV受信装置から受信した前記AV受信装置において再生された前記基準信号の再生時刻とから前記音声情報の遅延量を決定し、前記遅延部の前記遅延量を指定する遅延時間検出部と、を有し、前記遅延時間検出部が、前記送信時刻と前記再生時刻とから、前記映像情報における符号化及び復号化遅延や、前記AV受信装置に伝送する際の伝送遅延に起因する前記映像情報と前記音声情報の再生タイミングのずれを補正することを特徴とする。
【0013】
本願の請求項6の発明は、コンテンツを再生するに際し、互いに情報の送受信を行うAV送信装置とAV受信装置において、前記AV送信装置がコンテンツの音声情報を符号化して前記AV受信装置に伝送し、前記AV受信装置が復号化して前記音声情報を再生すると共に、前記AV送信装置が前記コンテンツの映像情報を再生するAV伝送装置を構成する前記AV送信装置であって、指定された遅延量だけ入力された映像情報の再生タイミングを遅延させる遅延部と、入力された前記音声情報に包含された、再生タイミングのずれを検出するための基準信号を検出する音声入力検出部と、前記音声入力検出部により検出された前記基準信号を、前記AV受信装置に対して送信した送信時刻を管理する送信時刻管理部と、前記送信時刻管理部において管理されている前記送信時刻と、前記AV受信装置から受信した前記AV受信装置において再生された前記基準信号の再生時刻とから前記映像情報の遅延量を決定し、前記遅延部の前記遅延量を指定する遅延時間検出部と、を有し、前記遅延時間検出部が、前記送信時刻と前記再生時刻とから、前記音声情報における符号化及び復号化遅延や、前記AV受信装置に伝送する際の伝送遅延に起因する前記映像情報と前記音声情報の再生タイミングのずれを補正することを特徴とする。
【0094】
上記のAV伝送方法によれば、再生された映像及び音声信号から再生タイミングがどのくらいずれているのかを測定することによって、遅延量を算出し、同期を確立することができる。
【0095】
また遅延測定用の信号として例えば映像信号が一定周期で白/黒画面が変化するパターンとし、音声信号は映像信号が白のときに正弦波を出力し、黒の時には何も出力しないというような信号を用いることによって、容易に遅延量を測定することができる。
【0096】
更に、送信側と受信側とで基準時刻を共有し、その時間軸に従って送信側の符号化開始から受信側の再生までの遅延時間を測定し、遅延量を算出する。これにより、光センサやマイクなどの再生映像や再生音声を取り込む手段を用いることなく、再生タイミングのずれを算出することができる。
【0097】
また、符号化・復号化の処理時間や伝送遅延時間に起因する再生タイミングのずれの量を測定した結果を記憶手段に格納しておき、一度測定した後は、起動時にその値を読み出して受信側から送信側にフィードバックすることによって遅延量を算出することができる。
【0098】
【発明の実施の形態】
以下、本発明の実施の形態におけるAV伝送装置及びAV伝送方法、並びにAV送信装置及びAV受信装置について、図面を用いて説明する。
(実施の形態1)
図1は本発明の実施の形態1におけるAV伝送装置の全体構成図である。このAV伝送装置は無線送信装置(AV送信装置又は送信装置という)101A及び無線受信装置(AV受信装置又は受信装置という)108Aを有し、これに関連する機器としてDVDプレーヤ105、アンプ106、スピーカ107、プロジェクタ113、スクリーン114が設けられている。無線送信装置101Aは、映像信号を無線で送信するもので、無線部102、MPEG符号化部103、遅延部104を含んで構成される。無線受信装置108Aは、無線で送信された映像信号を受信するもので、無線部109、MPEG復号化部110、比較部111、マイクロホン(以下、マイクという)112を含んで構成される。無線部102と無線部109は双方向に情報を送信することができる。
【0099】
DVDプレーヤ105は、光ディスク(DVD)に圧縮符号化記録された映像データ及び音声データを読み出し、伸長し、復号化してアナログの映像信号と音声信号とを出力する。プロジェクタ113は、入力された映像信号を液晶表示パネル(LCD)やデジタルマイクロミラー(DLP)に与え、光ビームに変換してスクリーン114に映像を投射するものである。プロジェクタ113は、ホームシアタの場合や会議室の場合には、その光ビームが映像の視聴者に遮られないようにするため、天井などに取り付けられることが多い。この場合、プロジェクタ113の電源は、予め天井に取り付けられたコンセントから供給される。一方、DVDプレーヤ105は、光ディスクの出し入れや、操作パネルから直接各種の操作を行うために、テーブルやAVケースに設置されることが多い。
【0100】
したがって本実施の形態は、DVDプレーヤ105からの映像信号を、無線を介してプロジェクタ113に伝送し、プロジェクタ113で映像を再生する。音声信号は無線による伝送は行わず、直接アンプ106で増幅してスピーカ107から再生する形態とする。特に本実施の形態では、再生タイミングの同期のために必要な構成要素は、無線送信装置101A側と無線受信装置108A側とに分割して実装するものとする。
【0101】
以上のように構成されたAV伝送装置の動作を述べる。DVDプレーヤ105の映像出力端子として、例えばプログレッシブ映像出力、コンポーネント映像出力、D1/D2映像出力、S映像出力、汎用の映像出力等の端子がそれぞれ用意されている。これらの出力端子から出力される映像信号は、光ディスクに記録された圧縮符号化信号(プログラムストリーム)が内蔵のデコーダで伸長復号化されたもので、これらの信号を以下の説明ではアナログ映像出力と呼ぶ。また映像出力は前記の出力端子のうち、いずれのものを用いても良い。このアナログ映像出力は一旦無線送信装置101Aに与えられる。無線送信装置101Aに入力されたアナログの映像信号は、無線LANにおける誤り耐性の確保と、伝送信号量の削減のためにMPEG符号化部103で圧縮符号化される。圧縮符号化された映像信号は、所定のフォーマットに変換され、無線部102によってワイヤレス伝送される。
【0102】
ワイヤレス伝送された圧縮映像信号は、無線受信装置108Aで受信される。無線部109は、無線送信装置101Aからの圧縮映像信号を受信し、MPEG復号化部110に入力する。MPEG復号化部110は圧縮映像信号を復号し、映像信号をプロジェクタ113に出力する。プロジェクタ113は、入力された映像信号を光ビームに変換し、スクリーン114に映像を投射する。
【0103】
一方、DVDプレーヤ105の音声出力端子として、マルチチャンネルのアナログ音声出力、同軸デジタル音声出力、光デジタル音声出力などの出力端子がそれぞれ用意されている。これらの信号についても、プレーヤから出力されるときには、伸長復号化されているので、アナログ音声出力と呼ぶ。こうしてDVDプレーヤ105のアナログ音声出力は、遅延部104で遅延処理を受け、アンプ106に出力される。アンプ106は、複数チャネル、例えば5.1chサラウンドの音声信号処理を行い、各チャネルのスピーカ107に出力する。このような動作により、プロジェクタ113から投影された映像に対して、専用のAVアンプにより迫力ある音声が再生され、臨場感のある状態でコンテンツを楽しむことができる。
【0104】
次に、映像と音声の再生タイミングを同期させる処理について説明する。DVDプレーヤ105からのアナログ音声出力は直ちにアンプ106で増幅され、スピーカ107で再生される。これに対し、DVDプレーヤ105のアナログ映像出力はコーデック(CODEC)処理が行われる。即ち無線送信装置101から無線伝送により無線受信装置108Aへ伝送される。このためコーデック処理と無線伝送とにより遅延が生じる。この遅延は無線受信装置108AのMPEG復号化部110での信号処理の遅延も含まれる。これらの処理の後に映像がプロジェクタ113から再生される。本実施の形態では、これらの遅延時間を検出し、この遅延時間だけ音声信号の再生タイミングを遅延部104で遅延させることによって、映像と音声の再生タイミングの同期を確立する。
【0105】
無線受信装置108Aに音声入力部として取り付けられたマイク112は、スピーカ107から出力された音声を取得する。マイク112が取得した音声信号は比較部111に入力される。また、比較部111には無線受信装置108Aが再生する映像信号も入力される。比較部111は入力された映像信号と音声信号とから、映像と音声の再生タイミングのずれを検出する。
【0106】
再生タイミングのずれを検出するための検出用信号(較正用信号ともいう)の一例を図2に示す。図2(a)に示すように、検出用映像信号としてNフレーム毎に白一色の映像と黒一色の映像とが交互に現れる信号を用いる。一方、図2(b)に示すように、検出用音声信号として、映像が白一色の期間は音声信号、例えば正弦波が存在し、映像が黒一色の期間は音声信号が存在しないような信号(無音信号)を用いる。本実施の形態では、図2のような検出用信号が記録されたDVDディスクをDVDプレーヤ105で再生してもよい。また所望のコンテンツが記録された市販のDVDディスクを再生する直前に、図2(a)、(b)のような検出用信号を無線送信装置101Aが出力するようにしてもよい。
【0107】
比較部111は、再生された検出用の映像信号と音声信号とを用いて、図2(c)で示したような白一色の映像の開始タイミングと、これと同期した図2(d)で示した音声の再生開始タイミングとの差分を検出する。上記の検出用信号はアナログ信号であるが、信号の性質としては白か黒か、或いは音声が有りか無しというデジタル的な性質を利用するため、タイミングの差分の検出は容易である。
【0108】
比較部111は、検出した再生タイミングのずれ量を遅延量として無線部109に通知する。無線部109は、比較部111から与えられた遅延量を無線により無線送信装置101Aに伝送する。遅延量の伝送は、映像を伝送する無線伝送路において、逆方向の伝送路を用いて行う。
【0109】
無線送信装置101Aの無線部102は、受信した信号から遅延量の情報を抽出し、遅延部104に転送する。遅延部104は与えられた遅延量だけ、入力された音声信号を遅延させ、アンプ106に出力する。
【0110】
ここで無線部109は、比較部111が検出した映像情報と音声情報の再生タイミングのずれ量を無線送信装置101Aに対して送信する遅延量送信部の機能を達成している。また無線部102は、無線部109から受信した再生タイミングのずれ量を遅延部104に通知する遅延情報受信通知部の機能を達成している。
【0111】
以上のように本実施の形態によれば、音声の再生タイミングに対する映像の圧縮符号化及び復号化による遅延と、無線による伝送に起因した映像の再生タイミングの遅延を検出し、その遅延量を音声側にフィードバックすることによって、音声の再生タイミングを必要な時間だけ遅延させることが可能になる。こうして、映像と音声の再生タイミングの同期が確立され、再生タイミングのずれのないコンテンツの再生が可能になる。
【0112】
なお、本実施の形態では音声入力部をマイクとしたが、マイク以外の音声入力部でも同様の効果が得られる。例えば、RCAピンプラグのような汎用の有線入力部を用いて音声を検出してもよい。この場合、無線送信装置101Aから出力される音声情報をケーブルを介して比較部111に入力する。
【0113】
また、本実施の形態ではDVDプレーヤ105と無線送信装置101Aとは別の機器としているが、無線送信装置101Aの機能がDVDプレーヤ105に内蔵されていても良い。更に、プロジェクタ113と無線受信装置108Aとは別の機器としているが、無線受信装置108Aの機能がプロジェクタ113に内蔵されていても良い。
【0114】
また、本実施の形態では、再生タイミングのずれを検出するための検出用信号は、DVDディスクからDVDプレーヤ105で再生されるとしたが、前述したようにDVDプレーヤ105に検出用信号を出力する機能を設けても同様の効果が得られる。この場合、再生タイミングのずれを検出するために、検出用信号を記録したDVDディスクを用いるという制限がなくなる。
【0115】
また、本実施の形態では、再生タイミングのずれを検出する信号として図2のような検出用信号を用いたが、映像と音声の再生タイミングの関係が固定されているような信号であれば、他のパターンの信号でも同様の効果が得られる。
【0116】
本実施の形態のAV伝送装置は、無線送信装置がコンテンツの音声情報を再生すると共に、コンテンツの映像情報を符号化して無線受信装置に伝送し、無線受信装置が復号化して映像情報を再生するものとした。しかし無線送信装置がコンテンツの映像情報を再生すると共に、コンテンツの音声情報を符号化して無線受信装置に伝送し、無線受信装置が復号化して音声情報を再生するものであっても良い。
【0117】
(実施の形態2)
次に本発明の実施の形態2におけるAV伝送装置について説明する。図3は実施の形態2におけるAV伝送装置の全体構成図である。実施の形態1と同じ機能部は同じ番号をつけ、詳細な説明は省略する。このAV伝送装置は、送信側だけで遅延時間を測定できるようにしたものである。
【0118】
無線送信装置101Bは、MPEG符号化部103、遅延部104、光センサ301、比較部302、無線部303を含んで構成される。無線受信装置108Bは、無線部304、MPEG復号化部110を含んで構成される。またこれに関連する機器としてDVDプレーヤ105、アンプ106、スピーカ107、プロジェクタ113、スクリーン114が設けられている。
【0119】
光センサ301は、無線受信装置108Bが再生する映像情報をスクリーン114からの反射光により検出する映像入力部である。比較部302は、実施の形態1と異なり、無線送信装置101Bに設けられる。比較部302は、光センサ301から入力された映像の検出信号と、無線送信装置101Bが出力する音声信号との再生タイミングの差分を検出し、この差分時間を遅延部104に通知する。無線部303は、実施の形態1のように無線受信装置から転送された遅延量を遅延部104に通知する機能は持たない。無線部304も、実施の形態1のように遅延量を無線送信装置101に転送する機能を持たない。
【0120】
本実施の形態は、DVDプレーヤ105からの映像信号を無線によりプロジェクタ113に伝送し、プロジェクタ113で映像を再生すると共に、音声は無線による伝送は行わず、直接アンプ106で増幅してスピーカ107から再生する形態とする。そして再生タイミングの同期のために必要な構成要素は、全て送信装置側に実装していることが特徴である。
【0121】
このように構成されたAV伝送装置の動作を述べる。映像及び音声の再生されるまでの処理内容については、実施の形態1と同じであるため、説明を省略する。ここでは、映像と音声の再生タイミングを同期させる処理についてのみ説明する。DVDプレーヤ105から出力されたアナログ音声出力は直ちにアンプ106で増幅され、スピーカ107で再生される。これに対し、DVDプレーヤ105から出力されたアナログ映像出力は、MPEG符号化部103及びMPEG復号化部110によるCODEC処理による遅延、及び無線送信装置101Bから無線受信装置108Bへの無線伝送による遅延を受け、プロジェクタ113から映像が再生される。比較部302はこのような遅延量を検出し、遅延部104が遅延量だけ音声信号の再生タイミングを遅延させる。こうして映像と音声の再生タイミングの同期を確立する。
【0122】
このような処理において、光センサ301は、プロジェクタ114から投射された映像による反射光を検出する。光センサ301が検出した映像検出信号は比較部302に入力される。また、この比較部302には無線送信装置101Bが再生する音声信号も入力される。比較部302は、入力された映像検出信号と音声信号とから、映像と音声の再生タイミングのずれを検出する。
【0123】
比較部302は、検出した再生タイミングのずれを遅延量として遅延部104に通知する。遅延部104は、与えられた遅延量だけ、入力された音声信号を遅延させ、アンプ106に出力する。
【0124】
以上のように、本実施の形態によれば、音声の再生タイミングに対する映像の圧縮符号化及び復号化による遅延と、無線による伝送に起因した映像の再生タイミングの遅延を検出し、その遅延量を音声側にフィードバックすることによって、音声の再生タイミングを必要な時間だけ遅延させることが可能になる。こうして、映像と音声の再生タイミングの同期が確立され、再生タイミングのずれのないコンテンツの再生が可能になる。
【0125】
更に、再生タイミングのずれを検出する手段が全て無線送信装置101B側に実装されているため、無線受信装置108B側には、再生タイミングのずれを検出する検出手段を設けなくても、再生タイミングのずれを補正することが可能となる。
【0126】
なお、本実施の形態では映像入力部を光センサとしたが、光センサ以外の映像入力部でも同様の効果が得られる。例えば、RCAピンプラグのような汎用の端子を用いた有線による映像入力でも良い。
【0127】
本実施の形態のAV伝送装置は、無線送信装置がコンテンツの音声情報を再生すると共に、コンテンツの映像情報を符号化して無線受信装置に伝送し、無線受信装置が復号化して映像情報を再生するものとした。しかし無線送信装置がコンテンツの映像情報を再生すると共に、コンテンツの音声情報を符号化して無線受信装置に伝送し、無線受信装置が復号化して音声情報を再生するものであっても良い。この場合光センサ301の代わりに、マイクを音声入力部として設ける。
【0128】
(実施の形態3)
次に本発明の実施の形態3におけるAV伝送装置について説明する。図4は実施の形態3におけるAV伝送装置の全体構成図である。実施の形態1、2と同じ機能部は同じ番号をつけ、詳細な説明は省略する。このAV伝送装置は、比較部を設けず、調整部であるダイヤルを用いて手動で遅延調整をできるようしたものである。
【0129】
無線送信装置101Cは、MPEG符号化部103、遅延部104、無線部303に加えて、調整部として調整用のダイヤル401を含んで構成される。無線受信装置108Cは、MPEG復号化部110、無線部304を含んで構成される。またこれらに関連する機器としてDVDプレーヤ105、アンプ106、スピーカ107、プロジェクタ113、スクリーン114が設けられている。ダイヤル401は音声の再生タイミングの遅延量を手動で調節するものであり、遅延部104に接続される。
【0130】
本実施の形態は、DVDプレーヤ105からの映像信号を無線によりプロジェクタ113に伝送し、プロジェクタ113で映像を再生すると共に、音声は無線による伝送は行わず、直接アンプ106で増幅してスピーカ107から再生する形態とする。また、再生タイミングの同期のために必要な構成要素は、ダイヤル401と遅延部104のみであることが特徴であり、この点が実施の形態1、2と異なる。
【0131】
このように構成されたAV伝送装置の動作を述べる。映像及び音声の再生されるまでの処理内容については、実施の形態1、2と同じであるため、説明を省略する。ここでは、映像と音声の再生タイミングを同期させる処理についてのみ説明する。
【0132】
DVDプレーヤ105からのアナログ音声出力は直ちにアンプ106で増幅され、スピーカ107で再生される。これに対し、DVDプレーヤ105のアナログ映像出力はMPEG符号化部103及びMPEG復号化部110によるCODEC処理による遅延、及び無線送信装置101から無線受信装置108への無線伝送による遅延を受け、プロジェクタ113から再生される。この遅延量に相当する遅延制御を、ダイヤル401を介して手動で行う。
【0133】
具体的には、映像と音声を再生し、その再生画面及び再生音声を視聴した上で、使用者がダイヤル401を操作する。ダイヤル401からの制御信号によって、遅延部104の遅延量が変化し、音声の再生タイミングが変化する。使用者は、この変化を眼と耳で確認しながら、映像の再生タイミングと音声の再生タイミングとが同期する位置でダイヤル401の調整値を固定する。
【0134】
本実施の形態によれば、音声の再生タイミングに対して、映像の圧縮符号化及び復号化による遅延と、無線伝送に起因する映像の再生タイミングの遅延とを検出し、その遅延量を音声側にフィードバックすることによって、音声の再生タイミングを必要な時間だけ遅延させることが可能になる。こうして、映像と音声の再生タイミングの同期が確立され、再生タイミングのずれのないコンテンツの再生が可能になる。
【0135】
更に、本実施の形態では、使用者が再生映像と音声を視聴しながらダイヤル401で再生タイミングのずれを調節するため、再生タイミングのずれを検出するための特別な手段がなくても補正が可能である。
【0136】
なお、本実施の形態では再生タイミングのずれを手動で調節する調整部としてダイヤル401を用いたが、他の調整部、例えばスイッチのようなものでも同様の効果が得られる。
【0137】
また、再生タイミングのずれを検出する信号は、図2のような検出用信号でも良いし、映画や音楽などのコンテンツを再生し、使用者が出演者や歌手の口の動きと、台詞や楽曲の音声出力とが一致するように調節しても良い。
【0138】
本実施の形態のAV伝送装置は、無線送信装置がコンテンツの音声情報を再生すると共に、コンテンツの映像情報を符号化して無線受信装置に伝送し、無線受信装置が復号化して映像情報を再生するものとした。しかし無線送信装置がコンテンツの映像情報を再生すると共に、コンテンツの音声情報を符号化して無線受信装置に伝送し、無線受信装置が復号化して音声情報を再生するものであっても良い。
【0139】
(実施の形態4)
次に本発明の実施の形態4におけるAV伝送装置について説明する。図5は実施の形態4におけるAV伝送装置の全体構成図である。実施の形態1〜3と同じ機能部は同じ番号をつけ、詳細な説明は省略する。このAV伝送装置は、位相可変の検出用信号を用いて遅延測定できるようにしたものである。
【0140】
無線送信装置101Dは、MPEG符号化部103、無線部501、遅延部502を含んで構成される。無線受信装置108Dは、MPEG復号化部110、比較部503、無線部504を含んで構成される。またこれらに関連する機器としてDVDプレーヤ105、アンプ106、スピーカ107、プロジェクタ113、スクリーン114が設けられている。
【0141】
本実施の形態は、DVDプレーヤ105からの映像信号を無線によりプロジェクタ113に伝送し、プロジェクタ113で映像を再生すると共に、音声は無線による伝送は行わず、直接アンプ106で増幅してスピーカ107から再生する形態とする。また、遅延部502は入力された音声信号の再生タイミングを自立的に遅延量を変化させながら出力し、外部からの同期確立の通知を受けると、その時点での遅延量で固定することを特徴とする。この点が実施の形態1と異なる。
【0142】
このように構成されたAV伝送装置の動作を述べる。映像及び音声の再生されるまでの処理内容については、実施の形態1と同じであるため、説明を省略する。ここでは、映像と音声の再生タイミングを同期させる処理についてのみ説明する。DVDプレーヤ105からのアナログ音声出力は、初期状態では直ちにアンプ106で増幅され、スピーカ107で再生される。これに対し、DVDプレーヤ105のアナログ映像出力は、MPEG符号化部103及びMPEG復号化部110によるCODEC処理による遅延、及び無線送信装置101Dから無線受信装置108Dへの無線伝送による遅延を受け、プロジェクタ113から再生される。比較部503がこの遅延量を検出し、その遅延量だけ遅延部502が音声情報の再生タイミングを遅延させることによって、映像と音声の再生タイミングの同期を確立する。
【0143】
再生タイミングのずれを検出するための検出用信号の一例を図2及び図6に示す。図2(a)、図6(a)に示すように、検出用映像信号としてNフレーム毎に白一色の映像と黒一色の映像とが交互に現れる信号を入力する。一方、図2(b)のように検出用音声信号として、映像が白一色の期間は音声信号が存在し、映像が黒一色の期間は音声信号が存在しないような信号を入力する。本実施の形態では、図2(a)、(b)のような検出用信号が記録されたDVDディスクをDVDプレーヤ105で再生する。
【0144】
遅延部502は、入力された音声信号に対し、ある値の遅延を加えて出力する。例えば、図6(b)〜(d)に示したように、遅延をかける基本単位をα[msec]とすると、遅延0、遅延α、遅延2α、遅延3α、・・・と徐々に遅延時間を大きくしながら音声信号を出力する。
【0145】
比較部503は、再生された校正用の映像と音声において、図6で示したような白一色の映像の開始タイミングと、何らかの音声の再生が開始されるタイミングとの差分を検出する。上記の検出用信号はアナログ信号であるが、信号の性質としては白か黒か、或いは音声が有るか無いかというデジタル的な性質であるため、タイミングの差分の検出は容易である。
【0146】
比較部503は再生タイミングのずれが0になったことを検出すると、同期が確立したことを無線部504に通知する。無線部504は、比較部503から与えられた同期確立通知を無線により無線送信装置101Dに伝送する。遅延量の伝送は映像を伝送する無線伝送路において、逆方向の伝送路を用いて行う。
【0147】
無線送信装置101Dの無線部501は、受信した信号から同期確立通知を抽出し、遅延部502に通知する。遅延部502は、同期確立通知を受信した時点で遅延量の変更を停止し、遅延量をその時点の値で固定する。
【0148】
本実施の形態によれば、音声の再生タイミングに対する映像の圧縮符号化及び復号化による遅延と、無線伝送に起因した遅延とによる再生タイミングのずれが0になるように、音声側の最適な遅延量を検出することによって、音声の再生タイミングを必要な時間だけ遅延させることができる。こうして、映像と音声の再生タイミングの同期が確立され、再生タイミングのずれのないコンテンツの再生が可能になる。
【0149】
本実施の形態のAV伝送装置は、無線送信装置がコンテンツの音声情報を再生すると共に、コンテンツの映像情報を符号化して無線受信装置に伝送し、無線受信装置が復号化して映像情報を再生するものとした。しかし無線送信装置がコンテンツの映像情報を再生すると共に、コンテンツの音声情報を符号化して無線受信装置に伝送し、無線受信装置が復号化して音声情報を再生するものであっても良い。この場合、遅延部502は入力された映像信号の再生タイミングを自立的に遅延量を変化させながら出力し、外部からの同期確立の通知を受けると、その時点での遅延量で固定する。
【0150】
(実施の形態5)
次に本発明の実施の形態5におけるAV伝送装置について説明する。図7は実施の形態5におけるAV伝送装置の全体構成図である。実施の形態1〜4と同じ機能部は同じ番号をつけ、詳細な説明は省略する。このAV伝送装置は、比較部の代わりに記憶部を設け、予め記憶部に保持している遅延量を無線送信装置に通知するものである。
【0151】
無線送信装置101Eは、無線部102、MPEG符号化部703、遅延部704を含んで構成される。無線受信装置108Eは、記憶部701、MPEG復号化部702、無線部705を含んで構成される。またこれらに関連する機器としてDVDプレーヤ105、アンプ106、スピーカ107、プロジェクタ113、スクリーン114が設けられている。
【0152】
本実施の形態は、DVDプレーヤ105からの映像信号を無線によりプロジェクタ113に伝送し、プロジェクタ113で映像を再生すると共に、音声は無線による伝送は行わず、直接アンプ106で増幅してスピーカ107から再生する形態とする。また、記憶部701は、映像の復号化遅延時間と、無線伝送遅延時間とを予め記憶する。無線部705は記憶部701に保持された遅延時間を無線送信装置101Eに通知するようになっていることが特徴であり、この点が実施の形態1と異なる。
【0153】
このように構成されたAV伝送装置の動作を述べる。映像及び音声の再生されるまでの処理内容については、実施の形態1と同じであるため、説明を略する。ここでは、映像と音声の再生タイミングを同期させる処理についてのみ説明する。
【0154】
MPEG復号化部702は、入力された圧縮映像ストリームを復号するための処理時間(遅延時間)を記憶部701に通知する。また無線部705は、無線送信装置101Eと無線受信装置108Eとの間の無線伝送における伝送遅延時間を記憶部701に通知する。記憶部701は、通知された遅延時間を合計して、その値をMPEG符号化以後の遅延量として無線部705を介して無線送信装置101Eに通知する。
【0155】
遅延部704は、無線部102を介して、MPEG符号化以後の遅延量を受信すると共に、MPEG符号化部703から映像信号を圧縮符号化するための処理時間(遅延時間)を入力する。そして、遅延部704は与えられた遅延時間の合計を総遅延時間とし、入力された音声情報の再生を総遅延時間だけ遅延させる。
【0156】
本実施の形態によれば、予め映像信号の無線伝送や復号化のための遅延時間の情報を受信装置側が保持しており、その情報を送信装置側にフィードバックすることによって映像と音声の再生タイミングのずれ量を認識し、音声信号の再生タイミングを遅延させるようにしている。こうすると、遅延時間測定のための手段を実装することなく、映像と音声の再生タイミングの同期が確立され、再生タイミングのずれのないコンテンツの再生が可能になる。
【0157】
本実施の形態のAV伝送装置は、無線送信装置がコンテンツの音声情報を再生すると共に、コンテンツの映像情報を符号化して無線受信装置に伝送し、無線受信装置が復号化して映像情報を再生するものとした。しかし無線送信装置がコンテンツの映像情報を再生すると共に、コンテンツの音声情報を符号化して無線受信装置に伝送し、無線受信装置が復号化して音声情報を再生するものであっても良い。
【0158】
(実施の形態6)
次に本発明の実施の形態6におけるAV伝送装置について説明する。図8は実施の形態6におけるAV伝送装置の全体構成図である。実施の形態1〜5と同じ機能部は同じ番号をつけ、詳細な説明は省略する。このAV伝送装置は、比較部を設けないで、音声情報及び映像情報にタイムスタンプである時刻の基準信号を挿入し、送信時刻と再生時刻の差分を計算することにより、遅延量を検出するものである。
【0159】
無線送信装置101Fは、MPEG符号化部103、遅延部104、映像入力検出部801、無線部802、送信時刻管理部803、遅延時間検出部804を含んで構成される。無線受信装置108Fは、無線部109、MPEG復号化部110、映像再生検出部805、再生時刻管理部806を含んで構成される。またこれらに関連する機器としてDVDプレーヤ105、アンプ106、スピーカ107、プロジェクタ113、スクリーン114が設けられている。
【0160】
本実施の形態は、DVDプレーヤ105からの映像信号を無線によりプロジェクタ113に伝送し、プロジェクタ113で映像を再生すると共に、音声は無線による伝送は行わず、直接アンプ106で増幅してスピーカ107から再生する形態とする。また、送信装置から受信装置に時間情報を送信することにより、送受信装置間での時間軸を合わせる機能を持つことが第1の特徴である。また受信装置側で映像信号を再生した時刻を送信装置側にフィードバックし、送信装置側で映像信号を符号化した時刻との差分を求めることによって、音声の再生タイミングの遅延量を求めることが第2の特徴である。このような特徴をもつことが実施の形態1と異なる。
【0161】
このように構成されたAV伝送装置の動作を述べる。映像及び音声の再生されるまでの処理内容については、実施の形態1と同じであるため、説明を省略する。ここでは、映像と音声の再生タイミングを同期させる処理についてのみ説明する。
【0162】
まず、無線送信装置101Fと無線受信装置108Fとの間で時間軸の同期をとる方法について説明する。図9(a)に示すように無線送信装置101Fは、無線LANの規格であるIEEE802.11規格に従って、数msec〜数百msecの間隔で周期的にBeaconパケットをブロードキャストしている。Beacon信号には、無線送信装置101Fが持つ自走クロックにより管理されているタイムスタンプ情報が含まれている。再生時刻管理部806は、図9(b)の実線で示す無線受信装置108Fのクロックを、図9(b)の破線で示すBeacon信号から抽出したタイムスタンプ情報で補正することによって、無線送信装置101Fとの間で時間軸の同期を取る。
【0163】
次に、再生タイミングのずれを検出する方法について説明する。映像入力検出部801は、DVDプレーヤ105から遅延検出用の信号が入力されたことを検出し、送信時刻管理部803に通知する。送信時刻管理部803は、映像入力検出部801から通知された時点の無線送信装置101が管理する時刻の値を保持する。
【0164】
圧縮された遅延検出用の映像情報は無線受信装置108Fに伝送され、MPEG復号化部110から出力される。映像再生検出部805は、遅延検出用の映像信号が再生されたことを再生時刻管理部806に通知する。再生時刻管理部806は、映像再生検出部805から通知を受けた時点の無線受信装置108Fの時刻情報を、無線部109を介して無線送信装置101Fに伝送する。
【0165】
遅延時間検出部804は、再生時刻管理部806から受信した再生時刻と、送信時刻管理部803から取得した送信時刻との差分を計算する。この値がDVDプレーヤ105から出力された映像が再生されるまでの遅延時間となる。遅延時間検出部804は、この値を遅延部104に通知する。遅延部104は、通知された遅延時間だけ音声の再生タイミングを遅延させて出力する。
【0166】
本実施の形態によれば、無線送信装置101Fと無線受信装置108Fとの間で、共通の時間軸情報を用いて映像情報の送信時刻と再生時刻との差分を求めることによって、映像の再生タイミングの遅延量を得ることができる。従って、音声や映像の入力部なしで、映像と音声の再生タイミングの同期をとることができる。
【0167】
(実施の形態7)
次に本発明の実施の形態7におけるAV伝送装置について説明する。図10は実施の形態7におけるAV伝送装置の全体構成図である。このAV伝送装置は、音声情報を受信装置に伝送し、映像情報は送信装置側で再生するものであり、実施の形態6と同様のタイムスタンプを利用するものである。
【0168】
このAV伝送装置は無線送信装置1001及び無線受信装置1011を有し、これに関連する機器としてDVDプレーヤ105、アンプ106、スピーカ107、プロジェクタ113、スクリーン114が設けられている。無線送信装置1001は、DVDプレーヤ105で再生された音声信号を無線で無線受信装置1011に送信するものである。
【0169】
無線送信装置1001は、無線部1002、MPEG符号化部1003、遅延時間検出部1004、送信時刻管理部1005、音声入力検出部1006、遅延部1007を含んで構成される。無線受信装置1011は、MPEG復号化部1012、音声再生検出部1013、再生時刻管理部1014、無線部1015を含んで構成される。またこれらに関連する機器としてDVDプレーヤ1008、アンプ1016、スピーカ1017、プロジェクタ1009、スクリーン1010が設けられている。
【0170】
本実施の形態は、DVDプレーヤ1008からの音声信号を無線によりアンプ1016側に伝送し、スピーカ1017で音声を再生すると共に、映像は無線による伝送は行わず、DVDプレーヤ1008から再生された映像信号を直接プロジェクタ1009に入力し、映像を再生する形態とする。また、送信装置から受信装置に時間情報を送信することにより、送受信装置間での時間軸を合わせる機能を持つことを第1の特徴とする。また受信装置側で音声信号を再生した時刻を送信装置側にフィードバックし、送信装置側で音声信号を符号化した時刻との差分を求めることによって、映像の再生タイミングの遅延量を求めることを第2の特徴とする。このような特徴により、映像と音声との再生タイミングのずれを補正することができる。
【0171】
このように構成されたAV伝送装置の動作を述べる。DVDプレーヤ1008のアナログの音声出力は無線送信装置1001に入力される。この音声信号は、MPEG符号化部1003で圧縮符号化され、無線部1002によってワイヤレス伝送される。
【0172】
ワイヤレス伝送された圧縮音声信号は、無線受信装置1011で受信される。無線部1015は、受信された圧縮音声信号をMPEG復号化部1012に入力する。MPEG復号化部1012は圧縮音声信号を復号し、音声信号をアンプ1016に出力する。アンプ1016は入力された音声信号を増幅し、スピーカ1017に出力する。
【0173】
一方、DVDプレーヤ1008のアナログの映像出力は、遅延部1007を介してプロジェクタ1009に出力される。プロジェクタ1009は、入力された映像信号を光ビームに変換してスクリーン1010に映し出す。
【0174】
次に映像と音声の再生タイミングの同期をとる方法について説明する。まず、無線送信装置1001と無線受信装置1011との間で時間軸の同期をとる方法について説明する。図9に示すように無線送信装置1001は、無線LANの規格であるIEEE802.11規格に従って、数msec〜数百msecの間隔で周期的にBeaconパケットをブロードキャストしている。Beacon信号には無線送信装置1001が持つ自走クロックにより管理されているタイムスタンプ情報が含まれており、再生時刻管理部1014は、無線受信装置1011のクロックをBeacon信号から抽出したタイムスタンプ情報で補正することによって無線送信装置1001との間で時間軸の同期を取る。
【0175】
次に、再生タイミングのずれを検出する方法について説明する。音声入力検出部1006は、DVDプレーヤ1008から遅延検出用の信号が入力されたことを検出し、送信時刻管理部1005に通知する。送信時刻管理部1005は、音声入力検出部1006から通知された時点の、無線送信装置1001が管理する時刻の値を保持する。
【0176】
MPEG符号化部1003で圧縮された遅延検出用の音声信号は無線受信装置1011に伝送され、MPEG復号化部1012から出力される。音声再生検出部1013は、遅延検出用の音声信号が再生されたことを再生時刻管理部1014に通知する。再生時刻管理部1014は、音声再生検出部1013から通知を受けた時点の無線受信装置1011の時刻情報を、無線部1015を介して無線送信装置1001に伝送する。
【0177】
遅延時間検出部1004は、再生時刻管理部1014から与えられた再生時刻と、送信時刻管理部1005から取得した送信時刻との差分を計算する。この値がDVDプレーヤ1008から出力された音声が受信装置側で再生されるまでの遅延時間となる。遅延時間検出部1004は、この値を遅延部1007に通知し、遅延部1007が通知された時間だけ映像の再生タイミングを遅延させて再生する。
【0178】
本実施の形態によれば、無線LAN規格において規定されているように、無線送信装置1001と無線受信装置1011との間で同期している時間軸情報を用いて、音声情報の送信時刻と再生時刻との差分を求めることによって、音声の再生タイミングの遅延量を得ることができる。こうして、音声や映像の入力手段なしで、映像と音声の再生タイミングの同期をとることができる。
【0179】
(実施の形態8)
次に本発明の実施の形態8におけるAV伝送装置について説明する。図11は実施の形態8におけるAV伝送装置の全体構成図である。実施の形態1〜6と同じ機能部は同じ番号をつけ、詳細な説明は省略する。このAV伝送装置は、映像情報を受信装置に伝送し、音声は送信装置側が再生し、且つ遅延量の測定結果を蓄積部で保持するものである。
【0180】
無線送信装置101Gは、MPEG符号化部103、遅延部104、無線部1103を含んで構成される。無線受信装置108Gは、MPEG復号化部110、比較部111、マイク112、蓄積部1101、無線部1102を含んで構成される。またこれらに関連する機器としてDVDプレーヤ105、アンプ106、スピーカ107、プロジェクタ113、スクリーン114が設けられている。
【0181】
本実施の形態は、DVDプレーヤ105からの映像信号を無線によりプロジェクタ113に伝送し、プロジェクタ113で映像を再生すると共に、音声は無線による伝送は行わず、有線接続されたアンプ106で増幅してスピーカ107から再生する形態とする。また、比較部111で測定した映像と音声との再生タイミングのずれ量を蓄積部1101に保持するところが特徴であり、この点が実施の形態1と異なる。
【0182】
このように構成されたAV伝送装置の動作を述べる。映像及び音声の再生されるまでの処理内容については、実施の形態1と同じであるため、説明を省略する。ここでは、映像と音声の再生タイミングを同期させる処理について説明する。
【0183】
再生タイミングのずれを検出する方法は実施の形態1と同様である。比較部111で検出された映像と音声の再生タイミングのずれ量は、蓄積部1101に格納される。その後の映像と音声との再生タイミングの補正処理は、蓄積部1101に格納された再生タイミングのずれ量を用いて行う。即ち、無線送信装置101Gが起動すると、無線部1103は無線受信装置108Gに対して再生タイミングのずれを通知するように要求する。無線部1102は、このような通知要求を受信すると、蓄積部1101に格納されている、既に測定した再生タイミングのずれ量を読み出し、無線送信装置101Gに伝送する。無線部1103は、受信した再生タイミングのずれ量を遅延部104に通知する。遅延部104は指定された量だけ音声信号の出力を遅延させる。
【0184】
本実施の形態によれば、一度測定した映像と音声の再生タイミングのずれ量を蓄積部1101に保持しておく。以後の使用時には蓄積部1101に保持されているずれ量を遅延部104に通知することによって、映像と音声との再生タイミングの同期を確立する。従って、一度ずれ量を測定すれば、その後は再生タイミングのずれ量の測定や測定用信号の出力などの処理が不要となる。
【0185】
なお、本実施の形態では、蓄積部1101は無線受信装置108Gの内部にあるとしたが、蓄積部は無線送信装置101G側にあっても同様の効果が得られる。また、蓄積部1101として、フレキシブルディスクやSDメモリカードのような着脱可能な記憶素子を用いても良い。
【0186】
【発明の効果】
以上のように本発明によれば、映像と音声とで符号化/復号化の回数や無線などによる伝送に起因した再生タイミングのずれが発生しても、映像と音声との再生タイミングの同期を確立できる。
【0187】
また、送信装置から出力された検出用信号を用いることによって、容易に遅延量を測定することができる。
【0189】
また、予め保持している符号化・復号化の処理時間や伝送遅延時間を受信側から送信側にフィードバックすることによって、光センサやマイクなどの再生映像や再生音声を取り込む手段を用いることなく、再生タイミングのずれを算出することができる。
【0190】
また、送信側と受信側とで基準時刻を共有し、その時間軸に従って送信側の符号化開始から受信側の再生までの遅延時間を算出して遅延量を算出する。これにより、予め符号化・復号化による処理遅延や伝送遅延が分かっていなくても、光センサやマイクなどの再生映像や再生音声を取り込む手段を用いることなく、再生タイミングのずれを算出することができる。
【図面の簡単な説明】
【図1】本発明の実施の形態1におけるAV伝送装置の全体構成図である。
【図2】映像と音声の再生タイミングのずれを検出する原理図である。
【図3】本発明の実施の形態2におけるAV伝送装置の全体構成図である。
【図4】本発明の実施の形態3におけるAV伝送装置の全体構成図である。
【図5】本発明の実施の形態4におけるAV伝送装置の全体構成図である。
【図6】実施の形態4における映像と音声の再生タイミングのずれを検出する原理図である。
【図7】本発明の実施の形態5におけるAV伝送装置の全体構成図である。
【図8】本発明の実施の形態6におけるAV伝送装置の全体構成図である。
【図9】本発明の実施の形態6及び7における送信側と受信側の基準時刻を同期させる原理図である。
【図10】本発明の実施の形態7におけるAV伝送装置の全体構成図である。
【図11】本発明の実施の形態8におけるAV伝送装置の全体構成図である。
【符号の説明】
101A、101B、101C、101D、101E、101F、101G,1001 無線送信装置
102,109,303,304,501,504,705,802,1002,1015,1102,1103 無線部
103,703,1003 MPEG符号化部
104,502,1007,704 遅延部
105,1008 DVDプレーヤ
106,1016 アンプ
107,1017 スピーカ
108A、108B、108C、108D、108E、108F、108G、1011 無線受信装置
110,702,1012 MPEG復号化部
111,302,503 比較部
112 マイク
113,1009 プロジェクタ
114,1010 スクリーン
301 光センサ
401 ダイヤル
701 記憶部
801 映像入力検出部
803,1005 送信時刻管理部
804,1004 遅延時間検出部
805 映像再生検出部
806 再生時刻管理部
1006 音声入力検出部
1013 音声再生検出部
1014 再生時刻管理部
1101 蓄積部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an AV transmission method and an AV transmission device for correcting a deviation in reproduction timing between video and audio due to compression coding / decoding delay and transmission delay that occur when reproducing AV content, and The present invention relates to an AV transmitter and an AV receiver.
[0002]
[Prior art]
In the moving picture experts group (MPEG), which is a video compression coding standard, it is stipulated to synchronize using playback time management information included in each information in order to match the playback timing of video and audio. When both video and audio are decoded and reproduced in the same device, synchronization can be easily established by comparing reproduction time management information.
[0003]
A method of synchronizing the reproduction timing of such video and audio is disclosed in Patent Document 1, and the difference between the reproduction timings is calculated from the video reproduction time management information and the audio reproduction time management information extracted from the video decoder and the audio decoder. By calculating and varying the operation clock frequency of the decoder according to the difference, it is possible to establish the synchronization of the reproduction timing of the video and audio.
[0004]
[Patent Document 1]
JP-A-9-312834 (FIGS. 1 and 4)
[0005]
[Problems to be solved by the invention]
However, in a wireless projector, for example, video is wirelessly transmitted from a remote playback device such as a DVD player to the projector, and sound is output from the DVD player directly to an analog speaker via an amplifier. The amplifier and speaker are directly connected by a cable. The video signal passes through the path of encoding-wireless-decoding-projector, and if it is left as it is, there arises a problem that the playback timing of video and audio is shifted.
[0006]
Further, since the projector that is the video playback device and the amplifier that is the audio playback device are different, there is a problem that the playback time management information cannot be compared and synchronized as in the prior art.
[0007]
The present invention has been made in view of such conventional problems, and in a wireless projector or the like, the number of times of encoding / decoding in video and audio processing and the reproduction timing due to wireless transmission are determined. It is an object of the present invention to realize an AV transmission method and an AV transmission device in which synchronization of reproduction timings of video and audio is established as viewed from the viewer even when a deviation occurs.
[0008]
[Means for Solving the Problems]
In the invention of claim 1 of the present application, when reproducing the content, In a transmission apparatus and a reception apparatus that transmit and receive information to and from each other, the transmission apparatus Content video information Mark Issue Above An AV transmission method of transmitting to a receiving device, decoding the receiving device to reproduce the video information, and reproducing the audio information of the content by the transmitting device, wherein the transmitting device is input Above For video information Contained, Detecting a reference signal for detecting a playback timing shift The , Sent to the receiver The transmission time of the reference signal is managed, and the reception device is transmitted from the transmission device Included in the video information The reference signal Regeneration Shi The , Replayed The playback time of the reference signal Send to the transmitter , The transmitter is configured to transmit the reference signal. Above Transmission time and the receiving device Received from Of the reference signal Above By determining the amount of delay of the audio information by calculating a deviation in the reproduction timing of the video information from the reproduction time, and delaying the reproduction timing of the audio information input by the determined delay amount, Due to encoding and decoding delays in the video information and transmission delays when transmitting to the receiving device Of the video information and the audio information. It is characterized by correcting a deviation in reproduction timing.
[0009]
In the invention of
[0010]
In the invention of claim 3 of the present application, when reproducing the content, In a transmission apparatus and a reception apparatus that transmit and receive information to and from each other, the transmission apparatus Content video information Mark Issue Above An AV transmission apparatus that transmits to a receiving apparatus, decodes the receiving apparatus to reproduce the video information, and reproduces audio information of the content by the transmitting apparatus, wherein the transmitting apparatus has a specified delay amount A delay unit that delays the playback timing of audio information that has been input, and Above For video information Contained, A video input detection unit for detecting a reference signal for detecting a deviation in reproduction timing, and detected by the video input detection unit Above Reference signal Sent to the receiving device A transmission time management unit for managing time; Determining the delay amount of the audio information from the transmission time managed in the transmission time management unit and the reproduction time of the reference signal received from the receiving device; The delay unit Specify the amount of delay A delay time detection unit, and the reception device includes: A video decoding unit for decoding the video signal including the reference signal; Above In the video decoder A video reproduction detector for detecting that the reference signal has been reproduced; Detected by the video reproduction detection unit The reference signal The playback of Manage time And transmitting the playback time to the transmitting device. A playback time management unit, In the transmitter, The delay time detection unit Sending Trust time And said re From birth time ,in front Due to encoding and decoding delays in video information and transmission delays when transmitting to the receiving device Of the video information and the audio information. It is characterized by correcting a deviation in reproduction timing.
[0011]
In the invention of claim 4 of the present application, when reproducing the content, In a transmission apparatus and a reception apparatus that transmit and receive information to and from each other, the transmission apparatus Audio information of content Mark Issue Above An AV transmission apparatus that transmits to a receiving apparatus, decodes the receiving apparatus to reproduce the audio information, and reproduces video information of the content by the transmitting apparatus, wherein the transmitting apparatus has a specified delay amount A delay unit that delays the playback timing of the input video information, and Above For voice information Contained, An audio input detection unit for detecting a reference signal for detecting a deviation in reproduction timing, and detected by the audio input detection unit; Above Reference signal Sent to the receiving device A transmission time management unit for managing time; Determining the delay amount of the video information from the transmission time managed in the transmission time management unit and the reproduction time of the reference signal received from the receiving device; The delay unit Specify the amount of delay A delay time detection unit, and the reception device includes: A voice decoding unit for decoding the voice signal including the reference signal; Above In the speech decoder An audio reproduction detector for detecting that the reference signal has been reproduced; Detected by the audio reproduction detection unit The reference signal The playback of Manage time And transmitting the playback time to the transmitting device. A playback time management unit, In the transmitter, The delay time detection unit Sending Trust time And said re From birth time ,in front Due to encoding and decoding delays in audio information and transmission delays when transmitting to the receiving device Of the video information and the audio information. It is characterized by correcting a deviation in reproduction timing.
[0012]
In the invention of claim 5 of the present application, when reproducing the content, In an AV transmitting apparatus and an AV receiving apparatus that transmit / receive information to / from each other, the AV transmitting apparatus Content video information Mark Issue AV Transmitted to the receiving device, AV The receiving device decodes and reproduces the video information, and AV The transmitting device reproduces the audio information of the content Constituting the AV transmission device An AV transmission apparatus, a delay unit for delaying a reproduction timing of audio information input by a specified delay amount, and an input Above For video information Contained, A video input detection unit for detecting a reference signal for detecting a deviation in reproduction timing, and detected by the video input detection unit Above Reference signal Transmitted to the AV receiver A transmission time management unit for managing time; A delay amount of the audio information is determined from the transmission time managed in the transmission time management unit and the reproduction time of the reference signal reproduced in the AV reception device received from the AV reception device; The delay unit Specify the delay amount of A delay time detector, and the delay time detector Sending Trust time And said re From birth time ,in front Encoding and decoding delay in video information, AV Due to transmission delay when transmitting to the receiver Of the video information and the audio information. It is characterized by correcting a deviation in reproduction timing.
[0013]
In the invention of claim 6 of the present application, when reproducing the content, In an AV transmitting apparatus and an AV receiving apparatus that transmit / receive information to / from each other, the AV transmitting apparatus Audio information of content Mark Issue AV Transmitted to the receiving device, AV The receiving device decodes and reproduces the audio information, and AV The transmitting device reproduces the video information of the content Constituting the AV transmission device An AV transmission device, a delay unit for delaying a reproduction timing of video information input by a specified delay amount, and an input Above For voice information Contained, An audio input detection unit for detecting a reference signal for detecting a deviation in reproduction timing, and detected by the audio input detection unit; Above Reference signal Transmitted to the AV receiver A transmission time management unit for managing time; Determining a delay amount of the video information from the transmission time managed in the transmission time management unit and the reproduction time of the reference signal reproduced in the AV reception device received from the AV reception device; The delay unit Specify the delay amount of A delay time detector, and the delay time detector Sending Trust time And said re From birth time ,in front Encoding and decoding delay in recorded audio information, AV Due to transmission delay when transmitting to the receiver Of the video information and the audio information. It is characterized by correcting a deviation in reproduction timing.
[0094]
According to the AV transmission method described above, the amount of delay can be calculated and synchronization can be established by measuring how much the reproduction timing is from the reproduced video and audio signals.
[0095]
As a signal for delay measurement, for example, the video signal has a pattern in which the white / black screen changes at a constant cycle, and the audio signal outputs a sine wave when the video signal is white and outputs nothing when it is black. By using the signal, the delay amount can be easily measured.
[0096]
Further, the reference time is shared between the transmission side and the reception side, the delay time from the start of encoding on the transmission side to the reproduction on the reception side is measured along the time axis, and the delay amount is calculated. Thereby, it is possible to calculate the deviation of the reproduction timing without using a means for capturing reproduced video and reproduced audio such as an optical sensor and a microphone.
[0097]
Also, the result of measuring the amount of reproduction timing deviation due to encoding / decoding processing time and transmission delay time is stored in the storage means, and once measured, the value is read and received at startup. The amount of delay can be calculated by feeding back from the transmission side to the transmission side.
[0098]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an AV transmission apparatus and an AV transmission method, an AV transmission apparatus, and an AV reception apparatus according to embodiments of the present invention will be described with reference to the drawings.
(Embodiment 1)
FIG. 1 is an overall configuration diagram of an AV transmission apparatus according to Embodiment 1 of the present invention. This AV transmission apparatus includes a wireless transmission apparatus (referred to as an AV transmission apparatus or a transmission apparatus) 101A and a wireless reception apparatus (referred to as an AV reception apparatus or reception apparatus) 108A. As related equipment, a
[0099]
The
[0100]
Therefore, in the present embodiment, the video signal from the
[0101]
The operation of the AV transmission apparatus configured as described above will be described. As video output terminals of the
[0102]
The compressed video signal transmitted wirelessly is received by the wireless reception device 108A. The
[0103]
On the other hand, as audio output terminals of the
[0104]
Next, processing for synchronizing the playback timing of video and audio will be described. The analog audio output from the
[0105]
The
[0106]
Detection signal for detecting deviations in playback timing ( Comparison An example) is also shown in FIG. As shown in FIG. 2A, a signal in which a white-color image and a black-color image appear alternately every N frames is used as a detection video signal. On the other hand, as shown in FIG. 2B, as a detection audio signal, a signal in which an audio signal, for example, a sine wave exists during a period when the image is white, and no audio signal exists during a period when the image is black. (Silence signal) is used. In this embodiment, a DVD disc on which a detection signal as shown in FIG. Alternatively, the wireless transmission device 101A may output a detection signal as shown in FIGS. 2A and 2B immediately before playing a commercially available DVD disc on which desired content is recorded.
[0107]
The
[0108]
The
[0109]
The
[0110]
Here, the
[0111]
As described above, according to the present embodiment, the delay due to the compression encoding and decoding of the video with respect to the audio reproduction timing and the delay of the video reproduction timing due to the wireless transmission are detected, and the amount of delay is detected as audio. By feeding back to the side, it is possible to delay the audio reproduction timing by a necessary time. In this way, synchronization of video and audio playback timing is established, and content can be played back without a shift in playback timing.
[0112]
In the present embodiment, the voice input unit is a microphone, but the same effect can be obtained with a voice input unit other than the microphone. For example, sound may be detected using a general-purpose wired input unit such as an RCA pin plug. In this case, the wireless transmission device 10 1A Is output to the
[0113]
In this embodiment, the
[0114]
Further, in this embodiment, the detection signal for detecting the deviation of the reproduction timing is reproduced by the
[0115]
Further, in this embodiment, the detection signal as shown in FIG. 2 is used as a signal for detecting a deviation in reproduction timing. However, if the signal is such that the relationship between the reproduction timing of video and audio is fixed, Similar effects can be obtained with signals of other patterns.
[0116]
In the AV transmission apparatus according to the present embodiment, the wireless transmission apparatus reproduces the audio information of the content, encodes the video information of the content and transmits it to the wireless reception apparatus, and the wireless reception apparatus decodes and reproduces the video information. It was supposed to be. However, the wireless transmission device may reproduce the video information of the content, encode the audio information of the content and transmit it to the wireless reception device, and the wireless reception device may decode and reproduce the audio information.
[0117]
(Embodiment 2)
Next, an AV transmission apparatus according to
[0118]
The wireless transmission device 101B includes an
[0119]
The
[0120]
In this embodiment, the video signal from the
[0121]
The operation of the AV transmission apparatus configured as described above will be described. Since the processing contents until the video and audio are reproduced are the same as those in the first embodiment, the description thereof is omitted. Here, only the process of synchronizing the playback timing of video and audio will be described. The analog audio output output from the
[0122]
In such processing, the
[0123]
The
[0124]
As described above, according to the present embodiment, the delay due to the compression encoding and decoding of the video with respect to the audio playback timing and the delay of the video playback timing due to the wireless transmission are detected, and the delay amount is determined. By feeding back to the audio side, it is possible to delay the audio reproduction timing by a necessary time. In this way, synchronization of video and audio playback timing is established, and content can be played back without a shift in playback timing.
[0125]
Furthermore, since all the means for detecting the deviation of the reproduction timing are mounted on the wireless transmission apparatus 101B side, it is possible to detect the reproduction timing without providing the detection means for detecting the deviation of the reproduction timing on the wireless reception apparatus 108B side. The deviation can be corrected.
[0126]
In the present embodiment, the video input unit is an optical sensor, but the same effect can be obtained by using a video input unit other than the optical sensor. For example, wired video input using a general-purpose terminal such as an RCA pin plug may be used.
[0127]
In the AV transmission apparatus according to the present embodiment, the wireless transmission apparatus reproduces the audio information of the content, encodes the video information of the content and transmits it to the wireless reception apparatus, and the wireless reception apparatus decodes and reproduces the video information. It was supposed to be. However, the wireless transmission device may reproduce the video information of the content, encode the audio information of the content and transmit it to the wireless reception device, and the wireless reception device may decode and reproduce the audio information. In this case, a microphone is provided as an audio input unit instead of the
[0128]
(Embodiment 3)
Next, an AV transmission apparatus according to Embodiment 3 of the present invention will be described. FIG. 4 is an overall configuration diagram of the AV transmission apparatus according to the third embodiment. The same functional parts as those in the first and second embodiments are given the same numbers, and detailed description thereof is omitted. This AV transmission apparatus is not provided with a comparison unit, and can be manually adjusted for delay using a dial as an adjustment unit.
[0129]
The wireless transmission device 101C adjusts as an adjustment unit in addition to the
[0130]
In this embodiment, the video signal from the
[0131]
The operation of the AV transmission apparatus configured as described above will be described. Since the processing contents until the video and audio are reproduced are the same as those in the first and second embodiments, the description thereof is omitted. Here, only the process of synchronizing the playback timing of video and audio will be described.
[0132]
The analog audio output from the
[0133]
Specifically, the user operates the
[0134]
According to the present embodiment, a delay due to video compression encoding and decoding and a delay in video playback timing due to wireless transmission are detected with respect to the audio playback timing, and the delay amount is detected on the audio side. As a result, the audio reproduction timing can be delayed by a necessary time. In this way, synchronization of video and audio playback timing is established, and content can be played back without a shift in playback timing.
[0135]
Furthermore, in this embodiment, since the user adjusts the deviation of the reproduction timing with the
[0136]
In this embodiment, the
[0137]
Further, the signal for detecting the deviation of the reproduction timing may be a detection signal as shown in FIG. 2, or a content such as a movie or music is reproduced. You may adjust so that the audio | voice output may correspond.
[0138]
In the AV transmission apparatus according to the present embodiment, the wireless transmission apparatus reproduces the audio information of the content, encodes the video information of the content and transmits it to the wireless reception apparatus, and the wireless reception apparatus decodes and reproduces the video information. It was supposed to be. However, the wireless transmission device may reproduce the video information of the content, encode the audio information of the content and transmit it to the wireless reception device, and the wireless reception device may decode and reproduce the audio information.
[0139]
(Embodiment 4)
Next, an AV transmission apparatus according to Embodiment 4 of the present invention will be described. FIG. 5 is an overall configuration diagram of an AV transmission apparatus according to the fourth embodiment. The same functional parts as those in the first to third embodiments are given the same numbers, and detailed description thereof is omitted. This AV transmission apparatus is configured to perform delay measurement using a phase variable detection signal.
[0140]
The wireless transmission device 101D includes an
[0141]
In this embodiment, the video signal from the
[0142]
The operation of the AV transmission apparatus configured as described above will be described. Since the processing contents until the video and audio are reproduced are the same as those in the first embodiment, the description thereof is omitted. Here, only the process of synchronizing the playback timing of video and audio will be described. The analog audio output from the
[0143]
An example of a detection signal for detecting a deviation in reproduction timing is shown in FIGS. As shown in FIG. 2A and FIG. 6A, a signal in which a white-color image and a black-color image appear alternately every N frames is input as a detection video signal. On the other hand, as shown in FIG. 2B, a signal is input as a detection audio signal such that an audio signal is present during a period when the video is white and no audio signal is present during a period when the video is black. In this embodiment, a DVD disc on which detection signals as shown in FIGS. 2A and 2B are recorded is reproduced by the
[0144]
The
[0145]
The
[0146]
When the
[0147]
The
[0148]
According to the present embodiment, the optimal delay on the audio side is set so that the deviation of the reproduction timing due to the compression and decoding of the video with respect to the audio reproduction timing and the delay due to the radio transmission becomes zero. By detecting the amount, the audio reproduction timing can be delayed by a necessary time. In this way, synchronization of video and audio playback timing is established, and content can be played back without a shift in playback timing.
[0149]
In the AV transmission apparatus according to the present embodiment, the wireless transmission apparatus reproduces the audio information of the content, encodes the video information of the content and transmits it to the wireless reception apparatus, and the wireless reception apparatus decodes and reproduces the video information. It was supposed to be. However, the wireless transmission device may reproduce the video information of the content, encode the audio information of the content and transmit it to the wireless reception device, and the wireless reception device may decode and reproduce the audio information. In this case, the
[0150]
(Embodiment 5)
Next, an AV transmission apparatus according to Embodiment 5 of the present invention will be described. FIG. 7 is an overall configuration diagram of an AV transmission apparatus according to the fifth embodiment. The same functional units as those in the first to fourth embodiments are given the same numbers, and detailed description thereof is omitted. This AV transmission device is provided with a storage unit instead of the comparison unit, and notifies the wireless transmission device of the delay amount previously stored in the storage unit.
[0151]
The wireless transmission device 101E includes a
[0152]
In this embodiment, the video signal from the
[0153]
The operation of the AV transmission apparatus configured as described above will be described. Since the processing contents until the video and audio are reproduced are the same as those in the first embodiment, description thereof will be omitted. Here, only the process of synchronizing the playback timing of video and audio will be described.
[0154]
The
[0155]
The
[0156]
According to the present embodiment, information on the delay time for wireless transmission and decoding of a video signal is held in advance on the receiving device side, and the information is fed back to the transmitting device side to reproduce video and audio playback timing. Is recognized, and the reproduction timing of the audio signal is delayed. In this way, synchronization of video and audio playback timing is established without implementing a means for measuring the delay time, and content can be played back without a shift in playback timing.
[0157]
In the AV transmission apparatus according to the present embodiment, the wireless transmission apparatus reproduces the audio information of the content, encodes the video information of the content and transmits it to the wireless reception apparatus, and the wireless reception apparatus decodes and reproduces the video information. It was supposed to be. However, the wireless transmission device may reproduce the video information of the content, encode the audio information of the content and transmit it to the wireless reception device, and the wireless reception device may decode and reproduce the audio information.
[0158]
(Embodiment 6)
Next, an AV transmission apparatus according to the sixth embodiment of the present invention will be described. FIG. 8 is an overall configuration diagram of an AV transmission apparatus according to the sixth embodiment. The same functional units as those in the first to fifth embodiments are given the same numbers, and detailed descriptions thereof are omitted. This AV transmission device detects a delay amount by inserting a time reference signal as a time stamp into audio information and video information without calculating a comparison unit, and calculating a difference between a transmission time and a reproduction time. It is.
[0159]
The wireless transmission device 101F includes an
[0160]
In this embodiment, the video signal from the
[0161]
The operation of the AV transmission apparatus configured as described above will be described. Since the processing contents until the video and audio are reproduced are the same as those in the first embodiment, the description thereof is omitted. Here, only the process of synchronizing the playback timing of video and audio will be described.
[0162]
First, a method for synchronizing the time axis between the wireless transmission device 101F and the wireless reception device 108F will be described. As illustrated in FIG. 9A, the wireless transmission device 101F periodically broadcasts a Beacon packet at intervals of several milliseconds to several hundred milliseconds in accordance with the IEEE 802.11 standard that is a wireless LAN standard. The Beacon signal includes time stamp information managed by a free-running clock possessed by the wireless transmission device 101F. The reproduction
[0163]
Next, a method for detecting a deviation in reproduction timing will be described. The video input detection unit 801 detects that a delay detection signal has been input from the
[0164]
The compressed video information for delay detection is transmitted to the wireless reception device 108F and output from the
[0165]
The delay time detection unit 804 calculates a difference between the reproduction time received from the reproduction
[0166]
According to the present embodiment, the video transmission timing is obtained by obtaining the difference between the transmission time and the playback time of the video information using the common time axis information between the wireless transmission device 101F and the wireless reception device 108F. The amount of delay can be obtained. Therefore, it is possible to synchronize the playback timing of video and audio without an audio or video input unit.
[0167]
(Embodiment 7)
Next, an AV transmission apparatus according to the seventh embodiment of the present invention will be described. FIG. 10 is an overall configuration diagram of an AV transmission apparatus according to the seventh embodiment. This AV transmission apparatus transmits audio information to a reception apparatus, and video information is reproduced on the transmission apparatus side, and uses the same time stamp as in the sixth embodiment.
[0168]
This AV transmission apparatus includes a wireless transmission apparatus 1001 and a wireless reception apparatus 1011, and a
[0169]
The wireless transmission device 1001 includes a
[0170]
In this embodiment, the audio signal from the
[0171]
The operation of the AV transmission apparatus configured as described above will be described. The analog audio output of the
[0172]
The wireless transmission apparatus 1011 receives the compressed audio signal transmitted wirelessly.
[0173]
On the other hand, the analog video output of the
[0174]
Next, a method for synchronizing the playback timing of video and audio will be described. First, a method for synchronizing the time axis between the wireless transmission device 1001 and the wireless reception device 1011 will be described. As shown in FIG. 9, the wireless transmission device 1001 periodically broadcasts a Beacon packet at intervals of several milliseconds to several hundred milliseconds in accordance with the IEEE 802.11 standard that is a wireless LAN standard. The Beacon signal includes time stamp information managed by the free-running clock of the wireless transmission device 1001, and the reproduction
[0175]
Next, a method for detecting a deviation in reproduction timing will be described. The audio
[0176]
The audio signal for delay detection compressed by the
[0177]
The delay
[0178]
According to the present embodiment, as specified in the wireless LAN standard, the transmission time and reproduction of audio information are performed using time axis information synchronized between the wireless transmission device 1001 and the wireless reception device 1011. By obtaining the difference from the time, the delay amount of the audio reproduction timing can be obtained. In this way, it is possible to synchronize the reproduction timing of the video and audio without the input means for audio and video.
[0179]
(Embodiment 8)
Next, an AV transmission apparatus according to the eighth embodiment of the present invention will be described. FIG. 11 is an overall configuration diagram of an AV transmission apparatus according to the eighth embodiment. The same functional units as those in the first to sixth embodiments are given the same numbers, and detailed description thereof is omitted. This AV transmission device transmits video information to a reception device, audio is reproduced by the transmission device side, and a measurement result of the delay amount is held in a storage unit.
[0180]
The wireless transmission device 101G includes an
[0181]
In this embodiment, the video signal from the
[0182]
The operation of the AV transmission apparatus configured as described above will be described. Since the processing contents until the video and audio are reproduced are the same as those in the first embodiment, the description thereof is omitted. Here, a process of synchronizing the playback timing of video and audio will be described.
[0183]
A method for detecting a deviation in reproduction timing is the same as in the first embodiment. The shift amount of the video and audio reproduction timing detected by the
[0184]
According to the present embodiment, the
[0185]
In this embodiment, the
[0186]
【The invention's effect】
As described above, according to the present invention, the reproduction timing of the video and the audio is synchronized even when the reproduction timing is shifted due to the number of times of encoding / decoding between the video and the audio or the transmission by wireless or the like. Can be established.
[0187]
In addition, the delay amount can be easily measured by using the detection signal output from the transmission device.
[0189]
Also, by feeding back the encoding / decoding processing time and transmission delay time held in advance from the receiving side to the transmitting side, without using means for capturing reproduced video and reproduced audio such as an optical sensor or microphone, Deviation in reproduction timing can be calculated.
[0190]
Also, the reference time is shared between the transmission side and the reception side, and the delay amount is calculated by calculating the delay time from the start of encoding on the transmission side to the reproduction on the reception side according to the time axis. As a result, even if the processing delay and transmission delay due to encoding / decoding are not known in advance, it is possible to calculate a deviation in reproduction timing without using a means for capturing reproduced video and reproduced audio such as an optical sensor and a microphone. it can.
[Brief description of the drawings]
FIG. 1 is an overall configuration diagram of an AV transmission apparatus according to a first embodiment of the present invention.
FIG. 2 is a principle diagram for detecting a deviation in playback timing between video and audio.
FIG. 3 is an overall configuration diagram of an AV transmission apparatus according to
FIG. 4 is an overall configuration diagram of an AV transmission apparatus according to Embodiment 3 of the present invention.
FIG. 5 is an overall configuration diagram of an AV transmission apparatus according to Embodiment 4 of the present invention.
FIG. 6 is a principle diagram for detecting a deviation in reproduction timing between video and audio in the fourth embodiment.
FIG. 7 is an overall configuration diagram of an AV transmission apparatus according to a fifth embodiment of the present invention.
FIG. 8 is an overall configuration diagram of an AV transmission apparatus according to a sixth embodiment of the present invention.
FIG. 9 is a principle diagram for synchronizing the reference time on the transmitting side and the receiving side in the sixth and seventh embodiments of the present invention.
FIG. 10 is an overall configuration diagram of an AV transmission apparatus according to a seventh embodiment of the present invention.
FIG. 11 is an overall configuration diagram of an AV transmission apparatus according to an eighth embodiment of the present invention.
[Explanation of symbols]
101A, 101B, 101C, 101D, 101E, 101F, 101G, 1001 Wireless transmission apparatus
102, 109, 303, 304, 501, 504, 705, 802, 1002, 1015, 1102, 1103 Radio unit
103,703,1003 MPEG encoding section
104, 502, 1007, 704 Delay unit
105,1008 DVD player
106,1016 amplifier
107,1017 Speaker
108A, 108B, 108C, 108D, 108E, 108F, 108G, 1011 Wireless receiver
110, 702, 1012 MPEG decoding unit
111, 302, 503 comparison unit
112 microphone
113,1009 Projector
114,1010 screen
301 Optical sensor
401 Dial
701 storage unit
801 Video input detection unit
803, 1005 Transmission time management section
804, 1004 Delay time detector
805 Video playback detection unit
806 Playback time manager
1006 Voice input detection unit
1013 Voice reproduction detection unit
1014 Playback time management unit
1101 Accumulator
Claims (6)
前記送信装置は、入力された前記映像情報に包含された、再生タイミングのずれを検出するための基準信号を検出して、前記受信装置に対して送信した前記基準信号の送信時刻を管理し、
前記受信装置は、前記送信装置から送信された前記映像情報に包含された前記基準信号を再生して、再生した前記基準信号の再生時刻を前記送信装置に送信し、
前記送信装置は、前記基準信号の前記送信時刻と、前記受信装置から受信した前記基準信号の前記再生時刻とから、前記映像情報の再生タイミングのずれを算出することにより前記音声情報の遅延量を決定し、決定された前記遅延量だけ入力された前記音声情報の再生タイミングを遅延させることにより、前記映像情報における符号化及び復号化遅延や、前記受信装置に伝送する際の伝送遅延に起因する前記映像情報と前記音声情報の再生タイミングのずれを補正することを特徴とするAV伝送方法。Upon reproducing the contents, in the receiving and transmitting devices for transmitting and receiving information to one another, wherein the transmitting device is transmitted to the receiving device by marks Goka video information of the content, the video information the receiving apparatus decrypts An AV transmission method in which the transmitting device reproduces audio information of the content while reproducing,
The transmission device has been included in the video information input, and detects a reference signal for detecting a deviation of a reproduction timing, and manages the transmission time of the reference signal transmitted to the receiving device,
The receiving device reproduces the reference signal included in the video information transmitted from the transmitting apparatus transmits the reproduction time of the reference signal reproduced in the transmission device,
The transmitting device includes: the transmission time of the reference signal, from said reproduction time of the reference signal received from the receiving apparatus, the delay amount of the audio information by calculating the shift of the reproduction timing of the video information By determining and delaying the reproduction timing of the audio information input by the determined delay amount, it is caused by encoding and decoding delays in the video information and transmission delays when transmitting to the receiving device An AV transmission method comprising correcting a reproduction timing difference between the video information and the audio information .
前記送信装置は、入力された前記音声情報に包含された、再生タイミングのずれを検出するための基準信号を検出して、前記受信装置に対して送信した前記基準信号の送信時刻を管理し、
前記受信装置は、前記送信装置から送信された前記音声情報に包含された前記基準信号を再生して、再生した前記基準信号の再生時刻を前記送信装置に送信し、
前記送信装置は、前記基準信号の前記送信時刻と、前記受信装置から受信した前記基準信号の前記再生時刻とから、前記音声情報の再生タイミングのずれを算出することにより前記映像情報の遅延量を決定し、決定された前記遅延量だけ入力された前記映像情報の再生タイミングを遅延させることにより、前記音声情報における符号化及び復号化遅延や、前記受信装置に伝送する際の伝送遅延に起因する前記映像情報と前記音声情報の再生タイミングのずれを補正することを特徴とするAV伝送方法。Upon reproducing the contents, in the receiving and transmitting devices for transmitting and receiving information to one another, wherein the transmitting device is transmitted to the receiving device by marks Goka audio information of the content, the audio information the receiver decrypts An AV transmission method in which the transmitting device reproduces video information of the content,
The transmission device has been included in the voice information input, and detects a reference signal for detecting a deviation of a reproduction timing, and manages the transmission time of the reference signal transmitted to the receiving device,
The receiving device reproduces the reference signal included in the voice information transmitted from the transmitting apparatus transmits the reproduction time of the reference signal reproduced in the transmission device,
The transmitting device includes: the transmission time of the reference signal, from said reproduction time of the reference signal received from the receiving apparatus, the delay amount of the image information by calculating the shift of the reproduction timing of the audio information By delaying the playback timing of the video information that has been determined and input by the determined delay amount, it is caused by encoding and decoding delays in the audio information and transmission delays when transmitting to the receiving device An AV transmission method comprising correcting a reproduction timing difference between the video information and the audio information .
前記送信装置は、
指定された遅延量だけ入力された音声情報の再生タイミングを遅延させる遅延部と、
入力された前記映像情報に包含された、再生タイミングのずれを検出するための基準信号を検出する映像入力検出部と、
前記映像入力検出部により検出された前記基準信号を、前記受信装置に対して送信した送信時刻を管理する送信時刻管理部と、
前記送信時刻管理部において管理されている前記送信時刻と、前記受信装置から受信した前記基準信号の再生時刻とから前記音声情報の遅延量を決定し、前記遅延部の遅延量を指定する遅延時間検出部と、を有し、
前記受信装置は、
前記基準信号が包含された前記映像信号を復号化する映像復号化部と、
前記映像復号化部において前記基準信号を再生したことを検出する映像再生検出部と、
前記映像再生検出部において検出された前記基準信号の前記再生時刻を管理し、前記再生時刻を前記送信装置に対して送信する再生時刻管理部と、を有し、
前記送信装置において、前記遅延時間検出部が、前記送信時刻と前記再生時刻とから、前記映像情報における符号化及び復号化遅延や、前記受信装置に伝送する際の伝送遅延に起因する前記映像情報と前記音声情報の再生タイミングのずれを補正することを特徴とするAV伝送装置。Upon reproducing the contents, in the receiving and transmitting devices for transmitting and receiving information to one another, wherein the transmitting device is transmitted to the receiving device by marks Goka video information of the content, the video information the receiving apparatus decrypts An AV transmission device that reproduces the audio information of the content while the transmission device reproduces,
The transmitter is
A delay unit that delays the playback timing of the audio information input by the specified delay amount;
Was included in the inputted image information, and the video input detection section for detecting a reference signal for detecting a deviation of a reproduction timing,
The reference signal detected by the video input detection section, and a transmission time management section for managing transmission time sent to the receiving device,
A delay time for determining the delay amount of the audio information from the transmission time managed by the transmission time management unit and the reproduction time of the reference signal received from the receiving device, and specifying the delay amount of the delay unit A detection unit;
The receiving device is:
A video decoding unit for decoding the video signal including the reference signal;
A video reproduction detecting unit for detecting that the reference signal is reproduced in the video decoding unit;
A reproduction time management unit that manages the reproduction time of the reference signal detected by the video reproduction detection unit and transmits the reproduction time to the transmission device ;
In the transmission device, the delay time detection section, front and a Kioku signal time and the playback time, before Symbol encoding and decoding delays and in the video information, due to the transmission delay in transmitting the reception apparatus An AV transmission apparatus that corrects a difference in reproduction timing between the video information and the audio information .
前記送信装置は、
指定された遅延量だけ入力された映像情報の再生タイミングを遅延させる遅延部と、
入力された前記音声情報に包含された、再生タイミングのずれを検出するための基準信号を検出する音声入力検出部と、
前記音声入力検出部により検出された前記基準信号を、前記受信装置に対して送信した送信時刻を管理する送信時刻管理部と、
前記送信時刻管理部において管理されている前記送信時刻と、前記受信装置から受信した前記基準信号の再生時刻とから前記映像情報の遅延量を決定し、前記遅延部の遅延量を指定する遅延時間検出部と、を有し、
前記受信装置は、
前記基準信号が包含された前記音声信号を復号化する音声復号化部と、
前記音声復号化部において前記基準信号を再生したことを検出する音声再生検出部と、
前記音声再生検出部において検出された前記基準信号の前記再生時刻を管理し、前記再生時刻を前記送信装置に対して送信する再生時刻管理部と、を有し、
前記送信装置において、前記遅延時間検出部が、前記送信時刻と前記再生時刻とから、前記音声情報における符号化及び復号化遅延や、前記受信装置に伝送する際の伝送遅延に起因する前記映像情報と前記音声情報の再生タイミングのずれを補正することを特徴とするAV伝送装置。Upon reproducing the contents, in the receiving and transmitting devices for transmitting and receiving information to one another, wherein the transmitting device is transmitted to the receiving device by marks Goka audio information of the content, the audio information the receiver decrypts An AV transmission apparatus that reproduces the video information of the content while the transmission apparatus reproduces the content,
The transmitter is
A delay unit for delaying the playback timing of the video information input by a specified delay amount;
It was included in the inputted voice information, a voice input detection unit for detecting a reference signal for detecting a deviation of a reproduction timing,
The reference signal detected by the voice input detecting unit, a transmission time management section for managing transmission time sent to the receiving device,
A delay time for determining the delay amount of the video information from the transmission time managed by the transmission time management unit and the reproduction time of the reference signal received from the receiving device and designating the delay amount of the delay unit A detection unit;
The receiving device is:
A voice decoding unit for decoding the voice signal including the reference signal;
An audio reproduction detection unit for detecting that the reference signal is reproduced in the audio decoding unit;
A reproduction time management unit that manages the reproduction time of the reference signal detected by the audio reproduction detection unit and transmits the reproduction time to the transmission device ;
In the transmission device, the delay time detection section, front and a Kioku signal time and the playback time, before Symbol encoding and decoding delay and in the voice information, due to the transmission delay in transmitting the reception apparatus An AV transmission apparatus that corrects a difference in reproduction timing between the video information and the audio information .
指定された遅延量だけ入力された音声情報の再生タイミングを遅延させる遅延部と、
入力された前記映像情報に包含された、再生タイミングのずれを検出するための基準信号を検出する映像入力検出部と、
前記映像入力検出部により検出された前記基準信号を、前記AV受信装置に対して送信した送信時刻を管理する送信時刻管理部と、
前記送信時刻管理部において管理されている前記送信時刻と、前記AV受信装置から受信した前記AV受信装置において再生された前記基準信号の再生時刻とから前記音声情報の遅延量を決定し、前記遅延部の前記遅延量を指定する遅延時間検出部と、を有し、
前記遅延時間検出部が、前記送信時刻と前記再生時刻とから、前記映像情報における符号化及び復号化遅延や、前記AV受信装置に伝送する際の伝送遅延に起因する前記映像情報と前記音声情報の再生タイミングのずれを補正することを特徴とするAV送信装置。Upon reproducing the contents, the AV transmission device and the AV receiver device for transmitting and receiving information to one another, the AV transmission device is transmitted to the AV receiver device with marks Goka video information of the content, the AV receiver decodes wherein reproduces the video information, the a AV transmission apparatus in which the AV transmission device constitute an AV transmission device want to play the audio information of the content Te,
A delay unit that delays the playback timing of the audio information input by the specified delay amount;
Was included in the inputted image information, and the video input detection section for detecting a reference signal for detecting a deviation of a reproduction timing,
The reference signal detected by the video input detection section, and a transmission time management section for managing transmission time transmitted to the AV receiver device,
A delay amount of the audio information is determined from the transmission time managed by the transmission time management unit and the reproduction time of the reference signal reproduced by the AV reception device received from the AV reception device; A delay time detection unit that specifies the delay amount of a unit,
The video information the delay time detection section, front and a Kioku signal time and the playback time, the encoding and decoding delay and before the SL video information, due to the transmission delay in transmitting the AV receiver device And an AV transmission device that corrects a deviation in reproduction timing of the audio information .
指定された遅延量だけ入力された映像情報の再生タイミングを遅延させる遅延部と、
入力された前記音声情報に包含された、再生タイミングのずれを検出するための基準信号を検出する音声入力検出部と、
前記音声入力検出部により検出された前記基準信号を、前記AV受信装置に対して送信した送信時刻を管理する送信時刻管理部と、
前記送信時刻管理部において管理されている前記送信時刻と、前記AV受信装置から受信した前記AV受信装置において再生された前記基準信号の再生時刻とから前記映像情報の遅延量を決定し、前記遅延部の前記遅延量を指定する遅延時間検出部と、を有し、
前記遅延時間検出部が、前記送信時刻と前記再生時刻とから、前記音声情報における符号化及び復号化遅延や、前記AV受信装置に伝送する際の伝送遅延に起因する前記映像情報と前記音声情報の再生タイミングのずれを補正することを特徴とするAV送信装置。Upon reproducing the contents, the AV transmission device and the AV receiver device for transmitting and receiving information to one another, the AV transmission device is transmitted to the AV receiver device with marks Goka audio information of the content, the AV receiver decodes wherein reproduces audio information, wherein a AV transmission apparatus in which the AV transmission device constitute an AV transmission device want to play the video information of the content Te,
A delay unit for delaying the playback timing of the video information input by a specified delay amount;
It was included in the inputted voice information, a voice input detection unit for detecting a reference signal for detecting a deviation of a reproduction timing,
The reference signal detected by the voice input detecting unit, a transmission time management section for managing transmission time transmitted to the AV receiver device,
A delay amount of the video information is determined from the transmission time managed by the transmission time management unit and the reproduction time of the reference signal reproduced in the AV reception device received from the AV reception device, and the delay A delay time detection unit that specifies the delay amount of a unit,
The video information the delay time detection section, front and a Kioku signal time and the playback time, the encoding and decoding delay and before the SL audio information, due to the transmission delay in transmitting the AV receiver device And an AV transmission device that corrects a deviation in reproduction timing of the audio information .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003111294A JP4256710B2 (en) | 2003-04-16 | 2003-04-16 | AV transmission method, AV transmission device, AV transmission device, and AV reception device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003111294A JP4256710B2 (en) | 2003-04-16 | 2003-04-16 | AV transmission method, AV transmission device, AV transmission device, and AV reception device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004320424A JP2004320424A (en) | 2004-11-11 |
JP4256710B2 true JP4256710B2 (en) | 2009-04-22 |
Family
ID=33471888
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003111294A Expired - Fee Related JP4256710B2 (en) | 2003-04-16 | 2003-04-16 | AV transmission method, AV transmission device, AV transmission device, and AV reception device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4256710B2 (en) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4529495B2 (en) * | 2004-03-12 | 2010-08-25 | ソニー株式会社 | Video / audio reproduction system and amplifier device |
JP4639827B2 (en) * | 2005-02-01 | 2011-02-23 | 株式会社ケンウッド | Audio output device, synchronization adjustment system, and synchronization adjustment method |
JP4835044B2 (en) * | 2005-06-06 | 2011-12-14 | 株式会社ケンウッド | Video data reproduction system, audio output device, video / audio output device, and synchronization adjustment method |
JP2006340251A (en) * | 2005-06-06 | 2006-12-14 | Kenwood Corp | Voice output device and synchronization adjusting method |
JP4375313B2 (en) | 2005-09-16 | 2009-12-02 | セイコーエプソン株式会社 | Image / audio output system, image / audio data output apparatus, audio processing program, and recording medium |
JP4799106B2 (en) * | 2005-09-27 | 2011-10-26 | 株式会社タムラ製作所 | Delay time input device and delay time input method |
JP2007235519A (en) * | 2006-03-01 | 2007-09-13 | Matsushita Electric Ind Co Ltd | Method and system for video sound synchronization |
KR101416249B1 (en) | 2007-08-01 | 2014-07-07 | 삼성전자 주식회사 | Signal processing apparatus and control method thereof |
US20100303159A1 (en) * | 2007-09-21 | 2010-12-02 | Mark Alan Schultz | Apparatus and method for synchronizing user observable signals |
KR101450100B1 (en) | 2007-11-22 | 2014-10-15 | 삼성전자주식회사 | Multimedia apparatus and synchronization method thereof |
KR102201617B1 (en) * | 2014-01-07 | 2021-01-12 | 삼성전자 주식회사 | Av device and control method thereof |
KR20210028880A (en) | 2019-09-05 | 2021-03-15 | 삼성전자주식회사 | Display apparatus and method for controlling thereof |
-
2003
- 2003-04-16 JP JP2003111294A patent/JP4256710B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004320424A (en) | 2004-11-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10869073B2 (en) | Simultaneous playback for multiple audience members with different visual and audio needs | |
JP5660895B2 (en) | Apparatus and method for synchronizing user observable signals | |
JP3544963B2 (en) | Method and apparatus for synchronous playback | |
ES2593032T3 (en) | Alternative audio for smartphones in a movie theater | |
US7907212B2 (en) | Multiple path audio video synchronization | |
US20190116395A1 (en) | Synchronizing audio and video signals rendered on different devices | |
JP4256710B2 (en) | AV transmission method, AV transmission device, AV transmission device, and AV reception device | |
US9742965B2 (en) | Apparatus, systems and methods for user controlled synchronization of presented video and audio streams | |
JP2009272945A (en) | Synchronous reproduction apparatus | |
ES2665022T3 (en) | Method and apparatus for synchronizing reproductions of two electronic devices | |
EP3100458A1 (en) | Method and apparatus for synchronizing playbacks at two electronic devices | |
JP2004193868A (en) | Wireless transmission and reception system and wireless transmission and reception method | |
JP2004282667A (en) | Transmitter having correction function of regeneration desynchronization, receiver having the same, and transmission equipment having the transmitter and the receiver | |
KR20050023090A (en) | Contents Providing System and Mobile Communication Terminal Therefor | |
WO2017141977A1 (en) | Audio device and control method | |
US20210195256A1 (en) | Decoder equipment with two audio links | |
JP2009049919A (en) | Video sound reproduction method and video sound reproducing system | |
JP2006121388A (en) | Output timing control apparatus, video image output unit, output timing control system, output unit, integrated data providing apparatus, output timing control program, output device control program, integrated data providing apparatus control program, method of controlling the output timing control apparatus, method of controlling the output unit and method of controlling the integrated data providing apparatus | |
JP2015529059A (en) | Method and apparatus for adapting audio delay to image frame rate | |
TW200829009A (en) | Playback system capable of synchronizing playback of video signal and playback of audio signal and method thereof | |
JP2004015553A (en) | Synchronization control method and apparatus thereof, synchronization reproduction apparatus and tv receiving apparatus using the control method and apparatus | |
JP2006148679A (en) | Data processing device | |
JP2008131341A (en) | Video/audio reproduction system and video reproduction apparatus | |
JP4953707B2 (en) | Digital broadcast receiver | |
JP2010154249A (en) | Video and sound playback system and distribution apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060407 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080623 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080701 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080829 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081007 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090107 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090130 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120206 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081201 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130206 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130206 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140206 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |