JP2008028599A - Reproduction method of multimedia data, and main communication apparatus, sub-communication apparatus, and program for execution of the method - Google Patents
Reproduction method of multimedia data, and main communication apparatus, sub-communication apparatus, and program for execution of the method Download PDFInfo
- Publication number
- JP2008028599A JP2008028599A JP2006197721A JP2006197721A JP2008028599A JP 2008028599 A JP2008028599 A JP 2008028599A JP 2006197721 A JP2006197721 A JP 2006197721A JP 2006197721 A JP2006197721 A JP 2006197721A JP 2008028599 A JP2008028599 A JP 2008028599A
- Authority
- JP
- Japan
- Prior art keywords
- communication device
- time
- packet
- control
- delay time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Receiver Circuits (AREA)
- Mobile Radio Communication Systems (AREA)
- Telephone Function (AREA)
Abstract
Description
本発明は マルチメディアデータのビデオ再生とオーディオ再生とを同期させる技術に関する。特に、本発明は、ビデオ再生とオーディオ再生とが別の機器により行われる場合に、ビデオ再生とオーディオ再生とを同期させる技術に関する。 The present invention relates to a technique for synchronizing video playback and audio playback of multimedia data. In particular, the present invention relates to a technique for synchronizing video playback and audio playback when video playback and audio playback are performed by different devices.
従来、ビデオコンテンツ等のマルチメディアサービスは、パーソナルコンピュータや、専用の再生機など、高い処理能力を持つ装置のみが提供していた。しかしながら、近年の携帯無線端末の性能向上は目覚ましく、携帯電話機のような小型携帯無線端末も、このようなマルチメディアサービスを提供するようになってきている。特に、インターネット上に蓄積されているマルチメディアコンテンツを再生する場合や、地上デジタル放送を受信する場合などに、ストリーミング技術を利用する携帯電話機が増加している。 Conventionally, multimedia services such as video contents have been provided only by devices having high processing capabilities such as personal computers and dedicated players. However, in recent years, the performance of portable wireless terminals has been remarkably improved, and small portable wireless terminals such as mobile phones have come to provide such multimedia services. In particular, mobile phones using streaming technology are increasing when multimedia contents stored on the Internet are played back or when digital terrestrial broadcasting is received.
一方で、携帯電話機が受信したマルチメディアストリームからオーディオデータを抜き出し、抜き出されたオーディオデータを、別の機器でユーザが聞くことも行われている。即ち、携帯電話機等の主通信機は、抜き出されたオーディオデータを、Ｂｌｕｅｔｏｏｔｈ等の近距離無線技術を使用して、従通信機に転送し、ユーザが転送されたオーディオ信号を従通信機で聴取する。 On the other hand, audio data is extracted from a multimedia stream received by a mobile phone, and a user listens to the extracted audio data with another device. That is, the main communication device such as a mobile phone transfers the extracted audio data to the slave communication device using a short-range wireless technology such as Bluetooth, and the user transmits the transferred audio signal to the slave communication device. Listen.
再公表特許公報ＷＯ０１／０９９３９３（特許文献１）は、受信オーディオデータをワイヤレスヘッドホンに転送する携帯電話機を開示している。また、この特許文献1は、受信ビデオデータを腕時計等に転送し、腕時計等は、そのディスプレイ上に、このビデオデータを表示することも併せて開示している。
Re-published patent publication WO 01/099393 (Patent Document 1) discloses a mobile phone that transfers received audio data to wireless headphones.
また、特開２００４−３２０４２４（特許文献２）は、ＤＶＤプレイヤからビデオ信号及びオーディオ信号を得、ビデオ信号をＭＰＥＧ符号化した後に、プロジェクタに送信し、このビデオ信号をスクリーンに表示させる無声送信装置を開示している。この無線送信装置は、オーディオ信号を自ら再生する。 Japanese Patent Laid-Open No. 2004-320424 (Patent Document 2) obtains a video signal and an audio signal from a DVD player, MPEG-encodes the video signal, transmits the video signal to a projector, and displays the video signal on a screen. Is disclosed. This wireless transmission device reproduces the audio signal itself.
これらの状況を鑑みると、携帯電話機が受信したマルチメディアストリームを、マルチメディアストリームをビデオデータ部分とオーディオデータ部分とに分割し、ユーザは、ビデオデータ部分を携帯電話の画面上で鑑賞し、オーディオデータ部分をワイヤレスヘッドホンにより聴取するという利用形態も考えられる。 In view of these circumstances, the multimedia stream received by the mobile phone is divided into a video data portion and an audio data portion, and the user views the video data portion on the mobile phone screen and audio A use form in which the data portion is listened to by wireless headphones is also conceivable.
しかしながら、このような利用形態では、携帯電話の画面上のビデオデータ再生タイミングと、ワイヤレスヘッドホンでのオーディオデータ再生タイミングとがずれることがある。これは、２つの原因によりもたらされる。ひとつは、携帯電話機とワイヤレスヘッドホン無線部分で生じる遅延と、無線伝搬路で発生する遅延との合計である、伝搬遅延である。もうひとつは、ワイヤレスヘッドホンでの音声データバッファリング処理による処理遅延である。これらの遅延が大きい場合、携帯電話機画面上でのビデオ信号と、ワイヤレスヘッドホンから出力されるオーディオデータとの間に、ユーザは、時間的なずれを認識する。一例を挙げれば、ビデオ信号における話者の口の動きとオーディオ信号との間に時間的なずれを、ユーザは認識することがある。この時間的なずれは、ユーザに、違和感を与える。 However, in such a usage mode, the video data playback timing on the screen of the mobile phone may deviate from the audio data playback timing on the wireless headphones. This is caused by two causes. One is a propagation delay, which is the sum of the delay generated in the mobile phone and wireless headphone radio part and the delay generated in the radio propagation path. The other is processing delay due to audio data buffering processing in wireless headphones. When these delays are large, the user recognizes a time lag between the video signal on the mobile phone screen and the audio data output from the wireless headphones. In one example, a user may recognize a time lag between the speaker's mouth movement in the video signal and the audio signal. This time lag gives the user a sense of incongruity.
同一機器によるマルチメディアストリーミング再生では、ビデオデータ再生タイミングとオーディオデータ再生タイミングとの差を調整する仕組みが知られている。この仕組みは、「リップシンク」とも呼ばれる。この仕組みでは、ビデオデータとオーディオデータの各々に、タイムスタンプ情報が付加されている。マルチメディアデータ再生機器、例えば、携帯電話機は、このタイムスタンプ情報を参照しながら、ビデオデータを復号するタイミングと、オーディオデータを復号するタイミングを調整する。この調整は、再生ビデオ信号と再生オーディオ信号との同期、即ち、リップシンクを実現している。したがって、携帯電話機のディスプレイに表示されるビデオ信号のタイミングと、同一携帯電話機のスピーあるいはイヤホンから出力されるオーディオ信号のタイミングとは、一致する。 In multimedia streaming playback by the same device, a mechanism for adjusting the difference between video data playback timing and audio data playback timing is known. This mechanism is also called “lip sync”. In this mechanism, time stamp information is added to each of video data and audio data. A multimedia data playback device, for example, a mobile phone, adjusts the timing for decoding video data and the timing for decoding audio data while referring to the time stamp information. This adjustment realizes synchronization between the reproduced video signal and the reproduced audio signal, that is, lip sync. Therefore, the timing of the video signal displayed on the display of the mobile phone coincides with the timing of the audio signal output from the speaker or earphone of the same mobile phone.
前述した特許文献1記載の技術では、携帯電話機は、このリップシンク技術により、携帯電話機で、ビデオ信号及びオーディオ信号の再生タイミングを調整した後に、ビデオ信号を腕時計等へ、オーディオ信号をワイヤレスヘッドホンへ送付することができる。このため、特許文献1記載の技術では、腕時計のディスプレイ上でのビデオ信号の再生タイミングとヘッドホン出力のオーディオ信号の再生タイミングとのずれは、余り大きくならないようにすることができると考えられる。
In the technology described in
しかしながら、携帯電話機がマルチメディアデータを受信し、この携帯電話機がビデオデータのみを再生し、オーディオデータをワイヤレスヘッドホンに転送し、ワイヤレスヘッドホンがオーディオデータを再生する場合には、このようなことは期待できない。この理由は、携帯電話機自身により再生されるビデオデータの再生タイミングと、ワイヤレスヘッドホン（他の機器）により再生されるオーディオデータの再生タイミングとを調整する仕組みが存在しないためである。 However, this is expected when the mobile phone receives multimedia data, the mobile phone plays only video data, transfers audio data to wireless headphones, and the wireless headphones play audio data. Can not. This is because there is no mechanism for adjusting the playback timing of video data played back by the mobile phone itself and the playback timing of audio data played back by wireless headphones (other devices).
この場合には、前述した、携帯電話機からワイヤレスヘッドホン間の転送遅延、及び、ワイヤレスヘッドホン内部での処理遅延の合計が、ビデオ信号の再生タイミングとオーディオ信号の再生タイミングのずれとなって現われる。 In this case, the total of the transfer delay between the mobile phone and the wireless headphones and the processing delay inside the wireless headphones described above appears as a difference between the playback timing of the video signal and the playback timing of the audio signal.
また、特許文献２は、スクリーン上での再生ビデオ信号と無線送信装置からの再生オーディオ信号との再生タイミングを同期させるために、無線送信装置は、オーディオ信号を遅延させて再生している。この遅延量は、プロジェクタ装置側が、再生ビデオ信号と再生オーディオ信号とを比較することにより求める。この求められた遅延量を、プロジェクタ装置側は、無線送信装置に返送している。しかしながら、この特許文献２の技術は、再生ビデオ信号と再生オーディオ信号とのタイミング差を求めるために、無線装置は、特別なテストビデオ信号と特別なテストオーディオ信号との組を送信する必要がある。特許文献２は、このテスト信号の例として、奇数フレームで全白信号となり偶数フレームで全黒信号となるテストビデオ信号と、奇数フレーム内でのみＯＮとなる正弦波信号であるテストオーディオ信号を記載している。しかしながら、このようなテスト信号はユーザにとっては、目障りでありかつ耳障りである。
In
本発明の目的は、主通信機（例えば、携帯電話機）がマルチメディアストリームを受信し、この主通信機がビデオデータのみを再生し、オーディオデータを従通信機（例えば、ワイヤレスヘッドホン）に転送し、この従通信機がオーディオデータを再生するシステム構成において、テストビデオ信号やテストオーディオ信号を使用することなく、主通信機におけるビデオデータ再生タイミングと従通信機におけるオーディオデータ再生タイミングとを調整する仕組みを提供することにある。 An object of the present invention is to receive a multimedia stream from a main communication device (for example, a mobile phone), to reproduce only video data, and to transfer audio data to a slave communication device (for example, wireless headphones). In the system configuration in which the slave communication device plays back audio data, the video data playback timing in the master communication device and the audio data playback timing in the slave communication device are adjusted without using the test video signal or test audio signal. Is to provide.
請求項１記載の発明は、主通信機がマルチメディアデータをビデオデータとオーディオデータとを分離し、ビデオデータを再生する一方で、オーディオデータを従通信機に転送し、従通信機がオーディオデータを再生する際に、これらビデオデータの再生タイミングとオーディオデータの再生タイミングとを同期させるマルチメディアデータの再生方法であり、
（Ａ）主通信機は、前もって定められたタイミングで、制御パケットを従通信機に送信し、
（Ｂ）従通信機は、制御パケットを受信すると、この従通信機内部での処理遅延時間を示す処理遅延時間情報を含む制御応答パケットを、主通信機に返信し、
（Ｃ）主通信機は、主通信機・従通信機間の伝搬遅延情報とこの処理遅延情報との和で示される要遅延時間に基づいて、ビデオデータの再生タイミングを変更する、
ことを特徴とするマルチメディアデータの再生方法である。
According to the first aspect of the present invention, the master communication device separates the multimedia data from the video data and the audio data and reproduces the video data, while transferring the audio data to the slave communication device. Is a multimedia data playback method that synchronizes the playback timing of video data and the playback timing of audio data when
(A) The main communication device transmits a control packet to the slave communication device at a predetermined timing,
(B) Upon receiving the control packet, the slave communication device returns a control response packet including processing delay time information indicating the processing delay time inside the slave communication device to the master communication device,
(C) The main communication device changes the reproduction timing of the video data based on the required delay time indicated by the sum of the propagation delay information between the main communication device and the slave communication device and the processing delay information.
This is a multimedia data playback method.
請求項２記載の発明は、請求項１記載のマルチメディアデータの再生方法において、処理遅延時間情報は、制御パケットの受信時刻と制御応答パケットの送信時刻とで表されることを特徴とする。 According to a second aspect of the present invention, in the multimedia data reproduction method according to the first aspect, the processing delay time information is represented by a reception time of the control packet and a transmission time of the control response packet.
請求項３記載の発明は、請求項２記載のマルチメディアデータの再生方法において、処理遅延時間情報は、制御パケットの受信時刻と制御応答パケットの送信時刻との差で表されることを特徴とする。 According to a third aspect of the present invention, in the multimedia data reproducing method according to the second aspect, the processing delay time information is represented by a difference between a control packet reception time and a control response packet transmission time. To do.
請求項４記載の発明は、請求項１記載のマルチメディアデータの再生方法において、制御応答パケットは制御パケットの受信時刻を含み、ステップ（Ｃ）は、伝搬遅延情報を、制御パケットの送信時刻と制御パケットの受信時刻から計算することを特徴とする。 According to a fourth aspect of the present invention, in the multimedia data reproducing method according to the first aspect, the control response packet includes the reception time of the control packet, and step (C) includes the propagation delay information as the transmission time of the control packet. It is calculated from the reception time of the control packet.
請求項５記載の発明は、請求項４記載のマルチメディアデータの再生方法において、制御応答パケットはこの制御応答パケットの送信時刻をさらに含み、ステップ（Ｃ）は、伝搬遅延情報を、制御応答パケットの発信時刻と応答制御パケットの受信時刻から計算することを特徴とする。ことを特徴とする。 According to a fifth aspect of the present invention, in the multimedia data reproducing method according to the fourth aspect, the control response packet further includes a transmission time of the control response packet, and step (C) includes the propagation delay information, the control response packet, It is calculated from the transmission time of the message and the reception time of the response control packet. It is characterized by that.
請求項６記載の発明は、請求項１に記載のマルチメディアデータの再生方法において、ステップ（Ｃ）は、要遅延時間を、第１の差の半分と、第２の差の半分との和により計算し、第１の差は、制御パケットの送信時刻と制御応答パケットの受信時刻との差であり、第２の差は、制御パケットの受信時刻と制御応答パケットの受信時刻との差である、ことを特徴とする。 According to a sixth aspect of the present invention, in the multimedia data reproducing method according to the first aspect, in the step (C), the delay time is calculated as a sum of a half of the first difference and a half of the second difference. The first difference is the difference between the transmission time of the control packet and the reception time of the control response packet, and the second difference is the difference between the reception time of the control packet and the reception time of the control response packet. It is characterized by that.
請求項７記載の発明は、請求項１に記載のマルチメディアデータの再生方法において、ステップ（Ｃ）は、前回計算した要遅延時間を記憶し、今回計算した要遅延時間と記憶された要遅延時間との差である差要遅延時間だけ、ビデオデータの再生タイミングを遅延させる、ことを特徴とする。 According to a seventh aspect of the present invention, in the multimedia data reproducing method according to the first aspect, the step (C) stores the required delay time calculated last time, and the calculated required delay time and the stored required delay time. The reproduction timing of video data is delayed by a difference required delay time which is a difference from time.
請求項８記載の発明は、請求項７に記載のマルチメディアデータの再生方法において、ステップ（Ｃ）は、差遅延時間が負である場合には、この差遅延時間に相当する量のビデオデータを廃棄する、ことを特徴とする。 According to an eighth aspect of the present invention, in the multimedia data reproducing method according to the seventh aspect, when the differential delay time is negative, the step (C) is a video data of an amount corresponding to the differential delay time. It is characterized by discarding.
請求項９記載の発明は、請求項１記載のマルチメディアデータの再生方法において、ステップ（Ｃ）は、差要遅延時間が正または０である場合には、この差要遅延時間だけ、ビデオデータの復号を延期する、ことを特徴とする。 According to a ninth aspect of the present invention, in the multimedia data reproducing method according to the first aspect, in the step (C), when the required delay time is positive or zero, the video data is increased by the required delay time. The decryption of is postponed.
請求項１０記載の発明は、請求項１記載のマルチメディアデータの再生方法
ステップ（Ａ）は、所定時間毎に制御パケットを送信する、ことを特徴とする。
A tenth aspect of the present invention is the multimedia data reproducing method according to the first aspect, wherein the step (A) transmits a control packet every predetermined time.
請求項１１記載の発明は、
主通信機がマルチメディアデータ中のビデオデータを再生する一方で、オーディオデータを従通信機に転送し、従通信機がオーディオデータを再生する際に、これらビデオデータの再生タイミングとオーディオデータの再生タイミングとを同期させるマルチメディアデータの再生方法を実施する主通信機であり、
所定のタイミングで、制御パケットを従通信機へ送信するとともに、マルチメディアデータから分離されたオーディオデータを従通信機へ送信する送信部と、
従通信機から、従通信機内部での処理遅延時間を示す処理遅延時間情報を含む制御応答パケットを受信する受信部と、
主通信機・従通信機間の伝搬遅延情報とこの処理遅延情報との和で示される要遅延時間を計算する計算部と、
ビデオデータの再生タイミングを、計算された要遅延時間に基づいて、変更する調整部と、
時刻を計時するタイマ、
とを備えたことを特徴とする主通信機である。
The invention according to
While the master communication device plays the video data in the multimedia data, the audio data is transferred to the slave communication device, and when the slave communication device plays the audio data, the playback timing of the video data and the playback of the audio data are reproduced. It is a main communication device that implements a multimedia data playback method that synchronizes timing,
A transmission unit that transmits the control packet to the slave communication device at a predetermined timing, and transmits the audio data separated from the multimedia data to the slave communication device;
A receiving unit that receives a control response packet including processing delay time information indicating processing delay time inside the slave communication device from the slave communication device;
A calculation unit for calculating the required delay time indicated by the sum of the propagation delay information between the master communication device and the slave communication device and this processing delay information;
An adjustment unit that changes the reproduction timing of the video data based on the calculated delay time;
Timer to keep time,
And a main communication device.
請求項１２記載の発明は、請求項１１記載の主通信機において、処理遅延時間情報は、制御パケットの前期従通信機での受信時刻と制御応答パケットの従通信機での送信時刻とで表される、ことを特徴とする。 According to a twelfth aspect of the present invention, in the master communication device according to the eleventh aspect, the processing delay time information is represented by a reception time of the control packet at the slave communication device in the previous period and a transmission time of the control response packet at the slave communication device. It is characterized by that.
請求項１３記載の発明は、請求項１１記載の主通信機において、計算部は、処理遅延時間情報を、制御パケットの受信時刻と制御応答パケットの送信時刻との差により求める、ことを特徴とする。 A thirteenth aspect of the invention is characterized in that, in the main communication device of the eleventh aspect, the calculation unit obtains the processing delay time information from the difference between the reception time of the control packet and the transmission time of the control response packet. To do.
請求項１４記載の発明は、請求項１１記載の主通信機において、制御応答パケットは制御パケットの従通信機での受信時刻を含み、計算部は、伝搬遅延情報を、制御パケットの送信時刻と制御パケットの受信時刻から計算する、ことを特徴とする。 According to a fourteenth aspect of the present invention, in the master communication device according to the eleventh aspect, the control response packet includes the reception time of the control packet at the slave communication device, and the calculation unit determines the propagation delay information as the control packet transmission time and the transmission time of the control packet. It is calculated from the reception time of the control packet.
請求項１５記載の発明は、請求項１１記載の主通信機において、制御応答パケットは制御応答パケットの送信時刻を含み、計算部は、伝搬遅延情報を、制御応答パケットの発信時刻と制御応答パケットの受信時刻から計算する、ことを特徴とする。 According to a fifteenth aspect of the present invention, in the main communication device according to the eleventh aspect, the control response packet includes a transmission time of the control response packet, and the calculation unit includes the propagation delay information, the transmission time of the control response packet, and the control response packet. It is calculated from the reception time of.
請求項１６記載の発明は、請求項１１に記載の主通信機において、
計算部は、要遅延時間を、第１の差の半分と、第２の差の半分との和により求め、
第１の差は、タイマで計時された制御パケットの送信時刻と、タイマで計時された制御応答パケットの受信時刻との差であり、
第２の差は、制御パケットの受信時刻と制御応答パケットの受信時刻との差である、
ことを特徴とする。
The invention according to claim 16 is the main communication device according to
The calculation unit obtains the delay time required by the sum of half of the first difference and half of the second difference,
The first difference is the difference between the transmission time of the control packet timed by the timer and the reception time of the control response packet timed by the timer,
The second difference is the difference between the reception time of the control packet and the reception time of the control response packet.
It is characterized by that.
請求項１７記載の発明は、請求項１１に記載の主通信機において、
計算部は、前回計算した要遅延時間を記憶し、今回計算した要遅延時間との差である差要遅延時間を出力し、
調整部は、差要遅延時間だけ、ビデオデータの再生タイミングを遅延させる、ことを特徴とする。
The invention according to claim 17 is the main communication device according to
The calculation unit stores the required delay time calculated last time, and outputs a difference required delay time that is a difference from the required delay time calculated this time,
The adjustment unit is characterized in that the reproduction timing of the video data is delayed by the difference required delay time.
請求項１８記載の発明は、請求項１７に記載の主通信機において、調整部は、差遅延時間が負である場合には、この差遅延時間に対応するビデオデータを廃棄する、ことを特徴とする。 According to an eighteenth aspect of the present invention, in the main communication device according to the seventeenth aspect, when the differential delay time is negative, the adjustment unit discards video data corresponding to the differential delay time. And
請求項１９記載の発明は、請求項１１記載の主通信機において、調整部は、差要遅延時間が正または０である場合には、この差要遅延時間だけ、ビデオデータの復号を延期する、ことを特徴とする。 According to a nineteenth aspect of the present invention, in the main communication device according to the eleventh aspect, when the difference required delay time is positive or zero, the adjustment unit delays the decoding of the video data by the difference required delay time. It is characterized by that.
請求項２０記載の発明は、請求項１１記載の主通信機において、送信部は、所定時間毎に制御パケットを送信する、ことを特徴とする。 According to a twentieth aspect of the present invention, in the main communication device according to the eleventh aspect, the transmission unit transmits a control packet every predetermined time.
請求項２１記載の発明は、
主通信機がマルチメディアデータ中のビデオデータを再生する一方で、オーディオデータを従通信機に転送し、従通信機がオーディオデータを再生する際に、これらビデオデータの再生タイミングとオーディオデータの再生タイミングとを同期させるマルチメディアデータの再生方法を実施する従通信機であって、
主通信機から転送されたオーディオデータを再生するオーディオ再生器と、
主通信機から制御パケットを受信すると、この従通信機内部での処理遅延時間を示す処理遅延時間情報を含む制御応答パケットを、主通信機に返信する送信部と、
時刻を計時するタイマと、
を備えた従通信機である。
The invention according to claim 21
While the master communication device plays the video data in the multimedia data, the audio data is transferred to the slave communication device, and when the slave communication device plays the audio data, the playback timing of the video data and the playback of the audio data are reproduced. A slave communication device that implements a multimedia data playback method that synchronizes timing,
An audio player for playing audio data transferred from the main communication device;
When a control packet is received from the master communication device, a control response packet including processing delay time information indicating the processing delay time inside the slave communication device, a transmission unit that returns to the master communication device,
A timer that keeps time,
Is a slave communication device.
請求項２２記載の発明は、請求項２１記載の従通信機において、制御応答パケットは、処理遅延時間情報として、タイマで計時された制御パケットの受信時刻と制御応答パケットの送信時刻を含む、ことを特徴とする。 According to a twenty-second aspect of the present invention, in the slave communication device according to the twenty-first aspect, the control response packet includes, as processing delay time information, the reception time of the control packet timed by the timer and the transmission time of the control response packet. It is characterized by.
請求項２３記載の発明は、請求項２１記載の従通信機において、
制御応答パケットは、処理遅延時間情報として、制御パケットの受信時刻と制御応答パケットの送信時刻との差を含む、ことを特徴とする。
The invention according to claim 23 is the slave communication device according to claim 21,
The control response packet includes, as processing delay time information, a difference between the reception time of the control packet and the transmission time of the control response packet.
請求項２４記載の発明は、請求項２１記載の従通信機において、
制御パケットは、この制御パケットの主通信機での送信時刻を含み、制御応答パケットは、この制御パケット送信時刻を含む、ことを特徴とする。
According to a twenty-fourth aspect of the present invention, in the slave communication device according to the twenty-first aspect,
The control packet includes a transmission time of the control packet at the main communication device, and the control response packet includes the control packet transmission time.
請求項２５記載の発明は、
主通信機がマルチメディアデータ中のビデオデータ再生する一方で、オーディオデータを従通信機に転送し、従通信機がオーディオデータを再生する際に、これらビデオデータの再生タイミングとオーディオデータの再生タイミングとを同期させるマルチメディアデータの再生方法を実施する主通信機としてコンピュータを動作させるための主通信機用プログラムであり、
（Ａ）所定のタイミングで制御パケットを従通信機へ送信するとともに、マルチメディアデータから分離されたオーディオデータを、従通信機へ送信し、
（Ｂ）従通信機から、従通信機内部での処理遅延時間を示す処理遅延時間情報を含む制御応答パケットを受信し、
（Ｃ）主通信機・従通信機間の伝搬遅延情報とこの処理遅延情報との和で示される要遅延時間を計算する計算し、
（Ｄ）ビデオデータの再生タイミングを、計算された要遅延時間に基づいて、変更する、
ステップを備えた主通信機用プログラムである。
The invention according to claim 25 provides
While the master communication device reproduces video data in the multimedia data, the audio data is transferred to the slave communication device, and when the slave communication device reproduces the audio data, the playback timing of the video data and the playback timing of the audio data A program for a main communicator for operating a computer as a main communicator that implements a method of reproducing multimedia data synchronized with
(A) A control packet is transmitted to the slave communication device at a predetermined timing, and audio data separated from the multimedia data is transmitted to the slave communication device.
(B) receiving a control response packet including processing delay time information indicating a processing delay time inside the slave communication device from the slave communication device;
(C) calculating the required delay time indicated by the sum of the propagation delay information between the main communication device and the slave communication device and this processing delay information;
(D) changing the playback timing of the video data based on the calculated required delay time;
A program for a main communication device including steps.
請求項２６記載の発明は、請求項２５記載の主通信機用プログラムにおいて、処理遅延時間情報は、制御パケットの前期従通信機での受信時刻と制御応答パケットの従通信機での送信時刻とで表される、ことを特徴とする。 According to a twenty-sixth aspect of the invention, in the program for the main communication device according to the twenty-fifth aspect, the processing delay time information includes the reception time of the control packet in the slave communication device in the previous period and the transmission time of the control response packet in the slave communication device. It is represented by the above.
請求項２７記載の発明は、請求項２５記載の主通信機用プログラムにおいて、ステップ（Ｃ）は、処理遅延時間情報を、制御パケットの受信時刻と制御応答パケットの送信時刻との差で求める、ことを特徴とする。 According to a twenty-seventh aspect of the present invention, in the main communication device program according to the twenty-fifth aspect, in the step (C), the processing delay time information is obtained by a difference between a control packet reception time and a control response packet transmission time. It is characterized by that.
請求項２８記載の発明は、請求項２５記載の主通信機用プログラムにおいて、制御応答パケットは制御パケットの従通信機での受信時刻を含み、ステップ（Ｃ）は、伝搬遅延情報を、制御パケットの送信時刻と制御パケットの受信時刻から計算する、ことを特徴とする。 According to a twenty-eighth aspect of the present invention, in the main communication device program according to the twenty-fifth aspect, the control response packet includes a reception time of the control packet at the slave communication device, and step (C) includes the propagation delay information, the control packet It is calculated from the transmission time of and the reception time of the control packet.
請求項２９記載の発明は、請求項２５記載の主通信機用プログラムにおいて、
制御応答パケットはこの制御応答パケットの送信時刻をさらに含み、ステップ（Ｃ）は、計算部は、伝搬遅延情報を、制御応答パケットの発信時刻と応答制御パケットの受信時刻から計算する、ことを特徴とする。
A twenty-ninth aspect of the invention is the main communication device program according to the twenty-fifth aspect,
The control response packet further includes a transmission time of the control response packet, and the step (C) calculates the propagation delay information from the transmission time of the control response packet and the reception time of the response control packet. And
請求項３０記載の発明は、請求項２５に記載の主通信機用プログラムにおいて、
ステップ（Ｃ）は、要遅延時間を、第１の差の半分と、第２の差の半分との和により求め、
第１の差は、制御パケットの送信時刻と制御応答パケットの受信時刻との差であり、
第２の差は、制御パケットの受信時刻と制御応答パケットの受信時刻との差である、ことを特徴とする。
The invention according to claim 30 is the main communication device program according to claim 25,
Step (C) calculates the required delay time by the sum of half of the first difference and half of the second difference,
The first difference is the difference between the transmission time of the control packet and the reception time of the control response packet,
The second difference is a difference between the reception time of the control packet and the reception time of the control response packet.
請求項３１記載の発明は、請求項２５に記載の主通信機用プログラムにおいて、
ステップ（Ｃ）は、前回計算した要遅延時間を記憶し、今回計算した要遅延時間との差である差要遅延時間を計算し、
ステップ（Ｄ）は、差要遅延時間だけ、ビデオデータの再生タイミングを遅延させる、ことを特徴とする。
The invention described in claim 31 is the main communication device program according to claim 25,
Step (C) stores the required delay time calculated last time, calculates a required differential delay time which is a difference from the calculated required delay time,
Step (D) is characterized in that the reproduction timing of the video data is delayed by the difference required delay time.
請求項３２記載の発明は、請求項３１に記載の主通信機用プログラムにおいて、ステップ（Ｄ）は、差遅延時間が負である場合には、この差遅延時間に対応するビデオデータを廃棄する、ことを特徴とする。 According to a thirty-second aspect of the invention, in the main communication device program according to the thirty-first aspect, when the differential delay time is negative, the step (D) discards video data corresponding to the differential delay time. It is characterized by that.
請求項３３記載の発明は、請求項２５記載の主通信機用プログラムにおいて、ステップ（Ｄ）は、差要遅延時間が正または０である場合には、この差要遅延時間だけ、ビデオデータの復号を延期する、ことを特徴とする。 According to a thirty-third aspect of the present invention, in the main communication device program according to the twenty-fifth aspect, when the required delay time is positive or zero, the step (D) Decoding is postponed.
請求項３４記載の発明は、請求項２５記載の主通信機用プログラムにおいて、ステップ（Ａ）は、所定時間毎に制御パケットを送信する、ことを特徴とする。 A thirty-fourth aspect of the present invention is the main communication device program according to the twenty-fifth aspect, characterized in that the step (A) transmits a control packet every predetermined time.
請求項３５記載の発明は、主通信機がマルチメディアデータ中のビデオデータを再生する一方で、オーディオデータを従通信機に転送し、従通信機がオーディオデータを再生する際に、これらビデオデータの再生タイミングとオーディオデータの再生タイミングとを同期させるマルチメディアデータの再生方法を実施する従通信機としてコンピュータを動作させるための従通信機用プログラムであって、
（Ａ）主通信機から転送されたオーディオデータを再生し、
（Ｂ）主通信機から制御パケットを受信すると、この従通信機内部での処理遅延時間を示す処理遅延時間情報を含む制御応答パケットを、主通信機に返信する、
ステップを備えたことを特徴とする。
In the invention of claim 35, when the master communication device reproduces the video data in the multimedia data, the audio data is transferred to the slave communication device, and the slave communication device reproduces the audio data. A program for a slave communication device for operating a computer as a slave communication device that implements a multimedia data playback method for synchronizing the playback timing of audio data and the playback timing of audio data,
(A) Play the audio data transferred from the main communication device,
(B) When a control packet is received from the master communication device, a control response packet including processing delay time information indicating the processing delay time inside the slave communication device is returned to the master communication device.
A step is provided.
請求項３６記載の発明は、請求項３５記載の従通信機用プログラムにおいて、制御応答パケットは、処理遅延時間情報として、制御パケットの受信時刻と制御応答パケットの送信時刻を含む、ことを特徴とする。 The invention according to claim 36 is the slave communication program according to claim 35, wherein the control response packet includes, as processing delay time information, a control packet reception time and a control response packet transmission time. To do.
請求項３７記載の発明は、請求項３５記載の従通信機用プログラムにおいて、制御応答パケットは、処理遅延時間情報として、制御パケットの受信時刻と制御応答パケットの送信時刻との差を含む、ことを特徴とする。 The invention according to claim 37 is the slave communication program according to claim 35, wherein the control response packet includes, as processing delay time information, a difference between the reception time of the control packet and the transmission time of the control response packet. It is characterized by.
請求項３８記載の発明は、請求項３５記載の従通信機用プログラムにおいて、制御パケットは、この制御パケットの主通信機での送信時刻を含み、制御応答パケットは、この制御パケット送信時刻をさらに含む、ことを特徴とする。 According to a thirty-eighth aspect of the present invention, in the slave communication program according to the thirty-fifth aspect, the control packet includes a transmission time of the control packet in the master communication device, and the control response packet further includes the control packet transmission time. Including.
このマルチメディアストリームは、主通信機が、地上デジタル放送や、インターネット等にアクセスすることにより受信する。また、主通信機から従通信機へのオーディオデータの転送には、Ｂｌｕｅｔｏｏｔｈ、無線ＬＡＮやその他の近距離無線技術が使用可能である。 The multimedia stream is received by the main communication device accessing the terrestrial digital broadcast, the Internet, or the like. Also, Bluetooth, wireless LAN, and other short-range wireless technologies can be used to transfer audio data from the main communication device to the slave communication device.
本発明を携帯電話機等の主通信機及びこの主通信機に接続された従通信機に適用すると、これら機器間のオーディオデータ転送や、従通信機側のバッファリングに起因するデータ転送の遅延時間をあらかじめ考慮して、主通信機でのビデオ再生タイミングを、この遅延時間だけ、遅延させることができる。これにより、主通信機でのビデオ再生と従通信機でのオーディオ再生とを同期させることができる。即ち、本発明は、主通信機と従通信機とを連携させて、リップシンクを実現する。 When the present invention is applied to a main communication device such as a cellular phone and a slave communication device connected to the master communication device, a delay time of audio data transfer between these devices and data transfer caused by buffering on the slave communication device side In consideration of the above, the video playback timing in the main communication device can be delayed by this delay time. Thereby, the video reproduction in the main communication device and the audio reproduction in the slave communication device can be synchronized. That is, the present invention realizes lip sync by linking a main communication device and a slave communication device.
次に、図面を参照して、本発明の実施形態につき説明する。 Next, embodiments of the present invention will be described with reference to the drawings.
なお、以下の説明では、マルチメディアストリームを受信する主通信機としては携帯電話機を、従通信機としてはワイヤレスヘッドホンを例として説明する。しかしながら、これらの主通信機や従通信機としては、別の機器も使用可能である。例えば、主通信機としては、携帯電話機以外の携帯通信端末や携帯型パーソナルコンピュータ等も使用できる。また、従通信機としては、無線インタフェースを有するオーディオ再生機器が使用可能である。 In the following description, a mobile phone will be described as an example of a main communication device that receives a multimedia stream, and wireless headphones will be described as an example of a slave communication device. However, other devices can be used as these main communication devices and slave communication devices. For example, as the main communication device, a mobile communication terminal other than a mobile phone, a portable personal computer, or the like can be used. As the slave communication device, an audio playback device having a wireless interface can be used.
図１は、本発明の利用シーンの一例を示す。 FIG. 1 shows an example of a usage scene of the present invention.
図1において、ユーザ３００は、携帯電話機１００で、マルチメディアストリームを受信している。携帯電話機１００は、受信マルチメディアストリームを、ビデオデータとオーディオデータとに分離し、ビデオデータをそのディスプレイ上に再生する。また、携帯電話機１００は、オーディオデータをワイヤレスヘッドホン２００に転送する。ワイヤレスヘッドホン２００は、転送されたオーディオデータを再生する。ユーザ３００は、携帯電話機１００で、再生ビデオ信号を見、ヘッドホン２００で、再生オーディオ信号を聞く。
In FIG. 1, a
これらの携帯電話機１００及びヘッドホン２００は、Ｂｌｕｅｔｏｏｔｈ等の短距離無線器を内蔵している。 These mobile phone 100 and headphones 200 incorporate a short-range wireless device such as Bluetooth.
ユーザ３００は、携帯電話機１００からワイヤレスヘッドホン２００に転送されたオーディオデータを聴く。前述したとおり、携帯電話機１００から、ワイヤレスヘッドホン２００に無線転送されるオーディオデータは、無線伝搬路で伝搬遅延を受ける。また、このオーディオデータは、ワイヤレスヘッドホン２００における、オーディオデータのバッファリングの時間に起因する処理遅延も受ける。この結果、ワイヤレスヘッドホンからのオーディオ信号の再生タイミングは、ユーザ３００が見ている再生ビデオ信号の再生タイミングとのズレを、ユーザが認識することがある。
The
次に、図２、図３を参照して、本発明の一実施形態を説明する。図２は、本発明の一実施携帯に関わる携帯電話機の構成例を示すブロック図であり、図３は、本発明の一実施形態に関わるワイヤレスヘッドホンの構成例を示すブロック図である。 Next, an embodiment of the present invention will be described with reference to FIGS. FIG. 2 is a block diagram showing a configuration example of a mobile phone related to a mobile phone according to an embodiment of the present invention, and FIG. 3 is a block diagram showing a configuration example of wireless headphones according to an embodiment of the present invention.
図２に示されたとおり、本実施形態に関わる携帯電話機１００は、プログラム制御によって動作するコンピュータ（中央処理装置）１１０と、オーディオデータをワイヤレスヘッドホンへ転送するための無線通信部１２０と、オーディオ信号を出力するスピーカ１３０と、タイマ情報を生成するタイマ１４０と、無線ネットワークあるいは有線ネットワークからマルチメディアストリームデータを受信するストリームデータ受信器１５０と、再生ビデオ信号を表示するディスプレイ（非図示）を含むユーザインタフェース１６０とからなる。
As shown in FIG. 2, the mobile phone 100 according to the present embodiment includes a computer (central processing unit) 110 that operates by program control, a
無線通信部１２０としては、Ｂｌｕｅｔｏｏｔｈ、無線ＬＡＮ送受信器等が使用できる。
As the
ストリームデータ受信器１５０は、例えば、ブラウザとインターネットとの通信を行うインターネット通信部との組み合わせで実現される。ストリームデータ受信器１５０は、インターネット等からマルチメディアストリームデータを受信する。また、このストリームデータ受信器１５０は、地上デジタル放送のストリームデータを受信する地上デジタル放送受信機で構成されてもよい。ストリームデータを受信する受信機の構成そのものは、本発明には直接には関係しないので、図1では、単に、ストリームデータ受信器１５０と表示している。
The
また、コンピュータ１１０は、制御部１１１と、メディア分離部１１２と、ビデオバッファリング部１１３と、オーディオバッファリング部１１４と、通信インタフェース１１５と、タイミング同期部１１６と、ビデオ復号器１１７と、オーディオ復号器１１８とを含む。これらは、プログラムにより実現されている。
Further, the computer 110 includes a control unit 111, a
制御部１１１は、携帯電話機１００全体を制御する。メディア分離部１１２は、受信したマルチメディアストリーミングを、ビデオデータとオーディオデータとに分離する。ビデオバッファリング部１１３は、ビデオデータをバッファリングする。ビデオ復号器１１７は、ビデオデータを復号化する。ユーザインタフェース１６０は、復号化されたビデオ信号を、携帯電話機１００のディスプレイ上に表示する。
The control unit 111 controls the entire mobile phone 100. The
仮に、図２の構成において、ユーザが、ビデオ信号とオーディオ信号との両方を携帯電話機で視聴することを選択している場合には、オーディオバッファリング部１１４は、オーディオデータをバッファリングする。また、オーディオ復号器１１８は、オーディオデータの復号化を行い、この復号化されたオーディオ信号は、スピーカ１３０に供給される。以下に説明する本実施形態では、オーディオ復号器１１８及びスピーカ１３０は、使用されないことに注意されたい。
If the user has selected to view both the video signal and the audio signal on the mobile phone in the configuration of FIG. 2, the
本実施形態では、オーディバッファリング部１１４は、タイミング同期部１１６及び通信インタフェース１１５及び無線通信部１２０を介して、オーディオデータを、ワイヤレスヘッドホン２００に供給する。
In the present embodiment, the
タイミング同期部１１６は、ビデオデータ及びオーディオデータを、各々、ビデオバッファリング部１１３、オーディオバッファリング部１１４から受け取る。詳しくは後述するが、タイミング同期部１１６は、携帯電話機１００のディスプレイで表示されるビデオ信号の再生タイミングとワイヤレスヘッドホン２００のスピーカ２３０から出力されるオーディオ信号の再生タイミングがほぼ等しくなるように、ビデオデータをビデオ復号器１１７へ渡すタイミングを調整する。
The
通信インタフェース１１４には、ワイヤレスヘッドホンと通信を行うための、通信プロトコル等が実装されている。
The
図３は、本実施形態にかかわるワイヤレスヘッドホン２００の構成例を示すブロック図である。 FIG. 3 is a block diagram illustrating a configuration example of the wireless headphones 200 according to the present embodiment.
図３に示されたとおり、ワイヤレスヘッドホン２００は、プログラム制御によって動作するコンピュータ２１０と、無線通信部２２０と、スピーカ２３０と、タイマ情報を生成するタイマ２４０とを含む。
As shown in FIG. 3, the wireless headphone 200 includes a computer 210 that operates under program control, a
また、コンピュータ２１０は、ワイヤレスヘッドホン２００全体を制御するヘッドホン制御部２１１と、オーディオデータをバッファリングするオーディオバッファリング部２１２と、タイミング同期部２１３と、オーディオデータを復号化するオーディオ復号器２１４と、無線通信部２２０を使用して携帯電話機１００と通信を行うための通信インタフェース２１５とを含む。
In addition, the computer 210 includes a
なお、本実施形態では、ビデオデータの復号化処理、およびオーディオデータの復号化処理は、それぞれ、ソフトウェアで実現される。 In the present embodiment, the video data decoding process and the audio data decoding process are each implemented by software.
なお、ユーザ３００は、携帯電話機１００と、ワイヤレスヘッドホン２００とを、あらかじめ無線により接続処理を行い、携帯電話機１００とワイヤレスヘッドホン２００との間で、無線上でのデータ転送が行えるようにしておくものとする。このような無線接続手順は、本発明とは直接には関係しないので、これ以上の説明は省略される。また、同様に、ワイヤレスヘッドホン２００で再生するオーディオストリーミング再生に関連する、コーデック情報、サンプリング周波数、転送ビットレート等の情報は、あらかじめ携帯電話機１００と、ワイヤレスヘッドホン２００との間でネゴシエーションがなされているものとする。このようなネゴシエーションついては、ストリーミング形式のオーディオデータの符号化方式により定められるものであり、本発明と直接には関係しないため、詳細な説明は省略される。つまり、携帯電話機１００と、ワイヤレスヘッドホン２００との間では、オーディオデータを再生するためのあらゆる準備が完了している状態にあるものとして、以下の説明を行う。
The
次に、図２の携帯電話装置１００と図３のワイヤレスヘッドホン２００との連係につき説明する。 Next, the linkage between the cellular phone device 100 of FIG. 2 and the wireless headphones 200 of FIG. 3 will be described.
図４は、本実施形態でのビデオデータ及びオーディオデータの流れを示している。図４の上側は、携帯電話機１００におけるデータの流れを示し、図４の下側は、ワイヤレスヘッドホン２００のデータの流れを示している。 FIG. 4 shows the flow of video data and audio data in this embodiment. 4 shows the data flow in the mobile phone 100, and the lower side in FIG. 4 shows the data flow of the wireless headphones 200.
携帯電話機１００では、ストリームデータ受信器１５０は、ビデオデータとオーディオデータとが混在したマルチメディアストリームデータを受信し、メディア分離部１１２に渡す。
In the mobile phone 100, the
メディア分離部１１２は、マルチメディアストリームデータからビデオデータ部分を分離してビデオバッファリング部１１３に渡す。また、メディア分離部１１２は、マルチメディアストリームデータからオーディオデータ部分を分離してオーディオバッファリング部１１４に渡す。
The
ビデオバッファリング部１１３は、このビデオデータをバッファリングする。その後、ビデオバッファリング部１１３は、タイミング同期部１１６からビデオデータを送るよう要求されたタイミングで、バッファリングされていたビデオデータを、その先頭から所定の単位で取り出して、タイミング同期部１１６に渡す。このビデオデータは、ビデオ復号器１１７にて復号され、再生ビデオ信号が、携帯電話機１００のユーザインタフェース（ディスプレイ）装置に表示される。
The
一方、オーディオバッファリング部１１４は、メディア分離部１１２から受け取ったオーディオデータをバッファリングする。その後、オーディオバッファリング部１１４は、タイミング同期部１１６からオーディオデータを送るよう要求されたタイミングで、バッファリングされていたオーディオデータを、先頭から所定の単位で取り出して、タイミング同期部１１６に渡す。
On the other hand, the
タイミング同期部１１６は、このオーディオデータを受け取り、通信インタフェース１１５及び無線通信部１２０を介して、ワイヤレスヘッドホン２００に送信する。
The
ワイヤレスヘッドホン２００において、オーディオバッファリング部２１２は、携帯電話機から受信したオーディオデータをバッファリングする。その後、タイミング同期部２１３からオーディオデータを送るよう要求されたタイミングで、バッファリングされていたオーディオデータを所定の単位で取り出して、タイミング同期部１１６に渡す。このオーディオデータは、オーディオ復号器にて復号化され、ワイヤレスヘッドホン２００のスピーカにて再生される。
In the wireless headphones 200, the
以上が、本実施形態における、ビデオデータ及びオーディオデータの流れである。 The above is the flow of video data and audio data in the present embodiment.
本実施形態では、以上の動作に加えて、携帯電話機１００のタイミング同期部１１６は、制御パケットを作成し、ワイヤレスヘッドホンに送信する。この制御パケットは、タイマ１４０により計時された発信時刻を示す発信時刻情報を含む。
In the present embodiment, in addition to the above operation, the
ワイヤレスヘッドホン２００は、この制御パケットを受信した時点で、オーディオバッファリング部２１２で、制御応答パケットを作成し、受信したオーディオデータとともにバッファリングする。オーディオバッファリング部２１２は、この制御応答パケットが、内蔵されたバッファから読み出された時点で、制御応答パケットを、携帯電話機に返信する。この時点で、制御応答パケットは、ワイヤレスヘッドホン内での処理遅延時間、すなわち、バッファリング処理に要した時間を示す処理遅延時間情報を含む。
When the wireless headphones 200 receive this control packet, the
携帯電話機１００のタイミング同期部１１６は、この制御応答パケット内の情報を基に、携帯電話機でのビデオ再生とワイヤレスヘッドホンでのオーディオ再生を同期させるための要遅延時間（Ｔ_delay）を計算する。そして、タイミング同期部は、この計算結果が出ると、この計算された要遅延時間（Ｔ_delay）に基づいて、ビデオデータをビデオ復号器に送付する動作を延期する。
Based on the information in the control response packet, the
この結果、タイミング同期部１１６からビデオ復号器１１７ビデオデータが出力される時刻は、このビデオデータと同時に再生されるべきオーデォデータよりも遅れてタイミング同期部１１６から出力される。この結果、このビデオデータがビデオ復号器１１７に到達する時刻は、ワイヤレスヘッドホンに送付されたオーディオデータが、ワイヤレスヘッドホン２００内のオーディオ復号器２１４に到着する時刻とほぼ同じとなる。この後は、後続するビデオデータも、この要遅延時間だけずれた時点で、ビデオ復号器１１７に供給されるので、後続するビデオデータ、オーディオデータの再生タイミングは一致する。
As a result, the time at which the video decoder 117 video data is output from the
図５は、本実施形態において、制御パケットと制御応答パケットを用いて、前述した要遅延時間（Ｔ_delay）を計算する方法を説明するための図である。 FIG. 5 is a diagram for explaining a method of calculating the above-described required delay time (T_delay) using a control packet and a control response packet in the present embodiment.
図５に示したように、携帯電話機１００は、時刻ｔ１に制御パケットを送信し、時刻ｔ４に制御応答パケットを受信したものとする。なお、これらｔ１及びｔ４は、携帯電話機１００内のタイマ１４０で計時された時刻を示すタイマ情報である。また、図５に示されたように、ワイヤレスヘッドホン２００は、時刻ｔ２で制御パケットを受信し、時刻ｔ３で制御応答を送信したものとする。なお、これらｔ２及びｔ３は、ワイヤレスヘッドホン２００内のタイマ２４０で計時された時刻を示すタイマ情報である。
As shown in FIG. 5, it is assumed that the mobile phone 100 transmits a control packet at time t1 and receives a control response packet at time t4. These t1 and t4 are timer information indicating the time measured by the timer 140 in the mobile phone 100. Further, as shown in FIG. 5, it is assumed that the wireless headphones 200 receive a control packet at time t2 and transmit a control response at time t3. These t2 and t3 are timer information indicating the time counted by the
以下に、このＴ_delayの計算方法につき、３つの例を説明する。なお、この３つの計算方法例は、携帯電話機１００内のタイミング同期部１１６が実行する。
In the following, three examples of the T_delay calculation method will be described. Note that these three calculation method examples are executed by the
まず、要遅延時間計算方法の第１の例（以下、「例Ａ」）につき、説明する。この例Ａは、次の式（１）により、要遅延時間（Ｔ_delay）を計算する。 First, a first example (hereinafter referred to as “example A”) of a method for calculating a required delay time will be described. In this example A, the required delay time (T_delay) is calculated by the following equation (1).
Ｔ_delay ＝ (ｔ２ − ｔ１) ＋ (ｔ３ − ｔ２)
＝ （ｔ３ − ｔ１） ・・・（１）
（１）式において、(ｔ２ − ｔ１)は、携帯電話機１００から無線ヘッドホン２００までの無線区間における伝搬遅延時間を示す。(ｔ３ − ｔ２)は、ワイヤレスヘッドホン内部での処理遅延時間を示す。（１）式による要遅延時間Ｔ_delayは、この伝搬遅延時間と処理遅延時間の合計である。この要遅延時間の最初の計算がなされ、携帯電話機１００がその後の最初の音声データをワイヤレスヘッドホンに送信してから、この要処理時間が経過するまで、携帯電話機１００内のタイミング同期部１１６は、ビデオデータのビデオ復号器１１７への送付を延期する。
T_delay = (t2−t1) + (t3−t2)
= (T3-t1) (1)
In the equation (1), (t2−t1) represents a propagation delay time in a wireless section from the mobile phone 100 to the wireless headphones 200. (t3−t2) indicates a processing delay time inside the wireless headphones. The required delay time T_delay according to the equation (1) is the sum of the propagation delay time and the processing delay time. After the first calculation of the required delay time is performed and the cellular phone 100 transmits the first audio data thereafter to the wireless headphones, the
なお、この例Ａによる計算では、携帯電話機１００内のタイマ１４０とワイヤレスヘッドホン内のタイマ２４０とは、時刻が正確に、合わせられる必要がある。好ましくは、０．５秒以内に合わせられている必要がある。さらに好ましくは、時刻を計測する単位時間の１／２未満に合わせられている必要がある。その理由は、時刻ｔ１は、タイマ１４０により計時される時刻であり、時刻ｔ２、ｔ３は、タイマ２４０により掲示された時刻であるためである。仮に、タイマ１４０の時刻とタイマ２４０の時刻にずれがあると、このずれは、（１）式の計算結果の影響を与える。
In the calculation according to the example A, the timer 140 in the mobile phone 100 and the
なお、この時刻合わせは、事前に、携帯電話機１００及びワイヤレスヘッドホン２００が、基地局（インフラストラクチャモード無線ＬＡＮシステムにおいては、アクセスポイント）と交信することにより、正確な時刻情報を得て、各々のタイマをセットすることにより実現できる。また、この時刻合わせには、周知の他の方法も使用できることは言うまでも無い。 Note that this time adjustment is performed in advance by the mobile phone 100 and the wireless headphones 200 communicating with the base station (access point in the infrastructure mode wireless LAN system) to obtain accurate time information. This can be realized by setting a timer. Needless to say, other known methods can be used for this time adjustment.
次に、要遅延時間計算方法の第２の例（以下、「例Ｂ」）につき、説明する。この例Ｂは、次の式（２）により、要遅延時間を計算する。なお、この例Ｂの計算方法を使用する場合も、例Ａと同様に、携帯電話機１００内のタイマ１４０とワイヤレスヘッドホン内のタイマ２４０とは、時刻が正確に合わせられている必要がある。その理由は、例Ａと同様である。
Next, a second example (hereinafter referred to as “example B”) of a method for calculating a delay time will be described. In this example B, the required delay time is calculated by the following equation (2). Even when the calculation method of Example B is used, similarly to Example A, the timer 140 in the mobile phone 100 and the
Ｔ_delay ＝ (ｔ４ − ｔ３) ＋ (ｔ３ − ｔ２)
＝ （ｔ４ − ｔ２） ・・・（２）
（２）式において、(ｔ４ − ｔ３)は、無線伝搬路における伝送遅延時間を示す。(ｔ３ − ｔ２)は、ワイヤレスヘッドホン内部での処理遅延時間を示す。（２）式による要遅延時間Ｔ_delayは、この伝搬遅延時間と処理遅延時間の合計である。
T_delay = (t4−t3) + (t3−t2)
= (T4-t2) (2)
In the equation (2), (t4−t3) represents a transmission delay time in the radio propagation path. (t3−t2) indicates a processing delay time inside the wireless headphones. The required delay time T_delay according to equation (2) is the sum of the propagation delay time and the processing delay time.
次に、要遅延時間計算方法の第３の例（以下、「例Ｃ」）につき、説明する。この例Ｃは、次の式（３）により、要遅延時間を計算する。なお、この例３は、例Ａ、例Ｂと異なり、携帯電話機１００内のタイマ１４０とワイヤレスヘッドホン内のタイマ２４０とは、時刻が正確に一致している必要は必ずしもない。その理由は後述される。
Next, a third example (hereinafter referred to as “example C”) of the method for calculating the required delay time will be described. In this example C, the required delay time is calculated by the following equation (3). In Example 3, unlike Example A and Example B, the timer 140 in the mobile phone 100 and the
Ｔ_delay＝（（ｔ２-ｔ１）＋（ｔ４―ｔ３））／２＋（ｔ３−ｔ２）
＝（ｔ４ − ｔ１）／２ − (ｔ３ − ｔ２)／２ ＋（ｔ３ − ｔ２）
＝（ｔ４ − ｔ１）／２ ＋ (ｔ３ − ｔ２)／２ ・・・（３）
（３）式において、（（ｔ２-ｔ１）＋（ｔ４ ― ｔ３））／２は、携帯電話機１００からワイヤレスヘッドホン２００までの無線区間における伝送遅延時間と、ワイヤレスヘッドホン２００から携帯電話機１００までの無線区間における伝送遅延時間との平均値を示す。(ｔ３ − ｔ２)は、ワイヤレスヘッドホン内部での処理遅延時間を示す。
T_delay = ((t2-t1) + (t4-t3)) / 2+ (t3-t2)
= (T4−t1) / 2− (t3−t2) / 2 + (t3−t2)
= (T4-t1) / 2 + (t3-t2) / 2 (3)
In the equation (3), ((t2−t1) + (t4−t3)) / 2 is a transmission delay time in a radio section from the mobile phone 100 to the wireless headphone 200 and a radio from the wireless headphone 200 to the mobile phone 100. The average value with the transmission delay time in the section is shown. (t3−t2) indicates a processing delay time inside the wireless headphones.
前述したとおり、時刻ｔ１及びｔ４は、携帯電話機内のタイマ１４０で計時された時刻であり、時刻ｔ２及びｔ３は、ワイヤレスヘッドホン内のタイマ２４０で計時された時刻である。（３）式は、時刻ｔ１と時刻ｔ４との差の半分と、時刻ｔ２と時刻ｔ３との差の半分との和である。したがって、携帯電話機内のタイマ１４０の時刻とワイヤレスヘッドホン内のタイマ２４０の時刻との間に、時間差があったとしても、この時間差は、（３）式の計算結果には影響しない。したがって、この例Ｃは、例Ａ、例Ｂと異なり、携帯電話機１００内のタイマ１４０とワイヤレスヘッドホン内のタイマ２４０とは、時刻が正確に一致している必要はない。
As described above, times t1 and t4 are times counted by the timer 140 in the mobile phone, and times t2 and t3 are times counted by the
次に、図６、及び図７のフローチャートを参照して、本実施形態の全体の動作について詳細に説明する。 Next, the overall operation of this embodiment will be described in detail with reference to the flowcharts of FIGS. 6 and 7.
図６は、携帯電話機１００における、本発明を実現するためのタイミング同期部１１６のビデオデータ再生時の動作を説明するためのフローチャートである。
FIG. 6 is a flowchart for explaining the operation at the time of video data reproduction of the
なお、ユーザが、携帯電話機１００とワイヤレスヘッドホン２００と接続しない場合には、タイミング同期部１１６は、一般的に広く知られている“メディア間同期”の方法に従って、携帯電話機１００の内部において、ビデオとオーディオの同期を取る。このような場合としては、ユーザがオーディオデータを、携帯電話機１００に有線で接続されたヘッドホンや、スピーカ１３０で聴く場合などがある。図６では、このような場合の、タイミング同期部の動作については、説明を省略している。
When the user does not connect the mobile phone 100 and the wireless headphones 200, the
図６のステップＡ１において、タイミング同期部１１６は、動画ストリーミング再生の状態を確認する。タイミング同期部１１６は、この確認を、制御部１１１に対して行う。携帯電話機がビデオ再生を終了する場合には、タイミング同期部１１６の動作は終了する。
In step A1 of FIG. 6, the
ビデオ再生を実行する場合には、タイミング制御部１１６は、ステップＡ２において、無線通信部１２０、通信インタフェース１１５を経て、ワイヤレスヘッドホン２００からの制御応答パケットを受信したか否かを確認する。
When performing video reproduction, the
このタイミング同期部１１６が動作を開始した直後は、タイミング同期部１１６は、制御パケットをまだ送信していないため、制御応答パケットを受信しない。したがって、タイミング同期部１１６の動作は、ステップＡ５に進む。
Immediately after the
ステップＡ５では、タイミング同期部１１６は、タイマ１４０が生成するタイマ情報から、ビデオデータの再生タイミングを判断し、ビデオバッファリング部１１３にビデオデータを要求する。この結果、タイミング同期部１１６は、ビデオバッファリング部１１３からビデオデータを受け取って、ビデオ復号器１１７に渡し、ビデオデータを再生する。
In step A5, the
また、ステップＡ６では、タイミング同期部１１６は、同じくタイマ１４０が生成するタイマ情報から、動画ストリーミングの再生タイミングを判断し、オーディオバッファリング部１１４にオーディオデータを要求する。この結果、オーディオバッファリング部１１４からオーディオデータを受け取って、通信インタフェース１１５を介して、無線通信部１２０から、オーディオデータを送信する（ステップＡ６）。このオーディオデータは、無線回線を介して、にて転送され、ワイヤレスヘッドホン２００に送られる。
In step A6, the
さらに、タイミング同期部１１６は、オーディオデータパケットの送信数をカウントしておく。そして、タイミング同期部１１６は、オーディオデータパケットを一定数送信する毎に、制御パケットをワイヤレスヘッドホン２００に送信する。ステップＡ７での判定により、オーディオデータの送信数が、一定数に達していないと判明した場合には、タイミング同期部１１６の動作は、ステップＡ１に戻る。
Further, the
また、一定数のオーディオデータパケットが送信された場合には、タイミング制御部１１６は、ステップＡ８で、制御パケットをワイヤレスヘッドホン２００に送信する。この時、オーディオデータパケット送信数を計数するためのカウンタは、リセットされる。また、制御パケットを送信する瞬間のタイマ１４０のタイマ情報(ｔ１)は、制御パケットに書き込まれる。なお、このタイマ情報（ｔ１）は、制御パケット内に格納される代わりに、タイミング同期部１１６内部に一時蓄積されていてもよい。
When a certain number of audio data packets are transmitted, the
なお、ここでは、オーディオデータのパケット送信数をカウントし、一定間隔ごとに制御パケットを送信するような方法を説明した。しかしながら、本実施形態は、タイマを用いて、一定時間ごとに制御パケットを送信するように、変形されてもよい。 Here, a method has been described in which the number of audio data packets transmitted is counted and control packets are transmitted at regular intervals. However, the present embodiment may be modified such that a control packet is transmitted at regular intervals using a timer.
制御パケットが送信されると、タイミング同期部１１６はステップＡ１に戻る。
When the control packet is transmitted, the
この後、携帯電話機１００は、送信した制御パケットに対応する制御応答パケットがワイヤレスヘッドホン２００から返送されるのを待つ。その間に、タイミング同期部１１６は、ステップＡ１、Ａ２、Ａ５、Ａ６、Ａ７，Ａ８の処理を繰り返す。
Thereafter, the mobile phone 100 waits for a control response packet corresponding to the transmitted control packet to be returned from the wireless headphones 200. Meanwhile, the
なお、本実施形態は、最初の制御パケット・制御応答パケットのやりとりが完了するまで、ビデオデータの再生を開始しないように、修正されることも可能である。この変形例では、ステップＡ１の前に、制御パケットの送信処理が行われる。この変形では、最初に遅延時間を測定して、その後、ビデオ再生を開始するという手順をとる。 It should be noted that this embodiment can be modified so that the reproduction of video data is not started until the first exchange of the control packet / control response packet is completed. In this modification, control packet transmission processing is performed before step A1. In this modification, the procedure is such that the delay time is first measured and then video playback is started.
ここでは、説明を簡単にするために、制御パケットのやりとりをする前の段階でも、ビデオデータの再生を開始ものとして説明する。 Here, in order to simplify the explanation, it is assumed that the reproduction of the video data is started even before the exchange of the control packet.
ここで図７のフローチャートを参照する。図７は、ワイヤレスヘッドホン２００の、オーディオバッファリング部２１２の処理を説明するためのフローチャートである。
Reference is now made to the flowchart of FIG. FIG. 7 is a flowchart for explaining processing of the
ステップＢ１にて、オーディオバッファリング部２１２は、オーディオ再生の状態を確認する。オーディオバッファリング部２１２は、この確認をヘッドホン制御部２１１に行う。オーディオ再生が終了された場合には、オーディオバッファリング部２１２は、その動作を終了する。
In step B1, the
ステップＢ１での判定結果が、“Ｎｏ”の場合、オーディオバッファリング部２１２は、ステップＢ２で、パケットを受信したか否かを判定する。即ち、オーディオバッファリング部２１２は、無線通信部２２０、通信インタフェース２１５を経て、携帯電話機１００からパケットを受信したか否かを判定する。携帯電話機からのパケットを受信している場合には、オーディオバッファリング部２１２の処理は、ステップＢ３に進み、そうでない場合には、ステップＢ６に進む。
If the determination result in step B1 is “No”, the
ステップＢ３では、オーディオバッファリング部２１２は、受信パケットの種別を判定する。この種別は、パケットのタイプ情報（TYPE）の欄に示されている。即ち、オーディオバッファリング部２１２がオーディオデータパケット、制御パケットのいずれであるかを判定する。到着したパケットがオーディオデータパケットの場合は、オーディオバッファリング部２１２は、ステップＢ５で、到着したオーディオデータパケットをバッファリングし、再生タイミングになるまで蓄積しておく。
In step B3, the
一方、到着したパケットが制御パケットである場合は、オーディオバッファリング部２１２は、制御応答パケットを作成する。この時刻は、制御パケットの受信時刻（ｔ２）である。この制御応答パケットも、ステップＢ５でバッファリングされる。なお、この時点では、この制御応答パケットは、２つのタイマ情報を含む。１つは、携帯電話機１００から受信した制御パケットに含まれているタイマ情報（ｔ１）、即ち、携帯電話機１００での、制御パケット送信時刻を示すタイマ情報である。もう１つは、タイマ２４０が生成した、この制御パケットの受信時刻（ｔ２）を示すタイマ情報である。なお、制御パケットがタイマ情報（ｔ１）を含まない場合には、制御応答パケットも、タイマ情報（ｔ１）を含まない。
On the other hand, if the arrived packet is a control packet, the
このようにして、オーディオバッファリング部２１２は、オーディオデータパケットと、制御応答パケットをバッファリングする。
In this way, the
この後、オーディオバッファリング部２１２は、ステップＢ６で、タイミング同期部２１３から、オーディオデータを要求されているかどうかどうかを判定する。
Thereafter, the
タイミング同期部２１３は、タイマ２４０が生成するタイマ情報から、オーディオの再生タイミングを判断し、再生するオーディオデータのタイミングに合わせて、オーディオバッファリング部２１２にオーディオデータを要求する。オーディオバッファリング部２１２は、この要求に応じて、オーディオデータをタイミング同期部２１３に渡すと、タイミング同期部２１３は、そのままオーディオ復号器２１４に渡して、オーディオを再生させる。
The
ステップＢ６にて、オーディオデータを要求されている場合は、オーディオバッファリング部２１２は、その内部にバッファリングされているデータの中から先頭のデータを参照する。そして、ステップＢ７で、バッファリングされているデータがない場合には、オーディオバッファリング部２１２の動作は、ステップＢ１に戻る。バッファリングされているデータがある場合には、オーディオバッファリング部２１２の処理は、ステップＢ８に進む。
If audio data is requested in step B6, the
ステップＢ８では、オーディオバッファリング部２１２は、パケットの種別を判定する。即ち、ステップＢ８は、このパケットが制御応答パケット、オーディオデータパケットのいずれであるかを判定する。
In step B8, the
パケットの種別がオーディオデータパケットであれば、オーディオバッファリング部２１２は、ステップＢ９で、このオーディオデータパケットをタイミング同期部２１３に渡す。このオーディオデータパケットは、そのままオーディオ復号器２１４に渡され、ワイヤレスヘッドホン２００のスピーカ２３０にて、オーディオデータが再生される。この後、オーディオバッファリング部２１２の動作は、ステップＢ１に戻る。
If the packet type is an audio data packet, the
一方、パケットの種別が、ステップＢ４で作成された制御応答パケットであれば、オーディオバッファリング部２１２は、ステップＢ１０で、通信インタフェース２１５及び無線通信部２２０を介して、携帯電話機１００に、向けて制御応答パケットを送信する。この時、送信される制御応答パケットには、最大で３つのタイマ情報を含む。
On the other hand, if the packet type is the control response packet created in step B4, the
１つは、携帯電話機１００から受信した制御パケットに含まれていたタイマ情報（ｔ１）である。これは、ステップＢ４にて制御応答パケットに格納されている。また、前述したタイマ情報（ｔ２）も、ステップステップＢ４にて制御応答パケットに格納されている。もう１つは、このステップＢ１０で、この制御応答パケットが、バッファから取り出された時点ｔ３（タイマ２４０で計時される）である。この時刻ｔ３は、制御応答パケットの送信時刻でもある。 One is timer information (t1) included in the control packet received from the mobile phone 100. This is stored in the control response packet in step B4. The timer information (t2) described above is also stored in the control response packet in step B4. The other is the time t3 (timed by the timer 240) when the control response packet is taken out of the buffer in step B10. This time t3 is also the transmission time of the control response packet.
時間差（ｔ３−ｔ２）は、ステップＢ４で制御応答パケットが作成されてから、ステップＢ１０で、制御応答パケットが携帯電話機に送信される時刻までの経過時間を示している。したがって、この（ｔ３−ｔ２）は、ワイヤレスヘッドホン内部での処理遅延（T_dlsr）を示している。 The time difference (t3−t2) indicates an elapsed time from when the control response packet is created in step B4 until the time when the control response packet is transmitted to the mobile phone in step B10. Therefore, (t3−t2) indicates a processing delay (T_dlsr) inside the wireless headphones.
制御応答パケットは、例えば、上述のｔ１、ｔ２、ｔ３を含んでいればよい。しかしながら、制御応答パケットは、これら、３つのタイマ情報に代えて、制御応答パケットは、ｔ１及びT_dlsr(=ｔ３-ｔ２)を含んでも良い。ただし、携帯電話機が、要遅延時間（Ｔ_delay）を、前述した計算方法例Ｂに基づいて計算する場合には、制御応答パケットは、タイマ情報ｔ１を含む必要は必ずしもないが、タイマ情報ｔ２、ｔ３を必ず含む必要がある。 The control response packet may include, for example, the above-described t1, t2, and t3. However, the control response packet may include t1 and T_dlsr (= t3-t2) instead of these three pieces of timer information. However, when the mobile phone calculates the required delay time (T_delay) based on the above-described calculation method example B, the control response packet does not necessarily include the timer information t1, but the timer information t2, t3 Must be included.
要遅延時間（Ｔ_delay）の計算法をにつき、すでに、例Ａ、例Ｂ、例Ｃの３つの計算方法例を説明したが、携帯電話機がいずれの計算方法例を使用する場合でも、制御応答パケットは、ワイヤレスヘッドホン内部での処理遅延を計算するための情報、即ち、ｔ２とｔ３の組、あるいはT_dlsr(=ｔ３-ｔ２)を含む必要がある。制御応答パケットが、タイマ情報ｔ１を含む必要があるか否かは、携帯電話機がどの要遅延時間計算方法を採用するか、また、携帯電話機が、制御パケットにタイマ情報（ｔ１）を含ませるか否か、に依存する。 Regarding the calculation method of the required delay time (T_delay), the three calculation method examples of Example A, Example B, and Example C have already been described. Regardless of which calculation method example is used by the mobile phone, the control response packet Needs to include information for calculating a processing delay inside the wireless headphones, that is, a set of t2 and t3, or T_dlsr (= t3-t2). Whether or not the control response packet needs to include the timer information t1 depends on which delay time calculation method the mobile phone employs and whether the mobile phone includes the timer information (t1) in the control packet. Depends on whether or not.
図８に制御応答パケットの例を示す。なお、後述するように、タイマ情報（ｔ１）、即ち、携帯電話機が制御パケットを送信した時刻は、必ずしも制御応答パケットの格納されている必要はないが、図８では、タイマ情報ｔ１を含む制御応答パケットの例のみを示している。図８（Ａ）は、携帯電話機が前述した要遅延時間計算方法例Ａ、Ｂ，Ｃのいずれを採用する場合にも適した制御応答パケットのフォーマットの例を示す。図８（Ｂ）は、携帯電話機が前述した要遅延時間計算方法例ＡまたはＣのいずれを採用する場合に適した制御応答パケットの例を示している。図８（Ｂ）のフォーマットでは、タイマ情報ｔ２、ｔ３の組に代えて、ワイヤレスヘッドホン内部での処理遅延時間Ｔ_ｄｌｓｒ（＝ｔ３−ｔ２）が、格納されている。 FIG. 8 shows an example of the control response packet. As will be described later, the timer information (t1), that is, the time at which the mobile phone transmits the control packet does not necessarily need to store the control response packet, but in FIG. 8, the control including the timer information t1 is performed. Only an example of a response packet is shown. FIG. 8A shows an example of a format of a control response packet suitable for the case where the mobile phone employs any of the above-described delay time calculation method examples A, B, and C. FIG. 8B shows an example of a control response packet suitable for the case where the mobile phone employs either the above-described delay time calculation method example A or C. In the format of FIG. 8B, the processing delay time T_dlsr (= t3-t2) inside the wireless headphones is stored instead of the set of timer information t2 and t3.
ワイヤレスヘッドホン２００は、このようにして、制御応答パケットを送信すると、オーディオバッファリング部の動作は、ステップＢ７に戻る。 When the wireless headphones 200 transmit the control response packet in this manner, the operation of the audio buffering unit returns to Step B7.
図６に戻って、携帯電話機１００におけるタイミング同期部１１６の動作説明を再開する。
Returning to FIG. 6, the description of the operation of the
ステップＡ２で、携帯電話機１００のタイミング同期部１１６が、制御応答パケットの受信を確認すると、タイミング同期部１１６の動作は、ステップＡ３に進む。
In step A2, when the
ステップＡ３では、タイミング同期部１１６は、前述した要遅延時間（Ｔ_delay）を計算する。この計算方法は、前述した例Ａ、例Ｂ、例Ｃのいずれを使用してもよい。タイミング同期部１１６は、前回ステップＡ３が実行されたときに計算された要遅延時間Ｔ_delay(old)との差、“ΔＴ_delay＝Ｔ_delay −Ｔ_delay(0ld)”を計算する。なお、このステップＡ３が最初に実行される時は、Ｔ_delay(old)＝０と初期設定されている。このようにして計算されたＴ_delayは、タイミング同期部１１６内にＴ_delay(0ld)として、一時蓄積される。この後、タイミング同期部１１６の動作は、ステップＡ４に移行する。
In step A3, the
ステップＡ４では、タイミング同期部１１６は、計算されたＴ_delayに基づいて、ビデオデータパケットのビデオ復号器への送付タイミングを変更する。即ち、ステップＡ４は、ステップＡ３で計算されたΔＴ_delayだけ、ビデオデータパケットのビデオ復号器への送付を延期する。ただし、タイミング同期部１１６は、この間にも、オーディオデータについては、オーディオバッファリング部１１４に要求し、ワイヤレスヘッドホン２００に転送し続ける。したがって、このステップＡ４が実行されている間は携帯電話機１００のディスプレイ上のビデオ信号は更新されない。この結果、携帯電話機のディスプレイ上のビデオ信号とワイヤレスヘッドホンから出力されるオーディオ信号との間で、所謂リップシンクが確立する。
In step A4, the
なお、ΔＴ_delayが、負の値になった場合には、タイミング同期部１１６は、その時間の分だけ、バッファリングされているビデオデータを廃棄することにより、ビデオ再生を早める。
When ΔT_delay becomes a negative value, the
このようにして、本発明は、マルチメディアストリーミング再生におけるオーディオデータのワイヤレス転送同期技術を実現することができる。 In this way, the present invention can realize a wireless transfer synchronization technique of audio data in multimedia streaming playback.
次に、本発明の他の実施形態につき説明する。 Next, another embodiment of the present invention will be described.
前述した実施形態では、ビデオデータの復号化の処理、およびオーディオデータの復号化の処理を、それぞれソフトウェアで実行することを前提に説明した。しかしながら、本発明は、既存の携帯電話等に実装されている動画ストリーミング再生の機能、およびワイヤレスヘッドホン等にて実装されているオーディオストリーミング再生の機能をほとんど修正することなく実装できる
したがって、ビデオデータの復号化の処理、およびオーディオデータの復号化の処理が、ディジタルシグナルプロセッサ（ＤＳＰ）のような専用の装置で実現されている場合であっても本発明は問題なく使用できる。また、オーディオデータやビデオデータの復号を行う専用ハードウェアも、本発明は使用できる。
In the embodiment described above, the video data decoding process and the audio data decoding process have been described on the premise that they are executed by software. However, the present invention can be implemented with almost no modification of the function of streaming streaming playback implemented in an existing mobile phone or the like and the function of audio streaming playback implemented in wireless headphones or the like. Even when the decoding process and the audio data decoding process are realized by a dedicated device such as a digital signal processor (DSP), the present invention can be used without any problem. The present invention can also be used with dedicated hardware for decoding audio data and video data.
また、前述した実施形態では、取り扱う入力データが通信回線等を介して供給されるストリームデータであるという前提で説明した。しかしながら、入力データが通信回線からでなく、携帯端末内に保存されているマルチメディアデータであっても、やはり同様に、本発明を使用できる。つまり、本発明の主通信機は、近距離無線機を備えたマルチメディアデータ再生装置であってもよい。 In the above-described embodiment, the description has been made on the assumption that the input data to be handled is stream data supplied via a communication line or the like. However, even if the input data is not from the communication line but is multimedia data stored in the mobile terminal, the present invention can be used similarly. That is, the main communication device of the present invention may be a multimedia data playback device provided with a short-range wireless device.
また、前述した実施形態では、携帯電話機から制御パケットを送信するタイミングでの、携帯電話機におけるタイマ情報(ｔ１)を、制御パケットの内部に含めるように説明している。しかしながら、本発明は、タイマ情報（ｔ１）を制御パケットの内部に含めることなく、携帯電話機内で記憶してくこともできる。この場合には、後にワイヤレスヘッドホンから返信されてくる制御応答パケットを受信した時点で、記憶しておいたタイマ情報(ｔ１)を参照するようにすれば、携帯電話端末は、要遅延時間（Ｔ_delay）を計算できることは明らかである。 In the above-described embodiment, the timer information (t1) in the mobile phone at the timing when the control packet is transmitted from the mobile phone is described so as to be included in the control packet. However, according to the present invention, the timer information (t1) can be stored in the mobile phone without being included in the control packet. In this case, when the control information packet returned later from the wireless headphones is received, if the stored timer information (t1) is referred to, the mobile phone terminal can delay the delay time (T_delay). ) Is obvious.
１００ 携帯電話機
２００ ワイヤレスヘッドホン
３００ ユーザ
１１０、２１０ コンピュータ
１１１ 制御部
１１２ メディア分離部
１１３ ビデオバッファリング部
１１４、２１２ オーディオバッファリング部
１１５、２１５ 通信インタフェース
１１６、２１３ タイミング同期部
１１７ ビデオ復号器
１１８、２１４ オーディオ復号器
１２０、２２０ 無線通信部
１３０、２３０ スピーカ
１４０、２４０ タイマ
１５０ ストリームデータ受信部
１６０ ユーザインタフェース
DESCRIPTION OF SYMBOLS 100 Mobile phone 200
Claims (38)
（Ａ）前記主通信機は、前もって定められたタイミングで、制御パケットを前記従通信機に送信し、
（Ｂ）前記従通信機は、前記制御パケットを受信すると、この従通信機内部での処理遅延時間を示す処理遅延時間情報を含む制御応答パケットを、前記主通信機に返信し、
（Ｃ）前記主通信機は、主通信機・従通信機間の伝搬遅延情報とこの処理遅延情報との和で示される要遅延時間に基づいて、前記ビデオデータの再生タイミングを変更する、
ことを特徴とするマルチメディアデータの再生方法。 When the master communication device separates multimedia data from video data and audio data and reproduces the video data, while transferring the audio data to the slave communication device, and when the slave communication device reproduces the audio data , A multimedia data playback method that synchronizes the playback timing of the video data and the playback timing of the audio data,
(A) The master communication device transmits a control packet to the slave communication device at a predetermined timing,
(B) Upon receiving the control packet, the slave communication device returns a control response packet including processing delay time information indicating a processing delay time inside the slave communication device to the master communication device,
(C) The main communication device changes the reproduction timing of the video data based on the required delay time indicated by the sum of the propagation delay information between the main communication device and the slave communication device and the processing delay information.
A method for reproducing multimedia data.
前記第１の差は、前記制御パケットの送信時刻と前記制御応答パケットの受信時刻との差であり、
前記第２の差は、前記制御パケットの受信時刻と前記制御応答パケットの受信時刻との差である、
請求項１に記載のマルチメディアデータの再生方法。 The step (C) calculates the required delay time by the sum of half of the first difference and half of the second difference,
The first difference is a difference between a transmission time of the control packet and a reception time of the control response packet;
The second difference is a difference between the reception time of the control packet and the reception time of the control response packet.
The multimedia data reproducing method according to claim 1.
所定のタイミングで、制御パケットを前記従通信機へ送信するとともに、前記マルチメディアデータから分離されたオーディオデータを前記従通信機へ送信する送信部と、
前記従通信機から、前記従通信機内部での処理遅延時間を示す処理遅延時間情報を含む制御応答パケットを受信する受信部と、
前記主通信機・従通信機間の伝搬遅延情報とこの処理遅延情報との和で示される要遅延時間を計算する計算部と、
前記ビデオデータの再生タイミングを、計算された要遅延時間に基づいて、変更する調整部と、
時刻を計時するタイマ、
とを備えた主通信機。 While the main communication device reproduces the video data in the multimedia data, the audio data is transferred to the slave communication device, and when the slave communication device reproduces the audio data, the reproduction timing and audio data of these video data are reproduced. Is a main communication device that implements a multimedia data playback method that synchronizes with the playback timing of
A transmission unit that transmits a control packet to the slave communication device at a predetermined timing, and transmits audio data separated from the multimedia data to the slave communication device;
A receiving unit for receiving a control response packet including processing delay time information indicating a processing delay time inside the slave communication device from the slave communication device;
A calculation unit for calculating the required delay time indicated by the sum of the propagation delay information between the master communication device and the slave communication device and the processing delay information;
An adjusting unit for changing the reproduction timing of the video data based on the calculated required delay time;
Timer to keep time,
And main communication equipment.
前記第１の差は、前記タイマで計時された前記制御パケットの送信時刻と、前記タイマで計時された前記制御応答パケットの受信時刻との差であり、
前記第２の差は、前記制御パケットの受信時刻と前記制御応答パケットの受信時刻との差である、
請求項１１に記載の主通信機。 The calculation unit obtains the delay time required by a sum of a half of the first difference and a half of the second difference,
The first difference is a difference between the transmission time of the control packet timed by the timer and the reception time of the control response packet timed by the timer,
The second difference is a difference between the reception time of the control packet and the reception time of the control response packet.
The main communication device according to claim 11.
前記調整部は、前記差要遅延時間だけ、前記ビデオデータの再生タイミングを遅延させる、請求項１１に記載の主通信機。 The calculation unit stores the required delay time calculated last time, and outputs a difference required delay time that is a difference from the required delay time calculated this time,
The main communication device according to claim 11, wherein the adjustment unit delays the reproduction timing of the video data by the difference required delay time.
前記主通信機から転送されたオーディオデータを再生するオーディオ再生器と、
前記主通信機から制御パケットを受信すると、この従通信機内部での処理遅延時間を示す処理遅延時間情報を含む制御応答パケットを、前記主通信機に返信する送信部と、
時刻を計時するタイマと、
を備えた従通信機。 While the main communication device reproduces the video data in the multimedia data, the audio data is transferred to the slave communication device, and when the slave communication device reproduces the audio data, the reproduction timing and audio data of these video data are reproduced. A slave communication device that implements a multimedia data playback method that synchronizes with the playback timing of
An audio player for reproducing the audio data transferred from the main communication device;
When receiving a control packet from the master communication device, a control response packet including processing delay time information indicating a processing delay time inside the slave communication device, a transmission unit that returns the control response packet to the master communication device,
A timer that keeps time,
Slave communication device equipped with.
（Ａ）所定のタイミングで制御パケットを前記従通信機へ送信するとともに、前記マルチメディアデータから分離されたオーディオデータを、前記従通信機へ送信し、
（Ｂ）前記従通信機から、前記従通信機内部での処理遅延時間を示す処理遅延時間情報を含む制御応答パケットを受信し、
（Ｃ）前記主通信機・従通信機間の伝搬遅延情報とこの処理遅延情報との和で示される要遅延時間を計算する計算し、
（Ｄ）前記ビデオデータの再生タイミングを、計算された要遅延時間に基づいて、変更する、
ステップを備えた主通信機用プログラム。 While the master communication device reproduces the video data in the multimedia data, the audio data is transferred to the slave communication device, and when the slave communication device reproduces the audio data, the reproduction timing of the video data and the audio data A program for a main communicator for operating a computer as a main communicator that implements a multimedia data reproduction method that synchronizes the reproduction timing,
(A) A control packet is transmitted to the slave communication device at a predetermined timing, and audio data separated from the multimedia data is transmitted to the slave communication device.
(B) receiving a control response packet including processing delay time information indicating a processing delay time inside the slave communication device from the slave communication device;
(C) calculating the required delay time indicated by the sum of the propagation delay information between the master communication device and the slave communication device and the processing delay information;
(D) changing the reproduction timing of the video data based on the calculated required delay time;
Program for main communication device with steps.
前記第１の差は、前記制御パケットの送信時刻と前記制御応答パケットの受信時刻との差であり、
前記第２の差は、前記制御パケットの受信時刻と前記制御応答パケットの受信時刻との差である、
請求項２５に記載の主通信機用プログラム。 The step (C) obtains the required delay time by the sum of half of the first difference and half of the second difference,
The first difference is a difference between a transmission time of the control packet and a reception time of the control response packet;
The second difference is a difference between the reception time of the control packet and the reception time of the control response packet.
The program for a main communication device according to claim 25.
前記ステップ（Ｄ）は、前記差要遅延時間だけ、前記ビデオデータの再生タイミングを遅延させる、請求項２５に記載の主通信機用プログラム。 Step (C) stores the required delay time calculated last time, and calculates a required delay time that is a difference from the required delay time calculated this time,
26. The program for a main communication device according to claim 25, wherein the step (D) delays the reproduction timing of the video data by the difference required delay time.
（Ａ）前記主通信機から転送されたオーディオデータを再生し、
（Ｂ）前記主通信機から制御パケットを受信すると、この従通信機内部での処理遅延時間を示す処理遅延時間情報を含む制御応答パケットを、前記主通信機に返信する、
ステップを備えた従通信機用プログラム。 While the main communication device reproduces the video data in the multimedia data, the audio data is transferred to the slave communication device, and when the slave communication device reproduces the audio data, the reproduction timing and audio data of these video data are reproduced. A program for a slave communication device for operating a computer as a slave communication device that implements a multimedia data playback method that synchronizes with the playback timing of
(A) Playing back audio data transferred from the main communication device,
(B) Upon receiving a control packet from the master communication device, a control response packet including processing delay time information indicating a processing delay time inside the slave communication device is returned to the master communication device.
A slave communication program comprising steps.
36. The slave communication program according to claim 35, wherein the control packet includes a transmission time of the control packet at the master communication device, and the control response packet further includes the control packet transmission time.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006197721A JP2008028599A (en) | 2006-07-20 | 2006-07-20 | Reproduction method of multimedia data, and main communication apparatus, sub-communication apparatus, and program for execution of the method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006197721A JP2008028599A (en) | 2006-07-20 | 2006-07-20 | Reproduction method of multimedia data, and main communication apparatus, sub-communication apparatus, and program for execution of the method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008028599A true JP2008028599A (en) | 2008-02-07 |
Family
ID=39118823
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006197721A Pending JP2008028599A (en) | 2006-07-20 | 2006-07-20 | Reproduction method of multimedia data, and main communication apparatus, sub-communication apparatus, and program for execution of the method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008028599A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2458727A (en) * | 2008-03-15 | 2009-10-07 | Blue Tiger Systems Ltd | Delay of audiovisual (AV) signal component for synchronisation with wireless transmission |
| JP2009267766A (en) * | 2008-04-25 | 2009-11-12 | Taito Corp | Timing correction program, mobile terminal, and method of synchronizing processing timing |
| JP2015039092A (en) * | 2012-01-13 | 2015-02-26 | 株式会社東芝 | Electronic apparatus and electronic apparatus control method |
| JP2015534315A (en) * | 2012-08-28 | 2015-11-26 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | Audio transfer device and corresponding method |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005057430A (en) * | 2003-08-01 | 2005-03-03 | Nec Corp | Cellular phone terminal and synchronization control method thereof |
-
2006
- 2006-07-20 JP JP2006197721A patent/JP2008028599A/en active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005057430A (en) * | 2003-08-01 | 2005-03-03 | Nec Corp | Cellular phone terminal and synchronization control method thereof |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2458727A (en) * | 2008-03-15 | 2009-10-07 | Blue Tiger Systems Ltd | Delay of audiovisual (AV) signal component for synchronisation with wireless transmission |
| JP2009267766A (en) * | 2008-04-25 | 2009-11-12 | Taito Corp | Timing correction program, mobile terminal, and method of synchronizing processing timing |
| JP2015039092A (en) * | 2012-01-13 | 2015-02-26 | 株式会社東芝 | Electronic apparatus and electronic apparatus control method |
| JP2015534315A (en) * | 2012-08-28 | 2015-11-26 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | Audio transfer device and corresponding method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3544963B2 (en) | Method and apparatus for synchronous playback | |
| JP4559050B2 (en) | Synchronous playback of media data packets | |
| CN101271720B (en) | Synchronization process for mobile phone stream media audio and video | |
| KR101184821B1 (en) | Synchronizing remote audio with fixed video | |
| US8811375B2 (en) | Multimedia apparatus and synchronization method thereof | |
| CN109906613A (en) | The multi-modal synchronization of audio and video renders | |
| CN101827271B (en) | Audio and video synchronized method and device as well as data receiving terminal | |
| CN107438990B (en) | Method and apparatus for delivering timing information | |
| JP2008028599A (en) | Reproduction method of multimedia data, and main communication apparatus, sub-communication apparatus, and program for execution of the method | |
| KR20070008069A (en) | Appratus and method for synchronizing audio/video signal | |
| JP2016225922A (en) | Radio communication system and method | |
| CN103314599A (en) | Mechanism for clock recovery for streaming content being communicated over a packetized communication network | |
| US20050282580A1 (en) | Video and audio synchronization | |
| JP4042396B2 (en) | Data communication system, data transmission apparatus, data reception apparatus and method, and computer program | |
| JP4986229B2 (en) | Receiving system, receiving apparatus and program for receiving and simultaneously reproducing different types of synchronized streaming data | |
| JP5186094B2 (en) | Communication terminal, multimedia playback control method, and program | |
| JP3906678B2 (en) | Data communication system, data transmission apparatus, data reception apparatus and method, and computer program | |
| JP4364619B2 (en) | Multiple video time synchronous display terminal, multiple video time synchronous display method, program, and recording medium | |
| CN112333610B (en) | Audio playing method and device of Bluetooth TWS equipment | |
| JP2003018567A (en) | Data reproducer and data transmitter | |
| JP2009134747A (en) | Transmission device and method for transmitting medium data | |
| JP2004007327A (en) | Data reproducing device and data repeater | |
| JP4911579B2 (en) | Terminal, program and method for storing or playing back stream for analysis | |
| JP4321172B2 (en) | Network audio image playback system | |
| JP2001016586A (en) | Image decoder |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20080616 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20090512 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090618 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100913 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20110705 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110712 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20111115 |