JP3964880B2 - Data receiving method, data receiving apparatus, digital signal transmission system, and data transmitting / receiving method - Google Patents

Data receiving method, data receiving apparatus, digital signal transmission system, and data transmitting / receiving method Download PDF

Info

Publication number
JP3964880B2
JP3964880B2 JP2004081636A JP2004081636A JP3964880B2 JP 3964880 B2 JP3964880 B2 JP 3964880B2 JP 2004081636 A JP2004081636 A JP 2004081636A JP 2004081636 A JP2004081636 A JP 2004081636A JP 3964880 B2 JP3964880 B2 JP 3964880B2
Authority
JP
Japan
Prior art keywords
data
video
audio
audio data
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2004081636A
Other languages
Japanese (ja)
Other versions
JP2004208337A (en
Inventor
裕成 岡本
哲也 広江
象 村越
直樹 江島
歳朗 西尾
明久 川村
秀和 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Sony Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Sony Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Sony Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2004081636A priority Critical patent/JP3964880B2/en
Publication of JP2004208337A publication Critical patent/JP2004208337A/en
Application granted granted Critical
Publication of JP3964880B2 publication Critical patent/JP3964880B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、たとえばDVI(Digital Video Interface)を用いて映像信号源と映像表示装置とを接続したディジタル信号伝送システムにおけるデータ送信方法,およびデータ受信方法に関し、特に映像データを伝送する既存のインターフェースを用いて、簡単かつ良好にオーディオデータを伝送することができるデータ受信方法、データ受信装置、ディジタル信号伝送システム、およびデータ送受信方法に関するものである。 The present invention relates to a data transmission method and a data reception method in a digital signal transmission system in which a video signal source and a video display device are connected using, for example, a DVI (Digital Video Interface), and in particular, an existing interface for transmitting video data. used, easily and satisfactorily can transmit audio data Lud over data receiving method, data receiving apparatus, a digital signal transmission system, and to a method of transmitting and receiving data.

近年、テレビジョンチューナ、ビデオ再生装置、パーソナルコンピュータ装置本体などの映像信号源と、モニター受信機などの映像表示装置とを接続させる場合にデジタルデータで映像データを表示装置に伝送させるDVI規格と称されるものが規格化されている。   In recent years, when a video signal source such as a television tuner, a video playback device, or a personal computer device is connected to a video display device such as a monitor receiver, it is called the DVI standard that transmits video data to the display device as digital data. What is to be standardized.

このDVI規格の詳細については、後述する実施の形態の中で説明するが、簡単に述べると映像データを原色信号R,G,Bのそれぞれを画素(ピクセル)単位でデジタル化したデータとして、表示装置に伝送するようにしたもので、高品位の画像を伝送して表示させることが出来る。また、画素単位の映像データであるため、表示装置側では受信した映像データで直接表示ドライバを駆動させることが出来、比較的簡単な処理構成で表示などを行うことが出来る。   The details of the DVI standard will be described in an embodiment described later. Briefly, the video data is displayed as data obtained by digitizing each of the primary color signals R, G, and B in units of pixels (pixels). The image is transmitted to the apparatus, and a high-quality image can be transmitted and displayed. Further, since the video data is in units of pixels, the display device can directly drive the display driver with the received video data, and display can be performed with a relatively simple processing configuration.

DVI規格で規定されたケーブルで伝送されるデータは、基本的に映像データだけであり、オーディオデータを同時に伝送させることを考えた場合には、DVI規格で規定されたケーブルとは別のオーディオ用のケーブルで、チューナなどのオーディオ出力装置とを接続させる必要がある。   The data transmitted by the cable stipulated by the DVI standard is basically only video data. When considering the simultaneous transmission of the audio data, the data for audio different from the cable stipulated by the DVI standard is used. It is necessary to connect an audio output device such as a tuner with this cable.

ところが、このように複数のケーブルで接続させるようにすると、接続構成が複雑化する問題があった。
すなわち、映像データだけを伝送するシステム構成を考えた場合には、たとえば図7に示すように、映像信号源701とディスプレイ装置703とを、DVI規格のケーブル702で接続して、このケーブル702でDVI規格で符号化された映像データを伝送するようにすれば、映像信号源701からディスプレイ装置703に映像データを伝送することが出来る。これに対して、たとえば図8に示すように、映像・音声信号源801からスピーカ付ディスプレイ装置804に映像データと音声データとを伝送する場合には、DVI規格のケーブル802で映像データを伝送するように接続し、さらにケーブル802とは別のオーディオ信号用ケーブル803でオーディオデータを伝送するように接続する必要がある。この図8に示すように接続することで、映像・音声信号源801から出力された映像をディスプレイ装置804で表示させることが出来、またディスプレイ装置804に取りつけられたスピーカ805L,805Rから音声を出力させることが出来る。
However, if the connection is made with a plurality of cables in this way, there is a problem that the connection configuration becomes complicated.
That is, when considering a system configuration for transmitting only video data, for example, as shown in FIG. 7, a video signal source 701 and a display device 703 are connected by a DVI standard cable 702, and this cable 702 is used. If video data encoded according to the DVI standard is transmitted, the video data can be transmitted from the video signal source 701 to the display device 703. On the other hand, for example, as shown in FIG. 8, when video data and audio data are transmitted from the video / audio signal source 801 to the display device with a speaker 804, the video data is transmitted through a DVI standard cable 802. In addition, it is necessary to connect so that the audio data is transmitted by the audio signal cable 803 different from the cable 802. By connecting as shown in FIG. 8, the video output from the video / audio signal source 801 can be displayed on the display device 804, and audio is output from the speakers 805L and 805R attached to the display device 804. It can be made.

ところが、図8に示すように、映像データと音声データとで別々のケーブルを使用して接続するようにすると、それだけ接続構成が複雑化する問題がある。出来れば機器間を接続するケーブルの数は少ないほうが好ましい。   However, as shown in FIG. 8, if the video data and the audio data are connected using different cables, there is a problem that the connection configuration becomes complicated accordingly. If possible, it is preferable that the number of cables connecting the devices is small.

なお、映像データと音声データを多重化して1本のケーブルを使用して伝送できるようにする技術は、たとえばIEEE(The Institute of Electrical and Electronics Engineers)1394方式として規格化されたバスラインを使用したデータ伝送技術を適用することで可能であるが、このようなIEEE1394方式のバスラインなどでデータ伝送を行うためには、非常に複雑なデータ処理が必要であり、送信側での伝送用のエンコード処理の構成や、受信側でバスラインを介して受信したデータのデコード処理の構成として、非常に大規模な回路構成が必要であり、コストがかかる問題がある。また、IEEE1394方式などでは、伝送レートなどの問題から、映像データや音声データを圧縮符号化して多重化するようにしてあり、上述したDVI規格のように画素単位でデジタル化した映像データを伝送するものに比べて、画質が劣る問題がある。   The technology that multiplexes video data and audio data so that they can be transmitted using a single cable, for example, uses a bus line standardized as the IEEE (The Institute of Electrical and Engineering Engineers) 1394 system. Although it is possible by applying a data transmission technique, in order to perform data transmission through such an IEEE 1394 bus line or the like, very complicated data processing is required, and encoding for transmission on the transmission side is required. As a configuration of processing and a configuration of decoding processing of data received via the bus line on the receiving side, a very large circuit configuration is necessary, and there is a problem that costs are high. Also, in the IEEE 1394 system and the like, video data and audio data are compressed and multiplexed due to problems such as transmission rate, and video data digitized in units of pixels as in the DVI standard described above is transmitted. There is a problem that the image quality is inferior to that of the image.

また、デジタル化された音声データを伝送する場合には、映像用のクロックとオーディオ用クロックを同時に伝送する必要があり、そのための伝送用の信号ラインが必要になることと、高速な信号を伝送することになるためジッタの増加が起こるという問題があった。   Also, when transmitting digitized audio data, it is necessary to transmit a video clock and an audio clock at the same time, which requires a transmission signal line for that purpose, and transmits high-speed signals. Therefore, there is a problem that jitter increases.

本発明は、上述のような問題点を解消するためになされたもので、映像データを伝送する既存のインターフェースを用いて、簡単かつ良好にオーディオデータを伝送することができるデータ受信方法、データ受信装置、ディジタル信号伝送システム、およびデータ送受信方法を提供することを目的とする。 The present invention has been made to solve the problems as described above, by using the existing interface for transmitting video data, easily and satisfactorily can transmit audio data Lud over data receiving method , and to provide data receiving apparatus, a digital signal transmission system, and a method of transmitting and receiving data.

上記課題を解決するために、本発明(請求項)に係るデータ受信方法は、デジタルディスプレイ接続用のインターフェースを用いたディジタル信号伝送システムにおけるデータ受信方法であって、映像ブランキング期間の所定の位置に伝送用のオーディオデータが重畳された映像データ、映像ブランク同期信号、及び映像データ用のピクセルクロックを受信するステップと、前記映像ブランク同期信号と前記ピクセルクロックを用いてタイミング信号を生成し、このタイミング信号を用いて、前記伝送用のオーディオデータを重畳した映像データを映像データとオーディオデータに分離するステップと、前記伝送用のオーディオデータに含まれ、M=ピクセルクロック×N/オーディオクロックの関係を満たすパラメータN、M(共に正の整数)を用いて前記映像データ用のピクセルクロックを分周し、ディジタルオーディオデータの再生に用いるオーディオクロックを生成するステップとを含むことを特徴とするものである。 In order to solve the above problems, a data receiving method according to the present invention (Claim 1 ) is a data receiving method in a digital signal transmission system using an interface for connecting a digital display, and includes a predetermined video blanking period. Receiving the video data, the video blank synchronization signal, and the pixel clock for the video data in which the audio data for transmission is superimposed at a position; and generating a timing signal using the video blank synchronization signal and the pixel clock; Using this timing signal, separating the video data on which the transmission audio data is superimposed into video data and audio data, and included in the transmission audio data , M = pixel clock × N / audio clock satisfy the relation parameters N, M (both positive Using equation), it divides the pixel clock for the video data and is characterized in that it comprises the steps of: generating an audio clock used for reproduction of the digital audio data.

これにより、例えばDVI規格のような既存の映像データ伝送フォーマットを適用して、映像データとオーディオデータを同時に伝送することができ、既存の映像データを伝送するための構成をそのまま生かした上で、映像データを伝送するための伝送路を使用して、デジタルオーディオデータを良好に伝送できるディジタル信号伝送システムを実現するデータ受信方法を提供できる。 Thereby, for example, by applying an existing video data transmission format such as the DVI standard, video data and audio data can be transmitted at the same time, and the configuration for transmitting the existing video data is utilized as it is. It is possible to provide a data receiving method for realizing a digital signal transmission system that can satisfactorily transmit digital audio data using a transmission path for transmitting video data.

また、本発明(請求項)に係るデータ受信装置は、デジタルディスプレイ接続用のインターフェースを用いたディジタル信号伝送システムにおけるデータ受信装置であって、映像ブランキング期間の所定の位置に伝送用のオーディオデータが重畳された映像データ、映像ブランク同期信号、及び映像データ用のピクセルクロックを受信する受信手段と、前記映像ブランク同期信号と前記ピクセルクロックを用いてタイミング信号を生成し、このタイミング信号を用いて、前記データ送信装置から送信されたオーディオデータを重畳した映像データを映像データとオーディオデータに分離する映像オーディオデータ分離手段と、前記伝送用のオーディオデータに含まれ、M=ピクセルクロック×N/オーディオクロックの関係を満たすパラメータN、M(共に正の整数)を用いて前記映像データ用のピクセルクロックを分周し、ディジタルオーディオデータの再生に用いるオーディオクロックを生成するオーディオクロック生成手段とを備えたことを特徴とするものである。 A data receiving apparatus according to the present invention (Claim 2 ) is a data receiving apparatus in a digital signal transmission system using an interface for connecting a digital display, and transmits audio to a predetermined position in a video blanking period. Receiving means for receiving video data on which data is superimposed, a video blank synchronization signal, and a pixel clock for video data, a timing signal is generated using the video blank synchronization signal and the pixel clock, and the timing signal is used. Video audio data separating means for separating video data superimposed with audio data transmitted from the data transmitting device into video data and audio data ; and M = pixel clock × N / parameters that satisfy the relationship of the audio clock Data N, with M (both positive integers), and wherein divides the pixel clock for video data, and a audio clock generating means for generating an audio clock used for reproduction of the digital audio data To do.

これにより、例えばDVI規格のような既存の映像データ伝送フォーマットを適用して、映像データとオーディオデータを同時に伝送することができ、既存の映像データを伝送するための構成をそのまま生かした上で、映像データを伝送するための伝送路を使用して、デジタルオーディオデータを良好に伝送できるディジタル信号伝送システムを実現するデータ受信装置を提供できる。 Thereby, for example, by applying an existing video data transmission format such as the DVI standard, video data and audio data can be transmitted at the same time, and the configuration for transmitting the existing video data is utilized as it is. It is possible to provide a data receiving apparatus that realizes a digital signal transmission system that can satisfactorily transmit digital audio data using a transmission path for transmitting video data.

また、本発明(請求項)に係るディジタル信号伝送システムは、デジタルディスプレイ接続用のインターフェースを用いてデータ送信装置からデータ受信装置へディジタル信号を伝送するディジタル信号伝送システムであって、前記データ送信装置は、映像・音声信号源からディジタルオーディオデータを取り込むデータ取り込み手段と、データ取り込み手段が取り込んだディジタルオーディオデータを加工して伝送用のオーディオデータを生成するオーディオデータ加工手段と、映像・音声信号源から得られる映像ブランク同期信号と、映像データ用のピクセルクロックとを用いてタイミング信号を生成し、このタイミング信号を用いて映像・音声信号源から出力される映像データの映像ブランキング期間の所定の位置に前記伝送用のオーディオデータを重畳する映像・オーディオデータ重畳手段と、前記伝送用のオーディオデータを重畳した映像データ、前記映像ブランク同期信号、及び前記ピクセルクロックをデータ受信側に対して送信するデータ送信手段とを備え、前記伝送用のオーディオデータは、前記データ受信装置においてディジタルオーディオデータの再生に用いるオーディオクロックを前記映像データ用のピクセルクロックを分周して生成するときに使われるパラメータN、M(共に正の整数)を含むものであって、前記パラメータN、Mは、M=ピクセルクロック×N/オーディオクロックの関係を満たすものであり、前記データ受信装置は、映像ブランキング期間の所定の位置に伝送用のオーディオデータが重畳された映像データ、映像ブランク同期信号、及び映像データ用のピクセルクロックを受信する受信手段と、前記映像ブランク同期信号と前記ピクセルクロックを用いてタイミング信号を生成し、このタイミング信号を用いて、前記データ送信装置から送信されたオーディオデータを重畳した映像データを映像データとオーディオデータに分離する映像オーディオデータ分離手段と、前記伝送用のオーディオデータに含まれる分周パラメータを用いて前記ピクセルクロックを分周し、ディジタルオーディオデータの再生に用いるオーディオクロックを生成するオーディオクロック生成手段とを備えたことを特徴とするものである。 A digital signal transmission system according to the present invention (Claim 3 ) is a digital signal transmission system for transmitting a digital signal from a data transmission device to a data reception device using an interface for connecting a digital display, wherein the data transmission The apparatus includes a data capturing means for capturing digital audio data from a video / audio signal source, an audio data processing means for processing the digital audio data captured by the data capturing means to generate audio data for transmission, and a video / audio signal. A timing signal is generated using a video blank synchronization signal obtained from a video source and a pixel clock for video data, and a video blanking period of video data output from the video / audio signal source using the timing signal is determined. At the position of the transmission Video / audio data superimposing means for superimposing audio data; and video data superimposing the transmission audio data, the video blank synchronization signal, and data transmitting means for transmitting the pixel clock to the data receiving side, The audio data for transmission includes parameters N and M (both positive integers) used when the audio clock used for reproducing the digital audio data in the data receiving device is generated by dividing the pixel clock for the video data. ) , And the parameters N and M satisfy the relationship of M = pixel clock × N / audio clock, and the data receiving device is used for transmission at a predetermined position in the video blanking period. Video data with audio data superimposed, video blank sync signal And a reception means for receiving a pixel clock for video data, a timing signal is generated using the video blank synchronization signal and the pixel clock, and audio data transmitted from the data transmission device is generated using the timing signal. Video audio data separation means for separating the superimposed video data into video data and audio data, and a frequency division parameter included in the transmission audio data, divide the pixel clock and use it for reproduction of digital audio data An audio clock generation means for generating an audio clock is provided.

これにより、例えばDVI規格のような既存の映像データ伝送フォーマットを適用して、映像データとオーディオデータを同時に伝送することができ、既存の映像データを伝送するための構成をそのまま生かした上で、映像データを伝送するための伝送路を使用して、デジタルオーディオデータを良好に伝送できるディジタル信号伝送システムを提供できる。 Thereby, for example, by applying an existing video data transmission format such as the DVI standard, video data and audio data can be transmitted at the same time, and the configuration for transmitting the existing video data is utilized as it is. A digital signal transmission system that can satisfactorily transmit digital audio data using a transmission path for transmitting video data can be provided.

また、本発明(請求項)に係るデータ送受信方法は、デジタルディスプレイ接続用のインターフェースを用いてデータ送信装置からデータ受信装置へディジタル信号を伝送するディジタル信号伝送システムにおけるデータ送受信方法であって、前記データ送信装置のデータ送信ステップは、映像・音声信号源からディジタルオーディオデータを取り込むステップと、取り込んだディジタルオーディオデータを加工して伝送用のオーディオデータを生成するステップと、映像・音声信号源から得られる映像ブランク同期信号と、映像データ用のピクセルクロックとを用いてタイミング信号を生成し、このタイミング信号を用いて映像・音声信号源から出力される映像データの映像ブランキング期間の所定の位置に前記伝送用のオーディオデータを重畳するステップと、前記伝送用のオーディオデータを重畳した映像データ、前記映像ブランク同期信号、及び前記ピクセルクロックをデータ受信側に対して送信するステップとを含み、前記伝送用のオーディオデータは、前記データ受信装置においてディジタルオーディオデータの再生に用いるオーディオクロックを前記映像データ用のピクセルクロックを分周して生成するときに使われるパラメータN、M(共に正の整数)を含むものであって前記パラメータN、Mは、M=ピクセルクロック×N/オーディオクロックの関係を満たすものであり、前記データ受信装置のデータ受信ステップは、映像ブランキング期間の所定の位置に伝送用のオーディオデータが重畳された映像データ、映像ブランク同期信号、及び映像データ用のピクセルクロックを受信するステップと、前記映像ブランク同期信号と前記ピクセルクロックを用いてタイミング信号を生成し、このタイミング信号を用いて、前記伝送用のオーディオデータを重畳した映像データを映像データとオーディオデータに分離するステップと、前記伝送用のオーディオデータに含まれる分周パラメータを用いて前記ピクセルクロックを分周し、ディジタルオーディオデータの再生に用いるオーディオクロックを生成するステップとを含むことを特徴とするものである。 A data transmission / reception method according to the present invention (Claim 4 ) is a data transmission / reception method in a digital signal transmission system for transmitting a digital signal from a data transmission device to a data reception device using an interface for digital display connection, The data transmission step of the data transmitting device includes a step of capturing digital audio data from a video / audio signal source, a step of processing the captured digital audio data to generate audio data for transmission, and a video / audio signal source A timing signal is generated using the obtained video blank synchronization signal and a pixel clock for video data, and a predetermined position in the video blanking period of the video data output from the video / audio signal source using this timing signal Audio data for transmission And transmitting the video data on which the audio data for transmission is superimposed, the video blank synchronization signal, and the pixel clock to a data receiving side, and the audio data for transmission includes: , Tsu der those containing parameters N, M (both positive integers) to be used when an audio clock generating by dividing the pixel clock frequency for the video data used for reproducing digital audio data at the data receiver The parameters N and M satisfy the relationship of M = pixel clock × N / audio clock, and the data receiving step of the data receiving apparatus is configured to transmit audio data for transmission at a predetermined position in the video blanking period. For video data, video blank sync signal, and video data A timing signal is generated using the video blank synchronization signal and the pixel clock, and the video data on which the transmission audio data is superimposed is converted into video data and audio data using the timing signal. And dividing the pixel clock by using a frequency division parameter included in the audio data for transmission to generate an audio clock used for reproducing digital audio data. Is.

これにより、例えばDVI規格のような既存の映像データ伝送フォーマットを適用して、映像データとオーディオデータを同時に伝送することができ、既存の映像データを伝送するための構成をそのまま生かした上で、映像データを伝送するための伝送路を使用して、デジタルオーディオデータを良好に伝送できるディジタル信号伝送システムを実現するデータ送受信方法を提供できる。 Thereby, for example, by applying an existing video data transmission format such as the DVI standard, video data and audio data can be transmitted at the same time, and the configuration for transmitting the existing video data is utilized as it is. A data transmission / reception method for realizing a digital signal transmission system capable of satisfactorily transmitting digital audio data using a transmission path for transmitting video data can be provided .

以下、本発明の実施の形態を、図を用いて説明する。
本実施の形態によるディジタル信号送受信システムは、ビデオテープ記録再生装置、ビデオディスク再生装置、チューナーなどの映像・音声信号源から出力される映像データ,およびオーディオデータを、表示装置として音声出力機能を有するモニタ受像機、テレビジョン受像機などの表示装置に対し、1つの伝送ケーブルを使用して伝送するようにしたものである。この伝送ケーブルとしては、DVI(Digital Visual Interface)と称される規格でデータが伝送されるケーブルを使用する。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
The digital signal transmission / reception system according to the present embodiment has an audio output function as a display device for video data and audio data output from video / audio signal sources such as a video tape recording / playback device, video disk playback device, tuner, etc. Transmission is performed using a single transmission cable to a display device such as a monitor receiver or a television receiver. As this transmission cable, a cable through which data is transmitted in accordance with a standard called DVI (Digital Visual Interface) is used.

図1は本実施の形態によるディジタル信号伝送システムの全体構成を示す図である。図において、101はビデオテープ記録再生装置、ビデオディスク再生装置、チューナーなどの映像・音声信号源、102は映像・音声信号源から出力される映像データとオーディオデータを重畳してDVI用ケーブルに送出するデータ送信装置、103はDVI用ケーブル、104はDVI用ケーブル103により伝送された映像・オーディオデータ重畳信号を受信し、映像データとアナログオーディオ信号を出力するデータ受信装置、105はデータ受信装置から映像データとアナログオーディオ信号を受け取り映像および音声の表示を行う映像音声表示装置である。DVI用ケーブル103が接続されるデータ送信装置102及びデータ受信装置104のコネクタ部は、たとえば24本のピンコネクタで構成され、ケーブル103によりデータ送信装置102のコネクタの24本のピンとデータ受信装置104のコネクタの24本のピンが個別に接続される。   FIG. 1 is a diagram showing the overall configuration of a digital signal transmission system according to this embodiment. In the figure, reference numeral 101 denotes a video / audio signal source such as a video tape recording / reproducing device, a video disk reproducing device, a tuner, etc., and 102 denotes a video / audio signal output from the video / audio signal source which is superimposed and sent to a DVI cable. A data transmitting device 103, a DVI cable 103, a data receiving device 104 that receives a video / audio data superimposed signal transmitted by the DVI cable 103, and outputs video data and an analog audio signal, and 105 is a data receiving device. A video / audio display device that receives video data and an analog audio signal and displays video and audio. The connector portion of the data transmitting apparatus 102 and the data receiving apparatus 104 to which the DVI cable 103 is connected is constituted by, for example, 24 pin connectors, and the 24 pins of the connector of the data transmitting apparatus 102 and the data receiving apparatus 104 are connected by the cable 103. The 24 pins of the connector are individually connected.

図2は図1中のデータ送信装置の構成を示すブロック図である。図において、201は映像・音声信号源から出力されるディジタルオーディオデータを取り込むオーディオデータ取り込み手段、202は映像・音声信号源から出力される映像のピクセルクロックとオーディオデータのサンプリング周波数に基づいて分周パラメータを決定する分周パラメータ決定手段である。203はオーディオデータ取り込み手段201が取り込んだディジタルオーディオデータに対し分周パラメータ決定手段202が決定した分周パラメータ等の情報を付加するなどの処理を行い、伝送用のオーディオデータを生成するオーディオデータ加工手段、204はオーディオデータ加工手段により生成された伝送用のオーディオデータを一時記憶するデータ記憶手段、205は映像・音声信号源から出力される水平ブランク同期信号,及び映像のピクセルクロックを用いてタイミング信号を生成し、このタイミング信号を用いて、データ記憶手段204に記憶された伝送用のオーディオデータを、映像・音声信号源から出力される映像データの水平ブランキング期間の所定位置に重畳して映像・オーディオデータ重畳信号を生成する映像・オーディオデータ重畳手段である。また、206はオーディオデータの入力端子、207は映像データの入力端子である。   FIG. 2 is a block diagram showing the configuration of the data transmission apparatus in FIG. In the figure, 201 is an audio data capturing means for capturing digital audio data output from a video / audio signal source, and 202 is a frequency divider based on the pixel clock of the video output from the video / audio signal source and the sampling frequency of the audio data. Dividing parameter determining means for determining a parameter. An audio data processing 203 performs processing such as adding information such as a frequency division parameter determined by the frequency division parameter determination unit 202 to the digital audio data acquired by the audio data acquisition unit 201 to generate audio data for transmission. Means 204, data storage means for temporarily storing audio data for transmission generated by the audio data processing means; 205, timing using a horizontal blank synchronizing signal output from the video / audio signal source and a video pixel clock; A signal is generated, and using this timing signal, the audio data for transmission stored in the data storage unit 204 is superimposed on a predetermined position in the horizontal blanking period of the video data output from the video / audio signal source. A video / audio data superimposed signal is generated. - is the audio data superimposing means. Reference numeral 206 denotes an audio data input terminal, and 207 denotes a video data input terminal.

映像・音声信号源のオーディオ処理部(図示せず)からオーディオデータ入力端子206に入力されるディジタルオーディオデータは、オーディオデータ取り込み手段201に取りこまれる。本実施の形態において、オーディオデータ入力端子206に入力されるオーディオデータは、例えば、IEC(International Electrotechnical Commission)60958方式でパケット化されたオーディオデータである。IEC60958方式のパケットデータは、図3に示すように、1パケット(1サブフレーム)が32ビットで構成され、先頭に4ビットのプリアンブルが配置され、続く24ビットの区間に1サンプルのオーディオデータ(オーディオサンプルワード)が配置される。1サンプルが24ビット未満のビット数(たとえば16ビット)のデータが配置される場合もある。また、末尾の4ビットにはサブコード(VUCP)が配置される。   Digital audio data input to the audio data input terminal 206 from an audio processing unit (not shown) of the video / audio signal source is captured by the audio data capturing means 201. In the present embodiment, the audio data input to the audio data input terminal 206 is, for example, audio data packetized by the IEC (International Electrotechnical Commission) 60958 system. As shown in FIG. 3, the packet data of the IEC60958 system is composed of 32 bits in one packet (one subframe), a 4-bit preamble is arranged at the head, and one sample of audio data (24-bit section) Audio sample words) are arranged. In some cases, data of a number of bits (for example, 16 bits) in which one sample is less than 24 bits is arranged. A subcode (VUCP) is arranged in the last 4 bits.

分周パラメータ決定手段202は、映像・音声信号源から出力される映像のピクセルクロックとオーディオデータのサンプリング周波数に基づいて分周パラメータを決定する。受信側においてディジタルオーディオデータをアナログオーディオ信号として再生する際には、オーディオクロックが必要となるが、本実施の形態によるディジタル信号伝送システムでは後述するように、受信側において、送信側から伝送されるピクセルクロックを分周することによってオーディオクロックを生成し、これをオーディオデータの再生に用いる。ピクセルクロックをもとに、オーディオクロックを生成するので、ジッタなどが発生しやすく、オーディオクロック精度が下がる可能性があるが、それを防いでオーディオクロックを精度良く生成するため本実施の形態によるディジタル信号伝送システムでは、映像のピクセルクロックとオーディオデータのサンプリング周波数に基づいて決まる分周パラメータを受信側に対して伝送し、受信側でこの分周パラメータを用いて送信側から伝送されるピクセルクロックを分周し、オーディオクロックの生成を行う。分周パラメータは、上述のように映像のピクセルクロックとオーディオデータのサンプリング周波数に基づいて一意的に決まる。ここでは、オーディオデータのサンプリング周波数を128倍したものをオーディオクロックとし、このオーディオクロックとピクセルクロックの最小公倍数にするためにピクセルクロックに掛ける値を分周パラメータNとする。例えば、画像データが480Pの画質のものであればピクセルクロックは27.000MHzであるが、これに対しオーディオデータのサンプリング周波数が48kHzであれば分周パラメータNは6144であり、オーディオデータのサンプリング周波数が44.1kHzであれば分周パラメータNは6272である。また、画像データが1080Iの画質のものであればピクセルクロックは74.176MHzであるが、これに対しオーディオデータのサンプリング周波数が48kHzであれば分周パラメータNは11648であり、オーディオデータのサンプリング周波数が44.1kHzであれば分周パラメータNは17836である。分周パラメータ決定手段202はこのような分周パラメータの値をテーブルとして保持しておき、映像・音声信号源から与えられるピクセルクロックの周波数,及びオーディオデータのプリアンブルに記述されたサンプリング周波数に基づいて該当する分周パラメータの値をテーブルから読み出してオーディオデータ加工手段203に対して出力する。   The frequency division parameter determining means 202 determines the frequency division parameter based on the pixel clock of the video output from the video / audio signal source and the sampling frequency of the audio data. When the digital audio data is reproduced as an analog audio signal on the reception side, an audio clock is required. However, in the digital signal transmission system according to the present embodiment, as will be described later, the digital audio data is transmitted from the transmission side on the reception side. An audio clock is generated by dividing the pixel clock and used to reproduce audio data. Since the audio clock is generated based on the pixel clock, jitter and the like are likely to occur, and the audio clock accuracy may be lowered. To prevent this and to generate the audio clock with high accuracy, the digital clock according to this embodiment is used. In the signal transmission system, a frequency division parameter determined based on the pixel clock of the video and the sampling frequency of the audio data is transmitted to the reception side, and the pixel clock transmitted from the transmission side is transmitted on the reception side using the frequency division parameter. Divide and generate an audio clock. As described above, the frequency division parameter is uniquely determined based on the pixel clock of the video and the sampling frequency of the audio data. Here, an audio clock obtained by multiplying the sampling frequency of audio data by 128 is used as an audio clock, and a value to be multiplied by the pixel clock to obtain the least common multiple of the audio clock and the pixel clock is used as a frequency division parameter N. For example, if the image data has an image quality of 480P, the pixel clock is 27.000 MHz. On the other hand, if the sampling frequency of the audio data is 48 kHz, the frequency division parameter N is 6144, and the sampling frequency of the audio data Is 44.1 kHz, the frequency division parameter N is 6272. If the image data has 1080I image quality, the pixel clock is 74.176 MHz. On the other hand, if the audio data sampling frequency is 48 kHz, the frequency division parameter N is 11648, and the audio data sampling frequency. Is 44.1 kHz, the frequency division parameter N is 17836. The frequency division parameter determining means 202 holds the values of such frequency division parameters as a table, and based on the frequency of the pixel clock given from the video / audio signal source and the sampling frequency described in the preamble of the audio data. The corresponding frequency dividing parameter value is read from the table and output to the audio data processing means 203.

オーディオデータ取り込み手段201によって取り込まれたディジタルオーディオデータは、オーディオデータ加工手段203に出力される。オーディオデータ加工手段203は、オーディオデータ取り込み手段201から受け取ったディジタルオーディオデータに対し、分周パラメータ決定手段202で決定された分周パラメータや加工後のデータ長等の情報を含むヘッダを付加し、また、データの多ビット化等、データ伝送に適した形態への変換処理を行って、伝送用オーディオデータを生成する。オーディオデータ加工手段203で生成された伝送用オーディオデータは、データ記憶手段204に一時記憶され、映像・オーディオデータ重畳手段から出力されるオーディオデータ重畳タイミングにあわせた読み込み信号に従い、映像・オーディオデータ重畳手段205に入力される。   The digital audio data captured by the audio data capturing unit 201 is output to the audio data processing unit 203. The audio data processing unit 203 adds a header including information such as the frequency division parameter determined by the frequency division parameter determination unit 202 and the processed data length to the digital audio data received from the audio data capturing unit 201, Also, the transmission audio data is generated by performing conversion processing into a form suitable for data transmission, such as data multi-biting. The audio data for transmission generated by the audio data processing means 203 is temporarily stored in the data storage means 204, and the video / audio data superimposition is performed according to the read signal in accordance with the audio data superimposition timing output from the video / audio data superimposition means. Input to means 205.

映像データ入力端子207には、DVI規格で符号化された映像データが映像・音声信号源の映像処理部(図示せず)から供給される。映像データ入力端子207に供給される映像データは、映像・オーディオデータ重畳手段205に入力される。映像・オーディオデータ重畳手段205はオーディオデータを映像データに多重化する合成処理を行い、合成されたデータをDVIケーブルに送出する。   Video data input terminal 207 is supplied with video data encoded according to the DVI standard from a video processing unit (not shown) of a video / audio signal source. The video data supplied to the video data input terminal 207 is input to the video / audio data superimposing means 205. The video / audio data superimposing means 205 performs a synthesis process for multiplexing the audio data with the video data, and sends the synthesized data to the DVI cable.

ここで、DVIフォーマットで映像データが伝送される構成について図4を参照して説明すると、伝送される映像データとしては、図4のchannel0に示すBデータ(青データ)と図4のchannel1に示すGデータ(緑データ)と、図4のchannel2に示すRデータ(赤データ)とが、それぞれ個別のチャンネルのデータとして伝送される。各チャンネルのデータは、1画素が8ビットのデータとされ、3チャンネルで1画素当たり、合計24ビットのデータとなる。ただし、実際にDVIで画素データを伝送する際には、8ビットのデータを10ビットのデータに変換して伝送するようにしてある。各チャンネルの画素データは、ピクセルクロックに同期して伝送される。   Here, a configuration in which video data is transmitted in the DVI format will be described with reference to FIG. 4. As transmitted video data, B data (blue data) shown in channel 0 in FIG. 4 and channel 1 in FIG. 4 are shown. G data (green data) and R data (red data) shown in channel 2 in FIG. 4 are transmitted as data of individual channels. The data of each channel is 8-bit data for one pixel, and the total data is 24 bits per pixel for three channels. However, when pixel data is actually transmitted by DVI, 8-bit data is converted into 10-bit data and transmitted. The pixel data of each channel is transmitted in synchronization with the pixel clock.

DVIフォーマットでは、各チャンネルの画素データは、水平ブランキング期間及び垂直ブランキング期間には伝送されず、水平同期信号HSYNCとして規定されたデータ、垂直同期信号VSYNCとして規定されたデータ、あるいは各種の制御データが伝送されるものとなっている。本実施の形態によるディジタル信号伝送システムでは、いずれかのチャンネルの水平ブランキング期間に伝送用のオーディオデータを重畳する。図4ではオーディオデータをchannel1で示すGデータの伝送チャンネルの水平ブランキング期間に配置するようにした場合の例を示している。   In the DVI format, the pixel data of each channel is not transmitted during the horizontal blanking period and the vertical blanking period, and is defined as data defined as the horizontal synchronization signal HSYNC, data defined as the vertical synchronization signal VSYNC, or various controls. Data is to be transmitted. In the digital signal transmission system according to the present embodiment, audio data for transmission is superimposed on the horizontal blanking period of any channel. FIG. 4 shows an example in which audio data is arranged in a horizontal blanking period of a G data transmission channel indicated by channel 1.

映像・オーディオデータ重畳手段205は、映像・音声信号源から与えられる水平ブランク同期信号とピクセルクロックを用いてオーディオデータの重畳タイミング信号を生成する。すなわち、水平ブランク同期信号を受けた時からピクセルクロックを予め定められた個数であるn個をカウントしたタイミングで読み込み信号をデータ記憶手段204に対して出力する。データ記憶手段204に一時記憶された伝送用オーディオデータは、映像・オーディオデータ重畳手段から出力される読み込み信号に応じてデータ記憶手段204から映像・オーディオデータ重畳手段205に入力され、映像データの水平ブランキング期間の所定の位置に重畳される。   The video / audio data superimposing means 205 generates a superimposition timing signal of audio data using a horizontal blank synchronizing signal and a pixel clock given from the video / audio signal source. That is, a read signal is output to the data storage means 204 at a timing when n pixel clocks, which is a predetermined number, are counted from when the horizontal blank synchronization signal is received. The transmission audio data temporarily stored in the data storage unit 204 is input from the data storage unit 204 to the video / audio data superimposing unit 205 in accordance with the read signal output from the video / audio data superimposing unit, and the horizontal direction of the video data. It is superimposed at a predetermined position in the blanking period.

ここで、たとえば、映像データの水平周波数が15.75kHzであり、オーディオデータのサンプリング周波数が48kHzであるとすると、映像データの1水平走査期間は約63.5μ秒であり、音声データの1サンプリング期間は約20.8μ秒であるので、1水平ラインで3フレームの音声データを送る処理を数十回行う毎に、1水平ラインで4フレームの音声データを送る処理を1回行うように、2つの処理を組み合わせることで、映像に対するオーディオの遅延を生じさせることなく伝送できる。   For example, if the horizontal frequency of the video data is 15.75 kHz and the sampling frequency of the audio data is 48 kHz, one horizontal scanning period of the video data is about 63.5 μsec, and one sampling of the audio data is performed. Since the period is about 20.8 microseconds, every time the process of sending 3 frames of audio data on one horizontal line is performed several tens of times, the process of sending 4 frames of audio data on one horizontal line is performed once. By combining the two processes, transmission can be performed without causing an audio delay with respect to the video.

本実施の形態のデータ送信装置は、上述のようにオーディオデータを映像データの水平ブランキング期間の所定位置に重畳した映像・オーディオデータ重畳信号を、水平ブランク同期信号やピクセルクロックとともにDVI用ケーブルを介してデータ受信装置に対して伝送する。   As described above, the data transmission apparatus according to the present embodiment uses a DVI cable together with a horizontal blank synchronization signal and a pixel clock as a video / audio data superimposed signal in which audio data is superimposed at a predetermined position in the horizontal blanking period of the video data. To the data receiver.

図5は図1中のデータ受信装置の構成を示すブロック図である。図において、501はデータ送信装置からDVI用ケーブルを介して伝送された水平ブランク同期信号とピクセルクロックを用いて映像・オーディオデータ重畳信号からオーディオデータを抽出するタイミング信号であるオーディオデータ抽出信号を生成するオーディオデータ抽出信号生成手段、502はオーディオデータ抽出信号生成手段501が出力するオーディオデータ抽出信号とオーディオデータに付加されたオーディオデータのデータ長を示す情報に基づいて映像・オーディオデータ重畳信号を映像データとオーディオデータに分離して出力する映像・オーディオデータ分離手段、503はデータ送信装置からDVI用ケーブルを介して伝送されたピクセルクロックをオーディオデータに付加された分周パラメータに基づいて分周してオーディオクロックを生成するオーディオクロック生成手段、504は映像・オーディオデータ分離手段502により分離出力されたオーディオデータを記憶し、記憶したオーディオデータをオーディオクロック生成手段503が出力するオーディオクロックに基づいて出力するデータ記憶手段、505はデータ記憶手段504から出力されるディジタルオーディオデータをオーディオクロック生成手段503が出力するオーディオクロックに基づいて順次アナログオーディオ信号に変換して出力するD/Aコンバータである。また、506は映像・オーディオデータ重畳信号の入力端子である。   FIG. 5 is a block diagram showing the configuration of the data receiving apparatus in FIG. In the figure, reference numeral 501 generates an audio data extraction signal which is a timing signal for extracting audio data from a video / audio data superimposed signal using a horizontal blank synchronizing signal and a pixel clock transmitted from a data transmission device via a DVI cable. The audio data extraction signal generation means 502 performs the video / audio data superimposition signal based on the audio data extraction signal output from the audio data extraction signal generation means 501 and the information indicating the data length of the audio data added to the audio data. Video / audio data separation means for separating and outputting data and audio data, 503 divides the pixel clock transmitted from the data transmission device via the DVI cable based on the frequency division parameter added to the audio data The audio clock generation means 504 for generating the audio clock stores the audio data separated and output by the video / audio data separation means 502 and outputs the stored audio data based on the audio clock output by the audio clock generation means 503. A data storage unit 505 is a D / A converter that sequentially converts the digital audio data output from the data storage unit 504 into an analog audio signal based on the audio clock output from the audio clock generation unit 503 and outputs the analog audio signal. Reference numeral 506 denotes an input terminal for a video / audio data superimposed signal.

映像・オーディオデータ重畳信号の入力端子506にはデータ送信装置の映像・オーディオデータ重畳手段205で生成されDVI用ケーブルを介して伝送された映像・オーディオデータ重畳信号が供給され、この映像・オーディオデータ重畳信号は映像・オーディオデータ分離手段502に入力される。   The video / audio data superimposing signal input terminal 506 is supplied with the video / audio data superimposing signal generated by the video / audio data superimposing means 205 of the data transmitting device 205 and transmitted via the DVI cable. The superimposed signal is input to the video / audio data separation unit 502.

また、オーディオデータ抽出信号生成手段501にはデータ送信装置からDVI用ケーブルを介して伝送された水平ブランク同期信号とピクセルクロックが入力され、オーディオデータ抽出信号生成手段501は、水平ブランク同期信号を受けた時からピクセルクロックを予め定められた個数であるn個をカウントしたタイミングでオーディオデータ抽出信号を出力する。   The audio data extraction signal generation means 501 receives the horizontal blank synchronization signal and the pixel clock transmitted from the data transmission device via the DVI cable, and the audio data extraction signal generation means 501 receives the horizontal blank synchronization signal. The audio data extraction signal is output at a timing when n pixel clocks, which are a predetermined number, are counted.

オーディオデータ抽出信号生成手段501で生成されたオーディオデータ抽出信号は映像・オーディオデータ分離手段502に供給される。映像・オーディオデータ分離手段502は、オーディオデータ抽出信号を受けたタイミングからオーディオデータのヘッダに記述されたオーディオデータのデータ長分のデータを映像・オーディオデータ重畳信号から分離して出力することにより、映像データの水平ブランキング期間の所定位置に配置されたオーディオデータを分離抽出する。分離されたオーディオデータは、一時的にデータ記憶手段504に記憶される。   The audio data extraction signal generated by the audio data extraction signal generation unit 501 is supplied to the video / audio data separation unit 502. The video / audio data separating means 502 separates the data for the data length of the audio data described in the header of the audio data from the timing of receiving the audio data extraction signal from the video / audio data superimposed signal, and outputs it. Audio data arranged at a predetermined position in the horizontal blanking period of the video data is separated and extracted. The separated audio data is temporarily stored in the data storage means 504.

オーディオクロック生成手段503は、データ送信装置からDVI用ケーブルを介して伝送されたピクセルクロックを、オーディオデータに付加されて送信され、映像・オーディオデータ分離手段502で分離された分周パラメータに基づいて分周してオーディオサンプリング周波数の128倍のオーディオクロックを作成する。このクロックを基に、更に分周し、L/Rクロック(オーディオのサンプリングクロック。一般には、ハイの部分でLchのデータを、ローの部分でRchのデータが伝送される。)と、ビットクロック(L/Rクロックに同期し、オーディオのデータを決定するためのクロック。シリアルにデータを伝送する場合に用いられる。一般には、サンプリング周波数の64倍または32倍のクロック。1クロックで1ビットのデータが決定される。)を作成する。   The audio clock generation means 503 adds the pixel clock transmitted from the data transmission device via the DVI cable to the audio data and transmits it based on the frequency division parameter separated by the video / audio data separation means 502. The frequency is divided to create an audio clock of 128 times the audio sampling frequency. Based on this clock, the frequency is further divided, and an L / R clock (audio sampling clock. Generally, Lch data is transmitted in the high portion and Rch data is transmitted in the low portion), and a bit clock. (A clock for determining audio data in synchronization with the L / R clock. Used when serially transmitting data. Generally, a clock of 64 or 32 times the sampling frequency. One clock is one bit. Data is determined).

データ記憶手段504は、記憶したオーディオデータをオーディオクロック生成手段503が出力するオーディオクロックに基づいてD/Aコンバータ505に対し出力する。D/Aコンバータ505は、データ記憶手段504からビットクロックに同期したディジタルオーディオデータを受け、オーディオクロック生成手段503で生成された3種類のクロック信号を用いて、ディジタルオーディオデータをアナログオーディオ信号に変換する。   The data storage unit 504 outputs the stored audio data to the D / A converter 505 based on the audio clock output from the audio clock generation unit 503. The D / A converter 505 receives digital audio data synchronized with the bit clock from the data storage unit 504, and converts the digital audio data into an analog audio signal using the three types of clock signals generated by the audio clock generation unit 503. To do.

このように、本実施の形態によれば、データ送信側から、水平ブランク同期信号とピクセルクロックを用いて生成した重畳タイミングでオーディオデータを映像データの水平ブランキング期間に重畳した映像・オーディオデータ重畳信号を水平ブランク同期信号とピクセルクロックとともにDVI用ケーブルを介してデータ受信側に対して伝送し、データ受信側において、伝送された水平ブランク同期信号とピクセルクロックを用いて映像・オーディオデータ重畳信号からオーディオデータを抽出するタイミング信号を生成し、このタイミング信号を用いて映像・オーディオデータ重畳信号を映像データとオーディオデータに分離するとともに、ピクセルクロックを分周して生成したオーディオクロックを用いてディジタルオーディオデータをアナログオーディオ信号に変換するようにしたから、映像データを伝送する既存のインターフェースを用いて、簡単かつ良好にオーディオデータを伝送することができる。すなわち、DVI規格として規格化された既存のデジタル映像データを伝送するシステムを利用して、同じ信号ケーブルでオーディオデータを伝送することが可能となる。特に本実施の形態では、映像データの伝送処理自体は既存のままで、水平ブランク同期信号とピクセルクロックを用いてタイミング信号を生成し、このタイミング信号を用いてオーディオデータの重畳,及び分離を行うようにしたので、映像データの伝送処理機構構成については、従来のDVI規格を全く変更する必要がなく、送信側、受信側ともにDVI規格用に用意された映像データの処理ブロックがそのまま使用できる。   As described above, according to the present embodiment, the video / audio data superimposition in which the audio data is superimposed on the horizontal blanking period of the video data at the superimposition timing generated using the horizontal blank synchronization signal and the pixel clock from the data transmission side. The signal is transmitted together with the horizontal blank sync signal and the pixel clock to the data receiving side via the DVI cable, and the video / audio data superimposed signal is transmitted using the transmitted horizontal blank sync signal and the pixel clock on the data receiving side. Generates a timing signal for extracting audio data, separates the video / audio data superimposed signal into video data and audio data using this timing signal, and digital audio using the audio clock generated by dividing the pixel clock data It is so arranged to convert an analog audio signal, using the existing interface for transmitting video data, it can be transmitted easily and satisfactorily audio data. In other words, it is possible to transmit audio data using the same signal cable using an existing digital video data transmission system standardized as the DVI standard. In particular, in the present embodiment, the video data transmission process itself remains the same, a timing signal is generated using a horizontal blank synchronization signal and a pixel clock, and audio data is superimposed and separated using this timing signal. Thus, the configuration of the video data transmission processing mechanism does not require any changes to the conventional DVI standard, and the video data processing block prepared for the DVI standard can be used as it is on both the transmission side and the reception side.

本実施の形態のデータ送信装置の変形例について説明する。図6は、本実施の形態のデータ送信装置の変形例の構成を示す図である。図において、601は映像・音声信号源からのディジタルオーディオデータのサンプリング周波数を一定にするサンプリングコンバータである。602はサンプリングコンバータ601でサンプリング周波数が変換された後のディジタルオーディオデータを取り込むオーディオデータ取り込み手段、603はオーディオデータ取り込み手段602が取り込んだディジタルオーディオデータに対し情報を付加するなどの処理を行い、伝送用のオーディオデータを生成するオーディオデータ加工手段、604はオーディオデータ加工手段により生成された伝送用のオーディオデータを一時記憶するデータ記憶手段、605は映像・音声信号源から出力される水平ブランク同期信号,及び映像のピクセルクロックを用いてタイミング信号を生成し、このタイミング信号を用いて、データ記憶手段604に記憶された伝送用のオーディオデータを、映像・音声信号源から出力される映像データの水平ブランキング期間の所定位置に重畳して映像・オーディオデータ重畳信号を生成する映像・オーディオデータ重畳手段である。また、606はオーディオデータの入力端子、607は映像データの入力端子である。   A modification of the data transmission apparatus according to this embodiment will be described. FIG. 6 is a diagram illustrating a configuration of a modified example of the data transmission apparatus according to the present embodiment. In the figure, reference numeral 601 denotes a sampling converter for making the sampling frequency of digital audio data from a video / audio signal source constant. Reference numeral 602 denotes an audio data capturing unit that captures digital audio data after the sampling frequency is converted by the sampling converter 601, and 603 performs processing such as adding information to the digital audio data captured by the audio data capturing unit 602 for transmission. Audio data processing means for generating audio data for use, 604 is data storage means for temporarily storing audio data for transmission generated by the audio data processing means, and 605 is a horizontal blank synchronizing signal output from a video / audio signal source , And a pixel signal of the video, and a timing signal is generated, and using this timing signal, the audio data for transmission stored in the data storage means 604 is converted into the video data output from the video / audio signal source. A video and audio data superimposing means for generating a video-audio data superimposed signal by superimposing a predetermined position of the flat blanking period. Reference numeral 606 denotes an audio data input terminal, and reference numeral 607 denotes a video data input terminal.

オーディオデータのサンプリング周波数は、CDでは44.1kHzであり、DVDでは48kHzであるなど、いろいろな周波数を取っている。そのため受信側においてピクセルクロックからオーディオ基準クロックを作成するPLLの分周比がいろいろな値を取り、PLL構成が複雑になるという不都合がある。図6に示す変形例は、受信側の回路構成を簡単にするため、映像データに重畳するオーディオデータのサンプリング周波数を一定にするサンプリングコンバータを具備したものである。   The sampling frequency of audio data is various frequencies such as 44.1 kHz for CD and 48 kHz for DVD. For this reason, the frequency division ratio of the PLL that creates the audio reference clock from the pixel clock on the receiving side takes various values, and the PLL configuration becomes complicated. The modification shown in FIG. 6 includes a sampling converter that makes the sampling frequency of audio data to be superimposed on video data constant in order to simplify the circuit configuration on the receiving side.

オーディオのサンプリング周波数が48kHzである場合のピクセルクロックとオーディオクロックの分周比は、映像データが480I、480P、1080Iなどの場合すべて、割り切れる値の分周比であり、受信装置のオーディオクロック生成手段の構成を簡単にすることが可能である。   When the audio sampling frequency is 48 kHz, the division ratio between the pixel clock and the audio clock is a division ratio that can be divided in all cases where the video data is 480I, 480P, 1080I, etc. It is possible to simplify the configuration.

次に、サンプリングコンバータの代表的な動作を述べる。例えば、44.1kHzサンプリングのオーディオデータを、48kHzのオーディオサンプリングデータに変換するためには、44.1kHzサンプリングのオーディオデータに、帯域が24kHzのフィルタをかけ、44.1kHzと48kHzとの補間を行い48kHzのサンプリングデータに変換を行う。   Next, typical operations of the sampling converter will be described. For example, in order to convert audio data with 44.1 kHz sampling into audio sampling data with 48 kHz, a filter with a band of 24 kHz is applied to the audio data with 44.1 kHz sampling, and interpolation between 44.1 kHz and 48 kHz is performed. Conversion to 48 kHz sampling data.

サンプリング周波数の変換以降の動作は、図2のデータ送信装置の動作と同様であるので説明を省略する。   Since the operation after the sampling frequency conversion is the same as the operation of the data transmission apparatus in FIG.

なお、図6に示す変形例では分周パラメータを決定してオーディオデータに付加する構成を省略しているが、重畳するオーディオデータのサンプリング周波数が一定となるので、映像・音声信号源からの映像データの画質が一定である場合はオーディオクロックを生成するための分周比は常に一定であり、受信側に分周パラメータを伝送する構成は不要である。一方、映像・音声信号源からの映像データの画質が480Pや1080Iなどと変化する場合は、図2のデータ送信装置と同様、分周パラメータを決定してオーディオデータに付加する構成を備えることが受信側でオーディオクロックを精度良く生成するために有効である。   In the modification shown in FIG. 6, the configuration for determining the frequency dividing parameter and adding it to the audio data is omitted. However, since the sampling frequency of the audio data to be superimposed is constant, the video from the video / audio signal source When the image quality of the data is constant, the frequency division ratio for generating the audio clock is always constant, and a configuration for transmitting the frequency division parameter to the receiving side is unnecessary. On the other hand, when the image quality of the video data from the video / audio signal source is changed to 480P, 1080I, or the like, the configuration may be such that the frequency division parameter is determined and added to the audio data as in the data transmission device of FIG. This is effective for generating an audio clock with high accuracy on the receiving side.

また、上述した実施の形態では、オーディオデータのサンプリング周波数を128倍したものをオーディオクロックとし、このオーディオクロックとピクセルクロックの最小公倍数にするためにピクセルクロックに掛ける値を分周パラメータNとしてこれをオーディオデータに付加して伝送するものについて説明したが、この分周パラメータNとともに、さらに、
M=ピクセルクロック×N/オーディオクロック
の関係を満たすMの値も同時に情報としてオーディオデータに付加して伝送するようにしてもよい。これにより受信側のオーディオクロックの位相を送信側のオーディオクロックの位相に合わせることが可能となる。
In the embodiment described above, an audio clock is obtained by multiplying the sampling frequency of the audio data by 128, and a value multiplied by the pixel clock to obtain the least common multiple of the audio clock and the pixel clock is used as the frequency division parameter N. Although what was transmitted in addition to audio data was described, along with this frequency division parameter N,
A value of M satisfying the relationship of M = pixel clock × N / audio clock may be simultaneously added to the audio data and transmitted as information. As a result, the phase of the audio clock on the receiving side can be matched with the phase of the audio clock on the transmitting side.

また、上述した実施の形態では、水平ブランク同期信号とピクセルクロックを用いてタイミング信号を生成し、このタイミング信号を用いてオーディオデータを画像データの水平ブランキング期間の所定の位置に重畳するものについて説明したが、垂直ブランク同期信号とピクセルクロックを用いてタイミング信号を生成し、このタイミング信号を用いてオーディオデータを画像データの垂直ブランキング期間の所定の位置に重畳するようにしてもよい。   In the above-described embodiment, the timing signal is generated using the horizontal blank synchronization signal and the pixel clock, and the audio data is superimposed on a predetermined position in the horizontal blanking period of the image data using the timing signal. As described above, a timing signal may be generated using the vertical blank synchronization signal and the pixel clock, and the audio data may be superimposed on a predetermined position in the vertical blanking period of the image data using this timing signal.

また、上述した実施の形態では、2チャンネルのデジタルオーディオデータを伝送するものについて説明したが、1チャンネルのデジタルオーディオデータを伝送する場合や、3チャンネル以上のデジタルオーディオデータを伝送する場合にも本発明は適応可能である。   Further, in the above-described embodiment, the transmission of 2-channel digital audio data has been described. However, the present embodiment is also applicable to transmission of 1-channel digital audio data or transmission of 3-channel or more digital audio data. The invention is adaptable.

また、上述した実施の形態では、一定のサンプリングレートのデジタルオーディオデータが配置されたパケットを伝送するようにしたが、所定の方式(たとえばAC3方式やAAC方式等)で圧縮符号化されたデジタルオーディオデータをパケット内に配置して伝送するようにしても良い。   In the above-described embodiment, a packet in which digital audio data having a constant sampling rate is arranged is transmitted. However, digital audio compressed and encoded by a predetermined method (for example, AC3 method, AAC method, etc.). Data may be arranged and transmitted in a packet.

また、ここまで説明した実施の形態では、DVI規格の伝送路を使用して映像データにオーディオデータを多重化して伝送するようにしたが、その他の映像データ伝送用の規格を適用しても良い。この場合、伝送路は有線のケーブルで接続される伝送路の他に、無線伝送される伝送路を使用しても良い。   In the embodiments described so far, audio data is multiplexed and transmitted using the transmission path of the DVI standard, but other standards for video data transmission may be applied. . In this case, the transmission path may be a wireless transmission path in addition to the transmission path connected by a wired cable.

この発明は、たとえばDVI(Digital Video Interface)を用いて映像信号源と映像表示装置とを接続したディジタル信号伝送システムにおいて、映像データを伝送する既存のインターフェースを用いて、簡単かつ良好にオーディオデータを伝送することができるデータ受信方法、データ受信装置、ディジタル信号伝送システム、およびデータ送受信方法を提供するものである。 In the digital signal transmission system in which a video signal source and a video display device are connected using, for example, DVI (Digital Video Interface), audio data can be easily and satisfactorily used by using an existing interface for transmitting video data. Lud over data reception method can be transmitted, the data receiving apparatus, there is provided de Ijitaru signal transmission system, and a method of transmitting and receiving data.

本発明の実施の形態によるディジタル信号伝送システムのシステム全体の構成を示すブロック図である。1 is a block diagram showing the overall configuration of a digital signal transmission system according to an embodiment of the present invention. 本発明の実施の形態によるディジタル信号伝送システムのデータ送信装置の構成を示すブロック図である。It is a block diagram which shows the structure of the data transmitter of the digital signal transmission system by embodiment of this invention. ディジタルオーディオデータの構成の一例を示す図である。It is a figure which shows an example of a structure of digital audio data. DVIフォーマットで伝送される映像データにオーディオデータを重畳する動作を説明するための図である。It is a figure for demonstrating the operation | movement which superimposes audio data on the video data transmitted by a DVI format. 本発明の実施の形態によるディジタル信号伝送システムのデータ受信装置の構成を示すブロック図である。It is a block diagram which shows the structure of the data receiver of the digital signal transmission system by embodiment of this invention. 本発明の実施の形態によるディジタル信号伝送システムのデータ送信装置の変形例の構成を示すブロック図である。It is a block diagram which shows the structure of the modification of the data transmitter of the digital signal transmission system by embodiment of this invention. 従来の映像データのみを伝送するディジタル信号伝送システムのシステム全体の構成の例を示すブロック図である。It is a block diagram which shows the example of a structure of the whole system of the digital signal transmission system which transmits only the conventional video data. 従来の問題点を説明するための図である。It is a figure for demonstrating the conventional problem.

符号の説明Explanation of symbols

102 データ送信装置
103 DVI用ケーブル
104 データ受信装置
201 オーディオデータ取り込み手段
203 オーディオデータ加工手段
205 映像・オーディオデータ重畳手段
501 オーディオデータ抽出信号生成手段
502 映像・オーディオデータ分離手段
503 オーディオクロック生成手
601 サンプリングコンパレータ
603 オーディオデータ取り込み手段
605 映像・オーディオデータ重畳手段
DESCRIPTION OF SYMBOLS 102 Data transmitter 103 DVI cable 104 Data receiver 201 Audio data taking-in means 203 Audio data processing means 205 Video / audio data superimposing means 501 Audio data extraction signal generating means 502 Video / audio data separating means 503 Audio clock generator 601 Sampling Comparator 603 Audio data capturing means 605 Video / audio data superimposing means

Claims (4)

デジタルディスプレイ接続用のインターフェースを用いたディジタル信号伝送システムにおけるデータ受信方法であって、
映像ブランキング期間の所定の位置に伝送用のオーディオデータが重畳された映像データ、映像ブランク同期信号、及び映像データ用のピクセルクロックを受信するステップと、
前記映像ブランク同期信号と前記ピクセルクロックを用いてタイミング信号を生成し、このタイミング信号を用いて、前記伝送用のオーディオデータを重畳した映像データを映像データとオーディオデータに分離するステップと、
前記伝送用のオーディオデータに含まれ、M=ピクセルクロック×N/オーディオクロックの関係を満たすパラメータN、M(共に正の整数)を用いて前記映像データ用のピクセルクロックを分周し、ディジタルオーディオデータの再生に用いるオーディオクロックを生成するステップとを含む、
ことを特徴とするデータ受信方法。
A data reception method in a digital signal transmission system using an interface for connecting a digital display,
Receiving video data in which audio data for transmission is superimposed at a predetermined position in a video blanking period, a video blank synchronization signal, and a pixel clock for video data;
Generating a timing signal using the video blank synchronization signal and the pixel clock, and using the timing signal, separating the video data on which the audio data for transmission is superimposed into video data and audio data;
The included in the audio data for transmission using M = pixel clock × N / audio clocks satisfy the relation parameters N, M (both positive integers), divides the pixel clock for the video data, digital Generating an audio clock for use in reproducing audio data;
A data receiving method.
デジタルディスプレイ接続用のインターフェースを用いたディジタル信号伝送システムにおけるデータ受信装置であって、
映像ブランキング期間の所定の位置に伝送用のオーディオデータが重畳された映像データ、映像ブランク同期信号、及び映像データ用のピクセルクロックを受信する受信手段と、
前記映像ブランク同期信号と前記ピクセルクロックを用いてタイミング信号を生成し、このタイミング信号を用いて、前記データ送信装置から送信されたオーディオデータを重畳した映像データを映像データとオーディオデータに分離する映像オーディオデータ分離手段と、
前記伝送用のオーディオデータに含まれ、M=ピクセルクロック×N/オーディオクロックの関係を満たすパラメータN、M(共に正の整数)を用いて前記映像データ用のピクセルクロックを分周し、ディジタルオーディオデータの再生に用いるオーディオクロックを生成するオーディオクロック生成手段とを備えた、
ことを特徴とするデータ受信装置。
A data receiver in a digital signal transmission system using an interface for connecting a digital display,
Receiving means for receiving video data in which audio data for transmission is superimposed at a predetermined position in a video blanking period, a video blank synchronization signal, and a pixel clock for video data;
A video that generates a timing signal using the video blank synchronization signal and the pixel clock, and uses this timing signal to separate video data on which audio data transmitted from the data transmission device is superimposed into video data and audio data Audio data separation means;
The included in the audio data for transmission using M = pixel clock × N / audio clocks satisfy the relation parameters N, M (both positive integers), divides the pixel clock for the video data, digital Audio clock generating means for generating an audio clock used for reproducing audio data;
A data receiving apparatus.
デジタルディスプレイ接続用のインターフェースを用いてデータ送信装置からデータ受信装置へディジタル信号を伝送するディジタル信号伝送システムであって、
前記データ送信装置は、
映像・音声信号源からディジタルオーディオデータを取り込むデータ取り込み手段と、
データ取り込み手段が取り込んだディジタルオーディオデータを加工して伝送用のオーディオデータを生成するオーディオデータ加工手段と、
映像・音声信号源から得られる映像ブランク同期信号と、映像データ用のピクセルクロックとを用いてタイミング信号を生成し、このタイミング信号を用いて映像・音声信号源から出力される映像データの映像ブランキング期間の所定の位置に前記伝送用のオーディオデータを重畳する映像・オーディオデータ重畳手段と、
前記伝送用のオーディオデータを重畳した映像データ、前記映像ブランク同期信号、及び前記ピクセルクロックをデータ受信側に対して送信するデータ送信手段とを備え、
前記伝送用のオーディオデータは、前記データ受信装置においてディジタルオーディオデータの再生に用いるオーディオクロックを前記映像データ用のピクセルクロックを分周して生成するときに使われるパラメータN、M(共に正の整数)を含むものであって、
前記パラメータN、Mは、
M=ピクセルクロック×N/オーディオクロック
の関係を満たすものであり、
前記データ受信装置は、
映像ブランキング期間の所定の位置に伝送用のオーディオデータが重畳された映像データ、映像ブランク同期信号、及び映像データ用のピクセルクロックを受信する受信手段と、
前記映像ブランク同期信号と前記ピクセルクロックを用いてタイミング信号を生成し、このタイミング信号を用いて、前記データ送信装置から送信されたオーディオデータを重畳した映像データを映像データとオーディオデータに分離する映像オーディオデータ分離手段と、
前記伝送用のオーディオデータに含まれる前記パラメータを用いて前記ピクセルクロックを分周し、ディジタルオーディオデータの再生に用いるオーディオクロックを生成するオーディオクロック生成手段とを備えた、
ことを特徴とするディジタル信号伝送システム。
A digital signal transmission system for transmitting a digital signal from a data transmission device to a data reception device using an interface for connecting a digital display,
The data transmission device includes:
Data capturing means for capturing digital audio data from a video / audio signal source;
Audio data processing means for processing the digital audio data captured by the data capturing means to generate audio data for transmission;
A timing signal is generated using a video blank synchronization signal obtained from a video / audio signal source and a pixel clock for video data, and a video signal of video data output from the video / audio signal source is generated using the timing signal. Video / audio data superimposing means for superimposing the audio data for transmission at a predetermined position in the ranking period;
Data transmission means for transmitting video data on which the audio data for transmission is superimposed, the video blank synchronization signal, and the pixel clock to a data receiving side,
The audio data for transmission includes parameters N and M (both positive integers) used when the audio clock used for reproducing the digital audio data in the data receiving device is generated by dividing the pixel clock for the video data. )
The parameters N and M are
M = pixel clock × N / audio clock
Satisfy the relationship
The data receiving device is:
Receiving means for receiving video data in which audio data for transmission is superimposed at a predetermined position in a video blanking period, a video blank synchronization signal, and a pixel clock for video data;
A video that generates a timing signal using the video blank synchronization signal and the pixel clock, and uses the timing signal to separate video data on which audio data transmitted from the data transmission device is superimposed into video data and audio data Audio data separation means;
Wherein using the parameters included in the audio data for transmission divides the pixel clock, and a audio clock generating means for generating an audio clock used for reproduction of the digital audio data,
A digital signal transmission system.
デジタルディスプレイ接続用のインターフェースを用いてデータ送信装置からデータ受信装置へディジタル信号を伝送するディジタル信号伝送システムにおけるデータ送受信方法であって、
前記データ送信装置のデータ送信ステップは、
映像・音声信号源からディジタルオーディオデータを取り込むステップと、
取り込んだディジタルオーディオデータを加工して伝送用のオーディオデータを生成するステップと、
映像・音声信号源から得られる映像ブランク同期信号と、映像データ用のピクセルクロックとを用いてタイミング信号を生成し、このタイミング信号を用いて映像・音声信号源から出力される映像データの映像ブランキング期間の所定の位置に前記伝送用のオーディオデータを重畳するステップと、
前記伝送用のオーディオデータを重畳した映像データ、前記映像ブランク同期信号、及び前記ピクセルクロックをデータ受信側に対して送信するステップとを含み、
前記伝送用のオーディオデータは、前記データ受信装置においてディジタルオーディオデータの再生に用いるオーディオクロックを前記映像データ用のピクセルクロックを分周して生成するときに使われるパラメータN、M(共に正の整数)を含むものであって
前記パラメータN、Mは、
M=ピクセルクロック×N/オーディオクロック
の関係を満たすものであり、
前記データ受信装置のデータ受信ステップは、
映像ブランキング期間の所定の位置に伝送用のオーディオデータが重畳された映像データ、映像ブランク同期信号、及び映像データ用のピクセルクロックを受信するステップと、
前記映像ブランク同期信号と前記ピクセルクロックを用いてタイミング信号を生成し、このタイミング信号を用いて、前記伝送用のオーディオデータを重畳した映像データを映像データとオーディオデータに分離するステップと、
前記伝送用のオーディオデータに含まれる前記パラメータを用いて前記ピクセルクロックを分周し、ディジタルオーディオデータの再生に用いるオーディオクロックを生成するステップとを含む、
ことを特徴とするデータ送受信方法。
A data transmission / reception method in a digital signal transmission system for transmitting a digital signal from a data transmission device to a data reception device using an interface for connecting a digital display,
The data transmission step of the data transmission device includes:
Capturing digital audio data from a video / audio signal source;
Processing the captured digital audio data to generate audio data for transmission;
A timing signal is generated using a video blank synchronization signal obtained from a video / audio signal source and a pixel clock for video data, and a video signal of video data output from the video / audio signal source is generated using this timing signal. Superimposing the audio data for transmission at a predetermined position in a ranking period;
Transmitting the video data on which the audio data for transmission is superimposed, the video blank synchronization signal, and the pixel clock to the data receiving side,
The audio data for transmission includes parameters N and M (both positive integers) used when the audio clock used for reproducing digital audio data in the data receiving device is generated by dividing the pixel clock for the video data. ) der those containing,
The parameters N and M are
M = pixel clock × N / audio clock
Satisfy the relationship
The data receiving step of the data receiving device includes:
Receiving video data in which audio data for transmission is superimposed at a predetermined position in a video blanking period, a video blank synchronization signal, and a pixel clock for video data;
Generating a timing signal using the video blank synchronization signal and the pixel clock, and using the timing signal, separating the video data on which the audio data for transmission is superimposed into video data and audio data;
Wherein using the parameters included in the audio data for transmission divides the pixel clock, and generating an audio clock used for reproduction of the digital audio data,
A data transmission / reception method.
JP2004081636A 2001-03-23 2004-03-19 Data receiving method, data receiving apparatus, digital signal transmission system, and data transmitting / receiving method Expired - Lifetime JP3964880B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004081636A JP3964880B2 (en) 2001-03-23 2004-03-19 Data receiving method, data receiving apparatus, digital signal transmission system, and data transmitting / receiving method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2001085714 2001-03-23
JP2004081636A JP3964880B2 (en) 2001-03-23 2004-03-19 Data receiving method, data receiving apparatus, digital signal transmission system, and data transmitting / receiving method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2002576429A Division JP3718836B2 (en) 2001-03-23 2002-03-25 Data transmission device

Publications (2)

Publication Number Publication Date
JP2004208337A JP2004208337A (en) 2004-07-22
JP3964880B2 true JP3964880B2 (en) 2007-08-22

Family

ID=32827351

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004081636A Expired - Lifetime JP3964880B2 (en) 2001-03-23 2004-03-19 Data receiving method, data receiving apparatus, digital signal transmission system, and data transmitting / receiving method

Country Status (1)

Country Link
JP (1) JP3964880B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009125573A1 (en) * 2008-04-11 2009-10-15 パナソニック株式会社 Transmitter and receiver
JP4315462B1 (en) 2008-04-23 2009-08-19 シリコンライブラリ株式会社 Receiving device capable of generating audio reference clock
CN115278458B (en) * 2022-07-25 2023-03-24 邓剑辉 Multi-channel digital audio processing system based on PCIE interface

Also Published As

Publication number Publication date
JP2004208337A (en) 2004-07-22

Similar Documents

Publication Publication Date Title
JP3718836B2 (en) Data transmission device
US7855751B2 (en) Data transmission device and data reception device
JP4557016B2 (en) Signal transmitter
US7714934B2 (en) Transmission method, transmission system, sending device and reception device
KR100586669B1 (en) Transmission system
US20020174440A1 (en) Video display apparatus, audio mixing apparatus, video-audio output apparatus and video-audio synchronizing method
JP4008688B2 (en) Signal transmitting apparatus and signal receiving apparatus
KR100541755B1 (en) Baseband video transmission system
JP4487675B2 (en) Transmission system
JP3964880B2 (en) Data receiving method, data receiving apparatus, digital signal transmission system, and data transmitting / receiving method
JP4483457B2 (en) Transmission system
JP2002125207A (en) Signal transmitter and signal receiver
JP2006054550A (en) Transmission system
JP2004266866A (en) Data receiver, data reception method, and data transmission system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070501

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070524

R150 Certificate of patent or registration of utility model

Ref document number: 3964880

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110601

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110601

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120601

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130601

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130601

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term