WO2021039189A1 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
WO2021039189A1
WO2021039189A1 PCT/JP2020/027914 JP2020027914W WO2021039189A1 WO 2021039189 A1 WO2021039189 A1 WO 2021039189A1 JP 2020027914 W JP2020027914 W JP 2020027914W WO 2021039189 A1 WO2021039189 A1 WO 2021039189A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
audio signal
linear pcm
compressed audio
reproduction
Prior art date
Application number
PCT/JP2020/027914
Other languages
English (en)
French (fr)
Inventor
市村 元
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/636,653 priority Critical patent/US20220303706A1/en
Publication of WO2021039189A1 publication Critical patent/WO2021039189A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635HDMI
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/012Comfort noise or silence coding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/167Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4852End-user interface for client configuration for modifying audio parameters, e.g. switching between mono and stereo
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/654Transmission by server directed to the client
    • H04N21/6547Transmission by server directed to the client comprising parameters, e.g. for client setup
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40Visual indication of stereophonic sound image
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis

Definitions

  • This technology relates to a transmitting device, a transmitting method, a receiving device, and a receiving method.
  • IEC60958 As a digital audio interface, transmission of a linear PCM signal by IEC60958 is widely used.
  • Patent Document 1 describes IEC60958.
  • IEC 61937 which transmits a compressed audio signal on the protocol of IEC 60958, is also widespread and is used for transmission of various audio codecs.
  • the coaxial terminal called SPDIF (Sony Philips Digital InterFace) in the actual product, the optical out terminal, HDMI (High-Definition Multimedia Interface), which is a multimedia interface including video, and MHL (Mobile High-definition Link).
  • SPDIF Synchronization Philips Digital InterFace
  • HDMI High-Definition Multimedia Interface
  • MHL Mobile High-definition Link
  • the transmission of the compressed audio signal and the transmission of the linear PCM signal are sequentially switched and reproduced, the continuity of the content reproduction is significantly lost, and the reproduction quality is deteriorated.
  • the background music is provided by MPEG-4 AAC, but if there is a delay in the linear PCM signal of the response to the user's operation with the game controller, the game cannot be played comfortably.
  • the problem is that a digital audio interface method and device capable of realizing simultaneous transmission and reproduction of a compressed audio signal and a linear PCM signal are not provided. For this reason, low-quality speaker reproduction in the television receiver is used only for the linear PCM signal, but the quality of the user experience is significantly reduced.
  • it can be solved by having multiple digital audio interfaces and sending the compressed audio signal and the linear PCM signal to separate audio amplifiers for playback, but the cost increases, the equipment setting becomes complicated, and the threshold is high for general users. It becomes a system.
  • the compressed audio signal and the linear PCM signal transmitted at the same time in this way are reproduced as sound on the receiving side, and as the reproduction method, only the compressed audio signal is reproduced, only the linear PCM signal is reproduced, and the compressed audio signal and the linear PCM signal are reproduced.
  • the signal transmitted as the linear PCM signal for example, in addition to the mail arrival sound, the operation sound of the remote control, and the like, an emergency warning sound, an announcement, an audio description, an intercom sound, and the like are assumed.
  • the transmitting side may want to process whether to raise the volume of the linear PCM signal or lower the volume of the compressed audio signal in order to clearly attract the attention of the listener.
  • linear PCM signals cannot be leveled up due to the limit of digital full scale, and compressed audio signals cannot be decompressed, leveled down, or recompressed on the transmitting side and cannot be leveled down in many cases.
  • the purpose of the present technology is to enable good reproduction control of the compressed audio signal and / or the linear PCM signal on the receiving side in the case of simultaneously transmitting the compressed audio signal and the linear PCM signal.
  • the concept of this technology is It is provided with a transmitter that sequentially transmits audio signals of a predetermined unit to the receiving side via a predetermined transmission line.
  • the audio signal of the predetermined unit is a mixed signal of a compressed audio signal and a linear PCM signal.
  • the transmission device further includes an information addition unit that adds reproduction control information of the audio signal to the transmitted audio signal.
  • the transmission unit sequentially transmits audio signals of a predetermined unit to the receiving side via a predetermined transmission line.
  • the predetermined transmission line may be a coaxial cable, an optical cable, an Ethernet (IEC61883-6) cable, an HDMI cable, an MHL cable, or a display port cable.
  • the audio signal of a predetermined unit is a mixed signal of a compressed audio signal and a linear PCM signal.
  • the linear PCM signal may be made to be an audio signal that requires real-time performance.
  • the audio signal of a predetermined unit may be an audio signal of a subframe unit.
  • the compressed audio signal may be arranged on the upper bit side and the linear PCM signal may be arranged on the lower bit side.
  • the information addition unit adds the reproduction control information of this audio signal to the transmitted audio signal.
  • the information addition unit may be configured to add reproduction control information using a predetermined bit area in each block configured for each predetermined number of predetermined units.
  • the predetermined bit area in each block may be set to be the predetermined bit area of the channel status of each block.
  • the reproduction control information may be set to include information for controlling the reproduction level adjustment of the audio signal obtained by decoding the compressed audio signal.
  • the reproduction level of the audio signal obtained by decoding the compressed audio signal may be adjusted to a low level, it is possible to make the reproduced sound of the linear PCM signal mixed with the compressed audio signal conspicuous to the user, for example. Become.
  • the reproduction control information may be set to include information for controlling to replace the center channel audio signal obtained by decoding the compressed audio signal with the linear PCM signal. In this case, it is possible to make the reproduced sound of the linear PCM signal conspicuous to the user. As a case of replacement in this way, a case of switching languages or a case of karaoke is assumed.
  • the reproduction control information may include information for controlling so as to lower the reproduction level of the audio signal obtained by decoding the compressed audio signal in response to a predetermined operation of the user. Good. By controlling the compressed audio signal reproduction level to be low in this way, the user can temporarily avoid the reproduced sound of the compressed audio signal from becoming an obstacle.
  • the reproduction control information may be set to include information for controlling the sound image by the linear PCM signal so as to be localized at a position near the user. This makes it possible to make the reproduced sound of the linear PCM signal conspicuous to the user. It is also conceivable to control the sound image localization in this way in parallel with adjusting the reproduction level of the compressed audio signal.
  • the reproduction control information may include information for controlling to use the user's hand speaker as the reproduction speaker of the linear PCM signal. This makes it possible to make the reproduced sound of the linear PCM signal conspicuous to the user. It is also conceivable to use the hand speaker in this way in parallel with adjusting the reproduction level of the compressed audio signal.
  • an audio signal of a predetermined unit which is a mixed signal of a compressed audio signal and a linear PCM signal
  • the audio signal is added to the audio signal. Playback control information is added. Therefore, the reproduction control of the compressed audio signal and / or the linear PCM signal can be satisfactorily performed on the receiving side.
  • a display unit for displaying information related to reproduction control information may be further provided. This makes it possible for the user to confirm what kind of reproduction control is being performed.
  • the transmitted audio signal is further provided with an information addition unit that adds identification information indicating that the audio signal of a predetermined unit is a mixed signal of a compressed audio signal and a linear PCM signal. May be done.
  • an information addition unit that adds identification information indicating that the audio signal of a predetermined unit is a mixed signal of a compressed audio signal and a linear PCM signal.
  • a receiver that sequentially receives audio signals of a predetermined unit from the transmitting side via a predetermined transmission line is provided.
  • the audio signal of the predetermined unit is a mixed signal of a compressed audio signal and a linear PCM signal.
  • the reproduction control information of the audio signal is added to the received audio signal.
  • the receiving device further includes a reproduction control unit that controls reproduction of the compressed audio signal and / or the linear PCM signal based on the reproduction control information.
  • the receiving unit sequentially receives audio signals of a predetermined unit from the transmitting side via a predetermined transmission line.
  • the audio signal of a predetermined unit is a mixed signal of a compressed audio signal and a linear PCM signal. Further, the reproduction control information of this audio signal is added to the received audio signal.
  • the reproduction control unit controls the reproduction of the compressed audio signal and / or the linear PCM signal based on the reproduction control information.
  • an audio signal of a predetermined unit which is a mixed signal of a compressed audio signal and a linear PCM signal
  • a predetermined transmission line it is added to the received audio signal.
  • the reproduction of the compressed audio signal and / or the linear PCM signal is controlled based on the reproduction control information. Therefore, the reproduction control of the compressed audio signal and / or the linear PCM signal can be satisfactorily performed.
  • a display unit for displaying information related to reproduction control information may be further provided. This makes it possible for the user to confirm what kind of reproduction control is being performed.
  • FIG. 1 It is a block diagram which shows the configuration example of the AV system as an embodiment.
  • Is. It is a figure which shows an example of the display about the reproduction control information in a television receiver and an audio amplifier.
  • MCV Multichannel configuration value
  • FIG. 1 shows a configuration example of the AV system 10 as an embodiment.
  • the AV system 10 has a television receiver 100 and an audio amplifier 200.
  • the television receiver 100 is connected to a television broadcast receiving antenna 121, a BD (Blu-ray Disc) player 122, an Internet 123, a microphone 124, an interphone 125, and a remote controller (remote controller) 126. Further, the audio amplifier 200 is connected to a 2-channel or multi-channel speaker system 250 and a hand-held speaker system 251 placed at the user's hand.
  • BD Blu-ray Disc
  • the television receiver 100 is connected to a television broadcast receiving antenna 121, a BD (Blu-ray Disc) player 122, an Internet 123, a microphone 124, an interphone 125, and a remote controller (remote controller) 126.
  • the audio amplifier 200 is connected to a 2-channel or multi-channel speaker system 250 and a hand-held speaker system 251 placed at the user's hand.
  • "Blu-ray" is a registered trademark.
  • the television receiver 100 and the audio amplifier 200 are connected via the HDMI cable 300.
  • HDMI is a registered trademark.
  • the television receiver 100 is provided with an HDMI terminal 101 to which an HDMI receiving unit (HDMI RX) 102 and a high-speed bus interface 103 constituting a communication unit are connected.
  • the audio amplifier 200 is provided with an HDMI terminal 201 in which an HDMI transmission unit (HDMI TX) 202 and a high-speed bus interface 203 constituting a communication unit are connected.
  • One end of the HDMI cable 300 is connected to the HDMI terminal 101 of the television receiver 100, and the other end is connected to the HDMI terminal 201 of the audio amplifier 200.
  • the television receiver 100 has an HDMI receiver 102, a high-speed bus interface 103, and an SPDIF transmission circuit 104. Further, the television receiver 100 includes a system controller 105, a digital broadcast reception circuit 107, a content reproduction circuit 108, a speech synthesis circuit 109, an Ethernet interface 110, a mixer 111, an overlay circuit 112, and a display 113. doing.
  • a system controller 105 controls the television receiver 100 to receive digital broadcast signals from 102
  • a digital broadcast reception circuit 107 controls the television signals
  • a content reproduction circuit 108 controls the television signals
  • a speech synthesis circuit 109 controls Ethernet interface 116
  • Ethernet interface 110 a digital signals from a digital signals
  • mixer 111 a mixer 111
  • an overlay circuit 112 a display 113.
  • the system controller 105 controls the operation of each part of the television receiver 100.
  • a remote controller 126 is connected to the system controller 105.
  • the user can perform various operation inputs through the remote controller 126.
  • as a user interface for the user to input various operations for example, a touch panel, a mouse, a keyboard, a gesture input unit for detecting instruction input with a camera, and a voice input for inputting instructions by voice.
  • the department etc. can be considered.
  • the digital broadcast receiving circuit 107 processes the television broadcast signal input from the receiving antenna 121 and outputs a compressed audio signal related to the broadcast content.
  • the Ethernet interface 110 communicates with other servers via the Internet 123.
  • the content reproduction circuit 108 uses the compressed audio signal of the broadcast content obtained by the digital broadcast receiving circuit 107, the compressed audio signal of the reproduced content supplied from the BD player 122, or the compressed audio signal of the net content obtained by the Ethernet interface 110. It is selectively taken out and sent to the SPDIF transmission circuit 104.
  • the voice synthesis circuit 109 receives the operation sound data corresponding to the operation of the remote controller 126 from the system controller 105, generates a linear PCM signal of the operation sound, and sends it to the SPDIF transmission circuit 104.
  • the linear PCM signal of this operation sound is required to have real-time performance.
  • the voice synthesis circuit 109 receives the notification sound data notifying the user that the mail has been received from the system controller 105, generates a linear PCM signal of the notification sound, and sends it to the SPDIF transmission circuit 104.
  • the linear PCM signal of this notification sound is also required to have real-time performance.
  • the voice synthesis circuit 109 receives the caption data from the digital broadcast reception circuit 107, generates a linear PCM signal of the caption voice by the caption reading software, and sends it to the SPDIF transmission circuit 104.
  • a linear PCM signal of subtitled audio is also required to have real-time performance.
  • the broadcast content is a foreign movie
  • the language of the audio by the compressed audio signal is a foreign language
  • the subtitles are Japanese subtitles. It should be noted that the same applies to the case where the subtitle data related to the reproduced content from the BD player 122 exists instead of the broadcast content.
  • the voice synthesis circuit 109 receives the text data of the translated voice received from the translation server (not shown in FIG. 1) by the Ethernet interface 110, generates a linear PCM signal of the translated voice, and generates a linear PCM signal of the translated voice, and the SPDIF transmission circuit. Send to 104.
  • the Ethernet interface 110 transmits the PCM audio signal of the first language dialogue obtained by the compressed audio decoding circuit 206 of the audio amplifier 200 described later to the HDMI transmitter 202 of the audio amplifier 200 and the television receiver 100.
  • the HDMI receiving unit 102 receives through the HDMI receiving unit 102 and transmitting the PCM voice signal of the dialogue of the first language to the translation server, the text data of the translation voice of the dialogue of the second language is received from the translation server.
  • the microphone 124 is used when performing karaoke.
  • the karaoke compressed audio signal is obtained from, for example, the BD player 122.
  • a linear PCM signal corresponding to the user's singing can be obtained from the microphone 124.
  • This linear PCM signal is sent to the SPDIF transmission circuit 104 through the mixer 111. Further, the ON (ON) / OFF (OFF) switching signal of the microphone 124 is supplied to the system controller 105.
  • a linear PCM signal corresponding to the utterance of the visitor can be obtained from the intercom 125.
  • This linear PCM signal is sent to the SPDIF transmission circuit 104 through the mixer 111. Further, the on (ON) / off (OFF) switching signal of the intercom 125 is supplied to the system controller 105.
  • the HDMI receiving unit 102 receives image and audio data supplied to the HDMI terminal 101 via the HDMI cable 300 by HDMI-compliant communication.
  • the high-speed bus interface 103 is a bidirectional communication path interface configured by using a reserve line and an HPD (Hot Plug Detect) line constituting the HDMI cable 300. The details of the HDMI receiving unit 102 and the high-speed bus interface 103 will be described later.
  • the SPDIF transmission circuit 104 is a circuit for transmitting an IEC 60958 standard digital audio transmission signal (hereinafter, appropriately referred to as "SPDIF signal").
  • This SPDIF transmission circuit 104 is a transmission circuit conforming to the IEC60958 standard. The details of the SPDIF signal will be described later.
  • the SPDIF transmission circuit 104 simultaneously transmits a compressed audio signal and a linear PCM signal.
  • a method of simultaneously transmitting the compressed audio signal and the linear PCM signal a first method, a second method, and a third method can be considered.
  • the audio signal in units of subframes is a mixed signal of a compressed audio signal and a linear PCM signal.
  • the SPDIF signal transmitted from the SPDIF transmission circuit 104 includes identification information indicating the configuration of the audio signal (the audio signal in subframe units is a mixed signal of the compressed audio signal and the linear PCM signal), linear.
  • Configuration information indicating the configuration of the PCM signal, information related to the linear PCM signal, and the like are added.
  • the configuration information indicates, for example, a 2-channel configuration of an 8-bit linear PCM signal, a stereo 2-channel configuration of an 8-bit linear PCM signal, a 1-channel configuration of a 16-bit linear PCM signal, and the like.
  • the information related to the linear PCM signal is, for example, information such as language and speaker position.
  • the continuous audio signal in the subframe unit is one in which the audio signal in the subframe unit including the compressed audio signal and the audio signal in the subframe unit including the linear PCM signal are alternately arranged. It is said that.
  • the SPDIF signal transmitted from the SPDIF transmission circuit 104 includes an audio signal configuration (a subframe in which continuous audio signals in subframe units include compressed audio signals and subframes including linear PCM signals. Identification information indicating that the unit audio signals are arranged alternately), configuration information indicating the configuration of the linear PCM signal, information related to the linear PCM signal, and the like are added.
  • the configuration information indicates, for example, monaural, stereo 2 channels, 5.1 channels, 7.1 channels, and the like.
  • the information related to the linear PCM signal is, for example, information such as language and speaker position.
  • the audio signal in the block is a mixed signal of a compressed audio signal and a linear PCM signal.
  • the SPDIF signal transmitted from the SPDIF transmission circuit 104 includes identification information indicating an audio signal configuration (the audio signal in the block is a mixed signal of a compressed audio signal and a linear PCM signal), linear PCM. Configuration information indicating the signal configuration, information related to the linear PCM signal, and the like are added.
  • the system controller 105 issues playback control information that controls the playback of the compressed audio signal and / or the linear PCM signal, and sends it to the SPDIF transmission circuit 104. Then, the SPDIF transmission circuit 104 adds the reproduction control information to the transmitted SPDIF signal (audio signal). In this case, the reproduction control information is added using the predetermined bit area in each block, more specifically, the predetermined bit area of the channel status of each block.
  • this reproduction control information is used as information for controlling the reproduction level adjustment of the compressed audio signal (that is, the reproduction level adjustment of the audio signal obtained by decoding the compressed audio signal).
  • the system controller 105 issues this information when, for example, a linear PCM signal from the interphone 125, a linear PCM signal of the operation sound of the remote control 126, a linear PCM signal of the mail reception notification sound, etc. are transmitted at the same time as the compressed audio signal. To do.
  • the reproduction level of the audio signal obtained by decoding the compressed audio signal is adjusted to be low, and the reproduced sound of the linear PCM signal becomes conspicuous to the user and can be noticed by the user.
  • this reproduction control information is used as information for controlling to replace the center channel of the compressed audio signal (that is, the audio signal of the center channel obtained by decoding the compressed audio signal) with the linear PCM signal. ..
  • the system controller 105 issues this information, for example, in the karaoke mode, when the linear PCM of the singing voice from the microphone 124 is transmitted at the same time as the multi-channel compressed audio signal of the back performance. In this case, on the receiving side, the audio signal of the center channel included in the back performance is replaced with the linear PCM signal, and the reproduced sound of the linear PCM signal of the singing voice can be clearly heard by the audience.
  • the system controller 105 issues this information when, for example, the linear PCM signal of the second translation language is simultaneously transmitted at the same time as the multi-channel compressed audio signal whose voice language is the first language.
  • the center channel audio signal is replaced with the linear PCM signal, and the user can listen in the second language.
  • this reproduction control information is controlled to lower the reproduction level of the compressed audio signal (that is, the reproduction level of the audio signal obtained by decoding the compressed audio signal) in response to a predetermined operation of the user. It is used as information for.
  • the system controller 105 issues this information, for example, when the user operates a specific button on the remote controller 126 to turn it on. In this case, on the receiving side, the reproduction level of the compressed audio signal is lowered, and it is possible to temporarily prevent the reproduced sound of the compressed audio signal from disturbing the user.
  • this reproduction control information is used as information for controlling the sound image by the linear PCM signal to be localized at a position near the user (see arrow a in FIG. 2). Further, for example, this reproduction control information is controlled so that the user's hand speaker is used as the reproduction speaker of the linear PCM signal (see arrow b in FIG. 2).
  • the system controller 105 transmits, for example, a linear PCM signal from the interphone 125, a linear PCM signal of the operation sound of the remote control 126, a linear PCM signal of the mail reception notification sound, and the like at the same time as the compressed audio signal.
  • the system controller 105 transmits these information. Issue. In this case, on the receiving side, the reproduced sound of the linear PCM signal becomes conspicuous to the user and can be noticed by the user.
  • the display 113 displays an image based on the video signal output from the content reproduction circuit 108.
  • the overlay circuit 112 superimposes a display signal for displaying the reproduction control information described above on the video signal. This display signal is supplied from the system controller 105.
  • the system controller 105 issues information for controlling the reproduction level adjustment of the audio signal obtained by decoding the compressed audio signal
  • the user is informed that the level adjustment is performed on the audio amplifier 200 side.
  • the level adjustment in progress shown in FIG. 3A is displayed.
  • the system controller 105 issues information for controlling to replace the center channel audio signal obtained by decoding the compressed audio signal with a linear PCM signal, the center channel audio.
  • the center channel audio obtained by decoding the compressed audio signal with a linear PCM signal
  • the center channel audio In order to notify the user that the signal has been replaced with the linear PCM signal of the singing voice, for example, "Karaoke mode" shown in FIG. 3B is displayed.
  • the system controller 105 decodes the compressed audio signal.
  • the audio signal of the center channel is the linear PCM of another language.
  • "English voice" shown in FIG. 3C is displayed.
  • the system controller 105 issues information for controlling the playback level of the audio signal obtained by decoding the compressed audio signal in response to a predetermined operation of the user, the compressed audio is issued.
  • “during level reduction operation” shown in FIG. 3D is displayed.
  • the audio amplifier 200 has an HDMI transmission unit 202, a high-speed bus interface 203, and an SPDIF receiving circuit 204. Further, the audio amplifier 200 includes a system controller 205, a compressed audio decoding circuit 206, an audio mixer 207, an amplifier 208, a display unit 209, an Ethernet interface 210, and a digital signal processor (DSP) 211. ..
  • DSP digital signal processor
  • the system controller 205 controls the operation of each part of the audio amplifier 200.
  • the HDMI transmission unit 202 transmits baseband video (image) and audio data from the HDMI terminal 201 to the HDMI cable 300 by HDMI-compliant communication.
  • the high-speed bus interface 203 is a bidirectional communication path interface configured by using a reserve line and an HPD (Hot Plug Detect) line constituting the HDMI cable 300. The details of the HDMI transmission unit 202 and the high-speed bus interface 203 will be described later.
  • the SPDIF receiving circuit 204 is a circuit for receiving an SDPIF signal (IEC 60958 standard digital audio signal). This SPDIF receiving circuit 204 is a receiving circuit conforming to the IEC 60958 standard. The SPDIF receiving circuit 204 separates and acquires the compressed audio signal and the linear PCM signal from the SPDIF signal based on the identification information indicating the configuration of the audio signal. Further, the SPDIF receiving circuit 204 extracts the above-mentioned reproduction control information added to the SPDIF signal and sends it to the system controller 205.
  • SDPIF signal ISO 60958 standard digital audio signal
  • This SPDIF receiving circuit 204 is a receiving circuit conforming to the IEC 60958 standard.
  • the SPDIF receiving circuit 204 separates and acquires the compressed audio signal and the linear PCM signal from the SPDIF signal based on the identification information indicating the configuration of the audio signal. Further, the SPDIF receiving circuit 204 extracts the above-mentioned reproduction control information added to the SPDIF signal and sends it to the system controller 205.
  • the compressed audio decoding circuit 206 performs decoding processing on the compressed audio signal obtained by the SPDIF receiving circuit 204 to obtain a 2-channel or multi-channel linear PCM signal.
  • the audio mixer 207 mixes the linear PCM signal obtained by the compressed audio decoding circuit 206 with the linear PCM signal obtained by the SPDIF receiving circuit 204 based on the configuration information indicating the configuration of the linear PCM signal, and uses two channels or multi. Obtain the output linear PCM signal of the channel.
  • mix processing mentioned here includes selecting only one. Further, the mix process referred to here also includes selecting one when there is transmission of a plurality of channels of linear PCM signals.
  • the audio mixer 207 performs rendering processing so that a PCM audio signal of a channel suitable for the configuration of the speaker system 250 can be obtained. Further, when the speaker position information is added to the linear PCM signal obtained by the SPDIF receiving circuit 204 as information related to the linear PCM signal, for example, the sound generated by the linear PCM signal is localized at the speaker position. , Perform the rendering process.
  • the amplifier 208 amplifies the 2-channel or multi-channel output linear PCM signal obtained by the audio mixer 207 and supplies it to the speaker system 250.
  • preset speaker position information can be used.
  • the system controller 205 controls the reproduction of the compressed audio signal and / or the linear PCM signal based on the reproduction control information sent from the SPDIF receiving circuit 204.
  • this reproduction control information is information for controlling the reproduction level adjustment of the compressed audio signal
  • the system controller 205 controls the audio mixer 207 to decode the compressed audio signal and obtain the linear PCM. The signal reproduction level is adjusted.
  • the reproduction sound such as the linear PCM signal from the interphone 125, the linear PCM signal of the operation sound of the remote control 126, and the linear PCM signal of the mail reception notification sound is produced. It becomes noticeable to the user and can be noticed by the user.
  • the sound image by the linear PCM signal may be controlled so as to be localized at a position near the user.
  • the linear PCM signal acquired by the SPDIF receiving circuit 204 is processed by the digital signal processor 211 so that the sound image by the linear PCM signal is localized at a position near the user.
  • the sound image of the linear PCM signal so as to be localized at a position near the user without adjusting the reproduction level of the compressed audio signal to a low level.
  • the reproduction level of the compressed audio signal when adjusted to be low, it may be controlled to use the user's hand speaker as the reproduction speaker of the linear PCM signal.
  • the linear PCM signal acquired by the SPDIF receiving circuit 204 is sent to the hand speaker system 251.
  • this reproduction control information is information for controlling to replace the center channel of the compressed audio signal with the linear PCM signal
  • the system controller 205 controls the audio mixer 207 to control the center channel audio signal. Is replaced with a linear PCM signal.
  • the reproduced sound of the linear PCM signal can be heard clearly without being disturbed by the reproduced sound of the audio signal of the center channel.
  • the system controller 205 controls the audio mixer 207 to control the compressed audio signal. Make the playback level lower. This makes it possible to temporarily prevent the reproduced sound of the compressed audio signal from disturbing the user.
  • the display unit 209 displays the status of the audio amplifier 200 and the like. In this embodiment, the display unit 209 displays the reproduction control information in the same manner as the display 113 in the television receiver 100 described above (see FIGS. 3A to 3D). This display signal is supplied from the system controller 205.
  • FIG. 4 shows a configuration example of the HDMI receiving unit 102 of the television receiver 100 and the HDMI transmitting unit 202 of the audio amplifier 200 in the AV system 10 of FIG.
  • the HDMI transmission unit 202 is a valid image section which is a section from a certain vertical synchronization signal to the next vertical synchronization signal (hereinafter, appropriately referred to as “video field”) excluding the horizontal blanking period and the vertical blanking period.
  • video field a vertical synchronization signal
  • active video section the differential signal of the image data for one screen of the base band (uncompressed) is transmitted to the HDMI receiving unit 102 in one direction by a plurality of channels.
  • the HDMI transmission unit 202 transmits a plurality of differential signals corresponding to voice data and control packets (Control Packet) accompanying the image data, other auxiliary data, and the like during the horizontal blanking period and the vertical blanking period.
  • the channel transmits data to the HDMI receiving unit 102 in one direction.
  • the HDMI transmission unit 202 has a source signal processing unit 71 and an HDMI transmitter 72.
  • Baseband uncompressed image (Video) and audio (Audio) data are supplied to the source signal processing unit 71.
  • the source signal processing unit 71 performs necessary processing on the supplied image and audio data, and supplies the HDMI transmitter 72.
  • the source signal processing unit 71 exchanges control information, status information (Control / Status), and the like with the HDMI transmitter 72, if necessary.
  • the HDMI transmitter 72 converts the image data supplied from the source signal processing unit 71 into corresponding differential signals, and connects the HDMI cable 300 with three TMDS channels # 0, # 1, and # 2, which are a plurality of channels. It transmits in one direction to the HDMI receiving unit 102 connected via the device.
  • auxiliary data supplied from the transmitter 72 and the source signal processing unit 71, which are associated with the uncompressed image data, and a vertical sync signal (VSYNC) and a horizontal sync signal (HSYNC).
  • VSYNC vertical sync signal
  • HSELNC horizontal sync signal
  • Etc. are converted into corresponding differential signals, and the HDMI receiving unit 102 connected via the HDMI cable 300 via the three TMDS channels # 0, # 1 and # 2. , Send in one direction.
  • the transmitter 72 transmits the pixel clock synchronized with the image data transmitted through the three TMDS channels # 0, # 1, and # 2 to the HDMI receiving unit 102 connected via the HDMI cable 300 in the TMDS clock channel. Send.
  • the HDMI receiving unit 102 receives the differential signal corresponding to the image data transmitted in one direction from the HDMI transmitting unit 202 on a plurality of channels in the active video section, and also has a horizontal blanking period and a vertical blanking period. In the plurality of channels, the differential signals corresponding to the auxiliary data and the control data transmitted from the HDMI transmission unit 202 are received.
  • the HDMI receiving unit 102 includes an HDMI receiver 81 and a sink signal processing unit 82.
  • the HDMI receiver 81 is a differential signal corresponding to image data transmitted in one direction from the HDMI transmission unit 202 connected via the HDMI cable 300 on TMDS channels # 0, # 1 and # 2.
  • the differential signal corresponding to the auxiliary data and the control data is received in synchronization with the pixel clock transmitted from the HDMI transmission unit 202 on the TMDS clock channel.
  • the HDMI receiver 81 converts the differential signal into corresponding image data, auxiliary data, and control data, and supplies the differential signal to the sync signal processing unit 82 as needed.
  • the sink signal processing unit 82 performs necessary processing on the data supplied from the HDMI receiver 81 and outputs the data. In addition, the sync signal processing unit 82 exchanges control information, status information (Control / Status), and the like with the HDMI receiver 81, if necessary.
  • the HDMI transmission channels include three TMDS channels for serially transmitting image data, auxiliary data, and control data from the HDMI transmission unit 202 to the HDMI reception unit 102 in one direction in synchronization with the pixel clock.
  • TMDS Serial Data Channel
  • a TMDS clock channel as a transmission channel for transmitting a pixel clock, there are a DDC (Display Data Channel) 83 and a transmission channel called a CEC line 84.
  • the DDC 83 is composed of two lines (signal lines) (not shown) included in the HDMI cable 300, and the source device performs E-EDID (Enhanced-Extended Display Identification) from the sink device connected via the HDMI cable 300. Used to read. That is, the sink device has an EDID ROM 85. The source device reads the E-EDID stored in the EDID ROM 85 from the sink device connected via the HDMI cable 300 via the DDC 83, and recognizes the setting and performance of the sink device based on the E-EDID. To do.
  • E-EDID Enhanced-Extended Display Identification
  • the CEC line 84 comprises one line (not shown) included in the HDMI cable 300, and is used for bidirectional communication of control data between the source device and the sink device.
  • the HDMI cable 300 includes a line 86 connected to a pin called HPD (Hot Plug Detect).
  • HPD Hot Plug Detect
  • the source device can detect the connection of the sink device by using the line 86.
  • the HDMI cable 300 also includes a line 87 used to supply power from the source device to the sink device.
  • the HDMI cable 300 includes a reserve line 88.
  • FIG. 5 shows various transmission data sections when image data of 1920 pixels ⁇ 1080 lines in width ⁇ length is transmitted in the TMDS channel.
  • VideoField in which transmission data is transmitted through the three TMDS channels of HDMI, a video data section 24 (VideoDataPeriod), a data island section 25 (DataIslandPeriod), and a data island section 25 (DataIslandPeriod), depending on the type of transmission data, And there are three types of sections, the control section 26 (Control Period).
  • the video field section is a section from the rising edge of a vertical sync signal (Active Edge) to the rising edge of the next vertical sync signal, and has a horizontal blanking interval 22 (Horizontal Blanking) and a vertical blanking interval 23 (vertical blanking interval). Vertical Blanking) and the effective pixel interval 21 (ActiveVideo), which is a section excluding the horizontal blanking interval and the vertical blanking interval from the video field section.
  • the video data section 24 is assigned to the effective pixel section 21.
  • data of 1920 pixels (pixels) ⁇ 1080 lines of active pixels (Active Pixel) constituting uncompressed image data for one screen is transmitted.
  • the data island interval 25 and the control interval 26 are assigned to the horizontal blanking interval 22 and the vertical blanking interval 23. Auxiliary data is transmitted in the data island section 25 and the control section 26.
  • the data island section 25 is assigned to a part of the horizontal blanking interval 22 and the vertical blanking interval 23.
  • data not related to control for example, a packet of voice data is transmitted.
  • the control interval 26 is assigned to other parts of the horizontal blanking interval 22 and the vertical blanking interval 23.
  • data related to control for example, a vertical synchronization signal, a horizontal synchronization signal, a control packet, and the like are transmitted.
  • FIG. 6 shows the pin arrangement of the HDMI connector.
  • This pinout is an example of type A.
  • the two lines that are the differential lines through which TMDS Data # i + and TMDS Data # i-, which are the differential signals of TMDS channel # i, are transmitted, are the pins to which TMDS Data # i + is assigned (pin number is 1). , 4, 7 pins) and the pins to which TMDS Data # i-are assigned (pins with pin numbers 3, 6, 9) are connected.
  • the CEC line 84 through which the CEC signal which is the control data is transmitted is connected to the pin whose pin number is 13, and the pin whose pin number is 14 is a reserved pin.
  • a line through which an SDA (Serial Data) signal such as E-EDID is transmitted is connected to a pin having a pin number of 16 and is a clock signal used for synchronization during transmission / reception of the SDA signal, SCL (Serial Clock).
  • SDA Serial Data
  • SCL Serial Clock
  • the HPD line 86 for the source device to detect the connection of the sink device is connected to the pin whose pin number is 19. Further, as described above, the power supply line 87 for supplying power is connected to the pin having the pin number 18.
  • FIG. 7 shows a configuration example of the high-speed bus interface 103 of the television receiver 100 in the AV system 10 of FIG.
  • the Ethernet interface 110 performs LAN (Local Area Network) communication, that is, transmission / reception of Ethernet signals, using a transmission line composed of a pair of reserve lines and HPD lines among a plurality of lines constituting the HDMI cable 300.
  • the SPDIF transmission circuit 104 transmits an SPDIF signal using a transmission line composed of the pair of lines described above.
  • the television receiver 100 has a LAN signal transmission circuit 441, a terminating resistor 442, an AC coupling capacitance 443, 444, a LAN signal reception circuit 445, a subtraction circuit 446, an addition circuit 449, 450, and an amplifier 451. These constitute the high-speed bus interface 103. Further, the television receiver 100 has a choke coil 461, a resistor 462, and a resistor 463 that form a plug connection transmission circuit 128.
  • a series circuit of AC coupling capacitance 443, terminating resistor 442 and AC coupling capacitance 444 is connected between the 14-pin terminal 521 and the 19-pin terminal 522 of the HDMI terminal 101. Further, a series circuit of the resistor 462 and the resistor 463 is connected between the power supply line (+ 5.0V) and the ground line. Then, the connection points of the resistor 462 and the resistor 463 are connected to the connection point Q4 between the 19-pin terminal 522 and the AC coupling capacitance 444 via the choke coil 461.
  • connection points P3 of the AC coupling capacitance 443 and the terminating resistor 442 are connected to the output side of the adder circuit 449 and to the positive input side of the LAN signal reception circuit 445. Further, the connection points P4 of the AC coupling capacitance 444 and the terminating resistor 442 are connected to the output side of the adder circuit 450 and to the negative input side of the LAN signal reception circuit 445.
  • One input side of the adder circuit 449 is connected to the positive output side of the LAN signal transmission circuit 441, and the SPDIF signal output from the SPDIF transmission circuit 104 is supplied to the other input side of the adder circuit 449 via the amplifier 451. Will be done. Further, one input side of the adder circuit 450 is connected to the negative output side of the LAN signal transmission circuit 441, and the SPDIF signal output from the SPDIF transmission circuit 104 is transmitted to the other input side of the adder circuit 450 via the amplifier 451. Is supplied.
  • a transmission signal (transmission data) SG417 is supplied from the Ethernet interface 110 to the input side of the LAN signal transmission circuit 441. Further, the output signal SG418 of the LAN signal receiving circuit 445 is supplied to the positive terminal of the subtraction circuit 446, and the transmission signal SG417 is supplied to the negative terminal of the subtraction circuit 446. In this subtraction circuit 446, the transmission signal SG417 is subtracted from the output signal SG418 of the LAN signal reception circuit 445, and the reception signal (reception data) SG419 is obtained. The received signal SG419 becomes the LAN signal when the LAN signal (Ethernet signal) is transmitted as a differential signal via the reserve line and the HPD line. The received signal SG419 is supplied to the Ethernet interface 110.
  • FIG. 8 shows a configuration example of the high-speed bus interface 203 of the audio amplifier 200 in the AV system 10 of FIG.
  • the Ethernet interface 210 performs LAN (Local Area Network) communication, that is, transmission / reception of Ethernet signals, using a transmission line composed of a pair of reserve lines and HPD lines among a plurality of lines constituting the HDMI cable 610. ..
  • the SPDIF receiving circuit 204 receives the SPDIF signal by using the transmission line composed of the pair of lines described above.
  • the audio amplifier 200 includes a LAN signal transmission circuit 411, a terminating resistor 412, an AC coupling capacitance 413, 414, a LAN signal reception circuit 415, a subtraction circuit 416, an adder circuit 419, and an amplifier 420. These constitute the high-speed bus interface 203. Further, the audio amplifier 200 has a pull-down resistor 431, a resistor 432, a capacitance 433, and a comparator 434 that constitute the plug connection detection circuit 221. Here, the resistor 432 and the capacitance 433 form a low-pass filter.
  • a series circuit of AC coupling capacitance 413, terminating resistor 412 and AC coupling capacitance 414 is connected between the 14-pin terminal 511 and the 19-pin terminal 512 of the HDMI terminal 201.
  • the connection points P1 of the AC coupling capacitance 413 and the terminating resistor 412 are connected to the positive output side of the LAN signal transmission circuit 411 and to the positive input side of the LAN signal reception circuit 415.
  • connection points P2 of the AC coupling capacitance 414 and the terminating resistor 412 are connected to the negative output side of the LAN signal transmission circuit 411 and to the negative input side of the LAN signal reception circuit 415.
  • a transmission signal (transmission data) SG411 is supplied from the Ethernet interface 210 to the input side of the LAN signal transmission circuit 411.
  • the output signal SG412 of the LAN signal receiving circuit 415 is supplied to the positive terminal of the subtraction circuit 416, and the transmission signal (transmission data) SG411 is supplied to the negative terminal of the subtraction circuit 416.
  • the transmission signal SG411 is subtracted from the output signal SG412 of the LAN signal reception circuit 415, and the reception signal SG413 is obtained.
  • the received signal SG413 becomes the LAN signal when the LAN signal (Ethernet signal) is transmitted as a differential signal via the reserve line and the HPD line.
  • the received signal SG413 is supplied to the Ethernet interface 210.
  • connection point Q2 between the AC coupling capacitance 414 and the 19-pin terminal 512 is connected to the ground wire via the pull-down resistor 431 and is connected to the ground wire via the series circuit of the resistor 432 and the capacitance 433. Then, the output signal of the low-pass filter obtained at the connection point between the resistor 432 and the capacitance 433 is supplied to one input terminal of the comparator 434.
  • the output signal of the low-pass filter is compared with the reference voltage Vref2 (+ 1.4V) supplied to the other input terminal.
  • the output signal SG415 of the comparator 434 is supplied to a control unit (CPU) (not shown) of the audio amplifier 200.
  • connection point P1 of the AC coupling capacitance 413 and the terminating resistor 412 is connected to one input terminal of the adder circuit 419. Further, the connection points P2 of the AC coupling capacitance 414 and the terminating resistor 412 are connected to the other input terminal of the adder circuit 419.
  • the output signal of the adder circuit 419 is supplied to the SPDIF receiving circuit 204 via the amplifier 420.
  • the output signal of the addition circuit 419 becomes the SPDIF signal when the SPDIF signal is transmitted as an in-phase signal via the reserve line and the HPD line.
  • FIG. 9 shows the frame configuration in the IEC 60958 standard.
  • Each frame consists of two subframes.
  • the first subframe contains the left channel signal and the second subframe contains the right channel signal.
  • a preamble is provided at the beginning of the subframe as described later, and "M” is given as a preamble to the left channel signal and “W” is given as a preamble to the right channel signal. However, every 192 frames, "B” indicating the start of the block is added to the first preamble. That is, one block is composed of 192 frames.
  • a block is a unit that constitutes a channel status described later.
  • FIG. 10 shows the subframe configuration in the IEC60958 standard.
  • the subframe is composed of a total of 32 time slots from the 0th to the 31st.
  • the 0th to 3rd time slots indicate a preamble (Sync preamble).
  • This preamble indicates either "M", "W” or "B” in order to distinguish the left and right channels and to indicate the start position of the block as described above.
  • the 4th to 27th time slots are the main data fields, and when the 24-bit code range is adopted, the whole represents audio data.
  • the 8th to 27th time slots represent audio data (Audio sample word).
  • the 4th to 7th time slots can be used as additional information (Auxiliary sample bits). The illustrated example shows the latter case.
  • the 28th time slot is a valid flag (Validity flag) of the main data field.
  • the 29th time slot represents one bit of user data (User data).
  • a series of user data can be constructed by accumulating the 29th time slot over each frame.
  • This user data message is configured in units of 8-bit information units (IU: Information Units), and one message includes 3 to 129 information units.
  • the head of the information unit is identified by the start bit "1".
  • the first seven information units in the message are reserved, and the user can set arbitrary information in the eighth and subsequent information units.
  • the messages are divided by "0" of 8 bits or more.
  • the 30th time slot represents one bit of channel status (Channel status).
  • a series of channel statuses can be configured by accumulating the thirtieth time slot for each block across each frame.
  • the start position of the block is indicated by the preamble (0th to 3rd time slots) of "B" as described above.
  • the 31st time slot is a parity bit. This parity bit is assigned so that the number of "0" and "1" contained in the fourth to 31st time slots is an even number.
  • FIG. 11 shows a signal modulation method in the IEC60958 standard.
  • the fourth to 31st time slots of the subframe excluding the preamble are biphase mark modulated.
  • a clock at twice the speed of the original signal (source coding) is used.
  • the output of the biphase mark modulation is always inverted at the edge of the clock cycle of the first half.
  • the edge of the latter half clock cycle when the original signal indicates "1", it is inverted, and when the original signal indicates "0", it is not inverted. This makes it possible to extract the clock component of the original signal from the biphase mark modulated signal.
  • FIG. 12 shows the channel coding of the preamble in the IEC60958 standard.
  • the 4th to 31st time slots of the subframe are biphase mark modulated.
  • the preambles of the 0th to 3rd time slots are treated as a bit pattern synchronized with a double-speed clock instead of the usual biphase mark modulation. That is, by allocating 2 bits to each time slot of the 0th to 3rd time slots, an 8-bit pattern as shown in the figure is obtained.
  • FIG. 13 shows the IEC61937-1 interface format.
  • FIG. 13A shows a frame configuration. One block is composed of 192 frames, and the blocks are continuous.
  • FIG. 13B shows that each frame consists of two subframes.
  • a preamble is provided at the beginning of the subframe, and "B” indicating the start of the block is given to the preamble of the subframe at the beginning of the block. Then, "W” and “M” are alternately assigned to the preamble at the beginning of each subframe that follows.
  • FIG. 13C shows a subframe configuration.
  • the bit stream of the compressed audio signal is divided and sequentially inserted into the 12th to 27th time slots of each subframe. That is, of the 24-bit audio data area of the 4th to 27th time slots of each subframe, the upper 16 bits are used for transmitting the compressed audio signal.
  • the audio signal in units of subframes is a mixed signal of a compressed audio signal and a linear PCM signal.
  • FIG. 14 shows an interface format when a compressed audio signal and a linear PCM signal are transmitted at the same time.
  • 14 (a) and 14 (b) are the same as FIGS. 13 (a) and 13 (b), respectively.
  • FIG. 14C shows a subframe configuration. Of the 24-bit audio data area of the 4th to 27th time slots of each subframe, the upper 16 bits are used for transmitting the compressed audio signal, and the lower 8 bits are used for transmitting the linear PCM signal.
  • the audio signal transmitted from the SPDIF transmission circuit 104 includes identification information indicating the configuration of the audio signal (the audio signal in subframe units is a mixed signal of a compressed audio signal and a linear PCM signal). , Configuration information indicating the configuration of the linear PCM signal is added. In this embodiment, the information is added using channel status bits.
  • FIG. 15 schematically shows the format of the channel status when the compressed audio signal and the linear PCM signal are transmitted at the same time.
  • the entire channel status consists of the 0th to 23rd bytes.
  • the 3 bits from the 3rd bit to the 5th bit are "000" in the conventional IEC61937-1 interface format, and even if they are the same, they operate sufficiently. However, it may be set to a different value to distinguish it from the traditional IEC61937-1 interface format. In the illustrated example, it is set to "100".
  • the 4 bits from the 49th bit to the 52nd bit are "0000" in the conventional IEC61937-1 interface format, but a different value is set, and the audio signal in subframe units is compressed. It is used as identification information indicating that it is a mixed signal of an audio signal and a linear PCM signal. In the illustrated example, it is "1111". Further, when indicating that the 4 bits of the 49th bit to the 52nd bit are mixed signals, the subsequent 8 bits of the 53rd bit to the 60th bit are valid.
  • FIG. 16 shows an example of the correspondence between the 8-bit “Multichannel configuration value (MCV)” value of the 53rd to 60th bits and the configuration of the linear PCM signal.
  • MCV Multichannel configuration value
  • “10000000” indicates that the configuration is "8-bit LPCM 2 channel", that is, an 8-bit 2-channel configuration.
  • "01000000” indicates that the configuration is "8-bit LPCM Stereo 2 channel", that is, an 8-bit stereo 2 channel configuration.
  • "0010000” indicates a "16-bit LPCM 1 channel", that is, a 16-bit 1-channel configuration.
  • "1010000” indicates a "16-bit LPCM 2 channel", that is, a 16-bit 2-channel configuration.
  • "01100,000” indicates that the configuration is "16-bit LPCM Stereo 2 channel”, that is, a 16-bit stereo 2 channel configuration.
  • "11100000” indicates a "16-bit LPCM 4 channel", that is, a 16-bit 4-channel configuration.
  • FIG. 17A shows an example of a frame configuration in the case of 8-bit 2-channel.
  • the 8-bit linear PCM signal of channel 1 is assigned to the lower 8 bits of the A channel
  • the 8-bit linear PCM signal of the channel 2 is assigned to the lower 8 bits of the B channel.
  • FIG. 17B shows an example of a frame configuration in the case of 16-bit 1 channel.
  • the upper 8-bit linear PCM signal of channel 1 is assigned to the lower 8 bits of channel A
  • the lower 8-bit linear PCM signal of channel 1 is assigned to the lower 8 bits of channel B.
  • FIG. 18A shows an example of a frame configuration in the case of 16-bit 2-channel.
  • the transfer rate is doubled, for example, when the original sampling frequency is 48 kHz and the transfer rate is 96 kHz, the sampling frequency of the linear PCM signal is not set to 96 kHz, but remains at 48 kHz.
  • the upper 8-bit linear PCM signal of channel 1 is assigned to the lower 8 bits of the odd A channel
  • the lower 8 bits linear PCM signal of channel 1 is assigned to the lower 8 bits of the odd B channel.
  • the upper 8-bit linear PCM signal of channel 2 is assigned to the lower 8 bits of the even A channel
  • the lower 8 bit linear PCM signal of channel 2 is assigned to the lower 8 bits of the even B channel.
  • FIG. 18B shows an example of a frame configuration in the case of 16-bit stereo 2 channels.
  • the transfer rate is doubled, for example, when the original sampling frequency is 48 kHz and the transfer rate is 96 kHz, the sampling frequency of the linear PCM signal is not set to 96 kHz, but remains at 48 kHz.
  • the upper 8-bit linear PCM signal of the L channel is assigned to the lower 8 bits of the odd A channel
  • the lower 8 bits linear PCM signal of the L channel is assigned to the lower 8 bits of the odd B channel.
  • the upper 8-bit linear PCM signal of the R channel is assigned to the lower 8 bits of the even A channel
  • the lower 8 bit linear PCM signal of the R channel is assigned to the lower 8 bits of the even B channel.
  • the transfer rate is quadrupled and the 4-channel linear PCM signal is assigned.
  • the number of channels can be increased, the number of bits can be set to 32 bits, and a linear PCM signal such as 5.1 channels can be transmitted.
  • FIG. 19 shows an example of a frame configuration in the case of transmitting a stereo 2-channel linear PCM signal and a 5.1-channel linear PCM signal.
  • a stereo 2-channel linear PCM signal is assigned to the first pair of A channel and B channel
  • 5.1 channel linear PCM is assigned to the following three pairs of A channel and B channel.
  • a signal is assigned, and the following is repeated.
  • reproduction control information is arranged in the 2 bits of the 61st bit and the 62nd bit. "00" indicates that there is no information. “01” indicates that the reproduction level of the audio signal obtained by decoding the compressed audio signal is set to ⁇ 10 dB. “10” indicates that the reproduction level of the compressed audio signal is set to 0 dB. Further, “11” indicates that the center channel audio signal obtained by decoding the compressed audio signal is replaced with the linear PCM signal.
  • the definition of the reproduction control information is an example, and the definition is not limited to this.
  • FIG. 20 shows the interface format when the second method is adopted.
  • FIG. 20A shows a frame configuration.
  • One block is composed of 192 frames, and the blocks are continuous.
  • FIG. 20B shows that each frame consists of two subframes.
  • a compressed audio format based on the IEC61937-1 standard is stored in the odd-numbered subframes, and a linear PCM format audio signal based on the IEC60958 standard is stored in the even-numbered subframes.
  • the linear PCM format audio signal may be stored in the odd-numbered subframes, and the compressed audio format may be stored in the even-numbered subframes, but the positional relationship is determined in advance.
  • the audio signal transmitted from the SPDIF transmission circuit 104 includes an audio signal configuration (a subframe unit audio signal in which a subframe unit continuous audio signal includes a compressed audio signal and a linear PCM signal). Identification information indicating that the audio signals in subframe units are alternately arranged) and configuration information indicating the configuration of the linear PCM signal are added. In this embodiment, the information is added using channel status bits.
  • FIG. 21 schematically shows the format of the channel status when the second method is adopted.
  • the entire channel status consists of the 0th to 23rd bytes.
  • the 3 bits from the 3rd bit to the 5th bit are "000" in the conventional IEC61937-1 interface format, and even if they are the same, they operate sufficiently. However, it may be set to a different value to distinguish it from the conventional IEC61937-1 interface format. In the illustrated example, it is set to "100".
  • the 4 bits from the 49th bit to the 52nd bit are "0000" in the conventional IEC61937-1 interface format, but a value different from this is set, and identification information indicating the configuration of the audio signal is set. (Subframe cofiguration).
  • “1111” is set, and the audio signal in the subframe unit including the compressed audio signal and the audio signal in the subframe unit including the linear PCM signal are alternately arranged in the continuous audio signal in the subframe unit. It is shown that there is.
  • the subsequent 8 bits of the 53rd to 60th bits are valid.
  • the 8 bits are configuration information indicating the configuration of the linear PCM signal.
  • FIG. 22 shows an example of the correspondence between the 8-bit “Subframe configuration value (SCV)” value of the 53rd to 60th bits and the linear PCM signal configuration “Configuration”. For example, “10000000” indicates “monaural LPCM”, “01000000” indicates “2-channel stereo LPCM”, “00100000” indicates “5.1-channel LPCM”, and “ “1010000” indicates that it is "7.1 channel LPCM”.
  • SCV Subframe configuration value
  • FIG. 23 shows an example of a frame configuration in the case where the entire stream is transmitted at 48 kHz and the configuration of the linear PCM signal is “monaural LPCM”.
  • the odd subframes include compressed audio signals and the even subframes include monaural linear PCM signals.
  • the maximum transmission of the linear PCM signal is 48 kHz / 1 channel, it is invalid even if two or more channels are specified by SCV.
  • FIG. 24 shows an example of a frame configuration in the case where the entire stream is transmitted at 96 kHz and the configuration of the linear PCM signal is “2-channel stereo LPCM”.
  • the maximum transmission of the linear PCM signal is 48 kHz / 2 channels.
  • the first channel usually the L channel
  • the second channel usually the R channel
  • the first channel and the second channel are alternately transmitted.
  • FIG. 25 shows a frame configuration example in which the entire stream is transmitted at 96 kHz and the linear PCM signal configuration is “monaural LPCM”. In this case, every four subframes are invalid subframes.
  • the transmission speed is 96 kHz and "monaural LPCM" is specified by SCV, the frame configuration is as shown in the figure.
  • FIG. 26 shows an example of frame configuration in that case.
  • the compressed audio signal is transmitted at the first B preamble and the next W preamble of the block
  • the linear PCM signal is transmitted at the subsequent M preamble and the next W preamble, and so on.
  • reproduction control information is arranged in the two bits of the 61st bit and the 62nd bit. "00" indicates that there is no information. “01” indicates that the reproduction level of the audio signal obtained by decoding the compressed audio signal is set to ⁇ 10 dB. “10” indicates that the reproduction level of the compressed audio signal is set to 0 dB. Further, “11” indicates that the center channel audio signal obtained by decoding the compressed audio signal is replaced with the linear PCM signal.
  • the definition of the reproduction control information is an example, and the definition is not limited to this.
  • FIG. 27 shows an interface format when the first method and the second method are used in combination.
  • FIG. 27A shows a frame configuration. One block is composed of 192 frames, and the blocks are continuous.
  • FIG. 27 (b) shows that each frame consists of two subframes.
  • a compressed audio format based on the IEC61937-1 standard is stored in the odd-numbered subframes, and a linear PCM format audio signal based on the IEC60958 standard is stored in the even-numbered subframes.
  • the upper 16 bits of the 24-bit audio data area of the 4th to 27th time slots are used for transmission of the compressed audio signal, and the lower 8 bits are linear. Used for transmission of PCM signals.
  • the audio signal in the block is a mixed signal of a compressed audio signal and a linear PCM signal.
  • FIG. 28 schematically shows the format of channel status when a plurality of types of audio signals are transmitted at the same time.
  • the entire channel status consists of the 0th to 23rd bytes.
  • the 3 bits of the 3rd to 5th bits are "000" in the conventional IEC61937-1 interface format, and are different from this in order to identify that the mode is different. Will be done. In the illustrated example, it is set to "100".
  • the 4 bits from the 49th bit to the 52nd bit are "0000" in the conventional IEC61937-1 interface format, but different values are set, and there are a plurality of types of audio signals in the block. It is used as identification information indicating that it is a mixed signal of the audio signals of. In the illustrated example, it is "1110". Further, when indicating that the 4 bits of the 49th bit to the 52nd bit are mixed signals, the subsequent 8 bits of the 53rd bit to the 60th bit are valid.
  • This 8-bit is configuration information indicating the configuration of a plurality of types of audio signals.
  • FIG. 29 shows an example of the correspondence between the 8-bit “Multichannel configuration value (MCV)” value of the 53rd to 60th bits and the configuration of a plurality of types of audio signals.
  • MCV Multichannel configuration value
  • "01100,000” indicates that the configuration is "48kHz LPCM stream + 48kHz stream", that is, it is composed of two types of a linear PCM signal having a transfer rate of 48 kHz and a compressed audio signal having a transfer rate of 48 kHz.
  • FIG. 30 shows an example of the frame configuration in this case.
  • the two types of audio signals are switched for each frame starting from the preamble B (block start).
  • the overall transfer rate is 96 kHz.
  • the codec of the compressed audio signal is "AC-3", but the codec is not limited to this.
  • reproduction control information is arranged in the 2 bits of the 61st bit and the 62nd bit. "00" indicates that there is no information. “01” indicates that the reproduction level of the audio signal obtained by decoding the compressed audio signal is set to ⁇ 10 dB. “10” indicates that the reproduction level of the compressed audio signal is set to 0 dB. Further, “11” indicates that the center channel audio signal obtained by decoding the compressed audio signal is replaced with the linear PCM signal.
  • the definition of the reproduction control information is an example, and the definition is not limited to this.
  • FIG. 31 shows an example of a user data message.
  • This user data message is composed of 10 information units (IUs).
  • Information of "IEC 61937-1 ID" that is, identification information indicating the type of information is arranged in the 4th to 0th bits of the 2nd IU and the 5th to 2nd bits of the 3rd IU. There is. Then, information fields for 4 bytes are provided in the 1st to 0th bits of the 3rd IU and the 5th to 0th bits of the 4th to 8th IUs.
  • the information field is not limited to 4 bytes.
  • FIG. 32 shows an example of information.
  • IEC 61937-1 ID is "10000000”
  • ASCII character information indicating the abbreviation of the language name
  • the position of the sound reproduction speaker by the linear PCM signal is information.
  • information indicating the channel number, angle, height, and distance is arranged in the information field for 4 bytes.
  • the information shown here is merely an example and is not limited to this.
  • FIG. 33A shows an example of a change in the time direction of the 2-bit reproduction control information of the 61st bit and the 62nd bit of the channel status transmitted from the television receiver 100 to the audio amplifier 200. In the illustrated example, it changes as "00"->"10"->"01"->"10".
  • FIG. 33B shows an example of a change in the time direction of adjusting the reproduction level of the compressed audio signal based on the reproduction control information in the audio amplifier 200.
  • the reproduction level adjustment of the compressed audio signal is an arbitrary process on the audio amplifier 200 side.
  • the reproduction level of the compressed audio signal is adjusted to 0 dB, that is, the reproduction level is not adjusted to be lowered.
  • the reproduction level of the compressed audio signal is adjusted to -10 dB, that is, adjusted to be 10 dB lower.
  • the television receiver 100 to the audio amplifier 200 the linear PCM signal from the interphone 125 together with the compressed video signal, the linear PCM signal of the operation sound of the remote control 126, or the linear PCM of the mail reception notification sound.
  • the reproduction level of the compressed audio signal is adjusted to 0 dB.
  • the reproduction level of the compressed audio signal does not suddenly change from 0 dB to -10 dB, but is in a fade-out state in which the reproduction level gradually decreases.
  • the reproduction level of the compressed audio signal does not suddenly change from -10 dB to 0 dB, but is in a fade-in state in which the reproduction level gradually increases.
  • the playback level of the compressed audio signal is adjusted to a low level, and the playback sound such as the linear PCM signal from the interphone 125, the linear PCM signal of the operation sound of the remote control 126, or the linear PCM signal of the mail reception notification sound is produced. It becomes noticeable to the user and can be noticed by the user.
  • FIG. 34A shows an example of a change in the time direction of the 2-bit reproduction control information of the 61st bit and the 62nd bit of the channel status transmitted from the television receiver 100 to the audio amplifier 200. In the illustrated example, it changes as "00"-> "10"-> "11"-> "10".
  • FIG. 34 (b) shows an example of a change in the time direction of adjusting the reproduction level of the center channel of the compressed audio signal based on the reproduction control information in the audio amplifier 200.
  • the reproduction level adjustment of the compressed audio signal is an arbitrary process on the audio amplifier 200 side.
  • the reproduction level of the compressed audio signal is adjusted to 0 dB, that is, the reproduction level is not adjusted to be lowered.
  • the playback level of the compressed audio signal is muted.
  • a linear PCM signal that replaces the center channel of the compressed audio signal is sent from the television receiver 100 to the audio amplifier 200 at the same time as the compressed audio signal.
  • FIG. 34 (c) shows a linear PCM signal that replaces the center channel of the compressed audio signal.
  • This linear PCM signal changes from the mute state to the 0 dB state during the period of "11", and then changes from the 0 dB state to the mute state.
  • Such a level change of the linear PCM signal is processed by the mixer 111 of the television receiver 100 on the transmitting side, the voice synthesis circuit 109, and the like.
  • the playback level of the compressed audio signal is adjusted to 0 dB.
  • the reproduction level of the center channel of the compressed audio signal is muted, and during this period, the reproduction level of the linear PCM signal is 0 dB, so that the center channel of the compressed audio signal is set. It can be replaced with a linear PCM signal (for example, a linear PCM signal of singing voice in karaoke mode, a linear PCM signal of other language voice in multilingual content, etc.).
  • a linear PCM signal for example, a linear PCM signal of singing voice in karaoke mode, a linear PCM signal of other language voice in multilingual content, etc.
  • fade-out processing and fade-in processing are performed on the change part of the reproduction level of the center channel of the compressed audio signal and the level change part of the linear PCM signal to be replaced, which may give the user a sense of discomfort due to a sudden change in volume. Avoided.
  • the reproduction level of the center channel of the compressed audio signal does not suddenly change from 0 dB to the mute state, but is in a fade-out state in which the reproduction level gradually decreases.
  • the playback level of the center channel of the compressed audio signal does not suddenly change from the mute state to 0 dB, but the playback level gradually increases in the fade-in state. Will be done.
  • the linear PCM signal to be replaced in the part where the mute state changes to 0 dB, the linear PCM signal level does not suddenly change from the mute state to 0 dB, but the reproduction level gradually increases. Similarly, in the portion where the linear PCM signal changes from 0 dB to the mute state, the linear PCM signal level does not suddenly change from 0 dB to the mute state, but is in a ford-out state in which the reproduction level gradually decreases.
  • FIG. 35A shows an example of the timing at which the user turns on / off a specific button on the remote controller 126.
  • FIG. 35B shows the time direction of the 2-bit playback control information of the 61st bit and the 62nd bit of the channel status transmitted from the television receiver 100 to the audio amplifier 200 in response to the button operation.
  • An example of change is shown. In the illustrated example, it changes as "00"-> "10"-> "01"-> “10". In this case, the reproduction control information is set to "01" during the period when the specific button is turned on.
  • FIG. 35 (c) shows an example of a change in the time direction of the reproduction level adjustment of the compressed audio signal based on the reproduction control information in the audio amplifier 200.
  • the reproduction level adjustment of the compressed audio signal is an arbitrary process on the audio amplifier 200 side.
  • the reproduction level of the compressed audio signal is adjusted to 0 dB, that is, the reproduction level is not adjusted to be lowered.
  • the reproduction level of the compressed audio signal is adjusted to -10 dB, that is, adjusted to be 10 dB lower.
  • the period of "01” corresponds to the period in which the user turns on a specific button of the remote controller 126.
  • the reproduction level of the compressed audio signal is adjusted to 0 dB.
  • the reproduction level of the compressed audio signal does not suddenly change from 0 dB to -10 dB, but is in a fade-out state in which the reproduction level gradually decreases.
  • the reproduction level of the compressed audio signal does not suddenly change from -10 dB to 0 dB, but is in a fade-in state in which the reproduction level gradually increases.
  • a predetermined operation of the user for example, an operation of turning on a specific button on the remote controller, lowers the reproduction level of the compressed audio signal and temporarily prevents the reproduced sound of the compressed audio signal from disturbing the user. It becomes possible to avoid it.
  • an audio signal including a compressed audio signal and a linear PCM signal from the television receiver 100 to the audio amplifier 200 at the same time (when the SPDIF signal is transmitted, playback control is performed on the audio signal. Information is added. Therefore, in the audio amplifier 200, the reproduction control of the compressed audio signal and / or the linear PCM signal can be satisfactorily performed based on the reproduction control information.
  • reproduction control (1) control for lowering the reproduction level adjustment of the compressed audio signal reproduced at the same time as the linear PCM signal, and (2) linear PCM for the center channel of the compressed audio signal. Control to replace with a signal, (3) Control to lower the reproduction level of the compressed audio signal during the period when the user is performing a predetermined operation, (4) Control to reduce the sound of the linear PCM signal reproduced at the same time as the compressed audio signal in the vicinity of the user. (5) Control to use the playback speaker of the linear PCM signal, which is reproduced at the same time as the compressed audio signal, as the user's hand speaker.
  • reproduction control to which this technique is applied is not limited to this.
  • the reproduction control information is arranged in the 2-bit area of the 61st bit and the 62nd bit of the channel status as 2-bit information is shown, but the arrangement position and the number of information bits are determined. It is not limited to this. Further, as the arrangement position, an area other than the channel status, that is, a predetermined bit area in the block may be used.
  • an example of using HDMI ARC as the IEC 60958 transmission line is shown, but an example of using a coaxial cable or an optical cable as the IEC 60958 transmission line can also be considered.
  • an HDMI transmission line is used as the IEC60958 transmission line.
  • the SPDIF signal (IEC60958 signal) is mapped to an audio sample packet (audiosample packet) and transmitted in the same forward direction as video transmission.
  • the IEC60958 transmission line an example of using an IEC61883-6 transmission line, an MHL transmission line, a display port transmission line (DP transmission line), or the like can be considered.
  • the SPDIF signal is mapped to an audio sample packet (audiosample packet) and transmitted in the same forward direction as video transmission.
  • the technology can have the following configurations.
  • a transmission unit for sequentially transmitting audio signals of a predetermined unit to a receiving side via a predetermined transmission line is provided.
  • the audio signal of the predetermined unit is a mixed signal of a compressed audio signal and a linear PCM signal.
  • a transmission device further comprising an information addition unit that adds reproduction control information of the audio signal to the transmitted audio signal.
  • the reproduction control information includes information for controlling the reproduction level adjustment of the audio signal obtained by decoding the compressed audio signal.
  • the reproduction control information includes information for controlling to replace the center channel audio signal obtained by decoding the compressed audio signal with the linear PCM signal.
  • the reproduction control information according to claim 1 which includes information for controlling so as to lower the reproduction level of the audio signal obtained by decoding the compressed audio signal in response to a predetermined operation of the user. Transmitter.
  • the reproduction control information includes information for controlling the localization position of the sound image by the linear PCM signal so as to be localized at a position near the user.
  • the reproduction control information includes information for controlling the user's hand speaker to be used as the reproduction speaker of the linear PCM signal.
  • the information addition unit is described in any one of (1) to (6) above, in which the reproduction control information is added using a predetermined bit area in each block composed of a predetermined number of the predetermined units. Transmitter.
  • the transmission device (8) The transmission device according to (7) above, wherein the predetermined bit area in each block is a predetermined bit area of the channel status of each block. (9) The transmission device according to any one of (1) to (8) above, further comprising a display unit for displaying information related to the reproduction control information. (10) The transmission device according to any one of (1) to (9) above, wherein the audio signal of the predetermined unit is an audio signal of the subframe unit. (11) The transmission device according to (10), wherein the compressed audio signal is arranged on the upper bit side and the linear PCM signal is arranged on the lower bit side in the audio signal of the subframe unit. (12) The transmission device according to any one of (1) to (11) above, wherein the linear PCM signal is an audio signal that requires real-time performance.
  • (13) further includes an information addition unit that adds identification information indicating that the audio signal of the predetermined unit is a mixed signal of a compressed audio signal and a linear PCM signal to the transmitted audio signal.
  • the transmitter according to any one of.
  • the transmission device according to any one of (1) to (13) above, wherein the predetermined transmission line is a coaxial cable, an optical cable, an Ethernet (IEC 61883-6) cable, an HDMI cable, an MHL cable, or a display port cable. .. (15) It has a procedure of sequentially transmitting audio signals of a predetermined unit to a receiving side via a predetermined transmission line.
  • the audio signal of the predetermined unit is a mixed signal of a compressed audio signal and a linear PCM signal.
  • a transmission method further comprising a procedure for adding reproduction control information of the audio signal to the transmitted audio signal.
  • a receiving unit for sequentially receiving audio signals of a predetermined unit from a transmitting side via a predetermined transmission line is provided.
  • the audio signal of the predetermined unit is a mixed signal of a compressed audio signal and a linear PCM signal.
  • the reproduction control information of the audio signal is added to the received audio signal.
  • a receiving device further comprising a reproduction control unit that controls reproduction of the compressed audio signal and / or the linear PCM signal based on the reproduction control information.
  • the receiving device according to (16) further including a display unit for displaying information related to the reproduction control information.
  • the audio signal of the predetermined unit is a mixed signal of a compressed audio signal and a linear PCM signal.
  • the reproduction control information of the audio signal is added to the received audio signal.
  • a receiving method further comprising a procedure for controlling the reproduction of the compressed audio signal and / or the linear PCM signal based on the reproduction control information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

圧縮オーディオ信号とリニアPCM信号を同時伝送する場合にあって、受信側において圧縮オーディオ信号および/またはリニアPCM信号の再生制御を良好に行い得るようにする。 所定単位で連続したオーディオ信号を、順次所定伝送路を介して受信側に送信する。例えば、各所定単位のオーディオ信号は、圧縮オーディオ信号およびリニアPCM信号の混在信号とされている。また、例えば、所定単位で連続したオーディオ信号には、圧縮オーディオ信号を含む所定単位のオーディオ信号とリニアPCM信号を含む所定単位のオーディオ信号とが交互に配置されている。オーディオ信号に、圧縮オーディオ信号および/またはリニアPCM信号の再生を制御するための再生制御情報が付加されている。

Description

送信装置、送信方法、受信装置および受信方法
 本技術は、送信装置、送信方法、受信装置および受信方法に関する。
 デジタルオーディオインタフェースとして、IEC 60958によるリニアPCM信号の伝送が広く使用されている。例えば、特許文献1には、IEC 60958についての記載がある。また、IEC 60958のプロトコルの上で圧縮オーディオ信号を伝送するIEC 61937も普及しており、各種オーディオコーデック伝送に使用されている。
 これらは、実際の商品ではSPDIF(Sony Philips Digital InterFace)と呼称される同軸端子、光アウト端子、またビデオも含むマルチメディアインタフェースであるHDMI(High-Definition Multimedia Interface)、MHL(Mobile High-definition Link)、ディスプレイポート(DisplayPort)のフォーマットにIEC 60958プロトコルがマップされて商用利用されている。
特開2009-130606号公報
 テレビ受信機が送信機となりオーディオアンプが受信機・再生機となる場合、テレビ受信機の画面に映し出されたコンテンツの音の部分のみがオーディオアンプに送られて再生されていた。そのコンテンツにおいては、通常は圧縮オーディオコーデックが使用され、マルチチャンネルやオブジェクトオーディオ等高品質な再生を可能とする技術が発展してきた。これらのコーデックは、デコードに大きなDSP(Digital Signal Processor)能力が必要であるとか、5.1チャネル等の多数のスピーカを配置する必要がある。
 そのため、テレビ受信機の内部でデコード・再生するには負荷が高いことから、圧縮されたままの形でオーディオアンプにデジタルオーディオインタフェースを通じて送信して再生を任せるのが通常化してきた。コンテンツも放送により受信するもの、ブルーレイディスクなどのメディアを再生してテレビ受信機に入力されるもの、インターネットを通じてストリーミングあるいはダウンロードされるものなどさまざまな形態が増えてきている。
 一方、テレビ受信機の内部において音の再生が必要となるのはコンテンツ再生のみではない。リモコン等のユーザインタフェースの応答音や、AI(Artificial Intelligence)機能やナビゲーション機能による人工音声合成音、多言語対応(コンテンツにもともと複数入っていたり、インターネットやテレビ受信機の内部等でリアルタイム翻訳したりする)などで、コンテンツ再生に比べてリアルタイム性を要求するものが多い。その際は、リニアPCM信号を伝送してデコードによる遅延を避ける。同様の状況は、車の中の車載機器間のデジタルオーディオ伝送でも生じている。
 ここで、圧縮オーディオ信号の伝送とリニアPCM信号の伝送を逐次切り替えて再生すると、コンテンツ再生の連続性が著しく失われ、再生品質を落としてしまう。圧縮オーディオ信号をデコードしてリニアPCM信号とミックスして送信する方法もあるが、テレビ受信機が全ての圧縮オーディオ信号のデコード機能をもっているわけではなく、さらにデコード・ミックスの課程で遅延が生じるので、上述のリアルタイム性を要求するアプリケーションには好ましくない場合がある。例えば、ゲームコンテンツの場合、背景音楽はMPEG-4 AACで提供されるが、ユーザがゲームコントローラで操作したことに対する応答のリニアPCM信号などは遅延があると快適にゲームをプレイできない。
 つまり、圧縮オーディオ信号とリニアPCM信号の同時伝送および再生を実現しうるデジタルオーディオインタフェース方法、装置が提供されていないことが問題である。このため、リニアPCM信号のみをテレビ受信機内の低品質のスピーカ再生を使用したりしているが、著しくユーザ体験の質を落としている。また、複数のデジタルオーディオインタフェースを持ち、圧縮オーディオ信号とリニアPCM信号を別々のオーディオアンプに送って再生すれば解決できるが、コストは上がり、機器セッティングの煩雑さも増し、一般ユーザには敷居の高いシステムとなる。
 本出願人は、先に、圧縮オーディオ信号とリニアPCM信号の同時伝送および再生を良好に行い得るシステムを提案した(特願2018-098382号、特願2018-098383号、特願2019-034473号)。
 このように同時伝送される圧縮オーディオ信号とリニアPCM信号は受信側で音として再生されるが、その再生法としては、圧縮オーディオ信号のみ再生、リニアPCM信号のみ再生、圧縮オーディオ信号とリニアPCM信号をミックスして再生する方法がある。リニアPCM信号として伝送されている信号として、例えば、メール到着音、リモコンなどの操作音の他に、緊急時の警告音、アナウンス、オーディオデスクリプション、インターホン音等が想定される。
 ミックスして再生する場合、送信側としては、明らかに聴取者の注意をひくためリニアPCM信号の音量を上げるか圧縮オーディオ信号の音量を下げるか、の処理をしたい場合がある。現行では、リニアPCM信号はデジタルフルスケールの限界がありレベルアップできず、圧縮オーディオ信号は送信側で解凍、レベルダウン、再圧縮の処理ができずレベルダウンできない場合が多い。その際、受信側では両者とも同じ音量で再生され、良好な再生音量バランスで実現できていないという問題がある。
 本技術の目的は、圧縮オーディオ信号とリニアPCM信号を同時伝送する場合にあって、受信側において圧縮オーディオ信号および/またはリニアPCM信号の再生制御を良好に行い得るようにすることにある。
 本技術の概念は、
 所定単位のオーディオ信号を順次所定伝送路を介して受信側に送信する送信部を備え、
 上記所定単位のオーディオ信号は、圧縮オーディオ信号およびリニアPCM信号の混在信号であり、
 上記送信されるオーディオ信号に、該オーディオ信号の再生制御情報を付加する情報付加部をさらに備える
 送信装置にある。
 本技術において、送信部により、所定単位のオーディオ信号が順次所定伝送路を介して受信側に送信される。例えば、所定伝送路は、同軸ケーブル、光ケーブル、イーサネット(IEC 61883-6)ケーブル、HDMIケーブル、MHLケーブルまたはディスプレイポートケーブルである、ようにされてもよい。
 所定単位のオーディオ信号は、圧縮オーディオ信号およびリニアPCM信号の混在信号とされる。例えば、リニアPCM信号は、リアルタイム性を要求するオーディオ信号である、ようにされてもよい。
 また、例えば、所定単位のオーディオ信号は、サブフレーム単位のオーディオ信号である、ようにされてもよい。この場合、例えば、サブフレーム単位のオーディオ信号において、圧縮オーディオ信号は上位ビット側に配置され、リニアPCM信号は下位ビット側に配置される、ようにされてもよい。
 情報付加部により、送信されるオーディオ信号に、このオーディオ信号の再生制御情報が付加される。例えば、情報付加部は、所定数の所定単位毎に構成される各ブロック内の所定ビット領域を用いて再生制御情報を付加する、ようにされてもよい。この場合、例えば、各ブロック内の所定ビット領域は、各ブロックのチャネルステータスの所定ビット領域である、ようにされてもよい。
 例えば、再生制御情報は、圧縮オーディオ信号をデコードして得られたオーディオ信号の再生レベル調整を制御するための情報を含む、ようにされてもよい。この場合、圧縮オーディオ信号をデコードして得られたオーディオ信号の再生レベルを低く調整することで、例えば圧縮オーディオ信号とミックスされるリニアPCM信号の再生音をユーザに目立つようにすることが可能となる。
 また、例えば、再生制御情報は、圧縮オーディオ信号をデコードして得られたセンターチャネルのオーディオ信号をリニアPCM信号に置き換える制御をするための情報を含む、ようにされてもよい。この場合、リニアPCM信号の再生音をユーザに目立つようにすることが可能となる。このように置き換える場合としては、言語を切り替える場合やカラオケの場合などが想定される。
 また、例えば、再生制御情報は、ユーザの所定の操作に対応して圧縮オーディオ信号をデコードして得られたオーディオ信号の再生レベルを下げるように制御するための情報を含む、ようにされてもよい。このように圧縮オーディオ信号再生レベルを低く制御することで、ユーザは、圧縮オーディオ信号の再生音が邪魔になることを一時的に回避することが可能となる。
 また、例えば、再生制御情報は、リニアPCM信号による音像がユーザの近傍位置に定位するように制御するための情報を含む、ようにされてもよい。これにより、リニアPCM信号の再生音をユーザに目立つようにすることが可能となる。なお、このように音像定位を制御することを、圧縮オーディオ信号の再生レベル調整と並行して行うことも考えられる。
 また、例えば、再生制御情報は、リニアPCM信号の再生スピーカとしてユーザの手元スピーカを用いるように制御するための情報を含む、ようにされてもよい。これにより、リニアPCM信号の再生音をユーザに目立つようにすることが可能となる。なお、このように手元スピーカを用いることを、圧縮オーディオ信号の再生レベル調整と並行して行うことも考えられる。
 このように本技術においては、圧縮オーディオ信号およびリニアPCM信号の混在信号である所定単位のオーディオ信号を順次所定伝送路を介して受信側に送信する際に、そのオーディオ信号に、このオーディオ信号の再生制御情報を付加するものである。そのため、受信側において圧縮オーディオ信号および/またはリニアPCM信号の再生制御を良好に行い得る。
 なお、本技術において、例えば、再生制御情報に関する情報を表示するための表示部をさらに備える、ようにされてもよい。これにより、ユーザは如何なる再生制御を行っているかを確認することが可能となる。
 また、本技術において、例えば、送信されるオーディオ信号に、所定単位のオーディオ信号は圧縮オーディオ信号およびリニアPCM信号の混在信号であることを示す識別情報を付加する情報付加部をさらに備える、ようにされてもよい。このように識別情報が付加されることで、受信側では、所定単位のオーディオ信号は圧縮オーディオ信号およびリニアPCM信号の混在信号であることを容易に認識できる。
 また、本技術の他の概念は、
 所定単位のオーディオ信号を送信側から順次所定伝送路を介して受信する受信部を備え、
 上記所定単位のオーディオ信号は、圧縮オーディオ信号およびリニアPCM信号の混在信号であり、
 上記受信されるオーディオ信号に、該オーディオ信号の再生制御情報が付加されており、
 上記再生制御情報に基づいて、上記圧縮オーディオ信号および/または上記リニアPCM信号の再生を制御する再生制御部をさらに備える
 受信装置にある。
 本技術において、受信部により、所定単位のオーディオ信号が送信側から順次所定伝送路を介して受信される。所定単位のオーディオ信号は、圧縮オーディオ信号およびリニアPCM信号の混在信号とされる。また、受信されるオーディオ信号に、このオーディオ信号の再生制御情報が付加されている。再生制御部により、再生制御情報に基づいて、圧縮オーディオ信号および/またはリニアPCM信号の再生が制御される。
 このように本技術においては、圧縮オーディオ信号およびリニアPCM信号の混在信号である所定単位のオーディオ信号を送信側から順次所定伝送路を介して受信する際に、この受信されるオーディオ信号に付加されておる再生制御情報に基づいて、圧縮オーディオ信号および/または上記リニアPCM信号の再生を制御するものである。そのため、圧縮オーディオ信号および/またはリニアPCM信号の再生制御を良好に行い得る。
 なお、本技術において、例えば、再生制御情報に関する情報を表示するための表示部をさらに備える、ようにされてもよい。これにより、ユーザは如何なる再生制御を行っているかを確認することが可能となる。
実施の形態としてのAVシステムの構成例を示すブロック図である。 圧縮オーディオ信号と同時に再生されるリニアPCM信号の音声をユーザの近傍に定位させる制御や圧縮オーディオ信号と同時に再生されるリニアPCM信号の再生スピーカをユーザの手元スピーカとする制御を説明するための図である。 テレビ受信機やオーディオアンプにおける再生制御情報に関する表示の一例を示す図である。 テレビ受信機のHDMI受信部とオーディオアンプのHDMI送信部の構成例を示すブロック図である。 TMDSチャネルにおいて横×縦が1920ピクセル×1080ラインの画像データが伝送される場合の各種の伝送データの区間を示す図である。 HDMIコネクタのピン配列を示す図である。 テレビ受信機の高速バスインタフェースの構成例を示す図である。 オーディオアンプの高速バスインタフェースの構成例を示す図である。 IEC 60958規格におけるフレーム構成を示す図である。 IEC 60958規格におけるサブフレーム構成を示す図である。 IEC 60958規格における信号変調方式を示す図である。 IEC 60958規格におけるプリアンブルのチャネルコーディングを示す図である。 IEC 61937-1インタフェース・フォーマットを示す図である。 圧縮オーディオ信号とリニアPCM信号を同時に送信する場合におけるインタフェース・フォーマット(第1の方法)を示す図である。 インタフェース・フォーマット(第1の方法)に対応したチャネルステータスのフォーマットを概略的に示す図である。 「Multichannel configuration value (MCV)」の値とリニアPCM信号の構成との対応関係の一例を示す図である。 8ビット2チャネルの場合および16ビット1チャネルの場合におけるフレーム構成の一例を示す図である。 16ビット2チャネルの場合および16ビットステレオ2チャネルの場合におけるフレーム構成の一例を示す図である。 ステレオ2チャネルリニアPCM信号と5.1チャネルリニアPCM信号を伝送する場合におけるフレーム構成の一例を示す図である。 圧縮オーディオ信号とリニアPCM信号を同時に送信する場合におけるインタフェース・フォーマット(第2の方法)を示す図である。 インタフェース・フォーマット(第2の方法)に対応したチャネルステータスのフォーマットを概略的に示す図である。 「Subframe configuration value (SCV)」の値とリニアPCM信号の構成との対応関係の一例を示す図である。 ストリーム全体が48kHzで伝送される場合であって、リニアPCM信号の構成が「モノラル LPCM」である場合のフレーム構成例を示す図である。 ストリーム全体が96kHzで伝送される場合であって、リニアPCM信号の構成が「2チャネル ステレオ LPCM」である場合のフレーム構成例を示す図である。 ストリーム全体が96kHzで伝送される場合であって、リニアPCM信号の構成が「モノラル LPCM」である場合のフレーム構成例を示す図である。 フレーム単位で圧縮オーディオ信号とリニアPCM信号を交互に配置する場合におけるフレーム構成例を示す図である。 第1の方法と第2の方法とを併用する場合におけるインタフェース・フォーマットを示す図である。 複数種類のオーディオ信号を同時に送信する場合(第3の方法)におけるチャネルステータスのフォーマットを概略的に示す図である。 複数種類のオーディオ信号の構成との対応関係の一例を示す図である。 「48kHz LPCM stream + 48kHz stream」におけるフレーム構成の一例を示す図である。 ユーザデータメッセージの一例を示す図である。 リニアPCM信号に関係する情報の一例を示す図である。 圧縮オーディオ信号の再生レベル調整をする場合における具体例について説明するための図である。 圧縮オーディオ信号のセンターチャネルをリニアPCM信号に置き換える場合について説明するための図である。 ユーザの所定の操作に対応して圧縮オーディオ信号の再生レベルを下げる場合について説明するための図である。
 以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
 1.実施の形態
 2.変形例
 <1.実施の形態>
 [AVシステムの構成例]
 図1は、実施の形態としてのAVシステム10の構成例を示している。このAVシステム10は、テレビ受信機100とオーディオアンプ200を有している。
 テレビ受信機100には、テレビ放送の受信アンテナ121と、BD(Blu-ray Disc)プレーヤ122と、インターネット123と、マイクロホン124と、インターホン125と、リモコン(リモートコントローラ)126が接続されている。また、オーディオアンプ200には、2チャネル用あるいはマルチチャネル用のスピーカシステム250と、ユーザの手元に置かれる手元スピーカシステム251が接続されている。なお、「Blu-ray」は登録商標である。
 テレビ受信機100およびオーディオアンプ200はHDMIケーブル300を介して接続されている。なお、「HDMI」は登録商標である。テレビ受信機100には、HDMI受信部(HDMI RX)102と、通信部を構成する高速バスインタフェース103とが接続されたHDMI端子101が設けられている。オーディオアンプ200には、HDMI送信部(HDMI TX)202と、通信部を構成する高速バスインタフェース203とが接続されたHDMI端子201が設けられている。HDMIケーブル300の一端はテレビ受信機100のHDMI端子101に接続され、その他端はオーディオアンプ200のHDMI端子201に接続されている。
 テレビ受信機100は、HDMI受信部102と、高速バスインタフェース103と、SPDIF送信回路104を有している。また、テレビ受信機100は、システムコントローラ105と、デジタル放送受信回路107と、コンテンツ再生回路108と、音声合成回路109と、イーサネットインタフェース110と、ミキサ111と、オーバーレイ回路112と、ディスプレイ113を有している。なお、「イーサネット」および「Ethernet」は登録商標である。また、図示の例では、説明の簡単化のために、画像系の各部については適宜省略されている。
 システムコントローラ105は、テレビ受信機100の各部の動作を制御する。このシステムコントローラ105には、リモコン126が接続されている。ユーザは、リモコン126を通じて種々の操作入力を行うことができる。なお、リモコン126以外にも、ユーザが種々の操作入力を行うためのユーザインタフェースとしては、例えば、タッチパネル、マウス、キーボード、カメラで指示入力を検出するジェスチャ入力部、音声により指示入力を行う音声入力部などが考えられる。
 デジタル放送受信回路107は、受信アンテナ121から入力されたテレビ放送信号を処理して、放送コンテンツに係る圧縮オーディオ信号を出力する。イーサネットインタフェース110はインターネット123を介して他のサーバと通信をする。コンテンツ再生回路108は、デジタル放送受信回路107で得られる放送コンテンツの圧縮オーディオ信号、BDプレーヤ122から供給される再生コンテンツの圧縮オーディオ信号、あるいはイーサネットインタフェース110で得られたネットコンテンツの圧縮オーディオ信号を選択的に取り出して、SPDIF送信回路104に送る。
 音声合成回路109は、リモコン126の操作に応じた操作音データをシステムコントローラ105から受けて、操作音のリニアPCM信号を生成して、SPDIF送信回路104に送る。この操作音のリニアPCM信号はリアルタイム性が要求されるものである。また、音声合成回路109は、メールを受信したことをユーザに通知する通知音データをシステムコントローラ105から受けて、通知音のリニアPCM信号を生成して、SPDIF送信回路104に送る。この通知音のリニアPCM信号もリアルタイム性が要求されるものである。
 また、音声合成回路109は、デジタル放送受信回路107から字幕データを受けて、字幕読み上げソフトにより字幕音声のリニアPCM信号を生成して、SPDIF送信回路104に送る。このような字幕音声のリニアPCM信号もリアルタイム性が要求されるものである。例えば、放送コンテンツが外国映画であって、圧縮オーディオ信号による音声の言語が外国語であって、字幕が日本語字幕である場合などである。なお、この字幕音声に関しては、放送コンテンツではなく、BDプレーヤ122からの再生コンテンツに係る字幕データが存在する場合も同様である。
 また、音声合成回路109は、イーサネットインタフェース110で翻訳サーバ(図1には図示せず)から受信された翻訳音声のテキストデータを受けて、翻訳音声のリニアPCM信号を生成して、SPDIF送信回路104に送る。
 ここで、イーサネットインタフェース110は、例えば、後述するオーディオアンプ200の圧縮オーディオデコード回路206で得られた第1の言語のセリフのPCM音声信号をオーディオアンプ200のHDMI送信部202、テレビ受信機100のHDMI受信部102を通じて受け、この第1の言語のセリフのPCM音声信号を翻訳サーバに送信することで、翻訳サーバから第2の言語のセリフの翻訳音声のテキストデータを受信する。
 マイクロホン124は、カラオケを行う場合に使用される。この場合、カラオケ圧縮オーディオ信号は、例えば、BDプレーヤ122から得られる。また、マイクロホン124からはユーザの歌唱に応じたリニアPCM信号が得られる。このリニアPCM信号は、ミキサ111を通じて、SPDIF送信回路104に送られる。また、このマイクロホン124のオン(ON)/オフ(OFF)切り替え信号は、システムコントローラ105に供給される。
 インターホン125からは来客の発話に応じたリニアPCM信号が得られる。このリニアPCM信号は、ミキサ111を通じて、SPDIF送信回路104に送られる。また、このインターホン125のオン(ON)/オフ(OFF)切り替え信号は、システムコントローラ105に供給される。
 HDMI受信部102は、HDMIに準拠した通信により、HDMIケーブル300を介してHDMI端子101に供給される画像や音声のデータを受信する。高速バスインタフェース103は、HDMIケーブル300を構成するリザーブラインおよびHPD(Hot Plug Detect)ラインを用いて構成される双方向通信路のインタフェースである。なお、HDMI受信部102と高速バスインタフェース103の詳細は後述する。
 SPDIF送信回路104は、IEC 60958規格のデジタルオーディオ伝送信号(以下、適宜、「SPDIF信号」という)を送信するための回路である。このSPDIF送信回路104はIEC 60958規格に準拠した送信回路である。なお、SPDIF信号の詳細は後述する。
 この実施の形態において、SPDIF送信回路104は、圧縮オーディオ信号とリニアPCM信号を同時に送信する。ここで、圧縮オーディオ信号とリニアPCM信号を同時に送信する方法として、第1の方法、第2の方法、および第3の方法が考えられる。
 第1の方法の場合、サブフレーム単位のオーディオ信号は、圧縮オーディオ信号およびリニアPCM信号の混在信号とされる。
 この際、このSPDIF送信回路104から送信されるSPDIF信号には、オーディオ信号の構成(サブフレーム単位のオーディオ信号は圧縮オーディオ信号およびリニアPCM信号の混在信号とされている)を示す識別情報、リニアPCM信号の構成を示す構成情報、リニアPCM信号に関係する情報などが付加される。構成情報は、例えば、8ビットリニアPCM信号の2チャネル構成、8ビットリニアPCM信号のステレオ2チャネル構成、16ビットリニアPCM信号の1チャネル構成、などを示す。また、リニアPCM信号に関係する情報は、例えば、言語、スピーカ位置などの情報である。
 また、第2の方法の場合、サブフレーム単位で連続したオーディオ信号は、圧縮オーディオ信号を含むサブフレーム単位のオーディオ信号とリニアPCM信号を含むサブフレーム単位のオーディオ信号とが交互に配置されたものとされる。
 この際、このSPDIF送信回路104から送信されるSPDIF信号には、オーディオ信号の構成(サブフレーム単位で連続したオーディオ信号が圧縮オーディオ信号を含むサブフレーム単位のオーディオ信号とリニアPCM信号を含むサブフレーム単位のオーディオ信号とが交互に配置されている)を示す識別情報、リニアPCM信号の構成を示す構成情報、リニアPCM信号に関係する情報などが付加される。構成情報は、例えば、モノラル、ステレオ2チャネル、5.1チャネル、7.1チャネル、などを示す。また、リニアPCM信号に関係する情報は、例えば、言語、スピーカ位置などの情報である。
 また、第3の方法の場合、ブロック内のオーディオ信号は、圧縮オーディオ信号とリニアPCM信号の混在信号とされる。
 この際、このSPDIF送信回路104から送信されるSPDIF信号には、オーディオ信号の構成(ブロック内のオーディオ信号が圧縮オーディオ信号およびリニアPCM信号の混在信号とされている)を示す識別情報、リニアPCM信号の構成を示す構成情報、リニアPCM信号に関係する情報などが付加される。
 システムコントローラ105は、圧縮オーディオ信号および/またはリニアPCM信号の再生を制御する再生制御情報を発行してSPDIF送信回路104に送る。そして、SPDIF送信回路104は、送信されるSPDIF信号(オーディオ信号)にその再生制御情報を付加する。この場合、各ブロック内の所定ビット領域、より具体的には各ブロックのチャネルステータスの所定ビット領域を用いて再生制御情報が付加される。
 例えば、この再生制御情報は、圧縮オーディオ信号の再生レベル調整(つまり圧縮オーディオ信号をデコードして得られたオーディオ信号の再生レベル調整)を制御するための情報とされる。システムコントローラ105は、例えば、インターホン125からのリニアPCM信号、リモコン126の操作音のリニアPCM信号、メール受信通知音のリニアPCM信号などを、圧縮オーディオ信号と同時に送信する場合に、この情報を発行する。この場合、受信側では、圧縮オーディオ信号をデコードして得られたオーディオ信号の再生レベルが低く調整され、リニアPCM信号の再生音がユーザに目立つようになり、ユーザに気付かせることができる。
 また、例えば、この再生制御情報は、圧縮オーディオ信号のセンターチャネル(つまり、圧縮オーディオ信号をデコードして得られたセンターチャネルのオーディオ信号)をリニアPCM信号に置き換える制御をするための情報とされる。システムコントローラ105は、例えば、カラオケモードにおいて、マイクロホン124からの歌唱音声のリニアPCMをバック演奏のマルチチャネルの圧縮オーディオ信号と同時に送信する場合に、この情報を発行する。この場合、受信側では、バック演奏に含まれるセンターチャネルのオーディオ信号がリニアPCM信号に置き換えられ、歌唱音声のリニアPCM信号の再生音を聴衆にクリアに聞かせることが可能となる。
 また、システムコントローラ105は、例えば、音声の言語が第1の言語であるマルチチャネルの圧縮オーディオ信号と同時に第2の翻訳言語のリニアPCM信号を同時に送信する場合に、この情報を発行する。この場合、受信側では、センターチャネルのオーディオ信号がリニアPCM信号に置き換えられ、ユーザは、第2の言語による聴取が可能となる。
 また、例えば、この再生制御情報は、ユーザの所定の操作に対応して圧縮オーディオ信号の再生レベル(つまり、圧縮オーディオ信号をデコードして得られたオーディオ信号の再生レベル)を下げるように制御するための情報とされる。システムコントローラ105は、例えば、ユーザがリモコン126の特定のボタンが操作されてオン状態にある場合に、この情報を発行する。この場合、受信側では、圧縮オーディオ信号の再生レベルが下げられ、圧縮オーディオ信号の再生音がユーザに邪魔になることを一時的に回避することが可能となる。
 また、例えば、この再生制御情報は、リニアPCM信号による音像がユーザの近傍位置に定位するように制御するための情報とされる(図2の矢印a参照)。また、例えば、この再生制御情報は、リニアPCM信号の再生スピーカとしてユーザの手元スピーカを用いるように制御とされる(図2の矢印b参照)。システムコントローラ105は、例えば、インターホン125からのリニアPCM信号、リモコン126の操作音のリニアPCM信号、メール受信通知音のリニアPCM信号などを、圧縮オーディオ信号と同時に送信する場合に、これらの情報を発行する。この場合、受信側では、リニアPCM信号の再生音がユーザに目立つようになり、ユーザに気付かせることができる。
 ディスプレイ113は、コンテンツ再生回路108から出力されるビデオ信号による画像を表示する。オーバーレイ回路112は、ビデオ信号に、上述した再生制御情報に関する表示を行うための表示信号を重畳する。この表示信号は、システムコントローラ105から供給される。
 例えば、システムコントローラ105が圧縮オーディオ信号をデコードして得られたオーディオ信号の再生レベル調整を制御するための情報を発行している場合、オーディオアンプ200側でレベル調整がされていることをユーザに知らせるために、例えば、図3(a)に示す「レベル調整中」などの表示がされる。
 また、例えば、カラオケモードで、システムコントローラ105が圧縮オーディオ信号をデコードして得られたセンターチャネルのオーディオ信号をリニアPCM信号に置き換える制御をするための情報を発行している場合、センターチャネルのオーディオ信号が歌唱音声のリニアPCM信号に置き換えられていることをユーザに知らせるために、例えば、図3(b)に示す「カラオケモード」などの表示がされる。
 また、例えば、音声の言語が第1の言語であるマルチチャネルの圧縮オーディオ信号と同時に第2の翻訳言語のリニアPCM信号を同時に送信する場合であって、システムコントローラ105が圧縮オーディオ信号をデコードして得られたセンターチャネルの第1の言語のオーディオ信号を第2の言語のリニアPCM信号に置き換える制御をするための情報を発行している場合、センターチャネルのオーディオ信号が他の言語のリニアPCM信号に置き換えられていることをユーザに知らせるために、例えば、図3(c)に示す「英語音声」などの表示がされる。
 また、例えば、システムコントローラ105がユーザの所定の操作に対応して圧縮オーディオ信号をデコードして得られたオーディオ信号の再生レベルを下げるように制御するための情報を発行している場合、圧縮オーディオ信号の再生レベルが下げられていることをユーザに知らせるために、例えば、図3(d)に示す「レベル低下操作中」などの表示がされる。
 図1に戻って、オーディオアンプ200は、HDMI送信部202と、高速バスインタフェース203と、SPDIF受信回路204を有している。また、オーディオアンプ200は、システムコントローラ205と、圧縮オーディオデコード回路206と、オーディオミキサ207と、アンプ208と、表示部209と、イーサネットインタフェース210と、デジタルシグナルプロセッサ(DSP)211を有している。
 システムコントローラ205は、オーディオアンプ200の各部の動作を制御する。HDMI送信部202は、HDMIに準拠した通信により、ベースバンドの映像(画像)と音声のデータを、HDMI端子201からHDMIケーブル300に送出する。高速バスインタフェース203は、HDMIケーブル300を構成するリザーブラインおよびHPD(Hot Plug Detect)ラインを用いて構成される双方向通信路のインタフェースである。なお、HDMI送信部202と高速バスインタフェース203の詳細は後述する。
 SPDIF受信回路204は、SDPIF信号(IEC 60958規格のデジタルオーディオ信号)を受信するための回路である。このSPDIF受信回路204はIEC 60958規格に準拠した受信回路である。SPDIF受信回路204は、オーディオ信号の構成を示す識別情報に基づいて、SPDIF信号から圧縮オーディオ信号とリニアPCM信号を分離して取得する。また、SPDIF受信回路204は、SPDIF信号に付加されている上述した再生制御情報を抽出して、システムコントローラ205に送る。
 圧縮オーディオデコード回路206は、SPDIF受信回路204で得られた圧縮オーディオ信号に対してデコード処理を行って、2チャネルあるいはマルチチャネルのリニアPCM信号を得る。
 オーディオミキサ207は、リニアPCM信号の構成を示す構成情報に基づき、圧縮オーディオデコード回路206で得られたリニアPCM信号にSPDIF受信回路204で得られたリニアPCM信号をミックスして、2チャネルあるいはマルチチャネルの出力リニアPCM信号を得る。
 なお、ここで言うミックス処理には、片方だけを選択することも含まれる。また、ここで言うミックス処理には、複数チャネルのリニアPCM信号の送信がある場合に、いずれかを選択することも含まれる。
 ここで、オーディオミキサ207は、スピーカシステム250の構成に合ったチャネルのPCM音声信号が得られるように、レンダリング処理をする。また、SPDIF受信回路204で得られたリニアPCM信号に、例えばリニアPCM信号に関係する情報としてスピーカ位置情報が付加されている場合には、リニアPCM信号による音がそのスピーカ位置に定位するように、レンダリング処理をする。アンプ208は、オーディオミキサ207で得られた2チャネルあるいはマルチチャネルの出力リニアPCM信号を増幅して、スピーカシステム250に供給する。
 なお、例えば、リニアPCM信号の構成を示す構成情報に、予め設定されたスピーカ位置情報を適用する旨の情報を付加することも考えられる。その場合には、予め設定されたスピーカ位置情報を用いることができる。
 システムコントローラ205は、SPDIF受信回路204から送られてくる再生制御情報に基づいて圧縮オーディオ信号および/またはリニアPCM信号の再生を制御する。
 例えば、この再生制御情報が圧縮オーディオ信号の再生レベル調整を制御するための情報であった場合、システムコントローラ205は、オーディオミキサ207を制御して、圧縮オーディオ信号をデコードして得られたリニアPCM信号の再生レベルが調整される。
 この場合、例えば、圧縮オーディオ信号の再生レベルが低く調整されることで、インターホン125からのリニアPCM信号、リモコン126の操作音のリニアPCM信号、メール受信通知音のリニアPCM信号などの再生音がユーザに目立つようになり、ユーザに気付かせることができる。
 なお、圧縮オーディオ信号の再生レベルが低く調整される場合、これに併せて、リニアPCM信号による音像がユーザの近傍位置に定位するように制御されてもよい。この場合、システムコントローラ205の制御のもと、リニアPCM信号による音像がユーザの近傍位置に定位するように、SPDIF受信回路204で取得されたリニアPCM信号がデジタルシグナルプロセッサ211で処理される。このように、リニアPCM信号による音像をユーザの近傍位置に定位するように制御することを、圧縮オーディオ信号の再生レベルを低く調整しない状態で行うことも考えられる。
 また、圧縮オーディオ信号の再生レベルが低く調整される場合、これに併せて、リニアPCM信号の再生スピーカとしてユーザの手元スピーカを用いるように制御されてもよい。この場合、システムコントローラ205の制御のもと、SPDIF受信回路204で取得されたリニアPCM信号が手元スピーカシステム251に送られる。このように、リニアPCM信号の再生スピーカとしてユーザの手元スピーカを用いるように制御することを、圧縮オーディオ信号の再生レベルを低く調整しない状態で行うことも考えられる。
 また、例えば、この再生制御情報が圧縮オーディオ信号のセンターチャネルをリニアPCM信号に置き換える制御をするための情報であった場合、システムコントローラ205は、オーディオミキサ207を制御して、センターチャネルのオーディオ信号がリニアPCM信号に置き換えられるようにする。これにより、リニアPCM信号の再生音を、センターチャネルのオーディオ信号の再生音に邪魔されることなく、クリアに聞かせることが可能となる。
 また、例えば、ユーザの所定の操作に対応して圧縮オーディオ信号の再生レベルを下げるように制御するための情報であった場合、システムコントローラ205は、オーディオミキサ207を制御して、圧縮オーディオ信号の再生レベルが低下するようにする。これにより、圧縮オーディオ信号の再生音がユーザに邪魔になることを一時的に回避することが可能となる。
 表示部209は、オーディオアンプ200の状態などを表示する。この実施の形態において、表示部209は、上述したテレビ受信機100におけるディスプレイ113と同様に、再生制御情報に関する表示をする(図3(a)~(d)参照)行う。この表示信号は、システムコントローラ205から供給される。
 「HDMI送信部/受信部の構成例」
 図4は、図1のAVシステム10における、テレビ受信機100のHDMI受信部102とオーディオアンプ200のHDMI送信部202の構成例を示している。
 HDMI送信部202は、ある垂直同期信号から次の垂直同期信号までの区間(以下、適宜、「ビデオフィールド」という)から、水平ブランキング期間および垂直ブランキング期間を除いた区間である有効画像区間(以下、適宜、「アクティブビデオ区間」という)において、ベースバンド(非圧縮)の一画面分の画像データの差動信号を、複数のチャネルで、HDMI受信部102に一方向に送信する。また、HDMI送信部202は、水平ブランキング期間および垂直ブランキング期間において、画像データに付随する音声データおよび制御パケット(Control Packet)、さらにその他の補助データ等に対応する差動信号を、複数のチャネルで、HDMI受信部102に一方向に送信する。
 HDMI送信部202は、ソース信号処理部71およびHDMIトランスミッタ72を有する。ソース信号処理部71には、ベースバンドの非圧縮の画像(Video)および音声(Audio)のデータが供給される。ソース信号処理部71は、供給される画像および音声のデータに必要な処理を施し、HDMIトランスミッタ72に供給する。また、ソース信号処理部71は、HDMIトランスミッタ72との間で、必要に応じて、制御用の情報やステータスを知らせる情報(Control/Status)等をやりとりする。
 HDMIトランスミッタ72は、ソース信号処理部71から供給される画像データを、対応する差動信号に変換し、複数のチャネルである3つのTMDSチャネル#0,#1,#2で、HDMIケーブル300を介して接続されているHDMI受信部102に、一方向に送信する。
 さらに、トランスミッタ72、ソース信号処理部71から供給される、非圧縮の画像データに付随する音声データや制御パケットその他の補助データ(auxiliary data)と、垂直同期信号(VSYNC)、水平同期信号(HSYNC)等の制御データ(control data)とを、対応する差動信号に変換し、3つのTMDSチャネル#0,#1,#2で、HDMIケーブル300を介して接続されているHDMI受信部102に、一方向に送信する。
 また、トランスミッタ72は、3つのTMDSチャネル#0,#1,#2で送信する画像データに同期したピクセルクロックを、TMDSクロックチャネルで、HDMIケーブル300を介して接続されているHDMI受信部102に送信する。
 HDMI受信部102は、アクティブビデオ区間において、複数チャネルで、HDMI送信部202から一方向に送信されてくる、画像データに対応する差動信号を受信すると共に、水平ブランキング期間および垂直ブランキング期間において、複数のチャネルで、HDMI送信部202から送信されてくる、補助データや制御データに対応する差動信号を受信する。
 HDMI受信部102は、HDMIレシーバ81およびシンク信号処理部82を有する。HDMIレシーバ81は、TMDSチャネル#0,#1,#2で、HDMIケーブル300を介して接続されているHDMI送信部202から一方向に送信されてくる、画像データに対応する差動信号と、補助データや制御データに対応する差動信号を、同じくHDMI送信部202からTMDSクロックチャネルで送信されてくるピクセルクロックに同期して受信する。さらに、HDMIレシーバ81は、差動信号を、対応する画像データ、補助データ、制御データに変換し、必要に応じて、シンク信号処理部82に供給する。
 シンク信号処理部82は、HDMIレシーバ81から供給されるデータに必要な処理を施して出力する。その他、シンク信号処理部82は、HDMIレシーバ81との間で、必要に応じて、制御用の情報やステータスを知らせる情報(Control/Status)等をやりとりする。
 HDMIの伝送チャネルには、HDMI送信部202からHDMI受信部102に対して、画像データ、補助データ、および制御データを、ピクセルクロックに同期して、一方向にシリアル伝送するための3つのTMDSチャネル#0,#1,#2と、ピクセルクロックを伝送する伝送チャネルとしてのTMDSクロックチャネルとの他に、DDC(Display Data Channel)83、さらには、CECライン84と呼ばれる伝送チャネルがある。
 DDC83は、HDMIケーブル300に含まれる図示しない2本のライン(信号線)からなり、ソース機器が、HDMIケーブル300を介して接続されたシンク機器から、E-EDID(Enhanced-Extended Display Identification)を読み出すために使用される。すなわち、シンク機器は、EDIDROM85を有している。ソース機器は、HDMIケーブル300を介して接続されているシンク機器から、EDIDROM85が記憶しているE-EDIDを、DDC83を介して読み出し、当該E-EDIDに基づき、シンク機器の設定、性能を認識する。
 CECライン84は、HDMIケーブル300に含まれる図示しない1本のラインからなり、ソース機器とシンク機器との間で、制御用のデータの双方向通信を行うために用いられる。
 また、HDMIケーブル300には、HPD(Hot Plug Detect)と呼ばれるピンに接続されるライン86が含まれている。ソース機器は、当該ライン86を利用して、シンク機器の接続を検出することができる。また、HDMIケーブル300には、ソース機器からシンク機器に電源を供給するために用いられるライン87が含まれている。さらに、HDMIケーブル300には、リザーブライン88が含まれている。
 図5は、TMDSチャネルにおいて、横×縦が1920ピクセル×1080ラインの画像データが伝送される場合の、各種の伝送データの区間を示している。HDMIの3つのTMDSチャネルで伝送データが伝送されるビデオフィールド(Video Field)には、伝送データの種類に応じて、ビデオデータ区間24(Video Data Period)、データアイランド区間25(Data Island Period)、およびコントロール区間26(Control Period)の3種類の区間が存在する。
 ここで、ビデオフィールド区間は、ある垂直同期信号の立ち上がりエッジ(Active Edge)から次の垂直同期信号の立ち上がりエッジまでの区間であり、水平帰線期間22(Horizontal Blanking)、垂直帰線期間23(Vertical Blanking)、並びに、ビデオフィールド区間から、水平帰線期間および垂直帰線期間を除いた区間である有効画素区間21(Active Video)に分けられる。
 ビデオデータ区間24は、有効画素区間21に割り当てられる。このビデオデータ区間24では、非圧縮の1画面分の画像データを構成する1920ピクセル(画素)×1080ライン分の有効画素(Active Pixel)のデータが伝送される。データアイランド区間25およびコントロール区間26は、水平帰線期間22および垂直帰線期間23に割り当てられる。このデータアイランド区間25およびコントロール区間26では、補助データ(Auxiliary Data)が伝送される。
 すなわち、データアイランド区間25は、水平帰線期間22と垂直帰線期間23の一部分に割り当てられている。このデータアイランド区間25では、補助データのうち、制御に関係しないデータである、例えば、音声データのパケット等が伝送される。コントロール区間26は、水平帰線期間22と垂直帰線期間23の他の部分に割り当てられている。このコントロール区間26では、補助データのうちの、制御に関係するデータである、例えば、垂直同期信号および水平同期信号、制御パケット等が伝送される。
 図6は、HDMIコネクタのピン配列を示している。このピン配列は、タイプA(type-A)の例である。TMDSチャネル#iの差動信号であるTMDS Data#i+とTMDS Data#i-が伝送される差動線である2本のラインは、TMDS Data#i+が割り当てられているピン(ピン番号が1,4,7のピン)と、TMDS Data#i-が割り当てられているピン(ピン番号が3,6,9のピン)に接続される。
 また、制御用のデータであるCEC信号が伝送されるCECライン84は、ピン番号が13であるピンに接続され、ピン番号が14のピンは空き(Reserved)ピンとなっている。また、E-EDID等のSDA(Serial Data)信号が伝送されるラインは、ピン番号が16であるピンに接続され、SDA信号の送受信時の同期に用いられるクロック信号であるSCL(Serial Clock)信号が伝送されるラインは、ピン番号が15であるピンに接続される。上述のDDC83は、SDA信号が伝送されるラインおよびSCL信号が伝送されるラインにより構成される。
 また、上述したようにソース機器がシンク機器の接続を検出するためのHPDライン86は、ピン番号が19であるピンに接続される。また、上述したように電源を供給するための電源ライン87は、ピン番号が18であるピンに接続される。
 「高速バスインタフェースの構成例」
 図7は、図1のAVシステム10におけるテレビ受信機100の高速バスインタフェース103の構成例を示している。イーサネットインタフェース110は、HDMIケーブル300を構成する複数のラインのうち、リザーブラインおよびHPDラインの一対のラインにより構成された伝送路を用いてLAN(Local Area Network)通信、つまりイーサネット信号の送受信を行う。SPDIF送信回路104は、上述の一対のラインにより構成された伝送路を用いて、SPDIF信号を送信する。
 テレビ受信機100は、LAN信号送信回路441、終端抵抗442、AC結合容量443,444、LAN信号受信回路445、減算回路446、加算回路449,450および増幅器451を有している。これらは、これらは高速バスインタフェース103を構成している。また、テレビ受信機100は、プラグ接続伝達回路128を構成する、チョークコイル461、抵抗462および抵抗463を有している。
 HDMI端子101の14ピン端子521と19ピン端子522との間には、AC結合容量443、終端抵抗442およびAC結合容量444の直列回路が接続される。また、電源線(+5.0V)と接地線との間には、抵抗462および抵抗463の直列回路が接続される。そして、この抵抗462と抵抗463の互いの接続点は、チョークコイル461を介して、19ピン端子522とAC結合容量444との接続点Q4に接続される。
 AC結合容量443と終端抵抗442の互いの接続点P3は、加算回路449の出力側に接続されると共に、LAN信号受信回路445の正入力側に接続される。また、AC結合容量444と終端抵抗442の互いの接続点P4は、加算回路450の出力側に接続されると共に、LAN信号受信回路445の負入力側に接続される。
 加算回路449の一方の入力側はLAN信号送信回路441の正出力側に接続され、この加算回路449の他方の入力側にはSPDIF送信回路104から出力されるSPDIF信号が増幅器451を介して供給される。また、加算回路450の一方の入力側はLAN信号送信回路441の負出力側に接続され、この加算回路450の他方の入力側にはSPDIF送信回路104から出力されるSPDIF信号が増幅器451を介して供給される。
 LAN信号送信回路441の入力側には、イーサネットインタフェース110から送信信号(送信データ)SG417が供給される。また、減算回路446の正側端子には、LAN信号受信回路445の出力信号SG418が供給され、この減算回路446の負側端子には、送信信号SG417が供給される。この減算回路446では、LAN信号受信回路445の出力信号SG418から送信信号SG417が減算され、受信信号(受信データ)SG419が得られる。この受信信号SG419は、リザーブラインおよびHPDラインを介してLAN信号(イーサネット信号)が差動信号として送信されてくる場合には、当該LAN信号となる。この受信信号SG419は、イーサネットインタフェース110に供給される。
 図8は、図1のAVシステム10におけるオーディオアンプ200の高速バスインタフェース203の構成例を示している。イーサネットインタフェース210は、HDMIケーブル610を構成する複数のラインのうち、リザーブラインおよびHPDラインの一対のラインにより構成された伝送路を用いてLAN(Local Area Network)通信、つまりイーサネット信号の送受信を行う。SPDIF受信回路204は、上述の一対のラインにより構成された伝送路を用いて、SPDIF信号を受信する。
 オーディオアンプ200は、LAN信号送信回路411、終端抵抗412、AC結合容量413,414、LAN信号受信回路415、減算回路416、加算回路419および増幅器420を有している。これらは、高速バスインタフェース203を構成している。また、オーディオアンプ200は、プラグ接続検出回路221を構成する、プルダウン抵抗431、抵抗432、容量433および比較器434を有している。ここで、抵抗432および容量433は、ローパスフィルタを構成している。
 HDMI端子201の14ピン端子511と19ピン端子512との間には、AC結合容量413、終端抵抗412およびAC結合容量414の直列回路が接続される。AC結合容量413と終端抵抗412の互いの接続点P1は、LAN信号送信回路411の正出力側に接続されると共に、LAN信号受信回路415の正入力側に接続される。
 AC結合容量414と終端抵抗412の互いの接続点P2は、LAN信号送信回路411の負出力側に接続されると共に、LAN信号受信回路415の負入力側に接続される。LAN信号送信回路411の入力側には、イーサネットインタフェース210から送信信号(送信データ)SG411が供給される。
 減算回路416の正側端子には、LAN信号受信回路415の出力信号SG412が供給され、この減算回路416の負側端子には、送信信号(送信データ)SG411が供給される。この減算回路416では、LAN信号受信回路415の出力信号SG412から送信信号SG411が減算され、受信信号SG413が得られる。この受信信号SG413は、リザーブラインおよびHPDラインを介して、LAN信号(イーサネット信号)が差動信号として送信されてくる場合には、当該LAN信号となる。この受信信号SG413は、イーサネットインタフェース210に供給される。
 AC結合容量414と19ピン端子512との接続点Q2は、プルダウン抵抗431を介して接地線に接続されると共に、抵抗432および容量433の直列回路を介して接地線に接続される。そして、抵抗432および容量433の互いの接続点に得られるローパスフィルタの出力信号は比較器434の一方の入力端子に供給される。この比較器434では、ローパスフィルタの出力信号が他方の入力端子に供給される基準電圧Vref2(+1.4V)と比較される。この比較器434の出力信号SG415は、オーディオアンプ200の図示しない制御部(CPU)に供給される。
 また、AC結合容量413と終端抵抗412の互いの接続点P1は、加算回路419の一方の入力端子に接続される。また、AC結合容量414と終端抵抗412の互いの接続点P2は、加算回路419の他方の入力端子に接続される。この加算回路419の出力信号は、増幅器420を介してSPDIF受信回路204に供給される。この加算回路419の出力信号は、リザーブラインおよびHPDラインを介して、SPDIF信号が同相信号として送信されてくる場合には、当該SPDIF信号となる。
 「SPDIF信号の詳細」
 最初に、IEC 60958規格の概要について説明する。図9は、IEC 60958規格におけるフレーム構成を示している。各フレームは2つのサブフレームから構成される。ステレオ2チャネル音声の場合、1つ目のサブフレームに左チャネル信号が含まれ、2つ目のサブフレームに右チャネル信号が含まれる。
 サブフレームの先頭には後述するようにプリアンブルが設けられ、左チャネル信号にはプリアンブルとして「M」が、右チャネル信号にはプリアンブルとして「W」が付与される。ただし、192フレーム毎に先頭のプリアンブルにはブロックの開始を表す「B」が付与される。すなわち、1ブロックは192フレームにより構成される。ブロックは、後述するチャネルステータスを構成する単位である。
 図10は、IEC 60958規格におけるサブフレーム構成を示している。サブフレームは、第0乃至第31の計32のタイムスロットから構成される。第0乃至第3タイムスロットは、プリアンブル(Sync preamble)を示す。このプリアンブルは、上述のように左右チャネルの区別やブロックの開始位置を表すために、「M」、「W」または「B」の何れかを示す。
 第4乃至第27タイムスロットはメインデータフィールドであり、24ビットコードレンジが採用される場合には全体がオーディオデータを表す。また、20ビットコードレンジが採用される場合には第8乃至第27タイムスロットがオーディオデータ(Audio sample word)を表す。後者の場合、第4乃至第7タイムスロットは追加情報(Auxiliary sample bits)として利用することができる。図示の例は、後者の場合を示している。
 第28タイムスロットは、メインデータフィールドの有効フラグ(Validity flag)である。第29タイムスロットは、ユーザデータ(User data)の1ビット分を表す。各フレームにまたがってこの第29タイムスロットを累積することによって一連のユーザデータを構成することができる。このユーザデータのメッセージは8ビットの情報ユニット(IU:Information Unit)を単位として構成され、1つのメッセージには3乃至129個の情報ユニットが含まれる。
 情報ユニット間には0乃至8ビットの「0」が存在し得る。情報ユニットの先頭は開始ビット「1」により識別される。メッセージ内の最初の7個の情報ユニットは予約されており、8個目以降の情報ユニットにユーザは任意の情報を設定することができる。メッセージ間は8ビット以上の「0」により分割される。
 第30タイムスロットは、チャネルステータス(Channel status)の1ビット分を表す。各フレームにまたがってブロック毎に第30タイムスロットを累積することによって一連のチャネルステータスを構成することができる。なお、ブロックの先頭位置は、上述のように、「B」のプリアンブル(第0乃至第3タイムスロット)により示される。
 第31タイムスロットは、パリティビット(Parity bit)である。第4乃至第31タイムスロットに含まれる「0」および「1」の数が偶数になるように、このパリティビットが付与される。
 図11は、IEC 60958規格における信号変調方式を示している。サブフレームのうちプリアンブルを除く第4乃至第31タイムスロットがバイフェーズマーク変調される。このバイフェーズマーク変調の際には、元の信号(ソースコーディング)の2倍速のクロックが用いられる。元の信号のクロックサイクルを前半と後半に分けると、前半のクロックサイクルのエッジで、バイフェーズマーク変調の出力は必ず反転する。また、後半クロックサイクルのエッジにおいて、元の信号が「1」を示しているときには反転し、元の信号が「0」を示しているときには反転しない。これにより、バイフェーズマーク変調された信号から元の信号におけるクロック成分を抽出できることになる。
 図12は、IEC 60958規格におけるプリアンブルのチャネルコーディングを示している。上述のように、サブフレームのうち第4乃至第31タイムスロットはバイフェーズマーク変調される。一方、第0乃至第3タイムスロットのプリアンブルは通常のバイフェーズマーク変調ではなく、2倍速のクロックに同期したビットパターンとして扱われる。すなわち、第0乃至第3タイムスロットの各タイムスロットに2ビットずつ割り当てることにより、同図のような8ビットパターンを得る。
 直前の状態が「0」であれば、プリアンブル「B」には「11101000」が、「M」には「11100010」が、「W」には「1100100」がそれぞれ割り当てられる。一方、直前の状態が「1」であれば、プリアンブル「B」には「00010111」が、「M」には「00011101」が、「W」には「00011011」がそれぞれ割り当てられる。
 IEC 60958規格のプロトコル上で圧縮オーディオ信号を伝送するフォーマットが、IEC 61937-1規格で規定されている。図13は、IEC 61937-1インタフェース・フォーマットを示している。図13(a)は、フレーム構成を示している。192フレームにより1ブロックが構成され、そのブロックが連続した構成となっている。図13(b)は、各フレームが2つのサブフレームからなっていることを示している。
 サブフレームの先頭にはプリアンブルが設けられ、ブロックの先頭のサブフレームのプリアンブルには、ブロックの開始を表す「B」が付与される。そして、それに続く各サブフレームの先頭のプリアンブルには、「W」と「M」が交互に付与される。
 図13(c)は、サブフレーム構成を示している。所定チャネル数の圧縮オーディオ信号を含むSPDIF信号の場合、各サブフレームの第12乃至第27タイムスロットに、圧縮オーディオ信号のビットストリームが分割されて順次挿入される。つまり、各サブフレームの第4乃至第27タイムスロットの24ビットのオーディオデータ領域のうち、上位の16ビットが圧縮オーディオ信号の伝送に使用されている。
 「圧縮オーディオ信号とリニアPCM信号の同時送信」
 この実施の形態においては、圧縮オーディオ信号とリニアPCM信号が同時に送信される。上述したように、圧縮オーディオ信号とリニアPCM信号を同時に送信する方法として、第1の方法、第2の方法、および第3の方法が考えられる。
 「第1の方法」
 次に、第1の方法の詳細について説明する。この場合、サブフレーム単位のオーディオ信号は、圧縮オーディオ信号およびリニアPCM信号の混在信号とされる。
 図14は、圧縮オーディオ信号とリニアPCM信号を同時に送信する場合におけるインタフェース・フォーマットを示している。図14(a),(b)は、それぞれ、図13(a),(b)と同じである。図14(c)は、サブフレーム構成を示している。各サブフレームの第4乃至第27タイムスロットの24ビットのオーディオデータ領域のうち、上位の16ビットが圧縮オーディオ信号の伝送に使用され、下位8ビットがリニアPCM信号の伝送に使用される。
 上述したように、このSPDIF送信回路104から送信されるオーディオ信号には、オーディオ信号の構成(サブフレーム単位のオーディオ信号は圧縮オーディオ信号およびリニアPCM信号の混在信号とされている)を示す識別情報、リニアPCM信号の構成を示す構成情報が付加される。この実施の形態において、これらの情報は、チャネルステータスビットを用いて付加される。
 図15は、圧縮オーディオ信号とリニアPCM信号を同時に送信する場合におけるチャネルステータスのフォーマットを概略的に示している。チャネルステータスの全体は第0乃至第23バイトからなる。第0ビットのa=“0”は、このチャネルステータスが民生用であることを示している。また、第1ビットのb=“1”は、IEC 61937-1インタフェース・フォーマットと同様に、圧縮デジタルオーディオ信号の伝送における使用であることを示している。
 なお、第3ビットから第5ビットの3ビットは、従来のIEC 61937-1インタフェース・フォーマットにおいては“000”となっており、これと同じであっても充分に動作する。しかし、従来のIEC 61937-1インタフェース・フォーマットと識別するために、別な値とされてもよい。図示の例においては、“100”とされている。
 第49ビットから第52ビットの4ビットは、従来のIEC 61937-1インタフェース・フォーマットにおいては“0000”となっているが、これとは別の値が設定され、サブフレーム単位のオーディオ信号は圧縮オーディオ信号およびリニアPCM信号の混在信号であることを示す識別情報とされる。図示の例においては、“1111”とされている。また、この第49ビットから第52ビットの4ビットが混在信号であることを示すとき、続く第53ビットから第60ビットの8ビットが有効となる。
 この8ビットは、リニアPCM信号の構成を示す構成情報である。図16は、第53ビットから第60ビットの8ビットの「Multichannel configuration value (MCV)」の値とリニアPCM信号の構成との対応関係の一例を示している。例えば、“10000000”は、「8-bit LPCM 2 channel」、つまり8ビット2チャネルの構成であることを示す。また、例えば、“01000000”は、「8-bit LPCM Stereo 2 channel」、つまり8ビットステレオ2チャネルの構成であることを示す。
 また、例えば、“00100000”は、「16-bit LPCM 1 channel」、つまり16ビット1チャネルの構成であることを示す。また、例えば、“10100000”は、「16-bit LPCM 2 channel」、つまり16ビット2チャネルの構成であることを示す。また、例えば、“01100000”は、「16-bit LPCM Stereo 2 channel」、つまり16ビットステレオ2チャネルの構成であることを示す。また、例えば、“11100000”は、「16-bit LPCM 4 channel」、つまり16ビット4チャネルの構成であることを示す。
 図17(a)は、8ビット2チャネルの場合におけるフレーム構成の一例を示している。この場合、Aチャネルの下位8ビットにチャネル1の8ビットリニアPCM信号がアサインされ、Bチャネルの下位8ビットにチャネル2の8ビットリニアPCM信号がアサインされる。
 図17(b)は、16ビット1チャネルの場合におけるフレーム構成の一例を示している。この場合、Aチャネルの下位8ビットにチャネル1の上位8ビットリニアPCM信号がアサインされ、Bチャネルの下位8ビットにチャネル1の下位8ビットリニアPCM信号がアサインされる。
 図18(a)は、16ビット2チャネルの場合におけるフレーム構成の一例を示している。転送レートが2倍の場合、例えば、オリジナルサンプリング周波数が48kHzで転送レートが96kHzの場合に、リニアPCM信号のサンプリング周波数を96kHzにせず、48kHzのままとする。
 この場合、ブロックの始めからカウントして、奇数Aチャネルの下位8ビットにチャネル1の上位8ビットリニアPCM信号がアサインされ、奇数Bチャネルの下位8ビットにチャネル1の下位8ビットリニアPCM信号がアサインされ、偶数Aチャネルの下位8ビットにチャネル2の上位8ビットリニアPCM信号がアサインされ、偶数Bチャネルの下位8ビットにチャネル2の下位8ビットリニアPCM信号がアサインされる。
 図18(b)は、16ビットステレオ2チャネルの場合におけるフレーム構成の一例を示している。転送レートが2倍の場合、例えば、オリジナルサンプリング周波数が48kHzで転送レートが96kHzの場合に、リニアPCM信号のサンプリング周波数を96kHzにせず、48kHzのままとする。
 この場合、ブロックの始めからカウントして、奇数Aチャネルの下位8ビットにLチャネルの上位8ビットリニアPCM信号がアサインされ、奇数Bチャネルの下位8ビットにLチャネルの下位8ビットリニアPCM信号がアサインされ、偶数Aチャネルの下位8ビットにRチャネルの上位8ビットリニアPCM信号がアサインされ、偶数Bチャネルの下位8ビットにRチャネルの下位8ビットリニアPCM信号がアサインされる。
 また、図示は、省略するが、16ビット4チャネルの場合におけるフレーム構成では、転送レートを4倍として、4チャネルのリニアPCM信号がアサインされる。また、詳細説明は省略するが、同様にして、チャネル数を増やしたり、ビット数を32ビットにしたりすることもでき、さらに、5.1チャネルなどのリニアPCM信号を伝送することもできる。
 図19は、ステレオ2チャネルリニアPCM信号と5.1チャネルリニアPCM信号を伝送する場合におけるフレーム構成の一例を示している。この場合、ブロックの始めからカウントして、最初のAチャネル、Bチャネルの1つのペアにステレオ2チャネルリニアPCM信号がアサインされ、続くAチャネル、Bチャネルの3つのペアに5.1チャネルリニアPCM信号がアサインされ、以下、その繰り返しとされる。
 図15に戻って、第61ビットおよび第62ビットの2ビットには、再生制御情報が配置される。“00”は、情報がないことを示す。“01”は、圧縮オーディオ信号をデコードして得られたオーディオ信号の再生レベルを-10dBとすることを示す。“10”は、圧縮オーディオ信号の再生レベルを0dBとすることを示す。さらに、“11”は、圧縮オーディオ信号をデコードして得られたセンターチャネルのオーディオ信号をリニアPCM信号に置き換えることを示す。なお、この再生制御情報の定義は一例であって、これに限定されるものではない。
 「第2の方法」
 第2の方法の詳細について説明する。この場合、サブフレーム単位で連続したオーディオ信号は、圧縮オーディオ信号を含むサブフレーム単位のオーディオ信号とリニアPCM信号を含むサブフレーム単位のオーディオ信号とが交互に配置されたものとされる。
 図20は、第2の方法を採る場合におけるインタフェース・フォーマットを示している。図20(a)は、フレーム構成を示している。192フレームにより1ブロックが構成され、そのブロックが連続した構成となっている。
 図20(b)は、各フレームが2つのサブフレームからなっていることを示している。奇数サブフレームにIEC 61937-1規格をベースとした圧縮オーディオフォーマットが格納され、偶数サブフレームにIEC 60958規格をベースとしてリニアPCMフォーマットのオーディオ信号が格納される。
 なお、奇数サブフレームにリニアPCMフォーマットのオーディオ信号が格納され、偶数サブフレームに圧縮オーディオフォーマットが格納されてもよいが、その位置関係は予め決定される。
 上述したように、このSPDIF送信回路104から送信されるオーディオ信号には、オーディオ信号の構成(サブフレーム単位で連続したオーディオ信号が圧縮オーディオ信号を含むサブフレーム単位のオーディオ信号とリニアPCM信号を含むサブフレーム単位のオーディオ信号とが交互に配置されている)を示す識別情報、リニアPCM信号の構成を示す構成情報が付加される。この実施の形態において、これらの情報は、チャネルステータスビットを用いて付加される。
 図21は、第2の方法を採る場合におけるチャネルステータスのフォーマットを概略的に示している。チャネルステータスの全体は第0乃至第23バイトからなる。第0ビットのa=“0”は、このチャネルステータスが民生用であることを示している。また、第1ビットのb=“1”は、IEC 61937-1インタフェース・フォーマットと同様に、圧縮オーディオ信号の伝送における使用であることを示している。
 なお、第3ビットから第5ビットの3ビットは、従来のIEC 61937-1インタフェース・フォーマットにおいては“000”となっており、これと同じであっても充分に動作する。しかし、従来のIEC 61937-1インタフェース・フォーマットと区別するために、別な値とされてもよい。図示の例においては、“100”とされている。
 第49ビットから第52ビットの4ビットは、従来のIEC 61937-1インタフェース・フォーマットにおいては“0000”となっているが、これとは別の値が設定され、オーディオ信号の構成を示す識別情報(Subframe cofiguration)とされる。ここでは、例えば“1111”とされて、サブフレーム単位で連続したオーディオ信号が圧縮オーディオ信号を含むサブフレーム単位のオーディオ信号とリニアPCM信号を含むサブフレーム単位のオーディオ信号とが交互に配置されている、ことが示される。
 また、この第49ビットから第52ビットの4ビットが上述したように“1111”であるとき、続く第53ビットから第60ビットの8ビットが有効となる。この8ビットは、リニアPCM信号の構成を示す構成情報である。
 図22は、第53ビットから第60ビットの8ビットの「Subframe configuration value (SCV)」の値とリニアPCM信号の構成「Configuration」との対応関係の一例を示している。例えば、“10000000”は「モノラル LPCM」であることを示し、“01000000”は「2チャネル ステレオ LPCM」であることを示し、“00100000”は「5.1チャネル LPCM」であることを示し、“10100000”は「7.1チャネル LPCM」であることを示す。
 図23は、ストリーム全体が48kHzで伝送される場合であって、リニアPCM信号の構成が「モノラル LPCM」である場合のフレーム構成例を示している。この場合、奇数サブフレームには圧縮オーディオ信号が含まれ、偶数サブフレームにはモノラルのリニアPCM信号が含まれる。なお、このようにストリーム全体が48kHzで伝送される場合には、リニアPCM信号は48kHz/1チャネルが最大伝送であることから、SCVで2チャネル以上が指定されていても無効である。
 図24は、ストリーム全体が96kHzで伝送される場合であって、リニアPCM信号の構成が「2チャネル ステレオ LPCM」である場合のフレーム構成例を示している。ストリーム全体が48kHzで伝送される場合には、リニアPCM信号は48kHz/2チャネルが最大伝送となる。この場合、ブロックの初めのBプリアンブルの次のWプリアンブルで第1チャネル(通常はLチャネル)が伝送され、そして、続くMプリアンブルの次のWプリアンブルで第2チャネル(通常はRチャネル)が伝送され、以降第1チャネル、第2チャネルが交替しながら伝送される。
 同様にして、ストリーム全体の伝送速度を上げることで、「5.1チャネル LPCM」や「7.1チャネル LPCM」などの伝送も可能となる。
 なお、無効なサブフレームを挿入することで、リニアPCM信号部分のサンプリング周波数を下げることも可能である。図25は、ストリーム全体が96kHzで伝送される場合であって、リニアPCM信号の構成が「モノラル LPCM」である場合のフレーム構成例を示している。この場合、4個毎のサブフレームは無効なサブフレームとなる。伝送速度が96kHzでSCVにより「モノラル LPCM」が指定された場合には、図示のようなフレーム構成となる。
 なお、上述では、サブフレーム単位で圧縮オーディオ信号とリニアPCM信号が交互に配置される例を示したが、フレーム単位で圧縮オーディオ信号とリニアPCM信号を交互に配置する構成も考えられる。図26は、その場合におけるフレーム構成例を示している。この場合、ブロックの初めのBプリアンブルと次のWプリアンブルで圧縮オーディオ信号が伝送され、続くMプリアンブルと次のWプリアンブルでリニアPCM信号が伝送され、以降はその繰り返しとなる。
 図21に戻って、第61ビットおよび第62ビットの2ビットには、再生制御情報が配置される。“00”は、情報がないことを示す。“01”は、圧縮オーディオ信号をデコードして得られたオーディオ信号の再生レベルを-10dBとすることを示す。“10”は、圧縮オーディオ信号の再生レベルを0dBとすることを示す。さらに、“11”は、圧縮オーディオ信号をデコードして得られたセンターチャネルのオーディオ信号をリニアPCM信号に置き換えることを示す。なお、この再生制御情報の定義は一例であって、これに限定されるものではない。
 なお、上述した第1の方法と第2の方法とを併用することで、リニアPCM信号の伝送可能なチャネル数の増大を図ることも考えられる。図27は、第1の方法と第2の方法とを併用する場合におけるインタフェース・フォーマットを示している。図27(a)は、フレーム構成を示している。192フレームにより1ブロックが構成され、そのブロックが連続した構成となっている。
 図27(b)は、各フレームが2つのサブフレームからなっていることを示している。奇数サブフレームにIEC 61937-1規格をベースとした圧縮オーディオフォーマットが格納され、偶数サブフレームにIEC 60958規格をベースとしてリニアPCMフォーマットのオーディオ信号が格納される。
 そして、圧縮オーディオフォーマットが格納される奇数サブフレームにおいて、第4乃至第27タイムスロットの24ビットのオーディオデータ領域のうち、上位の16ビットが圧縮オーディオ信号の伝送に使用され、下位8ビットがリニアPCM信号の伝送に使用される。
 「第3の方法」
 第3の方法の詳細について説明する。この場合、ブロック内のオーディオ信号は、圧縮オーディオ信号とリニアPCM信号の混在信号とされる。
 図28は、複数種類のオーディオ信号を同時に送信する場合におけるチャネルステータスのフォーマットを概略的に示している。チャネルステータスの全体は第0乃至第23バイトからなる。第0ビットのa=“0”は、このチャネルステータスが民生用であることを示している。また、第1ビットのb=“1”は、IEC 61937-1インタフェース・フォーマットと同様に、圧縮デジタルオーディオ信号の伝送における使用であることを示している。
 なお、第3ビットから第5ビットの3ビットは、従来のIEC 61937-1インタフェース・フォーマットにおいては“000”となっており、これとはモードが異なることを識別するために、別な値とされる。図示の例においては、“100”とされている。
 第49ビットから第52ビットの4ビットは、従来のIEC 61937-1インタフェース・フォーマットにおいては“0000”となっているが、これとは別の値が設定され、ブロック内のオーディオ信号は複数種類のオーディオ信号の混在信号であることを示す識別情報とされる。図示の例においては、“1110”とされている。また、この第49ビットから第52ビットの4ビットが混在信号であることを示すとき、続く第53ビットから第60ビットの8ビットが有効となる。
 この8ビットは、複数種類のオーディオ信号の構成を示す構成情報である。図29は、第53ビットから第60ビットの8ビットの「Multichannel configuration value (MCV)」の値と複数種類のオーディオ信号の構成との対応関係の一例を示している。例えば、“01100000”は、「48kHz LPCM stream + 48kHz stream」の構成であること、つまり48kHzの転送レートのリニアPCM信号と48kHzの転送レートの圧縮オーディオ信号の2種類からなることを示す。
 図30は、この場合におけるフレーム構成の一例を示している。この場合、プリアンブルB(ブロックスタート)を起点として、2種類のオーディオ信号が、フレーム毎に切り替わる。この場合、全体の転送レートは96kHzである。図示の例では、圧縮オーディオ信号のコーデックが「AC-3」であるが、これに限定されるものではない。
 図28に戻って、第61ビットおよび第62ビットの2ビットには、再生制御情報が配置される。“00”は、情報がないことを示す。“01”は、圧縮オーディオ信号をデコードして得られたオーディオ信号の再生レベルを-10dBとすることを示す。“10”は、圧縮オーディオ信号の再生レベルを0dBとすることを示す。さらに、“11”は、圧縮オーディオ信号をデコードして得られたセンターチャネルのオーディオ信号をリニアPCM信号に置き換えることを示す。なお、この再生制御情報の定義は一例であって、これに限定されるものではない。
 「リニアPCM信号に関係する種々の情報」
 上述したように、SPDIF送信回路104から送信されるオーディオ信号には、リニアPCM信号に関係する種々の情報が付加される。この実施の形態において、この情報は、例えば、ユーザビットを用いて付加される。
 図31は、ユーザデータメッセージの一例を示している。このユーザデータメッセージは、10個の情報ユニット(IU)で構成されている。第2のIUの第4ビットから第0ビットと、第3のIUの第5ビットから第2ビットに、「IEC 61937-1 ID」の情報、つまり情報の種類を示す識別情報が配置されている。そして、第3のIUの第1ビットから第0ビット、第4~第8のIUの第5ビットから第0ビットに、4バイト分の情報フィールドが設けられている。なお、情報フィールドは4バイト分に限定されるものではない。
 図32は、情報の一例を示している。例えば、「IEC 61937-1 ID」が“10000000”である場合、リニアPCM信号による音声の言語情報であることを示す。この場合、4バイト分の情報フィールドには言語名称の略号を示すアスキー文字情報が配置される。また、例えば、「IEC 61937-1 ID」が“01000000”である場合、リニアPCM信号による音声の再生スピーカ位置を情報であることを示す。この場合、4バイト分の情報フィールドには、チャネル番号、角度、高さ、距離を示す情報が配置される。なお、ここで示す情報はあくまでも一例であって、これに限定されるものでない。図31に示すようなユーザデータメッセージを用いることで、リニアPCM信号に関係する種々の情報を受信側に送ることができる。
 「再生制御情報による再生制御の具体例」
 再生制御情報による再生制御の具体例について説明する。最初に、圧縮オーディオ信号の再生レベル調整をする場合について、図33を参照して説明する。図33(a)は、テレビ受信機100からオーディオアンプ200に送信されてくる、チャネルステータスの第61ビットおよび第62ビットの2ビットの再生制御情報の時間方向の変化の一例を示している。図示の例では、“00”→“10”→“01”→“10”のように、変化している。
 図33(b)は、オーディオアンプ200における、再生制御情報に基づいた、圧縮オーディオ信号の再生レベル調整の時間方向の変化の一例を示している。“00”の期間では、圧縮オーディオ信号の再生レベル調整は、オーディオアンプ200側の任意の処理となる。その後の“10”の期間では、圧縮オーディオ信号の再生レベルは、0dBに調整される、つまり再生レベルを低くする調整はされない。
 また、その後の“01”の期間では、圧縮オーディオ信号の再生レベルは、-10dBに調整される、つまり10dB低くなるように調整される。この“01”の期間は、例えば、テレビ受信機100からオーディオアンプ200に、圧縮ビデオ信号と共にインターホン125からのリニアPCM信号、リモコン126の操作音のリニアPCM信号、あるいはメール受信通知音のリニアPCM信号などが同時に送られてくる期間に対応する。さらに、その後の“10”の期間では、圧縮オーディオ信号の再生レベルは、0dBに調整される。
 ここで、“10”から“01”に変化する部分では、圧縮オーディオ信号の再生レベルが0dBから-10dBに急激に変化するのではなく、徐々に再生レベルが低くなるフェードアウト状態とされ、同様に、“01”から“10”に変化する部分では、圧縮オーディオ信号の再生レベルが-10dBから0dBに急激に変化するのではなく、徐々に再生レベルが高くなるフェードイン状態とされる。これにより、急激な音量変化でユーザに違和感を与えることが回避される。
 このような再生レベル調整で圧縮オーディオ信号の再生レベルが低く調整され、インターホン125からのリニアPCM信号、リモコン126の操作音のリニアPCM信号、あるいはメール受信通知音のリニアPCM信号などの再生音がユーザに目立つようになり、ユーザに気付かせることができる。
 次に、圧縮オーディオ信号のセンターチャネルをリニアPCM信号に置き換える場合について、図34を参照して説明する。図34(a)は、テレビ受信機100からオーディオアンプ200に送信されてくる、チャネルステータスの第61ビットおよび第62ビットの2ビットの再生制御情報の時間方向の変化の一例を示している。図示の例では、“00”→“10”→“11”→“10”のように、変化している。
 図34(b)は、オーディオアンプ200における、再生制御情報に基づいた、圧縮オーディオ信号のセンターチャネルの再生レベル調整の時間方向の変化の一例を示している。“00”の期間では、圧縮オーディオ信号の再生レベル調整は、オーディオアンプ200側の任意の処理となる。その後の“10”の期間では、圧縮オーディオ信号の再生レベルは、0dBに調整される、つまり再生レベルを低くする調整はされない。
 また、その後の“11”の期間では、圧縮オーディオ信号の再生レベルはミュート状態とされる。この“11”の期間に、圧縮オーディオ信号のセンターチャネルと置き換えられるリニアPCM信号が、圧縮オーディオ信号と同時に、テレビ受信機100からオーディオアンプ200に送られてくる。
 図34(c)は、圧縮オーディオ信号のセンターチャネルと置き換えられるリニアPCM信号を示している。このリニアPCM信号は、“11”の期間において、ミュート状態から0dBの状態となり、その後に、0dBの状態からミュート状態に変化している。このようなリニアPCM信号のレベル変化は送信側であるテレビ受信機100のミキサ111や音声合成回路109等で処理される。
 また、その後の“10”の期間では、圧縮オーディオ信号の再生レベルは、0dBに調整される。
 このように、この“11”の期間に、圧縮オーディオ信号のセンターチャネルの再生レベルがミュート状態とされ、またこの期間でリニアPCM信号の再生レベルが0dBとなるので、圧縮オーディオ信号のセンターチャネルがリニアPCM信号(例えば、カラオケモードにおける歌唱音声のリニアPCM信号、多言語コンテンツにおける他言語音声のリニアPCM信号など)に置き換えらえる。
 ここで、圧縮オーディオ信号のセンターチャネルの再生レベルの変化部分および置き換え対象であるリニアPCM信号のレベル変化部分に関して、フェードアウト処理やフェードイン処理がなされ、急激な音量変化でユーザに違和感を与えることが回避される。
 すなわち、“10”から“11”に変化する部分では、圧縮オーディオ信号のセンターチャネルの再生レベルが0dBからミュート状態に急激に変化するのではなく、徐々に再生レベルが低くなるフェードアウト状態とされ、同様に、“11”から“10”に変化する部分では、圧縮オーディオ信号のセンターチャネルの再生レベルがミュート状態から0dBに急激に変化するのではなく、徐々に再生レベルが高くなるフェードイン状態とされる。
 また、置き換え対象であるリニアPCM信号に関しても、ミュート状態から0dBに変化する部分では、リニアPCM信号のレベルがミュート状態から0dBに急激に変化するのではなく、徐々に再生レベルが高くなるフォードイン状態とされ、同様に、0dBからミュート状態に変化する部分では、リニアPCM信号のレベルが0dBからミュート状態に急激に変化するのではなく、徐々に再生レベルが低くなるフォードアウト状態とされる。
 次に、ユーザの所定の操作に対応して圧縮オーディオ信号の再生レベルを下げる場合について、図35を参照して説明する。ここでは、ユーザがリモコン126の特定のボタンをオンオフ操作する場合を例として挙げる。
 図35(a)は、ユーザがリモコン126の特定のボタンをオンオフ操作するタイミングの一例を示している。図35(b)は、そのボタン操作に対応して、テレビ受信機100からオーディオアンプ200に送信されてくる、チャネルステータスの第61ビットおよび第62ビットの2ビットの再生制御情報の時間方向の変化の一例を示している。図示の例では、“00”→“10”→“01”→“10”のように、変化している。この場合、再生制御情報は、特定のボタンがオン状態とされる期間において“01”とされる。
 図35(c)は、オーディオアンプ200における、再生制御情報に基づいた、圧縮オーディオ信号の再生レベル調整の時間方向の変化の一例を示している。“00”の期間では、圧縮オーディオ信号の再生レベル調整は、オーディオアンプ200側の任意の処理となる。その後の“10”の期間では、圧縮オーディオ信号の再生レベルは、0dBに調整される、つまり再生レベルを低くする調整はされない。
 また、その後の“01”の期間では、圧縮オーディオ信号の再生レベルは、-10dBに調整される、つまり10dB低くなるように調整される。この“01”の期間は、上述したように、ユーザがリモコン126の特定のボタンをオン状態としている期間に相当する。さらに、その後の“10”の期間では、圧縮オーディオ信号の再生レベルは、0dBに調整される。
 ここで、“10”から“01”に変化する部分では、圧縮オーディオ信号の再生レベルが0dBから-10dBに急激に変化するのではなく、徐々に再生レベルが低くなるフェードアウト状態とされ、同様に、“01”から“10”に変化する部分では、圧縮オーディオ信号の再生レベルが-10dBから0dBに急激に変化するのではなく、徐々に再生レベルが高くなるフェードイン状態とされる。これにより、急激な音量変化でユーザに違和感を与えることが回避される。
 このようにユーザの所定の操作、例えばリモコンの特定のボタンをオン状態とする操作で、圧縮オーディオ信号の再生レベルが下げられ、圧縮オーディオ信号の再生音がユーザに邪魔になることを一時的に回避することが可能となる。
 例えば、家庭において複数人の家族で映画をいっしょに鑑賞しているとする。画像はテレビ受信機100で、音声はオーディオアンプ200で再生されており、マルチチャンネルサラウンド音声を楽しんでいるものとする。妻が用事を思い出し、夫に話しかけようとするがマルチチャンネルサラウンド音声の音量が大きく夫は気が付かない。しかし、映画の再生を中断するほどの用事でもない。このような場合、妻は、リモコン126の“圧縮音声再生レベルダウン”ボタンを押し続けて圧縮オーディオ信号の再生音音量を一時的に下げて、自分の声が夫に聞こえるようにして良好な会話を可能とできる。
 上述したように、図1に示すAVシステム10において、テレビ受信機100からオーディオアンプ200に圧縮オーディオ信号とリニアPCM信号を同時に含むオーディオ信号(SPDIF信号を伝送する際に、そのオーディオ信号に再生制御情報を付加するものである。そのため、オーディオアンプ200では、その再生制御情報に基づいて、圧縮オーディオ信号および/またはリニアPCM信号の再生制御を良好に行うことができる。
 <2.変形例>
 なお、上述実施の形態においては、再生制御の例として、(1)リニアPCM信号と同時に再生される圧縮オーディオ信号の再生レベル調整を低くする制御、(2)圧縮オーディオ信号のセンターチャネルをリニアPCM信号に置き換える制御、(3)ユーザが所定の操作を行っている期間に圧縮オーディオ信号の再生レベルを低くする制御、(4)圧縮オーディオ信号と同時に再生されるリニアPCM信号の音声をユーザの近傍に定位させる制御、(5)圧縮オーディオ信号と同時に再生されるリニアPCM信号の再生スピーカをユーザの手元スピーカとする制御などを挙げた。しかし、本技術が適用される再生制御の例は、これに限定されるものではない。
 また、上述実施の形態においては、再生制御情報を2ビットの情報として、チャネルステータスの第61ビットおよび第62ビットの2ビット領域に配置する例を示したが、配置位置および情報ビット数は、これに限定されるものではない。また、配置位置は、チャネルステータス以外の領域、つまりブロック内の所定ビット領域を利用してもよい。
 また、上述実施の形態においては、IEC 60958伝送路としてHDMI ARCを利用する例を示したが、IEC 60958伝送路として、同軸ケーブルや光ケーブルを利用する例も考えられる。また、IEC 60958伝送路として、HDMI伝送路を利用する例も考えられる。この場合、SPDIF信号(IEC 60958信号)はオーディオサンプルパケット(audio sample packet)にマッピングされ、ビデオ伝送と同じ順方向に伝送される。同様に、IEC 60958伝送路として、IEC 61883-6伝送路、MHL伝送路、ディスプレイポート伝送路(DP伝送路)などを利用する例も考えられる。これらの場合も、SPDIF信号(IEC 60958信号)はオーディオサンプルパケット(audio sample packet)にマッピングされ、ビデオ伝送と同じ順方向に伝送される。
 また、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 また、技術は、以下のような構成もとることができる。
 (1)所定単位のオーディオ信号を順次所定伝送路を介して受信側に送信する送信部を備え、
 上記所定単位のオーディオ信号は、圧縮オーディオ信号およびリニアPCM信号の混在信号であり、
 上記送信されるオーディオ信号に、該オーディオ信号の再生制御情報を付加する情報付加部をさらに備える
 送信装置。
 (2)上記再生制御情報は、上記圧縮オーディオ信号をデコードして得られたオーディオ信号の再生レベル調整を制御するための情報を含む
 前記(1)に記載の送信装置。
 (3)上記再生制御情報は、上記圧縮オーディオ信号をデコードして得られたセンターチャネルのオーディオ信号を上記リニアPCM信号に置き換える制御をするための情報を含む
 請求項1に記載の送信装置。
 (4)上記再生制御情報は、ユーザの所定の操作に対応して上記圧縮オーディオ信号をデコードして得られたオーディオ信号の再生レベルを下げるように制御するための情報を含む
 請求項1に記載の送信装置。
 (5)上記再生制御情報は、上記リニアPCM信号による音像の定位位置がユーザの近傍位置に定位するように制御するための情報を含む
 請求項1に記載の送信装置。
 (6)上記再生制御情報は、上記リニアPCM信号の再生スピーカとしてユーザの手元スピーカを用いるように制御するための情報を含む
 請求項1に記載の送信装置。
 (7)上記情報付加部は、所定数の上記所定単位毎に構成される各ブロック内の所定ビット領域を用いて上記再生制御情報を付加する
 前記(1)から(6)のいずれかに記載の送信装置。
 (8)上記各ブロック内の所定ビット領域は、上記各ブロックのチャネルステータスの所定ビット領域である
 前記(7)に記載の送信装置。
 (9)上記再生制御情報に関する情報を表示するための表示部をさらに備える
 前記(1)から(8)のいずれかに記載の送信装置。
 (10) 上記所定単位のオーディオ信号は、サブフレーム単位のオーディオ信号である
 前記(1)から(9)のいずれかに記載の送信装置。
 (11)上記サブフレーム単位のオーディオ信号において、上記圧縮オーディオ信号は上位ビット側に配置され、上記リニアPCM信号は下位ビット側に配置される
 前記(10)に記載の送信装置。
 (12)上記リニアPCM信号は、リアルタイム性を要求するオーディオ信号である
 前記(1)から(11)のいずれかに記載の送信装置。
 (13)上記送信されるオーディオ信号に、上記所定単位のオーディオ信号は圧縮オーディオ信号およびリニアPCM信号の混在信号であることを示す識別情報を付加する情報付加部をさらに備える
 前記(1)から(12)のいずれかに記載の送信装置。
 (14)上記所定伝送路は、同軸ケーブル、光ケーブル、イーサネット(IEC 61883-6)ケーブル、HDMIケーブル、MHLケーブルまたはディスプレイポートケーブルである
 前記(1)から(13)のいずれかに記載の送信装置。
 (15)所定単位のオーディオ信号を順次所定伝送路を介して受信側に送信する手順を有し、
 上記所定単位のオーディオ信号は、圧縮オーディオ信号およびリニアPCM信号の混在信号であり、
 上記送信されるオーディオ信号に、該オーディオ信号の再生制御情報を付加する手順をさらに有する
 送信方法。
 (16)所定単位のオーディオ信号を送信側から順次所定伝送路を介して受信する受信部を備え、
 上記所定単位のオーディオ信号は、圧縮オーディオ信号およびリニアPCM信号の混在信号であり、
 上記受信されるオーディオ信号に、該オーディオ信号の再生制御情報が付加されており、
 上記再生制御情報に基づいて、上記圧縮オーディオ信号および/または上記リニアPCM信号の再生を制御する再生制御部をさらに備える
 受信装置。
 (17)上記再生制御情報に関する情報を表示するための表示部をさらに備える
 前記(16)に記載の受信装置。
 (18)所定単位のオーディオ信号を送信側から順次所定伝送路を介して受信する手順を有し、
 上記所定単位のオーディオ信号は、圧縮オーディオ信号およびリニアPCM信号の混在信号であり、
 上記受信されるオーディオ信号に、該オーディオ信号の再生制御情報が付加されており、
 上記圧縮オーディオ信号および/または上記リニアPCM信号の再生を、上記再生制御情報に基づいて制御する手順をさらに有する
 受信方法。
 10・・・・AVシステム
 100・・・テレビ受信機
 101・・・HDMI端子
 102・・・HDMI受信部
 103・・・高速バスインタフェース
 104・・・SPDIF送信回路
 105・・・システムコントローラ
 107・・・デジタル放送受信回路
 108・・・コンテンツ再生回路
 109・・・音声合成回路
 110・・・イーサネットインタフェース
 111・・・ミキサ
 112・・・オーバーレイ回路
 113・・・ディスプレイ
 121・・・受信アンテナ
 122・・・BDプレーヤ
 123・・・インターネット
 124・・・マイクロホン
 125・・・インターホン
 126・・・リモートコントローラ
 200・・・オーディオアンプ
 201・・・HDMI端子
 202・・・HDMI送信部
 203・・・高速バスインタフェース
 204・・・SPDIF受信回路
 205・・・システムコントローラ
 206・・・圧縮オーディオデコード回路
 207・・・オーディオミキサ
 208・・・アンプ
 209・・・表示部
 210・・・イーサネットインタフェース
 211・・・デジタルシグナルプロセッサ
 250・・・スピーカシステム
 251・・・手元スピーカシステム
 300・・・HDMIケーブル

Claims (18)

  1.  所定単位のオーディオ信号を順次所定伝送路を介して受信側に送信する送信部を備え、
     上記所定単位のオーディオ信号は、圧縮オーディオ信号およびリニアPCM信号の混在信号であり、
     上記送信されるオーディオ信号に、該オーディオ信号の再生制御情報を付加する情報付加部をさらに備える
     送信装置。
  2.  上記再生制御情報は、上記圧縮オーディオ信号をデコードして得られたオーディオ信号の再生レベル調整を制御するための情報を含む
     請求項1に記載の送信装置。
  3.  上記再生制御情報は、上記圧縮オーディオ信号をデコードして得られたセンターチャネルのオーディオ信号を上記リニアPCM信号に置き換える制御をするための情報を含む
     請求項1に記載の送信装置。
  4.  上記再生制御情報は、ユーザの所定の操作に対応して上記圧縮オーディオ信号をデコードして得られたオーディオ信号の再生レベルを下げるように制御するための情報を含む
     請求項1に記載の送信装置。
  5.  上記再生制御情報は、上記リニアPCM信号による音像の定位位置がユーザの近傍位置に定位するように制御するための情報を含む
     請求項1に記載の送信装置。
  6.  上記再生制御情報は、上記リニアPCM信号の再生スピーカとしてユーザの手元スピーカを用いるように制御するための情報を含む
     請求項1に記載の送信装置。
  7.  上記情報付加部は、所定数の上記所定単位毎に構成される各ブロック内の所定ビット領域を用いて上記再生制御情報を付加する
     請求項1に記載の送信装置。
  8.  上記各ブロック内の所定ビット領域は、上記各ブロックのチャネルステータスの所定ビット領域である
     請求項7に記載の送信装置。
  9.  上記再生制御情報に関する情報を表示するための表示部をさらに備える
     請求項1に記載の送信装置。
  10.  上記所定単位のオーディオ信号は、サブフレーム単位のオーディオ信号である
     請求項1に記載の送信装置。
  11.  上記サブフレーム単位のオーディオ信号において、上記圧縮オーディオ信号は上位ビット側に配置され、上記リニアPCM信号は下位ビット側に配置される
     請求項10に記載の送信装置。
  12.  上記リニアPCM信号は、リアルタイム性を要求するオーディオ信号である
     請求項1に記載の送信装置。
  13.  上記送信されるオーディオ信号に、上記所定単位のオーディオ信号は圧縮オーディオ信号およびリニアPCM信号の混在信号であることを示す識別情報を付加する情報付加部をさらに備える
     請求項1に記載の送信装置。
  14.  上記所定伝送路は、同軸ケーブル、光ケーブル、イーサネット(IEC 61883-6)ケーブル、HDMIケーブル、MHLケーブルまたはディスプレイポートケーブルである
     請求項1に記載の送信装置。
  15.  所定単位のオーディオ信号を順次所定伝送路を介して受信側に送信する手順を有し、
     上記所定単位のオーディオ信号は、圧縮オーディオ信号およびリニアPCM信号の混在信号であり、
     上記送信されるオーディオ信号に、該オーディオ信号の再生制御情報を付加する手順をさらに有する
     送信方法。
  16.  所定単位のオーディオ信号を送信側から順次所定伝送路を介して受信する受信部を備え、
     上記所定単位のオーディオ信号は、圧縮オーディオ信号およびリニアPCM信号の混在信号であり、
     上記受信されるオーディオ信号に、該オーディオ信号の再生制御情報が付加されており、
     上記再生制御情報に基づいて、上記圧縮オーディオ信号および/または上記リニアPCM信号の再生を制御する再生制御部をさらに備える
     受信装置。
  17.  上記再生制御情報に関する情報を表示するための表示部をさらに備える
     請求項16に記載の受信装置。
  18.  所定単位のオーディオ信号を送信側から順次所定伝送路を介して受信する手順を有し、
     上記所定単位のオーディオ信号は、圧縮オーディオ信号およびリニアPCM信号の混在信号であり、
     上記受信されるオーディオ信号に、該オーディオ信号の再生制御情報が付加されており、
     上記圧縮オーディオ信号および/または上記リニアPCM信号の再生を、上記再生制御情報に基づいて制御する手順をさらに有する
     受信方法。
PCT/JP2020/027914 2019-08-30 2020-07-17 送信装置、送信方法、受信装置および受信方法 WO2021039189A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/636,653 US20220303706A1 (en) 2019-08-30 2020-07-17 Transmission device, transmission method, reception device, and reception method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-157954 2019-08-30
JP2019157954 2019-08-30

Publications (1)

Publication Number Publication Date
WO2021039189A1 true WO2021039189A1 (ja) 2021-03-04

Family

ID=74684132

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/027914 WO2021039189A1 (ja) 2019-08-30 2020-07-17 送信装置、送信方法、受信装置および受信方法

Country Status (2)

Country Link
US (1) US20220303706A1 (ja)
WO (1) WO2021039189A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009122609A (ja) * 2007-11-19 2009-06-04 Nippon Telegr & Teleph Corp <Ntt> 音響信号符号化装置と音響信号復号化装置と、その方法とプログラムと記録媒体
JP2016509693A (ja) * 2013-01-28 2016-03-31 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ 新しいメディア装置に関する埋め込み音量メタデータを有する、および、有しないメディアの正規化音声再生のための方法と装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1365385B1 (en) * 1998-11-09 2012-06-13 Broadcom Corporation Graphics display system with processing of graphics layers, alpha blending and composition with video data
US10593337B2 (en) * 2015-07-10 2020-03-17 Sony Corporation Transmission apparatus, transmission method, reception apparatus, and reception method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009122609A (ja) * 2007-11-19 2009-06-04 Nippon Telegr & Teleph Corp <Ntt> 音響信号符号化装置と音響信号復号化装置と、その方法とプログラムと記録媒体
JP2016509693A (ja) * 2013-01-28 2016-03-31 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ 新しいメディア装置に関する埋め込み音量メタデータを有する、および、有しないメディアの正規化音声再生のための方法と装置

Also Published As

Publication number Publication date
US20220303706A1 (en) 2022-09-22

Similar Documents

Publication Publication Date Title
US8953824B2 (en) Display apparatus having object-oriented 3D sound coordinate indication
US8446533B2 (en) Television apparatus and method for controlling the same
US20060009985A1 (en) Multi-channel audio system
JP4785989B2 (ja) 映像音声送信装置および映像音声受信装置
US12003886B2 (en) Transmission device, transmission method, reception device, and reception method
US8090235B2 (en) Relay apparatus, and reproduction system
JP7452526B2 (ja) 送信装置、送信方法、受信装置および受信方法
WO2021039189A1 (ja) 送信装置、送信方法、受信装置および受信方法
WO2019225448A1 (ja) 送信装置、送信方法、受信装置および受信方法
JPWO2020045044A1 (ja) 送信装置、送信方法、受信装置および受信方法
WO2019225449A1 (ja) 送信装置、送信方法、受信装置および受信方法
WO2021131767A1 (ja) 送信装置、送信方法、受信装置および受信方法
US12014709B2 (en) Transmission device, transmission method, reception device and reception method
CN1953526B (zh) 显示装置以及应用该显示装置的影音播放***
JP2007243460A (ja) 中継装置、av再生システムおよびavソース装置
WO2023189162A1 (ja) 送信装置、受信装置および送受信システム
JP6074899B2 (ja) 音データ処理装置
KR100640832B1 (ko) 디지털 티브이
JP2011082661A (ja) 映像音響装置及びその制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20858033

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20858033

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP