WO2020045044A1 - 送信装置、送信方法、受信装置および受信方法 - Google Patents
送信装置、送信方法、受信装置および受信方法 Download PDFInfo
- Publication number
- WO2020045044A1 WO2020045044A1 PCT/JP2019/031547 JP2019031547W WO2020045044A1 WO 2020045044 A1 WO2020045044 A1 WO 2020045044A1 JP 2019031547 W JP2019031547 W JP 2019031547W WO 2020045044 A1 WO2020045044 A1 WO 2020045044A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- signal
- channel
- predetermined number
- channels
- transmission
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
- H04N7/035—Circuits for the digital non-picture data signal, e.g. for slicing of the data signal, for regeneration of the data-clock signal, for error detection or correction of the data signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23614—Multiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4348—Demultiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
- H04N5/602—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for digital sound signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
- H04N5/607—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for more than one sound signal, e.g. stereo, multilanguages
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/10—Adaptations for transmission by electrical cable
Definitions
- the present technology relates to a transmission device, a transmission method, a reception device, and a reception method, and more particularly, to a transmission device, a transmission method, a reception device, and a reception method that handle a haptic vibration signal together with an audio signal.
- a name is assigned and used to identify each channel usage. For example, there are a right channel, a left channel, a center channel, an LFE (Low Frequency ⁇ Effect) channel, and the like. These are expected to be delivered to loudspeakers arranged at the position indicated by the name and reproduced as sound.
- LFE Low Frequency ⁇ Effect
- Patent Literature 1 discloses a technique in which a haptic vibration signal (a haptic signal) is transmitted, and a receiving side vibrates a vibrating unit based on the haptic vibration signal.
- haptic vibration applications used in synchronization with audio / video
- the haptic vibration signal has a different signal property from the audio signal, and it is desired that the haptic vibration signal can be clearly distinguished from the audio signal.
- the tactile vibration signal itself is operated by combining a plurality of signals, and it is desired that these signals can be identified.
- the purpose of the present technology is to satisfactorily transmit a haptic vibration signal in synchronization with an audio signal.
- the concept of this technology is A transmission unit that sequentially transmits a transmission signal for each block composed of a plurality of frames to a reception side via a predetermined transmission path,
- the transmission signal is in a transmission device including an audio signal of a predetermined number of channels and a haptic vibration signal of a predetermined number of channels.
- the transmission unit sequentially transmits transmission signals for each block including a plurality of frames to the reception side via a predetermined transmission path.
- the transmission signal includes a predetermined number of channels of audio signals and a predetermined number of channels of tactile vibration signals.
- the predetermined transmission path may be a coaxial cable, an optical cable, an Ethernet (IEC # 61883-6) cable, an HDMI cable, an MHL cable, or a display port cable.
- a processing unit that generates a haptic vibration signal based on a media signal related to the audio signal may be further provided.
- the transmission signal may further include an information adding unit that adds configuration information of an audio signal of a predetermined number of channels and a haptic vibration signal of a predetermined number of channels.
- the configuration information may include identification information for distinguishing the haptic vibration signal from the audio signal.
- the identification information may include information on a vibration position targeted by each of the haptic vibration signals of the predetermined number of channels.
- the information adding unit may add the configuration information using a predetermined bit area of the channel status configured for each block. Further, for example, the information adding unit may add the configuration information using the user data bits of a predetermined number of consecutive frames.
- the plurality of frames are configured by repeating a multi-channel group including a predetermined number of frames, and the transmission unit transmits a predetermined number of channels of audio signals and a predetermined number of channels of haptic vibration signals to each of the multi-channel groups in a predetermined number.
- the transmission may be performed by arranging in a time division manner for each channel in all or a part of the number of frames.
- a transmission signal for each block including a plurality of frames, including an audio signal of a predetermined number of channels and a haptic vibration signal of a predetermined number of channels is sequentially transmitted to a receiving side via a predetermined transmission path. It is. Therefore, the haptic vibration signal can be transmitted well in synchronization with the audio signal.
- a receiving unit that sequentially receives a transmission signal for each block composed of a plurality of frames from a transmission side via a predetermined transmission path,
- the transmission signal is in a receiving device including an audio signal of a predetermined number of channels and a tactile vibration signal of a predetermined number of channels.
- the receiving unit sequentially receives a transmission signal for each block including a plurality of frames from the transmission side via a predetermined transmission path.
- the transmission signal includes a predetermined number of channels of audio signals and a predetermined number of channels of tactile vibration signals.
- the predetermined transmission path may be a coaxial cable, an optical cable, an Ethernet (IEC # 61883-6) cable, an HDMI cable, an MHL cable, or a display port cable.
- the information processing apparatus may further include a processing unit that processes a transmission signal and outputs a predetermined number of audio signals and a predetermined number of haptic vibration signals.
- the transmission signal includes audio signal of a predetermined number of channels and configuration information of a haptic vibration signal of a predetermined number of channels
- the processing unit processes the signal based on the configuration information to generate audio of the predetermined number of channels.
- a signal and a haptic vibration signal of a predetermined number of channels may be output.
- the configuration information may be added using a predetermined bit area of a channel status configured for each block.
- the configuration information may be added using user data bits of a predetermined number of consecutive frames.
- a plurality of frames are composed of a repetition of a multi-channel group composed of a predetermined number of frames, and an audio signal of a predetermined number of channels and a haptic vibration signal of a predetermined number of channels include a predetermined number of frames for each multi-channel group. May be arranged in a time-division manner for all or some of the channels.
- a transmission signal for each block including a plurality of frames, including an audio signal of a predetermined number of channels and a haptic vibration signal of a predetermined number of channels is sequentially received by a transmission side via a predetermined transmission path. It is. Therefore, the haptic vibration signal can be favorably received in synchronization with the audio signal.
- FIG. 1 is a block diagram illustrating a configuration example of an AV system according to an embodiment.
- FIG. 3 is a diagram showing a comparison of examples of dynamic ranges, sampling frequencies, continuous / discontinuous, and dimensions of a video signal, an audio signal, and a haptic vibration signal. It is a block diagram which shows the example of a structure of the HDMI reception part of a television receiver, and the HDMI transmission part of an audio amplifier.
- FIG. 9 is a diagram illustrating sections of various types of transmission data when image data of 1920 pixels ⁇ 1080 lines is transmitted in the TMDS channel.
- FIG. 3 is a diagram illustrating a pin arrangement of an HDMI connector. It is a figure showing the example of composition of the high-speed bus interface of a television receiver.
- FIG. 3 is a diagram showing a comparison of examples of dynamic ranges, sampling frequencies, continuous / discontinuous, and dimensions of a video signal, an audio signal, and a haptic vibration signal. It is a block diagram which shows the example of a structure
- FIG. 3 is a diagram illustrating a configuration example of a high-speed bus interface of an audio amplifier. It is a figure showing the frame composition in IEC # 60958 standard.
- FIG. 3 is a diagram illustrating a subframe configuration in the IEC # 60958 standard. It is a figure which shows the signal modulation system in IEC @ 60958 standard.
- FIG. 4 is a diagram illustrating channel coding of a preamble in the IEC # 60958 standard.
- FIG. 3 is a diagram illustrating an example of a frame configuration in a multi-channel transmission format.
- FIG. 3 is a diagram schematically illustrating a format of a channel status in the IEC # 60958 standard.
- FIG. 9 is a diagram illustrating a correspondence relationship between values of a multi-channel configuration and audio channel sets indicated by the values. It is a figure showing an example of a packet which specifies the number of speakers for every height.
- FIG. 11 is a diagram illustrating an example of a packet that specifies the number of audio channels to be transmitted in the transmission order within a multi-channel group.
- FIG. 8 is a diagram showing a specific example of a method of specifying multi-channel groups 1 to 4 in a multi-channel transmission format.
- FIG. 4 is a diagram illustrating an example of a frame configuration of a multi-channel transmission format when a multi-channel audio signal and a haptic vibration signal of a predetermined number of channels are simultaneously transmitted.
- FIG. 11 is a diagram for describing an example in which a multi-channel subgroup for simultaneously transmitting a multi-channel audio signal and a haptic vibration signal of a predetermined number of channels is specified by a second method.
- FIG. 14 is a block diagram illustrating another configuration example of the AV system. It is a figure for explaining vibration data of the X-axis, the Y-axis, and the Z-axis which comprise a tactile vibration signal.
- FIG. 11 is a diagram for describing an example in which a multi-channel subgroup for simultaneously transmitting a multi-channel audio signal and a haptic vibration signal of a predetermined number of channels is specified by a second method.
- FIG. 14 is a block diagram illustrating another configuration example of the AV system. It is a figure for explaining vibration data of the X-axis, the Y-axis, and the Z-axis which comprise a tactile vibration signal.
- FIG. 11 is a diagram for describing an example in which a multi-channel sub
- FIG. 10 is a diagram for describing assignment of X-axis, Y-axis, and Z-axis vibration data constituting a haptic vibration signal to a 24-bit slot in a subframe of IEC # 60958-1.
- FIG. 9 is a diagram for describing a case where a cubic space that covers a user is considered and a haptic vibration signal at each vertex of the cube is transmitted as a representative.
- FIG. 1 shows a configuration example of an AV (Audio / Visual) system 10 as an embodiment.
- the AV system 10 includes a television receiver 100 and an audio amplifier 200.
- the television receiver 100 is connected to a television broadcast receiving antenna 121, a BD (Blu-ray Disc) player 122, and the Internet 123.
- BD Blu-ray Disc
- a two-channel or multi-channel speaker system 250 and a one-channel or plural-channel vibration system 260 are connected to the audio amplifier 200.
- “Blu-ray” is a registered trademark.
- the television receiver 100 and the audio amplifier 200 are connected via the HDMI cable 300.
- HDMI is a registered trademark.
- the television receiver 100 is provided with an HDMI terminal 101 to which an HDMI receiving unit (HDMI @ RX) 102 and a high-speed bus interface 103 constituting a communication unit are connected.
- the audio amplifier 200 is provided with an HDMI terminal 201 to which an HDMI transmission unit (HDMI @ TX) 202 and a high-speed bus interface 203 constituting a communication unit are connected.
- One end of the HDMI cable 300 is connected to the HDMI terminal 101 of the television receiver 100, and the other end is connected to the HDMI terminal 201 of the audio amplifier 200.
- the television receiver 100 includes an HDMI receiving unit 102, a high-speed bus interface 103, and an SPDIF transmission circuit 104.
- the television receiver 100 includes a system controller 105, a digital broadcast receiving circuit 107, a content reproduction circuit 108, a display unit 109, and an Ethernet interface 110.
- “Ethernet” and “Ethernet” are registered trademarks. In the illustrated example, each part of the image system is appropriately omitted for simplification of the description.
- the system controller 105 controls the operation of each unit of the television receiver 100.
- the digital broadcast receiving circuit 107 processes the television broadcast signal input from the receiving antenna 121 and outputs a video signal related to broadcast content, a multi-channel audio signal (linear PCM signal), and a haptic vibration signal of a predetermined number of channels.
- the multi-channel audio signal is composed of audio signals of a plurality of channels.
- the Ethernet interface 110 communicates with an external server via the Internet 123, and outputs a video signal related to net contents, a multi-channel audio signal (linear PCM signal), and a haptic vibration signal of a predetermined number of channels.
- the BD player 122 outputs a video signal, a multi-channel audio signal (linear PCM signal) and a tactile vibration signal of a predetermined number of channels according to the reproduction operation.
- the content reproduction circuit 108 selectively extracts a video signal, a multi-channel audio signal, and a haptic vibration signal of a predetermined number of channels obtained by the digital broadcast receiving circuit 107, the Ethernet interface 110 or the BD player 122. Then, the content reproduction circuit 108 sends the video signal to the display unit 109.
- the display unit 109 displays an image based on the video signal.
- the content reproduction circuit 108 transmits the multi-channel audio signal and the haptic vibration signal of the predetermined number of channels to the SPDIF transmission circuit 104.
- the SPDIF transmission circuit 104 is a circuit for transmitting a digital audio transmission signal of the IEC # 60958 standard (hereinafter, appropriately referred to as "SPDIF signal").
- the SPDIF transmission circuit 104 is a transmission circuit based on the IEC # 60958 standard. The details of the SPDIF signal will be described later.
- the SPDIF transmission circuit 104 transmits a multi-channel audio signal (linear PCM signal) and a haptic vibration signal of a predetermined number of channels to the audio amplifier 200 at the same time.
- a transmission signal for each block composed of a plurality of frames, here 192 frames, is sequentially transmitted as the SPDIF signal.
- the transmission signal includes a multi-channel audio signal (linear PCM signal) and a haptic vibration signal of a predetermined number of channels.
- the plurality of frames are formed by repeating a multi-channel group including a predetermined number of frames.
- the multi-channel audio signal and the haptic vibration signal of the predetermined number of channels are arranged in a time-division manner in all or a part of the predetermined number of frames for each channel in each multi-channel group.
- the configuration information of the multi-channel audio signal and the haptic vibration signal of the predetermined number of channels is added to the transmission signal.
- This configuration information includes identification information for distinguishing the haptic vibration signal from the audio signal.
- the identification information includes information on a vibration position targeted by each of the haptic vibration signals of a predetermined number of channels.
- the configuration information is added using a predetermined bit area of a channel status configured for each block.
- the configuration information is added using user data bits of a predetermined number of continuous frames.
- the HDMI receiving unit 102 receives video and audio data supplied to the HDMI terminal 101 via the HDMI cable 300 by communication conforming to HDMI.
- the high-speed bus interface 103 is an interface of a bidirectional communication path configured using a reserved line and an HPD (Hot Plug Detect) line configuring the HDMI cable 300. The details of the HDMI receiving unit 102 and the high-speed bus interface 103 will be described later.
- the audio amplifier 200 has an HDMI transmitting unit 202, a high-speed bus interface 203, and an SPDIF receiving circuit 204.
- the audio amplifier 200 includes a system controller 205, an audio amplifier 208, a vibration amplifier 209, and an Ethernet interface 210.
- the system controller 205 controls the operation of each unit of the audio amplifier 200.
- the HDMI transmitting unit 202 transmits video and audio data from the HDMI terminal 201 to the HDMI cable 300 by communication conforming to HDMI.
- the high-speed bus interface 203 is an interface of a bidirectional communication path configured by using a reserved line and an HPD (Hot Plug Detect) line configuring the HDMI cable 300. The details of the HDMI transmitting unit 202 and the high-speed bus interface 203 will be described later.
- the SPDIF receiving circuit 204 receives a transmission signal as an SDPIF signal (digital audio signal of IEC # 60958 standard), and acquires a multi-channel audio signal and a haptic vibration signal of a predetermined number of channels included in the transmission signal. In this case, a multi-channel audio signal and a haptic vibration signal of a predetermined number of channels are extracted based on the configuration information included in the transmission signal.
- SDPIF signal digital audio signal of IEC # 60958 standard
- the audio amplifier 208 amplifies the multi-channel audio signal extracted by the SPDIF receiving circuit 204 for each channel, and sends the amplified signal to a speaker system 250 having speakers corresponding to each channel. As a result, the speaker system 250 reproduces sound using the multi-channel audio signal.
- the vibration amplifier 209 amplifies the tactile vibration signal of a predetermined number of channels extracted by the SPDIF receiving circuit 204 for each channel, and sends the amplified signal to the vibration system 260 having a vibration device corresponding to each channel.
- vibration reproduction is performed by a tactile vibration signal of a predetermined number of channels.
- the haptic vibration signal of a predetermined number of channels is transmitted simultaneously with the multi-channel audio signal, the vibration reproduction is correctly synchronized with the audio reproduction, and the television receiver 100 Is synchronized with the image display on the display unit 109.
- FIG. 2 shows a comparison of examples of dynamic ranges, sampling frequencies, continuous / discontinuous, and dimensions of video signals, audio signals, and haptic vibration signals.
- dynamic range is 48-96 dB
- sampling frequency is 60 Hz
- discontinuous signals and 2D or 3D signals.
- the audio signal has a dynamic range of 96 dB to 144 dB, a sampling frequency of 48 kHz, a continuous signal, and a one-dimensional signal.
- the dynamic range is 40-60 dB
- the sampling frequency is 2 kHz
- continuous signal is 2 kHz
- one-dimensional signal the haptic vibration signal is a continuous signal having a high sampling frequency similarly to the audio signal. Therefore, as described above, by transmitting the haptic vibration signal simultaneously with the audio signal using the transmission path of the audio signal, transmission synchronized with the audio signal can be easily and easily achieved.
- the tactile vibration signal has a dynamic range of 40 to 60 dB and a frequency band of DC-1 kHz, but is closer to an audio signal than a video signal.
- a digital audio interface capable of transmitting linear PCM can also transmit tactile vibration signals.
- expressions such as “press” with a plus and “pull” or “pull” with a minus can be used.
- FIG. 3 shows a configuration example of the HDMI receiving unit 102 of the television receiver 100 and the HDMI transmitting unit 202 of the audio amplifier 200 in the AV system 10 of FIG.
- the HDMI transmission unit 202 is an effective image section which is a section obtained by excluding a horizontal blanking period and a vertical blanking period from a section from a certain vertical synchronization signal to a next vertical synchronization signal (hereinafter, appropriately referred to as “video field”).
- video field a next vertical synchronization signal
- active video section a differential signal of image data for one screen of baseband (uncompressed) is transmitted in one direction to the HDMI receiving unit 102 over a plurality of channels.
- the HDMI transmission unit 202 transmits a differential signal corresponding to audio data and control packets (Control @ Packet) accompanying image data and other auxiliary data to a plurality of The signal is transmitted in one direction to the HDMI receiving unit 102 via a channel.
- the HDMI transmission unit 202 includes a source signal processing unit 71 and an HDMI transmitter 72.
- the source signal processing unit 71 is supplied with baseband uncompressed image (Video) and audio (Audio) data.
- the source signal processing section 71 performs necessary processing on the supplied image and audio data, and supplies the processed data to the HDMI transmitter 72.
- the source signal processing unit 71 exchanges control information and information (Control / Status) for notifying the status with the HDMI transmitter 72 as necessary.
- the HDMI transmitter 72 converts the image data supplied from the source signal processing unit 71 into a corresponding differential signal, and connects the HDMI cable 300 with three TMDS channels # 0, # 1, and # 2 as a plurality of channels.
- the signal is transmitted in one direction to the HDMI receiving unit 102 connected thereto via the LAN.
- audio data and control packets and other auxiliary data (auxiliary data) accompanying the uncompressed image data supplied from the transmitter 72 and the source signal processing unit 71, a vertical synchronization signal (VSYNC), and a horizontal synchronization signal (HSYNC) ) Is converted into a corresponding differential signal and transmitted to the HDMI receiving unit 102 connected via the HDMI cable 300 by three TMDS channels # 0, # 1, and # 2. , Send in one direction.
- the transmitter 72 transmits the pixel clock synchronized with the image data transmitted on the three TMDS channels # 0, # 1, and # 2 to the HDMI receiving unit 102 connected via the HDMI cable 300 using the TMDS clock channel. Send.
- the HDMI receiving unit 102 receives a differential signal corresponding to image data transmitted in one direction from the HDMI transmitting unit 202 in a plurality of channels in the active video period, and performs a horizontal blanking period and a vertical blanking period. , A differential signal corresponding to auxiliary data and control data transmitted from the HDMI transmitting unit 202 is received over a plurality of channels.
- the HDMI receiving unit 102 includes an HDMI receiver 81 and a sync signal processing unit 82.
- the HDMI receiver 81 includes, on the TMDS channels # 0, # 1, and # 2, a differential signal corresponding to image data, transmitted in one direction from the HDMI transmitting unit 202 connected via the HDMI cable 300, A differential signal corresponding to auxiliary data or control data is received in synchronization with a pixel clock transmitted from the HDMI transmitting unit 202 via a TMDS clock channel. Further, the HDMI receiver 81 converts the differential signal into corresponding image data, auxiliary data, and control data, and supplies the data to the sync signal processing unit 82 as necessary.
- the sync signal processing unit 82 performs necessary processing on the data supplied from the HDMI receiver 81 and outputs the processed data. In addition, the sync signal processing unit 82 exchanges control information and information (Control / Status) for notifying the status with the HDMI receiver 81 as necessary.
- the HDMI transmission channel includes three TMDS channels for one-way serial transmission of image data, auxiliary data, and control data from the HDMI transmission unit 202 to the HDMI reception unit 102 in synchronization with a pixel clock.
- TMDS clock channel As a transmission channel for transmitting a pixel clock, there is a DDC (Display Data Channel) 83 and a transmission channel called a CEC line 84.
- the DDC 83 includes two lines (signal lines) (not shown) included in the HDMI cable 300, and the source device transmits E-EDID (Enhanced-Extended Display Identification) from a sink device connected via the HDMI cable 300. Used to read. That is, the sink device has the EDID ROM 85. The source device reads, via the DDC 83, the E-EDID stored in the EDID ROM 85 from the sink device connected via the HDMI cable 300, and recognizes the settings and performance of the sink device based on the E-EDID. I do.
- E-EDID Enhanced-Extended Display Identification
- the CEC line 84 includes one line (not shown) included in the HDMI cable 300 and is used for performing bidirectional communication of control data between the source device and the sink device.
- the HDMI cable 300 also includes a line 86 connected to a pin called HPD (Hot Plug Detect).
- HPD Hot Plug Detect
- the source device can detect the connection of the sink device by using the line 86.
- the HDMI cable 300 includes a line 87 used to supply power from the source device to the sink device. Further, the HDMI cable 300 includes a reserved line 88.
- FIG. 4 shows sections of various types of transmission data when image data of 1920 pixels ⁇ 1080 lines is transmitted in the TMDS channel.
- a video field (Video ⁇ Field) in which transmission data is transmitted through three HDMI TMDS channels includes a video data section 24 (Video ⁇ Data ⁇ Period), a data island section 25 (Data ⁇ Island ⁇ Period), And a control section 26 (Control @ Period).
- the video field section is a section from the rising edge (Active @ Edge) of a certain vertical synchronization signal to the rising edge of the next vertical synchronization signal, and includes a horizontal retrace period 22 (Horizontal @ Blanking) and a vertical retrace period 23 ( Vertical Blanking) and an effective pixel section 21 (Active Video) which is a section obtained by excluding the horizontal retrace period and the vertical retrace period from the video field section.
- the video data section 24 is allocated to the effective pixel section 21.
- data of 1920 pixels (pixels) ⁇ 1080 lines of effective pixels (Active @ Pixel) constituting uncompressed image data of one screen is transmitted.
- the data island section 25 and the control section 26 are allocated to the horizontal retrace period 22 and the vertical retrace period 23.
- auxiliary data (Auxiliary @ Data) is transmitted.
- the data island section 25 is assigned to a part of the horizontal retrace period 22 and a part of the vertical retrace period 23.
- data that is not related to control for example, a packet of audio data or the like is transmitted.
- the control section 26 is allocated to the other portions of the horizontal retrace period 22 and the vertical retrace period 23.
- data related to control for example, a vertical synchronization signal and a horizontal synchronization signal, a control packet, and the like are transmitted.
- FIG. 5 shows the pin arrangement of the HDMI connector.
- This pin arrangement is an example of type A (type-A).
- Two lines which are differential lines for transmitting TMDS @ Data # i + and TMDS @ Data # i- which are differential signals of the TMDS channel #i are pins to which TMDS @ Data # i + is assigned (the pin number is 1). , 4, 7) and the pins to which TMDS @ Data # i- are assigned (pins 3, 6, and 9).
- the CEC line 84 for transmitting a CEC signal as control data is connected to a pin having a pin number of 13, and a pin having a pin number of 14 is an unused (Reserved) pin.
- a line for transmitting an SDA (Serial @ Data) signal such as an E-EDID is connected to a pin having a pin number of 16, and an SCL (Serial @ Clock) which is a clock signal used for synchronization when transmitting and receiving the SDA signal.
- the line through which the signal is transmitted is connected to the pin having the pin number 15.
- the above-described DDC 83 includes a line for transmitting the SDA signal and a line for transmitting the SCL signal.
- the HPD line 86 for detecting the connection of the sink device by the source device is connected to the pin having the pin number 19. Further, as described above, the power supply line 87 for supplying power is connected to the pin having the pin number 18.
- FIG. 6 shows a configuration example of the high-speed bus interface 103 of the television receiver 100 in the AV system 10 of FIG.
- the Ethernet interface 110 performs LAN (Local Area Network) communication, that is, transmission and reception of Ethernet signals, using a transmission line formed by a pair of a reserved line and an HPD line among a plurality of lines configuring the HDMI cable 300.
- the SPDIF transmission circuit 104 transmits an SPDIF signal using the transmission path formed by the pair of lines described above.
- the television receiver 100 includes a LAN signal transmission circuit 441, a termination resistor 442, AC coupling capacitors 443 and 444, a LAN signal reception circuit 445, a subtraction circuit 446, addition circuits 449 and 450, and an amplifier 451. These constitute the high-speed bus interface 103. Further, the television receiver 100 includes a choke coil 461, a resistor 462, and a resistor 463, which constitute the plug connection transmission circuit 128.
- a series circuit of an AC coupling capacitor 443, a terminating resistor 442, and an AC coupling capacitor 444 is connected between the 14th pin terminal 521 and the 19th pin terminal 522 of the HDMI terminal 101. Further, a series circuit of a resistor 462 and a resistor 463 is connected between the power supply line (+5.0 V) and the ground line. The connection point between the resistor 462 and the resistor 463 is connected to a connection point Q4 between the 19-pin terminal 522 and the AC coupling capacitor 444 via the choke coil 461.
- connection point P3 between the AC coupling capacitor 443 and the terminating resistor 442 is connected to the output side of the adder circuit 449 and to the positive input side of the LAN signal receiving circuit 445.
- connection point P4 between the AC coupling capacitor 444 and the terminating resistor 442 is connected to the output side of the adder circuit 450 and to the negative input side of the LAN signal receiving circuit 445.
- One input of the addition circuit 449 is connected to the positive output of the LAN signal transmission circuit 441, and the other input of the addition circuit 449 is supplied with the SPDIF signal output from the SPDIF transmission circuit 104 via the amplifier 451. Is done.
- One input of the addition circuit 450 is connected to the negative output of the LAN signal transmission circuit 441, and the other input of the addition circuit 450 receives the SPDIF signal output from the SPDIF transmission circuit 104 via the amplifier 451. Supplied.
- the transmission signal (transmission data) SG417 is supplied from the Ethernet interface 110 to the input side of the LAN signal transmission circuit 441.
- the output signal SG418 of the LAN signal receiving circuit 445 is supplied to the positive terminal of the subtraction circuit 446, and the transmission signal SG417 is supplied to the negative terminal of the subtraction circuit 446.
- the transmission signal SG417 is subtracted from the output signal SG418 of the LAN signal reception circuit 445, and a reception signal (reception data) SG419 is obtained.
- This received signal SG419 becomes the LAN signal when a LAN signal (Ethernet signal) is transmitted as a differential signal via the reserved line and the HPD line.
- This reception signal SG419 is supplied to the Ethernet interface 110.
- FIG. 7 shows a configuration example of the high-speed bus interface 203 of the audio amplifier 200 in the AV system 10 of FIG.
- the Ethernet interface 210 performs LAN (Local Area Network) communication, that is, transmission and reception of an Ethernet signal, using a transmission line formed by a pair of a reserved line and an HPD line among a plurality of lines constituting the HDMI cable 610.
- the SPDIF receiving circuit 204 receives the SPDIF signal by using the transmission line configured by the above-described pair of lines.
- the audio amplifier 200 includes a LAN signal transmission circuit 411, a termination resistor 412, AC coupling capacitors 413 and 414, a LAN signal reception circuit 415, a subtraction circuit 416, an addition circuit 419, and an amplifier 420. These constitute the high-speed bus interface 203. Further, the audio amplifier 200 has a pull-down resistor 431, a resistor 432, a capacitor 433, and a comparator 434 that constitute the plug connection detection circuit 221. Here, the resistor 432 and the capacitor 433 constitute a low-pass filter.
- a series circuit of an AC coupling capacitor 413, a terminating resistor 412, and an AC coupling capacitor 414 is connected between the 14th pin terminal 511 and the 19th pin terminal 512 of the HDMI terminal 201.
- the connection point P1 between the AC coupling capacitor 413 and the terminating resistor 412 is connected to the positive output side of the LAN signal transmission circuit 411 and to the positive input side of the LAN signal reception circuit 415.
- connection point P2 between the AC coupling capacitor 414 and the terminating resistor 412 is connected to the negative output side of the LAN signal transmitting circuit 411 and to the negative input side of the LAN signal receiving circuit 415.
- a transmission signal (transmission data) SG411 is supplied from the Ethernet interface 210 to the input side of the LAN signal transmission circuit 411.
- the output signal SG412 of the LAN signal receiving circuit 415 is supplied to the positive terminal of the subtraction circuit 416, and the transmission signal (transmission data) SG411 is supplied to the negative terminal of the subtraction circuit 416.
- the transmission signal SG411 is subtracted from the output signal SG412 of the LAN signal reception circuit 415, and a reception signal SG413 is obtained.
- a LAN signal (Ethernet signal) is transmitted as a differential signal via the reserved line and the HPD line, the received signal SG413 becomes the LAN signal.
- This reception signal SG413 is supplied to the Ethernet interface 210.
- a connection point Q2 between the AC coupling capacitor 414 and the 19th pin terminal 512 is connected to a ground line via a pull-down resistor 431 and to a ground line via a series circuit of a resistor 432 and a capacitor 433.
- the output signal of the low-pass filter obtained at the connection point between the resistor 432 and the capacitor 433 is supplied to one input terminal of the comparator 434.
- the output signal of the low-pass filter is compared with a reference voltage Vref2 (+1.4 V) supplied to the other input terminal.
- the output signal SG415 of the comparator 434 is supplied to a control unit (CPU) (not shown) of the audio amplifier 200.
- connection point P1 between the AC coupling capacitor 413 and the terminating resistor 412 is connected to one input terminal of the addition circuit 419.
- a connection point P2 between the AC coupling capacitor 414 and the terminating resistor 412 is connected to the other input terminal of the adder circuit 419.
- the output signal of the adding circuit 419 is supplied to the SPDIF receiving circuit 204 via the amplifier 420.
- the output signal of the addition circuit 419 becomes the SPDIF signal when the SPDIF signal is transmitted as an in-phase signal via the reserved line and the HPD line.
- FIG. 8 shows a frame configuration in the IEC 60958 standard.
- Each frame is composed of two subframes.
- the first sub-frame contains the left channel signal
- the second sub-frame contains the right channel signal.
- a preamble is provided at the head of the subframe as described later, and “M” is added as a preamble to the left channel signal and “W” as a preamble to the right channel signal.
- “B” indicating the start of a block is added to the head preamble every 192 frames. That is, one block is composed of 192 frames.
- the block is a unit constituting a channel status described later.
- FIG. 9 shows a subframe configuration in the IEC # 60958 standard.
- the sub-frame is composed of a total of 32 time slots from the 0th to the 31st.
- the 0th to 3rd time slots indicate a preamble (Sync @ preamble).
- the preamble indicates one of “M”, “W”, and “B” to distinguish between left and right channels and to indicate the start position of a block as described above.
- the fourth to twenty-seventh time slots are main data fields, and when the 24-bit code range is employed, the entirety represents audio data.
- the eighth to twenty-seventh time slots represent audio data (Audio @ sample @ word).
- the fourth to seventh time slots can be used as additional information (Auxiliary ⁇ sample ⁇ bits).
- the illustrated example shows the latter case.
- the twenty-eighth time slot is a valid flag (Validity flag) of the main data field.
- the 29th time slot represents one bit of user data (User @ data).
- a series of user data can be formed by accumulating the 29th time slot over each frame.
- the user data message is configured in units of an 8-bit information unit (IU: Information @ Unit), and one message includes 3 to 129 information units.
- 0 0 to 8 bit “0” may exist between information units.
- the head of the information unit is identified by a start bit "1".
- the first seven information units in the message are reserved, and the user can set arbitrary information in the eighth and subsequent information units. Messages are divided by 8 bits or more of “0”.
- the 30th time slot represents one bit of the channel status (Channel (status).
- Channel status
- a series of channel statuses can be constructed by accumulating the thirtieth time slot for each block over each frame. As described above, the head position of the block is indicated by the preamble “B” (0th to 3rd time slots).
- the 31st time slot is a parity bit (Parity bit). This parity bit is provided so that the number of “0” and “1” included in the fourth to thirty-first time slots is even.
- FIG. 10 shows a signal modulation method in the IEC # 60958 standard.
- the fourth to thirty-first time slots of the subframe except for the preamble are subjected to biphase mark modulation.
- a clock twice as fast as the original signal is used.
- the output of the biphase mark modulation is always inverted at the edge of the first half clock cycle.
- the signal is inverted when the original signal indicates “1”, and is not inverted when the original signal indicates “0”.
- a clock component of the original signal can be extracted from the signal subjected to the biphase mark modulation.
- FIG. 11 shows channel coding of a preamble in the IEC # 60958 standard.
- the 4th to 31st time slots of the subframe are bi-phase mark modulated.
- the preamble of the 0th to 3rd time slots is not a normal biphase mark modulation, but is handled as a bit pattern synchronized with a double speed clock. That is, by allocating two bits to each of the 0th to third time slots, an 8-bit pattern as shown in the figure is obtained.
- the above-described multi-channel audio signal and the haptic vibration signal of a predetermined number of channels are simultaneously transmitted using a multi-channel transmission format based on the IEC # 60958 standard.
- FIG. 12 shows an example of a frame configuration in the multi-channel transmission format.
- one block is composed of 192 frames.
- This 192 frame is formed by repeating a multichannel group (Multichannel @ group) including a predetermined number of subframes.
- Each subframe portion forms a multi-channel order.
- the number of subframes included in the multi-channel group can be indicated by using a predetermined bit area of a channel status configured for each block.
- a multi-channel sub-group for transmitting multi-channel audio signals are formed.
- a multi-channel sub-group consists of one or more multi-channel orders.
- the signals of each channel of the multi-channel audio signal are sequentially arranged in each of the multi-channel orders constituting the multi-channel sub-group.
- Which multi-channel sub-group is formed in the multi-channel group can be indicated by using a predetermined bit area of a channel status configured for each block, and by using user data bits of a predetermined number of frames. Can also be shown.
- one multi-channel group is composed of eight sub-frames, that is, multi-channel orders 1 to 8. Further, four multi-channel sub-groups of multi-channel sub-groups 1 to 4 are formed in the multi-channel group.
- the multi-channel sub-group 1 is composed of multi-channel orders 1 to 3.
- signals of three channels of multi-channel audio signals (signals of channel numbers 65, 66, and 67) are sequentially arranged. I have.
- the channel number 65 indicates the front left (FL)
- the channel number 66 indicates the front right (FR)
- the channel number 67 indicates the front center (FC).
- the multi-channel sub-group 2 is composed of multi-channel orders 4 to 5, and the signals of the respective channels (signals of channel numbers 77 and 78) of the two-channel multi-channel audio signal are sequentially arranged in each multi-channel order. I have.
- the channel number 77 indicates a high front left (HFL)
- the channel number 78 indicates a front right (HFR).
- the multi-channel subgroup 3 is composed of a multi-channel order 6, in which a one-channel multi-channel audio signal (signal of channel number 80) is arranged.
- the channel number 80 indicates an overhead center (OhC).
- the multi-channel sub-group 4 is composed of multi-channel orders 7 to 8, in which two-channel multi-channel audio signals (signals of channel numbers 65 and 66) are arranged in order.
- a method for specifying a multi-channel sub-group formed in the multi-channel group will be described. For example, there are the following first to third methods for specifying a multi-channel subgroup.
- the first method is a method of directly specifying a multi-channel sub-group based on multi-channel configuration information stored in bits 63 to 60 of a channel status configured for each block.
- the multi-channel configuration indicates an audio channel set in which predetermined audio channels are combined in advance.
- only an audio channel set in which predetermined audio channels are combined in advance can be specified.
- the second method is to specify a channel subgroup by setting a bit corresponding to a corresponding channel to 1 by using a multi-channel map stored in bits 165 to 191 of a channel status configured for each block. .
- an audio channel set in which arbitrary audio channels are combined can be specified, but the transmission order is the order appearing in the multi-channel map, and cannot be an arbitrary transmission order.
- FIG. 13 schematically shows a format of a channel status in the IEC # 60958 standard.
- the channel status is obtained by accumulating the 30th time slot in the subframe for each block (see FIG. 9).
- the contents of the channel status are arranged one byte at a time in the vertical direction, and the bit configuration in each byte is shown in the horizontal direction.
- the description will be made assuming a consumer (use) format.
- bit $0 The 0th bit (bit $ 0) a is set to "0", indicating that this channel status is for consumer use.
- the first bit (bit # 1) b is set to "0", indicating that the sample is a linear PCM sample.
- the sixth and seventh bits (bit # 6-7) indicate the mode of the channel status.
- the 44th to 47th bits constitute a 4-bit field of “Multichannel Count”, and indicate the number of subframes included in the multichannel group. For example, "0000” indicates that 2ch @ LPCM, that is, the number of subframes to be included in the multi-channel group is 2, and “1011” indicates that 64ch @ LPCM, that is, the number of subframes to be included in the multichannel group is 64. "1100” indicates that 32ch @ LPCM, that is, the number of subframes to be included in the multi-channel group is 32, and "1101” indicates that 16ch @ LPCM, that is, the number of subframes to be included in the multichannel group is 16.
- the 53rd to 60th bits constitute an 8-bit field of “Multichannel configuration value”, and indicate the value of the multichannel configuration used to specify the multichannel subgroup according to the first method.
- FIG. 14 shows the correspondence between the values of the multi-channel configuration and the audio channel sets indicated by the values.
- Each audio channel set is determined by ISO / IEC @ 23001-8 @ 2016, and is identified by a multi-channel configuration value.
- the value of the multi-channel configuration is “10000000”, there is an audio channel set (multi-channel subgroup) that is the channel configuration 1 (ChannelConfiguration # 1), and this audio channel set is an audio channel of “67: FC” Indicates that it is composed only of If the value of the multi-channel configuration is “01000000”, there is an audio channel set (multi-channel subgroup) that is the channel configuration 2 (ChannelConfiguration 2), and this audio channel set is “65: FL”, It is composed of audio channels of “66: FR” and indicates that transmission is performed in this order.
- the value of the multi-channel configuration is “11000000”, there is an audio channel set (multi-channel subgroup) that is the channel configuration 3 (ChannelConfiguration # 3), and this audio channel set is “65: FL”, It consists of audio channels of “66: FR” and “67: FC”, and indicates that transmission is performed in this order. If the value of the multi-channel configuration is “00100000”, there is an audio channel set (multi-channel subgroup) that is a channel configuration 4 (ChannelConfiguration # 4), and this audio channel set is “65: FL”, It consists of audio channels of “66: FR”, “67: FC”, and “184: MS”, and indicates that they are transmitted in this order.
- the value of the multi-channel configuration is “10100000”
- the value of the multi-channel configuration is “011100000”
- the value of the multi-channel configuration is “11100000”
- numbers such as 65, 66, 67, 68, 69, 70, 109, 110 are unique to audio channels determined by the multi-channel map used in the second method, and each number corresponds to a specific speaker. Yes, it is.
- the front left speaker is No. 65
- the front right speaker is No. 66.
- This number is also used in the third method.
- These speaker positions and numbers are determined by IEC 62574 based on [email protected] and ISO / IEC 23001-8, but are not limited to this. There may be.
- the multi-channel configuration value is “00000000”, it indicates that the audio channel set (multi-channel subgroup) specified by the first method does not exist.
- the 64th bit indicates whether or not an audio channel set (multichannel subgroup) is designated using the multichannel map from the 65th bit to the 191st bit. For example, “0” indicates that the item is not specified, and “1” indicates that the item is specified.
- the bit numbers correspond to the channel-specific numbers as they are.
- the 65th bit corresponds to the audio channel of “65: FL”, and when the audio channel set specified by the second method includes the audio channel of “65: FL”, the 65th bit is used. Is set to 1. Although detailed description is omitted, the same is applied to a case where other audio channels are included in the audio channel set specified by the second method.
- the third method is a method of designating a multi-channel subgroup using user data bits of a predetermined number of continuous frames.
- an audio channel set combining any audio channels can be specified, and the transmission order of each audio channel can be arbitrarily set.
- the third method is a method in which multi-channel configuration information is packetized using user data bits and embedded.
- a packet specifying the number of speakers for each height is sent.
- FIG. 15 shows an example of the packet.
- the types of height are “Overhead”, “High”, “Middle”, “Bottom”, and “LFE”. It defines how many speakers are arranged in each layer. By repeating this mechanism in a packet, a plurality of multi-channel subgroups can be formed.
- a packet specifying the number of audio channels to be transmitted in the transmission order within the multi-channel group is transmitted.
- FIG. 16 shows an example of the packet.
- This third method has the highest degree of freedom as a method of designating an audio channel set (multi-channel subgroup), and it is possible to transmit a specific audio channel in a specific order. Is also possible.
- FIG. 17 shows a specific example of a method of specifying the multi-channel groups 1 to 4 in an example of the frame configuration in the multi-channel transmission format shown in FIG. Multi-channel subgroup 1 is specified in a first way.
- the value of the “Multichannel configuration value” of the 53rd to 60th bits of the channel status is set to “11000000”, and the audio is composed of “65: FL”, “66: FR”, and “67: FC”.
- the presence of a channel set (multi-channel subgroup) is indicated (see FIG. 14).
- the multi-channel sub-group 2 is specified by the second method.
- the 64th bit of the channel status is set to “1” to indicate the existence of the audio channel set (multi-channel subgroup) specified by the second method using the multi-channel map.
- this audio channel set (multi-channel subgroup) has a configuration in which audio channels of “77: HFL” and “78: HFR” are included in this order.
- Multi-channel subgroups 3 and 4 are specified in the third method.
- the number of overhead speakers is one in the packet specifying the number of speakers for each height (see FIG. 15).
- the audio channel of “80: OhC” is indicated by a packet (see FIG. 16) that specifies whether to transmit.
- the number of bottom speakers is two in the packet (see FIG. 15) specifying the number of speakers for each height, and the number of audio channels to be transmitted is indicated.
- the audio channel of “65: FL” and “66: FR” is indicated by a packet (see FIG. 16) specifying whether or not to perform.
- a multi-channel audio signal and a haptic vibration signal of a predetermined number of channels are simultaneously transmitted using the multi-channel sub-group specified by the above-described first to third methods.
- a set including a tactile vibration signal is not defined in ISO / IEC # 23001-8 @ 2016. However, if defined in the future, it is also possible to specify a multi-channel subgroup for simultaneously transmitting the multi-channel audio signal and the haptic vibration signal of a predetermined number of channels in the first method.
- bits 65 to 191 of a channel status multi-channel map are designated.
- a haptic vibration signal is defined in the 120th to 122nd bits.
- ⁇ Tactile vibration signal which is a kind of multimedia signal, is used to vibrate an actuator attached to the human body.
- this haptic vibration signal can be transmitted using an uncompressed audio signal transmission line, the signal is biased to a low frequency band.
- a direct current component may be included to represent the pressure.
- a unique channel number is assigned to the haptic vibration signal to distinguish it from the audio channel signal.
- the right arm vibration signal is number 120, and is defined in the 120th bit of the multi-channel map.
- the left arm vibration signal is number 121, and is defined in the 121st bit of the multi-channel map.
- the both-leg vibration signal is set to the 122nd signal and is defined in the 122nd bit of the multi-channel map.
- the haptic vibration signals are not limited to these, and the haptic vibration signals may be assigned unique numbers to distinguish them from the audio channel signals.
- a multi-channel sub-group for simultaneously transmitting a multi-channel audio signal and a haptic vibration signal of a predetermined number of channels in the third method by using the channel number of the haptic vibration signal determined in the second method described above.
- the designation of a multi-channel subgroup for simultaneously transmitting a multi-channel audio signal and a haptic vibration signal of a predetermined number of channels can be changed for each block (192 frames). It is also possible to transmit haptic vibration signals of channels equal to or more than the number of channels of the haptic vibration signals allocated to the channel subgroup. For example, a case may be considered in which a large number of vibration units are attached to the whole body of the user and are vibrated upward every second from the bottom.
- FIG. 18 shows an example of a frame configuration of a multi-channel transmission format when a multi-channel audio signal and a haptic vibration signal of a predetermined number of channels are simultaneously transmitted. Although the detailed description of the frame configuration in FIG. 18 is omitted, the overall configuration is the same as the frame configuration in FIG.
- one multi-channel sub-group of multi-channel sub-group 1 is formed in 8 sub-frames, that is, a multi-channel group composed of multi-channel orders 1 to 8.
- This example is an example of transmitting 5.1-channel audio and 2-channel haptic vibration signals as shown in FIG. 19 by the one multi-channel subgroup.
- signals (channel numbers 65, 66, 67, 68, 69, 78, 120, 121 signals) are arranged in order.
- channel numbers 65 to 70 represent each audio channel constituting the multi-channel audio signal, “65” indicates front left (FL), “66” indicates front right (FR), and “67” indicates The front center (FC) is indicated, “68” indicates LFE, “69” indicates left surround, and “70” indicates right surround.
- channel numbers 120 and 121 represent each channel of the tactile vibration signal, “120” indicates a left hand (right arm vibration signal), and “121” indicates a right hand (left arm signal signal).
- one multi-channel subgroup is formed in a multichannel group.
- a plurality of multichannel subgroups are formed in a multichannel group.
- the signals of each channel of the multi-channel audio signal and the haptic vibration signal of a predetermined number of channels are arranged in order, but also in some multi-channel subgroups, only the signal of each channel of the multi-channel audio signal is included.
- the signal is arranged or only the signal of each channel of the haptic vibration signal of a predetermined number of channels is arranged.
- the multi-channel subgroup in which the signals of each channel of the multi-channel audio signal and the predetermined number of haptic vibration signals are sequentially arranged can also be specified by the above-described first to third methods.
- the designation information in this case is also the configuration information of the multi-channel audio signal and the haptic vibration signal of a predetermined number of channels.
- This configuration information includes identification information for distinguishing the haptic vibration signal from the audio signal.
- the identification information includes information on a vibration position targeted by each of the haptic vibration signals of a predetermined number of channels.
- FIG. 20 shows a case where the multi-channel sub-group 1 is specified by the second method in an example of the frame configuration in the above-described multi-channel transmission format shown in FIG.
- the 64th bit of the channel status (see FIG. 13) is set to “1” to indicate the existence of the multi-channel subgroup specified by the second method using the multi-channel map.
- this multi-channel sub-group includes “65: FL”, “66: FR”, and “67: FC”.
- "68: LFE”, “69: LS”, and “70: RS” are included in this order, and the channels of the haptic vibration signals of "120: Left @ Hand” and "121: Left @ Hand” are included. It is shown that the configuration is included in this order.
- a signal for each block of 192 frames including an audio signal of a predetermined number of channels and a haptic vibration signal of a predetermined number of channels is transmitted from the television receiver 100 to the audio amplifier 200. And via the HDMI cable 300. Therefore, the tactile vibration signal can be transmitted from the television receiver 100 to the audio amplifier 200 in synchronization with the audio signal.
- 192 frames forming a block are a repetition of a multi-channel group composed of a predetermined number of subframes, and a predetermined bit area of channel status or a predetermined bit area formed in the multi-channel group.
- a multi-channel audio signal (an audio signal having a predetermined number of channels) and a signal of each channel of a haptic vibration signal having a predetermined number of channels are sequentially arranged in a multi-channel subgroup having a configuration specified by a predetermined number of consecutive user data bits.
- the audio signal of the predetermined number of channels and the haptic vibration signal of the predetermined number of channels are generated based on the configuration information obtained from the predetermined bit area of the channel status or the predetermined number of continuous user data bits. And can be obtained easily and properly.
- the above-described configuration information includes identification information capable of distinguishing a multi-channel audio signal transmitted simultaneously and a haptic vibration signal of a predetermined number of channels. Therefore, the audio amplifier 200 on the receiving side can separately acquire each signal from the multi-channel audio signal transmitted simultaneously and the haptic vibration signal of a predetermined number of channels, and thus, for example, the haptic vibration signal is erroneously reproduced when the audio signal is reproduced. Malfunctions such as being supplied to the system can be prevented.
- the above-described configuration information includes information of a vibration position targeted by the haptic vibration signals of each channel. Therefore, the audio amplifier 200 on the receiving side can appropriately vibrate the vibration device at the target vibration position by the tactile vibration signal of each channel.
- the haptic vibration signal transmitted by the television receiver 100 to the audio amplifier 200 is included in broadcast content, net content, or playback content.
- a media signal related to the audio signal for example, an audio signal or a video signal included in the content is analyzed to generate and use the haptic vibration signal.
- FIG. 21 shows a configuration example of the AV system 10A in that case.
- the television receiver 100 further includes a haptic vibration signal generation unit 111.
- the haptic vibration signal generation unit 111 analyzes an audio signal or a video signal input from the content reproduction circuit 108, generates a haptic vibration signal, and supplies the generated haptic vibration signal to the SPDIF transmission circuit 104.
- the rest of the television receiver 100 is configured similarly to the television receiver 100 of the AV system 10 of FIG.
- the haptic vibration signal generation unit 111 may generate a haptic vibration signal based on the vibration instruction signal.
- the haptic vibration signal itself may be multidimensional.
- each is digitized with 8-bit data, and as shown in FIG. 23, IEC @ 60958-1 It can be transmitted by assigning it to a 24-bit slot in a subframe.
- the linear PCM a total of 24 bits from bit 4 to bit 27 are used for audio channel transmission, but are divided into eight bits and used in three.
- the Z axis is perpendicular to the skin, and the X axis and the Y axis are parallel to the skin.
- the bit allocation can be weighted and may be non-uniformly assigned, such as 10 bits on the Z axis and 7 bits on the X and Y axes.
- a channel can be assigned to each finger, or the finger can be divided to form a finer contact plane.
- a cubic space that covers the user is considered, and tactile vibration signals at the vertices a to h of the cube are transmitted as representatives, and the cubic space is transmitted to the cubic space. It is also conceivable to obtain the haptic vibration signal at the included actual driving point from the haptic vibration signal at each vertex by linear interpolation or the like. In this case, as the signal name of the haptic vibration signal at each vertex, a front upper right corner, a rear lower left corner, or the like can be considered.
- the device supports the recording and reproduction of the signal of the multi-channel transmission format shown in FIG. 12, the multi-channel including the multi-channel audio signal and the haptic vibration signal of a predetermined number of channels shown in FIG. Similarly, signals in the channel transmission format can be recorded and reproduced.
- the present technology can be applied to a case where various sensor signals are packed and transmitted simultaneously with an utterance-compatible robotics machine control signal or an audio microphone signal. Also, the present technology can be applied to collective synchronous transmission of vehicle engine sound and temperature sensor data.
- HDMI @ ARC is used as the IEC @ 60958 transmission line.
- a coaxial cable or an optical cable is used as the IEC @ 60958 transmission line.
- an HDMI transmission path is used as the IEC @ 60958 transmission path is also conceivable.
- the SPDIF signal (IEC @ 60958 signal) is mapped to an audio sample packet (audio @ sample @ packet) and transmitted in the same forward direction as video transmission.
- an IEC # 61883-6 transmission line, an MHL transmission line, a display port transmission line (DP transmission line), or the like is used as the IEC # 60958 transmission line is also conceivable.
- the SPDIF signal (IEC @ 60958 signal) is mapped to an audio sample packet (audio @ sample @ packet) and transmitted in the same forward direction as video transmission.
- the technology may have the following configurations.
- a transmission unit for sequentially transmitting a transmission signal for each block composed of a plurality of frames to a reception side via a predetermined transmission path;
- the transmission device wherein the transmission signal includes a predetermined number of channels of audio signals and a predetermined number of channels of haptic vibration signals.
- the transmission device according to (1) further including an information adding unit that adds configuration information of the audio signal of the predetermined number of channels and the haptic vibration signal of the predetermined number of channels to the transmission signal.
- the configuration information includes identification information for distinguishing the haptic vibration signal from the audio signal.
- the identification information includes information of a vibration position targeted by each of the haptic vibration signals of the predetermined number of channels.
- the information addition unit adds the configuration information using a predetermined bit area of a channel status configured for each block.
- the information adding unit adds the configuration information using user data bits of a predetermined number of consecutive frames.
- the plurality of frames are configured by repeating a multi-channel group including a predetermined number of frames
- the transmitting unit arranges the audio signal of the predetermined number of channels and the haptic vibration signal of the predetermined number of channels in a time-division manner for each of the multi-channel groups in all or a part of the predetermined number of frames for each channel. Transmitting The transmitting device according to any one of (1) to (6).
- the transmission device according to any one of (1) to (7), further including a processing unit configured to generate the haptic vibration signal based on a media signal related to the audio signal.
- the transmission device according to any one of (1) to (8), wherein the predetermined transmission path is a coaxial cable, an optical cable, an Ethernet (IEC 61883-6) cable, an HDMI cable, an MHL cable, or a display port cable. . (10) having a procedure of sequentially transmitting a transmission signal for each block composed of a plurality of frames to a receiving side via a predetermined transmission path;
- the transmission method wherein the transmission signal includes a predetermined number of channels of audio signals and a predetermined number of channels of haptic vibration signals.
- a receiving unit that sequentially receives a transmission signal for each block including a plurality of frames from a transmission side via a predetermined transmission path;
- the receiving device wherein the transmission signal includes an audio signal of a predetermined number of channels and a haptic vibration signal of a predetermined number of channels.
- the receiving device according to (11) further including a processing unit that processes the transmission signal and outputs the audio signal of the predetermined number of channels and the haptic vibration signal of the predetermined number of channels.
- the transmission signal includes the configuration information of the audio signal of the predetermined number of channels and the haptic vibration signal of the predetermined number of channels
- the receiving device according to (12) wherein the processing unit processes the transmission signal based on the configuration information and outputs the audio signal of the predetermined number of channels and the haptic vibration signal of the predetermined number of channels.
- the configuration information is added using a predetermined bit area of a channel status configured for each block.
- the configuration information is added using user data bits of a predetermined number of consecutive frames.
- the plurality of frames are configured by repeating a multi-channel group including a predetermined number of frames,
- the audio signal of the predetermined number of channels and the haptic vibration signal of the predetermined number of channels are arranged in a time-division manner in all or a part of the predetermined number of frames for each channel in each of the multi-channel groups.
- the receiving device according to any one of (1) to (15).
- (17) The receiving device according to any one of (11) to (16), wherein the predetermined transmission path is a coaxial cable, an optical cable, an Ethernet (IEC 61883-6) cable, an HDMI cable, an MHL cable, or a display port cable. .
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Burglar Alarm Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
- Electrotherapy Devices (AREA)
Abstract
触覚振動信号をオーディオ信号と同期して良好に伝送する。 複数フレームからなるブロック毎の伝送信号を順次所定伝送路を介して受信側に送信する。伝送信号には、所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号が含まれている。例えば、オーディオ信号に関連するメディア信号に基づいて触覚振動信号を生成する。例えば、伝送信号に、所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号の構成情報を付加する。
Description
本技術は、送信装置、送信方法、受信装置および受信方法に関し、詳しくは、オーディオ信号と共に触覚振動信号を取り扱う送信装置、送信方法、受信装置および受信方法に関する。
5.1チャネル、7.1チャネルなどのマルチチャンネルオーディオアプリケーションにおいては、それぞれのチャンネル利用法を識別するために名前が付けられ運用されている。例えば、ライトチャンネル、レフトチャンネル、センターチャネル、LFE(Low Frequency Effect)チャンネル等である。これらはその名前が示す位置に配置されたラウドスピーカに届けられ、音として再生されることが期待されている。
近年、マルチメディアアプリケーションが提案され、中には従来のオーディオビデオと同期して利用される触覚振動アプリケーション等がある。例えば、特許文献1には、触覚振動信号(触覚信号)を送信し、受信側では、その触覚振動信号に基づいて振動部を振動させる技術についての記載がある。
オーディオビデオと同期して利用される触覚振動アプリケーションにおいては、触覚振動信号をオーディオ信号と同期して伝送することが望まれる。そして、その際、触覚振動信号はオーディオ信号とは信号性質が違っており、触覚振動信号をオーディオ信号と明確に区別できることが望まれる。また、その際、触覚振動信号自体も複数信号を組み合わせて運用することが想定され、それらも識別できることが望まれる。
本技術の目的は、触覚振動信号をオーディオ信号と同期して良好に伝送することにある。
本技術の概念は、
複数フレームからなるブロック毎の伝送信号を順次所定伝送路を介して受信側に送信する送信部を備え、
上記伝送信号は、所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号を含む
送信装置にある。
複数フレームからなるブロック毎の伝送信号を順次所定伝送路を介して受信側に送信する送信部を備え、
上記伝送信号は、所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号を含む
送信装置にある。
本技術において、送信部により、複数フレームからなるブロック毎の伝送信号が順次所定伝送路を介して受信側に送信される。ここで、伝送信号には、所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号が含まれている。例えば、所定伝送路は、同軸ケーブル、光ケーブル、イーサネット(IEC 61883-6)ケーブル、HDMIケーブル、MHLケーブルまたはディスプレイポートケーブルである、ようにされてもよい。また、例えば、オーディオ信号に関連するメディア信号に基づいて触覚振動信号を生成する処理部をさらに備える、ようにされてもよい。
例えば、伝送信号に、所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号の構成情報を付加する情報付加部をさらに備える、ようにされてもよい。この場合、例えば、構成情報は、触覚振動信号をオーディイオ信号と区別するための識別情報を含む、ようにされてもよい。そして、この場合、例えば、識別情報は、所定チャネル数の触覚振動信号のそれぞれが対象とする振動位置の情報を含む、ようにされてもよい。
また、例えば、情報付加部は、ブロック毎に構成されるチャネルステータスの所定ビット領域を用いて構成情報を付加する、ようにされてもよい。また、例えば、情報付加部は、連続する所定数のフレームのユーザデータビットを用いて構成情報を付加する、ようにされてもよい。
また、例えば、複数フレームは、所定数のフレームからなるマルチチャネルグループの繰り返しで構成され、送信部は、所定チャネル数のオーディオ信号および所定チャネル数の触覚振動信号を、マルチチャネルグループ毎に、所定数のフレームの全部または一部にチャネル別に時分割的に配置して送信する、ようにされてもよい。
このように本技術においては、所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号を含む、複数フレームからなるブロック毎の伝送信号を、順次所定伝送路を介して、受信側に送信するものである。そのため、触覚振動信号をオーディオ信号と同期して良好に送信できる。
また、本技術の他の概念は、
複数フレームからなるブロック毎の伝送信号を送信側から順次所定伝送路を介して受信する受信部を備え、
上記伝送信号は、所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号を含む
受信装置にある。
複数フレームからなるブロック毎の伝送信号を送信側から順次所定伝送路を介して受信する受信部を備え、
上記伝送信号は、所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号を含む
受信装置にある。
本技術において、受信部により、複数フレームからなるブロック毎の伝送信号が送信側から順次所定伝送路を介して受信される。ここで、伝送信号には、所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号が含まれている。例えば、所定伝送路は、同軸ケーブル、光ケーブル、イーサネット(IEC 61883-6)ケーブル、HDMIケーブル、MHLケーブルまたはディスプレイポートケーブルである、ようにされてもよい。
例えば、伝送信号を処理して所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号を出力する処理部をさらに備える、ようにされてもよい。そして、この場合、例えば、伝送信号は所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号の構成情報を含み、処理部は、構成情報に基づいて信号を処理して、所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号を出力する、ようにされてもよい。
また、例えば、構成情報は、ブロック毎に構成されるチャネルステータスの所定ビット領域を用いて付加されている、ようにされてもよい。また、例えば、構成情報は、連続する所定数のフレームのユーザデータビットを用いて付加されている、ようにされてもよい。また、例え場、複数フレームは、所定数のフレームからなるマルチチャネルグループの繰り返しで構成され、所定チャネル数のオーディオ信号および所定チャネル数の触覚振動信号は、マルチチャネルグループ毎に、所定数のフレームの全部または一部にチャネル別に時分割的に配置されている、ようにされていてもよい。
このように本技術においては、所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号を含む、複数フレームからなるブロック毎の伝送信号を、順次所定伝送路を介して、送信側に受信するものである。そのため、触覚振動信号をオーディオ信号と同期して良好に受信できる。
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.実施の形態
2.変形例
1.実施の形態
2.変形例
<1.実施の形態>
[AVシステムの構成例]
図1は、実施の形態としてのAV(Audio/Visual)システム10の構成例を示している。このAVシステム10は、テレビ受信機100とオーディオアンプ200を有している。テレビ受信機100には、テレビ放送の受信アンテナ121と、BD(Blu-ray Disc)プレーヤ122と、インターネット123が接続されている。また、オーディオアンプ200には、2チャネルあるいはマルチチャネルのスピーカシステム250と、1チャネルまたは複数チャネルの振動システム260が接続されている。なお、「Blu-ray」は登録商標である。
[AVシステムの構成例]
図1は、実施の形態としてのAV(Audio/Visual)システム10の構成例を示している。このAVシステム10は、テレビ受信機100とオーディオアンプ200を有している。テレビ受信機100には、テレビ放送の受信アンテナ121と、BD(Blu-ray Disc)プレーヤ122と、インターネット123が接続されている。また、オーディオアンプ200には、2チャネルあるいはマルチチャネルのスピーカシステム250と、1チャネルまたは複数チャネルの振動システム260が接続されている。なお、「Blu-ray」は登録商標である。
テレビ受信機100およびオーディオアンプ200はHDMIケーブル300を介して接続されている。なお、「HDMI」は登録商標である。テレビ受信機100には、HDMI受信部(HDMI RX)102と、通信部を構成する高速バスインタフェース103とが接続されたHDMI端子101が設けられている。オーディオアンプ200には、HDMI送信部(HDMI TX)202と、通信部を構成する高速バスインタフェース203とが接続されたHDMI端子201が設けられている。HDMIケーブル300の一端はテレビ受信機100のHDMI端子101に接続され、その他端はオーディオアンプ200のHDMI端子201に接続されている。
テレビ受信機100は、HDMI受信部102と、高速バスインタフェース103と、SPDIF送信回路104を有している。また、テレビ受信機100は、システムコントローラ105と、デジタル放送受信回路107と、コンテンツ再生回路108と、表示部109と、イーサネットインタフェース110を有している。なお、「イーサネット」および「Ethernet」は登録商標である。また、図示の例では、説明の簡単化のために、画像系の各部については適宜省略されている。
システムコントローラ105は、テレビ受信機100の各部の動作を制御する。デジタル放送受信回路107は、受信アンテナ121から入力されたテレビ放送信号を処理して、放送コンテンツに係るビデオ信号、マルチチャネルオーディオ信号(リニアPCM信号)および所定チャネル数の触覚振動信号を出力する。ここで、マルチチャネルオーディオ信号は、複数チャネル数のオーディオ信号により構成されている。
イーサネットインタフェース110はインターネット123を介して外部サーバと通信を行って、ネットコンテンツに係るビデオ信号、マルチチャネルオーディオ信号(リニアPCM信号)および所定チャネル数の触覚振動信号を出力する。BDプレーヤ122は、再生動作により、再生コンテンツに係るビデオ信号、マルチチャネルオーディオ信号(リニアPCM信号)および所定チャネル数の触覚振動信号を出力する。
コンテンツ再生回路108は、デジタル放送受信回路107、イーサネットインタフェース110あるいはBDプレーヤ122で得られたビデオ信号、マルチチャネルオーディオ信号および所定チャネル数の触覚振動信号を選択的に取り出す。そして、コンテンツ再生回路108は、ビデオ信号を表示部109に送る。表示部109は、このビデオ信号による画像を表示する。
また、コンテンツ再生回路108は、マルチチャネルオーディオ信号および所定チャネル数の触覚振動信を、SPDIF送信回路104に送る。SPDIF送信回路104は、IEC 60958規格のデジタルオーディオ伝送信号(以下、適宜、「SPDIF信号」という)を送信するための回路である。このSPDIF送信回路104はIEC 60958規格に準拠した送信回路である。なお、SPDIF信号の詳細は後述する。
SPDIF送信回路104は、マルチチャネルオーディオ信号(リニアPCM信号)および所定チャネル数の触覚振動信号を、オーディオアンプ200に、同時に送信する。この場合、SPDIF信号として、複数フレーム、ここでは192フレームからなるブロック毎の伝送信号が順次送信される。そして、この伝送信号に、マルチチャネルオーディオ信号(リニアPCM信号)および所定チャネル数の触覚振動信号が含まれる。
ここで、複数フレームは、所定数のフレームからなるマルチチャネルグループの繰り返しで構成されている。マルチチャネルオーディオ信号および所定チャネル数の触覚振動信号は、マルチチャネルグループ毎に、所定数のフレームの全部または一部にチャネル別に時分割的に配置されている。
伝送信号には、マルチチャネルオーディオ信号および所定チャネル数の触覚振動信号の構成情報が付加される。この構成情報には、触覚振動信号をオーディイオ信号と区別するための識別情報が含まれる。また、この識別情報には、所定チャネル数の触覚振動信号のそれぞれが対象とする振動位置の情報が含まれる。例えば、構成情報はブロック毎に構成されるチャネルステータスの所定ビット領域を用いて付加される。また、例えば、構成情報は連続する所定数のフレームのユーザデータビットを用いて付加される。
HDMI受信部102は、HDMIに準拠した通信により、HDMIケーブル300を介してHDMI端子101に供給されるビデオやオーディオのデータを受信する。高速バスインタフェース103は、HDMIケーブル300を構成するリザーブラインおよびHPD(Hot Plug Detect)ラインを用いて構成される双方向通信路のインタフェースである。なお、HDMI受信部102と高速バスインタフェース103の詳細は後述する。
オーディオアンプ200は、HDMI送信部202と、高速バスインタフェース203と、SPDIF受信回路204を有している。また、オーディオアンプ200は、システムコントローラ205と、オーディオアンプ208と、振動アンプ209と、イーサネットインタフェース210を有している。
システムコントローラ205は、オーディオアンプ200の各部の動作を制御する。HDMI送信部202は、HDMIに準拠した通信により、ビデオやオーディオのデータを、HDMI端子201からHDMIケーブル300に送出する。高速バスインタフェース203は、HDMIケーブル300を構成するリザーブラインおよびHPD(Hot Plug Detect)ラインを用いて構成される双方向通信路のインタフェースである。なお、HDMI送信部202と高速バスインタフェース203の詳細は後述する。
SPDIF受信回路204は、SDPIF信号(IEC 60958規格のデジタルオーディオ信号)としての伝送信号を受信し、それに含まれるマルチチャネルオーディオ信号および所定チャネル数の触覚振動信号を取得する。この場合、伝送信号に含まれる構成情報に基づいて、マルチチャネルオーディオ信号および所定チャネル数の触覚振動信号の取り出しが行われる。
オーディオアンプ208は、SPDIF受信回路204で取り出されたマルチチャネルオーディオ信号をチャネル毎に増幅し、それぞれのチャネルに対応したスピーカを持つスピーカシステム250に送る。これにより、スピーカシステム250で、マルチチャネルオーディオ信号による音声再生が行われる。
また、振動アンプ209は、SPDIF受信回路204で取り出された所定チャネル数の触覚振動信号をチャネルごとに増幅し、それぞれのチャネルに対応した振動デバイスを持つ振動システム260に送る。これにより、振動システム260で、所定チャネル数の触覚振動信号による振動再生が行われる。この場合、上述したように、所定チャネル数の触覚振動信号がマルチチャネルオーディオ信号と同時に送られてくるものであることから、この振動再生は音声再生と正しく同期したものとなり、またテレビ受信機100の表示部109における映像表示とも同期したものとなる。
図2は、ビデオ信号、オーディオ信号および触覚振動信号のダイナミックレンジ、サンプリング周波数、連続/不連続、次元の一例を比較して示している。ビデオ信号に関しては、ダイナミックレンは48-96dB、サンプリング周波数は60Hz、不連続信号、および2次元または3次元の信号である。また、オーディオ信号に関しては、ダイナミックレンジは96dB-144dB、サンプリング周波数は48kHz、連続信号、および1次元の信号である。
そして、触覚振動信号に関しては、ダイナミックレンジは40-60dBであり、サンプリング周波数は2kHz、連続信号、および1次元の信号である。このように触覚振動信号はオーディオ信号と同様にサンプリング周波数が高く連続信号である。そのため、上述したように、触覚振動信号を、オーディオ信号の伝送路を使用して、オーディオ信号と同時に伝送することで、オーディオ信号と同期した伝送を、簡単かつ容易に達成できる。
なお、触覚振動信号は、上述したように、ダイナミックレンジは40-60dB、周波数帯域はDC-1kHzといわれているが、ビデオ信号よりはオーディオ信号に近い。リニアPCMを伝送できるデジタルオーディオインタフェースであれば触覚振動信号も伝送できる。この場合、DC領域に関してはプラスで“押す”、マイナスで“引く”あるいは“引っ張る”というような表現が可能である。
「HDMI送信部/受信部の構成例」
図3は、図1のAVシステム10における、テレビ受信機100のHDMI受信部102とオーディオアンプ200のHDMI送信部202の構成例を示している。
図3は、図1のAVシステム10における、テレビ受信機100のHDMI受信部102とオーディオアンプ200のHDMI送信部202の構成例を示している。
HDMI送信部202は、ある垂直同期信号から次の垂直同期信号までの区間(以下、適宜、「ビデオフィールド」という)から、水平ブランキング期間および垂直ブランキング期間を除いた区間である有効画像区間(以下、適宜、「アクティブビデオ区間」という)において、ベースバンド(非圧縮)の一画面分の画像データの差動信号を、複数のチャネルで、HDMI受信部102に一方向に送信する。また、HDMI送信部202は、水平ブランキング期間および垂直ブランキング期間において、画像データに付随する音声データおよび制御パケット(Control Packet)、さらにその他の補助データ等に対応する差動信号を、複数のチャネルで、HDMI受信部102に一方向に送信する。
HDMI送信部202は、ソース信号処理部71およびHDMIトランスミッタ72を有する。ソース信号処理部71には、ベースバンドの非圧縮の画像(Video)および音声(Audio)のデータが供給される。ソース信号処理部71は、供給される画像および音声のデータに必要な処理を施し、HDMIトランスミッタ72に供給する。また、ソース信号処理部71は、HDMIトランスミッタ72との間で、必要に応じて、制御用の情報やステータスを知らせる情報(Control/Status)等をやりとりする。
HDMIトランスミッタ72は、ソース信号処理部71から供給される画像データを、対応する差動信号に変換し、複数のチャネルである3つのTMDSチャネル#0,#1,#2で、HDMIケーブル300を介して接続されているHDMI受信部102に、一方向に送信する。
さらに、トランスミッタ72、ソース信号処理部71から供給される、非圧縮の画像データに付随する音声データや制御パケットその他の補助データ(auxiliary data)と、垂直同期信号(VSYNC)、水平同期信号(HSYNC)等の制御データ(control data)とを、対応する差動信号に変換し、3つのTMDSチャネル#0,#1,#2で、HDMIケーブル300を介して接続されているHDMI受信部102に、一方向に送信する。
また、トランスミッタ72は、3つのTMDSチャネル#0,#1,#2で送信する画像データに同期したピクセルクロックを、TMDSクロックチャネルで、HDMIケーブル300を介して接続されているHDMI受信部102に送信する。
HDMI受信部102は、アクティブビデオ区間において、複数チャネルで、HDMI送信部202から一方向に送信されてくる、画像データに対応する差動信号を受信すると共に、水平ブランキング期間および垂直ブランキング期間において、複数のチャネルで、HDMI送信部202から送信されてくる、補助データや制御データに対応する差動信号を受信する。
HDMI受信部102は、HDMIレシーバ81およびシンク信号処理部82を有する。HDMIレシーバ81は、TMDSチャネル#0,#1,#2で、HDMIケーブル300を介して接続されているHDMI送信部202から一方向に送信されてくる、画像データに対応する差動信号と、補助データや制御データに対応する差動信号を、同じくHDMI送信部202からTMDSクロックチャネルで送信されてくるピクセルクロックに同期して受信する。さらに、HDMIレシーバ81は、差動信号を、対応する画像データ、補助データ、制御データに変換し、必要に応じて、シンク信号処理部82に供給する。
シンク信号処理部82は、HDMIレシーバ81から供給されるデータに必要な処理を施して出力する。その他、シンク信号処理部82は、HDMIレシーバ81との間で、必要に応じて、制御用の情報やステータスを知らせる情報(Control/Status)等をやりとりする。
HDMIの伝送チャネルには、HDMI送信部202からHDMI受信部102に対して、画像データ、補助データ、および制御データを、ピクセルクロックに同期して、一方向にシリアル伝送するための3つのTMDSチャネル#0,#1,#2と、ピクセルクロックを伝送する伝送チャネルとしてのTMDSクロックチャネルとの他に、DDC(Display Data Channel)83、さらには、CECライン84と呼ばれる伝送チャネルがある。
DDC83は、HDMIケーブル300に含まれる図示しない2本のライン(信号線)からなり、ソース機器が、HDMIケーブル300を介して接続されたシンク機器から、E-EDID(Enhanced-Extended Display Identification)を読み出すために使用される。すなわち、シンク機器は、EDIDROM85を有している。ソース機器は、HDMIケーブル300を介して接続されているシンク機器から、EDIDROM85が記憶しているE-EDIDを、DDC83を介して読み出し、当該E-EDIDに基づき、シンク機器の設定、性能を認識する。
CECライン84は、HDMIケーブル300に含まれる図示しない1本のラインからなり、ソース機器とシンク機器との間で、制御用のデータの双方向通信を行うために用いられる。
また、HDMIケーブル300には、HPD(Hot Plug Detect)と呼ばれるピンに接続されるライン86が含まれている。ソース機器は、当該ライン86を利用して、シンク機器の接続を検出することができる。また、HDMIケーブル300には、ソース機器からシンク機器に電源を供給するために用いられるライン87が含まれている。さらに、HDMIケーブル300には、リザーブライン88が含まれている。
図4は、TMDSチャネルにおいて、横×縦が1920ピクセル×1080ラインの画像データが伝送される場合の、各種の伝送データの区間を示している。HDMIの3つのTMDSチャネルで伝送データが伝送されるビデオフィールド(Video Field)には、伝送データの種類に応じて、ビデオデータ区間24(Video Data Period)、データアイランド区間25(Data Island Period)、およびコントロール区間26(Control Period)の3種類の区間が存在する。
ここで、ビデオフィールド区間は、ある垂直同期信号の立ち上がりエッジ(Active Edge)から次の垂直同期信号の立ち上がりエッジまでの区間であり、水平帰線期間22(Horizontal Blanking)、垂直帰線期間23(Vertical Blanking)、並びに、ビデオフィールド区間から、水平帰線期間および垂直帰線期間を除いた区間である有効画素区間21(Active Video)に分けられる。
ビデオデータ区間24は、有効画素区間21に割り当てられる。このビデオデータ区間24では、非圧縮の1画面分の画像データを構成する1920ピクセル(画素)×1080ライン分の有効画素(Active Pixel)のデータが伝送される。データアイランド区間25およびコントロール区間26は、水平帰線期間22および垂直帰線期間23に割り当てられる。このデータアイランド区間25およびコントロール区間26では、補助データ(Auxiliary Data)が伝送される。
すなわち、データアイランド区間25は、水平帰線期間22と垂直帰線期間23の一部分に割り当てられている。このデータアイランド区間25では、補助データのうち、制御に関係しないデータである、例えば、音声データのパケット等が伝送される。コントロール区間26は、水平帰線期間22と垂直帰線期間23の他の部分に割り当てられている。このコントロール区間26では、補助データのうちの、制御に関係するデータである、例えば、垂直同期信号および水平同期信号、制御パケット等が伝送される。
図5は、HDMIコネクタのピン配列を示している。このピン配列は、タイプA(type-A)の例である。TMDSチャネル#iの差動信号であるTMDS Data#i+とTMDS Data#i-が伝送される差動線である2本のラインは、TMDS Data#i+が割り当てられているピン(ピン番号が1,4,7のピン)と、TMDS Data#i-が割り当てられているピン(ピン番号が3,6,9のピン)に接続される。
また、制御用のデータであるCEC信号が伝送されるCECライン84は、ピン番号が13であるピンに接続され、ピン番号が14のピンは空き(Reserved)ピンとなっている。また、E-EDID等のSDA(Serial Data)信号が伝送されるラインは、ピン番号が16であるピンに接続され、SDA信号の送受信時の同期に用いられるクロック信号であるSCL(Serial Clock)信号が伝送されるラインは、ピン番号が15であるピンに接続される。上述のDDC83は、SDA信号が伝送されるラインおよびSCL信号が伝送されるラインにより構成される。
また、上述したようにソース機器がシンク機器の接続を検出するためのHPDライン86は、ピン番号が19であるピンに接続される。また、上述したように電源を供給するための電源ライン87は、ピン番号が18であるピンに接続される。
「高速バスインタフェースの構成例」
図6は、図1のAVシステム10におけるテレビ受信機100の高速バスインタフェース103の構成例を示している。イーサネットインタフェース110は、HDMIケーブル300を構成する複数のラインのうち、リザーブラインおよびHPDラインの一対のラインにより構成された伝送路を用いてLAN(Local Area Network)通信、つまりイーサネット信号の送受信を行う。SPDIF送信回路104は、上述の一対のラインにより構成された伝送路を用いて、SPDIF信号を送信する。
図6は、図1のAVシステム10におけるテレビ受信機100の高速バスインタフェース103の構成例を示している。イーサネットインタフェース110は、HDMIケーブル300を構成する複数のラインのうち、リザーブラインおよびHPDラインの一対のラインにより構成された伝送路を用いてLAN(Local Area Network)通信、つまりイーサネット信号の送受信を行う。SPDIF送信回路104は、上述の一対のラインにより構成された伝送路を用いて、SPDIF信号を送信する。
テレビ受信機100は、LAN信号送信回路441、終端抵抗442、AC結合容量443,444、LAN信号受信回路445、減算回路446、加算回路449,450および増幅器451を有している。これらは、これらは高速バスインタフェース103を構成している。また、テレビ受信機100は、プラグ接続伝達回路128を構成する、チョークコイル461、抵抗462および抵抗463を有している。
HDMI端子101の14ピン端子521と19ピン端子522との間には、AC結合容量443、終端抵抗442およびAC結合容量444の直列回路が接続される。また、電源線(+5.0V)と接地線との間には、抵抗462および抵抗463の直列回路が接続される。そして、この抵抗462と抵抗463の互いの接続点は、チョークコイル461を介して、19ピン端子522とAC結合容量444との接続点Q4に接続される。
AC結合容量443と終端抵抗442の互いの接続点P3は、加算回路449の出力側に接続されると共に、LAN信号受信回路445の正入力側に接続される。また、AC結合容量444と終端抵抗442の互いの接続点P4は、加算回路450の出力側に接続されると共に、LAN信号受信回路445の負入力側に接続される。
加算回路449の一方の入力側はLAN信号送信回路441の正出力側に接続され、この加算回路449の他方の入力側にはSPDIF送信回路104から出力されるSPDIF信号が増幅器451を介して供給される。また、加算回路450の一方の入力側はLAN信号送信回路441の負出力側に接続され、この加算回路450の他方の入力側にはSPDIF送信回路104から出力されるSPDIF信号が増幅器451を介して供給される。
LAN信号送信回路441の入力側には、イーサネットインタフェース110から送信信号(送信データ)SG417が供給される。また、減算回路446の正側端子には、LAN信号受信回路445の出力信号SG418が供給され、この減算回路446の負側端子には、送信信号SG417が供給される。この減算回路446では、LAN信号受信回路445の出力信号SG418から送信信号SG417が減算され、受信信号(受信データ)SG419が得られる。この受信信号SG419は、リザーブラインおよびHPDラインを介してLAN信号(イーサネット信号)が差動信号として送信されてくる場合には、当該LAN信号となる。この受信信号SG419は、イーサネットインタフェース110に供給される。
図7は、図1のAVシステム10におけるオーディオアンプ200の高速バスインタフェース203の構成例を示している。イーサネットインタフェース210は、HDMIケーブル610を構成する複数のラインのうち、リザーブラインおよびHPDラインの一対のラインにより構成された伝送路を用いてLAN(Local Area Network)通信、つまりイーサネット信号の送受信を行う。SPDIF受信回路204は、上述の一対のラインにより構成された伝送路を用いて、SPDIF信号を受信する。
オーディオアンプ200は、LAN信号送信回路411、終端抵抗412、AC結合容量413,414、LAN信号受信回路415、減算回路416、加算回路419および増幅器420を有している。これらは、高速バスインタフェース203を構成している。また、オーディオアンプ200は、プラグ接続検出回路221を構成する、プルダウン抵抗431、抵抗432、容量433および比較器434を有している。ここで、抵抗432および容量433は、ローパスフィルタを構成している。
HDMI端子201の14ピン端子511と19ピン端子512との間には、AC結合容量413、終端抵抗412およびAC結合容量414の直列回路が接続される。AC結合容量413と終端抵抗412の互いの接続点P1は、LAN信号送信回路411の正出力側に接続されると共に、LAN信号受信回路415の正入力側に接続される。
AC結合容量414と終端抵抗412の互いの接続点P2は、LAN信号送信回路411の負出力側に接続されると共に、LAN信号受信回路415の負入力側に接続される。LAN信号送信回路411の入力側には、イーサネットインタフェース210から送信信号(送信データ)SG411が供給される。
減算回路416の正側端子には、LAN信号受信回路415の出力信号SG412が供給され、この減算回路416の負側端子には、送信信号(送信データ)SG411が供給される。この減算回路416では、LAN信号受信回路415の出力信号SG412から送信信号SG411が減算され、受信信号SG413が得られる。この受信信号SG413は、リザーブラインおよびHPDラインを介して、LAN信号(イーサネット信号)が差動信号として送信されてくる場合には、当該LAN信号となる。この受信信号SG413は、イーサネットインタフェース210に供給される。
AC結合容量414と19ピン端子512との接続点Q2は、プルダウン抵抗431を介して接地線に接続されると共に、抵抗432および容量433の直列回路を介して接地線に接続される。そして、抵抗432および容量433の互いの接続点に得られるローパスフィルタの出力信号は比較器434の一方の入力端子に供給される。この比較器434では、ローパスフィルタの出力信号が他方の入力端子に供給される基準電圧Vref2(+1.4V)と比較される。この比較器434の出力信号SG415は、オーディオアンプ200の図示しない制御部(CPU)に供給される。
また、AC結合容量413と終端抵抗412の互いの接続点P1は、加算回路419の一方の入力端子に接続される。また、AC結合容量414と終端抵抗412の互いの接続点P2は、加算回路419の他方の入力端子に接続される。この加算回路419の出力信号は、増幅器420を介してSPDIF受信回路204に供給される。この加算回路419の出力信号は、リザーブラインおよびHPDラインを介して、SPDIF信号が同相信号として送信されてくる場合には、当該SPDIF信号となる。
「SPDIF信号の詳細」
最初に、IEC 60958規格の概要について説明する。図8は、IEC 60958規格におけるフレーム構成を示している。各フレームは2つのサブフレームから構成される。2チャネルステレオ音声の場合、1つ目のサブフレームに左チャネル信号が含まれ、2つ目のサブフレームに右チャネル信号が含まれる。
最初に、IEC 60958規格の概要について説明する。図8は、IEC 60958規格におけるフレーム構成を示している。各フレームは2つのサブフレームから構成される。2チャネルステレオ音声の場合、1つ目のサブフレームに左チャネル信号が含まれ、2つ目のサブフレームに右チャネル信号が含まれる。
サブフレームの先頭には後述するようにプリアンブルが設けられ、左チャネル信号にはプリアンブルとして「M」が、右チャネル信号にはプリアンブルとして「W」が付与される。ただし、192フレーム毎に先頭のプリアンブルにはブロックの開始を表す「B」が付与される。すなわち、1ブロックは192フレームにより構成される。ブロックは、後述するチャネルステータスを構成する単位である。
図9は、IEC 60958規格におけるサブフレーム構成を示している。サブフレームは、第0乃至第31の計32のタイムスロットから構成される。第0乃至第3タイムスロットは、プリアンブル(Sync preamble)を示す。このプリアンブルは、上述のように左右チャネルの区別やブロックの開始位置を表すために、「M」、「W」または「B」の何れかを示す。
第4乃至第27タイムスロットはメインデータフィールドであり、24ビットコードレンジが採用される場合には全体がオーディオデータを表す。また、20ビットコードレンジが採用される場合には第8乃至第27タイムスロットがオーディオデータ(Audio sample word)を表す。後者の場合、第4乃至第7タイムスロットは追加情報(Auxiliary sample bits)として利用することができる。図示の例は、後者の場合を示している。
第28タイムスロットは、メインデータフィールドの有効フラグ(Validity flag)である。第29タイムスロットは、ユーザデータ(User data)の1ビット分を表す。各フレームにまたがってこの第29タイムスロットを累積することによって一連のユーザデータを構成することができる。このユーザデータのメッセージは8ビットの情報ユニット(IU:Information Unit)を単位として構成され、1つのメッセージには3乃至129個の情報ユニットが含まれる。
情報ユニット間には0乃至8ビットの「0」が存在し得る。情報ユニットの先頭は開始ビット「1」により識別される。メッセージ内の最初の7個の情報ユニットは予約されており、8個目以降の情報ユニットにユーザは任意の情報を設定することができる。メッセージ間は8ビット以上の「0」により分割される。
第30タイムスロットは、チャネルステータス(Channel status)の1ビット分を表す。各フレームにまたがってブロック毎に第30タイムスロットを累積することによって一連のチャネルステータスを構成することができる。なお、ブロックの先頭位置は、上述のように、「B」のプリアンブル(第0乃至第3タイムスロット)により示される。
第31タイムスロットは、パリティビット(Parity bit)である。第4乃至第31タイムスロットに含まれる「0」および「1」の数が偶数になるように、このパリティビットが付与される。
図10は、IEC 60958規格における信号変調方式を示している。サブフレームのうちプリアンブルを除く第4乃至第31タイムスロットがバイフェーズマーク変調される。このバイフェーズマーク変調の際には、元の信号(ソースコーディング)の2倍速のクロックが用いられる。元の信号のクロックサイクルを前半と後半に分けると、前半のクロックサイクルのエッジで、バイフェーズマーク変調の出力は必ず反転する。また、後半クロックサイクルのエッジにおいて、元の信号が「1」を示しているときには反転し、元の信号が「0」を示しているときには反転しない。これにより、バイフェーズマーク変調された信号から元の信号におけるクロック成分を抽出できることになる。
図11は、IEC 60958規格におけるプリアンブルのチャネルコーディングを示している。上述のように、サブフレームのうち第4乃至第31タイムスロットはバイフェーズマーク変調される。一方、第0乃至第3タイムスロットのプリアンブルは通常のバイフェーズマーク変調ではなく、2倍速のクロックに同期したビットパターンとして扱われる。すなわち、第0乃至第3タイムスロットの各タイムスロットに2ビットずつ割り当てることにより、同図のような8ビットパターンを得る。
直前の状態が「0」であれば、プリアンブル「B」には「11101000」が、「M」には「11100010」が、「W」には「1100100」がそれぞれ割り当てられる。一方、直前の状態が「1」であれば、プリアンブル「B」には「00010111」が、「M」には「00011101」が、「W」には「00011011」がそれぞれ割り当てられる。
この実施の形態においては、IEC 60958規格を基礎とするマルチチャネル伝送フォーマットを利用して、上述のマルチチャネルオーディオ信号および所定チャネル数の触覚振動信号を同時に伝送する。
まず、マルチチャネル伝送フォーマットについて説明する。図12は、マルチチャネル伝送フォーマットにおけるフレーム構成の一例を示している。IEC 60958規格では、192フレームで1つのブロックが構成されるが、この192フレームは所定数のサブフレームからなるマルチチャネルグループ(Multichannel group)の繰り返しからなる。それぞれのサブフレーム部分はマルチチャネルオーダを構成している。マルチチャネルグループに含めるサブフレームの数を幾つにするかは、ブロック毎に構成されるチャネルステータスの所定ビット領域を用いて示すことができる。
また、マルチチャネルグループ内に、それぞれマルチチャネルオーディオ信号を伝送するための1つまたは複数のマルチチャネルサブグループが形成される。マルチチャネルサブグループは、1つまたは複数のマルチチャネルオーダからなる。このマルチチャネルサブグループを構成するそれぞれのマルチチャネルオーダにマルチチャネルオーディオ信号の各チャネルの信号が順次配置される。マルチチャネルグループ内に如何なるマルチチャネルサブグループが形成されるかは、ブロック毎に構成されるチャネルステータスの所定ビット領域を用いて示すことができ、また、所定数のフレームのユーザデータビットを用いても示すことができる。
図示の例においては、1つのマルチチャネルグループが8サブフレーム、つまりマルチチャネルオーダ1~8で構成されている。また、マルチチャネルグループ内に、マルチチャネルサブグループ1~4の4つのマルチチャネルサブグループが形成されている。
マルチチャネルサブグループ1は、マルチチャネルオーダ1~3からなり、それぞれのマルチチャネルオーダに3チャネルのマルチチャネルオーディオ信号の各チャネルの信号(チャネル番号65,66,67の信号)が順に配置されている。ここで、チャネル番号65はフロントレフト(FL)を示し、チャネル番号66はフロントライト(FR)を示し、チャネル番号67はフロントセンター(FC)を示す。
また、マルチチャネルサブグループ2は、マルチチャネルオーダ4~5からなり、それぞれのマルチチャネルオーダに2チャネルのマルチチャネルオーディオ信号の各チャネルの信号(チャネル番号77,78の信号)が順に配置されている。ここで、チャネル番号77はハイフロントレフト(HFL)を示し、チャネル番号78はフロントライト(HFR)を示す。
また、マルチチャネルサブグループ3は、マルチチャネルオーダ6からなり、そのマルチチャネルオーダに1チャネルのマルチチャネルオーディオ信号(チャネル番号80の信号)が配置されている。ここで、チャネル番号80はオーバーヘッドセンター(OhC)を示す。
また、マルチチャネルサブグループ4は、マルチチャネルオーダ7~8からなり、そのマルチチャネルオーダに2チャネルのマルチチャネルオーディオ信号(チャネル番号65,66の信号)が順に配置されている。
マルチチャネルグループ内に形成されるマルチチャネルサブグループの指定の仕方について説明する。マルチチャネルサブグループの指定方法として、例えば、以下の第1~第3の方法がある。
第1の方法は、ブロック毎に構成されるチャネルステータスのビット63~60に格納されるマルチチャネルコンフィグレーションの情報により、マルチチャネルサブグループを直接指定する方法である。ここで、マルチチャネルコンフィグレーションは、予め所定のオーディオチャネルが組み合わせられたオーディオチャネルセットを示すものである。この第1の方法では、予め所定のオーディオチャネルが組み合わせられたオーディオチャネルセットしか指定することができない。
第2の方法は、ブロック毎に構成されるチャネルステータスのビット165~191に格納されるマルチチャネルマップを利用し、該当するチャネルにあたるビットに1を立てることでチャネルサブグループを指定する方法である。この第2の方法では、任意のオーディオチャネルを組み合わせたオーディオチャネルセットを指定できるが、送信順はマルチチャネルマップに出てくる順番となり、任意の送信順とすることはできない。
図13は、IEC 60958規格におけるチャネルステータスのフォーマットを概略的に示している。チャネルステータスは、サブフレームにおける第30タイムスロットをブロック毎に累積したものである(図9参照)。この図では、チャネルステータスの内容が縦方向に1バイトずつ配置され、横方向には各バイトにおけるビット構成が示されている。なお、ここでは、民生用(Consumer use)のフォーマットを想定して説明する。
第0ビット(bit 0)aは“0”とされ、このチャンネルステータスが民生用であることを示す。また、第1ビット(bit 1)bは“0”とされ、リニアPCMのサンプルであることを示す。また、第6および7ビット(bit 6-7)は、チャネルステータスのモードを示す。
また、第44ビット乃至第47ビット(bit 44-47)は、「Multichannel Count」の4ビットフィールドを構成しており、マルチチャネルグループに含めるサブフレームの数が示される。例えば、“0000”は2ch LPCM、つまりマルチチャネルグループに含めるサブフレームの数が2であることを示し、“1011”は64ch LPCM、つまりマルチチャネルグループに含めるサブフレームの数が64であることを示し、“1100”は32ch LPCM、つまりマルチチャネルグループに含めるサブフレームの数が32であることを示し、“1101”は16ch LPCM、つまりマルチチャネルグループに含めるサブフレームの数が16であることを示し、“1110”は8ch LPCM、つまりマルチチャネルグループに含めるサブフレームの数が8であることを示し、さらに“1111”は4ch LPCM、つまりマルチチャネルグループに含めるサブフレームの数が4であることを示す。
また、第53ビット乃至第60ビットは、「Multichannel configuration value」の8ビットフィールドを構成しており、第1の方法によるマルチチャネルサブグループの指定に用いられるマルチチャネルコンフィグレーションの値を示す。
図14は、マルチチャネルコンフィグレーションの値と、それで示されるオーディオチャネルセットとの対応関係を示している。それぞれのオーディオチャンネルセットは、ISO/IEC 23001-8 2016で決められたものであり、マルチチャンネルコンフィグレーションの値で識別される。なお、図14には示されていないが、ITU-R BS.2094-1で規定されているオーディオチャンネルセットやIEC独自のオーディオチャンネルセットを指定することも可能である。
マルチチャネルコンフィグレーションの値が“10000000”であれば、チャネルコンフィグレーション1(ChannelConfiguration 1)であるオーディオチャンネルセット(マルチチャネルサブグループ)が存在し、このオーディオチャンネルセットは「67:FC」のオーディオチャネルのみで構成されることを示す。また、マルチチャネルコンフィグレーションの値が“01000000”であれば、チャネルコンフィグレーション2(ChannelConfiguration 2)であるオーディオチャンネルセット(マルチチャネルサブグループ)が存在し、このオーディオチャンネルセットは「65:FL」、「66:FR」のオーディオチャネルで構成され、この順番で送信されることを示す。
また、マルチチャネルコンフィグレーションの値が“11000000”であれば、チャネルコンフィグレーション3(ChannelConfiguration 3)であるオーディオチャンネルセット(マルチチャネルサブグループ)が存在し、このオーディオチャンネルセットは「65:FL」、「66:FR」、「67:FC」のオーディオチャネルで構成され、この順番で送信されることを示す。また、マルチチャネルコンフィグレーションの値が“00100000”であれば、チャネルコンフィグレーション4(ChannelConfiguration 4)であるオーディオチャンネルセット(マルチチャネルサブグループ)が存在し、このオーディオチャンネルセットは「65:FL」、「66:FR」、「67:FC」、「184:MS」のオーディオチャネルで構成され、この順番で送信されることを示す。
また、マルチチャネルコンフィグレーションの値が“10100000”であれば、チャネルコンフィグレーション5(ChannelConfiguration 5)であるオーディオチャンネルセット(マルチチャネルサブグループ)が存在し、このオーディオチャンネルセットは「65:FL」、「66:FR」、「67:FC」、「69:LS」、「70:RS」のオーディオチャネルで構成され、この順番で送信されることを示す。
また、マルチチャネルコンフィグレーションの値が“01100000”であれば、チャネルコンフィグレーション6(ChannelConfiguration 6)であるオーディオチャンネルセット(マルチチャネルサブグループ)が存在し、このオーディオチャンネルセットは「65:FL」、「66:FR」、「67:FC」、「68:LFE」、「69:LS」、「70:RS」のオーディオチャネルで構成され、この順番で送信されることを示す。
また、マルチチャネルコンフィグレーションの値が“11100000”であれば、チャネルコンフィグレーション7(ChannelConfiguration 7)であるオーディオチャンネルセット(マルチチャネルサブグループ)が存在し、このオーディオチャンネルセットは「65:FL」、「66:FR」、「67:FC」、「68:LFE」、「69:LS」、「70:RS」、「109:FLmid」、「110:FRmid」のオーディオチャネルで構成され、この順番で送信されることを示す。
ここで、65,66,67,68,69,70,109,110などの番号は、第2の方法で使用されるマルチチャネルマップで決められるオーディオチャネル特有の番号であり、それぞれ特定のスピーカに対応している。例えば、フロントレフトスピーカは65番、フロントライトスピーカは66番である。この番号は、第3の方法でも使用される。これらのスピーカ位置、番号はITU-R BS.2094-1, ISO/IEC 23001-8を元にIEC 62574で決められているが、それに限定されるものではなく、その他に独自にアサインするチャンネルがあってもよい。なお、マルチチャンネルコンフィグレーション値が“00000000”の場合は、第1の方法で指定されたオーディオチャンネルセット(マルチチャネルサブグループ)は存在しないことを示す。
図13に戻って、第64ビット(bit 64)は、第65ビットから第191ビットのマルチチャネルマップが利用されて、オーディオチャンネルセット(マルチチャネルサブグループ)の指定がされているか否かを示す。例えば、“0”は指定されていないことを示し、“1”は指定されていることを示す。第65ビットから第191ビットのマルチチャネルマップにおいては、ビット番号がそのままチャネル特有の番号に対応するようにされている。
例えば、第65ビットは「65:FL」のオーディオチャネルに対応し、第2の方法で指定されるオーディオチャンネルセットに、この「65:FL」のオーディオチャネルを含める場合には、この第65ビットに1が立てられる。詳細説明は省略するが、第2の方法で指定されるオーディオチャンネルセットにその他のオーディオチャネルを含める場合も、同様にして行われる。
第3の方法は、連続する所定数のフレームのユーザデータビットを用いて、マルチチャネルサブグループを指定する方法である。この第3の方法では、任意のオーディオチャネルを組み合わせたオーディオチャネルセットを指定でき、各オーディオチャネルの送信順も任意に設定できる。
第3の方法は、ユーザデータビットを利用してマルチチャンネルコンフィグレーション情報をパケット化してエンベデッドするという方法である。この場合、まず、高さ毎のスピーカの数を特定するパケットを送る。図15は、そのパケットの一例を示している。ここで、高さの種類は、「Overhead」、「High」、「Middle」、「Bottom」、「LFE」である。それぞれのレイヤにスピーカがトータルいくつ配置されているか規定する。この仕組みをパケット内で繰り返すことにより複数個のマルチチャンネルサブグループを構成できる。次に、マルチチャンネルグループ内の送信順に対して何番のオーディオチャンネルを送信するかを指定するパケットを送る。図16は、そのパケットの一例を示している。
この第3の方法は、オーディオチャンネルセット(マルチチャネルサブグループ)を指定する方法として最も自由度が高く、特定のオーディオチャネルを特定の順で送信することが可能で、また、複数回送信することも可能である。
図17は、上述の図12に示すマルチチャネル伝送フォーマットにおけるフレーム構成の一例における、マルチチャネルグループ1~4の指定方法の具体例を示している。マルチチャネルサブグループ1は、第1の方法で指定される。この場合、チャネルステータスの第53ビット乃至第60ビットの「Multichannel configuration value」の値が“11000000”とされ、「65:FL」、「66:FR」、「67:FC」で構成されるオーディオチャンネルセット(マルチチャネルサブグループ)の存在が示される(図14参照)。
また、マルチチャネルサブグループ2は、第2の方法で指定される。この場合、チャネルステータスの第64ビットが“1”とされてマルチチャネルマップ利用の第2の方法で指定されるオーディオチャンネルセット(マルチチャネルサブグループ)の存在が示され、さらに第77ビットおよび第78ビットに1が立てられて、このオーディオチャンネルセット(マルチチャネルサブグループ)は、「77:HFL」、「78:HFR」のオーディオチャンネルがこの順に含まれた構成であることが示される。
また、マルチチャネルサブグループ3,4は、第3の方法で指定される。この場合、マルチチャネルサブグループ3に関しては、高さ毎のスピーカの数を特定するパケット(図15参照)にオーバーヘッドスピーカの数が1個で構成されることが示され、何番のオーディオチャンネルを送信するかを指定するパケット(図16参照)で「80:OhC」のオーディオチャネルが示される。
また、マルチチャネルサブグループ4に関しては、高さ毎のスピーカの数を特定するパケット(図15参照)にボトムスピーカの数が2個で構成されることが示され、何番のオーディオチャンネルを送信するかを指定するパケット(図16参照)で「65:FL」、「66:FR」のオーディオチャネルが示される。
この実施の形態においては、上述の第1から第3の方法で指定されるマルチチャネルサブグループを利用して、マルチチャネルオーディオ信号と所定チャネル数の触覚振動信号を同時に伝送する。なお、ISO/IEC 23001-8 2016に現時点では触覚振動信号を含むセットは定義されていない。しかし、将来定義されれば、第1の方法でマルチチャネルオーディオ信号と所定チャネル数の触覚振動信号を同時に伝送するためのマルチチャネルサブグループを指定することも可能である。
また、第2の方法でマルチチャネルオーディオ信号と所定チャネル数の触覚振動信号を同時に伝送するマルチチャネルサブグループを指定するために、チャネルステータスのマルチチャネルマップを構成する第65ビット乃至第191ビットのうち、未定義のビットに、触覚振動信号を新たに定義することが考えられる。この実施の形態においては、例えば、図13に示すように、第120乃至122ビットに、触覚振動信号が定義される。
マルチメディア信号の一種である触覚振動信号は人体に取り付けたアクチュエータを振動させる用途の信号である。この触覚振動信号は、非圧縮オーディオ信号伝送路を利用して伝送できるものの、信号は低域に偏っており。場合によっては圧力を表すため直流成分を含む場合がある。
この触覚振動信号を旧来のオーディオアンプで再生すると、正しく再生できなかったり、増幅素子を熱によるダメージ等で破損したり、スピーカがつながっていた場合、最悪ボイスコイルが断線したりする。この問題を回避するために、触覚振動信号に独自のチャネル番号を振り当ててオーディオチャンネル信号と区別する。例えば、右腕振動信号を120番とし、マルチチャネルマップの第120ビットに定義する。また、例えば、左腕振動信号を121番とし、マルチチャネルマップの第121ビットに定義する。また、両足振動信号を122番とし、マルチチャネルマップの第122ビットに定義する。なお、触覚振動信号は、これらに限定されるものではなく、それらの触覚振動信号に関しても、独自の番号を振り当ててオーディオチャンネル信号と区別すればよい。
また、上述の第2の方法で決めた触覚振動信号のチャネル番号を利用して、第3の方法で、マルチチャネルオーディオ信号と所定チャネル数の触覚振動信号を同時に伝送するためのマルチチャネルサブグループを指定することも可能である。あるいは、この第3の方法独自に触覚振動信号のチャネル番号を決めて独自に運用することも可能である。
なお、マルチチャネルオーディオ信号と所定チャネル数の触覚振動信号を同時に伝送するためのマルチチャネルサブグループの指定はブロック(192フレーム)毎に変更することが可能であり、時分割とすることで、マルチチャネルサブグループに割り当てられた触覚振動信号のチャネル数以上のチャネルの触覚振動信号を、伝送することも可能となる。例えば、ユーザの全身に多数の振動ユニットを付けて、下から1秒ごとに上へと振動させていく場合などが考えられる。
図18は、マルチチャネルオーディオ信号と所定チャネル数の触覚振動信号を同時に伝送する場合のマルチチャネル伝送フォーマットのフレーム構成の一例を示している。この図18のフレーム構成は、詳細説明は省略するが、全体としては、図12のフレーム構成と同様である。
この例においては、8サブフレーム、つまりマルチチャネルオーダ1~8で構成されているマルチチャネルグループ内に、マルチチャネルサブグループ1の1つのマルチチャネルサブグループが形成されている。そして、この例は、その1つのマルチチャネルサブグループによって、図19に示すような、5.1チャネルオーディオと2チャネルの触覚振動信号を伝送する例である。
マルチチャネルサブグループ1を構成するマルチチャネルオーダ1~8に、マルチチャネルオーディオ信号と所定チャネル数の触覚振動信号の各チャネルの信号(チャネル番号65,66,67,68,69,78,120,121の信号)が順に配置されている。
ここで、チャネル番号65~70はマルチチャネルオーディオ信号を構成する各オーディオチャネルを表し、「65」はフロントレフト(FL)を示し、「66」はフロントライト(FR)を示し、「67」はフロントセンター(FC)を示し、「68」はLFEを示し、「69」はレフトサラウンドを示し、「70」はライトサラウンドを示す。また、チャネル番号120,121は触覚振動信号の各チャネルを表し、「120」はレフトハンド(右腕振動信号)を示し、「121」はライトハンド(左腕信号信号)を示す。
なお、図18のフレーム構成では、マルチチャネルグループ内に1つのマルチチャネルサブグループが形成される例を示したが、マルチチャネルグループ内に複数のマルチチャネルサブグループを形成することも考えられ、また、全てにマルチチャネルオーディオ信号と所定チャネル数の触覚振動信号の各チャネルの信号が順に配置される場合だけでなく、一部のマルチチャネルサブグループに、マルチチャネルオーディオ信号の各チャネルの信号のみが配置される場合、あるいは所定チャネル数の触覚振動信号の各チャネルの信号のみが配置される場合も考えられる。
マルチチャネルオーディオ信号と所定チャネル数の触覚振動信号の各チャネルの信号を順に配置するマルチチャネルサブグループの指定も、上述の第1~第3の方法により行うことができる。この場合の指定情報は、マルチチャネルオーディオ信号および所定チャネル数の触覚振動信号の構成情報ともなる。この構成情報には、触覚振動信号をオーディイオ信号と区別するための識別情報が含まれる。また、この識別情報には、所定チャネル数の触覚振動信号のそれぞれが対象とする振動位置の情報が含まれる。
図20は、上述の図18に示すマルチチャネル伝送フォーマットにおけるフレーム構成の一例における、マルチチャネルサブグループ1が、第2の方法で指定される場合について示している。この場合、チャネルステータス(図13参照)の第64ビットが“1”とされてマルチチャネルマップ利用の第2の方法で指定されるマルチチャネルサブグループの存在が示される。
そして、チャネルステータスの第65ビット乃至第70ビットおよび第120ビット乃至第121ビットに1が立てられて、このマルチチャネルサブグループは、「65:FL」、「66:FR」、「67:FC」、「68:LFE」、「69:LS」、「70:RS」のオーディオチャンネルがこの順に含まれ、さらに、「120:Left Hand」、「121:Left Hand」の触覚振動信号のチャネルがこの順に含まれた構成であることが示される。
上述したように、図1に示すAVシステム10においては、所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号を含む、192フレームからなるブロック毎の信号を、テレビ受信機100からオーディオアンプ200に、HDMIケーブル300を介して、送信するものである。そのため、テレビ受信機100からオーディオアンプ200に、触覚振動信号をオーディオ信号と同期して良好に伝送できる。
また、図1に示すAVシステム10においては、ブロックを構成する192フレームを所定数のサブフレームからなるマルチチャネルグループの繰り返しとし、そのマルチチャネルグループ内に形成された、チャネルステータスの所定ビット領域あるいは連続する所定数のユーザデータビットで指定された構成のマルチチャネルサブグループに、マルチチャネルオーディオ信号(所定チャネル数のオーディオ信号)と所定チャネル数の触覚振動信号の各チャネルの信号を順に配置して送信するものである。そのため、受信側であるオーディオアンプ200では、所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号を、チャネルステータスの所定ビット領域あるいは連続する所定数のユーザデータビットから取得される構成情報に基づいて、簡単かつ適切に取得できる。
また、図1に示すAVシステム10においては、上述の構成情報は同時に送信されるマルチチャネルオーディオ信号と所定チャネル数の触覚振動信号とを区別し得る識別情報を含むものである。そのため、受信側であるオーディオアンプ200では、同時に送信されるマルチチャネルオーディオ信号と所定チャネル数の触覚振動信号から、それぞれの信号を区別して取得でき、従って例えば触覚振動信号が誤ってオーディオ信号の再生系に供給される等の誤動作を防止できる。
また、図1に示すAVシステム10においては、複数チャネルの触覚振動信号を送信する場合、上述の構成情報はそれぞれのチャネルの触覚振動信号が対象とする振動位置の情報を含むものである。そのため、受信側であるオーディオアンプ200では、それぞれのチャネルの触覚振動信号により対象とする振動位置の振動デバイスを適切に振動させることが可能となる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
<2.変形例>
なお、上述実施の形態においては、テレビ受信機100がオーディオアンプ200に送信する触覚振動信号は放送コンテンツ、ネットコンテンツあるいは再生コンテンツに含まれているものであった。しかし、それらのコンテンツに触覚振動信号が含まれていない場合、オーディオ信号に関連するメディア信号、例えばコンテンツに含まれるオーディオ信号やビデオ信号を分析して触覚振動信号を生成して利用することも考えられる。
なお、上述実施の形態においては、テレビ受信機100がオーディオアンプ200に送信する触覚振動信号は放送コンテンツ、ネットコンテンツあるいは再生コンテンツに含まれているものであった。しかし、それらのコンテンツに触覚振動信号が含まれていない場合、オーディオ信号に関連するメディア信号、例えばコンテンツに含まれるオーディオ信号やビデオ信号を分析して触覚振動信号を生成して利用することも考えられる。
図21は、その場合におけるAVシステム10Aの構成例を示している。この図21において、図1と対応する部分には、同一符号を付し、適宜その詳細説明は省略する。テレビ受信機100は触覚振動信号生成部111をさらに有するものとされる。この触覚振動信号生成部111は、コンテンツ再生回路108から入力されるオーディオ信号やビデオ信号を分析して触覚振動信号を生成してSPDIF送信回路104に供給する。テレビ受信機100のその他は、図1のAVシステム10のテレビ受信機100と同様に構成される。
なお、コンテンツに例えばMIDI(Musical Instrument Digital Interface)のような振動指示信号が含まれる場合、触覚振動信号生成部111は、その振動指示信号に基づいて触覚振動信号を生成することも考えられる。
また、上述していないが、触覚振動信号自体が多次元である場合も考えられる。例えば、触覚振動信号を構成するX軸、Y軸、Z軸の振動データ(図22参照)を伝送する場合、それぞれ8ビットのデータでデジタル化し、図23に示すように、IEC 60958-1のサブフレーム内の24ビットスロットにアサインすることで伝送できる。サブフレームのうち、リニアPCMではビット4からビット27の合計24ビットがオーディオチャネル伝送に使用されているが、8ビットずつに3分割して使用される。なお、例えば、Z軸は皮膚に垂直で、X軸、Y軸は皮膚に平行とされる。さらに、ビット配分は重み付けが可能で、Z軸に10ビット、X軸、Y軸に7ビットのように不均一にあてがってもよい。
図23に示すように24ビットスロットを3分割して使用する場合、Z軸しか駆動しないデバイスでも、この24ビットデータであれば、下位をノイズと見なして1次元の場合と互換性をもってドライブできる。また、この場合、指一本一本にチャネルを割り当てたり、より細かい接触平面を構成するよう分割したりすることができる。
また、上述していないが、図24に示すように、ユーザを覆うような立方体の空間を考え、この立方体のa~hの各頂点における触覚振動信号を代表として送信し、この立方体の空間に含まれる実際の駆動点における触覚振動信号を各頂点における触覚振動信号から線形補完などにより求めることも考えられる。この場合の各頂点における触覚振動信号の信号名としては、前方右上コーナー、後方下左コーナー等が考えられる。
また、上述していないが、図12に示すマルチチャネル伝送フォーマットの信号の記録再生に対応している機器であれば、図18に示すマルチチャネルオーディオ信号および所定チャネル数の触覚振動信号を含むマルチチャネル伝送フォーマットの信号も同様に記録再生できる。
また、上述実施の形態においては、触覚振動信号をオーディオ信号と同時に伝送する例を示した。同様に、発話対応ロボティクスマシンコントロール信号、あるいはオーディオマイク信号に各種センサ信号をパックして同時に伝送する場合にも、本技術を適用できる。また、車のエンジン音と温度センサデータなどの一括同期伝送にも、本技術を適用できる。
なお、上述実施の形態においては、IEC 60958伝送路としてHDMI ARCを利用する例を示したが、IEC 60958伝送路として、同軸ケーブルや光ケーブルを利用する例も考えられる。また、IEC 60958伝送路として、HDMI伝送路を利用する例も考えられる。この場合、SPDIF信号(IEC 60958信号)はオーディオサンプルパケット(audio sample packet)にマッピングされ、ビデオ伝送と同じ順方向に伝送される。同様に、IEC 60958伝送路として、IEC 61883-6伝送路、MHL伝送路、ディスプレイポート伝送路(DP伝送路)などを利用する例も考えられる。これらの場合も、SPDIF信号(IEC 60958信号)はオーディオサンプルパケット(audio sample packet)にマッピングされ、ビデオ伝送と同じ順方向に伝送される。
また、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、技術は、以下のような構成もとることができる。
(1)複数フレームからなるブロック毎の伝送信号を順次所定伝送路を介して受信側に送信する送信部を備え、
上記伝送信号は、所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号を含む
送信装置。
(2)上記伝送信号に、上記所定チャネル数のオーディオ信号と上記所定チャネル数の触覚振動信号の構成情報を付加する情報付加部をさらに備える
前記(1)に記載の送信装置。
(3)上記構成情報は、上記触覚振動信号を上記オーディイオ信号と区別するための識別情報を含む
前記(2)に記載の送信装置。
(4)上記識別情報は、上記所定チャネル数の触覚振動信号のそれぞれが対象とする振動位置の情報を含む
前記(3)に記載の送信装置。
(5)上記情報付加部は、上記ブロック毎に構成されるチャネルステータスの所定ビット領域を用いて上記構成情報を付加する
前記(2)から(4)のいずれかに記載の送信装置。
(6)上記情報付加部は、連続する所定数のフレームのユーザデータビットを用いて上記構成情報を付加する
前記(2)から(5)のいずれかに記載の送信装置。
(7)上記複数フレームは、所定数のフレームからなるマルチチャネルグループの繰り返しで構成され、
上記送信部は、上記所定チャネル数のオーディオ信号および上記所定チャネル数の触覚振動信号を、上記マルチチャネルグループ毎に、上記所定数のフレームの全部または一部にチャネル別に時分割的に配置して送信する
前記(1)から(6)のいずれかに記載の送信装置。
(8)上記オーディオ信号に関連するメディア信号に基づいて上記触覚振動信号を生成する処理部をさらに備える
前記(1)から(7)のいずれかに記載の送信装置。
(9)上記所定伝送路は、同軸ケーブル、光ケーブル、イーサネット(IEC 61883-6)ケーブル、HDMIケーブル、MHLケーブルまたはディスプレイポートケーブルである
前記(1)から(8)のいずれかに記載の送信装置。
(10)複数フレームからなるブロック毎の伝送信号を順次所定伝送路を介して受信側に送信する手順を有し、
上記伝送信号は、所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号を含む
送信方法。
(11)複数フレームからなるブロック毎の伝送信号を送信側から順次所定伝送路を介して受信する受信部を備え、
上記伝送信号は、所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号を含む
受信装置。
(12)上記伝送信号を処理して上記所定チャネル数のオーディオ信号と上記所定チャネル数の触覚振動信号を出力する処理部をさらに備える
前記(11)に記載の受信装置。
(13)上記伝送信号は上記所定チャネル数のオーディオ信号と上記所定チャネル数の触覚振動信号の構成情報を含み、
上記処理部は、上記構成情報に基づいて上記伝送信号を処理して、上記所定チャネル数のオーディオ信号と上記所定チャネル数の触覚振動信号を出力する
前記(12)に記載の受信装置。
(14)上記構成情報は、上記ブロック毎に構成されるチャネルステータスの所定ビット領域を用いて付加されている
前記(13)に記載の受信装置。
(15) 上記構成情報は、連続する所定数のフレームのユーザデータビットを用いて付加されている
前記(13)または(14)に記載の受信装置。
(16)上記複数フレームは、所定数のフレームからなるマルチチャネルグループの繰り返しで構成され、
上記所定チャネル数のオーディオ信号および上記所定チャネル数の触覚振動信号は、上記マルチチャネルグループ毎に、上記所定数のフレームの全部または一部にチャネル別に時分割的に配置されている
前記(11)から(15)のいずれかに記載の受信装置。
(17)上記所定伝送路は、同軸ケーブル、光ケーブル、イーサネット(IEC 61883-6)ケーブル、HDMIケーブル、MHLケーブルまたはディスプレイポートケーブルである
前記(11)から(16)のいずれかに記載の受信装置。
(18)複数フレームからなるブロック毎の伝送信号を送信側から順次所定伝送路を介して受信する手順を有し、
上記伝送信号は、所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号を含む
受信方法。
(1)複数フレームからなるブロック毎の伝送信号を順次所定伝送路を介して受信側に送信する送信部を備え、
上記伝送信号は、所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号を含む
送信装置。
(2)上記伝送信号に、上記所定チャネル数のオーディオ信号と上記所定チャネル数の触覚振動信号の構成情報を付加する情報付加部をさらに備える
前記(1)に記載の送信装置。
(3)上記構成情報は、上記触覚振動信号を上記オーディイオ信号と区別するための識別情報を含む
前記(2)に記載の送信装置。
(4)上記識別情報は、上記所定チャネル数の触覚振動信号のそれぞれが対象とする振動位置の情報を含む
前記(3)に記載の送信装置。
(5)上記情報付加部は、上記ブロック毎に構成されるチャネルステータスの所定ビット領域を用いて上記構成情報を付加する
前記(2)から(4)のいずれかに記載の送信装置。
(6)上記情報付加部は、連続する所定数のフレームのユーザデータビットを用いて上記構成情報を付加する
前記(2)から(5)のいずれかに記載の送信装置。
(7)上記複数フレームは、所定数のフレームからなるマルチチャネルグループの繰り返しで構成され、
上記送信部は、上記所定チャネル数のオーディオ信号および上記所定チャネル数の触覚振動信号を、上記マルチチャネルグループ毎に、上記所定数のフレームの全部または一部にチャネル別に時分割的に配置して送信する
前記(1)から(6)のいずれかに記載の送信装置。
(8)上記オーディオ信号に関連するメディア信号に基づいて上記触覚振動信号を生成する処理部をさらに備える
前記(1)から(7)のいずれかに記載の送信装置。
(9)上記所定伝送路は、同軸ケーブル、光ケーブル、イーサネット(IEC 61883-6)ケーブル、HDMIケーブル、MHLケーブルまたはディスプレイポートケーブルである
前記(1)から(8)のいずれかに記載の送信装置。
(10)複数フレームからなるブロック毎の伝送信号を順次所定伝送路を介して受信側に送信する手順を有し、
上記伝送信号は、所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号を含む
送信方法。
(11)複数フレームからなるブロック毎の伝送信号を送信側から順次所定伝送路を介して受信する受信部を備え、
上記伝送信号は、所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号を含む
受信装置。
(12)上記伝送信号を処理して上記所定チャネル数のオーディオ信号と上記所定チャネル数の触覚振動信号を出力する処理部をさらに備える
前記(11)に記載の受信装置。
(13)上記伝送信号は上記所定チャネル数のオーディオ信号と上記所定チャネル数の触覚振動信号の構成情報を含み、
上記処理部は、上記構成情報に基づいて上記伝送信号を処理して、上記所定チャネル数のオーディオ信号と上記所定チャネル数の触覚振動信号を出力する
前記(12)に記載の受信装置。
(14)上記構成情報は、上記ブロック毎に構成されるチャネルステータスの所定ビット領域を用いて付加されている
前記(13)に記載の受信装置。
(15) 上記構成情報は、連続する所定数のフレームのユーザデータビットを用いて付加されている
前記(13)または(14)に記載の受信装置。
(16)上記複数フレームは、所定数のフレームからなるマルチチャネルグループの繰り返しで構成され、
上記所定チャネル数のオーディオ信号および上記所定チャネル数の触覚振動信号は、上記マルチチャネルグループ毎に、上記所定数のフレームの全部または一部にチャネル別に時分割的に配置されている
前記(11)から(15)のいずれかに記載の受信装置。
(17)上記所定伝送路は、同軸ケーブル、光ケーブル、イーサネット(IEC 61883-6)ケーブル、HDMIケーブル、MHLケーブルまたはディスプレイポートケーブルである
前記(11)から(16)のいずれかに記載の受信装置。
(18)複数フレームからなるブロック毎の伝送信号を送信側から順次所定伝送路を介して受信する手順を有し、
上記伝送信号は、所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号を含む
受信方法。
10,10A・・・・AVシステム
100・・・テレビ受信機
101・・・HDMI端子
102・・・HDMI受信部
103・・・高速バスインタフェース
104・・・SPDIF送信回路
105・・・システムコントローラ
107・・・デジタル放送受信回路
108・・・コンテンツ再生回路
109・・・表示部
110・・・イーサネットインタフェース
111・・・触覚振動信号生成部
121・・・受信アンテナ
122・・・BDプレーヤ
123・・・インターネット
200・・・オーディオアンプ
201・・・HDMI端子
202・・・HDMI送信部
203・・・高速バスインタフェース
204・・・SPDIF受信回路
205・・・システムコントローラ
208・・・オーディオアンプ
209・・・振動アンプ
210・・・イーサネットインタフェース
250・・・スピーカシステム
260・・・振動システム
300・・・HDMIケーブル
100・・・テレビ受信機
101・・・HDMI端子
102・・・HDMI受信部
103・・・高速バスインタフェース
104・・・SPDIF送信回路
105・・・システムコントローラ
107・・・デジタル放送受信回路
108・・・コンテンツ再生回路
109・・・表示部
110・・・イーサネットインタフェース
111・・・触覚振動信号生成部
121・・・受信アンテナ
122・・・BDプレーヤ
123・・・インターネット
200・・・オーディオアンプ
201・・・HDMI端子
202・・・HDMI送信部
203・・・高速バスインタフェース
204・・・SPDIF受信回路
205・・・システムコントローラ
208・・・オーディオアンプ
209・・・振動アンプ
210・・・イーサネットインタフェース
250・・・スピーカシステム
260・・・振動システム
300・・・HDMIケーブル
Claims (18)
- 複数フレームからなるブロック毎の伝送信号を順次所定伝送路を介して受信側に送信する送信部を備え、
上記伝送信号は、所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号を含む
送信装置。 - 上記伝送信号に、上記所定チャネル数のオーディオ信号と上記所定チャネル数の触覚振動信号の構成情報を付加する情報付加部をさらに備える
請求項1に記載の送信装置。 - 上記構成情報は、上記触覚振動信号を上記オーディイオ信号と区別するための識別情報を含む
請求項2に記載の送信装置。 - 上記識別情報は、上記所定チャネル数の触覚振動信号のそれぞれが対象とする振動位置の情報を含む
請求項3に記載の送信装置。 - 上記情報付加部は、上記ブロック毎に構成されるチャネルステータスの所定ビット領域を用いて上記構成情報を付加する
請求項2に記載の送信装置。 - 上記情報付加部は、連続する所定数のフレームのユーザデータビットを用いて上記構成情報を付加する
請求項2に記載の送信装置。 - 上記複数フレームは、所定数のフレームからなるマルチチャネルグループの繰り返しで構成され、
上記送信部は、上記所定チャネル数のオーディオ信号および上記所定チャネル数の触覚振動信号を、上記マルチチャネルグループ毎に、上記所定数のフレームの全部または一部にチャネル別に時分割的に配置して送信する
請求項1に記載の送信装置。 - 上記オーディオ信号に関連するメディア信号に基づいて上記触覚振動信号を生成する処理部をさらに備える
請求項1に記載の送信装置。 - 上記所定伝送路は、同軸ケーブル、光ケーブル、イーサネット(IEC 61883-6)ケーブル、HDMIケーブル、MHLケーブルまたはディスプレイポートケーブルである
請求項1に記載の送信装置。 - 複数フレームからなるブロック毎の伝送信号を順次所定伝送路を介して受信側に送信する手順を有し、
上記伝送信号は、所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号を含む
送信方法。 - 複数フレームからなるブロック毎の伝送信号を送信側から順次所定伝送路を介して受信する受信部を備え、
上記伝送信号は、所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号を含む
受信装置。 - 上記伝送信号を処理して上記所定チャネル数のオーディオ信号と上記所定チャネル数の触覚振動信号を出力する処理部をさらに備える
請求項11に記載の受信装置。 - 上記伝送信号は上記所定チャネル数のオーディオ信号と上記所定チャネル数の触覚振動信号の構成情報を含み、
上記処理部は、上記構成情報に基づいて上記伝送信号を処理して、上記所定チャネル数のオーディオ信号と上記所定チャネル数の触覚振動信号を出力する
請求項12に記載の受信装置。 - 上記構成情報は、上記ブロック毎に構成されるチャネルステータスの所定ビット領域を用いて付加されている
請求項13に記載の受信装置。 - 上記構成情報は、連続する所定数のフレームのユーザデータビットを用いて付加されている
請求項13に記載の受信装置。 - 上記複数フレームは、所定数のフレームからなるマルチチャネルグループの繰り返しで構成され、
上記所定チャネル数のオーディオ信号および上記所定チャネル数の触覚振動信号は、上記マルチチャネルグループ毎に、上記所定数のフレームの全部または一部にチャネル別に時分割的に配置されている
請求項11に記載の受信装置。 - 上記所定伝送路は、同軸ケーブル、光ケーブル、イーサネット(IEC 61883-6)ケーブル、HDMIケーブル、MHLケーブルまたはディスプレイポートケーブルである
請求項11に記載の受信装置。 - 複数フレームからなるブロック毎の伝送信号を送信側から順次所定伝送路を介して受信する手順を有し、
上記伝送信号は、所定チャネル数のオーディオ信号と所定チャネル数の触覚振動信号を含む
受信方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020540227A JP7439758B2 (ja) | 2018-08-30 | 2019-08-09 | 送信装置、送信方法、受信装置および受信方法 |
KR1020217003824A KR20210049786A (ko) | 2018-08-30 | 2019-08-09 | 송신 장치, 송신 방법, 수신 장치 및 수신 방법 |
EP19855602.9A EP3833039A4 (en) | 2018-08-30 | 2019-08-09 | SENDING DEVICE, SENDING METHOD, RECEIVING DEVICE, AND RECEIVING METHOD |
CN201980054557.4A CN112585982B (zh) | 2018-08-30 | 2019-08-09 | 发送装置、发送方法、接收装置和接收方法 |
US17/259,246 US11991473B2 (en) | 2018-08-30 | 2019-08-09 | Transmitting apparatus, transmission method, receiving apparatus, and reception method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018162146 | 2018-08-30 | ||
JP2018-162146 | 2018-08-30 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020045044A1 true WO2020045044A1 (ja) | 2020-03-05 |
Family
ID=69644915
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/031547 WO2020045044A1 (ja) | 2018-08-30 | 2019-08-09 | 送信装置、送信方法、受信装置および受信方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US11991473B2 (ja) |
EP (1) | EP3833039A4 (ja) |
JP (1) | JP7439758B2 (ja) |
KR (1) | KR20210049786A (ja) |
CN (1) | CN112585982B (ja) |
TW (1) | TWI802739B (ja) |
WO (1) | WO2020045044A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12003886B2 (en) | 2018-12-26 | 2024-06-04 | Sony Group Corporation | Transmission device, transmission method, reception device, and reception method |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4380166A1 (en) * | 2021-07-28 | 2024-06-05 | LG Electronics Inc. | Image display device |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004272698A (ja) * | 2003-03-10 | 2004-09-30 | Japan Science & Technology Agency | 振動通知装置および振動通知システム |
JP2011124925A (ja) * | 2009-12-14 | 2011-06-23 | Sony Corp | 出力制御装置、出力制御方法、プログラム、及び出力制御システム |
JP2014204445A (ja) * | 2013-04-09 | 2014-10-27 | イマージョン コーポレーションImmersion Corporation | オフラインハプティック変換システム |
JP2015509308A (ja) * | 2011-12-21 | 2015-03-26 | クアルコム,インコーポレイテッド | 強化されたメディアエクスペリエンスを提供するための触覚技術の使用 |
JP2015185168A (ja) * | 2014-03-21 | 2015-10-22 | イマージョン コーポレーションImmersion Corporation | ハプティック効果の自動チューニング |
JP2018060313A (ja) | 2016-10-04 | 2018-04-12 | ソニー株式会社 | 受信装置および方法、送信装置および方法、並びにプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7088224B2 (en) * | 2003-03-11 | 2006-08-08 | National Institute Of Advanced Industrial Science And Technology | Audio information transmitting apparatus and the method thereof, and a vibrator holding structure |
US7624021B2 (en) | 2004-07-02 | 2009-11-24 | Apple Inc. | Universal container for audio data |
US8700791B2 (en) * | 2005-10-19 | 2014-04-15 | Immersion Corporation | Synchronization of haptic effect data in a media transport stream |
US9019087B2 (en) * | 2007-10-16 | 2015-04-28 | Immersion Corporation | Synchronization of haptic effect data in a media stream |
JP5390667B2 (ja) * | 2012-06-11 | 2014-01-15 | 株式会社東芝 | 映像送信機器及び映像受信機器 |
CA2890399A1 (en) * | 2012-10-01 | 2014-04-10 | Internet Services, Llc | System and method for synchronization of haptic data and media data |
US9164587B2 (en) | 2013-11-14 | 2015-10-20 | Immersion Corporation | Haptic spatialization system |
US10073523B2 (en) * | 2014-12-23 | 2018-09-11 | Immersion Corporation | Position control of a user input element associated with a haptic output device |
-
2019
- 2019-08-09 US US17/259,246 patent/US11991473B2/en active Active
- 2019-08-09 KR KR1020217003824A patent/KR20210049786A/ko unknown
- 2019-08-09 JP JP2020540227A patent/JP7439758B2/ja active Active
- 2019-08-09 CN CN201980054557.4A patent/CN112585982B/zh active Active
- 2019-08-09 EP EP19855602.9A patent/EP3833039A4/en not_active Ceased
- 2019-08-09 WO PCT/JP2019/031547 patent/WO2020045044A1/ja active Application Filing
- 2019-08-20 TW TW108129568A patent/TWI802739B/zh active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004272698A (ja) * | 2003-03-10 | 2004-09-30 | Japan Science & Technology Agency | 振動通知装置および振動通知システム |
JP2011124925A (ja) * | 2009-12-14 | 2011-06-23 | Sony Corp | 出力制御装置、出力制御方法、プログラム、及び出力制御システム |
JP2015509308A (ja) * | 2011-12-21 | 2015-03-26 | クアルコム,インコーポレイテッド | 強化されたメディアエクスペリエンスを提供するための触覚技術の使用 |
JP2014204445A (ja) * | 2013-04-09 | 2014-10-27 | イマージョン コーポレーションImmersion Corporation | オフラインハプティック変換システム |
JP2015185168A (ja) * | 2014-03-21 | 2015-10-22 | イマージョン コーポレーションImmersion Corporation | ハプティック効果の自動チューニング |
JP2018060313A (ja) | 2016-10-04 | 2018-04-12 | ソニー株式会社 | 受信装置および方法、送信装置および方法、並びにプログラム |
Non-Patent Citations (1)
Title |
---|
See also references of EP3833039A4 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12003886B2 (en) | 2018-12-26 | 2024-06-04 | Sony Group Corporation | Transmission device, transmission method, reception device, and reception method |
Also Published As
Publication number | Publication date |
---|---|
CN112585982A (zh) | 2021-03-30 |
EP3833039A1 (en) | 2021-06-09 |
KR20210049786A (ko) | 2021-05-06 |
JP7439758B2 (ja) | 2024-02-28 |
US11991473B2 (en) | 2024-05-21 |
TW202015375A (zh) | 2020-04-16 |
US20210297627A1 (en) | 2021-09-23 |
TWI802739B (zh) | 2023-05-21 |
JPWO2020045044A1 (ja) | 2021-08-12 |
EP3833039A4 (en) | 2021-06-09 |
CN112585982B (zh) | 2024-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12003886B2 (en) | Transmission device, transmission method, reception device, and reception method | |
JP6863282B2 (ja) | 受信装置および受信方法 | |
JP4785989B2 (ja) | 映像音声送信装置および映像音声受信装置 | |
WO2020045044A1 (ja) | 送信装置、送信方法、受信装置および受信方法 | |
JP6589875B2 (ja) | 送信装置、送信方法、受信装置および受信方法 | |
US20230004340A1 (en) | Transmission apparatus, transmission method, reception apparatus, and reception method | |
JP7452526B2 (ja) | 送信装置、送信方法、受信装置および受信方法 | |
US12014709B2 (en) | Transmission device, transmission method, reception device and reception method | |
WO2019225449A1 (ja) | 送信装置、送信方法、受信装置および受信方法 | |
EP3799042A1 (en) | Transmission device, transmission method, reception device, and reception method | |
KR102012231B1 (ko) | 데이터 전송 장치, 데이터 수신 장치, 데이터 송수신 시스템, 데이터 전송 방법, 데이터 수신 방법 및 데이터 송수신 방법 | |
JP6669071B2 (ja) | 送信装置、送信方法、受信装置および受信方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19855602 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2020540227 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2019855602 Country of ref document: EP |