CN116848498A - 接收装置、发送装置、信息处理方法和程序 - Google Patents

接收装置、发送装置、信息处理方法和程序 Download PDF

Info

Publication number
CN116848498A
CN116848498A CN202280014615.2A CN202280014615A CN116848498A CN 116848498 A CN116848498 A CN 116848498A CN 202280014615 A CN202280014615 A CN 202280014615A CN 116848498 A CN116848498 A CN 116848498A
Authority
CN
China
Prior art keywords
reproduction
acoustic
haptic
disable information
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280014615.2A
Other languages
English (en)
Inventor
锦织修一郎
竹田裕史
渡边高弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN116848498A publication Critical patent/CN116848498A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H04R5/0335—Earpiece support, e.g. headbands or neckrests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43079—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on multiple devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/013—Force feedback applied to a game
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/16—Transforming into a non-visible representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/13—Hearing devices using bone conduction transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开了接收装置，其包括：接收处理部，其被配置成接收包括触觉信号的再现启用/禁用信息和声学信号的数据；以及触觉信号生成部，其被配置成基于由接收处理部接收的声学信号生成触觉信号，其中，触觉信号生成部在再现启用/禁用信息指示再现被启用的情况下生成触觉信号，但是在再现启用/禁用信息指示再现被禁用的情况下不生成触觉信号。

Description

接收装置、发送装置、信息处理方法和程序
技术领域
本发明涉及用于发送或接收与触觉呈现相关的数据的接收装置、发送装置、信息处理方法以及程序的技术领域。
背景技术
已经开发了一种技术，该技术用于向用户提供与视觉信息或听觉信息的呈现同步的触觉刺激。触觉呈现是指使用振动、压力等方式，为用户提供接触对象的触觉或碰撞的触觉。
向用户提供触觉刺激需要用于触觉刺激的触觉信号。例如，触觉信号是基于附在用户身上的各种传感器所测量的测量值生成的。
然而，为了充分创造用于生成这种触觉信号的环境，需要财务和时间成本。
鉴于这种情况，例如，下面列出的专利文献1公开了通过使用声学信号(声音信号)生成触觉信号的技术。
[引用列表]
[专利文献]
[专利文献1]
日本专利特许公开第2015-053037号
发明内容
[技术问题]
从声学信号生成的触觉信号可以与声学信号一起无线发送并提供给再现装置。然而，触觉信号的问题是有限的通信频带以及需要新建立用于传送触觉信号的通信方案。
此外，声学信号不仅包括适合于呈现触觉刺激的信号，如***声，还包括不适合于呈现触觉刺激的信号，如背景音乐和台词。
与这种不需要的声学信号相关联而生成的触觉刺激不仅不能有效地改善用户的真实感，而且还会使用户感到不舒服。
本技术是鉴于这样的问题而作出的，本技术的目标是提供向用户呈现适当的触觉刺激的环境。
[问题的解决方案]
根据本技术的接收装置包括：接收处理部，其被配置成接收包括声学信号和触觉信号的再现启用/禁用信息的数据；以及触觉信号生成部，其被配置成基于由接收处理部接收的声学信号生成触觉信号。触觉信号生成部在再现启用/禁用信息指示再现被启用的情况下生成触觉信号，但是在再现启用/禁用信息指示再现被禁用的情况下不生成触觉信号。
这就使得能够创建间隔，在该间隔期间不执行与声学信号同步的触觉呈现。例如，可以设置再现启用/禁用信息，该再现启用/禁用信息指示在与声学信号同步的触觉呈现不适合的间隔期间不生成触觉信号。
在上述接收装置中，可以为通过以预定时间长度分割声学信号而获得的每一条声学帧数据提供再现启用/禁用信息，并且触觉信号生成部可以基于与指示再现被启用的再现启用/禁用信息对应的声学帧数据来生成触觉信号，但是可以基于与指示再现被禁用的再现启用/禁用信息对应的声学帧数据而不生成触觉信号。
通过为每一条声学帧数据提供再现启用/禁用信息，可以精细地设置生成触觉信号的时间间隔。
在上述接收装置中，再现启用/禁用信息可以是具有1位的标志信息。
这减少了由接收处理部接收的数据量。
在接收装置中，所接收的数据可以包括使用用于声学数据的编码方案进行编码的已编码数据，该已编码数据可以具有包括存储声学帧数据的有效载荷区域和保留区域的结构，并且再现启用/禁用信息可以被存储在保留区域中。
在保留区域中存储再现启用/禁用信息实现了使用用于发送声学帧数据的机制来接收再现启用/禁用信息。
在上述接收装置中，可以基于要与声学帧数据同步再现的部分动态图像数据来生成再现启用/禁用信息。
是否向用户提供触觉刺激可能无法根据从声学帧数据获得的声学信号中确定。本配置防止了基于声学帧数据生成不适当的再现启用/禁用信息。
上述接收装置中的触觉信号生成部可以对生成的触觉信号执行淡入处理和淡出处理。
诸如淡入处理或淡出处理的淡化处理是用于随时间而逐渐增大或减小信号的处理，并且例如，通过预定的增益函数进行乘法处理。在触觉呈现的开始和结束处进行适当的淡化处理，使触觉呈现能够顺利地开始和结束，从而能够提供自然的触觉体验。
上述接收装置中的触觉信号生成部可以在与目标声学帧数据对应的再现启用/禁用信息指示再现被启用并且与前一条声学帧数据即紧接目标声学帧数据之前的声学帧数据对应的再现启用/禁用信息指示再现被禁用的情况下，对从目标声学帧数据生成的触觉信号执行淡入处理，并且可以在与目标声学帧数据对应的再现启用/禁用信息指示再现被禁用并且与前一条声学帧数据对应的再现启用/禁用信息指示再现被启用的情况下，对从前一条声学帧数据生成的触觉信号执行淡出处理。
也就是说，在再现启用/禁用信息被改变的定时处执行淡入处理操作或淡出处理操作。
根据本技术的发送装置包括：分析处理部，该分析处理部被配置成对包括至少声学信号的内容数据执行分析处理，并且生成指示是启用还是禁用触觉信号的再现的再现启用/禁用信息；以及发送处理部，其被配置成发送再现启用/禁用信息和声学信号。
分析内容数据使得能够确定执行触觉呈现的时间间隔和不执行触觉呈现的时间间隔。此外，通过根据分析结果生成再现启用/禁用信息，触觉呈现可以与内容数据同步执行。
上述发送装置中的分析处理部可以确定对通过以预定时间长度分割声学信号而获得的每一条声学帧数据是启用还是禁用触觉信号的再现，并且发送处理部可以将再现启用/禁用信息与每一条声学帧数据相关联执行发送。
通过为每一条声学帧数据设置了再现启用/禁用信息，可以精细地设置生成触觉信号的时间间隔。
上述发送装置可以包括编码部，该编码部被配置成生成包括声学帧数据和与声学帧数据对应的再现启用/禁用信息的已编码数据，并且发送处理部可以在发送中发送已编码数据。
因此，具有预定数据结构的标准化编码数据ED被发送。
上述发送装置中的分析处理部可以基于对声学信号的分析结果，生成再现启用/禁用信息。
这使得能够确定与声学信号同步地执行触觉呈现是否适当。
在上述发送装置中，内容数据可以包括要与声学信号同步再现的动态图像数据，并且分析处理部可以对动态图像数据执行分析处理，并且基于对动态图像数据的分析结果，生成再现启用/禁用信息。
在内容数据包括视频的情况下，触觉刺激可以优选地不仅与声音同步而且与视频同步地呈现给用户。根据本配置，对动态图像数据执行分析处理，以使得能够确定是否在场景中与视频同步地呈现触觉刺激。
上述发送装置中的分析处理部可以基于声学帧数据中的频谱平坦度生成再现启用/禁用信息。
因此，可以使用声学帧数据中的频谱平坦度本身、频谱平坦度的增加率等来确定是否执行触觉呈现。这使得能够增加执行适当的触觉呈现的可能性。
上述发送装置中的分析处理部可以基于在声学帧数据中频率分量的功率谱的总值等于或小于阈值来生成再现启用/禁用信息。
因此，可以基于声学帧数据中的低频分量的功率谱的总值、总值的增加率等来确定是否执行触觉呈现。
上述发送装置中的分析处理部可以基于动态图像数据中多个像素的亮度值的总值，生成再现启用/禁用信息。
这使得能够检测场景，例如其中涉及亮度值的显著变化的***场景。
上述发送装置中的分析处理部可以基于是否在动态图像数据中检测到具有预定尺寸或更大的人脸，生成再现启用/禁用信息。
例如，具有人脸特写的场景被推断为是有人说话的场景。对于这样的场景，如果响应于该人的说话语音来执行触觉呈现，则用户可能会感到不舒服。为了避免这种情况，在检测到具有人脸特写的场景的情况下，确定不执行触觉呈现。
根据本技术的由计算机装置执行的信息处理方法，包括以下处理：接收包括声学信号和触觉信号的再现启用/禁用信息的数据；在再现启用/禁用信息指示再现被启用的情况下，基于所接收的声学信号生成触觉信号，以及在再现启用/禁用信息指示再现被禁用的情况下，确定不生成触觉信号。
根据本技术的由计算机装置执行的信息处理方法，包括以下处理：对包括至少声学信号的内容数据执行分析处理，并且生成指示是启用还是禁用触觉信号的再现的再现启用/禁用信息；以及发送再现启用/禁用信息和声学信号。
根据本技术的程序，该程序使算术处理装置执行以下功能：接收包括声学信号和触觉信号的再现启用/禁用信息的数据；在再现启用/禁用信息指示再现被启用的情况下，基于所接收的声学信号生成触觉信号，以及在再现启用/禁用信息指示再现被禁用的情况下，确定不生成触觉信号。
根据本技术的程序，该程序使算术处理装置执行以下功能：对包括至少声学信号的内容数据执行分析处理，并且生成指示是启用还是禁用触觉信号的再现的再现启用/禁用信息；以及发送再现启用/禁用信息和声学信号。
这种信息处理方法和程序有利于实现根据本技术的发送装置和接收装置。
附图说明
图1是描绘触觉呈现***的配置示例的示意图。
图2是描绘用于使用VOD内容数据以实现声学输出和触觉呈现的发送装置和接收装置的各个方面的示意图。
图3是颈部带状扬声器的立体图。
图4是描绘用于使用存储在记录介质中的内容数据以实现声学输出和触觉呈现的发送装置和接收装置的各个方面的示意图。
图5是描绘用于实现游戏内容的声学输出和触觉呈现的发送装置和接收装置的各个方面的示意图。
图6是示出已编码数据的数据结构的示例的图。
图7是用于示出发送装置的配置示例的框图。
图8是用于示出分析处理部的功能配置示例的图。
图9是用于示出接收装置的配置示例的框图。
图10是用于示出解码部的功能配置示例的图。
图11是描绘尚未经过低通滤波器的处理的声学帧数据的功率谱的图。
图12是描绘经低通滤波器的处理的声学帧数据的功率谱的图。
图13是示出尚未经过淡入处理或淡出处理的触觉信号的示例的图。
图14是示出经过增益函数和淡化处理的触觉信号的示例的图。
图15是示出发送装置的处理流程的示例的流程图。
图16是示出接收装置的处理流程的示例的流程图。
图17是用于描述场景信息的图。
图18是用于描述场景类型ID与场景内容之间的对应关系的图。
具体实施方式
参照附图，本技术的实施方式将按照以下顺序进行描述。
<1.***配置>
<2.已编码数据的数据结构>
<3.发送装置的配置>
<4.接收装置的配置>
<5.处理流程>
<5-1.发送装置的处理流程>
<5-2.接收装置的处理流程>
<6.变型>
<7.结论>
<8.本技术>
<1.***配置>
将参照图1描述根据本技术的触觉呈现***1的配置的概述。
触觉呈现***1执行各种处理操作以向用户呈现触觉。这里，触觉呈现意味着再现触觉信号，以向用户提供触觉刺激。
触觉呈现***1包括发送装置2、接收装置3、声音再现装置4和触觉再现装置5。
发送装置2执行获取包括声学信号的内容数据CD以及从内容数据CD获取声学信号的处理。此外，发送装置2执行将由此获得的声学信号划分为与各条声学帧数据SFD的处理，该声学帧数据SFD对应于分为预定的时间长度的声学信号。预定的时间长度被认为是相对短的时间段，例如，几十毫秒。
发送装置2对每一条声学帧数据SFD执行编码处理，以生成已编码数据ED。发送装置2将已编码数据ED发送到接收装置3。
此外，如下所述，已编码数据ED包括再现启用/禁用信息，该再现启用/禁用信息指示是否再现与具有预定时间长度的再现长度的声学帧数据SFD同步的触觉信号。再现启用/禁用信息可以通过由发送装置2对每一条声学帧数据SFD执行的分析处理来生成，或者可以通过基于其他数据分离单元执行的分析处理来生成。
再现启用/禁用信息被假定为指示再现被启用的1或指示再现被禁用的0的信息，并且可以是例如包括1位的标志信息。在下面的描述中，包括1位的标志信息被用作再现启用/禁用信息的一个方面，并且再现启用/禁用信息被描述为“触觉再现标志PF”。
注意，在内容数据CD包括视频信号的情况下，触觉再现标志PF可以基于与要与声学帧数据SFD同步再现的视频信号对应的部分动态图像数据来生成。
也就是说，是否向用户提供触觉是基于内容数据CD中的声学信号或视频信号来确定的。
注意，发送装置2可以从另一信息处理装置获取包括声学信号的内容数据CD，可以通过从记录介质中读取内容数据CD来获取包括声学信号的内容数据CD，或者可以从发送装置2内部提供的存储部中获取包括声学信号的内容数据CD。
接收装置3通过对从发送装置2接收的已编码数据ED执行解码处理来获得声学信号和再现启用/禁用信息。
接收装置3通过将声学信号发送到声学再现装置4，实现对用户的声学输出。
此外，接收装置3基于作为再现启用/禁用信息的触觉再现标志PF生成触觉信号，并将触觉信号发送到触觉再现装置5以实现对用户的触觉呈现。
声学再现装置4被假定为基于声学信号来提供声学输出的装置，例如，耳机、头戴式耳机或扬声器装置。
触觉再现装置5是提供基于触觉信号向用户提供触觉刺激的输出的装置，并且可以是各种形式，例如，包括振动部的装置，包括向用户吹水、吹气等的装置，包括加热部的装置等。作为示例，下面将描述包括主要包括振动器或致动器的振动部的装置。
注意，声学再现装置4和触觉再现装置5可以作为不同于接收装置3且独立于接收装置3的装置来提供，或者声学再现装置4和触觉再现装置5中的一个或两个可以作为声学输出部和触觉再现部与接收装置3一体化地提供。
现在，将描述发送装置2和接收装置3的更具体形式的几个示例。
图2描绘了用于使用VOD(Video On Demand，即视频点播)内容数据CD实现声学输出和触觉呈现的发送装置2A和接收装置3A的各个方面。发送装置2A被假定为智能智能电话、平板终端、电视接收器、PC(个人计算机)等。发送装置2A从内容服务器100接收内容数据CD，生成已编码数据ED，并将由此生成的已编码数据ED发送到作为接收装置3A的颈部带状扬声器。
图3描绘了作为颈部带状扬声器的接收装置3A的配置示例。
作为颈部带状扬声器的接收装置3A被假定为绕颈佩戴的扬声器装置，并且包括设置在壳体6的左侧部分上的声学输出部7L以及设置在壳体6的右侧部分上的声学输出部7R。
此外，接收装置3A包括设置在壳体6的左端部分处的触觉再现部8L以及设置在壳体6的右端部分处的触觉再现部8R。
此外，接收装置3A包括各种操作器9，例如电源按钮。
声学输出部7L和7R对应于声学再现装置4的一个方面。此外，触觉再现部8L和8R对应于触觉再现装置5的一个方面。
接收装置3A向声学输出部7L和7R输出通过执行解码处理而获得的声学帧数据SFD。此外，接收装置3A基于获得的触觉再现标志PF从声学帧数据SFD生成触觉信号，并将该触觉信号输出到触觉再现部8L和8R。
也就是说，在图2所描绘的方面中，在观看在发送装置2A中设置的显示部分(包括连接至发送装置2A的监视器装置)上显示的图像时，用户聆听从在接收装置3A中设置的声学输出部7L和7R输出的声音，并感受到在触觉再现部8L和8R中再现的振动刺激，从而享受该内容。
图4描绘了用于实现声学输出和触觉呈现的发送装置2B和接收装置3B的各个方面，该发送装置2B和接收装置3B使用存储在假定为CD-ROM(致密盘只读存储器)、DVD(数字多功能盘)、BD(蓝光光盘(注册商标))等的记录介质RM中的内容数据CD。
发送装置2B被假定为记录介质RM等的读取装置或再现装置，并将存储在记录介质RM中的视频信号发送到监视器装置10，并且监视器装置10显示该视频。
发送装置2B基于存储在记录介质RM中的声学信号生成已编码数据ED，并将已编码数据ED发送到接收装置3B。
接收装置3B被假定为声学再现装置，例如包括声学输出部7L和7R的头戴式耳机或耳机，并且对声学帧数据执行再现处理。
此外，接收装置3B不包括触觉再现部，并且基于触觉再现标志PF生成触觉信号，并将该触觉信号发送到形状为手镯、背心等的触觉再现装置5B。
触觉再现装置5B对接收到的触觉信号执行再现处理以执行触觉呈现。
也就是说，在图4所描述的方面中，在观看连接至发送装置2B的监视器装置10上显示的图像时，用户聆听从接收装置3B中设置的声学输出部7L和7R输出的声音，并感受到触觉再现装置5B中再现的振动刺激，从而享受该内容。
图5描绘了用于实现供用户享受游戏的声学输出和触觉呈现的发送装置2C和接收装置3C的各个方面。
发送装置2C是假定为游戏机本体的装置，并且再现存储在记录介质RM或内部存储部中的游戏数据。发送装置2C将包含在游戏数据中的视频信号发送到连接至发送装置2C的监视器装置10(或电视接收器)，并且监视器装置10显示该视频。
发送装置2C基于游戏数据中包含的声学信号生成已编码数据ED，并将已编码数据ED发送到接收装置3C。
接收装置3C被假定为包括触觉再现部8等的游戏控制器，并且从包含在已编码数据ED中的声学帧数据中再现基于触觉再现标志PF生成的触觉信号。
接收装置3C获取包含在已编码数据ED中的声学帧数据，并将声学帧数据发送到假定为耳机、头戴式耳机等的声学再现装置4C。
声学再现装置4C通过再现接收到的声学帧数据来执行声学输出。
也就是说，在图5所描绘的方面中，在观看连接至发送装置2C的监视器装置10上显示的图像时，用户感受到在接收装置3C中设置的触觉再现部中再现的振动刺激，并聆听从声音再现装置4C输出的声音，从而享受该内容。
此外，在图5所描述的方面中，可以使用户感受到与通过用户的操作而移动的角色的运动对应的触觉刺激，使得用户能够在游戏中更有沉浸感。
<2.已编码数据的数据结构>
将参照图6描述一帧的已编码数据ED的数据结构。
假定已编码数据ED具有用于发送声学帧数据SFD的数据结构。具体地，可用的数据结构包括SBC(子带编码)、MP3(MPEG1音频层-III)、AAC(高级音频编码)、LDAC，等等。
已编码数据ED包括头部区域20和有效载荷区域21。此外，已编码数据ED还可以包括检查区域。
头部区域20包括同步字区域22、比特率区域23、采样率区域24、通道模式区域25和保留区域26。
同步字区域22是如下的区域，在该区域中保存有特定的比特串，以检测一帧的已编码数据ED的头部。例如，诸如0xFFFE的比特串被保存在同步字区域22中。注意，“0x”指示十六进制数字，并且0xFFFE被假定为其中只有最后一位(LSB：最低有效位)是“0”的16位比特串。
比特率区域23是保存比特率ID(标识)的区域。例如，比特率ID包括包括2位的比特串，以指定表示声学帧数据SFD中的每秒数据量的比特率。
具体地，比特率ID采取从0到3的任何值。比特率ID为“0”指示32kbps，比特率ID为“1”指示64kbps，比特率ID为“2”指示96bps，比特率ID为“3”指示128kbps。
采样率区域24是保存采样率ID的区域。例如，采样率ID包括包括2位的比特串，以指定表示声学帧数据SFD中的每秒采样数的采样率。
具体地，采样率ID采取从0到3的任何数值。采样率ID为“0”指示12kHz，采样率ID为“1”指示24kHz，采样率ID为“2”指示48kHz，并且采样率ID为“3”指示96kHz。
通道模式区域25是保存通道模式ID的区域。例如，通道模式ID包括包括2位的比特串，以指定声学帧数据SFD的通道组合。
具体地，通道模式ID采取从0到3的任何值。通道模式ID为“0”指示声学帧数据SFD是单声道信号，通道模式ID为“1”指示声学帧数据SFD是立体声信号，通道模式ID为“2”指示声学帧数据SFD是5.1通道环绕信号，通道模式ID为“3”指示声学帧数据SFD是7.1通道环绕信号。
保留区域26是为未来的功能增强而准备的区域，并被提供用于实现功能增强而不改变数据结构。
保留区域26可以是具有1位、2位、4位等的任何大小的区域。
在本实施方式中，触觉再现标志PF被存储在保留区域26中。注意，为了实现本实施方式，保留区域26可以是1位区域。也就是说，如果触觉再现标志PF是包括1位的标志信息，则即使在保留区域26是1位区域的情况下，也可以实现本实施方式。此外，这一方面使得已编码数据ED能够具有最小的数据结构，使得能够抑制在发送或接收已编码数据ED期间所需的通信频带的增加。
<3.发送装置的配置>
将参照图7描述发送装置2的配置。
发送装置2包括分析处理部30、编码部31、存储部32、控制部33、通信部34和总线35。
分析处理部30对经由通信部34输入的内容数据CD执行分析处理。注意，在下面的描述中，作为示例，内容数据CD包括声学信号和动态图像数据。
分析处理部30在内容数据CD被编码的情况下执行解码处理。在解码处理中，从内容数据CD中取出(retrieve)动态图像数据和声学信号。
针对具有预定时间长度的每一条部分动态图像数据和具有预定时间长度的每一条声学帧数据SFD，对取出的动态图像数据和声学信号进行分析处理。
在部分动态图像数据分析处理中，基于包括在部分动态图像数据中的每一条图像数据，确定场景是否适合于触觉呈现。这将在下文中具体描述。
在对声学帧数据SFD的分析处理中，基于作为声学帧数据SFD等的声学信号的频谱值，确定场景是否适合于触觉的呈现。这将在下文中具体描述。
分析处理部30基于部分动态图像数据MD或声学帧数据SFD中的至少一个执行分析处理，并且根据分析处理的结果生成触觉再现标志PF。具体地，在场景被确定为适合于触觉呈现的情况下，触觉再现标志PF被设置为“1”，指示再现被启用。另一方面，在场景被确定为不适合触觉呈现的情况下，触觉再现标志PF被设置为“0”，指示再现被禁用。
编码部31使用由分析处理部30生成的声学帧数据SFD和触觉再现标志PF执行编码处理。编码处理包括：生成包括关于声学帧数据SFD和触觉再现标志PF的信息的已编码数据ED。可以使用各种编码方案进行编码。然而，可以使用任何现有的方案，只要该方案用于发送声学帧数据SFD并且使触觉再现标志PF能够被保存在未使用的区域如保留区域26中。
这使得能够节省开发新的编码方案来对触觉再现标志PF等进行编码的努力。
注意，已编码数据ED的真实数据可以是通过使声学帧数据SFD经过编码处理如压缩而获得的数据。
存储部32包括HDD(硬盘驱动器)、SSD(固态驱动器)等，并存储各种类型的信息，例如尚未被分析处理部30分析的内容数据CD和作为分析结果而获得的触觉再现标志PF。
控制部33包括微型计算机，该微型计算机包括CPU(中央处理单元)、ROM(只读存储器)、RAM(随机存取存储器)等，并根据存储在ROM中的程序执行各种处理操作，以综合控制发送装置2。
通信部34执行与另一信息处理装置的有线或无线数据通信。通信部34执行用于从其他信息处理装置接收内容数据CD的处理、用于将已编码数据ED发送到接收装置3的处理等。
注意，分析处理部30、编码部31、存储部32、控制部33和通信部34经由总线35以可通信方式连接在一起。
这里，图8中描绘了分析处理部30的具体功能配置。
分析处理部30包括输入调整部40、动态图像数据分析部41、声学分析部42、触觉再现确定部43和输出调整部44。
输入调整部40执行用于对输入到发送装置2的内容数据CD进行解码的处理以及用于取出包括在内容数据CD中的动态图像数据和声学信号的处理。
此外，输入调整部40执行用于将取出的动态图像数据划分为与具有预定时间长度的数据对应的各条部分动态图像数据MD的处理，以及用于将取出的声学信号划分为与具有预定时间长度的数据对应的声学帧数据SFD的处理。
输入调整部40向动态图像数据分析部41输出通过划分生成的部分动态图像数据MD，并向声学分析部42输出通过划分生成的声学帧数据SFD。
动态图像数据分析部41对部分动态图像数据MD执行图像分析，并计算每一条部分动态图像数据MD的特征量。
下面提供要计算的特征量的几个示例。
动态图像数据分析部41计算用于确定场景是否涉及光的瞬时闪烁的特征量。
例如，动态图像数据分析部41计算包括在部分动态图像数据MD中的每一帧的所有像素的亮度值的总和以获得特征量A。具有大的特征量A的图像帧是描绘明亮场景的图像，因此很可能是捕捉到***场景的图像。
下面提供用于计算特征量A的[等式1]
[数学式1]
这里，在[等式1]中，p(m)表示像素行p中的第m个亮度值，M表示像素的数量。
此外，动态图像数据分析部41计算在时间方向上相邻的图像帧之间的亮度值的变化作为特征量B。
例如，通过以这种方式计算出特征量B(即相对于前一图像帧，特征量B随着所有像素的亮度值的总和的上升率而增加)，可以识别出描绘***开始的时刻的图像帧。
下面提供用于计算特征量B的[等式2]
[数学式2]
这里，在[等式2]中，A'是针对前一图像帧计算的特征量A，并且表示前一图像帧中所有像素的亮度值的总和。
作为另一示例，动态图像数据分析部41可以计算用于识别不适合触觉呈现的场景的特征量。例如，在描绘人的脸部特写的场景中，该场景旨在将注意力聚集在人的台词或脸部表情上，即使在用户身后发生***的情况下，触觉呈现也可能使用户感觉到与人的台词同步摇晃，并且感到不舒服。
因此，动态图像数据分析部41计算出这样的方式的特征量C，即特征量C随着与人的脸部对应的图像区域与图像帧的图像区域的比率的上升而减少。也就是说，即使在上述特征量A和特征量B较大(指示图像帧很可能对应于捕捉***场景的部分动态图像数据)的情况下，在由于场景是人的脸部特写而计算出的特征量C较小的情况下，可以确定不执行触觉呈现。
声学分析部42对声学帧数据SFD执行声学分析，并计算每一条声学帧数据SFD的特征量。
下面提供要计算的特征量的几个示例。
声学分析部42计算用于确定是否正在发出打斗声、碰撞声、***声、击剑声等的声音的特征量。
例如，计算声学帧数据SFD的频谱平坦度，以获得特征量D。打斗声、碰撞声等被表征为具有高频谱平坦度，通过以这种方式计算出特征量D(即特征量D随着频谱平坦度的上升而增加)，可以确定该场景涉及打斗声、碰撞声等。
下面提供用于计算特征量D的[等式3]。
[数学式3]
这里，在[等式3]中，x(n)表示信号序列x中的第n个波峰值，N表示信号样本的数量。
此外，声学分析部42基于前一条声学帧数据SFD的频谱平坦度的增加率来计算特征量。
例如，声学分析部42以这种方式计算出特征量E，即特征量E随着声学帧数据SFD的频谱平坦度的增加率上升而增加。
不是只使用特征量D，而是另外使用特征量E可以增强识别涉及打斗声、碰撞声等的场景的可能性。
下面提供用于计算特征量E的[等式4]
[数学式4]
/>
这里，在[等式4]中，D'是针对前一个声学帧数据SFD计算的特征量D，并且表示前一个声学帧数据SFD中的频谱平坦度。
声学分析部42基于重低音来计算特征量。具体地，声学分析部42以这种方式计算出特征量F，即特征量F随着声学帧数据SFD的每个具有100Hz或更少的功率谱的总值的增加而增加。重低音经常在涉及撞击的场景中生成，并且基于重低音的触觉呈现可能是适当的。
下面提供用于计算特征量F的[等式5]
[数学式5]
这里，在[等式5]中，X(k)表示信号列X中的第k个频谱，K表示与100Hz对应的频谱仓(BIN)。
此外，声学分析部42基于前一条声学帧数据SFD的每个具有100Hz或更少的功率谱的总值的增加率来计算特征量。
例如，声学分析部42以这种方式计算出特征量G，即特征量G随着声学帧数据SFD的每个具有100Hz或更少的功率谱的总值的增加率的增加而增加。
不是只使用特征量F，而是另外使用特征量G使得能够识别生成重低音的场景，特别地，生成刚刚开始重低音的场景，使这种有效的触觉呈现能够在生成重低音的同时开始执行触觉呈现。
下面提供用于计算特征量G的[等式6]
[数学式.6]
这里，在[等式6]中，F'是针对前一条声学帧数据SFD计算的特征量F，并且表示前一条声学帧数据SFD中的低频带(例如，100Hz或以下)的功率谱的总值。
触觉再现确定部43执行用于确定是否与部分动态图像数据MD或声学帧数据SFD同步执行触觉呈现以及基于确定结果为每一条声学帧数据SFD设置触觉再现标志PF的处理。具体地，触觉再现确定部43基于由动态图像数据分析部41计算的特征量A、B、C以及由声学分析部42计算的特征量D、E、F、G，计算评估值EV。
例如，基于以下提供的[等式7]计算评估值EV。
评估值EV＝W1·特征量A+W2·特征量B+W3·特征量C+W4·特征量D+W5·特征量E+W6·特征量F+W7·特征量G...[等式7]
这里，在[等式7]中，W1至W7被假定为表示各特征量A至G的权重的系数。
此外，触觉再现确定部43基于评估值EV设置触觉再现标志PF。具体地，在评估值EV等于或大于阈值TH的情况下，触觉再现标志PF被设置为“1”。在评估值EV小于阈值TH的情况下，触觉再现标志PF被设置为“0”。
通过适当地调整权重W1至W7的系数，对于应该执行触觉呈现的场景，触觉再现标志PF可以被设置为“1”。
输出调整部44输出由输入调整部40获得的具有特定时间长度的声学帧数据SFD以及由触觉再现确定部43设置的触觉再现标志PF。
<4.接收装置的配置>
将参照图9描述接收装置3的配置。
接收装置3包括解码部50、DAC(数模转换器)51和52、放大器53和54、存储部55、控制部56、通信部57和总线58。
解码部50对输入到接收装置3的已编码数据ED执行解码处理，并获得声学帧数据SFD和触觉再现标志PF。
解码部50检查由此获得的触觉再现标志PF，并且仅在触觉再现标志PF为“1”即指示启用再现的情况下从声学帧数据SFD生成触觉信号。
解码部50向DAC 51输出从已编码数据ED获得的声学帧数据SFD，并向DAC 52输出生成的触觉信号。
DAC 51将数字信号形式的声学帧数据SFD转换为模拟信号，并将该模拟信号输出到后续的放大器53。
类似地，DAC 52将数字信号形式的触觉信号转换为模拟信号，并该将模拟信号输出到后续的放大器54。
放大器53向声学再现装置4输出转换为模拟信号的声学信号。
此外，放大器54向触觉再现装置5输出转换为模拟信号的触觉信号。
注意，DAC 51和52以及放大器53和54二者可以都被设置在声学再现装置4或触觉再现装置5内。在这种情况下，数字信号形式的声学帧数据SFD和触觉信号分别被发送到声学再现装置4和触觉再现装置5。
存储部55包括HDD、SSD等，并且可以存储尚未被解码部50等进行解码处理的已编码数据ED，或者可以存储从已编码数据ED中取出的关于声学帧数据SFD的数据和关于触觉再现标志PF的数据以及关于生成的触觉信号的数据。
控制部56包括微型计算机，该微型计算机包括CPU、ROM、RAM等，并根据存储在ROM中的程序执行各种处理操作，以综合控制接收装置3。
通信部57执行对已编码数据ED的接收处理，对作为由放大器53放大的模拟信号的声学信号的发送处理，以及对作为由放大器54放大的模拟信号的触觉信号的发送处理。通信部57被假定为能够建立有线通信和无线通信。
注意，如上所述，在接收装置3内设置有声学输出部7或触觉再现部8的情况下，可将转换为模拟信号的声学信号输出到声学输出部7，或者将转换为模拟信号的触觉信号输出到触觉再现部8。
注意，解码部50、存储部55、控制部56和通信部57经由总线58以可通信的方式连接在一起。
这里，图10中描绘了解码部50的具体功能配置。
解码部50包括声学解码部60和触觉信号生成部61。
声学解码部60对其输入的已编码数据ED执行复合处理，以获得声学帧数据SFD和触觉再现标志PF。
触觉信号生成部61通过使用触觉再现标志PF被设置为“1”即指示再现被启用的声学帧数据SFD生成触觉信号。也就是说，针对触觉再现标志PF被设置为“0”即指示再现被禁用的声学帧数据SFD，触觉信号生成部61不生成触觉信号。
现在，下面将描述用于从声学帧数据SFD生成触觉信号的技术。可以使用各种方法来生成触觉信号，但是将参照图11和图12来描述示例。
触觉信号生成部61用低通滤波器等执行信号处理，以仅提取声学信号的低频成分，并将低频成分处理为触觉信号。
图11是描绘声学帧数据SFD的功率谱的图，并且示出了尚未经过低通滤波器处理的信号。
图12是描绘如图11的声学帧数据SFD的功率谱的图，但是示出了经过低通滤波器处理的截止频率为500Hz的信号。
触觉信号生成部61将图12中示出的信号处理为触觉信号。以这样的方式，通过基于作为声学信号的声学帧数据SFD生成触觉信号，可以执行与用户听到的声音相适配的触觉呈现。
注意，触觉信号生成部61进一步对图11中示出的触觉信号执行淡入处理和淡出处理。在连续再现触觉再现标志PF被设置为“0”的声学帧数据SFD和触觉再现标志PF被设置为“1”的声学帧数据SFD的情况下，呈现给用户的触觉刺激迅速从关闭(OFF)转换到开启(ON)。在这种情况下，由于触觉再现装置5或触觉再现部8的瞬时反应，可能会发生非预期的振动。这也适用于连续再现触觉再现标志PF被设置为“1”的声学帧数据SFD和触觉再现标志PF被设置为“0”的声学帧数据SFD。
为了避免发生不必要的振动，在声学帧数据SFD的触觉再现标志PF发生改变的情况下执行淡入处理和淡出处理。
首先，在图13中示出了尚未经过淡入处理和淡出处理的触觉信号的示例。图13描绘了作为声学信号的多个声学帧数据SFD、与声学帧数据SFD对应的触觉再现标志PF、以及尚未经过淡化处理的触觉信号，以此顺序从上到下地排列。
在间隔按从左到右的再现顺序标记为T1、T2、T3、T4和T5的情况下，从最早的开始，则如图13所描绘的那样，在间隔T1转换到间隔T2的定时处突然开始触觉刺激的呈现，并且在间隔T3转换到间隔T4的定时处突然结束触觉刺激的呈现。
相应地，触觉信号生成部61将尚未经过淡化处理的触觉信号乘以如图14所示的增益函数，以生成经过淡化处理的触觉信号。
如图14所描绘的，增益函数被设置为使得在触觉再现标志从“0”变为“1”的情况下，触觉信号的强度逐渐增加，并且在触觉再现标志从“1”变为“0”的情况下触觉信号的强度逐渐减少。
具体地，在与间隔T2对应的部分中，增益函数从与间隔T2的起点对应的时间点t0到预定时间点t1逐渐从0变为1，然后保持在1，直到间隔T2的终点。增益函数从0到1的变化可以是也可以不是线性的。此外，时间点t1可以是例如已经过去间隔T2的一半时间的定时，或者比该定时点早的定时。替选地，时间点t1可以被定义为间隔T2的终点，并且增益函数可以在整个间隔T2中从从0变化到1。
此外，在与间隔T3对应的部分中，增益函数从间隔T3的起点到时间点t2保持为1，并且从时间点t2到与间隔T3的终点对应的时间点t3逐渐从1变为0。增益函数从1到0的变化可以是也可以不是线性的。此外，时间点t2可以是例如已经过去间隔T3的一半时间的定时，或者比该定时晚的定时。替选地，时间点t2可以被定义为间隔T3的起点，并且增益函数可以在整个间隔T3中从1变化到0。
注意，当触觉再现标志为1时，并且当触觉再现标志对于前一条声学帧数据SFD和对于后一条声学帧数据SFD二者都为1时，增益函数被假定为在某个间隔内始终为1。
触觉信号生成部61通过乘以图14中所描绘的增益函数，对尚未经过淡化处理的触觉信号执行淡入处理和淡出处理。结果，触觉信号在触觉呈现开始时的时间点t0处和触觉呈现结束时的时间点t3处为0。
<5.处理流程>
将参照附图描述由触觉呈现***1中设置的发送装置2和接收装置3执行的处理流程。
注意，虽然以下描述提供了其中每个处理操作通过软件实现的示例，但每个处理操作的至少一部分可以通过硬件实现。
<5-1.发送装置的处理流程>
将参照图15描述由发送装置2的分析处理部30和编码部31执行的处理流程。
在步骤S101中，发送装置2的分析处理部30的输入调整部40对内容数据CD执行解码处理。该个体处理将视频信号和声学信号从内容数据CD中分离出来。
在步骤S102中，分析处理部30的输入调整部40通过将视频信号划分为具有预定时间长度的各条数据来生成部分动态图像数据MD，并且通过将声学信号划分为具有预定时间长度的各条数据来生成声学帧数据SFD。
在步骤S103中，分析处理部30的动态图像数据分析部41对部分动态图像数据进行分析。该处理包括：计算如上所述的特征量A至C。
在步骤S104中，分析处理部30的声学分析部42分析声学帧数据SFD。该处理包括：计算如上所述的特征量D至G。
在步骤S105中，分析处理部30的触觉再现确定部43执行用于计算评估值EV的处理。
在步骤S106中，分析处理部30的触觉再现确定部43确定是否启用触觉呈现，并在步骤S107中生成触觉再现标志PF。
在步骤S108中，编码部31执行编码处理以生成已编码数据ED。
在步骤S109中，发送装置2的通信部34将已编码数据ED发送到接收装置3。
<5-2.接收装置的处理流程>
将参照图16描述由接收装置3的解码部50执行的处理流程。
在步骤S201中，接收装置3的解码部50的声学解码部60分析已编码数据ED的头部区域20，并基于图6中描绘的已编码数据ED的数据结构提取信息。
在步骤S202中，解码部50的声学解码部60对存储在有效载荷区域21中的真实数据执行解码处理，以获得声学帧数据SFD。
在步骤S203中，解码部50的触觉信号生成部61检查与声学帧数据SFD对应的触觉再现标志PF是否开启(ON)。触觉再现标志PF开启的状态是指触觉再现标志PF被设置为“1”的状态。
在触觉再现标志PF开启(ON)的情况下，则在步骤S204中，解码部50的触觉信号生成部61基于声学帧数据SFD生成触觉信号。
另一方面，在触觉再现标志PF关闭(OFF)的情况下，步骤S204中的处理被跳过。
在步骤S205中，解码部50的触觉信号生成部61确定触觉再现标志PF是否已被改变。触觉再现标志PF已被改变的情况是指与前一条声学帧数据SFD对应的触觉再现标志PF不同于与当前目标声学帧数据SFD对应的触觉再现标志PF的情况。
在触觉再现标志PF保持不变的情况下，解码部50结束图16中示出的一系列处理操作。另一方面，在触觉再现标志PF已被改变的情况下，则在步骤S206中，解码部50的触觉信号生成部61根据标志被改变的方向执行分支处理。
具体地，在触觉再现标志PF已经从关闭(OFF)变为开启(ON)的情况下，则在步骤S207中，解码部50的触觉信号生成部61执行淡入处理。
另一方面，在触觉再现标志PF已经从开启(ON)变为关闭(OFF)的情况下，则在步骤S208中，解码部50的触觉信号生成部61执行淡出处理。
<6.变型>
将参照附图描述由分析处理部30执行的其他形式的分析。
第一变型的形式是如下示例：使用诸如电视节目或流媒体内容之类的广播内容的EPG(电子节目指南)的节目信息来执行分析。
具体地，在可能的情况下，可以获取广播内容或流媒体内容中的每个场景的场景信息。在这种情况下，可以基于场景信息在一定程度上推断出每个场景是什么样的，因此，可以完全基于场景信息来分析是否执行触觉呈现。
不言而喻，除了上述的特征量和评估值之外，还可以使用场景信息来执行分析。例如，对于特定场景，无论评估值有多高，都可以确定不执行触觉呈现。
图17是包括场景信息的表格。场景信息包括例如分别表示各自场景的缩略图、与场景的序列号对应的场景编号、每个场景的开始时间和结束时间以及场景类型ID；缩略图、场景编号、开始时间和结束时间以及场景类型ID彼此相关联。
场景类型ID是用于粗略识别场景内容的信息，并且例如与图18中描述的场景内容相关联。具体地，对于具有场景类型ID“0001”的场景，该场景类型ID被分配给诸如枪战或击剑的打斗动作的场景。对于具有场景类型ID“0002”的场景，该场景类型ID被分配给涉及烟花或炸弹***的场景。对于具有场景类型ID“0011”的场景，该场景类型ID被分配给人在说话的场景。
这样的场景信息由内容服务器100(参见图2)管理，内容服务器100流送内容数据CD，并且可以与内容数据CD的流送一起流送到发送装置2。
此外，场景信息可以被存储在记录介质RM(参见图4)中，并响应于内容数据CD的再现从记录介质RM中获取。
替选地，场景信息可以作为电视节目或数据广播中的数据的节目表信息的一部分从电视接收器中获取。
将描述由分析处理部30执行的分析的第二变型。该第二变型是如下示例：声学帧数据SFD不是预先确定的，而是通过由用户等的操作而影响的情况变化而改变。
例如，在内容数据CD是游戏内容的情况下，声学信号与BGM、台词、音效等相关，并且与没有场景但是有用户的操作部分地相关联。
也就是说，声学信号是根据场景类型或用户操作来混合和再现的。因此，声学帧数据SFD取决于由用户执行的每个操作而变化。
在这种情况下，作为游戏机本体的发送装置2C分析游戏内容的情况，确定该定时是否适合于触觉呈现，并设置触觉再现标志PF。
这里，适合于触觉呈现的定时可以是例如当由用户操作的游戏中的角色与敌方角色接触时向敌方角色挥下诸如剑或拳头的武器时再现的音效发生的定时，或者当炸弹***时再现的音效发生的定时。换言之，该定时可以是当由用户操作的角色感受到某种刺激时再现的音效使用的时间。
<7.结论>
如上述示例所述，本技术中的接收装置3(3A、3B、3C)包括：接收处理部(通信部57)，其接收包括声学信号(声学帧数据SFD)和触觉信号的再现启用/禁用信息(触觉再现标志PF)的数据(已编码数据ED)；以及触觉信号生成部61，其基于由接收处理部接收的声学信号来生成触觉信号。
此外，触觉信号生成部61在再现启用/禁用信息指示再现被启用的情况下(例如，在触觉再现标志PF被设置为“1”的情况下)生成触觉信号，但是在再现启用/禁用信息指示再现被禁用的情况下(例如，在触觉再现标志PF被设置为“0”的情况下)不生成触觉信号。
因此，对于某些声学信号(声学帧数据SFD)，触觉信号生成部61不生成触觉信号。对于其他声学信号，触觉信号生成部61生成触觉信号。也就是说，并不是对于所有的声学信号来都生成触觉信号。
与生成触觉信号相关的处理负荷因存在不生成触觉信号的声学信号而减少。此外，通过根据再现启用/禁用信息确定是启用还是禁用触觉信号的生成，可以只在需要触觉信号的期间生成触觉信号。特别地，在触觉信号从声学信号生成的情况下，在声学信号较小的情况下，生成的触觉信号可能很小。然后，用户可能无法感觉到小的触觉信号。通过根据再现启用/禁用信息生成触觉信号，可以避免生成这种不必要的触觉信号。此外，存在一些包含不适合触觉呈现的声音的声学信号，等等。基于这样的声学信号的触觉呈现可能会使用户感到不舒服。通过设置指示在这样的再现间隔期间不执行触觉呈现的再现启用/禁用信息，可以避免使用户感到不舒服的触觉呈现。
此外，接收处理部被认为是接收指示是启用还是禁用触觉信号的再现的再现启用/禁用信息，而不是接收涉及触觉信号的数据。然后，再现启用/禁用信息被认为包括比触觉信号小的数据。因此，与接收涉及触觉信号的数据和涉及声学信号的数据二者相比，能够保持由接收处理部接收的数据量较小。这使得能够减少用于通信的频带，使得能够减少接收处理所需的处理负荷。
如参照图6和图10所描述的那样，可以针对通过将声学信号分成预定的时间长度(例如，与间隔T1对应的时间长度)而获得的每一条声学帧数据SFD提供再现启用/禁用信息(例如，触觉再现标志PF)。触觉信号生成部61可以基于与指示再现被启用的再现启用/禁用信息对应的声学帧数据SFD生成触觉信号，并且可以基于与指示再现被禁用的再现启用/禁用信息对应的声学帧数据SFD而不生成触觉信号。
针对每一条声学帧数据SFD提供的再现启用/禁用信息使得能够精细设置生成触觉信号的时间间隔。
这使得触觉信号能够按照预期的方式再现，使得能够向用户提供适当的触觉刺激。特别地，当声学帧数据SFD具有较短的再现时间长度(例如短于100毫秒)时，可以精细地设置需要触觉信号的间隔和不需要触觉信号的间隔，使得能够呈现各种触觉信号。
如参照图6等描述的那样，再现启用/禁用信息可以是具有1位的标志信息(触觉再现标志PF)。
这减少了由接收处理部(通信部57)接收的数据量。
因此，可以缩短接收处理所需的时间，使得能够减少发送和接收数据所需的通信频带。
如参照图6等描述的那样，由接收装置3(3A、3B、3C)接收的接收数据可以是使用用于声学数据的编码方案(例如SBC、MP3、AAC、LDAC等方案)编码的已编码数据ED，并且已编码数据ED可以具有包括存储声学帧数据SFD的有效载荷区域21和保留区域26的结构，其中，再现启用/禁用信息被存储在保留区域26中。
在保留区域26中存储再现启用/禁用信息实现了使用发送声学帧数据SFD的机制来接收再现启用/禁用信息。
这样就不需要建立用于接收触觉信号和再现的启用/禁用信息的数据结构和通信方案，从而可以减少构建环境的成本。此外，在生成或利用专用于触觉信号的数据结构的环境尚未盛行的情况下，这种配置是优选的。
如参照图8等所描述的那样，可以基于要与声学帧数据SFD同步再现的部分动态图像数据MD来生成再现的启用/禁用信息(例如，触觉再现标志PF)。
是否向用户提供触觉刺激可能无法根据从声学帧数据SFD获得的声学信号来确定。
此外，用户观看的视频可能包括各种场景，并且图像分析可以能够确定该场景是否适合于触觉呈现。在这种情况下，通过基于部分动态图像数据MD生成再现启用/禁用信息，可以增加适当的触觉呈现的可能性。
如参照图11和图12所述，接收装置3(3A、3B、3C)中的触觉信号生成部61可以对生成的触觉信号执行淡入处理和淡出处理。
诸如淡入处理或淡出处理的淡化处理是用于随时间而逐渐增大或减小信号的处理，并涉及与预定的增益函数相乘。在触觉呈现的开始和结束处进行适当的淡入处理使得触觉呈现能够顺利地开始和结束，从而能够提供自然的触觉体验。
因此，可以防止用户气馁，并享受增强的沉浸式体验。
如参照图11和图12所描述的，接收装置3(3A、3B、3C)的触觉信号生成部61可以基于与目标声学帧数据SFD1对应的再现启用/禁用信息(例如，触觉再现标志PF)以及与前一条声学帧数据SFD2即紧接目标声学帧数据SFD1之前的声学帧数据SFD对应的再现启用/禁用信息来执行淡入处理和淡出处理。具体地，在与目标声学帧数据SFD1对应的再现启用/禁用信息指示再现被启用并且与前一条声学帧数据SFD2对应的再现启用/禁用信息指示再现被禁用的情况下，可以对根据目标声学帧数据SFD1生成的触觉信号执行淡入处理。在与目标声学帧数据SFD1对应的再现启用/禁用信息指示再现被禁用并且与前一条声学帧数据SFD2对应的再现启用/禁用信息指示再现被启用的情况下，可以对根据前一条声学帧数据SFD2生成的触觉信号执行淡出处理。
也就是说，淡入处理操作或淡出处理操作是在再现启用/禁用信息被改变时执行的。
相应地，生成启用触觉呈现而不使用户感到不舒服的使沉浸在内容中的感觉得到增强的触觉信号。
如上文参照各种示例所述，发送装置2(2A、2B、2C)包括：分析处理部30，其对包括至少声学信号的内容数据CD执行分析处理并且生成指示是启用还是禁用触觉信号的再现的再现启用/禁用信息(例如，触觉再现标志PF)；以及发送处理部(通信部34)，其发送再现启用/禁用信息和内容数据CD。
分析内容数据CD使得能够确定执行触觉呈现的再现间隔或者不执行触觉呈现的再现间隔。
因此，通过以这样的方式设置再现启用/禁用信息(即在不适合触觉呈现的间隔期间不执行触觉信号的再现)，可以执行适合用户的触觉呈现。
此外，通过向接收装置发送包括例如1位标志信息的再现启用/禁用信息而不是发送触觉信号本身，可以减少通信频带，并且可以减少发送处理所需的处理负荷和处理时间。
如参照图7、图8等描述的那样，发送装置2(2A、2B、2C)中的分析处理部30可以确定对通过将声学信号分成预定时间长度而获得的每一条声学帧数据SFD是启用还是禁用触觉信号的再现。发送处理部(通信部34)可以将再现启用/禁用信息(例如，触觉再现标志PF)与每一条声学帧数据SFD相关联来执行发送处理。
通过针对每一条声学帧数据SFD设置再现启用/禁用信息，可以精细地设置生成触觉信号的时间间隔。
这使得触觉信号能够按照预期被再现，使得能够向用户提供适当的触觉刺激。特别地，当声学帧数据SFD具有较短的再现时间长度，例如短于100毫秒时，可以精细地设置需要触觉信号的间隔和不需要触觉信号的间隔，使得能够呈现各种触觉信号。
如参照图7等描述的那样，可以设置编码部31以生成包括声学帧数据SFD以及与声学帧数据SFD对应的再现启用/禁用信息(例如，触觉再现标志PF)的已编码数据ED，并且发送处理部(通信部34)可以在发送处理中发送已编码数据ED。
因此，具有预定数据结构的标准化已编码数据ED被发送。
因此，可以防止各条数据之间可能的不匹配，与促进数据结构的升级。
如参照图7等描述的那样，发送装置2(2A、2B、2C)中的分析处理部30可以基于对声学信号的分析结果(例如，声学帧数据SFD的分析结果)生成再现启用/禁用信息(例如，触觉再现标志PF)。
触觉刺激可以优选地与提供给用户的声音同步呈现。根据本配置，对声学信号执行分析处理，并基于分析结果确定是否执行触觉呈现。这使得能够确定与声音同步的触觉呈现是否适当。
因此，可以与提供给用户的声音同步地执行触觉呈现。例如，在可以识别到***声的情况下，可以执行与***声同步的触觉呈现。
因此，触觉呈现可以与提供给用户的声音同步进行。例如，在可以识别***声的情况下，可以执行与***声同步的触觉呈现。
如参照图8等描述的那样，内容数据CD可以包括要与声学信号同步再现的动态图像数据，并且分析处理部30可以对动态图像数据执行分析处理，并且基于声学信号和动态图像数据两者的分析结果生成再现启用/禁用信息(例如，触觉再现标志PF)。
在内容数据CD包括视频的情况下，向用户呈现与视频同步的触觉刺激可以比向用户呈现与声音同步的触觉刺激更优选。
根据本配置，对动态图像数据执行分析处理，以能够确定是否在场景中与视频同步地呈现触觉刺激。
因此，触觉可以与动态图像数据同步地呈现给用户。特别地，在声学信号包括背景音乐等的情况下，是否向用户呈现触觉可能无法被适当地确定。在这种情况下，通过考虑对动态图像数据的分析处理结果来确定是否执行触觉呈现，可以防止执行对用户不适当的触觉呈现。
如使用[等式3]、[等式4]等描述的那样，发送装置2(2A、2B、2C)中的分析处理部30可以基于声学帧数据SFD中的频谱平坦度生成再现启用/禁用信息(例如，触觉再现标志PF)。
通过确定是否执行触觉再现，利用声学帧数据SFD中的频谱平坦度、频谱平坦度的增加率等，可以增加执行适当的触觉再现的可能性。
因此，可以向用户提供增强的对内容的沉浸感和满足感。
如使用[等式5]、[等式6]等描述的那样，发送装置2(2A、2B、2C)中的分析处理部30可以基于声学帧数据SFD中等于或小于阈值(例如100Hz)的频率分量的功率谱的总值来生成再现启用/禁用信息。
因此，可以基于声学帧数据SFD中低频分量的功率谱的总值或总值的增加率来确定是否执行触觉呈现。
因此，可以向用户提供基于重低音的触觉刺激，使得能够向用户给出触觉呈现而不会使用户感到不舒服。
如使用[等式1]、[等式2]等描述的那样，发送装置2(2A、2B、2C)中的分析处理部30可以基于动态图像数据中的多个像素的亮度值的总值生成再现启用/禁用信息。
这使得能够检测涉及亮度值的显著变化的场景，如***场景。
因此，可以在不使用户感到不舒服的情况下执行触觉呈现。
如使用特征量C等描述的那样，发送装置2(2A、2B、2C)中的分析处理部30可以基于是否在动态图像数据中检测到具有预定尺寸或更大的人脸来生成再现启用/禁用信息(例如，触觉再现标志PF)。
例如，具有人脸特写的场景被推断为是有人说话的场景。对于这样的场景，如果响应于该人的说话声音执行触觉呈现，则用户可能会感到不舒服。为了避免这种情况，在检测到有人脸特写的场景的情况下，确定不执行触觉呈现。
这使得能够避免这种使用户感到与人的声音同步被摇晃的触觉呈现。
由接收装置3(3A，3B，3C)执行的信息处理方法包括如下处理：接收包括声学信号和触觉信号的再现启用/禁用信息(例如，触觉再现标志PF)的数据(已编码数据ED)，在再现启用/禁用信息指示再现被启用的情况下，基于接收到的声学信号生成触觉信号，并且在再现启用/禁用信息指示再现被禁用的情况下，确定不生成触觉信号。
此外，由发送装置2(2A、2B、2C)执行的信息处理方法包括如下处理：对包括至少声学信号的内容数据CD执行分析处理，以生成指示是启用还是禁用触觉信号的再现的再现启用/禁用信息(例如，触觉感受再现标志PF)，并且发送再现启用/禁用信息和声学信号。
例如，使接收装置3(3A、3B、3C)执行的程序是使诸如包括在接收装置3中的CPU的算术处理装置执行的如下程序：接收包括声学信号和触觉信号的再现启用/禁用信息(例如，触觉再现标志PF)的数据(已编码数据ED)的功能，在再现启用/禁用信息指示再现被启用的情况下，基于接收到的声学信号生成触觉信号，并且在再现启用/禁用信息指示再现被禁用的情况下，确定不生成触觉信号。
这样的程序使得上述解码部50能够由诸如微型计算机的算术处理装置来实现。
例如，使发送装置2(2A、2B、2C)执行的程序是使诸如包括在发送装置2中的CPU等算术处理装置执行的如下程序：对包括至少声学信号的内容数据CD执行分析处理的功能，以生成指示是启用还是禁用触觉信号的再现的再现启用/禁用信息(例如，触觉再现标志PF)，并发送再现启用/禁用信息和声学信号。
这样的程序使得上述分析处理部30和编码部31能够由诸如微型计算机的算术处理装置来实现。
这样的程序可以预先记录在作为内置在诸如计算机装置的装置中的记录介质的HDD中，具有CPU的微型计算机中的ROM中，等等。替选地，该程序可以暂时或永久地保存(记录)在可移动记录介质如软盘、CD-ROM、MO(磁光)光盘、DVD、蓝光光盘、磁盘、半导体存储器或存储卡中。这样的可移动记录介质可以作为通常所谓的套装软件来提供。
此外，这样的程序可以经由网络如LAN(局域网)或互联网从下载网站下载，作为替选从可移动记录介质安装到个人计算机等装置中。
注意，本文描述的效果只是说明性的，而不是限制性的，并且可以产生任何其他效果。
此外，上述实施方式可以以任何方式组合，并且即使在使用各种组合的情况下也可以产生上述各种效果。
<8.本技术>
本技术还可以采用以下配置。
(1)
一种接收装置，包括：
接收处理部，其被配置成接收包括触觉信号的再现启用/禁用信息和声学信号的数据；以及
触觉信号生成部，其被配置成基于由接收处理部接收的声学信号生成触觉信号，其中，
触觉信号生成部
在再现启用/禁用信息指示再现被启用的情况下生成触觉信号，但
是
在再现启用/禁用信息指示再现被禁用的情况下不生成触觉信号。
(2)
根据以上(1)所述的接收装置，其中，
对于通过以预定时间长度分割声学信号而获得的每一条声学帧数据，提供再现启用/禁用信息，
触觉信号生成部
基于与指示再现被启用的再现启用/禁用信息对应的声学帧数据，生成触觉信号，但是
基于与指示再现被禁用的再现启用/禁用信息对应的声学帧数据，不生成触觉信号。
(3)
根据以上(1)至(2)中任一项所述的接收装置，其中，
再现启用/禁用信息包括具有1位的标志信息。
(4)
根据以上(2)所述的接收装置，其中，
所接收的数据包括使用用于声学数据的编码方案进行编码后的已编码数据，
已编码数据具有包括存储声学帧数据的有效载荷区域和保留区域的结构，并且
再现启用/禁用信息被存储在保留区域中。
(5)
根据以上(2)或(4)中任一项所述的接收装置，其中，
再现启用/禁用信息是基于要与声学帧数据同步再现的部分动态图像数据来生成的。
(6)
根据以上(1)至(5)中任一项所述的接收装置，其中，
触觉信号生成部对所生成的触觉信号执行淡入处理和淡出处理。
(7)
根据以上(6)所述的接收装置，其中，
触觉信号生成部
在与目标声学帧数据对应的再现启用/禁用信息指示再现被启用并且与前一条声学帧数据即紧接目标声学帧数据之前的声学帧数据对应的再现启用/禁用信息指示再现被禁用的情况下，对根据目标声学帧数据生成的触觉信号执行淡入处理，并且
在与目标声学帧数据对应的再现启用/禁用信息指示再现被禁用并且与前一条声学帧数据对应的再现启用/禁用信息指示再现被启用的情况下，对根据前一条声学帧数据生成的触觉信号执行淡出处理。
(8)
一种发送装置，包括：
分析处理部，其被配置成对包括至少声学信号的内容数据执行分析处理，并且生成指示是启用还是禁用触觉信号的再现的再现启用/禁用信息；以及
发送处理部，其被配置成发送再现启用/禁用信息和声学信号。
(9)
根据以上(8)所述的发送装置，其中，
分析处理部对通过以预定时间长度分割声学信号而获得的每一条声学帧数据确定是启用还是禁用触觉信号的再现，并且
发送处理部将再现启用/禁用信息与每一条声学帧数据相关联来执行发送。
(10)
根据以上(9)所述的发送装置，包括：
编码部，其被配置成生成包括声学帧数据和与声学帧数据对应的再现启用/禁用信息的已编码数据，其中，
发送处理部在发送中发送已编码数据。
(11)
根据以上(8)至(10)中任一项所述的发送装置，其中，
分析处理部基于对声学信号的分析结果，生成再现启用/禁用信息。
(12)
根据以上(8)至(11)中任一项所述的发送装置，其中，
内容数据包括要与声学信号同步再现的动态图像数据，并且
分析处理部
对动态图像数据执行分析处理，并且
基于对动态图像数据的分析结果，生成再现启用/禁用信息。
(13)
根据以上(9)至(10)中任一项所述的发送装置，其中，
分析处理部基于声学帧数据中的频谱平坦度生成再现启用/禁用信息。
(14)
根据以上(9)至(10)中任一项所述的发送装置，其中，
分析处理部基于在声学帧数据中的等于或小于阈值的频率分量的功率谱的总值来生成再现启用/禁用信息。
(15)
根据以上(12)所述的发送装置，其中，
分析处理部基于动态图像数据中多个像素的亮度值的总值，生成再现启用/禁用信息。
(16)
根据以上(12)所述的发送装置，其中，
分析处理部基于是否在动态图像数据中检测到具有预定尺寸或更大的人脸，生成再现启用/禁用信息。
(17)
一种由计算机装置执行的信息处理方法，包括以下处理：
接收包括触觉信号的再现启用/禁用信息和声学信号的数据；
在再现启用/禁用信息指示再现被启用的情况下，基于所接收的声学信号生成触觉信号，以及
在再现启用/禁用信息指示再现被禁用的情况下，确定不生成触觉信号。
(18)
一种由计算机装置执行的信息处理方法，包括以下处理：
对包括至少声学信号的内容数据执行分析处理，并且生成指示是启用还是禁用触觉信号的再现的再现启用/禁用信息；以及
发送再现启用/禁用信息和声学信号。
(19)
一种程序，使算术处理装置执行以下功能：
接收包括触觉信号的再现启用/禁用信息和声学信号的数据；
在再现启用/禁用信息指示再现被启用的情况下，基于所接收的声学信号生成触觉信号，以及
在再现启用/禁用信息指示再现被禁用的情况下，确定不生成触觉信号。
(20)
一种程序，使算术处理装置执行以下功能：
对包括至少声学信号的内容数据执行分析处理，并且生成指示是启用还是禁用触觉信号的再现的再现启用/禁用信息；以及
发送再现启用/禁用信息和声学信号。
[附图标记列表]
2、2A、2B、2C：发送装置
3、3A、3B、3C：接收装置
21：有效载荷区域
26：保留区域
30：分析处理部
31：编码部
34：通信部(发送处理部)
57：通信部(接收处理部)
61：触觉信号生成部
CD：内容数据
ED：已编码数据
SFD：声音帧数据
MD：部分动态图像数据
PF：触觉再现标志

Claims (20)

1.一种接收装置，包括：
接收处理部，其被配置成接收包括触觉信号的再现启用/禁用信息和声学信号的数据；以及
触觉信号生成部，其被配置成基于由所述接收处理部接收的所述声学信号生成所述触觉信号，其中，
所述触觉信号生成部
在所述再现启用/禁用信息指示再现被启用的情况下生成所述触觉信号，并且
在所述再现启用/禁用信息指示再现被禁用的情况下不生成所述触觉信号。
2.根据权利要求1所述的接收装置，其中，
对于通过以预定时间长度分割所述声学信号而获得的每一条声学帧数据，提供所述再现启用/禁用信息，
所述触觉信号生成部
基于与指示再现被启用的所述再现启用/禁用信息对应的声学帧数据，生成所述触觉信号，并且
基于与指示再现被禁用的所述再现启用/禁用信息对应的声学帧数据不生成所述触觉信号。
3.根据权利要求1所述的接收装置，其中，
所述再现启用/禁用信息包括具有1位的标志信息。
4.根据权利要求2所述的接收装置，其中，
所接收的数据包括使用用于声学数据的编码方案进行编码后的编码数据，
所述编码数据具有包括存储所述声学帧数据的有效载荷区域和保留区域的结构，并且
所述再现启用/禁用信息被存储在所述保留区域中。
5.根据权利要求2所述的接收装置，其中，
所述再现启用/禁用信息是基于要与所述声学帧数据同步再现的部分动态图像数据来生成的。
6.根据权利要求1所述的接收装置，其中，
所述触觉信号生成部对所生成的触觉信号执行淡入处理和淡出处理。
7.根据权利要求6所述的接收装置，其中，
所述触觉信号生成部
在与目标声学帧数据对应的所述再现启用/禁用信息指示再现被启用并且与前一条声学帧数据即紧接所述目标声学帧数据之前的声学帧数据对应的再现启用/禁用信息指示再现被禁用的情况下，对根据所述目标声学帧数据生成的触觉信号执行淡入处理，并且
在与所述目标声学帧数据对应的所述再现启用/禁用信息指示再现被禁用并且与所述前一条声学帧数据对应的再现启用/禁用信息指示再现被启用的情况下，对根据所述前一条声学帧数据生成的触觉信号执行淡出处理。
8.一种发送装置，包括：
分析处理部，其被配置成对包括至少声学信号的内容数据执行分析处理，并且生成指示是启用还是禁用触觉信号的再现的再现启用/禁用信息；以及
发送处理部，其被配置成发送所述再现启用/禁用信息和所述声学信号。
9.根据权利要求8所述的发送装置，其中，
所述分析处理部对通过以预定时间长度分割所述声学信号而获得的每一条声学帧数据确定是启用还是禁用所述触觉信号的再现，并且
所述发送处理部将所述再现启用/禁用信息与每一条声学帧数据相关联来执行发送。
10.根据权利要求9所述的发送装置，包括：
编码部，其被配置成生成包括所述声学帧数据和与所述声学帧数据对应的再现启用/禁用信息的已编码数据，其中，
所述发送处理部在所述发送中发送所述已编码数据。
11.根据权利要求8所述的发送装置，其中，
所述分析处理部基于对所述声学信号的分析结果，生成所述再现启用/禁用信息。
12.根据权利要求8所述的发送装置，其中，
所述内容数据包括要与所述声学信号同步再现的动态图像数据，并且
所述分析处理部
对所述动态图像数据执行分析处理，并且
基于对所述动态图像数据的分析结果，生成所述再现启用/禁用信息。
13.根据权利要求9所述的发送装置，其中，
所述分析处理部基于所述声学帧数据中的频谱平坦度生成所述再现启用/禁用信息。
14.根据权利要求9所述的发送装置，其中，
所述分析处理部基于在所述声学帧数据中的等于或小于阈值的频率分量的功率谱的总值来生成所述再现启用/禁用信息。
15.根据权利要求12所述的发送装置，其中，
所述分析处理部基于所述动态图像数据中多个像素的亮度值的总值来生成所述再现启用/禁用信息。
16.根据权利要求12所述的发送装置，其中，
所述分析处理部基于是否在所述动态图像数据中检测到具有预定尺寸或更大的人脸来生成所述再现启用/禁用信息。
17.一种由计算机装置执行的信息处理方法，包括以下处理：
接收包括触觉信号的再现启用/禁用信息和声学信号的数据；
在所述再现启用/禁用信息指示再现被启用的情况下，基于所接收的声学信号生成所述触觉信号，以及
在所述再现启用/禁用信息指示再现被禁用的情况下，确定不生成所述触觉信号。
18.一种由计算机装置执行的信息处理方法，包括以下处理：
对包括至少声学信号的内容数据执行分析处理，并且生成指示是启用还是禁用触觉信号的再现的再现启用/禁用信息；以及
发送所述再现启用/禁用信息和所述声学信号。
19.一种程序，使运算处理装置执行以下功能：
接收包括触觉信号的再现启用/禁用信息和声学信号的数据；
在所述再现启用/禁用信息指示再现被启用的情况下，基于所接收的声学信号生成所述触觉信号，以及
在所述再现启用/禁用信息指示再现被禁用的情况下，确定不生成所述触觉信号。
20.一种程序，使运算处理装置执行以下功能：
对包括至少声学信号的内容数据执行分析处理，并且生成指示是启用还是禁用触觉信号的再现的再现启用/禁用信息；以及
发送所述再现启用/禁用信息和所述声学信号。
CN202280014615.2A 2021-02-18 2022-01-12 接收装置、发送装置、信息处理方法和程序 Pending CN116848498A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021024624 2021-02-18
JP2021-024624 2021-02-18
PCT/JP2022/000744 WO2022176440A1 (ja) 2021-02-18 2022-01-12 受信装置、送信装置、情報処理方法、プログラム

Publications (1)

Publication Number Publication Date
CN116848498A true CN116848498A (zh) 2023-10-03

Family

ID=82930613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280014615.2A Pending CN116848498A (zh) 2021-02-18 2022-01-12 接收装置、发送装置、信息处理方法和程序

Country Status (3)

Country Link
CN (1) CN116848498A (zh)
DE (1) DE112022001118T5 (zh)
WO (1) WO2022176440A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9898085B2 (en) 2013-09-06 2018-02-20 Immersion Corporation Haptic conversion system using segmenting and combining
US9946348B2 (en) * 2014-03-21 2018-04-17 Immersion Corporation Automatic tuning of haptic effects
JP6523038B2 (ja) * 2015-05-08 2019-05-29 日本放送協会 感覚提示装置
US20220254325A1 (en) * 2019-07-29 2022-08-11 Sony Group Corporation Wearable speaker

Also Published As

Publication number Publication date
WO2022176440A1 (ja) 2022-08-25
DE112022001118T5 (de) 2024-01-18

Similar Documents

Publication Publication Date Title
US7467088B2 (en) Closed caption control apparatus and method therefor
US8436241B2 (en) Beat enhancement device, sound output device, electronic apparatus and method of outputting beats
CN102100088B (zh) 用于使用基于对象的元数据产生音频输出信号的装置和方法
JP4780375B2 (ja) 音響信号への制御コード埋込装置、および音響信号を用いた時系列駆動装置の制御システム
KR100998913B1 (ko) 오디오 신호의 처리 방법 및 이의 장치
US20160071524A1 (en) Audio Modification for Multimedia Reversal
CN106488311B (zh) 音效调整方法及用户终端
WO2021176904A1 (ja) ビットストリーム生成方法、符号化装置、復号装置
CN114915874B (zh) 音频处理方法、装置、设备及介质
US7920708B2 (en) Low computation mono to stereo conversion using intra-aural differences
US20230007434A1 (en) Control apparatus, signal processing method, and speaker apparatus
JP2009296274A (ja) 映像音声信号処理装置
CN108141693B (zh) 信号处理设备、信号处理方法和计算机可读存储介质
CN116848498A (zh) 接收装置、发送装置、信息处理方法和程序
JP4743228B2 (ja) デジタル音声信号解析方法、その装置、及び映像音声記録装置
WO2016039150A1 (ja) 符号化装置および方法、復号装置および方法、並びにプログラム
JP2010230972A (ja) 音信号処理装置、その方法、そのプログラム、および、再生装置
US11594113B2 (en) Decoding device, decoding method, and program
WO2023084933A1 (ja) 情報処理装置、情報処理方法およびプログラム
CN111033461A (zh) 信息提供方法及信息提供装置
AU2013200578B2 (en) Apparatus and method for generating audio output signals using object based metadata
US20230233941A1 (en) System and Method for Controlling Audio
WO2023243375A1 (ja) 情報端末、情報処理方法、プログラム、および情報処理装置
CN116582697A (zh) 音频传输方法、装置、终端、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination