CN111566595A - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN111566595A
CN111566595A CN201880085193.1A CN201880085193A CN111566595A CN 111566595 A CN111566595 A CN 111566595A CN 201880085193 A CN201880085193 A CN 201880085193A CN 111566595 A CN111566595 A CN 111566595A
Authority
CN
China
Prior art keywords
presentation
haptic
vibration
data
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880085193.1A
Other languages
English (en)
Other versions
CN111566595B (zh
Inventor
横山谅
伊藤镇
山野郁男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111566595A publication Critical patent/CN111566595A/zh
Application granted granted Critical
Publication of CN111566595B publication Critical patent/CN111566595B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00Tactile signalling systems, e.g. personal calling systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/28Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/28Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285Generating tactile feedback signals via the game input device, e.g. force feedback
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/302Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device specially adapted for receiving control signals not targeted to a display device or game input means, e.g. vibrating driver's seat, scent dispenser

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本技术涉及可以执行更适当的触觉呈现的信息处理装置、信息处理方法和程序。该信息处理装置设置有信号处理部,其在基于第一数据的并且通过触觉的第一呈现的呈现定时与基于第二数据的并且通过触觉或声音的第二呈现的呈现定时交叠的情况下,基于关于触觉的感知特性数据以及第一数据,生成用于控制至少执行第一呈现的触觉呈现设备的触觉信号,以使得针对接收第一呈现和第二呈现的用户的组合感知效果是通过组合通过第一呈现的第一感知效果与通过第二呈现的第二感知效果而获得的效果。本技术可以应用于信息处理装置。

Description

信息处理装置、信息处理方法和程序
技术领域
本技术涉及信息处理装置、信息处理方法和程序。更具体地,本技术涉及用于提供更适当的触觉呈现的信息处理装置、信息处理方法和程序。
背景技术
例如,已经存在用于通过振动刺激向用户提供触觉呈现从而获得期望的感知效果(sensory effect)的已知技术。已经提出的一种这样的技术涉及例如响应于与虚拟对象的接触而产生用于操作触觉呈现设备的触觉信号以便实现具有更真实的感受的触觉反馈(例如,参见PTL1)。
引用列表
专利文献
[PTL 1]
国际未审查专利申请公布第2017/043400号
发明内容
技术问题
然而,已经证明上述技术不能始终提供适当的触觉呈现。即,PTL 1中描述的技术没有考虑人类感知特性(human sensory characteristics),这使得在引导用户同时感知两个或更多个感知效果的情况下难以提供适当的触觉呈现。因此难以获得预期的感知效果。
本技术是鉴于上述情况而设计的,并且旨在提供更适当的触觉呈现。
问题的解决方案
根据本技术的一方面,提供了一种信息处理装置,包括:信号处理部,其被配置成使得在基于第一数据的且通过触觉的第一呈现的呈现定时与基于第二数据的且通过触觉或声音的第二呈现的呈现定时交叠的情况下,该信号处理部基于关于触觉的感知特性数据和第一数据,生成用于控制至少执行第一呈现的触觉呈现设备的触觉信号,以使得对接收第一呈现和第二呈现两者的用户的组合感知效果变为将第一呈现的第一感知效果与第二呈现的第二感知效果合并的效果。
此外,根据本技术的一方面,提供了一种信息处理方法或程序,包括以下步骤:在基于第一数据的且通过触觉的第一呈现的呈现定时与基于第二数据的且通过触觉或声音的第二呈现的呈现定时交叠的情况下,基于关于触觉的感知特性和第一数据,生成用于控制至少执行第一呈现的触觉呈现设备的触觉信号,以使得对接收第一呈现和第二呈现两者的用户的组合感知效果变为将第一呈现的第一感知效果与第二呈现的第二感知效果合并的效果。
因此,根据本技术的一方面,在基于第一数据的且通过触觉的第一呈现的呈现定时与基于第二数据的且通过触觉或声音的第二呈现的呈现定时交叠的情况下,基于关于触觉的感觉特性数据和第一数据,生成用于控制至少执行第一呈现的触觉呈现设备的触觉信号,以使得对接收第一呈现和第二呈现两者的用户的组合感知效果变为将第一呈现的第一感知效果与第二呈现的第二感知效果合并的效果。
本发明的有益效果
因此,根据本技术的一方面,可以提供更适当的触觉呈现。
在本说明书中陈述的有益效果仅是示例,而不是对本技术的限制,基于对说明书的阅读,本技术还可以提供其他益处。
附图说明
图1是描绘触觉机器的典型外部配置的图。
图2是说明触觉呈现的图。
图3是描绘振动强度与感知强度之间的关系的图。
图4是描绘等敏感度曲线(isosensitivity curve)的图。
图5是描绘在不同振动频率下振动强度与感知强度之间的关系的图。
图6是说明触觉信号的组合的图。
图7是描绘呈现时间与感知强度之间的关系的图。
图8是说明随呈现时间调整振动强度的图。
图9是描绘振动强度相对于温度的校正量的图。
图10是描绘信息处理装置的典型配置的图。
图11是说明呈现处理的流程图。
图12是说明相同类别合成处理的流程图。
图13是说明强度调整处理的流程图。
图14是描绘信息处理***的典型配置的图。
图15是描绘另一触觉机器的典型外部配置的图。
图16是描绘另一触觉机器的典型外部配置的图。
图17是描绘另一触觉机器的典型外部配置的图。
图18是描绘计算机的典型配置的图。
具体实施方式
下面参照附图描述其中实现本技术的一些实施方式。
<第一实施方式>
<本技术>
本技术在同时将两个或更多个的多个触觉呈现输出给用户的情况下,即,在同时执行两个或更多个触觉呈现的情况下,通过根据感知特性生成用于触觉呈现目的的触觉信号,来提供更适当的触觉呈现控制。这使得即使在同时执行两个或更多个感知呈现时,也可以让用户感知预期的感知效果。也就是说,可以进行更适当的触觉呈现。
此处,触觉呈现涉及例如向用户身体的皮肤和肌肉施加振动刺激、温度刺激、电刺激、动觉刺激(kinesthetic stimulus)或痛觉刺激,从而使得用户能够使用用户身体的触觉,经由皮肤感知预定的感知效果。
存在各种类型的利用触觉的机器,例如各自设置有具有触觉反馈功能的触觉呈现设备的控制器、玩具枪、床、背心或椅子。
在制造这样的机器时,希望设计用于驱动各种触觉呈现设备的触觉信号,并且还希望利用直观操作来进行设计这些触觉信号的工作。触觉信号在被设计时优选地由实际体验基于触觉信号的触觉呈现的身体感受的设计者重复地调整。
同时,可以预期存在同时进行至少两个触觉呈现的情况,即,同时执行两个或更多个触觉呈现的情况。
一种这样的情况可以是具有触觉反馈功能的机器设置有一个触觉呈现设备以用于同时执行两个不同的触觉呈现的情况。在该情况下,可以预期生成将用于进行一个触觉呈现的一个触觉信号和用于执行另一触觉呈现的另一触觉信号进行组合的触觉信号,使得由此获得的触觉信号将驱动一个触觉呈现设备。
另一情况可以是具有触觉反馈功能的机器配备有多个触觉呈现设备。多个触觉呈现设备中的一些可以选择性地用于移动(shift)触觉呈现的呈现位置。
具体地,假设例如图1中所示的触觉机器的具有触觉反馈功能的背心型触觉机器HM 11设置有用于通过借助于触觉来向用户执行触觉呈现的18个触觉呈现设备HD 11至HD18。
触觉机器HM 11可以被配置成例如能够在生存游戏中的战斗期间以触觉方式呈现例如目标对象的方向并且通过触觉呈现向用户给出例如击中的反馈的背心型的设备。
触觉机器HM 11配备有触觉呈现设备HD 11至HD 18以用于例如使用振动对用户身体的胸部进行触觉呈现。
在触觉呈现设备HD 11至HD 18各自由例如压电元件致动器构成的情况下,这些设备在被提供有触觉信号时振动以通过振动刺激向用户执行触觉呈现。
假设触觉机器HM 11首先通过驱动触觉呈现设备HD 11经由振动刺激执行触觉呈现,并且然后通过驱动触觉呈现设备HD 17经由振动刺激进行另一触觉呈现,由此例如如图2所示的那样向用户给予单个感知效果。换句话说,如图2中的箭头M11所示,使用振动刺激进行触觉呈现的呈现位置从左上侧移动到右下侧,即,用户感知触觉呈现的感知位置移动。应当注意,在图2中,与图1的部分对应的部分由相同的附图标记表示,并且适当省略其说明。
还假设除了由箭头M11所示的触觉呈现之外,首先通过驱动触觉呈现设备HD 16以进行通过振动刺激的触觉呈现,并且然后通过驱动触觉呈现设备HD 17以进行通过振动刺激的另一触觉呈现,来向用户给予另一感知效果。即,如图2中的箭头M12所示的,使用振动刺激进行触觉呈现的呈现位置从右上侧移动到左下侧。
还假设驱动触觉呈现设备HD 17以执行由箭头M11所示的触觉呈现的定时、即、使用触觉呈现设备HD 17进行触觉呈现的定时与驱动触觉呈现设备HD 17以执行由箭头M12所示的触觉呈现的定时交叠。
在这样的情况下,由触觉呈现设备HD 17在给定定时处同时进行两个不同的触觉呈现。换句话说,触觉呈现设备HD 17向用户提供通过组合(混合)两个不同触觉呈现的感知效果而获得的一个感知效果。
这里,由触觉呈现设备HD 17同时执行的两个触觉呈现可以是不同的类别(类型),例如振动刺激、温度刺激和电刺激。
在以下描述中,通过同时进行两个或更多个触觉呈现使得用户组合地感知两个或更多个感知效果而获得的效果将被具体地称为组合感知效果。
例如,上面已经说明了在给定定时处同时执行两个触觉呈现的呈现位置、即感知位置、与触觉呈现设备HD 17的位置交叠。替选地,同时执行这两个触觉呈现的位置可以是任何地方。
例如,在同时驱动触觉呈现设备HD 11、HD 16和HD 17中的一些的情况下,可以使由这些设备包围的位置PT11构成通过被驱动的触觉呈现设备进行触觉呈现的呈现位置,即,构成感知位置。因此,可以在作为感知位置的位置PT11处向用户提供组合感知效果。
例如,已经进一步说明了图2中的触觉呈现设备HD 17同时执行相同类别的触觉呈现。替选地,可以设想,可以在相同位置处同时执行不同类别的触觉呈现,例如在作为感知位置的触觉呈现设备HD 17的位置处同时进行通过振动刺激的触觉呈现和通过温度刺激的触觉呈现的情况。
如上所述,在用作感知位置的预定位置处执行两个或更多个的多个触觉呈现的情况下,需要以考虑人类感知特性的方式来执行触觉呈现控制,以便使人如所期望地那样在该感知位置处体验组合感知效果。
因此,根据本技术,当要在相同的呈现位置处同时进行两个或更多个的多个触觉呈现时,在考虑人类感知特性的情况下生成要提供给触觉呈现设备的触觉信号,使得可以执行更适当的触觉呈现。
即,在要同时执行两个或更多个触觉呈现的情况下,考虑了人类感知特性,使得可以在人类感知水平有效地组合来自这些触觉呈现的感知效果,并且使得由此可以如期望地向用户给予适当组合的感知效果。
<相同类别的触觉呈现>
以下更详细地说明本技术。
这里说明一个具体示例,其中单个触觉呈现设备同时执行相同类别(类型)的两个触觉呈现。
这里,假设执行两个触觉呈现的呈现位置、即感知位置与触觉呈现设备的位置一致。然而,在呈现位置不同于触觉呈现设备的位置或者呈现位置随时间而移动的情况下,也可以执行与下面说明的处理类似的处理,其中允许用户感知预期的组合感知效果。
例如,考虑生成用于使一个触觉呈现设备通过振动刺激产生合并两个感知效果的组合感知效果的触觉信号。
在该情况下,如果在不考虑人类感知特性的情况下简单地将用于产生一个感知效果的触觉信号和用于产生另一感知效果的触觉信号相加并且组合(混合),则从组合获得的感知信号可能不允许人感知预期的组合感知效果。这是因为简单地组合触觉信号可能不会正确地组合知觉,即不能适当地组合感知强度。
例如,如图3中所描绘的,人类感知知觉相对于振动刺激的强度,即相对于作为物理加速度值的振动强度非线性地发生。
应当注意,在图3中,横轴表示振动刺激的振动强度,并且纵轴表示人在给定振动刺激下感知到的强度,即感知强度。
在该示例中,曲线L11表示给予人并由人感知到的振动刺激的感知强度。曲线L11表明,人具有感知特性(敏感度特性)使得振动强度越大,对振动刺激的感知知觉变得越弱,即,人类感知更少的振动刺激。也就是说,感知知觉相对于振动强度非线性地变化。
此外,人具有感知特性(敏感度特性)使得在给定相同振动强度的振动刺激的情况下,取决于振动刺激的振动频率,人仍然体验不同的感知强度。
即,如图4所描绘的,例如,即使在向人给予相同感知强度的振动刺激时,必要的振动强度也取决于振动刺激的振动频率而变化。在图4中,横轴表示振动频率,并且纵轴表示振动强度。
在图4所描绘的示例中,曲线L21至L23表示一方面在向人给予预定的不同感知强度的振动刺激的情况下所需要的振动刺激的振动频率与另一方面的振动强度之间的关系。即,曲线L21至L23表示相对于预定的感知强度的等敏感度曲线。
这里假设由曲线L21至L23表示的示例性感知强度由附图标记KS1至KS3表示,其中KS1>KS2>KS3。
例如,曲线L21表示使用不同振动频率下的振动刺激向人给予预定的感知强度KS1的刺激所需要的振动强度。
具体地,如果假设在振动刺激具有振动频率f1时振动强度为FS1,则人从振动刺激感知到感知强度KS1的振动刺激。同样,如果假设在振动刺激具有振动频率f2时振动强度为FS2,则人从振动刺激感知到感知强度KS1的振动刺激。
在不同振动频率下观察曲线L21至L23,曲线L21至L23之间的垂直间距随着不同振动频率而变化。由此,可以理解,在不同振动频率下人在难以感知振动刺激的变化的方面的程度不同。
例如,在振动频率f2下,在振动强度方向上在曲线L21至L23之间存在大的间距。因此,可以理解,在振动刺激的振动频率f2下,相对于振动刺激的振动强度的变化的感知强度的变化小于在振动频率f1的情况下的相对于振动刺激的振动强度的变化的感知强度的变化。
以该方式,相对于振动频率的变化的感知强度的变化量随着振动刺激的振动频率不同而变化。例如,比较振动频率f1和振动频率f2表明振动强度与感知强度之间的关系如图5所示。在图5的示例中,横轴表示振动刺激的振动强度,并且纵轴表示相对于振动刺激的感知强度。
在图5的示例中,由箭头Q11所示的部分中的曲线L31表示在振动频率为f1的情况下在不同振动强度下相对于振动刺激的人的感知强度。另一方面,由箭头Q12所示的部分中的曲线L32表示在振动频率为f2的情况下在不同振动强度下相对于振动刺激的人的感知强度。
在振动频率f1下,随着振动强度增加,感知强度以相对大的梯度线性变化,直到一点。经过该点,相对于振动强度的变化的感知强度的变化量逐渐变小。
在振动频率f2下,随着振动强度的增加,感知强度以比振动频率f1的情况下的梯度更小的梯度线性地变化,直到一点。经过该点,相对于振动强度的变化的感知强度的变化量逐渐变小。
如上所述,人类感知知觉相对于振动强度非线性地发生,并且人类感知特性随着振动刺激的振动频率不同而变化。为此,例如,在要通过组合两个不同的振动刺激来进行触觉呈现的情况下,如下操作是必须的:在根据合计的感知强度生成最终触觉信号之前,不是简单地将两个触觉信号相加为最终触觉信号,而是将与在不同频率分量中的每一个处的振动强度对应的感知强度合计,以便允许人类感知预期的组合感知效果。
具体地,假设在考虑预定振动频率的情况下,同时执行基于振动强度A1的触觉信号的触觉呈现和基于振动强度A2的触觉信号的另一触觉呈现。
在这样的情况下,在所考虑的振动频率下,假设人具有图6中的曲线L41所示的感知特性。应当注意,在图6中,横轴表示振动强度,并且纵轴表示感知强度。
在图6中,曲线L41表示在不同的振动强度下相对于振动强度的人的感知强度。在同时执行基于振动强度A1的触觉信号的触觉呈现和基于振动强度A2的触觉信号的触觉呈现的情况下,通常将振动强度A1和A2相加以获得要由提供给触觉呈现设备的最终触觉信号表示的振动强度A3(A3=A1+A2)。
然而,在基于振动强度A3的触觉信号执行触觉呈现时,难以实现具有应该正常获得的感知强度的触觉呈现。即,不能获得预期的组合感知效果。
具体地,在人具有曲线L41所示的感知特性的情况下,在进行基于振动强度A1的触觉信号的触觉呈现时的感知强度是由附图标记B1表示的感知强度。在执行基于振动强度A2的触觉信号的触觉呈现时的感知强度是由附图标记B2标记的感知强度。
因此,同时进行这些触觉呈现而得到的感知强度应当是构成感知强度B3的感知强度B1和B2的和(B3=B1+B2)。
然而,基于作为振动强度A1和A2之和的振动强度A3的触觉信号进行触觉呈现仅提供了比感知强度B3更低(更小)的感知强度。不能获得适当组合的感知效果。
根据本技术,首先基于曲线L41所示的感知特性将振动强度A1和A2映射至感知强度。因此获得了与振动强度A1和A2对应的所得到的感知强度B1和B2。
然后将由此获得的感知强度B1和B2相加(组合)以获取用于产生预期的组合感知效果的感知强度B3。
进一步基于曲线L41所示的感知特性将感知强度B3映射至振动强度。该映射提供了对应于感知强度B3的振动强度A4。将由此获得的振动强度A4的触觉信号作为最终触觉信号提供给触觉呈现设备。
基于由此获得的振动强度A4的触觉信号进行触觉呈现向用户提供感知强度B3的组合触觉效果。
因此,根据本技术,在具有相同感知强度的两个振动刺激以触觉呈现的形式同时呈现时,所得到的感知强度被正确地翻倍。
更具体地,通过上述处理针对不同振动频率中的每一个生成触觉信号。将在这样的不同振动频率下的触觉信号相加以生成包括多个振动频率分量的最终触觉信号。
尽管已经说明了在以上示例中组合两个振动强度,但是也可以通过类似的处理组合三个或更多个的多个振动强度。即,将三个或更多个振动强度分别映射至感知强度。将这些感知强度相加以获得映射至振动强度的感知强度。然后生成触觉信号以表示所得到的振动强度。
如上所述,根据本技术,不是简单地将多个振动强度相加。而是,将这些振动强度映射至感知强度,然后将感知强度相加。再次将相加的感知强度映射至振动强度,其中生成该振动强度的适当触觉信号。
即,根据本技术,在多个触觉呈现的呈现定时彼此交叠的情况下,基于人类感知特性数据生成触觉信号,以使得在同时执行多个触觉呈现的情况下,用户体验到将这些触觉呈现的感知效果合并的组合感知效果。这使得可以执行更适当的触觉呈现控制以获得预期的组合感知效果。
应当注意,人类感知特性随着身体的不同部位(例如手、腹部、手臂和腿而变化)以及随着年龄的不同而变化。因此,如果基于不同身体部位和不同年龄的感知特性在不同振动频率中的每一个下生成触觉信号,则所得到信号呈现比以往更适当的形式。
此外,如图7所示,相对于振动和其他刺激的人类感知知觉特性使得知觉变得更加敏感,直到在时间上进行积分的时间点。经过该点,相对于刺激的知觉随着时间而变得更迟钝。
在图7中,横轴表示例如通过振动刺激的触觉呈现的呈现时间,并且纵轴表示相对于触觉呈现的人的感知强度。
在该示例中,曲线L51指示相对于期间连续执行恒定强度的触觉呈现的呈现时间的感知强度。在给定曲线L51的情况下,可以理解,呈现时间越长,感知强度变得越高,只要呈现时间短于预定时间段即可,并且经过该预定时间段,呈现时间越长,感知强度逐渐变得越低。
例如,假设在不同的呈现定时处向用户给予两个触觉呈现以使得这些触觉呈现的呈现时段彼此部分交叠。在该情况下,所得到的触觉呈现的呈现时间变得比每个触觉呈现的呈现时间更长。
作为另一示例,如果在给定的触觉呈现之后连续地执行另一触觉呈现,则所得到的这些触觉呈现的实际呈现时间等于各个触觉呈现的呈现时间之和。
在两个或更多个的多个触觉呈现的呈现时段如上所述的那样彼此部分交叠时,实际呈现时间延长。因此,由于图7中所示的相对于呈现时间的人类感知特性,感知强度可能变得与预期强度不同。
具体地,如图8中的箭头Q21所示,假设执行两个触觉呈现,一个是基于波形由曲线L61标记的触觉信号的且通过振动刺激的触觉呈现,另一个是基于波形由曲线L62表示的触觉信号的且通过振动刺激的触觉呈现。在该情况下,在由箭头Q21指定的部分中,横轴表示时间,即时钟时间,并且纵轴表示触觉呈现的振动强度。
在该示例中,时间段t2紧接在时间段t1之后,时间段t1从给定时钟时间开始并且在其期间执行基于由曲线L61指示的触觉信号的触觉呈现(在下文中该触觉呈现可以由附图标记VP1指定),时间段t2接续触觉呈现VP1并且在其期间执行基于由曲线L62标记的触觉信号的触觉呈现(在下文中该触觉呈现可以由附图标记VP2指示)。
即,触觉呈现VP1的呈现结束时间与触觉呈现VP2的呈现开始时间一致。这是触觉呈现VP1的呈现定时与触觉呈现VP2的呈现定时部分交叠的状态。
这里,触觉呈现VP1的振动频率与触觉呈现VP2的振动频率相同。此外,触觉呈现VP1的振动强度与触觉呈现VP2的振动强度相同。由此可见,接续触觉呈现VP1执行触觉呈现VP2等同于在“t1+t2”的时间段内以给定振动频率执行触觉呈现。
因此,如果如箭头Q22所标记的那样用户具有由曲线L63指示的、相对于通过振动刺激的触觉呈现的呈现时间的感知强度的感知特性,则例如在进行触觉呈现VP1和VP2时需要调整触觉信号的振动强度。
在由箭头Q22所示的部分中,横轴表示触觉呈现的呈现时间,并且纵轴表示感知强度。假设时间段t3表示时间t1和t2之和。
例如,这里假设时间t1和时间t2具有基本上相同的时段。因此,在单独执行触觉呈现VP1和VP2的情况下,用户从呈现中感知到感知强度B21。
由此可见,当相继地连续执行触觉呈现VP1和VP2时,用户应当在执行感知呈现VP2时连续地感知到感知强度B21。
然而,在用户具有由曲线L63表示的感知特性的情况下,在触觉呈现VP1之后的触觉呈现VP2结束的时间点处,即,在触觉呈现VP1开始之后经过时间段t3时,用户体验大于感知强度B21的感知强度B22的振动刺激。
因此,根据本技术,在延长的实际呈现时间中执行相同类型的两个或更多个的多个触觉呈现的情况下,基于触觉呈现的实际呈现时间和用户的相对于呈现时间的感知特性来调整(校正)触觉信号的强度。
例如,在相继地连续执行触觉呈现VP1和VP2的情况下,如箭头Q23所示的那样调整触觉信号。在由箭头Q23标记的部分中,横轴表示时间,并且纵轴表示触觉信号的振动强度(幅度)。
在该示例中描绘的曲线L64是在相继地连续执行触觉呈现VP1和VP2的情况下的触觉信号的波形。
在从触觉呈现开始起的时间t1中,由曲线L64指示的触觉信号具有与由曲线L61标记的触觉信号的波形相同的波形,经过时间t1之后,波形的振动强度随着时间逐渐降低。这里,时间方向上的振动强度的降低率由曲线L63指示的感知特性限定。
在基于振动强度根据由曲线L63指示的感知特性被调整(校正)的触觉信号来执行触觉呈现时,允许用户从触觉呈现的开始到结束、在时间t1的末端之后连续地感知到恒定感知强度B21的振动刺激。即,以将触觉呈现VP1的感知效果与触觉呈现VP2的感知效果合并的方式来提供对接收连续触觉呈现VP1和VP2的用户的组合感知效果。
<不同类别的触觉呈现>
下面说明如何控制同时执行的多个不同类别的触觉呈现。
例如,在对相同的呈现位置执行两个不同类别的触觉呈现的情况下,一个触觉呈现的感知强度(感知效果)可能在另一触觉呈现的影响下改变。
这里,考虑如下具体示例,其中对相同的呈现位置同时执行通过振动刺激的触觉呈现和通过温度刺激的触觉呈现。
人具有这样的感知特性使得人的皮肤表面的温度(即,体温)越高,人对振动刺激的感知变得越敏感。
例如,在向用户给予通过温度刺激的触觉呈现的情况下,可以假设体验对呈现位置(感知位置)的通过温度刺激的触觉呈现的用户的皮肤表面温度与温度刺激的温度基本上相同,即,与触觉呈现的呈现温度相同。
为此,在正在对预定的呈现位置执行通过温度刺激的触觉呈现的情况下,对该呈现位置进行通过振动刺激的触觉呈现需要根据温度刺激的温度调整(校正)振动刺激的触觉信号,以使得用户对振动刺激的感知强度成为最初预期的感知强度。
具体地,温度越高,人对振动刺激的感知变得越敏感。因此,在温度刺激的温度高于诸如人的平均体温的预定基准温度的情况下,温度刺激的温度越高,仅需要提供的振动刺激的振动强度越低。
相反,温度越低,人对振动刺激的感知变得越迟钝。因此,在温度刺激的温度低于预定基准温度的情况下,温度刺激的温度越低,仅需要提供的振动刺激的振动强度越高。
在根据温度刺激的温度校正振动刺激的触觉信号的振动强度时,预先准备关于感知特性的数据就足够了,该感知特性表示一方面在同时执行通过温度刺激的触觉呈现和通过振动刺激的触觉呈现时的温度刺激的强度(温度)与另一方面接收振动刺激的人的感知强度之间的关系。具体地,可以预先准备如图9所描绘的指示相对于温度的振动强度的校正量的数据,该数据与温度的感知特性有关。该数据可以用作用于校正触觉信号的基础。
应当注意,在图9中,横轴表示温度刺激的温度,并且纵轴表示振动强度的校正量。这里,校正量可以是任何值,例如,被添加到初始振动强度以用于振动强度校正的校正值或者要乘以初始振动强度以用于校正的校正系数。
在图9中,曲线L81表示在不同温度下振动刺激的触觉信号的振动强度的校正量。温度T1是平均人体温度,例如36摄氏度。
在该示例中,当温度刺激的温度等于或高于T1时,振动强度的校正量为负。温度越高,使校正量的绝对值越大以便逐渐降低振动强度。
另一方面,当温度刺激的温度为T1或更低时,振动强度的校正量为正。因此,温度越低,使校正量的绝对值越大以便逐渐增加振动强度。
可以将指示温度与校正量之间的这样的关系的数据保持为关于相对于温度的感知特性的数据。然后,在对相同位置同时执行通过温度刺激的触觉呈现和通过振动刺激的触觉呈现的情况下,可以使用该数据以在适当的触觉呈现控制下提供预期的感知效果。
即,在通过振动刺激的触觉呈现的呈现定时和通过温度刺激的触觉呈现的呈现定时至少部分地彼此交叠的情况下,以将振动刺激的感知效果与温度刺激的感知效果合并的方式来提供对接收这些触觉呈现的用户的组合感知效果。换句话说,即使在同时给予振动刺激和温度刺激的情况下,也可能使初始振动刺激的感知强度保持不变。
应当注意,人类感知特性随着身体的不同部位(例如手、腹部、手臂和腿而变化)以及随着年龄的不同而变化。这意味着通过针对不同身体部位中的每一个和不同年龄中的每一个预先准备关于相对于温度的感知特性的数据,可以执行更适当的触觉呈现控制。
此外,相对于温度变化的振动刺激的感知强度的变化量随着振动刺激的振动频率不同而变化。因此,可以通过针对不同振动频率分量中的每一个准备关于相对于温度的感知特性的数据,来针对不同振动频率分量中的每一个校正振动刺激的触觉信号。替选地,可以针对不同振动频率中的每一个并且针对不同振动强度中的每一个提供关于相对于温度的感知特性的数据。
例如,人体具有用于感知振动刺激的各种类型的受体,例如迈斯纳氏小体(Meissner’s corpuscles)、麦克细胞(Merkel cells)、瑞芬氏小体(Ruffini’scorpuscles)和帕辛尼氏小体(Pacini’s corpuscles)。这些受体类型中的每一个针对振动频率和温度具有不同的敏感度。
例如,迈斯纳氏小体具有以下特性:感知在10Hz至200Hz的振动频率下的振动刺激、对在大约40Hz的振动频率下的振动刺激最敏感、以及对振动刺激的敏感度不受温度的影响。
麦克细胞具有以下特性:感知在0.4Hz至100Hz的振动频率下的振动刺激、对在大约50Hz的振动频率下的振动刺激最敏感、以及对振动刺激的敏感度易受温度的影响。同样,瑞芬氏小体具有以下特性:感知在0.4Hz至100Hz的振动频率下的振动刺激、对大约50Hz的振动频率下的振动刺激最敏感、以及对振动刺激的敏感度易受温度的影响。
帕辛尼氏小体具有以下特性:感知在70Hz至1000Hz的振动频率下的振动刺激、对在大约250Hz的振动频率下的振动刺激最敏感、以及对振动刺激的敏感度易受温度的影响。
如上所述,各种因素取决于受体的类型而变化,这些因素包括感知刺激的频带、对不同振动频率的敏感度、温度对敏感度的影响的存在与否以及这样的影响的程度。因此,通过针对执行通过振动刺激的触觉呈现的不同振动频率中的每一个预先准备如图9所示的关于相对于温度的感知特性的数据,使得可以进行更适当的触觉呈现控制。
在该情况下,考虑到迈斯纳氏小体不受温度的影响,例如,对于迈斯纳氏小体是高度敏感的大约40Hz的振动频率下的振动刺激,在同时执行通过温度刺激的触觉呈现和通过振动刺激的触觉呈现的情况下,不需要校正用于提供振动刺激的触觉信号。
在上述示例中,已经陈述了在同时执行两个或更多个不同类别的触觉呈现的情况下校正用于触觉呈现的触觉信号。在另一示例中,除了触觉呈现之外,还可以执行通过基于听觉感知的刺激(信号)的音频呈现。
因此,在要同时执行不仅包括触觉呈现而且包括音频呈现的两个或更多个不同类别的呈现时,可以根据另一呈现控制一个呈现,以便获得预期的组合感知效果。
在一个这样的具体示例中,可以同时执行通过振动刺激的触觉呈现和通过基于音频信号的声音(音频)的音频呈现。
即,人具有这样的感知特性以使得在同时给予通过具有预定频率特性的振动刺激的触觉呈现和通过具有与振动刺激的频率特性基本相同的频率特性的声音的音频呈现两者的情况下,如果所呈现的声音的响度处于预定水平或更高,则人具有比实际强度更强烈地感知振动刺激的错觉感。
相反,人还具有这样的感知特性以使得在同时给予通过具有预定频率特性的振动刺激的触觉呈现和通过具有与振动刺激的频率特性基本相同的频率特性的声音的音频呈现两者的情况下,如果所呈现的声音的响度处于预定水平或更低,则人具有比实际强度更弱地感知振动刺激的错觉感。
因此,可以针对不同频率特性中的每一个保持指示用于音频呈现的声音的水平和相对于声音的水平的振动刺激的振动强度的校正量两者的数据,该数据与关于声音的感知特性有关。然后,该数据可以用作用于校正振动刺激的触觉信号的基础。
在这样的情况下,获得一方面用于通过振动刺激的触觉呈现的触觉信号的频率特性与另一方面用于通过声音的音频呈现的音频信号的频率特性之间的相似度,这两个呈现是同时执行的。在由此获得的相似度等于或高于预定值并且用于音频呈现的声音的响度等于或高于预定阈值th1或者等于或低于另一预定阈值th2的情况下,基于与相对于声音的感知特性有关的数据来校正振动强度(幅度)。
例如,在用于音频呈现的声音的响度等于或高于阈值th1的情况下,校正触觉信号的幅度,以使得响度越高,则使触觉信号的振动强度越低。另一方面,在用于音频呈现的声音的响度等于或低于阈值th2的情况下,校正触觉信号的幅度,以使得响度越低,则使触觉信号的振动强度越高。
更具体地,针对触觉信号的不同振动频率分量中的每一个来校正触觉信号的振动强度。应当注意,阈值th1和th2可以是相同的值或不同的值。
<用于触觉呈现的数据>
存在保持用于触觉呈现和音频呈现的数据的各种方法。可以设想一种这样的方法涉及将触觉信号和音频信号保持为内容数据。
例如,执行旨在产生预期感知效果的呈现所需要的数据集被称为内容数据,预期感知效果诸如是在与诸如铁的硬质材料接触时的触觉呈现和音频呈现的效果。
假设内容数据由一个或更多个库数据集构成。假设库数据是执行旨在产生诸如针对触觉呈现和音频呈现的感知效果的预期感知效果的呈现所需要的数据集。
具体地,可以假设两个库数据集构成用于执行被设计为产生给出与硬质材料接触的感觉的感知效果的触觉呈现的内容数据。
这里,假设一个库数据集是用于产生预定感知效果EF1的数据,并且假设另一库数据集是产生不同于感知效果EF1的感知效果EF2的数据。在该情况下,基于这两个库数据集执行触觉呈现产生将感知效果EF1和感知效果EF2合并的组合感知效果。该组合感知效果是给出与硬质材料接触的感觉的效果。然而,应当注意,感知效果EF1和EF2各自也构成给出与硬质材料接触的感觉的效果。
库数据包括用于实现预定触觉呈现的触觉数据和用于实现预定音频呈现的音频数据。
触觉数据包括:具有不同振动频率下的时间波形的振动数据,其用于使用振动刺激来执行触觉呈现;具有时间波形的温度数据,其用于使用温度刺激来执行触觉呈现;以及例如力数据的时间序列数据,其用于使用动觉刺激进行触觉呈现。音频数据是用于使用声音执行触觉呈现的具有时间波形的声音的数据。例如,用于执行通过振动刺激的触觉呈现的、预定振动频率下的一个振动数据集构成具有时间波形的信号,例如由图8中的曲线L61或L62所示的信号。
在上述示例中,已经陈述了触觉数据构成时间波形数据,即数字信号。替选地,触觉数据可以是任何数据,只要该数据提供触觉信号即可。例如,作为触觉数据的振动数据可以构成表示呈现时间、振动强度和振动频率的数据。
作为另一示例,预先准备多个库数据集允许内容数据构建者组合期望的库数据集,以便将多个感知效果合并为预期的感知效果。
在再现内容数据时,针对不同类别中的每一个并且针对不同振动频率中的每一个,组合在关注的内容数据中找到的一个或多个库数据集中包括的触觉数据和音频数据。这生成要提供给触觉呈现设备的触觉信号和要发送到提供音频呈现的音频呈现设备的音频信号。
同样,在同时再现多个内容数据集时,针对不同类别中的每一个并且针对不同振动频率中的每一个,组合在内容数据的库数据中包括的触觉数据和音频数据以生成最终触觉信号和音频信号。
具体地,在组合触觉数据集时,该组合发生在诸如图6中所描绘的感知强度的区域的感知强度的区域中。所获得的感知强度被映射至振动强度。以使触觉数据成为其振动强度等于从映射获得的振动强度的触觉信号的方式调整触觉数据的幅度(即,振动强度)。
在组合触觉数据集使得在比尚未组合的触觉数据集的单独呈现时间更长的呈现时间中的触觉呈现的情况下,例如,如上文参照图8所说明的那样,基于相对于呈现时间的感知特性来调整触觉数据的振动强度。
作为另一示例,在组合作为触觉数据的多个温度数据集的情况下,将用户基于这些温度数据集而感知的平均温度值视为基于最终获得的触觉信号的温度刺激的温度。
作为另外的示例,在将多个力数据集组合为触觉数据的情况下,获得用户基于这些力数据集而感知到的力的矢量的平均值。将由平均矢量指示的力视为基于最终获得的触觉信号的动觉刺激的力。
即,在组合触觉数据集时,通过组合振动的感知强度、实际感知的温度和力水平、以及关于感知水平的其他因素来生成触觉信号。
此外,在同时执行不同类别的呈现的特定组合、例如通过振动刺激的触觉呈现和通过温度刺激的触觉呈现的组合或者通过振动刺激的触觉呈现和通过声音的触觉呈现的组合的情况下,如上面参照图9所说明的那样,基于关于感知特性的数据来校正触觉信号。
作为另一示例,可以向每个库数据集提供表示触觉数据和音频数据的幅度的参数。然后,用户可以指定每个参数的值以便调整振动强度、温度、力和声音的水平以及呈现时间。
<信息处理装置的典型配置>
下面说明上述技术应用于信息处理装置的实施方式。图10是描绘应用本技术的信息处理装置的典型配置的图。
图10中所描绘的信息处理装置11例如对应于图1中所示的背心型(夹克型)触觉机器HM 11。应当注意,信息处理装置11不限于触觉机器HM 11。显然,信息处理装置11可以是包括诸如头戴式显示器的可穿戴设备、诸如智能电话和平板电脑的移动终端、游戏控制器、带式或腕带式触觉机器以及诸如游戏控制台的便携式设备的其他合适的设备或装置中的任何一个。
信息处理装置11包括触觉呈现部21、音频呈现部22、信号处理部23、存储部24、内容处理部25、输入部26、显示部27和通信部28。从触觉呈现部21至通信部28的这些部件块经由总线29互连。从触觉呈现部21至通信部28的块中的一些块可以通过不同于总线29的专用信号线互连。
触觉呈现部21向持有或佩戴信息处理装置11的用户提供使用振动刺激或温度刺激的触觉呈现。
触觉呈现部21包括振动呈现部41、温度呈现部42、电刺激呈现部43和动觉呈现部44。
振动呈现部41包括例如压电元件致动器、压电致动器、LRA(线性谐振致动器)、音圈电机或偏心电机。振动呈现部41在经由总线29被提供有来自信号处理部23的触觉信号时振动,从而对用户执行通过振动刺激的触觉呈现,即振动呈现。
温度呈现部42包括例如珀耳帖元件(Peltier element)。温度呈现部42由经由总线29从信号处理部23提供的触觉信号驱动,从而对用户执行通过温度刺激的触觉呈现,即温度呈现。
电刺激呈现部43例如包括电极片(electrode pad)。电刺激呈现部43在经由总线29被提供有从信号处理部23提供的触觉信号时生成电流,从而对用户执行通过电刺激的触觉呈现。
动觉呈现部44例如包括电极片。动觉呈现部44由经由总线29从信号处理部23提供的触觉信号来驱动,从而以通过磁力引起触觉效果的方式来刺激用户。这为用户提供基于动觉刺激的触觉呈现。
从振动呈现部41至动觉呈现部44的各个部是使用振动刺激和温度刺激等来执行触觉呈现的触觉呈现设备。
在上述示例中,已经陈述了仅有一个振动呈现部41。替选地,可以设置有两个或更多个振动呈现部41。同样,也可以以多个的数目设置从温度呈现部42至动觉呈现部44的各个部中的每一个。此外,触觉呈现部21可以配备有由使用痛觉刺激执行触觉呈现的触觉呈现设备构成的痛觉刺激部。
音频呈现部22包括例如扬声器。音频呈现部22在经由总线29被提供有来自信号处理部23的音频信号时输出声音,从而对用户执行音频呈现。音频呈现部22可以可选地以多个的数目来设置。
信号处理部23基于经由总线29从内容处理部25提供的触觉数据和音频数据生成触觉信号和音频信号。信号处理部23将由此获得的触觉信号和音频信号输出到总线29上。输出到总线29上的触觉信号被提供给振动呈现部41、温度呈现部42、电刺激呈现部43和动觉呈现部44。输出到总线29上的音频信号被发送到音频呈现部22。
信号处理部23将触觉信号和音频信号提供给触觉呈现部21和音频呈现部22以驱动这两个部,即控制这些部的驱动。在该意义上,触觉信号和音频信号可以被视为用于控制触觉呈现部21和音频呈现部22的信号。
在生成触觉信号的定时处,例如,信号处理部23可以根据需要如参照图6所说明的那样组合感知强度,如参照图8所说明的那样调整振动强度,以及如参照图9所说明的那样基于关于感知特性的数据来校正触觉信号。
此外,信号处理部23根据从输入部26提供的指令执行其他处理,例如向显示部27提供预定图像以用于显示的处理。
存储部24例如包括非易失性存储器。存储部24存储内容数据和感知特性数据作为关于各种感知特性的数据。
例如,存储部24存储如图6所描绘的指示在不同振动频率下的振动强度的数据、如图8所示的指示不同振动频率下的相对于呈现时间的触觉强度的数据、以及如图9所示的指示不同频率下的相对于温度的校正量的数据,所存储的数据是针对用户的不同年龄中的每一个和不同身体部位中的每一个的关于触觉的感知特性数据。
例如,内容处理部25响应于从输入部26提供的指令而经由总线29从存储部24读出内容数据。内容处理部25然后经由总线29将在所检索的内容数据中包括的触觉数据和音频数据提供给信号处理部23。
输入部26包括例如按钮、开关和/或触摸面板。输入部26经由总线29向内容处理部25和信号处理部23提供反映用户操作的信号,即从用户输入的指令。
显示部27包括例如液晶显示面板或有机EL(电致发光)面板。显示部27显示经由总线29从信号处理部23提供的图像。通信部28通过线或以无线方式与外部服务器或其他信息处理装置进行通信。通过这样做,通信部28将来自信号处理部23的数据传送到外部,或者将从外部接收到的数据提供给信号处理部23。
优选地,该配置的一些部件、例如输入部26、显示部27和通信部28可以不被包括在信息处理装置11中。
<对呈现处理的说明>
接下来说明信息处理装置11的操作。
即,下面参照图11的流程图说明由信息处理装置11执行的呈现处理。在指示内容处理部25再现指定的一个或多个内容数据集时执行呈现处理。
在步骤S11中,内容处理部25经由总线29从存储部24读取被指定要再现的内容数据,将所检索的内容数据提供给信号处理部23,以及指示信号处理部23再现所指定的内容数据集。此时,内容处理部25还向信号处理部23提供在每个内容数据集中包括的库数据的呈现定时。
在步骤S12中,信号处理部23确定是否存在被指定要再现的内容数据中包括的并且它们的呈现定时彼此交叠的触觉数据和音频数据的任何特定组合。
例如,在涉及通过相同振动频率下的振动刺激的两个触觉数据集的触觉呈现的时间段至少部分地彼此交叠的情况下,或者在通过振动刺激的触觉呈现的时间段和通过温度刺激的触觉呈现的时间段至少部分地彼此交叠的情况下,确定存在呈现定时彼此交叠的数据集。
在步骤S12中确定不存在呈现定时彼此交叠的数据集的情况下,控制转到步骤S13。
在步骤S13中,信号处理部23执行产生反映内容数据的效果的呈现。
即,信号处理部23基于从内容处理部25提供的内容数据中包括的触觉数据和音频数据来生成触觉信号和音频信号。
例如,信号处理部23将作为触觉数据的不同振动频率下的振动数据相加,并且使用所得到的一个振动数据集作为用于通过振动刺激的触觉呈现的触觉信号。此时,不存在呈现定时彼此交叠的信号,使得不执行参照图6说明的感知强度的组合或参照图8和图9说明的触觉信号的校正(调整)。
在生成触觉信号和音频信号之后,信号处理部23将所生成的不同类别中的每一个的触觉信号提供给对应于各个类别的振动呈现部41、温度呈现部42、电刺激呈现部43和动觉呈现部44。同时,信号处理部23将所生成的音频信号提供给音频呈现部22。
振动呈现部41、温度呈现部42、电刺激呈现部43和动觉呈现部44在被提供有触觉信号时基于所提供的触觉信号来执行触觉呈现。同样,音频呈现部22在被提供有音频信号时基于所提供的音频信号执行音频呈现。
在以该方式执行触觉呈现和音频呈现之后,终止呈现处理。
另一方面,在步骤S12中确定存在呈现定时彼此交叠的数据集的情况下,控制转到步骤S14。在随后的步骤S14至S16中,信号处理部23以反映呈现时段彼此交叠的两个或更多个呈现是否属于相同类别的方式生成触觉信号和/或音频信号。然后基于由此生成的信号执行呈现。
在步骤S14中,信号处理部23确定呈现定时彼此交叠的数据集是否属于相同类别。
在步骤S14中,例如在涉及相同振动频率下的振动刺激的两个触觉数据集的呈现定时彼此交叠的情况下,确定数据集属于相同类别。
在步骤S14中确定数据集属于相同类别的情况下,到达步骤S15。在步骤S15中,信息处理装置11执行相同类别组合处理。信息处理装置11通过组合属于相同类别并且呈现定时彼此交叠的数据集来生成信号,并且相应地执行呈现。在完成相同类别组合处理时,终止呈现处理。稍后将详细讨论相同类别组合处理。
另一方面,在步骤S14中确定呈现定时彼此交叠的数据集不属于相同类别的情况下,控制转到步骤S16。在该情况下,呈现定时彼此交叠的数据集由不同类别的触觉数据构成或者由触觉数据和音频数据构成。
在步骤S16中,信息处理装置11执行强度调整处理以调整呈现定时彼此交叠的数据集中至少之一的强度。然后,信息处理装置11基于根据调整最终获得的触觉信号和音频信号来执行触觉呈现和音频呈现。在完成强度调整处理时,终止呈现处理。稍后将详细讨论强度调整处理。
以上述方式,信息处理装置11再现所指定的内容数据,并且从而执行触觉呈现和音频呈现。
<相同类别组合处理的说明>
下面参照图12的流程图说明与图11中步骤S15的处理对应的相同类别组合处理。为了具体地进行说明,下面说明的示例涉及呈现定时彼此交叠的、作为触觉数据的两个振动数据集。
在步骤S41中,信号处理部23从自内容处理部25提供的内容数据(库数据)中获取(提取)不同振动频率下的具有交叠的呈现定时的、作为触觉数据的振动数据集。
在一个振动数据集包括多个频率分量的情况下,信号处理部23对振动数据执行诸如频率转换的因数分解(factorization),以便从振动数据中提取关于不同频率分量中的每一个的数据。
在步骤S42中,信号处理部23从存储部24获取例如针对在步骤S41中获得的振动数据的振动频率的、如图6所描绘的指示相对于振动强度的感知强度的感知特性数据。感知特性数据指示在通过振动刺激(触觉)的触觉呈现时的振动刺激的振动强度、即一方面的触觉呈现的强度、与另一方面的用户的感知强度之间的关系。
例如,在可以通过从输入部26提供的信号来识别用户的年龄和与通过振动刺激的触觉呈现的呈现位置对应的用户的身体部位的情况下,信号处理部23针对不同的振动频率中的每一个获取指示相对于振动强度的感知强度的感知特性数据,该数据是针对所识别的用户的年龄和身体部位中的每一个而准备的。
在步骤S43中,信号处理部23在不同的振动频率中的每一个下将由在步骤S41中获取的每个振动数据(触觉数据)集指示的振动强度映射(转换)至感知强度。
在步骤S44中,信号处理部23组合在步骤S43中从不同振动频率下的不同振动数据集获得的感知强度。例如,通过将由此获得的感知强度相加来获得单个感知强度。即,将感知强度之和视为组合感知强度。
在步骤S45中,信号处理部23基于在步骤S42中获取的感知特性数据,在每个振动频率下将在步骤S44中获得的组合感知强度映射(转换)至振动强度,从而生成振动数据。即,将通过映射获得的振动强度的信号视为通过组合获取的最终振动数据(触觉数据)。这是获得用于以诸如使得组合感知强度被感知的强度执行触觉呈现的振动数据的方式。
更具体地,上述从步骤S41至步骤S45的处理仅在两个振动数据集的呈现定时彼此交叠的区段中发生。在步骤S41至S45中,例如,执行参照图6描述的处理以获得在不同振动频率中的每一个下的触觉数据以用于产生预期的组合感知效果。
在步骤S46中,信号处理部23确定在所有振动频率下是否存在基于振动数据的振动刺激的呈现时间被延长的任何数据。
例如,在相同振动频率下的两个振动数据集的呈现时段彼此部分或全部交叠的情况下,诸如在以时间上连续的方式再现相同振动频率下的两个振动数据集的情况下,确定呈现时间被延长。
在步骤S46中确定不存在呈现时间被延长的数据的情况下,不执行步骤S47中的处理。然后控制转到步骤S48。
另一方面,在步骤S46中确定存在呈现时间被延长的数据的情况下,信号处理部23针对呈现时间被延长的振动频率,例如从存储部24获取如图8所描绘的指示相对于呈现时间的感知强度的感知特性数据。然后控制转到步骤S47。所获取的感知特性数据构成指示一方面在执行通过振动刺激的触觉呈现时的呈现时间与另一方面用户的感知强度之间的关系的数据。
例如,在可以通过从输入部26提供的信号来识别用户的年龄和与通过振动刺激的触觉呈现的呈现位置对应的用户的身体部位的情况下,信号处理部23针对呈现时间被延长的不同振动频率中的每一个,获取针对所识别的用户的年龄和身体部位中的每一个而准备的、指示相对于呈现时间的感知强度的感知特性数据。
在步骤S47中,信号处理部23基于从存储部24获取的指示相对于呈现时间的感知强度的感知特性数据,调整具有呈现时间被延长的振动频率的振动数据的振动强度。
这里,例如,如参照图8所说明的,根据呈现时间调整(校正)振动数据的不同时钟时间中的每一个处的振动强度。
顺便提及,步骤S47的处理可以在从步骤S43至步骤S45的处理之前或之后执行。更具体地,在以时间上连续的方式再现相同振动频率下的两个振动数据集的情况下,不执行步骤S42至S45的处理,而仅执行步骤S47的处理。
在执行了步骤S47的处理的情况下,或者在步骤S46中确定不存在呈现时间被延长的数据的情况下,到达步骤S48并且执行其处理。
在步骤S48中,信号处理部23组合所有振动频率下的振动数据集,振动数据集包括在步骤S45中获得的不同振动频率中的每一个下的振动数据和在步骤S47中振动强度被调整的振动数据。通过这样做,信号处理部23生成用于包括这些振动频率分量的振动刺激的触觉信号。上述处理提供了用于产生预期的组合感知效果的触觉信号。
注意,步骤S48组合包括在呈现定时彼此不交叠的振动频率下的振动数据集的、内容数据中包括的所有振动频率下的振动数据集。
在步骤S49中,信号处理部23将在步骤S48的处理中获得的触觉信号提供给振动呈现部41以便执行触觉呈现。即,振动呈现部41通过基于从信号处理部23提供的触觉信号进行振动来执行通过振动刺激的触觉呈现。
此外,在存在从内容处理部25提供的内容数据中包括的其他触觉数据、例如除了振动数据之外的温度数据和力数据时,信号处理部23根据其他触觉数据生成触觉信号。信号处理部23将由此生成的触觉信号发送到温度呈现部42、电刺激呈现部43和动觉呈现部44,以使这些部执行触觉呈现。
此外,在在从内容处理部25提供的内容数据中包括音频数据的情况下,信号处理部23基于音频数据生成音频信号,并且将所生成的音频信号提供给音频呈现部22以用于音频呈现。
在如上所述的那样执行触觉呈现和音频呈现之后,终止相同类别组合处理。这完成图11中的步骤S15的处理,这使图11中的呈现处理结束。
在上述情况下,已经陈述了呈现定时彼此交叠的触觉数据集是振动数据。然而,在呈现定时彼此交叠的触觉数据集是温度数据或用于电刺激的电刺激数据的情况下,或者在存在呈现定时彼此交叠的三个或更多个触觉数据集的情况下,也仅需要执行与参照图12说明的相同类别组合处理类似的处理。
以上述方式,在存在呈现定时彼此交叠的相同类别的触觉数据集时,将触觉数据集中的每一个的振动强度转换为感知强度。将这些感知强度组合成感知强度。进一步将所得到的感知强度转换成根据其生成触觉信号的振动强度。此外,在呈现时间被延长的情况下,信息处理装置11根据感知特性(敏感度特性)调整振动强度。
以该方式,即使在同时执行多个触觉呈现的情况下或者在多个触觉呈现的呈现时段彼此交叠从而延长呈现时间的情况下,也考虑感知特性而适当地执行呈现控制。这使得可以产生如最初预期的感知效果。
<强度调整处理的说明>
下面参照图13的流程图,说明与图11中的步骤S16的处理对应的强度调整处理。为了具体地进行说明,下面说明的示例涉及呈现定时彼此交叠的两个数据集,两个数据集中之一是构成触觉数据的振动数据。
在步骤S81中,在给定呈现定时彼此交叠的振动数据集的振动频率的情况下,信号处理部23从存储部24获取下述感知特性数据,该感知特性数据指示一方面的基于呈现定时与振动数据的呈现定时交叠的其他数据的刺激与另一方面的振动刺激之间的感知特性关系。
例如,在基于预定振动频率的振动数据的振动刺激的呈现定时与基于温度数据的温度刺激的呈现定时交叠的情况下,所获取的是图9中所描绘的指示在不同振动频率中的每一个下相对于温度的振动数据的校正量的感知特性数据。
此时,例如,在可以通过从输入部26提供的信号来识别用户的年龄和与通过振动刺激的触觉呈现的呈现位置对应的用户的身体部位的情况下,信号处理部23针对不同的振动频率中的每一个,获取针对所识别的用户的年龄和身体部位中的每一个而准备的感知特性数据。
在步骤S82中,信号处理部23针对不同的振动频率中的每一个,调整(校正)振动数据集在其呈现定时彼此交叠的区段中的振动强度,从而生成触觉信号。
例如,在呈现定时彼此交叠的数据集是振动数据和温度数据的情况下,信号处理部23基于图9所描绘的感知特性数据,将振动数据的振动强度校正针对由温度数据指示的温度指定的校正量。
此外,信号处理部23组合包括振动强度已被校正的振动数据集的、从内容处理部25提供的内容数据中包括的所有振动频率下的振动数据集,从而生成包括这些振动频率分量的用于振动刺激的触觉信号。上述处理提供了用于产生预期的组合感知效果的触觉信号。
上述示例涉及使用指示相对于温度的振动数据的校正量的感知特性数据以用于校正振动数据。替选地,用于振动数据校正的感知特性数据可以是任何类型,例如指示相对于温度的振动刺激的感知强度的感知特性数据,即,指示一方面的同时执行的通过振动刺激的触觉呈现和通过温度刺激的触觉呈现两者的强度(温度)与另一方面的振动刺激的感知强度之间的关系的任何感知特性数据。例如,在使用指示相对于温度的振动刺激的感知强度的感知特性数据的情况下,基于指示相对于温度的振动刺激的感知强度的感知特性数据来获得振动数据的校正量。然后,将振动数据的振动强度校正该校正量。
此外,在上述示例中,已经陈述了呈现定时彼此交叠的数据集是振动数据和温度数据。然而,在呈现定时彼此交叠的数据集是振动数据和音频数据的情况下,也执行类似的处理。即,在呈现定时彼此交叠的数据集是包括振动数据、温度数据、音频数据、电刺激数据和力数据的数据类型中的任意两者的组合的情况下,执行类似的处理。
例如,在呈现定时彼此交叠的数据集是振动数据和音频数据的情况下,指示用于上述音频呈现的声音的水平和相对于该声音水平的振动刺激的振动强度的校正量的数据集被读出作为感知特性数据。在用于音频呈现的声音的响度等于或高于阈值th1或者等于或低于阈值th2的情况下,基于感知特性数据来校正振动数据的振动强度。
在步骤S83中,信号处理部23将在步骤S82的处理中获得的触觉信号提供给振动呈现部41以用于执行触觉呈现。即,振动呈现部41基于从信号处理部23提供的触觉信号来进行振动,从而执行通过振动刺激的触觉呈现。
此外,在存在诸如在从内容处理部25提供的内容数据中包括的温度数据和力数据的、除了振动数据之外的不同的触觉数据集时,信号处理部23根据这些触觉数据集生成触觉信号,并且将所生成的信号提供给温度呈现部42、电刺激呈现部43和动觉呈现部44以用于执行触觉呈现。
此外,在从内容处理部25提供的内容数据中包括音频数据的情况下,信号处理部23基于音频数据生成音频信号,并且将所生成的音频信号提供给音频呈现部22以用于执行音频呈现。
在如上所述的那样执行触觉呈现和音频呈现之后,终止强度调整处理。这完成图11中的步骤S16的处理,这使图11的呈现处理结束。
以上述方式,在存在呈现定时彼此交叠的振动数据以及类别与振动数据的类别不同的触觉数据或音频数据的集合时,信息处理装置11基于感知特性数据来校正振动数据的振动强度。
以该方式,即使在同时执行多个呈现的情况下,也考虑感知特性而适当地执行呈现控制。这使得可以产生如最初预期的感知效果。
在通过振动刺激的触觉呈现的呈现定时与通过温度刺激的触觉呈现的呈现定时交叠时,强度调整处理可以被布置成考虑振动呈现部41的热量生成而基于温度数据来调整(校正)温度。
在这样的情况下,例如可以将温度传感器附接至振动呈现部41的位置,温度传感器用于测量振动呈现部41的温度。信号处理部23基于来自温度传感器的温度测量结果调整由温度数据给出的温度,即调整温度数据的大小。
利用上述示例,已经具体说明了触觉呈现的呈现位置与触觉呈现设备的放置位置一致。然而,即使在使用多个触觉呈现设备以使得对与这些设备的位置不同的呈现位置进行触觉呈现的情况下,或者在触觉呈现的呈现位置随时间而移动的情况下,仍然可以以与呈现位置与触觉呈现设备的放置位置一致的情况的方式类似的方式来执行处理。这也使得可以实现适当的呈现控制。
在其他情况下,例如在本技术应用于用于设计触觉信号的触觉创作工具(hapticauthoring tool)的情况下,可以在以下两种模式之间进行切换,在一种模式下表达人的感知特性和感知位置,而在另一种模式下显示要直接输入到触觉呈现设备的工程控制信息。
在上述情况下,在针对触觉创作工具选择了其中表达人的感知特性和感觉位置的模式时,执行上述呈现处理。
另一方面,在选择了其中显示要直接输入到触觉呈现设备的工程控制信息的模式时并且在组合触觉数据集时,例如,在不考虑感知特性的情况下简单地将这些触觉数据集相加,以提供最终的触觉数据。即,在振动数据集被组合为要同时呈现的触觉数据时,将它们的振动强度相加。将具有由此通过相加而获得的振动强度的振动数据视为最终振动数据。
在组合触觉数据集时,存在如下可能性:可能对用户产生一些危险,例如由组合触觉数据带来的过大刺激,或者组合触觉数据可能导致触觉呈现设备故障。在这样的情况下,信号处理部23可以进行布置以抑制触觉数据的组合或者限制(改变)组合触觉数据的幅度以便确保安全。
在该情况下,信号处理部23还可以向显示部27提供表示存在危险或故障的可能性的消息或者表示禁止组合这样的触觉数据集的消息,该消息被显示在GUI(图形用户接口)部分上。
此外,为了防止低温或高温灼伤,例如,信号处理部23可以在考虑触觉呈现的连续呈现时间的情况下连续地确定触觉数据的幅度是否落入安全确保范围内。信号处理部23可以根据确定的结果生成触觉信号。
<第一实施方式的第一变型>
<信息处理***的典型配置>
在前述段落中,已经说明了信息处理装置11设置有用于执行触觉呈现和音频呈现的所有功能。然而,多个装置可以彼此协同操作以执行触觉呈现和音频呈现。
在该情况下,例如,如图14所示的那样配置用于执行触觉呈现和音频呈现的信息处理***。在图14的示例中,信息处理***包括触觉呈现装置71、内容处理装置72和信号处理装置73。
在该示例中,从触觉呈现装置71至信号处理装置73的***构件彼此经由有线或无线通信网络进行通信以在其间交换各种类型的数据。用于装置之间的通信的通信方法可以是任何合适的方法。
触觉呈现装置71包括例如图10中所描绘的触觉呈现部21、音频呈现部22和通信部28。触觉呈现装置71基于从信号处理装置73接收到的触觉信号和音频信号执行触觉呈现和音频呈现。在该情况下,触觉呈现装置71对应于例如图1中所描绘的触觉机器HM 11的背心(夹克)部分。
顺便提及,触觉呈现装置71仅需要设置有至少用于执行通过振动刺激的触觉呈现的振动呈现部41以及通信部28。包括温度呈现部42、电刺激呈现部43、动觉呈现部44和音频呈现部22的任何其他部可以被设置在与触觉呈现装置71分开的一个或多个装置中。
内容处理装置72例如可以通过个人计算机、智能电话、平板电脑或服务器来配置。内容处理装置72包括例如图10中所描绘的存储部24和内容处理部25。内容处理装置72将在存储部24中存储的内容数据和感知特性数据传送到信号处理装置73。
信号处理装置73例如通过个人计算机、智能电话、平板电脑或服务器来配置。信号处理装置73包括例如图10中所描绘的信号处理部23。信号处理装置73基于从内容处理装置72接收的内容数据和感知特性数据生成触觉信号和音频信号。信号处理装置73将所生成的触觉信号和音频信号传送到触觉呈现装置71。内容处理装置72和信号处理装置73可以被配置在单个装置内。在该情况下,其中配置有内容处理装置72和信号处理装置73的装置控制通过线或以无线方式连接的诸如夹克型机器的触觉呈现装置71的操作,使得触觉呈现装置71执行触觉呈现和音频呈现。
<触觉机器的其他典型外部配置>
此外,如上面所讨论的,与信息处理装置11对应的触觉机器可以是任何类型,只要其对用户执行触觉呈现即可。例如,信息处理装置11可以是如图15所示的佩戴在用户腰部周围的带式触觉机器HM 21。
图15中的触觉机器HM 21是佩戴在用户腰部周围的带式设备。构成触觉机器HM 21的带的环带部分配备有以近似相等的间隔布置的触觉呈现设备HD 31-1至HD 31-6以与佩戴触觉机器HM 21的用户腰部的不同部位接触。
触觉呈现设备HD 31-1至HD 31-6各自由例如压电元件致动器构成。这些设备通过基于所提供的触觉信号进行振动来对用户执行通过振动刺激的触觉呈现。
例如,由触觉机器HM 21执行的触觉呈现向用户呈现找到目标对象的方向和至该对象的距离。
作为另一示例,与信息处理装置11对应的触觉机器可以是图16中所示的腕带式触觉机器HM 31。
在图16的示例中,触觉机器HM 31佩戴在用户手腕附近的手臂部分周围。
触觉机器HM 31是腕带式设备,其具有通过触觉呈现向用户呈现找到目标对象的方向和至该目标对象的距离的功能。
触觉机器HM 31配备有触觉呈现设备HD 41-1至HD 41-4,其通过振动对用户手腕附近的手臂部分执行触觉呈现。
触觉呈现设备HD 41-1至HD 41-4各自由例如压电元件致动器构成。这些设备通过基于所提供的触觉信号进行振动来对用户执行通过振动刺激的触觉呈现。
作为另外的示例,与信息处理装置11对应的触觉机器可以是诸如图17中所示的游戏设备的便携式设备。
在图17中的示例中,触觉机器HM 41是在由用户的手握持的情况下进行操作的便携式设备。例如,用户用双手握持触觉机器HM 41的两个边缘,并且在观看呈现在诸如液晶显示面板的显示部DP 11上的图像的同时,通过操作触觉机器HM 41上的按钮来玩游戏。
触觉机器HM 41内的边缘部分设置有触觉呈现设备HD 51和HD 52以用于根据呈现在显示部DP 11上的图像中发生的事件对用户执行触觉呈现。
触觉呈现设备HD 51和HD 52各自由例如压电元件致动器构成。这些设备通过基于所提供的触觉信号进行振动来对用户执行通过振动刺激的触觉呈现。替选地,图15至图17的示例中的触觉呈现设备显然可以通过用于使用与振动刺激的类别不同的类别的刺激来执行触觉呈现的其他触觉呈现设备来代替。
<计算机的典型配置>
上述一系列处理可以通过硬件或软件中任一者来执行。在要通过软件执行这一系列处理的情况下,将构成软件的程序安装到适当的计算机中。计算机的变型包括具有预先安装在其专用硬件中的软件的计算机,以及能够基于安装在其中的程序执行各种功能的通用个人计算机或类似设备。
图18是描绘使用程序执行上述一系列处理的计算机的典型硬件配置的框图。
在计算机中,CPU(中央处理单元)501、ROM(只读存储器)502和RAM(随机存取存储器)503经由总线504互连。
总线504还与输入/输出接口505连接。输入/输出接口505与输入部506、输出部507、存储部508、通信部509和驱动器510连接。
输入部506典型地包括键盘、鼠标、麦克风和成像元件。输出部507例如由触觉呈现设备、显示器和扬声器形成。存储部508通常包括硬盘和非易失性存储器。通信部509典型地由网络接口构成。驱动器510驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除记录介质511。
在如上所述的那样配置的计算机中,CPU 501通过经由输入/输出接口505和总线504将适当的程序从存储部508加载到RAM 503中并且执行所加载的程序,来执行上述一系列处理。
例如,要由计算机(即,CPU 501)执行的程序可以在存储在构成封装介质的可移除记录介质511上的情况下被提供。程序也可以通过例如局域网、因特网或数字卫星广播的有线或无线通信介质来提供。
在承载相关程序的适当的可移除记录介质511附接到驱动器510时,通过输入/输出接口505将程序从附接的介质安装到存储部508中。替选地,该程序可以在被安装到存储部508之前由通信设备509通过有线或无线传输介质接收。作为另一替选,程序可以被预安装在ROM 502或存储部508中。
此外,要由计算机执行的每个程序可以以本说明书中描绘的序列按时间顺序进行处理、与其他程序并行地进行处理或者以其他适当定时的方式(例如在根据需要被调用时)进行处理。
本发明不限于上面讨论的实施方式,并且在不脱离本技术的精神和范围的情况下,还可以以各种变型来实现。
例如,本技术可以被实现为其中由多个联网装置在共享的基础上协作地处理单个功能的云计算装备。
此外,参照上述流程图讨论的步骤中的每一个可以由单个装置执行或者由多个装置在共享的基础上执行。
此外,如果单个步骤包括多个处理,则可以由单个装置或由多个装置在共享的基础上执行上述多个处理。
本公开还可以优选地按以下配置来实现:
(1)一种信息处理装置,包括:
信号处理部,其被配置成使得在基于第一数据的且通过触觉的第一呈现的呈现定时与基于第二数据的且通过触觉或声音的第二呈现的呈现定时交叠的情况下,所述信号处理部基于关于触觉的感知特性数据和所述第一数据,生成用于控制至少执行所述第一呈现的触觉呈现设备的触觉信号,以使得对接收所述第一呈现和所述第二呈现两者的用户的组合感知效果变为将所述第一呈现的第一感知效果与所述第二呈现的第二感知效果合并的效果。
(2)根据(1)所述的信息处理装置,其中,所述第一呈现的呈现时段和所述第二呈现的呈现时段彼此至少部分地交叠。
(3)根据(1)或(2)所述的信息处理装置,其中,所述信号处理部根据所述第一呈现和所述第二呈现是否属于相同类别来生成所述触觉信号。
(4)根据(1)至(3)中任一项所述的信息处理装置,其中,所述第一呈现和所述第二呈现是相同类别的通过触觉的呈现。
(5)根据(4)所述的信息处理装置,其中,
所述感知特性数据是指示执行通过触觉的呈现时的呈现的强度与所述用户的感知强度之间的关系的数据,并且
所述信号处理部获得根据所述第一呈现的感知强度和根据所述第二呈现的感知强度之和作为组合感知强度,并且生成用于以使得所述组合感知强度被感知到的强度执行呈现的信号,所述信号用作用于所述第一呈现和所述第二呈现的所述触觉信号。
(6)根据(4)或(5)所述的信息处理装置,其中,
所述感知特性数据是指示执行通过触觉的呈现时的呈现时间与所述用户的感知强度之间的关系的数据,并且
所述信号处理部生成反映在执行所述第一呈现和所述第二呈现时的呈现时间的强度的信号,所述信号用作用于所述第一呈现和所述第二呈现的所述触觉信号。
(7)根据(4)至(6)中任一项所述的信息处理装置,其中,所述第一呈现和所述第二呈现是通过振动刺激的触觉呈现。
(8)根据(1)至(3)中任一项所述的信息处理装置,其中,所述第一呈现和所述第二呈现属于不同类别。
(9)根据(8)所述的信息处理装置,其中,
所述感知特性数据指示在同时执行所述第一呈现和所述第二呈现时的所述第二呈现的强度与所述第一呈现的感知强度之间的关系,并且
所述信号处理部基于所述感知特性数据校正用于所述第一呈现的所述触觉信号。
(10)根据(8)或(9)所述的信息处理装置,其中,所述第二呈现是通过触觉的呈现。
(11)根据(10)所述的信息处理装置,其中,所述第一呈现是通过振动刺激的触觉呈现,并且所述第二呈现是通过温度刺激、电刺激、动觉刺激或痛觉刺激的触觉呈现。
(12)根据(8)或(9)所述的信息处理装置,其中,所述第一呈现是通过振动刺激的触觉呈现,并且所述第二呈现是通过声音的呈现。
(13)根据(1)至(12)中任一项所述的信息处理装置,其中,
所述第一呈现是通过振动刺激的触觉呈现,并且
所述信号处理部基于在所述第一呈现的每个振动频率下的所述感知特性数据来生成所述触觉信号。
(14)一种信息处理方法,包括:
在基于第一数据的且通过触觉的第一呈现的呈现定时与基于第二数据的且通过触觉或声音的第二呈现的呈现定时交叠的情况下,基于关于触觉的感知特性数据和所述第一数据,生成用于控制至少执行所述第一呈现的触觉呈现设备的触觉信号,以使得对接收所述第一呈现和所述第二呈现两者的用户的组合感知效果变为将所述第一呈现的第一感知效果与所述第二呈现的第二感知效果合并的效果。
(15)一种程序,所述程序使计算机执行包括以下步骤的处理:
在基于第一数据的且通过触觉的第一呈现的呈现定时与基于第二数据的且通过触觉或声音的第二呈现的呈现定时交叠的情况下,基于关于所述触觉的感知特性数据和所述第一数据,生成用于控制至少执行所述第一呈现的触觉呈现设备的触觉信号,以使得对接收所述第一呈现和所述第二呈现两者的用户的组合感知效果变为将所述第一呈现的第一感知效果与所述第二呈现的第二感知效果合并的效果。
附图标记列表
11信息处理装置,21触觉呈现部,22音频呈现部,23信号处理部,25内容处理部,27显示部,28通信部

Claims (15)

1.一种信息处理装置,包括:
信号处理部,所述信号处理部被配置成使得在基于第一数据的且通过触觉的第一呈现的呈现定时与基于第二数据的且通过触觉或声音的第二呈现的呈现定时交叠的情况下,所述信号处理部基于关于触觉的感知特性数据和所述第一数据,生成用于控制至少执行所述第一呈现的触觉呈现设备的触觉信号,以使得对接收所述第一呈现和所述第二呈现两者的用户的组合感知效果变为将所述第一呈现的第一感知效果与所述第二呈现的第二感知效果合并的效果。
2.根据权利要求1所述的信息处理装置,其中,所述第一呈现的呈现时段和所述第二呈现的呈现时段彼此至少部分地交叠。
3.根据权利要求1所述的信息处理装置,其中,所述信号处理部根据所述第一呈现和所述第二呈现是否属于相同类别来生成所述触觉信号。
4.根据权利要求1所述的信息处理装置,其中,所述第一呈现和所述第二呈现是相同类别的通过触觉的呈现。
5.根据权利要求4所述的信息处理装置,其中,
所述感知特性数据是指示执行通过触觉的呈现时的呈现的强度与所述用户的感知强度之间的关系的数据,并且
所述信号处理部获得根据所述第一呈现的感知强度和根据所述第二呈现的感知强度之和作为组合感知强度,并且生成用于以使得所述组合感知强度被感知到的强度执行呈现的信号,所述信号用作用于所述第一呈现和所述第二呈现的所述触觉信号。
6.根据权利要求4所述的信息处理装置,其中,
所述感知特性数据是指示执行通过触觉的呈现时的呈现时间与所述用户的感知强度之间的关系的数据,并且
所述信号处理部生成反映在执行所述第一呈现和所述第二呈现时的呈现时间的强度的信号,所述信号用作用于所述第一呈现和所述第二呈现的所述触觉信号。
7.根据权利要求4所述的信息处理装置,其中,所述第一呈现和所述第二呈现是通过振动刺激的触觉呈现。
8.根据权利要求1所述的信息处理装置,其中,所述第一呈现和所述第二呈现属于不同类别。
9.根据权利要求8所述的信息处理装置,其中,
所述感知特性数据指示在同时执行所述第一呈现和所述第二呈现时的所述第二呈现的强度与所述第一呈现的感知强度之间的关系,并且
所述信号处理部基于所述感知特性数据校正用于所述第一呈现的所述触觉信号。
10.根据权利要求8所述的信息处理装置,其中,所述第二呈现是通过触觉的呈现。
11.根据权利要求10所述的信息处理装置,其中,所述第一呈现是通过振动刺激的触觉呈现,并且所述第二呈现是通过温度刺激、电刺激、动觉刺激或痛觉刺激的触觉呈现。
12.根据权利要求8所述的信息处理装置,其中,所述第一呈现是通过振动刺激的触觉呈现,并且所述第二呈现是通过声音的呈现。
13.根据权利要求1所述的信息处理装置,其中
所述第一呈现是通过振动刺激的触觉呈现,并且
所述信号处理部基于在所述第一呈现的每个振动频率下的所述感知特性数据来生成所述触觉信号。
14.一种信息处理方法,包括:
在基于第一数据的且通过触觉的第一呈现的呈现定时与基于第二数据的且通过触觉或声音的第二呈现的呈现定时交叠的情况下,基于关于触觉的感知特性数据和所述第一数据,生成用于控制至少执行所述第一呈现的触觉呈现设备的触觉信号,以使得对接收所述第一呈现和所述第二呈现两者的用户的组合感知效果变为将所述第一呈现的第一感知效果与所述第二呈现的第二感知效果合并的效果。
15.一种程序,所述程序使计算机执行包括以下步骤的处理:
在基于第一数据的且通过触觉的第一呈现的呈现定时与基于第二数据的且通过触觉或声音的第二呈现的呈现定时交叠的情况下,基于关于所述触觉的感知特性数据和所述第一数据,生成用于控制至少执行所述第一呈现的触觉呈现设备的触觉信号,以使得对接收所述第一呈现和所述第二呈现两者的用户的组合感知效果变为将所述第一呈现的第一感知效果与所述第二呈现的第二感知效果合并的效果。
CN201880085193.1A 2018-01-09 2018-12-26 信息处理装置、信息处理方法和程序 Active CN111566595B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-001283 2018-01-09
JP2018001283 2018-01-09
PCT/JP2018/047703 WO2019138867A1 (ja) 2018-01-09 2018-12-26 情報処理装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
CN111566595A true CN111566595A (zh) 2020-08-21
CN111566595B CN111566595B (zh) 2024-07-09

Family

ID=67219613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880085193.1A Active CN111566595B (zh) 2018-01-09 2018-12-26 信息处理装置、信息处理方法和程序

Country Status (3)

Country Link
US (1) US11120674B2 (zh)
CN (1) CN111566595B (zh)
WO (1) WO2019138867A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109783707A (zh) * 2019-01-23 2019-05-21 欧普照明股份有限公司 一种监控***的模式设置方法和装置
GB201906852D0 (en) * 2019-05-15 2019-06-26 Cambridge Mechatronics Ltd Scheduling haptic feedback
TWI785865B (zh) * 2021-10-28 2022-12-01 華碩電腦股份有限公司 具有振動功能的電子裝置以及振動驅動方法
WO2024101689A1 (ko) * 2022-11-10 2024-05-16 삼성전자주식회사 햅틱 피드백을 출력하기 위한 전자 장치 및 그 방법

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102713793A (zh) * 2009-11-17 2012-10-03 伊梅森公司 用于增加电子设备中的触觉带宽的***和方法
CN103735395A (zh) * 2014-01-20 2014-04-23 东南大学 一种具有温度觉和振动觉的穿戴装置
JP2014112357A (ja) * 2012-10-31 2014-06-19 Immersion Corp 触覚効果を用いてユーザインタフェース上で表面フィーチャをシミュレートする方法及び装置
CN105593789A (zh) * 2013-09-30 2016-05-18 Lg电子株式会社 显示装置及其控制方法
CN106255942A (zh) * 2014-05-06 2016-12-21 高通股份有限公司 用于优化触觉反馈的***和方法
US9690382B1 (en) * 2016-09-06 2017-06-27 Apple Inc. Devices, methods, and graphical user interfaces for haptic mixing
US20170220112A1 (en) * 2003-11-20 2017-08-03 National Institute Of Advanced Industrial Science And Technology Haptic information presentation system and method
US20170294086A1 (en) * 2016-04-12 2017-10-12 Andrew Kerdemelidis Haptic Communication Apparatus and Method
JP2017199372A (ja) * 2007-09-14 2017-11-02 国立研究開発法人産業技術総合研究所 情報処理装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130218456A1 (en) * 2006-02-16 2013-08-22 John S. Zelek Wearable tactile navigation system
CN106061456A (zh) * 2013-12-31 2016-10-26 伊夫徳发明未来科技有限公司 用于感官刺激和操作以及生理数据采集的可穿戴式设备、***、方法和架构
JP6527339B2 (ja) * 2015-01-27 2019-06-05 任天堂株式会社 振動信号生成プログラム、振動生成装置、振動生成システム、および振動信号生成方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170220112A1 (en) * 2003-11-20 2017-08-03 National Institute Of Advanced Industrial Science And Technology Haptic information presentation system and method
JP2017199372A (ja) * 2007-09-14 2017-11-02 国立研究開発法人産業技術総合研究所 情報処理装置
CN102713793A (zh) * 2009-11-17 2012-10-03 伊梅森公司 用于增加电子设备中的触觉带宽的***和方法
JP2014112357A (ja) * 2012-10-31 2014-06-19 Immersion Corp 触覚効果を用いてユーザインタフェース上で表面フィーチャをシミュレートする方法及び装置
CN105593789A (zh) * 2013-09-30 2016-05-18 Lg电子株式会社 显示装置及其控制方法
CN103735395A (zh) * 2014-01-20 2014-04-23 东南大学 一种具有温度觉和振动觉的穿戴装置
CN106255942A (zh) * 2014-05-06 2016-12-21 高通股份有限公司 用于优化触觉反馈的***和方法
US20170294086A1 (en) * 2016-04-12 2017-10-12 Andrew Kerdemelidis Haptic Communication Apparatus and Method
US9690382B1 (en) * 2016-09-06 2017-06-27 Apple Inc. Devices, methods, and graphical user interfaces for haptic mixing

Also Published As

Publication number Publication date
US11120674B2 (en) 2021-09-14
US20200334963A1 (en) 2020-10-22
CN111566595B (zh) 2024-07-09
WO2019138867A1 (ja) 2019-07-18

Similar Documents

Publication Publication Date Title
CN111566595B (zh) 信息处理装置、信息处理方法和程序
US11237633B2 (en) Systems and methods for haptically-enabled neural interfaces
EP2770404A2 (en) Mobile device with instinctive haptic alerts
KR20170097539A (ko) 허용 설정들을 가진 웨어러블 햅틱 효과
US11676461B2 (en) Information processing device, information processing method, and program for controlling haptics based on context information
US11809629B1 (en) Wearable electronic device for inducing transient sensory events as user feedback
WO2017168998A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20170151123A1 (en) Rehabilitation system and method
JP2023166549A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2018206368A (ja) 柔軟関節の動きの錯覚を用いたハプティック表現
WO2019171767A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP4593345B2 (ja) 電気刺激装置
WO2023280782A1 (en) Multi-pad electrode and system for providing electrotactile stimulation
DeGuglielmo et al. Haptic vibrations for hearing impaired to experience aspects of live music
WO2020100583A1 (ja) 情報処理装置、情報処理方法、および記憶媒体
KR20110074366A (ko) 가상체험 의자
US20230400923A1 (en) Wearable Electronic Device for Inducing Transient Sensory Events as User Feedback
WO2022118456A1 (ja) 触覚デバイス
Alma et al. Preliminary Study of Upper-Body Haptic Feedback Perception on Cinematic Experience
JP2023148164A (ja) 感覚提示装置
JP2023150608A (ja) 触覚音提供システム、触覚音提供プログラム、及び、触覚音提供方法
KR20240019418A (ko) 인지 능력 및 보행 능력 동시 훈련을 위한 보행 재활 방법 및 장치
CN117826996A (zh) 一种头戴设备的控制方法、装置、电子设备及头戴设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant