CN105759953A - 信息处理装置、信息处理方法以及程序 - Google Patents

信息处理装置、信息处理方法以及程序 Download PDF

Info

Publication number
CN105759953A
CN105759953A CN201511009188.7A CN201511009188A CN105759953A CN 105759953 A CN105759953 A CN 105759953A CN 201511009188 A CN201511009188 A CN 201511009188A CN 105759953 A CN105759953 A CN 105759953A
Authority
CN
China
Prior art keywords
mentioned
user
behavior
information processor
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201511009188.7A
Other languages
English (en)
Other versions
CN105759953B (zh
Inventor
松泽庄太
小形崇
大久保仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105759953A publication Critical patent/CN105759953A/zh
Application granted granted Critical
Publication of CN105759953B publication Critical patent/CN105759953B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07FCOIN-FREED OR LIKE APPARATUS
    • G07F17/00Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/32Coin-freed apparatus for hiring articles; Coin-freed facilities or services for games, toys, sports, or amusements
    • G07F17/3225Data transfer within a gaming system, e.g. data sent between gaming machines and users
    • G07F17/323Data transfer within a gaming system, e.g. data sent between gaming machines and users wherein the player is informed, e.g. advertisements, odds, instructions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • A63B69/18Training appliances or apparatus for special sports for skiing
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/54Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/67Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • A63F13/807Gliding or sliding on surfaces, e.g. using skis, skates or boards
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07FCOIN-FREED OR LIKE APPARATUS
    • G07F17/00Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/32Coin-freed apparatus for hiring articles; Coin-freed facilities or services for games, toys, sports, or amusements
    • G07F17/3286Type of games
    • G07F17/3288Betting, e.g. on live events, bookmaking
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/216Input arrangements for video game devices characterised by their sensors, purposes or types using geographical information, e.g. location of the game device or player using GPS

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Acoustics & Sound (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及信息处理装置、信息处理方法以及程序。该信息处理装置具备:信息获取部,其获取表示检测出的用户的行为的行为信息;以及内容提供部,其提供根据上述行为的时间上的或者空间上的序列展开的内容。

Description

信息处理装置、信息处理方法以及程序
技术领域
本公开涉及信息处理装置、信息处理方法以及程序。
背景技术
提出有各种例如基于由用户佩戴的传感器提供的传感器数据,来检测用户的各种行动的技术。例如,在专利文献1中记载有具有针对通过传感器数据的阈值处理识别出的用户的行动中特定的行动的多个行动判定部,并基于各个行动判定部中的判定结果生成行动信息的信息处理装置。
专利文献1:日本特开2010-198595号公报
例如对于通过专利文献1所记载的技术检测出的用户的行动(行为),并不局限于信息的生成还可能具有各种利用的方式。然而,对于那样的利用的方式,未必可以说以往充分地提出了。
发明内容
因此,在本公开中,提出能够基于用户的行为的检测结果,给用户带来各种方便的新的并且被改进的信息处理装置、信息处理方法以及程序。
根据本公开,提供一种信息处理装置,该信息处理装置具备:信息获取部,其获取表示检测出的用户的行为的行为信息;以及内容提供部,其提供根据上述行为的时间上的或者空间上的序列展开的内容。
另外,根据本公开,提供一种信息处理方法,该信息处理方法包含获取表示检测出的用户的行为的行为信息;以及处理器提供根据上述行为的时间上的或者空间上的序列展开的内容。
另外,根据本公开提供一种程序,该程序用于使计算机实现如下功能:获取表示检测出的用户的行为的行为信息的功能;以及提供根据上述行为的时间上的或者空间上的序列展开的内容的功能。
如以上说明的那样根据本公开,能够基于用户的行为的检测结果,给用户带来各种方便。
此外,上述效果并不是限定的部分,也可以与上述效果一起或者代替上述效果,起到本说明书所示的任一效果、或者能够根据本说明书把握的其它效果。
附图说明
图1是表示本公开的一实施方式的信息处理装置的简要的功能结构的框图。
图2是表示在本公开的一实施方式中用于检测用户的行为所包含的跳跃的处理的第一例的流程图。
图3是表示图2所示的高冲击检测处理的例子的流程图。
图4是表示图2所示的自由落体检测处理的第一例的流程图。
图5是表示图2所示的自由落体检测处理的第二例的流程图。
图6是表示在本公开的一实施方式中用于检测用户的行为所包含的跳跃的处理的第二例的流程图。
图7是表示图6所示的候补区间检测处理的例子的流程图。
图8是表示图7所示的铅垂方向加速度计算处理的例子的流程图。
图9是表示图7所示的水平方向加速度计算处理的例子的流程图。
图10是表示在本公开的一实施方式中用于检测用户的行为所包含的转动区间的处理的例子的流程图。
图11是表示图10所示的旋转区间检测处理的例子的流程图。
图12是表示图10所示的摇头检测处理的例子的流程图。
图13是表示图10所示的转动检测处理的例子的流程图。
图14是表示在本公开的一实施方式中用于推断传感器佩戴状态的处理的例子的框图。
图15是表示在本公开的一实施方式中用于提供虚拟的游戏路线的处理的例子的流程图。
图16是表示在本公开的一实施方式中提供的虚拟的游戏路线的第一例的图。
图17是表示在本公开的一实施方式中提供的虚拟的游戏路线的第二例的图。
图18是表示在本公开的一实施方式中提供的虚拟的游戏路线的第二例的图。
图19是表示在本公开的一实施方式中提供的虚拟的游戏路线的第三例的图。
图20是表示在本公开的一实施方式中提供的虚拟的游戏路线的第四例的图。
图21是表示在本公开的一实施方式中提供的虚拟的游戏路线的第四例的图。
图22是表示在本公开的一实施方式中提供的乐曲节奏游戏的例子的图。
图23是表示本公开的实施方式的信息处理装置的硬件结构例的框图。
具体实施方式
以下参照附图,对本公开的优选的实施方式进行详细说明。此外,在本说明书以及附图中,对于具有实质相同的功能结构的结构要素标注相同的符号,由此省略重复说明。
此外,说明按照以下的顺序来进行。
1.信息处理装置的功能结构
2.行为检测处理的例子
2-1.跳跃的检测-1
2-2.跳跃的检测-2
2-3.转动的检测
3.附加的处理的例子
3-1.行为得分的计算
3-2.聚类处理
3-3.传感器佩戴状态的推定
4.内容提供的例子
4-1.虚拟的游戏路线的提供
4-2.乐曲节奏游戏的提供
4-3.根据行为情节展开的内容的提供
4-4.收藏内容的提供
5.硬件结构
6.补充
(1.信息处理装置的功能结构)
图1是表示本公开的一实施方式的信息处理装置的简要的功能结构的框图。参照图1,信息处理装置100包含发送部101、接收部102、传感器设备控制部103、传感器数据解析部104、解析结果处理部107、检测区间信息保持部110、附加性信息保持部111、以及服务控制部112。
信息处理装置100例如后述的几个具体的例子中所示的那样,可以是构成网络上的服务器的单一的装置、或者装置的集合体。另外,信息处理装置100也可以是经由网络与服务器通信的终端装置,或者单独动作的终端装置。或者,信息处理装置100的功能也可以分散为经由网络相互通信的服务器和终端装置来实现。对于实现信息处理装置100、或者信息处理装置100的功能的多个装置的每一个的硬件结构后述。
发送部101以及接收部102例如由通过有线或者无线的各种通信方式与传感器设备通信的通信装置来实现。传感器设备包含用户佩戴的或者安装于由用户使用的器具的至少一个传感器。发送部101将传感器设备控制部103输出的控制信号发送至传感器设备。接收部102从传感器设备接收传感器数据以及时刻信息(时间戳),并将这些输入至传感器设备控制部103。在图示的例子中,接收部102实现接收由用户佩戴的或者安装于用户使用的器具的传感器提供的传感器数据的传感器数据接收部。此外,例如在信息处理装置100是具备至少一个传感器的终端装置,更具体而言是移动设备、可佩带设备的情况下,也可以通过执行从传感器接收传感器数据的驱动器程序的CPU(CentralProcessingUnit:中央处理单元)等处理器来实现传感器数据接收部。另外,本实施方式的信息处理装置例如也可以具备从具备传感器的外部的装置获取传感器数据的获取部。在这里,获取部例如由执行“经由实现发送部101以及接收部102的上述通信装置等,从具备传感器的外部的装置接收传感器数据的驱动器程序”的CPU等处理器来实现。此外,在具备获取部的情况下,本实施方式的信息处理装置也能够采取不具备传感器数据接收部的结构。
传感器设备控制部103例如通过CPU等处理器根据存储器所储存的程序动作来实现。传感器设备控制部103从接收部102获取传感器数据以及时刻信息。传感器设备控制部103将这些数据提供给传感器数据解析部104以及解析结果处理部107。传感器设备控制部103根据需要也可以实施数据的预处理。另外,传感器设备控制部103将传感器设备的控制信号输出至发送部101。在这些实施方式中,传感器设备控制部103也可以基于传感器数据解析部104或者解析结果处理部107中的处理的结果的反馈,输出控制信号。
传感器数据解析部104例如通过CPU等处理器根据存储器所储存的程序动作来实现。传感器数据解析部104执行使用了从传感器设备控制部103提供的传感器数据的各种解析。在图示的例子中,传感器数据解析部104包含特征量提取部105以及行为检测部106。特征量提取部105从传感器数据中提取各种特征量。行为检测部106基于由特征量提取部105从传感器数据中提取出的特征量,检测用户的行为。在本实施方式中,行为检测部106检测的用户的行为包含用户的转动以及/或者跳跃。并且,行为检测部106也可以检测步行、跑步、静止、通过交通工具移动等其它的用户的行为。用户的行为能够与表示产生该行为的区间(行为区间)的时刻信息(时间戳)建立关联地检测。传感器数据解析部104将解析结果,更具体而言例如包含由行为检测部106检测出的用户的行为区间的信息储存至检测区间信息保持部110。另外,传感器数据解析部104将解析结果提供给解析结果处理部107。
解析结果处理部107例如通过CPU等处理器根据存储器所储存的程序动作来实现。解析结果处理部107基于传感器数据解析部104的解析结果,更具体而言由行为检测部106检测出的用户的行为的信息,生成被后段的服务控制部112利用的各种附加性信息。在图示的例子中,解析结果处理部107包含聚类处理部108、以及评分处理部109。例如,在检测出的用户的行为包含相同种类的多个行为的情况下,聚类处理部108也可以基于其特征量(可以是由特征量提取部105提取出的特征量,也可以是由行为检测部106计算出的中间的特征量)来对上述行为聚类。另外,在相同的情况下,评分处理部109也可以基于特征量来计算表示行为的评价的得分。另外,聚类处理部108以及/或者评分处理部109也可以基于从传感器设备控制部103提供的传感器数据,重新计算特征量。解析结果处理部107将处理结果,更具体而言是聚类处理部108的聚类的结果、由评分处理部109计算出的得分的信息,与时刻信息(时间戳)一起储存至附加性信息保持部111。
检测区间信息保持部110以及附加性信息保持部111例如通过各种存储器或者存储装置来实现。检测区间信息保持部110以及附加性信息保持部111暂时或者永久地储存如上述那样从传感器数据解析部104以及解析结果处理部107提供的信息。检测区间信息保持部110所储存的信息和附加性信息保持部111所储存的信息例如能够通过时刻信息(时间戳)相互建立对应关系。另外,在检测区间信息保持部110以及附加性信息保持部111,也可以储存分别与多个用户的每一个用户相关的信息。
服务控制部112例如通过CPU等处理器根据存储器所储存的程序动作来实现。服务控制部112利用检测区间信息保持部110以及/或者附加性信息保持部111所储存的信息,来控制服务113。更具体而言,例如,服务控制部112基于从检测区间信息保持部110以及/或者附加性信息保持部111读出的信息,在服务113中生成对用户提供的信息。此外,例如在信息处理装置100是服务器的情况下,通过服务控制部112输出的信息能够经由通信装置发送至终端装置。另外,例如在信息处理装置100是终端装置的情况下,通过服务控制部112输出的信息能够提供给终端装置所具备的显示器、扬声器、或者振动器等输出装置。
(2.行为检测处理的例子)
以下,对在本公开的一实施方式中执行的行为检测处理的例子进行说明。在上述例子中,检测在用户进行单板滑雪的情况下产生的跳跃以及转动。例如,在是单板滑雪的情况下,也可以通过将包含加速度传感器以及角速度传感器等的传感器设备嵌入衣服,或组装于可佩带终端装置、移动终端装置而由用户直接佩戴。或者,传感器设备也可以安装于单板滑雪的用具,例如板。
此外,在本实施方式中执行的行为检测处理并不限于在单板滑雪中产生的跳跃、转动,例如也可以对在单板滑雪以外的运动中产生的跳跃、转动执行行为检测处理。由于跳跃、转动是能够在各种运动中共同产生的行为,所以例如能够通过以下说明的检测处理,不管运动的种类地检测跳跃、转动。另外,在本实施方式中执行的行为检测处理中,也可以检测跳跃、转动以外的行为。在这样的行为检测处理中,能够应用例如在日本特开2010-198595号公报等所记载的行动识别的技术中所利用的各种技术。
(2-1.跳跃的检测-1)
图2是表示用于在本公开的一实施方式中,检测用户的行为所包含的跳跃的处理的第一例的流程图。图示的处理例如在上述信息处理装置100所包含的传感器数据解析部104中执行。
首先,传感器数据解析部104每隔规定的时间帧,执行高冲击检测处理(S110)、自由落体检测处理(S120)。此外,对于上述处理的详细内容后述。接受上述处理的结果,传感器数据解析部104所包含的行为检测部106判定是否产生了被两个高冲击区间(推定为起跳以及落地)夹持的区间(S101)。在产生了这样的区间的情况下,行为检测部106判定区间的持续时间(duration)是否处于两个阈值(TH1、TH2)之间(S102)。设定上述阈值的目的在于例如除去作为跳跃判断为过长的区间、过短的区间。
在S102的判定中持续时间处于两个阈值之间的情况下,行为检测部106进一步判定该区间中的自由落体区间的比率是否超过阈值(TH)(S103)。在自由落体区间的比率超过阈值的情况下,检测出该区间(被两个高冲击区间夹持的区间)是跳跃区间(S104)。
图3是表示图2所示的高冲击检测处理(S110)的例子的流程图。若参照图3,在高冲击检测处理中,利用传感器数据所包含的加速度(D111)。首先,传感器数据解析部104所包含的特征量提取部105计算加速度的范数(S112),而且通过LPF(LowPassFilter:低通滤波器)使范数平滑化(S113)。接着,特征量提取部105对平滑化后的加速度的范数,以规定的时间帧计算振幅的功率(S114)。行为检测部106判定功率是否超过阈值(TH)(S115),在功率超过阈值的情况下,检测出该时间帧是高冲击区间(S116)。
此外,在本说明书以及附图中,对记作TH、TH1或者TH2等的阈值,在各个处理中设定适当的值。即,这些阈值均被记作TH等并不表示这些阈值是相同的值。
图4是表示图2所示的自由落体检测处理(S120)的第一例的流程图。若参照图4,在第一例的自由落体检测处理中,利用传感器数据所包含的加速度(D121)以及角速度(D125)。首先,特征量提取部105计算加速度的范数(S122),行为检测部106判定各区间的范数是否低于阈值(TH)(S123)。行为检测部106对加速度的范数低于阈值的区间,检测该区间是自由落体区间(S124)。
另一方面,特征量提取部105对角速度也计算范数(S126),而且计算规定的时间帧中的范数的方差(S127)。行为检测部106判定角速度的范数的方差是否低于阈值(TH)(S128),在方差低于阈值的情况下,屏蔽在S124中检测出的自由落体区间(即,取消作为自由落体区间的判定)(S129)。基于这样的角速度的屏蔽处理基于如下发现:由于在用户跳跃的情况下产生角速度的变化,所以角速度的变化(方差)较小的自由落体区间因跳跃以外的原因而产生的。
此外,在上述处理中,S126~S129中的屏蔽的处理未必在S121~S124中的自由落体区间的判定处理之后执行。例如,行为检测部106也可以先执行屏蔽的处理,再对确定为屏蔽的区间的区间执行自由落体区间的判定处理。或者,屏蔽的处理也可以在图2所示的跳跃区间的检测处理(S104)之后执行,并暂时屏蔽被检测为跳跃区间的区间。进一步来说,图4等所示的自由落体处理(S120)无需必须在图2所示的区间的产生判定(S101)之前执行,也可以在区间的产生判定之后,例如在与自由落体区间的比率相关的判定(S103)之前,对该区间执行自由落体检测处理。
图5是表示图2所示的自由落体检测处理(S120)的第二例的流程图。若参照图5,则在第二例的自由落体检测处理中,利用由用户佩戴的或者安装于用户使用的器具的加速度传感器提供的传感器数据所包含的加速度(D121)。在S122~S124中,特征量提取部105以及行为检测部106执行与上述第一例相同的处理,并检测自由落体区间。
另一方面,在本例中,特征量提取部105提取加速度的X轴成分以及Y轴成分(S132),而且计算加速度的X轴成分与Y轴成分之间的协方差(S133)。更具体而言,例如,特征量提取部105在用户在基准面(并不限于水平面,也可以是倾斜面)上走或跑的情况下,将加速度传感器的坐标轴中最接近用户的行进方向的轴设为X轴,将最接近基准面的法线方向的轴设为Y轴,计算上述轴向的加速度成分(X轴成分、Y轴成分)的协方差。行为检测部106判定协方差是否低于阈值(TH)(S134),在协方差低于阈值的情况下,屏蔽在S124中检测出的自由落体区间(S129)。基于这样的加速度的协方差的屏蔽处理例如在欲检测的跳跃不是伴随专门基准面的法线方向的位移的所谓的垂直腾跃,而是伴随用户的向行进方向的位移的跳跃的情况下有效。
(2-2.跳跃的检测-2)
图6是表示用于在本公开的一实施方式中,检测用户的行为所包含的跳跃的处理的第二例的流程图。图示的处理与上述第一例相同,例如在信息处理装置100所包含的传感器数据解析部104中执行。
首先,传感器数据解析部104执行候补区间检测处理(S140)。此外,对于该处理的详细内容后述。接受处理的结果,传感器数据解析部104所包含的行为检测部106判定是否产生了候补区间(S105)。在产生了候补区间的情况下,行为检测部106与上述第一例相同地,判定区间的持续时间(duration)是否处于两个阈值(TH1、TH2)之间(S102)。在持续时间处于两个阈值之间的情况下,行为检测部106进一步判定区间的铅垂方向以及水平方向的加速度的平均值(mean)是否超过各个阈值(THs)(S106)。在加速度的平均值超过各个阈值的情况下,检测出该候补区间是跳跃区间(S104)。
图7是表示图6所示的候补区间检测处理(S140)的例子的流程图。若参照图7,在候补区间检测处理中,首先,执行在上述参照图3说明的高冲击检测处理(S110)、铅垂方向加速度计算处理(S141)、以及水平方向加速度计算处理(S142)。并且,传感器数据解析部104所包含的特征量提取部105对各区间,计算在S141、S142中计算出的铅垂方向加速度和水平方向加速度的差分(S143)。并且,行为检测部106判定是否产生了被两个高冲击区间(推定为起跳以及落地)夹持的区间(S144)。在产生了这样的区间的情况下,行为检测部106判定在S143中计算出的铅垂方向加速度与水平方向加速度的差分在该区间中是否超过阈值(TH)(S145)。在差分超过阈值的情况下,检测出该区间(被两个高冲击区间夹持的区间)是跳跃区间的候补区间(S146)。
图8是表示图7所示的铅垂方向加速度计算处理(S141)的例子的流程图。若参照图8,在铅垂方向加速度计算处理中,利用传感器数据所包含的加速度(D151)。首先,传感器数据解析部104所包含的特征量提取部105计算加速度的平均值(mean)(S152)。在这里计算的平均值例如可以是移动平均。基于在S152中计算出的加速度的平均值,特征量提取部105执行重力成分加速度计算处理(S153)。并且,特征量提取部105计算计算出的重力成分加速度的范数(S154)。此外,重力成分加速度也可以基于移动平均的平均值来计算,也可以使用LPF等滤波器来计算。
另一方面,特征量提取部105与上述S152~S154的处理不同,利用BPF(BandPassFilter:带通滤波器)对加速度(D151)进行处理(S155)。在图示的例子中,BPF以通过低频区域的滤波器除去加速度所包含的DC成分(即,重力成分),而且通过高频区域的滤波器对加速度平滑化为目的来使用。此外,也可以通过例如LPF、HPF(HighPassFilter:高通滤波器)等其它种类的滤波器的组合代替S155的BPF。特征量提取部105对被BPF处理过的加速度计算与在S153中计算出的重力成分加速度的内积(S156)。
并且,特征量提取部105将在S156中计算出的内积除以在S154中计算出的重力成分加速度的范数(S157)。由此,得到铅垂方向加速度(V158)。在图示的例子中,铅垂方向加速度通过将利用BPF(S155)除去了重力成分的加速度投影到重力成分加速度的方向来计算。
图9是表示图7所示的水平方向加速度计算处理(S142)的例子的流程图。若参照图9,在水平方向加速度计算处理中,也利用传感器数据所包含的加速度(D151)。另外,在水平方向加速度计算处理中,利用在上述参照图8说明的铅垂方向加速度计算处理(S141)中计算出的铅垂方向加速度。更具体而言,传感器数据解析部104所包含的特征量提取部105将铅垂方向加速度平方来利用(S161)。
另一方面,通过BPF对特征量提取部加速度(D151)进行处理(S162),除去加速度所包含的DC成分并且使加速度平滑化。此外,也可以通过例如LPF、HPF等其它种类的滤波器的组合代替S162的BPF。特征量提取部105计算被BPF处理过的加速度的范数(S163),并将其平方(S164)。并且,特征量提取部105计算在S161中计算出的铅垂方向加速度的平方与在S164中计算出的水平方向加速度的平方的差分(S165),根据差分的平方根(S166)得到水平方向加速度(V167)。
在如以上说明的本公开的一实施方式中的跳跃检测中,能够进行在跳跃检测的第一例(图2)中对自由落体检测处理采用第一例(图4)的情况、在相同的跳跃检测的第一例(图2)中对自由落体检测处理采用第二例(图5)的情况、以及跳跃检测的第二例(图6)的情况共计3种跳跃检测处理。包含行为检测部106的传感器数据解析部104也可以在分别执行上述3种跳跃检测处理后,基于它们的结果检测最终的跳跃区间。更具体而言,例如,行为检测部106也可以在3种跳跃检测处理中的至少一个处理中检测出跳跃区间的情况下,将该区间作为最终的跳跃区间来检测。或者,行为检测部106也可以在3种跳跃检测处理中的2个以上、或者全部3种处理中检测出跳跃区间的情况下,将该区间作为最终的跳跃区间来检测。
(2-3.转动的检测)
图10是表示用于在本公开的一实施方式中,检测用户的行为所包含的转动区间的处理的例子的流程图。图示的处理例如在上述信息处理装置100所包含的传感器数据解析部104中执行。在以下的处理中,传感器数据解析部104检测用户的行为所包含的旋转(S210),而且检测该旋转所包含的非转动性的旋转(S230),并从旋转中除去了非转动性的旋转的剩余的旋转中检测转动(S250)。
在这里,非转动性的旋转例如在传感器包含佩戴于用户的头部、或者安装于佩戴在用户的头部的器具的传感器的情况下,包含由于用户摇头而产生的旋转。非转动性的旋转除此以外,能够包含由于用户的身体运动而产生的旋转,更具体而言,在传感器包含佩戴于用户的臂部、或者安装于佩戴在用户的臂部的器具的传感器的情况下,由于用户的摆臂、曲臂而产生的旋转等。
在本实施方式中,传感器数据解析部104在除去了这样的非转动性的旋转之后检测转动区间,从而能够进行更高精度的转动区间的检测。基于这样的意义,也可以说非转动性的旋转是针对作为检测对象的转动的噪声,在本实施方式中,可以说传感器数据解析部104检测用户的行为所包含的旋转,而且检测该旋转所包含的噪声,并从旋转中除去噪声后的剩余的旋转中检测转动。
首先,传感器数据解析部104执行旋转区间检测处理(S210)。在本实施方式中,旋转区间被定义为水平面方向的角速度超过阈值的区间。传感器数据解析部104判定是否产生了旋转区间(S201)。在产生了旋转区间的情况下,首先,传感器数据解析部104执行摇头(HEADSHAKE)检测处理(S230)。并且,传感器数据解析部104判定是否检测到了摇头(S203),在未检测到摇头的情况下,进一步执行转动检测处理(S250)。通过这样的处理,能够从旋转区间除去由于用户的摇头(例如,在传感器被搭载于头部佩戴型的可佩带终端装置的情况下等产生)而产生的区间,而且提取旋转半径、角速度、持续时间等满足所希望的条件的转动区间。
图11是表示图10所示的旋转区间检测处理(S210)的例子的流程图。若参照图11,在旋转区间检测处理中,利用传感器数据所包含的加速度(D211)以及角速度(D214)。首先,传感器数据解析部104所包含的特征量提取部105计算加速度的平均值(mean)(S212)。在这里计算的平均值例如可以是移动平均。基于在S212中计算出的加速度的平均值,特征量提取部105执行重力成分加速度计算处理(S213)。并且,特征量提取部105计算在S213中计算出的重力成分加速度与角速度(D214)的内积(S215)。由此,得到朝向重力成分加速度的方向的角速度的投影,即水平面方向(围绕铅垂轴)的角速度(V216)。
在这里,特征量提取部105暂时对计算出的角速度进行积分(S217),来计算水平面方向的角位移(V218)。特征量提取部105通过LPF对角位移进行处理(S219)。并且,特征量提取部105对角位移进行微分(S220),作为水平面方向的角速度(V221)。V221的角速度与V218的角速度进行比较,在S217中暂时积分,而且将积分后的角位移通过在S219中利用LPF处理后使其平滑化,并从波形中除去噪声。传感器数据解析部104所包含的行为检测部106判定水平面方向的角速度(V221)是否超过阈值(S222),将角速度超过阈值的区间检测为旋转区间(S223)。
图12是表示图10所示的摇头检测处理(S230)的例子的流程图。若参照图12,在摇头检测处理中,利用在图11所示的旋转区间检测处理中计算出的平滑化后的水平面方向的角速度(V221)。特征量提取部105获取角速度的符号(S231)。对于旋转方向的符号的定义是什么样都可以,但在图示的例子中,作为角速度(V221)的符号,定义顺时针旋转(V232)和逆时针旋转(V233)。并且,特征量提取部105计算产生了反向旋转的时间间隔(S234)。即,在图示的例子中,特征量提取部105计算从产生顺时针旋转(V232)到产生逆时针旋转(V233)的时间间隔、以及从产生逆时针旋转(V233)到产生顺时针旋转(V232)的时间间隔。行为检测部106判定在S234中计算出的时间间隔是否低于阈值(TH)(S235),在时间间隔低于阈值的情况下,检测出产生摇头(S236)。
图13是表示图10所示的转动检测处理(S250)的例子的图。在转动检测处理中,通过特征量提取部105计算多个特征量,行为检测部106基于各个特征量来实施阈值的判定。在图13中示有用于特征量提取部105计算各个特征量的处理。此外,在以下的说明中依次对各个特征量的计算的处理进行说明,但特征量提取部105进行的处理也可以不必须按照说明的顺序来执行,只要能够获取或者计算成为前提的量,可以以任意的顺序来执行处理。
首先,特征量提取部105计算传感器数据所包含的加速度(D251)的范数(S252),而且计算规定的时间帧中的范数的平均值(S253)。像这样计算出的加速度范数平均(V254)作为用于转动检测的特征量之一被利用。
另一方面,特征量提取部105通过第一LPF对加速度(D251)进行处理(S273),计算重力成分加速度(V274)。并且,特征量提取部105计算传感器数据所包含的角速度(D255)与重力成分加速度的内积(S256)。由此,得到针对重力成分加速度的方向的角速度的投影,即水平面方向(围绕铅垂轴)的角速度(V257)。特征量提取部105对计算出的角速度进行积分(S258),来计算水平面方向的角位移(V259)。角位移(V259)也作为用于转动检测的特征量之一被利用。
并且,特征量提取部105基于角位移(V259)和成为处理的对象的旋转区间的持续时间(duration)(V260),来计算角速度(V261)。V261的角速度例如与D255的角速度相比,可以以更长的时间帧(例如旋转区间整体)进行平滑化。旋转区间的持续时间(V260)以及角变化率(V261)也作为用于转动检测的特征量之一被利用。
另外,特征量提取部105通过对于规定的时间帧对角位移(V259)进行解析(S262),来计算几个特征量。更具体而言,特征量提取部105计算时间帧内的角速度的最大值(S263、V268)、平均值(S264、V269)、方差(S265、V270)、峰度(S266、V271)、以及偏度(S267、V272)。上述特征量也作为用于转动检测的特征量被利用。
另一方面,特征量提取部105通过第二LPF对加速度(D251)进行处理(S275)。在图示的例子中,第一LPF(S273)用于提取作为加速度所包含的DC成分的重力成分加速度(V274),相对于此第二LPF(S275)用于通过对高频区域滤波而使加速度平滑化。因此,上述LPF的通带设定能够不同。
特征量提取部105计算通过第二LPF(S275)平滑化后的加速度与通过第一LPF(S273)提取出的重力成分加速度(V274)的内积(S276)。由此,得到铅垂方向加速度(V277)。并且,特征量提取部105计算对重力成分加速度(V274)和铅垂方向加速度(V277)进行合成所得的加速度矢量的、与通过第二LPF(S275)平滑化后的加速度的差分(S278)。由此,得到水平方向加速度(V279)。特征量提取部105计算水平方向加速度的平均值(S280)。像这样计算出的水平方向加速度的平均值(V281)也作为用于转动检测的特征量被利用。
行为检测部106例如基于如上述那样从传感器数据提取出的特征量,来实施是否产生了转动的判定。在图示的例子中,行为检测部106基于旋转区间的持续时间(V260)、水平面方向的角位移(V259)、平滑化后的角速度(V261)、加速度范数平均(V254)、水平方向加速度的平均值(V281)、时间帧内的角速度的最大值(V268)、平均值(V269)、方差(V270)、峰度(V271)、以及偏度(V272)来实施判定。
此外,判定所使用的特征量并不限于上述例子,例如也可以使用上述例子以外的特征量,也可以不使用上述例子的特征量的一部分。例如,也可以从能够从传感器数据中提取的各个种类的特征量中,通过基于实际产生了转动时的传感器数据的主成分分析,来决定转动检测所使用的特征量的种类。或者,也可以基于在实际产生了转动时出现的传感器数据的趋势,来决定判定所使用的特征量。例如,在上述例子中,加速度范数平均(V254)以及水平方向加速度的平均值(V281)是与转动的旋转半径相关的特征量。
另外,在行为检测部106进行的判定中应用的各特征量的阈值例如根据基于在实际产生了转动时的传感器数据的机械学习的结果来决定。此时,例如,也可以参照与传感器数据同时获取到的行为的映像并通过手动来决定实际是否产生了转动。另外,不仅仅是是否产生了转动,也可以给予表示是什么样的转动的标签。更具体而言,例如,参照了映像的结果,也可以在服务提供者侧,对判定为想要作为转动来检测、不想作为转动来检测、或者哪一个都可以的行为,给予表示各自的属性的标签。
以上,对在本公开的一个实施方式中执行的行为检测处理的几个例子进行了说明。如已经说明的那样,在本实施方式中执行的行为检测处理并不限于在单板滑雪中产生的跳跃、转动,例如也可以对单板滑雪以外的运动、或者运动以外的场景中产生的跳跃、转动执行行为检测处理。另外,在本实施方式中执行的行为检测处理中,也可以检测跳跃、转动以外的行为。作为一个例子,行为检测部106也可以检测在单板滑雪等中产生的跌倒。在该情况下,特征量提取部105以与上述的跳跃、转动的检测相同的方式计算加速度的范数,行为检测部106也可以在加速度的范数超过阈值(例如,可以是在通常的滑降中不会产生的程度的较大的值)的情况下,检测跌倒的产生。
(3.附加性的处理的例子)
(3-1.行为得分的计算)
例如,解析结果处理部107所包含的评分处理部109对包含通过在上述参照图2~图13说明的处理检测的跳跃区间以及/或者转动区间的行为区间,计算对所产生的行为进行评价的得分(行为得分)。行为得分例如可以通过从行为区间中的传感器数据,提取表示行为的好坏、特征的物理量(特征量),并对它们加权求和来计算。服务控制部112基于这样计算出的得分,来生成与行为(例如跳跃或者转动)相关的信息。
例如,在跳跃区间的情况下,作为用于计算得分的特征量可以提取区间的持续时间(duration)、围绕区间中的X轴/Y轴/Z轴的角位移、自由落体区间的比例、起跳时/落地时的冲击的大小等。另外,例如,在转动区间的情况下,作为用于计算得分的特征量可以提取区间的持续时间、位移角、各速度的平均值、最大值、以及标准偏差、角加速度的最大值以及标准偏差等。
此外,加权求和的系数例如可以根据在由信息处理装置100提供的服务113中被重视的行为的性质来设定。另外,用于根据特征量来计算行为的得分的方法并不限于加权求和,也可以使用其它计算方法。例如,也可以通过应用线性回归模型等、机械学习的算法来计算行为得分。
(3-2.聚类处理)
另外,例如,解析结果处理部107所包含的聚类处理部108对包含通过在上述参照图2~图13说明的处理检测的跳跃区间以及/或者转动区间的行为区间,利用为了评分而提取出的特征量等并应用k-means法等聚类算法,将检测出的行为分类为集群。在跳跃区间、转动区间的情况下,例如,也可以根据区间的持续时间的长短、旋转的大小将行为分类为集群。聚类的结果,例如在作为服务提供摘要视频的情况下,用于以视频包含各个种类的跳跃、转动等行为的方式提取行为区间。另外,通过将好的行为和不好的行为分类为不同的集群,用户自身也可以回顾行为、或有利于用于行为的改善的指导。
此外,解析结果处理部107作为与聚类相同的处理,也可以基于特征量的相关系数来计算行为区间彼此的相似度(相似度较高的行为区间能够与被分类为相同的集群的行为区间同等对待)。另外,例如,解析结果处理部107也可以预先准备典型的类型的行为的特征量模式,通过k-NN法等,判定新产生的行为符合哪个类型。
(3-3.传感器安装状态的推定)
图14是表示在本公开的一个实施方式中,用于推定传感器安装状态的处理的例子的框图。更具体而言,通过图示的结构,判定提供传感器数据的传感器是直接佩戴在用户的身体上,还是安装于用户使用的器具。图示的处理例如在上述信息处理装置100所包含的传感器数据解析部104中执行。此外,在图示的例子中,对滤波器的截止频率(Fc)、时间帧的长度具体地进行说明,但这些数值是一个例子,可以根据实际的传感器的特性等适当地变更。
在图示的例子中,信息处理装置100的接收部102接收由3轴(u,v,w)的加速度传感器121提供的传感器数据。传感器数据解析部104经由传感器设备控制部103获取该传感器数据。传感器数据解析部104首先通过一阶HPF122(Fc=0.5Hz)对传感器数据所包含的加速度进行处理,然后执行范数计算123。并且,传感器数据解析部104对分别通过二阶LPF124(Fc=2Hz)以及二阶HPF(Fc=7Hz)对范数处理的结果,计算在时间帧2sec中的振幅(最大值与最小值的差)(125、127)。对上述结果(A以及B),运算A/B(128)。通过一阶HPF129(Fc=0.25Hz)对其结果进行处理,并实施阈值判定130。
如上述那样的判定的处理在传感器直接佩戴在用户的身体上的情况下,是根据由于身体作为LPF发挥功能所以加速度的高频成分衰减。上述例子中的A(通过了LPF124的低频成分的振幅)/B(通过了HPF的高频成分的振幅)在原来的加速度中高频成分越衰减越成为较大的值。因此,在阈值判定130中,在通过HPF129对A/B进行处理后的值比阈值大的情况下,能够判定为传感器直接佩戴在用户的身体上,在除此以外的情况下,能够判定为传感器安装于器具。
如上述那样的推定的结果,例如也可以在传感器数据解析部104的内部利用。在该情况下,传感器数据解析部104在上述那样的用户的行为的检测的处理中,也可以根据传感器佩戴在身体上还是安装在器具上来变更阈值、滤波器的设定值等。或者,如上述那样的推定的结果也可以反馈给传感器设备控制部103,用于决定与传感器设备的测定相关的参数等设定、传感器设备控制部103进行的传感器数据的预处理方法等。
在本实施方式中,例如也可以如上述的传感器安装状态的推定那样,基于与传感器数据的提供侧的状态相关的推定,来实施与传感器数据的处理相关的适应性的控制。作为其它例子,传感器数据解析部104也可以根据由加速度传感器等检测出的冲击的强度、活动的模式等,使用机械学习等算法来推定行为所产生的运动的种类。运动也可以按照每个通常认识的项目来推定,也可以按照每个板运动、水上运动、自行车竞技、摩托车运动等***来推定。另外,例如,传感器数据解析部104在传感器安装在器具的情况下,也可以推定器具的种类(例如在滑雪情况下,是安装于滑雪板,还是安装于雪杖等)。推定的结果与上述传感器安装状态的推定结果相同,例如也可以利用于行为的检测等中的阈值、滤波器的设定值的控制,也可以反馈给传感器设备控制部103,用于传感器设备的控制、传感器数据的预处理方法的决定。
(4.内容提供的例子)
在这里,再次参照图1,对本实施方式的信息处理装置的与内容提供相关的结构进行说明。在本实施方式中,在信息处理装置100中,实现信息获取部,其获取表示检测出的用户的行为的行为信息;以及内容提供部,其提供根据行为的时间上的或者空间上的序列展开的内容。
例如,在信息处理装置100中,接收部102从传感器设备接收传感器数据以及时刻信息(时间戳)。传感器数据解析部104所包含的行为检测部106将上述时间戳与基于传感器数据检测出的用户的行为建立有关联的信息储存至检测区间信息保持部110。由此,服务控制部112能够从检测区间信息保持部110获取用户的行为信息、和与行为建立有关联的时间坐标(时间戳)。此外,在从由接收部102进行的传感器数据的接收到由行为检测部106进行的行为的检测的时间差较小的情况下,行为检测部106也可以代替与传感器数据一起接收的时间戳而使用在检测出行为的时刻的时刻信息(时间戳)。
在上述例子中,还可以将用户的位置信息与接收部102从传感器设备接收的数据建立关联,行为检测部106将位置信息与用户的行为建立有关联的信息储存至检测区间信息保持部110。在该情况下,服务控制部112能够从检测区间信息保持部110获取用户的行为信息、和与行为建立关联的空间坐标(位置信息)。此外,在由用户携带或者佩戴的终端装置中实现行为检测部106的情况下,行为检测部106也可以代替与传感器数据一起接收的位置信息而使用在检测出行为的时刻由该终端装置获取的位置信息。
或者,服务控制部112也可以通过使用时间戳将与传感器数据分立获取的行为映像与行为信息进行匹配,来获取与行为建立有关联的空间坐标。在这里,与行为建立有关联的空间坐标可以由例如纬度经度等绝对的坐标系来定义,若在执行行为的环境下,例如在运动的情况下,则也可以由相对于路线、球场、运动场等的相对的坐标系来定义。
此外,在本说明书中,行为信息并不限于直接表示由行为检测部106检测出的用户的行为的信息,可以包含与检测出的用户的行为相关联的各种信息。因此,在上述例子中,不光是由行为检测部106提供的行为的检测结果,也可以将由解析结果处理部107生成的附加的信息包含于行为信息。
如上所述,服务控制部112能够从检测区间信息保持部110获取用户的行为信息、和与行为建立相关的时间坐标(时间戳)以及/或者空间坐标(位置信息)。或者,解析结果处理部107在将由行为检测部106与行为的检测结果一起提供的时间戳以及/或者位置信息与基于行为的检测结果生成的附加性信息建立关联并储存至附加性信息保持部111的情况下,服务控制部112能够从附加性信息保持部111,获取与行为相关的附加性信息、和与行为建立关联的时间坐标(时间戳)以及/或者空间坐标(位置信息)。
服务控制部112能够基于这些信息,提供根据行为的时间上的或者空间上的序列展开的内容。内容例如包含映像或者声音。内容也可以是将用户的行为作为输入进行的游戏内容。此外,在内容的展开中也可以反映行为的内容,更具体而言反映行为的种类、行为得分等。
在这里,行为的时间上的序列根据检测出的行为的时间坐标的序列来定义。即,行为的时间上的序列根据在某一时间或者空间上的范围内产生的一系列的行为的产生顺序以及产生间隔来定义。更具体而言,例如,行为的时间上的序列也可以根据用户在单板滑雪时在斜面滑降期间产生的一系列的跳跃、转动的产生顺序以及产生间隔(或者表示这些动作的各行为的时间戳)来定义。另外,例如,行为的时间上的序列也可以根据上午10时至10时30分期间产生的用户的一系列的行为的产生顺序以及产生间隔(或者表示这些动作的各行为的时间戳)来定义。
另外,行为的空间上的序列根据检测出的行为的空间坐标的序列来定义。即,行为的空间上的序列根据在某一时间或者空间上的范围内产生的一系列的行为的产生位置来定义。更具体而言,例如,行为的空间上的序列也可以根据用户在单板滑雪时在斜面滑降期间产生的一系列的跳跃、转动的产生位置(例如,可以是相对于斜面的相对坐标)来定义。另外,例如,行为的空间上的序列也可以根据在上午10时至10时30分期间产生的用户的一系列的行为的产生位置(例如,可以是与纬度经度对应的绝对坐标)来定义。
例如,服务控制部112也可以对已经检测出的行为定义时间上的序列以及/或者空间上的序列,并提供根据该时间上的序列以及/或者空间上的序列展开的内容。在该情况下,内容也可以包含与用户在单板滑雪时在斜面滑降期间产生的一系列的跳跃、转动相配合的伴随着节奏、曲调的变化的乐曲,或以与跳跃、转动相配合的时机内容变化的映像等。或者,内容也可以包含在1天期间产生的用户的一系列的行为根据产生的时刻、位置情节等的展开发生变化的游戏内容。另外,内容也可以包含另一其它例子。对于这样的例子的一部分后述。
另外,例如,服务控制部112也可以对此后检测的行为,例如基于用户的环境状态来预测时间上的序列以及/或者空间上的序列,并提供根据时间上的序列以及/或者空间上的序列展开的内容。在该情况下,内容也可以包含以用户在单板滑雪时在斜面滑降期间产生的一系列的跳跃、转动为任务行为,在行为的时间上的或者空间上的序列中指定应检测任务行为的时刻、位置的游戏内容。或者,内容也可以包含例如日常行动中,指定检测规定的时间内的用户的行为的位置、时刻的游戏内容。另外,内容也可以包含另一其它例子。对那样的例子的一部分后述。
(4-1.虚拟的游戏路线的提供)
图15是表示用于在本公开的一实施方式中提供虚拟的游戏路线的处理的例子的流程图。在图示的例子中,提供指定预测的用户的行为的空间上的序列所包含的位置和应在该位置检测的任务行为的游戏内容。
在图示的例子中,首先,服务控制部112受理开始触发的输入(S301)。开始触发例如可以是用户操作,也可以是用户到达设定在游戏路线的开始地点的实际空间的位置。在这里,服务控制部112基于通过接收部102接收的传感器数据、来自照相机的图像等来识别环境状态(S303)。在这里,环境状态例如可以包含在此之后执行用户的行为的路线的长度、宽度、到终点的路径、存在于路线内的障碍物等状态。
接下来,服务控制部112在根据环境状态预测出之后的用户的行为的空间上的序列之后,设定空间上的序列所包含的一个或者多个位置上的任务行为(S305)。对于任务行为的具体的例子后述。并且,服务控制部112基于在S303中识别出的环境状态以及在S305中设定的位置以及任务行为,设计游戏路线(S307)。服务控制部112使用用户佩戴的HMD(HeadMountedDisplay:头戴显示器)等透射式显示器将显示所设计的游戏路线的虚拟对象虚拟显示于实际空间(S309),到此游戏的准备完成(S311)。
接着,服务控制部112开始游戏(S313)。游戏的开始时机也可以通过用户操作、或者用户的行为的开始来指定,也可以在游戏的准备的完成后自动地开始游戏。此时,在用户佩戴的HMD等显示器中,也可以与虚拟显示的游戏路线一起显示提示开始游戏的消息、通知开始游戏的消息。在游戏开始后,服务控制部112基于依次更新的用户的实际空间中的空间坐标来更新用户的游戏路线内的位置,并判定在S305中设定了任务行为的位置用户指定的行为是否成功(S315)。在这里,若用户成功进行任务行为则加上分数(S317),若未成功则减去分数(S319)。服务控制部112在用户到达游戏路线的终点之前反复该判定(S321)。
若用户到达游戏路线的终点,则服务控制部112基于在S315中的判定结果来计算总合分数(S323)。在总合分数的计算时,也可以考虑到到达终点为止的所需时间等。服务控制部112将计算出的总合分数提示给用户(S325)。此时,服务控制部112也可以将各个任务行为的分数、任务行为以外的要素的分数等的明细与总合分数一起提示给用户。以上游戏结束(S327)。
图16是表示在本公开的一实施方式中提供的虚拟的游戏路线的第一例的图。若参照图16,游戏画面1100重叠显示于包含单板滑雪的路线C的实际空间R。在图示的例子中,游戏画面1100包含游戏路线1101。在游戏路线1101上,将显示指定的位置和在那些位置应检测的任务行为的对象,更具体而言是图标1103和文本1105以与游戏路线1101相同的方式重叠显示于实际空间R。并且,也可以在游戏画面1100显示包含当前时刻的分数、经过时间等的状态1107。
在这里,在图示的例子中,服务控制部112基于用户的环境状态来预测用户的行为的空间上的序列。更具体而言,服务控制部112基于游戏内容的开始时的用户的环境状态来决定表示为游戏路线1101的空间上的序列的长度。例如,服务控制部112获取由用户佩戴的照相机、设置于路线C的照相机拍摄的用户的周边的图像,并基于该图像来识别环境状态。在上述例子中,服务控制部112作为用户的环境状态,识别路线C的长度、宽度、到终点的路径、存在于路线C内的障碍物等状态,并基于这些状态来设定游戏路线1101。其结果,沿着路线C,避开存在于路线C内的障碍物B设定游戏路线1101。
此外,在如上述那样的游戏路线1101、图标1103以及文本1105等的显示中,可以应用AR(AugmentedReality:增强现实)的技术。本例例如假定用户佩戴HMD等透射式的显示器,并能够在实际空间的像上以透过的方式重叠游戏画面1100的情况,例如,若在封闭实际空间等来确保用户的安全的情况下,则用户也可以佩戴遮挡型的HMD等,一边观察不包含实际空间的像的游戏画面1100一边玩游戏。另外,在遮挡型的HMD、智能手机、平板电脑等中,通过在照相机的实时显示图像上重叠游戏画面1100,也能够进行与图16所示的例子相同的体验。对于以下说明的图18~图22的例子也相同。
在图示的例子中,图标1103包含表示设定了转动的任务行为的位置的图标1103a、以及表示设定了跳跃的任务行为的位置的图标1103b。在表示转动的详细内容的文本1105a中,例如示有转动的旋转方向和旋转角度。例如,“R40°”这样的文本1105a表示作为任务行为指定右旋(顺时针)旋转角度40度的转动。另外,在表示跳跃的详细内容的文本1105b中,例如表示任务行为是跳跃,和跳跃的高度。例如,“JUMP1m”这样的文本1105b表示将高度1m的跳跃指定为任务行为。如图所示,也可以与文本1105一起,显示表示转动的旋转方向、跳跃的方向的图标。
图17以及图18是表示在本公开的一实施方式中提供的虚拟的游戏路线的第二例的图。在图17以及图18所示的例子中,在实际空间中未必设定有路线的位置,更具体而言在市区设定有游戏路线。在该情况下,例如,如图17所示,服务控制部112基于地图信息来识别用户的环境状态。更具体而言,服务控制部基于地图信息和游戏内容的开始时的用户的位置信息,来识别预测用户在规定的时间内前进的路线的长度、宽度、到终点的路径、存在于路线内的障碍物等状态,并基于这些状态来设定包含指定任务行为的地点的游戏路线。
在图18所示的例子中,游戏画面1200重叠显示于实际空间R。在游戏画面1200中,显示有沿着处于实际空间R的道路Rd设定的游戏路线1201。道路Rd未必是原本就作为路线而被利用的,但例如能够在如图17所示那样任意地提取了地点之后,作为路线来利用。在游戏路线1201上,将表示指定的位置的图标1203和表示在那些位置应检测的任务行为的文本1205,以与游戏路线1201相同的方式重叠显示于实际空间R。文本1205也可以像通过游戏画面1200a中的文本1205a和游戏画面1200b中的文本1205b表示的那样,在到图标1203的距离较远的情况下和较近的情况下显示不同的内容。在图示的例子中,文本1205a简要的表示任务行为的存在,文本1205b详细地示有任务行为的内容。
在这里,对在上述图16所示的第一例中的游戏路线和图17以及图18所示的第二例中的游戏路线的共用点和不同点进行说明。
在第一例中,沿着处于实际空间的单板滑雪的路线C设定游戏路线1101。由于用户能够沿着路线C滑降,所以用户的实际的移动轨迹接近游戏路线1101。因此,例如,也可以设定在移动轨迹偏离游戏路线1101超过规定的范围的情况下减分的规则。在第一例中,服务控制部112也可以在首先沿着路线C决定了游戏路线1101之后,决定设定任务行为的位置(通过图标1103来表示)。或者,在有多个能够滑降的路线C的情况下,服务控制部112也可以在首先决定了设定任务行为的位置之后,再沿着包含那些位置的路线C来决定游戏路线1101。
另外,在第一例中,为了用户沿着游戏路线1101连续地滑降并且依次通过设定有任务行为的位置,也可以指定执行任务行为的时机、或指定执行多个任务行为的间隔(例如,以等间隔执行3个以上的行为等)。
另一方面,在第二例中,在实际空间中未必是路线的市区等设定游戏路线1201。在这样的情况下,服务控制部112也可以在首先决定了设定任务行为的位置(通过图标1203来表示)之后,将游戏路线1201决定为连结那些位置的链路。在该情况下,例如,也可以将游戏路线1201设定为以最短距离连结设定有任务行为的位置之间的链路,用户作为表示下一个目的地的方向的大致的向导参照游戏路线1201,并且按照实际的道路的形状、交通规则等移动。或者,也可以将游戏路线1201设定为根据能够按照道路的形状、交通规则等移动的路径来连结设定有任务行为的位置之间的链路。在该情况下,用户也可以将沿着游戏路线1201移动设定为规则。
另外,在第二例中,在游戏路线1201上的用户的移动和在指定的位置上的任务行为的执行可能不连续地发生。例如,在图18所示的游戏画面1200b中,通过文本1205b指定有跳跃50次。在该情况下,用户在通过图标1203所示的位置(人行道的一角)中断移动,在跳跃50次之后,朝向下一位置重新开始移动。也可以利用这样的执行的不连续性,在游戏路线1201上添加如下花样:像“双六”那样使用骰子、轮盘等来选择所执行的任务行为(例如,可以是在通过骰子出现6的情况下,执行在前进6步的位置指定的任务行为即可,可以仅通过在中途指定的位置或也可以不通过这样的例子。或者,也可以是即使在相同的位置,因骰子、轮盘的点数而设定不同的任务行为的例子)、或在执行在某一位置指定的任务行为的时刻表明下一位置和任务行为这样的。
图19是表示在本公开的一实施方式中提供的虚拟的游戏路线的第三例的图。在图19所示的例子中,在游戏画面1100中,除了以与上述图16所示的例子同样的方式,显示沿着处于实际空间R的路线C设定的游戏路线1101、以及表示设定有任务行为的位置的图标1103(虽然未图示,但也可以以同样的方式显示表示任务行为的详细内容的文本1105、状态1107)以外,还显示其它用户的游戏路线1301以及表示对其它用户设定了任务行为的位置的图标1303(也可以以同样的方式显示表示任务行为的文本等)以及进入游戏路线1301的其它用户的网络形象1309。此外,网络形象1309是显示其它用户的对象的例子。
在图示的例子中,第一用户的游戏画面1100所显示的其它用户的游戏路线1301例如可以是基于处于与第一用户不同的位置的第二用户的环境状态来构成的路线。因此,显示于画面1100的游戏路线1301、图标1303、以及网络形象1309可以全部是虚拟的。即,通过网络形象1309显示的第二用户不存在于重叠有网络形象1309的实际空间R的位置。
另一方面,在图示的例子中,第二用户在与第一用户不同的位置,接受与游戏画面1100相同的画面的提供。对第二用户提供的画面包含对第二用户基于环境状态构成的游戏路线1101、图标1103等显示。另外,对第二用户提供的画面包含对第一用户与上述游戏路线1301、图标1303、以及网络形象1309相同的显示。
根据这样的结构,第一用户和第二用户能够在虚拟地并列地配置的游戏路线1101、1301上比赛。实际上,不是熟练者的多个用户接近并滑降可能很危险,但若是像这样在虚拟的路线上比赛,即使发生跌倒等也不危险,用户彼此能够享受比赛。
并且,在像上述这样的用于虚拟的比赛的游戏路线中,也可以设置利用了虚拟的各种花样。例如,游戏路线1101和游戏路线1301也可以以较近的距离并行、或交叉。另外,在游戏路线1101上显示的图标1103和在游戏路线1301上显示的图标1303也可以表示提示第一用户和第二用户竞争或合作的任务行为。更具体而言,也可以以对率先实现任务行为的一方加上分数、或在每一个用户同步地(以不足阈值的时间差)成功完成任务行为的情况下给双方加上分数的方式设定任务行为。
图20以及图21是表示在本公开的一实施方式中提供的虚拟的游戏路线的第四例的图。在图20以及图21所示的例子中,对处于相互不同的位置的第一用户以及第二用户,对第一用户提供游戏画面1200c,对第二用户提供游戏画面1200d。游戏画面1200c、1200d例如与在上述参照图17以及图18说明的游戏画面1200的例子相同,包含根据设定在市区的路线显示的游戏路线1201、图标1203、以及文本1205。
在图20所示的对第一用户提供的游戏画面1200c中,显示有游戏路线1201c、图标1203c以及文本1205c。图标1203c以及文本1205c示有“与玩家B(第二用户)乘坐火车”这一任务行为。另一方面,在图21所示的对第二用户提供的游戏画面1200d中,显示有游戏路线1201d、图标1203d以及文本1205d。图标1203d以及文本1205d示有“与玩家A(第一用户)乘坐火车”这一任务行为。
在上述例子中,在分别对第一用户以及第二用户提供的游戏画面1200c、1200d中,提示有通过第一用户和第二用户合作来实现的任务行为。这样的游戏画面1200c、1200d也能够由多个用户合作玩游戏,但与上述图19的例子不同,例如在第一用户和第二用户在指定的车站等待一同乘坐火车之前,用户彼此未出现在对方的游戏画面1200中。
此外,在图20以及图21的例子中,第一用户和第二用户一同乘坐火车,在作为每一个用户的行为检测出“乘坐火车”的情况下,实现任务行为。在该情况下,用户也可以自由选择用户彼此遇见之前的路线。在从提示任务行为到实现期间,服务控制部112也可以不将预先完成的游戏路线1201提示给每一个用户,而是将用户按照自己的意愿行走的路线识别为游戏路线1201。
(4-2.乐曲节奏游戏的提供)
图22是表示在本公开的一实施方式中提供的乐曲节奏游戏的例子的图。在图示的例子中,提供指定预测的用户的行为的时间上的序列所包含的时刻和在该时刻应检测的任务行为的游戏内容。
若参照图22,游戏画面1400重叠显示于实际空间R。在游戏画面1400中,显示有节奏谱1401、表示设定了任务行为的时刻的图标1403、表示任务行为的详细内容的文本1405、表示通过图标1403表示的时刻时时刻刻接近的状态的接近显示1407、以及包含当前时刻的分数、经过时间等的状态1409。在图示的例子中,提供根据单板滑雪的滑降中的用户的行为展开的乐曲节奏游戏。虽然未图示,但在玩游戏时,也经由耳机、扬声器等对用户提供与用户的行为的时间上的序列建立有对应关系的乐曲。
在提供这样的游戏画面1400时,服务控制部112预测用户的行为的时间上的序列,并选择与时间上的序列建立对应关系的乐曲。此外,乐曲通过用户操作来选择,也可以服务控制部112按照预测的时间上的序列编辑乐曲。服务控制部112基于用户的环境状态来预测用户的行为的时间上的序列。更具体而言,例如,服务控制部112基于游戏内容的开始时的用户的环境状态来决定对游戏内容进行展开的时间上的序列的长度。在该情况下,服务控制部112也可以获取通过用户佩戴的照相机、设置于路线C的照相机拍摄的用户的周边的图像,并基于该图像来识别环境状态。
在上述情况下,例如,服务控制部112作为用户的环境状态,识别路线C的长度、宽度、到终点的路径等的状态,并基于这些来设定对游戏内容进行展开的时间上的序列的长度(即,与时间上的序列对应地提供的乐曲的长度)、在时间上的序列中设定任务行为的时刻。另外,服务控制部112也可以根据路线的宽度、障碍物的有无等来选择节奏、曲调。服务控制部112也可以按照所选择的乐曲的内容,更具体而言节奏、旋律来设定任务行为。
例如,若在路线C的开始地点用户选择乐曲,则服务控制部112基于用户的位置信息、已经在路线C上滑降的其它用户的行为信息等来推定路线C的长度。并且,服务控制部112按照路线C的长度来编辑乐曲,决定设定任务行为的时刻。然后,若用户开始滑降,则游戏开始,开始乐曲的播放,并且节奏谱1401、图标1403等移动。更具体而言,图标1403以及文本1405以在实际空间R的路线C滑降的用户的脚下为目标,沿着接近显示1407接近。此外,图标1403以及文本1405并不是必须与路线C内的位置相关联。图标1403以及文本1405以在乐曲达到了与任务行为建立有关联的播放时间时到达用户的脚下的方式,例如以一定的速度流向用户。任务行为例如可以是转动、跳跃。另外,作为任务行为,例如也可以通过图标1403、文本1405等指定在乐曲的曲调阶段等中选定技能。
在图示的例子中,由于不设定上述例子的游戏路线1101、1201那样的路线,用户滑降的路线可以是自由的。在用户滑降时,在按照播放的乐曲,更具体而言图标1403以及文本1405到达脚下时执行任务行为(在图示的例子的情况下,左转动、右转动)即可。此时,服务控制部112作为环境状态例如识别路线C的宽度,根据需要用户也可以动态地变更任务行为,以能够对滑降的路线进行修正。在接近指定的时刻(乐曲的播放时间)的时刻执行了任务行为的情况下加上较高的分数,另一方面,在较大地偏离指定的时刻执行任务行为、或执行了与任务行为不同的行为的情况下可能减去分数。
作为其它例子,服务控制部112也可以提供根据慢跑中的用户的行为展开的乐曲节奏游戏。在该情况下,例如,若用户选择慢跑的预定持续时间(duration),则服务控制部112按照预定持续时间编辑乐曲,并决定设定任务行为的时刻。此外,慢跑的预定继续时间(用户的环境状态之一)例如也可以基于用户预先输入的时间表来识别。然后,若用户开始慢跑,则游戏开始,开始乐曲的播放,并且节奏谱1401、图标1403等移动。更具体而言,图标1403以及文本1405以慢跑的用户的脚下为目标,沿着接近显示1407接近。例如,1次游戏也可以由节奏不同的多个乐曲构成,用户按照变化的乐曲的节奏执行任务行为并且在慢跑的情况下被给予较高的分数。
(4-3.按照行为情节展开的内容的提供)
在本公开的一实施方式中,服务控制部112也可以提供按照用户的行为情节展开的内容。以下,对这样的内容的几个例子进行说明。
(任务型事件)
例如,服务控制部112也可以在用户的日常生活中,对用户设定任务行为,用户按照指定的时间上的或者空间上的序列执行任务行为从而使游戏内的情节展开。例如,产生与作为用户的朋友或者恋人出现的角色一起进行慢跑这样的事件,也可以在持续规定的时间以上检测到慢跑的行为的情况下,来自角色的好感度提高。另外,例如,产生在某一时刻之前来到指定的位置迎接角色这样的事件,也可以在检测到用户在实际指定的时刻到达了指定的位置的情况下,来自角色的好感度提高。
(通过行动的事件触发)
例如,服务控制部112也可以产生与通过用户的行为检测结果表示的行为的时间上的或者空间上的序列相应的事件。更具体而言,例如,服务控制部112也可以在用户连续出现回家迟到的情况下,产生在第二天早上利用用户好感度较高的角色的叫醒电话的事件。
(行为模式的利用)
例如,服务控制部112也可以从用户的过去的行为检测经历中提取由上班、吃饭等行为的时间上的或者空间上的序列构成的习惯性的模式,根据新检测出的用户的行为与模式一致还是不同来产生不同的事件。例如,在检测出用户乘坐与以往不同的时刻的(例如晚1班)公交车上班的情况下,也可以在游戏中以与以往不同的角色出现。
(角色的属性设定)
例如,服务控制部112也可以根据通过用户的过去的行为检测经历表示的行为的时间上的或者空间上的序列来推定用户的属性,并基于推定出的属性来选择在游戏中出现的角色的属性。在游戏以外的例子中,也可以根据通过用户的过去的行为检测经历表示行为的时间上的或者空间上的序列推定出的属性来选择在用户的终端装置等中提供服务的代理程序的虚拟人格。
(基于行为的回想)
例如,服务控制部112也可以在检测出具有与用户的过去的行为检测经历所包含的行为相同的时间上的或者空间上的序列的行为的情况下,基于与以前检测出的行为相关联的信息,来决定游戏内的角色、代理与用户的会话的内容。例如,在相隔1年检测出在单板滑雪的滑降时产生的跳跃、转动等行为的情况下,角色、代理也可以以在1年前的单板滑雪时检测出的其它行为,例如利用汽车的移动花费时间、在滑降时多次跌倒等为话题。
(上下文的表现的变化)
例如,服务控制部112也可以将与行为检测结果所包含的时间上的或者空间上的序列相关联的时刻以及位置反映给游戏内的表现。例如,在根据行为检测结果推定用户乘坐火车的情况下,也可以将游戏内的舞台设定设定为火车中。另外,在确定用户乘坐的路线的情况下,也可以根据实际的用户的位置来提供游戏内的下一个车站的广播等。此时,也可以有关时刻(早上、傍晚、晚上等),将游戏内的设定整合到实际的检测结果。另外,也可以根据用户所处的位置,使在游戏内出现的角色的性格、容貌变化。例如,在处于独特的时代、阶层的人们聚集的大街的情况下,符合处于该大街上多数人的性格、容貌的角色也可以出现在游戏内。
(4-4.收藏内容的提供)
在本公开的一实施方式中,服务控制部112也可以提供将用户的行为检测结果作为收藏使用的内容。在这里,所谓的作为收藏使用意味着例如作为当作具有有形无形的价值的物品来收集、更换的对象。更具体而言,服务控制部112基于用户的行为检测结果对各用户赋予分数,用户收集该分数并更换为一些有价物(例如可以是实体的商品,也可以是如能够在社交媒体中使用的网络形象那样的虚拟的商品),或也可以竞争所拥有的分数的多少。以下,对那样内容的几个例子进行说明。
(分数赋予率的调整)
例如,服务控制部112也可以根据成为检测对象的行为的时间上的或者空间上的序列以不同的赋予率对用户给予与行为相应的分数。例如,在对移动的行为给予分数的情况下,也可以若移动距离相同,则与行走移动的行为(与移动相对应的时间上的序列较长)相比对跑动移动的行为(与移动相对应的时间上的序列较短)给予较高的分数。另外,例如,在对单板滑雪的滑降中的跳跃给予分数的情况下,也可以对旋转角度大的跳跃(与跳跃相对应的空间上的序列较大)给予更高的分数。此外,分数赋予率也可以根据与时刻、位置等上下文信息的组合作进一步调整。
(合作来实现的行为)
例如,服务控制部112也可以包含行为的时间上的或者空间上的序列来定义,对由多个用户构成的团队合作来实现的行为给予分数。更具体而言,例如,也可以给予“由5人的团队每周通过慢跑消耗5000kcal以上”(在该情况下,“每周”的部分相当于时间上的序列)这样的任务行为,在根据对每一个用户检测出的行为,判定为通过5个人的慢跑的消耗卡路里超过了5000kcal的情况下,对5名用户的每人给予分数。
(针对行为检测结果的投注)
例如,服务控制部112也可以针对每天行走的步数、单板滑雪的滑降中的跳跃的高度等能够在用户间竞争的行为的检测结果,更具体而言是根据行为的时间上的或者空间上的序列计算的得分,进行由用户进行的分数的投注。更具体而言,例如,用户预测自己以外的用户中有关行为的检测结果成为第一的用户并投注分数。例如,也可以在每天、规定的次数的滑降等行为检测的结束后,对预测猜中的用户,根据赔率赋予分数。这样的投注例如也可以由在相同的位置执行行为的多个用户来实施,也可以是多名用户经由社交媒体等参加。
(5.硬件结构)
接下来,参照图23,对本公开的实施方式的信息处理装置的硬件结构进行说明。图23是表示本公开的实施方式的信息处理装置的硬件结构例的框图。
信息处理装置900包含CPU(CentralProcessingunit)901、ROM(ReadOnlyMemory:只读存储器)903、以及RAM(RandomAccessMemory:随机存储器)905。另外,信息处理装置900也可以包含主机总线907、桥接器909、外部总线911、接口913、输入装置915、输出装置917、存储装置919、驱动器921、连接端口923、通信装置925。并且,信息处理装置900也可以根据需要,包含拍摄装置933、以及传感器935。信息处理装置900也可以代替CPU901、或者与其一起具有DSP(DigitalSignalProcessor:数字信号处理器)、ASIC(ApplicationSpecificIntegratedCircuit:专用集成电路)、或者FPGA(Field-ProgrammableGateArray:现场可编程门阵列)等处理电路。
CPU901作为运算处理装置以及控制装置发挥作用,根据ROM903、RAM905、存储装置919、或者可移动记录介质927所记录的各种程序,来控制信息处理装置900内的动作全部或者其一部分。ROM903存储CPU901所使用的程序、运算参数等。RAM905临时存储在CPU901的执行中使用的程序、在该执行中适当地变化的参数等。CPU901、ROM903、以及RAM905通过由CPU总线等内部总线构成的主机总线907相互连接。并且,主机总线907经由桥接器909,与PCI(PeripheralComponentInterconnect/Interface:***组件互连/接口)总线等外部总线911连接。
输入装置915例如是鼠标、键盘、触摸面板、按钮、开关以及操作杆等由用户操作的装置。输入装置915例如是可以利用了红外线、其它的电波的遥控装置,也可以是与信息处理装置900的操作对应的移动电话等外部连接设备929。输入装置915包含基于用户输入的信息生成输入信号并输出至CPU901的输入控制电路。用户通过操作该输入装置915,对信息处理装置900输入各种数据或指示处理动作。
输出装置917由能够将获取到的信息使用视觉、听觉、触觉等感觉通知给用户的装置构成。输出装置917例如可以是LCD(LiquidCrystalDisplay:液晶显示器)或者有机EL(Electro-Luminescence:电致发光)显示器等显示装置、扬声器或者耳机等声音输出装置、或振动器等。输出装置917将通过信息处理装置900的处理得到的结果作为文本或图像等映像、声音或声响等声音、或者振动等输出。
存储装置919是构成为信息处理装置900的存储部的一个例子的数据储存用的装置。存储装置919例如由HDD(HardDiskDrive:硬盘驱动器)等磁存储部设备、半导体存储设备、光存储设备、或者光磁存储设备等构成。存储装置919例如储存CPU901所执行的程序、各种数据、以及从外部获取到的各种数据等。
驱动器921是用于磁盘、光盘、光磁盘、或者半导体存储器等可移动记录介质927的读写器,内置或者外置于信息处理装置900。驱动器921读出安装的可移动记录介质927所记录的信息,并输出至RAM905。另外,驱动器921对安装的可移动记录介质927写入记录。
连接端口923是用于将设备连接到信息处理装置900的端口。连接端口923例如可以是USB(UniversalSerialBus:通用串行总线)端口、IEEE1394端口、SCSI(SmallComputerSystemInterface:小型计算机***接口)端口等。另外,连接端口923也可以是RS-232C端口、光纤音频端子、HDMI(注册商标)(High-DefinitionMultimediaInterface:高清晰度多媒体接口)端口等。在连接端口923连接外部连接设备929,从而能够在信息处理装置900与外部连接设备929之间交换各种数据。
通信装置925例如是由用于与通信网络931连接的通信设备等构成的通信接口。通信装置925例如可以是有线或者无线的LAN(LocalAreaNetwork:局域网),Bluetooth(注册商标)、NFC(NearFieldCommunication:近场通信)、或者WUSB(WirelessUSB:无线USB)用的通信卡等。另外,通信装置925也可以是光通信用的路由器、ADSL(AsymmetricDigitalSubscriberLine:非对称数字用户线)用的路由器、或者各种通信用的调制解调器等。通信装置925例如在与网络、其它通信设备之间,使用TCP/IP等规定的协议收发信号等。另外,与通信装置925连接的通信网络931是通过有线或者无线连接的网络,例如,可以包含网络、家庭内LAN、红外线通信、无线电波通信或者卫星通信等。
拍摄装置933例如是使用CMOS(ComplementaryMetalOxideSemiconductor:互补金属氧化物半导体)或者CCD(ChargeCoupledDevice:电荷耦合器件)等拍摄元件、以及用于控制针对拍摄元件的被拍摄体像的成像的透镜等各种部件来拍摄实际空间,并生成拍摄图像的装置。拍摄装置933可以拍摄静态图像,另外也可以拍摄动态图像。
传感器935例如是加速度传感器、角速度传感器、地磁传感器、照度传感器、温度传感器、气压传感器、压力传感器、距离传感器、或者声音传感器(麦克风)等各种传感器。传感器935例如获取信息处理装置900的壳体的姿势等与信息处理装置900本身的状态相关的信息、信息处理装置900的周边的亮度、噪声等与信息处理装置900的周边环境相关的信息。另外,传感器935也可以包含接收GNSS(GlobalNavigationSatelliteSystem:全球导航卫星***)信号来测定装置的纬度、经度以及高度的GNSS接收器。
以上,表示了信息处理装置900的硬件结构的一个例子。上述各构成要素可以使用通用的部件构成,也可以由针对各构成要素的功能的硬件结构。这样的结构可以根据实施时的技术水平适当地变更。
(6.补充)
本公开的实施方式例如可以包含通过在上述说明的信息处理装置、***、信息处理装置或者***执行的信息处理方法、用于使信息处理装置发挥作用的程序、以及不是暂时记录了程序的有形的介质。
以上,参照附图对本公开的优选的实施方式详细地进行了说明,但本公开的技术范围并不限定于这样的例子。很明显若是具有本公开的技术领域中的普通知识的人,则能够在权利要求书所记载的技术的思想的范畴内,想到各种变更例或者修正例,可知对于这些当然也属于本公开的技术范围。
另外,本说明书所记载的效果并不只限定于说明的或者例示的内容。即,本公开的技术可以与上述效果一起、或者代替上述效果,起到根据本说明书的记载对本领域技术人员来说明显的其它效果。
此外,以下所示的结构也属于本公开的技术范围。
(1)一种信息处理装置,具备:
信息获取部,其获取表示检测出的用户的行为的行为信息;以及
内容提供部,其提供根据上述行为的时间上的或者空间上的序列展开的内容。
(2)根据上述(1)所述的信息处理装置,上述内容提供部提供指定上述空间上的序列所包含的位置和应在该位置检测的任务行为的游戏内容。
(3)根据上述(2)所述的信息处理装置,上述内容提供部将包含显示上述位置和上述任务行为的对象的游戏画面与产生上述行为的实际空间相重叠地提示给上述用户。
(4)上述(3)所述的信息处理装置,上述游戏画面包含显示有关第一用户的上述位置的对象、显示有关与上述第一用户不同的第二用户的上述位置的对象、以及显示上述第二用户的对象。
(5)根据上述(2)~(4)中任一项所述的信息处理装置,上述内容提供部基于上述用户的环境状态来预测上述空间的序列。
(6)根据上述(5)所述的信息处理装置,上述内容提供部基于上述游戏内容开始时的上述用户的环境状态来决定上述空间上的序列的长度。
(7)根据上述(5)或者(6)所述的信息处理装置,上述内容提供部基于拍摄上述用户的周边所得的图像来识别上述环境状态。
(8)根据上述(5)~(7)中任一项所述的信息处理装置,上述内容提供部基于上述用户的位置信息和地图信息来识别上述环境状态。
(9)根据上述(1)~(8)中任一项所述的信息处理装置,上述内容提供部提供指定上述时间上的序列所包含的时刻、和在该时刻应检测的任务行为的游戏内容。
(10)根据上述(9)所述的信息处理装置,上述内容提供部将包含显示上述时刻和上述任务行为的对象的游戏画面,以与产生上述行为的实际空间重叠的方式提示给上述用户。
(11)根据上述(9)或者(10)所述的信息处理装置,上述内容提供部基于上述用户的环境状态来预测上述时间上的序列。
(12)根据上述(11)所述的信息处理装置,上述内容提供部基于上述游戏内容的开始时的上述用户的环境状态来决定上述时间上的序列的长度。
(13)根据上述(11)或者(12)所述的信息处理装置,上述内容提供部基于上述用户的时间表来识别上述环境状态。
(14)根据上述(11)~(13)中任一项所述的信息处理装置,其特征在于,
上述时间上的序列与乐曲建立对应关系,
上述内容提供部将上述乐曲与上述游戏内容一起提供给上述用户。
(15)根据上述(1)~(14)中任一项所述的信息处理装置,上述内容提供部提供根据上述行为的时间上的或者空间上的序列情节展开的内容。
(16)根据上述(1)~(15)中任一项所述的信息处理装置,上述内容提供部提供根据上述行为的时间上的或者空间上的序列来决定角色或者虚拟人格的属性的内容。
(17)根据上述(1)~(16)中任一项所述的信息处理装置,上述内容提供部提供根据上述行为的时间上的或者空间上的序列来决定舞台设定的内容。
(18)根据上述(1)~(17)中任一项所述的信息处理装置,上述内容提供部提供能够进行针对根据上述行为的时间上的或者空间上的序列计算的得分的其它用户的投注的内容。
(19)一种信息处理方法,其包含:
获取表示检测出的用户的行为的行为信息;以及
处理器提供根据上述行为的时间上的或者空间上的序列展开的内容。
(20)一种程序,其用于使计算机实现如下功能:
获取表示检测出的用户的行为的行为信息的功能;以及
提供根据上述行为的时间上的或者空间上的序列展开的内容的功能。
图中符号说明:
100…信息处理装置;101…发送部;102…接收部;103…传感器设备控制部;104…传感器数据解析部;105…特征量提取部;106…行为检测部;107…解析结果处理部;108…聚类处理部;109…评分处理部;112…服务控制部。

Claims (20)

1.一种信息处理装置,其特征在于,具备:
信息获取部,其获取表示检测出的用户的行为的行为信息;以及
内容提供部,其提供根据上述行为的时间上的或者空间上的序列展开的内容。
2.根据权利要求1所述的信息处理装置,其特征在于,
上述内容提供部提供指定上述空间上的序列所包含的位置和在该位置应检测的任务行为的游戏内容。
3.根据权利要求2所述的信息处理装置,其特征在于,
上述内容提供部将包含显示上述位置和上述任务行为的对象的游戏画面,以重叠于产生上述行为的实际空间的方式提示给上述用户。
4.根据权利要求3所述的信息处理装置,其特征在于,
上述游戏画面包含显示有关第一用户的上述位置的对象、显示有关与上述第一用户不同的第二用户的上述位置的对象、以及显示上述第二用户的对象。
5.根据权利要求2所述的信息处理装置,其特征在于,
上述内容提供部基于上述用户的环境状态来预测上述空间上的序列。
6.根据权利要求5所述的信息处理装置,其特征在于,
上述内容提供部基于上述游戏内容开始时的上述用户的环境状态来决定上述空间上的序列的长度。
7.根据权利要求5所述的信息处理装置,其特征在于,
上述内容提供部基于拍摄上述用户的周边所得的图像来识别上述环境状态。
8.根据权利要求5所述的信息处理装置,其特征在于,
上述内容提供部基于上述用户的位置信息和地图信息来识别上述环境状态。
9.根据权利要求1所述的信息处理装置,其特征在于,
上述内容提供部提供指定上述时间上的序列所包含的时刻、和在该时刻应检测的任务行为的游戏内容。
10.根据权利要求9所述的信息处理装置,其特征在于,
上述内容提供部将包含显示上述时刻和上述任务行为的对象的游戏画面,以重叠于产生上述行为的实际空间的方式提示给上述用户。
11.根据权利要求9所述的信息处理装置,其特征在于,
上述内容提供部基于上述用户的环境状态来预测上述时间上的序列。
12.根据权利要求11所述的信息处理装置,其特征在于,
上述内容提供部基于上述游戏内容开始时的上述用户的环境状态来决定上述时间上的序列的长度。
13.根据权利要求11所述的信息处理装置,其特征在于,
上述内容提供部基于上述用户的时间表来识别上述环境状态。
14.根据权利要求11所述的信息处理装置,其特征在于,
上述时间上的序列与乐曲建立对应关系,
上述内容提供部将上述乐曲与上述游戏内容一起提供给上述用户。
15.根据权利要求1所述的信息处理装置,其特征在于,
上述内容提供部提供根据上述行为的时间上的或者空间上的序列展开情节的内容。
16.根据权利要求1所述的信息处理装置,其特征在于,
上述内容提供部提供根据上述行为的时间上的或者空间上的序列来决定角色或者虚拟人格的属性的内容。
17.根据权利要求1所述的信息处理装置,其特征在于,
上述内容提供部提供根据上述行为的时间上的或者空间上的序列来决定舞台设定的内容。
18.根据权利要求1所述的信息处理装置,其特征在于,
上述内容提供部提供能够进行针对根据上述行为的时间上的或者空间上的序列计算的得分的其它用户的投注的内容。
19.一种信息处理方法,其特征在于,包含:
获取表示检测出的用户的行为的行为信息;以及
处理器提供根据上述行为的时间上的或者空间上的序列展开的内容。
20.一种程序,其特征在于,
用于使计算机实现如下功能:
获取表示检测出的用户的行为的行为信息的功能;以及
提供根据上述行为的时间上的或者空间上的序列展开的内容的功能。
CN201511009188.7A 2015-01-05 2015-12-29 信息处理装置、信息处理方法以及程序 Active CN105759953B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015000415 2015-01-05
JP2015-000415 2015-01-05

Publications (2)

Publication Number Publication Date
CN105759953A true CN105759953A (zh) 2016-07-13
CN105759953B CN105759953B (zh) 2020-04-21

Family

ID=56342227

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201521117699.6U Expired - Fee Related CN205730297U (zh) 2015-01-05 2015-12-29 信息处理装置
CN201511009188.7A Active CN105759953B (zh) 2015-01-05 2015-12-29 信息处理装置、信息处理方法以及程序

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201521117699.6U Expired - Fee Related CN205730297U (zh) 2015-01-05 2015-12-29 信息处理装置

Country Status (5)

Country Link
US (1) US20170352226A1 (zh)
EP (1) EP3243557B1 (zh)
JP (1) JP6658545B2 (zh)
CN (2) CN205730297U (zh)
WO (1) WO2016111067A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110180189A (zh) * 2019-06-14 2019-08-30 广州好酷信息科技有限公司 一种基于游戏游艺设备的积分排名方法及***
CN114073514A (zh) * 2020-08-14 2022-02-22 卡西欧计算机株式会社 信息处理装置、跑步指标导出方法以及存储介质

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6914049B2 (ja) * 2017-02-15 2021-08-04 清水建設株式会社 構造物可視化装置及び構造物可視化システム
JP2018171279A (ja) * 2017-03-31 2018-11-08 株式会社愛和ライト 情報処理装置及び情報処理システム
JP7424974B2 (ja) * 2018-06-11 2024-01-30 本田技研工業株式会社 動作評価システム
JP7424973B2 (ja) * 2018-06-11 2024-01-30 本田技研工業株式会社 報知システム
US10555058B2 (en) * 2018-06-27 2020-02-04 Aktiebolaget Skf Wireless condition monitoring sensor with near field communication commissioning hardware
JP2020092910A (ja) * 2018-12-13 2020-06-18 株式会社ドリコム 情報処理システム、情報処理方法および情報処理プログラム
US11210772B2 (en) 2019-01-11 2021-12-28 Universal City Studios Llc Wearable visualization device systems and methods
US20220044450A1 (en) * 2019-02-26 2022-02-10 Maxell, Ltd. Video display device and video display method
JP6990735B2 (ja) 2020-03-27 2022-01-12 株式会社バンダイ プログラム、端末、ゲームシステム及びゲーム管理装置
JP7185670B2 (ja) * 2020-09-02 2022-12-07 株式会社スクウェア・エニックス ビデオゲーム処理プログラム、及びビデオゲーム処理システム
CN117232819B (zh) * 2023-11-16 2024-01-26 湖南大用环保科技有限公司 基于数据分析的阀体综合性能测试***

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000353249A (ja) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実空間における指示表示及び指示表示方法
JP2007007081A (ja) * 2005-06-29 2007-01-18 Namco Bandai Games Inc ゲームシステム、楽音生成システム、曲選択システム、プログラム及び情報記憶媒体
US20070074619A1 (en) * 2005-10-04 2007-04-05 Linda Vergo System and method for tailoring music to an activity based on an activity goal
JP2009018127A (ja) * 2007-07-13 2009-01-29 Panasonic Corp 学習支援装置および学習支援方法
JP2010240185A (ja) * 2009-04-07 2010-10-28 Kanazawa Inst Of Technology 動作学習支援装置
CN102133482A (zh) * 2010-01-25 2011-07-27 曼苏尔·阿里·艾哈迈迪 基于实时和用户位置的游戏***
JP2012095914A (ja) * 2010-11-04 2012-05-24 Ns Solutions Corp ゴルフプレイヤー支援システム、ユーザ端末装置、ゴルフプレイヤー支援方法及びプログラム
JP2012239719A (ja) * 2011-05-20 2012-12-10 Konami Digital Entertainment Co Ltd ゲーム装置、ゲーム制御方法、ならびに、プログラム
CN102906623A (zh) * 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
US20140073481A1 (en) * 2012-09-11 2014-03-13 Casio Computer Co., Ltd. Exercise support apparatus, exercise support method and exercise support program
US20140128144A1 (en) * 2012-11-08 2014-05-08 Audible, Inc. In-vehicle gaming system for passengers
CN104008296A (zh) * 2014-06-08 2014-08-27 蒋小辉 将视频转化为游戏的方法和一种视频类游戏及其实现方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008538295A (ja) * 2005-01-10 2008-10-23 アイポイント リミテッド 体力トレーニング用音楽ペースメーカー
US20060288846A1 (en) * 2005-06-27 2006-12-28 Logan Beth T Music-based exercise motivation aid
US20070254271A1 (en) * 2006-04-28 2007-11-01 Volodimir Burlik Method, apparatus and software for play list selection in digital music players
US9317660B2 (en) * 2011-03-31 2016-04-19 Adidas Ag Group performance monitoring system and method
US9155964B2 (en) * 2011-09-14 2015-10-13 Steelseries Aps Apparatus for adapting virtual gaming with real world information
US8847988B2 (en) * 2011-09-30 2014-09-30 Microsoft Corporation Exercising applications for personal audio/visual system
DE202013103775U1 (de) * 2012-08-23 2013-09-05 Jakub Jirus Konditions- und/oder Fitnessgerät
JP2014174589A (ja) * 2013-03-06 2014-09-22 Mega Chips Corp 拡張現実システム、プログラムおよび拡張現実提供方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000353249A (ja) * 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実空間における指示表示及び指示表示方法
JP2007007081A (ja) * 2005-06-29 2007-01-18 Namco Bandai Games Inc ゲームシステム、楽音生成システム、曲選択システム、プログラム及び情報記憶媒体
US20070074619A1 (en) * 2005-10-04 2007-04-05 Linda Vergo System and method for tailoring music to an activity based on an activity goal
JP2009018127A (ja) * 2007-07-13 2009-01-29 Panasonic Corp 学習支援装置および学習支援方法
JP2010240185A (ja) * 2009-04-07 2010-10-28 Kanazawa Inst Of Technology 動作学習支援装置
CN102133482A (zh) * 2010-01-25 2011-07-27 曼苏尔·阿里·艾哈迈迪 基于实时和用户位置的游戏***
CN102906623A (zh) * 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
JP2012095914A (ja) * 2010-11-04 2012-05-24 Ns Solutions Corp ゴルフプレイヤー支援システム、ユーザ端末装置、ゴルフプレイヤー支援方法及びプログラム
JP2012239719A (ja) * 2011-05-20 2012-12-10 Konami Digital Entertainment Co Ltd ゲーム装置、ゲーム制御方法、ならびに、プログラム
US20140073481A1 (en) * 2012-09-11 2014-03-13 Casio Computer Co., Ltd. Exercise support apparatus, exercise support method and exercise support program
JP2014054303A (ja) * 2012-09-11 2014-03-27 Casio Comput Co Ltd 運動支援装置、運動支援方法及び運動支援プログラム
US20140128144A1 (en) * 2012-11-08 2014-05-08 Audible, Inc. In-vehicle gaming system for passengers
CN104008296A (zh) * 2014-06-08 2014-08-27 蒋小辉 将视频转化为游戏的方法和一种视频类游戏及其实现方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110180189A (zh) * 2019-06-14 2019-08-30 广州好酷信息科技有限公司 一种基于游戏游艺设备的积分排名方法及***
CN110180189B (zh) * 2019-06-14 2022-10-21 广州好酷信息科技有限公司 一种基于游戏游艺设备的积分排名方法及***
CN114073514A (zh) * 2020-08-14 2022-02-22 卡西欧计算机株式会社 信息处理装置、跑步指标导出方法以及存储介质
CN114073514B (zh) * 2020-08-14 2024-01-26 卡西欧计算机株式会社 信息处理装置、跑步指标导出方法以及存储介质

Also Published As

Publication number Publication date
EP3243557B1 (en) 2020-03-04
US20170352226A1 (en) 2017-12-07
EP3243557A4 (en) 2018-05-30
CN205730297U (zh) 2016-11-30
JP6658545B2 (ja) 2020-03-04
CN105759953B (zh) 2020-04-21
WO2016111067A1 (ja) 2016-07-14
JPWO2016111067A1 (ja) 2017-10-12
EP3243557A1 (en) 2017-11-15

Similar Documents

Publication Publication Date Title
CN205730297U (zh) 信息处理装置
EP3243554B1 (en) Information processing device, information processing method, and program
US11176731B2 (en) Field of view (FOV) throttling of virtual reality (VR) content in a head mounted display
CN112805750A (zh) 跨现实***
CN116348918A (zh) 对扩展现实***的推荐
CN105229571A (zh) 自然用户接口滚动和瞄准
CN105377383A (zh) 在头戴式显示器上转变游戏过程
US10139901B2 (en) Virtual reality distraction monitor
KR20200100046A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
CN107590859A (zh) 一种混合现实画面处理方法及服务设备
US10953329B2 (en) Contextual and differentiated augmented-reality worlds
US11302049B2 (en) Preventing transition shocks during transitions between realities
CN110348370B (zh) 一种人体动作识别的增强现实***及方法
Gavrilă et al. Towards the development of a medical rehabilitation system
CN112245910B (zh) 一种基于Quest头显的建模、极限运动方法和***
TWI842024B (zh) 合併來自地圖建立裝置之局部地圖
US20240045496A1 (en) Improving accuracy of interactions for gaze-enabled ar objects when in motion
WO2023245089A2 (en) System and method for treasure hunting game
CN117122910A (zh) 用于将真实世界声音添加到虚拟现实场景的方法和***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant