CN105759954A - 信息处理装置、信息处理方法以及程序 - Google Patents

信息处理装置、信息处理方法以及程序 Download PDF

Info

Publication number
CN105759954A
CN105759954A CN201511009375.5A CN201511009375A CN105759954A CN 105759954 A CN105759954 A CN 105759954A CN 201511009375 A CN201511009375 A CN 201511009375A CN 105759954 A CN105759954 A CN 105759954A
Authority
CN
China
Prior art keywords
mentioned
information
behavior
user
behavioural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201511009375.5A
Other languages
English (en)
Inventor
松泽庄太
小形崇
大久保仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105759954A publication Critical patent/CN105759954A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3453Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3484Personalized, e.g. from learned user behaviour or user-defined profiles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/10Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people together with the recording, indicating or registering of other data, e.g. of signs of identity
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10Map spot or coordinate position indicators; Map reading aids

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Business, Economics & Management (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Educational Administration (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Mathematical Physics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Automation & Control Theory (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)

Abstract

本发明涉及信息处理装置、信息处理方法以及程序,能够基于用户的行为的检测结果给用户带来各种便益。该信息处理装置具备信息获取部,其获取用户的行为信息、与上述行为信息建立关联的空间信息以及时间信息;以及地图表现处理部,其在执行基于上述空间信息的上述行为信息的地图表现时考虑上述时间信息。

Description

信息处理装置、信息处理方法以及程序
技术领域
本发明涉及信息处理装置、信息处理方法以及程序。
背景技术
提出各种例如基于由安装在用户上的传感器提供的传感器数据来检测用户的各种行动的技术。例如,专利文献1中公开了一种信息处理装置,该信息处理装置具有专门用于通过传感器数据的阈值处理所识别出的用户的行动中的特定行动的多个行动判定部,并基于各个行动判定部中的判定结果来生成行动信息。
专利文献1:日本特开2010-198595号公报
例如通过专利文献1所记载的那样的技术所检测的用户的行动(行为)并不限于信息的生成而可能有各种活用的方法。然而,这样的活用的方法不一定能说到目前为止充分提出来。
发明内容
因此,在本公开中提出能够基于用户的行为的检测结果给用户带来各种便利的新颖、改进的信息处理装置、信息处理方法以及程序。
根据本公开,提供一种信息处理装置,该信息处理装置具备信息获取部,其获取用户的行为信息、与上述行为信息建立关联的空间信息以及时间信息;以及地图表现处理部,其在执行基于上述空间信息的上述行为信息的地图表现时考虑上述时间信息。
另外,根据本公开,提供一种信息处理方法,该信息处理方法包括获取用户的行为信息、与上述行为信息建立关联的空间信息以及时间信息;以及处理器在执行基于上述空间信息的上述行为信息的地图表现时考虑上述时间信息。
另外,根据本公开,提供一种程序,用于使计算机实现如下的功能的程序:获取用户的行为信息、与上述行为信息建立关联的空间信息以及时间信息的功能;以及在执行基于上述空间信息的上述行为信息的地图表现时考虑上述时间信息。
如以上说明那样根据本公开,能够基于用户的行为的检测结果给用户带来各种便利。
此外,上述的效果不旨在必然是限制性的,并且与上述的效果一起或取代所述效果,此处阐述的任意效果或能够根据本说明书理解的其它效果也可以实现。
附图说明
图1是表示本公开的一实施方式所涉及的信息处理装置的示意的功能构成的框图。
图2是表示本公开的一实施方式中,用于检测用户的行为所包括的跳跃的处理的第1例子的流程图。
图3是表示图2所示的高冲击检测处理的例子的流程图。
图4是表示图2所示的自由落体检测处理的第1例子的流程图。
图5是表示图2所示的自由落体检测处理的第2例子的流程图。
图6是表示在本公开的一实施方式中,用于检测用户的行为所包括的跳跃的处理的第2例子的流程图。
图7是表示图6所示的候补区间检测处理的例子的流程图。
图8是表示图7所示的铅垂方向加速度计算处理的例子的流程图。
图9是表示图7所示的水平方向加速度计算处理的例子的流程图。
图10是表示本公开的一实施方式中,用于检测用户的行为所包括的转动区间的处理的例子的流程图。
图11是表示图10所示的旋转区间检测处理的例子的流程图。
图12是表示图10所示的摇头检测处理的例示流程图。
图13是表示图10所示的转动检测处理的例子的流程图。
图14是表示在本公开的一实施方式中,用于推定传感器安装状态的处理的例子的框图。
图15是表示包括本公开的一实施方式中的行为信息的地图表现的几个例子的处理的流程图。
图16是表示本公开的一实施方式中的行为信息的地图表现的第1例子的图。
图17是表示在图16所示的例子中,地图表现实时变化的例子的图。
图18是表示本公开的一实施方式中的行为信息的地图表现的第2例子的图。
图19是表示本公开的一实施方式中的安全地图生成的例子的图。
图20是用于对本公开的一实施方式中的考虑了技能等级以及行为履历的导航的例子进行说明的图。
图21是用于对本公开的一实施方式中的行为检测设定的变更的例子进行说明的图。
图22是用于对本公开的一实施方式中的行为检测设定的变更的例子进行说明的图。
图23是表示本公开的实施方式所涉及的信息处理装置的硬件构成例子的框图。
图24是表示本公开的一实施方式所包含的设备控制的第1例子中的处理的流程图。
图25是用于进而对本公开的一实施方式所包含的设备控制的第1例子中所拍摄的图像或者影像进行说明的图。
图26是用于对本公开的一实施方式所包含的设备控制的第2例子进行说明的图。
图27是用于对本公开的一实施方式所包含的设备控制的第2例子进行说明的图。
图28是用于对本公开的一实施方式所包含的设备控制的第3例子进行说明的图。
图29是用于对本公开的一实施方式所包含的设备控制的第4例子进行说明的图。
图30是用于对本公开的一实施方式所包含的设备控制的第5例子进行说明的图。
图31是用于对本公开的一实施方式所包含的设备控制的第5例子进行说明的图。
图32是用于示意性地说明本公开的一实施方式所包含的设备控制的第6例子的图。
图33是表示本公开的一实施方式所包含的信息输出的第6例子中的处理的流程图。
图34是对用于阅览通过图33所示的处理所生成的自由视点影像的用户界面进行说明的图。
图35是表示公开的实施方式所涉及的信息处理装置的硬件构成例子的框图。
具体实施方式
以下参照添加附图,详细地对本公开的优选的实施方式进行说明。此外,在本说明书以及附图中,实际上具有相同的功能构成的构成要素通过附加同一符号来省略重复说明。
此外,说明按照以下的顺序进行。
1.信息处理装置的功能构成
2.行为检测处理的例子
2-1.跳跃的检测-1
2-2.跳跃的检测-2
2-3.转动的检测
3.附加的处理的例子
3-1.行为得分的计算
3-2.聚类处理
3-3.传感器安装状态的推定
4.地图表现的例子
4-1.地图表现的例子
4-2.安全地图的生成
4-3.导航的提供
4-4.行为检测设定的变更
4-5.设施等级的计算
5.硬件构成
6.补充
7.设备控制的例子
7-1.第1例子
7-2.第2例子
7-3.第3例子
7-4.第4例子
7-5.第5例子
7-6.第6例子
7-7.用户的简档
8.硬件构成
9.补充
(1.信息处理装置的功能构成)
图1是表示本公开的一实施方式所涉及的信息处理装置的示意的功能构成的框图。参照图1,信息处理装置100包括发送部101、接收部102、传感器设备控制部103、传感器数据解析部104、解析结果处理部107、检测区间信息保持部110、附加信息保持部111、以及服务控制部112。
信息处理装置100例如后述的几个具体的例子中所示,可以是构成网络上的服务器的单一装置或者装置的集合体。另外,信息处理装置100也可以是经由网络与服务器进行通信的终端装置或者单独进行动作的终端装置。或者,信息处理装置100的功能可以通过分散为经由网络相互进行通信的服务器和终端装置来实现。信息处理装置100或者实现信息处理装置100的功能的多个装置的各个的硬件构成后述。
发送部101以及接收部102通过例如利用有线或者无线的各种通信方式与传感器设备进行通信的通信装置来实现。传感器设备包括安装在用户或者被用户使用的器具上的至少一个传感器。发送部101将传感器设备控制部103输出的控制信号发送给传感器设备。接收部102从传感器设备接收传感器数据以及时刻信息(时间戳),并将它们输入至传感器设备控制部103。在图示的例子中,接收部102实现接收由安装在用户或者被用户使用的器具上的传感器提供的传感器数据的传感器数据接收部。此外,例如在信息处理装置100是具备至少一个传感器的终端装置,更具体而言是移动设备、可穿戴设备的情况下,也可以通过执行从传感器接收传感器数据的驱动程序CPU(CentralProcessingUnit)等处理器来实现传感器数据接收部。另外,本实施方式所涉及的信息处理装置例如也可以具有从具备传感器的外部装置获取传感器数据的获取部。此处,获取部例如通过执行“经由实现发送部101以及接收部102的上述通信装置等从具备传感器的外部装置接收传感器数据的驱动程序”的CPU等处理器来实现。此外,在具备获取部的情况下,本实施方式所涉及的信息处理装置也能够采用不具备传感器数据接收部的构成。
传感器设备控制部103通过例如CPU等处理器按照储存在存储器中的程序进行动作来实现。传感器设备控制部103从接收部102获取传感器数据以及时刻信息。传感器设备控制部103将这些数据提供给传感器数据解析部104以及解析结果处理部107。传感器设备控制部103也可以根据需要实现数据的预处理。另外,传感器设备控制部103将传感器设备的控制信号输出给发送部101。在几个实施方式中,传感器设备控制部103也可以基于传感器数据解析部104或者解析结果处理部107中的处理的结果的反馈来输出控制信号。
传感器数据解析部104通过例如CPU等处理器按照储存在存储器中的程序进行动作来实现。传感器数据解析部104执行使用了从传感器设备控制部103提供的传感器数据的各种解析。在图示的例子中,传感器数据解析部104包括特征量提取部105和行为检测部106。特征量提取部105从传感器数据提取各种特征量。行为检测部106基于由特征量提取部105从传感器数据提取出的特征量来检测用户的行为。在本实施方式中,行为检测部106检测的用户的行为包括用户的转动以及/或者跳跃。并且,行为检测部106也可以检测走、跑、静止、利用交通工具移动等这样的其它用户的行为。用户的行为能够与表示其产生的区间(行为区间)的时刻信息(时间戳)建立关联地检测。传感器数据解析部104将解析结果,更具体而言例如包括由行为检测部106检测出的用户的行为区间的信息储存于检测区间信息保持部110。另外,传感器数据解析部104将解析结果提供给解析结果处理部107。
解析结果处理部107通过例如CPU等处理器按照储存在存储器中的程序进行动作来实现。解析结果处理部107基于传感器数据解析部104的解析结果,更具体而言由行为检测部106检测出的用户的行为的信息来生成供后段的服务控制部112利用的各种附加信息。在图示的例子中,解析结果处理部107包括聚类处理部108和评分处理部109。例如在检测出的用户的行为包括相同的种类的多个行为的情况下,聚类处理部108可以基于该特征量(可以是由特征量提取部105提取出的特征量,也可以是由行为检测部106计算出的中间特征量)对这些行为进行聚类。另外,相同的情况下,评分处理部109可以基于特征量来计算表示行为的评价的得分。另外,聚类处理部108以及/或者评分处理部109也可以基于从传感器设备控制部103提供的传感器数据重新来计算特征量。解析结果处理部107将处理结果,更具体而言聚类处理部108的聚类的结果、由评分处理部109计算出的得分的信息与时刻信息(时间戳)一起储存于附加信息保持部111。
检测区间信息保持部110以及附加信息保持部111通过例如各种存储器或者记忆装置来实现。检测区间信息保持部110以及附加信息保持部111如上述那样暂时或者永久地储存从传感器数据解析部104以及解析结果处理部107提供的信息。储存在检测区间信息保持部110中的信息和储存在附加信息保持部111中的信息有可能能够例如通过时刻信息(时间戳)相互建立对应。另外,也可以在检测区间信息保持部110以及附加信息保持部111中储存与多个用户的各个有关的信息。
服务控制部112通过例如CPU等处理器按照储存在存储器中的程序进行动作来实现。服务控制部112利用储存在检测区间信息保持部110以及/或者附加信息保持部111中的信息来控制服务113。更具体而言,例如服务控制部112基于从检测区间信息保持部110以及/或者附加信息保持部111读出的信息来生成服务113中提供给用户的信息。此外,例如在信息处理装置100为服务器这样的情况下,由服务控制部112输出的信息能够经由通信装置发送给终端装置。另外,例如在信息处理装置100为终端装置这样的情况下,由服务控制部112输出的信息能够提供给终端装置具备的显示器、扬声器、或者振动器等输出装置。
(2.行为检测处理的例子)
以下,对本公开的一实施方式中所执行的行为检测处理的例子进行说明。在这些例子中检测用户单板滑雪的情况下产生的跳跃以及转动。例如单板滑雪的情况下,包括加速度传感器以及角速度传感器等的传感器设备可以通过埋入衣物中或者组装到可穿戴终端装置、移动终端装置中而直接安装在用户上。或者传感器设备也可以安装在单板滑雪的用具例如板上。
此外,本实施方式中执行的行为检测处理并不限于单板滑雪中产生的跳跃、转动,也可以例如对单板滑雪以外的运动所产生的跳跃、转动执行行为检测处理。跳跃、转动是能够在各种运动中共同产生的行为,所以例如通过以下说明的那样的检测处理,不管运动的种类都能够检测跳跃、转动。另外,也可以在本实施方式执行的行为检测处理中检测跳跃、转动以外的行为。在这种行为检测处理中能够应用例如日本特开2010-198595号公报等所记载的行动识别技术中所利用的各种技术。
(2-1.跳跃的检测-1)
图2是表示在本公开的一实施方式中,用于检测用户的行为所包括的跳跃的处理的第1例子的流程图。例如在上述的信息处理装置100所包含的传感器数据解析部104中执行图示的处理。
首先,传感器数据解析部104按照规定的时间帧执行高冲击检测处理(S110)和自由落体检测处理(S120)。此外,这些处理的详细后述。传感器数据解析部104所包含的行为检测部106接受这些处理的结果来判定是否产生夹在2个高冲击区间(推定为起跳以及着地)的区间(S101)。在产生这种区间的情况下,行为检测部106判定区间的持续时间(duration)是否处于2个阈值(TH1、TH2)之间(S102)。这些阈值例如在作为跳跃将判断为过长的区间、过短的区间除外的目的下设定。
S102的判定中持续时间处于2个阈值之间的情况下,行为检测部106还判定该区间中的自由落体区间的比率是否超过阈值(TH)(S103)。在自由落体区间的比率超过阈值的情况下,检测出该区间(夹在2个高冲击区间的区间)是跳跃区间(S104)。
图3是表示图2所示的高冲击检测处理(S110)的例子的流程图。参照图3,在高冲击检测处理中利用传感器数据所包含的加速度(D111)。首先,传感器数据解析部104所包括的特征量提取部105计算加速度的范数(S112),而且通过LPF(LowPassFilter:低通滤波器)对范数进行滤波(S113)。接着,特征量提取部105针对经过滤波的加速度的范数以规定的时间帧计算振幅的功率(S114)。行为检测部106判定功率是否高于阈值(TH)(S115),在功率高于阈值的情况下,检测出该时间帧为高冲击区间(S116)。
此外,在本说明书以及附图中记载为TH、TH1或者TH2等阈值在各个处理中设定适当的值。换句话说,这些阈值都记载为TH等并不是表示这些阈值是相同的值。
图4是表示图2所示的自由落体检测处理(S120)的第1例子的流程图。参照图4,在第1例子所涉及的自由落体检测处理中利用传感器数据所包含的加速度(D121)以及角速度(D125)。首先,特征量提取部105计算加速度的范数(S122),行为检测部106判定各区间中的范数是否低于阈值(TH)(S123)。行为检测部106针对加速度的范数低于阈值的区间检测出该区间是自由落体区间(S124)。
另一方面,特征量提取部105针对角速度也计算范数(S126),而且计算规定的时间帧中的范数的方差(S127)。行为检测部106判定角速度的范数的方差是否低于阈值(TH)(S128),在方差低于阈值的情况下,掩蔽S124中检测出的自由落体区间(换句话说,取消作为自由落体区间的判定)(S129)。基于这样的角速度的掩蔽处理根据由于在用户跳跃的情况下产生角速度的变化,所以角速度的变化(方差)较小的自由落体区间在跳跃以外的原因下产生这种见解。
此外,在上述的处理中,S126~S129中的掩蔽处理可以不必在S121~S124中的自由落体区间的判定处理之后执行。例如行为检测部106可以先行执行掩蔽处理,而针对被确定为掩蔽的区间的区间不执行自由落体区间的判定处理。或者,掩蔽的处理可以在图2所示的跳跃区间的检测处理(S104)之后执行,暂时掩蔽作为跳跃区间被检测出的区间。而且换句话说,图4等所示的自由落体处理(S120)无需必须在图2所示的区间的产生判定(S101)前执行,可以在区间的产生判定后,例如在与自由落体区间的比率有关的判定(S103)前,执行该区间自由落体检测处理。
图5是表示图2所示的自由落体检测处理(S120)的第2例子的流程图。参照图5,在第2例子所涉及的自由落体检测处理中利用由安装在用户或者被用户使用的器具上的加速度传感器提供的传感器数据所包含的加速度(D121)。在S122~S124中,特征量提取部105以及行为检测部106执行与上述的第1例子同样的处理,检测自由落体区间。
另一方面,在本例子中,特征量提取部105提取加速度的X轴成分以及Y轴成分(S132),而且计算加速度的X轴成分与Y轴成分之间的协方差(S133)。更具体而言,例如,在用户在基准面(并不限于水平面,可以是倾斜面)上走或跑的情况下,特征量提取部105将加速度传感器的坐标轴中与用户的行进方向最近的轴作为X轴、将与基准面的法线方向最近的轴作为Y轴,计算将与这些轴向的加速度成分(X轴成分、Y轴成分)的协方差。行为检测部106判定协方差是否低于阈值(TH)(S134),在协方差低于阈值的情况下,掩蔽S124中检测出的自由落体区间(S129)。基于这样的加速度的协方差的掩蔽处理例如在想要检测的跳跃并不是伴随专门基准面的法线方向的位移的所谓铅垂跳,而是伴随向用户的行进方向的位移的跳跃的情况下有效。
(2-2.跳跃的检测-2)
图6是表示本公开的一实施方式中,用于检测用户的行为所包括的跳跃的处理的第2例子的流程图。图示的处理与上述的第1例子同样地,例如在信息处理装置100所包含的传感器数据解析部104中执行。
首先,传感器数据解析部104执行候补区间检测处理(S140)。此外,该处理的详细后述。传感器数据解析部104所包括的行为检测部106接受处理的结果来判定是否产生候补区间(S105)。在产生候补区间的情况下,行为检测部106与上述的第1例子同样地,判定区间的持续时间(duration)是否处于2个阈值(TH1、TH2)之间(S102)。在持续时间处于2个阈值之间的情况下,行为检测部106进而判定区间中的铅垂方向以及水平方向的加速度的平均值(mean)是否超过各个阈值(THs)(S106)。在加速度的平均值超过各个阈值的情况下,检测出该候补区间为跳跃区间(S104)。
图7是表示图6所示的候补区间检测处理(S140)的例子的流程图。参照图7,在候补区间检测处理中,首先,执行上述参照图3所说明的高冲击检测处理(S110)、铅垂方向加速度计算处理(S141)、和水平方向加速度计算处理(S142)。并且,传感器数据解析部104所包括的特征量提取部105针对各区间,计算S141、S142中计算出的铅垂方向加速度与水平方向加速度的差量(S143)。之后,行为检测部106判定是否产生夹在2个高冲击区间(推定为起跳以及着地)的区间(S144)。在产生这种区间的情况下,行为检测部106判定S143中计算出的铅垂方向加速度与水平方向加速度的差量在该区间中是否超过阈值(TH)(S145)。在差量超过阈值的情况下,检测出该区间(夹在2个高冲击区间的区间)为跳跃区间的候补区间(S146)。
图8是表示图7所示的铅垂方向加速度计算处理(S141)的例子的流程图。参照图8,在铅垂方向加速度计算处理中利用传感器数据所包含的加速度(D151)。首先,传感器数据解析部104所包括的特征量提取部105计算加速度的平均值(mean)(S152)。此处计算的平均值例如可以是移动平均。特征量提取部105基于S152中计算出的加速度的平均值来执行重力成分加速度计算处理(S153)。并且,特征量提取部105计算计算出的重力成分加速度的范数(S154)。此外,重力成分加速度也可以基于移动平均等平均值来计算,也可以使用LPF等滤波器来计算。
另一方面,特征量提取部105与上述的S152~S154的处理不同地利用BPF(BandPassFilter:带通滤波器)处理加速度(D151)(S155)。在图示的例子中,BPF以通过低频区域的滤波器除去加速度所包含的DC成分(换句话说,重力成分),再通过高频区域的滤波器对加速度进行滤波为目的而使用。此外,S155的BPF可以通过例如LPF、HPF(HighPassFilter:高通滤波器)等其它种类的滤波器的组合来代替。特征量提取部105针对经过BPF处理后的加速度,计算与S153中计算出的重力成分加速度的内积(S156)。
并且,特征量提取部105将S156中计算出的内积除以S154中计算出的重力成分加速度的范数(S157)。由此,获得铅垂方向加速度(V158)。在图示的例子中,铅垂方向加速度通过将利用BPF(S155)除去重力成分的加速度向重力成分加速度的方向射影来计算。
图9是表示图7所示的水平方向加速度计算处理(S142)的例子的流程图。参照图9,在水平方向加速度计算处理中也利用传感器数据所包含的加速度(D151)。另外,在水平方向加速度计算处理中利用上述参照图8所说明的铅垂方向加速度计算处理(S141)中计算出的铅垂方向加速度。更具体而言,传感器数据解析部104所包括的特征量提取部105对铅垂方向加速度进行平方来利用(S161)。
另一方面,利用BPF处理特征量提取部加速度(D151)(S162),除去加速度所包含的DC成分,并且对加速度进行滤波。此外,S162的BPF也可以例如通过LPF、HPF等其它种类的滤波器的组合来代替。特征量提取部105计算经过BPF处理后的加速度的范数(S163),并对该范数进行平方(S164)。并且,特征量提取部105计算S161中计算出的铅垂方向加速度的平方与S164中计算出的水平方向加速度的平方的差量(S165),并通过差量的平方根(S166)来获得水平方向加速度(V167)。
在以上说明的那样的本公开的一实施方式的跳跃检测中,跳跃检测的第1例子(图2)中自由落体检测处理采用第1例子(图4)的情况、同样地跳跃检测的第1例子(图2)中自由落体检测处理采用第2例子(图5)的情况、以及跳跃检测的第2例子(图6)的情况能够进行合计3种跳跃检测处理。包括行为检测部106的传感器数据解析部104可以分别执行这3种跳跃检测处理后,基于它们的结果来检测最终的跳跃区间。更具体而言,例如,行为检测部106可以在3种跳跃检测处理中的至少一个检测出跳跃区间的情况下,检测该区间作为最终的跳跃区间。或者,行为检测部106也可以在3种跳跃检测处理中的2个以上或者3种全部中检测出跳跃区间的情况下,检测该区间作为最终的跳跃区间。
(2-3.转动的检测)
图10是表示本公开的一实施方式中,用于检测用户的行为所包含的转动区间的处理的例子的流程图。例如在上述的信息处理装置100所包括的传感器数据解析部104中执行图示的处理。在以下的处理中,传感器数据解析部104检测用户的行为所包含的旋转(S210),还检测该旋转所包含的非转动性的旋转(S230),从旋转除去非转动性的旋转的旋转中检测转动(S250)。
此处,非转动性的旋转例如包含在传感器包括被安装在用户的头部或者安装于用户的头部的器具上的传感器的情况下,因用户的摇头而产生的旋转。非转动性的旋转此外也可以包括因用户的体动而产生的旋转,更具体而言,在传感器包括被安装在用户的臂部或者安装于用户的臂部的器具的传感器的情况下,因用户的摆臂、转腕而产生的旋转等。
在本实施方式中,传感器数据解析部104通过在除了这种非转动性的旋转后再检测转动区间,能够进行更高精度的转动区间的检测。在这种意思下,非转动性的旋转可以说是针对作为检测对象的转动的噪声,在本实施方式中,可以说传感器数据解析部104检测用户的行为所包含的旋转,还检测该旋转所包含的噪声,从自旋转除去噪声之后的旋转中检测转动。
首先,传感器数据解析部104执行旋转区间检测处理(S210)。在本实施方式中,旋转区间被定义为水平面方向的角速度超过阈值的区间。传感器数据解析部104判定是否产生旋转区间(S201)。在产生旋转区间的情况下,首先,传感器数据解析部104执行摇头(HEADSHAKE)检测处理(S230)。并且,传感器数据解析部104判定是否检测出摇头(S203),在未检测出摇头的情况下,还执行转动检测处理(S250)。通过这样的处理,能够从旋转区间除了因用户的摇头(例如,传感器被搭载在头部佩戴型的可穿戴终端装置的情况下等产生的)而产生的区间,再提取旋转半径、角速度、持续时间等满足所希望的条件的转动区间。
图11是表示图10所示的旋转区间检测处理(S210)的例子的流程图。参照图11,在旋转区间检测处理中利用传感器数据所包含的加速度(D211)以及角速度(D214)。首先,传感器数据解析部104所包括的特征量提取部105计算加速度的平均值(mean)(S212)。此处计算的平均值例如可以是移动平均。特征量提取部105基于S212中计算出的加速度的平均值来执行重力成分加速度计算处理(S213)。并且,特征量提取部105计算S213中计算出的重力成分加速度与角速度(D214)的内积(S215)。由此,获得角速度向重力成分加速度的方向的射影,换句话说水平面方向(绕铅垂轴旋转)的角速度(V216)。
此处,特征量提取部105暂时对计算出的角速度进行积分(S217),计算水平面方向的角位移(V218)。特征量提取部105利用LPF对角位移进行处理(S219)。并且,特征量提取部105对角位移进行微分(S220)而成为水平面方向的角速度(V221)。V221的角速度与V218的角速度相比较,在S217中暂时进行积分,进而积分后的角位移在S219中经过LPF处理来进行滤波,从波形除去噪声。传感器数据解析部104所包含的行为检测部106判定水平面方向的角速度(V221)是否高于阈值(S222),并检测角速度高于阈值的区间作为旋转区间(S223)。
图12是表示图10所示的摇头检测处理(S230)的例子的流程图。参照图12,在摇头检测处理中利用图11所示的旋转区间检测处理中所计算出的、滤波后的水平面方向的角速度(V221)。特征量提取部105获取角速度的符号(S231)。针对旋转的方向的符号的定义可以是任意的,但在图示的例子中,作为角速度(V221)的符号,定义顺时针方向的旋转(V232)和逆时针方向的旋转(V233)。并且,特征量提取部105计算产生反向的旋转的时间间隔(S234)。换句话说,在图示的例子中,特征量提取部105计算从顺时针方向的旋转(V232)开始到产生逆时针方向的旋转(V233)为止的时间间隔、以及从产生逆时针方向的旋转(V233)开始到产生顺时针方向的旋转(V232)为止的时间间隔。行为检测部106判定S234中计算出的时间间隔是否低于阈值(TH)(S235),在时间间隔低于阈值的情况下,检测出产生摇头(S236)。
图13是表示图10所示的转动检测处理(S250)的例子的流程图。在转动检测处理中,由特征量提取部105计算多个特征量,行为检测部106基于各个特征量来实施基于阈值的判定。图13示出特征量提取部105用于计算各个特征量的处理。此外,以下的说明中按照顺序说明各个特征量的计算的处理,但特征量提取部105的处理可以不必按照说明的顺序执行,如果获取或者计算前提的量,则处理能够以任意的顺序执行。
首先,特征量提取部105计算传感器数据所包含的加速度(D251)的范数(S252),还计算规定的时间帧中的范数的平均值(S253)。这样计算出的加速度范数平均(V254)作为用于转动检测的特征量之一被利用。
另一方面,特征量提取部105利用第1LPF处理加速度(D251)(S273),计算重力成分加速度(V274)。并且,特征量提取部105计算传感器数据所包含的角速度(D255)与重力成分加速度的内积(S256)。由此,获得角速度向重力成分加速度的方向的射影,换句话说水平面方向(绕铅垂轴)的角速度(V257)。特征量提取部105对计算出的角速度进行积分(S258),来计算水平面方向的角位移(V259)。角位移(V259)也作为用于转动检测的特征量之一被利用。
并且,特征量提取部105基于角位移(V259)和成为处理的对象的旋转区间的持续时间(duration)(V260)来计算角速度(V261)。V261的角速度例如与D255的角速度相比,在更长的时间帧、例如能够在旋转区间整体进行滤波。旋转区间的持续时间(V260)以及角变化率(V261)也作为用于转动检测的特征量之一被利用。
另外,特征量提取部105针对规定的时间帧解析角位移(V259)(S262),来计算几个特征量。更具体而言,特征量提取部105计算时间帧内的角速度的最大值(S263、V268)、平均值(S264、V269)、方差(S265、V270)、峰度(S266、V271)、以及偏度(S267、V272)。这些特征量也作为用于转动检测的特征量被利用。
另一方面,特征量提取部105利用第2LPF处理加速度(D251)(S275)。在图示的例子中,相对于第1LPF(S273)用作提取加速度所包含的DC成分即重力成分加速度(V274),第2LPF(S275)用作对高频区域进行滤波来对加速度进行滤波。因此,这些LPF的通过频段设定可以不同。
特征量提取部105计算经过第2LPF(S275)滤波后的加速度与由第1LPF(S273)提取出的重力成分加速度(V274)的内积(S276)。由此,获得铅垂方向加速度(V277)。并且,特征量提取部105计算将重力成分加速度(V274)和铅垂方向加速度(V277)合成所得的加速度矢量的、与经过第2LPF(S275)滤波后的加速度的差量(S278)。由此,获得水平方向加速度(V279)。特征量提取部105计算水平方向加速度的平均值(S280)。这样计算出的水平方向加速度的平均值(V281)也作为用于转动检测的特征量被利用。
行为检测部106例如基于如上述那样从传感器数据提取的特征量来实施是否产生转动的判定。在图示的例子中,行为检测部106基于旋转区间的持续时间(V260)、水平面方向的角位移(V259)、被滤波的角速度(V261)、加速度范数平均(V254)、水平方向加速度的平均值(V281)、时间帧内的角速度的最大值(V268)、平均值(V269)、方差(V270)、峰度(V271)、以及偏度(V272)来实施判定。
此外,使用于判定的特征量并不限于上述的例子,例如可以使用上述的例子以外的特征量,也可以不使用上述的例子的特征量的一部分。例如也可以从能够从传感器数据提取的各种种类的特征量中,根据基于实际产生转动时的传感器数据的主成分分析来决定使用于转动检测的特征量的种类。或者,也可以基于实际产生转动时出现的传感器数据的趋势来决定使用于判定的特征量。例如,上述的例子中的加速度范数平均(V254)以及水平方向加速度的平均值(V281)是与转动的旋转半径有关系的特征量。
另外,行为检测部106的判定中所应用的各特征量的阈值例如根据基于实际产生转动时的传感器数据的机械学习的结果来决定。此时,实际是否产生转动例如可以参照与传感器数据同时获取的行为的影像手动决定。另外,并不仅仅是是否产生转动,也可以给予表示什么样的转动的标签。更具体而言,例如参照影像的结果可以在服务提供者侧,针对作为转动想要检测、作为转动不想要检测,或者判定为哪个都可以的行为,给予表示各个的属性的标签。
以上,对本公开的一实施方式中所执行的行为检测处理的几个例子进行了说明。如已经说明那样,本实施方式中所执行的行为检测处理并不限于单板滑雪中产生的跳跃、转动,例如可以对单板雪以外的运动,或者运动以外的场景产生的跳跃、转动行为执行检测处理。另外,本实施方式中所执行的行为检测处理中可以检测跳跃、转动以外的行为。作为一个例子,行为检测部106可以检测单板滑雪等中产生的跌倒。该情况下,特征量提取部105也可以与上述的跳跃、转动的检测同样地计算加速度的范数,而行为检测部106在加速度的范数高于阈值(例如可以是通常的滑行中不产生的程度的大的值)的情况下检测出跌倒的产生。
(3.附加的处理的例子)
(3-1.行为得分的计算)
例如,解析结果处理部107所包含的评分处理部109针对包括通过上述参照图2~图13所说明那样的处理所检测的跳跃区间以及/或者转动区间的行为区间,计算评价产生的行为的得分(行为得分)。行为得分能够通过例如从行为区间中的传感器数据提取表示行为的好坏、特征的物理量(特征量),并将它们加权相加来计算。服务控制部112基于这样计算出的得分来生成与行为(例如跳跃或者转动)有关的信息。
例如,跳跃区间的情况下,能够提取区间的持续时间(duration)、区间中的绕X轴/Y轴/Z轴的角位移)、自由落体区间的比例、起跳时/着地时的冲击的大小等,作为用于计算得分的特征量。另外,例如,转动区间的情况下,能够提取区间的持续时间、位移角、各速度的平均值、最大值、以及标准偏差、角加速度的最大值以及标准偏差等,作为用于计算得分的特征量。
此外,加权相加的系数能够例如根据由信息处理装置100提供的服务113中被重视的行为的性质来设定。另外,用于从特征量计算行为的得分的方法并不限于加权相加,也可以使用其它计算方法。例如也可以通过应用线形回归模型等机械学习的算法来计算行为得分。
(3-2.聚类处理)
另外,例如,解析结果处理部107所包含的聚类处理部108针对包括通过上述参照图2~图13所说明那样的处理所检测的跳跃区间以及/或者转动区间的行为区间,利用为了评分而提取的特征量等,应用k-means法等聚类算法,将检测出的行为分类为簇。跳跃区间、转动区间的情况下,例如可以根据区间的持续时间的长短、旋转的大小将行为分类为簇。聚类的结果例如用作作为服务而提供摘要动态图像的情况下,被利用于以动态图像包括各种种类的跳跃、转动等行为的方式提取区间。另外,通过将好的行为和坏的行为分类为各个簇,可以应用于用户自身回顾行为,或用于行为的改善的指导。
此外,解析结果处理部107也可以基于特征量的相关系数来计算行为区间彼此的类似度,作为与聚类同样的处理(类似度高的行为区间能够与被分类成相同的簇的行为区间同样地处理)。另外,例如,解析结果处理部107可以预先准备典型的类型的行为的特征量图案,利用k-NN法等来判定新产生的行为符合哪个类型。
(3-3.传感器安装状态的推定)
图14是本公开的一实施方式中,表示用于推定传感器安装状态的处理的例子的框图。更具体而言,根据图示的构成,判定提供传感器数据的传感器是直接安装在用户的身体上还是安装在被用户使用的器具上。例如在上述的信息处理装置100所包含的传感器数据解析部104中执行图示的处理。此外,在图示的例子中,具体地对滤波器的截止频率(Fc)、时间帧的长度进行说明,但这些数值是一个例子,能够根据实际的传感器的特性等适当地变更。
在图示的例子中,信息处理装置100的接收部102接收由3轴(u、v、w)的加速度传感器121提供的传感器数据。传感器数据解析部104经由传感器设备控制部103获取该传感器数据。传感器数据解析部104首先利用1段的HPF122(Fc=0.5Hz)处理传感器数据所包含的加速度,之后执行范数计算123。并且,传感器数据解析部104针对利用2段的LPF124(Fc=2Hz)以及2段的HPF(Fc=7Hz)分别处理范数的结果,计算时间帧2sec中的振幅(最大值与最小值之差)(125、127)。对这些结果(A以及B)运算A/B(128)。利用1段的HPF129(Fc=0.25Hz)处理该结果,实施阈值判定130。
上述那样的判定的处理根据在传感器直接安装在用户的身体上的情况下,身体作为LPF发挥作用而加速度的高频成分衰减。上述的例子中的A(通过了LPF124的低频成分的振幅)/B(通过了HPF的高频成分的振幅)在原始的加速度中高频成分越衰减越成为较大的值。因此,在阈值判定130中,在利用HPF129处理A/B所得的值大于阈值的情况下,能够判定为传感器直接安装在用户的身体上,在不是大于的情况下能够判定为传感器安装在器具上。
如上述那样的推定的结果例如可以在传感器数据解析部104的内部利用。该情况下,传感器数据解析部104可以在上述那样的用户的行为的检测的处理中,根据传感器安装在身体上还是器具上来变更阈值、滤波器的设定值等。或者,上述那样的推定的结果也可以反馈给传感器设备控制部103,而利用于决定与传感器设备的测量有关的参数等的设定、传感器设备控制部103对传感器数据的预处理方法等。
在本实施方式中,例如可以如上述的传感器安装状态的推定那样,基于与传感器数据的提供侧的状态有关的推定来实施与传感器数据的处理有关的适应的控制。作为其它例子,传感器数据解析部104也可以从由加速度传感器等检测出的冲击的强度、移动的图案等,使用机械学习等算法来推定产生行为的运动的种类。运动可以按照一般识别的项目来推定,也可以按照板运动、水上运动、自行车比赛、赛车等***来推定。另外,例如传感器数据解析部104可以在传感器安装在器具上的情况下推定器具的种类(例如双板滑雪的情况下,安装在滑雪板上还是安装在滑雪杖等)。推定的结果与上述的传感器安装状态的推定结果同样地可以利用于例如行为的检测等中的阈值、滤波器的设定值的控制,也可以反馈给传感器设备控制部103而利用于传感器设备的控制、传感器数据的预处理方法的决定。
(4.地图表现的例子)
此处,再次参照图1,对与本实施方式所涉及的信息处理装置的地图表现有关的构成进行说明。在本实施方式中,在信息处理装置100中,实现获取用户的行为信息、与行为信息建立管理的空间信息以及时间信息的信息获取部、和当基于空间信息对行为信息进行地图表现时考虑时间信息的地图表现处理部。
例如在信息处理装置100中,接收部102从传感器设备除了传感器数据以及时刻信息(时间戳)之外还接收用户的位置信息。此时,传感器数据解析部104所包含的行为检测部106使将上述的时间戳以及位置信息与基于传感器数据所检测出的用户的行为建立关联的信息储存于检测区间信息保持部110。由此,服务控制部112能够从检测区间信息保持部110获取用户的行为信息、与行为信息建立关联的空间信息(位置信息)以及时间信息(时间戳)。
此外,在从接收部102对传感器数据的接收到行为检测部106对行为的检测为止的时间差较小的情况下,行为检测部106可以代替与传感器数据一起接收的时间戳而使用检测出行为的时刻的时刻信息(时间戳)。另外,行为检测部106在被用户携带或者安装的终端装置中实现的情况下,行为检测部106可以代替与传感器数据一起接收的位置信息而使用检测出行为的时刻由该终端装置获取的位置信息。
如上述,服务控制部112能够从检测区间信息保持部110获取用户的行为信息、与行为信息建立关联的空间信息(位置信息)以及时间信息(时间戳)。或者,在解析结果处理部107将从行为检测部106与行为的检测结果一起提供的时间戳以及位置信息与基于行为的检测结果而生成的附加信息建立关联并储存于附加信息保持部111的情况下,服务控制部112能够从附加信息保持部111获取生成的附加信息、与行为信息建立关联的空间信息(位置信息)以及时间信息(时间戳)。
此外,在本说明书中,行为信息并不局限于直接表示由行为检测部106检测出的用户的行为的信息,能够包括与检测出的用户的行为相关的各种信息。因此,在上述的例子中,行为信息不光包括由行为检测部106提供的行为的检测结果,也包括由解析结果处理部107生成的附加信息。另外,行为信息并不限于基于传感器数据由行为检测部106检测出的信息,例如也可以包括用户输入自己的状况而检测出的信息。
如上述那样,获取用户的行为信息、与行为信息建立关联的空间信息(位置信息)以及时间信息(时间戳)的服务控制部112基于空间信息对行为信息进行地图表现。地图表现例如包括基于空间信息在地图上配置与行为信息对应的文本、图形、图标、或者纹理等显示要素。此时,显示要素可以与单一的行为信息对应,也可以与多个行为信息,例如基于多个用户分别提供的传感器数据所生成的行为信息、基于单一的用户按照时间序列依次提供的传感器数据所生成的行为信息对应。
并且,服务控制部112当对行为信息进行地图表现时,考虑与行为信息建立关联的时间信息。更具体而言,例如,服务控制部112也可以考虑由时间信息表示的时刻的前后关系来决定同与相互不同的时间信息建立关联的2个行为信息对应的显示要素。另外,例如服务控制部112可以考虑由该时间信息表示的时刻与当前时刻的关系来决定同与某个时间信息建立关联的行为信息对应的显示要素。对于这样的行为信息的地图表现的几个例子,以下进一步说明。
图15是表示包括本公开的一实施方式中的行为信息的地图表现的几个例子的处理的流程图。
在图示的例子中,首先,传感器数据解析部104所包含的行为检测部106检测行为区间(S301)。行为区间例如可以包括通过上述参照图2~图13所说明的处理检测的跳跃区间以及/或者转动区间。另外,行为区间可以包括产生走、跑、静止、利用交通工具移动等这样的、基于传感器数据检测的其它用户的行为的区间。
接下来,作为附加的处理,解析结果处理部107所包含的评分处理部109针对S301中所检测出的行为区间行为计算得分(S302)。并且,上传包括与行为区间、行为得分有关的行为信息、和用户ID、位置信息、另外获取的行为的影像数据等的数据(S303)。S303中的上传例如可以是从实现传感器数据解析部104、解析结果处理部107的功能的服务器向实现服务控制部112服务器的上传。或者,S303中的上传也可以是从实现传感器数据解析部104、解析结果处理部107的功能的终端装置向实现服务控制部112的服务器的上传。在这些服务器或者终端装置相同的情况下,上传例如对内部的数据库的登录和替换。
在S303中,接受到例如与各个用户相关地检测出的行为区间以及行为得分的上传的服务控制部112计算该用户的技能等级,作为附加的处理(S304)。例如基于针对各用户计算出的行为得分的履历来计算技能等级。因此,在图示的例子中,在实现服务控制部112的服务器中能够利用保持用户的行为得分的履历的数据库。另外,在该服务器中也可以利用保持用户的技能等级的数据库,S304中计算出技能等级的服务控制部112也可以更新技能等级的数据库。
在几个例子中,服务控制部112基于至S304为止的处理的结果来更新场所DB(S305)。场所DB例如在包括服务控制部112的信息处理装置可利用的存储器或者记忆(也可以是通过网络连接的外部的记忆)中实现,并对成为服务控制部112的信息的提供的对象的地理区域内的场所的信息进行储存。在场所DB中,行为信息与定义场所的空间信息建立关联。此处所谓的场所可以是例如在地图上定义的任意的场所,可以是规定的尺寸的网格,预先定义的离散的点。场所的定义根据例如后述的场所信息的利用形式而不同。以下,进一步对利用了场所信息的例子进行说明。
(4-1.地图表现的例子)
例如,服务控制部112利用场所DB中与空间信息建立关联的行为信息来创建扩展的地图信息(S306)。并且,服务控制部112例如根据用户的请求来描绘创建的地图(S307)。在地图中,基于单一或者多个用户的行为信息,显示各个场所中最高频率产生的行为,作为场所的特性。此处,服务控制部112在创建扩展的地图信息时考虑与行为信息建立关联的时间信息。
图16是表示本公开的一实施方式中的行为信息的地图表现的第1例子的图。在图示的例子中,地图画面1100中显示表示各个场所中高频率产生的行为的图案1101(表示步行的图案1101a、表示乘坐电车的图案1101b、表示停留的图案1101c、以及表示购物的图案1101d)、各个行为的标签1103(与上述的图案1101a~1101d对应,标签1103a~1103d)、以及属性选择1105。
在图示的例子的地图画面1100中,能够根据图案1101和标签1103直观地掌握各个场所中产生的行为。另外,在本例子中,服务控制部112在创建用于描绘地图画面1100的地图信息时考虑由时间信息表示的时刻与基准时刻的关系。例如,服务控制部112实施由时间信息表示的时刻越远离基准时刻,地图表现中的行为信息的影响越小这样的控制。
更具体而言,在图16所示的例子中,行为信息可以包括将用户的行为分类为多个种类中的任意一个时的各种类的得分(跟具体地说,得分可以行为检测部106中确定出的行为的种类为1,其它种类为0,行为检测部106也可以将计算出的各种类的行为的产生概率作为得分进行处理)。这种情况下,服务控制部112通过对与共同的空间信息(位置信息)建立关联的行为信息所包含的得分附加由时间信息表示的时刻越远离当前时刻(生成地图信息的时刻)则越小的权重进行相加,来决定地图画面1100的地图表现中与共同的空间信息建立关联的代表行为的种类。
换句话说,服务控制部112针对地图画面1100所包含的各个网格,对有关由与网格内的空间信息建立关联的行为信息表示的各种类(例如,步行,电车、停留、购物等)的得分附加基于上述那样的时间信息的权重而相加。结果计算出最高得分的种类为与该网格建立关联的代表行为的种类。地图画面1100所显示的图案1101以及标签1103与如上述那样决定的代表行为的种类对应。
或者,服务控制部112可以基于可利用的行为信息中的、同表示与当前时刻的差低于阈值的时刻的时间信息建立关联的行为信息在地图画面1100内显示图案1101、标签1103。该情况下,基于当前时刻和由时间信息表示的时刻之差所提取出的行为信息可以一样地处理,也可以如上述的例子那样根据当前时刻与由时间信息表示的时刻的关系进而执行得分的加权等处理。
根据上述那样的构成,在地图画面1100中,实时产生的行为容易通过图案1101、标签1103进行显示,并能够适当表现期间限定的事件、突发的事件等产生的用户的行为。此外,当前时刻可以作为生成地图信息的时刻而自动地决定,过去的任意时刻可以作为代替当前时刻的时刻而通过用户操作等决定。因此,本说明书中说明的当前时刻可以替换为地图信息的生成的基准时刻。
另外,例如,服务控制部112可以在地图画面1100内显示图案1101、标签1103时,实施同具有与当前时刻(生成地图信息的时刻)共用的属性的时间信息建立关联的行为信息,更具体而言例如表示与当前时刻相同的时间段、季节等所产生的行为的行为信息的、地图表现中的影响变大这样的控制。与上述的例子同样地,服务控制部112可以对行为信息所包含的得分附加与当前时刻的属性的共同性越高越大的权重。或者,服务控制部112也可以基于可利用的行为信息中的、同与当前时刻的属性的共同性高于阈值的时间信息建立关联的行为信息在地图画面1100内显示图案1101、标签1103。
更具体而言,服务控制部112也可以有选择性地利用同与当前时刻相同的时间段(例如早晨、中午、傍晚,夜间等)建立关联的行为信息来生成地图信息。另外,服务控制部112也可以有选择性地利用同与现在相同的季节(例如春、夏、休假季节等)建立关联的行为信息来生成地图信息。此外,时间段、季节等可以通过接下来说明的属性选择1105任意地选择。换句话说,属性选择1105并不限于选择与现在行为信息建立关联的用户的属性,也可以为了选择与行为信息建立关联的时间信息的属性而利用。
另外,在图示的例子中,能够通过属性选择1105选择成为利用图案1101、标签1103显示行为的对象的用户的属性。例如,如图示,可以能够通过属性选择1105选择用户的年代(选择20岁)。该情况下,服务控制部112通过具有选择出的属性的用户的行为信息生成地图信息。在其它例子中,用户的其它属性,更具体而言性别、职业等可以能够通过属性选择1105来选择。或者,服务控制部112也可以根据提供地图信息的用户的属性等自动地选择地图信息中成为显示行为的对象的用户的属性。
图17是表示图16所示的例中,地图表现实时变化的例子的图。在图示的例子中,在与图16所示的例子相同的地图画面1100a中,因事故而从在中央显示的车站(STATION)开始的铁路(RWY)的运行中止,结果如地图画面1100b所示,通过图案1101以及标签1103显示的行为发生变化。更具体而言,不显示沿着铁路(RWY)显示的表示乘坐电车的图案1101,取而代之,沿着其它场所(公共汽车路线)重新显示表示乘坐公共汽车的图案1101以及标签1103。
并且,该情况下,如地图画面1100c所示,可以显示预先设定的或者基于用户输入的条件1107的路径导航1109。路径导航1109可以通过例如从如地图画面1100b所示那样的最近的用户的行为检测结果提取符合条件1107这样的行为的组合来显示。更具体而言,图示的例子的路径导航1109显示为从车站的步行、停留、之后的公共汽车乘车的组合。例如在图示的铁路(RWY)包含在用户的移动预定路径(能够基于预先执行的路径检索的结果、时间表、习惯移动的路径等来判定)的情况下,服务控制部112可以在此如地图画面1100b所示基于未检测出乘坐电车的其它用户的行为,而自动地提供地图画面1100c所示的路径导航。
图18是表示本公开的一实施方式中的行为信息的地图表现的第2例子的图。在图示的例子中,地图画面1200中显示表示各个场所高频率产生的行为对图标1201、1203、1205。更具体而言,地图画面1200可以是例如表示屋外举办的音乐大会的会场中的行为的画面。另外,图标1201、1203表示聚集到会场中的用户的兴致高涨,图标1205表示会场间的用户的移动。在地图画面1200中通过图标1201、1203、1205也能够直观地掌握各个场所产生的行为。另外,本例子中,服务控制部112在创建用于描绘地图画面1200的地图信息时也考虑与各个行为信息建立关联的时间信息。
更具体而言,例如,服务控制部112与上述的第1例子同样地,可以以更强烈地反映与当前时刻(生成地图的时刻)更近的时刻产生的行为的方式进行加权。或者,服务控制部112也可以将确定各个场所中的行为时使用的行为信息限定为从当前时刻开始与规定的范围的时间建立关联的最近的信息。如上述,由于地图画面1200表示音乐大会的会场中的行为,所以大会的举办中产生的行为可能与其它时期产生的行为较大地不同。这种情况下,与当前时刻更近的时刻产生的行为更强烈地反映为地图信息是有效的。
另外,例如,服务控制部112也可以在确定各个场所中的行为时,以更强烈地反映具有与当前时刻(生成地图信息的时刻)共同的属性的时刻,更具体而言前次、上上次的音乐大会的举办中产生的行为的方式,对行为信息进行加权。与上述的第1例子同样,服务控制部112可以根据时间段、季节等进一步对行为信息进行加权。地图画面1200中未显示用于属性选择的要素,但可以显示与第1例子中的属性选择1105同样的要素,能够选择与显示的行为信息建立关联的时间信息的属性、用户的属性。
并且,在地图画面1200的例子中,在确定各个场所中的行为(通过图标1201、1203、1205显示)时,考虑由与行为信息建立关联的时间信息表示的时刻的前后关系。例如,由图标1205表示的用户的移动可通过将分别与一系列的时间戳建立关联的多个行为信息同沿着用户的移动路径发生变化的位置信息建立关联来判定。
此时,能够基于由与行为信息建立关联的时间信息表示的时刻的前后关系来确定移动的方向。例如假定与图18所示的位置P1(由第1空间信息表示的位置)建立关联的第1行为信息、和与位置P2(由第2空间信息表示的位置)建立关联的第2行为信息。该情况下,与第2行为信息建立关联的时间信息同与第1行为信息建立关联的时间信息相比表示后面的时刻时,判定用户从位置P1向位置P2产生移动。
此外,在移动的判定时,表示行为信息本身也伴随步行、行驶等移动而产生的行为可以成为条件,行为信息可以表示停留、跳跃等其它行为。在大会会场等中用户的移动大多较缓慢,也可能有如上述的例子那样基于由与行为信息建立关联的空间信息表示的位置、和由时间信息表示的时刻的前后关系来检测用户的移动是适当的情况。
另外,在地图画面1200的例子中,在确定各个场所中的行为时,解析结果处理部107所包含的评分处理部109利用基于行为信息所计算出的行为得分。例如图标1201、1203都表示聚集到会场的用户的兴致高涨。用户的兴致高涨例如通过会场中聚集一定程度的数量的用户来检测。此时,评分处理部109计算跳跃的行为得分,服务控制部112在更活跃跳跃的用户较多的情况下可以显示表示大量的兴致高涨的图标1201。另外,根据行为得分,表示谨慎地跳跃的用户、聚集但没有跳跃的用户较多的情况下,服务控制部112可以使安静的兴致高涨的图标1203显示。另外,用户的兴致高涨的检测不光利用如上述的例那样的基于加速度传感器等的检测值的行为检测,也可以利用通过安装在用户上的生物传感器检测的脉搏、发汗等信息。并且,在本实施方式中行为信息与时间信息建立关联,所以基于聚集的用户、跳跃的用户增加还是减少,即使瞬间的兴致高涨的程度相同,也能够区别显示这之后兴致高涨的会场、和经过已经兴致高涨的峰值的会场。
在本实施方式中,对于上述参照图16~图18说明的2个例子,已经叙述的以外也能够进行各种的变形例。例如,行为并不限于例示的图案、文本、图标,也可以通过使用了热点图、网络形象的动画等在地图上显示。另外,不管图18所示的例子那样的图标的显示,在图16以及图17所示的例子中的图案的浓度、文本的字体等也可以反映行为得分。另外,地图上所显示的行为可以分类为预先给予的种类,也可以按照解析结果处理部107所包含的聚类处理部108的聚类的结果进行分类。
另外,上述的例子并不限于图16~图18所示的那样的市区、大会会场的例子,能够应用于各种场所的地图。例如能够在烟火大会的情况下,能够提供表示向会场的移动手段(徒步、自行车等)、会场中的度过方式(站立、坐下、吃饭等)的地图。另外,例如,滑雪场(terrainpark)的情况下,基于正在滑的用户较多来显示斜面拥挤,或显示升降机的等待时间较长(在乘坐升降机的行为前,检测出停留的行为较长的时间的情况下等),基于跳跃的用户较多来显示由雪形成的凹凸(由于每日变化,所以基于最近的行为的地图显示有效)的存在。另外,可以与通常的跳跃分开检测滞空时间较长的跳跃,将较多地检测出这样的跳跃的滑雪场确定为面向高级者的设施。该情况下,在设施的确定时可以考虑用户的技能等级。
(4-2.安全地图的生成)
再次参照图15,例如,服务控制部112利用场所DB中与空间信息建立关联的行为信息来计算每个场所的安全度以及/或者危险度(S308)。并且,服务控制部112基于计算出的安全度以及/或者危险度来更新安全地图DB(S309),而且例如根据用户的请求来描绘基于安全地图DB的内容的安全地图(S310)。
此处,例如针对如双板滑雪、单板滑雪的跑道、跑道等那样实施特定的运动的跑道上的场所计算安全度以及/或者危险度。更具体而言,例如较多地检测出双板滑雪、单板滑雪中跌倒的行为的场所被判定为危险度高。此时,可以考虑与跌倒的行为建立关联的用户的技能等级。同样地,较多地检测出双板滑雪、单板滑雪中成功的行为的场所被可以判定为安全度高。此时也可以考虑与成功的行为建立关联的用户的技能等级。
例如,双板滑雪、单板滑雪的情况下,产生技能等级高的用户的跌倒的场所被推定为危险度高。另一方面,虽然产生技能等级低的用户的跌倒但未产生技能等级高的用户的跌倒的场所被推定为对技能等级高的用户来说危险度低。另外,即使技能等级低的用户也不跌倒,检测出跳跃、转动成功的场所被推定为危险度低或者安全度高。
此处,如上述,技能等级作为针对传感器数据的解析结果的附加处理,能够由服务控制部112基于行为得分来计算。行为得分能够由解析结果处理部107所包含的评分处理部109计算。因此,在本实施方式中,在安全地图的创建时考虑执行了行为的用户的技能等级的情况下,可以说服务控制部112还考虑行为信息所包含的、与行为的得分有关的信息。
另外,例如在跑步的情况下,能够附加地利用由安装在用户上的生物传感器检测的脉搏、发汗等信息来推定危险度。更具体而言,行为检测部106可以检测一定的速度的跑步作为行为。该情况下,服务控制部112能够在用户以一定的速度跑的行为不伴随减速、向走的过度等而突然结束(跑步突然中断的),同时通过脉搏、发汗等信息表示用户的紧张状态(用户动摇)的情况下,推定为跑道中产生危险的现象(例如,汽车、自行车、与其它赛跑的人等接触)。服务控制部112能够针对这样检测的多产生危险的现象的场所推定为危险度高。同样地,并不局限于运动,也可以计算驾驶路径、步行路径上的安全度以及/或者危险度。
例如双板滑雪、单板滑雪的情况下,跑道内的危险度或者安全度根据气温、天气等气象条件而时刻变化。例如即使跑道内的相同的场所,也有前日安全的场所是危险的情况,也有早晨危险的场所因中午气温上升而变得不危险的情况。同样地,即使跑道、驾驶跑道,因气象条件、交通状况等,危险度或者安全度也可能时刻变化。因此,即使是生成安全地图的本例,例如上述参照图16~图18所说明的例子那样,通过当前时刻将较近的时刻产生的行为更强烈地反映为地图信息是有效的。
图19是表示本公开的一实施方式中的安全地图生成的例子是图。图19示出例如如双板滑雪、单板滑雪的跑道那样危险度或者安全度连续分布的情况下,从有限的场所中检测出的行为推定跑道整体的危险度或者安全度的方法的例子。图中,R1、R2表示产生跌倒的位置,S1表示行为成功的位置,X表示成为计算危险度或者安全度对象的任意位置。以下,在图示的例子中进一步对用于生成安全地图的处理进行说明。
首先,服务控制部112例如通过以下的式子1~式子3计算位置R1、R2中的危险度得分PR1、PR2、和位置S1中的安全度得分PS1
【数1】
P R 1 = W L V · Power R 1 · W R · 1 t P A S S _ R 1 ···(式1)
P R 2 = W L V · Power R 2 · W R · 1 t P A S S _ R 2 ···(式2)
P S 1 = 1 W L V · Score S 1 · W S · 1 t P A S S _ S 1 ···(式3)
此处,WLV是同与跌倒或者成功的行为建立关联的用户的技能等级对应的加权系数。在危险度得分PR1、PR2(行为的消极的评价)中,乘以WLV相乘,所以用户的技能等级越高,越对得分进行向上修改。另一方面,在安全度得分PS1(行为的积极的评价)中,乘以WLV的倒数,所以用户的技能等级越高,越对得分进行向下修正。PowerR1、PowerR2是跌倒时检测出的冲击的强度。在该例子中,冲击的强度作为与跌倒的行为得分对应的得分被处理。ScoreS1是对成功的行为(例如跳跃、转动)计算出的行为得分。
另外,WR以及WS是分别对与危险度得分对应的行为(例如跌倒)、和与安全度得分对应的行为(例如成功的跳跃、转动),设定的加权系数。tPASS_R1、tPASS_R2、tPASS_S1是从产生各个行为开始到安全地图生成时(例如当前时刻)为止的经过时间。如从在PR1、PR2、PS1的各个中乘以这些时间的倒数明白那样,在本例子中,从产生行为之后越经过时间,该行为给安全度得分以及危险度得分带来的影响越小。此外,在图示的例子中,安全度得分以及危险度得分与经过时间成反比例,但得分可以与包括经过时间的任意函数成反比例。
接下来,服务控制部112如式子4所示根据从位置R1、R2、S1的各个到计算对象的位置X为止的距离将计算出的危险度得分以及安全度得分平均后再相加,计算位置X的得分PX
【数2】
P X = P S 1 D S 1 - 1 2 ( P R 1 D R 1 + P R 2 D R 2 ) ···(式4)
此处,DR1、DR2、DS1如图19所示,是从位置R1、R2、S1到位置X为止的距离。在计算上述的例子中的得分PX的计算时,安全度得分为正,危险度得分为负而相加。此外,在图示的例子中,相加的安全度得分以及危险度得分的大小与距离成反比例而变小,但得分也可以与包括距离的任意函数反比例而变小。该情况下,可以调整上述的加权系数WR以及WS的值,以便能够进行如果得分PX为正的值则位置X相对安全,如果得分PX为负的值则位置X相对危险这样的判断。
此外,上述的式子4所示的得分PX的计算在有产生跌倒的位置R1~Rm(m=1、2、…)、以及行为成功的位置S1~Sn(n=1、2、…)的情况下,如以下的式子5那样能够一般化。式子5的情况下,可以说若位置X不产生给予安全度得分或者危险度得分这样的行为(表示位置X的空间信息不与行为信息建立关联),则与表示位置X的空间信息建立关联的行为信息基于产生给予安全度得分或者危险度得分这样的行为的位置Sk或者Rj(由行为信息建立关联的空间信息表示的位置)与位置X之间的距离来推定。
【数3】
P X = 1 n Σ k = 1 n P S k D S k - 1 m Σ j = 1 m P R j D R j ···(式5)
例如在滑雪场实施上述那样的安全地图的生成的情况下,通过基于最新的行为信息来生成地图,能够使斜面中的环境变化反映在安全地图上。另外,也可以根据参照安全地图的用户的技能等级来计算危险度得分以及安全度得分。该情况下,可以根据参照安全地图的用户的技能等级例如使与上述的用户的技能等级对应的加权系数WLV变动(例如,系数WLV可以以执行行为的用户的技能等级与参照安全地图的用户的技能等级同程度的情况下为1的方式设定)。
根据这样的构成,能够例如创建与时间段、气候等环境状态和每个用户的技能等级相配合的安全地图,并提示各个用户能够安全滑降的跑道。例如可以考虑早晨产生冰坡,即使技能等级高的用户(高级用户)也跌倒的场所,因中午再积雪,即使技能等级低的用户(初级用户)也安全地滑行这样的情况。在本实施方式中,能够早晨至少对初级用户将包括这样的场所的跑道作为安全的跑道不提示,另一方面,从中午也对初级用户作为安全的跑道进行提示。
上述的例子说明的那样的安全地图不一定双板滑雪等运动的跑道中生成,例如可以在日常生活中生成。更具体而言,可以例如在有因雨、雪而路面的状态恶化的道路的情况下,能够检索用于避开这样的道路(例如实际上因产生其它用户的跌倒等而判定为危险)而安全移动到目的地的路径、和有可能知道危险而能够以最短距离移动到目的地的路径。
另外,上述的例子中的安全和危险这个基准可以置换为其它积极/消极的基准,具体而言例如舒适和不舒适这个基准。作为这样的例子,例如可以在电车移动的情况下,能够检索检测出车内的拥挤的情况下捕捉将该情况作为不舒适的行为进行捕捉,用于避开这样的拥挤的路线而舒适地移动到目的地的路径、和即使有拥挤也能够以最短时间移动到目的地的路径。
(4-3.导航的提供)
再次参照图15,例如,服务控制部112也可以利用场所DB中与空间信息建立关联的行为信息来提供基于其它用户的过去的行为履历的导航。更具体而言,服务控制部112针对至某时刻为止检测出的第1用户的行为履历实施基于与其它用户(第2用户)的过去的行为履历的空间信息的匹配(S311)。例如,在该匹配中,能够提取同与至第1用户的某时刻为止的移动路径同样的移动路径一起被检测出的第2用户的行为履历。此时,行为履历可以考虑建立关联的用户的技能等级来提取。另外,行为履历也可以考虑过去检测出的第1用户自身的行为履历来提取。服务控制部112也可以考虑同现概率和转移概率来匹配第1用户的行为履历和第2用户的行为履历。服务控制部112基于提取的行为履历来计算路径(S312),并将导航提示给第1用户(S313)。
图20是用于对本公开的一实施方式中的考虑了技能等级以及行为履历的导航的例子进行说明的图。图20示出滑雪场中(A)~(C)的3种导航的例子。例如,第1用户到达雪场,乘坐A升降机。此时,在第1用户为技能等级低的初级用户的情况下,服务控制部112提示图示的(A)的路径。(A)的路径是例如基于同样是初级用户的第2用户的过去的行为履历所提取的路径,包括B跑道的滑降。
之后,第1用户实际上在B跑道滑降,执行转动、跳跃等行为。此处,各个行为的行为得分变高,或检测出失败(跌倒等)的情况下,服务控制部112接下来也反复将包括B跑道的滑降的(A)的路径提示给第1用户。在第1用户实际上在B跑道滑降时执行的转动、跳跃等行为的得分较高,也未检测出失败(跌倒等)的情况下,服务控制部112再次对乘坐A升降机的第1用户提示基于技能等级高的中级用户即第2用户的过去的行为所提取出的(B)或者(C)的路径。这些路径包括D跑道的滑降。
此处,例如第1用户在B跑道滑降时的行为得分,特别是对于转动,较高的情况下,服务控制部112提示包括D跑道中也通过转动较多地产生的场所的跑道内的导航的(B)的路径。另外,第1用户的行为得分特别是对于跳跃,较高的情况下,服务控制部112提示包括D跑道中也通过跳跃较多地产生的场所的跑道内的导航的(C)的路径。(B)以及(C)提供的跑道内的导航例如基于过去在D跑道滑降过的用户中,特别是较多地执行转动的用户、和特别是较多地执行跳跃的用户滑降过的路径来提供。此外,第1用户按照(B)或者(C)的路径的提示而实际在D跑道滑降时执行的转动、跳跃等行为检测出失败(跌倒等)这样的情况下,服务控制部112可以再次对第1用户提示(A)的路径。
此外,在上述的例子中,在第1用户为技能等级高的中级用户的情况下,服务控制部112可以从最初将(B)或者(C)的路径提示给第1用户。该情况下,提示适合较多地执行转动的(B)的路径还是提示适合较多执行跳跃(C)的路径能够基于第1用户的过去的行为履历(与位置信息无关)中执行的行为中的转动与跳跃的比例,或者行为履历中的转动与行为的各个的行为得分来判定。
用于提供上述那样的导航的处理也能够如以下那样说明。在上述的例子中,由服务控制部112获取的行为信息包括与空间信息的第1序列(与从到达滑雪场开始到乘坐A升降机为止的路径对应)建立关联的第1行为信息序列(与第1用户的行为对应)、和与空间信息的第2序列((A)、(B)或者(C)的路径)建立关联的第2行为信息序列(与第2用户的行为对应)。第2行为信息序列与表示比第1行为信息序列靠前的时刻的时间信息建立关联。此时,服务控制部112基于由空间信息的第1序列表示的第1移动路径与由空间信息的第2序列表示的第2移动路径的部分(从到达滑雪场开始到乘坐A升降机为止的部分)一致,并根据与表示第2移动路径的剩余的部分(乘坐A升降机后的部分)的空间信息的第2序列建立关联的第2行为信息序列来提供对与第1行为系列建立对应的用户(第1用户)的导航。
根据以上说明的构成,在本实施方式中,与利用最短距离算法等检测例如从当前地到目的地的最短路径的导航不同,基于其它用户选择什么样的路径,在此产生什么样的行为来提供导航。因此,在本实施方式中,即使是在相同的场所提供给用户的导航,也能够根据目的而提示不同的路径。
作为滑雪场以外的例子,提示下山的路径的情况下,在第1用户走着下去(徒步)的情况下,能够提供基于过去走着下山的第2用户的行为履历的导航,在第1用户跑着下去(越野跑)的情况下,提供基于过去跑着下山的第2用户的行为履历的导航。另外,并不限于第1用户实际上至此执行的行为的履历,也可以基于包括第1用户的技能等级的属性、嗜好来设定检索第2用户的行为履历时的条件。并且,为了容易检测时间段、季节、天气等条件一致的第2用户的行为履历而设定加权等,由此能够提供适合第1用户的当前的状况的导航的可能性变高。
(4-4.行为检测设定的变更)
再次参照图15,例如服务控制部112可以利用场所DB中与空间信息建立关联的行为信息来变更用于行为检测的设定。更具体而言,服务控制部112从储存在场所DB中的信息提取由空间信息表示的每个位置的行为检测趋势(S314)。服务控制部112根据提取出的行为检测趋势来调整用于检测行为的设定。更具体而言,服务控制部112例如更新传感器数据解析部104所包含的行为检测部106参照的参数表格(S315)。
图21以及图22是用于对本公开的一实施方式中的行为检测设定的变更的例子进行说明的图。(A)是图示的道路1301的区域中的行为检测设定的变更的例子。在该例子中,从场所DB中与表示道路1301的区域的空间信息建立关联的行为信息的大多表示“驾驶”,将偶尔检测的“跳跃”推定为误检测,在该区域的每个行为种类的产生概率的参数的设定中降低“跳跃”的概率,而提高“驾驶”的概率。由此,在道路1301的区域中,例如对于“跳跃”还是“驾驶”容易混淆的行为,判定为“驾驶”的概率变高,结果误检测的“跳跃”被检测的概率下降。
(B)是图示的区域1303中的行为检测设定的变更的例子。区域1303有俱乐部,有连续检测出对提供的音乐感兴趣的用户的铅垂方向上持续时间短的跳跃的趋势。该情况下,针对每个持续时间的跳跃的检测概率,可以提高持续时间短的跳跃的检测概率。由此,能够可靠地检测跳跃,例如能够根据跳跃的频率、跳跃的用户的数量等,在地图上表现俱乐部的兴致高涨(该例子同样地能够应用于例如图18所示的音乐大会的例子)。
(C)是设置在滑雪场的跑道内的跳台1305的场所中的行为检测设定的变更的例子。在这样的跳台中,作为行为而有检测包括旋转的跳跃的趋势。例如滑雪的跳跃中屡次伴随通常时不产生的这样较大的旋转(例如超过360度)。因此,预先给予跳台1305的场所,或基于行为的检测结果(较多地检测出滑雪滑降中的跳跃)来推定跳台1305的存在的情况下,扩大行为检测中可检测的旋转量的范围(例如可以将通常时360度为上限的地方扩大到包括720度、1080度的范围),而且可以提高跳跃的检测概率。
(4-5.设施等级的计算)
再次参照图15,例如服务控制部112从S303中上传的数据所包含的位置信息检索检测出行为的设施的ID(S316),基于该设施所检测出的行为的行为得分、和执行各个行为的用户的技能等级的分布来计算设施等级(S317),并提供包括设施等级的信息的设施数据(S318)。
在计算设施等级时,例如可以对与技能等级没有关系而对于多数用户检测出得分高的行为的设施给予低的等级(表示难易度低)。另一方面,也可以对仅对于技能等级高的用户检测出得分高的行为的设施给予高的等级(表示难易度高)。另外,检测出跌倒等行为(表示尝试的行为失败)也可以反映在设施等级上。并不局限于上述那样的表示难易度的等级,也能够根据检测出行为的用户的数量来计算表示人气度的等级。
此外,设施例如根据跑道、球场、田赛运动场等产生行为的运动的种类而可以是各种方式。另外,如果以双板滑雪的例子来说,如包括多个跑道的公园、跑道内的特定的跳台等那样能够以各种单位定义设施。其它运动也同样能够以各种单位定义设施。另外,在图示的例子中,基于位置信息来检索设施的ID,但服务控制部112也可以参照场所DB从与行为信息建立关联的空间信息确定设施的ID。
(5.硬件构成)
接下来,参照图23,对本公开的实施方式所涉及的信息处理装置的硬件构成进行说明。图23是表示本公开的实施方式所涉及的信息处理装置的硬件构成例子的框图。
信息处理装置900包括CPU(CentralProcessingunit)901、ROM(ReadOnlyMemory)903、以及RAM(RandomAccessMemory)905。另外,信息处理装置900可以包括主机总线907、桥909、外部总线911、接口913、输入装置915、输出装置917、记忆装置919、驱动器921、连接端口923、通信装置925。并且,信息处理装置900可以根据需要包括拍摄装置933以及传感器935。信息处理装置900也可以代替CPU901,或者与CPU901一起具有DSP(DigitalSignalProcessor:数字信号处理)、ASIC(ApplicationSpecificIntegratedCircuit:专用集成电路),或者FPGA(Field-ProgrammableGateArray:现场可编程门阵列)等处理电路。
CPU901作为运算处理装置以及控制装置发挥作用,按照记录在ROM903、RAM905、记忆装置919、或者可移动记录介质927中的各种程序来控制信息处理装置900内的动作全体或者其一部分。ROM903存储CPU901使用的程序、运算参数等。RAM905临时存储CPU901的执行中使用的程序、该执行中适当地变化的参数等。CPU901、ROM903、以及RAM905通过由CPU总线等内部总线构成的主机总线907相互连接。并且,主机总线907经由桥909与PCI(PeripheralComponentInterconnect/Interface:外设组件互连标准)总线等外部总线911连接。
输入装置915例如是鼠标、键盘、触摸面板、按钮、开关以及手柄等由用户操作的装置。输入装置915例如可以是利用了红外线、其它电波的遥控装置,也可以是与信息处理装置900的操作对应的手机等外部连接设备929。输入装置915包括基于用户输入的信息来生成输入信号并输出给CPU901的输入控制电路。用户通过操作该输入装置915,对信息处理装置900输入各种数据或指示处理动作。
输出装置917由能够使用视觉、听觉、触觉等感觉对用户通知获取的信息的装置构成。输出装置917例如可以是LCD(LiquidCrystalDisplay:液晶显示器)或者有机EL(Electro-Luminescence:电致发光)显示器等显示装置、扬声器或者耳机等声音输出装置,或振动器等。输出装置917将通过信息处理装置900的处理所得的结果作为文本或图像等影像、声音或音响等声音,或者振动等进行输出。
记忆装置919是作为信息处理装置900的存储部的一个例子而构成的数据储存用的装置。记忆装置919例如由HDD(HardDiskDrive:硬盘驱动器)等磁存储设备、半导体存储设备、光存储设备、或者光磁存储设备等构成。记忆装置919例如储存CPU901执行的程序、各种数据、以及从外部获取的各种数据等。
驱动器921是用于磁盘、光盘、光磁盘或者半导体存储器等可移动记录介质927的读写器,内置或外置于信息处理装置900。驱动器921读出记录在安装的可移动记录介质927中的信息,并输出给RAM905。另外,驱动器921对安装的可移动记录介质927写入记录。
连接端口923是用于使设备与信息处理装置900连接的端口。连接端口923例如可以是USB(UniversalSerialBus:通用串行总线)端口、IEEE1394端口、SCSI(SmallComputerSystemInterface:小型计算机***接口)端口等。另外,连接端口923也可以是RS-232C端口、光学音频端子、HDMI(注册商标)(High-DefinitionMultimediaInterface:高清晰度多媒体接口)端口等。通过在连接端口923连接外部连接设备929,能够在信息处理装置900与外部连接设备929之间交换各种数据。
通信装置925例如是由用于与通信网络931连接的通信设备等构成的通信接口。通信装置925例如可以是有线或者无线的LAN(LocalAreaNetwork:局域网)、Bluetooth(注册商标)、NFC(NearFieldCommunication:近距离无线通信技术),或者WUSB(WirelessUSB)用的通信卡等。另外,通信装置925可以是光通信用的路由器、ADSL(AsymmetricDigitalSubscriberLine:非对称数字用户线路)用的路由器或者各种通信用的调制解调器等。通信装置925例如与因特网、其它通信设备之间使用TCP/IP等规定的协议来收发信号等。另外,与通信装置925连接的通信网络931是通过有线或者无线连接的网络,例如可以包括因特网、家庭内LAN、红外线通信、无线电波通信或者卫星通信等。
拍摄装置933例如使用CMOS(ComplementaryMetalOxideSemiconductor:互补金属氧化物半导体)或者CCD(ChargeCoupledDevice:电荷耦合元件)等拍摄元件、以及用于控制对拍摄元件的被拍摄体像的成像的透镜等各种部件来拍摄实际空间,并生成拍摄图像的装置。拍摄装置933也可以拍摄静止图像,还可以拍摄动态图像。
传感器935例如是加速度传感器、角速度传感器、地磁传感器、照度传感器、温度传感器、气压传感器、压力传感器、距离传感器或者声音传感器(麦克风)等各种传感器。传感器935获取例如信息处理装置900的框体的姿势等与信息处理装置900本身的状态有关的信息、信息处理装置900的周边的亮度、噪声等与信息处理装置900的周边环境有关的信息。另外,传感器935也可以包括接收GNSS(GlobalNavigationSatelliteSystem:全球导航卫星***)信号来测量装置的纬度、经度以及高度的GNSS接收机。
以上示出信息处理装置900的硬件构成的一个例子。上述的各构成要素也可以使用通用的部件来构成,也可以由专门用于各构成要素的功能的硬件构成。所述的构成能够根据实施的时时的技术水平而适当地变更。
(6.补充)
本公开的实施方式例如能够包括上述说明的那样的信息处理装置、***、信息处理装置或者由***执行的信息处理方法、用于使信息处理装置发挥作用的程序、以及记录有程序的不是暂时的有形的介质。
(7.设备控制的例子)
以下,对本公开的一实施方式所包含的设备控制的几个例子进行说明。
(7-1.第1例子)
图24是表示本公开的一实施方式所包含的设备控制的第1例子中的处理的流程图。在本例子中,基于行为(更具体而言跳跃)的检测结果来执行捕捉到行为的图像或者影像的拍摄。在本例子中检测的行为是用户的一系列的状态(例如单板滑雪的滑行)中产生的行为,服务控制部112在与检测出行为的区间对应的第1区间和不是第1区间的第2区间之间实施不同的设备的控制。更具体而言,服务控制部以在第1区间中记录拍摄到的影像或者图像,而在第2区间中不记录影像或者图像的方式控制设备。服务控制部例如在第1区间中以确定拍摄出的影像或者图像的方式控制设备,而在第1区间中以记录拍摄的影像或者图像的方式控制设备。
在图示的例子中,首先,传感器数据解析部104所包含的行为检测部106检测跳跃的起跳(S301)。在检测出起跳的情况下,服务控制部112执行与传感器设备配对的数字摄像机等拍摄装置的连续的拍摄(S303)。此外,连续的拍摄例如可以是连续的静止图像的拍摄,也可以是影像的拍摄。行为检测部106至检测出跳跃的着地为止(S305)继续拍摄。
作为更具体的处理,行为检测部106实时执行例如图2、图6所示那样的跳跃检测处理。服务控制部112以继续执行行为(跳跃)的拍摄,并使以规定的时间(比跳跃的持续时间长)拍摄的图像或者影像缓冲的方式控制拍摄装置。在由行为检测部106检测出跳跃区间的情况下,服务控制部112以记录从跳跃区间的起点(起跳)到终点(着地)为止拍摄的图像或者影像的方式控制拍摄装置。在实施这样的利用了缓冲的控制的情况下,也能够从比起跳稍微靠前开始图像或者影像的记录。同样地,也可以到着地的稍微后面为止继续图像或者影像的记录。
以下的例子同样地,与由行为检测部106检测出行为的区间对应的第1区间不一定严格与行为区间一致,例如可以如上述的例子那样包括行为区间的前后,虽然与行为区间对应,但也可以是时间轴上偏移的区间。
图25是表示用于进而对本公开的一实施方式所包含的设备控制的第1例子中拍摄的图像或者影像进行说明的图。在图示的例子中,在从由行为检测部106检测出的跳跃的起跳到着地为止的期间,拍摄静止图像P1~P8。通过对这样拍摄的图像进行合成,例如也能够获得图示那样的连续照片。
作为附加的构成,在从传感器数据提取的用户的高度信息可利用的情况下,能够基于跳跃中的用户的高度来控制拍摄。更具体而言,服务控制部112可以以在用户的高度的峰值(跳跃的顶点)拍摄静止图像的方式控制拍摄装置。更具体而言,服务控制部112也可以从拍摄装置连续拍摄的帧图像中,以在跳跃的顶点拍摄的图像(静止图像P5)为基准按照规定的间隔提取静止图像。此外,高度信息能够从例如由气压传感器检测出的气压、由RTK-GPS(RealTimeKinematic-GlobalPositioningSystem)获取的信息等提取。在利用气压的情况下,跳跃的顶点可以如上述那样作为高度为最大的时刻而检测,也可以作为气压开始上升的时刻而检测。
(7-2.第2例子)
图26是用于对本公开的一实施方式所包含的设备控制的第2例子进行说明的图。在图示的例子中,基于行为(更具体而言跳跃)的检测结果来控制捕捉到行为的影像的压缩率。在本例子中检测的行为是用户的一系列的状态(例如单板滑雪的滑行)中产生的行为,服务控制部112在与检测出行为的区间对应的第1区间、和不是第1区间的第2区间之间实施不同的设备的控制。
在图示的例子中,在行为检测部106检测出跳跃区间的情况下,服务控制部112在该区间(跳跃动作)中以按与其前后的区间(通常状态)不同的压缩率记录影像的方式控制与传感器设备配对的数字摄像机等拍摄装置。由此,跳跃动作中,以比通常状态低的压缩率记录影像。通过限制为跳跃区间来降低压缩率,能够抑制影像整体的数据尺寸,并使可能成为影像的精彩部分的跳跃区间的画质提高。并且,服务控制部112可以在跳跃区间所包含的起跳动作以及着地动作的区间和滞空状态的区间设定不同的压缩率。该情况下,如图示,服务控制部112可以在起跳动作以及着地动作的区间暂时进一步降低压缩率。
作为更具体的处理,行为检测部106实时执行例如图2、图6所示的跳跃检测处理。服务控制部112控制拍摄装置,连续地执行行为(跳跃)的拍摄,并使规定的时间(比跳跃的持续时间长)拍摄到的影像在无压缩或者低压缩的状态下缓冲。在由行为检测部106检测出跳跃区间的情况下,服务控制部112控制拍摄装置,以低的压缩率记录从跳跃区间的起点(起跳)到终点(着地)为止的影像,而以高的压缩率记录除此以外的区间(通常状态)的影像。并且,服务控制部112也可以将跳跃区间的开始之后和结束之前的规定长度的区间作为起跳动作以及着地动作的区间,而在该区间以更低的压缩率记录影像。或者,行为检测部106也可以执行例如图3所示的高冲击检测处理,并将在此检测出的高冲击区间作为跳跃区间所包含的起跳动作以及着地动作的区间进行处理。
图27也是用于对本公开的一实施方式所包含的设备控制的第2例子进行说明的图。在图示的例子中,基于行为(具体而言跳跃)的检测结果来控制捕捉到行为的影像的帧频或者尺寸。
在图示的例子中,在行为检测部106检测出跳跃区间的情况下,服务控制部112以在该区间(跳跃动作)中以与其前后的区间(通常状态)不同的帧频(fps)以及/或者尺寸记录影像的方式控制与传感器设备配对的数字摄像机等拍摄装置。跳跃动作中,以比通常状态高的帧频或者比通常状态大的尺寸记录影像。与上述图26所示的例子同样地,通过限制为跳跃区间来增大帧频、尺寸,能够抑制影像整体的数据尺寸,并使可能成为影像的精彩部分的跳跃区间的画质提高。并且,服务控制部112可以在跳跃区间所包含的起跳动作以及着地动作的区间和滞空状态的区间中设定不同的帧频或者图像尺寸。该情况下,如图示,服务控制部112可以在起跳动作以及着地动作的区间暂时进一步增大帧频或者尺寸。
作为更具体的处理,行为检测部106实时执行例如图2、图6所示的跳跃检测处理。服务控制部112控制拍摄装置,连续地执行行为(跳跃)的拍摄,并使规定的时间(比跳跃的持续时间长)拍摄到的影像以最大的帧频或者最大的(原始的)尺寸缓冲。在由行为检测部106检测出跳跃区间的情况下,服务控制部112控制拍摄装置,以高帧频以及/或者大尺寸记录从跳跃区间的起点(起跳)到终点(着地)为止的影像,而以低帧频以及/或者小尺寸记录除此以外的区间(通常状态)的影像。并且,服务控制部112也可以将跳跃区间的开始之后和结束之前的规定的长度的区间作为起跳动作以及着地动作的区间,在该区间以更高的帧频以及/或者更大的尺寸记录影像。或者,行为检测部106也可以执行图3所示的高冲击检测处理,并将在此检测出的高冲击区间作为跳跃区间所包含的起跳动作以及着地动作的区间进行处理。
作为其它例子,服务控制部112也可以与如上述那样的压缩率、帧频、尺寸的控制同样地控制影像所包含的声音的集音等级。对于例如跳跃区间所包含的起跳以及着地的区间,另外,服务控制部112并不局限于跳跃区间,上述的图10所示的转动检测处理中检测出的转动区间等也可以实施同样的控制。以下的表1表示检测的行为区间和与此对应的控制的例子。
[表1]
压缩率 帧频 图像尺寸 集音等级
跳跃 无变更
转动
摇头
起跳/着地 更高
另外,作为其它的例子,服务控制部112也可以基于解析结果处理部107所包含的评分处理部109计算出的行为得分来控制影像的品质。更具体而言,例如,服务控制部112可以行为得分越高的行为,而设定越低的压缩率、越高的帧频、越大的图像尺寸以及/或者越大的集音等级。此时,例如在行为得分在行为区间内依次变化的情况下,在行为区间内也可以根据行为得分使地图的品质变化。或者,也可以在这样的情况下,相同的行为区间内使影像的品质为一定。
(7-3.第3例子)
图28是用于对本公开的一实施方式所包含的设备控制的第3例子进行说明的图。在图示的例子中,基于行为(具体而言跳跃)的检测结果来控制传感器数据的记录、传感器设备本身。本例子检测的行为是用户的一系列的状态(例如单板滑雪的滑行)中产生的行为,在行为检测部106检测出跳跃区间的情况下,传感器设备控制部103对由传感器设备提供的传感器数据或者传感器设备的控制,在该区间(跳跃动作)中实施与其前后的区间(通常状态)不同的控制。
例如,(a)所示,传感器设备控制部103针对传感器数据所包含的加速度、角速度等数据,控制为跳跃动作中传感器数据解析部104中的解析后与解析结果一起记录数据,另一方面在通常状态中解析后放弃数据。或者,如(b)所示,传感器设备控制部103针对传感器数据所包含的加速度、角速度等数据,也可以控制为在传感器数据解析部104中的解析后与解析结果一起记录数据时,跳跃动作中以高取样速度记录数据,而在通常状态中以低取样速度记录数据。
并且,在上述的(a)或者(b)中,传感器设备控制部103也可以在跳跃区间所包含的起跳动作以及着地动作的区间和滞空状态的区间中以不同的取样速度记录数据。更具体而言,传感器设备控制部103也可以在起跳动作以及着地动作的区间中以更高的取样速度记录数据。
在本实施方式中,传感器数据所包含的加速度数据、角速度数据被使用于传感器数据解析部104中的解析。通过解析后与解析结果一起记录传感器数据,能够例如在行为图像的再生时基于传感器数据使波形显示,或事后再次实施解析。然而,例如以高取样速度记录多数的种类的传感器数据,则传感器数据的尺寸变大。因此,在本例子中,通过限制为使用于信息的显示、再次的解析的可能性较高的行为区间(并不限于上述的跳跃区间,也可以是转动区间、其它区间)中所获取的传感器数据来进行记录,或行为区间和除此以外的区间中降低记录的传感器数据的取样数据,从而抑制传感器数据的尺寸。
并且,例如,(c)所示,传感器设备控制部103针对搭载在传感器设备上的GPS接收机等,可以以在通常状态中设定为休眠模式,在跳跃动作中启动的方式控制传感器设备。例如GPS接收机的启动中获取的位置信息经由传感器设备控制部103被提供给解析结果处理部107或者服务控制部112。或者,位置信息也可以提供给传感器数据解析部104,与行为区间的检测结果一起储存于检测区间信息保持部110。
此外,例如在行为检测部106执行图2或者图6所示的跳跃检测处理的情况下,检测跳跃区间在跳跃的着地后。这种情况下,传感器设备控制部103对传感器设备发送控制信号,以使在检测出跳跃区间的时刻启动GPS接收机等传感器,之后规定的时间,更具体而言例如获取正确的位置信息需要充分的时间使传感器启动后,对传感器设备发送控制信号,以使再次将传感器设定为休眠模式。该情况下,跳跃区间的检测后启动传感器的区间变为与检测出行为的区间对应的区间(跳跃区间和启动传感器的区间不一定重合)。
例如在解析结果处理部107生成与行为有关的附加信息(行为得分、簇的信息等)时,不需要细密地确定行为产生的位置(例如描绘行为区间中的用户的轨迹的程度),大多情况下例如行为产生的设施能够确定的程度能够确定位置即可。这种情况下,如上述那样,即使在行为检测后启动传感器,也能够获得为了信息的生成而充分的信息。
在本实施方式中,位置信息不一定使用于传感器数据解析部104中的解析,但存在使用于解析结果处理部107中的附加信息的生成、服务控制部112中的信息的生成的情况。此处,如上述,在本实施方式中,解析结果处理部107、服务控制部112生成图示的例子中的跳跃区间的行为区间信息。因此,对于如位置信息这样的不直接干预行为检测的传感器数据,通过限制为行为区间使利用传感器设备提供这样的传感器数据的传感器本身启动,例如可以节省传感器设备的消耗电力。此外,对于这样的传感器数据,也可以与上述的(a)或者(b)的例子同样地实施限制为行为区间来记录连续地提供的传感器数据,或在连续地记录传感器数据时限制为行为区间提高取样速度的控制。
此外,如(a)、(b)或者(c)那样的成为控制的对象的传感器数据的种类并不限于上述的例子,能够根据从传感器设备提供的传感器数据的种类、使用于行为的检测的传感器数据的种类、使用于附加信息的生成的传感器数据的种类等而不同。例如对于加速度或者角速度,也可能有能够进行上述(c)那样的控制的情况。另外,控制的对象可以包括例如气压、地磁等其它所有种类的传感器数据。
(7-4.第4例子)
图29是用于对本公开的一实施方式所包含的设备控制的第4例子进行说明的图。在图示的例子中,通过将行为检测的最近的履历与过去的履历相比较来实现适当的设备控制。
在图示的例子中,通过传感器数据解析部104所包含的行为检测部106检测包括停留、驾驶、步行等的最近的行为履历R。而且,在当前时刻(Now),通过与信息处理装置100配对的数码相机等拍摄装置开始影像的记录。此处,服务控制部112从检测区间信息保持部110检索与最近的行为履历R类似的过去的行为履历。检索例如使用影像的记录的开始前的行为履历、停留与驾驶的反复后检测出步行的、这样的条件来执行。或者可以使用HMM(HiddenMarkovModel:隐马尔可夫模型)、k-NN(k-NearestNeighbor:k-最近邻)法等算法来计算行为履历间的类似度。另外,结果并不光是检测出的行为,通过附加地利用传感器数据,更具体而言位置信息、气压(高度)等,可扩展类似判定的幅度。
在图示的例子中,检索的结果发现与最近的行为履历R类似的过去的行为履历P1。因此,服务控制部112读出过去的行为履历P1中记录影像时的拍摄装置的设定(设定的信息例如与检测出的行为区间的信息一起储存在检测区间信息保持部110中),并对在当前时刻(Now)开始了影像的记录的拍摄装置应用同样的设定。更具体而言,服务控制部112按照读出的设定信息来控制拍摄装置。例如最近的行为履历R和过去的行为履历P1都可以是屋外徒步等时的行为履历。这种情况适当的拍摄装置的设定可以例如图示的过去的行为履历P2(停留为主体)产生时那样在屋内度过的情况下适当的设定不同。在本例子中,服务控制部112预先基于行为履历来检测这种状况的不同而自动地变更拍摄装置的设定,由此能够以用户从最初适当的设定记录影像。
(7-5.第5例子)
图30以及图31是用于对本公开的一实施方式所包含的设备控制的第5例子进行说明的图。在图示的例子中,基于行为的检测结果来控制正在单板滑雪的用户安装的HMD(HeadMountedDisplay:头戴式可视设备)中的图像的显示。
在图30所示的HMD的画面1100a中显示通信窗口1101以及设施导航1103。这些图像在画面1100a中以透过的方式与用户视觉确认的实际空间的像重叠。另一方面,在图31所示的HMD的画面1100b中显示跑道内的设备(在图示的例子中跳台)的引导1105以及跑道导航1107。
在本例子中,服务控制部112基于传感器数据解析部104所包含的行为检测部106对用户的行为的检测结果有选择性地使HMD显示例如上述那样的画面1100a、1100b。更具体而言,例如,在行为检测部106连续地检测出上述那样的跳跃区间、转动区间的情况下,服务控制部112判断为用户单板滑雪滑行中(要求注意力的状况),来提示如画面1100b那样的、与滑行中的用户的状况相关的信息。另一方面,在行为检测部106在规定的时间以上未检测出跳跃区间、转动区间的情况下,服务控制部112判断用户不是滑行中(移动中或者休息中),提示如图像1100a那样的信息。
例如,画面1100a中提供的信息虽然对用户来说有用,但有可能在滑行中转移用户的注意而提供并不是适当的。用户可以在滑行开始时可以手动关闭HMD的显示,但操作麻烦,有可能在滑行结束后忘记开启显示。因此,如本例那样自动地切换HMD所显示的信息是有用的。服务控制部112也可以如上述的例子那样在滑行中提供适合滑行的信息,滑行中也可以不在HMD显示图像,而实际关闭显示。另外,服务控制部112可以将滑行中切换HMD的显示而不提供的信息提供声音或者振动通知用户。
作为其它例子,服务控制部112基于行为的检测结果,并不局限于HMD,也可以控制各种装置的信息的提示。例如服务控制部112也可以在基于行为的检测结果来判断为用户为滑行中的情况下,抑制用户的手机的声音或者振动的来电通知。此外,并不局限于滑行中,基于行为的检测结果推定为用户集中行为的情况下,能够进行同样的控制。
(7-6.第6例子)
图32是用于示意性地说明本公开的一实施方式所包含的设备控制的第6例子的图。参照图32,在单板雪的跑道142(设施的例子)中,设置在设施上的照相机161获取单板滑雪滑行的用户143的影像。在本例子中,照相机161包括多个照相机161a~161e。照相机161a~161e可以包括设置在设施上的照相机,也可以包括用户或其友人等所持的智能手机、数码相机等。如果组合由这些照相机分别获取的影像,则获得执行行为中的用户的自由视点影像。
图33是表示本公开的一实施方式所包含的信息输出的第6例子中的处理的流程图。在图示的例子中,首先,信息处理装置100的传感器设备控制部103实施作为图32所示的照相机161而被使用的设备(数码相机、智能手机等。以下,称为照相机设备)与传感器设备之间的配对(S361)。配对例如通过Bluetooth(注册商标)、无线LAN等通信手段来实施。此外,也可以朝向配对的时刻执行行为的预定地点来配置照相机设备,也可以配对后,至执行行为为止朝向预定地点来配置照相机设备。
配对结束后,例如在启动传感器设备的时机等,传感器设备控制部103对各个照相机设备发送同步信号(S362),使传感器设备和各个照相机设备的时刻(给予传感器数据、地图数据的时间戳)同步。同步完成后,传感器设备控制部103对各个照相机设备发送拍摄开始信号(S363)。接收到拍摄开始信号的照相机设备开始拍摄的影像数据的获取。
拍摄中,行为检测部106根据由传感器设备提供的传感器数据检测出行为区间的情况下(S364),例如在检测区间信息保持部110记录行为信息(S365)。拍摄结束例如可以通过用户操作来决定,也可以在规定的时间以上未检测出行为区间的情况下、关闭传感器设备的情况下等传感器设备控制部103自动地决定拍摄的结束。在决定了拍摄结束的情况下,传感器设备控制部103对各个照相机设备发送拍摄结束信号(S366)。拍摄结束后,各个照相机设备将获取的地图数据上传至信息处理装置100(S367)。
S367的上传后,信息处理装置100的服务控制部112按照行为检测部106检测出的行为区间的信息来剪切与行为区间对应的第1区间(例如可以包括行为区间的前后)的影像(S368)。并且,服务控制部112针对第1区间,使用从各个照相机设备提供的影像数据来生成自由视点影像(S369)。更具体而言,例如服务控制部112从自各个照相机设备提供的影像数据生成点云数据。此外,使用点云数据的方法以外大多有用于提供自由视点影像的手法,服务控制部112可以利用这样的手法生成用于提供自由视点影像的数据。用于提供自由视点影像的技术例如日本特开2007-133660号公报等中记载。
图34是对用于阅览通过图33所示的处理生成的自由视点影像的用户界面进行说明的图。在图示的例子中,在终端装置148(在图示的例子中如平板或者智能手机那样的移动设备)的显示器149上显示自由视点影像1630。用户例如通过经由设置在显示器149上的触摸面板等的操作输入来变更自由视点影像的视点,例如能够使显示器149显示如图示的地图1630a~地图1630e那样的影像。
作为本例的变形,可以代替自由视点影像,或者与自由视点影像一起提供行为区间的三维目标数据。该情况下,信息处理装置100的服务控制部112从自各个照相机设备提供的影像剪切行为区间的影像为止的处理与上述图33所示的处理的S361~S368相同。三维目标数据的生成在对包括目标的三维空间进行模型化这一点上与自由视点影像的生成相同。因此,能够基于由上述的多个照相机设备(图32所示的照相机161)获取的影像、照相机设备中附加测量的影像内的深度尺的信息等来生成三维目标数据。
在提供三维目标数据的情况下,例如可以将行为区间内用户指定的时刻的三维目标数据保持原样发送给用户的终端装置。或者,使用三维打印机来输出指定的时刻的三维目标数据,并将输出的目标提供给用户(可以当时分配,也可以发送)。例如可以与三维目标数据一起生成自由视点影像,通过图34所示的用户界面一边将自由视点影像提示给用户,一边选择作为三维目标而输出的行为区间中的场景。
(7-7.用户的简档)
在上述的本公开的一实施方式中,能够根据过去检测出的行为的种类来创建用户的简档。例如对跳跃的行为中,稳定地计算出高的行为得分的用户给予“跳跃的高级者”这个简档。另外,对跳跃的行为得分较低,还较多检测出跳跃的中途跌倒的用户给予“跳跃的初级者”这个简档。
例如可以利用如上述那样的简档使本实施方式中的设备控制的处理不同。例如图28所示的例子中在决定传感器数据的记录的有无、记录方法时,可以使用户的简档反映。更具体而言,在用户为跳跃的高级者的情况下,可以以更高的取样速度详细地记录检测出很少产生的跌倒的跳跃的传感器数据。这是因为高级者跳跃成功是平常的,所以通过详细地分析少有的失败,认为是更进步的支援。反之,在用户为跳跃的初级者的情况下,可以以更高的取样速度详细地记录未检测出跌倒而成功的跳跃的传感器数据。初级者通过回顾成功的跳跃,有可能抓住能够稳定地跳跃成功的启示。
(5.硬件构成)
接下来,参照图35,对本公开的实施方式所涉及的信息处理装置的硬件构成进行说明。图35是表示本公开的实施方式所涉及的信息处理装置的硬件构成例子的框图。
信息处理装置900包括CPU(CentralProcessingunit)901、ROM(ReadOnlyMemory)903、以及RAM(RandomAccessMemory)905。另外,信息处理装置900可以包括主机总线907、桥909、外部总线911、接口913、输入装置915、输出装置917、记忆装置919、驱动器921、连接端口923、通信装置925。并且,信息处理装置900可以根据需要而包括拍摄装置933以及传感器935。信息处理装置900也可以代替CPU901或者与CPU901一起具有DSP(DigitalSignalProcessor)、ASIC(ApplicationSpecificIntegratedCircuit)或者FPGA(Field-ProgrammableGateArray)等处理电路。
CPU901作为运算处理装置以及控制装置发挥作用,按照记录在ROM903、RAM905、记忆装置919或者可移动记录介质927中的各种程序来控制信息处理装置900内的动作全体或者其一部分。ROM903存储CPU901使用的程序、运算参数等。RAM905临时存储CPU901执行中使用的程序、该执行中适当地变化的参数等。CPU901、ROM903、以及RAM905通过由CPU总线等内部总线构成的主机总线907相互连接。并且,主机总线907经由桥909与PCI(PeripheralComponentInterconnect/Interface)总线等外部总线911连接。
输入装置915例如是鼠标、键盘、触摸面板、按钮、开关以及手柄等由用户操作的装置。输入装置915例如可以是利用了红外线、其它电波的遥控装置,也可以是与信息处理装置900的操作对应的手机等外部连接设备929。输入装置915包括基于用户输入的信息来生成输入信号并输出给CPU901的输入控制电路。用户通过操作该输入装置915,对信息处理装置900输入各种数据或指示处理动作。
输出装置917由能够使用视觉、听觉、触觉等感觉对用户通知获取的信息的装置构成。输出装置917例如可以是LCD(LiquidCrystalDisplay)或者有机EL(Electro-Luminescence)显示器等显示装置、扬声器或者耳机等声音输出装置或振动器等。输出装置917将通过信息处理装置900的处理所得的结果作为文本或图像等影像、声音或音响等声音或者振动等进行输出。
记忆装置919是作为信息处理装置900的存储部的一个例子而构成的数据储存用的装置。记忆装置919例如由HDD(HardDiskDrive)等磁存储部设备、半导体存储设备、光存储设备或者光磁存储设备等构成。记忆装置919例如储存CPU901执行的程序、各种数据、以及从外部获取的各种数据等。
驱动器921是用于磁盘、光盘,光磁盘或者半导体存储器等可移动记录介质927的读写器,被内置或外置于信息处理装置900。驱动器921读出记录在安装的可移动记录介质927中的信息,并输出给RAM905。另外,驱动器921对安装的可移动记录介质927写入记录。
连接端口923是用于使设备与信息处理装置900连接的端口。连接端口923例如可以是USB(UniversalSerialBus)端口、IEEE1394端口、SCSI(SmallComputerSystemInterface)端口等。另外,连接端口923也可以是RS-232C端口、光学音频端子、HDMI(注册商标)(High-DefinitionMultimediaInterface)端口等。通过在连接端口923上连接外部连接设备929,能够在信息处理装置900与外部连接设备929之间交换各种数据。
通信装置925例如由用于与通信网络931连接的通信设备等构成的通信接口。通信装置925例如可以是有线或者无线的LAN(LocalAreaNetwork)、Bluetooth(注册商标)、NFC(NearFieldCommunication)或者WUSB(WirelessUSB)用通信卡等。另外,通信装置925也可以是光通信用的路由器、ADSL(AsymmetricDigitalSubscriberLine)用路由器或者各种通信用调制解调器等。通信装置925例如与因特网、其它通信设备之间使用TCP/IP等规定协议来收发信号等。另外,与通信装置925连接的通信网络931是通过有线或者无线连接的网络,例如可以包括因特网、家庭内LAN、红外线通信、无线电波通信或者卫星通信等。
拍摄装置933例如使用CMOS(ComplementaryMetalOxideSemiconductor)或者CCD(ChargeCoupledDevice)等拍摄元件以及用于控制向拍摄元件的被拍摄体像的成像的透镜等各种部件来拍摄实际空间,并生成拍摄图像的装置。拍摄装置933也可以拍摄静止图像,还可以拍摄动态图像。
传感器935例如是加速度传感器、角速度传感器、地磁传感器、照度传感器、温度传感器、气压传感器、压力传感器、距离传感器或者声音传感器(麦克风)等各种传感器。传感器935获取例如信息处理装置900的框体的姿势等与信息处理装置900本身的状态有关的信息、信息处理装置900的周边的亮度、噪声等与信息处理装置900的周边环境有关的信息。另外,传感器935也可以包括接收GNSS(GlobalNavigationSatelliteSystem)信号来测量装置的纬度、经度以及高度的GNSS接收机。
以上示出信息处理装置900的硬件构成的一个例子。上述的各构成要素可以使用通用的部件来构成,也可以由专门用于各构成要素的功能的硬件构成。所述的构成能够根据实施的时时的技术水平适当地变更。
(6.补充)
本公开的实施方式例如能够包括上述说明的信息处理装置、***、信息处理装置或者由***执行的信息处理方法、用于使信息处理装置发挥作用的程序、以及记录有程序的不是暂时的有形的介质。
以上,参照添加附图对本公开的优选的实施方式详细地进行了说明,但本公开的技术范围并不限于所述的例子。清楚如果是具有本公开的技术领域中的通常知识的人,则在权利要求书记载的技术思想的范畴内,能够想到各种变更例或者修正例,对于这些,也了解当然属于本公开的技术范围内。
另外,本说明书所记载的效果不是限制性的,并且仅仅是说明性或示例性的。换言之,与上述的效果一起或取代上述效果,根据本公开的技术可以提供本领域技术人员根据此处的描述显而易见的其它效果。
此外,以下那样的构成也属于本公开的技术范围。
(1)信息处理装置具备信息获取部,其获取用户的行为信息、与上述行为信息建立关联的空间信息以及时间信息;以及地图表现处理部,其在执行基于上述空间信息的上述行为信息的地图表现时考虑上述时间信息。
(2)在上述(1)所记载的信息处理装置中,上述地图表现处理部考虑由上述时间信息表示的时刻与基准时刻的关系。
(3)在上述(2)所记载的信息处理装置中,由上述时间信息表示的时刻越远离上述基准时刻,上述地图表现处理部越减小上述地图表现中的上述行为信息的影响。
(4)在上述(3)所记载的信息处理装置中,上述行为信息包括将上述用户的行为分类为多个种类中的任意一种时的上述各种类的得分,上述地图表现处理部通过对与共同的上述空间信息建立关联的上述行为信息所包含的上述得分附加由上述时间信息表示的时刻越远离上述基准时刻则越小的权重相加,来决定上述地图表现中与上述共同的空间信息建立关联的代表行为的种类。
(5)在上述(3)所记载的信息处理装置中,上述地图表现处理部基于同表示与上述基准时刻之差低于阈值的时刻的上述时间信息建立关联的上述行为信息来执行上述地图表现。
(6)在上述(2)所记载的信息处理装置中,上述地图表现处理部在上述时间信息具有与上述基准时刻共同的属性的情况下,增大上述地图表现中的上述行为信息的影响。
(7)在上述(1)~(6)中的任意一项所记载的信息处理装置中,上述行为信息包括与第1时间信息建立关联的第1行为信息和与第2时间信息建立关联的第2行为信息,上述地图表现处理部在执行上述第1行为信息或者上述第2行为信息中的至少任意一个的上述地图表现时,考虑由上述第1时间信息表示的时刻与由上述第2时间信息表示的时刻的前后关系。
(8)在上述(7)所记载的信息处理装置中,上述第1行为信息与第1空间信息建立关联,上述第2行为信息同与上述第1空间信息不同的第2空间信息建立关联,在上述第2时间信息表示比上述第1时间信息靠后的时刻的情况下,上述地图表现处理部在上述地图表现中表现从由上述第1空间信息表示的位置向由上述第2空间信息表示的位置的移动。
(9)在上述(1)~(8)中的任意一项所记载的信息处理装置中,上述行为信息包括与评价行为的行为的得分有关的信息,上述地图表现处理部在执行上述地图表现时还考虑与上述行为的得分有关的信息。
(10)在上述(9)所记载的信息处理装置中,上述行为信息包括与基于上述得分而推定的上述用户的技能等级有关的信息,上述地图表现处理部在执行上述地图表现时还考虑与上述技能等级有关的信息。
(11)在上述(10)所记载的信息处理装置中,上述行为信息包括与表示上述用户的行为的消极的评价的得分有关的信息,上述地图表现处理部针对上述消极的评价,上述技能等级越高越向上修改得分。
(12)在上述(10)或者(11)所记载的信息处理装置中,上述行为信息包括与表示上述用户的行为的积极的评价的得分有关的信息,上述地图表现处理部针对上述积极的评价,上述技能等级越高越向下修正得分。
(13)在上述(10)~(12)中的任意一项所记载的信息处理装置中,上述地图表现处理部基于上述空间信息来确定执行由上述行为信息表示的行为的设施,并根据上述用户的技能等级的高低来生成包括每个上述设施的评价的信息。
(14)在上述(1)~(13)中的任意一项所记载的信息处理装置中,上述地图表现处理部基于由与上述行为信息建立关联的第1空间信息表示的位置与由未与上述行为信息建立关联的第2空间信息表示的位置之间的距离来推定与上述第2空间信息建立关联的行为信息。
(15)在上述(1)~(14)中的任意一项所记载的信息处理装置中,上述行为信息包括与上述空间信息的第1序列建立关联的第1行为信息序列、和与上述空间信息的第2序列建立关联的第2行为信息序列,上述第2行为信息序列与表示比上述第1行为信息序列靠前的时刻的时间信息建立关联,在由上述空间信息的第1序列表示的第1移动路径与由上述空间信息的第2序列表示的第2移动路径的一部分一致的情况下,上述地图表现处理部基于与表示上述第2移动路径的剩余的部分的上述空间信息的第2序列建立关联的上述第2行为信息序列向与上述第1行为信息序列建立关联的用户提供导航。
(16)在上述(1)~(15)中的任意一项所记载的信息处理装置中,上述行为信息包括表示上述用户的检测出的行为的信息,上述地图表现处理部基于通过由上述地图表现的结果表示的上述空间信息表示的每个位置的上述检测出的行为的趋势来调整用于检测上述用户的行为的设定。
(17)信息处理方法包括:获取用户的行为信息、与上述行为信息建立关联的空间信息以及时间信息;以及处理器在执行基于上述空间信息的上述行为信息的地图表现时考虑上述时间信息。
(18)程序用于使计算机实现如下的功能:获取用户的行为信息、与上述行为信息建立关联的空间信息以及时间信息的功能;以及在执行基于上述空间信息的上述行为信息的地图表现时考虑上述时间信息。
另外,以下的构成也属于本公开的技术范围。
(1)信息处理装置具备:传感器数据接收部,其接收由安装在用户或者被上述用户使用的器具上的传感器提供的传感器数据;行为检测部,其基于上述传感器数据来检测上述用户的行为;设备控制部,其根据上述检测出的行为来控制与上述用户或者上述行为相关的设备。
(2)在上述(1)所记载的信息处理装置中,上述行为检测部检测上述用户的一系列的状态中产生的上述行为。
(3)在上述(2)所记载的信息处理装置中,上述设备控制部在与上述一系列的状态中检测出上述行为的区间对应的第1区间和不对应的第2区间之间执行不同的上述设备的控制。
(4)在上述(3)所记载的信息处理装置中,上述设备具有记录上述行为的影像或者图像的功能,上述设备控制部控制上述设备,使得在上述第1区间确定上述影像或者上述图像。
(5)在上述(4)所记载的信息处理装置中,上述传感器数据包括表示上述用户的高度的数据,上述行为包括跳跃,上述设备控制部控制上述设备,使得在检测出上述跳跃的上述第1区间,至少在上述用户的高度的峰值记录上述图像。
(6)在上述(3)所记载的信息处理装置中,上述设备具有记录上述行为的影像或者图像的功能,上述设备控制部控制上述设备,使得在上述第1区间以第1品质记录上述影像或者上述图像,在上述第2区间以比上述第1品质低的第2品质记录上述影像或者上述图像。
(7)在上述(6)所记载的信息处理装置中,上述第1品质包括第1压缩率、第1帧频、第1帧尺寸或者第1集音等级,
上述第2品质包括比上述第1压缩率高的第2压缩率、比上述第1帧频低的第2帧频、比上述第1帧尺寸小的第2帧尺寸或者比上述第1集音等级低的第2集音等级。
(8)在上述(3)~(7)中的任意一项所记载的信息处理装置中,上述设备具有记录上述传感器数据的功能,上述设备控制部控制上述设备,使得在上述第1区间记录上述传感器数据。
(9)在上述(3)~(7)中的任意一项所记载的信息处理装置中,上述设备具有记录上述传感器数据的功能,上述设备控制部控制上述设备,使得在上述第1区间以第1取样速度记录上述传感器数据,在上述第2区间以比上述第1取样速度低的第2取样速度记录上述传感器数据。
(10)在上述(3)~(9)中的任意一项所记载的信息处理装置中,上述设备具有提供为了生成与上述行为有关的信息而使用的附加的传感器数据的功能,
上述设备控制部控制上述设备,使得在上述第1区间提供上述附加的传感器数据。
(11)在上述(1)~(10)中的任意一项所记载的信息处理装置中,上述设备控制部根据上述检测行为的履历来控制上述设备。
(12)在上述(11)所记载的信息处理装置中,上述设备控制部将直至上述设备新启动为止检测出的上述行为的最近履历与上述设备过去启动为止检测出的上述行为的过去履历相比较,将同与上述最近履历类似的上述过去履历对应的上述设备的设定也应用于新启动的上述设备。
(13)在上述(1)~(12)中的任意一项所记载的信息处理装置中,上述设备具有对上述用户提示信息的功能,上述行为包括对用户要求注意力的状况下产生的特定的种类的行为,上述设备控制部控制上述设备,在检测出上述特定的种类的行为的情况下,上述信息的内容或者提示方法发生变化。
(14)在上述(13)所记载的信息处理装置中,上述设备控制部控制上述设备,使得将上述信息的内容变更为与上述状况相关的内容。
(15)在上述(13)所记载的信息处理装置中,上述设备控制部控制上述设备,使得利用声音或者振动提示或者不提示通过图像提示的上述信息。
(16)在上述(1)~(15)中的任意一项所记载的信息处理装置中,上述设备具有对上述行为的地图或者图像进行加工的功能,上述设备控制部控制上述设备,使得在与检测出上述行为的区间对应的区间对上述影像或者图像进行加工。
(17)在上述(16)所记载的信息处理装置中,上述设备对上述影像或者上述图像的加工基于上述影像或者上述图像来生成用于提供自由视点影像或自由视点图像的数据或者三维目标数据。
(18)信息处理方法包括:接收由安装在用户或者被上述用户使用的器具上的传感器提供的传感器数据;基于上述传感器数据来检测上述用户的行为;以及处理器根据上述检测出的行为来控制与上述用户或者上述行为相关的设备。
(19)程序使计算机实现如下的功能:接收由安装在用户或者被上述用户使用的器具上的传感器提供的传感器数据的功能;基于上述传感器数据来检测上述用户的行为的功能;以及根据上述检测行来控制与上述用户或者上述行为相关的设备的功能。
图中符号说明:
100…信息处理装置;101…发送部;102…接收部;103…传感器设备控制部;104…传感器数据解析部;105…特征量提取部;106…行为检测部;107…解析结果处理部;108…聚类处理部;109…评分处理部;112…服务控制部

Claims (18)

1.一种信息处理装置,其特征在于,具备:
信息获取部,其获取用户的行为信息、与上述行为信息建立关联的空间信息以及时间信息;以及
地图表现处理部,其在执行基于上述空间信息的上述行为信息的地图表现时考虑上述时间信息。
2.根据权利要求1所述的信息处理装置,其特征在于,
上述地图表现处理部考虑由上述时间信息表示的时刻与基准时刻的关系。
3.根据权利要求2所述的信息处理装置,其特征在于,
由上述时间信息表示的时刻越远离上述基准时刻,上述地图表现处理部越减小上述地图表现中的上述行为信息的影响。
4.根据权利要求3所述的信息处理装置,其特征在于,
上述行为信息包括将上述用户的行为分类为多个种类中的任意一种时的上述各种类的得分,
上述地图表现处理部通过对与共同的上述空间信息建立关联的上述行为信息所包含的上述得分附加由上述时间信息表示的时刻越远离上述基准时刻则越小的权重进行相加,来决定上述地图表现中与上述共同的空间信息建立关联的代表行为的种类。
5.根据权利要求3所述的信息处理装置,其特征在于,
上述地图表现处理部基于同表示与上述基准时刻之差低于阈值的时刻的上述时间信息建立关联的上述行为信息来执行上述地图表现。
6.根据权利要求2所述的信息处理装置,其特征在于,
上述地图表现处理部在上述时间信息具有与上述基准时刻共同的属性的情况下,增大上述地图表现中的上述行为信息的影响。
7.根据权利要求1所述的信息处理装置,其特征在于,
上述行为信息包括与第1时间信息建立关联的第1行为信息和与第2时间信息建立关联的第2行为信息,
上述地图表现处理部在执行上述第1行为信息或者上述第2行为信息中的至少任意一个的上述地图表现时,考虑由上述第1时间信息表示的时刻与由上述第2时间信息表示的时刻的前后关系。
8.根据权利要求7所述的信息处理装置,其特征在于,
上述第1行为信息与第1空间信息建立关联,
上述第2行为信息同与上述第1空间信息不同的第2空间信息建立关联,
在上述第2时间信息表示比上述第1时间信息靠后的时刻的情况下,上述地图表现处理部在上述地图表现中表现从由上述第1空间信息表示的位置向由上述第2空间信息表示的位置的移动。
9.根据权利要求1所述的信息处理装置,其特征在于,
上述行为信息包括与评价行为的行为的得分有关的信息,
上述地图表现处理部在执行上述地图表现时还考虑与上述行为的得分有关的信息。
10.根据权利要求9所述的信息处理装置,其特征在于,
上述行为信息包括与基于上述得分而推定的上述用户的技能等级有关的信息,
上述地图表现处理部在执行上述地图表现时还考虑与上述技能等级有关的信息。
11.根据权利要求10所述的信息处理装置,其特征在于,
上述行为信息包括与表示上述用户的行为的消极的评价的得分有关的信息,
上述地图表现处理部针对上述消极的评价,上述技能等级越高则越向上修改得分。
12.根据权利要求10所述的信息处理装置,其特征在于,
上述行为信息包括与表示上述用户的行为的积极的评价的得分有关的信息,
上述地图表现处理部针对上述积极的评价,上述技能等级越高则越向下修正得分。
13.根据权利要求10所述的信息处理装置,其特征在于,
上述地图表现处理部基于上述空间信息来确定执行了由上述行为信息表示的行为的设施,并根据上述用户的技能等级的高低来生成包括每个上述设施的评价的信息。
14.根据权利要求1所述的信息处理装置,其特征在于,
上述地图表现处理部基于由与上述行为信息建立关联的第1空间信息表示的位置与由未与上述行为信息建立关联的第2空间信息表示的位置之间的距离来推定与上述第2空间信息建立关联的行为信息。
15.根据权利要求1所述的信息处理装置,其特征在于,
上述行为信息包括与上述空间信息的第1序列建立关联的第1行为信息序列、和与上述空间信息的第2序列建立关联的第2行为信息序列,上述第2行为信息序列与表示比上述第1行为信息序列靠前的时刻的时间信息建立关联,
在由上述空间信息的第1序列表示的第1移动路径与由上述空间信息的第2序列表示的第2移动路径的部分一致的情况下,上述地图表现处理部基于与表示上述第2移动路径的剩余的部分的上述空间信息的第2序列建立关联的上述第2行为信息序列向与上述第1行为信息序列建立关联的用户提供导航。
16.根据权利要求1所述的信息处理装置,其特征在于,
上述行为信息包括表示上述用户的被检测出的行为的信息,
上述地图表现处理部基于通过由上述地图表现的结果表示的上述空间信息表示的每个位置的上述被检测出的行为的趋势来调整用于检测上述用户的行为的设定。
17.一种信息处理方法,其特征在于,包括:
获取用户的行为信息、与上述行为信息建立关联的空间信息以及时间信息;以及
处理器在执行基于上述空间信息的上述行为信息的地图表现时考虑上述时间信息。
18.一种程序,其特征在于,
用于使计算机实现如下的功能的程序:
获取用户的行为信息、与上述行为信息建立关联的空间信息以及时间信息的功能;以及
在执行基于上述空间信息的上述行为信息的地图表现时考虑上述时间信息。
CN201511009375.5A 2015-01-05 2015-12-29 信息处理装置、信息处理方法以及程序 Pending CN105759954A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2015-000411 2015-01-05
JP2015000411 2015-01-05
JP2015000413 2015-01-05
JP2015-000413 2015-01-05

Publications (1)

Publication Number Publication Date
CN105759954A true CN105759954A (zh) 2016-07-13

Family

ID=56342239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511009375.5A Pending CN105759954A (zh) 2015-01-05 2015-12-29 信息处理装置、信息处理方法以及程序

Country Status (5)

Country Link
US (1) US10571289B2 (zh)
EP (1) EP3244321A4 (zh)
JP (1) JP6683134B2 (zh)
CN (1) CN105759954A (zh)
WO (1) WO2016111068A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106486002A (zh) * 2016-09-30 2017-03-08 深圳市华傲数据技术有限公司 危险品存放地波及程度的数据处理及展示方法、***
CN110382339A (zh) * 2017-03-07 2019-10-25 泽哈斯股份公司 估计自行车上骑行者行为和/或沿着所述自行车所遵循的路径的道路质量的***和方法
CN110860088A (zh) * 2019-11-14 2020-03-06 网易(杭州)网络有限公司 竞速游戏中小地图的渲染方法、装置以及游戏终端
CN111149145A (zh) * 2017-08-25 2020-05-12 株式会社漫遇 信息处理装置、信息处理方法及程序
CN111868715A (zh) * 2018-03-13 2020-10-30 阿自倍尔株式会社 多变量时间序列数据的同步方法以及多变量时间序列数据处理装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6653459B2 (ja) 2015-10-29 2020-02-26 パナソニックIpマネジメント株式会社 画像処理装置及びこれを備えた脈拍推定システムならびに画像処理方法
US11050991B2 (en) * 2016-09-29 2021-06-29 Koninklijke Philips N.V. Image processing using a plurality of images for a three dimension scene, having a different viewing positions and/or directions
CN108702442B (zh) * 2016-10-14 2021-04-16 深圳市大疆创新科技有限公司 用于时刻捕获的***和方法
JPWO2018116476A1 (ja) * 2016-12-22 2019-07-18 富士通株式会社 情報処理装置、情報処理方法および情報処理プログラム
US10803683B2 (en) 2017-02-14 2020-10-13 Kabushiki Kaisha Toshiba Information processing device, information processing method, computer program product, and moving object
US10664489B1 (en) 2018-11-16 2020-05-26 Fuvi Cognitive Network Corp. Apparatus, method, and system of cognitive data blocks and links for personalization, comprehension, retention, and recall of cognitive contents of a user
JP7223629B2 (ja) * 2019-05-13 2023-02-16 日立Astemo株式会社 車載システム、外界認識センサ、電子制御装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101860561A (zh) * 2009-01-28 2010-10-13 索尼公司 信息处理装置、信息处理方法、程序
JP2012230496A (ja) * 2011-04-25 2012-11-22 Toshiba Corp 情報処理装置、及び情報処理方法
JP2013239115A (ja) * 2012-05-17 2013-11-28 Hitachi Ltd 運動支援システム及び運動支援方法
JP2014002036A (ja) * 2012-06-18 2014-01-09 Nippon Telegr & Teleph Corp <Ntt> 歩行経路推薦装置、方法及びプログラム
CN103597476A (zh) * 2011-06-13 2014-02-19 索尼公司 信息处理装置、信息处理方法及计算机程序
CN103905978A (zh) * 2012-12-27 2014-07-02 中国电信股份有限公司 基于位置的信息推送方法、推送装置和网络

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5440080B2 (ja) * 2009-10-02 2014-03-12 ソニー株式会社 行動パターン解析システム、携帯端末、行動パターン解析方法、及びプログラム
JP2011107977A (ja) * 2009-11-17 2011-06-02 Fujitsu Ten Ltd 情報処理装置、車載装置、情報処理システム、情報処理方法、および、プログラム
WO2012050898A1 (en) * 2010-09-29 2012-04-19 The Board Of Regents Of The University Of Nebraska Lifespace data collection from discrete areas
JP5805128B2 (ja) * 2013-03-28 2015-11-04 本田技研工業株式会社 地図提供サーバ及び地図提供方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101860561A (zh) * 2009-01-28 2010-10-13 索尼公司 信息处理装置、信息处理方法、程序
JP2012230496A (ja) * 2011-04-25 2012-11-22 Toshiba Corp 情報処理装置、及び情報処理方法
CN103597476A (zh) * 2011-06-13 2014-02-19 索尼公司 信息处理装置、信息处理方法及计算机程序
JP2013239115A (ja) * 2012-05-17 2013-11-28 Hitachi Ltd 運動支援システム及び運動支援方法
JP2014002036A (ja) * 2012-06-18 2014-01-09 Nippon Telegr & Teleph Corp <Ntt> 歩行経路推薦装置、方法及びプログラム
CN103905978A (zh) * 2012-12-27 2014-07-02 中国电信股份有限公司 基于位置的信息推送方法、推送装置和网络

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106486002A (zh) * 2016-09-30 2017-03-08 深圳市华傲数据技术有限公司 危险品存放地波及程度的数据处理及展示方法、***
CN106486002B (zh) * 2016-09-30 2019-09-20 深圳市华傲数据技术有限公司 危险品存放地波及程度的数据处理及展示方法、***
CN110382339A (zh) * 2017-03-07 2019-10-25 泽哈斯股份公司 估计自行车上骑行者行为和/或沿着所述自行车所遵循的路径的道路质量的***和方法
CN111149145A (zh) * 2017-08-25 2020-05-12 株式会社漫遇 信息处理装置、信息处理方法及程序
CN111868715A (zh) * 2018-03-13 2020-10-30 阿自倍尔株式会社 多变量时间序列数据的同步方法以及多变量时间序列数据处理装置
CN110860088A (zh) * 2019-11-14 2020-03-06 网易(杭州)网络有限公司 竞速游戏中小地图的渲染方法、装置以及游戏终端
CN110860088B (zh) * 2019-11-14 2023-04-07 网易(杭州)网络有限公司 竞速游戏中小地图的渲染方法、装置以及游戏终端

Also Published As

Publication number Publication date
US10571289B2 (en) 2020-02-25
US20170328726A1 (en) 2017-11-16
JPWO2016111068A1 (ja) 2017-10-12
EP3244321A1 (en) 2017-11-15
JP6683134B2 (ja) 2020-04-15
EP3244321A4 (en) 2018-07-04
WO2016111068A1 (ja) 2016-07-14

Similar Documents

Publication Publication Date Title
CN105759954A (zh) 信息处理装置、信息处理方法以及程序
US20190383620A1 (en) Information processing apparatus, information processing method, and program
CN105749548A (zh) 信息处理装置、信息处理方法以及程序
CN110780707B (zh) 信息处理设备、信息处理方法与计算机可读介质
CN205730297U (zh) 信息处理装置
JP6561996B2 (ja) 情報処理装置、制御方法、および記憶媒体
CN104115180B (zh) 信息处理设备、信息处理方法和程序
US8847789B2 (en) Information provision system, information provision device, information provision method, terminal device, and display method
JP6311478B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6183047B2 (ja) 情報処理装置、情報処理方法およびプログラム
US20180025283A1 (en) Information processing apparatus, information processing method, and program
JP7405734B2 (ja) 表示システム及びサーバ
CN113095960B (zh) 一种考虑游客舒适度的游园***及游园规划方法
JP2010039256A (ja) 表示システム、表示方法,及び移動体
JP6233412B2 (ja) 情報処理装置、情報処理方法およびプログラム
JPWO2018163560A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2015194270A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP2021182172A (ja) 情報処理装置、情報処理方法およびプログラム
WO2015194269A1 (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160713