WO2016111068A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2016111068A1
WO2016111068A1 PCT/JP2015/079176 JP2015079176W WO2016111068A1 WO 2016111068 A1 WO2016111068 A1 WO 2016111068A1 JP 2015079176 W JP2015079176 W JP 2015079176W WO 2016111068 A1 WO2016111068 A1 WO 2016111068A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
action
time
user
processing apparatus
Prior art date
Application number
PCT/JP2015/079176
Other languages
English (en)
French (fr)
Inventor
荘太 松澤
小形　崇
仁 大久保
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP15876941.4A priority Critical patent/EP3244321A4/en
Priority to US15/527,396 priority patent/US10571289B2/en
Priority to JP2016568285A priority patent/JP6683134B2/ja
Publication of WO2016111068A1 publication Critical patent/WO2016111068A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3484—Personalized, e.g. from learned user behaviour or user-defined profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/10—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people together with the recording, indicating or registering of other data, e.g. of signs of identity
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10—Map spot or coordinate position indicators; Map reading aids

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • Patent Literature 1 has a plurality of behavior determination units specialized for specific behavior among user behaviors recognized by threshold processing of sensor data, and the behavior based on the determination result in each behavior determination unit. An information processing apparatus that generates information is described.
  • a user's action (action) detected by the technique described in Patent Document 1 is not limited to the generation of information, and can be used in various ways. However, it cannot be said that such a method of utilization has been sufficiently proposed so far.
  • the present disclosure proposes a new and improved information processing apparatus, information processing method, and program capable of providing various benefits to the user based on the detection result of the user's action.
  • the time information in executing the map representation of the action information based on the spatial information and the information acquisition unit that acquires spatial information and time information associated with the action information of the user, and the time information, the time information
  • An information processing apparatus includes a map expression processing unit that takes into account.
  • the time information in executing the map expression of the action information based on the spatial information and the function of obtaining the action information of the user and the spatial information and time information associated with the action information, the time information There is provided a program for causing a computer to realize a function that considers the above.
  • FIG. 2 is a block diagram illustrating a schematic functional configuration of an information processing apparatus according to an embodiment of the present disclosure.
  • FIG. 9 is a flowchart illustrating a first example of a process for detecting a jump included in a user action according to an embodiment of the present disclosure. It is a flowchart which shows the example of the high impact detection process shown in FIG.
  • FIG. 3 is a flowchart showing a first example of free fall detection processing shown in FIG. 2.
  • FIG. 6 is a flowchart illustrating a process including some examples of a map representation of action information according to an embodiment of the present disclosure. It is a figure showing the 1st example of map representation of action information in one embodiment of this indication. In the example shown in FIG. 16, it is a figure which shows the example in which map expression changed in real time. It is a figure showing the 2nd example of map representation of action information in one embodiment of this indication. It is a figure showing an example of safety map generation in one embodiment of this indication. 4 is a diagram for describing an example of navigation in consideration of a skill level and an action history according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram for describing an example of changing an action detection setting according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram for describing an example of changing an action detection setting according to an embodiment of the present disclosure.
  • FIG. FIG. 3 is a block diagram illustrating a hardware configuration example of an information processing apparatus according to an embodiment of the present disclosure.
  • 6 is a flowchart illustrating processing in a first example of device control included in an embodiment of the present disclosure.
  • FIG. 6 is a diagram for further describing an image or video captured in a first example of device control included in an embodiment of the present disclosure. It is a figure for demonstrating the 2nd example of the device control included in one Embodiment of this indication. It is a figure for demonstrating the 2nd example of the device control included in one Embodiment of this indication.
  • FIG. 9 is a diagram for describing a third example of device control included in an embodiment of the present disclosure.
  • FIG. 10 is a diagram for describing a fourth example of device control included in an embodiment of the present disclosure.
  • FIG. 9 is a diagram for describing a fifth example of device control included in an embodiment of the present disclosure.
  • FIG. 9 is a diagram for describing a fifth example of device control included in an embodiment of the present disclosure.
  • FIG. 9 is a diagram for conceptually explaining a sixth example of device control included in an embodiment of the present disclosure.
  • 14 is a flowchart illustrating processing in a sixth example of information output included in an embodiment of the present disclosure. It is a figure for demonstrating the user interface for browsing the free viewpoint image
  • FIG. 13 is a block diagram illustrating a hardware configuration example of an information processing apparatus according to an embodiment of the disclosure.
  • FIG. 1 is a block diagram illustrating a schematic functional configuration of an information processing apparatus according to an embodiment of the present disclosure.
  • an information processing apparatus 100 includes a transmission unit 101, a reception unit 102, a sensor device control unit 103, a sensor data analysis unit 104, an analysis result processing unit 107, and a detection section information holding unit 110.
  • the additional information holding unit 111 and the service control unit 112 are included.
  • the information processing apparatus 100 may be a single device or a collection of devices that configure a server on a network, as shown in some specific examples described later, for example.
  • the information processing apparatus 100 may be a terminal device that communicates with a server via a network or a terminal device that operates alone.
  • the functions of the information processing apparatus 100 may be realized by being distributed to a server and a terminal device that communicate with each other via a network.
  • the hardware configuration of each of the information processing apparatus 100 or a plurality of apparatuses that implement the functions of the information processing apparatus 100 will be described later.
  • the transmission unit 101 and the reception unit 102 are realized by a communication device that communicates with the sensor device by various wired or wireless communication methods, for example.
  • the sensor device includes at least one sensor mounted on a user or an instrument used by the user.
  • the transmission unit 101 transmits a control signal output from the sensor device control unit 103 to the sensor device.
  • the receiving unit 102 receives sensor data and time information (time stamp) from the sensor device, and inputs them to the sensor device control unit 103.
  • the receiving unit 102 realizes a sensor data receiving unit that receives sensor data provided by a user or a sensor attached to an instrument used by the user.
  • the information processing apparatus 100 is a terminal device including at least one sensor, more specifically, a mobile device or a wearable device, a CPU that executes a driver program that receives sensor data from the sensor (
  • the sensor data receiving unit may be realized by a processor such as Central Processing Unit.
  • the information processing apparatus according to the present embodiment may include an acquisition unit that acquires sensor data from an external apparatus including a sensor, for example.
  • the acquisition unit is, for example, a processor such as a CPU that executes “a driver program that receives sensor data from an external device including a sensor via the communication device that implements the transmission unit 101 and the reception unit 102”. It is realized by.
  • the information processing apparatus which concerns on this embodiment can also take the structure which is not provided with a sensor data receiving part.
  • the sensor device control unit 103 is realized by a processor such as a CPU operating according to a program stored in a memory.
  • the sensor device control unit 103 acquires sensor data and time information from the reception unit 102.
  • the sensor device control unit 103 provides these data to the sensor data analysis unit 104 and the analysis result processing unit 107.
  • the sensor device control unit 103 may perform preprocessing of data as necessary.
  • the sensor device control unit 103 outputs a control signal for the sensor device to the transmission unit 101.
  • the sensor device control unit 103 may output a control signal based on feedback of a processing result in the sensor data analysis unit 104 or the analysis result processing unit 107.
  • the sensor data analysis unit 104 is realized by a processor such as a CPU operating according to a program stored in a memory.
  • the sensor data analysis unit 104 performs various analyzes using the sensor data provided from the sensor device control unit 103.
  • the sensor data analysis unit 104 includes a feature amount extraction unit 105 and an action detection unit 106.
  • the feature amount extraction unit 105 extracts various feature amounts from the sensor data.
  • the action detection unit 106 detects a user action based on the feature amount extracted from the sensor data by the feature amount extraction unit 105.
  • the user action detected by the action detection unit 106 includes a user turn and / or jump.
  • the action detection unit 106 may detect other user actions such as walking, running, standing still, and moving by a vehicle.
  • the user's action can be detected in association with time information (time stamp) indicating a section (action section) in which the user action occurred.
  • the sensor data analysis unit 104 stores the analysis result, more specifically, for example, information including a user action section detected by the action detection unit 106 in the detection section information holding unit 110. Further, the sensor data analysis unit 104 provides the analysis result to the analysis result processing unit 107.
  • the analysis result processing unit 107 is realized by a processor such as a CPU operating according to a program stored in a memory. Based on the analysis result of the sensor data analysis unit 104, more specifically, the information of the user action detected by the action detection unit 106, the analysis result processing unit 107 performs various types used by the service control unit 112 in the subsequent stage. Generate additional information.
  • the analysis result processing unit 107 includes a clustering processing unit 108 and a scoring processing unit 109. For example, when the detected user action includes a plurality of actions of the same type, the clustering processing unit 108 may identify these actions as feature amounts (feature amounts extracted by the feature amount extraction unit 105). Or an intermediate feature amount calculated by the action detection unit 106).
  • the scoring processing unit 109 may calculate a score indicating action evaluation based on the feature amount. Further, the clustering processing unit 108 and / or the scoring processing unit 109 may newly calculate a feature amount based on the sensor data provided from the sensor device control unit 103.
  • the analysis result processing unit 107 holds additional information on the processing result, more specifically, the result of clustering by the clustering processing unit 108 and the score information calculated by the scoring processing unit 109 together with time information (time stamp). Stored in the unit 111.
  • the detection section information holding unit 110 and the additional information holding unit 111 are realized by various memories or storage devices, for example.
  • the detection section information holding unit 110 and the additional information holding unit 111 temporarily or permanently store the information provided from the sensor data analysis unit 104 and the analysis result processing unit 107 as described above.
  • the information stored in the detection section information holding unit 110 and the information stored in the additional information holding unit 111 can be associated with each other by, for example, time information (time stamp). Further, the detection section information holding unit 110 and the additional information holding unit 111 may store information regarding each of a plurality of users.
  • the service control unit 112 is realized by a processor such as a CPU operating according to a program stored in a memory.
  • the service control unit 112 controls the service 113 using information stored in the detection section information holding unit 110 and / or the additional information holding unit 111. More specifically, for example, the service control unit 112 generates information provided to the user in the service 113 based on the information read from the detection section information holding unit 110 and / or the additional information holding unit 111.
  • the information processing apparatus 100 is a server
  • the information output by the service control unit 112 can be transmitted to the terminal apparatus via the communication apparatus.
  • the information output by the service control unit 112 can be provided to an output device such as a display, a speaker, or a vibrator included in the terminal device.
  • a sensor device including an acceleration sensor, an angular velocity sensor, and the like may be directly attached to a user by being embedded in wear, or incorporated in a wearable terminal device or a mobile terminal device.
  • the sensor device may be mounted on a snowboard tool, such as a board.
  • the action detection process executed in the present embodiment is not limited to jumps and turns that occur on snowboards.
  • the action detection process may be executed on jumps and turns that occur in sports other than snowboarding. Since jumps and turns are actions that can occur in common in various sports, it may be possible to detect jumps and turns regardless of the type of sports by, for example, detection processing described below.
  • an action other than a jump or turn may be detected.
  • various techniques used in the action recognition technique described in, for example, Japanese Patent Application Laid-Open No. 2010-198595 can be applied.
  • FIG. 2 is a flowchart illustrating a first example of a process for detecting a jump included in a user action according to an embodiment of the present disclosure. The illustrated process is executed by, for example, the sensor data analysis unit 104 included in the information processing apparatus 100 described above.
  • the sensor data analysis unit 104 performs a high impact detection process (S110) and a free fall detection process (S120) for each predetermined time frame. Details of these processes will be described later. Based on the results of these processes, the action detection unit 106 included in the sensor data analysis unit 104 determines whether or not a section between two high impact sections (estimated as crossing and landing) has occurred. (S101). When such a section occurs, the action detection unit 106 determines whether or not the duration of the section is between two threshold values (TH1, TH2) (S102). These threshold values are set, for example, for the purpose of excluding sections that are too long or too short for a jump.
  • TH1, TH2 threshold values
  • the action detection unit 106 further determines whether or not the ratio of the free fall section in the section exceeds the threshold (TH) (S103). When the ratio of the free fall section exceeds the threshold, it is detected that the section (section sandwiched between two high impact sections) is a jump section (S104).
  • FIG. 3 is a flowchart showing an example of the high impact detection process (S110) shown in FIG.
  • acceleration D111 included in the sensor data is used.
  • the feature quantity extraction unit 105 included in the sensor data analysis unit 104 calculates a norm of acceleration (S112), and further smoothes the norm with an LPF (Low Pass Filter) (S113).
  • the feature amount extraction unit 105 calculates the power of the amplitude in a predetermined time frame for the smoothed norm of acceleration (S114).
  • the action detection unit 106 determines whether or not the power exceeds the threshold value (TH) (S115), and when the power exceeds the threshold value, detects that the time frame is a high impact section (S116).
  • TH threshold value
  • S116 detects that the time frame is a high impact section
  • FIG. 4 is a flowchart showing a first example of the free fall detection process (S120) shown in FIG.
  • acceleration D121
  • angular velocity D125
  • the feature quantity extraction unit 105 calculates the norm of acceleration (S122), and the action detection unit 106 determines whether or not the norm in each section is below a threshold value (TH) (S123).
  • the action detection unit 106 detects that the section is a free fall section with respect to a section in which the norm of acceleration is below the threshold (S124).
  • the feature quantity extraction unit 105 calculates the norm for the angular velocity (S126), and further calculates the norm variance in a predetermined time frame (S127).
  • the action detection unit 106 determines whether or not the variance of the norm of the angular velocity is lower than the threshold (TH) (S128), and when the variance is lower than the threshold, masks the free fall section detected in S124 (that is, free The determination as a fall section is canceled) (S129).
  • TH threshold
  • S129 masks the free fall section detected in S124 (that is, free The determination as a fall section is canceled)
  • Such a mask process based on angular velocity causes a change in angular velocity when the user jumps, so that the free fall section where the change (dispersion) in angular velocity is small is caused by a cause other than the jump. Based.
  • the mask processing in S126 to S129 does not necessarily have to be executed after the free fall section determination processing in S121 to S124.
  • the action detection unit 106 may perform the mask process in advance, and may not execute the free fall section determination process for the section specified as the section to be masked.
  • the mask process may be executed after the jump section detection process (S104) shown in FIG. 2, and a section once detected as a jump section may be masked.
  • the free fall process (S120) shown in FIG. 4 or the like does not necessarily need to be executed before the section occurrence determination (S101) shown in FIG. Before the determination regarding the ratio of the section (S103), the free fall detection process may be executed for the section.
  • FIG. 5 is a flowchart showing a second example of the free fall detection process (S120) shown in FIG.
  • acceleration D121 included in the sensor data provided by the acceleration sensor mounted on the user or an instrument used by the user is used.
  • the feature amount extraction unit 105 and the action detection unit 106 execute the same process as in the first example, and detect a free fall section.
  • the feature quantity extraction unit 105 extracts the X-axis component and the Y-axis component of acceleration (S132), and further calculates the covariance between the X-axis component and the Y-axis component of acceleration (S132). S133). More specifically, for example, when the user is walking or running on a reference plane (which is not limited to a horizontal plane but may be an inclined plane), the feature amount extraction unit 105 performs coordinate axes of the acceleration sensor.
  • the X axis is the axis closest to the user's direction of travel
  • the Y axis is the axis closest to the normal direction of the reference plane
  • the covariance of acceleration components (X axis component, Y axis component) in these axis directions is calculated.
  • the action detection unit 106 determines whether or not the covariance is lower than the threshold (TH) (S134), and when the covariance is lower than the threshold, masks the free fall section detected in S124 (S129).
  • Such mask processing based on the covariance of acceleration is performed when, for example, the jump to be detected is not a so-called vertical jump with a displacement in the normal direction of the reference plane but a jump with a displacement in the user's traveling direction. It is valid.
  • FIG. 6 is a flowchart illustrating a second example of a process for detecting a jump included in a user action according to an embodiment of the present disclosure. The illustrated process is executed in the sensor data analysis unit 104 included in the information processing apparatus 100, for example, as in the first example.
  • the sensor data analysis unit 104 executes candidate section detection processing (S140). Details of this process will be described later.
  • the action detection unit 106 included in the sensor data analysis unit 104 determines whether a candidate section has occurred (S105). When a candidate section occurs, the action detection unit 106 determines whether or not the duration (duration) of the section is between two threshold values (TH1, TH2), as in the first example ( S102). When the duration is between two threshold values, the action detection unit 106 further determines whether or not the average value (mean) of the acceleration in the vertical direction and the horizontal direction in the section exceeds the respective threshold values (THs) ( S106). When the average value of acceleration exceeds each threshold value, it is detected that the candidate section is a jump section (S104).
  • FIG. 7 is a flowchart showing an example of the candidate section detection process (S140) shown in FIG.
  • the candidate section detection process first, the high impact detection process (S110) described above with reference to FIG. 3, the vertical acceleration calculation process (S141), and the horizontal acceleration calculation process (S142). ) And are executed. Further, the feature amount extraction unit 105 included in the sensor data analysis unit 104 calculates the difference between the vertical acceleration and the horizontal acceleration calculated in S141 and S142 for each section (S143). After that, the action detection unit 106 determines whether or not a section between two high impact sections (estimated as crossing and landing) has occurred (S144).
  • the action detection unit 106 determines whether or not the difference between the vertical acceleration and the horizontal acceleration calculated in S143 exceeds a threshold (TH) in the section (S145). . When the difference exceeds the threshold, it is detected that the section (a section sandwiched between two high impact sections) is a jump section candidate section (S146).
  • FIG. 8 is a flowchart showing an example of the vertical acceleration calculation process (S141) shown in FIG.
  • the acceleration (D151) included in the sensor data is used.
  • the feature amount extraction unit 105 included in the sensor data analysis unit 104 calculates an average value (mean) of acceleration (S152).
  • the average value calculated here can be, for example, a moving average.
  • the feature amount extraction unit 105 executes gravity component acceleration calculation processing (S153). Further, the feature amount extraction unit 105 calculates the norm of the calculated gravity component acceleration (S154).
  • the gravity component acceleration may be calculated based on an average value such as a moving average, or may be calculated using a filter such as an LPF.
  • the feature quantity extraction unit 105 processes the acceleration (D151) by BPF (Band Pass Filter) separately from the processing of S152 to S154 described above (S155).
  • BPF Band Pass Filter
  • the BPF is used for the purpose of removing a DC component (that is, gravity component) included in acceleration by a filter in a low frequency region and further smoothing acceleration by a filter in a high frequency region.
  • the BPF in S155 may be replaced by a combination of other types of filters such as LPF and HPF (High Pass Filter).
  • the feature amount extraction unit 105 calculates the inner product of the acceleration processed by the BPF and the gravity component acceleration calculated in S153 (S156).
  • the feature amount extraction unit 105 divides the inner product calculated in S156 by the norm of the gravity component acceleration calculated in S154 (S157). Thereby, the vertical acceleration (V158) is obtained.
  • the vertical acceleration is calculated by projecting the acceleration from which the gravity component is removed by the BPF (S155) in the direction of the gravity component acceleration.
  • FIG. 9 is a flowchart showing an example of the horizontal acceleration calculation process (S142) shown in FIG.
  • the acceleration (D151) included in the sensor data is also used in the horizontal acceleration calculation process.
  • the vertical acceleration calculated in the vertical acceleration calculation process (S141) described above with reference to FIG. 8 is used.
  • the feature quantity extraction unit 105 included in the sensor data analysis unit 104 squares and uses the vertical acceleration (S161).
  • the feature amount extraction unit acceleration (D151) is processed by the BPF (S162), and the DC component included in the acceleration is removed and the acceleration is smoothed.
  • the BPF in S162 may also be replaced by a combination of other types of filters such as LPF and HPF.
  • the feature amount extraction unit 105 calculates the norm of the acceleration processed by the BPF (S163), and squares it (S164). Further, the feature amount extraction unit 105 calculates a difference between the square of the vertical acceleration calculated in S161 and the square of the horizontal acceleration calculated in S164 (S165), and the square root of the difference (S166). Obtain horizontal acceleration (V167).
  • the jump detection according to the embodiment of the present disclosure is the same as the case where the first example (FIG. 4) is adopted for the free fall detection process in the first example of jump detection (FIG. 2).
  • the second example (FIG. 5) is adopted for the free fall detection process
  • a total of three types Jump detection processing is possible.
  • the sensor data analysis unit 104 including the action detection unit 106 may detect the final jump section based on the results after executing these three types of jump detection processing. More specifically, for example, when a jump section is detected by at least one of the three types of jump detection processing, the action detection unit 106 may detect the section as a final jump section. . Alternatively, the action detection unit 106 may detect the section as a final jump section when a jump section is detected by two or more of the three types of jump detection processing or all three types.
  • FIG. 10 is a flowchart illustrating an example of a process for detecting a turn section included in a user action according to an embodiment of the present disclosure.
  • the illustrated process is executed by, for example, the sensor data analysis unit 104 included in the information processing apparatus 100 described above.
  • the sensor data analysis unit 104 detects rotation included in the user's action (S210), and further detects non-turning rotation included in the rotation (S230).
  • a turn is detected from those other than the rotation (S250).
  • the non-turning rotation includes, for example, rotation generated by swinging the user when the sensor includes a sensor attached to the user's head or an instrument attached to the user's head.
  • the non-turning rotation includes other rotations generated by the user's body movement, more specifically, a sensor that is mounted on the user's arm or a device that is mounted on the user's arm. In some cases, it may include rotation generated by a user's arm swing or arm rotation.
  • the sensor data analysis unit 104 can detect a turn section with higher accuracy by detecting a turn section after removing such non-turning rotation. In this sense, it can be said that the non-turning rotation is noise with respect to the detection target turn.
  • the sensor data analysis unit 104 detects the rotation included in the user action, and further detects the rotation. It can be said that a turn is detected from a noise obtained by detecting noise included in the rotation and removing the noise from the rotation.
  • the sensor data analysis unit 104 executes a rotation section detection process (S210).
  • the rotation section is defined as a section where the angular velocity in the horizontal plane direction exceeds a threshold value.
  • the sensor data analysis unit 104 determines whether a rotation section has occurred (S201). When a rotation section occurs, first, the sensor data analysis unit 104 performs a head shake detection process (S230). Further, the sensor data analysis unit 104 determines whether or not the swing is detected (S203), and when the swing is not detected, further performs a turn detection process (S250).
  • the section generated by the user swinging (for example, when the sensor is mounted on a head-mounted wearable terminal device) is excluded from the rotation section, and the rotation radius or angular velocity is further removed.
  • the turn section in which the duration or the like satisfies a desired condition can be extracted.
  • FIG. 11 is a flowchart showing an example of the rotation section detection process (S210) shown in FIG.
  • acceleration D211
  • angular velocity D214
  • the feature amount extraction unit 105 included in the sensor data analysis unit 104 calculates an average value (mean) of acceleration (S212).
  • the average value calculated here can be, for example, a moving average.
  • the feature amount extraction unit 105 executes gravity component acceleration calculation processing (S213).
  • the feature amount extraction unit 105 calculates the inner product of the gravity component acceleration calculated in S213 and the angular velocity (D214) (S215). Thereby, the projection of the angular velocity in the direction of the gravitational component acceleration, that is, the angular velocity (V216) in the horizontal plane direction (around the vertical axis) is obtained.
  • the feature amount extraction unit 105 temporarily integrates the calculated angular velocity (S217), and calculates the angular displacement (V218) in the horizontal plane direction.
  • the feature amount extraction unit 105 processes the angular displacement with the LPF (S219). Further, the feature amount extraction unit 105 differentiates the angular displacement (S220) to obtain the angular velocity (V221) in the horizontal plane direction.
  • the angular velocity of V221 is once integrated in S217 as compared with the angular velocity of V218, and the angular displacement after integration is smoothed by being processed by the LPF in S219, and noise is removed from the waveform.
  • the action detection unit 106 included in the sensor data analysis unit 104 determines whether or not the angular velocity (V221) in the horizontal plane direction exceeds a threshold (S222), and detects a section where the angular speed exceeds the threshold as a rotation section (S223). .
  • FIG. 12 is a flowchart showing an example of the swing detection process (S230) shown in FIG.
  • the angular velocity (V221) in the horizontal direction after smoothing calculated in the rotation section detection process shown in FIG. 11 is used.
  • the feature amount extraction unit 105 acquires the sign of the angular velocity (S231). Any sign may be defined for the direction of rotation. In the illustrated example, clockwise rotation (V232) and counterclockwise rotation (V233) are defined as signs of angular velocity (V221). To do. Further, the feature amount extraction unit 105 calculates a time interval at which reverse rotation has occurred (S234).
  • the feature amount extraction unit 105 determines the time interval from the occurrence of the clockwise rotation (V232) to the occurrence of the counterclockwise rotation (V233), and the counterclockwise rotation ( The time interval from the occurrence of V233) to the occurrence of clockwise rotation (V232) is calculated.
  • the action detection unit 106 determines whether or not the time interval calculated in S234 is below a threshold value (TH) (S235), and detects that a swing has occurred when the time interval is below the threshold value. (S236).
  • FIG. 13 is a chart showing an example of the turn detection process (S250) shown in FIG.
  • the turn detection process a plurality of feature amounts are calculated by the feature amount extraction unit 105, and the action detection unit 106 performs determination based on each threshold based on each feature amount.
  • FIG. 13 shows a process for the feature quantity extraction unit 105 to calculate each feature quantity.
  • the calculation processing of each feature amount will be described in order, but the processing by the feature amount extraction unit 105 does not necessarily have to be executed in the description order, and the presumed amount is acquired or calculated. If so, the processing can be executed in an arbitrary order.
  • the feature quantity extraction unit 105 calculates a norm of acceleration (D251) included in the sensor data (S252), and further calculates an average value of norms in a predetermined time frame (S253).
  • the acceleration norm average (V254) calculated in this way is used as one of the feature amounts for detecting the turn.
  • the feature amount extraction unit 105 processes the acceleration (D251) with the first LPF (S273), and calculates the gravity component acceleration (V274). Further, the feature amount extraction unit 105 calculates the inner product of the angular velocity (D255) and the gravity component acceleration included in the sensor data (S256). Thereby, the projection of the angular velocity in the direction of the gravitational component acceleration, that is, the angular velocity (V257) in the horizontal plane direction (around the vertical axis) is obtained. The feature quantity extraction unit 105 integrates the calculated angular velocity (S258), and calculates the angular displacement (V259) in the horizontal plane direction. Angular displacement (V259) is also used as one of feature quantities for turn detection.
  • the feature amount extraction unit 105 calculates the angular velocity (V261) based on the angular displacement (V259) and the duration (V260) of the rotation section to be processed.
  • the angular velocity of V261 can be a longer time frame (for example, smoothed over the entire rotation section, for example, compared to the angular speed of D255.
  • the duration of the rotation section (V260) and the angular change rate (V261) are also detected by the turn detection. Is used as one of the feature quantities for
  • the feature quantity extraction unit 105 calculates several feature quantities by analyzing the angular displacement (V259) for a predetermined time frame (S262). More specifically, the feature amount extraction unit 105 determines the maximum value (S263, V268), average value (S264, V269), variance (S265, V270), and kurtosis (S266, V271) in the time frame. , And skewness (S267, V272). These feature amounts are also used as feature amounts for turn detection.
  • the feature quantity extraction unit 105 processes the acceleration (D251) with the second LPF (S275).
  • the first LPF (S273) is used to extract the gravitational component acceleration (V274), which is a DC component included in the acceleration, whereas the second LPF (S275) Used to smooth acceleration by filtering the high frequency region. Therefore, the passband settings of these LPFs can be different.
  • the feature amount extraction unit 105 calculates the inner product of the acceleration smoothed by the second LPF (S275) and the gravity component acceleration (V274) extracted by the first LPF (S273) (S276). Thereby, vertical acceleration (V277) is obtained. Further, the feature amount extraction unit 105 calculates the difference between the acceleration vector obtained by combining the gravity component acceleration (V274) and the vertical acceleration (V277) and the acceleration smoothed by the second LPF (S275) (S278). ). Thereby, horizontal acceleration (V279) is obtained. The feature amount extraction unit 105 calculates the average value of the horizontal acceleration (S280). The average value (V281) of the horizontal acceleration calculated in this way is also used as a feature value for turn detection.
  • the action detection unit 106 determines whether or not a turn has occurred based on the feature amount extracted from the sensor data as described above, for example.
  • the action detection unit 106 includes the duration of the rotation section (V260), the angular displacement in the horizontal plane (V259), the smoothed angular velocity (V261), the acceleration norm average (V254), and the horizontal acceleration average. The determination is performed based on the value (V281), the maximum value (V268) of the angular velocity in the time frame, the average value (V269), the variance (V270), the kurtosis (V271), and the skewness (V272).
  • the feature amount used for the determination is not limited to the above example.
  • a feature amount other than the above example may be used, or a part of the feature amount of the above example may not be used.
  • the type of feature quantity used for turn detection may be determined by principal component analysis based on sensor data when a turn actually occurs.
  • the feature-value used for determination may be determined based on the tendency of the sensor data that appears when a turn actually occurs.
  • the acceleration norm average (V254) and the horizontal acceleration average value (V281) are feature quantities related to the turning radius of the turn.
  • the threshold value of each feature amount applied in the determination by the action detection unit 106 is determined according to the result of machine learning based on sensor data when a turn actually occurs, for example. At this time, whether or not a turn has actually occurred may be determined manually with reference to, for example, an action video acquired simultaneously with the sensor data. Further, not only whether or not a turn has occurred, but a label indicating what kind of turn may be given. More specifically, for example, as a result of referring to the video, a label indicating each attribute of an action determined on the service provider side that the service provider wants to detect as a turn, does not want to detect as a turn, or either may be detected May be given.
  • action detection processing executed in an embodiment of the present disclosure have been described.
  • the action detection processing executed in the present embodiment is not limited to jumps and turns that occur on snowboards.
  • action detection processing is performed on jumps and turns that occur in sports other than snowboards or scenes other than sports. May be executed.
  • an action other than a jump or turn may be detected.
  • the action detection unit 106 may detect a fall that occurs on a snowboard or the like.
  • the feature amount extraction unit 105 calculates the norm of the acceleration in the same manner as the above-described jump and turn detection, and the action detection unit 106 determines that the acceleration norm is a threshold (for example, large enough not to occur in normal sliding). The occurrence of a fall may be detected when the value exceeds (which may be a value).
  • the scoring processing unit 109 included in the analysis result processing unit 107 may perform the action section including the jump section and / or the turn section detected by the processing described with reference to FIGS. 2 to 13 above.
  • a score (action score) for evaluating the generated action is calculated.
  • the action score can be calculated, for example, by extracting physical quantities (feature quantities) representing good or bad actions and features from sensor data in the action section and weighting and adding them.
  • the service control unit 112 generates information on the action (for example, jump or turn) based on the score calculated in this way.
  • the duration of the section (the angular displacement around the X axis / Y axis / Z axis in the section), the ratio of the free fall section, the magnitude of the impact at the time of crossing / landing, etc. It can be extracted as a feature amount for calculating a score.
  • the duration of the section, the displacement angle, the average value of each speed, the maximum value, and the standard deviation, the maximum value of the angular acceleration and the standard deviation, etc. are the feature quantities for calculating the score. Can be extracted.
  • the weighted addition coefficient can be set according to the nature of the action emphasized in the service 113 provided by the information processing apparatus 100, for example.
  • the method for calculating the action score from the feature amount is not limited to the weighted addition, and other calculation methods may be used.
  • the action score may be calculated by applying a machine learning algorithm such as a linear regression model.
  • the clustering processing unit 108 included in the analysis result processing unit 107 performs an action section including a jump section and / or a turn section detected by the processing described above with reference to FIGS. Then, a clustering algorithm such as the k-means method is applied using the feature amount extracted for scoring, and the detected actions are classified into clusters.
  • a clustering algorithm such as the k-means method is applied using the feature amount extracted for scoring, and the detected actions are classified into clusters.
  • actions may be classified into clusters according to the length of the duration of the section or the magnitude of rotation.
  • the result of clustering is used, for example, to extract action sections so that various types of actions such as jumps and turns are included in the moving image when a digest moving image is provided as a service. Also, by classifying good actions and bad actions into separate clusters, the user may look back on the actions or use them for coaching to improve the actions.
  • the analysis result processing unit 107 may calculate the similarity between the action sections based on the correlation coefficient of the feature amount as the same process as the clustering (action sections with high similarity are classified into the same cluster). It can be treated in the same way as the action section that was made). In addition, for example, the analysis result processing unit 107 prepares a characteristic amount pattern of a typical type of action in advance, and determines which type the newly generated action corresponds to by a k-NN method or the like. May be.
  • FIG. 14 is a block diagram illustrating an example of processing for estimating a sensor mounting state according to an embodiment of the present disclosure. More specifically, the illustrated configuration determines whether a sensor that provides sensor data is mounted directly on the user's body or on an instrument used by the user. The illustrated process is executed by, for example, the sensor data analysis unit 104 included in the information processing apparatus 100 described above. In the illustrated example, the cut-off frequency (Fc) of the filter and the length of the time frame are specifically described. However, these numerical values are examples, and may be appropriately changed according to actual sensor characteristics. Can be done.
  • Fc cut-off frequency
  • the receiving unit 102 of the information processing apparatus 100 receives sensor data provided by a three-axis (u, v, w) acceleration sensor 121.
  • the sensor data analysis unit 104 acquires this sensor data via the sensor device control unit 103.
  • the above-described determination processing is based on the fact that when the sensor is directly attached to the user's body, the high-frequency component of acceleration is attenuated by the body functioning as an LPF.
  • A amplitude of the low frequency component that has passed through the LPF 124)
  • B amplitude of the high frequency component that has passed through the HPF
  • the threshold determination 130 if the value obtained by processing A / B with the HPF 129 is larger than the threshold, it is determined that the sensor is directly attached to the user's body, and if not, the sensor is attached to the instrument. It can be determined that it is attached.
  • the estimation result as described above may be used inside the sensor data analysis unit 104, for example.
  • the sensor data analysis unit 104 changes the threshold value, the filter setting value, and the like depending on whether the sensor is attached to the body or the appliance in the process of detecting the user action as described above. Also good.
  • the estimation result as described above is fed back to the sensor device control unit 103 and used for setting parameters relating to measurement of the sensor device, determining the sensor data preprocessing method by the sensor device control unit 103, and the like. May be.
  • adaptive control related to sensor data processing may be performed based on estimation related to the state of the sensor data providing side, such as estimation of the sensor mounting state described above.
  • the sensor data analysis unit 104 estimates the type of sport in which an action has occurred using an algorithm such as machine learning from the impact strength or movement pattern detected by an acceleration sensor or the like. Also good.
  • the sports may be estimated for each generally recognized event, or may be estimated for each system such as board sports, water sports, bicycle competitions, and motor sports.
  • the sensor data analysis unit 104 estimates the type of device (for example, in the case of skiing, whether it is mounted on a ski or mounted on a stock). May be.
  • the estimation result may be used, for example, for controlling a threshold value or a filter setting value in action detection or the like, or fed back to the sensor device control unit 103 and similar to the sensor mounting state estimation result described above. It may be used for device control and determination of sensor data pre-processing method.
  • the receiving unit 102 receives the position information of the user from the sensor device in addition to the sensor data and time information (time stamp).
  • the action detection unit 106 included in the sensor data analysis unit 104 stores, in the detection section information holding unit 110, information that associates the time stamp and the position information with the user action detected based on the sensor data.
  • the service control unit 112 can acquire user action information, and spatial information (position information) and time information (time stamp) associated with the action information from the detection section information holding unit 110.
  • the action detecting unit 106 displays time information (time stamp) at the time when the action is detected, It may be used instead of the time stamp received together with the sensor data.
  • time information time stamp
  • the action detection unit 106 receives the position information acquired by the terminal device at the time when the action is detected, together with the sensor data. It may be used instead of the position information.
  • the service control unit 112 can acquire user action information, spatial information (position information) and time information (time stamp) associated with the action information from the detection section information holding unit 110.
  • the analysis result processing unit 107 associates the time stamp and the position information provided together with the action detection result from the action detection unit 106 with the additional information generated based on the action detection result, and the additional information holding unit 111, the service control unit 112 acquires the generated additional information, spatial information (position information) and time information (time stamp) associated with the action information from the additional information holding unit 111. be able to.
  • the action information is not limited to information directly indicating the user action detected by the action detection unit 106 but may include various information related to the detected user action. Therefore, in the above example, not only the action detection result provided by the action detection unit 106 but also additional information generated by the analysis result processing unit 107 is included in the action information. Moreover, action information is not restricted to what was detected by the action detection part 106 based on sensor data, For example, what was detected when the user input own condition may be contained.
  • the service control unit 112 that has acquired the user action information, the spatial information (position information) and the time information (time stamp) associated with the action information, expresses the action information as a map based on the spatial information.
  • the map representation includes, for example, arranging display elements such as text, graphics, icons, or textures corresponding to the action information on the map based on the spatial information.
  • the display element may correspond to a single action information, or a plurality of action information, for example, action information generated based on sensor data respectively provided by a plurality of users, or a single user. May correspond to action information generated based on sensor data sequentially provided in time series.
  • the service control unit 112 considers time information associated with the action information when expressing the action information as a map. More specifically, for example, the service control unit 112 may determine display elements corresponding to two pieces of action information associated with different time information in consideration of the time relationship indicated by the time information. Good. For example, the service control unit 112 may determine a display element corresponding to action information associated with certain time information in consideration of the relationship between the time indicated by the time information and the current time.
  • FIG. 15 is a flowchart illustrating processing including some examples of map representation of action information according to an embodiment of the present disclosure.
  • the action detection unit 106 included in the sensor data analysis unit 104 detects an action section (S301).
  • the action section may include, for example, a jump section and / or a turn section detected by the processing described above with reference to FIGS.
  • the action section may include a section in which another user action detected based on sensor data such as walking, running, stationary, moving with a vehicle, and the like has occurred.
  • the scoring processing unit 109 included in the analysis result processing unit 107 calculates an action score for the action section detected in S301 (S302). Further, action information related to the action section and action score, and data including user ID, position information, separately acquired action video data, and the like are uploaded (S303).
  • the upload in S303 may be, for example, an upload from a server that implements the functions of the sensor data analysis unit 104 or the analysis result processing unit 107 to a server that implements the service control unit 112. Alternatively, the upload in S303 may be upload from a terminal device that implements the functions of the sensor data analysis unit 104 and the analysis result processing unit 107 to a server that implements the service control unit 112. When these servers or terminal devices are the same, upload is read as registration in an internal database, for example.
  • the service control unit 112 that has received an upload of action sections and action scores detected for individual users calculates the skill level of the user as an additional process (S304).
  • the skill level is calculated based on a history of action scores calculated for each user.
  • a server that implements the service control unit 112 can use a database that holds a history of user action scores.
  • a database holding the skill level of the user may be available, and the service control unit 112 that has calculated the skill level in S304 may update the skill level database.
  • the service control unit 112 updates the location DB based on the result of the processing up to S304 (S305).
  • the location DB is realized in, for example, a memory or a storage (which may be an external storage connected via a network) that can be used by the information processing apparatus including the service control unit 112, and is a target for providing information by the service control unit 112 Stores location information within a geographic area to become.
  • action information is associated with spatial information defining the place.
  • the place here may be, for example, an arbitrary place defined on a map, a grid of a predetermined size, or a discrete spot defined in advance.
  • the definition of a place differs depending on, for example, the use form of place information described later.
  • an example using location information will be further described.
  • the service control unit 112 uses the action information associated with the spatial information in the place DB to create expanded map information (S306). Furthermore, the service control unit 112 draws the created map in response to, for example, a user request (S307). In the map, based on the action information for a single user or a plurality of users, the action that occurs at the highest frequency in each place is displayed as a characteristic of the place. Here, the service control unit 112 considers time information associated with the action information when creating the extended map information.
  • FIG. 16 is a diagram illustrating a first example of a map representation of action information according to an embodiment of the present disclosure.
  • a pattern 1101 indicating an action occurring frequently in each place (a pattern 1101a indicating walking, a pattern 1101b indicating riding on a train, a pattern 1101c indicating staying)
  • a pattern 1101d indicating shopping labels 1103 of the respective actions (labels 1103a to 1103d corresponding to the above-described patterns 1101a to 1101d), and an attribute selection 1105 are displayed.
  • the service control unit 112 considers the relationship between the time indicated by the time information and the reference time when creating the map information for drawing the map screen 1100. For example, the service control unit 112 performs control such that the influence of the action information in the map expression becomes smaller as the time indicated by the time information is farther from the reference time.
  • the action information may include a score of each category when the user's action is classified into any of a plurality of categories (more specifically, The score may be 1 for the action category specified by the action detection unit 106 and 0 for the other categories, or the occurrence probability of each category calculated by the action detection unit 106 may be treated as a score. Good).
  • the service control unit 112 determines that the time indicated by the time information is the current time (the time when the map information is generated) in the score included in the action information associated with the common spatial information (position information).
  • the category of the representative action associated with the common spatial information in the map representation on the map screen 1100 may be determined by adding weights that become smaller as they leave.
  • the service control unit 112 scores for each category (for example, walking, train, stay, shopping, etc.) indicated by the action information associated with the spatial information in the grid. Are added with a weight based on the time information as described above. As a result, the category for which the highest score is calculated becomes the category of the representative action associated with the grid.
  • the pattern 1101 and the label 1103 displayed on the map screen 1100 correspond to the representative action category determined as described above.
  • the service control unit 112 may use the pattern 1101 and the label 1103 in the map screen 1100 based on action information associated with time information indicating a time at which the difference from the current time is less than a threshold among available action information. May be displayed.
  • the action information extracted based on the difference between the current time and the time indicated by the time information may be handled uniformly, or the time indicated by the current time and the time information as in the above example. Further processing such as weighting of the score may be executed in accordance with
  • the current time may be automatically determined as the time when the map information is generated, or any past time may be determined by a user operation or the like as a time that replaces the current time. Therefore, the current time described in this specification may be read as a reference time for generating map information.
  • the service control unit 112 when the service control unit 112 displays the pattern 1101 and the label 1103 in the map screen 1100, the action information associated with time information having an attribute common to the current time (time when map information is generated). More specifically, for example, control may be performed such that the action information indicating the action that occurred in the same time zone or season as the current time has a greater influence on the map representation. Similar to the above example, the service control unit 112 may assign a weight to the score included in the action information that increases as the commonality of the attribute with the current time increases. Alternatively, the service control unit 112 may use the pattern 1101 and the label 1103 in the map screen 1100 based on the action information associated with the time information whose commonality with the current time exceeds the threshold among the available action information. May be displayed.
  • the service control unit 112 may generate map information by selectively using action information associated with the same time zone (for example, morning, noon, evening, night, etc.) as the current time. . Further, the service control unit 112 may generate map information by selectively using action information associated with the same season (for example, spring, summer, vacation season, etc.) as the current time. Note that the time zone, season, and the like may be arbitrarily selected by attribute selection 1105 described below. That is, the attribute selection 1105 is not limited to selecting a user attribute associated with action information, and may be used to select an attribute of time information associated with action information.
  • the attribute selection 1105 can select the attribute of the user whose action is to be displayed by the pattern 1101 or the label 1103. For example, as shown in the figure, it may be possible to select the user's age by the attribute selection 1105 (the twenties are selected). In this case, the service control unit 112 generates map information based on user action information having the selected attribute. In another example, other attributes of the user, more specifically gender, occupation, etc. may be selectable by the attribute selection 1105. Alternatively, the service control unit 112 may automatically select an attribute of a user to display an action in the map information according to an attribute of the user who provides the map information.
  • FIG. 17 is a diagram showing an example in which the map expression changes in real time in the example shown in FIG.
  • the map screen 1100a similar to the example shown in FIG. 16, as a result of the operation of the railway (RWY) ahead of the station (STATION) displayed in the center due to the accident being stopped, the map screen As shown in 1100b, the action displayed by the pattern 1101 and the label 1103 changes. More specifically, the pattern 1101 indicating that the train is displayed along the railway (RWY) is not displayed, and instead, the user is on the bus along another place (bus route). A pattern 1101 and a label 1103 indicating this are newly displayed.
  • a route navigation 1109 based on a condition 1107 set in advance or input by the user may be displayed.
  • the route navigation 1109 is displayed by extracting a combination of actions that meet the condition 1107 from the action detection result of the most recent user as shown on the map screen 1100b, for example. More specifically, the route navigation 1109 in the illustrated example is displayed as a combination of walking from the station, staying, and subsequent bus rides.
  • the service control unit 112 is included in, for example, the user's planned travel route (which can be determined based on the result of route search performed in advance, a schedule, a route that customarily travels, etc.). In such a case, the route navigation as shown in the map screen 1100c is automatically provided based on the fact that the action of another user on the train is no longer detected as shown in the map screen 1100b. May be.
  • FIG. 18 is a diagram illustrating a second example of a map representation of action information according to an embodiment of the present disclosure.
  • icons 1201, 1203, and 1205 are displayed on the map screen 1200, which indicate actions that occur frequently at each location. More specifically, the map screen 1200 may show an action at a venue for a music festival held outdoors, for example. Icons 1201 and 1203 indicate the excitement of users gathered at the venue, and the icon 1205 indicates the movement of users between the venues. Also on the map screen 1200, the icons 1201, 1203, and 1205 can intuitively grasp the actions occurring in the respective places. Also in this example, the service control unit 112 considers time information associated with each action information when creating map information for drawing the map screen 1200.
  • the service control unit 112 assigns a weight so that an action occurring at a time closer to the current time (the time when the map is generated) is more strongly reflected. It may be attached. Or the service control part 112 may limit the action information used when specifying the action in each place to the latest thing linked
  • the service control unit 112 when the service control unit 112 specifies an action at each place, the service control unit 112 has a time having an attribute common to the current time (time when map information is generated), more specifically, the previous time or the previous time.
  • the action information may be weighted so that actions that occur during the music festival are more strongly reflected. Similar to the first example described above, the service control unit 112 may further weight the action information according to a time zone, a season, or the like.
  • elements for attribute selection are not shown in the map screen 1200, the same elements as the attribute selection 1105 in the first example are displayed, and the attributes of time information and user attributes associated with the action information to be displayed are displayed. It may be possible to select.
  • the time context indicated by the time information associated with the action information is considered.
  • the movement of the user indicated by the icon 1205 may be determined by a plurality of pieces of action information respectively associated with a series of time stamps being associated with position information that changes along the movement path of the user. .
  • the direction of movement can be specified based on the time relationship indicated by the time information associated with the action information.
  • the first action information associated with the position P1 position indicated by the first spatial information shown in FIG. 18 and the first action information associated with the position P2 (position indicated by the second spatial information).
  • the time information associated with the second action information indicates a time later than the time information associated with the first action information, the user has moved from the position P1 to the position P2. Is judged
  • the action information itself may be a condition that indicates an action that occurs with movement such as walking or running, and the action information indicates other actions such as stay or jump. Also good. Since the movement of the user is often slow at festival venues, etc., the user is based on the position indicated by the spatial information associated with the action information and the context of the time indicated by the time information as in the above example. It may be appropriate to detect the movement of.
  • the action score calculated by the scoring processing unit 109 included in the analysis result processing unit 107 based on the action information is used to specify the action at each place.
  • the icons 1201 and 1203 indicate the excitement of users gathered at the venue. A user's excitement is detected by, for example, a certain number of users gathering at the venue.
  • the scoring processing unit 109 may calculate a jump action score, and the service control unit 112 may display an icon 1201 indicating a large excitement when there are many users jumping more actively.
  • the service control unit 112 may display an icon 1203 indicating a quiet excitement. Good.
  • the action information is associated with the time information in this embodiment, the degree of instantaneous excitement is based on whether the number of users who are gathering or jumping is increasing or decreasing. Even if they are the same, it is also possible to distinguish and display the venue that will be excited from now on and the venue that has already passed the peak of the excitement.
  • the action is not limited to the illustrated pattern, text, and icon, and may be displayed on the map by a heat map, an animation using an avatar, or the like.
  • the action score may be reflected not only in the icon display as in the example shown in FIG. 18 but also in the pattern density and text font in the examples shown in FIGS.
  • the actions displayed on the map may be classified into categories given in advance, or may be classified according to the result of clustering by the clustering processing unit 108 included in the analysis result processing unit 107.
  • the above example is not limited to the examples of urban areas and festival venues as shown in FIGS. 16 to 18, and can be applied to maps of various places.
  • a map showing how to get to the venue (walking, cycling, etc.) and how to spend at the venue (standing, sitting, eating, etc.) .
  • the slope is congested based on the fact that there are many users sliding, or the lift waiting time is long (before the action of getting on the lift, (For example, if the action of stay is detected for a long time) or the unevenness made of snow based on the fact that there are many jumping users (since it changes from day to day, the map display based on the most recent action)
  • the presence of (active) can be displayed.
  • a jump with a long flight time may be detected separately from a normal jump, and a ski resort where many such jumps are detected may be specified as a facility for advanced users. In this case, the skill level of the user may be considered when specifying the facility.
  • the service control unit 112 uses the action information associated with the spatial information in the location DB to calculate the safety level and / or the risk level for each location (S308). Furthermore, the service control unit 112 updates the safety map DB based on the calculated safety level and / or risk level (S309), and further, for example, in response to a user request, a safety map based on the content of the safety map DB is updated. Drawing is performed (S310).
  • the safety level and / or the risk level may be calculated for a place on a course where a specific sport is performed, such as a skiing or snowboarding course or a running course. More specifically, for example, it may be determined that the risk level is high for a place where many falling actions are detected in skiing or snowboarding. At this time, the skill level of the user associated with the falling action may be considered. Similarly, it may be determined that the safety level is high for a place where many successful actions are detected in skiing or snowboarding. Again, the skill level of the user associated with the successful action may be taken into account.
  • a place where a user with a high skill level has fallen is estimated to have a high degree of danger.
  • a place where a user with a high skill level has not fallen is estimated to be less dangerous for a user with a high skill level.
  • the skill level can be calculated based on the action score by the service control unit 112 as an additional process for the analysis result of the sensor data.
  • the action score can be calculated by the scoring processing unit 109 included in the analysis result processing unit 107. Therefore, in the present embodiment, when considering the skill level of the user who executed the action in creating the safety map, it can be said that the service control unit 112 further considers information regarding the action score included in the action information. .
  • the action detection unit 106 may detect a certain tempo run as an action.
  • the service control unit 112 determines that the action that the user runs at a constant tempo is abruptly terminated without speed reduction or shift to walking (running is suddenly interrupted), and at the same time, such as pulse or sweating.
  • Estimating that a dangerous event has occurred on the running course eg, likely to come in contact with a car, bicycle, other runner, etc.
  • the service control unit 112 can estimate that the risk level is high for a place where the dangerous events detected in this manner frequently occur.
  • the degree of safety and / or risk on a driving route or a walking route may be calculated without being limited to sports.
  • the risk level or safety level of the course changes every moment depending on weather conditions such as temperature and weather. For example, even in the same place on the course, what was safe the previous day may be dangerous, and what was dangerous in the morning may become unsafe because the temperature rose in the daytime. Similarly, in the running course and the driving course, the degree of danger or the degree of safety may change from moment to moment depending on weather conditions and traffic conditions. For this reason, even in this example of generating a safety map, actions that occurred at a time closer to the current time are more strongly reflected in the map information, as in the example described above with reference to FIGS. Is valid.
  • FIG. 19 is a diagram illustrating an example of safety map generation according to an embodiment of the present disclosure.
  • FIG. 19 for example, when the risk or safety level is continuously distributed as in the course of skiing or snowboarding, the risk level or safety level of the entire course is estimated from actions detected in a limited place.
  • An example of the method is shown.
  • R1 and R2 indicate positions where a fall has occurred
  • S1 indicates a position where an action has been successful
  • X indicates an arbitrary position that is a target for calculating the degree of risk or safety.
  • the process for generating the safety map in the illustrated example will be further described.
  • the service control unit 112 calculates the risk scores P R1 and P R2 at the positions R1 and R2 and the safety score P S1 at the position S1 by, for example, the following formulas 1 to 3.
  • W LV is a weighting coefficient corresponding to the skill level of the user associated with the falling or successful action.
  • risk scores P R1 and P R2 negative evaluation of action
  • P S1 positive evaluation of action
  • the score is corrected downward as the user skill level increases.
  • Power R1 and Power R2 are the impact strengths detected at the time of falling. In this example, the strength of impact is treated as corresponding to the action score of falling.
  • Score S1 is an action score calculated for a successful action (for example, jump or turn).
  • W R and W S are the action corresponding to the risk score (e.g. falling), the action corresponding to the safe score (e.g. successful jumps and turns), a weighting coefficient set respectively.
  • t PASS_R1 , t PASS_R2 , and t PASS_S1 are elapsed times from the occurrence of each action to the time when the safety map is generated (for example, the current time).
  • P R1, P R2 as can be seen from the fact that the reciprocal of the time these are combined over the respective P S1, in the present embodiment, as the action time elapses from the occurrence, the action safe score and The impact on the risk score is small.
  • the safety score and the risk score are inversely proportional to the elapsed time, but the score may be inversely proportional to an arbitrary function including the elapsed time.
  • the service control unit 112 averages the calculated risk score and safety score according to the distance from each of the positions R1, R2, and S1 to the position X to be calculated as shown in Equation 4. sum in, to calculate the score P X of the position X.
  • D R1 , D R2 , and D S1 are distances from the positions R1, R2, and S1 to the position X as shown in FIG.
  • the safety score is positive
  • the risk score is summed as negative.
  • the magnitude of the safety score and the risk score added together decreases in inverse proportion to the distance, but the score may decrease in inverse proportion to any function including the distance.
  • the position X when the score P X is a positive value is relatively safe
  • position X when the score P X is a negative value so as to allow determination that a relatively dangerous it may adjust the value of the weighting coefficient of the W R and W S.
  • the position X is indicated.
  • the action information associated with the spatial information is between the position Sk or Rj (the position indicated by the spatial information associated with the action information) where the action for which a safety score or risk score is given and the position X. It can be said that it is estimated based on the distance.
  • the map when generating a safety map as described above at a ski resort, the map can be generated based on the latest action information to reflect the environmental change on the slope on the safety map. Further, the risk score and the safety score may be calculated according to the skill level of the user who refers to the safety map.
  • the weighting coefficient W LV corresponding to the skill level of the user described above may be changed according to the skill level of the user who refers to the safety map (for example, the coefficient W LV is the user who performed the action). May be set to be 1 when the skill level is the same as the skill level of the user who refers to the safety map).
  • a safety map that matches the environmental conditions such as time zone and climate and the skill level for each user, and to present a course that allows each user to descend safely. For example, a place where an ice burn occurred in the morning and a user with a high skill level (advanced user) had fallen, and even snow with a lower level of snow falls in the daytime so that even a user with a low skill level (beginner user) can slide safely
  • a course including such a place is not presented as a safe course to at least beginner users in the morning, but can be presented as a safe course to beginner users from noon. It is.
  • the safety map as described in the above example is not necessarily generated on a sports course such as skiing, and may be generated in daily life, for example. More specifically, for example, when there is a road whose road surface is bad due to rain or snow, it is determined that the road is dangerous due to such a road (for example, the fall of another user actually occurs). It may be possible to search for a route for safely moving to the destination while avoiding (a) and a route that can recognize the danger and can move to the destination in the shortest distance.
  • the safety and danger criteria in the above example may be replaced with other positive / negative criteria, specifically, for example, comfort and discomfort criteria.
  • comfort and discomfort criteria for example, in the case of train movement, if congestion in the vehicle is detected, this is regarded as an uncomfortable action, and a route for comfortably moving to the destination avoiding such a crowded route The route that can move to the destination in the shortest time even when there is congestion may be searchable.
  • the service control unit 112 may provide navigation based on the past action history of other users using action information associated with the spatial information in the place DB. More specifically, the service control unit 112 performs matching based on spatial information of the action history of the first user detected up to a certain time point with the past action history of another user (second user).
  • the service control unit 112 performs matching based on spatial information of the action history of the first user detected up to a certain time point with the past action history of another user (second user).
  • S311 For example, in this matching, the action history of the second user detected together with the movement route similar to the movement route of the first user up to a certain point in time can be extracted. At this time, the action history may be extracted in consideration of the skill level of the associated user. The action history may be extracted in consideration of the action history of the first user himself detected in the past.
  • the service control unit 112 may match the action history of the first user and the action history of the second user in consideration of the co-occurrence probability and the transition probability.
  • the service control unit 112 calculates a route based on the extracted action history (S312), and presents navigation to the first user (S313).
  • FIG. 20 is a diagram for describing an example of navigation considering a skill level and an action history according to an embodiment of the present disclosure.
  • FIG. 20 shows three types of navigation examples (A) to (C) at the ski resort.
  • A the first user arrives at a ski resort and gets on the A lift.
  • the service control unit 112 presents the route (A) shown in the figure.
  • the route (A) is a route that is extracted based on the past action history of the second user, who is also a beginner user, for example, and includes the downhill of the B course.
  • the service control unit 112 repeats the next and repeats the route of (A) including the downhill of the B course as the first route. Present to users. If the score of the action such as turn or jump executed when the first user actually descended B course is high and no failure (falling, etc.) is detected, the service control unit 112 gets on the A lift again.
  • the route (B) or (C) extracted based on the past action of the second user who is an intermediate user with a high skill level is presented to the first user. These routes include D course downhill.
  • the service control unit 112 when the action score when the first user slides down the B course is particularly high for the turn, the service control unit 112 is in the course passing through the place where many turns occur in the D course.
  • the route of (B) including navigation is presented.
  • the service control unit 112 presents the route (C) including navigation in the course that passes through the place where many jumps occurred in the D course.
  • the navigation in the courses provided in (B) and (C) is, for example, among users who have run down the D course in the past, especially those who have performed many turns and those who have performed many jumps. Provided based on the route.
  • the service control unit 112 may present the route (A) to the first user again.
  • the service control unit 112 may present the route (B) or (C) to the first user from the beginning. Good.
  • whether to present the route (B) suitable for performing many turns or the route (C) suitable for performing many jumps depends on the past action of the first user. The determination can be made based on the ratio of the turn and the jump in the action executed in the history (regardless of the position information) or the action score of each of the turn and the action in the action history.
  • the action information acquired by the service control unit 112 is the first associated with the first series of spatial information (corresponding to the route from the arrival at the ski resort to the A lift).
  • Second action information associated with one action information series (corresponding to the action of the first user) and a second series of spatial information (root of (A), (B), or (C)) Series (corresponding to the action of the second user).
  • the second action information series is associated with time information indicating a time before the first action information series.
  • the service control unit 112 determines that the first movement route indicated by the first series of spatial information is partially (arrived at the ski resort) on the second movement route indicated by the second series of spatial information.
  • the second user walking down the mountain in the past Provides navigation based on action history, and provides navigation based on the action history of a second user who has run down the mountain in the past if the first user is running down (trailing) can do.
  • the conditions for searching the action history of the second user based on the attributes and preferences including the skill level of the first user are not limited to the action history actually executed by the first user so far. May be set.
  • navigation suitable for the current situation of the first user is set by setting weights and the like so that the action history of the second user that matches the conditions such as the time zone, season, and weather is easily detected. Is likely to be able to provide.
  • the service control unit 112 may change the setting for action detection using action information associated with the spatial information in the place DB. More specifically, the service control unit 112 extracts an action detection tendency for each position indicated by the spatial information from the information stored in the place DB (S314). In accordance with the extracted action detection tendency, the service control unit 112 adjusts settings for detecting an action. More specifically, for example, the service control unit 112 updates the parameter table referred to by the action detection unit 106 included in the sensor data analysis unit 104 (S315).
  • FIGS. 21 and 22 are diagrams for describing an example of changing the action detection setting according to an embodiment of the present disclosure.
  • (A) is an example of the change of the action detection setting in the area
  • the “jump” detected from time to time is estimated to be a false detection.
  • the “jump” probability is lowered and the “drive” probability is raised.
  • (B) is an example of changing the action detection setting in the illustrated area 1303.
  • the area 1303 there is a night club, and there is a tendency that a jump having a short duration in the vertical direction is continuously detected by a user who enjoys the provided music.
  • the jump detection probability for a short duration may be increased with respect to the jump detection probability for each duration.
  • jumps can be reliably detected, and the excitement of the nightclub can be expressed on the map depending on, for example, the frequency of jumps and the number of users jumping (this example is shown in FIG. 18 for example). The same applies to the music festival example shown in the above).
  • (C) is an example of changing the action detection setting at the place of the kicker 1305 provided in the course of the ski resort.
  • Such kickers tend to detect jumps that include rotation as an action.
  • snowboard jumps are often accompanied by large rotations (eg, over 360 degrees) that do not normally occur. Therefore, when the location of the kicker 1305 is given in advance, or the presence of the kicker 1305 is estimated based on the action detection result (a lot of jumping down on the snowboard is detected), the action detection is performed.
  • the upper limit of 360 degrees may be expanded to a range including 720 degrees and 1080 degrees in normal times), and then the jump detection probability is increased. Also good.
  • the service control unit 112 searches the ID of the facility where the action is detected from the position information included in the data uploaded in S303 (S316), and is detected in the facility.
  • the facility level is calculated based on the distribution of the action score of the action and the skill level of the user who executed each action (S317), and the facility data including the facility level information is provided (S318).
  • a low level (indicating that the difficulty level is low) may be given to a facility where an action with a high score is detected for many users regardless of the skill level.
  • a facility in which an action with a high score is detected only for a user with a high skill level may be given a high level (indicating that the difficulty level is high).
  • the fact that an action such as a fall (indicating that the attempted action has failed) may also be reflected on the facility level.
  • a level indicating the popularity level can be calculated according to the number of users whose actions are detected.
  • the facility can take various forms depending on the type of sport in which the action occurs, such as a course, a court, or a field.
  • facilities can be defined in various units such as a park including a plurality of courses, a specific jumping table in the course, and the like.
  • facilities can be defined in various units.
  • the facility ID is searched based on the location information.
  • the service control unit 112 refers to the location DB and determines the facility ID from the spatial information associated with the action information. You may specify.
  • FIG. 23 is a block diagram illustrating a hardware configuration example of the information processing apparatus according to the embodiment of the present disclosure.
  • the information processing apparatus 900 includes a CPU (Central Processing unit) 901, a ROM (Read Only Memory) 903, and a RAM (Random Access Memory) 905.
  • the information processing apparatus 900 may include a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925.
  • the information processing apparatus 900 may include an imaging device 933 and a sensor 935 as necessary.
  • the information processing apparatus 900 may include a processing circuit such as a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable Gate Array) instead of or in addition to the CPU 901.
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls all or a part of the operation in the information processing device 900 according to various programs recorded in the ROM 903, the RAM 905, the storage device 919, or the removable recording medium 927.
  • the ROM 903 stores programs and calculation parameters used by the CPU 901.
  • the RAM 905 primarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • the CPU 901, the ROM 903, and the RAM 905 are connected to each other by a host bus 907 configured by an internal bus such as a CPU bus. Further, the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
  • PCI Peripheral Component Interconnect / Interface
  • the input device 915 is a device operated by the user, such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever.
  • the input device 915 may be, for example, a remote control device that uses infrared rays or other radio waves, or may be an external connection device 929 such as a mobile phone that supports the operation of the information processing device 900.
  • the input device 915 includes an input control circuit that generates an input signal based on information input by the user and outputs the input signal to the CPU 901. The user operates the input device 915 to input various data and instruct processing operations to the information processing device 900.
  • the output device 917 is configured by a device capable of notifying the acquired information to the user using a sense such as vision, hearing, or touch.
  • the output device 917 can be, for example, a display device such as an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence) display, an audio output device such as a speaker or headphones, or a vibrator.
  • the output device 917 outputs the result obtained by the processing of the information processing device 900 as video such as text or image, sound such as sound or sound, or vibration.
  • the storage device 919 is a data storage device configured as an example of a storage unit of the information processing device 900.
  • the storage device 919 includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 919 stores, for example, programs executed by the CPU 901 and various data, and various data acquired from the outside.
  • the drive 921 is a reader / writer for a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and is built in or externally attached to the information processing apparatus 900.
  • the drive 921 reads information recorded on the attached removable recording medium 927 and outputs the information to the RAM 905.
  • the drive 921 writes a record in the attached removable recording medium 927.
  • the connection port 923 is a port for connecting a device to the information processing apparatus 900.
  • the connection port 923 can be, for example, a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, or the like.
  • the connection port 923 may be an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, or the like.
  • the communication device 925 is a communication interface configured with, for example, a communication device for connecting to the communication network 931.
  • the communication device 925 can be, for example, a wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), NFC (Near Field Communication), or a communication card for WUSB (Wireless USB).
  • the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), or a modem for various communication.
  • the communication device 925 transmits and receives signals and the like using a predetermined protocol such as TCP / IP with the Internet and other communication devices, for example.
  • the communication network 931 connected to the communication device 925 is a network connected by wire or wireless, and may include, for example, the Internet, a home LAN, infrared communication, radio wave communication, satellite communication, or the like.
  • the imaging device 933 uses various members such as an imaging element such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device), and a lens for controlling the formation of a subject image on the imaging element. It is an apparatus that images a real space and generates a captured image.
  • the imaging device 933 may capture a still image or may capture a moving image.
  • the sensor 935 is various sensors such as an acceleration sensor, an angular velocity sensor, a geomagnetic sensor, an illuminance sensor, a temperature sensor, an atmospheric pressure sensor, a pressure sensor, a distance sensor, or a sound sensor (microphone).
  • the sensor 935 acquires information about the state of the information processing apparatus 900 itself, such as the posture of the information processing apparatus 900, and information about the surrounding environment of the information processing apparatus 900, such as brightness and noise around the information processing apparatus 900, for example. To do.
  • the sensor 935 may also include a GNSS receiver that receives a GNSS (Global Navigation Satellite System) signal and measures the latitude, longitude, and altitude of the device.
  • GNSS Global Navigation Satellite System
  • Each component described above may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Such a configuration can be appropriately changed according to the technical level at the time of implementation.
  • an information processing apparatus for example, an information processing apparatus, a system, an information processing method executed by the information processing apparatus or system, a program for causing the information processing apparatus to function, and a program are recorded. It may include tangible media that is not temporary.
  • FIG. 24 is a flowchart illustrating processing in the first example of device control included in an embodiment of the present disclosure.
  • an action more specifically, a jump
  • an image or video capturing the action is executed.
  • the action detected in this example is an action that occurs in a series of user states (for example, snowboarding)
  • the service control unit 112 includes a first section corresponding to the section in which the action is detected, The control of the device that is different from the second section that is not so is performed. More specifically, the service control unit controls the device so as to record the captured video or image in the first section and not record the video or image in the second section. For example, the service control unit controls the device so as to specify a captured video or image in the first section, and controls the device so as to record the captured video or image in the first section.
  • the action detection unit 106 included in the sensor data analysis unit 104 detects a jump crossing (S301).
  • the service control unit 112 performs continuous shooting using an imaging device such as a digital video camera paired with the sensor device (S303).
  • the continuous shooting may be, for example, continuous still image shooting or video shooting. Shooting continues until the action detection unit 106 detects the landing of the jump (S305).
  • the action detection unit 106 executes a jump detection process as shown in FIGS. 2 and 6 in real time, for example.
  • the service control unit 112 continuously performs shooting of an action (jump), and controls the imaging device to buffer an image or video shot for a predetermined time (longer than the duration of the jump). .
  • the service control unit 112 controls the imaging device so as to record an image or video shot from the start point (crossing) to the end point (landing) of the jump section. .
  • the first section corresponding to the section in which the action is detected by the action detection unit 106 does not necessarily exactly match the action section, for example, before and after the action section as in the above example. Or may correspond to the action section, but may be a section shifted on the time axis.
  • FIG. 25 is a diagram for further describing an image or video captured in the first example of device control included in an embodiment of the present disclosure.
  • still images P1 to P8 are taken between the jump crossing detected by the action detection unit 106 and landing.
  • a continuous photograph as shown in the figure can be obtained by synthesizing images taken in this way.
  • the service control unit 112 may control the imaging device so that a still image is captured at a user's altitude peak (jump top). More specifically, the service control unit 112 determines the image captured at the top of the jump (still image P5) from the frame images continuously captured by the imaging device at predetermined intervals. A still image may be extracted.
  • the altitude information can be extracted from, for example, the atmospheric pressure detected by the atmospheric pressure sensor or information acquired by RTK-GPS (Real Time Kinematic-Global Positioning System). When the atmospheric pressure is used, the top of the jump may be detected as the time when the altitude becomes maximum as described above, or may be detected as the time when the atmospheric pressure starts to increase.
  • FIG. 26 is a diagram for describing a second example of device control included in an embodiment of the present disclosure.
  • the compression rate of the video capturing the action is controlled based on the detection result of the action (more specifically, jump).
  • the action detected in this example is an action that occurs in a series of user states (for example, snowboarding), and the service control unit 112 includes a first section corresponding to the section in which the action is detected, The control of the device that is different from the second section that is not so is performed.
  • the service control unit 112 when the action detection unit 106 detects a jump section, the service control unit 112 records video in this section (jump operation) at a different compression rate from the preceding and subsequent sections (normal state). As described above, an imaging apparatus such as a digital video camera paired with the sensor device is controlled. As a result, during the jump operation, the video is recorded at a lower compression rate than in the normal state. By reducing the compression rate only in the jump section, it is possible to improve the image quality of the jump section that can be the highlight of the image while suppressing the data size of the entire image. Furthermore, the service control unit 112 may set different compression ratios for the section of the crossing and landing operations included in the jump section and the section in the stagnant state. In this case, as illustrated, the service control unit 112 may temporarily lower the compression rate in the section between the crossing operation and the landing operation.
  • the action detection unit 106 executes a jump detection process as shown in FIGS. 2 and 6 in real time, for example.
  • the service control unit 112 continuously performs action (jump) shooting, and buffers a video shot during a predetermined time (longer than the jump duration) in an uncompressed or low-compressed state.
  • the imaging device is controlled.
  • the service control unit 112 records the video from the start point (crossing) to the end point (landing) of the jump section at a low compression rate, and other sections (normal state)
  • the image pickup apparatus is controlled so as to record the video at a high compression rate.
  • the service control unit 112 may record a video with a lower compression rate in a section having a predetermined length immediately before the start and immediately before the end of the jump section as a section of the crossing operation and the landing operation.
  • the action detection unit 106 may execute a high impact detection process as shown in FIG. 3, for example, and the detected high impact section may be treated as a sectioning operation and landing operation section included in the jump section. .
  • FIG. 27 is also a diagram for describing a second example of device control included in an embodiment of the present disclosure.
  • the frame rate or size of the video capturing the action is controlled based on the detection result of the action (specifically, jump).
  • the service control unit 112 when the action detection unit 106 detects a jump section, the service control unit 112 has a different frame rate (fps) and / or size in this section (jump operation) from the previous and subsequent sections (normal state).
  • the image pickup apparatus such as a digital video camera paired with the sensor device is controlled so that the video is recorded at the same time.
  • the video is recorded at a frame rate higher than the normal state or a size larger than the normal state.
  • the image size of the jump section that can be the highlight of the image is suppressed while suppressing the data size of the entire image. Can be improved.
  • the service control unit 112 may set different frame rates or image sizes for the section of the crossing and landing operations included in the jump section and the section in the stagnant state. In this case, as illustrated, the service control unit 112 may temporarily further increase the frame rate or size in the section between the crossing operation and the landing operation.
  • the action detection unit 106 executes a jump detection process as shown in FIGS. 2 and 6 in real time, for example.
  • the service control unit 112 continuously performs shooting of an action (jump), and takes a video shot for a predetermined time (longer than the duration of the jump) as a maximum frame rate or a maximum (original) size.
  • the image pickup apparatus is controlled so as to be buffered.
  • the service control unit 112 records a video from the start point (crossing) to the end point (landing) of the jump section at a high frame rate and / or a large size.
  • the imaging apparatus is controlled to record the video in the section (normal state) at a low frame rate and / or a small size. Furthermore, the service control unit 112 records a video with a higher frame rate and / or a larger size in a section having a predetermined length immediately before the start of the jump section and immediately before the end as a section of a crossing operation and a landing operation. You may let them.
  • the action detection unit 106 may execute a high impact detection process as shown in FIG. 3, and the high impact section detected there may be handled as a section of the crossing action and landing action included in the jump section.
  • the service control unit 112 may control the sound collection level of the audio included in the video in the same manner as the compression rate, frame rate, and size control as described above.
  • the crossing and landing sections included in the jump section and the service control unit 112 is not limited to the jump section but also the turn section detected by the turn detection process as shown in FIG. Similar control may be performed. Table 1 below shows an example of the detected action section and the control corresponding to the detected action section.
  • the service control unit 112 may control the video quality based on the action score calculated by the scoring processing unit 109 included in the analysis result processing unit 107. More specifically, for example, the service control unit 112 may set a lower compression rate, a higher frame rate, a larger image size, and / or a larger sound collection level for an action with a higher action score. At this time, for example, when the action score changes sequentially within the action section, the quality of the video may be changed according to the action score even within the action section. Alternatively, even in such a case, the video quality may be constant within the same action section.
  • FIG. 28 is a diagram for describing a third example of device control included in an embodiment of the present disclosure.
  • recording of sensor data and the sensor device itself are controlled based on the detection result of the action (specifically, jump).
  • the action detected in this example is an action that occurs in a series of states of the user (for example, snowboarding), and the sensor device control unit 103 detects the sensor device when the action detection unit 106 detects a jump section.
  • control in this section jump operation
  • the sensor device control unit 103 records the data such as acceleration and angular velocity included in the sensor data together with the analysis result after the analysis by the sensor data analysis unit 104 during the jump operation.
  • control is performed so that data is discarded after analysis.
  • the sensor device control unit 103 performs jump operation when recording data such as acceleration and angular velocity included in the sensor data together with the analysis result after analysis by the sensor data analysis unit 104. It may be controlled to record data at a high sampling rate while recording data at a low sampling rate in a normal state.
  • the sensor device control unit 103 records data at different sampling rates in the sectioning operation and landing operation section included in the jump section and the section in the stagnant state. Also good. More specifically, the sensor device control unit 103 may record data at a higher sampling rate in the section between the crossing operation and the landing operation.
  • acceleration data and angular velocity data included in the sensor data are used for analysis in the sensor data analysis unit 104.
  • the waveform can be displayed based on the sensor data when the action image is reproduced, or the analysis can be performed again afterwards.
  • the size of the sensor data increases. Therefore, in this example, it is limited to sensor data acquired in an action section (not limited to the jump section described above but may be a turn section or other sections) that is likely to be used for information display or reanalysis.
  • the size of the sensor data is suppressed by reducing the sampling data of the sensor data recorded in the action section and other sections.
  • the sensor device control unit 103 sets the sleep mode in the normal state for the GPS receiver or the like mounted on the sensor device, and activates it during the jump operation.
  • the sensor device may be controlled.
  • the position information acquired during activation of the GPS receiver is provided to the analysis result processing unit 107 or the service control unit 112 via the sensor device control unit 103.
  • the position information may be provided to the sensor data analysis unit 104 and stored in the detection section information holding unit 110 together with the detection result of the action section.
  • the sensor device control unit 103 transmits a control signal to the sensor device so as to start a sensor such as a GPS receiver when the jump section is detected, and then, more specifically, for a predetermined time, more specifically, For example, the control signal may be transmitted to the sensor device so as to set the sensor to the sleep mode again after starting the sensor for a time sufficient to obtain accurate position information.
  • the section in which the sensor is activated after the detection of the jump section is a section corresponding to the section in which the action is detected (the jump section and the section in which the sensor is activated do not necessarily overlap).
  • the analysis result processing unit 107 when the analysis result processing unit 107 generates additional information regarding an action (such as action score and cluster information), the position where the action has occurred is detailed (for example, the user's trajectory in the action section can be drawn). ) It is not always necessary to specify, for example, it is often sufficient that the location can be specified to such an extent that the facility where the action has occurred can be specified. In such a case, as described above, sufficient information for generating information can be obtained even if the sensor is activated after detecting the action.
  • additional information regarding an action such as action score and cluster information
  • the position information is not necessarily used for analysis in the sensor data analysis unit 104, but is used for generation of additional information in the analysis result processing unit 107 and information generation in the service control unit 112.
  • the analysis result processing unit 107 and the service control unit 112 generate information about an action section such as a jump section in the illustrated example. Therefore, for sensor data that is not directly involved in action detection, such as position information, the sensor itself that provides such sensor data is activated only in the action section, for example, consumption of the sensor device. You may save power.
  • the sensor data provided continuously is recorded only in the action section, or the sensor data is continuously recorded, as in the above example (a) or (b). In doing so, control for increasing the sampling rate only in the action section may be performed.
  • the type of sensor data to be controlled as in (a), (b), or (c) is not limited to the above example, and the type of sensor data provided from the sensor device or the detection of action. May differ depending on the type of sensor data used for the sensor, the type of sensor data used for generating additional information, and the like.
  • the acceleration or angular velocity may be controlled as described in (c) above.
  • the control target can include all other types of sensor data such as atmospheric pressure and geomagnetism.
  • FIG. 29 is a diagram for describing a fourth example of device control included in an embodiment of the present disclosure.
  • appropriate device control is realized by comparing the latest history of action detection with the past history.
  • the action detection unit 106 included in the sensor data analysis unit 104 detects the latest action history R including stay, drive, walking, and the like.
  • video recording is started by an imaging device such as a digital camera paired with the information processing device 100.
  • the service control unit 112 searches the detected section information holding unit 110 for past action histories similar to the latest action history R.
  • the search is executed using conditions such as, for example, an action history before the start of video recording, where walking is detected after repeated stay and drive.
  • the similarity between action histories may be calculated using an algorithm such as an HMM (Hidden Markov Model) or a k-NN (k-Nearest Neighbor) method.
  • HMM Hidden Markov Model
  • k-NN k-Nearest Neighbor
  • the service control unit 112 reads the setting of the imaging device when the video is recorded with the past action history P1 (the setting information is stored in the detection section information holding unit 110 together with the information of the detected action section, for example). The same setting is applied to the imaging apparatus that has started recording video at the current time (Now). More specifically, the service control unit 112 controls the imaging device according to the read setting information.
  • the latest action history R and the past action history P1 can both be action histories when hiking outdoors.
  • the appropriate setting of the imaging device may be different from the setting that was appropriate when the user spent indoors, for example, when the illustrated past action history P2 (mainly staying) occurred.
  • the service control unit 112 detects such a difference in the situation in advance based on the action history and automatically changes the setting of the imaging device, so that the user records video with appropriate settings from the beginning. Make it possible to do.
  • (7-5. Fifth example) 30 and 31 are diagrams for describing a fifth example of device control included in an embodiment of the present disclosure.
  • display of an image on an HMD (Head Mounted Display) worn by a user wearing a snowboard is controlled based on the action detection result.
  • HMD Head Mounted Display
  • a communication window 1101 and facility navigation 1103 are displayed. These images are transparently superimposed on the real space image visually recognized by the user on the screen 1100a.
  • a guide 1105 of equipment in the course (kicker in the illustrated example) and course navigation 1107 are displayed.
  • the service control unit 112 selectively displays, for example, the screens 1100a and 1100b as described above on the HMD based on the detection result of the user action by the action detection unit 106 included in the sensor data analysis unit 104. . More specifically, for example, when the action detection unit 106 continuously detects a jump section or a turn section as described above, the service control unit 112 is in a state where the user is sliding on a snowboard (attention is required) The information related to the situation of the user who is running, such as the screen 1100b, is presented.
  • the service control unit 112 determines that the user is not running (moving or resting), and the image Information such as 1100a is presented.
  • the service control unit 112 may provide information suitable for sliding during a run as in the above example, or may not display an image on the HMD during the run and may substantially turn off the display. .
  • the service control unit 112 may notify the user of information that is not provided by switching the display of the HMD during the slide, by voice or vibration.
  • the service control unit 112 may control the presentation of information by various devices, not limited to the HMD, based on the action detection result. For example, when it is determined that the user is running based on the detection result of the action, the service control unit 112 may suppress the incoming call notification by the voice or vibration of the user's mobile phone. Note that the same control may be possible when it is estimated that the user is concentrating on the action based on the detection result of the action, not only during the sliding.
  • FIG. 32 is a diagram for conceptually explaining a sixth example of device control included in an embodiment of the present disclosure.
  • a camera 161 installed in the facility acquires an image of a user 143 sliding on the snowboard.
  • the camera 161 includes a plurality of cameras 161a to 161e.
  • the cameras 161a to 161e may include a camera installed in a facility, or may include a smartphone or a digital camera owned by a user or his friend. By combining the images respectively acquired by these cameras, a free viewpoint image of the user who is executing the action can be obtained.
  • FIG. 33 is a flowchart illustrating processing in a sixth example of information output included in an embodiment of the present disclosure.
  • the sensor device control unit 103 of the information processing apparatus 100 uses a device (such as a digital camera or a smartphone; hereinafter also referred to as a camera device) used as the camera 161 illustrated in FIG. Is paired (S361).
  • the pairing is performed by communication means such as Bluetooth (registered trademark) or wireless LAN.
  • the camera device may be arranged toward the planned point where the action is executed at the time of pairing, or may be arranged toward the planned point after the pairing until the action is executed. Good.
  • the sensor device control unit 103 After the pairing is completed, for example, at the timing when the sensor device is activated, the sensor device control unit 103 transmits a synchronization signal to each camera device (S362), and the time between the sensor device and each camera device (sensor data or Synchronize the time stamp given to the video data. After the synchronization is completed, the sensor device control unit 103 transmits a shooting start signal to each camera device (S363). The camera device that has received the shooting start signal starts acquiring video data by shooting.
  • the action detection unit 106 detects an action section based on sensor data provided by the sensor device during shooting (S364), for example, action information is recorded in the detection section information holding unit 110 (S365).
  • the end of shooting may be determined by, for example, a user operation, or the sensor device control unit 103 automatically ends shooting when the action interval is not detected for a predetermined time or when the sensor device is turned off. You may decide.
  • the sensor device control unit 103 transmits a shooting end signal to each camera device (S366). After the end of shooting, each camera device uploads the acquired video data to the information processing apparatus 100 (S367).
  • the service control unit 112 of the information processing device 100 After uploading in S367, the service control unit 112 of the information processing device 100, according to the information of the action section detected by the action detection unit 106, the first section corresponding to the action section (for example, may include before and after the action section). Is cut out (S368). Further, the service control unit 112 generates a free viewpoint video for the first section using video data provided from each camera device (S369). More specifically, for example, the service control unit 112 generates point cloud data from video data provided from each camera device. There are many methods for providing a free viewpoint video other than the method using point cloud data, and the service control unit 112 may generate data for providing a free viewpoint video by such a method. A technique for providing a free viewpoint video is described in, for example, Japanese Patent Application Laid-Open No. 2007-133660.
  • FIG. 34 is a diagram for describing a user interface for browsing the free viewpoint video generated by the processing shown in FIG.
  • a free viewpoint video 1630 is displayed on the display 149 of the terminal device 148 (a mobile device such as a tablet or a smartphone in the illustrated example).
  • the user changes the viewpoint of the free viewpoint video by an operation input via a touch panel or the like provided on the display 149 and causes the display 149 to display videos such as the video 1630a to video 1630e shown in the figure. Is possible.
  • the three-dimensional object data of the action section may be provided instead of or together with the free viewpoint video.
  • the process until the service control unit 112 of the information processing apparatus 100 cuts out the video of the action section from the video provided from each camera device is the same as S361 to S368 of the process shown in FIG. is there.
  • the generation of three-dimensional object data is similar to the generation of a free viewpoint video in that a three-dimensional space including objects is modeled. Therefore, the three-dimensional object data is based on the video acquired by the plurality of camera devices (camera 161 shown in FIG. 32) as described above, the depth information in the video additionally measured by the camera device, and the like. Can be generated.
  • 3D object data at a time specified by the user in the action section may be transmitted to the user's terminal device as it is.
  • three-dimensional object data at a specified time may be output using a three-dimensional printer, and the output object may be provided to the user (distributed on the spot or sent).
  • a user profile can be created according to the types of actions detected in the past. For example, a profile of “advanced jump expert” is given to a user whose high action score is stably calculated in the jump action. For a user who has a low jump action score and often detects a fall during the jump, a profile of “beginner of jump” is given.
  • the device control process in the present embodiment may be made different using the profile as described above.
  • the user profile may be reflected in determining whether or not to record sensor data and the recording method. More specifically, when the user is an advanced jumper, the sensor data of a jump in which a rare fall is detected may be recorded in detail at a higher sampling rate. This is because it is natural for advanced players to succeed in jumping, and detailed analysis of rare failures will help them to improve further. Conversely, if the user is a beginner in jumping, the sensor data of a successful jump in which no fall is detected may be recorded in detail at a higher sampling rate. This is because beginners may find hints that enable them to succeed in a stable jump by looking back at a successful jump.
  • FIG. 35 is a block diagram illustrating a hardware configuration example of the information processing apparatus according to the embodiment of the present disclosure.
  • the information processing apparatus 900 includes a CPU (Central Processing unit) 901, a ROM (Read Only Memory) 903, and a RAM (Random Access Memory) 905.
  • the information processing apparatus 900 may include a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925.
  • the information processing apparatus 900 may include an imaging device 933 and a sensor 935 as necessary.
  • the information processing apparatus 900 may include a processing circuit such as a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable Gate Array) instead of or in addition to the CPU 901.
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls all or a part of the operation in the information processing device 900 according to various programs recorded in the ROM 903, the RAM 905, the storage device 919, or the removable recording medium 927.
  • the ROM 903 stores programs and calculation parameters used by the CPU 901.
  • the RAM 905 primarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • the CPU 901, the ROM 903, and the RAM 905 are connected to each other by a host bus 907 configured by an internal bus such as a CPU bus. Further, the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
  • PCI Peripheral Component Interconnect / Interface
  • the input device 915 is a device operated by the user, such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever.
  • the input device 915 may be, for example, a remote control device that uses infrared rays or other radio waves, or may be an external connection device 929 such as a mobile phone that supports the operation of the information processing device 900.
  • the input device 915 includes an input control circuit that generates an input signal based on information input by the user and outputs the input signal to the CPU 901. The user operates the input device 915 to input various data and instruct processing operations to the information processing device 900.
  • the output device 917 is configured by a device capable of notifying the acquired information to the user using a sense such as vision, hearing, or touch.
  • the output device 917 can be, for example, a display device such as an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence) display, an audio output device such as a speaker or headphones, or a vibrator.
  • the output device 917 outputs the result obtained by the processing of the information processing device 900 as video such as text or image, sound such as sound or sound, or vibration.
  • the storage device 919 is a data storage device configured as an example of a storage unit of the information processing device 900.
  • the storage device 919 includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 919 stores, for example, programs executed by the CPU 901 and various data, and various data acquired from the outside.
  • the drive 921 is a reader / writer for a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and is built in or externally attached to the information processing apparatus 900.
  • the drive 921 reads information recorded on the attached removable recording medium 927 and outputs the information to the RAM 905.
  • the drive 921 writes a record in the attached removable recording medium 927.
  • the connection port 923 is a port for connecting a device to the information processing apparatus 900.
  • the connection port 923 can be, for example, a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, or the like.
  • the connection port 923 may be an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, or the like.
  • the communication device 925 is a communication interface configured with, for example, a communication device for connecting to the communication network 931.
  • the communication device 925 can be, for example, a wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), NFC (Near Field Communication), or a communication card for WUSB (Wireless USB).
  • the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), or a modem for various communication.
  • the communication device 925 transmits and receives signals and the like using a predetermined protocol such as TCP / IP with the Internet and other communication devices, for example.
  • the communication network 931 connected to the communication device 925 is a network connected by wire or wireless, and may include, for example, the Internet, a home LAN, infrared communication, radio wave communication, satellite communication, or the like.
  • the imaging device 933 uses various members such as an imaging element such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device), and a lens for controlling the formation of a subject image on the imaging element. It is an apparatus that images a real space and generates a captured image.
  • the imaging device 933 may capture a still image or may capture a moving image.
  • the sensor 935 is various sensors such as an acceleration sensor, an angular velocity sensor, a geomagnetic sensor, an illuminance sensor, a temperature sensor, an atmospheric pressure sensor, a pressure sensor, a distance sensor, or a sound sensor (microphone).
  • the sensor 935 acquires information about the state of the information processing apparatus 900 itself, such as the posture of the information processing apparatus 900, and information about the surrounding environment of the information processing apparatus 900, such as brightness and noise around the information processing apparatus 900, for example. To do.
  • the sensor 935 may also include a GNSS receiver that receives a GNSS (Global Navigation Satellite System) signal and measures the latitude, longitude, and altitude of the device.
  • GNSS Global Navigation Satellite System
  • Each component described above may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Such a configuration can be appropriately changed according to the technical level at the time of implementation.
  • an information processing apparatus for example, an information processing apparatus, a system, an information processing method executed by the information processing apparatus or system, a program for causing the information processing apparatus to function, and a program are recorded. It may include tangible media that is not temporary.
  • An information acquisition unit that acquires user action information, spatial information associated with the action information, and time information;
  • An information processing apparatus comprising: a map expression processing unit that considers the time information when executing map expression of the action information based on the spatial information.
  • the map expression processing unit considers a relationship between a time indicated by the time information and a reference time.
  • the map expression processing unit reduces the influence of the action information in the map expression as the time indicated by the time information is farther from the reference time.
  • the action information includes a score of each category when the user action is classified into any of a plurality of categories
  • the map expression processing unit adds the scores included in the action information associated with the common spatial information with a weight that becomes smaller as the time indicated by the time information becomes farther from the reference time.
  • the information processing apparatus according to (3), wherein a category of a representative action associated with the common spatial information in the map representation is determined.
  • the map expression processing unit executes the map expression based on the action information associated with the time information indicating a time at which a difference from the reference time falls below a threshold value.
  • the information processing apparatus increases an influence of the action information in the map expression when the time information has an attribute common to the reference time.
  • the action information includes first action information associated with the first time information and second action information associated with the second time information,
  • the map expression processing unit when executing the map expression of at least one of the first action information and the second action information, the time indicated by the first time information and the second time information.
  • the first action information is associated with the first spatial information
  • the second action information is associated with second spatial information different from the first spatial information
  • the map expression processing unit starts the second space from a position indicated by the first space information in the map expression.
  • the information processing apparatus according to (7), wherein movement to a position indicated by information is expressed.
  • the action information includes information on an action score for evaluating the action,
  • the information processing apparatus according to any one of (1) to (8), wherein the map expression processing unit further considers information related to the score of the action when executing the map expression.
  • the action information includes information related to the skill level of the user estimated based on the score, The information processing apparatus according to (9), wherein the map expression processing unit further considers information on the skill level when executing the map expression.
  • the action information includes information regarding a score indicating a negative evaluation of the user's action, The information processing apparatus according to (10), wherein the map expression processing unit corrects the score upward as the skill level is higher for the negative evaluation.
  • the action information includes information on a score indicating a positive evaluation of the user's action, The information processing apparatus according to (10) or (11), wherein the map expression processing unit corrects the score downward as the skill level is higher for the positive evaluation.
  • the map expression processing unit identifies a facility where an action indicated by the action information is executed based on the spatial information, and performs evaluation for each facility according to a skill level of the user.
  • the information processing apparatus according to any one of (10) to (12), wherein information including the information is generated.
  • the map expression processing unit is configured such that the distance between the position indicated by the first spatial information associated with the action information and the position indicated by the second spatial information not associated with the action information.
  • the information processing apparatus according to any one of (1) to (13), wherein action information associated with the second spatial information is estimated based on the information.
  • the action information includes a first action information sequence associated with the first sequence of the spatial information, and a second action information sequence associated with the second sequence of the spatial information,
  • the second action information series is associated with time information indicating a time before the first action information series
  • the map representation processing unit when a first movement path indicated by the first series of spatial information partially matches a second movement path indicated by the second series of spatial information, Navigation to a user associated with the first action information sequence based on the second action information sequence associated with the second sequence of spatial information indicating the remaining portion of the second travel route.
  • the action information includes information indicating the action detected by the user,
  • the map expression processing unit adjusts a setting for detecting the user's action based on a tendency of the detected action for each position indicated by the spatial information indicated by the map expression result;
  • the information processing apparatus according to any one of (15).
  • (17) acquiring user action information, and spatial information and time information associated with the action information;
  • An information processing method comprising: a processor considering the time information when executing a map representation of the action information based on the spatial information.
  • a sensor data receiving unit that receives sensor data provided by a user or a sensor mounted on an instrument used by the user;
  • An action detection unit that detects an action of the user based on the sensor data;
  • An information processing apparatus comprising: a device control unit that controls a device related to the user or the action according to the detected action.
  • the action detection unit detects the action that occurs in a series of states of the user.
  • the device control unit controls the device different between a first section corresponding to a section in which the action is detected and a second section in which the action is not detected.
  • the information processing apparatus according to (2) which is executed.
  • the device has a function of recording a video or an image of the action, The information processing apparatus according to (3), wherein the device control unit controls the device to specify the video or the image in the first section.
  • the sensor data includes data indicating the altitude of the user,
  • the action includes a jump,
  • the device has a function of recording a video or an image of the action, The device control unit records the video or the image with a first quality in the first section, and the second quality lower than the first quality in the second section with the video or the image.
  • the information processing apparatus according to (3), wherein the device is controlled so as to perform recording.
  • the first quality includes a first compression rate, a first frame rate, a first frame size, or a first sound collection level
  • the second quality includes a second compression rate higher than the first compression rate, a second frame rate lower than the first frame rate, and a second frame smaller than the first frame size.
  • the information processing apparatus according to (6), including a size or a second sound collection level lower than the first sound collection level.
  • the device has a function of recording the sensor data, The information processing apparatus according to any one of (3) to (7), wherein the device control unit controls the device to record the sensor data in the first section.
  • the device has a function of recording the sensor data, The device control unit records the sensor data at a first sampling rate in the first section, and records the sensor data at a second sampling rate lower than the first sampling rate in the second section.
  • the information processing apparatus according to any one of (3) to (7), wherein the device is controlled to record.
  • the device has a function of providing additional sensor data used for generating information on the action, The information processing apparatus according to any one of (3) to (9), wherein the device control unit controls the device so that the additional sensor data is provided in the first section.
  • the device control unit compares the latest history of the action detected until the device is newly activated with the past history of the action detected until the device is activated in the past.
  • the device has a function of presenting information to the user, The actions include specific types of actions that occur in situations where attention is required of the user, The device control unit controls the device so that the content or the presentation method of the information changes when the specific type of action is detected, any one of (1) to (12) The information processing apparatus described in 1.
  • the information processing apparatus controls the device so that the information presented by the image is presented or not presented by voice or vibration.
  • the device has a function of processing a video or an image of the action, The device control unit according to any one of (1) to (15), wherein the device control unit controls the device to process the video or image in a section corresponding to a section in which the action is detected.
  • Information processing device 17.
  • the processing of the video or the image by the device includes generating data for providing a free viewpoint video or a free viewpoint image or three-dimensional object data based on the video or the image.
  • the information processing apparatus according to (16).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Business, Economics & Management (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Educational Administration (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Mathematical Physics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Automation & Control Theory (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)

Abstract

ユーザのアクション情報、および上記アクション情報に関連付けられる空間情報ならびに時間情報を取得する情報取得部と、上記空間情報に基づく上記アクション情報のマップ表現を実行するにあたり、上記時間情報を考慮するマップ表現処理部とを備える情報処理装置が提供される。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
　例えばユーザに装着されたセンサによって提供されるセンサデータに基づいて、ユーザのさまざまな行動を検出する技術が種々提案されている。例えば、特許文献１には、センサデータの閾値処理によって認識されたユーザの行動のうち特定の行動に特化した複数の行動判定部を有し、それぞれの行動判定部における判定結果に基づいて行動情報を生成する情報処理装置が記載されている。
特開２０１０－１９８５９５号公報
　例えば特許文献１に記載されたような技術によって検出されるユーザの行動（アクション）には、情報の生成に限らず様々な活用の仕方がありうる。しかしながら、そのような活用の仕方については、必ずしもこれまで十分に提案されてきたとはいえない。
　そこで、本開示では、ユーザのアクションの検出結果に基づいて、ユーザに様々な便益をもたらすことが可能な、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
　本開示によれば、ユーザのアクション情報、および上記アクション情報に関連付けられる空間情報ならびに時間情報を取得する情報取得部と、上記空間情報に基づく上記アクション情報のマップ表現を実行するにあたり、上記時間情報を考慮するマップ表現処理部とを備える情報処理装置が提供される。
　また、本開示によれば、ユーザのアクション情報、および上記アクション情報に関連付けられる空間情報ならびに時間情報を取得することと、プロセッサが、上記空間情報に基づく上記アクション情報のマップ表現を実行するにあたり、上記時間情報を考慮することとを含む情報処理方法が提供される。
　また、本開示によれば、ユーザのアクション情報、および上記アクション情報に関連付けられる空間情報ならびに時間情報を取得する機能と、上記空間情報に基づく上記アクション情報のマップ表現を実行するにあたり、上記時間情報を考慮する機能とをコンピュータに実現させるためのプログラムが提供される。
　以上説明したように本開示によれば、ユーザのアクションの検出結果に基づいて、ユーザに様々な便益をもたらすことができる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理装置の概略的な機能構成を示すブロック図である。 本開示の一実施形態において、ユーザのアクションに含まれるジャンプを検出するための処理の第１の例を示すフローチャートである。 図２に示したハイインパクト検出処理の例を示すフローチャートである。 図２に示した自由落下検出処理の第１の例を示すフローチャートである。 図２に示した自由落下検出処理の第２の例を示すフローチャートである。 本開示の一実施形態において、ユーザのアクションに含まれるジャンプを検出するための処理の第２の例を示すフローチャートである。 図６に示した候補区間検出処理の例を示すフローチャートである。 図７に示した鉛直方向加速度算出処理の例を示すフローチャートである。 図７に示した水平方向加速度算出処理の例を示すフローチャートである。 本開示の一実施形態において、ユーザのアクションに含まれるターン区間を検出するための処理の例を示すフローチャートである。 図１０に示した回転区間検出処理の例を示すフローチャートである。 図１０に示した首振り検出処理の例を示すフローチャートである。 図１０に示したターン検出処理の例を示すチャートである。 本開示の一実施形態において、センサ装着状態を推定するための処理の例を示すブロック図である。 本開示の一実施形態におけるアクション情報のマップ表現のいくつかの例を含む処理を示すフローチャートである。 本開示の一実施形態におけるアクション情報のマップ表現の第１の例を示す図である。 図１６に示す例において、マップ表現がリアルタイムで変化した例を示す図である。 本開示の一実施形態におけるアクション情報のマップ表現の第２の例を示す図である。 本開示の一実施形態における安全マップ生成の例を示す図である。 本開示の一実施形態におけるスキルレベルおよびアクション履歴を考慮したナビゲーションの例について説明するための図である。 本開示の一実施形態におけるアクション検出設定の変更の例について説明するための図である。 本開示の一実施形態におけるアクション検出設定の変更の例について説明するための図である。 本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。 本開示の一実施形態に含まれる機器制御の第１の例における処理を示すフローチャートである。 本開示の一実施形態に含まれる機器制御の第１の例で撮影される画像または映像についてさらに説明するための図である。 本開示の一実施形態に含まれる機器制御の第２の例について説明するための図である。 本開示の一実施形態に含まれる機器制御の第２の例について説明するための図である。 本開示の一実施形態に含まれる機器制御の第３の例について説明するための図である。 本開示の一実施形態に含まれる機器制御の第４の例について説明するための図である。 本開示の一実施形態に含まれる機器制御の第５の例について説明するための図である。 本開示の一実施形態に含まれる機器制御の第５の例について説明するための図である。 本開示の一実施形態に含まれる機器制御の第６の例を概念的に説明するための図である。 本開示の一実施形態に含まれる情報出力の第６の例における処理を示すフローチャートである。 図３３に示した処理によって生成された自由視点映像を閲覧するためのユーザインターフェースについて説明するための図である。 開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．情報処理装置の機能構成
　２．アクション検出処理の例
　　２－１．ジャンプの検出－１
　　２－２．ジャンプの検出－２
　　２－３．ターンの検出
　３．付加的な処理の例
　　３－１．アクションスコアの算出
　　３－２．クラスタリング処理
　　３－３．センサ装着状態の推定
　４．マップ表現の例
　　４－１．マップ表現の例
　　４－２．安全マップの生成
　　４－３．ナビゲーションの提供
　　４－４．アクション検出設定の変更
　　４－５．施設レベルの算出
　５．ハードウェア構成
　６．補足
　７．機器制御の例
　　７－１．第１の例
　　７－２．第２の例
　　７－３．第３の例
　　７－４．第４の例
　　７－５．第５の例
　　７－６．第６の例
　　７－７．ユーザのプロファイルについて
　８．ハードウェア構成
　９．補足
　（１．情報処理装置の機能構成）
　図１は、本開示の一実施形態に係る情報処理装置の概略的な機能構成を示すブロック図である。図１を参照すると、情報処理装置１００は、送信部１０１と、受信部１０２と、センサデバイス制御部１０３と、センサデータ解析部１０４と、解析結果処理部１０７と、検出区間情報保持部１１０と、付加的情報保持部１１１と、サービス制御部１１２とを含む。
　情報処理装置１００は、例えば後述するいくつかの具体的な例において示されるように、ネットワーク上のサーバを構成する単一の装置、または装置の集合体でありうる。また、情報処理装置１００は、ネットワークを介してサーバと通信する端末装置、または単独で動作する端末装置であってもよい。あるいは、情報処理装置１００の機能は、ネットワークを介して互いに通信するサーバと端末装置とに分散して実現されてもよい。情報処理装置１００、または情報処理装置１００の機能を実現する複数の装置のそれぞれのハードウェア構成については後述する。
　送信部１０１および受信部１０２は、例えば有線または無線の各種通信方式によってセンサデバイスと通信する通信装置によって実現される。センサデバイスは、ユーザまたはユーザによって使用される器具に装着された少なくとも１つのセンサを含む。送信部１０１は、センサデバイス制御部１０３が出力する制御信号をセンサデバイスに送信する。受信部１０２は、センサデバイスからセンサデータおよび時刻情報（タイムスタンプ）を受信し、これらをセンサデバイス制御部１０３に入力する。図示された例において、受信部１０２は、ユーザまたはユーザによって使用される器具に装着されたセンサによって提供されるセンサデータを受信するセンサデータ受信部を実現する。なお、例えば情報処理装置１００が、少なくとも１つのセンサを備える端末装置、より具体的にはモバイルデバイスやウェアラブルデバイスであるような場合には、センサからセンサデータを受信するドライバプログラムを実行するＣＰＵ（Central　Processing　Unit）などのプロセッサによってセンサデータ受信部が実現されてもよい。また、本実施形態に係る情報処理装置は、例えば、センサを備える外部の装置からセンサデータを取得する取得部を備えていてもよい。ここで、取得部は、例えば、“送信部１０１および受信部１０２を実現する上記通信装置などを介して、センサを備える外部の装置からセンサデータを受信するドライバプログラム”を実行するＣＰＵなどのプロセッサによって、実現される。なお、取得部を備える場合、本実施形態に係る情報処理装置は、センサデータ受信部を備えない構成をとることも可能である
　センサデバイス制御部１０３は、例えばＣＰＵなどのプロセッサが、メモリに格納されたプログラムに従って動作することによって実現される。センサデバイス制御部１０３は、受信部１０２からセンサデータおよび時刻情報を取得する。センサデバイス制御部１０３は、これらのデータをセンサデータ解析部１０４および解析結果処理部１０７に提供する。センサデバイス制御部１０３は、必要に応じて、データの前処理を実施してもよい。また、センサデバイス制御部１０３は、センサデバイスの制御信号を送信部１０１に出力する。いくつかの実施形態において、センサデバイス制御部１０３は、センサデータ解析部１０４または解析結果処理部１０７における処理の結果のフィードバックに基づいて、制御信号を出力してもよい。
　センサデータ解析部１０４は、例えばＣＰＵなどのプロセッサが、メモリに格納されたプログラムに従って動作することによって実現される。センサデータ解析部１０４は、センサデバイス制御部１０３から提供されたセンサデータを用いた種々の解析を実行する。図示された例において、センサデータ解析部１０４は、特徴量抽出部１０５と、アクション検出部１０６とを含む。特徴量抽出部１０５は、センサデータから各種の特徴量を抽出する。アクション検出部１０６は、特徴量抽出部１０５によってセンサデータから抽出された特徴量に基づいて、ユーザのアクションを検出する。本実施形態において、アクション検出部１０６が検出するユーザのアクションには、ユーザのターンおよび／またはジャンプが含まれる。さらに、アクション検出部１０６は、歩く、走る、静止する、乗り物で移動するなどといった、その他のユーザのアクションを検出してもよい。ユーザのアクションは、それが発生した区間（アクション区間）を示す時刻情報（タイムスタンプ）に関連付けて検出されうる。センサデータ解析部１０４は、解析結果、より具体的には例えばアクション検出部１０６によって検出されたユーザのアクション区間を含む情報を、検出区間情報保持部１１０に格納する。また、センサデータ解析部１０４は、解析結果を、解析結果処理部１０７に提供する。
　解析結果処理部１０７は、例えばＣＰＵなどのプロセッサが、メモリに格納されたプログラムに従って動作することによって実現される。解析結果処理部１０７は、センサデータ解析部１０４の解析結果、より具体的にはアクション検出部１０６によって検出されたユーザのアクションの情報に基づいて、後段のサービス制御部１１２によって利用される各種の付加的な情報を生成する。図示された例において、解析結果処理部１０７は、クラスタリング処理部１０８と、スコアリング処理部１０９とを含む。例えば、検出されたユーザのアクションが同じ種類の複数のアクションを含む場合、クラスタリング処理部１０８が、これらのアクションをその特徴量（特徴量抽出部１０５によって抽出された特徴量であってもよいし、アクション検出部１０６によって算出された中間的な特徴量であってもよい）に基づいてクラスタリングしてもよい。また、同じ場合、スコアリング処理部１０９が、特徴量に基づいてアクションの評価を示すスコアを算出してもよい。また、クラスタリング処理部１０８および／またはスコアリング処理部１０９は、センサデバイス制御部１０３から提供されたセンサデータに基づいて、新たに特徴量を算出してもよい。解析結果処理部１０７は、処理結果、より具体的にはクラスタリング処理部１０８によるクラスタリングの結果や、スコアリング処理部１０９によって算出されたスコアの情報を、時刻情報（タイムスタンプ）とともに付加的情報保持部１１１に格納する。
　検出区間情報保持部１１０および付加的情報保持部１１１は、例えば各種のメモリまたはストレージ装置によって実現される。検出区間情報保持部１１０および付加的情報保持部１１１は、上記のようにセンサデータ解析部１０４および解析結果処理部１０７から提供された情報を、一時的または永続的に格納する。検出区間情報保持部１１０に格納された情報と、付加的情報保持部１１１に格納された情報とは、例えば時刻情報（タイムスタンプ）によって互いに対応付けることが可能でありうる。また、検出区間情報保持部１１０および付加的情報保持部１１１には、複数のユーザのそれぞれに関する情報が格納されてもよい。
　サービス制御部１１２は、例えばＣＰＵなどのプロセッサが、メモリに格納されたプログラムに従って動作することによって実現される。サービス制御部１１２は、検出区間情報保持部１１０および／または付加的情報保持部１１１に格納された情報を利用して、サービス１１３を制御する。より具体的には、例えば、サービス制御部１１２は、検出区間情報保持部１１０および／または付加的情報保持部１１１から読み出した情報に基づいて、サービス１１３においてユーザに提供される情報を生成する。なお、例えば情報処理装置１００がサーバであるような場合、サービス制御部１１２によって出力された情報は、通信装置を介して端末装置に送信されうる。また、例えば情報処理装置１００が端末装置であるような場合、サービス制御部１１２によって出力された情報は、端末装置が備えるディスプレイ、スピーカ、またはバイブレータなどの出力装置に提供されうる。
　（２．アクション検出処理の例）
　以下では、本開示の一実施形態において実行されるアクション検出処理の例について説明する。これらの例では、ユーザがスノーボードをしている場合に発生するジャンプおよびターンが検出される。例えば、スノーボードの場合、加速度センサおよび角速度センサなどを含むセンサデバイスは、ウェアに埋め込まれたり、ウェアラブル端末装置やモバイル端末装置に組み込まれたりすることによって、ユーザに直接的に装着されてもよい。あるいは、センサデバイスは、スノーボードの用具、例えばボードに装着されてもよい。
　なお、本実施形態で実行されるアクション検出処理はスノーボードで発生するジャンプやターンには限られず、例えばスノーボード以外のスポーツで発生するジャンプやターンについてアクション検出処理が実行されてもよい。ジャンプやターンは、さまざまなスポーツで共通して発生しうるアクションであるため、例えば以下で説明するような検出処理によって、スポーツの種類に関わらずジャンプやターンを検出することが可能でありうる。また、本実施形態で実行されるアクション検出処理では、ジャンプやターン以外のアクションが検出されてもよい。そのようなアクション検出処理には、例えば特開２０１０－１９８５９５号公報などに記載された行動認識の技術において利用されている様々な技術を応用することが可能である。
　（２－１．ジャンプの検出－１）
　図２は、本開示の一実施形態において、ユーザのアクションに含まれるジャンプを検出するための処理の第１の例を示すフローチャートである。図示された処理は、例えば上記の情報処理装置１００に含まれるセンサデータ解析部１０４において実行される。
　まず、センサデータ解析部１０４は、所定のタイムフレームごとに、ハイインパクト検出処理（Ｓ１１０）と、自由落下検出処理（Ｓ１２０）とを実行する。なお、これらの処理の詳細については後述する。これらの処理の結果を受けて、センサデータ解析部１０４に含まれるアクション検出部１０６は、２つのハイインパクト区間（踏み切りおよび着地と推定される）に挟まれた区間が発生したか否かを判定する（Ｓ１０１）。そのような区間が発生した場合、アクション検出部１０６は、区間の持続時間（duration）が２つの閾値（ＴＨ１，ＴＨ２）の間にあるか否かを判定する（Ｓ１０２）。これらの閾値は、例えば、ジャンプとしては長すぎる区間や短すぎると判断される区間を除外する目的で設定される。
　Ｓ１０２の判定において持続時間が２つの閾値の間にあった場合、さらに、アクション検出部１０６は、当該区間における自由落下区間の比率が閾値（ＴＨ）を超えるか否かを判定する（Ｓ１０３）。自由落下区間の比率が閾値を超える場合、当該区間（２つのハイインパクト区間に挟まれた区間）がジャンプ区間であることが検出される（Ｓ１０４）。
　図３は、図２に示したハイインパクト検出処理（Ｓ１１０）の例を示すフローチャートである。図３を参照すると、ハイインパクト検出処理では、センサデータに含まれる加速度（Ｄ１１１）が利用される。まず、センサデータ解析部１０４に含まれる特徴量抽出部１０５が、加速度のノルムを算出し（Ｓ１１２）、さらにノルムをＬＰＦ（Low　Pass　Filter）によってスムージングする（Ｓ１１３）。続いて、特徴量抽出部１０５は、スムージングされた加速度のノルムについて、所定のタイムフレームで振幅のパワーを算出する（Ｓ１１４）。アクション検出部１０６は、パワーが閾値（ＴＨ）を上回るか否かを判定し（Ｓ１１５）、パワーが閾値を上回る場合、当該タイムフレームがハイインパクト区間であることを検出する（Ｓ１１６）。
　なお、本明細書および図面において、ＴＨ、ＴＨ１またはＴＨ２などとして表記される閾値には、それぞれの処理において適切な値が設定される。つまり、これらの閾値がいずれもＴＨなどとして表記されていることは、これらの閾値が同じ値であることを示すものではない。
　図４は、図２に示した自由落下検出処理（Ｓ１２０）の第１の例を示すフローチャートである。図４を参照すると、第１の例に係る自由落下検出処理では、センサデータに含まれる加速度（Ｄ１２１）および角速度（Ｄ１２５）が利用される。まず、特徴量抽出部１０５が加速度のノルムを算出し（Ｓ１２２）、アクション検出部１０６が各区間におけるノルムが閾値（ＴＨ）を下回るか否かを判定する（Ｓ１２３）。アクション検出部１０６は、加速度のノルムが閾値を下回った区間について、当該区間が自由落下区間であることを検出する（Ｓ１２４）。
　一方、特徴量抽出部１０５は、角速度についてもノルムを算出し（Ｓ１２６）、さらに所定のタイムフレームにおけるノルムの分散を算出する（Ｓ１２７）。アクション検出部１０６は、角速度のノルムの分散が閾値（ＴＨ）を下回るか否かを判定し（Ｓ１２８）、分散が閾値を下回る場合、Ｓ１２４において検出された自由落下区間をマスクする（つまり、自由落下区間としての判定を取り消す）（Ｓ１２９）。このような角速度に基づくマスク処理は、ユーザがジャンプした場合には角速度の変化が発生するため、角速度の変化（分散）が小さい自由落下区間はジャンプ以外の原因で発生している、という知見に基づく。
　なお、上記の処理において、Ｓ１２６～Ｓ１２９におけるマスクの処理は、必ずしもＳ１２１～Ｓ１２４における自由落下区間の判定処理の後に実行されなくてもよい。例えば、アクション検出部１０６は、マスクの処理を先行して実行し、マスクする区間として特定された区間については自由落下区間の判定処理を実行しなくてもよい。あるいは、マスクの処理は、図２に示したジャンプ区間の検出処理（Ｓ１０４）の後に実行され、一旦ジャンプ区間として検出された区間がマスクされてもよい。さらにいえば、図４などに示す自由落下処理（Ｓ１２０）は、必ずしも図２に示した区間の発生判定（Ｓ１０１）の前に実行される必要はなく、区間の発生判定の後、例えば自由落下区間の比率に関する判定（Ｓ１０３）の前に、当該区間について自由落下検出処理が実行されてもよい。
　図５は、図２に示した自由落下検出処理（Ｓ１２０）の第２の例を示すフローチャートである。図５を参照すると、第２の例に係る自由落下検出処理では、ユーザまたはユーザによって使用される器具に装着された加速度センサによって提供されるセンサデータに含まれる加速度（Ｄ１２１）が利用される。Ｓ１２２～Ｓ１２４では、特徴量抽出部１０５およびアクション検出部１０６が上記の第１の例と同様の処理を実行し、自由落下区間を検出する。
　一方、本例において、特徴量抽出部１０５は、加速度のＸ軸成分およびＹ軸成分を抽出し（Ｓ１３２）、さらに加速度のＸ軸成分とＹ軸成分との間での共分散を算出する（Ｓ１３３）。より具体的には、例えば、特徴量抽出部１０５は、ユーザが基準面（水平面には限らず、傾斜面であってもよい）上を歩いたり走ったりしている場合に、加速度センサの座標軸のうちユーザの進行方向に最も近い軸をＸ軸、基準面の法線方向に最も近い軸をＹ軸とし、これらの軸方向の加速度成分（Ｘ軸成分、Ｙ軸成分）の共分散を算出する。アクション検出部１０６は、共分散が閾値（ＴＨ）を下回るか否かを判定し（Ｓ１３４）、共分散が閾値を下回る場合、Ｓ１２４において検出された自由落下区間をマスクする（Ｓ１２９）。このような加速度の共分散に基づくマスク処理は、例えば、検出したいジャンプが専ら基準面の法線方向の変位を伴ういわゆる垂直跳びではなく、ユーザの進行方向への変位を伴うジャンプである場合に有効である。
　（２－２．ジャンプの検出－２）
　図６は、本開示の一実施形態において、ユーザのアクションに含まれるジャンプを検出するための処理の第２の例を示すフローチャートである。図示された処理は、上記の第１の例と同様に、例えば情報処理装置１００に含まれるセンサデータ解析部１０４において実行される。
　まず、センサデータ解析部１０４は、候補セクション検出処理（Ｓ１４０）を実行する。なお、この処理の詳細については後述する。処理の結果を受けて、センサデータ解析部１０４に含まれるアクション検出部１０６は、候補区間が発生したか否かを判定する（Ｓ１０５）。候補区間が発生した場合、アクション検出部１０６は、上記の第１の例と同様に、区間の持続時間（duration）が２つの閾値（ＴＨ１，ＴＨ２）の間にあるか否かを判定する（Ｓ１０２）。持続時間が２つの閾値の間にあった場合、さらに、アクション検出部１０６は、区間における鉛直方向および水平方向の加速度の平均値（mean）がそれぞれの閾値（ＴＨｓ）を超えるか否かを判定する（Ｓ１０６）。加速度の平均値がそれぞれの閾値を超える場合、当該候補区間がジャンプ区間であることが検出される（Ｓ１０４）。
　図７は、図６に示した候補区間検出処理（Ｓ１４０）の例を示すフローチャートである。図７を参照すると、候補区間検出処理では、まず、上記で図３を参照して説明したハイインパクト検出処理（Ｓ１１０）と、鉛直方向加速度算出処理（Ｓ１４１）と、水平方向加速度算出処理（Ｓ１４２）とが実行される。さらに、センサデータ解析部１０４に含まれる特徴量抽出部１０５は、各区間について、Ｓ１４１，Ｓ１４２で算出された鉛直方向加速度と水平方向加速度との差分を算出する（Ｓ１４３）。その上で、アクション検出部１０６が、２つのハイインパクト区間（踏み切りおよび着地と推定される）に挟まれた区間が発生したか否かを判定する（Ｓ１４４）。そのような区間が発生した場合、アクション検出部１０６は、Ｓ１４３で算出された鉛直方向加速度と水平方向加速度との差分が、当該区間において閾値（ＴＨ）を超えるか否かを判定する（Ｓ１４５）。差分が閾値を超える場合、当該区間（２つのハイインパクト区間に挟まれた区間）がジャンプ区間の候補区間であることが検出される（Ｓ１４６）。
　図８は、図７に示した鉛直方向加速度算出処理（Ｓ１４１）の例を示すフローチャートである。図８を参照すると、鉛直方向加速度算出処理では、センサデータに含まれる加速度（Ｄ１５１）が利用される。まず、センサデータ解析部１０４に含まれる特徴量抽出部１０５が、加速度の平均値（mean）を算出する（Ｓ１５２）。ここで算出される平均値は、例えば移動平均でありうる。Ｓ１５２で算出された加速度の平均値に基づいて、特徴量抽出部１０５は重力成分加速度算出処理を実行する（Ｓ１５３）。さらに、特徴量抽出部１０５は、算出された重力成分加速度のノルムを算出する（Ｓ１５４）。なお、重力成分加速度は、移動平均などの平均値に基づいて算出されてもよいし、ＬＰＦなどのフィルタを用いて算出されてもよい。
　一方、特徴量抽出部１０５は、上記のＳ１５２～Ｓ１５４の処理とは別に、加速度（Ｄ１５１）をＢＰＦ（Band　Pass　Filter）で処理する（Ｓ１５５）。図示された例において、ＢＰＦは、低周波領域のフィルタによって加速度に含まれるＤＣ成分（つまり、重力成分）を除去し、さらに高周波領域のフィルタによって加速度をスムージングすることを目的として用いられる。なお、Ｓ１５５のＢＰＦは、例えばＬＰＦやＨＰＦ（High　Pass　Filter）など、他の種類のフィルタの組み合わせによって代替されてもよい。特徴量抽出部１０５は、ＢＰＦによって処理された加速度について、Ｓ１５３で算出された重力成分加速度との内積を算出する（Ｓ１５６）。
　さらに、特徴量抽出部１０５は、Ｓ１５６で算出された内積を、Ｓ１５４で算出された重力成分加速度のノルムで割る（Ｓ１５７）。これによって、鉛直方向加速度（Ｖ１５８）が得られる。図示された例において、鉛直方向加速度は、ＢＰＦ（Ｓ１５５）によって重力成分を除去した加速度を、重力成分加速度の方向に射影することによって算出されている。
　図９は、図７に示した水平方向加速度算出処理（Ｓ１４２）の例を示すフローチャートである。図９を参照すると、水平方向加速度算出処理でも、センサデータに含まれる加速度（Ｄ１５１）が利用される。また、水平方向加速度算出処理では、上記で図８を参照して説明した鉛直方向加速度算出処理（Ｓ１４１）において算出された鉛直方向加速度が利用される。より具体的には、センサデータ解析部１０４に含まれる特徴量抽出部１０５は、鉛直方向加速度を２乗して利用する（Ｓ１６１）。
　その一方で、特徴量抽出部加速度（Ｄ１５１）をＢＰＦで処理し（Ｓ１６２）、加速度に含まれるＤＣ成分を除去するとともに加速度をスムージングする。なお、Ｓ１６２のＢＰＦも、例えばＬＰＦやＨＰＦなど、他の種類のフィルタの組み合わせによって代替されてもよい。特徴量抽出部１０５は、ＢＰＦによって処理された加速度のノルムを算出し（Ｓ１６３）、これを２乗する（Ｓ１６４）。さらに、特徴量抽出部１０５は、Ｓ１６１で算出された鉛直方向加速度の２乗と、Ｓ１６４で算出された水平方向加速度の２乗との差分を算出し（Ｓ１６５）、差分の平方根（Ｓ１６６）によって水平方向加速度（Ｖ１６７）を得る。
　以上で説明したような、本開示の一実施形態におけるジャンプ検出では、ジャンプ検出の第１の例（図２）で自由落下検出処理に第１の例（図４）を採用する場合と、同じくジャンプ検出の第１の例（図２）で自由落下検出処理に第２の例（図５）を採用する場合と、ジャンプ検出の第２の例（図６）の場合とで、合計３種類のジャンプ検出処理が可能である。アクション検出部１０６を含むセンサデータ解析部１０４は、これらの３種類のジャンプ検出処理をそれぞれ実行した上で、それらの結果に基づいて最終的なジャンプ区間を検出してもよい。より具体的には、例えば、アクション検出部１０６は、３種類のジャンプ検出処理のうちの少なくとも１つでジャンプ区間が検出された場合に、当該区間を最終的なジャンプ区間として検出してもよい。あるいは、アクション検出部１０６は、３種類のジャンプ検出処理のうちの２つ以上、または３種類すべてでジャンプ区間が検出された場合に、当該区間を最終的なジャンプ区間として検出してもよい。
　（２－３．ターンの検出）
　図１０は、本開示の一実施形態において、ユーザのアクションに含まれるターン区間を検出するための処理の例を示すフローチャートである。図示された処理は、例えば上記の情報処理装置１００に含まれるセンサデータ解析部１０４において実行される。以下の処理では、センサデータ解析部１０４が、ユーザのアクションに含まれる回転を検出し（Ｓ２１０）、さらにその回転に含まれる非ターン性の回転を検出し（Ｓ２３０）、回転から非ターン性の回転を除いたものの中からターンを検出する（Ｓ２５０）。
　ここで、非ターン性の回転は、例えば、センサがユーザの頭部、またはユーザの頭部に装着される器具に装着されるセンサを含む場合に、ユーザの首振りによって発生する回転を含む。非ターン性の回転は、他にも、ユーザの体動によって発生する回転、より具体的には、センサがユーザの腕部、またはユーザの腕部に装着される器具に装着されるセンサを含む場合に、ユーザの腕振りや腕回しによって発生する回転などを含みうる。
　本実施形態では、センサデータ解析部１０４が、このような非ターン性の回転を除いた上でターン区間を検出することで、より精度の高いターン区間の検出が可能になる。そのような意味で、非ターン性の回転は、検出対象であるターンに対するノイズであるともいえ、本実施形態において、センサデータ解析部１０４は、ユーザのアクションに含まれる回転を検出し、さらにその回転に含まれるノイズを検出し、回転からノイズを除いたものの中からターンを検出するともいえる。
　まず、センサデータ解析部１０４は、回転区間検出処理（Ｓ２１０）を実行する。本実施形態において、回転区間は、水平面方向の角速度が閾値を超える区間として定義される。センサデータ解析部１０４は、回転区間が発生したか否かを判定する（Ｓ２０１）。回転区間が発生した場合、まず、センサデータ解析部１０４は、首振り（HEAD　SHAKE）検出処理（Ｓ２３０）を実行する。さらに、センサデータ解析部１０４は、首振りが検出されたか否かを判定し（Ｓ２０３）、首振りが検出されなかった場合に、さらにターン検出処理（Ｓ２５０）を実行する。このような処理によって、回転区間からユーザの首振り（例えば、センサが頭部装着型のウェアラブル端末装置に搭載されている場合などに発生する）によって生じた区間が除かれ、さらに回転半径や角速度、持続時間などが所望の条件を満たすターン区間を抽出することができる。
　図１１は、図１０に示した回転区間検出処理（Ｓ２１０）の例を示すフローチャートである。図１１を参照すると、回転区間検出処理では、センサデータに含まれる加速度（Ｄ２１１）および角速度（Ｄ２１４）が利用される。まず、センサデータ解析部１０４に含まれる特徴量抽出部１０５が、加速度の平均値（mean）を算出する（Ｓ２１２）。ここで算出される平均値は、例えば移動平均でありうる。Ｓ２１２で算出された加速度の平均値に基づいて、特徴量抽出部１０５は重力成分加速度算出処理を実行する（Ｓ２１３）。さらに、特徴量抽出部１０５は、Ｓ２１３で算出された重力成分加速度と、角速度（Ｄ２１４）との内積を算出する（Ｓ２１５）。これによって、重力成分加速度の方向への角速度の射影、つまり水平面方向（鉛直軸回り）の角速度（Ｖ２１６）が得られる。
　ここで、特徴量抽出部１０５は、算出された角速度を一旦積分して（Ｓ２１７）、水平面方向の角変位（Ｖ２１８）を算出する。特徴量抽出部１０５は、角変位をＬＰＦで処理する（Ｓ２１９）。さらに、特徴量抽出部１０５は、角変位を微分して（Ｓ２２０）、水平面方向の角速度（Ｖ２２１）にする。Ｖ２２１の角速度は、Ｖ２１８の角速度と比較して、Ｓ２１７で一旦積分され、さらに積分後の角変位がＳ２１９でＬＰＦによって処理されたことによってスムージングされ、波形からノイズが除去されている。センサデータ解析部１０４に含まれるアクション検出部１０６は、水平面方向の角速度（Ｖ２２１）が閾値を上回るか否かを判定し（Ｓ２２２）、角速度が閾値を上回る区間を回転区間として検出する（Ｓ２２３）。
　図１２は、図１０に示した首振り検出処理（Ｓ２３０）の例を示すフローチャートである。図１２を参照すると、首振り検出処理では、図１１に示した回転区間検出処理で算出された、スムージング後の水平面方向の角速度（Ｖ２２１）を利用する。特徴量抽出部１０５は、角速度の符号を取得する（Ｓ２３１）。回転の向きに対する符号の定義はどのようなものでもよいが、図示された例において、角速度（Ｖ２２１）の符号として、時計回りの回転（Ｖ２３２）と、反時計回りの回転（Ｖ２３３）とを定義する。さらに、特徴量抽出部１０５は、逆向きの回転が発生した時間間隔を算出する（Ｓ２３４）。つまり、図示された例において、特徴量抽出部１０５は、時計回りの回転（Ｖ２３２）が発生してから反時計回りの回転（Ｖ２３３）が発生するまでの時間間隔、および反時計回りの回転（Ｖ２３３）が発生してから時計回りの回転（Ｖ２３２）が発生するまでの時間間隔を算出する。アクション検出部１０６は、Ｓ２３４で算出された時間間隔が閾値（ＴＨ）を下回るか否かを判定し（Ｓ２３５）、時間間隔が閾値を下回る場合に、首振りが発生していることを検出する（Ｓ２３６）。
　図１３は、図１０に示したターン検出処理（Ｓ２５０）の例を示すチャートである。ターン検出処理では、特徴量抽出部１０５によって複数の特徴量が算出され、それぞれの特徴量に基づいてアクション検出部１０６が閾値による判定を実施する。図１３には、特徴量抽出部１０５がそれぞれの特徴量を算出するための処理が示されている。なお、以下の説明ではそれぞれの特徴量の算出の処理を順を追って説明するが、特徴量抽出部１０５による処理は必ずしも説明の順序に実行されなくてもよく、前提になる量が取得または算出されていれば、任意の順序で処理が実行されうる。
　まず、特徴量抽出部１０５は、センサデータに含まれる加速度（Ｄ２５１）のノルムを算出し（Ｓ２５２）、さらに所定のタイムフレームにおけるノルムの平均値を算出する（Ｓ２５３）。このようにして算出された加速度ノルム平均（Ｖ２５４）は、ターン検出のための特徴量の１つとして利用される。
　一方、特徴量抽出部１０５は、加速度（Ｄ２５１）を第１のＬＰＦで処理し（Ｓ２７３）、重力成分加速度（Ｖ２７４）を算出する。さらに、特徴量抽出部１０５は、センサデータに含まれる角速度（Ｄ２５５）と重力成分加速度との内積を算出する（Ｓ２５６）。これによって、重力成分加速度の方向への角速度の射影、つまり水平面方向（鉛直軸回り）の角速度（Ｖ２５７）が得られる。特徴量抽出部１０５は、算出された角速度を積分して（Ｓ２５８）、水平面方向の角変位（Ｖ２５９）を算出する。角変位（Ｖ２５９）も、ターン検出のための特徴量の１つとして利用される。
　さらに、特徴量抽出部１０５は、角変位（Ｖ２５９）と、処理の対象になっている回転区間の持続時間（duration）（Ｖ２６０）とに基づいて、角速度（Ｖ２６１）を算出する。Ｖ２６１の角速度は、例えばＤ２５５の角速度と比べて、より長いタイムフレーム（例えば回転区間全体でスムージングされたものでありうる。回転区間の持続時間（Ｖ２６０）および角変化率（Ｖ２６１）も、ターン検出のための特徴量の１つとして利用される。
　また、特徴量抽出部１０５は、角変位（Ｖ２５９）を所定のタイムフレームについて解析する（Ｓ２６２）ことによって、いくつかの特徴量を算出する。より具体的には、特徴量抽出部１０５は、タイムフレーム内での角速度の最大値（Ｓ２６３，Ｖ２６８）、平均値（Ｓ２６４，Ｖ２６９）、分散（Ｓ２６５，Ｖ２７０）、尖度（Ｓ２６６，Ｖ２７１）、および歪度（Ｓ２６７，Ｖ２７２）を算出する。これらの特徴量も、ターン検出のための特徴量として利用される。
　一方で、特徴量抽出部１０５は、加速度（Ｄ２５１）を第２のＬＰＦで処理する（Ｓ２７５）。図示された例では、第１のＬＰＦ（Ｓ２７３）が、加速度に含まれるＤＣ成分である重力成分加速度（Ｖ２７４）を抽出するために用いられたのに対して、第２のＬＰＦ（Ｓ２７５）は、高周波領域をフィルタすることによって加速度をスムージングするために用いられる。従って、これらのＬＰＦの通過帯域設定は異なりうる。
　特徴量抽出部１０５は、第２のＬＰＦ（Ｓ２７５）によってスムージングされた加速度と、第１のＬＰＦ（Ｓ２７３）によって抽出された重力成分加速度（Ｖ２７４）との内積を算出する（Ｓ２７６）。これによって、鉛直方向加速度（Ｖ２７７）が得られる。さらに、特徴量抽出部１０５は、重力成分加速度（Ｖ２７４）と鉛直方向加速度（Ｖ２７７）とを合成した加速度ベクトルの、第２のＬＰＦ（Ｓ２７５）によってスムージングされた加速度との差分を算出する（Ｓ２７８）。これによって、水平方向加速度（Ｖ２７９）が得られる。特徴量抽出部１０５は、水平方向加速度の平均値を算出する（Ｓ２８０）．このようにして算出された水平方向加速度の平均値（Ｖ２８１）も、ターン検出のための特徴量として利用される。
　アクション検出部１０６は、例えば上記のようにしてセンサデータから抽出された特徴量に基づいて、ターンが発生したか否かの判定を実施する。図示された例において、アクション検出部１０６は、回転区間の持続時間（Ｖ２６０）、水平面方向の角変位（Ｖ２５９）、スムージングされた角速度（Ｖ２６１）、加速度ノルム平均（Ｖ２５４）、水平方向加速度の平均値（Ｖ２８１）、タイムフレーム内での角速度の最大値（Ｖ２６８）、平均値（Ｖ２６９）、分散（Ｖ２７０）、尖度（Ｖ２７１）、および歪度（Ｖ２７２）に基づいて判定を実施する。
　なお、判定に用いられる特徴量は上記の例には限られず、例えば上記の例以外の特徴量が用いられてもよいし、上記の例の特徴量の一部が用いられなくてもよい。例えば、センサデータから抽出可能な様々な種類の特徴量の中から、実際にターンが発生したときのセンサデータに基づく主成分分析によって、ターン検出に使用する特徴量の種類が決定されてもよい。あるいは、実際にターンが発生したときに現れるセンサデータの傾向に基づいて、判定に用いられる特徴量が決定されてもよい。例えば、上記の例のうち、加速度ノルム平均（Ｖ２５４）および水平方向加速度の平均値（Ｖ２８１）は、ターンの回転半径に関係する特徴量である。
　また、アクション検出部１０６による判定において適用される各特徴量の閾値は、例えば、実際にターンが発生した時のセンサデータに基づく機械学習の結果に従って決定される。このとき、実際にターンが発生したか否かは、例えば、センサデータと同時に取得されたアクションの映像を参照してマニュアルで決定されてもよい。また、単にターンが発生したか否かだけではなく、どのようなターンかを示すラベルが与えられてもよい。より具体的には、例えば、映像を参照した結果、サービス提供者側で、ターンとして検出したい、ターンとして検出したくない、またはどちらでもよいと判定されたアクションについて、それぞれの属性を示すラベルが与えられてもよい。
　以上、本開示の一実施形態において実行されるアクション検出処理のいくつかの例について説明した。既に説明した通り、本実施形態で実行されるアクション検出処理はスノーボードで発生するジャンプやターンには限られず、例えばスノーボード以外のスポーツ、またはスポーツ以外のシーンで発生するジャンプやターンについてアクション検出処理が実行されてもよい。また、本実施形態で実行されるアクション検出処理では、ジャンプやターン以外のアクションが検出されてもよい。一例として、アクション検出部１０６は、スノーボードなどで発生する転倒を検出してもよい。この場合、特徴量抽出部１０５が上述したジャンプやターンの検出と同様にして加速度のノルムを算出し、アクション検出部１０６が、加速度のノルムが閾値（例えば、通常の滑走では発生しない程度の大きな値でありうる）を上回った場合に、転倒の発生を検出してもよい。
　（３．付加的な処理の例）
　（３－１．アクションスコアの算出）
　例えば、解析結果処理部１０７に含まれるスコアリング処理部１０９は、上記で図２～図１３を参照して説明したような処理によって検出されるジャンプ区間および／またはターン区間を含むアクション区間について、発生したアクションを評価するスコア（アクションスコア）を算出する。アクションスコアは、例えばアクション区間におけるセンサデータから、アクションの良し悪しや特徴を表す物理量（特徴量）を抽出し、それらを重みづけ加算することによって算出されうる。サービス制御部１１２は、このようにして算出されたスコアに基づいて、アクション（例えばジャンプまたはターン）に関する情報を生成する。
　例えば、ジャンプ区間の場合、区間の持続時間（duration）、区間におけるＸ軸／Ｙ軸／Ｚ軸回りの角変位）、自由落下区間の割合、踏切時／着地時の衝撃の大きさなどが、スコアを算出するための特徴量として抽出されうる。また、例えば、ターン区間の場合、区間の持続時間、変位角、各速度の平均値、最大値、および標準偏差、角加速度の最大値および標準偏差などが、スコアを算出するための特徴量として抽出されうる。
　なお、重みづけ加算の係数は、例えば、情報処理装置１００によって提供されるサービス１１３において重視されるアクションの性質に応じて設定されうる。また、特徴量からアクションのスコアを算出するための方法は重みづけ加算には限られず、他の計算方法が用いられてもよい。例えば、線形回帰モデルなど、機械学習のアルゴリズムを適用することによってアクションスコアを算出してもよい。
　（３－２．クラスタリング処理）
　また、例えば、解析結果処理部１０７に含まれるクラスタリング処理部１０８は、上記で図２～図１３を参照して説明したような処理によって検出されるジャンプ区間および／またはターン区間を含むアクション区間について、スコアリングのために抽出した特徴量などを利用してｋ－ｍｅａｎｓ法などのクラスタリングアルゴリズムを適用し、検出されたアクションをクラスタに分類する。ジャンプ区間やターン区間の場合、例えば、区間の持続時間の長短や、回転の大小によってアクションがクラスタに分類されてもよい。クラスタリングの結果は、例えば、サービスとしてダイジェスト動画を提供するような場合に、様々な種類のジャンプやターンなどのアクションが動画に含まれるようにアクション区間を抽出するために利用される。また、良かったアクションとそうでなかったアクションとを別々のクラスタに分類することによって、ユーザ自身がアクションを振り返ったり、アクションの改善のためのコーチングに役立てたりしてもよい。
　なお、解析結果処理部１０７は、クラスタリングと同様の処理として、特徴量の相関係数に基づいてアクション区間同士の類似度を算出してもよい（類似度が高いアクション区間は、同じクラスタに分類されたアクション区間と同様に扱うことができる）。また、例えば、解析結果処理部１０７は、典型的なタイプのアクションの特徴量パターンを予め用意しておき、ｋ－ＮＮ法などによって、新たに発生したアクションがどのタイプに該当するかを判定してもよい。
（３－３．センサ装着状態の推定）
　図１４は、本開示の一実施形態において、センサ装着状態を推定するための処理の例を示すブロック図である。より具体的には、図示された構成によって、センサデータを提供するセンサがユーザの身体に直接的に装着されているか、ユーザによって使用される器具に装着されているかが判定される。図示された処理は、例えば上記の情報処理装置１００に含まれるセンサデータ解析部１０４において実行される。なお、図示された例では、フィルタの遮断周波数（Ｆｃ）やタイムフレームの長さが具体的に説明されているが、これらの数値は一例であり、実際のセンサの特性などに応じて適宜変更されうる。
　図示された例において、情報処理装置１００の受信部１０２は、３軸（ｕ，ｖ，ｗ）の加速度センサ１２１によって提供されるセンサデータを受信する。センサデータ解析部１０４は、センサデバイス制御部１０３を介してこのセンサデータを取得する。センサデータ解析部１０４は、まず、センサデータに含まれる加速度を１段のＨＰＦ１２２（Ｆｃ＝０．５Ｈｚ）で処理し、その後ノルム算出１２３を実行する。さらに、センサデータ解析部１０４は、ノルムを２段のＬＰＦ１２４（Ｆｃ＝２Ｈｚ）および２段のＨＰＦ（Ｆｃ＝７Ｈｚ）でそれぞれ処理した結果について、タイムフレーム２ｓｅｃでの振幅（最大値と最小値の差）を算出する（１２５，１２７）。これらの結果（ＡおよびＢ）について、Ａ／Ｂを演算する（１２８）。その結果を１段のＨＰＦ１２９（Ｆｃ＝０．２５Ｈｚ）で処理し、閾値判定１３０を実施する。
　上記のような判定の処理は、センサがユーザの身体に直接的に装着されている場合、身体がＬＰＦとして機能することによって加速度の高周波成分が減衰することに基づいている。上記の例におけるＡ（ＬＰＦ１２４を通過した低周波成分の振幅）／Ｂ（ＨＰＦを通過した高周波成分の振幅）は、元の加速度において高周波成分が減衰しているほど大きな値になる。従って、閾値判定１３０では、Ａ／ＢをＨＰＦ１２９で処理した値が閾値よりも大きい場合にはセンサがユーザの身体に直接的に装着されていると判定し、そうでない場合にはセンサが器具に装着されていると判定することができる。
　上記のような推定の結果は、例えば、センサデータ解析部１０４の内部で利用されてもよい。この場合、センサデータ解析部１０４は、上述したようなユーザのアクションの検出の処理において、閾値やフィルタの設定値などを、センサが身体に装着されているか器具に装着されているかによって変更してもよい。あるいは、上記のような推定の結果は、センサデバイス制御部１０３にフィードバックされ、センサデバイスの測定に関するパラメータなどの設定や、センサデバイス制御部１０３によるセンサデータの前処理方法などを決定するために利用されてもよい。
　本実施形態では、例えば上記のセンサ装着状態の推定のように、センサデータの提供側の状態に関する推定に基づいて、センサデータの処理に関する適応的な制御が実施されてもよい。他の例として、センサデータ解析部１０４は、加速度センサなどによって検出された衝撃の強さや動きのパターンなどから、機械学習などのアルゴリズムを用いてアクションが発生しているスポーツの種類を推定してもよい。スポーツは、一般的に認識されている種目ごとに推定されてもよいし、ボードスポーツ、水上スポーツ、自転車競技、モータースポーツなどの系統ごとに推定されてもよい。また、例えば、センサデータ解析部１０４は、センサが器具に装着されている場合に、器具の種類（例えばスキーの場合、スキー板に装着されているか、ストックに装着されているか、など）を推定してもよい。推定の結果は、上記のセンサ装着状態の推定結果と同様に、例えばアクションの検出などにおける閾値やフィルタの設定値の制御に利用されてもよいし、センサデバイス制御部１０３にフィードバックされて、センサデバイスの制御やセンサデータの前処理方法の決定に利用されてもよい。
　（４．マップ表現の例）
　ここで、再び図１を参照して、本実施形態に係る情報処理装置のマップ表現に関する構成について説明する。本実施形態では、情報処理装置１００において、ユーザのアクション情報、およびアクション情報に関連付けられる空間情報ならびに時間情報を取得する情報取得部と、アクション情報を空間情報に基づいてマップ表現するにあたり時間情報を考慮するマップ表現処理部とが実現される。
　例えば、情報処理装置１００において、受信部１０２は、センサデバイスから、センサデータおよび時刻情報（タイムスタンプ）に加えて、ユーザの位置情報を受信する。このとき、センサデータ解析部１０４に含まれるアクション検出部１０６は、センサデータに基づいて検出したユーザのアクションに上記のタイムスタンプおよび位置情報を関連付けた情報を、検出区間情報保持部１１０に格納する。これによって、サービス制御部１１２は、検出区間情報保持部１１０から、ユーザのアクション情報と、アクション情報に関連付けられる空間情報（位置情報）および時間情報（タイムスタンプ）とを取得することができる。
　なお、受信部１０２によるセンサデータの受信からアクション検出部１０６によるアクションの検出までの時間差が小さいような場合、アクション検出部１０６は、アクションが検出された時点での時刻情報（タイムスタンプ）を、センサデータとともに受信されるタイムスタンプの代わりに用いてもよい。また、アクション検出部１０６がユーザによって携帯または装着される端末装置において実現される場合、アクション検出部１０６は、アクションが検出された時点で当該端末装置によって取得された位置情報を、センサデータとともに受信される位置情報の代わりに用いてもよい。
　上記の通り、サービス制御部１１２は、検出区間情報保持部１１０から、ユーザのアクション情報と、アクション情報に関連付けられる空間情報（位置情報）および時間情報（タイムスタンプ）を取得することができる。あるいは、解析結果処理部１０７が、アクション検出部１０６からアクションの検出結果とともに提供されたタイムスタンプおよび位置情報を、アクションの検出結果に基づいて生成した付加的な情報に関連付けて付加的情報保持部１１１に格納する場合、サービス制御部１１２は、付加的情報保持部１１１から、生成された付加的な情報と、アクション情報に関連付けられる空間情報（位置情報）および時間情報（タイムスタンプ）を取得することができる。
　なお、本明細書において、アクション情報は、アクション検出部１０６によって検出されたユーザのアクションを直接的に示す情報に限らず、検出されたユーザのアクションに関連する様々な情報を含みうる。従って、上記の例において、アクション検出部１０６によって提供されるアクションの検出結果だけではなく、解析結果処理部１０７によって生成される付加的な情報も、アクション情報に含まれる。また、アクション情報は、センサデータに基づいてアクション検出部１０６によって検出されたものには限らず、例えばユーザが自らの状況を入力することによって検出されたものが含まれてもよい。
　上記のように、ユーザのアクション情報と、アクション情報に関連付けられる空間情報（位置情報）および時間情報（タイムスタンプ）を取得したサービス制御部１１２は、アクション情報を空間情報に基づいてマップ表現する。マップ表現は、例えば、アクション情報に対応するテキスト、グラフィック、アイコン、またはテクスチャなどの表示要素を、空間情報に基づいてマップ上に配置することを含む。このとき、表示要素は、単一のアクション情報に対応していてもよいし、複数のアクション情報、例えば複数のユーザがそれぞれ提供したセンサデータに基づいて生成されたアクション情報や、単一のユーザが時系列で順次提供したセンサデータに基づいて生成されたアクション情報に対応していてもよい。
　さらに、サービス制御部１１２は、アクション情報をマップ表現するにあたり、アクション情報に関連付けられた時間情報を考慮する。より具体的には、例えば、サービス制御部１１２は、互いに異なる時間情報に関連付けられた２つのアクション情報に対応する表示要素を、時間情報によって示される時刻の前後関係を考慮して決定してもよい。また、例えば、サービス制御部１１２は、ある時間情報に関連付けられたアクション情報に対応する表示要素を、当該時間情報によって示される時刻と現在時刻との関係を考慮して決定してもよい。このようなアクション情報のマップ表現のいくつかの例について、以下でさらに説明する。
　図１５は、本開示の一実施形態におけるアクション情報のマップ表現のいくつかの例を含む処理を示すフローチャートである。
　図示された例では、まず、センサデータ解析部１０４に含まれるアクション検出部１０６が、アクション区間を検出する（Ｓ３０１）。アクション区間は、例えば、上記で図２～図１３を参照して説明したような処理によって検出されるジャンプ区間および／またはターン区間を含んでもよい。また、アクション区間は、歩く、走る、静止する、乗り物で移動するなどといった、センサデータに基づいて検出されるその他のユーザのアクションが発生した区間を含んでもよい。
　次に、付加的な処理として、解析結果処理部１０７に含まれるスコアリング処理部１０９が、Ｓ３０１で検出されたアクション区間についてアクションスコアを算出する（Ｓ３０２）。さらに、アクション区間やアクションスコアに関するアクション情報と、ユーザＩＤ、位置情報、別途取得されたアクションの映像データなどを含むデータがアップロードされる（Ｓ３０３）。Ｓ３０３におけるアップロードは、例えば、センサデータ解析部１０４や解析結果処理部１０７の機能を実現するサーバから、サービス制御部１１２を実現するサーバへのアップロードであってもよい。あるいは、Ｓ３０３におけるアップロードは、センサデータ解析部１０４や解析結果処理部１０７の機能を実現する端末装置から、サービス制御部１１２を実現するサーバへのアップロードであってもよい。これらのサーバまたは端末装置が同じものである場合、アップロードは、例えば内部的なデータベースへの登録と読み替えられる。
　Ｓ３０３において、例えば個々のユーザに関して検出されたアクション区間およびアクションスコアのアップロードを受け付けたサービス制御部１１２は、付加的な処理として、当該ユーザのスキルレベルを算出する（Ｓ３０４）。スキルレベルは、例えば各ユーザについて算出されたアクションスコアの履歴に基づいて算出される。従って、図示された例において、サービス制御部１１２を実現するサーバでは、ユーザのアクションスコアの履歴を保持するデータベースが利用可能である。また、このサーバでは、ユーザのスキルレベルを保持するデータベースが利用可能であってもよく、Ｓ３０４でスキルレベルを算出したサービス制御部１１２は、スキルレベルのデータベースを更新してもよい。
　いくつかの例において、サービス制御部１１２は、Ｓ３０４までの処理の結果に基づいて、場所ＤＢを更新する（Ｓ３０５）。場所ＤＢは、例えばサービス制御部１１２を含む情報処理装置が利用可能なメモリまたはストレージ（ネットワークで接続された外部のストレージであってもよい）において実現され、サービス制御部１１２による情報の提供の対象になる地理的な領域内における場所の情報を格納する。場所ＤＢにおいて、アクション情報は場所を定義する空間情報に関連付けられる。ここでいう場所は、例えばマップ上で定義される任意の場所であってもよいし、所定のサイズのグリッドであってもよいし、予め定義された離散的なスポットであってもよい。場所の定義は、例えば後述する場所情報の利用形態によっても異なる。以下、場所情報を利用した例についてさらに説明する。
　（４－１．マップ表現の例）
　例えば、サービス制御部１１２は、場所ＤＢにおいて空間情報に関連付けられたアクション情報を利用して、拡張されたマップ情報を作成する（Ｓ３０６）。さらに、サービス制御部１１２は、例えばユーザのリクエストに応じて、作成されたマップを描画する（Ｓ３０７）。マップでは、単一または複数のユーザについてのアクション情報に基づいて、それぞれの場所において最も高い頻度で発生しているアクションが場所の特性として表示される。ここで、サービス制御部１１２は、拡張されたマップ情報の作成にあたり、アクション情報に関連付けられた時間情報を考慮する。
　図１６は、本開示の一実施形態におけるアクション情報のマップ表現の第１の例を示す図である。図示された例では、マップ画面１１００において、それぞれの場所で高い頻度で発生しているアクションを示すパターン１１０１（歩行を示すパターン１１０１ａ、電車に乗っていることを示すパターン１１０１ｂ、滞留を示すパターン１１０１ｃ、および買い物を示すパターン１１０１ｄ）と、それぞれのアクションのラベル１１０３（上記のパターン１１０１ａ～１１０１ｄに対応して、ラベル１１０３ａ～１１０３ｄ）と、属性選択１１０５とが表示されている。
　図示された例におけるマップ画面１１００では、パターン１１０１と、ラベル１１０３とによって、それぞれの場所で発生しているアクションを直感的に把握することができる。また、本例において、サービス制御部１１２は、マップ画面１１００を描画するためのマップ情報を作成するにあたり、時間情報によって示される時刻と基準時刻との関係を考慮する。例えば、サービス制御部１１２は、時間情報によって示される時刻が基準時刻から離れるほど、マップ表現におけるアクション情報の影響が小さくなるような制御を実施する。
　より具体的には、図１６に示された例では、アクション情報が、ユーザのアクションを複数のカテゴリのいずれかに分類するときの各カテゴリのスコアを含んでもよい（さらに具体的にいえば、スコアは、アクション検出部１０６において特定されたアクションのカテゴリについて１、他のカテゴリについて０であってもよいし、アクション検出部１０６が算出した各カテゴリのアクションの発生確率がスコアとして扱われてもよい）。このような場合、サービス制御部１１２は、共通の空間情報（位置情報）に関連付けられたアクション情報に含まれるスコアに、時間情報によって示される時刻が現在時刻（マップ情報が生成される時刻）から離れるほど小さくなる重みをつけて足し合わせることによって、マップ画面１１００によるマップ表現において共通の空間情報に関連付けられる代表アクションのカテゴリを決定してもよい。
　つまり、サービス制御部１１２は、マップ画面１１００に含まれるそれぞれのグリッドについて、グリッド内の空間情報に関連付けられたアクション情報によって示される各カテゴリ（例えば、歩行、電車、滞留、買い物など）についてのスコアを、上記のような時間情報に基づく重みをつけて足し合わせる。その結果、最も高いスコアが算出されたカテゴリが、当該グリッドに関連付けられる代表アクションのカテゴリになる。マップ画面１１００に表示されているパターン１１０１およびラベル１１０３は、上記のようにして決定された代表のアクションのカテゴリに対応する。
　あるいは、サービス制御部１１２は、利用可能なアクション情報のうち、現在時刻との差が閾値を下回る時刻を示す時間情報に関連付けられたアクション情報に基づいて、マップ画面１１００内においてパターン１１０１やラベル１１０３を表示させてもよい。この場合、現在時刻と時間情報によって示される時刻との差に基づいて抽出されたアクション情報は、一様に扱われてもよいし、上記の例のように現在時刻と時間情報によって示される時刻との関係に応じてさらにスコアの重みづけなどの処理が実行されてもよい。
　上記のような構成によって、マップ画面１１００では、リアルタイムに発生しているアクションがパターン１１０１やラベル１１０３によって表示されやすくなり、期間限定のイベントや突発的なイベントなどで発生するユーザのアクションを適切に表現することができる。なお、現在時刻は、マップ情報が生成される時刻として自動的に決定されてもよいし、過去の任意の時刻が、現在時刻に代わる時刻としてユーザ操作などによって決定されてもよい。従って、本明細書中で説明される現在時刻は、マップ情報の生成の基準時刻と読み替えられてもよい。
　また、例えば、サービス制御部１１２は、マップ画面１１００内においてパターン１１０１やラベル１１０３を表示させるにあたり、現在時刻（マップ情報が生成される時刻）と共通する属性を有する時間情報に関連付けられたアクション情報、より具体的には例えば現在時刻と同じ時間帯や季節などに発生したアクションを示すアクション情報の、マップ表現における影響が大きくなるような制御を実施してもよい。上記の例と同様に、サービス制御部１１２は、アクション情報に含まれるスコアに、現在時刻との属性の共通性が高いほど大きくなる重みをつけてもよい。あるいは、サービス制御部１１２は、利用可能なアクション情報のうち、現在時刻との属性の共通性が閾値を上回る時間情報に関連付けられたアクション情報に基づいて、マップ画面１１００内においてパターン１１０１やラベル１１０３を表示させてもよい。
　より具体的には、サービス制御部１１２は、現在時刻と同じ時間帯（例えば朝、昼、夕方、夜など）に関連付けられたアクション情報を選択的に利用してマップ情報を生成してもよい。また、サービス制御部１１２は、現在と同じ季節（例えば春、夏、バケーションシーズンなど）に関連付けられたアクション情報を選択的に利用してマップ情報を生成してもよい。なお、時間帯や季節などは、次で説明する属性選択１１０５によって任意に選択可能であってもよい。つまり、属性選択１１０５は、アクション情報に関連付けられたユーザの属性を選択することには限られず、アクション情報に関連付けられた時間情報の属性を選択するために利用されてもよい。
　また、図示された例では、属性選択１１０５によって、パターン１１０１やラベル１１０３によってアクションを表示する対象になるユーザの属性を選択することが可能である。例えば、図示されているように、属性選択１１０５によってユーザの年代を選択することが可能であってもよい（２０代が選択されている）。この場合、サービス制御部１１２は、選択された属性を有するユーザのアクション情報によってマップ情報を生成する。他の例では、ユーザの他の属性、より具体的には性別や職業などが属性選択１１０５によって選択可能であってもよい。あるいは、サービス制御部１１２は、マップ情報を提供するユーザの属性などに応じて、マップ情報においてアクションを表示する対象になるユーザの属性を自動的に選択してもよい。
　図１７は、図１６に示す例において、マップ表現がリアルタイムで変化した例を示す図である。図示された例では、図１６に示した例と同様のマップ画面１１００ａにおいて、事故のために中央に表示された駅（ＳＴＡＴＩＯＮ）から先の鉄道（ＲＷＹ）の運行が中止された結果、マップ画面１１００ｂに示すように、パターン１１０１およびラベル１１０３によって表示されるアクションが変化している。より具体的には、鉄道（ＲＷＹ）に沿って表示されていた電車に乗っていることを示すパターン１１０１が表示されなくなり、代わりに他の場所（バス路線）に沿って、バスに乗っていることを示すパターン１１０１およびラベル１１０３が新たに表示されている。
　さらに、この場合、マップ画面１１００ｃに示すように、予め設定された、またはユーザが入力した条件１１０７に基づくルートナビゲーション１１０９が表示されてもよい。ルートナビゲーション１１０９は、例えばマップ画面１１００ｂに示されたような直近のユーザのアクション検出結果から、条件１１０７に合うようなアクションの組み合わせを抽出することによって表示される。より具体的には、図示された例のルートナビゲーション１１０９は、駅からの歩行と、滞留と、その後のバス乗車の組み合わせとして表示されている。サービス制御部１１２は、例えば図示された鉄道（ＲＷＹ）がユーザの移動予定ルート（事前に実行したルート検索の結果や、スケジュール、習慣的に移動するルートなどに基づいて判定されうる）に含まれているような場合に、そこでマップ画面１１００ｂに示されるように電車に乗っている他のユーザのアクションが検出されなくなったことに基づいて、自動的にマップ画面１１００ｃに示すようなルートナビゲーションを提供してもよい。
　図１８は、本開示の一実施形態におけるアクション情報のマップ表現の第２の例を示す図である。図示された例では、マップ画面１２００において、それぞれの場所で高い頻度で発生しているアクションを示すアイコン１２０１，１２０３，１２０５が表示されている。より具体的には、マップ画面１２００は、例えば屋外で開催される音楽フェスティバルの会場におけるアクションを示すものでありうる。また、アイコン１２０１，１２０３は会場に集まったユーザの盛り上がりを、アイコン１２０５は会場間のユーザの移動を、それぞれ示す。マップ画面１２００でも、アイコン１２０１，１２０３，１２０５によって、それぞれの場所で発生しているアクションを直観的に把握することができる。また、本例でも、サービス制御部１１２は、マップ画面１２００を描画するためのマップ情報を作成するにあたり、それぞれのアクション情報に関連付けられた時間情報を考慮する。
　より具体的には、例えば、サービス制御部１１２は、上記の第１の例と同様に、現在時刻（マップが生成される時刻）により近い時刻に発生したアクションがより強く反映されるように重みづけをしてもよい。あるいは、サービス制御部１１２は、それぞれの場所でのアクションを特定するときに用いるアクション情報を、現在時刻から所定の範囲の時間に関連付けられた直近のものに限定してもよい。上記の通りマップ画面１２００は音楽フェスティバルの会場におけるアクションを示すため、フェスティバルの開催中に発生するアクションは他の時期に発生するアクションとは大きく異なりうる。このような場合、現在時刻により近い時刻に発生したアクションがより強くマップ情報に反映されることは有効である。
　また、例えば、サービス制御部１１２は、それぞれの場所でのアクションを特定するときに、現在時刻（マップ情報が生成される時刻）と共通する属性を有する時刻、より具体的には前回や前々回の音楽フェスティバルの開催中に発生したアクションがより強く反映されるように、アクション情報に重みづけをしてもよい。上記の第１の例と同様に、サービス制御部１１２は、時間帯や季節などによってさらにアクション情報を重みづけしてもよい。マップ画面１２００において属性選択のための要素は図示されていないが、第１の例における属性選択１１０５と同様の要素が表示され、表示するアクション情報に関連付けられた時間情報の属性やユーザの属性を選択することが可能であってもよい。
　さらに、マップ画面１２００の例では、それぞれの場所でのアクション（アイコン１２０１，１２０３，１２０５によって表示される）を特定するにあたり、アクション情報に関連付けられた時間情報によって示される時刻の前後関係が考慮されている。例えば、アイコン１２０５によって示されるユーザの移動は、一連のタイムスタンプにそれぞれ関連付けられた複数のアクション情報が、ユーザの移動経路に沿って変化する位置情報に関連付けられていることによって判定されてもよい。
　このとき、アクション情報に関連付けられた時間情報によって示される時刻の前後関係に基づいて、移動の向きが特定されうる。例えば、図１８に示された位置Ｐ１（第１の空間情報によって示される位置）に関連付けられた第１のアクション情報と、位置Ｐ２（第２の空間情報によって示される位置）に関連付けられた第２のアクション情報を想定する。この場合、第２のアクション情報に関連付けられた時間情報が第１のアクション情報に関連付けられた時間情報よりも後の時刻を示すときに、位置Ｐ１から位置Ｐ２へのユーザに移動が発生したことが判定される
　なお、移動の判定にあたっては、アクション情報自体も歩行や走行などの移動に伴って発生するアクションを示すことが条件とされてもよいし、アクション情報は滞留やジャンプなど他のアクションを示していてもよい。フェスティバル会場などではユーザの移動が緩慢である場合も多いため、上記の例のようにアクション情報に関連付けられた空間情報によって示される位置と、時間情報によって示される時刻の前後関係とに基づいてユーザの移動を検出することが適切である場合もありうる。
　また、マップ画面１２００の例では、それぞれの場所でのアクションを特定するにあたり、解析結果処理部１０７に含まれるスコアリング処理部１０９がアクション情報に基づいて算出したアクションスコアが利用されている。例えば、アイコン１２０１，１２０３はいずれも会場に集まったユーザの盛り上がりを示す。ユーザの盛り上がりは、例えば、会場にある程度の数のユーザが集まっていることによって検出される。このとき、スコアリング処理部１０９がジャンプのアクションスコアを算出し、サービス制御部１１２は、より活発にジャンプしているユーザが多い場合に大きな盛り上がりを示すアイコン１２０１を表示させてもよい。また、アクションスコアによって、控えめにジャンプしているユーザや、集まっているがジャンプしていないユーザが多いことが示される場合、サービス制御部１１２は、静かな盛り上がりを示すアイコン１２０３を表示させてもよい。また、ユーザの盛り上がりの検出には、上述した例のような加速度センサなどの検出値に基づくアクション検出だけではなく、ユーザに装着された生体センサによって検出される脈拍や発汗などの情報が利用されてもよい。さらに、本実施形態ではアクション情報が時間情報に関連付けられているため、集まっているユーザやジャンプをしているユーザが増えつつあるのか、減りつつあるのかに基づいて、瞬間的な盛り上がりの程度は同じであっても、これから盛り上がる会場と、既に盛り上がりのピークを過ぎた会場とを区別して表示することも可能である。
　本実施形態では、上記で図１６～図１８を参照して説明した２つの例について、既に述べた以外にもさまざまな変形例が可能である。例えば、アクションは、例示されたようなパターンやテキスト、アイコンには限らず、ヒートマップや、アバターを用いたアニメーションなどによってマップ上に表示されてもよい。また、図１８に示した例のようなアイコンの表示だけではなく、図１６および図１７に示した例におけるパターンの濃さやテキストのフォントなどにも、アクションスコアが反映されてもよい。また、マップ上に表示されるアクションは、予め与えられたカテゴリに分類されてもよいし、解析結果処理部１０７に含まれるクラスタリング処理部１０８によるクラスタリングの結果に従って分類されてもよい。
　また、上記の例は、図１６～図１８に示したような市街地やフェスティバル会場の例には限られず、さまざまな場所のマップに適用可能である。例えば、花火大会の場合、会場への移動手段（徒歩、自転車など）や、会場での過ごし方（立っている、座っている、食事をしているなど）を示すマップを提供することができる。また、例えば、スキー場（terrain　park）の場合、滑っているユーザが多いことに基づいて斜面が混雑していることを表示したり、リフトの待ち時間が長い（リフトに乗るアクションの前に、滞留のアクションが長い時間検出される場合など）ことを表示したり、ジャンプしているユーザが多いことに基づいて雪でできた凹凸（日ごとに変化するため、直近のアクションに基づくマップ表示が有効）の存在を表示したりすることができる。また、滞空時間が長いジャンプを通常のジャンプとは別に検出し、そのようなジャンプが多く検出されているスキー場を、上級者向けの施設として特定してもよい。この場合、施設の特定にあたってユーザのスキルレベルが考慮されてもよい。
　（４－２．安全マップの生成）
　再び図１５を参照して、例えば、サービス制御部１１２は、場所ＤＢにおいて空間情報に関連付けられたアクション情報を利用して、場所ごとの安全度および／または危険度を算出する（Ｓ３０８）。さらに、サービス制御部１１２は、算出された安全度および／または危険度に基づいて安全マップＤＢを更新し（Ｓ３０９）、さらに例えばユーザのリクエストに応じて、安全マップＤＢの内容に基づく安全マップを描画する（Ｓ３１０）。
　ここで、安全度および／または危険度は、例えばスキーやスノーボードのコースや、ランニングコースなどのように、特定のスポーツが実施されるコース上の場所について算出されてもよい。より具体的には、例えば、スキーやスノーボードで転倒のアクションが多く検出されている場所について、危険度が高いと判定されてもよい。このとき、転倒のアクションに関連付けられたユーザのスキルレベルが考慮されてもよい。同様に、スキーやスノーボードで成功したアクションが多く検出されている場所について、安全度が高いと判定されてもよい。このときも、成功したアクションに関連付けられたユーザのスキルレベルが考慮されてもよい。
　例えば、スキーやスノーボードの場合、スキルレベルの高いユーザの転倒が発生している場所は、危険度が高いと推定される。一方、スキルレベルの低いユーザの転倒は発生しているものの、スキルレベルの高いユーザの転倒が発生していない場所は、スキルレベルの高いユーザにとっては危険度が低いと推定される。また、スキルレベルの低いユーザでも転倒せず、ジャンプやターンを成功させていることが検出される場所や、危険度が低い、または安全度が高いと推定される。
　ここで、上述の通り、スキルレベルは、センサデータの解析結果に対する付加的な処理として、サービス制御部１１２によってアクションスコアに基づいて算出されうる。アクションスコアは、解析結果処理部１０７に含まれるスコアリング処理部１０９によって算出されうる。従って、本実施形態において、安全マップの作成にあたってアクションを実行したユーザのスキルレベルを考慮する場合、サービス制御部１１２は、アクション情報に含まれる、アクションのスコアに関する情報をさらに考慮しているともいえる。
　また、例えば、ランニングの場合、ユーザに装着された生体センサによって検出される脈拍や発汗などの情報を付加的に利用して、危険度を推定することができる。より具体的には、アクション検出部１０６は、一定のテンポの走りをアクションとして検出してもよい。この場合、サービス制御部１１２は、ユーザが一定のテンポで走るアクションが、スピードダウンや歩きへの移行などを伴わずに急に終了し（ランニングが突然中断された）、同時に脈拍や発汗などの情報によってユーザの緊張状態が示された（ユーザが動揺した）場合に、ランニングコースにおいて危険な事象が発生した（例えば、自動車、自転車、他のランナーなどと接触しそうになった）と推定することができる。サービス制御部１１２は、このようにして検出される危険な事象が多発する場所について、危険度が高いと推定することができる。同様にして、スポーツに限らず、ドライブルートや歩行ルート上の安全度および／または危険度が算出されてもよい。
　例えばスキーやスノーボードの場合、コース内の危険度または安全度は、気温や天候などの気象条件によって刻々と変化する。例えば、コース内の同じ場所でも、前日には安全であったものが危険である場合もあるし、朝には危険であったものが昼に気温が上がったことによって危険ではなくなる場合もある。同様に、ランニングコースやドライブコースでも、気象条件や交通状況などによって危険度または安全度は刻々と変化しうる。このため、安全マップを生成する本例でも、例えば上記で図１６～図１８を参照して説明した例のように、現在時刻により近い時刻に発生したアクションがより強くマップ情報に反映されることは有効である。
　図１９は、本開示の一実施形態における安全マップ生成の例を示す図である。図１９には、例えばスキーやスノーボードのコースのように、危険度または安全度が連続的に分布する場合に、限られた場所で検出されたアクションからコース全体の危険度または安全度を推定する方法の例が示されている。図中で、Ｒ１，Ｒ２は転倒が発生した位置を、Ｓ１はアクションが成功した位置を、Ｘは危険度または安全度を算出する対象になる任意の位置を、それぞれ示す。以下、図示された例において安全マップを生成するための処理について、さらに説明する。
　まず、サービス制御部１１２は、位置Ｒ１，Ｒ２における危険度スコアＰＲ１，ＰＲ２と、位置Ｓ１における安全度スコアＰＳ１とを、例えば以下の式１～式３によって算出する。
Figure JPOXMLDOC01-appb-M000001
　ここで、ＷＬＶは、転倒または成功したアクションに関連付けられたユーザのスキルレベルに対応する重みづけ係数である。危険度スコアＰＲ１，ＰＲ２（アクションのネガティブな評価）では、ＷＬＶがかけ合わされるため、ユーザのスキルレベルが高いほどスコアが上方修正される。一方、安全度スコアＰＳ１（アクションのポジティブな評価）では、ＷＬＶの逆数がかけ合わされるため、ユーザのスキルレベルが高いほどスコアが下方修正される。ＰｏｗｅｒＲ１，ＰｏｗｅｒＲ２は、転倒時に検出された衝撃の強さである。この例では、衝撃の強さが、転倒のアクションスコアに対応するものとして扱われている。ＳｃｏｒｅＳ１は、成功したアクション（例えばジャンプやターン）について算出されたアクションスコアである。
　また、ＷＲおよびＷＳは、危険度スコアに対応するアクション（例えば転倒）と、安全度スコアに対応するアクション（例えば成功したジャンプやターン）について、それぞれ設定される重みづけ係数である。ｔＰＡＳＳ＿Ｒ１，ｔＰＡＳＳ＿Ｒ２，ｔＰＡＳＳ＿Ｓ１は、それぞれのアクションが発生してから安全マップの生成時（例えば現在時刻）までの経過時間である。ＰＲ１，ＰＲ２，ＰＳ１のそれぞれでこれらの時間の逆数がかけ合わされていることからわかるように、本例では、アクションが発生してから時間が経過するほど、当該アクションが安全度スコアおよび危険度スコアに及ぼす影響は小さくなる。なお、図示された例では、安全度スコアおよび危険度スコアが経過時間に反比例することとしているが、スコアは経過時間を含む任意の関数に反比例することとしてもよい。
　次に、サービス制御部１１２は、算出された危険度スコアおよび安全度スコアを、式４に示すように位置Ｒ１，Ｒ２，Ｓ１のそれぞれから算出対象の位置Ｘまでの距離に応じて平均した上で足し合わせ、位置ＸのスコアＰＸを算出する。
Figure JPOXMLDOC01-appb-M000002
　ここで、ＤＲ１，ＤＲ２，ＤＳ１は、図１９に示されているように、位置Ｒ１，Ｒ２，Ｓ１から位置Ｘまでの距離である。上記の例におけるスコアＰＸの算出にあたっては、安全度スコアがプラス、危険度スコアがマイナスとして足し合わされる。なお、図示された例では、足し合わされる安全度スコアおよび危険度スコアの大きさが距離に反比例して小さくなるが、スコアは距離を含む任意の関数に反比例して小さくなってもよい。この場合、スコアＰＸがプラスの値であれば位置Ｘは相対的に安全であり、スコアＰＸがマイナスの値であれば位置Ｘは相対的に危険であるという判断が可能になるように、上記の重みづけ係数ＷＲおよびＷＳの値を調整してもよい。
　なお、上記の式４に示すようなスコアＰＸの算出は、転倒が発生した位置Ｒ１～Ｒｍ（ｍ＝１，２，…）、およびアクションが成功した位置Ｓ１～Ｓｎ（ｎ＝１，２，…）がある場合に、以下の式５のように一般化することができる。式５の場合において、位置Ｘでは安全度スコアまたは危険度スコアが与えられるようなアクションが発生していない（位置Ｘを示す空間情報はアクション情報に関連付けられていない）とすると、位置Ｘを示す空間情報に関連付けられるアクション情報は、安全度スコアまたは危険度スコアが与えられるようなアクションが発生した位置ＳｋまたはＲｊ（アクション情報に関連付けられた空間情報によって示される位置）と位置Ｘとの間の距離に基づいて推定されているといえる。
Figure JPOXMLDOC01-appb-M000003
　例えば、上記のような安全マップの生成をスキー場で実施する場合、最新のアクション情報に基づいてマップを生成することによって、斜面における環境変化を安全マップに反映させることができる。また、安全マップを参照するユーザのスキルレベルに応じて危険度スコアおよび安全度スコアを算出してもよい。この場合、例えば上述したユーザのスキルレベルに対応する重みづけ係数ＷＬＶを、安全マップを参照するユーザのスキルレベルに応じて変動させてもよい（例えば、係数ＷＬＶは、アクションを実行したユーザのスキルレベルが安全マップを参照するユーザのスキルレベルと同程度であった場合に１になるように設定されてもよい）。
　このような構成によって、例えば、時間帯や気候などの環境状態とユーザごとのスキルレベルに合わせた安全マップを作成し、それぞれのユーザが安全に滑降できるコースを提示することができる。例えば、朝にはアイスバーンが発生してスキルレベルの高いユーザ（上級ユーザ）でも転倒していた場所が、昼にはさらに雪が降り積もることによってスキルレベルの低いユーザ（初級ユーザ）でも安全に滑れるようになっているような場合を考える。本実施形態では、このような場所を含むコースを、朝のうちには少なくとも初級ユーザには安全なコースとしては提示しない一方で、昼からは初級ユーザにも安全なコースとして提示することが可能である。
　上記の例で説明されたような安全マップは、必ずしもスキーなどのスポーツのコースで生成されるとは限らず、例えば日常生活において生成されてもよい。より具体的には、例えば、雨や雪のために路面の状態が悪い道路がある場合に、そのような道路（例えば、実際に他のユーザの転倒などが発生していることによって危険と判定される）を避けて安全に目的地まで移動するためのルートと、危険を承知で、最短距離で目的地まで移動できる可能性のあるルートとが検索可能であってもよい。
　また、上記の例における安全と危険という基準は、他のポジティブ／ネガティブな基準、具体的には例えば快適と不快という基準に置き換えられてもよい。このような例として、例えば、電車移動の場合に、車内の混雑が検出された場合にこれを不快なアクションとして捉え、そのような混雑した路線を避けて快適に目的地まで移動するためのルートと、混雑があっても最短時間で目的地まで移動できるルートが検索可能であってもよい。
　（４－３．ナビゲーションの提供）
　再び図１５を参照して、例えば、サービス制御部１１２は、場所ＤＢにおいて空間情報に関連付けられたアクション情報を利用して、他のユーザの過去のアクション履歴に基づくナビゲーションを提供してもよい。より具体的には、サービス制御部１１２は、ある時点までに検出された第１のユーザのアクション履歴について、他のユーザ（第２のユーザ）の過去のアクション履歴との空間情報に基づくマッチングを実施する（Ｓ３１１）。例えば、このマッチングでは、第１のユーザのある時点までの移動ルートと同様の移動ルートと共に検出された第２のユーザのアクション履歴が抽出されうる。このとき、アクション履歴は、関連付けられたユーザのスキルレベルを考慮して抽出されてもよい。また、アクション履歴は、過去に検出された第１のユーザ自身のアクション履歴を考慮して抽出されてもよい。サービス制御部１１２は、第１のユーザのアクション履歴と第２のユーザのアクション履歴とを、共起確率と遷移確率とを考慮してマッチングしてもよい。サービス制御部１１２は、抽出されたアクション履歴に基づいてルートを計算し（Ｓ３１２）、第１のユーザにナビゲーションを提示する（Ｓ３１３）。
　図２０は、本開示の一実施形態におけるスキルレベルおよびアクション履歴を考慮したナビゲーションの例について説明するための図である。図２０には、スキー場における（Ａ）～（Ｃ）の３種類のナビゲーションの例が示されている。例えば、第１のユーザがスキー場に到着し、Ａリフトに乗車しているとする。このとき、第１のユーザが、スキルレベルが低い初級ユーザである場合、サービス制御部１１２は、図示された（Ａ）のルートを提示する。（Ａ）のルートは、例えば同じく初級ユーザである第２のユーザの過去のアクション履歴に基づいて抽出されるルートであり、Ｂコースの滑降を含む。
　その後、第１のユーザが実際にＢコースを滑降し、ターンやジャンプなどのアクションを実行したとする。ここで、それぞれのアクションのアクションスコアが高くなかったり、失敗（転倒など）が検出されたりした場合、サービス制御部１１２は、次も繰り返してＢコースの滑降を含む（Ａ）のルートを第１のユーザに提示する。第１のユーザが実際にＢコースを滑降したときに実行したターンやジャンプなどのアクションのスコアが高く、失敗（転倒など）も検出されなかった場合、サービス制御部１１２は、再びＡリフトに乗車した第１のユーザに対して、スキルレベルが高い中級ユーザである第２のユーザの過去のアクションに基づいて抽出された（Ｂ）または（Ｃ）のルートを提示する。これらのルートには、Ｄコースの滑降が含まれる。
　ここで、例えば、第１のユーザがＢコースを滑降したときのアクションスコアが、特にターンについて高かった場合、サービス制御部１１２は、Ｄコースの中でもターンが多く発生した場所を通過するコース内のナビゲーションを含む（Ｂ）のルートを提示する。また、第１のユーザのアクションスコアが、特にジャンプについて高かった場合、サービス制御部１１２は、Ｄコースの中でもジャンプが多く発生した場所を通過するコース内のナビゲーションを含む（Ｃ）のルートを提示する。（Ｂ）および（Ｃ）で提供されるコース内のナビゲーションは、例えば、過去にＤコースを滑降したユーザの中で、特にターンを多く実行したユーザと、特にジャンプを多く実行したユーザとが滑降したルートに基づいて提供される。なお、第１のユーザが（Ｂ）または（Ｃ）のルートの提示に従って実際にＤコースを滑降したときに実行したターンやジャンプなどのアクションにおいて失敗（転倒など）が検出されたような場合、サービス制御部１１２は、再び第１のユーザに対して（Ａ）のルートを提示してもよい。
　なお、上記の例において、第１のユーザが、スキルレベルが高い中級ユーザである場合、サービス制御部１１２は、最初から（Ｂ）または（Ｃ）のルートを第１のユーザに提示してもよい。この場合、ターンを多く実行するのに適した（Ｂ）のルートを提示するか、ジャンプを多く実行するのに適した（Ｃ）のルートを提示するかは、第１のユーザの過去のアクション履歴（位置情報には関わらない）において実行されたアクションにおけるターンとジャンプとの割合、またはアクション履歴におけるターンとアクションとのそれぞれのアクションスコアに基づいて判定されうる。
　上記のようなナビゲーションを提供するための処理は、以下のように説明することもできる。上記の例において、サービス制御部１１２によって取得されるアクション情報は、空間情報の第１の系列（スキー場に到着してから、Ａリフトに乗車するまでのルートに対応する）に関連付けられた第１のアクション情報系列（第１のユーザのアクションに対応する）と、空間情報の第２の系列（（Ａ）、（Ｂ）、または（Ｃ）のルート）に関連付けられた第２のアクション情報系列（第２のユーザのアクションに対応する）とを含む。第２のアクション情報系列は、第１のアクション情報系列よりも前の時刻を示す時間情報に関連付けられている。このとき、サービス制御部１１２は、空間情報の第１の系列によって示される第１の移動経路が空間情報の第２の系列によって示される第２の移動経路に部分的に（スキー場に到着してから、Ａリフトに乗車するまでの部分で）一致することに基づいて、第２の移動経路の残りの部分（Ａリフトを降りた後の部分）を示す空間情報の第２の系列に関連付けられた第２のアクション情報系列に基づいて、第１のアクション系列に対応付けられたユーザ（第１のユーザ）へのナビゲーションを提供する。
　以上で説明したような構成によって、本実施形態では、例えば現在地から目的地までの最短経路をダイクストラ法などによって検出するナビゲーションとは異なり、他のユーザがどのようなルートを選択し、そこでどのようなアクションが発生したかに基づいてナビゲーションが提供される。従って、本実施形態では、同じ場所でユーザに提供されるナビゲーションでも、目的によって異なるルートを提示することが可能になる。
　スキー場以外の例として、山から下るルートを提示する場合に、第１のユーザが歩いて下っている（ハイキングしている）場合には、過去に歩いて山を下った第２のユーザのアクション履歴に基づくナビゲーションを提供し、第１のユーザが走って下っている（トレイルランしている）場合には、過去に走って山を下った第２のユーザのアクション履歴に基づくナビゲーションを提供することができる。また、第１のユーザが実際にそれまで実行したアクションの履歴には限らず、第１のユーザのスキルレベルを含む属性や嗜好に基づいて、第２のユーザのアクション履歴を検索するときの条件が設定されてもよい。さらに、時間帯や季節、天候などの条件が合致している第２のユーザのアクション履歴が検出されやすいように重みづけなどを設定することによって、第１のユーザの現在の状況に適合したナビゲーションを提供できる可能性が高くなる。
　（４－４．アクション検出設定の変更）
　再び図１５を参照して、例えば、サービス制御部１１２は、場所ＤＢにおいて空間情報に関連付けられたアクション情報を利用して、アクション検出のための設定を変更してもよい。より具体的には、サービス制御部１１２は、場所ＤＢに格納された情報から、空間情報によって示される位置ごとのアクション検出傾向を抽出する（Ｓ３１４）。抽出されたアクション検出傾向に応じて、サービス制御部１１２は、アクションを検出するための設定を調整する。より具体的には、サービス制御部１１２は、例えばセンサデータ解析部１０４に含まれるアクション検出部１０６が参照するパラメータテーブルを更新する（Ｓ３１５）。
　図２１および図２２は、本開示の一実施形態におけるアクション検出設定の変更の例について説明するための図である。（Ａ）は、図示された道路１３０１の領域におけるアクション検出設定の変更の例である。この例では、場所ＤＢにおいて道路１３０１の領域を示す空間情報に関連付けられたアクション情報の多くが「ドライブ」を示すことから、時折検出される「ジャンプ」を誤検出であるものと推定し、この領域におけるアクション種類ごとの発生確率のパラメータの設定において「ジャンプ」の確率を下げ、「ドライブ」の確率を上げている。これによって、道路１３０１の領域では、例えば「ジャンプ」か「ドライブ」かが紛らわしいアクションについては「ドライブ」と判定される確率が高くなり、結果的に誤検出である「ジャンプ」が検出される確率が下がる。
　（Ｂ）は、図示された領域１３０３におけるアクション検出設定の変更の例である。領域１３０３にはナイトクラブがあり、提供される音楽に興じたユーザによる鉛直方向で持続時間の短いジャンプが連続して検出される傾向がある。この場合、持続時間ごとのジャンプの検出確率について、持続時間が短いジャンプの検出確率を上げてもよい。これによって、ジャンプが確実に検出されるようになり、例えばジャンプの頻度やジャンプしているユーザの数などによって、ナイトクラブの盛り上がりをマップ上に表現することができる（この例は、例えば図１８に示した音楽フェスティバルの例にも同じように適用できる）。
　（Ｃ）は、スキー場のコース内に設けられたキッカー１３０５の場所におけるアクション検出設定の変更の例である。このようなキッカーでは、アクションとして回転を含むジャンプが検出される傾向がある。例えばスノーボードのジャンプには、通常時には発生しないような大きな回転（例えば３６０度を超える）がしばしば伴われる。そこで、キッカー１３０５の場所が予め与えられていたり、アクションの検出結果（スノーボードで滑降中のジャンプが多く検出されている）に基づいてキッカー１３０５の存在が推定されていたりする場合には、アクション検出において検出可能な回転量の範囲を拡大し（例えば、通常時には３６０度が上限のところを、７２０度や１０８０度を含む範囲まで拡大してもよい）、その上でジャンプの検出確率を上げてもよい。
　（４－５．施設レベルの算出）
　再び図１５を参照して、例えば、サービス制御部１１２は、Ｓ３０３でアップロードされたデータに含まれる位置情報から、アクションが検出された施設のＩＤを検索し（Ｓ３１６）、当該施設において検出されたアクションのアクションスコアと、それぞれのアクションを実行したユーザのスキルレベルとの分布に基づいて施設レベルを算出し（Ｓ３１７）、施設レベルの情報を含む施設データを提供する（Ｓ３１８）。
　施設レベルの算出にあたっては、例えば、スキルレベルに関係なく多くのユーザについてスコアの高いアクションが検出されている施設には、低いレベル（難易度が低いことを示す）が与えられてもよい。一方、スキルレベルの高いユーザだけについてスコアの高いアクションが検出されている施設には、高いレベル（難易度が高いことを示す）が与えられてもよい。また、転倒などのアクション（試みたアクションに失敗したことを示す）が検出されたことも、施設レベルに反映されてもよい。上記のような難易度を示すレベルに限らず、アクションが検出されたユーザの数に応じて人気度を示すレベルを算出することも可能である。
　なお、施設は、例えばコースやコート、フィールドなど、アクションが発生しているスポーツの種類によって様々な形態でありうる。また、スキーの例でいえば、複数のコースを含むパークや、コース内の特定のジャンプ台などのように、様々な単位で施設を定義することができる。他のスポーツについても同様に、様々な単位で施設が定義されうる。また、図示された例では、位置情報に基づいて施設のＩＤを検索することとしているが、サービス制御部１１２は、場所ＤＢを参照して、アクション情報に関連付けられた空間情報から施設のＩＤを特定してもよい。
　（５．ハードウェア構成）
　次に、図２３を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図２３は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
　情報処理装置９００は、ＣＰＵ（Central　Processing　unit）９０１、ＲＯＭ（Read　Only　Memory）９０３、およびＲＡＭ（Random　Access　Memory）９０５を含む。また、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置９００は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital　Signal　Processor）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、またはＦＰＧＡ（Field-Programmable　Gate　Array）などの処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral　Component　Interconnect/Interface）バスなどの外部バス９１１に接続されている。
　入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。
　出力装置９１７は、取得した情報をユーザに対して視覚や聴覚、触覚などの感覚を用いて通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Liquid　Crystal　Display）または有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカまたはヘッドフォンなどの音声出力装置、もしくはバイブレータなどでありうる。出力装置９１７は、情報処理装置９００の処理により得られた結果を、テキストもしくは画像などの映像、音声もしくは音響などの音声、またはバイブレーションなどとして出力する。
　ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard　Disk　Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。ストレージ装置９１９は、例えばＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
　ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。
　接続ポート９２３は、機器を情報処理装置９００に接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Universal　Serial　Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small　Computer　System　Interface）ポートなどでありうる。また、接続ポート９２３は、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００と外部接続機器９２９との間で各種のデータが交換されうる。
　通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線のＬＡＮ（Local　Area　Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）、またはＷＵＳＢ（Wireless　USB）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric　Digital　Subscriber　Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などを含みうる。
　撮像装置９３３は、例えば、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）またはＣＣＤ（Charge　Coupled　Device）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
　センサ９３５は、例えば、加速度センサ、角速度センサ、地磁気センサ、照度センサ、温度センサ、気圧センサ、圧力センサ、距離センサ、または音センサ（マイクロフォン）などの各種のセンサである。センサ９３５は、例えば情報処理装置９００の筐体の姿勢など、情報処理装置９００自体の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音など、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＮＳＳ（Global　Navigation　Satellite　System）信号を受信して装置の緯度、経度および高度を測定するＧＮＳＳ受信機を含んでもよい。
　以上、情報処理装置９００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
　（６．補足）
　本開示の実施形態は、例えば、上記で説明したような情報処理装置、システム、情報処理装置またはシステムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
　（７．機器制御の例）
　以下、本開示の一実施形態に含まれる機器制御のいくつかの例について説明する。
　（７－１．第１の例）
　図２４は、本開示の一実施形態に含まれる機器制御の第１の例における処理を示すフローチャートである。本例では、アクション（より具体的にはジャンプ）の検出結果に基づいて、アクションを捉えた画像または映像の撮影が実行される。本例で検出されるアクションは、ユーザの一連の状態（例えばスノーボードの滑走）の中で発生するアクションであり、サービス制御部１１２は、アクションが検出されている区間に対応する第１の区間と、そうでない第２の区間との間で異なる機器の制御を実施する。より具体的には、サービス制御部は、第１の区間では撮影された映像または画像を記録し、第２の区間では映像または画像を記録しないように機器を制御する。サービス制御部は、例えば、第１の区間では撮影された映像または画像を特定するように機器を制御して、第１の区間では撮影された映像または画像を記録するように機器を制御する。
　図示された例では、まず、センサデータ解析部１０４に含まれるアクション検出部１０６が、ジャンプの踏み切りを検出する（Ｓ３０１）。踏み切りが検出された場合、サービス制御部１１２は、センサデバイスとペアリングされたデジタルビデオカメラなどの撮像装置による連続的な撮影を実行する（Ｓ３０３）。なお、連続的な撮影は、例えば連続した静止画像の撮影であってもよく、映像の撮影であってもよい。アクション検出部１０６がジャンプの着地を検出する（Ｓ３０５）まで撮影は継続される。
　より具体的な処理として、アクション検出部１０６は、例えば図２や図６に示したようなジャンプ検出処理をリアルタイムで実行する。サービス制御部１１２は、アクション（ジャンプ）の撮影を継続的に実行し、所定の時間（ジャンプの持続時間よりも長い）に撮影された画像または映像をバッファするように撮像装置を制御している。アクション検出部１０６によってジャンプ区間が検出された場合、サービス制御部１１２は、ジャンプ区間の始点（踏み切り）から終点（着地）までに撮影された画像または映像を記録するように、撮像装置を制御する。このようなバッファを利用した制御を実施する場合、踏み切りよりも少し前から画像または映像の記録を開始することも可能である。同様に、着地の少し後まで画像または映像の記録を継続してもよい。
　以下の例でも同様に、アクション検出部１０６によってアクションが検出されている区間に対応する第１の区間は、必ずしもアクション区間とは厳密に一致せず、例えば上記の例のようにアクション区間の前後を含んでもよいし、アクション区間と対応しているものの、時間軸上ではずれた区間であってもよい。
　図２５は、本開示の一実施形態に含まれる機器制御の第１の例で撮影される画像または映像についてさらに説明するための図である。図示された例では、アクション検出部１０６によって検出されたジャンプの踏み切りから着地までの間に、静止画像Ｐ１～Ｐ８が撮影されている。このようにして撮影された画像を合成することによって、例えば図示されているような連続写真を得ることもできる。
　付加的な構成として、センサデータから抽出されるユーザの高度情報が利用可能である場合、ジャンプ中のユーザの高度に基づいて撮影を制御することが可能である。より具体的には、サービス制御部１１２は、ユーザの高度のピーク（ジャンプの頂点）で静止画像が撮影されるように、撮像装置を制御してもよい。より具体的には、サービス制御部１１２は、撮像装置が連続的に撮影しているフレーム画像の中から、ジャンプの頂点で撮影された画像（静止画像Ｐ５）を基準にして、所定の間隔で静止画像を抽出してもよい。なお、高度情報は、例えば気圧センサによって検出された気圧や、ＲＴＫ－ＧＰＳ（Real　Time　Kinematic-Global　Positioning　System）によって取得される情報などから抽出されうる。気圧を利用する場合、ジャンプの頂点は、上記のように高度が最大になる時点として検出されてもよいし、気圧が上がり始める時点として検出されてもよい。
　（７－２．第２の例）
　図２６は、本開示の一実施形態に含まれる機器制御の第２の例について説明するための図である。図示された例では、アクション（より具体的にはジャンプ）の検出結果に基づいて、アクションを捉えた映像の圧縮率が制御される。本例で検出されるアクションは、ユーザの一連の状態（例えばスノーボードの滑走）の中で発生するアクションであり、サービス制御部１１２は、アクションが検出されている区間に対応する第１の区間と、そうでない第２の区間との間で異なる機器の制御を実施する。
　図示された例において、サービス制御部１１２は、アクション検出部１０６がジャンプ区間を検出した場合、この区間（ジャンプ動作）ではその前後の区間（通常状態）とは異なる圧縮率で映像が記録されるように、センサデバイスとペアリングされたデジタルビデオカメラなどの撮像装置を制御する。これによって、ジャンプ動作中は、通常状態よりも低い圧縮率で映像が記録される。ジャンプ区間に限って圧縮率を低くすることで、映像全体としてのデータサイズを抑制しつつ、映像のハイライトになりうるジャンプ区間の画質を向上させることができる。さらに、サービス制御部１１２は、ジャンプ区間に含まれる踏み切り動作および着地動作の区間と、滞空状態の区間とで、異なる圧縮率を設定してもよい。この場合、図示されているように、サービス制御部１１２は、踏み切り動作および着地動作の区間で、一時的に圧縮率をさらに低くしてもよい。
　より具体的な処理として、アクション検出部１０６は、例えば図２や図６に示したようなジャンプ検出処理をリアルタイムで実行する。サービス制御部１１２は、アクション（ジャンプ）の撮影を継続的に実行し、所定の時間（ジャンプの持続時間よりも長い）に撮影された映像を、無圧縮または低圧縮の状態でバッファするように撮像装置を制御している。アクション検出部１０６によってジャンプ区間が検出された場合、サービス制御部１１２は、ジャンプ区間の始点（踏み切り）から終点（着地）までの映像を低い圧縮率で記録し、それ以外の区間（通常状態）の映像を高い圧縮率で記録するように、撮像装置を制御する。さらに、サービス制御部１１２は、ジャンプ区間の開始直後と終了直前の所定の長さの区間を踏み切り動作および着地動作の区間として、この区間でさらに低い圧縮率で映像を記録させてもよい。あるいは、アクション検出部１０６が例えば図３に示したようなハイインパクト検出処理を実行し、そこで検出されたハイインパクト区間が、ジャンプ区間に含まれる踏み切り動作および着地動作の区間として扱われてもよい。
　図２７も、本開示の一実施形態に含まれる機器制御の第２の例について説明するための図である。図示された例では、アクション（具体的にはジャンプ）の検出結果に基づいて、アクションを捉えた映像のフレームレートまたはサイズが制御される。
　図示された例において、サービス制御部１１２は、アクション検出部１０６がジャンプ区間を検出した場合、この区間（ジャンプ動作）ではその前後の区間（通常状態）と異なるフレームレート（ｆｐｓ）および／またはサイズで映像が記録されるように、センサデバイスとペアリングされたデジタルビデオカメラなどの撮像装置を制御する。ジャンプ動作中は、通常状態よりも高いフレームレート、または通常状態よりも大きいサイズで、映像が記録される。上記で図２６に示した例と同様に、ジャンプ区間に限ってフレームレートやサイズを大きくすることで、映像全体としてのデータサイズを抑制しつつ、映像のハイライトになりうるジャンプ区間の画質を向上させることができる。さらに、サービス制御部１１２は、ジャンプ区間に含まれる踏み切り動作および着地動作の区間と、滞空状態の区間とで、異なるフレームレートまたは画像サイズを設定してもよい。この場合、図示されているように、サービス制御部１１２は、踏み切り動作および着地動作の区間で、一時的にフレームレートまたはサイズをさらに大きくしてもよい。
　より具体的な処理として、アクション検出部１０６は、例えば図２や図６に示したようなジャンプ検出処理をリアルタイムで実行する。サービス制御部１１２は、アクション（ジャンプ）の撮影を継続的に実行し、所定の時間（ジャンプの持続時間よりも長い）に撮影された映像を、最大のフレームレートまたは最大の（オリジナルの）サイズでバッファするように撮像装置を制御している。アクション検出部１０６によってジャンプ区間が検出された場合、サービス制御部１１２は、ジャンプ区間の始点（踏み切り）から終点（着地）までの映像を高いフレームレートおよび／または大きいサイズで記録し、それ以外の区間（通常状態）の映像を低いフレームレートおよび／または小さいサイズで記録するように、撮像装置を制御する。さらに、サービス制御部１１２は、ジャンプ区間の開始直後と終了直前の所定の長さの区間を踏み切り動作および着地動作の区間として、この区間でさらに高いフレームレートおよび／またはさらに大きいサイズで映像を記録させてもよい。あるいは、アクション検出部１０６が図３に示したようなハイインパクト検出処理を実行し、そこで検出されたハイインパクト区間が、ジャンプ区間に含まれる踏み切り動作および着地動作の区間として扱われてもよい。
　他の例として、サービス制御部１１２は、上記のような圧縮率やフレームレート、サイズの制御と同様にして、映像に含まれる音声の集音レベルを制御してもよい。例えば、ジャンプ区間に含まれる踏み切りおよび着地の区間や、また、サービス制御部１１２は、ジャンプ区間に限らず、上記の図１０に示したようなターン検出処理で検出されたターン区間などについても、同様の制御を実施してもよい。検出されるアクション区間と、それに応じた制御の例を、以下の表１に示す。
Figure JPOXMLDOC01-appb-T000004
　また、さらに別の例として、サービス制御部１１２は、解析結果処理部１０７に含まれるスコアリング処理部１０９が算出したアクションスコアに基づいて、映像の品質を制御してもよい。より具体的には、例えば、サービス制御部１１２は、アクションスコアが高いアクションほど、低い圧縮率、高いフレームレート、大きい画像サイズ、および／または大きい集音レベルを設定してもよい。このとき、例えば、アクションスコアがアクション区間内で逐次変化するものである場合には、アクション区間内でもアクションスコアに応じて映像の品質を変化させてもよい。あるいは、そのような場合でも、同じアクション区間内では映像の品質を一定にしてもよい。
　（７－３．第３の例）
　図２８は、本開示の一実施形態に含まれる機器制御の第３の例について説明するための図である。図示された例では、アクション（具体的にはジャンプ）の検出結果に基づいて、センサデータの記録や、センサデバイスそのものが制御される。本例で検出されるアクションは、ユーザの一連の状態（例えばスノーボードの滑走）の中で発生するアクションであり、センサデバイス制御部１０３は、アクション検出部１０６がジャンプ区間を検出した場合、センサデバイスによって提供されるセンサデータ、またはセンサデバイスの制御について、この区間（ジャンプ動作）ではその前後の区間（通常状態）とは異なる制御を実施する。
　例えば、（ａ）に示すように、センサデバイス制御部１０３は、センサデータに含まれる加速度や角速度などのデータについて、ジャンプ動作中はセンサデータ解析部１０４での解析後に解析結果とともにデータを記録する一方で、通常状態では解析後にデータを破棄するように制御する。あるいは、（ｂ）に示すように、センサデバイス制御部１０３は、センサデータに含まれる加速度や角速度などのデータについて、センサデータ解析部１０４での解析後に解析結果とともにデータを記録するにあたり、ジャンプ動作中は高いサンプリングレートでデータを記録し、通常状態では低いサンプリングレートでデータを記録するように制御してもよい。
　さらに、上記の（ａ）または（ｂ）において、センサデバイス制御部１０３は、ジャンプ区間に含まれる踏み切り動作および着地動作の区間と、滞空状態の区間とで、異なるサンプリングレートでデータを記録してもよい。より具体的には、センサデバイス制御部１０３は、踏み切り動作および着地動作の区間において、より高いサンプリングレートでデータを記録してもよい。
　本実施形態において、センサデータに含まれる加速度データや角速度データは、センサデータ解析部１０４における解析に用いられる。解析後に解析結果とともにセンサデータを記録しておくことによって、例えばアクション画像の再生時にセンサデータに基づいて波形を表示させたり、事後的に再度解析を実施したりすることができる。しかしながら、例えば多くの種類のセンサデータを高いサンプリングレートで記録すると、センサデータのサイズが大きくなってしまう。そこで、本例では、情報の表示や再度の解析に用いられる可能性が高い、アクション区間（上記のジャンプ区間には限らず、ターン区間やその他の区間でもよい）で取得されたセンサデータに限って記録したり、アクション区間とそれ以外の区間では記録されるセンサデータのサンプリングデータを低くしたりすることによって、センサデータのサイズを抑制する。
　さらに、例えば、（ｃ）に示すように、センサデバイス制御部１０３は、センサデバイスに搭載されたＧＰＳ受信機などについて、通常状態ではスリープモードに設定し、ジャンプ動作中には起動するように、センサデバイスを制御してもよい。例えば、ＧＰＳ受信機の起動中に取得された位置情報は、センサデバイス制御部１０３を介して解析結果処理部１０７、またはサービス制御部１１２に提供される。あるいは、位置情報は、センサデータ解析部１０４に提供され、アクション区間の検出結果とともに検出区間情報保持部１１０に格納されてもよい。
　なお、例えば、アクション検出部１０６が図２または図６に示すようなジャンプ検出処理を実行する場合、ジャンプ区間が検出されるのは、ジャンプの着地よりも後になる。このような場合、センサデバイス制御部１０３は、ジャンプ区間が検出された時点でＧＰＳ受信機などのセンサを起動するようにセンサデバイスに制御信号を送信し、それから所定の時間、より具体的には例えば正確な位置情報を取得するのに十分な時間だけセンサを起動させた後、再びセンサをスリープモードに設定するようにセンサデバイスに制御信号を送信してもよい。この場合、ジャンプ区間の検出後にセンサが起動されていた区間が、アクションが検出されている区間に対応する区間になる（ジャンプ区間とセンサが起動されていた区間とは、必ずしも重なっていない）。
　例えば、解析結果処理部１０７がアクションに関する付加的な情報（アクションスコアやクラスタの情報など）を生成するにあたっては、アクションが発生した位置を細密に（例えば、アクション区間におけるユーザの軌跡が描けるほどに）特定する必要は必ずしもなく、例えばアクションが発生した施設が特定できる程度に位置が特定できればよい場合も多い。そのような場合には、上記のように、アクションの検出後にセンサを起動しても、情報の生成のために十分な情報を得ることができる。
　本実施形態において、位置情報は、センサデータ解析部１０４における解析には必ずしも用いられないが、解析結果処理部１０７における付加的な情報の生成や、サービス制御部１１２における情報の生成には用いられる場合がある。ここで、上記の通り、本実施形態において、解析結果処理部１０７やサービス制御部１１２は、図示された例におけるジャンプ区間のようなアクション区間について情報を生成する。従って、位置情報のような直接的にはアクション検出に関与しないセンサデータについては、センサデバイスでそのようなセンサデータを提供するセンサ自体をアクション区間に限って起動させることによって、例えばセンサデバイスの消費電力を節減してもよい。なお、このようなセンサデータについても、上記の（ａ）または（ｂ）の例と同様に、継続的に提供されるセンサデータをアクション区間に限って記録したり、センサデータを継続的に記録するにあたってアクション区間に限ってサンプリングレートを上げたりする制御が実施されてもよい。
　なお、（ａ）、（ｂ）、または（ｃ）のような制御の対象になるセンサデータの種類は上記の例には限られず、センサデバイスから提供されるセンサデータの種類や、アクションの検出に用いられるセンサデータの種類、付加的な情報の生成に用いられるセンサデータの種類などによって異なりうる。例えば、加速度または角速度についても、上記の（ｃ）のような制御が可能である場合もありうる。また、制御の対象は、例えば気圧や地磁気など、他のあらゆる種類のセンサデータを含みうる。
　（７－４．第４の例）
　図２９は、本開示の一実施形態に含まれる機器制御の第４の例について説明するための図である。図示された例では、アクション検出の直近の履歴を過去の履歴と比較することによって、適切な機器制御が実現される。
　図示された例では、センサデータ解析部１０４に含まれるアクション検出部１０６によって、滞在、ドライブ、歩行などを含む直近のアクション履歴Ｒが検出されている。そして、現時点（Ｎｏｗ）で、情報処理装置１００とペアリングされたデジタルカメラなどの撮像装置によって映像の記録が開始されている。ここで、サービス制御部１１２は、検出区間情報保持部１１０から、直近のアクション履歴Ｒに類似した過去のアクション履歴を検索する。検索は、例えば、映像の記録の開始前のアクション履歴であって、滞在とドライブの繰り返しの後に歩行が検出されている、といったような条件を用いて実行される。あるいは、ＨＭＭ（Hidden　Markov　Model）やｋ－ＮＮ（k-Nearest　Neighbor）法などのアルゴリズムを用いて、アクション履歴間の類似度が算出されてもよい。また、結果として検出されたアクションだけではなく、センサデータ、より具体的には位置情報や気圧（高度）などを付加的に利用することによって、類似判定の幅を広げてもよい。
　図示された例では、検索の結果、直近のアクション履歴Ｒに類似した過去のアクション履歴Ｐ１が発見された。そこで、サービス制御部１１２は、過去のアクション履歴Ｐ１で映像を記録したときの撮像装置の設定を読み出し（設定の情報は、例えば検出されたアクション区間の情報とともに検出区間情報保持部１１０に格納されている）、現時点（Ｎｏｗ）で映像の記録を開始した撮像装置に同様の設定を適用する。より具体的には、サービス制御部１１２は、読み出された設定情報に従って撮像装置を制御する。例えば、直近のアクション履歴Ｒと過去のアクション履歴Ｐ１とは、いずれも屋外でハイキングなどをしているときのアクション履歴でありうる。このような場合に適切な撮像装置の設定は、例えば図示された過去のアクション履歴Ｐ２（滞在が主体）が発生したときのように屋内で過ごしていた場合に適切であった設定とは異なりうる。本例において、サービス制御部１１２は、予めそのような状況の相違をアクション履歴に基づいて検出して自動的に撮像装置の設定を変更することによって、ユーザが最初から適切な設定で映像を記録することを可能にする。
　（７－５．第５の例）
　図３０および図３１は、本開示の一実施形態に含まれる機器制御の第５の例について説明するための図である。図示された例では、アクションの検出結果に基づいて、スノーボードをしているユーザが装着しているＨＭＤ（Head　Mounted　Display）における画像の表示が制御される。
　図３０に示されたＨＭＤの画面１１００ａでは、コミュニケーションウインドウ１１０１、および施設ナビゲーション１１０３が表示されている。これらの画像は、画面１１００ａにおいて、ユーザが視認する実空間の像に透過的に重畳されている。一方、図３１に示されたＨＭＤの画面１１００ｂでは、コース内の設備（図示された例ではキッカー）のガイド１１０５、およびコースナビゲーション１１０７が表示されている。
　本例において、サービス制御部１１２は、センサデータ解析部１０４に含まれるアクション検出部１０６によるユーザのアクションの検出結果に基づいて、例えば上記のような画面１１００ａ，１１００ｂを選択的にＨＭＤに表示させる。より具体的には、例えば、アクション検出部１０６が上述したようなジャンプ区間やターン区間を継続的に検出している場合、サービス制御部１１２はユーザがスノーボードで滑走中（注意力を要求される状況）であると判断して、画面１１００ｂのような、滑走中のユーザの状況に関連する情報を提示する。一方、アクション検出部１０６が所定の時間以上ジャンプ区間やターン区間を検出していない場合、サービス制御部１１２はユーザが滑走中ではない（移動中、または休憩中である）と判断して、画像１１００ａのような情報を提示する。
　例えば、画面１１００ａで提供されるような情報は、ユーザにとって有用ではあるものの、滑走中はユーザの注意をそらす可能性があるために提供することが適切ではない。ユーザは、滑走の開始時にはマニュアルでＨＭＤの表示をオフにしてもよいが、操作が面倒であったり、滑走の終了後に表示をオンにするのを忘れたりする可能性がある。それゆえ、本例のように自動的にＨＭＤに表示される情報が切り替えられることは有用である。サービス制御部１１２は、上記の例のように滑走中には滑走に適した情報を提供してもよいし、滑走中はＨＭＤに画像を表示せず、実質的に表示をオフにしてもよい。また、サービス制御部１１２は、滑走中にＨＭＤの表示が切り替えられることによって提供されなくなる情報を、音声またはバイブレーションでユーザに通知してもよい。
　他の例として、サービス制御部１１２は、アクションの検出結果に基づいて、ＨＭＤに限らず、さまざまな装置による情報の提示を制御してもよい。例えば、サービス制御部１１２は、アクションの検出結果に基づいてユーザが滑走中であると判断される場合には、ユーザの携帯電話の音声またはバイブレーションによる着信通知を抑制してもよい。なお、滑走中に限らず、アクションの検出結果に基づいてユーザがアクションに集中していると推定される場合には、同様の制御が可能でありうる。
　（７－６．第６の例）
　図３２は、本開示の一実施形態に含まれる機器制御の第６の例を概念的に説明するための図である。図３２を参照すると、スノーボードのコース１４２（施設の例）において、施設に設置されたカメラ１６１が、スノーボードで滑走しているユーザ１４３の映像を取得している。本例では、カメラ１６１が、複数のカメラ１６１ａ～１６１ｅを含む。カメラ１６１ａ～１６１ｅは、施設に設置されたカメラを含んでもよいし、ユーザやその友人などが所持しているスマートフォンやデジタルカメラなどを含んでもよい。これらのカメラによってそれぞれ取得された映像を組み合わせれば、アクションを実行中のユーザの自由視点映像が得られる。
　図３３は、本開示の一実施形態に含まれる情報出力の第６の例における処理を示すフローチャートである。図示された例では、まず、情報処理装置１００のセンサデバイス制御部１０３が、図３２に示したカメラ１６１として用いられる機器（デジタルカメラやスマートフォンなど。以下、カメラデバイスともいう）と、センサデバイスとの間のペアリングを実施する（Ｓ３６１）。ペアリングは、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮなどの通信手段によって実施される。なお、カメラデバイスは、ペアリングの時点でアクションが実行される予定地点に向けて配置されていてもよいし、ペアリングの後、アクションが実行されるまでに予定地点に向けて配置されてもよい。
　ペアリングの終了後、例えばセンサデバイスを起動したタイミングなどで、センサデバイス制御部１０３がそれぞれのカメラデバイスに同期信号を送信し（Ｓ３６２）、センサデバイスとそれぞれのカメラデバイスとの時刻（センサデータや映像データに与えられるタイムスタンプ）を同期させる。同期の完了後、センサデバイス制御部１０３は、それぞれのカメラデバイスに撮影開始信号を送信する（Ｓ３６３）。撮影開始信号を受信したカメラデバイスは、撮影による映像データの取得を開始する。
　撮影中に、センサデバイスによって提供されるセンサデータによってアクション検出部１０６がアクション区間を検出した場合（Ｓ３６４）、例えば検出区間情報保持部１１０にアクション情報が記録される（Ｓ３６５）。撮影の終了は、例えばユーザ操作によって決定されてもよいし、アクション区間が所定の時間以上検出されない場合やセンサデバイスがオフにされた場合などにセンサデバイス制御部１０３が自動的に撮影の終了を決定してもよい。撮影の終了が決定された場合、センサデバイス制御部１０３は、それぞれのカメラデバイスに撮影終了信号を送信する（Ｓ３６６）。撮影の終了後、それぞれのカメラデバイスは、取得した映像データを情報処理装置１００にアップロードする（Ｓ３６７）。
　Ｓ３６７のアップロード後、情報処理装置１００のサービス制御部１１２は、アクション検出部１０６が検出したアクション区間の情報に従って、アクション区間に対応する第１の区間（例えば、アクション区間の前後を含んでもよい）の映像を切り出す（Ｓ３６８）。さらに、サービス制御部１１２は、第１の区間について、それぞれのカメラデバイスから提供された映像データを用いて、自由視点映像を生成する（Ｓ３６９）。より具体的には、例えば、サービス制御部１１２は、それぞれのカメラデバイスから提供された映像データからポイントクラウドデータを生成する。なお、ポイントクラウドデータを用いる方法以外にも自由視点映像を提供するための手法は多くあり、サービス制御部１１２はそのような手法で自由視点映像を提供するためのデータを生成してもよい。自由視点映像を提供するための技術については、例えば特開２００７－１３３６６０号公報などに記載されている。
　図３４は、図３３に示した処理によって生成された自由視点映像を閲覧するためのユーザインターフェースについて説明するための図である。図示された例では、端末装置１４８（図示された例ではタブレットまたはスマートフォンのようなモバイルデバイス）のディスプレイ１４９に、自由視点映像１６３０が表示されている。ユーザは、例えばディスプレイ１４９上に設けられたタッチパネルなどを介した操作入力によって自由視点映像の視点を変更し、例えば図示されている映像１６３０ａ～映像１６３０ｅのような映像を、ディスプレイ１４９に表示させることが可能である。
　本例の変形として、自由視点映像に代えて、またはこれとともに、アクション区間の３次元オブジェクトデータが提供されてもよい。この場合、情報処理装置１００のサービス制御部１１２が、それぞれのカメラデバイスから提供された映像からアクション区間の映像を切り出すまでの処理は、上記で図３３に示した処理のＳ３６１～Ｓ３６８と同様である。３次元オブジェクトデータの生成も、オブジェクトを含む３次元空間をモデリングするという点では自由視点映像の生成と同様である。従って、上述したような複数のカメラデバイス（図３２に示したカメラ１６１）で取得された映像や、カメラデバイスにおいて付加的に測定された映像内のデプスの情報などに基づいて、３次元オブジェクトデータを生成することができる。
　３次元オブジェクトデータを提供する場合、例えば、アクション区間内でユーザが指定した時刻の３次元オブジェクトデータを、そのままユーザの端末装置に送信してもよい。あるいは、指定された時刻の３次元オブジェクトデータを３次元プリンタを用いて出力し、出力されたオブジェクトをユーザに提供（その場で配布してもよいし、送付してもよい）してもよい。例えば、３次元オブジェクトデータとともに自由視点映像を生成し、図３４に示したようなユーザインターフェースによって自由視点映像をユーザに提示しながら、３次元オブジェクトとして出力するアクション区間中のシーンを選択させてもよい。
　（７－７．ユーザのプロファイルについて）
　上述したような本開示の一実施形態では、過去に検出されたアクションの種類によって、ユーザのプロファイルを作成することができる。例えば、ジャンプのアクションで、高いアクションスコアが安定的に算出されているユーザについては、「ジャンプの上級者」というプロファイルが与えられる。また、ジャンプのアクションスコアが低く、またジャンプの途中で転倒が検出されることが多いユーザについては、「ジャンプの初級者」というプロファイルが与えられる。
　例えば、上記のようなプロファイルを利用して、本実施形態における機器制御の処理を異ならせてもよい。例えば、図２８に示した例でセンサデータの記録の有無や記録方法を決定するにあたり、ユーザのプロファイルを反映させてもよい。より具体的には、ユーザがジャンプの上級者である場合、まれに発生する転倒が検出されたジャンプのセンサデータを、より高いサンプリングレートで詳細に記録してもよい。上級者はジャンプに成功するのが当たり前であるため、まれな失敗を詳細に分析することによって、さらなる上達の支援になると考えられるためである。逆に、ユーザがジャンプの初級者である場合、転倒が検出されない、成功したジャンプのセンサデータを、より高いサンプリングレートで詳細に記録してもよい。初級者は、成功したジャンプを振り返ることで、安定してジャンプに成功できるようになるヒントをつかめる可能性があるためである。
　（５．ハードウェア構成）
　次に、図３５を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図３５は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
　情報処理装置９００は、ＣＰＵ（Central　Processing　unit）９０１、ＲＯＭ（Read　Only　Memory）９０３、およびＲＡＭ（Random　Access　Memory）９０５を含む。また、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置９００は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital　Signal　Processor）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、またはＦＰＧＡ（Field-Programmable　Gate　Array）などの処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral　Component　Interconnect/Interface）バスなどの外部バス９１１に接続されている。
　入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。
　出力装置９１７は、取得した情報をユーザに対して視覚や聴覚、触覚などの感覚を用いて通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Liquid　Crystal　Display）または有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカまたはヘッドフォンなどの音声出力装置、もしくはバイブレータなどでありうる。出力装置９１７は、情報処理装置９００の処理により得られた結果を、テキストもしくは画像などの映像、音声もしくは音響などの音声、またはバイブレーションなどとして出力する。
　ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard　Disk　Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。ストレージ装置９１９は、例えばＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
　ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。
　接続ポート９２３は、機器を情報処理装置９００に接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Universal　Serial　Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small　Computer　System　Interface）ポートなどでありうる。また、接続ポート９２３は、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００と外部接続機器９２９との間で各種のデータが交換されうる。
　通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線のＬＡＮ（Local　Area　Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）、またはＷＵＳＢ（Wireless　USB）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric　Digital　Subscriber　Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などを含みうる。
　撮像装置９３３は、例えば、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）またはＣＣＤ（Charge　Coupled　Device）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
　センサ９３５は、例えば、加速度センサ、角速度センサ、地磁気センサ、照度センサ、温度センサ、気圧センサ、圧力センサ、距離センサ、または音センサ（マイクロフォン）などの各種のセンサである。センサ９３５は、例えば情報処理装置９００の筐体の姿勢など、情報処理装置９００自体の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音など、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＮＳＳ（Global　Navigation　Satellite　System）信号を受信して装置の緯度、経度および高度を測定するＧＮＳＳ受信機を含んでもよい。
　以上、情報処理装置９００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
　（６．補足）
　本開示の実施形態は、例えば、上記で説明したような情報処理装置、システム、情報処理装置またはシステムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）ユーザのアクション情報、および前記アクション情報に関連付けられる空間情報ならびに時間情報を取得する情報取得部と、
　前記空間情報に基づく前記アクション情報のマップ表現を実行するにあたり、前記時間情報を考慮するマップ表現処理部と
　を備える情報処理装置。
（２）前記マップ表現処理部は、前記時間情報によって示される時刻と基準時刻との関係を考慮する、前記（１）に記載の情報処理装置。
（３）前記マップ表現処理部は、前記時間情報によって示される時刻が前記基準時刻から離れるほど、前記マップ表現における前記アクション情報の影響を小さくする、前記（２）に記載の情報処理装置。
（４）前記アクション情報は、前記ユーザのアクションを複数のカテゴリのいずれかに分類するときの前記各カテゴリのスコアを含み、
　前記マップ表現処理部は、共通の前記空間情報に関連付けられた前記アクション情報に含まれる前記スコアに前記時間情報によって示される時刻が前記基準時刻から離れるほど小さくなる重みをつけて足し合わせることによって、前記マップ表現において前記共通の空間情報に関連付けられる代表アクションのカテゴリを決定する、前記（３）に記載の情報処理装置。
（５）前記マップ表現処理部は、前記基準時刻との差が閾値を下回る時刻を示す前記時間情報に関連付けられた前記アクション情報に基づいて前記マップ表現を実行する、前記（３）に記載の情報処理装置。
（６）前記マップ表現処理部は、前記時間情報が前記基準時刻と共通する属性を有する場合に、前記マップ表現における前記アクション情報の影響を大きくする、前記（２）に記載の情報処理装置。
（７）前記アクション情報は、第１の時間情報に関連付けられた第１のアクション情報と第２の時間情報に関連付けられた第２のアクション情報とを含み、
　前記マップ表現処理部は、前記第１のアクション情報または前記第２のアクション情報の少なくともいずれかの前記マップ表現を実行するにあたり、前記第１の時間情報によって示される時刻と前記第２の時間情報によって示される時刻との前後関係を考慮する、前記（１）～（６）のいずれか１項に記載の情報処理装置。
（８）前記第１のアクション情報は、第１の空間情報に関連付けられ、
　前記第２のアクション情報は、前記第１の空間情報とは異なる第２の空間情報に関連付けられ、
　前記マップ表現処理部は、前記第２の時間情報が前記第１の時間情報よりも後の時刻を示す場合に、前記マップ表現において前記第１の空間情報によって示される位置から前記第２の空間情報によって示される位置への移動を表現する、前記（７）に記載の情報処理装置。
（９）前記アクション情報は、アクションを評価するアクションのスコアに関する情報を含み、
　前記マップ表現処理部は、前記マップ表現を実行するにあたり、前記アクションのスコアに関する情報をさらに考慮する、前記（１）～（８）のいずれか１項に記載の情報処理装置。
（１０）前記アクション情報は、前記スコアに基づいて推定される前記ユーザのスキルレベルに関する情報を含み、
　前記マップ表現処理部は、前記マップ表現を実行するにあたり、前記スキルレベルに関する情報をさらに考慮する、前記（９）に記載の情報処理装置。
（１１）前記アクション情報は、前記ユーザのアクションのネガティブな評価を示すスコアに関する情報を含み、
　前記マップ表現処理部は、前記ネガティブな評価については前記スキルレベルが高いほどスコアを上方修正する、前記（１０）に記載の情報処理装置。
（１２）前記アクション情報は、前記ユーザのアクションのポジティブな評価を示すスコアに関する情報を含み、
　前記マップ表現処理部は、前記ポジティブな評価については前記スキルレベルが高いほどスコアを下方修正する、前記（１０）または（１１）に記載の情報処理装置。
（１３）前記マップ表現処理部は、前記空間情報に基づいて、前記アクション情報によって示されるアクションが実行された施設を特定し、前記ユーザのスキルレベルの高さに応じて前記施設ごとの評価を含む情報を生成する、前記（１０）～（１２）のいずれか１項に記載の情報処理装置。
（１４）前記マップ表現処理部は、前記アクション情報に関連付けられた第１の空間情報によって示される位置と、前記アクション情報に関連付けられていない第２の空間情報によって示される位置との間の距離に基づいて前記第２の空間情報に関連付けられるアクション情報を推定する、前記（１）～（１３）のいずれか１項に記載の情報処理装置。
（１５）前記アクション情報は、前記空間情報の第１の系列に関連付けられた第１のアクション情報系列と、前記空間情報の第２の系列に関連付けられた第２のアクション情報系列とを含み、前記第２のアクション情報系列は、前記第１のアクション情報系列よりも前の時刻を示す時間情報に関連付けられ、
　前記マップ表現処理部は、前記空間情報の第１の系列によって示される第１の移動経路が、前記空間情報の第２の系列によって示される第２の移動経路に部分的に一致する場合に、前記第２の移動経路の残りの部分を示す前記空間情報の第２の系列に関連付けられた前記第２のアクション情報系列に基づいて前記第１のアクション情報系列に関連付けられたユーザへのナビゲーションを提供する、前記（１）～（１４）のいずれか１項に記載の情報処理装置。
（１６）前記アクション情報は、前記ユーザの検出されたアクションを示す情報を含み、
　前記マップ表現処理部は、前記マップ表現の結果によって示される前記空間情報によって示される位置ごとの前記検出されたアクションの傾向に基づいて、前記ユーザのアクションを検出するための設定を調整する、前記（１）～（１５）のいずれか１項に記載の情報処理装置。
（１７）ユーザのアクション情報、および前記アクション情報に関連付けられる空間情報ならびに時間情報を取得することと、
　プロセッサが、前記空間情報に基づく前記アクション情報のマップ表現を実行するにあたり、前記時間情報を考慮することと
　を含む情報処理方法。
（１８）ユーザのアクション情報、および前記アクション情報に関連付けられる空間情報ならびに時間情報を取得する機能と、
　前記空間情報に基づく前記アクション情報のマップ表現を実行するにあたり、前記時間情報を考慮する機能と
　をコンピュータに実現させるためのプログラム。
　また、以下のような構成も本開示の技術的範囲に属する。
（１）ユーザまたは前記ユーザによって使用される器具に装着されたセンサによって提供されるセンサデータを受信するセンサデータ受信部と、
　前記センサデータに基づいて前記ユーザのアクションを検出するアクション検出部と、
　前記検出されたアクションに応じて、前記ユーザまたは前記アクションに関連する機器を制御する機器制御部と
　を備える情報処理装置。
（２）前記アクション検出部は、前記ユーザの一連の状態の中で発生する前記アクションを検出する、前記（１）に記載の情報処理装置。
（３）前記機器制御部は、前記一連の状態の中で、前記アクションが検出されている区間に対応する第１の区間と、そうでない第２の区間との間で異なる前記機器の制御を実行する、前記（２）に記載の情報処理装置。
（４）前記機器は、前記アクションの映像または画像を記録する機能を有し、
　前記機器制御部は、前記第１の区間で前記映像または前記画像を特定するように前記機器を制御する、前記（３）に記載の情報処理装置。
（５）前記センサデータは、前記ユーザの高度を示すデータを含み、
　前記アクションは、ジャンプを含み、
　前記機器制御部は、前記ジャンプが検出されている前記第１の区間で、少なくとも前記ユーザの高度のピークで前記画像を記録するように前記機器を制御する、前記（４）に記載の情報処理装置。
（６）前記機器は、前記アクションの映像または画像を記録する機能を有し、
　前記機器制御部は、前記第１の区間では前記映像または前記画像を第１の品質で記録し、前記第２の区間では前記映像または前記画像を前記第１の品質よりも低い第２の品質で記録するように前記機器を制御する、前記（３）に記載の情報処理装置。
（７）前記第１の品質は、第１の圧縮率、第１のフレームレート、第１のフレームサイズ、または第１の集音レベルを含み、
　前記第２の品質は、前記第１の圧縮率よりも高い第２の圧縮率、前記第１のフレームレートよりも低い第２のフレームレート、前記第１のフレームサイズよりも小さい第２のフレームサイズ、または前記第１の集音レベルよりも低い第２の集音レベルを含む、前記（６）に記載の情報処理装置。
（８）前記機器は、前記センサデータを記録する機能を有し、
　前記機器制御部は、前記第１の区間で前記センサデータを記録するように前記機器を制御する、前記（３）～（７）のいずれか１項に記載の情報処理装置。
（９）前記機器は、前記センサデータを記録する機能を有し、
　前記機器制御部は、前記第１の区間では前記センサデータを第１のサンプリングレートで記録し、前記第２の区間では前記センサデータを前記第１のサンプリングレートよりも低い第２のサンプリングレートで記録するように前記機器を制御する、前記（３）～（７）のいずれか１項に記載の情報処理装置。
（１０）前記機器は、前記アクションに関する情報を生成するために用いられる付加的なセンサデータを提供する機能を有し、
　前記機器制御部は、前記第１の区間で前記付加的なセンサデータが提供されるように前記機器を制御する、前記（３）～（９）のいずれか１項に記載の情報処理装置。
（１１）前記機器制御部は、前記検出されたアクションの履歴に応じて前記機器を制御する、前記（１）～（１０）のいずれか１項に記載の情報処理装置。
（１２）前記機器制御部は、前記機器が新たに起動されるまでに検出された前記アクションの直近履歴を、前記機器が過去に起動されるまでに検出された前記アクションの過去履歴と比較し、前記直近履歴に類似する前記過去履歴に対応する前記機器の設定を、新たに起動される前記機器にも適用する、前記（１１）に記載の情報処理装置。
（１３）前記機器は、前記ユーザに情報を提示する機能を有し、
　前記アクションは、ユーザに注意力が要求される状況で発生する特定の種類のアクションを含み、
　前記機器制御部は、前記特定の種類のアクションが検出された場合に、前記情報の内容または提示方法が変化するように前記機器を制御する、前記（１）～（１２）のいずれか１項に記載の情報処理装置。
（１４）前記機器制御部は、前記情報の内容が前記状況に関連するものに変更されるように前記機器を制御する、前記（１３）に記載の情報処理装置。
（１５）前記機器制御部は、画像によって提示されていた前記情報を、音声またはバイブレーションによって提示するか、または提示しないように前記機器を制御する、前記（１３）に記載の情報処理装置。
（１６）前記機器は、前記アクションの映像または画像を加工する機能を有し、
　前記機器制御部は、前記アクションが検出されている区間に対応する区間で前記映像または画像を加工するように前記機器を制御する、前記（１）～（１５）のいずれか１項に記載の情報処理装置。
（１７）前記機器による前記映像または前記画像の加工は、前記映像または前記画像に基づいて、自由視点映像もしくは自由視点画像を提供するためのデータ、または３次元オブジェクトデータを生成することを含む、前記（１６）に記載の情報処理装置。
（１８）ユーザまたは前記ユーザによって使用される器具に装着されたセンサによって提供されるセンサデータを受信することと、
　前記センサデータに基づいて前記ユーザのアクションを検出することと、
　プロセッサが、前記検出されたアクションに応じて、前記ユーザまたは前記アクションに関連する機器を制御することと
　を含む情報処理方法。
（１９）ユーザまたは前記ユーザによって使用される器具に装着されたセンサによって提供されるセンサデータを受信する機能と、
　前記センサデータに基づいて前記ユーザのアクションを検出する機能と、
　前記検出されたアクションに応じて、前記ユーザまたは前記アクションに関連する機器を制御する機能と
　をコンピュータに実現させるためのプログラム。
　１００　　情報処理装置
　１０１　　送信部
　１０２　　受信部
　１０３　　センサデバイス制御部
　１０４　　センサデータ解析部
　１０５　　特徴量抽出部
　１０６　　アクション検出部
　１０７　　解析結果処理部
　１０８　　クラスタリング処理部
　１０９　　スコアリング処理部
　１１２　　サービス制御部

Claims (18)

  1. 　ユーザのアクション情報、および前記アクション情報に関連付けられる空間情報ならびに時間情報を取得する情報取得部と、
    　前記空間情報に基づく前記アクション情報のマップ表現を実行するにあたり、前記時間情報を考慮するマップ表現処理部と
    　を備える情報処理装置。
  2. 　前記マップ表現処理部は、前記時間情報によって示される時刻と基準時刻との関係を考慮する、請求項１に記載の情報処理装置。
  3. 　前記マップ表現処理部は、前記時間情報によって示される時刻が前記基準時刻から離れるほど、前記マップ表現における前記アクション情報の影響を小さくする、請求項２に記載の情報処理装置。
  4. 　前記アクション情報は、前記ユーザのアクションを複数のカテゴリのいずれかに分類するときの前記各カテゴリのスコアを含み、
    　前記マップ表現処理部は、共通の前記空間情報に関連付けられた前記アクション情報に含まれる前記スコアに前記時間情報によって示される時刻が前記基準時刻から離れるほど小さくなる重みをつけて足し合わせることによって、前記マップ表現において前記共通の空間情報に関連付けられる代表アクションのカテゴリを決定する、請求項３に記載の情報処理装置。
  5. 　前記マップ表現処理部は、前記基準時刻との差が閾値を下回る時刻を示す前記時間情報に関連付けられた前記アクション情報に基づいて前記マップ表現を実行する、請求項３に記載の情報処理装置。
  6. 　前記マップ表現処理部は、前記時間情報が前記基準時刻と共通する属性を有する場合に、前記マップ表現における前記アクション情報の影響を大きくする、請求項２に記載の情報処理装置。
  7. 　前記アクション情報は、第１の時間情報に関連付けられた第１のアクション情報と第２の時間情報に関連付けられた第２のアクション情報とを含み、
    　前記マップ表現処理部は、前記第１のアクション情報または前記第２のアクション情報の少なくともいずれかの前記マップ表現を実行するにあたり、前記第１の時間情報によって示される時刻と前記第２の時間情報によって示される時刻との前後関係を考慮する、請求項１に記載の情報処理装置。
  8. 　前記第１のアクション情報は、第１の空間情報に関連付けられ、
    　前記第２のアクション情報は、前記第１の空間情報とは異なる第２の空間情報に関連付けられ、
    　前記マップ表現処理部は、前記第２の時間情報が前記第１の時間情報よりも後の時刻を示す場合に、前記マップ表現において前記第１の空間情報によって示される位置から前記第２の空間情報によって示される位置への移動を表現する、請求項７に記載の情報処理装置。
  9. 　前記アクション情報は、アクションを評価するアクションのスコアに関する情報を含み、
    　前記マップ表現処理部は、前記マップ表現を実行するにあたり、前記アクションのスコアに関する情報をさらに考慮する、請求項１に記載の情報処理装置。
  10. 　前記アクション情報は、前記スコアに基づいて推定される前記ユーザのスキルレベルに関する情報を含み、
    　前記マップ表現処理部は、前記マップ表現を実行するにあたり、前記スキルレベルに関する情報をさらに考慮する、請求項９に記載の情報処理装置。
  11. 　前記アクション情報は、前記ユーザのアクションのネガティブな評価を示すスコアに関する情報を含み、
    　前記マップ表現処理部は、前記ネガティブな評価については前記スキルレベルが高いほどスコアを上方修正する、請求項１０に記載の情報処理装置。
  12. 　前記アクション情報は、前記ユーザのアクションのポジティブな評価を示すスコアに関する情報を含み、
    　前記マップ表現処理部は、前記ポジティブな評価については前記スキルレベルが高いほどスコアを下方修正する、請求項１０に記載の情報処理装置。
  13. 　前記マップ表現処理部は、前記空間情報に基づいて、前記アクション情報によって示されるアクションが実行された施設を特定し、前記ユーザのスキルレベルの高さに応じて前記施設ごとの評価を含む情報を生成する、請求項１０に記載の情報処理装置。
  14. 　前記マップ表現処理部は、前記アクション情報に関連付けられた第１の空間情報によって示される位置と、前記アクション情報に関連付けられていない第２の空間情報によって示される位置との間の距離に基づいて前記第２の空間情報に関連付けられるアクション情報を推定する、請求項１に記載の情報処理装置。
  15. 　前記アクション情報は、前記空間情報の第１の系列に関連付けられた第１のアクション情報系列と、前記空間情報の第２の系列に関連付けられた第２のアクション情報系列とを含み、前記第２のアクション情報系列は、前記第１のアクション情報系列よりも前の時刻を示す時間情報に関連付けられ、
    　前記マップ表現処理部は、前記空間情報の第１の系列によって示される第１の移動経路が、前記空間情報の第２の系列によって示される第２の移動経路に部分的に一致する場合に、前記第２の移動経路の残りの部分を示す前記空間情報の第２の系列に関連付けられた前記第２のアクション情報系列に基づいて前記第１のアクション情報系列に関連付けられたユーザへのナビゲーションを提供する、請求項１に記載の情報処理装置。
  16. 　前記アクション情報は、前記ユーザの検出されたアクションを示す情報を含み、
    　前記マップ表現処理部は、前記マップ表現の結果によって示される前記空間情報によって示される位置ごとの前記検出されたアクションの傾向に基づいて、前記ユーザのアクションを検出するための設定を調整する、請求項１に記載の情報処理装置。
  17. 　ユーザのアクション情報、および前記アクション情報に関連付けられる空間情報ならびに時間情報を取得することと、
    　プロセッサが、前記空間情報に基づく前記アクション情報のマップ表現を実行するにあたり、前記時間情報を考慮することと
    　を含む情報処理方法。
  18. 　ユーザのアクション情報、および前記アクション情報に関連付けられる空間情報ならびに時間情報を取得する機能と、
    　前記空間情報に基づく前記アクション情報のマップ表現を実行するにあたり、前記時間情報を考慮する機能と
    　をコンピュータに実現させるためのプログラム。
PCT/JP2015/079176 2015-01-05 2015-10-15 情報処理装置、情報処理方法、およびプログラム WO2016111068A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP15876941.4A EP3244321A4 (en) 2015-01-05 2015-10-15 Information processing device, information processing method, and program
US15/527,396 US10571289B2 (en) 2015-01-05 2015-10-15 Information processing device, information processing method, and program
JP2016568285A JP6683134B2 (ja) 2015-01-05 2015-10-15 情報処理装置、情報処理方法、およびプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2015-000411 2015-01-05
JP2015000411 2015-01-05
JP2015000413 2015-01-05
JP2015-000413 2015-01-05

Publications (1)

Publication Number Publication Date
WO2016111068A1 true WO2016111068A1 (ja) 2016-07-14

Family

ID=56342239

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/079176 WO2016111068A1 (ja) 2015-01-05 2015-10-15 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US10571289B2 (ja)
EP (1) EP3244321A4 (ja)
JP (1) JP6683134B2 (ja)
CN (1) CN105759954A (ja)
WO (1) WO2016111068A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018116476A1 (ja) * 2016-12-22 2018-06-28 富士通株式会社 情報処理装置、情報処理方法および情報処理プログラム
EP3361449A1 (en) * 2017-02-14 2018-08-15 Kabushiki Kaisha Toshiba Information processing device, information processing method, computer-readable medium, and moving object
IT201700025374A1 (it) * 2017-03-07 2018-09-07 Zehus S P A Sistema per la stima del comportamento di un ciclista su una bicicletta e/o della qualità di una strada lungo un percorso seguito da detta bicicletta

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6653459B2 (ja) 2015-10-29 2020-02-26 パナソニックＩｐマネジメント株式会社 画像処理装置及びこれを備えた脈拍推定システムならびに画像処理方法
US11050991B2 (en) * 2016-09-29 2021-06-29 Koninklijke Philips N.V. Image processing using a plurality of images for a three dimension scene, having a different viewing positions and/or directions
CN106486002B (zh) * 2016-09-30 2019-09-20 深圳市华傲数据技术有限公司 危险品存放地波及程度的数据处理及展示方法、***
CN108702442B (zh) * 2016-10-14 2021-04-16 深圳市大疆创新科技有限公司 用于时刻捕获的***和方法
US11460306B2 (en) * 2017-08-25 2022-10-04 Stroly Inc. Information processing apparatus, information processing method, and program
JP7051503B2 (ja) * 2018-03-13 2022-04-11 アズビル株式会社 多変量時系列データの同期方法および多変量時系列データ処理装置
US10664489B1 (en) 2018-11-16 2020-05-26 Fuvi Cognitive Network Corp. Apparatus, method, and system of cognitive data blocks and links for personalization, comprehension, retention, and recall of cognitive contents of a user
JP7223629B2 (ja) * 2019-05-13 2023-02-16 日立Astemo株式会社 車載システム、外界認識センサ、電子制御装置
CN110860088B (zh) * 2019-11-14 2023-04-07 网易（杭州）网络有限公司 竞速游戏中小地图的渲染方法、装置以及游戏终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012230496A (ja) * 2011-04-25 2012-11-22 Toshiba Corp 情報処理装置、及び情報処理方法
JP2013003649A (ja) * 2011-06-13 2013-01-07 Sony Corp 情報処理装置、情報処理方法およびコンピュータプログラム
JP2013239115A (ja) * 2012-05-17 2013-11-28 Hitachi Ltd 運動支援システム及び運動支援方法
JP2014002036A (ja) * 2012-06-18 2014-01-09 Nippon Telegr & Teleph Corp <Ntt> 歩行経路推薦装置、方法及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5649808B2 (ja) * 2009-01-28 2015-01-07 ソニー株式会社 情報処理装置、情報処理方法、プログラム
JP5440080B2 (ja) * 2009-10-02 2014-03-12 ソニー株式会社 行動パターン解析システム、携帯端末、行動パターン解析方法、及びプログラム
JP2011107977A (ja) * 2009-11-17 2011-06-02 Fujitsu Ten Ltd 情報処理装置、車載装置、情報処理システム、情報処理方法、および、プログラム
WO2012050898A1 (en) * 2010-09-29 2012-04-19 The Board Of Regents Of The University Of Nebraska Lifespace data collection from discrete areas
CN103905978B (zh) 2012-12-27 2018-03-23 中国电信股份有限公司 基于位置的信息推送方法、推送装置和网络
JP5805128B2 (ja) * 2013-03-28 2015-11-04 本田技研工業株式会社 地図提供サーバ及び地図提供方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012230496A (ja) * 2011-04-25 2012-11-22 Toshiba Corp 情報処理装置、及び情報処理方法
JP2013003649A (ja) * 2011-06-13 2013-01-07 Sony Corp 情報処理装置、情報処理方法およびコンピュータプログラム
JP2013239115A (ja) * 2012-05-17 2013-11-28 Hitachi Ltd 運動支援システム及び運動支援方法
JP2014002036A (ja) * 2012-06-18 2014-01-09 Nippon Telegr & Teleph Corp <Ntt> 歩行経路推薦装置、方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3244321A4 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018116476A1 (ja) * 2016-12-22 2018-06-28 富士通株式会社 情報処理装置、情報処理方法および情報処理プログラム
JPWO2018116476A1 (ja) * 2016-12-22 2019-07-18 富士通株式会社 情報処理装置、情報処理方法および情報処理プログラム
EP3361449A1 (en) * 2017-02-14 2018-08-15 Kabushiki Kaisha Toshiba Information processing device, information processing method, computer-readable medium, and moving object
US10803683B2 (en) 2017-02-14 2020-10-13 Kabushiki Kaisha Toshiba Information processing device, information processing method, computer program product, and moving object
IT201700025374A1 (it) * 2017-03-07 2018-09-07 Zehus S P A Sistema per la stima del comportamento di un ciclista su una bicicletta e/o della qualità di una strada lungo un percorso seguito da detta bicicletta
WO2018163027A1 (en) * 2017-03-07 2018-09-13 Zehus S.P.A. System and method for estimating the behavior of a cyclist on a bicycle and/or the quality of a road along a path followed by said bicycle
US11772730B2 (en) 2017-03-07 2023-10-03 Zehus S.P.A. System and method for estimating a behavior of a cyclist on a bicycle and a quality of a road along a path followed by the bicycle

Also Published As

Publication number Publication date
CN105759954A (zh) 2016-07-13
US10571289B2 (en) 2020-02-25
US20170328726A1 (en) 2017-11-16
JPWO2016111068A1 (ja) 2017-10-12
EP3244321A1 (en) 2017-11-15
JP6683134B2 (ja) 2020-04-15
EP3244321A4 (en) 2018-07-04

Similar Documents

Publication Publication Date Title
WO2016111068A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN105749548B (zh) 信息处理装置、信息处理方法以及程序
US11895068B2 (en) Automated content curation and communication
JP6658545B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US20190383620A1 (en) Information processing apparatus, information processing method, and program
JP6311478B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN104115180B (zh) 信息处理设备、信息处理方法和程序
WO2016002285A1 (ja) 情報処理装置、情報処理方法およびプログラム
US11710422B2 (en) Driving analysis and instruction device
US20110190008A1 (en) Systems, methods, and apparatuses for providing context-based navigation services
CN106767818B (zh) 可穿戴电子设备及其健康出行***
JPWO2018198281A1 (ja) 情報処理装置、空撮経路生成方法、空撮経路生成システム、プログラム、及び記録媒体
WO2016002284A1 (ja) 情報処理装置、情報処理方法およびプログラム
JPWO2018163560A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2015194270A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP6855825B2 (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15876941

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016568285

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15527396

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2015876941

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE