WO2016072240A1 - センサ情報を処理する情報処理装置、情報管理システム、情報表示システム、情報処理方法、プログラム、記録媒体及びサーバ装置 - Google Patents

センサ情報を処理する情報処理装置、情報管理システム、情報表示システム、情報処理方法、プログラム、記録媒体及びサーバ装置 Download PDF

Info

Publication number
WO2016072240A1
WO2016072240A1 PCT/JP2015/079268 JP2015079268W WO2016072240A1 WO 2016072240 A1 WO2016072240 A1 WO 2016072240A1 JP 2015079268 W JP2015079268 W JP 2015079268W WO 2016072240 A1 WO2016072240 A1 WO 2016072240A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
data
unit
coordinate system
information processing
Prior art date
Application number
PCT/JP2015/079268
Other languages
English (en)
French (fr)
Inventor
車谷　浩一
宏謙 富樫
池田　剛
明男 幸島
Original Assignee
国立研究開発法人産業技術総合研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立研究開発法人産業技術総合研究所 filed Critical 国立研究開発法人産業技術総合研究所
Publication of WO2016072240A1 publication Critical patent/WO2016072240A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers

Definitions

  • the present invention relates to an information processing apparatus, an information management system, an information display system, an information processing method, a program, a recording medium, and a server apparatus that process sensor information.
  • the motion sensor is, for example, at least one of an acceleration sensor, an angular velocity sensor, a geomagnetic sensor, and the like.
  • the problem of pedestrian movement recognition includes two types of recognition problems: (1) movement type recognition and (2) movement direction recognition.
  • (1) movement type recognition and (2) movement direction recognition In the prior art, in most cases, only the recognition of the operation type (1) is focused. Further, in the prior art that enables the recognition of the operation direction of (2), there are restrictions on special conditions for the equipment used for recognition, for example, the use of specific equipment or the orientation and fixing method of the device (portable terminal) A condition such as mounting the apparatus in a fixed position is required.
  • Non-Patent Documents 1 to 3 a technology for performing motion recognition using a general mobile terminal device equipped with a motion sensor without depending on the orientation and fixing method of the device has been studied (for example, Non-Patent Documents 1 to 3).
  • the present invention provides an information processing apparatus and information management that can recognize an operation type and an operation direction using a general portable terminal device including a motion sensor without depending on the orientation and fixing method of the device.
  • a system and an information processing method are provided.
  • apparatus orientation and fixing method will be abbreviated as “apparatus orientation”.
  • An information processing apparatus includes an acquisition unit that acquires data measured by a motion sensor, and the data does not depend on the direction of the motion sensor from the first coordinate system that depends on the direction of the motion sensor. Based on learning data obtained by machine learning of a plurality of operations including types and directions using a conversion unit that converts to the second coordinate system and data of the second coordinate system in the past, the second converted by the conversion unit.
  • a recognition unit for recognizing a predetermined operation from the data of the coordinate system.
  • FIG. 1 It is a block diagram which shows an example of the hardware constitutions of the information processing apparatus in 1st Embodiment. It is a block diagram which shows an example of a function structure of the information processing apparatus in 1st Embodiment. It is a figure which shows an example of the walking motion made into the object of motion recognition. It is a figure for demonstrating coordinate transformation. It is a figure which shows the relationship between a ground coordinate system, a device coordinate system, and Euler angles. It is a figure which shows an example of the waveform shape of the ideal angular velocity (around az axis) data at the time of a left turn. It is a figure for demonstrating the storage location A. FIG. It is a figure for demonstrating the storage location B. FIG.
  • FIG. 5 is a diagram for explaining a storage direction A at a storage location C.
  • FIG. It is a figure for demonstrating the storage direction B in the storage location C.
  • FIG. It is a figure for demonstrating the place which measures a linear walking motion. It is a figure for demonstrating the place which measures the walking motion of a right turn and a left turn. It is a figure which shows the recognition accuracy of the motion recognition method in 1st Embodiment. It is a figure which shows the recognition accuracy at the time of using a wavelet feature-value.
  • FIG. 14 is a diagram for describing an example of one screen in application example 1.
  • FIG. 12 is a diagram for explaining another screen example in application example 1.
  • FIG. It is a figure which shows an example of the information transmitted to the person who watches. 12 is a diagram for describing an example of one screen in application example 2.
  • FIG. It is the figure which expanded the past locus
  • It is a figure which shows the example 1 of a display in 3rd Embodiment.
  • the information processing apparatus in the first embodiment is, for example, a mobile terminal apparatus such as a smartphone or a tablet terminal.
  • FIG. 1 is a block diagram illustrating an example of a hardware configuration of the information processing apparatus 10 according to the first embodiment.
  • the information processing apparatus 10 illustrated in FIG. 1 includes at least a mobile communication antenna 30, a mobile communication unit 32, a wireless LAN communication antenna 34, a wireless LAN communication unit 36, a storage unit 38, and a main control unit 40.
  • Speaker 16 microphone 18, hard button 20, hard key 22, external interface 42 including camera 26 and audio output terminal 24, 9-axis sensor 28 ⁇ / b> A, other sensor 28 ⁇ / b> B, and the like.
  • the touch panel 14 has functions of both a display device and an input device, and includes a display (display screen) 14A that bears the display function and a touch sensor 14B that bears the input function.
  • the display 14A is configured by a general display device such as a liquid crystal display or an organic EL (Electro Luminescence) display.
  • the touch sensor 14B is configured to include an element for detecting a contact operation disposed on the upper surface of the display 14A, and a transparent operation surface stacked thereon.
  • a contact detection method of the touch sensor 14B any of known methods such as a capacitance type, a resistance film type (pressure sensitive type), and an electromagnetic induction type can be adopted.
  • the touch panel 14 displays an image generated by executing a program stored in the storage unit 38 by the main control unit 40.
  • the touch panel 14 as an input device detects an operation of a contact object (including a user's finger or a touch pen, which will be described as a representative example) in contact with the operation surface. An operation input is received, and information on the contact position is given to the main control unit 40.
  • the movement of the finger is detected as coordinate information indicating the position or region of the contact point, and the coordinate information is expressed as, for example, coordinate values on two axes of the short side direction and the long side direction of the touch panel 14.
  • the 9-axis sensor 28A is a motion sensor and includes a 3-axis acceleration sensor, a 3-axis angular velocity sensor, and a 3-axis geomagnetic sensor. Each sensor may be provided separately.
  • the acceleration data (first data), angular velocity data (second data), and geomagnetic data (third data) measured by the 9-axis sensor 28 ⁇ / b> A are input to the main control unit 40.
  • the other sensor 28B is a general term for one or a plurality of sensors, and is at least one sensor such as a temperature sensor, a humidity sensor, an atmospheric pressure sensor, a cardiac potential sensor, a wind direction wind speed sensor, a radiation detection sensor, and a soil component detection sensor. .
  • the other sensor 28B is, for example, an external sensor, and may be attached to the information processing apparatus 10. Sensor data measured by the other sensor 28 ⁇ / b> B is input to the main control unit 40.
  • the main control unit 40 acquires various data and various information, and controls the information processing apparatus 10. For example, the main control unit 40 executes the program stored in the storage unit 38 to acquire measurement data from each sensor and perform motion recognition. The main functions of the main controller 40 for the action recognition process will be described later with reference to FIG.
  • the information processing apparatus 10 acquires position information of the current position by network positioning or GPS (Global Positioning System).
  • GPS Global Positioning System
  • the information processing apparatus 10 is connected to a network (Internet) N through a mobile communication antenna 30 and a wireless LAN communication antenna 34, and can perform data communication with a server apparatus (not shown).
  • FIG. 2 is a block diagram illustrating an example of a functional configuration of the information processing apparatus 10 according to the first embodiment.
  • the information processing apparatus 10 illustrated in FIG. 2 includes a first transmission unit 102, a first reception unit 104, and an operation recognition unit 106.
  • the first transmission unit 102 can be realized by the main control unit 40, the mobile communication unit 32, the wireless LAN communication unit 36, and the like, for example.
  • the first transmission unit 102 may transmit measurement data measured by each sensor and operation content recognized based on the measurement data via a network.
  • the first receiving unit 104 can be realized by, for example, the main control unit 40, the mobile communication unit 32, the wireless LAN communication unit 36, and the like.
  • the first receiving unit 104 receives a program (motion recognition application) for performing motion recognition from the server device.
  • the received program is stored in the storage unit 38 and executed by the main control unit 40, whereby each function for performing operation recognition, which will be described later, is executed.
  • the motion recognition unit 106 can be realized by the main control unit 40, for example.
  • the action recognition unit 106 recognizes the action content of the user who holds the information processing apparatus 10.
  • This operation content includes an operation type and an operation direction.
  • the motion recognition unit 106 includes an acquisition unit 112, a conversion unit 114, and a recognition unit 116 in order to recognize the content of the motion.
  • the acquisition unit 112 acquires data measured by the motion sensor. For example, the acquisition unit 112 acquires acceleration data measured by the acceleration sensor included in the 9-axis sensor 28A, angular velocity data measured by the angular velocity sensor, and geomagnetic data measured by the geomagnetic sensor. Moreover, the acquisition part 112 may acquire the measurement data measured by the other sensor 28B. Each acquired data is output to the conversion unit 114. The acquisition unit 112 may acquire partial data of each data continuously measured from each sensor. Extraction into partial data may be performed by the motion recognition unit 106, for example.
  • the conversion unit 114 uses the data measured by the motion sensor to convert the first coordinate system that depends on the direction of each sensor to the second coordinate system that does not depend on the direction of each sensor.
  • the conversion unit 114 converts acceleration data and angular velocity data from a first coordinate system that depends on the direction of each sensor to a second coordinate system that does not depend on the direction of each sensor, using acceleration data and geomagnetic data.
  • the first coordinate system is also referred to as a device coordinate system
  • the second coordinate system is also referred to as a ground coordinate system.
  • shaft independent of the direction of each sensor can be set appropriately.
  • the second coordinate system is a ground coordinate system that is independent of, for example, the mounting position and orientation of the 9-axis sensor 28A, and specifically, the vertical direction, the north-south direction, and the direction orthogonal to both the vertical direction and the north-south direction. Is a coordinate system with three axes.
  • the conversion unit 114 includes a separation unit 122, a first calculation unit 124, and a second calculation unit 126.
  • the separation unit 122 separates acceleration data into a gravity component and a motion component. This separation can be realized by a method such as passing acceleration data through a low-pass file or calculating a fixed vector by statistical processing.
  • the conversion unit 114 may perform coordinate conversion processing using the separated gravity component and geomagnetic data. Thereby, when the vertical upward direction is used as an axis, the gravity component of the acceleration data is separated and used, so that the coordinate conversion accuracy can be improved.
  • the first calculation unit 124 sequentially rotates each axis included in the second coordinate system, obtains each rotation angle by matching the direction with the first coordinate system, and based on each rotation angle, First data is obtained. Thereby, it is possible to appropriately coordinate the acceleration data.
  • the second calculation unit 126 obtains second data in the second coordinate system based on the obtained rotation angles. Thereby, the angular velocity data can be appropriately coordinate-transformed.
  • the recognition unit 116 uses the data of the second coordinate system in the past to perform a predetermined operation from the data of the second coordinate system converted by the conversion unit 114 based on learning data obtained by machine learning of a plurality of operations including types and directions. Recognize For example, the recognizing unit 116 uses the acceleration data and angular velocity data of the second coordinate system in the past, and the second coordinates converted by the converting unit 114 based on learning data obtained by machine learning of a plurality of operations including types and directions. A predetermined motion is recognized from the acceleration data and angular velocity data of the system.
  • a coordinate system that depends on the orientation of the device having each sensor is converted to a coordinate system that does not depend on the orientation of this device, and machine learning and classification are performed to properly recognize motions including motion types and motion directions. can do. Further, according to the above method, it is possible to appropriately recognize the operation without depending on the mounting position or the storage position of the device having each sensor.
  • the recognition unit 116 may include an extraction unit 132, a learning unit 134, and a classification unit 136 in order to realize the motion recognition function.
  • the extraction unit 132 extracts feature amounts of the acceleration data and angular velocity data of the second coordinate system.
  • the extraction unit 132 performs a fast Fourier transform, a wavelet transform, or the like, and extracts feature quantities for learning and classification from the acceleration data and angular velocity data of the second coordinate system.
  • the feature amount an integrated value of acceleration data and angular velocity data, and an integrated value of a result of fast Fourier transform or wavelet transform can be used. Thereby, the accuracy of learning and classification of the subsequent processes can be improved and the amount of calculation can be reduced, but the extraction process is not necessarily a necessary process.
  • the learning unit 134 machine-learns a plurality of motions including motion types and motion directions using the past acceleration data and angular velocity data of the second coordinate system.
  • An existing method for example, SVM (Support Vector Machine) may be used as the machine learning method.
  • the classification unit 136 uses the learning data learned by the learning unit 134 to classify the acceleration data and angular velocity data of the second coordinate system converted by the conversion unit 114 into predetermined operations.
  • An existing method may be used as the classification method.
  • the learning unit 134 and the classification unit 136 perform learning and classification using the feature amounts if the feature amounts are extracted from the acceleration data and the angular velocity data, respectively. Thereby, the amount of calculation can be reduced and the recognition accuracy of the operation can be increased.
  • the learning unit 134 and the classification unit 136 have been described functionally separately, they may be configured as one function.
  • the information processing apparatus 10 analyzes the information of the 9-axis sensor 28A (acceleration sensor, angular velocity sensor, geomagnetic sensor) mounted on the information processing apparatus 10 and recognizes the type and direction of the walking motion by measuring / learning / classifying the walking motion. To do.
  • the 9-axis sensor 28A acceleration sensor, angular velocity sensor, geomagnetic sensor
  • the feature of this method is that it is possible to realize that “the operation can be correctly recognized regardless of the direction of the device”, which is one of the problems of the operation recognition on the information processing device 10.
  • a Fourier coefficient is used as a feature amount of motion, and the feature amount is learned and classified by SVM to perform motion recognition.
  • the information processing apparatus 10 converts the measurement value of the 9-axis sensor 28A into a value in a coordinate system independent from the own apparatus, and then performs a Fourier transform to extract a feature quantity that does not depend on the orientation of the apparatus. Perform classification. Thereby, it is possible to recognize the operation without depending on the orientation of the apparatus.
  • FIG. 3 is a diagram illustrating an example of a walking motion that is a target of motion recognition.
  • the operation recognition is performed when the target person possessing the information processing apparatus 10 performs the following operations.
  • the sensor data is data measured by the 9-axis sensor 28A, for example.
  • a widely used and simple method is a method called a sliding window.
  • the parameters of the sliding window are the window width and the shift width, and the motion recognition unit 106 cuts out fixed-length data (partial data) from continuous data using these parameters.
  • the window width and the shifting width of the sliding window effective for the recognition of the walking motion are related to the walking cycle.
  • the window width is 1 second (about 2 steps), and the shift width is 0.5 seconds (about 1 step). ) Is applied, and the motion recognition unit 106 extracts partial data from the sensor data acquired by the acquisition unit 112.
  • FIG. 4 is a diagram for explaining coordinate conversion.
  • coordinate conversion of each sensor data is performed. Is called.
  • the conversion unit 114 includes, for example, values in a coordinate system depending on the apparatus (hereinafter also referred to as “device coordinate system”), and a vertical direction and a north-south direction, and an axis (east-west direction) orthogonal to these two directions. Conversion into a coordinate system independent of the orientation of the 9-axis sensor 28A (hereinafter also referred to as “ground coordinate system”).
  • the device coordinate system is represented by (x dev , y dev , z dev ), and the ground coordinate system is represented by (x ter , y ter , z ter ).
  • the vertical upward direction can be detected if gravitational acceleration can be measured by the acceleration sensor.
  • the acceleration measured by the acceleration sensor during the walking motion is a value obtained by adding (1) gravity acceleration and (2) acceleration of the walking motion.
  • a general method for separating (1) and (2) is a low-pass filter.
  • the gravitational acceleration is a component whose frequency is close to 0, it is possible to separate the gravitational component from the acceleration measured by the acceleration sensor by using a low-pass filter.
  • the separation unit 122 uses this moving average filter.
  • the filter coefficient ⁇ that is a weighting of past components in the moving average is, for example, 0.9.
  • parameters related to acceleration are defined as follows.
  • the separation unit 122 obtains the gravity component Sag as follows using a moving average filter.
  • the separation unit 122 calculates the walking motion component Saw as follows.
  • the read value of the geomagnetic sensor is a value representing a vector indicating magnetic north in the device coordinate system. Therefore, detection in the magnetic north direction is performed using the reading value of the geomagnetic sensor.
  • the coordinate conversion of the sensor data is performed by using the gravitational component Sag of acceleration and the read value Sm of the geomagnetic sensor.
  • the first calculation unit 124 rotates the coordinates (x ter , y ter , z ter ) in the ground coordinate system in the following order. (1) Around z ter axis (2) Around y ter axis (3) Around x ter axis
  • the rotation angle (Euler angle) at this time Is defined as the following variable.
  • the first calculation unit 124 expresses coordinate conversion from the ground coordinate system to the device coordinate system as follows using these Euler angles. First, rotation matrices Rx, Ry, and Rz around each axis are defined as follows.
  • the 1st calculation part 124 expresses the coordinate transformation from a ground coordinate system to a device coordinate system as follows.
  • the Euler angle ⁇ t m , z ter around the z ter axis at the measurement time t m of the geomagnetic sensor is the horizontal component force on the ground coordinate system of geomagnetism. It is requested from.
  • the horizontal component of geomagnetism is the reading of geomagnetic sensor data. (1) around the x ter axis and (2) around the y ter axis.
  • the sensor mounted on the information processing apparatus 10 because a measurement independently, measurement time t a and the measurement time t m of the geomagnetic sensor of the acceleration sensor is often not match. Therefore, the Euler angles [theta] t m at time t m, x ter, ⁇ t m , y ter , it is not possible to determine directly from the gravity component of acceleration, ⁇ t m, x ter, ⁇ t m, y ter the time t m 1 immediately before being sought by internal division in accordance with one Euler angle immediately after the time difference between t m.
  • the horizontal component of geomagnetic data can be obtained as follows.
  • the Euler angle ⁇ t m , z ter can be obtained as follows.
  • the walking motion component Saw of acceleration in the ground coordinate system is obtained as follows.
  • Euler angles [theta] t a, z ter of z ter axis at time t a, the one immediately before the time t a, are determined by internally dividing in accordance with the time difference of one Euler angle immediately.
  • the time derivative of the Euler angle in the ground coordinate system at time t Angular velocity in the ground coordinate system And angular velocity in device coordinate system By considering the relationship, the angular velocity data in the ground coordinate system can be obtained.
  • the relationship shown in FIG. 5 exists between the time derivative of the Euler angle and the angular velocity in the device coordinate system.
  • FIG. 5 is a diagram illustrating the relationship between the ground coordinate system, the device coordinate system, and the Euler angle. Therefore, the time derivative of the Euler angle is obtained as follows. In addition, the angular velocity in the ground coordinate system is obtained from the time derivative of the Euler angle. Is obtained as follows.
  • the second calculation unit 126 substitutes the time differential of the Euler angle obtained by the equation (13) into the equation (14), thereby obtaining the angular velocity data in the ground coordinate system from the angular velocity in the device coordinate system by the following equation: Ask for.
  • Gyro sensor reading at time t ⁇ Is angular velocity data observed in the device coordinate system.
  • angular velocity data in the ground coordinate system is obtained as in equation (16).
  • Euler angles [theta] t omega at time t ⁇ , x ter, ⁇ t ⁇ , y ter, ⁇ t ⁇ , z ter is one immediately before the time t omega, be internally divided in accordance with one difference Euler angles time after It is demanded by.
  • Expression (16) has the same shape as Expression (11), it can be seen that the angular velocity has the property of a vector as well as the acceleration.
  • the extraction unit 132 uses a Fourier coefficient extracted from the data of each sensor and each axis as a feature amount representing the waveform shape of the sensor data. Specifically, the extraction unit 132 performs the (1) and (2) axes for (1) the sequence of acceleration walking motion components in the ground coordinate system and (2) the angular velocity sequence in the ground coordinate system. Find the Fourier coefficient for.
  • the extraction unit 132 uses a component of 0 to 20 Hz among the obtained Fourier coefficients as a feature amount to be input to the SVM described later.
  • FIG. 6 is a diagram illustrating an example of a waveform shape of ideal angular velocity (around the z axis) data at the time of a left turn.
  • the horizontal axis represents time
  • the vertical axis represents the magnitude of angular velocity.
  • the extraction unit 132 can also use the total sum of the sensor data as a feature amount that represents the integrated value of the data waveform.
  • the extraction unit 132 expresses the waveform shape of the sensor data as a Fourier coefficient, expresses the integrated value of the waveform shape of the data as the sum of the sensor data, and uses these as the feature values input to the SVM. . Specifically, the extraction unit 132 configures feature amounts as described below.
  • the learning unit 134 and the classification unit 136 will be described separately in terms of their functions, but may be configured as one function.
  • the recognition unit 116 performs data classification by machine learning using, for example, SVM.
  • SVM is used as a classifier for a wide range of classification / recognition problems other than motion recognition.
  • the recognition unit 116 can perform multi-class classification by the one-against-one method and the one-against-all method, and can classify known nonlinear problems by introducing a kernel function. Generalization performance has also been improved by introducing the concept of “cost” that penalizes instead of allowing misclassification.
  • the learning unit 134 and the classification unit 136 are Motion recognition is performed using SVM as learning and classification.
  • the SVM multi-class classification method uses the one-against-one method, focusing on the fact that although the number of classification calculations increases, each calculation is simple, it can be calculated in a short time and high accuracy is easily obtained. .
  • the SVM kernel function does not require prior knowledge about input data, and uses a highly versatile Gaussian kernel.
  • the learning unit 134 and the classification unit 136 input the feature amount extracted by the extraction unit 132, learn and classify the seven walking motions described above.
  • the mobile terminal device 10 used is Google Nexus4 (manufactured by LG), and the outline of the sensor used in this experiment is as follows. Usage sensor and sampling rate acceleration sensor: 200 Hz (measured once every 5 ms) Angular velocity sensor: 200 Hz (measured once every 5 ms) Geomagnetic sensor: 50 Hz (measured once every 20 ms)
  • the mobile terminal device 10 is stored in the pocket of the user's pants and the smartphone holder, and sensor data of walking motion is acquired. Specific storage locations are shown in FIGS. 7 to 9, and the storage directions are as shown in FIGS.
  • FIG. 7 is a diagram for explaining the storage location A. As shown in FIG. 6, the mobile terminal device 10 is stored as a storage location A in the left pocket of the user's pants.
  • FIG. 8 is a diagram for explaining the storage location B. As shown in FIG. 7, the mobile terminal device 10 is stored as a storage location B in the right pocket of the user's pants.
  • FIG. 9 is a diagram for explaining the storage location C. As shown in FIG. 8, the mobile terminal device 10 is stored as a storage location C in a smartphone holder that is attached to the center of the user's lower back.
  • FIG. 10 is a diagram for explaining the storage direction A in the storage location B.
  • FIG. 10 As illustrated in FIG. 10, the screen direction of the mobile terminal device 10 is the same as the traveling direction.
  • FIG. 11 is a diagram for explaining the storage direction B at the storage location B.
  • the screen direction of the mobile terminal device 10 is opposite to the traveling direction. 10 and 11, the storage location B has been described as an example. Similarly, the storage location A also has the screen direction of the light terminal device 10 set to the traveling direction and the reverse direction.
  • FIG. 12 is a diagram for explaining the storage direction A at the storage location C.
  • FIG. 12 the screen direction of the mobile terminal device 10 is the same as the traveling direction.
  • FIG. 13 is a diagram for explaining the storage direction B at the storage location C.
  • FIG. 13 As shown in FIG. 13, the screen direction of the mobile terminal device 10 is opposite to the traveling direction.
  • the place where each walking motion was measured is as shown in FIGS.
  • FIG. 14 is a diagram for explaining a place where a linear walking motion is measured.
  • the walking distance of the straight line portion shown in FIG. 14 is about 16.5 m.
  • FIG. 15 is a diagram for explaining a place where walking motions of right turn and left turn are measured.
  • the walking distance of the right angle portion shown in FIG. 15 is about 6.5 m.
  • a desktop PC Personal Computer
  • a desktop PC which is an example of the information processing apparatus 10 performs motion recognition calculation, thereby evaluating the accuracy of the recognition method in the first embodiment.
  • the outline of the performance of the desktop PC used in the calculation is as follows.
  • the open source statistical software “R” R Core Team, “R: A Language and Environment for Statistical Computing”, 2013, Available : http://www.R-project.org
  • the desktop PC When evaluating motion recognition by SVM, the desktop PC divides the acquired sensor data by the above-described sliding window to cut out partial data, and obtains recognition accuracy by three-fold cross validation using the divided partial data.
  • FIG. 16 is a diagram showing the recognition accuracy of the motion recognition method (hereinafter also referred to as this motion recognition method) in the first embodiment.
  • the left side (single-user) shown in FIG. 16 shows the result of motion recognition by a single subject.
  • the recognition accuracy is about 90% as a whole, and recognition accuracy of 80% or more is also obtained for operations with many erroneous recognitions (“right turn” and “left turn”). Therefore, it can be seen that this motion recognition method achieved a recognition accuracy of a certain level or higher.
  • the center (user-dependent) shown in FIG. 16 shows the result of motion recognition using the motion recognition method using sensor data of a plurality of subjects. Each subject's data is divided into learning data and classification data for evaluation.
  • the right side (mixed-user) shown in FIG. 16 shows the result of performing motion recognition by randomly dividing the data of all subjects, performing learning and classification.
  • the recognition accuracy obtained by mixed-user has almost the same tendency of overall recognition accuracy and misrecognition as compared to user-dependent.
  • Non-Patent Document 1 the feature amount shown in the method described in Non-Patent Document 1 is used as one of the methods A that use feature amounts based on wavelet coefficients.
  • the wavelet feature amount is input to the SVM and the walking motion is recognized.
  • FIG. 17 is a diagram showing recognition accuracy when wavelet feature values are used.
  • Method A a plurality of ways of expansion / contraction / translation are performed on the mother wavelet, and the maximum and minimum values of the wavelet coefficients obtained for each deformation are obtained, whereby the wavelet feature amount is extracted.
  • the recognition accuracy when the wavelet coefficient is used as the feature amount in the single subject is higher than that when the Fourier coefficient is used as the feature amount. It is almost equivalent.
  • the recognition accuracy of “right turn” and “left turn” is higher when the wavelet coefficient is used as the feature amount than the recognition accuracy of “right turn” and “left turn” shown in FIG. It tends to be low.
  • the recognition accuracy of motion recognition in user-dependent is the central part shown in FIG.
  • the recognition result in the mixed-user is the right part shown in FIG.
  • the accuracy obtained by using the wavelet coefficient as the feature quantity is almost equivalent to the case of using the Fourier coefficient as the feature quantity.
  • the recognition accuracy of “right turn” and “left turn” is about 5% higher when the Fourier coefficient is used as the feature amount (see FIG. 16).
  • FIG. 18 is a diagram showing recognition accuracy when an autocorrelation matrix is used.
  • the overall recognition accuracy is about 85%.
  • the recognition accuracy when the autocorrelation matrix is used as the feature amount is about 5% lower than the recognition accuracy when the Fourier coefficient is used as the feature amount (see FIG. 16).
  • the recognition accuracy of “right turn” and “left turn” is reduced by 20% or more, which is greatly deteriorated as compared with the recognition accuracy of other operations.
  • the recognition accuracy of the motion recognition in the user-dependent is the central part shown in FIG.
  • the recognition accuracy in the case of user-dependen is almost the same in both tendency and accuracy of recognition accuracy when using data of a single subject.
  • the recognition accuracy of motion recognition in mixed-user is the right side portion shown in FIG.
  • the recognition accuracy in the case of mixed-user is the same as the tendency of recognition accuracy when using data of a single subject.
  • FIG. 19 is a diagram showing the recognition accuracy when the direction and position in the motion recognition method are fixed.
  • the recognition accuracy shown in FIG. 19 is an experimental result when the SVM cost is set to 25 by single-user.
  • FIG. 20 is a diagram illustrating the recognition accuracy when the orientation is fixed and the position is not fixed in the motion recognition method. As shown in FIG. 20, the tendency of recognition accuracy in this case is not significantly different from the case where the orientation of the mobile terminal device 10 is not fixed (see FIG. 16). Therefore, fixing the orientation of the terminal is considered not to contribute to the improvement of recognition accuracy. From the above, this motion recognition method can achieve motion recognition independent of the storage position and orientation of the mobile terminal device 10.
  • the sensor data read value is converted into a value on the absolute coordinate axis shown in FIG. 4 and used for recognition calculation, thereby generating a feature quantity independent of the direction of the information processing apparatus 10.
  • walking “walking”, “running”, and “retreating” are considered to be less affected by coordinate transformation because of the strong aspect of motion recognition that focuses on the difference in motion itself.
  • this operation recognition method can correctly recognize the operation of the target user even in an environment where a plurality of users are mixed.
  • the accuracy obtained when the subjects in the learning data and the recognition data do not match (user-independent) is greatly degraded compared to either mixed-user or user-dependent, and the walking motion is correct. I can't recognize it. Therefore, in order to recognize a walking motion by this motion recognition method, it is necessary to collect sensor data of a user's walking motion that is a target of motion recognition in advance.
  • walking motions such as “walking”, “running”, “turning right”, and “turning left” can be identified, and both types of walking motions and motion directions can be recognized simultaneously.
  • the motion of a pedestrian can be measured using a motion sensor (9-axis sensor 28A) mounted on a general mobile terminal device 10.
  • this motion recognition method after converting the measurement value of the motion sensor into an absolute coordinate system that does not depend on the orientation of the mobile terminal device 10, a feature value based on the waveform shape of the sensor data is generated, and this feature value is input to the SVM. To learn and recognize walking movements.
  • this motion recognition method can recognize walking motions with an accuracy of about 90% as a whole.
  • FIG. 21 is a flowchart illustrating an example of the motion recognition process in the first embodiment.
  • the acquisition unit 112 acquires sensor data measured by the 9-axis sensor 28A, and the motion recognition unit 106 cuts out the measured sensor data as partial data.
  • step S104 the separation unit 122 separates the partial data of the acceleration data into an acceleration component and a motion component.
  • step S106 the first calculation unit 124 calculates an Euler angle for matching the device coordinate system with the ground coordinate system.
  • step S108 the first calculation unit 124 converts the acceleration data from the device coordinate system to the ground coordinate system using the calculated Euler angles. Further, the second calculation unit 126 converts the angular velocity data from the device coordinate system to the ground coordinate system using the calculated Euler angles.
  • step S110 the extraction unit 132 extracts feature amounts from the acceleration data and the angular velocity data converted into the ground coordinate system.
  • the feature amount include a Fourier coefficient and a wavelet coefficient.
  • step S112 the learning unit 134 and the classification unit 136 input the extracted feature amount, perform machine learning on a plurality of operations, and classify the predetermined operations.
  • the information processing apparatus 10 in the first embodiment can recognize the operation type and the operation direction without depending on the direction of the apparatus including various motion sensors.
  • the information processing apparatus 10 can use a very general smartphone or tablet terminal as equipment to be used for realizing the movement recognition of a pedestrian.
  • the information processing apparatus 10 can realize two types of problems of recognition of motion types and motion direction recognition with a single learning / classifier.
  • seven movements are exemplified as walking movements, but the movement content is not limited to this example.
  • the motion recognition process described above may be implemented as a recording medium that records a program for causing the information processing apparatus 10 to execute the motion recognition process.
  • the information management system in the second embodiment is, for example, a system that watches the movement of a target (a person, a device, or the like) that holds or wears the information processing apparatus 10 in the first embodiment.
  • the following information management system will be described by taking as an example a system that watches the behavior of a user holding the information processing apparatus 10, but is also applicable to a system that monitors the movement of a device to which the information processing apparatus 10 is mounted. can do.
  • FIG. 22 is a conceptual diagram illustrating an example of an information management system in the second embodiment.
  • information processing devices 10A, 10B, and 10C held by a user and server devices 50 and 60 that manage information transmitted from the information processing devices 10A to 10C are connected via a network N.
  • the server devices 50 and 60 may manage information in a distributed manner, or may be managed by either one of the devices.
  • the central management in the server device 50 will be described as an example.
  • Each information processing apparatus uses the reference numerals 10A, 10B, and 10C when individually distinguishing and explaining, and does not need to be distinguished individually, and when explaining together, the reference numeral 10 is used.
  • the information processing apparatus 10 connects online to the server apparatus 50 via the network N, and transmits information including operation information indicating the operation recognized in the operation recognition process described above in the first embodiment.
  • the server device 50 includes, for example, operation information indicating an operation recognized through the network N from the information processing apparatus 10 in which a plurality of users have started the operation recognition application, and target information indicating an object on which the operation has been performed. Receive.
  • the server device 50 may acquire other information from the information processing device 10, for example, information such as measurement data of an external sensor.
  • the server device 50 manages and stores each piece of information acquired from the information processing device 10 in association with each other.
  • the network N is the Internet or the like, and includes a wireless LAN access point, a mobile phone base station, and the like.
  • FIG. 23 is a diagram illustrating an example of a hardware configuration of the server device 50 according to the second embodiment.
  • the server device 50 includes a control unit 202, a communication interface 206, a storage unit 208, a display unit 214, and an input unit 216, and each unit is connected via a bus line.
  • the control unit 202 includes a CPU, a ROM, a RAM 204, and the like.
  • the control unit 202 executes a management program 210 or the like stored in the storage unit 208, thereby realizing a process for managing a target held by the information processing apparatus 10, for example, in addition to a function as a general server apparatus. Configured.
  • the RAM 204 temporarily stores various information, and is used as a work area when the CPU executes various processes.
  • the communication interface 206 controls communication with the server device 60 and the information processing device 10 via the network N.
  • the storage unit 208 is composed of an HDD, for example, and stores a management program 210 in addition to storing an application and data (not shown) for realizing a function as a general information processing apparatus.
  • the storage unit 208 has an information storage unit 212.
  • the management program 210 is a program for performing processing related to management, and is a program that acquires each piece of information from the information processing apparatus 10 and stores each piece of information in the information storage unit 212 for management.
  • the management program 210 may be stored in a computer-readable recording medium, read from the recording medium, and stored in the storage unit 208.
  • the information storage unit 212 stores, for example, data measured by each sensor, operation information, target information, time information, and the like in association with each other.
  • Display unit 214 displays information to the administrator.
  • the input unit 216 receives input from the administrator or receives instructions from the administrator.
  • the server device 50 does not necessarily include the display unit 214 and the input unit 216, and the display unit 214 and the input unit 216 may be connected to the server device 50 from the outside.
  • server device 60 Since the server device 60 has the same configuration as the server device 50, the description thereof is omitted.
  • the first transmission unit 102 includes motion information indicating motion recognized motion, target information indicating a target that holds the information processing apparatus 10, and position information acquired from a position acquisition function such as GPS.
  • Each sensor data measured by each sensor is transmitted to the server device 50 periodically or at a predetermined timing.
  • FIG. 24 is a block diagram illustrating an example of a functional configuration of the server device 50 according to the second embodiment.
  • the server device 50 illustrated in FIG. 24 includes a second transmission unit 302, a second reception unit 304, and an operation management unit 306.
  • the second transmission unit 302 can be realized by the control unit 202, the communication interface 206, and the like, for example.
  • the second transmission unit 302 may transmit operation management information by the operation management unit 306 described later to an information processing apparatus 10 different from the information processing apparatus 10 that transmitted sensor data and the like via a network.
  • the information processing apparatus that is the transmission destination of the operation management information may be set in advance.
  • the target person holding the information processing apparatus that transmits sensor data or the like is a child, an elderly person, a worker, or the like, and the target person holding the information processing apparatus that receives the operation management information is a parent or a manager. It is.
  • the second receiving unit 304 can be realized by the control unit 202, the communication interface 206, and the like, for example.
  • the second receiving unit 304 includes, for example, motion information indicating the motion recognized by the information processing device 10, target information indicating a target that holds the information processing device 10, position information of the own device, and each measured by each sensor. Receive sensor data.
  • the operation management unit 306 can be realized by the control unit 202, the storage unit 208, and the like, for example.
  • the operation management unit 306 associates and manages each piece of information acquired from the information processing apparatus 10.
  • the operation management unit 206 manages position information, operation information, and target information in association with each other.
  • the operation management unit 306 includes a management unit 310, a storage unit 312 and a display unit 314 in order to manage various types of information.
  • the management unit 310 may manage, for example, the position information, the operation information, and the target information included in the predetermined area in association with each predetermined area. As a result, the management unit 310 can manage the detailed operation of the user in the predetermined area (predetermined area), the flow of people, and the like.
  • the management unit 310 may manage time information in association with position information and operation information for each predetermined target. Thereby, the management unit 310 can accumulate past operation management information of the designated person, and can compare the current position of the user with past data, and manages the operation information in terms of time. can do.
  • the management unit 310 may manage, in time series, position information and operation information associated with each target included in the predetermined area for each predetermined area. Accordingly, the server device 50 can be realized by reproducing a plurality of users like a moving image spatially. Also, by preparing a slider in the screen and moving this slider, changes in the operating status are displayed along the time axis.
  • the storage unit 312 stores operation management information.
  • FIG. 25 is an example of operation management information.
  • the operation management information shown in FIG. 25 stores the notification time, position, operation, heart rate, temperature, humidity, atmospheric pressure, radiation dose (not shown), and the like in association with each target information “U00001”.
  • the notification time may be acquired using the clock function of the server device 50 or transmitted from the information processing device 10.
  • Information such as position, motion, heart rate, temperature, humidity, atmospheric pressure, and radiation dose is information transmitted from the information processing apparatus 10.
  • the operation management information can manage micro information of the operation including the operation type and the operation direction. For example, there is an error of about several meters at the position acquired by the position acquisition function, and the operation management unit 306 cannot manage a micro operation using only the position information.
  • the display unit 314 displays the operation management information as necessary.
  • the display unit 314 can change how the operation management information is displayed according to an instruction from the administrator.
  • the display unit 314 may display the operation management information of the user included in the predetermined area.
  • the display unit 314 may display the current position of the predetermined target person in comparison with the past position.
  • the display unit 314 may display the operation state of the subject while changing in time in the space of the designated area. Good.
  • each application example will be described using specific examples.
  • FIG. 26 is a diagram for explaining an example of one screen in application example 1.
  • FIG. The specific example shown in FIG. 26 is a system that holds the information processing apparatus 10 in a predetermined area and watches over a user who performs farm work.
  • the user activates the operation recognition application of the information processing apparatus 10.
  • the information processing apparatus 10 automatically transmits various types of information to the server apparatus 50.
  • a remote point different from the point where the user is, for example, an administrator in the office confirms and monitors the operation management information transmitted to the server device 50.
  • the server device 50 manages the operation status of a plurality of users in a predetermined area.
  • the server device 50 can manage what user is doing what at what time by managing the position of the user, the time when the operation information is acquired, and the like.
  • the server device 50 may highlight the server device 50 or send a mail to a person set in an emergency.
  • the abnormal state may be set in advance from among the operations to be classified.
  • FIG. 27 is a diagram for explaining another screen example in the application example 1.
  • the past of a certain user for example, the movement locus tr10 of the previous day and the current position are displayed.
  • An area ar10 for displaying sensor data for a certain user in real time is displayed.
  • the screen information shown in FIGS. 26 and 27 may be transmitted to a preset user, that is, a person who watches.
  • FIG. 28 is a diagram showing an example of information transmitted to the person watching.
  • FIG. 28A is a screen example showing the current status of “ikeda” shown in FIG.
  • FIG. 28B is a screen example showing the current sensor data of “ikeda” shown in FIG.
  • the server device 50 can notify the watcher of the current status of “ikeda” by transmitting the operation management information to a preset watcher information processing device.
  • FIG. 29 is a diagram for explaining an example of one screen in the application example 2. As shown in FIG. 29, the screen includes a region for displaying a past trajectory tr20 for a single user and a region ar20 for displaying sensor data.
  • the trajectory tr20 in the past operation information and / or position information of the specified single user is displayed on the screen. This makes it possible to compare the current position with past actions. Further, the time-series change of the sensor data at this time is also displayed on the screen.
  • FIG. 30 is an enlarged view of the past trajectory tr20 in the application example 2. As shown in FIG. 30, the trajectory tr20 can be displayed in an enlarged manner, and detailed actions can also be displayed.
  • Application Example 3 is a combination of Application Example 1 and Application Example 2, and is a system that spatially watches a plurality of users.
  • the system of application example 3 as in application example 1, it is possible to watch a plurality of users working on a designated farmland or the like at a remote place and reproduce each user's movement as a moving image. be able to.
  • a slider indicating the passage of time is prepared on the display screen, and an administrator or the like moves the slider to display a change in the situation along the time axis on the display screen.
  • the motion recognition described in the first embodiment can be applied to a system for watching an object.
  • the information processing apparatus 10 may transmit sensor data or the like to the server apparatus 50, and the server apparatus 50 may perform an action recognition process based on the sensor data or the like.
  • the server device 50 manages position information and physical quantities measured at the position, and visualizes the information.
  • the administrator of the server device 50 designates a predetermined range of the field and visualizes and displays physical quantities within the predetermined range (for example, soil pH value, temperature, chemical composition, etc.). can do.
  • the information display system in the third embodiment can also acquire information to be visualized from the information processing apparatus 10.
  • the information display system in the third embodiment is the same as the system configuration shown in FIG. Note that the information processing apparatus 10 of the information display system in the third embodiment does not necessarily have the motion recognition function described in the first embodiment.
  • the hardware configuration of the information processing apparatus 10 is the same as that shown in FIG.
  • the hardware configuration of the server device 50 is the same as the configuration shown in FIG.
  • the second transmission unit 302 can be realized by the control unit 202, the communication interface 206, and the like, for example.
  • the second transmission unit 302 may transmit a physical quantity in a predetermined area managed by an operation management unit 306 described later to the information processing apparatus 10 requesting the physical quantity via a network.
  • the predetermined area is a work place, a construction site, a farm field, a mountainous area, or an accident site, and physical quantities include temperature, humidity, illuminance, atmospheric pressure, wind direction wind force, soil pH value, temperature, chemical composition, radiation dose, etc. At least one of the following.
  • the second transmission unit 302 may transmit operation management information by an operation management unit 306 described later to an information processing apparatus 10 different from the information processing apparatus 10 that transmitted sensor data or the like via a network.
  • the information processing apparatus that is the transmission destination of the operation management information may be set in advance.
  • the second receiving unit 304 can be realized by the control unit 202, the communication interface 206, and the like, for example.
  • the second reception unit 304 associates position information with a physical quantity and receives the information from another device.
  • the receiving unit 304 receives a request for visualizing a physical quantity from a predetermined device.
  • the second receiving unit 304 includes motion information indicating the motion recognized by the information processing device 10, target information indicating a target that holds the information processing device 10, position information of the own device, and each measured by each sensor. Sensor data or the like may be received.
  • the operation management unit 306 can be realized by the control unit 202, the storage unit 208, and the like, for example.
  • the operation management unit 306 associates and manages each piece of information acquired from the information processing apparatus 10.
  • the operation management unit 306 may manage the position information and the physical quantity in association with each other, and may further manage the operation information and target information in association with each other.
  • the management unit 310 may manage the positional information and the physical quantity in association with each other, and may further manage the operation information and target information in association with each other. For example, the management unit 310 may set the position information and the physical quantity in advance. As a result, the management unit 310 associates the positional information with the physical quantity, so that the physical quantity in the predetermined area (predetermined area) can be visualized and the physical quantity can be easily displayed to the user.
  • the storage unit 312 stores physical quantity information or operation management information.
  • the physical quantity information is information in which a physical quantity is associated with each position.
  • the display unit 314 displays physical quantities and operation management information as necessary.
  • the display unit 314 can change how the physical quantity and the operation management information are displayed according to an instruction from the administrator.
  • FIG. 31 is a block diagram illustrating an example of a functional configuration of the information processing apparatus 10 according to the third embodiment.
  • the functions of the information processing apparatus 10 in the third embodiment shown in FIG. 31 the same functions as those of the information processing apparatus 10 in the first embodiment shown in FIG. Hereinafter, functions different from the functions in the first embodiment will be described.
  • the first transmission unit 102 requests the server device 50 to transmit a physical quantity associated with a predetermined area set by the setting unit 502 described later.
  • the first receiving unit 104 receives a physical quantity associated with a predetermined area.
  • the setting unit 502 sets a predetermined area or sets one or more threshold values of physical quantities.
  • the set predetermined area is output to the first transmission unit 102, and the set threshold is output to the display unit 506.
  • the visualization unit 504 visualizes a physical quantity within a predetermined range that is designated or set according to the quantity. For example, the visualization unit 504 causes the color shading to indicate the magnitude of the physical quantity. Thereby, for example, soil pH value, soil temperature, chemical components, etc. in a field can be visualized.
  • the visualization unit 504 may display the operation information in association with the physical quantity.
  • the visualization unit 504 may visualize the physical quantity based on the threshold set by the setting unit 502. For example, you may make it visualize the physical quantity below a threshold, the physical quantity above a threshold, the 1st threshold or more and the 2nd threshold (> 1st threshold) or below, or the physical quantity below the 1st threshold and the 2nd threshold or more.
  • the display unit 506 displays the physical quantity visualized by the visualization unit 504.
  • the display unit 506 displays the operation information and the like when the operation information and the like are further associated with the position information.
  • the motion recognition unit 106 may not be provided.
  • the server device 50 manages position information and physical quantities in advance.
  • the physical quantity is, for example, the soil pH value in the field.
  • the information processing apparatus 10 designates a predetermined position (for example, the current position) and transmits the predetermined position to the server device 50. Further, the information processing apparatus 10 may designate a predetermined range and transmit the predetermined range.
  • the server device 50 transmits, to the information processing device 10, a predetermined area including the position received from the information processing device 10 or a physical quantity associated with each position in the specified predetermined region.
  • the information processing apparatus 10 visualizes a physical quantity within a predetermined range received from the server apparatus 50 and displays it on the display unit. At this time, a threshold may be set and visualization may be performed based on the threshold. Next, display examples based on the threshold will be described with reference to FIGS.
  • FIG. 32 is a diagram showing a display example 1 in the third embodiment.
  • a farm field is displayed, and a gauge G10 indicating a pH value is displayed at the left center of the screen.
  • region ar32 whose soil pH value is 5.5 or more is visualized about the middle field among the three fields in a screen.
  • a user can change a setting easily by using the gauge G10.
  • FIG. 33 is a diagram showing a display example 2 in the third embodiment.
  • region ar34 whose soil pH value is less than 5.5 is visualized about the middle field among the three fields in a screen.
  • FIG. 34 is a diagram showing a display example 3 in the third embodiment.
  • region ar36 whose soil pH value is 5.5 or more and less than 6.0 is visualized about the center field among the three fields in a screen.
  • the physical quantity can be visualized using the threshold set by the setting unit 502, and the user can easily change the threshold.
  • the server device 50 manages physical quantities such as temperature, humidity, illuminance, atmospheric pressure, wind direction wind force, soil pH value, soil temperature, soil chemical composition, and radiation dose, in addition to the position information and operation information measured by the information processing apparatus 10. To do.
  • the physical quantity is, for example, the soil pH value in the field.
  • the information processing apparatus 10 acquires the soil pH value from a sensor that detects the soil pH value at the current position, and transmits the predetermined position, operation information, soil pH value, and other information to the server apparatus 50.
  • the server device 50 acquires and manages a predetermined position and operation information, a soil pH value, and other information.
  • the server device 50 may acquire a predetermined range designated from the information processing device 10 and transmit the predetermined range.
  • the server device 50 transmits, to the information processing device 10, a physical area and operation information, a soil pH value, and the like associated with a predetermined area including the position received from the information processing apparatus 10, or each position within the specified predetermined area. .
  • the information processing apparatus 10 visualizes a physical quantity (soil pH value) within a predetermined range and operation information received from the server apparatus 50, and displays them on the display unit. At this time, when a threshold is set, the physical quantity is visualized based on the threshold.
  • the information display system according to the third embodiment can designate a predetermined range and visualize and display a physical quantity associated with a position within the predetermined range.
  • the information display system in the third embodiment can also acquire information to be visualized from the information processing apparatus 10.
  • the information management system in the fourth embodiment manages, for example, information related to motion recognition in the first embodiment and information obtained by an existing camera system, for example, a monitoring camera. Although details will be described later, this makes it useful for person identification, performs highly accurate movement tracking, and enables indoor positioning by a portable terminal device.
  • FIG. 35 is a diagram for explaining the outline of the information management system in the fourth embodiment.
  • the target user shown in FIG. 35 holds the information processing apparatus 10 described in the first embodiment and performs a predetermined operation.
  • a system that performs motion recognition by the information processing apparatus 10 is hereinafter referred to as a motion recognition system.
  • the camera system shown in FIG. 35 is an existing camera system, for example, a surveillance camera system.
  • the camera system captures the motion of the target user and acquires motion information of this motion.
  • the information management system stores the information acquired from the motion recognition system and the information acquired from the camera system in association with each other and applies them to action recognition tasks such as person identification, movement tracking, and indoor positioning.
  • the hardware configuration of the information processing apparatus 10 is the same as that shown in FIG.
  • the hardware configuration of the server device 50 is the same as the configuration shown in FIG. Moreover, since an existing system should just be applied for a camera system, the description is abbreviate
  • the second receiving unit 302 receives information related to motion recognition transmitted from the motion recognition system and information related to motion transmitted from the camera system.
  • the information related to motion recognition from the motion recognition system is, for example, motion information, acceleration information, angular velocity information, position information, plane azimuth angle information, and the like. Further, the information related to the operation from the camera system is human behavior information such as position information, rotation angle information, plane azimuth information, and gestures. This behavior information is synonymous with operation information.
  • the existing camera system it is possible to automatically extract the above-mentioned position information, rotation angle information, plane azimuth angle information, operation information, etc. Furthermore, the movement trajectory, time local motion, direction, posture, etc. Can also be extracted.
  • the existing camera system includes a camera that is an imaging unit, a recognition unit that analyzes an image captured by the imaging unit and recognizes movement and / or movement of a target, and information about the recognized movement and / or movement. And at least a transmission unit for transmitting.
  • the operation management unit 306 stores and manages the received information in association with each other.
  • the operation management unit 306 can analyze information acquired from the two systems and solve the following problem.
  • the motion management unit 306 associates a history of human motions obtained from each of the motion recognition system and the camera system, for example, motion sequence data arranged in time series, and identifies a person having a specific information processing apparatus 10 in the camera system. It solves the problem of specifying in a camera image or the problem of specifying an information processing apparatus 10 possessed by a person when a person in a camera image is designated. This is called “person identification problem”.
  • the method for solving a person's specific problem is as follows.
  • FIG. 36 is a diagram showing the relationship between the sensor type and the observed value in the fourth embodiment.
  • FIG. 36 shows a comparison between a physical quantity directly observable by the motion recognition system and the camera system and a physical quantity derived from the physical quantity by differentiation / integration / geometric calculation.
  • FIG. 36 is a motion sensor used in the motion recognition system, for example, a 9-axis sensor 28A, and indicates a camera installed in a predetermined environment used in the camera system.
  • the horizontal axis shown in FIG. 36 is a physical quantity that is directly or indirectly observed, such as position, velocity, acceleration, rotation angle, angular velocity, plane azimuth angle, and behavior information.
  • the operation management unit 306 performs differential / integral / geometric conversion on the obtained data. By doing so, a lot of common data can be generated. For this calculation, the existing differential / integral / geometric software package may be used.
  • the operation management unit 306 can solve the person identification problem by matching the corresponding data to the data generated by each system.
  • the motion management unit 306 calculates a distance r of a sequence of motion histories in order to detect a matched person.
  • r (m1-c1) 2 + (m2-c2) 2 +... + (mn-cn) 2
  • mi is the i + 1 item in the second row shown in FIG. 36
  • ci is the i + 1 item in the third row shown in FIG. It shows that possibility that it is the same person is so high that the value of r is small.
  • the distance has been described by the norm (length) of the Euclidean space, but other distance / distance functions may be used.
  • this algorithm is referred to as a “first person identification algorithm”.
  • the operation management unit 306 can increase the accuracy of person identification by the following method. For example, the operation management unit 306 performs clustering using machine learning by SVM or the like while estimating measurement errors of each sensor and errors of calculus / geometric calculation in order to improve the person identification accuracy.
  • the operation management unit 306 newly adds items such as error terms and data reliability inherent in the data in addition to the operation history data obtained from the two types of sensors as learning parameters for machine learning. Add and learn. Thereby, the accuracy of data matching, that is, the accuracy of person identification can be improved.
  • This algorithm is referred to as a “second person identification algorithm”.
  • the operation management unit 306 performs the matching process, It is possible to identify the person who has the information processing apparatus 10 in the camera image.
  • the identification information of the information processing apparatus 10 possessed by the person can be specified.
  • This identification information is information that the terminal is transmitting / receiving data, such as the IP address of the information processing apparatus, the MAC address of WiFi or Bluetooth (registered trademark), and the like.
  • ⁇ Movement tracking ⁇ by using the result of motion recognition of the motion sensor, it is possible to improve the accuracy of the tracking in the camera image, that is, the task of tracking the person existing in the camera image.
  • a tracking system with a single camera and a continuous tracking system between a plurality of cameras have already been proposed, and the software of both systems can be identified by identifying a person with high accuracy using motion recognition of a motion sensor. It can contribute to performance improvement.
  • observation information for positioning for example, Wi-Fi wireless signal strength, etc.
  • indoor positioning is possible only with the information of the motion sensor mounted on the information terminal device and the information of the camera.
  • One of these methods is not dominant, but is complementary.
  • the information processing apparatus 10 acquires image information captured by the camera system, it is possible to display a self-portrait captured by the camera of the camera system on the information processing apparatus 10.
  • the information acquired from the motion recognition system and the information acquired from the camera system are stored in association with each other, and the action recognition task such as person identification, movement tracking, and indoor positioning is performed. Can be applied to.
  • the CPU functions as each unit that executes each process described above.
  • the memory and / or the external storage device function as a storage unit that stores data for various processes executed by the CPU, and the system can be used even if the memory as the storage unit is replaced with an external storage device and the external storage device is replaced with a memory. It is possible to operate without any change, and such an embodiment is also an embodiment of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)
  • Telephone Function (AREA)

Abstract

情報処理装置は、モーションセンサにより計測されるデータを取得する取得部と、データを、モーションセンサの向きに依存する第１座標系からモーションセンサの向きに依存しない第２座標系に変換する変換部と、過去の第２座標系のデータを用いて、種類及び方向を含む複数の動作を機械学習した学習データに基づき、変換部により変換された第２座標系のデータから所定動作を認識する認識部と、を備える。

Description

センサ情報を処理する情報処理装置、情報管理システム、情報表示システム、情報処理方法、プログラム、記録媒体及びサーバ装置
　本発明は、センサ情報を処理する情報処理装置、情報管理システム、情報表示システム、情報処理方法、プログラム、記録媒体及びサーバ装置に関する。
　歩行者ナビゲーションに代表される移動支援サービスにおいて、有効な情報提供を実現するためには、歩行者の動作認識は重要な要素技術となっている。近年の携帯端末装置、例えばスマートフォン、タブレットに搭載されているモーションセンサは高度化しており、歩行者の動作認識と歩行者ナビゲーションを単一端末上で実現する基盤は整っている。モーションセンサは、例えば、加速度センサ、角速度センサ、地磁気センサなどのうちの少なくとも１つである。
　ここで、歩行者の動作認識の例として、「直進」、「右折」、「左折」という３種類の動作の識別について検討する。「直進」と、「右折」及び「左折」との識別は、動作種類の認識問題であり、「右折」と「左折」との識別は、動作方向の認識問題である。
　つまり、歩行者の動作認識という問題は、（１）動作種類の認識、（２）動作方向の認識、という２種類の認識問題を含む。しかし、従来技術では、（１）の動作種類の認識のみを主眼とした事例がほとんどである。また、（２）の動作方向の認識を可能とする従来技術では、認識のために用いる機材について特殊な条件、例えば、特定機材の使用、又は装置の向きや固定方法に制約がある（携帯端末装置を固定位置に装着する）などの条件が求められている。
　他方、近年の携帯端末装置に実装されるモーションセンサを用いて動作認識する手法において、携帯端末装置についての特殊な条件（特殊機材の使用や装置の向きや固定方法の制約）があると、使い勝手が悪い。
　よって、動作認識手法の使い勝手等を良くするため、モーションセンサを備える一般的な携帯端末装置を用い、装置の向きや固定方法に依存せずに、動作認識を行う技術が研究されている（例えば、非特許文献１～３参照）。
嶋谷健太郎 他, 「スマートフォンを用いたコンテンツ検索支援のための動作認識」, 電子情報通信学会技術研究報告. PRMU, pp.47-52, 2012.
Zhen-Yu He and Lian-Wen Jin, "Activity recognition from acceleration data using AR model representation and SVM", 2008 International Conference on Machine Learning and Cybernetics, pp.2245-2250, 2008.
T. Kobayashi, K. Hasida and N. Otsu, "Rotation invariant feature extraction from 3-D acceleration signals", Proceedings of International Conference on Acoustics, Speech, and Signal Processing (ICASSP), pp. 3684-3687,
　しかしながら、上記の従来技術では、動作種類のみを認識するだけであり、動作方向の認識については、実現されていない。よって、モーションセンサを備える一般的な携帯端末装置を用いて、その装置の向きや固定方法に依存せずに、動作種類のみならず動作方向についても認識することが可能な動作認識手法が求められている。
　そこで、本発明は、モーションセンサを備える一般的な携帯端末装置を用いて、その装置の向きや固定方法に依存せずに、動作種類及び動作方向を認識することができる情報処理装置、情報管理システム及び情報処理方法を提供する。なお、簡単のため、以降では「装置の向きや固定方法」のことを「装置の向き」と略記する。
　本発明の一態様における情報処理装置は、モーションセンサにより計測されるデータを取得する取得部と、前記データを、前記モーションセンサの向きに依存する第１座標系から前記モーションセンサの向きに依存しない第２座標系に変換する変換部と、過去の前記第２座標系のデータを用いて、種類及び方向を含む複数の動作を機械学習した学習データに基づき、前記変換部により変換された第２座標系のデータから所定動作を認識する認識部と、を備える。
第１実施形態における情報処理装置のハードウェア構成の一例を示すブロック図である。 第１実施形態における情報処理装置の機能構成の一例を示すブロック図である。 動作認識の対象とする歩行動作の一例を示す図である。 座標変換を説明するための図である。 地上座標系、デバイス座標系及びオイラー角の関係を示す図である。 左折時の理想的な角速度（ｚ軸回り）データの波形形状の一例を示す図である。 格納場所Ａを説明するための図である。 格納場所Ｂを説明するための図である。 格納場所Ｃを説明するための図である。 格納場所Ｂにおける格納向きＡを説明するための図である。 格納場所Ｂにおける格納向きＢを説明するための図である。 格納場所Ｃにおける格納向きＡを説明するための図である。 格納場所Ｃにおける格納向きＢを説明するための図である。 直線の歩行動作を計測する場所を説明するための図である。 右折及び左折の歩行動作を計測する場所を説明するための図である。 第１実施形態における動作認識手法の認識精度を示す図である。 ウェーブレット特徴量を用いた場合の認識精度を示す図である。 自己相関行列を用いた場合の認識精度を示す図である。 本動作認識手法における向き及び位置を固定した場合の認識精度を示す図である。 本動作認識手法における向きを固定し、位置を固定しない場合の認識精度を示す図である。 第１実施形態における動作認識処理の一例を示すフローチャートである。 第２実施形態における情報管理システムの一例を示す概念図である。 第２実施形態におけるサーバ装置のハードウェア構成の一例を示す図である。 第２実施形態におけるサーバ装置の機能構成の一例を示すブロック図である。 動作管理情報の一例である。 適用例１における一画面例を説明するための図である。 適用例１における他の画面例を説明するための図である。 見守る人に送信される情報の一例を示す図である。 適用例２における一画面例を説明するための図である。 適用例２における過去の軌跡を拡大した図である。 第３実施形態における情報処理装置の機能構成の一例を示すブロック図である。 第３実施形態における表示例１を示す図である。 第３実施形態における表示例２を示す図である。 第３実施形態における表示例３を示す図である。 第４実施形態における情報管理システムの概要を説明するための図である。 第４実施形態におけるセンサの種類と観測値との関係を示す図である。
　以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。即ち、本発明は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一または類似の部分には同一または類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。
　［第１実施形態］
　以下、本発明の第１実施形態における情報処理装置について説明する。第１実施形態における情報処理装置は、例えば、スマートフォンやタブレット端末などの携帯端末装置などである。
　＜ハードウェア構成＞
　まず、情報処理装置１０のハードウェア構成について説明する。図１は、第１実施形態における情報処理装置１０のハードウェア構成の一例を示すブロック図である。
　図１に示す情報処理装置１０は、移動体通信用アンテナ３０、移動体通信部３２、無線ＬＡＮ通信用アンテナ３４、無線ＬＡＮ通信部３６、記憶部３８、主制御部４０を少なくとも有し、さらに、スピーカ１６、マイクロフォン１８、ハードボタン２０、ハードキー２２、カメラ２６や音声出力端子２４を含む外部インタフェース４２、９軸センサ２８Ａ、他センサ２８Ｂなどを有する。
　タッチパネル１４は、表示装置および入力装置の両方の機能を備え、表示機能を担うディスプレイ（表示画面）１４Ａと、入力機能を担うタッチセンサ１４Ｂとで構成される。
　ディスプレイ１４Ａは、例えば、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイなどの一般的な表示デバイスにより構成される。タッチセンサ１４Ｂは、ディスプレイ１４Ａその上面に配置された接触操作を検知するための素子およびその上に積層された透明な操作面を備えて構成される。タッチセンサ１４Ｂの接触検知方式としては、静電容量式、抵抗膜式（感圧式）、電磁誘導式など既知の方式のうちの任意の方式を採用することができる。
　タッチパネル１４は、主制御部４０による記憶部３８に記憶されているプログラムの実行により生成される画像を表示する。入力装置としてのタッチパネル１４は、操作面に対して接触する接触物（ユーザの指やタッチペンなどを含む。以下、「指」である場合を代表例として説明する）の動作を検知することで、操作入力を受け付け、その接触位置の情報を主制御部４０に与える。指の動作は、接触点の位置または領域を示す座標情報として検知され、座標情報は、例えば、タッチパネル１４の短辺方向および長辺方向の二軸上の座標値として表される。
　９軸センサ２８Ａは、モーションセンサであり、３軸加速度センサ、３軸角速度センサ、３軸地磁気センサを含む。なお、各センサは、別々に設けられてもよい。９軸センサ２８Ａにより計測された加速度データ（第１データ）、角速度データ（第２データ）、地磁気データ（第３データ）は、主制御部４０に入力される。
　他センサ２８Ｂは、１つまたは複数のセンサの総称であり、温度センサ、湿度センサ、気圧センサ、心電位センサ、風向風速センサ、放射線検出センサ、及び土壌成分検出センサなどの少なくとも１つのセンサである。また、他センサ２８Ｂは、例えば外付け用の各センサであり、情報処理装置１０に装着されてもよい。他センサ２８Ｂにより計測されたセンサデータは、主制御部４０に入力される。
　主制御部４０は、各種データや各種情報を取得し、情報処理装置１０を制御する。例えば、主制御部４０は、記憶部３８に記憶されたプログラムを実行することで、各センサからの計測データを取得して、動作認識を行う。主制御部４０の動作認識処理に対する主な機能は、図２を用いて後述する。
　情報処理装置１０は、ネットワーク測位又はＧＰＳ（Global Positioning System）などにより現在位置の位置情報を取得する。
　情報処理装置１０は、移動体通信用アンテナ３０や無線ＬＡＮ通信用アンテナ３４を通じてネットワーク（インターネット）Ｎに接続され、サーバ装置（不図示）との間でデータ通信をすることが可能である。
　＜機能構成＞
　図２は、第１実施形態における情報処理装置１０の機能構成の一例を示すブロック図である。図２に示す情報処理装置１０は、第１送信部１０２、第１受信部１０４、及び動作認識部１０６を含む。
　第１送信部１０２は、例えば主制御部４０、移動体通信部３２、無線ＬＡＮ通信部３６等により実現されうる。第１送信部１０２は、各センサにより計測された計測データや、この計測データに基づき認識された動作内容を、ネットワークを介して送信してもよい。
　第１受信部１０４は、例えば主制御部４０、移動体通信部３２、無線ＬＡＮ通信部３６等により実現されうる。第１受信部１０４は、例えば、サーバ装置から動作認識を行うためのプログラム（動作認識アプリケーション）を受信する。受信されたプログラムは、記憶部３８に記憶され、主制御部４０により実行されることで、後述する、動作認識を行うための各機能が実行される。
　動作認識部１０６は、例えば主制御部４０等により実現されうる。動作認識部１０６は、例えば情報処理装置１０を保持するユーザの動作内容を認識する。この動作内容には、動作種別と動作方向とを含む。動作認識部１０６は、動作内容を認識するため、取得部１１２、変換部１１４、及び認識部１１６を含む。
　取得部１１２は、モーションセンサにより計測されたデータを取得する。例えば、取得部１１２は、９軸センサ２８Ａに含まれる加速度センサにより計測される加速度データ、角速度センサにより計測される角速度データ、及び地磁気センサにより計測される地磁気データを取得する。また、取得部１１２は、他センサ２８Ｂにより計測された計測データを取得してもよい。取得された各データは、変換部１１４に出力される。取得部１１２は、各センサから連続的に計測された各データの部分データを取得してもよい。部分データへの切り出しは、例えば動作認識部１０６が行えばよい。
　変換部１１４は、モーションセンサにより計測されたデータを用いて、各センサの向きに依存する第１座標系から各センサの向きに依存しない第２座標系に変換する。例えば、変換部１１４は、加速度データ及び地磁気データを用いて、加速度データ及び角速度データを、各センサの向きに依存する第１座標系から各センサの向きに依存しない第２座標系に変換する。第１座標系は、デバイス座標系とも称し、第２座標系は、地上座標系とも称す。これにより、各センサの向きに依存しない軸を適切に設定することができる。
　第２座標系は、例えば９軸センサ２８Ａの装着位置や向きから独立した地上座標系であり、具体的には、鉛直方向、南北方向、ならびに前記鉛直方向及び前記南北方向の両方向に直行する方向を３つの軸とする座標系である。
　変換部１１４は、分離部１２２、第１算出部１２４、第２算出部１２６を含む。分離部１２２は、加速度データを重力成分と動作成分とに分離する。この分離は、加速度データをローパスファイルに通す、統計処理によって固定的なベクトルを算出する等の方法で実現できる。変換部１１４は、分離された重力成分及び地磁気データを用いて座標変換処理を行ってもよい。これにより、鉛直上方方向を軸とする際に、加速度データの重力成分を分離して用いるので、座標変換精度を上げることができる。
　第１算出部１２４は、第２座標系に含まれる各軸を順に回転させ、第１座標系と向きを一致させることで各回転角を求め、この各回転角に基づいて第２座標系の第１データを求める。これにより、加速度データを適切に座標変換することができる。
　第２算出部１２６は、求められた各回転角に基づいて第２座標系の第２データを求める。これにより、角速度データを適切に座標変換することができる。
　認識部１１６は、過去の第２座標系のデータを用いて、種類及び方向を含む複数の動作を機械学習した学習データに基づき、変換部１１４により変換された第２座標系のデータから所定動作を認識する。例えば、認識部１１６は、過去の第２座標系の加速度データ及び角速度データを用いて、種類及び方向を含む複数の動作を機械学習した学習データに基づき、変換部１１４により変換された第２座標系の加速度データ及び角速度データから所定動作を認識する。これにより、各センサを有する装置の向きに依存する座標系からこの装置の向きに依存しない座標系に変換し、機械学習及び分類をすることにより、動作種類及び動作方向を含む動作を適切に認識することができる。また、上記手法によれば、各センサを有する装置の装着位置または格納位置にも依存せずに、適切に動作認識を行うことができる。
　また、認識部１１６は、動作認識機能を実現させるため、抽出部１３２、学習部１３４、及び分類部１３６を含んでもよい。
　抽出部１３２は、第２座標系の加速度データ及び角速度データそれぞれの特徴量を抽出する。例えば、抽出部１３２は、高速フーリエ変換やウェーブレット変換などを行って、第２座標系の加速度データ及び角速度データから、学習、分類のために特徴量を抽出する。また、特徴量として、加速度データ及び角速度データの積分値や、高速フーリエ変換やウェーブレット変換の結果の積分値も利用できる。これにより、後続の処理の学習、分類の精度が良くなり、計算量も減らすことができるが、抽出処理は必ずしも必要な処理ではない。
　学習部１３４は、過去の第２座標系の加速度データ及び角速度データを用いて、動作種類及び動作方向を含む複数の動作を機械学習する。機械学習の手法は、既存の方法、例えばＳＶＭ（Support Vector Machine：サポートベクターマシン）等を用いればよい。
　分類部１３６は、学習部１３４により学習された学習データを用いて、変換部１１４により変換された第２座標系の加速度データ及び角速度データを所定動作に分類する。分類手法は、既存の方法を用いればよい。
　なお、学習部１３４及び分類部１３６は、加速度データ及び角速度データからそれぞれ特徴量が抽出されていれば、この特徴量を用いて学習、分類を行う。これにより、計算量を削減するとともに、動作の認識精度を高めることができる。学習部１３４及び分類部１３６は、機能的に分けて説明したが、１つの機能として構成されてもよい。
　＜具体例＞
　次に、第１実施形態における動作認識手法を、歩行動作の認識に適用する場合の具体例について説明する。以下では、情報処理装置１０に９軸センサ２８Ａが設けられているとする。
　情報処理装置１０は、自装置に搭載された９軸センサ２８Ａ（加速度センサ、角速度センサ、地磁気センサ）の情報を解析して、歩行動作の計測・学習・分類によって歩行動作の種類及び方向を認識する。
　この手法の特徴は、情報処理装置１０上での動作認識の課題の一つである「装置の向きによらず正しく動作を認識できる」ことを実現することができる。この手法は、一例として、動作の特徴量としてフーリエ係数を用い、この特徴量をＳＶＭによって学習・分類し、動作認識を行う。この際、情報処理装置１０は、９軸センサ２８Ａの計測値を自装置から独立した座標系での値に変換した後にフーリエ変換を行って装置の向きに依存しない特徴量を抽出し、学習・分類を行う。これにより、装置の向きに依存せず動作認識を可能とすることができる。
　≪対象とする歩行動作≫
　図３は、動作認識の対象とする歩行動作の一例を示す図である。図３に示す例では、情報処理装置１０を所持する対象者が以下の動作を行うときに、動作認識を行う。
ｍｏ１：前方に歩く
ｍｏ２：前方に走る
ｍｏ３：右折する
ｍｏ４：左折する
ｍｏ５：右平行移動する
ｍｏ６：左平行移動する
ｍｏ７：後退する
　≪センサデータの切り出し≫
　情報処理装置１０は、実際の応用例の一つである歩行者ナビゲーションと連携する場合、歩行動作の認識を一定間隔で連続的に行うことが必要である。連続的に計測されるセンサデータを用いて定期的に動作認識を行う場合には、データの一部分を切り出して分類計算に利用する方法が実用的である。
　また、ＳＶＭに入力する特徴量は、一定の次元数、または長さであることが必要であるため、センサデータから一定の長さにデータを切り出す手法を検討する。センサデータは、例えば９軸センサ２８Ａにより計測されたデータである。
　連続したデータに対するデータ切り出し手法はいくつか存在するが、これらのうち広く利用されており、簡便な手法がスライディングウインドウという手法である。スライディングウインドウのパラメータは、ウインドウ幅とずらし幅であり、動作認識部１０６は、これらのパラメータを用いて連続したデータから固定長のデータ（部分データ）を切り出す。
　具体例における認識対象は歩行動作であるから、歩行動作の認識に有効なスライディングウインドウのウインドウ幅およびずらし幅は、歩行周期と関係性があると推測される。
　一般的な人の歩行周期は、１秒間で２歩程度と近似されるため、具体例においては、ウインドウ幅を１秒（約２歩分）、ずらし幅を０．５秒（約１歩分）に設定したスライディングウインドウを適用し、動作認識部１０６は、取得部１１２が取得したセンサデータから部分データを切り出す。
　≪座標変換≫
　図４は、座標変換を説明するための図である。図４に示す例では、９軸センサ２８Ａの向きに依存しない、または９軸センサ２８Ａが搭載された情報処理装置１０の向きに依存しない動作認識を実現するため、各センサデータの座標変換が行われる。
　変換部１１４は、例えば、装置に依存する座標系（以下「デバイス座標系」とも称する）での値から、鉛直方向と南北方向、およびこの２方向に直交な軸（東西方向）により構成される９軸センサ２８Ａの向きに依存しない座標系（以下「地上座標系」とも称する）に変換する。なお、デバイス座標系は、（ｘｄｅｖ，ｙｄｅｖ，ｚｄｅｖ）で表され、地上座標系は、（ｘｔｅｒ，ｙｔｅｒ，ｚｔｅｒ）で表される。
　座標変換の一つの方法として、加速度センサの計測値を用いて鉛直上方方向を検出し、地磁気センサの計測値を用いて磁北方向を検出する方法がある。
　まず、鉛直上方方向について説明する。鉛直上方方向は、加速度センサにより重力加速度を計測できれば検出することが可能である。一般に、歩行動作中に加速度センサによって計測される加速度は、（１）重力加速度、および（２）歩行動作の加速度が加算された値である。これら（１）と（２）とを分離する手法として一般的なものがローパスフィルタである。
　すなわち、重力加速度は周波数が０に近い成分であるため、ローパスフィルタを用いることで、加速度センサにより計測された加速度から重力成分を分離することが可能である。
　ローパスフィルタを実現する簡便な計算手法としては移動平均フィルタがあり、例えば分離部１２２は、この移動平均フィルタを用いる。なお、移動平均における過去の成分の重みづけであるフィルタ係数αは、例えば０．９とする。また、加速度に関するパラメータを以下のとおり定義する。
Figure JPOXMLDOC01-appb-M000001
　分離部１２２は、移動平均フィルタを用いて、重力成分Ｓａｇを以下のように求める。
Figure JPOXMLDOC01-appb-M000002
  
　よって、分離部１２２は、歩行動作成分Ｓａｗを以下のように求める。
Figure JPOXMLDOC01-appb-M000003
  
　次に、磁北方向について説明する。地磁気センサの読み取り値は、磁北を示すベクトルをデバイス座標系にて表現した値である。したがって、磁北方向の検出は、地磁気センサの読み取り値を用いて行われる。
　よって、
以上より、センサデータの座標変換は、加速度の重力成分Ｓａｇと地磁気センサの読み取り値Ｓｍを用いて行われる。
Figure JPOXMLDOC01-appb-M000004
  
　第１算出部１２４は、地上座標系の座標（ｘｔｅｒ，ｙｔｅｒ，ｚｔｅｒ）を以下の順で回転させる。
（１）ｚｔｅｒ軸回り
（２）ｙｔｅｒ軸回り
（３）ｘｔｅｒ軸回り
　第１算出部１２４は、軸回りに回転させることで、地上座標系とデバイス座標系（ｘｄｅｖ，ｙｄｅｖ，ｚｄｅｖ）との向きを一致させた場合、このときの回転角（オイラー角）を以下の変数として定義する。
Figure JPOXMLDOC01-appb-M000005
  
　第１算出部１２４は、これらのオイラー角を用いて、地上座標系からデバイス座標系への座標変換を次のように表現する。はじめに、各軸回りの回転行列Ｒｘ、Ｒｙ、Ｒｚは、以下のとおりに定義される。
Figure JPOXMLDOC01-appb-M000006
  
　よって、第１算出部１２４は、地上座標系からデバイス座標系への座標変換を、以下のように表現する。
Figure JPOXMLDOC01-appb-M000007
  
　地上座標系における重力加速度はｇ＝９．８（ｍ／ｓ２）を用いて
Figure JPOXMLDOC01-appb-M000008
  
と表すことができる。第１算出部１２４は、この式を式（６）の左辺に、デバイス座標系での加速度の重力成分Ｓａｇを式（６）の右辺にそれぞれ代入する。これにより、加速度センサの計測時刻ｔａにおけるオイラー角θta,xterおよびθta,yterは、以下のように求められる。
Figure JPOXMLDOC01-appb-M000009
  
Figure JPOXMLDOC01-appb-M000010
  
　また、地磁気センサの計測時刻ｔｍにおけるｚｔｅｒ軸回りのオイラー角θtm,zterは、地磁気の地上座標系上での水平分力
Figure JPOXMLDOC01-appb-M000011
  
から求められる。地磁気の水平分力は、地磁気センサデータの読み取り値
Figure JPOXMLDOC01-appb-M000012
  
を（１）ｘｔｅｒ軸回り、（２）ｙｔｅｒ軸回りの順に回転することで求められる。
　しかしながら、情報処理装置１０上に搭載された各センサは、独立して計測を行っているため、加速度センサの計測時刻ｔａと地磁気センサの計測時刻ｔｍは一致しないことが多い。したがって、時刻ｔｍにおけるオイラー角θtm,xter、θtm,yterは、加速度の重力成分から直接求めることができないため、θtm,xter、θtm,yterは、時刻ｔｍの直前１個、直後１個のオイラー角をｔｍとの時間差に応じて内分することで求められている。
　なお、時刻ｔｍの直前のオイラー角が存在しない場合、θtm,xter、θtm,yterは、直後２個の値をｔｍとの時間差に応じて外分することで求められる。また、時刻ｔｍの直後のオイラー角が存在しない場合、θtm,xter、θtm,yterは、直前２個の値をｔｍとの時間差に応じて外分することで求められる。よって、時刻ｔｍにおけるオイラー角は求められる。
　上述したことを用いることで、地磁気データの水平分力は、以下のように求められる。
Figure JPOXMLDOC01-appb-M000013
  
　地磁気データの水平分力より、オイラー角θtm,zterは、以下のように求められる。
Figure JPOXMLDOC01-appb-M000014
  
　以上により求めたオイラー角θta,xter、θta,yter、θtm,zterおよび回転行列Ｒｘ、Ｒｙ、Ｒｚを用いることで、地上座標系での各センサの値が求められる。はじめに加速度について述べると、座標空間上で加速度はベクトルとして存在するから、回転行列による計算のみで任意の座標系での値を得ることができる。
　歩行動作の認識には加速度の歩行動作成分のみが必要なため、ここでは地上座標系における加速度の歩行動作成分Ｓａｗを以下のように求める。なお、時刻ｔａにおけるｚｔｅｒ軸回りのオイラー角θta,zterは、時刻ｔａの直前１個、直後１個のオイラー角を時間差に応じて内分することで求めている。
Figure JPOXMLDOC01-appb-M000015
  
　次に、地上座標系における角速度データを求めるにあたっては、端末の回転を地上座標系で表現する方法の検討が必要である。ここでは、時刻ｔにおける、地上座標系でのオイラー角の時間微分
Figure JPOXMLDOC01-appb-M000016
  
地上座標系での角速度
Figure JPOXMLDOC01-appb-M000017
  
およびデバイス座標系での角速度
Figure JPOXMLDOC01-appb-M000018
  
の関係について考えることで、地上座標系における角速度データが求められる。はじめに、オイラー角の時間微分とデバイス座標系での角速度との間には、図５に示す関係が存在する。
　図５は、地上座標系、デバイス座標系及びオイラー角の関係を示す図である。
Figure JPOXMLDOC01-appb-M000019
  
よって、オイラー角の時間微分は以下のように求められる。
Figure JPOXMLDOC01-appb-M000020
  
また、オイラー角の時間微分より、地上座標系での角速度
Figure JPOXMLDOC01-appb-M000021
  
は以下のように求められる。
Figure JPOXMLDOC01-appb-M000022
  
　第２算出部１２６は、式（１４）に、式（１３）で求めたオイラー角の時間微分を代入することで、デバイス座標系での角速度から、地上座標系での角速度データを以下の式で求める。
Figure JPOXMLDOC01-appb-M000023
  
　時刻ｔωにおけるジャイロセンサの読み取り値
Figure JPOXMLDOC01-appb-M000024
  
は、デバイス座標系で観測した角速度データである。この角速度データを式（１５）の左辺に代入することで、式（１６）のように地上座標系での角速度データが得られる。
　なお、時刻ｔωにおけるオイラー角θtω,xter、θtω,yter、θtω,zterは、時刻ｔωの直前１個、直後１個のオイラー角を時間差に応じて内分することで求められている。
Figure JPOXMLDOC01-appb-M000025
  
　式（１６）は式（１１）と同じ形をしていることから、角速度も加速度と同じくベクトルとしての性質を持つことが分かる。
　≪特徴量の生成≫
　抽出部１３２は、例えば、センサデータの波形形状を表す特徴量として各センサ、各軸のデータから抽出したフーリエ係数を用いる。具体的には、抽出部１３２は、（１）地上座標系における加速度の歩行動作成分のシーケンス、および（２）地上座標系における角速度のシーケンスに対して、（１）及び（２）の各軸についてフーリエ係数を求める。
　ここで、歩行動作により発生する加速度データおよび角速度データは、低い周波数の領域に多く存在し、高い周波数の領域にはほとんど存在しないと考えられる。これにより、抽出部１３２は、求められたフーリエ係数のうち、０～２０Ｈｚの成分を後述するＳＶＭに入力する特徴量として用いる。
　ここで、理想的な角速度（ｚ軸回り）データの波形形状について検討する。図６は、左折時の理想的な角速度（ｚ軸回り）データの波形形状の一例を示す図である。図６の横軸は時間で、縦軸は角速度の大きさを示す。
　図６に示すように、角速度α１が小さい場合には、データの波形形状のみでは直進と左折の識別が困難であると考えられる。この識別の困難性に対しては、センサデータの積分値を特徴量に追加することが有効であると考えられる。
　例えば、センサデータが概ね定期的に計測される場合には、センサデータの積分値は、センサの計測値と計測間隔の積の総和により近似することができ、さらに計測間隔は定数と見なすことができる。よって、抽出部１３２は、センサデータの総和もデータ波形の積分値を表す特徴量として用いることができる。
　以上の理由により、抽出部１３２は、センサデータの波形形状に対してフーリエ係数として表現し、データの波形形状の積分値をセンサデータの総和として表現し、これらをＳＶＭに入力する特徴量として用いる。具体的には、抽出部１３２は、以下に示すように特徴量を構成する。
Figure JPOXMLDOC01-appb-M000026
  
　≪学習・分類≫
　学習部１３４及び分類部１３６は、機能的に分けて説明するが、１つの機能として構成されてもよい。認識部１１６は、例えばＳＶＭを用いて、機械学習によるデータ分類を行う。ＳＶＭは、動作認識以外にも幅広い分類・認識問題の分類器として用いられている。
　ＳＶＭは、計算に要する時間が短い、学習データの件数が少ない場合においても高精度な分類を行うことができる、等の特徴を持つ。認識部１１６は、多クラス分類がone-against-one手法およびone-against-all手法により、既知の非線形問題の分類もカーネル関数の導入によりそれぞれ可能となっている。また汎化性能についても、誤分類を許す代わりにペナルティを課す「コスト」の概念を導入することで向上している。
　有効な情報提供には、歩行動作をリアルタイムに認識することが必要であり、学習データの件数も実用的には限られることから、第１実施形態においては、学習部１３４及び分類部１３６は、学習・分類としてＳＶＭを用いて動作認識を行う。
　ＳＶＭの多クラス分類を行う手法は、分類計算の回数は多くなるものの個々の計算が単純なため短時間で計算でき、かつ高い精度を得やすい点に着目し、one-against-one手法を用いる。またＳＶＭのカーネル関数は、入力データに関する事前知識が不要であり、汎用性の高いガウシアンカーネルを用いる。
　これにより、学習部１３４及び分類部１３６は、抽出部１３２により抽出された特徴量を入力し、上述した７つの歩行動作を学習し、分類する。
　　＜実験概要＞
　次に、上述した具体例に対して、発明者らが行った実験について説明する。この実験では、ユーザの所持する情報処理装置１０により歩行動作のセンサデータを取得する。この実験における情報処理装置１０は、９軸センサ２８Ａを搭載するスマートフォンなどの携帯端末装置１０として説明する。
　使用する携帯端末装置１０は、Google Nexus4 (LG社製)であり、本実験において利用したセンサの概要は以下のとおりである。
利用センサとサンプリングレート
加速度センサ：２００Ｈｚ（５ｍｓごとに１回計測）
角速度センサ：２００Ｈｚ（５ｍｓごとに１回計測）
地磁気センサ：５０Ｈｚ（２０ｍｓごとに１回計測）
　本実験においては、携帯端末装置１０をユーザのズボンのポケットおよびスマートフォンホルダに格納して歩行動作のセンサデータが取得される。具体的な格納箇所は図７～９に示し、格納向きは図１０～１３に示すとおりである。
　図７は、格納場所Ａを説明するための図である。図６に示すように、携帯端末装置１０は、格納場所Ａとしてユーザのズボンの左ポケットに格納される。
　図８は、格納場所Ｂを説明するための図である。図７に示すように、携帯端末装置１０は、格納場所Ｂとしてユーザのズボンの右ポケットに格納される。
　図９は、格納場所Ｃを説明するための図である。図８に示すように、携帯端末装置１０は、格納場所Ｃとしてユーザの腰背部の中央に装着されたスマートフォンホルダに格納される。
　図１０は、格納場所Ｂにおける格納向きＡを説明するための図である。図１０に示すように、携帯端末装置１０の画面方向は、進行方向と同じ向きになっている。
　図１１は、格納場所Ｂにおける格納向きＢを説明するための図である。図１１に示すように、携帯端末装置１０の画面方向は、進行方向と逆向きになっている。なお、図１０及び図１１について、格納場所Ｂを例にして説明したが、格納場所Ａについても同様に、軽端末装置１０の画面方向を進行方向、及び逆方向にする。
　図１２は、格納場所Ｃにおける格納向きＡを説明するための図である。図１２に示すように、携帯端末装置１０の画面方向は、進行方向と同じ向きになっている。
　図１３は、格納場所Ｃにおける格納向きＢを説明するための図である。図１３に示すように、携帯端末装置１０の画面方向は、進行方向と逆向きになっている。
　この実験において、これらの格納箇所Ａ～Ｃ、格納向きＡ～Ｂの組み合わせ全ての６通りに対して、１被験者あたり、上述した７種類の歩行動作のセンサデータが各２回ずつ取得される。
　被験者数は２人とし、取得されたセンサデータの総数は、１６８（＝６（組み合わせ）×７（歩行動作）×２（回）×２（人））である。各歩行動作を計測した場所は、図１４、図１５に示すとおりである。
　図１４は、直線の歩行動作を計測する場所を説明するための図である。図１４に示す直線部分の歩行距離は、約１６．５ｍである。
　図１５は、右折及び左折の歩行動作を計測する場所を説明するための図である。図１５に示す直角部分の歩行距離は、約６．５ｍである。
　上述した１６８のセンサデータを用い、情報処理装置１０の一例であるデスクトップＰＣ（Personal Computer）が、動作認識の計算を行うことで第１実施形態における認識手法の精度が評価される。計算に用いたデスクトップＰＣの性能概要は以下のとおりであり、動作認識の計算にはオープンソースの統計ソフト”R”（ R Core Team , “R: A Language and Environment for Statistical Computing”, 2013, Available : http://www.R-project.org）及びそのパッケージ群が利用される。
モデル：Lenovo社製 ThinkCentre M72e Tower
ＣＰＵ：Intel Core i7-3770, 3.40 GHz
メモリ：16.0 GB, DDR3-1600
　ＳＶＭによる動作認識の評価に際して、デスクトップＰＣは、取得されたセンサデータを上述したスライディングウインドウにより分割して部分データを切り出し、分割後の部分データを用いた３分割交差検定により認識精度を求める。ＳＶＭのパラメータについて、ＳＶＭのコストは１，５，１０，２５，５０，１００の６通りが設定され、ガウシアンカーネルのパラメータσは（座標系の軸数＝３）／（特徴量ベクトルの次元数）を用いて評価が行われる。
　＜実験結果＞
　≪単一の被験者による結果≫
　図１６は、第１実施形態における動作認識手法（以下、本動作認識手法とも称す。）の認識精度を示す図である。図１６に示す左側（single-user）は、単一の被験者による動作認識の結果を示す。ＳＶＭのコストが２５の場合において、全体として約９０％、誤認識の多い動作（「右折」「左折」）についても８０％以上の認識精度が得られている。よって、本動作認識手法は、一定以上の認識精度を達成したことが分かる。
　≪複数の被験者による評価結果≫
　図１６に示す中央（user-dependent）は、複数の被験者のセンサデータを用い、本動作認識手法により動作認識を行った結果を示す。それぞれの被験者のデータは、学習データと分類データに分割して評価が行われている。
　被験者ごとに認識精度の差はあるものの、全体として９０％程度、誤認識の多い動作についても８５％程度の動作認識精度が得られた。したがって、user-dependentではいずれのユーザにおいても、一定以上の認識精度が得られると考えられる。
　動作ごとの精度について、「右折」「左折」の認識精度は、他の動作と比較して単一被験者の場合からの変化が大きい。この理由は、これらの動作が、被験者ごとの差異が他の動作よりも大きいためであると考えられる。
　図１６に示す右側（mixed-user）は、全被験者のデータをランダムに分割して、学習と分類とを行い、動作認識を行った結果を示す。mixed-userにおいて得られた認識精度は、user-dependentと比較して、全体的な認識精度および誤認識の傾向はほぼ同じである。
　＜既存の特徴量を適用する手法との比較＞
　次に、特徴量を抽出する既存手法を、歩行動作の認識に応用した場合の認識精度を評価することで、本動作認識手法と既存手法を応用した手法との動作認識精度を比較する。ここでは、座標変換を行わずにウェーブレット係数をもとにした特徴量を用いる手法を手法Ａ、及びセンサの向きに依存しない特徴量を用いる手法を手法Ｂとし、この２通りの特徴量をＳＶＭに入力することで歩行動作の認識を行い、認識精度の比較を行う。
　≪本動作認識手法と手法Ａとの比較≫
　ウェーブレット係数をもとにした特徴量を用いる手法Ａの一つとして、非特許文献１に記載された手法に示された特徴量を用いる場合について説明する。手法Ａでは、ウェーブレット特徴量をＳＶＭに入力して歩行動作の認識が行われる。
　図１７は、ウェーブレット特徴量を用いた場合の認識精度を示す図である。この手法Ａにおいて、マザーウェーブレットに対して複数通りの伸縮・平行移動が行われ、各変形に対して得られるウェーブレット係数の最大・最小値が求められることで、ウェーブレット特徴量が抽出される。
　図１７に示す左側のsingle-userにおいて、単一の被験者において、特徴量としてウェーブレット係数を用いた場合の認識精度は、特徴量としてフーリエ係数を用いた場合と比較して、全体の認識精度はほぼ同等である。しかし、図１７に示すように、「右折」及び「左折」の認識精度は、特徴量としてウェーブレット係数を用いた場合の方が、図１６に示す「右折」及び「左折」の認識精度よりも低い傾向にある。
　user-dependentにおける動作認識の認識精度は、図１７に示す中央部分である。mixed-userにおける認識結果は、図１７に示す右側部分である。特徴量としてウェーブレット係数を用いることで得られた精度は、特徴量としてフーリエ係数を用いた場合とほぼ同等である。しかし、「右折」及び「左折」の認識精度は、特徴量としてフーリエ係数を用いた場合のほうが５％程度高い（図１６参照）。
　≪本動作認識手法と手法Ｂとの比較≫
　センサの向きに依存しない特徴量を用いる手法Ｂの一つとして、非特許文献３に記載された、提案されたセンサの向きに依存しない特徴量としての自己相関行列を用いる場合について説明する。手法Ｂでは、自己相関行列をＳＶＭに入力して歩行動作の認識が行われる。
　図１８は、自己相関行列を用いた場合の認識精度を示す図である。図１８に示す左側のsingle-userにおいて、全体の認識精度は８５％程度である。特徴量として自己相関行列を用いた場合の認識精度は、特徴量としてフーリエ係数を用いた場合の認識精度と比較して、５％程度低い（図１６参照）。また、動作種類ごとに精度を評価すると、「右折」および「左折」の認識精度が２０％以上低下しており、他の動作の認識精度と比較して大きく劣化している。
　次に、user-dependentにおける動作認識の認識精度は、図１８に示す中央部分である。user-dependenの場合の認識精度は、単一の被験者のデータを用いた場合の認識精度の傾向・精度ともにほぼ同じである。
　また、mixed-userにおける動作認識の認識精度は、図１８に示す右側部分である。mixed-userの場合の認識精度は、単一の被験者のデータを用いた場合の認識精度の傾向と同じである。
　≪向き及び位置の影響≫
　次に、携帯端末装置１０の向き及び携帯端末装置１０の格納位置（以下、単に「向き及び位置」という。）が、動作認識に及ぼす影響について説明する。
　図１９は、本動作認識手法における向き及び位置を固定した場合の認識精度を示す図である。図１９に示す認識精度は、single-userでＳＶＭコストを２５にしたときの実験結果である。
　図１９に示す正解率と、図１６に示す正解率（single-user、ＳＶＭコスト＝２５）とを比較すると、向き及び位置を固定した場合の方が、全体の認識精度は高かったが、両認識精度の差は５％程度であったため、本動作認識手法は、携帯端末装置１０の向きや位置の変化に対して頑健であるといえる。
　また、発明者らは、携帯端末装置１０の格納位置は固定せず、携帯端末装置１０の向きを進行方向と反対に固定した場合についても実験した。図２０は、本動作認識手法における向きを固定し、位置を固定しない場合の認識精度を示す図である。図２０に示すように、この場合の認識精度の傾向は、携帯端末装置１０の向きを固定しない場合（図１６参照）と大きく変わらなかった。そのため、端末の向きの固定は、認識精度の向上に貢献しないと考えられる。以上のことより、本動作認識手法は、携帯端末装置１０の格納位置及び向きに依存しない動作認識を達成することができる。
　＜考察＞
　≪座標変換が動作認識に及ぼす影響≫
　本動作認識手法において、センサデータの読み取り値を図４に示した絶対座標軸での値に変換して認識計算に利用することで、情報処理装置１０の向きに依存しない特徴量を生成する。
　しかし、歩行者の進行方向と本動作認識手法における絶対座標系の各軸は必ずしも一致しないため、この不一致が歩行動作の認識に及ぼす影響について説明する。
　まず、「歩く」、「走る」及び「後退」については、動作自体の違いに着目した動作認識の側面が強いため、座標変換による影響は少ないと考えられる。
　次に、「右折」及び「左折」について、これらは「時計回りの回転」及び「反時計回りの回転」として区別することができる。これらの回転運動は、理想的な条件下で考えれば角速度センサの積分値を参照することで判別可能であるため、座標変換による影響は少ない。
　最後に、「右平行移動」及び「左平行移動」について、これらは動作として近似しており「右折」及び「左折」のように簡略化して区別することも難しい。しかし、厳密には「右平行移動」と「左平行移動」は同じ動作とはならないため、この違いを抽出することにより、これらを判別することが可能だと考えられる。
　≪被験者の違いが動作認識に及ぼす影響≫
　発明者らは、被験者ごとの認識精度の違いについて分析したところ、同一被験者のデータを分割して学習と認識を行った場合(user-dependent)には、認識精度や誤認識の傾向は異なる被験者間において大きく変わらないことが判明した。
　また、全被験者のデータをランダムに分割して学習と認識を行った場合(mixed-user)とuser-dependentの認識精度や誤認識の傾向もほぼ同様である。よって、本動作認識手法は、複数のユーザが混在する環境においても、対象となるユーザの動作を正しく認識することができる。
　他方で、学習データと認識データの被験者が一致しない場合(user-independent)に得られた精度は、mixed-user, user-dependentのいずれと比較しても大きく劣化しており、正しく歩行動作を認識することができていない。したがって、本動作認識手法により歩行動作の認識を行うためには、事前に動作認識の対象となるユーザの歩行動作のセンサデータを収集することが必要である。
　＜実験のまとめ＞
　本動作認識手法では、「歩く」「走る」「右折」「左折」等の歩行動作を識別可能であり、歩行動作の種類と動作方向との両方を同時に認識することができる。
　本動作認識手法では、一般的な携帯端末装置１０に搭載されたモーションセンサ（９軸センサ２８Ａ）を用いて歩行者の動作を計測することができる。
　本動作認識手法では、モーションセンサの計測値を、携帯端末装置１０の向きに依存しない絶対座標系に変換した後に、センサデータの波形形状に基づく特徴量を生成し、この特徴量をＳＶＭに入力することで、歩行動作の学習と認識を行う。
　複数の被験者の歩行動作から取得したセンサデータを用いた評価結果から、本動作認識手法では、歩行動作を全体として約９０％の精度で認識することができる。
　＜動作＞
　次に、第１実施形態における情報処理装置１０の動作について説明する。図２１は、第１実施形態における動作認識処理の一例を示すフローチャートである。図２１に示すステップＳ１０２で、取得部１１２は、９軸センサ２８Ａにより計測されたセンサデータを取得し、動作認識部１０６は、計測されたセンサデータを部分データとして切り出す。
　ステップＳ１０４で、分離部１２２は、加速度データの部分データに対し、加速度成分と、動作成分とに分離する。
　ステップＳ１０６で、第１算出部１２４は、デバイス座標系と、地上座標系とを一致させるためのオイラー角を計算する。
　ステップＳ１０８で、第１算出部１２４は、加速度データを、計算されたオイラー角を用いて、デバイス座標系から地上座標系に変換する。また、第２算出部１２６は、角速度データを、計算されたオイラー角を用いて、デバイス座標系から地上座標系に変換する。
　ステップＳ１１０で、抽出部１３２は、地上座標系に変換された加速度データ及び角速度データからそれぞれ特徴量を抽出する。特徴量としては、例えばフーリエ係数などやウェーブレット係数がある。
　ステップＳ１１２で、学習部１３４及び分類部１３６は、抽出された特徴量を入力し、複数の動作に対して機械学習を行い、所定の動作に分類する。
　以上の処理により、第１実施形態における情報処理装置１０は、各種モーションセンサを備える装置の向きに依存せずに、動作種類及び動作方向を認識することができる。
　例えば、情報処理装置１０は、歩行者の動作認識を実現するに当たり、使用する機材としてはごく一般的なスマートフォンやタブレット端末を用いることができる。
　さらに、使用する情報処理装置１０の向きや人体への装着方法に特別の条件を設定する必要がない。例えば、ポケットの中に入れておいた情報処理装置１０が、ポケットの中で回転しても問題なく動作認識を行うことができる。
　また、情報処理装置１０は、動作種類の認識及び動作方向の認識の２種類の問題を、単一の学習・分類器により実現することができる。
　さらに、上述した具体例では、歩行動作として７つの動作を例に挙げたが、動作内容がこの例に限定されることはない。例えば、うつ伏せや仰向けなどのその他の動作についても機械学習させることで、適切に分類することが可能になる。
　また、上述した動作認識処理は、この動作認識処理を情報処理装置１０に実行させるためのプログラムを記録した記録媒体として実装されてもよい。
　［第２実施形態］
　次に、本発明の第２実施形態における情報管理システムについて説明する。第２実施形態における情報管理システムは、例えば、第１実施形態における情報処理装置１０を保持又は装着する対象（人や装置等）の動きを見守るシステムなどである。以下に示す情報管理システムは、情報処理装置１０を保持するユーザの行動を見守るシステムを例に挙げて説明するが、情報処理装置１０が装着された機器などの動きを監視するシステムなどにも適用することができる。
　＜情報管理システムの概要＞
　図２２は、第２実施形態における情報管理システムの一例を示す概念図である。図２２に示すように、例えば情報処理システムは、ユーザが保持する情報処理装置１０Ａ、１０Ｂ、１０Ｃと、情報処理装置１０Ａ～Ｃから送信される情報管理するサーバ装置５０、６０がネットワークＮを介して接続される。サーバ装置５０、６０は、情報を分散管理してもよいし、いずれか一方の装置で管理するようにしてもよい。以下では、情報の管理の仕方として、サーバ装置５０において一元管理することを例に挙げて説明する。
　各情報処理装置は、個別に区別して説明する場合には符号１０Ａ、１０Ｂ、１０Ｃを用い、個別に区別する必要がなく、まとめて説明する場合には符号１０を用いる。
　情報処理装置１０は、ネットワークＮを介してサーバ装置５０にオンライン接続し、第１実施形態で上述した動作認識処理で認識された動作示す動作情報を含む情報を送信する。
　サーバ装置５０は、例えば複数のユーザが動作認識アプリケーションを起動した情報処理装置１０から、ネットワークＮを介して、動作認識された動作を示す動作情報と、この動作を行った対象を示す対象情報とを受信する。なお、サーバ装置５０は、情報処理装置１０から他の情報、例えば外付けセンサの計測データなどの情報を取得してもよい。サーバ装置５０は、情報処理装置１０から取得した各情報を関連付けて管理し、保存する。
　ネットワークＮは、インターネット等であり、無線ＬＡＮのアクセスポイントや携帯電話の基地局などを含む。
　＜ハードウェア構成＞
　まず、情報処理装置１０のハードウェア構成は、図１に示す構成と同様であるため、その説明を省略する。
　次に、サーバ装置５０のハードウェア構成について説明する。図２３は、第２実施形態におけるサーバ装置５０のハードウェア構成の一例を示す図である。図２３に示すように、サーバ装置５０は、制御部２０２と、通信インタフェース２０６と、記憶部２０８と、表示部２１４と、入力部２１６と、を有し、各部はバスラインを介して接続される。
　制御部２０２は、ＣＰＵ、ＲＯＭ、ＲＡＭ２０４等を含む。制御部２０２は、記憶部２０８に記憶される管理プログラム２１０等を実行することにより、一般的なサーバ装置としての機能に加え、例えば情報処理装置１０を保持する対象を管理する処理を実現するように構成される。
　また、ＲＡＭ２０４は、各種情報を一時的に保持したり、ＣＰＵが各種処理を実行する際のワークエリアとして使用されたりする。
　通信インタフェース２０６は、ネットワークＮを介したサーバ装置６０、情報処理装置１０との通信を制御する。
　記憶部２０８は、例えばＨＤＤ等からなり、一般的な情報処理装置としての機能を実現するためのアプリケーション及びデータ（図示省略）を記憶することに加え、管理プログラム２１０を記憶する。また、記憶部２０８は、情報記憶部２１２を有している。
　管理プログラム２１０は、管理に関する処理を行うためのプログラムであり、情報処理装置１０から各情報を取得し、各情報を情報記憶部２１２に記憶して管理するプログラムである。管理プログラム２１０は、コンピュータに読み取り可能な記録媒体に保存され、この記録媒体から読み出されて、記憶部２０８に記憶されてもよい。
　情報記憶部２１２は、例えば各センサにより計測されたデータや、動作情報、対象情報、時刻情報などを関連付けて記憶する。
　表示部２１４は、管理者に情報を表示する。入力部２１６は、管理者からの入力を受け付けたり、管理者からの指示を受け付けたりする。また、サーバ装置５０は、表示部２１４と入力部２１６とを必ずしも設ける必要はなく、表示部２１４及び入力部２１６は、外部からサーバ装置５０に接続されるようにしてもよい。
　なお、サーバ装置６０は、サーバ装置５０と同様の構成を有するため、その説明を省略する。
　＜機能構成＞
　次に、第２実施形態における情報処理装置１０の機能構成について説明する。基本的な構成は、図２に示す構成と同様である。第２実施形態では、第１送信部１０２は、例えば、動作認識された動作を示す動作情報、情報処理装置１０を保持する対象を示す対象情報、ＧＰＳなどの位置取得機能から取得された位置情報、各センサにより計測された各センサデータなどを、定期的、又は所定のタイミングでサーバ装置５０に送信する。
　図２４は、第２実施形態におけるサーバ装置５０の機能構成の一例を示すブロック図である。図２４に示すサーバ装置５０は、第２送信部３０２、第２受信部３０４、及び動作管理部３０６を含む。
　第２送信部３０２は、例えば制御部２０２、通信インタフェース２０６等により実現されうる。第２送信部３０２は、後述する動作管理部３０６による動作管理情報を、ネットワークを介して、センサデータ等を送信した情報処理装置１０とは異なる情報処理装置１０に送信してもよい。動作管理情報の送信先となる情報処理装置は、予め設定されていればよい。
　例えば、センサデータ等を送信する情報処理装置を保持する対象者は、子供、高齢者、労働者などであり、動作管理情報を受信する情報処理装置を保持する対象者は、親、経営者などである。
　第２受信部３０４は、例えば制御部２０２、通信インタフェース２０６等により実現されうる。第２受信部３０４は、例えば、情報処理装置１０から動作認識された動作を示す動作情報、情報処理装置１０を保持する対象を示す対象情報、自装置の位置情報、各センサにより計測された各センサデータなどを受信する。
　動作管理部３０６は、例えば制御部２０２、記憶部２０８等により実現されうる。動作管理部３０６は、例えば情報処理装置１０から取得された各情報を関連付けて管理する。例えば、動作管理部２０６は、位置情報、動作情報及び対象情報を関連付けて管理する。また、動作管理部３０６は、各種情報を管理するため、管理部３１０、記憶部３１２、及び表示部３１４を含む。
　管理部３１０は、例えば、所定領域ごとに、この所定領域に含まれる位置情報、動作情報及び対象情報を関連付けて管理してもよい。これにより、管理部３１０は、所定領域（所定地域）内にいるユーザの細かい動作や、人の流れなどを管理することができる。
　管理部３１０は、所定対象ごとに、位置情報、及び動作情報を関連付けて時系列で管理してもよい。これにより、管理部３１０は、指定された人の過去の動作管理情報を蓄積しておき、ユーザの現在位置と、過去のデータとを比較することが可能であり、時間的に動作情報を管理することができる。
　管理部３１０は、所定領域ごとに、この所定領域に含まれる各対象に、位置情報及び動作情報を関連付けて時系列で管理してもよい。これにより、サーバ装置５０は、複数のユーザに対し、空間的に動画のように再生して実現することができる。また、スライダーを画面内に用意し、このスライダーを動かすことで、時間軸に沿って動作状況の変化が表示される。
　記憶部３１２は、動作管理情報を記憶する。図２５は、動作管理情報の一例である。図２５に示す動作管理情報は、対象情報である「Ｕ００００１」ごとに、通知時刻、位置、動作、心拍、温度、湿度、気圧、放射線量（不図示）などを関連付けて記憶する。通知時刻は、サーバ装置５０の時計機能を用いて取得されたり、情報処理装１０から送信されたりすればよい。位置、動作、心拍、温度、湿度、気圧、放射線量などの情報は、情報処理装置１０から送信された情報である。
　図２５に示すように、動作管理情報は、動作種別及び動作方向を含む動作のミクロな情報を管理することができる。例えば、位置取得機能において取得される位置では、数メートルほどの誤差があり、動作管理部３０６は、位置情報だけを用いてはミクロな動作を管理することができない。
　図２４に戻り、表示部３１４は、動作管理情報を必要に応じて表示する。表示部３１４は、動作管理情報をどのように見せるかは、管理者の指示により変更することができる。
　例えば、適用例１として、管理者が所定領域を指定した場合には、表示部３１４は、所定領域内に含まれるユーザの動作管理情報を表示するようにしてもよい。
　また、適用例２として、管理者が所定対象者を選択した場合には、表示部３１４は、この所定対象者の現在の位置と、過去の位置とを比較して表示してもよい。
　また、適用例３として、管理者が所定領域を指定した場合には、表示部３１４は、指定された領域の空間において、対象者の動作状況を時間的に変化させて表示するようにしてもよい。以下、各適用例について具体例を用いて説明する。
　≪適用例１≫
　図２６は、適用例１における一画面例を説明するための図である。図２６に示す具体例では、所定領域で、情報処理装置１０を保持し、農作業を行うユーザを見守るシステムである。図２６（Ａ）において、ユーザは、情報処理装置１０の動作認識アプリケーションを起動する。これにより、情報処理装置１０は、自動的に各種情報をサーバ装置５０に送信する。
　図２６（Ｂ）において、例えばユーザがいる地点とは異なる遠隔地点、例えば事務所にいる管理者が、サーバ装置５０に送信されてくる動作管理情報を確認、監視する。
　図２６（Ｃ）において、サーバ装置５０は、所定領域内にいる複数のユーザの動作状況を管理する。また、サーバ装置５０は、ユーザの位置や、動作情報を取得した時刻などを管理することで、どのユーザが、何時に何をしていたかを管理することができる。さらに、サーバ装置５０は、異常な状態を検出した時、強調表示したり、緊急時に設定されている人にメール送信したりするようにしてもよい。異常な状態は、分類される動作の中から予め設定されていればよい。
　例えば、「ｉｋｅｄａ」の行動が「うつぶせ」になっており、この場合、表示部３１４は、この行を通常とは異なる色で表示したりするなどして強調表示してもよい。
図２７は、適用例１における他の画面例を説明するための図である。図２７に示す例では、或るユーザの過去、例えば前日の移動軌跡ｔｒ１０と現在位置とが表示される。また、或るユーザに対するセンサデータをリアルタイムに表示する領域ａｒ１０が表示される。
　これにより、作業をする人の仲間や会社などが、遠隔地で作業する人の動作や生体情報や環境情報などを適切に見守ることができるようになる。図２６や図２７に示す画面情報は、予め設定されたユーザ、つまり見守る人に送信されてもよい。
　図２８は、見守る人に送信される情報の一例を示す図である。図２８（Ａ）は、図２６に示す「ｉｋｅｄａ」の現在の状況を示す画面例である。図２８（Ｂ）は、図２６に示す「ｉｋｅｄａ」の現在のセンサデータを示す画面例である。図２８に示すように、サーバ装置５０は、予め設定された見守る人の情報処理装置に、動作管理情報を送信することで、「ｉｋｅｄａ」の現在の状況を、見守る人に知らせることができる。
　≪適用例２≫
　図２９は、適用例２における一画面例を説明するための図である。図２９に示すように、画面には、単一のユーザにおける過去の軌跡ｔｒ２０を表示する領域と、センサデータを表示する領域ａｒ２０とを含む。
　指定された単一のユーザの過去の動作情報及び／又は位置情報における軌跡ｔｒ２０が画面に表示される。これにより、現在位置と過去の行動との比較が可能になる。また、このときのセンサデータの時系列的な変化も画面に表示される。
　図３０は、適用例２における過去の軌跡ｔｒ２０を拡大した図である。図３０に示すように、軌跡ｔｒ２０を拡大して表示することも可能であり、細かな行動についても表示することが可能である。
　≪適用例３≫
　適用例３は、適用例１と適用例２との組み合わせであり、複数のユーザを空間的に見守るシステムである。適用例３のシステムでは、適用例１のように、指定された農地等で作業する複数人のユーザを、遠隔地で見守ることができ、各ユーザの移動を動画のように再生して実現することができる。
　また、表示画面に時間経過を示すスライダーが用意され、このスライダーを管理者等が動かすことで、その時間軸に沿って状況の変化が表示画面に表示される。
　以上、第２実施形態によれば、第１実施形態で説明した動作認識を、対象を見守るシステムに適用することができる。また、第２実施形態によれば、人の流れや、所定領域内で複数人が倒れているなど、対象としての人やモノの細かな動きを認識することができる。
　なお、第２実施形態において、情報処理装置１０がセンサデータ等をサーバ装置５０に送信し、サーバ装置５０が、センサデータ等に基づいて動作認識処理を行うようにしてもよい。
　［第３実施形態］
　次に、本発明の第３実施形態における情報表示システムについて説明する。第３実施形態における情報表示システムは、例えば、サーバ装置５０が、位置情報及びその位置において計測された物理量などを管理し、これらの情報を可視化する。
　例えば、第３実施形態における情報表示システムは、サーバ装置５０の管理者が圃場の所定範囲を指定し、所定範囲内の物理量（例えば土壌のｐＨ値・温度・化学成分等）を可視化して表示することができる。また、第３実施形態における情報表示システムは、可視化する情報を、情報処理装置１０から取得することもできる。
　＜情報表示システムの概要＞
　第３実施形態における情報表示システムは、図２２に示すシステム構成と同様である。なお、第３実施形態における情報表示システムの情報処理装置１０は、必ずしも第１実施形態で説明した動作認識機能を有していなくてもよい。
　＜ハードウェア構成＞
　まず、情報処理装置１０のハードウェア構成は、図１に示す構成と同様であるため、その説明を省略する。サーバ装置５０のハードウェア構成は、図２３に示す構成と同様であるため、その説明を省略する。
　＜機能構成＞
　第３実施形態におけるサーバ装置５０の機能構成は、第２実施形態にサーバ装置５０の機能構成と同様であるため、同じ符号を用いて説明する。
　第２送信部３０２は、例えば制御部２０２、通信インタフェース２０６等により実現されうる。第２送信部３０２は、後述する動作管理部３０６により管理される所定領域の物理量を、ネットワークを介して、物理量を要求している情報処理装置１０に送信してもよい。例えば、所定領域は、作業場、工事現場、圃場、山岳地域、又は事故現場などであり、物理量は、温度、湿度、照度、気圧、風向風力、土壌のｐＨ値・温度・化学成分、放射線量などの少なくとも１つである。
　また、第２送信部３０２は、後述する動作管理部３０６による動作管理情報を、ネットワークを介して、センサデータ等を送信した情報処理装置１０とは異なる情報処理装置１０に送信してもよい。動作管理情報の送信先となる情報処理装置は、予め設定されていればよい。
　第２受信部３０４は、例えば制御部２０２、通信インタフェース２０６等により実現されうる。第２受信部３０４は、例えば、位置情報と物理量とを関連付けて他の装置から受信する。また、受信部３０４は、所定の装置から物理量を可視化する要求を受信する。
　また、第２受信部３０４は、情報処理装置１０から動作認識された動作を示す動作情報、情報処理装置１０を保持する対象を示す対象情報、自装置の位置情報、各センサにより計測された各センサデータなどを受信してもよい。
　動作管理部３０６は、例えば制御部２０２、記憶部２０８等により実現されうる。動作管理部３０６は、例えば情報処理装置１０から取得された各情報を関連付けて管理する。例えば、動作管理部３０６は、位置情報及び物理量を関連付けて管理し、さらに動作情報及び対象情報を関連付けて管理してもよい。
　管理部３１０は、例えば、位置情報及び物理量を関連付けて管理し、さらに動作情報及び対象情報を関連付けて管理してもよい。管理部３１０は、例えば、位置情報及び物理量は事前に設定されていてもよい。これにより、管理部３１０は、位置情報と物理量を関連付けるので、所定領域（所定地域）内での物理量を可視化し、物理量をユーザに分かりやすく表示させることができる。
　記憶部３１２は、物理量情報、又は動作管理情報を記憶する。物理量情報は、位置ごとに物理量が関連付けられた情報である。
　表示部３１４は、物理量や動作管理情報を必要に応じて表示する。表示部３１４は、物理量や動作管理情報をどのように見せるかは、管理者の指示により変更することができる。
　次に、第３実施形態における情報処理装置１０の機能構成について説明する。図３１は、第３実施形態における情報処理装置１０の機能構成の一例を示すブロック図である。図３１に示す第３実施形態における情報処理装置１０の機能について、図２に示す第１実施形態における情報処理装置１０の機能と同様のものは同じ符号を付す。以下、第１実施形態における機能と異なる機能について説明する。
　第１送信部１０２は、後述する設定部５０２により設定された所定領域に関連付けられた物理量を送信するよう、サーバ装置５０に要求する。第１受信部１０４は、所定領域に関連付けられた物理量を受信する。
　設定部５０２は、所定領域を設定したり、物理量の１又は複数の閾値を設定したりする。設定された所定領域は第１送信部１０２に出力され、設定された閾値は、表示部５０６に出力される。
　可視化部５０４は、指定又は設定されている所定範囲内の物理量を量に応じて可視化する。例えば、可視化部５０４は、色の濃淡が、物理量の大小を示すようにする。これにより、例えば圃場等の土壌ｐＨ値・土壌温度・化学成分などを可視化することができる。
　また、可視化部５０４は、物理量に関連付けて、動作情報を表示するようにしてもよい。また、可視化部５０４は、設定部５０２により設定された閾値に基づき、物理量の可視化を行ってもよい。例えば、閾値以下の物理量、閾値以上の物理量、第１閾値以上第２閾値（＞第１閾値）以下、又は第１閾値以下及び第２閾値以上の物理量を可視化するようにしてもよい。
　表示部５０６は、可視化部５０４により可視化された物理量を表示する。表示部５０６は、位置情報に、動作情報等がさらに関連付けられている場合は、動作情報等も表示する。
　なお、第３実施形態において、動作情報を位置情報に関連付ける必要がない場合は、動作認識部１０６は設けられなくてもよい。
　以下、第３実施形態における情報処理装置１０に動作認識部１０６を設けない場合と設ける場合とに分けて具体例を用いて説明する。
　≪動作認識部１０６を設けない場合≫
　サーバ装置５０は、位置情報及び物理量を予め管理しておく。物理量は、例えば圃場における土壌ｐＨ値とする。情報処理装置１０は、所定位置（例えば現在位置）を指定し、この所定位置をサーバ装置５０に送信する。また、情報処理装置１０は、所定範囲を指定し、所定範囲を送信するようにしてもよい。
　サーバ装置５０は、情報処理装置１０から受信した位置を含む所定領域、又は指定された所定領域内の各位置に関連付けられた物理量を、情報処理装置１０に送信する。
　情報処理装置１０は、サーバ装置５０から受信した所定範囲内の物理量を可視化し、表示部に表示する。このとき、閾値が設定され、閾値に基づいて可視化されてもよい。次に、閾値に基づく表示例を図３２～３４を用いて説明する。
　図３２は、第３実施形態における表示例１を示す図である。図３２に示す例では、圃場が表示され、画面左中央に、ｐＨ値を示すゲージＧ１０が表示される。図３２に示す例では、画面内の３つの圃場のうちの中央の圃場について、土壌ｐＨ値が５．５以上の領域ａｒ３２が可視化されている。ｐＨ値５．５という閾値については、ゲージＧ１０を用いることで、ユーザは容易に設定を変えることができる。
　図３３は、第３実施形態における表示例２を示す図である。図３３に示す例では、画面内の３つの圃場のうちの中央の圃場について、土壌ｐＨ値が５．５未満の領域ａｒ３４が可視化されている。
　図３４は、第３実施形態における表示例３を示す図である。図３４に示す例では、画面内の３つの圃場のうちの中央の圃場について、土壌ｐＨ値が５．５以上６．０未満の領域ａｒ３６が可視化されている。
　以上より、第３実施形態においては、設定部５０２により設定された閾値を用いて物理量を可視化することができ、さらに、ユーザが閾値を容易に変更することもできる。
　≪動作認識部１０６を設ける場合≫
　サーバ装置５０は、情報処理装置１０により計測された位置情報及び動作情報に加え、温度、湿度、照度、気圧、風向風力、土壌ｐＨ値、土壌温度、土壌化学成分、放射線量などの物理量を管理する。物理量は、例えば圃場における土壌ｐＨ値とする。情報処理装置１０は、現在位置の土壌ｐＨ値を検知するセンサから土壌ｐＨ値を取得し、この所定位置及び動作情報や土壌ｐＨ値、その他の情報をサーバ装置５０に送信する。
　サーバ装置５０は、所定位置及び動作情報や土壌ｐＨ値、その他の情報を取得し、管理する。サーバ装置５０は、情報処理装置１０から指定された所定範囲を取得し、所定範囲を送信するようにしてもよい。
　サーバ装置５０は、情報処理装置１０から受信した位置を含む所定領域、又は指定された所定領域内の各位置に関連付けられた物理量及び動作情報、土壌ｐＨ値等を、情報処理装置１０に送信する。
　情報処理装置１０は、サーバ装置５０から受信した所定範囲内の物理量（土壌ｐＨ値）及び動作情報等を可視化し、表示部に表示する。このとき、閾値が設定された場合、閾値に基づいて物理量が可視化される。
　以上、第３実施形態における情報表示システムは、所定範囲を指定し、所定範囲内の位置に関連付けられた物理量を可視化して表示することができる。また、第３実施形態における情報表示システムは、可視化する情報を、情報処理装置１０から取得することもできる。
　［第４実施形態］
　次に、本発明の第４実施形態における情報管理システムについて説明する。第４実施形態における情報管理システムは、例えば、第１実施形態における動作認識に関する情報と、既存のカメラシステム、例えば監視カメラで得られる情報とを関連付けて管理する。詳細は後述するが、これにより、人物特定に役立てたり、高精度の移動トラッキングを行ったり、携帯端末装置による屋内測位を可能にしたりする。
　＜情報管理システムの概要＞
　図３５は、第４実施形態における情報管理システムの概要を説明するための図である。図３５に示す対象ユーザは、第１実施形態において説明した情報処理装置１０を保持し、所定の動作を行うとする。情報処理装置１０により動作認識を行うシステムを、以下、動作認識システムと称す。
　図３５に示すカメラシステムは、既存のカメラシステムであり、例えば監視カメラシステムであり、カメラシステムにより対象ユーザの動作が撮像され、この動作の動作情報が取得される。
　情報管理システムは、動作認識システムから取得される情報と、カメラシステムから取得される情報とを関連付けて記憶し、人物特定や移動トラッキングや屋内測位などの行動認識タスクに適用する。
　＜ハードウェア構成＞
　まず、情報処理装置１０のハードウェア構成は、図１に示す構成と同様であるため、その説明を省略する。サーバ装置５０のハードウェア構成は、図２３に示す構成と同様であるため、その説明を省略する。また、カメラシステムは既存のシステムを適用すればよいため、その説明を省略する。
　＜機能構成＞
　第４実施形態におけるサーバ装置５０の機能構成は、第２実施形態にサーバ装置５０の機能構成と同様であるため、同じ符号を用いて説明する。第２受信部３０２は、動作認識システムから送信される動作認識に関する情報と、カメラシステムから送信される動作に関する情報とを受信する。
　動作認識システムからの動作認識に関する情報とは、例えば、動作情報、加速度情報、角速度情報、位置情報、平面方位角情報などである。また、カメラシステムからの動作に関する情報とは、位置情報、回転角情報、平面方位角情報、ジェスチャー等の人の行動情報である。この行動情報は、動作情報とも同義である。
　既存のカメラシステムにおいて、上述した位置情報、回転角情報、平面方位角情報、動作情報などを自動的に抽出することが可能であり、さらに、移動軌跡や時間局所的な動き、向き、姿勢なども抽出することが可能である。すなわち、既存のカメラシステムは、撮像部であるカメラと、撮像部により撮像された画像を解析し、対象の移動及び／又は動作を認識する認識部と、認識された移動及び／又は動作に関する情報を送信する送信部とを少なくとも含む。
　動作管理部３０６は、受信したこれらの情報を関連付けて記憶し、管理する。動作管理部３０６は、２つのシステムから取得した情報を解析し、次の問題を解決することができるようになる。
　動作管理部３０６は、動作認識システム及びカメラシステムの各々から得られる人の動作の履歴、例えば時系列に並んだ動作列データを関連付けて、ある特定の情報処理装置１０を持つ人をカメラシステムのカメラ画像内で特定するという問題、又は、あるカメラ画像内の人を指定したときにその人が持つ情報処理装置１０を特定するという問題を解く。以上を「人物の特定問題」と呼ぶ。人物の特定問題を解くための方法は以下のとおりである。
　ここで、センサの種類と観測値との関係について説明する。図３６は、第４実施形態におけるセンサの種類と観測値との関係を示す図である。図３６は、動作認識システム及びカメラシステムで直接観測可能な物理量と、その物理量から微分・積分・幾何的計算によって導出される物理量とを比較したものである。
　図３６に示す縦軸は、動作認識システムで用いられるモーションセンサ、例えば９軸センサ２８Ａであり、カメラシステムで用いられる所定の環境に設置されたカメラを示す。図３６に示す横軸は、直接的又は間接的に観測される物理量であり、例えば位置、速度、加速度、回転角、角速度、平面方位角、行動情報などである。
　図３６に示す表から分かるように、これら２種類のセンサで共通に直接計測可能な量は平面方位角のみであるが、動作管理部３０６は、得られたデータを微分・積分・幾何的変換をすることにより、多くの共通のデータを生成することができる。この計算には従来から存在する微分・積分・幾何計算のソフトウェアパッケージを使用すれば良い。動作管理部３０６は、それぞれのシステムで生成されたデータに対し、対応するデータのマッチングを取ることにより、人物の特定問題を解くことができる。
　例えば、動作管理部３０６は、マッチングされる人物を検出するためには、動作の履歴の数列の距離ｒを計算する。
r = (m1 - c1)2 + (m2 - c2)2 + … + (mn - cn)2
ただし、ｍiは、図３６に示す第２行のi+1項目、ciは、図３６に示す第３行のi+1項目である。ｒの値が小さいほど、同じ人物である可能性が高いことを示す。距離として、ここではユークリッド空間のノルム（長さ）で説明したが、他の距離・距離関数を用いてもよい。以下、このアルゴリズムを「第１人物特定アルゴリズム」と称す。
　また、動作管理部３０６は、次の方法により、人物特定の精度を上げることができる。例えば、動作管理部３０６は、人物特定精度を向上させるため、各センサの計測誤差、微積分・幾何的計算の誤差を見積りつつ、ＳＶＭ等による機械学習を用いたクラスタリングを実行する。
　具体的には、動作管理部３０６は、２種のセンサから得られる動作の履歴データに加えて、それらのデータに内在する誤差項ならびにデータの信頼度といった項目を機械学習の学習パラメータとして新たに追加して学習を行う。これにより、データマッチングの精度、すなわち人物特定の精度を向上させることができる。このアルゴリズムを「第２人物特定アルゴリズム」と称す。
　第４実施形態において、上述した「第１人物特定アルゴリズム」「第２人物特定アルゴリズム」のいずれかを適用することで、以下のような行動認識の応用タスクを実現することができる。ただし、第１人物特定アルゴリズムよりも第２人物特定アルゴリズムを使った方が好適である。
　≪人物の特定≫
　第４実施形態において、カメラシステムのカメラ画像内に多くの人がいたとしても、情報処理装置１０のモーションセンサからの動作データが与えられると、動作管理部３０６は、マッチング処理を行うことで、その情報処理装置１０を持つ人をカメラ画像内で特定することが可能である。
　他方、カメラ画像内で、管理者等が人を指定すると、その人が持つ情報処理装置１０の識別情報を特定することができる。この識別情報は、例えば情報処理装置のＩＰアドレス、ＷｉＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）のＭＡＣアドレス等、その端末がデータの送受信をしている情報である。
　≪移動トラッキング≫
　第４実施形態において、モーションセンサの動作認識の結果を使用することにより、カメラ画像内でのトラッキング、すなわちカメラ画像内に存在する人物を追跡するタスクの精度を向上させることができる。
　また、第４実施形態において、既存のトラッキングシステムに、モーションセンサの動作認識の結果を使用することにより、複数のカメラの間での連続的トラッキングを実行することができる可能性を高めることができる。
　例えば、単一のカメラでのトラッキングシステム及び複数のカメラ間での連続トラッキングシステムは既に提案されており、モーションセンサの動作認識を用いて人物を高精度に特定することにより、両システムのソフトウェアの性能向上に貢献することができる。
　≪屋内測位≫
　ＧＰＳ等が利用できず、情報処理装置１０のみでは自分の位置を計測できない状況がある。この状況において、第４実施形態では、モーションセンサの情報を用いて認識された動作情報から自分自身を対象として人物の特定を行う。第４実施形態では、この結果を用いてカメラ画像内で自位置が検出され、そのカメラ画像内の位置から自分の空間内の位置が割り出されることで、精度の高い屋内測位を実現することができる。屋内測位については、例えば、特開２０１１－９９７５３号公報に記載された方法を用いて測定することもできるが、特開２０１１－９９７５３号公報に記載された方法では測位のための観測情報（例えば Wi-Fi 無線信号の信号の強度等）を必要とするに対し、本発明手法では情報端末装置に搭載されたモーションセンサの情報とカメラの情報とのみで屋内測位が可能であり、これら２種類の方法はどちらかが優位なものではなく、相補的な関係にある。また、カメラシステムで撮像された画像情報を情報処理装置１０が取得することで、カメラシステムのカメラに写る自画像を情報処理装置１０で表示することなどが可能になる。
　以上、第４実施形態において、動作認識システムから取得される情報と、カメラシステムから取得される情報とを関連付けて記憶し、管理することで、人物特定や移動トラッキングや屋内測位などの行動認識タスクに適用することができる。
　以上の説明において、ＣＰＵは、以上説明した各処理を実行する各部として機能するものであることは言うまでもない。また、メモリ及び／又は外部記憶装置はＣＰＵが実行する各種処理のためのデータを記憶する記憶部として機能し、この記憶部としてのメモリを外部記憶装置、外部記憶装置をメモリに置き換えてもシステムに変更を加えることなく動作が可能であり、そのような実施形態も本発明の実施の一形態となる。
１０　情報処理装置
４０　主制御部
２８Ａ　９軸センサ
２８Ｂ　他センサ
５０　サーバ装置
１０２　第１送信部
１０４　第１受信部
１０６　動作認識部
１１２　取得部
１１４　変換部
１１６　認識部
３０２　第２送信部
３０４　第２受信部
３０６　動作管理部
 

Claims (24)

  1. 　モーションセンサにより計測されるデータを取得する取得部と、
    　前記データを、前記モーションセンサの向きに依存する第１座標系から前記モーションセンサの向きに依存しない第２座標系に変換する変換部と、
    　過去の前記第２座標系のデータを用いて、種類及び方向を含む複数の動作を機械学習した学習データに基づき、前記変換部により変換された第２座標系のデータから所定動作を認識する認識部と、
    　を備える、情報処理装置。
  2. 　前記第２座標系は、前記各センサの向きから独立した地上座標系である、請求項１に記載の情報処理装置。
  3. 　前記第２座標系は、鉛直方向、南北方向、ならびに前記鉛直方向及び前記南北方向の両方向に直行する方向を３つの軸とする座標系である、請求項１又は２に記載の情報処理装置。
  4. 　前記認識部は、
    　過去の前記第２座標系のデータを用いて、種類及び方向を含む複数の動作を機械学習する学習部と、
    　前記学習部により学習された学習データを用いて、前記変換部により変換された第２座標系のデータを所定動作に分類する分類部と、
    　を含む、請求項１乃至３いずれか一項に記載の情報処理装置。
  5. 　前記認識部は、
    　前記第２座標系のデータの特徴量を抽出する抽出部をさらに含み、
    　前記認識部は、
    　過去の特徴量を用いて前記複数の動作を学習した学習データに基づき、前記抽出部により抽出されたデータの特徴量を所定動作に分類する、請求項４に記載の情報処理装置。
  6. 　前記取得部は、
    　前記モーションセンサから計測されたデータの部分データを取得する、請求項１乃至５いずれか一項に記載の情報処理装置。
  7. 　前記モーションセンサは、
    　加速度センサ、角速度センサ、及び地磁気センサを含み、
    　前記取得部は、
    　加速度センサにより計測される第１データ、角速度センサにより計測される第２データ、及び地磁気センサにより計測される第３データを取得し、
    　前記変換部は、
    　前記第１データ及び前記第３データを用いて、前記第１データ及び前記第２データを、前記第１座標系から前記第２座標系に変換し、
    　前記認識部は、
    　過去の前記第２座標系の第１データ及び第２データを用いて、種類及び方向を含む複数の動作を機械学習した学習データに基づき、前記変換部により変換された第２座標系の第１データ及び第２データから所定動作を認識する、請求項１乃至６いずれか一項に記載の情報処理装置。
  8. 　前記変換部は、
    　前記第１データに対し、ローパスフィルタ又は統計処理を用いて重力成分と動作成分とに分離し、前記重力成分及び前記第３データを用いて座標変換処理を行う、請求項７に記載の情報処理装置。
  9. 　前記変換部は、
    　前記第２座標系に含まれる各軸を順に回転させ、前記第１座標系と向きを一致させることで各回転角を求め、該各回転角に基づいて前記第２座標系の第１データを求める第１算出部と、
    　前記各回転角に基づいて前記第２座標系の第２データを求める第２算出部と、
    　を含む、請求項７又は８に記載の情報処理装置。
  10. 　ネットワークを介して接続された１又は複数の情報処理装置及びサーバ装置を備える情報管理システムであって、
    　前記情報処理装置は、
    　当該情報処理装置の位置情報、及びモーションセンサにより計測されるデータを取得する取得部と、
    　前記データを、前記モーションセンサの向きに依存する第１座標系から前記モーションセンサの向きに依存しない第２座標系に変換する変換部と、
    　過去の前記第２座標系のデータを用いて、種類及び方向を含む複数の動作を機械学習した学習データに基づき、前記変換部により変換された第２座標系のデータから所定動作を認識する認識部と、
    　前記位置情報と、前記所定動作を示す動作情報と、前記所定動作の対象を示す対象情報とを前記サーバ装置に送信する送信部と、
    　を備え、
    　前記サーバ装置は、
    　前記位置情報、前記動作情報及び前記対象情報を前記情報処理装置から受信する受信部と、
    　受信された前記位置情報、前記動作情報及び前記対象情報を関連付けて管理する管理部と、
    　を備える、情報管理システム。
  11. 　前記管理部は、
    　所定領域ごとに、該所定領域に含まれる前記位置情報、前記動作情報及び前記対象情報を関連付けて管理する、請求項１０に記載の情報管理システム。
  12. 　前記管理部は、
    　所定対象ごとに、前記位置情報、及び前記動作情報を関連付けて時系列で管理する、請求項１０に記載の情報管理システム。
  13. 　前記管理部は、
    　所定領域ごとに、該所定領域に含まれる各所定対象に前記位置情報及び前記動作情報を関連付けて時系列で管理する、請求項１０に記載の情報管理システム。
  14. 　前記情報処理装置は、
    　温度センサ、湿度センサ、照度センサ、気圧センサ、風向風速センサ、心電位センサ、放射線センサ、及び土壌ｐＨ値・土壌温度・土壌化学成分計測センサの少なくとも１つを備え、
    　前記送信部は、
    　各センサにより計測される各計測データをさらに送信し、
    　前記受信部は、
    　前記各計測データをさらに受信し、
    　前記管理部は、
    　前記各計測データをさらに関連付けて管理する、請求項１０乃至１３いずれか一項に記載の情報管理システム。
  15. 　ネットワークを介して接続された１又は複数の情報処理装置及びサーバ装置を備える情報表示システムであって、
    　前記サーバ装置は、
    　所定位置毎に計測された物理量を管理する管理部と、
    　前記情報処理装置から指定された位置を含む所定範囲内の物理量を前記情報処理装置に送信する送信部と、を備え、
    　前記情報処理装置は、
    　位置情報を送信する送信部と、
    　前記位置情報が示す位置を含む所定範囲内の位置に関連する物理量を前記サーバ装置から受信する受信部と、
    　前記所定範囲内の物理量を可視化する可視化部と、
    　可視化された物理量を表示する表示部と、を備える、情報表示システム。
  16. 　前記情報処理装置は、
    　１又は複数の閾値を設定する設定部をさらに備え、
    　前記可視化部は、
    　前記設定部により設定された閾値に基づき、前記物理量の可視化を行う、請求項１５に記載の情報表示システム。
  17. 　前記情報処理装置とは異なる他の情報処理装置は、
    　前記他の情報処理装置の位置情報、及びモーションセンサにより計測されるデータを取得する取得部と、
    　前記データを、前記モーションセンサの向きに依存する第１座標系から前記モーションセンサの向きに依存しない第２座標系に変換する変換部と、
    　過去の前記第２座標系のデータを用いて、種類及び方向を含む複数の動作を機械学習した学習データに基づき、前記変換部により変換された第２座標系のデータから所定動作を認識する認識部と、
    　前記位置情報と、前記所定動作を示す動作情報と、前記所定動作の対象を示す対象情報とを前記サーバ装置に送信する送信部と、を備え、
    　前記サーバ装置の管理部は、
    　前記位置情報が示す所定位置ごとに、前記物理量、前記動作情報及び前記対象情報を関連付けて管理し、
    　前記サーバ装置の送信部は、
    　前記物理量及び前記動作情報を送信し、
    　前記情報処理装置の可視化部は、
    　前記物理量及び前記動作情報を可視化し、
    　前記情報処理装置の表示部は、
    　可視化された物理量及び動作情報を表示する、請求項１５又は１６に記載の情報表示システム。
  18. 　ネットワークを介して接続された１又は複数の情報処理装置、カメラシステム及びサーバ装置を備える情報管理システムであって、
    　前記情報処理装置は、
    　当該情報処理装置の位置情報、及びモーションセンサにより計測されるデータを取得する取得部と、
    　前記データを、前記モーションセンサの向きに依存する第１座標系から前記モーションセンサの向きに依存しない第２座標系に変換する変換部と、
    　過去の前記第２座標系のデータを用いて、種類及び方向を含む複数の動作を機械学習した学習データに基づき、前記変換部により変換された第２座標系のデータから所定動作を認識する認識部と、
    　前記位置情報と、前記所定動作を示す動作情報と、前記所定動作の対象を示す対象情報とを前記サーバ装置に送信する送信部と、を備え、
    　前記カメラシステムは、
    　撮像部と、
    　前記撮像部により撮像された画像を解析し、対象の移動及び／又は動作を認識する認識部と、
    　認識された移動及び／又は動作に関する情報を前記サーバ装置に送信する送信部と、を備え、
    　前記サーバ装置は、
    　前記情報処理装置から送信された情報と、前記カメラシステムから送信された情報を受信する受信部と、
    　受信された両情報を分析し、所定の対象又は所定の情報処理装置を特定する管理部と、を備える、情報管理システム。
  19. 　前記管理部は、
    　前記両情報のうち、対応する情報同士の差分に基づいて、前記所定の対象又は前記所定の情報処理装置を特定する、請求項１８に記載の情報管理システム。
  20. 　前記管理部は、
    　前記両情報以外に、パラメータを追加して学習させた学習データを用いて、前記所定の対象又は前記所定の情報処理装置を特定する、請求項１８に記載の情報管理システム。
  21. 　コンピュータが、
    　モーションセンサにより計測されるデータを取得することと、
    　前記データを、前記モーションセンサの向きに依存する第１座標系から前記モーションセンサの向きに依存しない第２座標系に変換することと、
    　過去の前記第２座標系のデータを用いて、種類及び方向を含む複数の動作を機械学習した学習データに基づき、変換された第２座標系のデータから所定動作を認識することと、
    　を実行する、情報処理方法。
  22. 　コンピュータに
    　モーションセンサにより計測されるデータを取得することと、
    　前記データを、前記モーションセンサの向きに依存する第１座標系から前記モーションセンサの向きに依存しない第２座標系に変換することと、
    　過去の前記第２座標系のデータを用いて、種類及び方向を含む複数の動作を機械学習した学習データに基づき、変換された第２座標系のデータから所定動作を認識することと、
    　を実行させる、プログラム。
  23. 　コンピュータに
    　モーションセンサにより計測されるデータを取得することと、
    　前記データを、前記モーションセンサの向きに依存する第１座標系から前記モーションセンサの向きに依存しない第２座標系に変換することと、
    　過去の前記第２座標系のデータを用いて、種類及び方向を含む複数の動作を機械学習した学習データに基づき、変換された第２座標系のデータから所定動作を認識することと、
    　を実行させる、プログラムを記録したコンピュータ読み取り可能な記録媒体。
  24. 　情報処理装置の位置情報、種類及び方向を含む動作を示す動作情報及び前記動作の対象を示す対象情報を前記情報処理装置から受信する受信部と、
    　受信された前記位置情報、前記動作情報及び前記対象情報を関連付けて管理する管理部と、
    　を備える、サーバ装置。
     
     
PCT/JP2015/079268 2014-11-04 2015-10-16 センサ情報を処理する情報処理装置、情報管理システム、情報表示システム、情報処理方法、プログラム、記録媒体及びサーバ装置 WO2016072240A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-224738 2014-11-04
JP2014224738A JP2016090371A (ja) 2014-11-04 2014-11-04 センサ情報を処理する情報処理装置、情報管理システム、情報表示システム、情報処理方法、プログラム、記録媒体及びサーバ装置

Publications (1)

Publication Number Publication Date
WO2016072240A1 true WO2016072240A1 (ja) 2016-05-12

Family

ID=55908967

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/079268 WO2016072240A1 (ja) 2014-11-04 2015-10-16 センサ情報を処理する情報処理装置、情報管理システム、情報表示システム、情報処理方法、プログラム、記録媒体及びサーバ装置

Country Status (2)

Country Link
JP (1) JP2016090371A (ja)
WO (1) WO2016072240A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020077050A (ja) * 2018-11-05 2020-05-21 株式会社クボタ 農業支援装置及び農業支援方法
CN112651414A (zh) * 2019-10-10 2021-04-13 马上消费金融股份有限公司 运动数据处理和模型训练方法、装置、设备及存储介质
US11209487B2 (en) * 2016-06-13 2021-12-28 Hitachi, Ltd. Rotor diagnostic apparatus, rotor diagnostic method, and rotor diagnostic program

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7052604B2 (ja) 2018-07-05 2022-04-12 富士通株式会社 業務推定方法、情報処理装置、及び業務推定プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005147982A (ja) * 2003-11-19 2005-06-09 Matsushita Electric Ind Co Ltd マップマッチング方法とそれを実施する装置
JP2009156660A (ja) * 2007-12-26 2009-07-16 Kddi Corp 加速度センサ及び地磁気センサを用いて歩行者の進行方向を決定する携帯端末、プログラム及び方法
JP2013042246A (ja) * 2011-08-11 2013-02-28 Fujitsu Ltd 携帯端末及び位置及び方位推定プログラム
JP2014033373A (ja) * 2012-08-03 2014-02-20 Ricoh Co Ltd 制御装置、プログラムおよび制御システム
JP2014075784A (ja) * 2012-09-12 2014-04-24 Ricoh Co Ltd 情報管理システム、無線端末及び周囲環境管理方法
JP2014196941A (ja) * 2013-03-29 2014-10-16 株式会社メガチップス 携帯端末装置、プログラムおよび補正方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005147982A (ja) * 2003-11-19 2005-06-09 Matsushita Electric Ind Co Ltd マップマッチング方法とそれを実施する装置
JP2009156660A (ja) * 2007-12-26 2009-07-16 Kddi Corp 加速度センサ及び地磁気センサを用いて歩行者の進行方向を決定する携帯端末、プログラム及び方法
JP2013042246A (ja) * 2011-08-11 2013-02-28 Fujitsu Ltd 携帯端末及び位置及び方位推定プログラム
JP2014033373A (ja) * 2012-08-03 2014-02-20 Ricoh Co Ltd 制御装置、プログラムおよび制御システム
JP2014075784A (ja) * 2012-09-12 2014-04-24 Ricoh Co Ltd 情報管理システム、無線端末及び周囲環境管理方法
JP2014196941A (ja) * 2013-03-29 2014-10-16 株式会社メガチップス 携帯端末装置、プログラムおよび補正方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11209487B2 (en) * 2016-06-13 2021-12-28 Hitachi, Ltd. Rotor diagnostic apparatus, rotor diagnostic method, and rotor diagnostic program
JP2020077050A (ja) * 2018-11-05 2020-05-21 株式会社クボタ 農業支援装置及び農業支援方法
JP7292854B2 (ja) 2018-11-05 2023-06-19 株式会社クボタ 農業支援装置及び農業支援方法
CN112651414A (zh) * 2019-10-10 2021-04-13 马上消费金融股份有限公司 运动数据处理和模型训练方法、装置、设备及存储介质
CN112651414B (zh) * 2019-10-10 2023-06-27 马上消费金融股份有限公司 运动数据处理和模型训练方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP2016090371A (ja) 2016-05-23

Similar Documents

Publication Publication Date Title
Kang et al. A novel walking detection and step counting algorithm using unconstrained smartphones
Sunny et al. Applications and challenges of human activity recognition using sensors in a smart environment
Johnston et al. Smartwatch-based biometric gait recognition
Susi et al. Motion mode recognition and step detection algorithms for mobile phone users
Gu et al. Paws: Passive human activity recognition based on wifi ambient signals
AU2015316575B2 (en) Inertial tracking based determination of the position of a mobile device carried by a user in a geographical area
Pei et al. Human behavior cognition using smartphone sensors
Zhang et al. Cost-effective wearable indoor localization and motion analysis via the integration of UWB and IMU
JP2019534721A (ja) 水泳分析のシステム及び方法
Chen et al. Activity recognition based on micro-Doppler signature with in-home Wi-Fi
Zhang et al. SmartMTra: Robust indoor trajectory tracing using smartphones
WO2016098457A1 (ja) 情報処理装置、情報処理方法およびプログラム
Edel et al. An advanced method for pedestrian dead reckoning using BLSTM-RNNs
WO2016072240A1 (ja) センサ情報を処理する情報処理装置、情報管理システム、情報表示システム、情報処理方法、プログラム、記録媒体及びサーバ装置
Marron et al. Multi sensor system for pedestrian tracking and activity recognition in indoor environments
Deng et al. Carrying position independent user heading estimation for indoor pedestrian navigation with smartphones
Deng et al. Robust heading estimation for indoor pedestrian navigation using unconstrained smartphones
Guo et al. Human Activity Recognition via Wi-Fi and Inertial Sensors with Machine Learning
Qi et al. Walking detection using the gyroscope of an unconstrained smartphone
Wang et al. Posture recognition and heading estimation based on machine learning using MEMS sensors
Gil et al. inContexto: A fusion architecture to obtain mobile context
Atashi Multiple Model-based Indoor Localization via Bluetooth Low Energy and Inertial Measurement Unit Sensors
Wang et al. Posture recognition and adaptive step detection based on hand-held terminal
Gan Wearable sensing for activity recognition
Shafi et al. Analysing human activity patterns by chest-mounted wearable devices

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15857276

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15857276

Country of ref document: EP

Kind code of ref document: A1