JP2017228091A - Walking state learning method, walking state estimation method, road surface condition comprehension method, device and program - Google Patents
Walking state learning method, walking state estimation method, road surface condition comprehension method, device and program Download PDFInfo
- Publication number
- JP2017228091A JP2017228091A JP2016123751A JP2016123751A JP2017228091A JP 2017228091 A JP2017228091 A JP 2017228091A JP 2016123751 A JP2016123751 A JP 2016123751A JP 2016123751 A JP2016123751 A JP 2016123751A JP 2017228091 A JP2017228091 A JP 2017228091A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- data
- walking
- road surface
- walking state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、歩行状態学習方法、歩行状態推定方法、路面状況理解方法、装置、及びプログラムに関する。 The present invention relates to a walking state learning method, a walking state estimation method, a road surface state understanding method, a device, and a program.
数多くのセンサデバイスが組み込まれたスマートフォンの普及以来、携帯型のセンサデバイスを用いて路面の状況を理解しようとするいくつかの取組がある。 Since the spread of smartphones incorporating a large number of sensor devices, there have been several efforts to understand road conditions using portable sensor devices.
一つの取組として、自動車に設置されたスマートフォンを用いて、路面の段差や、舗装路であるのか砂利道であるのか等の道路の状況を検知しようとする取組がある（非特許文献１、及び非特許文献２参照）。これらの取組では、自動車に設置されたスマートフォンの加速度センサの情報を元に、段差や路面状況を推定し、同時に測定した測位情報とともに関連付けることで、どの場所がどのような路面状況であるのかを把握しようとするものである。 One approach is to use a smartphone installed in an automobile to detect road steps, road conditions such as paved roads or gravel roads (Non-Patent Document 1, and Non-patent document 2). In these efforts, steps and road surface conditions are estimated based on information from the acceleration sensors of smartphones installed in automobiles, and correlated with positioning information measured at the same time to determine which location is what road surface condition. It is something to try to grasp.
また、別の取組として、人の持つスマートフォン等の情報を元に人の行動（立つ、座る、歩行など）を理解しようとする取組がある（非特許文献３参照）。立つ、座る、歩行の認識だけでは路面状況の把握とはつながらないが、階段を上る、階段を下るという行動を認識することで、その場所に階段があることを把握することが可能となる。 As another approach, there is an approach for trying to understand a person's behavior (standing, sitting, walking, etc.) based on information such as a smartphone held by the person (see Non-Patent Document 3). Although recognition of standing, sitting, and walking alone does not lead to grasping the road surface condition, it is possible to grasp that there is a stairs at that place by recognizing the action of going up the stairs or going down the stairs.
しかし、上記の従来技術には以下の未解決の点がある。 However, the above prior art has the following unsolved points.
自動車に設置したスマートフォンを用いる手段では、当然ながら自動車が走ることができない場所、例えば歩道や屋内等の情報を収集することができない。 Obviously, the means using a smartphone installed in a car cannot collect information on places where the car cannot run, such as sidewalks and indoors.
この場所の問題については、スマートフォンを持つ人の行動を理解するアプローチを考えることで解決することも可能と考えられるが、現在の行動認識の取組を活用するには課題があると考えられる。その一つはこれまでの行動認識の手法は、センサデータを図１３に示すような特定の時間窓の区間に切り出し、時間的に継続した人の行動（例えば１０秒間の行動など）を把握する手段となっており、ピンポイントで段差や路面状況を理解しようとした場合には、別の処理が必要になると考えられる。また時間的に継続した行動を把握しようとすることで、わずかなタイミングでしか生じない段差を超えたという行動などを把握することはそもそも困難と考えられる。 The problem of this place can be solved by considering an approach to understand the behavior of people with smartphones, but it seems that there are issues in utilizing the current behavior recognition efforts. One of the conventional behavior recognition methods is to extract the sensor data into specific time window sections as shown in FIG. 13 and grasp the human behavior (for example, behavior for 10 seconds) continued in time. This means that if you try to understand the level difference and road surface conditions pinpointed, it is considered that another process is required. In addition, it is thought that it is difficult in the first place to grasp an action that exceeds a step that occurs only at a slight timing by grasping an action that continues in time.
また、図１４に示すように、センサデータの情報を個々の歩みに対応する区間に分割し、その区間に対して、センサデータから人の行動を認識する手法をとることが考えられる。しかし、個人差やセンサの設置場所差によるセンサ情報の異なりや、歩行状態によりセンサデータの系列に揺れが生じることなどが原因で、個々の歩みに対応する区間への分割が困難となる場合も多く、結果的に判定精度が低下するという問題が考えられる。 Further, as shown in FIG. 14, it is conceivable to divide the sensor data information into sections corresponding to individual steps, and take a method of recognizing human actions from the sensor data for the sections. However, it may be difficult to divide into sections corresponding to individual steps due to differences in sensor information due to individual differences or sensor installation locations, or due to fluctuations in the sensor data series due to walking conditions, etc. In many cases, there is a problem that the determination accuracy is lowered as a result.
本発明は、上記問題点を解決するために成されたものであり、ユーザの歩行状態を精度よく推定することができる歩行状態学習方法、歩行状態推定方法、装置、及びプログラムを提供することを目的とする。 The present invention has been made to solve the above problems, and provides a walking state learning method, a walking state estimation method, an apparatus, and a program capable of accurately estimating the walking state of a user. Objective.
また、ユーザの歩行状態に応じた路面状況を精度よく認識することができる路面状況理解方法、装置、及びプログラムを提供することを目的とする。 It is another object of the present invention to provide a road surface state understanding method, device, and program capable of accurately recognizing a road surface state according to a user's walking state.
上記目的を達成するために、第１の発明に係る歩行状態学習方法は、系列データ抽出部が、ユーザが携帯する携帯デバイスに備え付けられているセンサの出力値をタイムスタンプとともに記録した歩行データから、前記出力値の系列を表す系列データを抽出するステップと、単位データ抽出部が、前記系列データ抽出部によって抽出された前記系列データから、単位時間毎に、前記系列データが単位時間に区切られたデータである単位データを抽出するステップと、ラベル生成部が、入力された、前記ユーザの歩行状態の種別をタイムスタンプとともに時系列に記録したアノテーションデータに基づいて、前記単位データ毎に、前記ユーザの歩行状態の種別を表すラベルを付与するステップと、学習部が、前記単位データ抽出部によって抽出された前記単位データの各々と、前記ラベル生成部によって前記単位データ毎に付与された前記ラベルとに基づいて、前記単位データに対応する前記ラベルを推定するための学習モデルを学習するステップと、を含んで実行することを特徴とする。 In order to achieve the above object, the walking state learning method according to the first invention is based on walking data in which a series data extraction unit records an output value of a sensor provided in a portable device carried by a user together with a time stamp. Extracting the series data representing the series of output values; and a unit data extraction unit, wherein the series data is divided into unit times for each unit time from the series data extracted by the series data extraction unit. Extracting the unit data that is the data, and the label generation unit, for each unit data, based on the input annotation data in which the type of the user's walking state is recorded in time series together with a time stamp, A step of assigning a label indicating the type of the user's walking state, and the learning unit extracted by the unit data extraction unit Learning a learning model for estimating the label corresponding to the unit data based on each of the unit data and the label given to the unit data by the label generation unit; It is characterized by including.
また、第２の発明に係る歩行状態推定方法は、系列データ抽出部が、ユーザが携帯する携帯デバイスに備え付けられているセンサの出力値をタイムスタンプとともに記録した歩行データから、前記出力値の系列を表す系列データを抽出するステップと、単位データ抽出部が、前記系列データ抽出部によって抽出された前記系列データから、単位時間毎に、前記系列データが単位時間に区切られたデータである単位データを抽出するステップと、単位データ種別推定部が、前記単位データ抽出部によって抽出された前記単位データの各々について、前記単位データと、請求項１に記載の歩行状態学習方法によって得られた前記学習モデルとに基づいて、前記単位データに対応する歩行状態の種別である確率を推定するステップと、平滑化処理部が、前記単位データ抽出部によって抽出された前記単位データの各々についての、前記単位データ種別推定部によって得られた前記歩行状態の種別である確率に対し、所定の時間区間での平滑化を行い、前記単位データの各々に対応する前記歩行状態の種別を推定するステップと、を含んで実行することを特徴とする。 Further, the walking state estimation method according to the second invention is the series of output values from the walking data in which the series data extraction unit records the output value of the sensor provided in the portable device carried by the user together with the time stamp. Unit data that is a data obtained by dividing the series data into unit times for each unit time from the series data extracted by the series data extraction unit. And a unit data type estimation unit, for each of the unit data extracted by the unit data extraction unit, the unit data and the learning obtained by the walking state learning method according to claim 1. A step of estimating a probability of a type of walking state corresponding to the unit data based on the model, and a smoothing processing unit Then, for each of the unit data extracted by the unit data extraction unit, smoothing in a predetermined time interval for the probability that is the type of the walking state obtained by the unit data type estimation unit, And a step of estimating the type of walking state corresponding to each of the unit data.
また、第３の発明に係る路面状況理解方法は、上記の歩行状態推定方法の各ステップと、位置別路面状況理解部が、前記平滑化処理部によって得られた推定結果から得られる前記単位データの各々に対する路面状況と、前記携帯デバイスが存在する位置を計測した結果をタイムスタンプとともに記録した測位データとを集計して、各位置の路面状況を認識するステップと、を含んで実行することを特徴とする。 Further, the road surface condition understanding method according to the third invention is the unit data obtained from each step of the above walking state estimation method and the estimation result obtained by the position-specific road surface condition understanding unit by the smoothing processing unit. And a step of recognizing the road surface condition of each position by summing up the road surface condition for each of the above and the positioning data recorded with the time stamp of the result of measuring the position where the portable device exists. Features.
第４の発明に係る歩行状態学習装置は、ユーザが携帯する携帯デバイスに備え付けられているセンサの出力値をタイムスタンプとともに記録した歩行データから、前記出力値の系列を表す系列データを抽出する系列データ抽出部と、前記系列データ抽出部によって抽出された前記系列データから、単位時間毎に、前記系列データが単位時間に区切られたデータである単位データを抽出する単位データ抽出部と、入力された、前記ユーザの歩行状態の種別をタイムスタンプとともに時系列に記録したアノテーションデータに基づいて、前記単位データ毎に、前記ユーザの歩行状態の種別を表すラベルを付与するラベル生成部と、前記単位データ抽出部によって抽出された前記単位データの各々と、前記ラベル生成部によって前記単位データ毎に付与された前記ラベルとに基づいて、前記単位データに対応する前記ラベルを推定するための学習モデルを学習する学習部と、を含んで構成されている。 A walking state learning device according to a fourth aspect of the present invention is a sequence for extracting sequence data representing a sequence of output values from walking data in which an output value of a sensor provided in a portable device carried by a user is recorded together with a time stamp. A data extraction unit; and a unit data extraction unit that extracts unit data, which is data obtained by dividing the series data into unit times, from the series data extracted by the series data extraction unit. In addition, based on annotation data in which the type of walking state of the user is recorded in time series together with a time stamp, a label generation unit that assigns a label indicating the type of walking state of the user for each unit data, and the unit Each of the unit data extracted by the data extraction unit and each unit data by the label generation unit Based on the given it has been the label, is configured to include a, a learning unit that learns a learning model for estimating the label corresponding to the unit data.
また、第５の発明に係る歩行状態推定装置は、ユーザが携帯する携帯デバイスに備え付けられているセンサの出力値をタイムスタンプとともに記録した歩行データから、前記出力値の系列を表す系列データを抽出する系列データ抽出部と、前記系列データ抽出部によって抽出された前記系列データから、単位時間毎に、前記系列データが単位時間に区切られたデータである単位データを抽出する単位データ抽出部と、前記単位データ抽出部によって抽出された前記単位データの各々について、前記単位データと、請求項１に記載の歩行状態学習方法によって得られた前記学習モデルとに基づいて、前記単位データに対応する歩行状態の種別である確率を推定する単位データ種別推定部と、前記単位データ抽出部によって抽出された前記単位データの各々についての、前記単位データ種別推定部によって得られた前記歩行状態の種別である確率に対し、所定の時間区間での平滑化を行い、前記単位データの各々に対応する前記歩行状態の種別を推定する平滑化処理部と、を含んで構成されている。 According to a fifth aspect of the present invention, there is provided a walking state estimation apparatus that extracts series data representing a series of output values from walking data in which an output value of a sensor provided in a portable device carried by a user is recorded together with a time stamp. A unit data extraction unit that extracts unit data that is data obtained by dividing the series data into unit times for each unit time from the series data extracted by the series data extraction unit; The walking corresponding to the unit data for each of the unit data extracted by the unit data extraction unit based on the unit data and the learning model obtained by the walking state learning method according to claim 1. A unit data type estimation unit for estimating a probability of a state type, and the unit data extracted by the unit data extraction unit. For each of the data, the probability of the type of the walking state obtained by the unit data type estimation unit is smoothed in a predetermined time interval, and the walking state corresponding to each of the unit data is And a smoothing processing unit for estimating the type.
また、第６の発明に係る路面状況理解装置は、上記の歩行状態推定装置と、前記平滑化処理部によって得られた推定結果から得られる前記単位データの各々に対する路面状況と、前記携帯デバイスが存在する位置を計測した結果をタイムスタンプとともに記録した測位データとを集計して、各位置の路面状況を認識する位置別路面状況理解部と、を含んで構成されている。 According to a sixth aspect of the present invention, there is provided a road surface condition understanding device comprising: the walking state estimation device; a road surface condition for each of the unit data obtained from the estimation result obtained by the smoothing processing unit; A position-specific road surface condition understanding unit that recognizes the road surface condition of each position by aggregating the positioning data obtained by measuring the existing positions together with the time stamps is included.
第７の発明に係るプログラムは、コンピュータに、上記の歩行状態学習方法、上記の歩行状態推定方法、又は上記の路面状況理解方法の各ステップを実行させるためのプログラムである。 A program according to a seventh invention is a program for causing a computer to execute each step of the walking state learning method, the walking state estimation method, or the road surface state understanding method.
本発明の歩行状態学習方法、歩行状態推定方法、路面状況理解方法、装置、及びプログラムによれば、ユーザが携帯する携帯デバイスに備え付けられているセンサの出力値をタイムスタンプとともに記録した歩行データから系列データを抽出し、系列データが単位時間に区切られたデータである単位データを抽出し、ユーザの歩行状態の種別をタイムスタンプとともに時系列に記録したアノテーションデータに基づいて、単位データ毎にユーザの歩行状態の種別を表すラベルを付与し、単位データの各々と単位データ毎に付与されたラベルとに基づいて、単位データに対応するラベルを推定するための学習モデルを学習することにより、ユーザの歩行状態を精度よく推定することができる学習モデルを得ることができる、という効果が得られる。 According to the walking state learning method, the walking state estimation method, the road surface state understanding method, the apparatus, and the program of the present invention, from the walking data in which the output value of the sensor provided in the portable device carried by the user is recorded together with the time stamp. User data is extracted for each unit data based on the annotation data that extracts the series data, extracts the unit data that is the data divided into the unit time, and records the user's walking state type in time series with the time stamp. By learning a learning model for estimating a label corresponding to unit data based on each unit data and a label given for each unit data The learning model can be obtained that can accurately estimate the walking state of .
また、本発明の歩行状態推定方法、装置、及びプログラムによれば、単位データの各々について、当該単位データと、予め得られた学習モデルとに基づいて、当該単位データに対応する歩行状態の種別である確率を推定し、単位データの各々についての、歩行状態の種別である確率に対し、所定の時間区間での平滑化を行い、単位データの各々に対応する歩行状態の種別を推定することにより、ユーザの歩行状態を精度よく推定認識することができる、という効果が得られる。 Further, according to the walking state estimation method, apparatus, and program of the present invention, for each unit data, the type of walking state corresponding to the unit data based on the unit data and the learning model obtained in advance. The probability of being a walking state type for each unit data, smoothing in a predetermined time interval, and estimating the walking state type corresponding to each unit data Thus, the effect that the user's walking state can be estimated and recognized with high accuracy can be obtained.
また、本発明の路面状況理解方法、装置、及びプログラムによれば、推定結果から得られる単位データの各々に対する路面状況と、携帯デバイスが存在する位置を計測した結果をタイムスタンプとともに記録した測位データとを集計して、各位置の路面状況を認識することにより、ユーザの歩行状態に応じた路面状況を精度よく認識することができる、という効果が得られる。 In addition, according to the road surface state understanding method, apparatus, and program of the present invention, positioning data in which the road surface state for each unit data obtained from the estimation result and the result of measuring the position where the mobile device is present are recorded together with the time stamp And by recognizing the road surface condition at each position, the effect of accurately recognizing the road surface condition according to the user's walking state can be obtained.
＜本発明の実施の形態の概要＞ <Outline of Embodiment of the Present Invention>
本発明の実施の形態は、人が持ち歩く携帯デバイスのセンサデータに基づいて、実世界の路面状況を理解する手法に関する。 Embodiments of the present invention relate to a technique for understanding road conditions in the real world based on sensor data of a portable device carried by a person.
本発明の実施の形態では、まず、携帯デバイスのセンサから得られるセンサデータの情報から、ユーザの歩の歩みとは関係なく、ごく短い区間のセンサデータを単位データとして識別し、その単位データ毎に、対応する歩行状態を特定することを考える。 In the embodiment of the present invention, first, sensor data in a very short section is identified as unit data from the sensor data information obtained from the sensor of the mobile device, regardless of the user's steps, and each unit data Next, consider identifying the corresponding walking state.
具体的には、単位データの系列に基づきユーザの歩行状態の推定を行うモデルを構築し、これにより歩行状態が未知の単位データに対して歩行状態を推定する。次に、この各区間の単位データに対応する歩行状態の推定結果の系列情報に基づいて、センサデータの系列に対する歩行状態を改めて評価する。 Specifically, a model for estimating the user's walking state is constructed based on the series of unit data, and thereby the walking state is estimated for unit data whose walking state is unknown. Next, the walking state with respect to the sensor data series is evaluated again based on the series information of the walking state estimation results corresponding to the unit data of each section.
本実施の形態では、最初に予め決められた単位データ毎に判定を行うことで、既存技術を適用する際に必要であり、判定を誤る原因の一つでもあるセンサデータを歩の歩みに分割する処理と独立して判定を行うことを可能とする。 In this embodiment, the determination is performed for each predetermined unit data first, so that it is necessary when applying the existing technology, and sensor data that is one of the causes of erroneous determination is divided into steps of walking. It is possible to make a determination independently of the processing to be performed.
また、この最初の処理のみでは、推定結果において複数のラベルが交互に生じたり、ノイズとなるような誤判定がおこることも考えられることから、後段の処理では推定結果の系列に基づいて、尤もらしい歩行状態の系列であるように推定結果の補正を行う。以上のように、本実施の形態では、高精度かつピンポイントな路面状況を把握することを目的とする。 In addition, with only this first process, it is possible that a plurality of labels are alternately generated in the estimation result, or misjudgment that causes noise may occur, so in the subsequent process, the likelihood is estimated based on the sequence of estimation results. The estimation result is corrected so as to be a series of apparent walking states. As described above, an object of the present embodiment is to grasp a highly accurate and pinpoint road surface condition.
上記目的を達成するため、本実施の形態における路面状況理解手順では、取得したセンサデータの情報から、まずセンサの観測系列の個々の観測点もしくは１つ以上の観測点の集合に対応する歩行状態の種別を推定する。次に、推定結果の系列の情報に基づいて、現実では起こらない急激な推定結果の変化が起こらないように系列全体としての尤もらしさを元に推定結果の補正を行う。これにより高精度かつピンポイントな路面状況を把握する。また、単位データの各々に対する測位データと単位データの各々に対する路面状況とを集計する手順を加えることで、どの場所にどのような路面状況が存在するかという地理情報を組み合わせた段差の理解を行うことが可能となる。 In order to achieve the above object, in the road surface condition understanding procedure according to the present embodiment, the walking state corresponding to each observation point of the sensor observation series or a set of one or more observation points is first determined from the acquired sensor data information. Estimate the type. Next, based on the estimation result sequence information, the estimation result is corrected based on the likelihood of the entire sequence so that a sudden change in the estimation result that does not occur in reality does not occur. As a result, a highly accurate and pinpoint road surface condition is grasped. In addition, by adding a procedure for counting the positioning data for each unit data and the road surface condition for each unit data, it is possible to understand the level difference by combining geographical information about what road surface condition exists at which location. It becomes possible.
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本発明の実施の形態では、路面状況学習システムと路面状況理解システムとに本発明を適用した場合を例に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the embodiment of the present invention, a case where the present invention is applied to a road surface state learning system and a road surface state understanding system will be described as an example.
＜本発明の実施の形態に係る路面状況学習システムの構成＞ <Configuration of road surface learning system according to an embodiment of the present invention>
まず、本発明の実施の形態に係る路面状況学習システムの構成について説明する。図１に示すように、本発明の実施の形態に係る路面状況学習システム１０は、複数のユーザがそれぞれ携帯する携帯デバイス１２と、路面状況学習装置２０とを備えている。 First, the configuration of the road surface state learning system according to the embodiment of the present invention will be described. As shown in FIG. 1, a road surface learning system 10 according to an embodiment of the present invention includes a mobile device 12 and a road surface learning device 20 that are carried by a plurality of users.
携帯デバイス１２には、センサが備え付けられている。携帯デバイス１２は、歩行データ収集部１４、及びアノテーション収集部１６を備え、歩行にかかわるセンサの出力値及び位置情報、並びに歩行に対するアノテーションデータをタイムスタンプと併せて獲得し、必要に応じて記憶領域１８に格納する。また、定期的もしくは、ユーザからの操作に応じて、歩行データ収集部１４及びアノテーション収集部１６により収集したデータ、並びに必要に応じてそれに付随する識別情報を、それぞれ路面状況学習装置２０の歩行データ蓄積部２２、及び歩行アノテーション蓄積部２４に送信し、蓄積させる。 The portable device 12 is equipped with a sensor. The portable device 12 includes a walking data collection unit 14 and an annotation collection unit 16, acquires output values and position information of sensors relating to walking, and annotation data for walking together with a time stamp, and stores a storage area as necessary. 18. Further, the data collected by the walking data collection unit 14 and the annotation collection unit 16 and the identification information associated with the data collected by the walking data collection unit 14 and the annotation collection unit 16 on a regular basis or according to an operation from the user, respectively, The data is transmitted to the storage unit 22 and the walking annotation storage unit 24 and stored.
歩行データ収集部１４は、携帯デバイス１２に備え付けられているセンサの出力値をタイムスタンプとともに記録した歩行データを収集する。歩行データ収集部１４は、携帯デバイス１２に組み込まれたハードウエアもしくはソフトウエアとして実現される。この機能を実現するセンサの例としては、加速度センサやジャイロセンサ、歩行検知センサなどであり、これらのセンサの出力値をタイムスタンプとともに時系列で記録したセンサデータとして取得し、必要に応じて記憶領域１８に記憶した上で、携帯デバイス１２の機能により歩行データ蓄積部２２に送信する。送信する際には、必要に応じて端末ＩＤ等の識別情報と関連付けて送信してもよい。 The walking data collection unit 14 collects walking data in which output values of sensors provided in the mobile device 12 are recorded together with a time stamp. The walking data collection unit 14 is realized as hardware or software incorporated in the portable device 12. Examples of sensors that realize this function are acceleration sensors, gyro sensors, walking detection sensors, etc., and output values of these sensors are acquired as time-stamped sensor data and stored as needed. After being stored in the area 18, it is transmitted to the walking data storage unit 22 by the function of the mobile device 12. When transmitting, you may link | link with identification information, such as terminal ID, as needed.
アノテーション収集部１６は、ユーザの歩行状態の種別をタイムスタンプとともに時系列に記録したアノテーションデータを収集する。アノテーション収集部１６は、携帯デバイス１２に組み込まれたハードウエアもしくはソフトウエアとして実現される。この機能は歩行データを収集する対象となるユーザもしくはそのユーザの行動を観測する観察者によって利用され、ユーザ又は当該観察者によって、ユーザの歩行状態の種別が入力される。具体的には、ユーザの歩の歩みに対応するタイミングで、例えば平坦の歩行か、段差の歩行か、傾斜の歩行等の歩行状態の種別が入力される。また、タイミングと歩行状態の種別とを別々に入力し、タイムスタンプなどを用いて後で統合して利用することも考えられる。アノテーション収集部１６は、必要に応じて記憶領域１８に記憶した上で、携帯デバイス１２の機能により歩行アノテーション蓄積部２４に送信する。送信する際には、必要に応じて端末ＩＤ等の識別情報と関連付けて送信してもよい。 The annotation collection unit 16 collects annotation data in which the type of user's walking state is recorded in time series together with a time stamp. The annotation collection unit 16 is realized as hardware or software incorporated in the mobile device 12. This function is used by a user who collects walking data or an observer who observes the behavior of the user, and the type of the user's walking state is input by the user or the observer. Specifically, at the timing corresponding to the step of the user's step, for example, the type of walking state such as flat walking, stepped walking, or inclined walking is input. It is also conceivable that the timing and the type of walking state are input separately and integrated later using a time stamp or the like. The annotation collection unit 16 stores it in the storage area 18 as necessary, and transmits it to the walking annotation accumulation unit 24 by the function of the mobile device 12. When transmitting, you may link | link with identification information, such as terminal ID, as needed.
路面状況学習装置２０は、ＣＰＵと、ＲＡＭと、後述する路面状況学習処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。 The road surface state learning device 20 can be configured by a computer including a CPU, a RAM, and a ROM that stores a program for executing a road surface state learning process routine described later and various data.
路面状況学習装置２０は、歩行データ蓄積部２２と、歩行アノテーション蓄積部２４と、系列データ抽出部２６と、単位データ抽出部２８と、ラベル生成部３０と、歩行データラベル蓄積部３２と、学習部３４と、パラメタ記憶部３６とを備えている。 The road surface condition learning device 20 includes a walking data storage unit 22, a walking annotation storage unit 24, a series data extraction unit 26, a unit data extraction unit 28, a label generation unit 30, a walking data label storage unit 32, and learning. Unit 34 and parameter storage unit 36.
歩行データ蓄積部２２には、携帯デバイス１２から受信した歩行データが格納されている。歩行データ蓄積部２２に蓄積される歩行データの一例は、図２に示すように、端末ＩＤ、タイムスタンプ、加速度Ｘ、Ｙ、及びＺ、並びにジャイロＸ、Ｙ、及びＺの情報である。 The walking data storage unit 22 stores walking data received from the mobile device 12. An example of the walking data stored in the walking data storage unit 22 is information on the terminal ID, time stamp, acceleration X, Y, and Z, and gyro X, Y, and Z, as shown in FIG.
歩行アノテーション蓄積部２４には、携帯デバイス１２から受信したアノテーションデータが格納されている。歩行アノテーション蓄積部２４に蓄積されるアノテーションデータの一例は、図３に示すように、端末ＩＤ、タイムスタンプ、及び歩行状態の種別の情報である。 The walking annotation accumulating unit 24 stores annotation data received from the mobile device 12. An example of annotation data stored in the walking annotation storage unit 24 is terminal ID, time stamp, and walking type information as shown in FIG.
系列データ抽出部２６は、歩行データ蓄積部２２に蓄積された歩行データから、携帯デバイス１２に備え付けられているセンサの出力値の系列を表す系列データを抽出する。系列データは、特定の時間区間において連続した一連の歩行データである。系列データ抽出部２６は、系列データを取得し、単位データ抽出部２８へ出力する。 The series data extraction unit 26 extracts series data representing a series of output values of sensors provided in the mobile device 12 from the walking data stored in the walking data storage unit 22. The series data is a series of walking data continuous in a specific time interval. The sequence data extraction unit 26 acquires the sequence data and outputs it to the unit data extraction unit 28.
単位データ抽出部２８は、系列データ抽出部２６によって抽出された系列データから、単位時間毎に、系列データが単位時間に区切られたデータである単位データを抽出する。具体的には、単位データ抽出部２８は、系列データ抽出部２６から受け取る連続した歩行データから、一つもしくは一つ以上の観測点を単位データとして、単位データの系列を抽出する。 The unit data extraction unit 28 extracts unit data, which is data obtained by dividing the series data into unit times, from the series data extracted by the series data extraction unit 26 for each unit time. Specifically, the unit data extraction unit 28 extracts a series of unit data from the continuous walking data received from the series data extraction unit 26 using one or more observation points as unit data.
図４に、単位データ抽出部２８における処理のイメージを示す。単位データは、後述する学習部３４での学習処理、及び後述する単位データ種別推定部２３７での推定処理が行われる際の最小の単位のデータであり、単位データには推定対象とするタイムステップの前後のデータを含んでいてもよい。例えば、時刻ｔの単位データｅｔの一例としては、以下の式（１）のように表現される。 FIG. 4 shows an image of processing in the unit data extraction unit 28. The unit data is the minimum unit data when the learning process in the learning unit 34 described later and the estimation process in the unit data type estimation unit 237 described later are performed. The unit data includes time steps to be estimated. The data before and after may be included. For example, as an example of a unit data e t at time t, it is expressed as the following equation (1).
ここで、上記式（１）におけるｘｔ，ｙｔ，ｚｔ及びｐｏｗｅｒｔは、それぞれ時刻ｔにおけるＸ軸，Ｙ軸，Ｚ軸の加速度およびそれら３軸加速度の二乗和の平方根を表す。このベクトルの要素は、例えばジャイロセンサによる角速度等他の要素が追加されることや、一部のデータを利用しないことも考えられる。また、時刻ｔの単位データｅｔの別の例として、以下の式（２）に示すように、時刻ｔの前後のタイムスタンプのデータを含むことも考えられる。 Here, x t , y t , z t and power t in the above equation (1) represent the X-axis, Y-axis and Z-axis accelerations at time t and the square root of the square sum of these three-axis accelerations, respectively. For example, other elements such as an angular velocity by a gyro sensor may be added to this vector element, or some data may not be used. Another example of a unit data e t at time t, as shown in the following equation (2), it is conceivable to include data before and after the time stamp of the time t.
さらには、上記図４に示されるように、単位データをグラフとして表現した画像と対応させ、その画像の画素値を単位データに対応するベクトルとして扱うこと等のように、単位データの特徴を表現する形のベクトル表現であればその形は問わない。 Furthermore, as shown in FIG. 4, the feature of the unit data is expressed such that the unit data is associated with the image expressed as a graph and the pixel value of the image is handled as a vector corresponding to the unit data. Any shape can be used as long as it is a vector representation.
ラベル生成部３０は、歩行アノテーション蓄積部２４に蓄積されたアノテーションデータに基づいて、単位データ毎に、ユーザの歩行状態の種別を表すラベルを付与する。そして、ラベル生成部３０は、その結果を歩行データラベル蓄積部３２に格納する。 Based on the annotation data stored in the walking annotation storage unit 24, the label generation unit 30 assigns a label indicating the type of the user's walking state for each unit data. Then, the label generation unit 30 stores the result in the walking data label accumulation unit 32.
ラベル生成部３０におけるラベルの付与の例としては、歩行アノテーション蓄積部２４に付与されるアノテーションのタイムスタンプに基づき、あるアノテーションと次のタイムスタンプのアノテーションの情報を元に、アノテーションの中央にあたるタイムスタンプを特定する。そして前者のアノテーションのタイムスタンプとその中央のタイムスタンプの間にあるデータに対しては、前者のアノテーションと同じラベルを付与する。そして中央のタイムスタンプから次のアノテーションまでのデータに対しては、後者のアノテーションと同じラベルを付与することが考えられる。 As an example of label assignment in the label generation unit 30, a time stamp corresponding to the center of the annotation is based on the annotation information of a certain annotation and the next time stamp based on the time stamp of the annotation given to the walking annotation accumulation unit 24. Is identified. The same label as the former annotation is assigned to the data between the timestamp of the former annotation and the time stamp in the center. It is conceivable that the same label as the latter annotation is assigned to the data from the central time stamp to the next annotation.
歩行データラベル蓄積部３２には、ラベル生成部３０によって単位データ毎に付与されたラベルが蓄積される。歩行データラベル蓄積部３２に蓄積されるデータの一例は、図５に示すように、端末ＩＤ、タイムスタンプ、及びラベルの情報である。 The walking data label accumulating unit 32 accumulates labels given for each unit data by the label generating unit 30. An example of data stored in the walking data label storage unit 32 is terminal ID, time stamp, and label information as shown in FIG.
学習部３４は、単位データ抽出部２８によって抽出された単位データの各々と、ラベル生成部３０によって単位データ毎に付与されたラベルとに基づいて、単位データに対応するラベルを推定するための学習モデルを学習する。また、本実施の形態では、単位データ毎に付与されたラベルから段差の有無を取得し、段差の有無を更に推定する学習モデルを学習する。本実施の形態では、学習部３４は、単位データ抽出部２８から取得する単位データの系列と、歩行データラベル蓄積部３２から取得する単位データの系列に対応するラベルの情報とに基づいて、学習モデルの一例であるＲＮＮモデルの学習を行う。 The learning unit 34 learns to estimate a label corresponding to the unit data based on each of the unit data extracted by the unit data extraction unit 28 and the label given to each unit data by the label generation unit 30. Learn the model. Further, in the present embodiment, the learning model that acquires the presence / absence of a step from the label given for each unit data and further estimates the presence / absence of the step is learned. In the present embodiment, the learning unit 34 learns based on the unit data series acquired from the unit data extraction unit 28 and the label information corresponding to the unit data series acquired from the walking data label accumulation unit 32. An RNN model which is an example of a model is learned.
なお、ＲＮＮモデルの手法としては、公知技術であるＬＳＴＭ（long short term memory）を備えたＲＮＮ（例えば、参考文献１を参照）、忘却ゲート付のＬＳＴＭを備えたＲＮＮ（例えば、参考文献２を参照）等の公知の技術を利用することが可能である。 In addition, as a technique of the RNN model, an RNN (for example, see Reference 1) having a LSTM (long short term memory), which is a known technique, and an RNN (for example, Reference 2) having an LSTM with a forgetting gate are used. It is possible to use a known technique such as reference).
参考文献１：Sepp Hochreiter and Jurgen Schmidhuber, "Long short-term memory", Neural Computation 9 (8): pp.1735-1780, 1997.
参考文献２：Felix A. Gers, Nicol N. Schraudolph, and Jurgen Schmidhuber, "Learning precise timing with LSTM recurrent networks", Journal of Machine Learning Research, vol. 3, pp.115-143, 2002.
Reference 1: Sepp Hochreiter and Jurgen Schmidhuber, "Long short-term memory", Neural Computation 9 (8): pp.1735-1780, 1997.
Reference 2: Felix A. Gers, Nicol N. Schraudolph, and Jurgen Schmidhuber, "Learning precise timing with LSTM recurrent networks", Journal of Machine Learning Research, vol. 3, pp. 115-143, 2002.
図６にＲＮＮモデルの動作を説明するための図を示す。図６に示すように、ＲＮＮモデルを用いた次のセンサデータに対応する歩行状態のラベルの推定では、まず単位データを表現するベクトル表現９１０について、ベクトル表現９１０とモデルパラメータの一つであるＷｅｍｂｅｄとの積をとることで、単位データの特徴の抽象的表現である特徴ベクトル９２０を得る。 FIG. 6 is a diagram for explaining the operation of the RNN model. As shown in FIG. 6, in the estimation of the label of the walking state corresponding to the next sensor data using the RNN model, first, for the vector representation 910 representing the unit data, the vector representation 910 and one of the model parameters W A feature vector 920 that is an abstract representation of the feature of the unit data is obtained by taking the product with the embed .
次に、得られた特徴ベクトル９２０と、前のタイムステップにおけるＲＮＮモデルを用いて得られた潜在的な状態ベクトル９３０とを入力とし、上述の参考文献に開示されているＬＳＴＭ等を用いて現在のタイムステップにおける状態ベクトル９４０を算出する。 Next, the obtained feature vector 920 and the potential state vector 930 obtained using the RNN model in the previous time step are input, and the current vector is obtained using the LSTM disclosed in the above-mentioned reference. The state vector 940 at the time step is calculated.
最後に、算出した状態ベクトル９４０から、ソフトマックス関数を用いて、当該タイムスタンプにおける単位データの歩行状態の種別の各々の確率、及び段差が有る確率を、歩行状態の推定結果９５０として出力する。 Finally, from the calculated state vector 940, using the softmax function, the probability of each type of walking state of the unit data in the time stamp and the probability that there is a step are output as the walking state estimation result 950.
なお、ＲＮＮの学習には、上述した参考文献に開示されているＢＰＴＴ（back propagation through time）等の手法についても利用可能である。 It should be noted that for the learning of RNN, a technique such as BPTT (back propagation through time) disclosed in the above-mentioned reference can be used.
学習部３４は、学習した学習モデルのパラメタを、パラメタ記憶部３６に格納する。パラメタ記憶部３６に格納されるパラメタの例を図７に示す。図７に示したパラメタは上述したＬＳＴＭを備えたＲＮＮモデルのパラメタの一例である。 The learning unit 34 stores the parameters of the learned learning model in the parameter storage unit 36. An example of parameters stored in the parameter storage unit 36 is shown in FIG. The parameters shown in FIG. 7 are examples of parameters of the RNN model provided with the above-described LSTM.
Ｗｅｍｂｅｄ：単位データを表すベクトル表現を抽象化された特徴ベクトルに変換するためのパラメタ
Ｗｉｎ：ＬＳＴＭのinput gateにおけるパラメタ
Ｗｏｕｔ：ＬＳＴＭのoutput gateにおけるパラメタ
Ｗｃ：memory cellにおけるパラメタ
Ｗｓｏｆｔｍａｘ：ソフトマックス関数を用いてＲＮＮの状態ベクトルから、歩行状態の推定結果を算出するためのパラメタ
W embed : parameter for converting a vector representation representing unit data into an abstracted feature vector W in : parameter in an LSTM input gate W out : parameter in an LSTM output gate W c : parameter in a memory cell W softmax : Parameters for calculating the walking state estimation result from the RNN state vector using the softmax function
パラメタ記憶部３６には、学習部３４によって学習された学習モデルのパラメタが格納される。 The parameter storage unit 36 stores the parameters of the learning model learned by the learning unit 34.
＜本発明の実施の形態に係る路面状況理解システムの構成＞ <Configuration of road surface condition understanding system according to an embodiment of the present invention>
次に、本発明の実施の形態に係る路面状況理解システムの構成について説明する。図８に示すように、本発明の実施の形態に係る路面状況理解システム１００は、複数のユーザがそれぞれ携帯する携帯デバイス２１２と、路面状況理解装置２２０と、出力部３００とを備えている。 Next, the configuration of the road surface condition understanding system according to the embodiment of the present invention will be described. As shown in FIG. 8, the road surface situation understanding system 100 according to the embodiment of the present invention includes a mobile device 212, a road surface situation understanding device 220, and an output unit 300 that are carried by a plurality of users.
携帯デバイス２１２は、歩行データ収集部２１４、及び測位部２１６を備え、歩行にかかわるセンサの出力値及び位置情報をタイムスタンプと併せて獲得し、必要に応じて記憶領域２１８に格納する。携帯デバイス２１２における歩行データ収集部２１４、及び記憶領域２１８の構成は、上記携帯デバイス１２の、歩行データ収集部１４、及び記憶領域１８と同様である。 The portable device 212 includes a walking data collection unit 214 and a positioning unit 216, acquires an output value and position information of a sensor related to walking together with a time stamp, and stores it in a storage area 218 as necessary. The configuration of the walking data collection unit 214 and the storage area 218 in the portable device 212 is the same as that of the walking data collection unit 14 and the storage area 18 of the portable device 12.
測位部２１６は、携帯デバイス２１２が存在する位置を計測した結果をタイムスタンプとともに記録した測位データを集計する。測位部２１６は、携帯デバイス２１２に組み込まれたハードウエアもしくはソフトウエアとして実現される。この機能は、ＧＰＳ等の衛星電波を用いた測位手段や、Ｗｉ−Ｆｉ（Ｒ）電波を用いた測位手段やそれらの組合せ等で実現される。ここで取得した位置情報はタイムスタンプと関連付けて取得され、必要に応じて記憶領域２１８に記憶した上で、携帯デバイス２１２の機能により測位データ蓄積部２２３に送信する。送信される際には、必要に応じて端末ＩＤ等の識別情報と関連付けて送信される場合がある。 The positioning unit 216 totals the positioning data in which the result of measuring the position where the portable device 212 exists is recorded together with the time stamp. The positioning unit 216 is realized as hardware or software incorporated in the portable device 212. This function is realized by positioning means using satellite radio waves such as GPS, positioning means using Wi-Fi (R) radio waves, and combinations thereof. The position information acquired here is acquired in association with the time stamp, stored in the storage area 218 as necessary, and then transmitted to the positioning data storage unit 223 by the function of the portable device 212. When transmitted, it may be transmitted in association with identification information such as a terminal ID as necessary.
路面状況理解装置２２０は、ＣＰＵと、ＲＡＭと、後述する路面状況理解処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。 The road surface condition understanding device 220 can be configured by a computer including a CPU, a RAM, and a ROM that stores a program and various data for executing a road surface condition understanding process routine described later.
路面状況理解装置２２０は、歩行データ蓄積部２２２と、測位データ蓄積部２２３と、系列データ抽出部２２６と、単位データ抽出部２２８と、パラメタ記憶部２３６と、単位データ種別推定部２３７と、平滑化処理部２３８と、位置別路面状況理解部２３９と、を備えている。 The road surface condition understanding device 220 includes a walking data accumulation unit 222, a positioning data accumulation unit 223, a series data extraction unit 226, a unit data extraction unit 228, a parameter storage unit 236, a unit data type estimation unit 237, a smoothness A processing unit 238 and a position-specific road surface condition understanding unit 239 are provided.
歩行データ蓄積部２２２には、携帯デバイス２１２から受信した歩行データが格納されている。格納される歩行データの形式は歩行データ蓄積部２２と同じである。 The walking data storage unit 222 stores walking data received from the portable device 212. The format of the walking data stored is the same as that of the walking data storage unit 22.
測位データ蓄積部２２３には、携帯デバイス２１２から受信した測位データが格納されている。測位データ蓄積部２２３に蓄積される測位データの一例は、図９に示すように、端末ＩＤ、タイムスタンプ、緯度、及び経度の情報である。図９の例では、屋外を想定し、測位結果として緯度経度を記録しているが、屋内の測位を用いる際には、施設名称や施設内部での場所を示す情報を記録することも考えられる。 The positioning data storage unit 223 stores positioning data received from the portable device 212. An example of the positioning data stored in the positioning data storage unit 223 is information on the terminal ID, time stamp, latitude, and longitude, as shown in FIG. In the example of FIG. 9, the latitude and longitude are recorded as a positioning result assuming outdoor, but when using indoor positioning, it is also possible to record information indicating the facility name and the location inside the facility. .
系列データ抽出部２２６は、路面状況学習装置２０の系列データ抽出部２６と同様に、歩行データ蓄積部２２２に蓄積された歩行データから、携帯デバイス２１２に備え付けられているセンサの出力値の系列を表す系列データを抽出する。 Similar to the sequence data extraction unit 26 of the road surface state learning device 20, the sequence data extraction unit 226 obtains a series of output values of sensors provided in the portable device 212 from the walking data stored in the walking data storage unit 222. Extract the series data to represent.
単位データ抽出部２２８は、路面状況学習装置２０の単位データ抽出部２８と同様に、系列データ抽出部２２６によって抽出された系列データから、単位時間毎に、系列データが単位時間に区切られたデータである単位データを抽出する。 Similar to the unit data extraction unit 28 of the road surface learning device 20, the unit data extraction unit 228 is data in which the series data is divided into unit times for each unit time from the series data extracted by the series data extraction unit 226. To extract unit data.
パラメタ記憶部２３６には、路面状況学習装置２０によって学習された学習モデルのパラメタが格納される。 The parameter storage unit 236 stores the parameters of the learning model learned by the road surface condition learning device 20.
単位データ種別推定部２３７は、単位データ抽出部２２８によって抽出された単位データの各々について、当該単位データと、パラメタ記憶部２３６に格納された学習モデルのパラメタとに基づいて、当該単位データに対応する歩行状態の種別の各々である確率、及び段差が有る確率を推定する。 The unit data type estimation unit 237 corresponds to the unit data for each of the unit data extracted by the unit data extraction unit 228 based on the unit data and the parameters of the learning model stored in the parameter storage unit 236. The probability of each type of walking state to be performed and the probability of having a step are estimated.
具体的には、単位データ種別推定部２３７では、歩行状態を表すラベルがわからないセンサからの出力値に対し、単位データ抽出部２２８によって処理して得た個々の単位データをタイムスタンプの若い順に入力することで、以下のように、個々の単位データに対応するそれぞれの歩行状態の種別の確率及び段差が有る確率を得る。 Specifically, in the unit data type estimation unit 237, individual unit data obtained by processing by the unit data extraction unit 228 is input in ascending order of time stamps with respect to an output value from a sensor whose label indicating the walking state is not known. By doing so, the probability of each walking state type corresponding to each unit data and the probability of having a step are obtained as follows.
まず、単位データ種別推定部２３７は、初期の状態ベクトルｈ０をゼロベクトルで初期化する。また、単位データ種別推定部２３７は、パラメタ記憶部２３６からＲＮＮパラメタを読み出しＲＮＮモデルを構築する。 First, the unit data type estimation unit 237 initializes the initial state vector h 0 with a zero vector. The unit data type estimation unit 237 reads the RNN parameter from the parameter storage unit 236 and constructs an RNN model.
この状態において、現在のタイムスタンプの単位データを表現するベクトルｅｔと、直前のタイムスタンプにおけるＲＮＮモデルから得られた状態ベクトルｈｔ−１をＲＮＮモデルに入力することにより、当該タイムスタンプに対応する単位データの歩行状態の種別を表すラベル及び段差の有無を推定した結果を表すベクトルｐｔならびに状態ベクトルｈｔを出力する。 In this state, by inputting the vector e t representing the unit data of the current time stamp and the state vector h t−1 obtained from the RNN model at the immediately preceding time stamp to the RNN model, the time stamp can be handled. It outputs a vector p t and state vector h t represents the result of estimating the label and the presence or absence of the step representing the type of the walking state of the unit data to be.
単位データ種別推定部２３７は、上記処理の繰り返しにより、入力された単位データ系列の個々の単位データに対応する歩行状態の種別の各々の確率及び段差がある確率を取得し、平滑化処理部２３８へ出力する。 The unit data type estimation unit 237 obtains the probability of each type of walking state and the probability that there is a step corresponding to each unit data of the input unit data series by repeating the above processing, and the smoothing processing unit 238. Output to.
平滑化処理部２３８は、単位データ抽出部２２８によって抽出された単位データの各々についての、単位データ種別推定部２３７によって得られた歩行状態の種別の各々である確率に対し、所定の時間区間での平滑化を行い、単位データの各々に対応する歩行状態の種別を推定する。また、平滑化処理部２３８は、単位データ抽出部２２８によって抽出された単位データの各々についての、単位データ種別推定部２３７によって得られた段差がある確率に対し、所定の時間区間での平滑化を行い、単位データの各々に対応する段差の有無を、路面状況として推定する。 The smoothing processing unit 238 performs a predetermined time interval with respect to the probability of each type of walking state obtained by the unit data type estimation unit 237 for each of the unit data extracted by the unit data extraction unit 228. Are smoothed, and the type of walking state corresponding to each unit data is estimated. Further, the smoothing processing unit 238 smoothes the unit data extracted by the unit data extraction unit 228 in a predetermined time interval with respect to the probability that there is a step obtained by the unit data type estimation unit 237. The presence or absence of a step corresponding to each unit data is estimated as the road surface condition.
平滑化処理部２３８は、単位データ種別推定部２３７により推定した各単位データに対する推定結果に基づいて、例えば、現実では起こりえない推定結果の揺れによるノイズの除去を行うために、平滑化の処理を行う。 Based on the estimation result for each unit data estimated by the unit data type estimation unit 237, the smoothing processing unit 238 performs a smoothing process, for example, to remove noise due to fluctuations in the estimation result that cannot occur in reality. I do.
処理の一例としては、単位データ系列に対する推定結果を表すベクトルの各要素の系列に対して、平滑化処理を行う。推定結果を表すベクトルの各要素には、歩行状態の種別の各々の確率と、段差の有無の確率とが含まれている。平滑化の方法としては、公知技術である中央値フィルタ（例えば、参考文献３を参照）、バイラテラルフィルタ（例えば、参考文献４を参照）等を用いることができる。 As an example of processing, smoothing processing is performed on a sequence of each element of a vector representing an estimation result for a unit data sequence. Each element of the vector representing the estimation result includes the probability of each type of walking state and the probability of presence or absence of a step. As a smoothing method, a median filter (see, for example, Reference 3) or a bilateral filter (see, for example, Reference 4), which are known techniques, can be used.
参考文献３：T. Huang, G. Yang, and G. Tang, "A fast two-dimensional median filtering algorithm", IEEE Trans. Acoust.,Speech, Signal Processing, vol. 27, no. 1, pp. 13-18, 1979.
参考文献４：Tomasi, C., and Manduchi, R., "Bilateral filtering for gray and color images." In Proc. of ICCV, 1998
Reference 3: T. Huang, G. Yang, and G. Tang, "A fast two-dimensional median filtering algorithm", IEEE Trans. Acoust., Speech, Signal Processing, vol. 27, no. 1, pp. 13 -18, 1979.
Reference 4: Tomasi, C., and Manduchi, R., "Bilateral filtering for gray and color images." In Proc. Of ICCV, 1998
平滑化処理の例を図１０に示す。図１０には、段差の有無の確率に対する平滑化処理を例に示す。図１０に示すように、平滑化に関するフィルタ処理を行うことで、ｐｔの値が過度に変化することを抑え、ノイズと考えられる値の変化を抑えられる。なお、平滑化処理部２３８は、歩行状態の種別である確率に対しても、所定の時間区間での平滑化を行う。この平滑化処理を行った後のｐｔを用いて、個々の単位データに対応する区間の歩行状態を推定することで、推定結果の局所的な揺れに伴うノイズを除去した形で推定結果を得ることを可能とする。平滑化処理部２３８は、以上で推定された結果を、位置別路面状況理解部２３９に出力する。 An example of the smoothing process is shown in FIG. FIG. 10 shows an example of smoothing processing for the probability of presence or absence of a step. As shown in FIG. 10, by performing the filtering in the smoothing suppressed that the value of p t is changed excessively suppressed the change in value is considered noise. Note that the smoothing processing unit 238 also performs smoothing in a predetermined time interval for the probability of the type of walking state. By using pt after this smoothing process, the walking state of the section corresponding to each unit data is estimated, so that the estimation result is obtained in a form in which noise associated with local fluctuation of the estimation result is removed. Make it possible to get. The smoothing processing unit 238 outputs the result estimated above to the position-specific road surface state understanding unit 239.
位置別路面状況理解部２３９は、平滑化処理部２３８によって得られた推定結果から得られる単位データの各々に対する路面状況と、携帯デバイス２１２が存在する位置を計測した結果をタイムスタンプとともに記録した測位データとを集計して、各位置の路面状況を認識する。 The position-specific road surface condition understanding unit 239 records the road surface condition for each of the unit data obtained from the estimation result obtained by the smoothing processing unit 238 and the result of measuring the position where the mobile device 212 exists, together with the time stamp. The data and the data are aggregated to recognize the road surface condition at each position.
位置別路面状況理解部２３９では、歩行データ蓄積部２２２の情報を処理した結果と、測位データ蓄積部２２３の情報とを組み合わせることで、どの場所がどのような路面状況であるかを把握する。これにより、路面状況を把握できる路面状況付き地図を生成することが可能となる。 The position-specific road surface state understanding unit 239 grasps which place is what road surface state by combining the result of processing the information of the walking data storage unit 222 and the information of the positioning data storage unit 223. As a result, it is possible to generate a map with a road surface state that can grasp the road surface state.
出力部３００は、位置別路面状況理解部２３９によって認識された、各位置の路面状況を結果として出力する。 The output unit 300 outputs the road surface condition at each position recognized by the position-specific road surface condition understanding unit 239 as a result.
＜本発明の実施の形態に係る路面状況学習システムの作用＞ <Operation of the road surface state learning system according to the embodiment of the present invention>
次に、本発明の実施の形態に係る路面状況学習システム１０の路面状況学習装置２０の作用について説明する。路面状況学習装置２０は、定期的に、歩行データ蓄積部２２、及び歩行アノテーション蓄積部２４に歩行データ、及びアノテーションデータが蓄積、更新されていることを検知し、図１１に示す路面状況学習処理ルーチンを実行する。 Next, the operation of the road surface state learning device 20 of the road surface state learning system 10 according to the embodiment of the present invention will be described. The road surface state learning device 20 periodically detects that walking data and annotation data are stored and updated in the walking data storage unit 22 and the walking annotation storage unit 24, and the road surface state learning process shown in FIG. Run the routine.
まず、ステップＳ１００において、系列データ抽出部２６は、歩行データ蓄積部２２に蓄積された歩行データから、携帯デバイス１２に備え付けられているセンサの出力値の系列を表す系列データを抽出する。 First, in step S <b> 100, the series data extraction unit 26 extracts series data representing a series of output values of sensors provided in the mobile device 12 from the walking data stored in the walking data storage unit 22.
次に、ステップＳ１０２において、単位データ抽出部２８は、上記ステップＳ１００で抽出された系列データから、単位時間毎に、系列データが単位時間に区切られたデータである単位データを抽出する。 Next, in step S102, the unit data extraction unit 28 extracts unit data that is data in which the series data is divided into unit times for each unit time from the series data extracted in step S100.
ステップＳ１０４において、ラベル生成部３０は、歩行アノテーション蓄積部２４に蓄積されたアノテーションデータに基づいて、上記ステップＳ１０２で抽出された単位データ毎に、ユーザの歩行状態の種別を表すラベルを付与する。 In step S <b> 104, the label generation unit 30 assigns a label indicating the type of walking state of the user to each unit data extracted in step S <b> 102 based on the annotation data accumulated in the walking annotation accumulation unit 24.
ステップＳ１０６において、学習部３４は、上記ステップＳ１０２で抽出された単位データの各々と、上記ステップＳ１０４で単位データ毎に付与されたラベルとに基づいて、単位データに対応するラベルを推定するための学習モデルを学習する。 In step S106, the learning unit 34 estimates a label corresponding to the unit data based on each of the unit data extracted in step S102 and the label assigned to each unit data in step S104. Learn the learning model.
ステップＳ１０８において、学習部３４は、ステップＳ１０６で得られた学習モデルのパラメタをパラメタ記憶部３６に格納して、路面状況学習処理ルーチンを終了する。 In step S108, the learning unit 34 stores the parameters of the learning model obtained in step S106 in the parameter storage unit 36, and ends the road surface state learning processing routine.
＜本発明の実施の形態に係る路面状況理解システムの作用＞ <Operation of the road surface condition understanding system according to the embodiment of the present invention>
次に、本発明の実施の形態に係る路面状況理解システム１００の路面状況理解装置２２０の作用について説明する。まず、路面状況学習装置２０のパラメタ記憶部３６に格納された学習モデルのパラメタが路面状況理解装置２２０に入力されると、路面状況理解装置２２０によって、入力された学習モデルのパラメタが、パラメタ記憶部２３６へ格納される。そして、路面状況理解装置２２０は、定期的に、歩行データ蓄積部２２２、及び測位データ蓄積部２２３に歩行データ、及び測位データが蓄積、更新されていることを検知し、図１２に示す路面状況理解処理ルーチンを実行する。 Next, the operation of the road surface state understanding device 220 of the road surface state understanding system 100 according to the embodiment of the present invention will be described. First, when the learning model parameters stored in the parameter storage unit 36 of the road surface learning device 20 are input to the road surface understanding device 220, the parameters of the learning model input by the road surface understanding device 220 are stored in the parameter storage. Stored in the unit 236. Then, the road surface condition understanding device 220 periodically detects that the walking data and the positioning data are stored and updated in the walking data storage unit 222 and the positioning data storage unit 223, and the road surface state shown in FIG. An understanding processing routine is executed.
まず、ステップＳ２００において、系列データ抽出部２２６は、路面状況学習装置２０の系列データ抽出部２６と同様に、歩行データ蓄積部２２２に蓄積された歩行データから、携帯デバイス２１２に備え付けられているセンサの出力値の系列を表す系列データを抽出する。 First, in step S <b> 200, the sequence data extraction unit 226 is a sensor provided in the portable device 212 from the walking data stored in the walking data storage unit 222, as with the sequence data extraction unit 26 of the road surface learning device 20. Series data representing a series of output values is extracted.
次に、ステップＳ２０２において、単位データ抽出部２２８は、路面状況学習装置２０の単位データ抽出部２８と同様に、上記ステップＳ２００で抽出された系列データから、単位時間毎に、系列データが単位時間に区切られたデータである単位データを抽出する。 Next, in step S202, the unit data extraction unit 228 converts the series data into unit time for each unit time from the series data extracted in step S200, similarly to the unit data extraction unit 28 of the road surface learning device 20. Unit data, which is data divided into two, is extracted.
ステップＳ２０４において、単位データ種別推定部２３７は、上記ステップＳ２０２で抽出された単位データの各々について、当該単位データと、パラメタ記憶部２３６に格納された学習モデルのパラメタとに基づいて、当該単位データに対応する歩行状態の種別の各々である確率、及び段差が有る確率を推定する。 In step S204, the unit data type estimation unit 237, for each of the unit data extracted in step S202, based on the unit data and the parameters of the learning model stored in the parameter storage unit 236, the unit data The probability of being the type of walking state corresponding to, and the probability of having a step are estimated.
ステップＳ２０６において、平滑化処理部２３８は、上記ステップＳ２０２で抽出された単位データの各々についての、上記ステップＳ２０４で得られた歩行状態の種別の各々である確率に対し、所定の時間区間での平滑化を行い、単位データの各々に対応する歩行状態の種別を推定する。また、平滑化処理部２３８は、上記ステップＳ２０２で抽出された単位データの各々についての、上記ステップＳ２０４で得られた段差がある確率に対し、所定の時間区間での平滑化を行い、単位データの各々に対応する段差の有無を、路面状況として推定する。 In step S206, the smoothing processing unit 238, for each of the unit data extracted in step S202, has a predetermined time interval with respect to the probability of each type of walking state obtained in step S204. Smoothing is performed, and the type of walking state corresponding to each unit data is estimated. Further, the smoothing processing unit 238 performs smoothing in a predetermined time interval with respect to the probability that there is a step obtained in step S204 for each of the unit data extracted in step S202, so that the unit data Presence / absence of a step corresponding to each of these is estimated as a road surface condition.
ステップＳ２０８において、位置別路面状況理解部２３９は、上記ステップＳ２０６で得られた推定結果から得られる単位データの各々に対する路面状況と、携帯デバイス２１２が存在する位置を計測した結果をタイムスタンプとともに記録した測位データとを集計して、各位置の路面状況を認識する。そして、位置別路面状況理解部２３９は、各位置の路面状況を出力部３００に出力し処理を終了する。 In step S208, the position-specific road surface condition understanding unit 239 records the road surface condition for each of the unit data obtained from the estimation result obtained in step S206 and the result of measuring the position where the portable device 212 exists, together with the time stamp. The measured positioning data is aggregated to recognize the road surface condition at each position. Then, the position-specific road surface condition understanding unit 239 outputs the road surface condition of each position to the output unit 300 and ends the process.
以上説明したように、本発明の実施の形態に係る路面状況学習システムによれば、ユーザが携帯する携帯デバイス１２に備え付けられているセンサの出力値をタイムスタンプとともに記録した歩行データから系列データを抽出し、系列データが単位時間に区切られたデータである単位データを抽出し、ユーザの歩行状態の種別をタイムスタンプとともに時系列に記録したアノテーションデータに基づいて、単位データ毎にユーザの歩行状態の種別を表すラベルを付与し、単位データの各々と単位データ毎に付与されたラベルとに基づいて、単位データに対応するラベルを推定するための学習モデルを学習することにより、ユーザの歩行状態に応じた路面状況を精度よく認識するための学習モデルを学習することができる。 As described above, according to the road surface state learning system according to the embodiment of the present invention, the sequence data is obtained from the walking data in which the output value of the sensor provided in the portable device 12 carried by the user is recorded together with the time stamp. User data is extracted for each unit data based on annotation data that is extracted and unit data that is divided into unit times is extracted, and the type of user's walking state is recorded in time series with a time stamp. By learning a learning model for estimating a label corresponding to the unit data based on each of the unit data and the label provided for each unit data, the user's walking state It is possible to learn a learning model for accurately recognizing the road surface condition according to the road.
また、本発明の実施の形態に係る路面状況理解システムによれば、単位データの各々について、単位データと、路面状況学習装置２０によって得られた学習モデルとに基づいて、単位データに対応する歩行状態の種別である確率を推定し、単位データの各々についての、歩行状態の種別である確率に対し、所定の時間区間での平滑化を行い、単位データの各々に対応する歩行状態の種別を推定し、推定結果から得られる単位データの各々に対する路面状況と、携帯デバイス２１２が存在する位置を計測した結果をタイムスタンプとともに記録した測位データとを集計して、各位置の路面状況を認識することにより、ユーザの各位置の路面状況を精度よく認識できる。 Further, according to the road surface situation understanding system according to the embodiment of the present invention, for each unit data, the walking corresponding to the unit data based on the unit data and the learning model obtained by the road surface state learning device 20. Estimating the probability of the type of state, smoothing the probability of being the type of walking state for each unit data in a predetermined time interval, and determining the type of walking state corresponding to each of the unit data The road surface condition for each of the unit data obtained by estimation and the estimation result and the positioning data in which the result of measuring the position where the mobile device 212 exists are recorded together with the time stamp are totaled to recognize the road surface condition at each position. Thereby, the road surface condition of each position of the user can be recognized with high accuracy.
また、本発明の実施の形態によれば、スマートフォンなどの携帯デバイスを持ち歩く人の情報を活用して、段差の存在などの路面状況を把握することが可能となる。これにより路面状況の調査において、派遣型の現地調査を行わずとも、車いすなどが通ることが困難な段差や階段の存在を把握することが可能となり、バリアフリーな経路のナビゲーションなど、ハンデキャップのある方も快適に移動できるナビゲーションサービスを実現することができる。 In addition, according to the embodiment of the present invention, it is possible to grasp the road surface condition such as the presence of a step using information of a person carrying a mobile device such as a smartphone. This makes it possible to grasp the existence of steps and stairs that are difficult for wheelchairs to pass without conducting a dispatch-type field survey in road surface conditions. It is possible to realize a navigation service that allows some people to move comfortably.
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。 The present invention is not limited to the above-described embodiment, and various modifications and applications can be made without departing from the gist of the present invention.
例えば、上述した実施の形態では、路面状況学習装置２０によって学習される学習モデルは、ラベルに応じた段差の有無の確率を路面状況とし、単位データに対応するラベルと併せて学習する場合を例に説明したが、これに限定されるものではない。例えば、路面状況学習装置２０によって学習される学習モデルは、単位データに対応するラベルのみを推定するように学習してもよく、この場合には歩行状態学習装置として構成するようにしてもよい。 For example, in the embodiment described above, the learning model learned by the road surface state learning device 20 uses the probability of the presence or absence of a step according to the label as the road surface state, and learns along with the label corresponding to the unit data. However, the present invention is not limited to this. For example, the learning model learned by the road surface condition learning device 20 may be learned so as to estimate only the label corresponding to the unit data. In this case, the learning model may be configured as a walking state learning device.
また、上述した実施の形態では、路面状況理解装置２２０に位置別路面状況理解部２３９を含み、位置別路面状況理解部２３９によって、各位置の路面状況を認識する場合を例に説明したが、これに限定されるものではない。例えば、路面状況理解装置２２０は位置別路面状況理解部２３９を含まずに、歩行状態の認識までを行うようにして、歩行状態推定装置として構成するようにしてもよい。 In the above-described embodiment, the road surface situation understanding device 220 includes the position-specific road surface situation understanding unit 239, and the position-specific road surface situation understanding unit 239 recognizes the road surface situation at each position as an example. It is not limited to this. For example, the road surface state understanding device 220 may be configured as a walking state estimation device by not including the position-specific road surface state understanding unit 239 but performing recognition of the walking state.
上述の路面状況学習装置２０及び路面状況理解装置２２０は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。 The road surface state learning device 20 and the road surface state understanding device 220 described above have a computer system inside, but if the “computer system” uses a WWW system, a homepage providing environment (or display) Environment).
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。 In the present specification, the embodiment has been described in which the program is installed in advance. However, the program can be provided by being stored in a computer-readable recording medium.
１０ 路面状況学習システム
１２，２１２ 携帯デバイス
１４，２１４ 歩行データ収集部
１６ アノテーション収集部
１８，２１８ 記憶領域
２０ 路面状況学習装置
２２，２２２ 歩行データ蓄積部
２４ 歩行アノテーション蓄積部
２６，２２６ 系列データ抽出部
２８，２２８ 単位データ抽出部
３０ ラベル生成部
３２ 歩行データラベル蓄積部
３４ 学習部
３６，２３６ パラメタ記憶部
１００ 路面状況理解システム
２１６ 測位部
２２０ 路面状況理解装置
２２３ 測位データ蓄積部
２３７ 単位データ種別推定部
２３８ 平滑化処理部
２３９ 位置別路面状況理解部
３００ 出力部
９１０ ベクトル表現
９２０ 特徴ベクトル
９３０ 状態ベクトル
９４０ 状態ベクトル
９５０ 推定結果
DESCRIPTION OF SYMBOLS 10 Road surface condition learning system 12,212 Portable device 14,214 Walking data collection part 16 Annotation collection part 18,218 Storage area 20 Road surface state learning apparatus 22,222 Walk data storage part 24 Walk annotation storage part 26,226 Sequence data extraction part 28,228 Unit data extraction unit 30 Label generation unit 32 Walking data label storage unit 34 Learning unit 36,236 Parameter storage unit 100 Road surface situation understanding system 216 Positioning unit 220 Road surface state understanding device 223 Positioning data storage unit 237 Unit data type estimation unit 238 Smoothing processing unit 239 Positional road surface condition understanding unit 300 Output unit 910 Vector expression 920 Feature vector 930 State vector 940 State vector 950 Estimation result
Claims (7)
単位データ抽出部が、前記系列データ抽出部によって抽出された前記系列データから、単位時間毎に、前記系列データが単位時間に区切られたデータである単位データを抽出するステップと、
ラベル生成部が、入力された、前記ユーザの歩行状態の種別をタイムスタンプとともに時系列に記録したアノテーションデータに基づいて、前記単位データ毎に、前記ユーザの歩行状態の種別を表すラベルを付与するステップと、
学習部が、前記単位データ抽出部によって抽出された前記単位データの各々と、前記ラベル生成部によって前記単位データ毎に付与された前記ラベルとに基づいて、前記単位データに対応する前記ラベルを推定するための学習モデルを学習するステップと、
を含む歩行状態学習方法。 A sequence data extraction unit that extracts sequence data representing a sequence of the output values from walking data in which an output value of a sensor provided in a portable device carried by a user is recorded together with a time stamp;
A step of extracting unit data, which is data obtained by dividing the series data into unit times, for each unit time from the series data extracted by the series data extraction unit;
A label generation unit assigns a label representing the type of walking state of the user to each unit data based on the inputted annotation data in which the type of walking state of the user is recorded in time series together with a time stamp. Steps,
The learning unit estimates the label corresponding to the unit data based on each of the unit data extracted by the unit data extraction unit and the label given to each unit data by the label generation unit. Learning a learning model for performing,
A walking state learning method including:
単位データ抽出部が、前記系列データ抽出部によって抽出された前記系列データから、単位時間毎に、前記系列データが単位時間に区切られたデータである単位データを抽出するステップと、
単位データ種別推定部が、前記単位データ抽出部によって抽出された前記単位データの各々について、前記単位データと、請求項１に記載の歩行状態学習方法によって得られた前記学習モデルとに基づいて、前記単位データに対応する歩行状態の種別である確率を推定するステップと、
平滑化処理部が、前記単位データ抽出部によって抽出された前記単位データの各々についての、前記単位データ種別推定部によって得られた前記歩行状態の種別である確率に対し、所定の時間区間での平滑化を行い、前記単位データの各々に対応する前記歩行状態の種別を推定するステップと、
を含む歩行状態推定方法。 A sequence data extraction unit that extracts sequence data representing a sequence of the output values from walking data in which an output value of a sensor provided in a portable device carried by a user is recorded together with a time stamp;
A step of extracting unit data, which is data obtained by dividing the series data into unit times, for each unit time from the series data extracted by the series data extraction unit;
A unit data type estimation unit, for each of the unit data extracted by the unit data extraction unit, based on the unit data and the learning model obtained by the walking state learning method according to claim 1, Estimating a probability of being a type of walking state corresponding to the unit data;
For each unit data extracted by the unit data extraction unit, the smoothing processing unit has a predetermined time interval with respect to the probability of the type of the walking state obtained by the unit data type estimation unit. Smoothing and estimating the type of the walking state corresponding to each of the unit data;
A walking state estimation method including:
位置別路面状況理解部が、前記平滑化処理部によって得られた推定結果から得られる前記単位データの各々に対する路面状況と、前記携帯デバイスが存在する位置を計測した結果をタイムスタンプとともに記録した測位データとを集計して、各位置の路面状況を認識するステップと、
を含む路面状況理解方法。 Each step of the walking state estimation method according to claim 2,
Positioning by which a road surface situation understanding unit classified by position records a road surface state for each of the unit data obtained from the estimation result obtained by the smoothing processing unit and a result of measuring a position where the portable device exists together with a time stamp. Summing up the data and recognizing the road surface conditions at each location;
How to understand road surface conditions.
前記系列データ抽出部によって抽出された前記系列データから、単位時間毎に、前記系列データが単位時間に区切られたデータである単位データを抽出する単位データ抽出部と、
入力された、前記ユーザの歩行状態の種別をタイムスタンプとともに時系列に記録したアノテーションデータに基づいて、前記単位データ毎に、前記ユーザの歩行状態の種別を表すラベルを付与するラベル生成部と、
前記単位データ抽出部によって抽出された前記単位データの各々と、前記ラベル生成部によって前記単位データ毎に付与された前記ラベルとに基づいて、前記単位データに対応する前記ラベルを推定するための学習モデルを学習する学習部と、
を含む歩行状態学習装置。 A sequence data extraction unit that extracts sequence data representing a sequence of the output values from walking data in which an output value of a sensor provided in a portable device carried by a user is recorded together with a time stamp;
A unit data extraction unit for extracting unit data, which is data obtained by dividing the series data into unit times, from the series data extracted by the series data extraction unit;
Based on the input annotation data in which the type of walking state of the user is recorded in a time series together with a time stamp, a label generation unit for giving a label indicating the type of walking state of the user for each unit data;
Learning for estimating the label corresponding to the unit data based on each of the unit data extracted by the unit data extraction unit and the label given to each unit data by the label generation unit A learning unit that learns the model;
A walking state learning device.
前記系列データ抽出部によって抽出された前記系列データから、単位時間毎に、前記系列データが単位時間に区切られたデータである単位データを抽出する単位データ抽出部と、
前記単位データ抽出部によって抽出された前記単位データの各々について、前記単位データと、請求項４に記載の歩行状態学習装置によって得られた前記学習モデルとに基づいて、前記単位データに対応する歩行状態の種別である確率を推定する単位データ種別推定部と、
前記単位データ抽出部によって抽出された前記単位データの各々についての、前記単位データ種別推定部によって得られた前記歩行状態の種別である確率に対し、所定の時間区間での平滑化を行い、前記単位データの各々に対応する前記歩行状態の種別を推定する平滑化処理部と、
を含む歩行状態推定装置。 A sequence data extraction unit that extracts sequence data representing a sequence of the output values from walking data in which an output value of a sensor provided in a portable device carried by a user is recorded together with a time stamp;
A unit data extraction unit for extracting unit data, which is data obtained by dividing the series data into unit times, from the series data extracted by the series data extraction unit;
The walking corresponding to the unit data for each of the unit data extracted by the unit data extraction unit based on the unit data and the learning model obtained by the walking state learning device according to claim 4. A unit data type estimation unit that estimates the probability of the type of state;
For each of the unit data extracted by the unit data extraction unit, for the probability that is the type of the walking state obtained by the unit data type estimation unit, smoothing in a predetermined time interval, A smoothing processing unit that estimates the type of the walking state corresponding to each of the unit data;
A walking state estimation device.
前記平滑化処理部によって得られた推定結果から得られる前記単位データの各々に対する路面状況と、前記携帯デバイスが存在する位置を計測した結果をタイムスタンプとともに記録した測位データとを集計して、各位置の路面状況を認識する位置別路面状況理解部と、
を含む路面状況理解装置。 The walking state estimation device according to claim 5;
The road surface condition for each of the unit data obtained from the estimation result obtained by the smoothing processing unit, and the positioning data recorded together with the time stamp of the result of measuring the position where the portable device is present, A position-specific road surface condition understanding unit that recognizes the road surface condition of the position,
Road surface condition understanding device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016123751A JP2017228091A (en) | 2016-06-22 | 2016-06-22 | Walking state learning method, walking state estimation method, road surface condition comprehension method, device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016123751A JP2017228091A (en) | 2016-06-22 | 2016-06-22 | Walking state learning method, walking state estimation method, road surface condition comprehension method, device and program |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020103228A Division JP7036154B2 (en) | 2020-06-15 | 2020-06-15 | Walking state learning method, walking state estimation method, road surface condition understanding method, device, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017228091A true JP2017228091A (en) | 2017-12-28 |
Family
ID=60891672
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016123751A Pending JP2017228091A (en) | 2016-06-22 | 2016-06-22 | Walking state learning method, walking state estimation method, road surface condition comprehension method, device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017228091A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020024597A (en) * | 2018-08-08 | 2020-02-13 | キヤノン株式会社 | Information processing device, method for controlling information processing device, and program |
| CN111169183A (en) * | 2020-03-04 | 2020-05-19 | 焦作大学 | Marketing object recognition device and method |
| CN111712840A (en) * | 2018-03-13 | 2020-09-25 | 欧姆龙株式会社 | Annotating method, annotating device, annotating program, and recognition system |
| KR20210000567A (en) * | 2019-06-25 | 2021-01-05 | 가톨릭관동대학교산학협력단 | Apparatus for estimation of gait stability based on inertial information and method thereof |
| WO2021144957A1 (en) * | 2020-01-17 | 2021-07-22 | 日本電信電話株式会社 | Training device, estimation device, method, and program |
| WO2021157078A1 (en) * | 2020-02-07 | 2021-08-12 | 日本電信電話株式会社 | Road surface estimation device, road surface estimation method, and program |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011163861A (en) * | 2010-02-08 | 2011-08-25 | Kddi Corp | Portable terminal for determining travel direction of walker using geomagnetic sensor and acceleration sensor, program and method |
| JP2011206274A (en) * | 2010-03-30 | 2011-10-20 | Nec Corp | Action determination device, action determination system, terminal device, action determination method, and program |
| JP2012237719A (en) * | 2011-05-13 | 2012-12-06 | Kddi Corp | Portable device for estimating ascending/descending movement state by using atmospheric pressure sensor, program, and method |
-
2016
- 2016-06-22 JP JP2016123751A patent/JP2017228091A/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011163861A (en) * | 2010-02-08 | 2011-08-25 | Kddi Corp | Portable terminal for determining travel direction of walker using geomagnetic sensor and acceleration sensor, program and method |
| JP2011206274A (en) * | 2010-03-30 | 2011-10-20 | Nec Corp | Action determination device, action determination system, terminal device, action determination method, and program |
| JP2012237719A (en) * | 2011-05-13 | 2012-12-06 | Kddi Corp | Portable device for estimating ascending/descending movement state by using atmospheric pressure sensor, program, and method |
Non-Patent Citations (2)
| Title |
|---|
| 横山 晃 AKIRA YOKOYAMA: "ＤｅｅｐＬｅａｒｎｉｎｇによる次元圧縮を用いた時系列行動認識", 一般社団法人 人工知能学会 第２９回全国大会論文集ＣＤ−ＲＯＭ ［ＣＤ−ＲＯＭ］ ２０１５年度 人工, JPN6020006394, 2 June 2015 (2015-06-02), pages 1 - 2, ISSN: 0004336160 * |
| 藤井 海斗: "歩行者クラウドセンシングによる路面状態の推定", 第８回データ工学と情報マネジメントに関するフォーラム （第１４回日本データベース学会年次大会） ［Ｏ, JPN6019028903, 2 March 2016 (2016-03-02), JP, pages 1 - 6, ISSN: 0004336159 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111712840A (en) * | 2018-03-13 | 2020-09-25 | 欧姆龙株式会社 | Annotating method, annotating device, annotating program, and recognition system |
| CN111712840B (en) * | 2018-03-13 | 2023-11-03 | 欧姆龙株式会社 | Annotation method, annotation device, storage medium, and identification system |
| JP2020024597A (en) * | 2018-08-08 | 2020-02-13 | キヤノン株式会社 | Information processing device, method for controlling information processing device, and program |
| JP7233868B2 (en) | 2018-08-08 | 2023-03-07 | キヤノン株式会社 | Learning system for information processing device, information processing device, control method for information processing device, and program |
| KR20210000567A (en) * | 2019-06-25 | 2021-01-05 | 가톨릭관동대학교산학협력단 | Apparatus for estimation of gait stability based on inertial information and method thereof |
| KR102268445B1 (en) * | 2019-06-25 | 2021-06-23 | 가톨릭관동대학교산학협력단 | Apparatus for estimation of gait stability based on inertial information and method thereof |
| WO2021144957A1 (en) * | 2020-01-17 | 2021-07-22 | 日本電信電話株式会社 | Training device, estimation device, method, and program |
| WO2021157078A1 (en) * | 2020-02-07 | 2021-08-12 | 日本電信電話株式会社 | Road surface estimation device, road surface estimation method, and program |
| JPWO2021157078A1 (en) * | 2020-02-07 | 2021-08-12 | ||
| JP7380718B2 (en) | 2020-02-07 | 2023-11-15 | 日本電信電話株式会社 | Road surface estimation device, road surface estimation method and program |
| CN111169183A (en) * | 2020-03-04 | 2020-05-19 | 焦作大学 | Marketing object recognition device and method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2017228091A (en) | Walking state learning method, walking state estimation method, road surface condition comprehension method, device and program | |
| CN106462627B (en) | Analyzing semantic places and related data from multiple location data reports | |
| Zhou et al. | Making pervasive sensing possible: Effective travel mode sensing based on smartphones | |
| CN108875007A (en) | The determination method and apparatus of point of interest, storage medium, electronic device | |
| JP6397379B2 (en) | CHANGE AREA DETECTION DEVICE, METHOD, AND PROGRAM | |
| CN104599002B (en) | Method and equipment for predicting order value | |
| US20150363706A1 (en) | Fusion of data from heterogeneous sources | |
| Iwasawa et al. | Combining human action sensing of wheelchair users and machine learning for autonomous accessibility data collection | |
| JP6810654B2 (en) | Road surface data collection equipment, methods, and programs | |
| JP2019153092A (en) | Position identifying device, position identifying method, and computer program | |
| CN107133689B (en) | Position marking method | |
| Hato | Development of behavioral context addressable loggers in the shell for travel-activity analysis | |
| Wei et al. | Calibrating recurrent neural networks on smartphone inertial sensors for location tracking | |
| WO2016037346A1 (en) | Measuring and diagnosing noise in urban environment | |
| CN103499846A (en) | Method and equipment for predicting weather conditions | |
| CN107331149A (en) | The method and apparatus for predicting time of vehicle operation | |
| JP7036154B2 (en) | Walking state learning method, walking state estimation method, road surface condition understanding method, device, and program | |
| JP6457346B2 (en) | Road surface understanding system, road surface understanding method, road surface understanding program | |
| CN111782955A (en) | Interest point representing and pushing method and device, electronic equipment and storage medium | |
| KR20190138350A (en) | Personal crime probability prediction system using biometric information and behavior patterns collected from wearable devices | |
| CN105451171B (en) | The method and apparatus of upload user geographic position data | |
| Straub et al. | Learning from experts: Inferring road popularity from GPS trajectories | |
| JP6480319B2 (en) | Road surface condition understanding method, apparatus, and program | |
| Sun et al. | Deep learning-based probability model for traffic information estimation | |
| CN112308318A (en) | Queuing time prediction method, device, equipment and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180817 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190718 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190730 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190930 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200225 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200427 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200901 |