JP6457346B2 - Road surface understanding system, road surface understanding method, road surface understanding program - Google Patents

Road surface understanding system, road surface understanding method, road surface understanding program Download PDF

Info

Publication number
JP6457346B2
JP6457346B2 JP2015135524A JP2015135524A JP6457346B2 JP 6457346 B2 JP6457346 B2 JP 6457346B2 JP 2015135524 A JP2015135524 A JP 2015135524A JP 2015135524 A JP2015135524 A JP 2015135524A JP 6457346 B2 JP6457346 B2 JP 6457346B2
Authority
JP
Japan
Prior art keywords
walking
data
road surface
surface condition
walking data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015135524A
Other languages
Japanese (ja)
Other versions
JP2017014867A (en
Inventor
浩之 戸田
浩之 戸田
片岡　泰之
泰之 片岡
真由美 羽田野
真由美 羽田野
義昌 小池
義昌 小池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2015135524A priority Critical patent/JP6457346B2/en
Publication of JP2017014867A publication Critical patent/JP2017014867A/en
Application granted granted Critical
Publication of JP6457346B2 publication Critical patent/JP6457346B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Road Repair (AREA)

Description

本発明は、例えばスマートフォンなどの携帯デバイスを用いて実世界の路面状況を理解（把握）する技術に関する。   The present invention relates to a technique for understanding (understanding) a road surface condition in the real world using a mobile device such as a smartphone.

周知のようにスマートフォンなどの携帯デバイスには、数多くのセンサデバイスが組み込まれている。このセンサデバイスを用いて路面状況を理解しようとする取組（手法）を紹介する。   As is well known, many sensor devices are incorporated in portable devices such as smartphones. We will introduce the approach (method) to try to understand the road surface condition using this sensor device.

まず、自動車に設置されたスマートフォンを用いて、路面の段差の有無や道路状況（例えば舗装路・砂利道など）を検知しようとする非特許文献１，２の取組が挙げられる。この取組は、自動車に設置されたスマートフォンの加速度センサの取得情報を元に段差の有無や道路状況を推定し、同時に測定した測位情報とともに関連付けし、どの場所がどのような路面状況であるのかを把握しようとする。   First, the approach of nonpatent literature 1 and 2 which tries to detect the presence or absence of the level | step difference of a road surface and road conditions (for example, a paved road, a gravel road, etc.) using the smart phone installed in the motor vehicle is mentioned. This approach estimates the presence or absence of steps and road conditions based on the information acquired from the acceleration sensors of smartphones installed in automobiles, correlates them with measured positioning information at the same time, and identifies which location is what road condition. Try to grasp.

つぎに別の取組として、人の持つスマートフォンなどの情報を元に人の行動（立つ・座る・歩行など）を理解しようとする非特許文献３の取組が挙げられる。このとき「立つ」・「座る」・「歩行」などの行動の認識だけでは路面状況を把握できないものの、「階段を上がる」，「階段を下りる」という行動を認識することで、その場所に階段があることを路面状況として認識することが可能となる。   Next, as another approach, the approach of Non-Patent Document 3 that attempts to understand human behavior (standing, sitting, walking, etc.) based on information such as a smartphone that a person has is cited. At this time, although it is not possible to grasp the road surface condition only by recognizing actions such as “standing”, “sitting”, “walking”, etc., by recognizing the actions of “going up the stairs”, “going down the stairs”, the stairs at that place It is possible to recognize that there is a road surface condition.

野村智洋，牧野友哉，白石陽 “快適な運転支援のためのスマートフォンを用いた路面状況の推定手法の提案” 情報処理学会第７５回全国大会，５ｖ−６，２０１３Tomohiro Nomura, Tomoya Makino, Yo Shiraishi “Proposal of estimation method of road surface condition using smartphone for comfortable driving support” IPSJ 75th National Convention, 5v-6, 2013 八木浩一 “スマートフォンを活用した路面段差観測手法と東北地方太平洋沖地震後の路面段差分布の調査結果” 第２９回日本道路会議，２０１１Koichi Yagi “Road Surface Step Observation Method Using Smartphone and Survey Results of Road Surface Step Distribution after the Tohoku Earthquake” 29th Japan Road Conference, 2011 Jennifer R.Kwapisz,Gary M.Weiss,Samuel A.Moore “Activity Recognition using Cell Phone Accelerometers”,in Proc.of SensorKDD,2010Jennifer R. Kwapisz, Gary M. Weiss, Samuel A. Moore “Activity Recognition using Cell Phone Accelerometers”, in Proc. Of SensorKDD, 2010

しかしながら、非特許文献１，２のように自動車に設置したスマートフォンを用いる手法には、例えば歩道や屋内などの自動車が走ることができない場所については情報を収集することができないという問題があった。   However, the method using a smartphone installed in a car as in Non-Patent Documents 1 and 2 has a problem that information cannot be collected for places where a car cannot run, such as a sidewalk or indoors.

この問題については、非特許文献３のようにスマートフォンを持つ人の行動を理解するアプローチで解決することは可能と考えられるが、現在の行動認識の取組を活用するには問題がある。   Although it is considered possible to solve this problem with an approach that understands the behavior of a person with a smartphone as in Non-Patent Document 3, there is a problem in utilizing the current action recognition approach.

すなわち、これまでの行動認識の取組は、図７に示すように、センサデバイスのセンサデータを特定の時間窓の区間に切り出し、時間的に継続した人の行動（例えば１０秒間の行動など）を把握しようとする。   That is, as shown in FIG. 7, the action recognition efforts so far cut out the sensor data of the sensor device into a specific time window section, and the action of a person who continued in time (for example, action for 10 seconds). Try to grasp.

そうすると、ピンポイントで段差や路面状況を理解するには別の処理が必要と考えられる。あるいは時間的に継続した行動を把握しようとすることは、僅かなタイミングでしか生じない段差を越えたという行動などを把握することはそもそも困難とも考えられる。   Then, it is thought that another process is necessary to understand the level difference and the road surface condition at the pinpoint. Alternatively, it may be difficult to grasp an action that has continued over time, for example, it is difficult to grasp an action that exceeds a step that occurs only at a slight timing.

本発明は、このような従来の問題を解決するためになされ、高精度かつピンポイントな路面状況の把握を図ることを解決課題としている。   The present invention has been made in order to solve such a conventional problem, and it is an object of the present invention to grasp a highly accurate and pinpoint road surface condition.

そこで、本発明は、センサデバイスのセンサデータの情報から人が歩行する際の個々の足運びを示す歩行ステップを認識し、さらに該歩行ステップに紐づくセンサデータを特定する。ここで特定された個々のセンサデータに対して、歩行ステップの種別（例えば段差を上る，段差を下る，傾斜を上るなど）を把握する。   Therefore, the present invention recognizes walking steps indicating individual steps when a person walks from the sensor data information of the sensor device, and further specifies sensor data associated with the walking steps. The type of walking step (for example, climbing a step, descending a step, climbing an inclination, etc.) is grasped for each sensor data specified here.

本発明に係る路面状況理解システムは、携帯デバイスに備え付けられたセンサデバイスのセンサデータを収集し、該収集されたセンサデータを歩行データとして記録するセンサデータ収集手段と、前記センサデータ収集手段で記録した歩行データから人が歩行する際の個々の足の運びを示す歩行ステップを認識する歩行ステップ認識手段と、前記歩行ステップ認識手段で認識された個々の歩行ステップと対応付けられる歩行データを特定する歩行データ特定手段と、前記歩行データ特定手段で特定された歩行データの特徴量を抽出し、抽出された特徴量に基づき該歩行データに含まれる歩行ステップを路面状況に対応付ける形で分類する歩行データ分析手段と、を備える。   The road surface condition understanding system according to the present invention collects sensor data of a sensor device provided in a portable device, records the collected sensor data as walking data, and records the sensor data with the sensor data collection means. The walking step recognizing means for recognizing the walking step indicating the movement of the individual foot when the person walks from the walking data, and the walking data associated with the individual walking step recognized by the walking step recognizing means are specified. The walking data specifying means and the walking data that extracts the feature amount of the walking data specified by the walking data specifying means, and classifies the walking steps included in the walking data based on the extracted feature amount so as to correspond to the road surface condition Analyzing means.

本発明に係る路面状況理解方法は、携帯デバイスに備え付けられたセンサデバイスのセンサデータを収集し、該収集されたセンサデータを歩行データとして記録するセンサデータ収集ステップと、前記センサデータ収集ステップで記録した歩行データから人が歩行する際の個々の足の運びを示す歩行ステップを認識する歩行ステップ認識ステップと、前記歩行ステップ認識ステップで認識された個々の歩行ステップと対応付けられる歩行データを特定する歩行データ特定ステップと、前記歩行データ特定ステップで特定された歩行データの特徴量を抽出し、抽出された特徴量に基づき該歩行データに含まれる歩行ステップを路面状況に対応付ける形で分類する歩行データ分析ステップと、を有する。   The road surface condition understanding method according to the present invention collects sensor data of a sensor device provided in a portable device, records the collected sensor data as walking data, and records in the sensor data collection step. The walking step recognition step for recognizing the walking step indicating the movement of each individual foot when the person walks from the walking data, and the walking data associated with the individual walking step recognized in the walking step recognition step are specified. The walking data specifying step, and the walking data specifying the walking data specified in the walking data specifying step, and classifying the walking steps included in the walking data in association with the road surface condition based on the extracted feature values An analysis step.

なお、本発明は、前記路面状況理解システムとしてコンピュータを機能させるプログラムの態様としてもよい。このプログラムは、ネットワークや記録媒体などを通じて提供することができる。   In addition, this invention is good also as an aspect of the program which functions a computer as the said road surface condition understanding system. This program can be provided through a network or a recording medium.

本発明によれば、高精度かつピンポイントに路面状況を把握することができる。   According to the present invention, it is possible to grasp the road surface condition with high accuracy and pinpoint.

本発明の実施形態に係る路面状況理解システムの機能構成図。The functional block diagram of the road surface condition understanding system which concerns on embodiment of this invention. 同 処理フロー図。FIG. 同 歩行ステップ認識の一例を示す図。The figure which shows an example of the walk step recognition. 同 歩行データ蓄積部のデータ例。Data example of the walking data storage unit. 同 歩行データ分析結果蓄積部のデータ例。Data example of the gait data analysis result storage unit. 同 測位データ蓄積部のデータ例。Data example of the same positioning data storage unit. 非特許文献３の認識対象の時間窓の例。The example of the time window of the recognition object of nonpatent literature 3.

≪システム構成例≫
図１に基づき本発明の実施形態に係る路面状況理解システムの機能構成例を説明する。この路面状況理解システム１０は、複数の携帯デバイス１００と、該各携帯デバイス１００とインターネット経由でデータ送受信可能に接続された情報処理装置９０とを主体に構成されている。 ≪System configuration example≫
Based on FIG. 1, the example of a function structure of the road surface condition understanding system which concerns on embodiment of this invention is demonstrated. The road surface condition understanding system 10 is mainly configured by a plurality of portable devices 100 and an information processing apparatus 90 connected to each portable device 100 so as to be able to transmit and receive data via the Internet.

この携帯デバイス１００は、例えばスマートフォンなどの所持可能な携帯端末であればよい。具体的には携帯デバイス１００は、歩行に関わる各種センサの出力情報（センサデータ）を歩行データとして取得する歩行データ収集部１１０と、携帯デバイス１００の測位情報（位置情報）を取得する測位部１２０と、該両者１１０，１２０の取得情報を記憶可能な記憶領域とを備える。この記憶領域１０１は、携帯デバイス１００のストレージに構築されている。   The portable device 100 may be any portable terminal that can be carried, such as a smartphone. Specifically, the portable device 100 includes a walking data collection unit 110 that acquires output information (sensor data) of various sensors related to walking as walking data, and a positioning unit 120 that acquires positioning information (position information) of the portable device 100. And a storage area capable of storing the acquired information of the both 110 and 120. This storage area 101 is constructed in the storage of the mobile device 100.

情報処理装置９０は、コンピュータにより構成され、通常のコンピュータのハードウェアリソース、例えばＣＰＵ,主記憶装置（ＲＡＭ，ＲＯＭなど），補助記憶装置（ＨＤＤやＳＳＤなど）を備える。   The information processing apparatus 90 is configured by a computer and includes hardware resources of a normal computer such as a CPU, a main storage device (RAM, ROM, etc.), and an auxiliary storage device (HDD, SSD, etc.).

このハードウェアリソースとソフトウェアリソースとの協働の結果、情報処理装置９０は、歩行データ蓄積部１３０，歩行ステップ認識部１４０，歩行データセグメント化部１５０，ステップ分析部１６０，歩行データ分析結果蓄積部１７０，測位データ蓄積部１８０，位置別路面状況理解部１９０を実装する。   As a result of the cooperation between the hardware resource and the software resource, the information processing apparatus 90 includes a walking data storage unit 130, a walking step recognition unit 140, a walking data segmentation unit 150, a step analysis unit 160, and a walking data analysis result storage unit. 170, a positioning data storage unit 180, and a position-specific road surface state understanding unit 190 are installed.

ここでは前記各蓄積部１３０，１７０，１８０は、前記記憶装置に構築されているものとする。この蓄積部１３０，１８０には、携帯デバイス１００から送信された前記各部１１０，１２０の収集データが蓄積される。この両蓄積データに基づき路面状況を理解（把握）する処理が実行される。   Here, it is assumed that the storage units 130, 170, and 180 are built in the storage device. In the storage units 130 and 180, collected data of the units 110 and 120 transmitted from the portable device 100 are stored. Based on the accumulated data, a process for understanding (obtaining) the road surface condition is executed.

なお、情報処理装置９０は、単一のコンピュータにより構成してもよく、あるいはコンピュータ群に前記各部１３０〜１９０を分散して構成してもよい。   The information processing apparatus 90 may be configured by a single computer, or may be configured by distributing the units 130 to 190 in a computer group.

≪処理内容≫
図２に基づき路面状況理解システム１０の処理内容を説明する。 ≪Processing contents≫
The processing contents of the road surface condition understanding system 10 will be described with reference to FIG.

Ｓ０１：ユーザの携帯デバイス１００の操作もしくは携帯デバイス１００を所持したユーザの歩行などの自動検知を起点に処理が開始される。このとき歩行データ収集部１１０で各種センサのセンサデータを収集し、また測位部１２０で測位情報を収集する。   S01: The process is started from the automatic detection of the user's operation of the mobile device 100 or the walking of the user carrying the mobile device 100. At this time, the walking data collection unit 110 collects sensor data of various sensors, and the positioning unit 120 collects positioning information.

この歩行データ収集部１１０と測位部１２０とは、共に携帯デバイス１００に組み込まれたハードウェアもしくはソフトウェアとして実現されている。この歩行データ収集部１１０は、動きを検知する慣性センサであればよく、例えば加速度センサ，ジャイロセンサ（角速度センサ），歩行検知センサなどのセンサデバイスを用いることができ、これらのセンサデバイスのセンサデータを歩行データとして収集する。   Both the walking data collection unit 110 and the positioning unit 120 are realized as hardware or software incorporated in the portable device 100. The walking data collection unit 110 may be an inertial sensor that detects movement. For example, a sensor device such as an acceleration sensor, a gyro sensor (angular velocity sensor), or a walking detection sensor can be used, and sensor data of these sensor devices is used. Are collected as walking data.

また、測位部１２０は、ＧＰＳなどの衛星電波を用いた測位手段や「Ｗｉ−Ｆｉ」電波を用いた測位手段やそれらの組み合わせなどで実現され、こられにより測位情報（位置情報）が収集される。   Further, the positioning unit 120 is realized by positioning means using satellite radio waves such as GPS, positioning means using “Wi-Fi” radio waves, or a combination thereof, and thereby, positioning information (position information) is collected. The

Ｓ０２：携帯デバイス１００は、Ｓ０１で収集された歩行データをタイムスタンプおよび識別情報と結び付ける。すなわち、前記センサの出力するセンサデータ、即ち歩行データはタイムスタンプおよび識別情報と関連付けられ、その際の識別情報としては例えば携帯デバイス１００の端末ＩＤを用いることができる。   S02: The portable device 100 associates the walking data collected in S01 with a time stamp and identification information. That is, sensor data output from the sensor, that is, walking data, is associated with a time stamp and identification information. For example, the terminal ID of the portable device 100 can be used as the identification information.

ここで関連付けられた歩行データは、必要に応じて記憶領域１０１に記憶され、携帯デバイス１００の通信機能により情報処理装置９０に送信される。このとき情報処理装置９０の受信した情報は、歩行データ蓄積部１３０に記録されて蓄積される。図３に基づき一例を説明すれば、歩行データ蓄積部１３０には端末ＩＤ毎にタイムスタンプの情報と、加速度センサＸ〜Ｚの情報（図３中の加速度Ｘ〜Ｚ）と、ジャイロセンサＸ〜Ｚの情報（同ジャイロＸ〜Ｚ）が記録されている。   The walking data associated here is stored in the storage area 101 as necessary, and is transmitted to the information processing apparatus 90 by the communication function of the portable device 100. At this time, the information received by the information processing apparatus 90 is recorded and stored in the walking data storage unit 130. If an example is demonstrated based on FIG. 3, in the walk data storage part 130, the information of a time stamp for every terminal ID, the information of the acceleration sensors XZ (acceleration XZ in FIG. 3), and the gyro sensor X ... Z information (the gyros X to Z) is recorded.

Ｓ０３：携帯デバイス１００は、Ｓ０１で取得した測位情報をタイムスタンプおよび識別情報と結び付ける。すなわち、測位部１２０の測位情報は、タイムスタンプおよび識別情報と関連付けられ、その際の識別情報としてはＳ０２と同じく携帯デバイス１００の端末ＩＤを用いることができる。   S03: The mobile device 100 associates the positioning information acquired in S01 with a time stamp and identification information. That is, the positioning information of the positioning unit 120 is associated with the time stamp and the identification information, and the terminal ID of the portable device 100 can be used as the identification information at that time as in S02.

ここで関連付けられた測位情報は、必要に応じて記憶領域１０１に記憶され、携帯デバイス１００の通信機能により情報処理装置９０に送信される。このとき情報処理装置９０の受信した情報は、測位データ蓄積部１８０に記録されて蓄積される。図４に基づき一例を説明すれば、測位データ蓄積部１８０には端末ＩＤ毎にタイムスタンプの情報・緯度情報・経度情報が記録されている。   The positioning information associated here is stored in the storage area 101 as necessary, and is transmitted to the information processing apparatus 90 by the communication function of the portable device 100. At this time, the information received by the information processing apparatus 90 is recorded and stored in the positioning data storage unit 180. If an example is demonstrated based on FIG. 4, the positioning data storage part 180 will record the time stamp information, latitude information, and longitude information for each terminal ID.

この図４のデータ例は、屋外を想定しているため、測位情報として緯度と経度の情報が記録されている。一方、屋内の測位情報としては、例えば施設名や施設内部での場所を示す情報を記録することができる。   Since the data example in FIG. 4 is assumed to be outdoors, latitude and longitude information is recorded as positioning information. On the other hand, as indoor positioning information, for example, information indicating a facility name or a location inside the facility can be recorded.

Ｓ０４：歩行ステップ認識部１４０は、歩行データ蓄積部１３０から連続的な歩行に関わる歩行データを取得する。ここで取得された歩行データから人の歩の歩みに相当する歩行ステップが発生したタイムスタンプを特定する。   S04: The walking step recognition unit 140 acquires walking data related to continuous walking from the walking data storage unit 130. The time stamp at which the walking step corresponding to the walking of the person has occurred is specified from the walking data acquired here.

その際、歩行データを分析して歩行する際の個々の足の運びである歩行ステップを認識する。この認識の一例としては、図５に示すように、前記歩行データ中のセンサデータのピークが起こる間隔を特定して歩行ステップを認識する方法や、携帯デバイス１００に備え付けられている図示省略の歩行認識センサから得られる情報を元に歩行ステップを認識する方法などでよい。   At that time, the walking data, which is the movement of each foot when walking, is recognized by analyzing the walking data. As an example of this recognition, as shown in FIG. 5, a method of recognizing a walking step by specifying an interval at which the sensor data peaks in the walking data occur, or a walking (not shown) provided in the mobile device 100 A method of recognizing a walking step based on information obtained from a recognition sensor may be used.

このように認識された歩行ステップが発生したタイムスタンプを特定し、特定されたタイムスタンプをその歩行データと併せて歩行データセグメント部１５０に送る。   The time stamp at which the recognized walking step occurs is specified, and the specified time stamp is sent to the walking data segment unit 150 together with the walking data.

Ｓ０５：歩行データセグメント化部１５０は、Ｓ０４で送られた歩行データに基づき個々の歩行ステップと対応付けられる歩行データを特定する。すなわち、Ｓ０４で送られたタイムスタンプから歩行ステップのタイミングを特定し、該特定されたタイミングと歩行データとを元に、歩行データを歩行ステップと関連付けた形でセグメント化する。   S05: The walking data segmentation unit 150 identifies walking data associated with each walking step based on the walking data sent in S04. That is, the timing of the walking step is identified from the time stamp sent in S04, and the walking data is segmented in a form associated with the walking step based on the identified timing and the walking data.

例えば歩行ステップが認識されたタイムスタンプを開始点として、次の歩行ステップが認識されたタイムスタンプを終了点として、その区間の歩行データを一つのセグメントとする。このセグメントを歩行ステップに関連づく歩行データとみなし、これをセグメント化された歩行データとする。   For example, a time stamp at which the walking step is recognized is set as a start point, a time stamp at which the next walking step is recognized is set as an end point, and the walking data in the section is set as one segment. This segment is regarded as walking data related to the walking step, and is referred to as segmented walking data.

その他に歩行データを分析して得られるデータの周期性を元に、歩行データをセグメント化し、該セグメントに内包するタイムスタンプの歩行ステップと関連付けることなどもできる。また、非特許文献３の移動窓を用いて個々の歩行ステップに対応する歩行データを複数用意することも考えられる。   In addition, based on the periodicity of the data obtained by analyzing the walking data, the walking data can be segmented and associated with the time stamp walking step included in the segment. It is also conceivable to prepare a plurality of walking data corresponding to individual walking steps using the moving window of Non-Patent Document 3.

さらに携帯デバイス１００の配置場所によっては、右足と左足の歩行ステップでセンサ情報、即ち歩行データに違いがみられる場合も想定される。その場合には２ステップ毎に歩行データをセグメント化することも考えられる。なお、セグメント化された歩行データはステップ分析部１６０に送られる。   Furthermore, depending on the arrangement location of the portable device 100, it may be assumed that there is a difference in sensor information, that is, walking data, between the walking steps of the right foot and the left foot. In that case, it is also conceivable to segment the walking data every two steps. The segmented walking data is sent to the step analysis unit 160.

Ｓ０６：ステップ分析部１６０は、Ｓ０５のセグメント化された歩行データを路面状況に対応する形の分類体系に分類する。例えばセグメントとして区切られた個々の歩行データが、平地を歩いたもの、傾斜面を歩いたもの、段差を歩いたものなどの路面状況に対応付ける形で分類する。   S06: The step analysis unit 160 classifies the segmented walking data in S05 into a classification system corresponding to the road surface condition. For example, each walking data segmented as a segment is classified in a form corresponding to road surface conditions such as walking on a flat ground, walking on an inclined surface, walking on a step.

このときＳ０５のセグメント化された歩行データを特徴づける特徴量を抽出し、ルールベースもしくは教師あり学習の枠組みで分類を行う。この特徴量としては、例えば
（１）方向別加速度の平均値，標準偏差
（２）全体的な加速度の大きさ
（３）前後の加速度ピークとの間隔
を利用することができる。 At this time, feature quantities characterizing the segmented walking data in S05 are extracted, and classification is performed based on a rule-based or supervised learning framework. As this feature amount, for example, (1) an average value of acceleration in each direction, standard deviation, (2) overall acceleration magnitude, and (3) an interval between acceleration peaks before and after can be used.

この分類結果は、携帯デバイス１００の端末ＩＤと併せて歩行分析結果蓄積部１７０に出力される。この歩行分析結果蓄積部１７０には、歩行データを識別するための識別データと、該データに対する分析結果とが記録される。   This classification result is output to the gait analysis result storage unit 170 together with the terminal ID of the mobile device 100. In the walking analysis result accumulation unit 170, identification data for identifying walking data and an analysis result for the data are recorded.

図６に基づき一例を説明すれば、識別データとしては歩行データ（センサデータ）を取得した携帯デバイス１００の端末ＩＤと、該歩行データ取得時のタイムスタンプの開始点および終了点が記録される。また、分析結果としては、ステップ分析部１６０の分類結果「段差あり，平地，段差下りなど」が記録される。   If an example is demonstrated based on FIG. 6, terminal ID of the portable device 100 which acquired walk data (sensor data) and the start point and end point of the time stamp at the time of the walk data acquisition will be recorded as identification data. In addition, as a result of the analysis, the classification result “with step, flat ground, step down, etc.” of the step analysis unit 160 is recorded.

Ｓ０７：位置別路面状況理解部１９０は、問い合わせに応じて歩行データ分析結果蓄積部１７０の蓄積データと測位データ蓄積部１８０の蓄積データとを統合し、場所ごとの路面状況を求めて出力する。ここでは前記両蓄積部１７０，１８０の蓄積データを組み合わせ、どの場所がどのような路面状況であるかを把握し集計する。   S07: The position-specific road surface condition understanding unit 190 integrates the accumulated data of the walking data analysis result accumulation unit 170 and the accumulated data of the positioning data accumulation unit 180 in response to the inquiry, and obtains and outputs the road surface condition for each location. Here, the accumulated data of both the accumulating units 170 and 180 are combined to grasp and sum up which place is what road condition.

例えばバッチ処理を行うことで路面状況を把握できる路面状況付き地図を生成することができる。また、オンライン処理により今後進む予定の方向の路面状況を特定し、特定された路面状況をユーザに携帯デバイス１００を通じて提示することもできる。   For example, it is possible to generate a map with a road surface condition that can grasp the road surface condition by performing batch processing. Further, it is possible to identify a road surface condition in a direction to be advanced in the future by online processing and to present the identified road surface condition to the user through the portable device 100.

その結果、路面状況理解システム１０によれば、スマートフォンなど携帯デバイス１００のセンサデータを活用して段差の有無などの路面状況を高精度かつピンポイントに特定し、ユーザに提示することができる。   As a result, according to the road surface condition understanding system 10, the road surface condition such as the presence or absence of a step can be pinpointed with high accuracy using sensor data of the mobile device 100 such as a smartphone and presented to the user.

このとき測位データ蓄積部１８０の蓄積データを併せて活用しているため、何処にどの様な路面状況が存在するかという地理的情報を組み合わせた路面状況の特定が可能となっている。   At this time, since the accumulated data of the positioning data accumulating unit 180 is also used, it is possible to specify the road surface condition by combining geographical information indicating where and what road surface condition exists.

したがって、路面状況の調査において、派遣型の現地調査を行わずとも、車いすなどが通ることが困難な段差や階段の存在を把握することができる。これによりバリヤフリーな経路のナビゲーションなどハンディキャップを持ったユーザが快適に移動可能なナビゲーションサービスの実現に貢献することができる。   Therefore, in the investigation of road surface conditions, it is possible to grasp the presence of steps and stairs that are difficult for a wheelchair to pass without conducting a dispatch-type field survey. Thereby, it is possible to contribute to the realization of a navigation service in which a user with a handicap such as navigation on a barrier-free route can move comfortably.

≪その他、プログラム等≫
本発明は、上記実施形態に限定されるものではなく、各請求項に記載された範囲内で変形して実施することができる。例えば情報処理装置９０の各部１３０〜１９０の一部もしくは全部として、コンピュータを機能させるプログラムとして構成することもできる。 ≪Other programs, etc.≫
The present invention is not limited to the above-described embodiment, and can be implemented by being modified within the scope described in each claim. For example, some or all of the units 130 to 190 of the information processing apparatus 90 can be configured as a program that causes a computer to function.

このプログラムによれば、Ｓ０１〜Ｓ０７の一部あるいは全部をコンピュータに実行させることが可能となる。このプログラムは、Ｗｅｂサイトや電子メールなどネットワークを通じて提供することができる。また、前記プログラムは、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ，ＤＶＤ−Ｒ，ＤＶＤ−ＲＷ，ＭＯ，ＨＤＤ，ＢＤ−ＲＯＭ，ＢＤ−Ｒ，ＢＤ−ＲＥなどの記録媒体に記録して、保存・配布することも可能である。この記録媒体は、記録媒体駆動装置を利用して読み出され、そのプログラムコード自体が前記実施形態の処理を実現するので、該記録媒体も本発明を構成する。   According to this program, it is possible to cause the computer to execute part or all of S01 to S07. This program can be provided through a network such as a website or e-mail. The program is stored in a recording medium such as a CD-ROM, DVD-ROM, CD-R, CD-RW, DVD-R, DVD-RW, MO, HDD, BD-ROM, BD-R, or BD-RE. It is also possible to record, save and distribute. This recording medium is read using a recording medium driving device, and the program code itself realizes the processing of the above embodiment, so that the recording medium also constitutes the present invention.

１０…路面状況理解システム
９０…情報処理装置
１００…携帯デバイス
１０１…記憶領域
１１０…歩行データ収集部（歩行データ収集手段）
１２０…測位部
１３０…歩行データ蓄積部
１４０…歩行ステップ認識部（歩行ステップ認識手段）
１５０…歩行データセグメント化部（歩行データ特定手段））
１６０…歩行ステップ分析部（歩行データ分析手段）
１７０…歩行データ分析結果蓄積部
１８０…測位データ蓄積部
１９０…位置別路面状況理解部（位置別路面状況理解手段） DESCRIPTION OF SYMBOLS 10 ... Road surface condition understanding system 90 ... Information processing apparatus 100 ... Portable device 101 ... Storage area 110 ... Walking data collection part (walking data collection means)
DESCRIPTION OF SYMBOLS 120 ... Positioning part 130 ... Walking data storage part 140 ... Walking step recognition part (Walking step recognition means)
150 ... walking data segmentation unit (walking data specifying means))
160 ... walking step analysis unit (walking data analysis means)
170 ... Walking data analysis result accumulating unit 180 ... Positioning data accumulating unit 190 ... Position condition understanding part by position (Position condition understanding means by position)

Claims (7)

携帯デバイスを用いて実世界の路面状況を理解するシステムであって、
前記携帯デバイスに備え付けられたセンサデバイスのセンサデータを収集し、該収集されたセンサデータを歩行データとして記録するセンサデータ収集手段と、
前記センサデータ収集手段で記録した歩行データから人が歩行する際の個々の足の運びを示す歩行ステップを認識する歩行ステップ認識手段と、
前記歩行ステップ認識手段で認識された個々の歩行ステップと対応付けられる歩行データを特定する歩行データ特定手段と、
前記歩行データ特定手段で特定された歩行データの特徴量を抽出し、抽出された特徴量に基づき該歩行データに含まれる歩行ステップを路面状況に対応付ける形で分類する歩行データ分析手段と、を備え、
前記歩行データ分析手段は、前記特徴量をルールベースもしくは教師あり学習の枠組みで分類することを特徴とする路面状況理解システム。 A system that uses mobile devices to understand road conditions in the real world,
Sensor data collection means for collecting sensor data of a sensor device provided in the portable device, and recording the collected sensor data as walking data;
A walking step recognition means for recognizing a walking step indicating an individual foot movement when a person walks from the walking data recorded by the sensor data collecting means;
Walking data specifying means for specifying walking data associated with individual walking steps recognized by the walking step recognition means;
Walking data analysis means for extracting the feature amount of the walking data specified by the walking data specifying means, and classifying the walking steps included in the walking data according to the road surface condition based on the extracted feature amount; ,
The road surface condition understanding system characterized in that the walking data analysis means classifies the feature quantities in a rule-based or supervised learning framework . 前記センサデータ収集手段は、前記センサデータをタイムスタンプと併せて記録する一方、
前記歩行データ特定手段は、前記タイムスタンプに基づき前記歩行ステップのタイミングを特定し、
該特定されたタイミングに基づき前記歩行データを個々の前記歩行ステップと関連付けた形でセグメント化する
ことを特徴とする請求項１記載の路面状況理解システム。 The sensor data acquisition means, while recording the sensor data in conjunction with a timestamp,
The walking data specifying means specifies the timing of the walking step based on the time stamp,
The road surface condition understanding system according to claim 1, wherein the walking data is segmented in a form associated with each of the walking steps based on the specified timing. 前記携帯デバイスの測位情報を収集する測位部と、
前記測位部の収集情報をタイムスタンプと関連付けて記録する測位データ蓄積部と、
前記測位データ蓄積部の記録情報と、前記歩行データ分析手段の分類結果とに基づき場所毎の路面状況を把握する位置別路面状況理解手段と、
をさらに備えることを特徴とする請求項１または２記載の路面状況理解システム。 A positioning unit for collecting positioning information of the mobile device;
The measurement data storage unit that records the collected information of the positioning unit in association with a timestamp,
Position-specific road surface condition understanding means for grasping the road surface condition for each place based on the recording information of the positioning data storage unit and the classification result of the walking data analysis means,
The road surface condition understanding system according to claim 1, further comprising: 携帯デバイスを用いて実世界の路面状況を理解するシステムの実行する路面状況理解方法であって、
前記携帯デバイスに備え付けられたセンサデバイスのセンサデータを収集し、該収集されたセンサデータを歩行データとして記録するセンサデータ収集ステップと、
前記センサデータ収集手段で記録した歩行データから人が歩行する際の個々の足の運びを示す歩行ステップを認識する歩行ステップ認識ステップと、
前記歩行ステップ認識手段で認識された個々の歩行ステップと対応付けられる歩行データを特定する歩行データ特定ステップと、
前記歩行データ特定手段で特定された歩行データの特徴量を抽出し、抽出されア特徴量に基づき該歩行データに含まれる歩行ステップを路面状況に対応付ける形で分類する歩行データ分析ステップと、を有し、
前記歩行データ分析ステップは、前記特徴量をルールベースもしくは教師あり学習の枠組みで分類することを特徴とする路面状況理解方法。 A road surface state understanding method executed by a system that understands the road surface state in the real world using a mobile device,
Collecting sensor data of a sensor device provided in the portable device, and recording the collected sensor data as walking data; and
A walking step recognition step for recognizing a walking step indicating an individual foot movement when a person walks from the walking data recorded by the sensor data collecting means;
A walking data specifying step for specifying walking data associated with each walking step recognized by the walking step recognition means;
A walking data analysis step of extracting a feature amount of the walking data specified by the walking data specifying means, and classifying the walking step included in the walking data based on the extracted feature amount in a form corresponding to the road surface condition. And
The road surface condition understanding method characterized in that the walking data analysis step classifies the feature quantity according to a rule-based or supervised learning framework . 前記センサデータ収集ステップは、前記センサデータをタイムスタンプと併せて記録する一方、
前記歩行データ特定ステップは、前記タイムスタンプに基づき前記歩行ステップのタイミングを特定し、
該特定されたタイミングに基づき前記歩行データを個々の前記歩行ステップと関連付けた形でセグメント化する
ことを特徴とする請求項４記載の路面状況理解方法。 The sensor data acquisition step, while recording the sensor data in conjunction with a timestamp,
The walking data specifying step specifies the timing of the walking step based on the time stamp,
The road surface state understanding method according to claim 4, wherein the walking data is segmented in association with each of the walking steps based on the identified timing. 前記携帯デバイスの測位情報を収集し、収集された測位情報をタイムスタンプと関連付けて測位データ蓄積部に記録する測位データ収集ステップと、
前記測位データ蓄積部の記録情報と、前記歩行データ分析ステップの分類結果とに基づき場所毎の路面状況を把握する位置別路面状況理解ステップと、
をさらに有することを特徴とする請求項４または５記載の路面状況理解方法。 The collected positioning information of the mobile device, the measurement data collection step of recording the measurement data storage section the collected positioning information in association with a timestamp,
The road surface situation understanding step by position for grasping the road surface situation for each location based on the recorded information of the positioning data storage unit and the classification result of the walking data analysis step ,
The road surface condition understanding method according to claim 4 or 5, further comprising: 請求項１〜３のいずれか１項に記載の路面状況理解システムとして、コンピュータを機能させることを特徴とする路面状況理解プログラム。   A road surface condition understanding program that causes a computer to function as the road surface condition understanding system according to any one of claims 1 to 3.
JP2015135524A 2015-07-06 2015-07-06 Road surface understanding system, road surface understanding method, road surface understanding program Active JP6457346B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015135524A JP6457346B2 (en) 2015-07-06 2015-07-06 Road surface understanding system, road surface understanding method, road surface understanding program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015135524A JP6457346B2 (en) 2015-07-06 2015-07-06 Road surface understanding system, road surface understanding method, road surface understanding program

Publications (2)

Publication Number Publication Date
JP2017014867A JP2017014867A (en) 2017-01-19
JP6457346B2 true JP6457346B2 (en) 2019-01-23

Family

ID=57830143

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015135524A Active JP6457346B2 (en) 2015-07-06 2015-07-06 Road surface understanding system, road surface understanding method, road surface understanding program

Country Status (1)

Country Link
JP (1) JP6457346B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6480319B2 (en) * 2015-12-17 2019-03-06 日本電信電話株式会社 Road surface condition understanding method, apparatus, and program
JP6810654B2 (en) * 2017-05-18 2021-01-06 日本電信電話株式会社 Road surface data collection equipment, methods, and programs
CN115182220A (en) * 2022-07-07 2022-10-14 董立元 Highway construction environment monitoring system

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3405868B2 (en) * 1995-09-29 2003-05-12 本田技研工業株式会社 Gait Generation Method for Legged Walking Robot
JP2001344352A (en) * 2000-05-31 2001-12-14 Toshiba Corp Life assisting device, life assisting method and advertisement information providing method
JP3655233B2 (en) * 2000-11-17 2005-06-02 本田技研工業株式会社 Biped robot remote control device
JP5857397B2 (en) * 2010-11-02 2016-02-10 トヨタ自動車株式会社 Step information acquisition system and step information acquisition method
TW201231762A (en) * 2011-01-27 2012-08-01 Hon Hai Prec Ind Co Ltd Flatness counting system and method for road surface
JP5826120B2 (en) * 2012-06-11 2015-12-02 日本電信電話株式会社 Gait measuring device, method and program
JP5604574B1 (en) * 2013-09-13 2014-10-08 日本電信電話株式会社 Object generation device, method, and program
JP6260216B2 (en) * 2013-11-13 2018-01-17 富士通株式会社 Concavity and convexity analysis program, concavo-convex analysis method and concavo-convex analysis apparatus

Also Published As

Publication number Publication date
JP2017014867A (en) 2017-01-19

Similar Documents

Publication Publication Date Title
CA3069511C (en) Distributed data processing systems for processing remotely captured sensor data
US20240161201A1 (en) Assigning mobile device data to a vehicle
US9628958B1 (en) User-controlled, smart device-based location and transit data gathering and sharing
US11994400B2 (en) Systems and methods for assessment of a rideshare trip
US9448073B2 (en) System and method for assessing road quality using data collected from a mobile device
JP2008146248A (en) Probe data analysis system
JP2008146249A (en) Probe data analysis system
US9316505B2 (en) Analysis method, and analysis apparatus
JP6457346B2 (en) Road surface understanding system, road surface understanding method, road surface understanding program
JP2011048582A (en) Information collection apparatus
JP5886718B2 (en) Information processing method and apparatus
JP6049186B2 (en) Apparatus, program, and method for estimating staying place of user having portable terminal
JP2017228091A (en) Walking state learning method, walking state estimation method, road surface condition comprehension method, device and program
Arab et al. Magnopark-locating on-street parking spaces using magnetometer-based pedestrians' smartphones
Iwasawa et al. Combining human action sensing of wheelchair users and machine learning for autonomous accessibility data collection
JP6075725B2 (en) Apparatus, program, and method for estimating moving object on which user having portable terminal boarding
CN107133689B (en) Position marking method
Jariyasunant et al. Overcoming battery life problems of smartphones when creating automated travel diaries
JP6410670B2 (en) Traffic difficulty estimation device, method and program
JP5401421B2 (en) Home area estimation apparatus, method, and program
Li et al. Enhancing driving safety: Discovering individualized hazardous driving scenes using GIS and mobile sensing
JP5484368B2 (en) Target area display method and system based on position information from mobile terminal
JP6687648B2 (en) Estimating device, estimating method, and estimating program
Ellison et al. Spatiotemporal identification of trip stops from smartphone data
Ohashi et al. Automatic trip-separation method using sensor data continuously collected by smartphone

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170828

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180612

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180813

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181220

R150 Certificate of patent or registration of utility model

Ref document number: 6457346

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150